JP2007088715A - 復号装置 - Google Patents

復号装置 Download PDF

Info

Publication number
JP2007088715A
JP2007088715A JP2005273780A JP2005273780A JP2007088715A JP 2007088715 A JP2007088715 A JP 2007088715A JP 2005273780 A JP2005273780 A JP 2005273780A JP 2005273780 A JP2005273780 A JP 2005273780A JP 2007088715 A JP2007088715 A JP 2007088715A
Authority
JP
Japan
Prior art keywords
data
compressed
sub
decoding
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005273780A
Other languages
English (en)
Other versions
JP4532375B2 (ja
Inventor
Satoru Todate
悟 戸舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2005273780A priority Critical patent/JP4532375B2/ja
Priority to US11/512,224 priority patent/US20070065024A1/en
Publication of JP2007088715A publication Critical patent/JP2007088715A/ja
Application granted granted Critical
Publication of JP4532375B2 publication Critical patent/JP4532375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】圧縮されたデータ復号した後に、別のデータを重畳して出力する場合に、必要なメモリ容量を削減し、装置の小型化・低価格化を実現する。
【解決手段】重畳するサブデータは、圧縮符号化され、サブデータ記憶部1−4に記憶される。先ず、圧縮データ切替部1−1は圧縮メインデータを出力し、出力された圧縮メインデータを復号化処理部1−2により復号する。そして、この復号されたメインデータを重畳処理部1−3に一時記憶する。また、圧縮データ切替部1−1は、所定のタイミングで、サブデータ記憶部1−4から圧縮サブデータを出力し、復号化処理部1−2に供給する。復号化処理部1−2は、上記圧縮サブデータを復号し、重畳処理部1−3において、先に復号されているメインデータに上記復号されたサブデータを重畳する。
【選択図】 図2

Description

この発明は、圧縮されたデータを復号した後に、別のデータを重畳して出力する復号装置に関する。
従来から、ホテルやビル、コンビニエンスストアや金融機関、あるいはダムや道路といった公共施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。このシステムでは、各地点に設けられた監視カメラによる映像は、ネットワークを介して監視センタに伝送され、監視者は伝送されるカメラ映像により統合監視を行うことができる。
しかしながら、映像データはデータ量が多く伝送に時間がかかるため、監視者が異常発生時の映像を短時間に確認できない場合がある。そこで、通常時の映像を予め監視センタに記憶しておき、異常が発生すると、通常時の映像との差分を抽出し、この差分データのみをネットワーク伝送し、通常時の映像に差分映像を合成する手法が提案されている(例えば、特許文献1を参照。)。
また、監視システムにおいて、監視カメラにより撮像された映像(以下、メインデータ)を識別するために、カメラの機器情報や監視地点の情報など(以下、サブデータと称する。)を重畳する必要がある。監視カメラから到来する映像データは、ネットワークの伝送効率を高めるため、所定の圧縮符号化形式に圧縮されて送信される。これに対し、通常サブデータは、非圧縮のデータとして取り扱われるため、サブデータを記憶するために多くのメモリ容量が必要であった。
特開平11−25383号公報
上述したように、従来の監視システムでは、サブデータを記憶するために多くのメモリ容量を必要としていた。例えば、SDTV形式の映像重畳システムを一例に挙げると、SDTV形式の1フレーム分の映像データは約700Kバイトである。仮に、1フレームの半分を映像重畳するには、重畳するデータを約350Kバイト蓄積する必要がある。更に、10パターンの映像重畳を切り替えて行うとすると、約3.5Mバイトものメモリ容量が必要となる。これにより、装置の小型化・低価格化を実施する過程で、メモリ容量の削減が課題であった。
この発明は上記事情に着目してなされたもので、その目的とするところは、圧縮されたデータ復号した後に、別のデータを重畳して出力する場合に、必要なメモリ容量を削減し、装置の小型化・低価格化を実現する復号装置を提供することにある。
上記目的を達成するためにこの発明の復号装置は、圧縮された第1のデータを入力する入力手段と、圧縮された第2のデータを記憶する記憶手段と、所定のタイミングで圧縮された前記第1のデータと圧縮された前記第2のデータのいずれかを選択出力する切替手段と、前記切替手段から出力される圧縮された前記第1のデータと圧縮された前記第2のデータとを復号する復号手段と、前記復号された前記第1のデータと前記第2のデータとを重畳する重畳手段とを具備することを特徴とする。
上記構成では、第2のデータを圧縮符号化して記憶しておき、所定のタイミングで第2のデータを復号して第1のデータに重畳するようにしている。これにより、例えば、サブデータを圧縮せずに記憶していた場合と比較すると、必要なメモリ容量を削減することが可能となる。
また、この発明の復号装置は、次のような構成を備えることも特徴とする。
第1の圧縮方式で圧縮された第1のデータを入力する入力手段と、前記第1の圧縮方式と異なる第2の圧縮方式で圧縮された第2のデータを記憶する記憶手段と、前記第1のデータを復号する第1の復号手段と、前記第2のデータを復号する第2の復号手段と、所定のタイミングで復号された前記第1のデータと復号された前記第2のデータのいずれかを選択出力する切替手段と、前記選択出力された前記第1のデータと前記第2のデータとを重畳する重畳手段とを具備する。
上記構成では、第1のデータと第2のデータの圧縮形式が異なる場合に、それぞれの圧縮方式に対応する復号手段を備え、第1の復号手段により復号された第1のデータに第2の復号手段により第2のデータを重畳するようにしている。このように構成すると、例えば、メインデータ及びサブデータの圧縮形式に制限されることがないため、汎用性が向上する。
したがってこの発明によれば、圧縮されたデータ復号した後に、別のデータを重畳して出力する場合に、必要なメモリ容量を削減し、装置の小型化・低価格化を実現する復号装置を提供することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、一般的な監視システムの構成を示す概略図である。監視地点には、ネットワーク型監視カメラ1やアナログ監視カメラ3が設置され、メインデータとなる監視対象の映像が撮像される。ネットワーク型監視カメラ1は、撮像した映像を圧縮処理したのちネットワークNWに送出する。アナログ監視カメラ3により撮像された映像は、WEBサーバ4に供給され、WEBサーバ4において圧縮処理されたのちに、ネットワークNWに送出される。一方、監視センタには、PCビューア2やWEBサーバ5及びモニタ6が配置され、上述したようにネットワークNWを介して送信される圧縮処理されたカメラ映像を復号して表示する。この発明の復号装置は、PCビューア2やWEBサーバ5に搭載されるものである。
図2は、この発明に係わる復号装置の一実施形態を示すブロック図である。この復号装置は、圧縮データ切替部1−1と、復号化処理部1−2と、重畳処理部1−3と、サブデータ記憶部1−4とを備える。サブデータ記憶部1−4には、メインデータに重畳するサブデータ(カメラの機器情報や監視地点の情報など)が圧縮符号化されて記憶される。圧縮データ切替部1−1は、ネットワークNWを介して受信される圧縮されたメインデータ(以下、圧縮メインデータと称する。)と、サブデータ記憶部1−4から読み出される圧縮されたサブデータ(以下、圧縮サブデータと称する。)のいずれかを所定のタイミングで選択出力する。
また、復号化処理部1−2は、上記圧縮データ切替部1−1から選択出力される圧縮メインデータ及び圧縮サブデータの復号処理を行う。重畳処理部1−3は、RAM等の作業用メモリを備え、復号化処理部1−2から供給される復号されたメインデータを一時記憶しておき、その後に供給される復号されたサブデータを作業用メモリ上で重畳し、モニタ等に出力する。
次に、このように構成される復号装置の動作について説明する。図3は、この復号装置の動作の手順とその内容を示すフローチャートである。
ここで、圧縮メインデータ1−(A)はネットワークNWから受信するものとする。また、図2に示すように出力データ1−(D)に重畳したい画像データは、SDTV形式のフレームの半分に相当するデータとする。そのデータサイズは約350Kバイトである。この重畳したいデータに対し、例えばJPEG(Joint Photographic imaging coding Experts Group)の圧縮符号化処理を行い、これを圧縮サブデータ1−(E)としてあらかじめサブデータ記憶部1−4に記憶しておく。この場合、圧縮符号化処理の設定を高画質とすると、圧縮サブデータ1−(E)のデータサイズは約21Kバイトとなる。また、圧縮メインデータ1−(A)と圧縮サブデータ1−(E)は、同一の圧縮符号化方式により圧縮符号化処理された圧縮データとする。
初めに、重畳処理を行わない場合の基本動作について説明する。ネットワークNWから圧縮メインデータ1−(A)を受信すると、圧縮データ切替部1−1は、圧縮メインデータ1−(A)を復号化処理部1−2へ入力する。復号化処理部1−2では、圧縮メインデータに対して復号化処理を行い、ベースバンドのメインデータを伸張データ1−(C)として出力する。伸張データ1−(C)は重畳処理部1−3に入力され、一時的に作業用メモリに記憶された後、システムからの出力要求に応じて出力データ1−(D)として出力される。
次に、重畳処理を行う場合の動作について説明する。図3は、図2に示す復号装置の動作の手順とその内容を示すフローチャートである。また、図4は、この復号装置における復号動作を示すタイムチャートである。
図3において、ステップS31により、圧縮データ切替部1−1を圧縮メインデータの入力側に設定し、ステップS32において、上述した手順で受信した圧縮メインデータ1−(A)を復号し、伸張データ1−(C)として重畳処理部1−3へ入力する。
ここで、ステップS33において、所定の圧縮データ入力タイミングで、ステップS34に移行し、圧縮データ切替部1−1をサブデータ側に切り替える。そして、ステップS35により、サブデータ記憶部1−4から所望の圧縮サブデータ1−(E)を出力し、復号化処理部1−2へ入力する。復号化処理部1−2では、圧縮サブデータ1−(E)に対して復号化処理を行い、ベースバンドのサブデータを伸張データ1−(C)として重畳処理部1−3に出力する。そして、重畳処理部1−3において、一時記憶されているメインデータにサブデータが重畳された重畳データが出力される。
以上述べたように、上記実施形態では、重畳するサブデータを圧縮符号化し、サブデータ記憶部1−4に記憶する。そして、必要に応じて(例えば、メインデータの1フレームまたはそれ以上の復号処理が終了した後、或いは指定された割り込み時間やタイミングなどで)、圧縮サブデータを復号して先に復号されたメインデータに重畳するようにしている。これにより、メモリ容量を大幅に削減することが可能となり、システムの小型化・低価格化を高めることが可能となる。
例えば、SDTV形式の映像重畳システムを一例に挙げると、SDTV形式の1フレーム分の映像データは約700Kバイトである。仮に、1フレームの半分を映像重畳するには、重畳するデータを約350Kバイト蓄積する必要がある。更に、10パターンの映像重畳を切り替えて行うとすると、約3.5Mバイトものメモリ容量が必要となる。上記実施形態では、サブデータの圧縮符号化処理の設定を高画質とすると、圧縮サブデータ1−(E)のデータサイズは約21Kバイトとなり、この例では、およそ94%のメモリ容量の削減が可能となる。
なお、この発明は上記実施形態に限定されるものではない。例えば、対象とする圧縮データを画像の圧縮データとしたが、音声データや文字データといった種々の情報に対応することが可能である。また、対象とする圧縮データの圧縮符号化方式をJPEGとしたが、その他の圧縮方式に対応することも可能である。
ここで本実施形態では、圧縮メインデータ1−(A)がネットワークNWなどの伝送インフラから受信した圧縮データとしたが、伝送インフラだけではなく、RAMなどのストレージ機器からの入力など、復号装置の外部から入力できる圧縮データであれば良い。
また、圧縮サブデータ1−(E)は、あらかじめサブデータ記憶部1−4に記憶されているものとしたが、動作途中にネットワークなどの伝送インフラから受信されるデータや、RAMなどのストレージ機器からの入力データにより、圧縮サブデータ1−(E)を更新するようにしてもよい。
さらに、本実施形態では、圧縮メインデータ1−(A)と圧縮サブデータ1−(E)は、同一の圧縮符号化方式により圧縮符号化処理された圧縮データとしたが、異なる圧縮符号化方式であっても良い。この場合の復号装置の構成を図5に示す。第1の復号化処理部1−21は、圧縮メインデータ1−(A)の符号化方式に対応した復号化処理を行い、第2の復号化処理部1−22は、圧縮サブデータ1−(E)の符号化方式に対応した復号化処理を行う。そして、それぞれの圧縮データの復号処理を行ったのちに圧縮データ切替部1−1による切替入力を行うようにする。また、図5の構成において、圧縮メインデータ1−(A)と圧縮サブデータ1−(E)とが同一の圧縮符号化方式の場合にももちろん適用できる。このようにすると、復号化処理部1−21,1−22においてそれぞれ圧縮データの復号が行われるため処理速度を向上させることができる。
また、重畳するサブデータは1種類を想定し、1つのサブデータ記憶部1−4を備え、1種類の圧縮サブデータ1−(E)だけであったが、システムの要求に応じて重畳するデータの種類が増えた場合には、それに応じた数のサブデータ記憶部と圧縮サブデータを用意することも可能である。この場合、圧縮データ切替部1−1は、圧縮サブデータ数に応じたスイッチング機能を備えるようにする。
ここで、本発明に係る復号装置の構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、発明は、例えば、本発明に係る処理を実行する方法あるいは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適応分野としては、必ずしも上記示したような監視システムの分野に限られず、本発明は、種々な分野に適応することが可能なものである。
また、本発明に係る復号装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウェア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば、当該処理を実行するための各種機能部が独立したハードウェア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disk)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
一般的な監視システムの構成を示す概略図。 この発明に係わる復号装置の一実施形態を示すブロック図。 図2に示す復号装置の動作の手順とその内容を示すフローチャート。 図2に示す復号装置における復号動作を示すタイムチャート。 図2に示す復号装置の他の構成を示すブロック図。
符号の説明
1−1…圧縮データ切替部、1−2…復号化処理部、1−3…重畳処理部、1−4…サブデータ記憶部、1−(A)…圧縮メインデータ、1−(B)…圧縮データ、1−(C)…伸張データ、1−(D)…重畳データ、1−(E)…圧縮サブデータ。

Claims (2)

  1. 圧縮された第1のデータを入力する入力手段と、
    圧縮された第2のデータを記憶する記憶手段と、
    所定のタイミングで圧縮された前記第1のデータと圧縮された前記第2のデータのいずれかを選択出力する切替手段と、
    前記切替手段から出力される圧縮された前記第1のデータと圧縮された前記第2のデータとを復号する復号手段と、
    前記復号された前記第1のデータと前記第2のデータとを重畳する重畳手段と
    を具備することを特徴とする復号装置。
  2. 第1の圧縮方式で圧縮された第1のデータを入力する入力手段と、
    前記第1の圧縮方式と異なる第2の圧縮方式で圧縮された第2のデータを記憶する記憶手段と、
    前記第1のデータを復号する第1の復号手段と、
    前記第2のデータを復号する第2の復号手段と、
    所定のタイミングで復号された前記第1のデータと復号された前記第2のデータのいずれかを選択出力する切替手段と、
    前記選択出力された前記第1のデータと前記第2のデータとを重畳する重畳手段と
    を具備することを特徴とする復号装置。
JP2005273780A 2005-09-21 2005-09-21 映像復号装置 Active JP4532375B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005273780A JP4532375B2 (ja) 2005-09-21 2005-09-21 映像復号装置
US11/512,224 US20070065024A1 (en) 2005-09-21 2006-08-30 Decoding method and decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005273780A JP4532375B2 (ja) 2005-09-21 2005-09-21 映像復号装置

Publications (2)

Publication Number Publication Date
JP2007088715A true JP2007088715A (ja) 2007-04-05
JP4532375B2 JP4532375B2 (ja) 2010-08-25

Family

ID=37884182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005273780A Active JP4532375B2 (ja) 2005-09-21 2005-09-21 映像復号装置

Country Status (2)

Country Link
US (1) US20070065024A1 (ja)
JP (1) JP4532375B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8151022B2 (en) * 2008-11-26 2012-04-03 Simplify Systems, Inc. Compression and storage of projection data in a rotatable part of a computed tomography system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0851614A (ja) * 1994-06-02 1996-02-20 Canon Inc テレビ会議システム及び画像送信装置
JPH10243363A (ja) * 1997-02-28 1998-09-11 Nippon Columbia Co Ltd 映像再生装置
JP2000106677A (ja) * 1998-09-29 2000-04-11 Nec Corp 圧縮ストリーム復号装置および圧縮ストリーム復号方法
JP2002077894A (ja) * 2000-08-25 2002-03-15 Clarion Co Ltd 車両用スーパーインポーズ装置
JP2002108325A (ja) * 2000-09-26 2002-04-10 Fuji Film Microdevices Co Ltd 画像処理装置及び画像処理方法
JP2004266592A (ja) * 2003-03-03 2004-09-24 Toshiba Corp 映像監視システム、およびサーバ、ならびに映像表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234020A (ja) * 1997-02-21 1998-09-02 Canon Inc 画像伝送方法および装置並びに画像伝送システム
JP3039472B2 (ja) * 1997-08-29 2000-05-08 日本電気株式会社 画像と音声の再生装置
JP2003102000A (ja) * 2001-09-26 2003-04-04 Clarion Co Ltd 車両後方監視方法、車両後方監視装置及び信号処理装置
US7697025B2 (en) * 2002-08-28 2010-04-13 Sony Corporation Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0851614A (ja) * 1994-06-02 1996-02-20 Canon Inc テレビ会議システム及び画像送信装置
JPH10243363A (ja) * 1997-02-28 1998-09-11 Nippon Columbia Co Ltd 映像再生装置
JP2000106677A (ja) * 1998-09-29 2000-04-11 Nec Corp 圧縮ストリーム復号装置および圧縮ストリーム復号方法
JP2002077894A (ja) * 2000-08-25 2002-03-15 Clarion Co Ltd 車両用スーパーインポーズ装置
JP2002108325A (ja) * 2000-09-26 2002-04-10 Fuji Film Microdevices Co Ltd 画像処理装置及び画像処理方法
JP2004266592A (ja) * 2003-03-03 2004-09-24 Toshiba Corp 映像監視システム、およびサーバ、ならびに映像表示方法

Also Published As

Publication number Publication date
US20070065024A1 (en) 2007-03-22
JP4532375B2 (ja) 2010-08-25

Similar Documents

Publication Publication Date Title
US11120677B2 (en) Transcoding mixing and distribution system and method for a video security system
KR102336179B1 (ko) 비디오 데이터 처리 시스템
JP2007243289A (ja) 映像監視システムおよび映像監視プログラム
JP2010041354A (ja) 動画像符号化方法、符号化装置及び符号化プログラム
JP2006211006A (ja) 画像処理装置
CN105165009A (zh) 一种多可视化组件屏幕共享的系统,装置,和方法
US20150077578A1 (en) Transmission apparatus, reception apparatus, transmission and reception system, transmission apparatus control method, reception apparatus control method, transmission and reception system control method, and program
US8086056B2 (en) Encoding device and method, decoding device and method, and program
JP4532375B2 (ja) 映像復号装置
JP2014011572A5 (ja) 動画像予測復号装置、方法及びプログラム
JP2008538058A (ja) 圧縮領域における動画像キーイング
JP2006311327A (ja) 画像信号復号装置
CN112911299B (zh) 一种视频码率控制方法、装置、电子设备和存储介质
JP2008053848A (ja) 画像処理装置及び画像処理方法
JP2007201816A (ja) 映像表示システム及び映像受信装置
JP2007288761A (ja) 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム
JP4613759B2 (ja) 情報処理装置および方法、送信装置および方法、記録装置および方法、並びにプログラム
AU2021427874B2 (en) Real-time data processing device
JP2004328178A (ja) 画像処理装置
JP2008259074A (ja) 画像伝送方式
JP2009124521A (ja) 映像再生装置
JP2005150808A (ja) 監視映像記録システム
JP6448386B2 (ja) 符号化装置、復号化装置及び映像送受信システム
JP2022093796A (ja) 映像処理装置、映像配信システム、映像処理方法、およびプログラム
JP2006165802A (ja) ビデオスイッチ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100610

R150 Certificate of patent or registration of utility model

Ref document number: 4532375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140618

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250