JP4699144B2 - 映像切替制御装置及び映像切替制御方法 - Google Patents

映像切替制御装置及び映像切替制御方法 Download PDF

Info

Publication number
JP4699144B2
JP4699144B2 JP2005256782A JP2005256782A JP4699144B2 JP 4699144 B2 JP4699144 B2 JP 4699144B2 JP 2005256782 A JP2005256782 A JP 2005256782A JP 2005256782 A JP2005256782 A JP 2005256782A JP 4699144 B2 JP4699144 B2 JP 4699144B2
Authority
JP
Japan
Prior art keywords
video
switching control
input
recorder
video recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005256782A
Other languages
English (en)
Other versions
JP2007074134A (ja
Inventor
勇至 清水
徹 豊田
香織 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2005256782A priority Critical patent/JP4699144B2/ja
Publication of JP2007074134A publication Critical patent/JP2007074134A/ja
Application granted granted Critical
Publication of JP4699144B2 publication Critical patent/JP4699144B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮像装置、映像記録装置及び表示装置に接続可能な映像切替制御装置及び映像切替制御方法に関する。
従来、大規模監視システムでは、映像切替制御装置として、マトリクススイッチャが設けられている。このマトリクススイッチャは、入力される映像を外部の信号から複雑に切換えること(自動配線)が可能な装置である。通常、マトリクススイッチャには、複数台の撮像装置(カメラ)が接続される。また、カメラで監視している映像を記録映像として残しておきたい場合、マトリクススイッチャに入力されているカメラの映像出力を、時間とともに記録可能なタイムラプスVTRや通常の映像記録装置(レコーダ)等の記録再生装置に入力し、録画処理を行う。
また、その録画映像を再生して確認する場合、記録再生装置を直接表示装置(モニタ)に接続し、この記録再生装置を操作して録画映像を再生し、モニタに表示する。あるいは、マトリクススイッチャが再生映像入力用端子を有する場合、その端子に記録再生装置からの映像を入力することによって、マトリクススイッチャに接続されているモニタに再生映像を表示させる(例えば、特許文献1参照)。
また、複数のビデオ入力装置の中から、1つの入力装置を選択して自動的に切り換える際、入力装置から供給される信号の有無を決定し、信号が検出された入力装置を選択する自動ビデオマルチプレクサが知られている(例えば、特許文献2参照)。
特開平11−331822号公報 特開2001−84126号公報
しかしながら、上記の映像切替制御装置にあっては、例えば、特定のカメラの録画映像を再生してモニタで確認しようとする場合、そのカメラの映像がどのレコーダに録画されているのかを、映像切替制御装置を用いて再生操作を行う使用者が事前に把握している必要があった。すなわち、カメラとレコーダとの対応関係を使用者が把握している必要があった。
本発明は、上記従来の事情に鑑みてなされたものであって、撮像装置と映像記録装置との対応関係を意識することなく、所望の撮像装置の映像信号を記録する映像記録装置の制御が可能な映像切替制御装置及び映像切替制御方法を提供することを目的とする。
本発明は、第1に、撮像装置、映像記録装置及び表示装置に接続可能な映像切替制御装置であって、撮像装置と、当該撮像装置の映像を録画する映像記録装置との対応関係を記憶する記憶手段と、前記映像記録装置を制御する操作入力を受け付けた場合、前記記憶手段に記憶された対応関係を参照し、前記表示装置に出力している映像信号の入力元となる撮像装置に対応する映像記録装置を検索する検索手段と、前記検索手段による検索の結果、前記検索手段により検索された映像記録装置に対して、前記操作入力に応じた制御信号を出力する制御手段とを備える映像切替制御装置が提供されるものである。
この構成により、使用者は、どの映像記録装置が所望の撮像装置の撮像映像を記録するかを意識せずに、表示装置に表示されている映像を閲覧している状態で、その映像を撮像する撮像装置の映像を記録する映像記録装置に対する制御指示を与え、確認することができる。
本発明は、第2に、上記第1に記載の映像切替制御装置であって、前記操作入力として再生指示が入力された場合、前記制御手段は、前記検索手段により検索された映像記録装置に対して再生を指示する制御信号を出力し、前記検索された映像記録装置から入力される映像信号を前記表示装置に出力する。
この構成により、映像記録装置からの信号を表示装置に出力するように切り替えるので、再生指示を与えるだけで、その再生映像を表示装置で閲覧することができる。
本発明は、第3に、上記第1又は第2に記載の映像切替制御装置であって、前記操作入力として録画指示が入力された場合、前記制御手段は、前記検索手段により検索された映像記録装置に対して、録画を指示する制御信号を出力する。
この構成により、使用者は、どの映像記録装置が所望の撮像装置の撮像映像を記録するかを意識せずに、表示装置に表示されている映像を閲覧している状態で、その映像を撮像する撮像装置の映像を記録する映像記録装置に対して録画指示を与えることができる。
本発明は、第4に、上記第1ないし第3のいずれかに記載の映像切替制御装置であって、前記操作入力として、前記表示装置に出力している映像信号の入力元となる撮像装置の映像の記録の検索指示が入力された場合、前記制御手段は、前記検索手段により検索された映像記録装置に対して、前記検索するための制御信号とその記録情報を表示させる制御信号とを出力する。
この構成により、使用者は、表示装置に表示されている映像を撮像する撮像装置に対して記録の検索指示を行うことができる。
本発明は、第5に、上記第1ないし第3のいずれかに記載の映像切替制御装置であって、前記記憶手段は、操作入力により設定された対応関係を記憶する。
この構成により、使用者が任意にカメラとレコーダの組み合わせを登録することができる。
本発明は、第6に、撮像装置、映像記録装置及び表示装置に接続可能な映像切替制御装置の映像切替制御方法であって、前記映像記録装置を制御する操作入力を受け付けた場合、予め記憶手段に記憶された、撮像装置と当該撮像装置の映像を録画する映像記録装置との対応関係を参照し、前記表示装置に出力している映像信号の入力元となる撮像装置に対応する映像記録装置を検索するステップと、前記検索ステップによる検索の結果、前記検索ステップにより検索された映像記録装置に対して、前記操作入力に応じた制御信号を出力するステップとを有する映像切替制御方法が提供されるものである。
この方法により、使用者は、どの映像記録装置が所望の撮像装置の撮像映像を記録するかを意識せずに、表示装置に表示されている映像を閲覧している状態で、その映像を撮像する撮像装置の映像を記録する映像記録装置に対する制御指示を与え、確認することができる。
本発明によれば、撮像装置と映像記録装置との対応関係を意識することなく、所望の撮像装置の映像信号を記録する映像記録装置の制御が可能な映像切替制御装置及び映像切替制御方法を提供することができる。
本発明の実施形態に係る映像切替制御装置、映像切替制御方法および映像監視システムについて図面を参照しながら説明する。本実施形態の映像切替制御装置は、映像出力装置であるモニタと映像入力装置であるカメラやレコーダとの接続を切り替えるマトリクススイッチャに適用される。
図1は本発明の実施形態に係るマトリクススイッチャが搭載された映像監視システムの構成を示すブロック図である。この映像監視システムは、映像の入力を切り替えるマトリクススイッチャ1、このマトリクススイッチャ1に対して操作指示を行うコントローラ2、映像を表示するモニタ3、撮影した映像を出力する複数のカメラ4a1〜4x16、およびカメラ4a1〜4x16で撮影された映像を録画するレコーダ5a〜5xを有して構成される。ここでは、レコーダ5aには、カメラ4a1、4a2、・・・、4a16の計16台のカメラが接続されている。同様に、レコーダ5bには、カメラ4b1、4b2、・・・、4b16の計16台のカメラが接続され、レコーダ5x(xは任意の数)には、カメラ4x1、4x2、・・・、4x16の計16台のカメラが接続されている。
マトリクススイッチャ1は、複数のカメラ4a1〜4x16およびレコーダ5a〜5xから入力される映像を切り替えるクロスポイント部1a、カメラやレコーダの動作を制御したり、モニタ3の設定を変更する制御部1b、及び記憶部1cを備える。また、マトリクススイッチャ1は、例えば、箱形の筐体を有しており、その裏面パネルには、複数のカメラやレコーダからの信号ケーブルが接続される複数の映像入力端子が設けられている。具体的に、カメラ4a1〜4a16の各映像出力端子は信号ケーブルを介してレコーダ5aの各映像入力端子に接続されており、カメラ4b1〜4b16の各映像出力端子は信号ケーブルを介してレコーダ5bの各映像入力端子に接続されており、カメラ4x1〜4x16の各映像出力端子は信号ケーブルを介してレコーダ5xの各映像入力端子に接続されている。
クロスポイント部1aは制御手段の一例として動作し、複数のカメラおよびレコーダの中から、映像の入力先を選択する切替スイッチを有しており、選択された入力先であるカメラあるいはレコーダからの映像をモニタ3に出力する。制御部1bは、検索手段及び制御手段の一例として動作し、周知のCPU、ROM、RAM等を有しており、CPUはROMに格納された後述する制御プログラムを実行する。記憶部1cには、後述するように、カメラとその映像を録画するレコーダとの対応関係を示すカメラ・レコーダ対応テーブルが記憶されている。
制御部1bは、コントローラ2からレコーダを制御する操作入力を受け付けた場合、記憶部1cに記憶された対応関係を参照し、モニタに出力している映像信号の入力元となるカメラに対応するレコーダを検索し、クロスポイント部1aを切り替えて検索手段により検索されたレコーダに対して、操作入力に応じた制御信号を出力するものである。
コントローラ2は、レバー2aおよび操作キー2bを有し、マトリクススイッチャ1の設定を変更したり、このマトリクススイッチャ1に接続されているカメラやレコーダを制御するための操作指示を行う。具体的に、カメラによる撮像動作やレコーダによる再生動作を指示することが可能である。また、後述するカメラ・レコーダ対応テーブルを設定可能である。モニタ3は、クロスポイント部1aを経由して出力されるカメラやレコーダからの映像を表示する。
図2は本発明の実施形態における映像監視システムの説明図である。オペレータ10は、カメラ4a1の映像をモニタ3で監視している状態において、レコーダ5aの再生を指示する場合、コントローラ2の操作キー2bで「再生」キーを操作する。この再生操作に応じて、マトリクススイッチャ1は、モニタ3に出力される映像の入力先をカメラ4a1からレコーダ5aに切り替える。即ち、レコーダ5aを制御し、レコーダ5aに録画されているカメラ4a1の映像を再生する。この後、モニタ3に表示される映像をカメラ4a1の映像からレコーダ5aの録画映像に切り替える。再び、カメラ4a1の映像に戻す指示を行う場合、コントローラ2の操作キー2bで「撮像」キーを操作する。
図3は本発明の実施形態に係る映像切替処理手順を示すフローチャートである。この処理プログラムは、マトリクススイッチャ1の制御部1b内のROM(図示せず)に格納されており、同じく制御部1b内のCPU(図示せず)によって実行される。
予め、オペレータは、現在のカメラおよびレコーダの接続状況を把握しておく。そして、コントローラ2を操作し、記憶部1cに記憶されているカメラ・レコーダ対応テーブル(図4参照)をモニタ3の画面上に表示する。モニタ3の画面上にカメラ・レコーダ対応テーブルが表示されている状態で、オペレータは、コントローラ2の前面パネルに配置された各種操作キー2bを押下し、事前にカメラ・レコーダ対応テーブルを設定して記憶部1cに登録しておく。このカメラ・レコーダ対応テーブルの詳細については後述する。
尚、カメラ・レコーダ対応テーブルを設定する際、コントローラの前面パネルに配置された各種操作キーを用いる代わりに、マトリクススイッチャ1に接続可能なパーソナルコンピュータ等を用いてキーボード入力によって設定してもよい。あるいは、予めメモりカード等の記憶媒体にカメラ・レコーダ対応テーブルを作成しておき、この記憶媒体をマトリクススイッチャに挿入して読み込ませることにより設定してもよい。
このように、カメラ・レコーダ対応テーブルが登録されている状態において、まず、モニタ3に特定のカメラの映像を出力する操作を行う(ステップS1)。このとき、映像出力が行われるカメラの番号を制御部1b内のRAM(図示せず)に一時的に保持する。ここでは、特定のカメラとして、カメラ4a1の映像が出力される場合を示すが、任意のカメラの映像でもよいことは勿論である。そして、コントローラ2による再生操作(「再生」キーの操作)が行われたか否かを判別する(ステップS2)。再生操作が行われない場合、本処理を終了し、モニタ3へのカメラ4a1の映像出力を継続する。
一方、コントローラ2による再生操作が行われた場合、記憶部1cに記憶されているカメラ・レコーダ対応テーブルを検索し(ステップS3)、カメラ4a1の映像が録画されているレコーダ5aが見つかったか否かを判別する(ステップS4)。対応するレコーダが見つからなかった場合、コントローラ2による再生操作を無視して本処理を終了する。尚、このとき、アラームや表示により、対応するレコーダが存在しない旨をオペレータに報知するようにしてもよい。
一方、対応するレコーダが見つかった場合、このレコーダ5aに対し、カメラ4a1の録画映像を再生する制御を行う(ステップS5)。この再生制御では、制御部1bからレコーダ5aに再生を開始させるための指示信号が出力される。そして、レコーダ5aの再生が開始すると、クロスポイント部1aの切替制御を行い、モニタ3に出力する映像信号をレコーダ5aから出力される映像信号に切り替えることにより、モニタ3に表示される映像を、カメラ4a1の映像からレコーダ5aの録画映像に切り替える(ステップS6)。これにより、オペレータ10は再生されたカメラ4a1の映像を確認できる。尚、このとき、レコーダ5aにおけるカメラ4a1の映像の録画はそのまま継続される。この後、本処理を終了する。
図4は本発明の実施形態におけるカメラとレコーダとの対応テーブルを示す図である。このカメラ・レコーダ対応テーブルでは、縦方向にレコーダ番号が列挙され、横方向にそのレコーダに映像を出力しているカメラの番号が列挙されている。具体的に、レコーダ5aにカメラ4a1、4a2、・・・、4a16が録画され、レコーダ5bにカメラ4b1、4b2、・・・、4b16が録画され、・・・、レコーダ5xにカメラ4x1、4x2、・・・、4x16が録画される設定となっている。尚、本実施形態では、1台のレコーダ当たり16台のカメラが接続されているが、カメラの接続台数はレコーダやマトリクススイッチャの仕様に応じて任意でよい。また、レコーダはx台接続されており、マトリクススイッチャの仕様に応じて任意の台数接続可能である。
上記映像切替処理では、オペレータがモニタ3でカメラの映像を監視している状態で、レコーダの再生操作が行われた場合を示したが、コントローラは、録画操作や、監視しているカメラのレコード(記録)の検索操作が入力されてもよい。この場合、制御部1bは、モニタ3に表示されているカメラのレコーダに対して録画を開始するための制御信号を出力したり、検索するための制御信号を出力したりする。
このような本発明の実施形態に係る映像切替制御装置及び映像切替制御方法によれば、使用者は、どの映像記録装置が所望の撮像装置の撮像映像を記録するかを意識せずに、表示装置に表示されている映像を閲覧している状態で、その映像を撮像する撮像装置の映像を記録する映像記録装置に対する制御指示を与えることができる。
なお、カメラ・レコーダ対応テーブルとして、上記の実施形態では、図4に示すように、各レコーダの番号を縦方向(行方向)に設定し、各レコーダに接続されている複数のカメラの番号を横方向(列方向)に設定したテーブルを作成していたが、カメラの番号を行方向に設定し、各カメラに接続されているレコーダの番号を列方向に設定したテーブルを作成してもよい。上記実施形態では、いずれのテーブルを用いても検索が可能である。
また、上記実施形態では、マトリクススイッチャに1台のモニタが接続される場合を示したが、複数台のモニタが接続されてもよく、この場合、クロスポイント部は入力先である複数のカメラやレコーダと、出力先である複数のモニタとの組み合わせを選択することになる。例えば、レコーダ毎にモニタが接続される場合、レコーダ単位に映像を監視可能である。また、モニタはマルチ画面を有しており、各分割画面に異なる映像を表示するようにしてもよい。また、上記実施形態では、1台のレコーダに複数台のカメラが接続される場合を示したが、1台のカメラに複数台のレコーダが接続されてもよい。
本発明は、撮像装置と映像記録装置との対応関係を意識することなく、所望の撮像装置の映像信号を記録する映像記録装置の制御が可能な効果を有し、映像切替制御装置及び映像切替制御方法等に有用である。
本発明の実施形態に係るマトリクススイッチャが搭載された映像監視システムの構成を示すブロック図 本発明の実施形態における映像監視システムの説明図 本発明の実施形態に係る映像切替処理手順を示すフローチャート 本発明の実施形態におけるカメラとレコーダとの対応テーブルを示す図
符号の説明
1 マトリクススイッチャ
1a クロスポイント部
1b 制御部
1c 記憶部
2 コントローラ
3 モニタ
4a1、4a2、4a16、4b1、4b2、4b16、4x1、4x2、4x16 カメラ
5a、5b、5x レコーダ

Claims (6)

  1. 撮像装置、映像記録装置及び表示装置に接続可能な映像切替制御装置であって、
    撮像装置と、当該撮像装置の映像を録画する映像記録装置との対応関係を記憶する記憶手段と、
    前記映像記録装置を制御する操作入力を受け付けた場合、前記記憶手段に記憶された対応関係を参照し、前記表示装置に出力している映像信号の入力元となる撮像装置に対応する映像記録装置を検索する検索手段と、
    前記検索手段による検索の結果、前記検索手段により検索された映像記録装置に対して、前記操作入力に応じた制御信号を出力する制御手段と
    を備える映像切替制御装置。
  2. 請求項1に記載の映像切替制御装置であって、
    前記操作入力として再生指示が入力された場合、前記制御手段は、前記検索手段により検索された映像記録装置に対して再生を指示する制御信号を出力し、前記検索された映像記録装置から入力される映像信号を前記表示装置に出力する映像切替制御装置。
  3. 請求項1又は2に記載の映像切替制御装置であって、
    前記操作入力として録画指示が入力された場合、前記制御手段は、前記検索手段により検索された映像記録装置に対して、録画を指示する制御信号を出力する映像切替制御装置。
  4. 請求項1ないし3のいずれか一項に記載の映像切替制御装置であって、
    前記操作入力として、前記表示装置に出力している映像信号の入力元となる撮像装置の映像の記録の検索指示が入力された場合、前記制御手段は、前記検索手段により検索された映像記録装置に対して、前記検索するための制御信号とその記録情報を表示させる制御信号とを出力する映像切替制御装置。
  5. 請求項1ないし3のいずれか一項に記載の映像切替制御装置であって、
    前記記憶手段は、操作入力により設定された対応関係を記憶する映像切替制御装置。
  6. 撮像装置、映像記録装置及び表示装置に接続可能な映像切替制御装置の映像切替制御方法であって、
    前記映像記録装置を制御する操作入力を受け付けた場合、予め記憶手段に記憶された、撮像装置と当該撮像装置の映像を録画する映像記録装置との対応関係を参照し、前記表示装置に出力している映像信号の入力元となる撮像装置に対応する映像記録装置を検索するステップと、
    前記検索ステップによる検索の結果、前記検索ステップにより検索された映像記録装置に対して、前記操作入力に応じた制御信号を出力するステップと
    を有する映像切替制御方法。
JP2005256782A 2005-09-05 2005-09-05 映像切替制御装置及び映像切替制御方法 Expired - Fee Related JP4699144B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005256782A JP4699144B2 (ja) 2005-09-05 2005-09-05 映像切替制御装置及び映像切替制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005256782A JP4699144B2 (ja) 2005-09-05 2005-09-05 映像切替制御装置及び映像切替制御方法

Publications (2)

Publication Number Publication Date
JP2007074134A JP2007074134A (ja) 2007-03-22
JP4699144B2 true JP4699144B2 (ja) 2011-06-08

Family

ID=37935240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005256782A Expired - Fee Related JP4699144B2 (ja) 2005-09-05 2005-09-05 映像切替制御装置及び映像切替制御方法

Country Status (1)

Country Link
JP (1) JP4699144B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170072B (zh) * 2018-11-28 2023-12-19 奥林巴斯株式会社 医疗图像记录控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0594418A (ja) * 1991-05-06 1993-04-16 Sensormatic Electron Corp 統合保安システム用のグラフイツク処理ワークステーシヨン
JP2000023092A (ja) * 1998-07-07 2000-01-21 Mitsubishi Electric Corp 連続映像の記録・再生装置
JP2000078561A (ja) * 1998-08-28 2000-03-14 Sanyo Electric Co Ltd 映像記録システム
JP2001211450A (ja) * 2000-01-27 2001-08-03 Mega Chips Corp 撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0594418A (ja) * 1991-05-06 1993-04-16 Sensormatic Electron Corp 統合保安システム用のグラフイツク処理ワークステーシヨン
JP2000023092A (ja) * 1998-07-07 2000-01-21 Mitsubishi Electric Corp 連続映像の記録・再生装置
JP2000078561A (ja) * 1998-08-28 2000-03-14 Sanyo Electric Co Ltd 映像記録システム
JP2001211450A (ja) * 2000-01-27 2001-08-03 Mega Chips Corp 撮像システム

Also Published As

Publication number Publication date
JP2007074134A (ja) 2007-03-22

Similar Documents

Publication Publication Date Title
JP4546331B2 (ja) ビデオカメラ
US20070212031A1 (en) Video monitoring system and video monitoring program
JP2008060731A (ja) カメラ、出力画像選択方法、プログラム
CN101094397A (zh) 图像监视系统以及图像监视程序
JPH10294933A (ja) 映像監視システム
JP2002152721A (ja) 録画再生装置の映像表示方法および装置
JP4836271B2 (ja) 画像処理装置
JP4699144B2 (ja) 映像切替制御装置及び映像切替制御方法
JP2006262133A (ja) 監視カメラシステム
JPH07131684A (ja) 撮像装置
JP2001337776A (ja) キーボード装置
JP4421857B2 (ja) 監視装置および監視システム
US5949957A (en) Video camera having storage medium-equipped recorder-reproducer and control method thereof
JPH08279960A (ja) 映像処理装置
KR101412672B1 (ko) 기록재생장치, 재생장치, 기록장치, 촬영기록재생장치 및조작내용 표시방법
JP4511693B2 (ja) 監視カメラシステム
JP2002252830A (ja) 画像記録装置
JP2009100019A (ja) 記録再生装置
WO2022004847A1 (ja) 産業機械の状態監視装置及び状態監視方法
JPH1093943A (ja) テレビ会議端末装置
JP2008293083A (ja) カメラ付き運転監視装置
JP4189231B2 (ja) 監視用記録再生装置
KR100588962B1 (ko) 디지털 비디오 레코더에서의 유에스비 포트 선택 장치 및방법
JP2000244903A (ja) 操作画面表示方法およびその表示を使った監視録画装置
JP5088080B2 (ja) 電子機器及び異常状態表示方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110302

LAPS Cancellation because of no payment of annual fees