JP2010056814A - 画像監視装置およびプログラム - Google Patents

画像監視装置およびプログラム Download PDF

Info

Publication number
JP2010056814A
JP2010056814A JP2008218948A JP2008218948A JP2010056814A JP 2010056814 A JP2010056814 A JP 2010056814A JP 2008218948 A JP2008218948 A JP 2008218948A JP 2008218948 A JP2008218948 A JP 2008218948A JP 2010056814 A JP2010056814 A JP 2010056814A
Authority
JP
Japan
Prior art keywords
image
monitoring
image recording
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008218948A
Other languages
English (en)
Other versions
JP5154341B2 (ja
Inventor
Yasushi Masuda
裕史 増田
Tadashi Kajitani
忠 梶谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2008218948A priority Critical patent/JP5154341B2/ja
Publication of JP2010056814A publication Critical patent/JP2010056814A/ja
Application granted granted Critical
Publication of JP5154341B2 publication Critical patent/JP5154341B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】 画像監視装置が起動している間に画像記録装置の状態情報を効率的に取得することのできる画像監視装置を提供する。
【解決手段】 画像監視装置4は、複数の画像記録装置3と通信可能な通信部17と、画像記録装置3から画像データを受信するときに、その画像記録装置3の状態を示す状態情報をあわせて受信する制御を行う通信制御部23を備える。また、この画像監視装置4は、複数の画像記録装置3から、画像データを受信中でない画像記録装置3の抽出を行う問合せ対象抽出部26と、抽出された画像記録装置3に対して、状態情報の送信を要求する状態要求信号を送信する問合せ制御を行う問合せ制御部27を備える。これにより、画像データを受信中の画像記録装置3からだけでなく、画像データを受信中でない画像記録装置3からも状態情報を効率よく取得することができる。
【選択図】 図1

Description

本発明は、画像データを出力する画像出力装置と通信して、その画像出力装置の状態情報を取得する画像監視装置に関し、特に、画像出力装置から状態情報を効率的に取得する機能を備えた画像監視装置に関する。
従来、商店街や金融機関などの監視区域に監視カメラを設置し、監視カメラで撮影した画像を画像記録装置に記録するとともに、画像記録装置から出力される画像データを監視センタの画像監視装置で受信して、監視区域の画像を遠隔の監視センタで確認する画像監視システムが知られている。監視センタの画像監視装置では、監視カメラで撮影される現在の画像データ(すなわち、画像記録装置に入力される画像データ)と、画像記録装置に記録された過去の画像データの両方を、画像記録装置から取得して参照することができる。
ところで、このような画像監視システムでは、画像記録装置や監視カメラに異常(例えば、冷却ファンの動作の異常、画像データの記録領域の残り容量の低下など)が発生すると、希望する画像データを適切に取得できなくなるおそれがある。そこで、従来、画像記録装置や監視カメラが正常に稼動しているか否か(異常が発生していないか否か)を確認することができるシステムが提案されている(例えば特許文献1参照)。
例えば、特許文献1には、監視区域に画像記録装置(画像蓄積装置)を設けて監視カメラで撮影した画像を記録するとともに、遠隔の画像監視装置(画像管理装置)が必要に応じて画像記録装置と通信し、画像記録装置に記録された画像データを取得して遠隔での表示や記録を可能とする画像管理システムが開示されている。そして、この画像管理システムでは、画像記録装置が機器の異常を検知すると、画像監視装置に異常信号を送信して、遠隔から機器の状態を管理することができる。
特開2007−104518号公報(第5−6頁、第1図)
しかしながら、上記従来のシステムでは、画像記録装置が異常を検知して異常信号を送信したときに、その異常信号を監視センタで確実に受信するためには、画像監視装置が起動している状態である必要がある。すなわち、従来のシステムでは、画像記録装置の状態を管理するためには、画像監視装置を常時起動させておく必要がある。
ところで、このような画像監視システムには、画像監視装置を常時起動させる方式のほかに、監視区域の画像を遠隔から確認するときだけ画像監視装置を起動させる方式がある。しかし、上記従来のシステムでは、画像監視装置の起動停止中に画像記録装置に異常が生じた場合にはその画像記録装置から異常信号を受信することができず、したがって、画像監視装置の起動停止中に生じた画像記録装置の状態変化を適切に管理することができない。また、その後に画像監視装置を起動させたとしても、画像記録装置から異常信号が送信されてくるまでは、その画像記録装置に異常が生じていたことを検知することができない。
また、画像記録装置側から異常信号を一方的に送信する従来のシステムでは、監視センタの画像監視装置が起動しているときであっても、地震などにより多数の画像記録装置がほぼ同時に異常信号を送信する場合には、通信網の伝達や画像監視装置の処理能力を超えてトラフィックが発生し、画像監視装置で異常信号を受信できないおそれがある。
そこで、上記従来のシステムにおいて、単に画像監視装置から画像記録装置に異常の有無を問い合わせることも考えられるが、近年では、多くの監視区域に多数の画像記録装置や監視カメラが設置されており、そのすべての画像記録装置に異常の有無の問い合わせを行うのは効率的ではない。そのため、画像監視装置を常時起動させない方式にも適用することが可能であり、画像監視装置が起動している間に画像記録装置や監視カメラなどの状態情報を効率よく取得することができる新しいシステムの開発が望まれていた。
本発明は、上記の課題に鑑みてなされたものであり、画像監視装置が起動している間に画像記録装置の状態情報を効率的に取得することのできる画像監視装置を提供することを目的とする。
本発明の画像監視装置は、複数の前記画像出力装置と通信可能な通信部と、前記画像出力装置から画像データを受信するときに、その画像出力装置の状態を示す状態情報をあわせて受信する制御を行う通信制御部と、前記複数の画像出力装置から、前記画像データを受信中でない画像出力装置の抽出を行う問合せ対象抽出部と、抽出された画像出力装置に対して、前記状態情報の送信を要求する状態要求信号を送信する問合せ制御を行う問合せ制御部と、を備えている。
この装置によれば、複数の画像出力装置(例えば画像記録装置や監視カメラなど)のうち、画像データを受信中である画像出力装置からは、画像データを受信するときにその画像出力装置の状態情報をあわせて受信することができる。一方、それ以外の画像出力装置については、画像データを受信中でない画像出力装置の抽出を行って、抽出された画像出力装置に対して状態要求信号が送信される。したがって、画像データを受信中の画像出力装置からだけでなく、画像データを受信中でない画像出力装置からも状態情報を効率よく取得することができる。このようにして、画像監視装置が起動している間に画像記録装置の状態情報を効率的に取得することができるので、画像監視装置を常時起動させないシステムにも適用することが可能となる。
また、本発明の画像監視装置では、前記通信制御部は、前記画像監視装置が起動したときに、以前の終了時に前記画像データを受信中であった画像出力装置から画像データを受信する制御を行い、前記問合せ対象抽出部は、前記画像監視装置が起動したときに、前記画像出力装置の抽出を行ってもよい。
これにより、画像監視装置が起動したときに、以前の終了時(例えば前回終了時)に画像データを受信中であった画像出力装置から画像データを受信して、以前と同様の画像監視を行うとともに、その画像出力装置の状態情報をあわせて受信することができる。そして、画像監視装置が起動したときに画像データを受信しない画像出力装置については、画像出力装置の抽出が行われて状態要求信号が送信され、その状態情報を取得することができる。このようにして、画像監視装置の起動時に、画像記録装置の状態情報を効率的に取得することができる。したがって、画像監視装置を常時起動させないシステムへの適用に適している。
また、本発明の画像監視装置では、前記問合せ対象抽出部は、前記画像データを受信中でない画像出力装置を複数抽出可能であり、前記問合せ制御部は、画像出力装置が複数抽出される毎に、抽出された複数の画像出力装置に対して前記状態要求信号を送信する順序を変更してもよい。
これにより、複数の画像出力装置が抽出される毎に、状態要求信号を送信する順序が変更されるので、多数の画像出力装置から均等に状態情報を取得することができる。
また、本発明の画像監視装置では、前記問合せ制御部は、前記状態要求信号を送信する順序をランダムに決定してもよい。
これにより、状態要求信号を送信する順序がランダムに決定されるので、多数の画像出力装置から均等に状態情報を取得することができる。
本発明のプログラムは、画像データを出力する複数の画像出力装置と通信可能な画像監視装置において実行されるプログラムであって、前記画像出力装置から画像データを受信するときに、その画像出力装置の状態を示す状態情報をあわせて受信する処理と、前記複数の画像出力装置から、前記画像データを受信中でない画像出力装置を抽出する処理と、抽出された画像出力装置に対して、前記状態情報の送信を要求する状態要求信号を送信する処理と、をコンピュータに実行させる。
このプログラムによっても、上記の画像監視装置と同様にして、画像監視装置が起動している間に画像記録装置の状態情報を効率的に取得することができるので、画像監視装置を常時起動させない方式のシステムにも適用することが可能となる。
本発明によれば、画像データを受信中の画像出力装置からだけでなく、画像データを受信中でない画像出力装置からも状態情報を効率よく取得することができ、したがって、画像監視装置が起動している間に画像記録装置の状態情報を効率的に取得することができる。
以下、本発明の実施の形態の画像監視装置について、図面を用いて説明する。本実施の形態では、監視カメラで撮影した画像を画像記録装置に記録するともに、画像記録装置から送信される画像データと状態情報を画像監視装置で受信する画像監視システム等に用いられる画像監視装置の場合を例示する。この画像監視装置は、画像記録装置から状態情報を効率的に取得する機能を有しており、この機能は、画像監視装置のHDDなどに格納されるプログラムによって実現される。
(画像監視システム)
まず、本発明の実施の形態の画像監視システムの全体の構成について、図面を参照して説明する。図1は、画像監視システムの構成を示す図である。図1に示すように、画像監視システム1は、商店街の店舗(例えばコンビニエンスストア)や金融機関(例えば銀行)などの監視区域に設置される監視カメラ2および画像記録装置3と、監視区域から離れた場所の監視センタに設置される画像監視装置4とを備えている。
監視カメラ2は、監視区域の画像を撮影して、その画像(監視画像ともいう)を画像記録装置3に入力する。この監視カメラ2は、一つの監視区域に複数台設置されてもよく(図1の例では3台設置されている)、一つの監視区域に一台だけ設置されてもよい。画像記録装置3は、例えば各監視区域に一台ずつ設定されており、画像監視装置4と通信網5(例えばインターネット網など)を介して接続されている。監視センタは、複数の監視区域を統括的に監視する管理本部などである。この監視センタからは、画像監視装置4を用いることにより、複数の監視区域を遠隔から監視することができる。
なお、本実施の形態では、画像記録装置3が画像監視装置4との通信機能を備えており、画像記録装置3が本発明の画像出力装置として機能する。しかし、本発明の範囲はこれに限定されるものではなく、監視カメラ2が画像監視装置4との通信機能を備えている場合には、監視カメラ2が本発明の画像出力装置として機能してもよい。
また、本実施の形態では、通信網5がインターネット網で構成される例について説明するが、本発明の範囲はこれに限定されるものではなく、公衆電話網、携帯電話網など適宜利用可能なものを選択してよい。また、本実施形態では、通信プロトコル、交換設備、インターネットサービスプロバイダの設備などは、一般的な技術を使用するので詳細に説明するのを省略する。
監視カメラ2は、監視区域内の任意の設置場所に設置されており、監視区域内の画像を撮影する機能を備えている。この監視カメラ2には、予め、各監視カメラ2を識別するためのカメラ番号が設定されており、カメラ番号は、監視カメラ2に内蔵されたメモリ(図示せず)に記憶されている。このカメラ番号は、監視カメラ2で撮影した画像データと監視カメラ2の設置場所との関連付けに用いられる。そして、監視カメラ2は、各設置場所にて撮影した画像データをデジタル符号化し、LAN6を介して画像記録装置3にその画像データとカメラ番号とを送信する機能を備えている。
画像記録装置3は、監視区域ごとに設置されており、その監視区域内に設置された監視カメラ2から入力される画像データを受け付けて、その画像データの画像監視装置4への出力や自己の装置(画像記録装置3)への記録などの処理を行う機能を備えている。また、画像記録装置3は、監視カメラ2や自己の装置に異常が発生しているか否か(監視カメラ2又は自己の設定や制御処理に異常が生じているか否か、監視カメラ2の撮影が妨害されているか否かなど)を検知する機能を備えている。そして、この画像記録装置3は、監視カメラ2や自己の装置の異常(例えば、画像の撮影や記録にかかる異常)の発生を検知すると、その検知した異常状態を状態情報として記録する機能を備えている。
画像監視装置4は、監視センタに設置されており、各監視区域の監視カメラ2や画像記録装置3の状態を集中管理する機能を備えている。この画像監視装置4は、例えば、専用の端末装置や、汎用のパソコン(専用のプログラムがインストールされる)などで構成される。また、画像監視装置4は、例えば、監視センタの監視員が監視区域のモニタリングを行うときに起動され、モニタリングが終わると終了される。つまり、この例では、画像監視装置4が、画像監視装置4を常時起動させないシステムに適用される。しかし、本発明の範囲はこれに限定されるものではなく、この画像監視装置4は、画像監視装置4を常時起動させるシステムにも適用することができる。
後述するように、この画像監視装置4は、監視員の操作により、画像記録装置3に画像データの要求信号(画像要求信号)を送信し、これに対する応答として画像記録装置3から画像データを受信し、受信した画像データを表示出力する機能を備えている。また、画像監視装置4は、画像記録装置3から状態情報を受信して、受信した状態情報を記録するとともに表示出力する機能を備えている。
監視員は、表示出力される画像データを参照することにより監視区域を監視するとともに、表示出力される状態情報を参照して各画像記録装置3や各監視カメラ2が正常に動作しているか否かを確認する。そして、監視員は、表示出力された画像データからある監視区域に異常事態が発生したと判断すると、あるいは、表示出力された状態情報からある監視区域の画像記録装置3や監視カメラ2に異常が発生したと判断すると、例えば、その監視区域の画像データの記録や、その監視区域の管理者に対する確認処理、その監視区域の警備員への対処指示などの必要な措置をとる。
(画像記録装置)
つぎに、画像記録装置3の構成について、図面を参照して説明する。図2は、画像記録装置3の構成を示すブロック図である。図2に示すように、画像記録装置3は、画像監視装置4と通信するための通信部7と、監視カメラ2と通信するためのカメラインターフェース8(カメラI/F)と、画像データを記録するための画像記録部9と、画像記録装置3の状態を管理する状態管理部10と、画像記録装置3の状態情報などを記憶する記憶部11と、画像記録装置3の種々の制御を行う制御部12とを備えている。制御部12は、記録処理部13と、画像配信制御部14と、通信制御部15と、時計部16とを含んでいる。なお、この画像記録装置3は、これらの構成の他に、外部のモニタリング機器との接続部(図示せず)を備えてもよく、ディスプレイ(LCD等)やスピーカなどのモニタリング機器が接続されてよい。
通信部7は、インターネット網に接続するためのインターフェース(通信I/F)である。画像記録装置3は、この通信部7を介して監視センタの画像監視装置4と通信可能に接続される。
カメラI/F8は、LAN6に接続するためのインターフェースである。画像記録装置3は、このカメラI/F8を介して、監視カメラ2と通信可能に接続される。
画像記録部9は、画像記録装置3に着脱自在な記憶媒体(例えばDVD−RやHDDなど)である。この画像記録部9には、記録処理部13が書込み制御を行うことにより、監視カメラ2から入力される画像データが時刻情報(画像が撮影された時刻の情報)とともに記録される。
状態管理部10は、画像記録装置3や監視カメラ2に異常がないかを監視する機能を備えている。この状態管理部10が検出する異常としては、例えば、画像記録装置3内の冷却ファン(図示せず)が動作しないこと(ファン異常ともいう)、画像記録部9における書込み可能領域の容量が所定期間に渡って変動しないこと(記録異常ともいう)、画像記録部9の書込み可能領域の容量が所定以下となったこと(容量低下ともいう)、監視カメラ2から画像の入力がないこと(ビデオ入力なしともいう)、監視カメラ2との通信が異常であること(通信異常ともいう)、監視カメラ2の撮像妨害が検出されたこと(撮影妨害ともいう)などがある。これらの異常の検出方法としては、既知の様々な方法(ここでは特に説明しない)を用いることができる。状態管理部10がこれら各種の異常を検出すると、記録処理部13により書込み制御が行われて、その検出した異常の状態が記憶部11に状態情報として記録される。また、状態管理部10がこれらの異常からの復旧を検出すると、記録処理部13による書込み制御によって、状態情報として記録していた該当する異常の状態が消去される。
記憶部11は、ROM/RAMや、HDDなどで構成される。この記憶部11には、画像記録装置3の識別情報、予め設定される設定情報、画像記録装置3の状態を示す状態情報、その他に各種のプログラムなどが記憶される。なお、この記憶部11は、画像記録部9と同じ記憶媒体であってもよい。
識別情報は、各画像記録装置3毎に固有の情報(例えば、画像記録装置3のIDなど)である。設定情報は、予め設定された監視カメラ2のIPアドレスとカメラ番号、自己の装置(画像記録装置3)のIPアドレス、及び、画像監視装置4のIPアドレスなどの情報である。状態情報は、画像記録装置3や監視カメラ2が正常に稼働しているか否かの情報である。上述のように、状態管理部10で画像の撮影又は記録に係る異常が検知されると、その異常の状態が状態情報として記憶部11に記録される。また、その異常の状態が正常状態に復旧すると、状態情報として保持していた異常の情報が消去される。
制御部12は、CPU、ROM、RAM等を備えるマイクロコンピュータ及びその周辺回路で構成される。また、この制御部12は、マイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、記録処理部13、画像配信制御部14、通信制御部15などを備えている。
記録処理部13は、各監視カメラ2から入力される画像データを、その監視カメラ2のカメラ番号及び時刻情報(時計部16にて計時される)とともに、順次、画像記録部9に記録する処理を行う。なお、画像データを記録する処理は、予め設定されたスケジュール期間内のみ行われてよく、また、監視カメラ2が移動物体を検出した前後だけ行われてもよい。
画像配信制御部14は、画像監視装置4からの画像要求信号に基づいて、画像データを通信部7を介して画像監視装置4に送信する制御を行う。例えば、画像配信制御部14は、画像監視装置4からの画像要求信号がカメラ番号のみを指定する現在の画像データを要求するものであれば、該当する監視カメラ2からの画像データを順次画像監視装置4に送信する制御を行う。また、画像配信制御部14は、画像監視装置4からの画像要求信号がカメラ番号及び時刻情報を指定する過去の画像データ(画像記録部9に記録された画像データ)を要求するものであれば、該当する過去の画像データを画像記録部9から読み出して画像監視装置4に送信する。
通信制御部15は、画像監視装置4との間の通信を制御する機能を備えている。通信制御部15は、画像監視装置4から画像要求信号を受信すると、画像監視装置4との間の通信の確立処理を行い、受信した画像要求信号を画像配信制御部14へと出力する。そうすると、画像配信制御部14より該当する画像データが出力され、この画像データが画像監視装置4に送信される。また、通信制御部15は、画像監視装置4から画像要求信号を受信すると、記憶部11に記憶されている識別情報と状態情報を読み出して、画像配信制御部14が出力する画像データとともに識別情報と状態情報を画像監視装置4に送信する制御を行う。つまり、通信制御部15が、画像監視装置4から画像要求信号を受信すると、画像データと識別情報と状態情報が、画像監視装置4に送信されることになる。
また、通信制御部15は、画像監視装置4から状態要求信号を受信すると、画像監視装置4との間の通信の確立処理を行い、記憶部11から識別情報と状態情報を読み出して、画像監視装置4に識別情報と状態情報を送信する制御を行う。また、この通信制御部15は、画像監視装置4から通信終了要求を受信すると、通信終了処理を行って画像監視装置4との通信を終了する制御を行う。
(画像監視装置)
つぎに、画像監視装置4の構成について、図面を参照して説明する。図3は、画像監視装置4の構成を示すブロック図である。図3に示すように、画像監視装置4は、画像記録装置3と通信を行うための通信部17と、画像データや状態情報を表示するための表示部18と、監視員が各種の入力操作などを行うための操作部19と、画像データを記録するための画像記録部20と、画像記録装置3の状態情報などを記憶する記憶部21と、画像監視装置4の種々の制御を行う制御部22とを備えている。制御部22は、通信制御部23と、表示制御部24と、記録処理部25と、問合せ対象抽出部26と、問合せ制御部27とを含んでいる。
通信部17は、インターネット網に接続するためのインターフェース(通信I/F)である。画像監視装置4は、この通信部17を介して各監視区域に設置された画像記録装置3と通信可能に接続される。この場合、画像監視装置4は、この通信部17を介して、1以上の画像記録装置3と同時に通信可能に接続される。
表示部18は、画像記録装置3から受信する画像データや状態情報をモニタリングするための装置であり、ディスプレイ(LCD等)やスピーカなどで構成される。図4は、この表示部18に表示される画面(表示画面)の一例を示す図である。図4に示すように、この表示画面の例では、複数の監視区域(例えば、監視区域1〜3)の監視カメラ2(例えば、カメラ1〜3)の一覧表示フレーム30と、監視カメラ2の画像(画像1〜16)を表示する画像表示フレーム31と、画像記録装置3や監視カメラ2の状態情報を表示する状態表示フレーム32が設けられている。一覧表示フレーム30で監視区域や監視カメラ2の指定操作が行われると、指定された監視区域や監視カメラ2の画像データ(受信中の画像データ)が画像表示フレーム31に表示される。また、状態表示フレーム32には、画像記録装置3から受信した状態情報(異常を示す状態情報)が表示される。
操作部19は、キーボードやポインティグデバイスなどで構成される。この操作部19は、各画像記録装置3に対する画像受信要求や画像受信の停止要求などを入力するときに、監視員によって操作される。例えば、画像記録装置3の指定(監視区域内のすべての監視カメラ2の指定)や監視カメラ2の指定をする操作をすると、指定された画像記録装置3や監視カメラ2に対する現在の画像データの受信要求が入力される。また、画像記録装置3や監視カメラ2の指定とあわせて、撮影時刻の指定をする操作をすると、画像記録装置3に記録された過去の画像データの受信要求が入力される。なお、このような入力操作は、GUI(Graphical User Interface)などにより実現できる。
画像記録部20は、画像監視装置4に着脱自在な記憶媒体(例えばDVD−RやHDDなど)である。この画像記録部20には、記録処理部25が書込み制御を行うことにより、画像記録装置3から受信される画像データが時刻情報(画像が撮影された時刻の情報)とともに記録される。
記憶部21は、ROM/RAMや、HDDなどで構成される。この記憶部21には、予め設定される設定情報、各画像記録装置3から受信した状態情報をまとめた状態管理テーブル、画像受信中の画像記録装置3などを示す画像受信情報、その他に各種プログラムなどが記憶される。なお、この記憶部21は、画像記録部20と同じ記憶媒体であってもよい。
設定情報は、画像監視装置4から通信接続が可能な各画像記録装置3の識別情報とIPアドレス、その画像記録装置3に接続されている監視カメラ2のカメラ番号と各監視カメラ2の設置位置などの情報である。この場合、複数の画像記録装置3の設定情報が監視区域ごとに予め記憶部21に記憶されている。
状態管理テーブルは、画像記録装置3ごとに受信した状態情報をまとめたテーブルであり、問合せ制御部27による書込み制御によって作成される。図5は、状態管理テーブルの一例を示す図である。図5の例では、1番目の画像記録装置3(記録装置1という)でファン異常が発生しており、その画像記録装置3の1番目の監視カメラ(カメラ1という)で撮影妨害が起きている。また、記録装置2で容量低下の異常が生じている。
画像受信情報は、画像データを受信中の画像記録装置3を示す情報である。画像受信情報は、通信制御部23の書込み制御により作成される。例えば、ある画像記録装置3に対する画像要求信号に基づいて通信が確立すると、画像受信情報に、その画像記録装置3の情報(画像受信中である旨の情報)が書き込まれる。また、その画像記録装置3に対する画像受信の停止要求を操作部19から受け付けると、その画像記録装置3の情報が消去される。
図6は、画像受信情報の一例を示す図である。図6の例では、記録装置1と2の情報(画像受信中である旨の情報)が書き込まれている。また、この画像受信情報の例では、どの監視カメラ2の画像が表示部18の画像表示フレーム31のどの位置に表示されているかを示す情報(表示位置の情報)が書き込まれている。この場合、記録装置1のカメラ1〜3の画像が、画像表示フレーム31の1〜3番目の位置に表示され、記録装置2のカメラ3の画像が、画像表示フレーム31の4番目の位置に表示される。なお、この場合、記録装置2のカメラ1と2の画像は表示されない。
制御部22は、CPU、ROM、RAM等を備えるマイクロコンピュータ及びその周辺回路で構成される。また、この制御部22は、マイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、通信制御部23と、表示制御部24と、記録処理部25と、問合せ対象抽出部26と、問合せ制御部27などを備えている。
通信制御部23は、画像記録装置3との間の通信を制御する機能を備えている。通信制御部23は、画像データと状態情報をあわせて受信する通信制御を行う第1セッション部28と、状態要求信号に対する応答として状態情報を受信する通信制御を行う第2セッション部29を備えている。この場合、第1セッション部28による画像記録装置3との通信(画像受信中の画像記録装置3との通信)と、第2セッション部29による画像記録装置3との通信(画像受信中でない画像記録装置3との通信)とは、同時に確立可能に構成される。もちろん、第1セッション部28が複数の画像記録装置3との通信を同時に確立可能であってもよく、また、第2セッション部29が複数の画像記録装置3との通信を同時に確立可能であってもよい。
第1セッション部28は、画像記録装置3から画像データを受信するときに、HTTP等のプロトコルを用いて画像記録装置3との間の通信を確立し、画像データの受信が終了するときに、その画像記録装置3との通信を終了する。また、第2セッション部29は、問合せ制御部27から状態要求信号の送信要求を受け付けると、画像記録装置3に対してHTTP等のプロトコルを用いて画像記録装置3との間の通信を確立し、その画像記録装置3から状態情報を受信すると、その画像記録装置3との通信を終了する。
通信制御部23は、操作部19から画像データの受信要求が入力されると、第1セッション部28の管理下において、該当する画像記録装置3に対して画像要求信号を送信して、その画像記録装置3との間の通信を確立し、これに応答して画像記録装置3から送信される画像データ及び状態情報を受信する。このとき、通信制御部23は、記憶部21の画像受信情報に画像受信中の画像記録装置3の情報を書き込む。また、通信制御部23は、操作部19から画像受信の停止要求が入力されると、該当する画像記録装置3に対して通信終了要求信号を送信して、その画像記録装置3との通信を終了する。そして、画像記録装置3との通信が終了すると、通信制御部23は、記憶部21の画像受信情報から通信が終了した画像記録装置3の情報を消去する。
また、通信制御部23は、画像監視装置4が起動すると、記憶部21の画像受信情報を参照し、以前に(例えば前回)画像監視装置4が終了したときに画像受信中であった画像記録装置3の情報を読み出す。そして、第1セッション部28の管理下において、該当する画像記録装置3に対して画像要求信号を送信し、これに対する応答として画像記録装置3から送信される画像データ及び状態情報を受信する。
さらに、通信制御部23は、問合せ制御部27から状態要求信号の送信要求を受け付けると、第2セッション部29の管理下において、該当する画像記録装置3に対して、状態要求信号を送信し、これに対する応答として画像記録装置3から送信される状態情報を受信する。
表示制御部24は、画像データや状態情報を表示部18に表示出力する制御を行う。例えば、表示制御部24は、画像記録装置3から画像データを受信すると、受信した画像データに順次伸張処理を施して表示部18に表示出力する。この場合、表示画面を複数に分割することにより、複数の画像を同時に表示してもよい(図4参照)。また、表示制御部24は、操作部19から画像記録部20に記録された画像の検索要求や表示要求の入力を受け付けると、画像記録部20から該当する画像データを抽出し、伸張処理を施して表示部18に表示出力する。また、表示制御部24は、状態管理テーブルに記録される各画像記録装置3の状態情報が異常を示していれば、これを表示部18に表示出力する。
記録処理部25は、操作部19から画像の記録要求が入力されると、画像記録装置3から受信する画像データを、その画像記録装置3の識別情報及び時刻情報に対応させて、画像記録部20に記録する処理を行う。なお、画像記録装置3から受信する画像データを記録する場合には、表示制御部24がその画像データを表示部18に表示出力しないよう構成してもよい。
問合せ対象抽出部26は、記憶部21に記憶された画像受信情報及び設定情報を参照して、画像受信中でない画像記録装置3を判別して、この判別された画像記録装置3(画像受信中でない画像記録装置3)の情報をまとめた問合せ対象リストを生成する。図7は、問合せ対象リストの一例を示す説明図である。図7の例では、通信可能な画像記録装置3(記録装置1、2、3、・・・)の中から、画像受信中でない画像記録装置3(記録装置3、4、6、8、9・・・)が抽出された問合せ対象リストが作成される。本実施形態では、問合せ対象抽出部26は、画像監視装置4が起動したとき、及び、起動後から所定時間おき(例えば4時間おき)に、各時点での画像受信情報及び設定情報を参照して、問合せ対象リストを生成する。このように問合せ対象リストを生成するタイミング(起動時、起動後から所定時間経過後)を、状態問合せ時間ともいう。
問合せ制御部27は、問合せ対象リストが生成されると、リスト内の画像記録装置3に対して順に状態要求信号を送信する。この問合せ制御部27は、リスト内の画像記録装置3が複数である場合には、所定の問合せ順序にて各画像記録装置3に状態要求信号を送信する。図7の例では、所定の問合せ順序としてリスト内の画像記録装置3に対してランダムな順序で問合せる場合が例示されているが、本発明の範囲はこれに限定されるものでなく、リスト内の画像記録装置3への問い合わせ順は、毎回固定されるものでなければ、どのような順番であってもよい。例えば、画像記録装置3の番号が大きい順に問合せをする問合せ順序と、画像記録装置3の番号が小さい順に問合せをする問合せ順序とを、問合せを行う毎に交互に用いてもよく、前回の最後に状態要求信号を送信して状態情報を受信した画像記録装置を識別可能に記憶しておき、次回に状態要求信号を送信する場合に、その続きから行うようにしてもよい。
問合せ制御部27は、問合せ対象リスト内のある画像記録装置3に対して状態要求信号を送信し、その状態要求信号の応答として画像記録装置3から状態情報を受信すると、受信した状態情報を記憶部21の状態管理テーブルに記憶する書込み制御を行う。また、問合せ制御部27は、画像記録装置3への画像要求信号の応答として、画像記録装置3から画像データとともに状態情報を受信すると、受信した状態情報を記憶部21の状態管理テーブルに記憶する書込み制御を行う。このとき、状態情報が異常の状態を示すものであれば、その状態情報(異常の状態)が表示制御部24により表示部18に出力される。そして、問合せ制御部27は、問合せ対象リストの次の画像記録装置3に状態要求信号を送信する。このようにして、抽出されたすべての画像記録装置3に対する問合せが終了するまで、上記と同様の処理が繰り返される。
以上のように構成された画像監視装置4について、図8および図9のフロー図を用いてその動作を説明する。ここでは、本発明の特徴的な動作の一例として、画像監視装置4の起動中に状態情報を取得する動作について説明する。
ここでは、まず、図8を参照して、画像監視装置4の起動から終了までの全体の動作の流れについて説明する。ここで、起動と終了とは、画像監視装置4のハードウェアの起動とシャットダウンに限らず、画像監視装置卯4が汎用のパソコンで構成される場合には、専用プログラムの起動と終了であってよい。図8に示すように、画像監視装置4が起動すると、まず、記憶部21の画像受信情報を参照して、前回の終了時に画像受信中の画像記録装置3があったか否かの判断が行われる(S1)。前回の終了時に画像受信中の画像記録装置3があったと判断された場合には、該当する画像記録装置3(前回の終了時に画像受信中の画像記録装置3)から画像データと状態情報を受信する処理が開始される(S2)。受信する画像データは、順次伸張されて表示部18に表示される。
つぎに、監視センタの監視員が操作部19を操作して画像受信要求が入力されたか否かの判断が行われる(S3)。監視センタの監視員が操作部19を操作して画像記録装置3が指定され画像受信要求が入力されると、該当する画像記録装置3(操作部19で指定された画像記録装置3)から画像データと状態情報を受信する処理が開始され(S4)、受信した画像データが順次伸張されて表示部18に表示される。また、その画像記録装置3についての画像受信情報が記憶部21に記録される(S5)。
つづいて、監視員が操作部19を操作して画像受信の停止要求が入力されたか否かの判断が行われる(S6)。監視員が操作部19を操作して画像受信の停止要求が入力されると、該当する画像記録装置3(操作部19で指定解除された画像記録装置3)から画像データと状態情報を受信する処理が終了され(S7)、その画像記録装置3についての画像受信情報が記憶部21から消去される(S8)。
つぎに、現在の時間が、所定の状態問合せ時間であるか否かの判断が行われる(S9)。現在の時間が、画像監視装置4の起動時、または、起動後から所定時間(例えば4時間)経過した時点であると、図9を用いて後述するようにその時点で画像受信中でない画像記録装置3の抽出が行われ、抽出された画像記録装置3から状態情報を受信する処理が行われる(S10)。
そして、監視センタの監視員により操作部19で終了操作が行われたか否かの判断が行われる(S11)。終了操作が行われた場合には、画像監視装置4が終了(例えばシャットダウン)の動作を行う。
つぎに、図9を参照して、画像受信中でない画像記録装置3から状態情報を受信する動作について詳しく説明する。
図9に示すように、画像受信中でない画像記録装置3から状態情報を受信するときには、まず、問合せ対象抽出部26が、記憶部21の画像受信情報に基づいて、設定情報に予め記憶した各画像記録装置3と画像受信中の画像記録装置3との比較から、画像受信中でない画像記録装置3の抽出を行い(S20)、問合せ対象リストを作成する。例えば、図7の例では、記録装置1、2、3・・・の中から、画像受信中でない記録装置3、4、6、8、9・・・が抽出される。
つぎに、問合せ制御部27が、問合せ対象リスト内の画像記録装置3へ状態要求信号を送信する順序(問合せ順序)を決定し(S21)、問合せ対象の画像記録装置3に状態要求信号が送信される(S22)。例えば、図7の例では、記録装置9、3、8、6、4・・・という問合せ順序で、状態要求信号が送信される。
そして、状態要求信号が送信された画像記録装置3から状態情報を受信すると(S23)、その状態情報を状態管理テーブルに記憶する(S24)。抽出されたすべての画像記録装置3に対して状態情報の問合せが終了すると(S25)、この処理は終了する。
このような本実施の形態の画像監視装置4によれば、画像データを受信中の画像記録装置3からだけでなく、画像データを受信中でない画像記録装置3からも状態情報を効率よく取得することができる。したがって、画像監視装置4が起動している間に画像記録装置3の状態情報を効率的に取得することができる。
すなわち、本実施の形態では、複数の画像記録装置3のうち、画像データを受信中である画像記録装置3からは、画像データを受信するときにその画像記録装置3の状態情報をあわせて受信することができる。一方、それ以外の画像記録装置3については、画像データを受信中でない画像記録装置3を抽出して、抽出された画像記録装置3に対して状態要求信号が送信される。したがって、画像データを受信中の画像記録装置3からだけでなく、画像データを受信中でない画像記録装置3からも状態情報を効率よく取得することができる。このようにして、画像監視装置4が起動している間に画像記録装置3の状態情報を効率的に取得することができる。したがって、本実施の形態の画像監視装置4は、画像監視装置4を常時起動させないシステムにも適用することが可能となる。
また、本実施の形態では、画像監視装置4が起動したときに、以前の終了時(例えば前回終了時)に画像データを受信中であった画像記録装置3から画像データを受信するとともに、その画像記録装置3の状態情報をあわせて受信することができる。そして、画像監視装置4が起動したときに画像データを受信しない画像記録装置3については、画像記録装置3の抽出が行われて状態要求信号が送信され、その状態情報を取得することができる。このようにして、画像監視装置4の起動時に、画像記録装置3の状態情報を効率的に取得することができる。したがって、本実施の形態の画像監視装置4は、画像監視装置4を常時起動させないシステムへの適用に特に適している。
また、本実施の形態では、複数の画像記録装置3が抽出される毎に、状態要求信号を送信する順序が変更されるので、多数の画像記録装置3から均等に状態情報を取得することができる。具体的には、状態要求信号を送信する順序がランダムに決定されるので、多数の画像記録装置3から均等に状態情報を取得することができる。
この場合、接続可能な複数の画像記録装置3が予め登録されており、画像受信中でない画像記録装置3を抽出してリスト化し、これらを順にポーリングして各画像記録装置3の状態情報を取得する。特に、状態情報の取得が行われる都度、リスト化された画像記録装置3への問い合わせ順をランダムに異ならせる。これにより、常時起動していない画像監視装置4であっても、起動している間に、効率的に各画像記録装置3の状態を収集して管理することができる。
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
以上のように、本発明にかかる画像監視装置は、画像監視装置が起動している間に画像記録装置の状態情報を効率的に取得することができるという効果を有し、監視区域の監視カメラの画像を遠隔の監視センタで確認する画像監視システム等に用いられ、有用である。
本実施の形態における画像監視システムの構成を示す図である。 画像記録装置の構成を示すブロック図である。 画像監視装置の構成を示すブロック図である。 画像監視装置の表示画面の一例を示す図である。 状態管理テーブルの一例を示す図である。 画像受信情報の一例を示す図である。 問合せ対象リストの一例を示す図である。 画像監視装置の動作の流れを示すフロー図である。 状態情報受信処理の流れを示すフロー図である。
符号の説明
1 画像監視システム
2 監視カメラ
3 画像記録装置
4 画像監視装置
17 通信部
23 通信制御部
26 問合せ対象抽出部
27 問合せ制御部
28 第1セッション部
29 第2セッション部

Claims (5)

  1. 複数の画像出力装置と通信可能な通信部と、
    前記画像出力装置から画像データを受信するときに、その画像出力装置の状態を示す状態情報をあわせて受信する制御を行う通信制御部と、
    前記複数の画像出力装置から、前記画像データを受信中でない画像出力装置の抽出を行う問合せ対象抽出部と、
    抽出された画像出力装置に対して、前記状態情報の送信を要求する状態要求信号を送信する問合せ制御を行う問合せ制御部と、
    を備えることを特徴とする画像監視装置。
  2. 前記通信制御部は、前記画像監視装置が起動したときに、以前の終了時に前記画像データを受信中であった画像出力装置から画像データを受信する制御を行い、
    前記問合せ対象抽出部は、前記画像監視装置が起動したときに、前記画像出力装置の抽出を行う請求項1に記載の画像監視装置。
  3. 前記問合せ対象抽出部は、前記画像データを受信中でない画像出力装置を複数抽出可能であり、
    前記問合せ制御部は、画像出力装置が複数抽出される毎に、抽出された複数の画像出力装置に対して前記状態要求信号を送信する順序を変更する請求項1または請求項2に記載の画像監視装置。
  4. 前記問合せ制御部は、前記状態要求信号を送信する順序をランダムに決定する請求項3に記載の画像監視装置。
  5. 画像データを出力する複数の画像出力装置と通信可能な画像監視装置において実行されるプログラムであって、
    前記画像出力装置から画像データを受信するときに、その画像出力装置の状態を示す状態情報をあわせて受信する処理と、
    前記複数の画像出力装置から、前記画像データを受信中でない画像出力装置を抽出する処理と、
    抽出された画像出力装置に対して、前記状態情報の送信を要求する状態要求信号を送信する処理と、
    をコンピュータに実行させることを特徴とするプログラム。
JP2008218948A 2008-08-28 2008-08-28 画像監視装置およびプログラム Expired - Fee Related JP5154341B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008218948A JP5154341B2 (ja) 2008-08-28 2008-08-28 画像監視装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008218948A JP5154341B2 (ja) 2008-08-28 2008-08-28 画像監視装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2010056814A true JP2010056814A (ja) 2010-03-11
JP5154341B2 JP5154341B2 (ja) 2013-02-27

Family

ID=42072274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008218948A Expired - Fee Related JP5154341B2 (ja) 2008-08-28 2008-08-28 画像監視装置およびプログラム

Country Status (1)

Country Link
JP (1) JP5154341B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216949A (ja) * 2010-03-31 2011-10-27 Mitsubishi Electric Corp 監視映像装置
JP2013074616A (ja) * 2011-09-29 2013-04-22 Secom Co Ltd 画像監視装置およびプログラム
JP2013073602A (ja) * 2011-09-29 2013-04-22 Secom Co Ltd 画像監視装置およびプログラム
JP2014150318A (ja) * 2013-01-31 2014-08-21 Hitachi Systems Ltd 映像監視システムにおける監視カメラ映像記録装置の健常性確認装置及び健常性確認方法
WO2015083408A1 (ja) * 2013-12-02 2015-06-11 三菱電機株式会社 システム管理装置、システム管理方法、及びプログラム
JP2016122908A (ja) * 2014-12-24 2016-07-07 ソニー株式会社 制御方法、制御装置およびプログラム
JP2022069339A (ja) * 2020-10-23 2022-05-11 横河電機株式会社 装置、システム、方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020184A (ja) * 2003-06-24 2005-01-20 Toshiba Corp 撮像装置及び撮像装置における情報転送方法
JP2006227794A (ja) * 2005-02-16 2006-08-31 Canon Inc 画像形成システム
JP2008042454A (ja) * 2006-08-04 2008-02-21 Canon Inc 監視カメラシステム
JP2008131443A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd 監視システム、及び、その障害状況表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005020184A (ja) * 2003-06-24 2005-01-20 Toshiba Corp 撮像装置及び撮像装置における情報転送方法
JP2006227794A (ja) * 2005-02-16 2006-08-31 Canon Inc 画像形成システム
JP2008042454A (ja) * 2006-08-04 2008-02-21 Canon Inc 監視カメラシステム
JP2008131443A (ja) * 2006-11-22 2008-06-05 Hitachi Ltd 監視システム、及び、その障害状況表示方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216949A (ja) * 2010-03-31 2011-10-27 Mitsubishi Electric Corp 監視映像装置
JP2013074616A (ja) * 2011-09-29 2013-04-22 Secom Co Ltd 画像監視装置およびプログラム
JP2013073602A (ja) * 2011-09-29 2013-04-22 Secom Co Ltd 画像監視装置およびプログラム
JP2014150318A (ja) * 2013-01-31 2014-08-21 Hitachi Systems Ltd 映像監視システムにおける監視カメラ映像記録装置の健常性確認装置及び健常性確認方法
GB2535913A (en) * 2013-12-02 2016-08-31 Mitsubishi Electric Corp System management device, system management method, and program
WO2015083408A1 (ja) * 2013-12-02 2015-06-11 三菱電機株式会社 システム管理装置、システム管理方法、及びプログラム
JPWO2015083408A1 (ja) * 2013-12-02 2017-03-16 三菱電機株式会社 システム管理装置、システム管理方法、及びプログラム
US9928880B2 (en) 2013-12-02 2018-03-27 Mitsubishi Electric Corporation System management device, system management method, and program
GB2535913B (en) * 2013-12-02 2020-01-08 Mitsubishi Electric Corp System management device, system management method, and program
JP2016122908A (ja) * 2014-12-24 2016-07-07 ソニー株式会社 制御方法、制御装置およびプログラム
US10958804B2 (en) 2014-12-24 2021-03-23 Sony Corporation Control method, control device, and program
US11277538B2 (en) 2014-12-24 2022-03-15 Sony Group Corporation Control method, control device, and program
US11652945B2 (en) 2014-12-24 2023-05-16 Sony Group Corporation Control method, control device, and program
JP2022069339A (ja) * 2020-10-23 2022-05-11 横河電機株式会社 装置、システム、方法およびプログラム
JP7415872B2 (ja) 2020-10-23 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム

Also Published As

Publication number Publication date
JP5154341B2 (ja) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5154341B2 (ja) 画像監視装置およびプログラム
JP5854194B2 (ja) 監視カメラシステム及び監視方法
JP5774506B2 (ja) 映像監視システム
CN102457716A (zh) 监视摄像机装置及监视摄像机装置的控制方法
KR101444006B1 (ko) Ip 카메라의 클라우드 영상 저장 시스템
JP5293270B2 (ja) 撮影対象選択装置、撮影対象選択装置の制御方法、撮影対象選択装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体
KR101420006B1 (ko) 분산처리 기반 카메라 영상 서비스 시스템 및 방법
JP5824331B2 (ja) 監視装置
JP6416465B2 (ja) 画像監視システムおよび画像送信方法
JP5824332B2 (ja) 監視装置
JP4742956B2 (ja) 監視映像管理システム
JP5795243B2 (ja) 監視装置
JP6486654B2 (ja) 画像表示システム
JP2004023505A (ja) 集中監視システム
KR200434039Y1 (ko) 중앙 집중형 감시 시스템
JP5166084B2 (ja) 映像配信表示システムおよび映像配信表示方法
JP4438945B2 (ja) 監視システム
JP5307480B2 (ja) 情報管理装置およびプログラム
JP2013115566A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP4136638B2 (ja) 監視システム、被監視サイトのコンピュータ、監視サイトのコンピュータ、及び携帯電話
JP5892759B2 (ja) 画像監視装置およびプログラム
JP5893883B2 (ja) 画像監視装置およびプログラム
JP2008193443A (ja) 映像収集方法、映像収集システム、映像収集用プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007072644A (ja) カメラの監視方法
JP2006121706A (ja) 物体検出装置及び監視情報送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5154341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees