JP2011186975A - 画像監視装置 - Google Patents

画像監視装置 Download PDF

Info

Publication number
JP2011186975A
JP2011186975A JP2010054034A JP2010054034A JP2011186975A JP 2011186975 A JP2011186975 A JP 2011186975A JP 2010054034 A JP2010054034 A JP 2010054034A JP 2010054034 A JP2010054034 A JP 2010054034A JP 2011186975 A JP2011186975 A JP 2011186975A
Authority
JP
Japan
Prior art keywords
restricted area
image
image data
monitoring
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010054034A
Other languages
English (en)
Other versions
JP5341001B2 (ja
Inventor
Tetsuya Takahashi
哲也 高橋
Haruhiro Izuma
春洋 出馬
Hisashi Hazekawa
久史 沙魚川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2010054034A priority Critical patent/JP5341001B2/ja
Publication of JP2011186975A publication Critical patent/JP2011186975A/ja
Application granted granted Critical
Publication of JP5341001B2 publication Critical patent/JP5341001B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】ブロードバンド回線で常時データ伝送を行う環境下でも監視センタの負荷を軽減することができ、重要性の高い画像データについては高品質を維持することのできる画像監視装置を提供する。
【解決手段】画像監視装置6は、制限区域の画像データを取得して遠隔の監視センタ8に送信する。この画像監視装置6は、制限区域内の監視結果に基づいて制限区域内に入場している入場者の人数を検出する人数検出部と、制限区域の画像データの送信品質を検出人数に応じて異ならせる画像品質制御部とを備える。画像品質制御部は、制限区域内が無人の場合より有人の場合の送信品質を高くし、そして、有人の場合には、検出人数が1人の場合の送信品質を最も高くする。
【選択図】図1

Description

本発明は、制限区域の画像データを取得して遠隔の監視センタに送信する機能を備えた画像監視装置に関し、特に、監視センタへのデータ送信の効率化を行う技術に関する。
従来、監視領域の画像を撮影し、この監視領域に異常が発生したときに遠隔の監視センタに画像データを送信する画像監視装置が知られている。そして、このような画像監視装置において、不必要な画像が送出されることによる通信トラフィックを抑制するために、検出された異常の種別に応じて監視センタへの送信枚数を制限するという手法が提案されている(例えば特許文献1参照)。このような手法は、監視領域に設置された画像センサなどで画像データの監視を行う場合に、必要十分な画像データを遠隔の監視センタに送出するという点において有用であった。
特開2000−48278号公報
ところで、近年、情報通信のインフラ整備が進み、ブロードバンド回線が広く普及するようになって、監視領域と監視センタとがブロードバンド回線で接続されるケースも多くなってきている。そのようなケースでは、各監視領域において画像センサなどで画像データを取得して、各監視領域で画像データの監視を別々に行うよりも、各監視領域の画像データを監視センタに常時送信して、監視センタで複数の監視領域の画像データを集中的に監視するほうが効率的な場合がある。このように監視センタで集中的な監視を行う場合には、各監視領域から画像データを受信するサーバ装置や、各監視領域の画像データに監視用の画像処理(画像中から不審な行動を検出する処理など)を施す画像処理装置の処理負荷が増大するという問題があった。
また、監視領域の画像データは、その監視領域で不正行為や犯罪行為などが発生した場合などには、将来、警察などの機関から提出が求められることもある。したがって、監視領域の画像データは、ある程度の期間、消去せずに保存しておく必要がある。特に、不正行為や犯罪行為が写っている可能性があるものについては、警察などの機関で画像解析を行うために、ある程度高品質な画像データを記録しておく必要がある。しかし、上記のように監視センタで集中的な監視を行う場合、各監視領域からの画像データをすべて高品質で記録しようとすると、監視センタのストレージ装置の負荷が増大するという問題があった。
ところが、上記従来の手法では、監視領域と監視センタとをブロードバンド回線で接続して画像データを常時送信するという環境については想定されておらず、そのような環境下において監視センタの負荷(画像データの受信処理を行うサーバ装置や監視用の画像処理を行う画像処理装置の負荷、画像データを記録するストレージ装置の負荷など)を軽減することについては考慮されていなかった。
本発明は、上記の課題に鑑みてなされたもので、監視センタへの効率的なデータ伝送を可能とし、ブロードバンド回線で常時データ伝送を行う環境下でも監視センタの負荷を軽減することができるとともに、重要性の高い画像データについては高品質を維持することのできる画像監視装置を提供することを目的とする。
本発明の画像監視装置は、制限区域の画像データを取得して遠隔の監視センタに送信する画像監視装置であって、前記制限区域内に入場している入場者の人数を検出する人数検出部と、前記制限区域の画像データを前記監視センタへ送信するときの送信品質を、前記人数検出部で検出された検出人数に応じて異ならせる画像品質制御部と、を備え、前記画像品質制御部は、少なくとも、前記検出人数が1であるときの送信品質を最も高くする。
これにより、制限区域に入場している入場者の人数(検出人数)に基づいて、監視センタへ送信する画像データの送信品質が適切に制御される。制限区域の画像データの重要性(将来、警察などの機関から画像データの提出を求められる可能性、すなわち、高品質な画像データを記録しておく必要性)は、制限区域内に入場者が存在するか否かによって異なり、特に、制限区域内に入場者が存在する場合でも、入場者が1人だけであるか否かによって異なる。入場者の人数が多ければ「他人の目」という抑止力が働くのに対して、入場者が1人だけの場合には「他人の目」の抑止力が働かず、その分だけ不正行為や犯罪行為が発生しやすいと考えられるからである。本発明では、このような制限区域の画像データの重要性に応じて、画像データを監視センタへ送信するときの送信品質を決定することで、監視センタへの効率的なデータ伝送を行うことができる。したがって、重要性の高い画像データについて高品質を維持しながら、ブロードバンド回線で常時データ伝送を行う環境下でも監視センタの負荷(画像データの受信処理を行うサーバ装置や監視用の画像処理を行う画像処理装置の負荷、画像データを記録するストレージ装置の負荷など)を軽減することができる。
また、本発明の画像監視装置では、前記制限区域への入場時および前記制限区域からの退場時に前記利用者から得られる識別情報を取得する識別情報取得部と、前記制限区域に入場している前記利用者の識別情報を前記制限区域の在室者情報として記憶する在室者情報記憶部と、を、さらに備え、前記人数検出部は、前記在室者情報に基づいて前記制限区域内に入場している入場者の人数を検出してもよい。
これにより、制限区域に入退場する利用者から識別情報を取得して、その制限区域の在室者情報として管理される。この在室者情報に基づいて、その制限区域に入場している入場者の人数(検出人数)を適切に求めることができる。そのため、制限区域の画像データの重要性を適切に決定することができ、したがって、画像データを監視センタへ送信するときの送信品質を適切に決定することができる。
また、本発明の画像監視装置は、前記制限区域内の監視情報を取得する監視情報取得部を、さらに備え、前記人数検出部は、前記監視情報より前記制限区域内の移動物体を検出し、当該移動物体の検出結果に基づいて前記制限区域内に入場している入場者の人数を検出してもよい。
これにより、制限区域内の監視情報(例えば、画像データ)に基づいて、制限区域内の移動物体が検出される。この移動物体の検出結果に基づいて、その制限区域に入場している入場者の人数(検出人数)を適切に求めることができる。そのため、制限区域の画像データの重要性を適切に決定することができ、したがって、画像データを監視センタへ送信するときの送信品質を適切に決定することができる。
また、本発明の画像監視装置では、前記画像品質制御部は、前記画像データの送信レートを異ならせることによって前記送信品質を異ならせてもよい。
これにより、画像データの送信レートを異ならせることで、画像データを監視センタへ送信するときの送信品質を容易に変えることができる。例えば、制限区域の画像データの重要性に応じて、画像データを数フレームごとに間引いて単位時間当たりのフレームレート(fps)を調整することによって、画像データの送信品質を異ならせることができる。
また、本発明の画像監視装置では、前記画像品質制御部は、前記画像データの圧縮率を異ならせることによって前記送信品質を異ならせてもよい。
これにより、画像データの圧縮率を異ならせることで、画像データを監視センタへ送信するときの送信品質を容易に変えることができる。例えば、制限区域の画像データの重要性に応じて、1フレームごとの圧縮率(%)を調整することによって、画像データの送信品質を異ならせることができる。
本発明の監視システムは、制限区域への利用者の出入を管理する出入管理装置と、前記制限区域の画像データを取得して遠隔の監視センタに送信する画像監視装置とを備えた監視システムであって、前記出入管理装置は、前記制限区域への入場時および前記制限区域からの退場時に前記利用者から得られる識別情報を取得する識別情報取得部と、前記制限区域に入場している前記利用者の識別情報を前記制限区域の在室者情報として記憶する在室者情報記憶部と、前記在室者情報に基づいて、前記制限区域に入場している入場者の人数を検出する人数検出部と、を備え、前記画像監視装置は、前記出入管理装置から前記制限区域の入場者の人数を取得する在室者数取得部と、前記制限区域の画像データを前記監視センタへ送信するときの送信品質を、前記在室者数取得部によって取得された前期制限区域の人数に応じて異ならせる画像品質制御部と、を備え、前記画像品質制御部は、少なくとも、前記検出人数が1であるときの送信品質を最も高くする。
このシステムによっても、上記の装置と同様、制限区域の画像データの重要性に応じて、画像データを監視センタへ送信するときの送信品質を決定することで、監視センタへの効率的なデータ伝送を行うことができる。したがって、重要性の高い画像データについて高品質を維持しながら、ブロードバンド回線で常時データ伝送を行う環境下でも監視センタの負荷(画像データの受信処理を行うサーバ装置や監視用の画像処理を行う画像処理装置の負荷、画像データを記録するストレージ装置の負荷など)を軽減することができる。
本発明によれば、監視センタへの効率的なデータ伝送が可能となり、ブロードバンド回線で常時データ伝送を行う環境下でも監視センタの負荷を軽減することができ、重要性の高い画像データについては高品質を維持することができる。
本発明の実施の形態における監視システムの概略図である。 本発明の実施の形態における出入管理装置の構成を示すブロック図である。 本発明の実施の形態における画像監視装置の構成を示すブロック図である。 (a)管理テーブルの一例を示した図である。 (b)エリアテーブルの一例を示した図である。 (a)在室者情報の一例を示した図である。 (b)品質テーブルの一例を示した図である。 (c)警備モード情報の一例を示した図である。 (d)現状態情報の一例を示した図である。 本発明の実施の形態における画像監視装置の動作を説明するためのフロー図である。 本発明の実施の形態における画像品質制御処理を説明するためのフロー図である。
以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。本実施の形態では、入退室規制を行っている部屋などの画像監視を行う監視システムの場合を例示する。この監視システムでは、各監視領域に設置された出入管理装置と画像監視装置とが接続されている。そして、各監視領域の画像を画像監視装置から遠隔の監視センタにブロードバンド回線を介して送信し、監視センタにて画像の確認が行われる。
(監視システム)
図1は、本実施の形態の監視システムの概略図である。図1では、説明の便宜上、一つの監視領域(例えば、施設や建物など)の二つの制限区域(廊下や部屋など)のみが図示されているが、本発明の範囲はこれに限定されるものではない。監視領域は二つ以上であってもよく、制限区域は一つであっても、三つ以上であってもよい。
図1に示すように、監視システム1では、制限区域(制限エリア、単にエリアともいう)の境界には、エリア間の移動を規制する電気錠付きのドア2が設置されており、このドア2の近傍には、各エリアに出入りする利用者が所持するIDカード(図示せず)から利用者の識別コード(個人識別情報)を読み取るカードリーダ3が設置されている。図1の例では、二つのエリア(エリアAの「廊下」とエリアBの「部屋」)が示されており、廊下側(エリアA側)と部屋側(エリアB側)に、それぞれ一つずつカードリーダ3が設定されている。この場合、一つの電気錠付きドア2と、二つのカードリーダ3が一組となって設置されているともいえる。
そして、この電気錠付きドア2とカードリーダ3には、ドア2の電気錠4の制御を行う電気錠制御装置5が接続されている。この電気錠制御装置5は、各電気錠付きドア2に設けられて利用者の出入をドア2ごとに個別管理できるように構成されていてもよく、また、複数の電気錠付きドア2にまとめて一つ設けられて利用者の出入を集中管理できるように構成されていてもよい。
また、図1に示すように、電気錠制御装置5は、制限区域内の利用者を監視する画像監視装置6に接続されており、画像監視装置6は、制限区域(例えばエリアB)を撮影する監視カメラ7に接続されている。そして、この画像監視装置6は、監視センタ8の監視卓に設置された監視用端末9にブロードバンド回線10を介して接続されており、制限区域(例えばエリアB)の画像データは、ブロードバンド回線10を介して監視センタ8に常時送られている。監視センタ8の監視員は、監視用端末9のモニタで制限区域(例えばエリアB)内での利用者の行動を画像で常時監視することができる。
これらの電気錠付きドア2とカードリーダ3と電気錠制御装置5は、制限区域である部屋への利用者の出入を管理する出入管理装置11を構成している。つまり、本実施の形態の監視システム1は、出入管理装置11と画像監視装置6を備えているともいえる。以下、図2および図3を参照しながら、出入管理装置11と画像監視装置6の構成について詳しく説明する。
(出入管理装置)
ここでは、まず、出入管理装置11の構成について説明する。図2は、出入管理装置11の構成を示すブロック図である。上述のように、出入管理装置11は、電気錠付きのドア2と、二つのカードリーダ3と、電気錠制御装置5で構成されている。図2に示すように、ドア2は、電気錠4を備えている。この電気錠4は、通常時は施錠状態に維持されており、電気錠制御装置5からの解錠信号を受けた場合に所定時間だけ解錠される。したがって、利用者は、所持しているIDカードに記憶されている識別コードをカードリーダ3に読み込ませないと、エリア間を移動できないようになっている。利用者が、カードリーダ3に識別コードを読み込ませると、カードリーダ3は読み取った識別コードを電気錠制御装置5に送信して認証要求し、電気錠制御装置5は受信した識別コードを照合して認証OKであれば電気錠4を解錠する。
カードリーダ3は、MPUやマイコンなどで構成される制御部12と、IDカードから利用者の識別コードを読み取る読取部13と、読み取った識別コードや自己のアドレス情報などを記憶する記憶部14と、読み取った識別コードの認証結果などを表示する表示部15と、電気錠制御装置5との通信を行う通信インターフェース16(通信I/F)を備えている。カードリーダ3は、IDカードに記憶されている利用者の識別コードを読み取ると、読み取った識別コードを自己アドレス情報とともに電気錠制御装置5へと送信する。
なお、IDカードは、磁気カード、ICカードまたは無線カード(無線送信機)等の何れでもよいが、システムを利用する上では、非接触式のカードであることが好ましい。また、読取部13は、IDカードの代わりに、個人の指紋、掌紋、声紋、虹彩等のバイオメトリクス情報を読み取ることも可能であり、読み取った情報を個人を識別する識別コードとして用いてもよい。
また更に、読取部13は、IDカードの代わりに利用者が所持するRFIDタグの識別情報を読み取るRFIDタグリーダとすることも可能である。その場合には、RFIDタグリーダの検出範囲を制限エリア内とすることで、制限エリア内に設置される1台のタグリーダでエリア内への入室者とエリアからの退出者の双方を検出できる。
電気錠制御装置5は、MPUやマイコンなどで構成される制御部17と、HDDやメモリなどで構成される記憶部18と、カードリーダ3や画像監視装置6との通信を行う通信インターフェース19(通信I/F)と、ドア2の電気錠4を制御する電気錠制御部20を備えている。制御部17は、機能モジュールとして、利用者が読み込ませた識別コードをカードリーダ3から受け付ける識別情報受付部21と、この識別コード(利用者が読み込ませた識別コード)を照合して利用者の入退室の可否を判定する判定部22を備えている。また、記憶部18には、管理テーブルやエリアテーブルなどの管理情報や、各種の処理プログラムやパラメータやデータなどが記憶されている。
図4(a)は、管理テーブルの一例を示した図である。管理テーブルは、カードリーダ3毎や制限区域毎に用意される入退場の資格情報を示すテーブルであり、この例では、制限区域(部屋)に出入可能な利用者の識別コードが記録されたテーブルである。図4(a)の例では、3人の利用者(利用者A、B、C)の識別コード(XXXXX、YYYYY、ZZZZZ)が、管理テーブルとして記憶部18に記憶されている。
図4(b)は、エリアテーブルの一例を示した図である。エリアテーブルは、カードリーダ3のアドレスコードと、そのカードリーダ3を管理する電気錠制御装置5のアドレスコード(または、カードリーダ3に対応する電気錠4のアドレスコード)と、そのカードリーダ3が設置されているエリア(所在エリア)と、そのカードリーダ3を操作した後の移動先エリア(そのカードリーダ3に対応する電気錠付き扉により通行規制されるエリア)を、予め対応付けたテーブルである。例えば、図4(b)では、廊下側のカードリーダ3のアドレスコード「CR1」と、電気錠制御装置5のアドレスコード「D1」と、所在エリア「エリアA(廊下)」と、移動先エリア「エリアB(ロッカー室)」が対応付けられている。
電気錠制御装置5は、カードリーダ3から受信した利用者の識別コードを、管理テーブルと照合する。照合の結果、その利用者の識別コードが、管理テーブルに登録された識別コードと一致しない場合には、認証NGと判定して、電気錠4を解錠せず、認証結果をカードリーダ3に送信して処理を終了する。そして、カードリーダ3は、認証NGの認証結果を表示部15より出力する。
一方、照合の結果、その利用者の識別コードが、管理テーブルに登録された識別コードと一致した場合には、認証OKと判定し、対応する電気錠4に解錠信号を出力するとともに、認証結果をカードリーダ3に送信する。そして、カードリーダ3は、認証OKの認証結果を表示部15より出力する。また、受信した識別コードが認証OKと判定されると、電気錠制御装置5は、通信インターフェース19を介して、画像監視装置6にその利用者の識別コードを送信する。
(画像監視装置)
つぎに、画像監視装置6の構成について説明する。図3は、画像監視装置6の構成を示すブロック図である。図3に示すように、画像監視装置6は、MPUやマイコンなどで構成される制御部23と、HDDやメモリなどで構成される記憶部24と、監視カメラ7から制限区域画像の画像データを取得する画像取得部25と、出入管理装置11から認証OKと判定された利用者の識別コードを取得する識別情報取得部26と、警備モードの設定を行うためのモード設定部27と、監視センタ8との間でブロードバンド回線10によるデータ通信を行う通信部28を備えている。
画像取得部25は、制限区域の監視情報を取得する監視情報取得部として機能し、監視カメラ7から監視エリアの監視情報として画像データを受信する機能を備えている。この画像取得部25は、所定の撮影周期(例えば0.2秒周期、すなわち、5fps(フレーム/秒))で監視カメラ7から画像データを取得する。そして、監視カメラ7から入力された画像データは、制御部23へと出力される。なお、本実施の形態では、監視カメラ7と画像監視装置6が別装置である場合を例示したが、本発明の範囲はこれに限定されるものではなく、画像監視装置6は、監視カメラ7を内蔵していてもよい。
識別情報取得部26は、出入管理装置11と接続されており、画像監視装置6が設置された制限エリアに入室した利用者の識別コードや、退室した利用者の識別コードを受信する機能を備えている。出入管理装置11から受信した識別コードは、制御部23に出力される。
モード設定部27は、警備モードを設定/変更する機能を備えている。警備モードには、少なくとも警備セットモードと警備解除モードとが含まれる。警備セットモードは、夜間や休日など、制限区域を含んだ制限領域(建物など)が無人となるときに設定され、建物への侵入行為を画像データや図示しない侵入センサなどにより自動検知し、異常通報を行うモードである。警備解除モードは、建物などが有人のときに設定され、侵入行為の検知(侵入センサなどによる検知)による異常通報を行わないモードである。
通信部28は、監視エリアの画像データを遠隔の監視センタ8にブロードバンド回線10を介して常時送信する機能を備えている。
記憶部24には、在室者情報、品質テーブル、警備モード情報、現状態情報などが記憶されている。この記憶部24は、本発明の在室者情報記憶部に相当する。
在室者情報には、出入管理装置11から受信される入室した利用者の識別コードおよび退室した利用者の識別コードから、現在制限エリアに在室している利用者(在室者)の識別コードが記憶される。図5(a)は、ある制限エリア(エリアBなど)についての在室者情報の一例を示した図であるが、この例では、利用者A、Bが入室し、利用者Bが退室しているので、利用者Aの識別コード「XXXXX」が在室者情報として記憶されている。
品質テーブルは、監視センタ8へ送出する画像データの品質(送信品質)を決めるためのパラメータ情報を記憶するテーブルである。この品質テーブルには、検出人数と送信品質との関係が記憶されており、この場合、検出人数が0のとき(無人のとき)の送信品質よりも、検出人数が1より多いとき(有人のとき)の送信品質が高い。そして、検出人数が1より多いときの送信品質よりも、検出人数が1であるときの送信品質が高い。
図5(b)は、品質テーブルの一例を示した図であるが、この例では、画像データの送信レートを変えることによって、画像データの品質を異ならせている。具体的には、監視センタ8へ送信する画像データを、数フレームごとに間引いて、単位時間当たりのフレームレート(fps)を調整している。
図5(b)の例では、検出人数が「0人」のとき画像データの品質が「最低品質」であって「5フレームごとに1フレームを送信する(=4フレームを間引く)」こと、検出人数が「10人以上」のとき画像データの品質が「低品質」であって「5フレームごとに2フレームを送信する(=3フレームを間引く)」こと、検出人数が「4〜9人」のとき画像データの品質が「中品質」であって「5フレームごとに3フレームを送信する(=2フレームを間引く)」こと、検出人数が「2〜3人」のとき画像データの品質が「高品質」であって「5フレームごとに4フレームを送信する(=1レームを間引く)」こと、検出人数が「1人」のとき画像データの品質が「最高品質」であって「毎フレームを送信する(=フレームを間引かない)」ことが、品質テーブルに記憶されている。
なお、ここでは、画像データの品質を5段階(最低品質、低品質、中品質、高品質、最高品質)で異ならせる例について説明したが、本発明の範囲はこれに限定されるものではなく、「検出人数が0のとき(無人のとき)の送信品質よりも、検出人数が1より多いとき(有人のとき)の送信品質が高く、検出人数が1より多いときの送信品質よりも、検出人数が1であるときの送信品質が高い」という関係を満たしていれば、画像データの品質をどのように異ならせてもよい。
例えば、検出人数が「0人」のときに画像データの品質を「最低品質」にし、検出人数が「2人以上」のときに画像データの品質を「中品質」にし、検出人数が「1人」のときに画像データの品質を「最高品質」にしてもよく、つまり、画像データの品質を3段階(最高品質、中品質、最低品質)で異ならせてもよい。
また、この例では、画像データの送信レートを変えることによって、画像データの品質を異ならせているが、本発明の範囲はこれに限定されるものではなく、後述するように、1フレーム毎の圧縮率(%)や解像度(dpi)や色深度(bpp)を変えることによって、画像データの品質を異ならせてもよい。
警備モード情報には、監視領域が警備セットモード又は警備解除モードのいずれにあるかが記憶される。図5(c)は、警備モード情報の一例を示した図であるが、この例では、監視領域に含まれる制限区域ごとに、警備セットモードであるか警備解除モードであるかが記憶されている。例えば、図5(c)の例では、ある制限区域(エリアB)が警備解除モードであることが記憶されている。
現状態情報には、監視領域の状態が正常であるか異常であるかの区別が記憶される。図5(d)は、現状態情報の一例を示した図であるが、この例では、監視領域に含まれる制限区域ごとに、現在の状態が正常であるか異常であるかが記憶されている。例えば、図5(d)の例では、ある制限区域(エリアB)が正常であることが記憶されている。
また、この記憶部24には、画像取得部25にて取得された画像データがリングバッファ式に記録される。つまり、この記憶部24では、入力される画像データを順次記憶部24に記憶し、画像記憶領域が一杯になると古い画像から順に新しい画像データで書き換える処理が行われる。このようにして、記憶部24には、記録すべき画像データのうち常に新しいものから所定枚数の画像データが蓄積される。
制御部23は、機能モジュールとして、制限区域の画像データ中で生じる変動などに基づいて制限区域における異常の有無を判定する異常判定部29と、制限区域に入場している利用者の識別情報から制限区域の在室者情報を生成する在室者情報生成部30と、在室者情報に基づいて制限区域内に入場している入場者の人数を検出する人数検出部31を備えている。さらに、制御部23は、制限区域の画像データを監視センタ8へ送信するときの送信品質を、5段階(0人:最低品質、10人以上:低品質、4〜9人:中品質、2〜3人:高品質、1人:最高品質)で異ならせる画像品質制御部32を備えている。
異常判定部29は、警備モードが「警備セットモード」であるときに、画像取得部25で取得した画像データ(監視カメラ7から入力された画像データ)に生じる変動、および、図示しない侵入検知センサ(窓ガラスセンサなど)の検知信号により異常有無を判定する。例えば、異常判定部29は、画像データを過去の画像データと比較して輝度値の変動が所定以上であった変動画素からなる変動領域を抽出し、この変動領域が所定面積以上である場合に異常発生と判定する。このようにして異常発生と判定されると、記憶部24の現状態情報に「異常」が記憶される。
また、異常判定部29は、異常発生と判定すると、異常が発生したこと及びその検知原因を監視センタ8に送出する。この異常判定部29は、監視センタ8からの復旧通知信号により、または、モード設定部27の操作により異常復旧したことが検知できれば、正常状態に復旧した判定する。このようにして正常状態に復旧したと判定されると、記憶部24の現状態情報に「正常」が記憶される。
なお、異常判定部29で行われる変動領域の抽出方法は、直前の画像データとの差分によるフレーム間差分方式や予め取得した基準画像データとの差分による背景差分方式など種々の方法が知られるところであり、ここでは詳しい説明を省略する。
在室者情報生成部30は、出入管理装置11から取得した利用者の識別情報に基づいて、在室者情報を生成する機能を備えている。例えば、図5(a)のように、ある制限区域(エリアB)の在室者情報として、利用者Aの識別コード「XXXXX」が生成される。このようにして生成された在室者情報は、記憶部24に記憶される。
人数検出部31は、警備モードが「警備解除モード」であるときに、記憶部24に記憶された在室者情報に基づいて、制限区域内に入場している入場者の人数(検出人数)を検出する。例えば、図5(a)のように、ある制限区域(エリアB)の在室者情報として、利用者Aの識別コード「XXXXX」のみが記憶されている場合には、その制限区域(エリアB)の検出人数を「1人」と検出する。
なお、この在室者情報生成部30および人数検出部31の機能は、出入管理装置11が備えていてもよい。つまり、出入管理装置11で在室者情報を生成して、この在室者情報から制限区域内に入場している入場者の人数を検出する。画像監視装置6は、その入場者の人数を出入管理装置11から受け取るようにしてもよい。
画像品質制御部32は、記憶部24に記憶された在室者情報や現状態情報を参照して、監視センタ8に送出する画像データの品質を異ならせる。本発明では、制限区域内の在室者数に応じて、監視センタ8に送出する画像データの単位時間辺りのデータ量を変更することに特徴がある。以下、この特徴について詳しく説明する。
制限区域が「無人」である場合は、画像監視や画像データの記録をする必要性は少なく、正常であることが確認できれば足りる。一方、制限区域が「有人」である場合は、異常発生していなければ適正な資格者が入室しているのであって、不正行為が行われる可能性は低い。しかし、制限区域内人が存在する以上、不正行為が行われる可能性はゼロであるとはいえず、また逆に、不正行為が行われていないことの証明が必要とされることもある。よって、この場合は、在室者の行動が分る程度に、画像監視や画像データの記録をしておく必要がある。
ここで、制限区域が「有人」である場合について、さらに詳しく検討する。例えば、制限区域内の在室者数が多い場合には、衆人の目による抑止効果もあるため不正行為が行われる可能性は低いと考えられる。一方、制限区域内の在室者数が少ない場合には、衆人の目による抑止効果も少なく、不正行為が行われる可能性が高くなる。特に、制限区域内の在室者数が1人である場合には、衆人の目による抑止力がなくなるために、不正行為が行われる可能性が最も高いといえる。よって、制限区域内の在室者数が少なく場合、特に1人に近いときは、この在室者の行動について、できるだけ詳細に画像監視または画像データの記録をしておく必要がある。
そこで、画像品質制御部32は、品質テーブルを参照し、制限区域の状況(検出人数)に応じて、入力された画像データを数フレームごとに間引いて単位時間当りのフレームレート(fps)を調整したデータを監視センタ8に送出する。具体的には、検出人数が「0人」のときは5フレームごとに1フレーム送出し(最低品質)、検出人数が「10人以上」のときは5フレームごとに2フレーム送出し(低品質)、検出人数が「4〜9人」のときは5フレームごとに3フレーム送出し(中品質)、検出人数が「2〜3人」のときは5フレームごとに4フレーム送出し(高品質)、検出人数が「1人」のときは画像データを間引くことなく送出する(最高品質)。
なお、以上は、監視領域が「正常」である場合についての説明であるが、異常判定部29にて監視領域が「異常」と判定された場合も、この異常が正常化したことが確認されるまでは、詳細に画像監視または画像データの記録をしておく必要がある。
以上のように構成された画像監視装置6について、図面を参照してその動作を説明する。
ここでは、まず、本実施の形態の画像監視装置6で常時(繰り返し)行われる処理について説明する。図6は、本実施の形態の画像監視装置6の動作を説明するためのフロー図である。図6に示すように、画像監視装置6は、出入管理装置11から識別コード(制限区域に入退場するときに利用者から取得した識別コード)を受信すると(S1)、記憶部24の在室者情報を更新する処理を行う(S2)。例えば、ある制限エリア(エリアBなど)に利用者Aのみが在室している場合に(図5(a)参照)、さらに利用者Cが入室すると、利用者Cの識別コード(例えば「ZZZZZ」)が在室者情報に追加する。また、その後、その制限エリアから利用者Aが退室すると、利用者Aの識別コード「XXXXX」が在室者情報から削除する。
また、画像監視装置6は、制限エリア内で異常が発生しているか否かの判定を行い、異常が発生していることを検知すると(S3)、記憶部24の現状態情報に「異常」を記録し(S4)、監視センタ8に異常検知信号を送って、異常が発生したこと及びその検知原因を伝える(S5)。その後、例えば、モード設定部27の操作により異常復旧した旨の入力が検知された場合には(S6)、記憶部24の現状態情報を「正常」に書き換えて(S7)、監視センタ8に復旧通知信号を送信する(S8)。画像監視装置6では、このような処理(S1〜S8)が常時繰り返されている。
つぎに、本実施の形態の画像監視装置6で行われる特徴的な動作について説明する。図7は、本実施の形態における画像品質制御処理を説明するためのフロー図である。図7に示すように、まず、画像監視装置6は、異常が発生しているか否かの判定を行い(S11)、異常が発生していると判定すると、記憶部24の品質テーブルを参照して、監視センタ8へ送信する画像データの品質を「最高品質」に設定し(S12)、「毎フレーム」の画像データを監視センタ8へ送信する(S13)。
画像監視装置6は、異常が発生していない(または、異常から復旧した)と判定された場合、記憶部24から在室者情報を読み出して(S14)、在室者情報から求めた検出人数を判定する。検出人数が「1人」であると判定された場合には(S15)、記憶部24の品質テーブルを参照して、監視センタ8へ送信する画像データの品質を「最高品質」に設定し(S12)、「毎フレーム」の画像データを監視センタ8へ送信する(S13)。
検出人数が「少人数(2〜3人)」であると判定された場合には(S16)、記憶部24の品質テーブルを参照して、監視センタ8へ送信する画像データの品質を「高品質」に設定し(S17)、「5フレームごとに4フレーム」の画像データを監視センタ8へ送信する(S13)。
検出人数が「中人数(4〜9人)」であると判定された場合には(S18)、記憶部24の品質テーブルを参照して、監視センタ8へ送信する画像データの品質を「中品質」に設定し(S19)。「5フレームごとに3フレーム」の画像データを監視センタ8へ送信する(S13)。
検出人数が「大人数(10人以上)」であると判定された場合には(S20)、記憶部24の品質テーブルを参照して、監視センタ8へ送信する画像データの品質を「低品質」に設定し(S21)。「5フレームごとに2フレーム」の画像データを監視センタ8へ送信する(S13)。
検出人数が「無人(0人)」であると判定された場合には(S20)、記憶部24の品質テーブルを参照して、監視センタ8へ送信する画像データの品質を「最低品質」に設定し(S22)。「5フレームごとに1フレーム」の画像データを監視センタ8へ送信する(S13)。
このような本発明の実施の形態の画像監視装置6によれば、制限エリアの画像を常時監視する場合に、制限エリアの在室者の人数に応じて画像データの品質を異ならせて、監視目的とデータ量との最適化を図ることができる。したがって、監視センタ8への効率的なデータ伝送が可能となり、ブロードバンド回線10で常時データ伝送を行う環境下でも監視センタ8の負荷を軽減することができ、重要性の高い画像データについては高品質を維持することができる。
すなわち、本実施の形態では、制限区域の通行履歴に基づいて、その制限区域に入場している入場者の人数(検出人数)が検出される。制限区域の画像データの重要性(将来、警察などの機関から画像データの提出を求められる可能性、すなわち、高品質な画像データを記録しておく必要性)は、制限区域内に入場者が存在するか否かによって異なり、さらに、制限区域内に入場者が存在する場合でも、入場者が1人だけであるか否かによって異なる。入場者の人数が多ければ「他人の目」という抑止力が働くのに対して、入場者が1人だけの場合には「他人の目」の抑止力が働かず、その分だけ不正行為や犯罪行為が発生しやすいと考えられるからである。
本実施の形態では、このような制限区域の画像データの重要性に応じて、画像データを監視センタ8へ送信するときの送信品質を決定することで、監視センタ8への効率的なデータ伝送を行うことができる。具体的には、検出人数が「0人」のときは「最低品質」に設定され、検出人数が「10人以上」のときは「低品質」に設定され、検出人数が「4〜9人」のとき「中品質」に設定され、検出人数が「2〜3人」のときは「高品質」に設定され、検出人数が「1人」のときは「最高品質」に設定される。したがって、重要性の高い画像データについて高品質を維持しながら、ブロードバンド回線10で常時データ伝送を行う環境下でも監視センタ8の負荷(画像データの受信処理を行うサーバ装置や監視用の画像処理を行う画像処理装置の負荷、画像データを記録するストレージ装置の負荷など)を軽減することができる。
また、本実施の形態では、制限区域に入退場する利用者から識別コードを取得して、その制限区域の在室者情報として管理する。そして、この在室者情報に基づいて、その制限区域に入場している入場者の人数(検出人数)を適切に求めることができる。そのため、画像データを監視センタ8へ送信するときの送信品質を適切に設定することができ、したがって、制限区域の画像データの重要性を適切に決定することができる。
また、本実施の形態では、画像データの送信レートを異ならせることで、画像データを監視センタ8へ送信するときの送信品質を容易に変えることができる。例えば、制限区域の画像データの重要性に応じて、画像データを数フレームごとに間引いて単位時間当たりのフレームレート(fps)を調整することによって、画像データの送信品質を異ならせることができる。
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
例えば、制限区域内の監視結果(制限区域の画像データなど)に基づいて制限区域内に入場している入場者の人数を検出してもよい。その場合、人数検出部31は、警備モードが「警備解除モード」であるときに、画像取得部25で取得した監視情報としての画像データ(監視カメラ7から入力された画像データ)に画像処理を施して移動物体を検出し、この移動物体数から制限エリア内に存在している入場者の人数を検出する。例えば、人数検出部31によって画像データから検出される人数は、画像データ中の変動領域の数である。人数検出部31は、予め取得しておいた基準画像データ(例えば、無人時の画像データ)と画像取得部25より入力された現在の画像データとを比較して、輝度値の変動が所定以上であった変動画素を抽出するとともに、略連続した変動画素群を1つの変動領域としてグループ化し、各変動領域に固有のラベルでラベリングする。そして、この変動領域の数を検出人数として検出する。
なお、人数の検出方法は、これに限られるものではない。例えば、連続する所定フレームの画像データにおいて変動領域をトラッキング処理し、ベクトル成分を抽出して、人数の検出に利用してもよい。例えば、二人の人物が互いにすれちがう場合など、一つの画像データでは二人の人物が重なって写ることがあるが、そのような場合に、連続する複数の画像データで変動領域をトラッキング処理し、ベクトル成分を抽出をすることによって、ある画像において一つの変動領域(=1人の人物)として検出されていたものが、実は二つの変動領域(=2人の人物)として検出されるべきものであることがわかる。また、変動領域をグループ化してラベリングするときには、人体形状の特徴を有する変動領域モデルを利用してもよい。これにより、人物以外の移動体(ネコなど)が入場者として人数にカウントされるのを防ぐことができる。
以上では、在室者情報や画像データに基づいて人数検出を行う例について説明したが、本発明の範囲はこれに限定されるものではない。例えば、監視情報取得部として超音波センサや熱線センサを用いてもよく、人数検出部31は、監視情報として取得した超音波や熱線(赤外線)などを用いて移動物体を検出し、この移動物体数から制限区域内の人数を検出してもよい。また、対向型赤外線センサや走査型レーザー測距センサにより制限区域内の人数を検出したり、RFIDタグとの無線通信などを利用して、制限区域内の人数を検出してもよい。また、これらの監視結果に基づく人数検出と上記実施の形態で説明した通行履歴に基づく人数検出とを組み合わせてもよく、両者のうち少ない方又は多い方の人数を入場者の人数として決定してもよい。
また、以上の説明では、画像データの送信レートを異ならせることで、画像データの送信品質を変える例について説明したが、画像データの圧縮率(%)を異ならせることで、画像データの送信品質を変えてもよい。例えば、圧縮率を高くすることによって、送信品質を低くすることができ、圧縮率を低くする(あるいは、圧縮しない)ことによって、送信品質を高くすることができる。
このように、画像データの圧縮率を異ならせることで、画像データを監視センタ8へ送信するときの送信品質を容易に変えることができる。例えば、制限区域の画像データの重要性に応じて、1フレームごとの圧縮率を調整することによって、画像データの送信品質を異ならせることができる。
また、1フレーム毎の解像度(dpi)や色深度(bpp)を異ならせることで、画像データの送信品質を変えることもできる。例えば、解像度(dpi)や色深度(bpp)を小さくすることによって、送信品質を低くすることができ、解像度(dpi)や色深度(bpp)を大きくすることによって、送信品質を高くすることができる。
なお、送信レート、圧縮率、解像度、色深度を、それぞれ単独で変更するかわりに、こららを組合せて変更することによって、画像データの送信品質を変えることができることは言うまでもない。
以上のように、本発明にかかる画像監視装置は、ブロードバンド回線で常時データ伝送を行う環境下でも監視センタの負荷を軽減することができ、重要性の高い画像データについては高品質を維持することができるという効果を有し、制限区域の画像データを取得して遠隔の監視センタに送信する監視システム等に適用することができ、有用である。
1 監視システム
2 ドア
3 カードリーダ
4 電気錠
5 電気錠制御装置
6 画像監視装置
7 監視カメラ
8 監視センタ
9 監視用端末
10 ブロードバンド回線
11 出入管理装置
12 制御部
13 読取部
14 記憶部
15 表示部
16 通信インターフェース
17 制御部
18 記憶部
19 通信インターフェース
20 電気錠制御部
21 識別情報受付部
22 判定部
23 制御部
24 記憶部
25 画像取得部
26 識別情報取得部
27 モード設定部
28 通信部
29 異常判定部
30 在室者情報生成部
31 人数検出部
32 画像品質制御部

Claims (6)

  1. 制限区域の画像データを取得して遠隔の監視センタに送信する画像監視装置であって、
    前記制限区域内に入場している入場者の人数を検出する人数検出部と、
    前記制限区域の画像データを前記監視センタへ送信するときの送信品質を、前記人数検出部で検出された検出人数に応じて異ならせる画像品質制御部と、
    を備え、
    前記画像品質制御部は、少なくとも、前記検出人数が1であるときの送信品質を最も高くすることを特徴とする画像監視装置。
  2. 前記制限区域への入場時および前記制限区域からの退場時に前記利用者から得られる識別情報を取得する識別情報取得部と、
    前記制限区域に入場している前記利用者の識別情報を前記制限区域の在室者情報として記憶する在室者情報記憶部と、
    を、さらに備え、
    前記人数検出部は、前記在室者情報に基づいて前記制限区域内に入場している入場者の人数を検出する、請求項1に記載の画像監視装置。
  3. 前記制限区域内の監視情報を取得する監視情報取得部を、さらに備え、
    前記人数検出部は、前記監視情報より前記制限区域内の移動物体を検出し、当該移動物体の検出結果に基づいて前記制限区域内に入場している入場者の人数を検出する、請求項1または請求項2に記載の画像監視装置。
  4. 前記画像品質制御部は、
    前記画像データの送信レートを異ならせることによって前記送信品質を異ならせる、請求項1ないし請求項3のいずれかに記載の画像監視装置。
  5. 前記画像品質制御部は、
    前記画像データの圧縮率を異ならせることによって前記送信品質を異ならせる、請求項1ないし請求項4のいずれかに記載の画像監視装置。
  6. 制限区域への利用者の出入を管理する出入管理装置と、前記制限区域の画像データを取得して遠隔の監視センタに送信する画像監視装置とを備えた監視システムであって、
    前記出入管理装置は、
    前記制限区域への入場時および前記制限区域からの退場時に前記利用者から得られる識別情報を取得する識別情報取得部と、
    前記制限区域に入場している前記利用者の識別情報を前記制限区域の在室者情報として記憶する在室者情報記憶部と、
    前記在室者情報に基づいて、前記制限区域に入場している入場者の人数を検出する人数検出部と、
    を備え、
    前記画像監視装置は、
    前記出入管理装置から前記制限区域の入場者の人数を取得する在室者数取得部と、
    前記制限区域の画像データを前記監視センタへ送信するときの送信品質を、前記在室者数取得部によって取得された前期制限区域の人数に応じて異ならせる画像品質制御部と、
    を備え、
    前記画像品質制御部は、少なくとも、前記検出人数が1であるときの送信品質を最も高くすることを特徴とする監視システム。
JP2010054034A 2010-03-11 2010-03-11 画像監視装置 Expired - Fee Related JP5341001B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010054034A JP5341001B2 (ja) 2010-03-11 2010-03-11 画像監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010054034A JP5341001B2 (ja) 2010-03-11 2010-03-11 画像監視装置

Publications (2)

Publication Number Publication Date
JP2011186975A true JP2011186975A (ja) 2011-09-22
JP5341001B2 JP5341001B2 (ja) 2013-11-13

Family

ID=44793129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010054034A Expired - Fee Related JP5341001B2 (ja) 2010-03-11 2010-03-11 画像監視装置

Country Status (1)

Country Link
JP (1) JP5341001B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016192602A (ja) * 2015-03-30 2016-11-10 株式会社東芝 画像監視システムおよび画像監視方法
JP2018205872A (ja) * 2017-05-31 2018-12-27 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2020154716A (ja) * 2019-03-20 2020-09-24 株式会社日立ビルシステム 作業管理システム及び作業管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048278A (ja) * 1998-07-31 2000-02-18 Secom Co Ltd 画像監視装置
JP2003274360A (ja) * 2002-03-14 2003-09-26 Sony Corp 撮像装置、撮像方法、撮像管理装置、撮像管理システム
JP2005292942A (ja) * 2004-03-31 2005-10-20 Secom Co Ltd セキュリティシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048278A (ja) * 1998-07-31 2000-02-18 Secom Co Ltd 画像監視装置
JP2003274360A (ja) * 2002-03-14 2003-09-26 Sony Corp 撮像装置、撮像方法、撮像管理装置、撮像管理システム
JP2005292942A (ja) * 2004-03-31 2005-10-20 Secom Co Ltd セキュリティシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016192602A (ja) * 2015-03-30 2016-11-10 株式会社東芝 画像監視システムおよび画像監視方法
JP2018205872A (ja) * 2017-05-31 2018-12-27 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7158828B2 (ja) 2017-05-31 2022-10-24 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2020154716A (ja) * 2019-03-20 2020-09-24 株式会社日立ビルシステム 作業管理システム及び作業管理方法
JP7178303B2 (ja) 2019-03-20 2022-11-25 株式会社日立ビルシステム 作業管理システム及び作業管理方法

Also Published As

Publication number Publication date
JP5341001B2 (ja) 2013-11-13

Similar Documents

Publication Publication Date Title
US10796514B2 (en) System and method for optimizing a facial recognition-based system for controlling access to a building
AU2018312581B2 (en) Supervising property access with portable camera
US9734644B2 (en) Wireless camera facilitated building security
KR101218296B1 (ko) 출입관리시스템 및 방법
JP2006236183A (ja) 入退場管理システム
JP2007241501A (ja) 訪問者特定システムおよび訪問者特定方法
KR101492799B1 (ko) 감시영역 입퇴실자 추적을 통한 출입 통제 기능을 가지는 출입 통제 통합 영상 저장 시스템 및 그 방법
CN103268652A (zh) 基于居住证门卡的门禁监控系统及方法
JP5529593B2 (ja) 画像監視装置
JP5341001B2 (ja) 画像監視装置
KR102345479B1 (ko) 건물 출입 관리시스템
JPH09198538A (ja) 入退室管理端末装置
JP2008217205A (ja) 映像配信システム及びその制御方法、並びにプログラム及び記憶媒体
JP6483414B2 (ja) 画像確認システムおよびセンタ装置
JP2015079472A (ja) 建築物用セキュリティシステム
JP2005267525A (ja) 入退場受付システムおよび行先管理システム
JP2007219683A (ja) セキュリティ管理装置、セキュリティ管理システムおよびセキュリティ管理方法
EP4016480A1 (en) Access control system screen capture facial detection and recognition
US20240046729A1 (en) Auto-programming door and camera relationships for a security system
JP7316982B2 (ja) 顔認証サーバ及び情報処理方法
TWI777484B (zh) 門禁管理裝置
JP7445869B2 (ja) 制御システム、及び、制御方法
JP2012156817A (ja) 映像監視システム
JP5520660B2 (ja) 出入管理システム
WO2024085858A1 (en) Method and system for unlocking a smart lock in an emergency

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121206

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130807

R150 Certificate of patent or registration of utility model

Ref document number: 5341001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees