JP2004140623A - 情報処理システムおよび方法、情報処理装置、記録媒体、並びにプログラム - Google Patents
情報処理システムおよび方法、情報処理装置、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP2004140623A JP2004140623A JP2002303795A JP2002303795A JP2004140623A JP 2004140623 A JP2004140623 A JP 2004140623A JP 2002303795 A JP2002303795 A JP 2002303795A JP 2002303795 A JP2002303795 A JP 2002303795A JP 2004140623 A JP2004140623 A JP 2004140623A
- Authority
- JP
- Japan
- Prior art keywords
- event
- information processing
- unit
- presentation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
【解決手段】特徴量抽出部102は、複数のセンサ101a乃至101nからセンサデータを取得し、各種特徴量を計算する。イベント判定部103が、各種特徴量に基づいて、イベントが発生したと判定した場合、呈示データ構築部104は、イベントを呈示するためのリモコン呈示データを作成し、リモコン呈示部83に呈示させる。この呈示に基づいて、ユーザの判断がユーザ入力IF部84から入力されると、制御部108はセンサ101a乃至101nのオン、オフを制御する。本発明は、家庭用の監視システムに適用することができる。
【選択図】 図5
Description
【発明の属する技術分野】
本発明は、情報処理システムおよび方法、情報処理装置、記録媒体、並びにプログラムに関し、特に、柔軟にイベントを検知および通知し、消費電力を抑えることができるようにした情報処理システムおよび方法、情報処理装置、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタTV(Television)を見ることにより、センサ情報を知る手法が提案されている(例えば、特許文献1参照)。
【0003】
また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている(例えば、特許文献2参照)。
【0004】
これらの特許文献1および特許文献2に記載の発明においては、主に、特定の場所または特定の異常(イベント)が検出される。
【0005】
【特許文献1】
特開平8−124078号公報
【特許文献2】
特開2000−339554号公報
【0006】
【発明が解決しようとする課題】
しかしながら、これらの特許文献1および特許文献2に記載されている発明では、設置の際の調整が煩わしく、さらに、一度設置すると、別の場所にセンサ(撮像装置または監視装置)を移動することが困難であるという課題があった。
【0007】
また、従来使用されている無線カメラは、バッテリ駆動により、常時、画像および音声等を送信し続ける為、バッテリが短時間しか持たないという課題があった。
【0008】
本発明はこのような状況に鑑みてなされたものであり、柔軟にイベントを検出および通知し、消費電力を抑えることができるようにするものである。
【0009】
【課題を解決するための手段】
本発明の情報処理システムは、センサデータを取得するセンサ手段と、センサ手段により取得されたセンサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、イベント判定手段によりイベントが発生したと判定された場合、イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成手段と、呈示データ作成手段により作成された呈示データに基づく呈示を行なう呈示手段と、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段と、入力取得手段により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御手段とを備えることを特徴とする。
【0010】
前記呈示データ作成手段は、呈示データ作成手段を制御するリモートコントローラに、イベントを通知するためのイベントデータで構成されるリモコン呈示データをさらに作成するようにすることができる。
【0011】
前記呈示データ作成手段により作成されたリモコン呈示データを呈示するリモコン呈示部をさらに備えるようにすることができる。
【0012】
前記制御手段は、イベント判定手段がイベントが発生したか否かを判定するための判定パラメータを更新するパラメータ制御手段と、特徴量抽出手段による特徴量抽出の処理を制御する特徴量抽出制御手段と、センサ手段によるセンサデータの取得処理を制御するセンサ制御手段を備えるようにすることができる。
【0013】
前記センサ手段は、複数のセンサを備え、センサ制御手段は、複数のセンサの電源をオンまたはオフする制御を実行するようにすることができる。
【0014】
前記呈示データ作成手段は、イベント判定手段によりイベントが発生していないと判定された場合、所定の信号に基づくデータを呈示データとするようにすることができる。
【0015】
前記センサ手段、特徴量抽出手段、イベント判定手段、および制御手段は、第1の情報処理装置により構成され、呈示データ作成手段は、第2の情報処理装置により構成され、呈示手段は、第3の情報処理装置により構成され、入力取得手段は、第4の情報処理装置により構成されるようにすることができる。
【0016】
前記第1の情報処理装置と第2の情報処理装置の間における通信は、無線通信により行なわれるようにすることができる。
【0017】
前記第1の情報処理装置は、バッテリにより駆動されるようにすることができる。
【0018】
前記センサ手段、特徴量抽出手段、イベント判定手段、および制御手段は、第1の情報処理装置により構成され、呈示データ作成手段および呈示手段は、第2の情報処理装置により構成され、入力取得手段は、第3の情報処理装置により構成されるようにすることができる。
【0019】
前記呈示データ作成手段は、テレビジョン放送に基づく信号にイベントデータを挿入して呈示データを作成するようにすることができる。
【0020】
前記センサ手段は、カメラ、マイクロホン、または赤外線センサのいずれかを含むようにすることができる。
【0021】
本発明の第1の情報処理方法は、センサデータを取得するセンサステップと、センサステップの処理により取得されたセンサデータに基づいて、物体の特徴量を抽出する特徴量抽出ステップと、特徴量抽出ステップの処理により抽出された特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定ステップと、イベント判定ステップの処理によりイベントが発生したと判定された場合、イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成ステップと、呈示データ作成ステップの処理により作成された呈示データに基づく呈示を制御する呈示ステップと、呈示制御ステップにより制御された呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御ステップとを含むことを特徴とする。
【0022】
本発明の第1の記録媒体に記録されているプログラムは、センサデータに基づいて、物体の特徴量を抽出する特徴量抽出ステップと、特徴量抽出ステップの処理により抽出された特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定ステップと、イベント判定ステップの処理によりイベントが発生したと判定された場合、イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成ステップと、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御ステップとを含むことを特徴とする。
【0023】
本発明の第1のプログラムは、センサデータに基づいて、物体の特徴量を抽出する特徴量抽出ステップと、特徴量抽出ステップの処理により抽出された特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定ステップと、イベント判定ステップの処理によりイベントが発生したと判定された場合、イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成ステップと、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御ステップとをコンピュータに実行させることを特徴とする。
【0024】
本発明の第1の情報処理装置は、複数のセンサにより複数のセンサデータを取得するセンサ手段を備え、センサ手段は、他の情報処理装置から送信されてくる、ユーザの指令に基づく判断信号に基づいて、複数のセンサをオンまたはオフすることを特徴とする。
【0025】
前記センサ手段により取得されたセンサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、イベント判定手段によりイベントが発生したと判定された場合、イベントを通知するための通知用データを他の情報処理装置に送信する送信手段と、他の情報処理装置から送信されてくるユーザの指令に基づく判断信号を受信する受信手段と、受信手段により受信された判断信号に基づいて、制御処理を実行する制御手段とをさらに備えるようにすることができる。
【0026】
前記制御手段は、イベント判定手段がイベントを判定するための判定パラメータを更新し、特徴量抽出手段による特徴量抽出の処理を制御し、センサ手段によるセンサデータの取得処理を制御するようにすることができる。
【0027】
前記送信手段および受信手段による通信は、無線通信により行なわれるようにすることができる。
【0028】
前記情報処理装置は、バッテリにより駆動されるようにすることができる。
【0029】
前記複数のセンサは、カメラ、マイクロホン、または赤外線センサのいずれかを含むようにすることができる。
【0030】
本発明の第2の情報処理方法は、複数のセンサにより複数のセンサデータを取得するセンサ手段を含み、センサデータに基づく監視処理を実行する情報処理装置の情報処理方法であって、センサ手段は、他の情報処理装置から送信されてくる、ユーザの指令に基づく判断信号に基づいて、複数のセンサをオンまたはオフすることを特徴とする。
【0031】
本発明の第2の情報処理装置は、イベントが発生した場合、所定の信号に基づくデータにイベントを通知するためのイベントデータを挿入して、呈示データを作成する呈示データ作成手段を備え、呈示データ作成手段は、イベントが発生していない場合、所定の信号に基づくデータのみを呈示データとして作成することを特徴とする。
【0032】
前記呈示データ作成手段により作成された呈示データを呈示する呈示手段をさらに備えるようにすることができる。
【0033】
前記呈示データ作成手段は、情報処理装置を遠隔制御する第1の他の情報処理装置にイベントを通知するためのイベントデータで構成されるリモコン呈示データをさらに作成するようにすることができる。
【0034】
前記第2の他の情報処理装置から送信されてくるイベントを通知するための通知用データを受信するイベント通知受信手段と、リモコン呈示データを第1の他の情報処理装置に送信する呈示データ送信手段と、第1の他の情報処理装置から送信された、リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、判断信号受信手段により受信された判断信号を第2の他の情報処理装置に送信する判断信号送信手段とを備え、呈示データ作成手段は、通知用データに基づく処理を実行するようにすることができる。
【0035】
前記イベント通知受信手段および判断信号送信手段の通信は、無線通信により行なわれるようにすることができる。
【0036】
前記センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、他の情報処理装置から送信されてくる呈示データに基づく判断信号を受信する受信手段と、受信手段により受信された判断信号に基づいて、制御処理を実行する制御手段とをさらに備え、呈示データ作成手段は、イベント判定手段の判定結果に基づいて、呈示データを作成するようにすることができる。
【0037】
前記制御手段は、イベント判定手段がイベントを判定するための判定パラメータを更新し、特徴量抽出手段による特徴量抽出の処理を制御し、他の情報処理装置によるセンサデータの取得処理を制御する信号を、他の情報処理装置に対して送信するようにすることができる。
【0038】
前記制御手段は、他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信するようにすることができる。
【0039】
本発明の第3の情報処理装置は、他の情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信手段と、受信手段により受信されたリモコン呈示データを呈示する呈示手段と、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段と、入力取得手段により取得されたユーザからの判断の入力に基づく判断信号を他の情報処理装置に送信する送信手段とを備えることを特徴とする。
【0040】
本発明の第3の情報処理方法は、他の情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信ステップと、受信ステップの処理により受信されたリモコン呈示データの呈示を制御する呈示制御ステップと、呈示制御ステップの処理により制御された呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づく判断信号を他の情報処理装置に送信する送信ステップとを含むことを特徴とする。
【0041】
本発明の第2の記録媒体に記録されているプログラムは、情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信ステップと、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づく判断信号を情報処理装置に送信する送信ステップとを含むことを特徴とする。
【0042】
本発明の第2のプログラムは、情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信ステップと、ユーザからの判断の入力を取得する入力取得ステップと、入力取得ステップの処理により取得されたユーザからの判断の入力に基づく判断信号を他の情報処理装置に送信する送信ステップとをコンピュータに実行させることを特徴とする。
【0043】
第1の本願発明においては、センサデータに基づいて、物体の特徴量が抽出され、特徴量と判定パラメータに基づいて、イベントが発生したか否かが判定され、イベントが発生した場合、イベントデータを含む呈示データが作成され、呈示が行なわれる。そして、ユーザからの判断の入力に基づいて、制御処理が実行される。
【0044】
第2の本願発明においては、複数のセンサにより複数のセンサデータが取得される。また、他の情報処理装置から送信されてくる、ユーザの指令に基づく判断信号に基づいて、複数のセンサがオンまたはオフされる。
【0045】
第3の本願発明においては、イベントが発生した場合、所定の信号に基づくデータにイベントデータを挿入して、呈示データが作成される。また、イベントが発生していない場合、所定の信号に基づくデータのみが呈示データとして作成される。
【0046】
第4の本願発明においては、他の情報処理装置から送信されたリモコン呈示データが受信され、呈示される。また、この呈示に基づいて、ユーザからの判断の入力が取得され、ユーザからの判断の入力に基づく判断信号が他の情報処理装置に送信される。
【0047】
【発明の実施の形態】
図1は、本発明を適用した監視システム10の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ1が備えられており、図中右側の通知・呈示側に、処理ボックス2、呈示部3、および、処理ボックス2を遠隔操作するためのリモートコントローラ4が備えられている。マルチセンサカメラ1と処理ボックス2は、無線通信を行なう。
【0048】
マルチセンサカメラ1には、複数のセンサが設けられており、各センサは、バッテリにより駆動される。また、各センサは、イベントを監視したい領域(必要な場所)に設置されている。イベントが発生した場合、処理ボックス2は、呈示画像および音声を構築し、呈示部3およびリモートコントローラ4に通知し、呈示させる。呈示部3は、例えば、一般のテレビジョン受像機とされる。この場合、呈示部3は、イベントが発生していない場合(通常)、一般の視聴信号(放送信号に基づく映像)を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部3は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。
【0049】
ユーザは、呈示されたイベントに対して、判断を行ない、判断の結果に基づいて、リモートコントローラ4から指令を入力することができる。例えば、イベントを今後も知らせて欲しいときは、そのことを、OKボタン(後述する図9のOKボタン291)を操作して指示することができる。このユーザからの判断の入力に基づいて、処理ボックス2により検出されるイベントが時間と共に変化し、ユーザが監視システム10を使う度にユーザが意図するイベントのみが検出され、通知されるようになる。
【0050】
マルチセンサカメラ1に搭載されている複数のセンサおよび信号処理部(図示せず)は必要な時に、必要なもののみが動作するため、無駄な消費電力を抑えることができる。
【0051】
図2は、図1のマルチセンサカメラ1の機能的構成を示すブロック図である。
【0052】
マルチセンサカメラ1には、カメラ21、マイクロホン22、赤外線センサ23、その他のセンサ24、信号処理部25、送信部26、受信部27、およびバッテリ28が設けられている。
【0053】
信号処理部25は、赤外線センサ23、その他のセンサ24など、複数のセンサから得られるデータに基づいて、イベントを検出し、イベントが発生した場合、イベント呈示に必要なデータを、送信部26を介して処理ボックス2に送信する(処理ボックス2にイベントを通知する)。その他のセンサ24は、例えば、明るさを検出するフォトセンサである場合、部屋の電気をつけたことを検知し、また、例えば、マイクロ波センサである場合、動いている物体の距離および動きを検出する。バッテリ28は、マルチセンサカメラ1の各部に対して必要な電力を供給している。
【0054】
受信部27は、イベント通知に対応して処理ボックス2から送信されてくるユーザの判断信号、センサ制御信号、または、信号処理制御信号を受信し、信号処理部25に供給する。信号処理部25は、これらの信号に基づく処理を実行する。マルチセンサカメラ1がユーザ判断入力を取得することにより、イベント検出および呈示に必要なセンサ、信号処理部25、送信部26、および受信部27のみを動作させることができるため、マルチセンサカメラ1の消費電力を抑えることができる。
【0055】
また、このマルチセンサカメラ1は、小型、かつ、バッテリ駆動であり、さらに、無線通信機能を有しているため、大きなスペースを必要とせず、また、電源供給のための配線処理が不要なため、家庭内の様々な場所に、設置することができる。さらに、複数のセンサを搭載しているため、家庭内における様々なイベントを検知することができる。
【0056】
図3は、図1の処理ボックス2の機能的構成を示すブロック図である。
【0057】
受信部51は、マルチセンサカメラ1の送信部26から無線(電波)で送信された信号を受信し、信号処理部52に供給する。信号処理部52は、一般視聴信号(テレビジョン放送信号)を受信するとともに、受信部51から供給された信号に基づく処理または呈示画像の構築を行なう。イベントが発生した場合、信号処理部52は、呈示部3への呈示データを構築し、呈示部3に出力するとともに、リモートコントローラ4へのリモコン呈示データを構築し、送信部53を介して、無線(赤外線または電波)でリモートコントローラ4に送信する。
【0058】
受信部54は、リモートコントローラ4から無線(赤外線または電波)で送信されたユーザの判断に基づく信号(ユーザ判断信号)を受信し、これを信号処理部52に供給する。信号処理部52は、このユーザ判断信号に基づく処理を実行するとともに、必要なデータを、送信部55を介して、マルチセンサカメラ1に無線(電波)で送信する。
【0059】
図4は、図1のリモートコントローラ4の機能的構成を示すブロック図である。
【0060】
受信部81は、処理ボックス2の送信部53から無線(赤外線または電波)で送信された信号(例えば、リモコン呈示データ)を受信し、信号処理部82に供給する。信号処理部82は、取得した信号の復号または符号化など、信号に基づく処理を実行する。
【0061】
リモコン呈示部83は、信号処理部82から送信された信号に基づく画像(文字、記号などを含む)を呈示する。ユーザ入力IF(インターフェース)部84は、イベントに対するユーザからの判断に基づく入力を受け付け、入力に基づく信号を信号処理部82に供給する。
【0062】
イベントが発生した場合、受信部81は、処理ボックス2の送信部53から送信されてくるリモコン呈示データを受信し、信号処理部82は、この呈示データに基づく画像をリモコン呈示部83に呈示させる。ユーザにより、ユーザ入力IF部84に判断が入力されると、ユーザ判断信号を信号処理部82に供給する。信号処理部82は、ユーザ判断信号を、送信部85から、無線(赤外線または電波)で処理ボックス2に送信する。
【0063】
ユーザによる、例えば、「今後も知らせて欲しいイベントである」、または、「今後知らせないでよいイベントである」などの判断を入力することができるように、リモートコントローラ4上に2つのボタン(例えば、後述する図9のOKボタン291とNGボタン292)が設けられる。マルチセンサカメラ1と処理ボックス2は、このユーザからの判断の入力に基づいて、処理を変化させる。
【0064】
図2乃至図4のマルチセンサカメラ1、処理ボックス2、および、リモートコントローラ4により構成される図1の監視システム10の主要部を接続して得られる原理的構成は、図5に示されるようになる。ただし、無線による通信路も有線の通信路として示されている。
【0065】
図5の例における、複数のセンサ101a乃至センサ101nからなるセンサ101は、図2のマルチセンサカメラ1に対応させ、特徴量抽出部102、イベント判定部103、呈示データ構築部104、並びに、パラメータ制御部121、信号処理制御部122、および電源制御部123により構成される制御部108は、図3の処理ボックス2に対応させ、リモコン呈示部83およびユーザ入力IF部84は、図4のリモートコントローラ4に対応させることができる。ただし、この対応関係は任意であり、例えば、特徴量抽出部102、イベント判定部103、および制御部108のうちの一部または全部は、マルチセンサカメラ1側の構成として設けることも可能である(この例が、後述する図7に示されている)。
【0066】
次に、図6のフローチャートを参照して、図5の監視システム10により実行される処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
【0067】
ステップS1において、特徴量抽出部102は、監視領域に設けられているセンサ101を構成する複数のセンサ101a,101b,・・・,101nのそれぞれからセンサデータを取得する。
【0068】
ステップS2において、特徴量抽出部102は、ステップS1の処理により取得した各種センサデータから各種特徴量を計算する。例えば、画像信号のフレーム間差分を取り、移動物体の位置を表わすフレーム間差分の重心位置が計算される。あるいは、赤外線センサのデータの変化量が算出される。
【0069】
ステップS3において、イベント判定部103は、特徴量抽出部102により計算された各種特徴量を取得する。
【0070】
ステップS4において、イベント判定部103は、取得した各種特徴量に基づいて、イベントが発生したか否か(イベントであるか否か)を判定する。このととき、イベント判定部103は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、パラメータ制御部121により制御され、更新される。ステップS4において、イベントであると判定された場合、処理はステップS5に進み、イベント判定部103は、イベントが発生したことを表わすイベント発生信号と、イベント通知および呈示に必要なデータを呈示データ構築部104に供給する。
【0071】
ステップS6において、呈示データ構築部104は、特徴量抽出部102からイベント発生信号、イベント通知および呈示に必要なデータを取得し、一般視聴信号(テレビジョン放送信号)の一部にイベント呈示データを挿入した呈示データを作成する。また、呈示データ構築部104は、イベント呈示データにより構成される(一般視聴信号を含まない)リモートコントローラ4用の呈示データ(以下、リモコン呈示データと称する)を作成する。
【0072】
ステップS7において、呈示データ構築部104は、ステップS6の処理により作成した呈示データを呈示部3に出力し、呈示部3に呈示させる。また、呈示データ構築部104は、リモコン呈示データをリモコン呈示部83に出力し、リモコン呈示部83に呈示させる。
【0073】
呈示データは、一般の視聴信号の一部にイベント呈示データを挿入して構成されているため、呈示部3には、ピクチャインピクチャの表示(例えば、後述する図15に示されるような表示)が呈示される。また、リモコン呈示データは、イベント呈示データから構成されているため、リモコン呈示部83には、イベントを表わす表示(例えば、監視している場所の画像)のみが呈示される。
【0074】
ユーザは、リモコン呈示部83に通知および呈示されたイベント(画像および音声)を見て、判断(例えば、いま呈示されているイベントは、今後も知らせて欲しいイベントであるのか、または、今後しらせないでよいイベントであるのかの判断)を入力する。このとき、例えば、判断を入力させるように促す画像を、リモコン呈示部83に、表示させるようにしてもよい。ユーザからの判断が入力されると、ステップS8において、ユーザ入力IF部84は、ユーザからのイベントに対する判断の入力を取得する。ユーザ入力IF部84は、取得したユーザからの判断の入力に基づくユーザ判断信号を、パラメータ制御部121、信号処理制御部122、および電源制御部123により構成される制御部108に供給する。
【0075】
ステップS9において、パラメータ制御部121は、ステップS8の処理により取得したユーザ判断信号に基づいて、イベント判定部103に保持されているイベントを判定するための判定パラメータの更新を行ない、ユーザが意図するイベント検出が行なえるようにする。例えば、基準値以上の明るさが検出された場合、イベント検出信号が発生されるように設定されているとき、その基準値をより明るい基準値、またはより暗い基準値に変更することができる。
【0076】
ステップS10において、信号処理制御部122は、ユーザ判断信号(ステップS8の処理により取得したユーザ判断信号)に基づいて、特徴量抽出部102を制御する。具体的には、不要な特徴量の検出を中止するように制御したり、軽い処理(例えば、少ない数の特徴量を検出する処理)から、必要な場合に重い処理(より多い数の特徴量を検出し、より正確に判定できるようにする処理)に切り換えるなどの制御をする。例えば、後述する図15に示されるような領域322(イベントとして検出して欲しい領域)と領域323(イベントとして検出する必要がない領域)のうち、領域323で人が撮影されたとしても、それを特徴量として検出させないようにすることができる。
【0077】
ステップS11において、電源制御部123は、ユーザ判断信号(ステップS8の処理により取得したユーザ判断信号)に基づいて、センサ101の電源をオンまたはオフするように制御する。具体的には、センサ101a乃至センサ101nのうち、特徴量抽出部102およびイベント判定部103で必要のないセンサの電源はオフするように制御する。これにより無駄なバッテリを消費するのを防ぐことができる。
【0078】
ステップS11の処理の後、処理はステップS1に戻り、同様の処理が繰り返される。
【0079】
一方、ステップS4において、イベント判定部103により、イベントでないと判定された場合、処理はステップS12に進み、呈示データ構築部104は、一般視聴信号(テレビジョン放送信号)をそのまま呈示データとして呈示部3に出力する。呈示部3は、一般視聴信号を呈示する。その後、処理はステップS1に戻り、それ以降の処理が繰り返される。
【0080】
図6の処理により、ユーザは簡易な判断入力を行なうことにより、ユーザが意図するイベントを確実に検出することができ、かつ、必要な時のみ、各センサと処理部を動作するように制御することができるため、無駄な電力を消費することなく、マルチセンサカメラ1の低消費電力化が実現できる。
【0081】
以下に、図7乃至図18を参照して、監視システム(ホームセキュリティシステム)の具体例の1つを示す。
【0082】
この例の場合、使用するセンサは、カメラ201および赤外線センサ202(図7)であり、ユーザは呈示されたイベントに対して「OK(今後もイベントとして検出して欲しい)」または「NG(今後はイベントとして検出しなくてもよい)」を入力する。また、この場合の、マルチセンサカメラ1の構成例は図7に示され、処理ボックス2の構成例は図8に示され、リモートコントローラ4の構成例は図9に示されている。さらに、各機器における処理を説明するフローチャートが図10乃至図14に示され、呈示部3に呈示される画像が図15および図16に示されている。また、リモコン呈示部283に呈示される画像が図17および図18に示されている。図中、図5と対応する部分については、同一の符号を付してあり、その説明は、繰り返しになるので省略する。
【0083】
図7において、カメラ201と赤外線センサ202により取得されるセンサデータは、特徴量抽出部102に供給される。例えば、赤外線センサ202は、常にオンとされ、カメラ201は、電力消費を少なくするために通常はオフとされる(上述したように、制御部108により制御されている)。特徴量抽出部102は、赤外線センサ202により取得されたセンサデータから特徴量を抽出し、イベント判定部103に供給する。
【0084】
イベントが発生したことの通知に使用される通知用データが特徴量抽出部102から符号化部203へ供給され、符号化部203は、これを符号化し、送信部204に供給する。イベントが発生した場合、送信部204は、符号化された通知用データを処理ボックス2へ送信する。また、処理ボックス2から送信されてくるユーザ判断信号は、受信部205により受信され、復号部206により復号された後、制御部108に供給される。制御部108は、上述したように、ユーザ判断信号に基づく処理を実行する。
【0085】
具体的には、制御部108は、図5を参照して説明したように、イベント判定部103を、イベント判定のパラメータを更新するように制御したり、特徴量抽出部102を、画像の特徴量の抽出処理を開始したり、または停止するよう制御したり、カメラ201または赤外線センサ202を、オンまたはオフするよう制御する。
【0086】
符号化部203、送信部204、受信部205、および復号部206も、イベントが発生したときのみ処理を実行させるようにすることで、無駄に電力を消費することなく、マルチセンサカメラ1を動作させることができる。
【0087】
マルチセンサカメラ1の送信部204からイベント通知(通知用データ)が送信されて来た場合、通知用データは、図8の処理ボックス2の受信部241により受信され、復号部242により復号された後、呈示データ構築部104に供給される。呈示データ構築部104は、上述したように、一般視聴信号の一部にイベント信号を重畳した呈示データを作成し、呈示部3へ出力するとともに、イベントデータそのものを、リモコン呈示データとして符号化部243に符号化させ、送信部244に送信させる。マルチセンサカメラ1からイベント通知(通知用データ)が送信されて来ない場合(イベントが発生していない場合)、呈示データ構築部104は、一般視聴信号そのものを呈示データとして呈示部3へ出力し、呈示させる。
【0088】
リモコン呈示データの送信に伴って、リモートコントローラ4から、ユーザ判断信号が送信されてくる。そこで、処理ボックス2の受信部245は、これを受信し、復号部246に復号させる。復号されたユーザ判断信号は、呈示データ構築部104および符号化部247に供給される。呈示データ構築部104は、ユーザ判断信号に基づいて、例えば、ピクチャインピクチャの画像を生成する処理を中止するなどの処理を実行する。符号化部247は、供給されたユーザ判断信号を符号化し、送信部248に送信させる。送信部248により送信されたユーザ判断信号は、マルチセンサカメラ1の受信部205に受信される。
【0089】
処理ボックス2の送信部244からリモコン呈示データが送信されてきた場合、図9のリモートコントローラ4の受信部281は、これを受信し、復号部282に供給する。復号部282は、リモコン呈示データを復号し、復号されたリモコン呈示データに基づく画像をリモコン呈示部83に呈示させる。
【0090】
これに対して、ユーザは、OKボタン291またはNGボタン292を操作することにより、判断(イベントとして検出する(OK)か、しない(NG)か)を入力することができる。
【0091】
ユーザ入力IF84は、OKボタン291またはNGボタン292のうち、いずれか1つが操作されたことを検出し、ユーザ判断信号として符号化部283に供給する。符号化部283は、ユーザ判断信号を符号化し、送信部284に送信させる。送信部284は、ユーザ判断信号を、処理ボックス2の受信部245に送信する。
【0092】
次に、図10乃至図14のフローチャートを参照して、図7のマルチセンサカメラ1、図8の処理ボックス2、および図9のリモートコントローラ4における処理を説明する。
【0093】
最初に、図10と図11のフローチャートを参照して、図7のマルチセンサカメラ1における処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
【0094】
ステップS51において、必要であるとされているカメラ201と赤外線センサ202は、それぞれ画像データと検出データをセンサデータとして取得し、特徴量抽出部102に供給する。いまの例の場合、カメラ201と赤外線センサ202が両方とも動作している(必要である)ようにしたが、これに限定されず、例えば、赤外線センサ202のみ、または、カメラ201のみが動作しているものとしてもよい。
【0095】
ステップS52において、特徴量抽出部102は、必要な特徴量を計算する。具体的には、カメラ201が出力した画像データのフレーム間差分、フレーム間差分の重心位置、および赤外線センサ202が出力したセンサデータの変化量等の必要な特徴量を計算する。なお、必要な特徴量は時によって変換する。これは、制御部108により制御されるためである。特徴量抽出部102は、計算した各種特徴量を、イベント判定部103に供給するとともに、通知用データとして符号化部203に供給する。
【0096】
ステップS53において、イベント判定部103は、供給された各種特徴量(ステップS52の処理により計算され、供給された各種特徴量)を取得する。
【0097】
ステップS54において、イベント判定部103は、取得した各種特徴量に基づいて、イベントが発生したか否か(イベントであるか否か)を判定する。このとき、イベント判定部103は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、制御部108により制御され、更新される。ステップS54において、イベントであると判定された場合、処理はステップS55に進み、イベント判定部103は、イベント発生信号を符号化部203、送信部204、受信部205および復号部206に送信する。符号化部203、送信部204、受信部205および復号部206は、このイベント発生信号が供給されたとき動作状態となる。従って、イベント発生信号が供給されないとき、非動作状態(オフ状態)となっているので、電力が無駄に消費されるのを抑制することができる。
【0098】
ステップS56において、符号化部203は、ステップS52の処理により特徴量抽出部102から送信された通知用データ(イベント通知用データ)を受信し、符号化し、送信部204に供給する。
【0099】
ステップS57において、送信部204は、符号化部203により符号化され、供給された通知用データを処理ボックス2に送信する。
【0100】
処理ボックス2は、この通知用データを受信し(後述する図12のステップS103)、これに対応するユーザ判断信号を送信してくる(後述する図12のステップS112)。
【0101】
そこで、ステップS58において、受信部205は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきた場合、処理はステップS59に進み、受信部205は、ユーザ判断信号を受信し、復号部206に供給する。
【0102】
ステップS60において、復号部206は、ユーザ判断信号を復号し、制御部108に供給する。
【0103】
ステップS61において、制御部108は、イベント判定部103のパラメータ変更制御、特徴量抽出部102の信号処理制御、およびセンサの電源制御などの制御を実行する。詳細は、図5と図6を参照して説明したので省略する。
【0104】
ステップS54においてイベントでないと判定された場合、ステップS58においてユーザ判断信号が送信されてこないと判定された場合、または、ステップS61の処理の後、処理はステップS51に戻り、それ以降の処理が繰り返される。
【0105】
次に、図12と図13を参照して、図10と図11のマルチセンサカメラ1の処理に対応する図8の処理ボックス2における処理を説明する。なお、この処理は、ユーザにより呈示部3に対して一般視聴信号(放送番組信号)に対応する画像の呈示または、監視領域における開始を開始するよう指令されたとき、開始される。
【0106】
ステップS101において、受信部241は、イベント通知があるか否かを判定する。具体的には、受信部241は、マルチセンサカメラ1の送信部204から通知用データが送信されてきたか否かを判定する。ステップS101において、イベント通知がされないと判定された場合(通知用データが送信されてこないと判定された場合)、処理はステップS102に進み、呈示データ構築部104は、一般視聴信号をそのまま呈示データとして、呈示部3に出力し、呈示部3に呈示させる。その後、処理はステップS101に戻り、それ以降の処理が繰り返される。
【0107】
ステップS101において、イベント通知があると判定された場合、ステップS103において、受信部241は、通知用データを受信し、復号部242に復号させる。復号部242は、復号した通知用データを呈示データ構築部104に供給する。
【0108】
ステップS104において、呈示データ構築部104は、供給された通知用データを受信し、呈示データを作成する。具体的には、呈示データ構築部104は、一般視聴画像の一部にイベント画像を多重化させることで呈示データを作成する(ピクチャインピクチャとなる画像データを作成する)。その後、呈示データ構築部104は、作成した呈示データを呈示部3に出力し、呈示させる。
【0109】
このとき、呈示部3には、図15または図16に示されるような画像が表示される。図15の例の場合、呈示部3には、一般視聴画面320の一部に、イベント呈示領域321が呈示されている。イベント呈示領域321の、図中、左側の領域322と、右側の領域323のうち、右側の領域323に、カメラ201で撮影された人の画像が表示されている。このイベント呈示に対してユーザは、リモートコントローラ4のOK(今後もイベントとして検出して欲しい)ボタン291、またはNO(今後はイベントとして検出しなくてもよい)ボタン292を操作することで、判断を入力することになる。このユーザ判断信号がリモートコントローラ4から送信されてくる(後述する図14のステップS156)。
【0110】
いま、領域322と領域323のうち、左側の領域322が、ユーザがイベントとして検出して欲しい領域であるとすると、ユーザは、図15に示されているようなイベントの呈示に対して、NOボタン292を操作する。ユーザによりNOボタン292が操作された場合、これに対応するユーザ判断信号が、リモートコントローラ4から送信されてくる。処理ボックス2はこれを受信すると、それをマルチセンサカメラ1に送信する(後述するステップS112)。上述したように、マルチセンサカメラ1の制御部108は、このユーザ判断信号を受信すると、特徴量抽出部102を制御し、カメラ201の画角の右側の領域を特徴量抽出の範囲から除外する(図11のステップS61)。その結果、以後、画角の右側の領域で人が撮影されても、イベント発生信号が発生されず、左側の領域で人が撮影されたとき、イベント通知が行なわれる。これにより、例えば、図16に示されるような呈示が行なわれるようになる。
【0111】
ユーザによりNOボタン292が操作された場合、呈示部3には、一般視聴画像のみが呈示される。すなわち、イベント呈示領域321は表示されない。これによりユーザは無駄なイベントを呈示されることなく、必要な場所だけ、イベント呈示領域321を見ることができる。
【0112】
図12に戻って、ステップS105において、呈示データ構築部104は、リモコン呈示データを作成し、符号化部243に出力する。リモコン呈示データには、一般視聴信号は含まれず、リモコン呈示データは、通知用データそのものから構成されている。リモートコントローラ4は、リモコン呈示データを受信すると、対応する画像を図17または図18に示されるように表示する(後述する図14のステップS153)。
【0113】
ステップS106において、符号化部243は、ステップS105の処理により供給されたリモコン呈示データを符号化し、これを送信部244に供給する。
【0114】
ステップS107において、送信部244は、ステップS106の処理により供給された、符号化されたリモコン呈示データをリモートコントローラ4に送信する。リモートコントローラ4は、これを受信し(後述する図14のステップS151)、呈示した(後述する図14のステップS153)後、ユーザにより入力された判断に基づく信号であるユーザ判断信号を送信してくる(後述する図14のステップS156)。
【0115】
そこで、ステップS108において、受信部245は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきたと判定された場合、ステップS109において、受信部245は、ユーザ判断信号を受信し、これを復号部246に供給する。
【0116】
ステップS110において、復号部246は、ステップS109の処理により供給されたユーザ判断信号を復号し、これを呈示データ構築部104に供給するとともに、符号化部247に供給する。
【0117】
ステップS111において、符号化部247は、ステップS110の処理により供給されたユーザ判断信号を符号化し、これを送信部248に供給する。
【0118】
ステップS112において、送信部248は、ステップS111の処理により符号化され、供給されたユーザ判断信号をマルチセンサカメラ1に送信する。マルチセンサカメラ1は、上述したように、ユーザ判断信号に基づく処理を実行する(図11のステップS61)。
【0119】
ステップS113において、呈示データ構築部104は、ステップS110の処理により復号部246により復号されたユーザ判断信号を取得し、ユーザ判断信号に基づく処理を実行する。
【0120】
このとき、上述したように、呈示データ構築部104は、ユーザ判断信号に、呈示データの構築を停止するような信号(例えば、後述する図17のNGボタン292が操作されたとされる信号)が含まれていた場合、イベント画像を含む呈示データの構築を停止するなどの処理を実行する。このとき、呈示部3には、イベント呈示領域321が呈示されない。
【0121】
また、呈示データ構築部104は、ユーザ判断信号に、呈示データの構築を続けるような信号(例えば、後述する図17のOKボタン291が操作されたとされる信号)が含まれていた場合、イベント画像を含む呈示データの構築を続ける処理を実行する。このとき、呈示部3には、図16に示されるようなイベント呈示領域321が呈示される。
【0122】
ステップS102の処理の後、ステップS108においてユーザ判断信号が送信されてこないと判定された場合、またはステップS113の処理の後、処理はステップS101に戻り、それ以降の処理が繰り返される。
【0123】
次に、図14を参照して、図12と図13の処理ボックス2の処理に対応する図9のリモートコントローラ4における処理を説明する。なお、この処理は、処理ボックス2の送信部244により、図12のステップS107の処理が実行されたとき、開始される。
【0124】
ステップS151において、受信部281は、処理ボックス2の送信部244から送信されてきた(図12のステップS107の処理により処理ボックス2の送信部244から送信されてきた)リモコン呈示データを受信し、これを復号部282に供給する。
【0125】
ステップS152において、復号部282は、ステップS151の処理により受信されたリモコン呈示データを復号し、復号したリモコン呈示データをリモコン呈示部83に供給する。
【0126】
ステップS153において、リモコン呈示部83は、受信したリモコン呈示データに基づく画像を呈示する。
【0127】
このとき、リモコン呈示部83には、図17または図18に示されるような画像が表示される。この画像は、上述した図15と図16のイベント呈示領域321の画像と同様の画像である。すなわち、リモコン呈示データには、呈示部3に対して出力される呈示データのうちの、イベント呈示領域321に対応するデータのみが含まれている。
【0128】
図17の例の場合、リモコン呈示部83には、リモコン呈示データに基づくイベントが呈示されている。リモコン呈示部83の図中左側の領域293と右側の領域294のうち、左側の領域293が、ユーザがイベントとして検出して欲しい領域であるとすると、図17に示されるように、右側の領域294に人の画像が表示されている場合、このイベント呈示に対してユーザは、OK(今後もイベントとして検出して欲しい)ボタン291とNO(今後はイベントとして検出しなくてもよい)ボタン292のうち、NOボタン292を操作する。これに対して、図18に示されるように、左側の領域293に人の画像が表示されている場合、ユーザは、OKボタン291を操作する。
【0129】
そこで、ステップS154において、ユーザ入力IF部84は、ユーザの判断が、入力されたか(OKボタン291またはNGボタン292のいずれか1つが操作されたか)否かを判定する。ユーザの判断が入力されたと判定された場合、処理はステップS155に進み、ユーザ入力IF部84は、ユーザの判断に基づく信号であるユーザ判断信号を符号化部283に供給し、符号化部283は、これを符号化する。その後、符号化部283は、符号化したユーザ判断信号を送信部284に供給する。
【0130】
ステップS156において、送信部284は、符号化されたユーザ判断信号(ステップS154の処理により符号化部283により符号化されたユーザ判断信号)を、処理ボックス2に対して送信する。マルチセンサカメラ1と処理ボックス2はこれを受信し(図11のステップS59と図12のステップS109)、上述したように、ユーザ判断信号に基づく処理を実行する。例えば、図17に示されるような呈示に対してNGボタン292のユーザ判断信号が送信されてきた場合、マルチセンサカメラ1は、カメラ201で撮像される範囲(画角)のうち、右側の領域は、特徴量抽出の処理の対象外とする。その結果、以後、図17に示されるような右側の領域294に人が表示されているような画像は、イベントとして送信してこなくなり、図18に示されるような左側の領域293に人が表示されている画像がイベントの画像として呈示される。
【0131】
ステップS154の処理において、ユーザの判断が入力されていないと判定された場合、またはステップS156の処理の後、処理はステップS151に戻り、それ以降の処理が繰り返される。
【0132】
なお、マルチセンサカメラ1の処理の変化の例として、例えば、監視システム10の利用を開始した後の所定の期間(ユーザの判断入力の回数が所定の回数を下回る場合)は、カメラ201と赤外線センサ202を常にオンするようにし、所定の期間の経過後(ユーザの判断入力の回数が所定の回数を上回った場合)は、カメラ201は通常オフとし、赤外線センサ202が反応したとき、初めてカメラ201をオンするように制御することもできる。
【0133】
また、イベント判定部103の処理に関しても、例えば、監視システム10の利用を開始した後の所定の期間(ユーザの判断入力の回数が所定の回数を下回る場合)は、人(侵入者)の撮像位置(領域)がどこであったとしてもイベントとして出力するようにし、所定の期間の経過後(ユーザの判断入力の回数が所定の回数を上回った場合)は、OKボタン291を操作することでユーザが指定した位置(領域)で人(侵入者)が撮像された場合にのみ、イベントとして出力するようにイベント判定部103の判定パラメータを変更させるようにすることもできる。
【0134】
以上の処理により、ユーザの判断に基づいて、動作するセンサを切り換え、さらに、ユーザの判断の繰り返しにより、マルチセンサカメラ1における処理を変化させることにより、ユーザが意図するイベントのみを検知および通知させるようにすることができ、かつ、必要なセンサ、信号処理等だけが動作するため、柔軟にイベントを検出および通知し、無駄な消費電力を抑えることができる。マルチセンサカメラ1は、バッテリ28により駆動されるので、できるだけ電力消費を少なくするために、特徴量抽出部102、イベント判定部103、および制御部108の1つ以上を、処理ボックス2に収容するようにするのが好ましい。
【0135】
また、マルチセンサカメラ1の消費電力を抑えることができ、さらに小型化することができるため、様々な場所に手軽に設置できる。
【0136】
なお、以上の例は、監視システム10を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。
【0137】
例えば、使用するセンサは、カメラ、マイクロホン、赤外線センサに限らず、他のセンサを搭載することができる。また、検出するイベントも、上述した例に限られるものではない。
【0138】
また、例えば、マルチセンサカメラ1と処理ボックス2の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。
【0139】
また、マルチセンサカメラ1は、1台ではなく、複数設けることも可能である。
【0140】
さらに、呈示部3は、1つではなく、複数設けることも可能である。
【0141】
また、処理ボックス2は、呈示部3と別の筐体とせず、一体型とすることもできる。
【0142】
さらに、リモートコントローラ4にリモコン呈示部83を設けずに、呈示部3のみの呈示としてもよい。
【0143】
また、リモートコントローラ4にイベントを呈示するのではなく、処理ボックス2にイベントの呈示部およびユーザの判断を入力するための入力IF部を設けることもできる。
【0144】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。この場合、上述した処理は、図19に示されるようなパーソナルコンピュータ500により実行される。
【0145】
図19において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【0146】
CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。
【0147】
入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube),LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。
【0148】
入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
【0149】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用の専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【0150】
この記録媒体は、図19に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。
【0151】
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0152】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0153】
【発明の効果】
以上の如く、第1の本願発明によれば、イベントを通知することができる。特に、この発明によれば、ユーザの判断の入力に基づいて、柔軟にイベントを検出および通知することができる。また、無駄な消費電力を抑えることができる。
【0154】
第2の本願発明によれば、イベントを通知することができる。特に、この発明によれば、無駄な消費電力を抑えることができる。
【0155】
第3の本願発明によれば、イベントを通知することができる。特に、この発明によれば、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができる。
【0156】
第4の本願発明によれば、イベントの発生をユーザが知ることができる。特に、この発明によれば、ユーザの判断の入力を他の情報処理装置に送信し、その判断に基づくイベントの発生をユーザに呈示することができる。
【図面の簡単な説明】
【図1】本発明を適用した監視システムの構成例を示す図である。
【図2】図1のマルチセンサカメラの機能的構成を示すブロック図である。
【図3】図1の処理ボックスの機能的構成を示すブロック図である。
【図4】図1のリモートコントローラの機能的構成を示すブロック図である。
【図5】図1の監視システムの原理的構成を示すブロック図である。
【図6】図5の監視システムにより実行されるイベント検出処理を説明するフローチャートである。
【図7】図1のマルチセンサカメラの構成例を示すブロック図である。
【図8】図1の処理ボックスの構成例を示すブロック図である。
【図9】図1のリモートコントローラの構成例を示すブロック図である。
【図10】図7のマルチセンサカメラにおける処理を説明するフローチャートである。
【図11】図7のマルチセンサカメラにおける処理を説明するフローチャートである。
【図12】図8の処理ボックスにおける処理を説明するフローチャートである。
【図13】図8の処理ボックスにおける処理を説明するフローチャートである。
【図14】図9のリモートコントローラにおける処理を説明するフローチャートである。
【図15】図12のステップS104の処理における呈示例を示す図である。
【図16】図12のステップS104の処理における呈示例を示す図である。
【図17】図14のステップS153の処理における呈示例を示す図である。
【図18】図14のステップS153の処理における呈示例を示す図である。
【図19】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
1 マルチセンサカメラ, 2 処理ボックス, 3 呈示部, 4 リモートコントローラ, 10 監視システム, 83 呈示部, 84 ユーザ入力IF部, 101 センサ, 102 特徴量抽出部, 103 イベント判定部, 104 呈示データ構築部, 108 制御部, 121 パラメータ制御部, 122 信号処理制御部, 123 電源制御部, 291 OKボタン, 292 NGボタン
Claims (34)
- センサデータに基づく監視処理を実行する情報処理システムにおいて、
センサデータを取得するセンサ手段と、
前記センサ手段により取得された前記センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、
前記イベント判定手段により前記イベントが発生したと判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成手段と、
前記呈示データ作成手段により作成された前記呈示データに基づく呈示を行なう呈示手段と、
前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段と、
前記入力取得手段により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御手段と
を備えることを特徴とする情報処理システム。 - 前記呈示データ作成手段は、前記呈示データ作成手段を制御するリモートコントローラに、前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データをさらに作成する
ことを特徴とする請求項1に記載の情報処理システム。 - 前記呈示データ作成手段により作成された前記リモコン呈示データを呈示するリモコン呈示部をさらに備える
ことを特徴とする請求項2に記載の情報処理システム。 - 前記制御手段は、
前記イベント判定手段が前記イベントが発生したか否かを判定するための前記判定パラメータを更新するパラメータ制御手段と、
前記特徴量抽出手段による特徴量抽出の処理を制御する特徴量抽出制御手段と、
前記センサ手段によるセンサデータの取得処理を制御するセンサ制御手段を備える
ことを特徴とする請求項1に記載の情報処理システム。 - 前記センサ手段は、複数のセンサを備え、
前記センサ制御手段は、前記複数のセンサの電源をオンまたはオフする制御を実行する
ことを特徴とする請求項4に記載の情報処理システム。 - 前記呈示データ作成手段は、前記イベント判定手段により前記イベントが発生していないと判定された場合、所定の信号に基づくデータを呈示データとする
ことを特徴とする請求項1に記載の情報処理システム。 - 前記センサ手段、前記特徴量抽出手段、前記イベント判定手段、および前記制御手段は、第1の情報処理装置により構成され、
前記呈示データ作成手段は、第2の情報処理装置により構成され、
前記呈示手段は、第3の情報処理装置により構成され、
前記入力取得手段は、第4の情報処理装置により構成される
ことを特徴とする請求項1に記載の情報処理システム。 - 前記第1の情報処理装置と前記第2の情報処理装置の間における通信は、無線通信により行なわれる
ことを特徴とする請求項7に記載の情報処理システム。 - 前記第1の情報処理装置は、バッテリにより駆動される
ことを特徴とする請求項7に記載の情報処理システム。 - 前記センサ手段、前記特徴量抽出手段、前記イベント判定手段、および前記制御手段は、第1の情報処理装置により構成され、
前記呈示データ作成手段および前記呈示手段は、第2の情報処理装置により構成され、
前記入力取得手段は、第3の情報処理装置により構成される
ことを特徴とする請求項1に記載の情報処理システム。 - 前記呈示データ作成手段は、テレビジョン放送に基づく信号に前記イベントデータを挿入して前記呈示データを作成する
ことを特徴とする請求項1に記載の情報処理システム。 - 前記センサ手段は、カメラ、マイクロホン、または赤外線センサのいずれかを含む
ことを特徴とする請求項1に記載の情報処理システム。 - センサデータに基づく監視処理を実行する情報処理システムの情報処理方法において、
センサデータを取得するセンサステップと、
前記センサステップの処理により取得された前記センサデータに基づいて、物体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップの処理により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定ステップと、
前記イベント判定ステップの処理により前記イベントが発生したと判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成ステップと、
前記呈示データ作成ステップの処理により作成された前記呈示データに基づく呈示を制御する呈示ステップと、
前記呈示制御ステップにより制御された呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、
前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御ステップと
を含むことを特徴とする情報処理方法。 - センサデータに基づく監視処理を実行するプログラムであって、
前記センサデータに基づいて、物体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップの処理により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定ステップと、
前記イベント判定ステップの処理により前記イベントが発生したと判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成ステップと、
ユーザからの判断の入力を取得する入力取得ステップと、
前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - センサデータに基づく監視処理を実行するプログラムであって、
前記センサデータに基づいて、物体の特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップの処理により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定ステップと、
前記イベント判定ステップの処理により前記イベントが発生したと判定された場合、前記イベントを通知するためのイベントデータを含む呈示データを作成する呈示データ作成ステップと、
ユーザからの判断の入力を取得する入力取得ステップと、
前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づいて、制御処理を実行する制御ステップと
をコンピュータに実行させることを特徴とするプログラム。 - センサデータに基づく監視処理を実行する情報処理装置において、
複数のセンサにより複数の前記センサデータを取得するセンサ手段を備え、
前記センサ手段は、他の情報処理装置から送信されてくる、ユーザの指令に基づく判断信号に基づいて、前記複数のセンサをオンまたはオフする
ことを特徴とする情報処理装置。 - 前記センサ手段により取得された前記センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、
前記イベント判定手段により前記イベントが発生したと判定された場合、前記イベントを通知するための通知用データを他の情報処理装置に送信する送信手段と、
前記他の情報処理装置から送信されてくるユーザの指令に基づく前記判断信号を受信する受信手段と、
前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段と
をさらに備えることを特徴とする請求項16に記載の情報処理装置。 - 前記制御手段は、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新し、前記特徴量抽出手段による特徴量抽出の処理を制御し、前記センサ手段によるセンサデータの取得処理を制御する
ことを特徴とする請求項17に記載の情報処理装置。 - 前記送信手段および前記受信手段による通信は、無線通信により行なわれる
ことを特徴とする請求項17に記載の情報処理装置。 - 前記情報処理装置は、バッテリにより駆動される
ことを特徴とする請求項16に記載の情報処理装置。 - 前記複数のセンサは、カメラ、マイクロホン、または赤外線センサのいずれかを含む
ことを特徴とする請求項16に記載の情報処理装置。 - 複数のセンサにより複数の前記センサデータを取得するセンサ手段を含み、センサデータに基づく監視処理を実行する情報処理装置の情報処理方法において、
前記センサ手段は、他の情報処理装置から送信されてくる、ユーザの指令に基づく判断信号に基づいて、前記複数のセンサをオンまたはオフする
ことを特徴とする情報処理方法。 - 監視処理を実行する情報処理装置において、
イベントが発生した場合、所定の信号に基づくデータに前記イベントを通知するためのイベントデータを挿入して、呈示データを作成する呈示データ作成手段を備え、
呈示データ作成手段は、イベントが発生していない場合、前記所定の信号に基づく前記データのみを呈示データとして作成する
ことを特徴とする情報処理装置。 - 前記呈示データ作成手段により作成された前記呈示データを呈示する呈示手段を
さらに備えることを特徴とする請求項23に記載の情報処理装置。 - 前記呈示データ作成手段は、前記情報処理装置を遠隔制御する第1の他の情報処理装置に前記イベントを通知するための前記イベントデータで構成されるリモコン呈示データをさらに作成する
ことを特徴とする請求項23に記載の情報処理装置。 - 第2の他の情報処理装置から送信されてくる前記イベントを通知するための通知用データを受信するイベント通知受信手段と、
前記リモコン呈示データを前記第1の他の情報処理装置に送信する呈示データ送信手段と、
前記第1の他の情報処理装置から送信された、前記リモコン呈示データに基づく判断信号を受信する判断信号受信手段と、
前記判断信号受信手段により受信された前記判断信号を前記第2の他の情報処理装置に送信する判断信号送信手段とを備え、
前記呈示データ作成手段は、前記通知用データに基づく処理を実行する
ことを特徴とする請求項25に記載の情報処理装置。 - 前記イベント通知受信手段および前記判断信号送信手段の通信は、無線通信により行なわれる
ことを特徴とする請求項26に記載の情報処理装置。 - センサデータに基づいて、物体の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記特徴量を取得し、判定パラメータに基づいて、イベントが発生したか否かを判定するイベント判定手段と、
他の情報処理装置から送信されてくる前記呈示データに基づく判断信号を受信する受信手段と、
前記受信手段により受信された前記判断信号に基づいて、制御処理を実行する制御手段とをさらに備え、
前記呈示データ作成手段は、前記イベント判定手段の判定結果に基づいて、前記呈示データを作成する
ことを特徴とする請求項23に記載の情報処理装置。 - 前記制御手段は、前記イベント判定手段が前記イベントを判定するための前記判定パラメータを更新し、前記特徴量抽出手段による特徴量抽出の処理を制御し、前記他の情報処理装置によるセンサデータの取得処理を制御する信号を、前記他の情報処理装置に対して送信する
ことを特徴とする請求項28に記載の情報処理装置。 - 前記制御手段は、前記他の情報処理装置に備えられる複数のセンサのオンまたはオフを切り換える信号を送信する
ことを特徴とする請求項28に記載の情報処理装置。 - 情報を処理する情報処理装置において、
他の情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信手段と、
前記受信手段により受信された前記リモコン呈示データを呈示する呈示手段と、
前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する入力取得手段と、
前記入力取得手段により取得されたユーザからの判断の入力に基づく判断信号を前記他の情報処理装置に送信する送信手段と
を備えることを特徴とする情報処理装置。 - 情報を処理する情報処理装置の情報処理方法において、
他の情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信ステップと、
前記受信ステップの処理により受信された前記リモコン呈示データの呈示を制御する呈示制御ステップと、
前記呈示制御ステップの処理により制御された呈示に基づいて、ユーザからの判断の入力を取得する入力取得ステップと、
前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づく判断信号を前記他の情報処理装置に送信する送信ステップと
を含むことを特徴とする情報処理方法。 - 情報処理を実行するプログラムであって、
情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信ステップと、
ユーザからの判断の入力を取得する入力取得ステップと、
前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づく判断信号を前記情報処理装置に送信する送信ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 情報処理を実行するプログラムであって、
情報処理装置から送信されたイベントを通知するためのイベントデータで構成されるリモコン呈示データを受信する受信ステップと、
ユーザからの判断の入力を取得する入力取得ステップと、
前記入力取得ステップの処理により取得されたユーザからの判断の入力に基づく判断信号を前記他の情報処理装置に送信する送信ステップと
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002303795A JP3820586B2 (ja) | 2002-10-18 | 2002-10-18 | 情報処理システムおよび方法、記録媒体、並びにプログラム |
US10/681,242 US7602413B2 (en) | 2002-10-18 | 2003-10-09 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
US11/763,664 US7840284B2 (en) | 2002-10-18 | 2007-06-15 | Information processing system and associated methodology of surveillance event monitoring |
US11/763,956 US8072491B2 (en) | 2002-10-18 | 2007-06-15 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
US11/763,931 US7830410B2 (en) | 2002-10-18 | 2007-06-15 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
US11/847,642 US7605841B2 (en) | 2002-10-18 | 2007-08-30 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
US12/642,311 US8803969B2 (en) | 2002-10-18 | 2009-12-18 | Event monitoring report and display system |
US14/319,718 US9532014B2 (en) | 2002-10-18 | 2014-06-30 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
US14/319,842 US9648288B2 (en) | 2002-10-18 | 2014-06-30 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
US14/319,664 US9729836B2 (en) | 2002-10-18 | 2014-06-30 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
US15/619,137 US10356370B2 (en) | 2002-10-18 | 2017-06-09 | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002303795A JP3820586B2 (ja) | 2002-10-18 | 2002-10-18 | 情報処理システムおよび方法、記録媒体、並びにプログラム |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006121572A Division JP4403418B2 (ja) | 2006-04-26 | 2006-04-26 | 情報処理システムおよび方法、記録媒体、並びにプログラム |
JP2006121573A Division JP4492582B2 (ja) | 2006-04-26 | 2006-04-26 | 情報処理装置および監視処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004140623A true JP2004140623A (ja) | 2004-05-13 |
JP3820586B2 JP3820586B2 (ja) | 2006-09-13 |
Family
ID=32451425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002303795A Expired - Fee Related JP3820586B2 (ja) | 2002-10-18 | 2002-10-18 | 情報処理システムおよび方法、記録媒体、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3820586B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010087582A (ja) * | 2008-09-29 | 2010-04-15 | Saxa Inc | 遠隔監視システム及びそのサーバ |
JP2012531665A (ja) * | 2009-06-23 | 2012-12-10 | セントラス,インコーポレイテッド | ビデオ監視システム |
CN105981080A (zh) * | 2013-12-18 | 2016-09-28 | 威斯通全球技术公司 | 车载摄像机和警报系统 |
US10715767B2 (en) | 2016-12-22 | 2020-07-14 | Sony Corporation | Information transmission device, information transmission method, and information transmission system |
CN113194297A (zh) * | 2021-04-30 | 2021-07-30 | 重庆市科学技术研究院 | 一种智能监控系统及方法 |
-
2002
- 2002-10-18 JP JP2002303795A patent/JP3820586B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010087582A (ja) * | 2008-09-29 | 2010-04-15 | Saxa Inc | 遠隔監視システム及びそのサーバ |
JP2012531665A (ja) * | 2009-06-23 | 2012-12-10 | セントラス,インコーポレイテッド | ビデオ監視システム |
CN105981080A (zh) * | 2013-12-18 | 2016-09-28 | 威斯通全球技术公司 | 车载摄像机和警报系统 |
US10715767B2 (en) | 2016-12-22 | 2020-07-14 | Sony Corporation | Information transmission device, information transmission method, and information transmission system |
CN113194297A (zh) * | 2021-04-30 | 2021-07-30 | 重庆市科学技术研究院 | 一种智能监控系统及方法 |
CN113194297B (zh) * | 2021-04-30 | 2023-05-23 | 重庆市科学技术研究院 | 一种智能监控系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3820586B2 (ja) | 2006-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9648288B2 (en) | Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program | |
US11831940B2 (en) | Systems, methods and apparatus for interacting with a security system using a television remote control | |
US20060064732A1 (en) | Adapter apparatus and network camera control method | |
EP1340205A1 (en) | Remote monitoring via a consumer electronic appliance | |
US7626608B2 (en) | Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith | |
JP2008199514A (ja) | 画像表示装置 | |
US20050143954A1 (en) | Monitoring system, information processing apparatus and method, recording medium, and program | |
JP3820586B2 (ja) | 情報処理システムおよび方法、記録媒体、並びにプログラム | |
JP4403418B2 (ja) | 情報処理システムおよび方法、記録媒体、並びにプログラム | |
JP4492582B2 (ja) | 情報処理装置および監視処理システム | |
US8669869B2 (en) | Method and device for detecting and reporting activity | |
WO2005024638A1 (ja) | 情報処理装置および電子機器 | |
US9635322B2 (en) | Video intercom device | |
JP4406821B2 (ja) | 監視システムおよび方法、情報処理装置、記録媒体、並びにプログラム | |
JP2009003735A (ja) | セキュリティシステム | |
JP6173141B2 (ja) | 無線通信システム及び無線送信機 | |
JP4438341B2 (ja) | 監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム | |
KR100687921B1 (ko) | 전자 장치 | |
JP4540462B2 (ja) | 監視機能付き電源制御装置,該装置を備える電気機器,及び電気機器システム | |
JP4605429B2 (ja) | 監視システム、情報処理装置および方法、記録媒体、並びにプログラム | |
KR101068772B1 (ko) | 모니터링 시스템, 영상 촬영 장치 및 영상 표시 장치 | |
JP2000134605A (ja) | モニタ画像ワイヤレス伝送システム | |
KR101701844B1 (ko) | 보안 기능을 갖는 영상 표시 기기 및 그를 이용한 보안 유지 방법 | |
JP2005044209A (ja) | 監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム | |
JP2005217538A (ja) | 通信端末装置および通信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060302 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060611 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3820586 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090630 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |