JP2005092740A - 監視システム、情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

監視システム、情報処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP2005092740A
JP2005092740A JP2003328266A JP2003328266A JP2005092740A JP 2005092740 A JP2005092740 A JP 2005092740A JP 2003328266 A JP2003328266 A JP 2003328266A JP 2003328266 A JP2003328266 A JP 2003328266A JP 2005092740 A JP2005092740 A JP 2005092740A
Authority
JP
Japan
Prior art keywords
event
notification
data
sensor
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003328266A
Other languages
English (en)
Inventor
Naoki Takeda
直己 武田
Tetsujiro Kondo
哲二郎 近藤
Yasuhiro Fujimori
泰弘 藤森
Naoki Kobayashi
小林  直樹
Yoshinori Watanabe
義教 渡邊
Takeshi Tanaka
剛 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003328266A priority Critical patent/JP2005092740A/ja
Priority to US10/938,519 priority patent/US7146286B2/en
Publication of JP2005092740A publication Critical patent/JP2005092740A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/22Electrical actuation
    • G08B13/24Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2491Intrusion detection systems, i.e. where the body of an intruder causes the interference with the electromagnetic field
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697Arrangements wherein non-video detectors generate an alarm themselves

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】簡単かつ確実に必要なイベントを呈示できるようにする。
【解決手段】マルチセンサカメラは、マイクロ波センサから出力されたセンサデータと判定規範に基づき記述された状態記述データと、処理ボックス2から送信された通知判定テーブルを比較して、イベントを通知すると判定した場合、通知画像データを処理ボックス2に送信し、呈示部3に呈示させる。ユーザは、通知されたイベントに対して通知が必要か否かの判断をリモートコントローラ4に入力し、判定規範学習部55は、通知が必要なイベントを通知し、不要なイベントを通知しないように、判定規範を調整し、通知判定テーブルを更新する。本発明は、家庭用の監視システムに適用することができる。
【選択図】図5

Description

本発明は、監視システム、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ユーザの要求に基づき、簡単かつ確実に必要なイベントを呈示できるようにすると共に、消費電力を抑えることができるようにした監視システム、情報処理装置および方法、記録媒体、並びにプログラムに関する。
従来、マイクロ波センサと画像センサを備え、両方のセンサの出力に基づき、監視領域内に侵入した人物を検出する監視装置が提案されている(例えば、特許文献1参照)。
特開2000−348265号公報
しかしながら、ドップラ効果を利用する超音波センサは、センサの特性上、条件によりその出力が不安定になる場合があるが、特許文献1に記載されている発明では、その対策が考慮されておらず、侵入者の検出精度が低下してしまうという課題があった。
また、特許文献1に記載されている発明では、監視領域内の人体の侵入に関する判定条件は決められているものの、監視領域内に人体が侵入したと判定された場合、侵入者の行動パターンに関わらず通報されるため、ユーザが必要としないイベントが通報され、また無駄な電力を消費してしまうという課題があった。
本発明は、このような状況に鑑みてなされたものであり、簡単かつ確実にユーザが必要とするイベントを呈示できるようにすると共に、消費電力を抑えることができるようにするものである。
本発明の監視システムは、監視領域の監視に基づく第1のデータを出力する第1のセンサと、監視領域の監視に基づく第2のデータを出力する第2のセンサと、監視領域のイベントの状態を、予め定められている検出条件に基づいて、第1のセンサにより出力された第1のデータから検出するイベント検出手段と、イベント検出手段により検出されたイベントの状態に基づき、イベントの通知を制御する通知制御手段と、通知制御手段により通知するように制御されたイベントに関する第2のセンサにより出力された第2のデータの呈示を制御する呈示制御手段と、呈示制御手段による制御に基づき呈示された第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得手段と、イベントの状態に基づくイベントの特徴を表わす特徴データ、および入力取得手段により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整手段とを備えることを特徴とする。
検出条件調整手段は、イベントの特徴データ、および通知の必要性を評価する入力の他、さらにイベントに関する第1のデータに基づき検出条件を調整するようにすることができる。
イベントの状態、および通知の必要性を評価する入力に基づき、イベントの通知の必要性を判定する判定情報を生成する判定情報生成手段をさらに備え、通知制御手段は、判定情報に基づき、イベントの通知を制御するようにすることができる。
検出条件調整手段は、イベントに対する入力取得手段により取得されたユーザからの通知の必要性の評価と、判定情報に基づくイベントに対する通知の必要性の判定の結果が不一致となった場合、検出条件を、第1のセンサにより出力された第1のデータのより小さな変化から第1のセンサの状態が検出される条件に調整するようにすることができる。
イベントに関する第1のデータ、イベントの特徴データ、および通知の必要性を評価する入力を関連付けて蓄積する蓄積手段をさらに備え、検出条件調整手段は、蓄積手段により蓄積されたイベントの特徴データおよび通知の必要性を評価する入力の他、蓄積手段により蓄積されたイベントに関する第1のデータに基づき、イベントに対する入力取得手段により取得されたユーザからの通知の必要性の評価と、判定情報に基づくイベントに対する通知の必要性の判定の結果が一致するように検出条件を調整するようにすることができる。
検出条件調整手段は、蓄積手段により蓄積されたイベントに関する第1のデータ、および検出条件調整手段により調整された検出条件に基づき、蓄積手段により蓄積されているイベントの特徴データを更新し、判定情報生成手段は、更新されたイベントの特徴データ、および蓄積手段により蓄積された通知の必要性を評価する入力に基づき、判定情報を生成するようにすることができる。
第1のセンサは、マイクロ波センサを含み、第2のセンサは、カメラを含むようにすることができる。
第1のセンサ、第2のセンサ、イベント検出手段、呈示制御手段、入力取得手段、および検出条件調整手段は、第1の情報処理装置および第2の情報処理装置のいずれかに分離して配置されるようにすることができる。
第1の情報処理装置と第2の情報処理装置の間における通信は、無線通信により行われるようにすることができる。
第1の情報処理装置は、バッテリにより駆動されるようにすることができる。
検出条件は、直近の所定の期間に第1のセンサにより出力された第1のデータの個数を比較するしきい値であり、検出条件調整手段は、しきい値を調整するようにすることができる。
本発明の第1の情報処理方法は、第1のセンサによる監視領域の監視に基づく第1のデータを取得するデータ取得ステップと、監視領域のイベントの状態を、予め定められている検出条件に基づいて、データ取得ステップの処理により取得された第1のデータから検出するイベント検出ステップと、イベント検出ステップの処理により検出されたイベントの状態に基づき、イベントの通知を制御する通知制御ステップと、通知制御ステップの処理により通知するように制御されたイベントに関する第2のセンサによる監視領域の監視に基づき出力された第2のデータの呈示を制御する呈示制御ステップと、呈示制御ステップの処理による制御に基づき呈示された第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得ステップと、イベントの状態に基づくイベントの特徴を表わす特徴データ、および入力取得ステップの処理により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整ステップとを含むことを特徴とする。
本発明の記録媒体に記録されている第1のプログラムは、第1のセンサによる監視領域の監視に基づく第1のデータを取得するデータ取得ステップと、監視領域のイベントの状態を、予め定められている検出条件に基づいて、データ取得ステップの処理により取得された第1のデータから検出するイベント検出ステップと、イベント検出ステップの処理により検出されたイベントの状態に基づき、イベントの通知を制御する通知制御ステップと、通知制御ステップの処理により通知するように制御されたイベントに関する第2のセンサによる監視領域の監視に基づき出力された第2のデータの呈示を制御する呈示制御ステップと、呈示制御ステップの処理による制御に基づき呈示された第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得ステップと、イベントの状態に基づくイベントの特徴を表わす特徴データ、および入力取得ステップの処理により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整ステップとを含むことを特徴とする。
本発明の第1のプログラムは、第1のセンサによる監視領域の監視に基づく第1のデータを取得するデータ取得ステップと、監視領域のイベントの状態を、予め定められている検出条件に基づいて、データ取得ステップの処理により取得された第1のデータから検出するイベント検出ステップと、イベント検出ステップの処理により検出されたイベントの状態に基づき、イベントの通知を制御する通知制御ステップと、通知制御ステップの処理により通知するように制御されたイベントに関する第2のセンサによる監視領域の監視に基づき出力された第2のデータの呈示を制御する呈示制御ステップと、呈示制御ステップの処理による制御に基づき呈示された第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得ステップと、イベントの状態に基づくイベントの特徴を表わす特徴データ、および入力取得ステップの処理により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整ステップとを含むことを特徴とする。
本発明の情報処理装置は、第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントの状態に基づくイベントの特徴を表わす特徴データを取得するとともに、イベントに関する第2のセンサにより出力されたデータを取得する第1の取得手段と、第1の取得手段により取得された第2のセンサにより出力されたデータの呈示を制御する呈示制御手段と、呈示制御手段による制御に基づき呈示された第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第2の取得手段と、第1の取得手段により取得されたイベントの特徴データ、および第2の取得手段により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整手段とを備えることを特徴とする。
検出条件を他の情報処理装置に送信する送信手段をさらに備えるようにすることができる。
イベントの特徴データ、および通知の必要性を評価する入力に基づき、イベントの通知の必要性を判定する判定情報を生成する判定情報生成手段をさらに備えるようにすることができる。
検出条件調整手段は、イベントに対する第2の取得手段により取得されたユーザからの通知の必要性の評価と、判定情報に基づくイベントに対する通知の必要性の判定の結果が不一致となった場合、検出条件を、第1のセンサにより監視領域の監視に基づき出力されたデータのより小さな変化から第1のセンサの状態が検出される条件に調整するようにすることができる。
判定情報を他の情報処理装置に送信する送信手段をさらに備えるようにすることができる。
第1の取得手段は、第1のセンサにより監視領域の監視に基づき出力された、イベントに関するデータをさらに取得し、検出条件調整手段は、イベントの特徴データおよび通知の必要性を評価する入力の他、イベントに関する第1のセンサが出力するデータに基づき、検出条件を調整するようにすることができる。
イベントの特徴データ、および通知の必要性を評価する入力に基づき、イベントの通知の必要性を判定する判定情報を生成する判定情報生成手段と、イベントに関する第1のセンサが出力するデータ、イベントの特徴データ、および通知の必要性を評価する入力を関連付けて蓄積する蓄積手段とをさらに備え、検出条件調整手段は、蓄積手段により蓄積されたイベントの特徴データおよび通知の必要性を評価する入力の他、蓄積手段により蓄積されたイベントに関する第1のデータに基づき、イベントに対する第2の取得手段により取得されたユーザからの通知の必要性の評価と、判定情報に基づくイベントに対する通知の必要性の判定の結果が一致するように検出条件を調整するようにすることができる。
検出条件調整手段は、蓄積手段により蓄積されたイベントに関する第1のセンサが出力するデータ、および検出条件調整手段により調整された検出条件に基づき、蓄積手段により蓄積されているイベントの特徴データを更新し、判定情報生成手段は、更新されたイベントの特徴データ、および蓄積手段により蓄積された通知の必要性を評価する入力に基づき、判定情報を生成するようにすることができる。
検出条件は、直近の所定の期間に第1のセンサにより出力されたデータの個数を比較するしきい値であり、検出条件調整手段は、しきい値を調整するようにすることができる。
本発明の第2の情報処理方法は、第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントに関する第2のセンサにより出力されたデータを取得する第1の取得ステップと、第1の取得ステップの処理により取得された第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップと、第1のセンサにより検出されたイベントの状態に基づくイベントの特徴を表わす特徴データを取得する第2の取得ステップと、呈示制御ステップの処理による制御に基づき呈示された第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第3の取得ステップと、第2の取得ステップの処理により取得されたイベントの特徴データ、および第3の取得ステップの処理により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整ステップとを含むことを特徴とする。
本発明の記録媒体に記録されている第2のプログラムは、第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントに関する第2のセンサにより出力されたデータを取得する第1の取得ステップと、第1の取得ステップの処理により取得された第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップと、第1のセンサにより検出されたイベントの状態に基づくイベントの特徴を表わす特徴データを取得する第2の取得ステップと、呈示制御ステップの処理による制御に基づき呈示された第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第3の取得ステップと、第2の取得ステップの処理により取得されたイベントの特徴データ、および第3の取得ステップの処理により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整ステップとを含むことを特徴とする。
本発明の第2のプログラムは、第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントに関する第2のセンサにより出力されたデータを取得する第1の取得ステップと、第1の取得ステップの処理により取得された第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップと、第1のセンサにより検出されたイベントの状態に基づくイベントの特徴を表わす特徴データを取得する第2の取得ステップと、呈示制御ステップの処理による制御に基づき呈示された第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第3の取得ステップと、第2の取得ステップの処理により取得されたイベントの特徴データ、および第3の取得ステップの処理により取得された通知の必要性を評価する入力に基づき、検出条件を調整する検出条件調整ステップとを含むことを特徴とする。
本発明の監視システム、第1の情報処理方法、記録媒体に記録されている第1のプログラム、およびの第1のプログラムにおいては、第1のセンサによる監視領域の監視に基づく第1のデータが取得され、監視領域のイベントの状態が、予め定められている検出条件に基づいて、第1のデータから検出され、イベントの状態に基づき、イベントの通知が制御され、通知するように制御されたイベントに関する第2のセンサによる監視領域の監視に基づき出力された第2のデータの呈示が制御され、呈示された第2のデータに対するユーザからの通知の必要性を評価する入力が取得され、イベントの状態に基づくイベントの特徴を表わす特徴データ、および通知の必要性を評価する入力に基づき、検出条件が調整される。
本発明の情報処理装置、第2の情報処理方法、記録媒体に記録されている第2のプログラム、およびの第2のプログラムにおいては、第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントに関する第2のセンサにより出力されたデータが取得され、第2のセンサにより出力されたデータの呈示が制御され、第1のセンサにより検出されたイベントの状態に基づくイベントの特徴を表わす特徴データが取得され、呈示された第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力が取得され、イベントの特徴データ、および通知の必要性を評価する入力に基づき、検出条件が調整される。
本発明によれば、イベントを通知することができる。特に、この発明によれば、ユーザが必要とするイベントの情報を、有効に活用することができる。その結果、ユーザに必要充分な量の情報を、簡単かつ確実に、少ない電力で提供することができる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現したり、追加される発明の存在を否定するものではない。
本発明によれば、監視システムが提供される。この監視システム(例えば、図1の監視システム10)は、監視領域の監視に基づく第1のデータ(例えば、センサデータ)を出力する第1のセンサ(例えば、図4のマイクロ波センサ22)と、監視領域の監視に基づく第2のデータ(例えば、通知画像データ)を出力する第2のセンサ(例えば、図4のCCDカメラ21)と、監視領域のイベントの状態(例えば、状態番号およびその継続時間)を、予め定められている検出条件(例えば、判定規範)に基づいて、前記第1のセンサにより出力された前記第1のデータから検出するイベント検出手段(例えば、図4の状態記述部41)と、前記イベント検出手段により検出された前記イベントの状態に基づき、前記イベントの通知を制御する通知制御手段(例えば、図4のイベント通知判定部42)と、前記通知制御手段により通知するように制御された前記イベントに関する前記第2のセンサにより出力された前記第2のデータの呈示を制御する呈示制御手段(例えば、図5の呈示画像構築部52)と、前記呈示制御手段による制御に基づき呈示された前記第2のデータに対するユーザからの通知の必要性を評価する入力(例えば、ユーザフィードバック入力)を取得する入力取得手段(例えば、図5の入力部83)と、前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ(例えば、図12の状態記述データ151)、および前記入力取得手段により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整手段(例えば、判定規範学習部55)とを備える。
この監視システム(例えば、図1の監視システム10)においては、前記イベントの状態、および前記通知の必要性を評価する入力に基づき、前記イベントの通知の必要性を判定する判定情報(例えば、図16の通知判定テーブル161)を生成する判定情報生成手段(例えば、図5の通知判定テーブル更新部54)をさらに備え、前記通知制御手段は、前記判定情報に基づき、前記イベントの通知を制御するようにすることができる。
この監視システム(例えば、図1の監視システム10)においては、前記検出条件調整手段は、前記イベントに対する前記入力取得手段により取得されたユーザからの通知の必要性の評価(例えば、通知が必要か否かの評価)と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果(例えば、通知が必要か否かの判定結果)が不一致となった場合、前記検出条件を、前記第1のセンサにより出力された前記第1のデータのより小さな変化から前記第1のセンサの状態が検出される条件に調整するようにすることができる。
この監視システム(例えば、図1の監視システム10)においては、前記イベントに関する前記第1のデータ、前記イベントの特徴データ、および前記通知の必要性を評価する入力を関連付けて蓄積する蓄積手段(例えば、図5の状態記述データ蓄積部53)をさらに備え、前記検出条件調整手段は、前記蓄積手段により蓄積された前記イベントの特徴データおよび前記通知の必要性を評価する入力の他、前記蓄積手段により蓄積された前記イベントに関する前記第1のデータに基づき、前記イベントに対する前記入力取得手段により取得されたユーザからの通知の必要性の評価(例えば、通知が必要か否かの評価)と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果(例えば、通知が必要か否かの判定結果)が一致するように前記検出条件を調整するようにすることができる。
この監視システム(例えば、図1の監視システム10)においては、前記第1のセンサ、前記第2のセンサ、前記イベント検出手段、前記呈示制御手段、前記入力取得手段、および前記検出条件調整手段は、第1の情報処理装置(例えば、図1のマルチセンサカメラ1)および第2の情報処理装置(例えば、図1の処理ボックス2)のいずれかに分離して配置されるようにすることができる。
この監視システム(例えば、図1の監視システム10)においては、前記検出条件は、直近の所定の期間(バッファサイズ)に前記第1のセンサにより出力された前記第1のデータの個数を比較するしきい値(反応しきい値)であり、前記検出条件調整手段は、前記しきい値を調整するようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、第1のセンサ(例えば、図4のマイクロ波センサ22)による監視領域の監視に基づく第1のデータ(例えば、センサデータ)を取得するデータ取得ステップ(例えば、図19のステップS2)と、監視領域のイベントの状態(例えば、状態番号およびその継続時間)を、予め定められている検出条件(例えば、判定規範)に基づいて、前記データ取得ステップの処理により取得された前記第1のデータから検出するイベント検出ステップ(例えば、図19のステップS3)と、前記イベント検出ステップの処理により検出された前記イベントの状態に基づき、前記イベントの通知を制御する通知制御ステップ(例えば、図19のステップS9)と、前記通知制御ステップの処理により通知するように制御された前記イベントに関する第2のセンサ(例えば、図4のCCDカメラ21)による監視領域の監視に基づき出力された第2のデータ(例えば、通知画像データ)の呈示を制御する呈示制御ステップ(例えば、図23のステップS53)と、前記呈示制御ステップの処理による制御に基づき呈示された前記第2のデータに対するユーザからの通知の必要性を評価する入力(例えば、ユーザフィードバック入力)を取得する入力取得ステップ(例えば、図29のステップS253)と、前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ(例えば、図12の状態記述データ151)、および前記入力取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップ(例えば、図24のステップS69)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、第1のセンサ(例えば、図4のマイクロ波センサ22)による監視領域の監視に基づく第1のデータ(例えば、センサデータ)を取得するデータ取得ステップ(例えば、図19のステップS2)と、監視領域のイベントの状態(例えば、状態番号およびその継続時間)を、予め定められている検出条件(例えば、判定規範)に基づいて、前記データ取得ステップの処理により取得された前記第1のデータから検出するイベント検出ステップ(例えば、図19のステップS3)と、前記イベント検出ステップの処理により検出された前記イベントの状態に基づき、前記イベントの通知を制御する通知制御ステップ(例えば、図19のステップS9)と、前記通知制御ステップの処理により通知するように制御された前記イベントに関する第2のセンサ(例えば、図4のCCDカメラ21)による監視領域の監視に基づき出力された第2のデータ(例えば、通知画像データ)の呈示を制御する呈示制御ステップ(例えば、図23のステップS53)と、前記呈示制御ステップの処理による制御に基づき呈示された前記第2のデータに対するユーザからの通知の必要性を評価する入力(例えば、ユーザフィードバック入力)を取得する入力取得ステップ(例えば、図29のステップS253)と、前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ(例えば、図12の状態記述データ151)、および前記入力取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップ(例えば、図24のステップS69)とを含む。
本発明によれば、情報処理装置が提供される。この情報処理装置(例えば、図1の処理ボックス2)は、第1のセンサ(例えば、図4のマイクロ波センサ22)の監視領域の監視により、予め定められている検出条件(例えば、判定規範)に基づき検出されたイベントの状態(例えば、状態番号およびその継続時間)に基づく前記イベントの特徴を表わす特徴データ(例えば、図12の状態記述データ151)を取得するとともに、前記イベントに関する第2のセンサ(例えば、図4のCCDカメラ21)により出力されたデータ(例えば、通知画像データ)を取得する第1の取得手段(例えば、図5の受信部51)と、前記第1の取得手段により取得された前記第2のセンサにより出力されたデータの呈示を制御する呈示制御手段(例えば、図5の呈示画像構築部52)と、前記呈示制御手段による制御に基づき呈示された前記第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力(例えば、ユーザフィードバック入力)を取得する第2の取得手段(例えば、図5の受信部58)と、前記第1の取得手段により取得された前記イベントの特徴データ、および前記第2の取得手段により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整手段(例えば、判定規範学習部55)とを備える。
この情報処理装置(例えば、図1の処理ボックス2)は、前記検出条件を他の情報処理装置(例えば、図1のマルチセンサカメラ1)に送信する送信手段(例えば、図5の送信部56)をさらに備えるようにすることができる。
この情報処理装置(例えば、図1の処理ボックス2)は、前記イベントの特徴データ、および前記通知の必要性を評価する入力に基づき、イベントの通知の必要性を判定する判定情報(例えば、図16の通知判定テーブル161)を生成する判定情報生成手段(例えば、図5の通知判定テーブル更新部54)をさらに備えるようにすることができる。
この情報処理装置(例えば、図1の処理ボックス2)においては、前記検出条件調整手段は、前記イベントに対する前記第2の取得手段により取得されたユーザからの通知の必要性の評価(例えば、通知が必要か否かの評価)と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果(例えば、通知が必要か否かの判定結果)が不一致となった場合、前記検出条件を、前記第1のセンサにより監視領域の監視に基づき出力されたデータ(例えば、センサデータ)のより小さな変化から前記第1のセンサの状態が検出される条件に調整するようにすることができる。
この情報処理装置(例えば、図1の処理ボックス2)は、前記判定情報を他の情報処理装置(例えば、図1のマルチセンサカメラ1)に送信する送信手段(例えば、図5の送信部56)をさらに備えるようにすることができる。
この情報処理装置(例えば、図1の処理ボックス2)においては、前記イベントの特徴データ、および前記通知の必要性を評価する入力に基づき、イベントの通知の必要性を判定する判定情報(例えば、図16の通知判定テーブル161)を生成する判定情報生成手段(例えば、図5の通知判定テーブル更新部54)と、前記イベントに関する前記第1のセンサが出力するデータ、前記イベントの特徴データ(例えば、図12の状態記述データ151)、および前記通知の必要性を評価する入力を関連付けて蓄積する蓄積手段(例えば、図5の状態記述データ蓄積部53)とをさらに備え、前記検出条件調整手段は、前記蓄積手段により蓄積された前記イベントの特徴データおよび前記通知の必要性を評価する入力の他、前記蓄積手段により蓄積された前記イベントに関する前記第1のデータに基づき、前記イベントに対する前記第2の取得手段により取得されたユーザからの通知の必要性の評価(例えば、通知が必要か否かの評価)と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果(例えば、通知が必要か否かの判定結果)が一致するように前記検出条件を調整するようにすることができる。
この情報処理装置(例えば、図1の処理ボックス2)においては、前記検出条件は、直近の所定の期間(バッファサイズ)に前記第1のセンサにより出力されたデータの個数を比較するしきい値(反応しきい値)であり、前記検出条件調整手段は、前記しきい値を調整するようにすることができる。
本発明によれば、情報処理方法が提供される。この情報処理方法は、第1のセンサ(例えば、図4のマイクロ波センサ22)の監視領域の監視により、予め定められている検出条件(例えば、判定規範)に基づき検出されたイベントに関する第2のセンサ(例えば、図4のCCDカメラ21)により出力されたデータ(例えば、通知画像データ)を取得する第1の取得ステップ(例えば、図23のステップS57)と、前記第1の取得ステップの処理により取得された前記第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップ(例えば、図23のステップS53)と、前記第1のセンサにより検出された前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ(例えば、図12の状態記述データ151)を取得する第2の取得ステップ(例えば、図23のステップS58)と、前記呈示制御ステップの処理による制御に基づき呈示された前記第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力(例えば、ユーザフィードバック入力)を取得する第3の取得ステップ(例えば、図23のステップS61)と、前記第2の取得ステップの処理により取得された前記イベントの特徴データ、および前記第3の取得ステップ(例えば、図23のステップS61)の処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップ(例えば、図24のステップS69)とを含む。
本発明によれば、プログラムが提供される。このプログラムは、第1のセンサ(例えば、図4のマイクロ波センサ22)の監視領域の監視により、予め定められている検出条件(例えば、判定規範)に基づき検出されたイベントに関する第2のセンサ(例えば、図4のCCDカメラ21)により出力されたデータ(例えば、通知画像データ)を取得する第1の取得ステップ(例えば、図23のステップS57)と、前記第1の取得ステップの処理により取得された前記第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップ(例えば、図23のステップS53)と、前記第1のセンサにより検出された前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ(例えば、図12の状態記述データ151)を取得する第2の取得ステップ(例えば、図23のステップS58)と、前記呈示制御ステップの処理による制御に基づき呈示された前記第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力(例えば、ユーザフィードバック入力)を取得する第3の取得ステップ(例えば、図23のステップS61)と、前記第2の取得ステップの処理により取得された前記イベントの特徴データ、および前記第3の取得ステップ(例えば、図23のステップS61)の処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップ(例えば、図24のステップS69)とを含む。
以下、図を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用した監視システム10の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ1が備えられており、図中右側の通知・呈示側に、処理ボックス2、呈示部3、および、処理ボックス2を遠隔操作するためのリモートコントローラ4が備えられている。マルチセンサカメラ1と処理ボックス2は、無線アンテナ1Aと無線アンテナ2Aを介して、相互に無線通信を行なう。処理ボックス2とリモートコントローラ4は、相互に無線通信あるいは赤外線通信を行う。処理ボックス2と呈示部3は、バスなどの有線あるいは無線により接続されている。なお、マルチセンサカメラ1と処理ボックス2は、無線通信に限られるものではなく、有線による通信であってもよい。
マルチセンサカメラ1は、イベントを監視したい領域(必要な場所)に設置されている。マルチセンサカメラ1には、例えば、図2に示されるように、CCD(Charge Coupled Device)カメラ21、およびマイクロ波センサ22が設けられており、各センサは、図示せぬバッテリにより駆動される。
CCDカメラ21は、監視領域(視野角)内の状況を随時撮影する。その詳細は後述するが、マルチセンサカメラ1は、マイクロ波センサ22で検出されたイベントに基づいて、イベントデータを通知するか否かを判定し、イベントデータを通知すると判定した場合、CCDカメラ21で撮影された画像データ(イベントデータ)を処理ボックス2に送信する。
マイクロ波センサ22は、マイクロ波を発生し、図3に示されるように、自己が監視することが可能な領域31内に照射しており、そのマイクロ波が人物(監視対象)に当たって反射されたときの反射波を検知し、反射波が基準の位相より進んでいるか、または遅れているかを表わすセンサデータを生成する。この位相の進みと遅れは、ドップラ効果によるものであり、物体の接近または離反に対応している。以下、マイクロ波センサ22が監視することが可能な領域31を、単に、監視領域31と記載する。
図1の説明に戻る。マルチセンサカメラ1は、イベントを通知すると判定した場合、無線アンテナ1Aを介して、イベント呈示に必要なデータを処理ボックス2に送信する。
処理ボックス2は、マルチセンサカメラ1から送信されてきたイベント呈示に必要なデータを、無線アンテナ2Aを介して受信し、その受信データに基づいて呈示画像および音声を構築し、呈示部3およびリモートコントローラ4に供給または送信して、イベントを呈示させる。
呈示部3は、例えば、一般のテレビジョン受像機とされ、イベントが発生していない場合(通常の場合)、一般の視聴信号(放送信号に基づく映像)を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部3は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。
ユーザは、呈示部3に呈示されたイベントに対して、判断を行ない、その判断の結果に基づいて、リモートコントローラ4から各種指令を入力することができる。例えば、いま発生したイベントを今後も知らせて欲しいときは、その旨を、OKボタン(図示せず)を操作し、いま発生したイベントを今後は知らせなくてもよいときは、その旨を、NGボタン(図示せず)を操作して指示入力することができる。このユーザからの判断の入力に基づいて、処理ボックス2で作成される、イベントを通知するか否かを判定する際に用いられる通知判定テーブル(図16を参照して後述する)が時間とともに変化するため、ユーザが監視システム10を使用する度にユーザが意図するイベントのみが検知され、通知されるようになる。
またマルチセンサカメラ1に搭載されるCCDカメラ21は、イベントを通知すると判定された場合にのみ動作するため、無駄な消費電力を抑えることができる。
図4と図5は、図1の監視システム10の機能的構成例を示すブロック図である。図4は、図1に示した監視システム10のマルチセンサカメラ1の機能的構成例を示すブロック図であり、図5は、図1に示した監視システム10の処理ボックス2、呈示部3およびリモートコントローラ4の機能的構成例を示すブロック図である。
まず、図4を参照して、監視システム10のマルチセンサカメラ1の機能的構成例について説明する。
マルチセンサカメラ1のCCDカメラ21は、監視領域内の状況を随時撮影し、画像信号を通知画像データとしてスイッチ44を介して送信部46に供給する。
マイクロ波センサ22は、監視領域31(図3)内にマイクロ波を照射しており、接近の反応を表わすセンサデータおよび離反の反応を表わすセンサデータをマイクロ波センサデータとして状態記述部41に供給する。
ここで、図6乃至図9を参照して、マイクロ波センサ22の原理について説明する。
図6と図7は、マイクロ波センサ22が出力するセンサデータの例を説明する図である。
図6は、マイクロ波センサ22の監視領域31内において、人物91−1,91−2が、それぞれ、図中矢印で示されるように、マイクロ波センサ22に接近または離反している様子を模式的に示している。マイクロ波センサ22は、常時、監視領域31内にマイクロ波を照射しており、図6に示されるように、センサを中心とした円周に対し人物91−1がほぼ垂直に接近するように行動した場合、それに対応して、例えば、図7Aに示されるような接近の反応を表わすセンサデータ(以下、接近反応データと称する)101を出力する。またマイクロ波センサ22は、センサを中心とした円周に対し人物91−2がほぼ垂直に離反するように行動した場合、それに対応して、例えば、図7Bに示されるような離反の反応を表わすセンサデータ(以下、離反反応データと称する)102を出力する。同図において、縦軸はマイクロ波センサ22が出力するセンサデータの出力レベルを表わし、横軸は時間を表わしている。なお、接近反応データ101および離反反応データ102は、いずれも2値出力とされる。
図8は、マイクロ波センサ22が出力するセンサデータの他の例を説明する図である。
図8Aは、マイクロ波センサ22の監視領域31内において、人物91が、センサを中心とした円周上を、図中矢印で示される方向に行動している様子を模式的に示している。上述したように、マイクロ波センサ22は、常時、監視領域31内にマイクロ波を照射しており、図8Aに示されるように、センサを中心とした円周上を人物91が移動した場合、それに対応して、例えば、図8Bに示されるようなセンサデータを出力する。この例の場合、接近反応データ101および離反反応データ102が不規則に出力されている(不安定な反応のセンサデータが出力されている)。
図9は、マイクロ波センサ22が出力するセンサデータの他の例を説明する図である。
図9Aは、マイクロ波センサ22の監視領域31内において、人物91が、センサを中心とした円周上付近を、図中矢印で示されるように、円の接線に平行な方向に移動している様子を模式的に示している。上述したように、マイクロ波センサ22は、常時、監視領域31内にマイクロ波を照射しており、図9Aに示されるように、センサを中心とした円の接線付近を人物91が移動した場合、それに対応して、例えば、図9Bに示されるようなセンサデータを出力する。この例の場合、円周の接点Sより手前(接点Sを通過する前)では接近反応データ101が出力され、円周の接点S付近では接近反応データ101および離反反応データ102の両方が出力され(不安定な反応のセンサデータが出力され)、円周の接点Sより先(接点Sを通過した後)では離反反応データ102が出力されている。
また図示は省略するが、人物91が円周の接点Sより離れていく(マイクロ波センサ22から遠ざかる)に従って、マイクロ波センサ22が出力するセンサデータは不安定な反応となり、最終的には無反応となる。
図4の説明に戻る。状態記述部41は、マイクロ波センサ22から供給されたマイクロ波センサデータに基づいて、監視領域内における人物91の一連の行動(センサ反応)の状態に関するデータ(以下、状態記述データと称する)を記述し、それをイベント通知判定部42に供給するとともに、スイッチ43を介して送信部46に供給する。
ここで、図10乃至図15を参照して、状態記述部41により記述される状態記述データについて説明する。
図6乃至図9を参照して説明したとおり、マイクロ波センサ22から出力されるセンサデータを短時間で観測した場合、その信頼度が低い。例えば、センサデータが接近反応であったとしても、それが安定的に接近している移動の一部に応じて出力されたものであるのか、あるいは、不安定な反応の一部であるのかを区別することができず、人物91の行動を推定することが困難である。そこで、マイクロ波センサ22から出力されるセンサデータをある程度の長さの時間で観測する(ある程度の長さの期間に出力された接近反応データ101または離反反応データ102の出力数によりマイクロ波センサ22の状態を判定する)必要がある。
状態記述部41は、図示せぬバッファを持ち、マイクロ波センサ22から供給されたセンサデータをバッファに蓄積する。そのバッファ内に蓄積されているマイクロ波センサデータのうち、直近の所定の期間(以下、バッファサイズと称する)に蓄積された接近反応データ101の個数および離反反応データ102の個数が、所定のしきい値(以下、他のしきい値と区別するために、反応しきい値と称する)以上か否かを判定することにより、マイクロ波センサ22が接近反応しているか、あるいは離反反応しているかを判定する。以下、マイクロ波センサ22の反応を判定するためのバッファサイズと反応しきい値をまとめて判定規範と称する。この判定規範は、監視領域にイベントが発生したことを検出するための検出条件であり、ユーザからのフィードバックを反映することにより、より正確なイベントの検出が可能になる。
図10は、状態記述部41に入力されるマイクロ波センサ22のセンサデータの例を示す図である。矢印111で示される期間をバッファサイズとし、状態記述部41は、状態記述部41のバッファ内に離反反応データ102が入力された時点でマイクロ波センサ22の反応を判定する場合、矢印111で示される期間にバッファに蓄積されたマイクロ波センサデータの個数に基づき、マイクロ波センサ22の反応を判定する(以下、マイクロ波センサ反応判定処理と称する)。この場合、矢印111で示される期間にバッファに蓄積された接近反応データ101の個数は4であり、離反反応データ102の個数は2である。従って、例えば反応しきい値を3とした場合、接近反応データ101の個数4が反応しきい値3を超えており、状態記述部41は、マイクロ波センサ22が接近反応していると判定する。
図11は、状態記述部41により求められるマイクロ波センサ22の検出状態を表わす番号(以下、状態番号と称する)を示す図である。状態番号は、図10を参照して上述したマイクロ波センサ反応判定処理により、マイクロ波センサ22が接近反応していると判定された場合、状態番号1とされ、マイクロ波センサ22が離反反応していると判定された場合、状態番号2とされ、マイクロ波センサ22が接近反応も離反反応もしていないと判定された場合、状態番号0とされる。
直近のバッファサイズの期間に状態記述部41のバッファ内に蓄積された接近反応データ数および離反反応データ数がともに反応しきい値以上となり、マイクロ波センサ反応判定処理により、接近反応と離反反応の両方の反応をしていると判定された場合、直近の反応(直近にマイクロ波センサ22から出力されたデータの種類)に従い状態番号が決められる。状態番号は、マイクロ波センサ22が、直近に接近反応した(直近に接近反応データ101が出力された)場合、状態番号1とされ、直近に離反反応した(直近に離反反応データ102が出力された)場合、状態番号2とされる。
状態番号の継続時間は、状態番号1の場合、状態記述部41のマイクロ波センサ反応判定処理により接近反応の判定が継続している時間とされ、状態番号2の場合、離反反応の判定が継続している時間とされる。
図12は状態記述データの例を示している。
状態記述部41は、図10と図11を参照して説明した状態番号を、マイクロ波センサ22の状態として記述する。その際、状態記述部41は、マイクロ波センサ22の接近反応の判定が継続している時間、あるいは離反反応の判定が継続している時間を、それぞれの状態番号の状態の継続時間として記述する。
すなわち、状態記述部41は、マイクロ波センサ22に関する状態を表わす状態番号およびその継続時間を1単位とし、それを時間軸方向に連続的に並べたものを状態記述データ151−1乃至151−n(以下、状態記述データ151−1乃至151−nを個々に区別する必要がない場合、単に状態記述データ151と称する)として記述する。
図13は、人物91が、マイクロ波センサ22の監視領域31を、図中矢印で示す方向にマイクロ波センサ22に対してほぼ水平に横断する様子を模式的に示している。このとき、マイクロ波センサ22は、図14に示されるように、人物91が監視領域31に侵入し、マイクロ波センサ22の正面(図中、マイクロ波センサ22から上方向に引いた点線)に到達するまでのT1秒の期間、接近近反応データ101を出力し、人物91が点線の矢印を超えて監視領域31から退出するまでのT2秒の期間、離反反応データ102を出力する。この場合、状態記述部41により、接近反応データ101に基づき、マイクロ波センサ22がT1秒間接近反応していると判定され、離反反応データ102に基づき、マイクロ波センサ22がT2秒間離反反応していると判定され、この人物91の行動(イベント)に関する状態記述データは、図15に示されるように、状態番号1と継続時間T1が記述された状態記述データ151−1、状態番号2と継続時間T2が記述された状態記述データ151−2の順に記述される。
このように、状態記述データは、監視領域において発生したイベントの特徴を表わすデータであり、以上の状態記述部41による状態データ記述処理により、マイクロ波センサ22の反応がある程度の長さの期間(バッファサイズ)を単位として観測され、その期間より短い期間にマイクロ波センサ22から出力される不安定なセンサデータは無視される(マイクロ波センサ22が反応していないとして処理される)。また、マイクロ波センサ22の検出状態が、簡単にパターン化され、グループ化、同一性の判定が容易になる。
図4の説明に戻る。状態記述部41は、図26を参照して後述する判定規範学習処理により調整された判定規範を、受信部47を介して処理ボックス2から受信し、その判定規範に基づき、上述した状態記述データ151の記述処理を行なう。
イベント通知判定部42は、状態記述部41から供給された状態記述データ151(図12)と、受信部47を介して処理ボックス2から受信した通知判定テーブル(図16を参照して後述する)に基づき、図17を参照して後述するイベント通知判定処理を実行し、イベントを通知すると判定した場合、通知イベント発生信号を送信部46に供給するとともに、CCDカメラ21に電源制御信号を供給してその電源をオンさせ、スイッチ43に状態記述データ送信制御信号を供給してオンさせ、スイッチ44に通知画像送信制御信号を供給してオンさせる。これにより、CCDカメラ21から出力された通知画像データが、スイッチ44を介して送信部46に供給され、状態記述部41から出力された状態記述データ151がスイッチ43を介して送信部46に供給される。
また、処理ボックス2により判定規範学習処理が行なわれている期間(以下、判定規範学習期間と称する)中は、イベント通知判定部42は、イベントを通知すると判定した場合、スイッチ45にセンサデータ送信制御信号を供給してオンさせ、マイクロ波センサ22からセンサデータがスイッチ45を介して送信部46に供給される。
なお、判定規範学習期間中は、イベント通知判定部42は、通常のイベント通知判定処理によらず、マイクロ波センサ22から接近反応データ101あるいは離反反応データ102が出力されたと判定された時点から、上述したイベントの通知処理を行なう。
イベント通知判定部42は、判定規範学習期間終了時に、受信部47を介して処理ボックス2から判定規範確定通知を受信し、判定規範学習期間の終了を認識する。
ここで、図16と図17を参照して、通知判定テーブルとイベント通知判定処理の例について説明する。
まず、図16を参照して、通知判定テーブルの例について説明する。
通知判定テーブルは、ユーザに通知が不要なイベントのパターンが登録されているテーブルである。同図に示されるように、マイクロ波センサ22の状態番号、およびその状態番号における継続時間の最小値および最大値が1つの状態記述データに規定される。この状態記述データ171−1乃至171−mからなる人物の行動が1つの通知判定テーブルに規定される。そして、通知判定テーブル161−1乃至161−nからなる通知判定テーブル群が、図5の処理ボックス2の通知判定テーブル更新部54で作成および更新され、イベント通知判定部42に供給される。
以下、状態記述データ171−1乃至171−mを個々に区別する必要がない場合、単に状態記述データ171と称し、通知判定テーブル161−1乃至161−nを個々に区別する必要がない場合、単に通知判定テーブル161と称する。また、後述する図18の仮通知判定テーブル蓄積部215に蓄積される仮の通知判定テーブルは、以上で説明した通知判定テーブル161と同じ形式であり、以下の説明では、図16は、仮の通知判定テーブルとしても引用する。
次に、図17を参照して、イベント通知判定処理の例について説明する。
図17に示されるように、通知が必要か否かを判定されるイベントの状態記述データに、状態番号1および継続時間T1からなる状態記述データ151−1と、状態番号2および継続時間T2からなる状態記述データ151−2が記述されている場合、状態番号1、状態番号2の順のパターンと、通知判定テーブル161(図16)の状態記述データ171に含まれる状態番号のパターンが比較され、一致するものがなければ、そのイベントは通知判定テーブル161に規定されているイベントではない(通知イベントである)と判定される。
これに対し、状態番号1、状態番号2のパターンに一致する通知判定テーブル161がある場合、図17に示されるように、状態記述データ151−1の継続時間T1が、通知判定テーブル161の状態記述データ171−1の継続時間最小値Tmin1と継続時間最大値Tmax1の範囲内におさまっている(Tmin1≦T1≦Tmax1)か否か、また、状態記述データ151−2の継続時間T2が、通知判定テーブル161の状態記述データ171−2の継続時間最小値Tmin2と継続時間最大値Tmax2の範囲内におさまっている(Tmin2≦T2≦Tmax2)か否かの判定が行われ、少なくともいずれか一方が、その範囲内におさまっていなければ、そのイベントは通知判定テーブル161に規定されているイベントではない(通知イベントである)と判定される。
これに対して、状態記述データ151−1の継続時間T1が、通知判定テーブル161の状態記述データ171−1の継続時間最小値Tmin1と継続時間最大値Tmax1の範囲内におさまっており(Tmin1≦T1≦Tmax1)、かつ、状態記述データ151−2の継続時間T2が、通知判定テーブル161の状態記述データ171−2の継続時間最小値Tmin2と継続時間最大値Tmax2の範囲内におさまっていれば(Tmin2≦T2≦Tmax2)、そのイベントは通知判定テーブル161に規定されているイベントである(非通知イベントである)と判定される。
図4の説明に戻る。送信部46は、処理ボックス2に対し、イベント通知判定部42から供給された通知イベント発生信号を送信するとともに、CCDカメラ21から供給された通知画像データおよび状態記述部41から供給された状態記述データ151を送信する。
また、判定規範学習期間中は、送信部46は、処理ボックス2に対し、マイクロ波センサ22から供給されたセンサデータを送信する。
受信部47は、処理ボックス2から送信されてきた通知判定テーブル161と判定規範確定通知を受信し、それをイベント通知判定部42に供給する。また、受信部47は、処理ボックス2から送信されてきた判定規範を受信し、状態記述部41に供給する。
次に、図5を参照して、図1に示した監視システム10の処理ボックス2、呈示部3およびリモートコントローラ4の機能的構成例について説明する。
処理ボックス2の受信部51は、マルチセンサカメラ1から送信されてきた通知画像データおよび通知イベント発生信号を受信すると、これらを呈示画像構築部52に供給する。また受信部51は、マルチセンサカメラ1から送信されてきた状態記述データ151を状態記述データ蓄積部53に供給し、そこに蓄積させる。
さらに、判定規範学習期間中は、受信部51は、マルチセンサカメラ1から送信されてきたマイクロ波センサ22のセンサデータを状態記述データ蓄積部53に供給し、蓄積させる。
呈示画像構築部52は、受信部51を介してマルチセンサカメラ1からイベントが通知された場合、一般視聴信号(テレビジョン放送信号)の一部に通知画像データを挿入した通知データを構築(作成)し、それを呈示部3に供給して呈示させる。また、呈示画像構築部52は、通知画像データにより構成される(一般視聴信号を含まない)リモートコントローラ4用の通知データを構築し、送信部57に供給する。なお、呈示画像構築部52は、イベントが通知されていない場合(通常の場合)、一般の視聴信号(放送信号に基づく映像)を呈示部3に供給して呈示させる。
呈示部3用の通知データは、一般の視聴信号の一部に通知画像データを挿入して構成されているため、呈示部3には、ピクチャインピクチャの表示が呈示される。また、リモートコントローラ4用の通知データは、通知画像データから構成されているため、リモートコントローラ4の呈示部82には、イベントを表わす表示(例えば、監視している場所の画像)のみが呈示される。
通知判定テーブル更新部54は、受信部58を介してリモートコントローラ4からユーザフィードバック(FB)に関する信号(以下、適宜、ユーザFB信号と称する)を受信した場合、そのユーザフィードバックを状態記述データ蓄積部53に供給し、そこに蓄積させる。また通知判定テーブル更新部54は、状態記述データ蓄積部53に蓄積されている状態記述データ151とそれに対応するユーザフィードバックを読み込み、それらと通知判定テーブル161を比較し、比較の結果に基づいて通知判定テーブル161を更新する。そして、通知判定テーブル更新部54は、以前にマルチセンサカメラ1に送信した通知判定テーブル161と異なる場合、新しい通知判定テーブル161を送信部56に供給する。
ここで、ユーザフィードバックとは、ユーザが、呈示されたイベントに対して、判断を行ない、リモートコントローラ4の入力部83を用いて入力されたユーザの判断入力を意味する。例えば、ユーザは、イベントを今後も知らせて欲しい場合には、入力部83のOKボタン(図示せず)を操作し、今後はイベントとして検出しなくてもよい場合には、NGボタン(図示せず)を操作することで、ユーザフィードバックとして入力することができる。
状態記述データ蓄積部53は、受信部51から状態記述データ151が供給されたときに、通知判定テーブル更新部54からユーザフィードバックが供給された場合、状態記述データ151とユーザフィードバックを対応付けて蓄積し、状態記述データ151またはユーザフィードバックのいずれか一方のみが供給された場合、新規の状態記述データ151または新規のユーザフィードバックとして蓄積する。
なお、判定規範学習期間中は、状態記述データ蓄積部53は、受信部51から供給されたマイクロ波センサ22のセンサデータを、状態記述データ151およびユーザフィードバックとともに蓄積する。
判定規範学習部55は、判定規範学習期間中に、受信部58を介してリモートコントローラ4から「OK(今後も通知して欲しい)」を示すユーザフィードバックを受信した場合、状態記述データ蓄積部53に蓄積されている過去のイベントのセンサデータ、状態記述データ151およびユーザフィードバックと、通知判定テーブル更新部54の過去通知判定テーブル蓄積部217(図18)に蓄積されている通知判定テーブル161を読み込み、判定規範学習処理を行なう。
上述した状態データ記述処理により、マイクロ波センサ22から出力される不安定なセンサデータが無視されるが、一方で、人物91の行動に対して出力されたセンサデータ(例えば、図8の人物91の行動に対するセンサデータ)を無視せずに、正確にマイクロ波センサ22の反応を検出できるように、判定規範が適切に設定される必要がある。また、人物91の動き(イベント)を、ユーザから「OK(今後も通知して欲しい)」と判断されたイベント(通知イベント)と、「NG(今後は通知しなくても良い)」と判断されたイベント(非通知イベント)を識別できる状態記述データ151が記述されるように、判定規範が適切に設定される必要がある。
本発明では、判定規範学習部55により行われる判定規範学習処理により、判定規範のうち反応しきい値を適切な値に調整して、マイクロ波センサ22の不安定な出力から、人物91の動き(イベント)に正確に対応したマイクロ波センサ22の状態番号を検出できるようにする。そして、ユーザから「OK」と判断されたイベント(通知イベント)と、「NG」と判断されたイベント(非通知イベント)を正確に識別できるようにする。なお、判定規範学習処理の詳細は図26を参照して後述する。
判定規範学習部55は、判定規範学習処理により調整した反応しきい値に基づき、状態記述データ蓄積部53に蓄積されている過去のイベントの状態記述データ151を更新して、蓄積させる。また、判定規範学習部55は、調整した反応しきい値をバッファサイズとともに、新しい判定規範として送信部56に供給する。また、判定規範学習部55は、判定規範学習処理が十分実行され、判定規範学習期間が終了したと判定した場合、判定規範確定通知を送信部56に供給する。
送信部56は、通知判定テーブル更新部54から供給された通知判定テーブル161、および判定規範学習部55から供給された判定規範と判定規範確定通知をマルチセンサカメラ1に送信する。送信部57は、呈示画像構築部52から供給された通知データをリモートコントローラ4に送信する。受信部58は、リモートコントローラ4から送信されてきたユーザFB信号を受信し、それを通知判定テーブル更新部54に供給する。
リモートコントローラ4の受信部81は、処理ボックス2から送信されてきた通知データを受信し、それを呈示部82に呈示させる。入力部83は、呈示されたイベントに対するユーザからの判断に基づく入力を受け、その入力(ユーザフィードバック)に関する信号を送信部84に供給する。送信部84は、入力部83から供給されたユーザFB信号を処理ボックス2に送信する。
ここで、ユーザフィードバックとは、上述したように、例えば、「今後も知らせて欲しいイベントである」、あるいは、「今後は知らせなくてよいイベントである」などのユーザによる判断(イベントに対する通知の必要性の評価)の入力を意味する。マルチセンサカメラ1と処理ボックス2は、このユーザフィードバックに基づいて、処理を変化させる。
図18は、図5の処理ボックス2の通知判定テーブル更新部54の詳細な構成例を示すブロック図である。
ユーザフィードバック(FB)判定部211は、状態記述データ蓄積部53に蓄積されている状態記述データ151(図12)とそれに対応するユーザフィードバックを読み込み、ユーザフィードバックが「OK」を示すデータであるか、または「NG」を示すデータであるかを判定し、判定結果を状態記述データ151とともに状態記述パターン比較部212に供給する。
状態記述パターン比較部212は、ユーザフィードバック判定部211から供給された状態記述データ151に含まれる状態番号のパターンと、仮通知判定テーブル蓄積部215に蓄積されている全ての仮の通知判定テーブル161の状態記述データ171に含まれる状態番号のパターンを比較する。状態記述パターン比較部212は、比較の結果、状態記述データ151と状態番号のパターンが一致する仮の通知判定テーブル161があれば、その仮の通知判定テーブル161と状態記述データ151を既存パターン更新部214に供給し、一致するものがなければ、状態記述データ151を新規パターン作成部213に供給する。
新規パターン作成部213は、状態記述パターン比較部212から供給された状態記述データ151に基づき、新規の通知判定テーブル161を作成し、仮通知判定テーブル蓄積部215に追加し、そこに蓄積させる。
既存パターン更新部214は、状態記述パターン比較部212から供給された仮の通知判定テーブル161を、状態記述データ151に基づき更新し、仮通知判定テーブル蓄積部215に供給し、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161を更新する。
仮通知判定テーブル蓄積部215は、新規パターン作成部213により追加された通知判定テーブル161、および既存パターン更新部214により更新された通知判定テーブル161を、仮の通知判定テーブル161として蓄積する。
テーブル比較部216は、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161と、過去通知判定テーブル蓄積部217に蓄積されている過去の通知判定テーブル161を比較し、同じではないと判定した場合、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161を、最新の通知判定テーブル161として送信部56を介してマルチセンサカメラ1に送信する。また、テーブル比較部216は、仮の通知判定テーブル161を過去通知判定テーブル蓄積部217に供給し、過去通知判定テーブル蓄積部217に蓄積されている過去の通知判定テーブル161を更新する。
過去通知判定テーブル蓄積部217は、テーブル比較部216により更新された通知判定テーブル161を過去の通知判定テーブル161として蓄積する。
次に、図19乃至図29を参照して、監視システム10により実行される処理を説明する。説明は、判定規範学習期間中に監視システム10により実行される処理、判定規範学習期間終了後に監視システム10により実行される処理の順に行なう。
まず、図19と図20を参照して、判定規範学習期間中に、マルチセンサカメラ1により実行される処理について説明する。なお、この処理は、ユーザにより、監視領域における監視が指令されたとき、開始される。
ステップS1において、マルチセンサカメラ1の初期化処理が行なわれる。具体的には、状態記述部41は、判定規範を初期値に設定する。イベント通知判定部42は、CCDカメラ21に電源制御信号を供給してその電源をオフさせ、イベント通知フラグおよび判定規範確定フラグをオフし、保持している通知判定テーブル161をクリアする。
ステップS2において、状態記述部41は、マイクロ波センサ22からセンサデータを取得する。
ステップS3において、状態記述部41は、ステップS2の処理で取得したセンサデータ、およびステップS1の処理で初期値に設定された判定規範に基づいて、監視領域内における、例えば人物91(監視対象としての動くもの)の一連の行動に関し、状態データ記述処理を行う。すなわち、状態記述部41は、図12を参照して説明したように、マイクロ波センサ22が人物91の接近を検出したとき、状態番号を1とし、離反を検出したとき、状態番号を2とし、それぞれに、その継続時間を対応付ける。このようにして記述された状態番号、および、反応継続時間を含む状態記述データ151が、イベント通知判定部42に出力される。
ステップS4において、イベント通知判定部42は、イベント通知フラグがオンである(通知イベント発生中である)か否かを判定し、イベント通知フラグがオンではなくオフである(通知イベント発生中ではない)と判定した場合、処理はステップS8に進む。最初は、ステップS1の処理でイベント通知フラグはオフされているので、処理はステップS8に進む。
ステップS8において、イベント通知判定部42は、判定規範確定フラグがオンか否かを判定する。いまの場合、判定規範学習期間中であり、判定規範確定フラグはオフされているので、処理はステップS13に進む。
ステップS13において、状態記述部41は、マイクロ波センサ22から接近反応データ101または離反反応データ102が出力されているか否かを判定する。判定規範確定フラグがオフの場合、状態記述部41は、反応しきい値を適用しない。すなわち、直近のバッファサイズで指定された期間中に、マイクロ波センサ22から出力された接近反応データ101または離反反応データ102の出力数が反応しきい値以下であっても、マイクロ波センサ22から接近反応データ101または離反反応データ102の少なくとも一方が、1回でも出力されていると判定された場合、処理はステップ14に進む。
ステップS14において、イベント通知判定部42は、CCDカメラ21に電源制御信号を供給してその電源をオンさせるとともに、イベント通知フラグをオンする。
ステップS15において、イベント通知判定部42は、送信部46を介して処理ボックス2に通知イベント発生信号を送信するとともに、通知画像送信制御信号をスイッチ44に供給してオンさせる。これにより、CCDカメラ21から処理ボックス2に対し、通知画像データ(CCDカメラ21が監視領域31を撮影して得たイベント画像)の送信が開始される。処理ボックス2は、この通知画像データを受信し、呈示部3に呈示させる(後述する図23のステップS53)。
ステップS16において、イベント通知判定部42は、センサデータ送信制御信号をスイッチ45に供給してオンさせる。これにより、マイクロ波センサ22から状態記述部41を介して処理ボックス2に対し、ステップS15において通知が開始されたイベントのセンサデータの送信が開始される。処理ボックス2は、このセンサデータを受信し、状態記述データ蓄積部53に蓄積させる(後述する図23のステップS55)。その後、処理はステップS17に進む。
ステップS13において、マイクロ波センサ22から接近反応データ101および離反反応データ102がともに出力されていないと判定された場合、ステップS14乃至S16の処理はスキップされ、処理はステップS17に進む。
ステップS13乃至S16の処理により、判定規範学習期間中は、監視領域31で発生した全てのイベントについて判定規範学習処理を行うため、イベント通知判定処理は行なわれずに、全てのイベントがユーザに通知される。
また、図10を参照して上述した判定規範に基づいたマイクロ波センサ反応判定処理の結果によらず、マイクロ波センサ22から接近反応データ101または離反反応データ102の少なくとも一方が、1回でも出力された時点で、イベントの通知およびセンサデータの送信が開始される。これは、以下の理由による。
例えば、図21において、マルチセンサカメラ1は、玄関251に正対した位置でかつ玄関251から比較的遠い位置に設置されているものとする。このとき、人物91が、図中矢印で示すように、玄関251の壁に沿って、マイクロ波センサ22の監視領域31内に侵入し、ドア252に近づいていき、ドア252の前で立ち止まり、ドア252の鍵を開け、ドア252を開き、玄関251の内部に入っていった場合、マイクロ波センサ22からは、図22に示すようなセンサデータが出力される。
図22に示されるように、人物91がドア252に近づいていく区間Aにおいて、マイクロ波センサ22から人物91までの距離が比較的遠いため、マイクロ波センサ22からパルス状の不安定な接近反応データ101−1が出力されている。人物91がドア252の前に立ち止まり鍵を開けている区間Bにおいて、マイクロ波センサ22から接近反応データ101および離反反応データ102ともに出力されていない。人物91がドア252を開ける区間Cにおいて、ドア252並びに人物91がマイクロ波センサ22に一時的に近づくため、マイクロ波センサ22から接近反応データ101−2が安定して出力される。人物91がドア252を閉め玄関251の内部に入っていく区間Dにおいて、ドア252と人物91がマイクロ波センサ22から遠ざかるため、マイクロ波センサ22から離反反応データ102が安定して出力されている。
後述する判定規範学習処理(図24のステップS69の処理)では、マイクロ波センサ22のセンサデータに基づき、判定規範のうち反応しきい値が調整され、調整された反応しきい値に基づき、過去のイベントの状態記述データ151が更新され、更新された状態記述データ151に基づき通知判定テーブル161が更新される。例えば、図21のイベントが発生した時点では、反応しきい値が大きくて、図22の区間Aの時点で、接近反応データ101−1からマイクロ波センサ22が反応していない(イベントが発生していない)と判定された場合でも、後で判定規範学習処理により反応しきい値が調整され、区間Aにおいてイベントが発生していると判定され、状態記述データが変更される場合がある。
そのため、判定規範学習期間中は、マイクロ波センサ反応判定処理により、マイクロ波センサ22が反応していないと判定されても(例えば、図22の区間Aにおいてマイクロ波センサ22が反応していないと判定されても)、マイクロ波センサ22から接近反応データ101または離反反応データ102が出力された(例えば、図22の区間Aにおける接近反応データ101−1が出力された)時点で、イベントの通知とセンサデータの送信が開始される。
なお、ステップS8において、判定規範フラグがオンであると判定された場合、ステップS9乃至S12の処理が実行されるが、判定規範フラグがオンであるということは、判定規範学習期間終了後ということなので、この場合の処理は後述する。
ステップS4において(ステップS14の処理でイベント通知フラグがオンとされ、後述するステップS21またはステップS22の処理を経て、ステップS2,S3の処理の後、再び行われるステップS4の処理において)、イベント通知フラグがオンである(通知イベント発生中である)と判定された場合、処理はステップS5に進み、イベント通知判定部42は、イベント終了であるか否かを判定する。判定規範学習期間中の場合、イベント通知判定部42は、状態記述部41に、マイクロ波センサ22から接近反応データ101および離反反応データ102がともに所定の期間出力されていないか否かを確認する。マイクロ波センサ22から接近反応データ101および離反反応データ102が所定の期間出力されていない場合、イベント通知判定部42は、イベントが終了したと判定し、処理はステップS6に進む。
マイクロ波センサ22から接近反応データ101および離反反応データ102がともに出力されていない期間が予め設定されている所定の期間継続してから、イベントが終了したと判定されるのは、例えば、図22の区間Bのようなマイクロ波センサ22からセンサデータが出力されていない比較的短い区間において、イベントが終了したと誤判定されるのを防止するためである。
ステップS6において、イベント通知判定部42は、CCDカメラ21に電源制御信号を供給してその電源をオフさせるとともに、イベント通知フラグをオフする。
ステップS7において、イベント通知判定部42は、状態記述データ送信制御信号をスイッチ43に供給してオンさせ、通知画像送信制御信号をスイッチ44に供給してオフさせる。これにより、ステップS3の処理で状態記述部41から出力された状態記述データ151がスイッチ43および送信部46を介して処理ボックス2に送信されるとともに、CCDカメラ21からスイッチ44および送信部46を介して処理ボックス2に送信されていた通知画像データ(イベント画像)の送信が停止される。処理ボックス2は、この状態記述データ151を受信し、状態記述データ蓄積部53に蓄積する(後述する図23のステップS60)。また、イベント通知判定部42は、センサデータ送信制御信号をスイッチ45に供給してオフさせ、マイクロ波センサ22から送信されていたセンサデータの送信が停止される。
ステップS5において、イベント終了ではないと判定された場合、ステップS6,S7の処理はスキップされ、処理はステップS17に進む。
ステップS17において、イベント通知判定部42は、受信部47を介して処理ボックス2より通知判定テーブル161を受信したか否かを判定する(後述する図24のステップS73の処理で送信される)。通知判定テーブル161を受信したと判定された場合、処理はステップS18に進み、イベント通知判定部42は、保持している通知判定テーブル161を、受信した通知判定テーブル161により更新する。処理ボックス2より通知判定テーブル161を受信していないと判定された場合、ステップS18の処理はスキップされ、処理はステップS19に進む。
判定規範学習期間中は、マルチセンサカメラ1において、イベント通知判定は行なわれないため、処理ボックス2から通知判定テーブル161は送信されない。通知判定テーブル161は、後述する図24のステップS72において、判定規範学習処理が十分行なわれた(判定規範学習期間が終了した)と判定された場合、後述する図24のステップS73において、処理ボックス2から送信され、受信部47を介して、イベント通知判定部42により受信される。
ステップS19において、状態記述部41は、受信部47を介して処理ボックス2より判定規範を受信したか否かを判定する。判定規範は、後述する図24のステップS69において判定規範学習処理が実行された後、図24のステップS70において、処理ボックス2から送信される。状態記述部41は、判定規範を受信したと判定した場合、ステップS20に進み、保持している判定規範を、受信した判定規範により更新する。
ステップS20において更新された判定規範は、ステップS3の状態データ記述処理に用いられる。後述する図24のステップS72において、処理ボックス2により判定規範学習処理が十分行なわれた(判定規範学習期間が終了した)と判定され、判定規範が確定されるまでは、図24のステップS69の判定規範学習処理により調整された判定規範が処理ボックス2から送信され、その判定規範に基づき、状態データ記述処理が行なわれる。
ステップS19において、処理ボックス2より判定規範を受信していないと判定された場合、または、ステップS20の処理の後、処理はステップS21に進む。
ステップS21において、イベント通知判定部42は、受信部47を介して処理ボックス2より判定規範確定通知を受信したか否かを判定する。判定規範確定通知は、後述する図24のステップS72において、判定規範学習処理が十分行なわれた(判定規範学習期間が終了した)と判定された場合、図24のステップS74において、処理ボックス2から送信される。判定規範学習期間中は、処理ボックス2より判定規範確定通知は送信されないため、処理はステップS2に戻り、上述した処理が繰り返し実行される。
なお、2回目以降のステップS3の処理において、先にステップS20の処理で判定規範が更新された場合、状態記述部41は、更新された判定規範に基づいて、監視領域内における、例えば人物91(監視対象としての動くもの)の一連の行動に関し、状態データ記述処理を行う。
後述する図24のステップS72において、判定規範学習処理が十分行なわれたと判定され、図24のステップS74において、処理ボックス2から判定規範確定通知が送信された場合、ステップS21において、判定規範確定通知を受信したと判定され、処理はステップS22に進む。ステップS22において、イベント通知判定部42は、判定規範確定フラグをオンして、処理はステップS2に戻り、それ以降、マルチセンサカメラ1では、後述する判定規範学習期間終了後の処理が繰り返される。
次に、図23と図24を参照して、図19と図20のマルチセンサカメラ1の判定規範学習期間中の処理に対応して実行される処理ボックス2における処理について説明する。なお、この処理は、ユーザにより、監視領域における監視をするよう指令されたとき開始される。あるいはまた、ユーザにより、呈示部3に対して一般視聴信号(放送番組信号)に対応する画像の呈示を行うよう指令されたとき、図23と図24の処理とともに自動的に実行させるようにしてもよい。
ステップS51において、処理ボックス2の初期化処理が行なわれる。具体的には、通知判定テーブル更新部54は、状態記述データ蓄積部53に蓄積されている状態記述データ151、および仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161をクリアするとともに、ユーザフィードバック受信フラグをオフする。受信部51は、イベント受信フラグ、および状態記述データ受信フラグをオフする。判定規範学習部55は、判定規範確定フラグをオフし、判定規範を初期化する。
ステップS52において、受信部51は、イベント受信フラグがオンである(通知イベント受信中である)か否かを判定し、イベント受信フラグがオフであると判定された場合(処理開始直後はこの判定結果となる)、ステップS56に進み、受信部51は、マルチセンサカメラ1から通知イベント発生信号および通知画像データを受信したか否かを判定し、通知イベント発生信号および通知画像データを受信したと判定した場合、ステップS57に進み、イベント受信フラグをオンし、状態記述データ受信フラグをオフする(ただし、最初の場合既にオフされている)。
ステップS52において、イベント受信フラグがオンであると判定した場合(ステップS57の処理が行われた後、後述するステップS66またはS79の処理を経て、再びステップS52の処理が行われた場合)、受信部51はステップS53において、マルチセンサカメラ1から送信されてきた(上述した図19のステップS15の処理により送信されてきた)通知画像データおよび通知イベント発生信号を呈示画像構築部52に供給する。
また、ステップS53において、呈示画像構築部52は、受信部51から供給された通知画像データを、呈示部3に供給される一般視聴信号の一部に挿入し、通知データ(ピクチャインピクチャで呈示するための画像データ)を構築し、それを呈示部3に供給し、呈示させる。また呈示画像構築部52は、リモートコントローラ4専用の通知データ(イベント画像を表示するための画像)を構築し、送信部57を介してリモートコントローラ4に送信する。リモートコントローラ4は、この通知データを受信し、呈示部82に呈示させる(後述する図29のステップS252)。このようにして、呈示部3と呈示部82にイベント画像が表示される。
ステップS54において、判定規範学習部55は、判定規範確定フラグがオンか否かを判定する。判定規範確定フラグは、後述する図24のステップS72において、判定規範学習処理が十分行なわれたと判定された場合、ステップS75においてオンされる。従って判定規範学習期間中は、判定規範確定フラグはオンされないため、いまの場合、判定規範確定フラグはオフであると判定され、処理はステップS55に進む。
ステップS55において、受信部51は、マルチセンサカメラ1より受信したマイクロ波センサ22のセンサデータを状態記述データ蓄積部53に保存する。このセンサデータは、上述した図19のステップS16の処理により、イベントの通知にあわせてマルチセセンサカメラ1からの送信が開始されたものであり、図26を参照して後述する判定規範学習処理に用いられる。
ステップS55の処理の後、ステップS57の処理の後、ステップS54において判定規範確定フラグがオンであると判定された場合、またはステップS56において、通知イベント発生信号を受信していないと判定された場合、処理はステップS58に進み、受信部51は、マルチセンサカメラ1から状態記述データ151を受信したか否かを判定する。
ステップS58において、状態記述データ151を受信したと判定した場合、処理はステップS59に進み、受信部51は、状態記述データ受信フラグをオンし、イベント受信フラグをオフする。
ステップS60において、受信部51は、マルチセンサカメラ1から送信されてきた(上述した図19のステップS7の処理により送信されてきた)状態記述データ151を、ステップS55の処理により先に蓄積されているセンサデータに対応付けて、状態記述データ蓄積部53に蓄積させる。ただし、このときに、既にユーザフィードバック受信フラグがオンである場合、そのユーザフィードバックも対応付けて状態記述データ151が蓄積される。
ステップS60の処理の後、または、ステップS58において、状態記述データ151を受信していないと判定された場合、ステップS61に進み、通知判定テーブル更新部54は、受信部58を介してリモートコントローラ4から送信されてきた(後述する図29のステップS254の処理により送信されてきた)ユーザFB信号を受信したか否かを判定し、ユーザFB信号を受信したと判定した場合、処理はステップS62に進む。
ステップS62において、通知判定テーブル更新部54は、ユーザフィードバック受信フラグをオンする。
ステップS63において、通知判定テーブル更新部54は、このとき、状態記述データ受信フラグがオンであれば、ユーザフィードバック(「OK(今後も通知して欲しい)」または「NG(今後は通知しなくても良い)」)を状態記述データ蓄積部53に蓄積されているセンサデータおよび状態記述データ151に対応付けて蓄積させる。
ステップS63において、通知判定テーブル更新部54は、イベント受信フラグがオンかつ状態記述データ受信フラグがオフであれば、ユーザフィードバックを新規のユーザフィードバックとして蓄積させる。これは、ユーザがイベントの途中で(上述したステップS58の処理で呈示されたイベントの状態記述データ151が受信される前に)、リモートコントローラ4の入力部83を用いて呈示中のイベントに対するユーザの判断を入力し、ステップS61において、受信部58を介してリモートコントローラ4から送信されてきた(後述する図29のステップS254の処理により送信されてきた)ユーザFB信号が受信された場合である。蓄積された新規のユーザフィードバックは、上述したステップS60の処理により、イベント終了時にマルチセンサカメラ1から受信する(上述したステップS58の処理により受信する)状態記述データ151、およびステップS55の処理で状態記述データ蓄積部53に蓄積されているセンサデータと対応付けられて、状態記述データ蓄積部53に蓄積される。
また、ステップS63において、イベント受信フラグがオフかつ状態記述データ受信フラグがオフであれば、すなわち、イベントの呈示が行われておらず、かつ呈示されたイベントに関する状態記述データ151が受信されていなければ、そのユーザフィードバックは、イベントの呈示とは無関係に入力されたものとして、無視される。
ステップS64において、通知判定テーブル更新部54により、ステップS61で受信したユーザFB信号が「NG(今後は通知しなくても良い)」を示す信号か否かを判定し、「NG」を示す信号であると判定された場合、処理はステップS65に進み、受信部51は、イベント受信フラグをオフする。これにより、ユーザから「NG」と判断されたイベントの呈示が、イベントの途中でも停止される。すなわち、その後、イベント終了時まで(上述した図19のステップS5の処理でイベント終了と判定され、ステップS6とS7の処理でマルチセンサカメラ1からのイベントの通知が停止されるまで)マルチセンサカメラ1からのイベントの通知は継続されるが、処理がステップS52に戻ったとき、イベント受信フラグがオフと判定されるので、ステップS53の呈示処理が行われないようになる。
ステップS65においてオフされたイベント受信フラグは、ステップS56においてマルチセンサカメラ1から通知イベント発生信号および通知画像データを受信したと判定され、ステップS57においてオンされるまで、オフされたままとなる。通知イベント発生信号は、新たなイベントが検出され、上述した図19のステップS15の処理が行われるまで、マルチセンサカメラ1から送信されてこないため、マルチセンサカメラ1から新たなイベントが通知されるまで、イベント受信フラグはオフされたままである。
ステップS65の処理の後、ステップS61でユーザFB信号が受信されていないと判定された場合、またはステップS64でユーザFB信号が「OK(今後も通知して欲しい)」を示す信号であると判定された場合、ステップS66において、通知判定テーブル更新部54は、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであるか否かを判定し、少なくともいずれか一方がオフである場合には、処理はステップS52に戻り、それ以降の処理が繰り返される。状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであると判定された場合(呈示されたイベントの状態記述データ151が受信され、かつ、そのイベントに対してユーザからフィードバックが入力された場合)、処理はステップS67に進む。
ステップS67において、判定規範学習部55は、判定規範確定フラグがオンであるか否かを判定する。いまの場合、判定規範学習期間中であり、判定規範確定フラグはオフのため、処理はステップS68に進む。
ステップS68において、判定規範学習部55は、受信部58を介してリモートコントローラ4から送信されてきた(後述する図29のステップS254の処理により送信されてきた)ユーザFB信号が、「OK(今後も通知して欲しい)」を示す信号か否かを判定する。ユーザFB信号が「OK」を示す信号であると判定された場合、処理はステップS69に進む。
ステップS69において、判定規範学習部55は、図26を参照して後述する判定規範学習処理により判定規範を調整し、ステップS70において調整した判定規範を、送信部56を介してマルチセンサカメラ1に送信する。
ステップS68において、ユーザFB信号が「NG(今後は通知しなくても良い)」であると判定された場合、処理はステップS71に進み、通知判定テーブル更新部54は、図25を参照して後述する通知判定テーブル更新処理を実行する。この処理により、過去通知判定テーブル蓄積部217に蓄積されている通知判定テーブル161が更新される。
ステップS72において、判定規範学習部55は、判定規範学習処理を十分行ったか否かを判定する。監視システム10が監視を開始してから所定の時間が経過するまでは、判定規範学習処理はまだ十分行なわれていないと判定され、ステップS73乃至S75の処理はスキップされ、処理はステップS79に進む。
なお、以上では、ステップS72において、判定規範学習処理が十分行なわれたか否かの判定を、監視システム10が監視を開始してからの経過時間に基づき判定する例を示したが、例えば、判定規範学習処理が所定の回数行なわれたか否かにより判定することも可能である。
ステップS79において、通知判定テーブル更新部54は、ユーザフィードバック受信フラグをオフし、受信部51は、状態記述データ受信フラグをオフする。
ステップS79の処理の後、処理はステップS52に戻り、上述した処理が繰り返し実行される。
以上のようにして、イベント画像がユーザに呈示され、それに対応するユーザのフィードバックが入力される。ユーザのフィードバックが入力されると、フィードバックが「OK(今後も通知して欲しい)」の場合は、判定規範が調整され、マルチセンサカメラ1に送信され、フィードバックが「NG(今後は通知しなくても良い)」の場合は、通知判定テーブル161が更新される。
監視システム10が監視を開始してから所定の時間が経過し、ステップS72において、判定規範学習処理が十分行なわれたと判定された場合、ステップS73の処理が実行される。
ステップS73において、通知判定テーブル更新部54は、ステップS69の判定規範学習処理およびステップS71の通知判定テーブル更新処理により作成および更新された通知判定テーブル161を、送信部56を介してマルチセンサカメラ1に送信する。マルチセンサカメラ1は、この通知判定テーブル161を上述した図20のステップS17において受信する。
ステップS74において、判定規範学習部55は、判定規範確定通知を、送信部56を介してマルチセンサカメラ1に送信する。上述したように、マルチセンサカメラ1は、この判定規範確定通知を上述した図20のステップS21において受信し、ステップS22において、判定規範確定フラグがオンされ、それ以降、判定規範学習期間終了後の処理を行う。
ステップS75において、判定規範学習部55は、判定規範確定通知フラグをオンし、 ステップS79において、通知判定テーブル更新部54は、ユーザフィードバック受信フラグをオフし、受信部51は、状態記述データ受信フラグをオフする。その後、処理はステップS52に戻り、これ以降、処理ボックス2では、判定規範学習期間終了後の処理が繰り返される。
なお、ステップS67で判定規範確定フラグがオンであると判定された場合(判定規範学習期間終了後の場合)にはステップS76乃至S78の処理が実行されるが、この点については後述する。
次に、図25を参照して、図24のステップS71、および後述する図26のステップS207における判定規範学習期間中の通知判定テーブル更新処理の詳細について説明する。
ステップS101において、通知判定テーブル更新部54の状態記述パターン比較部212は、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161をクリアする。
ステップS102において、ユーザフィードバック判定部211は、状態記述データ蓄積部53にステップS111の処理で蓄積されている最新の状態記述データ151とそれに対応するユーザフィードバックを読み込む。
ステップS103において、ユーザフィードバック判定部211は、ステップS102の処理で読み込んだユーザフィードバックが「NG(今後はイベントとして検出しなくてもよい)」を示すデータであるか否かを判定し、ユーザフィードバックが「NG」を示すデータであると判定した場合、その判定結果を状態記述データ151(図12)とともに状態記述パターン比較部212に供給する。
次に、ステップS104において、状態記述パターン比較部212は、ユーザフィードバック判定部211から供給された状態記述データ151に含まれる状態番号のパターンと、仮通知判定テーブル蓄積部215に蓄積されている全ての仮の通知判定テーブル161の状態記述データ171に含まれる状態番号のパターンを比較する。
ステップS105において、状態記述パターン比較部212は、ステップS104の処理による比較の結果、パターンが一致するものがあるか否か、すなわち、状態記述データ171に含まれる状態番号のパターンが状態記述データ151と一致する仮の通知判定テーブル161があるか否かを判定する。いまの場合、ステップS101の処理で、仮の通知判定テーブル161がクリアされている状態であるとすると、パターンが一致するものがないと判定され、状態記述パターン比較部212は、状態記述データ151を新規パターン作成部213に供給する。
ステップS107において、新規パターン作成部213は、状態記述パターン比較部212から供給された状態記述データ151に含まれる状態番号、並びにそれに対応する継続時間を、新規の通知判定テーブル161として仮通知判定テーブル蓄積部215に追加・蓄積する。このとき、継続時間は、通知判定テーブル161上の最小値および最大値として設定される。いまの場合、仮の通知判定テーブル161がクリアされている状態なので、追加された通知判定テーブル161が、最初の仮の通知判定テーブル161となる。その後、処理はステップS108に進む。
ステップS103において、ユーザフィードバックが「NG」を示すデータでないと判定された場合、ステップS104乃至S107の処理はスキップされ、処理はステップS108に進む。すなわち、この場合仮の通知判定テーブル161を追加する処理は実行されない。
ステップS108において、ユーザフィードバック判定部211は、状態記述データ蓄積部53に蓄積されている全ての状態記述データ151とそれに対応するユーザフィードバックを読み込んだか否かを判定し、未だ読み込んでいないデータがあると判定した場合、処理はステップS102に戻る。
ステップS102において、ユーザフィードバック判定部211は、再び状態記述データ蓄積部53に蓄積されている次の状態記述データ151とそれに対応するユーザフィードバックを読み込む。
ステップS103の再度の処理において、ステップS102の処理で読み込んだユーザフィードバックが「NG」を示すデータでないと判定された場合、ステップS104乃至S107の処理はスキップされ、処理はステップS108に進む。ステップS103において、ユーザフィードバックが「NG」を示すデータであると判定された場合、その判定結果が状態記述データ151(図12)とともに状態記述パターン比較部212に供給され、処理はステップS104に進む。
ステップS104において、状態記述パターン比較部212は、ユーザフィードバック判定部211から供給された状態記述データ151に含まれる状態番号のパターンと、仮通知判定テーブル蓄積部215に蓄積されている全ての仮の通知判定テーブル161の状態記述データ171に含まれる状態番号のパターンを比較する。いま、2回目以降の処理なので、少なくとも1回目のステップS107の処理で仮の通知判定テーブル161が蓄積されている。従って、パターンが一致する場合がある。
ステップS105において、状態記述パターン比較部212は、ステップS104の処理による比較の結果、パターンが一致するものがあると判定した場合、状態記述データ151と、状態記述データ171に含まれる状態番号のパターンが状態記述データ151と一致する仮の通知判定テーブル161を既存パターン更新部214に供給し、処理はステップS106に進む。
ステップS106において、既存パターン更新部214は、状態記述パターン比較部212から供給された状態記述データ151とパターンが一致する仮の通知判定テーブル161を、状態記述パターン比較部212から供給された状態記述データ151に基づき更新する。
すなわち、既存パターン更新部214は、まず、マルチセンサカメラ1から受信された状態記述データ151に含まれる継続時間と、状態記述データ151とパターンが一致する仮の通知判定テーブル161の状態記述データ171に含まれる継続時間の最小値および最大値を比較する。
そして、既存パターン更新部214は、比較の結果、状態記述データ171の継続時間の最小値より状態記述データ151の継続時間の方が短いと判断した場合、状態記述データ171の継続時間の最小値を状態記述データ151の継続時間に置き換え(更新し)、また、状態記述データ171の継続時間の最大値より状態記述データ151の継続時間の方が長いと判断した場合、状態記述データ171の継続時間の最大値を状態記述データ151の継続時間に置き換える(更新する)。既存パターン更新部214は、更新した状態記述データ151とパターンが一致する仮の通知判定テーブル161を、仮通知判定テーブル蓄積部215に更新通知判定テーブル161として供給し、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161を更新する。
ステップS105において、ステップS104の処理による比較の結果、パターンが一致するものがないと判定された場合、1回目の処理の場合と同様に、状態記述パターン比較部212は状態記述データ151を新規パターン作成部213に供給し、処理はステップS107に進む。
ステップS107において、1回目の処理の場合と同様に、新規パターン作成部213は、状態記述パターン比較部212から供給された状態記述データ151に含まれる状態番号、並びにそれに対応する継続時間を継続時間の最小値および最大値とする新規の通知判定テーブル161として仮通知判定テーブル蓄積部215に追加・蓄積する。
ステップS108において、状態記述データ蓄積部53に蓄積されている全ての状態記述データ151とそれに対応するユーザフィードバックが読み込まれたと判定されるまで、ステップS102乃至S108の処理が繰り返し実行され、状態記述データ蓄積部53に蓄積されている全ての状態記述データ151とそれに対応するユーザフィードバックから仮の通知判定テーブル161が作成される。
ステップS108において、全ての状態記述データ151とそれに対応するユーザフィードバックを読み込んだと判定された場合、処理はステップS109に進み、テーブル比較部216は、判定規範確定フラグがオンであるか否かを判定する。いまの場合、判定規範学習期間中であり、判定規範確定フラグはオフなので、ステップS110乃至S112の処理はスキップされ、処理はステップS113に進む。これにより、ステップS112における通知判定テーブル161の送信が行なわれないため、判定規範学習期間中は、通知判定テーブル161はマルチセンサカメラ1に送信されない。
ステップS113において、テーブル比較部216は、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161を過去通知判定テーブル蓄積部217に供給し、既に蓄積されている過去の通知判定テーブル161を更新する。
以上の処理により、図16に示されているような通知判定テーブル161−1乃至161−nからなる通知判定テーブル161群が過去通知判定テーブル蓄積部217に蓄積される。この通知判定テーブル161には、イベントとして通知しなくてよい場合のパターンが記憶されることになる。
次に、図26を参照して、図24のステップS69における判定規範学習処理の詳細について説明する。
ステップS151において、判定規範学習部55は、図23のステップS53においてユーザに呈示され、それに対して図24のステップS68においてユーザから「OK(今後も通知して欲しい)」を示すFB信号が入力されたと判定されたイベント(以下、図26の説明においては、学習対象イベントと称する)の状態記述データ151を状態記述データ蓄積部53から読み込む。
ステップS202において、判定規範学習部55は、通知判定テーブル更新部54の過去通知判定テーブル蓄積部217から通知判定テーブル161を読み込む。
ステップS203において、判定規範学習部55は、学習対象イベントに対して、イベント通知判定処理を行なう。すなわち、図17を参照して上述したように、判定規範学習部55は、学習対象イベントの状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があるか否かを判定し、状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があった場合、その通知判定テーブル161の各状態番号の継続時間の最小値と最大値の範囲内に、状態記述データ151の各状態番号の継続時間がおさまるか否かを判定する。学習対象イベントの状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があり、その通知判定テーブル161の各状態番号の継続時間の最小値と最大値の範囲内に、状態記述データ151の各状態番号の継続時間がおさまる場合、学習対象イベントは非通知イベント(通知判定テーブル161に規定されているイベントである)と判定され、そうでない場合、通知イベント(通知判定テーブル161に規定されているイベントではない)と判定される。
ステップS204において、判定規範学習部55は、ステップS203の処理による結果、学習対象イベントが非通知イベントか否かを判定する。学習対象イベントが通知イベントであると判定された場合、すなわち、ユーザから「OK」と判断されたイベントが、通知判定テーブル161に通知不要イベントとして規定されていない場合、現時点で判定規範は適正な値であると判定され、判定規範学習処理は終了する。
ステップS204において、学習対象イベントが非通知イベントであると判定された場合、すなわち、ユーザから「OK」と判断されたイベントが、通知判定テーブル161に通知不要イベントとして規定されている場合、判定規範は適正な値でないと判定され、処理はステップS205に進み、反応しきい値が調整される。
ステップS205において、判定規範学習部55は、状態記述データ蓄積部53から、学習対象イベントのセンサデータ、および学習対象イベントが該当すると判定された通知判定テーブル161に該当する過去のイベント(学習対象イベントと同じ状態番号のパターンを持ち、過去にユーザから「NG」と判断されたイベント。以下、NGイベントと称する)のセンサデータを読み込む。判定規範学習部55は、読み込んだセンサデータに基づき、学習対象イベントが、NGイベントと異なる状態記述データとなる(識別できる)ように、反応しきい値を調整する。
例えば、図21に示されるように、人物91がドア252に図中左方向から近づき、ドア252を外から開け、内部に入る行動をした場合、マイクロ波センサ22の出力は、図22に示されるようになる。図22の区間Aにおける接近反応データ101−1の出力データ数(3個)が、反応しきい値(例えば4個)より小さいとき、状態記述部41は、区間Aにおける人物91の行動を接近反応と認識せずに、無反応区間と認識する。この場合、図21に示される人物91の行動に対する状態記述データ151は、区間Cにおける接近反応データ101−2および区間Dにおける離反反応データ102に基づき記述される。すなわち、図21に示される人物91の行動(イベント)に対する状態記述データ151は、状態番号1,状態番号2のパターンとその継続時間として記述される。
これに対して、図27に示されるように、図21に示される場合とは逆に、人物91が、ドア252を内側から開け、外に出て、ドア252を閉め、そのまま立ち止まらずに図中左方向に、玄関251の壁に沿って、マイクロ波センサ22の監視領域31から出ていくものとする。この場合、マイクロ波センサ22からは、図28に示されるようなセンサデータが出力される。
すなわち、人物91がドア252を開ける区間Aにおいて、ドア252並びに人物91がマイクロ波センサ22に一時的に近づくため、接近反応データ101が安定して出力され、人物91がドア252を閉め、マイクロ波センサ22の監視領域31から出ていく区間Bにおいて、ドア252と人物91がマイクロ波センサ22から遠ざかるため、離反反応データ102が安定して出力される。いまの場合、人物91は、ドア252を閉めた後、立ち止まらずに監視領域31から出て行くため、マイクロ波センサ22からは、一連の反応として、離反反応データ102が出力される。
図27に示される人物91の行動(イベント)に対する状態記述データ151は、図28の区間Aにおける接近反応データ101および区間Bにおける離反反応データ102に基づき記述される。図28の区間A,Bにおけるセンサデータのパターンは、図22の区間C,Dにおけるセンサデータのパターンと類似しており、図27のイベントに対する状態記述データ151は、図21のイベントに対する状態記述データ151と同様に、状態番号1,状態番号2のパターンとその継続時間として記述される。従って、状態記述データ151では、図21のイベントと、図27のイベントの識別が困難になる。
その結果、例えば、ユーザが図27のイベント(ドア252を開けて出て行くイベント)の通知が不要と判断して、図28のセンサデータに基づき通知判定テーブル161が作成されている場合に、図21のイベント(ドア252を開けて内部に入るイベント)が発生し、図21のイベントに対して、ユーザがイベントの通知が必要と判断したにも関わらず、図22のセンサデータに基づき記述された状態記述データ151が、図28のセンサデータに基づき作成された通知判定テーブル161に該当すると判定され、図21のイベントが非通知イベントと判定されることになる。このような場合が、判定規範学習処理における学習対象イベントが、ステップS204において、非通知イベントであると判定される場合である。
この場合、判定規範学習部55は、ステップS205で、状態記述データ蓄積部53に蓄積されている図21のイベントに関する図22のセンサデータ、および図27のイベントに関する図28のセンサデータに基づき、2つのイベントの状態記述データ151が異なるデータとなるように、反応しきい値を調整する。すなわち、この場合、判定規範学習部55は、図22の区間Aにおける接近反応データ101−1から接近反応を認識できるように、反応しきい値を小さい値に変更する。すなわち、センサデータのより小さな変化からマイクロ波センサ22の状態(イベント)を検出できるように検出条件が調整される。これにより、図21のイベントに関する状態記述データ151のパターンは、状態番号1,状態番号0,状態番号1,状態番号2の順となり、図27のイベントに関する状態記述データ151のパターン(状態番号1,状態番号2)と識別できるようになる。これにより、図21のイベントが通知イベントと判定され、図27のイベントが非通知イベントと判定されるようになる。
ステップS206において、判定規範学習部55は、ステップS205において調整した反応しきい値および既存のバッファサイズに基づき、状態記述データ蓄積部53に蓄積されているイベントの状態記述データ151を更新する。判定規範学習部55は、状態記述データ蓄積部53に蓄積されているイベントのセンサデータを1つずつ読み込み、ステップS205において調整した反応しきい値および既存のバッファサイズに基づいて、状態記述データ151を再記述し、状態記述データ蓄積部53に蓄積されている状態記述データ151を再記述したデータに更新する。
このとき、状態記述データ151の先頭が状態番号0になった場合、この先頭の状態番号0の区間は、ステップS205において調整した反応しきい値および既存のバッファサイズに基づくマイクロ波センサ反応判定処理により、マイクロ波センサ22が反応してしない(まだイベントが発生していない)と判定された区間なので、この先頭の状態番号0の記述は状態記述データ151から削除される。同様に、状態記述データ151の末尾が状態番号0になった場合、この末尾の状態番号0の区間は、ステップS205において調整した反応しきい値および既存のバッファサイズに基づくマイクロ波センサ反応判定処理により、マイクロ波センサ22が反応してしない(すでにイベントが終了している)と判定された区間なので、この末尾の状態番号0の記述は状態記述データ151から削除される。従って、状態記述データ151は、状態番号0以外で始まり、状態番号0以外で終わるように記述される。
ステップS207において、通知判定テーブル更新部54は、図25を参照して上述した通知判定テーブル更新処理を行ない、過去通知判定テーブル蓄積部217に蓄積されている通知判定テーブル161を更新する。この通知判定テーブル更新処理は、ステップS206において更新された状態記述データ151、すなわちステップS205で調整した反応しきい値に基づき更新された状態記述データ151に対して行なわれるため、結果的に、ステップS205で調整した反応しきい値に基づき、通知判定テーブル161が更新されることになる。
ステップS207の処理の後、処理はステップS201に戻り、ステップS201乃至S204の処理により、ステップS206において更新された状態記述データ151と、ステップS207において更新された通知判定テーブル161に基づき、再度学習対象イベントが、非通知イベントか否か(更新された通知判定テーブル161に規定されているイベントに該当するか否か)が判定される。ステップS204において、再度、学習対象イベントが、非通知イベントと判定された場合、処理はステップS205に進み、反応しきい値が再調整される。これ以降、ステップS204において、学習対象イベントが非通知イベントでないと判定されるまで、上述した処理が繰り返される。
以上の処理により、ユーザから「OK(今後も通知して欲しい)」と判断されたイベント(通知イベント)と、「NG(今後は通知しなくても良い)」と判断されたイベント(非通知イベント)を正確に識別できるように、反応しきい値が適切な値に調整される。すなわち、イベントに対するユーザからの通知の必要性の評価(ユーザからのフィードバックによる通知の必要性の評価)と、通知判定テーブル161に基づくイベントの通知の必要性の判定(イベント通知判定処理)の結果が一致するように、マイクロ波センサ22の状態(イベント)の検出条件が調整される。
次に、図29を参照して、図23と図24の処理ボックス2の処理に対応して実行されるリモートコントローラ4における処理について説明する。なお、この処理は、リモートコントローラ4の電源をオンしたとき、開始される。
ステップS251において、受信部81は、処理ボックス2より通知データを受信したか否かを判定し、通知データを受信するまで待機する。そして、通知データを受信したと判定した場合、ステップS252に進み、受信部81は、処理ボックス2から送信されてきた(上述した図23のステップS53の処理により送信されてきた)通知データに基づくイベント画像(通知画像データ)を呈示部82に呈示させる。
ユーザは、呈示部82に呈示されたイベント画像を見て、入力部83を操作し、判断(例えば、いま呈示されているイベントは今後も知らせて欲しいイベントであるのか、あるいは、今後は知らせなくてよいイベントであるのか)を入力する。
ステップS253において、入力部83は、呈示されたイベントに対するユーザからの判断(ユーザフィードバック)が入力されたか否かを判定し、ユーザフィードバックが入力されたと判定した場合、ユーザFB信号を、送信部84に供給し、ステップS254に進む。
ステップS254において、送信部84は、入力部83から供給されたユーザFB信号を処理ボックス2に送信する。処理ボックス2は、これを受信し、状態記述データ蓄積部53に蓄積されている状態記述データ151に対応付ける(図23のステップS63)。
ステップS254の処理の後、または、ステップS253において、ユーザフィードバックが入力されていないと判定された場合、処理はステップS251に戻り、上述した処理が繰り返し実行される。
上述したように、監視システム10が監視を開始してから所定の時間が経過し、図24のステップS72において、判定規範学習処理が十分行なわれたと判定された場合、ステップS75において、処理ボックス2の判定規範確定フラグがオンされる。また、ステップS74において、判定規範確定通知が処理ボックス2からマルチセンサカメラ1に送信され、図20のステップS21において、マルチセンサカメラ1により判定規範確定通知が受信され、ステップS22において、マルチセンサカメラ1の判定規範確定フラグがオンされる。マルチセンサカメラ1および処理ボックス2において判定規範確定フラグがオンされると、以後、監視システム10は判定規範学習期間終了後の処理を実行する。すなわち、判定規範学習処理により確定した判定規範に基づき、監視システム10により通常の監視処理が行なわれる。
そこで、次に、判定規範学習期間終了後に監視システム10により実行される処理を説明する。
まず、図19と図20を参照して、判定規範学習期間終了後に、マルチセンサカメラ1により実行される処理について説明する。
上述したように、判定規範学習期間終了時には、図24のステップS72において判定規範学習処理が十分行なわれたと判定され、ステップS74において処理ボックス2から送信された判定規範確定通知を、ステップS21においてマルチセンサカメラ1が受信し、ステップS22において判定規範確定フラグがオンされる。その後、処理はステップS2に戻り、状態記述部41は、マイクロ波センサ22からセンサデータを取得する。
ステップS3において、状態記述部41は、ステップS2の処理で取得したセンサデータ、および判定規範学習処理により確定した判定規範に基づいて、監視領域内における、例えば人物91(監視対象としての動くもの)の一連の行動に関し、状態データ記述処理を行う。すなわち、状態記述部41は、図12を参照して説明したように、マイクロ波センサ22が人物91の接近を検出したとき、状態番号を1とし、離反を検出したとき、状態番号を2とし、それぞれに、その継続時間を対応付ける。このようにして記述された状態番号、および、反応継続時間を含む状態記述データ151が、イベント通知判定部42に出力される。
ステップS4において、イベント通知判定部42は、イベント通知フラグがオンである(通知イベント発生中である)か否かを判定し、イベント通知フラグがオンではなくオフである(通知イベント発生中ではない)と判定した場合、処理はステップS8に進む。
ステップS8において、イベント通知判定部42は、判定規範確定フラグがオンか否かを判定する。いまの場合、判定規範学習期間終了後であり、判定規範確定フラグはオンされているので、処理はステップS9に進む。
ステップS9において、イベント通知判定部42は、通知イベントが発生しているか否かのイベント通知判定処理を行なう。すなわち、図17を参照して上述したように、イベント通知判定部42は、ステップS3の処理で取得した状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があるか否かを判定し、状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があった場合、その通知判定テーブル161の各状態番号の継続時間の最小値と最大値の範囲内に、状態記述データ151の各状態番号の継続時間がおさまるか否かを判定する。状態記述データ151の状態番号のパターンと一致する通知判定テーブル161がない、あるいは状態記述データ151の状態番号のパターンと一致する通知判定テーブル161の各状態番号の継続時間の最小値と最大値の範囲内に、状態記述データ151の各状態番号の継続時間がおさまらない場合、通知イベント(通知判定テーブル161に規定されていないイベント)が発生していると判定され、そうでない場合、通知イベントは発生していないと判定される。
ステップS10において、イベント通知判定部42は、ステップS9の処理結果に基づいて、発生したイベントが通知イベントであるか否かを判定し、通知イベントであると判定した場合、処理はステップS11に進み、イベント通知判定部42は、CCDカメラ21に電源制御信号を供給してその電源をオンさせるとともに、イベント通知フラグをオンする。すなわち、発生したイベントが通知イベントであると判定された場合にのみCCDカメラ21の電源がオンされ、通知イベントでない場合には、CCDカメラ21の電源はオフのままとなっており、これにより、無駄なバッテリ消費を抑えることができる。
ステップS12において、イベント通知判定部42は、送信部46を介して処理ボックス2に通知イベント発生信号を送信するとともに、通知画像送信制御信号をスイッチ44に供給してオンさせる。これにより、CCDカメラ21から処理ボックス2に対し、通知画像データ(CCDカメラ21が監視領域31を撮影して得たイベント画像)の送信が開始される。処理ボックス2は、この通知画像データを受信し、図23のステップS53において呈示部3に呈示させる。すなわち、ステップS9乃至S12において、判定規範学習期間中とは異なり、通常のイベント通知判定処理が行なわれ、その判定結果に基づき、ユーザへイベントが通知される。
ステップS10において、発生したイベントが通知イベントではない、すなわち非通知イベントであると判定された場合、ステップS11,S12の処理はスキップされ、処理はステップS17に進む。
ステップS4において(ステップS11の処理でイベント通知フラグがオンとされ、ステップS21またはステップS22の処理を経て、ステップS2,S3の処理の後、再び行われるステップS4の処理において)、イベント通知フラグがオンである(通知イベント発生中である)と判定された場合、処理はステップS5に進む。
ステップS5において、イベント通知判定部42は、イベント終了であるか否かを判定する。判定規範学習期間終了後の場合、判定規範学習期間中とは異なり、通常のイベント終了判定が行なわれる。すなわち、イベント通知判定部42は、状態番号0の状態(マイクロ波センサ22が接近反応も離反反応もしていない状態)が所定の期間継続したか否かを判定し、状態番号0の状態が所定の期間継続したと判定した場合、イベントが終了したと判定する。イベントが終了したと判定された場合、処理はステップS6に進む。
なお、状態番号0の状態が予め設定されている所定の期間継続したと判定してから、イベントが終了したと判定されるのは、例えば、図22の区間Bのような状態番号0の(マイクロ波センサ22が反応していない)比較的短い区間において、イベントが終了したと誤判定されるのを防止するためである。
ステップS6において、イベント通知判定部42は、CCDカメラ21に電源制御信号を供給してその電源をオフさせるとともに、イベント通知フラグをオフする。
ステップS7において、イベント通知判定部42は、状態記述データ送信制御信号をスイッチ43に供給してオンさせ、通知画像送信制御信号をスイッチ44に供給してオフさせる。これにより、ステップS3の処理で状態記述部41から出力された状態記述データ151がスイッチ43および送信部46を介して処理ボックス2に送信されるとともに、CCDカメラ21からスイッチ44および送信部46を介して処理ボックス2に送信されていた通知画像データ(イベント画像)の送信が停止される。なお、判定規範学習期間終了後の場合、処理ボックス2にセンサデータは送信されていないため、ステップS7において、センサデータの送信停止処理は行なわれない。
ステップS5において、イベントが終了していないと判定された場合、ステップS6,S7の処理はスキップされ、処理はステップS17に進む。
ステップS17において、イベント通知判定部42は、受信部47を介して処理ボックス2より通知判定テーブル161を受信したか否かを判定する(図24のステップS78の処理で送信される)。通知判定テーブル161を受信したと判定した場合、処理はステップS18に進み、イベント通知判定部42は、保持している通知判定テーブル161を、受信した通知判定テーブル161により更新する。処理ボックス2より通知判定テーブル161を受信していないと判定された場合、ステップS18の処理はスキップされ、処理はステップS19に進む。
ステップS19において、状態記述部41は、受信部47を介して処理ボックス2より判定規範を受信したか否かを判定する。判定規範学習期間終了後は、処理ボックス2で判定規範学習処理は行なわれず、判定規範は送信されてこないため、ステップS20の処理はスキップされ、処理はステップS21に進む。
ステップS21において、イベント通知判定部42は、受信部47を介して処理ボックス2より判定規範確定通知を受信したか否かを判定する。いまの場合、判定規範学習期間が終了し、判定規範は確定しており、処理ボックス2から判定規範確定通知は送信されてこないため、ステップS22の処理はスキップされ、処理はステップS2に戻り、上述した処理が繰り返し実行される。
以上のようにして、判定規範学習期間終了後は、判定規範学習処理により確定した判定規範に基づき、イベントの状態記述データ151が記述され、記述された状態記述データ151に基づき、イベント通知判定処理が行なわれ、通知イベントが発生していると判定された場合、処理ボックス2にイベントが通知される。
次に、図23と図24を参照して、図19と図20のマルチセンサカメラ1の判定規範学習期間終了後の処理に対応して実行される処理ボックス2における処理について説明する。
上述したように、判定規範学習期間終了時には、ステップS72において、判定規範学習処理が十分行なわれたと判定され、ステップS73とS74において、通知判定テーブル161と判定規範確定通知がマルチセンサカメラ1に送信され、ステップS75において、判定規範確定フラグがオンされる。その後、ステップS79において、状態記述データ受信フラグおよびユーザFB受信フラグがオフされ、処理はステップS52に戻る。
ステップS52乃至ステップS66までの処理(ユーザにイベントを呈示して、呈示したイベントの状態記述データ151、および呈示したイベントに対するユーザFB信号を受信するまでの処理)は、判定規範学習期間中と同様であり、その説明は省略する。ただし、判定規範学習期間終了後は、ステップS54において、判定規範確定フラグがオンであると判定され、ステップS55の処理はスキップされるため、呈示したイベントのセンサデータは蓄積されず、状態記述データ151とユーザフィードバックのみが状態記述データ蓄積部53に蓄積される。
ステップS67において、判定規範学習部55は、判定規範確定フラグがオンか否かを判定する。いまの場合、判定規範確定フラグがオンであると判定され、処理はステップS76に進む。
ステップS76において、通知判定テーブル更新部54は、ステップS61の処理により取得したユーザFB信号が、「NG(今後は通知しなくても良い)」を示す信号か否かを判定する。ユーザFB信号が「NG」を示す信号であると判定された場合、処理はステップS77に進む。
ステップS77において、通知判定テーブル更新部54は、図25を参照して後述する(上述した判定規範学習期間中の通知判定テーブル更新処理と一部異なる)通知判定テーブル更新処理を行なう。この処理により、過去通知判定テーブル蓄積部217に蓄積されている通知判定テーブル161が更新される。
ステップS78において、通知判定テーブル更新部54は、ステップS77の処理により、過去の通知判定テーブル161と異なる通知判定テーブル161が作成され、過去通知判定テーブル蓄積部217に蓄積された場合には、その新しい通知判定テーブル161を、送信部56を介してマルチセンサカメラ1に送信する。マルチセンサカメラ1は、この新しい通知判定テーブル161を受信し、更新する(上述した図20のステップS17とS18)。
ステップS76において、ユーザFB信号が「NG(今後は通知しなくても良い)」を示す信号でないと判定された場合、ステップS77とS78の処理はスキップされ、通知判定テーブル更新処理は行なわれずに、処理はステップS79に進む。
ステップS79において、通知判定テーブル更新部54は、ユーザフィードバック受信フラグをオフし、受信部51は、状態記述データ受信フラグをオフする。
ステップS79の処理の後、処理はステップS52に戻り、上述した処理が繰り返し実行される。
以上のようにして、判定規範学習期間終了後は、イベント画像がユーザに呈示され、それに対して、ユーザから「NG(今後は通知しなくても良い)」を示すフィードバックが入力されると、通知判定テーブル161が更新され、マルチセンサカメラ1に送信される。
次に、図25を参照して、図24のステップS77における判定規範学習期間終了後の通知判定テーブル更新処理の詳細について説明する。
ステップS101乃至ステップS108までの処理は、上述した判定規範学習期間中の処理と同様である。すなわち、判定規範学習期間終了後も、判定規範学習期間中と同様の処理により、仮の通知判定テーブル161が作成される。
ステップS109において、テーブル比較部216は、判定規範確定フラグがオンであるか否かを判定する。いまの場合、判定規範学習期間終了後であり、判定規範確定フラグはオンなので、処理はステップS110に進む。
ステップS110において、テーブル比較部216は、過去通知判定テーブル蓄積部217に蓄積されている過去の通知判定テーブル161と、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161を比較する。
ステップS111において、テーブル比較部216は、ステップS110の処理による比較の結果、過去の通知判定テーブル161と仮の通知判定テーブル161が同じであるか否かを判定し、同じではないと判定した場合、ステップS112に進み、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161を、最新の通知判定テーブル161として送信部56に供給する。上述したように、この最新の通知判定テーブル161が、図24のステップS78において、マルチセンサカメラ1に送信される。
ステップS111において、過去の通知判定テーブル161と仮の通知判定テーブル161が同じであると判定された場合、そのテーブルは既にマルチセンサカメラ1に送信されているので、ステップS112の処理はスキップされ、処理はステップS113に進む。
ステップS113において、テーブル比較部216は、仮通知判定テーブル蓄積部215に蓄積されている仮の通知判定テーブル161を過去通知判定テーブル蓄積部217に供給し、既に蓄積されている過去の通知判定テーブル161を更新する。
以上の処理により、図16に示されているような通知判定テーブル161−1乃至161−nからなる通知判定テーブル161群が過去通知判定テーブル蓄積部217に蓄積される。この通知判定テーブル161には、イベントとして通知しなくてよい場合のパターンが記憶されることになる。また、判定規範学習期間終了後は、判定規範学習期間中とは異なり、更新された通知判定テーブル161が、過去通知判定テーブル蓄積部217に蓄積されている過去の通知判定テーブル161と異なる場合、更新された通知判定テーブル161が、送信部56を介してマルチセンサカメラ1に送信される。
判定規範学習期間終了後のリモートコントローラ4における処理は、図29を参照して上述した判定規範学習期間中の処理と同様であり、その説明は省略する。
以上のように、判定規範学習処理により、ユーザからのフィードバックおよびマイクロ波センサ22のセンサデータに基づいて、反応しきい値が調整され、調整された反応しきい値および既存のバッファサイズ(判定規範)に基づき、過去のイベントの状態記述データ151が更新されるとともに、通知判定テーブル161が更新されるようにしたので、ユーザが意図するイベントのみ通知するようにすることができ、かつ、イベントを通知する場合にのみ、CCDカメラ21の電源をオンするようにしたので、無駄なバッテリ消費を抑えるようにすることができる。
さらに、以上の本発明を適用した監視システム10の実施の形態では、判定規範学習期間中に、マルチセンサカメラ1から処理ボックス2にマイクロ波センサ22のセンサデータを送信して、そのセンサデータに基づき判定規範学習処理を行なう例を示したが、マルチセンサカメラ1から処理ボックス2にセンサデータを送信せず、センサデータを用いずに判定規範学習処理を実施させることも可能である。マルチセンサカメラ1から処理ボックス2にセンサデータを送信せずに判定規範学習処理を行なう場合、センサデータの送信によりマルチセンサカメラ1で消費される電力が抑えられる。以下、図19乃至図29を参照して説明したセンサデータを用いて判定規範学習処理を行なう方式をセンサデータ方式、以下に説明するセンサデータを用いずに判定規範学習処理を行なう方式を省電力方式と称する。
図30乃至図34を参照して、省電力方式における監視システム10により実行される処理を説明する。なお、センサデータ方式と省電力方式で、監視システム10により同様の処理が実行される部分の説明は省略し、処理が異なる部分のみについて説明する。また、判定規範学習期間終了後の処理は、センサデータ方式と省電力方式で同様であり、その説明は省略し、判定規範学習期間中の省電力方式における処理についてのみ説明する。さらに、リモートコントローラ4における処理は、図29を参照して上述したセンサデータ方式における処理と同様であり、その説明は省略する。
まず、図30と図31を参照して、判定規範学習期間中に、マルチセンサカメラ1により実行される、省電力方式の判定規範学習処理について、センサデータ方式の場合と比較しつつ説明する。この処理は、ユーザにより、監視領域における監視が指令されたとき、開始される。
図30と図31のステップS301乃至S321を、図19と図20のステップS1乃至S22と比較して明らかなように、省電力方式とセンサデータ方式では、その基本的な処理は同様であるが、判定規範学習期間中のイベントの通知の開始条件と終了条件が異なる。つまり、省電力方式とセンサデータ方式では、判定規範学習期間中のイベントの通知期間が異なる。
すなわち、センサデータ方式の場合、図19のステップS13において、直近のバッファサイズの期間中に、マイクロ波センサ22から接近反応データ101または離反反応データ102の少なくとも一方が、1回でも出力されていると判定された場合、ステップS14とS15の処理により、イベント画像の送信(イベントの通知)が開始される。これに対して、省電力方式の場合、図30のステップS313において、状態記述部41が、マイクロ波センサ反応判定処理により、直近のバッファサイズの期間中に出力された接近反応データ101または離反反応データ102の個数が反応しきい値以上である(マイクロ波センサ22が接近反応または離反反応している)と判定した場合、ステップS314に進み、ステップS314とS315の処理により、イベント画像の送信(イベントの通知)が開始される。
また、センサデータ方式の場合、図19のステップS5において、マイクロ波センサ22から接近反応データ101および離反反応データ102がともに所定の期間出力されていないと判定された場合、イベントが終了したと判定され、ステップS6とS7の処理により、イベント画像の送信(イベントの通知)が停止される。これに対して、省電力方式の場合、図30のステップS305において、状態記述部41が、マイクロ波センサ反応判定処理により、直近のバッファサイズの期間中に出力された接近反応データ101または離反反応データ102の個数が反応しきい値未満である(マイクロ波センサ22が接近反応および離反反応していない(状態番号0の)状態である)と判定した期間が、所定の期間継続したか否かを判定する。状態番号0の状態が所定の期間継続したと判定された場合、イベントが終了したと判定され、処理はステップS306に進み、ステップS306とS307の処理により、イベントの通知が停止される。
センサデータ方式では、上述したように判定規範学習処理により調整された判定規範に基づき、状態記述データ151の更新が行なわれ、過去に発生したイベントの期間が変更される場合がある。そのため、マイクロ波センサ22から接近反応データ101または離反反応データ102の少なくとも一方が1回でも出力されているか否かの判定に基づき、イベントが発生している可能性がある最大限の期間において、イベントがユーザに通知され、そのセンサデータおよび状態記述データ151が処理ボックス2に送信される。
これに対して、省電力方式では、図34を参照して後述する判定規範学習処理において、一度記述された状態記述データ151の更新は行われず、過去に発生したイベントの期間は変更されない。そのため、イベント発生時の判定規範に基づいたマイクロ波センサ反応判定処理により、マイクロ波センサ22が反応しているか否か(イベントが発生しているか否か)の判定に基づき、イベントの通知の開始および停止が行なわれる。すなわち、イベント発生時の判定規範に基づき検出されたイベントがユーザに通知され、その状態記述データ151が処理ボックス2に送信される。
また、センサデータ方式の図19のステップS16における処理ボックス2へのセンサデータの送信処理は、省電力方式では行なわれない(図30のステップS315の処理の後、図19のステップS16に対応する処理が実行されずに、図19のステップS17に対応するステップS316の処理が実行される)。すなわち、省電力方式では、ユーザに通知したイベントに関するマイクロ波センサ22のセンサデータは処理ボックス2に送信されない。
省電力方式の判定規範学習期間中におけるそれ以外のマルチセンサカメラ1における処理は、センサデータ方式と同様であり、その説明は省略する。
次に、図32と図33を参照して、省電力方式の判定規範学習期間中に、図30と図31のマルチセンサカメラ1の判定規範学習期間中の処理に対応して実行される処理ボックス2における処理について説明する。なお、この処理は、ユーザにより、呈示部3に対して一般視聴信号(放送番組信号)に対応する画像の呈示を行うよう指令されたとき、または監視領域における監視をするよう指令されたとき、開始される。
図32と図33のステップS351乃至S377を、図23と図24のステップS51乃至S79と比較して明らかなように、両方式における基本的な処理は同様である
ただし、センサデータ方式の図23のステップS54とS55におけるセンサデータの蓄積処理は、省電力方式では行なわれない。すなわち、省電力方式ではユーザに通知したイベントのセンサデータは蓄積されない(図30を参照して説明したように、そもそもマルチセンサカメラ1は、センサデータを送信してこない)。
また、省電力方式の図33のステップS367における判定規範学習処理は、センサデータ方式の図24のステップS69における判定規範学習処理(図26)と処理内容が異なる。省電力方式における判定規範学習処理の詳細については、図34を参照して後述する。
省電力方式の判定規範学習期間中におけるそれ以外の処理ボックス2における処理は、センサデータ方式の場合と同様であり、その説明は省略する。なお、ステップS369における通知判定テーブル更新処理も、センサデータ方式の図25の処理と同様であり、その説明は省略する。
次に、図34を参照して、図33のステップS367における省電力方式の判定規範学習処理の詳細について説明する。
ステップS401において、判定規範学習部55は、図32のステップS353においてユーザに呈示され、それに対して図33ステップS366においてユーザから「OK(今後も通知して欲しい)」を示すFB信号が入力されたと判定されたイベント(学習対象イベント)の状態記述データ151を状態記述データ蓄積部53から読み込む。
ステップS402において、判定規範学習部55は、通知判定テーブル更新部54の過去通知判定テーブル蓄積部217から通知判定テーブル161を読み込む。
ステップS403において、判定規範学習部55は、学習対象イベントに対して、イベント通知判定処理を行なう。すなわち、図17を参照して上述したように、判定規範学習部55は、学習対象イベントの状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があるか否かを判定し、状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があった場合、その通知判定テーブル161の各状態番号の継続時間の最小値と最大値の範囲内に、状態記述データ151の各状態番号の継続時間がおさまるか否かを判定する。学習対象イベントの状態記述データ151の状態番号のパターンと一致する通知判定テーブル161があり、その通知判定テーブル161の各状態番号の継続時間の最小値と最大値の範囲内に、状態記述データ151の各状態番号の継続時間がおさまる場合、学習対象イベントは非通知イベント(通知判定テーブル161に規定されているイベントである)と判定され、そうでない場合、通知イベント(通知判定テーブル161に規定されているイベントではない)と判定される。
ステップS404において、判定規範学習部55は、ステップS403の処理による結果、学習対象イベントが通知イベントか否かを判定する。学習対象イベントが通知イベントであると判定された場合、すなわち、ユーザから「OK」と判断されたイベントが、通知判定テーブル161に通知不要イベントとして規定されていない場合、現時点で判定規範は適正な値であると判定され、判定規範学習処理は終了する。
ステップS404において、学習対象イベントが非通知イベントであると判定された場合、すなわち、ユーザから「OK」と判断されたイベントが、通知判定テーブル161に通知不要イベントとして規定されている場合、判定規範は適正な値でないと判定され、処理はステップS405に進み、反応しきい値が調整される。
ステップS405において、判定規範学習部55は、反応しきい値を現在の値から予め定められた所定の値だけ小さな値に調整する。すなわち、固定された値に基づき調整が行なわれるため、センサデータが存在しなくても調整が可能になる。これにより、マイクロ波センサ反応判定処理によるマイクロ波センサ22の反応の検出基準が低くなり(マイクロ波センサ22から出力される接近反応データ101または離反反応データ102のより少ない個数により、マイクロ波センサ22が接近反応または離反反応していると判定されるようになり)、状態記述部41がマイクロ波センサ22の反応を検知する感度が高くなる。すなわち、センサデータのより小さな変化からマイクロ波センサ22の状態(イベント)が検出できるように検出条件が調整される。従って、発生したイベントに対する状態記述データ151のパターンが増加し、イベントの分類が細分化されるため、ユーザが「OK」と判断したイベントと「NG」と判断したイベントの状態記述データ151が異なるパターンとなり、それぞれのイベントを識別できる可能性が高くなる。
ただし、センサデータ方式のように、調整された反応しきい値が、センサデータに基づき現時点で最適な条件(イベントに対するユーザからのフィードバックによる通知が必要か否かの評価と、イベント通知判定処理の判定結果が一致する条件)か否かを確認できないため、省電力方式では、判定規範学習期間が、センサデータ方式と比べて長めに設定される。あるいは、判定規範学習期間を、判定規範学習処理の実行回数により規定する場合は、その回数がセンサデータ方式と比べて多めに設定される。
以上の省電力方式における処理により、センサデータを用いずに反応しきい値を調整できるようになる。
また、本発明では、CCDカメラに限らず、CMOS(Complementary Metal Oxide Semiconductor)カメラやその他のカメラを使用することも可能である。
さらに、マルチセンサカメラ1や呈示部3は、1台ではなく、複数台設けるようにしたり、処理ボックス2は、呈示部3と別の筐体とせず、一体型とするようにしたり、リモートコントローラ4に呈示部82を設けずに、呈示部3のみの呈示とするようにしたり、あるいは、処理ボックス2にユーザフィードバックを入力するための入力部を設けるようにすることができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
図35は、汎用のパーソナルコンピュータ300の内部の構成例を示す図である。CPU(Central Processing Unit)301は、ROM(Read Only Memory)302に記憶されているプログラム、または記憶部308からRAM(Random Access Memory)303にロードされたプログラムに従って各種の処理を実行する。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU301、ROM302、およびRAM303は、バス304を介して相互に接続されている。このバス304にはまた、入出力インターフェース305も接続されている。
入出力インターフェース305には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部306、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などのディスプレイ、並びにスピーカなどで構成される出力部307、ハードディスクなどで構成される記憶部308、およびモデムやターミナルアダプタなどで構成される通信部309が接続されている。通信部309は、インターネットを含むネットワークを介して通信処理を行う。
入出力インターフェース305にはまた、必要に応じてドライブ310が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア311が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部308にインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図35に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア311により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM303または記憶部308に含まれるハードディスクなどで構成される。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
本発明を適用した監視システムの構成例を示す図である。 マルチセンサカメラの外観の構成例を示す図である。 マイクロ波センサの監視領域を示す平面図である。 図1のマルチセンサカメラの機能的構成例を示すブロック図である。 図1の処理ボックス、呈示部、およびリモートコントローラの機能的構成例を示すブロック図である。 マイクロ波センサの監視領域内の人物の動きを説明する図である。 マイクロ波センサが出力するセンサデータの例を示す図である。 マイクロ波センサの監視領域内の人物の動きと、人物の動きに対してマイクロ波センサが出力するセンサデータの例を示す図である。 マイクロ波センサの監視領域内の人物の動きと、人物の動きに対してマイクロ波センサが出力するセンサデータの例を示す図である。 マイクロ波センサが出力するセンサデータの例を示す図である。 人物の行動に応じて記述されるマイクロ波センサの状態番号の例を示す図である。 状態記述データの例を示す図である。 マイクロ波センサの監視領域内の人物の動きを説明する図である。 マイクロ波センサが出力するセンサデータの例を示す図である。 状態記述データの例を示す図である。 通知判定テーブルの例を示す図である。 イベント通知判定処理を説明する図である。 図4の通知判定テーブル更新部の詳細な構成例を示すブロック図である。 マルチセンサカメラにおける処理を説明するフローチャートである。 マルチセンサカメラにおける処理を説明するフローチャートである。 マイクロ波センサの監視領域内の人物の動きを説明する図である。 マイクロ波センサが出力するセンサデータの例を示す図である。 処理ボックスにおける処理を説明するフローチャートである。 処理ボックスにおける処理を説明するフローチャートである。 通知判定テーブル更新処理の詳細を説明するフローチャートである。 判定規範学習処理の詳細を説明するフローチャートである。 マイクロ波センサの監視領域内の人物の動きを説明する図である。 マイクロ波センサが出力するセンサデータの例を示す図である。 リモートコントローラにおける処理を説明するフローチャートである。 マルチセンサカメラにおける省電力方式の処理を説明するフローチャートである。 マルチセンサカメラにおける省電力方式の処理を説明するフローチャートである。 処理ボックスにおける省電力方式の処理を説明するフローチャートである。 処理ボックスにおける省電力方式の処理を説明するフローチャートである。 省電力方式の判定規範学習処理の詳細を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を示すブロック図である。
符号の説明
1 マルチセンサカメラ, 2 処理ボックス, 3 呈示部, 4 リモートコントローラ, 10 監視システム, 22 マイクロ波センサ, 41 状態記述部, 42 イベント通知判定部, 52 呈示画像構築部, 53 状態記述データ蓄積部, 54 通知判定テーブル更新部, 55 判定規範学習部, 82 呈示部, 83 入力部, 211 ユーザフィードバック判定部, 212 状態記述パターン比較部, 213 新規パターン作成部, 214 既存パターン更新部, 215 仮通知判定テーブル蓄積部, 216 テーブル比較部, 217 過去通知判定テーブル蓄積部

Claims (26)

  1. 監視処理を実行する監視システムにおいて、
    監視領域の監視に基づく第1のデータを出力する第1のセンサと、
    監視領域の監視に基づく第2のデータを出力する第2のセンサと、
    監視領域のイベントの状態を、予め定められている検出条件に基づいて、前記第1のセンサにより出力された前記第1のデータから検出するイベント検出手段と、
    前記イベント検出手段により検出された前記イベントの状態に基づき、前記イベントの通知を制御する通知制御手段と、
    前記通知制御手段により通知するように制御された前記イベントに関する前記第2のセンサにより出力された前記第2のデータの呈示を制御する呈示制御手段と、
    前記呈示制御手段による制御に基づき呈示された前記第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得手段と、
    前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ、および前記入力取得手段により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整手段と
    を備えることを特徴とする監視システム。
  2. 前記検出条件調整手段は、前記イベントの特徴データ、および前記通知の必要性を評価する入力の他、さらに前記イベントに関する前記第1のデータに基づき前記検出条件を調整する
    ことを特徴とする請求項1に記載の監視システム。
  3. 前記イベントの状態、および前記通知の必要性を評価する入力に基づき、前記イベントの通知の必要性を判定する判定情報を生成する判定情報生成手段をさらに備え、
    前記通知制御手段は、前記判定情報に基づき、前記イベントの通知を制御する
    ことを特徴とする請求項1に記載の監視システム。
  4. 前記検出条件調整手段は、前記イベントに対する前記入力取得手段により取得されたユーザからの通知の必要性の評価と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果が不一致となった場合、前記検出条件を、前記第1のセンサにより出力された前記第1のデータのより小さな変化から前記第1のセンサの状態が検出される条件に調整する
    ことを特徴とする請求項3に記載の監視システム。
  5. 前記イベントに関する前記第1のデータ、前記イベントの特徴データ、および前記通知の必要性を評価する入力を関連付けて蓄積する蓄積手段をさらに備え、
    前記検出条件調整手段は、前記蓄積手段により蓄積された前記イベントの特徴データおよび前記通知の必要性を評価する入力の他、前記蓄積手段により蓄積された前記イベントに関する前記第1のデータに基づき、前記イベントに対する前記入力取得手段により取得されたユーザからの通知の必要性の評価と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果が一致するように前記検出条件を調整する
    ことを特徴とする請求項3に記載の監視システム。
  6. 前記検出条件調整手段は、前記蓄積手段により蓄積された前記イベントに関する前記第1のデータ、および前記検出条件調整手段により調整された前記検出条件に基づき、前記蓄積手段により蓄積されている前記イベントの特徴データを更新し、
    前記判定情報生成手段は、前記更新されたイベントの特徴データ、および前記蓄積手段により蓄積された前記通知の必要性を評価する入力に基づき、前記判定情報を生成する
    ことを特徴とする請求項5に記載の監視システム。
  7. 前記第1のセンサは、マイクロ波センサを含み、
    前記第2のセンサは、カメラを含む
    ことを特徴とする請求項1に記載の監視システム。
  8. 前記第1のセンサ、前記第2のセンサ、前記イベント検出手段、前記呈示制御手段、前記入力取得手段、および前記検出条件調整手段は、第1の情報処理装置および第2の情報処理装置のいずれかに分離して配置される
    ことを特徴とする請求項1に記載の監視システム。
  9. 前記第1の情報処理装置と前記第2の情報処理装置の間における通信は、無線通信により行われる
    ことを特徴とする請求項8に記載の監視システム。
  10. 前記第1の情報処理装置は、バッテリにより駆動される
    ことを特徴とする請求項8に記載の監視システム。
  11. 前記検出条件は、直近の所定の期間に前記第1のセンサにより出力された前記第1のデータの個数を比較するしきい値であり、
    前記検出条件調整手段は、前記しきい値を調整する
    ことを特徴とする請求項1に記載の監視システム。
  12. 監視処理を実行する監視システムの情報処理方法において、
    第1のセンサによる監視領域の監視に基づく第1のデータを取得するデータ取得ステップと、
    監視領域のイベントの状態を、予め定められている検出条件に基づいて、前記データ取得ステップの処理により取得された前記第1のデータから検出するイベント検出ステップと、
    前記イベント検出ステップの処理により検出された前記イベントの状態に基づき、前記イベントの通知を制御する通知制御ステップと、
    前記通知制御ステップの処理により通知するように制御された前記イベントに関する第2のセンサによる監視領域の監視に基づき出力された第2のデータの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理による制御に基づき呈示された前記第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得ステップと、
    前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ、および前記入力取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップと
    を含むことを特徴とする情報処理方法。
  13. 監視処理を実行するプログラムであって、
    第1のセンサによる監視領域の監視に基づく第1のデータを取得するデータ取得ステップと、
    監視領域のイベントの状態を、予め定められている検出条件に基づいて、前記データ取得ステップの処理により取得された前記第1のデータから検出するイベント検出ステップと、
    前記イベント検出ステップの処理により検出された前記イベントの状態に基づき、前記イベントの通知を制御する通知制御ステップと、
    前記通知制御ステップの処理により通知するように制御された前記イベントに関する第2のセンサによる監視領域の監視に基づき出力された第2のデータの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理による制御に基づき呈示された前記第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得ステップと、
    前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ、および前記入力取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  14. 監視処理を実行するプログラムであって、
    第1のセンサによる監視領域の監視に基づく第1のデータを取得するデータ取得ステップと、
    監視領域のイベントの状態を、予め定められている検出条件に基づいて、前記データ取得ステップの処理により取得された前記第1のデータから検出するイベント検出ステップと、
    前記イベント検出ステップの処理により検出された前記イベントの状態に基づき、前記イベントの通知を制御する通知制御ステップと、
    前記通知制御ステップの処理により通知するように制御された前記イベントに関する第2のセンサによる監視領域の監視に基づき出力された第2のデータの呈示を制御する呈示制御ステップと、
    前記呈示制御ステップの処理による制御に基づき呈示された前記第2のデータに対するユーザからの通知の必要性を評価する入力を取得する入力取得ステップと、
    前記イベントの状態に基づく前記イベントの特徴を表わす特徴データ、および前記入力取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  15. 監視処理を実行する情報処理装置において、
    第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントの状態に基づく前記イベントの特徴を表わす特徴データを取得するとともに、前記イベントに関する第2のセンサにより出力されたデータを取得する第1の取得手段と、
    前記第1の取得手段により取得された前記第2のセンサにより出力されたデータの呈示を制御する呈示制御手段と、
    前記呈示制御手段による制御に基づき呈示された前記第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第2の取得手段と、
    前記第1の取得手段により取得された前記イベントの特徴データ、および前記第2の取得手段により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整手段と
    を備えることを特徴とする情報処理装置。
  16. 前記検出条件を他の情報処理装置に送信する送信手段をさらに備える
    ことを特徴とする請求項15に記載の情報処理装置。
  17. 前記イベントの特徴データ、および前記通知の必要性を評価する入力に基づき、イベントの通知の必要性を判定する判定情報を生成する判定情報生成手段をさらに備える
    ことを特徴とする請求項15に記載の情報処理装置。
  18. 前記検出条件調整手段は、前記イベントに対する前記第2の取得手段により取得されたユーザからの通知の必要性の評価と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果が不一致となった場合、前記検出条件を、前記第1のセンサにより監視領域の監視に基づき出力されたデータのより小さな変化から前記第1のセンサの状態が検出される条件に調整する
    ことを特徴とする請求項17に記載の情報処理装置。
  19. 前記判定情報を他の情報処理装置に送信する送信手段を
    さらに備えることを特徴とする請求項17に記載の情報処理装置。
  20. 前記第1の取得手段は、前記第1のセンサにより監視領域の監視に基づき出力された、前記イベントに関するデータをさらに取得し、
    前記検出条件調整手段は、前記イベントの特徴データおよび前記通知の必要性を評価する入力の他、前記イベントに関する前記第1のセンサが出力するデータに基づき、前記検出条件を調整する
    ことを特徴とする請求項15に記載の情報処理装置。
  21. 前記イベントの特徴データ、および前記通知の必要性を評価する入力に基づき、イベントの通知の必要性を判定する判定情報を生成する判定情報生成手段と、
    前記イベントに関する前記第1のセンサが出力するデータ、前記イベントの特徴データ、および前記通知の必要性を評価する入力を関連付けて蓄積する蓄積手段とをさらに備え、
    前記検出条件調整手段は、前記蓄積手段により蓄積された前記イベントの特徴データおよび前記通知の必要性を評価する入力の他、前記蓄積手段により蓄積された前記イベントに関する前記第1のデータに基づき、前記イベントに対する前記第2の取得手段により取得されたユーザからの通知の必要性の評価と、前記判定情報に基づく前記イベントに対する通知の必要性の判定の結果が一致するように前記検出条件を調整する
    ことを特徴とする請求項20に記載の情報処理装置。
  22. 前記検出条件調整手段は、前記蓄積手段により蓄積された前記イベントに関する前記第1のセンサが出力するデータ、および前記検出条件調整手段により調整された前記検出条件に基づき、前記蓄積手段により蓄積されている前記イベントの特徴データを更新し、
    前記判定情報生成手段は、前記更新されたイベントの特徴データ、および前記蓄積手段により蓄積された前記通知の必要性を評価する入力に基づき、前記判定情報を生成する
    ことを特徴とする請求項21に記載の情報処理装置。
  23. 前記検出条件は、直近の所定の期間に前記第1のセンサにより出力されたデータの個数を比較するしきい値であり、
    前記検出条件調整手段は、前記しきい値を調整する
    ことを特徴とする請求項15に記載の情報処理装置。
  24. センサが出力するデータに基づく監視処理を実行する情報処理装置の情報処理方法において、
    第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントに関する第2のセンサにより出力されたデータを取得する第1の取得ステップと、
    前記第1の取得ステップの処理により取得された前記第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップと、
    前記第1のセンサにより検出された前記イベントの状態に基づく前記イベントの特徴を表わす特徴データを取得する第2の取得ステップと、
    前記呈示制御ステップの処理による制御に基づき呈示された前記第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第3の取得ステップと、
    前記第2の取得ステップの処理により取得された前記イベントの特徴データ、および前記第3の取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップと
    を含むことを特徴とする情報処理方法。
  25. センサが出力するデータに基づく監視処理を実行するプログラムであって、
    第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントに関する第2のセンサにより出力されたデータを取得する第1の取得ステップと、
    前記第1の取得ステップの処理により取得された前記第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップと、
    前記第1のセンサにより検出された前記イベントの状態に基づく前記イベントの特徴を表わす特徴データを取得する第2の取得ステップと、
    前記呈示制御ステップの処理による制御に基づき呈示された前記第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第3の取得ステップと、
    前記第2の取得ステップの処理により取得された前記イベントの特徴データ、および前記第3の取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  26. センサが出力するデータに基づく監視処理を実行するプログラムであって、
    第1のセンサの監視領域の監視により、予め定められている検出条件に基づき検出されたイベントに関する第2のセンサにより出力されたデータを取得する第1の取得ステップと、
    前記第1の取得ステップの処理により取得された前記第2のセンサにより出力されたデータの呈示を制御する呈示制御ステップと、
    前記第1のセンサにより検出された前記イベントの状態に基づく前記イベントの特徴を表わす特徴データを取得する第2の取得ステップと、
    前記呈示制御ステップの処理による制御に基づき呈示された前記第2のセンサにより出力されたデータに対するユーザからの通知の必要性を評価する入力を取得する第3の取得ステップと、
    前記第2の取得ステップの処理により取得された前記イベントの特徴データ、および前記第3の取得ステップの処理により取得された前記通知の必要性を評価する入力に基づき、前記検出条件を調整する検出条件調整ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2003328266A 2003-09-19 2003-09-19 監視システム、情報処理装置および方法、記録媒体、並びにプログラム Pending JP2005092740A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003328266A JP2005092740A (ja) 2003-09-19 2003-09-19 監視システム、情報処理装置および方法、記録媒体、並びにプログラム
US10/938,519 US7146286B2 (en) 2003-09-19 2004-09-13 Monitoring system, information processing apparatus and method, recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003328266A JP2005092740A (ja) 2003-09-19 2003-09-19 監視システム、情報処理装置および方法、記録媒体、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2005092740A true JP2005092740A (ja) 2005-04-07

Family

ID=34457899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003328266A Pending JP2005092740A (ja) 2003-09-19 2003-09-19 監視システム、情報処理装置および方法、記録媒体、並びにプログラム

Country Status (2)

Country Link
US (1) US7146286B2 (ja)
JP (1) JP2005092740A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100740030B1 (ko) 2006-08-07 2007-07-16 (주)아이디스 관제센터용 리모트 컨트롤러 및 그와 데이터 통신 가능한감시영상 녹화장치
JP2016191973A (ja) * 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7626608B2 (en) * 2003-07-10 2009-12-01 Sony Corporation Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
EP2122537A4 (en) * 2007-02-08 2010-01-20 Utc Fire & Security Corp SYSTEM AND METHOD FOR IMPROVING THE VIDEO PROCESSING ALGORITHM
ITPO20080010A1 (it) * 2008-09-02 2010-03-03 Roberto Casati Ti vedo (vi sorveglio)sistema completo di videosorveglianza attivasorveglianza, allertamento, verifica on-line ed interazione con la demotica.
JP2010149537A (ja) * 2008-12-23 2010-07-08 Autonetworks Technologies Ltd 制御装置、制御方法及びコンピュータプログラム
US20100257113A1 (en) * 2009-04-06 2010-10-07 Microsoft Corporation Metric-based events for social networks
US9329667B2 (en) * 2012-11-21 2016-05-03 Completecover, Llc Computing device employing a proxy processor to learn received patterns
US11022511B2 (en) 2018-04-18 2021-06-01 Aron Kain Sensor commonality platform using multi-discipline adaptable sensors for customizable applications

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4772875A (en) * 1986-05-16 1988-09-20 Denning Mobile Robotics, Inc. Intrusion detection system
GB9512753D0 (en) * 1995-06-22 1995-08-30 Dando David J Intrusion sensing system
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
US6690411B2 (en) * 1999-07-20 2004-02-10 @Security Broadband Corp. Security system
US6972676B1 (en) * 1999-09-01 2005-12-06 Nettalon Security Systems, Inc. Method and apparatus for remotely monitoring a site
US6525658B2 (en) * 2001-06-11 2003-02-25 Ensco, Inc. Method and device for event detection utilizing data from a multiplicity of sensor sources
JP4003591B2 (ja) * 2002-07-11 2007-11-07 ソニー株式会社 モニタリングシステム、モニタリング方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100740030B1 (ko) 2006-08-07 2007-07-16 (주)아이디스 관제센터용 리모트 컨트롤러 및 그와 데이터 통신 가능한감시영상 녹화장치
JP2016191973A (ja) * 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム

Also Published As

Publication number Publication date
US7146286B2 (en) 2006-12-05
US20050143954A1 (en) 2005-06-30

Similar Documents

Publication Publication Date Title
US7944471B2 (en) Object detecting apparatus and method, program and recording medium used therewith, monitoring system and method, information processing apparatus and method, and recording medium and program used therewith
JP2005092740A (ja) 監視システム、情報処理装置および方法、記録媒体、並びにプログラム
US11831940B2 (en) Systems, methods and apparatus for interacting with a security system using a television remote control
US7840284B2 (en) Information processing system and associated methodology of surveillance event monitoring
WO2018232922A1 (zh) 一种家居安防方法及系统
CN111552189A (zh) 一种启动场景模式的方法、智能家居控制器及存储介质
US7697030B2 (en) Control device and method
US11393306B2 (en) Intruder detection method and apparatus
CN104678770B (zh) 位移事件检测方法和系统
US7257235B2 (en) Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer
CN109491268B (zh) 一种具有隐私保护功能的智能装置
KR100297059B1 (ko) 스테레오 비젼의 3차원 정보를 이용한 동작 검출기 및 그 방법
CN108573584A (zh) 智能音响和基于智能音响的监控系统及方法
US20230064892A1 (en) Camera operating system and method
JP4861097B2 (ja) 侵入者検知システム
JP4457632B2 (ja) 監視装置および方法、記録媒体、並びにプログラム
JP4605429B2 (ja) 監視システム、情報処理装置および方法、記録媒体、並びにプログラム
KR100335837B1 (ko) 지능형 보안체제 시스템
JP4367066B2 (ja) セキュリティ装置およびセキュリティ方法、並びにセキュリティシステム
JP3965580B2 (ja) 監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム
KR100950734B1 (ko) 댁내 경보시스템에서의 이상상태 자동인식방법 및 인터넷냉장고
JP2004140623A (ja) 情報処理システムおよび方法、情報処理装置、記録媒体、並びにプログラム
JP2006155435A (ja) 不審者検出装置
JPH11272964A (ja) 画像監視システム
JP4438341B2 (ja) 監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081030

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090312