以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現したり、追加される発明の存在を否定するものではない。
本発明の監視システム(例えば、図1の監視システム1)は、監視領域の監視に基づく第1のデータ(例えば、センサデータ)を出力する第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)と、監視領域の監視に基づく第2のデータ(例えば、画像データ)を出力する第2のセンサ(例えば、図3のカメラ44)と、前記第1のセンサにより出力された前記第1のデータに基づいて、監視領域の状況の変化に伴うイベントの発生および特性(例えば、状態履歴データ)を検出するイベント検出手段(例えば、図3のイベント検出部42)と、前記イベント検出手段により検出されたイベントに関する前記第2のセンサにより出力された前記第2のデータに、前記イベントの特性を表わすデータを付加してイベント情報(例えば、イベント情報)として記録する情報記録手段(例えば、図4のデータ記録部62)とを備える。
この監視システム(例えば、図1の監視システム1)は、前記情報記録手段により記録された前記第2のデータの呈示を、前記イベントの特性を表わすデータに基づき制御する呈示制御手段(例えば、図4のデータ呈示制御部64)をさらに備えるようにすることができる。
この監視システム(例えば、図1の監視システム1)は、前記情報記録手段により記録された前記第2のデータの呈示を、前記イベントの特性のパターン(例えば、状態遷移パターン)の発生頻度に基づき制御するようにすることができる。
この監視システム(例えば、図1の監視システム1)は、ユーザからの情報の入力を取得する入力取得手段(例えば、図4のユーザ入力部65)をさらに備えるようにすることができる。
この監視システム(例えば、図1の監視システム1)においては、前記入力取得手段は、ユーザからの前記第2のデータの呈示のモード(例えば、呈示モード)を指定する指令の入力を取得し、前記呈示制御手段は、前記情報記録手段により記録された前記第2のデータの呈示を、前記ユーザからの指令の入力に基づき制御するようにすることができる。
この監視システム(例えば、図1の監視システム1)においては、前記入力取得手段は、前記呈示制御手段により制御された呈示に基づく、ユーザからの評価(例えば、重要度およびユーザへの通知が不要とする評価)の入力を取得し、前記イベントの特性を表わすデータならびに前記入力取得手段により取得されたユーザからの評価の入力に基づいて、イベント分類情報(例えば、イベント分類テーブルおよび通知不要テーブル)を生成するイベント分類情報生成手段(例えば、図4の分類情報生成部66)とをさらに備えるようにすることができる。
この監視システム(例えば、図1の監視システム1)においては、前記呈示制御手段は、前記情報記録手段により記録された前記第2のデータの呈示を、前記イベント分類情報(例えば、イベント分類テーブル)に基づき制御するようにすることができる。
この監視システム(例えば、図1の監視システム1)においては、前記入力取得手段は、前記呈示制御手段による制御に基づき呈示された前記第2のデータに対するユーザからの重要度(例えば、重要度)の入力を取得し、前記イベント分類情報生成手段は、前記イベントの特性を表わすデータのパターンに対して、前記重要度を対応付けたイベント分類情報(例えば、イベント分類テーブル)を生成し、前記呈示制御手段は、前記情報記録手段により記録された前記第2のデータの呈示を、前記イベント分類情報に記録された前記重要度に基づき制御するようにすることができる。
この監視システム(例えば、図1の監視システム1)は、前記イベント分類情報生成手段により生成されたイベント分類情報を蓄積するイベント分類情報蓄積手段(例えば、図4の分類情報蓄積部67)をさらに備えるようにすることができる。
この監視システム(例えば、図1の監視システム1)は、前記イベント分類情報に基づき、前記イベント検出手段により検出されたイベントに関する前記イベント情報の記録を制御するイベント記録制御手段(例えば、図3のイベント記録制御部43)をさらに備えるようにすることができる。
この監視システム(例えば、図1の監視システム1)においては、前記入力取得手段は、前記呈示制御手段による制御に基づき呈示された前記第2のデータに対するユーザからの記録の必要性を評価(例えば、今後は記録が不要とする評価)する入力を取得し、前記イベント分類情報生成手段は、前記イベントの特性ならびに前記記録の必要性を評価する入力に基づき、イベントの記録の必要性を判定するイベント分類情報(例えば、通知不要テーブル)を生成し、前記イベント記録制御手段は、前記イベント分類情報に基づき、前記イベント検出手段により検出されたイベントに関する前記イベント情報の記録を制御するようにすることができる。
この監視システム(例えば、図24の監視システム101)は、前記第2のセンサ(例えば、図25のカメラ144)により出力された前記第2のデータを一時記録する一時記録手段(例えば、図25のデータ一時記録部147)をさらに備え、前記イベント記録制御手段(例えば、図25のイベント記録制御部143)による制御により、前記一時記録された第2のデータを、前記情報記録手段(例えば、図4のデータ記録部62)に供給するようにすることができる。
この監視システム(例えば、図1の監視システム1)においては、前記第1のセンサ、前記第2のセンサ、前記イベント検出手段、および前記情報記録手段は、第1の情報処理装置(例えば、図1のマルチセンサカメラ11)、および第2の情報処理装置(例えば、図1のサーバ12)のいずれかに配置されるようにすることができる。
本発明の情報処理方法は、監視領域の監視に基づき第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴うイベントの発生および特性(例えば、状態履歴データ)を検出するイベント検出ステップ(例えば、図7のステップS4)と、前記イベント検出ステップの処理により検出されたイベントに関する第2のセンサ(例えば、図3のカメラ44)により監視領域の監視に基づき出力された第2のデータ(例えば、画像データ)に、前記イベントの特性を表わすデータを付加してイベント情報(例えば、イベント情報)として記録する情報記録ステップ(例えば、図9のステップS45)とを含む。
本発明のプログラムは、監視領域の監視に基づき第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴うイベントの発生および特性(例えば、状態履歴データ)を検出するイベント検出ステップ(例えば、図7のステップS4)と、前記イベント検出ステップの処理により検出されたイベントに関する第2のセンサ(例えば、図3のカメラ44)により監視領域の監視に基づき出力された第2のデータ(例えば、画像データ)に、前記イベントの特性を表わすデータを付加してイベント情報(例えば、イベント情報)として記録する情報記録ステップ(例えば、図9のステップS45)とを含む。
本発明の情報処理装置(例えば、図1のマルチセンサカメラ11)は、監視領域の監視に基づく第1のデータ(例えば、センサデータ)を出力する第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)と、監視領域の監視に基づく第2のデータ(例えば、画像データ)を出力する第2のセンサ(例えば、図3のカメラ44)と、前記第1のセンサにより出力された前記第1のデータに基づいて、監視領域の状況の変化に伴うイベントの発生および特性(例えば、状態履歴データ)を検出するイベント検出手段(例えば、図3のイベント検出部42)と、前記イベント検出手段により検出されたイベントに関する前記第2のセンサにより出力された前記第2のデータ、および前記イベントの特性を表わすデータを他の情報処理装置(例えば、図1のサーバ12)に送信する送信手段(例えば、図3の通信部45)とを備える。
本発明の情報処理装置(例えば、図1のマルチセンサカメラ11)は、前記イベント検出手段により検出された前記イベントの特性、およびユーザからの指令に基づくイベント分類情報(例えば、通知不要テーブル)に基づいて、前記イベント検出手段により検出されたイベントに関する前記イベント情報の前記他の情報処理装置における記録を制御するイベント記録制御手段(例えば、図3のイベント記録制御部43)をさらに備えるようにすることができる。
本発明の情報処理装置(例えば、図24のマルチセンサカメラ111)は、前記第2のセンサ(例えば、図25のカメラ144)により出力された前記第2のデータを一時記録する一時記録手段(例えば、図25のデータ一時記録部147)をさらに備え、前記イベント記録制御手段(例えば、図25のイベント記録制御部143)による制御により、前記一時記録された第2のデータを、前記他の情報処理装置(例えば、図1のサーバ12)に送信するようにすることができる。
本発明の情報処理方法は、監視領域の監視に基づき第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴うイベントの発生および特性(例えば、状態履歴データ)を検出するイベント検出ステップ(例えば、図7のステップS4)と、前記イベント検出ステップの処理により検出されたイベントに関する第2のセンサ(例えば、図3のカメラ44)により監視領域の監視に基づき出力された第2のデータ(例えば、画像データ)、および前記イベントの特性を表わすデータを他の情報処理装置(例えば、図1のサーバ12)に送信する送信ステップ(例えば、図7のステップS8および図8のステップS11)とを含む。
本発明のプログラムは、監視領域の監視に基づき第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)から出力された第1のデータ(例えば、センサデータ)に基づいて、監視領域の状況の変化に伴うイベントの発生および特性(例えば、状態履歴データ)を検出するイベント検出ステップ(例えば、図7のステップS4)と、前記イベント検出ステップの処理により検出されたイベントに関する第2のセンサ(例えば、図3のカメラ44)により監視領域の監視に基づき出力された第2のデータ(例えば、画像データ)、および前記イベントの特性を表わすデータを他の情報処理装置(例えば、図1のサーバ12)に送信する送信ステップ(例えば、図7のステップS8および図8のステップS11)とを含む。
本発明の情報処理装置(例えば、図1のサーバ12)は、第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)の監視領域の監視に基づき生成されたイベントの特性(例えば、状態履歴データ)を表わすデータ、および第2のセンサ(例えば、図3のカメラ44)の監視領域の状況の変化に伴うイベントのデータ(例えば、画像データ)を受信する受信手段と、前記イベントの特性(例えば、状態履歴データ)を表わすデータと前記イベントのデータとを対応付けてイベント情報(例えば、イベント情報)として記録する情報記録手段(例えば、図4のデータ記録部62)とを備える。
この情報処理装置(例えば、図1のサーバ12)は、前記情報記録手段により記録された前記イベントのデータの呈示を、前記イベントの特性を表わすデータに基づき制御する呈示制御手段(例えば、図4のデータ呈示制御部64)をさらに備えるようにすることができる。
この情報処理装置(例えば、図1のサーバ12)においては、前記情報記録手段により記録された前記イベントのデータの呈示を、前記イベントの特性のパターン(例えば、状態遷移パターン)の発生頻度に基づき制御するようにすることができる。
この情報処理装置(例えば、図1のサーバ12)は、ユーザからの情報の入力を取得する入力取得手段(例えば、図4のユーザ入力部65)をさらに備えるようにすることができる。
この情報処理装置(例えば、図1のサーバ12)においては、前記入力取得手段は、ユーザからの前記イベントのデータの呈示のモード(例えば、呈示モード)を指定する指令の入力を取得し、前記呈示制御手段は、前記情報記録手段により記録された前記イベントのデータの呈示を、前記ユーザからの指令の入力に基づき制御するようにすることができる。
この情報処理装置(例えば、図1のサーバ12)においては、前記入力取得手段は、前記呈示制御手段により制御された呈示に基づく、ユーザからの評価(例えば、重要度およびユーザへの通知が不要とする評価)の入力を取得し、前記イベントの特性を表わすデータならびに前記入力取得手段により取得されたユーザからの評価の入力に基づいて、イベント分類情報(例えば、イベント分類テーブルおよび通知不要テーブル)を生成するイベント分類情報生成手段(例えば、図4の分類情報生成部66)とをさらに備えるようにすることができる。
この情報処理装置(例えば、図1のサーバ12)においては、前記呈示制御手段は、前記情報記録手段により記録された前記イベントのデータの呈示を、前記イベント分類情報(例えば、イベント分類テーブル)に基づき制御するようにすることができる。
この情報処理装置(例えば、図1のサーバ12)においては、前記入力取得手段は、前記呈示制御手段による制御に基づき呈示された前記イベントのデータに対するユーザからの重要度(例えば、重要度)の入力を取得し、前記イベント分類情報生成手段は、前記イベントの特性のパターンに対して、前記重要度を記録したイベント分類情報(例えば、イベント分類テーブル)を生成し、前記呈示制御手段は、前記情報記録手段により記録された前記イベントのデータの呈示を、前記イベント分類情報に記録された前記重要度に基づき制御するようにすることができる。
この情報処理装置(例えば、図1のサーバ12)は、前記イベント分類情報生成手段により生成されたイベント分類情報を蓄積するイベント分類情報蓄積手段(例えば、図4の分類情報蓄積部67)をさらに備えるようにすることができる。
この情報処理装置(例えば、図1のサーバ12)においては、前記入力取得手段は、前記呈示制御手段による制御に基づき呈示された前記イベントのデータに対するユーザからの記録の必要性を評価(例えば、今後は記録が不要とする評価)する入力を取得し、前記イベント分類情報生成手段は、前記イベントの特性を表わすデータならびに前記記録の必要性を評価する入力に基づき、イベントの記録の必要性を判定するイベント分類情報(例えば、通知不要テーブル)を生成するようにすることができる。
本発明の情報処理方法は、第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)の監視領域の監視に基づき生成されたイベントの特性(例えば、状態履歴データ)を表わすデータ、および第2のセンサ(例えば、図3のカメラ44)の監視領域の状況の変化に伴うイベントのデータ(例えば、画像データ)を取得する取得ステップ(例えば、図9のステップS41および図9のステップS44)と、前記イベントの特性(例えば、状態履歴データ)を表わすデータと前記イベントのデータとを対応付けてイベント情報(例えば、イベント情報)として記録する情報記録ステップ(例えば、図9のステップS45)とを含む。
本発明のプログラムは、第1のセンサ(例えば、図3のフォトセンサ41−1乃至41−4)の監視領域の監視に基づき生成されたイベントの特性(例えば、状態履歴データ)を表わすデータ、および第2のセンサ(例えば、図3のカメラ44)の監視領域の状況の変化に伴うイベントのデータ(例えば、画像データ)を取得する取得ステップ(例えば、図9のステップS41および図9のステップS44)と、前記イベントの特性(例えば、状態履歴データ)を表わすデータと前記イベントのデータとを対応付けてイベント情報(例えば、イベント情報)として記録する情報記録ステップ(例えば、図9のステップS45)とを含む。
以下、図を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用した監視システム1の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ11が設けられており、図中右側の通知・呈示側に、サーバ12、および呈示部13が設けられている。マルチセンサカメラ11とサーバ12は、無線通信を行う。呈示部13は、例えば、一般のテレビジョン受像機や専用のモニタとされる。
マルチセンサカメラ11には、複数のセンサが設けられており、各センサは、バッテリにより駆動される。また、各センサは、イベントを監視したい領域(必要な場所)を監視できるように設置されている。イベントが発生した場合、マルチセンサカメラ11からサーバ12にイベント情報が通知され、サーバ12でイベント情報が記録される。サーバ12で記録されたイベント情報は、ユーザの指令に基づき、呈示部13に送信され、呈示される。
図2は、図1のマルチセンサカメラ11の監視領域を示した図である。マルチセンサカメラ11には、4つのフォトセンサ41−1乃至41−4が設けられている。フォトセンサ41−1乃至41−4は、それぞれ1平面上の2×2個のマトリックス状に配置された領域31−1乃至31−4を監視する。フォトセンサ41−1乃至41−4は、受光光量に、予め設定されている基準を超える変化があった時、イベントの発生を検出する。
監視システム1では、フォトセンサ41−1乃至41−4の状態により、イベントの状態が分類される。そして、分類した状態毎に番号(以下、状態番号と称する)がつけられる。図1の監視システム1においては、フォトセンサ41−1のみがイベントを検出している時の状態の状態番号が状態番号1、フォトセンサ41−2のみがイベントを検出している時の状態の状態番号が状態番号2、フォトセンサ41−3のみがイベントを検出している時の状態の状態番号が状態番号3、フォトセンサ41−4のみがイベントを検出している時の状態の状態番号が状態番号4と定義される。
イベント発生から終了までの、イベントの状態番号の遷移パターンが、状態遷移パターンとされる。例えば、監視システム1内の監視領域内を人21が図2の矢印で示した経路で移動するイベントが発生した場合、フォトセンサ41−1、フォトセンサ41−2、フォトセンサ41−4、フォトセンサ41−3が、その順にイベントを検出してイベントが終了する。このイベントの状態遷移パターンは、状態番号1,状態番号2,状態番号4,状態番号3のように記述される。
イベントの状態遷移パターンに、各状態における継続時間を付加したデータが、状態履歴データとされる。例えば、図2の例で、フォトセンサ41−1が2秒間イベントを検出し、次にフォトセンサ41−2が1秒間イベントを検出し、その次にフォトセンサ41−4が4秒間イベントを検出し、最後にフォトセンサ41−3が3秒間イベントを検出してイベントが終了した場合、このイベントの状態履歴データは、状態番号1(2秒),状態番号2(1秒),状態番号4(4秒),状態番号3(3秒)のように記述される。
図3は、図1のマルチセンサカメラ11の機能的構成を示すブロック図である。
マルチセンサカメラ11には、フォトセンサ41−1乃至41−4、イベント検出部42、イベント記録制御部43、カメラ44、通信部45、およびバッテリ46が設けられている。
イベント検出部42は、フォトセンサ41−1乃至41−4が、人、動物、その他の監視物を検出したとき出力するデータ(以下、センサデータと称する)に基づいて、イベントの検出処理を行う。イベントを検出した場合、イベント検出部42は、イベントが終了するまで、そのイベントの状態履歴データを更新し、更新するごとに、その状態履歴データをイベント記録制御部43に出力する。また、イベント検出部42は、そのイベントがサーバ12に通知された場合、イベント終了時に、通信部45を介して、そのイベントの状態履歴データをサーバ12に送信する。
イベント記録制御部43は、イベント検出部42から取得したイベントの状態履歴データ、およびサーバ12から取得した通知不要テーブル(図6を参照して後述する)に基づき、イベントの記録(通知)が必要か否かを判定する。イベントの記録が必要と判定された場合は、イベント記録制御部43は、カメラ44の電源をオンし、通信部45を介して、カメラ44が監視物を撮像して得た画像データをサーバ12に送信するように制御する。
通信部45は、サーバ12の通信部61(図4)と無線で通信する。通信部45は、カメラ44で検出した画像データ、およびイベント検出部42で生成された状態履歴データを、サーバ12に送信する。また、通信部45は、サーバ12から通知不要テーブルを受信し、イベント記録制御部43に供給する。
バッテリ46は、マルチセンサカメラ11の各部に対して必要な電力を供給している。
図4は、図1のサーバ12の機能的構成を示すブロック図である。
サーバ12には、通信部61、データ記録部62、データ蓄積部63、データ呈示制御部64、ユーザ入力部65、分類情報生成部66、および分類情報蓄積部67が設けられている。
通信部61は、マルチセンサカメラ11の通信部45と通信する。通信部61は、マルチセンサカメラ11から無線で送信される画像データや状態履歴データを受信し、データ記録部62に、画像データと状態履歴データを供給し、分類情報生成部66に、状態履歴データを供給する。
データ記録部62は、取得した画像データを、データ蓄積部63に供給して、一時的に記録させるとともに、イベント終了時に、画像データとそのイベントの状態履歴データにイベント発生時刻を付加して生成したイベント情報を、データ蓄積部63に供給し、記録させる。
データ呈示制御部64は、データ蓄積部63に蓄積されているイベント情報から、呈示部13で呈示する画像データを抽出し、呈示部13に出力する。また、データ呈示制御部64は、イベントの特性や、ユーザの指令に基づき、呈示するイベント情報を抽出したり、イベント情報の呈示順を制御したりする。
ユーザ入力部65は、呈示したイベント情報の画像データに対して、イベントの重要度や、今後は通知が不要といったユーザからの評価の入力を受け付け、分類情報生成部66に供給する。また、イベント情報の画像データ呈示時に、ユーザからのイベント情報の呈示順を制御するための呈示モードの入力を受け付け、データ呈示制御部64に通知する。
分類情報生成部66は、イベント情報の状態履歴データや、呈示したイベント情報の画像データに対するユーザからの評価の入力に基づき、過去に発生したイベントの状態遷移パターンとその重要度を記述するイベント分類テーブルと、通知が不要なイベントを記述する通知不要テーブルを生成し、分類情報蓄積部67に保存する。また、分類情報生成部66は、生成した通知不要テーブルを、通信部61を介して、マルチセンサカメラ11に送信し、イベント記録制御部43に保持させる。
イベント分類テーブルは、過去に発生したイベントの状態遷移パターンを分類し、蓄積したデータである。新しい状態遷移パターンのイベントが検出される毎に、その状態遷移パターンがイベント分類テーブルに追加される。また、イベント分類テーブルでは、登録されている状態遷移パターン毎に、その状態遷移パターンのイベントの重要度が登録される。重要度の登録方法に関しては、図15を参照して後述する。イベント分類テーブルは、イベント情報の画像データ呈示時に、データ呈示制御部64が、呈示するイベントを分類したり、呈示するイベントを抽出して、呈示順を決定したりするために使用される。
図5は、イベント分類テーブルの実施の形態を表わす。図5のイベント分類テーブルの例では、状態番号1,状態番号3,状態番号4、状態番号3,状態番号2,状態番号1,状態番号4、状態番号3,状態番号4,状態番号1,状態番号2,状態番号4の3種類の状態遷移パターンが登録されており、重要度が、それぞれ重要度3、重要度2、重要度1に設定されている。重要度は、その数値が大きいほど、ユーザがその状態遷移パターンのイベントを重要と評価していることを示す。
通知不要テーブルは、通知(記録)が不要なイベントのパターンが登録されているテーブルである。1つの通知不要テーブルには、1つの通知が不要なイベントのパターンが登録されていて、通知が不要なイベントのパターンが追加される毎に、通知不要テーブルが1つ追加される。なお、通知不要テーブルの生成方法に関しては、イベント呈示処理の説明の時に図12を参照して後述する。
マルチセンサカメラ11のイベント記録制御部43は、分類情報生成部66で生成された通知不要テーブルを保持し、マルチセンサカメラ11で検出されたイベントが通知不要テーブルに登録されているイベントに該当するか否かを判定することにより、通知(記録)が必要なイベントか否かを判定する。通知が必要なイベントと判定された場合は、そのイベント情報はサーバ12に送信され、そのイベント情報はデータ蓄積部63に蓄積され、通知が不要なイベントと判定された場合は、そのイベント情報はデータ蓄積部63に蓄積されない(サーバ12には送信されてこない)。
図6は、通知不要テーブルの実施の形態を表わす。通知不要テーブルのデータには、通知を不要とするイベントの状態遷移パターンと、各状態における継続時間の最小値と最大値が登録されている。図6の通知不要テーブルの例では、状態遷移パターンは、状態番号1,状態番号2であり、状態番号1の継続時間の最小値が0.5秒、最大値が3.0秒、状態番号2の継続時間の最小値が1.0秒、最大値が2.5秒である。
検出されたイベントが通知不要テーブルに登録されているイベントに該当するか否かは、そのイベントの状態遷移パターンが、通知不要テーブルに登録されている状態遷移パターンと完全一致し(過不足なく一致し)、かつそのイベントの各状態の継続時間が、通知不要テーブルの継続時間の最小値と最大値の範囲内に含まれるか否かで判定される。例えば、状態番号1(1秒),状態番号2(2秒)の状態履歴データのイベントは、図6の通知不要テーブルに登録されているイベントに該当する。状態番号1のみ発生したイベントや、状態番号1,状態番号2,状態番号3の順に遷移したイベントは、図6の通知不要テーブルに登録されているイベントに該当しない。また、状態番号1(5秒),状態番号2(2秒)の状態履歴データのイベントは、状態番号1の継続時間が、図6の通知不要テーブルに示されている状態番号1の継続時間の範囲外のため、図6の通知不要テーブルに登録されているイベントに該当しない。
ただし、イベント発生中に、そのイベントの記録が必要か否かを判定する場合には、そのイベントが通知不要テーブルに登録されているイベントに該当していなくても、イベントの進行に従い、通知不要テーブルに登録されているイベントとなる可能性がある間は、そのイベントは、記録が必要なイベントとは判定されない。そして、そのイベントがイベント記録制御部43に保持されている全ての通知不要テーブルのイベントに該当する可能性がなくなった時点で、そのイベントは記録が必要なイベントと判定される。例えば、イベント記録制御部43が図6の通知不要テーブルのみ保持している場合、状態番号1のイベントが発生した時点では、図6の通知不要テーブルに登録されたイベントとなる可能性があるため、そのイベントは記録が必要なイベントとは判定されない。そして、そのイベントの状態番号1の継続期間が3秒を超えたり、状態番号3に遷移したりした時点で、図6の通知不要テーブルに登録されたイベントに該当する可能性がなくなるため、そのイベントは記録が必要なイベントと判定される。
次に、図7乃至図20を参照して、図1の監視システム1により実行される処理を説明する。
まず、図7および図8を参照して、マルチセンサカメラ11により実行されるイベント処理を説明する。説明は、監視領域でイベントが検出されていない(イベントが発生していない)時、監視領域でイベントの検出が開始された(イベントが発生した)時、監視領域でイベントの検出が継続している(イベントが継続している)時、監視領域でイベントの検出が終了した(イベントが終了した)時の順に行う。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。
最初に、監視領域でイベントが検出されていない時に、マルチセンサカメラ11により実行される処理を説明する。
ステップS1において、通信部45は、サーバ12から通知不要テーブルを受信したか否かを判定する。この通知不要テーブルは、サーバ12がユーザにイベントを呈示した後に、後述する図11のステップS104において、サーバ12から送信されてくるものである。通知不要テーブルを受信したと判定された場合、処理はステップS2に進み、イベント記録制御部43は、通信部45から、通知不要テーブルを取得し、内部に保存する。通知不要テーブルを受信しなかったと判定された場合は、ステップS2の処理はスキップされる。
ステップS3において、イベント検出部42は、フォトセンサ41−1乃至41−4のそれぞれからセンサデータを取得する。
ステップS4において、イベント検出部42は、ステップS3において取得したセンサデータに基づき、現在のイベントの状態を検出し、発生中のイベントの状態履歴データを更新する。監視領域でイベントが検出されていない時、イベント検出部42は、イベントが発生していない状態であることを記憶する。
ステップS5において、イベント検出部42は、ステップS4において検出したイベントの状態に基づき、監視領域でイベントが発生中か否かを判定する。監視領域でイベントが検出されていない時には、処理はステップS9に進む。
ステップS9において、イベント記録制御部43は、検出中のイベントの画像データをサーバ12に送信中か否かを判定する。監視領域でイベントが検出されていない時、画像データはサーバ12に送信されていないので、処理はステップS12に進む。
ステップS12において、ユーザから監視領域における監視の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、処理はステップS1に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、イベント監視処理は終了される。
すなわち、この場合、状態履歴データの更新処理が繰り返されることになる。
次に、監視領域でイベントの検出が開始された時に、マルチセンサカメラ11により行われる処理を説明する。
上述した場合と同様に、ステップS1乃至S3の処理で、通知不要テーブルが受信されれば、それが登録された後、センサデータが取得される。
ステップS4において、イベント検出部42は、発生中のイベントの状態履歴データを更新する。監視領域でイベントの検出が開始された時点では、まだイベントの状態履歴データが記録されていないので、イベント検出部42は、検出したイベントの状態番号を記録する。
ステップS5において、イベント検出部42は、監視領域でイベントが発生中か否かを判定する。いま、監視領域でイベントの検出が開始されているので、処理はステップS6に進む。
ステップS6において、イベント記録制御部43は、検出中のイベントの画像データをサーバ12に送信中か否かを判定する。監視領域でイベントの検出が開始された時は、まだ画像データをサーバ12に送信していないので、処理はステップS7に進む。
ステップS7において、イベント記録制御部43は、イベント検出部42から検出中のイベントの状態履歴データを取得する。イベント記録制御部43は、図6を用いて説明した通知不要テーブルに基づき、検出中のイベントが記録の必要なイベントか否かを判定する。記録が必要でないと判定された場合(通知が不要である場合)、処理はステップS3に戻り、それ以降の処理が繰り返される。記録が必要であると判定された場合は、処理はステップS8に進む。
ステップS8において、イベント記録制御部43は、カメラ44の電源をオンし、カメラ44で検出した画像データが、通信部45を介して、サーバ12へ送信されるよう制御する。送信が開始された画像データは、後述する図9のステップS41において、サーバ12で受信され、画像データの一時記録が開始される。その後、処理はステップS3に戻り、イベントの検出が終了するまで、サーバ12へ画像データを送信する処理が繰り返される。
このようにして、この場合、記録する必要があるイベントが発生したとき、その画像データをサーバ12に送信する処理が繰り返し実行される。
次に、監視領域でイベントの検出が継続している時に、マルチセンサカメラ11により実行される処理を説明する。
イベント検出中は、ステップS3以降の処理が繰り返されるので、ステップS3の処理から説明する。ステップS3において、イベント検出部42は、フォトセンサ41−1乃至41−4のそれぞれからセンサデータを取得する。
ステップS4において、イベント検出部42は、発生中のイベントの状態履歴データを更新する。イベントの状態(状態番号)が、前回イベント検出処理を行った時から変化している場合は、状態変化前の状態番号の継続時間を更新し、新しい状態の状態番号を追加する。イベントの状態が、前回イベント検出処理を行った時から変わらない場合は、状態履歴データに記録されている現在の状態の状態番号の継続時間を更新する。
ステップS5において、イベント検出部42は、監視領域でイベントが発生中か否かを判定する。監視領域でイベントの検出が継続している時は、処理はステップS6に進む。
ステップS6において、イベント記録制御部43は、検出中のイベントの画像データをサーバ12に送信中か否かを判定する。画像データを送信中であると判定された場合は、処理はステップS3に戻り、それ以降の処理が繰り返される。画像データを送信中でないと判定された場合は、処理はステップS7に進む。
ステップS7において、検出中のイベントが記録の必要なイベントか否かが判定される。記録が必要でないと判定された場合、処理はステップS3に戻り、それ以降の処理が繰り返される。記録が必要であると判定された場合は、処理はステップS8に進む。
ステップS8において、検出中のイベントの画像データのサーバ12への送信が開始される。その後、処理はステップS3に戻り、それ以降の処理が繰り返される。
以上の処理は、基本的に、イベントの検出が開始されたときの処理と同様の処理である。
ただし、この場合には、ステップS7において、記録が必要でないイベントと判定されていたイベントが、イベントの進行に伴い、イベントの途中で記録が必要なイベントであると判定が変更されるときがある。このとき、ステップS8において、イベントの記録が必要と判定された時点から、サーバ12への画像データの送信が開始され、サーバ12で画像データの一時記録が開始される。従って、マルチセンサカメラ11からサーバ12への画像データの送信時間が最小限に抑えられ、マルチセンサカメラ11の消費電力が抑制される。また、ユーザが必要とする状態を抽出して画像データが記録されるため、記録したイベント情報から必要とする情報を、ユーザが検出する時間が短縮される。ただし、イベントの途中で記録が必要と判定されたイベントについても、イベントの最初から記録が必要とされるケースも想定されるため、その実施の形態については、図21乃至27を参照して後述する。
次に、監視領域でイベントの検出が終了した時に、マルチセンサカメラ11により行われる処理を説明する。
イベント検出中は、ステップS3以降の処理が繰り返されるので、ステップS3の処理から説明する。ステップS3において、イベント検出部42は、フォトセンサ41−1乃至41−4のそれぞれからセンサデータを取得する。
ステップS4において、イベント検出部42は、検出が終了したイベントの状態履歴データを更新する。イベント終了時には、状態履歴データに記録されている最後の状態の状態番号の継続時間が更新される。
ステップS5において、イベント検出部42は、監視領域でイベントが発生中か否かを判定する。いまの場合、監視領域でイベントの検出が終了しているので、処理はステップS9に進む。
ステップS9において、イベント記録制御部43は、サーバ12に画像データを送信中か否かを判定する。画像データを送信中でないと判定された場合は、ステップS10およびS11の処理はスキップされ、処理はステップS12に進む。このような処理が行われるのは、検出したイベントが、記録が不要なイベントだった場合である。
ステップS9において、画像データを送信中であると判定された場合は、処理はステップS10に進み、イベント記録制御部43は、カメラ44の電源をオフし、サーバ12への画像データの送信を停止するよう制御する。その後、処理はステップS11に進む。
ステップS11において、イベント検出部42は、終了したイベントの状態履歴データを、通信部45を介して、サーバ12に送信する。この状態履歴データは、後述する図9のステップS44において、サーバ12で受信され、ステップS45において、画像データと共に記録される。
ステップS12において、ユーザから監視領域における監視の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、処理はステップS1に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、イベント監視処理は終了される。
このように、イベントの検出が終了したとき、画像データの送信が中止され、状態履歴データが送信される。
次に、図9および図10を参照して、サーバ12により実行されるイベント記録処理を説明する。説明は、マルチセンサカメラ11から画像データを受信していない時、マルチセンサカメラ11からの画像データの受信が開始された時、マルチセンサカメラ11からの画像データの受信が終了した時の順に行う。なお、この処理は、ユーザにより、イベント記録処理を開始するよう指令されたとき、開始される。
最初に、マルチセンサカメラ11から画像データを受信していない時に、サーバ12により実行される処理を説明する。
ステップS41において、通信部61は、マルチセンサカメラ11から、図7のステップS8において送信が開始される画像データを受信したか否かを判定する。画像データを受信していない時には、処理はステップS48に進む。
ステップS48において、ユーザからイベント記録処理の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、ステップS41に戻り、それ以降の処理が繰り返される。ユーザからイベント記録処理は終了されるように指令がされた場合は、イベント記録処理は終了される。
すなわち、この場合、画像データが送信されてくるまで、特別な処理は行なわれない。
次に、マルチセンサカメラ11からの画像データの受信が開始された時に、サーバ12により実行される処理を説明する。
ステップS41において、マルチセンサカメラ11から画像データを受信したか否かが判定される。この画像データは、図7のステップS8において、マルチセンサカメラ11から送信されたデータである。画像データの受信が開始された時は、処理はステップS42に進む。
ステップS42において、データ記録部62は、通信部61を介して、マルチセンサカメラ11から受信した画像データを取得し、データ蓄積部63に供給し、一時的に記録させる。
ステップS43において、ステップS41と同様に、通信部61は、マルチセンサカメラ11から画像データを受信中か否かを判定する。画像データを受信中(画像データの受信が継続している)と判定された場合、処理はステップS42に戻り、画像データの受信が終了するまで、ステップS42における画像データの一時記録処理が繰り返される。
このように、画像データが送信されてきたとき、それを一時的に記録する処理が実行される。
次に、マルチセンサカメラ11からの画像データの受信が終了した時、サーバ12により実行される処理を説明する。
画像データの受信が終了した時は、ステップS43において、通信部61により、マルチセンサカメラ11から画像データを受信中でないと判定され、処理はステップS44に進む
ステップS44において、通信部61は、ステップS42において一時記録したイベントに関する状態履歴データを、マルチセンサカメラ11から受信する。この状態履歴データは、図8のステップS11において、イベント検出終了時にマルチセンサカメラ11から送信されたデータである。
ステップS45において、データ記録部62は、ステップS44の処理で受信した状態履歴データを、通信部61から取得する。データ記録部62は、ステップS42において一時的に記録された画像データに、この状態履歴データとイベント発生時刻を付加して生成したイベント情報を、データ蓄積部63に記録する。
図10は、ステップS45において保存されるイベント情報のデータ形式の例を示す。この図に示されるように、イベント情報は、イベント番号、状態履歴データ、イベント発生時刻、およびイベントデータから構成される。イベント番号は、記録されたイベントに順番に割り振られるシーケンス番号である。状態履歴データは、ステップS44において、マルチセンサカメラ11から受信したものである。図10の例では、状態履歴データの欄が上下の2段に分かれているが、上段は状態番号を図し、下段は状態番号毎の継続時間を表わす。例えば、イベント番号1の状態履歴データは、状態番号3(t11秒),状態番号2(t12秒),状態番号1(t13秒),状態番号4(t14秒)である。
イベント発生時刻は、マルチセンサカメラ11によりイベントが検出された時刻である。イベントデータは、カメラ44により検出された画像データや、マイクロホンが設けられている場合は、それにより検出された音声データなど、マルチセンサカメラ11で検出されたイベントのデータである。ステップS45において記録されたイベント情報は、図10で示したデータ形式で、データ蓄積部63に、時系列に並べられて保存される。
ステップS46において、分類情報生成部66は、ステップS44の処理で受信した状態履歴データを、通信部61から取得する。分類情報生成部66は、分類情報蓄積部67に保持されているイベント分類テーブルをロードし、受信した状態履歴データの状態遷移パターンが、イベント分類テーブルに登録されていない(新しい状態遷移パターンのイベントが記録された)場合は、イベント分類テーブルにその状態遷移パターンを追加して、イベント分類テーブルを更新、保存する。状態履歴データの状態遷移パターンが、すでにイベント分類テーブルに登録されている場合は、イベント分類テーブルはそのままとされる。
ステップS47において、データ記録部62は、画像データ受信中にデータ蓄積部63に一時的に記録されていた画像データを消去し、ステップS41に戻り、それ以降の処理が繰り返される。
このように、画像データの送信が中止されると、状態履歴データが受信され、画像データに対応付けてイベント情報として保存される。また、イベント分類テーブルが更新される。
次に、図11乃至図20を参照して、サーバ12により実行されるデータ蓄積部63に蓄積されたイベント情報の呈示処理を説明する。この処理は、ユーザから指示されたとき、または、図9のステップS46におけるイベント分類テーブルを更新する処理が完了したとき、自動的に実行される。
ステップS101において、データ呈示制御部64は、分類情報蓄積部67から、イベント分類テーブルをロードする。ロードされたイベント分類テーブルは、これ以降の処理で、呈示するイベント情報を分類したり、呈示するイベント情報を抽出したり、あるいは呈示順を決定したりするために使用される。
ステップS102において、データ呈示制御部64は、ユーザ入力部65を介して、ユーザから入力された呈示モードを取得する。データ呈示制御部64は、この呈示モードに基づき、イベント情報の呈示順を決定する。ただし、呈示モードは、毎回ユーザから取得する必要はなく、入力がない場合は、前回入力された呈示モードが設定される。これ以降の説明では、ユーザからイベントの重要度順に呈示するモード(以下、重要度順モードと称する)が指定されたものとして処理を説明する。
ステップS103において、データ呈示制御部64は、ステップS102において取得した呈示モードに基づき、イベント情報呈示およびユーザ情報取得処理を実行する。その処理の詳細は、図12を参照して後述するが、これにより、呈示順が決定されるとともに、通知不要テーブルとイベント分類テーブルが更新される。
ステップS104において、分類情報生成部66は、分類情報蓄積部67から、通知不要テーブルを取得し、通信部61を介して、マルチセンサカメラ11に送信する。マルチセンサカメラ11では、図7のステップS1,S2において、この通知不要テーブルが受信され、登録される。その後、サーバ12のイベント情報の呈示処理は終了する。
次に、図12を参照して、ステップS103において実行されるイベント情報呈示およびユーザ情報取得処理を説明する。
まず、ステップS121において、データ呈示制御部64は、ステップS102で取得した呈示モードに基づき、イベント情報の呈示順を決定する。その処理の詳細は、図13を参照して後述するが、これにより、重要度に基づき、呈示順が決定される。
ステップS122において、データ呈示制御部64は、呈示するイベント情報があるか否かを判定する。呈示するイベント情報があると判定された場合は、処理はステップS123に進む。
ステップS123において、データ呈示制御部64は、次に呈示するイベント情報を、データ蓄積部63からロードする。
ステップS124において、データ呈示制御部64は、ロードしたイベント情報から画像データを抽出し、呈示部13に出力し、呈示させる。
ステップS125において、ユーザ入力部65は、いま呈示したイベント情報の画像データに対して、ユーザから今後は通知(記録)を不要とすると評価を指示する入力がされたか否かを判定する。ユーザの評価が入力されたと判定された場合、ステップS126において、分類情報生成部66は、ステップS125においてユーザ入力部65に入力されたユーザの判断を取得する。また、分類情報生成部66は、データ蓄積部63から、通知が不要と判断されたイベント情報を取得する。そして、分類情報生成部66は、取得したイベント情報に基づき、通知不要テーブルを更新する。取得したイベント情報の状態履歴データの状態遷移パターンと一致する状態遷移パターンを持つイベントの通知不要テーブルがない場合は、分類情報生成部66は、その状態遷移パターンのイベントの通知不要テーブルを作成する。取得したイベント情報の状態遷移パターンと一致するイベントの通知不要テーブルがある場合は、分類情報生成部66は、そのイベント情報の状態履歴データの各状態の継続時間と、通知不要テーブルに登録されているイベントの状態履歴データの各状態の継続時間を比較して、そのイベント情報の状態履歴データの継続時間が、通知不要テーブルの状態履歴データの継続時間の範囲内に収まらない箇所がある場合は、その箇所の継続時間を更新する。ステップS125で、通知不要の指示が入力されなかったと判定された場合は、ステップS126の処理はスキップされ、処理はステップS127に進む。
ステップS127において、ユーザ入力部65は、呈示したイベント情報の画像データに対して、ユーザからイベントの重要度を評価する入力がされたか否かを判定する。ユーザの判断が入力されたと判定された場合、ステップS128において、分類情報生成部66は、ステップS127においてユーザ入力部65に入力された重要度を取得する。また、分類情報生成部66は、データ蓄積部63から、重要度が入力されたイベント情報を取得する。分類情報生成部66は、イベント分類テーブルから、取得したイベント情報の状態履歴データの状態遷移パターンと同じデータを検索し、そのデータの重要度の値に関して、イベント分類テーブルを更新する。なお、重要度は、呈示されたイベント情報毎にユーザから入力されるため、同じ状態遷移パターンを持つイベント情報毎に入力された重要度の平均値とされる。なお、他にも、最も新しく入力された重要度を、その状態遷移パターンの重要度にするといった方法も可能である。
ステップS125あるいはS127の処理により、ユーザは実際に呈示されたイベント情報の画像データに対して、そのイベント情報の特性(状態遷移パターンや状態毎の継続時間)を意識せずに、通知不要の指示や重要度といったイベント情報に対する評価を入力する。監視システム1は、その入力情報に基づき、通知(記録)が不要なイベント情報のパターンや、状態遷移パターン毎の重要度を学習し、更新する。その結果、以後、監視システム1は、次第にユーザが必要とするイベント情報を抽出して記録するようになる共に、ユーザが重要とするパターンのイベント情報の画像データを優先して呈示するようになる。従って、監視システム1は、ユーザにイベントを分類させたり、通知が必要なイベントのパターンを入力させたりといった操作をさせなくても、簡単かつ確実に必要なイベント情報の画像データを呈示できる。
ステップS127において、重要度が入力されなかったと判定された場合、ステップS128の処理はスキップされ、処理はステップS129に進む。
ステップS129において、ユーザ入力部65は、ユーザから次のイベント情報の呈示の指示が入力されたか否かを判定する。次のイベント情報の呈示の指示が入力されたと判定された場合、処理はステップS122に戻り、それ以降の処理が繰り返される。次のイベント情報の呈示の指示が入力されなかったと判定された場合、処理はステップS125に戻り、それ以降の処理が繰り返される。
ステップS122に戻り、呈示するイベント情報がない(全てのイベント情報の呈示が終了した)と判定された場合は、イベント情報の呈示処理を終了し、図11のステップS104に進む。
次に、図13を参照して、図12のステップS121における呈示順制御処理の詳細について説明する。ステップS151において、データ呈示制御部64は、呈示するイベント情報をデータ遷移パターン毎に分類して並べ替える。図14は、図10のイベント情報のデータを、データ遷移パターン毎に分類して、並べ替えた状態を表わす図である。
ステップS152において、データ呈示制御部64は、図11のステップS101でロードしたイベント分類テーブルから、イベントの状態遷移パターン毎の重要度を取得し、呈示するイベント情報に割り当てる。図15は、図14のイベント情報に、イベントの状態遷移パターン毎の重要度を割り当てた状態を示す図である。
重要度とは、上述した図12のステップS127において、イベント情報の呈示時に、呈示したイベント情報に対して、ユーザが入力する情報であり、イベントの状態遷移パターン毎に、1つの重要度が割り当てられる。重要度順モードの場合、重要度の値が大きい状態遷移パターンのイベント情報から順に(重要なものから順番に)呈示される。同じ状態遷移パターンのイベント情報が複数ある場合は、データの古い順に呈示される。
ステップS153において、データ呈示制御部64は、イベント情報の重要度に基づいて、イベント情報の呈示順を決定する。図15の例の場合、イベント情報の呈示順は、イベント番号2、イベント番号1、イベント番号3、イベント番号5、イベント番号4、イベント番号6の順となる。その後、処理は図12のステップS122に進む。
なお、重要度が入力されていない初期状態の場合、イベント情報の呈示順は、状態遷移パターン順に決定される。また、まだ重要度の入力されていない状態遷移パターンのイベント情報に関しては、いちばん最初に呈示させたり、いちばん最後に呈示させたり、あるいは呈示させなかったりといった選択が可能である。
次に、図16乃至図20を参照して、図12のステップS121における呈示順制御処理について、先に説明した重要度順モード以外の実施の形態を説明する。
最初に、図16を参照して、イベント情報の呈示順をイベント発生順に制御する処理を説明する。
この場合、ステップS171において、データ呈示制御部64は、イベント情報に登録されているイベント発生時刻に基づき、イベント情報の呈示順を発生時刻順に設定する。その後、処理は図12のステップS122に進み、イベント情報の呈示処理が行われる。
次に、図17乃至図19を参照して、イベント情報の呈示順を過去の発生頻度が少ない状態遷移パターンのイベント順に制御する処理を説明する。
この場合、図17のステップS181において、データ呈示制御部64は、ステップS101において取得したイベント分類テーブルから過去に発生したイベントの状態遷移パターンを取得し、データ蓄積部63に蓄積されているイベント情報から、過去の状態遷移パターン毎のイベントの発生頻度を求める。図18は、ステップS181において、過去のイベントの発生頻度を求めた例を表わす。図18の例で、1行目に状態遷移パターンとして示された列は、過去に発生したイベントの状態遷移パターンを示し、1行目に発生頻度として示された列は、その状態遷移パターンのイベントの過去の発生回数を示す。例えば、図18の例は、状態番号1,状態番号2,状態番号3,状態番号4の状態遷移パターンのイベントが、過去に20回発生したことを示している。また、図18に示された4つの状態遷移パターン以外の状態遷移パターンのイベントは、過去に発生していないことを示している。
ステップS182において、データ呈示制御部64は、これから呈示しようとするイベント情報の呈示順を過去に発生頻度の少ない順に設定する。まず、ステップS181と同様の処理を行い、これから呈示しようとするイベント情報の発生頻度を求める。図19は、ステップS182において、これから呈示するイベント情報の発生頻度を求めた例を示す。データ呈示制御部64は、過去のイベントの発生頻度(図18)と、これから呈示するイベント情報の発生頻度(図19)を比較して、過去に発生していない状態遷移パターンのイベント情報を呈示順の先頭に配置し、以下は、過去に発生頻度が少ない状態遷移パターンのイベント情報順に並べる。図19の例では、過去に発生していない状態番号4,状態番号2,状態番号1,状態番号3の状態遷移パターンのイベント情報が呈示順の先頭に配置され、以下、状態番号2,状態番号1,状態番号3,状態番号4、状態番号1,状態番号4,状態番号2,状態番号3、状態番号1,状態番号2,状態番号3,状態番号4の状態遷移パターンのイベント情報順に呈示順が決定される。その後、処理は図12のステップS122に進み、イベント情報の呈示処理が行われる。
この処理による呈示順によれば、過去にあまり発生していない(日常的に検出されるイベントとは異なる)イベントのイベント情報から呈示することができる。
次に、図20を参照して、過去に発生したイベントの状態遷移パターンの分布と、最近発生したイベントの状態遷移パターンの分布を比較して、発生分布に変化がある状態遷移パターンのイベントを抽出する処理を説明する。
ステップS191において、データ呈示制御部64は、ステップS101において取得したイベント分類テーブルから、過去に発生したイベントの状態遷移パターンを取得し、データ蓄積部63に蓄積されている、例えば、過去1ヶ月分のイベント情報について、状態遷移パターン毎のヒストグラムを作成する(発生頻度を求める)。
ステップS192において、データ呈示制御部64は、ステップS191と同様の処理を行い、過去1週間分のイベント情報について、状態遷移パターン毎のヒストグラムを作成する(発生頻度を求める)。
ステップS193において、データ呈示制御部64は、過去1ヶ月分のヒストグラム(発生頻度)と、過去1週間分のヒストグラム(発生頻度)を比較し、イベントの発生分布に違いがあるか否かを判定する。発生分布に違いがあると判定された場合は、処理はステップS194に進む。
ステップS194において、データ呈示制御部64は、ステップS193において、過去1ヶ月分のヒストグラム(発生頻度)と過去1週間分のヒストグラム(発生頻度)で、発生分布が異なると判定された状態遷移パターンと同じイベントの過去1週間分のイベント情報を、データ蓄積部63から抽出し、抽出したイベント情報を発生時刻順に並べる。その後、処理は図12のステップS122に進み、イベント情報の呈示処理が行われる。
ステップS193において、発生分布に違いがないと判定された場合は、ステップS194の処理はスキップされ、呈示するイベント情報の抽出は行われない。従って、その後、処理は図12のステップS122に進むが、イベント情報の呈示は行われずに、データ呈示処理が終了する。
この処理による呈示順によれば、過去と発生分布が異なる(監視領域で何か異常が発生した可能性が高い)イベント情報のみを呈示することができる。なお、この例では、過去1ヶ月、過去1週間と、特定の期間の例を示したが、他の期間に設定してもよいし、ユーザから指定させるようにしてもよい。
なお、以上の例は、監視システム1のイベント情報の呈示順を制御する処理の一例であり、上述した例に限られるものではない。
次に、本発明を適用した監視システムにおいて、既に発生したイベントが、その途中で記録が必要と判定された場合について、サーバでイベントの最初から記録できるようにするための実施の形態について説明する。
最初に、マルチセンサカメラで検出された全てのイベントの画像データを、一旦サーバ12で一時的に記録して、イベント終了後に記録が必要なイベントか否かを判定して、記録が必要と判定されたイベントのみ正式に(最終的に)イベント情報を記録する方式(以下、サーバ一時記録方式と称する)について説明する。なお、サーバ一時記録方式に対して、図7乃至図10で説明した監視システム1で実施される処理を、以下標準方式と称する。
サーバ一時記録方式を実現するために、図1の監視システム1の構成、図3のマルチセンサカメラ11の機能的構成、図4のサーバ12の機能的構成の変更はないため、その説明は省略する。
次に、図21乃至図23を参照して、図1の監視システム1におけるサーバ一時記録方式の処理を説明する。なお、標準方式と同様の処理を行う部分は、適宜説明を省略し、処理の異なる部分を中心に説明する。
最初に、図21および図22を参照して、サーバ一時記録方式適用時に、マルチセンサカメラ11により実行されるイベント検出処理を説明する。
サーバ一時記録方式と標準方式で、マルチセンサカメラ11により実行されるイベント検出処理が異なるのは、監視領域でイベントの検出が開始された(イベントが発生した)時と、監視領域でイベントの検出が終了した(イベントが終了した)時であり、その場合について説明する。
まず、監視領域でイベントの検出が開始された時に、サーバ一時記録方式適用時にマルチセンサカメラ11により実行される処理を説明する。
ステップS301乃至S305までの処理は、標準方式の図7のステップS1乃至ステップS5までの処理と同様なので、その説明は省略する。
ステップS306の処理は、図7のステップS6の処理と対応する処理である。このステップS306で、イベント記録制御部43は、マルチセンサカメラ11で検出したイベントの画像データをサーバ12に送信中か否かを判定する。イベントの検出が開始された時は、まだ画像データをサーバ12に送信していないので、処理はステップS307に進む。
ステップS307において、イベント記録制御部43は、標準方式の場合と異なり、記録が必要なイベントか否かを判定せずに、カメラ44の電源をオンし、カメラ44で検出した画像データが、通信部45を介して、サーバ12へ送信されるよう制御する。送信が開始された画像データは、後述する図23のステップS341,S342において、サーバ12で受信され、画像データの一時記録が開始される。その後、処理はステップS303に戻り、イベントの検出が終了するまで、画像データが送信される。従って、サーバ12では、マルチセンサカメラ11で検出された全てのイベントについて、イベントの開始から終了まで画像データが一時的に記録される。
次に、監視領域でイベントの検出が終了した時に、サーバ一時記録方式適用時にマルチセンサカメラ11により実行される処理を説明する。
図8のステップS10の処理に対応するステップS309までの処理の流れは、標準方式のイベントの検出が終了した時の処理の流れと同様なので、その説明は省略する。
ステップS310の処理は、ステップS309において、サーバ12への画像データの送信が停止された後に実施される。ステップS310において、イベント記録制御部43は、サーバ12へ送信した画像データの記録が必要なイベントか否かを判定する。標準方式では、イベント発生中に、図7のステップS7において、記録が必要なイベントか否かの判定が行われるのに対し、サーバ一時記録方式では、イベントが終了した時点で、その判定が行われる。判定は、図6に示されるような通知不要テーブルを用いて実行される。
ステップS310において、記録が不要なイベントと判定された場合は、処理はステップS313に進み、イベント記録制御部43は、通信部45を介して、サーバ12に画像データの消去指令を送信する。サーバ12は、後述する図23のステップS348,S347において、この画像データの消去指令を受信した場合、一時記録していた画像データを最終的に記録しないで、そのまま消去する。従って、記録が不要と判定されたイベントの画像データは、サーバ12には残らない。その後、処理はステップS312に進む。
ステップS310において、記録が必要なイベントと判定された場合は、ステップ311において、標準方式と同じく、イベント検出部42は、状態履歴データをサーバ12に送信する。この状態履歴データは、図23のステップS344において、サーバ12で受信され、ステップS345において、画像データと共に保存される。このステップS311の処理に対応するサーバ12における処理は、標準方式の場合と同様である。
ステップS312において、ユーザから監視領域における監視の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、処理はステップS301に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、イベント監視処理は終了される。
次に、図23を参照して、サーバ一時記録方式適用時に、サーバ12により実行されるイベント記録処理を説明する。
サーバ一時記録方式と標準方式で、サーバ12により実行されるイベント記録処理が異なるのは、マルチセンサカメラ11からの画像データの受信が終了した時なので、その場合について説明する。
画像データの受信が終了した時点では、そのイベントの記録が必要か否かに関わらず、マルチセンサカメラ11で検出されたイベントの発生から終了までの画像データが、サーバ12のデータ蓄積部63に一時的に記録されている状態である。
ステップS341乃至S343までの処理は、標準方式の図9のステップS41乃至S43の処理と同様なので、その説明は省略する。
ステップS344において、通信部61は、ステップS342において一時的に記録した画像データに関する状態履歴データを、マルチセンサカメラ11から受信したか否かを判定する。この状態履歴データは、マルチセンサカメラ11でイベントの記録が必要と判定された場合、図22のステップS311において、マルチセンサカメラ11から送信されたものである。状態履歴データが受信されなかったと判定された場合、処理はステップS348に進み、通信部61は、ステップS342において一時的に記録した画像データの消去指令を、マルチセンサカメラ11から受信したか否かを判定する。この画像データの消去指令は、マルチセンサカメラ11でイベントの記録が必要と判定された場合、図22のステップS313の処理において、マルチセンサカメラ11から送信されたものである。以降、状態履歴データか画像データの消去指令を受信するまで、ステップS344およびS348の処理が繰り返される。
ステップS348において、画像データの消去指令を受信したと判定された場合は、ステップS345およびステップS346の処理はスキップされ、ステップS347において、データ記録部62は、データ蓄積部63に一時的に記録されている画像データを消去する。ステップS345の処理がスキップされ、データ蓄積部63に一時的に記録されている画像データが最終的に記録されないため、記録が不要と判定された画像データは、サーバ12に残らない。その後、処理はステップS341に戻り、それ以降の処理が繰り返される。
ステップS344において、状態履歴データを受信したと判定された場合は、標準方式の場合と同様に、ステップS345において、データ蓄積部63にイベント情報が記録され、ステップS346において、イベント分類テーブルが更新され、ステップS347において、データ蓄積部63に一時的に記録されている画像データが消去される。
以上の処理により、監視システム1では、マルチセンサカメラ11で検出されたイベントのうち、イベントの記録が必要と判定されたイベントについてのみ、イベントの発生から終了までの画像データを含むイベント情報が、サーバ12に記録される。
次に、マルチセンサカメラ11で検出したイベントの画像データを、マルチセンサカメラ11側で一時的に記録し、イベントの記録が必要と判定された時点で、記録が不要と判定されていた期間に一時的に記録した画像データをサーバ12に送信し、その後検出中の画像データを送信する方式(以下、カメラ一時記録方式と称する)について説明する。
図24は、カメラ一時記録方式を実現するための監視システム101の構成例を示している。図1の監視システム1と比較して、マルチセンサカメラ11がマルチセンサカメラ111に置き換わっている。その他の構成は、図1における場合と同様である。
図25は、マルチセンサカメラ111の機能的構成を示すブロック図である。図3のマルチセンサカメラ11と比べて、データ一時記録部147が設けられている点が異なる。なお、図中、図3と対応する部分については下2桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
マルチセンサカメラ111には、フォトセンサ141−1乃至141−4、カメラ144、イベント検出部142、イベント記録制御部143、通信部145、バッテリ146、およびデータ一時記録部147が設けられている。
データ一時記録部147は、イベント検出部142で検出したイベントが、イベント記録制御部143において、記録が不要と判定された場合、イベントが終了するか、あるいはイベントの途中でイベントの記録が必要と判定が変更されるまで、そのイベントの画像データを取得し、一時的に記録する。イベントの途中でイベントの記録が必要と判定が変更された場合は、データ一時記録部147に一時的に記録されている画像データが、通信部145を介して、サーバ12に送信される。この一時的に記録された画像データを、サーバ12に供給することにより、イベントの記録が不要と判定されていた期間の画像データを含むイベント情報をサーバ12で記録することができる。
次に、図26乃至図28を参照して、監視システム101により実行される処理を説明する。なお、監視システム1の標準方式と同様の処理を行う部分は、適宜説明を省略し、処理の異なる部分を中心に説明する。
図26乃至図28は、マルチセンサカメラ111により実行される処理を表わす。なお、監視システム101におけるサーバ12により実行される処理は、先に説明した監視システム1のサーバ12の標準方式における図9のフローチャートと同様であり、その説明は省略する。
カメラ一時記録方式(マルチセンサカメラ111)と標準方式(マルチセンサカメラ11)で処理が異なるのは、監視領域でイベントの検出が開始された(イベントが発生した)時、イベントの途中でイベントの記録が不要から必要に判定が変更された時、並びに監視領域でイベントの検出が終了した(イベントが終了した)時であり、それらの場合について説明する。
最初に、監視領域でイベントの検出が開始された時に、マルチセンサカメラ111により行われる処理を説明する。
ステップS401乃至ステップS406までの処理は、マルチセンサカメラ11の監視領域でイベントの検出が開始された時の図7のステップS1乃至S6の処理と同様なので、その説明は省略する。
ステップS407の処理は、マルチセンサカメラ11の図7のステップS7の処理と対応する処理である。イベント記録制御部143は、イベント検出部142から検出中のイベントの状態履歴データを取得する。イベント記録制御部143は、図6を用いて説明した通知不要テーブルに基づき、検出中のイベントが記録の必要なイベントか否かを判定する。
ステップS407において、記録が必要と判定された場合、処理はステップS409に進み、イベント記録制御部143は、検出中のイベントの画像データをデータ一時記録部147に一時記録中か否かを判定する。監視領域でイベントの検出が開始された時点では、画像データの一時記録は行われていないので、処理はステップS413に進む。ステップS413において、イベント記録制御部143は、カメラ144の電源をオンし、カメラ144で検出した画像データが、通信部145を介して、サーバ12への送信されるよう制御する。その後、処理はステップS403に戻り、それ以降の処理が繰り返される。
ステップS407において、記録が不要と判定された場合、処理はステップS408に進み、イベント記録制御部143は、カメラ144の電源をオンし、カメラ144で検出した画像データが、データ一時記録部147に一時記録されるように制御する。この処理により、マルチセンサカメラ111は、イベント検出開始の時点で記録が不要と判定されたイベントの画像データを、サーバ12へは送信せずに、イベント開始時から一時的に記録する。その後、処理はステップS403に戻り、それ以降の処理が繰り返される。イベント検出開始時に、イベントの記録が必要と判定された場合は、それ以降の処理は、マルチセンサカメラ11の標準方式の処理と同様である。
次に、イベントの途中でイベントの記録が不要から必要に判定が変更された時に、マルチセンサカメラ111により実行される処理を説明する。
ステップS407までの処理は、マルチセンサカメラ11の監視領域でイベントの検出が継続している時の図7のステップS7までの処理と同様なので、その説明は省略する。
ステップS407において、イベントの途中でイベントの記録が不要から必要に判定が変更された時は、処理はステップS409に進む。
ステップS409において、イベント記録制御部143は、検出中のイベントの画像データをデータ一時記録部147に一時記録中か否かを判定する。イベントの途中でイベントの記録が不要から必要に判定が変更された時は、イベントの記録が不要と判定されている間、画像データは、データ一時記録部147に一時的に記録されているので、処理はステップS410に進む。
ステップS410において、イベント記録制御部143は、データ一時記録部147に一時的に記録されている画像データが、通信部145を介して、サーバ12に送信されるよう制御する。この一時的に記録されていた画像データは、図9のステップS41において、サーバ12で受信され、データ蓄積部63に一時記録される。
データ一時記録部147に一時記録されている画像データの送信が終了した後、処理はステップS411に進む。ステップS411において、イベント記録制御部143は、通信部145を介して、カメラ144で検出中のイベントの画像データのサーバ12への送信が開始されるように制御する。送信が開始された画像データは、図9のステップS41において、サーバ12で受信され、データ蓄積部63に一時的に記録される。
サーバ12では、図9のステップS41において、マルチセンサカメラ111のデータ一時記録部147に一時的に記録されていた画像データと、その後に送信されるカメラ144で検出中の画像データが連続して受信され、1つのイベントの画像データとして、データ蓄積部63に一時的に記録される。従って、イベントの途中でイベントの記録が不要から必要に判定が変更された時も、イベント発生時からの画像データが、サーバ12に一時的に記録される。
ステップS412において、イベント記録制御部143は、データ一時記録部147への画像データの一時記録を停止するよう制御し、処理はステップS403に戻り、それ以降の処理が繰り返される。
次に、監視領域でイベントの検出が終了した時に、マルチセンサカメラ111により実行される処理を説明する。
ステップS404までの処理は、マルチセンサカメラ11の監視領域でイベントの検出が終了した時の図7のステップS4までの処理と同様なので、その説明は省略する。
ステップS405において、イベント検出部142は、監視領域でイベントが発生中か否かを判定する。イベントの検出が終了した時には、処理はステップS414に進む。
ステップS414において、イベント記録制御部143は、サーバ12に画像データを送信中か否かを判定する。画像データを送信中であると判定された場合、処理はステップS415に進み、画像データの送信を停止し、その後ステップS416に進み、サーバ12へ状態履歴データを送信する。ステップS415およびS416の処理は、図7のステップS10およびS11の処理と同様であり、これにより、画像データの送信動作が停止され、状態履歴データが送信される。その後、処理はステップS417に進む。
ステップS414において、画像データを送信中でないと判定された場合、処理はステップS419に進む。イベントの検出が終了した時に、画像データをサーバ12に送信していないのは、検出したイベントが通知不要なイベントであり、イベント検出終了時まで画像データがデータ一時記録部147に一時記録されている場合である。この場合、データ一時記録部147に一時的に記録されている画像データは、サーバ12には送信されず、後述するステップS417の処理で消去される。
ステップS420において、イベント記録制御部143は、カメラ144の電源をオフし、データ一時記録部147への画像データの一時記録を停止するよう制御される。その後、処理はステップS417に進む。
ステップS417において、イベント記録制御部143は、データ一時記録部147に一時記録されている画像データの有無を確認し、一時記録されている画像データがあれば、そのデータを消去する。
ステップS418において、ユーザから監視領域における監視の終了が指令されたか否かが判定され、終了の指令がないと判定されれば、ステップS401に戻り、それ以降の処理が繰り返される。ユーザから監視領域における監視を終了するように指令がされたと判定された場合は、監視処理を終了する。
以上のサーバ一時記録方式およびカメラ一時記録方式の処理により、イベント記録が必要と判定されたイベントの発生から終了までの画像データを含むイベント情報がサーバ12に記録される。一方、イベント記録が不要と判定されたイベントについては、そのイベント情報がサーバ12に記録されない。
なお、以上の例は、監視システム1および監視システム101を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。
例えば、使用するセンサはフォトセンサに限らず、CCD撮像装置、CMOS撮像装置、マイクロホン、マイクロ波センサ、赤外線センサ、あるいはその他のセンサを搭載することができる。また、検出したイベントの分類も、上述した例に限られるものではない。
さらに、複数のセンサを組み合わせて使用することができる。
また、マルチセンサカメラ11とサーバ12の間、およびマルチセンサカメラ111とサーバ12の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。
さらに、マルチセンサカメラ11およびマルチセンサカメラ111は、1台ではなく、複数台設けることも可能である。
また、呈示部13は、1つではなく、複数設けることも可能である。
さらに、サーバ12は、呈示部13と別の筐体とせず、一体型とすることもできる。
また、マルチセンサカメラ11およびマルチセンサカメラ111は、サーバ12と別の筐体とせず、一体型とすることもできる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。この場合、上述した処理は、図29に示されるようなパーソナルコンピュータ500により実行される。
図29において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。
入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube),LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。
入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用の専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図29に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
1 監視システム, 11 マルチセンサカメラ, 12 サーバ, 13 呈示部, 41 フォトセンサ, 42 イベント検出部, 43 イベント記録制御部, 44 カメラ, 45 通信部, 46 バッテリ, 61 通信部, 62 データ記録部, 63 データ蓄積部, 64 データ呈示制御部, 65 ユーザ入力部, 66 分類情報生成部, 67 分類情報蓄積部, 147 データ一時記録部