以下に添付図面を参照して、この発明にかかる監視装置及び監視方法の最良な実施の形態を詳細に説明する。
この監視装置では、店舗や会場など監視対象となる施設における所定の領域(以下、監視領域という)について、監視カメラで撮像した画像情報や監視員に装着したセンサから、監視領域における人物(例えば来訪者など)の行動(動作状態)と、監視員の生体状態(心拍数、発汗量など)を解析し、解析結果を深層格フレーム構造で表して記憶部に順次保存する。そして、記憶部に保存した深層格フレームを相互に比較する(例えば時系列で並べた深層格フレームを前後で比較する)ことによって、更に監視領域における人物の行動と、監視員の生体状態の変化を検出し、監視領域における異常の発生を検出する。例えば、監視領域における人物の行動が予め設定された不審行動(出入り口などできょろきょろする、人を脅すなど)である場合や、監視員の心拍の高まりや多量の発汗がある場合には、監視領域における異常が発生しているものとする。
なお、監視員とは、監視領域の監視を行う人物であり、例えば店員、駅員、係員、警備員などが該当する。また、監視領域における人物としては、監視領域内に既に存在する人物以外に、監視領域外から監視領域内に進入する人物なども含まれるものとする。
本実施形態について、添付図面を参照して説明する。まず、本実施形態が適用される監視システムの構成例について説明する。図1は、本実施形態にかかる監視システム10の構成を示すブロック図である。図1に示すように、監視システム10は、監視装置100と監視センタ200とを備えている。監視装置100と監視センタ200とは、電話回線、無線ネットワーク、インターネットなどのネットワーク300を介して接続されている。
監視センタ200は、監視領域の異常を検出した監視装置100からの通報を受け、待機中の監視員に対して異常が検出された監視領域へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。警察や消防等の関係機関への通報は、例えば異常の種類に応じて行われるものであり、異常として火災が検出された場合は消防への通報が、盗難が検出された場合は警察への通報が行われる。
監視装置100は、センサ110と、複数の監視カメラ120と、監視操作部130と、監視員用装着ユニット170とを備えている。
センサ110は、監視領域に設置されており、主に侵入者等の異常を検出する目的で設置された人感センサである。センサ110は、人の存在や扉の開閉を検出した場合に検出信号を出力する。センサ110は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検出する電波センサ、及び、マグネットにより扉の開閉を検出するマグネットセンサなどの各種センサによって、監視領域の異常を検出する。
監視カメラ120は、監視対象である監視領域を撮像する。監視カメラ120は、主に監視領域である施設や敷地の出入り口付近や監視領域の通路などに設置されている。
次に、監視操作部130について説明する。監視操作部130は、検知情報受信部131と、画像情報取得部132と、監視状態切替部133と、操作パネル制御部134と、操作パネル135と、送受信部136と、監視状態記憶部137と、第1検出部138と、状態取得部139と、第2検出部140と、異常判定部141と、HDD150(Hard Disk Drive)と、送受信部160とを備えている。なお、監視操作部130は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備え(いずれも図示しない)、CPUがROMに記憶されたプログラムをRAMの作業領域に展開して順次実行することで、上記各部の機能を実現する情報機器であってよい。
検知情報受信部131は、センサ110によって異常が検出された場合に送出される検出情報を受信する。検出情報は、センサ110から送出される検出信号である。センサ110が複数設置されている場合、検出情報は検出信号及びセンサ110を識別するセンサIDを含む。画像情報取得部132は、監視カメラ120によって撮像された画像情報を取得する。
監視状態切替部133は、操作パネル制御部134によって受け付けられた監視状態を監視状態記憶部137に格納する。監視状態記憶部137は、現在の監視装置100の監視状態である監視モード又は監視解除モードのいずれかを記憶する。なお、監視状態記憶部137は、ハードディスク、光ディスク、メモリカード、RAMなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
ここで、監視モードとは、センサ110が異常を検出して検出情報を取得した場合に、監視領域での異常を知らせる警報情報をネットワーク300で接続されている監視センタ200に送信する状態をいう。また、警備解除モードとは、上記検出情報を取得した場合でも異常を知らせる警報情報を監視センタ200に送信しない状態をいう。
操作パネル135は、監視装置100に関する情報が表示され、監視装置100に対して情報が入力される。操作パネル135は、ボタンの押下等によって監視モード又は監視解除モードのいずれかの監視状態を入力する。操作パネル制御部134は、操作パネル135への表示情報の出力や、操作パネル135から入力された入力情報の取得等の操作パネル135に対する制御を行う。
送受信部136は、ネットワーク300を介して監視センタ200との間で各種情報を送受信する。例えば、送受信部136は、監視カメラ120が撮像した画像情報を監視センタ200に送信する。また、送受信部136は、センサ110から検出情報を受信した場合で、かつ監視状態記憶部137に記憶された現在の監視状態に監視モードが記憶されている場合に、警報情報を監視センタ200に送信する。
HDD150は、物体の動作検出に関する各種データを記憶する。具体的には、HDD150は、状態情報DB151と、規則DB152と、異常情報DB153と、環境情報DB154とを記憶している。なお、各DBを、光ディスク、メモリカードなどのHDD150以外の記憶媒体に格納するように構成してもよい。
第1検出部138、第2検出部140、HDD150等を監視センタ200に設け、センサ110、監視カメラ120、監視員用装着ユニット170で得られた情報を監視センタ200に送り、異常検出を監視センタ200で行うように構成してもよい。
状態情報DB151は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム(以下、単に格フレームという)とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。
図2は、状態情報DB151に記憶される状態情報のデータ構造の概要を示す図であり、図3は、状態情報DB151に記憶される状態情報の詳細を示す図である。図2に示すように、状態情報は、格フレームを識別する格フレームID(CFID)と、動作(行動)の種類を示す行動名(ActNm)と、動作に関する名詞である格要素(深層格)とを含んでいる。深層格には、主格(Agent)、属性格(Feature)、場所格(PosCase)、時間格(TimeCase)、源泉格(SrcCase)、目標格(DstCase)、対象格(ObjCase)及び道具格(ToolCase)が含まれる。
図3に示すように、主格は、動作を引き起こす主体を表す。具体的には、主体を表す要素として、主体を識別するためにユニークに割り当てられた追跡番号(ID)と、主体の名称を示す認証名(Name)とが含まれる。属性格は、主格に関する情報をいう。例えば、属性格は、顔特徴(Face)、体特徴(Body)、歩行特徴(Gait)、生体情報(Vital)を含む。
属性格に含まれる顔特徴、体特徴(体型)、歩行特徴(歩容)、生体情報は、さらに詳細な要素に分けられる。例えば、顔特徴は、顔検出を行った際の信頼度を表す顔検出信頼度(FConf)、顔の特徴を表す顔特徴(Ident)、口の開閉度合いを表す口開閉度合(Mouth)、視線方向(PanTilt)、マスクの有無(Mask)、サングラスの有無(SG)、性別(Sex)、年代(Age)、頭髪の色を示す頭色(HColor)などの要素を含む。また、体特徴は、身長(Height)、上半身色(BColor)、下半身色(LColor)などの要素を含む。また、歩行特徴は、歩幅(StepWidth)、体型(Posture)、脚長(LLength)、歩速(WSpeed)などの要素を含む。また、生体情報は、脈拍(HeartBeat)、皮膚電気抵抗(GSR)などの要素を含む。
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、場所名(PName)、頭部座標(Head)、体座標(Body)、足座標(Leg)、右手座標(RHand)、左手座標(LHand)、重心座標(WB)などの要素を含む。
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、動作が開始された日時を表す日時(DateTime)、その動作が開始してからの経過時間(PassTime)などの要素を含む。
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報(PosCase)、その起点での主格の属性を表す属性情報(Feature)、主格が移動や動作等を行う時間を示す時間情報(TimeCase)などの要素を含む。
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報(PosCase)、その終点での主格の属性を表す属性情報(Feature)、主格が移動や動作等を行う時間を示す時間情報(TimeCase)などの要素を含む。
対象格は、動作や状態の対象となる事物を表す。例えば、対象格は、事物に固有の識別情報である追跡番号(ID)、その事物の名称である認証名(Name)などの要素を含む。
道具格は、動作の補助的手段を表す。例えば、道具格は、道具に固有の識別情報である追跡番号(ID)、その道具の名称である認証名(Name)などの要素を含む。
なお、利用できる深層格はこれらに限らず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。
図4は、状態情報DB151に記憶される状態情報の具体例を示す図である。図4では、人物A(主格)が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Aの身長高、体型などの具体的な値が設定される。また、場所格及び時間格には、それぞれ人物Aがしゃがんだ時の位置や時刻に関する具体的な値が設定される。なお、人物Aが監視員である場合は、その監視員が装着したセンサからの出力値に基づいて、生体情報に具体的な値が設定されることとなる。
図5は、状態情報DB151に時系列で記憶される状態情報を示す図である。図5に示すように、状態情報DB151に記憶される状態情報(深層格フレーム)は、時系列で構造化されている。具体的には、同一の格フレームIDの深層格フレームが状態情報DB151に時系列に沿って順次記憶されており、時間格のDateTimeをインクリメントしながら読み出すことで、時系列に沿った深層格フレームの取得が可能となっている。
図1に戻り、規則DB152は、後述する第2検出部140が、状態情報DB151に保存された各フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図6は、規則DB152に記憶される行動検出規則のデータ構造の一例を示す図である。
図6に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。
前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも1つの深層格を設定する。
前格フレームおよび後格フレームは、2つの格フレームが差異を有するパターンを表す情報(差分情報)に相当する。すなわち、ある2つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この2つの格フレーム間には差異が存在すると判断される。例えば、図6では、ある格フレーム(格フレーム1)の行動名が「存在する」、場所格に含まれる体位置が「A」であり、他の格フレーム(格フレーム2)の行動名が「存在する」、場所格に含まれる体位置が「B」であるとき、格フレーム1と格フレーム2との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Bと、後格フレームに含まれる頭部位置Cとが、B>Cの関係を満たすことが条件として設定されている。また、「警戒する」の行動を検出する行動検出規則では、前格フレーム、後格フレームの行動名が「存在する」であり、前格フレームに含まれる生体情報の脈拍B1と、後格フレームに含まれる生体情報の脈拍B2とが、互いに所定の閾値を超えていることが条件として設定されている。すなわち、行動名が「存在する」である監視員の脈拍が連続して高まっている時には、その監視員の行動として「警戒する」が検出される。なお、「警戒する」の行動が検出される条件としては、監視員の発汗量が所定の閾値より多い場合であってもよい。
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも1つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる体位置Aおよび後格フレームに含まれる体位置Bを、それぞれ検出した行動に対応する格フレームの源泉格の体位置Aおよび目標格の体位置Bとして保存する例が示されている。
なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。
図7は、検出される行動間の遷移関係を表す図である。具体的には、図7は、画像情報と監視員が装着したセンサとから検出される行動と、状態情報DB151に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。
なお、この基準は、図6の規則DB152に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図6では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名501(存在する)に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。
なお、図7の行動名501〜504は、後述する第1検出部138によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第2検出部140によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名511〜513は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。また、行動名514は、監視員にかかる行動であって、監視カメラ120から取得された画像情報と、監視員に装着されたセンサからの出力とに基づいて検出される行動名を表している。
本実施の形態では、さらに、規則DB152が、複数の物体(人物)の状態情報の組み合わせに応じた動作を検出するときに参照する行動検出規則を記憶する。以下では、このように複数の物体の状態から動作を検出するための行動検出規則を、状況把握規則という。図8は、状況把握規則のデータ構造の一例を示す図である。
図8に示すように、状況把握規則は、ある人物Aに関する情報と、他の人物Bに関する情報と、その他の条件と、検出される状態情報とを対応づけた形式となっている。
人物Aに関する情報および人物Bに関する情報は、それぞれ行動名と格情報とを含んでいる。格情報には、各人物が満たすべき深層格の条件を設定する。
ある2人の人物それぞれに対応する2つの格フレームが、それぞれ人物Aに関する情報と人物Bに関する情報とで設定された行動名および格情報に適合するとき、「検出される状態情報」欄に記載された行動名の行動が検出される。
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「脅す」の行動を検出する状況把握規則では、行動名「見る」の格フレームが存在し、その格フレームの主格および対象格がそれぞれ人物Aおよび人物Bであるという条件が設定されている。
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも1つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「脅す」の行動が検出された場合は、人物Bを検出した行動に対応する格フレームの対象格として保存する例が示されている。
なお、状況把握規則は同図に示す形式に限られるものではなく、複数人の行動を表す状態情報の組み合わせに応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。また、同図では2人の状態情報の組み合わせから行動を検出する規則が例示されているが、3人以上の状態情報の組み合わせから行動を検出する規則を用いてもよい。
複数人の行動の組み合わせとしては、例えば、犯罪行為等の被害者および加害者、または、異常な状況が発生するときの周囲の人物(例えば監視員)等の行動の組み合わせなどを想定する。そして、このような複数人の行動の組み合わせが発生したときに予測される行動を検出される状態情報に設定した状況把握規則を定める。
例えば、同図の1行目および2行目は、人物Aを加害者又は監視員、人物Bを被害者としたときの状況に対応する状況把握規則を表している。また、同図の3行目は、複数人の行動の組み合わせから不審行動を検出する状況把握規則を表している。このような規則を用いることにより、例えば個々の人物の行動が不審行動と思われるが不審と断定できない場合であっても、他の人物の行動と同時に発生していることを条件として不審行動であると判断することが可能となる。
図1に戻り、異常情報DB153は、監視領域において、異常状態と判断される格フレーム(異常情報)を予め記憶する。具体的には、異常情報として、不審者の動作状態を表す行動パターンや、異常時における監視員の動作状態を表す行動パターンを記憶する。図9は、異常情報DB153に記憶される異常情報のデータ構造の一例を示す図である。図9に示すように、異常情報は、不審者・監視員の動作の種類を表す行動名と、不審者・監視員の動作に関連する深層格(格情報)と、その深層格が満たすべき条件とを含んでいる。
同図の網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の体位置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者または不審行動として記憶している例を示している。また、行動名が「警戒する」である場合であって、かつ場所格の体位置が「通路」、すなわち、監視領域の通路で監視員が警戒している場合を異常状態として記憶している例を示している。
なお、異常情報DB153に記憶される行動名や、深層格の種類等は、予めユーザによって記憶される。
図1に戻り、環境情報DB154は、監視領域や監視装置100の設置状態などの環境情報を予め記憶する。具体的には、監視領域の場所、複数設置された監視カメラ120の設置位置、監視員用装着ユニット170とデータを送受信する送受信機器(無線アンテナ、赤外線発光/受光器、RFID(Radio Frequency IDentification)リーダ/ライタなど)の設置位置を記憶する。
図10は、環境情報DB154に記憶される環境情報のデータ構造の一例を示す図である。図10に示すように、環境情報DB154において、環境情報は、ユニークに割り当てられたIDにより識別可能に記憶される。また、環境情報として、監視領域の場所(エリアA〜C)、その監視領域に設置されたRFIDリーダ(設置物)の設置場所などが、起点座標、終点座標とともに記憶されている。
図1に戻り、第1検出部138は、画像情報取得部132によって取得された画像情報や、送受信部160を介して取得した監視員に装着されたセンサからの出力を解析することにより、物体の動作状態を検出する。また、第1検出部138は、検出した動作状態を表す状態情報を生成して状態情報DB151に保存する。
第1検出部138は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第1検出部138は、検出した人物の視線方向を検出することにより、その人物の「見る」という動作状態を検出する。また、第1検出部138は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。また、第1検出部138は、監視員に装着されたセンサからの出力を、監視員の生体情報として状態情報DB151に保存する(詳細は後述する)。
なお、第1検出部138が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第1検出部138が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。
状態取得部139は、状態情報DB151から複数の状態情報を取得する。例えば、状態取得部139は、第1検出部138によって検出され、状態情報DB151に保存された状態情報のうち、時刻が連続する2つの状態情報を取得する。また、状態取得部139は、状態情報DB151に保存された状態情報のうち、同一時刻で主格が異なる2つの状態情報を取得する。前者は、図6の行動検出規則によって行動を検出するときに利用される。また、後者は、図8の状況把握規則によって行動を検出するときに利用される。なお、時刻は厳密に同一である必要はなく、誤差が所定の時間範囲内であれば略同一の時刻と判断するように構成してもよい。
第2検出部140は、時刻が連続する2つの状態情報が規則DB152に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。
具体的には、第2検出部140は、状態取得部139によって取得された時刻が連続する2つの状態情報の行動名および格情報が一致する行動検出規則を規則DB152から取得する。そして、第2検出部140は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。
また、第2検出部140は、同一時刻で主格が異なる2つの状態情報が規則DB152に保存された状況把握規則に適合するか否かを判定することによって、新たな行動を検出する。
具体的には、第2検出部140は、状態取得部139によって取得された同一時刻で主格が異なる2つの状態情報の行動名および格情報が一致する状況把握規則を規則DB152から取得する。そして、第2検出部140は、状況把握規則が取得できた場合に、状況把握規則で定められた行動を新たな行動として検出する。
異常判定部141は、異常情報DB153に記憶されている異常情報に適合する状態情報を状態情報DB151から検索することにより、監視領域における異常の有無を判定する。具体的には、異常判定部141は、状態情報DB151に記憶されている異常情報のうち、状態情報の行動名が異常情報の行動名と一致し、かつ状態情報の格要素のうち異常情報の格情報に記載された格要素が異常情報の条件を満たす状態情報を検索する。そして、異常判定部141は、条件を満たす状態情報がある場合に異常が発生したと判定する。具体的には、条件を満たす状態情報の主格である人物が不審者であると判定する。
なお、異常判定部141は、条件を満たす状態情報として検出した動作パターンの統計母数、すなわち多変量解析を行う際に用いる変数としての複数の行動名、深層格、および行動の変位の数量が、所定の閾値を超えているか否かを判定する。そして、異常判定部141は、統計母数が所定の閾値を超えている場合は、その検出された行動パターンを来訪者の不審行動や異常時における監視員の警戒行動と判定し、異常が発生したと判定する。なお、統計母数が所定の閾値を超えていない場合は、不審行動や警戒行動が無く、異常が発生していないものとする。これは、統計母数が所定の閾値を超えていない場合は、統計に用いる変数の数量が少なく、動作パターンの信頼性が低くなるため、必ずしも不審行動、警戒行動と判断できないためである。これにより、図9に例示したように、来訪者が玄関前において「きょろきょろする」や、監視員が通路で「警戒する」などが長時間継続された場合は、異常が発生しているものと判定される。
送受信部160は、通信回路、無線アンテナ、赤外線発光/受光器、RFID(Radio Frequency IDentification)リーダ/ライタなどを有する構成であり、監視領域における監視員が装着した監視員用装着ユニット170との間でデータの送受信を行う。
監視員用装着ユニット170は、監視員が装着して使用する装置であり、装着した監視員の生体情報(脈拍、発汗量)や、頭部、胴体部、右手、左手の動作情報(加速度)を、送信用データとして監視操作部130に送信する。具体的には、監視員用装着ユニット170は、生体情報を取得するための生体センサ171、監視員の各部位(頭部、胴体部、右手、左手)に設けられた加速度センサ172、装置の制御を司るコントローラ173、送受信部160との間でデータの送受信を行う送受信部174を備える。生体センサ171は、心臓の拍動による血圧の変動を検出して脈拍を検出する脈拍センサや、発汗量に応じて変動する皮膚電気抵抗を検出する電極センサなどである。
図11は、監視員用装着ユニット170の送信用データと、その送信用データに基づいた監視員に関する深層格フレームの登録との一例を示す図である。図11に示すように、監視員Hには、手首や指先などに生体センサ171が、頭部、胴体部、右手、左手のそれぞれに加速度センサ172が装着されている。
生体センサ171は、監視員の脈拍(s0)、皮膚電気抵抗(s1)を出力する。加速度センサ172は、胴体部加速度センサ出力(A)、頭部加速度センサ出力(a0)、右手加速度センサ出力(a1)、左手加速度センサ出力(a2)を出力する。監視員用装着ユニット170は、コントローラ173の制御の下、上述した生体センサ171、加速度センサ172の出力値に装置固有の識別IDと測定時間を付与した送信用データを生成し、その生成した送信用データを送受信部174から監視操作部130へ送信する。
監視操作部130では、第1検出部138が送受信部160で受信した送信用データをもとに、監視員の生体情報や位置情報を状態情報DB151に保存する。具体的には、送信用データの識別IDをもとに監視員である人物照合(例えば主格の追跡番号の照合)と、測定時間をもとに時間照合(例えば時間格の日時の照合)を行い、符合する深層格フレームを特定する。
次いで、監視員の各部位における加速度センサの出力値を積算することで、監視員の各部位の速度や位置の算出を行う。ここで、算出した監視員の各部位の位置と、人物照合や時間照合により符合する深層格フレームの足座標などとを照合し、算出結果にずれが生じていないか否かを検出してもよい。そして、算出結果にずれが生じていない場合は、算出された監視員の各部位の位置を符合する深層格フレームに入力してもよい。次いで、送信用データの生体情報(脈拍、皮膚電気抵抗)を符合する深層格フレームに入力する。
次に、このように構成された本実施形態に係る監視装置100による画像や監視員に装着したセンサからの動作検出処理について、図12を参照して説明する。画像や監視員に装着したセンサからの動作検出処理とは、監視カメラ120で撮像された画像情報や、監視員用装着ユニット170の送信用データから人物等の動作(行動)を検出する処理をいう。図12は、動作検出処理の全体の流れを示すフローチャートである。
まず、画像情報取得部132は、監視カメラ120が撮影した画像情報を入力する(S601)。次に、第1検出部138が、画像情報から人物領域を検出する(S602)。次に、第1検出部138は、人物領域が検出されたか否かを判断する(S603)。人物領域が検出されなかった場合は(S603:NO)、次の画像情報を入力して処理を繰り返す(S601)。
人物領域が検出された場合(S603:YES)、第1検出部138は、行動名=「存在する」の格フレームを作成する(S604)。なお、作成した格フレームの格フレームIDには、他の格フレームと重複しない値を割り当てる。また、時間格のDateTimeには現在の日時を割り当てる。
次に、第1検出部138は、検出した人物領域の各部位の検出位置を場所格へ格納する(S605)。例えば、第1検出部138は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、体位置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。
なお、S605において、監視員に関するデータを格フレームに格納する場合の処理の詳細は図13に示すとおりである。図13は、監視員に関するデータを格フレームに格納する処理を示すフローチャートである。
図13に示すように、第1検出部138は、状態情報DB151より監視員の認識ID(監視員用装着ユニット170の識別IDなど)に対応する深層格フレームのデータを取得する(S6051)。次いで、第1検出部138は、測定時間の格フレームの有無を判定し(S6052)、測定時間の格フレームが無い場合(NO)は現在の測定時間Tの格フレームを生成する(S6053)。
次いで、第1検出部138は、取得又は生成した格フレームに監視員用装着ユニット170の生体センサ171からの出力値(脈拍:s0、皮膚電気抵抗:s1)を属性格の生体情報に格納する(S6054)。
次いで、第1検出部138は、取得又は生成した格フレームに位置情報が有るか否かを判定する(S6055)。S6055において位置情報がない場合(NO)、すなわち、監視カメラ120の死角などにより、撮影した画像情報から監視員に関する各部位の位置検出ができなかった場合、第1検出部138は、監視員用装着ユニット170の加速度センサ172からの出力値(胴体部加速度センサ出力:A、頭部加速度センサ出力:a0、右手加速度センサ出力:a1、左手加速度センサ出力:a2)を元に監視員の各部位の位置座標を算出し、算出結果を場所格へ格納する(S6056)。
図14は、監視カメラ120の死角の一例を示す図である。図14に示すように、監視領域Rにおいて、通路上の監視員Hは、カメラCA2、カメラCA1で撮像した画像情報から位置の検出が行われる。しかしながら、カメラCA1の映像では、監視員Hの正面側が壁に隠れているため、何をしているのか(例えば手の位置)までは解析できない。同様に、カメラCA2の映像では、監視員Hの後ろ姿しか映っていないため、手の動きなどは解析できない。このような場合は、撮影した画像情報から監視員に関する各部位(この場合は手の位置)の位置検出ができない。すなわち、監視カメラ120の死角に隠れている監視員Hの部位については、場所格への格納が行われないこととなる。
これに対し、第1検出部138が上述した処理を行うことで、監視カメラ120の死角に隠れた監視員Hの部位の位置が、監視員用装着ユニット170における加速度センサ172の出力値から算出されて、補間されることとなる。したがって、第1検出部138は、監視員の各部位に関して、監視カメラ120の死角に左右されることなく、適切なデータを場所格へ格納することができる。
図12に戻り、第1検出部138は、S604〜S605と並行して、人物同定処理(S606〜S607)、顔検出処理(S608〜S610)、体型判定処理(S611〜S612)、および歩容検出処理(S613〜S614)の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。
人物同定処理では、第1検出部138は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する(S606)。そして、第1検出部138は、同定した人物に既に割り当てられているエージェントID(図2のAgent)を、作成した格フレームの主格に格納する(S607)。
顔検出処理では、第1検出部138は、顔領域パターンと照合する方法などによって顔領域を検出する(S608)。また、第1検出部138は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する(S609)。視線方向が検出された場合は、第1検出部138は、行動名=「見る」の格フレームを作成する(S610)。
体型判定処理では、第1検出部138は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する(S611)。そして、第1検出部138は、判定した体型を、作成した格フレームの属性格に格納する(S612)。
歩容検出処理では、第1検出部138は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報(歩行特徴)を検出する(S613)。歩速は、例えば連続する画像情報(動画像のフレームなど)の脚部の位置を比較することにより算出することができる。そして、第1検出部138は、検出した歩容情報を、作成した格フレームの属性格に格納する(S614)。
次に、第1検出部138は、画像情報から物体を検出する(S615)。なお、物体検出処理は、人物領域検出処理(S602)とともに実行してもよい。
次に、第1検出部138は、物体が検出されたか否かを判断する(S616)。物体が検出された場合(S616:YES)、第1検出部138は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名=「触る」または「取り出す」の格フレームを作成する(S617)。
具体的には、第1検出部138は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名=「触る」の格フレームを新たに作成する。また、第1検出部138は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名=「取り出す」の格フレームを新たに作成する。
S616で物体が検出されなかったと判断された場合(S616:NO)、またはS617で新たな格フレームを作成後、第1検出部138は、これまでに作成した格フレームを状態情報DB151に保存し(S618)、画像や監視員に装着したセンサからの動作検出処理を終了する。
次に、本実施形態にかかる監視装置100による状態情報からの動作検出処理について図15を参照して説明する。状態情報からの動作検出処理とは、状態情報DB151に保存されている状態情報から人物等の動作(行動)を検出する処理をいう。図15は、状態情報からの動作検出処理の全体の流れを示すフローチャートである。
まず、状態取得部139は、状態情報DB151に保存されている状態情報である格フレームのうち、未処理の格フレーム(以下、第1格フレームという)を取得する(S701)。次に、状態取得部139は、取得した第1格フレームと時間的に連続する格フレーム(以下、第2格フレームという)を状態情報DB151から取得する(S702)。
次に、第2検出部140は、取得した2つの格フレームが満たす行動検出規則を規則DB152から検索する(S703)。具体的には、第2検出部140は、第1格フレームおよび第2格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。
例えば、第1格フレームおよび第2格フレームの行動名が共に「存在する」であり、第1格フレームの体位置(体位置Aとする)と、第2格フレームの体位置(体位置Bとする)とが異なる場合、図6に示すような規則DB152の最初の行動検出規則が検索される。
次に、第2検出部140は、行動検出規則が検索されたか否かを判断し(S704)、検索された場合は(S704:YES)、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する(S705)。
行動検出規則が検索されなかった場合(S704:NO)、または、格フレームを作成後、第2検出部140は、未処理の格フレームが存在するか否かを判断する(S706)。
未処理の格フレームが存在する場合(S706:YES)、状態取得部139は、次の格フレームを取得して処理を繰り返す(S701)。未処理の格フレームが存在しない場合は(S706:NO)、状態情報からの動作検出処理を終了する。
このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。
次に、本実施形態にかかる監視装置100による状況把握処理について図16を参照して説明する。状況把握処理とは、状態情報DB151に保存されている複数人(物体)の状態情報から動作の状況を把握し、新たな人物等の動作(行動)を検出する処理をいう。図16は、状況把握処理の全体の流れを示すフローチャートである。
まず、状態取得部139は、状態情報DB151に保存されている状態情報である格フレームのうち、未処理の格フレーム(以下、第1格フレームという)を取得する(S1001)。次に、状態取得部139は、取得した第1格フレームと同時刻の他の格フレーム(以下、第2格フレームという)を状態情報DB151から取得する(S1002)。
次に、第2検出部140は、複数人物の格フレームが取得されたか否か、すなわち、第1格フレームの主格と、第2格フレームの主格とが異なるか否かを判断する(S1003)。複数人物の格フレームが取得された場合(S1003:YES)、第2検出部140は、各人物の格フレームの行動名を取得する(S1004)。
次に、第2検出部140は、行動名=「見る」の格フレームが存在するか否かを判断する(S1005)。存在する場合(S1005:YES)、第2検出部140は、行動名=「見る」の対象となる物体(人物)が一致する他の人物の人数を算出し、人数が所定の閾値より大きいか否かを判断する(S1006)。例えば、第2検出部140は、第1格フレームまたは第2格フレームの対象格に設定された物体(人物)と同一物体(人物)が、行動名=「見る」の対象格に設定され、主格が異なる他の格フレームの個数を算出し、閾値と比較する。
人物数が閾値より大きい場合(S1006:YES)、第2検出部140は、複数の人物が特定の人物に注目していることから、異常な状況が生じていると判断し、異常が発生したことを表す情報を出力する(S1007)。
このように、本実施形態によれば、複数人の状態情報から特定の人物の異常な行動を検出するだけでなく、複数人の状態情報から何らかの異常な状況が生じているということを検出することもできる。なお、上記例では、特定の対象を複数人が「見る」という行動が生じたときに異常と判断していたが、行動は「見る」に限られるものではなく、予め定められた特定の行動(例えば、監視員の「警戒する」という行動)を対象として判断するように構成してもよい。この場合、特定の行動を表す特定の動詞が含まれる状態情報の個数(監視員の人数)を算出し、個数が所定の閾値より大きいか否かを判定すればよい。
人物数が閾値より大きくない場合(S1006:NO)、第2検出部140は、第1格フレームおよび第2格フレームのうち、行動名=「見る」の格フレームの主格を人物A、対象格を人物Bとして取得する(S1008)。そして、第2検出部140は、人物Aの格フレームおよび人物Bの格フレームが満たす状況把握規則を規則DB152から検索する(S1009)。具体的には、第2検出部140は、人物Aの格フレームおよび人物Bの格フレームの行動名が、それぞれ状況把握規則の人物Aに関する情報および人物Bに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。
例えば、人物Aの格フレームの行動名が「手を突き出す」であり、人物Bの格フレームの行動名が「手を上げる」であり、人物Aの格フレームの対象格が人物Bである場合、図8に示すような状況把握規則の最初の規則が検索される。
また、S1005で、行動名=「見る」の格フレームが存在しないと判断された場合(S1005:NO)、第2検出部140は、第1格フレームおよび第2格フレームが満たす状況把握規則を規則DB152から検索する(S1010)。具体的には、第2検出部140は、第1格フレームおよび第2格フレームの行動名が、それぞれ状況把握規則の人物Aに関する情報および人物Bに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。
例えば、第1格フレームの行動名が「移動する」であり、第2格フレームの行動名が「見回す」であり、第1格フレームおよび第2格フレームの場所格が表す地点が一致する(例えば地点A)場合、図8に示すような状況把握規則の3行目の規則が検索される。
次に、第2検出部140は、状況把握規則が検索されたか否かを判断し(S1011)、検索された場合は(S1011:YES)、検索した状況把握規則の「検出される状態情報」に設定された行動名の格フレームを作成する(S1012)。
S1003で複数人物の格フレームが取得されなかった場合(S1003:NO)、S1011で状況把握規則が検索されなかった場合(S1011:NO)、または、格フレームを作成後、第2検出部140は、未処理の格フレームが存在するか否かを判断する(S1013)。
未処理の格フレームが存在する場合(S1013:YES)、状態取得部139は、次の格フレームを取得して処理を繰り返す(S1001)。未処理の格フレームが存在しない場合は(S1013:NO)、状況把握処理を終了する。
このような処理により、個々の物体(人物)の状態情報の差分(変位)から、個々の物体(人物)の状態情報を検出するだけでなく、複数の物体(人物)の状態情報から物体(人物)の行動の状況を把握し、行動(動作)をより高精度に検出することが可能となる。
次に、このように構成された本実施形態にかかる監視装置100による異常判定処理について図17を参照して説明する。図17は、異常判定処理の全体の流れを示すフローチャートである。
同図に示す各処理では、図9に示すような異常情報DB153が、ユーザや監視センタ200によって予め記憶され、さらに操作パネル135等からユーザによって異常判定を行うための指示がなされたものとする。
まず、異常判定部141は、異常情報DB153を参照して、記憶されている異常情報を読み込む(ステップS1101)。そして、読み込んだ異常情報をキーにして、その異常情報を含む深層格フレームを状態情報DB151の中から検索する(S1102)。
そして、状態情報DB151の中に異常と判断される格フレームと一致する格フレームがあるか否か、すなわち、異常情報を含む深層格フレームが存在するか否かを判定し(S1103)、異常情報を含む深層格フレームがないと判定した場合(S1103:NO)、何もせずに次のステップに進む。
一方、異常情報を含む深層格フレームが存在すると判定した場合(S1103:YES)、異常判定部141は、その異常情報を含む深層格フレームを操作パネル135などに表示出力して、監視領域における異常が発生したことを通知する出力処理を行う(S1104)。その後、異常情報DB153に記憶されているすべての異常情報の規則を参照したか否かを判定し(S1105)、すべての異常情報の規則を参照していないと判定した場合(S1105:NO)、S1101に戻り、以降の処理を繰り返す。一方、すべての異常情報の規則を参照したと判定した場合(S1105:YES)、異常判定処理が終了する。
なお、S1104において、異常情報を含む深層格フレームが監視員のものである場合、すなわち、主格のIDから監視員の深層格フレームと識別されるものに異常情報が含まれている場合は、図18に示す出力処理が行われる。なお、監視員の深層格フレームに異常情報が含まれている場合とは、図9に示すように、監視員の行動が「警戒する」などの場合が該当する。図18は、監視員に関する異常の出力処理の全体の流れを示すフローチャートである。
図18に示すように、処理が開始されると、異常判定部141は、監視員に関する深層格フレームにおいて、前の格フレームとの間における、属性格の生体情報の変位を算出する(S1201)。なお、S1201で算出する生体情報の変位とは、前の複数の格フレームを統計母数とした生体情報の平均値(監視員の平常時の値)からの変位量とする。すなわち、S1201で算出する変位量は、監視員の異常に対する反応度合いであって、異常に接した監視員の緊張度を表しており、この変位量が大きいほど監視員の身近に異常が発生していることを示している。
次いで、異常判定部141は、算出した変位量が予め設定された第1の閾値(θL)よりも大きい値であるか否かを判定する(S1202)。算出した変位量が第1の閾値よりも大きい場合(YES)は、その変位量が第2の閾値(θH:ただしθHはθLよりも大きな値とする)よりも大きい値であるか否かを判定する(S1203)。なお、算出した変位量が第1の閾値よりも小さい場合(NO)は、そのまま出力処理を終了する。このS1202、S1203により、変位量の大きさから監視員の緊張度合いを段階的に判別し、その判別した緊張度合いに応じた処理を行うことができる。
すなわち、算出した変位量が第2の閾値よりも大きく場合(S1203:YES)であり、監視員の緊張度合いが十分に高く、監視員のより身近に異常が発生している場合は、例えば監視員の場所格の重心座標を中心とした半径がX0m以内のエリアを、監視員が異常を検出した検知空間Dとする。また、算出した変位量が第2の閾値よりも小さく、第1の閾値よりも大きい場合(S1203:NO)であり、監視員の緊張度合いがある程度高く、監視員からある程度離れた場所に異常が発生している場合は、例えば監視員の場所格の重心座標を中心とした半径がX1m以内のエリアを、監視員が異常を検出した検知空間Dとする。このように、S1204、S1205では、生体情報が示す監視員の緊張度合いに応じた検知空間Dを設定する。
次いで、異常判定部141は、前に検出された検知空間D、すなわち、直近の出力処理で検出された検知空間Dと、今回検出された検知空間Dの重複部分を反応空間Sとして登録する(S1206)。このS1206により、監視領域において時系列で重複する検知空間Dが反応空間Sとして登録されることとなる。
次いで、異常判定部141は、登録した反応空間Sの大きさが所定の閾値(θP)よりも小さいか否かを判定する(S1207)。反応空間Sは監視員の緊張度合いに応じた検知空間Dが時系列で重複している空間であるため、その大きさが大きいほど、監視員が漠然と異常を感じており、異常が発生した場所(異常発生空間)までは特定できていないと考えられる。したがって、S1207の判定により、反応空間Sの大きさが所定の閾値以下に絞り込めるまでは、異常が発生した場所を推定しないものとする。
S1207において、登録した反応空間Sの大きさが所定の閾値よりも小さい場合(YES)は、登録した反応空間Sを異常が発生した異常発生空間として推定し(S1208)、算出した変位量が予め設定された第3の閾値(θ)よりも大きい値であるか否かを判定する(S1209)。なお、この第3の閾値は、監視員の緊張度合いが異常であると出力するのに十分高いか否かを判断するためのものであり、前述した第1、2の閾値とは別に設定される値である。
S1209において算出した変位量が予め設定された第3の閾値よりも大きい場合(YES)、異常判定部141は、監視領域における、反応空間Sに基づいた位置に異常が発生したことを操作パネル135に表示出力させる(S1210)。具体的には、監視領域において、反応空間Sとして異常が検出された場所(座標)を操作パネル135に表示出力する。これにより、ユーザは異常が発生した場所を的確に把握することができ、応援要請などの対応を正確に行うことができる。
図19は、監視領域Rにおける監視員Hの行動の一例を示す図である。図19に示すように、監視領域Rにおいて、監視員Hは点線に沿って通路を移動しながら監視を行っており、この監視員Hの行動は深層格フレームに時系列で格納されている。この監視の最中に、監視員Hは、聴覚、視覚、嗅覚、触覚などの自身の感覚から異常を感じると、「警戒する」という行動に移行する。そして、「警戒する」という行動を持続しつつ、異常が発生した場所に近づくにつれて緊張度合いが高まり、その緊張度合いが生体情報の反応として出現する(図示例では、反応が中→大→大→小の順に出現している)。
したがって、上述した出力処理を行うことにより、時系列で格納された深層格フレームを順次解析し、警戒行動を行っている監視員の感覚に反応して変化する生体情報に応じた検知空間Dを順次求め、その時系列で求められた検知空間Dが重複する反応空間Sを異常発生場所として推定している。このため、監視カメラ120で撮像した画像だけでなく、監視員の感覚を生かした異常検出を行うことができ、監視カメラ120の撮像範囲に限定されない、より広範な異常検出を行うことができる。
なお、本実施形態では、一人の監視員の行動を時系列で解析して異常検出を行う構成を例示したが、複数の監視員の行動から異常検出を行う構成であってもよい。具体的には、監視装置100は、識別IDなどで互いに識別可能な複数の監視員用装着ユニット170を備え、それぞれの監視員用装着ユニット170から監視員の行動を取得して、異常検出を行う。この場合は、図18に例示したフローチャートのS1206において、各監視員の検知空間が重複する空間を反応空間とすることで、複数の監視員の感覚を生かした異常検出を行うことができる。
例えば、図19に図示された監視員Hが一人の監視員ではなく、個別の監視員であるものと想定する。この場合、生体情報の反応が大きい(第2の閾値より大きい)二人の監視員と、生体情報の反応が中程度(第2の閾値より小さく、第1の閾値より大きい)の一人の監視員との検知空間Dが重複する反応空間Sを異常発生場所として検出できる。
また、本実施形態では、監視員の各部位の位置検出用センサを加速度センサ172とし、監視カメラ120で撮像した画像情報から監視員の各部位の位置が取得できない場合は加速度センサ172の出力値を積算することで算出する構成を例示した。しかしながら、位置検出用センサは、監視員の各部位の位置を特定可能であれば、加速度センサ172を用いる構成に限定しない。例えば、監視員の各部位に設けられた発信器との間で無線通信による三角測量を行うことで、各部位の位置検出を行ってもよい。
また、監視員から検出する生体情報は、脈拍、発汗量(皮膚電気抵抗)以外に、胸郭の動きなどを検出して取得した所定時間あたりの呼吸数、脈拍と同時に測定した血圧値、頭部に装着した脳波センサからの出力値などであってもよい。これら複数の生体情報を時系列で検出し、平常時からの変位量を測定することで、より精度の高い異常検出を行うことが可能となる。
なお、上記実施の形態では、監視領域の異常検出を、監視装置100で実行していたが、これに限定されるものではなく、監視センタ200側で実行するように構成することもできる。