JP2018148402A - 映像監視装置および映像監視方法 - Google Patents

Abstract

【課題】映像監視者の映像目視の負担を低減するとともに、設備コストを増大することなく広いエリアを監視できる映像監視装置を提供する。【解決手段】映像監視装置３は、監視映像情報を取得するカメラ映像取得手段４と、監視映像情報から複数の人物領域を抽出して、人物領域のそれぞれについて人物の視線方向を求め、複数の人物の視線方向が特定位置に向いていることを判別して注目事象の発生を検知する障害検知手段５と、注目事象の発生を通知する出力装置１０と、を備える。【選択図】図１

Description

本発明は、映像監視装置および映像監視方法に関する。

施設やエリア内に監視カメラを設置し、監視カメラで撮影した映像を監視者が遠隔地で監視する映像監視システムがある。この映像監視システムでは、監視者の映像目視により状況を把握し、監視者が危険と判断した場合に、発生した状況に応じて措置することで、犯罪やテロの防止などのセキュリティ対応を行っている。
上記の映像監視システムでは、撮影エリア内の監視しかできないため、広いエリアの監視を行う場合には、監視カメラを死角がないように網羅的に設置するか、監視者が状況変化の見逃しがないよう常にカメラを操作・監視する必要がある。
このため、映像監視システムの設備コストや監視者の負担が非常に大きくなる問題がある。

監視者の負担を低減する技術として、特許文献１には、人物を撮影する撮影装置と、画像を送信する送信装置と、撮影装置によって撮影された画像の中から人物の顔表情の変化を認識し、顔表情の変化があった人物を特定し、特定した人物に関連付けられる宛先に、変化した顔情報を含む画像を、送信装置を介して送信する、処理を行う処理装置と、を備える監視システムが開示されている。

特開２０１０−１５７１１９号公報

上記の先行技術によれば、監視者の映像目視の負担を低減することができる。
しかし、ある特定の被監視者のみの監視を目的としており、公共施設や商業施設の監視など被監視者を特定できない場合には適用することができない。
また、広いエリアの映像監視について考慮されておらず、映像監視システムの設備コストを低減できない。

本発明の目的は、映像監視者の映像目視の負担を低減するとともに、設備コストを増大することなく広いエリアを監視できる映像監視装置を提供することにある。

前記課題を解決するため、本発明の映像監視装置は、監視映像情報を取得する監視映像取得手段と、前記監視映像情報から複数の人物領域を抽出して、前記人物領域のそれぞれについて人物の視線方向を求め、複数の人物の視線方向が特定位置に向いていることを判別して注目事象の発生を検知する障害検知手段と、前記注目事象の発生を通知する表示手段と、を備えるようにした。

本発明によれば、監視者の作業負担を低減するとともに、コスト負担が増加することなく広いエリアの映像監視を行える。

第1実施形態の映像監視システムの構成図である。 人物情報のデータ構造を示す図である。 カメラ情報のデータ構造を示す図である 表情情報のデータ構造を示す図である。 障害情報のデータ構造を示す図である。 映像監視装置の処理フロー図である。 障害判定部の処理フロー図である。 監視カメラの視野範囲の監視映像情報の一例を示す図である。 人物の視線方向を俯瞰画像に視線ベクトルとして示した図である。 監視映像情報の視野範囲外の車道を車が走行している状況を説明する図である。 人物の視線方向を俯瞰画像に視線ベクトルとして示した図である。 監視映像情報の視野範囲外の車道を走行している車に、事故が発生した状況を説明する図である。 人物の視線方向を俯瞰画像に視線ベクトルとして示した図である。 出力装置の表示の一例を示す図である。 第２実施形態の映像監視システムの構成図である。 人物情報のデータ構造を示す図である。 映像監視装置の処理フローを示す図である。 不審人物有無判定処理の詳細を説明する図である。 出力装置の表示の一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
≪第１実施形態≫
図１は、第1実施形態の映像監視装置を適用した映像監視システムの構成図である。
第1実施形態の映像監視装置３は、ネットワーク２に接続する複数の監視カメラ１から監視映像を取得し、監視カメラ１が設置されたエリアの映像監視を行う。

つぎに、実施形態の映像監視装置３の内部構成を説明する。
カメラ映像取得手段４は、ネットワーク２との接続を制御し、監視カメラ１の監視映像情報を取得し、主記憶装置９に記憶する制御部である。
障害検知手段５は、主記憶装置９に記憶する監視映像情報と、補助記憶装置８の詳細を後述する情報に基づいて障害判定を行う。

この障害検知手段５は、例えば、ＤＬＬ（Dynamic Link Library）のようなソフトウェア形態でシステムにアドオンしても良いし、ＬＳＩ（Large Scale Integration）のような電子回路にアルゴリズムを組み込んでハードウェア形態でシステムにアドオンしても良い。

警告画像生成手段６は、障害検知手段５で障害を検知した際に、出力装置１０に重畳表示する警告画像を生成する。
警報発報手段７は、障害検知手段５で障害を検知した際に、映像監視装置３の外部に接続され、監視者に障害を検知したことを通知する発報装置１１を駆動する。
発報装置１１は、ＵＳＢ（Universal Serial Bus）やネットワーク２を介して、映像監視装置３に接続している。例えば、パトランプ等の信号灯を適用する。

障害検知手段５には、監視映像情報の中から人物画像を検出する人物検出部５１と、人物検出部５１で検出した人物画像の顔表情を検出する表情検出部５２と、人物検出部５１で検出した人物画像の視線方向を検出する視線検出部５３と、表情検出部５２で検出した人物画像の顔表情と視線検出部５３で検出した人物画像の視線方向から、障害の有無を判定する障害判定部５４と、が設けられている。

補助記憶装置８には、人物検出部５１で検出した人物画像それぞれの検出情報を記憶する人物情報８１と、監視カメラ１の仕様や設置情報を記憶するカメラ情報８２と、表情検出部５２で検出する表情種別を示す表情情報８３と、障害判定部５４で障害と判定した事象の情報を記憶する障害情報８４と、が設けられている。

つぎに、人物情報８１とカメラ情報８２と表情情報８３と障害情報８４の構成を説明する。
図２は、人物情報８１のデータ構造を示す図である。人物情報８１は、時刻情報８１１と、カメラＩＤ８１２と、人物ＩＤ８１３と、表情ＩＤ８１４と、視線位置８１５と、人物座標８１６とを、人物検出部５１（図１参照）で監視映像情報の中から検出した人物画像毎に記憶する。

時刻情報８１１は、監視映像の取得時刻であり、Exif（Exchangeable image file formatの略で写真用のメタデータを含む画像ファイルフォーマットの一つ）情報などの画像メタデータから抽出して記憶される。
カメラＩＤ８１２は、人物を検出した監視映像情報を撮像した監視カメラ１のＩＤである。このカメラＩＤ８１２は、映像送信元のカメラＩＰアドレスをキーに、後述するカメラ情報８２を参照して求める。

人物ＩＤ８１３は、人物検出部５１（図１参照）で、監視映像情報の中から検出した人物画像毎に割り振られたＩＤである。例えば、監視映像情報の一枚の画像内に４人の人物画像を検出できた場合、順にH1、H2、H3、H4のようにＩＤを割り振る。この際割り振るＩＤは、画像の左から順に番号を割り振るでも良いし、ランダムに割り振るようにしても良い。複数フレームの監視映像情報の中から同一の人物画像が検出された場合には、同じＩＤを割り振ることが望ましい。

表情ＩＤ８１４は、表情検出部５２により検出された人物画像の表情のＩＤを示している。後述する表情情報８３に、人物画像の表情の表情名とＩＤが対応付けられている。
視線位置８１５は、視線検出部５３で検出した人物画像の視線方向を示している。詳しくは、視線検出部５３で検出した視線ベクトルと監視映像情報の俯瞰画像の画像端との交点のＸＹ座標値が記憶される。
人物座標８１６は、人物検出部５１で検出した人物画像毎の、監視映像情報における人物画像の中心ＸＹ座標値を示している。詳しくは、この座標値は、視カメラ１の監視映像情報をアフィン変換により俯瞰画像に変換した際の、人物画像の中心座標とする。

図３は、カメラ情報８２のデータ構造を示す図である。カメラ情報８２は、カメラＩＤ８２１と、ＩＰアドレス８２２と、設置位置情報８２３、カメラ内部パラメータ８２４と、水平方位８２５と、垂直角度８２６とから構成され、映像監視装置３が取得する監視映像情報を撮像する監視カメラ１毎に記憶されている。

カメラＩＤ８２１は、監視カメラ１のＩＤである。
ＩＰアドレス８２２は、ネットワーク２における監視カメラ１のＩＤである。
設置位置情報８２３は、監視カメラ１が設置されている緯度・経度・高さの設置位置情報である。
カメラ内部パラメータ８２４は、監視カメラ１の幅・高さの画像サイズ、焦点距離、ズーム倍率等のカメラ仕様を示す情報である。
水平方位８２５は、監視カメラ１の撮像方位を示す設置情報である。
垂直角度８２６は、監視カメラ１の傾き角を示す設置情報である。

図４は、表情情報８３のデータ構造を示す図である。表情情報８３は、表情ＩＤ８３１と、表情種類８３２と、特徴量範囲８３３と、を記憶する。
人物の表情は、例えば、目尻や口角がある閾値以上さがった場合は「悲しみ」、口角がある閾値以上あがった場合には「喜び」、などの、表情毎に顔器官の特徴量の範囲が異なる。そこで、表情情報８３に、表情毎の表情ＩＤ８３１と表情種類８３２と特徴量範囲８３３を記憶しておく。

表情検出部５２は、人物画像の目、鼻、口などの顔器官検出を行い、眉の位置、目尻の角度や口角の変化を捉えて、特徴量を算出する。そして、表情情報８３を参照して、算出した特徴量に対応する表情ＩＤ８３１を求める。

図５は、障害情報８４のデータ構造を示す図である。障害情報８４は、日時情報８４１と、カメラＩＤ８４２と、最多表情８４３と、障害発生位置８４４と、から構成される。
日時情報８４１は、障害判定部５４で障害と判定した監視映像情報の取得時刻が記録され、障害発生時刻を示している。
カメラＩＤ８４２は、障害判定部５４で障害と判定した監視映像情報を撮像した監視カメラ１のＩＤを記憶する。

最多表情８４３は、障害判定部５４で障害と判定した監視映像情報の人物画像で、最も多かった表情ＩＤを記憶する。
障害発生位置８４４は、障害判定部５４が障害と判定した監視映像情報の人物画像の視線が集中している位置を記憶する。詳細は後述するが、この位置が障害発生位置と推定する。

つぎに、実施形態の映像監視装置３（図１参照）の処理フローを図６により説明する。
図６の処理フローは、１台の監視カメラ１のフレーム単位の監視映像情報について、所定周期で行われる処理である。

ステップＳ６０１のカメラ映像取得では、カメラ映像取得手段４が、ネットワーク２を介して、監視カメラ１から監視映像情報を取得し、主記憶装置９に記憶する。
ステップＳ６０２の人物検出処理では、人物検出部５１が、主記憶装置９の監視映像情報からのＨＯＧ特徴量などを算出して人物領域の検出し、人物画像の抽出を行う。
ＨＯＧ特徴量とは、Histograms of Oriented Gradientsの略で局所領域の輝度の勾配方向をヒストグラム化したものである。

人物検出部５１は、抽出した人物画像の数を検出した人数とし、人物情報８１（図２参照）に、人数分のエントリを追加する。
そして、人物検出部５１は、時刻情報８１１とカメラＩＤ８１２と人物ＩＤ８１３と人物座標８１６を登録する。この際、人物座標８１６には、監視映像情報を俯瞰画像にアフィン変換した際の座標値を登録する。

ステップＳ６０３では、人物検出部５１で検出した人物が２人以上であるか否かを判定する。これは、映像監視装置３の障害検知手段５が、複数の人物の視線方向（顔向き方向）により、障害の有無を判定していることによる。
人物検出部５１で検出した人数が０人または１人の場合（Ｓ６０３のＮｏ）、処理を終了する。
人物検出部５１で検出した人数が２人以上の場合（Ｓ６０３のＹｅｓ）、ステップＳ６０４に進む。

ステップＳ６０４の表情検出処理では、表情検出部５２が、人物検出部５１で抽出した人物画像のそれぞれについて、目、鼻、口などの顔器官検出を行い、眉の位置、目尻の角度や口角を捉えて、特徴量を算出する。そして、表情情報８３を参照して、算出した特徴量を含む特徴量範囲８３３をもつ表情種類８３２を特定し、その表情種類をその人物画像の人の表情とする。
表情検出部５２は、人物検出部５１で抽出した人物画像のそれぞれについて、求めた表情種類８３２に対応する表情ＩＤ８３１の値を人物情報８１の表情ＩＤ８１４に登録する。

ステップＳ６０５の視線検出処理では、視線検出部５３が、人物検出部５１で抽出した人物画像のそれぞれについて、人物の頭部全体と目や鼻などの顔器官の位置を検出し、これらの位置関係から顔の向きを求め、これを視線方向とする。
顔の向きを視線方向とすることにより、高解像度の監視映像情報でなくても、視線方向を求めることができる。もちろん、眼球映像情報から視線方向を検出してもよい。

さらに、視線検出部５３は、監視カメラ１の監視映像情報を俯瞰画像にアフィン変換し、顔の向きから決めた視線ベクトルについて、俯瞰画像の画像端の位置座標を算出する。視線検出部５３は、この位置座標を、人物情報８１の視線位置８１５に登録する。

ステップＳ６０６の障害有無判定処理では、障害判定部５４が、表情検出部５２で検出した表情ＩＤ８１４と視線検出部５３で検出した視線位置８１５により障害有無判定を行う。
以下、図７により、ステップＳ６０６の障害判定部５４の処理フローを説明する。

ステップＳ７１で、障害判定部５４は、人物情報８１（図２参照）を参照して、時刻情報８１１とカメラＩＤ８１２が同値のエントリを抽出する。
ステップＳ７２で、障害判定部５４は、抽出したエントリのうちで、表情ＩＤ８１４がＥ２（驚き）、Ｅ３（怒り）、Ｅ４（悲しみ）の“負の表情”のエントリの占める割合を求め、この割合が所定の閾値（例えば、８割）以上か否かを判定する。
“負の表情”の割合が所定の閾値以上でない場合（Ｓ７２のＮｏ）、障害無と判定（Ｓ７５）し、処理を終了する。

“負の表情”の割合が所定の閾値以上の場合（Ｓ７２のＹｅｓ）、障害判定部５４は、Ｓ７１で抽出したエントリの視線位置８１５と人物座標８１６から視線ベクトルを算出し、複数の視線ベクトルが特定の位置に向いているか否かを判定する。

詳しくは、人物座標８１６を始点とする視線位置８１５とを含む直線の交点を障害の発生点とする。障害の発生点は、監視映像情報の撮像範囲内となる場合も、撮像範囲外となる場合もある。

これは、周囲で事故や事件等の危険事象等の障害が発生すると、人物は障害の発生点を注視するとともに、顔が“負の表情”に成る。したがって、複数の人物が“負の表情”であり、特定の位置を注視していれば、障害有と判定できる。

そこで、複数の視線ベクトルが特定の位置に向いていれば（Ｓ７３のＹｅｓ）、障害有と判定して、障害情報８４の日時情報８４１と、カメラＩＤ８４２と、最多表情８４３と、を記憶するとともに、障害発生位置８４４として複数の視線ベクトルが向いている点の平均座標値を記録する（Ｓ７４）。

図６に戻り、ステップＳ６０7で、ステップＳ６０６の障害有無判定処理の処理結果が障害有となったか否かを判定する。
ステップＳ６０７で、障害無であった場合には（Ｓ６０７のＮｏ）、映像監視装置３の処理を終了する。ステップＳ６０７で、障害有であった場合には（Ｓ６０７のＹｅｓ）、ステップＳ６０８に進む。

ステップＳ６０８の障害判定結果画像生成処理で、警告画像生成手段６の表示画像生成部６１は、出力装置１０に画像表示するための障害発生を通知する警告画像を生成し、出力装置１０に通知する。
ステップＳ６０９の障害判定結果画像表示で、出力装置１０は、ディスプレイ等に警告画像を表示し、監視者に障害の発生を知らせる。
この際、出力装置１０は、障害発生位置８４４の方向が判るように方向画像を監視映像に重畳表示する。

ステップＳ６１０の障害発報処理で、警報発報手段７は、発報装置１１を動作させて、障害の発生を通知する。
ステップＳ６１１の障害発生位置のカメラ映像取得処理では、カメラ映像取得手段４が、障害情報８４を参照して障害発生位置８４４に基づいて、監視カメラ１の撮像方向が障害発生位置になるように制御する。
障害情報８４のカメラＩＤ８４２に指定される監視カメラ１が固定カメラの場合には、映像監視装置３が制御する他の監視カメラ１の撮像方向を変更するように制御してもよい。

図６と図７の処理フローでは、１台の監視カメラ１の監視映像情報に基づいて処理するフローを説明したが、障害発生を複数の監視カメラ１により同時に検出できる場合もある。
このため、図７の障害判定部５４の処理フローにおいて、ステップＳ７１で、時刻情報が同じ複数の監視カメラ１の表情ＩＤ８１４と視線位置８１５により、障害有無の判定を行うようにしてもよい。
この場合には、図６のステップＳ６０３の検出人数の判定は不要となる。

図６と図７の処理フローでは、ステップＳ６０４で表情検出処理を行い、ステップＳ７２で“負の表情”の割合が閾値以上か判定したが、複数の人物画像の視線方向が特定位置に向いている場合に、障害有と判定するようにしてもよい。
この場合には、危険事象だけでなく、多くの人が注視する注目事象を監視対象とすることができる。つまり、複数の人物画像の視線方向が略同一方向であれば、監視対象の注目事象が発生したと判定する。

つぎに、図８Ａ〜図１１により、実施形態の映像監視装置３の動作を説明する。
図８Ａは、監視カメラ１の視野範囲の監視映像情報の一例を示す図である。
監視カメラ１は、車道の端に設けられた歩道を、人物Ａ〜人物Ｄの４名が歩行しているようすを撮像している。

図８Ｂは、障害検知手段５により検出した人物Ａ〜人物Ｄの視線方向（顔向き方向）を、図８Ａの監視映像情報の俯瞰画像に視線ベクトルとして示した図である。
図８Ｂの視線ベクトルは、人物Ａ〜人物Ｄの視線の方位を示している。
人物情報８１の人物座標８１６には、俯瞰画像上の各人の視線ベクトルの始点座標が記憶され、視線位置８１５には視線ベクトルの終点座標が記憶されている。

図９Ａは、監視カメラ１の監視映像情報の視野範囲外の車道を車が走行している状況を示している。車は、監視カメラ１のカメラ死角を走行しているため、図９Ａのような監視映像情報を取得することはできないが、説明のために、監視映像情報を取得した状況として示している。

図９Ｂは、視野範囲の監視映像情報の俯瞰画像に人物Ａ〜人物Ｄの視線ベクトルを表示した図である。
図９Ａや図９Ｂの状況では、人物Ａ〜人物Ｄの周囲で事故や事件等の危険事象が発生していないので、人物Ａ〜人物Ｄが同じ方向を注視することがない。このため、図９Ｂの視線ベクトルが一点を向くことはない。

図１０Ａは、監視カメラ１の監視映像情報の取得範囲外の車道を走行している車に、事故が発生した状況を示している。
このとき、監視カメラ１の視野範囲の人物Ａ〜人物Ｄは、事故発生により車を注視する。人物Ａ〜人物Ｃは、車の状況を認識して、驚き・怒り・悲しみ等の表情に変わる。人物Ｄは、車を注視しているが、車から離れているため、状況までは認識できず顔の表情が変わっていない。

図１０Ｂは、障害検知手段５により検出した人物Ａ〜人物Ｄの視線方向（顔向き方向）を、図１０Ａの監視映像情報の俯瞰画像に視線ベクトルとして示した図である。
人物Ａ〜人物Ｄの視線ベクトルは、視野範囲外のカメラ死角の領域の一点を指しており、この点を事故発生点（障害発生点）とすることができる。
詳しくは、俯瞰画像上の各人の視線ベクトルは、人物情報８１の人物座標８１６と視線位置８１５により与えられるので、視線ベクトルの交点を算出することで、障害発生点の座標を取得できる。

図１１は、監視情報を出力する出力装置１０（図１参照）の表示の一例を示す図である。監視映像情報に重畳して、警告画像生成手段６の表示画像生成部６１により生成した「危険発生」の警告画像を表示するとともに、障害発生点の方向を示す矢印マークを表示する。
監視者は、警告画像の表示により、映像目視の負担を低減が低減できるとともに、監視カメラ１の視野外の危険事象等の障害発生を知ることができるので、監視カメラ１を増やすことなく、広い範囲を監視できる。

上記の実施形態の映像監視装置３では、複数の人物が“負の表情”であり、かつ、複数の人物が特定の位置を注視していれば、障害有と判定する例を説明したが、これに限定されるもではない。“恐怖”や“嫌悪”の表情を“負の表情”に加えてもよい。
また、“喜び”の表情を示す“正の表情”を判定してもよい。

さらに、人物表情に関係なく、所定数以上の人物の視線方向（顔向き方向）が一致することを検出した際に、注目事象が発生したと判定する。そして、注目事象の発生と発生点を出力装置１０に表示する。その後、人物画像の顔表情から注目事象を種別を判定して出力装置１０に表示するようにしてもよい。
つまり、図７のフロー図において、ステップＳ７２とステップＳ７３の手順を逆にして、ステップＳ７３の判定を先に行い、視線が特定位置に向いていたときに、表情ＩＤの“負の表情”以外の他の表情とも比較して、注目事象の種類を特定するようにしてもよい。

また、図８Ａ〜図１１では、視線ベクトルが視野範囲外のカメラ死角の領域の一点を指す場合について説明したが、視線ベクトルが視野範囲内であってもよいことは言うまでもない。
この場合には、視線位置８１５には、視線ベクトルの交点座標を記憶してもよい。

≪第２実施形態≫
図１２は、第２実施形態の映像監視装置を適用した映像監視システムの構成図である。
実施形態の映像監視装置３は、図１の映像監視装置３に、不審人物検出手段１２を追加する構成となっている。これにより、障害状態検出した際に、障害事象の関係者である不審者の特定情報を提供するものである。

不審人物検出手段１２は、障害検知手段５で検出された情報を用いて不審者の検出を行う。具体的な検出方法については後述する。
警報画像生成手段６は、障害検知手段５で障害を検知した際に、出力装置１０に重畳表示する警告画像を生成するとともに、不審人物検出手段１２が検出した不審者の指示画像を生成する。
他の構成は、図１の映像監視装置３と同じであるため、説明を省略する。

図１３は、人物情報８１のデータ構造を示す図である。図２の人物情報８１に、不審人物フラグ８１７が追加された構成となっている。
不審人物フラグ８１７に“１”が設定されたデータが、不審人物検出手段１２によって不審者と判定されたことを示している。

図１４は、実施形態の映像監視装置３（図１２参照）の処理フローを示す図である。
図６で説明した映像監視装置３の処理フローのステップＳ６０７とステップＳ６０８の間に、不審者検出の処理を追加したものとなっている。
ステップＳ６０１からステップＳ６１１は、図６と同じため、説明は省略する。

ステップＳ６０７で、障害判定部５４が障害有と判定した場合に（Ｓ６０７のＹｅｓ）、不審人物検出手段１２が、不審人物の有無の判定を行う（Ｓ１４１）。
ステップＳ１４１の処理は、図１５により詳細に説明する。

ステップＳ１４１の処理で不審人物無と判定した場合には（Ｓ１４２のＮｏ）、ステップＳ６０８に進む。
ステップＳ１４１の処理で不審人物有と判定した場合には（Ｓ１４２のＹｅｓ）、ステップＳ１４３の不審人物判定結果画像生成処理で、表示画像生成部６１が不審人物を特定する画像情報を生成する。この画像情報は、ステップＳ６０９の障害判定結果画像表示で、出力装置１０が、警告画像と不審人物を特定する画像情報として、監視映像に重畳表示する。

つぎに、図１５により、ステップＳ１４１の不審人物有無判定処理の詳細を説明する。
不審人物検出手段１２は、ステップＳ１５１で、障害情報８４（図５参照）の日時情報８４１とカメラＩＤ８４２の値をキーに人物情報８１（図１３を参照）を検索して、障害発生時の人物情報を検索する。
ステップＳ１５２で、検索した人物数分、ステップＳ１５３からステップＳ１５６の処理を繰り返す。

ステップＳ１５３では、検索した人物情報の表情ＩＤ８１４が、“喜び”の表情である“正の表情”であるか否かを判定する。
表情ＩＤ８１４が“負の表情”であれば（Ｓ１５３のＮｏ）、ステップＳ１５６に進む。ステップＳ１５６では、検索した人物情報の不審人物フラグ８１７に“０”を設定して、繰り返し処理を継続する（Ｓ１５２）。

表情ＩＤ８１４が“正の表情”であれば（Ｓ１５３のＹｅｓ）、障害発生位置８４４と人物座標８１６を参照して、２点の距離を算出する。そして、この距離が、閾値以内か否か判定する（Ｓ１５４）。
距離が閾値以内であれば（Ｓ１５４のＹｅｓ）、ステップＳ１５５に進む。ステップＳ１５５では、検索した人物情報の不審人物フラグ８１７に“１”を設定して、繰り返し処理を継続する（Ｓ１５２）。

距離が閾値以内でなければ（Ｓ１５４のＮｏ）、ステップＳ１５６に進む。ステップＳ１５６では、検索した人物情報の不審人物フラグ８１７に“０”を設定して、繰り返し処理を継続する（Ｓ１５２）。
ステップＳ１５２で、検索した人物数分、ステップＳ１５３からステップＳ１５６の処理を行うと、不審人物有無判定処理を終了する。

図１６は、監視情報を出力する出力装置１０（図１２参照）の表示の一例を示す図である。監視映像情報に重畳して、警告画像生成手段６の表示画像生成部６１により生成した「危険発生」の警告画像を表示するとともに、障害発生点の方向を示す矢印マークを表示し、さらに、表示画像生成部６１により生成した不審人物を特定する画像情報を、重畳表示する。この不審人物を特定する画像情報は、図１６の“人物Ｄ”を囲む矩形図形である。

監視者は、警告画像の表示により、映像目視の負担を低減できるとともに、上記の不審人物有無判定処理により、“正の表情”をして現場を観察している放火等の愉快犯を検知することができる。
また、監視カメラ１の視野外の危険事象等の障害発生を知ることができるので、監視カメラ１を増やすことなく、広い範囲を監視できる。

上記の実施形態の映像監視装置３は、監視カメラ１の監視映像情報に基づいて、人物画像の視線方向と顔表情から障害検知しているが、監視カメラ１で取得した環境音を加えて障害有無判定を行ってもよい。これにより、障害検出の精度を向上することができる。

詳細には、環境音が所定のピーク音圧を超えた時刻を検出する。そして、この時刻から所定時間の間に、障害検知手段５により複数人物の人物表情が所定条件を満たし、かつ、複数人物が同一点を注視している場合に、障害有と判定する。
これにより、例えば、車の追突事故等を精度よく検出することができる。

また、環境音が通常状態からの変化を判定し、変化した時刻から所定時間の間の監視映像情報を障害有無判定するようにしてもよい。

さらに、環境音が所定のピーク音圧を超えた際の、ピーク音の発生方向を検出する。そして、このピーク音の発生方向と、監視映像情報の複数の人物画像の視線方向とが、略一致する場合に、障害有と判定してもよい。

上記の実施形態の映像監視装置３では、監視映像情報の複数の人物画像の視線方向を検出する例を説明したが、ひとりの人物画像の視線方向の時間変化を検出し、同一の視線方向を所定時間維持していた場合に、障害有と判定してもよい。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。

１ 監視カメラ
２ ネットワーク
３ 映像監視装置
４ カメラ映像取得手段（監視映像取得手段）
５ 障害検知手段
５１ 人物検出部
５２ 表情検出部
５３ 視線検出部
５４ 障害判定部
６ 警告画像生成手段
６１ 表示画像生成部
７ 警報発報手段
８ 補助記憶装置
８１ 人物情報
８２ カメラ情報
８３ 表情情報
８４ 障害情報
９ 主記憶装置
１０ 出力装置（表示手段）
１１ 発報装置

Claims (10)

1. 監視映像情報を取得する監視映像取得手段と、
   前記監視映像情報から複数の人物領域を抽出して、前記人物領域のそれぞれについて人物の視線方向を求め、複数の人物の視線方向が特定位置に向いていることを判別して注目事象の発生を検知する障害検知手段と、
   前記注目事象の発生を通知する表示手段と、
   を備えたことを特徴とする映像監視装置。
2. 請求項１に記載の映像監視装置において、
   前記障害検知手段は、
   前記人物領域のそれぞれについて顔器官検出して表情を求めて前記人物領域のそれぞれの人物の表情とし、
   前記複数の人物の視線方向が特定位置に向いていることを検知するとともに、前記複数の人物の表情の割合を判別して注目事象の発生を検知する
   ことを特徴とする映像監視装置。
3. 請求項２に記載の映像監視装置において、
   前記障害検知手段は、
   前記人物領域のそれぞれの人物の表情が“驚き”または“怒り”または“悲しみ”を表す“負の表情”である割合が所定の閾値以上であることを判別して、危険事象の発生を検知する
   ことを特徴とする映像監視装置。
4. 請求項３に記載の映像監視装置において、
   前記表示手段は、前記障害検知手段が危険事象の発生を検知した際に、
   危険事象の発生を知らせる警告画像と、前記複数の人物の視線方向が向いている特定点を危険事象の発生位置としてその方向を示す画像と、を監視映像情報に重畳して表示する
   ことを特徴とする映像監視装置。
5. 請求項３に記載の映像監視装置において、さらに、
   前記障害検知手段により危険事象の発生が検知された際に、前記人物領域のそれぞれの人物について、顔の表情が“喜び”を表す“正の表情”であることを判別し、“正の表情”の人物の位置を示す人物座標と危険事象発生位置である前記複数の人物の視線方向が向いている特定点の座標との間の距離が所定の閾値以内であることを判別して、不審人物を判定する不審人物検出手段と、
   を備えることを特徴とする映像監視装置。
6. 請求項５に記載の映像監視装置において、
   前記表示手段、前記障害検知手段が危険事象の発生を検知した際に、
   危険事象の発生を知らせる警告画像と、前記複数の人物の視線方向が向いている特定点を危険事象の発生位置としてその方向を示す画像と、前記不審人物検出手段により判定された不審人物を指示する特定画像情報とを、監視映像情報に重畳して表示する
   ことを特徴とする映像監視装置。
7. 請求項２に記載の映像監視装置において、
   前記障害検知手段は、
   前記人物領域の情報を顔器官検出して顔器官の位置を求め、頭部全体と顔器官の位置関係から顔の向きを求め、これを人物の視線方向とする
   ことを特徴とする映像監視装置。
8. 請求項２に記載の映像監視装置において、
   前記複数の人物の視線方向は、前記監視映像情報の撮像範囲外の特定位置に向いている
   ことを特徴とする映像監視装置。
9. 監視映像情報を取得するステップと、
   前記監視映像情報から複数の人物領域を抽出し、前記人物領域のそれぞれについて前記人物領域の情報に基づいて顔器官検出して顔器官の位置を求め、頭部全体と顔器官の位置関係から顔の向きを求め、これを人物の視線方向とするステップと、
   前記人物領域のそれぞれについて、前記人物領域の情報に基づいて顔器官検出して表情を求めて前記人物領域の人物の表情とするステップと、
   前記監視映像情報の複数の人物の視線方向が特定位置に向いているとともに、前記監視映像情報の人物の表情が“驚き”または“怒り”または“悲しみ”を表す“負の表情”である割合が所定の閾値以上であることを判別して、危険事象の発生を検知するステップと、
   前記危険事象の発生を通知するステップと、
   を含むことを特徴とする映像監視装置の映像監視方法。
10. 請求項９に記載の映像監視方法において、さらに、
    危険事象の発生を検知した際に、前記人物領域のそれぞれの人物について、顔の表情が“喜び”を表す“正の表情”であることを判別するとともに、“正の表情”の人物の位置を示す人物座標と危険事象発生位置である前記複数の人物の視線方向が向いている特定点の座標との間の距離が所定の閾値以内であることを判別して、不審人物と判定するステップ、とを含み、
    前記危険事象の発生を通知するステップにおいて、判定した不審人物を通知する
    ことを特徴とする映像監視装置の映像監視方法。