JP2009077064A - 監視方法および監視装置 - Google Patents

Abstract

【課題】、監視カメラなどの映像から危険人物を自動的に検出し、危険の可能性を迅速に把握する。
【解決手段】危険人物認識システム３は、顔検出があったときから経過した時間が、予め任意に指定された時間閾値（例えば５分）経過したか否かを判断する。顔検出があったときから指定時間が経過したと判断した場合は、当該顔の人物が危険人物候補であると判断する。本システムによると、自動で危険人物を検出することにより、監視業務の効率化が図れ、また、危険人物の早期認識が可能となり、犯罪発生を未然に防止する可能性が高まる。
【選択図】 図２

Description

本発明は、カメラ映像による不審人物の監視に関する。

特許文献１では、入力された画像から抽出された被写体を認識するための、各カテゴリ毎の特徴量を登録した辞書を生成する辞書生成手段と、入力された画像から抽出された被写体の特徴量と辞書に登録された各カテゴリの特徴量とを比較して該被写体のカテゴリを認識する認識手段と、この認識手段での認識結果を呈示する呈示手段と、被写体の特徴量を基に、辞書を更新する更新手段とを具備する。

特許文献２では、店舗内において、人物を正面、左右方向から撮影できる所定箇所に設置された多数の撮像手段と、該撮像手段によって取得された映像情報から背面除去によって人物映像を抽出する画像処理手段と、画像処理手段にて得られた人物映像の特徴を示す所定部位のデータを抽出し、これらの所定部位のデータと予め登録されている注意人物の映像情報のデータとを比較する比較手段と、比較手段にて一致または類似と判断された際に、店舗内の各種通報装置に対して所定の注意情報を送信する送信手段とを備える。
特開２００１−１６５７９号公報 特開２００２−２７９５４０号公報

従来技術では、入力画像から検出した被写体を分類し、問題人物であるか否かを判別するが、問題人物についてはユーザ自身が登録・確認する必要がある。また、ある時点での画像分析にとどまっており、継続的な分析は行われていない。

本発明は、監視カメラなどの映像から危険人物を自動的に検出し、危険の可能性を迅速に把握することを目的とする。

本発明に係る監視方法は、継続的に画像を入力するステップと、画像から継続的に顔を検出するステップと、画像から顔を検出できなかった場合、動体の検出を行い、検出された動体を検出された顔とみなすステップと、検出された顔に基づいて人物の特徴量を解析するステップと、特徴量に基づいて人物を分類するステップと、分類された人物ごとに、人物の顔が検出されてから現在まで経過した時間を計測するステップと、顔が検出されてから現在まで経過した時間が、予め指定された時間閾値を超えた場合、顔の人物を危険人物候補と判定するステップと、を含む。

危険人物候補と判定された人物の特徴量が、所定の関係人物の特徴量と一致する場合、危険人物候補と判定された人物を危険人物候補から除外するステップをさらに含んでもよい。

本発明に係る監視装置は、継続的に画像を入力する画像入力部と、画像入力部へ入力された画像から継続的に顔を検出する顔検出部と、画像から顔を検出できなかった場合、動体の検出を行い、検出された動体を検出された顔とみなす動体検出部と、検出された顔に基づいて人物の特徴量を解析する特徴量解析部と、特徴量に基づいて人物を分類する人物分類部と、分類された人物ごとに、人物の顔が検出されてから現在まで経過した時間を計測する計時部と、顔が検出されてから現在まで経過した時間が、予め指定された時間閾値を超えた場合、顔の人物を危険人物候補と判定する危険人物候補判定部と、危険人物候補判定部が危険人物候補と判定した人物の画像、計時部が計測した時間の長短、危険人物候補と判定された回数その他の危険人物候補に関する情報を管理するデータベースと、を備える。

データベースに管理された危険人物候補に関する情報に応じて、人物の危険度を判定する危険度判定部と、危険度判定部の判定した危険度に応じた内容の報知を実施する報知部と、をさらに備えてもよい。

本発明では、自動で危険人物を検出することにより、監視業務の効率化が図れ、また、危険人物の早期発見が可能となり、犯罪発生を未然に防止する可能性が高まる。また、検出された顔の危険度に応じた報知を行うから、危険度に合わせた警備態勢を取ることが可能であり、警備業務の効率化も期待できる。

図１は本発明の好ましい実施形態に係る監視システムの概略構成図である。監視システムは、画像入力部１、監視モニター２、危険人物認識システム３、危険情報管理システム４、撮影画像保管ＤＢ５、危険人物管理ＤＢ６を含む。

画像入力部１は、監視カメラなど、継続的に画像を撮影する機器であり、無線ＬＡＮやインターネットなどの各種通信回線を介して、撮影した画像を監視モニター２、危険人物認識システム３、撮影画像保管ＤＢ５に入力する。

監視モニター２は、画像入力部１で撮影した画像や危険情報管理システム４から供給された警告メッセージなどの各種映像を表示するためのモニターである。

危険人物認識システム３は、画像入力部１で継続的に撮影された画像から、継続的に顔を検出し、検出された顔の特徴量を計算して、その値に応じて人物ごとに顔を分類する。顔の検出のインターバルは任意に設定されうる。また、危険人物認識システム３は、分類された顔ごとに、顔が検出されてから現在まで経過した時間を測定し、その時間に応じて、検出分類された顔から、危険人物の危険度を判定する。なお、画像からの顔検出の方法は公知のものが適用でき、一例として、顔輪郭検出、肌色領域検出、顔パーツ検出などが挙げられる。

危険情報管理システム４は、危険人物認識システム３によって危険人物候補と判定された顔の特徴量その他の危険人物候補に関する情報（危険人物情報）を危険人物管理ＤＢ６に新規保存したり更新するなどの各種管理を行うとともに、危険人物候補と判定された人物の危険度を判定し、その危険度に応じた方法で報知を行う。

撮影画像保管ＤＢ５は、画像入力部１で撮影した画像を保管するデータベースである。

危険人物管理ＤＢ６は、危険人物情報と共通情報を管理するデータベースである。危険人物情報は、危険人物候補と判定された人物に関する画像、画像から検出された顔の特徴情報、人物情報（名前、犯罪歴など）、情報の登録日時、顔の検出日時、危険度などを含む。共通情報は、危険人物候補の危険度に応じた危険情報の報知方法を指定する情報を含む。

次に、図２に従い、本システムで実施される監視処理の流れを説明する。なお、以下の処理は、本システムの各部を統括制御する図示しないコンピュータにより実施されるプログラムで実現されてもよい。

Ｓ１では、危険人物認識システム３は、画像入力部１で撮影した画像から継続的に顔検出を試みる。例えば、危険人物認識システム３は、入力された画像から目を検出し、それに基づいて顔領域全体を検出し、顔領域全体から、肌色、顔輪郭、顔パーツ（目、鼻、耳、口など）の位置座標などの各種の人物特徴量を算出する。また、危険人物認識システム３は、動体（動く物体）の検出を試みる。

Ｓ２では、危険人物認識システム３は、撮影画像からの顔検出が成功したか否かを判断する。顔検出が成功したと判断した場合はＳ４、成功しなかったと判断した場合はＳ３に進む。なおこの判断は、上記特徴量に基づいて得られた顔検出の確からしさを示す指標が、所定の閾値を超えたか否かにより行うことができる（例えば、本出願人による特許公開２００６−９２１９１号公報を参照）。

Ｓ３では、危険人物認識システム３は、動体（動く物体）の検出がされたか否かを判断する。動体が検出された場合はＳ４に進む。すなわち、顔検出が一時的にされなくても、前に顔が検出された位置と同じまたは近接した位置で動体が検出された場合は、これを検出された顔と同一視する（図３）。その結果、継続的に供給される画像から、局所的に同一人物の顔が検出されない画像（図３ではＴ１、Ｔ２、Ｔ３）が存在しても、その部分で動体が検出されていれば、同一人物の顔Ｆが継続的に供給される画像から検出され続けているとみなされる。一方、動体が検出されない場合は、危険人物は皆無として、本処理を終える。こうすることで、監視の間隙が生じるのを可及的に防げる。

Ｓ４では、危険人物認識システム３は、最初に顔検出があったときから、継続的に同一の顔として分類されている顔が検出され続けている時間が、予め任意に指定された時間閾値（例えば５分）経過したか否かを判断する。最初の顔検出があったときから継続的に同じ顔が検出され続け、そのまま指定時間が経過したと判断した場合は、当該顔の人物が危険人物候補であると判断してＳ５に進む。つまり、同一人物の顔が指定時間の間継続的に検出されつづけていれば、カメラの監視範囲に同じ人物が滞留しつづけており、その人物は不法な行為を行っている蓋然性が高く、危険人物候補と判断される。一方、指定時間が経過していない場合はＳ１に戻る。

Ｓ５では、危険情報管理システム４は、危険人物管理ＤＢ６に管理されている危険人物情報に含まれる人物特徴量と、Ｓ１で検出された顔について算出された人物特徴量とをマッチングすることで、Ｓ１で検出された顔の人物に合致する危険人物情報を危険人物管理ＤＢ６にて検索する。なお、顔が複数検出された場合は、それらの顔全てについて検索が行われる。

Ｓ６では、危険情報管理システム４は、Ｓ１で検出された顔の人物について算出された特徴量と類似ないし実質的に一致する特徴量を含む危険人物情報が危険人物管理ＤＢ６にて特定されたか否かに応じ、Ｓ１で検出された顔の人物が、危険人物管理ＤＢ６に登録された危険人物であるか否かを判断する。Ｓ１で検出された顔の人物が、危険人物管理ＤＢ６に登録された危険人物であると判断された場合はＳ７に進み、登録された危険人物でないと判断された場合はＳ８に進む。

なお、警備員や警察官など危険人物でない関係者の顔特徴情報を危険人物管理ＤＢ６に登録しておき、危険人物候補であると判断された場合でも、関係者の顔特徴情報と一致していれば、危険人物候補から除外する判断を行い、その結果、Ｓ７・Ｓ８は省略してもよい。こうすれば、関係者が危険人物として危険人物管理ＤＢ６に登録されてしまうのを防げる。

Ｓ７では、危険情報管理システム４は、Ｓ１で検出された顔の人物の危険度を算出する。危険度は、例えば、顔検出がされてから経過した時間の長短や、危険人物管理ＤＢ６に登録された危険人物であると判定された回数（すなわち繰り返して危険人物候補と判定された回数）に応じて算出される。一般的には、経過時間が長い場合、危険人物候補と判定された回数が多い者ほど、危険度が高くなるといえる。

Ｓ８では、Ｓ１で検出された顔の人物の特徴量その他の情報を危険人物管理ＤＢ６に新たな危険人物情報として登録する。なお、初めて危険人物ＤＢ８へ登録された人物の危険度はデフォルト値（例えば最低レベル）が割り当てられる。

Ｓ９では、危険情報管理システム４は、監視モニター２、スピーカ、管理スタッフの携帯する端末へのメール送信などを経由して、Ｓ７で算出された危険度に応じた内容で警告を報知する。この危険度に応じた内容とは、例えば、危険度が最低レベルの「１」では監視モニター２上の文字のみによる警告メッセージの表示や端末へのメール送信、危険度が中レベルの「２」では監視モニター２上の文字とスピーカからの音声による警告の報知、危険度が最高レベルの「３」では文字と音声による警告の報知に加え、通信回線を介して警備本部や警察などへの各種機関に対する通報を行う。

以上のように、本システムによると、自動で危険人物を検出することにより、監視業務の効率化が図れ、また、危険人物の早期認識が可能となり、犯罪発生を未然に防止する可能性が高まる。

また、危険人物候補と判定された人物の危険度に応じた報知を行うから、危険度に合わせた警備態勢を取ることが可能であり、警備業務の効率化も期待できる。

監視システムの概略構成を示す図 監視処理のフローチャート 顔検出がされなかった場合の動体検出の一例を示す図

符号の説明

１：画像入力部、２：監視モニター、３：危険人物認識システム、４：危険情報管理システム、５：撮影画像保管ＤＢ、６：危険人物管理ＤＢ

Claims (4)

1. 継続的に画像を入力するステップと、
   前記画像から継続的に顔を検出するステップと、
   前記画像から顔を検出できなかった場合、動体の検出を行い、検出された動体を検出された顔とみなすステップと、
   前記検出された顔に基づいて人物の特徴量を解析するステップと、
   前記特徴量に基づいて人物を分類するステップと、
   前記分類された人物ごとに、前記人物の顔が検出されてから現在まで経過した時間を計測するステップと、
   前記顔が検出されてから現在まで経過した時間が、予め指定された時間閾値を超えた場合、前記顔の人物を危険人物候補と判定するステップと、
   を含む監視方法。
2. 前記危険人物候補と判定された人物の特徴量が、所定の関係人物の特徴量と一致する場合、前記危険人物候補と判定された人物を前記危険人物候補から除外するステップをさらに含む請求項１に記載の監視方法。
3. 継続的に画像を入力する画像入力部と、
   前記画像入力部へ入力された画像から継続的に顔を検出する顔検出部と、
   前記画像から顔を検出できなかった場合、動体の検出を行い、検出された動体を検出された顔とみなす動体検出部と、
   前記検出された顔に基づいて人物の特徴量を解析する特徴量解析部と、
   前記特徴量に基づいて人物を分類する人物分類部と、
   前記分類された人物ごとに、前記人物の顔が検出されてから現在まで経過した時間を計測する計時部と、
   前記顔が検出されてから現在まで経過した時間が、予め指定された時間閾値を超えた場合、前記顔の人物を危険人物候補と判定する危険人物候補判定部と、
   前記危険人物候補判定部が危険人物候補と判定した人物の画像、前記計時部が計測した時間の長短、前記危険人物候補と判定された回数その他の危険人物候補に関する情報を管理するデータベースと、
   を備える監視装置。
4. 前記データベースに管理された危険人物候補に関する情報に応じて、前記人物の危険度を判定する危険度判定部と、
   前記危険度判定部の判定した危険度に応じた内容の報知を実施する報知部と、
   をさらに備える請求項３に記載の監視装置。

Images