以下、本発明の実施の形態について、図面を参照しながら説明する。
本発明の一実施形態に係る監視装置1は、図1に示すように、認証装置10と、制御部11と、記憶部12と、監視画像撮像部13と、認証信号受信部14と、操作部15と、出力部16と、を含んで構成されている。本実施形態では、監視装置1は、監視対象となる出入口であるドアDを通行しようとする人物の認証を行うとともに、このドアD周辺の画像を撮像することにより、ドアDを通行しようとする人物の監視を行う。
認証装置10は、ドアDを通行しようとする人物の認証を行う装置であって、図1に示すように、認証用情報受け入れ部21と、認証情報記憶部22と、認証処理部23と、認証信号送信部24と、を含んで構成されている。なお、認証装置10を構成する各部は、一つの筺体内に収容されてもよいし、認証用情報受け入れ部21とその他の部分とがそれぞれ別の筺体に収容され、通信線によって接続されてもよい。また、以下では、認証装置10による認証を受ける人物を、被認証者Paという。
認証用情報受け入れ部21は、被認証者Paを認証するための認証用情報を受け入れる装置であり、ドアD近傍の壁面などに設置される。具体例として、認証用情報受け入れ部21は、被認証者Paが所持するICカードに記録された情報を読み取るICカードリーダ等の装置であってもよいし、被認証者Paによる暗証番号の入力を受け付ける操作パネル等であってもよい。また、認証用情報受け入れ部21は、被認証者Paの指紋や声、虹彩、あるいは顔の画像など、被認証者Paの生体情報を読み取る装置であってもよい。認証用情報受け入れ部21が受け入れた認証用情報は、認証処理部23に対して出力される。
認証情報記憶部22は、例えばROM等のメモリ素子を含んで構成され、認証の対象となる人物を認証するための情報を記憶している。具体的に、認証情報記憶部22は、ドアDの通行が許可される複数の人物(以下、認証対象者という)それぞれの認証に用いるための固有情報を記憶する。この固有情報は、例えば認証対象者が所持するICカードに記録された情報や、認証対象者の生体情報、認証対象者ごとに異なる暗証番号など、認証用情報受け入れ部21によって読み取られた情報と照合して、認証対象者を他の人物と区別して特定するための情報である。なお、各認証対象者の固有情報には、当該認証対象者を識別するための識別情報(以下、認証対象者IDという)が関連付けられている。
認証処理部23は、例えばデジタルシグナルプロセッサ(DSP)等の演算装置により構成され、被認証者Paを認証する認証処理を実行する。具体的に、認証処理部23は、認証用情報受け入れ部21が受け入れた認証用情報を、認証情報記憶部22に記憶された認証対象者それぞれの固有情報と照合して、一致する固有情報があるか否かを判定する。これにより、認証処理部23は、被認証者Paが認証対象者かどうかを判定するとともに、認証対象者である場合には、被認証者Paが複数の認証対象者のいずれであるかを特定する。
認証処理部23は、認証処理の結果、被認証者Paが認証対象者であることを認証した場合、所定の認証信号を認証信号送信部24に対して出力する。この認証信号には、被認証者Paの認証に成功したことを示す情報のほか、複数の認証対象者のうち、認証処理部23が被認証者Paとして特定した認証対象者を識別する認証対象者IDが含まれるものとする。
認証信号送信部24は、例えばLANインタフェース等の通信装置であって、被認証者Paの認証が成功したタイミングで認証処理部23が出力する認証信号を、認証信号受信部14に対して送信する。また、認証信号送信部24は、この認証処理部23が出力する認証信号を受けて、ドアDを開錠するための制御信号を電気錠(不図示)に対して出力する。これにより、ドアDが所定時間だけ開錠され、被認証者Paはその間にドアDを通行できる。
制御部11は、例えばCPUやDSP等の演算装置であって、記憶部12に記憶されるプログラムに従って各種の情報処理を実行する。本実施形態では、制御部11は、監視画像撮像部13によって撮像される監視画像を解析して、異常を検知した場合に当該異常の検知に応じた信号を出力部16に出力する処理を行う。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。
記憶部12は、例えばROMやRAM等のメモリ素子を含んで構成され、制御部11によって実行される各種のプログラムや、制御部11が実行する処理により利用される各種のパラメタなどの情報が記憶される。特に、本実施形態において、記憶部12は、複数の認証対象者のそれぞれについて、監視画像における当該認証対象者の像の大きさに応じたテンプレート(以下、個別テンプレートTpという)を記憶するテンプレート記憶手段として機能する。具体例として、個別テンプレートTpは、監視画像における当該認証対象者の像に応じた大きさ及び形状を表すデータである。また、記憶部12は、各認証対象者の個別テンプレートTpのほかに、所定の共通テンプレートTcを記憶してもよい。これらのテンプレートは、監視画像内から抽出された人物像との対比に用いられる。なお、個別テンプレートTp及び共通テンプレートTcの詳細については、後述する。
監視画像撮像部13は、被認証者Paを含む監視画像を撮像するビデオカメラ等の撮像装置である。本実施形態では、監視画像撮像部13は、継続して所定時間おきに監視画像の撮像を続けており、各タイミングで撮像した監視画像を、制御部11に対して順次出力する。
図2(a)及び図2(b)は、監視装置1の監視対象となる空間(以下、監視空間という)の様子の一例を示す図である。図2(a)は、認証装置10が被認証者Paの認証を行っている時点での被認証者Paを側面から見た図を示しており、図2(b)は、同じ被認証者Paを背面から見た図を示している。これらの図に示されるように、監視画像撮像部13は、認証装置10が被認証者Paを認証する際に被認証者Paが存在すると推定される位置を撮像可能な位置に設置され、その撮像方向は水平面より下向きになっている。これにより、監視画像撮像部13は、認証装置10が被認証者Paを認証するタイミングにおける、被認証者Paを含んだ監視画像を撮像できる。図3は、監視画像撮像部13によって撮像される監視画像の一例を示す図である。図3の例では、監視画像内に、ドアDと、認証用情報受け入れ部21と、被認証者Paと、が映っている。ここで、被認証者Paが存在すると推定される位置の略鉛直上方に監視画像撮像部13が設置されることによって、監視画像撮像部13によって撮像された監視画像内において、被認証者Paの人物像が、その周囲に存在する他の人物の人物像と重なりにくくすることができる。
認証信号受信部14は、例えばLANインタフェース等の通信装置であって、認証装置10の認証信号送信部24が送信する認証信号を受信して、所定の一時記憶領域に記憶する。一時記憶領域に記憶された認証信号に含まれる情報は、制御部11によって読み出される。
操作部15は、例えばタッチパネルディスプレイ等のユーザインタフェースであって、監視装置1の管理者が各種のパラメタなどの情報を入力するために用いられる。操作部15から管理者が入力した情報は、記憶部12に記憶され、制御部11が実行する処理に用いられる。具体例として、管理者は、監視画像内におけるドアDの位置及び認証用情報受け入れ部21の位置を示す情報を操作部15から入力する。また、管理者は、監視画像撮像部13のカメラパラメタを入力してもよい。カメラパラメタには、監視画像撮像部13の設置位置や撮像方向等の設置パラメタ、画角、画素数、レンズ歪み等の撮像パラメタが含まれる。
出力部16は、制御部11による処理結果を外部機器等に出力するためのインタフェースである。出力部16は、例えばスピーカやブザー等の音響出力手段と接続され、制御部11からの指示により、当該音響出力手段に対して警告音の鳴動を実行させる異常信号を出力する。これにより、監視装置1は、制御部11の処理によって異常が検知された場合に、警告音を鳴らすことができる。また、出力部16は、外部のセンタ装置等に対して異常信号を送信する通信インタフェースを含んでもよい。これにより、制御部11の処理によって異常が検知された場合に、監視装置1は、異常の検知を知らせる信号を外部の監視センタなどに通知することができる。なお、この場合、出力部16は、認証信号受信部14と共通のインタフェース装置であってもよい。
ここで、記憶部12に記憶される個別テンプレートTp及び共通テンプレートTcについて、説明する。個別テンプレートTp及び共通テンプレートTcは、いずれも監視空間にいる人物を監視画像撮像部21の撮像面に射影した射影像に応じた大きさ及び形状を表すデータであり、監視画像内から抽出された人物像と対比して、当該人物像に含まれる人物の数を判定するために用いられる。このうち、個別テンプレートTpは、認証対象者ごとに当該認証対象者を識別する認証対象者IDに関連づけて記憶されており、認証装置10による認証を受ける際の認証対象者の射影像を、例えば楕円などの単純な形状でモデル化したデータである。ここで、認証装置10による認証を受ける際には,どの人物も認証用情報受け入れ部21の前の所定の位置に立つと推定される。そして、監視画像撮像部21は、この位置の略鉛直上方に設置されている。そのため、認証を受けている最中の人物の射影像は、人を真上から見た形状を表す楕円などによりモデル化できる。
図4は、個別テンプレートTpの一例を示す説明図である。図4の例では、個別テンプレートTpは所定の傾き及び大きさの楕円の形状を示すデータであって、楕円の大きさは対応する認証対象者の体格や身長などに応じて変化する。また、楕円の傾きは、認証用情報受け入れ部21が対応する認証対象者から認証用情報を受け付ける際の認証対象者の体の向きを示している。具体的に、図4に例示する個別テンプレートTpは、楕円の長軸方向の半径a、短軸方向の半径b及び監視画像上の基準軸に対する短軸方向の傾きθによって特定される。なお、ここでは、監視画像上の基準軸は、監視画像の縦方向に沿った軸としている。また、図中において、楕円の中心位置は、頭部領域の重心位置Hcに対応している。
一方、共通テンプレートTcは、不特定の人物を代表する代表人物の射影像に応じた大きさ及び形状を表すデータである。本実施形態では、共通テンプレートTcは、被認証者Paに対応すると推定される人物像に複数の人物が含まれているか否か判定する際に、個別テンプレートTpとともに用いられる。また、共通テンプレートTcは、被認証者Paに対応すると推定されない人物像の中に、複数の人物が含まれているか否か判定するために用いられてもよい。
個別テンプレートTpとの比較対象となる被認証者Paの人物像と異なり、共通テンプレートTcとの比較対象となる人物像は、監視画像内の様々な位置に現れる可能性がある。そして、この位置に応じて、当該位置にいる人物を監視画像撮像部21の撮像位置から見る距離も角度も変化するため、人物像の大きさ及び形状は人を真上から見た大きさ及び形状だけとは限らず、多様な大きさ及び形状を取り得る。そこで、監視装置1は、監視画像内の複数の所定位置ごとに、監視空間内の当該所定位置に対応する位置に立つ人物を監視画像撮像部21の撮像面に射影して得られる射影像に応じた大きさ及び形状を示すデータを、共通テンプレートTcとして記憶することとする。
ここで、共通テンプレートTcのデータを生成する方法の一例について、説明する。まず、監視空間内の所定の位置に人体形状を表す3次元モデルが仮想的に配置され、当該3次元モデルを監視画像撮像部21の撮像面に射影して得られる射影像が、シミュレーションプログラムなどによって算出される。図5(a)、図5(b)及び図5(c)は、共通テンプレートTcの生成方法の一例を説明するための図であって、図5(a)は、監視空間内に2つの3次元モデルMa及びMbを配置した様子を示している。この図の例では、3次元モデルは、人の頭部を表す球体と、胴体部分及び脚部分をそれぞれ表す直方体と、から構成されている。このとき、3次元モデルの大きさは、想定される人物の身長や体格に応じて決定される。具体的に、3次元モデルの大きさは、標準的な成人の身長や体格に応じて決定されてもよいが、比較的小柄な人物の身長や体格に応じて決定されてもよい。こうすれば、監視画像内から抽出された人物像に、小柄な人物を含む複数の人物が含まれてしまっている場合に、この人物像と共通テンプレートTcとを比較することで、当該人物像に複数の人物が含まれると判定できる可能性が高くなる。
さらに、シミュレーションプログラムによって算出された3次元モデルの射影像に外接する楕円を算出することによって、この外接楕円の長軸方向の半径、短軸方向の半径、及び監視画像上の基準軸に対する傾きが、共通テンプレートTcを特定するパラメタ情報として監視装置1に記憶される。図5(b)及び図5(c)は、図5(a)で例示された2つの3次元モデルのそれぞれに基づいて生成された共通テンプレートTcの一例を示しており、図5(b)が3次元モデルMaに、図5(c)が3次元モデルMbに、それぞれ対応している。なお、いずれの図においても、破線が3次元モデルの射影像を、実線が共通テンプレートTcを表している。ここで、3次元モデルMbが監視画像撮像部13の鉛直下方から離れた位置に配置される場合、図5(c)に示されるように、人物の頭部の位置が楕円の中心位置に一致するとは限らない。そこで、3次元モデルのうち人の頭部を表す球体が射影された射影像の重心位置を、頭部領域の重心位置Hcとして、当該重心位置Hcに対する楕円中心の相対位置の位置座標も、共通テンプレートTcを特定するパラメタ情報の一部として記録される。この共通テンプレートTcの情報は、監視画像内における頭部領域の重心位置Hcの位置座標に関連付けて記憶される。以上説明した方法を、監視空間内の複数の所定位置について繰り返し実行することによって、監視画像内の各位置について、当該位置に現れる人物像との対比に用いる共通テンプレートTcが生成される。
なお、以上の説明においては、共通テンプレートTcは個別テンプレートTpと独立して生成されることとしたが、例えば共通テンプレートTcは、複数の個別テンプレートTpのうち最も小さいテンプレートに対応する認証対象者の射影像に応じたテンプレートであってもよい。具体的に、例えば個別テンプレートTpのうち最も小さいテンプレートの大きさに応じて、前述した3次元モデルの大きさを決定して、この3次元モデルを用いて監視画像内の各位置における共通テンプレートTcを生成することとする。こうすれば、監視画像内に頻繁に映ると考えられる人物のうち最も小柄な人物のサイズに応じて共通テンプレートTcを生成できる。
以下、監視画像撮像部13によって撮像された監視画像を用いて監視を行う際に、監視装置1が実現する機能の具体例について、説明する。監視装置1は、機能的に、図6に示すように、人物像抽出手段31と、頭部検出手段32と、被認証者候補像特定手段33と、テンプレート登録手段34と、人数判定手段35と、人物像分割手段36と、追跡手段37と、異常判定手段38と、を含んで構成される。これらの機能は、制御部11が記憶部12に格納されたプログラムを実行することにより、実現される。
人物像抽出手段31は、監視画像撮像部13によって所定時間おきに撮像された監視画像のそれぞれについて、当該監視画像の中から人物像を抽出する。具体的に、例えば人物像抽出手段31は、予め人が誰もいない状態の監視空間を撮像して得られる監視画像を背景画像として記憶部12に記憶しておき、当該背景画像と監視画像とを比較して差分画素を抽出する。そして、互いに隣接する差分画素を含んで構成される差分画素群のうち、所定の条件を満足する形状や所定値以上の大きさを有する差分画素群を、人を表す人物像として抽出する。また、人物像抽出手段31は、上記方法のほか、エッジ検出などの各種の画像処理を組み合わせて人物像を抽出してもよい。
ここで、監視空間内において比較的近い位置に複数の人物がおり、これらの人物が監視画像内において重なって映っている場合には、人物像抽出手段31は、これら複数の人物を含んだ領域を一つの人物像として抽出してしまうことがある。なお、人物像抽出手段31は、被認証者Paが監視空間内に存在せず、認証信号が認証装置10から送信されていない間も、撮像された監視画像の中から人物像を抽出する処理を実行する。人物像抽出手段31によって抽出された人物像に関する情報は、記憶部12に記憶され、後述する追跡手段37による人物像の追跡処理に用いられる。
頭部検出手段32は、人物像抽出手段31によって抽出された人物像から、人の頭部の画像特徴を有する頭部領域を検出する。具体的に、例えば頭部検出手段32は、エッジ検出及びハフ変換やパターンマッチングなどの画像処理を実行することにより、各人物像の画像領域の中から、人体頭部の画像特徴を有する領域(例えば所定範囲の大きさの略円形の領域)を頭部領域として検出し、当該検出した頭部領域の位置及び大きさを示す情報を出力する。ここで、衣服と頭部とのコントラストは人物によって様々である。そこで、頭部検出手段32は、コントラストが低くても頭部領域を検出できるように、予め実験結果等に応じて検出感度を高めに設定した検出条件を用いて、頭部領域の検出を行うこととしてもよい。これにより、本来は頭部でない領域を頭部領域として誤検出するおそれはあるものの、複数の人物を含んだ人物像の中から人物の数に応じた頭部領域を検出する可能性を高めることができる。
被認証者候補像特定手段33は、監視画像撮像部13によって撮像された監視画像の中から、被認証者に対応すると推定される人物像を、被認証者候補像Icとして特定する。具体的に、認証信号受信部14が認証信号を受信したタイミングで撮像された監視画像の中から抽出された人物像のうち、いずれか一つの人物像は、被認証者Paに対応していると考えられる。被認証者候補像特定手段33は、人物像抽出手段31によって抽出された人物像の中から、この被認証者Paに対応すると推定される一つの人物像を、所定の条件に基づいて被認証者候補像Icとして特定する。ここで、所定の条件として、例えば被認証者候補像特定手段33は、抽出された人物像のうち、監視画像内における認証用情報受け入れ部21の位置に最も近い位置で抽出された人物像を、被認証者候補像Icとして特定する。あるいは、被認証者候補像特定手段33は、監視画像内における認証用情報受け入れ部21の位置に対して、所定の位置関係(例えば、認証用情報受け入れ部21前方の所定範囲内)にある人物像を、被認証者候補像Icとして特定してもよい。
なお、被認証者候補像特定手段33は、このように監視画像から抽出された人物像の位置に基づいて被認証者候補像Icを特定する際に、人物像の重心位置や中心位置を人物像の位置として用いてもよいし、あるいは、頭部検出手段32によって人物像の中から検出された頭部領域の重心位置を当該人物像の位置として用いてもよい。また、被認証者候補像特定手段33は、監視画像内において人物像の一部又は全部が所定範囲に含まれる人物像を、被認証者候補像Icとして特定してもよい。
テンプレート登録手段34は、記憶部12に個別テンプレートTpが登録されていない認証対象者がある場合に、当該認証対象者を認証装置10が認証した際に撮像された監視画像内から抽出される人物像に基づいて、当該認証対象者の個別テンプレートTpを生成し、登録する。具体的に、テンプレート登録手段34は、認証装置10から認証信号が送信される場合に、記憶部12内に、当該認証信号に含まれる認証対象者ID(すなわち、認証された被認証者Paを特定する認証対象者ID)に関連付けられた個別テンプレートTpが記憶されているか否か判定する。そして、記憶されていないと判定される場合に、人物像抽出手段31によって抽出された人物像の中から、被認証者候補像特定手段33が被認証者候補像Icとして特定した人物像を、所定の形状(ここでは楕円)で近似する。すなわち、例えばテンプレート登録手段34は、頭部検出手段32によって被認証者候補像Icの中から検出された頭部領域の重心位置を楕円の中心位置として、楕円の半径や傾きを変化させながら被認証者候補像Icの輪郭と楕円との間のずれが最小となる楕円の長軸半径、短軸半径及び傾きを決定する。これによって、当該認証対象者の個別テンプレートTpが新たに生成される。そして、テンプレート登録手段34は、この新たに生成された個別テンプレートTpを、当該認証対象者の認証対象者IDと関連付けて、記憶部12に記憶する。
これにより、監視装置1は、認証対象者それぞれを撮像して得られる人物像に基づいて、各認証対象者の体格や身長に応じた個別テンプレートTpを登録できる。なお、テンプレート登録手段34による個別テンプレートTpの登録が行われる際に、被認証者候補像Icとして複数の人物を含む人物像が抽出されると、認証対象者一人分の人物像に応じた個別テンプレートTpを登録することができない。そこで、例えば認証対象者が初めて認証装置10による認証を行う際には、管理者の立ち会いの下で監視装置1に個別テンプレートTpを登録させることによって、このような不正を防ぐことができる。
人数判定手段35は、被認証者候補像特定手段33によって特定された被認証者候補像Icと、認証された被認証者Paについて記憶部12が記憶する個別テンプレートTpと、を比較することによって、被認証者候補像Icが複数の人物を含んだ人物像か否かを判定し、判定結果を出力する。
具体例として、人数判定手段35は、被認証者候補像Icに被認証者Paの個別テンプレートTpを重ね合わせて、両者の一致度を評価することによって、被認証者候補像Icが被認証者Pa以外の人物を含んでいるか否か判定する。すなわち、両者が所定の基準の範囲内で一致していれば、被認証者候補像Icは被認証者Pa一人の人物像であると判定され、両者に所定の基準を超えるずれがあれば、他の人物も含んでいると判定される。
さらに、人数判定手段35は、被認証者候補像Icと、被認証者Paの個別テンプレートTp及び共通テンプレートTcの組み合わせと、をさらに比較して、被認証者候補像Icが複数の人物を含んだ人物像か否かを判定することとしてもよい。具体例として、人数判定手段35は、被認証者候補像Icに対して、個別テンプレートTp及び共通テンプレートTcの双方を並べて重ね合わせて、その一致度を評価する。そして、その一致度が、個別テンプレートTpだけを被認証者候補像Icと比較した際の一致度よりも高い場合には、被認証者候補像Icに複数の人物が含まれていると判定する。
このとき、人数判定手段35は、頭部検出手段32によって被認証者候補像Icの中から検出された頭部領域の位置を用いて、被認証者候補像Icとテンプレートとの比較を行うこととしてもよい。具体例として、人数判定手段35は、上述した被認証者候補像Icと個別テンプレートTp又は共通テンプレートTcとの重ね合わせを行う際に、検出された頭部領域の重心位置に、各テンプレート内の人の頭部が存在すると想定される位置を一致させるように重ね合わせを行った上で、両者の比較を行う。このように、頭部領域を基準として被認証者候補像Icとテンプレートとの間の比較を行うことで、人の影や手荷物などの人の身体に対応しない部分が被認証者候補像Icに含まれている場合でも、精度よく人数判定を行うことができる。
なお、人数判定手段35は、被認証者候補像Icだけでなく、人物像抽出手段31によって抽出された他の人物像についても、それぞれ複数の人物が含まれていないかを判定してもよい。この場合には、前述した監視画像内の各位置に関連付けて記憶された共通テンプレートTcが用いられる。
人物像分割手段36は、人数判定手段35により被認証者候補像Icが複数の人物を含んでいると判定される場合に、被認証者Paの個別テンプレートTpに基づいて、被認証者候補像Icから被認証者Paの人物像(以下、被認証者像Iaという)を分離することによって、被認証者候補像Icをそれぞれ一人の人物だけを含んだ複数の人物像に分割する。具体例として、人物像分割手段36は、被認証者候補像Icのうち、人数判定手段35による判定の際に被認証者Paの個別テンプレートTpが重ね合わされた部分を被認証者像Iaとして切り出し、それ以外の部分を被認証者Pa以外の人物を表す人物像とすることによって、被認証者候補像Icを分割する。あるいは、人数判定手段35が共通テンプレートTcも用いて人数判定を行っている場合、人物像分割手段36は、被認証者候補像Icのうち、被認証者Paの個別テンプレートTpと重ね合わされた部分を被認証者像Iaとして切り出し、共通テンプレートTcと重ね合わされた部分を被認証者Pa以外の人物を表す人物像として切り出すことによって、被認証者候補像Icを分割してもよい。なお、人数判定手段35によって被認証者候補像Icは一人の人物だけを含んでいると判定された場合には、この被認証者候補像Icがそのまま被認証者像Iaとなる。
また、人数判定手段35が被認証者候補像Ic以外の人物像についても判定を行い、その結果複数の人物が含まれていると判定された人物像がある場合には、人物像分割手段36は、共通テンプレートTcに基づいてこの人物像をそれぞれ一人の人物だけを含んだ人物像に分割してもよい。このように、一体化して抽出されていた人物像を個々の人物を表す人物像に分割することで、次に説明する追跡手段37により、人物像の位置や画像特徴に基づき行われる追跡の精度が向上する。
追跡手段37は、監視画像撮像部13が所定時間おきに撮像した監視画像のそれぞれについて、人物像抽出手段31が人物像を抽出するごとに、以下に説明するような人物像の追跡処理を行う。すなわち、追跡手段37は、新たに撮像された監視画像から人物像抽出手段31によって抽出され、条件に応じて人物像分割手段36により分割されて得られる一人の人物を表す人物像のそれぞれを、当該監視画像より過去時点において撮像された監視画像から抽出、分割され、記憶部12に記憶されている人物像と比較することによって、当該人物像に対応する人物の監視空間内における移動経路を追跡する。具体的に、追跡手段37は、新たな監視画像から得られた各人物像の位置や画像特徴に関する量(例えば色ヒストグラム等)を、前回撮像された監視画像から得られた人物像の位置や画像特徴に関する量と比較することによって、同じ人物を表す人物像同士を関連付ける。そして、同一人物を表す人物像として互いに関連付けられた人物像の、時系列に従って撮像された各監視画像内における位置を示す時系列情報を、当該人物の移動経路を示す移動経路情報として出力する。
ここで、追跡手段37は、被認証者像Iaについては、他の人物像と区別するために、当該人物の移動経路情報に対して、被認証者像Iaであることを示す属性情報を関連付ける。具体例として、追跡手段37は、新たな監視画像から得られた人物像のうち、前回撮像された監視画像内に同一人物を示す人物像が存在しないと判定された人物像については、新たに監視空間に入ってきた人物の人物像として、まず被認証者Paではないことを示す属性情報を関連付ける。これにより、追跡手段37により追跡対象となる監視空間内の各人物は、常に最初は被認証者Paではないものとして管理される。そして、認証装置10から認証信号を受信したタイミングにおいて、上述した各手段によって被認証者像Iaであると特定された人物像については、この属性情報を被認証者Paであることを示す値に更新する。これにより、追跡手段37による追跡対象となっている人物のうち、被認証者Paとして特定された人物については、それ以降は他の人物と区別して追跡されることとなる。
異常判定手段38は、人数判定手段35による判定結果及び追跡手段37が出力する監視空間内の各人物の移動経路情報に基づいて、所定の条件に合致する不正な事象がないか否かを判定する。具体例として、被認証者Paではないことを示す属性情報が関連付けられた人物が、監視画像内においてドアDに対応する領域外からドアDに対応する領域内に移動したことを示す移動経路情報が追跡手段37によって出力された場合、異常判定手段38は、ドアDの通行が許可されていない人物による不正な通行があると判定して、異常の検知を示す異常信号を出力部16に対して出力する。これにより、監視装置1は、認証を受けていない人物がドアDを通行しようとした場合に、警告音を鳴らしたりセンタに通報したりすることができる。
また、異常判定手段38は、人数判定手段35によって被認証者候補像Icの中に複数の人物が含まれていると判定された場合に、不正な通行の兆候があるとして所定の警告を行う異常信号を出力部16に対して出力してもよい。これにより、監視装置1は、認証を受けていない人物が認証を受けた人物と一緒にドアDを通行しようとするおそれがある場合などに、警告音を鳴らしたりセンタに通報したりすることができる。
以下、本実施形態に係る監視装置1の制御部11が実行する処理の流れの一例について、図7のフロー図に基づいて説明する。
まず、監視装置1の電源が投入されると、制御部11は、所定の初期化処理を実行する(S1)。このとき、監視画像撮像部13によって撮像された監視画像が背景画像として記憶部12に記憶される。さらに、制御部11は、監視画像内における認証用情報受け入れ部21の位置やドアDの位置の情報など、後続する処理に必要な所定のパラメタが記憶部12に記憶されているか否か判定する(S2)。記憶されていなければ、制御部11は、操作部15を介して、これらパラメタの入力を促すメッセージ等を管理者に提示して、管理者からパラメタの入力を受け付ける(S3)。
その後、監視画像撮像部13が所定時間間隔で新たな監視画像を撮像するごとに、以下に説明する処理が繰り返し実行される。すなわち、まず制御部11の人物像抽出手段31は、監視画像撮像部13が撮像した新たな監視画像を取得する(S4)。そして、S4で取得した監視画像を背景画像と比較して、人物像の抽出を行う(S5)。さらに、制御部11は、S5の処理で1以上の人物像が抽出されたか否か判定する(S6)。人物像が抽出されなかった場合には、S4で取得した監視画像を新たな背景画像として記憶部12に記憶して(S7)、S4に戻って次の監視画像に対する処理を行う。ここで、人物像が抽出されなかった場合に監視画像を更新するのは、時間の経過によって背景画像に変化が生じる場合に対応するためである。
一方、S6において1以上の人物像が抽出されたと判定された場合、制御部11は、この抽出された人物像の中から被認証者像Iaを特定する被認証者特定処理を行う(S8)。この被認証者特定処理の詳細については、後述する。
続いて、制御部11の追跡手段37は、S5で抽出された人物像の追跡処理を行う(S9)。この追跡処理は、具体的には、S5で抽出され、場合によってS8で分割された人物像のそれぞれについて、前回までに抽出された人物像と同一人物を示す人物像か否かの判定を行い、判定結果に応じて、新たに抽出された人物像の位置を既に記憶部12に記録されている各人物の移動経路情報に追加する処理である。このとき、追跡手段37は、S8の処理により被認証者像として特定された人物像に対応する移動経路情報に対して、被認証者Paであることを示す属性情報を関連付ける。
さらに、制御部11の異常判定手段38は、S9の処理により得られる移動経路情報を参照して、認証装置10による認証を受けていない人物がドアDを通行しようとする不正通行がないか判定する(S10)。判定の結果、不正通行が検知された場合、異常判定手段38は出力部16に対して、所定の警告音を鳴らす異常信号や、監視センタに設置されたセンタ装置へ異常を通知する異常信号を出力する(S11)。警告音を鳴らす異常信号により、例えば「共連れ行為監視中です。入室する方は全員照合操作をして下さい」などといった音声メッセージが出力される。これにより、不正通行者に不正通行をあきらめさせたり、あるいは再発防止を促すことができる。また、異常を通知する異常信号を受信したセンタ装置が監視センタの警備員に異常を報知する。これにより、警備員は現場急行などの対処行動を迅速に行うことができる。また、この異常信号に異常が検知された監視画像を含めて出力することで、センタ装置にて当該監視画像を表示でき、警備員による状況確認が容易となる。そして、S10で不正通行が検知されない場合、及び不正通行が検知されて異常信号が出力された場合のいずれの場合においても、その後、S4に戻って新たな監視画像に対する処理が繰り返される。
次に、上述した図7のフローにおけるS8の被認証者特定処理の流れの具体例について、図8のフロー図に基づいて説明する。
まず、制御部11は、認証信号受信部14が認証装置10からの認証信号を新たに受信しているか否か判定する(S21)。認証装置10は、制御部11が上述した図7のフローにおけるS4からS11までのフローを繰り返し実行している間も、独立して動作しており、認証処理を実行して被認証者Paが認証対象者のいずれかであることを認証した場合には、被認証者Paが認証対象者のいずれであるかを示す認証対象者IDを含んだ認証信号を出力する。ここで、S21で認証信号を受信していると判定された場合、処理対象となっている監視画像は、認証装置10による認証が行われたタイミングで撮像された画像であり、その中には被認証者Paが映っていると判断される。その場合、制御部11は、後述するS22以降の処理を実行する。一方、S21で認証信号を受信していないと判定された場合、監視画像内に新たに認証された被認証者Paは映っていないと判断されるため、処理を終了する。
次に、制御部11の頭部検出手段32が、図7のフローにおけるS5の処理で抽出された人物像のそれぞれについて、頭部領域の検出を行う(S22)。その後、制御部11の被認証者候補像特定手段33が、S22で検出された頭部領域のうち、監視画像内における認証用情報受け入れ部21の位置に最も近い位置にある頭部領域を含んだ人物像を、被認証者候補像Icとして特定する(S23)。
続いて、制御部11のテンプレート登録手段34は、記憶部12に、認証信号から読み出された認証対象者IDに関連付けて個別テンプレートTpが記憶されているか否か判定する(S24)。個別テンプレートTpが記憶されていないと判定された場合、テンプレート登録手段34は、S23で特定された被認証者候補像Icに応じて生成したテンプレートを、認証信号から読み出された認証対象者IDに関連付けて新たな個別テンプレートTpとして登録する(S25)。この場合、S23で特定された被認証者候補像Icはそのまま被認証者像Iaとみなされるので、これ以降の被認証者候補像Icを分割する処理は実行されずに、被認証者特定処理は終了する。
一方、S24で個別テンプレートTpが記憶されていると判定された場合、制御部11の人数判定手段35は、認証信号から読み出された認証対象者IDに関連付けられた個別テンプレートTp、及びS22で被認証者候補像Icの中から検出された頭部領域のそれぞれの位置に対応づけられた共通テンプレートTcを、記憶部12から読み出す(S26)。さらに、人数判定手段35は、S26で読み出した個別テンプレートTp及び共通テンプレートTcを被認証者候補像Icと比較して、被認証者候補像Icに含まれる人物の人数を判定するとともに、判定された人数の人物がどのように配置されて被認証者候補像Icが構成されているかを特定する人数判定処理を実行する(S27)。この人数判定処理の内容については、後述する。
次に、制御部11の異常判定手段38は、S27の処理結果に基づく異常判定を行う(S28)。具体的に、異常判定手段38は、被認証者候補像Icに複数の人物が含まれるか否か判定し、複数の人物が含まれていると判定される場合には、所定の警告音を鳴らす異常信号を出力部16に対して出力する(S29)。これにより、例えば「共連れ行為監視中です。入室する方は全員照合操作をしてください」などといった音声メッセージが出力される。これにより、被認証者Paに近接した位置に立っており、被認証者PaとともにドアDを通行してしまうおそれがある人物がいる場合に、当該人物に不正通行をあきらめさせたり、あるいは認証装置10による正規の認証を受けてドアDを通行させたりするように促すことができる。あるいは、施錠要求を示す異常信号をドアDの電気錠に対して出力することにより、当該人物の通行を阻止することができる。一方、S28で被認証者候補像Icに複数の人物が含まれていないと判定される場合には、S25の場合と同様に被認証者候補像Icがそのまま被認証者像Iaとみなされるので、被認証者特定処理は終了する。
さらに、S28で被認証者候補像Icに複数の人物が含まれていると判定される場合、制御部11の人物像分割手段36が、S27で特定された各人物の配置に応じて、被認証者候補像Icをそれぞれ一人の人物に対応する複数の人物像に分割する(S30)。これにより、被認証者像Iaが被認証者候補像Icから分離されて特定され、被認証者特定処理が終了する。なお、この人物像分割処理の具体例については、人数判定処理の具体例について説明した後に、説明する。
次に、上述した図8のフローにおけるS27の人数判定処理の流れの具体例について、図9のフロー図に基づいて説明する。
まず、制御部11の人数判定手段35は、変数mに1を設定する(S41)。以下、変数mを1ずつ増やしながら、図8のフローにおけるS22の処理で被認証者候補像Icの中から検出された頭部領域の数nまで、後述する処理が繰り返される。この変数mは、被認証者候補像Icの中から検出された頭部領域のうち、真に人の頭部を表していると仮定される領域の数を示している。すなわち、このmの値は、被認証者候補像Icに含まれる人の数に対応する。以下では、mを1からnまで変化させながら、それぞれの値に基づいて可能な配置パターンごとの評価を行うことにより、最も誤差の少ない配置パターンが得られたときのmの値を、被認証者候補像Icに含まれる人物の数として決定する。
続いて、人数判定手段35は、現在のmの値に応じて、可能な配置パターンのうちの一つを選択する(S42)。ここでの配置パターンとは、被認証者候補像Icに含まれるn個の頭部領域のうち、一つを被認証者Paの頭部と仮定して、その位置に被認証者Paの個別テンプレートTpを重ね合わせ、他の(n−1)個の頭部領域のうち(m−1)個の頭部領域のそれぞれを被認証者Pa以外の人物の頭部と仮定して、その位置に共通テンプレートTcを重ね合わせる配置のパターンである。すなわち、可能な配置パターンは、
n・(n−1)C(m−1)
通りあることになる。ここで、いずれのテンプレートとも重ね合わせる対象としない(n−m)個の頭部領域については、本来頭部でないのに誤って頭部領域として検出されたものと仮定していることになる。
なお、人数判定手段35は、可能な配置パターンの全てを選択するのではなく、現実的に生じ得ない配置パターンを選択対象から除外することとしてもよい。例えば、被認証者Paの頭部と仮定された頭部領域より、認証用情報受け入れ部21に近い位置に検出された頭部領域については、共通テンプレートTcと重ね合わせる対象として選択しないこととしてもよい。こうすれば、認証用情報受け入れ部21が被認証者Paから認証用情報の入力を受け付ける際に、他の人物が認証用情報受け入れ部21と被認証者Paとの間に入り込むのが不可能な場合、このような不可能な配置パターンを選択の対象から除外できる。
さらに、人数判定手段35は、S42で選択された配置パターンに従って個別テンプレートTp及び共通テンプレートTcを被認証者候補像Icに重ねて配置することによって、被認証者候補像Icとテンプレートとの比較を行う(S43)。具体的に、人数判定手段35は、被認証者候補像Icとテンプレートとを重ね合わせた際に生じるずれの量を、配置誤差として算出し、算出した配置誤差の値を記憶部12に一時的に格納する。この配置誤差が小さいほど、被認証者候補像Icと配置されたテンプレートとが一致しており、この配置が実際の人物の配置を示している可能性が高いことになる。
このとき、個別テンプレートTpについては、その中心位置が頭部領域の重心位置に一致するように配置される。一方、共通テンプレートTcについては、頭部領域の重心位置に対して楕円の中心位置が予め記憶された相対座標の分だけずれた位置になるように配置される。そして、配置誤差は、以下の3つの領域の面積を加算することによって算出される。すなわち、被認証者候補像Icの領域のうち、いずれのテンプレートとも重複しない領域(残差領域)、各テンプレート内の領域のうち、被認証者候補像Icの外側にはみ出している領域(はみ出し領域)、及び複数のテンプレート間で重複している領域(重複領域)である。なお、人数判定手段35は、各領域について領域の種別ごとに所定の重み付け係数を乗じてから各領域の面積を加算して配置誤差を算出してもよい。この重み付け係数については、予め実験などによって最適な値を算出しておく。ここで、重複領域に対する重み付け係数は、当該領域が画像中心から離れるほど小さくなるよう設定してもよい。これにより、人物像間の重なりに適合した配置誤差を算出でき、人数判定の精度を高くすることができる。
次に、人数判定手段35は、S42において配置誤差を算出すべき全ての配置パターンが選択されたか否かを判定する(S44)。まだ配置誤差の算出を行っていない配置パターンがあれば、S42に戻って他の配置パターンについて同様の処理が繰り返される。
一方、あるmの値について、全ての配置パターンについて配置誤差の算出が実行された場合、続いて人数判定手段35は、mの値が被認証者候補像Icから検出された頭部領域の数nに一致したか否かを判定する(S45)。mの値がnより小さければ、人数判定手段35は、mの値に1を加算して(S46)、S42に戻って新たなmの値についてこれまでと同様の処理を繰り返す。
一方、S45でmがnに一致すると判定された場合、人数判定手段35は、処理の対象となっている被認証者候補像Icの中に含まれる頭部領域のそれぞれに対して、個別テンプレートTp又は共通テンプレートTcを配置する可能な配置パターンの全てについて、配置誤差の算出を終えたこととなる。この場合、人数判定手段35は、これまで算出された配置誤差の値を比較して、最も配置誤差の値が少ない配置パターン及びそのときのmの値を、実際の被認証者候補像Ic内に含まれる人物の数及びその配置パターンとして決定する(S47)。これにより、被認証者候補像Icに何人の人物が含まれており、そのうち被認証者Paはどの頭部領域に対応するのかが特定されたこととなる。
図10(a)、図10(b)、図10(c)、図10(d)及び図10(e)は、以上説明した人数判定処理の具体例について説明するための図である。図10(a)は、被認証者候補像特定手段33によって特定された被認証者候補像Icの一例を示しており、ここでは、同図に示すように、被認証者候補像Icの中から2つの頭部領域H1及びH2が検出されているものとする(n=2)。また、各頭部領域の重心位置を重心位置Hc1及びHc2とする。この場合、人数判定手段35は、m=1及びm=2のそれぞれについて、可能な配置パターンごとに配置誤差の算出を行う。
具体的に、図10(b)及び図10(c)は、m=1の場合に、人数判定手段35が被認証者候補像Icに対してテンプレートを配置した状態を示している。m=1の場合には、被認証者Paの個別テンプレートTpだけが配置される。ここでは、図10(b)が重心位置Hc1に個別テンプレートTpを配置する配置パターンを示しており、図10(c)が重心位置Hc2に個別テンプレートTpを配置する配置パターンを示している。
また、図10(d)及び図10(e)は、m=2の場合に、人数判定手段35が被認証者候補像Icに対してテンプレートを配置した状態を示している。m=2の場合には、被認証者Paの個別テンプレートTpと、一つの共通テンプレートTcと、が被認証者候補像Icに対して配置される。ここでは、図10(d)が、重心位置Hc1に個別テンプレートTpを配置し、重心位置Hc2に共通テンプレートTcを配置するパターンを示しており、図10(e)はこの逆の配置パターンを示している。なお、これらの図においては、斜線部が残差領域を、横線部がはみ出し領域を、縦線部が重複領域を、それぞれ表している。ここで、個別テンプレートTpの形状は認証対象者ごとに固定されているが、共通テンプレートTcは監視画像内の位置によってその形状が変化する。そのため、図10(d)と図10(e)とでは共通テンプレートTcを配置する位置によってその形状が違っている。また、前述したように配置パターン選択の際に個別テンプレートTpを配置する頭部領域より認証用情報受け入れ部21に近い位置の頭部領域には共通テンプレートTcを配置しないこととすると、図10(e)に示す配置パターンは配置誤差算出の対象から除外されることとなる。
この例では、4つの配置パターンそれぞれについて、配置誤差が算出される。その結果、図10(d)に示す配置パターンの配置誤差が最も小さいと判定され、その結果被認証者候補像Icには二人の人物が含まれており、このうち頭部領域H1に対応する人物が被認証者Paであると判定される。
ここで、図8のフローにおけるS30の分割処理の具体例について、説明する。図10(d)にも例示されるように、人数判定処理によって決定された、実際の人物の配置を示す配置パターンにおいては、複数のテンプレートが重なり合う部分が生じている場合がある。このような場合、人物像分割手段36は、例えば監視画像の中心点までの距離が近いテンプレートを優先して切り出すことによって、複数のテンプレートが重なり合う部分については、監視画像の中心点までの距離が近い方のテンプレートに属する部分として扱う。こうすれば、実際の人物像の重なり合いを反映して各人物像を分離できる可能性が高くなる。具体例として、図10(d)に示される配置パターンが実際の配置を示す配置パターンとして選択され、このうち個別テンプレートTpの方が監視画像の中心点までの距離が近いものとする。この場合、人物像分割手段36は、まず個別テンプレートTpと被認証者候補像Icとが重なり合う領域を、被認証者像Iaとして分離する。そして、被認証者像Iaが分離された後の被認証者候補像Icと、共通テンプレートTcと、が重なり合う領域を、もう一人の人物を示す人物像として分離する。これによって、被認証者候補像Icが二つの人物像に分割され、それぞれを追跡手段37による移動経路の追跡処理の対象とすることができる。
なお、これまで説明した処理の流れの具体例においては、被認証者候補像Icだけを人数判定処理及び分割処理の対象としている。しかしながら、人物像抽出手段31によって抽出された他の人物像についても、共通テンプレートTcを用いた人数判定処理及び分割処理の対象としてもよい。
以上説明した本実施の形態によれば、監視装置1は、認証の対象となる認証対象者ごとに予め記憶された個別テンプレートTpのうち、認証装置10によって被認証者Paであると特定された認証対象者のテンプレートTpと、被認証者候補像Icとを比較することによって、被認証者Paの体格差を考慮して、被認証者候補像Icの中に被認証者Pa以外の人物が含まれているか否かを判定することができる。
なお、本発明の実施の形態は、以上説明したものに限られない。例えば、以上の説明では、個別テンプレートTpだけを配置した場合の配置誤差と、個別テンプレートTp及び1又は複数の共通テンプレートTcを配置した場合の配置誤差と、をそれぞれ算出し、比較することによって、被認証者候補像Icに含まれる人数を判定する処理の例について説明したが、これに限らず、例えば共通テンプレートTcを使わずに人数判定を行ってもよい。具体例として、人数判定手段35は、個別テンプレートTpを配置した際の配置誤差を算出し、その値が一人分の人物の占める面積に応じて予め定められた閾値を超える場合に、被認証者候補像Icに複数の人物が含まれると判定してもよい。この場合にも、認証対象者ごとに異なる大きさの個別テンプレートTpを用いて配置誤差を算出しているので、認証対象者の体格の違いを考慮して人数判定を行うことができる。この場合、個別テンプレートTpを配置する位置は、認証用情報受け入れ部21の位置に近い位置に検出された頭部領域に限定することとしてもよい。
また、以上の説明においては、個別テンプレートTp及び共通テンプレートTcは、いずれも楕円の形状を示すデータであることとしたが、これ以外の形状であってもよい。例えば、テンプレート登録手段34は、人物像抽出手段31によって抽出され、被認証者候補像特定手段33によって被認証者候補像Icとして特定された人物像の形状そのものを、個別テンプレートTpとして登録してもよい。また、監視装置1は、監視画像から抽出された人物像によらずに予め生成されたテンプレートを、個別テンプレートTpとして記憶してもよい。例えば様々な身長に応じたテンプレートを予め用意し、身長のパラメタと関連付けて記憶部12に記憶しておく。そして、認証対象者の身長を入力することによって、当該入力された身長の値と関連付けて記憶されているテンプレートを、当該認証対象者の個別テンプレートTpとして利用することとしてもよい。あるいは、3段階程度の大きさの異なる複数のテンプレートを予め用意しておき、その中から認証対象者ごとに個別テンプレートTpとして利用するテンプレートを選択することとしてもよい。
また、以上の説明においては、異常判定手段38が異常を判定した場合、異常信号を出力部16に対して出力することによって、例えば警告音を鳴らしたり監視センタへの通報を行ったりすることとしたが、これ以外にも例えば監視画像撮像部13によって撮像された監視画像の録画処理にこの異常判定手段38の判定結果が用いられることとしてもよい。具体例として、異常判定手段38によって異常が検知された場合、監視装置1に接続された録画装置の動作を開始させる制御を行う。これにより、異常が発生した可能性のあるタイミングで監視画像の録画を行うことができる。あるいは、常時監視画像の録画を行っている場合でも、異常判定手段38により異常が検知された時点で撮像された画像に対して、マーカーを関連付けて記録することとしてもよい。これにより、異常が検知された時点の画像を後から容易に検索することができる。
1 監視装置、10 認証装置、11 制御部、12 記憶部、13 監視画像撮像部、14 認証信号受信部、15 操作部、16 出力部、21 認証用情報受け入れ部、22 認証情報記憶部、23 認証処理部、24 認証信号送信部、31 人物像抽出手段、32 頭部検出手段、33 被認証者候補像特定手段、34 テンプレート登録手段、35 人数判定手段、36 人物像分割手段、37 追跡手段、38 異常判定手段。