JP2012212968A - 画像監視装置 - Google Patents

Abstract

【課題】 頭部領域の数を用いて複数人で現れる強盗などの不審者を検出する場合に、肩部など誤検出要因の影響を低減した画像監視装置を提供する。
【解決手段】 監視空間における非常事態を検出する画像監視装置であって、周期的に前記監視空間を撮像して監視画像を取得する撮像部と、前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部と、前記入力頭部領域の数に基づき前記監視空間内の人数を検出する人数検出部と、前記検出した人数が所定人数以上であれば非常事態と判定する非常判定部と、を備え、前記人数検出部は、前記頭部抽出部にて抽出された入力頭部領域について所定距離以内に他の入力頭部領域が存在する場合、何れか一方の領域をカウントフラグ無効とし、当該カウントフラグが無効に設定されていない入力頭部領域に基づき前記監視空間内の人数を検出する。


【選択図】 図３

Description

本発明は、重要監視物の周辺など監視空間に存在する人数を検出して強盗等の非常事態が発生しているか否かを監視する画像監視装置に関し、特に、人数の誤検出を防止した画像監視装置の提供を目的とする。

従来、撮像装置より入力される画像から監視空間における強盗等の非常事態を検出して、自動的に外部に通報出力するような画像監視装置が知られている。一般に、強盗などの不審者は、監視区域を制圧して金品の強奪を図ることを目的としており、この成功確率が高くなるよう複数人で現れることが多い。従って、画像監視装置において、このような複数人で現れる強盗などの不審者を検出する場合には、画像中から人物の数を計数する必要がある。

ここで、画像から人物の数を計数するためには、画像中に存在する「顔」の数を計数することが有効であるが、「顔」の画像を抽出して人数を計数しようとすると、「顔」が良好に撮像できない（例えば横向きや後ろ向きの）人物を正しく計数することができない場合がある。また、強盗などの不審者は、目出し帽やフルフェイスヘルメットにより素顔を隠していることが多く、目鼻口といった顔の特徴部位が抽出できない場合があるために、「顔」であることの判定ができず人数計数することは困難となる。
つまり、「顔」を用いた人数計数では、様々な顔向きの人物や顔を隠した人物が混在する監視カメラ映像などにおいて正確に人数計測することは困難であった。

そこで、「顔」ではなく頭部そのものの形状を画像上で抽出する技術として、例えば特許文献１が知られている。特許文献１には、人物の存在を判定するために、人物の頭部をほぼ楕円とみなして、楕円形状に類した領域として人体の頭部領域を抽出する技術が開示されている。特許文献１では、入力画像からエッジ画像を生成して、エッジ画像上で楕円テンプレートによるマッチング処理を行うことにより、エッジ形状が略楕円形状となる領域を人体の頭部領域として抽出している。

特開２０１０−１８６２７４号公報

特許文献１のように、頭部領域を用いて人体検出を行うことで、様々な顔向きの人物や顔を隠した人物であっても、その存在を検出することができ、人数計数が可能となる。
しかしながら、楕円領域として人体の頭部を抽出し、これを画像中の人物数として計数しようとすると次のような問題が発生する。
すなわち、楕円形状のエッジにより頭部領域を抽出しようとすると、衣類のステッチや皺などにより生じた楕円に類する形状が頭部領域として抽出される可能性があり、人数検出を誤るおそれがある。

この問題について、図６を用いて具体的に説明する。図６は、ある時点における撮像装置からの入力画像を示している。入力画像には斜め前方を向いて腕組みをした人物が撮像されている。この場合において、楕円形状のエッジにより頭部領域を抽出すると、図中に点線で示したように、人物の頭部の他、側面から見た肩部のステッチと曲げた肘の縁部において楕円形状のエッジが検出され、３つの頭部領域が抽出され得る。
したがって、この場合に頭部領域の数により人数計測すると、画像中には１人の人物しか含まれないにも拘らず、誤って３人と計測されてしまうのである。

本発明は、かかる課題を解決することを目的としたものであり、頭部領域の数を用いて複数人で現れる強盗などの不審者を検出する場合に、肩部など誤検出要因の影響を低減した画像監視装置の提供を目的とする。

上記の目的を達成するために本発明による画像監視装置は、監視空間における非常事態を検出する画像監視装置であって、周期的に前記監視空間を撮像して監視画像を取得する撮像部と、前記監視画像から人物の頭部形状に類似した入力頭部領域を抽出する頭部抽出部と、前記入力頭部領域の数に基づき前記監視空間内の人数を検出する人数検出部と、前記検出した人数が所定人数以上であれば非常事態と判定する非常判定部と、を備え、前記人数検出部は、前記頭部抽出部にて抽出された入力頭部領域について所定距離以内に他の入力頭部領域が存在する場合、何れかの領域をカウントフラグ無効とし、当該カウントフラグが無効に設定されていない入力頭部領域に基づき前記監視空間内の人数を検出することを特徴とした。

かかる構成において、画像監視装置は、監視画像から人物の頭部に相当する入力頭部領域を抽出し、この入力頭部領域について所定距離以内に位置する他の入力頭部領域が存在するか調べる。そして、当該他の入力頭部領域が存在すると、所定規則により何れかの入力頭部領域についてカウントフラグを無効に設定し、カウントフラグが無効でない入力頭部領域のみに基づいて人数を検出する。すなわち、画像監視装置は、入力頭部領域間の距離が所定距離以内となる複数の入力頭部領域については、何れかの入力頭部領域についてのみ計数を有効として人数を検出するように作用する。

衣類のステッチや皺などにより生じた楕円に類する形状が誤って頭部領域として抽出された場合、これら誤った頭部領域と真正の頭部領域（人物の頭部）とは一定の近接した位置関係にあることとなる。そこで、かかる画像監視装置では、一定の近接した位置関係にある頭部領域について、全てを計数するのではなく、その内何れかの頭部領域についてのみ計数を有効とすることで、同じ人物について誤った頭部領域と真正の頭部領域とで重複して人数計数されることを防止して、人数計数の精度を向上させることが可能となる。

また、本発明の画像監視装置において、前記人数検出部は、前記入力頭部領域と前記他の入力頭部領域とにおいて、相対的に下方に位置する領域をカウントフラグ無効とするようにしてもよい。

衣類のステッチや皺などにより生じた楕円に類する形状は、真正の頭部領域（人物の頭部）より下方の着衣部分にて検出され得ることとなる。そこで、かかる構成によれば、近接した位置関係にある頭部領域について、相対的に上方に位置する頭部領域についてのみ計数を有効とすることで、真の頭部を抽出して人数計数の精度及び頭部領域の抽出精度を向上させることが可能となる。

さらに、本発明の画像監視装置において、前記人数検出部は、前記入力頭部領域から所定距離以内であり、且つ当該入力頭部領域との面積差が所定範囲内の前記他の入力頭部領域を比較対象とし、前記相対的に下方に位置する領域をカウントフラグ無効とするようにしてもよい。

水平方向を奥行き方向として監視画像を撮影した場合、画像中の同じ人物に着目すると頭部と着衣の肩部や肘部などの面積差異は少ない。一方で、この人物と画像中において奥行き方向（遠近方向）に離れた他の人物とを比較すると頭部同士の大きさや肩部肘部同士の大きさは異なってくる。そこで、かかる構成によれば、近接した位置関係にある頭部領域について、面積差が一定範囲のものを比較対象として計数の有効無効を判定することで、別人の頭部と比較されることを防いで同一人物について抽出された領域の中から真の頭部を抽出することが可能となる。これにより、人数計数の精度及び頭部領域の抽出精度を向上させることが可能となる。

さらに、本発明の画像監視装置において、さらに、前記監視画像を過去の画像と比較して変動領域を抽出する変動領域抽出部を備え、前記人数検出部は、前記入力頭部領域について、所定距離以内であり且つ同一の変動領域内に、前記他の入力頭部領域が存在するかを判定するようにしてもよい。

かかる構成によれば、近接した位置関係にある頭部領域について、同一の変動領域として抽出されているものを比較対象として計数の有効無効を判定することで、別人の頭部と比較されることを防いで同一人物について抽出された領域の中から真の頭部を抽出することが可能となり、人数計数の精度及び頭部領域の抽出精度を向上させることが可能となる。

また、本発明の画像監視装置において、さらに、予め人物の顔特徴情報を記憶する記憶部と、前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部とを備え、前記人数検出部は、前記顔特徴判定部にて顔特徴有りと判定された前記入力頭部領域については前記カウントフラグを無効としないようにしてもよい。

かかる構成によれば、抽出された頭部領域について人物の顔らしさを判別することで、顔らしいと判定された頭部領域が計数無効に設定されることを防止して、人数計数の精度及び頭部領域の抽出精度を向上させることが可能となる。

本発明によれば、頭部領域の数により人数を計数する場合に、一定の近接した位置関係にある頭部領域について全てを計数するのではなく、その内何れかの頭部領域についてのみ計数を有効とすることが可能となる。
これにより、衣類のステッチや皺などにより生じた楕円に類する形状が誤って頭部領域として抽出された場合であっても、同じ人物について誤った頭部領域と真正の頭部領域とで重複して人数計数されることを防止することが可能となる。

本発明の画像監視装置による監視システムの全体構成を示す概略図である。 本発明の画像監視装置の構成を示すブロック図である。 本発明の画像監視装置の人数検出処理を模式的に示した図である。 本発明の画像監視装置の不審者監視処理を示すフローチャートである。 本発明の画像監視装置の人数検出処理を示すフローチャートである。 背景技術における頭部領域抽出の状態を示す概略図である。

以下、本発明の実施形態について、図面を参照して具体的に説明する。
本実施形態では、監視区域（監視空間）として金融機関や商店などの事務所エリアにおける重要監視物周辺を監視する場合を例示するが、本発明の範囲はこれに限定されるものではなく、事務所室内全域や街頭などを監視区域として監視するよう用いられてよい。

図１は、本発明の画像監視装置を用いた監視システム１を示す構成図である。
図１は、重要監視物として金庫など内部に収納空間を有した保管庫２及び画像監視装置３が設置された監視区域を模式的に示している。図１に示すように、本実施形態の監視システム１は、監視区域の床面に固定設置された保管庫２の上部に載置される監視装置３と、遠隔の監視センタ５とを、通信回線網４を介して接続して構成されている。

画像監視装置３の筐体には、撮像部としての監視カメラ３１が保管庫扉と同方向に向いて配置されている。監視カメラ３１は、保管庫扉の前方を撮像視野として保管庫２まで接近してくる人物が撮像可能に配置される。
なお、監視カメラ３１は画像監視装置３の筐体に内蔵される例に限らず、少なくとも監視区域内の人物が撮像可能に保管庫２の上部空間や背後壁面などに別途監視カメラが設置され、画像監視装置３と接続される構成としてもよい。また、画像監視装置３も、保管庫２の上部に載置される例に限らず、保管庫２の上部空間や背後壁面などに設定されてよい。

監視カメラ３１は、所定の撮影間隔（例えば０．２秒）毎に監視区域を撮像して監視画像としての画像データを生成して出力する。画像監視装置３は、監視カメラ３１から出力される情報を基に、周期的に撮像される画像データを参照して保管庫２の周辺に不審者による非常事態が発生しているか否かを判定する。

本実施形態において、非常事態とは、強盗など監視区域の保全を損うおそれがあることをいい、具体的には、保管庫の周辺に予め定めた規定以上の人数が存在することである。 一般に、強盗などの不審者は、監視区域を制圧して金品の強奪を図ることを目的としており、この成功確率が高くなるよう複数人で現れることが多い。また、保管庫の解錠権限を持った利用者を脅すなどの行為により、利用者を含む複数人として保管庫周辺に存在することもある。そこで、本実施形態では、保管庫の周辺に予め定めた規定以上の人数が存在することを検出すると、不審者が存在すると判定して非常事態が発生と判定する。

特に、本実施形態で特徴的な事項として、画像監視装置３は、画像データから人数を検出するにあたり、人物の頭部形状に類似した頭部領域を抽出するとともに、複数の頭部領域の位置関係などから計数無効とするか否か評価した上で適切な頭部領域の計数を行う。そして、計数された頭部領域の数を監視区域の人数とみなして規定以上の人数が存在するか否か判定する。規定以上の人数が存在した場合、画像監視装置３は、不審者による非常事態が発生していると判定して、監視区域で非常事態が発生していることを示す非常信号と不審者の検出に用いた画像データを遠隔の監視センタ５に送信する。

監視センタ５は、警備会社などが運営するセンタ装置５１を備えた施設である。センタ装置５１は、１又は複数のコンピュータで構成されており、本発明に関連する監視センタ５の機能を実現する。監視センタ５では、センタ装置５１により各種機器が制御され、画像監視装置３から受信した非常信号を記録するとともに、画像監視装置３から送信される画像データをディスプレイ５２に表示することで、監視員が監視対象となる複数の監視区域を監視している。

＜画像監視装置＞
次に、図２を用いて画像監視装置３の構成について説明する。図２は、画像監視装置３の構成を示すブロック図である。
画像監視装置３は、監視センタ５と通信可能に通信回線網４と接続されて、保管庫２の上部に固定載置されている。

画像監視装置３は、保管庫前方を撮影する監視カメラ３１と、通信回線網４と接続される通信部３２と、ＨＤＤやメモリなどで構成される記憶部３３と、ＭＰＵやマイコンなどで構成され各部の制御を行う制御部３４とを有して概略構成される。

監視カメラ３１は、保管庫前方を含む監視区域の監視画像を生成する。監視カメラ３１は、撮像素子から入力される画像信号を所定の撮影間隔（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））でデジタル信号に変換し、圧縮符号化処理を行い所定の規格（例えばＪＰＥＧ規格）に準拠した画像データを生成する。画像の撮像に用いる波長帯としては、カラー画像が撮像可能な可視光波長を用いる。監視カメラ３１により生成された画像データは、制御部３４に出力される。

通信部３２は、通信回線網４を介してセンタ装置５１と接続されて監視センタ５との間で通信を行う。通信部３２は、制御部３４にて監視区域内に不審者が存在すると判定されると、自己のアドレス情報を含む非常信号および記憶部３３に記憶された画像データを監視センタ５に送信する。

記憶部３３は、ＲＯＭやＲＡＭ、又はＨＤＤにて構成され自己を特定するためのアドレス情報と各種プログラムなどを記憶しており、更に画像監視装置３を動作させるための各種情報を記憶する。具体的に、記憶部３３は、移動物体を抽出するための背景情報となる基準画像と、予め取得した様々な顔画像の特徴情報を記憶した顔特徴情報と、不審者の存在が判定された際の画像を記憶する不審者画像と、頭部領域ごとに人数計数の対象とするか否かを示したカウントフラグとを記憶している。

基準画像は、後述する変動領域抽出処理にて、監視カメラ３１から入力される画像データ（以下、入力画像ともいう）と比較して監視区域内の移動物体を抽出するために用いられる比較基準情報であり、予め無人時の監視区域を撮像して取得された画像データである。

顔特徴情報は、人物の顔画像を判定するための特徴情報として、予め男女様々な人物の顔を多方向から撮像した顔画像について、顔全体及び目や鼻、口など各部位の輝度パターンを顔の特徴情報として記憶している。また、顔特徴情報に記憶される顔画像の輝度パターンは、素顔の人物の顔画像のみでなく、サングラスをした人物、マスクをした人物、手で顔を隠した人物、目出し帽を被った人物、フルフェイスヘルメットを被った人物など、不審者として予め想定される人物の顔や頭部の画像情報も含み、これら多様な顔画像について入力元となる顔画像の属性と対応づけられて輝度パターンが記憶される。顔画像の属性とは、顔を隠蔽していない「素顔」、及び顔を隠蔽した状態として「サングラス+マスク」、「手」、「目出し帽」、「フルフェイス」、など入力元の顔画像の状態を示す情報である。

不審者画像は、制御部３４による非常判定処理により現在の画像データに不審者が含まれる（許容人数以上が存在する）と判定された際にこの画像データを記憶するものである。
カウントフラグは、頭部領域の固有ラベルごとに設定され、制御部３４により人数検出処理により用いられるフラグ情報である。カウントフラグの詳細については後述する。

制御部３４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータ及びその周辺回路で構成され、上述した各部を制御する。そのために、制御部３４は、このマイクロコンピュータ及びマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、入力画像中の人物領域を抽出する変動領域抽出部３４１と、入力画像から入力頭部領域として人物の頭部領域を抽出する頭部抽出部３４２と、入力画像中の頭部領域が顔の特徴情報を有した頭部であるか判定する顔特徴判定部３４３と、入力画像中の頭部領域に基づき人数を検出する人数検出部３４４と、監視区域内に不審者による非常事態が発生しているか否かを判定する非常判定部３４５と、を備えている。

変動領域抽出部３４１は、入力画像に画像処理を施して移動物体となる人物を検出する。変動領域抽出部３４１は、入力画像と記憶部３３に記憶された基準画像とを比較して、輝度値の変動が所定以上であった変動画素を抽出するとともに、略連続した変動画素群を１つの変動領域としてグループ化する。

頭部抽出部３４２は、変動領域抽出部が抽出した変動領域の内部において入力頭部領域として人物の頭部部分の領域を抽出する。頭部抽出部３４２は、変動領域のエッジ成分を抽出し、エッジ画像データにおいて顔の輪郭形状に近似した楕円形状のエッジ分布を検出して、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出する。かかる頭部領域の抽出処理については本出願人による特開２００５−２５５６８号公報や特開２０１０−２８６２７４号公報に記載された種々の方法を採用することができる。

具体的には、頭部抽出部３４２は、Ｓｏｂｅｌフィルターなど公知のエッジ抽出フィルターを入力画像の変動領域に作用させてエッジ強度とエッジ角度（水平を基準としたエッジ方向）を求めてエッジ強度画像とエッジ角度画像を生成する。そして、頭部抽出部３４２は、予め記憶した大きさの異なる複数の楕円テンプレートを用いてエッジ強度画像及びエッジ角度画像上にてずらしマッチングを行い、楕円テンプレートとエッジ成分との類似度を求め、この類似度が高い位置を人物の頭部領域として抽出し、各頭部領域に固有のラベルでラベリングする。

なお、頭部領域の抽出手法はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、HOG（Histograms of Oriented Gradients）特徴量を用いて頭部領域を抽出してもよい。この場合、変動領域を構成する複数のセル毎に輝度の勾配方向ヒストグラムを求めて９次元の特徴量ベクトルを得て、複数セルによるブロック領域においてセルの特徴量ベクトルを正規化する。そして、ブロック領域毎に多次元の特徴量ベクトルを得てこれを予め学習した頭部形状の特徴量と比較することで頭部領域を抽出する。HOG特徴量の参考文献として、N. Dalal and
B. Triggs, "Histograms of oriented gradients for
human detection", Proc. of IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), pp.886-893, 2005などがある。

顔特徴判定部３４３は、頭部抽出部３４２にて抽出された頭部領域が、素顔の顔画像、又はサングラスやマスク或いは手などで顔を覆ったり、フルフェイスのヘルメット等の装着により顔の一部分や全部分を隠して人相が分らない（顔の特徴情報がない）顔画像であるか否かを判定する。
顔特徴判定部３４３は、入力画像において、抽出された頭部領域を複数の矩形領域に分割し、各分割矩形領域毎、及び隣接する分割矩形領域を統合したブロック毎に顔特徴情報に記憶した顔画像の輝度パターンとのパターンマッチングを行う。そして、類似度が高く算出された輝度パターンの属性から、固有ラベルが付された頭部領域毎に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。

例えば、目鼻口など顔の特徴部位（特徴情報）が抽出できれば顔を隠蔽していない「素顔」な属性の顔画像と判定され、目鼻口など顔の特徴部位が抽出できず頭部領域の垂直方向中央に暗い画素が集中し垂直方向下方に明るい画素が集中している場合には顔を隠蔽した状態として「サングラス＋マスク」属性の顔画像と判定され、また、目鼻口など顔の特徴部位が抽出できず頭部領域内にエッジが少なくのっぺりとしている場合には顔を隠蔽した状態として「フルフェイス」属性の顔画像と判定される。また、顔特徴情報に記憶した何れのパターンとも高い類似度が得られない場合、当該頭部領域は人体の頭部でない（顔画像が含まれない）と判定される。
顔特徴判定部３４３の識別結果は入力画像及び頭部領域の固有ラベルに対応付けて記憶部３３上の作業領域に記憶される。

なお、顔特徴判定部３４３による顔画像の判別処理はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、Haar-like特徴を用いたAdaboost識別器により、頭部領域がどの属性の顔画像であるかを判定してもよい。Haar-like特徴は、入力画像の頭部領域中に任意に設定された複数の隣接した分割矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて頭部領域に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。各弱識別器は、顔特徴情報に記憶した顔画像のHaar-like特徴を学習して生成され、その際に合わせて顔画像の属性も取得する。Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a
Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。

人数検出部３４４は、固有ラベルが付された頭部領域について、複数の頭部領域間の位置関係などから評価を行い適切な頭部領域を計数する。
衣類のステッチや皺などにより生じた楕円に類する形状が、誤って頭部領域として抽出された場合、これら誤った頭部領域は真正な頭部領域（人物の頭部）より下方の着衣部分にて検出され得ることとなる。そこで、人数検出部３４４は、頭部領域間の距離を調べ、一定の距離範囲に存在する複数の頭部領域について、最も上方に位置するもののみを有効とし、下方に位置する他の頭部領域を計数無効として頭部領域の数を計数する。この際、近接した距離範囲に他の頭部領域が存在しない孤立した頭部領域については、有効として計数を行う。

具体的には、人数検出部３４４は、入力画像中の何れかの頭部領域に注目（注目頭部領域）し、その重心位置から上下左右所定距離となる探索領域を設定して、探索領域内に注目領域と同じ変動領域より抽出された他の頭部領域が存在するか判定する。探索領域の大きさは、注目頭部領域の大きさに応じて設定され、例えば注目頭部領域の幅Ｗ・高さＨとした場合３Ｗ・３Ｈのサイズの矩形領域として設定される。そして、探索領域内に重心位置が含まれる他の頭部領域（比較頭部領域）が存在すると、この比較頭部領域の面積と注目頭部領域との比較を行い、面積の差が所定範囲内（例えば比較頭部領域の面積が注目頭部領域の面積の70％〜130％範囲内）か否か判定する。
これは、本実施形態のように水平方向を奥行き方向として監視画像を撮影する場合、同一人物であれば、頭部と誤検出要因としての着衣の肩部や肘部などとの面積差が少ないという知見に基づいている。一方で、画像中において奥行き方向（遠近方向）に離れた人物同士であれば例え画像中に一つの変動領域に重なって現れたとしても頭部の大きさは異なることとなる。

そして、人数検出部３４４は、注目頭部領域と比較頭部領域の重心位置座標を比較して垂直方向で下方に位置する何れかの頭部領域についてカウントフラグを「無効」に設定する。更に詳細に説明すると、人数検出部３４４は、下方に位置する何れかの頭部領域について、記憶部３３に記憶されている顔特徴判定部３４３の識別結果を参照し、顔画像が含まれていないと識別されていれば、当該頭部領域についてカウントフラグを「無効」に設定し、顔特徴判定部３４３による顔画像が含まれていると判定されていればカウントフラグを「無効」に設定しない。

カウントフラグは、頭部領域の計数の対象であるか否かを示すフラグ情報であり、頭部領域の固有ラベルに対応付けて記憶部３３に記憶される。カウントフラグは、頭部抽出部３４２により頭部領域が抽出され固有ラベルが付されたときに初期値を「有効」として生成される。カウントラベルの値が「有効」であれば頭部領域の計数対象であり、「無効」であれば頭部領域の計数対象外となる。
人数検出部３４４は、カウントフラグが有効に設定された頭部領域の数を計数し、監視区域に存在する人数として出力する。

非常判定部３４５は、人数検出部３４４の検出した人数が予め設定された許容人数を超えているか否かを判定する。許容人数は、監視区域内に存在を許容する（異常でない）上限人数であり、監視区域ごとに予め設定されて記憶部３３に記憶されている。本実施形態では、許容人数は例えば２人に設定されている。非常判定部３４５は、人数検出部３４４が検出した人数と当該監視領域の許容人数とを比較し、検出人数の方が上回っていれば不審者が存在し非常事態が発生していると判定する。

そして、非常判定部３４５は、入力画像から不審者が存在する非常事態と判定すると、自己のアドレス情報を含む非常信号を生成し、不審者の存在を判定した画像データを付して通信部３２に出力し、通信部３２より監視センタ５に送信する。またこのとき、不審者の存在を判定した画像データを不審者画像として記憶部３３に記憶する。

＜動作の説明＞
以上のように構成された監視システム１について、図面を参照してその動作を説明する。まず、図３を用いて画像監視装置３の処理概要について説明する。図３は画像監視装置３による人数検出処理を模式的に示した図である。

画像監視装置３において、監視カメラ３１が所定間隔（例えば０．２秒）ごとに画像データを取得し、制御部３４に入力する。監視カメラ３１より画像データ（入力画像）が入力されると、変動領域抽出部３４１は、図３（ａ）に示すように、記憶部３３の基準画像と入力画像との差分を算出して変動領域１０、１１、１２を抽出する。次に、頭部抽出部３４２は、変動領域の内部において楕円形状のエッジ分布を検出して、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出し、各頭部領域に固有のラベルでラベリングする。図３（ａ）では、頭部領域としてｆ１〜ｆ５の５つの領域が抽出されている。またこのとき、頭部領域ｆ１〜ｆ５についてカウントフラグが生成され初期値として「有効」が記憶される。

次に、顔特徴判定部３４３は、図３（ｂ）に示すように、抽出された頭部領域と記憶部に記憶された顔特徴情報とのパターンマッチングを行い、算出された類似度が高い輝度パターンの属性を読み出して、固有ラベルが付された頭部領域ごとに何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。図３（ｂ）では、頭部領域ｆ１は「素顔」と判定され、ｆ２及びｆ３は顔画像が含まれないと判定され、ｆ４は「素顔」と判定され、そしてｆ５は「フルフェイス」と判定される例を示している。

そして、人数検出部３４４は、図３（ｃ）に示すように、各頭部領域に注目して探索領域を設定し、探索領域内に同じ変動領域から抽出された他の頭部領域（比較頭部領域）が存在するかを調べる。図３（ｃ）では、頭部領域ｆ１を注目頭部領域として、探索領域Ａ１が設定されている。この場合、探索領域Ａ１内には注目頭部領域ｆ１と同じ変動領域１０から抽出された頭部領域ｆ２の重心位置が含まれるので、頭部領域ｆ２が比較頭部領域となる。続いて人数検出部３４４は、比較頭部領域ｆ２の面積が注目頭部領域ｆ１の面積に対して所定範囲内（例えば注目頭部領域の70％〜130％）であるかを調べ、これを満たしていれば注目頭部領域ｆ１と比較頭部領域ｆ２において、より下方に位置する比較頭部領域ｆ２のカウントフラグが「無効」に設定される。なお、このとき、顔特徴判定部３４３により比較頭部領域ｆ２に顔画像が含まれていると判定されていた場合にはカウントフラグは無効に設定されない。

人数検出部３４４は、かかる判定処理を各頭部領域について順次実行する。図３（ｃ）の例では、頭部領域ｆ２に注目した処理にて頭部領域ｆ３のカウントフラグが「無効」に設定され、頭部領域ｆ４に注目した処理では比較頭部領域が見つからずカウントフラグが変更されず、頭部領域ｆ５に注目した処理でも比較頭部領域が見つからないためカウントフラグは変更されない。そして、人数検出部３４４は、各頭部領域について判定処理が終了すると、カウントフラグ「有効」となっている頭部領域の数を計数し、監視区域の人数として出力する。図３（ｃ）の例では、頭部領域ｆ１、ｆ４、ｆ５が有効であり、人数が３人と出力される。そして、非常判定部３４５は、許容人数２人に対し検出人数が３人であるため不審者が存在すると判定して監視センタ５に通報を行う。

次に、図４、図５を用いて、画像監視装置３による不審者監視処理の動作について説明する。図４は、画像監視装置３の制御部３４にて繰り返し実行される監視プログラムの動作を示すフローチャートである。
画像監視装置３は、所定周期（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））ごとに監視カメラ３１が撮像した画像データの出力を受け付けて制御部３４に入力する（ステップＳＴ１）。変動領域抽出部３４１は、入力画像と記憶部３３の基準画像との差分を算出して変動領域を抽出する（ステップＳＴ２）。変動領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。

ステップＳＴ３において、頭部抽出部３４２は、変動領域抽出部３４１が抽出した変動領域から人物の頭部領域を抽出する。抽出された頭部領域には固有のラベルが付されラベリングされる。このとき、頭部領域ごとの固有ラベルに対応してカウントフラグが生成され初期値として「有効」が記憶される。頭部領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。次に、顔特徴判定部３４３により、抽出された頭部領域と記憶部３３に記憶された顔特徴情報とのパターンマッチングが行われ、何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果が頭部領域の固有ラベルに対応して出力される（ステップＳＴ４）。

そして、ステップＳＴ５において、人数検出部３４４は複数の頭部領域間の位置関係などから評価を行い適切な頭部領域の数を人数として計数する。人数検出処理については後述する。

非常判定部３４５は、人数検出部３４４による検出人数と予め記憶した許容人数とを比較して、検出人数が許容人数よりも多い場合（ステップＳＴ６−Ｙｅｓ）、監視区域に不審者が存在し非常事態が発生と判定して（ステップＳＴ７）、不審者の存在を判定した画像データと共に自己のアドレス情報を含む非常信号を通信部３２より送信する（ステップＳＴ１２）。

以上に、画像監視装置３の基本的な動作について説明した。
次に、図４のステップＳＴ５における人数検出処理について図５を参照して説明する。図５は人数検出部３４４による人数検出処理のフローチャートである。図５において、人数検出部３４４は、入力画像から抽出された頭部領域の何れかに注目し注目頭部領域とし（ステップＳＴ２１）、注目頭部領域の重心位置を中心として所定範囲（例えば注目頭部領域の幅Ｗ・高さＨとした場合３Ｗ・３Ｈの範囲）の探索領域を設定する（ステップＳＴ２２）。

そして、探索領域内に他の頭部領域が存在するか探索し、存在していれば当該他の頭部領域を比較頭部領域とする（ステップＳＴ２３−Ｙｅｓ）。以下、１つの比較頭部領域が存在する例について説明するが、該当する他の頭部領域が複数検出されればこれら複数の頭部領域を比較頭部領域としてよい。ステップＳＴ２３において、探索領域内に他の頭部領域が存在しなければ（ステップＳＴ２３−Ｎｏ）、処理をステップＳＴ３２へと進めて別の頭部領域に注目するか判別する。これにより、画像中において、人物の頭部から一定距離以内に存在する衣類のステッチや皺などによる楕円領域を検出する。

このとき、他の頭部領域が注目頭部領域と同じ変動領域でなければ比較頭部領域から除外する（ステップＳＴ２４）。このように、同一の変動領域として抽出されている頭部領域同士を比較対象とすることで、ある人物の頭部が別の人物の頭部と比較されることを防いで同一人物について抽出された領域の中から真の頭部を抽出することが可能となる。

次に、ステップＳＴ２５において、人数検出部３４４は、注目頭部領域と比較頭部領域の面積を算出し、注目頭部領域の面積と比較頭部領域の面積との差が所定範囲内であるかを調べる。そして、比較頭部領域の面積が注目頭部領域の面積に対して所定範囲内（例えば注目頭部領域の70％〜130％）であれば（ステップＳＴ２６−Ｙｅｓ）、両者間の比較処理を継続する。かかる処理により、奥行き方向（遠近方向）に離れた人物同士が同じ変動領域として抽出された場合であっても、異なる人物の頭部同士を比較対象とすることを防いで同一人物について抽出された領域の中から真の頭部を抽出する。

続いて、人数検出部３４４は、注目頭部領域と比較頭部領域の何れが垂直方向下方に位置するかを判別する（ステップＳＴ２７）。何れが下方に位置するかは重心位置の比較により判別してよく、上端位置や下端位置の比較であってもよい。これにより、人物の頭部より下方の着衣部分にて検出され得る衣類のステッチや皺などにより生じた楕円形状の検出を行う。

ステップＳＴ２７において、比較頭部領域が下方に位置すると判定された場合（ステップＳＴ２７−Ｙｅｓ）、当該比較頭部領域の固有ラベルに対応した顔特徴判定部３４３の識別結果を参照して比較頭部領域内に顔画像が検出されたか否かを判定する（ステップＳＴ２８）。顔画像が検出されていなければ（ステップＳＴ２８−Ｎｏ）、この比較頭部領域の固有ラベルに対応したカウントフラグを「無効」に設定する（ステップＳＴ２９）。他方、ステップＳＴ２７において、注目頭部領域が下方に位置すると判定された場合（ステップＳＴ２７−Ｎｏ）、注目頭部領域内に顔画像が検出されたか否かが判定され、検出されていなければ（ステップＳＴ３０−Ｎｏ）、注目頭部領域の固有ラベルに対応したカウントフラグが「無効」に設定される（ステップＳＴ３１）。

そして、ステップＳＴ３２において、全ての頭部領域について注目したか判定され、未だ注目していない頭部領域が存在すれば（ステップＳＴ３２−Ｎｏ）、当該頭部領域に注目して処理が実行される。全ての頭部領域について注目した処理が終了すると（ステップＳＴ３２−Ｙｅｓ）、人数検出部３４４は、カウントフラグが「無効」となっていない頭部領域の数、即ちカウントフラグ「有効」の数を計数し、これを入力画像中の人数として出力する（ステップＳＴ３３）。

以上のように、人数検出部３４４は、入力画像に含まれる頭部領域について、所定距離以内に他の入力頭部領域が存在すると、所定規則に基づいて何れかの入力頭部領域についてカウントフラグを無効に設定し、カウントフラグが無効でない頭部領域のみに基づいて人数を検出する。

また、特に、所定距離以内にある頭部領域と比較した結果、相対的に下方に位置する頭部領域のカウントフラグを無効にする。さらに、これら頭部領域の比較では、面積差が一定範囲のものを比較対象として、面積差が大きな頭部領域は比較対象外として除外する。また更に、これら頭部領域の比較では、同一の変動領域から抽出された頭部領域のみを対象としている。また、顔らしいと判定された頭部領域については、カウントフラグを無効とする対象から除外している。

これにより、肩部や肘に顕著に現れる衣類のステッチや皺などにより生じた楕円形状が、誤って頭部領域として抽出された場合であっても、これらを頭部の数、即ち人数として計数することを防止して、画像中の人数を適切に計数することを可能としている。また、頭部領域の数を用いて人数計数を行うため、後頭部が撮影された利用者や素顔を隠した不審者が存在する場合であっても人数計数することが可能である。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

１ 監視システム
２ 保管庫
３ 画像監視装置
３１ 監視カメラ
３２ 通信部
３３ 記憶部
３４ 制御部
３４１変動領域抽出部
３４２頭部抽出部
３４３顔特徴判定部
３４４人数検出部
３４５非常判定部
４ 通信回線網
５ 監視センタ
５１ センタ装置
５２ ディスプレイ
１０、１１、１２ 変動領域
ｆ１、ｆ２、ｆ３、ｆ４、ｆ５ 頭部領域
Ａ１ 探索領域

Claims (5)

1. 監視空間における非常事態を検出する画像監視装置であって、
   周期的に前記監視空間を撮像して監視画像を取得する撮像部と、
   前記監視画像から人物の頭部形状に類似した入力頭部領域を抽出する頭部抽出部と、
   前記入力頭部領域の数に基づき前記監視空間内の人数を検出する人数検出部と、
   前記検出した人数が所定人数以上であれば非常事態と判定する非常判定部と、を備え、
   前記人数検出部は、
   前記頭部抽出部にて抽出された入力頭部領域について所定距離以内に他の入力頭部領域が存在する場合、何れかの領域をカウントフラグ無効とし、当該カウントフラグが無効に設定されていない入力頭部領域に基づき前記監視空間内の人数を検出することを特徴とする画像監視装置。
   
2. 前記人数検出部は、
   前記入力頭部領域と前記他の入力頭部領域とにおいて、相対的に下方に位置する領域をカウントフラグ無効とする請求項１に記載の画像監視装置。
   
3. 前記人数検出部は、
   前記入力頭部領域から所定距離以内であり、且つ当該入力頭部領域との面積差が所定範囲内の前記他の入力頭部領域を比較対象とし、前記相対的に下方に位置する領域をカウントフラグ無効とする請求項２に記載の画像監視装置。
   
4. さらに、
   前記監視画像を過去の画像と比較して変動領域を抽出する変動領域抽出部を備え、
   前記人数検出部は、
   前記入力頭部領域について、所定距離以内であり且つ同一の変動領域内に、前記他の入力頭部領域が存在するかを判定する請求項１から３の何れかに記載した画像監視装置。
   
5. さらに、
   予め人物の顔特徴情報を記憶する記憶部と、
   前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部とを備え、
   前記人数検出部は、
   前記顔特徴判定部にて顔特徴有りと判定された前記入力頭部領域については前記カウントフラグを無効としない請求項１から４の何れかに記載した画像監視装置。