JP2000099690A - 人物監視システム - Google Patents

Abstract

(57)【要約】 【課題】 システムを構成する各手段の応答性向上とコ
ストの削減、および伝送、蓄積効率の向上を目的とす
る。 【解決手段】 テレビカメラと中間サーバとサーバを具
備し、人物監視に最も基本的機能でかつリアルタイム処
理を要する人物抽出機能をテレビカメラ内蔵とし、それ
らテレビカメラからの抽出映像の最適性を評価する処理
は中間サーバ、および検索タグ付けなど処理時間は要す
るがリアルタイム性が必要でない処理はサーバに分担さ
せ、それぞれの間はデジタル化され要約された情報を伝
送することで、伝送、蓄積の応答性とコストの削減を可
能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、店舗、ＡＴＭ設
置施設やオフィス等において、侵入者を監視するための
人物監視システムに関する。

【０００２】

【従来の技術】店舗、ＡＴＭ設置施設やオフィスにおい
て、侵入者を監視するといった分野では、画像伝送によ
る方法、監視画像伝送による監視、監視画像のＶＴＲ記
録、画像処理認識による監視、及びそれらを組合せた手
法が使用されてきた。以下、これら手法について説明す
る。

【０００３】監視画像伝送による監視は、監視環境にア
ナログＩＴＶカメラを設置し、一般に離れた場所にある
監視センタまでアナログ画像を伝送し、センタに配備さ
れた監視員が常時監視画像をモニタするものである。

【０００４】この場合は一般に複数カメラからの画像を
伝送し、監視員はそれら画像表示を意識的に、又は一定
時間ごとに切替えて監視する。又画面の切替えの契機と
して、監視環境に設置された赤外線、超音波等の侵入セ
ンサからの侵入者検知信号を用いるものもある。又アナ
ログ画像のままではなく、ＪｐｅｇやＭｐｅｇによる圧
縮データに変換してから伝送するものがある。

【０００５】監視画像のＶＴＲ記録は、監視環境にアナ
ログＩＴＶカメラを設置し、離れた場所、又は監視環境
からは見えない場所に設置したＶＴＲ装置に一定間隔ご
とに画像を記録するものである。画像処理認識による監
視は、監視環境における画像の変化や画像中からの人物
候補領域の検出によって通報やＶＴＲの起動を行なうも
のである。

【０００６】

【発明が解決しようとする課題】上記したような従来技
術には以下に示す問題点がある。先ず監視画像伝送によ
る監視での問題は、処理の仕組みは単純であるが、アナ
ログ画像伝送を行なうために、専用伝送路の敷設、伝送
による信号劣化の保障としてのブースタの設置などの付
帯設備が必要となる。従ってこれら設備のためのコスト
が甚大であり、かつセンタにおいて監視員を常時配備し
ておく必要がある。

【０００７】一方、画像の圧縮データを伝送するシステ
ムでは上記に比べてデータが少ない、伝送による信号劣
化がない、などの理由からアナログ専用線ではなく一般
のデジタル回線を用いることが可能であるが、侵入イベ
ント以外の情報も多数伝送されるため、監視員の常時配
備の問題は解消されない。

【０００８】監視画像のＶＴＲ記録での問題を述べる
と、このシステムは基本的には、緊急通報とは別に侵入
者の映像を記録することで、後で状況推定や侵入者特定
のために利用するものであるが、一定間隔ごとの記録で
は実際に侵入イベントとして重要な映像を記録できない
場合がある。

【０００９】画像処理による監視での問題は、侵入者の
検出率が妥当であるならば、このシステムで侵入時のみ
に伝送や蓄積の処理が必要であるため、データ伝送、蓄
積のためのコストを全体的に低くすることが可能であ
る。又イベント発生時のみについて、伝送、蓄積された
画像を監視員が確認することで、常時配備の必要性が軽
減される。

【００１０】しかしイベントを検出した後で、伝送又は
蓄積された画像の性質が、監視員が確認するために良い
ものでは無い場合が多い。これは例えば、監視映像中の
人物領域に顔などの特徴的な部分がない、画像が小さす
ぎる、圧縮の影響で画質が劣化している等があげられ
る。

【００１１】従って本発明は、システムを構成する各手
段の応答性向上とコストの削減を目的とする。又、本発
明は人物画像の誤抽出可能性の低減と最適映像の検出を
目的とする。さらに本発明は、冗長映像の除去と負荷に
応じた動的処理分担によるさらなる伝送、蓄積効率の向
上を目的とする。

【００１２】

【課題を解決するための手段】上記応答性向上とコスト
の削減を達成するため、本発明の人物監視システムは、
人物監視に最も基本的機能でかつリアルタイム処理を要
する人物抽出機能をテレビカメラ内蔵とし、それらテレ
ビカメラからの抽出映像の最適性を評価する処理は中間
サーバ、および検索タグ付けなど処理時間は要するがリ
アルタイム性が必要でない処理はサーバに分担させ、そ
れぞれの間はデジタル化され要約された情報を伝送する
ことで、伝送、蓄積の応答性とコストの削減を可能とす
る。

【００１３】上記人物画像の誤抽出可能性の低減と最適
映像の検出を達成するため、本発明の人物監視システム
は、上記人物抽出機能において、人物候補領域抽出を行
なった後、その領域内に人物の特徴的部分（顔等）が写
っているかどうかを評価するため、誤って人物の侵入以
外のイベントを検出する頻度を低減させることが可能と
なる。又その際に抽出された人物特徴部分の画面内への
出現の仕方を用いて、その画像フレームが後の監視員に
よる確認に良いものなのかどうかを評価し、複数カメラ
の複数フレームから最適な画像系列を選択可能となる。

【００１４】上記冗長映像の除去と負荷に応じた動的処
理分担によるさらなる伝送、蓄積効率の向上を達成する
ために本発明の人物監視システムは、上記したように選
択された見え方として最適な画像のフレーム間での冗長
性を評価して、冗長フレームを除去することで、伝送、
蓄積量を低減させ、効率を向上することが可能である。

【００１５】又、侵入者の検出頻度や、伝送負荷に応じ
て各処理階層（カメラ、中間サーバ、サーバ）での処理
を自動的に再配置することによって監視システム全体と
しての伝送、蓄積効率を向上させることが可能となる。

【００１６】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態について詳細に説明する。以下の説明で
は、本システムを用いて、ある監視領域において侵入者
の監視を行なう装置について示す。

【００１７】先ず、この実施の形態の全体構成と処理の
概要を説明する。本発明による人物監視システムの全体
構成を図１に示す。このシステムは、人物抽出手段１、
中間サーバ手段２、サーバ手段３とからなり、人物抽出
手段１において入力動画像中から人物候補領域を抽出
し、中間サーバ手段２においてそのうち見え方の最適な
る画像を選択し、サーバ手段３において画像検索用のキ
ーの生成やｈｔｔｐ（ｈｙｐｅｒ ｔｅｘｔ ｔｒａｎ
ｓｆｅｒ ｐｒｏｔｏｃｏｌ）でのユーザインタフェー
スを提供する。そして各手段１，２，３は有線、又は無
線のディジタル通信によって接続される。

【００１８】したがって、一つ又は複数の人物抽出手段
１によって検出された入力画像内の人物候補領域に対し
て、人物抽出手段１又は中間サーバ手段２において人物
特徴のチェックと見え方最適なフレームの選択、および
カメラ（これは人物抽出手段１に相当）入力の選択を行
ない、サーバ手段３では、中間サーバ手段２から得られ
た最適な人物画像系列を一時的に蓄積し、その後、それ
ら画像系列の伝送を行なう。

【００１９】このとき、又例えば検出人物系列につい
て、その移動方向、色、動き方、参照人物画像との類似
度などの画像検索用キーを作成しておき、ユーザからの
要求にしたがって所望画像のみを伝送する処理も行な
う。

【００２０】以上で、人物抽出手段１と中間サーバ２、
中間サーバ手段２とサーバ手段３のそれぞれの間での伝
送路の状態、および対象人物の侵入イベント数などに応
じて適宜それぞれでの処理の分担範囲を変える。例えば
人物抽出手段１においては人物候補領域の抽出と確認を
行なうが、単位時間あたりのイベント数が多い場合に
は、人物候補の確認処理は比較的ラフなもののみを行な
い、後述する顔等の特徴部分による確認のように処理コ
ストの高いものは中間サーバ手段２に分担させる。

【００２１】以下に上記人物抽出手段１、中間サーバ手
段２、サーバ手段３の各構成と処理の説明を行なう。図
２は人物抽出手段１の構成に示す図である。カラー、又
はモノクロのテレビカメラとＡ／Ｄ変換器とからなる画
像入力手段４により数フレームごとに入力されたディジ
タル画像データを一度人物検出画像蓄積手段５に格納
し、これについて後述の様に、人物候補領域抽出手段６
によって侵入人物の概略領域を検出し、その概略領域内
部に人物としての特徴的な領域パターン（例えば顔、
手、足等）が存在するかどうかを人物領域確認手段７に
よって確認し、人物候補領域画像と確認結果を人物候補
通信手段８によってＥｔｈｅｒ ｎｅｔやＩＥＥＥ１３
９４上にＴｃｐ／ＩＰなどのプロトコルで中間サーバに
伝送する。上記で入力画像がカラーであった場合には、
その輝度成分のみを抽出して人物検出画像蓄積手段５に
蓄積する。

【００２２】又、この人物抽出手段１では一定時間内で
の上述の対象人物領域の抽出数、すなわち検知頻度を人
物抽出手段１内部の検知頻度計測手段９によって計測
し、これがあらかじめ設定してある閾値以上であった場
合には、本手段の処理に時間をかけるべきではないとし
て、一般的に処理コストのかかる人物領域確認手段７の
処理は行なわず、後述の中間サーバに処理の分担を依頼
する。

【００２３】以下に、この人物抽出手段１に特徴的な機
能として、人物候補領域抽出手段６と人物領域確認手段
７および人物候補通信手段８について述べる。人物候補
領域抽出手段６の処理としては、以下に示すようないく
つかの方法のいずれかを使用することができる。

【００２４】例えば、連続するサンプリング画像（フレ
ーム）について画素ごとの差分を行ない、ある一定閾値
で２値化した領域を抽出し、４連結、又は８連結の意味
で空間的に連結する領域について、その面積や外接矩形
サイズが人物候補として妥当なものを検出する方法であ
る。この処理の流れを図３のフローチャートに示す。こ
の際の２値化の閾値は、差分画像の輝度ごとの頻度分布
を解析し、その分散比を最大にする値として決定する手
法を使うことができる（大津、判別および最小二乗基準
に基づく自動しきい値選定法、信学論、Ｖｏｌ．Ｊ６３
−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６，１９８０参
照）。ここで、上記連結領域の解析を行なう前に、抽出
領域についての数回の膨張、収縮処理を行なって、ノイ
ズによる過抽出や“かすれ”の影響を減少させても良
い。この場合に抽出領域の第一次信頼度Ｃ１を例えば以
下のように算出しておく。

【００２５】 Ｃ１＝（Ｖf,Ｖft）／（｜Ｖf ｜｜Ｖft｜）， …（１） ただし、 Ｖ＝（Ｗ，Ｈ，Ｓ) Ｖt ＝（ ( Ｔwu＋Ｔwl)/2, ( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2 ） …（２） なるベクトルで、Ｗ，Ｈはそれぞれ抽出領域の外接矩形
の縦横サイズであり、Ｓは抽出領域面積である。又Ｔw
u，Ｔwlは外接矩形の縦サイズの、Ｔhu，Ｔhlは外接矩
形の横サイズの、Ｔsu，Ｔslは抽出面積のそれぞれ上限
値と下限値を示す閾値であり、０≦ Ｃf ≦１となる。

【００２６】この信頼度算出用のベクトルＶ，Ｖt につ
いては、円形度Ｒを加えて以下のようにしてもよい。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ) 、 Ｖt ＝（( Ｔwu＋Ｔwl)/2, ( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2 ）, Ｔr …（２′） Ｒ＝（抽出領域の周囲長）／Ｓ， ただしＴr は人物としてのＲの標準的値。

【００２７】又別手法として事後確率変換による手法を
用いても良い（中井事後確率を用いた移動物体検出手
法、情処研報，９４−ＣＶ−９０，ｐｐ．１−８，１９
９４参照）。

【００２８】この事後確率変換による手法の処理の流れ
を図４のフローチャートに示す。事象θ０を背景、事象
θ１を侵入物とする。ある部分画像内の画素の輝度を観
測する前のθ０、θ１の事前確率がそれぞれｗ０，ｗ１
であるとき（ただしｗ０＋ｗ１＝１）、事後確率ｗ１′
は事象θｋのもとでの画素輝度Ｉの条件付き確率をＰ
（Ｉ｜θｋ）とするときベイズの定理から ｗ１′＝｛ｗ１ｐ（Ｉ｜θ１）｝ ／｛ｐ（Ｉ｜θ０）（１−ｗ１）＋ｐ（Ｉ｜θ１）ｗ１｝ …（３） となり、このｗ１′がある閾値Ｔより大なるものを侵入
物に属する画素として抽出する。ここで、あらかじめ求
めた背景のみの画像の頻度分布ｈ（ｘ，ｙ，Ｉ）から、 ｐ（Ｉ｜θ０）＝｛１／Σｈ（x,y,I ）｝ ｘｈ（x,y,I ） …（４） I=Imin,...Imax であり、ｐ（Ｉ｜θ１）は一般にデータサンプルが無いため、 ｐ（Ｉ｜θ０）＝１／（Imax−Imin） …（５） と推定する。又上記は入力画像が更新されるたびにｗ１
＝ｗ１′と更新し、ｗ１の初期値＝１．０／２．０とし
てよい。

【００２９】人物候補領域を抽出するためには、入力画
像内の各画素ｉについて（２）式のｗ′ｉをもとめｗ′
ｉ＞Ｔなる画素で、８連結、又は４連結の意味で連結す
るもののうち、その面積や、外接矩形サイズが人物とし
て妥当なものを選択すればよい。

【００３０】この方法によると背景領域に定常的に変動
があっても、統計的に変動を吸収できる利点がある。上
記で非背景（すなわち対象物）であるための事後確率を
画素ごとに求めているが、閾値との比較による抽出（２
値化）の前に、確率分布を４近傍や８近傍について平滑
化しても良い。これは対象物近傍についての確率場の連
続性を仮定し、ノイズによる過抽出やかすれを減少させ
るためである。又さらなるノイズ除去のために上記２値
化後に数回に渡って、膨張収縮処理を繰り返しても良
い。

【００３１】この場合にも抽出領域の信頼度Ｃ１を
（１）式に基づいて算出するが、前述の（２）式のＶ，
Ｖｔをここでは例えば以下のようにして算出しておく。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2, (Ｔhu＋Ｔhl)/2, (Ｔsu＋Ｔsl)/2 , Ｔp ） …（２″） 又は円形度も含めた場合には、 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2,( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2), Ｔr,Ｔp ） …（２″′） ここにＰは抽出矩形内の事後確率の正規化総和であり、
以下のように求められる。

【００３２】 ただしＴｐは人物に対する上述のＰ値の標準値であり、
Ｒｅｃｔは抽出外接矩形領域を示す。

【００３３】次に図２に示した人物抽出手段１における
人物領域確認手段７について説明する。人物領域確認手
段７は、検知頻度計測手段９に前述した検知の頻度が設
定閾値を超えているかどうかを問い合わせる。もし検知
頻度が閾値Ｔｈ以下であった場合には、様々な人物の体
の部分の画像が複数収集され、その情報を統計的に圧縮
した辞書を用いたパターンマッチングを適用して、上記
のように抽出された人物候補領域内部の画素について、
特徴的部分が存在するかどうかを検出する。この様子を
図５に示す。

【００３４】このような方法として、ある一定サイズに
正規化した複数の特徴部分画像をある基準で複数のクラ
スに分割しておき、それに基づいて正準判別する方法が
ある。この方法による処理の流れを図６のフローチャー
トに示す。先ず、以下のようなステップをとる。

【００３５】（i ）複数クラスの正規化画像群に対する
級内分散Ｂ、および級間分散Ｗの算出 （ii）（Ｂ＋βＳw ）Φ＝｛（１−β）Ｗ＋βＩ｝ΦΛ
なる固有値問題を解く ただし０＜β＜１、 Φ：固有ベクトルΦｉを列ベクトルとする固有ベクトル
行列、 Λ：固有値λｉを対角要素とする固有値行列 である。

【００３６】（iii ）各クラスタｉ内ベクトルを上述の
Φに射影し、その平均ＭｉとΦと場合によっては分散共
分散Ｖｉを辞書とする。 （vi）マッチング時には画面内を小領域ｊに分割し、そ
の小領域ごとの画像ベクトルを上記Φに射影したベクト
ルＶｊと各クラスｉとのユークリッド距離やマハラノビ
ス距離を求める。

【００３７】上記でクラス作成時に所望対象特徴画像以
外に、非対象物クラスとして、それと類似する他の画像
も使用すると所望領域以外の類似領域は抽出せず、所望
領域のみを抽出しやすくなる。例えば、所望対象特徴画
像として複数人物の正面向きの顔、非対象物クラスとし
て背景の顔類似パターンを用いるなどである。

【００３８】ここでは対象物クラスを、複数人物の顔領
域の画像から作成することとし、それらを顔の向きに応
じて数種類の別クラスに分割する。又非対象物クラスと
して、背景中の顔類似パターンをあらかじめ人手でピッ
クアップしておき、それらを用いる。

【００３９】そしてステップ（vi）のマッチング結果の
うち距離が小なるものからＮ番目までで、対象物クラス
に属するものの距離の総和が一定値Ｔｄ以下だった場合
人物領域とし確認されたものとする。この場合には第二
次信頼度Ｃ２を例えば以下のように算出しておく。

【００４０】 又以上の処理終了後に、上記人物候補領域抽出手段６に
ついて説明したように抽出された人物候補領域の外側で
上述のマッチングを行い、その距離が小なるものからＭ
番目までのものを非対象物クラスのデータとして保存す
る。

【００４１】次に図２に示した人物抽出手段１における
人物候補通信手段８について説明する。前述したように
検知頻度計測手段９によって、人物候補の検知頻度が一
定間隔Ｔｈと比較された結果が中間サーバに伝送される
と、中間サーバからはその結果に応じて以下のように人
物抽出手段１での処理分担指示メッセージが送られるた
め、人物抽出手段１での処理はそれに従う。

【００４２】（i ）検知頻度≧Ｔｈのとき 人物抽出手段１での処理は前述の人物候補領域抽出手段
６の処理のみとなる。 （ii）検知頻度＜Ｔｈのとき 人物抽出手段１での処理は人物候補領域抽出手段６かつ
人物領域確認手段７の処理となる。

【００４３】ここで（i ）の場合には、この人物候補通
信手段８の出力結果は、例えば、上記人物候補領域抽出
手段６が抽出した抽出領域（周囲の外接矩形）座標、抽
出時刻、抽出領域の信頼度Ｃ１であり、（ii）の場合に
は、人物候補通信手段８の出力結果は、例えば、上記
（i ）の抽出領域（周囲の外接矩形）座標と時刻に加え
て、抽出領域の信頼度Ｃを以下のように算出して伝送し
てもよい。

【００４４】 Ｃ＝ｍｉｎ（Ｃ１，Ｃ２） …（８） 又（ii）の場合には、ステップ（vi）の結果から以下の
情報を抽出して伝送する。これは最適シーンのカメラを
選択するための情報で、人物候補領域内での上記マッチ
ング結果領域のうち、距離小なるものからＮ番目までの
マッチング距離、およびそれらの各々とマッチした辞書
カテゴリ名、各々の画面内での位置、および人物候補領
域外側で上述のマッチングを行い、その距離が小なるも
のからＭ番目までのものの非対象物クラスのデータとし
てマッチング距離、およびそれらの各々とマッチした辞
書カテゴリ名、各々の画面内での位置も伝送する。

【００４５】又さらに上述の伝送された対象抽出結果に
応じて、中間サーバ手段２から送られる画像伝送メッセ
ージにしたがって、後述のような所望の画像伝送動作を
行う。

【００４６】次に図１の中間サーバ手段２について説明
する。図７は中間サーバ手段２の構成を示す図である。
この中間サーバ手段２は人物抽出通信手段１０、人物抽
出補助手段１１、最適撮像選択手段１２、サーバ通信手
段１３および抽出人物画像蓄積手段１４からなる。以下
には、そのそれぞれの動作を示す。

【００４７】人物抽出通信手段１０は、各人物抽出手段
１での検知頻度に応じた人物抽出機能の負荷分担、およ
び同じく人物抽出手段１よりの認識確信度と中間サーバ
手段２の通信負荷とによる抽出画像伝送の制御を行い、
その結果として人物抽出手段手段１から送られてくる人
物抽出画像を受け取る。受信した人物抽出画像は抽出人
物画像蓄積手段１４に画面内での位置情報、信頼度、抽
出時刻とともに保存される。

【００４８】この通信処理は例えば以下のような手順で
実行される。この人物抽出通信手段１０の処理の流れを
図８のフローチャートに示す。 （i ）人物抽出手段内部状態の取得と人物抽出方法の指
示 各人物抽出手段１から内部状態として、一時保存画像数
Ｎｓと検知頻度Ｈが閾値Ｔｈを超えているかどうかを取
得し、前記人物候補通信手段８の説明であった検知頻度
に応じて、人物抽出手段１内の処理を人物候補領域抽出
手段６のみの処理とするのか、人物領域確認手段７をも
行わせるのかを指示する。このようにすることによっ
て、人物候補の確認までを必要とするが、監視領域内へ
の人物の侵入頻度の高い場所においても検知もれを防ぐ
ことを可能とする。又、人物候補確認までを必要としな
いような環境においては、常に人物候補領域抽出手段６
のみの処理とさせることも可能である。

【００４９】なお上記で人物領域確認手段７の処理をも
中間サーバ手段２内部で行わせる場合には、前述の人物
領域確認手段７で述べたように、保存されていた人物候
補領域の外側でのマッチング結果（非対象物クラスデー
タ）の周囲座標も伝送する。

【００５０】（ii）認識確信度と通信負荷とに応じた画
像伝送制御 次に各人物抽出手段１から上記人物候補通信手段８で示
したように抽出領域、抽出時刻、抽出領域の信頼度Ｃkl
が送られるが、これと各人物抽出手段１での検知頻度Ｈ
ｋ、通信トラフィックとから例えば以下のような方式に
したがって画像伝送の制御すなわち伝送画像領域Ｒｋを
求める。ただし、ｋは人物抽出手段番号、ｌは一つの人
物抽出手段内での抽出領域番号で０≦ｌ≦Ｌとする。

【００５１】 if ＳＨ ＜Ｔk1 Ｒk ＝一時保存画像、およびその時点での画面全体の伝送， …（９） if Ｔk1≦SH ＜Ｔk2 Ｒk ＝画面全体の伝送， …（９′） if Ｔk2≦SH ＜Ｔk3 Ｒk ＝ＵＲkl×1/(min(Ckl)), …（９″） l=0.L l=0.L ただし抽出領域をＲklとし、Ｔkl＞画面全体のときＴkl
＝画面全体とする。又、Ｕは集合の和を示す。

【００５２】 if ＳＨ≧Ｔk3 Ｒk ＝現抽出画像を伝送せずに一時保存， …（９″′） ここにＳＨは通信トラフィックをあらわす量であり、例
えば全人物抽出手段での検知頻度の総和を用いて以下の
ようにしてもよい。

【００５３】 ＳＨ＝ΣＨk, …（１０） k=0.k 又Ｃklは各抽出領域ごとの信頼度、Ｈk は各人物抽出手
段の検知頻度、Ｋは各人物抽出手段のアクセス数であ
る。

【００５４】さらに、前記（i ）での非対象クラスの画
像を伝送する場合には、前述の検出結果の一時保存画像
と同一の扱いとする。次に図７の人物抽出補助手段１１
について説明する。図９は人物抽出補助手段１１の処理
の流れを示すフローチャートである。人物抽出補助手段
１１は、前述した図２の人物候補通信手段８の説明で
（i ）検出頻度≧Ｔｈのときに、人物領域確認手段７と
まったく同一の処理を行う。

【００５５】又人物確認における非対象クラスに対する
辞書更新用データ数の前回辞書更新以降での総和が伝送
画像中から一定値（Ｎｓ×α）個以上収集できたときに
は、本発明による人物確認用の辞書の再構成を行う。

【００５６】ここにＮｓ従来からの非対象サンプル数、
α０〜１の間の定数であり、再構成用サンプルとして
は、上述の新規サンプルＮｓ×α個の他に従来サンプル
の中からＮｓ×（１−α）個をランダムに選択して前記
（２）（ｂ）人物領域確認手段７の（ｉ）〜（iii ）ま
での処理によって新規辞書を作成する。

【００５７】次に図７の最適撮像選択手段１２について
説明する。図１０は本発明による最適撮像選択手段１２
の処理の流れを示すフローチャートである。図２の人物
候補通信手段８の説明中（ii）で述べたように、人物領
域確認手段７のステップ（vi）のマッチング結果として
人物候補領域内でのマッチング結果領域のうち、距離小
なるものからＮ番目までのマッチング距離、およびそれ
らの各々とマッチした辞書カテゴリ名、各々の画面内で
の位置が最適撮像選択手段１２に伝送されてくる。

【００５８】ここで最適性の定義として、上記マッチン
グ結果のうち位置の分布がまとまっており、かつマッチ
ング辞書カテゴリとして正面に近いものとの距離が小な
るものとする。これを表現する特徴量Ｆ（最適人物撮像
特徴量）としては、例えば以下のようなものを使用す
る。

【００５９】 Ｆ＝Ａ／σｘ＋Ｂ／σｙ＋ΣＣｊ×Ｄｉ …（１１） i=1.N ここにσは各マッチング結果領域の座標分布の標準偏差
であり、Ｄｉはｉ番目にマッチング距離が小さかった分
割ウィンドウと辞書との距離である。Ａ，Ｂ，Ｃｊは重
み定数で、特にＣｊは上述のｉ番目ウィンドウがマッチ
した辞書ｊの顔の向きに応じた重みであり、正面に近い
ほど大きく設定する。

【００６０】そして、この中間サーバ手段２に接続され
ている複数（ｋ＝０〜Ｋ個）の人物抽出手段１からの人
物抽出領域のうちで、互いに物理的な位置（実世界での
座標）がオーバラップするような各領域を同一物体と対
応付けし、それらについての上述Ｆ値のうちで最大の値
Ｆｋを有する人物抽出手段ｋからの映像を最適なものと
選択する。ここで物理的な位置は、あらかじめ計測して
おく撮像環境（人物抽出手段の撮像系の向き、俯角、ズ
ーム）と人物抽出時に検出された人物候補領域の座標と
から求める。

【００６１】なお、上記Ａ，Ｂ，Ｃｊの決定について
は、さまざまな手法が考えられるが、例えばあらかじめ
複数のサンプル画像において最適なものを教示してお
き、それらサンプルにおけるσｘ，σｙ，Ｄｉを用いて
最適と教示されたもののＦ値が他のものより大きいと仮
定して決定する。すなわち最適と教示されたものがサン
プルｋ′としたとき、 Σ（Ｆｋ｜ｋ＝ｋ′−Ｆｋ｜ｋ≠ｋ′） …（１２） 全サンプル を最大化するように学習を行なって、上記Ａ，Ｂ，Ｃｊ
を決定する。

【００６２】図７のサーバ通信手段１３は、最適撮像選
択手段１２において最適人物画像系列が準備された場合
には、この系列画像をサーバに伝送する。最後に図１の
サーバ手段３について説明する。サーバ手段３は上記サ
ーバ通信手段１３から送信されてくる最適画像系列を受
け取り、ｈｔｔｐプロトコルに準拠した形式に変換し伝
送する。

【００６３】このとき、上記系列内に冗長な画像が含ま
れており、かつ本サーバ手段３への通信トラフィック量
が多い場合には、本発明によるサーバ手段３はそのうち
のいずれかのみを残して、他は除去して伝送する。

【００６４】ここで上述の冗長性としては、連続する最
適画像系列のフレーム同士での類似度の高いものという
意味で例えば、２フレーム間の画像差分量の総和が一定
閾値以下の場合や、２フレーム間での画像の相関値が別
の一定閾値以上の場合など一般的なものを使用できる。

【００６５】ここで、サーバへの通信トラフィック量と
しては、本サーバに対するｈｔｔｐアクセスでの一定時
間内パケット数Ｐｈと中間サーバ２との画像、および抽
出属性の伝送に用いられる一定時間内パケット数Ｐｍと
の総和として定義できる。

【００６６】なお上記において、中間サーバ２から得ら
れる最適画像系列には、位置や抽出時刻といった属性が
含まれるが、本サーバ手段３内では、これに加えて、領
域内での色空間での画素値の頻度分布、上記位置と抽出
時刻から求められる平均移動ベクトルを計算して付与し
検索用タグ情報とする。さらに上記最適人物画像系列中
の顔領域について、図２の人物領域確認手段７の（vi）
に述べた顔辞書との射影値ベクトルをも属性値として付
与しておくことで、検索対象人物の画像が与えられる
と、その人物の顔を過去の監視画像中の最適系列画像か
ら検索して提示することが可能となる。

【００６７】

【発明の効果】本発明によれば、各処理ごとの機能分担
による応答性向上とコストの削減が図れる。即ち、人物
監視に最も基本的機能でかつリアルタイム処理を要する
人物抽出機能をテレビカメラ内蔵とし、それらテレビカ
メラからの抽出映像の最適性を評価する中間サーバ、お
よび検索タグ付けなど処理時間は要するがリアルタイム
性が必要でない処理を行なうサーバとに分担させ、それ
ぞれの間はデジタル化され要約された情報を伝送するこ
とで、伝送、蓄積の応答性とコストの削減が可能とな
る。

【００６８】又本発明によれば、人物特徴部分検出によ
る誤抽出可能性の低減と最適映像の検出が可能となる。
即ち、人物抽出機能において、人物候補領域抽出を行な
った後、その領域内に人物の特徴的部分（顔等）が写っ
ているかどうかを評価するため、誤って人物の侵入以外
のイベントを検出する頻度を低減させることが可能とな
る。又その際に抽出された人物特徴部分の画面内への出
現の仕方を用いて、その画像フレームが後の監視員によ
る確認に良いものなのかどうかを評価し、複数カメラの
複数フレームから最適な画像系列を選択可能となる。

【００６９】更に本発明によれば、冗長映像の除去と負
荷に応じた動的処理分担によるさらなる伝送、蓄積効率
の向上が図られる。即ち、上記で選択された見え方とし
て最適な画像のフレーム間での冗長性を評価して、冗長
フレームを除去することで、伝送、蓄積量を低減させ、
効率を向上することが可能である。又侵入者の検出頻度
や、伝送負荷に応じて各処理階層（カメラ、中間サー
バ、サーバ）での処理を自動的に再配置することによっ
て監視システム全体としての伝送、蓄積効率を向上させ
ることが可能となる。従って、従来よりコストを低減
し、見逃しのない人物監視が本発明により可能となる。

【図面の簡単な説明】

【図１】図１は本発明の実施例に係る全体構成図。

【図２】図２は本発明の実施例に係る人物抽出手段の構
成図。

【図３】図３は人物候補領域抽出手段の第１の方法を示
すフローチャート。

【図４】図４は人物候補領域抽出手段の第２の方法を示
すフローチャート。

【図５】図５は本発明による人物領域確認手段を説明す
るための図。

【図６】図６は本発明による人物領域確認手段での処理
を示すフローチャート。

【図７】図７は本発明による中間サーバ手段の構成を示
す図。

【図８】図８は本発明による中間サーバ手段における人
物抽出通信手段の処理を示すフローチャート。

【図９】図９は本発明による中間サーバ手段における人
物抽出補助手段の処理を示すフローチャート。

【図１０】図１０は本発明による中間サーバ手段におけ
る最適撮像選択手段の処理を示すフローチャート。

フロントページの続き Ｆターム(参考） 5B057 AA19 BA23 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CE02 CE09 CE12 CG01 CH14 CH20 DA08 DA12 DB02 DB09 DC03 DC04 DC23 DC33 DC36 DC40 5L096 AA06 BA02 BA18 CA05 CA21 EA02 EA05 EA35 EA43 FA09 FA37 FA59 FA65 GA08 GA14 GA15 GA30 HA09 JA09 KA04

Claims (14)

【特許請求の範囲】
1. 【請求項１】 人物の写っているシーンの映像を伝送、
   蓄積、検索し、見え方最適な映像を出力する人物監視シ
   ステムであって、 撮像機能を内蔵した一つ、又は複数の人物抽出手段と、 前記人物抽出手段から提供される画像を処理し、最適人
   物シーンを選択する機能を有する中間サーバ手段と、 前記中間サーバ手段から提供される画像を処理し、検索
   のタグ付け等のより処理時間を要する高度な機能および
   ユーザインタフェースを提供するサーバ手段と、を具備
   することを特徴とする人物監視システム。
2. 【請求項２】 前記人物抽出手段は、撮像画像内から人
   物候補領域を抽出する機能と、抽出された候補領域から
   人物領域を確認する機能とを有することを特徴とする請
   求項１記載の人物監視システム。
3. 【請求項３】 前記中間サーバ手段は、該人物抽出手段
   および中間サーバでの処理負荷を計算して前記人物抽出
   手段での処理の一部を該中間サーバが分担する機能を有
   することを特徴とする請求項１記載の人物監視システ
   ム。
4. 【請求項４】 人物の写っているシーンの映像を伝送、
   蓄積、検索し、見え方最適な映像を出力する人物監視シ
   ステムであって、 撮像機能と、撮像画像内から人物候補領域を抽出する機
   能と、抽出された候補領域から人物領域を確認する機能
   とを有する、一つ又は複数の人物抽出手段と、 前記人物抽出手段から提供される人物領域画像から最適
   人物シーンを選択する機能と前記人物領域確認機能とを
   有する中間サーバ手段と、 前記中間サーバ手段から提供される画像を処理し、画像
   検索のタグ付けを含む機能とユーザインタフェースを提
   供するサーバ手段とを具備し、 前記中間サーバ手段はさらに、該人物抽出手段および中
   間サーバでの処理負荷を計算して前記人物領域確認機能
   の処理を中間サーバが分担する機能を有する人物監視シ
   ステム。
5. 【請求項５】 前記人物領域確認機能は、画像の特徴部
   分および非特徴部分の類似パターンとの統計モデルとか
   ら特徴部分を抽出し、前記人物候補領域抽出機能が人物
   ではないと判定した部分に特徴部分の誤抽出があった場
   合、それらを非特徴部分パターンのモデルとして自動的
   に組み込み、判定精度を向上することを特徴とする請求
   項２記載の人物監視システム。
6. 【請求項６】 前記人物領域確認機能は、前記人物抽出
   手段が中間サーバに人物候補画像を伝送する際に、認識
   結果の確信度を計算し、確信度が高い場合は抽出領域の
   みを伝送し、確信度が低い場合には、その確信度に応じ
   て抽出領域を周囲に広げ、抽出もれを減少させることを
   特徴とする請求項４記載の人物監視システム。
7. 【請求項７】 前記中間サーバ手段は、各モデルとの類
   似度、および抽出位置の分布を入力として、その時間的
   分布を統計的に計算することにより、最適な撮像手段の
   出力系列を選択する機能をもつことを特徴とする請求項
   ５記載の人物監視システム。
8. 【請求項８】 前記サーバ手段は、伝送、蓄積コストを
   計測し、それに応じて前記選択された出力系列内の冗長
   性を減らす手段を具備することを特徴とする請求項７記
   載の人物監視システム。
9. 【請求項９】 監視領域の映像を異なる位置から撮像す
   るために設けられた複数の撮像手段とこの各撮像手段か
   らの映像を受けるサーバとを用いて人物監視を行なう方
   法において、 前記各撮像手段において撮像画像から人物候補画像を抽
   出してサーバーに送信し、 前記サーバーにおいては各撮像手段から送信されて来た
   複数の人物候補画像における人物の見え方を評価し、人
   物の見え方が最適な人物候補画像を選択して監視画像と
   して出力し、 前記サーバーにより出力された監視画像を送信若しくは
   蓄積するようにしたことを特徴とする人物監視方法。
10. 【請求項１０】 前記撮像手段における撮像画像からの
    人物候補画像の抽出処理は、撮像画像内から人物候補領
    域を抽出する抽出ステップと、この抽出ステップにて抽
    出された候補領域から人物画像の領域を確認する確認ス
    テップとを有することを特徴とする請求項９記載の人物
    監視方法。
11. 【請求項１１】 前記人物領域の確認ステップにおい
    て、画像の特徴部分および非特徴部分の類似パターンと
    の統計モデルとから特徴部分を抽出し、前記人物候補領
    域抽出機能が人物ではないと判定した部分に特徴部分の
    誤抽出があった場合、それらを非特徴部分パターンのモ
    デルとして自動的に組み込み、判定精度を向上するよう
    にしたことを特徴とする請求項１０記載の人物監視方
    法。
12. 【請求項１２】 前記人物領域の確認ステップにおい
    て、認識結果の確信度を計算し、確信度が高い場合は抽
    出領域のみを中間サーバに伝送し、確信度が低い場合に
    は、その確信度に応じて抽出領域を周囲に広げ、抽出も
    れを減少させることを特徴とする請求項１０記載の人物
    監視方法。
13. 【請求項１３】 前記中間サーバ手段において最適な人
    物画像の選択を行う際に、各モデルとの類似度、および
    抽出位置の分布を入力として、その時間的分布を統計的
    に計算することにより、最適な人物候補画像を選択する
    ことを特徴とする請求項１１記載の人物監視方法。
14. 【請求項１４】 前記撮像手段における撮像画像からの
    人物画像の抽出処理の処理負荷が規定の負荷を超えた場
    合には、撮像手段において撮像した撮像画像をサーバー
    に送信し、サーバーにおいて撮像画像から人物画像を抽
    出するようにしたことを特徴とする請求項９記載の人物
    監視方法。