JP2011130203A - 映像情報処理方法及びその装置 - Google Patents

Abstract

【課題】 非監視対象の人物にプライバシー保護のための隠蔽処理を施す場合に、予め監視対象人物または非監視対象人物の情報を記録しておく必要があった。
【解決手段】 撮像された空間の画像から複数の人物の各々が存在する複数の人物領域を検出する。検出された複数の人物領域の各々の特徴量を算出し、算出した特徴量と特徴量から求められる統計値を用いて評価値を算出する。複数の人物領域の各々で算出された評価値に合わせて画像加工処理を施す。これにより、各人物が監視対象の空間において平均的な行動または状態から離れた監視対象人物であるか否かの判断を行う。さらに、非監視対象人物に対して、プライバシー保護のための画像加工を行う。
【選択図】 図１

Description

本発明は、画像中の人物領域に対して画像加工処理を行う映像情報処理装置及び方法に関する。

犯罪抑止や犯罪証拠の記録を目的として、公共の場への監視カメラの設置が進んでいる。監視カメラ映像が事件の重要な情報となるような監視カメラの効果が現れている。一方、公共の場へのカメラ導入に対して肖像権やプライバシーの問題が指摘されている。

顔や行動等から監視すべき対象でないと判断される人物について、モザイク処理などの画像加工処理を施し、プライバシーを保護する技術が、特許文献１や特許文献２に開示されている。

また、類似の技術として、物体の存在時間と存在位置に応じてフィルタリングを施し、フィルタリング結果によって物体領域に透過処理や隠蔽処理を行う技術が、特許文献３に開示されている。

特登録０４０３６０５１ 特開２００６−２９５２５１ 特開２００６−２８７７３１

特許文献１や特許文献２に開示される技術では、監視対象人物や非監視対象人物を、事前にテーブルやデータベースとして準備しておく必要がある。そのため、テーブルやデータベースで定義されていない人物については、必ずしも適切なプライバシー保護ができないという課題があった。

特許文献３に開示されている技術では、プライバシー保護の可否を、映像中の状況に応じて、監視対象や保護対象を選択できるとは限らないという課題があった。

上記課題に鑑み、本発明では、監視対象の空間において平均的な行動または状態から離れた人物を監視対象人物であると想定して、映像中の人物が監視対象人物であるか否かの判断を行う。すなわち本発明では、映像中の複数人物の特徴量群から統計値を設定する。この統計値と各人物の特徴量の比較により、各人物が監視対象の空間において平均的な行動または状態から離れた監視対象人物であるか否かの判断を行う。さらに、非監視対象人物に対して、プライバシー保護のための画像加工を行う。

以上のように、本発明は、映像中の状況に応じて適切に監視対象やプライバシー保護対象選択を行い、プライバシーの保護を行うために、画像中の人物の領域に画像加工処理を施すことを目的とする。

上記の目的は、以下の方法によって達成される。

検出手段が、撮像された空間の画像から複数の人物の各々が存在する複数の人物領域を検出する検出工程と、
算出手段が、前記複数の人物領域の各々の特徴量を算出する算出工程と、
評価手段が、前記複数の人物領域の各々の特徴量、及び、該複数の人物領域から算出した特徴量から求められる統計値に基づいて、評価値を算出する評価工程と、
加工手段が、前記複数の人物領域の各々に、当該人物領域の評価値に基づいて、画像加工処理を施す加工工程と、
を有することを特徴とする映像情報処理方法。

本発明は、映像中の状況に応じて適切に監視対象やプライバシー保護対象選択を行い、プライバシーの保護を行うことができる。

第１の実施形態の映像情報処理装置の構成を示すブロック図である。 第１の実施形態の映像情報処理装置の全体処理フロー図である。 算出部のフロー図である。 評価部のフロー図である。 １次元の人物の特徴量の評価方法について説明する図である。 人物の特徴量をマハラノビス距離で評価する方法について説明する図である。 標準偏差を用いて閾値設定を行う方法について説明する図である。 連続的な評価値を用いる画像加工方法について説明する図である。 コンピュータの構成例を示す図である。

以下、図面を利用して本発明の実施形態について説明を行う。

〔第１の実施形態〕
本実施形態では、映像中の複数人物について、人物の行動や状態を表す特徴量を算出し、その統計値と各々の人物の特徴量を比較する。これにより、各人物が監視対象の空間において異常な行動や状態であるかを判断し、人物領域に画像加工処理を行う。すなわち、複数人物の特徴量群の統計値が、監視対象の空間において平均的な行動や状態を表していると想定した値を求める。この値から乖離する人物の特徴量を取る人物は、異常行動または異常状態であると判断して監視対象人物と設定する。また逆に、平均的な特徴量の範囲にある人物については非監視対象人物となるので、プライバシー保護のため詳細が特定されないように画像加工処理を施す。

図１は、第１の実施形態の映像情報処理装置１００の構成を説明する機能ブロック図である。図２は、第１の実施形態の全体処理フローを示す図である。

この処理を映像の各フレームで行うことにより、監視映像に適切なプライバシー保護を施した映像情報処理を行うことができるようになる。本実施形態の構成を含めた概要について説明する。

撮像部１０１は、監視対象の空間を撮像する撮像装置であり、時系列に映像を取得するカメラで構成される。図１での撮像部１０１は１つであるが、監視対象の空間や用途によっては、複数そなえる構成でも良い。また、撮像部１０１が撮像する監視対象の空間は、例えば通学路や駅前などの公共空間であり、複数の人物が登場しうる空間である。

ステップＳ２０１において、撮像部１０１は監視対象の空間に存在する複数人物１０を撮像している。撮像された画像は、何らかの記憶媒体に保持しておき、後から本実施形態の処理に使用してもよい。

ステップＳ２０２において、検出部１０２では、撮像した画像中から人物を検出し、人物領域を特定する。人物検出方法については様々な方法があるが、本実施形態では特に限定するものではなく、後段の人物の特徴量算出と合わせて最適な手法を選択する。

人物検出手法としては、例えば、背景差分処理がある。監視カメラではカメラ固定である場合が多いため、背景差分処理は比較的簡単に人物領域を抽出する方法として有効である。背景差分処理を用いることにより、人物領域はシルエットや輪郭形状として特定される。

人物検出手法の他の手法としては、予め人物の画像特徴量を学習しておき、対象フレームの画像に対して認識処理を行うことにより人物領域を特定する手法も有効である。近年では、画像特徴量として、局所輝度勾配を画像特徴量として用いる手法が注目されている。例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量などの有効な手法が提案されている。これらの画像特徴量とＳＶＭ、ＡｄａＢｏｏｓｔなどの認識手法による人物検出では、人物領域は検出窓と呼ばれる矩形範囲として特定される。

人物検出手法としては他にも、画像内のフローベクトルなどの動き情報から人物領域を決定する方法がある。他にも、顔検出を行った後に所定領域を人物領域と判定する方法、事前に準備した変形モデルやテンプレートを当てはめる方法などがある。また、これらを組み合わせて高精度に人物を検出することも可能である。検出部では画像中での人物位置及び領域の情報を出力し、後段の算出部１０３や加工部１０５では、この出力情報を元にそれぞれの処理を実行する。

ステップＳ２０３において、算出部１０３では、検出部１０２で特定された各人物の行動や状態を評価可能な特徴量を算出する。ここで、人物の状態とは、人物の服装や体格などの情報であり、特徴量は人物の行動だけでなく、人物の性質を表す情報も含む。特徴量の算出方法などの詳細については後述する。

ステップＳ２０４において、評価部１０４では、算出部１０３で算出した複数人物の特徴量群の統計値を算出し、算出した統計値と各人物の特徴量から、各人物の行動や状態が異常であるか否かを示す評価値を算出する。

ステップＳ２０５において、加工部１０５では、評価部１０４の評価値を基に、各人物領域に対して画像加工を行う。実施する画像加工としては、プライバシー保護対象となる非監視人物には、モザイクやぼかしなどの隠蔽処理を行い、逆に監視人物に対しては画像中へのアノテーション追加や鮮明化などの強調処理を行う。なお、監視人物に対しては、非隠蔽対象として隠蔽処理を行わずに未加工の画像のままとしても良い。

表示部１０６は、加工部１０５で加工された映像を表示するためのディスプレイ装置である。ネットワーク等を介して遠隔で表示するようにされていても良い。また、１カ所への映像配信のみならず、複数箇所に存在する表示部１０６へと映像を配信しても良い。

記録部１０７は、加工部１０５で加工された映像を記録する装置である。表示部と同様に遠隔で保存しても良い。

なお、表示部１０６と記録部１０７は、それぞれ運用上の必要に応じて構成に加えられる部分である。

以上、図１の機能ブロック図、及び、図２の処理フローを用いて、本実施形態の構成を説明した。

算出部１０３で算出する人物の特徴量について、具体的な説明を行う。本実施形態での人物の特徴量は、人物の行動や状態を表す特徴量であり、人物の移動方向、移動速度、シルエット、テクスチャや色などの人物アピアランス、姿勢や行動を表す画像特徴量などが利用可能である。これらの人物の特徴量の内、一つのみを算出しても良いし、複数の特徴量を同時に利用しても良い。

ステップＳ２０３における、算出部１０３の動作の概要について説明する。算出部１０３では、検出部１０２で検出されたそれぞれの人物領域に対して特徴量を算出する。

図３に算出部１０３の処理フロー図を示す。
ステップＳ３０１では、ある人物領域の特徴量を算出する。
ステップＳ３０２では、全ての人物領域に対して特徴量を算出したか否かを判断し、残りの人物領域があればステップＳ３０１に戻り特徴量を算出する。全ての人物領域の特徴量を算出したら、算出部１０３の処理を終了する。なお、説明のため、検出部１０２と算出部１０３の処理を分離している。しかし、検出部１０２で人物領域が検出されるたびに、算出部１０３の処理を実行し、その人物領域についての特徴量を算出しても良い。

人物の特徴量の算出方法は、使用する人物によって異なる。以下、統計上、代表的な特徴量について、その算出方法と合わせて、統計値との乖離により判断できる異常行動または異常状態について説明する。

まず、人物の移動方向を特徴量ｘ_Ｄとした場合には、ある人物領域を時系列に追跡して、その移動方向を画面中の２次元ベクトルとして算出する。
ｘ_Ｄ（ｕ，ｖ）^Ｔ ・・・（１）
人物領域の追跡処理については、公知の技術を人物検出結果の人物領域と合わせて利用する。なお、ノイズ低減のため、隣接フレーム間の２次元ベクトルを算出するよりも、所定時間の移動方向を平滑化した値を算出する方が望ましい。また、所定単位時間の方向ベクトルをまとめて、軌跡を表現する軌跡特徴量として特徴量ｘ_Ｔを定義しても良い。
ｘ_Ｔ（ｕ_１，ｖ_１・・・ｕ_ｄ，ｖ_ｄ）^Ｔ ・・・（２）
これらの移動方向に関する特徴量では、統計値から大きく乖離する特徴量を取る人物について、他の大多数の人物と異なる方向に移動しているとして異常行動と判定できる。以上の移動方向に関する人物の特徴量の説明では、画像中での移動方向について説明した。しかし、距離画像の取得や、人物位置の仮想３次元空間への投影により、３次元空間中での移動方向が判別可能であれば、３次元空間中での移動方向を特徴量としても良い。

次に、人物の移動速度を特徴量ｘ_ｖとして扱う場合について説明する。人物の移動速度は、単位時間当たりの移動方向ベクトルのスカラー値ｖを取得することで得ることができる。
ｘ_Ｖ＝ｖ ・・・（３）
移動速度が統計値から大きく乖離する人物を異常行動とすることにより、監視空間中の群衆が歩いている中で、走っている不審者を特定することができる。また、逆に、止まっている人物を発見することにより、体調不良の要介護者の特定を行うことができるようになる。

人物の体格を特徴量とする場合について説明する。まず、人物が画像中の位置に寄らず、同程度のサイズで観測できる場合には、人物領域シルエットの高さｈ、幅ｗ、面積ｓを特徴量ｘ_Ｂの要素として用いることが簡便である。
ｘ_Ｂ＝（ｈ，ｗ，ｓ）^Ｔ ・・・（４）
一方、画像中の位置により人物の観測サイズが異なる場合には、画像位置によらず人物の体格情報が得られるように工夫する必要がある。例えば、距離画像を合わせて取得する、画像中の位置によってシルエットのサイズを変換する変換関数を設定する、などの工夫が必要である。この特徴量を得るためには、人物領域のシルエットが必要となるため、背景差分などの手法により人物のシルエット形状を取得可能な方法で人物検出を行うことが望ましい。人物の体格に基づく特徴量では、群衆の中で明らかに体格が異なる人物を異常状態として検出できるようになる。例えば、児童の集団の中に不審な成人を発見することができるようになる。なお、（４）の特徴量は、特徴次元ごとに異なる性質を持つ値であるため、適当な正規化処理を行って特徴量とする。若しくは、（４）のように一つの特徴量としてまとめずに、高さｈ、幅ｗ、面積ｓなどの各値を独立した特徴量として取り扱うと良い。

テクスチャや色などの人物アピアランスを人物の特徴量として扱う場合について説明する。

まず、色情報については、人物領域の色の平均値または色ヒストグラムを特徴量ｘ_Ｃとする。
ｘ_Ｃ＝（Ｒ，Ｇ，Ｂ）^Ｔ ・・・（５）
（５）では色空間としてＲＧＢ空間を想定したが、これ以外の色空間を用いても良い。

テクスチャについては、ウェーブレット変換等で画像周波数を得ることで特徴量とすることができる。テクスチャや色については、各人物の服装情報を特徴量とすることが目的であるため、人物領域の所定範囲（胴体部分に相当する部分）のみを特徴量化することが望ましい。従って、人体検出部で検出された人物領域の内、胴体付近に相当する所定範囲のテクスチャ情報を算出するようにする。この特徴量を用いて、統計値から大きく乖離する人物を特定することにより、大多数の人物が制服のように一律な服装をしている中で、異なる服装をしている人物を特定することができるようになる。

さらに、人物の姿勢を推定して、その姿勢パラメータを特徴量としても良い。姿勢推定方法は、人物領域に対して多関節の変形モデルを当てはめる方法により、四肢の状態を推定する手法などが活用できる。これらの手法により人物の姿勢を推定し、各関節角度θを特徴量とｘ_ｐとすることができる。
ｘ_Ｐ＝（θ_１，θ_２，・・・，θ_ｄ）^Ｔ ・・・（６）
以上では、画像から意味のある情報を抽出した結果を特徴量とする例を示したが、本実施形態で用いる特徴量はこれに限定されず、人物領域の画像特徴量を特徴量としても良い。例えば、人物検出用の画像特徴量として説明したＨＯＧ特徴量を本実施形態の特徴量として扱っても良い。この場合、検出部１０２でＨＯＧ特徴量を用いて検出された人物領域について、その領域のＨＯＧ特徴量を、その人物の行動や状態を表す特徴としてそのまま特徴量とする。ＨＯＧ特徴量は画像のエッジ情報を特徴量化しており、その値は画像中での人物の向きや姿勢により異なる。よって、画像中の人物の平均的なＨＯＧ特徴量と大きく異なるＨＯＧ特徴量を示す人物は、他の人物と比べて異なる向きや姿勢をとっていると判別される。画像特徴量の例として、ＨＯＧ特徴量を示した。しかし、算出部１０３で特徴量とする画像特徴量はこれに限定されることはない。また、検出部１０２で用いた画像特徴量と異なる画像特徴量を新しく算出しても良い。

以上説明したように、算出部１０３では、画像中の各人物について特徴量を算出する。これらの特徴量は、どれか一つを算出しても良いし、複数の特徴量を算出しても良い。複数の特徴量を算出する場合には、それぞれ異なる特性を持つ特徴量を独立に扱い、各特徴量について以下に説明する処理により評価値を算出する。また、複数の特徴量を一つの多次元特徴量ベクトルにまとめて特徴量としてもよい。

評価部１０４での処理について説明する。

図４は評価部１０４内での処理フロー図である。
ステップＳ４０１では、全ての人物の特徴量の統計値として平均値を求める。
ステップＳ４０２では、ある一つの特徴量と平均値との距離を求める。
ステップＳ４０３では、距離を予め設定した閾値と比較し、閾値未満の場合（平均値からの乖離が小さい場合）には、ステップＳ４０４へ進む。一方、距離が閾値以上の場合（平均値からの乖離が大きい場合）には、ステップＳ４０５に進む。
ステップＳ４０４では、当該人物を正常と判断する。
ステップＳ４０５では、当該人物を異常と判断する。
ステップＳ４０６では、これら処理を画像中の全ての人物に対して行う。

この結果、各人物について、その監視対象の空間において、正常であるか異常であるかの２値の評価値が算出される。後段の加工部１０５では、この評価値に基づいて各人物領域に画像加工を行う。

評価部１０４では、特徴量から各人物についての評価値を算出する。

１次元の特徴量について評価値を算出する場合について説明する。１次元の特徴量として、人物の移動速度を特徴量とした場合を例に説明する。

図５は、画像中の全ての人物について、特徴量（速度）をヒストグラムで表した図である。横軸が特徴量ｘ_ｖの値で、縦軸が出現頻度である。

図５の例では、平均値５０１と各特徴量の距離を算出する。ここで、ある特徴量の値５０２は、特徴量群の中で離れた値となっているデータである。特徴量５０２と平均値５０１の距離５０３を所定の閾値と比較することにより、特徴量群の中での乖離度合いを判別し、閾値よりも大きく乖離していればその人物の行動を異常と判定する。この判定結果をその人物についての評価値として記録する。評価値は、例えば正常を０、異常を１とする２値で記録する。

以上の説明では、特徴量群の統計値を平均値として説明したが、統計値は特徴量群の平均的傾向を表す値であれば平均値に限ることはなく、中央値（メディアン）や最頻値（モード）を用いても良い。

評価部１０４について、最も簡単な例として、まず１次元の特徴量を取り扱う場合について説明した。評価する特徴量が移動方向などの多次元の特徴量になった場合も同様に、特徴量群の平均値から各特徴量の距離を求める。その距離を所定の閾値と比較することにより、各人物の行動や状態を評価することができる。しかし、移動方向や色、画像特徴量などを特徴量とした多次元の特徴量で各次元に偏りや相関がある場合には、上記の距離計算（ユークリッド距離）で適切に乖離した値を決定することができないことがある。そこで、評価部１０４で多次元特徴量を取り扱う場合には、マハラノビス距離によって特徴量の評価を行うことが望ましい。ｎ人分の特徴量群と各特徴量のマハラノビス距離は以下の様に求められる。ｄ次元特徴量ｘを
ｘ＝（ｘ_１，ｘ_２，・・・，ｘ_ｄ）^Ｔ ・・・（７）
として、その特徴量群の平均値（平均ベクトル）μを
μ＝（μ_１，μ_２，・・・，μ_ｄ）^Ｔ ・・・（８）
とし、特徴量群の分散共分散行列Σを

とすると、特徴量群の平均値μとある特徴量ｘのマハラノビス距離ｄは

となる。

図６に、マハラノビス距離による特徴量の評価の例を示す。図６では説明のためｘ_１とｘ_２の２次元特徴空間を示しているが、より高次元の特徴空間でも以下と同様に考えることができる。図６では特徴量群がプロットされており、平均値６００と２つの特徴量６０１、６０２を結ぶ線分６０３、６０４が図示されている。また楕円の点線は、平均値６００からマハラノビス距離で等距離にある位置を示している。ユークリッド距離では、線分６０３よりも６０４の距離が短くなり、特徴量６０２は特徴量６０１に比べて、特徴量群の平均値６００に近いことになる。しかし、マハラノビス距離では点線で示されるようなデータ分布を考慮した距離となり、線分６０４の距離は線分６０３の距離よりも長くなる。ここで、マハラノビス距離ｄに適当な閾値を与えると、平均値から乖離した特徴量を判別することができる。例えば、点線６０５の距離を閾値として設定すると、特徴量６０２は閾値よりも遠距離に存在すると判定される。すなわち、特徴量６０２に対応する人物は、監視対象の空間において平均的な動作や状態から外れた異常状態となる。なお、評価部１０４で出力する各人物についての評価値には、１次元特徴量で説明したのと同様に異常と正常の２値を出力する。

なお、複数の特徴量を使用し、各人物について複数の評価値を得る構成にした場合には、各評価値の結果を統合して最終的な評価値を得るようにする。例えば、複数の評価値で異なる結果が得られた場合には、正常と異常の結果の内、多く得られた方の評価値を採択する。

また、使用する特徴量によって得られた評価値に重みを付けて結果を統合しても良い。

例えば、複数の評価値の各々に重み付けとして０から１の間にある値を乗算し、重み付けを乗算された評価値の平均値が閾値以上のときは異常、閾値未満のときは正常と判定する。これにより、例えば、動作よりも人物の体格から得た評価値を重視するなどができ、監視対象の基準を切り替えることができる。

次に、評価値に基づいて画像加工を行う加工部１０５の動作について説明する。評価部１０４で出力される評価値は、画像中の各人物が監視対象の空間において正常か異常かで表される。加工部１０５では、評価値が正常でプライバシー保護対象となる非監視人物には、モザイクやぼかしなどの隠蔽処理を行う。逆に、評価値が異常となった人物は監視対象人物として、画像中へのアノテーション追加や鮮明化などの強調処理を行うか、非隠蔽対象として隠蔽処理を行わずに未加工の画像のままとする。モザイク処理などの画像加工を行う範囲は、検出部１０２で特定された人物範囲とし、検出部１０２の処理方法によって、人物輪郭形状や人物を囲う矩形範囲となる。

以上、説明したように、本実施形態の映像情報処理装置によると、人物に依存したデータベースを準備することなく、監視対象の空間の人物の状況に合わせて非監視対象人物のプライバシー保護を実施できるようになる。

〔第２の実施形態〕
第１の実施形態での評価部１０４では、予め特徴量群の統計値と各特徴量との間の距離に対して閾値を設定して特徴量の評価を行う方法について説明した。事前に適切な閾値を設定することができれば、第１の実施形態の方法が有効であるが、監視対象の空間の状況に合わせて評価の基準を変更しても良い。

本実施形態では特徴量群の分布によって、異常と正常を判定する閾値を動的に変更する。つまり、本実施形態では、特徴量群の統計値だけでなく、その分布も考慮して閾値を決定するので、監視対象が存在する空間の人物の行動や状態の分布によって、正常と判定する許容範囲が変化する。なお、本実施形態では、評価部１０４以外の処理については、第１の実施形態と同様の形態で実施可能であるため、詳細な説明は省略する。

図７は、図５と同様に１次元の特徴量（例えば移動速度を特徴量とした場合）について、複数人物の特徴量をヒストグラムで表した図である。図７（Ｂ）は図７（Ａ）と比べて、特徴量の分布が広くなっている場合について示した図である。本実施形態の評価部１０４では、評価のための閾値を、標準偏差に応じて決めるようにする。図７（Ａ）では、特徴量群の統計値を平均値７０１とする。統計値は、平均値に限らず中央値や最頻値としても良い。次に特徴量群の標準偏差σ７０２を求める。この標準偏差７０２をもとに、平均値７０１と各特徴量の距離の閾値を決定する。例えば、図７では、標準偏差σの２倍の範囲を正常と判断する領域とする。つまり、平均値と各特徴量の間の距離に対する閾値を２σとする。これは、図７（Ａ）において、点７０３の位置を閾値とすることに相当する。この閾値に従うと、図７（Ａ）では、特徴量７０４は閾値７０３よりも乖離した値として異常と評価し、特徴量７０４の人物には異常を表す評価値を設定することになる。

次に、特徴量群の分布が異なり閾値が変動する例を図７（Ｂ）により説明する。図７（Ｂ）は図７（Ａ）と同じ人数の特徴量群のヒストグラムであるが、その分布が広がっている状態である。ここで、平均値７１１とある特徴量７１４の間の距離は、図７（Ａ）の平均値７０１と特徴量７０４の間の距離と同じであるとする。図７（Ａ）の場合と同様に標準偏差σ７１２を求め、平均値７１１から標準偏差σ７１２の２倍の値を閾値とする。図７（Ｂ）では、閾値は点７１３に相当する。平均値７１１と特徴量７１４との間の距離は、閾値７１３以下であるので、特徴量７１４の人物の評価値は正常と判断される。以上のように、図７（Ａ）と図７（Ｂ）では、平均値からの距離が同じ特徴量について、特徴量群の分布を考慮した結果、異なる評価結果となる。本実施形態の方法では、監視対象が存在する空間の複数人物の状況に合わせて、評価部１０４での判断基準を変更するので、予め閾値を設定する基準が明確でない場合に有効な実施方法となる。

〔第３の実施形態〕
以上では、１次元の特徴量の場合について説明したが、多次元の特徴量を取り扱う場合にも、各次元の値の標準偏差を求め、閾値を設定しても良い。

標準偏差を用いて閾値を決定することは、特徴量の分布を正規分布と仮定し、所定の確率密度の範囲を外れる特徴量を異常状態と設定することになる。上記の標準偏差の２倍の位置を閾値と設定する方法では、特徴量群の９５．４５％が分布する範囲を外れる場合を異常と設定することになる。このように、本実施形態の方法では、存在確率を元に閾値を設定することになる。

また、第１の実施形態では、マハラノビス距離を用いる実施形態について説明したが、マハラノビス距離の２乗はカイ２乗分布に従うことが知られている。従って、マハラノビス距離で閾値を決定することも、確率を元に閾値を決定することと等価となっている。具体的には、特徴量の自由度から定めたカイ２乗分布で、所望の確率の上側確率または両側確率のパーセント点を閾値とすることにより、特徴量の存在確率を基にした閾値設定ができるようになる。

〔第４の実施形態〕
以上の実施形態では、評価部１０４で算出する評価値を「正常」と「異常」の２値の値としたが、算出した距離をそのまま評価値として出力しても良い。距離をそのまま評価値とする場合には、評価部１０４では図４のステップＳ４０３、Ｓ４０４、Ｓ４０５の閾値処理を行わない。代わりに、人物び特徴量群の統計値と各特徴量についての距離を算出し、そのまま連続的な評価値として出力する。距離はユークリッド距離でもマハラノビス距離でも良い。

評価値が距離という連続値として出力される場合、加工部１０５では評価値の値に応じた画像加工処理を行うことができる。例えば、図８は評価値によって、人物領域に施すモザイク処理やぼかし処理の粗さを変化させる例を示している。図８の横軸は評価値の値であり、評価値は評価部１０４での距離に相当する。値が大きくなるほど特徴量群の平均的な値から外れ、異常行動や異常状態の人物である可能性が高いとしている。縦軸は、各評価値でのモザイク処理やぼかし処理を行う画素範囲を示している。例えば、大きな画素範囲でモザイク処理やぼかし処理を行えば、元画像が判別しにくい強力な隠蔽処理となる。一方、小さな画素範囲でモザイク処理やぼかし処理を行うと、元画像からの変化が小さくなるため、元画像の状態がわかりやすくなる。また、縦軸がゼロとなる範囲について（点８０２より右側）は、画像加工処理を行わないことを示す。評価値と画像加工の画素範囲の変換関数をこのように設定した場合、一定の評価値８０１までは、十分な画像加工によりプライバシー保護を行い、それ以上では、徐々に画像加工を行わなくなる。そして、評価値がある値８０２を超えた場合には、画像加工を行わず非隠蔽の人物とする。本実施形態では、評価値が連続値として出力されるので、実施する画像加工は隠蔽と非隠蔽の２つのみではなく、その人物の行動や状態の怪しさに合わせて、段階的な画像加工を行うことができる。

なお、上記では、隠蔽処理を線形的に変化させることについて説明したが、評価値に応じて非線形な変化とさせても良いし、監視対象人物の強調処理を評価値によって変化させても良い。強調処理変化の例としては、ある評価値までの監視対象人物は非隠蔽状態のみであるが、ある評価値を超えると当該人物領域にアノテーション処理を施すなどの手法が考えられる。アノテーション処理としては、人物領域の枠を点滅表示させるなどして、映像の閲覧者にさらなる注意を促してもよい。

〔第５の実施形態〕
以上の実施形態では、統計値は、現在にあたる１フレームの複数人物から得られる特徴量から算出することを想定して説明していた。これを過去の所定時間で検出された人物の特徴量を過去フレームとして蓄積し、この特徴量を用いて求めても良い。この場合、所定時間内で得られた全ての特徴量から統計値を算出する。そして、算出した統計値と現フレームの各特徴量の距離を計算し、特徴量評価を行う。この方法により、監視対象の空間に人物が１人または少人数しか出現しない場合でも、本実施形態の映像情報処理を行うことができるようになる。現フレームで算出する統計値は、過去の所定時間の特徴量群からのみ算出しても良いし、過去の特徴量群に現フレームの特徴量群を加えた特徴量群から算出しても良い。また、所定時間内で得られた全ての特徴量ではなく、過去フレームで得られた特徴量のうち、正常と判定された特徴量のみを現フレームの統計値算出に用いても良い。このように、フレーム間の人物の特徴の変化量を特徴量としてもよい。

また、統計値を算出する特徴量群の人物数を予め決めておく。過去フレームで複数の特徴量を累積していき、所定の人物数を超えた場合には、古いデータから削除して新しい特徴量を加えても良い。

また、特徴量を収集する所定時間を、現在の時刻や状況と関連する過去のある期間としても良い。例えば、毎日の同じ時刻に得られた特徴量から統計値を算出する方法や、１週間前（同一の曜日）に特徴量から統計値を算出する方法により、統計値を算出しても良い。これらの方法により、監視対象の空間の状況が、時刻や曜日で大きく変動する場合についても、適切なプライバシー保護ができる。

〔その他の実施形態〕
図９は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク９０７又は各種のコンピュータ読み取り可能な記憶媒体９０２、９０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ９０１（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

監視カメラなどの画像中の人物領域に対して画像加工処理を行うことができる。

１０ 人物
１００ 映像情報処理装置
１０１ 撮像部
１０２ 検出部
１０３ 算出部
１０４ 評価部
１０５ 加工部
１０６ 表示部
１０７ 記録部

Claims (16)

1. 検出手段が、撮像された空間の画像から複数の人物の各々が存在する複数の人物領域を検出する検出工程と、
   算出手段が、前記複数の人物領域の各々の特徴量を算出する算出工程と、
   評価手段が、前記複数の人物領域の各々の特徴量、及び、該複数の人物領域から算出した特徴量から求められる統計値に基づいて、評価値を算出する評価工程と、
   加工手段が、前記複数の人物領域の各々に、当該人物領域の評価値に基づいて、画像加工処理を施す加工工程と、
   を有することを特徴とする映像情報処理方法。
2. 撮像手段が、前記複数の人物が存在する空間の画像を撮像する撮像工程を更に有することを特徴とする請求項１に記載の映像情報処理方法。
3. 表示手段が、前記画像加工処理を施された人物領域を有する画像を表示する表示工程を更に有することを特徴とする請求項１又は請求項２に記載の映像情報処理方法。
4. 記録手段が、前記画像加工処理を施された人物領域を有する画像を記録する記録工程を更に有することを特徴とする請求項１乃至請求項３の何れか１項に記載の映像情報処理方法。
5. 前記統計値は、
   前記複数の特徴量の平均値、若しくは、前記複数の特徴量の最頻値、若しくは、前記複数の特徴量の中央値であることを特徴とする請求項１乃至請求項４の何れか１項に記載の映像情報処理方法。
6. 前記評価工程では、
   前記統計値と前記各人物の特徴量の間との距離を所定の閾値と比較することにより、評価値を算出することを特徴とする請求項１乃至請求項５の何れか１項に記載の映像情報処理方法。
7. 前記評価工程では、
   前記統計値と前記各人物の特徴量の間の距離と前記複数人物の特徴量の分布に基づいて、評価値を算出することを特徴とする請求項１乃至請求項５の何れか１項に記載の映像情報処理方法。
8. 前記評価工程では、
   前記統計値と前記各人物の特徴量の間との距離を評価値とすることを特徴とする請求項１乃至請求項５の何れか１項に記載の映像情報処理方法。
9. 前記加工工程では、
   前記人物領域の評価値に基づいて、当該人物領域に隠蔽処理を施すことを特徴とする請求項１乃至請求項７の何れか１項に記載の映像情報処理方法。
10. 前記加工工程では、
    前記人物領域の評価値に基づいて、当該人物領域に強調処理を施すことを特徴とする請求項１乃至請求項７の何れか１項に記載の映像情報処理方法。
11. 前記加工工程では、
    前記評価工程の評価の結果に基づいて、段階的な隠蔽処理を施すことを特徴とする請求項８に記載の映像情報処理装置。
12. 前記加工工程では、
    前記評価工程の評価の結果に基づいて、段階的な強調処理を施すことを特徴とする請求項８に記載の映像情報処理装置。
13. 前記画像は、所定時間に撮像された複数のフレームの画像であって、
    前記複数の特徴量は、前記複数のフレームの画像の間で対応する特徴の変化量であることを特徴とする請求項１乃至請求項１２の何れか１項に記載の映像情報処理方法。
14. 前記特徴量は、前記人物領域の移動方向、若しくは、該人物領域の移動速度、若しくは、該人物領域のシルエット、若しくは、該人物領域のテクスチャ、若しくは、該人物領域の色、のうち少なくとも１つの情報が含まれていることを特徴とする請求項１乃至請求項１３の何れか１項に記載の映像情報処理方法。
15. 請求項１乃至請求項１４の何れか１項に記載の映像情報処理方法をコンピュータに実行させることを特徴とするプログラム。
16. 撮像された空間の画像から複数の人物の各々が存在する複数の人物領域を検出する検出手段と、
    前記複数の人物領域の各々の特徴量を算出する算出手段と、
    前記複数の人物領域の各々の特徴量、及び、該複数の人物領域から算出した特徴量から求められる統計値に基づいて、評価値を算出する評価手段と、
    前記複数の人物領域の各々に、当該人物領域の評価値に基づいて、画像加工処理を施す加工手段と、
    を備えることを特徴とする映像情報処理装置。

Images