JP2006146413A - 対象追従装置 - Google Patents

Abstract

【課題】 複数個のカメラを用いて一人の人物の顔画像を撮影し、登録情報として、カメラ撮像画像毎に顔特徴量を抽出するので、顔画像登録時には人物一人当たりカメラの個数分だけ顔特徴量を保存しておく必要があり、登録人数が増大するにつれてシステム規模が大きくなるという問題点があった。
【解決手段】 撮像系を備えた複数の画像入力部と、画像入力部の撮像画像から顔検出を行う顔検出部と、顔検出部の出力から所定の方向に最も近い顔画像を選択する顔方向推定部と、画像データベースに保存されている登録画像および選択された顔画像の認証を行う顔認証部とを備えたので、登録顔を正面顔に限定せず、フリーフロー的な条件下で通行人の顔認証が可能になる。
【選択図】 図４

Description

この発明は、カメラ等の撮像手段により撮影される画像から人物等の顔画像を検出し、それを追跡する機能、および検出した顔画像を利用して画像データベース検索を行う機能、および通行人の顔画像から顔認証を行う機能を備えた対象追従装置に関するものである。

従来の顔画像検索技術によれば、顔パーツの特徴量を手がかりとして、検索に用いる顔画像に相当する人物に類似した顔画像の検索を行っている（例えば特許文献１）。

また、従来の顔追跡技術によれば、時間的に連続したフレーム間の顔領域の対応付けをテンプレートマッチングで行い、マッチング結果であるその類似度が最大となる位置を更新位置として得ることで、顔領域の追跡を行っている（例えば特許文献２）。

また、従来の顔認証技術によれば、複数個のカメラを用いて一人の人物の顔画像を撮影し、登録情報として、カメラ撮像画像毎に顔特徴量を抽出している（例えば特許文献３）。

特開２００３−１７８３０４号公報（段落番号００３６，００３７、図５） 特開２００３−３４６１５８号公報（段落番号００１９、図１） 特開２００４−１９２３７８号公報（段落番号０３１、図１）

従来の顔画像検索技術によれば、データベースへの入力として利用する顔画像との類似度だけで検索を実行するので、顔画像の属性、例えば性別や年齢などを基準に検索をすることが難しい場合が生じる。その結果、それらの属性で検索対象を絞り込めないという問題点があった。

この発明は、上記のような問題点を解決するためになされたものであり、顔画像の類似度だけでなく、性別や年齢などの属性を利用してデータベース検索結果を絞り込む対象追従装置を得ることを目的としている。

また、従来の顔追跡技術によれば、カメラ画像の中に複数の人物顔が存在した場合に、フレーム間でそれらの移動を追跡する方法としてテンプレートマッチングを利用する場合には、前フレームで異なる人物の顔が次フレームで同じ人物の顔に対して類似度が最も高くなり、個々の人物の顔追跡が失敗する場合が生じる。つまり、複数の人物顔が存在する場合、顔追跡が困難になるという問題点があった。また、顔追跡のためには、顔検出処理を高速化する必要があるが、ＤＳＰ（Digital Signal Processor）等のハードウエアを利用せず、ソフトウエア的に高速化を達成する一般的な手段として、入力画像の低解像度化による処理がある。しかしこの場合、画像に含まれる顔のサイズが小さい場合、顔検出の見落としが生じるという問題があった。

この発明は、上記のような問題点を解決するためになされたものであり、入力画像を部分的に低解像度化して顔検出の高速化を達成し、顔検出の見落としをなくすことで顔検出性能の低下を回避し、その上で入力画像に含まれる複数の顔画像を人物毎に安定して顔追跡を行う対象追従装置を得ることを目的としている。

また、前記のような顔認証技術によれば、利用される各々のカメラによって撮影される顔画像の顔特徴量を計算するので、顔画像登録時には人物一人当たりカメラの個数分だけ顔特徴量を保存しておく必要があり、登録人数が増大するにつれてシステム規模が大きくなるという問題点があった。

この発明は、上記のような問題点を解決するためになされたものであり、正面顔の顔特徴量の登録で顔認証が可能となる対象追従装置を得ることを目的としている。

この発明に係る対象追従装置は、撮像系を備えた画像入力部と、画像入力部で得られた画像をもとに顔領域を検出する顔検出部と、顔検出部から得られた顔画像から個人の属性の判定を行う属性判定部と、画像データベースから属性が一致する顔画像を検索する顔画像検索部と、顔画像検索部の検索結果および顔検出部から得られた顔画像の類似性を判定する類似性判定部とを備えたものである。

また、この発明に係る対象追従装置は、撮像系を備えた画像入力部と、画像入力部で得られた画像の解像度を下げる高速化設定部と、高速化設定部によって得られた解像度の異なる画像をもとに顔領域を検出する顔検出部と、検出された顔領域の動き方向の検出を行う動き検出部と、前フレームの顔検出領域と動き方向を元にした次フレームの顔領域を推定する顔追跡部とを備えたものである。

また、この発明に係る対象追従装置は、撮像系を備えた複数の画像入力部と、画像入力部の撮像画像から顔検出を行う顔検出部と、顔検出部の出力から所定の方向に最も近い顔画像を選択する顔方向推定部と、画像データベースに保存されている登録画像および選択された顔画像の認証を行う顔認証部とを備えたものである。

この発明に係る対象追従装置によれば、撮像系を備えた画像入力部と、画像入力部で得られた画像をもとに顔領域を検出する顔検出部と、顔検出部から得られた顔画像から個人の属性の判定を行う属性判定部と、画像データベースから属性が一致する顔画像を検索する顔画像検索部と、顔画像検索部の検索結果および顔検出部から得られた顔画像の類似性を判定する類似性判定部とを備えたので、大量の顔画像データベースの中から、例えば、不審人物等の候補を絞り込みなどをする場合に、効率よい検索が実現でき、特定個人の行動履歴を追跡することが可能になる。

また、この発明に係る対象追従装置によれば、撮像系を備えた画像入力部と、画像入力部で得られた画像の解像度を下げる高速化設定部と、高速化設定部によって得られた解像度の異なる画像をもとに顔領域を検出する顔検出部と、検出された顔領域の動き方向の検出を行う動き検出部と、前フレームの顔検出領域と動き方向を元にした次フレームの顔領域を推定する顔追跡部とを備えたので、顔追従のロバスト性が向上するので、正面顔等基準となる顔方向を選択する個人の特徴を最も捉えたベストと呼べる画像、ベストショット機能の強化につながる。

また、この発明に係る対象追従装置によれば、撮像系を備えた複数の画像入力部と、画像入力部の撮像画像から顔検出を行う顔検出部と、顔検出部の出力から所定の方向に最も近い顔画像を選択する顔方向推定部と、画像データベースに保存されている登録画像および選択された顔画像の認証を行う顔認証部とを備えたので、登録顔を正面顔に限定せず、フリーフロー的な条件下で通行人の顔認証が可能になる。

実施の形態１．
図１は本発明の実施の形態１による対象追従装置の構成を示すブロック図である。まず、カメラ等撮像系を含む画像入力部１によって撮影された画像から高速化設定部５を経由して部分的な解像度変換がなされ、顔検出部２によって画像中に含まれる複数の人物の顔を含む領域を検出する。高速化設定部５では、元解像度を元にして低解像度の画像を生成している。この低解像度の画像の生成にあたっては、段階的に複数の解像度を設けて生成してもよい。なお、元解像度の画像もそのまま顔検出部２に伝達される。

次に、顔追跡部３は、前フレームの顔検出領域と動き方向を元に次フレームの顔領域を推定するものである。動き検出部４では、顔検出部２および顔追跡部３で得られた情報をもとにして、検出された顔画像領域のフレーム間の対応付けを行うため、顔領域毎に動き検出の代表的手法であるオプティカルフロー計算により動きベクトルを求め、その方向に沿って、顔追跡部３によるテンプレートマッチング処理によって次フレームにおける顔検出位置との対応付けを行うことができる。顔追跡部３によって複数フレームにわたり追跡に成功した顔画像は、顔追跡部３と接続されている画像データベース２０に全て書き込んでもよく、あるいは追跡に成功した複数の顔画像の中から、大きさ、明るさ、顔方向等の状態を判定した上で、適度の明るさと大きさを持ち、かつ正面顔であるような、個人の特定に最適な顔画像を一枚ないしは複数枚を選択して画像データベース２０に書き込んでもよい。

ここで、オプティカルフロー計算の具体的手法としては、特開平１０−２４０９４５に記載されている手法があるが、別の手法を利用してもよく、動きベクトルを求められればそれでよい。

このような構成によれば、高速化設定部５によって設定された元解像度と低解像度の併用により、顔が小さいサイズで検出される可能性のある画像領域については元の解像度のまま、通行人の通路以外など、顔が存在し得ない領域にはマスクをかけ、それ以外は低解像度化することで、顔検出の見逃しを増加させることなく高速化を図ることができる。

さらにこのような構成によれば、動き検出部４によって検出された顔検出領域の動きベクトルを求めることで、次フレームにおける移動方向に関する情報を得ることができ、顔追跡部３のテンプレートマッチングだけでは、異なる人物の顔領域位置に関し間違った対応付けを取る可能性があったのを回避することができ、複数人物の顔の存在下でも安定した顔追跡が実現することになる。

このように顔追跡部３の処理であるテンプレートマッチングに関し、顔の移動方向を限定するために動き検出部４を設けることにより、複数人物の顔の存在下でも個人毎に顔領域移動のフレーム間の対応付けを取ることが可能となり、また、低解像度と高解像度の併用で、顔検出性能を落とすことなく、顔検出の高速化を図ることができる。

対象追従装置は、顔追跡手段として、フレーム間の動きベクトル検出により異なる人物の顔領域を対応付け、動きベクトル方向を利用して顔領域を追跡するので、画像中に複数人の顔画像が含まれる場合でも人物毎の対応付けを誤ることなく追跡することができる。

撮像系を備えた画像入力部と、画像入力部で得られた画像の解像度を下げる高速化設定部と、高速化設定部によって得られた解像度の異なる画像をもとに顔領域を検出する顔検出部と、検出された顔領域の動き方向の検出を行う動き検出部と、前フレームの顔検出領域と動き方向を元にした次フレームの顔領域を推定する顔追跡部とを備えたので、顔追従のロバスト性が向上するので、正面顔等基準となる顔方向を選択する個人の特徴を最も捉えたベストと呼べる画像、ベストショット機能の強化につながる。

なお、図において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文において共通することである。さらに、明細書全文に表れている構成要素の形容は、あくまで例示であってこれらの記載に限定されるものではない。

実施の形態２．
図２は本発明の実施の形態２による対象追従装置の構成を示すブロック図である。まず、実施の形態１同様、カメラを含む画像入力部１により撮影された画像から、顔検出部２によって顔検出がなされる。図２では、高速化設定部５を省略しているが、適宜、高速化設定部５を設けてもよい。属性判定部６では、顔検出部２から切り出された顔画像に対し性別、年齢（世代）、身長、人種等の個人の属性を判定することでカテゴリ付けがなされ、そのカテゴリ付けの情報に従って顔画像検索部７によって、画像データベース２０にあらかじめ保存されている顔画像に関する検索が行われる。なお、画像データベース２０には、個人の属性に関する情報も保管されている。

次に、候補選定部８によって顔画像検索部７を経由して指定した属性から検索結果の該当リストが生成され、一方、入力画像から切り出された顔検出部２からの顔画像との類似度を類似性判定部９によって計算し、その結果を検索結果出力部１０で出力する。これによって、性別、年齢（世代）、身長、人種等の属性情報が酷似した顔画像を画像データベース２０の検索結果からリストアップすることができる。

この構成によれば、入力顔画像からデータベース検索を行うために、単に顔の類似性によりデータ検索するよりも性別、年齢（世代）、身長、人種等の個人の属性により検索対象を限定することができるので、検索処理時間が短縮される。また、顔の類似性だけによる顔画像検索では、性別、年齢（世代）、身長、人種等の個人の属性からみれば関係性の薄い顔画像を多くリストアップする可能性があるのに対して、例えば、不審者等を画像データベースから効率よく検索する場合に、検索時間を短縮でき、リストアップされたデータの関連性を向上させることができる。

ここで、顔画像からの属性判定に関する具体的手法としては、特開平１１−１７５７２４に記載されている手法があるが、別の手法を利用してもよい。

対象追従装置は、顔画像検索手段として、顔の類似度だけでなく、性別や年齢などの属性を利用するので、顔画像を検索する際に、性別や年齢などの属性を利用して、データベースの内容をあらかじめカテゴリ分けし、検索時の候補絞込みに利用できる。

次に、顔画像検索部が顔画像正規化回路と顔画像自己想起回路を備える場合の動作について説明する。ここで、顔画像正規化回路の役割を説明するために、先に顔画像自己想起化回路について説明する。

顔画像自己想起回路とは、文献「ニューラルネットと脳理論」（M. A. Arbib著、サイエンス社、１９８９年）の４２６〜４２９頁に記載されているように、入力する顔画像に欠損がある場合にも、あらかじめその画像を学習しておくことで、回路に内在する自己想起機能により欠損部分を補い、元の顔画像を再現するという性質を持つ回路である。学習に用いる二次元画像をベクトルＸ（要素数Ｎとする）として表現し、Ｎ×Ｎの正方行列をＷとして、Ｘ´＝Ｗ・Ｘとするとき、Ｘ´とＸの誤差が小さくなるよう行列Ｗを学習により更新すれば、学習完了後、学習に用いた画像Ｉを入力すると、行列Ｗで表現される回路を経た出力画像Ｉ´＝Ｗ・Ｉがほぼ画像Ｉに近い形で出力されるようになる。ここで自己想起回路の特徴として、入力する画像が学習に用いたときの画像に対しノイズが混入したり、一部隠れた部分を含んだりする場合でも、その部分を想起により補完し、元の顔画像に近い画像を検索することができる。

ここで、顔画像自己想起回路の問題点として、入力画像が同じサイズであっても目や口の位置がずれている場合などは、出力画像として正しい想起結果が得られない。つまり、顔画像自己想起回路には顔画像の位置合わせやサイズ合わせを行う正規化処理が必要である。

本実施例では顔画像正規化回路も保有することで、正しく顔画像の想起結果が得られるようになる。顔画像正規化回路の具体的動作としては、任意のサイズを持ちうる顔画像を正規化フォーマット顔画像（例えば横６４画素×縦８０画素）へはめ込むため、入力顔画像から両目位置検出後、正規化フォーマット内の固定両目位置（例えば両目は上端より８０／３＝２６画素、左目・右目は各左右両端より６４／４＝１６画素）の位置に合わせるため、入力顔画像を縮小・拡大し、正規化フォーマット顔画像を構築する。これにより、位置ずれの問題は解消し、かつサイズの正規化も同時に行える。

また、サングラス等で目の部分が隠れた顔画像、マスク等で口の部分が隠れた顔画像などの隠蔽部分を持つ顔画像であっても、顔画像正規化回路および自己想起回路の機能によって顔画像の隠蔽部分を復元し、元の保存画像に近い出力画像を検索結果として得ることができるようになる。図３に部分的隠蔽を含む場合の自己想起回路出力結果を示す。具体的には、列方向に同一人物の顔画像を表示し、第一行目に学習に用いた元画像、第二行目に部分隠れ画像（ここでは目元、口元を隠している場合を例にしている）、第三行目に想起結果を示している。

また、カメラ設定および出力画像伝送路上で混入するノイズが画像に重畳するような場合でも、上記と同様、元の学習画像に近い画像を得ることができる。あるいは別の状況、例えば西日が差し込む場合や逆光等劣悪な照明条件下でも、同じように元の学習画像に近い画像を得ることができる。

また、撮像系を備えた画像入力部と、画像入力部で得られた画像をもとに顔領域を検出する顔検出部と、顔検出部から得られた顔画像から個人の属性の判定を行う属性判定部と、画像データベースから属性が一致する顔画像を検索する顔画像検索部と、顔画像検索部の検索結果および顔検出部から得られた顔画像の類似性を判定する類似性判定部とを備えたので、大量の顔画像データベースの中から、例えば、不審人物等の候補を絞り込みなどをする場合に、効率よい検索が実現でき、特定個人の行動履歴を追跡することが可能になる。

実施の形態３．
図４は本発明の実施の形態３による対象追従装置の構成を示すブロック図である。本実施の形態においては、カメラを含む画像入力部１を複数個持ち、単一の個人の顔画像を取得するのに際し、それぞれのカメラにより違った角度から顔を撮影し、画像入力部１に接続する顔検出部２により顔検出がなされ、こうして入力画像から切り出された顔画像は顔方向推定部１１で集計され、それぞれ顔方向の推定がなされ、特定の顔方向を持った顔画像が選択され、顔認証部１２に入力される。顔認証部１２では画像データベース２０のデータと顔方向推定部１１で推定した顔方向のデータとから認証結果を求め認証結果出力部１３に出力する。

この場合、特定の顔方向として、顔認証部１２に接続されている顔画像データベース２０に登録顔画像として登録した認証用顔画像の顔方向（例えば正面顔）に一致するよう一枚の顔画像を選択すれば、複数個のカメラをうまく配置することにより、通行者の脇見などをある程度許容するようなウォークスルー型顔認証システムの構築が容易となる。同時に、顔認証のために登録した顔画像が正面顔等特定の顔方向のものしかない場合、認証時には、その顔方向を持つものを、複数個のカメラ撮像画像の中から選ぶことで、歩行中の通行者など一般に顔方向が一定しない場合に対し、顔認証に都合のよい正面顔を安定して確保することが可能になる。

顔認証手段として、顔方向推定アルゴリズムにより、複数のカメラで撮影されたある特定の人物の顔画像から正面顔等特定の顔方向を持った画像を選び出すことができる。よって、複数個のカメラを利用した顔認証システムにおいて、各撮影画像に対し顔方向推定アルゴリズムを適用することで正面顔を含む画像を選び出すことができ、顔画像登録時に正面顔のみ登録しておけば、顔認証が可能になるといった従来にない顕著な効果を奏するものである。

また、撮像系を備えた複数の画像入力部と、画像入力部の撮像画像から顔検出を行う顔検出部と、顔検出部の出力から所定の方向に最も近い顔画像を選択する顔方向推定部と、画像データベースに保存されている登録画像および選択された顔画像の認証を行う顔認証部とを備えたので、登録顔を正面顔に限定せず、フリーフロー的な条件下で通行人の顔認証が可能になる。

本発明の実施の形態１による対象追従装置の構成を示すブロック図である。 本発明の実施の形態２による対象追従装置の構成を示すブロック図である。 本発明の実施の形態２を説明するための図である。 本発明の実施の形態３による対象追従装置の構成を示すブロック図である。

符号の説明

１ 画像入力部、２ 顔検出部、３ 顔追跡部、４ 動き検出部、５ 高速化設定部、６ 属性判定部、７ 顔画像検索部、８ 候補選定部、９ 類似性判定部、１０ 検索結果出力部、１１ 顔方向推定部、１２ 顔認証部、１３ 認証結果出力部、２０ 画像データベース。

Claims (4)

1. 撮像系を備えた画像入力部と、
   この画像入力部で得られた画像をもとに顔領域を検出する顔検出部と、
   この顔検出部から得られた顔画像から個人の属性の判定を行う属性判定部と、
   画像データベースから前記属性が一致する顔画像を検索する顔画像検索部と、
   この顔画像検索部の検索結果および前記顔検出部から得られた顔画像の類似性を判定する類似性判定部とを備えたことを特徴とする対象追従装置。
2. 顔画像検索部は、顔画像正規化回路および顔画像自己想起回路を備えたことを特徴とする請求項１記載の対象追従装置。
3. 撮像系を備えた画像入力部と、
   この画像入力部で得られた画像の解像度を下げる高速化設定部と、
   この高速化設定部によって得られた解像度の異なる画像をもとに顔領域を検出する顔検出部と、
   検出された前記顔領域の動き方向の検出を行う動き検出部と、
   前フレームの前記顔検出領域と前記動き方向を元にした次フレームの顔領域を推定する顔追跡部とを備えたことを特徴とする対象追従装置。
4. 撮像系を備えた複数の画像入力部と、
   これら画像入力部の撮像画像から顔検出を行う顔検出部と、
   これら顔検出部の出力から所定の方向に最も近い顔画像を選択する顔方向推定部と、
   画像データベースに保存されている登録画像および選択された前記顔画像の認証を行う顔認証部とを備えたことを特徴とする対象追従装置。