JP2009059073A - 撮影装置、撮影方法、人物認識装置および人物認識方法 - Google Patents

Abstract

【課題】外光による影響で撮影対象物体と背景領域の明るさが変化していたり、逆光のように明るさが極端に異なるような条件でも、撮影手段の入力画像調整要素の適切な制御が行なえるとともに、撮影対象物体が移動しているような場合であっても撮影対象物を適切な明るさで撮影することが可能となる撮影装置を提供する。
【解決手段】カメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から撮影対象領域内に存在する人物の顔領域を検出する撮影装置において、入力画像から所定時間を通して人物の顔領域を検出した位置情報の時間的な変化をマップとして管理しておき、時間によって人物の顔領域が検出できている位置で検出し難いあるいは検出できない状態が発生した場合にその検出し難いあるいは検出できない位置での検出ができるように、適切な撮影条件となるようカメラの入力画像調整要素を制御する。
【選択図】 図１

Description

本発明は、たとえば、撮影手段としてのＩＴＶカメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から前記撮影対象領域内に存在する移動物体としての移動する人物の領域を検出する撮影装置および撮影方法、および、当該撮影装置および撮影方法を用いて前記撮影対象領域内に存在する人物を認識する人物認識装置および人物認識方法に関する。

従来、この種の撮影装置（および当該撮影装置を用いた人物認識装置）にあっては、撮影対象となる人物やその人物の顔領域を検出し、その領域を測光領域としてカメラの制御を行なうことによって、撮影対象となる人物やその顔の画像を適切な撮影条件で撮影する技術が多数提案されている（たとえば、特許文献１参照）。

しかし、上記特許文献１の技術では、太陽光などの外光による影響などで背景領域が極端に明るさ変動（照明変動）を生じている場合や、逆光のように極端に明るい、あるいは、暗い場合などでは、撮影対象となる人物領域あるいは人物の顔領域の検出自体が困難であることが多く、適切なカメラの入力画像調整要素の制御（以降、単にカメラ制御ともいう）を行なうことができなくなる。

また、撮影対象となる人物自体が歩行（移動）をしている場合などでは、時刻とともにかわる撮影対象領域の位置や明るさの変化にあわせた適切なカメラ制御が難しいといった問題がある。

これらの問題に対する対策としては、全く顔検出できない場合への対応として、事前に照明変動に対するパラメータを学習させておくことでカメラ制御を適切に行なうという技術が公知である（たとえば、特許文献２参照）。
しかし、上記特許文献２の技術では、照明条件や撮影対象人物のカメラからの位置関係のバリエーションは膨大であり、事前に充分なバリエーションを学習させることは困難であるといった問題がある。

また、撮影対象物体が検出できない場合には、検出ができるようになるまでカメラの制御パラメータを大きい値からから小さい値まで変化させ、検出できた段階で顔領域が適切な輝度となるように調整するといった技術も公知である（たとえば、特許文献３参照）。
しかし、上記特許文献３の技術では、撮影対象物体が動いている場合には追従することができないといった問題がある。
特許第３５０２９７８号公報 特開２００６−２０９２７７号公報 特開２００５−３４７８７３号公報

そこで、本発明は、外光による影響で撮影対象物体と背景領域の明るさが変化していたり、逆光のように明るさが極端に異なるような条件でも、撮影手段の入力画像調整要素の適切な制御が行なえるとともに、撮影対象物体が移動しているような場合であっても撮影対象物を適切な明るさで撮影することが可能となる撮影装置、撮影方法、人物認識装置および人物認識方法を提供することを目的とする。

本発明の撮影装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出手段と、この移動物体領域検出手段により移動物体領域が検出された位置情報の時間的な変化をマップとして管理する移動物体検出位置管理手段と、この移動物体検出位置管理手段により管理されている情報に基づき、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での移動物体領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、少なくとも前記撮影手段により入力された画像を外部機器へ出力する出力手段とを具備している。

また、本発明の撮影方法は、入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出工程と、この移動物体領域検出工程により移動物体領域が検出された位置情報の時間的な変化をマップとして管理する移動物体検出位置管理工程と、この移動物体検出位置管理工程により管理されている情報に基づき、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での移動物体領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、少なくとも前記画像入力工程により入力された画像を外部機器へ出力する出力工程とを具備している。

また、本発明の人物認識装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出手段と、この人物領域検出手段により人物領域が検出された位置情報の時間的な変化をマップとして管理する人物検出位置管理手段と、この人物検出位置管理手段により管理されている情報に基づき、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での人物領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、前記人物領域検出手段により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出手段と、この特徴情報抽出手段により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識手段とを具備している。

また、本発明の人物認識方法は、入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出工程と、この人物領域検出工程により人物領域が検出された位置情報の時間的な変化をマップとして管理する人物検出位置管理工程と、この人物検出位置管理工程により管理されている情報に基づき、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での人物領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、前記人物領域検出工程により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出工程と、この特徴情報抽出工程により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識工程とを具備している。

本発明によれば、外光による影響で撮影対象物体と背景領域の明るさが変化していたり、逆光のように明るさが極端に異なるような条件でも、撮影手段の入力画像調整要素の適切な制御が行なえるとともに、撮影対象物体が移動しているような場合であっても撮影対象物を適切な明るさで撮影することが可能となる撮影装置、撮影方法、人物認識装置および人物認識方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
なお、以下の説明では、たとえば、撮影手段としてのＩＴＶカメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から前記撮影対象領域内に存在する移動物体としての移動する人物の領域を検出する撮影装置を例として述べるが、本発明は撮影対象が移動する人物に限らず、たとえば、道路を走行する車両等の移動物体であっても同様に適用可能である。

また、本発明が適用される対象としては、たとえば、移動する人物や走行する車両等の移動物体を監視する監視装置や人物の顔領域を利用して特定人物を認識する人物認識装置といったアプリケーションが想定される。

図１は、第１の実施の形態に係る撮影装置の構成を概略的に示すものである。この撮影装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段としてのＩＴＶカメラ（以降、単にカメラと略称する）１０１、カメラ１０１により撮影された画像を受入れ、受入れた画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なう画像入力部１０２、画像入力部１０２により入力された画像から撮影対象領域内に存在する移動する人物（歩行者）Ｍの顔領域を検出する移動物体領域検出手段としての人物領域検出部１０３、人物領域検出部１０３により人物領域が検出された位置情報の時間的な変化をマップとして管理する移動物体検出位置管理手段としての人物検出位置管理部１０４、人物検出位置管理部１０４により管理されている情報に基づき、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での人物領域の検出ができるようにカメラ１０１の入力画像を調整する調整要素を制御する入力制御手段としての入力制御部１０５、および、画像入力部１０２により入力された画像等を外部機器へ出力する出力手段としての出力部１０６を有して構成されている。

以下、各構成要素について詳細に説明する。
カメラ１０１は、撮影対象領域（監視対象領域等）の画像を撮影するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたＩＴＶカメラから構成されている。また、カメラ１０１は、入力画像を調整する調整要素を備えているものとし、たとえば、ゲイン値、絞り値、シャッタ速度、ホワイトバランスなどがあげられる。

画像入力部１０２は、カメラ１０１により撮影された画像を受入れ、受入れた画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なった後、人物領域検出部１０３および明るさ変動領域検出部１０４へ送る。

人物領域検出部１０３は、たとえば、画像入力部１０２からの入力画像内において、あらかじめ用意されたテンプレートを移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などでも実現可能である。

また、検出された顔領域の部分の中から目、鼻といった顔部位の位置を検出することにより高精度に顔領域を検出することができ、具体的には、たとえば、文献［１］（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年））に開示されている方法などで実現可能である。

また、上記目、鼻の検出の他に口領域の検出を行なってもよく、具体的には、たとえば、文献［２］（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４））に開示されている技術を利用することで容易に実現が可能である。

さらに、これらの処理は１枚の画像の中から１つの顔領域だけを抽出するには全画像に対してテンプレートとの相関値を求め、最大となる位置とサイズを出力すればよいし、複数の顔領域を抽出するには画像全体に対する相関値の局所最大値を求め、１枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔領域を同時に見つけることも可能となる。

なお、本実施の形態では、人物領域検出部１０３での人物領域の検出として人物の顔領域を検出することを例にあげて述べているが、顔領域の代りに人物の全身領域を検出してもよく、具体的には、たとえば、文献［３］（松日楽信人、小川秀樹、吉見卓：「人と共存する生活支援ロボット」東芝レビューＶｏｌ．６０ Ｎｏ．７，ｐｐ１１２−１１５（２００５））に開示されている技術を利用することで容易に実現が可能である。

人物検出位置管理部１０４は、画像入力部１０２からの入力画像を局所領域に分割し、それぞれの局所領域内であらかじめ定められた所定時間を通して人物領域検出部１０３で顔領域が検出された位置情報の頻度分布を確率分布として求め管理する。

本実施の形態では、入力画像をＭ×Ｎ画素の局所領域に分割し、それぞれの局所領域内で以下の２つの時間の間で顔領域の検出頻度がどの程度であったかどうかの確率分布を求め管理する。
第１の確率分布＝所定時間△Ｔ１（太陽光等の外光による明るさ変動条件を網羅するよう２４時間程度に設定）での確率分布
第２の確率分布＝所定時間△Ｔ２（△Ｔ１よりも短く設定し、明るさ変動が発生する１時間程度とする）での確率分布
を求め管理する。

図２を参照して人物検出位置管理部１０４について更に詳細に説明する。
図２（ａ），（ｂ）に示すように、長い方の時間△Ｔ１での顔領域検出位置情報をプロットし、各局所領域内に顔領域が存在した頻度を時間の長さで正規化した「顔領域の存在確率」を各局所領域ごとに管理する。

図２（ａ）は、撮影対象領域Ｅ０内に背景に太陽光等の外光が入るドア（斜線部）Ｄがあり、そこから通行してくる人物Ｍを撮影している例における人物Ｍの顔領域検出位置情報Ｐ１の頻度分布を示している。

図２（ｂ）は、図２（ａ）の頻度分布に対する長い方の時間△Ｔ１での第１の確率分布を示しており、局所領域が黒に近い領域はほとんど顔領域が検出されない領域を示し、白に近づくほど顔領域が多く検出された領域を示していて、図の例では、非斜線で示す局所領域Ｅ１は検出頻度が高い領域を、斜線で示す局所領域Ｅ２は検出頻度が中程度の領域を、交差斜線で示す局所領域Ｅ３は検出頻度が低い領域を、それぞれ示している。

第１の確率分布では、たとえば、１日を通しての顔検出位置が管理されていることから、明るさ変動条件などは網羅された状態となっており、照明条件等を整えれば顔が存在する領域がわかっており、照明条件によらず顔が存在する可能性がある領域が管理されたものとなる。

また、図２（ｃ），（ｄ）に示すように、上述した時間△Ｔ１時と同様に、短い方の時間△Ｔ２での顔領域検出位置情報をプロットし、各局所領域内に顔領域が存在した頻度を時間の長さで正規化した「顔領域の存在確率」を各局所領域ごとに管理する。

図２（ｃ）は、図２（ａ）で示したドアＤが開放されたために、本来は検出できているが（長い方の時間△Ｔ１での第１の確率分布では検出できているが）、当該時間ではその領域Ｅ４において顔領域が検出できていない場合（短い方の時間△Ｔ２での第２の確率分布では検出できていない場合）を示している。

図２（ｄ）は、図２（ｃ）の頻度分布に対する短い方の時間△Ｔ２での第２の確率分布を示しており、図２（ａ）と同様に示している。図２（ｄ）において、破線で囲んだ領域Ｅ５は顔領域が検出できていない領域を示していて、図２（ｃ）の領域Ｅ４に対応している。

すなわち、短い方の時間△Ｔ２の中では、その明るさ条件において顔領域が検出できた頻度分布を示す第２の確率分布となり、その時間特有の明るさ条件により場所によっては普段検出できているが当該時間では検出できなくなる領域Ｅ４が発生する。このように、照明条件等によって明るさ変動している結果を反映させた第２の確率分布も同時に作成するものである。
これらの第１の確率分布および第２の確率分布の各情報は、後述する入力制御部１０５へ送られる。

入力制御部１０５は、図３に示すように、人物検出位置管理部１０４から送られた第１の確率分布（図３（ａ）参照、図２（ｂ）に対応）と第２の確率分布（図３（ｂ）参照、図２（ｄ）に対応）との差分を求めることで、図３（ｃ）に示すように、当該撮影対象領域内において現在の明るさ条件で顔領域の検出がし難いあるいは検出できない領域Ｅ６を抽出して測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づきカメラ１０１の入力画像を調整する調整要素を制御する。

すなわち、顔領域が存在するはずの領域で顔領域が検出できるようにするため、領域Ｅ６で顔領域が検出できるようにカメラ１０１の入力画像を調整する調整要素を制御する。たとえば、領域Ｅ６の輝度が明るい方向で飽和している場合には、その領域Ｅ６が飽和しないように制御するといったことや、その領域Ｅ６の輝度変動をみて「人物が通過したとき」のように短時間で輝度が変化するときがあれば、その変化したときの輝度情報を基に輝度を変更するといったことが可能である。
たとえば、逆光状態で人物が歩行をした場合、普段は白飛びをして明るい値で輝度が飽和した状態であるが、人物が通行するときは逆光を遮るために輝度が低下する。その低下したときの輝度情報が適切な輝度となるように変更をするといったことも可能である。

なお、領域Ｅ６のみに特化して制御をしてしまうと最も顔領域が検出できなくなってしまう可能性もあるため、領域Ｅ６で求めた制御パラメータと第１の確率分布を基に定めた制御パラメータに対し重み付けして最終の制御パラメータを求めることで、明るさ条件の変動を精度よく観測することが可能となり、明るくなった場合、暗くなった場合にあわせてカメラ１０１のゲイン値、シャッタ速度、アイリスといった入力画像調整要素を制御することができる。

また、明るさ変動が存在しないような条件では、第１の確率分布と第２の確率分布はほぼ同じ条件で撮影をすることが可能であることから、当該処理を行なっても安定した入力画像調整要素で撮影を継続することが可能であることは明らかである。

出力部１０６は、たとえば、画像入力部１０２からの入力画像、人物領域検出部１０３で検出した顔領域の画像、および、当該顔領域の座標情報のうち少なくとも１つを外部機器に出力する。たとえば、想定するアプリケーションである監視装置の場合では、入力された画像全体を記録媒体に記録保存するほか、検出した人物領域の概説矩形を表示することによって、より監視対象人物の存在がわかりやすくなるほか、人物領域検出部１０３の検出結果を利用することで、人物検出時のみ入力画像を記録するといったことも可能である。また、たとえば、人物が特定人物であるかどうかを認識する人物認識装置の前段として利用することにより、明るさ変動の影響を軽減させて精度の高い認識処理を行なうことが可能となる。

次に、このような構成において全体的な処理の流れを図４に示すフローチャートを参照して説明する。
カメラ１０１は、たとえば、図２に示した撮影対象領域Ｅ０の画像を撮影しているものとする。カメラ１０１で撮影された画象は画像入力部１０２へ送られ、ここでデジタル化された後、人物領域検出部１０３および明るさ変動領域検出部１０４へそれぞれ送られる（ステップＳ１）。

人物領域検出部１０３は、画像入力部１０２により入力された画像から撮影対象領域Ｅ０内に存在する移動する人物Ｍの顔領域を検出し、その検出結果を人物検出位置管理部１０４および入力制御部１０５へ送る（ステップＳ２）。

人物検出位置管理部１０４は、前述したように、画像入力部１０２により入力された画像を局所領域に分割し、それぞれの局所領域内で２つの時間△Ｔ１、△Ｔ２を通して人物領域検出部１０３で顔領域が検出された位置情報の頻度分布を第１、第２の確率分布として求め管理する（ステップＳ３）。ここに、上記位置情報の頻度分布は、たとえば、人物領域検出部１０３で顔領域が検出されるごとにその位置情報を更新することで求められる。

入力制御部１０５は、人物検出位置管理部１０４から送られた第１の確率分布と第２の確率分布との差分を求めることで（ステップＳ４）、当該撮影対象領域内において現在の明るさ条件で顔領域の検出がし難いあるいは検出できない領域Ｅ６（図３（ｃ）参照）が存在するか否かを判定する（ステップＳ５）。

この判定の結果、顔領域の検出がし難いあるいは検出できない領域Ｅ６が存在する場合、入力制御部１０５は、当該領域Ｅ６が検出されたのは、あらかじめ定められたＸ回目（この例では例えば３回とするが、少なくとも１回以上であればよい）であるか否かを判定する（ステップＳ６）。

この判定の結果、当該領域Ｅ６が検出されたのがＸ回目である場合、入力制御部１０５は、当該領域Ｅ６を測光範囲とし、その測光範囲内全体の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づきカメラ１０１の入力画像を調整する調整要素を制御する（ステップＳ７）。

次に、出力部１０６は、たとえば、入力画像を調整する調整要素が制御された後にカメラ１０１から得られる画像を画像入力部１０２を介して受取り、当該入力画像や人物領域検出部１０３で検出した顔領域の画像、および、当該顔領域の座標情報のうち少なくとも１つを外部機器に出力し（ステップＳ８）、その後、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ５における判定の結果、顔領域の検出がし難いあるいは検出できない領域Ｅ６が存在しない場合、あるいは、ステップＳ６における判定の結果、当該領域Ｅ６が検出されたのがＸ回目でない場合、入力制御部１０５は、ステップＳ８に進み、上述した出力部１０６による出力処理を行なった後、ステップＳ１に戻り、上記同様な動作を繰り返す。

以上説明したように、第１の実施の形態によれば、入力画像から所定時間を通して人物の顔領域を検出した位置情報の時間的な変化をマップとして管理しておき、時間によって人物の顔領域が検出できている位置で検出し難いあるいは検出できない状態が発生した場合にその検出し難いあるいは検出できない位置での検出ができるように、適切な撮影条件となるようカメラの入力画像調整要素を制御することで、撮影対象領域内で照るさ明変動によって顔領域の検出がしにくい領域が発生するような環境であっても適切な撮影条件で対象人物を撮影することが可能となる。

次に、第２の実施の形態について説明する。
なお、以下の説明では、たとえば、撮影手段としてのＩＴＶカメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から前記撮影対象領域内に存在する人物の顔領域を検出して、当該人物はあらかじめ登録された人物であるか否かを認識する人物認識装置を例として述べる。

また、本発明が適用される対象としては、たとえば、移動する人物を監視する監視装置や、人物の顔を利用して人物認識を行なうことで、ビルディングや企業の建物のエントランスを出入りする通行者を管理する入退場管理システム、あるいは、商用施設や娯楽施設や交通機関など、通行者が多く出入りする場所での通行者認識といったアプリケーションが想定される。

図５は、第２の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段としてのカメラ２０１、カメラ２０１により撮影された画像を受入れ、受入れた画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なう画像入力部２０２、画像入力部２０２により入力された画像から撮影対象領域内に存在する移動する人物Ｍの顔領域を検出する人物領域検出手段としての人物領域検出部２０３、人物領域検出部２０３により人物領域が検出された位置情報の時間的な変化をマップとして管理する移動物体検出位置管理手段としての人物検出位置管理部２０４、人物検出位置管理部２０４により管理されている情報に基づき、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での人物領域の検出ができるようにカメラ２０１の入力画像を調整する調整要素を制御する入力制御手段としての入力制御部２０５、人物領域検出部２０３により検出された顔領域から当該人物の顔の特徴情報を抽出する特徴情報抽出手段としての人物特徴抽出部２０６、認識対象とする人物の顔の特徴情報をあらかじめ登録しておく人物特徴情報管理部２０７、人物特徴抽出部２０６により抽出された人物の顔の特徴情報と人物特徴情報管理部２０７にあらかじめ登録された人物の顔の特徴情報とを照合することにより撮影対象領域内に存在する人物を認識する認識手段としての認識部２０８、および、認識部２０８の認識結果に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）や音声や画像を出力する出力手段としての出力部２０９を有して構成されている。

以下、各構成要素について詳細に説明するが、カメラ２０１、画像入力部２０２、人物領域検出部２０３、人物検出位置管理部２０４、および、入力制御部２０５は、前述した第１の実施の形態におけるそれと同様であるので説明は省略し、第１の実施の形態と異なる部分についだけ説明する。

人物特徴抽出部２０６は、人物領域検出部２０３で検出された顔の部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ「１」とするように正規化を行ない、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。

１枚の画像で認識結果を出すような処理であれば、これで特徴抽出は完了するが、連続した複数の画像を利用した動画像による計算をすることで、より精度の高い認識処理が行なえるため、本実施の形態ではこちらの手法を例にとって説明を行なう。カメラ２０１から連続して得られた画像から、ｍ×ｎピクセルの画像を切り出し、これらの画像から特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。

部分空間の計算法は、特徴ベクトルの相関行列（または、共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトルの集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。複数の顔領域が検出された場合には、それぞれの人物に対して同様の処理を繰り返して部分空間を計算すればよい。

人物特徴情報管理部２０７は、人物を同定するためにカメラ２０１から入力される顔特徴情報と同一の顔特徴情報を保存し管理する。本実施の形態では、カメラ２０１から得られる顔特徴情報と同一の特徴抽出をした後のｍ×ｎの特徴ベクトルとするが、特徴抽出をする前の顔画像であってもよいし、利用する部分空間やＫ−Ｌ展開を行なう直前の相関行列でも構わない。これらは個人識別番号をキーとして登録する。ここで登録する顔特徴情報は１名当たり１つでもよいし、状況によって切換え、同時に認識に利用できるように複数の顔特徴情報を登録していても構わない。

認識部２０８は、人物特徴抽出部２０６で得られた入力部分空間と人物特徴情報管理部２０７にあらかじめ登録された１つまたは複数の部分空間との類似度を求めることにより、あらかじめ登録された人物が現在の画像中にいるかどうかを判定する。複数の人物が存在した場合には、この処理を検出された人数分繰り返すことで画面内に存在する人物全員の認識が可能となる。

部分空間同士の類似度を求める計算方法は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での計算方法は、たとえば、文献［４］（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５〜３５２（１９８５年））に開示されている相互部分空間法を用いる。この方法では、あらかじめ蓄えられた登録情報の中の認識データも入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ，Φｄで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。

入力画像内に複数の顔が存在する場合には、それぞれ順番に人物特徴情報管理部２０７に保存された顔画像（辞書）との類似度計算を総当りで計算すれば、全ての人物に対する結果を得ることができる。たとえば、Ｘ名の人物が歩いてきた場合に、Ｙ名の辞書が存在すれば、Ｘ＊Ｙ回の類似度演算を行なうことで、Ｘ名全員の結果が出力できる。

また、ｍ枚の画像が入力された計算結果で認識結果が出力できない場合（登録者の誰とも判定されず、次のフレーム画像を取得して計算する場合）には、上記部分空間に入力される相関行列をそのフレームの１つ分を過去の複数のフレームで作成された相関行列の和に追加し、再度固有ベクトルの計算、部分空間の作成を行なって入力側の部分空間の更新が可能となる。つまり、歩行する人物の顔画像を連続して撮影して照合を行なう場合、画像を１枚ずつ取得して部分空間を更新しながら照合計算をしていくことで、徐々に精度の高くなる計算も可能となる。

出力部２０９は、たとえば、画像入力部２０２からの入力画像、人物領域検出部２０３で検出した顔領域の画像や特徴情報を外部機器に対して出力するとともに、認識部２０８の認識結果に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）を出力する。

次に、このような構成において全体的な処理の流れを図６に示すフローチャートを参照して説明する。
カメラ２０１は、たとえば、図２に示した撮影対象領域Ｅ０の画像を撮影しているものとする。カメラ２０１で撮影された画象は画像入力部２０２へ送られ、ここでデジタル化された後、人物領域検出部２０３および明るさ変動領域検出部２０４へそれぞれ送られる（ステップＳ１１）。

人物領域検出部２０３は、画像入力部２０２により入力された画像から撮影対象領域Ｅ０内に存在する移動する人物Ｍの顔領域を検出し、その検出結果を入力制御部２０５へ送る（ステップＳ１２）。

人物検出位置管理部２０４は、前述したように、画像入力部２０２により入力された画像を局所領域に分割し、それぞれの局所領域内で２つの時間△Ｔ１、△Ｔ２を通して人物領域検出部２０３で顔領域が検出された位置情報の頻度分布を第１、第２の確率分布として求め管理する（ステップＳ１３）。ここに、上記位置情報の頻度分布は、たとえば、人物領域検出部２０３で顔領域が検出されるごとにその位置情報を更新することで求められる。

入力制御部２０５は、人物検出位置管理部２０４から送られた第１の確率分布と第２の確率分布との差分を求めることで（ステップＳ１４）、当該撮影対象領域内において現在の明るさ条件で顔領域の検出がしにくくなっている領域Ｅ６（図３（ｃ）参照）が存在するか否かを判定する（ステップＳ１５）。

この判定の結果、顔領域の検出がし難いあるいは検出できない領域Ｅ６が存在する場合、入力制御部２０５は、当該領域Ｅ６が検出されたのは、あらかじめ定められたＸ回目（この例では例えば３回とするが、少なくとも１回以上であればよい）であるか否かを判定する（ステップＳ１６）。

この判定の結果、当該領域Ｅ６が検出されたのがＸ回目である場合、入力制御部２０５は、当該領域Ｅ６を測光範囲とし、その測光範囲内全体の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づきカメラ２０１の入力画像を調整する調整要素を制御する（ステップＳ１７）。

次に、人物特徴抽出部２０６は、入力画像を調整する調整要素が制御された後にカメラ２０１から得られた画像に対し人物領域検出部２０３で検出された顔領域から当該人物の顔の特徴情報を抽出する（ステップＳ１８）。

ステップＳ１５における判定の結果、顔領域の検出がし難いあるいは検出できない領域Ｅ６が存在しない場合、あるいは、ステップＳ１６における判定の結果、当該領域Ｅ６が検出されたのがＸ回目でない場合、ステップＳ１８に進み、上記同様な顔の特徴情報抽出処理を行なう。

次に、認識部２０８は、顔登録処理であるか否かを判定し（ステップＳ１９）、顔登録処理である場合、ステップＳ１８で抽出された顔の特徴情報を人物特徴情報管理部２０７に登録する顔登録処理を行ない（ステップＳ２０）、その後、ステップＳ１１に戻り、上記同様な動作を繰り返す。

認識部２０８は、ステップＳ１９における判定の結果、顔登録処理でなければ、顔認識処理であるので、ステップＳ１８で抽出された顔の特徴情報と人物特徴情報管理部２０７にあらかじめ登録された人物の顔の特徴情報とを照合することにより、撮影対象領域内に存在する人物はあらかじめ登録された人物であるか否かを判定する（ステップＳ２１）。

次に、出力部２０９は、たとえば、入力画像を調整する調整要素が制御された後にカメラ２０１から得られる画像を画像入力部２０２を介して受取り、当該入力画像や人物領域検出部２０３で検出した顔領域の画像や特徴情報を外部機器に対して出力するとともに、認識部２０８の認識結果に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）を出力し（ステップＳ２２）、その後、ステップＳ１１に戻り、上記同様な動作を繰り返す。

以上説明したように、第２の実施の形態によれば、入力画像から所定時間を通して人物の顔領域を検出した位置情報の時間的な変化をマップとして管理しておき、時間によって人物の顔領域が検出できている位置で検出し難いあるいは検出できない状態が発生した場合にその検出し難いあるいは検出できない位置での検出ができるように、適切な撮影条件となるようカメラの入力画像調整要素を制御することで、撮影対象領域内で照るさ明変動によって顔領域の検出がしにくい領域が発生するような環境であっても適切な撮影条件で対象人物を撮影することが可能となり、これにより精度よく人物の識別を行なうことが可能となる。

本発明の第１の実施の形態に係る撮影装置の構成を概略的に示すブロック図。 人物検出位置管理部の処理を説明するための模式図。 入力制御部の処理を説明するための模式図。 第１の実施の形態に係る撮影装置の全体的な処理の流れを説明するフローチャート。 本発明の第２の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。 第２の実施の形態に係る人物認識装置の全体的な処理の流れを説明するフローチャート。

符号の説明

Ｍ…人物（移動物体）、１０１，２０１…カメラ（撮影手段）、１０２，２０２…画像入力部、１０３，２０３…人物領域検出部（移動物体領域検出手段）、１０４，２０４…人物検出位置管理部（人物検出位置管理手段）、１０５，２０５…入力制御部（入力制御手段）、１０６，２０９…出力部（出力手段）、２０６…人物特徴抽出部（特徴情報抽出手段）、２０７…人物特徴情報管理部、２０８…認識部（認識手段）。

Claims (10)

1. 入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、
   この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出手段と、
   この移動物体領域検出手段により移動物体領域が検出された位置情報の時間的な変化をマップとして管理する移動物体検出位置管理手段と、
   この移動物体検出位置管理手段により管理されている情報に基づき、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での移動物体領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、
   少なくとも前記撮影手段により入力された画像を外部機器へ出力する出力手段と、
   を具備したことを特徴とする撮影装置。
2. 前記移動物体検出位置管理手段は、前記撮影手段により入力された画像を局所領域に分割し、それぞれの局所領域において、あらかじめ定められた第１の所定時間の間で前記移動物体領域検出手段で移動物体領域が検出された位置情報の頻度分布を第１の確率分布として求め管理するとともに、あらかじめ定められた前記第１の所定時間よりも短い第２の所定時間の間で前記移動物体領域検出手段で移動物体領域が検出された位置情報の頻度分布を第２の確率分布として求め管理し、
   前記入力制御手段は、前記移動物体検出位置管理手段で管理されている第１の確率分布と第２の確率分布との差分を求めることで、前記撮影対象領域内の現在の明るさ条件で移動物体領域が検出し難いあるいは検出できない局所領域が存在するか否かを判定し、存在する場合は当該局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項１記載の撮影装置。
3. 前記移動物体領域検出手段が検出する移動物体の領域とは、移動する人物の顔領域あるいは移動する人物の全身領域あるいは走行する車両の領域であることを特徴とする請求項１記載の撮影装置。
4. 入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、
   この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出工程と、
   この移動物体領域検出工程により移動物体領域が検出された位置情報の時間的な変化をマップとして管理する移動物体検出位置管理工程と、
   この移動物体検出位置管理工程により管理されている情報に基づき、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって移動物体領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での移動物体領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、
   少なくとも前記画像入力工程により入力された画像を外部機器へ出力する出力工程と、
   を具備したことを特徴とする撮影方法。
5. 前記移動物体検出位置管理工程は、前記画像入力工程により入力された画像を局所領域に分割し、それぞれの局所領域において、あらかじめ定められた第１の所定時間の間で前記移動物体領域検出工程で移動物体領域が検出された位置情報の頻度分布を第１の確率分布として求め管理するとともに、あらかじめ定められた前記第１の所定時間よりも短い第２の所定時間の間で前記移動物体領域検出工程で移動物体領域が検出された位置情報の頻度分布を第２の確率分布として求め管理し、
   前記入力制御工程は、前記移動物体検出位置管理工程で管理されている第１の確率分布と第２の確率分布との差分を求めることで、前記撮影対象領域内の現在の明るさ条件で移動物体領域が検出し難いあるいは検出できない局所領域が存在するか否かを判定し、存在する場合は当該局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項４記載の撮影方法。
6. 入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、
   この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出手段と、
   この人物領域検出手段により人物領域が検出された位置情報の時間的な変化をマップとして管理する人物検出位置管理手段と、
   この人物検出位置管理手段により管理されている情報に基づき、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での人物領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、
   前記人物領域検出手段により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出手段と、
   この特徴情報抽出手段により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識手段と、
   を具備したことを特徴とする人物認識装置。
7. 前記人物検出位置管理手段は、前記撮影手段により入力された画像を局所領域に分割し、それぞれの局所領域において、あらかじめ定められた第１の所定時間の間で前記人物領域検出手段で人物領域が検出された位置情報の頻度分布を第１の確率分布として求め管理するとともに、あらかじめ定められた前記第１の所定時間よりも短い第２の所定時間の間で前記人物領域検出手段で人物領域が検出された位置情報の頻度分布を第２の確率分布として求め管理し、
   前記入力制御手段は、前記人物検出位置管理手段で管理されている第１の確率分布と第２の確率分布との差分を求めることで、前記撮影対象領域内の現在の明るさ条件で人物領域が検出し難いあるいは検出できない局所領域が存在するか否かを判定し、存在する場合は当該局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項６記載の人物認識装置。
8. 前記人物領域検出手段が検出する人物の領域とは、移動する人物の顔領域あるいは移動する人物の全身領域であることを特徴とする請求項７記載の人物認識装置。
9. 入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、
   この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出工程と、
   この人物領域検出工程により人物領域が検出された位置情報の時間的な変化をマップとして管理する人物検出位置管理工程と、
   この人物検出位置管理工程により管理されている情報に基づき、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生したか否かを判定し、時間によって人物領域が検出できている位置で検出し難いあるいは検出できない状態が少なくとも１回以上発生した場合、当該検出し難いあるいは検出できない位置での人物領域の検出ができるように前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、
   前記人物領域検出工程により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出工程と、
   この特徴情報抽出工程により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識工程と、
   を具備したことを特徴とする人物認識方法。
10. 前記人物検出位置管理工程は、前記画像入力工程により入力された画像を局所領域に分割し、それぞれの局所領域において、あらかじめ定められた第１の所定時間の間で前記人物領域検出工程で人物領域が検出された位置情報の頻度分布を第１の確率分布として求め管理するとともに、あらかじめ定められた前記第１の所定時間よりも短い第２の所定時間の間で前記人物領域検出工程で人物領域が検出された位置情報の頻度分布を第２の確率分布として求め管理し、
    前記入力制御工程は、前記人物検出位置管理工程で管理されている第１の確率分布と第２の確率分布との差分を求めることで、前記撮影対象領域内の現在の明るさ条件で人物領域が検出し難いあるいは検出できない局所領域が存在するか否かを判定し、存在する場合は当該局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項９記載の人物認識方法。

Images