JP2009044526A - 撮影装置、撮影方法、人物認識装置および人物認識方法 - Google Patents

Abstract

【課題】外光による影響で撮影対象物体と背景領域の明るさが変化していたり、逆光のように明るさが極端に異なるような条件でも、撮影手段の入力画像調整要素の適切な制御が行なえるとともに、撮影対象物体が移動しているような場合であっても撮影対象物を適切な明るさで撮影することが可能となる撮影装置を提供する。
【解決手段】カメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から撮影対象領域内に存在する人物の顔領域を検出する撮影装置において、撮影対象領域内における人物の移動によって明るさが変動する領域をカメラの入力画像調整要素の制御に用いる測光範囲から除外して適切な撮影条件で人物を撮影する。
【選択図】 図１

Description

本発明は、たとえば、撮影手段としてのＩＴＶカメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から前記撮影対象領域内に存在する移動物体としての移動する人物の領域を検出する撮影装置および撮影方法、および、当該撮影装置および撮影方法を用いて前記撮影対象領域内に存在する人物を認識する人物認識装置および人物認識方法に関する。

従来、この種の撮影装置（および当該撮影装置を用いた人物認識装置）にあっては、撮影対象となる人物やその人物の顔領域を検出し、その領域を測光領域としてカメラの制御を行なうことによって、撮影対象となる人物やその顔の画像を適切な撮影条件で撮影する技術が多数提案されている（たとえば、特許文献１参照）。

しかし、上記特許文献１の技術では、太陽光などの外光による影響などで背景領域が極端に明るさ変動（照明変動）を生じている場合や、逆光のように極端に明るい、あるいは、暗い場合などでは、撮影対象となる人物領域あるいは人物の顔領域の検出自体が困難であることが多く、適切なカメラの入力画像調整要素の制御（以降、単にカメラ制御ともいう）を行なうことができなくなる。

また、撮影対象となる人物自体が歩行（移動）をしている場合などでは、時刻とともにかわる撮影対象領域の位置や明るさの変化にあわせた適切なカメラ制御が難しいといった問題がある。

これらの問題に対する対策としては、全く顔検出できない場合への対応として、事前に照明変動に対するパラメータを学習させておくことでカメラ制御を適切に行なうという技術が公知である（たとえば、特許文献２参照）。
しかし、上記特許文献２の技術では、照明条件や撮影対象人物のカメラからの位置関係のバリエーションは膨大であり、事前に充分なバリエーションを学習させることは困難であるといった問題がある。

また、撮影対象物体が検出できない場合には、検出ができるようになるまでカメラの制御パラメータを大きい値からから小さい値まで変化させ、検出できた段階で顔領域が適切な輝度となるように調整するといった技術も公知である（たとえば、特許文献３参照）。
しかし、上記特許文献３の技術では、撮影対象物体が動いている場合には追従することができないといった問題がある。
特許第３５０２９７８号公報 特開２００６−２０９２７７号公報 特開２００５−３４７８７３号公報

そこで、本発明は、外光による影響で撮影対象物体と背景領域の明るさが変化していたり、逆光のように明るさが極端に異なるような条件でも、撮影手段の入力画像調整要素の適切な制御が行なえるとともに、撮影対象物体が移動しているような場合であっても撮影対象物を適切な明るさで撮影することが可能となる撮影装置、撮影方法、人物認識装置および人物認識方法を提供することを目的とする。

本発明の撮影装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出手段と、前記撮影手段により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出手段と、この明るさ変動領域検出手段の検出結果および前記移動物体領域検出手段の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、少なくとも前記撮影手段により入力された画像を外部機器へ出力する出力手段とを具備している。

また、本発明の撮影方法は、入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出工程と、前記画像入力工程により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出工程と、この明るさ変動領域検出工程の検出結果および前記移動物体領域検出工程の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、少なくとも前記画像入力工程により入力された画像を外部機器へ出力する出力工程とを具備している。

また、本発明の人物認識装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出手段と、前記撮影手段により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出手段と、この明るさ変動領域検出手段の検出結果および前記人物領域検出手段の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、前記人物領域検出手段により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出手段と、この特徴情報抽出手段により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識手段とを具備している。

また、本発明の人物認識方法は、入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出工程と、前記画像入力工程により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出工程と、この明るさ変動領域検出工程の検出結果および前記人物領域検出工程の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、前記人物領域検出工程により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出工程と、この特徴情報抽出工程により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識工程とを具備している。

本発明によれば、外光による影響で撮影対象物体と背景領域の明るさが変化していたり、逆光のように明るさが極端に異なるような条件でも、撮影手段の入力画像調整要素の適切な制御が行なえるとともに、撮影対象物体が移動しているような場合であっても撮影対象物を適切な明るさで撮影することが可能となる撮影装置、撮影方法、人物認識装置および人物認識方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
なお、以下の説明では、たとえば、撮影手段としてのＩＴＶカメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から前記撮影対象領域内に存在する移動物体としての移動する人物の領域を検出する撮影装置を例として述べるが、本発明は撮影対象が移動する人物に限らず、たとえば、道路を走行する車両等の移動物体であっても同様に適用可能である。

また、本発明が適用される対象としては、たとえば、移動する人物や走行する車両等の移動物体を監視する監視装置や人物の顔領域を利用して特定人物を認識する人物認識装置といったアプリケーションが想定される。

図１は、第１の実施の形態に係る撮影装置の構成を概略的に示すものである。この撮影装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段としてのＩＴＶカメラ（以降、単にカメラと略称する）１０１、カメラ１０１により撮影された画像を受入れ、受入れた画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なう画像入力部１０２、画像入力部１０２により入力された画像から撮影対象領域内に存在する移動する人物（歩行者）Ｍの顔領域を検出する移動物体領域検出手段としての人物領域検出部１０３、画像入力部１０２により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出手段としての明るさ変動領域検出部１０４、人物領域検出部１０３の検出結果および明るさ変動領域検出部１０４の検出結果に基づきカメラ１０１の入力画像を調整する調整要素を制御する入力制御手段としての入力制御部１０５、および、画像入力部１０２により入力された画像等を外部機器へ出力する出力手段としての出力部１０６を有して構成されている。

以下、各構成要素について詳細に説明する。
カメラ１０１は、撮影対象領域（監視対象領域等）の画像を撮影するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたＩＴＶカメラから構成されている。また、カメラ１０１は、入力画像を調整する調整要素を備えているものとし、たとえば、ゲイン値、絞り値、シャッタ速度、ホワイトバランスなどがあげられる。

画像入力部１０２は、カメラ１０１により撮影された画像を受入れ、受入れた画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なった後、人物領域検出部１０３および明るさ変動領域検出部１０４へ送る。

人物領域検出部１０３は、たとえば、画像入力部１０２からの入力画像内において、あらかじめ用意されたテンプレートを移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などでも実現可能である。

また、検出された顔領域の部分の中から目、鼻といった顔部位の位置を検出することにより高精度に顔領域を検出することができ、具体的には、たとえば、文献［１］（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年））に開示されている方法などで実現可能である。

また、上記目、鼻の検出の他に口領域の検出を行なってもよく、具体的には、たとえば、文献［２］（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４））に開示されている技術を利用することで容易に実現が可能である。

さらに、これらの処理は１枚の画像の中から１つの顔領域だけを抽出するには全画像に対してテンプレートとの相関値を求め、最大となる位置とサイズを出力すればよいし、複数の顔領域を抽出するには画像全体に対する相関値の局所最大値を求め、１枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔領域を同時に見つけることも可能となる。

なお、本実施の形態では、人物領域検出部１０３での人物領域の検出として人物の顔領域を検出することを例にあげて述べているが、顔領域の代りに人物の全身領域を検出してもよく、具体的には、たとえば、文献［３］（松日楽信人、小川秀樹、吉見卓：「人と共存する生活支援ロボット」東芝レビューＶｏｌ．６０ Ｎｏ．７，ｐｐ１１２−１１５（２００５））に開示されている技術を利用することで容易に実現が可能である。

明るさ変動領域検出部１０４は、画像入力部１０２からの入力画像を局所領域に分割し、それぞれの局所領域内での時間的な輝度情報の変化、および、輝度が明るい値または暗い値で飽和しているかどうかを求める。本実施の形態では、たとえば、入力画像をＭ×Ｎ画素の局所領域に分割し、その局所領域内の輝度情報から、
・所定時間（第１の所定時間）△Ｔ１（人物の移動時間を意識した数秒単位）における局所領域内の平均輝度の分散値
・所定時間（第２の所定時間）△Ｔ２（太陽光等の外光による明るさ変動を意識した数時間単位）内における局所領域内の平均輝度の分散値
・局所領域内で輝度が明るい値または暗い値で飽和している画素数の比率
を求めることとし、後述の入力制御部１０５に渡す情報とする。

図２〜図４を参照して明るさ変動領域検出部１０４について更に詳細に説明する。
図２（ａ）は撮影対象領域Ｅ０内の撮影画像および当該画像内において人物の通過により輝度が変化する領域Ｅ１を示し、図２（ｂ）はその領域Ｅ１における輝度の変化状態を示している。
図３（ａ）は撮影対象領域Ｅ０内の撮影画像および当該画像内において人物の通過による輝度の変化がない領域Ｅ２を示し、図３（ｂ）はその領域Ｅ２における輝度の変化状態を示している。
図４（ａ）は撮影対象領域Ｅ０内の撮影画像および当該画像内において輝度の飽和が発生する領域Ｅ３を示し、図４（ｂ）はその領域Ｅ３における輝度の変化状態を示している。

なお、図２（ａ）〜図４（ａ）において、破線で区切られた各小領域は、それぞれ前述したように明るさ変動領域検出部１０４において分割されたＭ×Ｎ画素の局所領域Ｅを示している。

図２（ａ）に示すように、撮影対象領域Ｅ０内に背景に太陽光等の外光が入るドア（斜線部）Ｄがあり、そこから通行してくる人物Ｍを撮影している例などでは、夜間では背景が真っ暗な状態になる一方、日中は背景が外光の影響で白飛びするなど、逆光状態となる。このとき、領域Ｅ１は、人物Ｍが通行する床上に近い領域で、直接外光による影響を受けない領域のため、輝度の飽和は発生しないものの、人物Ｍの通行や当該領域Ｅ１に設置された物の動きなどで短時間での輝度の変動が多い領域となり、短時間△Ｔ１の時間単位での輝度変動が発生し、輝度の分散値は大きくなる。また、長時間の△Ｔ２でみても、外光の影響を間接的に受ける領域であるために変動が発生して輝度の分散値が大きい。

一方、図３（ａ）の領域Ｅ２は、人物ＭやドアＤよりも上の天井に近い領域で、人物Ｍの通行があったとしても、当該人物Ｍが撮影されない領域であるため、短時間△Ｔ１での輝度の変動はほとんど発生しないため、当該領域Ｅ２の輝度の分散値は小さくなるが、長時間△Ｔ２での変動は図２（ａ）の領域Ｅ１と同様に発生するため、当該領域Ｅ２の輝度の分散値は大きくなる。

図４（ａ）の領域Ｅ３は、ドアＤの領域で、ドア領域および入口そのものであるため、外光の影響を直接受け、日中では白飛び、夜間では黒つぶれといった値になる。当該領域Ｅ３も、人物Ｍの通行の影響を受ける領域では短時間△Ｔ１の中での輝度の変動は大きく、そうでない領域は長時間△Ｔ１の中での輝度の変動は小さくなる。

なお、上記した手法ではなく、輝度の時間的な変化Ｉ（ｔ）に対してＦＦＴの計算を行なって周波数成分に分解し、高周波成分の値を「短時間での変動」、低周波成分の値を「長時間での変動」として同様の明るさ変動情報の表現を行なうことも可能である。

入力制御部１０５は、人物の顔領域が検出されている状態では、カメラ１０１の制御を行なう必要がないが、顔領域が検出されなくなって所定時間Ｔｎｆが経過すると、撮影対象領域内における人物Ｍの通行やその他の物体の移動によって明るさが変動する領域をカメラ１０１の制御に用いる測光範囲から除外して、カメラ１０１の入力画像調整要素を制御する制御パラメータ（制御情報）を推定する。

出力部１０６は、たとえば、画像入力部１０２からの入力画像、人物領域検出部１０３で検出した顔領域の画像、および、当該顔領域の座標情報のうち少なくとも１つを外部機器に出力する。たとえば、想定するアプリケーションである監視装置の場合では、入力された画像全体を記録媒体に記録保存するほか、検出した人物領域の概説矩形を表示することによって、より監視対象人物の存在がわかりやすくなるほか、人物領域検出部１０３の検出結果を利用することで、人物検出時のみ入力画像を記録するといったことも可能である。また、たとえば、人物が特定人物であるかどうかを認識する人物認識装置の前段として利用することにより、明るさ変動の影響を軽減させて精度の高い認識処理を行なうことが可能となる。

次に、このような構成において全体的な処理の流れを図５に示すフローチャートを参照して説明する。
カメラ１０１は、たとえば、図２〜図４に示した撮影対象領域Ｅ０の画像を撮影しているものとする。カメラ１０１で撮影された画象は画像入力部１０２へ送られ、ここでデジタル化された後、人物領域検出部１０３および明るさ変動領域検出部１０４へそれぞれ送られる（ステップＳ１）。

人物領域検出部１０３は、画像入力部１０２により入力された画像から撮影対象領域Ｅ０内に存在する移動する人物Ｍの顔領域を検出し、その検出結果を入力制御部１０５へ送る（ステップＳ２）。

明るさ変動領域検出部１０４は、画像入力部１０２により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求め、その検出結果を入力制御部１０５へ送る（ステップＳ３）。

入力制御部１０５は、人物領域検出部１０３の検出結果および明るさ変動領域検出部１０４の検出結果に基づき制御パラメータを推定し、この推定した制御パラメータに基づきカメラ１０１の入力画像を調整する調整要素を制御する（ステップＳ４〜Ｓ６）。

すなわち、入力制御部１０５は、人物領域検出部１０３の検出結果に基づき、人物Ｍの顔領域が検出されたか否かを判定し（ステップＳ４）、人物Ｍの顔領域が検出されていない場合、あらかじめ定められた所定時間Ｔｎｆが経過したか否かを判定する（ステップＳ５）。

ステップＳ５における判定の結果、所定時間Ｔｎｆが経過した場合、入力制御部１０５は、明るさ変動領域検出部１０４の検出結果に基づき制御パラメータを推定し、この推定した制御パラメータに基づきカメラ１０１の入力画像を調整する調整要素を制御する（ステップＳ６）。

次に、出力部１０６は、たとえば、入力画像を調整する調整要素が制御された後にカメラ１０１から得られる画像を画像入力部１０２を介して受取り、当該入力画像や人物領域検出部１０３で検出した顔領域の画像、および、当該顔領域の座標情報のうち少なくとも１つを外部機器に出力し（ステップＳ７）、その後、ステップＳ１に戻り、上記同様な動作を繰り返す。

ステップＳ４における判定の結果、人物Ｍの顔領域が検出されている場合、あるいは、ステップＳ５における判定の結果、所定時間Ｔｎｆが経過していない場合、ステップＳ７に進み、上述した出力部１０６による出力処理を行なった後、ステップＳ１に戻り、上記同様な動作を繰り返す。

次に、ステップＳ６における入力制御部１０５の処理の流れについて図６に示すフローチャートを参照して詳細に説明する。
明るさ変動領域検出部１０４から得られた局所領域ごとの平均輝度の時間的な推移をＩａｖｇ（ｔ）とし（ステップＳ１１）、現在から過去にむかって観測時間Ｔｐ（△Ｔ２と同等、または、それよりも長い時間とし、たとえば、周期的な変動が予想される１日など）を設定したとする。

ここで、まずは白飛びや黒つぶれが発生している局所領域を測光範囲から除外するために、現在から過去Ｔｐまでの間にＩａｖｇ（ｔ）が飽和していた時間を積算し、その積算時間があらかじめ定められた閾値Ｔｆ以上あるか否かを判定する（ステップＳ１２）。

この判定の結果、積算時間が閾値Ｔｆ以上ない場合、次に人物Ｍの通行や物の動きなどの影響を除外するために、現在から過去Ｔｐまでの間で△Ｔ１単位に分割したＩａｖｇ（ｔ）の分散値を順序求め、求めた分散値があらかじめ定められた閾値Ｖｔｈ１以上となる時間単位があらかじめ定められた所定値Ｎｔｈ１以上あるか否かを判定する（ステップＳ１３）。

この判定の結果、求めた分散値が閾値Ｖｔｈ１以上となる時間単位が所定値Ｎｔｈ１以上ない場合、太陽光や室内照明光等による明るさ変動があるかどうかの判定をするために、現在から過去Ｔｐまでの間で△Ｔ２単位に分割したＩａｖｇ（ｔ）の分散値を順序求め、求めた分散値があらかじめ定められた閾値Ｖｔｈ２以上となる時間単位があらかじめ定められた所定値Ｎｔｈ２以上あるか否かを判定する（ステップＳ１４）。

この判定の結果、求めた分散値が閾値Ｖｔｈ２以上となる時間単位が所定値Ｎｔｈ２以上ない場合、当該局所領域を測光範囲に選定し（ステップＳ１５）、ステップＳ１６に進む。

ステップＳ１２における判定の結果、積算時間が閾値Ｔｆ以上ある場合、白飛びや黒つぶれが発生して影響を受けているものと判断して、当該局所領域を測光範囲から除外し（ステップＳ１７）、ステップＳ１６に進む。

また、ステップＳ１３における判定の結果、求めた分散値が閾値Ｖｔｈ１以上となる時間単位が所定値Ｎｔｈ１以上ある場合、人物Ｍの通行や物の動きなどの影響を受けているものと判断して、当該局所領域を測光範囲から除外し（ステップＳ１７）、ステップＳ１６に進む。人物Ｍの通行が激しい領域などでは△Ｔ１での輝度の分散が大きくなり、ここの条件で測光範囲から除外されることとなる。

また、ステップＳ１４における判定の結果、求めた分散値が閾値Ｖｔｈ２以上となる時間単位が所定値Ｎｔｈ２以上ある場合、太陽光や室内照明光等による明るさ変動の影響を受けているものと判断して、当該局所領域を測光範囲から除外し（ステップＳ１７）、ステップＳ１６に進む。

ステップＳ１６では、全ての局所領域の処理が完了しているか否かを判定し（ステップＳ１６）、全ての局所領域の処理が完了していない場合、ステップＳ１１に戻り、上記同様な動作を繰り返す。

このような処理により、撮影対象領域内における人物Ｍの通行や動物体によって明るさが変動する領域を測光範囲から除外して、人物Ｍの通行や背景にある物体の移動や動きに影響を受けない測光範囲が選定され、照明条件の変動（明るさ変動）を精度よく観測することが可能となる。

ステップＳ１６における判定の結果、全ての局所領域の処理が完了している場合、選定された測光範囲全体の明るさ情報（輝度情報）に基づき、カメラ１０１の入力画像調整要素を制御する制御パラメータを推定し、この推定した制御パラメータに基づきカメラ１０１の入力画像調整要素を制御する（ステップＳ１８）。

具体的には、たとえば、測光範囲全体が明るくなった場合、あるいは、暗くなった場合にあわせて人物領域や顔領域が適切に撮影できるようなカメラ１０１のゲイン値、絞り値、シャッタ速度、ホワイトバランスといった入力画像の調整要素を制御する制御パラメータを推定し、適切に制御することができる。

なお、人物以外の領域の輝度情報から人物領域や顔領域が適切に撮影できる入力画像調整要素の制御パラメータを推定するには、顔を検出できたときの制御パラメータと前述の測光範囲の輝度情報との対応表を随時テーブルとして管理しておき、当該随時テーブルを参照することで実現が可能である。

また、測光範囲のいずれもが条件を満たさず、測光範囲がなくなるといった場合が発生する可能性があるが、輝度値が飽和し続けている場合、あるいは、安定した照明条件で明るさ変動が一切ないといった条件であるため、前者である場合には白飛びが多く発生していたら暗く撮影するなど、その飽和量を軽減させる方向でカメラ１０１の入力画像調整要素を制御し、後者であれば画面全体を測光範囲として顔の検出に適した入力画像調整要素の制御パラメータとなるよう調整を行なう。

以上説明したように、第１の実施の形態によれば、撮影対象領域内における人物の通行や動物体によって明るさが変動する領域をカメラ１０１の入力画像調整要素の制御に用いる測光範囲から除外し、太陽光等の外光や屋内照明の変動による影響のみを受けている領域を測光範囲とすることで、人物の動きの影響を受けることなく、逆光状態が発生するような照明条件であっても適切な撮影条件で対象人物を撮影することが可能となる。

次に、第２の実施の形態について説明する。
なお、以下の説明では、たとえば、撮影手段としてのＩＴＶカメラにより当該カメラの入力画像調整要素を適切に制御しながら撮影対象領域の画像を撮影して入力し、その入力画像から前記撮影対象領域内に存在する人物の顔領域を検出して、当該人物はあらかじめ登録された人物であるか否かを認識する人物認識装置を例として述べる。

また、本発明が適用される対象としては、たとえば、移動する人物を監視する監視装置や、人物の顔を利用して人物認識を行なうことで、ビルディングや企業の建物のエントランスを出入りする通行者を管理する入退場管理システム、あるいは、商用施設や娯楽施設や交通機関など、通行者が多く出入りする場所での通行者認識といったアプリケーションが想定される。

図７は、第２の実施の形態に係る人物認識装置の構成を概略的に示すものである。この人物認識装置は、入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段としてのカメラ２０１、カメラ２０１により撮影された画像を受入れ、受入れた画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なう画像入力部２０２、画像入力部２０２により入力された画像から撮影対象領域内に存在する移動する人物Ｍの顔領域を検出する人物領域検出手段としての人物領域検出部２０３、画像入力部２０２により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出手段としての明るさ変動領域検出部２０４、人物領域検出部２０３の検出結果および明るさ変動領域検出部２０４の検出結果に基づきカメラ２０１の入力画像を調整する調整要素を制御する入力制御手段としての入力制御部２０５、人物領域検出部２０３により検出された顔領域から当該人物の顔の特徴情報を抽出する特徴情報抽出手段としての人物特徴抽出部２０６、認識対象とする人物の顔の特徴情報をあらかじめ登録しておく人物特徴情報管理部２０７、人物特徴抽出部２０６により抽出された人物の顔の特徴情報と人物特徴情報管理部２０７にあらかじめ登録された人物の顔の特徴情報とを照合することにより撮影対象領域内に存在する人物を認識する認識手段としての認識部２０８、および、認識部２０８の認識結果に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）や音声や画像を出力する出力手段としての出力部２０９を有して構成されている。

以下、各構成要素について詳細に説明するが、カメラ２０１、画像入力部２０２、人物領域検出部２０３、明るさ変動領域検出部２０４、および、入力制御部２０５は、前述した第１の実施の形態におけるそれと同様であるので説明は省略し、第１の実施の形態と異なる部分についだけ説明する。

人物特徴抽出部２０６は、人物領域検出部２０３で検出された顔の部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ「１」とするように正規化を行ない、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。

１枚の画像で認識結果を出すような処理であれば、これで特徴抽出は完了するが、連続した複数の画像を利用した動画像による計算をすることで、より精度の高い認識処理が行なえるため、本実施の形態ではこちらの手法を例にとって説明を行なう。カメラ２０１から連続して得られた画像から、ｍ×ｎピクセルの画像を切り出し、これらの画像から特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。

部分空間の計算法は、特徴ベクトルの相関行列（または、共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトルの集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。複数の顔領域が検出された場合には、それぞれの人物に対して同様の処理を繰り返して部分空間を計算すればよい。

人物特徴情報管理部２０７は、人物を同定するためにカメラ２０１から入力される顔特徴情報と同一の顔特徴情報を保存し管理する。本実施の形態では、カメラ２０１から得られる顔特徴情報と同一の特徴抽出をした後のｍ×ｎの特徴ベクトルとするが、特徴抽出をする前の顔画像であってもよいし、利用する部分空間やＫ−Ｌ展開を行なう直前の相関行列でも構わない。これらは個人識別番号をキーとして登録する。ここで登録する顔特徴情報は１名当たり１つでもよいし、状況によって切換え、同時に認識に利用できるように複数の顔特徴情報を登録していても構わない。

認識部２０８は、人物特徴抽出部２０６で得られた入力部分空間と人物特徴情報管理部２０７にあらかじめ登録された１つまたは複数の部分空間との類似度を求めることにより、あらかじめ登録された人物が現在の画像中にいるかどうかを判定する。複数の人物が存在した場合には、この処理を検出された人数分繰り返すことで画面内に存在する人物全員の認識が可能となる。

部分空間同士の類似度を求める計算方法は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での計算方法は、たとえば、文献［４］（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５〜３５２（１９８５年））に開示されている相互部分空間法を用いる。この方法では、あらかじめ蓄えられた登録情報の中の認識データも入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ，Φｄで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。

入力画像内に複数の顔が存在する場合には、それぞれ順番に人物特徴情報管理部２０７に保存された顔画像（辞書）との類似度計算を総当りで計算すれば、全ての人物に対する結果を得ることができる。たとえば、Ｘ名の人物が歩いてきた場合に、Ｙ名の辞書が存在すれば、Ｘ＊Ｙ回の類似度演算を行なうことで、Ｘ名全員の結果が出力できる。

また、ｍ枚の画像が入力された計算結果で認識結果が出力できない場合（登録者の誰とも判定されず、次のフレーム画像を取得して計算する場合）には、上記部分空間に入力される相関行列をそのフレームの１つ分を過去の複数のフレームで作成された相関行列の和に追加し、再度固有ベクトルの計算、部分空間の作成を行なって入力側の部分空間の更新が可能となる。つまり、歩行する人物の顔画像を連続して撮影して照合を行なう場合、画像を１枚ずつ取得して部分空間を更新しながら照合計算をしていくことで、徐々に精度の高くなる計算も可能となる。

出力部２０９は、たとえば、画像入力部２０２からの入力画像、人物領域検出部２０３で検出した顔領域の画像や特徴情報を外部機器に対して出力するとともに、認識部２０８の認識結果に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）を出力する。

次に、このような構成において全体的な処理の流れを図８に示すフローチャートを参照して説明する。
カメラ２０１は、たとえば、図２〜図４に示した撮影対象領域Ｅ０の画像を撮影しているものとする。カメラ２０１で撮影された画象は画像入力部２０２へ送られ、ここでデジタル化された後、人物領域検出部２０３および明るさ変動領域検出部２０４へそれぞれ送られる（ステップＳ２１）。

人物領域検出部２０３は、画像入力部２０２により入力された画像から撮影対象領域Ｅ０内に存在する移動する人物Ｍの顔領域を検出し、その検出結果を入力制御部２０５へ送る（ステップＳ２２）。

明るさ変動領域検出部２０４は、画像入力部２０２により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求め、その検出結果を入力制御部２０５へ送る（ステップＳ２３）。

入力制御部２０５は、人物領域検出部２０３の検出結果および明るさ変動領域検出部２０４の検出結果に基づき制御パラメータを推定し、この推定した制御パラメータに基づきカメラ２０１の入力画像を調整する調整要素を制御する（ステップＳ２４〜Ｓ２６）。

すなわち、入力制御部２０５は、人物領域検出部２０３の検出結果に基づき、人物Ｍの顔領域が検出されたか否かを判定し（ステップＳ２４）、人物Ｍの顔領域が検出されていない場合、あらかじめ定められた所定時間Ｔｎｆが経過したか否かを判定する（ステップＳ２５）。

ステップＳ２５における判定の結果、所定時間Ｔｎｆが経過した場合、入力制御部２０５は、明るさ変動領域検出部２０４の検出結果に基づき制御パラメータを推定し、この推定した制御パラメータに基づきカメラ２０１の入力画像を調整する調整要素を制御する（ステップＳ２６）。

次に、人物特徴抽出部２０６は、入力画像を調整する調整要素が制御された後にカメラ２０１から得られた画像に対し人物領域検出部２０３で検出された顔領域から当該人物の顔の特徴情報を抽出する（ステップＳ２７）。

ステップＳ２４における判定の結果、人物Ｍの顔領域が検出されている場合、あるいは、ステップＳ２５における判定の結果、所定時間Ｔｎｆが経過していない場合、ステップＳ２７に進み、上記同様な顔の特徴情報抽出処理を行なう。

次に、認識部２０８は、顔登録処理であるか否かを判定し（ステップＳ２８）、顔登録処理である場合、ステップＳ２７で抽出された顔の特徴情報を人物特徴情報管理部２０７に登録する顔登録処理を行ない（ステップＳ２９）、その後、ステップＳ２１に戻り、上記同様な動作を繰り返す。

認識部２０８は、ステップＳ２８における判定の結果、顔登録処理でなければ、顔認識処理であるので、ステップＳ２７で抽出された顔の特徴情報と人物特徴情報管理部２０７にあらかじめ登録された人物の顔の特徴情報とを照合することにより、撮影対象領域内に存在する人物はあらかじめ登録された人物であるか否かを判定する（ステップＳ３０）。

次に、出力部２０９は、たとえば、入力画像を調整する調整要素が制御された後にカメラ２０１から得られる画像を画像入力部２０２を介して受取り、当該入力画像や人物領域検出部２０３で検出した顔領域の画像や特徴情報を外部機器に対して出力するとともに、認識部２０８の認識結果に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）を出力し（ステップＳ３１）、その後、ステップＳ２１に戻り、上記同様な動作を繰り返す。

以上説明したように、第２の実施の形態によれば、撮影対象領域内における人物の通行や動物体によって明るさが変動する領域をカメラ２０１の入力画像調整要素の制御に用いる測光範囲から除外し、太陽光等の外光や屋内照明の変動による影響のみを受けている領域を測光範囲とすることで、人物の動きの影響を受けることなく、逆光状態が発生するような照明条件であっても適切な撮影条件で対象人物を撮影することが可能となり、これにより精度よく人物の識別を行なうことが可能となる。

本発明の第１の実施の形態に係る撮影装置の構成を概略的に示すブロック図。 明るさ変動領域検出部の処理を説明するための模式図。 明るさ変動領域検出部の処理を説明するための模式図。 明るさ変動領域検出部の処理を説明するための模式図。 第１の実施の形態に係る撮影装置の全体的な処理の流れを説明するフローチャート。 入力制御部の処理の流れを説明するフローチャート。 本発明の第２の実施の形態に係る人物認識装置の構成を概略的に示すブロック図。 第２の実施の形態に係る人物認識装置の全体的な処理の流れを説明するフローチャート。

符号の説明

Ｍ…人物（移動物体）、１０１，２０１…カメラ（撮影手段）、１０２，２０２…画像入力部、１０３，２０３…人物領域検出部（移動物体領域検出手段）、１０４，２０４…明るさ変動領域検出部（明るさ変動領域検出手段）、１０５，２０５…入力制御部（入力制御手段）、１０６，２０９…出力部（出力手段）、２０６…人物特徴抽出部（特徴情報抽出手段）、２０７…人物特徴情報管理部、２０８…認識部（認識手段）。

Claims (14)

1. 入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、
   この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出手段と、
   前記撮影手段により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出手段と、
   この明るさ変動領域検出手段の検出結果および前記移動物体領域検出手段の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、
   少なくとも前記撮影手段により入力された画像を外部機器へ出力する出力手段と、
   を具備したことを特徴とする撮影装置。
2. 前記入力制御手段は、前記移動物体領域検出手段において移動物体領域が検出されている時間は前記撮影手段の入力画像を調整する調整要素の制御は行なわず、前記移動物体領域検出手段において移動物体領域が検出できない時間があらかじめ定められた一定時間継続すると、第１の所定時間内での明るさ変動は存在しないが、当該第１の所定時間とは異なる第２の所定時間内での明るさ変動が存在する局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項１記載の撮影装置。
3. 前記入力制御手段は、所定時間明るさ変動がない局所領域は輝度が明るい値あるいは暗い値で飽和状態であるとし、当該局所領域を測光範囲から除外することを特徴とする請求項２記載の撮影装置。
4. 前記第１の所定時間とは移動物体の移動時間を意識した時間単位であり、前記第２の所定時間とは外光による明るさ変動を意識した時間単位であることを特徴とする請求項２記載の撮影装置。
5. 前記移動物体領域検出手段が検出する移動物体の領域とは、移動する人物の顔領域あるいは移動する人物の全身領域あるいは走行する車両の領域であることを特徴とする請求項１記載の撮影装置。
6. 入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、
   この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの移動物体の領域を検出する移動物体領域検出工程と、
   前記画像入力工程により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出工程と、
   この明るさ変動領域検出工程の検出結果および前記移動物体領域検出工程の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、
   少なくとも前記画像入力工程により入力された画像を外部機器へ出力する出力工程と、
   を具備したことを特徴とする撮影方法。
7. 前記入力制御工程は、前記移動物体領域検出工程において移動物体領域が検出されている時間は前記撮影手段の入力画像を調整する調整要素の制御は行なわず、前記移動物体領域検出工程において移動物体領域が検出できない時間があらかじめ定められた一定時間継続すると、第１の所定時間内での明るさ変動は存在しないが、当該第１の所定時間とは異なる第２の所定時間内での明るさ変動が存在する局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項６記載の撮影方法。
8. 入力画像を調整する調整要素を少なくとも１つ以上備え、撮影対象領域の画像を撮影して入力する撮影手段と、
   この撮影手段により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出手段と、
   前記撮影手段により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出手段と、
   この明るさ変動領域検出手段の検出結果および前記人物領域検出手段の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御手段と、
   前記人物領域検出手段により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出手段と、
   この特徴情報抽出手段により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識手段と、
   を具備したことを特徴とする人物認識装置。
9. 前記入力制御手段は、前記人物領域検出手段において人物領域が検出されている時間は前記撮影手段の入力画像を調整する調整要素の制御は行なわず、前記人物領域検出手段において人物領域が検出できない時間があらかじめ定められた一定時間継続すると、第１の所定時間内での明るさ変動は存在しないが、当該第１の所定時間とは異なる第２の所定時間内での明るさ変動が存在する局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項８記載の人物認識装置。
10. 前記入力制御手段は、所定時間明るさ変動がない局所領域は輝度が明るい値あるいは暗い値で飽和状態であるとし、当該局所領域を測光範囲から除外することを特徴とする請求項９記載の人物認識装置。
11. 前記第１の所定時間とは人物の移動時間を意識した時間単位であり、前記第２の所定時間とは外光による明るさ変動を意識した時間単位であることを特徴とする請求項９記載の人物認識装置。
12. 前記人物領域検出手段が検出する人物の領域とは、移動する人物の顔領域あるいは移動する人物の全身領域であることを特徴とする請求項８記載の人物認識装置。
13. 入力画像を調整する調整要素を少なくとも１つ以上備えた撮影手段により撮影対象領域の画像を撮影して入力する画像入力工程と、
    この画像入力工程により入力された画像から前記撮影対象領域内に存在する少なくとも１つの人物の領域を検出する人物領域検出工程と、
    前記画像入力工程により入力された画像を局所領域に分割し、それぞれの局所領域における明るさ情報の時間的変化の分布を求める明るさ変動領域検出工程と、
    この明るさ変動領域検出工程の検出結果および前記人物領域検出工程の検出結果に基づき前記撮影手段の入力画像を調整する調整要素を制御する入力制御工程と、
    前記人物領域検出工程により検出された人物領域から当該人物の特徴情報を抽出する特徴情報抽出工程と、
    この特徴情報抽出工程により抽出された人物の特徴情報とあらかじめ登録された人物の特徴情報とを照合することにより前記撮影対象領域内に存在する人物を認識する認識工程と、
    を具備したことを特徴とする人物認識方法。
14. 前記入力制御工程は、前記人物領域検出工程において人物領域が検出されている時間は前記撮影手段の入力画像を調整する調整要素の制御は行なわず、前記人物領域検出工程において人物領域が検出できない時間があらかじめ定められた一定時間継続すると、第１の所定時間内での明るさ変動は存在しないが、当該第１の所定時間とは異なる第２の所定時間内での明るさ変動が存在する局所領域を測光範囲とし、その測光範囲内の明るさ情報に基づき制御パラメータを推定し、この推定した制御パラメータに基づき前記撮影手段の入力画像を調整する調整要素を制御することを特徴とする請求項１３記載の人物認識方法。

Images