JP2005242582A - 顔検出装置およびその方法 - Google Patents

Abstract

【課題】 様々な照明・カメラ条件下でその色環境に適応した肌色モデルを自動的に構築することができ、その肌色モデルを利用することで高速かつ色環境に左右されない顔検出を行うことができるとともに、時間経過による照明・カメラ条件の変化に肌色モデルを自動的に追従させることができる顔検出装置およびその方法を提供すること。
【解決手段】 装置１０の稼働開始直後には、様々な照明・カメラ条件を含んだ広い色環境未適応肌色領域を肌色モデルとして初期設定し、検出人物の顔の肌色情報が得られたときに、肌色モデル更新処理手段３７により、色環境未適応肌色領域よりも狭い肌色領域を肌色モデルとして更新設定し、以降、顔が検出される都度に肌色モデルの更新を繰り返し、様々な照明・カメラ条件下でその色環境に適応した肌色モデルを自動的に構築する。
【選択図】 図１

Description

本発明は、カメラで撮影された人物の肌色情報を利用してこの人物の顔を検出する顔検出装置およびその方法に係り、例えば、テレビ会議やテレビ電話等の各種の画像通信、データベース検索、ビル監視等のセキュリティシステム、顔による照合システム、ゲーム、教育、映画やテレビ番組等の制作、ヒューマンインターフェース、コンピュータ・グラフィクスにより生成された顔を連動させるリアルタイム表情追跡装置等に利用できる。

色情報を利用しない顔検出方法については、目や口等の顔部品の検出等を行うことによるフィーチャー・ベースト・アプローチ（Feature based Approach）、ニューラルネットワークやサポートベクターマシン（ＳＶＭ）等のパターン認識によるイメージ・ベースト・アプローチ（Image Based Approach）、およびこれらの両者を組み合わせた方法等、様々な方法が広く提案されている。

例えば、目および口の候補点を抽出し、その候補点の組合せにより顔候補を決定し、この顔候補について顔標準パターンとの比較を行い、顔／非顔判定、すなわち顔検出を行う方法がある（特許文献１参照）。

また、目および目の間の候補点を抽出し、顔部分の検出を行う方法もある（特許文献２参照）。

さらに、動画像の場合には、フレーム間の時間差分からエッジ画像を抽出し、静止画像の場合には、静止画像からエッジ画像を抽出し、このエッジ画像から顔候補を決定し、この顔候補について学習アルゴリズムを用いて顔／非顔判定、すなわち顔検出を行う方法もある（特許文献３参照）。

また、平均的な顔画像を表すテンプレートとのマッチングにより顔候補を決定し、この顔候補について学習アルゴリズムを用いて顔／非顔判定、すなわち顔検出を行う方法もある（特許文献４参照）。

そして、以上の特許文献１〜４に記載された方法に共通して言えることは、肌色等の色情報を利用していないため、照明条件やカメラ条件等による色環境の影響を受けにくいというメリットがある一方、基本的に画面全体をスキャンする必要があることから、処理に時間がかかるというデメリットがある。

これに対し、人間の肌色は、色領域の中でも特定の領域に存在することがわかっているため、顔検出時に肌色情報を利用することで顔検出を行う方法も広く提案されている。例えば、以下のように、ＨＳＶ、ＲＧＢ、ＹＵＶ等の様々な色素表現系により形成される色空間において人間の肌色領域を特定する方法が提案されている。

すなわち、事前にその照明条件・カメラ条件に合ったＲＧＢ空間上の肌色領域を手動で作成しておき、これにより肌色を抽出して顔候補部分を決定し、この顔候補部分内で眉間を検出することで顔検出を実現する方法がある（非特許文献１参照）。

また、色情報をＲＧＢ空間からＨＩ（Ｖ）空間に変換し、ＨとＩで予め決められた閾値により肌色を抽出し、その肌色部分に遺伝的アルゴリズムを適用して顔候補を決定し、この顔候補についてニューラルネットワークを適用して顔／非顔判定、すなわち顔検出を行う方法もある（特許文献５参照）。

さらに、事前にガウス関数により肌色モデルを作成しておき、その肌色モデルによって肌色を抽出して顔候補部分を決定し、この顔候補部分内の暗い部分（目や口に相当する部分）の分布を調べることで顔／非顔判定、すなわち顔検出を行う方法もある（特許文献６参照）。

そして、以上の非特許文献１および特許文献５，６に記載された方法に共通して言えることは、肌色情報を利用しているため、効率的な顔探索を行うことができ、処理の高速化を図ることができるというメリットがある一方、照明条件やカメラ条件等の色環境の影響を受け易いか、または手動による肌色領域の設定が必要であるというデメリットがある。これらは、前述した特許文献１〜４に記載された方法についての特徴と相反するものである。

すなわち、肌色情報を利用して顔検出を行うことで処理の高速化は期待できるものの、色空間上の固定領域を用いて肌色の抽出を行っているため、常に照明条件やカメラ条件等による色環境の影響を受けてしまい、人間の肌色を抽出できないか、または人間の肌以外で肌色に近い色を持つ物体を肌色として抽出してしまう等の問題が残ってしまう。

そこで、このような色環境条件の違いによる肌色抽出処理上の問題点を解消するために、カメラ設置環境における顔の肌色情報を肌色基準として利用することで色環境の違いに適応させようとする方法が提案されている。

例えば、肌色基準値を利用して画像中で特定の面積を持った肌色部分を抽出し、その肌色部分について動部分か否かの判定および顔判定を行うことで顔を検出し、その検出した顔の肌色情報を肌色基準値として更新し、次の顔検出処理を行う方法がある（特許文献７参照）。ここで、顔が検出されない場合には、画像中の色ヒストグラム中の肌色有効領域におけるピーク値を肌色基準値として更新する。

また、先ず、その色環境下において画像中の人物の肌色をマウス等の入力手段により指定し、この肌色情報を基に肌色抽出パラメータを決定する。そして、この肌色抽出パラメータを用いて肌色部分の抽出を行うことで顔検出処理を行う方法もある（特許文献８参照）。

特開平７−３１１８３３号公報 特開２００１−２１６５１５号公報 特開２００３−０４４８５３号公報 特開２００３−２７１９３３号公報 特開２０００−０４８１８４号公報 特開平１１−０１５９７９号公報 特開２０００−１０５８１９号公報 特開２００３−１０８９８０号公報 川戸慎二郎、鉄谷信二、「リング周波数フィルタを利用した眉間の実時間検出」、電子情報通信学会論文誌Ｄ−II、２００１年１２月、Ｖｏｌ．Ｊ８４−Ｄ−II、Ｎｏ．１２、ｐ．２５７７−２５８４

しかしながら、前述した特許文献７に記載された方法では、主として次のような３つの問題点がある。すなわち、第一の問題点は、画像の条件によっては人間の肌色を正しく抽出できない場合が生じる点である。その理由は、肌色基準は検出した顔の肌色情報を利用して保持・更新され、それ以降はこの肌色基準を利用して肌色抽出を行うが、顔部分が検出されない場合、または肌色基準が保持されていない場合には、現在の画像上での肌色有効領域中の色情報を持つ画素の色ヒストグラムを作成し、そのピーク値を肌色基準として設定している。このため、例えば画像内に人間の肌色ではないが肌色有効領域に含まれる色を持つ物体が多く含まれた場合、その色ヒストグラムにおけるピーク値を肌色基準としてしまうため、これにより作成された肌色基準値では人間の肌色の抽出を正しく行うことができない可能性があるためである。

第二の問題点は、常に顔が画像内に存在する場合以外は肌色基準値を設定するメリットがない点である。その理由は、画像内で規定以上の大きさの肌色領域が存在しない場合は、現在の肌色基準値を破棄して再び肌色有効領域中の色ヒストグラムにおけるピーク値を使って肌色基準値を設定してしまうためである。

第三の問題点は、肌色基準値は検出した一人の顔の肌色情報のみで決定されてしまう点である。その理由は、肌色は人によって色のばらつきがあることから、一人の顔の肌色情報で肌色基準値を決定してしまうと、人によってはその肌色基準値では正しく肌色抽出できないことがあるためである。

また、前述した特許文献８に記載された方法では、主として次のような３つの問題点がある。すなわち、第一の問題点は、その色環境下での肌色基準値を自動的に取得することができない点である。その理由は、肌色基準値を設定するにあたり、手動により画像内の肌色位置を指示または規定の位置に肌色を映す方法を採っているためである。

第二の問題点は、時間の経過によって照明条件の変化があると、肌色抽出ができなくなる点である。その理由は、手動による方法以外に肌色基準値を設定・更新する手段が提供されていないからである。

第三の問題点は、肌色パラメータは最初に肌色をサンプリングした一人の顔の肌色情報のみで決定されてしまう点である。その理由は、肌色は人によって色のばらつきがあることから、一人の顔の肌色情報で肌色パラメータを決定してしまうと、人によってはその肌色パラメータでは正しく肌色抽出できないことがあるためである。

本発明の目的は、様々な照明条件および／または様々なカメラ条件の下でその色環境に適応した肌色モデルを自動的に構築することができ、その肌色モデルを利用することで高速かつ色環境に左右されない顔検出を行うことができるとともに、時間経過による照明条件および／またはカメラ条件の変化に肌色モデルを自動的に追従させることができる顔検出装置およびその方法を提供するところにある。

本発明は、カメラで撮影された人物の肌色情報を利用してこの人物の顔を検出する顔検出装置であって、カメラで撮影された現在のフレーム画像から顔候補部分を絞り込む処理を行う際に用いられる肌色モデルを記憶する肌色モデル記憶手段と、この肌色モデル記憶手段に記憶された肌色モデルを用いて、現在のフレーム画像から顔候補部分を絞り込むために、現在のフレーム画像から肌色部分を抽出する処理を行う肌色部分抽出処理手段と、この肌色部分抽出処理手段により顔候補部分として抽出された肌色部分の中から人物の顔を検出する処理を行う顔検出処理手段と、この顔検出処理手段により検出された人物の顔の肌色情報を抽出する処理を行う検出人物顔肌色情報抽出処理手段と、この検出人物顔肌色情報抽出処理手段により抽出された人物の顔の肌色情報を用いて、肌色モデル記憶手段に記憶されている肌色モデルを、カメラ設置場所の現在の照明条件および／または現在のカメラ条件に適した肌色モデルに自動的に更新する処理を行う肌色モデル更新処理手段とを備え、肌色モデル記憶手段には、装置稼働開始直後にカメラで撮影される最初のフレーム画像から顔候補部分を絞り込む処理を行う際には、様々な照明条件および／または様々なカメラ条件を含んだ色環境未適応肌色領域が初期設定の肌色モデルとして記憶され、肌色モデル更新処理手段による更新処理後には、色環境未適応肌色領域よりも狭い肌色領域が更新後の肌色モデルとして記憶されることを特徴とするものである。

ここで、「色環境未適応肌色領域よりも狭い肌色領域」とは、その時点における色環境適用済肌色領域（その時点の照明条件および／またはカメラ条件に最適な状態の肌色領域）、または色環境未適応肌色領域と色環境適用済肌色領域との間の中間的な状態の肌色領域である。

また、「照明条件」とは、例えば、日向か日陰か、日中か夕方か夜間か、蛍光灯か白熱球か等の条件であり、「カメラ条件」とは、カメラ種類、色調調整、明るさ設定等の条件である。

このような本発明の顔検出装置においては、装置稼働開始直後には、様々な照明条件および／または様々なカメラ条件を含んだ色環境未適応肌色領域を肌色モデルとして初期設定し、この肌色モデルを用いて肌色部分抽出処理手段による抽出処理を行い、その後、顔検出処理手段により人物の顔を検出した場合に、検出人物顔肌色情報抽出処理手段により抽出された検出人物の顔の肌色情報を用いて肌色モデル更新処理手段による肌色モデルの更新処理を行うことにより、色環境未適応肌色領域よりも狭い肌色領域を、更新後の肌色モデルとして設定する。そして、以降、顔検出処理手段により人物の顔が検出される都度に、その顔の肌色情報を用いて肌色モデル更新処理手段による更新処理を行い、このように更新されていく肌色モデルを用いた肌色抽出処理および顔検出処理を繰り返す。

従って、様々な照明条件および／または様々なカメラ条件の下でその色環境に適応した肌色モデルを自動的に構築することが可能となり、また、時間経過による照明条件および／またはカメラ条件の変化に肌色モデルを自動的に追従させることが可能となる。このため、手動による色調調整等の設定が不要であるうえ、高速で、かつ色環境に左右されない顔検出を行うことが可能となり、これらにより前記目的が達成される。

また、前述した顔検出装置において、検出人物顔肌色情報抽出処理手段により抽出された人物の顔の肌色情報を人物毎に個別に記憶する人物別顔肌色情報記憶手段を備え、検出人物顔肌色情報抽出処理手段は、顔を検出された人物が、前のフレームまでに検出されている既検出人物である場合には、人物別顔肌色情報記憶手段に記憶されているその人物についての顔の肌色情報を更新し、前のフレームまでに検出されていない新規検出人物である場合には、人物別顔肌色情報記憶手段にその人物についての顔の肌色情報を新規に書き込む処理を行う構成とされ、肌色モデル更新処理手段は、人物別顔肌色情報記憶手段に人物毎に個別に記憶された顔の肌色情報を用いて肌色モデルを更新する処理を行う構成とされていることが望ましい。

ここで、既検出人物についての顔の肌色情報を更新する際には、現在（最新）のフレーム画像から得られた顔の肌色情報を更新後の情報としてもよいが、顔検出精度向上の観点からは、現在（最新）のフレーム画像を含めて複数のフレーム画像から得られた同一人物についての顔の肌色情報がある場合には、それらの全フレーム画像から得られた顔の肌色情報の平均値（但し、突出値を除く等の処理を行ってもよい。）を更新後の情報とすることが好ましい。なお、同一人物の顔か否かは、検出された各顔の画面上における位置関係（各フレーム画像間の顔の位置の変化量が同一人物の顔の移動とみなせる範囲内か否か、あるいは各フレーム画像間の顔の位置の時間変化が同一人物の顔の移動の軌跡とみなせるか否か）、あるいは各顔の肌色情報や顔特徴情報の同一性・類似性等により判断することができる。

このように人物毎に個別に更新される肌色情報を用いて肌色モデルを随時更新する構成とした場合には、個人による肌色のばらつきを含んだ肌色モデルを構築し、肌色抽出および顔検出の処理を行うことが可能となる。

さらに、前述した顔検出装置において、肌色モデル更新処理手段は、顔検出処理手段により顔を検出された人物の累積数が規定数に満たない状態では、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態から徐々に絞り込む処理を行う構成とされていることが望ましい。

このように顔を検出された人物の累積数が規定数に満たない状態では肌色モデルを色環境未適応肌色領域の状態から徐々に絞り込む処理を行う構成とした場合には、肌色モデル記憶手段に記憶されている肌色モデルは、顔検出処理手段により顔を検出された人物の累積数が規定数に達した時点で、その時点における色環境適用済肌色領域（その時点の照明条件および／またはカメラ条件に最適な状態の肌色領域）に設定されることになり、それまでは色環境未適応肌色領域と色環境適用済肌色領域との間の中間的な状態の肌色領域に設定されることになる。このため、顔を検出された人物の累積数が少ないうちから、一気に完全な色環境適用済肌色領域に絞り込む場合に生じる不都合、すなわち顔を検出された人物の肌色情報が標準的な人物の肌色情報から外れていた場合に肌色モデルが適切な領域に設定されないという不都合が解消される。

そして、上述した顔検出装置において、肌色モデル更新処理手段は、顔検出処理手段により顔を検出された人物の累積数が規定数に満たない状態では、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態から徐々に絞り込み、かつ、重心を移動する処理を行い、規定数に達した時点以降は、絞込みは行わずに重心移動を行う構成とされていることが望ましい。

このように顔を検出された人物の累積数が規定数に達する時点を境に、絞込みおよび重心移動の双方を行う処理から、絞込みを行わずに重心移動を行う処理に移行する構成とした場合には、肌色モデル記憶手段に記憶されている肌色モデルは、顔検出処理手段により顔を検出された人物の累積数が規定数に達した時点で、その時点における色環境適用済肌色領域（その時点の照明条件および／またはカメラ条件に最適な状態の肌色領域）に設定され、それ以降は、肌色モデルの重心移動は行うが、絞込みは行わないという処理が繰り返される。このため、一気に完全な色環境適用済肌色領域に絞り込む場合に生じる不都合を回避しつつ、人物の累積数が規定数に達する時点の前後を通じ、照明条件やカメラ条件の時間的変化に対応できる処理が実現される。

また、前述した顔検出装置において、肌色モデル更新処理手段は、直近の規定時間内に検出された人物の顔の肌色情報または直近に検出された規定人数内の人物の顔の肌色情報を用いて、肌色モデルを更新する処理を行う構成とされていることが望ましい。

このように直近の規定時間内または規定人数内の人物の顔の肌色情報を用いて肌色モデルを更新する処理を行う構成とした場合には、照明条件および／またはカメラ条件の緩やかな時間的変化に自動的に対応することが可能となる。

さらに、前述した顔検出装置において、現在のフレーム画像とそれ以前に撮影された少なくとも一つのフレーム画像に基づき設定された照明・カメラ条件変化検出用基準画面とを比較して画面全体に渡る明度および／または色情報の変化を検出し、画面全体に渡る明度および／または色情報の変化を検出した場合に、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態に戻す処理を行う照明・カメラ条件変化検出処理手段を備えていることが望ましい。

このように照明・カメラ条件変化検出処理手段を設けた場合には、照明条件および／またはカメラ条件の急激な変化を検出することが可能となり、急激な変化が検出された場合に、現在の肌色モデルを破棄して様々な照明条件および／または様々なカメラ条件を含んだ広い色環境未適応肌色領域で肌色モデルを再構築し、肌色抽出および顔検出の処理を再開することにより、照明条件および／またはカメラ条件の急激な変化に自動的に対応できる処理が実現される。なお、照明条件および／またはカメラ条件の急激な変化に自動的に対応できるのみならず、照明条件および／またはカメラ条件が緩やかに変化し、かつ、その間に人物の顔が検出されずに肌色モデルが更新されない結果、肌色モデルが不適切な状態になるという事態を回避できる構成にすることもできる。

そして、上述した顔検出装置において、照明・カメラ条件変化検出用基準画面は、顔検出処理手段により人物の顔が検出されたフレーム画像のうちの最新のフレーム画像とすることができる。

また、照明・カメラ条件変化検出用基準画面は、画面内に移動物体が写っていない状態の画像、すなわち背景画像としてもよい。この背景画像は、例えば、カメラで撮影された複数のフレーム画像を各画素単位で解析し、複数のフレーム画像間で安定した状態（明度および色情報に変化の見られない状態）となっている画素が検出された場合に、その状態をその画素部分についての背景画像とする処理等により形成することができる。このような背景画像の形成処理は、肌色抽出および顔検出の処理を行うプログラムとは別のプログラムにより実現してもよい。

さらに、前述した顔検出装置において、一定時間以上連続して人物の顔の検出ができない場合、または移動物体が画面内に現れたにもかかわらず、一定時間以上連続して若しくは累積して一定回数以上、人物の顔の検出ができない場合に、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態に戻す処理を行う肌色モデル不具合検出処理手段を備えていることが望ましい。

ここで、「一定時間以上連続して人物の顔の検出ができない場合」および「移動物体が画面内に現れたにもかかわらず、一定時間以上連続して人物の顔の検出ができない場合」における「一定時間」は、時間を計測することにより把握する場合の他、フレーム数を計測することにより把握する場合も含む。

また、「移動物体が画面内に現れたにもかかわらず、累積して一定回数以上、人物の顔の検出ができない場合」における「一定回数」は、（１）装置稼働開始後の通算回数（通算フレーム数）としてもよく、つまり移動物体が画面内に現れたにもかかわらず顔の検出ができないという状態が中断しても、中断にかかわらず通算するようにしてもよく、（２）移動物体が画面内に現れたにもかかわらず顔の検出ができないという状態が、顔の検出ができたフレームが途中で入ることにより中断された場合には、リセットされないのに対し、移動物体が画面内に現れたと判断されないフレームが途中で入ることにより中断された場合には、リセットされる（累積回数をゼロに戻す）ようにしてもよく、（３）移動物体が画面内に現れたにもかかわらず顔の検出ができないという状態が、移動物体が画面内に現れたと判断されないフレームが途中で入ることにより中断された場合には、リセットされないのに対し、顔の検出ができたフレームが途中で入ることにより中断された場合には、リセットされるようにしてもよく、（４）連続するフレームから同一の移動物体か否かの判定が可能な場合、移動物体の出現回数としてもよい。

このように肌色モデル不具合検出処理手段を設けた場合には、前述した照明・カメラ条件変化検出処理手段を設けた場合と同様に、照明条件および／またはカメラ条件の急激な変化があった場合に、現在の肌色モデルを破棄して様々な照明条件および／または様々なカメラ条件を含んだ広い色環境未適応肌色領域で肌色モデルを再構築し、肌色抽出および顔検出の処理を再開することにより、照明条件および／またはカメラ条件の急激な変化に自動的に対応できる処理が実現される。

そして、以上に述べた顔検出装置において、肌色モデル記憶手段に記憶される肌色モデルは、初期設定される色環境未適応肌色領域および肌色モデル更新処理手段による更新処理で設定される狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上に拡がる肌色分布について、この色空間上で、肌色部分抽出処理手段による抽出対象領域と非抽出対象領域との閾値を定めることにより構築された肌色モデルとすることができる。

ここで、「閾値」は、例えば、色空間を肌色部分抽出処理手段による抽出対象領域と非抽出対象領域とに仕切ることができる一つの数式または複数の数式の組合せで規定してもよく、色空間上の点の集合として規定してもよい。また、肌色部分抽出処理手段による抽出対象領域と非抽出対象領域との境界位置（例えば、２次元の色空間の場合には、境界線、３次元の色空間の場合には、境界面等となる。）の形状は、例えば、三角形や台形等の多角形状、円形状、楕円形状、直線と曲線との組合せ、曲線同士の組合せ、多角柱状、多角錐状、球形状、平面と曲面との組合せ、曲面同士の組合せ等、任意である。

また、以上に述べた顔検出装置において、肌色モデル記憶手段に記憶される肌色モデルは、初期設定される色環境未適応肌色領域および肌色モデル更新処理手段による更新処理で設定される狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上での多数の肌色サンプルを既知の学習アルゴリズムで学習させることにより構築された肌色モデルとすることができる。

ここで、肌色モデルとして「初期設定される色環境未適応肌色領域」を構築する際には、例えば、様々な照明条件および／または様々なカメラ条件の下で、肌色部分抽出処理手段による抽出対象領域に含ませるべき多数の肌色サンプル（あるいは、このような肌色サンプルと合わせ、いかなる照明条件・カメラ条件の下でも、肌色部分抽出処理手段による非抽出対象領域に含ませるべき多数の非肌色サンプル）を用いた学習を行うことができる。また、「肌色モデル更新処理手段による更新処理で設定される狭い肌色領域」を構築する際には、例えば、特定の照明条件および／または特定のカメラ条件の下で、肌色部分抽出処理手段による抽出対象領域に含ませるべき多数の肌色サンプル（あるいは、このような肌色サンプルと合わせ、特定の照明条件および／または特定のカメラ条件の下で、肌色部分抽出処理手段による非抽出対象領域に含ませるべき多数の非肌色サンプル）を用いた学習を行うことができる。そして、このような学習により構築される肌色モデルとしては、例えば、ガウス混合モデル、サポートベクターマシン、ニューラルネットワーク等を採用することができる。また、色環境未適応肌色領域と色環境適応済肌色領域との間の中間的な状態の肌色領域（肌色領域の絞込み過程で構築される肌色モデル）については、色環境未適応肌色領域の相似モデル（縮小モデル）としてもよく、色環境適応済肌色領域の相似モデル（拡大モデル）としてもよく、あるいは色環境未適応肌色領域と色環境適応済肌色領域とを補間して構築される補間モデルとしてもよい。

また、以上に述べた本発明の顔検出装置により実現される顔検出方法として、以下のような本発明の顔検出方法が挙げられる。

すなわち、本発明は、カメラで撮影された人物の肌色情報を利用してこの人物の顔を検出する顔検出方法であって、装置稼働開始直後には、肌色部分抽出処理手段により、様々な照明条件および／または様々なカメラ条件を含んだ色環境未適応肌色領域に初期設定された状態で肌色モデル記憶手段に記憶されている肌色モデルを用いて、カメラで撮影された最初のフレーム画像から顔候補部分を絞り込むために、最初のフレーム画像から肌色部分を抽出する処理を行い、続いて、顔検出処理手段により、肌色部分抽出処理手段により顔候補部分として抽出された肌色部分の中から人物の顔を検出する処理を行い、以降、人物の顔が検出されるまで、肌色部分抽出処理手段および顔検出処理手段による処理を繰り返して行い、人物の顔が検出された場合に、検出人物顔肌色情報抽出処理手段により、顔検出処理手段により検出された人物の顔の肌色情報を抽出する処理を行った後、肌色モデル更新処理手段により、検出人物顔肌色情報抽出処理手段により抽出された人物の顔の肌色情報を用いて、色環境未適応肌色領域に初期設定された状態で肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域よりも狭い肌色領域に設定変更することにより、カメラ設置場所のその時点での照明条件および／またはその時点でのカメラ条件に適した肌色モデルに自動的に更新し、その後、肌色部分抽出処理手段、顔検出処理手段、検出人物顔肌色情報抽出処理手段、および肌色モデル更新処理手段による処理を繰り返して行いながら、肌色モデル記憶手段に記憶されている肌色モデルを、各時点での照明条件および／または各時点でのカメラ条件に適した肌色モデルに自動的に更新していくことを特徴とするものである。

このような本発明の顔検出方法においては、前述した本発明の顔検出装置で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。

また、前述した顔検出方法において、検出人物顔肌色情報抽出処理手段により抽出された人物の顔の肌色情報を人物毎に個別に人物別顔肌色情報記憶手段に記憶しておき、顔を検出された人物が、前のフレームまでに検出されている既検出人物である場合には、検出人物顔肌色情報抽出処理手段により、人物別顔肌色情報記憶手段に記憶されているその人物についての顔の肌色情報を更新し、一方、前のフレームまでに検出されていない新規検出人物である場合には、検出人物顔肌色情報抽出処理手段により、人物別顔肌色情報記憶手段にその人物についての顔の肌色情報を新規に書き込む処理を行い、肌色モデル更新処理手段により肌色モデルを更新する処理を行う際には、人物別顔肌色情報記憶手段に人物毎に個別に記憶された顔の肌色情報を用いることが望ましい。

さらに、前述した顔検出方法において、肌色モデル更新処理手段により肌色モデルを更新する処理を行う際には、顔検出処理手段により顔を検出された人物の累積数が規定数に満たない状態では、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態から徐々に絞り込む処理を行うことが望ましい。

そして、上述した顔検出方法において、肌色モデル更新処理手段により肌色モデルを更新する処理を行う際には、顔検出処理手段により顔を検出された人物の累積数が規定数に満たない状態では、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態から徐々に絞り込み、かつ、重心を移動する処理を行い、規定数に達した時点以降は、絞込みは行わずに重心移動を行うことが望ましい。

また、前述した顔検出方法において、肌色モデル更新処理手段により肌色モデルを更新する処理を行う際には、直近の規定時間内に検出された人物の顔の肌色情報または直近に検出された規定人数内の人物の顔の肌色情報を用いて、肌色モデルを更新する処理を行うことが望ましい。

さらに、前述した顔検出方法において、照明・カメラ条件変化検出処理手段により、現在のフレーム画像とそれ以前に撮影された少なくとも一つのフレーム画像に基づき設定された照明・カメラ条件変化検出用基準画面とを比較して画面全体に渡る明度および／または色情報の変化を検出し、画面全体に渡る明度および／または色情報の変化を検出した場合に、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態に戻す処理を行うことが望ましい。

そして、上述した顔検出方法において、照明・カメラ条件変化検出用基準画面として、顔検出処理手段により人物の顔が検出されたフレーム画像のうちの最新のフレーム画像を用いることができる。

なお、上述した顔検出方法において、照明・カメラ条件変化検出用基準画面として、画面内に移動物体が写っていない状態の画像、すなわち背景画像を用いてもよい。

また、前述した顔検出方法において、肌色モデル不具合検出処理手段により、一定時間以上連続して前記人物の顔の検出ができない場合、または移動物体が画面内に現れたにもかかわらず、一定時間以上連続して若しくは累積して一定回数以上、人物の顔の検出ができない場合に、肌色モデル記憶手段に記憶されている肌色モデルを、色環境未適応肌色領域に初期設定された状態に戻す処理を行うことが望ましい。

さらに、以上に述べた顔検出方法において、肌色モデル記憶手段に記憶される肌色モデルは、初期設定される色環境未適応肌色領域および肌色モデル更新処理手段による更新処理で設定される狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上に拡がる肌色分布について、この色空間上で、肌色部分抽出処理手段による抽出対象領域と非抽出対象領域との閾値を定めることにより構築することができる。

また、以上に述べた顔検出方法において、肌色モデル記憶手段に記憶される肌色モデルは、初期設定される色環境未適応肌色領域および肌色モデル更新処理手段による更新処理で設定される狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上での多数の肌色サンプルを既知の学習アルゴリズムで学習させることにより構築してもよい。

以上に述べたように本発明によれば、様々な照明条件および／または様々なカメラ条件を含んだ色環境未適応肌色領域を肌色モデルとして初期設定し、この肌色モデルを用いて肌色抽出の処理を行い、その後、人物の顔を検出した場合に、その検出人物の顔の肌色情報を用いて肌色モデルの更新処理を行うことにより、色環境未適応肌色領域よりも狭い肌色領域を、更新後の肌色モデルとして設定し、以降、肌色モデルの更新処理を繰り返しながら、更新後の肌色モデルを用いて肌色抽出の処理を行うので、様々な照明条件および／または様々なカメラ条件の下でその色環境に適応した肌色モデルを自動的に構築することができ、また、時間経過による照明条件および／またはカメラ条件の変化に肌色モデルを自動的に追従させることができるため、手動による色調調整等の設定を不要にでき、高速で、かつ色環境に左右されない顔検出を行うことができるという効果がある。

以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の顔検出装置１０の全体構成が示されている。図２には、様々な照明・カメラ条件下での複数人による肌色分布５０（色環境未適応肌色領域５１に相当する分布）の一例が示され、図３には、ある特定の照明・カメラ条件下での複数人による肌色分布６０（色環境適応済肌色領域６１に相当する分布）の一例が示されている。また、図４は、肌色モデルとして設定される色環境未適応肌色領域５１および色環境適応済肌色領域６１の一例を示す図であり、図５は、色環境未適応肌色領域５１から色環境適応済肌色領域６１への絞込みおよび重心移動の説明図である。さらに、図６は、色環境未適応肌色領域５１に初期設定された状態の肌色モデルにより抽出される肌色部分の説明図であり、図７は、色環境適応済肌色領域６１に更新設定された状態の肌色モデルにより抽出される肌色部分の説明図である。そして、図８〜図１０には、顔検出装置１０による処理の流れがフローチャートで示されている。

図１において、顔検出装置１０は、顔を検出する対象となる人物を撮影するＣＣＤカメラやＣＭＯＳカメラ等のカメラ２０と、人物の顔の検出に必要な各種の処理を行う処理手段３０と、この処理手段３０に接続された色環境未適応肌色領域記憶手段４０、肌色モデル記憶手段４１、フレーム画像記憶手段４２、人物別顔肌色情報記憶手段４３、色環境適応済肌色領域記憶手段４４、および照明・カメラ条件変化検出用基準画面記憶手段４５とを備えている。

処理手段３０は、初期設定処理手段３１と、フレーム画像取込処理手段３２と、照明・カメラ条件変化検出処理手段３３と、肌色部分抽出処理手段３４と、顔検出処理手段３５と、検出人物顔肌色情報抽出処理手段３６と、肌色モデル更新処理手段３７と、肌色モデル不具合検出処理手段３８とを含んで構成されている。

初期設定処理手段３１は、顔検出装置１０の稼働開始直後に、色環境未適応肌色領域記憶手段４０に記憶されている広い色環境未適応肌色領域５１（図４参照）を、初期設定された状態の肌色モデルとして肌色モデル記憶手段４１に記憶させる処理を行うものである。装置稼働開始直後は、その時点での色環境が、どのような条件下にあるのか不明であるため、広い肌色モデルを設定して人間の肌部分の抽出漏れを防止するためである。

フレーム画像取込処理手段３２は、カメラ２０で撮影されてカメラ２０から送られてくるフレーム画像を処理手段３０に取り込み、フレーム画像記憶手段４２に保存する処理を行うものである。この際、取り込まれたフレーム画像は、フレーム画像記憶手段４２に、現在のフレーム画像（顔検出処理の対象となる最新のフレーム画像）として記憶され、その時点まで現在のフレーム画像として記憶されていたフレーム画像は、シフトされて前のフレーム画像として記憶される。なお、本実施形態では、例えば、毎秒５フレーム等の間隔で取込み・保存を行う。

照明・カメラ条件変化検出処理手段３３は、現在のフレーム画像（顔検出処理の対象となっている最新のフレーム画像）と、照明・カメラ条件変化検出用基準画面記憶手段４５に記憶されている照明・カメラ条件変化検出用基準画面とを比較することにより、画面全体に渡る明度および／または色情報の変化を検出し、画面全体に渡る明度および／または色情報の変化を検出した場合に、肌色モデル記憶手段４１に記憶されている肌色モデルを、色環境未適応肌色領域５１（図４参照）に初期設定された状態に戻す処理を行うものである。この際、比較される現在のフレーム画像および照明・カメラ条件変化検出用基準画面のいずれについても、背景画像だけではなく、人物が写っていることがあるが、この場合でも、いずれにも背景画像が人物により隠されずに写っている部分があるという前提に立てば、画面全体を画素単位で見て画面明度や色情報が一致する部分が全く見られない場合には、画面全体に渡る明度および／または色情報の変化があったと判断することができる。

肌色部分抽出処理手段３４は、肌色モデル記憶手段４１に現在記憶されている肌色モデルを用いて、現在のフレーム画像から顔候補部分を絞り込むために、現在のフレーム画像から肌色部分を抽出する処理を行うものである。この際、肌色部分抽出処理手段３４は、現在のフレーム画像を構成する各画素の持つ色情報が、それぞれ肌色モデルにより区分される抽出対象領域に含まれるのか、あるいは非抽出対象領域に含まれるのかを判断することにより行われる。

顔検出処理手段３５は、肌色部分抽出処理手段３４により顔候補部分として抽出されたフレーム画像内の肌色部分の中から、人物の顔を検出する処理を行うものである。この際、顔検出処理手段３５は、統計的手法やパターンマッチング等の既知の手法により、顔候補部分として絞り込まれたフレーム画像内の肌色部分が、最終的に顔であるか否かを判定する。

検出人物顔肌色情報抽出処理手段３６は、顔検出処理手段３５により検出された人物の顔の肌色情報を抽出する処理を行うものである。この際、検出人物顔肌色情報抽出処理手段３６は、検出された人物の顔部分を構成する各画素が持つ肌色情報を平均化する処理を行い、処理対象となっているフレーム画像の中のその検出人物の顔全体の平均化された肌色情報を算出する。

また、検出人物顔肌色情報抽出処理手段３６は、顔を検出された人物が、前のフレームまでに検出されている既検出人物である場合には、人物別顔肌色情報記憶手段４３に記憶されているその人物についての顔の肌色情報を更新し、前のフレームまでに検出されていない新規検出人物である場合には、人物別顔肌色情報記憶手段４３にその人物についての顔の肌色情報を新規に書き込む処理を行う。この際、既検出人物についての顔の肌色情報の更新処理は、その人物について現在のフレーム画像から抽出された顔の肌色情報およびそれ以前のフレーム画像から抽出された顔の肌色情報（同一人物についての顔の肌色情報であると判断された全てのフレーム画像からの抽出情報）を平均化した肌色情報を算出し、この平均化した肌色情報を人物別顔肌色情報記憶手段４３の中の該当人物のレコードに書き込む処理である。但し、平均化処理の際には、他の肌色情報から突出した肌色情報は除いてもよい。

なお、検出人物顔肌色情報抽出処理手段３６による既検出人物か新規検出人物かの判断処理は、前フレームまでの処理で顔検出処理手段３５により顔が検出されたときに把握される顔の位置情報、あるいは顔の肌色情報、顔特徴情報等を利用して行われる。つまり、各フレーム画像間の顔の位置の変化量が同一人物の顔の移動とみなせる範囲内か否か、あるいは各フレーム画像間の顔の位置の時間変化が同一人物の顔の移動の軌跡とみなせるか否か等により判断することができる。各フレーム画像内における各検出人物の顔の位置情報は、例えば、人物別顔肌色情報記憶手段４３に人物毎の肌色情報とともに記憶させておくことができる。また、画面上から一旦消えた人物が再び画面上に現れた場合には、実際には同一人物であっても、それらは検出人物顔肌色情報抽出処理手段３６による処理上は別の人物として取り扱われる。一方、画面内に写っていた人物が一瞬横を向く等により顔を検出できないフレームが途中に介在しても、その前後のフレーム画像における検出人物の顔の位置情報により同一人物であると判断できる場合には、同一人物として取り扱われる。

肌色モデル更新処理手段３７は、検出人物顔肌色情報抽出処理手段３６により抽出されて人物別顔肌色情報記憶手段４３に各人物毎に個別に記憶されている各人物の顔の肌色情報を用いて、肌色モデル記憶手段４１に記憶されている肌色モデルを、カメラ設置場所の現在の照明条件および現在のカメラ条件に適した肌色モデルに自動的に更新する処理を行うものである。この際、肌色モデル更新処理手段３７は、顔検出処理手段３５により顔を検出された人物の累積数が規定数に満たない状態では、肌色モデル記憶手段４１に記憶されている肌色モデルを、色環境未適応肌色領域５１（図４参照）に初期設定された状態から徐々に絞り込み、かつ、重心を移動する処理を行う。そして、規定数に達した時点で、肌色モデル記憶手段４１に記憶されている肌色モデルを、色環境適応済肌色領域６１に設定し、それ以降は、絞込みは行わずに重心移動のみを行う（図５参照）。

なお、色環境適応済肌色領域６１の状態まで絞込んだ後も、重心移動を行うのは、人間の肌色は色空間の中の特定の領域に存在することがわかっているが、その領域は、各時点におけるカメラ設置場所の照明条件やカメラ条件により異なってくるからである。つまり、ある時点における特定の色環境下での最適な肌色領域を肌色モデルとして設定しても、照明条件やカメラ条件の経時的変化により、その肌色モデルでは人間の肌色部分を正しく抽出することができず、逆に、人間の肌ではないが、肌色に近い色を持つ物体を抽出してしまう事態が生じるからである。

また、肌色モデル更新処理手段３７は、肌色モデルを更新する際には、各人物の顔の肌色情報（各人物毎に平均化された肌色情報）を、さらに複数人物について平均化した肌色情報を算出し、その算出された肌色情報に、肌色モデルの重心が一致するように、肌色モデルを移動させる。そして、このように複数人物について平均化した肌色情報を算出する際には、肌色モデル更新処理手段３７は、直近の規定時間内に検出された人物の顔の肌色情報、または直近に検出された規定人数内の人物の顔の肌色情報を用いる。

肌色モデル不具合検出処理手段３８は、一定時間以上（所定フレーム数以上）連続して人物の顔の検出ができない場合、または移動物体が画面内に現れたにもかかわらず、一定時間以上（所定フレーム数以上）連続して若しくは累積して一定回数以上、人物の顔の検出ができない場合に、肌色モデル記憶手段４１に記憶されている肌色モデルを、色環境未適応肌色領域５１（図４参照）に初期設定された状態に戻す処理を行うものである。本実施形態では、一例として、移動物体が画面内に現れたにもかかわらず、人物の顔を検出できないという事態の累積発生回数が一定回数以上となった場合に、肌色モデルを初期設定の状態に戻す処理を行うものとして説明を行う（図１０参照）。

色環境未適応肌色領域記憶手段４０は、様々な照明条件および様々なカメラ条件を含んだ色環境未適応肌色領域５１（図４参照）を記憶するものである。この色環境未適応肌色領域５１は、様々な照明・カメラ条件下でサンプルされた複数人による肌色分布５０（図２参照）に対応するように構築された初期設定用の肌色モデルである。図２に示された肌色分布５０は、照明条件やカメラ条件を変化させながら取得した多数の人物の肌色サンプルであるため、後述する肌色分布６０（図３参照）よりも広い分布となっている。なお、本実施形態では、一例として、色素表現系としてＨＳ（Ｖ）系を使用するので、色環境未適応肌色領域５１は、このＨＳ色素表現系により形成されるＨＳ空間上での閾値を規定することにより構築することができる。

この際、色環境未適応肌色領域記憶手段４０に記憶されるＨＳ空間上での閾値は、例えば、肌色部分抽出処理手段３４による抽出対象領域と非抽出対象領域との境界線を形成する直線や曲線を示す数式の係数、Ｈ軸の切片、Ｓ軸の切片、傾き、交点、始点および終点、長さ等の数値を与えることにより規定してもよく、あるいは境界線上に位置する点（ＨＳ空間上の座標値（Ｈ，Ｓ）として表される点）の集合として規定してもよい。本実施形態では、一例として、図４に示すような四角形形状（三角形の頂点部分が一部欠けた形状）の色環境未適応肌色領域５１を複数（ここでは、４つ）の直線を用いて規定する。なお、ＨＳ空間上での閾値を、点の集合として規定する場合には、例えば、肌色部分抽出処理手段３４は、処理対象となっているフレーム画像を構成する各画素の持つ色情報を四捨五入等により閾値の桁数と合わせ、桁合せをした状態の各画素の持つ色情報と、閾値とを比較し、各画素の持つ色情報が、抽出対象領域か非抽出対象領域のいずれに含まれるのかを判断する処理を行うことができる。より具体的には、例えば、ＨＳ空間上での閾値が、Ｓ＝０．４１の横ラインについて、（Ｈ，Ｓ）＝（−２１，０．４１）〜（７５，０．４１）と規定され、Ｓ＝０．４２の横ラインについて、（Ｈ，Ｓ）＝（−２２，０．４２）〜（７６，０．４２）と規定されている場合において、ある画素の持つ色情報が（Ｈ，Ｓ）＝（１８．３８，０．４１２４）であったときには、これを四捨五入して（Ｈ，Ｓ）＝（１８，０．４１）とし、これがＳ＝０．４１の横ラインの閾値の間に含まれるか否かを判断する処理を行うことができる。

肌色モデル記憶手段４１は、カメラ２０で撮影された現在のフレーム画像（顔検出処理の対象とされている最新のフレーム画像）から顔候補部分を絞り込む処理、すなわち肌色部分の抽出処理を行う際に用いられる肌色モデルを記憶するものである。この肌色モデル記憶手段４１には、装置稼働開始直後にカメラ２０で撮影される最初のフレーム画像から顔候補部分を絞り込む処理を行う際には、様々な照明条件およびカメラ条件を含んだ色環境未適応肌色領域５１（図４参照）が初期設定の肌色モデルとして記憶され、肌色モデル更新処理手段３７による更新処理後には、色環境未適応肌色領域５１よりも狭い肌色領域（色環境適応済肌色領域６１、または色環境未適応肌色領域５１と色環境適応済肌色領域６１との間の中間的な状態の肌色領域６２）が更新後の肌色モデルとして記憶される。なお、肌色モデル記憶手段４１に記憶される肌色モデルは、色環境未適応肌色領域５１、色環境適応済肌色領域６１、またはこれらの中間的な状態の肌色領域６２であり、領域６１については、重心位置の変化があるだけであり、領域６２については、拡大縮小および重心位置の変化があるだけであるため、この肌色モデルの記憶形態（閾値の保持形態）は、前述した色環境未適応肌色領域５１の場合と同様である。

フレーム画像記憶手段４２は、フレーム画像取込処理手段３２により取り込まれた最新のフレーム画像（現在のフレーム画像）と、その前に取り込まれたフレーム画像（前のフレーム画像）とを記憶するものである。なお、より以前に取り込まれたフレーム画像を記憶するようにしてもよい。

人物別顔肌色情報記憶手段４３は、検出人物顔肌色情報抽出処理手段３６により抽出された人物の顔の肌色情報を、人物毎に個別に記憶するものである。この人物別顔肌色情報記憶手段４３には、各人物Ｂ_j（ｊ＝１〜Ｊ）毎に、フレーム番号ｆ＝１，２，３，…，Ｆの各フレーム画像の中の人物Ｂ_jの顔から抽出された肌色情報（Ｈ_j，Ｓ_j）^fおよびそれらの全フレーム（ｆ＝１〜Ｆ）についての平均値（Ｈ_j，Ｓ_j）＝Σ_f（Ｈ_j，Ｓ_j）^f／Ｆが記憶される。ここで、各フレーム番号ｆ＝１，２，３，…，Ｆは、ある人物の顔が新規に検出されたフレームから開始される番号であり、Ｆは、現時点までにその人物の顔が検出された総フレーム数であり、Ｊは、顔を検出された人物の総数である。なお、（Ｈ_j，Ｓ_j）^fは、各フレーム画像の中の人物Ｂ_jの顔部分を構成する各画素の持つ肌色情報の平均値であり、（Ｈ_j，Ｓ_j）は、さらにそれを人物Ｂ_jの顔が検出された全フレームについて平均化した値である。そして、この（Ｈ_j，Ｓ_j）は、肌色モデルの更新処理の際に、さらに複数の人物について平均化される。

色環境適応済肌色領域記憶手段４４は、ある特定の照明条件およびカメラ条件に適応した色環境適応済肌色領域６１（図４参照）を記憶するものである。この色環境適応済肌色領域６１は、ある特定の照明・カメラ条件下でサンプルされた複数人による肌色分布６０（図３参照）に対応するように構築された更新設定用の肌色モデルである。図３に示された肌色分布６０は、照明条件およびカメラ条件を固定して取得した多数の人物の肌色サンプルであるため、前述した肌色分布５０（図２参照）よりも狭い分布となっている。なお、本実施形態では、一例として、色素表現系としてＨＳ（Ｖ）系を使用するので、色環境未適応肌色領域５１（図４参照）の場合と同様に、色環境適応済肌色領域６１は、ＨＳ空間上での閾値を規定することにより構築する。従って、色環境適応済肌色領域６１の記憶形態（閾値の保持形態）も、前述した色環境未適応肌色領域５１の場合と同様である。また、色環境適応済肌色領域６１を色環境未適応肌色領域５１の相似形（縮小形）としたり、あるいは色環境未適応肌色領域５１から自動的に変形構築する場合等には、色環境適応済肌色領域記憶手段４４の設置を省略することができる。

照明・カメラ条件変化検出用基準画面記憶手段４５は、照明・カメラ条件変化検出処理手段３３により照明条件および／またはカメラ条件の変化を検出する際に用いられる照明・カメラ条件変化検出用基準画面、すなわち現在のフレーム画像（顔検出処理の対象となっている最新のフレーム画像）との比較対象とされる基準画面を記憶するものである。この照明・カメラ条件変化検出用基準画面は、本実施形態では、一例として、顔検出処理手段３５により人物の顔が検出されたフレーム画像のうちの最新のフレーム画像とする。

以上において、処理手段３０に含まれる各処理手段３１〜３８は、顔検出装置１０を構成するコンピュータ（パーソナル・コンピュータのみならず、その上位機種のもの、あるいは汎用機ではなく、例えば、画像処理専用装置や、パーソナル・コンピュータ以外の各種電気製品に組み込まれた計算ユニット等も含む。）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。

また、各記憶手段４０〜４５としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。

このような本実施形態においては、以下のようにして顔検出装置１０により人物の顔の検出処理が行われる。

先ず、顔検出装置１０の稼働開始前に、図２の広い肌色分布５０を用いて、この肌色分布５０に対応させるようにして図４中の実線で示される色環境未適応肌色領域５１を初期設定用の肌色モデルとして構築し、色環境未適応肌色領域記憶手段４０に記憶させておくとともに、図３の比較的狭い肌色分布６０を用いて、この肌色分布６０に対応させるようにして図４中の一点鎖線で示される色環境適応済肌色領域６１を更新設定用の肌色モデルとして構築し、色環境適応済肌色領域記憶手段４４に記憶させておく。なお、図２の肌色分布５０をサンプリングする際には、カメラ２０の種類やその色調・明るさの設定方法は任意として肌色サンプルを取得するが、例えば、使用するカメラ２０の種類やその色調・明るさの設定方法が予め定められている場合には、サンプリングの際には、それらの条件を固定してもよい。

次に、図８において、カメラ２０を撮影場所に設置した後、顔検出装置１０の電源を入れ、顔検出処理用のプログラムを立ち上げて顔検出処理を開始する（ステップＳ１）。続いて、初期設定処理手段３１により、色環境未適応肌色領域記憶手段４０から色環境未適応肌色領域５１を読み込み、これを初期設定の肌色モデルとして肌色モデル記憶手段４１に記憶させる（ステップＳ２）。また、初期設定処理手段３１は、肌色モデルの不具合（移動物体が現れたにもかかわらず、顔を検出できない事態が何回も発生する状態）を検出するためのカウント数Ｍをゼロに設定する（ステップＳ３）。

それから、フレーム画像取込処理手段３２により、カメラ２０から送られてくる最初のフレーム画像を取り込み、これをフレーム画像記憶手段４２に現在のフレーム画像として記憶させる（ステップＳ４）。

続いて、肌色モデル記憶手段４１に記憶されている肌色モデルが、色環境未適応肌色領域５１であるか否かを判断する（ステップＳ５）。ここで、色環境未適応肌色領域５１でないと判断された場合には、照明・カメラ条件変化検出処理手段３３により、現在のフレーム画像（処理対象となっている最新のフレーム画像）と、照明・カメラ条件変化検出用基準画面記憶手段４５に記憶されている照明・カメラ条件変化検出用基準画面とを比較することにより、画面全体に渡る明度や色情報の変化を検出する（ステップＳ６）。ここで、画面全体に渡る明度や色情報の変化が検出された場合には、照明・カメラ条件変化検出処理手段３３は、照明条件やカメラ条件の急激な変化があったか、または照明条件やカメラ条件が徐々に変化し、その間に顔の検出が無かった（従って、その間に肌色モデルの更新がなく、照明・カメラ条件変化検出用基準画面の更新設定がなかったため、この基準画面設定当時の条件に対する照明条件やカメラ条件の変化の累積量が大きくなった）と判断し、肌色モデル記憶手段４１に記憶されている肌色モデルを、色環境未適応肌色領域５１（図４参照）に初期設定された状態に戻した後（ステップＳ７）、照明・カメラ条件変化検出用基準画面記憶手段４５に記憶されている照明・カメラ条件変化検出用基準画面を破棄する（ステップＳ８）。

なお、ステップＳ８で照明・カメラ条件変化検出用基準画面が破棄されると、次の顔検出があって後述するステップＳ１５の設定処理が行われるまで、照明・カメラ条件変化検出用基準画面が存在しない状態となる。しかし、次の顔検出があるまでは、肌色モデルは更新されず、従って、肌色モデルは色環境未適応肌色領域５１の状態のままであるため、ステップＳ５で色環境未適応肌色領域５１であると判断されることから、ステップＳ６の処理が行われることはない。このため、ステップＳ６の処理を行う際に、比較対象の照明・カメラ条件変化検出用基準画面が存在しないという不都合な事態が生じることはない。また、装置稼働開始後、最初の顔の検出があってステップＳ１５の設定処理が行われるまで、照明・カメラ条件変化検出用基準画面が存在しない状態となるが、この場合も上記と同様であり、最初に顔が検出されるまで、肌色モデルは更新されず、色環境未適応肌色領域５１の状態のままであるため、ステップＳ５で色環境未適応肌色領域５１であると判断されることから、ステップＳ６の処理が行われることはなく、不都合な事態が生じることはない。

一方、ステップＳ６で、画面全体に渡る明度や色情報の変化が検出されなかった場合には、照明条件やカメラ条件の急激な変化はなく、かつ、照明条件やカメラ条件が徐々に変化し、その間に顔の検出が無かったという事態もないと判断され、ステップＳ７，Ｓ８の処理は行わない。また、ステップＳ５で、色環境未適応肌色領域５１であると判断された場合には、そもそも肌色モデルが様々な条件に対応できる広い肌色モデルとなっているため、照明・カメラ条件の急激な変化があったか否か等を考慮する必要がないので、ステップＳ６〜Ｓ８の処理は行わない。なお、装置稼働開始後の最初のフレーム画像の処理の場合には、肌色モデルは初期設定の状態であるため、ステップＳ５で色環境未適応肌色領域５１であると判断される。

その後、肌色部分抽出処理手段３４により、肌色モデル記憶手段４１に現在記憶されている肌色モデルを用いて、現在のフレーム画像から肌色部分を抽出する処理を行い、顔候補部分を絞り込む（ステップＳ９）。この際、肌色モデル記憶手段４１に現在記憶されている肌色モデルが、広い色環境未適応肌色領域５１（図４参照）である場合には、人間の肌ではなくても、照明・カメラ条件によっては人間の肌色になり得る全ての色が肌色抽出の対象となる。従って、図６に示すように、例えば、顔７０や手７１等の人間の肌の部分だけではなく、肌色に近い色の服７２等のように肌色に近い色を持った物体まで肌色部分として抽出される。このように色環境が不明な時点（例えば、装置稼働開始直後の時点等）では、肌色抽出による顔候補部分の絞込みの効率よりも、人間の肌部分を確実に抽出できることを最優先にした処理を行う。

これに対し、肌色モデル記憶手段４１に現在記憶されている肌色モデルが、比較的狭い色環境適応済肌色領域６１（図４参照）である場合には、後述する肌色モデルの更新処理（ステップＳ１４）の繰り返しを経て、色環境に適した肌色モデルとなっているため、その色環境下において人間の肌色を効果的に抽出することが可能となる。従って、図７に示すように、例えば、顔８０や手８１等の人間の肌の部分は、肌色部分として抽出するが、肌色に近い色の服８２等のように肌色に近い色を持った物体は、肌色部分として抽出されにくくなる。

続いて、一つのフレーム画像内における顔の検出数を把握するためのカウント数Ｎをゼロに設定した後（ステップＳ１０）、顔検出処理手段３５により、肌色部分抽出処理手段３４により顔候補部分として抽出されたフレーム画像内の肌色部分の中から、統計的手法やテンプレートマッチング等の既知の手法を用いて、人物の顔を検出する処理を行う（ステップＳ１１）。

それから、顔が検出されたか否かを判断し（ステップＳ１２）、顔が検出された場合には、カウント数Ｎに１を加えた後（ステップＳ１３）、肌色モデル更新処理手段３７により肌色モデルの更新処理を行う（ステップＳ１４）。さらに、肌色モデル更新処理手段３７は、肌色モデルの更新処理後に、現在のフレーム画像（顔が検出されたフレーム画像）を、照明・カメラ条件変化検出用基準画面として照明・カメラ条件変化検出用基準画面記憶手段４５に記憶させる（ステップＳ１５）。そして、以降、現在処理中のフレーム画像について、顔が検出されなくなるまで、ステップＳ１１〜Ｓ１５の処理を繰り返す。

図９には、肌色モデルの更新処理（ステップＳ１４）の詳細な流れが示されている。図９において、検出人物顔肌色情報抽出処理手段３６は、顔検出処理手段３５により検出された人物の顔の肌色情報を抽出する処理を行う（ステップＳ１４０１）。それから、検出人物顔肌色情報抽出処理手段３６は、顔を検出された人物が、前のフレームまでに検出されている既検出人物と同一人物であるか否かを判断し（ステップＳ１４０２）、既検出人物であると判断した場合には、人物別顔肌色情報記憶手段４３に記憶されているその人物についての顔の肌色情報を更新し（ステップＳ１４０３）、一方、前のフレームまでに検出されていない新規検出人物であると判断した場合には、人物別顔肌色情報記憶手段４３にその人物についての顔の肌色情報を新規に書き込む処理を行う（ステップＳ１４０４）。

その後、肌色モデル更新処理手段３７により、検出人物顔肌色情報抽出処理手段３６により抽出されて人物別顔肌色情報記憶手段４３に各人物毎に個別に記憶されている各人物の顔の肌色情報を用いて、肌色モデル記憶手段４１に記憶されている肌色モデルを、カメラ設置場所の現在の照明条件および現在のカメラ条件に適した肌色モデルに自動的に更新する処理を行う（ステップＳ１４０５）。

より具体的には、例えば、図５に示すように、装置稼働開始後、最初に顔が検出された場合には、図中の実線で示された色環境未適応肌色領域５１から、一点鎖線で示された色環境適応済肌色領域６１へ、一気に肌色モデルを絞り込むのではなく、先ず、図中の点線で示された中間的な状態の肌色領域６２に絞り込む。この肌色領域６２は、本実施形態では、一例として、色環境適応済肌色領域６１の相似形（拡大形）であって、かつ、色環境未適応肌色領域５１に収まる大きさ・形状のものとするが、これに限定されず、例えば、色環境未適応肌色領域５１の相似形（縮小形）としてもよく、色環境未適応肌色領域５１と色環境適応済肌色領域６１とを補間して構築された大きさ・形状としてもよい。また、肌色領域６２を更新後の肌色モデルとして設定する際には、その時点までの各検出人物の顔の肌色情報についてのＨ軸（横軸）方向の分散が大きい場合には、色環境未適応肌色領域５１からの絞込過程で更新後の肌色モデルの横幅が大きくなるような処理（横方向の絞込みを少なくする処理）を行い、一方、Ｓ軸（縦軸）方向の分散が大きい場合には、更新後の肌色モデルの縦幅が大きくなるような処理（縦方向の絞込みを少なくする処理）を行ってもよい。そして、このような中間的な状態の肌色領域６２を、色環境未適応肌色領域５１と色環境適応済肌色領域６１との間に何段階構築するかは任意であり、例えば、面積が１０％等の一定割合で徐々に絞り込まれていくようにし、検出された人物の累計数が規定数に達した時点で、色環境適応済肌色領域６１となるように構築することができる。

また、色環境未適応肌色領域５１から中間的な状態の肌色領域６２への絞込み時、中間的な状態の肌色領域６２から、より狭い肌色領域６２への絞込み時、および中間的な状態の肌色領域６２から色環境適応済肌色領域６１への絞込み時には、それぞれ領域の絞込みのみならず、重心移動も行う。そして、検出された人物の累計数が規定数に達し、肌色モデルが色環境適応済肌色領域６１の状態まで絞り込まれた後は、領域の絞込みは行わず、重心移動のみを行う。

例えば、色環境未適応肌色領域５１の重心位置がＧ１であったとする。肌色モデル更新処理手段３７は、人物別顔肌色情報記憶手段４３に各人物毎に個別に記憶されている各人物の顔の肌色情報（その人物の顔の肌色情報についての全フレームの平均値）を用いて、さらに複数の人物（直近の規定時間内に検出された人物、または直近に検出された規定人数内の人物）の平均値を算出する。そして、算出された複数の検出人物についての肌色情報の平均値と、更新後の肌色モデルの重心位置Ｇ２とが一致するように、肌色領域６２の重心位置を移動させる（決定する）。従って、領域は、色環境未適応肌色領域５１から中間的な状態の肌色領域６２に絞り込まれ、かつ、重心は、Ｇ１からＧ２へ移動する。この際、重心移動を行った結果、肌色領域６２が色環境未適応肌色領域５１から外へはみ出す場合には、はみ出さないように重心移動の量を抑える。

同様にして、中間的な状態の肌色領域６２から色環境適応済肌色領域６１（６１Ａ）への絞込み時には、重心は、Ｇ２からＧ３へ移動する。そして、それ以降は、領域の絞込みは行わず、色環境適応済肌色領域６１の大きさ・形状を保持したままの領域移動のみとし、色環境適応済肌色領域６１（６１Ａ）から色環境適応済肌色領域６１（６１Ｂ）への移動では、重心は、Ｇ３からＧ４へ移動し、色環境適応済肌色領域６１（６１Ｂ）から色環境適応済肌色領域６１（６１Ｃ）への移動では、重心は、Ｇ４からＧ５へ移動する。

図８において、ステップＳ１２で、顔が検出されなかった場合には、処理対象となっているフレーム画像内における顔の検出数を把握するためのカウント数Ｎがゼロか否か（つまり、そのフレーム画像から一つでも顔が検出されたか否か）を判断する（ステップＳ１６）。ここで、そのフレーム画像から一つも顔が検出されなかった（Ｎ＝０）と判断された場合には、肌色モデル不具合検出処理手段３８により、移動物体が画面内に現れたにもかかわらず、人物の顔の検出ができないという事態の累積発生回数が一定回数以上になったか否かを検出し、一定回数以上になった場合には、肌色モデル記憶手段４１に記憶されている肌色モデルを、色環境未適応肌色領域５１（図４参照）に初期設定された状態に戻す処理を行う（ステップＳ１７）。一方、ステップＳ１６で、処理対象となっているフレーム画像から少なくとも一つの顔が検出された（Ｎ＝０ではない）と判断された場合には、ステップＳ１７の肌色モデル不具合検出処理は行わない。

図１０には、肌色モデル不具合検出処理（ステップＳ１７）の詳細な流れが示されている。図１０において、肌色モデル不具合検出処理手段３８は、現在のフレーム画像と、フレーム画像記憶手段４２に記憶されている前回のフレーム画像（あるいはそれ以前のフレーム画像でもよい。）とを比較し、画面内に移動物体が存在するか否かを確認する処理を行う（ステップＳ１７０１）。そして、移動物体があるか否かを判断し（ステップＳ１７０２）、移動物体があると判断した場合には、肌色モデルの不具合（移動物体が現れたにもかかわらず、顔を検出できないという事態の発生回数）を検出するためのカウント数Ｍに１を加えた後（ステップＳ１７０３）、カウント数Ｍが一定値以上になったか否かを判断する（ステップＳ１７０４）。

ここで、カウント数Ｍが一定値以上であると判断された場合には、肌色モデル不具合検出処理手段３８は、照明条件やカメラ条件の急激な変化等に起因する肌色モデルの不具合が発生した（肌色モデルが環境に適応していない状態となった）と判断し、色環境未適応肌色領域記憶手段４０から色環境未適応肌色領域５１を読み込み、これを肌色モデル記憶手段４１に記憶させ、肌色モデルを初期設定の状態に戻した後（ステップＳ１７０５）、照明・カメラ条件変化検出用基準画面記憶手段４５に記憶されている照明・カメラ条件変化検出用基準画面を破棄する（ステップＳ１７０６）。そして、肌色モデルを色環境未適応肌色領域５１の状態に戻し、基準画面を破棄したら、カウント数Ｍをリセットしてゼロに戻し（ステップＳ１７０７）、次の肌色モデル不具合検出処理に備える。

一方、ステップＳ１７０２で、移動物体は無いと判断した場合には、ステップＳ１７０３〜Ｓ１７０７の処理は行わない。また、ステップＳ１７０４で、カウント数Ｍが一定値に達していないと判断した場合には、ステップＳ１７０５〜Ｓ１７０７の処理は行わない。

図８において、ステップＳ１６で、処理対象となっているフレーム画像から少なくとも一つの顔が検出された（Ｎ＝０ではない）と判断された場合、またはステップＳ１７の肌色モデル不具合検出処理を行った後には、フレーム画像取込処理手段３２により、次のフレーム画像の取込みを行い（ステップＳ１８）、以降、ステップＳ５〜Ｓ１８の処理を繰り返す。

このような本実施形態によれば、次のような効果がある。すなわち、顔検出装置１０は、初期設定処理手段３１および肌色モデル更新処理手段３７を備えているので、装置稼働開始直後には、様々な照明条件およびカメラ条件を含んだ広い色環境未適応肌色領域５１（図４参照）を肌色モデルとして初期設定し、検出人物の顔の肌色情報が得られたときに、色環境未適応肌色領域５１よりも狭い肌色領域を肌色モデルとして更新設定し、以降、顔が検出される都度に肌色モデルの更新を繰り返すことができる。従って、様々な照明条件およびカメラ条件の下でその色環境に適応した肌色モデルを自動的に構築することができ、また、時間経過による照明条件およびカメラ条件の変化に肌色モデルを自動的に追従させることができる。このため、手動による色調調整等の設定を不要にすることができるうえ、高速で、かつ色環境に左右されない顔検出を行うことができる。

また、顔検出装置１０は、検出人物顔肌色情報抽出処理手段３６および人物別顔肌色情報記憶手段４３を備えているので、顔を検出された人物が既検出人物か新規検出人物かを判断し、検出人物の顔の肌色情報を人物毎に個別に保持・更新することができる。このため、肌色モデル更新処理手段３７により、人物毎に個別に保持・更新される顔の肌色情報を用いて肌色モデルを随時更新することができるので、個人による肌色のばらつきを含んだ肌色モデルを構築し、肌色抽出および顔検出の処理を行うことができる。

さらに、肌色モデル更新処理手段３７は、顔検出処理手段３５により顔を検出された人物の累積数が規定数に満たない状態では、肌色モデル記憶手段４１に記憶されている肌色モデルを、色環境未適応肌色領域５１（図４参照）に初期設定された状態から徐々に絞り込む処理を行うので、検出人物の累積数が少ないうちから、一気に完全な色環境適用済肌色領域６１（図４参照）に絞り込む場合に生じる不都合、すなわち顔を検出された人物の肌色情報が標準的な人物の肌色情報から外れていた場合に肌色モデルが適切な領域に設定されないという不都合を解消することができる。

そして、肌色モデル更新処理手段３７は、検出人物の累積数が規定数に達する時点を境に、絞込みおよび重心移動の双方を行う処理から、絞込みを行わずに重心移動を行う処理に移行するので、上述した如く一気に完全な色環境適用済肌色領域６１に絞り込む場合に生じる不都合を回避しつつ、検出人物の累積数が規定数に達する時点の前後を通じ、照明条件やカメラ条件の時間的変化に対応できる処理を実現することができる。

また、肌色モデル更新処理手段３７は、直近の規定時間内に検出された人物の顔の肌色情報または直近に検出された規定人数内の人物の顔の肌色情報を用いて、肌色モデルを更新する処理を行うので、照明条件やカメラ条件の緩やかな時間的変化に自動的に対応することができる。

さらに、顔検出装置１０は、照明・カメラ条件変化検出処理手段３３を備えているので、画面全体に渡る明度および／または色情報の変化を検出することができる。このため、照明条件やカメラ条件の急激な変化を検出することができるので、現在の肌色モデルを破棄して様々な照明条件およびカメラ条件を含んだ広い色環境未適応肌色領域５１で肌色モデルを再構築し、肌色抽出および顔検出の処理を再開することにより、照明条件やカメラ条件の急激な変化に自動的に対応できる処理を実現することができる。また、照明・カメラ条件変化検出処理手段３３を備えているので、照明条件やカメラ条件の急激な変化に自動的に対応できるのみならず、照明条件やカメラ条件が緩やかに変化し、かつ、その間に人物の顔が検出されずに肌色モデルが更新されない結果、肌色モデルが不適切な状態になるという事態を回避することもできる。

そして、顔検出装置１０は、肌色モデル不具合検出処理手段３８を備えているので、照明・カメラ条件変化検出処理手段３３の場合と同様に、照明条件やカメラ条件の急激な変化があった場合に、現在の肌色モデルを破棄して様々な照明条件およびカメラ条件を含んだ広い色環境未適応肌色領域５１で肌色モデルを再構築し、肌色抽出および顔検出の処理を再開することにより、照明条件やカメラ条件の急激な変化に自動的に対応できる処理を実現することができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

すなわち、前記実施形態では、色素表現系としてＨＳ（Ｖ）系を用いた色空間を形成していたが（図２〜図４参照）、色空間を形成する色素表現系は、これに限定されず、例えば、ＲＧＢ、ＹＵＶ等であってもよい。

また、前記実施形態では、肌色モデルは、色環境未適応肌色領域５１、色環境適応済肌色領域６１、およびこれらの中間的な状態の肌色領域６２（図４、図５参照）のいずれについても、ＨＳ空間上での閾値を定めて構築されていたが、本発明における肌色モデルは、このようなＨＳ（Ｖ）系等による色空間上での閾値を定めることにより構築される肌色モデルに限定されず、例えば、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系により形成される色空間上での多数の肌色サンプルを既知の学習アルゴリズムで学習させることにより構築された肌色モデルとしてもよい。

例えば、様々な照明条件および／または様々なカメラ条件の下で、肌色部分抽出処理手段による抽出対象領域に含ませるべき多数の肌色サンプル（ＨＳ空間上の座標（Ｈ，Ｓ）で表される色情報）を用いて、ガウス混合モデルにより肌色モデルとしての色環境未適応肌色領域を構築するとともに、これと対立する非肌色モデルを、肌色部分抽出処理手段による非抽出対象領域に含ませるべき多数の非肌色サンプル（ＨＳ空間上の座標（Ｈ，Ｓ）で表される色情報）を用いて構築する。

同様にして、特定の照明条件および／または特定のカメラ条件の下で、肌色部分抽出処理手段による抽出対象領域に含ませるべき多数の肌色サンプル（ＨＳ空間上の座標（Ｈ，Ｓ）で表される色情報）を用いて、ガウス混合モデルにより肌色モデルとしての色環境適応済肌色領域を構築するとともに、これと対立する非肌色モデルを、肌色部分抽出処理手段による非抽出対象領域に含ませるべき多数の非肌色サンプル（ＨＳ空間上の座標（Ｈ，Ｓ）で表される色情報）を用いて構築する。

また、色環境未適応肌色領域と色環境適応済肌色領域との間の中間的な肌色領域を構築する場合には、例えば、肌色モデルとしての色環境適応済肌色領域およびこれと対立する非肌色モデルを用いてこれらと相似形のモデルを構築する。

そして、肌色部分抽出処理手段によりフレーム画像から肌色部分を抽出する際には、フレーム画像の各画素の色情報（ＨＳ空間上の座標（Ｈ，Ｓ）で表される色情報）を入力値とし、ガウス混合モデルにより構築された肌色モデルおよび非肌色モデルを用いて、各画素の色情報が肌色部分抽出処理手段による抽出対象領域に含まれるのか、あるいは非抽出対象領域に含まれるのかを判断する。

また、前記実施形態では、検出人物の累積数が規定数に達した時点で肌色モデルとして設定される色環境適応済肌色領域６１（図４参照）を、図３の肌色分布６０に対応させるようにして一つのみ構築し、検出人物の累積数が規定数に達した時点以降は、この一つの固定された大きさ・形状の色環境適応済肌色領域６１の重心を移動させる処理を行っていたが、検出人物の累積数が規定数に達した時点で肌色モデルとして設定される色環境適応済肌色領域は、一つの固定された大きさ・形状の領域に限定されるものではなく、大きさ（面積や体積）および／または形状の異なる複数の色環境適応済肌色領域が肌色モデルとして設定されるようにしてもよく、従って、検出人物の累積数が規定数に達した時点以降は、重心移動を行うとともに、大きさ（面積や体積）および／または形状も変化させる処理を行ってもよい。例えば、図３の肌色分布６０に相当する肌色分布（ある特定の照明・カメラ条件下でサンプルされた複数人による肌色分布）を、照明・カメラ条件を変えたサンプリングを行うことにより複数分布形成し、これらの複数の肌色分布に対応させて複数の色環境適応済肌色領域を用意してもよい。この際、例えば、各条件下でサンプリングを行って形成した複数の肌色分布のそれぞれの大きさ・形状に対応させて、ＨＳ空間上において色環境適応済肌色領域の重心位置のＳ成分値が大きい場合（図３中の上部に位置する場合）には、その色環境適応済肌色領域のＨ方向（横方向）の幅を狭くし、一方、重心位置のＳ成分値が小さい場合（図３中の下部に位置する場合）には、Ｈ方向（横方向）の幅を広くする等してもよく、この場合、色環境適応済肌色領域の形状のみならず、大きさ（ＨＳ空間上における面積）も重心位置に応じて変化させてもよい。また、このようにした場合には、図５の肌色領域６２に相当する中間的な状態の肌色領域についても、その重心位置の変化に応じ、大きさ（面積や体積）および／または形状を変化させてもよく、例えば、重心位置に応じて色環境適応済肌色領域の大きさ・形状が定まるので、それに応じ、中間的な状態の肌色領域の形状については、同じ重心位置を有する色環境適応済肌色領域と相似な形状とし、中間的な状態の肌色領域の大きさについては、同じ重心位置を有する色環境適応済肌色領域の大きさに比例して定まるようにしてもよい。

さらに、前記実施形態では、既検出人物の顔の肌色情報の更新処理（図９のステップ１４０３）では、その人物の顔が検出されるフレーム毎に、その人物の顔が検出されていた全フレームの平均値を算出する処理を行っていたが、このような処理に限定されるものではなく、例えば、ある人物の顔が検出され、その後、その人物の顔が検出されなくなったら、その時点で初めて、その人物の顔が検出されていた時点での全フレームの平均値を算出し、その人物の顔の肌色情報を人物別顔肌色情報記憶手段４３に保存する処理を行ってもよい。

以上のように、本発明の顔検出装置およびその方法は、例えば、テレビ会議やテレビ電話等の各種の画像通信、データベース検索、ビル監視等のセキュリティシステム、顔による照合システム、ゲーム、教育、映画やテレビ番組等の制作、ヒューマンインターフェース、コンピュータ・グラフィクスにより生成された顔を連動させるリアルタイム表情追跡装置等に用いるのに適している。

本発明の一実施形態の顔検出装置の全体構成図。 様々な照明・カメラ条件下での複数人による肌色分布（色環境未適応肌色領域に相当する分布）の例示図。 ある特定の照明・カメラ条件下での複数人による肌色分布（色環境適応済肌色領域に相当する分布）の例示図。 肌色モデルとして設定される色環境未適応肌色領域および色環境適応済肌色領域の例示図。 色環境未適応肌色領域から色環境適応済肌色領域への絞込みおよび重心移動の説明図。 色環境未適応肌色領域に初期設定された状態の肌色モデルにより抽出される肌色部分の説明図。 色環境適応済肌色領域に更新設定された状態の肌色モデルにより抽出される肌色部分の説明図。 前記実施形態の顔検出装置による処理（全体）の流れを示すフローチャートの図。 前記実施形態の顔検出装置による処理（肌色モデルの更新処理）の流れを示すフローチャートの図。 前記実施形態の顔検出装置による処理（肌色モデル不具合検出処理）の流れを示すフローチャートの図。

符号の説明

１０ 顔検出装置
３３ 照明・カメラ条件変化検出処理手段
３４ 肌色部分抽出処理手段
３５ 顔検出処理手段
３６ 検出人物顔肌色情報抽出処理手段
３７ 肌色モデル更新処理手段
３８ 肌色モデル不具合検出処理手段
４１ 肌色モデル記憶手段
４３ 人物別顔肌色情報記憶手段
５１ 色環境未適応肌色領域
６１ 色環境未適応肌色領域よりも狭い肌色領域である色環境適応済肌色領域
６２ 色環境未適応肌色領域よりも狭い肌色領域である中間的な肌色領域

Claims (20)

1. カメラで撮影された人物の肌色情報を利用してこの人物の顔を検出する顔検出装置であって、
   前記カメラで撮影された現在のフレーム画像から顔候補部分を絞り込む処理を行う際に用いられる肌色モデルを記憶する肌色モデル記憶手段と、
   この肌色モデル記憶手段に記憶された前記肌色モデルを用いて、前記現在のフレーム画像から前記顔候補部分を絞り込むために、前記現在のフレーム画像から肌色部分を抽出する処理を行う肌色部分抽出処理手段と、
   この肌色部分抽出処理手段により前記顔候補部分として抽出された前記肌色部分の中から前記人物の顔を検出する処理を行う顔検出処理手段と、
   この顔検出処理手段により検出された前記人物の顔の肌色情報を抽出する処理を行う検出人物顔肌色情報抽出処理手段と、
   この検出人物顔肌色情報抽出処理手段により抽出された前記人物の顔の肌色情報を用いて、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、カメラ設置場所の現在の照明条件および／または現在のカメラ条件に適した肌色モデルに自動的に更新する処理を行う肌色モデル更新処理手段とを備え、
   前記肌色モデル記憶手段には、装置稼働開始直後に前記カメラで撮影される最初のフレーム画像から前記顔候補部分を絞り込む処理を行う際には、様々な照明条件および／または様々なカメラ条件を含んだ色環境未適応肌色領域が初期設定の肌色モデルとして記憶され、前記肌色モデル更新処理手段による更新処理後には、前記色環境未適応肌色領域よりも狭い肌色領域が更新後の肌色モデルとして記憶される
   ことを特徴とする顔検出装置。
2. 請求項１に記載の顔検出装置において、
   前記検出人物顔肌色情報抽出処理手段により抽出された前記人物の顔の肌色情報を前記人物毎に個別に記憶する人物別顔肌色情報記憶手段を備え、
   前記検出人物顔肌色情報抽出処理手段は、顔を検出された前記人物が、前のフレームまでに検出されている既検出人物である場合には、前記人物別顔肌色情報記憶手段に記憶されているその人物についての顔の肌色情報を更新し、前のフレームまでに検出されていない新規検出人物である場合には、前記人物別顔肌色情報記憶手段にその人物についての顔の肌色情報を新規に書き込む処理を行う構成とされ、
   前記肌色モデル更新処理手段は、前記人物別顔肌色情報記憶手段に前記人物毎に個別に記憶された顔の肌色情報を用いて前記肌色モデルを更新する処理を行う構成とされている
   ことを特徴とする顔検出装置。
3. 請求項１または２に記載の顔検出装置において、
   前記肌色モデル更新処理手段は、前記顔検出処理手段により顔を検出された前記人物の累積数が規定数に満たない状態では、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態から徐々に絞り込む処理を行う構成とされていることを特徴とする顔検出装置。
4. 請求項３に記載の顔検出装置において、
   前記肌色モデル更新処理手段は、前記顔検出処理手段により顔を検出された前記人物の累積数が規定数に満たない状態では、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態から徐々に絞り込み、かつ、重心を移動する処理を行い、前記規定数に達した時点以降は、絞込みは行わずに重心移動を行う構成とされていることを特徴とする顔検出装置。
5. 請求項１〜４のいずれかに記載の顔検出装置において、
   前記肌色モデル更新処理手段は、直近の規定時間内に検出された前記人物の顔の肌色情報または直近に検出された規定人数内の前記人物の顔の肌色情報を用いて、前記肌色モデルを更新する処理を行う構成とされていることを特徴とする顔検出装置。
6. 請求項１〜５のいずれかに記載の顔検出装置において、
   前記現在のフレーム画像とそれ以前に撮影された少なくとも一つのフレーム画像に基づき設定された照明・カメラ条件変化検出用基準画面とを比較して画面全体に渡る明度および／または色情報の変化を検出し、前記画面全体に渡る明度および／または色情報の変化を検出した場合に、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態に戻す処理を行う照明・カメラ条件変化検出処理手段を備えたことを特徴とする顔検出装置。
7. 請求項６に記載の顔検出装置において、
   前記照明・カメラ条件変化検出用基準画面は、前記顔検出処理手段により前記人物の顔が検出されたフレーム画像のうちの最新のフレーム画像であることを特徴とする顔検出装置。
8. 請求項１〜７のいずれかに記載の顔検出装置において、
   一定時間以上連続して前記人物の顔の検出ができない場合、または移動物体が画面内に現れたにもかかわらず、一定時間以上連続して若しくは累積して一定回数以上、前記人物の顔の検出ができない場合に、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態に戻す処理を行う肌色モデル不具合検出処理手段を備えたことを特徴とする顔検出装置。
9. 請求項１〜８のいずれかに記載の顔検出装置において、
   前記肌色モデル記憶手段に記憶される前記肌色モデルは、初期設定される前記色環境未適応肌色領域および前記肌色モデル更新処理手段による更新処理で設定される前記狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上に拡がる肌色分布について、この色空間上で、前記肌色部分抽出処理手段による抽出対象領域と非抽出対象領域との閾値を定めることにより構築された肌色モデルであることを特徴とする顔検出装置。
10. 請求項１〜８のいずれかに記載の顔検出装置において、
    前記肌色モデル記憶手段に記憶される前記肌色モデルは、初期設定される前記色環境未適応肌色領域および前記肌色モデル更新処理手段による更新処理で設定される前記狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上での多数の肌色サンプルを既知の学習アルゴリズムで学習させることにより構築された肌色モデルであることを特徴とする顔検出装置。
11. カメラで撮影された人物の肌色情報を利用してこの人物の顔を検出する顔検出方法であって、
    装置稼働開始直後には、肌色部分抽出処理手段により、様々な照明条件および／または様々なカメラ条件を含んだ色環境未適応肌色領域に初期設定された状態で肌色モデル記憶手段に記憶されている肌色モデルを用いて、前記カメラで撮影された最初のフレーム画像から顔候補部分を絞り込むために、前記最初のフレーム画像から肌色部分を抽出する処理を行い、
    続いて、顔検出処理手段により、前記肌色部分抽出処理手段により前記顔候補部分として抽出された前記肌色部分の中から前記人物の顔を検出する処理を行い、
    以降、前記人物の顔が検出されるまで、前記肌色部分抽出処理手段および前記顔検出処理手段による処理を繰り返して行い、
    前記人物の顔が検出された場合に、検出人物顔肌色情報抽出処理手段により、前記顔検出処理手段により検出された前記人物の顔の肌色情報を抽出する処理を行った後、
    肌色モデル更新処理手段により、前記検出人物顔肌色情報抽出処理手段により抽出された前記人物の顔の肌色情報を用いて、前記色環境未適応肌色領域に初期設定された状態で前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域よりも狭い肌色領域に設定変更することにより、カメラ設置場所のその時点での照明条件および／またはその時点でのカメラ条件に適した肌色モデルに自動的に更新し、
    その後、前記肌色部分抽出処理手段、前記顔検出処理手段、前記検出人物顔肌色情報抽出処理手段、および前記肌色モデル更新処理手段による処理を繰り返して行いながら、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、各時点での照明条件および／または各時点でのカメラ条件に適した肌色モデルに自動的に更新していく
    ことを特徴とする顔検出方法。
12. 請求項１１に記載の顔検出方法において、
    前記検出人物顔肌色情報抽出処理手段により抽出された前記人物の顔の肌色情報を前記人物毎に個別に人物別顔肌色情報記憶手段に記憶しておき、
    顔を検出された前記人物が、前のフレームまでに検出されている既検出人物である場合には、前記検出人物顔肌色情報抽出処理手段により、前記人物別顔肌色情報記憶手段に記憶されているその人物についての顔の肌色情報を更新し、一方、前のフレームまでに検出されていない新規検出人物である場合には、前記検出人物顔肌色情報抽出処理手段により、前記人物別顔肌色情報記憶手段にその人物についての顔の肌色情報を新規に書き込む処理を行い、
    前記肌色モデル更新処理手段により前記肌色モデルを更新する処理を行う際には、前記人物別顔肌色情報記憶手段に前記人物毎に個別に記憶された顔の肌色情報を用いる
    ことを特徴とする顔検出方法。
13. 請求項１１または１２に記載の顔検出方法において、
    前記肌色モデル更新処理手段により前記肌色モデルを更新する処理を行う際には、前記顔検出処理手段により顔を検出された前記人物の累積数が規定数に満たない状態では、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態から徐々に絞り込む処理を行うことを特徴とする顔検出方法。
14. 請求項１３に記載の顔検出方法において、
    前記肌色モデル更新処理手段により前記肌色モデルを更新する処理を行う際には、前記顔検出処理手段により顔を検出された前記人物の累積数が規定数に満たない状態では、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態から徐々に絞り込み、かつ、重心を移動する処理を行い、前記規定数に達した時点以降は、絞込みは行わずに重心移動を行うことを特徴とする顔検出方法。
15. 請求項１１〜１４のいずれかに記載の顔検出方法において、
    前記肌色モデル更新処理手段により前記肌色モデルを更新する処理を行う際には、直近の規定時間内に検出された前記人物の顔の肌色情報または直近に検出された規定人数内の前記人物の顔の肌色情報を用いて、前記肌色モデルを更新する処理を行うことを特徴とする顔検出方法。
16. 請求項１１〜１５のいずれかに記載の顔検出方法において、
    照明・カメラ条件変化検出処理手段により、現在のフレーム画像とそれ以前に撮影された少なくとも一つのフレーム画像に基づき設定された照明・カメラ条件変化検出用基準画面とを比較して画面全体に渡る明度および／または色情報の変化を検出し、前記画面全体に渡る明度および／または色情報の変化を検出した場合に、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態に戻す処理を行うことを特徴とする顔検出方法。
17. 請求項１６に記載の顔検出方法において、
    前記照明・カメラ条件変化検出用基準画面として、前記顔検出処理手段により前記人物の顔が検出されたフレーム画像のうちの最新のフレーム画像を用いることを特徴とする顔検出方法。
18. 請求項１１〜１７のいずれかに記載の顔検出方法において、
    肌色モデル不具合検出処理手段により、一定時間以上連続して前記人物の顔の検出ができない場合、または移動物体が画面内に現れたにもかかわらず、一定時間以上連続して若しくは累積して一定回数以上、前記人物の顔の検出ができない場合に、前記肌色モデル記憶手段に記憶されている前記肌色モデルを、前記色環境未適応肌色領域に初期設定された状態に戻す処理を行うことを特徴とする顔検出方法。
19. 請求項１１〜１８のいずれかに記載の顔検出方法において、
    前記肌色モデル記憶手段に記憶される前記肌色モデルは、初期設定される前記色環境未適応肌色領域および前記肌色モデル更新処理手段による更新処理で設定される前記狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上に拡がる肌色分布について、この色空間上で、前記肌色部分抽出処理手段による抽出対象領域と非抽出対象領域との閾値を定めることにより構築されることを特徴とする顔検出方法。
20. 請求項１１〜１８のいずれかに記載の顔検出方法において、
    前記肌色モデル記憶手段に記憶される前記肌色モデルは、初期設定される前記色環境未適応肌色領域および前記肌色モデル更新処理手段による更新処理で設定される前記狭い肌色領域のいずれについても、ＨＳＶ、ＲＧＢ、ＹＵＶ、またはこれらに類する色素表現系のいずれかにより形成される色空間上での多数の肌色サンプルを既知の学習アルゴリズムで学習させることにより構築されることを特徴とする顔検出方法。

Images