JP2000082147A

JP2000082147A - ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ

Info

Publication number: JP2000082147A
Application number: JP11250399A
Authority: JP
Inventors: Qi He Hong; ヘホンキ; Nicolas Steven Holliman; スティーブンホリマンニコラス; David Ezra; エズラデービッド
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-09-05
Filing date: 1999-09-03
Publication date: 2000-03-21
Anticipated expiration: 2019-09-03
Also published as: EP0984386A3; JP3761059B2; EP0984386B1; US6633655B1; DE69922752T2; EP0984386A2; GB2341231A; GB9819323D0; DE69922752D1

Abstract

(57)【要約】【課題】入力ビデオ画像ストリームまたはシーケンス
中でヒトの顔を自動的に検出するための方法および装置
を提供する。【解決手段】画像中のヒトの顔を検出する方法であっ
て、顔候補領域を画像中に見いだすステップと、顔の特
徴を示す第１の特徴について顔候補領域を分析するステ
ップとを包含し、第１の特徴が第１および第２の極小値
の間に配置された極大値を含むほぼ対称な水平方向輝度
曲線図を含み、分析ステップが、顔候補領域の一部の垂
直方向積分投射を形成するステップと、垂直方向積分投
射が極大値に対してほぼ対称的に配置された第１および
第２の極小値を有するかどうかを判定するステップとを
含む方法が提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ヒトの顔を検出す
るための方法および装置に関する。このような方法は、
例えば、画像トラッキングシステムの初期化ステージ
で、ターゲット画像をキャプチャするために使用され得
る。本発明はまた、このような装置を含む画像トラッキ
ングシステムを使用する、自動立体型などの観察者トラ
ッキングディスプレイに関する。

【０００２】このような方法および装置の他の用途に
は、安全監視、ビデオおよび画像圧縮、ビデオ会議、マ
ルチメディアデータベース検索、コンピュータゲーム、
運転手モニタリング、グラフィカルユーザインターフェ
ース、顔認識、ならびに個人識別が含まれる。

【０００３】

【従来の技術】自動立体ディスプレイは、ビューアが、
２つの視野ウィンドウにおいて、目でこのようなディス
プレイを観察することによって、立体対を形成する２つ
の別個の画像を見ることを可能にする。このようなディ
スプレイの例は、欧州特許第０６０２９３４号、欧州特
許第０６５６５５５号、欧州特許第０７０８３５１号、
欧州特許第０７２６４８２号、および欧州特許第０８２
９７４３号に開示されている。添付の図面の図１は、公
知のタイプの観察者トラッキング自動立体ディスプレイ
の例を示す。

【０００４】ディスプレイは、トラッキングシステム２
と協働するディスプレイシステム１を有する。トラッキ
ングシステム２は、センサ信号をトラッキングプロセッ
サ４に与えるトラッキングセンサ３を有する。トラッキ
ングプロセッサ４は、センサ信号から観察者位置データ
信号を得、観察者位置データ信号は、ディスプレイシス
テム１のディスプレイ制御プロセッサ５に与えられる。
プロセッサ５は、位置データ信号をウィンドウ操縦信号
に変換し、これをトラッキング機能を備えた（ｔｒａｃ
ｋｅｄ）３Ｄディスプレイ７の操縦機構６に与える。こ
のように、観察者の目に対する視野ウィンドウは、観察
者の頭の動きに従うように操縦され、動作範囲内で、観
察者の目を適切な視野ウィンドウ内に維持する。

【０００５】英国特許第２３２４４２８号および欧州特
許第０８７７２７４号は、観察者トラッキング自動立体
ディスプレイ用の、待ち時間が短く、更新（ｕｐｄａｔ
ｅ）周波数が高く、および測定精度が十分な観察者ビデ
オトラッキングシステムを開示する。添付の図面の図２
は、システムの一例を示す。このシステムは、トラッキ
ングセンサ３が、６０Ｈｚのフィールドレートで動作す
るＳｏｎｙＸＣ９９９ＮＴＳＣビデオカメラを有
し、トラッキングプロセッサ４にマウス８が設けられ、
プロセッサ４が、１５０ＭＨｚで動作するＲ４４００プ
ロセッサならびにカメラ３によってキャプチャされた各
フィールドについての６４０×２４０絵素（画素）の解
像度を有するビデオディジタイザおよびフレームストア
が設けられたＩｎｄｙシリーズのシリコングラフィック
スエントリーレベルマシンを有する点で、添付の図面の
図１に示すシステムと異なる。カメラ３は、ディスプレ
イ７の上部に配置され、ディスプレイの前に座っている
観察者の方を向いている。観察者とカメラ３との通常の
距離は、約０．８５メートルであり、この距離におい
て、観察者は、水平方向すなわちＸ方向に約４５０ｍｍ
内で、運動の自由度を有する。カメラによって形成され
る画像内の２つの画素間の距離は、Ｘ方向およびＹ方向
のそれぞれにおいて約０．６７ｍｍおよび１．２１ｍｍ
である。Ｙ解像度は、各インターレースされたフィール
ドが別々に使用されるため、半分になる。

【０００６】添付の図面の図３は、プロセッサ４によっ
て行われるトラッキング方法を一般的な用語で示す。こ
の方法は、初期化ステージ９に続いてトラッキングステ
ージ１０を含む。初期化ステージ９では、ターゲット画
像または「テンプレート」は、カメラ３からの画像の一
部を格納することによってキャプチャされる。ターゲッ
ト画像は、一般に、添付の図面の図４に参照符号１１で
示す観察者の目の領域を含む。ターゲット画像またはテ
ンプレート１１がうまくキャプチャされるとすぐに、観
察者トラッキングがトラッキングステージ１０において
行われる。

【０００７】グローバルターゲットまたはテンプレート
検索はステップ１２で行われ、カメラ３によって生成さ
れる全画像内のターゲット画像の位置を検出する。ター
ゲット画像が見いだされると、動き検出はステップ１３
で行われ、その後ローカルターゲットまたはテンプレー
ト検索がステップ１４で行われる。テンプレートマッチ
ングステップ１２および１４は、テンプレート内のター
ゲット画像と、テンプレートが上に重ねられた各サブセ
クションとを相関させることによって行われる。最良の
相関値は、所定の閾値と比較され、ステップ１５でトラ
ッキングが失われたかどうかをチェックする。トラッキ
ングが失われた場合、制御は、グローバルテンプレート
マッチングステップ１２に戻る。トラッキングが失われ
ていなければ、制御はステップ１３に戻る。動き検出１
３およびローカルテンプレートマッチング１４は、トラ
ッキングループを形成し、トラッキングループは、トラ
ッキングが維持される限り行われる。動き検出ステップ
は、差分法（ｄｉｆｆｅｒｅｎｔｉａｌｍｅｔｈｏ
ｄ）によって位置データを提供する。差分法は、連続し
たフィールド間のターゲット画像の動きを判定し、これ
を先のフィールドに関して前ステップにおけるローカル
テンプレートマッチングで見いだされた位置に加える。

【０００８】初期化ステージ９は、トラッキングが始ま
る前に、観察者のターゲット画像またはテンプレートを
得る。英国特許第２３２４４２８号および欧州特許第０
８７７２７４号に開示される初期化ステージは、対話型
方法（ｉｎｔｅｒａｃｔｉｖｅｍｅｔｈｏｄ）を用い
る。対話型方法において、ディスプレイ７は、入力され
るビデオ画像を表示し、例えば、プロセッサ４において
実現される画像生成器は、添付の図面の図５に示すよう
に、ボーダー画像またはグラフィカルガイド１６をディ
スプレイ上に生成する。例えば、マウス８の一部を形成
するユーザ作動可能な制御は、ボーダー画像内の画像領
域のキャプチャを手動によって駆動することを可能にす
る。

【０００９】観察者は、必要なテンプレートサイズであ
るボーダー画像と共に、ディスプレイ７上の自分自身の
画像を観察する。観察者は、自分の両目の間の中間点を
グラフィカルガイド１６の中央線に合わせ、例えば、マ
ウスボタンまたはキーボードのキーを押すことによっ
て、システムがテンプレートをキャプチャするように作
動させる。あるいは、この位置合わせは、マウス８を用
いてグラフィカルガイド１６を所望の場所までドラッグ
することによっても成し遂げられ得る。

【００１０】

【発明が解決しようとする課題】このような対話型テン
プレートキャプチャ技術の利点は、観察者が、受け入れ
可能な位置合わせ精度でテンプレートを選択することが
可能なことである。これには、人の顔の認識および目の
領域などの対象画像領域の選択が含まれる。人の視覚に
とってはこのプロセスは簡単なことであるが、このよう
なテンプレートキャプチャは、様々な照明条件下で異な
る年齢、性別、目の形、および皮膚の色を有する可能な
限りすべてのタイプの人々が対象になると、コンピュー
タには困難である。

【００１１】しかし、このような対話型テンプレートキ
ャプチャ方法は、システムの使用ごとにテンプレートキ
ャプチャを行わなければならないので、通常の使用に不
都合である。ビジターなどの非通常ユーザにとっては、
システムを協働させる方法を学習しなければならないと
いった別の問題がある。例えば、新規ユーザは、グラフ
ィカルガイドと自分の顔とを位置合わせする方法を知る
必要があり得る。この位置合わせは、一見簡単なようで
あるが、多くの新規ユーザにとってやりづらいことがわ
かっている。したがって、トラッキングシステムの使用
がより簡単になり、市場でより受け入れやすくするよう
な構成に改善することが望ましい。

【００１２】各ユーザに対してテンプレートキャプチャ
を繰り返すことを避けるために、ユーザの各キャプチャ
されたテンプレートをデータベースに格納することが可
能である。ユーザが最初にシステムを使用する場合、対
話型方法がテンプレートをキャプチャするために使用さ
れ得、そしてテンプレートは、データベースに格納され
る。同じユーザによって次に使用される場合は、データ
ベースが検索されてこのユーザのテンプレートを見つけ
るので、新規テンプレートを必要としなくてよい。各ユ
ーザは、例えば、照明の変化および顔の特徴の変化など
に適応するために１つ以上のテンプレートを与える必要
があり得る。したがって、この技術は、ディスプレイの
各回の使用ごとにテンプレートをキャプチャする必要が
ない利点があるが、ユーザの数が極めて少ない場合に限
って実用的である。そうでなければ、大規模なデータベ
ースを構築することが必要となり、それに伴って検索時
間が長くなり、任意の商業的実施が非常に難しくなる。
例えば、多くの一回限りのユーザを扱うＰＯＳ（ｐｏｉ
ｎｔ−ｏｆ−ｓａｌｅ）システムは、すべてのユーザを
含んだデータベースを格納することが簡単にはできな
い。

【００１３】画像処理およびコンピュータビジョン技術
を使用して自動的にテンプレートをキャプチャすること
が可能である。これについては本質的に、顔認識のより
一般的な問題の一部である、顔および／または目検出の
問題である。完全な顔認識システムは、顔を自動的に検
出し、各顔から人物を識別できるべきである。識別のた
めに使用される多くの方法は検出にもまた使用され得る
が（その逆もまた然り）、自動顔検出のタスクは、識別
タスクとは異なる。

【００１４】顔認識分野のコンピュータビジョン研究の
大半は、これまで識別タスクに集中されてきた。この例
は、Ｒ．ＢｒｕｎｅｌｌｉおよびＴ．Ｐｏｇｇｉｏ、
「Ｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｔｈｒｏｕｇｈｇｅ
ｏｍｅｔｒｉｃａｌｆｅａｔｕｒｅ」、Ｐｒｏｃｅｅｄ
ｉｎｇｓｏｆｔｈｅ２ｎｄＥｕｒｏｐｅａｎＣｏｎｆｅ
ｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、７９２
−８００頁、Ｇｅｎｏａ、１９９２年；米国特許第５１
６４９９２Ａ号、Ｍ．ＴｕｒｋおよびＡ．Ｐｅｎｔｌａ
ｎｄ、「Ｅｉｇｅｎｆａｃｅｓｆｏｒｒｅｃｏｇｎｉｔ
ｉｏｎ」、ＪｏｕｒｎａｌｏｆＣｏｇｎｉｔｉｖｅＮｅ
ｕｒｏｓｃｉｅｎｃｅ第３巻、Ｎｏ．１、７０−８６
頁、ならびにＡ．Ｌ．Ｙｕｉｌｌｅ、Ｄ．Ｓ．Ｃｏｈｅ
ｎおよびＰ．Ｗ．Ｈａｌｌｉｎａｍ、「Ｆｅａｔｕｒｅ
ｅｘｔｒａｃｔｉｏｎｆｒｏｍｆａｃｅｓｕｓｉｎｇｄ
ｅｆｏｒｍａｂｌｅｔｅｍｐｌａｔｅｓ」、Ｉｎｔｅｒ
ｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒ
Ｖｉｓｉｏｎ、８（２）、９９−１１１頁、１９９２年
において開示される。これらの例の多くは、自動顔検出
の必要性をはっきりと示してきたが、その問題点および
解決方法は、無視される傾向にあるか、または十分に説
明されていない。これらの公知の技術は、顔がすでに検
出されたこと、および顔の位置が画像中で既知であるこ
とを仮定するか、または顔および背景が容易に分離でき
るような状況に用途を限定する。限定的な束縛条件およ
び長い計算時間を必要とせずに信頼性のある検出率を達
成する公知の顔認識技術は、ほとんどない。

【００１５】独国特許第１９６３４７６８号は、ビデオ
ピクチャ中の顔を検出する方法を開示する。この方法
は、入力画像を予め格納された背景画像と比較して、２
値マスクを作成する。この２値マスクは、頭領域を見い
だすために使用でき、この頭領域は、さらに顔が存在す
るかどうかについて分析される。この方法は、変化のな
い制御された背景を必要とする。しかし、ユーザが自動
立体型ディスプレイを見ている間に、人々が背景中を移
動することは、珍しいことではない。

【００１６】Ｇ．ＹａｎｇおよびＴ．Ｓ．Ｈｕａｎｇ、
「Ｈｕｍａｎｆａｃｅｄｅｔｅｃｔｉｏｎｉｎｃｏｍｐ
ｌｅｘｂａｃｋｇｒｏｕｎｄｓ」、ＰａｔｔｅｒｎＲｅ
ｃｏｇｎｉｔｉｏｎ、第２７巻、Ｎｏ．１、５３−６３
頁、１９９４年は、階層的知識ベース技術を使用して、
制御されていない背景中でヒトの顔を見いだす方法を開
示する。この方法は、３つのレベルを含む。高い方の２
つのレベルは、異なる解像度のモザイク画像に基づく。
最も低いレベルにおいては、エッジ検出方法が提案され
る。このシステムは、白黒ピクチャ中でかなり広範囲の
種々のサイズを有する既知でないヒトの顔を見いだすこ
とができる。１セット４０ピクチャを学習セットとし、
１セット６０ピクチャを試験セットとして使用した実験
結果が報告された。各ピクチャは、５１２×５１２ピク
セルを有し、４８×６０から２００×２５０ピクセルま
での範囲の顔サイズを許容する。このシステムは、８３
％、すなわち６０中５０の検出率を達成した。顔を正し
く見いだしたことに加えて、偽の顔が試験セットの内の
２８で検出された。この検出率は、比較的低いが、さら
に大きな問題は、各画像を処理するための計算時間が６
０〜１２０秒であることである。

【００１７】米国特許第５０１２５２２号は、２分以内
のランダムな内容を有するビデオシーン中のヒトの顔を
見いだすこと、およびその見いだした顔を認識すること
が可能なシステムを開示する。オプションのモーション
検出機能を含む場合、見いだしおよび認識イベントは、
１分未満で生じる。このシステムは、Ｅ．Ｊ．Ｓｍｉｔ
ｈ、「Ｄｅｖｅｌｏｐｍｅｎｔｏｆａｕｔｏｎｏｍｏｕ
ｓｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｍａｃｈｉｎｅ」、
修士論文、Ｄｏｃ．＃ＡＤ−Ａ１７８８５２、ＡｉｒＦ
ｏｒｃｅＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇ
ｙ、１９８６年１２月に開示された、速度および検出ス
コアを改善された、以前の自律型顔認識マシン（ＡＦＲ
Ｍ）に基づく。このＡＦＲＭは、皮質思考理論（Ｃｏｒ
ｔｉｃａｌＴｈｏｕｇｈｔＴｈｅｏｒｙ（ＣＴＴ））を
使用して開発された自動「顔ファインダー」を含むこと
によって以前の顔認識マシンから開発された。ＣＴＴ
は、所定パターンの「ゲシュタルト」を計算するアルゴ
リズムの使用を含む。この理論によると、ゲシュタルト
は、ヒトの脳によって一意に、２次元画像などのエンテ
ィティに割り当てられた本質、すなわち「単一特徴付け
（ｓｉｎｇｌｅｃｈａｒａｃｔｅｒｉｓａｔｉｏｎ）」
を表す。顔ファインダーは、所定の顔の特徴、すなわち
「署名」となる画像を検索することによって機能する。
顔署名は、ほとんどの顔画像に存在し、顔が全く存在し
ない場合にはまれにしか存在しない。

【００１８】ＡＦＲＭにおいて最も重要な顔署名は、目
署名である。目署名は、画像から列を抽出し、各列につ
いて計算されたゲシュタルトの結果をプロットすること
によって生成される。まず、８ピクセル（縦）×１９２
ピクセル（横）のウインドウが、１２８×１９２ピクセ
ルの画像領域から抽出される。次に、この８×１９２ピ
クセルのウインドウは、新しい６４×１９２ピクセルの
画像の上に配置される。この６４×１９２ピクセルの画
像の残りの行は、背景グレーレベル強度で埋められる。
この背景グレーレベル強度は、例えば、０が黒を表すと
して、全部で１６グレーレベルある内の１２である。
次に、この結果得られた画像は、画像中の１９２の垂直
列の各々についてゲシュタルトポイントを計算すること
によって、目署名に変換される。これは、ゲシュタルト
ポイントからなる１９２要素のベクトルを生じる。目領
域が存在する場合、このベクトルは、目の中心に対応す
る２つの中心ピーク、２つのピークの間の中心極小値、
および２つのピークのそれぞれの片側にある２つの外側
極小値によって特徴づけられるパターンを示す。このよ
うな署名が見出された場合、目領域が存在し得る。次
に、同様の技術を適用して、鼻／口署名を生成し、顔の
存在を確認する。ＡＦＲＭは、１３９の画像（１被験者
当たり約４〜５枚の異なるピクチャ）を含む小規模な画
像データベースを使用した顔ファインダーアルゴリズム
に対して９４％の成功率を達成した。このようなシステ
ムにとって不利な点は、同じようなパターンを表示でき
るオブジェクトが画像中にあまりにも多く存在すること
である。したがって、このシステムは、非常に信頼性の
ある顔ロケータ（ｌｏｃａｔｏｒ）ではない。さらに、
ゲシュタルトの計算は、非常に計算量が多いので、リア
ルタイムでの実施を達成するのは困難である。

【００１９】欧州特許第０７５１４７３号は、フィル
タ、畳込み、および閾値によって顔候補領域を見いだす
技術を開示する。顔の特徴、特に目および口の候補が所
定の特徴を有するかどうかを次の分析が検査する。

【００２０】米国特許第５７１５３２５号は、解像度を
低減した画像に関する技術を開示する。見いだしステッ
プは、画像と背景画像とを比較し、顔候補領域を規定す
る。次の分析は、３レベルの輝度の画像に基づき、各候
補領域を格納されたテンプレートと比較することによっ
て行われる。

【００２１】米国特許第５６２９７５２号は、画像中の
物体輪郭を見いだすステップ、およびそのような輪郭の
対象性および他の特徴について検査するステップに基づ
いて分析が行われる技術を開示する。この技術はまた、
長軸がお互いに対称な向きをした水平方向に対称な暗い
楕円を検出することによって水平方向に対称な目領域を
検査する。

【００２２】Ｓａｋｏら、Ｐｒｏｃｅｅｄｉｎｇｓｏｆ
１２ＩＡＰＲＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒ
ｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、
Ｊｅｒｕｓａｌｅｍ、１９９４年１０月６日〜１３日、
第ＩＩ巻、３２０〜３２４頁、「ＲｅａｌＴｉｍｅＦａ
ｃｉａｌＦｅａｔｕｒｅＴｒａｃｋｉｎｇＢａｓｅｄｏ
ｎＭａｔｃｈｉｎｇＴｅｃｈｎｉｑｕｅｓａｎｄｉｔｓ
Ａｐｐｌｉｃａｔｉｏｎｓ」は、格納されたテンプレー
トとの比較によって目領域を検出するステップを含む種
々の分析技術を開示する。

【００２３】Ｃｈｅｎら、ＩＥＥＥ（０−８１８６−７
０４２−８）、５９１〜５９６頁、１９９５、「Ｆａｃ
ｅＤｅｔｅｃｔｉｏｎｂｙＦｕｚｚｙＰａｔｔｅｒｎＭ
ａｔｃｈｉｎｇ」は、「顔モデル」に対してファジーマ
ッチングすることによって顔候補の見いだしを行う。候
補は、定義されていないモデルに基づいて目／眉および
鼻／口領域が存在するかどうかを検査することによって
分析される。

【００２４】

【課題を解決するための手段】本発明の第１の局面によ
ると、画像中のヒトの顔を検出する方法であって、顔候
補領域を画像中に見いだすステップと、顔の特徴を示す
第１の特徴について顔候補領域を分析するステップとを
包含し、該第１の特徴が第１および第２の極小値の間に
配置された極大値を含むほぼ対称な水平方向輝度曲線図
を含み、該分析ステップが、顔候補領域の一部の垂直方
向積分投射を形成するステップと、垂直方向積分投射が
極大値に対してほぼ対称的に配置された該第１および第
２の極小値を有するかどうかを判定するステップとを含
む方法が提供される。

【００２５】前記見いだしステップおよび分析ステップ
は、１シーケンスの画像の各画像について繰り返しても
よい。

【００２６】前記または各画像がカラー画像であり、前
記分析ステップが、該カラー画像のカラー成分について
行ってもよい。

【００２７】前記または各画像がカラー画像であり、前
記分析ステップが、該カラー画像から得られたコントラ
スト画像上で行ってもよい。

【００２８】前記分析ステップは、前記垂直方向積分投
射が、水平方向の分離が所定範囲内である第１および第
２の極小値を有するかどうかを判定してもよい。

【００２９】前記分析ステップは、前記極大値と、前記
第１および第２の極小値の小さい方との間の差と、該極
大値との比が第１の閾値より大きいような、前記垂直方
向積分投射が極大値ならびに第１および第２の極小値を
有するかどうかを判定してもよい。

【００３０】前記垂直方向積分投射は、前記顔候補の複
数部分について形成され、そして最も高い比を有する該
部分が有望なターゲット画像として選択されてもよい。

【００３１】前記分析ステップは、前記部分の対称性の
尺度を形成するステップを含んでもよい。

【００３２】前記対称性の尺度は、以下の式

【００３３】

【数５】

【００３４】で形成され、Ｖ（ｘ）は、水平方向位置ｘ
での前記垂直方向積分投射の値であり、ｘ₀は、該垂直
方向積分投射の中央の水平方向位置であってもよい。

【００３５】前記垂直方向積分投射は、前記顔候補の複
数部分について形成され、最も高い対称性の尺度を有す
る部分が有望なターゲット画像として選択されてもよ
い。

【００３６】前記分析ステップは、前記顔候補領域の一
部を左半分および右半分に分割するステップと、該半分
の各々の水平方向積分投射を形成するステップと、該左
および右水平方向積分投射の水平方向対称性の尺度と第
２の閾値とを比較するステップと含んでもよい。

【００３７】前記分析ステップは、前記顔候補領域が、
所定の範囲内において、ほぼ同じ高さに配置され、水平
方向の分離した第１および第２の輝度極小値を有するか
どうかを判定してもよい。

【００３８】前記分析ステップは、前記顔候補領域が、
第１および第２の輝度極小値よりも高い輝度を有し、且
つ該第１および第２の輝度極小値の間に配置される垂直
方向に伸長する領域を有するかどうかを判定してもよ
い。

【００３９】前記分析ステップは、前記顔候補領域が、
前記垂直方向に伸長する領域の下に配置され、且つ該垂
直方向に伸長する領域より低い輝度を有する水平方向に
伸長する領域を有するかどうかを判定してもよい。

【００４０】前記分析ステップは、前記顔候補領域中
に、緑色画像成分が赤色画像成分より大きいか、または
青色画像成分が緑色画像成分より大きい瞳候補領域を見
いだすステップを含んでもよい。前記瞳候補領域を見い
だすステップは、前記顔候補領域の目候補領域に限定さ
れされてもよい。前記分析ステップは、前記目候補領域
中の絵素（ｘ，ｙ）についての関数Ｅ（ｘ，ｙ）を以下
の式

【００４１】

【数６】

【００４２】に形成し、ここで、Ｒ、Ｇ、およびＢは赤
色、緑色、および青色画像成分であり、Ｃ₁およびＣ₂は
定数であり、Ｅ（ｘ，ｙ）＝１は前記瞳候補領域内部の
絵素を表し、そしてＥ（ｘ，ｙ）＝０は該瞳候補領域外
部の絵素を表してもよい。前記分析ステップは、前記瞳
の中心を前記瞳候補領域の重心として検出してもよい。

【００４３】前記分析ステップは、口候補領域を、水平
方向においては前記瞳候補領域の間に、垂直方向におい
ては該瞳候補領域の間の距離の実質的に０．５〜１．５
倍だけ瞳候補領域の下にある前記顔候補領域のサブ領域
中に見いだすステップを含んでもよい。前記分析ステッ
プは、前記サブ領域中の絵素（ｘ，ｙ）についての関数
Ｍ（ｘ，ｙ）を以下の式

【００４４】

【数７】

【００４５】に形成してもよく、ここで、Ｒ、Ｇ、およ
びＢは赤色、緑色、および青色画像成分であり、ηは定
数であり、Ｍ（ｘ，ｙ）＝１は前記口候補領域内部の絵
素を表し、そしてＭ（ｘ，ｙ）＝０は該口候補領域外部
の絵素を表す。前記関数Ｍ（ｘ，ｙ）の垂直および水平
方向投射曲線図が形成されてもよく、唇候補領域が該垂
直および水平方向投射曲線図が第１および第２の所定の
閾値をそれぞれに超える長方形サブ領域中に定義されて
もよい。前記第１および第２の所定の閾値が前記垂直お
よび水平方向投射曲線図の極大値にそれぞれ比例しても
よい。

【００４６】前記分析ステップは、前記唇候補領域のア
スペクト比が第１および第２の予め規定された閾値の間
にあるかどうかをチェックしてもよい。

【００４７】前記分析ステップは、前記瞳候補領域から
前記唇候補領域の上部までの垂直距離と該瞳候補領域間
の間隔との比が第１および第２の予め設定された閾値の
間にあるかどうかをチェックしてもよい。

【００４８】前記分析ステップは、前記顔候補領域の一
部を左および右半分に分割するステップと、水平方向に
対称的に配置された対をなす対称な点の輝度勾配の角度
を比較するステップと含んでもよい。

【００４９】前記見いだしステップおよび分析ステップ
は、前記第１の特徴が前記シーケンスの連続Ｒ画像のｒ
回目に見つかる場合に、停止されてもよい。

【００５０】前記見いだしステップは、ヒトの顔を示す
第２の特徴を有する顔候補領域について前記画像を検索
するステップを含んでもよい。

【００５１】前記第２の特徴が均一な彩度であってもよ
い。

【００５２】前記検索ステップが、彩度を平均化するこ
とによって前記画像の解像度を低下させ、解像度が低下
した画像を形成するステップと、所定の形状において、
該所定の形状を取り囲む該解像度が低下した画像の部分
の彩度とは実質的に異なる実質的に均一な彩度を有する
該解像度が低下した画像の領域を検索するステップと、
を包含してもよい。

【００５３】前記画像が、複数の絵素を含み、前記解像
度が、前記所定の形状が２から３個の解像度が低下した
絵素にわたるように低下されてもよい。

【００５４】前記画像が、Ｍ×Ｎ絵素の長方形アレイを
含み、前記解像度が低下した画像が、（Ｍ／ｍ）×（Ｎ
／ｎ）絵素を含んでもよく、それぞれが、該画像のｍ×
ｎ絵素に対応し、該解像度が低下した画像の各絵素の彩
度Ｐが、以下の式

【００５５】

【数８】

【００５６】で表されてもよく、ここで、ｆ（ｉ，ｊ）
が、該ｍ×ｎ絵素のｉ番目の列およびｊ番目の行の絵素
の彩度である。

【００５７】前記方法がストアに前記彩度を格納するス
テップをさらに含んでもよい。

【００５８】前記解像度が低下した絵素のそれぞれの彩
度と、少なくとも１つの隣接した解像度が低下した絵素
の彩度とを比較することによって、該解像度が低下した
絵素のそれぞれに均一値が割り当てられてもよい。

【００５９】以下の式が満たされる場合、各均一値に第
１の値が割り当てられてもよく、（ｍａｘ（Ｐ）−ｍｉｎ（Ｐ））／ｍａｘ（Ｐ）≦Ｔここで、ｍａｘ（Ｐ）およびｍｉｎ（Ｐ）が、それぞ
れ、前記解像度が低下した絵素および前記または各隣接
した絵素の彩度の最大値および最小値であり、Ｔが閾値
であり、該式が満たされない場合、該各均一値に、該第
１の値とは異なる第２の値が割り当てられてもよい。

【００６０】Ｔが実質的に０．１５に等しくてもよい。

【００６１】ストアに前記彩度を格納するステップを含
んでもよく、前記または各隣接した解像度が低下した絵
素には均一値が割り当てられず、各均一値が該対応する
彩度の代わりに該ストアに格納されてもよい。

【００６２】前記所定の形状が２または３個の解像度が
低下した絵素にわたるように、前記解像度が低下されて
もよく、前記方法が、前記第１の値の均一値が、１つの
解像度が低下した絵素、２つの垂直または水平方向に隣
接した解像度が低下した絵素、および絵素の長方形の２
×２アレイのいずれか１つに割り当てられ、前記第２の
値の均一値が、周囲の解像度が低下した絵素のそれぞれ
に割り当てられるとき、顔候補領域の検出を示すことを
さらに含んでもよい。

【００６３】前記方法がストアに前記彩度を格納するス
テップをさらに含み、前記対応する均一値の代わりに、
前記第１および第２の値とは異なる第３の値を該ストア
に格納することによって検出が示されてもよい。

【００６４】前記解像度低下を繰り返すステップと、前
記画像絵素に対して前記解像度が低下した絵素がシフト
した状態で、少なくとも１回は検索をするステップとを
さらに含んでもよい。

【００６５】前記彩度が、以下の式で、赤色、緑色およ
び青色成分から得られ、（ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））／ｍ
ａｘ（Ｒ，Ｇ，Ｂ）ここで、ｍａｘ（Ｒ，Ｇ，Ｂ）およびｍｉｎ（Ｒ，Ｇ，
Ｂ）が、それぞれ、該赤色、緑色および青色成分の最大
値および最小値であってもよい。

【００６６】第１の画像が、顔の位置の予想範囲を照射
している間にキャプチャされ、第２の画像が、周辺光を
用いてキャプチャされ、該第２の画像が該第１の画像か
ら減算されて画像を形成してもよい。

【００６７】本発明の第２の局面によると、画像中でヒ
トの顔を検出するための装置であって、該画像中で顔候
補領域を見いだす手段と、顔の特徴を示す第１の特徴に
ついて該顔候補領域を分析するための手段とをさらに備
える装置が提供される。

【００６８】本発明の第３の局面によると、本発明の第
２の局面による装置をさらに有する観察者トラッキング
ディスプレイが提供される。

【００６９】以下作用について説明する。

【００７０】例えば、入力ビデオ画像ストリームまたは
シーケンス中でヒトの顔を自動的に検出するための方法
および装置を提供することが可能である。この方法およ
び装置は、例えばトラッキング機能を備えた自動立体型
ディスプレイに関連した観察者ビデオトラッキングシス
テムの初期ステージにおいて、上記および英国特許第２
３２４４２８号および欧州特許第０８７７２７４号に説
明されるテンプレートをキャプチャする対話型方法を置
き換えるために使用され得る。自動ターゲット画像キャ
プチャのためのこのような技術を使用すると、ビデオト
ラッキングシステムおよび関連した自動立体型ディスプ
レイの使用が容易になり、したがってこのようなシステ
ムについての商業的な成功の見込みが増すことになる。

【００７１】顔ロケータおよび顔アナライザ（ａｎａｌ
ｙｚｅｒ）の形態をとる２段階のアプローチを使用する
ことによって、顔ロケータによって、より計算のかかる
顔分析をいくつかの顔候補に制限することが可能にな
る。このような機構により、リアルタイムでビデオ画像
のシーケンス中の画像を検出することができる。このリ
アルタイムでの画像検出は、画像内容の複雑さに依存
し、例えば、５〜３０Ｈｚの速度である。観察者トラッ
キング自動立体型ディスプレイにおいて使用される場
合、顔検出は、いくつかの連続画像にわたって顔が一貫
して検出された後に自動的に終了され得る。全体のプロ
セスは、数秒を超えることはない。初期化は、システム
の各回の使用の開始時に一度だけ行われる必要がある。

【００７２】顔ロケータは、顔分析の信頼性を高める。
なぜなら、分析は、各画像中で見いだされる各顔候補領
域に対して行われるだけだからである。顔なし候補領域
が顔の特徴を示し得る領域に同様のデータを含み得る
が、顔ロケータは、そのような特徴に基づいた分析を有
望な顔候補に制限する。さらに、分析は、顔ロケータに
よって見つけられた偽顔候補を除去するのに役立ち、顔
および顔の特徴のより正確な位置データ（目領域のター
ゲット画像が得られ得るような観察者の両目の間の中間
点など）を与えることができる。

【００７３】見いだしおよび分析の機能を分離すること
によって、各機能またはステップは、計算能力およびコ
ストを過度に要求することなしに商業的に実施され得
る、より簡単かつより効率的な方法を使用し得る。例え
ば、皮膚の色を使用して有望な顔候補を見いだすステッ
プは、適度な照明の変化に適応できる。この技術は、か
なり広範囲の照明条件に適応でき、異なる年齢、性別、
および皮膚の色の人々に対応できる。さらに、薄く色の
ついた眼鏡を着用していても対応し得る。

【００７４】これらの技術は、コンピュータによる実施
に関し、多くのモジュールのうちの任意のモジュールを
使用し得る。各モジュールは、種々の要求に合うように
置換または改変され得る。これにより、システムの柔軟
性が増大し、したがって、安全監視、ビデオおよび画像
圧縮、ビデオ会議、コンピュータゲーム、運転手モニタ
リング、グラフィカルユーザインターフェース、顔認
識、および個人識別などのかなり広範囲の用途を有し得
る。

【００７５】ビデオカメラによって供給される１シーケ
ンスの画像などにおける画像中にヒトの顔を検出するた
めの方法が提供される。本方法は、各画像中に顔候補領
域を見いだすステップおよび顔の特徴を示す第１の特徴
について顔候補領域を分析するステップを含む。見いだ
しステップは、低減された解像度を有する画像中に所定
の形状の均一な彩度を有する領域を検出するステップを
含む。分析ステップは、単一カラー成分を選択するステ
ップ、垂直方向積分投射曲線図を形成するステップ、お
よび顔の目領域の特徴を示す曲線図中にオメガ形状を検
出するステップを含む。

【００７６】

【発明の実施の形態】本発明を添付の図面を参照しなが
ら実施例を用いてさらに説明する。尚、図面全体にわた
って、同様の参照符号は同様の部分を指す。

【００７７】図６は、画素化カラー画像のヒトの顔をビ
デオ画像シーケンスから自動的に検出し、そして見いだ
す方法を流れ図で示す。ビデオ画像シーケンスは、例え
ば、上記で図２を参照しながら記載したタイプのビデオ
カメラによってリアルタイムで提供され得る。方法は、
図３に示す初期化ステージ９としてリアルタイムで動作
し得、そしてターゲット画像またはテンプレートを図３
に示すトラッキングステージ１０へ供給する。

【００７８】ステップＳ１において、赤、緑、青（ＲＧ
Ｂ）フォーマットの最新のディジタル画像が得られる。
例えば、このステップは、ビデオカメラからのビデオデ
ータの最新フィールドをフィールドストアに格納するこ
とを含み得る。ステップＳ２において、顔候補を構成す
る領域を見いだすために画像が検索される。ステップＳ
３は、顔候補がひとつでも見つかったかどうかを判定す
る。見つからなければ、ステップＳ１が行われ、ステッ
プＳ２およびＳ３が、少なくとも１つの顔候補が最新の
画像中に見つかるまで繰り返される。したがって、ステ
ップＳ２およびＳ３は、以下にさらに詳細に説明される
顔ロケータ１７を構成する。

【００７９】次に顔候補は、顔候補を分析して顔の特徴
を示す１つ以上の特徴の存在を判定する顔アナライザに
供給される。ステップＳ４は、顔ロケータ１７によって
見いだされた顔候補に対応する画像の部分をひとつずつ
受け取る。ステップＳ４は、各顔候補を分析し、候補が
顔の特徴を示す特徴を含んでいると判定すると、ステッ
プＳ１から供給された最新の画像から、図４の１１で図
示される目領域の形態をしたターゲット画像またはテン
プレートを抽出する。ステップＳ５は、すべての顔候補
が試験されたかどうかを判定し、すべての候補が試験さ
れるまでステップＳ４が繰り返される。ステップＳ６
は、テンプレートがひとつでも得られたかどうかを判定
する。得られなければ、制御は、ステップＳ１に渡さ
れ、次のカラー画像について手順が繰り返される。テン
プレートがひとつでも得られれば、そのようなテンプレ
ートがステップ７で出力される。

【００８０】顔ロケータ１７は、任意の適切なタイプで
あり得、顔を見いだすための手動技術が以下に説明され
る。しかし、適切な自動技術は、英国特許第２３３３５
９０号および欧州特許第０９３２１１４号に開示され、
図７〜１３を参照して詳細に説明される。

【００８１】ステップ２１において、ビデオ画像は、Ｒ
ＧＢフォーマットからＨＳＶフォーマットに変換され、
各画素の彩度を得る。実際には、ステップ２１において
Ｓ成分のみを得るだけで充分である。

【００８２】ＲＧＢフォーマットは、カメラセンサおよ
びディスプレイ蛍光体が作用する様式から生じるハード
ウェア指向の色方式である。ＨＳＶフォーマットは、色
合い、陰、およびトーンの概念により密接に関連する。
ＨＳＶフォーマットにおいて、色相は、光の波長（例え
ば、赤色と黄色との間の区別）によって説明される色を
示し、彩度は、存在する色の量（例えば、赤色およびピ
ンク色との間の区別）、ならびに値は、光の量（例え
ば、暗い赤色と明るい赤色との間、または暗い灰色と明
るい灰色との間の区別）を示す。これらの値がプロット
され得る「空間」は、例えば、図８に示すように、円錐
形もしくは六角錐形またはダブルコーンとして示され得
る。ここで、円錐軸は、黒から白への中間色の進行であ
り、軸からの距離は彩度を示し、軸の周りの方向または
角度は色相を示す。

【００８３】人の皮膚の色は、血液（赤色）およびメラ
ニン（黄色、茶色）の組合せによって形成される。皮膚
の色は、これらの２つの極端な色相間に存在し、いくぶ
んか飽和しているが、極端に飽和してはいない。人の顔
の彩度成分は、比較的均一である。

【００８４】ビデオ画像データをＲＧＢフォーマットか
らＨＳＶフォーマットに変換するためのいくつかの技術
が存在する。彩度成分を抽出する任意の技術が用いられ
得る。例えば、変換は、彩度成分Ｓに対して、以下の式
に従って行われ得る。ｍａｘ（Ｒ，Ｇ，Ｂ）＝０のとき、Ｓ＝０ｍａｘ（Ｒ，Ｇ，Ｂ）が０でないとき、Ｓ＝（ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））
／ｍａｘ（Ｒ，Ｇ，Ｂ）変換ステップＳ２１の次に、彩度成分の空間画像解像度
は、ステップＳ２２における平均化によって低下する。
図２を参照しながら上述したように、ディスプレイから
の観察者の顔のおよその距離は、各ビデオ画像における
顔のおよそのサイズが分かるように既知である。解像度
は、大人の観察者の顔が、図７に示す各寸法において、
約２から３画素を占有するように低下する。以下、これ
を成し遂げる技術をさらに詳細に記載する。

【００８５】ステップＳ２３は、ステップＳ２２からの
解像度が低下した画像において、異なる彩度を有する解
像度が低下した画素の領域によって取り囲まれた、所定
のサイズおよび形状の均一な彩度を有する領域または
「ブロブ（ｂｌｏｂｓ)」を検出する。これを成し遂げ
る技術についても以下さらに詳細に記載する。ステップ
Ｓ２４は、顔の候補または顔のような領域が見いだされ
たかどうかを検出する。見いだされなかった場合には、
ステップＳ１からＳ２４が繰り返される。ステップＳ２
４が少なくとも１つの候補が見いだされたことを確認す
ると、ステップＳ２３で検出された均一なブロブまたは
各均一なブロブの位置がステップＳ２５で出力される。

【００８６】図９は、画像解像度の低下ステップＳ２２
をさらに詳細に示す。参照符号３０は、ステップＳ１に
与えられる画像の画素構造を示す。空間解像度は、Ｍ×
Ｎ個の正方形または長方形画素の規則正しい長方形アレ
イとして示す。空間解像度は、平均化によって低下し、
参照符号３１で示す（Ｍ／ｍ）×（Ｎ／ｎ）画素のアレ
イを得る。画素３０のアレイは、それぞれが構造３０の
ｍ×ｎ画素を含む、画素３２の「ウィンドウ」または長
方形ブロックに効果的に分割される。画素のＳ値は、ｆ
（ｉ，ｊ）（０≦ｉ＜ｍおよび０≦ｊ＜ｎの場合）とし
て図９に示す。ウィンドウの平均彩度値Ｐは、以下の式
で計算される。

【００８７】

【数９】

【００８８】図面に示す実施態様において、空間解像度
の低下は、大人の観察者の顔が、各寸法における解像度
が低下した画素の約２から３個を占有するようになる。

【００８９】ステップＳ２３は、均一状態または値Ｕを
解像度が低下したそれぞれの画素に割当て、顔のような
領域を示す均一値のパターンを検出することを含む。均
一値は、画素およびその近傍の彩度に応じて、１または
０である。図１０は、平均化された彩度値Ｐ₀を有する
画素（参照符号３５）、および３つの近傍画素の平均化
された彩度値Ｐ₁、Ｐ₂およびＰ₃を示す。均一値の割当
ては、左上の画素３７から始まり、一番上の行の終わり
から２番目の画素３８に均一値が割り当てられるまで左
から右に進む。このプロセスは、各行について上から下
へと終わりから２番目の行まで繰り返される。このよう
に画素を「走査」し、均一値が計算された画素の右およ
び下の近傍画素を用いることによって、メモリ容量が効
率的に使用され得るようにストアに上書きすることによ
って、平均彩度値Ｐを均一値Ｕで置き換えることが可能
であり、均一値のためにさらにメモリ容量を提供する必
要はない。

【００９０】均一値Ｕは、以下のように計算される。（ｆｍａｘ−ｆｍｉｎ）／ｆｍａｘ≦Ｔのとき、Ｕ＝１（ｆｍａｘ−ｆｍｉｎ）／ｆｍａｘ＞Ｔのとき、Ｕ＝０ここで、Ｔは、例えば、典型的な値０．１５を有する所
定の閾値、ｆｍａｘは、Ｐ₀、Ｐ₁、Ｐ₂、およびＰ₃の最
大値であり、ｆｍｉｎは、Ｐ₀、Ｐ₁、Ｐ₂、およびＰ₃の
最小値である。

【００９１】均一値の割当てが完了すると、アレイ３６
は、解像度が減少した画素の彩度の均一を示す０および
１のパターンを含む。ステップＳ２３は、顔のような領
域を検出するために０および１の特定のパターンを探
す。図１１は、均一値の４つのパターンおよびそれらの
パターンに対応する、ビデオ画像内の顔候補のような画
素彩度パターンの一例を示す。図１１は、均一ブロブを
参照符号４０で示す。ここで、暗い領域は、顔のような
領域を示すための充分な均一性を有する平均化された彩
度値を示す。周りの明るい領域または正方形は、均一な
彩度画素を取り囲み、実質的に異なる彩度を有する領域
を示す。均一値の対応するパターンは、参照符号４１で
示され、均一値０を有する画素ロケーションで完全に取
り囲まれている、均一値１を有する画素ロケーションを
含む。

【００９２】同様に、図１１は、他の顔のような領域を
参照符号４２で示し、対応する均一値のパターンを参照
符号４３で示す。この場合、２つの水平方向に隣接する
画素ロケーションは、均一値１を有し、且つ均一値０を
有する画素ロケーションによって完全に取り囲まれてい
る。図１１は、均一値が参照符号４５で示され、２つの
垂直方向に隣接した画素ロケーションが、均一値１を有
し、且つ均一値０を有する画素ロケーションによって取
り囲まれている第３のパターンを参照符号４４で示す。

【００９３】図１１に参照符号４６で示す第４のパター
ンは、均一値０を有する画素ロケーションによって完全
に取り囲まれている均一値１を有する４（２×２）個の
画素ロケーションの正方形ブロックを有する。従って、
図１１で参照符号４１、４３、４５および４７で示す均
一値のパターンのいずれかが起こるときは常に、ステッ
プＳ２３は、顔のような領域または候補が見いだされた
ことを示す。これらのパターンの検索は効率的に行われ
得る。例えば、画素ロケーションの均一値は、各行にお
いて左から右、およびフィールドの上から下に順にチェ
ックされる。均一値１が検出されると、現在の画素ロケ
ーションの右および下にある近隣画素ロケーションが調
べられる。これらの均一値の少なくとも１つがまた１で
あり、領域が均一値０によって取り囲まれている場合、
可能性のある顔候補に対応するパターンが見いだされ
る。次に、対応する画素ロケーションは、均一値を、例
えば、１または０以外の値（例えば、２の値）で置き換
えることによってマークされ得る。可能性のある顔候補
が見いだされなかった場合を除いて、候補の位置が出力
される。

【００９４】パターン４０、４２、４４および４６の外
観は、解像度が低下した画素３６の構造に対する顔のよ
うな領域の実際の位置によって影響され得る。図１２
は、参照符号４９で示す解像度が低下した２×２の画素
サイズを有する顔のような領域についての例を示す。円
５０によって示される顔のような領域が、２×２のブロ
ックをほぼ中心とする場合、均一な値のパターン４７が
得られ、検出は正しい。しかし、参照符号５１で示すよ
うに、顔が水平および垂直方向に半画素だけシフトして
いる場合には、顔のような領域の中央部分は、周りの領
域とは異なる均一値を有し得る。これは、結果として、
純粋な候補の検出に失敗することになり得る。

【００９５】このような起こりうる問題を避けるため
に、ステップＳ２１からＳ２４は、画像データの同じビ
デオフィールドまたは１つまたはそれ以上の連続したビ
デオフィールドに対して繰り返され得る。しかし、ステ
ップＳ２１からＳ２４が繰り返される度に、解像度が低
下した画素のアレイ３１の位置は、カラー画像画素のア
レイ３０に対して変化する。これを図１３に示す。図１
３において、画像全体は参照符号５２で示し、画像平均
化による空間解像度の低下に使用される領域は参照符号
５３で示す。平均化は、図９に示すのと同様に行われる
が、開始位置は変化する。特に、図８の第１画素に対す
る開始位置は、画像全体５２の左上の角５４であるが、
図１３はその後に行われる平均化を示す。ここでは、開
始位置は、水平方向に左上の角から量Ｓｘだけ右にシフ
トし、垂直方向に量Ｓｙだけ下にシフトしている。ここ
で、０＜Ｓｘ＜ｍ、および０＜Ｓｙ＜ｎである。

【００９６】各画像は、ＳｘおよびＳｙのすべての組合
せが用いられ、ｍ×ｎプロセスが行われるように、繰り
返し処理され得る。しかし、実際には、特に、顔のよう
な領域の検出があまり正確である必要がない応用におい
ては、すべての開始位置を用いる必要はない。本実施例
において、顔のような領域の検出が、２ステッププロセ
スの第１のステップを形成する場合、ＳｘおよびＳｙの
値は、以下のようなよりまばらなセットの組合せから選
択され得る。Ｓｘ＝ｉｘ（ｍ／ｐ）、およびＳｙ＝ｊｘ（ｎ／ｑ）ここで、ｉ、ｊ、ｐおよびｑは、以下の関係を満足する
整数である。０≦ｉ＜ｐ０≦ｊ＜ｑ１≦ｐ＜ｍ１≦ｑ＜ｎこれは、全部でｐ×ｑの組合せとなる。

【００９７】上記のように、ステップＳ２１からＳ２４
は、同じ画像または連続した画像上の異なる開始位置で
繰り返され得る。リアルタイム画像処理については、連
続した画像についてステップを繰り返すことが必要また
は好適であり得る。方法は、非常に迅速に行われ得、画
像内に存在する顔の候補の数によって、１０Ｈｚと６０
Ｈｚとの間のフィールドレートでリアルタイムで行われ
得る。従って、およそほんの数秒以下の短い期間内で、
すべての可能な位置がテストされ得る。

【００９８】図７に示す方法は、図２に示す方法のよう
に、任意の適切なハードウェアにおいて行われ得る。上
記のように、トラッキングプロセッサ４は、図７の方法
を、図３に示す初期化ステージ９の一部として実行する
ようにプログラムされることが可能である。データ処理
は、Ｒ４４００プロセッサおよび関連のメモリによって
行われ、プロセッサ４は、図２に示すように、彩度値、
解像度が低下した画素の平均化された彩度値、および均
一値を格納するためのビデオディジタイザおよびフレー
ムストアを含む。

【００９９】図１４は、顔アナライザ１８をさらに詳細
に示す。特に、ステップＳ４で形成された分析が、図１
４のステップＳ１０〜Ｓ１４として示される。

【０１００】分析はＲＧＢ成分で行われるが、単一カラ
ー成分を使用することだけで十分である。したがって、
ステップＳ１０は、例えば、最新カラー画像から赤色成
分を選択する。あるいは、別の単一値成分が使用され得
る。例えば、コントラスト画像が以下の式から得られ得
る。Ｃ＝ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ）このようなコントラスト画像を使用すると、以下に説明
するようにオメガ形状の検出を改善し得る。

【０１０１】ステップＳ１１は、顔ロケータ１７によっ
て与えられた顔候補のうちの１つを選択し、顔候補によ
って特定された赤色成分の画像領域を選択する。ステッ
プＳ１２は、顔の特徴を抽出して、画像中に顔が存在す
るか確認し、顔の正確な位置を得る。ステップＳ１３
は、顔が見いだされたかどうかを判定し、見いだされな
い場合は、制御がステップＳ５へ移る。顔が見いだされ
た場合、ステップＳ１４は、図４の参照符号１１で示し
たような、目テンプレートの形態のターゲット画像を選
択または更新する。次に、制御はステップＳ５へ移る。
ステップＳ１１〜Ｓ１４は、すべての顔候補が試験され
るまで繰り返される。

【０１０２】この方法は、画像中に１つ以上の顔を検出
することができる。しかし、現在の観察者トラッキング
自動立体型ディスプレイなどのある用途においては、許
されるユーザはただ一人である。１つ以上の顔が検出さ
れる場合は、テンプレートを１つだけ選択するために選
択規則を使用してもよい。例えば、最初に検出された顔
をテンプレートに選択してもよいし、画像の中心付近に
位置する顔でもよい。あるいは、各テンプレートに、例
えば対称性の度合に関連した品質尺度を与え、最良の品
質尺度を有するテンプレートを選択してもよい。以下
に、このような技術をさらに詳細に説明する。

【０１０３】ステップＳ１２を形成する顔の特徴抽出
を、図１５にさらに詳細に示す。ステップＳ１２は、ス
テップＳ３０〜Ｓ３９を含む。ステップＳ３０におい
て、必要なテンプレートサイズを有する赤色成分画像の
領域を選択する。ステップＳ３１は、オメガ形状が検出
されたかどうかを検出し、そうであれば、ステップＳ３
２で、対称性尺度に基づいて検出されたオメガ形状の位
置を格納または更新する。ステップＳ３３は、すべての
可能な位置が試験されたかどうかを判定し、そうでなけ
れば、ステップＳ３０は、顔候補によって特定された画
像領域から別の領域を選択する。

【０１０４】一旦すべての可能な位置が試験されると、
ステップＳ３４は、オメガ形状の垂直方向積分投射がひ
とつでもないかどうか判定する。あれば、ステップＳ３
５は、テンプレートサイズの領域に２つの目が存在する
かどうかを判定する。存在すれば、ステップＳ３６は、
鼻が検出されたかどうかを判定する。検出された場合、
ステップＳ３８は、顔が検出されたことを示すためにフ
ラグを設定し、顔の位置を格納する。ステップＳ３４〜
Ｓ３６の試験のいずれかが否定であれば、ステップＳ３
７は、顔が全く検出されなかったことを示すためにフラ
グを設定する。ステップＳ３９は、顔候補の分析を終了
する。

【０１０５】図１６は、所望の目領域テンプレート１１
を図示し、その下に、対応する垂直方向積分投射曲線図
を示す。この曲線図は、「ω」に似ている。ステップＳ
３１は、ピークすなわち極大輝度Ｖ₀を水平方向位置Ｘ₀
でとり、極大値に対して対称に位置する第１および第２
の極小輝度Ｖ₁およびＶ₂を水平方向位置Ｘ₁およびＸ₂で
とることを特徴とする曲線図を検出する。必要なテンプ
レートすなわちターゲット画像サイズが図１７に参照符
号２１で示される。このテンプレートのサイズは、ｋ×
ｌピクセルである。顔候補の画像領域は、サイズがＫ×
Ｌピクセルであり、参照符号２２で示される。ステップ
Ｓ３０は、分析のために必要なテンプレートサイズの初
期領域２３を選択し、ステップＳ３１〜Ｓ３３が行われ
る。次にステップＳ３０は、領域２３に対して右に距離
Ｓｘだけずれた水平方向に隣接する領域２４を選択す
る。これは、選択された領域が画像領域２２の上部帯片
を覆うまで繰り返される。このプロセスは、開始位置か
ら垂直方向にＳｙだけずらした参照符号２５で示される
位置に、さらに繰り返してずらされる。したがって、各
水平方向帯片は、領域を水平方向にオーバーラップさせ
ることによって「覆われる」。領域２２全体は、選択さ
れた領域が参照符号２６の位置にくるまで垂直方向に帯
片をオーバーラップさせることによって覆われる。ステ
ップＳ３３は、すべての可能な位置が試験されたと判定
し、次にステップＳ３４が行われる。

【０１０６】ステップＳ３１の機能は、図１８のステッ
プＳ４０〜Ｓ４８によってさらに詳細に図示される。ス
テップＳ４０は、幅ｋピクセルの画像のサブセクション
を選択する。パラメータｋは、相対水平方向変位Ｓｘを
用いて長方形をオーバーラップさせることによって各帯
片が覆われるように選択される。同様に、パラメータｌ
およびＳｙは、垂直方向に帯片をオーバーラップするよ
うに選択される。一般に、これらのパラメータは、Ｓｘ
がｋ／４に、Ｓｙがｌ／４に等しくなるように選択され
る。

【０１０７】ステップＳ４１は、垂直方向投射関数Ｖ
（ｘ）を計算する。これは以下の式で計算される。

【０１０８】

【数１０】

【０１０９】ここで、Ｉ（ｘ，ｙ）は、座標ｘ，ｙにあ
るピクセルの強度である。サブセクション画像の領域
は、（ｘ１，ｘ２）×（ｙ１，ｙ２）によって与えられ
る。次にステップＳ４２は、この関数のピーク、すなわ
ち極大値を検出し、その水平方向位置Ｘ₀を見つける。

【０１１０】ステップＳ４３は、極大値の位置Ｘ₀がサ
ブセクションの中心領域内にあるかどうかを判定する。
この中心領域は、ｋ／４から３ｋ／４までの領域として
規定される。その領域になければ、制御は、ステップＳ
４０に戻る。あれば、ステップＳ４４は、ピークすなわ
ち極大値の両側にある極小値を検出し、その位置Ｘ₁お
よびＸ₂を見つける。次にステップＳ４４は、極小値の
配置が大人の目の分離に対応するかどうかを検出する。
この目の分離は、通常５５〜７０ｍｍであり、対応する
閾値はＴ₁およびＴ₂である。Ｘ₁とＸ₂との差の大きさが
これらの閾値の間にある場合（ステップＳ４５）、ステ
ップＳ４６が行われる。そうでなければ、制御は、ステ
ップＳ４０に戻る。

【０１１１】ステップＳ４６は、以下の式にしたがって
ピーク対谷間の比Ｒを形成する。Ｒ＝１−ｍｉｎ（Ｖ（Ｘ₂），Ｖ（ｘ₁））／Ｖ（Ｘ₀）ステップＳ４７は、比Ｒと閾値Ｔ₃とを比較する。閾値
Ｔ₃の代表的な値は、０．２である。比Ｒが閾値Ｔ₃より
下である場合、制御は、ステップＳ４０に戻る。比Ｒが
閾値Ｔ₃を超える場合、ステップＳ４８は、オメガ形状
が検出されたことを示す。

【０１１２】オメガ形状が検出された場合、サブセクシ
ョンの中心線に対して水平方向の対称性の度合に関連し
た品質尺度が計算される。例えば、これは以下のように
計算され得る。

【０１１３】

【数１１】

【０１１４】品質尺度は、現在の顔候補について「最
良」のオメガ形状を選択するために、および、特に、目
領域の最良の水平および垂直方向位置を決定するために
使用され得る。垂直方向位置は、以下に説明されるよう
に決定され得る。

【０１１５】図１９は、水平方向のステップサイズＳｘ
の不適切な選択による影響を示す。特に、Ｓｘが、大き
な値（例えばｋ／２より大きい値）に設定されると、い
ずれのサブセクションにおいてもピーク、すなわち極大
値が検出されない可能性がある。図１９の垂直方向積分
投射曲線図、および特に斜線の部分において示されるよ
うに、中心領域に極大値、すなわちピークが全くないの
で、ステップＳ４２はＳ４３における範囲の外にある位
置Ｘ₀を見つけようとする。したがって、ステップＳｘ
の大きさは、ｋ／２より小さくするべきであり、値ｋ／
４が、オメガ形状の曲線図の中心ピークを逸することな
く計算効率を維持しつつ十分に機能することがわかって
いる。

【０１１６】例えば、最良の品質尺度Ｑを有する最良の
オメガ形状のピークは、目領域の２つの目の中央を示
し、ターゲット画像またはテンプレートの中心位置を提
示する。しかし、最良の位置からわずかに上方または下
方へずれたサブセクションは、同様のオメガ形状垂直方
向積分投射曲線図を表示する可能性が高いので、垂直方
向位置は十分に定義されない。

【０１１７】目領域上でサブセクションを垂直方向にセ
ンタリングする１つの技術は、最良の水平方向位置を見
いだすステップ、および次にオメガ形状が検出されなく
なるまでサブセクションを上方および下方へとずらすス
テップを含む。次に、これらの上方および下方限界位置
の間の途中にある垂直方向位置は、ターゲット画像につ
いての垂直方向位置として選択され得る。

【０１１８】正しい垂直方向位置を見いだす別の技術
は、ピーク対谷間の比に基づく。この場合、最良の水平
方向位置が再度決定され、そしてサブセクションは、ピ
ーク対谷間の比をモニターしながら垂直方向にずらされ
る。次に、最も高い比に対応する位置が、ターゲット画
像の中央の垂直方向位置として選択され得る。

【０１１９】垂直方向積分投射曲線図中にオメガ形状が
存在することは、目領域が存在することを強く示すが、
これは、ヒトの顔が対称であると仮定することに主に基
づく。しかし、中心線に対して対称的でない画像もま
た、オメガ形状曲線図を生成し得る。そのような画像の
例を、図２０の中央、目領域の真上に示す。両方の画像
についての垂直方向曲線図は、ほぼ同じであり、図２０
の上部に示される。この場合、非対称的画像が、中心線
に対して画像の左半分を反射させ、次にその結果得られ
る右半分の画像を逆さまにすることによって得られる。

【０１２０】そのような画像によって起こされる偽の顔
検出を防ぐために、水平方向積分投射曲線図に基づいた
技術が使用され得る。特に、オメガ形状が検出され、望
ましいテンプレートサイズの画像領域が、その中心がオ
メガ形状の中心ピークすなわち極大値と位置が合うよう
に選択される場合、水平方向積分投射は、画像の左およ
び右半分に適用される。左半分についての水平方向積分
投射曲線図は、以下の式で与えられる。

【０１２１】

【数１２】

【０１２２】そして、右半分についての水平方向積分投
射曲線図は、以下の式で与えられる。

【０１２３】

【数１３】

【０１２４】次に、対称性尺度Ｓｍは、以下の式で定義
される。

【０１２５】

【数１４】

【０１２６】Ｓｍの極小値および極大値は、０および１
である。Ｓｍの値は、所定の閾値を超えるべきでない。
代表的な閾値は、０．１５と０．２との間である。この
条件を満たす場合のみにオメガ形状と判定することによ
って、偽検出の可能性が低減される。

【０１２７】２つの画像についての水平方向積分投射曲
線図を図２０に示す。偽画像は、水平方向に非対称な曲
線図を与えるが、目領域の画像は、ほぼ対称な曲線図を
与える。この技術は、肯定的な結果である場合、制御が
ステップＳ４８に移り、否定的な結果である場合、制御
がステップＳ４０に移るように、図１８のステップＳ４
７およびＳ４８の間に挿入され得る。

【０１２８】オメガ形状の検出は、偽顔検出の可能性を
低減するが、例えば、図１５のステップＳ３５およびＳ
３６によって図示されるように、偽検出の可能性をさら
に低減するために、さらなる試験を行い得る。オメガ形
状の検出により、顔が画像中に存在すると仮定すると、
顔の中央を見いだすことが可能になる。目領域は通常、
より暗く、２つの輝度極小値が存在し、中央線に対して
ほぼ水平方向に対称に配置される。オメガ形状の検出
は、ＲＧＢ成分について試験してもよいが、最大画像解
像度で行う必要はない。実際、より低い画像解像度であ
ることは、隔離された暗いピクセルを目に対応する極小
値として検出する可能性を低減する利点がある。

【０１２９】ユーザの頭は、初期化ステージの間、通常
ほぼ直立の姿勢であるが、絶対的な直立姿勢が不可欠で
はない。したがって、２つの極小値は、必ずしも同じ水
平線上に載らない。したがって、例えば上記の平均化に
よって画像解像度を低減することが有用である。この目
的のためには、赤色成分画像などの単一カラー成分画像
で十分である。オメガ形状検出に適切な解像度は、ター
ゲット画像の各寸法がほんの数ピクセル（例えば、５×
５または７×７ピクセル）であるような解像度である。
図２１で示すように、極小値の位置は、（Ｘ_L，Ｙ_L）お
よび（Ｘ_R，Ｙ_R）で表される。ステップＳ３５は、Ｙ_L＝Ｙ_R および｜Ｘ_L＋Ｘ_R−２Ｘ₀｜≦Ｔ₄ を満たすかどうかを判定する。ここでＸ₀は中心位置、
Ｔ４は、例えば値１を有する閾値である。

【０１３０】ステップＳ３５が２つの目領域が存在する
ことを確認する場合、極小値の間により明るい領域が検
出されると、これらの領域が画像中の実際の目に対応す
る可能性は高くなる。代表的な鼻パターンを図２２に示
す。この鼻パターンは、鼻の先端の真下の画像より鼻が
通常明るいという観察内容を表す。図２２に示す鼻領域
は、顔の実際のサイズに依存して２または３ピクセルの
長さを有する。この場合、鼻領域とされるのは、以下の
条件が満たされる場合である。ｍｉｎ（Ｐ₁，Ｐ₂，Ｐ₃）／ｍａｘ（Ｐ₁，Ｐ₂，Ｐ₃）≧
Ｔ₅ およびｍｅａｎ（Ｐ₄，Ｐ₅，Ｐ₆）／ｍｅａｎ（Ｐ₁，Ｐ₂，
Ｐ₃）≦Ｔ₆ ここでＴ５およびＴ６は、所定の閾値であり、代表的に
は、それぞれ０．８および０．５の値を有する。

【０１３１】目および鼻を検出するための上記方法は、
計算効率を改善するためにより低い解像度で実行され
る。他の顔特徴抽出方法は、顔の存在をさらに確認する
ために適用され得る。例えば、以下の方法は、元の最大
解像度のＲＧＢ画像を使用した瞳および唇の検出を説明
する。図２３は、図１４のステップＳ１２にステップＳ
６０およびＳ６１を付加した別の実施態様を示す。ステ
ップＳ６０は、瞳および唇の高解像度検出を行う。ステ
ップＳ６１は、幾何的束縛条件試験を行う。以下に両方
のステップをさらに詳細に説明する。

【０１３２】各目の正確な位置は、瞳の中心として認識
される。瞳の中心を決定する第１ステップは、瞳を目領
域の残りの部分および顔の皮膚から切り出すことであ
る。瞳を除く目領域上のピクセルについて以下の不等式
が成り立つ。Ｒ＞Ｇ＞Ｂ以下の等式を瞳の検出のために使用する。

【０１３３】

【数１５】

【０１３４】ここで、値１は瞳領域内のピクセルを示
し、値０は瞳領域外のピクセルを示す。さらにここで、
Ｃ₁およびＣ₂はともに定数である。この２つのパラメー
タの代表的な値は、以下によって与えられる。Ｃ₁＝Ｃ₂＝０初期最良目テンプレート位置は、上記のように最良オメ
ガ形状が検出される位置によって与えられる。オメガ形
状のピーク位置は、オメガ形状を半分に分割する位置で
ある。次に、上記瞳検出方法を各半分に個別に適用し得
る。次に、目の位置を検出された瞳の中心として定義す
る。例えば、左目の位置は、以下の式で与えられる。

【０１３５】

【数１６】

【０１３６】および

【０１３７】

【数１７】

【０１３８】ここで、Ｎは、左上隅が（ｘ₁，ｙ₁）で右
下隅が（ｘ₂，ｙ₂）である領域内のピクセルの総数であ
る。位置（Ｘ_L，Ｙ_L）は、左の瞳の中心を定義する。同
様に、右の瞳の位置は、（Ｘ_R，Ｙ_R）として定義でき
る。これを図２４に示す。目の分離は、以下の式で与え
られる。Ｄ_eye＝Ｘ_R−Ｘ_L 瞳が検出された場合、次に、図２４に図示されるよう
に、口が長方形領域Ａ’Ｂ’Ｃ’Ｄ’内で見いだされ得
る。この領域Ａ’Ｂ’Ｃ’Ｄ’の左側は、左の瞳の位置
によって決定され、右側は右の瞳の位置によって決定さ
れる。領域の上側は、２つの瞳をつなぐ線の０．５Ｄ
_eye下に見いだされ、下側は同じ線の１．５Ｄ_eye下に見
いだされる。

【０１３９】口の検出は、唇を検出することによって達
成される。唇は、以下の式を使用して顔から切り出され
る。

【０１４０】

【数１８】

【０１４１】ここで、値１は、唇ピクセルを示し、そし
て０は、皮膚ピクセルを示す。さらに、ここで、ηは、
代表的な値が２．５に設定される定数である。

【０１４２】垂直方向ヒストグラムは以下の式を使用し
て構築される。

【０１４３】

【数１９】

【０１４４】これを図２４に示す。口が存在する場合、
上記ヒストグラムは、中心においてピークを生成し、両
側において徐々に減少する。ピークが位置Ｘ_pで検出さ
れる場合、口の左端は、以下の式を満たす最初のヒスト
グラムの値であるＸ₁によって与えられる。Ｈ_y（Ｘ₁）＜μＨ_y（Ｘ_p）ここで、μは、定数であり、代表的には０．１に設定さ
れる。口の右端は、同様にＸ₂として決定される。

【０１４５】同様に、口の高さは、Ｍ（ｘ，ｙ）の水平
方向の投射曲線図を使用して決定される。これは、口の
上部位置をＹ₁として与え、口の底部をＹ₂として与え
る。したがって、口は、左上隅が（Ｘ₁，Ｙ₁）で右下隅
が（Ｘ₂，Ｙ₂）である長方形によって囲まれる。

【０１４６】口が存在すれば、そのアスペクト比は、以
下の幾何的束縛条件を満たす。

【０１４７】

【数２０】

【０１４８】ここで、αは代表的には１．５に設定さ
れ、ベータは５に設定される。

【０１４９】口の上部と２つの目をつなぐ線との間の垂
直方向距離は、以下の式で定義される。Ｄ_ME＝Ｙ₁−（Ｙ_L＋Ｙ_R）／２下唇の位置であるＹ₂の値は、特にユーザがしゃべって
いるときは、上唇の位置であるＹ₁の値より著しく変化
する。上記式において、Ｙ₁は、垂直方向の口の位置を
示すために使用されている。

【０１５０】この距離が目の分離に、代表的には比が１
で、比例することがわかっている。したがって、口およ
び目の相対位置は、以下の条件を見たさなければならな
い。

【０１５１】

【数２１】

【０１５２】ここで、ｖは、代表的には、０．２５に設
定される。ステップＳ６１は、これらの幾何的束縛条件
が満たされるかどうかをチェックする。

【０１５３】対称性のさらなる尺度は、Ｄ．Ｒｅｉｓｆ
ｅｌｄ、Ｈ．ＷｏｌｆｓｏｎおよびＹ．Ｙｅｓｈｕｒｕ
ｎ、「Ｃｏｎｔｅｘｔｆｒｅｅａｔｔｅｎｔｉｏｎａｌ
ｏｐｅｒａｔｏｒｓ：ｔｈｅｇｅｎｅｒａｌｉｚｅｄｓ
ｙｍｍｅｔｒｙｔｒａｎｓｆｏｒｍｓ」、ＩＪＣＶ、第
１４巻、１１９〜１３０頁、１９９５年、およびＤ．Ｒ
ｅｉｓｆｅｌｄおよびＹ．Ｙｅｓｈｕｒｕｎ、「Ｒｏｂ
ｕｓｔｄｅｔｅｃｔｉｏｎｏｆｆａｃｉａｌｆｅａｔｕ
ｒｅｓｂｙｇｅｎｅｒａｌｉｚｅｄｓｙｍｍｅｔｒ
ｙ」、Ｐｒｏｃｏｆｔｈｅ１１^thＩＡＰＲＩｎｔｅｒｎ
ａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒ
ｎＲｅｃｏｇｎｉｔｉｏｎ、１１７頁に開示されるよう
な包括的（ｃｏｍｐｒｅｈｅｎｓｉｖｅ）対称性検出器
に基づいてもよい。このような包括的機構は、本方法の
商業的実施には実用的ではないが、テンプレート中の顔
または顔の一部の存在を確認する際に補助となる対称性
の尺度を与えるために使用され得る。

【０１５４】図２５は、人物の横から光を当てた画像、
および画像のサブセクションを含む長方形領域ＡＢＣＤ
を示す。サブセクションは、左半分ＡＥＦＤおよび右半
分ＥＢＣＦに分割される。右半分の任意の点Ｐ₁につい
て、「鏡像」位置の左半分において対応する点Ｐ₂があ
る。サブセクションＡＢＣＤは、中央線ＥＦに対して対
称であるターゲットを含む場合、点Ｐ₁および点Ｐ₂は１
組の対称な点を形成する。

【０１５５】絶対的な均等照明において、これら２つの
点の輝度、すなわち強度は、等しい。しかし、図２５に
示すように、代表的な照明条件は、対称的な点の強度が
異なる。

【０１５６】この問題は、各点の強度変化を示すベクト
ルである「画像勾配」を使用して克服される。特に、こ
のようなベクトルの各々は、任意の方向、およびベクト
ルが極大強度変化の方向をさす方向または角度の点から
の強度の極大変化に等しい大きさを有する。勾配振幅は
また、照明の種類によって影響されるが、位相角度は、
顔の幾何的特徴に主に依存し、照明にはあまり依存しな
い。したがって、点Ｐ ₁およびＰ₂は、勾配角度θ₁およ
びθ₂が以下の条件を満たす場合、対称とみなされる。 θ₁＋θ₂＝±π サブセクションＡＢＣＤの対称性尺度は、以下の式で与
えられる。

【０１５７】

【数２２】

【０１５８】ここで、（ｘ，ｙ）および（ｘ’，ｙ’）
は、画像サブセクションの２つの半分における点の対の
座標である。

【０１５９】この尺度Ｓｓは、左から右、上から下へ検
索することによって画像中の任意のサブセクションにつ
いて計算される。次に、Ｓｓの最高値を有するセクショ
ンは、画像の顔を含む領域として選択される。

【０１６０】尺度Ｓｓは、以下の式にしたがってさらに
精度を上げられる。

【０１６１】

【数２３】

【０１６２】ここで、ｗ（ｘ，ｙ）およびｗ（ｘ’，
ｙ’）は、加重関数である。例えば、加重関数は、強い
エッジがＳｓの値にさらに寄与するような、各点での勾
配振幅であり得る。実際には、２値加重関数を使用して
もよく、２値加重関数は、勾配振幅が所定の閾値を超え
る場合、加重関数を１に設定し、そうでなければ、加重
関数を０に設定するように、勾配振幅を閾値で分けるこ
とによって形成され得る。閾値は、サブセクションの勾
配振幅の平均値の半分にしてもよい。

【０１６３】ターゲット画像が直立姿勢の顔からキャプ
チャされることが望ましい。例えば、ユーザがディスプ
レイの前に座り、ディスプレイを見始めると、システム
が開始して、顔を見いだし、そしてターゲット画像を見
つける。検出される最初のターゲット画像は、ユーザが
直立姿勢でないこともあるので、最良ではないこともあ
る。したがって、例えば次の観察者トラッキングのため
のテンプレートとして最初に検出されたターゲット画像
を選択することは、適切でないこともある。

【０１６４】図２６は、図６に示す方法に基づいて改変
された方法である。特に、ステップＳ５０〜Ｓ５３がス
テップＳ６とＳ７との間に挿入される。テンプレートが
ステップＳ６で見つかった場合、ステップＳ５０は、テ
ンプレート中に含まれる画像の「良さ」の尺度を計算す
る。例えば、この尺度は、上記のように対称性尺度Ｓｓ
に基づき得る。ステップＳ５１は、テンプレートが最新
のＲ画像、すなわちフレームにおいて見つかったかどう
かを判定する。見つからなければ、制御は、ステップＳ
１に戻る。あれば、ステップＳ５２は、最も最近検出さ
れたテンプレートの良さ尺度と前回の最良のテンプレー
トの良さ尺度を比較する。最新のテンプレートが、より
高度な良さ尺度を有すれば、現在の最良のテンプレート
として選択される。

【０１６５】ステップＳ５３は、テンプレートが最新の
Ｒフレーム中にｒ回より多く見つかったかどうかを判定
する。見つからなければ、制御は、ステップＳ１に戻
る。あれば、ステップＳ７は、最良のテンプレート、す
なわち最高の良さ尺度を有するテンプレートを出力す
る。

【０１６６】図２６において図示される方法は、最新の
連続Ｒフレームにおいてｒより多くのテンプレートが検
出されたかどうかを判定する。例えば、ｒが７に等し
く、Ｒが１０に等しくてもよい。この場合が正しけれ
ば、ターゲット画像は、一貫して検出されるとみなさ
れ、最良のテンプレートが、次の観察者トラッキングの
ために使用される。

【０１６７】図７に例示される顔ロケータを、ある程度
のユーザによる補助が必要な半自動的方法に置き換える
ことが可能である。例えば、白黒ビデオカメラが使用さ
れる場合、色情報が利用できないので、図７に図示され
る顔ロケータは、それ程うまく動作しないこともある。

【０１６８】半自動的方法において、各入力ビデオ画像
は、大人の頭とほぼ同じサイズのグラフィックスヘッド
ガイド（ｇｒａｐｈｉｃｓｈｅａｄｇｕｉｄｅ）を用い
て、ディスプレイの中心に表示される。ユーザは、固定
されたグラフィックスガイドを用いて自分自身の生画像
シーケンスを見て、ガイド内の頭を位置付けることがで
きる。顔アナライザ１８は、グラフィックスヘッドガイ
ド内の領域に適用され、一旦ユーザの頭がこの領域内に
配置されると、顔を検出し、ターゲット画像の正確な位
置を見いだす。ユーザには、正確な位置合わせが全く要
求されない。このような位置合わせは、英国特許第２３
２４４２８号および欧州特許第０８７７２７４号に開示
される方法においては、不便な要件である。さらに、顔
アナライザ１８は，ヘッドガイドによって特定された領
域のみを検索するので、背景中に偽ターゲットを検出す
る可能性は低減される。

【０１６９】照明が、例えば極端に偏向した照明など
の、極めて良好でない照明の場合、半自動的方法は、信
頼できるほどにうまく動作しないこともある。この場
合、テンプレートを確定する決定は、この方法を行う装
置ではなくむしろユーザに残され得る。この決定は、例
えば、ターゲット画像が見つかった後で、ユーザの表示
された画像の上にグラフィックスオーバレイを表示する
ことによって達成される。ユーザは、ターゲット画像の
位置を見ることができ、テンプレートを確定するかどう
かを決定できる。

【０１７０】この方法と手動方法との間の相違は、テン
プレートを選択するために頭と「オーバレイ」グラフィ
ックスとを位置合わせする特別な努力をする必要がない
ことである。そのかわりに、コンピュータがテンプレー
トを指示し、このテンプレートが正しい場合、ユーザ
は、例えばボタンまたはキーを押すことによって、信号
確定をだけを行う必要がある。もしくは、システムは手
動モードに戻り得る。この機構は、首尾よいトラッキン
グが可能なように信頼できるテンプレートが常に得られ
ることを確実にする。

【０１７１】顔が両側において適切に同じ照明を受ける
ような周辺照明において、垂直方向積分投射曲線図中の
オメガ形状の検出は、十分うまく動作する。しかし、照
明が、顔の片側に強く偏向している場合、この技術は、
あまり信頼できないことがあり得るが、以下に示すよう
に図６のステップＳ４に改変された画像データを供給す
ることによって改善され得る。

【０１７２】画像領域中の画像は、「鏡像化」、すなわ
ち垂直方向中心線に対して水平方向に逆向きにされ、そ
の後、元の画像に付加される。顔が幾何的に対称であ
り、中心線が顔の中央にあるような理想的な場合、得ら
れる顔の画像は、顔の両側に対称的な照明を有する。こ
のような画像の垂直方向積分投射曲線図は、やはり対称
的なオメガ形状を有する。顔アナライザ１８を参照して
上記されたプロセスステップは、改変された画像データ
上で使用され得る。

【０１７３】対称であるように選択された初期線は、顔
の中心にないことがあり得る。したがって、この技術
は、曲線図中に検出されたピークが鏡点（ｍｉｒｒｏｒ
ｐｏｉｎｔ）として使用されるように、反復的に適用さ
れ得る。結果として、より正確なピーク位置を有するよ
りよいオメガ形状を生じる。ピーク位置が実質的に変化
しなくなるまでこの技術が繰り返され得る。

【０１７４】上記の方法は、周辺光を含む均一な照明で
良好に作用し、アクティブな光源を用いることによっ
て、良好でない照明条件下での応用に適用され得る。こ
の方法は、特別な照明を必要とせず、観察者の照明の変
化に対しても非常に回復が速いが、図２の初期化ステー
ジ９においてはアクティブな光源を用いて、次の観察者
トラッキング中にスイッチオフしてもよい。トラッキン
グは非常に強力で、特別な照明を必要としないからであ
る。

【０１７５】図２７は、アクティブな照明を提供するよ
うに改変された図２に示すタイプのディスプレイを示
す。アクティブな光源は、プロセッサ４によって制御さ
れるシンクロナイザを有するフラッシュライト５５を含
む。フラッシュライト５５は、ディスプレイ７の上およ
びセンサ３の隣りなど、適切な位置に配置され、観察者
の顔を照射する。

【０１７６】図２８は、ビデオトラッキングシステム
２、特にデータプロセッサ４をさらに詳細に示す。デー
タプロセッサは、ＣＰＵバス５７に接続された中央処理
装置（ＣＰＵ）５６を有する。システムメモリ５８は、
バス５７に接続され、データプロセッサを作動するため
のシステムソフトウェアをすべて含む。

【０１７７】ビデオカメラ３は、ビデオディジタイザ５
９に接続され、ビデオディジタイザ５９は、データバス
６０、シンクロナイザを有するフラッシュライト５５、
ＣＰＵ５６、および、オプションのビデオディスプレイ
６１が設けられているときには、ビデオディスプレ６１
に接続されている。フレームストア６２は、データバス
６０およびＣＰＵバス５７に接続されている。マウス８
は、ＣＰＵ５６に接続されている。

【０１７８】アクティブな照明を用いない実施態様で
は、フレームストアは、１つのフィールドの容量をもつ
だけでよい。６４０×２４０画素のフィールド解像度を
有する上記のビデオカメラ３の場合、２４ビットのＲＧ
Ｂカラー信号に対しては、６４０×２４０×３＝４６０
８００バイトの容量が必要である。アクティブな照明を
用いる実施態様については、フレームストア６２は、２
つのフィールドのビデオデータの容量（即ち、９２１６
００バイト）を有する。

【０１７９】使用時には、フラッシュライト５５は、ビ
デオカメラ３およびビデオディジタイザ５９と同期さ
れ、フラッシュライトは、画像がキャプチャされている
ときに、適切なタイミングでスイッチオンまたはオフさ
れる。

【０１８０】フラッシュライト５５は、観察者の顔に光
を当てて、分布の均一性を高めるために用いられる。フ
ラッシュライト５５が周辺光よりもはるかに強い場合、
顔の輝度は、フラッシュライト５５によって主に決定さ
れる。しかし、強力な光源を用いると、過飽和状態の画
像を生成する傾向があり、この場合、多くの物体が、顔
のような領域として誤って検出され得る。さらに、強力
なフラッシュライトの使用は、観察者にとって不快であ
り、目に損傷を与え得る。

【０１８１】従って、フラッシュライト５５は、中庸な
強度であるのがよい。この場合、周辺光の影響は、純粋
な顔のような領域を検出する信頼性を向上させるために
減少される必要があり得る。

【０１８２】図６に示す方法は、１つがフラッシュライ
ト５５を照射した状態で得られ、もう１つが周辺光のみ
で得られる２つの連続したフレームのビデオ画像データ
を比較するように改変され得る。従って、これらのフレ
ームのうちの最初のフレームは、周辺光およびフラッシ
ュライト５５の両方の影響を含んでいる。従って、この
最初の画像Ｉ（ａ＋ｆ）は、２つの成分を含むものと見
なされ得る。Ｉ（ａ＋ｆ）＝Ｉ（ａ）＋Ｉ（ｆ）ここで、Ｉ（ａ）は、周辺光のみで得られた画像で、Ｉ
（ｆ）は、唯一の光源がフラッシュライト５５である場
合に生成されるであろう画像である。これは、以下のよ
うに書き直され得る。Ｉ（ｆ）＝Ｉ（ａ＋ｆ）−Ｉ（ａ）従って、画像ピクセルデータを減算することによって、
周辺照明の効果が低減または除去され、顔検出方法の信
頼性および回復性を改善し得る。

【０１８３】

【発明の効果】本発明の方法および装置によると、画像
中にヒトの顔を自動的に検出するための方法および装置
が提供される。この方法および装置は、例えばトラッキ
ング機能を備えた自動立体型ディスプレイに関連した観
察者ビデオトラッキングシステムの初期ステージにおい
て使用され得る。自動ターゲット画像キャプチャのため
のこのような技術を使用すると、ビデオトラッキングシ
ステムおよび関連した自動立体型ディスプレイの使用が
容易になり、したがってこのようなシステムについての
商業的な成功の見込みが増すことになる。

【０１８４】本発明の方法によると、顔ロケータおよび
顔アナライザ（ａｎａｌｙｚｅｒ）の形態をとる２段階
のアプローチを使用することによって、顔ロケータによ
って、より計算のかかる顔分析をいくつかの顔候補に制
限することが可能になる。このような機構により、リア
ルタイムでビデオ画像のシーケンス中の画像を検出する
ことができる。このリアルタイムでの画像検出は、画像
内容の複雑さに依存し、例えば、５〜３０Ｈｚの速度で
ある。

【０１８５】本発明の顔ロケータは、顔分析の信頼性を
高める。なぜなら、分析は、各画像中で見いだされる各
顔候補領域に対して行われるだけだからである。顔なし
候補領域が顔の特徴を示し得る領域に同様のデータを含
み得るが、顔ロケータは、そのような特徴に基づいた分
析を有望な顔候補に制限する。さらに、分析は、顔ロケ
ータによって見つけられた偽顔候補を除去するのに役立
ち、顔および顔の特徴のより正確な位置データ（目領域
のターゲット画像が得られ得るような観察者の両目の間
の中間点など）を与えることができる。

【０１８６】本発明の方法によると、見いだしおよび分
析の機能を分離することによって、各機能またはステッ
プは、計算能力およびコストを過度に要求することなし
に商業的に実施され得る、より簡単かつより効率的な方
法を使用し得る。例えば、皮膚の色を使用して有望な顔
候補を見いだすステップは、適度な照明の変化に適応で
きる。この技術は、かなり広範囲の照明条件に適応で
き、異なる年齢、性別、および皮膚の色の人々に対応で
きる。さらに、薄く色のついた眼鏡を着用していても対
応し得る。

【０１８７】本発明による方法および装置は、コンピュ
ータによる実施に関し、多くのモジュールのうちの任意
のモジュールを使用し得る。各モジュールは、種々の要
求に合うように置換または改変され得る。これにより、
システムの柔軟性が増大し、したがって、安全監視、ビ
デオおよび画像圧縮、ビデオ会議、コンピュータゲー
ム、運転手モニタリング、グラフィカルユーザインター
フェース、顔認識、および個人識別などのかなり広範囲
の用途を有し得る。

【図面の簡単な説明】

【図１】公知のタイプの観察者トラッキング自動立体デ
ィスプレイの概略ブロック図である。

【図２】本発明が適用され得る観察者トラッキングディ
スプレイの概略ブロック図である。

【図３】図２のディスプレイにおける観察者トラッキン
グを示す流れ図である。

【図４】図３に示す方法によってキャプチャされる典型
的なターゲット画像またはテンプレートを示す図であ
る。

【図５】図２のディスプレイによるテンプレートキャプ
チャ中のディスプレイの外観を示す図である。

【図６】本発明の実施態様を構成する顔のような領域を
検出する方法を示す流れ図である。

【図７】図６に示される方法の顔見いだしステップを示
す流れ図。

【図８】色相彩度値（ＨＳＶ）色方式を示す図である。

【図９】図７に示す方法における平均化による画像解像
度低下を示す図である。

【図１０】図７に示す方法における均一値の計算を説明
する図である。

【図１１】図７に示す方法における顔候補の選択に用い
られるパターンを示す図である。

【図１２】顔の異なる位置の、図７に示す方法に対する
影響を示す図である。

【図１３】異なる顔の位置を収容する、図７に示す方法
への改変を示す図である。

【図１４】図６に示す方法の顔分析ステージをさらに詳
細に示す流れ図である。

【図１５】図１４に示す方法の顔特徴抽出ステージをさ
らに詳細に示す流れ図である。

【図１６】目領域の画像部分および対応する垂直方向積
分投射を示す図である。

【図１７】目署名を検索するための技術を示す図であ
る。

【図１８】図１４に示す方法のさらなる顔特徴抽出技術
形成ステップを示す流れ図である。

【図１９】極めて粗いステップサイズを有する垂直方向
積分投射を示す図である。

【図２０】偽顔候補を除去するための水平方向積分投射
曲線図の使用を示す図である。

【図２１】１対の輝度極小値として表される１対の目の
検出を示す図である。

【図２２】鼻検出技術を示す図である。

【図２３】図１４に示す改変された顔特徴抽出ステップ
をさらに詳細に示す流れ図である。

【図２４】口領域の垂直および水平方向積分投射を有す
る瞳および口領域を示す図である。

【図２５】顔の対称性を分析するステップに基づく技術
を示す図である。

【図２６】図１４に示す方法を終了するための技術を示
す流れ図である。

【図２７】本発明が適用される観察者トラッキングディ
スプレイの概略ブロック図である。

【図２８】本発明の方法を実施するための、図１３のデ
ィスプレイのビデオトラッキングシステムのシステムブ
ロック図である。

【符号の説明】

１ディスプレイシステム２トラッキングシステム３トラッキングセンサ４トラッキングプロセッサ５ディスプレイ制御プロセッサ６操縦機構７トラッキング機能を備えた３Ｄディスプレイ８マウス９初期化ステージ１０トラッキングステージ１１テンプレート１６グラフィカルガイド

フロントページの続き (72)発明者ニコラススティーブンホリマンイギリス国オーエックス10 ０エイワイオックスフォードシャー，ウォーリングフォード，ウッドストリート 59エイ (72)発明者デービッドエズライギリス国オーエックス10 ０アールエルオックスフォードシャー，ウォーリングフォード，ブライトウェル−カム− ソットウェル，モンクスミード 19

Claims

【特許請求の範囲】

【請求項１】画像中のヒトの顔を検出する方法であっ
て、顔候補領域を画像中に見いだすステップと、顔の特徴を示す第１の特徴について顔候補領域を分析す
るステップと、を包含し、該第１の特徴が第１および第２の極小値の間に配置され
た極大値を含むほぼ対称な水平方向輝度曲線図を含み、
該分析ステップが、顔候補領域の一部の垂直方向積分投
射を形成するステップと、垂直方向積分投射が極大値に
対してほぼ対称的に配置された該第１および第２の極小
値を有するかどうかを判定するステップとを含む、方
法。
【請求項２】前記見いだしステップおよび分析ステッ
プは、１シーケンスの画像の各画像について繰り返され
る、請求項１に記載の方法。
【請求項３】前記または各画像がカラー画像であり、
前記分析ステップが、該カラー画像のカラー成分につい
て行われる、請求項１に記載の方法。
【請求項４】前記または各画像がカラー画像であり、
前記分析ステップが、該カラー画像から得られたコント
ラスト画像上で行われる、請求項１に記載の方法。
【請求項５】前記分析ステップは、前記垂直方向積分
投射が、水平方向の分離が所定範囲内である第１および
第２の極小値を有するかどうかを判定する、請求項１に
記載の方法。
【請求項６】前記分析ステップは、前記極大値と、前
記第１および第２の極小値の小さい方との間の差と、該
極大値との比が第１の閾値より大きいような、前記垂直
方向積分投射が極大値ならびに第１および第２の極小値
を有するかどうかを判定する、請求項１に記載の方法。
【請求項７】前記垂直方向積分投射は、前記顔候補の
複数部分について形成され、そして最も高い比を有する
該部分が有望なターゲット画像として選択される、請求
項６に記載の方法。
【請求項８】前記分析ステップは、前記部分の対称性
の尺度を形成するステップを含む、請求項１に記載の方
法。
【請求項９】前記対称性の尺度は、以下の式【数１】で形成され、Ｖ（ｘ）は、水平方向位置ｘでの前記垂直
方向積分投射の値であり、ｘ₀は、該垂直方向積分投射
の中央の水平方向位置である、請求項８に記載の方法。
【請求項１０】前記垂直方向積分投射は、前記顔候補
の複数部分について形成され、最も高い対称性の尺度を
有する部分が有望なターゲット画像として選択される、
請求項８に記載の方法。
【請求項１１】前記分析ステップは、前記顔候補領域
の一部を左半分および右半分に分割するステップと、該
半分の各々の水平方向積分投射を形成するステップと、
該左および右水平方向積分投射の水平方向対称性の尺度
と第２の閾値とを比較するステップと、を含む請求項１
に記載の方法。
【請求項１２】前記分析ステップは、前記顔候補領域
が、所定の範囲内において、ほぼ同じ高さに配置され、
水平方向の分離した第１および第２の輝度極小値を有す
るかどうかを判定する、請求項１に記載の方法。
【請求項１３】前記分析ステップは、前記顔候補領域
が、第１および第２の輝度極小値よりも高い輝度を有
し、且つ該第１および第２の輝度極小値の間に配置され
る垂直方向に伸長する領域を有するかどうかを判定す
る、請求項１２に記載の方法。
【請求項１４】前記分析ステップは、前記顔候補領域
が、前記垂直方向に伸長する領域の下に配置され、且つ
該垂直方向に伸長する領域より低い輝度を有する水平方
向に伸長する領域を有するかどうかを判定する、請求項
１３に記載の方法。
【請求項１５】前記分析ステップは、前記顔候補領域
中に、緑色画像成分が赤色画像成分より大きいか、また
は青色画像成分が緑色画像成分より大きい瞳候補領域を
見いだすステップを含む、請求項１に記載の方法。
【請求項１６】前記瞳候補領域を見いだすステップ
は、前記顔候補領域の目候補領域に限定される、請求項
１５に記載の方法。
【請求項１７】前記分析ステップは、前記目候補領域
中の絵素（ｘ，ｙ）についての関数Ｅ（ｘ，ｙ）を以下
の式【数２】に形成し、ここで、Ｒ、Ｇ、およびＢは赤色、緑色、お
よび青色画像成分であり、Ｃ₁およびＣ₂は定数であり、
Ｅ（ｘ，ｙ）＝１は前記瞳候補領域内部の絵素を表し、
そしてＥ（ｘ，ｙ）＝０は該瞳候補領域外部の絵素を表
す、請求項１６に記載の方法。
【請求項１８】前記分析ステップは、前記瞳の中心を
前記瞳候補領域の重心として検出する、請求項１７に記
載の方法。
【請求項１９】前記分析ステップは、口候補領域を、
水平方向においては前記瞳候補領域の間に、垂直方向に
おいては該瞳候補領域の間の距離の実質的に０．５〜
１．５倍だけ瞳候補領域の下にある前記顔候補領域のサ
ブ領域中に見いだすステップ、を含む、請求項１５に記
載の方法。
【請求項２０】前記分析ステップは、前記サブ領域中
の絵素（ｘ，ｙ）についての関数Ｍ（ｘ，ｙ）を以下の
式【数３】に形成し、ここで、Ｒ、Ｇ、およびＢは赤色、緑色、お
よび青色画像成分であり、ηは定数であり、Ｍ（ｘ，
ｙ）＝１は前記口候補領域内部の絵素を表し、そしてＭ
（ｘ，ｙ）＝０は該口候補領域外部の絵素を表す、請求
項１９に記載の方法。
【請求項２１】前記関数Ｍ（ｘ，ｙ）の垂直および水
平方向投射曲線図が形成され、唇候補領域が該垂直およ
び水平方向投射曲線図が第１および第２の所定の閾値を
それぞれに超える長方形サブ領域中に定義される、請求
項２０に記載の方法。
【請求項２２】前記第１および第２の所定の閾値が前
記垂直および水平方向投射曲線図の極大値にそれぞれ比
例する、請求項２１に記載の方法。
【請求項２３】前記分析ステップは、前記唇候補領域
のアスペクト比が第１および第２の予め規定された閾値
の間にあるかどうかをチェックする、請求項２１に記載
の方法。
【請求項２４】前記分析ステップは、前記瞳候補領域
から前記唇候補領域の上部までの垂直距離と該瞳候補領
域間の間隔との比が第１および第２の予め設定された閾
値の間にあるかどうかをチェックする、請求項２１に記
載の方法。
【請求項２５】前記分析ステップは、前記顔候補領域
の一部を左および右半分に分割するステップと、水平方
向に対称的に配置された対をなす対称な点の輝度勾配の
角度を比較するステップと、を含む、請求項１に記載の
方法。
【請求項２６】前記見いだしステップおよび分析ステ
ップは、前記第１の特徴が前記シーケンスの連続Ｒ画像
のｒ回目に見つかる場合に、停止される、請求項２に記
載の方法。
【請求項２７】前記見いだしステップは、ヒトの顔を
示す第２の特徴を有する顔候補領域について前記画像を
検索するステップを含む、請求項１に記載の方法。
【請求項２８】前記第２の特徴が均一な彩度である、
請求項２７に記載の方法。
【請求項２９】前記検索ステップが、彩度を平均化す
ることによって前記画像の解像度を低下させ、解像度が
低下した画像を形成するステップと、所定の形状におい
て、該所定の形状を取り囲む該解像度が低下した画像の
部分の彩度とは実質的に異なる実質的に均一な彩度を有
する該解像度が低下した画像の領域を検索するステップ
と、を包含する、請求項２８に記載の方法。
【請求項３０】前記画像が、複数の絵素を含み、前記
解像度が、前記所定の形状が２から３個の解像度が低下
した絵素にわたるように低下される、請求項２９に記載
の方法。
【請求項３１】前記画像が、Ｍ×Ｎ絵素の長方形アレ
イを含み、前記解像度が低下した画像が、（Ｍ／ｍ）×
（Ｎ／ｎ）絵素を含み、それぞれが、該画像のｍ×ｎ絵
素に対応し、該解像度が低下した画像の各絵素の彩度Ｐ
が、以下の式【数４】で表され、ここで、ｆ（ｉ，ｊ）が、該ｍ×ｎ絵素のｉ
番目の列およびｊ番目の行の絵素の彩度である、請求項
３０に記載の方法。
【請求項３２】ストアに前記彩度を格納するステップ
をさらに含む、請求項３１に記載の方法。
【請求項３３】前記解像度が低下した絵素のそれぞれ
の彩度と、少なくとも１つの隣接した解像度が低下した
絵素の彩度とを比較することによって、該解像度が低下
した絵素のそれぞれに均一値が割り当てられる、請求項
３１に記載の方法。
【請求項３４】以下の式が満たされる場合、各均一値
に第１の値が割り当てられ、（ｍａｘ（Ｐ）−ｍｉｎ（Ｐ））／ｍａｘ（Ｐ）≦Ｔここで、ｍａｘ（Ｐ）およびｍｉｎ（Ｐ）が、それぞ
れ、前記解像度が低下した絵素および前記または各隣接
した絵素の彩度の最大値および最小値であり、Ｔが閾値
であり、該式が満たされない場合、該各均一値に、該第
１の値とは異なる第２の値が割り当てられる、請求項３
３に記載の方法。
【請求項３５】Ｔが実質的に０．１５に等しい、請求
項３４に記載の方法。
【請求項３６】ストアに前記彩度を格納するステップ
を含み、前記または各隣接した解像度が低下した絵素に
は均一値が割り当てられず、各均一値が該対応する彩度
の代わりに該ストアに格納される、請求項３３に記載の
方法。
【請求項３７】前記所定の形状が２または３個の解像
度が低下した絵素にわたるように、前記解像度が低下さ
れ、前記方法が、前記第１の値の均一値が、１つの解像
度が低下した絵素、２つの垂直または水平方向に隣接し
た解像度が低下した絵素、および絵素の長方形の２×２
アレイのいずれか１つに割り当てられ、前記第２の値の
均一値が、周囲の解像度が低下した絵素のそれぞれに割
り当てられるとき、顔候補領域の検出を示すことをさら
に含む、請求項３４に記載の方法。
【請求項３８】ストアに前記彩度を格納するステップ
をさらに含み、前記対応する均一値の代わりに、前記第
１および第２の値とは異なる第３の値を該ストアに格納
することによって検出が示される、請求項３７に記載の
方法。
【請求項３９】前記解像度低下を繰り返すステップ
と、前記画像絵素に対して前記解像度が低下した絵素が
シフトした状態で、少なくとも１回は検索をするステッ
プとをさらに含む、請求項３０に記載の方法。
【請求項４０】前記彩度が、以下の式で、赤色、緑色
および青色成分から得られ、（ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））／ｍ
ａｘ（Ｒ，Ｇ，Ｂ）ここで、ｍａｘ（Ｒ，Ｇ，Ｂ）およびｍｉｎ（Ｒ，Ｇ，
Ｂ）が、それぞれ、該赤色、緑色および青色成分の最大
値および最小値である、請求項２９に記載の方法。
【請求項４１】第１の画像が、顔の位置の予想範囲を
照射している間にキャプチャされ、第２の画像が、周辺
光を用いてキャプチャされ、該第２の画像が該第１の画
像から減算されて画像を形成する、請求項１に記載の方
法。
【請求項４２】画像中でヒトの顔を検出するための装
置であって、該画像中で顔候補領域を見いだす手段と、顔の特徴を示す第１の特徴について該顔候補領域を分析
するための手段と、をさらに備える装置。
【請求項４３】請求項４２に記載の装置をさらに有す
る観察者トラッキングディスプレイ。