JP2004086891A

JP2004086891A - デジタル画像におけるオブジェクト検出方法

Info

Publication number: JP2004086891A
Application number: JP2003208099A
Authority: JP
Inventors: Jiebo Luo; ジエボ　ルオ; David J Crandall; デイヴィッド　ジェイ　クランダル
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2002-08-22
Filing date: 2003-08-20
Publication date: 2004-03-18
Also published as: US7035461B2; JP2010102725A; EP1394723A2; EP1394723A3; JP4903854B2; US20040037460A1

Abstract

【課題】デジタル画像におけるオブジェクトのより高いオブジェクト検出率を達成することを目的とする。特に、赤目不良を有する顔の検出に際し、複数のセグメンテーションマップを利用することにより、入力デジタル画像におけるフェース領域のより正確な検出を行うことによって、より高いオブジェクト検出率を達成することができる。
【解決手段】非オブジェクト特定基準に従ってデジタル画像の第１セグメンテーションマップを生成するステップと、オブジェクト特定基準に従って前記デジタル画像の第２セグメンテーションマップを生成するステップと、前記第１及び第２セグメンテーションマップを利用することにより、前記デジタル画像におけるオブジェクトを検出するステップとにより上記課題を解決する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像処理に関し、特に、デジタル画像におけるオブジェクト検出方法に関する。
【０００２】
【従来の技術】
フラッシュ閃光が画像の取り込みに使用されるとき、画像中の人の瞳は赤く写ることがある。これは、フラッシュ部からの光が瞳に入射し、その入射光が網膜において反射され、瞳から出射されることにより生じる現象である。光は部分的に網膜中の毛細血管に吸収されるので、撮像された画像において瞳は赤く写ってしまう。この現象は「赤目（ｒｅｄｅｙｅ）」と呼ばれるものである。フラッシュ部がレンズ光軸に接近するほど、赤目になる確率は高くなる。従って、赤目は、フラッシュ部が一体化された小型カメラにより撮影された画像においてよく見られる。
【０００３】
米国特許第５，４３２，８６３号（１９９５年７月１１日出願のＰａｕｌ　Ｊ．　Ｂｅｎａｔｉ，　Ｒｏｂｅｒｔ　Ｔ．　Ｇｒａｙ，　Ｐａｔｒｉｃｋ　Ａ．　Ｃｏｓｇｒｏｖｅらによる”Ａｕｔｏｍａｔｅｄ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｃｏｒｒｅｃｔｉｏｎ　ｏｆ　Ｅｙｅ　Ｃｏｌｏｒ　Ｄｅｆｅｃｔｓ　Ｄｕｅ　ｔｏ　ｆｌａｓｈ　Ｉｌｌｕｍｉｎａｔｉｏｎ”）において、赤目の特徴を有する画像中のオブジェクトを検出するためのユーザ対話型検出方法が開示されている。開示された方法では、形状、色彩及び明るさに基づき、赤目画素の候補が自動的に検出される。この既知の赤目検出方法は良好に機能する一方で、ある欠点を有する。例えば、開示された方法では、その候補となる画素がきちんと顔の中にあるか、あるいは目の一部となっているかを決定することができない。
【０００４】
米国特許第６，２９２，５７４号（２００１年９月１８日出願のＪａｙ　Ｓ．　Ｓｃｈｉｌｄｋｒａｕｔ，　Ｒｏｂｅｒｔ　Ｔ．　Ｇｒａｙ，　Ｊｉｅｂｏ　Ｌｕｏらによる”Ｃｏｍｐｕｔｅｒ　Ｐｒｏｇｒａｍ　Ｐｒｏｄｕｃｔ　ｆｏｒ　Ｒｅｄｅｙｅ　Ｄｅｔｅｃｔｉｏｎ”）において、フラッシュ閃光による画像中の被写体の目の色の不具合を検出する方法が開示されている。この検出方法では、デジタル画像においてスキンカラー領域（ｓｋｉｎ　ｃｏｌｏｒｅｄ　ｒｅｇｉｏｎ）が検出され、このスキンカラー領域から赤目不良となる特徴を有する画素群を検出し、検出された赤目不良の位置に基づきこの画素群の色を補正するというものである。この方法の欠点は、画像全体からフェイス領域（ｆａｃｅ　ｒｅｇｉｏｎ）を検出することができないということ、より詳細には、スキンカラー領域と別にフェイス領域を検出することができないという点である。
【０００５】
【特許文献１】
米国特許第５，４３２，８６３号
【特許文献２】
米国特許第６，２９２，５７４号
【発明が解決しようとする課題】
上記問題点を解消するデジタル画像における赤目検出方法が必要とされる。
【０００６】
本発明は、上記課題を鑑みてなされたものであって、赤目不良を有する顔の検出のため、複数のセグメンテーションマップを利用することにより、入力デジタル画像におけるフェイス領域の正確な検出を実行することができるオブジェクト検出方法の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項１に記載されるように、非オブジェクト特定基準に従ってデジタル画像の第１セグメンテーションマップを生成するステップと、オブジェクト特定基準に従って前記デジタル画像の第２セグメンテーションマップを生成するステップと、前記第１及び第２セグメンテーションマップを利用することにより、前記デジタル画像におけるオブジェクトを検出するステップとからなることを特徴とする。
【０００８】
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項２に記載されるように、さらに、前記検出するステップの前に、前記第１及び第２セグメンテーションマップを統合し、パターンマッチングを利用することにより前記統合されたセグメンテーションマップにおいてオブジェクトを検出するステップを備えることを特徴とする。
【０００９】
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項３に記載されるように、さらに、パターンマッチングを利用することにより前記第１及び第２セグメンテーションマップのそれぞれにおいてオブジェクトを検出するステップを備えることを特徴とする。
【００１０】
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項４に記載されるように、前記非オブジェクト特定基準はカラー同質性基準であり、前記オブジェクト特定基準はオブジェクト特定カラー類似性基準であることを特徴とする。
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項５に記載されるように、皮膚領域の検出に際し、前記カラー同質性基準及び前記オブジェクト特定カラー類似性基準の少なくとも一方はスキンカラーに関し、前記検出されたオブジェクトは検出スキンカラー領域であることを特徴とする。
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項６に記載されるように、さらに、前記検出スキンカラー領域における赤目を検出するステップを備えることを特徴とする。
【００１１】
このようなデジタル画像におけるオブジェクト検出方法では、オブジェクトの検出率を高めることができる。特に、赤目不良を有する顔の検出に際し、複数のセグメンテーションマップを利用することにより、入力デジタル画像におけるフェイス領域のより正確な検出を行うことによって、より高いオブジェクト検出率を達成することができる。
【００１２】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１３】
本発明は、プログラムされたデジタルコンピュータにおいて実現されうる。デジタル画像処理やソフトウェアプログラミングに関する当業者は、以下で与えられる説明からコンピュータにより本発明を実現するためのプログラムを設計することができるであろう。本発明はまた、コンピュータが実行可能なコードを記録するための磁性記憶媒体あるいは光記憶媒体のようなコンピュータが読み取り可能な記憶媒体を備えるコンピュータプログラムプロダクトにおいて実現されてもよい。また、本発明はハードウェアあるいはファームウェアにおいて実現されてもよい。
【００１４】
図１を参照するに、本発明によるオブジェクト検出方法によると、別々に生成された２つのセグメンテーションマップ（ｓｅｇｍｅｎｔａｔｉｏｎ　ｍａｐ）が統合され、この統合されたセグメンテーションマップを利用して画像中の特定のオブジェクトが検出される。そのようなオブジェクトとして赤目オブジェクトが含まれている。以下では、このようなオブジェクトに関して説明がなされる。しかしながら、本発明によるオブジェクト検出方法は、若干の必要な修正を加えることにより他のオブジェクトの検出にも利用可能であるかもしれない。以下においてさらに詳細に説明されるように、本発明によるオブジェクト検出方法は、部分的に上述の米国特許第６，２９２，５７４号による検出方法が利用されている。
【００１５】
図１に示される好適な実施例によると、まず検出対象である上述の赤目オブジェクトのような１つ以上のオブジェクトを少なくとも部分的に含むデジタル画像１０が入力される。このデジタル画像１０は、まずカラーセグメンテーションステージ１２において処理される。このカラーセグメンテーションステージ１２では、カラーセグメンテーションマップ（ｃｏｌｏｒ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｍａｐ）１４を生成するため、非オブジェクト特定カラーセグメンテーション処理（ｎｏｎ−ｏｂｊｅｃｔ　ｓｐｅｃｉｆｉｃ　ｃｏｌｏｒ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｐｒｏｃｅｓｓ）が入力されたデジタル画像１０に実行される。カラーセグメンテーションステージ１２では、上述の米国特許第６，２９２，５７４号により開示された方法が利用される。この開示された方法に関しては、以下でさらなる詳細な説明が与えられる。この開示された方法では、非オブジェクト特定基準（ｎｏｎ−ｏｂｊｅｃｔ　ｓｐｅｃｉｆｉｃ　ｃｒｉｔｅｒｉｏｎ）、本実施例においてはカラー同質性基準（ｃｏｌｏｒ　ｈｏｍｏｇｅｎｅｉｔｙ　ｃｒｉｔｅｒｉｏｎ）、具体的には平均スキンカラー（ｓｋｉｎ−ｌｉｋｅ
ａｖｅｒａｇｅ　ｃｏｌｏｒ）に従ってセグメントが特定される。
【００１６】
また入力デジタル画像１０は、オブジェクト特定基準（ｏｂｊｅｃｔ　ｓｐｅｃｉｆｉｃ　ｃｒｉｔｅｒｉｏｎ）に従い、オブジェクト特定パス（ｏｂｊｅｃｔ−ｓｐｅｃｉｆｉｃ　ｐａｔｈ）１６において、オブジェクト特定セグメンテーションマップ（ｏｂｊｅｃｔ−ｓｐｅｃｉｆｉｃ　ｓｅｇｍｅｎｔａｔｉｏｎｍａｐ）１８を生成するために処理される。オブジェクト特定セグメンテーションマップ１８は、カラーセグメンテーションマップ１４と交互に利用され、補完情報を与える。本実施例では、オブジェクト特定基準は、オブジェクト特定カラー類似性（ｏｂｊｅｃｔ　ｓｐｅｃｉｆｉｃ　ｃｏｌｏｒ　ｓｉｍｉｌａｒｉｔｙ）であり、具体的には、フェイスオブジェクトに関するスキンカラーである。より詳細には、セグメンテーションマップ１８は、特定されたスキンオブジェクトの一部としてスキンカラー画素のセグメントを特定するのに使われるスキン特定マップである。
【００１７】
オブジェクト特定パス１６は、以下のステージから構成される。スキン画素検出ステージ２０では、スキンカラー信頼値をデジタル画像１０の各画素に割り当てることにより、デジタル画像１０のスキンカラー画素が検出される。そして、適応型閾値判別ステージ２２では、スキン画素検出ステージ２０により生成されたスキンカラー画素を特定するための信頼値にある閾値が適用される。領域抽出ステージ２４において、スキンカラー画素に連続する領域が抽出される。領域拡大ステージ２６において、抽出された領域は信頼値に関する連続性基準に従いより完備な領域に拡大される。その後、形状分解ステージ２８において、拡大された領域は単純な形状パーツに分解され、代替セグメンテーションマップ１８が生成される。
【００１８】
統合ステージ３０において、２つの別々に生成されたセグメンテーションマップ、すなわち、非オブジェクト特定カラーセグメンテーションマップ１４とオブジェクト特定代替セグメンテーションマップ１８は、オブジェクトの検出とその位置検出のため統合セグメンテーションマップ３２に統合される。より詳細には、赤目ペア分類器（ｒｅｄｅｙｅ　ｐａｉｒ　ｃｌａｓｓｉｆｉｅｒ）３４が統合されたセグメンテーションマップ３２を使って、赤目ペアの候補を検出する。検出された赤目ペアの候補は、検出赤目リスト３８を生成する前に、フェイス検証器（ｆａｃｅ　ｖｅｒｉｆｉｅｒ）３６によりチェックされる。赤目ペア分類器３４では、以下で詳細に説明される米国特許第６，２９２，５７４号により開示されたパターンマッチング手法が利用される。フェイス検証の後、検出赤目リスト３８は赤目補正ステージ４０に送られ、赤目の画素における色をより望ましい色によりレンダリングすることにより補正される。
【００１９】
また、米国特許第６，２９２，５７４号によるパターンマッチング手法を非オブジェクト特定カラーセグメンテーションマップ１４とオブジェクト特定代替セグメンテーションマップ１８のそれぞれに別々に適用し、その後検出されたオブジェクトを統合することにより、非オブジェクト特定カラーセグメンテーションマップ１４とオブジェクト特定代替セグメンテーションマップ１８から赤目オブジェクトのようなオブジェクトが別々に検出されてもよい。フェイス検証器３６によるフェイスの検証後、検出赤目リスト３８は赤目補正ステージ４０に送られる。
【００２０】
図２を参照するに、本発明によるオブジェクト検出方法を実現するためのコンピュータシステム１１０が示される。コンピュータシステム１１０は好適な実施例を示すために例示されたものであり、本発明はコンピュータシステム１１０に限定されるものではない。本発明は、コンピュータ現像、売店での現像、小売の現像、卸売での現像などの任意の電子処理システム、あるいはデジタル画像処理のための他のシステムにおいて利用されてもよい。コンピュータシステム１１０は、ソフトウェアプログラムの受信及び処理と、他の処理機能を実行するマイクロプロセッサユニット１１２を備える。コンピュータシステム１１０は、例えば、Ｓｕｎ　Ｓｐａｒｃ　Ｓｔａｔｉｏｎ（登録商標）であってもよい。ディスプレイ１１４は、例えば、グラフィカルユーザインターフェイスによりソフトウェアに関するユーザ関連情報を表示するため、マイクロプロセッサユニット１１２に電子的に接続される。キーボード１１６は、ユーザがソフトウェアに情報の入力ができるよう、マイクロプロセッサユニット１１２に接続される。キーボード１１６の代わりに、マウス１１８がディスプレイ１１４上のセレクタ１２０を移動させ、セレクタ１２０によりアイテムを選択できるよう既知の技術に従い使用されてもよい。
【００２１】
ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のためのドライブ装置１２２が、ソフトウェアプログラムの入力と、ソフトウェアプログラムを有するコンパクトディスク１２４を介しソフトウェアプログラムやその他の情報をマイクロプロセッサユニット１１２に与えるため、マイクロプロセッサユニット１１２に接続される。さらに、フロッピー（登録商標）ディスク１２６にソフトウェアプログラムが保存され、ソフトウェアプログラムの入力のためフロッピー（登録商標）ディスク１２６がドライブ装置１２２を介しマイクロプロセッサユニット１１２に与えられてもよい。さらに、マイクロプロセッサユニット１１２は、既知の技術により、ソフトウェアプログラムを内部に保持するようプログラムされていてもよい。マイクロプロセッサユニット１１２は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネットのような外部ネットワークへの接続のため、例えば電話線のようなネットワーク接続１２７を備えていてもよい。このネットワークは、例えば、大きなデータサイズのデジタル画像を扱えるだけの大容量のＬＡＮであってもよい。プリンタ１２８は、コンピュータシステム１１０の出力のプリントアウトのために、マイクロプロセッサユニット１１２に接続される。
【００２２】
画像は、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ　Ｍｅｍｏｒｙ　Ｃａｒｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ａｓｓｏｃｉａｔｉｏｎ）に基づく既知のデジタル画像を保持するためのＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）カード１３０を介して、ディスプレイ１１４に表示されてもよい。ＰＣカード１３０は、ディスプレイ１１４上に画像を表示するためドライブ装置１３２を介しマイクロプロセッサユニット１１２に与えられる。画像はコンパクトディスク１２４、フロッピー（登録商標）ディスク１２６あるいはネットワーク接続１２７を介して入力されてもよい。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６、コンパクトディスク１２４に記憶されている画像や、ネットワーク接続１２７を通じて入力された画像は、デジタルカメラ１３４やスキャナ１３６のような様々な情報源から、ハロゲン化銀フィルムのような原稿を走査することにより得られる。デジタルカメラ１３４から通信リンク（例えば、ＲＦリンクやＩＲリンク）１４０を介して画像をコンピュータシステム１１０に取り込んでもよい。本発明によると、統合セグメンテーションマップ３２に統合され、オブジェクト検出あるいは赤目オブジェクトのような特定のオブジェクトの検出に使用される２つの別々に生成された非オブジェクト特定マップ１４及びオブジェクト特定マップ１８を生成するため、本実施例で開示されるオブジェクト検出アルゴリズムは上述の記憶装置のいずれかに記憶される。
【００２３】
本実施例において開示されるオブジェクト検出アルゴリズムは、様々なユーザ環境において利用されてもよい。本発明を限定することなく、例えば、（フィルムイン、デジタル処理、プリントアウトのような処理過程に関する）ホールセールデジタル現像、リテールデジタル現像（フィルムイン、デジタル処理、プリントアウト）、ホームプリンティング（家庭で走査されたフィルムやデジタル画像、デジタル処理、プリントアウト）、デスクトップソフトウェア（質の向上や変更のためにデジタルプリントにアルゴリズムを適用するソフトウェア）、デジタルフルフィルメント（ｄｉｇｉｔａｌ　ｆｕｌｆｉｌｌｍｅｎｔ）（メディアやウェブからのデジタル画像取り込み、デジタル処理、メディアのデジタル形式、ウェブのデジタル形式、デジタルまたはハードコピー出力による画像出力）、キオスク（ｋｉｏｓｋ）（デジタルまたは走査入力、デジタル処理、デジタルまたはハードコピー出力）、携帯装置（処理部、表示部、処理指示を与えるユニットとして利用されるＰＤＡや携帯電話）、ＷＷＷ（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ）を介して与えられるサービスを含む。
【００２４】
各場合において、アルゴリズムは独立して装備されてもよいし、より大規模なシステムソルーションの一部であってもよい。さらに、アルゴリズムとのインターフェイス、例えば、走査や入力、デジタル処理、（必要であれば）ユーザへの表示、（必要であれば）ユーザリクエストや処理指示の入力、及び出力などは、同一あるいは異なる装置で、そして同一あるいは異なる場所で行われてもよい。装置間の通信は、公共あるいはプライベートのネットワーク接続またはメディアベースの通信を介して行われうる。上述した実施例と対応して、アルゴリズムは完全に自動化されていてもよい。また、アルゴリズムは（完全あるいは部分的に手動で）ユーザ入力を受信してもよい。また、アルゴリズムは結果の承認／拒否のためユーザあるいはオペレータの確認を受けてもよい。また、アルゴリズムは（ユーザあるいはカメラなどの測定装置により与えられた、あるいはアルゴリズムにより決定された）メタデータによる支援を受けてもよい。さらに、アルゴリズムは様々なワークフローユーザインターフェイス手法（ｗｏｒｋｆｌｏｗ　ｕｓｅｒ　ｉｎｔｅｒｆａｃｅ　ｓｃｈｅｍｅ）と接続してもよい。
【００２５】
図３を参照するに、デジタル画像１０の中の連続的なスキンカラー領域を認識するためのカラーセグメンテーションステージ１２を実現するための上述の米国特許第６，２９２，５７４号に開示されるような方法に関する詳細なフローチャートが示されている。始めに、カラー画像の赤、緑及び青に関する数値が、以下の関係式を用いてＬＳＴカラー空間に変換される（ステップＳ４ａ）。
【００２６】
【数１】

【００２７】
【数２】

【００２８】
【数３】

ここで、Ｒ，　ＧおよびＢは、カラー画像１０における画素の赤、緑及び青に関するコード値をそれぞれ表す。
【００２９】
次のステップでは、３次元ヒストグラムが構築される。ヒストグラムのサイズを減らすために、まずＬ，　Ｓ及びＴのコード値がそれぞれ８．０×√３，　２．０及び２．０で除され、量子化される（ステップＳ４ｂ）。この量子化されたコード値はＬ’，　Ｓ’そしてＴ’として表される。Ｌ’，　Ｓ’及びＴ’の各組み合わせはヒストグラムの「ｂｉｎ」として表される。ヒストグラムＨ（Ｌ’，　Ｓ’，　Ｔ’）の値（ステップＳ４ｃ）は、量子化コード値Ｌ’，　Ｓ’及びＴ’を持つ画像中の画素数に等しい。すなわち、ヒストグラムから各ｂｉｎに属する画像中の画素数がわかる。この画素数はｂｉｎ値と呼ばれる。
【００３０】
ヒストグラムは、各ｂｉｎ値を、このｂｉｎ値とそれに近接したｂｉｎのｂｉｎ値との加重平均により置き換えることによってスムージングされる（ステップＳ４ｄ）。次に、ヒストグラムのピーク値が検出され（ステップＳ４ｅ）、ヒストグラムの各ｂｉｎ値にはそれに最も近接したピーク値が割り当てられる（ステップＳ４ｆ）。最終的に、カラー画像の各画素にヒストグラムのｂｉｎ値が割り当てられ、各ｂｉｎにはピークが割り当てられることになるので、ピークがカラー画像の各画素に割り当てられる（ステップＳ４ｇ）。画素コード値が割り当てられているピークの個数に等しい単一の帯域画像がセグメント画像と呼ばれる。
【００３１】
同一のコード値を有するセグメント画像における連続領域は、カラー画像中のオブジェクトあるいはその一部に対応している可能性がある。そこで、ある一意的な数値（ラベル）がセグメント画像のそのような領域に割り当てられる（ステップＳ４ｈ）。その数値は最大画素数をもつ領域に対し１から始まり次々と割り当てられる。コード値が画素が属する領域のラベルに対応する単一の帯域画像は、ラベル画像と呼ばれる。
【００３２】
プログラムは、セグメント画像中のどの連続領域が人間の皮膚の色を有するカラー画像の領域に対応しているかを決定する。各領域の平均コード値Ｌ，　Ｓ及びＴが計算され、これに基づいて各領域にスコアＰ_ｓｋｉｎが割り当てられる（ステップＳ４ｉ）。Ｐ_ｓｋｉｎが高いということは、当該領域が人間の皮膚の色を有しているということを意味し、逆にＰ_ｓｋｉｎが低いということは、当該領域の色が皮膚の色と異なっているということを意味している。Ｐ_ｓｋｉｎが０．１０の閾値Ｔ_ｓｋｉｎを上回る領域はスキンカラー領域と呼ばれる（ステップＳ４ｊ）。
【００３３】
最終ステップでは、カラー画像の中の顔が単一のスキンカラー領域に関連付けられる必要がある。上述のプロセスでは、１つの顔が１以上のスキンカラー領域としばしば関連付けられる。これは、顔色や影により、顔の色は一様でないということに起因する。ある２つのスキンカラー領域は、以下の２つの条件がステップＳ４ｋにおいて満足されれば、１つのスキンカラー領域に統合される。第１の条件では、この２つのスキンカラー領域が相互に連結していることが求められる。領域ｉの画素が領域ｊに連結しているとは、領域ｉのこの画素の８つの隣接画素の１つが領域ｊの画素である場合である。領域ｉとｊの画素間の連結数に比例して関数Ｑ（ｉ，　ｊ）が求められる。関数Ｑは、Ｑ（ｉ，　ｉ）＝１．０になるよう正規化される。Ｑ（ｉ，　ｊ）の値が閾値ＭｉｎＭｅｒｇｅｒＦｒａｃｔｉｏｎ（例えば、０．００５に設定される）を上回り、かつ第２の条件が満たされていれば、領域ｉとｊは１つの領域に統合される。第２の条件では、
Ｄ_{ｃｏｌｏｒ}　＝　｛（Ｌ_ｉ　−　Ｌ_ｊ）^２　＋　（Ｓ_ｉ　−　Ｓ_ｊ）^２　＋　（Ｔ_ｉ　−　Ｔ_ｊ）^２｝^１／２
により与えられる領域ｉとｊ間のカラーディスタンスＤ_{ｃｏｌｏｒ}が、４０．０に設定されたＭａｘＭｅｒｇｅＣｏｌｏｒＤｉｓｔａｎｃｅ未満であることが求められる。
【００３４】
スキンカラー領域を統合するプロセスは小さなサイズの領域から始まり、これら２つの条件が満たされるとき、より大きなサイズの領域に統合される。領域ｉはより大きな領域ｊに統合され、領域ｊはさらに大きな領域ｋに統合されるかもしれない。このとき、領域ｉ，　ｊ及びｋは１つの領域に統合される。上述の２つの条件が領域ｉとｋの間で満たされていなくても、領域ｉとｋは領域ｊを介して統合される。
【００３５】
スキンカラーの検出結果は、カラー画像におけるスキンカラー領域のマップにより与えられる（ステップＳ４ｌ）。スキンカラーでない領域には、コード値０が付される。連続性をもつ個々のスキンカラー領域には、領域サイズに関して降順に１から順に番号付けがなされる。図４は、２人の人間の画像中のスキンカラー領域２３０ａのマップを示す。
【００３６】
本発明によると、補完情報を与えるためのオブジェクト特定セグメンテーションマップ１８がさらに利用される。このオブジェクト特定あるいはスキン特定セグメンテーションマップは、ＦＩＧ．　１に関して説明されたステージ２０、２２、２４、２６及び２８により生成される。以下において、これらのステージに関するさらなる詳細な説明が与えられる。
【００３７】
スキン画素検出ステージ２０において、画素のカラー強度と所定のスキンカラー強度とのあらかじめ決められたカラー類似度に基づき各画素にスキンカラー信頼値を割り当てることによって、デジタル画像中のスキンカラー画素が検出される。検出結果は、デジタル画像中のすべての画素のスキン確率あるいはスキン信頼値から構成されるスキン確率マップとして与えられる。本実施例では、スコアＰ_ｓｋｉｎとカラーディスタンスＤ_{ｃｏｌｏｒ}を計算プロセスが、連続領域の平均カラーの代わりに、オリジナルのデジタル画像の各画素の色に適用される。
【００３８】
スキン画素検出ステージ２０によるスキン確率マップからバイナリーマップを生成するため、適応型閾値判別ステージ２２における閾値の選択に関するいくつかの方法がある。
【００３９】
その中の１つの方法においては、ユニバーサル閾値がトレーニングデータに基づき、ＲＯＣ（Ｒｅｃｅｉｖｅｒ　Ｏｐｅｒａｔｉｎｇ　Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）から得られる。一般に、この閾値は偽陽性率（ｆａｌｓｅ　ｐｏｓｉｔｉｖｅ　ｒａｔｅ）を最小化する一方、検出率を最大化するようなものが選ばれる。従って、対応する動作点（ｏｐｅｒａｔｉｎｇ　ｐｏｉｎｔ）は１００％の検出率と０％の偽陽性率を示すものに最も近いＲＯＣの点が通常選ばれる（Ｅ．　Ｓａｂｅｒ，　Ａ．Ｍ．　Ｔｅｋａｌｐ，　Ｒ．　Ｅｓｃｈｂａｃｈ　ａｎｄ　Ｋ．　Ｋｎｏｘらによる”Ａｕｔｏｍａｔｉｃ　ｉｍａｇｅ　ａｎｎｏｔａｔｉｏｎ　ｕｓｉｎｇ　ａｄａｐｔｉｖｅ　ｃｏｌｏｒ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ”，　ＣＶＧＩＰ，　Ｖｏｌ．　５８，　ｐｐ．　１１５−１２６，　１９９６）。さらに、偽陽性エラーと偽陰性エラーに関するコストが含まれうる。与えられた画像に対して、画素の確率が決められた閾値と比較される。ユニバーサル閾値を使用することの最大の短所は、個々の画像における統計量の変動が無視されていることである。集合体としてのトレーニングデータに基づき決定された最適ユニバーサル閾値は、個々の画像に対しては必ずしも最適であるとは限らない。また、トレーニングセット以外のデータに対してはユニバーサル閾値は最適でないかもしれない。また、オブジェクト検出アルゴリズムが閾値に関する処理以外のプロセスを含んでいれば、ユニバーサル閾値の選択は最適であるとは限らない。
【００４０】
画像の変動要素に対してある程度の適応性が実現されるよう、まず画像における（量子化）確率のヒストグラムを構築し、続いてこのヒストグラムの低位部において谷間を見つける。これには、非オブジェクト画素はヒストグラムにおいて０の確率に近い分布を形成する一方、オブジェクト画素は高い確率を有する１つ以上の分布を形成するということが前提とされる。複合的な分布から谷間を見つけるには、適切な閾値選択が実行される必要がある。実際、Ｓａｂｅｒらによる初期の研究ではこのコンセプトが利用されている。しかしながら、彼らの研究では、オブジェクト画素では最大確率の分布が形成されていると仮定し、ヒストグラムの高位において検出された第１の谷間に閾値が設定される。この仮定は、このような閾値操作がオブジェクトの検出を最終的に決定するなら、妥当なものである。しかしながら、実際しばしばこの仮定は成り立たない。例えば、海は曇りの日の海岸における空よりもより空の色に近く見えるし、木製パネルは強い火の近くで撮影された写真の中の顔よりよりスキンカラーに近く見えるかもしれない。Ｓａｂｅｒらはまた、ユニバーサル閾値として初期的に置かれた想像上のボールが落ちていく谷間を用いることを提案している。Ｓａｂｅｒらは、より突出したピークやより窪んだ谷間を形成するため、ヒストグラム中の高周波数要素の減衰とこれらピークと谷間のローカリゼーション（ｌｏｃａｌｉｚａｔｉｏｎ）との間のトレードオフを実現するよう設計されたカーネル（ｋｅｒｎｅｌ）を利用している。Ｓａｂｅｒらはゼロ交差（ｚｅｒｏ−ｃｒｏｓｓｉｎｇ）を利用しピークと谷間の位置決めを行っている。
【００４１】
一般に、偽陽性を抑える一方、すべての候補が保持されるようやや控えめな閾値が本実施例では使用される。確率ヒストグラムにおける谷間の検出はしばしば不適切な閾値を導くということがわかった。一般に、非オブジェクト画素が画像領域の大部分を占めるので、確率が０に近い領域が大部分となる。この非オブジェクト分布はしばしば検索対象の谷間を覆い隠してしまう。そのため、偽陽性を大きく増加させる低い閾値を持たせてしまう傾向がある。
【００４２】
ターゲットとなるオブジェクトは雑多な背景とは大きく不連続である境界を形成していると仮定することが妥当である。そのような境界は色や強度に関する不連続性だけでなく、関連した特徴（色やテクスチャなど）を分類することにより生成される確率マップにおける不連続性として存在すべきである。従って、最適な閾値の決定に何が重要かは、閾値が明確な境界をもたらしうるかどうかに依存する。画像中のすべてのサンプルが利用される必要はないということは明らかであろう。言い換えると、より多くのサンプルを使ったとしても、ヒストグラム中にピークや谷間をもたらす信号対ノイズ比を必ずしも増加させない。
【００４３】
オブジェクト検出では、「イエス」「ノー」の質問に答える必要がある。言い換えると、ある画素がオブジェクトに属するか、あるいは背景に属するかということである。オブジェクトと背景の間の境界上あるいはその近傍にある画素を考える場合、この決定が必要なすべてであるかもしれない。このとき、ヒストグラムはオブジェクトと背景の相対的な大きさの相違から影響はあまり受けない。さらに、境界の両側でほぼ等しく画素を抽出する（オブジェクトと背景のサンプル数が等しく抽出される）ので、ヒストグラムにはほぼ等しい高さのピークが含まれ、そのピーク間には明確な谷間が形成される。このような明確なピークと谷間を有するヒストグラムを明確なヒストグラムと呼ぶことにする。
【００４４】
このようなヒストグラムにおける１つの問題は、それが非常に少ないサンプルから形成されているということである。一般に、画像は疎な不連続性を有するので、確率マップについてはなおさらその傾向が顕著である。このようなヒストグラムが、谷間の存在についてあいまいさを生じさせる多数の空のｂｉｎを有することは珍しくない。初期的には、確率範囲［０，　１］がヒストグラムでのカウンティングのため２５６の離散ｂｉｎに量子化される。明確なヒストグラムにおける希薄さに対処するため、ヒストグラムｂｉｎの総数は一様量子化により２５６から６４に減らされる。これにより十分稠密なヒストグラムＢ２が形成される。所定のスムージング（７ポイント移動平均化）の後、最終的に明確なヒストグラムＢ３が得られる。図５に示される例では、もとの確率ヒストグラムＢ１には明確な谷間は見られなかったが、最終的に得られる明確なヒストグラムＢ３においては明確な谷間Ｂ４が現れている。ここで、６４のｂｉｎをもつ明確なヒストグラムとそれ以上のｂｉｎをもつヒストグラムとでは、図の縦軸は異なるスケールを有す。
【００４５】
本発明の好適な実施例では、適応型閾値決定は以下のステップにより行われる。
１．確率マップのラプラシアンまたは勾配（ｇｒａｄｉｅｎｔ）を計算
２．高い勾配あるいはラプラシアン値に基づきマスクを導出
３．マスクに従い勾配の高い画素のみを使ってヒストグラムを構築
４．構築されたヒストグラムをｂｉｎ数の少ないより稠密なヒストグラム（２５６ｂｉｎから６４ｂｉｎ）に量子化
５．稠密なヒストグラムに移動平均スムージング処理を行い、明確なピークと谷間を有する明確なヒストグラムを生成
６．明確なヒストグラムの中からピークと谷間を検出
７．適当な谷間（例えば、明確なヒストグラムの下方における最初の谷間）に閾値を設定
８．ヒストグラムｂｉｎ量子化のため閾値を（例えば、ステップ４において用いられた例において、谷間の値に４を乗ずることにより）調整
インデックスｉ∈｛１，　２，　…，　Ｎ｝を画像位置とする。ｉにおける確率をｐ（ｉ）により表す。閉区間［０，　１］がＫ（例えば、Ｋ＝２５６）個のｂｉｎに量子化されるとする。従来技術によるヒストグラムは、
ｈ［ｋ］　＝　ｈ［ｋ］　＋　１，　ｉｆ　ｐ［ｉ］　＝　ｋ，　ｉ　＝１，　２，…，　Ｎ，　ｋ　＝　０，　１，　…，　Ｋ−１
により計算される。
【００４６】
２Ｄ関数　ｆ（ｘ，　ｙ）のラプラシアンは２階の偏導関数により
【００４７】
【数４】

として定義される。
【００４８】
デジタル形式において、ラプラシアン演算子は、
【００４９】
【数５】

の３×３カーネルにより与えられる。
【００５０】
画像　ｆ（ｘ，　ｙ）　の点　（ｘ，　ｙ）　における勾配は、
【００５１】
【数６】

として定義される。
【００５２】
これのデジタル形式は、２つの分離可能なカーネル
【００５３】
【数７】

となる。
【００５４】
勾配ベクトルの大きさは
【００５５】
【数８】

となる。
【００５６】
適応型の閾値が決定され、それがスキン確率あるいは信頼値に適用された後、スキン確率マップは「１」によりラベル付けされたスキン画素と「０」によりラベル付けされた非スキン画素を有する２項マップになる。領域抽出ステージ２４では、接続された構成要素抽出処理が利用され、スキン画素の隣接領域が抽出される。この処理に関しては、「Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｖｉｓｉｏｎ，　Ｓｏｎｋａ，　Ｈｌａｖａｃ　ａｎｄ　Ｂｏｙｌｅ，　Ｂｒｏｏｋｓ＆Ｃｏｌｅ，　１９９９」において説明されている。
【００５７】
後述の理由により、スキン画素の各抽出領域は、より完全かつしっかりした領域が得られるよう精緻化される必要がある。スキン領域のいくつかの画素の信頼値が閾値以下になることがしばしばあり、これにより不完全なスキンマスクが形成されてしまう。このような不完全なスキンマスクは以下の形状分解処理にとって望ましくない。従来技術によるカラーベース領域の拡大は、たまたまスキン信頼値が閾値以上となる抽出画素の色にある背景画素の色が近ければ、「ブリーディング（ｂｌｅｅｄｉｎｇ）」や「オーバーグローイング（ｏｖｅｒｇｒｏｗｉｎｇ）」が起こりうるという点で注意を要するということがわかる。本発明によると、領域拡張ステージ２６において、よりロウバストな領域拡大が信頼値の類似性に基づき実行される。特に、（シード画素（ｓｅｅｄ　ｐｉｘｅｌ）として利用される）抽出スキン領域から始めて、サブ閾値信頼値を持ち、シード画素に空間的に結合している画素が調べられる。もしこの信頼値が確率の最大値１．０の最低限の確率、例えば、０．１より大きく、かつこの信頼値と空間的に結合したシード画素の信頼値の差が所定の閾値以下であれば、これらの画素はシード画素として同一の領域に統合される。信頼値ベースの領域拡大の効果が図６に示される。初期的には不完全なフェイスブロブ（ｆａｃｅ　ｂｌｏｂ）領域Ｃ１が、完全なフェイスブロブ領域Ｃ２を得るために精緻化される。
【００５８】
候補となるフェイス領域あるいはブロブを検出する問題は、「アンダーセグメンテーション（ｕｎｄｅｒ　ｓｅｇｍｅｎｔａｔｉｏｎ）」として呼ばれ、スキンカラーあるいは類似の色のオブジェクトが顔として同一の領域にセグメント化される。この顔には、互いに突き合わさった２つの顔、顔に接した手、肌色の顔に接したブロンドの髪、顔に接した肩、首や胸、顔に接した家具、顔に接した服などが含まれる。図７に、アンダーセグメンテーション問題の典型例が示される。
【００５９】
この問題のために、形状分解ステージ２８において、本発明の好適な実施例による形状ベースの構成要素分解が行われ、複雑な形状からなる１つの領域がいくつかの構成要素領域に細分化される。図７には、形状分解の効果が示されている。詳細には、各接続領域に対して、
１．この領域の外形輪郭Ｄ１を追跡
２．この輪郭をスムージング処理し、ノイズの除去
３．スムージングされた輪郭に沿って大きな曲率をもつ臨界点Ｄ２とＤ３を検出
４．負の曲率の臨界点（ＮＣＰ）Ｄ２を特定
５．各ＮＣＰに対して、他の輪郭点を抽出し、「カット（ｃｕｔ）」Ｄ４を形成
６．カットにおける領域を分割し、シンプルなブロブ領域を生成
輪郭追跡の後、各領域の輪郭は　（ｘ，　ｙ）　座標の順序付けされたリストとして表される。インデックスｉ∈｛１，　２，　…，　Ｎ｝をこの座標リストとする。輪郭は、このリストをある固定された任意の基準点　（ｘ’，　ｙ’）　に関する極座標
【００６０】
【数９】

【００６１】
【数１０】

に変換することによりスムージングされる。
【００６２】
輪郭のスムージングのため、ローパスフィルタがリストｒとθのそれぞれに対し、（例えば、平均値フィルタ（ｍｅａｎ　ｆｉｌｔｅｒ）を適用することにより）適用される。本発明の好適な実施例では、「Ｏｎ　Ｃｒｉｔｉｃａｌ　Ｐｏｉｎｔ　Ｄｅｔｅｃｔｉｏｎ　ｏｆ　ＤｉｇｉｔａｌＳｈａｐｅｓ（デジタル形状の臨界点検出），　Ｐ．　Ｚｈｕ　ａｎｄ　Ｐ．　Ｃｈｉｒｌｉａｎ，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　１７（８）：　７３７−７４８，　Ａｕｇｕｓｔ　１９９５」において提供されたアルゴリズムを利用して、スムージングされた輪郭の臨界点が検出される。このアルゴリズムでは、曲率と知覚的に重要な局所最大となる輪郭点が特定される。以下でアルゴリズムの概要が説明される。まず、角度または半径関数における局所最大となるすべての画素が特定され、集合Ｍに置かれる。次に、２つの隣接Ｍ点群を結ぶ線分からの距離が局所最大となるすべての点が集合Γに置かれる。集合ＭとΓは、擬臨界点（ｐｓｅｕｄｏｃｒｉｔｉｃａｌ　ｐｏｉｎｔ）の集合Ｃ_０を形成するよう統合される。臨界レベルと呼ばれる擬臨界点の知覚重要度は、ある１点とその隣接擬臨界点とにより形成される三角形の大きさにより定義される。Ｃ_０のすべての点の臨界レベルが計算され、最小の臨界レベルを有する点が取り除かれる。Ｃ_０のすべての点がある閾値（例えば、６０）以上の臨界レベルとなるまで上記プロセスが繰り返される。最終的に得られる集合Ｃ_０が臨界点集合（ＣＰＳ）となる。
【００６３】
本発明の変形例として、他の臨界点検出アルゴリズムが利用されてもよい。
【００６４】
低い（シャープな）負の曲率を有する曲率点が選ばれ、集合ＮＣＰＳに置かれる。特に、ある閾値（例えば、−０．０５）未満の曲率を有する臨界点が、以下に定義されるＣにより選択される。
【００６５】
【数１１】

ここで、ｘ’（ｔ）とｙ’（ｔ）は、パラメータｔに関する１階導関数であり、ｘ’’（ｔ）とｙ’’（ｔ）は２階導関数である。離散のケースでは、この関数の評価は、小さな近傍に関して以下の式を計算することにより近似可能である。
【００６６】
【数１２】

臨界点検出アルゴリズムでは発見的アプローチが利用されるが、集合ＮＣＰＳの複数の点がある知覚臨界点の近傍にたまたま存在するかもしれない。局所非最大曲率抑制ステップがこの冗長を解消するため使われる。その間にＣＰＳの要素を持たないＮＣＰＳの２つ以上の隣接要素のグループを見つけるために、輪郭が走査される。隣接するＮＣＰＳ間の輪郭距離は、同一のグループの一部とみなされるｄｉｓｔ＿ｔｈｒｅｓｈｏｌｄの１／２以下となっている。（ｄｉｓｔ＿ｔｈｒｅｓｈｏｌｄは、当該領域の特性に基づき適応的に設定される。例えば、もし領域のフィルファクタ（ｆｉｌｌ　ｆａｃｔｏｒ）が１／２より大きくなければ、ｄｉｓｔ＿ｔｈｒｅｓｈｏｌｄは領域の最小有界ボックス（ｍｉｎｉｍｕｍ　ｂｏｕｎｄｉｎｇ　ｂｏｘ）の最小サイズの１／２に等しくなる。この場合、ｄｉｓｔ＿ｔｈｒｅｓｈｏｌｄは最小有界ボックスの最小サイズの６０％に設定される。どちらの場合でも、ｄｉｓｔ＿ｔｈｒｅｓｈｏｌｄは画像の最小サイズの１／３より大きくなることはない。）各グループにおいて局所最小曲率を有するＮＣＰＳの要素は取り除かれる。残りの要素は、顕著負曲率輪郭点（ｓａｌｉｅｎｔ　ｎｅｇａｔｉｖｅ　ｃｕｒｖａｔｕｒｅ　ｃｏｎｔｏｕｒ　ｐｏｉｎｔ）と呼ばれ、集合ＳＮＣＰＳの要素とされる。
【００６７】
次のステップでは、各ＳＮＣＰに対して潜在的切断の端点を形成する候補のペアが特定される。各ＳＮＣＰに対して、条件を満たさないペアをの点をフィルタリングするフィルタ系列により他のすべての輪郭点が候補とみなされる。ある点Ｐ_Ｓ∈ＳＮＣＰＳを他の輪郭点Ｐ_０と対にするかどうか考慮していると仮定する。本発明の好適な実施例では、以下のようなフィルタが使用される。
【００６８】
１．ユークリッド距離フィルタ：
ｄｉｓｔ（Ｐ_０，　Ｐ_Ｓ）　＞　ｄｉｓｔ＿ｔｈｒｅｓｈｏｌｄ
が成り立つときＰ_０は削除される。ただし、ｄｉｓｔはユークリッド距離関数である。このフィルタでは、あまりに遠く離れすぎて存続可能なペアになれない点が除去される。
【００６９】
２．カット顕著フィルタ：
【００７０】
【数１３】

が成り立つときＰ_０は削除される。ただし、Ｐ_０は削除される。ただし、ｄｉｓｔはユークリッド関数、Ｃｄｉｓｔは２点間の輪郭に沿った最小距離である。このフィルタにより、知覚的に顕著でないカットは、そのサイズが形状特徴のサイズより大きいため、削除される。
【００７１】
３．接線ベクトルフィルタ：
Ｐ_ＳおよびＰ_０における接線ベクトルが比較され、２つのベクトルのなす角がａｎｇ＿ｔｈｒｅｓｈｏｌｄより小さいとき、Ｐ_０は削除される。従来は、これら接線ベクトルは輪郭の向きと同じ方向に向いていた。このフィルタは、妥当なカットの両端が常にほぼ反対の接線ベクトルを有するということに基づき動機付けされている。ａｎｇ＿ｔｈｒｅｓｈｏｌｄは通常９０°に設定されている。しかしながら、もしＰ_Ｓにおける曲率が大きければ、接線角はノイズとなってしまう。従って、もしＰ_Ｓにおける曲率がある閾値（例えば、−０．２）以下であれば、ａｎｇ＿ｔｈｒｅｓｈｏｌｄは（例えば、１３５°まで）引き上げられる。
【００７２】
４．法線ベクトルフィルタ：
ベクトルＰ_ＳＰ_０とＰ_Ｓにおける法線ベクトルとのなす角がａｎｇ＿ｔｈｒｅｓｈ未満であれば、Ｐ_０は削除される。理想的には２つのベクトルは反対方向を向いていることが望ましい。上述のように、ａｎｇ＿ｔｈｒｅｓｈｏｌｄはＰ_Ｓにおける曲率に基づき、自動的に設定される。
【００７３】
Ｐ_Ｓ∈ＳＮＣＰＳに対するフィルタを透過した画素集合をＳ_Ｃと呼ぶ。もし
【００７４】
【外１】

であれば、Ｐ_Ｓによりカットは形成されない。一方もし
【００７５】
【外２】

であれば、１つ以上の候補となる点がＰ_Ｓによるカットを形成するために選ばれる。ＳＮＣＰＳの要素は凸形状を表すので、ＳＮＣＰＳの要素となる候補ペアを選ぶことがしばしばベストである。ＳＮＣＰの近傍の輪郭点を含む集合Ｓ_Ｎは以下のように定義される。
【００７６】
Ｐ∈Ｓ_Ｎ　⇔　∃Ｑ∈ＳＮＣＰ　ｓｕｃｈ　ｔｈａｔ　Ｃｄｉｓｔ（Ｐ，　Ｑ）　＜　５
ただし、Ｃｄｉｓｔは以前に定義された輪郭距離関数である。そしてユークリッド距離Ｄ１＝ｄｉｓｔ（Ｐ１，　Ｐ_Ｓ）を最小にするような点Ｐ１∈Ｓ_Ｃが選ばれる。もし集合Ｓ_Ｎが非空であれば、ユークリッド距離Ｄ２＝ｄｉｓｔ（Ｐ２，　Ｐ_Ｓ）を最小にするような点Ｐ２∈Ｓ_Ｎが選ばれる。
【００７７】
【外３】

のとき、Ｐ２に最も近いＳＮＣＰが最終的なカットペアとして選ばれる。逆にＤ２　＞　（１．１）Ｄ１のとき、Ｐ１が選ばれる。本発明の変形例として、各Ｐ_Ｓ∈ＳＮＣＰに対して、複数の候補点が選ばれうる。
【００７８】
候補ペア選択ステップ及びカットペア選択ステップが、領域内のすべてのＳＮＣＰＳに対して繰り返される。その結果として、カットを特定する０以上の線分のリストが生成される。カットは一意的なコード値を有するセグメンテーションマップのバッファにおいて線分を引き、連結構成要素分析を行うことによりセグメンテーションマップに適用される。
【００７９】
図８を参照するに、オリジナルデジタル入力画像Ｅ１、非オブジェクト特定セグメンテーションマップＥ２及びオブジェクト特定セグメンテーションマップＥ３が示される。被写体の顔はオブジェクト特定セグメンテーションマップＥ３では大きく２つのセグメントに分けられる。これは欠落した画素の色が肌色と類似していないからである。しかしながら、非オブジェクト特定セグメンテーションマップＥ２では顔領域に大きなセグメントが残されている。これは顔の中の画素の色は互いに似ているからである。これと反対のことが異なる画像において成り立つかもしれない。すなわち、非オブジェクト特定セグメンテーションマップＥ２では複数の部分に、オブジェクト特定セグメンテーションマップＥ３では１つの部分に、顔が分割される。本例では、同一のシーンに対し異なる解釈や補完的な解釈を与える複数のセグメンテーションマップを使用することの必要性を示している。
【００８０】
複数のセグメンテーションマップを利用する特別なケースとして、同一のセグメンテーション方法に対し、いくつかの異なるパラメータを設定し複数のセグメンテーションマップを生成するという方法も考えられるであろう。また、利用可能な複数のセグメンテーションアルゴリズムから動的に１つ以上のセグメンテーションアルゴリズムを選択するという方法も考えられるであろう。
【００８１】
再び図１を参照するに、非オブジェクト特定セグメンテーションマップ１４（例えば、Ｅ２）とオブジェクト特定セグメンテーションマップ１８（例えば、Ｅ３）が、赤目ペア分類器３４及びフェース検証器３６においてオブジェクト検出と位置検出に利用されるセグメンテーションマップ３２に併合される。赤目ペアのオブジェクト検出と位置検出には、以下で詳述される検出された赤目のリスト３８を特定する前述の米国特許第６，２９２，５７４号により開示される方法が利用される。
【００８２】
図９を参照するに、赤目ペア分類器３４により赤目のオブジェクト検出及び位置検出を実行するため本発明に適用される米国特許第６，２９２，５７４号において利用される方法のフローチャートが示される。図示された処理は、ステップＳ４において、画像中のすべての分離された連続スキンカラー領域を特定することにより開始される。ステップＳ４には、非オブジェクト特定セグメンテーションマップ１４とオブジェクト特定セグメンテーションマップ１８から併合マップ３２を生成するための前述の方法が含まれている。ステップＳ８からＳ３０において、赤目ペア分類器３４が実現される。
【００８３】
図９及び図１０に示されるように、ステップＳ６においてスキンマップ（図４）からスキン領域のすべてを含む最小の長方形領域を抽出することによりスキンカラー領域のサブマップが形成される。例えば、図１０のスキン領域２３０ｂは図４のスキン領域２３０ａに対応している。図１０は、サブマップとしての各分離した連続スキンカラー領域のマップを示している。サブマップの左上に対応するスキンマップの列と行は、それぞれＣｏｌ_{ｃｕｔｏｕｔ}、Ｒｏｗ_{ｃｕｔｏｕｔ}と呼ばれる。このサブマップにおいて、２５５のコード値（白）は、画素がスキンカラーとなっている位置にあるということを示している。０のコード値（黒）はスキンカラーでないということを示している。
【００８４】
図９及び図１１を参照するに、ステップＳ８において、楕円２３５がステップＳ６で検出されたスキンカラーサブマップに適合される。楕円を２値画像に適合する方法は、「Ｃｏｍｐｕｔｅｒ　ａｎｄ　Ｒｏｂｏｔ　Ｖｉｓｉｏｎ　Ｖｏｌｕｍｅ　Ｉ，　Ｒｏｂｅｒｔ　Ｍ．　Ｈａｒａｌｉｃｋ　ａｎｄ　Ｌｉｎｄａ　Ｇ．　Ｓｈａｐｉｒｏ，　Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ　（１９９２），　ｐｐ．　６３９−６５８」において紹介されている。人間の顔は楕円として近似することができる。従って、もしスキンカラーサブマップが人間の顔であれば、楕円を使ってスキンカラーマップは良好に適合され、楕円の短軸は顔の幅にほぼ等しくなる。楕円のスキンカラーサブマップへの適合度は以下の式によって与えられる。
【００８５】
【数１４】

ただし、Ｎはマップ内のスキンカラー画素数（コード値２５５）、Ｎ_ｏｕｔは楕円外のスキンカラー画素数、Ｎ_ｉｎは楕円内のスキンカラー画素数、Ａは楕円内の画素数を表す。Ａは楕円領域と呼ばれる。もしすべてのスキンカラー画素が楕円内にあり、スキンカラー画素数と楕円領域が一致していれば、適合度Ｆｉｔは１となり、完全に適合される。スキンカラー画素が楕円外にあるか、あるいは楕円領域がその中のスキンカラー画素数より大きいとき、適合度Ｆｉｔの値は減少する。Ｆｉｔが０．７０に設定された所定の値ＭｉｎＥｌｌｉｐｓｅＦｉｔより小さいとき、スキンカラー領域は顔でないと判断でき、ステップＳ１０においてさらなる処理は実行されない。
【００８６】
スキンカラーサブマップが顔であるかどうかを示すもう１つの方法では、以下の式により与えられる楕円の縦横比ＡｓｐｅｃｔＲａｔｉｏが利用される。
【００８７】
【数１５】

ただし、Ｄ_{ｍａｊｏｒ}は楕円の長軸における画素数であり、Ｄ_{ｍｉｎｏｒ}は楕円の短軸における画素数である。縦横比ＡｓｐｅｃｔＲａｔｉｏが３．０に設定されたＭａｘＡｓｐｅｃｔＲａｔｉｏより大きければ、スキンカラー領域はあまりに長細いので顔ではないオブジェクトに対応している。スキンカラー領域が顔でないと判断されれば、ステップＳ１０の処理は実行されない。
【００８８】
スキンサブマップが楕円に対して受け入れ可能な適合度を有し、かつその楕円が受け入れ可能な縦横比を持てば、そのスキンサブマップは潜在的に顔の位置を示しているとみなしうる。次に、以下の式によるリサイズ係数Ｓ_{ｐｒｅｓｃａｌｅ}が求められる。
【００８９】
【数１６】

ただし、７５画素に設定されたＡｉｍＥｙｅＤｉｓｔａｎｃｅは両目の間の望ましい距離であり、２．０に設定されたＦａｃｅＷｉｄｔｈＥｙｅＤｉｓｔａｎｃｅＲａｔｉｏは典型的な幅と両目の距離との比を表す。もしＳ_{ｐｒｅｓｃａｌｅ}が０．１０のＭｉｎＰｒｅｓｃａｌｅより小さいか、あるいは１．５０のＭａｘＰｒｅｓｃａｌｅより大きければ、このスキンカラー領域にはステップＳ１０は実行されない。ステップＳ１２では、カラー画像からサブマップの位置にちょうど対応したサブカラー画像が抽出される。楕円の短軸が顔の幅にほぼ等しいとき、両目の間の距離はＡｉｍＥｙｅＤｉｓｔａｎｃｅに近似する。図１２は、このようにリサイズされたサブカラーマップ２４０を示す。実際の画像はカラー画像であるが、図１２ではグレースケールとして描かれている。図１３は、ステップＳ１４においてリサイズされた各サブカラー画像に対応した楕円２５０を示している。実際、画像が処理されるとき、領域外の画素が処理されないようにリサイズされたサブカラー画像とサブマップの端に行と列が追加されることが望ましい。画像の上下にはＰａｄ行が、左右にはＰａｄ列が追加される。
【００９０】
ここで、顔の形状を有するスキンカラー領域が特定されたとすると、候補となる赤目の位置が図１４において詳細に示されるステップＳ１６で特定される必要がある。図１４を参照するに、わずかな赤い特徴を特定するために、サブカラー画像２４０が処理される。ここでの処理は、ステップＳ１６ａにおける以下の式で与えられる画素値Ｘを有する新たな単一のバンド画像を定義することにより開始される。
【００９１】
Ｘ　＝　Ｒ　−　Ｍａｘ（Ｇ，　Ｂ）
ただし、Ｒ，　Ｇ，　Ｂはそれぞれサブカラー画像の赤、緑、青のコード値を表す。
【００９２】
この新たな画像において、赤目は瞳の輝きによる中央部に低いコード値を有する小さな領域を備えた高いコード値の小さな楕円領域として現れる。輝きによる影響は、例えば３×３カーネルのＷ＿ｃｌｏｓｅ×Ｗ＿ｃｌｏｓｅカーネルを利用したグレイスケールモルフォロジクロージング（ｍｏｒｐｈｏｌｏｇｉｃａｌ　ｃｌｏｓｉｎｇ）を実行することにより削除される。グレイスケールモルフォロジ演算に関しては、「Ｉｍａｇｅ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｔｈｅｍａｔｉｃａｌ　Ｍｏｒｐｈｏｌｏｇｙ，　Ｖｏｌｕｍｅ　１，　Ｊｅａｎ　Ｓｅｒｒａ，　Ａｃａｄｅｍｉｃ　Ｐｒｅｓｓ　（１９８２），　ｐｐ．４２４−４７８」に説明されている。
【００９３】
次に、ステップ」Ｓ１６ｄにおいて、高いコード値を有する小領域が、例えば５×５カーネルのＷ＿ｏｐｅｎ×Ｗ＿ｏｐｅｎカーネルを用いたグレイスケールモルフォロジオープニング操作により取り除かれる。ステップＳ１６ｄにおいて、オープンされた画像がクローズされた画像から差し引かれ、残差画像が形成される。この画像には、オープンされた画像にあったものでクローズされた画像になかったものが示される。すなわち、高いコード値を有する小領域がサブカラー画像のわずかな赤い特徴に対応している。次に、ステップＳ１６ｅにおいて、残差画像が以下に示されるカーネルを有する線形フィルタによりスムージングされる。
【００９４】
【数１７】

スムージングされた残差画像の各画素に対し、その画素を中心とする７×７のウィンドウが検討される。ステップＳ１６ｆにおいて、当該画素のコード値が５に設定された閾値Ｔｐｅａｋを以上で、かつウィンドウ内の他のすべての画素のコード値以上であれば、その画素はピーク（ｐｅａｋ）として分類される。図１５は、図１２のすべてのサブカラー画像に対するピーク２３７を示す。スムージングされた残差画像においてすべてのピークが検出された後、ステップＳ１６ｇにおいて各ピークが検討される。ある画素がピークとして分類され、この画素の西、北西あるいは北東方向の隣接画素もまたピークとして分類されれば、当該ピークはステップＳ１６ｈにおいて削除される。
【００９５】
ピークとして分類された画素は赤目の候補となる。しかしながら、ピークの位置は赤目ではなく瞳の中の輝きに一致している可能性がある。このため、ステップＳ１６ｉにおいてピークからの距離が２のＧｌｉｎｔＲａｄｕｓ内にある画素が検討される。赤目の候補画素は以下で定義される最大カラースコアＰ_{ｃｏｌｏｒ}を有する隣接画素にシフトされる。
【００９６】
次に、赤目画素候補が類似の色の連続画素領域を拡大するためのシード（ｓｅｅｄ）として使用される。この画素領域の画素数がＭｉｎＳｉｚｅより小さいか、あるいはＭａｘＳｉｚｅより大きいとき、この画素領域は赤目を生じるサイズではなく、赤目画素候補から除かれる。
【００９７】
上記処理により、ステップＳ１６ｋにおいて、各サブカラー画像に対して赤目画素の候補マップが生成される。図１３の楕円は潜在的に顔と特定された図１２の対応するサブカラー画像における領域の近似マップである。従って、楕円の内部の候補となる赤目画素のみが図１６に示される目検出の次の段階で考察される。
【００９８】
再び図９を参照するに、目を検出することの目的は、赤目画素の候補が本当に目の一部であるかを決定することにある。ステップＳ１８における目の検出には、カラー画像をモノトーン化したものが必要とされる。次の等式
【００９９】
【数１８】

を利用した緑画素コード値を変換することによりコントラストが上げられた後、カラー画像の緑バンドが利用される。ただし、Ｇは緑バンドのコード値、γは２．０に設定されたパラメータである。このカラー画像をモノトーン化したものは、ルミナンス画像（ｌｕｍｉｎａｎｃｅ　ｉｍａｇｅ）と呼ばれる。
【０１００】
目検出処理におけるステップＳ２０は、テンプレートマッチング処理に基づく。テンプレートとしては、任意の目の画像あるいは目の画像の任意の組み合わせが利用可能である。図１７に示される画像２６０は左目のテンプレートを示している。また画像２７０はこのテンプレートのゾーンへの分割を示している。ゾーン１は眉領域、ゾーン２と３はそれぞれ目の左側と右側、ゾーン４は瞳とアイリス（ｉｒｉｓ）を含んでいる。この目のテンプレートは、両目の間の距離が３０６画素のＴｅｍｐｌａｔｅＥｙｅＤｉｓｔａｎｃｅであって、かつこの両目の傾きがほぼ０である画像から取られたものである。上述のように、リサイズされたカラーサブ画像の赤目のペアは、ほほＡｉｍＥｙｅＤｉｓｔａｎｃｅ（７５画素）だけ離れているべきである。従って、テンプレートを適切なサイズにするために、一方の目が以下の式
【０１０１】
【数１９】

で与えられる係数によりリサイズされる。
【０１０２】
実際、楕円の短軸から顔の幅を推定することは、常に正確に行われるとは限らない。また目は傾いているかもしれない。このため前述の左目テンプレートとゾーンマップから始めて、ステップＳ２２において様々なサイズや向きをもつ左目、右目（左目のミラーイメージ）及びゾーンマップが生成される。オリジナルのアイテンプレートとゾーンマップは、ＳＳｔｅｐのインクリメントによりＳ_０×ＮａｒｒｏｗからＳ_０×Ｗｉｄｅにリサイズされる。Ｎａｒｒｏｗ，　Ｗｉｄｅ及びＳＳｔｅｐの好適な値はそれぞれ１．５、０．５０及び０．０５である。各リサイズ係数に対して傾きを調整するために、ステップＳ２２においてＴＳｔｅｐの角度のインクリメントで−ＭａｘＴｉｌｔ（時計回りに）ＭａｘＴｉｌｔの範囲で傾けられたテンプレートやゾーンマップが生成される。ＭａｘＴｉｌｔの好適な値は３０°であり、ＴＳｔｅｐの好適な値は２．０°である。
【０１０３】
図１６を参照するに、図９のステップＳ２０の詳細なフローチャートが示されている。ステップＳ２０ａにおいて左右の赤目ペアに属する赤目画素の候補のペアが検討される。ステップＳ２０ｂにおいて、オリジナルのアイテンプレートに対する目のスケールは候補となる赤目画素ペア間の距離と以下の等式によって関連付けられる。
【０１０４】
【数２０】

ただし、Ｌ_Ｐ（Ｒ_Ｐ）は左（右）赤目画素の候補の列、Ｌ_ｌ（Ｒ_ｌ）は左（右）赤目画素の候補の行を表す。（列番号は１から始まり左から右に増えていく。行番号は１から始まり上から下へ増えていく。）赤目画素間の傾きは以下の式により与えられる。
【０１０５】
【数２１】

上述のように、解像度ＳＳｔｅｐでのＳ_０×ＮａｒｒｏｗからＳ_０×Ｗｉｄｅの範囲のリサイズ係数と解像度ＴＳｔｅｐでの−ＭａｘＴｉｌｔからＭａｘＴｉｌｔまでの角度で、アイテンプレートとゾーンマップテンプレートが調整される。候補となる赤目画素のペアに対してＳ_ｐａｉｒとＴｉｌｔの値に最も近い左目アイテンプレート、右目アイテンプレート及びゾーンマップが以下の相関ステップにおいて利用される。もしＳ_ｐａｉｒとＴｉｌｔがこの範囲外にあるとき、このペアにはさらなるステップＳ２０ｃの処理が実行されない。
【０１０６】
あるアイテンプレートが選択された後、次のステップは赤目画素の周囲の領域が目にマッチしているかどうか判断される。この決定は、ステップＳ２０ｄにおいてルミナンス画像の候補となる左赤目画素の周囲の領域と左目アイテンプレートの相関と、候補となる右赤目画素の周囲の領域と右目アイテンプレートの相関とを実行することにより行われる。相関プロセスの１つのステップにおいて、テンプレートとルミナンス画像の画素をマッチさせ、それらのコード値の積を計算する。テンプレート画像の中心は、目の中心に対応している。候補となる赤目画素は接近しているが、必ずしも目の中心に位置しないので、この候補となる赤目画素の周囲の長さ３のＬｏｏｋＡｒｏｕｎｄ距離により画成される正方形の内部のすべての画素にマッチするテンプレートの中心との相互の関連付けを複数回実行する。この相互の関連付けは、テンプレートのゾーン１から４に対して別々に実行される（図１７参照）。これらの相関はＣｚ１，　Ｃｚ２，　Ｃｚ３及びＣｚ４と呼ぶことにする。さらに、全体の相関がゾーン１から４の和からなる領域に対し計算される。この全体の相関をＣと呼ぶことにする。最大の全体相関値Ｃを有する赤目画素の候補の周囲の正方形内の画素は、その赤目画素の候補を含む目の中心の最良の推定である。この画素をアイセンター画素と呼ぶことにする。左右両方の赤目画素候補がそのアイセンター画素を持っている。
【０１０７】
相関プロセスが以下で詳述される。テンプレート画像が関数Φ（ｐ，　ｌ）により表される。ただし、ｐは列番号、ｌは行番号を表す。テンプレートの列数と行数は、それぞれｗとｈにより表される。アイテンプレートの中心位置は、目の中心にほぼある。テンプレートのゾーンは以下で与えられる積Πを計算することによって、列ｐ_０と行ｌ_０におけるΓ（ｐ，　ｌ）によって表されるルミナンス画像と相互に関連付けされる。
【０１０８】
【数２２】

ただし、ｐ∈Ｚは列ｐがゾーンＺにあるということを意味し、ｌ∈Ｚは行ｌがゾーンＺにあるということを意味する。またＮ_ｚはゾーン内の画素数を表す。またゾーンＺにおけるテンプレートの以下の式で与えられる平均コード値も
【０１０９】
【数２３】

計算される。さらに、ゾーンＺにおけるテンプレートの標準偏差もまた以下の式に従って計算される。
【０１１０】
【数２４】

同様にして、
【０１１１】
【数２５】

を使ってゾーンＺのルミナンス画像の平均コード値と、
【０１１２】
【数２６】

を使ってその標準偏差が計算される。
【０１１３】
以上の式に従い計算された値を使って、ルミナンス画像とゾーンＺのテンプレートの相関が以下の式により求められる。
【０１１４】
【数２７】

画像とテンプレートのコード値がゾーンＺにおいて完全に一致しているとき、Ｃ_Ｚは１．０となる。一方、画像とテンプレートが完全に相関がないとき、Ｃ_Ｚは０となる。
【０１１５】
アイセンター画素に対してＣ，　Ｃ_ｚ１，　Ｃ_ｚ２，　Ｃ_ｚ３及びＣ_ｚ４の値は、ステップＳ２０ｅにおける赤目画素ペアの候補がサブカラー画像において赤目の一部となる確率を表すスコアの計算に使われる。各相関は、０．０から１．０までの対応するスコアリング関数の変数として使われる。例えば、ｐＣ（Ｃ）として表される全体の相関に関するスコアリング関数は、もしあるアイセンター画素に対するＣの値が当該画素が実際には目の中心にないということを示していれば、ｐＣ（Ｃ）　＝　０．０となる。一方、もしＣの値がテンプレートと目に関して典型的な相関関係を示す範囲にあれば、ＰＣ（Ｃ）　＝　１．０となる。それ以外では、ｐＣ（Ｃ）はそれらの中間の値をとる。スコアリング関数と以下で紹介される他のスコアリング関数が図１８に示される。
【０１１６】
候補となる赤目のペアに対する全体のスコアに後で結合されるスコアは、これらのスコアリング関数に基づき定義される。以下の等式により、全体の相関Ｃに関するスコアＰ_ｃｏｒｒは、
Ｐ_ｃｏｒｒ　＝　ｐＣ（Ｃ）
と定義される。
ゾーン相関に関するスコアＰ_ｚｏｎｅは、ゾーン相関スコアリング関数の加重平均である。ゾーン４（瞳）における相関は他のゾーンよりも目の存在を示すより信頼性の高いとして使われる。このため、ゾーン４は他のゾーンよりもより大きなウェイトが置かれる。典型的には、そのウェイトＷは６．０に設定される。このときＰ_ｚｏｎｅは以下の式によって与えられる。
【０１１７】
【数２８】

もしアイセンター画素における中心となるルミナンス画像の特徴が実際に目であるとき、全体の相関Ｃを求める過程において計算されるルミナンス画像の標準偏差
【０１１８】
【外４】

は適切な指標となる。例えば、もし
【０１１９】
【外５】

がかなり小さければ、この特徴はあまりに低いコントラストを有するので、目とは判断されない。これにより、
【０１２０】
【外６】

に関するスコアは以下の式により定義することにする。
【０１２１】
【数２９】

最終的に、候補となる赤目画素の色は実際の赤目を示しているに違いない。この計算のため、候補となる赤目画素の赤、緑および青のコード値が、明度（Ｌｕｍ）、色相（Ｈｕｅ）及び彩度（Ｓａｔ）の値に変換される。明度は以下のように計算される。
【０１２２】
【数３０】

明度Ｌｕｍの値は０から可能な最大コード値までの範囲をとる。彩度Ｓａｔは以下の式により求められる。
【０１２３】
【数３１】

彩度Ｓａｔは０から１００までの範囲をとる。色相については、「Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　Ｐｒｉｎｃｉｐｌｅｓ　ａｎｄ　Ｐｒａｃｔｉｃｅ　２ｎｄ　ｅｄ．，　Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃｏｍｐａｎｙ，　ｐａｇｅ　５９２」に記載の定義に従う。ここでは、赤が１２０°の色相角度にシフトされるという点が除かれる。色相Ｈｕｅの値は、０°から３６０°の範囲をとってもよい。候補となる赤目画素の色に関するスコアは、
Ｐ_{ｃｏｌｏｒ}　＝　ｐＬ（Ｌｕｍ）ｐＨ（Ｈｕｅ）ｐＳ（Ｓａｔ）
によって定義される。
【０１２４】
この結果、赤目画素の候補が実際に画像中の赤目の一部になっている確率を示すスコアＰ_ｅｙｅが求められる。このスコアは、
Ｐ_ｅｙｅ　＝　Ｐ_ｃｏｒｒＰ_ｚｏｎｅＰ_{ｓｉｇｍａ}Ｐ_{ｃｏｌｏｒ}
により定義される。この値は０．０から１．０の範囲をとる。スコアＰ_ｅｙｅはペアとなる赤目画素の候補の左右両方に対し計算される。この２つの値の平均は、
【０１２５】
【数３２】

により与えられる。Ｐ_ｐａｉｒが最大となる赤目画素の候補ペアを、ステップＳ２０ｆにおける赤目画素のベストの候補ペアと呼ぶことにする。もしＰ_ｐａｉｒが０．０５に設定された閾値ＭｉｎＥｙｅＳｃｏｒｅを上回れば、さらなる処理が実行される。一方、もしＰ_ｐａｉｒが０．０５に設定された閾値ＭｉｎＥｙｅＳｃｏｒｅを上回っていなければ、ステップＳ２０ｇにおいて赤目ペアは当該サブカラー画像には存在しないと判断される。
【０１２６】
検出された赤目ペアが人間の顔の領域にあることを保証することによって、赤目ペアの偽陽性検出を最小化することが重要である。本発明の好適な実施例では、図１におけるフェース検証３６がフェース検出器を検出された赤目ペアの周囲の領域に適用することにより実行される。もしフェース検出器が顔を検出すればこの赤目ペアは確定され、一方もし顔が検出されなければ、検出された赤目ペアは偽と判定され、削除される。人間の顔の検出に関しては、例えば、「”Ｆａｃｅ　Ｄｅｔｅｃｔｉｏｎ　ｉｎ　Ｓｔｉｌｌ　Ｇｒａｙ　Ｉｍａｇｅｓ”，　Ｂ．　Ｈｅｉｓｅｌｅ，　Ｔ．　Ｐｏｇｇｉｏ，　Ｍ．　Ｐｏｎｔｉｌ，　ＭＩＴ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　Ｌａｂ，　Ｍｅｍｏ　１６８７，　Ｍａｙ　２０００」あるいは米国特許第５，７１０，８３３号「”Ｄｅｔｅｃｔｉｏｎ，　ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　ｃｏｄｉｎｇ　ｏｆ　ｃｏｍｐｌｅｘ　ｏｂｊｅｃｔｓ　ｕｓｉｎｇ　ｐｒｏｂａｂｉｌｉｓｔｉｃ　ｅｉｇｅｎｓｐａｃｅ　ａｎａｌｙｓｉｓ”，　Ｍｏｇｈａｄｄａｍ　ａｎｄ　Ｐｅｎｔｌａｎｄ」のような従来技術が知られている。フェース検証３６に従い、赤目のリスト３８が生成され、赤目補正段階４０において赤目リストに関して補正が開始されてもよい。より望ましいかつ美しい瞳の色変換を行うために、黒のようなより自然な色に赤い画素を置き換えることにより補正が実行される。
【０１２７】
赤目ペアの存在を判断するより計算量の少ない方法では、図９のステップＳ２４において顔を２つに分ける直線に関して人間の顔はほぼ対称になるという事実を利用している。このため、赤目画素のベストな候補ペアを結ぶ直線の傾きが０になるようサブカラー画像が回転される。次に、このペアの中点を中心とする画像がサブカラー画像から抽出される。この画像は、横幅が赤目画素の候補ペア間の距離の１．５倍、縦が横幅の１／４のサイズをもつ。次に、この画像が半分に切断される。この左ハーフ画像はＥ^ｘ _ｌｅｆｔ（ｐ，　ｌ）と、右ハーフ画像はＥ^ｘ _{ｒｉｇｈｔ}（ｐ，　ｌ）と呼ばれる。ただし、上付き添え字ｘはカラー画像のバンドを表す。例えば、Ｅ^ｒ _ｌｅｆｔ（ｐ，　ｌ）は、画像の赤バンドを表す。右ハーフ画像における列は鏡像になるよう反転される（例えば、第１列が最終列になる）。Ｅ^ｘ _ｌｅｆｔ（ｐ，　ｌ）とＥ^ｘ _{ｒｉｇｈｔ}（ｐ，　ｌ）の相互の関連付けが、まず以下の式のような積の和を計算することにより実行される。
【０１２８】
【数３３】

ただし、ｐとｌはそれぞれハーフ画像の列と行を表し、上式での和はハーフ画像のすべての列と行に関して行われる。またＮはハーフ画像中の画素数を表す。このとき相関は以下の式により与えられる。
【０１２９】
【数３４】

ただし、Ｍ^ｘ _ｌｅｆｔとＭ^ｘ _{ｒｉｇｈｔ}はハーフ画像のバンドｘの平均コード値を、σ^ｘ _ｌｅｆｔとσ^ｘ _{ｒｉｇｈｔ}は標準偏差を表す。スコアＰ_ｓｙｍは対称スコアリング関数ｐＳｙｍ（Ｃ^ｘ _ｓｙｍ）に基づき、以下のように定義される。
【０１３０】
Ｐ_ｓｙｍ　＝　ｐＳｙｍ（Ｃ^ｒ _ｓｙｍ）ｐＳｙｍ（Ｃ^ｇ _ｓｙｍ）ｐＳｙｍ（Ｃ^ｂ _ｓｙｍ）
最終的なスコアＰは、以下で示されるＰ_ｓｙｍとＰ_ｐａｉｒの積となる。
【０１３１】
Ｐ　＝　Ｐ_ｓｙｍＰ_ｐａｉｒ
もし０．０から１．０までの値をとりうるこのスコアが０．０５に設定された閾値ＭｉｎＳｃｏｒｅ以上であれば、ステップＳ２６において候補となる赤目画素ペアはリサイズされたサブカラー画像において赤目不良ペアの位置を表しているとみなされる。
【０１３２】
最終的にステップＳ２８において、オリジナルカラー画像の左右の赤目不良の位置が、リサイズされたサブカラー画像の左右の赤目画素の候補の位置に基づき、以下の式を使って計算される。
【０１３３】
【数３５】

【０１３４】
【数３６】

ただし、ｐとｌはリサイズされたサブカラー画像における左の候補となる赤目画素の列と行をそれぞれ表し、ｐ’とｌ’はオリジナルカラー画像における対応する位置を表す。
【０１３５】
２つの異なるスキンカラー領域は、楕円に適合された後、重なり合ったり、あるいは接近することがある。その結果、同一の赤目ペアが２回検出されたり、あるいは２つの赤目ペアが互いに接近し過ぎて赤目として検出されなかったりすることがある。このため、カラー画像中のすべての赤目ペアの位置が確定された後、任意の２つの赤目ペアが２０画素分に設定されたＭｉｎＩｎｔｅｒｐａｉｒＥｙｅＤｉｓｔａｎｃｅ以下しか間隔がないかどうか判定される。もしペア間の間隔がＭｉｎＩｎｔｅｒｐａｉｒＥｙｅＤｉｓｔａｎｃｅ以下しかなければ、ステップＳ３０においてスコアの小さいペアが削除される。
【０１３６】
本発明は、人間の顔や赤目以外のオブジェクト、例えば、馬の検出に適用可能である。「”Ｂｏｄｙ　Ｐｌａｎｓ”，　Ｆｏｒｓｙｔｈ　ａｎｄ　Ｆｌｅｃｋ，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　１９９７」において、デジタル画像における馬検出システムが提案されている。このシステムは、色とテクスチャ基準を利用して、画像を馬領域の候補にセグメント化し、関連する幾何学的推論をサポートするいわゆる「ボディープラン」を利用して、拡大されたセグメントや領域を組み合わせる。このボディープランは本質的に馬体の位相モデルである。この馬検出システムの検出率は本発明により改善されうる。具体的には、ＦｏｒｓｙｔｈとＦｌｅｃｋにより提案されたシステムでは、オブジェクト特定セグメンテーションマップのみを用いているので、非オブジェクト特定セグメンテーションマップを付け加えることにより、馬に対応する領域が画像から適切に抽出される確率を、言い換えると正確に馬を検出する確率を高めることができる。色とテクスチャ基準を利用した非オブジェクト特定セグメンテーションマップは、色とテクスチャ性質の両方に基づいたセグメンテーション方法を利用して得ることができる（「”Ｍａｒｋｏｖ　Ｒａｎｄｏｍ　Ｆｉｌｅｄ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｕｎｓｕｐｅｒｖｉｓｅｄ　Ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　Ｔｅｘｔｕｒｅｄ　Ｃｏｌｏｒ　Ｉｍａｇｅｓ”，　Ｐａｎｊｗａｎｉ　ａｎｄ　Ｈｅａｌｅｙ，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　ｖｏｌ．　１７，　ｎｏ．　１０，　Ｏｃｔｏｂｅｒ　１９９５，　ｐｐ．　９３９−９５４」を参照）。顔の検出と同様に、馬の所定のボディープランに対するパターンマッチングのために併合されたセグメンテーションマップが利用されたり、２つのセグメンテーションマップを用いて馬が検出され、馬領域の完全な抽出と余分な検出の削除を行うため検出結果が併合される。
【０１３７】
本発明は、デジタル画像認識技術に関する。ここでのデジタル認識技術とは、認識すべきデジタル画像のデジタル処理技術を意味するものであり、人間が認識可能なオブジェクト、属性あるいは状態に有用な意味づけが行われる。
【０１３８】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、様々な変形及び変更が可能である。
【図面の簡単な説明】
【図１】図１は、本発明による好適な画像におけるオブジェクト検出技術を示すブロック図である。
【図２】図２は、本発明を実現するためのコンピュータシステムを示した図である。
【図３】図３は、図１に示された連続的なスキンカラー領域から構成されるカラーセグメンテーションマップの生成方法に関する詳細なフローチャートを示す図である。
【図４】図４は、図３に示されたカラーセグメンテーションマップ生成方法に従い生成されたカラーセグメンテーションマップを表した図である。
【図５Ａ】図５Ａは、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける適応型閾値の決定例を示す図である。
【図５Ｂ】図５Ｂは、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける適応型閾値の決定例を示す図である。
【図５Ｃ】図５Ｃは、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける適応型閾値の決定例を示す図である。
【図６】図６は、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおいて拡大する領域例を示す図である。
【図７】図７は、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける形状分解例を示す図である。
【図８】図８は、デジタル画像、非オブジェクト特定セグメンテーションマップ及びオブジェクト特定セグメンテーションマップの例を示す図である。
【図９】図９は、図１に示された赤目ペア分類器のソフトウェアプログラムのフローチャートを示す図である。
【図１０】図１０は、図４に示された連続的なカラー領域を詳細に示した図である。
【図１１】図１１は、図１０に示された連続的なカラー領域を適合させた楕円を示す図である。
【図１２】図１２は、リサイズされたフェース領域の候補を示す図である。
【図１３】図１３は、図１２に示された適合されたフェース領域の候補に対応するリサイズされた楕円を示す図である。
【図１４】図１４は、図９に示されたフローチャートにおける赤目候補を決定する部分の詳細なフローチャートを示す図である。
【図１５】図１５は、図１２の赤目不良の候補を示す図である。
【図１６】図１６は、図９に示されたフローチャートにおける赤目を決定する部分の詳細なフローチャートを示す図である。
【図１７】図１７は、アイテンプレートとゾーンマップを示す図である。
【図１８】図１８は、図９に示された赤目ペア分類器のスコアリング関数を示す図である。
【符号の説明】
１０　　入力画像
１２　　カラーセグメンテーションステージ
１４　　カラーセグメンテーションマップ
１６　　オブジェクト特定パス
１８　　オブジェクト特定セグメンテーションマップ
２０　　スキン画素検出ステージ
２２　　適応型判別ステージ
２４　　領域抽出ステージ
２６　　領域拡大ステージ
２８　　形状分解ステージ
３０　　併合ステージ
３２　　併合セグメンテーションマップ
３４　　赤目ペア分類器
３６　　フェース検証器
３８　　赤目リスト
４０　　赤目補正ステージ
１１０　　コンピュータシステム
１１２　　マイクロプロセッサベースユニット
１１４　　ディスプレイ
１１６　　キーボード
１１８　　マウス
１２０　　セレクタ
１２２、１３２　　ドライブ装置
１２４　　コンパクトディスク
１２６　　フロッピー（登録商標）ディスク
１２８　　プリンタ
１３０　　ＰＣカード
１３４　　デジタルカメラ
１３６　　スキャナ
１４０　　通信リンク

Claims

非オブジェクト特定基準に従ってデジタル画像の第１セグメンテーションマップを生成するステップ；
オブジェクト特定基準に従って前記デジタル画像の第２セグメンテーションマップを生成するステップ；及び
前記第１及び第２セグメンテーションマップを利用することにより、前記デジタル画像におけるオブジェクトを検出するステップ；
からなることを特徴とするデジタル画像におけるオブジェクト検出方法。
請求項１記載のオブジェクト検出方法であって、さらに、前記オブジェクトを検出するステップの前に、前記第１及び第２セグメンテーションマップを統合し、パターンマッチングを利用することにより前記統合されたセグメンテーションマップにおいてオブジェクトを検出するステップを備えることを特徴とする方法。
請求項１記載のオブジェクト検出方法であって、さらに、パターンマッチングを利用することにより前記第１及び第２セグメンテーションマップのそれぞれにおいてオブジェクトを検出するステップを備えることを特徴とする方法。
請求項１記載のオブジェクト検出方法であって、前記非オブジェクト特定基準はカラー同質性基準であり、前記オブジェクト特定基準はオブジェクト特定カラー類似性基準であることを特徴とする方法。
請求項４記載のオブジェクト検出方法であって、皮膚領域の検出に際し、前記カラー同質性基準及び前記オブジェクト特定カラー類似性基準の少なくとも一方はスキンカラーに関し、前記検出されたオブジェクトは検出スキンカラー領域であることを特徴とする方法。
請求項５記載のオブジェクト検出方法であって、さらに、前記検出スキンカラー領域において赤目を検出するステップを備えることを特徴とする方法。