JP2011511358A - 自動赤目検出 - Google Patents

自動赤目検出 Download PDF

Info

Publication number
JP2011511358A
JP2011511358A JP2010544931A JP2010544931A JP2011511358A JP 2011511358 A JP2011511358 A JP 2011511358A JP 2010544931 A JP2010544931 A JP 2010544931A JP 2010544931 A JP2010544931 A JP 2010544931A JP 2011511358 A JP2011511358 A JP 2011511358A
Authority
JP
Japan
Prior art keywords
red
face
eye
red eye
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010544931A
Other languages
English (en)
Inventor
ガーバッツ，マシュー，ディー
ユリチニー，ロバート，アラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2011511358A publication Critical patent/JP2011511358A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

入力イメージ20内の赤目候補領域24が判定される。この処理で１つ又は２つ以上の赤目計量値28の個々の組が赤目候補領域24の各々に関連付けされる。入力イメージ20内の顔候補領域30が確定される。この処理で１つ又は２つ以上の顔計量値34の個々の組が顔候補領域30の各々に関連付けされる。個々の結合計量ベクトル78が赤目候補領域24の各々に割り当てられる。結合計量ベクトル78は、赤目計量値28及び顔候補領域30のうちの選択された１つに関連付けされた顔計量値34の組から導出された計量値を含む。１つ又は２つ以上の赤目候補領域24は、赤目候補領域24に割り当てられた個々の結合計量ベクトル78に基づいて赤目アーチファクト又は非赤目アーチファクトとして分類される。
【選択図】図２

Description

赤目とは、フラッシュ照明を用いてカメラにより捕捉されたイメージに現れる人の瞳孔の不自然な赤みを帯びた色合いが出現することである。赤目は、フラッシュからの光が人の網膜の血管に反射してカメラに戻ることにより生じる。
赤目現象を低減させるために幾つかの技術が提案されてきた。レンズとフラッシュとの距離が小さなカメラのための一般的な赤目低減解決策は、イメージを露光し捕捉するための最終的なフラッシュが使用される前に１回又は２回以上の事前の露光フラッシュを使用することである。事前の露光フラッシュの各々は、人の瞳孔の大きさを小さくする傾向を有しており、それ故、最終的なフラッシュの光が人の網膜に反射してカメラにより捕捉される可能性が低くなる。一般に、事前露光フラッシュ技術は、典型的には赤目を低減させるだけであり解消させるものとはならない。
カラーイメージにおける赤目を検出し補正するために、多数のイメージ処理技術が提案されてきた。一般に、これらの技術は、典型的には、半自動的又は自動的なものである。半自動的な赤目検出技術は、人の入力に依存するものである。例えば、幾つかの半自動的な赤目検出システムでは、赤目を含むイメージ領域をユーザがシステムに対して手動で特定した後に、その欠陥を補正することが可能となる。多くの自動赤目低減システムは、赤目領域が検出される前の事前顔検出ステップに依存するものである。一般的な自動的な手法は、イメージ中の顔を検出し、次いで該検出された各顔内の目を検出する、というステップを伴うものである。目の位置が特定された後、検出された目の位置に対応するイメージ領域の形状、色合い、及び明るさに基づいて赤目が識別される。
一実施形態では、本発明は、入力イメージの処理方法を特徴とするものである。本発明の方法によれば、入力イメージ内の赤目候補領域が判定される。このプロセスでは、１つ又は２つ以上の赤目計量値(redeye metric values)からなる個々の組が前記赤目候補領域の各々に関連付けされる。入力イメージ中の顔候補領域が確定される。このプロセスでは、１つ又は２つ以上の顔計量値からなる個々の組が、顔候補領域の各々に関連付けされる。個々の結合計量ベクトルが、赤目候補領域の各々に割り当てられる。結合計量ベクトルは、赤目計量値の個々の組及び顔候補領域のうちの選択された１つに関連付けされた顔計量値の組から導出された計量値を含む。１つまたは２つ以上の赤目候補領域の各々は、該赤目候補領域に割り当てられた個々の結合計量ベクトルに基づいて赤目アーチファクト又は非赤目アーチファクトとして分類される。赤目候補領域のうち、赤目アーチファクトとして分類された少なくとも１つの赤目候補領域が補正される。
本発明はまた、上述の方法をコンピュータに実施させるコンピュータ読み取り可能な命令を格納した装置及びコンピュータ読み取り可能な媒体を特徴とするものである。
本発明の他の特徴及び利点は、図面及び特許請求の範囲を含む以下の記述から明らかとなろう。
赤目検出モジュール、顔検出モジュール、赤目分類モジュール、及び赤目補正モジュールを含む、イメージ処理システムの一実施形態のブロック図である。 イメージ処理方法の一実施形態のフローチャートである。 図１に示す赤目検出モジュールの一実施形態のブロック図である。 図１に示す顔検出モジュールの一実施形態のブロック図である。 １つのイメージ中の顔候補区画を評価するよう設計された図４に示す顔検出モジュールの一実施形態における単一分類ステージの一実施形態のブロック図である。 図１に示す赤目分類モジュールの一実施形態のブロック図である。 赤目分類方法の一実施形態のフローチャートである。 図６に示す結合計量マッピングモジュールの一実施形態のトレーニング方法のフローチャートである。 赤目分類方法の一実施形態のフローチャートである。 図９の方法で定義される分類空間の典型的な実例を示すベン図である。 一組の注釈付きトレーニングイメージ内で特定される顔領域内の赤目の解像度に依存しない位置のヒストグラムを示している。 一組の注釈付きトレーニングイメージ内で特定される顔領域内の赤目の解像度に依存しない位置のヒストグラムを示している。 図１の顔検出モジュールの一実施形態で使用されるイメージとその上部にある顔探索空間の説明図である。 図１に示すイメージ処理システムの埋め込み型の実施形態を含むプリンタシステムの説明図である。 図１に示すイメージ処理システムの一実施形態を含むディジタルカメラシステムの一実施形態のブロック図である。 図１に示すイメージ処理システムの一実施形態を実施するようプログラムすることができるコンピュータシステムの一実施形態のブロック図である。
以下の説明では、同様の符号は同様の要素を識別するために使用されている。更に、図面は、典型的な実施形態の主な特徴を図式的な態様で例示することを意図したものである。該図面は、実際の実施形態のあらゆる特徴や図示の要素の相対的な寸法を表現することを意図したものではなく、実際の縮尺通りには描かれていない。
I. 概要
本書で詳細に説明する実施形態は、イメージ中の赤目アーチファクトを検出することができるものである。これら実施形態は、赤目検出プロセス及び顔検出プロセスを両方とも活用して低い偽陽性率で赤目アーチファクトの正確な検出を達成するものである。このようにして、これら実施形態は、誤検出と検出されたアーチファクトとの間のより良好なトレードオフを達成する。加えて、これら実施形態は、顔検出要素の一層低い計算コストで実施することができる。処理資源及び記憶資源の効率的な使用に起因して、本書で説明する実施形態は、処理及び記憶上の大きな制限を受ける埋め込み環境といった適用環境を含む、様々な異なる適用環境で容易に実施することが可能である。
II. 用語の定義
本書で使用するとき、用語「特徴」とは、イメージ及び該イメージ自体の１つの特定の構造又は複数の構造に対して適用される全体的な近傍演算（特徴抽出又は特徴検出）の結果の一方又は両方を称するものである。該構造は典型的には、単純な構造（例えば複数の点及び縁）から一層複雑な構造（例えば複数の物体）にまで及ぶものである。
「特徴ベクトル」とは、１つのイメージ又は１つのイメージの一部（例えば該イメージの１つ又は２つ以上のイメージ形成要素）に関する情報を含む数値的な特徴値のＮ次元ベクトル（Ｎは２以上の整数値）である。
用語「イメージ形成要素」とは、１つのイメージの１つのアドレス指定可能な領域を称するものである。実施形態によっては、イメージ形成要素は、１つのイメージの最も小さなアドレス指定可能な単位である画素に対応するものである。各イメージ形成要素は、少なくとも１つの値をそれぞれ有し、該値は１又は２以上のビットにより表される。例えば、ＲＧＢ色空間内の１つのイメージ形成要素は、赤、緑及び青の各々についての個々の値を含み、その各値は、１又は２以上のビットにより表すことができる。
「イメージ領域」（「イメージ区画」とも称す）とは、１つのイメージの一部を形成する一組の隣接するイメージ形成要素を意味する。
用語「データ構造」とは、データが編成され格納される物理的レイアウト（又はフォーマット）を称するものである。
「コンピュータ」とは、機械読み取り可能な媒体上に一時的に又は永久的に格納された機械読み取り可能な命令（例えばソフトウェア）に従ってデータを処理する機械である。特定の作業を実行する一組のかかる命令は、プログラム又はソフトウェアプログラムと呼ばれている。
用語「機械読み取り可能な媒体」とは、機械（例えばコンピュータ）により読み取ることが可能な情報を保持することができるあらゆる媒体を称するものである。これら命令及びデータを実際に実施するのに適した記憶装置には、例えば、EPROM、EEPROM、及びフラッシュメモリデバイス等の半導体メモリデバイス、内蔵ハードディスク及びリムーバブルハードディスク等の磁気ディスク、光磁気ディスク、DVD-ROM/RAM、及びCD-ROM/RAMを含む（但しこれらには限定されない）、あらゆる形態の不揮発性のコンピュータ読み取り可能な記憶手段が含まれる。
III. 序論
図１は、赤目検出モジュール12、顔検出モジュール14、赤目分類モジュール16、及び赤目補正モジュール18を含むイメージ処理システム10の一実施形態を示している。動作時、イメージ処理システム10は、入力イメージ信号20を処理して赤目補正済み出力イメージ22を生成する。
該入力イメージ20は、イメージセンサ（例えば、ディジタルビデオカメラ、ディジタルスチルカメラ、又は光学スキャナ）により捕捉されたオリジナルイメージ（例えば、ビデオフレーム、スチルイメージ、又は走査イメージ）、又はかかるオリジナルイメージが処理された（例えば、ダウンサンプリング、フィルタリング、再フォーマット、シーン平衡化（scene-balanced）、又はそれら以外に画質向上もしくは修正が行われた）イメージを含む、あらゆるタイプのディジタルイメージに相当するものとすることが可能である。実施形態によっては、入力イメージ20は、オリジナルのフルサイズイメージであり、顔検出モジュール14は、該オリジナルのフルサイズイメージをダウンサンプリングしたものを処理し、赤目検出モジュール12及び赤目補正モジュール18の両者は、オリジナルのフルサイズイメージ20を処理する。
図２は、イメージ処理システム10により実施される方法の一実施形態を示している。
赤目検出モジュール12は、入力イメージ20中の赤目候補領域24を判定する（図２のブロック26）。このプロセスで、赤目検出モジュール12は、該赤目候補領域24の各々に、１つ又は２つ以上の赤目計量値28からなる組をそれぞれ関連付けする。赤目計量値28の各々は、個々の赤目候補領域が赤目アーチファクトに対応する度合いの個々の指示を提供する。実施形態によっては、前記赤目計量値28のうちの少なくとも１つは、関連付けされた赤目候補領域24が赤目アーチファクトに対応する信頼基準（例えば蓋然性）に対応し、その他の赤目計量値28のうちの１つ又は２つ以上は、関連付けされた赤目候補領域24が個々の赤目特徴を含むことの個々の指示を提供するものとなる。
顔検出モジュール14は、入力イメージ20中の顔候補領域30を確定する（図２のブロック32）。このプロセスでは、顔検出モジュール14は、顔候補領域30の各々に１つ又は２つ以上の顔計量値34の個々の組を関連付けする。該顔計量値34の各々は、個々の顔候補領域が顔に対応する度合いの個々の指示を提供する。実施形態によっては、顔計量値34のうちの少なくとも１つは、個々の顔候補領域30が顔に対応する信頼基準（例えば蓋然性）に対応し、その他の顔計量値34のうちの１つ又は２つ以上は、顔候補領域30が個々の顔特徴を含むことの個々の指示を提供するものとなる。
赤目分類モジュール16は、赤目候補領域24の各々に個々の結合計量ベクトルを割り当てる。該結合計量ベクトルは、赤目計量値28の個々の組及び顔候補領域30のうちの選択された１つに関連付けされた顔計量値の組から導出された計量値を含む（図２のブロック36）。赤目分類モジュール16はまた、赤目候補領域24の１つ又は２つ以上の各々を、該赤目候補領域に割り当てられた個々の結合計量ベクトルに基づいて、赤目アーチファクト又は非赤目アーチファクトとして分類する（図２のブロック38）。該赤目分類モジュール16は、分類結果40を赤目補正モジュール18へ送る。該分類結果40は、様々な異なるデータ構造形式（例えば、ベクトル、テーブル、又はリスト）で赤目補正モジュール18へ提示することが可能である。実施形態によっては、分類結果は、XML（eXtensible Markup Language）ファイル形式で機械読み取り可能な媒体に格納される。
分類結果40に基づいて、赤目補正モジュール18は、赤目アーチファクトとして分類された赤目候補領域24のうちの少なくとも１つを補正する（図２のブロック42）。イメージ処理システム10は、結果的に得られる出力イメージ22を出力する（例えば、出力イメージ22を揮発性又は不揮発性のコンピュータ読み取り可能な媒体上のデータベースに格納し、出力イメージ22を表示装置上に描画し、又は出力イメージ22を紙等の印刷媒体上に描画する）。
IV. イメージ処理システム及びその構成要素の典型的な実施形態
A. 概要
イメージ処理システム10は典型的には、１つ又は２つ以上の別個のデータ処理モジュール（又は構成要素）によって実施され、該データ処理モジュールは、如何なる特定のハードウェア、ファームウェア、又はソフトウェア構成にも限定されないものである。例えば、実施形態によっては、イメージ処理システム10は、プリンタ、イメージ・ビデオ記録・再生装置（例えば、ディジタルスチルカメラ及びビデオカメラ、VCR、及びDVR）、有料ビデオ番組のデコード及び再生を行うことができるケーブル又は衛星セットトップボックス、携帯型ラジオ及び衛星放送受信機、及び携帯型通信装置を含む、広範な電子装置のうちの任意の１つのハードウェア内に埋め込まれる。赤目検出モジュール12、顔検出モジュール14、赤目分類モジュール16、及び赤目補正モジュール18は、ディジタル電子回路（例えば、DSP（ディジタルシグナルプロセッサ）等のASIC（特定用途向け集積回路））内、又はコンピュータハードウェア、ファームウェア、デバイスドライバ、又はソフトウェア内を含む、あらゆるコンピューティング又はデータ処理環境において実施することが可能なデータ処理構成要素である。実施形態によっては、これらのデータ処理構成要素12-18の機能が組み合わされて単一のデータ処理構成要素にされる。実施形態によっては、これらデータ処理構成要素12-18の個々の機能は、複数のデータ処理構成要素からなる個々の組によって実行される。
実施形態によっては、イメージ処理システム10により実行される方法を実施するための処理命令（例えば、コンピュータソフトウェア等の機械読み取り可能なコード）並びにそれが生成するデータは、１つ又は２つ以上の機械読み取り可能な媒体に格納される。これらの命令及びデータを実際に実施するのに適した記憶装置には、例えば、EPROM、EEPROM、及びフラッシュメモリデバイス等の半導体メモリデバイス、内蔵ハードディスク及びリムーバブルハードディスク等の磁気ディスク、光磁気ディスク、DVD-ROM/RAM、及びCD-ROM/RAMを含む、全ての形態の不揮発性のコンピュータ読み取り可能な記憶手段が含まれる。
B. 赤目検出モジュールの典型的な実施形態
上記で説明したように、赤目検出モジュール12は、入力イメージ20中の赤目候補領域24を判定するものである（図２のブロック26）。
図３は、赤目検出モジュール12（図１参照）の一実施形態44のブロック図である。赤目検出モジュール44は、初期候補検出モジュール46及び初期赤目候補検証モジュール48を含む。初期候補検出モジュール46は、入力イメージ20中の初期の一組の赤目候補領域24を識別する。実施形態によっては、初期候補検出モジュール46は、複数の異なる赤目カラーモデルを使用して複数の初期赤目候補領域50を識別し、該識別された領域を結合させて包括的な初期の一組の赤目候補領域50を生成する。初期赤目候補検証モジュール48は、初期の一組の赤目候補領域50から誤警報（すなわち、入力イメージ20中の実際の赤目アーチファクトに対応する可能性の低い初期赤目候補領域）をフィルタリングして赤目候補領域24を識別する。実施形態によっては、初期赤目候補検証モジュール48は、機械学習フレームワークを用いて初期赤目候補領域50が入力イメージ20中の実際の赤目に対応することを一層高い精度及び一層高い効率で検証するのと並行して複数の特徴の検討に基づいて初期赤目候補領域50を分類する。
初期候補検出モジュール46及び初期赤目候補検証モジュール48の構造及び動作に関する更なる詳細については、同時係属中の米国特許出願第10/653,019号（2003年8月29日出願）から得ることができる。
実施形態によっては、赤目検出モジュール44はバウンディングボックスのリストという形で赤目候補領域24を出力する。該バウンディングボックスの各々は、検出された赤目候補領域のそれぞれの境界を定めるものである。かかるバウンディングボックスの各々には、該バウンディングボックスにより境界が定められたイメージ区画が赤目アーチファクトを表す信頼基準（例えば蓋然性）、並びに信頼基準を集めたもの（その各々は、関連付けされたバウンディングボックス中に特定の赤目アーチファクト特徴が存在することの信頼性を示すものである）を表す赤目計量値の個々の特徴ベクトルが、関連付けされる。１つの典型的な表現では、I(x,y)は、入力イメージ20中の位置(x,y)におけるイメージ形成要素（すなわち、赤目検出モジュール12により出力されるバウンディングボックスの索引）を意味し、赤目候補領域の総数がAにより与えられる。各赤目候補バウンディングボックスの隅を表す座標は、それぞれ(xa TL,ya TL)及び(xa BR,ya BR)（TLは左上を示し、BRは右下を示す）により与えられる。信頼基準（又は格付け）はcaにより示され、特徴ベクトルはVa=[va 1,va 2,...,va N]により示される。実施形態によっては、赤目検出モジュール44は、信頼性の格付けcaを、実験的に決定されたしきい値Tartifactと比較して、対応するイメージ区画を赤目候補領域24として又は非赤目領域として分類すべきか否かを決定する。
ｃ. 顔検出モジュールの典型的な実施形態
上記で説明したように、顔検出モジュール14は、入力イメージ20中の顔候補領域30を確定する（図２のブロック32）。
以下は、顔検出モジュール14が入力イメージ20（図１参照）中の顔候補領域30を確定する方法の一実施形態の擬似コード表現である。
Figure 2011511358
この実施形態では、顔検出モジュール14は、上記擬似コード中の「width」及び「height」にそれぞれ対応する幅及び高さを有する入力イメージ20中の各位置(x,y)に位置する正方形の「size（サイズ）」×「size（サイズ）」境界ボックス内の顔候補領域を探す。このプロセスは、異なるサイズの正方形の境界ボックスについて繰り返される。
図４は、顔検出モジュール14の一実施形態52のブロック図である。この顔検出モジュール52は、カスケード54をなす複数の分類ステージ（C1,C2,...,Cn （nは２以上の整数値））（本書では「分類手段」とも称す）、顔蓋然性生成手段56、及び顔分類モジュール57を含む。動作時、分類ステージの各々が、入力イメージ20から導出されたイメージ区画58を、イメージ区画58の１つ又は２つ以上の顔特徴（「属性」とも称す）から計算された判別基準に基づいて顔分類（Yes）又は非顔分類（No）へと分類する、二値判別関数を実行する。各分類ステージの判別関数は典型的には、単一の姿勢又は顔の外観における顔（例えば、直立した正面顔）を検出するよう設計される。カスケード54により生成された評価結果に応じて、顔蓋然性生成器56は、各イメージ区画58にそれぞれの顔蓋然性値59を割り当てる。顔分類モジュール57は、割り当てられた顔蓋然性値59を、実験的に決定された顔しきい値Tfaceと比較して、イメージ区画58を顔候補領域30又は非顔領域として分類するか否かを決定する。
カスケード54の各分類ステージCiは、それぞれのしきい値ti（i = 1,...,n）により制御されるそれぞれの分類境界を有している。対応するしきい値に対する計算された判別基準の値は、各分類ステージによりイメージ区画46が分類されることになる分類を決定するものとなる。例えば、イメージ区画58について計算された判別基準が、ある分類ステージのしきい値を超えている倍には、該イメージ区画58は顔分類（Yes）へと分類され、一方、該計算された判別基準が該しきい値未満である場合には、該イメージ区画58は非顔分類（No）へと分類される。このようにして、顔検出モジュール52は、イメージ区画評価プロセスを部分的に介してイメージ区画58を排除し、該イメージ区画評価プロセスにおいて、「顔」として分類された区画の集団は、該評価が続行されるにつれて、徐々に入力イメージの顔領域に対応する可能性がより一層高くなっていく。顔蓋然性生成器56は、前記評価プロセスの出口点を用いて、ある区画が顔であることの信頼性の基準を導出する。
図５は、分類カスケード54の一実施形態における単一の分類ステージ62の典型的な実施形態を示している。この実施形態では、イメージ区画58は一組の特徴定義64に従って特徴空間内に投じられる。イメージ区画58は、特徴重みを計算する必要がある入力イメージ20から導出された入力イメージ画素の色値やその他の情報を含む、入力イメージ20の領域に関するあらゆる情報を含む。各特徴は、所定の規則によって定義され、該規則は、一組の特徴64が広がる特徴空間内のイメージ区画の表現に対する特徴の寄与に相当する、該イメージ区画について個々の重み（w0,w1,...,wL）を計算し又は測定する方法を記述したものである。１つのイメージ区画について計算された一組の重み（w0,w1,...,wL）は、特徴ベクトル66を構成する。該特徴ベクトル66は分類ステージ62へ入力される。分類ステージ62は、イメージ区画58を一組の顔候補領域62又は一組の非顔領域70に分類する。イメージ区画58が顔領域30として分類された場合、該イメージ区画58は次の分類ステージへ送られ、該次の分類ステージが異なる判別関数を実行する。
実施形態によっては、分類ステージ62は、次式（１）により規定される判別関数を実行する。
Figure 2011511358
ここで、uはイメージ区画58に対応する値を含み、glは分類ステージ62が対応する（次式により規定される）しきい値関数hl(u)に対して適用する重みである。
Figure 2011511358
変数plは＋１又は−１という値であり、関数wl(u)は特徴ベクトル66の特徴を計算するための評価関数である。
分類カスケード42の構成及び動作に関する更なる詳細は、米国特許第7,099,510号及び同時係属中の米国特許出願第11/754,711号（2007年5月29日出願）から得ることができる。
実施形態によっては、イメージ区画58の各々は、異なる個々の顔外観を評価するよう構成された少なくとも２つの並列な分類カスケードを介して送られる。かかる実施形態のうちの幾つかは、Jones及びViolaの「Fast Multi-view Face Detection（高速マルチビュー顔検出）」（三菱電気研究所、MERLTR2003-96、2003年7月）で説明されている（2003年6月、コンピュータ映像及びパターン認識に関するIEEE会議でも発表されている）マルチビュー顔検出方法のうちの１つ又は２つ以上に従って実施される。
実施形態によっては、顔検出モジュール52は、検出された顔候補領域30の各々の境界をそれぞれ定めるバウンディングボックスのリストという形で顔候補領域30を出力する。各々のかかるバウンディングボックスには、該バウンディングボックスが顔を表すものであることの信頼基準（例えば蓋然性）、並びに（顔に関する特定の特徴が関連するバウンディングボックス中に存在することの信頼性を各々が示す）信頼基準を集めたものを表す顔計量値の個々の特徴ベクトル30が関連付けされる。典型的な一表現では、I(x,y) が位置 (x,y) におけるイメージ形成要素を意味し、fが顔検出モジュール14により出力されたバウンディングボックスを索引付けし、顔候補領域の総数がFにより与えられる。各顔候補バウンディングボックスの隅を表す座標は、(xf TL,yf TL) 及び (xf BR,yf BR) によりそれぞれ与えられる。信頼基準（又は格付け）は cf で表され、特徴ベクトルは vf = [vf 1,vf 2,...,vf M] で表される。I(x,y) 内に顔候補領域が全く検出されない場合には、顔検出モジュール52は、cf = 0 及び vf = [0,...,0]に設定する。これらの実施形態では、顔分類モジュール57は、顔しきい値Tfaceに対する関連する信頼基準cfの個々の比較に基づいて各イメージ区画58の分類を決定する。
実施形態によっては、顔しきい値Tface及び赤目アーチファクトしきい値Tartifactの値は、顔検出モジュール14により返された顔候補領域と重複する赤目検出モジュール14により返された全ての赤目アーチファクトを集めたものがおおよそ等しい数の検出及び誤検出を有するように設定される。
D. 赤目分類モジュールの典型的な実施形態
上記で説明したように、赤目分類モジュール16は、赤目候補領域24の各々にそれぞれの結合計量ベクトルを割り当てる。該結合計量ベクトルは、個々の組の赤目計量値28と顔候補領域30のうちの選択された１つに関連付けされた一組の顔計量値34とから導出された計量値を含む。
図６は、赤目分類モジュール16（図１参照）の一実施形態72を示している。該赤目分類モジュール72は、結合計量ベクトル生成モジュール74及び結合計量ベクトルマッピングモジュール76を含む。結合計量ベクトル生成モジュール74は、赤目検出モジュール12から赤目計量値28を受容し、顔検出モジュール14から顔計量値34を受容し、赤目検出モジュール12から赤目候補領域24を受容し、顔検出モジュール14から顔候補領域30を受容して、赤目候補領域24の各々毎に結合計量ベクトル78を生成する。結合計量ベクトルマッピングモジュール76は、結合計量ベクトル生成モジュール74から結合計量ベクトル78を受容する。受容したデータに基づき、結合計量ベクトルマッピングモジュール76は、赤目候補領域のうちの１つ又は２つ以上の各々を赤目アーチファクト分類80及び非赤目アーチファクト分類82の一方に分類する。
図７は、赤目分類モジュール72により実施される赤目分類方法の一実施形態を示している。
図７の実施形態によれば、赤目候補領域24の各々毎に（図７のブロック84）、結合計量ベクトル生成モジュール74が顔候補領域30のうちの個々の１つを選択する（図７のブロック86）。該選択された顔候補領域30は典型的には、入力イメージ20中の個々の赤目候補領域24の最も近くに位置する顔候補領域30（例えば、最も近くの隣接する顔候補領域30又は重複する顔候補領域30）である。
赤目候補領域24の各々毎に（図７のブロック84）、結合計量ベクトル生成モジュール74は、赤目計量値28の個々の組及び選択された顔候補領域30に関連付けされた一組の顔計量値34から個々の結合計量ベクトル78を導出する（図７のブロック88）。実施形態によっては、結合ベクトル生成モジュール74は、各赤目候補領域24毎に、結合索引 j = (a,f) により索引付けされた個々の結合ベクトル vj fusion = [ca va cf vf] を形成する。
結合計量ベクトルマッピングモジュール76は、結合計量ベクトル78の各々を、赤目アーチファクト分類80又は非赤目アーチファクト分類82の何れかにマッピングする（図７のブロック90）。一般に、結合計量ベクトルマッピングモジュール76は、様々な異なる方法で結合計量ベクトルを分類することが可能である。実施形態によっては、結合計量ベクトルマッピングモジュール76は、機械学習分類プロセスに基づいて結合計量ベクトル78を分類する。別の実施形態では、結合計量ベクトルマッピングモジュール76は、規則に基づく分類プロセスを用いて結合計量ベクトル78を分類する。
以下は、上記表記法を用いた図９の方法の擬似コードによる記述である。
１）各アーチファクト毎に、fにより索引付けされた最も近接する顔を見つけて、結合索引 j = (a,f) 及び結合ベクトル vj fusion = [ca va cf vf] を形成する。I(x,y)内で顔が検出されなかった場合には、cf = 0 及び vf = [0,...,0]に設定する。
２）機械学習アルゴリズムを使用して、各結合ベクトルvj fusionを、赤目アーチファクト又は非赤目アーチファクトに関連するものとして分類する。
３）赤目アーチファクトに関連する全ての索引jについて、{(xa TL,ya TL),(xa BR,ya BR)}により指定される範囲内の I(x,y) の画素を補正する。
図８は、結合計量マッピングモジュール76の機械学習ベースの実施形態のトレーニング方法の一実施形態を示している。
図８の実施形態によれば、赤目検出モジュール12及び顔検出モジュール14（図１参照）は、一組のトレーニングイメージ92を処理して、赤目候補領域24及び関連する赤目計量値の個々の組、並びに顔候補領域14及び関連する顔計量値の個々の組を生成する。検出された赤目候補領域24の各々が、（専門家（又は管理者）により手作業でラベル付けされた）トレーニングイメージ92中に含まれる一組の赤目アーチファクト領域と比較されて、各候補が赤目アーチファクト（陽性試料）又は非赤目アーチファクト（陰性試料）を表すか判定される（ステップ94）。結合計量ベクトル生成モジュール74（図６参照）は、赤目検出モジュール12及び顔検出モジュール14から受容した出力データを処理して、陽性試料及び陰性試料の両方について結合計量ベクトル78の個々の組を生成する（図８のブロック96,98）。結果的に得られるトレーニングデータ100,102が、結合計量ベクトルマッピングモジュール76のトレーニングを行うために、機械学習モデル104へ送られる。実施形態によっては、機械学習モデル104は、特徴の選択及び結合計量ベクトルマッピングモジュール76のトレーニングを同時に行う。典型的な一実施形態では、機械学習モデル104は、AdaBoost機械学習技術（例えば、Y. Freund 及び R. Schapire の「A short introduction to boosting」（日本AI学会誌、771-780頁、1999年）を参照）に基づくものとなる。特徴集合の設計が与えられると、AdaBoostベースの機械学習モデルは、特徴選択及び分類トレーニングを同時に実行する。結合計量マッピングモジュール76のトレーニングの更なる詳細は、同時係属中の米国特許出願第10/653,019号（2003年8月29日出願）に記載されている単眼分類エンジン148をトレーニングするプロセスになぞらえて得ることができる。
図９は、結合計量マッピングモジュール76により実施される方法の規則に基づく実施形態の一例を示している。赤目候補領域24の各々毎に（図９のブロック110）、ca ＞ Tstrong である場合（図９のブロック112）、結合計量ベクトルマッピングモジュール76は、赤目候補領域24を赤目アーチファクトとして分類する（図９のブロック114）。ca ≦ Tstrong 且つ Tstrong ＞ ca ＞ Tartifact であり、及び赤目候補領域24が顔候補領域30のうちの１つと一致する（すなわち重複する）場合（図９のブロック116）には、結合計量ベクトルマッピングモジュール76は、赤目候補領域24を赤目アーチファクトとして分類する（図９のブロック114）。それ以外の場合には、結合計量ベクトルマッピングモジュール76は、赤目候補領域24を非赤目アーチファクトとして分類する（図９のブロック118）。この実施形態では、信頼基準しきい値 Tstrong は典型的には、 Tartifact よりも大きな値を有し、及び誤検出率と赤目アーチファクト検出率との間で良好なトレードオフを生成するよう実験的に決定される。
以下は、上述した表記法を用いた図９の方法の擬似コードによる記述である。
ａ）ca ＞ Tstrong である場合、赤目アーチファクトとして分類してｄ）へ進む。
ｂ）(Tstrong ＞ ca ＞ Tartifact) 且つ {(xa TL,ya TL),(xa BR,ya BR)}が或るfについて {(xf TL,yf TL),(xf BR,yf BR)} と重複する場合、赤目アーチファクトとして分類してｄ）へ進む。
ｃ）非赤目アーチファクトとして分類する。
ｄ）ステップａ）へ戻る。
図１０は、図９の方法で定義される分類空間の典型的な一例を示すベン図である。特に、図９の方法は、探索空間を一組120の赤目有力候補領域（すなわち、ca＞Tstrong の場合）、一組122の非有力赤目候補領域（すなわち、Tstrong＞ca＞Tartifact の場合）、及び一組124の顔候補へと分割する。赤目分類手段により赤目アーチファクトとして「強く」分類されたアーチファクト、又は赤目アーチファクトと見なされ及び顔候補領域と重複するアーチファクトのみが、赤目アーチファクトとして分類される。それらを収集したものが、図１０で太線で囲んだ部分に対応する。このような機構を用いる結果として、検出された顔の外側で赤目を発見できるだけでなく誤検出の少ない検出器が得られる。この種の決定構造に基づき、顔検出を高速化するための幾つかの方法が存在する。これについては第V節で説明する。
E. 赤目補正モジュールの典型的な実施形態
上述のように、赤目補正モジュール18は、赤目アーチファクトとして分類された複数の赤目候補領域のうちの少なくとも１つを補正する（図２のブロック42）。赤目補正モジュール18は、様々な異なる態様で赤目補正を行うことが可能である。
実施形態によっては、赤目補正モジュール18は、R. Ulichney 及び M. Gaubatz の「Perceptual-Based Correction Of Photo Redeye」（2005年 第７回 信号及びイメージ処理に関するIASTED国際会議の議事録）に記載されているような１つ又は２つ以上の赤目補正方法に従って１つ又は２つ以上の赤目候補領域を補正する。かかる実施形態では、赤目補正モジュール18は、補正すべき各赤目アーチファクトの領域を識別する。このプロセスでは、赤目補正モジュール18は、（1） 識別された領域を不飽和状態にし（de-saturate）、(2) 入力領域平均輝度Yavgを目標平均輝度F(Yavg) へと変換するマッピングに従って平均領域輝度に値を設定する。目の微妙な輝度構造を維持するために、当所の平均輝度に対する目標輝度の比が、各赤目輝度値に乗算される。
不飽和状態にすること及び輝度を調節することの両方について補正を漸減させて、目における人工的なハードエッジ（ごつごつとした縁部）の導入を回避することも重要である。目の領域の直径Dの10％にわたる漸減が良い結果を達成することが分かった。実施形態によっては、赤目補正モジュール18は、補正のために識別された赤目アーチファクトの領域に対して漸減補正マスクを適用する。該漸減マスクの値は、典型的には [0,1] の範囲内にある。典型的な一実施形態では、pは、単一位置における漸減マスクの値を表す。この値は、所与の方式に従って画素のクロミナンス又は輝度が低減されることになるパーセンテージを表すものである。Y、Cb 及び Cr は、識別された領域内の当所の画素値である。この画素についての修正されたクロミナンス値Cb' 及び Cr' に関する方程式は次のように与えられる。
Cb' = (1-p) * Cb
Cr' = (1-p) * Cr
Yは一画素の輝度を表し、Yavgは、検出されたアーチファクトにすぐ隣接する全ての画素についての平均画素輝度（ディジタルカウント）を表している。調節された画素輝度Y' は次式で与えられる。
Y' = (1-p) * Y + p * f (Yavg) / Yavg * Y
ここで、f (Yavg) = 0.167 * Yavg + 11.523 である。従って、この方程式は次のように書き直すことができる。
Y' = (1-p) * Y + p * (0.167 + 11.523 / Yavg) * Y
別の実施形態では、赤目補正モジュール18は、同時係属中の米国特許出願第10/653,019号（2003年8月29日出願）に記載されている複数の赤目補正方法のうちの１つ又は２つ以上に従って、１つ又は２つ以上の赤目候補領域を補正する。
V. 顔検出モジュールの代替的な実施形態
顔検出モジュール14の計算効率を改善することができる幾つかの方法が存在する。
実施形態によっては、赤目検出モジュール12の検出結果を利用して、顔検出モジュール14が、イメージ処理システム10の全体的な赤目検出性能に僅かな影響を与えるだけで、精度低下モードで動作することを可能にする。詳細には、顔検出モジュール14は、入力イメージ20をダウンサンプリングしたものについて実行される。かかる実施形態によっては、顔検出モジュール14は、入力イメージ20をダウンサンプリングして、入力イメージ20を低解像度化したものを生成し、該低解像度化した入力イメージ20中の赤目候補領域を検出する。計算及び記憶上のオーバーヘッドの削減はさておき、顔検出の実行に先立つイメージのダウンサンプリングによる効果は、dX,dY に１よりも大きな値を設定するのと同様である（第V.C節に記載する擬似コードを参照のこと）。
実施形態によっては、入力イメージ20のうち顔検出モジュール14が適用される領域（すなわち検出器が「顔を探す」領域）は、座標{(xa TL,ya TL),(xa BR,ya BR)} を含む領域に制限される。すなわち、かかる実施形態では、顔検出モジュール14は、入力イメージ20のうち、赤目候補領域24の個々の座標を含む領域のみにおいて、顔候補領域30を判定する。このようにして、顔検出モジュール14の計算要件が低減される。
上記段落で説明した実施形態の幾つかでは、顔検出のための探索空間は、殆どの目／赤目アーチファクトが概して顔内の副領域内に生じるという観察結果に基づいて（図２参照）、各顔候補バウンディングボックスの副領域が赤目候補領域24の座標を含む領域へと更に縮小される。かかる実施形態では、顔検出モジュール14は、入力イメージ20のうち赤目候補領域24の個々の座標を含む領域であって、顔候補領域30の一部のみを区切る個々のスライドウィンドウの位置によって境界が定められた領域内のみ、顔候補領域30の各々を探索する。かかる実施形態は、一例としての一組の注釈付きイメージから判定された、顔内の赤目アーチファクトのうち解像度に依存しない場所のヒストグラムを示す図１１Ａ及び図１１Ｂを参照して説明することができる。アーチファクトはかなり広範囲の位置で生じるが（図１１Ａ参照）、それらは概して、垂直方向の狭い領域内で生じ（図１１Ｂ参照）、その殆どは顔の総面積の１／３の範囲内で生じる。第IV.C節で上述した顔検出方法の修正版の擬似コード表現を以下に示す。この表現では、phigh 及び plow は、顔バウンディングボックスの上部から該顔バウンディングボックス内における目が通常現れることになる垂直方向の位置までの相対的な距離を意味している。
Figure 2011511358
図１２は、上述した異なる顔検出方法で必要とされる顔検出探索空間を対比したものである。通常動作時に（第IV.C節で記載した擬似コード参照）、現在のスケールで顔を検出するために、顔検出モジュール14は、入力イメージ全体132内の破線の矩形130の大きさを有するあらゆる区画を評価する必要がある。該破線の矩形130は、顔候補ウィンドウを表しており、実線134,136は、そのウィンドウ内の、殆どの赤目アーチファクトが上記観察結果に従って生じる領域の境界を定めるものである。最適化された場合（上記段落に記載した擬似コード参照）、顔検出モジュール14は、イメージ全体132ではなく、破線の外側矩形138内の各区画だけ探索すればよい。これは、検出された（強くない）赤目アーチファクトが上側の実線134と下側の実線136との間で破線の矩形130内の領域と重複することになるのが該矩形138内のみだからである。結合計量ベクトルマッピングモジュール76の規則に基づく実施形態で与えられる判定基準を用いることにより、「強い」赤目アーチファクト（例えば、検出された赤目アーチファクト139）は、重複する顔候補領域が検出されたかどうかにかかわらず、自動的に有効なアーチファクトと見なされる。
VI. イメージ処理システム及びそれに関連する適用環境の典型的なアーキテクチャ
A. 第１の典型的なイメージ処理システムアーキテクチャ及び適用環境
図１３は、本書で説明した検出及び補正の実施形態に関する典型的な適用環境140を示している。ディジタルカメラ142（例えば、Hewlett-Packard Company(Palo Alto, California, USA)から入手できるHP(登録商標)PHOTOSMART(登録商標)ディジタルカメラ）は、光景のイメージを捕捉し、該捕捉したイメージをメモリカード144（例えば、SD（Secure Digital）又はMMC（MultiMedia Card））上に格納する。該メモリカード144は、イメージ処理システム10の埋込型の実施形態を含むプリンタシステム148（例えば、Hewlett-Packard Company(Palo Alto, California, USA)から入手できるPHOTOSMART(登録商標)プリンタ）のスロット146にプラグインすることが可能である。プリンタシステム148は、メモリカード144上に格納されている入力イメージに対応するデータにアクセスし、該入力イメージ中の赤目を自動的に検出して補正し、それに対応する出力イメージ22のハードコピー150をプリントする。実施形態によっては、プリンタシステム148は、補正後のイメージ22のプレビューを表示し、該補正後のイメージ22をプリントする前にプリント処理へ進むことのユーザ確認を待つ。
B. 第２の典型的なイメージ処理システムアーキテクチャ及び適用環境
図１４は、イメージ処理システム10の一実施形態を含むディジタルカメラシステム152の一実施形態を示している。該ディジタルカメラシステム152は、スチルイメージ及びビデオイメージフレームの一方又は両方を捕捉するよう構成することが可能である。該ディジタルカメラシステム152は、イメージセンサ154（例えば、CCD（Charge Coupled Device）又はCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサ）、センサコントローラ156、メモリ158、フレームバッファ160、マイクロプロセッサ162、ASIC（Application-Specific Integrated Circuits）164、DSP（Digital Signal Processor）166、I/O（入出力）アダプタ168、及び記憶媒体170を含む。イメージセンサ154から出力される値は、例えば、０（消灯）から255又は4095（最大輝度）の範囲の値を有する8ビット数又は12ビット数とすることが可能である。一般に、イメージ処理システム10は、１つ又は２つ以上のハードウェア及びファームウェア要素により実施することが可能である。図示の実施形態では、イメージ処理システム10は、メモリ158内にロードされるファームウェアで実施される。記憶媒体170は、コンパクトフラッシュメモリカード及びディジタルビデオカセットテープを含む、あらゆるタイプのイメージ記憶技術により実施することが可能である。該記憶媒体170に格納されたイメージデータは、I/Oサブシステム168を介して外部処理システム（例えば、コンピュータ又はワークステーション）の記憶装置（例えば、ハードディスクドライブ、フロッピーディスクドライブ、CD-ROMドライブ、又は不揮発性データ記憶装置）へ伝送することが可能である。
マイクロプロセッサ162は、本書で説明するイメージ処理方法に従った、イメージセンサ154により捕捉された入力イメージの処理を含む、ディジタルカメラシステム152の動作を構成する。しかし、赤目アーチファクトの検出及び補正を行う前に、マイクロプロセッサ162は典型的には、イメージセンサ154により捕捉されたイメージデータについて、デモザイク処理、色補正、及びイメージ圧縮のうちの１つ又は２つ以上を含む様々な処理を実行するように、プログラムされる。マイクロプロセッサ162は典型的には、結果的に得られる赤目補正後の出力イメージ22について１つ又は２つ以上の記憶動作及び１つ又は２つ以上の伝送動作を含む様々な動作を実行するようにプログラムされる。
C. 第３の典型的なイメージ処理システムアーキテクチャ及び適用環境
図１５は、イメージ処理システム10の一実施形態を包含するコンピュータシステム180の一実施形態を示している。該コンピュータシステム180は、演算処理装置182（CPU）、システムメモリ184、及び該演算処理装置182を該コンピュータシステム180の様々な構成要素へ接続するシステムバス186を含む。システムメモリ184は典型的には、コンピュータシステム180及びRAM（Random Access Memory）のための起動ルーチンを含むBIOS（Basic Input/Output System）を格納したROM（Read Only Memory）を含む。システムバス186は、メモリバス、周辺機器用バス、又はローカルバスとすることが可能であり、及びPCI、VESA、μチャネル、ISA、及びEISAを含む様々なバスプロトコルのうちの任意のプロトコルと互換性のあるものとすることが可能である。コンピュータシステム180はまた、システムバス186に接続された持続性記憶手段188（例えば、ハードドライブ、フロッピードライブ、CD-ROMドライブ、磁気テープドライブ、フラッシュメモリ装置、及びディジタルビデオディスク）を含み、該持続性記憶手段188は、データ、データ構造、及びコンピュータ実行可能命令のための不揮発性又は持続性の記憶手段を提供する１つ又は２つ以上のコンピュータ読み取り可能な媒体ディスクを含む。
ユーザは、１つ又は２つ以上の入力装置190（例えば、キーボード、マウス、マイク、ジョイスティック、及びタッチパッド）を使用してコンピュータシステム180と対話する（例えば、コマンド又はデータを入力する）ことが可能である。情報は、ディスプレイコントローラ184によって制御されるディスプレイモニタ192上でユーザに対して表示されるグラフィカルユーザインタフェイス（GUI）を介して提示することが可能である。コンピュータシステム180はまた、典型的には、スピーカ及びプリンタといった周辺出力装置を含む。ネットワークインタフェイスカード（NIC）196を介して１つ又は２つ以上のリモートコンピュータをコンピュータシステム180に接続することが可能である。
図１２に示すように、システムメモリ184はまた、イメージ処理システム10の一実施形態、GUIドライバ198、及びデータベース200を格納し、該データベース200は、入力イメージ20及び赤目補正後の出力イメージ22に対応するイメージファイル、中間処理データ、及びその他のデータを含む。実施形態によっては、イメージ処理システム10は、GUIドライバ198及びユーザ入力190と連動して、入力イメージ20について実行される赤目補正動作を制御する。実施形態によっては、コンピュータシステム180は、ディスプレイモニタ192上にイメージデータを描画し、及び入力イメージ20及び赤目補正後の出力イメージ22のうちの一方又は両方について様々なイメージ処理を実行するよう構成された、グラフィクスアプリケーションプログラムを更に含む。
VI. 結び
本書で詳細に説明した実施形態は、イメージ中の赤目アーチファクトを検出することができるものである。これらの実施形態は、赤目検出及び顔検出プロセスの両方を利用して、低い誤検出率で、赤目アーチファクトの正確な検出を達成する。このようにして、これらの実施形態は、誤検出と検出されるアーチファクトとの間の一層良好なトレードオフを達成する。更に、これらの実施形態は、顔検出構成要素の計算コストを低減させて実施することができる。本書で説明した実施形態は、処理資源及び記憶資源を効率的に使用するものであるため、処理及び記憶上の大きな制約を受ける埋め込み型環境等の適用環境を含む様々な異なる適用環境で容易に実施することが可能である。
その他の実施形態は、特許請求の範囲に含まれるものである。

Claims (20)

  1. 機械により実施される入力イメージ（20）の処理方法であって、
    入力イメージ（20）内の赤目候補領域（24）を判定し、該判定ステップが、該赤目候補領域（24）の各々に１つ又は２つ以上の赤目計量値（28）からなる個々の組を関連付けすることを含み、
    前記入力イメージ（20）内の顔候補領域（30）を確定し、該確定ステップが、該顔候補領域（30）の各々に１つ又は２つ以上の顔計量値（34）からなる個々の組を関連付けすることを含み、
    前記赤目候補領域（24）の各々に個々の結合計量ベクトル（78）を割り当て、該結合計量ベクトル（78）が、前記赤目計量値（28）の個々の組及び前記顔候補領域（30）のうちの選択された１つに関連付けされた前記顔計量値（34）の組から導出された計量値を含み、
    １つまたは２つ以上の前記赤目候補領域（24）の各々を、該赤目候補領域（24）に割り当てられた個々の前記結合計量ベクトル（78）に基づいて、赤目アーチファクト又は非赤目アーチファクトとして分類し、
    赤目アーチファクトとして分類された前記赤目候補領域（24）のうちの少なくとも１つを補正する、
    という各ステップを含む方法。
  2. 前記赤目計量値（28）の各々が、個々の前記赤目候補領域（24）が赤目アーチファクトに対応する度合いの指示をそれぞれ提供し、前記顔計量値（34）の各々が、個々の前記顔候補領域（30）が顔に対応する度合いの指示をそれぞれ提供する、請求項１に記載の方法。
  3. 前記判定ステップが、前記赤目候補領域（24）の各々に、該赤目候補領域（24）が赤目アーチファクトに対応する信頼基準に対応する前記赤目計量値（28）をそれぞれ関連付けするステップを含む、請求項２に記載の方法。
  4. 前記判定ステップが、前記赤目候補領域（24）の各々に、該赤目候補領域（24）が赤目特徴を含むことの指示を提供する赤目計量値（28）をそれぞれ関連付けするステップを含む、請求項２に記載の方法。
  5. 前記確定ステップが、前記顔候補領域（30）の各々に、該顔候補領域（30）が顔に対応する信頼基準に対応する顔計量値（34）をそれぞれ関連付けするステップを含む、請求項２に記載の方法。
  6. 前記確定ステップが、前記顔候補領域（30）の各々に、該顔候補領域（30）が顔特徴を含むことの指示を提供する顔計量値（34）をそれぞれ関連付けするステップを含む、請求項２に記載の方法。
  7. 前記割り当てステップが、前記赤目候補領域（24）の各々毎に、
    前記顔候補領域（30）のうちの１つを選択し、
    一組の前記赤目計量値（28）と前記選択された顔候補領域（30）に関連付けされた一組の顔計量値（34）とから結合計量ベクトル（78）を導出する、
    という各ステップを含む、請求項１に記載の方法。
  8. 前記選択ステップが、前記入力イメージ（20）内の前記赤目候補領域（28）の最も近くに位置する顔候補領域（30）を選択するステップからなる、請求項７に記載の方法。
  9. 前記分類ステップが、前記結合計量ベクトル（78）の各々を赤目アーチファクト分類又は非赤目アーチファクト分類へとマッピングするステップを含む、請求項１に記載の方法。
  10. 前記結合計量ベクトル（78）の各々が、個々の赤目候補領域（24）が赤目アーチファクトに対応する度合いを指示する赤目信頼基準値と、前記選択された顔候補領域（30）が顔に対応する度合いを指示する顔信頼基準値と、それぞれの赤目候補領域（28）がそれぞれの赤目特徴を含むことのそれぞれの指示に対応する少なくとも１つの計量値と、前記選択された顔候補領域（30）がそれぞれの顔特徴を含むことのそれぞれの指示に対応する少なくとも１つの計量値とを含む、請求項９に記載の方法。
  11. 前記マッピングステップが、結合計量ベクトル（78）のうち第１のしきい値を超える赤目蓋然性値を含むものを赤目アーチファクト分類にマッピングするステップを含む、請求項１０に記載の方法。
  12. 前記マッピングステップが、関連付けされた前記顔候補領域（30）と重複する前記赤目候補領域（24）であって第１のしきい値と該第１のしきい値よりも小さい第２のしきい値との間の赤目蓋然性値を含む前記赤目候補領域（24）に関連付けされた前記結合計量ベクトル（78）の各々を赤目アーチファクト分類にマッピングするステップを含む、請求項１１に記載の方法。
  13. 前記確定ステップが、前記入力イメージ（20）をダウンサンプリングして該入力イメージ20を低解像度化したものを生成し、該低解像度化した入力イメージ20中の赤目候補領域（24）を検出する、という各ステップを含む、請求項１に記載の方法。
  14. 前記確定ステップが、前記入力イメージ（20）のうち、前記赤目候補領域（30）の各々の座標を含む領域内でのみ、前記顔候補領域（30）を判定するステップを含む、請求項１に記載の方法。
  15. 前記確定ステップが、前記入力イメージ（20）のうち、前記赤目候補領域（24）の各々の座標を含む領域であって、前記顔候補領域（30）の一部のみを区切る個々のスライドウィンドウの位置によって境界が定められた領域内でのみ、前記顔候補領域（30）の各々を判定するステップを含む、請求項１４に記載の方法。
  16. 入力イメージ（20）を処理するための装置であって、
    メモリ（184）と、
    該メモリ（184）に接続された処理装置（182）とを含み、
    該処理装置（182）が、
    入力イメージ（20）内の赤目候補領域（24）を判定し、該判定ステップにおいて、前記処理装置（182）が、該赤目候補領域（24）の各々に１つ又は２つ以上の赤目計量値（28）からなる個々の組を関連付けするステップからなる操作を実行するよう動作することが可能であり、
    前記入力イメージ（20）内の顔候補領域（30）を確定し、該確定ステップにおいて、前記処理装置（182）が、該顔候補領域（30）の各々に１つ又は２つ以上の顔計量値（34）からなる個々の組を関連付けするステップからなる操作を実行するよう動作することが可能であり、
    前記赤目候補領域（24）の各々に個々の結合計量ベクトル（78）を割り当て、該結合計量ベクトル（78）が、前記赤目計量値（28）の個々の組及び前記顔候補領域（30）のうちの選択された１つに関連付けされた前記顔計量値（34）の組から導出された計量値を含み、
    １つまたは２つ以上の前記赤目候補領域（24）の各々を、該赤目候補領域（24）に割り当てられた個々の前記結合計量ベクトル（78）に基づいて、赤目アーチファクト又は非赤目アーチファクトとして分類し、
    赤目アーチファクトとして分類された前記赤目候補領域（24）のうちの少なくとも１つを補正する、
    という各ステップからなる操作を実行するよう動作することが可能なものである、入力イメージ（20）を処理するための装置。
  17. 前記赤目計量値（28）の各々が、個々の赤目候補領域（24）が赤目アーチファクトに対応する度合いの個々の指示を提供し、前記顔計量値（34）の各々が、個々の顔候補領域（30）が顔に対応する度合いの個々の指示を提供する、請求項１６に記載の装置。
  18. 前記割り当てステップにおいて、前記処理装置（182）が、前記赤目候補領域（24）の各々毎に、
    前記顔候補領域（30）のうち１つを選択し、
    前記赤目計量値（28）の個々の組及び前記選択された顔候補領域（30）に関連付けされた前記顔計量値（34）の組から個々の結合計量ベクトル（78）を導出する、
    という各ステップからなる操作を実行するよう動作することが可能である、請求項１６に記載の装置。
  19. 前記確定ステップにおいて、前記処理装置（182）が、前記赤目候補領域（24）それぞれの座標を含む前記入力イメージ（20）の領域のみにおいて前記顔候補領域（30）を判定するステップからなる操作を実行するよう動作することが可能である、請求項１６に記載の装置。
  20. コンピュータ読み取り可能な命令を格納したコンピュータ読み取り可能な媒体（188）であって、該コンピュータ読み取り可能な命令が、
    入力イメージ（20）内の赤目候補領域（24）を判定し、該判定ステップが、該赤目候補領域（24）の各々に１つ又は２つ以上の赤目計量値（28）からなる個々の組を関連付けすることを含み、
    前記入力イメージ（20）内の顔候補領域（30）を確定し、該確定ステップが、該顔候補領域（30）の各々に１つ又は２つ以上の顔計量値（34）からなる個々の組を関連付けすることを含み、
    前記赤目候補領域（24）の各々に個々の結合計量ベクトル（78）を割り当て、該結合計量ベクトル（78）が、前記赤目計量値（28）の個々の組及び前記顔候補領域（30）のうちの選択された１つに関連付けされた顔計量値（34）の組から導出された計量値を含み、
    １つまたは２つ以上の前記赤目候補領域（24）の各々を、該赤目候補領域（24）に割り当てられた個々の結合計量ベクトル（78）に基づいて、赤目アーチファクト又は非赤目アーチファクトとして分類し、
    赤目アーチファクトとして分類された前記赤目候補領域（24）のうちの少なくとも１つを補正する、
    という各ステップからなる操作をコンピュータ（180）に実行させるものである、コンピュータ読み取り可能な媒体（188）。
JP2010544931A 2008-02-01 2008-02-01 自動赤目検出 Pending JP2011511358A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/001380 WO2009096920A1 (en) 2008-02-01 2008-02-01 Automatic redeye detection

Publications (1)

Publication Number Publication Date
JP2011511358A true JP2011511358A (ja) 2011-04-07

Family

ID=40913066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010544931A Pending JP2011511358A (ja) 2008-02-01 2008-02-01 自動赤目検出

Country Status (6)

Country Link
US (1) US8446494B2 (ja)
EP (1) EP2238744A4 (ja)
JP (1) JP2011511358A (ja)
KR (1) KR20100124738A (ja)
CN (1) CN101983507A (ja)
WO (1) WO2009096920A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170332B2 (en) * 2009-10-07 2012-05-01 Seiko Epson Corporation Automatic red-eye object classification in digital images using a boosting-based framework
US20120008856A1 (en) * 2010-07-08 2012-01-12 Gregory Robert Hewes Automatic Convergence Based on Face Detection for Stereoscopic Imaging
US9721160B2 (en) 2011-04-18 2017-08-01 Hewlett-Packard Development Company, L.P. Manually-assisted detection of redeye artifacts
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US8594453B2 (en) 2011-08-18 2013-11-26 Hewlett-Packard Development Company, L.P. Method of robust alignment and payload recovery for data-bearing images
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
US8244061B1 (en) * 2011-10-10 2012-08-14 Doug Carson & Associates, Inc. Automated detection of source-based artifacts in an information signal
US8433143B1 (en) 2012-01-04 2013-04-30 Doug Carson & Associates, Inc. Automated detection of video artifacts in an information signal
US9129185B1 (en) * 2012-05-21 2015-09-08 The Boeing Company System and method for reducing image clutter
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
CN106462736B (zh) * 2014-08-07 2020-11-06 华为技术有限公司 用于人脸检测的处理设备和方法
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
US10585902B2 (en) * 2016-05-24 2020-03-10 International Business Machines Corporation Cognitive computer assisted attribute acquisition through iterative disclosure
US10410091B2 (en) * 2017-08-10 2019-09-10 International Business Machines Corporation Detecting artifacts based on digital signatures
US11204896B2 (en) 2017-08-18 2021-12-21 International Business Machines Corporation Scalable space-time density data fusion
US11360970B2 (en) 2018-11-13 2022-06-14 International Business Machines Corporation Efficient querying using overview layers of geospatial-temporal data in a data analytics platform

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003109006A (ja) * 2001-09-03 2003-04-11 Agfa Gevaert Ag 写真画像データにおける赤目欠陥の自動識別方法
JP2004348733A (ja) * 2003-05-19 2004-12-09 Fuji Photo Film Co Ltd デジタル画像における赤目領域の検出方法及び装置
JP2005267512A (ja) * 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2005286830A (ja) * 2004-03-30 2005-10-13 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置、およびプログラム
JP2005293096A (ja) * 2004-03-31 2005-10-20 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2005322220A (ja) * 2004-04-06 2005-11-17 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2006018805A (ja) * 2004-06-02 2006-01-19 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2006285944A (ja) * 2004-08-11 2006-10-19 Fuji Photo Film Co Ltd 被写体の構成要素を検出する装置および方法
WO2007057064A1 (en) * 2005-11-18 2007-05-24 Fotonation Vision Limited Two stage detection for photographic eye artifacts
JP2008022502A (ja) * 2006-07-14 2008-01-31 Canon Inc 撮像装置、撮像方法、撮像プログラム及び画像処理装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432863A (en) 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US20020191877A1 (en) 1997-04-16 2002-12-19 Hironori Suzuki Rolling bearing unit with shield plate
US6009209A (en) 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6292574B1 (en) 1997-08-29 2001-09-18 Eastman Kodak Company Computer program product for redeye detection
US6016354A (en) 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
US6678827B1 (en) * 1999-05-06 2004-01-13 Watchguard Technologies, Inc. Managing multiple network security devices from a manager device
US6873743B2 (en) 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US20040184670A1 (en) * 2002-02-22 2004-09-23 Nick Jarman Detection correction of red-eye features in digital images
US7155058B2 (en) * 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye
US20040196503A1 (en) 2003-04-07 2004-10-07 Eastman Kodak Company Index print having a correction indicator thereon and a method of making the index print
US7116820B2 (en) 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US7333653B2 (en) * 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
US7376270B2 (en) * 2003-12-29 2008-05-20 Canon Kabushiki Kaisha Detecting human faces and detecting red eyes
US20050276481A1 (en) 2004-06-02 2005-12-15 Fujiphoto Film Co., Ltd. Particular-region detection method and apparatus, and program therefor
JP4378258B2 (ja) * 2004-10-14 2009-12-02 富士フイルム株式会社 画像補正装置およびその制御方法
KR100727935B1 (ko) * 2005-05-24 2007-06-14 삼성전자주식회사 이미지 보정 방법 및 장치
US20080170778A1 (en) * 2007-01-15 2008-07-17 Huitao Luo Method and system for detection and removal of redeyes
EP2145288A4 (en) * 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
US8031961B2 (en) * 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
KR100894485B1 (ko) * 2007-07-06 2009-04-22 캐논 가부시끼가이샤 촬상장치 및 그 제어방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003109006A (ja) * 2001-09-03 2003-04-11 Agfa Gevaert Ag 写真画像データにおける赤目欠陥の自動識別方法
JP2004348733A (ja) * 2003-05-19 2004-12-09 Fuji Photo Film Co Ltd デジタル画像における赤目領域の検出方法及び装置
JP2005267512A (ja) * 2004-03-22 2005-09-29 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2005286830A (ja) * 2004-03-30 2005-10-13 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置、およびプログラム
JP2005293096A (ja) * 2004-03-31 2005-10-20 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2005322220A (ja) * 2004-04-06 2005-11-17 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2006018805A (ja) * 2004-06-02 2006-01-19 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2006285944A (ja) * 2004-08-11 2006-10-19 Fuji Photo Film Co Ltd 被写体の構成要素を検出する装置および方法
WO2007057064A1 (en) * 2005-11-18 2007-05-24 Fotonation Vision Limited Two stage detection for photographic eye artifacts
JP2008022502A (ja) * 2006-07-14 2008-01-31 Canon Inc 撮像装置、撮像方法、撮像プログラム及び画像処理装置

Also Published As

Publication number Publication date
EP2238744A1 (en) 2010-10-13
US20110001850A1 (en) 2011-01-06
KR20100124738A (ko) 2010-11-29
US8446494B2 (en) 2013-05-21
EP2238744A4 (en) 2011-08-03
WO2009096920A1 (en) 2009-08-06
CN101983507A (zh) 2011-03-02

Similar Documents

Publication Publication Date Title
JP2011511358A (ja) 自動赤目検出
US7953251B1 (en) Method and apparatus for detection and correction of flash-induced eye defects within digital images using preview or other reference images
US9619897B2 (en) Correction of blotches in component images
EP1918872B1 (en) Image segmentation method and system
US8605955B2 (en) Methods and apparatuses for half-face detection
JP2001309225A (ja) 顔を検出するためのカメラ及び方法
US20060280363A1 (en) Image processing apparatus and method, computer program, and storage medium
US8295637B2 (en) Method of classifying red-eye objects using feature extraction and classifiers
JP2007504719A (ja) 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法
JP2006285944A (ja) 被写体の構成要素を検出する装置および方法
JP2005303991A (ja) 撮像装置、撮像方法、及び撮像プログラム
JP2005086516A (ja) 撮像装置、印刷装置、画像処理装置およびプログラム
JP5640621B2 (ja) 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置
US9070008B2 (en) Object recognition apparatus and dictionary data registration method
US8498496B2 (en) Method and apparatus for filtering red and/or golden eye artifacts
Rahman et al. Real-time face-priority auto focus for digital and cell-phone cameras
US7796827B2 (en) Face enhancement in a digital video
JP5509621B2 (ja) 画像処理装置、カメラおよびプログラム
JP2004199200A (ja) パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム
Rahman et al. Real-time face-based auto-focus for digital still and cell-phone cameras
JP2003208615A (ja) 画像処理装置、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120116

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121009