JP2007097178A - 顔検出による赤目の除去方法 - Google Patents

Abstract

【課題】自動的な顔検出に基づく赤目除去方法を提供する。
【解決手段】赤目除去方法は、３つのステップを備える解決方法を採用する。まず１つ目のステップとして、機械学習計算方法による学習を経た顔分類器と、肌色情報とに基づいて写真中の顔領域を検出する。次に、２つ目のステップとして、顔領域の赤色度合い分布に基づいて、典型的な赤目と弱赤目とに分類し、分類に基づいて、検出した顔領域の赤目領域を検出する。最後に、３つ目のステップとして、検出した赤目領域の色彩の修正と周辺との平滑化を行って、修正後の写真を正常な色彩に戻す。
【選択図】図１

Description

本発明は、デジタル画像処理方法に関し、特にデジタル画像において撮影中に発生した赤目現象を検出し修正する方法に関する。

赤目現象は、カメラがフラッシュモードで人物写真を撮った時に、写真中の人物の瞳の部分に赤又は黄色又は金色の斑点が現れることを言う。比較的光が暗い環境下では瞳孔が大きく開くため、近距離からのフラッシュの強い光が大きく開いた瞳孔を通り、網膜の後ろにある毛細血管組織で反射して赤い光を戻す。これが、具体的に結像した写真における赤目を引き起こす原因である。

赤目は、主に、周囲の明るさ、被写体の年齢、フラッシュによる光がレンズに反射する角度、及び特定の人や人種の影響を受ける。赤目は、瞳の全体を占め赤色になる場合と、瞳の一部分だけに現れ金色になる場合とがある。赤目の原因に基づいて、例えば、周囲を明るくする、外付けのフラッシュ発光装置を使用する、被写体との間の距離を短くする、被写体にカメラのレンズを直視させない等、いろいろと赤目の影響を除去する方法がある。赤目除去機能を有するカメラは少なくなく、その赤目除去の方式は、結像のためのフラッシュ発光の直前に、一度フラッシュ発光を行い、被写体の瞳孔を直前のフラッシュ発光後に縮小させることにより、結像時の赤目効果を軽減させる。しかし、この機能は、往々にして赤目現象の完全な除去を確保することが出来ない。そのうえ、被写体は直前のフラッシュ発光時にカメラを直視する必要があり、小さい子供は注意力を集中できずに予期する効果を達成できないことがしばしばある。

デジタル映像技術の進歩に伴い、デジタル写真が伝統的なフィルム写真に取って代わる傾向がある。写真のデジタル化は、撮影や保存を便利にした上、結像後の写真の修正を可能にした。そのため、近年来、既にデジタル画像処理技術による赤目除去方法がいくつか提案されている。

特許文献１は、それぞれの検出条件に基づいて、画像中の肌色画素、白色画素、及び赤色画素を検出し、赤目画素候補の周辺領域内における肌色画素と白色画素の各個数によって赤色画素候補の周辺を目と判断し、赤色画素が赤目を構成すると判断し、その後赤目画素の彩度を下げて赤目修正を行う方法を開示する。
中国特許出願第２００４１００８７９８７．１号明細書

しかし、特許文献１の方法は、カラー情報に基づいて赤目除去処理が行われる。カラー情報に基づく方法は実使用において効果が不安定である。照明が良くない写真においては、赤目の検出漏れがよくある。赤目が検出された写真について同一の処理が行われるので、効果が十分でないことがある（特に赤目が金色に近い時）。

本発明は、かかる技術的な不足及び欠陥に対して、顔検出に基づく赤目除去方法を提供する。本発明は、高速の顔検出方法を使用し、赤目の検索範囲を絞り、瞳の色を修正する。人手による処理が無くても、デジタル画像中の赤目を精度良く検出し修正することが出来る上、画像処理の速度も向上させることが出来る。

上述の目的を実現させるため、本発明は、３つのステップを備える解決方法を採用する。まず１つ目のステップとして、機械学習計算方法による学習を経た顔分類器と、肌色情報とに基づいて写真中の顔領域を検出する。次に、２つ目のステップとして、顔領域の赤色度合い分布に基づいて、典型的な赤目と弱赤目とに分類し、分類に基づいて、検出した顔領域の赤目領域を検出する。最後に、３つ目のステップとして、検出した赤目領域の色彩の修正と周辺との平滑化を行って、修正後の写真を正常な色彩に戻す。

赤目除去方法において、まず写真内の顔を検出するので、赤目検出範囲を小さくすることが出来、赤目の大体のサイズも分かるため、検出が高速に且つ正確に行われる。

そのなかで、顔分類器は、機械学習方法を採用し、矩形特徴に基づいて大量の顔に関するグレー画像パターンを学習してから得たものである。この顔候補領域の検出の計算方法は安定性が高く、他の顔検出方法に比べて処理速度が速い。

顔分類器においては、グレー画像を使って顔候補領域の検出が行われ、カラー画像を使って肌色画素の判断を更に行って顔候補領域の中から顔領域が判別される。そのため、対応するグレー画像中の誤った顔候補領域が顔領域の候補から排除される。各種の色モデルにおいて、ＨＳＶ色空間は色彩の色調（Ｈ）、彩度（Ｓ）、明度（Ｖ）の三要素で色を表現しており、人の目が色を識別する特徴を表しているので、肌色領域の表現と分析に比較的適している。一般的なデジタル写真は通常ＲＧＢ色空間或いはＹＣｂＣｒ色空間で色を表しており、肌色判別においてＨＳＶ色空間に変換してから処理を行う必要がある。しかし、肌色の特性は、照明条件に大きく影響され、照明が強い環境或いは弱い環境で取得した顔領域に対して直接肌色判定を行うと、よく検出漏れが発生する。肌色判定の前に検出領域に対して照明補償を行うと、肌色判定中の検出漏れの確率を低くすることが出来る。

顔領域において赤目を検出するのに最も重要なのは色彩の情報である。赤目のある写真が容易に判別されるのは、瞳領域に出来た赤色斑点と普通の瞳の色彩の認識とに大きな差があるからである。それゆえ、色調は赤目判別のための重要な手掛かりとなる。なお、赤目現象において、写真の中で赤い円形をして、瞳領域を殆ど占める赤目と、写真の中で形状が不定で、瞳領域の一部分を占める赤目とがあり、前者はその赤色の色調が純であり、後者は色彩が往々にして黄色気味で或いは暗く、赤色の色調が前者ほど純ではない。前者は、よく白色人種を被写体にした場合や明るい環境下で発生し、後者は、よく白色人種以外の人種を被写体にした場合や暗い環境下で発生する。ここで、前者を典型的な赤目と、後者を弱赤目と区別し、赤目検出ステップにおいて、これらに対応した処理が行われる。

検出された顔は四角形の枠で囲まれ、瞳の位置は顔に対して固定されるので、顔枠の中の一定範囲について赤目を検出すればよい。この限定範囲（一定範囲）を瞳周辺領域とする。四角形の枠の中に背景があって、その背景に赤色領域があると、赤目検出に影響を受けることが考えられる。しかし、赤目の検出範囲が小さくされた後、赤色領域の赤目検出への影響は避けられる。

赤目の位置が確定されると、赤目修正処理によって赤目画素の色彩値を調整し、正常な色に回復させる。修正処理において最も重要なのは赤すぎる瞳の赤みを修正することである。ＲＧＢ空間の中で、赤色はＲチャネルの値で表され、赤目修正のためにＲＧＢ空間の中でＲチャネルの調整をすることは、簡単で且つ直接的な方法である。しかし、Ｒチャネルの値のみを修正することは往々にして十分でない。ＧチャネルとＲチャネルの値の差は比較的大きく、Ｒチャネルの値だけを低くすると、修正後の赤目領域が緑或いは青に偏ったりすることがあるからである。そのため、Ｒチャネルを減色させる処理と同時に、ＧチャネルやＢチャネルの値を適当に調整する必要がある。また、赤目画素を修正した後、修正された領域の境界は周囲の画素と異なるため、修正後の赤目領域の境界が不自然に見えることがある。従って、適当な平滑化処理を行う必要がある。

従来技術に比べると、本発明が提示する赤目除去方法は、顔領域内の赤目領域を検出することで、検出捜査の範囲（赤目検出の範囲）を大幅に減少させ、誤検出率を低くすることが可能になる。本発明が採用する顔検出方法は、他の従来の顔検出方法に比べて検出処理速度が早く、検出結果も安定的であり、それによって赤目修正処理全体の速度や安定性を確保することが出来る。これ以外にも、本発明は計算対象領域の赤色の色分布に基づいて２種類の赤目に区別するので、それぞれのタイプの赤目に対応してアルゴリズムの異なる条件下で赤目修正処理能力を向上させ、赤目領域の検出の正確性を向上させることが可能になる。

以下、本実施形態について、図を用いて説明する。

図１に示すように、本実施形態における赤目除去方法は、顔検出ステップ、赤目検出ステップ、及び赤目修正ステップの３つのステップを備える。

顔検出ステップは、顔分類器（顔候補領域検出）、肌色判別、及び照明補償の３つの部分を有する（図１、図２参照）。顔検出ステップが行われる前に、まず写真中の顔の方向を確認する必要があり、もし顔が横方向（顔と胴体が横向きに並ぶ状態）になっている場合は手動或いは自動で縦方向（顔が上、導体が下に並ぶ状態）に回転させる操作を行う必要がある。顔が縦方向にされ、カラー画像はグレー画像に変換される（ステップＳ１１）。顔分類器は、グレー画像中における１又は複数の顔候補領域を検出し、顔の位置を枠で表わす（ステップＳ１２）。その後、元の画像（カラー画像）で、対応する顔候補領域の中（顔位置を表した枠内）での肌色画素の数が求められ、この領域における肌色画素の数の割合が一定閾値（肌色判別閾値）ＴＨｓｋｉｎに達すると、この領域が顔領域であると判断される（ステップＳ１３、Ｓ１６）。そうでない場合には、この領域について照明補償が行われ（ステップＳ１４）、再び肌色画素が計算され顔領域であるか否かが判断される（ステップＳ１５）。

本実施形態における顔分類器の構成は、非特許文献１に基づいて、非特許文献２を改善することにより得られた顔検出方法を採用し、正面を向き且つ縦方向になっている顔を有効に検出する。
Ｖｉｏｌａ， Ｐ． ａｎｄ Ｊｏｎｅｓ， Ｍ．． Ｒｏｂｕｓｔ ｒｅａｌ−ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ． Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ２００１／１， Ｃｏｍｐａｑ Ｃａｍｂｒｉｄｇｅ Ｒｅｓｅａｒｃｈ Ｌａｂ， ２００１． Ｌｉｅｎｈａｒｔ， Ｒ． ａｎｄ Ｍａｙｄｔ， Ｊ．． Ａｎ ｅｘｔｅｎｄｅｄ ｓｅｔ ｏｆ Ｈａａｒ−ｌｉｋｅ ｆｅａｔｕｒｅｓ ｆｏｒ ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ． Ｉｎ： Ｐｒｏｃ． Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔ’１ Ｃｏｎｆ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｖｏｌ． １， Ｎｅｗ Ｙｏｒｋ： ＩＥＥＥ Ｐｒｅｓｓ， ２００２． ｐｐ９００−９０３

顔分類器は、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）計算方法によって、大量の顔に関する画像パターン（矩形特徴）についての学習をして得たものである。矩形特徴は、ハール特徴（Ｈａａｒ−ｌｉｋｅ Ｆｅａｔｕｒｅ）であり、図３に示すように、境界プロトタイプ（特徴）を４種、線条プロトタイプ（特徴）を８種、及び中心包囲プロトタイプ（特徴）を２種、計１４種のプロトタイプを有する。矩形特徴の値は、黒色領域の画素値の和から白色領域の画素値の和を減じた値で表される。特定の四角形領域は、たくさんのサイズが異なる矩形特徴を有する。例えば、２４×２４の四角形領域は、１１７９５１種類の異なる矩形特徴を有する。非特許文献２における機械学習計算方法は、たくさんの矩形特徴の中から、数少ない一部分を探し出し、それによって顔を判別する。予め顔に関する画像パターン（矩形特徴）の学習を行い、機械学習計算方法で顔を判別するために、これらの矩形特徴が四角形領域内の相対位置や閾値（顔候補領域判別閾値）を習得することで、顔分類器は構成される。

元の画像に対応するグレー画像が顔分類器で処理されると、四角形枠で囲まれた顔候補領域が得られる。但し、この顔候補領域は、顔特性（顔領域）を備え且つ非顔区域を備える可能性がある。本実施形態では、元画像の対応するカラー画像の領域（顔位置を表した枠内の顔候補領域）における肌色画素の割合に基づいて、顔であると誤って検出された顔候補領域を顔候補から排除することができる。本実施形態における顔検出方法は、ＨＳＶ色空間にある肌色モデルを採用する。Ｈは色相（Ｈｕｅ）、Ｓは彩度（Ｓａｔｕｒａｔｉｏｎ）、Ｖは明度（Ｖａｌｕｅ）を表す。ある画素の色彩値がそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）で表される場合、その画素の色彩値をＲＧＢ空間からＨＳＶ色空間に変換するには、［式１］で計算すればよい。

ＨＳＶそれぞれの値が、H∈［0,50］∪［340,360］で且つS∈［0.2,1］で且つV∈［0.35,1］の範囲内であれば、肌色画素であると判断することが出来る（非特許文献３参照）。具体的には、一定閾値（肌色判別閾値）ＴＨｓｋｉｎの値は、０．５５から０．６５の間に設定される。
Ｈｅｒｏｄｏｔｏｕ Ｎ， Ｐｌａｔａｎｉｏｔｉｓ Ｋ， Ｖｅｎｅｔｓａｎｏｐｏｕｌｏｓ Ａ． Ａｕｔｏｍａｔｉｃ ｌｏｃａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｏｆ ｔｈｅ ｆａｃｉａｌ ｒｅｇｉｏｎ ｉｎ ｃｏｌｏｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ． Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．， Ｉｍａｇｅ Ｃｏｍｍ． １９９９， １４ （５）： ｐｐ３５９−３８８．

ある顔候補領域が一回目の肌色判別通過（成功）しなかった場合は、この領域に対して、照明補償（図２のステップＳ１４参照）を行う必要がある。具体的には、ＲＧＢ空間の３つの色チャネルそれぞれに対してヒストグラムの平均化が行われる。色チャネルごとに、最も明るい部分の画素と最も暗い部分の画素の値をそれぞれ２５５と０に再設定し、残りの明るさの部分の画素の値をその明るさに応じて線形的に他の値（２５４〜１）にマッピングする。このように照明補償を行ってから、閾値（肌色判別閾値）を緩めてもう一度肌色判別を行う（図２のステップＳ１５参照）。顔候補領域について一回目または二回目の肌色判別に一度成功すれば、顔領域であると確定される（図２のステップＳ１６参照）。照明補償の後における顔候補領域についての肌色判別が成功しなかった場合は、顔領域が検出できなかったと判断される（図２のステップＳ１７参照）。

図１に示すように、赤目検出ステップは、赤色度合い計算、赤目の種類判定、及び赤目領域の特定の３つの構成からなる。

顔検出ステップで得られた顔領域は正面を向き且つ縦方向の人顔を囲む四角形枠であるので、左右の瞳の位置は一般的に特定範囲に限定される。赤目検出は、このような瞳周辺領域に限定して行われることで、他の要素（例えば唇、背景など）の影響を排除することが可能になる。例えば、図６に示されるように、左の瞳周辺領域は縦方向が枠の左上方より１／５から１／２までの間、横が１／１０から２／５までの間の領域とされ、右の瞳周辺領域は縦方向が左と同じで、横が３／５から９／１０までの間の領域とされる。

赤目特有の色彩について適切な定量化方法は無いが、一般的に、赤目部分の画素の赤色の色調は他の色彩の色調に比べて純粋である。このほか、赤色領域と非赤色領域との間で赤色度合いの差が比較的大きいことも考慮して、本実施形態は非特許文献４に基づいて赤色度合いの定義を修正し、座標（ｘ、ｙ）に対応する画素の赤色度合い（ｒｅｄｎｅｓｓ）は［式２］に基づいて求める（図４のステップＳ２１参照）。
Ｇａｕｂａｔｚ Ｍ，Ｕｌｉｃｈｎｅｙ Ｒ． Ａｕｔｏｍａｔｉｃ ｒｅｄ−ｅｙｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｏｒｒｅｃｔｉｏｎ． Ｉｎ：Ｐｒｏｃ． Ｎｉｎｔｈ ＩＥＥＥ Ｉｎｔ’ １ Ｃｏｎｆ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｖｏｌ． １， Ｎｅｗ Ｙｏｒｋ： ＩＥＥＥ Ｐｒｅｓｓ， ２００２． ｐｐ８０４−８０７

そのなかで、Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）はそれぞれ対応する画素のＲＧＢ空間で表示される値を示し、定数Ｋは、Ｇ（ｘ、ｙ）とＢ（ｘ、ｙ）とが共に０である時に特異点（ゼロ割）が発生するのを避けるためのものであり、Ｌは後述の閾値処理のために赤色度合い（ｒｅｄｎｅｓｓ）分布を調整するための調整係数である。例えば、定数Ｋの値が３０００の時、調整係数Ｌの値は１５に設定される。

瞳周辺領域における赤色度合い（ｒｅｄｎｅｓｓ）の値により、典型的な赤目または弱赤目が判別（分類）され（図４のステップＳ２２参照）、赤目の分類に対応して異なる処理が行われる。典型的な赤目における赤色度合いは比較的高く、瞳における赤色が占める面積は大きいのに対して、弱赤目における赤色度合いは比較的低く、瞳における赤色が占める面積は小さい。瞳周辺領域ごと（瞳の大まかな位置ごと）に正規化した赤色度合いのヒストグラムを比較すると、典型的な赤目のヒストグラムの分布は通常左側に集中し、赤目画素と背景画素との違いが大きく、固定された閾値を使って赤目領域を判別することが可能である（図４のステップＳ２３参照）。弱赤目のヒストグラム分布はほぼ均一であり、赤目画素と背景画素との違いが小さく、固定された閾値で判別できない。但し、弱赤目がある画像が占める面積は、一般に瞳面積の半分を超えることはなく、且つ赤目部分の赤色度合いは依然として周辺領域内の赤色度合いよりも大きい。そのため、赤目領域の判別に弱赤目の面積に基づく閾値が使用出来る（弱赤目はその特徴部分の占有面積に基づいて判断できる、図４のステップＳ２３参照）。

多くの赤目画像の瞳周辺領域における正規化された赤色度合いのヒストグラムを分析することにより、典型的な赤目の赤色度合い閾値Ｒｃと、弱赤目の赤色度合い閾値Ｒｗを得ることが出来る。典型的赤目の赤目度合い閾値Ｒｃの値は、統計的に１．２に設定され、弱赤目の赤目度合い閾値Ｒｗの値は、統計的に１．０７に設定される。

画像（写真）において、１つの領域の面積はその領域の画素数を使って表すことができる。たくさんの顔画像の統計に基づいて、瞳領域と瞳周辺領域との面積比Ｒが求められる。面積比Ｒの統計値は０．０３から０．０６の間である。これにより、顔領域が特定されると、対応する瞳面積も得られることになる。

瞳周辺領域内の画素数をＳｎとし、瞳周辺領域ごとの赤色特徴閾値をＲｔとする。各瞳周辺領域の画素の赤色度合いが赤色特徴閾値Ｒｔより大きい画素の数Ｓｒが［式３］を満たすように、赤色特徴閾値Ｒｔの値が求められる。すなわち、Ｓｒの値が面積比Ｒと瞳周辺領域内の画素数Ｓｎに基づいて求められる。最も赤色度合いが大きい画素から、赤色度合いが大きい順にＳｒ番目の画素の赤色度合いの値より小さい値に赤色特徴閾値Ｒｔの値が設定される。

赤色特徴閾値Ｒｔが、典型的赤目の赤目度合い閾値Ｒｃよりも大きい場合は、瞳周辺領域内に典型的な赤目があると判断され、弱赤目の赤目度合い閾値Ｒｗよりも小さい場合は、瞳周辺領域内に赤目が無いと判断され、典型的赤目の赤目度合い閾値Ｒｃと弱赤目の赤目度合い閾値Ｒｗとの間の場合は、瞳周辺領域内に弱赤目があると判断される。

瞳周辺領域のそれぞれについて、典型的赤目の赤目度合い閾値Ｒｃまたは弱赤目の赤目度合い閾値Ｒｗを使って閾値以上の赤目度合いを有する画素と閾値未満の赤目度合いを有する画素とを区別すると、閾値以上の赤目度合いを有する画素が集まった赤目画素候補領域は、一つの瞳周辺領域において一般に面積の大きい１つの領域といくつかの面積の小さい領域とを有することになる。いくつかの赤目画素候補領域の中で、面積の大きい領域は赤目領域であり、面積の小さい領域は顔における赤み画素によるノイズ領域である。そのため、瞳周辺領域で赤目度合いが閾値（典型的な赤目の赤目度合い閾値Ｒｃ、弱赤目の赤目度合い閾値Ｒｗ）以上の画素の集まり（閾値以上の赤目度合いを有する画素が集まった赤目画素候補領域）の面積（画素数）をそれぞれ計算し、一番面積が大きい領域を赤目領域とする（図４のステップＳ２４参照）。

赤目領域の画素における赤目を修正し、瞳孔の元の自然な色彩を再現するために、赤目画素の修正は、Ｒ、Ｇ、Ｂそれぞれの色チャネルについて調整を行う必要がある。［式４］に基づいて、各色チャネルの値は修正される（図５のステップＳ３１参照）。

Ｒ_ｃ、Ｂ_ｃ、Ｇ_ｃそれぞれは、修正後のＲ、Ｂ、Ｇ色チャネルの値である。

修正後の赤目領域とその周辺画素の色合いをなめらかにするために、本実施形態では、赤目周辺画素について、［式５］の３×３のテンプレート（非特許文献５参照）を使って平滑化を行う（図５のステップＳ３２参照）。
Ｄａｖｉｅｓ Ｅ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ： Ｔｈｅｏｒｙ， Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ｐｒａｃｔｉｃａｌｉｔｉｅｓ．

上記の式において、ｗ_ｉｊは重み付け係数であり、中心点ｗ_１１は４とし、ｗ_１１に隣り合う４つの点ｗ_０１、ｗ_１０、ｗ_１２、ｗ_２１は２とし、斜めに隣り合う点ｗ_００、ｗ_０２、ｗ_２０、ｗ_２２は１とする。

本実施形態における赤目除去方法の構成を示すブロック図である。 顔検出ステップのフローチャートである。 矩形特徴の略図である。 赤目検出ステップにおけるフローチャートである。 赤目修正ステップにおけるフローチャートである。 顔領域における瞳周辺領域の位置関係を示す図である。

Claims (11)

1. 機械学習計算方法による学習を経た顔分類器と、肌色情報とに基づいて写真中の顔領域を検出する顔検出ステップと、
   前記顔領域の赤色度合いの分布に基づいて、典型的な赤目と弱赤目とに分類し、前記分類に基づいて、前記検出した顔領域の赤目領域を検出する赤目検出ステップと、
   前記検出した赤目領域の色彩の修正と周辺の平滑化を行って、前記修正後の写真を正常な色彩に戻す赤目修正ステップとを備えることを特徴とする赤目除去方法。
2. 前記顔検出ステップは、前記顔分類器と、前記肌色情報を得るための肌色判別と照明補償の３つの部分を有し、
   入力されたカラー画像は、前記カラー画像中の顔の方向が横方向になっている場合は縦方向に回転させる操作を行い、その後グレー画像に変換され、
   前記顔分類器は、前記グレー画像中における１又は複数の顔候補領域を検出し、検出した顔候補領域の位置を四角形の枠で表し、
   その後、前記カラー画像で、前記枠内の肌色画素の数を求め、
   前記枠内における前記肌色画素の数の割合が肌色判別閾値に達すると、前記枠の領域が顔領域であると判断され、
   達しない場合は、前記枠の領域について照明補償が行われ、再び肌色画素が計算され前記肌色判別閾値の値が緩められた状態で顔領域であるか否かが判断されることを特徴とする請求項１に記載の赤目除去方法。
3. 前記顔分類器は、機械学習計算方法によって大量の顔に関する画像パターンについての学習をして得たものであり、
   前記顔分類器は、境界プロトタイプ、線条プロトタイプ、及び中心包囲プロトタイプの計１４種のプロトタイプを有する矩形特徴を利用したものであり、
   前記矩形特徴の値は、黒色領域の画素値の和から白色領域の画素値の和を減じた値で表され、
   特定の四角形領域は、たくさんのサイズがそれぞれ異なる前記矩形特徴を有し、
   前記機械学習計算方法は、たくさんの前記矩形特徴の中から顔の判別に使われる数少ない一部分を探し出す、すなわち予め顔に関する画像パターンを学習させ、顔を判別するための前記矩形特徴が前記四角形枠の領域内の相対位置や顔候補領域判別閾値を習得することで前記顔分類器は構成されることを特徴とする請求項２に記載の赤目除去方法。
4. 前記顔分類器により判別できた顔候補領域から、前記顔候補領域の枠に対応する前記カラー画像における前記枠内の肌色画素の割合の計算によって、顔候補領域の誤検出を避け、
   Ｈが色相、Ｓが彩度、Ｖが明度で表されるＨＳＶ色空間にある肌色モデルを採用し、
   前記カラー画像における前記枠内のある画素の色彩値がＲＧＢ空間からＨＳＶ空間に［式１］に基づいて変換され、Ｈ∈［0,50］∪［340,360］で且つS∈［0.2,1］で且つV∈［0.35,1］の範囲内であれば、肌色画素であると判断され、前記肌色判別閾値が０．５５〜０．６５であることを特徴とする請求項２に記載の赤目除去方法。
   

   
5. 前記顔候補領域が一回目の肌色判別通過しなかった場合は、前記照明補償が行われ、
   前記照明補償においては、ＲＧＢ空間の３つの色チャネルそれぞれに対してヒストグラムの平均化が行われ、色チャネルごとに最も明るい部分と最も暗い部分の画素の値を２５５と０に再設定され、その他の画素の値が線形的に２５４と１との間にマッピングされ、
   前記照明補償を行ってから、前記顔公報領域の前記肌色判別閾値の値を調整して、二回目の肌色判別が行われ、前記顔候補領域において前記一回目或いは前記二回目の少なくとも一方の肌色判別が成功すれば、顔領域であると確定されることを特徴とする請求項２に記載の赤目除去方法。
6. 前記検出した顔領域の四角形枠内において、左の瞳周辺領域は縦方向が前記枠の左上方より１／５から１／２までの間、横が１／１０から２／５までの間の領域とされ、右の瞳周辺領域は前記縦方向が前記左の瞳周辺領域と同じで、前記横が３／５から９／１０までの間の領域とされ、赤目検出は前記左右の瞳周辺領域を対象に行われることを特徴とする請求項１に記載の赤目除去方法。
7. 座標（ｘ、ｙ）に対応する画素の前記赤色度合い（ｒｅｄｎｅｓｓ）は、［式２］に基づいて求められ、
   その中で、Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）はそれぞれ対応する画素のＲＧＢ空間で表示される値を示し、常数Ｋは、Ｇ（ｘ、ｙ）とＢ（ｘ、ｙ）とが共に０である時に特異点が発生するのを避けるためのものであり、Ｌは調整係数であり、Ｋ＝３００の時にＬ１５となることを特徴とする請求項１に記載の赤目除去方法。
   

   
8. 前記赤目領域の検出において、前記典型的な赤目については、典型的赤目の赤目度合い閾値Ｒｃが用いられ、前記弱赤目については、前記弱赤目の赤目度合い閾値Ｒｗが用いられ、
   瞳周辺領域の画素数Ｓｎ、瞳領域と前記瞳周辺領域との面積比Ｒを使った［式３］に基づいて、前記赤色度合いが前記瞳周辺領域ごとの赤色特徴閾値Ｒｔよりも大きな値を有する画素の数Ｓｒが求められ、前記Ｓｒの値に基づいて前記赤色特徴閾値Ｒｔの値が求められ、
   前記赤色特徴閾値Ｒｔの値が、前記典型的赤目の赤目度合い閾値Ｒｃよりも大きい場合は、前記瞳周辺領域内に前記典型的な赤目があると判断され、前記弱赤目の赤目度合い閾値Ｒｗよりも小さい場合は、前記瞳周辺領域内に赤目が無いと判断され、前記典型的赤目の赤目度合い閾値Ｒｃと前記弱赤目の赤目度合い閾値Ｒｗとの間の場合は、前記瞳周辺領域内に弱赤目があると判断されることを特徴とする請求項１に記載の赤目除去方法。
   

   
9. 前記瞳周辺領域のそれぞれについて、前記典型的赤目または前記弱赤目に対応する閾値以上の赤目度合いを有する画素と前記閾値未満の赤目度合いを有する画素とを区別し、
   前記閾値以上の赤目度合いを有する画素が集まった赤目画素候補領域のうちで、画素数が一番多い領域が赤目領域とされることを特徴とする請求項１から８に記載の赤目除去方法。
10. 前記赤目領域の色彩の修正において、Ｒ、Ｇ、Ｂそれぞれの色チャネルについて、［式４］に示す修正が行われ、
    式中のＲｃ、Ｂｃ、及びＧｃはそれぞれ前記修正後のＲ、Ｇ、Ｂ各色チャネルの値であることを特徴とする請求項１に記載の赤目除去方法。
    

    
11. 前記赤目領域の平滑化において、修正後の赤目領域とその周辺画素の色合いをなめらかにするために、赤目周辺画素について、［式５］の３×３のテンプレートを使って平滑化が行われ、
    式中の、ｗ_ｉｊは重み付け係数であり、中心点ｗ_１１は４とし、中心点ｗ_１１と斜めに隣り合う４つの点ｗ_００、ｗ_０２、ｗ_２０、ｗ_２２は１であり、４つの隣り合う点ｗ_０１、ｗ_１０、ｗ_１２、ｗ_２１は２であることを特徴とする請求項１に記載の赤目除去方法。
    

    

Images