JP2005128942A - 赤目補正方法及びこの方法を実施する装置 - Google Patents

Abstract

【課題】パターン認識といったような複雑な画像処理技術を用いずに、かつ予め目領域の指定といった前作業を行うことなしに、満足できる信頼度をもつ赤目補正技術を提供する。
【解決手段】撮影画像データから所定の肌色検出条件に基づいて肌色画素を検出し、撮影画像データから所定の白色検出条件に基づいて白色画素を検出し、撮影画像データから所定の赤色検出条件に基づいて赤色画素を検出し、赤色画素を赤目画素候補とし、この赤目画素候補の周辺領域内における肌色画素と白色画素の各存在個数を用いた判別条件に基づいて赤目画像候補を赤目画素と認定する。認定された赤目画素の画素値を変更することで赤目補正が行われる。
【選択図】 図４

Description

本発明は、撮影画像データに生じている赤目を補正する赤目補正方法、赤目補正プログラム、及びこの方法を実施する画像処理装置に関する。

人物や動物などを被写体としてストロボ撮影した場合、ストロボ光の一部が眼球内の血管等で反射してカメラ側に戻ってくることで、撮影画像において瞳の中央が赤色ないしは実際とは異なる色となる、いわゆる赤目現象を生じることがある。デジタルカメラの普及や写真フィルムの撮影画像をデジタル化するフィルムスキャナの普及により、この赤目問題を画像処理技術で解決することが数多く提案されている。もちろん、赤目部分の画素をモニタを通じて目で確認しながらその画素の色合いを実際の色合いに修正していくという職人的技術によってもこの補正作業が可能であるが、その補正作業に頻雑さや熟練さが要求される等を考慮すると一般的ではない。このため、パターン認識技術等を利用して瞳孔位置を抽出し、あるいは画像内の赤色部分を抽出して、この部分を色変換するといった自動化技術も考えられているが、赤目エリアを正確に検出しようとすれば、画像処理技術が極めて複雑となり、装置自体も高価なものとなってしまう。

例えば、色調不良となった目領域を含む領域をまず指定し、その領域において、明度や赤味を組み合わせた特徴量を用いて、赤目部とその隣接する白目及び肌部との間に谷間ができることを利用し、前記特徴量の山毎に領域分割することで赤目部を白目及び肌部と分離する技術がある（例えば、特許文献１参照。）。この技術は、赤目部分は瞳孔部の中心程網膜からの反射が強いため、明度は中央から周辺部に向けて低下する傾向を持つことからキャッチライトも含めて明度が山状に分布すること、及び虹彩部が青目系瞳では赤みの値の大きさについて赤目となった瞳孔部との谷間となることを利用している。つまり、赤味という色に関する目領域の強度分布から赤目、白目及び肌部を区分けしようとしており、赤色画素や白色画素や肌色画素を検出して赤目画素を識別しようとしている技術ではない。また、この技術では、予め目領域を指定する必要があるので、完全に自動化するには実現が困難である目領域を画像認識する技術が要求される。

また、顔面特有の複数の色成分画像を抽出して被写体人物の赤目位置を検出する技術、つまり撮像画像内から低彩度領域及び低照度領域の少なくとも一方の領域と肌色領域とが抽出され、これらの抽出信号を用いて、例えば論理積をとることで、人物の眼を含む領域が抽出され、更に、抽出された赤色部信号を用いて、目を含む領域から、赤目が発生しているときは、当該赤目位置が検出され、このようにして得られた赤目位置データに基づいて赤目位置の赤色が別の色に、例えば一般的な黒目に補正する技術もある（例えば、特許文献２参照。）。この技術では予め目領域を指定することは要求されないが、肌色と赤色で赤目位置を認識しようとしているので誤認識が生じやすい。

特開２０００−７６４２７号公報（段落番号０００９−００１１、００５８−００７１、第１０図） 特開平６−２５８７３２号公報（段落番号０００６−０００９、００１９−００２３、第６図）

上記実状に鑑み、本発明の課題は、パターン認識といったような複雑な画像処理技術を用いずに、かつ予め目領域の指定といった前作業を行うことなしに、満足できる信頼度をもつ赤目補正技術を提供することである。

上記目的を達成するため、本発明による、撮影画像データに生じている赤目を補正する赤目補正方法は、前記撮影画像データから所定の肌色検出条件に基づいて肌色画素を検出するステップと、前記撮影画像データから所定の白色検出条件に基づいて白色画素を検出するステップと、前記撮影画像データから所定の赤色検出条件に基づいて赤色画素を検出するステップと、前記赤色画素を赤目画素候補とし、この赤目画素候補の周辺領域内における前記肌色画素と前記白色画素の各存在個数を用いた判別条件に基づいて前記赤目画像候補を赤目画素と認定するステップと、前記認定された赤目画素の画素値を変更することで赤目補正を行うステップとから構成されている。

この赤目補正方法では、撮影画像全体から、個別に設定された検出条件に基づいて肌色画素と白色画素と赤色画素を検出し、各赤色画素を赤目画素候補として、この赤目画素候補の周辺領域に位置する肌色画素と白色画素の個数によってその赤目画素候補の周辺が目領域であってその赤色画素が赤目を構成するものであるかと判別を行っている。赤目領域の色合いを特徴付ける肌色と白色と赤色の分布具合により赤目画素を認定するので、従来の赤目検出方法に比べて、予め目領域の指定といった前作業を行うことなしに、しかも簡単なアルゴリズムにもかかわらず満足すべき信頼度をもって赤目画素の検出が可能となる。

肌色画素と白色画素はその色成分（例えばＲ・Ｇ・Ｂ成分）が非常に似通っており、撮影条件が変わるとその区別が難しくなる。例えばタングステン光の環境下で白色を撮影すると黄色っぽくなるため肌色との区別が難しい。そのため、本発明の好適な実施形態の１つでは、前記肌色検出条件は各画素の画素値であるＲ・Ｇ・Ｂ成分値のそれぞれの差分値とその画素の輝度値を用いて定義されており、前記白色検出条件は白色画素候補の肌色彩度とその白色画素候補の周辺に位置する前記肌色画素の平均肌色彩度を用いて定義されており、前記赤色検出条件は赤色彩度を用いて定義されている。つまり、白色画素の検出条件は周辺の肌色画素の平均肌色彩度に依存する値を採用している。具体的には、肌色画素の平均のＲ・Ｇ・Ｂ成分値から一定程度肌色の補色側に変位した色を白色と判定することで、ある程度の撮影条件の変動にもかかわらず、白色と肌色を区別できるようにしている。

ここで認定された赤目画素の画素値を変更することで赤目補正がなされるが、そのような変更の最も簡単で効果的な方法として、前記認定された赤目画素の彩度を下げることが提案される。彩度を下げることにより、その赤目画素はグレーっぽくなり、違和感のない写真プリントが得られる。もちろん、赤目画素の色は実際の瞳色の色バランスを持つことが理想的であるので、その瞳色が予め設定されている場合には、前記認定された赤目画素の画素値を瞳色に対応する画素値に近づけるような赤目補正を行うことが好適である。

いずれにしても、被写体によっては、目領域以外においても白色と肌色と赤色があたかも赤目となった目領域のように分布した領域も生じ得る。その結果、赤目画素の誤認識が生じ、このような赤目画素を強く補正すると、返って違和感のある写真プリントとなるので、予め、撮影条件等から、赤目判別の困難度が予測できるならば、そのような赤目判別困難度に応じて赤目補正の補正度合いを調整することは有意義である。例えば、特殊な照明下の撮影である場合、各色の区別は難しくなるので、赤目補正の度合いを半分以下にし、もし誤認識があってもそれが全体的な色の調和を壊さないように配慮するとよい。

また、本発明は、上述した赤目補正方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。

本発明では、さらに、上述した赤目補正方法を実施する画像処理装置も権利の対象としており、そのような画像処理装置は、前記撮影画像データから所定の肌色検出条件に基づいて肌色画素を検出する肌色画素検出部と、前記撮影画像データから所定の白色検出条件に基づいて白色画素を検出する白色画素検出部と、前記撮影画像データから所定の赤色検出条件に基づいて赤色画素を検出する赤色画素検出部と、前記赤色画素を赤目画素候補とし、この赤目画素候補の周辺領域内における前記肌色画素と前記白色画素の各存在個数を用いた判別条件に基づいて前記赤目画像候補を赤目画素と認定する赤目画素決定部と、前記認定された赤目画素の画素値を変更することで赤目補正を行う赤目補正部とを備えている。当然ながら、このような画像処理装置も上述した赤目補正方法におけるすべての作用効果を得ることができる。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

本発明の実施の形態について、図面に基づいて説明する。
図１は本発明による赤目補正技術を採用した写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図２からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図１参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データと略称する）を取得するフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部としては、スキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ３０に送り込む。また、この画像入力部３１には、写真プリント受付装置と呼ばれているセルフサービスで写真プリントを受け付ける装置も接続されており、この写真プリント受付装置から、プリントサイズやプリント枚数を記録しているプリント注文データと撮影条件などを記録している画像属性データと画像データとを受け取ると、画像データをメモリ３０に転送し、プリント注文データや画像属性データをプリント管理部３２に転送する。通常の写真プリント注文の場合には、プリントサイズやプリント枚数などのプリント注文データ及び必要の場合ストロボ撮影の有無や被写体情報やカメラ機種などの属性データは、キーボード２４を通じてオペレータの操作入力によってプリント管理部３２に与えられる。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット６０、メモリ３０に展開された画像データに対して色補正やフィルタリング（ぼかしやシャープネスなど）などのフォトレタッチ処理を施す画像処理ユニット７０を備えている。この実施の形態では、特に、入力されたストロボ撮影の有無やカメラ機種などの属性データから赤目の発生可能性や赤目補正の困難性を予測する赤目判別困難度予測部８０がプリント管理部３２に構築されているが、これは省略可能である。赤目判別困難度予測部７０は入力された属性データに基づいて赤目の発生可能性（ストロボが非使用の場合赤目は発生しない）や赤目補正の困難性（撮影条件に応じて赤目の判別困難性が変化する）を予測するアルゴリズムにより機能するのが好ましいが、実際には、この予測をオペレータに任せて、マニュアル入力するようにしてもよい。

前述した画像処理ユニット７０には本発明による技術を採用した赤目補正処理手段９０が含まれている。この赤目補正処理手段９０は、図４に示すように、肌色検出条件と白色検出条件と赤色検出条件を設定管理している判定条件設定部９１と、前記肌色検出条件に基づいて画像データから肌色画素を検出する肌色画素検出部９２ａと前記白色検出条件基づいて画像データから白色画素を検出する白色画素検出部９２ｂと前記赤色検出条件に基づいて画像データから赤色画素を検出する赤色画素検出部９２ｃとからなる特定色画素検出部９２と、検出された肌色画素の位置を記憶する肌色画素マップ９３ａと検出された白色画素の位置を記憶する白色画素マップ９３ｂと検出された赤色画素の位置を記憶する赤色画素マップ９３ｃとからなる特定色画素マップ９３と、検出された赤色画素から赤目画素を判別する赤目判別条件を設定管理している判別条件設定部９４と、検出された赤色画素を赤目画素候補とするとともに前記赤目判別条件に基づいて前記赤目画像候補を赤目画素と認定する赤目画素決定部９５と、認定された赤目画素の位置を記憶する赤目画素マップ９６と、この赤目画素マップ９６を参照しながら赤目画素の画素値を変更することで赤目補正を行う赤目補正部９７とから構成されている。

赤目画素決定部９５は、赤色画素マップ９３ｃを参照しながら赤色画素を赤目画素候補とするとともにこの赤目画素候補の周辺領域内における肌色画素と白色画素の各存在個数を肌色画素マップと白色画素マップから計数してその各計数値を赤目判別条件で規定されている判別値と比較することで前記赤目画像候補を赤目画素と認定するかどうかを決定する。

赤目画素の画素値を変更することで赤目補正を行う赤目補正部９７は、一般には赤目画素の彩度を下げることにより、その赤目画素はグレーっぽくなり、瞳らしくなるので、彩度を下げる処理を行う。しかしながら、特別な瞳色を持った人物の場合、単に彩度を下げるだけでは実際の瞳らしくならない場合がある。そのようなケースに備えて、この実施の形態では、瞳色設定部９８が備えられており、赤目補正処理において赤目画素の画素値を瞳色に対応する画素値に近づけるような画素値変更を行うことも可能としている。

このように構成された赤目補正処理手段９０による赤目補正の手順を以下に説明する。まず、全体的な流れは図５に示されたフローチャートに示されているが、まずメモリ３０に展開されている画像データから肌色画素検出（＃１０）、白色画素検出（＃３０）、赤色画素検出（＃５０）を行う。検出された赤色画素は赤目画素の候補となるので、各赤色画素に対してその周辺における肌色画素と白色画素の分布状態から赤目画素として認定できるかどうかをチェックし、判別条件を満たしている場合この赤色画素を赤目画素とする（＃７０）。赤目画素が決定されると、その画素に対して彩度減少処理や瞳色への移行処理などの赤目補正処理を施す（＃９０）。その際、補正をかける度合いは予め設定された値もしくは赤目判別の困難性から決定された値が用いられる。

次に上述した各処理の詳細を説明する。肌色画素の検出は、肌色画素検出部９２ａにおいて図６に示されたサブルーチンに基づいて実行される。まず、判定条件設定部９１から肌色検出条件が取り込まれる（＃１１）。この肌色検出条件は、注目画素のＲ・Ｇ・Ｂ輝度値をそれぞれR、G、Bとし、かつ(R＋G＋B)/3=Iとすると、
［fs_gb_lo<G-B<fs_gb_hi］、かつ
［fs_rg_lo<R-G<fs_rg_hi］、かつ
［fs_br_lo<B-R<fs_br_hi］、かつ
［I>fs_I］、
で表されている。この４つの条件からなる肌色判定条件を満たしている注目画素が肌色とみなされる。ここで、Ｒ・Ｇ・Ｂ輝度値が８ビットカラーデータ（０〜２５５）である場合、上記各定数は以下の通りに設定することができる（以下Ｒ・Ｇ・Ｂ輝度値は８ビットカラーデータとする）；
fs_gb_lo=-24、fs_gb_hi=16、fs_rg_lo=-16、fs_rg_hi=64、
fs_br_lo=-88、fs_br_hi=8、fs_I=104。
注目画素の画素値であるＲ・Ｇ・Ｂ輝度値を取り込み（＃１２）、上記肌色判定条件を満たすかどうかをチェックし（＃１３）、この肌色判定条件を満たした注目画素の画素位置を肌色画素の画素位置として記憶しておく（＃１４）。この肌色検出を画像データを構成する全ての画素に対して行い、全画素に対する肌色チェックが完了すると（＃１５）、記憶されている肌色画素の画素位置に基づいて肌色画素マップ９３ａを作成しておく（＃１６）。なお、この肌色画素マップ９３ａの作成は肌色画素の検出毎に、ステップ＃１４の段階で行うようにしてもよい。

次に、白色画素の検出が、白色画素検出部９２ｂにおいて図７に示されたサブルーチンに基づいて実行される。まず、肌色画素検出サブルーチンで作成された肌色画素マップ９３ａが取り込まれ（＃３１）、肌色画素のＲ・Ｇ・Ｂ輝度値から肌色彩度係数ＳＦを演算して、肌色彩度マップが作成される（＃３２）。この肌色彩度係数ＳＦは以下の式で求められる；
SF=SF_rg×(R-G)＋SF_br×(B-R)
ここで、SF_rg=0.7、SF_br=-1.2のような値に設定することで、肌色画素の彩度が高いほど肌色彩度係数ＳＦの値が大きくなり、肌色の補色側であるほど肌色彩度係数ＳＦの値が小さくなる。

次に、判定条件設定部９１から白色検出条件が取り込まれる（＃３３）。さらに、画像データから順次注目画素のＲ・Ｇ・Ｂ輝度値が取り込まれる（＃３４）。白色検出条件は２段階に分かれており、まず第１段階の検出条件が満たされているかどうかがチェックされる（＃３５）。この第１段階の検出条件は、
［abs(G-B)<ws_gb］、かつ
［abs(R-G)<ws_rg］、かつ
［abs(B-R)<ws_br］、かつ
［I<ws_I］、
で表されている。abs()は（）内の数値の絶対値を求める関数表現である。この４つの条件からなる第１段階の判定条件を満たしている注目画素が白色画素の候補とみなされる。ここで、上記各定数は以下の通りに設定することができる；
ws_gb=ws_rg=ws_br=45、ws_I=112。

注目要素が白色画素の候補となった場合（＃３５でYes分岐）、第２段階の検出条件にかけられるが、この検出条件には白色画素検出のための注目画素の近傍における肌色画素の平均彩度係数と白色画素候補の彩度係数が条件要素の１つとして含まれているので、まず、ステップ＃３２で作成された肌色彩度マップを参照して、注目画素を中心とした４０×４０画素程度の近傍領域に位置している肌色画素の彩度係数の平均値Ａｖｅ＿ＳＦを計算しておく（＃３６）。この近傍領域のサイズは出力階調度に依存し、ここでは、出力階調度が４００ｄｐｉ程度とする。さらにこの注目画素（白色画素候補）の彩度係数ＳＦwも肌色彩度係数ＳＦを求めた式と同じ式を用いて演算しておく（＃３７）。このような前処理を経て、注目画素（白色画素候補）が第２段階の検出条件を満足するかどうかをチェックする（＃３８）。この第２段階の検出条件は、
［SFw-Ave_SF<sh_SF］
で表されており、定数sh_SFの値は-12と設定されている。この第２段階の検出条件を満たしている（＃３８でYes分岐）注目画素（白色画素候補）が白色画素とみなされ、その画素位置を白色画素の画素位置として記憶しておく（＃３９）。この２段階にわたる白色検出を画像データを構成する全ての画素に対して行い、全画素に対する白色チェックが完了すると（＃４０）、記憶されている白色画素の画素位置に基づいて白色画素マップ９３ｂを作成しておく（＃４１）。なお、この白色画素マップ９３ｂの作成は白色画素の検出毎に、ステップ＃３９の段階で行うようにしてもよい。

赤色画素の検出は、赤色画素検出部９２ｃにおいて図８に示されたサブルーチンに基づいて実行される。まず、判定条件設定部９１から赤色検出条件が取り込まれる（＃５１）。この赤色検出条件は、赤色彩度係数SatRを用いていることから、まず注目画素のＲ・Ｇ・Ｂ輝度値を取り込み（＃５２）、このＲ・Ｇ・Ｂ輝度値から以下の要領で赤色彩度係数SatRが求められる（＃５３）。
min()を「、」で区切られた（）内の数値の最小値をとる関数表現とし、max()を「、」で区切られた（）内の数値の最大値をとる関数表現とすると、
mn=min(G,B)とmx=max(G,B)とで係数mnと係数mxを求めておき、R>mxかつR>Rshの時、SatR=100×(R-mn)／(R+1)の式を用い、R<=mx又はR<=Rshの時、SatR=0とすることでSatRの値を求める。ここで、定数Rshは、Ｒ・Ｇ・Ｂ輝度値が８ビットカラーデータの場合５０程度が好適である。

このようにして求められた赤色彩度係数が判定定数：Sh_SatRより大きいことが赤色検出条件であり、ここでは判定定数はSh_SatR=50と設定されているので、赤色検出条件である［SatR>50］が満たされているかどうかチェックし（＃５４）、この赤色判定条件を満たした注目画素の画素位置を赤色画素の画素位置として記憶しておく（＃５５）。この肌色検出を画像データを構成する全ての画素に対して行い、全画素に対する肌色チェックが完了すると（＃５６）、記憶されている赤色画素の画素位置に基づいて赤色画素マップ９３ｃを作成しておく（＃１６）。なお、この赤色画素マップ９３ｃの作成は赤色画素の検出毎に、ステップ＃５５の段階で行うようにしてもよい。

赤目画素の決定は、赤色画素検出部９２ｃにおいて図９に示されたサブルーチンに基づいて実行される。まず、赤目判別条件設定部９４から赤目判別条件が取り込まれる（＃７１）。さらに赤目画素の判別には肌色画素、白色画素、赤色画素の情報が用いられるので、肌色画素マップ９３ａ、白色画素マップ９３ｂ、赤色画素マップ９３ｃも取り込まれる（＃７２）。赤目画素の候補となる画素は赤色画素であるので、赤目画素判定の注目画素として順次赤目画素が設定される（＃７３）。次いで、注目画素の中心とする周囲に４０×４０画素程度の処理対象周辺領域が設定される（＃７４）。周辺領域が設定されると、肌色画素マップ９３ａと白色画素マップ９３ｂを参照しながら、この周辺領域に存在する肌色画素の個数と白色画素の個数が求められる（＃７５）。

４０×４０画素からなる周辺領域内の肌色画素の個数と白色画素の個数を求める際、計算をコンパクトにするため、図１０に模式的に示されているように、８×８画素のブロックに区分けし、５×５＝２５ブロックの各ブロック毎に肌色画素の個数と白色画素の個数を求めるようにすると好都合である。そして同じブロック内に位置している赤色画素（図ではＡとＢで示している）について一方の赤色画素に関して求められた肌色画素の個数と白色画素の個数を他方赤色画素に対しても流用することで、計算負荷を減らすことも可能である。

赤目判別条件は、周辺領域に存在する肌色画素の個数と白色画素の個数がそれぞれの判別値以上としており、この判別値は実験的に求めることができる。また、この判別値は特に前述した周辺領域のサイズに依存しており、ステップ＃７４で設定される周辺領域サイズにより、自動的に適合する判別値がセットされる。例えば、一般的な人物写真において、４０×４０画素からなる周辺領域の場合、肌色画素個数の判別値は２５０〜３００画素数であり、白色画素個数の判別値は１５〜３０画素数である。

そのような判別値を用いた赤目判別条件が満たされているかどうかチェックし（＃７６）、この赤目判別条件を満たした注目画素（赤色画素）の画素位置を赤目画素の画素位置として記憶しておく（＃７７）。この赤目画素の決定処理を赤色画素マップ９３ｃで規定されている全ての赤色画素に対して行い、全画素に対する赤目判別が完了すると（＃７８）、記憶されている赤目画素の画素位置に基づいて赤目画素マップ９６を作成する（＃７９）。なお、この赤目画素マップ９６の作成は赤目画素の決定毎に、ステップ＃７７の段階で行うようにしてもよい。

このようにして、画像データにおける赤目画素の位置を規定している赤目画素マップ９６が作成されると、後は、適切な赤目補正処理を通じて赤目画素が補正される。この実施の形態では、赤目画素の彩度を下げることで赤目補正されるが、その彩度減少の計算式は以下に示されている；
d=(R＋G＋B)／3、
R'=(1−t)×d＋t×R、
G'=(1−t)×d＋t×G、
B'=(1−t)×d＋t×B。
つまり、赤目画素の輝度値（R,G,B）が（R',G',B'）に変更されることで、赤目が違和感のない瞳色となる。なお、ここで係数ｔは、赤目補正の補正の度合いを表しており、この値が１の時補正がなしとなり、この値が０の時、補正の度合いが最大、つまりその色はグレーとなる。この補正の度合い：ｔは場合によっては赤目判別困難性予測部７０によって予想される赤目補正の困難度に応じて設定されてもよいし、そのような困難性が予測できない場合は前設定された値、好ましくは0.45〜0.55を採用するとよい。これにより、正しい赤目検出による赤目の防止の利点と赤目の誤検出による撮影画像の乱れとがバランス良く釣り合って、違和感のない写真プリントを得ることができる。

赤目画素の彩度を下げることで赤目補正することは、実際の瞳色が明るいブルーやグリーンの場合では必ずしも良い結果を生み出さない。このようなケースにおいては、オプションで備えられる瞳色設定部９８によって設定入力された瞳色がもつ輝度値に赤目画素の輝度値を近づけるような処理を赤目補正処理として採用すると良い。その際、係数ｔは赤目画素の輝度値から瞳色の輝度値に到るグラデーション直線における任意の位置として表し、係数ｔが０で無補正、係数ｔが１で瞳色の輝度値への完全移行、その間の数値で任意のグラデーション値への移行とするとよい。

いずれにしても、適当な度合いで赤目補正処理を施された画像データは、必要な画像処理を施された後、プリントデータに変換されて、プリント露光部１４に転送される。プリント露光部１４はプリントデータに基づいて最終的に写真プリントとなる印画紙Ｐを露光する。

上述した実施の形態では、プリントステーション１Ｂは、印画紙Ｐに対し、露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明におけるプリントステーション１Ｂは、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を採用することができる。

本発明は、赤目を生じている撮影画像データから赤目画素を検出することが必要な画像処理装置への組み込み技術として広く利用することができる。

本発明による赤目補正技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 赤目補正処理手段の機能構成を示す機能ブロック図 赤目補正処理全体のフローチャート 肌色検出のサブルーチン 白色検出のサブルーチン 赤色検出のサブルーチン 赤目判別のサブルーチン 赤目判別処理時における周辺領域の区分けを説明する説明図

符号の説明

６０：プリント注文処理ユニット
７０：画像処理ユニット
８０：赤目判別困難度予測部
９０：赤目補正処理手段
９１：判定条件設定部
９２：特定色画素検出部
９２ａ：肌色画素検出部
９２ｂ：白色画素検出部
９２ｃ：赤色画素検出部
９３：特定色画素マップ
９３ａ：肌色画素マップ
９３ｂ：白色画素マップ
９３ｃ：赤色画素マップ
９４：判別条件設定部
９５：赤目画素決定部
９６：赤目画素マップ
９７：赤目補正部
９８：瞳色設定部

Claims (8)

1. 撮影画像データに生じている赤目を補正する赤目補正方法において、
   前記撮影画像データから所定の肌色検出条件に基づいて肌色画素を検出するステップと、
   前記撮影画像データから所定の白色検出条件に基づいて白色画素を検出するステップと、
   前記撮影画像データから所定の赤色検出条件に基づいて赤色画素を検出するステップと、
   前記赤色画素を赤目画素候補とし、この赤目画素候補の周辺領域内における前記肌色画素と前記白色画素の各存在個数を用いた判別条件に基づいて前記赤目画像候補を赤目画素と認定するステップと、
   前記認定された赤目画素の画素値を変更することで赤目補正を行うステップとから構成されていることを特徴とする赤目補正方法。
2. 前記肌色検出条件は各画素の画素値であるＲ・Ｇ・Ｂ成分値のそれぞれの差分値とその画素の輝度値を用いて定義されており、前記白色検出条件は白色画素候補の肌色彩度とその白色画素候補の周辺に位置する前記肌色画素の平均肌色彩度を用いて定義されており、前記赤色検出条件は赤色彩度を用いて定義されていることを特徴とする請求項１に記載の赤目補正方法。
3. 前記認定された赤目画素の彩度を下げることによって前記赤目補正を行うことを特徴とする請求項１又は２に記載の赤目補正方法。
4. 前記認定された赤目画素の画素値を瞳色に対応する画素値に近づけることで赤目補正を行うことを特徴とする請求項１又は２に記載の赤目補正方法。
5. 赤目補正のために前記認定された赤目画素の画素値を変更する際予め予測された赤目判別困難度に応じてその変更度を調整することを特徴とする請求項１〜４のいずれかに記載の赤目補正方法。
6. 撮影画像データに生じている赤目を補正するために、
   前記撮影画像データから所定の肌色検出条件に基づいて肌色画素を検出する機能と、
   前記撮影画像データから所定の白色検出条件に基づいて白色画素を検出する機能と、
   前記撮影画像データから所定の赤色検出条件に基づいて赤色画素を検出する機能と、
   前記赤色画素を赤目画素候補とし、この赤目画素候補の周辺領域内における前記肌色画素と前記白色画素の各存在個数を用いた判別条件に基づいて前記赤目画像候補を赤目画素と認定する機能と、
   前記認定された赤目画素の画素値を変更することで赤目補正を行う機能をコンピュータに実行させる赤目補正プログラム。
7. 入力された撮影画像データに生じている赤目を補正する画像処理装置において、
   前記撮影画像データから所定の肌色検出条件に基づいて肌色画素を検出する肌色画素検出部と、
   前記撮影画像データから所定の白色検出条件に基づいて白色画素を検出する白色画素検出部と、
   前記撮影画像データから所定の赤色検出条件に基づいて赤色画素を検出する赤色画素検出部と、
   前記赤色画素を赤目画素候補とし、この赤目画素候補の周辺領域内における前記肌色画素と前記白色画素の各存在個数を用いた判別条件に基づいて前記赤目画像候補を赤目画素と認定する赤目画素決定部と、
   前記認定された赤目画素の画素値を変更することで赤目補正を行う赤目補正部とから構成されていることを特徴とする画像処理装置。
8. 赤目判別の困難度を予測する赤目判別困難度予測部が備えられ、この赤目判別困難度に応じて前記赤目補正部は前記認定された赤目画素の画素値を変更する度合いを調整することを特徴とする請求項７に記載の画像処理装置。

Images