JP2011198116A - 画像処理装置、画像処理プログラム - Google Patents

Abstract

【課題】
赤目現象が発生している領域を適切に特定することができる画像処理装置、画像処理プログラムを提供することにある。
【解決手段】
カラー画像における赤目現象の発生している赤目を含む赤目候補領域から赤目画素を特定する画像処理装置であって、前記赤目候補領域の画素群を赤値に基づく所定の区間に区分し、前記区間毎に、赤度値に対応する画素数を表すヒストグラムを生成し、前記ヒストグラムの形状に基づいた前記赤度値を有し赤目画素と非赤目画素とを分離する分離曲線を生成する分離曲線生成手段と、前記赤目候補領域の各画素について、前記画素の前記赤度値が、前記分離曲線における前記画素の赤値に対応する前記赤度値より大きい場合に、前記画素を赤目画素として特定する赤目画素特定手段と、を有する。
【選択図】 図７

Description

本発明は、画像処理装置、画像処理プログラムに関する。

フラッシュを使用して人物を撮影した場合、目の色が赤色や金色に撮影される赤目現象が発生する。デジタルカメラ、コンピューター、またはプリンター等の画像処理機能を有する装置には、この赤目現象が発生した画像を画像処理によって補正できるものがある（特許文献１参照）。

特開平１０−２３３９２９号

しかしながら、従来の方法では、赤目現象が発生している領域を精度よく特定することができず、その結果、赤目補正を適切に行うことができない場合があった。

本発明は、このような状況に鑑みてなされたものであり、赤目現象が発生している領域を適切に特定することができる画像処理装置、画像処理プログラムを提供することにある。

上記の目的を達成するために、本発明の第１の側面によれば、カラー画像における赤目現象の発生している赤目を含む赤目候補領域から赤目画素を特定する画像処理装置であって、前記赤目候補領域の画素群を赤値に基づく所定の区間に区分し、前記区間毎に、赤度値に対応する画素数を表すヒストグラムを生成し、前記ヒストグラムの形状に基づいた前記赤度値を有し赤目画素と非赤目画素とを分離する分離曲線を生成する分離曲線生成手段と、前記赤目候補領域の各画素について、前記画素の前記赤度値が、前記分離曲線における前記画素の赤値に対応する前記赤度値より大きい場合に、前記画素を赤目画素として特定する赤目画素特定手段と、を有する。

これにより、画像処理装置は、画像処理装置は、赤目現象が発生している赤目画素を高精度に検出することができる。

上記の第１の側面において好ましい態様によれば、前記分離曲線の前記赤度値は、前記ヒストグラムにおける前記画素数の最大値をピークにもつ第１の山の２つの裾野のうち赤度値が高い方の前記裾野の赤度値である。

この態様によれば、画像処理装置は、非赤目画素と赤目画素とを高精度に分離する赤度値に基づく分離曲線を生成することができる。

上記の第１の側面において好ましい態様によれば、前記分離曲線の前記赤度値は、前記第１の山の赤度値が高い方の裾野において前記赤度値に対応する画素数の減少率が所定値を下回った時の前記赤度値である。

この態様によれば、画像処理装置は、非赤目画素と赤目画素とをより高精度に分離する赤度値に基づく分離曲線を生成することができる。

上記の第１の側面において好ましい態様によれば、前記分離曲線の赤度値は、前記第１の山よりもピークの前記画素数が少ない第２の山の前記赤度値よりも小さい前記赤度値である。

この態様によれば、画像処理装置は、非赤目画素と赤目画素とをより高精度に分離する赤度値に基づく分離曲線を生成することができる。

上記の第１の側面において好ましい態様によれば、前記分離曲線生成手段は、前記区間における前記赤目候補領域の画素数が所定数以上になるように区分する。

この態様によれば、画像処理装置は、より高精度に非赤目画素と赤目画素とを分離する赤度値を検出することができる。

上記の第１の側面において好ましい態様によれば、前記分離曲線生成手段は、前記区間における画素数に応じた分解能の前記ヒストグラムを生成する。

この態様によれば、画像処理装置は、より高精度に非赤目画素と赤目画素とを分離する赤度値を検出することができる。

上記の第１の側面において好ましい態様によれば、前記分離曲線生成手段は、前記第１の山が形成されるような分解能の前記ヒストグラムを生成する。

この態様によれば、画像処理装置は、より高精度に非赤目画素と赤目画素とを分離する赤度値を検出することができる。

上記の第１の側面において好ましい態様によれば、前記赤目画素特定手段は、前記各画素について、前記画素の前記赤度値と、前記分離曲線における前記画素の赤値に対応する前記赤度値との比に基づいて、前記画素の赤目補正の度合いを表す補正強度情報を生成する。

この態様によれば、画像処理装置は、赤目画素の補正度合い情報（補正強度情報）を取得することができる。

上記の目的を達成するために、本発明の第２の側面によれば、カラー画像における赤目現象の発生している赤目を含む赤目候補領域から赤目画素を特定する画像処理をコンピューターに実行させるコンピューター読み取り可能な画像処理プログラムにおいて、前記赤目候補領域の画素群を赤値に基づく所定の区間に区分し、前記区間毎に、赤度値に対応する画素数を表すヒストグラムを生成し、前記ヒストグラムの形状に基づいた前記赤度値を有し赤目画素と非赤目画素とを分離する分離曲線を生成する分離曲線生成工程と、前記赤目候補領域の各画素について、前記画素の前記赤度値が、前記分離曲線における前記画素の赤値に対応する前記赤度値より大きい場合に、前記画素を赤目画素として特定する赤目画素特定工程と、を実行させる。

本発明の実施の形態に係るプリンター１の構成を示す斜視図である。 図１のプリンター１の機能構成例を示すブロック図である。 印刷処理対象画像ＴＩを模式的に示した図である。 赤目候補領域Ｐｅ１を表す図である。 赤目特定情報生成処理Ｚ１の流れを示すフローチャート図である。 赤目候補領域内の画素の「赤値−赤度値」平面における分布を表す図である。 赤成分区間「９６≦Ｒ値＜１２８」のヒストグラムを表す図である。 対数表示しない場合の図７のヒストグラムを表す図である。 赤成分区間「６４≦Ｒ値＜９６」のヒストグラムを表す図である。 対数表示しない場合の図７のヒストグラムを表す図である。 「赤値−赤度値」平面における分離曲線を表す図である。 補正強度マップ生成処理の流れを表すフローチャート図である。 補正強度係数テーブル図を表す図である。 補正処理Ｚ３の流れを表すフローチャート図である。

以下、図面にしたがって本発明の実施の形態について説明する。ただし、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

本実施の形態例に係る画像処理装置は、赤目候補領域の画素群を赤値に基づいて赤成分区間に区分し、赤成分区間毎に赤度値に対応する画素数を表すヒストグラムを生成し、ヒストグラムの形状に基づいた赤度値を有し赤目画素と非赤目画素とを分離する分離曲線を生成する。そして、画像処理装置は、赤目候補領域の各画素について、画素の赤度値が分離曲線における画素の赤値に対応する赤度値より大きい場合にその画素を赤目画素として特定することによって、高精度に赤目画素を特定するものである。

［プリンター１の構成の説明］
図１は、本発明の実施の形態としてのプリンター１のハードウェアの構成例を示すブロック図である。このプリンター１は、メモリーカード１８等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したカラーインクジェットプリンター、またはカラーレーザープリンターである。また、プリンター１は、印刷するカラー画像に対して、自動的に、赤目部分を検出し、その部分を自然な色（たとえば、黒色等）に補正する機能（以下、自動赤目補正機能と称する）を有している。

プリンター１は、ＣＰＵ１１、内部メモリー１２、操作部１３、表示部１４、プリンターエンジン１５、およびカードインターフェイス（カードＩ／Ｆ）１６を備えている。

ＣＰＵ（central processing unit）１１は、各部を制御して、内部メモリー１２に格納されているプログラムに応じて各種の処理等を実行する。

たとえばＣＰＵ１１は、自動赤目補正モードが設定されている場合、印刷に先立って、印刷されるカラー画像（以下、印刷処理対象画像ＴＩと称する）の中から、人物、犬などのペット等の目の画像を含む領域、またはユーザーが指定した点の周囲の領域等を検出する処理（以下、検出処理Ｚ０と称する）を実行する。また、ＣＰＵ１１は、検出した領域（以下、赤目候補領域Ｐｅ１と称する）に基づいて、赤目画素を特定するための情報を生成する処理（以下、赤目特定情報生成処理Ｚ１と称する）を実行する。そして、ＣＰＵ１１は、各画素について、生成した情報に基づいて赤目画素を特定し（以下、赤目画素特定処理Ｚ２と称する）、特定された赤目画素の色を自然な色（たとえば、黒色等）に置き換える処理（以下、補正処理Ｚ３と称する）を実行する。

内部メモリー１２は、ＣＰＵ１１が実行する各種プログラムや各種データを格納しているＲＯＭ（Read Only Memory）、およびＣＰＵ１１が実行対象とするプログラムやデータを一時的に格納するＲＡＭ（Random Access Memory）によって構成されている。

操作部１３は、ボタンやタッチパネルの１つまたは複数により構成され、ユーザーによる操作内容をＣＰＵ１１に通知する。

表示部１４は、液晶ディスプレイ等により構成され、ＣＰＵ１１から供給された表示データに対応する画像を表示する。

プリンターエンジン１５は、ＣＰＵ１１から供給された印刷データに基づき印刷を行う印刷機構である。

カードインターフェイス（Ｉ／Ｆ）１６は、カードスロット１７に挿入されたメモリーカード１８との間でデータのやり取りを行うためのインターフェイスである。なお、この例では、メモリーカード１８にＲＧＢデータとしての画像データが格納されており、プリンター１は、カードインターフェイス１６を介してメモリーカード１８に格納された画像データの取得を行う。

プリンター１の各構成要素は、バス１９を介して互いに接続されている。

なおプリンター１は、さらに、他の機器（例えばデジタルスチルカメラやコンピューター）とのデータ通信を行うためのインターフェイスを備えていてもよい。

［プリンター１の機能構成例の説明］
図２は、検出処理Ｚ０、赤目特定情報生成処理Ｚ１、及び赤目画素特定処理Ｚ２、補正処理Ｚ３を実行するためのプリンター１の機能構成例を示すブロック図である。この機能は、ＣＰＵ１１が内部メモリー１２に記憶されている所定のプログラムを実行することより実現可能となる。

画像読取部２１は、印刷処理対象画像ＴＩを、たとえばメモリーカード１８から、カードＩ／Ｆ１６を介して読み取る。

図３は、印刷処理対象画像ＴＩを模式的に示した図である。ここではこの印刷処理対象画像ＴＩの中央の人物の左目部分３０に生じている赤目現象を処理対象とするものとする。

赤目候補領域取得部２２は、画像読取部２１により読み取られた印刷処理対象画像ＴＩのレプリカ（以下、単に、印刷処理対象画像ＴＩとも称する）に対して、検出処理Ｚ０を実行する。具体的には、たとえば人物の目の基本的な形状を表すテンプレートを利用したパターンマッチングによる方法（たとえば、特開２００６−２７９４６０号公報）といった公知の検出方法を用いて、瞳孔及び虹彩、白目、瞼、目頭、目尻等の部位を含む領域を取得する処理を実行する。赤目候補領域取得部２２は、さらに、公知の検出方法によって取得された領域から、赤みがかった瞳孔や虹彩を含む領域を検出する処理を実行して、左目部分を赤目候補領域Ｐｅ１として取得する。

図４は、赤目候補領域Ｐｅ１を表す図である。同図の赤目候補領域Ｐｅ１は、図３の印刷処理対象画像ＴＩにおける赤目現象が発生している瞳孔及び虹彩と、その周辺の白目、瞼、眉、目頭、目尻等の部位とを含む矩形領域である。

図２に戻り、赤目特定情報生成部２３は、赤目候補領域取得部２２によって取得された赤目候補領域Ｐｅ１に基づいて分離曲線を生成する。赤目特定情報生成部２３は、ヒストグラム生成部３１、分離曲線生成部３２によって構成される。

まず、赤目特定情報生成部２３のヒストグラム生成部３１は、赤目候補領域Ｐｅ１の画素群を赤値に基づいて区分した赤成分区間毎に、赤度値に対応する画素数を表すヒストグラムを生成する。そして、分離曲線生成部３２は、各赤成分区間のヒストグラムの形状に基づいて、赤目画素とそれ以外の画素とを分離する各赤値に対応する赤度値を有する分離曲線を生成する。処理の詳細については、赤目特定情報生成処理Ｚ１として後述する。

そして、赤目画素特定部２４は、赤目特定情報生成部２３によって生成された分離曲線に基づいて赤目画素を特定する赤目画素特定処理Ｚ２を行う。赤目画素特定部２４の補正強度マップ生成部４１は、赤目の赤目候補領域Ｐｅ１の各画素について、画素の赤度値が分離曲線における当該画素の赤値に対応する赤度値（分離閾値）より大きい場合に、当該画素を赤目画素として特定する。具体的には、補正強度マップ生成部４１は、各画素について、画素の赤度値と前記分離閾値との比率に基づいて補正強度係数（補正強度情報）を決定し、補正強度マップＭａに格納する。補正強度係数は、赤目補正の度合いを表す値である。

補正部２５は、赤目画素特定部２４により生成された補正強度マップＭａに格納されている補正強度係数に応じた補正強度によって、印刷処理対象画像ＴＩの色を黒色等に置き換える（赤目を修正する）補正処理Ｚ３を実行し、印刷データを生成する。

図５は、自動赤目補正処理の流れを示すフローチャート図である。ステップＳ１１において、赤目候補領域取得部２２は、画像読取部２１により読み取られた印刷処理対象画像ＴＩに対して検出処理Ｚ０を実行し、赤目候補領域Ｐｅ１を取得する。

赤目候補領域Ｐｅ１は、図４のように、赤目とその周辺の肌領域を含む領域である。ただし、赤目候補領域Ｐｅ１は、必ずしも、図４のように矩形領域である必要はなく、目全体を含んでいる必要もない。本実施の形態例における赤目候補領域Ｐｅ１は、赤目現象が発生している領域を例えば１０％程度含んでいればよい。

［赤目特定情報生成処理Ｚ１：ヒストグラム生成処理の説明］
続いて、ステップＳ１２において、赤目特定情報生成処理Ｚ１が行われる。赤目特定情報生成部２３のヒストグラム生成部３１は、赤値に基づいて区分した赤成分区間毎に、赤度値に対応する画素数を表すヒストグラムを生成する（Ｓ１２）。

図６は、赤目候補領域Ｐｅ１の各画素を、Ｒ値とＲ値／Ｇ値を軸とする平面に、そのＲ値とＲ値／Ｇ値に対応する位置にプロットした図である。同図において、白抜きの四角印（□印）は、赤目現象が生じている画素を示し、黒塗りの四角印（◆印）はそれ以外の非赤目画素を示す。本実施の形態例における赤目候補領域Ｐｅ１の赤目画素の数は、非赤目画素の数に対して圧倒的に少ないものとする。

図６において、非赤目画素は、赤度値（Ｒ値／Ｇ値）の低い部分に集中して分布しており、赤目画素（□印）は、赤度値（Ｒ値／Ｇ値）の高い範囲に分散して分布している。このため、赤度値の低い範囲に集中して多量に分布する画素群６３と、赤度値の高い範囲に分散して分布する画素群６４の境界の赤度値が、赤目画素と非赤目画素を分離する分離閾値となる。そこで、ヒストグラム生成部３１は、赤成分区間Ｌｒ毎に赤度値に対応する画素数を表すヒストグラムを生成し、ヒストグラム上の赤度値が低い範囲に多量に集中分布する非赤目画素の分布を見つけ、当該分布における赤度値が高い側の境界の赤度値を分離閾値として取得する。

従って、本実施の形態例におけるヒストグラム生成部３１は、赤目候補領域Ｐｅ１の画素群を図６の横軸の赤値（Ｒ値）に基づく赤成分区間Ｌｒに区分し、赤成分区間Ｌｒ毎に赤度値に対応する画素数を表すヒストグラムを生成する。そして、ヒストグラム生成部３１は、生成したヒストグラムの形状に基づいて赤目画素（□印）と非赤目画素（◆印）とを分離する赤度値（分離閾値）を取得する。

まず、本実施の形態例におけるヒストグラム生成部３１は、赤値を例えば、８等分した赤成分区間Ｌｒに区分する。具体的には、本実施の形態例におけるヒストグラム生成部３１は、赤値、例えばＲＧＢ色成分の「Ｒ成分値（０≦Ｒ値≦２５５）」を８等分し、８つの赤成分区間Ｌｒ（０〜３２、３２〜６４、６４〜９６、９６〜１２８、１２８〜１６０、１６０〜１９２、１９２〜２２４、２２４〜２５５）に区分するものとする。そして、ヒストグラム生成部３１は、赤成分区間Ｌｒ毎に、当該赤成分区間Ｌｒの赤値を有する赤目候補領域Ｐｅ１内の画素群に基づいて、赤度値に対応する画素数を表すヒストグラムを生成する。

なお、本実施の形態例におけるヒストグラム生成部３１は、赤度値として「Ｒ値／Ｇ値（Ｒ値／Ｂ値）」を用いる。しかし、赤度値は上記の例に限定されるものではなく、ヒストグラム生成部３１は、例えば、「Ｒ値−Ｇ値、Ｒ値−Ｂ値」、「Ｒ値×Ｒ値／Ｇ値×Ｂ値」、「２×Ｒ値−（Ｇ値＋Ｂ値）」等の赤度値を用いてもよい。なお、上記の例ではＲＧＢ成分の場合を例示したが、ヒストグラム生成部３１は、ＣＭＹＫやＨＳＶ等に基づいた赤度値を用いてもよい。

また、赤目現象には瞳孔等の部分が赤色になる場合の他に、当該部分が金色になる現象（いわゆる金目）がある。本実施の形態例におけるヒストグラム生成部３１は、赤色の赤目画素を特定する場合は赤度値として「Ｒ値／Ｇ値」を、金色の金目画素を特定する場合は赤度値として「Ｒ値／Ｂ値」を用いる。具体的には後述する。

図７は、赤成分区間Ｌｒのひとつである「９６≦Ｒ値＜１２８」区間（図６の６１）の赤値をもつ赤目候補領域Ｐｅ１内の画素群に基づいたヒストグラムを表す図である。同図において、ヒストグラムの縦軸の画素数は、そのスケールが大きいため対数表示されている。また、図７のヒストグラムの分解能は１である。

図７において、ヒストグラムにおける最大の画素数をピーク７３とする第１の山７１が赤度値（横軸）「０≦Ｒ値／Ｇ値≦３」の範囲に、第１の山７１のピークよりも少ない画素数をピーク７４とする第２の山７２が赤度値（横軸）「３＜Ｒ値／Ｇ値≦７」の範囲に形成されている。赤目候補領域Ｐｅ１における非赤目画素は、赤度値の低い範囲に多量に集中分布するため、各赤成分区間のヒストグラムの赤度値の低い範囲に最大の画素数をピークとする第１の山７１を形成する。

また、赤成分区間Ｌｒによっては、ヒストグラムの赤度値の高い部分に、図７のような第２の山７２が形成される。赤目候補領域Ｐｅ１の赤目画素は、赤度値の高い範囲に分散して分布するが赤成分区間Ｌｒによっては一定の赤度値範囲に集中して分布することから、赤度値が高い範囲に第１の山７１より小さい第２の山７２が形成されることがある。

そして、ヒストグラム生成部３１は、非赤目画素によって形成された第１の山７１の赤度値が高い方の裾野の赤度値を、赤目画素と非赤目画素とを分離する分離閾値として取得する。また、ヒストグラム生成部３１は、第１の山７１において、画素数の減少率が所定値を下回る部分の赤度値を分離閾値として取得してもよい。また、ヒストグラム生成部３１は、図７のように第２の山７２が形成されている場合、分離閾値を第２の山７２の赤度値より小さい値とする。赤目画素の分布は分散しているため、ヒストグラム生成部３１は、少なくとも赤目画素によって形成された第２の山７２の赤度値より小さい値を分離閾値とする。

以下、ヒストグラムに基づいて具体的に述べる。

図８は、対数表示しない場合の図７のヒストグラムを表す図である。同図のヒストグラムは対数表示されていないため、赤度値に対する画素数がリニアに表されている。そのため、ヒストグラム生成部３１は、図８のヒストグラムの形状に基づいて分離閾値を取得する。ヒストグラム生成部３１は、同図において、第１の山７１の赤度値が高い方の裾野部分の赤度値であって、第１の山７１の画素数の変移を表す曲線８１の傾きが所定の値を下回った赤度値、即ち、曲線８１の傾きが収束した赤度値を分離閾値として取得する。

図８におけるヒストグラムの第１の山７２の赤度値が高い方の裾野において、赤度値「２．５」８２付近で曲線８１の傾きが収束している。従って、ヒストグラム生成部３１は、赤成分区間Ｌｒ「９６≦Ｒ値＜１２８」の分離閾値を赤度値「２．５」とする。なお、赤度値「２．５」は、第２の山７２の赤度値「３＜Ｒ値／Ｇ値≦７」よりも小さい値である。

このようにして、ヒストグラム生成部３１は、非赤目画素の形成する第１の山における赤度値の高い方の裾野の赤度値を、集中分布する多量の非赤目画素と分散分布する赤目画素とを分離する分離閾値として取得する。また、ヒストグラム生成部３１は、第１の山において画素数の減少率が所定の値以下となる赤度値であって、また、赤目画素の第２の山の赤度値よりも小さい赤度値を分離閾値とすることによって、より高精度に赤目画素と非赤目画素とを分離する分離曲線を生成することができる。

次に、他の赤成分区間Ｌｒ（図６の６２）のヒストグラムを例示する。図９、図１０は、赤成分区間Ｌｒ「６４≦Ｒ値＜９６」のヒストグラムである。

図９は、赤成分区間Ｌｒ「６４≦Ｒ値＜９６」の赤値をもつ赤目候補領域Ｐｅ１内の画素群に基づく対数表示したヒストグラムを表す図である。また、図９のヒストグラムの分解能は１である。同図のヒストグラムにおいて、最大の画素数をピーク９３とする第１の山９１が赤度値（横軸）「０≦Ｒ値／Ｇ値≦４」の範囲に、第１の山９１のピークよりも少ない画素数をピーク９４とする第２の山９２が赤度値（横軸）「４＜Ｒ値／Ｇ値≦７」の範囲に形成されている。

図１０は、対数表示しない場合の図９のヒストグラムを表す図である。同図のヒストグラムは対数表示されていないため、赤度値に対する画素数がリニアに表されている。ヒストグラム生成部３１は、第１の山９１の赤度値が高い方の裾野部分の赤度値であって、第１の山９１の画素数の変移を表す曲線１０１の傾きが所定の値を下回った付近の赤度値「２．５」１０２を分離閾値として取得する。また、赤度値「２．５」は、第２の山９２の赤度値「４＜Ｒ値／Ｇ値≦７」よりも小さい値である。

以上のようにして、ヒストグラム生成部３１は、赤成分区間Ｌｒ毎に赤度値に対応する画素数を表すヒストグラムを生成し、ヒストグラムの形状に基づいて赤目画素と非赤目画素とを分離する赤度値（分離閾値）を取得する。同様にして、ヒストグラム生成部３１は、分布状態の異なる他の赤成分区間Ｌｒについても、ヒストグラムの形状に基づいて赤目画素と非赤目画素とを分離する赤度値を取得することができる。

なお、本実施の形態例におけるヒストグラム生成部３１は、赤値を８分割して８つの赤成分区間Ｌｒに区分しているが、赤成分区間Ｌｒの区分数は上記の例に限定されるものではない。ヒストグラム生成部３１は、赤値を例えば１６〜３２等に区分してもよい。ただし、赤成分区間Ｌｒは、各赤成分区間Ｌｒの赤目候補領域Ｐｅ１における画素数が一定以上になるように区分されることが望ましい。

ヒストグラムの母数となる画素数が一定量以上であることにより、ヒストグラム生成部３１は、非赤目画素の分布を表す第１の山がより明確に形成されたヒストグラムを生成することができる。これにより、ヒストグラム生成部３１は、赤目画素と非赤目画素とを分離する分離閾値をより容易に高精度に取得することができる。

また、本実施の形態例におけるヒストグラム生成部３１は、図７〜図１０のヒストグラムにおける赤度値（横軸）の分解能を「１」としているが、この例に限定されるものではない。ヒストグラム生成部３１は、ヒストグラムの分解能を、各赤成分区間Ｌｒの赤目候補領域Ｐｅ１内の画素数に応じて決めてもよい。

例えば、ヒストグラム生成部３１は、各赤成分区間Ｌｒの赤目候補領域Ｐｅ１内の画素数が少ない場合、分解能を大きくして分解能の赤度値に対応する画素数を増加させる。これにより赤度値毎の画素数の差異が強調され、ヒストグラム生成部３１は、第１の山をより明確に検出可能なヒストグラムを生成することができる。反対に、各赤成分区間Ｌｒの赤目候補領域Ｐｅ１における画素数が多い場合、ヒストグラム生成部３１は、分解能を小さくしてヒストグラム上の第１の山における画素数の変移をより詳細に検知するようにしてもよい。

このように、ヒストグラム生成部３１は、各赤成分区間Ｌｒの赤目候補領域Ｐｅ１内の画素数に応じてヒストグラムの分解能を決めることによって、赤目画素と非赤目画素とを分離する分離閾値をより高精度に取得することができる。

また、ヒストグラム生成部３１は、ヒストグラム上の第１の山がより明確に形成されるような分解能を検出して、その分解能に基づいてヒストグラムを生成してもよい。この場合、ヒストグラム生成部３１は、例えば、分解能を徐々に大きくしていき、ヒストグラムにおける第１の山が一定以上の傾斜を有するような分解能を検出する。これにより、ヒストグラム生成部３１は、第１の山をより明確に検出可能なヒストグラムを生成することができ、当該ヒストグラムの形状に基づいて、赤目画素と非赤目画素とを分離する分離閾値をより高精度に取得することができる。

［赤目特定情報生成処理Ｚ１：分離曲線生成処理の説明］
続いて、図５のステップＳ１３において、赤目特定情報生成部２３の分離曲線生成部３２は、ヒストグラム生成部３１によって取得された各赤成分区間Ｌｒの赤度値（分離閾値）に基づいて図１１のような分離曲線を生成する。

図１１は、Ｒ値とＲ値／Ｇ値を軸とする平面上における分離曲線を表す図である。同図において、分離曲線１１１は、赤目画素と非赤目画素とを分離している。このように、分離曲線生成部３２は、赤成分区間Ｌｒ毎に生成されたヒストグラムの形状に基づく分離閾値に基づいて、赤目画素と非赤目画素とを分離する分離曲線１１１を生成することができる。

一方、図１１の破線の分離曲線１１２は、従来の画像処理装置における分離曲線１１２である。従来の画像処理装置は、例えば、赤成分区間Ｌｒ毎に、赤目候補領域Ｐｅ１の画素の赤度値の平均値に基づいて、赤目画素と非赤目画素とを分離する分離曲線を生成していた。

ただし、図１１の赤成分区間Ｌｒ１１３のような赤目画素と非赤目画素が共に分布する赤成分区間Ｌｒの赤度値の平均値は、赤目画素の赤度値が高いことにより赤目画素と非赤目画素を分離する赤度値よりも高い値となってしまう。また、図１１の赤成分区間Ｌｒ１１４のように、非赤目画素だけが分布する赤成分区間Ｌｒの赤度値の平均値は、非赤目画素の赤度値の平均値となり、非赤目画素の分布の上方の境界値よりも低い値となってしまう。

そこで、従来の画像処理装置は、赤成分区間Ｌｒ毎に、赤目候補領域Ｐｅ１の画素の赤度値の平均値に対して、赤目画素と非赤目画素とを分離する境界値になるように所定の調整を加えて分離曲線１１２を生成していた。そのため、従来の分離曲線１１２は、赤目画素と非赤目画素とを正確に分離するものではなく、赤目画素を特定する精度が低かった。

それに対して、本実施の形態例における分離曲線生成部３２は、赤成分区間Ｌｒ毎に赤度値に対応する画素数を表すヒストグラムを生成し、ヒストグラムの形状に基づいて非赤目画素の分布を検出し赤目画素と非赤目画素とを分離する分離閾値を取得する。このため、本実施の形態例における分離曲線生成部３２は、従来のように、所定の調整を加える必要なく、赤目画素と非赤目画素とを高精度に分離する分離曲線１１１を生成することができる。

なお、前述した通り、赤目現象には瞳孔部分が金色になる現象がある。金色の赤目現象が生じている画素の色は黄色系であるため、図７〜図１０の赤度値「Ｒ値／Ｇ値」に対応する画素数を表すヒストグラムでは、金色の赤目画素と非赤目画素とが分離して分布せず分離閾値を取得することが難しい。それに対し、赤度値「Ｒ値／Ｂ値」に対応する画素数を表すヒストグラムでは、図７〜図１０のヒストグラムにおける赤色の赤目画素と同様に、金色の赤目画素と非赤目画素とが明確に分離される。

従って、金色の赤目画素を特定する場合、分離曲線生成部３２は、赤成分区間Ｌｒ毎に赤度値「Ｒ値／Ｂ値」に対応する画素数を表すヒストグラムを生成し、その形状に基づいて分離閾値を取得し分離曲線を生成する。これにより、分離曲線生成部３２は、金色の赤目画素と非赤目画素とを分離する分離曲線を生成することができる。

なお、本実施の形態例の分離曲線生成部３２は、「Ｒ（赤値）＝０」、「Ｒ＝２２５」、及び各赤成分区間Ｌｒの赤度値（分離閾値）を分離曲線の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。画像処理装置は、このように赤成分区間Ｌｒ毎の赤度値のみを記憶することによって、記憶容量を節約することができる。

以上のようにして、本実施の形態例のおける分離曲線生成部３２は、赤度値（Ｒ値／Ｇ値）に対応する画素数を表すヒストグラムの形状に基づいて、赤色の赤目画素を特定する分離曲線を生成する。また、本実施の形態例における分離曲線生成部３２は、さらに、赤度値（Ｒ値／Ｂ値）に対応する画素数を表すヒストグラムの形状に基づいて、金色の赤目画素を特定する分離曲線を生成する。分離曲線生成部３２は、生成した分離曲線を内部メモリー１２に記憶する。

［赤目画素特定処理Ｚ２：補正強度マップ生成処理の説明］
分離曲線の生成後、赤目画素特定部２４は、図５のステップＳ１４において赤目画素特定処理Ｚ２を実行する。

本実施の形態例における赤目画素特定部２４の補正強度マップ生成部４１は、赤目画素の特定結果を示す情報として補正強度マップＭａを生成する。補正強度マップＭａは、赤目候補領域Ｐｅ１の各画素に対応する格納部を有する。格納部を画素として仮定すると、補正強度マップＭａは少なくとも赤目候補領域Ｐｅ１と同じ画素サイズを有する。本実施の形態例における補正強度マップ生成部４１は、赤目候補領域Ｐｅ１における画素が赤目画素であると推定できる場合は「１２８以上の値」を、そうでない場合には「１２８より小さい値」を、対応する補正強度マップＭａの各格納部（すなわち各画素）に格納する。

図１２は、補正強度マップ生成処理の流れを表すフローチャート図である。まず、補正強度マップ生成部４１は、赤目候補領域Ｐｅ１から注目する１つの画素（以下、注目画素と称する）を選択し（Ｓ４１）、注目画素のＲ値（赤値）、Ｒ値／Ｇ値およびＲ値／Ｂ値（赤度値）を取得する（Ｓ４２）。

続いて、補正強度マップ生成部４１は、注目画素のＲ値に対応する分離曲線の値（以下、分離閾値と称する）を取得する（Ｓ４３）。具体的には、注目画素のＲ値における分離閾値としてのＲ値／Ｇ値（以下、分離閾値Ｒ／Ｇと称する）、及び、分離閾値としてのＲ値／Ｂ値（以下、分離閾値Ｒ／Ｂと称する）が求められる。

次に、補正強度マップ生成部４１は、ステップＳ４３で取得した分離閾値に応じた補正強度係数を求める（Ｓ４４）。例えば、本実施の形態例における補正強度マップ生成部４１は、図１３の補正強度係数テーブルを参照し、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比に対応する補正強度係数と、注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比に対応する補正強度係数とを求め、より大きい補正強度係数を注目画素の補正強度係数とする。そして、補正強度マップ生成部４１は、求めた補正強度係数を、注目画素に対応する補正強度マップＭａの格納部に格納する。

図１３は、補正強度係数テーブル図を表す図である。同図における横軸は、画素の赤度値（Ｒ値／Ｇ値）と分離閾値（分離閾値Ｒ／Ｇ）との比を表し、縦軸は補正強度係数を表す。同図の補正強度係数テーブルによって、注目画素の赤度値と分離曲線上の分離閾値との比に対応する補正強度係数が取得される。

注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比が１以上となる画素は、Ｒ値とＲ値／Ｇ値を軸とする平面において（図１１）、分離曲線上、またはその上方に存在する。また、注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１以上となる画素は、Ｒ値とＲ値／Ｂ値を軸とする平面において、分離曲線上、またはその上方に存在する。従って、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比、または、注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１以上である場合、注目画素は、赤目画素の分布内の画素、即ち赤目画素として推定され、当該画素に１２８以上の補正強度係数が割り当てられる。

一方、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比が１より小さい画素は、Ｒ値とＲ値／Ｇ値を軸とする平面において（図１１）、分離曲線より下方に存在する。また、注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比が１より小さい画素は、Ｒ値とＲ値／Ｂ値を軸とする平面において、分離曲線より下方に存在する。従って、注目画素のＲ値／Ｇ値と分離閾値Ｒ／Ｇの比、及び、注目画素のＲ値／Ｂ値と分離閾値Ｒ／Ｂの比がいずれも１より小さい場合、注目画素は、非赤目画素の分布内の画素、即ち非赤目画素として推定され、当該画素に１２８より小さな補正強度係数が割り当てられる。

このように、本実施の形態例における補正強度マップ生成部４１は、非赤目画素と推定される画素であっても、Ｒ値／Ｇ値と分離閾値Ｒ／Ｇの比（またはＲ値／Ｂ値と分離閾値Ｒ／Ｂの比）が０．８以上である画素（即ち、分離曲線から２割下側に分布する画素）については、１２８より小さい補正強度係数を割り当てる。１２８より小さい補正強度係数が割り当てられた画素は、補正処理Ｚ３によって、その補正強度係数に基づいて色補正される。これにより、瞳孔や虹彩でなくても赤目現象の影響を受けている画素についても、ある程度の補正処理が行われる。

次に、補正強度マップ生成部４１は、赤目候補領域Ｐｅ１内のすべての画素を注目画素として選択したか否かを判定する（Ｓ４５）。未だ注目画素として選択されていない画素が存在する場合、補正強度マップ生成部４１は、ステップＳ４１に戻り、他の画素を注目画素として選択し、ステップＳ４２以降の処理を同様に実行する。

そして、赤目候補領域Ｐｅ１内のすべての画素が注目画素として選択されると（Ｓ４５のＹＥＳ）、補正強度マップＭａが生成される。補正強度マップＭａには、赤目画素であると推定された画素については１２８以上の値が、非赤目画素であると推定された画素については１２８より小さな値が格納される。

以上のようにして、赤目画素特定部２４は、分離曲線に基づいて赤目候補領域Ｐｅ１の各画素についての補正強度マップＭａを生成する。

なお、本実施の形態例にける赤目画素特定部２４は、赤目候補領域Ｐｅ１の各画素について補正強度係数を取得しているが、必ずしも補正強度係数を取得する必要はない。赤目画素特定部２４は、赤目候補領域Ｐｅ１の各画素について赤目画素であるか否かを特定するだけでもよい。

［補正処理Ｚ３の説明］
続いて、補正部２５は、図５のステップＳ１５において、補正強度マップＭａに基づいて補正処理Ｚ３を実行する。

図１４は、補正処理Ｚ３の流れを表すフローチャート図である。まず、補正部２５は、赤目候補領域Ｐｅ１から注目する画素を選択し（Ｓ５１）、補正強度マップＭａから注目画素に対応する格納部に格納された補正強度係数を読み取る（Ｓ５２）。そして、補正部２５は、読み取った補正強度係数に応じて、注目画素の色を調整する（Ｓ５３）。例えば、補正部２５は、補正強度係数の大きさに応じた濃さの黒色を選択し、注目画素の色をその黒色に置き換える。

具体的には、例えば、式（１）によって、赤目候補領域Ｐｅ１の注目画素ｉとその両隣の画素i-1，画素i+1のＲＧＢがブレンドされる。そして、式（２）によって、ブレンドされたＲＧＢ（式（１）中、Ｒ’，Ｇ’，Ｂ’）を用いて、ターゲットカラー（式（２）中、TargetColor）としてグレー色が求められる。

さらに式（３）によって、注目画素の補正強度係数（式（３）中、Intensity）を用いて、ターゲットカラーと注目画素のＲＧＢがブレンドされ、置き換えられる色（式（３）中、Ｒnew、Ｇnew，Ｂnew）が決定される。そして注目画素の色が、ここで求められた色に置き換えられる。

そして、補正部２５は、赤目候補領域Ｐｅ１内のすべての画素を注目画素として選択したか否かを判定する（Ｓ５４）。まだ注目画素として選択されていない画素が存在する場合（Ｓ５４のＮＯ）、補正部２５は、ステップＳ５１に戻り、他の画素を注目画素として選択してステップＳ５２以降の処理を同様に実行する。

一方、赤目候補領域Ｐｅ１内のすべての画素を選択した場合（Ｓ５４のＹＥＳ）、補正部２５は、補正処理を終了する。このように、補正部２５は補正強度係数の大きさに応じた度合いに基づいて色補正を行う。

以上のようにして、本実施の形態例における画像処理装置は、赤目候補領域Ｐｅ１の画素群を赤値に基づく赤成分区間Ｌｒに区分し、赤成分区間Ｌｒ毎に、赤度値に対応する画素数を表すヒストグラムを生成して、その形状に基づいて赤目画素と非赤目画素とを分離する赤度値を有する分離曲線を生成する。また、画像処理装置は、赤目候補領域の各画素について、画素の赤度値が、分離曲線における画素の赤値に対応する赤度値より大きい場合に、当該画素を赤目画素として特定する。

これにより、画像処理装置は、赤目候補領域Ｐｅ１の特徴に基づいて赤目画素と非赤目画素とを分離する分離曲線を生成することができ、赤目画素を高精度に特定することができる。

また、本実施の形態例における画像処理装置は、赤成分区間Ｌｒ毎に生成したヒストグラムにおいて、画素数の最大値をピークにもつ第１の山の赤度値が高い方の裾野の赤度値を分離閾値とする。また、本実施の形態例における画像処理装置は、ヒストグラムにおける第１の山の赤度値が高い方の裾野において、画素数の減少率が所定値を下回った時の赤度値を分離閾値とする。これにより、画像処理装置は、赤度値が低い部分に多量に集中して分布する非赤目画素と、赤度値が高い部分に分散して分布する赤目画素の分布を高精度に分離する分離閾値に基づく分離曲線を生成することができる。

また、本実施の形態例における画像処理装置は、赤成分区間Ｌｒ毎に生成したヒストグラムにおいて、画素数の最大値をピークにもつ第１の山に加えて、第１の山よりもピークの画素数が少ない第２の山が形成されている場合、第２の山の赤度値よりも小さい値を分離閾値とする。これにより、画像処理装置は、少なくとも赤目画素が集中して分布する赤度値より小さい赤度値を分離閾値として取得することができる。

さらに、本実施の形態例における画像処理装置は、赤目候補領域の各画素について、画素の赤度値と分離曲線における分離閾との比率に基づいて補正強度係数を取得する。これにより、画像処理装置は、取得した補正強度係数に応じた度合いに基づいて各画素の赤目補正処理を行うことができる。

ところで、印刷処理対象画像ＴＩ（図３）が全体的に暗い場合や赤被りしている等の場合に、ヒストグラムにおいて赤目画素と非赤目画素の分布が明確に分離され難いことがある。そのような場合、画像処理装置は、次のように分離閾値を調整してもよい。以下、具体的に説明する。

例えば、印刷処理対象画像ＴＩが全体的に暗く粒状度が高い場合、赤目候補領域Ｐｅ１における赤度値の標準偏差値は高く分散度合いが大きい。この場合、赤目候補領域Ｐｅ１の赤度値が分散しているため、ヒストグラム上において赤目画素と非赤目画素とが明確に分離されにくい。そのような場合、非赤目画素が赤目画素として特定されることを防ぐために、画像処理装置は、赤目候補領域Ｐｅ１における赤度値の標準偏差値が高い場合は、分離閾値（赤度値）を高めの値に調整する。

また、印刷処理対象画像ＴＩが赤被りしている場合、赤目候補領域Ｐｅ１の画素の赤度値が全体的に高いことにより、ヒストグラムにおいて赤目画素と非赤目画素とが明確に分離されにくい。この場合も同様にして、画像処理装置は、非赤目画素が赤目画素として特定されることを防ぐために、分離閾値（赤度値）を高めの値に調整する。

このようにして、画像処理装置は、ヒストグラムにおいて赤目画素と非赤目画素の分布が明確に分離されにくい場合、分離閾値を調整することによって、非赤目画素が赤目画素として特定されて赤目補正が行われることを回避できる。

また、画像処理装置は、ヒストグラムにおいて第１の山が形成されない場合、または、赤度値の高い範囲に第１の山が形成された場合、赤目候補領域Ｐｅ１がそもそも目周辺の領域を含んでいない可能性があるとみなして、赤目画素特定処理Ｚ２、及び、補正処理Ｚ３を行わなくてもよい。これにより、画像処理装置は、目の領域を含んでいない可能性のある赤目候補領域Ｐｅ１の赤目補正処理を回避することができる。

［変形例］
また以上においては、プリンター１を利用した場合を例として説明したが、コンピューター、デジタルビデオカメラ、またはデジタルスチルカメラ等の他の画像処理装置に適用することができる。すなわち画像処理装置にインストールされる赤目補正ソフトウェア等に実装することができる。この場合、補正強度マップＭａを生成する機能が画像処理装置に実装され、画像処理装置からプリンターや表示側に補正強度マップＭａが提供され、プリンターや表示側で色補正が実行されるようにすることもできる。

また、上述した機能は、コンピューター等によって実現される場合、上述した機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピューターで実行することにより、処理機能がコンピューター上で実現される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disk）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disk ROM）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバーコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバーコンピューターから他のコンピューターにそのプログラムを転送することもできる。

プログラムを実行するコンピューターは、たとえば、可搬型記録媒体に記録されたプログラム若しくはサーバーコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバーコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

またフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。また適宜処理を省略することもできる。

１ プリンター， １１ ＣＰＵ ， １２ 内部メモリー， １３ 操作部， １４ 表示部， １５ プリンターエンジン， １６ カードＩ／Ｆ， １７ カードスロット， １８ メモリーカード， ２１ 画像読取部， ２２ 赤目候補領域取得部， ２３ 赤目特定情報生成部， ２４ 赤目画素特定部， ２５ 補正部， ３１ ヒストグラム生成部， ３２ 分離曲線生成部， ４１ 補正強度マップ生成部

Claims (9)

1. カラー画像における赤目現象の発生している赤目を含む赤目候補領域から赤目画素を特定する画像処理装置であって、
   前記赤目候補領域の画素群を赤値に基づく所定の区間に区分し、前記区間毎に、赤度値に対応する画素数を表すヒストグラムを生成し、前記ヒストグラムの形状に基づいた前記赤度値を有し赤目画素と非赤目画素とを分離する分離曲線を生成する分離曲線生成手段と、
   前記赤目候補領域の各画素について、前記画素の前記赤度値が、前記分離曲線における前記画素の赤値に対応する前記赤度値より大きい場合に、前記画素を赤目画素として特定する赤目画素特定手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１において、
   前記分離曲線の前記赤度値は、前記ヒストグラムにおける前記画素数の最大値をピークにもつ第１の山の２つの裾野のうち赤度値が高い方の前記裾野の赤度値であることを特徴とする画像処理装置。
3. 請求項２において、
   前記分離曲線の前記赤度値は、前記第１の山の赤度値が高い方の裾野において前記赤度値に対応する画素数の減少率が所定値を下回った時の前記赤度値であることを特徴とする画像処理装置。
4. 請求項３において、
   前記分離曲線の赤度値は、前記第１の山よりもピークの前記画素数が少ない第２の山の前記赤度値よりも小さい前記赤度値であることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記分離曲線生成手段は、前記区間における前記赤目候補領域の画素数が所定数以上になるように区分することを特徴とする画像処理装置。
6. 請求項１乃至４のいずれかにおいて、
   前記分離曲線生成手段は、前記区間における画素数に応じた分解能の前記ヒストグラムを生成することを特徴とする画像処理装置。
7. 請求項２乃至４のいずれかにおいて、
   前記分離曲線生成手段は、前記第１の山が形成されるような分解能の前記ヒストグラムを生成することを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかにおいて、
   前記赤目画素特定手段は、前記各画素について、前記画素の前記赤度値と、前記分離曲線における前記画素の赤値に対応する前記赤度値との比に基づいて、前記画素の赤目補正の度合いを表す補正強度情報を生成することを特徴とする画像処理装置。
9. カラー画像における赤目現象の発生している赤目を含む赤目候補領域から赤目画素を特定する画像処理をコンピューターに実行させるコンピューター読み取り可能な画像処理プログラムにおいて、
   前記赤目候補領域の画素群を赤値に基づく所定の区間に区分し、前記区間毎に、赤度値に対応する画素数を表すヒストグラムを生成し、前記ヒストグラムの形状に基づいた前記赤度値を有し赤目画素と非赤目画素とを分離する分離曲線を生成する分離曲線生成工程と、
   前記赤目候補領域の各画素について、前記画素の前記赤度値が、前記分離曲線における前記画素の赤値に対応する前記赤度値より大きい場合に、前記画素を赤目画素として特定する赤目画素特定工程と、
   を実行させることを特徴とする画像処理プログラム。