JP2005228076A - 画像補正装置 - Google Patents

Abstract

【課題】 専用の画像処理ツール等を用いたプロの手に委ねることなく、被写体の充血部分について違和感のない画像補正を行うことを可能とする技術を提供すること。
【解決手段】 画像補正装置であって、入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定する充血領域特定手段と、充血していない白目の色成分の値が対応付けられたテーブルを記憶するテーブル記憶手段と、充血領域内の各画素について、この画素の所定の色成分の値を取得し、テーブルにおいてこの色成分の値と対応付けられている他の色成分の値を取得し、取得された他の色成分の値を用いてこの画素の色情報を書き換える補正手段とを含む。
【選択図】 図１

Description

本発明は、画像を撮像する撮像装置や、画像を扱う情報処理装置やソフトウェア等に適用されて有効な技術に関する。

一般的に、充血した目が人に与える印象は、寝不足や疲れといった不健康な印象や恐い印象などであり決して良いものではない。このため、人に悪い印象を与えないようにするため、目の充血をおさえるための目薬などが提供されている。

しかし、一度充血してしまった目は化粧や目薬などによって容易に隠したり治したりすることはできない。このため、目が充血していることがわかっていても、そのままの状態で写真に写らなければならない場合がある。また、撮像された画像を見たときに初めて、自身の目が充血していたことに気がついてしまう場合もある。そして、撮像されてしまった画像における充血した目を修正するためには、専用の画像処理ツール等を用いたプロの手に委ねる必要があった。

また、正確に瞼の位置や虹彩円を検出するために、虹彩円の左右に隣接する一定範囲の強膜部の輝度を画像データの強膜部の平均輝度値で置き換えることにより、画像処理を行う上で充血などの影響を抑える技術が従来から提供されている（特許文献１参照）。
特開２００２−１１９４７７号公報

しかしながらこのような従来の技術では、補正後の画像を出力することが目的とされていたのではなく、補正により瞼の位置を正確に検出することが目的とされていた。このため、このような従来の技術では、充血した白目の画像に対し自然な補正処理を実施することについては一切考慮されていなかった。例えば上記のように一定範囲の輝度が同一輝度値（この場合は強膜部の平均輝度値）で置き換えられていたため、明らかに不自然な白目の画像が生成され出力されていた。

本発明ではこのような問題を解決し、専用の画像処理ツール等を用いたプロの手に委ねることなく、被写体の充血部分について違和感のない画像補正を行うことを可能とする技術を提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、画像補正装置であって、以下のように構成される。即ち、入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定する充血領域特定手段，充血していない白目の色成分の値が対応付けられたテーブルを記憶するテーブル記憶手段，及び充血領域内の各画素について、この画素の所定の色成分の値を取得し、テーブルにおいてこの色成分の値と対応付けられている他の色成分の値を取得し、取得された他の色成分の値を用いてこの画素の色情報を書き換える補正手段を含むように構成される。

「色成分」とは、画素の色を表す色情報を構成する成分を示す。例えば、画素の色情報が任意の表色系（例：ＲＧＢ表色系，Ｌａｂ表色系，Ｌｕｖ表色系）で表される場合は、各表色系の成分（例えばＲＧＢ表色系の場合は、Ｒ成分，Ｇ成分，Ｂ成分）を示す。

「他の色成分」とは、ある色を示す色情報の色成分のうち、所定の色成分以外の色成分を示す。例えば、ある画素におけるＲ成分が所定の色成分である場合、この画素における残りの色成分、即ちＧ成分及びＢ成分が、他の色成分に相当する。

本発明の第一の態様によれば、充血領域が特定され、この充血領域の画素の色成分の値が、充血していない白目の色を示す色成分の値に置き換えられる。このため、特に人の手を介することなく、被写体の充血した白目の画像を、充血していないように見える白目の画像に補正することが可能となる。

また、充血した白目の部分が置換される色成分の値（他の色成分の値）は、補正前の元々の画像における所定の色成分の値に基づいて決定される。このため、基本的には、充血した部分全てが同じ色に変換されることはなく、各部分に応じた色に変換される。このため、違和感のない画像補正が実現される。

また、本発明の第一の態様は、被写体の白目の領域であって充血していないと認められる非充血領域を特定する非充血領域特定手段，及び非充血領域の各画素について、画素の各色成分の値を取得し、取得された値を元にテーブル記憶手段に記憶されるテーブルを作成するテーブル作成手段をさらに含むように構成されても良い。

このように構成されることにより、各被写体の白目の色に応じたテーブルが作成され、このテーブルの値に従って充血した白目の画像に対する補正が行われる。このため、各被写体の白目の色に応じた違和感のない画像補正が実現される。

本発明の第二の態様は、画像補正装置であって以下のように構成される。即ち、入力された画像において、被写体の白目の部分と認められる白目領域を特定する白目領域特定手段，及び白目領域特定手段によって特定された白目領域の各画素について、彩度を下げることにより、当該白目領域に発生している充血部分の赤さを低減させる補正手段を備えるように構成される。

本発明の第二の態様では、白目領域特定手段によって特定された白目領域について、特に充血領域などを特定することなく、彩度を下げる処理を行うことにより補正が実施される。このため、充血領域などを特定する処理に要する時間を省き、処理を高速に実施することが可能となる。

また、どのような色も彩度を下げることによりグレースケール（白〜灰〜黒）の色に近づけることができる。このため、充血部分の赤色の彩度が下げられることにより、その赤色の明度にもよるが、白色や灰色に変換される。従って、充血部分の赤色が目立たなくなり、充血部分の補正が実現される。

本発明の第二の態様における補正手段は、白目領域の各画素について、彩度を下げた後に、さらに明度を上げることにより当該白目領域に生じた灰色部分を白く補正するように構成されても良い。

彩度を下げることによって白色や灰色に変換された充血部分の赤色は、その明度が低い場合にはより黒色に近い灰色に変換される。このため、このように変換された灰色の明度を上げる処理を行うことにより、黒色ではなく白色に近い灰色又は白色そのものに変換することが可能となる。従って、充血部分がさらに目立たなくなり、より自然な補正を行うことが可能となる。

本発明の第三の態様は、画像補正装置であって以下のように構成される。即ち、入力さ
れた画像において、被写体の白目の領域であって充血していると認められる充血領域を特定する充血領域特定手段，及び充血領域特定手段によって特定された充血領域の各画素について、彩度を下げることにより、当該充血領域の赤さを低減させる補正手段を備えるように構成される。

また、本発明の第三の態様の補正手段は、充血領域の各画素について、彩度を下げた後に、さらに明度を上げることにより当該充血領域に生じた灰色部分を白く補正するように構成されても良い。

第一〜第三の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一〜第三の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した第一〜第三の態様における各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

本発明によれば、特に人の手を介することなく、被写体の充血した白目の画像を、充血していないように見える白目の画像に、違和感なく補正することが可能となる。

次に、図を用いて本発明による画像補正装置について説明する。なお、画像補正装置についての以下の説明は例示であり、その構成は以下の説明に限定されない。また、以下の説明において人物画像とは少なくとも一つの目を含む画像であり、人物の顔の一部または全部を含む画像である。従って、人物画像とは、人物全体の画像を含んでも良いし、人物の顔だけや上半身だけの画像を含んでも良い。また、人物画像は複数の人物についての画像を含んでも良い。さらに、人物画像には、背景に人物以外の風景（背景：被写体として注目された物も含む）や模様などのいかなるパターンが含まれても良い。

［第一実施形態］
〔システム構成〕
まず、画像補正装置の第一実施形態である画像補正装置１ａについて説明する。画像補正装置１ａは、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），Ｆ
ＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。

図１は、画像補正装置１ａ，１ｂ（画像補正装置の第二実施形態），１ｃ（画像補正装置の第三実施形態）の機能ブロックを示す図である。画像補正装置１ｂ，１ｃについては後述する。

画像補正装置１ａは、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２，画像出力部３，画像記憶部４，顔検出部５，白目領域特定部６，及び充血補正部７ａ等を含む装置として機能する。顔検出部５，白目領域特定部６，及び充血補正部７ａは、プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部５，白目領域特定部６，及び充血補正部７ａは、それぞれが専用のチップとして構成されても良い。以下、画像補正装置１ａに含まれる各機能部について説明する。

〈画像入力部〉
画像入力部２は、人物画像の原画像のデータ（以下、「原画像のデータ」と呼ぶ）を画像補正装置１ａへ入力するためのインタフェースとして機能する。画像入力部２によって、画像補正装置１ａの外部から、原画像のデータが画像補正装置１ａへ入力される。画像入力部２は、画像補正装置１ａへ原画像のデータを入力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して原画像のデータが画像補正装置１ａへ入力されても良い。この場合、画像入力部２はネットワークインタフェースを用いて構成される。また、デジタルカメラやパーソナルコンピュータや記録装置（例えばハードディスクドライブ）等から原画像のデータが画像補正装置１ａへ入力されても良い。この場合、画像入力部２は、デジタルカメラやパーソナルコンピュータや記録装置と画像補正装置１ａとをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）
等の有線接続やｂｌｕｅｔｏｏｔｈ等の無線接続の規格）に応じて構成される。また、記録媒体（例えば各種フラッシュメモリやフロッピー（登録商標）ディスクやＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc、Digital Video Disc））に記録された原画像のデータが画像補正装置１ａへ入力されても良い。この場合、画像入力部２は、記録媒体からデータを読み出す装置（例えばフラッシュメモリリーダやフロッピーディスクドライブやＣＤドライブやＤＶＤドライブ）を用いて構成される。入力部２を介して入力される画像は、静止画像、動画像であることは問わない。

また、画像補正装置１ａがデジタルカメラ等の撮像装置又はデジタルカメラ等の撮像装置を備える各種装置（例えばＰＤＡ（Personal Digital Assistant）や携帯電話機）の内部に含まれ、撮像された人物画像が原画像のデータとして画像補正装置１ａへ入力されても良い。この場合、画像入力部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いて構成される。また、画像補
正装置１ａが、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された人物画像が原画像のデータとして画像補正装置１ａへ入力されても良い。この場合、画像入力部２は、これらの画像出力装置に入力された原画像のデータを画像補正装置１ａにおいて取り扱い可能なデータに変換する装置などを用いて構成される。

また、入力部２は上記された複数の場合に応じることが可能となるように構成されても良い。

〈画像出力部〉
画像出力部３は、充血補正部７ａによって作成された補正画像のデータを画像補正装置１ａの外部へ出力するためのインタフェースとして機能する。画像出力部３によって、画像補正装置１ａから、補正画像のデータが画像補正装置１ａの外部へ出力される。画像出力部３は、画像補正装置１ａから補正画像のデータを出力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワークを介して補正画像のデータが画像補正装置１ａから出力されても良い。この場合、画像出力部３はネットワークインタフェースを用いて構成される。また、パーソナルコンピュータ等の他の情報処理装置や記録装置へ補正画像のデータが出力されても良い。この場合、画像出力部３は、パーソナルコンピュータ等の他の情報処理装置や記録装置と画像補正装置１ａとをデータ通信可能に接続する規格に応じて構成される。また、記録媒体に対し補正画像のデータが出力（書き込み）されても良い。この場合、画
像出力部３は、これらの記録装置又は記録媒体へデータを書き込む装置（例えばフラッシュメモリライタやフロッピーディスクドライブやＣＤ−ＲドライブやＤＶＤ−Ｒドライブ）を用いて構成される。

また、画像補正装置１ａが、プリンタやディスプレイ等の画像出力装置の内部に含まれ、プリントアウトされる画像のデータやディスプレイに表示される画像のデータとして補正画像のデータが出力されるように構成されても良い。この場合、画像出力部３は、画像補正装置１ａにおいて生成された補正画像のデータをこれらの画像出力装置において取り扱い可能なデータに変換する装置などを用いて構成される。

また、画像出力部３は上記された複数の場合に応じることが可能となるように構成されても良い。

〈画像記憶部〉
画像記憶部４は、いわゆるＲＡＭやＲＯＭを用いて構成される。画像記憶部４は、顔検出部５，白目領域特定部６，及び充血補正部７ａによって各処理が実行される際に利用される。例えば、画像記憶部４には、処理対象となる原画像のデータや、処理の途中で生成される中間生成データや、出力データとしての補正画像のデータ等が読み書きされる。

〈顔検出部〉
顔検出部５は、画像記憶部４から原画像のデータを読み出し、原画像から人の顔を検出し、検出された顔の位置や大きさ等を示す顔座標を特定する。顔検出部５は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部５は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部５は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部５は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部５は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部５による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

また、原画像から複数の人の顔が検出された場合、特定の基準に従って処理の対象となる顔が決定される。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。

〈白目領域特定部〉
白目領域特定部６は、顔検出部５によって特定された顔座標に基づいて、顔検出部５によって検出された顔における白目の領域を特定する。白目の領域の特定は、既存のどのような技術を適用することにより実現されても良い。例えば、白目領域特定部６は、目の領域（上瞼と下瞼とに挟まれた領域）を特定し、特定された目の領域の中から白目の領域を特定する。このとき、目の領域を特定する処理や、特定された目の領域の中から白目の領域を特定する処理は、既存のどのような技術を適用することにより実現されても良い。以下に、目の領域を特定する処理と、特定された目の領域の中から白目の領域を特定する処理とについて、それぞれ例を説明する。

まず、目の領域を特定する処理の例について説明する。白目領域特定部６は、目頭（目の領域のうち最も顔の内側の点）、目尻（目の領域のうち顔の外側に最も近い点）、上瞼の上端、下瞼の下端の四点を検出する。このとき、白目領域特定部６は、顔の領域について目のパターンマッチングを実施することで目のおよその領域を把握する。白目領域特定
部６は、その領域においてエッジを検出することで上記四点を検出する。そして、白目領域特定部６は、検出された四点を通る矩形によって囲まれる領域を目の領域として特定する。

また、目の領域の特定は以下のように実施されても良い。まず、白目領域特定部６は、人物の目の中心位置を検出する。人物の目又は瞳の中心位置の検出法は、既存のどのような技術を適用することにより実現されても良い。具体的には、下記文献に記載の技術がある。

湯浅真由美、福井和広，山口修、「パターンとエッジの統合エネルギー最小化に基づく高精度な瞳検出」、信学技報、2000年、Vol.100、No.134、pp.79-84

次に、白目領域特定部６は、検出された中心位置から所定の大きさ（例：人物の顔幅の一定割合に基づいた大きさ，左右の目の中心位置の距離の一定割合に基づいた大きさ）の領域を目の領域として特定する。

次に、特定された目の領域の中から白目の領域を特定する処理の例について説明する。白目領域特定部６は、目の領域から肌の色以外の領域を抽出する。次に、白目領域特定部６は、抽出された領域から、白目の領域（即ち白色の領域及び赤色の領域）を抽出する。このとき、白目領域特定部６は、抽出された肌の色以外の領域から、瞳以外の領域（即ち黒色や茶色以外の領域）を抽出しても良い。これらの処理は、例えばＲＧＢ表色系やＬａｂ表色系に基づいて実施される。

〈充血補正部〉
充血補正部７ａは、充血成分除去処理を実施することにより、白目領域特定部６によって特定された白目の領域において、充血部分の領域（以下、「充血領域」と呼ぶ）を特定し、特定された充血領域について画像補正を行う。充血成分除去処理は、充血領域検出処理，テーブル作成処理，及び画素値置換処理を含む。ただし、充血補正部７ａは、原画像がＲＧＢ表色系の画像でない場合は、上記三つの処理を実施する前に白目の領域の画像をＲＧＢ表色系の画像に変換する。そして、充血補正部７ａは、上記三つの処理の後に、白目の領域の画像を元の表色系の画像に変換し戻す。

次に、上記三つの各処理の内容について説明する。まず、充血領域検出処理（充血領域の特定処理）について説明する。

〈〈充血領域検出処理〉〉
充血補正部７ａは、ＲＧＢの各値に基づいて白目の領域内の充血領域を検出する。具体的には、充血補正部７ａは、白目の領域内の各画素のＲＧＢ成分について、ＲＧＢの各成分について定められた閾値（Ｔｈ＿Ｒ，Ｔｈ＿Ｇ，Ｔｈ＿Ｂ）と比較することにより、充血領域であるか否か判断する。充血領域は、そうでない白目の領域（以下、「非充血領域」と呼ぶ）に比べて、Ｒ成分の値はほとんど同じであるが、Ｇ成分及びＢ成分の値が小さくなる。また、睫毛などの毛の部分は、非充血領域や充血領域に比べて黒いため、ＲＧＢの各成分の値が小さくなる。このため、Ｒ成分に注目することにより毛の部分であるか否かが判断でき、Ｇ成分及びＢ成分に注目することにより充血領域であるか非充血領域であるかが判断できる。このような事実に基づき、充血した目が撮像された複数の画像に基づいて統計学的にＲＧＢの各成分についての閾値が定められることが望ましい。

充血補正部７ａは、ＲＧＢの各成分に独立した画像（Ｒ成分二値画像，Ｇ成分二値画像，Ｂ成分二値画像）に対し、各成分の値が閾値よりも大きい画素には“１”を画素値として与え、閾値以下の画素には“０”を画素値として与える。図２（ａ）は、このようにし
て生成される各成分の二値画像の例を示す図である。図２では、白目の領域以外の部分はメッシュで示される。また、画素値が“１”である部分は白く示され、画素値が“０”である部分は黒く示される。

Ｒ成分二値画像においては、上睫毛や下睫毛の部分の画素値が閾値以下になり“０”となっている（即ち画像として黒く表現されている）。また、Ｇ成分二値画像及びＢ成分二値画像においては、充血領域の画素値が閾値以下になるため、充血部分の画素値が“０”となっている。

充血補正部７ａは、上記のように分類された各成分の二値画像において、Ｒ成分については“１”の値を有し、Ｇ成分及びＢ成分については“０”の値を有している画素を充血領域の画素として特定する。図２（ｂ）は、このような条件を満たす画素に画素値として“０”が与えられた画像（充血領域二値画像）の例を示す。図２（ｂ）では、充血領域が黒い領域として示される。

言い換えれば、充血補正部７ａは、白目の領域の画像において以下の数式を満たすＲＧＢ成分を有する画素を充血領域として特定する。

〈〈テーブル作成処理〉〉
次に、テーブル作成処理について説明する。充血補正部７ａは、テーブル作成処理の実施により、テーブル８を作成する。図３は、テーブル８の例を示す図である。テーブル８は、Ｒ成分の値と、Ｇ成分及びＢ成分の値とを対応付けて持つ。例えば、Ｒ０と、Ｇ０及びＢ０とが対応付けられている。テーブル８は、Ｒ成分の全階調についてＧ成分及びＢ成分との対応関係を有する。例えば、白目の領域の画像が２５６階調のＲＧＢ表色系の画像として表現されている場合、テーブル８におけるｎの値は、０〜２５５の値を有する。即ち、この場合、テーブル８におけるＲ成分の値は０〜２５５の値を有し、それぞれのＲ成分の値に対応したＧ成分及びＢ成分の値がテーブル８に保持される。

充血補正部７ａは、白目の領域のうち、充血領域でない領域（即ち非充血領域）の全画素の値についてＲＧＢの各成分の値を取得し、Ｒ成分の値ごとにその平均値を取得する。そして、充血補正部７ａは、Ｒ成分の値と、このＲ成分に対応するＧ成分及びＢ成分それぞれの平均値との対応関係を、テーブル８に登録する。この登録の後、テーブル８には、Ｇ成分及びＢ成分の値が登録されなかったＲ成分が生じる場合がある。このようなＲ成分については、充血補正部７ａは、内挿や外挿を実施することにより、対応するＧ成分及びＢ成分の値を取得し登録する。このような処理の実施により、テーブル８が作成される。

〈〈画素値置換処理〉〉
次に、画素値置換処理について説明する。充血補正部７ａは、画素値置換処理の実施により、充血領域の全ての画素について画素値の置換（置き換え）を行う。このとき、充血補正部７ａは、充血領域の画素値のＧ成分及びＢ成分の値を置換する。充血補正部７ａは、置換するためのＧ成分及びＢ成分の値を、テーブル８から取得する。即ち、充血補正部７ａは、充血領域の各画素において、画素値のＲ成分の値を取得し、このＲ成分と対応するＧ成分及びＢ成分の値をテーブル８から取得し、このＧ成分及びＢ成分の値を用いて画素値の置換を行う。言い換えれば、充血補正部７ａは、非充血領域における画素値（即ち正常な白目の色を示す値）と同様の値となるように、充血領域における画素値の置換を行
う。ここで画素値置換処理の説明を終える。

充血補正部７ａは、充血領域検出処理，テーブル作成処理，及び画素値置換処理を実施した後（原画像がＲＧＢ表色系でない場合は、原画像の表色系への変換が終了した後）、補正された白目の領域の画像を原画像の白目の領域に対して合成する。

〔動作例〕
図４は、画像補正装置１ａの動作例を示すフローチャートである。以下、図４を用いて、画像補正装置１ａの動作例について説明する。

まず、画像入力部２を介して、原画像が画像補正装置１ａに入力される（Ｓ０１）。入力された原画像のデータは、画像記憶部４に書き込まれる（Ｓ０２）。

顔検出部５は、入力された原画像のデータを画像記憶部４から読み出し、原画像のデータから被写体人物の顔位置を検出する（Ｓ０３）。顔検出部５は、検出された顔位置についての顔座標を白目領域特定部６へ渡す。

白目領域特定部６は、顔検出部５から受け取った顔座標を基に白目の領域を特定する（Ｓ０４）。白目領域特定部６は、特定された白目の領域に関する情報（白目領域情報）を充血補正部７ａへ渡す。

充血補正部７ａは、充血成分除去処理を実施する（Ｓ０５）。以下、充血成分除去処理の流れについて説明する。

図５は、充血成分除去処理の処理例を示すフローチャートである。充血成分除去処理において、充血補正部７ａは、まず原画像がＲＧＢ表色系に基づいた画像であるか否かについて判断する。充血補正部７ａは、原画像がＲＧＢ表色系に基づいた画像でないと認められる場合（Ｓ０７−Ｎｏ）、白目領域の画素値をＲＧＢ表色系の値に変換する（Ｓ０８）。

一方、原画像がＲＧＢ表色系の画像であると認められる場合（Ｓ０７−Ｙｅｓ）、又はＳ０８の処理の後、充血補正部７ａは、充血領域検出処理を実行する（Ｓ０９）。以下、充血領域検出処理の流れについて説明する。

図６は、充血領域検出処理の処理例を示すフローチャートである。充血領域検出処理において、充血補正部７ａは、白目領域内の各画素について、充血領域と認められるか否か、即ち数１の条件を満たすか否か判断する。数１の条件を満たさない場合（Ｓ１５−Ｎｏ）、充血補正部７ａは、この画素を非充血領域と判定する（Ｓ１６）。一方、数１の条件を満たす場合（Ｓ１５−Ｙｅｓ）、充血補正部７ａは、この画素を充血領域と判定する（Ｓ１７）。充血補正部７ａは、Ｓ１５〜Ｓ１７の処理を、白目領域内の全ての画素について実行し（Ｓ１８）、充血領域検出処理を終了する。

図５を用いた説明に戻る。充血補正部７ａは、充血領域検出処理が終了すると、次にテーブル作成処理を実行する（Ｓ１０）。以下、テーブル作成処理の流れについて説明する。

図７は、テーブル作成処理の処理例を示すフローチャートである。テーブル作成処理において、充血補正部７ａは、まず非充血領域内の各画素について、Ｒ成分の値（Ｒ値）と、Ｇ成分の値（Ｇ値）及びＢ成分の値（Ｂ値）との対応関係を記録する（Ｓ１９）。充血補正部７ａは、このＳ１９の処理を、非充血領域内の全ての画素について実行する（Ｓ２
０）。そして、充血補正部７ａは、記録された各Ｒ値において、対応付けられたＧ値及びＢ値の平均値を算出する（Ｓ２１）。

次に、充血補正部７ａは、各Ｒ値について、対応するＧ値及びＢ値が“０”であるか否か判断する。充血補正部７ａは、Ｒ値に対応するＧ値及びＢ値が“０”である場合（Ｓ２２−Ｙｅｓ）、内挿や外挿の実施によりこのＲ値に対応するＧ値及びＢ値を推定する（Ｓ２３）。一方、対応するＧ値及びＢ値が“０”でない場合（Ｓ２２−Ｎｏ）、又はＳ２３の処理の後、充血補正部７ａは、このＲ値について、Ｇ値及びＢ値との対応関係をテーブル８に登録する（Ｓ２４）。充血補正部７ａは、このＳ２２〜Ｓ２４の処理を全てのＲ値について実行し（Ｓ２５）、テーブル作成処理を終了する。

図５を用いた説明に戻る。充血補正部７ａは、テーブル作成処理が終了すると、次に画素値置換処理を実行する（Ｓ１１）。以下、画素値置換処理の流れについて説明する。

図８は、画素値置換処理の処理例を示すフローチャートである。画素値置換処理において、充血補正部７ａは、まず充血領域の各画素についてＲ値を読み出す（Ｓ２６）。次に、充血補正部７ａは、読み出されたＲ値に対応するＧ値及びＢ値を、テーブル８から読み出す（Ｓ２７）。そして、充血補正部７ａは、この画素の画素値のＧ値及びＢ値を、読み出されたＧ値及びＢ値に置き換える（Ｓ２８）。充血補正部７ａは、このＳ２６〜Ｓ２８の処理を充血領域内全ての画素について実行し（Ｓ２９）、画素値置換処理を終了する。

図５を用いた説明に戻る。充血補正部７ａは、画素値置換処理が終了すると、原画像がＲＧＢ表色系の画像であるか否かについて判断する。充血補正部７ａは、原画像がＲＧＢ表色系の画像でないと認められる場合（Ｓ１２−Ｎｏ）、白目領域の画素値をＲＧＢ表色系の値から元の表色系の値に変換する（Ｓ１３）。一方、原画像がＲＧＢ表色系の画像であると認められる場合（Ｓ１２−Ｙｅｓ）、又はＳ１３の処理の後、充血補正部７ａは、補正後の白目領域の画像を元画像の白目領域に合成し（Ｓ１４）、充血成分除去処理を終了する。

図４を用いた説明に戻る。充血成分除去処理が終了すると、画像出力部３は、補正後の画像（補正画像）を画像記憶部４から読み出し、画像補正装置１ａの外部へ出力する（Ｓ０６）。

〔作用／効果〕
画像補正装置１ａでは、画像の被写体の白目領域内において、補正すべき充血領域が充血補正部７ａによって特定される。そして、特定された充血領域について、非充血領域と同様の画素値となるように、充血補正部７ａによって画素値の置換が実施される。図９は、画像補正装置１ａによる効果を説明するための図である。図９（ａ）は、原画像における目の領域の画像である。図９（ｂ）は、画像補正装置１ａによって充血領域の画素値が置換された画像（補正画像）における目の領域の画像である。図９からわかるように、充血したために原画像では赤く表現されていた充血領域が、補正画像では白く補正されている。このように、画像補正装置１ａによれば、特に人手を介することなく、被写体の充血した白目の画像を、充血していないように見える白目の画像に補正することが可能となる。

また、充血領域の画素値が置換される新たな画素値は、充血領域の各画素のＲ値に応じてテーブル８により与えられる。このテーブル８は、補正対象となっている充血領域を含む同じ白目の非充血領域の画素値を元に作成される。このため、充血領域の補正後の（画素値が置換された後の）画素値は、非充血領域の各画素値と同様の色味を有する。従って、充血領域に対して違和感の無い画像補正が実施される。

〔変形例〕
顔検出部５は、まずユーザによって手動で顔の位置が指示され（このときユーザは不図示の入力インタフェースを用いて指示を行う）、その指示に基づいて顔座標を特定するように構成されても良い。例えば、ユーザによって画像内の１又は複数の点が指示された場合、指示された点を含む顔の画像についての顔座標を特定するように顔検出部５が構成されても良い。また、例えば、ユーザによって画像内の領域が指示された場合、この領域内に含まれる顔の画像についての顔座標を特定するように顔検出部５が構成されても良い。例えば、顔検出部５が原画像から人の顔を検出できなかった場合や、複数の顔が検出されてしまった場合などに有効である。また、このように位置がユーザによって指示される処理は、顔の位置に限らず、目の領域の位置や白目の領域の位置を特定するために用いられても良い。

また、充血補正部７ａは、以下のような条件に従って充血領域を特定しても良い。即ち、充血補正部７ａは、四つの閾値（Ｔｈ＿ＧＲ，Ｔｈ＿ＢＲ，Ｔｈ＿ＧＢｌ，Ｔｈ＿ＧＢｈ）に対して、以下のようなＲＧＢ成分を有する画素を充血領域として特定しても良い。このとき、四つの閾値は、充血した目が撮像された複数の画像に基づいて統計学的に定められることが望ましい。また、数２は、充血領域を判別するという目的を果たす限り、当業者が想到可能な範囲で適宜変形されても良い。例えば、ＲＧＢ表色系に基づいた式ではなく、Ｌａｂ表色系やＬｕｖ表色系など、他の表色系に基づいた式に変形されても良い。

また、テーブル８の内容は、補正対象となる白目の領域毎に作成されるが、例えば複数人が撮像された画像においては、作成されたテーブル８を他の白目の領域についても転用するように構成されても良い。このように構成されることにより、テーブル作成処理の一部を省略することが可能となり、処理の高速化を図ることが可能となる。

また、テーブル８の内容は、充血した目が撮像された１以上の画像に基づいて統計学的に予め定められるように構成されても良い。このように構成されると、テーブル作成処理の全てを省略することが可能となり、処理の高速化を図ることが可能となる。

［第二実施形態］
〔システム構成〕
次に、画像補正装置の第二実施形態である画像補正装置１ｂについて説明する。画像補正装置１ｂのシステム構成は、充血補正部７ａに代えて充血補正部７ｂを備える点でのみ画像補正装置１ａと異なる。以下、画像補正装置１ｂについて、画像補正装置１ａと異なる点について説明する。

〈充血補正部〉
充血補正部７ｂは、充血成分除去処理を実施することにより、白目領域特定部６によって特定された白目の領域の全画素について彩度や明度を操作し画像補正を行う。

充血補正部７ｂは、白目領域の各画素について、彩度を下げる処理を行う。このとき、充血補正部７ｂは、各画素について同じ下げ幅で彩度を下げる処理を行っても良いし、同
じ彩度になるように各画素について異なる幅で彩度を下げるように処理を行っても良い。ただし、充血領域の画素の彩度は一般に高いため、各画素について同じ下げ幅で彩度を下げる場合は、充血領域の画素の彩度が十分に下がるように下げ幅を設定する必要がある。また、彩度の下げ幅は、白目領域の明度の平均や彩度の分散などの関数から算出されても良い。また、彩度の下げ幅は、ユーザによって補正時に任意に設定可能に構成されても良い。彩度の下げ幅や上記関数は、充血した目が撮像された画像などに基づいて設計者により実験が行われることによって、予め適宜設定されることが望ましい。

ところで、彩度を下げると、白目領域、特に充血領域が黒ずんでしまう場合がある。このように黒ずんだ白目領域の画像を自然な白目領域の画像に補正するために、充血補正部７ｂは、白目領域の各画素について明度を上げる処理を行う。このとき、充血補正部７ｂは、各画素について同じ上げ幅で明度を上げる処理を行っても良いし、同じ明度になるように各画素について異なる幅で明度を上げるように処理を行っても良い。また、明度の上げ幅は、白目領域の明度の平均などの関数から算出されても良い。また、明度の上げ幅は、ユーザによって補正時に任意に設定可能に構成されても良い。明度の上げ幅や上記関数は、充血した目が撮像された画像などに基づいて設計者により実験が行われることによって、予め適宜設定されることが望ましい。

また、彩度や明度の操作は、例えばＬａｂ表色系などに基づいて実施することができる。

〔動作例〕
次に、画像補正装置１ｂの動作例について説明する。ただし、画像補正装置１ｂの動作例は、画像補正装置１ａの動作例と比べて充血成分除去処理の動作例のみが異なる。このため、画像補正装置１ｂの動作例のうち充血成分除去処理の動作例についてのみ説明する。

図１０は、画像補正装置１ｂにより実施される充血成分除去処理（Ｓ０５に相当）の動作例を示すフローチャートである。充血成分除去処理が開始されると、充血補正部７ｂは、白目領域の画素値をＬａｂ表色系の値に変換する（Ｓ３０）。次に、充血補正部７ｂは、白目領域の全ての画素について彩度を下げる処理を行う（Ｓ３１）。次に、充血補正部７ｂは、白目領域の全ての画素について明度を上げる処理を行う（Ｓ３２）。そして、充血補正部７ｂは、白目領域の画素値をＬａｂ表色系から元の表色系の画素値に変換する（Ｓ３３）。

〔作用／効果〕
画像補正装置１ｂでは、被写体の白目領域内の全画素について、充血補正部７ｂによって画素値の彩度と明度との操作が実施されることにより、充血領域に対する画像補正が実施される。このため、特に人手を介することなく、被写体の充血した白目の画像を、充血していないように見える白目の画像に補正することが可能となる。

また、白目領域に対して実施される画像補正では、各画素に対して独立した新しい値が与えられるのではなく、もともとの彩度や明度を操作することにより新しい画素値が与える。このため、充血領域に対する違和感の無い画像補正が実現される。

また、画像補正装置１ｂでは、充血領域が特定されることなく、白目領域全体に対して補正処理が実施される。このため、充血領域を特定する処理（例えば、画像補正装置１ａにおける充血領域検出処理）を省くことが可能となり、処理の高速化を図ることができる。

また、画像補正装置１ｂでは、画素値を変換する際に、変換後の新たな画素値を取得するためのテーブル（例えば、画像補正装置１ａにおけるテーブル８）を必要としない。このため、テーブル８を保持するための記憶領域を節約することが可能となる。さらに、テーブル８を作成するための処理（例えば、画像補正装置１ａにおけるテーブル作成処理）に要する時間を削減することが可能となる。

〔変形例〕
充血補正部７ｂは、白目領域について明度を上げることなく、彩度を下げる処理のみを行うように構成されても良い。また、充血補正部７ｂは、彩度を下げる処理を行った後に、白目領域について明度の平均を算出し、算出された平均が閾値（白目領域の画像が黒ずんで見えないとされる明度の下限値：予め取得される値）よりも大きい場合は明度を上げる処理を行わず、算出された平均が閾値以下の場合に明度を上げる処理を行うように構成されても良い。

［第三実施形態］
〔システム構成〕
次に、画像補正装置の第三実施形態である画像補正装置１ｃについて説明する。画像補正装置１ｃのシステム構成は、充血補正部７ｂに代えて充血補正部７ｃを備える点でのみ画像補正装置１ｂと異なる。以下、画像補正装置１ｃについて、画像補正装置１ｂと異なる点について説明する。

〈充血補正部〉
充血補正部７ｃは、充血成分除去処理を実施することにより、白目領域特定部６によって特定された白目の領域のうち充血領域についてのみ彩度や明度を操作し画像補正を行う。即ち、充血補正部７ｃは、白目領域全体ではなく、充血領域検出処理の実行により特定される充血領域のみに対して彩度や明度の操作を行う点で充血補正部７ｂと異なる。このため、彩度や明度の操作は充血補正部７ｂと同じであるためその説明を省略する。また、充血補正部７ｃが実施する充血領域検出処理は、充血補正部７ａが実施する充血領域検出処理と同様の処理である。

〔動作例〕
次に、画像補正装置１ｃの動作例について説明する。ただし、画像補正装置１ｂの動作例と比べて充血成分除去処理の動作例のみが異なるため、画像補正装置１ｃの動作例のうち充血成分除去処理の動作例についてのみ説明する。

図１１は、画像補正装置１ｃにより実施される充血成分除去処理（Ｓ０５に相当）の動作例を示すフローチャートである。充血成分除去処理が開始されると、充血補正部７ｃは、充血領域検出処理を実行する（Ｓ３４）。次に、充血補正部７ｃは、白目領域の画素値をＬａｂ表色系に基づく値に変換する（Ｓ３５）。次に、充血補正部７ｃは、各画素について充血領域であるか否か判断する。充血領域であると認められる場合（Ｓ３６−Ｙｅｓ）、充血補正部７ｃは、この画素に対し彩度を下げる処理を行い（Ｓ３７）、さらに明度を上げる処理を行う（Ｓ３８）。一方、充血領域であると認められない場合（Ｓ３６−Ｎｏ）、又はＳ３８の処理の後、他の画素についてＳ３６以降の処理が実施される。充血補正部７ｃは、Ｓ３６〜Ｓ３８の処理を、白目領域内全ての画素について実行する（ｓ３９）。

そして、充血補正部７ｃは、白目領域の画像について、Ｌａｂ表色系に基づいた値から元の表色系の値に変換する（Ｓ４０）。

〔作用／効果〕
画像補正装置１ｃでは、充血領域検出処理の実施により特定された充血領域に対してのみ画像補正（彩度や明度の操作）が実施される。このため、もともと補正する必要のない領域、即ち充血が生じていない白目の領域（非充血領域）の画素値が変更されない。従って、画像補正装置１ｃでは、画像補正装置１ｂに比べて、非充血領域の画素値が補正処理によってわずかでも不自然になることを防止することが可能となる。

〔変形例〕
充血補正部７ｃは、白目領域内全ての画素について彩度を下げる処理を実行し、その後に充血領域についてのみ明度を上げる処理を実行するように構成されても良い。

画像補正装置の機能ブロックを示す図である。 各二値画像の例を示す図である。 テーブルの例を示す図である。 画像補正装置の動作例を示すフローチャートである。 第一実施形態における充血成分除去処理の動作例を示すフローチャートである。 充血領域検出処理の動作例を示すフローチャートである。 テーブル作成処理の動作例を示すフローチャートである。 画素値置換処理の動作例を示すフローチャートである。 原画像と補正画像との例を示す図である。 第二実施形態における充血成分除去処理の動作例を示すフローチャートである。 第三実施形態における充血成分除去処理の動作例を示すフローチャートである。

符号の説明

１ａ，１ｂ，１ｃ 画像補正装置
２ 画像入力部
３ 画像出力部
４ 画像記憶部
５ 顔検出部
６ 白目領域特定部
７ａ，７ｂ，７ｃ 充血補正部
８ テーブル

Claims (12)

1. 入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定する充血領域特定手段と、
   充血していない白目の色成分の値が対応付けられたテーブルを記憶するテーブル記憶手段と、
   前記充血領域内の各画素について、この画素の所定の色成分の値を取得し、前記テーブルにおいてこの色成分の値と対応付けられている他の色成分の値を取得し、取得された他の色成分の値を用いてこの画素の色情報を書き換える補正手段と
   を含む画像補正装置。
2. 前記被写体の白目の領域であって充血していないと認められる非充血領域を特定する非充血領域特定手段と、
   前記非充血領域の各画素について、画素の各色成分の値を取得し、取得された値を元に前記テーブル記憶手段に記憶されるテーブルを作成するテーブル作成手段と
   をさらに含む請求項１に記載の画像補正装置。
3. 入力された画像において、被写体の白目の部分と認められる白目領域を特定する白目領域特定手段と、
   前記白目領域特定手段によって特定された前記白目領域の各画素について、彩度を下げることにより、当該白目領域に発生している充血部分の赤さを低減させる補正手段と
   を備える画像補正装置。
4. 前記補正手段は、前記白目領域の各画素について、彩度を下げた後に、さらに明度を上げることにより当該白目領域に生じた灰色部分を白く補正する請求項３に記載の画像補正装置。
5. 入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定する充血領域特定手段と、
   前記充血領域特定手段によって特定された前記充血領域の各画素について、彩度を下げることにより、当該充血領域の赤さを低減させる補正手段と
   を備える画像補正装置。
6. 前記補正手段は、前記充血領域の各画素について、彩度を下げた後に、さらに明度を上げることにより当該充血領域に生じた灰色部分を白く補正する請求項５に記載の画像補正装置。
7. 充血していない白目の色成分の値が対応付けられたテーブルを記憶するテーブル記憶手段を備える情報処理装置によって実行されるプログラムであって、
   入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定するステップと、
   前記充血領域内の各画素について、この画素の所定の色成分の値を取得するステップと、
   取得された所定の色成分の値と前記テーブルにおいて対応付けられている他の色成分の値を取得するステップと、
   取得された他の色成分の値を用いてこの画素の色情報を書き換えるステップと
   を前記情報処理装置に実行させるためのプログラム。
8. 入力された画像において、被写体の白目の部分と認められる白目領域を特定するステップと、
   特定された前記白目領域の各画素について、彩度を下げることにより、当該白目領域に発生している充血部分の赤さを低減させるステップと
   を情報処理装置に実行させるためのプログラム。
9. 入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定するステップと、
   特定された前記充血領域の各画素について、彩度を下げることにより、当該充血領域の赤さを低減させるステップと
   を情報処理装置に実行させるためのプログラム。
10. 情報処理装置が、入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定するステップと、
    情報処理装置が、前記充血領域内の各画素について、この画素の所定の色成分の値を取得するステップと、
    情報処理装置が、充血していない白目の色成分の値が対応付けられたテーブルにおいて、取得されたこの所定の色成分の値と対応付けられている他の色成分の値を取得するステップと、
    情報処理装置が、取得された他の色成分の値を用いてこの画素の色情報を書き換えるステップと
    を含む画像補正方法。
11. 情報処理装置が、入力された画像において、被写体の白目の部分と認められる白目領域を特定するステップと、
    情報処理装置が、特定された前記白目領域の各画素について、彩度を下げることにより、当該白目領域に発生している充血部分の赤さを低減させるステップと
    を含む画像補正方法。
12. 情報処理装置が、入力された画像において、被写体の白目の領域であって充血していると認められる充血領域を特定するステップと、
    情報処理装置が、特定された前記充血領域の各画素について、彩度を下げることにより、当該充血領域の赤さを低減させるステップと
    を含む画像補正方法。

Images