JP2016170626A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】過大な照明光量等によって正反射領域のデジタル信号値が飽和している場合であっても適切に色被り補正を実施する。【解決手段】連続する時間で複数の画像を撮影する撮影手段と、複数の画像の各々から、被写体を照明する光源が被写体に写る領域を正反射領域として算出する手段と、算出された正反射領域の色情報に基づいて、複数の画像の各々に発生する色被りを補正する補正値を、複数の画像の各々について算出する手段と、算出された複数の画像の各々における補正値の中から代表補正値を決定する手段と、決定された代表補正値を用いて複数の画像の各々に対して色被り補正を実施する手段と、を含む。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

デジタルカメラ等で撮影した画像では、光源の影響等によって色被りが発生する場合がある。デジタルカメラ等の撮像装置や、写真の後処理用の画像処理ソフトウェアでは、この影響を低減し、自然な色合いの画像を得るために、入力画像に対して色被り補正を実施している。

色被り補正を補正するための補正係数（以下、色被り補正値ともいう。）は、入力画像データより算出することが一般的である。色被り補正値の算出法としては、例えば、（１）画像全体の色情報の平均値は無彩色であるとみなして色被り補正値を算出する方式や、（２）撮像画像より人の肌の色情報を基準に算出する方式等、様々な方式が既に知られている。

特許文献１には、目領域情報取得部により取得された目領域全体のＲＧＢ情報から、眼球に写り込んでいる光源部分の画素情報のみを抽出し、光源色を推定する画像処理装置が記載されている。そして、例えば、撮像した画像のホワイトバランスを調整する撮像装置に適用することが可能であることが開示されている。

しかしながら、上記従来の色被り補正値の算出法では、被写体によっては適切な色被り補正を実施することができない場合があった。上記の例（１）の場合、有彩色の被写体が撮像範囲の大部分を占めるような画像の場合、被写体の色情報を照明光の色情報として誤検知し、本来の被写体の色情報についても補正してしまうという問題があった。

また、（２）の場合においては、人の肌の色を元に補正を加えるため、肌の色の個人差等によって適切な補正を行うことができないという問題があった。このように、従来の算出法では、被写体によっては安定した色被り補正を実施することができないという問題もあった。

さらに、特許文献１に記載された画像処理装置では、眼球に写り込んでいる光源部分、すなわち正反射領域の画素情報を用いて色被り補正を実施している。しかし、この正反射領域のデジタル信号値が飽和している場合には適切な色被り補正を実施することができないという問題は解消されていない。

そこで、本発明は、上記従来技術の問題点に鑑みてなされたものであって、過大な照明光量等によって正反射領域のデジタル信号値が飽和している場合であっても適切に色被り補正を実施することが可能な画像処理装置を提供することを目的とする。

上記課題を解決するため、請求項１に記載の本発明における画像処理装置は、連続する時間で複数の画像を撮影する撮影手段と、前記複数の画像の各々から、被写体を照明する光源が前記被写体に写る領域を正反射領域として算出する手段と、前記算出された正反射領域の色情報に基づいて、前記複数の画像の各々に発生する色被りを補正する補正値を、前記複数の画像の各々について算出する手段と、前記算出された前記複数の画像の各々における補正値の中から代表補正値を決定する手段と、前記決定された代表補正値を用いて前記複数の画像の各々に対して色被り補正を実施する手段と、を含むことを特徴とする。

本発明によれば、過大な照明光量等によって正反射領域のデジタル信号値が飽和している場合であっても適切に色被り補正を実施することが可能な画像処理装置を得ることができる。

本発明の第１の実施形態に係る画像処理装置を構成するハードウェアについて説明する図である。 本発明の第１の実施形態に係る画像処理装置を構成する機能について説明する図である。 本発明の第１の実施形態に係る画像処理装置の動作について説明するフロー図である。 本発明の第１の実施形態に係る画像処理装置において検出対象とする正反射領域について説明する図である。 本発明の第１の実施形態に係る画像処理装置において正反射領域検出を行う動作について説明するフロー図である。 本発明の第２の実施形態に係る画像処理装置の動作について説明するフロー図である。 本発明の第３の実施形態に係る画像処理装置の動作について説明するフロー図である。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、画像処理装置の具体例として、デジタルカメラ等の撮像装置を挙げて説明しているが、被写体を撮影する機能を有する他の撮像装置についても本発明を適用することが可能である。

本発明の実施の形態について説明する。本発明は、入力画像から検出した正反射領域の色情報を元にした色被り補正に際して、以下の特徴を有する。

すなわち、同一の被写体に対して、適正な露光量で画像を撮影する直前又は直後に露光量を低減した画像を撮影する。そして、適正な露光量で撮影した画像の正反射領域のデジタル信号値が飽和している場合、露光量を低減した画像の正反射領域の色情報を元に色被り補正値を算出する。これにより、デジタル信号値が飽和していない領域の色情報を元に色被り補正を実施することが特徴になっている。この本発明の特徴について、以下の図面を用いて詳細に解説する。

まず、本発明の第１の実施形態に係る画像処理装置を構成するハードウェアについて説明する。図１は、本発明の第１の実施形態に係る画像処理装置を構成するハードウェアについて説明する図である。

図１において、撮像装置１０は、撮像範囲内から入射する光がレンズ１０１によって集光され、絞り１０２によって光量を規制された上でＣＣＤ（Charge Coupled Device）１０３へと入射する。ＣＣＤ１０３では、光電効果により、入射した光から電気信号を発生させる。ＣＣＤ１０３は、素子上にＲＧＢ三色のカラーフィルタを有しており、ＲＧＢの３チャンネルの信号を出力可能なものを使用する。

ＣＣＤ１０３より読み出された電気信号は、Ａ／Ｄ（Analog Digital）コンバータ１０４によって、アナログ信号からデジタル信号へと変換される。Ａ／Ｄコンバータ１０４では、ＲＧＢ各チャンネルの信号は１２ｂｉｔ（０〜４０９５）の深度でデジタル信号へ変換される。

演算装置（ＣＰＵ：Central Processing Unit）１０５では、Ａ／Ｄコンバータ１０４から出力されたデジタル信号に対し、後述する色被り補正等の計算処理、及び所望のデータ形式への変換が実施される。演算装置１０５で生成されたデータは、記憶媒体１０７に保存され、モニタ１０８に表示される。これ等一連の動作は、シャッター釦１０９を押下することによって開始される。

次に、本発明の第１の実施形態に係る画像処理装置を構成する機能について説明する。図２は、本発明の第１の実施形態に係る画像処理装置を構成する機能について説明する図である。本実施形態は、デジタルカメラ等の撮像装置を例に挙げており、被写体としては、人物を対象としている。

演算装置１０５のうち、適正露光量算出部１０５１は、撮像時の適正露光量を決定するものである。低減露光量決定部１０５２は、適正露光量算出部１０５１によって算出された撮像時の適正露光量を元に露光量を低減する場合の露光量を決定するものである。そして、ＣＣＤ１０３の画像撮影部１０３１は、適正露光量算出部１０５１で算出された露光量及び低減露光量決定部１０５２で決定された露光量を元に、適正露光量の画像と低減露光量の画像を撮影する。そして、画像撮影部１０３１で撮影された画像データは、正反射領域検出部１０５４と色被り補正実施部１０５７に入力される。

演算装置１０５のうち、正反射領域検出部１０５４は、適正露光量の画像と低減露光量の画像とから、正反射領域を検出する。そして、正反射領域算出部１０５３は、正反射領域検出部１０５４で検出された適正露光量と低減露光量とから正反射領域を算出する。この、正反射領域の算出法については後述する。

演算装置１０５のうち、色被り補正値算出部１０５５は、適正露光量の正反射領域の色情報と低減露光量の正反射領域の色情報とに基づいて、色被り補正値を算出する。この色被り補正値の算出方法については後述する。

演算装置１０５のうち、色被り補正代表値決定部１０５６は、適正露光量の色被り補正値と低減露光量の色被り補正値とに基づいて、代表補正値である適切な色被り補正値を選択する。適切な色被り補正値の選択方法については後述する。

演算装置１０５のうち、色被り補正実施部１０５７は、画像撮影部１０３１で撮影された適正露光量の画像に対して色被り補正を実施する。具体的な補正方法は後述する。色被り補正実施部１０５７で補正された画像は、記憶媒体１０７に保存され、モニタ１０８に表示される。

次に、本発明の第１の実施形態に係る画像処理装置の動作について説明する。図３は、本発明の第１の実施形態に係る画像処理装置の動作について説明するフロー図である。

図３では、まず、撮像時の適正露光量が決定される。ステップＳ３０１の処理において、シャッター釦１０９が押下されたか否かが判断される。シャッター釦１０９が押下された（ステップＳ３０１：Ｙｅｓ）と判断されると、ステップＳ３０２の処理へ移行し、ＣＣＤ１０３に入射している光量を元に、演算装置１０５において適正な露光量が算出される。シャッター釦１０９が押下されていない（ステップＳ３０１：Ｎｏ）と判断されると、押下されるまで待機する。なお、このとき、シャッター釦１０９が押下される前に、ユーザによって適正露光量に対する補正が行われていても良い。

ステップＳ３０３の処理において、ステップＳ３０２の処理で算出された適正な露光量情報を元に露光量を低減する場合の低減露光量が決定される。このとき、低減後の露光量は、適正露光量の１／２〜１／４程度が望ましい。ステップＳ３０４の処理において、ステップＳ３０２及びステップＳ３０３の処理で算出、決定された露光量を元に、２枚の画像が撮影される。

この際、撮影の順序は、（１）適正露光量、（２）低減後の露光量の順序で撮影を行う。そして、ステップＳ３０５の処理において、撮影された画像のデータは、正反射領域検出部１０５４に送信されると共に、色被り補正実施部１０５７にも送信される。

ステップＳ３０６の処理において、撮影された適正露光量の画像と低減露光量の画像との２枚の入力画像から、正反射領域がそれぞれ算出される。正反射領域の算出法は、後述する。ステップＳ３０７の処理において、ステップＳ３０６の処理で得られた各画像の正反射領域の色情報を元に、色被り補正値が算出される。これは、正反射領域中に含まれる各画素についてＲ、Ｇ、Ｂそれぞれのチャンネルのデジタル信号値を取得する。そして、正反射領域内の全画素のＲ、Ｇ、Ｂのデジタル信号値を元に各チャンネルの積分値ΣＲ、ΣＧ、ΣＢを算出する。さらに、ΣＲ＝ΣＧ＝ΣＢとなるよう、色被り補正値としてＲゲイン（＝ΣＧ／ΣＲ）、Ｂゲイン（＝ΣＧ／ΣＢ）を算出する。これらを用いて、ＲチャンネルとＢチャンネルのゲインを調整する。

ステップＳ３０８の処理において、ステップＳ３０７の処理で算出された２つの色被り補正値の中から、適切なものを選択して決定する。ここでは、２つの正反射領域について、各正反射領域内の各画素について、ＲＧＢ各チャンネルのデジタル信号値の平均値を算出し、これの領域内の全画素について平均を取ったものを、正反射領域の平均輝度とする。この値が、データの取り得る範囲の中央値により近い正反射領域を、色被り補正値として使用する。本実施形態では、データは１２ｂｉｔ（０〜４０９５）であるので、３チャンネルの平均値が２０４７に近いものを採用する。

ステップＳ３０９の処理において、適正露光量で撮影した画像に対して、色被り補正を実施する。色被り補正は、Ｒ、Ｂ各チャンネルに対して、ステップＳ３０７の処理において算出されたＲ、Ｂ各ゲインを乗算することで実施される。ステップＳ３１０の処理において、以上のフローで処理された画像は、記憶媒体１０７に保存されたり、モニタ１０８出力されたりして処理を終了する。

次に、本発明の第１の実施形態に係る画像処理装置において検出対象とする正反射領域について説明する。図４は、本発明の第１の実施形態に係る画像処理装置において検出対象とする正反射領域について説明する図である。

この第１の実施形態では、被写体として人物を対象としている。第１の実施形態では、図４に示すように、正反射領域として、被写体となっている人物の黒目領域３０２に被写体を照明している光源が写り込んでいる場合、この領域を正反射領域（アイキャッチ）３０１として検出する。

次に、本発明の第１の実施形態に係る画像処理装置において正反射領域検出を行う動作について説明する。図５は、本発明の第１の実施形態に係る画像処理装置において正反射領域検出を行う動作について説明するフロー図である。

図５において、ステップＳ５０１の処理において、入力画像から被写体となっている人物の目領域を検出する。まず、入力画像全体より、人物の顔に該当する領域の有無を検定する。顔領域が存在する場合は、その領域内より目領域を抽出する。顔領域検出及び目領域の検出は、次のような方法で行う。

ＣＣＤ１０３によって撮像された画像データが内部メモリ１０６に格納されると、演算装置１０５は、当該画像データから顔領域を検出する処理を実行する。人物の顔が撮影された画像データの中から顔領域を検出する手法は一般的に利用される手法を用いることができ、該手法としては，Ｈａａｒ−ｌｉｋｅ特徴を複数用いるブースティングアルゴリズムが有名である。

演算装置１０５は、画像データから顔領域を検出すると、まず、画像データを所定のサイズにスケーリングする処理を実行する。そして、スケーリング処理後の顔領域の所定の複数の重畳位置に基準単眼画像を重畳し、それぞれの重畳位置における類似度の計算し、類似度が閾値以上の重畳位置を抽出する。

そして、類似度が閾値以上の重畳位置について、顔領域上での水平方向に関する類似度の変動を調べ、類似度が極大値をとなっている類似度を抽出する。その後、抽出した類似度が最大のものから順に偶数個（例えば、１０個）の類似度を選択し、所定の条件を満たす関係にある一対の重畳位置を両眼の位置座標として検出して終了する。

図５に戻り、ステップＳ５０２の処理において、検出した目領域を、白目領域と黒目領域に分離する。白目領域と黒目領域との領域分離は、以下のような方法で行う。白目と黒目とからなる瞳を検出する領域の画像は、グレースケール化することによって２５６階調のモノクロ画像に変換される。そして、ヒストグラム均等化することによって２５６階調のモノクロ画像における階調の差は大きくなる。また、ヒストグラム均等化後の画像を二値化することによって黒い瞳の箇所が白になる２階調の白黒画像が得られ、クロージング及びオープニングすることによって白点及び黒点が画像から無くなる。

図５に戻り、ステップＳ５０３の処理において、白目領域の平均輝度を算出する。平均輝度は、白目領域に含まれる各画素についてＲＧＢ各チャンネルのデジタル信号値の平均値を算出し、白目領域内の全画素について平均を取ったものとする。

ステップＳ５０４の処理では、黒目領域内から正反射領域を抽出する。ステップＳ５０３の処理において算出した白目の平均輝度を閾値として黒目領域の各画素を検定し、輝度値が閾値以上となる領域を正反射領域として抽出して処理を終了する。

次に、本発明の第２の実施形態に係る画像処理装置の動作について説明する。図６は、本発明の第２の実施形態に係る画像処理装置の動作について説明するフロー図である。本実施形態は、デジタルカメラ等の撮像装置内を例に挙げており、特に、撮影した複数の入力画像にハイダイナミックレンジ合成（以下、「ＨＤＲ合成」という。）を用いた場合の実施形態である。被写体としては、人物を対象としている。なお、画像処理装置のハードウェア構成及び機能構成については、上記した第１の実施形態と同様であるので詳細な説明を省略する。

図６では、まず、撮像時の適正露光量が決定される。ステップＳ６０１の処理において、シャッター釦１０９が押下されたか否かが判断される。シャッター釦１０９が押下された（ステップＳ６０１：Ｙｅｓ）と判断されると、ステップＳ６０２の処理へ移行し、ＣＣＤ１０３に入射している光量を元に、演算装置１０５において適正な露光量が算出される。シャッター釦１０９が押下されていない（ステップＳ６０１：Ｎｏ）と判断されると、押下されるまで待機する。なお、このとき、シャッター釦１０９が押下される前に、ユーザによって適正露光量に対する補正が行われていても良い。

ステップＳ６０３の処理において、ステップＳ６０２の処理において算出された適正露光量に対して調整後露光量を決定する。ここで、露光量の調整の大きさは、シャッター釦１０９押下前にＣＣＤ１０３から読み出される画像データを元に、デジタル信号値が飽和しないよう自動的に決定しても良い。また、ユーザにより手動で設定されても良い。本実施形態では、露光量調整後の画像は１枚のみとするが、露光量を調整した画像は２枚以上であっても良い。

ステップＳ６０４の処理において、ステップＳ６０２及びステップＳ６０３の処理で算出、決定された露光量を元に、２枚の画像が撮影される。この際、撮影の順序は、（１）適正露光量、（２）調整後の露光量の順序で撮影を行う。そして、ステップＳ６０５の処理において、撮影された画像のデータは、正反射領域検出部１０５４に送信されると共に、色被り補正実施部１０５７にも送信される。

ステップＳ６０６の処理において、撮影された適正露光量の画像と調整後露光量の画像の２枚の入力画像から、正反射領域がそれぞれ算出される。正反射領域の算出法は、上記図４及び図５で説明したとおりである。

ステップＳ６０７の処理において、ステップＳ６０６の処理で得られた各画像の正反射領域の色情報を元に、色被り補正値が算出される。これは、正反射領域中に含まれる各画素についてＲ、Ｇ、Ｂそれぞれのチャンネルのデジタル信号値を取得する。そして、正反射領域内の全画素のＲ、Ｇ、Ｂのデジタル信号値を元に各チャンネルの積分値ΣＲ、ΣＧ、ΣＢを算出する。さらに、ΣＲ＝ΣＧ＝ΣＢとなるよう、色被り補正値としてＲゲイン（＝ΣＧ／ΣＲ）、Ｂゲイン（＝ΣＧ／ΣＢ）を算出する。これらを用いて、ＲチャンネルとＢチャンネルのゲインを調整する。

ステップＳ６０８の処理において、ステップＳ６０７の処理で算出された２つの色被り補正値の中から、適切なものを選択して決定する。ここでは、２つの正反射領域について、各正反射領域内の各画素について、ＲＧＢ各チャンネルのデジタル信号値の平均値を算出し、これの領域内の全画素について平均を取ったものを、正反射領域の平均輝度とする。この値が、データの取り得る範囲の中央値により近い正反射領域を、色被り補正値として使用する。本実施形態では、データは１２ｂｉｔ（０〜４０９５）であるので、３チャンネルの平均値が２０４７に近いものを採用する。

ステップＳ６０９の処理において、適正露光量で撮影した２枚の画像それぞれに対して、色被り補正を実施する。色被り補正は、Ｒ、Ｂ各チャンネルに対して、ステップＳ６０７の処理において算出されたＲ、Ｂ各ゲインを乗算することで実施される。

ステップＳ６１０の処理において、撮影した露光量の異なる２枚の画像に対してＨＤＲ合成を行う。ここで、ＨＤＲ合成方法とは、暗部と明部とを有する同一の被写体を異なる露出条件で撮影して得られた複数の撮像画像を合成することにより、暗部が黒くつぶれたり明部が白く飛んだりしていない１つの合成画像を生成可能とするＨＤＲ撮影技法である。すなわち、ＨＤＲ撮影技法では、異なる露出条件で撮影された複数の撮像画像を、位置補正した上でＨＤＲ合成することにより１つの合成画像を生成している。

以上のフローで処理された画像は、ステップＳ６１１の処理において記憶媒体１０７に保存されたり、モニタ１０８出力されたりして処理を終了する。

次に、本発明の第３の実施形態に係る画像処理装置の動作について説明する。図７は、本発明の第３の実施形態に係る画像処理装置の動作について説明するフロー図である。本実施形態は、既に撮影された画像に対して後処理を実施する場合の例である。処理できる画像は、デジタルカメラの自動で露光量を変化させた複数枚の画像を撮影する機能（例えば、オートブラケット機能）等を用いて撮影された、時間的に連続して撮影された露光量の異なる画像とする。画像は、２枚以上であれば良い。なお、画像処理装置のハードウェア構成及び機能構成については、上記した第１の実施形態と同様であるので詳細な説明を省略する。

図７において、ステップＳ７０１の処理において、露光量の異なる複数枚の画像が読み込まれる。この画像データは、正反射領域検出部１０５４に送られると共に、色被り補正実施部１０５７にも送信される。

ステップＳ７０２の処理において、撮影された適正露光量の画像と調整後露光量の画像の２枚の入力画像から、正反射領域がそれぞれ算出される。正反射領域の算出法は、上記図４及び図５で説明したとおりである。

ステップＳ７０３の処理において、ステップＳ７０２の処理で得られた各画像の正反射領域の色情報を元に、色被り補正値が算出される。これは、正反射領域中に含まれる各画素についてＲ、Ｇ、Ｂそれぞれのチャンネルのデジタル信号値を取得する。そして、正反射領域内の全画素のＲ、Ｇ、Ｂのデジタル信号値を元に各チャンネルの積分値ΣＲ、ΣＧ、ΣＢを算出する。さらに、ΣＲ＝ΣＧ＝ΣＢとなるよう、色被り補正値としてＲゲイン（＝ΣＧ／ΣＲ）、Ｂゲイン（＝ΣＧ／ΣＢ）を算出する。これらを用いて、ＲチャンネルとＢチャンネルのゲインを調整する。

ステップＳ７０４の処理において、ステップＳ７０３の処理で算出された２つの色被り補正値の中から、適切なものを選択して決定する。ここでは、２つの正反射領域について、各正反射領域内の各画素について、ＲＧＢ各チャンネルのデジタル信号値の平均値を算出し、これの領域内の全画素について平均を取ったものを、正反射領域の平均輝度とする。この値が、データの取り得る範囲の中央値により近い正反射領域を、色被り補正値として使用する。本実施形態では、データは１２ｂｉｔ（０〜４０９５）であるので、３チャンネルの平均値が２０４７に近いものを採用する。

ステップＳ７０５の処理では、入力された全ての画像に対して、ステップＳ７０４の処理における色被り補正代表値決定部１０５６において決定された代表補正値である色被り補正代表値を用いて、色被り補正を実施する。色被り補正は、Ｒ、Ｂ各チャンネルに対して、ステップＳ７０３の処理において算出されたＲ、Ｂ各ゲインを乗算することで実施される。

なお、図３、図５、図６、及び図７に示した格実施形態に係る画像処理装置の動作フローは、コンピュータ上のプログラムに実行させることもできる。すなわち、撮像装置１０に内蔵されている演算装置（ＣＰＵ）１０５が、内部メモリ１０６等に格納されたプログラムをロードする。そして、プログラムの各処理ステップが順次実行されることによって行われる。

このように、本実施形態では、同一の被写体に対して、適正な露光量で画像を撮影する直前又は直後に露光量を低減した画像を撮影する。そして、適正な露光量で撮影した画像の正反射領域のデジタル信号値が飽和している際、露光量を低減した画像の正反射領域の色情報を元に色被り補正値を算出する。そして、デジタル信号値が飽和していない領域の色情報を元に色被り補正を実施している。

以上説明したように、本発明によれば、過大な照明光量等によって正反射領域のデジタル信号値が飽和している場合であっても適切に色被り補正を実施することが可能な画像処理装置、画像処理方法、及び画像処理プログラムを得ることができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではない。すなわち、他の実施形態、追加、変更、削除等、当業者が想到することができる範囲内で変更することができ、何れの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

１０ 撮像装置
１０１ レンズ
１０２ 絞り
１０３ ＣＣＤ
１０４ Ａ／Ｄコンバータ
１０５ 演算装置
１０６ 内部メモリ
１０７ 記憶媒体
１０８ モニタ
１０９ シャッター釦
３０１ アイキャッチ
３０２ 黒目領域
３０３ 白目領域
１０３１ 画像撮影部
１０５１ 適正露光量算出部
１０５２ 低減露光量決定部
１０５３ 正反射領域算出部
１０５４ 正反射領域検出部
１０５５ 色被り補正値算出部
１０５６ 色被り補正代表値決定部
１０５７ 色被り補正実施部

特開２０１４−０５３８５５号公報

Claims (9)

1. 連続する時間で複数の画像を撮影する撮影手段と、
   前記複数の画像の各々から、被写体を照明する光源が前記被写体に写る領域を正反射領域として算出する手段と、
   前記算出された正反射領域の色情報に基づいて、前記複数の画像の各々に発生する色被りを補正する補正値を、前記複数の画像の各々について算出する手段と、
   前記算出された前記複数の画像の各々における補正値の中から代表補正値を決定する手段と、
   前記決定された代表補正値を用いて前記複数の画像の各々に対して色被り補正を実施する手段と、
   を含むことを特徴とする画像処理装置。
2. 前記複数の画像は、露光量が互いに異なることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像のうち、一の画像は所定の露光量を有し、他の画像は前記所定の露光量よりも低減された露光量を有していることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記代表補正値は、前記複数の画像における各正反射領域内の各画素について算出される平均輝度が、前記撮影される画像データの取り得る範囲の中央値に最も近い正反射領域に基づいて算出されたものであることを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記被写体が人物であるとき、前記正反射領域は、前記人物の黒目領域のうち前記被写体を照明する光源が写っている領域であることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記被写体が人物であるとき、前記人物の顔領域を検出し、前記顔領域から目領域を検出し、前記目領域から白目領域と黒目領域とを検出し、前記白目領域の平均輝度を算出し、前記黒目領域の輝度値が前記平均輝度以上となる領域を正反射領域として抽出することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記色被り補正が行われた複数の画像についてハイダイナミックレンジ合成を行う手段をさらに含むことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 連続する時間で複数の画像を撮影する工程と、
   前記複数の画像の各々から、被写体を照明する光源が前記被写体に写る領域を正反射領域として算出する工程と、
   前記算出された正反射領域の色情報に基づいて、前記複数の画像の各々に発生する色被りを補正する補正値を、前記複数の画像の各々について算出する工程と、
   前記算出された前記複数の画像の各々における補正値の中から代表補正値を決定する工程と、
   前記決定された代表補正値を用いて前記複数の画像の各々に対して色被り補正を実施する工程と、
   を含むことを特徴とする画像処理方法。
9. 画像処理装置のコンピュータに、
   連続する時間で複数の画像を撮影する処理と、
   前記複数の画像の各々から、被写体を照明する光源が前記被写体に写る領域を正反射領域として算出する処理と、
   前記算出された正反射領域の色情報に基づいて、前記複数の画像の各々に発生する色被りを補正する補正値を、前記複数の画像の各々について算出する処理と、
   前記算出された前記複数の画像の各々における補正値の中から代表補正値を決定する処理と、
   前記決定された代表補正値を用いて前記複数の画像の各々に対して色被り補正を実施する処理と、
   を実行させるためのプログラム。

Images