JP2019106045A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】被写体人物の顔範囲に対し、肌の色や質感が損なわれないようにした補正画像を得ることができる画像処理装置、方法及びプログラムを提供する。【解決手段】撮像装置の画像処理回路１０８における補正部２００は、撮像した原画像の画像データを用いて、可視光画像及び赤外光画像を分離、生成する分離部２０１と、可視光画像を用いて被写体人物の顔範囲における肌領域を検出する肌領域検出部２０４と、可視光画像と赤外光画像との差分領域を検出する差分領域検出部２０７と、肌領域検出部２０４で検出した肌領域、及び差分領域検出部２０７で検出した差分領域に基づいて、被写体人物の顔範囲における補正対象領域であるシミ領域を検出する補正対象領域検出部２０５と、可視光画像におけるシミ領域を補正する補正処理部２０９とを備える。【選択図】図２

Description

本発明は、画像処理装置、方法及びプログラム、並びに撮像装置に関する。

従来、デジタルカメラやスマートフォンには、撮影された被写体人物の肌領域に対して画像処理を行い、美肌効果を与える機能がある。例えば特許文献１では、可視光画像および赤外光画像を撮像して、赤外光画像より顔画像を認識し、シミなどが目立たない美肌画像にする手法が開示されている。

特開２０１７−９７６４５号公報

しかしながら、特許文献１に開示された従来技術では、美肌画像は得られるものの、肌の色や質感が損なわれるおそれがある。従来技術では、美肌画像を得る際に、可視光画像の輝度成分と赤外光画像とを合成して新たな輝度成分を生成し、新たな輝度成分と可視光画像の色差成分とを合成するため、赤外光画像の割合が高いほど現実の色や質感とは異なる傾向になる。そして、従来技術では、被写体人物の顔範囲における肌色全体に補正を実施するため、補正面積が大きく、現実の色や質感と異なっていることが目立ちやすくなる。

本発明は上記のような点に鑑みてなされたものであり、被写体人物の肌領域に対し、肌の色や質感が損なわれないようにした補正画像を得られるようにすることを目的とする。

本発明の画像処理装置は、可視光画像及び赤外光画像を用いて画像処理する画像処理装置であって、被写体人物の肌領域を検出する肌領域検出手段と、前記可視光画像と前記赤外光画像との差分領域を検出する差分領域検出手段と、前記肌領域検出手段で検出した前記肌領域、及び前記差分領域検出手段で検出した前記差分領域に基づいて、前記被写体人物の補正対象領域を検出する補正対象領域検出手段と、前記可視光画像における前記補正対象領域を補正する補正処理手段とを備えることを特徴とする。

本発明によれば、被写体人物の肌領域に対し、肌の色や質感が損なわれないようにした補正画像を得ることができる。

第１の実施形態に係るデジタルカメラの構成を示す図である。 画像処理回路の補正部の機能構成を示すブロック図である。 第１の実施形態における画像処理を示すフローチャートである。 各種画像を模式的に示す図である。 シミ領域とシミ領域外の分光反射率の例を示す特性図である。 第２の実施形態における画像処理を示すフローチャートである。 第４の実施形態における画像処理を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。本実施形態では、撮像装置であるデジタルカメラが本発明を適用した画像処理装置として機能する例を説明する。
（第１の実施形態）
図１は、第１の実施形態に係るデジタルカメラ１００の構成を示す図である。
撮影レンズ１０１は、光学系を構成する。シャッター１０２は、絞り機能を備える機械式シャッターである。撮像素子１０３は、光学像を電気信号に変換する。撮像素子１０３は、可視光画像及び赤外光画像を撮像可能な構成を有する。例えば単板撮像素子のカラーフィルタアレイにおいて、赤外光のみを透過するようなフィルタが含まれるような構成が考えられ、非可視である赤外光にも対応した画像を撮像できるようになっていればよい。Ａ／Ｄ変換器１０４は、撮像素子１０３のアナログ信号出力をデジタル信号に変換する。

タイミング発生回路１０５は、撮像素子１０３とＡ／Ｄ変換器１０４にクロック信号や制御信号を供給する。タイミング発生回路１０５は、メモリ制御回路１０６及びシステム制御回路１０７によって制御される。シャッター１０２以外にも、タイミング発生回路１０５の撮像素子１０３のリセットタイミングの制御によって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影等に使用可能である。
メモリ制御回路１０６は、Ａ／Ｄ変換器１０４、タイミング発生回路１０５、画像処理回路１０８、メモリ１０９、圧縮・伸長回路１１２を制御する。Ａ／Ｄ変換器１０４から出力されたデータは、画像処理回路１０８とメモリ制御回路１０６を介して、或いは直接メモリ制御回路１０６を介して、メモリ１０９に書き込まれる。
システム制御回路１０７は、デジタルカメラ１００全体を制御する。

画像処理回路１０８は、Ａ／Ｄ変換器１０４からのデータ、或いはメモリ制御回路１０６からのデータに対して、所定の画素補間処理や色変換処理を行う。また、画像処理回路１０８は、画像の切り出し、変倍処理を行うことで電子ズーム機能を実現する。さらに、画像処理回路１０８は、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいて、システム制御回路１０７は、露光制御部１１３、測距制御部１１４を制御して、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらにまた、画像処理回路１０８は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

メモリ１０９は、静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１０９に対して行うことが可能となる。また、メモリ１０９は、システム制御回路１０７の作業領域としても使用することが可能である。
画像表示部１１０は、ＬＣＤ等で構成され、メモリ制御回路１０６を介してメモリ１０９に書き込まれた表示用の画像データを表示する。画像表示部１１０に撮像した画像データを逐次表示すれば、画像表示部１１０は電子ファインダとして機能する。画像表示部１１０は、システム制御回路１０７の指示により表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することができる。

不揮発性メモリ１１１は、Ｆｌａｓｈ ＲＯＭ等で構成される。不揮発性メモリ１１１には、システム制御回路１０７が実行するプログラムコードが書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ１１１内には、システム情報を記憶する領域やユーザ設定情報を記憶する領域を設け、様々な情報や設定を次回起動時に読み出して復元することを実現する。
圧縮・伸長回路１１２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路１１２は、メモリ１０９に格納された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ１０９に書き込む。

露光制御部１１３は、シャッター１０２を制御し、フラッシュ１１６と連動することによりフラッシュ調光機能も有する。測距制御部１１４は、撮影レンズ１０１のフォーカシングを制御する。ズーム制御部１１５は、撮影レンズ１０１のズーミングを制御する。フラッシュ１１６は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。露光制御部１１３、測距制御部１１４はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路１０８によって演算した演算結果に基づいて、システム制御回路１０７が露光制御部１１３、測距制御部１１４に対して制御を行う。

電源１１７は、デジタルカメラ１００の各部に電源を供給する。電源１１７には、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等が使用される。
モードダイアル１１８、シャッタースイッチＳＷ（１）１１９、シャッタースイッチＳＷ（２）１２０、表示切替スイッチ１２１、操作部１２２及びズームスイッチ１２３は、システム制御回路１０７の各種の動作指示を入力するための操作手段である。これらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。

インタフェース１２４は、記録媒体１２９とのインタフェースである。コネクタ１２５は、記録媒体１２９と接続を行うコネクタである。記録媒体１２９は、メモリカードやハードディスク等である。記録媒体１２９は、半導体メモリや磁気ディスク等から構成される記録部１３２、デジタルカメラ１００とのインタフェース１３１、デジタルカメラ１００と接続を行うコネクタ１３０を備える。

光学ファインダ１２６は、撮影レンズ１０１に入ってきた光をミラーを介して確認するためのファインダである。画像表示部１１０による電子ファインダ機能を使用することなしに、光学ファインダ１２６を用いて撮影を行うことが可能になる。また、光学ファインダ１２６内には、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等を表示する機能が置かれる。
通信部１２７は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能の少なくとも一部を有する。コネクタ１２８は、通信部１２７が有線通信を行うものである場合、他の機器と接続するコネクタ等であり、通信部１２７が無線通信を行うものである場合、アンテナ等である。

図２に、画像処理回路１０８の機能構成を示す。画像処理回路１０８は、撮影された被写体人物の顔範囲における補正対象領域を検出し、それを補正する補正部２００を備える。ここで、補正対象領域とは、皮膚のシミやそばかす等の原因となるメラニン色素が沈着している領域（以下、シミ領域と呼ぶ。）である。また、補正とは、シミ領域においてシミやそばかす等を目立たなくするための美肌効果のある補正である。

次に、図２を参照して、補正部２００の構成について説明する。
補正部２００は、分離部２０１と、検出部２０８と、補正処理部２０９とを備える。
分離部２０１は、撮像した原画像の画像データを用いて、可視光画像及び赤外光画像を分離、生成する。
検出部２０８は、分離部２０１で生成した可視光画像及び赤外光画像に基づいて、撮影された被写体人物の顔範囲におけるシミ領域を検出する。検出部２０８は、顔範囲検出部２０２、肌色検出部２０３、肌領域検出部２０４、明るさ補正処理部２０６、差分領域検出部２０７、補正対象領域検出部２０５を備える。
補正処理部２０９は、分離部２０１で生成した可視光画像におけるシミ領域を補正する。
なお、本実施形態では、分離部２０１、検出部２０８、補正処理部２０９の機能を画像処理回路１０８で実現する例としたが、一部の機能を他の回路で実現するようにしてもよい。

以下、図３のフローチャートを参照して、第１の実施形態における画像処理について説明する。図３は、システム制御回路１０７の制御下で補正部２００が実行する画像処理を示し、例えばＣＰＵ等のプロセッサがメモリに格納されているプログラムを読み出し、このプログラムを実行することにより実現される。

撮像した原画像１の画像データ（以下、画像データである旨を省略し、単に原画像１と呼ぶ。他の画像についても同様である。）は、分離部２０１に入力される。ステップＳ３００で、分離部２０１は、原画像１に対して現像処理を行い、各画素における可視光の画素値と赤外光の画素値とを生成し、可視光画像２及び赤外光画像３を生成する。図４（ａ）に可視光画像２を模式的に示し、（ｂ）に赤外光画像３を模式的に示す。なお、現像処理は、所定の画素補間処理、ホワイトバランス処理、ＲＧＢ（原色）→ＹＵＶ（輝度と色差）マトリクス変換処理、ノイズ低減処理、ガンマ変換処理等を含む。また、使用する撮像素子によっては、現像処理において、ＲＧＢ（原色）の純成分を取り出すための純色変換処理を含む場合もある。

ステップＳ３０３で、検出部２０８の顔範囲検出部２０２は、可視光画像２を用いて顔範囲検出処理を行う。
顔範囲検出部２０２は、可視光画像２に水平方向バンドパスフィルタを作用させる。次に、顔範囲検出部２０２は、水平方向バンドパスフィルタを作用させた可視光画像２に垂直バンドパスフィルタを作用させる。これら水平方向バンドパスフィルタ及び垂直方向バンドパスフィルタにより、可視光画像２からエッジ成分を検出する。
次に、顔範囲検出部２０２は、検出したエッジ成分に関してパターンマッチングを行い、目、鼻、口、耳等の器官に関する候補群を抽出する。
次に、顔範囲検出部２０２は、抽出した目の候補群の中から、予め設定された条件（例えば２つの目の間の距離、傾き等）を満たすものを目の対と判断し、目の対があるものを目の候補群として絞り込む。
そして、顔範囲検出部２０２は、絞り込んだ目の候補群とそれに対応する顔を形成する他の器官（鼻、口、耳）を対応付け、また予め設定した非顔条件フィルタを通すことで顔範囲を検出する。
なお、顔範囲検出処理はここで説明した方式に限らず、他の方式としてもよい。例えば顔範囲をユーザが手動で選択することにより、顔範囲検出処理が行われてもよい。

ステップＳ３０４で、検出部２０８の肌色検出部２０３は、顔範囲を対象として肌色検出処理を行う。
肌色検出部２０３は、ステップＳ３０３において検出した顔範囲に含まれる画像情報に基づいて、被写体人物の肌の明るさ及び色合い（以下、これらを肌色成分と呼ぶ。）を決定する。肌色成分は、例えば顔範囲における色相、彩度、明度といった成分の平均値を用いることができる。
なお、肌色検出処理はここで説明した方式に限らず、顔範囲のうち目、鼻、口、耳といった器官領域を除いた範囲に限定して肌色成分を決定してもよい。また、肌の明るさや色合いの成分のヒストグラムを生成し、所定の閾値を越える成分を抽出して肌色成分を決定してもよい。

ステップＳ３０５で、検出部２０８の肌領域検出部２０４は、肌色成分に基づいて肌領域検出処理を行う。
肌領域検出部２０４は、ステップＳ３０２において検出した肌色成分に基づいて、可視光画像２の被写体人物の顔範囲における肌に相当する領域を検出し、肌領域検出画像５を生成する。図４（ｄ）に肌領域検出画像５を模式的に示す。肌領域検出画像５は、可視光画像２における画素値の色相、彩度、明度の成分と、肌色成分とがどれだけ近いかによって決まる画像である。本実施形態で、肌領域検出画像５は、肌色成分に最も近い画素が最大の画素値をとる画像とする。なお、後述するステップＳ３０６のシミ領域検出処理の検出精度を向上させるため、顔範囲のうち目、鼻、口、耳といった器官領域を除いた範囲に限定して肌領域検出画像５を生成するとよい。

一方、ステップＳ３０１で、検出部２０８の明るさ補正処理部２０６は、可視光画像２及び赤外光画像３のうち少なくともいずれか一方の明るさを補正する明るさ補正処理を行う。
明るさ補正処理部２０６は、可視光画像２の明るさ（輝度値）と赤外光画像３の明るさ（輝度値）とを揃えるようにゲイン調整を実施する。ゲイン調整の方式の一つとして、肌領域検出画像５における肌領域に対応する画素について、可視光画像２の輝度成分の画素値の平均値と赤外光画像３の画素値の平均値とが等しくなるようにゲイン調整を行う。

ステップＳ３０２で、検出部２０８の差分領域検出部２０７は、可視光画像２と赤外光画像３との差分領域を検出する差分領域検出処理を行う。
差分領域検出部２０７は、ステップＳ３０１において明るさを補正した、可視光画像２の各画素値と赤外光画像３の各画素値との差分を算出し、その差分画像４を生成する。ここでの差分画像は、差分に対して所定の閾値を超える画素を差分領域として検出した画像とする。図４（ｃ）に差分画像４を模式的に示す。

ここで、赤外光は、皮膚のメラニン色素の沈着領域における吸収が低いため、シミやそばかす等が画像に写りにくい特徴がある。一方、可視光は、皮膚のメラニン色素の沈着領域における吸収が高いため、逆にシミやそばかす等が画像に写りやすい特徴がある。図５は、シミ領域とシミ領域外の分光反射率の例を示したものである。赤外光領域（８００ｎｍ近傍）においては、シミ領域とシミ領域外の分光反射率の差異は少なく、画像にはシミが写りにくい。一方、可視光領域（４００〜８００ｎｍ）においては、シミ領域とシミ領域外の分光反射率の差異が大きいため、画像にシミが写りやすい。
以上の理由により、明るさ補正処理部２０６で可視光画像２の明るさと赤外光画像３の明るさとを揃え、次に差分領域検出部２０７で両画像２、３の差分を求めれば、シミ領域を検出することができる。

そこで、ステップＳ３０６で、検出部２０８の補正対象領域検出部２０５は、差分画像４及び肌領域検出画像５を用いて、補正対象領域であるシミ領域を検出するシミ領域検出処理を行う。
補正対象領域検出部２０５は、差分画像４における差分領域と、肌領域検出画像５における肌領域との重複領域を検出し、この重複領域がどの画素であるかが分かるようにシミ領域検出画像６を生成する。図４（ｅ）にシミ領域検出画像６を模式的に示し、６０１が検出されるシミ領域である。なお、顔を形成する器官（目、鼻、口等）の陰影の影響により、シミ以外の箇所も重複領域として検出されることがあるため、シミ領域を検出するに際して、その大きさに制限を設けるようにしてもよい。すなわち、重複領域を検出する際に、重複領域の面積が所定の閾値以上となるものは、シミ領域から除外する。また、このシミ以外の箇所を除外する処理は、ステップＳ３０２の差分領域検出処理で行ってもよい。

ステップＳ３０７で、補正処理部２０９は、可視光画像２におけるシミ領域を補正するシミ領域補正処理を行う。
補正処理部２０９は、ステップＳ３０６において検出したシミ領域６０１について、可視光画像２の輝度成分（以下、可視光輝度画像７と呼ぶ。）の画素値を、赤外光画像３を用いて補正して、新たな輝度成分（以下、シミ領域補正画像９と呼ぶ。）を生成する。例えば可視光輝度画像７の画素値を、赤外光画像３の画素値と置換して、シミ領域６０１において輝度の高い画像を得る。このように可視光輝度画像７を再構成してシミ領域補正画像９を生成する。

ステップＳ３０８で、補正処理部２０９は、シミ領域補正画像９と、可視光画像２の色差成分（以下、可視光色差画像８と呼ぶ。）とを合成して、美肌効果を高めた最終画像１０を生成する。

以上のように、撮影された被写体人物の顔範囲におけるシミ領域を検出し、それを補正するようにしたので、補正面積を小さくして、被写体人物の顔範囲に対し、肌の色や質感が損なわれないようにした補正画像を得ることができる。
なお、本実施形態において、被写体人物の顔範囲を対象として補正を行ったが、被写体人物の肌領域であれば、本発明を適用することは可能である。

（第２の実施形態）
第１の実施形態では、ステップＳ３０７のシミ領域補正処理で赤外光画像３を用いたが、可視光画像２だけを用いるようにしてもよい。第２の実施形態では、シミ領域補正処理の変形例について説明する。なお、デジタルカメラ１００の構成、及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明し、第１の実施形態との共通点については説明を省略する。

以下、図６のフローチャートを参照して、第２の実施形態における画像処理について説明する。第１の実施形態との違いは、ステップＳ５０１の補正処理部２０９によるシミ領域補正処理の内容である。
ステップＳ５０１で、補正処理部２０９は、可視光画像２におけるシミ領域を補正するシミ領域補正処理を行う。
補正処理部２０９は、ステップＳ３０６において検出したシミ領域６０１について、可視光輝度画像７の画素値を、シミ領域６０１の周辺画素の輝度成分を用いて補正して、新たな輝度成分（以下、シミ領域補正画像１１と呼ぶ。）を生成する。例えばシミ領域６０１から一定の距離内にある画素を周辺画素とし、周辺画素のうち、シミ領域６０１内の中心画素との輝度値の差分が、予め設定された閾値以内である画素の輝度値の平均値を算出する。この輝度値の平均値を用いて、シミ領域６０１の画素の輝度値を補正する。このように可視光輝度画像７を再構成してシミ領域補正画像１１を生成する。

ステップＳ３０８で、補正処理部２０９は、シミ領域補正画像１１と、可視光色差画像８とを合成して、美肌効果を高めた最終画像１２を生成する。

第２の実施形態では、シミ領域補正処理で可視光画像２だけを用いるので、例えば赤外光画像３の合焦が甘いような場合であっても、肌の色や質感が損なわれないようにした補正画像を得ることができる。

（第３の実施形態）
第１の実施形態及び第２の実施形態では、フラッシュ１１６の使用については触れなかったが、フラッシュ１１６を使用して撮影してもよい。第３の実施形態では、フラッシュ１１６により光を照射しての撮影により原画像１を取得する例を説明する。なお、デジタルカメラ１００の構成、及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１、２の実施形態との相違点を中心に説明し、第１、２の実施形態との共通点については説明を省略する。

フラッシュ光源としては、赤外光が含まれないような環境下でも赤外光画像が取得できるよう、波長が７００ｎｍから１０００ｎｍ程度の、いわゆる近赤外光、中赤外光、及び遠赤外光のいずれかの範囲に属する赤外線光源とする。
フラッシュ１１６の照射下で撮像した原画像１は、分離部２０１に入力される。ステップＳ３００で、分離部２０１は、原画像１に対して色補間処理等を含む現像処理を行い、各画素における可視光の画素値と赤外光の画素値とを生成し、可視光画像２及び赤外光画像３を生成する。

第３の実施形態では、室内のように赤外光が含まれないような環境下であっても、肌の色や質感が損なわれないようにした補正画像を得ることができる。

（第４の実施形態）
第４の実施形態では、フラッシュ１１６によって赤外光を照射した場合と、照射しない場合の撮影を連続して行って２種類の原画像を取得し、被写体の分光反射率を用いて、肌領域を検出することが特徴である。なお、デジタルカメラ１００の構成、及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１、２、３の実施形態との相違点を中心に説明し、第１、２、３の実施形態との共通点については説明を省略する。

以下、図７のフローチャートを参照して、第４の実施形態における画像処理について説明する。まず、フラッシュ１１６によって赤外光を照射した撮影で原画像１を取得する。フラッシュ光源は赤外線光源とし、可視光画像２及び赤外光画像３を生成する構成、赤外光画像３から差分画像４を生成する構成、及び可視光画像から可視光輝度画像７と可視光色差画像８を生成する構成は第１、２、３の実施形態と同様である。

次に、フラッシュ１１６によって赤外光を照射しない撮影で原画像１３を取得する。ここで、第１、２、３の実施形態の違いは、肌領域を検出する際に被写体の分光反射率を用いることにある。
ステップＳ７０１で、画像処理回路１０８は、原画像１と原画像１３の輝度値の差分算出処理を行い、差分画像１４を得る。
ステップＳ７０２で、画像処理回路１０８は、差分画像１４に対し、測距制御部１１４から得られた測距データ１５と分光反射率１６から、被写体の分光反射率を算出する。

ステップＳ７０３で、画像処理回路１０８は、肌らしい領域を検出する処理を行い、肌らしい領域検出画像１８を生成する。具体的には、被写体人物の肌に合焦している前提において、測距制御部１１４から得られるデータはデジタルカメラ１００と被写体人物との距離である。また、デジタルカメラ１００内部の不揮発性メモリ１１１には、予めデジタルカメラ１００と被写体間の距離と、フラッシュ１１６の波長における分光反射率の関係をデータベースとして保存しておく。ここで言う距離と分光反射率の関係は、距離とフラッシュ光源有無による輝度値の変化量の関係とも言い換えられる。これらのデータを用いれば、輝度値の差分画像１４より、合焦位置における分光反射率を算出することができる。ちなみに、人の肌の分光反射率は既知であり、例えば８８０ｎｍにおける肌の分光反射率は６０〜７０％である。

ステップＳ７０４で、検出部２０８の補正対象領域検出部２０５は、ステップＳ３０４の肌色検出処理によって生成される肌色領域検出画像１７、差分画像４、及び肌らしい領域検出画像１８を用いて、シミ領域検出処理を行い、シミ領域検出画像１９を生成する。
その後は、第１、２、３の実施形態と同様に、ステップＳ７０５においてシミ領域補正画像２０を生成し、ステップＳ７０６を経て最終画像２１を生成する。

なお、第４の実施形態のフローチャートは、第１の実施形態と同様に赤外光画像３をステップＳ７０５のシミ領域補正処理で用いているが、これに限定されるものではない。また、フラッシュ１１６によって光照射した撮影後に光照射しない撮影を行う連続撮影の例としたが、この順序は限定されず、光照射しない撮影後に光照射した撮影を行う連続撮影としてもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ
１０３：撮像素子
１０７：システム制御回路
１０８：画像処理回路
２００：補正部
２０１：分離部
２０２：顔範囲検出部
２０３：肌色検出部
２０４：顔範囲検出部
２０５：補正対象領域検出部
２０６：明るさ補正処理部
２０７：差分領域検出部
２０８：検出部
２０９：補正処理部

Claims (14)

1. 可視光画像及び赤外光画像を用いて画像処理する画像処理装置であって、
   被写体人物の肌領域を検出する肌領域検出手段と、
   前記可視光画像と前記赤外光画像との差分領域を検出する差分領域検出手段と、
   前記肌領域検出手段で検出した前記肌領域、及び前記差分領域検出手段で検出した前記差分領域に基づいて、前記被写体人物の補正対象領域を検出する補正対象領域検出手段と、
   前記可視光画像における前記補正対象領域を補正する補正処理手段とを備えることを特徴とする画像処理装置。
2. 前記補正処理手段は、
   前記補正対象領域における前記可視光画像の輝度成分を、前記赤外光画像を用いて補正して新たな輝度成分を生成し、
   前記新たな輝度成分と、前記可視光画像の色差成分とを合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正処理手段は、
   前記補正対象領域における前記可視光画像の輝度成分を、前記補正対象領域の周辺画素の輝度成分を用いて補正して新たな輝度成分を生成し、
   前記新たな輝度成分と、前記可視光画像の色差成分とを合成することを特徴とする請求項１に記載の画像処理装置。
4. 前記可視光画像及び前記赤外光画像のうち少なくともいずれか一方の明るさを補正する明るさ補正処理手段を備え、
   前記差分領域検出手段は、前記明るさ補正処理手段で明るさを補正した、前記可視光画像と前記赤外光画像との差分領域を検出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記明るさ補正処理手段は、前記可視光画像の明るさと前記赤外光画像の明るさとを揃えることを特徴とする請求項４に記載の画像処理装置。
6. 前記可視光画像及び前記赤外光画像は、同じ撮像素子によって得られたものであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記可視光画像及び前記赤外光画像は、赤外光を照射しての撮影で得られたものであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記肌領域検出手段は、前記被写体人物の顔範囲のうち器官領域を除いた範囲に限定して前記肌領域を検出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記補正対象領域検出手段は、前記補正対象領域を検出するに際して、その大きさに制限を設けることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記肌領域検出手段は、前記可視光画像を用いて前記被写体人物の肌領域を検出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記肌領域検出手段は、撮像装置により、赤外光を照射した撮影で得られた画像と、赤外光を照射しない撮影で得られた画像の差分を算出し、
    前記被写体人物と前記撮像装置の距離と、赤外光の波長における分光反射率との関係に基づいて、前記画像の差分から前記肌領域を検出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 可視光画像及び赤外光画像を撮像可能な撮像手段と、
    請求項１乃至１１のいずれか１項に記載の画像処理装置とを備えることを特徴とする撮像装置。
13. 可視光画像及び赤外光画像を用いて画像処理する画像処理方法であって、
    肌領域検出手段が、被写体人物の肌領域を検出するステップと、
    差分領域検出手段が、前記可視光画像と前記赤外光画像との差分領域を検出するステップと、
    補正対象領域検出手段が、前記肌領域検出手段で検出した前記肌領域、及び前記差分領域検出手段で検出した前記差分領域に基づいて、前記被写体人物の補正対象領域を検出するステップと、
    補正処理手段が、前記可視光画像における前記補正対象領域を補正するステップとを有することを特徴とする画像処理方法。
14. 可視光画像及び赤外光画像を用いて画像処理するためのプログラムであって、
    被写体人物の肌領域を検出する肌領域検出手段と、
    前記可視光画像と前記赤外光画像との差分領域を検出する差分領域検出手段と、
    前記肌領域検出手段で検出した前記肌領域、及び前記差分領域検出手段で検出した前記差分領域に基づいて、前記被写体人物の補正対象領域を検出する補正対象領域検出手段と、
    前記可視光画像における前記補正対象領域を補正する補正処理手段としてコンピュータを機能させるためのプログラム。

Images