JP2014103644A - 撮像装置、画像処理装置及び色補正方法 - Google Patents

Abstract

【課題】シミやシワを補正し、肌を綺麗に撮影しつつ、目鼻立ち等のはっきりとした画像を得ることができる撮像装置を提供する。
【解決手段】撮像装置の一例であるビデオカメラ１００は、被写体からの可視領域の光を受光して可視領域画像を生成する可視領域画像生成部４０２と、被写体からの紫外領域の光を受光して紫外領域画像を生成する紫外領域画像生成部４０３と、可視領域画像における肌領域を抽出する肌領域抽出部４０５と、肌領域抽出部４０５が抽出した肌領域を可視領域画像と紫外領域画像との差分に基づいて色補正する第１の色補正部４０７及び第２の色補正部４０８とを備える。
【選択図】図５

Description

本発明は、電子画像に対して色補正を行う色補正機能を有する撮像装置、画像処理装置及び色補正方法に関し、特に画像データの中の特定の色（肌色）の領域を補正して、画像（人物の肌）を綺麗に表現する技術に関する。

ポートレート等の顔を映した画像に対して、シミやシワ等を除去して肌を綺麗に見せたいという要望が存在する。固体撮像素子を用いたデジタルカメラ等の撮像装置により撮影を行う際に肌を綺麗に撮影する方法としては、肌色を強調する方法が採られることが知られている。例えば、映像信号における肌色の領域を検出し、検出した肌色領域に対して映像信号の利得（ゲイン）を上げる補正処理を行って肌色を強調することで、肌を綺麗に撮影する技術が知られている（特許文献１参照）。

特開平６−１２１３３２号公報

上記従来技術では、肌色領域を検出し、検出された肌色領域全体に色補正処理を施している。ここで、シミやシワは画像の中では非常に微細な変化（低コントラスト）であるため、全てのシワやシミを消そうとすると、肌色領域の全域にわたって強い補正をかけることとなる。しかし、このように肌色領域の全域に補正を行った場合、最終的に生成された画像では、シミやシワを除去することはできるものの、全体的にのっぺりとした印象を与えるものになってしまうという問題がある。

本発明は、電子画像に対して色補正を行う色補正機能を有する撮像装置において、シミやシワを補正し、肌を綺麗に見せると共に、目鼻立ち等のはっきりとした画像を得ることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体からの可視領域の光を受光して可視領域画像を生成する可視領域画像生成手段と、前記被写体からの紫外領域の光を受光して紫外領域画像を生成する紫外領域画像生成手段と、前記可視領域画像における肌領域を抽出する肌領域抽出手段と、前記肌領域抽出手段が前記可視領域画像から抽出した肌領域を前記可視領域画像と前記紫外領域画像との差分に基づいて色補正する色補正手段と、を備えることを特徴とする。

本発明によれば、シミやシワを補正して肌を綺麗に見せると共に、目鼻立ち等のはっきりとした画像を得ることができる。

本発明の第１実施形態に係る撮像装置の一例であるビデオカメラの概略構成を示すブロック図である。 図１のビデオカメラが備える撮像部の概略構成を示す図である。 従来技術に係る色補正処理の流れを模式的に示す図と、本実施形態に係る図１のビデオカメラで行われる色補正処理の流れを模式的に示す図である。 図１のビデオカメラが備える画像処理部の構成を示す図である。 図４の画像処理部による色補正処理のフローチャートである。 図５のステップＳ５０１で生成される可視領域画像の一例を示す図である。 図５のステップＳ５０２で生成された、図６の可視領域画像と対応する赤外領域画像を示す図である。 図５のステップＳ５０３で生成された、図６の可視領域画像と対応する肌色領域抽出画像を示す図である。 図５のステップＳ５０５で抽出された、図６の可視領域画像と対応する肌領域を示す図である。 図５のステップＳ５０１で生成された、図６の可視領域画像と対応する紫外領域画像を示す図である。 本発明の第２実施形態に係るビデオカメラによる画像（映像）記録時の画像処理部での処理を示すフローチャートである。 本発明の第２実施形態に係るビデオカメラによる画像（映像）再生時の画像処理部での処理を示すフローチャートである。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。ここでは、本発明に係る撮像装置として、動画撮影を行うことができる、所謂、デジタルビデオカメラ（以下「ビデオカメラ」と記す）を取り上げることとするが、本発明はこれに限定されるものではない。即ち、本発明は、電子画像に対して色補正を行うことが可能な動画或いは静止画の撮像機能を備える電子機器、例えば、デジタルカメラ、カメラ付きのパーソナルコンピュータ（ＰＣ）、タブレットＰＣ、携帯電話（スマートフォン）、ゲーム機等にも適用される。

＜第１実施形態＞
［ビデオカメラの概略構成］
図１は、本発明の第１実施形態に係るビデオカメラ１００の概略構成を示すブロック図である。ビデオカメラ１００は、システムコントローラ１０１、撮像光学系１０２、撮像部１０３、画像処理部１０４、記憶部１０５、出力部１０６、モニタ１０７、出力コネクタ１０８及び操作部１０９を備える。

システムコントローラ１０１は、ビデオカメラ１００の全体的動作を制御し、例えば、ＣＰＵ、ＣＰＵが実行するプログラム等を格納したＲＯＭ、プログラムを展開するための作業領域や撮影した画像を一時的に保存する記憶領域を有するＲＡＭを備える。撮像光学系１０２は、ビデオカメラ１００の前面に被写体を臨む形で配置されており、レンズ群、絞り、シャッタ等の可動可能な複数の光学要素と、これらの光学要素を駆動させるアクチュエータ等を有している。なお、所定のレンズを移動させてレンズ群の配置を変化させることにより、撮影画像の画角を変化させるズームや、被写体にピントを合わせるフォーカスを行うことができる。

撮像部１０３は、具体的には、撮像光学系１０２を通して得られる被写体からの光を受光するＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子と、固体撮像素子から出力されるアナログ電気信号をデジタル信号（画像データ）に変換するアナログ信号処理部（Ａ／Ｄ変換器）とを備える。固体撮像素子は撮像光学系１０２の結像面に配置されている。撮像部１０３は、撮像光学系１０２によって結像した被写体光学像を光電変換し、これにより得られる画像データを画像処理部１０４へ出力する。なお、撮像部１０３の構成については、図２を参照して後述する。

画像処理部１０４は、撮像部１０３から出力された信号を元に画像データを作成する。画像処理部１０４は、録画処理を行う場合は、所定の信号処理と画像処理を行った後に、ＡＶＣＨＤ形式の動画データにエンコードし、撮影時間等のメタデータを合わせて記憶部１０５に保存する。画像処理部１０４は、再生処理を行う場合には、記憶部１０５に保存されている動画データを読み出してデコードした後に、デコードした画像データを出力部１０６に対して出力する。記憶部１０５は、録画した画像データを記録する記録領域であり、例えば、ビデオカメラ１００が備える内蔵メモリ（システムコントローラ１０１が備えるＲＡＭ）や、ビデオカメラ１００に着脱可能に挿抜されるメモリカードやＨＤＤの記憶媒体である。

出力部１０６は、ビデオカメラ１００に搭載されているモニタ１０７や、出力コネクタ１０８を通じてビデオカメラ１００に接続される外部モニタ（テレビ等）に対して映像信号を出力する処理を行う。モニタ１０７は、例えば、液晶（ＬＣＤ）パネル等であり、撮像した映像（画像）や撮影中の動画（或いは静止画）を表示する。出力コネクタ１０８は、外部機器に対して映像信号を出力するためのＨＤＭＩコネクタ等のコネクタである。操作部１０９は、撮影者からの記録開始や記録停止、再生開始等の様々な入力を受け付けるための手段であり、ボタンやスイッチやタッチパネル等で構成されている。

以上の構成を有するビデオカメラ１００では、システムコントローラ１０１が操作部１０９から動画記録開始の操作を受け付けると、撮像光学系１０２を通して得られる光学像は撮像部１０３においてデジタル信号からなる画像データに変換される。そして、撮像部１０３から画像処理部１０４へ画像データが出力され、画像処理部１０４は受信した画像データに対して色補正等の所定の処理を行い、処理後の画像データが記憶部１０５に保存される。

［撮像部１０３の構成］
図２は、撮像部１０３の概略構成を示す図である。撮像部１０３は、可視光の撮影のみでなく、可視光領域以外の光、即ち、赤外領域の光と紫外領域の光も撮像可能な素子である。撮像部１０３は、固体撮像素子２０１、アナログ信号処理部２０２、基板２０３により構成されており、固体撮像素子２０１とアナログ信号処理部２０２は基板２０３に実装されている。なお、固体撮像素子２０１は、光電変換層を縦に積み重ねた５層の単板構造を有しており、５層の光電変換層は内側から順に、赤外、赤、緑、青、紫外の各領域の波長に対してのみ感光性能を有している。但し、このような構造に限定されず、紫外、青、緑、赤、赤外の領域を撮像可能な構造であれば、例えば、プリズムで分光する構造等の周知の構造を採用しても構わない。

固体撮像素子２０１は、撮像光学系１０２によって結像された被写体像に対して、赤外、赤、緑、青、紫外の５領域のそれぞれにおいて光電変換を行い、アナログ画像信号を出力する。アナログ信号処理部２０２は、固体撮像素子２０１から出力されるアナログ画像信号をデジタルデータに変換するＡ／Ｄ変換処理を行い、画像処理部１０４に５種類のデジタル信号Ｓｉｒ，Ｓｒ，Ｓｇ，Ｓｂ，Ｓｕｖを出力する。

［色補正処理の概要］
図３（ａ）は、従来技術での色補正処理の流れを模式的に示す図であり、図３（ｂ）は、本実施形態に係るビデオカメラ１００で行われる色補正処理の流れを模式的に示す図である。

図３（ａ）に示す従来の技術を用いた色補正処理では、画像内の肌色領域全体に対して色補正処理を行うことで、シミやシワ３０１を消した画像（絵）を生成している。しかし、この方法で全てのシミやシワを消すためには、肌色領域全体（つまり、顔全体）に強い補正をかけることとなるため、生成された画像は、凹凸が少なく、全体的にのっぺりとした画像となってしまう。

これに対して、本実施形態では、図３（ｂ）に示すように、２段階で色補正処理を行う。即ち、第１段階では、画像内の肌色領域全体に対して弱い色補正処理を行い、肌領域における立体感を残しつつ、大きなシミやシワ３０１を除去する処理を行う。続いて、第２段階では、第１段階の色補正処理で除去しきれなかったシミやシワの部位３０２のみに対して強い色補正処理を行った画像を生成する。

第２段階でのシミやシワの部位３０２のみの特定は、可視光よりも高分解能での輝度情報の取得が可能な紫外領域の画像データを用いることによって行う。これにより、可視光領域の画像の中では非常に低コントラストとなる部位である、シミやシワ等の色補正処理対象部位を、高精度で検出することができるため、肌を綺麗に撮影しつつ、目鼻立ち等のはっきりとした画像を得ることが可能となる。

［画像処理部１０４の構成と色補正処理］
図３（ｂ）を参照して説明した色補正処理は、画像処理部１０４によって実行される。そこで、画像処理部１０４の構成と色補正処理の詳細について、以下に説明する。

図４は、画像処理部１０４の構成を示すブロック図である。画像処理部１０４は、赤外領域画像生成部４０１、可視領域画像生成部４０２、紫外領域画像生成部４０３、高輝度領域抽出部４０４、肌領域抽出部４０５、紫外補正領域抽出部４０６、第１の色補正部４０７及び第２の色補正部４０８を有する。

赤外領域画像生成部４０１は、撮像部１０３から入力されるデジタル信号（Ｓｉｒ，Ｓｒ，Ｓｇ，Ｓｂ，Ｓｕｖ）のうち、赤外領域のデジタル信号Ｓｉｒを用いて赤外領域の画像データを生成し、生成した画像データを高輝度領域抽出部４０４へ出力する。高輝度領域抽出部４０４は、赤外領域画像生成部４０１によって生成された赤外領域の画像データを元に、画像中から高輝度領域を抽出する。ここで、高輝度領域とは、輝度が所定値以上の画素の集まりをいう。

可視領域画像生成部４０２は、撮像部１０３から入力されるデジタル信号のうち、赤，緑，青の３領域のそれぞれのデジタル信号Ｓｒ，Ｓｇ，Ｓｂを用いて、可視領域画像の画像データ（可視領域のフルカラー画像データ）を生成する。可視領域画像生成部４０２は、生成したフルカラー画像データを、肌領域抽出部４０５、出力部１０６、記憶部１０５等へ出力する。肌領域抽出部４０５は、可視領域画像生成部４０２によって生成された可視領域のフルカラー画像データと、高輝度領域抽出部４０４によって抽出された高輝度領域のデータを用いて撮影画像における肌領域を抽出する。

紫外領域画像生成部４０３は、撮像部１０３から入力されるデジタル信号の内、紫外領域のデジタル信号Ｓｕｖを用いて、紫外領域の画像データを生成し、生成した画像データを紫外補正領域抽出部４０６へ出力する。紫外補正領域抽出部４０６は、受信した紫外領域の画像データを用いて、可視領域の画像データを補正するための領域を抽出する。

第１の色補正部４０７は、可視領域画像生成部４０２により生成された可視領域のフルカラー画像データに対して色補正を行う。第２の色補正部４０８は、第１の色補正部４０７にて生成された画像データに対して色補正を行う。

［色補正処理フロー］
図５は、画像処理部１０４による色補正処理のフローチャートである。システムコントローラ１０１が画像処理部１０４を制御することにより、図５のフローチャートに示す各種処理が実行される。

システムコントローラ１０１は、ユーザによる操作部１０９の操作により撮影指示を受けると、撮像部１０３から画像処理部１０４への画像データの送信を開始する。画像処理部１０４は、撮像部１０３から赤外，青，緑，赤，紫外の５種類のデジタル信号Ｓｉｒ，Ｓｒ，Ｓｇ，Ｓｂ．Ｓｕｖを取り込む。そして、画像処理部１０４は、取り込んだ５種類のデジタル信号を元に、赤外領域画像生成部４０１，可視領域画像生成部４０２，紫外領域画像生成部４０３によって、赤外領域，可視領域，紫外領域の３種類の画像データを生成する（ステップＳ５０１）。

図６に、ステップＳ５０１で生成される可視領域画像６００の一例を示す。この可視領域画像６００は、主被写体として人物６０１が撮影された画像であり、その背後に犬６０２と肌色に近しい色をした花６０３とが画角に入っているものとする。

図５の説明に戻り、画像処理部１０４は、ステップＳ５０１で得られた赤外領域の画像データを元に、高輝度領域抽出部４０４によって高輝度の領域を抽出する処理を行う（ステップＳ５０２）。

図７に、ステップＳ５０２で生成された、図６の可視領域画像６００と対応する赤外領域画像７００を示す。赤外領域画像７００では、被写体の温度に依存して濃淡が決まることから、温度の高い部分は周囲に比べて高い輝度で表される。したがって、図７に示すように、人物６０１の中でも肌が露出している領域と、犬６０２が写っている領域は、輝度が特に高くなるために白色となる。よって、ステップＳ５０２では、輝度が所定値よりも高く、図７のように白く表示される高輝度領域７０１が、赤外領域画像７００から抽出される。

図５の説明に戻り、画像処理部１０４は、肌領域抽出部４０５により、ステップＳ５０１で得られた可視領域画像６００から肌色の範囲を抽出する（ステップＳ５０３）。

図８に、ステップＳ５０３で生成された、図６の可視領域画像６００と対応する、肌色領域抽出画像８００を示す。なお、図８では、肌色領域８０１として抽出された領域を白色で表現している。肌色領域８０１の抽出には、既知の従来技術を用いることができる。例えば、肌色が取り得る色相値の範囲内で色相ヒストグラムのピークを基準肌色色相値とし、この基準肌色色相値からある一定の閾値内の色調の画素を肌色と認識する方法を用いることができる。

しかし、このような従来技術に係る肌色領域の認識方法では、肌色に近いすべての部分が肌色領域として認識される。そのため、図８に示すように、図６の可視領域画像６００において露出している人物６０１の肌部分と肌色に近しい色をした花６０３が写っている部分とが肌色領域８０１として抽出されてしまう。

そこで、ステップＳ５０３の後、画像処理部１０４は、ステップＳ５０２で抽出された高輝度領域７０１とステップＳ５０３で抽出された肌色領域８０１とを、肌領域抽出部４０５により比較する（ステップＳ５０４）。その結果、高輝度領域７０１と肌色領域８０１との重複範囲が検出された場合（Ｓ５０４でＹＥＳ）、画像処理部１０４の肌領域抽出部４０５は、その重複範囲を可視領域画像６００における肌領域として抽出する（ステップＳ５０５）。図９は、ステップＳ５０５で抽出された、図６の可視領域画像６００と対応する肌領域９０１を示している。一方、高輝度領域７０１と肌色領域８０１との重複範囲が検出されない場合（Ｓ５０４でＮＯ）、画像処理部１０４は、色補正を行わずに、画像データをＡＶＣＨＤ形式の動画データにエンコードし、これに撮影時間等のメタデータを合わせた画像データを記憶部１０５に保存する（ステップＳ５０９）。

本実施形態では、以上の処理の通り、可視領域画像の画像データから画像内の肌色の領域を抽出すると共に、赤外領域画像の画像データから高輝度の領域を抽出し、こうして抽出した２つの領域が重なる範囲を肌領域として認識する。これにより、例えば、人の肌の色と似た色の背景の中での撮影や、画角内に人の肌と同程度の輝度レベルを持つ被写体が入っている撮影であっても、人の肌の部分のみを正確に検出することが可能となる。

肌領域９０１が抽出されると、画像処理部１０４は、第１の色補正部４０７により、可視領域画像６００における肌領域９０１の画像データに対して、色を最適化する色補正処理を行う（ステップＳ５０６）。この色補正処理は、肌色の部分に対して補正をかけてシミやシワを除去し綺麗な肌色となるようにするものであり、周知の各種の色補正処理を採用することができる。例えば、肌色と認識された領域に対して所定の輝度信号を加算する方法や、肌色と認識された領域内において隣り合う画素の輝度差を平均化する方法等が用いられる。なお、ステップＳ５０６にて実施する色補正処理の強さは、従来の色補正処理に比べて弱いものとする。

ステップＳ５０６の後、画像処理部１０４は、ステップＳ５０６にて生成した補正後の可視領域画像とステップＳ５０１にて生成した紫外領域画像とを、紫外補正領域抽出部４０６により比較する。そして、画像処理部１０４は、肌領域９０１のうち可視領域画像６００の補正後の画像データと紫外領域画像１０００の画像データとの差分が所定の閾値を超える範囲を紫外補正範囲として抽出する（ステップＳ５０７）。

図１０に、ステップＳ５０１で生成された、図６の可視領域画像６００と対応する紫外領域画像１０００を示す。紫外領域とは波長が４００ｎｍ以下の短波長領域であるため、紫外領域画像は可視領域画像に比べて高分解能となり、よって、可視領域画像では認識できない微小な凹凸の変化（コントラストの変化）を検出することが可能となる。したがって、紫外領域画像の画像データを用いることにより、図１０に示すように、可視領域画像の画像データでは認識できない微小な凹凸であるシミやシワ１００１を撮影して検出することができる。

紫外補正範囲が抽出されなかった場合（Ｓ５０７でＮＯ）、画像処理部１０４は、色補正を行わずに、画像データをＡＶＣＨＤ形式の動画データにエンコードし、これに撮影時間等のメタデータを合わせた画像データを記憶部１０５に保存する（ステップＳ５０９）。一方、紫外補正範囲が抽出された場合（Ｓ５０７でＹＥＳ）、画像処理部１０４は、第２の色補正部４０８により、ステップＳ５０６において生成した補正後の可視領域画像の画像データに対して色を最適化する色補正処理を行う（ステップＳ５０８）。ここで、ステップＳ５０８において実施する色補正処理の強さは、ステップＳ５０６で行った補正処理に比べて強いものとする。その後、画像処理部１０４は、ステップＳ５０８で得られた画像データをＡＶＣＨＤ形式の動画データにエンコードし、これに撮影時間等のメタデータを合わせた画像データを記憶部１０５に保存する（ステップＳ５０９）。ステップＳ５０９の実行により、本処理は終了となる。

なお、ビデオカメラ１００において画像を記録する場合、上述の通りに色補正処理を行った可視光領域画像の画像データだけでなく、補正前の未補正画像データ（元データ）も別ファイルとして記憶部１０５に保存される。これにより、後にユーザがパーソナルコンピュータ（ＰＣ）等で画像処理ソフトを使用して元データに任意の画像処理を施し、新たな画像を作成することができる。

以上に説明したように、第１実施形態に係るビデオカメラ１００では、撮影画像の色補正処理において、先ず、赤外領域画像の画像データを用いて肌領域９０１を決定し、可視領域画像の画像データの肌領域９０１に対して弱い色補正処理を行う。次に、可視光よりも分解能の高い紫外線による紫外領域画像の画像データを用いて、可視領域画像の画像データと所定の差分がある部分にのみ、強い色補正処理を行う。このような一連の処理を行うことにより、人の肌にあるシミやシワだけを適切に補正して、肌の綺麗な違和感のない画像を得ることが可能になる。

＜第２実施形態＞
第２実施形態に係るビデオカメラ１００Ａの構成は、第１実施形態に係るビデオカメラ１００の構成と同じであるため、ビデオカメラ１００Ａの構成要素についての説明は省略する。第１実施形態に係るビデオカメラ１００では、画像撮影時（記録時）に色補正処理を行ったが、第２実施形態に係るビデオカメラ１００Ａでは、記憶部１０５に記憶された画像（映像）の再生時に色補正処理を行う。

［画像（映像）記録処理］
図１１は、ビデオカメラ１００Ａによる画像（映像）記録時の画像処理部１０４での処理を示すフローチャートである。システムコントローラ１０１が画像処理部１０４を制御することにより、図１１のフローチャートに示す各種処理が実行される。

画像（映像）記録処理が開始されると、撮像部１０３から画像処理部１０４へ赤外、青、緑、赤、紫外の５種類のデジタル信号が送信される。画像処理部１０４は、受信した５種類のデジタル信号を元に、赤外領域画像生成部４０１、可視領域画像生成部４０２、紫外領域画像生成部４０３によってそれぞれ赤外領域、可視領域、紫外領域の３種類の画像データを生成する（ステップＳ１１０１）。

そして、画像処理部１０４は、作成した画像データをＡＶＣＨＤ形式の動画データにエンコードし、これに撮影時間等のメタデータを合わせた画像データを記憶部１０５に保存する（ステップＳ１１０２）。このとき、記録する画像データは、可視領域の画像データだけでなく、赤外領域の画像データ及び紫外領域の画像データも可視領域の画像データに関連付けられて保存される。

［画像（映像）再生処理］
図１２は、ビデオカメラ１００Ａによる画像（映像）再生時の画像処理部１０４での処理を示すフローチャートである。システムコントローラ１０１が画像処理部１０４を制御することにより、図１２のフローチャートに示す各種処理が実行される。

画像再生処理が開始されると、画像処理部１０４は、記憶部１０５に保存されている動画データを読み出し、デコード処理を行う。そして、画像処理部１０４は、デコードされた画像データを元に、赤外領域画像生成部４０１、可視領域画像生成部４０２、紫外領域画像生成部４０３によってそれぞれ、赤外領域、可視領域、紫外領域の３種類の画像データを生成する（ステップＳ１２０１）。

次に、画像処理部１０４は、高輝度領域抽出部４０４により、ステップＳ１２０１で生成した赤外領域の画像データを元に、高輝度領域（図７の高輝度領域７０１に相当）を抽出する処理を行う（ステップＳ１２０２）。そして、画像処理部１０４は、肌領域抽出部４０５により、ステップＳ１２０１で得られた可視領域の画像データを元に、肌色領域（図８の肌色領域８０１に相当）を抽出する（ステップＳ１２０３）。その後、画像処理部１０４は、肌領域抽出部４０５により、ステップＳ１２０２で抽出された高輝度領域とステップＳ１２０３で抽出された肌色領域とを比較し、重複範囲があるか否かを判定する（ステップＳ１２０４）。

重複範囲が検出されなかった場合（Ｓ１２０４でＮＯ）、画像処理部１０４は、色補正を行わずに、可視領域の画像データを出力部１０６へ出力する（ステップＳ１２０９）。一方、重複範囲が検出された場合（Ｓ１２０４でＹＥＳ）、画像処理部１０４の肌領域抽出部４０５は、その重複範囲を可視領域画像における肌領域（図９の肌領域９０１に相当）として抽出する（ステップＳ１２０５）。そして、ステップＳ１２０５で抽出された肌領域に対して、画像処理部１０４は、第１の色補正部４０７により、可視領域画像の肌領域に対して、色を最適化する色補正処理を行う（ステップＳ１２０６）。なお、ステップＳ１２０６において実施する色補正処理の強さは、従来の色補正処理に比べて弱いものであり、ステップＳ５０６で行う補正処理と同様である。

次に、画像処理部１０４は、紫外補正領域抽出部４０６により、ステップＳ１２０６において生成した補正後の可視領域画像の画像データとステップＳ１２０１にて生成した紫外領域の画像データとを比較する。そして、肌領域において可視領域画像の補正後の画像データと紫外領域画像の画像データとの差分が所定の閾値を超える範囲を紫外補正範囲として抽出する（ステップＳ１２０７）。

紫外補正範囲が抽出されなかった場合（ステップＳ１２０７でＮＯ）、画像処理部１０４は、色補正を行わずに、ステップＳ１２０６で色補正処理を行った後の画像データを出力部１０６へ出力する（ステップＳ１２０９）。一方、紫外補正範囲が抽出された場合（Ｓ１２０７でＹＥＳ）、画像処理部１０４は、第２の色補正部４０８により、ステップＳ１２０６にて生成した補正後の可視領域画像の画像データに対して、色を最適化する色補正処理を行う（ステップＳ１２０８）。なお、ステップＳ１２０８において実施する色補正処理の強さは、ステップＳ１２０６で行った色補正処理に比べて強いものであり、ステップＳ５０８で行う色補正処理と同様である。

ステップＳ１２０８の後、画像処理部１０４は、ステップＳ１２０８にて色補正処理を行った後の画像データを出力部１０６へ出力する（ステップＳ１２０９）。ステップＳ１２０９の実行により、本処理は終了となる。

第２実施形態においても、画像（映像）記録時には未補正の可視領域の画像データが記憶部１０５に保存され、更に、赤外領域の画像データ及び紫外領域の画像データが可視領域の画像データに関連付けられて記憶部１０５に保存される。そして、画像（映像）再生時には、画像処理部１０４において赤外領域の画像データ及び紫外領域の画像データを用いて可視領域の画像データを補正する。これにより、画像（映像）記録時には画像処理を行う必要がなくなるため、画像（映像）記録時にデータ処理上の不都合は生じない。

以上に説明したように、第２実施形態によれば、画像再生時に人の肌にあるシミやシワを適切に補正し、肌の綺麗な違和感のない画像を得ることが可能になる。

なお、第２実施形態での再生処理は、赤外領域、可視領域及び紫外領域の３種類の画像データを読み込んだパーソナルコンピュータ等の画像処理装置においても、実行が可能である。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ ビデオカメラ
１０１ システムコントローラ
１０３ 撮像部
１０５ 記憶部
４０１ 赤外領域画像生成部
４０２ 可視領域画像生成部
４０３ 紫外領域画像生成部
４０４ 高輝度領域抽出部
４０５ 肌領域抽出部
４０６ 紫外補正領域抽出部
４０７ 第１の色補正部
４０８ 第２の色補正部

Claims (11)

1. 被写体からの可視領域の光を受光して可視領域画像を生成する可視領域画像生成手段と、
   前記被写体からの紫外領域の光を受光して紫外領域画像を生成する紫外領域画像生成手段と、
   前記可視領域画像における肌領域を抽出する肌領域抽出手段と、
   前記肌領域抽出手段が前記可視領域画像から抽出した肌領域を前記可視領域画像と前記紫外領域画像との差分に基づいて色補正する色補正手段と、を備えることを特徴とする撮像装置。
2. 前記被写体からの赤外領域の光を受光して赤外領域画像を生成する赤外領域画像生成手段を備え、
   前記肌領域抽出手段は、前記赤外領域画像と前記可視領域画像とから肌領域を抽出することを特徴とする請求項１記載の撮像装置。
3. 前記赤外領域画像生成手段が生成した赤外領域画像に含まれる高輝度領域を抽出する高輝度領域抽出手段を備え、
   前記肌領域抽出手段は、前記高輝度領域抽出手段により抽出された高輝度領域と前記可視領域画像との重複範囲を前記肌領域として検出することを特徴とする請求項２記載の撮像装置。
4. 前記色補正手段は、
   前記肌領域抽出手段が前記可視領域画像から抽出した肌領域に対して第１の色補正を施す第１の色補正部と、
   前記可視領域画像において前記第１の色補正がなされた後の画像データと前記紫外領域画像の画像データとの差分が所定の閾値を超える範囲に対して第２の色補正を行う第２の色補正部とを有し、
   前記第２の色補正の強さを前記第１の色補正の強さよりも強くすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記色補正手段により色補正された画像と、前記色補正手段により色補正を行う前の画像とを記憶する記憶手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 可視領域画像と、前記可視領域画像に対応する紫外領域画像と、前記可視領域画像に対応する赤外領域画像とから、前記可視領域画像を補正する画像処理装置であって、
   前記可視領域画像における肌領域を抽出する肌領域抽出手段と
   前記肌領域抽出手段が前記可視領域画像から抽出した肌領域を、前記可視領域画像と前記紫外領域画像との差分に基づいて色補正する色補正手段と、
   前記色補正手段により色補正された画像を表示する表示手段と、を備えることを特徴とする画像処理装置。
7. 前記肌領域抽出手段は、前記赤外領域画像と前記可視領域画像とから肌領域を抽出することを特徴とする請求項６記載の画像処理装置。
8. 前記赤外領域画像に含まれる高輝度領域を抽出する高輝度領域抽出手段を備え、
   前記肌領域抽出手段は、前記高輝度領域抽出手段により抽出された高輝度領域と前記可視領域画像とが重複範囲を前記肌領域として検出することを特徴とする請求項７記載の画像処理装置。
9. 前記色補正手段は、
   前記肌領域抽出手段が前記可視領域画像から抽出した肌領域に対して第１の色補正を施す第１の色補正部と、
   前記可視領域画像において前記第１の色補正がなされた後の画像データと前記紫外領域画像の画像データとの差分が所定の閾値を超える範囲に対して第２の色補正を行う第２の色補正部とを有し、
   前記第２の色補正の強さを前記第１の色補正の強さよりも強くすることを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 電子画像に対して色補正を行う色補正方法であって、
    被写体からの可視領域の光を受光して可視領域画像を生成する可視領域画像生成ステップと、
    前記被写体からの紫外領域の光を受光して紫外領域画像を生成する紫外領域画像生成ステップと、
    前記被写体の赤外領域の光を受光して赤外領域画像を生成する赤外領域画像生成ステップと、
    前記赤外領域画像と前記可視領域画像とから前記可視領域画像における肌領域を抽出する肌領域抽出ステップと
    前記肌領域抽出ステップで前記可視領域画像から抽出した肌領域を、前記可視領域画像と前記紫外領域画像との差分に基づいて色補正する色補正ステップとを有し、
    前記色補正ステップは、
    前記肌領域抽出ステップで抽出された肌領域に対して第１の色補正を施す第１の色補正ステップと、
    前記可視領域画像において前記第１の色補正がなされた後の画像データと前記紫外領域画像の画像データとの差分が所定の閾値を超える範囲に対して、第２の色補正を行う第２の色補正ステップとを有し、
    前記第２の色補正の強さを前記第１の色補正の強さよりも強くすることを特徴とする色補正方法。
11. 可視領域画像と、前記可視領域画像に対応する紫外領域画像と、前記可視領域画像に対応する赤外領域画像とから、前記可視領域画像を補正する色補正方法であって、
    前記赤外領域画像と前記可視領域画像とから前記可視領域画像における肌領域を抽出する肌領域抽出ステップと
    前記肌領域抽出ステップで抽出された肌領域を、前記可視領域画像と前記紫外領域画像との差分に基づいて色補正する色補正ステップとを有し、
    前記色補正ステップは、
    前記肌領域抽出ステップで抽出された肌領域に対して第１の色補正を施す第１の色補正ステップと、
    前記可視領域画像において前記第１の色補正がなされた後の画像データと前記紫外領域画像の画像データとの差分が所定の閾値を超える範囲に対して、第２の色補正を行う第２の色補正ステップとを有し、
    前記第２の色補正の強さを前記第１の色補正の強さよりも強くすることを特徴とする色補正方法。