JP2017097645A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】スマートフォン等のフロントカメラでの暗時の適切な撮像を実現できるようにする。【解決手段】赤外光画像および可視光画像を撮像し、赤外光画像より顔画像を認識し、顔画像より器官毎の画像を抽出し、抽出された器官に応じて、可視光画像および赤外光画像を利用して、器官毎の画像を補正し、補正された器官画像を合成する。本開示は、スマートフォンに適用することができる。【選択図】図２

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、スマートフォン等のフロントカメラでの暗時の適切な撮像を実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

スマートフォンには、一般に、通話するためのマイク、スピーカ、およびLCD（Liquid Crystal Display）などからなるディスプレイなどが設けられた表面と、その背面にそれぞれカメラが設けられている。

背面側に設けられたカメラは、比較的高精細で高感度であり、照明などが設けられることもあるが、表面側に設けられるフロントカメラは、一般的には、精度も低く、また、照明なども無いため、暗く、一般に、自撮りと呼ばれる自らの顔画像を撮像する機会が多いにもかかわらず、暗時などには顔画像などをはっきりと撮像することができなかった。

このため、暗時には、赤外光（IR光）を発光させて画像を撮像し、この赤外光が発光された状態において撮像された画像の輝度レベルを用いて、顔画像をはっきりと撮像できるようにする技術が提案されている（特許文献１参照）。

しかしながら、特許文献１の技術においては、特に、虹彩において、赤外光を強く反射してしまうため、顔画像としての印象に違和感が生じてしまうことがあった。

そこで、暗時に撮像する際には、赤外光を用いて撮像し、虹彩の輝度レベルを予め決められたレベルに補正することで、赤外光の画像を用いた際の、赤外光の反射による顔画像としての印象に違和感を生じさせないようにする技術が提案されている。（特許文献２参照）。

特開２０１１−１６６５２３号公報 特開２０１４−０４９８６３号公報

しかしながら、赤外光を用いた場合、特に、虹彩については、赤外光を反射することにより、目が小さく見えてしまうことがあり、顔画像としての印象に違和感を与えることがあった。

また、ストロボライトのような可視光を発光させる場合と、異なる位置に赤外光の光源が設けられることになるので、光源の位置が異なることにより、画像から赤外光の輝度を置換するようにするだけでは、不自然な模様や色再現がなされることがあった。

本開示では、このような状況に鑑みてなされたものであり、特に、スマートフォン等のフロントカメラでの暗時の顔画像の撮像を適切に実現できるようにするものである。

本開示の一側面の情報処理装置は、可視光画像および赤外光画像を撮像する撮像部と、前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、前記器官画像補正部により補正された前記器官毎の画像を合成する合成部とを含む情報処理装置である。

前記器官画像補正部には、前記器官毎に、前記画像を補正する画像補正部を含ませるようにすることができる。

前記器官毎の画像には、肌色画像、虹彩画像、口画像、および鼻画像を含ませるようにすることができ、前記画像補正部には、前記肌色画像を補正する肌色画像補正部と、前記虹彩画像を補正する虹彩画像補正部と、前記口画像を補正する口画像補正部と、前記鼻画像を補正する鼻画像補正部とを含ませるようにすることができる。

前記肌色画像補正部には、前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、前記分離部により分離された前記輝度成分と、前記赤外光画像とを所定の割合で合成し、新たな輝度成分を生成する輝度成分生成部と、前記新たな輝度成分と、前記色差成分とを合成することで、前記肌色画像を補正した画像を生成する色差輝度合成部とを含ませるようにすることができる。

前記所定の割合の入力を受け付ける操作入力部をさらに含ませるようにすることができ、前記輝度成分生成部には、前記分離部により分離された前記輝度成分と、前記赤外光画像とを、前記操作入力部により入力が受け付けられた、前記所定の割合で合成し、新たな輝度成分を生成させるようにすることができる。

前記肌色画像補正部には、前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、前記分離部により分離された前記輝度成分の信号レベルと、前記赤外光画像の信号レベルとの大小関係を画素単位で比較する比較部と、前記比較部の比較結果に基づいて、前記色差成分の彩度を前記赤外光画像の信号レベルに適合するように前記画素単位で調整する調整部とを含ませるようにすることができる。

前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも大きい場合、前記調整部には、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように上げるように調整させ、前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも小さい場合、前記調整部には、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように下げるように調整させるようにすることができる。

前記調整部には、注目画素の周辺の画素の色差成分を抽出する色差成分抽出部を含ませ、前記注目画素の輝度成分の信号レベルが無彩色とみなされる閾値よりも低いとき、前記調整部は、前記注目画素における前記可視光画像の色差成分を、前記色差成分抽出部により抽出された、前記注目画素の周辺の画素の色差成分により置き換えるように調整させるようにすることができる。

前記鼻画像補正部には、前記肌色画像補正部と同様の手法により前記鼻画像を補正させるようにすることができる。

前記虹彩画像補正部には、前記虹彩画像における前記赤外光画像より瞳の位置と形状を検出する瞳検出部と、前記瞳検出部により検出された前記瞳の位置と形状に応じたノイズフィルタにより、前記虹彩画像の前記可視光画像のノイズを除去するノイズ除去部と、前記ノイズ除去部によりノイズ除去された前記虹彩画像の可視光画像より色差成分と輝度成分とを分離する色差輝度分離部と、前記虹彩画像の前記赤外光成分を、前記虹彩画像の前記可視光画像の輝度成分に合わせて合成する赤外光合成部と、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分と、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分とを合成する色差輝度合成部とを含ませるようにすることができる。

前記虹彩画像補正部には、複数の色の瞳の色差成分をプリセットで保持する保持部を有し、そのいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含ませるようにすることができ、前記瞳補正部には、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、選択された瞳の色差成分を貼り合わせるようにさせることができる。

前記虹彩画像補正部には、複数の色の瞳の色差成分および輝度成分をプリセットでそれぞれ保持する前記保持部を有し、そのいずれかの色差成分および輝度成分を前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含ませるようにすることができ、前記瞳補正部には、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、選択された瞳の色差成分および輝度成分を、それぞれ貼り合わせるようにさせることができる。

前記虹彩画像補正部は、複数の色の瞳の色差成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部とを有し、プリセットで保持する複数の色の瞳の色差成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部とをさらに含ませるようにすることができ、前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分を貼り合わせるようにさせることができる。

前記虹彩画像補正部には、複数の色の瞳の色差成分および輝度成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分および輝度成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部を有し、プリセットで保持する複数の色の瞳の色差成分および輝度成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記瞳保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分および輝度成分をそれぞれ貼り合わせるようにさせることができる。

前記口画像補正部には、前記虹彩画像補正部と同様の手法により前記口画像を補正させるようにすることができる。

本開示の一側面の情報処理方法は、可視光画像および赤外光画像を撮像し、前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出し、抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正し、補正された前記器官毎の画像を合成するステップを含む情報処理方法である。

本開示の一側面のプログラムは、可視光画像および赤外光画像を撮像する撮像部と、前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、前記器官画像補正部により補正された前記器官毎の画像を合成する合成部としてコンピュータを機能させるプログラム。

本開示の一側面においては、可視光画像および赤外光画像が撮像され、前記赤外光画像より顔画像が認識され、前記顔画像より器官毎の画像が抽出され、抽出された器官に応じて、前記可視光画像および前記赤外光画像が利用されて、前記器官毎の画像が補正され、補正された前記器官毎の画像が合成される。

本開示の一側面によれば、スマートフォン等のフロントカメラでの暗時の顔画像の撮像を適切に実現させることが可能となる。

本開示の技術を適用した情報処理装置の外観斜視図である。 図１の情報処理装置の構成例を説明する図である。 図２の情報処理装置の画像処理部の構成例を説明する図である。 図１の情報処理装置による撮像処理を説明するフローチャートである。 図４の画像処理を説明するフローチャートである。 図３の画像処理部の肌色補正処理部の第１の構成例を説明する図である。 図６の肌色補正処理部による肌色補正処理を説明するフローチャートである。 図６の肌色補正処理部による肌色補正処理を説明する図である。 図３の画像処理部の肌色補正処理部の第２の構成例を説明する図である。 図９の肌色補正処理部による肌色補正処理を説明するフローチャートである。 図３の画像処理部の虹彩補正処理部の第１の構成例を説明する図である。 図１１の虹彩補正処理部による虹彩補正処理を説明するフローチャートである。 図１１の虹彩補正処理部による虹彩補正処理を説明する図である。 図３の画像処理部の虹彩補正処理部の第２の構成例を説明する図である。 図１４の虹彩補正処理部による虹彩補正処理を説明するフローチャートである。 図１４の虹彩補正処理部による虹彩補正処理を説明する図である。 図３の画像処理部の虹彩補正処理部の第３の構成例を説明する図である。 図３の画像処理部の虹彩補正処理部の第４の構成例を説明する図である。 図１８の虹彩補正処理部による虹彩補正処理を説明するフローチャートである。 図１８の虹彩補正処理部による虹彩補正処理を説明する図である。 図３の画像処理部の虹彩補正処理部の第５の構成例を説明する図である。 図１の情報処理装置の撮像部、赤外光発光部、および白色光発光部の配置パターンのバリエーションを説明する図である。 図１の情報処理装置の撮像部、赤外光発光部、および白色光発光部の配置パターンのバリエーションを説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜本開示の情報処理装置の外観斜視図＞
図１は、本開示の技術を適用した情報処理装置の外観斜視図である。図１の情報処理装置１１は、例えば、スマートフォンなどであり、タッチパネルからなる表示部３４が設けられた表面に対向する方向の画像を撮像するためのフロントカメラからなる撮像部３１、暗時に赤外光を撮像部３１の撮像方向に対して照射するIRLED（赤外光発光部）３２、および、同方向に白色光を照射するWLED（白色光発光部）３３が設けられている。

図１においては、情報処理装置１１を把持するユーザＨが撮像部３１により撮像されており、表示部３４に撮像部３１により撮像されているユーザＨ’が表示された状態が示されている。

情報処理装置１１は、暗時において、撮像画角を確認するとき、赤外光発光部３２を制御して、ユーザでは視認できない赤外光を発光させて、この赤外光に応じたライブビュー画像を撮像して、表示部３４に表示する。

ここでいうライブビュー画像とは、例えば、通常の撮像における状態よりも低解像度で、かつ、低フレームレートの画像を略動画として表示部３４に表示される画像である。ユーザは、このライブビュー画像を見ながら画角を確認して、撮像位置を確定させる。したがって、ライブビュー画像は、ユーザに表示することを目的とした画像であるため、シャッタを操作する際に撮像する画像のように、記録メディアなどに記録させる画像ではない。

そして、情報処理装置１１は、タッチパネルからなる表示部３４上にGUI（Graphical User Interface）として表示されるシャッタとして機能する操作入力部３４ａ（図２）が操作されると、赤外光発光部３２の発光を低減させて（または、消灯させて）、白色光発光部３３を発光させると同時に、その瞬間の画像を静止画色情報としての可視光画像を撮像する。そして、情報処理装置１１は、可視光画像の撮像が終了すると、白色光発光部３３を消灯させると共に、赤外光発光部３２より赤外光を投光させて、赤色光画像を撮像する。さらに、情報処理装置１１は、赤外光画像より顔画像を特定し、顔画像における肌、目、鼻、および、口といった器官を抽出し、それぞれに適した色補正を施し、それらを合成した画像を表示する。

すなわち、図１の情報処理装置１１は、暗時においてフロントカメラを利用して画像を撮像する際に、画角を特定させるまでの間は、まぶしさを感じることのない赤外光に基づいた画像からなるライブビュー画像を表示し、画角が特定されて、シャッタ操作がなされるときにのみ、白色光発光部３３をストロボライトのように発光させて可視光画像を撮像し、次に、赤色光発光部３２を発光させて赤色光画像を撮像し、可視光画像と赤色光画像とを利用することにより、顔画像を補正する。

このような動作により、情報処理装置１１は、夜間などの暗時において、フロントカメラで画像を撮像する際に、適切に画角を特定することが可能となり、さらに、画像として撮像される際には、顔画像の各器官に応じた補正がなされた画像を撮像することが可能となる。

＜情報処理装置の第１の実施の形態の構成例＞
次に、図２のブロック図を参照して、図１の情報処理装置１１の第１の実施の形態の詳細な構成例について説明する。

情報処理装置１１は、撮像部３１、赤外光発光部（IRLED）３２、白色光発光部（WLED）３３、表示部３４、操作入力部３４ａ、制御部５１、および画像処理部５２を備えている。

制御部５１は、CPU（Central Processing Unit）、RAM（Random Access Memory）、およびROM（Read Only Memory）等を備えたコンピュータにより構成されており、情報処理装置１１の全体の動作を制御するものである。

撮像部３１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、制御部５１により制御されて、赤外光画像および可視光画像を撮像し、画像処理部５２に供給する。撮像部３１は、RGB等の可視光に加えて、赤外光発光部３２により発光される、例えば、IR（赤外光）等の非可視光にも対応した画像を撮像することができる。

画像処理部５２は、撮像部３１により撮像された赤外光画像および可視光画像に基づいて、顔画像を認識すると共に、顔画像より、目、鼻、口、肌といった器官を抽出し、器官毎に適切な補正処理を施した後、それらを合成することで、顔画像を補正した画像を生成し、LCD（Liquid Crystal Display）などからなる表示部３４に表示させる。尚、画像処理部５２の詳細な構成については、図３を参照して後述する。

表示部３４は、タッチパネルなどからなり、表面に各種のGUI（Graphical User Interface）画像を表示させることで、例えば、シャッタボタンを操作するGUIを操作入力部３４ａとして機能させ、操作されるとき、シャッタボタンの押下動作があったものとみなす。

赤外光発光部３２は、撮像部３１において撮像可能な、例えば、波長が略0.7μm乃至1mm（=1000μm)程度の、いわゆる、近赤外光、中赤外光、および遠赤外光のいずれかの範囲に属する赤外光（IR）を補助光として発光する。

尚、一般に、スマートフォンなどからなる情報処理装置１１においては、図示せぬ背面部に、フロントカメラである撮像部３１よりも高精細であって、高感度の撮像部を備えているが、ここでは、省略するものとする。

＜図２の画像処理部の構成例＞
次に、図３のブロック図を参照して、画像処理部５２の構成例について説明する。

画像処理部５２は、器官抽出部７１、肌色補正処理部７２、虹彩補正処理部７３、鼻補正処理部７４、口補正処理部７５、および器官画像合成部７６を備えている。

器官抽出部７１は、撮像部３１により撮像される可視光画像および赤色光画像のうち、SNRが低い赤外光画像を用いて、顔画像を抽出すると共に器官抽出を行う。器官とは、顔画像を構成する目、鼻、口、肌色といったものであり、ここでいう器官抽出とは、顔画像中の目の画像、鼻の画像、口の画像、および肌色の画像を抽出する処理を表す。器官抽出部７１は、このように抽出された肌色の肌色画像を肌色補正処理部７２に供給し、目の画像である虹彩画像を虹彩補正処理部７３に供給し、鼻の画像である鼻画像を鼻補正処理部７４に供給し、口の画像である口画像を口補正処理部７５に供給し、併せて、それぞれの可視光画像および赤色光画像を供給する。

肌色補正処理部７２は、可視光画像および赤色光画像に基づいて、肌色の画像として供給された肌色画像の色を、肌色画像に適した手法で補正し、器官画像合成部７６に供給する。

虹彩補正処理部７３は、可視光画像および赤色光画像に基づいて、目の画像として供給された虹彩画像の色を、虹彩画像に適した手法で補正し、器官画像合成部７６に供給する。

鼻補正処理部７４は、可視光画像および赤色光画像に基づいて、鼻の画像として供給された鼻画像の色を、鼻画像に適した手法で補正し、器官画像合成部７６に供給する。

口補正処理部７５は、可視光画像および赤色光画像に基づいて、口の画像として供給された口画像の色を、口画像に適した手法で補正し、器官画像合成部７６に供給する。

器官画像合成部７６は、肌色補正処理部７２より供給される肌色が補正された肌色画像、虹彩補正処理部７３より供給される虹彩の色が補正された虹彩画像、鼻補正処理部７４より供給される色が補正された鼻画像、および、口補正処理部７５より供給される色が補正された口画像を合成して顔画像を再構成し、表示部３４に出力して表示させる、または、図示せぬ記録メディア等に記録させる。

＜図２の情報処理装置による撮像処理＞
次に、図４のフローチャートを参照して、図２の情報処理装置１１による撮像処理について説明する。尚、ここでいう撮像処理は、フロントカメラからなる撮像部３１を利用する際の撮像処理であり、例えば、図示しない背面部に設けられた撮像部による撮像処理ではない。

ステップＳ１１において、制御部５１は、撮像部３１を起動させて画像を撮像できる状態にする。これにより、撮像部３１は、撮像した画像を順次、制御部５１、および画像処理部５２に供給する。

ステップＳ１２において、制御部５１は、撮像部３１により撮像された画像に基づいて、所定の照度よりも低く、暗い画像であるか否かを判定する。ステップＳ１２において、撮像された画像が所定の照度よりも低くなく、通常の明るさであるとみなされた場合、処理は、ステップＳ２２に進む。

ステップＳ２２において、制御部５１は、表示部３４において予めシャッタボタンとして機能する操作入力部３４ａをGUI画像として表示しており、その操作入力部３４ａが操作されて撮像が指示されたか否かを判定する。

ステップＳ２２において、操作入力部３４ａが操作されて、撮像が指示された場合、処理は、ステップＳ２３に進む。

ステップＳ２３において、制御部５１は、撮像部３１を制御して、通常の静止画を撮像し、画像処理部５２において所定の処理がなされた画像データを図示せぬ記録メディア等に記憶させる、または、表示部３４に表示させた後、処理は、ステップＳ２４に進む。通常の静止画を撮像するとは、撮像部３１により撮像される画像より、可視光画像を抽出することである。尚、ステップＳ２２において、操作入力部３４ａが操作されていないとみなされた場合、ステップＳ２３の処理はスキップされる。

ステップＳ２４において、制御部５１は、撮像部３１を制御して通常のライブビュー画像を撮像させて、画像処理部５２に供給する。画像処理部５２は、所定の画像処理を加えて、ライブビュー画像として表示部３４に表示する。

尚、ここでいう、通常のライブビュー画像を撮像し、表示するとは、撮像部３１において、所定の時間間隔で撮像された、比較的低解像度の画像より可視光画像を抽出し、比較的低フレームレートの動画像として表示させることをいう。

ステップＳ２１において、制御部５１は、操作入力部３４ａが操作されて、撮像処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１２に戻る。そして、ステップＳ２１において、終了が指示された場合、処理は、終了する。

一方、ステップＳ１２において、撮像された画像が所定の照度よりも低く、暗いとみなされた場合、処理は、ステップＳ１３に進む。

ステップＳ１３において、制御部５１は、赤外光発光部３２を制御して、赤外光を発光させる。

ステップＳ１４において、制御部５１は、表示部３４において予めシャッタボタンとして機能する操作入力部３４ａをGUI画像として表示しており、その操作入力部３４ａが操作されたか否かを判定する。

ステップＳ１４において、操作入力部３４ａが操作されて、撮像が指示された場合、処理は、ステップＳ１５に進む。

ステップＳ１５において、制御部５１は、赤外光発光部３２を制御して消灯させ、さらに、白色光発光部３３を強く発光させる。

ステップＳ１６において、制御部５１は、撮像部３１を制御して、可視光画像を撮像させ、画像処理部５２に供給し、処理は、ステップＳ１７に進む。

ステップＳ１７において、制御部５１は、白色光発光部３３を消灯させて、赤外光発光部３２を制御して、赤外光を発光させ、処理は、ステップＳ１８に進む。

ステップＳ１８において、制御部５１は、撮像部３１を制御して、スチル画像を赤色光画像として撮像させ、画像処理部５２に供給し、処理は、ステップＳ１９に進む。

ステップＳ１９において、画像処理部５２は、画像処理を実行し、供給された可視光画像および赤色光画像を用いて、赤色光画像から器官抽出し、器官毎に色を補正して合成し、合成結果を表示部３４に表示させる、または、図示せぬ記録メディア等に記録させ、処理は、ステップＳ２０に進む。

ステップＳ２０において、制御部５１は、撮像部３１を制御して、暗時のライブビュー画像を撮像させて、画像処理部５２に供給する。画像処理部５２は、所定の画像処理に加えて、暗時のライブビュー画像として表示部３４に表示し、処理は、ステップＳ２１に進む。ここでいう、暗時のライブビュー画像を撮像し、表示するとは、所定の時間間隔で撮像される画像より、比較的低解像度の可視光画像と赤外光画像とを抽出し、可視光画像より色差画像を抽出し、これに赤外光画像を輝度画像として合成し、比較的低フレームレートのカラー画像として表示させることをいう。

尚、ステップＳ１４において、操作入力部３４ａが操作されていないとみなされた場合、処理は、ステップＳ２０に進む。

＜画像処理＞
ここで、図５のフローチャートを参照して、図４のフローチャートにおけるステップＳ１９の画像処理について説明する。

ステップＳ４１において、器官抽出部７１は、供給されてくる可視光画像および赤色光画像のうち、SNRの高い赤色光画像を用いて、顔画像を構成する肌色、目（虹彩）、鼻、および口といった各種器官を抽出する。そして、器官抽出部７１は、抽出した肌色画像を肌色補正処理部７２へ、虹彩画像を虹彩補正処理部７３へ、鼻画像を鼻補正処理部７４へ、口画像を口補正処理部７５へ、それぞれ出力する。

ステップＳ４２において、肌色補正処理部７２は、肌色補正処理を実行して、肌色画像の色を補正して器官画像合成部７６に供給する。尚、肌色補正処理部７２の詳細な構成、および、肌色補正処理については、詳細を後述する。

ステップＳ４３において、虹彩補正処理部７３は、虹彩補正処理を実行して、虹彩画像の色を補正して器官画像合成部７６に供給する。尚、虹彩補正処理部７３の詳細な構成、および、虹彩補正処理については、詳細を後述する。

ステップＳ４４において、鼻補正処理部７４は、鼻補正処理を実行して、鼻画像の色を補正して器官画像合成部７６に供給する。

ステップＳ４５において、口補正処理部７５は、口補正処理を実行して、口画像の色を補正して器官画像合成部７６に供給する。

ステップＳ４６において、器官画像合成部７６は、肌色補正処理部７２より供給された色が補正された肌色画像、虹彩補正処理部７３より供給される色が補正された虹彩画像、鼻補正処理部７４より供給される色が補正された鼻画像、および、口補正処理部７５より供給される色が補正された口画像を合成して顔画像を再構成して表示部３４に出力する。

以上の処理により、撮像部３１が起動し、暗いとみなされた場合、シャッタが押下されるまでは、ステップＳ１２乃至Ｓ１４，Ｓ２０，Ｓ２１の処理が繰り返されて、ライブビュー画像が撮像されて、赤外光発光部３２が赤外光を発光し、白色光発光部３３が消灯して、表示部３４には、モノクロ画像からなるライブビュー画像が表示され続けることになる。

ここで、操作入力部３４ａが操作されて、シャッタボタンが操作されたものとみなされると、ステップＳ１５乃至Ｓ１９の一連の処理により、撮像部３１により可視光画像および赤色光画像がスチル画像として撮像され、赤色光画像および可視光画像が利用されて、顔画像の色が補正された画像が出力されて表示される。

この結果、顔画像の色が補正された画像を撮像することが可能となる。尚、以上においては、暗時において、撮像が指示された場合、白色光発光部３３を発光させて、赤外光発光部３２を消灯、または、微発光させることで、色情報である可視光画像を撮像した後、白色光発光部３３を消灯させて、赤外光発光部３２を発光させることで、輝度情報である赤外光画像を撮像する例について説明してきた。しかしながら、可視光画像と赤外光画像とが撮像できればよいので、撮像の順序は、どちらが先であってもよいものであり、例えば、赤外光画像を撮像した後、可視光画像を撮像するようにしてもよい。

また、赤外光発光部３２および白色光発光部３３を同時に発光させて、１回の撮像で撮像部３１における赤外光画素から赤外光画像を生成し、それ以外の可視光画素（RGB画素）から可視光画像を生成するようにしてもよい。つまり、赤外光画像および可視光画像を撮像することができる限り、赤外光発光部３２および白色光発光部３３の発光シーケンスは特に限定されるものではない。さらに、暗い部分については、赤外光画像を用いて補正がなされることにより、白色光発光部３３は、必ずしも必要ではなく、可視光画像について、周辺の自然光のみを利用して撮像するようにしてもよい。

＜肌色補正処理部の第１の構成例＞
次に、図６のブロック図を参照して、肌色補正処理部７２の第１の構成例について説明する。

肌色補正処理部７２は、赤外光画像可視光画像分離部９１、可視光画像色差輝度分離部９２、赤外光画像輝度画像合成部９３、合成割合入力部９４、および色差輝度合成部９５を備えている。

赤外光画像可視光画像分離部９１は、順次供給されてくる可視光画像および赤外光画像を分離して、可視光画像を可視光画像色差輝度分離部９２に供給し、赤外光画像を赤外光画像輝度画像合成部９３に供給する。

可視光画像色差輝度分離部９２は、供給されてきた可視光画像を輝度成分と色差成分とに分離して、色差成分を色差輝度合成部９５に供給し、輝度成分を赤外光画像輝度画像合成部９３に供給する。

赤外光画像輝度画像合成部９３は、合成割合入力部９４を介して入力される割合で、赤外光画像と、輝度成分とを合成し、新たな輝度成分として色差輝度合成部９５に出力する。

合成割合入力部９４は、制御部５１により生成されて、表示部３４にGUI（Graphical User Interface）として表示されるスケールなどにより、タッチパネルとして機能する操作入力部３４ａからの操作信号に基づいて、赤外光画像と、輝度成分との合成割合を示す情報を制御部５１に供給する。

制御部５１は、操作入力部３４ａを介して供給される割合の情報を画像処理部の合成割合入力部９４に供給する。合成割合入力部９４は、このような一連の動作により、合成割合を赤外光画像輝度画像合成部９３に供給する。

色差輝度合成部９５は、可視光画像色差輝度分離部９２より供給されてくる色差成分と、赤外光画像輝度画像合成部９３より新たに設定された輝度成分とを合成して画像を生成して出力する。

＜図６の肌色補正処理部による肌色補正処理＞
次に、図７のフローチャートを参照して、図６の肌色補正処理部７２による肌色補正処理について説明する。

ステップＳ６１において、赤外光画像可視光画像分離部９１は、肌領域として分類された可視光画像および赤外光画像を取得する。すなわち、図４のフローチャートを参照して説明したステップＳ１６，Ｓ１８の処理により撮像された可視光画像および赤外光画像を順次取得する。

ステップＳ６２において、赤外光画像可視光画像分離部９１は、可視光画像および赤外光画像の全画素のうち、いずれか、未処理の画素を処理対象画素（注目画素）に設定し、可視光画像の注目画素を可視光画像色差輝度分離部９２に供給し、赤外光画像の注目画素を赤外光画像輝度画像合成部９３に供給する。

ステップＳ６３において、可視光画像色差画像分離部９２は、可視光画像における注目画素を輝度成分と色差成分とに分離して、輝度成分を赤外光画像輝度画像合成部９３に供給すると共に、色差成分を色差輝度合成部９５に供給する。

ステップＳ６４において、制御部５１は、表示部３４を制御して、可視光画像における輝度成分と、赤外光画像とを混ぜる割合を指定するためのGUIを、例えば、図８の右下部で示されるように表示し、操作入力部３４ａを制御して、表示されたGUIの操作入力に対応する操作信号を出力させ、操作内容に応じた割合の情報を肌色補正処理部７２の合成割合入力部９４に供給する。合成割合入力部９４は、この合成割合の情報を赤外光画像輝度画像合成部９３に出力する。

図８の右下部には、情報処理装置１１における表示部３４に撮像された画像が表示されており、その下に、赤外光画像の画素信号と、可視光画像の輝度成分との割合を示すためのスライドバーＢが表示されており、このスライドバーＢ上の黒丸印の位置を図中の左右に移動させることにより赤外光画像の画素信号と、可視光画像の輝度成分との割合をユーザにより設定することができる。

図８の右下部においては、左方向が「普通」であり、右方向が「美肌」と表示されている。すなわち、黒丸印が図中の右方向の「美肌」に近づれらけるほど、赤外光画像の割合が高く設定される。すなわち、赤外光画像の方が皮膚のシミなどの原因となるメラニン色素を透過して反射することにより、シミが目立たない画像となるため、赤外光画像の割合が高いほど現実の色とは異なるが、シミなどが目立たない美肌画像にすることが可能となる。

これに対して、黒丸印が図中の左方向の「普通」に近づけられるほど、可視光画像における輝度成分の割合が高く設定される。すなわち、可視光画像の輝度成分の割合が高くなるため、可視光画像に近い画像とされる。

ステップＳ６５において、赤外光画像輝度画像合成部９３は、供給された合成割合に基づいて、赤外光画像と、可視光画像の輝度成分とを合成して、新たな輝度成分として色差輝度合成部９５に出力する。

ステップＳ６６において、色差輝度合成部９５は、可視光画像色差輝度分離部９２より供給されてくる色差成分、および赤外光画像輝度画像合成部９３より供給されてくる、新たに設定された輝度成分を合成し、可視光画像の画素を再構成して出力する。

ステップＳ６７において、赤外光画像可視光画像分離部９１は、未処理の画素がなく、全画素について処理が終了したか否かを判定し、未処理の画素がある場合、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返される。すなわち、全画素について処理がなされるまで、ステップＳ６２乃至Ｓ６７の処理が繰り返される。そして、ステップＳ６７において、未処理の画素がないとみなされた場合、処理は、終了する。

すなわち、図７のフローチャートを参照して説明した肌色補正処理がなされることにより、図８で示されるような処理がなされる。

すなわち、図８の左上部で示される可視光画像Ｐ１が、画素単位で色差成分からなる画像Ｐ２と、輝度成分からなる画像Ｐ３とに分離される。そして、可視光画像の輝度成分からなる画像Ｐ３と赤外光画像Ｐ４とが、図８の左下部で示されるようなGUIにより設定される合成割合で合成されることにより新たな輝度成分からなる画像Ｐ５が生成され、色差成分からなる画像Ｐ２と新たな輝度成分からなる画像Ｐ５とが合成されることにより、合成画像Ｐ６が生成され、左下部で示される情報処理装置１１の表示部３４に表示させる。

このとき、ユーザは、表示部３４に表示された画像を見ながら、スライドバーＢにおける黒丸印の位置を変化させることで、可視光画像の輝度成分と、赤外光画像との合成割合を変化させながら画像処理を実現することができる。

尚、以上の例においては、画素単位で合成割合を変化させるようにする例について説明してきたが、合成割合について、一度設定した合成割合で、全画素について処理を実行させた後、ユーザが確認し、必要に応じて、合成割合を変化させながら肌色補正処理を繰り返せるようにしてもよい。このような処理により、ユーザが気に入るまで、何度でも、合成割合を変化させながら肌色補正処理を繰り返すことが可能となる。

また、赤外光が、皮膚のシミなどの原因となるメラニン色素を透過して反射することにより、赤外光画像は、シミが目立たない画像となるので、肌色の美白効果を高めることが可能となる。すなわち、赤外光画像を用いた処理であれば、肌色の美白効果を期待することができるので、肌色補正処理については、必ずしも暗時である必要はなく、被写体の周辺環境が明るいときに実行するようにしても、肌色を適切に補正すると共に、肌色の美白効果を高めることが可能である。

さらに、暗時においても、肌色の美白効果を高められることから、例えば、逆光により暗くなった部分の肌色の美白効果を高めることも可能である。この場合、周辺外光は、十分に明るいことが多いので、撮像時には、暗時であるとの認識がなされない可能性もあるが、局所的に暗くなった部分に対しても、上述した肌色補正処理を施すことで、肌色を適切に補正し、さらに、美白効果を高めることが可能となる。

＜肌色補正処理部の第２の構成例＞
以上においては、赤外光画像と、可視光画像の輝度成分との合成割合をユーザにより設定する例について説明してきたが、赤外光画像と、可視光画像の輝度成分との大小関係、および、可視光画像の輝度成分が無彩色であるか否かに基づいて、ユーザが介在することなく肌色を補正するようにしてもよい。

図９は、ユーザが介在することなく肌色を補正するようにした肌色補正処理部７２の構成例を示している。尚、図６の肌色補正処理部７２における構成と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略するものとする。

すなわち、図９の肌色補正処理部７２においは、図６の肌色補正処理部７２と異なる点は、赤外光画像輝度画像合成部９３および合成割合入力部９４に代えて、赤外光輝度比較部１０１、および色差調整部１０２が設けられた点である。

赤外光輝度比較部１０１は、画素単位で赤外光画像と、可視光画像の輝度成分との大小関係を比較して、比較結果を色差調整部１０２に供給する。

色差調整部１０２は、赤外光輝度比較部１０１より供給される比較結果、並びに、可視光画像の輝度成分が無彩色判定の閾値との大小関係に基づいて、可視光画像色差輝度分離部９２より供給されてくる色差を調整して色差輝度合成部９５に出力する。色差調整部１０２は、色差成分抽出部１０２ａを備えており、処理対象画素の可視光画像の輝度成分が無彩色判定の閾値より小さく、処理対象画素を無彩色の画素であるとみなした場合、可視光画像の処理対象画素の周辺の色差を、例えば、フィルタ処理により抽出して、処理対象画素の色差に置き換える。

＜図９の肌色補正処理部による肌色補正処理＞
次に、図１０のフローチャートを参照して、図９の肌色補正処理部７２による肌色補正処理について説明する。

ステップＳ８１において、赤外光画像可視光画像分離部９１は、肌領域として分類された可視光画像および赤外光画像を取得する。すなわち、図４のフローチャートを参照して説明したステップＳ１６，Ｓ１８の処理により撮像された可視光画像および赤外光画像を順次取得する。

ステップＳ８２において、赤外光画像可視光画像分離部９１は、可視光画像および赤外光画像の全画素のうち、いずれか、未処理の画素を処理対象画素（注目画素）に設定し、可視光画像の注目画素を可視光画像色差輝度分離部９２に供給し、赤外光画像の注目画素を赤外光輝度比較部１０１および色差輝度合成部９５に供給する。

ステップＳ８３において、可視光画像色差画像分離部９２は、可視光画像における注目画素を輝度成分と色差成分とに分離して、輝度成分を赤外光輝度比較部１０１に供給すると共に、色差成分を色差調整部１０２に供給する。

ステップＳ８４において、赤外光輝度比較部１０１は、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも大きいか否かを判定し、判定結果を色差調整部１０２に供給する。ステップＳ８４において、例えば、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも大きい場合、処理は、ステップＳ８５に進む。

ステップＳ８５において、色差調整部１０２は、処理対象画素の可視光画像の色差成分の彩度を赤外光画像の信号レベルに適合するように上げて、色差輝度合成部９５に供給し、処理は、ステップＳ８８に進む。色差調整部１０２は、例えば、可視光画像の輝度成分の信号レベルに対する赤外光画像の信号レベルの比率に相当する分だけ色彩成分の彩度を上げる。

一方、ステップＳ８４において、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも大きくないとみなされた場合、処理は、ステップＳ８６に進む。

ステップＳ８６において、赤外光輝度比較部１０１は、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも小さいか否かを判定し、判定結果を色差調整部１０２に供給する。ステップＳ８６において、例えば、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも小さい場合、処理は、ステップＳ８７に進む。

ステップＳ８７において、色差調整部１０２は、処理対象画素の可視光画像の色差成分の彩度を赤外光画像の信号レベルに適合するように下げて、色差輝度合成部９５に供給し、処理は、ステップＳ８８に進む。色差調整部１０２は、例えば、可視光画像の輝度成分の信号レベルに対する赤外光画像の信号レベルの比率に相当する分だけ色彩成分の彩度を下げる。

また、ステップＳ８６において、例えば、赤外光画像の信号レベルが、可視光画像の輝度成分の信号レベルよりも小さくない場合、処理は、ステップＳ８８に進む。

ステップＳ８８において、赤外光輝度比較部１０１は、可視光画像の輝度成分の信号レベルが、無彩色判定の閾値よりも低いか否かを判定し、判定結果を色差調整部１０２に供給する。ステップＳ８８において、例えば、可視光画像の輝度成分の信号レベルが、無彩色判定の閾値よりも低い場合、処理は、ステップＳ８９に進む。

ステップＳ８９において、色差調整部１０２は、色差成分抽出部１０２ａを制御して、可視光画像の処理対象画素の周辺の画素より色差成分をフィルタ処理により抽出する。

ステップＳ９０において、色差調整部１０２は、処理対象画素の色差成分を、周辺の画素より抽出された色差成分に置き換えて、色差輝度合成部９５に供給し、処理は、ステップＳ９１に進む。

ステップＳ９１において、色差輝度合成部９５は、色差調整部１０２より供給されてくる色差成分、および赤外光画像可視光画像分離部９１より供給されてくる、輝度成分を合成し、可視光画像の画素を再構成して出力し、処理は、ステップＳ９２に進む。

さらに、ステップＳ８８において、可視光画像の輝度成分の信号レベルが、無彩色判定の閾値よりも低くないと判定された場合、処理は、ステップＳ９３に進む。

ステップＳ９３において、色差調整部１０２は、可視光画像の色差成分をそのまま色差輝度合成部９５に出力する。そして、色差輝度合成部９５は、可視光画像の色差成分と輝度成分とから、入力された可視光画像の画素を再生してそのまま出力し、処理は、ステップＳ９２に進む。

ステップＳ９２において、赤外光画像可視光画像分離部９１は、未処理の画素がなく、全画素について処理が終了したか否かを判定し、未処理の画素がある場合、処理は、ステップＳ８２に戻り、それ以降の処理が繰り返される。すなわち、全画素について処理がなされるまで、ステップＳ８２乃至Ｓ９２の処理が繰り返される。そして、ステップＳ９２において、未処理の画素がないとみなされた場合、処理は、終了する。

以上の処理により、赤外光画像および可視光画像における輝度成分の大小関係と、可視光画像の輝度成分が、無彩色とみなせるほど低いか否かに基づいて、色差成分を赤外光画像の信号レベルに揃えるか、または、処理対象画素の周辺画素からフィルタ処理により抽出した色差成分で置き換えるようにした。

結果として、ユーザが介在することなく、赤外光画像および可視光画像の輝度成分により、色差成分が調整されて、肌色を補正することが可能となる。尚、上述したように、赤外光が、皮膚のシミなどの原因となるメラニン色素を透過して反射することにより、赤外光画像は、シミが目立たない画像となるので、この場合の肌色補正処理についても、必ずしも暗時である必要はなく、被写体の周辺環境が明るいときに実行するようにしても、肌色の美白効果を実現することが可能である。また、同様に、肌色補正により、逆光時における暗部の肌色を適切に補正することが可能となる。

＜虹彩補正処理部の第１の構成例＞
次に、図１１のブロック図を参照して、虹彩補正処理部７３の第１の構成例について説明する。

虹彩補正処理部７３は、赤外光画像可視光画像分離部１２１、ノイズ除去部１２２、可視光画像色差輝度分離部１２３、色差輝度合成部１２４、赤外光画像高周波低周波分離部１２５、赤外光画像輝度画像合成部１２６、赤外光画像高周波低周波合成部１２７、および瞳検出部１２８を備えている。

赤外光画像可視光画像分離部１２１は、順次供給されてくる可視光画像および赤外光画像を分離して、可視光画像をノイズ除去部１２２に供給し、赤外光画像を赤外光画像高周波低周波分離部１２５、および瞳検出部１２８に供給する。

瞳検出部１２８は、SNRの高い赤外光画像に基づいて、瞳の位置と形状を検出して、検出結果をノイズ除去部１２２に供給する。

ノイズ除去部１２２は、瞳検出部１２８より供給されてくる瞳の位置と形状の情報に基づいて、瞳の位置と形状に対応したノイズフィルタを形成して、可視光画像よりノイズを除去し、ノイズ除去した可視光画像を可視光画像色差輝度分離部１２３に供給する。

可視光画像色差輝度分離部１２３は、ノイズが除去された可視光画像を色差成分と輝度成分とに分離して、色差成分を色差輝度合成部１２４に供給し、輝度成分を赤外光画像輝度画像合成部１２６に供給する。

赤外光画像高周波低周波分離部１２５は、赤外光画像可視光画像分離部１２１より供給されてくる赤外光画像の高周波成分と低周波成分とを分離し、高周波成分を赤外光画像高周波低周波合成部１２７に供給し、低周波成分を赤外光画像輝度画像合成部１２６に供給する。

赤外光画像輝度画像合成部１２６は、赤外光画像の低周波成分の信号レベルを、可視光画像の輝度成分の信号レベルに合わせて変調し、赤外光画像高周波低周波合成部１２７に供給する。

赤外光画像高周波低周波合成部１２７は、可視光画像の輝度成分の信号レベルに合わせて変調された、赤外光画像の低周波成分と、赤外光画像の高周波成分とを合成して赤外光画像を生成し、これを可視光画像の輝度成分として色差輝度合成部１２４に供給する。

色差輝度合成部１２４は、赤外光画像高周波低周波合成部１２７より供給されてくる赤外光画像を、輝度成分とし、可視光画像色差輝度分離部１２３より供給されてくる色差成分と合成して、虹彩を補正した画像を出力する。

＜図１１の虹彩補正処理部による虹彩補正処理＞
次に、図１２のフローチャートを参照して、図１１の虹彩補正処理部７３による虹彩補正処理について説明する。

ステップＳ１１１において、赤外光画像可視光画像分離部１２１は、順次供給されてくる可視光画像および赤外光画像を分離して、可視光画像をノイズ除去部１２２に供給し、赤外光画像を赤外光画像高周波低周波分離部１２５、および瞳検出部１２８に供給する。

ステップＳ１１２において、瞳検出部１２８は、SNRの高い赤外光画像に基づいて、瞳の位置と形状を検出して、検出結果をノイズ除去部１２２に供給する。

ステップＳ１１３において、ノイズ除去部１２２は、瞳検出部１２８より供給されてくる瞳の位置と形状の情報に基づいて、可視光画像の瞳の位置と形状に対応したノイズフィルタを形成して、可視光画像のノイズを除去し、ノイズ除去した可視光画像を可視光画像色差輝度分離部１２３に供給する。

ステップＳ１１４において、可視光画像色差輝度分離部１２３は、ノイズが除去された可視光画像を色差成分と輝度成分とに分離して、色差成分を色差輝度合成部１２４に供給し、輝度成分を赤外光画像輝度画像合成部１２６に供給する。

ステップＳ１１５において、赤外光画像高周波低周波分離部１２５は、赤外光画像可視光画像分離部１２１より供給されてくる赤外光画像の高周波成分と低周波成分とに分離し、高周波成分を赤外光画像高周波低周波合成部１２７に供給し、低周波成分を赤外光画像輝度画像合成部１２６に供給する。

ステップＳ１１６において、赤外光画像輝度画像合成部１２６は、赤外光画像の低周波成分の信号レベルを、可視光画像の輝度成分の信号レベルに合わせて変調し、赤外光画像高周波低周波合成部１２７に供給する。

ステップＳ１１７において、赤外光画像高周波低周波合成部１２７は、可視光画像の輝度成分の信号レベルに合わせて変調された、赤外光画像の低周波成分と、赤外光画像の高周波成分とを合成して赤外光画像を生成し、これを可視光画像の輝度成分として色差輝度合成部１２４に供給する。

ステップＳ１１８において、色差輝度合成部１２４は、赤外光画像高周波低周波合成部１２７より供給されてくる赤外光画像を、輝度成分とし、色差抽出部１２３より供給されてくる色差成分と合成して、可視光画像を生成し、これを、虹彩を補正した画像として出力する。

すなわち、以上の処理により、例えば、図１３で示される赤外光画像からなる画像Ｐ２１および可視光画像からなる画像Ｐ２２が供給されるような場合、ステップＳ１１１の処理により、画像Ｐ２１より、画像Ｐ２３で示されるように、瞳の位置と形状が検出される。尚、画像Ｐ２３においては、瞳の形状が２個の円状のマークで示されている。

また、ステップＳ１１３の処理で、この瞳の形状に対応したノイズ除去フィルタが形成されて、可視光画像からなる画像Ｐ２２がノイズ除去されることにより、画像Ｐ２４で示されるような可視光画像が生成される。

そして、このノイズ除去された画像Ｐ２４より色差成分が抽出されて、赤外光画像からなる画像Ｐ２１を輝度成分として合成して、画像Ｐ２５で示されるような画像が生成される。

結果として、暗時でも、瞳の輪郭に生じるボケを抑制することが可能となる。

＜虹彩補正処理部の第２の構成例＞
以上においては、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成することで瞳の虹彩を補正する例について説明してきたが、予め瞳の色をプリセットしておき、選択して自由に色を付けられるようにしてもよい。

図１４は、予め瞳の色をプリセットしておき、選択して自由に色を付けられるようにした虹彩補正処理部７３の構成例を示している。尚、図１４の虹彩補正処理部７３の構成において、図１１の虹彩補正処理部７３と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。

すなわち、図１４の虹彩補正処理部７３において、図１１の虹彩補正処理部７３と異なる点は、さらに、瞳付加部１３１が設けられた点である。

瞳付加部１３１は、瞳検出部１２８により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ１３１ａに、予めプリセットされている瞳の色差成分を可視光画像の色差成分に付加する。プリセットされた瞳の色差成分は、例えば、ブラウン、ブルー、ヘーゼル、グレー、グリーン、または、バイオレットなど、様々なものを設定し、予めユーザにより選択することが可能とされている。ここでは、予めいずれかの瞳の色が選択されているものとして説明を進めるが、瞳の色を切り替えるなどして、様々な色の瞳を付加した画像をみて、選択できるようにしてもよい。

＜図１４の虹彩補正処理部による虹彩補正処理＞
次に、図１５のフローチャートを参照して、図１４の虹彩補正処理部７３による虹彩補正処理について説明する。尚、図１５のフローチャートにおけるステップＳ１３１乃至Ｓ１３７，Ｓ１３９の処理は、図１２のフローチャートを参照して説明したステップＳ１１１乃至Ｓ１１８の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ１３１乃至Ｓ１３７の処理により、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、処理は、ステップＳ１３８に進む。

ステップＳ１３８において、瞳付加部１３１は、プリセット瞳メモリ１３１ａにプリセットされている瞳の色差成分うちのいずれか、予め設定されている瞳の色差成分を読み出し、瞳検出部１２８により検出された位置および形状で、可視光画像の色差成分に付加する。そして、この処理の後、ステップＳ１３９において、可視光画像の色差成分と、赤外光画像からなる輝度成分とが合成されて出力される。

すなわち、図１６の画像Ｐ３１で示されるように、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、プリセット瞳メモリ１３１ａにプリセットされた瞳Ｃ１乃至Ｃ４のうちのいずれかが、瞳の位置および形状に合わせて付加される。

尚、図１６の画像Ｐ３１においては、図中の左側の瞳が瞳Ｃ３とされ、右側の瞳が瞳Ｃ４とされている例が示されているが、両目とも同一の瞳であってもよいし、これ以外の瞳であってもよい。

以上の処理により、虹彩を補正しつつ、任意の色の瞳を切り替えるようにすることが可能となる。

＜虹彩補正処理部の第３の構成例＞
以上においては、瞳付加部１３１が、瞳検出部１２８により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ１３１ａに、予めプリセットされている瞳の色差成分を可視光画像の色差成分に付加する例について説明してきたが、予めプリセットされている瞳の情報については、色差成分のみならず、さらに輝度成分をプリセットさせるようにして、それぞれを色差成分および輝度成分に付加するようにしてもよい。

図１７は、予めプリセットされる瞳の情報として、色差成分と共に輝度成分がプリセットされ、瞳検出部１２８により検出された瞳の位置と形状に合わせて、それぞれ瞳の色差成分および輝度成分を付加するようにした虹彩補正処理部７３の第３の構成例を示している。尚、図１７の虹彩補正処理部７３の構成において、図１４の虹彩補正処理部７３と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。

すなわち、図１７の虹彩補正処理部７３において、図１４の虹彩補正処理部７３と異なる点は、瞳付加部１３１に代えて瞳付加部１４１が設けられた点である。

瞳付加部１４１は、基本的に機能は、瞳付加部１３１と同様であるが、プリセット瞳メモリ１４１ａに、予めプリセットされている瞳の色差成分および輝度成分を、それぞれ可視光画像の色差成分および輝度成分に付加する。すなわち、この場合、予めプリセットされている瞳の色差成分および輝度成分が、それぞれ可視光画像の色差成分および輝度成分に付加された後、色差成分と輝度成分とが合成される。尚、図１７の構成補正処理部７３における虹彩補正処理については、基本的に図１５のフローチャートを参照して説明した処理と類似しているので、その説明は省略するものとする。

ただし、この場合、ステップＳ１３８においては、瞳付加部１４１が、瞳検出部１２８により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ１４１ａに、予めプリセットされている瞳の色差成分および輝度成分を読み出して、それぞれ可視光画像の色差成分および輝度成分に付加する。

＜虹彩補正処理部の第４の構成例＞
以上においては、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成することで瞳の虹彩を補正し、さらに、任意の色の瞳を付加する例について説明してきたが、補正後の瞳の部分における赤外光画像の信号レベルが高くなる虹彩色を、予めプリセットされた瞳に近似する虹彩の色を選択できるようにしてもよい。

図１８は、補正後の瞳の部分における赤外光画像の信号レベルが高くなる虹彩色を、予めプリセットされた瞳に近似する虹彩の色を選択できるようにした虹彩補正処理部７３の構成例を示している。尚、図１８の虹彩補正処理部７３の構成において、図１４の虹彩補正処理部７３と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。

すなわち、図１８の虹彩補正処理部７３において、図１４の虹彩補正処理部７３と異なる点は、瞳付加部１３１に代えて、瞳付加部１５１が設けられた点である。

瞳付加部１５１は、基本的な機能は、瞳付加部１３１と同様の機能であるが、プリセット瞳メモリ１５１ａに加えて、近似色相選択部１５１ｂが設けられている。尚、プリセット瞳メモリ１５１ａにおける機能は、プリセット瞳メモリ１３１ａと同様であり、複数の色の瞳がプリセットされている。

近似色相選択部１５１ｂは、補正された画像より、瞳の位置および形状の色を抽出し、予めプリセットされている瞳の色差成分のうち、色が最も近似する瞳を選択し、瞳の位置および形状で色差成分に付加する。

＜図１８の虹彩補正処理部による虹彩補正処理＞
次に、図１９のフローチャートを参照して、図１８の虹彩補正処理部７３による虹彩補正処理について説明する。尚、図１９のフローチャートにおけるステップＳ１５１乃至Ｓ１５７，Ｓ１６０の処理は、図１５のフローチャートを参照して説明したステップＳ１３１乃至Ｓ１３７，Ｓ１３９の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ１５１乃至Ｓ１５７の処理により、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、処理は、ステップＳ１５８に進む。

ステップＳ１５８において、瞳付加部１５１は、近似色相選択部１４１ｂを制御して、可視光画像の色差成分における瞳の位置および形状に対応する領域の色と、プリセット瞳メモリ１５１ａにプリセットされている瞳の色差成分のうちの最も近似する色の瞳を選択する。

ステップＳ１５９において、瞳付加部１５１は、選択した色の瞳の色差成分を、瞳が検出された位置および形状にして色差成分に付加する。そして、ステップＳ１６０において、瞳が付加された色差成分と、赤外光画像からなる輝度成分とが合成されて、画像が出力される。

すなわち、図２０の画像Ｐ４１で示されるように、瞳の位置と形状に応じたノイズ除去フィルタによりノイズ除去された可視光画像より抽出される色差成分とし、赤外光画像を輝度成分として合成された後、近似色相選択部１５１ｂによりプリセット瞳メモリ１５１ａにプリセットされた瞳Ｃ１１乃至Ｃ１４のうちのいずれか、その画像における瞳Ｃ１０１と最も近似する色相の瞳が選択されて、選択された瞳が検出された位置および形状に合わせて付加される。

以上の処理により、プリセットされた瞳のうち、最も近似する色相の瞳が、位置および形状で付加されることにより、瞳の形状が補正された上で、最も自然な色の瞳が付加されるため、顔画像を適切に補正することが可能となる。

尚、鼻補正処理については、上述した肌色補正処理と同様に鼻を形成する領域における肌の色を補正することで、鼻の画像を適切に補正することが可能となる。

また、口補正処理については、虹彩補正処理と同様に、唇の色を補正することで、口の画像を適切に補正することが可能となる。

以上の一連の処理により顔画像を構成する各種器官の画像をそれぞれ補正し、補正した器官を合成して顔画像を補正するようにしたので、器官毎に適切な画像の補正が可能となり、暗時においても、適切に顔画像を補正することが可能となる。

＜虹彩補正処理部の第５の構成例＞
以上においては、瞳付加部１５１が、瞳検出部１２８により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ１５１ａに、予めプリセットされている瞳の色差成分のうち、色が最も近似する瞳を選択し、瞳の位置および形状で色差成分に付加する例について説明してきたが、色差成分のみならず、輝度成分についても同様に付加するようにしてもよい。

図２１は、予めプリセットされる瞳の情報として、色差成分と共に輝度成分がプリセットされ、瞳検出部１２８により検出された瞳の位置と形状に合わせて、それぞれ瞳の色差成分および輝度成分を付加するようにした虹彩補正処理部７３の第５の構成例を示している。尚、図２１の虹彩補正処理部７３の構成において、図１８の虹彩補正処理部７３と機能が同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。

すなわち、図２１の虹彩補正処理部７３において、図１８の虹彩補正処理部７３と異なる点は、瞳付加部１５１に代えて瞳付加部１６１が設けられた点である。

瞳付加部１６１は、基本的に機能は、瞳付加部１５１と同様であるが、近似色相選択部１６１ｂが設けられており、プリセット瞳メモリ１６１ａに、予めプリセットされている瞳の色差成分および輝度成分のうち、撮像された色差成分および輝度成分に近似する色差成分および輝度成分に付加する。すなわち、この場合、予めプリセットされている瞳の色差成分および輝度成分が、それぞれ可視光画像の色差成分および輝度成分に付加された後、色差成分と輝度成分とが合成される。尚、図１９の構成補正処理部７３における虹彩補正処理については、基本的に図１８のフローチャートを参照して説明した処理と類似しているので、その説明は省略するものとする。

ただし、この場合、ステップＳ１５８においては、瞳付加部１６１が、瞳検出部１２８により検出された瞳の位置と形状に合わせて、プリセット瞳メモリ１６１ａに、予めプリセットされている瞳の色差成分および輝度成分を読み出して、それぞれ撮影された可視光画像の色差成分および輝度成分に近いものを近似色相選択部１６１ｂが選択し、ステップＳ１５９において、付加する。

以上の処理により、顔画像を構成する器官毎の画像が、器官に応じた補正処理により補正され、器官毎に補正された画像を合成することで、顔画像を適切に補正することが可能となる。尚、以上においては、器官として、肌色、瞳、鼻、および口が抽出され、それぞれに対応する画像を補正する例について説明してきたが、それ以外の器官を抽出し、それぞれに対応する補正を施すようにしてもよく、例えば、眉毛や頭髪なども抽出して、それぞれ対応する処理を施すようにしてもよい。

＜撮像部、赤外光発光部、および白色光発光部のバリエーション＞
撮像部３１、赤外光発光部３２、および白色光発光部３３は、様々な配置のバリエーションが考えられる。

例えば、図２２の左上部で示されるように、図中の左から白色光発光部３３、撮像部３１、および赤外光発光部３２の順に配置されるようにしてもよいし、図２２の中央上部で示されるように、白色光発光部３３、赤外光発光部３２、および撮像部３１のように配置してもよい。

また、配置例Ｐｔ１で示されるように、赤外光発光部３２、撮像部３１、および白色光発光部３３でもよいし、配置例Ｐｔ２で示されるように、撮像部３１、白色光発光部３３、および赤外光発光部３２でもよいし、配置例Ｐｔ３で示されるように、赤外光発光部３２、白色光発光部３３、および撮像部３１でもよいし、配置例Ｐｔ４で示されるように、撮像部３１、赤外光発光部３２、および白色光発光部３３でもよい。

さらに、図２２の右上部で示されるように、白色光発光部３３の直下に赤外光発光部３２が設けられ、さらに、白色光発光部３３および赤外光発光部３２の高さ方向に中間位置であって、その右側に撮像部３１を設けるようにしてもよい。

同様に、配置例Ｐｔ１１で示されるように、赤外光発光部３２の直下に白色光発光部３３が設けられ、さらに、赤外光発光部３２および白色光発光部３３の高さ方向に中間位置であって、その右側に撮像部３１を設けるようにしてもよいし、また、配置例Ｐｔ１２で示されるように、その左側に撮像部３１を設けるようにしてもよい。

さらに、配置例Ｐｔ１３で示されるように、配置例Ｐｔ１２における赤外光発光部３２および白色光発光部３３の上下を入れ替える配置とするようにしてもよい。

また、図２３の上段で示されるように、表示部３４の周囲を取り囲むフレーム状に、赤外光発光部３２を設けて、さらに、その周囲を取り囲むフレーム状に白色光発光部３３を設けるようにしてもよい。

さらに、図２３の下段で示されるように、表示部３４の周囲を取り囲むフレーム状に、白色光発光部３３を設けて、さらに、その周囲を取り囲むフレーム状に赤外光発光部３２を設けるようにしてもよい。

＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図２４は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。
＜１＞ 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
を含む情報処理装置。
＜２＞
前記器官画像補正部は、前記器官毎に、前記画像を補正する画像補正部を含む
＜１＞に記載の情報処理装置。
＜３＞ 前記器官毎の画像は、肌色画像、虹彩画像、口画像、および鼻画像を含み、
前記画像補正部は、前記肌色画像を補正する肌色画像補正部と、前記虹彩画像を補正する虹彩画像補正部と、前記口画像を補正する口画像補正部と、前記鼻画像を補正する鼻画像補正部とを含む
＜２＞に記載の情報処理装置。
＜４＞ 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分と、前記赤外光画像とを所定の割合で合成し、新たな輝度成分を生成する輝度成分生成部と、
前記新たな輝度成分と、前記色差成分とを合成することで、前記肌色画像を補正した画像を生成する色差輝度合成部とを含む
＜３＞に記載の情報処理装置。
＜５＞ 前記所定の割合の入力を受け付ける操作入力部をさらに含み、
前記輝度成分生成部は、前記分離部により分離された前記輝度成分と、前記赤外光画像とを、前記操作入力部により入力が受け付けられた、前記所定の割合で合成し、新たな輝度成分を生成する
＜４＞に記載の情報処理装置。
＜６＞ 前記肌色画像補正部は、
前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
前記分離部により分離された前記輝度成分の信号レベルと、前記赤外光画像の信号レベルとの大小関係を画素単位で比較する比較部と、
前記比較部の比較結果に基づいて、前記色差成分の彩度を前記赤外光画像の信号レベルに適合するように前記画素単位で調整する調整部とを含む
＜３＞に記載の情報処理装置。
＜７＞ 前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも大きい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように上げるように調整し、
前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも小さい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように下げるように調整する
＜６＞に記載の情報処理装置。
＜８＞ 前記調整部は、注目画素の周辺の画素の色差成分を抽出する色差成分抽出部を含み、
前記注目画素の輝度成分の信号レベルが無彩色とみなされる閾値よりも低いとき、前記調整部は、前記注目画素における前記可視光画像の色差成分を、前記色差成分抽出部により抽出された、前記注目画素の周辺の画素の色差成分により置き換えるように調整する
＜６＞に記載の情報処理装置。
＜９＞ 前記鼻画像補正部は、前記肌色画像補正部と同様の手法により前記鼻画像を補正する
＜６＞に記載の情報処理装置。
＜１０＞ 前記虹彩画像補正部は、
前記虹彩画像における前記赤外光画像より瞳の位置と形状を検出する瞳検出部と、
前記瞳検出部により検出された前記瞳の位置と形状に応じたノイズフィルタにより、前記虹彩画像の前記可視光画像のノイズを除去するノイズ除去部と、
前記ノイズ除去部によりノイズ除去された前記虹彩画像の可視光画像より色差成分と輝度成分とを分離する色差輝度分離部と、
前記虹彩画像の前記赤外光成分を、前記虹彩画像の前記可視光画像の輝度成分に合わせて合成する赤外光合成部と、
前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分と、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分とを合成する色差輝度合成部とを含む
＜３＞に記載の情報処理装置。
＜１１＞ 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部を有し、そのいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、選択された瞳の色差成分を貼り合わせる
＜１０＞に記載の情報処理装置。
＜１２＞ 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットでそれぞれ保持する前記保持部を有し、そのいずれかの色差成分および輝度成分を前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、選択された瞳の色差成分および輝度成分を、それぞれ貼り合わせる
＜１０＞に記載の情報処理装置。
＜１３＞ 前記虹彩画像補正部は、
複数の色の瞳の色差成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部とを有し、プリセットで保持する複数の色の瞳の色差成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部とをさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分を貼り合わせる
＜１０＞に記載の情報処理装置。
＜１４＞ 前記虹彩画像補正部は、
複数の色の瞳の色差成分および輝度成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分および輝度成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部を有し、プリセットで保持する複数の色の瞳の色差成分および輝度成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記瞳保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分および輝度成分をそれぞれ貼り合わせる
＜１０＞に記載の情報処理装置。
＜１５＞ 前記口画像補正部は、前記虹彩画像補正部と同様の手法により前記口画像を補正する
＜１０＞に記載の情報処理装置。
＜１６＞ 可視光画像および赤外光画像を撮像し、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出し、
抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正し、
補正された前記器官毎の画像を合成する
ステップを含む情報処理方法。
＜１７＞ 可視光画像および赤外光画像を撮像する撮像部と、
前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
してコンピュータを機能させるプログラム。

１１ 情報処理装置， ３１ 撮像部， ３２ 赤外光発光部， ３３ 白色光発光部， ３４ 表示部， ５１ 制御部， ５２ 画像処理部， ７１ 器官抽出部， ７２ 肌色補正処理部， ７３ 虹彩補正処理部， ７４ 鼻補正処理部， ７５ 口補正処理部， ９１ 赤外光画像可視光画像分離部， ９２ 可視光画像色差輝度分離部， ９３ 赤外光画像輝度画像合成部， ９４ 合成割合入力部， ９５ 色差輝度合成部， １０１ 赤外光画像輝度比較部， １０２ 色差調整部， １０２ａ 色差成分抽出部， １２１ 赤外光画像可視光画像分離部， １２２ ノイズ除去部， １２３ 色差抽出部， １２４ 色差輝度合成部， １２５ 瞳検出部， １３１ 瞳付加部， １３１ａ プリセット瞳メモリ， １４１ 瞳付加部， １４１ａ プリセット瞳メモリ， １５１ 瞳付加部， １５１ａ プリセット瞳メモリ， １６１ 瞳付加部， １６１ａ プリセット瞳メモリ， １６１ｂ 近似色相選択部

Claims (17)

1. 可視光画像および赤外光画像を撮像する撮像部と、
   前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
   前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
   前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
   を含む情報処理装置。
2. 前記器官画像補正部は、前記器官毎に、前記画像を補正する画像補正部を含む
   請求項１に記載の情報処理装置。
3. 前記器官毎の画像は、肌色画像、虹彩画像、口画像、および鼻画像を含み、
   前記画像補正部は、前記肌色画像を補正する肌色画像補正部と、前記虹彩画像を補正する虹彩画像補正部と、前記口画像を補正する口画像補正部と、前記鼻画像を補正する鼻画像補正部とを含む
   請求項２に記載の情報処理装置。
4. 前記肌色画像補正部は、
   前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
   前記分離部により分離された前記輝度成分と、前記赤外光画像とを所定の割合で合成し、新たな輝度成分を生成する輝度成分生成部と、
   前記新たな輝度成分と、前記色差成分とを合成することで、前記肌色画像を補正した画像を生成する色差輝度合成部とを含む
   請求項３に記載の情報処理装置。
5. 前記所定の割合の入力を受け付ける操作入力部をさらに含み、
   前記輝度成分生成部は、前記分離部により分離された前記輝度成分と、前記赤外光画像とを、前記操作入力部により入力が受け付けられた、前記所定の割合で合成し、新たな輝度成分を生成する
   請求項４に記載の情報処理装置。
6. 前記肌色画像補正部は、
   前記肌色画像における前記可視光画像を色差成分および輝度成分に分離する分離部と、
   前記分離部により分離された前記輝度成分の信号レベルと、前記赤外光画像の信号レベルとの大小関係を画素単位で比較する比較部と、
   前記比較部の比較結果に基づいて、前記色差成分の彩度を前記赤外光画像の信号レベルに適合するように前記画素単位で調整する調整部とを含む
   請求項３に記載の情報処理装置。
7. 前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも大きい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように上げるように調整し、
   前記比較部により、前記赤外光画像の信号レベルが、前記分離部により分離された前記輝度成分の信号レベルよりも小さい場合、前記調整部は、前記色差成分の彩度を、前記赤外光画像の信号レベルに適合するように下げるように調整する
   請求項６に記載の情報処理装置。
8. 前記調整部は、注目画素の周辺の画素の色差成分を抽出する色差成分抽出部を含み、
   前記注目画素の輝度成分の信号レベルが無彩色とみなされる閾値よりも低いとき、前記調整部は、前記注目画素における前記可視光画像の色差成分を、前記色差成分抽出部により抽出された、前記注目画素の周辺の画素の色差成分により置き換えるように調整する
   請求項６に記載の情報処理装置。
9. 前記鼻画像補正部は、前記肌色画像補正部と同様の手法により前記鼻画像を補正する
   請求項６に記載の情報処理装置。
10. 前記虹彩画像補正部は、
    前記虹彩画像における前記赤外光画像より瞳の位置と形状を検出する瞳検出部と、
    前記瞳検出部により検出された前記瞳の位置と形状に応じたノイズフィルタにより、前記虹彩画像の前記可視光画像のノイズを除去するノイズ除去部と、
    前記ノイズ除去部によりノイズ除去された前記虹彩画像の可視光画像より色差成分と輝度成分とを分離する色差輝度分離部と、
    前記虹彩画像の前記赤外光成分を、前記虹彩画像の前記可視光画像の輝度成分に合わせて合成する赤外光合成部と、
    前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分と、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分とを合成する色差輝度合成部とを含む
    請求項３に記載の情報処理装置。
11. 前記虹彩画像補正部は、
    複数の色の瞳の色差成分をプリセットで保持する保持部を有し、そのいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
    前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、選択された瞳の色差成分を貼り合わせる
    請求項１０に記載の情報処理装置。
12. 前記虹彩画像補正部は、
    複数の色の瞳の色差成分および輝度成分をプリセットでそれぞれ保持する前記保持部を有し、そのいずれかの色差成分および輝度成分を前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
    前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、選択された瞳の色差成分および輝度成分を、それぞれ貼り合わせる
    請求項１０に記載の情報処理装置。
13. 前記虹彩画像補正部は、
    複数の色の瞳の色差成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部とを有し、プリセットで保持する複数の色の瞳の色差成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部とをさらに含み、
    前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分に対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分を貼り合わせる
    請求項１０に記載の情報処理装置。
14. 前記虹彩画像補正部は、
    複数の色の瞳の色差成分および輝度成分をプリセットで保持する保持部と、プリセットで保持する複数の色の瞳の色差成分および輝度成分のうち、前記瞳検出部により検出された位置および形状における近似する色相の瞳を選択する近似色相選択部を有し、プリセットで保持する複数の色の瞳の色差成分および輝度成分のいずれかを前記瞳検出部により検出された位置および形状に合わせて、貼り合わせる瞳補正部をさらに含み、
    前記瞳補正部は、前記色差輝度分離部により分離された前記虹彩画像の可視光画像の色差成分、および、前記赤外光合成部により合成された前記赤外光画像の信号レベルからなる輝度成分のそれぞれに対して、前記瞳検出部により検出された位置および形状に合わせて、前記保持部により保持されている、前記複数の色の瞳の色差成分および輝度成分のうち、前記近似色相選択部により選択された色相の色の瞳の色差成分および輝度成分をそれぞれ貼り合わせる
    請求項１０に記載の情報処理装置。
15. 前記口画像補正部は、前記虹彩画像補正部と同様の手法により前記口画像を補正する
    請求項１０に記載の情報処理装置。
16. 可視光画像および赤外光画像を撮像し、
    前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出し、
    抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正し、
    補正された前記器官毎の画像を合成する
    ステップを含む情報処理方法。
17. 可視光画像および赤外光画像を撮像する撮像部と、
    前記赤外光画像より顔画像を認識し、前記顔画像より器官毎の画像を抽出する器官抽出部と、
    前記器官抽出部により抽出された器官に応じて、前記可視光画像および前記赤外光画像を利用して、前記器官毎の画像を補正する器官画像補正部と、
    前記器官画像補正部により補正された前記器官毎の画像を合成する合成部と
    してコンピュータを機能させるプログラム。

Images