JP2012105232A

JP2012105232A - 撮像装置

Info

Publication number: JP2012105232A
Application number: JP2010254463A
Authority: JP
Inventors: Mari Sugihara; 麻理杉原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-11-15
Filing date: 2010-11-15
Publication date: 2012-05-31

Abstract

【課題】人の顔の肌領域の色が自然な肌色となる画像データを得ることができる撮像装置を提供する。
【解決手段】撮像部８と、投映部１４と、前記撮像部から出力される撮像信号に基づいて事前画像データを取得する事前画像データ取得手段４と、前記事前画像データに含まれる顔の肌領域及び該肌領域の色を検出する検出部４と、目標となる肌色を記憶する記憶部１１と、前記検出部により検出された前記肌領域の色及び前記目標となる肌色に基づいて前記顔の肌領域に照射する投映光の色を決定する決定部４と、前記決定部により決定された色の投映光を、前記投映部により前記顔の肌領域に照射する投映制御部３６と、前記決定部により決定された色の投映光を照射しつつ前記撮像部により本撮影を行なう撮影制御部２６とを備える。
【選択図】図１

Description

本発明は、撮像装置に関するものである。

従来、プロジェクタ投映と撮影を同時に行うことができる携帯型情報機器が存在する（例えば、特許文献１参照）。この携帯型情報機器によれば、撮影画角内に均一な輝度の画像を投映することにより、投映光を撮影補助光とする他にフレーミングのアシストとして用いることができる。

特開２００６−９３８０１号公報

ところで、上述の携帯型情報機器において画像処理の色階調補正により、得られた画像データの中に存在する人の顔の肌領域の色の調整を行う場合に、補正しすぎるとノイズが増大することがあるため、顔の肌領域の色を自然な肌色とすることが困難であった。

本発明の目的は、人の顔の肌領域の色が自然な肌色となる画像データを得ることができる撮像装置を提供することである。

本発明の撮像装置は、撮像部と、投映部と、前記撮像部から出力される撮像信号に基づいて事前画像データを取得する事前画像データ取得手段と、前記事前画像データに含まれる顔の肌領域及び該肌領域の色を検出する検出部と、目標となる肌色を記憶する記憶部と、前記検出部により検出された前記肌領域の色及び前記目標となる肌色に基づいて前記顔の肌領域に照射する投映光の色を決定する決定部と、前記決定部により決定された色の投映光を、前記投映部により前記顔の肌領域に照射する投映制御部と、前記決定部により決定された色の投映光を照射しつつ前記撮像部により本撮影を行なう撮影制御部とを備えることを特徴とする。

本発明によれば、人の顔の肌領域の色が自然な肌色となる画像データを得ることができる。

実施の形態に係る撮像装置のシステム構成を示すブロック図である。実施の形態に係る撮像装置の撮影処理を示すフローチャートである。実施の形態に係る顔認識解析により検出された人の顔の肌領域を示す図である。実施の形態に係るｓＲＧＢの色空間のｘｙ座標を模式的に示す図である。実施の形態に係る人の顔の肌領域に決定された色の投映光が照射されている状態を示す図である。実施の形態に係るメイクパターンを示す図である。実施の形態に係る人の顔の肌領域に決定された色及びメイクパターンの投映光が照射されている状態を示す図である。

以下、図面を参照して、本発明の実施の形態に係る撮像装置（以下、カメラという。）について説明する。図１は、本発明の実施の形態に係るカメラのシステム構成を示すブロック図である。図１に示すように、カメラ２は、カメラ２の各部を統括的に制御する制御部４を備えている。制御部４には、被写体を撮像する撮像部８、撮像部８から出力された撮像信号から生成された画像データを記憶するメモリ１０、制御部４が実行する撮影処理、投映処理、投映光の色及び光量の決定処理等を実行するプログラムを記憶するプログラムメモリ１１、撮影画像及び投映画像の画像データ等を記憶するメモリカード１２、撮像部８による撮影画角内に投映光を照射する投映部１４、カメラ２の背面部に配置され撮像部８により撮像された画像、スルー画及びカメラ２のモードを設定する画面等を表示するＬＣＤ表示部１６及び操作部１８が接続されている。

ここで、撮像部８は、撮影レンズ２０、イメージセンサ２２、レンズ駆動回路２４及び撮影制御回路２６を備えている。イメージセンサ２２は、ＣＣＤやＣＭＯＳ等の撮像素子により構成される。撮影レンズ２０は、イメージセンサ２２の撮像面上に被写体像を結像させる。撮影制御回路２６は、制御部４からの指令によりイメージセンサ２２およびレンズ駆動回路２４を駆動制御する。即ち、撮影制御回路２６は、制御部４からの撮影開始指示に応じてイメージセンサ２２に撮像を開始させ、イメージセンサ２２から読出した撮像信号を制御部４へ送出する。レンズ駆動回路２４は、撮影制御回路２６から出力されるフォーカス調節信号に基づいて、撮影レンズ２０を構成するフォーカスレンズ（不図示）を光軸方向に移動させる。また、レンズ駆動回路２４は、撮影制御回路２６から出力されるズーム調節信号に基づいて、撮影レンズ２０を構成するズームレンズ（不図示）を光軸方向（テレ側もしくはワイド側）に移動させる。

投映部１４は、投映レンズ３０、液晶パネル３２、ＬＥＤ光源３４及び投映制御回路３６を備えている。投映部１４は、投映レンズ３０を介して液晶パネル３２に表示された画像の投映を行う。投映制御回路３６は、制御部４から出力される投映指令に応じてＬＥＤ光源３４及び液晶パネル３２の制御を行う。

操作部１８は、電源スイッチ、レリーズボタン、ズームボタン、カメラ２のモードを設定するモード設定ボタン、十字ボタン及びＯＫボタン等を備えている。

ここで、撮像部８及び投映部１４は、撮像部８による撮影方向と投映部１４による投映方向が同じ方向を向いて配置される。また、撮像部８及び投映部１４は互いに近接して配置される。これにより、撮像部８による撮影画角内に対して、投映部１４からの投映光を照射することが可能となる。

次に、図２に示すフローチャートを参照して本発明の実施の形態に係るカメラ２の撮影処理について説明する。操作者が操作部１８のモード設定ボタンを操作することによりカメラ２を撮影モードに移行させると、制御部４は、撮像部８により所定のフレームレートで被写体を撮像し、撮像部８から出力された撮像信号に基づいてＬＣＤ表示部１６にスルー画を表示する。ここで、撮像部８から出力されたスルー画像の画像データは事前画像データとして取得され一時的にメモリ１０に記憶される（ステップＳ１０）。

図３に示すように、カメラ２の撮像部８の撮影画角内に人５０の顔が収まっている場合には、ＬＣＤ表示部１６には人５０の顔が表示される。この場合制御部４は、顔認識解析によりメモリ１０に一時的に記憶された事前画像データから人５０の顔を検出する（ステップＳ１２）。そして、検出された人５０の顔の構成（目、鼻、唇等）を解析することにより人５０の顔の肌領域５２を検出し、更に検出された肌領域５２の色を検出する（ステップＳ１４）。即ち、図示しない映像信号処理回路により、メモリ１０に一時的に記憶された事前画像データを構成するＲＧＢ信号に基づいて色差信号及び輝度信号を出力し、色差信号及び輝度信号に基づいて肌領域５２の色及び輝度分布を検出する。

制御部４は、プログラムメモリ１１に記憶されている目標となる肌色のデータを読出し、検出された肌領域５２の色及び読み出した目標となる肌色に基づいて、人５０の顔の肌領域５２に照射する投映光の色を決定する（ステップＳ１６）。例えば、図４は、ｓＲＧＢの色空間におけるｘｙ座標（色座標）を模式的に示すものであり、この色空間においてはｗで示される位置が白を表し、ｘの値が大きくなれば赤（Ｒ）成分が多く、ｙの値が大きくなれば緑（Ｇ）成分が多く、ｘとｙの値が共に小さくなれば青（Ｂ）成分が多くなる。図４に示すように、検出された人５０の顔の肌領域５２における色が色座標において６０の位置で示され、目標となる肌色が色座標において６２で示される場合には、投映部１４から照射される投映光の色が色座標において６４で示される色に決定される。

図５に示すように、投映制御回路３６は制御部４からの指令により、液晶パネル３２の各画素の反射率または透過率を制御して投映部１４から、決定された色６４の投映光６６がステップＳ１４で検出された光量分布で撮像部８による撮影画角内の人５０の肌領域５２に照射される（ステップＳ１８）。従って、人５０の顔の肌領域５２の色は目標となる肌色６２に近い色となり自然な肌色となる。

制御部４は、レリーズボタンが押下されたか否かの判別を行い、レリーズボタンが押下されていない場合には（ステップＳ２０、Ｎｏ）、決定された色６４の投映光が人５０の肌領域５２に照射されている状態で、再度撮像部８により所定のフレームレートで撮像し、撮像部８から出力されるスルー画の画像データは事前画像データとして取得され一時的にメモリ１０に記憶する（ステップＳ２２）。また、顔認識解析により事前画像データの中から人５０の顔の肌領域５２の色を検出する（ステップＳ２４）。そして、ステップＳ１６に戻り、検出された人５０の顔の肌領域５２の色に基づいて投映光の色を再度決定し（ステップＳ１６）、再度決定された色の投映光が人５０の顔の肌領域５２に照射される（ステップＳ１８）。従って、ステップＳ１６〜ステップＳ２４を繰り返すことによって、人５０の顔の肌領域５２の色は目標となる肌色６２により近い色となり自然な肌色となる。

そして制御部４は、レリーズボタンが押下された場合には（ステップＳ２０、Ｙｅｓ）、撮像部８により本撮影を行い（ステップＳ２６）、撮影された画像の画像データをメモリカード１２に記憶する。

本発明の実施の形態に係るカメラによれば、撮影画角内に存在する人の顔の肌領域の色に基づいて投映部から人の顔の肌領域に照射する投映光の色を決定し、撮影画角内において投映部により、決定された色に基づく投映光が肌領域に照射された状態で撮像部により撮像するため、人の顔の肌領域の色が自然な肌色となる画像データを得ることができる。

なお、上述の実施の形態においては、事前画像データとして撮像部８から出力された撮像信号に基づくスルー画の画像データを用いているが、プリ撮影で撮影された画像データを用いてもよい。

また、上述の実施の形態において、プログラムメモリ１１に目標となる肌色のデータが複数記憶されている場合には、操作者の操作により複数の中から撮影モードで使用する目標となる肌色のデータを予め選択するようにしてもよい。

また、上述の実施の形態において、カメラ２をプリントシール機、照明写真機等に用いてもよい。この場合、プリントシール機、照明写真機等を使用することにより、自身の顔の肌領域の色が自然な肌色の状態で写されたプリントシール、証明写真等を容易に得ることができる。

また、上述の実施の形態においては、投映部１４により、決定された色６４の投映光を人５０の肌領域５２に照射しているが、更にメイクパターンを形成する投映光を人５０の顔の肌領域５２に照射してもよい。即ち、図６に示すように、操作者の操作部１８を用いた操作により、人の顔のどの領域にメイクパターンを照射するのか選択させる画面７０をＬＣＤ表示部１６に表示させ、操作者の操作部１８を用いた操作により、撮影モードで使用するメイクパターンとして、例えば額７２、頬７４、鼻７６、唇７８、人中８０及び顎８２を予め選択させる。

この場合には、制御部４は、顔認識解析により解析された人５０の顔の構成に基づいて、人５０の肌領域５２において各メイクパターンを照射する領域を決定する。また、目標となる肌色６２に基づいて各メイクパターンの予め設定されている色を調整し、各メイクパターンの投映光の色を決定する。図７に示すように、投映制御回路３６は制御部４からの指令により、液晶パネル３２の各画素の反射率または透過率を制御して投映部１４から、決定された色６４の投映光６６と共に決定された色の各メイクパターンの投映光９０が人５０の顔の肌領域５２に照射される。従って、人５０の顔の肌領域５２の色は目標となる肌色６２に近い色（自然な肌色）となり、更に人５０の顔に自然なメイクアップ効果を与えることができる。

例えば、上述の実施の形態において、撮影モードで使用するメイクパターンとして、局所的に色味を調整する領域（例えば目元）が予め選択された場合には、決定された色６４の投映光６６と共にアイシャドウ効果を与えるための投映光を人５０の目元に照射する。この場合アイシャドウ効果を与えるための投映光の色は、目標となる肌色６２に基づいてシャドー効果を与える色に決定される。

また、上述の実施の形態において、撮影モードで使用するメイクパターンとして目が選択された場合には、決定された色６４の投映光６６と共に目を輝かせるためのキャッチライトを人５０の目に照射する。この場合キャッチライトを入れるための投映光の光量は、目標となる肌色６２に基づいて人５０の目の輝きを強調するように決定される。これにより、撮影時にフラッシュ、レフ板を用いることなく、キャッチライトが写された画像データを容易に得ることができる。

また、上述の実施の形態において、ＬＥＤ光源３４に代えてＲＧＢＬＥＤ光源やＲＧＢレーザ光源を用いて、各色ＬＥＤや各色レーザの電流比率を制御することにより、ＲＧＢＬＥＤ光源やＲＧＢレーザ光源から照射する光の明るさを調整し、人５０の肌領域５２の色に基づき決定された色及び光量の投映光を照射するようにしてもよい。

また、上述の実施の形態において、カメラ２の投映部１４がＤＭＤ（デジタルミラーデバイス）を備える場合には、ＤＭＤの各ミラーの反射率を制御することにより、人５０の肌領域５２の色に基づき決定された色及び光量の投映光を照射するようにしてもよい。

２…カメラ、４…制御部、８…撮像部、１０…メモリ、１１…プログラムメモリ、１４…投映部、１６…ＬＣＤ表示部、１８…操作部、２６…撮影制御回路、３６…投映制御回路。

Claims

撮像部と、
投映部と、
前記撮像部から出力される撮像信号に基づいて事前画像データを取得する事前画像データ取得手段と、
前記事前画像データに含まれる顔の肌領域及び該肌領域の色を検出する検出部と、
目標となる肌色を記憶する記憶部と、
前記検出部により検出された前記肌領域の色及び前記目標となる肌色に基づいて前記顔の肌領域に照射する投映光の色を決定する決定部と、
前記決定部により決定された色の投映光を、前記投映部により前記顔の肌領域に照射する投映制御部と、
前記決定部により決定された色の投映光を照射しつつ前記撮像部により本撮影を行なう撮影制御部と
を備えることを特徴とする撮像装置。
前記目標となる肌色を選択する選択部を更に備えることを特徴とする請求項１記載の撮像装置。
前記撮像部により本撮影を行なう前に、
前記事前画像データ取得手段により、再度前記撮像部から出力される撮像信号に基づいて事前画像データを取得し、
前記検出部により、再度前記事前画像データに基づいて被写体に含まれる顔の肌領域の色を検出し、
前記決定部により、再度前記検出部により検出された肌領域の色及び前記目標となる肌色に基づいて前記顔の肌領域に照射する投映光の色を決定し、
前記投映制御部により、前記決定部により決定された色の投映光を前記投映部により前記顔の肌領域に照射することを特徴とする請求項１または２記載の撮像装置。
前記検出部は、顔の構成を検出し、
前記決定部は、前記顔の構成に対応するメイクパターンの各領域の色を前記目標となる肌色を考慮して決定することを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
前記メイクパターンを選択するメイクパターン選択部を更に備えることを特徴とする請求項４記載の撮像装置。
前記事前画像データは、スルー画の画像データまたはプリ撮影の画像データであることを特徴とする請求項１〜５の何れか一項に記載の撮像装置。