JP2017129950A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】光源条件の設定作業の負荷を低減させつつ、所望のリライティング画像が得られるようにする。【解決手段】画像処理装置４００は、被写体の形状に関する形状情報を取得し、被写体の撮影における撮影画像の種類に関する撮影モードもしくは複数種類の仮想光源画像のうち選択された種類を示す画像種類情報に応じて、または撮影において選択された撮影条件に応じて、仮想光源に関する条件としての第１の仮想光源条件を設定する。さらに、該装置は、第１の仮想光源条件と形状情報とを用いて仮想光源画像を生成する。【選択図】図１

Description

本発明は、仮想光源により照明された被写体の画像を生成する画像処理技術に関する。

実在する被写体をある光源環境（光源条件）下で撮影して得られた撮影画像から、仮想的に設定した光源環境下での被写体画像をコンピュータグラフィックス（ＣＧ）等の画像処理によって生成（再現）する技術をリライティング（relighting）と呼ぶ。

リライティングによる画像の再現には、物体の形状や反射特性等の物理的な情報が用いられる。被写体の物理的な情報が未知である場合、被写体の形状を示す形状情報はレーザ光を用いた三角測量や２眼ステレオ等の方法で計測された距離の情報から取得される。また、特許文献１にて開示されているように、照度差ステレオ法等によって、３次元形状ではなく、被写体の面法線を示す面法線情報として取得される場合もある。反射特性は、光源環境や視線方向を変えながら被写体を撮影することで生成された画像から取得することができる。また、反射特性は、面法線情報と合わせて、双方向反射率分布関数（ＢＲＤＦ）等のモデルとして表現されることもある。

特許文献２には、３次元形状データと視点データとを用いて、３次元モデル上に光が映り込んだ映り込み領域を設定し、該映り込み領域に基づいて光源の設定を行う３次元ＣＧ画像の編集方法が開示されている。

特開２０１０−１２２１５８号公報 特開２０１０−２３１６２０号公報

しかしながら、光源条件については、実際に写真撮影を行う場合と同様に、光源条件の設定を何度も変更しながら所望の被写体画像が得られるまで編集作業を繰り返すのが実情である。このような従来の光源条件の設定手法では、編集作業者の作業負荷が大きい。また、３次元ＣＧ画像の編集作業に精通していない作業者にそのような作業を行わせることは現実的ではない。

特許文献２には、３次元モデル上に映り込み領域を設定することで光源条件の設定作業の負荷を低減させているが、映り込み領域を設定するという特別な作業が必要であり、光源条件に関する設定作業の負荷を十分に低減できているとは言えない。

本発明は、光源条件の設定作業の負荷を十分に低減させて所望の画像が得られるようにした画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、被写体の形状に関する形状情報を取得し、被写体の撮影における撮影画像の種類に関する撮影モードもしくは複数種類の仮想光源画像のうち選択された種類を示す画像種類情報に応じて、または撮影において選択された撮影条件に応じて、仮想光源に関する条件としての第１の仮想光源条件を設定する。そして、第１の仮想光源条件と形状情報とを用いて仮想光源画像を生成することを特徴とする。

なお、被写体の光学像を光電変換する撮像手段と、上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。

さらに、上記画像処理装置が行う処理をコンピュータに行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、撮影モード、選択された仮想光源画像の種類または撮影条件に応じた仮想光源条件が自動的に設定されるため、光源条件の設定作業の負荷を十分に低減しつつ選択された種類の仮想光源画像を生成することができる。

本発明の実施例１である画像処理装置の構成を示すブロック図。 実施例１である画像処理装置の外観を示す斜視図。 実施例１における画像処理を示すフローチャート。 実施例１における撮影モードと撮影条件を示す図。 実施例１における基準画像を示す図。 実施例１における基準画像の撮影時の配置を示す図。 実施例１における第１の仮想光源条件を示す図。 実施例１における第２の仮想光源条件を示す図。 実施例１における仮想光源画像を示す図。 本発明の実施例２である画像処理装置の構成を示すブロック図。 実施例２における画像処理を示すフローチャート。 実施例２における第１の仮想光源条件を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例１および実施例２の説明に先立って各実施例に共通する事項について説明する。各実施例では、仮想的に設定された光源環境下での被写体画像としての仮想光源画像を画像処理によって生成（再現）するリライティングを行う。仮想光源画像（以下、リライティング画像という）は、物理的には、被写体の形状を示す形状情報、被写体の反射特性を示す反射特性情報および光源の情報（光源条件）により設定される。

形状情報には、三次元（３Ｄ）形状情報や距離情報がある。このうち距離情報は、レーザ光を用いた三角測量や２眼ステレオ等の公知の方法で取得可能である。また、被写体表面の面法線を示す面法線情報を用いることも有効である。これは、光源からの光が被写体によって反射される際の反射光の物理的な振る舞いは、被写体の局所的な面法線に依存するからである。したがって、３Ｄ形状情報や距離情報として被写体の形状情報を取得した場合は、これらの情報から面法線情報を取得する必要がある。面法線情報とは、面法線方向を示すベクトル（面法線ベクトル）や、面法線の自由度等を意味する。直接、面法線情報を取得する方法としては、偏光を利用する方法や照度差ステレオ法等の公知の方法がある。

反射特性とは、光源から一定の強度で被写体に光が入射した際に、その光源の方向に関連付けて一意に決められる反射光の強度を表す。一般に、被写体の面法線や被写体を観測する視線方向（観測方向）にも依存するため、反射特性ｆは以下のように表される。

ここで、ｉは反射光の輝度であり、Ｅは入射光の輝度である。ｓは物体から光源に向かう方向を示す単位ベクトル(光源方向ベクトル)であり、ｎは物体の単位面法線ベクトルである。ｖは物体から観測方向を示す単位ベクトル（視線ベクトル）である。また、反射特性をパラメトリックモデルとして表す場合は、反射特性モデルの係数ベクトルＸも変数として用いる。係数ベクトルＸは、係数の数と等しい次元を持つ。

反射特性情報とは、反射特性ｆや反射特性モデルの係数を意味する。パラメトリックモデルには、例えば、ランバート反射モデル、Oren-Nayerモデル、Phongモデル、Torrance-Sparrowモデル、Cook-Torranceモデルなどがあり、モデルによって適合する被写体が限られる。例えば、ランバート反射モデルでは視線方向によらないため、反射光を均一に拡散する被写体に適合するが、視線方向によって見え方が変わる被写体では視線ベクトルに依存する他のモデルで表すことが適当である。また、これらのモデルは併用して用いられる場合も多く、拡散反射成分と鏡面反射成分をそれぞれ別のモデルで表し、被写体の反射特性はその和として表現されることもある。

鏡面反射光とは、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射によって反射した光を意味する。拡散反射光とは、被写体の表面を透過した後に物体内部で散乱されて返ってくる光を意味する。一般に、物体からの反射光には、鏡面反射光と拡散反射光が含まれる。

光源条件とは、光源の強度、位置、方向（方位）、波長、サイズおよび周波数特性（以下、それぞれ光源強度、光源位置、光源方向、光源波長、光源サイズおよび光源周波数特性という）等を含む。

被写体の形状情報および反射特性情報はそれぞれ、被写体特有の物理特性であるため、上記手法によって取得することで一意に決定することができる。しかしながら、画像中の被写体の表現を左右する光源条件については設定自由度が多く、画像を編集する編集者による自由な表現の再現が可能となる一方で、編集者の負荷が大きくなるという問題がある。以下に説明する各実施例によれば、このような問題を解消することができる。

図１には、本発明の実施例１である画像処理装置を含む撮像装置（以下、カメラという）１の構成を示す。また、図２には、カメラ１の外観を示す。

カメラ１は、図１に示すように、不図示の被写体を撮像する撮像部（撮像手段）１００を備えている。撮像部１００は、不図示の撮影光学系と撮像素子を備えている。撮影光学系は、被写体からの光を撮像素子上に結像させる。撮影光学系は絞りを含む。また、撮影光学系は、これを構成する複数のレンズ群のうち一部又は全部を移動させることによって撮影倍率を変化させることができる変倍光学系であってもよい。撮像素子は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、撮影光学系により形成された被写体像（光学像）を光電変換して撮影画像を生成する。

本実施例では、面法線情報の取得方法として、照度差ステレオ法を採用する。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。照度差ステレオ法により面法線情報を取得するため、カメラ１には、被写体に向けて光を照射する光源部１１０を８つ備えている。光源部１１０の数は、照度差ステレオ法は少なくとも３つの光源を必要とするため、３つ以上であれば８つでなくてもよい。本実施例において、光源部１１０の発光素子としてＬＥＤを用いるが、キセノンランプ等の他の発光素子を用いてもよい。また、本実施例では光源部１１０がカメラ１に一体的に設けられているが、カメラとは別に設けられた光源装置に複数の光源部を設けてもよい。また、面法線情報の取得方法として、照度差ステレオ以外の方法を用いてもよい。

図２に示すように、カメラ１は、ＡＦ（オートフォーカス）や撮影を指示するためのレリーズボタン１２０を備えている。

次に、カメラ１に含まれている画像処理装置４００の構成について説明する。画像処理装置４００は、情報取得部１０と画像処理部２０と選択部３０とを備えている。情報取得部１０は、撮影情報取得部１０ａと、形状情報取得部（形状取得手段）１０ｂと、反射特性情報取得部（反射特性取得手段）１０ｃと、基準画像取得部（基準画像取得手段）１０ｄとを含む。

撮影情報取得部１０ａは、撮影情報を取得する。撮影情報は、後述する形状情報または基準画像を撮像部１００を通じて取得するための撮影時に選択された撮影条件と、後述する画像種類情報とを含む。撮影条件は、撮影に関する光学的な条件であり、焦点距離、絞り値（Ｆ値）シャッター速度およびフォーカス位置（被写体距離）等を含む。画像種類情報は、ポートレート撮影、クローズアップ撮影等の撮影画像の種類に関する撮影モードを示す情報や、光源条件が異なる複数の撮影技法のそれぞれに対応する複数種類のリライティング画像のうち選択されたリライティング画像の種類を示す情報である。撮影モードの種類を示す情報は、それらの撮影モードに適した代表的な仮想光源条件を設定するために用いることができる。本実施例では、画像種類情報をリライティング撮影モードとしてユーザが入力（選択）可能である。

形状情報取得部１０ｂは、被写体の形状情報を撮像部１００による被写体の撮影を通じて取得する。形状情報には、被写体の奥行き情報と面法線情報とが含まれる。

反射特性情報取得部１０ｃは、被写体の反射特性情報を取得する。反射特性情報は、例えばパラメトリックモデルの係数組を各画素に対して割り当てた情報であり、事前に被写体を計測して取得した値を用いたりユーザが任意に設定したりすればよい。また、拡散反射成分と鏡面反射成分に対する反射特性を別々に取得する等、複数の反射特性を示す反射特性情報を取得してもよい。

基準画像取得部１０ｄは、被写体の基準画像を取得する。基準画像は、撮像部１００による実際の撮影によって得られた被写体の通常の撮影画像である。照度差ステレオ法による被写体の面法線情報の取得では、鏡面被写体や透明被写体への対応が困難である。面法線情報が正確に求まっていない被写体について、その面法線情報を用いてリライティング画像を生成すると、被写体表現に違和感のある低画質のリライティング画像が生成されるおそれがある。また、テクスチャマッピング手法のように基準画像を使用することで生成される画像の画質劣化を低減する手法が知られている。このため、リライティング画像の画質向上のために基準画像を用いることは有用である。

画像処理部２０は、仮想光源条件設定部（光源条件設定手段）２０ａと、リライティング画像生成部（画像生成手段）２０ｂとを有する。

仮想光源条件設定部２０ａは、少なくとも撮影情報（リライティング撮影モードまたは撮影条件）に応じて、リライティング画像を生成する際の仮想光源に関する条件である仮想光源条件（第１の仮想光源条件）を設定する。仮想光源条件とは、少なくとも光源位置および光源方向を含み、光源強度、光源波長、光源サイズおよび光源周波数特性を含んでもよい。また、拡散板やレフ板（反射板）といった光源からの光を拡散または反射させることで被写体表現を調整する機材に対応する仮想機材の特性や配置の条件も含まれる。さらに、仮想光源条件設定部２０ａは、後述する少なくとも１つの第２の仮想光源条件を設定することもできる。

リライティング画像生成部２０ｂは、少なくとも形状情報と第１の仮想光源条件を用いて（第２の仮想光源条件が設定された場合は少なくとも形状情報と該第２の仮想光源条件を用いて）リライティング画像を生成する。リライティング画像生成部２０ｂで生成され、必要に応じて画像処理部２０で他の処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録部３００に保存される。また、出力画像を表示部２００に表示してもよい。

カメラ１は、さらに選択部３０を備えている。選択部３０は、主被写体選択部（被写体選択手段）３０ａと最終画像選択部（画像選択手段）３０ｂとを含む。主被写体選択部３０ａは、生成するリライティング画像に複数の被写体が含まれる場合に、第１の仮想光源条件（および第２の仮想光源条件）を設定するための基準位置となる主被写体（特定被写体）を選択する。

最終画像選択部３０ｂは、上述した第１および第２の仮想光源条件に対応する複数のリライティング画像が生成された場合に、最終的に出力（記録または表示）する出力用画像としてのリライティング画像をユーザに選択させる。

システムコントローラ４０は、撮像部１００および画像処理装置４００を含むカメラ１の全体の動作を制御するコンピュータ（ＣＰＵ等）である。ＲＯＭ５０は、システムコントローラ４０によって実行される各種プログラムやそれに必要となるデータが格納されている。

図３のフローチャートには、本実施例におけるリライティング画像を生成する処理の流れを示している。このリライティング画像の画像生成処理は、画像処理用ＣＰＵ等のコンピュータにより構成される画像処理装置４００がコンピュータプログラムとしての画像処理プログラムに従って実行する。なお、この画像生成処理を必ずしもソフトウェアにより行う必要はなく、ハードウェア回路により行ってもよい。

ステップＳ１０１では、撮影情報取得部１０ａは、撮像部１００を通じて形状情報または基準画像を取得した際、すなわち撮影時の撮影情報を取得する。図４に、カメラ１の背面を示す。カメラ１の背面には表示部２００が設けられている。表示部２００には、それぞれ撮影情報としてユーザにより選択が可能なリライティング撮影モード（「ポートレート（モード）」および「クローズアップ（モード）」と撮影条件（焦点距離、Ｆ値、シャッター速度およびフォーカス位置）とが表示されている。

リライティング撮影モードのうちポートレートモードは人物撮影に適したモードであり、クローズアップモードは人物以外の小物体を撮影するいわゆる物撮りに適したモードである。これらのリライティング撮影モードのいずれかが選択されると、その選択されたリライティング撮影モードに適したシャッター速度、Ｆ値、フラッシュ発光条件（照明条件）、感度等が自動的に設定される。ユーザは、図４に示す入力ボタン７０を操作することで所望のリライティング撮影モードを選択することができる。このようにユーザが選択した撮影モード、つまりはユーザが得たいリライティング画像の種類の情報を取得することで、リライティング画像の生成における代表的な仮想光源条件を設定することが可能となる。なお、図４では、濃く表示されたポートレートモードが選択された状態を示している。

また、ユーザは入力ボタン７０を用いて所望の撮影条件を選択することができる。撮影時にユーザによりリライティング撮影モードが選択されずに撮影条件が選択された場合は、撮影情報取得部１０ａは、選択された撮影条件からリライティング撮影モードを自動的に選択（設定）する。例えば、フォーカス位置が近距離被写体に応じた位置である場合はクローズアップモードを設定し、フォーカス位置が中距離被写体に応じた位置でありＦ値が開放に近い場合はポートレートモードを設定する。

なお、ここに挙げたリライティング撮影モードや撮影条件からのリライティング撮影モードの設定は単なる例であり、他のリライティング撮影モードを設けたり同様の撮影条件から他のリライティング撮影モードを自動設定したりしてもよい。

次にステップＳ１０２では、形状情報取得部１０ｂは被写体の形状情報を取得する。具体的には、形状情報として、被写体の奥行き情報（距離情報）を、撮像部１００により被写体を撮影することで取得した互いに視差を有する一対の撮影画像（視差画像）や複数の撮影画像からDepth From Defocus等の方法で取得した情報を用いて取得する。また、他の形状情報として、面法線情報を、上述した照度差ステレオ法によって取得する。

次にステップＳ１０３では、反射特性情報取得部１０ｃは、被写体の反射特性情報を取得する。反射特性情報については前述した通りである。

次にステップＳ１０４では、基準画像取得部１０ｄは、被写体の基準画像を取得する。図５には、撮像部１００を通じて取得された基準画像の例を示す。この基準画像はポートレート画像の１つであり、人物１０００の背景に花１１００が存在する。また、図６には、図５に示す基準画像を取得するための撮影時における人物１０００および花１１００とカメラ１との配置を上から見て示す。カメラ１から人物１０００までの被写体距離はＬである。

なお、ステップＳ１０１〜Ｓ１０４の処理は、図３に示した順序以外の順次で行われてもよい。

次にステップＳ１０５では、主被写体選択部３０ａは、基準画像内の複数の被写体（１０００，１１００）から特定被写体としての主被写体を選択する。主被写体は、入力ボタン７０のユーザ操作に応じて選択してもよいし、表示部２００に設けられたタッチパネルのユーザ操作（主被写体の画像部分へのタッチ操作）に応じて選択してもよい。また、顔検出処理等の画像認識処理を用いて人物を主被写体として自動選択してもよい。本実施例では、図５に破線で囲まれた人物１０００が顔検出処理によって主被写体として選択されたものとする。

次にステップＳ１０６では、仮想光源条件設定部２０ａは、仮想光源条件を設定する。図７を用いて、仮想光源条件の設定手順について説明する。図７には、リライティング画像空間上での仮想光源条件の例を示す。人物２０００および花２１００は、図５および図６に示す人物１０００と花１１００と同じものを指すが、図７中のこれらは形状情報を用いてリライティング画像空間上に再構築されたものであるため、符号を変更している。また、図７は概念的な配置関係を説明するためのものであり、実際の処理としてリライティング画像空間（仮想的な３次元空間）上に被写体を再構築することを限定するものではない。

まず、リライティング画像を生成するための視点位置（カメラ１の位置：以下、カメラ位置という）２２００と撮影条件は、ステップＳ１０４での基準画像の取得時（又はステップＳ１０２での形状情報の取得時）である撮影時のカメラ位置と撮影条件を用いる。これにより、生成されるリライティング画像の画角と構図が撮影時と同様となり、ユーザの撮影意図が反映されたリライティング画像を生成することができる。カメラ位置２２００は、ステップＳ１０２で得られた形状情報の一部である奥行き情報（距離情報）に基づいて決定される。本実施例では、主被写体である人物２０００までの被写体距離Ｌの位置にカメラ位置２２００が設定される。このように、本実施例では、ステップＳ１０５で選択された主被写体の位置をリライティング画像空間の基準位置として用いる。

次に仮想光源条件設定部２０ａは、撮影情報取得部１０ａにて取得された撮影情報に応じて仮想光源条件を設定する。ここでは、撮影情報として、ポートレートモードの選択（ポートレートモードが直接選択された場合および撮影条件からポートレートモードが自動設定された場合のいずれも含む）を示す情報を取得したものとする。

ポートレート撮影における代表的（典型的）な照明手法として、人物の鼻筋に対して４５度の方向からライティングを行うことで、人物の立体感を強調するレンブラントライティング手法等が知られている。そこで、仮想光源条件設定部２０ａは、ポートレートモードにおいては、カメラ１の光軸方向に対して４５度の無限遠位置に光源を配置するという代表的な照明手法に対応する光源条件を第１の仮想光源条件として設定する。仮想光源条件設定部２０ａは、他のリライティング撮影モードにおいても、そのリライティング撮影モードに対する代表的な照明手法に対応する光源条件を第１の仮想光源条件として設定する。

本実施例では、さらに主被写体の形状情報に応じた仮想光源条件を設定する。形状情報から主被写体（人物）の顔の向きや位置を判定することができる。このため、より精度良く仮想光源条件を設定することが可能となる。図７に示す例では、人物２０００の顔の正面方向に対して右側４５度の方向にメイン光源２３００と拡散板２４００を配置している。拡散板２４００を用いることによって顔に生じる影を柔らかく表現することができる。さらに、顔の正面方向に対して左側４５度の方向にサブ光源２５００と拡散板２６００を配置している。人物２０００に関してメイン光源２３００と対称となる位置にサブ光源２５００を配置することで、顔に生じる陰影のコントラストを調整することができる。さらに、ポートレートモードが選択されていることから、ユーザは人物２０００をより際立たせたいと推測される。このため、さらにバックライト２７００を人物２０００の背後（図７では右側背後）に配置することで、髪の光沢感を向上させるとともに、人物２０００の輪郭を浮き上がらせる効果が得られる。

このようにして、仮想光源条件設定部２０ａは、ポートレートモードに対して、図７に示した仮想光源条件を第１の仮想光源条件として設定する。前述したように、仮想光源条件には、メインおよびサブ光源２３００，２５００の配置、各光源の強度、波長、サイズ等の光源自体に関する条件だけでなく、拡散板２４００，２６００の配置や拡散特性等の補助機材に関する条件も含む。

各リライティング撮影モードに対応する第１の仮想光源条件のデータは、画像処理部２０に設けられたＲＯＭ２０ｃに格納されている。この場合に、ＲＯＭ２０ｃには各リライティング撮影モードに対応する第１の仮想光源条件のデータがテーブルデータとして格納されていてもよい。

次に、仮想光源条件設定部２０ａは、撮影情報または第１の仮想光源条件と形状情報とに応じて、少なくとも１つの第２の仮想光源条件を設定する。図８には、１つの第２の仮想光源条件を示している。この第２の仮想光源条件は、その基本的な部分は第１の仮想光源条件と同じであり、メインおよびサブ光源２３００，２５００、拡散板２４００，２６００およびバックライト２７００の配置が人物２０００に対して左右反転するように変更された条件となっている。すなわち、人物２０００の顔の正面方向に対して左側４５度の方向にメイン光源２３００と拡散板２４００が配置され、右側４５度の方向にサブ光源２５００と拡散板２６００が配置され、人物２０００の左側背後にバックライト２７００が配置されている。

なお、第２の仮想光源条件において、メイン光源２３００、サブ光源２５００、バックライト２７００および拡散板２４００，２６００の特性を第１の仮想光源条件と同じに設定してもよいし変更してもよい。本実施例では、これらの特性を第１の仮想光源条件と同じにしている。

本実施例では、第１および第２の仮想光源条件を設定したが、第２の仮想光源条件は必ずしも設定する必要はなく、少なくとも第１の仮想光源条件を設定すればよい。また、互いに異なる第２の仮想光源条件を複数設定してもよい。第１の仮想光源条件のみが設定される場合はリライティング画像が１つだけ生成されるため、ユーザまたは画像編集者の仮想光源条件の設定作業の負荷を最も軽減することができる。また、１つ以上の第２の仮想光源条件が設定される場合は第１の仮想光源条件に対応するリライティング画像を含めてリライティング画像が複数生成されることになるため、ユーザによる出力用のリライティング画像の選択の幅を広げることができる。

次にステップＳ１０７では、リライティング画像生成部２０ｂは、形状情報、反射特性情報、仮想光源条件（第１または第２の仮想光源条件）および基準画像を用いて、リライティング画像を生成する。仮想光源条件から被写体上の各点に入射する光の強度と方向が定まるので、反射特性情報から、面法線情報および上述した視点位置の関数としてリライティング画像の輝度値を一意に定めることができる。また、前述したように、基準画像を用いることで、テクスチャマッピング手法のように、リライティング画像の画質劣化を低減させることもできる。

鏡面被写体や透明被写体等のリライティング画像の生成が困難な被写体が存在する場合は、その被写体領域を基準画像で置き換えるといった手段により、より画質の高いリライティング画像を生成することができる。また、リライティング画像の生成が困難な被写体が存在しない場合は、基準画像を必ずしも用いなくてもよい。

図９（Ａ）〜（Ｃ）に生成されたリライティング画像および基準画像を示す。図９（Ａ）にはステップＳ１０６で設定された第１の仮想光源条件に対応するリライティング画像を示す。図９（Ｂ）にはステップＳ１０４で取得された基準画像を示す。図９（Ｃ）にはステップＳ１０６で設定された第２の仮想光源条件に対応するリライティング画像を示す。

図９（Ｂ）に示す基準画像は、主被写体に対してその正面からのみフラッシュを照射して撮影を行うことで得られた画像であり、主被写体の顔にほとんど陰影が生じていない画像である。

図９（Ａ），（Ｃ）に示す２つのリライティング画像はそれぞれ、右側および左側からのメイン光源２３００の光によって顔の左側および右側に影が生じ、主被写体の立体感が強調された画像である。さらに、バックライトの効果によって主被写体の髪に光沢が生じ、髪の質感が強調された画像となっている。ただし、これら２つのリライティング画像では光源の配置が左右反転しているため、互いに異なる表現の画像となっている。図９（Ａ）〜（Ｃ）に示した２つのリライティング画像と基準画像はいずれも表示部２００に表示され、ユーザは各画像を表示部２００上で確認することができる。

次にステップＳ１０８では、最終画像選択部３０ｂは、表示部２００に表示されたリライティング画像のうちユーザにより選択された出力用画像としてのリライティング画像を選択する。この選択は、入力ボタン７０のユーザ操作に応じて行ってもよいし、表示部２００に設けられたタッチパネルのユーザ操作（リライティング画像に対するタッチ操作）に応じて選択してもよい。また、生成されたリライティング画像の明部と暗部のバランス等を評価することで、最終画像選択部３０ｂが自動で出力用画像を選択する構成としてもよい。なお、複数のリライティング画像を出力用画像として選択できるようにしてもよいし、リライティング画像とともに又はリライティング画像とは別に基準画像を出力用画像として選択できるようにしてもよい。

こうして１つ又は複数の出力用画像を選択した最終画像選択部３０ｂは、該出力用画像を表示部２００に表示したり画像記録部３００に保存したりする。この際、出力用画像のみを保存することで、それ以外の画像を含めて保存する場合に比べて画像記録部３００に必要な記録容量を低減させることができる。この後、処理は終了する。

以上説明したように、本実施例では、取得した撮影情報（リライティング撮影モードまたは撮影条件）および形状情報に応じて仮想光源条件を自動的に設定してリライティング画像を生成する。このため、ユーザが希望する被写体表現に対応するリライティング画像を容易に生成することができ、仮想光源条件の設定における作業負荷を低減させることができる。

図１０には本発明の実施例２である画像処理装置２の構成を示す。画像処理装置２は、撮像部１００Ａ、表示部２００Ａおよび画像記録部３００Ａとは別の装置として構成され、これらと有線または無線により通信可能に接続される。撮像部１００Ａは、実施例１の撮像部１００と同じ構成を有する。表示部２００Ａと画像記録部３００Ａも実施例１の表示部２００と画像記録部３００と同じ構成を有してもよいし、外部コンピュータのモニタおよびメモリを使用してもよい。

画像処理装置２は、情報取得部１０Ａと画像処理部２０Ａとを備えている。情報取得部１０Ａは、実施例１で説明した撮影情報取得部１０ａと形状情報取得部１０ｂとを有する。情報取得部１０Ａは、実施例１とは異なり、反射特性情報取得部１０ｃと基準画像取得部１０ｄを有していない。本実施例では、反射特性として、ランバート反射を前提とする。ランバート反射の反射率は入射光の強度との積でリライティング画像の輝度に影響するため、一定値としてもよい。この場合、リライティング画像の輝度値は入射光の強度を含む仮想光源条件および形状情報のみの関数として決めることができる。このため、反射モデルのパラメタを取得する必要はない。ただし、仮想光源条件に基づいてリライティング画像の輝度値を算出することは反射特性を暗に仮定しているため、反射特性情報を用いていると言える。

画像処理部２０Ａは、実施例１で説明した仮想光源条件設定部２０ａとリライティング画像生成部２０ｂとを有する。リライティング画像生成部２０ｂで生成され、必要に応じて画像処理部２０で他の処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録部３００に保存される。また、出力画像を表示部２００に表示してもよい。

画像処理装置２は、実施例１と異なり、選択部３０を有していない。主被写体の選択は、撮影条件に含まれるフォーカス位置から求められる撮像部１００Ａの光軸上におけるピント位置を主被写体の位置とみなすことで行う。また、本実施例では出力用画像としてリライティング画像を１つのみ出力するものとする。このため、出力用画像を選択する必要はない。

図１１のフローチャートには、本実施例におけるリライティング画像を生成する処理の流れを示している。このリライティング画像の画像生成処理は、画像処理用ＣＰＵ等のコンピュータにより構成される画像処理装置２がコンピュータプログラムとしての画像処理プログラムに従って実行する。なお、この画像生成処理を必ずしもソフトウェアにより行う必要はなく、ハードウェア回路により行ってもよい。

ステップＳ２０１では、撮影情報取得部１０ａは、撮像部１００Ａを通じて形状情報を取得した際、すなわち撮影時の撮影情報（実施例１で説明したリライティング撮影モードまたは撮影条件）を取得する。

次にステップＳ２０２では、形状情報取得部１０ｂは、被写体の形状情報（実施例１で説明した奥行き情報および面法線情報）を取得する。ただし、本実施例では、面法線情報を、奥行き情報の微分（差分）をとることで算出する。

なお、形状情報取得部１０ｂは、撮像部１００Ａで算出された奥行き情報および面法線情報を撮像部１００Ａから取得してもよいし、撮像部１００Ａから奥行き情報と面法線情報の算出に必要な情報を受け取ってそれらを算出するようにしてもよい。

次にステップＳ２０３では、仮想光源条件設定部２０ａは、仮想光源条件を決定する。図１２を用いて、仮想光源条件の設定手順について説明する。図１２には、リライティング画像空間上での仮想光源条件の例を示す。花３１００は物撮りの対象となる主被写体であり、形状情報を用いてリライティング画像空間上に再構築されたものである。なお、図１２は概念的な配置関係を説明するためのものであり、実際の処理としてリライティング画像空間（仮想的な３次元空間）上に被写体を再構築することを限定するものではない。

まず、リライティング画像を生成するための視点位置（撮像部１００Ａの位置：以下、カメラ位置という）３２００と撮影条件は、ステップＳ２０２での形状情報の取得時である撮影時の視点位置と撮影条件を用いる。これにより、生成されるリライティング画像の画角と構図が撮影時と同様となり、ユーザの撮影意図が反映されたリライティング画像を生成することができる。カメラ位置３２００は、撮影条件に含まれるフォーカス位置から求められる撮像部１００Ａの光軸上におけるピント位置を主被写体である花３１００の位置とみなし、この位置から距離Ｌの位置に設定する。このように、本実施例では、形状情報の取得時（撮影時）における撮像部１００Ａの光軸上でのピント位置をリライティング画像空間の基準位置として用いる。

次に、仮想光源条件設定部２０ａは、撮影情報取得部１０ａにて取得された撮影情報に応じて仮想光源条件を決定する。ここでは、撮影情報として、クローズアップモードの選択（クローズアップモードが直接選択された場合および撮影条件からクローズアップモードが自動設定された場合のいずれも含む）を示す情報を取得したものとする。

クローズアップ撮影（物撮り）における代表的（典型的）な照明手法として、被写体の後上方４５度の方向からライティングを行うことで、被写体の立体感を強調する半逆光ライティング等が知られている。そこで、仮想光源条件設定部２０ａは、クローズアップモードでは、被写体から撮像部１００Ａの光軸に対して４５度をなして上方に向かう方向における無限遠の位置に光源を配置するという代表的な照明手法に対応する光源条件を第１の仮想光源条件として設定する。仮想光源条件設定部２０ａは、他のリライティング撮影モードにおいても、そのリライティング撮影モードに対する代表的な照明手法に対応する光源条件を第１の仮想光源条件として設定する。

本実施例では、さらに主被写体の形状情報に応じて第１の仮想光源条件を設定する。形状情報から主被写体の凹凸の向きや位置を判定することができる。このため、より精度良く詳細に第１の仮想光源条件を設定することが可能となる。図１２に示す例では、花３１００の後上方４５度の方向にメイン光源３３００と拡散板３４００を配置している。拡散板３４００を用いることによって花びらや葉に生じる影を柔らかく表現することができる。さらに、花３１００の横方向にレフ板３５００を配置している。レフ板３５００を配置することで、花びらや葉に生じる陰影のコントラストを調整することができる。

このようにして、仮想光源条件設定部２０ａは、クローズアップモードに対して、図１２に示した仮想光源条件を第１の仮想光源条件として設定する。仮想光源条件には、メイン光源３３００の位置、強度、波長、サイズ等の光源自体に関する条件だけでなく、拡散板３４００の位置や拡散特性およびレフ板３５００の位置や反射特性等の補助機材に関する条件も含む。

各リライティング撮影モードに対応する第１の仮想光源条件のデータは、画像処理部２０Ａに設けられたＲＯＭ２０ｃに格納されている。この場合に、ＲＯＭ２０ｃには各リライティング撮影モードに対応する第１の仮想光源条件のデータがテーブルデータとして格納されていてもよい。

次にステップＳ２０４では、リライティング画像生成部２０ｂは、形状情報と第１の仮想光源条件とに応じてリライティング画像を生成する。仮想光源条件から被写体上の各点に入射する光の強度と方向が定まる。また、本実施例では、前述したように反射特性としてランバート反射を前提とする。この場合、リライティング画像の輝度値は、入射光の強度を含む第１の仮想光源条件と形状情報のみの関数として決まる。

こうして生成された出力用画像としてのリライティング画像はユーザによる確認のために表示部２００に表示されたり画像記録部３００に保存されたりする。この後、処理は終了する。

本実施例でも、実施例１と同様に、取得した撮影情報（リライティング撮影モードまたは撮影条件）および形状情報に応じて仮想光源条件を自動的に設定してリライティング画像を生成する。このため、ユーザが希望する被写体表現に対応するリライティング画像を容易に生成することができ、仮想光源条件の設定における作業負荷を低減させることができる。

また、本実施例では、前述したように、実施例１で説明した反射特性取得部１０ｃおよび基準画像取得部１０ｄを有さず、反射特性を簡易なモデルで表現する。これにより、画像処理装置２の構成を簡素化することができる。さらに、本実施例では、主被写体の位置をピント位置で代用するとともに仮想光源条件を１つしか設定しないため、選択部３０を有さない。これにより、画像処理装置２の構成をより簡素化することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１ 撮像装置（カメラ）
２，４００ 画像処理装置
１０ａ 撮影情報取得部
１０ｂ 形状情報取得部
２０ａ 仮想光源条件設定部
２０ｂ リライティング画像生成部

Claims (13)

1. 仮想光源により照明された被写体の画像である仮想光源画像を生成する画像処理装置であって、
   前記被写体の形状に関する形状情報を取得する形状取得手段と、
   前記被写体の撮影における撮影画像の種類に関する撮影モードもしくは複数種類の前記仮想光源画像のうち選択された種類を示す画像種類情報に応じて、または前記撮影において選択された撮影条件に応じて、前記仮想光源に関する条件としての第１の仮想光源条件を設定する光源条件設定手段と、
   前記第１の仮想光源条件と前記形状情報とを用いて前記仮想光源画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
2. 前記形状情報は、少なくとも前記被写体の奥行きおよび面法線のうち少なくとも一方の情報を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記光源条件設定手段は、前記形状情報に応じて前記第１の仮想光源条件を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記被写体の反射特性に関する反射特性情報を取得する反射特性取得手段を有し、
   前記画像生成手段は、前記第１の仮想光源条件と前記形状情報と前記反射特性情報とを用いて前記仮想光源画像を生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記仮想光源に関する条件は、少なくとも前記仮想光源の位置および方向のうち少なくとも一方を含むことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記光源条件設定手段は、前記仮想光源画像の前記複数種類のうち前記撮影条件に最も近い種類に対応する前記第１の仮想光源条件を設定することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記被写体の撮影により生成された基準画像を取得する基準画像取得手段を有し、
   前記画像生成手段は、前記第１の仮想光源条件と前記形状情報と前記基準画像とを用いて前記仮想光源画像を生成することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記光源条件設定手段は、前記基準画像を取得するための前記撮影において選択された前記撮影条件に応じて前記第１の仮想光源条件を設定することを特徴とする請求項７に記載の画像処理装置。
9. 複数の被写体から特定被写体を選択する被写体選択手段を有し、
   前記光源条件設定手段は、前記特定被写体の前記形状情報に応じて前記第１の仮想光源条件を設定することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記光源条件設定手段は、前記第１の仮想光源条件の少なくとも一部を変更した少なくとも１つの第２の仮想光源条件を設定し、
    前記画像生成手段は、前記第１および第２の仮想光源条件を用いて複数の前記仮想光源画像を生成することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記複数の仮想光源画像から、出力用画像を選択する画像選択手段を有することを特徴とする請求項１０に記載の画像処理装置。
12. 被写体の光学像を光電変換する撮像手段と、
    請求項１から１１のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
13. コンピュータに、仮想光源により照明された被写体の画像である仮想光源画像を生成させるコンピュータプログラムとしての画像処理プログラムであって、
    前記コンピュータに、
    前記被写体の形状に関する形状情報を取得させ、
    前記被写体の撮影における撮影画像の種類に関する撮影モードもしくは複数の種類の前記仮想光源画像のうち選択された種類を示す画像種類情報に応じて、または前記撮影において選択された撮影条件に応じて、前記仮想光源に関する条件としての第１の仮想光源条件を設定させ、
    前記第１の仮想光源条件と前記形状情報とを用いて前記仮想光源画像を生成させることを特徴とする画像処理プログラム。