JP2019179463A - 画像処理装置、その制御方法、プログラム、記録媒体 - Google Patents

Abstract

【課題】 画像処理の種類に応じた適切な被写体情報を取得可能とする。【解決手段】 画像を入力する入力手段と、入力画像に対して仮想的な光を照射した効果を付与するリライティング処理を行うリライティング手段と、前記リライティング処理に関するパラメータを設定する設定手段と、前記設定手段により設定された前記リライティング処理に関するパラメータに基づき、前記入力画像における被写体の空間的な位置を示す被写体情報を生成する生成手段とを有し、前記リライティング手段は、前記生成手段により生成された被写体情報及び前記リライティング処理に関するパラメータに基づき、前記入力画像に対して前記リライティング処理を行う画像処理装置。【選択図】 図３

Description

本発明は、画像処理装置に関し、特に入力された画像の明るさを補正する画像処理装置に関するものである。

従来から写真撮影においては、補助照明やレフ板による光の調整によって、被写体に生じる光と影の領域の調整が行われている。これにより、被写体の印象をさまざまに変化させた写真撮影が可能となる。また、これらの光の調整を撮影後に行う技術として、被写体の形状情報を利用して仮想的な光源による光と影を被写体像に加える方法がある。

これにより、絵画的な印象深い画像にすることや、ハイライトと陰影を付けることで立体感を強調した画像にすることが可能となる。被写体の形状情報を取得する方法としては、測距センサを用いる方法や、複数枚の画像の視差情報から距離マップデータを生成する方法がある。この距離マップは種々の要因によりエラーを含んでいる場合があり、そのため距離マップの各画素の距離情報を補正する技術が提案されている。

例えば、特許文献１では、補正対象画素の演算範囲内の複数の画素の画素値及び距離値を用いて、クラスタリングを行い、そのクラスタリング結果に基づいて、補正対象画素の距離値を算出することで、各画素の距離情報を補正している。

特開２０１２−７８９４２号公報

しかしながら、どのような距離マップなどの被写体情報を用いるのが最適であるかは、どのような画像処理を行うか、例えばどのような仮想的な光源を用いて被写体に効果を付加するかによって異なる。

本発明に係る画像処理装置は、画像を入力する入力手段と、入力画像に対して仮想的な光を照射した効果を付与するリライティング処理を行うリライティング手段と、前記リライティング処理に関するパラメータを設定する設定手段と、前記設定手段により設定された前記リライティング処理に関するパラメータに基づき、前記入力画像における被写体の空間的な位置を示す被写体情報を生成する生成手段とを有し、前記リライティング手段は、前記生成手段により生成された被写体情報及び前記リライティング処理に関するパラメータに基づき、前記入力画像に対して前記リライティング処理を行うことを特徴とする。

本発明によれば、状況に適した被写体情報の取得を行うことが可能である。

本発明におけるデジタルカメラの構成を示すブロック図である。 本発明における画像処理部の構成を示すブロック図である。 本発明におけるリライティング処理部の構成を示すブロック図である。 本発明における距離マップの例を示す図である。 本発明におけるリライティングによる反射成分を示す図である。 本発明におけるリライティングモードを示す図である。 本発明の第１の実施例における距離マップの生成フローを示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施例では、画像処理装置としてデジタルカメラに適用した例について説明する。

＜実施例１＞
以下、図面を参照して、本発明の第１の実施例における、デジタルカメラについて説明する。

図１は、本発明の実施形態によるデジタルカメラの構成例を示すブロック図である。

図１において、１００はデジタルカメラ全体、１０１はズームレンズ、フォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１０４は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調、色補正処理などの各種画像処理を行う画像処理部である。１０６は画像メモリ、１０７は画像メモリ１０６を制御するメモリ制御部、１０８は入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器、１０９はＬＣＤ等の表示器、１１０は画像データを圧縮符号化・復号化するコーデック部である。１１１は記録媒体２００とのインタフェースＩ／Ｆ、１１２はメモリカードやハードディスク等の記録媒体、１１３は、撮影画像中から顔が映っている領域を検出する顔検出処理部である。１１４は、撮影画像にリライティング処理を行うリライティング処理部、５０はデジタルカメラ１００のシステム全体を制御するシステム制御部である。また、１２１は、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性メモリであり、１２２はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読みだしたプログラム等を展開するシステムメモリである。１２３はストロボなどの物理的な光源装置、１２４は被写体とデジタルカメラ１００との距離を測定し、撮影画素の距離情報を２次元の距離マップ画像として出力する測距センサである。本実施例の測距センサ１２４はいわゆる視差画像を用いた測距を行う。測距センサ１２４は独立したセンサであってもよいし、撮像部１０３（例えばＣＭＯＳセンサの撮像面）が測距センサ１２４を兼ねてもよい。例えば撮像部１０３の画素単位で視差画像を取得する構成を採用すれば、画素ごとに被写体距離が取得できるため、画素単位の距離マップ画像を生成することができる。

なお、デジタルカメラの構成は図１に示した構成には限定されない。例えば１つのハードウェアが、実行するプログラムに応じて複数の処理部や制御部などとして機能してもよい。逆に、複数のハードウェアが協働して１つの処理部や制御部などとして機能してもよい。また、各種の処理はプログラムに従い実行されてもよいし、各種処理を行うための回路を設けてもよい。

以上が、デジタルカメラ１００の構成である。次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部１０５では、顔検出部１１３の顔検出結果や、撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧ，ＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データを関連付けて、記録インタフェース１１１を介して記録媒体に格納する。

以上、被写体撮影時の基本動作について説明した。

上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。

次に、画像処理部１０５の詳細について図２を用いて説明する。図２は画像処理部１０５の構成を示すブロック図である。なお、図２、図３に示す構成を実現するための具体的な構成は種々の形態が考えられる。例えば図２、図３に示す１つの部分ごとに１つのハードウェアを用意してもよいし、１つのハードウェアが複数の部分として機能してもよい。また、画像処理部１０５以外のハードウェアを含む複数のハードウェアが共同して図２、図３に示すいずれかの部分として機能してもよい。

図２において、２００は同時化処理部、２０１はＷＢ増幅部、２０２は輝度・色信号生成部、２０３は輪郭強調処理部、２０４は輝度ガンマ処理部、２０５は色変換処理部、２０６は色γ処理部、２０７は色差信号生成部、である。

次に、画像処理部１０５における処理について説明する。図１のＡ／Ｄ変換部１０４から入力された画像信号が画像処理部１０５に入力される。

画像処理部１０５に入力された画像信号は同時化処理部２００に入力される。同時化処理部２００は入力されたベイヤーＲＧＢの画像データに対して、同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、ＲＧＢの色信号にゲインをかけ、ホワイトバランスを調整する。ＷＢ増幅部２０１が出力したＲＧＢ信号は輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２ＲＧＢ信号から輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０３、色信号ＲＧＢを色変換処理部２０５へ出力する。

輪郭強調処理部２０３では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４では輝度信号Ｙに対してガンマ補正を行い、輝度信号Ｙを画像メモリ１０６に出力する。

色変換処理部２０５は、ＲＧＢ信号に対するマトリクス演算などにより、所望のカラーバランスへ変換する。色ガンマ処理部２０６では、ＲＧＢの色信号にガンマ補正を行う。色差信号生成部２０７では、ＲＧＢ信号から色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成する。

画像メモリ１０６に出力された画像信号Ｙ，Ｒ−Ｙ，Ｂ−Ｙ信号は、コーデック部１１０によって圧縮符号化し、記録媒体２００に記録する。

また、色変換処理部２０５の出力ＲＧＢ信号は陰影情報取得部２０８へも入力する。

次にリライティング処理部１１４の構成および動作について図３を用いて説明する。本実施例でいうリライティング処理とは、仮想的な光源を想定し、撮影により得られた画像に仮想光源により照らされた効果を付与する処理である。本実施例におけるリライティング処理は、例えば撮影前にリライティング処理を行うかをユーザ操作などに基づき設定しておくことで、撮影時に実行される。もちろん、撮影のたびにリライティング処理を行うかをユーザに確認する構成にしてもよいし、撮影・記録済みの画像に対してユーザが任意のタイミングでリライティング処理を行うよう指示してもよい。

ユーザ操作によりリライティング処理を行うよう選択された場合は、画像処理部１０５から出力したデータをリライティング処理部１１４に入力し、仮想光源によるリライティング処理を行う。なお、リライティング処理の中でも、複数のモードを選択できるようにしてもよい。本実施例では、「全体ライティングモード」と「小顔ライティングモード」と「キャッチライトモード」を選択可能とする。これらのモードについては後述する。

図３はリライティング処理部１１４の構成を示すブロック図である。

図３において、３０１は入力された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）をＲＧＢ信号に変換するＲＧＢ信号変換部、３０２はデガンマ処理を行うデガンマ処理部である。３０３は入力画像に対してゲインをかけるゲイン処理部であり、３０４は仮想光源によるリライティング信号を付加する仮想光源付加処理部である。また、３０５はＲＧＢ信号にガンマ特性をかけるガンマ処理部、３０６は、ＲＧＢ信号を輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）に変換する輝度・色差信号変換部である。

また、３０７は前述した測距センサ１２４から出力される被写体距離情報から距離マップを生成するセンサ距離マップ生成部であり、３０８は被写体の顔座標などの特徴点から距離マップを生成する特徴距離マップ生成部である。このように本実施例のデジタルカメラ１００は被写体情報を示す２種類のマップを生成することが可能であり、いずれのマップを使用するかは距離マップを切り替えるスイッチ３０９で切り替え可能である。なお、スイッチは物理的・電気的なスイッチであってもよいし、プログラム等でフラグ等が内部的に切り替わる論理的なスイッチであってもよい。３１０は距離マップから被写体の（被写体面に対する）法線を算出する法線算出部、３１１は、仮想光源が被写体に反射した成分を算出する仮想光源反射成分算出部である。

以下、上記の構成のリライティング処理部１１４の動作について説明する。

リライティング処理部１１４は、画像メモリ１０６に記録された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）を読み出し、入力とする。

ＲＧＢ信号変換部３０１は、入力された輝度・色差信号（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）をＲＧＢ信号に変換し、デガンマ処理部３０２へ出力する。

デガンマ処理部３０２は、画像処理部１０５のガンマ処理部で掛けられたガンマ特性と逆の特性の演算を行いリニアデータに変換する。デガンマ処理部３０２は、リニア変換後のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）を、仮想光源反射成分算出部３１１およびゲイン処理部３０３に出力する。

次に、センサ距離マップ生成部３０７のマップ生成について説明する。センサ距離マップ生成部３０７は測距センサ（図１の１２４）から出力された被写体距離情報に対してノイズの除去を行い、センサ距離マップを生成する。センサ距離マップの例を図４に示す。図４は距離マップの例を示した図である。図４において図４（Ａ）は撮影した撮影画像を示している。図４（Ｂ）はセンサ距離マップ生成部３０７で生成したセンサ距離マップの一例を示す。距離マップにおいて、輝度が高い（図４（Ｂ）では白色に近い）程、対応する被写体領域がカメラ側に近い状態を示している。距離マップは、被写体の画像内における空間的な位置（撮像面をｘｙ座標とした場合の座標位置や、撮像面から被写体までの距離）と、被写体の形状を示している。

また、センサ距離マップ生成部３０７は、センサ距離マップと併せて、センサ距離マップの信頼度を算出する。この信頼度はセンサ距離マップの確からしさを示す値である。信頼土は、例えば生成された距離マップのノイズの量やマップに含まれる穴の量、サイズによって総合的に算出可能であり、公知の方法を利用するものとする。穴とは、視差量が取得できなかった領域であり、平坦な被写体などを撮影した場合に生じやすい。また、ノイズは被写体が類似した画像パターンなどを含む場合に生じやすい。

次に、特徴点距離マップ生成部３０８のマップ生成について説明する。特徴点距離マップ生成部３０８は、顔検出部１１３で検出した顔の位置及び目、口の位置に基づき、特徴距離マップを生成する。具体的には、顔検出を行い、顔検出した被写体の目、口の位置関係から被写体のサイズを推定する。そして予め保持している人体のシルエット画像を被写体のサイズに合わせて拡大縮小し、位置を合わせることで特徴距離マップを生成する。特徴距離マップの例を図４（Ｃ）に示す。被写体の顔位置４０１に合わせて、サイズと位置を合わせたシルエットが４０２である。被写体の本来の形状とは細部は異なるが大まかな形状はあっており、またノイズや穴がないという特徴がある。なお、本実施例ではシルエット部分の距離は最前面、それ以外の部分の距離は最背面としている。

ここまで説明したように、センサ距離マップは距離の精度は高いものの、穴やノイズの影響を受けやすい。対して特徴点距離マップは、距離の精度は高くないものの、穴やノイズの影響は少ない。このように、２種類のマップはそれぞれ異なる特徴を有している。

スイッチ３０９はセンサ距離マップと、特徴距離マップのどちらを利用するかを切り替える。切り替えの判断フローに関しては後述する。

法線算出部３１０は距離マップから法線マップを算出する。距離マップから法線マップを生成する方法に関しては、公知の技術を用いるものとするが、一例について図５を用いて説明する。図５はカメラ撮影座標と、被写体の関係を示す図である。例えば、図５に示すようにある被写体５０１に対して、撮影画像の水平方向の差分ΔＨに対する距離（奥行き）Ｄの差分ΔＤから勾配情報を算出し、勾配情報から法線Ｎを算出することが可能である。撮影した各画素に対して上記の処理を行うことで、撮影画像の各画素に対応する法線情報Ｎを算出可能である。法線算出部３１０は、撮影画像の各画素に対応する法線情報を法線マップとして仮想光源反射成分算出部３１１に出力する。

仮想光源反射成分算出部３１１では、光源と被写体の距離Ｋ、法線情報Ｎ、仮想光源パラメータ（後述するフローで決定したもの）に基づき、設置した仮想光源が被写体に反射する成分を算出する。

具体的には、光源と被写体との距離Ｋの二乗に反比例し、被写体法線ベクトルＮと光源方向ベクトルＬの内積に比例するように、撮影画像に対応する座標位置の反射成分を算出する。

これについて、図５を用いて説明する。図５において、５０１が被写体、５０２は設定した仮想光源の位置を示している。カメラ１００で撮影された撮影画像の水平画素位置Ｈ１（垂直画素位置は説明の簡略化のため省略）における反射成分は、カメラ座標Ｈ１における法線Ｎ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源と被写体位置の距離Ｋ１に反比例する値となる。

この関係を数式で表現すると仮想光源による被写体反射成分（Ｒａ、Ｇａ、Ｂａ）は下記の通りとなる。
Ｒａ ＝ α × （−Ｌ・Ｎ）／Ｋ＾２ × Ｒｗ × Ｒｔ
Ｇａ ＝ α × （−Ｌ・Ｎ）／Ｋ＾２ × １ × Ｇｔ
Ｂａ ＝ α × （−Ｌ・Ｎ）／Ｋ＾２ × Ｂｗ × Ｂｔ

ここで、αは仮想光源の強さ、Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体の３次元法線ベクトル、Ｒは仮想光源と被写体の距離である。Ｒｔ、Ｇｔ、Ｂｔはデガンマ処理部３０２から出力された撮影ＲＧＢデータである。また、Ｒｗ、Ｂｗは仮想光源の色を制御するパラメータである。上記のように算出した仮想光源による反射成分（Ｒａ、Ｇａ、Ｂａ）は仮想光源付加処理部３０４へ出力される。

一方、ゲイン処理部３０３では、入力したリニア信号（Ｒｔ、Ｇｔ、Ｂｔ）に対して、次式のように、１／Ｓのゲインをかける。
Ｒｇ ＝ Ｒｔ ／ Ｓ
Ｇｇ ＝ Ｇｔ ／ Ｓ
Ｂｇ ＝ Ｂｔ ／ Ｓ

ここで、ＳはＳ＞１であり、１／Ｓは入力信号の明るさを落とすゲインである。

仮想光源付加処理部３０４では、被写体領域に対して、仮想光源成分（Ｒａ、Ｇａ、Ｂａ）を付加する下記の処理を行う。
Ｒｏｕｔ ＝ Ｒｇ ＋ Ｒａ
Ｇｏｕｔ ＝ Ｇｇ ＋ Ｇａ
Ｂｏｕｔ ＝ Ｂｇ ＋ Ｂａ

仮想光源付加処理部３０４から出力された画像信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）はガンマ処理部３０５に入力される。ガンマ処理部３０５では、ＲＧＢの入力信号にガンマ補正を行う。色差信号生成部３０６では、ＲＧＢ信号から輝度Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙ信号を生成する。

以上が、リライティング処理部１１４の動作である。

システム制御部５０は、リライティング補正部１１４が出力した輝度・色差信号を、メモリ制御部１０７の制御によって、画像メモリ１０６に蓄積したのち、コーデック部１１０で圧縮符号化を行う。また、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。

次に、システム制御部５０が、距離マップの生成を制御する際の処理フローについて説明する。

システム制御部５０はリライティング処理に先だって、ユーザによる操作部１２０への操作を受け付け、リライティングモードを設定する。前述したように、本実施例のデジタルカメラ１００は全体ライティングモード、小顔ライティングモード、キャッチライトモードを有する。ユーザは、操作部１２０によるメニュー操作などにより上記３つのリライティングモードの中から一つを選択する。これらのモードは、それぞれリライティング処理におけるパラメータが異なる。つまり選択したリラティングモードに応じて、リライティングによって被写体に生じるハイライトや陰影状態が決まることになる。つまり、リライティングモードの選択も、リライティングのパラメータの少なくとも一部を設定していると言える。

図６に、各リライティングのモードによって生じるハイライトと陰影状態の例を示す。

図６（Ａ）は全体リライティングモードの例である。全体リライティングモードでは被写体全体に広く仮想光を照射した効果を付与する。そのため、特定の被写体だけでなく背景も含めてリライティングを行う。

図６（Ｂ）は小顔照明モードでリライティングした例である。小顔照明モードは被写体の上側から光をあて、顔の輪郭にやや強い陰影を付け、小顔に見せる効果を出すモードである。

図６（Ｃ）はキャッチライトモードでリライティングした例である。キャッチライトモードは被写体の顔（特に目）を中心に仮想光源を当て、黒目にキャッチライトを入れる。

これらのリライティングモードは、大きく分けると、被写体全体に対して仮想光を照射する効果を付与する全体ライティングモードと、一部の被写体に照射する効果を付与する部分ライティングモード（小顔ライティングモードとキャッチライトモード）に分けられる。

リライティングモードが設定されると、システム制御部５０はモードに応じた仮想照明を実現するためにリライティングのパラメータを決定する。全体ライティングモードの場合は拡散反射を中心とする特性の光を被写体全体に照射する。

小顔ライティングモードの場合は、図３の３０３のゲイン処理部で撮影画像のゲインをやや弱めつつ、顔の斜め上方から顔を中心にスポット的に光を照射する特性とする。これにより、顔の輪郭はやや暗めで顔の中心が明るくなり小顔の印象を与える特性となる。

キャッチライトモードの場合は、顔の斜め下から目を中心にスポット的に光を当てる。また、鏡面反射成分のゲインを強くするように制御する。これにより、目領域にキャッチライトを生成する。

次に、システム制御部５０が距離マップの生成を制御するフローについて図７のフローチャートを用いて説明する。

図７において、ステップＳ７０１では、前述のように設定されたリライティングモードの情報を読み込む。

ステップＳ７０２では、読み込んだリライティングモードが、被写体全体を照射するモードであるか、被写体の一部分を照射する部分ライティングモードであるかを判定する。部分ライティングモードの場合は、ステップＳ７０５に進む。全体ライティングモードの場合は、ステップＳ７０３に進む。

ステップＳ７０３では、センサ距離マップ生成部（図３の３０７）を動作させるように制御する。

ステップＳ７０４では、センサ距離マップ生成部３０７が出力した距離マップの信頼度を取得し、その信頼度が所定の閾値よりも高いか低いかを判定する。センサ距離マップ生成部３０７は前述の通り距離マップと併せて信頼度を出力する。例えばノイズが多い等の要因で距離マップの信頼度が低くなった場合は、ステップＳ７０５へ進み、信頼度が高い場合はステップＳ７０７へ進む。

ステップＳ７０５では、特徴距離マップ生成部（図３の３０８）を動作させるように制御する。

ステップＳ７０６では、スイッチ（図３の３０９）を切り替え、特徴距離マップを利用するように設定する。

ステップＳ７０７では、スイッチ（図３の３０９）を切り替え、センサ距離マップを利用するように設定する。

以上、システム制御部５０における距離マップ生成の制御フローについて説明した。

以上、説明した通り、本実施例のデジタルカメラ１００は、生成パラメータの異なる２種類の距離マップを生成可能であり、リライティングのモードに基づき生成方法を切り替える構成とした。これにより、エラーを低減させるとともに演算コストが少なく距離情報を生成し、仮想光源による所望のライティング効果が得られるようにすることが可能となる。

特に本実施例では、全体ライティングモードの場合は、センサ距離マップを優先的に使用することとした。これは全体ライティングモードの場合は主要な被写体のみならず、背景等にも仮想光の効果を付与するため、画像全体の距離情報（画像内の被写体の奥行きの前後関係）を利用する方がより適切なリライティングが可能となることによる。これに対し部分ライティングモードの場合は、特徴量距離マップを優先的に使用することとした。部分ライティングモードの場合は例えば主要な被写体のみに仮想光の効果を付与すればよいからである。

＜他の実施例＞
上記実施例では、部分的に仮想光源を照射するモードと全体に仮想光源を照射するモードで生成する距離マップを切り替える構成としたが、仮想光源のパラメータに基づき距離マップを切り替える構成であれば、どのような実施形態であってもよい。例えば仮想光源のパラメータとして、仮想光源の被写体からの距離、方向、照射角、強度があり、それらのパラメータから照射範囲を特定する。照射範囲が被写体に対して局所的であれば、特徴距離マップに切り替え、全体を照射している場合はセンサ距離マップに切り替える制御を行うことも可能である。

また、上記実施例では、センサ距離マップと特徴距離マップの２種類について説明したが、距離マップの生成方法をこれらに限定するものではない。リライティングのパラメータに基づき採用する距離マップを切り替えるのであればどのような構成をとってもかまわない。例えばセンサ距離マップの代わりに、多視点の画像の視差を用いて、視差距離マップを生成し、視差距離マップと特徴距離マップを切り替える構成としてもよい。

また、上記実施例では、リライティングモードが「全体ライティングモード」と「小顔ライティングモード」「キャッチライトモード」の３つがある場合について説明したが、リライティングモードをこれらに限定するものではない。リライティングモードに応じて、生成する距離マップを切り替えるのであれば、どのようなリライティングモードであってもかまわない。

また、上記実施例ではリライティングモードとして仮想光源の照射特性を決めるモードについて説明したが、リライティングモードはリライティングを行うタイミングを決定するモードであってもよい。例えば、撮影直後に処理内容の確定したリライティング処理を行うモードなのか、撮影後にユーザの選択でリライティングの処理内容を確定させ、リライティング処理を実行するモードなのかで、距離マップを切り替える構成とすることも可能である。上記の例の場合、リライティングの処理内容が確定している場合は、前述の実施例に従って、仮想光源のパラメータに基づき距離マップを切り替え、リライティング処理を行う。一方で、リライティングの処理内容が確定しておらず、撮影後にユーザ操作によってリライティングパラメータが確定する場合は、情報量の多いセンサ距離マップを生成し、画像と合わせて記録しておく。特徴距離マップは撮影後でも生成可能なため、後でリライティング処理する際に距離マップの情報が不足することがなくなる。

また、上記実施例では距離マップを作成する方法を切り替える構成としたが、切り替えるだけではなく複数の方法で生成された距離マップを合成する構成をとることも可能である。その場合、リライティングのモード・パラメータに応じて各距離マップの優先度に応じた合成比率を決定するようにしてもよい。

また、上記実施例のリライティング処理は、画像を明るくする効果を付与するものとしたが、画像を暗くする効果を付与してもよい。例えば、被写体領域のうち明るすぎる場所（例えば顔のてかり）の輝度を低下させるよう、リライティング処理にてマイナスのゲインを適用するようにしてもよい。

また、本発明は必ずしもデジタルカメラですべてを行う必要はない。デジタルカメラで撮影された画像を、例えばパーソナルコンピュータ、スマートフォン、タブレットなど、画像処理機能を備えた外部装置に送信し、外部装置でリライティング処理を行うようにしてもよい。この際の距離マップの生成は、デジタルカメラと外部装置で適宜処理を分担できるものとする。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 画像を入力する入力手段と、
   入力画像に対して仮想的な光を照射した効果を付与するリライティング処理を行うリライティング手段と、
   前記リライティング処理に関するパラメータを設定する設定手段と、
   前記設定手段により設定された前記リライティング処理に関するパラメータに基づき、前記入力画像における被写体の空間的な位置を示す被写体情報を生成する生成手段とを有し、
   前記リライティング手段は、前記生成手段により生成された被写体情報及び前記リライティング処理に関するパラメータに基づき、前記入力画像に対して前記リライティング処理を行うことを特徴とする画像処理装置。
2. 前記被写体情報は、前記入力画像が撮像された際の前記被写体の距離の情報を含む距離マップであることを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体情報は、前記被写体の形状を含む情報であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、それぞれ前記被写体情報の生成方法が異なる複数の生成手段を含み、前記リライティング処理に関するパラメータに基づき、前記複数の生成手段のうちどの生成手段を用いるかを決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、第１の生成手段と第２の生成手段とを含み、
   前記第１の生成手段は測距センサの出力に基づき前記被写体情報を生成し、
   前記第２の生成手段は前記被写体の特徴量に基づき前記被写体情報を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記リライティング処理に関するパラメータが、前記入力画像の全体を照射する効果を付与するためのものである場合、前記被写体情報の生成において前記第１の生成手段を優先し、
   前記リライティング処理に関するパラメータが、前記入力画像の一部を照射する効果を付与するためのものである場合、前記被写体情報の生成において前記第２の生成手段を優先することを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、複数の生成手段により生成された被写体情報を合成して前記リライティング処理に用いる被写体情報を生成することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記リライティング処理に関するパラメータに基づき、前記複数の生成手段により生成された被写体情報の合成比率を決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記リライティング処理に関するパラメータは、前記仮想的な光を照射することによる効果を示す、前記リライティング処理のモードの情報を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記リライティング処理に関するパラメータは、前記仮想的な光の光源として設定される仮想光源の位置、前記仮想光源の種類、前記仮想的な光の強度、前記仮想的な光の照射の方向、前記仮想的な光の照射範囲の少なくとも１つを含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 被写体を撮像する撮像手段をさらに有し、
    前記リライティング処理に関するパラメータは、前記撮像手段による撮像を行った直後に前記リライティング処理を行うかを示す情報を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 入力画像に対して仮想的な光を照射した効果を付与するリライティング処理を行う画像処理装置の制御方法であって、
    画像を入力する入力工程と、
    前記リライティング処理に関するパラメータを設定する設定工程と、
    前記設定された前記リライティング処理に関するパラメータに基づき、前記入力画像における被写体の空間的な位置を示す被写体情報を生成する生成工程と、
    前記生成された被写体情報及び前記リライティング処理に関するパラメータに基づき、前記入力画像に対して前記リライティング処理を行うリライティング工程と、
    を有する画像処理装置の制御方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させる、コンピュータが実行可能なプログラム。
14. 請求項１３のプログラムを保存した記録媒体。