JP2019003694A - 画像処理装置およびその制御方法、ならびにプログラム - Google Patents

Abstract

【課題】仮想光源を用いてリライティング処理を行う場合に、被写体の陰影の状態を適切に補正することができる画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、撮影画像を取得する取得手段と、撮影画像の所定の領域の陰影の状態を検出する検出手段と、撮影画像に対する仮想的な光源である仮想光源について、検出手段により検出された所定の領域の陰影の状態に基づいて、仮想光源の特性を決定する決定手段と、決定された特性を有する仮想光源による光を照射した陰影の状態になるように、撮影画像を補正する補正手段と、を有する。【選択図】図２

Description

本発明は、画像処理装置およびその制御方法、プログラムならびに記録媒体に関し、特に入力された画像の明るさを補正する技術に関する。

従来、ある環境光のもとで撮影された画像中の被写体に対して、仮想的な光源（仮想光源）からの光を照射して被写体の陰影を変更する、リライティングと呼ばれる技術が知られている。リライティング技術を用いることにより、環境光によって生じた被写体の陰影が好ましい状態となるように撮影した画像を補正することができる。例えば、特許文献１には、撮影画像に対して仮想光源を用いたリライティングを行う技術が開示されている。

特開２０１０−１３５９９６号公報

被写体の陰影は、被写体の三次元形状と照射される光の特性とによって決まるため、リライティング処理によって陰影を補正する際には、リライティングに用いる仮想光源の特性を適切に決定することが必要である。

特許文献１には、ライティング処理パラメータとして、ライティング処理される被写体像の範囲、仮想光源の方向、ライティング処理の強度を定め、リライティングを行うことが開示されている。しかし、当該パラメータのそれぞれを、検出した被写体領域の範囲、環境光と反対の方向、被写体の最大輝度から決定するため、必ずしも被写体の陰影の状態を考慮したものではなく、仮想光源から照射される光の特性を制御することも考慮されていない。このため、被写体の陰影の状態を適切に補正することができない場合がある。

本発明は、上述の従来技術の問題点に鑑みてなされ、仮想光源を用いてリライティング処理を行う場合に、被写体の陰影の状態を適切に補正することができる画像処理装置およびその制御方法、プログラムならびに記録媒体を提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮影画像を取得する取得手段と、撮影画像の所定の領域の陰影の状態を検出する検出手段と、撮影画像に対する仮想的な光源である仮想光源について、検出手段により検出された所定の領域の陰影の状態に基づいて、仮想光源の特性を決定する決定手段と、決定された特性を有する仮想光源による光を照射した陰影の状態になるように、撮影画像を補正する補正手段と、を有することを特徴とする。

本発明によれば、仮想光源を用いてリライティング処理を行う場合に、被写体の陰影の状態を適切に補正することが可能になる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図 本実施形態に係る画像処理部の機能構成例を示すブロック図 実施形態１に係る被写体陰影状態検出部の一連の動作を示すフローチャート 実施形態１に係る被写体の例を示す図 実施形態１に係る仮想光源の例を示す図 実施形態１に係る仮想光源特性制御部の一連の動作を示すフローチャート 実施形態２に係る撮影画像の例を示す図 実施形態２に係る仮想光源特性制御部の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態では、本発明に係る画像処理装置をデジタルカメラに適用した例について説明する。なお、デジタルカメラは光電変換素子を用いた撮影機能を有する電子機器を意味し、携帯電話機、ゲーム機、パーソナルコンピュータ等、カメラを有するまたは使用可能な任意の電子機器が含まれる。また、本発明に撮影機能は必須でなく、本発明に係る画像処理装置は、画像処理が可能な任意の電子機器に対して適用可能である。

（デジタルカメラ１００の構成）
図１は、本実施形態の画像処理装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

レンズ群１０１は、フォーカスレンズを含むズームレンズである。シャッタ１０２は、絞り機能を備え、システム制御部５０の制御に応じて撮像部１０３に含まれる撮像素子を露光する。撮像部１０３は、レンズ群１０１を通して得られる光学像を光電変換により電気信号に変換するＣＣＤ／ＣＭＯＳイメージセンサ等の撮像素子を含む。Ａ／Ｄ変換部１０４は、撮像部１０３から読み出されたアナログ信号をデジタル信号に変換して画像処理部１０５に画像データを出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力された画像データまたはメモリ制御部１０７から出力された画像データに対して、ホワイトバランス調整、γ補正などの各種画像処理を行う。また、画像処理部１０５では、顔検出部１１３の顔検出結果や、撮像した画像データを用いて所定の評価値算出処理（図示しない）を行い、得られた評価値に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。また、画像処理部１０５は、後述する方法により、仮想的な光源（仮想光源）からの光を照射した状態になるように被写体の陰影を変更するリライティング処理も行う。

画像メモリ１０６は、画像処理部１０５が各種画像処理を行う際に一時的に画像データを記憶するほか、Ｉ／Ｆ１１１を介して記録媒体１１２から読み込まれた画像データや、表示部１０９に表示するための画像データを記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、入力デジタル信号をアナログ信号に変換する。例えば画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に出力する。

表示部１０９は、ＬＣＤ等の表示装置を有し、撮影された画像、記録媒体１１２から読み出された画像、ライブビュー画像等を表示するほか、操作を行うためのユーザインターフェースを表示する。コーデック部１１０は、画像データを圧縮符号化・復号化する。コーデック部１１０は、画像メモリ１０６に記録された画像データを例えばＭＰＥＧなどの規格に準拠した形式で符号化または復号化する。

インターフェース（Ｉ／Ｆ）１１１は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的および電気的に接続する。顔検出部１１３は、画像データを解析して画像内の顔が映っている領域を検出する。

システム制御部５０は、ＣＰＵまたはＭＰＵを含み、不揮発性メモリ１２１に記憶されていたプログラムをシステムメモリ１２２の作業領域に展開することにより実行して、デジタルカメラ１００全体の各機能を制御する。

操作部１２０は、上述したインターフェースを表示するタッチパネルやボタン、スイッチを含み、ユーザによる操作を検出するとシステム制御部５０に当該操作を通知する。

不揮発性メモリ１２１は、補助記憶装置として、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性の半導体メモリを含む。システムメモリ１２２は、主記憶装置として、不揮発性メモリ１２１から読みだしたプログラム等を展開するほか、システム制御部５０の動作用の定数、変数を記憶する。

（画像処理部１０５の構成）
画像処理部１０５の構成と画像処理部１０５の各部の処理を、図２を参照して説明する。

画像信号生成部２０１は、Ａ／Ｄ変換部１０４から出力された画像データを入力する。画像信号生成部２０１は、入力されたベイヤー配列で構成されたＲＧＢの画像データに対して同時化処理を行って、１画素あたり複数の色を有する画像信号Ｒ，Ｇ，Ｂを生成する。画像信号生成部２０１は、生成した画像信号をＷＢ増幅部２０２に出力する。

ＷＢ増幅部２０２は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、画像信号Ｒ，Ｇ，Ｂに所定のホワイトバランスゲインを適用し、ホワイトバランスを調整する。ＷＢ増幅部２０２は、調整した画像信号Ｒ，Ｇ，Ｂをガンマ処理部２０３、および、陰影状態検出部２０７に出力する。

陰影状態検出部２０７は、入力された画像信号Ｒ，Ｇ，Ｂに基づいて、撮影時に被写体を照らしている環境光によって被写体領域に生じた、陰影の状態を検出する。ここで、環境光は、太陽光などのデジタルカメラ１００とは別個の照明、および、デジタルカメラ１００に備えられた不図示の撮影補助光などを含む。陰影状態検出部２０７は、検出した結果を被写体陰影情報として、特性決定部２０８へ出力する。なお、陰影状態検出部２０７による被写体の陰影状態の検出処理は、後に詳細に説明する。

特性決定部２０８は、入力した被写体陰影情報に基づいて被写体をリライティングするための仮想光源の特性を決定する。そして、決定した仮想光源の特性を拡散特性情報として輝度補正部２０５へ出力する。なお、仮想光源の拡散特性の決定処理については、後に詳細に説明する。

ガンマ処理部２０３は、記録や表示のためにＲＧＢの画像信号にガンマ補正を行う。ガンマ処理部２０３は、ガンマ補正後の画像信号を、デガンマ処理部２０４へ出力する。ただし、リライティング処理を行わない撮影の場合には、ガンマ補正後の画像信号を、画像メモリ１０６へ出力し、画像信号を記憶させる。

デガンマ処理部２０４は、入力された画像信号Ｒ，Ｇ，Ｂに対してデガンマ処理を行い、ガンマ補正前の画像信号Ｒ，Ｇ，Ｂを生成して輝度補正部２０５へ出力する。

輝度補正部２０５は、拡散特性情報に基づいて仮想光源の特性を設定し、入力された画像信号に対して仮想光源に対応する仮想光源信号を付加するリライティング処理を行う。輝度補正部２０５は、リライティング処理によって補正された画像信号を、再ガンマ処理部２０６へ出力する。

再ガンマ処理部２０６は、入力されたリライティング後の画像信号に対して、再度ガンマ補正を行う。再ガンマ処理部２０６は、ガンマ補正を施した画像信号を画像メモリ１０６へ出力する。

（陰影状態の検出処理に係る一連の動作）
次に、図３を参照して、陰影状態検出部２０７が、環境光によって生じる被写体の陰影状態を検出する処理の一連の動作について説明する。本処理は、例えばデジタルカメラ１００の撮影動作により得られた画像データが陰影状態検出部２０７に入力されたときに開始される。

本処理において、被写体に生じる陰影の状態を表す情報として、陰影が生じている領域の境界部分の特性を表す情報を用いる。具体的には、陰影の境界がくっきりしているか、ぼんやりしているかの度合いを表す情報を用いることとする。

Ｓ３０１において、陰影状態検出部２０７は、ＷＢ増幅部２０２から入力された画像信号のうち、リライティング処理の対象とする被写体領域に対応する画像信号のみを抽出する。例えば、顔検出部１１３で検出した被写体の顔領域を、リライティング処理の対象とし、顔領域に対応する画像信号を抽出する。図４は、抽出した被写体領域の例を示しており、被写体に対して、斜線で示す領域４０２が陰になっている状態を表している。また、顔検出部１１３により検出された被写体の顔領域は、例えば顔領域４０１で示す領域のように検出されている。

Ｓ３０２において、陰影状態検出部２０７は、抽出した顔領域４０１に含まれる画像信号に基づいて、被写体の明るさを算出する。具体的には、陰影状態検出部２０７は、図４に示すように顔領域を複数のブロック（例えば、８×８＝６４個）に分割して、分割したブロック毎に輝度の平均値を算出する。

Ｓ３０３において、陰影状態検出部２０７は、算出した輝度の平均値に基づいて、被写体陰影情報を算出する。まず、陰影状態検出部２０７は、算出したブロック毎の輝度平均値が所定の閾値以下となるブロック（低輝度領域）を抽出して陰影領域を検出する。次に、検出した陰影領域の境界に位置するブロックとそのブロックに隣接する陰影領域でないブロックとの間で、輝度の差分値を算出する。ここで、算出した輝度の差分値が大きいほど被写体の陰影領域の境界はくっきりとした状態であり、反対に、輝度の差分値が小さいほど被写体の陰影領域の境界はぼんやりとした状態であると判断できる。陰影状態検出部２０７は、算出した輝度の差分値を被写体陰影情報として特性決定部２０８へ出力する。

Ｓ３０４において、陰影状態検出部２０７は、環境光の位置の推定を行う。環境光の位置の推定は、種々の公知の方法を用いて行うことができるため、詳細な説明は省略するが、例えば、被写体の中で最も明るい領域を検出して、その領域の法線ベクトルを算出し、算出した方向の所定の位置に環境光が位置するものとして定めても良い。また、人物の顔領域であれば、鼻などの所定の部位とその陰の位置を検出することにより、環境光の位置を推定するようにしてもよい。陰影状態検出部２０７は、推定した環境光の位置情報を、特性決定部２０８に出力する。

（拡散特性の制御方法の概要）
本実施形態では、仮想光源の個数、形状、大きさ、仮想光源間での相対的な位置関係を制御することにより、仮想光源の拡散特性を制御する例を説明する。特に、図５（ａ）〜（ｅ）に示した代表的な仮想光源の拡散特性を例に、それぞれに対する拡散特性の制御方法を説明する。

図５（ａ）は、仮想光源として、点光源が一つだけ配置された場合を示している。被写体表面５０１と仮想光源５０２は、距離Ｄを隔てて位置し、仮想光源５０２からの光はβの角度で広がっている。この場合、距離Ｄを大きくするほど、あるいは、角度βを大きくするほど、仮想光源５０２からの光が被写体表面５０１に対して照射される範囲が広がる。また、照射される範囲の境界における光の減衰はゆるやかになる。従って、特性決定部２０８は、距離Ｄまたは角度βを大きな値に設定することで拡散性の高い光によってリライティングすることが可能となる。逆に、距離Ｄまたは角度βを小さな値に設定することで拡散性の低い光でリライティングすることが可能となる。

図５（ｂ）は、仮想光源として、点光源が複数配置された場合を示している。距離Ｌは、複数の仮想光源５０２の間の距離を表す。仮想光源５０２を互いに異なる位置に複数配置すると、仮想光源５０２からの光が被写体表面５０１に対して照射される範囲が広がる。また、照射される範囲の境界における光の減衰はゆるやかになる。さらに、仮想光源５０２が１つのみ配置された場合に陰となる領域に対しても、別の位置に配置された仮想光源５０２の光が照射される。

例えば、被写体表面５０１にある点５０３の位置には、中央に配置された仮想光源５０２（Ｖ２）からの光は照射されないが、左側に距離Ｌだけ離れた仮想光源５０２（Ｖ１）からの光は照射される。すなわち、レフ板などで照明光を反射させたバウンス光のような拡散性の高い光を用いたリライティングを実現することが可能となる。従って、特性決定部２０８は、仮想光源の個数Ｎ、仮想光源間の距離Ｌを大きな値に設定することで拡散性を高く、反対に、個数Ｎまたは仮想光源間の距離Ｌを小さな値に設定することで拡散性を低くするように仮想光源の拡散特性を制御できる。

図５（ｃ）は、仮想光源として、サイズの大きなスポット光が配置された場合を示している。Ｓは仮想光源５０２のサイズを表しており、例えば、仮想光源５０２の形状が球である場合は球の半径を表す。仮想光源５０２の表面の各点から、スポット光が照射されるものとする。図５（ｂ）の場合と同様に、仮想光源５０２のサイズＳを大きくすると、仮想光源５０２からの光が照射される範囲が広がって、仮想光源５０２が点光源の場合に陰となる領域に対しても光が照射される。従って、特性決定部２０８は、サイズＳを大きな値に設定することで拡散性を高く、反対にサイズＳを小さな値に設定することによって拡散性を低くするように仮想光源の拡散特性を制御できる。

図５（ｄ）は、仮想光源として、曲率Ｒを持つ面光源または線状の光源が配置された場合を示している。曲率Ｒが０に近づくと仮想光源５０２からの光は平行光となる。曲率Ｒが０でない値の場合、平行光を照射する仮想光源５０２が配置された場合では陰となっていた領域に対しても、仮想光源５０２の光が照射されることとなる。従って、特性決定部２０８は、曲率Ｒを０よりも大きな値に設定することで拡散性を高く、０に近い値に設定することで拡散性を低くするように仮想光源の拡散特性を制御できる。

図５（ｅ）は、仮想光源として、複数の面光源または線状の光源が、互いに異なる角度に配置された場合を示している。角度γは、仮想光源５０２間の相対的な角度を表す。角度γが大きな値をとると、仮想光源５０２からの光が照射される範囲が広がる。また、照射される範囲の境界における光の減衰はゆるやかになる。つまり角度γを大きな値にすれば、角度γが０である場合に陰となっていた領域に対しても、異なる角度に配置された仮想光源からの光が照射されることとなる。従って、特性決定部２０８、仮想光源間の角度γを大きな値に設定することで拡散性を高く、反対に角度γを小さな値に設定することで拡散性を低くするよう仮想光源の拡散特性を制御できる。

なお、以降の説明では、特性決定部２０８は、図５（ａ）〜（ｅ）で説明した何れかの仮想光源のパラメータまたはそれらの組み合わせを変更することによって、仮想光源の拡散特性を制御するものとする。

（仮想光源の拡散特性の決定処理に係る一連の動作）
さらに、図６を参照して、特性決定部２０８が、被写体陰影情報に基づいて、仮想光源の拡散特性を決定する処理の一連の動作について説明する。

Ｓ６０１において、特性決定部２０８は、システム制御部５０から標準的な仮想光源の設定を表す情報（即ち、仮想光源の設定の標準値）を取得する。仮想光源の設定を表す情報とは、図５で説明した仮想光源の個数、形状、位置関係の仮想光源のパラメータを設定した情報を指す。標準的な仮想光源の設定を表す情報は、予め実験等により定められた値が不揮発性メモリ１２１に記憶されており、システム制御部５０がこれを読み出すことによって特性決定部２０８に提供される。

Ｓ６０２において、特性決定部２０８は、陰影状態検出部２０７から出力された被写体陰影情報を取得する。上述したように、被写体陰影情報は、被写体の陰影の状態を示す情報であり、陰影領域の境界における輝度の差分値が設定されている。

Ｓ６０３において、特性決定部２０８は、システム制御部５０から出力される、目標とする陰影情報を取得する。目標とする陰影情報は、リライティング処理の際に目標とする陰影状態であり、例えば、目標とする、陰影領域の境界における輝度の差分値（以下、単に目標輝度差という）を表す。目標輝度差については、例えば予め実験等により定められた値が不揮発性メモリ１２１に記憶されており、特性決定部２０８は、目標輝度差をシステム制御部５０を介して取得する。

Ｓ６０４において、特性決定部２０８は、Ｓ６０２において取得した被写体陰影情報の示す輝度の差分値が、Ｓ６０３において取得した目標輝度差より高いかを判定する。特性決定部２０８は、当該輝度の差分値と目標輝度差とを比較して、輝度の差分値が目標輝度差より高い場合はＳ６０５に処理を進める。この場合は、被写体上の陰影領域が目標とする陰影状態よりもくっきりとして被写体の陰影が優勢な状態である。一方、特性決定部２０８は、輝度の差分値が目標輝度差以下の場合にはＳ６０６に処理を進める。この場合は、環境光によって生じる被写体の陰影領域の境界の状態がぼんやりとして被写体の陰影が劣勢な状態である。

Ｓ６０５において、特性決定部２０８は、仮想光源の拡散特性をＳ６０１において取得した標準値よりも高く設定する。即ち、拡散特性の高い仮想光源を設定したリライティングを行うように仮想光源の拡散特性を制御する。より具体的には、特性決定部２０８は、Ｓ６０１で読みだした標準値を変更して、仮想光源の拡散特性がより高くなるように制御する。設定値の具体的な制御方法は、図５を用いて上述した通りである。

Ｓ６０６において、特性決定部２０８は、Ｓ６０１で読み出した標準値を変更して、仮想光源の拡散特性がより低くなるように制御する。

Ｓ６０７において、特性決定部２０８は、変更した仮想光源の拡散特性の設定値を、拡散特性情報として、輝度補正部２０５へ出力する。なお、仮想光源を配置する位置は、陰影状態検出部２０７が、図３のＳ３０４で推定した環境光の位置、方向と同一となるよう設定する。ただし、環境光の位置が正確に推定できなかった場合は、仮想光源を撮影画像外の位置に設定してリライティングするように仮想光源を配置する位置を設定する。

特性決定部２０８は、上述した処理を終えると本処理に係る一連の動作を終了する。

（リライティング処理）
さらに、輝度補正部２０５が行う、仮想光源を用いたリライティング処理について説明する。本実施形態では、仮想光源によって照射された対象画素の出力値（Ｒ，Ｇ，Ｂ）を算出する。なお、輝度補正部２０５は（Ｒ、Ｇ、Ｂ）を下記の式により算出する。

Ｒ ＝［Ｒｔ ＋ ｓｕｍ＿ｎ［Ｒｖ×Ａ＿ｎ×cos(α＿ｎ)／Ｄ＿ｎ＾２］ ］／Ｍ
Ｇ ＝［Ｇｔ ＋ ｓｕｍ＿ｎ［Ｇｖ×Ａ＿ｎ×cos(α＿ｎ)／Ｄ＿ｎ＾２］ ］／Ｍ
Ｂ ＝［Ｂｔ ＋ ｓｕｍ＿ｎ［Ｂｖ×Ａ＿ｎ×cos(α＿ｎ)／Ｄ＿ｎ＾２］ ］／Ｍ

ここで、（Ｒｔ、Ｇｔ、Ｂｔ）は処理対象の画素値、ｎは複数の仮想光源を区別するための添え字であり、仮想光源がＮ個設定されている場合は、ｎ＝１…Ｎとなる。ｓｕｍ＿ｎは、ｎについて和を取る処理を表す。Ａ＿ｎはｎ番目の仮想光源の強度を表す所定の定数、Ｄ＿ｎはｎ番目の仮想光源と被写体までの距離、（Ｒｖ、Ｇｖ、Ｂｖ）は光源反射色を表す。Ｍはリライティング処理後の出力ＲＧＢ値を正規化するための定数である。角度α＿ｎは、ｎ番目の仮想光源が配置された位置と対象画素を結ぶ直線と、対象画素における被写体の法線ベクトルの成す角である。

角度αを算出する際に、リライティングの対象画素の各画素に対して被写体の法線ベクトルを算出して、角度αを算出するようにしても良い。また、図４に示したように被写体領域を複数のブロックに分割し、ブロック毎に算出した法線ベクトルに基づいて角度αを算出するようにしても良い。さらに、人物の顔のように被写体の３次元形状が予め分かっている場合には、対象画素が顔領域中でどこの位置であるかに基づいて、法線ベクトルの方向を推定し、角度αを算出するようにしても良い。光源反射色は、仮想光源が被写体表面で反射したときの反射色を、予め設定された仮想光源色と被写体色とによって推定したものである。

以上説明したように、本実施形態では、被写体に生じる陰影領域の境界における輝度差を検出して、当該輝度差を目標とする輝度差と比較した結果に基づき、仮想光源の特性を設定するようにした。このようにすることで、環境光によって生じた被写体の陰影の状態を、目標とする状態に近づけるようリライティング処理を行うことができる。即ち、環境光による被写体の陰影の状態に応じて仮想光源の拡散特性を決定することにより、仮想光源を用いてリライティング処理を行う場合に、被写体の陰影を適切にすることができる。

（本実施形態に係る変形例）
本実施形態において説明した、環境光による被写体の陰影の状態に応じて仮想光源の拡散特性を決定して、リライティング処理を行う構成は、上述した実施形態に限られず、例えば以下に説明する変形例によっても実現することができる。

本実施形態では、陰影領域の境界における輝度差に基づいて、仮想光源の拡散特性を決定する方法を用いたが、被写体の陰影の状態を表す情報であれば、どのようなものを用いても良い。例えば、環境光によって生じる被写体のコントラストの値を検出し、その値を目標とするコントラストの値と比較した結果に基づいて、仮想光源の特性を決定するようにしても良い。具体的には、被写体のコントラストの値が所定の目標より高い（低い）場合は、仮想光源の拡散特性を高く（低く）設定するようにすれば良い。このようにすることで、被写体のコントラストを好ましい状態に近づけるようリライティング処理を制御することが可能となる。

また、被写体領域内の陰影領域の面積を算出し、その結果を被写体の陰影の状態を表す情報として用いても良い。具体的には、被写体領域内の陰影領域（例えば低輝度領域）が、被写体領域内に占める割合を算出し、その値が所定の目標より高い（低い）場合は、仮想光源の拡散特性を高く（低く）設定するようにすれば良い。即ち、被写体領域内で陰影領域となっている面積が多い場合には、その陰影領域の面積を減らすようにリライティング処理を行い、被写体領域内で陰影領域となっている面積が少ない場合には、その面積を増やすようリライティング処理を行うことができる。このようにすれば、被写体の陰影の状態を適切に補正した画像を得ることができる。

さらに、被写体領域に対して、輝度ヒストグラムを算出し、その度数分布の偏り（即ち明るさの分布）に応じて、仮想光源の特性を決定する方法を用いても良い。具体的には、所定の閾値を下回る輝度値に対応する度数を算出し、その値が所定の目標より高い（低い）場合は、仮想光源の拡散特性を高く（低く）設定する。

また、本実施形態では、目標とする陰影状態を予め定めておくものとして説明したが、本発明は、目標とする陰影状態の決定方法をこれに限定するものではない。例えば、目標とする陰影状態を表す値を、デジタルカメラの撮影モードやカメラパラメータなどの撮影時の撮影パラメータに応じて決定するようにしても良い。例えば、撮影時に用いるガンマ曲線の特性がコントラストを強く表現する特性である場合は、目標とする輝度差を高く設定し、ガンマ曲線の特性がコントラストを弱く表現する特性である場合は、目標とする輝度差を低く設定するようにする。

また、リライティング処理の対象となる被写体領域以外の領域、例えば被写体の背景に位置する背景領域の陰影の状態に応じて、目標とする陰影状態を決定するようにしても良い。具体的には、背景の被写体上の陰影の境界がくっきりしている場合は目標とする輝度差も高く設定し、背景の被写体上の陰影の境界がぼんやりしている場合は目標とする輝度差を低く設定するようにする。このようにすることで、リライティング処理の対象とする被写体と、周囲の被写体の陰影の状態を近づけることができ、リライティング処理を行う際に生じる違和感を低減することができる。

また、本実施形態では、目標とする陰影状態との比較によって、仮想光源の拡散特性を決定する方法を説明したが、被写体陰影情報に基づいて仮想光源の拡散特性を決定する方法であれば、他の方法を用いても構わない。例えば、検出した被写体の輝度差が、所定の閾値範囲内にあるか否かによって、仮想光源の拡散特性を決定するようにしても良い。具体的には、被写体の陰領域の境界における輝度差が所定の閾値以上（以下）である場合、仮想光源の拡散特性を標準より高く（低く）設定する。このようにすることで、特定の目標とする値を定めない場合でも、被写体陰影情報に基づいて仮想光源の拡散特性を決定することができ、リライティング処理を制御することができる。また、被写体の陰影状態を表す情報と、目標とする陰影状態を表す情報との差分が、所定の閾値以下である場合には、リライティング処理を行わないよう制御するようにしても良い。

さらに、リライティング処理の対象としない被写体に対しても、明るさの補正処理を行うようにしても良い。具体的には、リライティング処理の対象とする被写体の、リライティング処理後のコントラスト値を算出し、リライティング処理の対象としない被写体のコントラストが、その値に近づくよう明るさを補正する。このようにすることで、リライティング処理の対象となる被写体と、対象とならない被写体との間で生ずる違和感を低減することが可能となる。

また、本実施形態では、仮想光源の位置は、推定した環境光の位置と同じ位置となるように設定したが、本発明は仮想光源の位置の決定方法をこれに限定するものではない。例えば、被写体正面に対して、斜め４５度方向など、予め決められた方向に仮想光源を配置するようにしても良い。

また、本実施形態では、被写体となる人物が一人である場合を例に説明したが、本発明はリライティングの対象とする被写体をこれに限定するものではない。例えば、複数人の被写体が撮影された場合におけるリライティング処理に対して、本発明の方法を用いても構わない。このとき、同じ環境光によって照明があてられている場合であっても、顔の向きなどの条件によって被写体の陰影の状態が互いに異なる場合がある。このため、本実施形態で説明した陰影状態の検出処理と、その結果に基づく仮想光源の拡散特性の決定処理とを、被写体毎に個別に行うようにすれば良い。このとき、リライティング処理の目標とする陰影状態の情報は共通の値を用いるようにすればよい。このようにすれば、複数の被写体が撮影された場合であっても、各被写体の陰影の状態を好ましい状態とするようリライティング処理することが可能になる。

さらに、複数の被写体が撮影された場合、被写体のうち最も主要な被写体の陰影の状態を基準に仮想光源の特性を決定し、他の被写体に対しても同一の特性の仮想光源を用いてリライティングするように制御しても良い。このようにすることで、同じ環境の中にいる被写体が、互いに異なる特性を持つ光源で照明されるような不自然さを防止することが可能となる。

また、本実施形態では、仮想光源の個数や形状について代表的な例を図示して、仮想光源の拡散特性の制御処理を説明したが、本発明は仮想光源の個数や形状を、図示した例に限定するものではない。例えば、複数の点光源を直線上に配置するように説明したが、湾曲した曲線上に複数の点光源を配置し、リライティングするようにしても良い。この場合、曲線の曲率や仮想光源間の距離を制御することによって、仮想光源の拡散特性を意図する状態に設定することができる。また、本実施形態では、一律の曲率で湾曲した曲線状の仮想光源を用いるように説明したが、それ以外の形状を用いても構わない。例えば、仮想光源の形状を所定の角度で折れ曲がった折れ線としても良い。

さらに、本実施形態では、仮想光源の形状や個数などのパラメータを制御することで、仮想光源の拡散特性を制御するものとして説明したが、本発明は仮想光源の拡散特性の制御方法をこれに限定するものではない。例えば、所定の形状、個数に設定された仮想光源に対応する仮想光源信号を算出した後、当該信号に対して平滑化フィルタをかけることにより、擬似的に仮想光源の拡散特性が高くなるように制御しても良い。即ち、被写体の陰影状態の検出結果に基づいて、仮想光源の拡散特性を制御する方法であれば、どのような方法を用いても構わない。

また、環境光の拡散特性に応じて、仮想光源の拡散特性を制御するようにしても良い。例えば、環境光によって照射されている範囲を推定し、仮想光源から照射される光が広がる範囲を定める際に、環境光と仮想光源とが同じ範囲を照射するよう仮想光源の拡散特性を制御するようにしても良い。このようにすることで、より自然なリライティング結果を得ることが可能となる。

（実施形態２）
次に本発明に係る実施形態２について説明する。実施形態１では、特定の被写体上に生じる陰影の状態に応じて、仮想光源の拡散特性を制御した。これに対して、実施形態２では、撮影画像の全体における陰影の状態に応じて、仮想光源の拡散特性を制御する。このため、本実施形態は、陰影状態の検出処理および仮想光源の拡散特性の制御処理が実施形態１と異なるが、デジタルカメラ１００の構成および画像処理部の構成は、図１および図２に示した構成と同一の構成を用いることができる。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

陰影状態検出部２０７による陰影状態の検出処理について説明する。図７には、本実施形態における撮影画像の例を示しており、撮影画像全体がリライティング処理の対象領域として用いられる。撮影画像は、後述するように、複数のブロックに分割されて処理される。図７は、斜線部分、即ち陰になっている状態の領域が多い撮影画像を現しており、環境光の拡散性が低く、局所的にしか照らされていない状態を示している。このため、画像全体が暗い印象となっている。

（陰影状態の検出処理に係る一連の動作）
次に、図７に示す撮影画像に対する、陰影状態検出部２０７が行う陰影状態の検出処理に係る一連の動作を、図３を参照して説明する。

Ｓ３０１において、陰影状態検出部２０７は、ＷＢ増幅部２０２から入力された画像信号のうち、リライティング処理の対象となる領域の画像信号を抽出する。実施形態１では、特定の被写体領域を抽出してリライティング処理を行ったが、本実施形態では、陰影状態検出部２０７は、より広い領域（すなわち撮影画像全体）を抽出してリライティング処理を行う。

Ｓ３０２において、陰影状態検出部２０７は、抽出した画像信号に基づいて、予め定められた大きさの領域毎に明るさを算出する。具体的には、図７に示すように、リライティング処理の対象となる領域を複数のブロック（例えば、８×８＝６４個）に分割して、分割したブロック毎に輝度の平均値を算出する。

Ｓ３０３において、陰影状態検出部２０７は、算出した輝度の平均値に基づいて、被写体陰影情報を算出する。本実施形態では、環境光によって照らされ明るくなっている領域の面積が、画像全体に対して占める割合（単に、環境光の割合という）を算出し、当該割合を被写体陰影情報として用いる。図７の例では、環境光の拡散性が低く、局所的にしか照らされていない場合には、仮想光源の拡散特性が高くなるようにリライティングすれば、好ましい画像となるよう補正することができる。反対に、環境光の拡散性が高く、画像領域全体が一様に照らされている場合には、画像全体でのコントラストが低くなり、平板な印象の画像となる。このため、仮想光源の拡散特性が低くなるようにリライティングすれば、メリハリのある好ましい画像となるよう補正することができる。陰影状態検出部２０７は、算出した環境光の割合を、特性決定部２０８へ出力する。

なお、陰影状態検出部２０７は、以降のＳ３０４において実施形態１の場合と同様にして環境光の位置の推定を行い、その結果を特性決定部２０８へ出力する。

（仮想光源の拡散特性の決定処理に係る一連の動作）
次に、特性決定部２０８が、被写体陰影情報に基づいて、仮想光源の拡散特性の決定処理について、図８を参照して説明する。

図５に示した場合と同様にして、仮想光源の形状、大きさ、個数、位置関係などの特性を制御することによって、仮想光源の拡散特性を制御する。ここでは、図５（ａ）に示した仮想光源のうち、仮想光源からの光が広がる範囲を表す角度βの値を制御する例について説明するが、図５（ａ）〜（ｅ）の何れの場合を用いても良い。

Ｓ８０１において、特性決定部２０８は、システム制御部５０から出力された仮想光源の設定の標準値を取得する。本実施形態では、特性決定部２０８は、例えば角度βの値の標準的な設定値を取得するものとする。

Ｓ８０２において、特性決定部２０８は、陰影状態検出部２０７から出力された被写体陰影情報を取得する。本実施形態では、被写体陰影情報として設定されている環境光の割合の値を取得する。

Ｓ８０３において、特性決定部２０８は、システム制御部５０から出力されたリライティング処理時の目標とする被写体の陰影の状態、即ち目標とする環境光の割合（単に目標値ともいう）を取得する。より具体的には、目標値は、環境光が照射されて明るくなっている領域が撮影画像の領域に占める割合を、予め定めた目標値として設定したものである。

Ｓ８０４において、特性決定部２０８は、環境光の割合が目標値より小さいかを判定する。特性決定部２０８は、環境光の割合と目標値とを比較して、環境光の割合が目標値より小さい場合は処理をＳ８０５に進め、それ以外の場合は処理をＳ８０６に進める。ここで、環境光の割合が目標値より小さい場合は、環境光が当たっている領域が狭いため、被写体の陰影が優勢となり画像全体が暗い印象になっている。このため、拡散性の高い仮想光源によってリライティングし、画像内の暗い領域を少なくするためＳ８０５に処理を進める。

一方、環境光の割合が目標値以上である場合は、環境光が撮影画像内の広い領域に当たっているため、被写体の陰影が劣勢となっている。このため、拡散特性の低い仮想光源によってリライティングし、画像の明るさにメリハリのある好ましい画像にするためＳ８０６に処理を進める。

Ｓ８０５において、特性決定部２０８は、Ｓ８０１で読みだした標準値を変更して、仮想光源の拡散性がより高くなるよう制御する。すなわち、角度βを標準値よりも所定の値だけ大きくした値として設定する。

Ｓ８０６において、特性決定部２０８は、Ｓ８０１で読みだした標準値を変更して、仮想光源の拡散特性がより低くなるよう制御する。すなわち、角度βを標準値よりも所定の値だけ小さくした値として設定する。

Ｓ８０７において、特性決定部２０８は、実施形態１で説明したＳ６０７と同様の処理、即ち拡散特性情報の出力を行って、本処理に係る一連の動作を終了する。

以降の処理においては、実施形態１と同様に、輝度補正部２０５が仮想光源に対応した信号を画像信号に付加することにより画像信号を補正する処理を行う。

以上説明したように、本実施形態では、画像領域において環境光によって明るく照らされている面積の割合と目標値との比較結果に基づいて、仮想光源の拡散特性を設定するようにした。これにより、環境光によって生じる画像領域内の陰影の状態を、目標とする状態に近づけるようリライティング処理を行うことができる。即ち、環境光による陰影の状態に応じて仮想光源の拡散特性を決定することにより、仮想光源を用いてリライティング処理を行う場合に、画像内の陰影の状態を適切に補正することができる。

（その他の実施形態）
なお、上述の説明では、仮想光源の拡散特性を変化させる場合に、標準的な設定値から、所定の値だけ変化させる場合について説明したが、本発明は、仮想光源の拡散特性の制御方法をこれに限定するものではない。例えば、仮想光源の拡散特性を設定し、リライティング処理した状態でさらに被写体陰影情報を算出し、その値を目標とする状態と比較することを繰り返し行うようにしてもよい。このようにすれば、被写体の陰影の状態が漸近的に目標に近づいてより精度の高い制御が可能になる。

また、画像領域内の被写体の位置に基づいて、仮想光源の拡散特性を制御するようにしても良い。例えば、図７に示した場合において、仮想光源の拡散特性を高く設定し、仮想光源からの光が照射される範囲を広げるようにしてもよい。この際、図７に示す画像の左下に位置する人物が主要な被写体である場合には、人物が位置する領域まで仮想光源の光が照射されるよう、仮想光源の拡散特性を設定するようにする。逆に、環境光の拡散性が高いために、仮想光源の拡散特性を低く設定する場合には、主要な被写体である人物の位置には仮想光源の光が照射されないように仮想光源の拡散特性を設定すれば良い。このようにすることで、画像内の主要な被写体を際立たせる照明効果を生むことができ、被写体の陰影の状態が好ましい画像を生成することが可能となる。

また、上述の説明では、仮想光源の拡散特性を制御する際に、仮想光源からの光が広がる角度を制御したが、本発明は仮想光源の拡散特性の制御方法をこれに限定するものではない。例えば、仮想光源から照射される光に対する画素の出力値を算出する際のパラメータを変えるようにしても良い。仮想光源からの距離の二乗に反比例して、仮想光源からの光が減衰するようにしたが、その減衰の度合いがより急峻あるいは緩やかになるよう仮想光源信号の算出方法を変更して、仮想光源の拡散特性を制御するようにしても良い。

また、実施形態２で説明した仮想光源の拡散特性の制御方法と、実施形態１で説明した仮想光源の拡散特性の制御方法とを組み合わせて用いるようにしても良い。例えば、実施形態２のように、仮想光源から照射される光の広がりを表す角度を大きな値に設定した場合に、更に、実施形態１で説明した制御方法によって仮想光源の形状や個数を設定し、仮想光源の拡散特性を高く設定するようにしてもよい。このようにすることで、より自然な拡散特性を持つ仮想光源を設定し、リライティング処理することが可能となる。

さらに、上述の説明では、リライティングによって画像の明るさを補正する場合に、仮想光源のみを用いて補正する方法で説明したが、本発明は明るさの補正方法を仮想光源のみを用いる場合に限定するものではない。例えば、環境光によって明るく照らされている領域が非常に少なく、残りの領域が暗い場合には、仮想光源のみで明るさを補正することが難しい場合がある。この場合には、ストロボやビデオライトなどの他の照明を発光して画像全体の明るさを一律に明るくした後、仮想光源を用いたリライティング処理を行うようにすれば良い。このようにすることで、仮想光源を用いたリライティング処理によって、著しくノイズが増幅されることを防ぎながら、好ましい画像となるよう補正することが可能となる。

また、上述の説明では、リライティングによって画像の明るさを補正する場合に、処理対象の画素値に対して仮想光源の照射により生じる画素値の変化を加算する方法を説明したが、補正方法は加算する方法に限定されない。例えば、環境光によって生じた被写体の陰影の状態を目標とする状態に近づけるよう、処理対象の画素値を減算するようにしてもよい。あるいは、一部の処理対象は画素値を加算し、一部の処理対象は画素値を減算するようにしてもよい。すなわち、被写体の陰影の状態を目標とする陰影の状態とすることを目的としてリライティング処理を行うのであれば、仮想光源の照射により画像の明るさが明るくならなくてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５０…システム制御部、１０３…撮像部、１０５…画像処理部、２０７…陰影状態検出部、２０８…特性決定部、２０５…輝度補正部

特許文献１には、ライティング処理パラメータとして、ライティング処理される被写体像の範囲、仮想光源の方向、ライティング処理の強度を定め、リライティングを行うことが開示されている。しかし、特許文献１には、仮想光源から照射される光の拡散特性を制御することは考慮されていない。このため、被写体の陰影の状態を適切に補正することができない場合がある。

本発明は、上述の従来技術の問題点に鑑みてなされ、仮想光源を用いてリライティング処理を行う場合に、被写体の陰影の状態を適切に補正することができる画像処理装置およびその制御方法、ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮影画像を取得する取得手段と、撮影画像に対する仮想的な光源である仮想光源のパラメータを設定する設定手段と、設定手段により設定されたパラメータに基づき、撮影画像に仮想光源からの仮想光が照射された効果を付加する補正手段と、を有し、設定手段は、複数の仮想光源のパラメータを設定することで、撮影画像に照射される仮想光の拡散特性を変化させることを特徴とする。

Claims (14)

1. 撮影画像を取得する取得手段と、
   前記撮影画像の所定の領域の陰影の状態を検出する検出手段と、
   前記撮影画像に対する仮想的な光源である仮想光源について、前記検出手段により検出された前記所定の領域の陰影の状態に基づいて、前記仮想光源の特性を決定する決定手段と、
   前記決定された特性を有する前記仮想光源による光を照射した陰影の状態になるように、前記撮影画像を補正する補正手段と、を有することを特徴とする画像処理装置。
2. 前記検出手段は、前記撮影画像を撮影した際に照射されていた光によって生じた前記所定の領域の陰影の状態を、前記撮影画像から得られる輝度値に基づいて検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の領域は、前記撮影画像に含まれる被写体の領域であって、
   前記検出手段は、前記陰影の状態を、前記被写体の領域の輝度の分布、前記被写体の領域のコントラスト、前記被写体の領域に生じた輝度差または前記被写体の領域のうち所定の輝度の条件を満たす領域の面積、のうちいずれかを用いて検出することを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の領域は、前記撮影画像の全体であって、
   前記検出手段は、前記陰影の状態を、前記撮影画像の全体のうち所定の輝度の条件を満たす領域の面積を用いて検出することを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、前記仮想光源により照射される光の拡散性を変化させるように、前記仮想光源の特性を決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、前記所定の領域の陰影の状態が、予め定められた陰影の状態に近づくように、前記仮想光源の特性を決定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、前記所定の領域の陰影の状態を表す値と前記予め定められた陰影の状態を表す値とを比較して、前記所定の領域の陰影の状態が前記予め定められた陰影の状態より優勢である場合、前記所定の領域に照射される光の拡散性が高くなるように前記仮想光源の特性を決定し、前記所定の領域の陰影の状態が前記予め定められた陰影の状態より劣勢である場合、前記所定の領域に照射される光の拡散性が低くなるように前記仮想光源の特性を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記予め定められた陰影の状態を、前記撮影画像の前記所定の領域以外の領域の陰影の状態、または前記撮影画像を撮影する際の撮影パラメータの情報のいずれかを用いて算出する算出手段をさらに有する、ことを特徴とする請求項６または７に記載の画像処理装置。
9. 前記決定手段は、前記仮想光源の個数、大きさもしくは形状、前記仮想光源が複数ある場合の相対的な位置関係もしくは相対的な角度または前記仮想光源から照射される光が広がる範囲もしくは光の強度が減衰する度合い、の少なくともいずれかを制御することにより、前記仮想光源の特性を決定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記撮影画像を撮影した際に被写体に光を照射していた光源の方向または位置を推定する推定手段をさらに有し、
    前記決定手段は、前記推定された方向または位置に前記仮想光源を配置することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記補正手段は、前記撮影画像における処理対象の画素値に対して、前記決定手段により決定された前記仮想光源の照射により生じる画素値の変化を重ね合わせて、前記撮影画像を補正することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
12. 取得手段が、撮影画像を取得する取得工程と、
    検出手段が、前記撮影画像の所定の領域の陰影の状態を検出する検出工程と、
    決定手段が、前記撮影画像に対する仮想的な光源である仮想光源について、前記検出手段により検出された前記所定の領域の陰影の状態に基づいて、前記仮想光源の特性を決定する決定工程と、
    補正手段が、前記決定された特性を有する前記仮想光源による光を照射した陰影の状態になるように、前記撮影画像を補正する補正工程と、を有することを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納した、コンピュータが読み取り可能な記録媒体。

Images