JP2019129469A - 画像処理装置 - Google Patents

Abstract

【課題】仮想光源の設定をユーザーが手動で行う必要があり、不便であった。【解決手段】入力画像に対して仮想光源を設置する仮想光源設定手段と、入力画像から被写体を選択する被写体選択手段と、選択した被写体の法線情報を取得する法線取得手段と、選択した被写体の輝度情報を取得する輝度取得手段と、選択した特定の被写体にリライティング処理を行うリライティング手段と、を備えた画像処理装置において、被写体の法線と輝度に基づいて予め設定した所定の条件を満たすように、仮想光源を設定することを特徴とする。【選択図】図１

Description

本発明は、画像処理装置に関し、特に入力された画像の被写体に、仮想的な光源の影響を反映させる画像処理装置に関する。

従来、撮影後の画像中の被写体に対して、仮想的な光源からの光を照射し、リライティングを行う技術が知られている。これにより、被写体にユーザーが任意の陰影を付けることができる。

特許文献１では、被写体の陰影情報を解析し、あらかじめ定めた目標条件を満たすように、照射する仮想光源の向きを定めている。これにより、ユーザーが直接仮想光源の向きを指定することなく自動的にあらかじめ定めた条件に合う陰影を持つ被写体の画像を得ることができる。

特開２０１６−７２６９２号公報

しかしながら、特許文献１に記載のリライティング手法では、仮想光源の大まかな向きしか求めることができず、仮想光源の照射強度や照射光の広がり具合までも自動化することができなかった。そのため、自動で設定できる仮想光源のパラメータに制限があった。

そこで、本発明の目的は、仮想光源の詳細な向き、照射強度、照射光の広がり具合などより詳細なパラメータを自動で設定できる画像処理装置を提供することにある。

上記の目的を達成するために、本発明に係る画像処理装置は、
入力画像に対して仮想光源を設置する仮想光源設定手段と、
入力画像から被写体を選択する被写体選択手段と、
選択した被写体の法線情報を取得する法線取得手段と、
選択した被写体の輝度情報を取得する輝度取得手段と、
選択した特定の被写体にリライティング処理を行うリライティング手段と、
を備えた画像処理装置において、
被写体の法線と輝度に基づいて予め設定した所定の条件を満たすように、仮想光源を設定することを特徴とする。

本発明に係る画像処理装置によれば、仮想光源の詳細なパラメータを自動で設定することができる。

本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。 本発明の実施形態に係るデジタルカメラの画像処理部の構成を示すブロック図である。 本発明の実施形態に係る合焦度算出部２０３の処理フロー図である。 本発明の実施形態に係るリライティングによる反射成分の演算を示す図である。 本発明の実施形態に係る仮想光源情報算出部３０２の処理フロー図である。 本発明の実施形態に係る仮想光源情報算出部３０２で用いるヒストグラム算出のフロー図である。 本発明の実施形態に係る入力画像と被写体の法線情報とそのなす角を模式的に示した図である。 本発明の実施形態に係る仮想光源情報算出部３０２で用いるヒストグラムを示す図である。 本発明の実施形態に係る仮想光源情報算出部３０２での仮想光源パラメータの推定処理のフロー図である。 本発明の実施形態に係る仮想光源情報算出部３０２で推定する、仮想光源照射方向と被写体法線方向のなす角に基づく重みの関係を示す図である。 本発明の実施形態に係る仮想光源情報算出部３０２でのヒストグラム上での仮想光源の影響をシミュレーションの様子を示す図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

本実施形態による画像処理装置は、例えばデジタルカメラである。図１は、本実施形態にかかるデジタルカメラの構成を示すブロック図である。

本実施形態におけるデジタルカメラは、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、測距部１０５、顔検出部１０６、記録部１０７、制御部１０８、メモリ１０９、操作部１１０、表示部１１１を備えている。

光学系１０１にはフォーカスレンズや絞り、シャッターが含まれる。この光学系は、撮影時にはフォーカスレンズを駆動し被写体のピント合わせを行い、絞りやシャッターを制御することにより露光量の調節をする。

撮像素子１０２は、光学系１０１において結像された被写体の光量を光電変換によって電気信号にするＣＣＤやＣＭＯＳ等の光電変換素子である。

Ａ／Ｄ変換部１０３では、入力された電気信号をデジタル化する。デジタル化された画像信号は画像処理部１０４で同時化処理、ホワイトバランス補正処理、合焦度算出処理、リライティング処理、ガンマ処理、などを行い、記録部１０６に出力される。

測距部１０５は、撮影時の被写体までの距離情報を取得し距離マップを生成する。距離マップとは、撮影した画像の画素単位での被写体までの距離情報を示す二次元配列である。

顔検出部１０６は、画像処理部１０４で行うリライティング処理の被写体領域を決めるため、撮影画像中の人物の顔領域を検出する。この時、右目、左目、口などの顔器官座標を検出し、右目と左目の距離など各顔器官同士の距離を算出する。前記各顔器官同士の距離に基づいて、背景領域を含まないように、前記各器官座標の重心座標を中心とする楕円領域を設定し、前記楕円領域を顔領域として検出する。

記録部１０７は、画像処理部１０４から出力された画像情報をＪＰＥＧ等の画像形式に変換し、記録する。

制御部１０８は、本実施形態の撮像装置、画像処理装置全体の動作制御を行う。例えば、撮影直前の被写体の明るさから、光学系１０１で目標とする露光量を算出する。他にも、撮影した画像に基づいて所定の評価値を算出し、画像処理部１０４で行う画像処理のパラメータを決定する。

メモリ１０９は、画像処理部１０４で用いる情報を格納してあり、必要に応じて画像処理部１０４に出力する。操作部１１０は、ユーザーが撮像装置に対し操作指示を行う部分である。

表示部１１１は、例えばカメラ背面に設置された液晶ディスプレイ等であり、撮影時の操作の補助を行うための画面や、記録部１０７に保存されている画像等を表示するものである。

次に画像処理部１０４についての詳細な説明を、図２を用いて行う。

図２は本実施形態にかかる画像処理部１０４の構成を示すブロック図である。

画像処理部１０４は、同時化処理部２０１、ホワイトバランス補正処理部２０２、リライティング処理部２０３、ガンマ処理部２０４を備えている。

画像処理部１０４の処理の流れについて説明する。Ａ／Ｄ変換部１０３で変換された、ベイヤー配列の映像信号が画像処理部１０４に入力される。画像処理部１０４に入映像信号は同時化処理部２０１に入力され、入力されたベイヤー配列のＲＧＢ信号に対して同時化処理を行い、色信号Ｒ、Ｇ、Ｂを生成する。生成したＲ、Ｇ、Ｂの色信号はホワイトバランス補正処理部２０２に入力され、制御部１０７が算出したホワイトバランスゲイン値に基づいてＲＧＢの色信号にゲインをかけてホワイトバランスを調整する。ホワイトバランスが調整された色信号ＲＧＢはリライティング処理部２０３に出力される。リライティング処理部２０３では、ホワイトバランス補正処理部２０２から色信号ＲＧＢ、測距部１０５から距離マップＤ＿ＭＡＰ、顔検出部１０６から画像内の顔の座標や大きさを示した情報を受ける。前記色信号Ｒ、Ｇ、Ｂに対して、仮想光源を照射した画像を生成し、処理後の色信号Ｒ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔをガンマ処理部２０５に出力する。ガンマ処理部２０４はリライティング処理後信号Ｒ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔが入力され、ガンマ処理を施し、ガンマ後の色信号Ｒｇ、Ｇｇ、Ｂｇ記録部１０７出力する。

続いて、リライティング処理部２０３の処理についての詳細な説明を、図３を用いて行う。

図３はリライティング処理部２０３に構成を示すブロック図である。

リライティング処理部２０３は、法線取得部３０１、仮想光源情報算出部３０２、仮想光源拡散反射成分算出部３０３、仮想光源鏡面反射成分算出部３０４、仮想光源付加処理部３０５、仮想光源追加判定部３０６を備える。

リライティング処理部２０３は測距部１０５から距離情報の入力と、ホワイトバランス補正処理部２０２から色信号Ｒ、Ｇ、Ｂの入力と、顔検出部１０６からの顔領域情報の入力を受ける。

法線取得部３０１において、顔検出部１０６から入力された顔座標位置における被写体の法線を取得する。法線情報は、本実施形態では一般的な人物の顔の法線情報をメモリ１０９に予め格納しておき、顔検出部１０６から入力された顔の向きなどの情報を参照し、最も撮影時の被写体に近い顔の法線情報を取得する。このようにして取得した法線情報Ｎを仮想光源情報算出部３０２と、仮想光源拡散反射成分算出部３０３と、仮想光源鏡面反射成分算出部３０４へ出力する。

仮想光源情報算出部３０２は、ホワイトバランス処理部２０２から色信号Ｒ、Ｇ、Ｂと、法線取得部３０１より法線Ｎの入力を受ける。後述する手法により、仮想光源の向きを示す３次元方向ベクトルＬと、仮想光源照射強度を示すα、仮想光源の照射方向と被写体の法線の角度差に応じた重み関数であるｗθを算出し、仮想光源拡散反射成分算出部３０３と、仮想光源鏡面反射成分算出部３０４へ出力する。また、後述する手法により仮想光源の追加が必要だと判断された場合、追加補正判定信号Ｆ＿ａｄｄを仮想光源追加部３０６へ出力する。

仮想光源拡散反射成分算出部３０３いて、拡散反射成分Ｒｄ、Ｇｄ、Ｂｄを算出する。拡散反射成分の求め方について、図４を用いて説明する。

図４は撮影時のカメラ１００と被写体４０１と仮想光源４０２との位置関係と、仮想光源の反射特性を示した図である。

カメラ１００で撮影された撮影画像の水平画素位置Ｈ１（垂直画素位置は説明の簡略化のため省略）における拡散反射成分は、カメラ座標Ｈ１における法線Ｎ１と仮想光源の方向ベクトルＬ１の内積に比例し、仮想光源と被写体位置の距離Ｋ１の二乗に反比例する値となる。仮想光源による拡散反射成分強度Ｐｄは（式１）で表すことができ、色ごとの拡散反射成分Ｒｄ、Ｇｄ、Ｂｄは（式２）で表すことができる。

ここで、（式１）におけるＮは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。ｋｄは被写体の拡散反射率である。α、Ｌ、ｗθはそれぞれ仮想光源情報算出部３０２から入力を受けた仮想光源の強さ、仮想光源の３次元方向ベクトル、仮想光源の照射方向と被写体の法線方向の差による重み関数である。仮想光源の方向と仮想光源から注目画素への方向の角度差に応じて変化する特性をもつ。また（式２）におけるＲ、Ｇ、Ｂはホワイトバランス補正部２０２から入力された色信号Ｒ、Ｇ、Ｂである。Ｒｗ、Ｇｗ、Ｂｗは仮想光源の色を示すパラメータである。

仮想光源鏡面反射成分算出部５０３において、鏡面反射成分Ｒｓ、Ｇｓ、Ｂｓを算出する。拡散反射成分Ｒｄ、Ｇｄ、Ｂｄの算出方法と同様に図４を用いて鏡面反射成分Ｒｓ、Ｇｓ、Ｂｓの算出方法を説明する。鏡面反射成分の強度は、被写体に対する鏡面反射方向Ｓと被写体位置から撮影時のカメラの方向Ｖ（視線の方向）の内積に比例する。この関係を数式で表現すると仮想光源による鏡面反射成分強度Ｐｓは（式３）で表すことができる。

ここで、（式３）におけるＳは仮想光源の鏡面反射ベクトル、Ｖはカメラから被写体位置への方向を示す視線方向ベクトル、ｋｓは被写体の鏡面反射率である。また、βは反射した光の広がり具合を示す輝き係数であり、この値が大きくなると鏡面反射特性が急峻になる。

次に、鏡面反射成分強度Ｐｓを用いて仮想光源照射時に照射対象に反映される鏡面反射色を算出する。

仮想光源色を反映させる鏡面反射色成分Ｒｓ、Ｇｓ、Ｂｓを光源色情報Ｒｗ、Ｇｗ、Ｂｗを用いて（式４）のように表す。

仮想光源付加処理部３０５において、仮想光源拡散反射成分算出部３０３で算出した拡散反射成分Ｒｄ、Ｇｄ、Ｂｄと、仮想光源拡散反射成分算出部３０４で算出した鏡面反射成分Ｒｓ、Ｇｓ、Ｂｓを入力色信号Ｒ、Ｇ、Ｂに付加する処理を行う。仮想光源照射後色信号Ｒ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔは（式５）のように表すことができる。

このように算出した仮想光源照射後色信号Ｒ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔを仮想光源追加判定部３０６に出力する。

仮想光源追加判定部３０６は仮想光源負荷処理部３０５から仮想光源照射後色信号Ｒ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔの入力と、条件に応じて仮想光源情報算出部３０２から追加補正判定信号Ｆ＿ａｄｄの入力を受ける。仮想光源追加判定部３０６は、追加補正判定信号Ｆ＿ａｄｄの入力を受けた場合、仮想光源照射後色信号Ｒ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔをホワイトバランス処理部２０２の出力である色信号Ｒ、Ｇ、Ｂにそれぞれ上書きし、再度リライティング処理部２０３の一連の処理を行う。仮想光源情報算出部３０２から追加補正判定信号Ｆ＿ａｄｄの入力を受けなかった場合、仮想光源照射後色信号Ｒ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔを、それぞれＲ＿ｏｕｔ’、Ｇ＿ｏｕｔ’、Ｂ＿ｏｕｔ’としてガンマ処理部２０５へ出力する。

次に、仮想光源情報算出部３０２の処理について図５を用いて詳細に説明する。

図５は仮想光源情報算出部３０２の処理フローを示す図である。

Ｓ５０１において、顔検出部１０６から顔検出情報を、ホワイトバランス補正処理部２０２から入力画像の色信号Ｒ、Ｇ、Ｂを、法線取得部３０１より顔領域法線情報を取得する。

Ｓ５０２において、顔検出部１０６より取得した顔領域内における輝度情報を算出する。輝度の算出方法は、たとえばホワイトバランス補正処理部２０２から入力を受けた色信号Ｒ、Ｇ、Ｂを所定の比率で合成する方法であり、ここでは、色信号Ｒ、Ｇ、Ｂを３：６：１の比率で合成した信号を輝度信号とする。

Ｓ５０３において顔領域内における法線方向毎の輝度レベルを示すヒストグラムを作成する。法線方向毎の輝度レベルを示すヒストグラムを作成する方法について、図６、図７を用いて説明する。

図６は、ヒストグラム算出のフローを示した図である。図７は３次元法線ベクトルと画像平面の関係を示した図である。

まず、Ｓ６０１において、Ｓ５０１で取得した顔内３次元法線ベクトル情報と、Ｓ５０２で算出した顔内輝度情報の入力を受ける。

次に、Ｓ６０２において、Ｓ６０１で入力された３次元法線ベクトルを本画像処理装置に入力された画像平面に対して水平・垂直方向になす角に変換する。画像平面と３次元法線ベクトルの関係は図７に示すように表現でき、ＸＹ平面上に画像平面が展開され、３次元法線ベクトルＮはＸＹＺ軸に対応する３要素を持つベクトルである。水平方向のなす角７０１は、３次元法線ベクトルＮを正規化したベクトルとＸ軸方向の単位ベクトルとの内積であり、垂直方向のなす角７０２は、３次元法線ベクトルＮを正規化したベクトルとＹ軸方向の単位ベクトルとの内積である。

次にＳ６０３において、Ｓ６０１で入力された顔内輝度情報と、Ｓ６０２で算出した水平方向の法線のなす角を参照し、顔領域内の同一の水平方向のなす角を持つ画素の輝度平均値を算出する。

そして、Ｓ６０４において、図８に示すように横軸が水平方向になす角、縦軸に輝度値を示すヒストグラムを生成する。

Ｓ６０５、Ｓ６０６において、Ｓ６０３、Ｓ６０４と同様の処理を垂直方向に対しても行う。

Ｓ５０４において、Ｓ５０３で作成したヒストグラムがあらかじめ設定した条件を満たしているか判定し、満たしていなければＳ５０５に移行し、満たしている場合はＳ５０６に移行する。本実施例において、水平方向ヒストグラムの分散値ｅ＿ｈがあらかじめ設定した閾値ｔｈ＿ｈよりも小さく、かつ、垂直方向ヒストグラムの分散値ｅ＿ｖがあらかじめ設定した閾値ｔｈ＿ｖよりも小さいことを条件とする。

Ｓ５０５において図９に示すフローに沿って仮想光源のパラメータを設定する。図９は目標条件を満たすための仮想光源のパラメータを求めるフロー図である。

まずＳ９０１において仮想光源の照射方向パラメータＬを推定する。照射方向の水平成分はＳ６０４で生成した水平方向のヒストグラムを用いて推定する。水平方向ヒストグラムの輝度値を参照し、最も低い輝度値を示す水平方向のなす角を仮想光源の照射方向の水平成分とする。仮想光源の照射方向の垂直成分も同様に、Ｓ６０６で生成した垂直方向ヒストグラムの輝度値を参照し、最も低い輝度レベルを示す垂直方向のなす角を仮想光源の照射方向の垂直成分とする。仮想光源の照射方向の水平成分と垂直成分を合成し、３次元ベクトルに変換したものを仮想光源の照射方向パラメータであるＬとする。

次にＳ９０２において仮想光源の照射強度パラメータαを推定する。まず、Ｓ５０３で生成した水平・垂直のなす角毎の輝度ヒストグラムを参照し、仮想光源の照射方向の水平成分に対応する輝度値と、仮想光源の照射方向の垂直成分に対応する輝度値とを取得する。次に、水平・垂直の照射方向に対応する輝度値のうち、輝度値の高い方と、あらかじめ定めた目標輝度値との差分輝度値を算出する。差分輝度値に応じた仮想光源の照射強度値をαとする。

次にＳ９０３において、仮想光源の照射方向と被写体の法線方向の角度差による重み関数ｗθを推定する。重み関数ｗθは図１０に示すように、仮想光源の照射方向と被写体の法線方向の角度差が大きくなるにつれて、重みが小さくなる特性をもつ。Ｓ９０３では、図１０に示す重みが０になる重み上限角度差θ＿ｌｉｍｉｔを推定する。５０３で生成した水平・垂直のなす角毎の輝度ヒストグラムを参照し、それぞれのヒストグラム上で、あらかじめ用意した目標輝度値を上回る輝度値を持つ角度をすべて取得する。水平と垂直のそれぞれのヒストグラムから取得した角度と、仮想光源の照射角度のそれぞれの成分との差分を算出し、差分値のうち最も小さい値を重み上限角度差θ＿ｌｉｍｉｔとする。このようにして求めた重み上限角度差θ＿ｌｉｍｉｔを仮想光源の照射方向と被写体の法線方向の角度差による重み関数ｗθに反映させる。

Ｓ５０５ではこのようにして仮想光源のパラメータを推定する。

Ｓ５０６では、仮想光源から光を照射しない場合に相当するパラメータを設定する。具体的には仮想光源照射強度αを０とすることで実現可能である。仮想光源照射方向Ｌ、仮想光源照射方向と被写体法線方向の角度差による重み関数ｗθに関しては自由な値を設定する。

Ｓ５０７において、Ｓ５０５またはＳ５０６で求めた仮想光源のパラメータによる実画像への影響を、Ｓ５０３で生成した水平・垂直のなす角毎の輝度ヒストグラム上で、シミュレーションする。図１１は設定した仮想光源のパラメータをヒストグラム上でシミュレーションする際の図である。図１１（ａ）はＳ５０３で生成したヒストグラムを示し、図１１（ｂ）は図１１（ａ）から推定した仮想光源のパラメータによる想定輝度変化量をしめした図である。図１１（ｃ）は図１１（ａ）に図１１（ｂ）の効果が反映されている状態を示し、図１１（ａ）（ｂ）の加算した結果である。

Ｓ５０８において、図１１（ｃ）に対してＳ５０４と同様の条件を満たすか判定する。満たさない場合はＳ５０９に移行し、満たす場合はＳ５１０に移行する。

Ｓ５０９において、Ｓ５０５またはＳ５０６で推定した仮想光源のパラメータα、Ｌ、ｗθと、仮想光源追加判定信号Ｆ＿ａｄｄを仮想光源情報算出部３０２より出力する。
Ｓ５１０において、Ｓ５０５またはＳ５０６で推定した仮想光源のパラメータα、Ｌ、ｗθを仮想光源情報算出部３０２より出力する。

本実施例において、リライティング処理による仮想光源の照射対象の被写体は人物であり、画像中の被写体領域を撮影時に自動取得するために顔検出部１０６を用いている。しかし、仮想光源の照射対象の被写体は人物に限らず、被写体に応じた被写体領域取得手段を用いても良い。

また、本実施例では法線情報をメモリ１０９から直接取得する例について説明したが、法線情報ではなくても、被写体の立体形状を示すものであればどのような情報であってもかまわない。例えば、被写体の立体形状を示す３次元のワイヤーフレーム情報であってもかまわない。この場合、ワイヤーフレームの各点の角度情報から法線を算出することができる。

また、本実施例では仮想光源情報算出部３０２における目標を顔内の輝度差が低減するような仮想光源の照射としたが、ほかの目標でも構わない。また、目標に応じてＳ５０５でのパラメータ推定方法も目標に合わせたものに変更して良い。たとえば、顔内のコントラストが強調するような仮想光源の照射を目標としてもかまわない。この場合、Ｓ５０５で推定するパラメータは、次の方法で求める。Ｓ９０１で推定する仮想光源の方向は、最小の輝度値を示す方向ではなく最大の輝度値を示す方向とする。Ｓ９０２で推定する仮想光源の強度はヒストグラム上での最大輝度値と最小輝度値の差分に基づいた値とする。Ｓ９０３で推定する重み上限角度差はヒストグラム上の輝度最大値と輝度中央値の角度差とする。

１０１ 光学系、１０２ 撮像素子、１０３ Ａ／Ｄ変換部、
１０４ 画像処理部、１０５ 測距部、１０６ 顔検出部、１０７ 記録部、
１０８ 制御部、１０９ メモリ、１１０ 操作部、１１１ 表示部、
２０１ 同時化処理部、２０２ ホワイトバランス補正処理部、
２０３ リライティング処理部、２０４ ガンマ処理部、３０１ 法線取得部、
３０２ 仮想光源方法算出部、３０３ 仮想光源拡散反射成分算出部、
３０４ 仮想光源鏡面反射しえ分算出部、３０５ 仮想光源付加処理部、
３０６ 仮想光源追加判定部

Claims (4)

1. 入力画像に対して仮想光源を設置する仮想光源設定手段と、
   入力画像から被写体を選択する被写体選択手段と、
   選択した被写体の法線情報を取得する法線取得手段と、
   選択した被写体の輝度情報を取得する輝度取得手段と、
   選択した特定の被写体にリライティング処理を行うリライティング手段と、
   を備えた画像処理装置において、
   被写体の法線と輝度に基づいて予め設定した所定の条件を満たすように、仮想光源を設定することを特徴とする画像処理装置。
2. 仮想光源設定手段において、被写体領域内の、法線毎の輝度レベルを示すヒストグラムを作成し、あらかじめ設定した所定の条件に対して過不足を補うように仮想光源を設定することを特徴とする請求項１に記載の画像処理装置。
3. 仮想光源設定手段において、第一の仮想光源照射ではあらかじめ設定した所定の条件を満たせない場合に、第二の仮想光源を照射することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 仮想光源設定手段において、仮想光源の影響を法線毎の輝度レベルを示すヒストグラム上で算出し、仮想光源設定が条件を満たしているか判定することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。