JP2020095454A - 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】高品位なレンダリング画像を生成可能な処理装置を提供する。【解決手段】処理装置（１０４）は、被写体の形状に関する形状情報に基づいて生成された第１のゲインマップを取得するゲイン取得部（１０４ｅ）と、被写体において形状情報の誤差が大きい部分に対応する対象領域に関する情報と第１のゲインマップとを用いて第１のゲインマップを補正することで、第２のゲインマップを生成するゲイン補正部（１０４ｆ）と、被写体に関する第１の画像に対して第２のゲインマップを適用することで、被写体のレンダリング画像としての第２の画像を生成するレンダリング部（１０４ｇ）とを有する。【選択図】図３

Description

本発明は、レンダリング画像を生成する処理装置に関する。

被写体に関するより多くの物理情報を取得することにより、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像をレンダリング処理により生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、および、光源情報等で決定される。

特許文献１には、被写体の形状情報としての面法線を取得（計測）する方法として照度差ステレオ法が開示されている。

特開２０１０−１２２１５８号公報

被写体から直接取得（測定）された形状情報を用いてレンダリング画像を生成する場合、形状情報に取得（測定）精度の低い領域が存在していると生成されるレンダリング画像に破綻が生じてしまうおそれがある。すなわち、高品位なレンダリング画像を生成することができないおそれがある。この課題は、特許文献１に記載された照度差ステレオ法により法線情報を取得する場合に限らず、被写体の形状情報として被写体から直接取得（計測）された距離情報を用いてレンダリング画像を生成する場合などにも同様に生じ得る。

そこで本発明は、高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての処理装置は、被写体の形状に関する形状情報に基づいて生成された第１のゲインマップを取得するゲイン取得部と、前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第１のゲインマップと、を用いて前記第１のゲインマップを補正することで、第２のゲインマップを生成するゲイン補正部と、前記被写体に関する第１の画像に対して前記第２のゲインマップを適用することで、前記被写体のレンダリング画像としての第２の画像を生成するレンダリング部とを有する。

本発明の他の側面としての撮像装置は、被写体を撮像する撮像部と、前記処理装置とを有する。

本発明の他の側面としての処理システムは、互いに異なる複数の位置からの光を被写体に光を照射可能に構成された光源部と、前記処理装置とを有する。

本発明の他の側面としての処理方法は、被写体の形状に関する形状情報に基づいて生成された第１のゲインマップを取得する工程と、前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第１のゲインマップとを用いて前記第１のゲインマップを補正することで、第２のゲインマップを生成する工程と、前記被写体に関する第１の画像に対して前記第２のゲインマップを適用することで、前記被写体のレンダリング画像としての第２の画像を生成する工程とを有する。

本発明の他の側面としてのプログラムは、前記処理方法を、コンピュータに実行させる。

本発明の他の側面としてのコンピュータが読み取り可能な記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体を提供することができる。

実施例１における撮像装置の外観図である。 実施例１における撮像装置のブロック図である。 実施例１における処理システムのブロック図である。 実施例１における処理方法を示すフローチャートである。 実施例１における処理方法（ステップＳ１０１〜Ｓ１０４）の説明図である。 実施例１における処理方法（ステップＳ１０５〜Ｓ１０９）の説明図である。 実施例１における処理方法（ステップＳ１０６）の説明図である。 実施例１における処理方法（ステップＳ１０６）の説明図である。 実施例１における処理方法（ステップＳ１０７、Ｓ１０８）の説明図である。 実施例２における処理システムの外観図である。 Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

以下に述べる実施例では、被写体から取得（計測）された形状情報における計測誤差の大きい領域を適切に処理することにより、高品位なレンダリング画像が生成される。なお、以下に述べる実施例では、被写体の形状情報として照度差ステレオ法により取得（計測）された法線情報を用いる例について述べる。光源から射出されて被写体により反射された光の物理的な振る舞いは局所的な面法線に依存するため、形状情報として被写体の面法線を用いることが特に有効であるためである。ただし、本発明はこれに限定されない。形状情報として、例えば、被写体の距離情報を用いても良いし、被写体の凹凸（高さ）に関する情報を用いても良い。被写体の距離情報や被写体の凹凸（高さ）に関する情報は、レーザ光を用いた三角測量や２眼ステレオ等の種々の距離計測手法を用いて取得することができる。

高品位なレンダリング画像の生成処理に関する説明に先立ち、照度差ステレオ法による被写体の面法線取得方法について説明する。照度差ステレオ法は、被写体の面法線と被写体から光源への方向に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。図１０は、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの説明図である。図１０に示されるように、鏡面反射成分は、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρ_ｄ、入射光の強さをＥ、物体から光源への方向（光源方向）を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとする。このとき、輝度値ｉは、ランバートの余弦則より、以下の式（１）のように表される。

ここで、異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、…、ｓ_Ｍ、光源ベクトルの各成分の輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（１）は以下の式（２）のように表される。

式（２）において、左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、…ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いることにより、Ｅρ_ｄｎは以下の式（３）のように表される。

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄとの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるため、Ｅρ_ｄを１つの変数とすると、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ_３を成分ｓ_１、ｓ_２に対して線形独立に選択することが好ましい。

Ｍ＞３の場合、求める未知変数より多い条件式が得られる。このため、任意に選択した３つの条件式から、Ｍ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

光源ベクトルの各成分の輝度値のうち、陰影や輝度飽和により正確な値を取得できない輝度値を使用して単位面法線ベクトルｎを算出した場合、正確な法線ベクトルを算出することが困難となる。したがって、陰影や輝度飽和により正確な値が取得できなかった輝度値は使用せずに単位面法線ベクトルｎを算出してもよい。すなわち、Ｍ＝ｍの光源ベクトルｓ_ｍで得られた輝度値ｉ_ｍが陰影や輝度飽和である場合、光源ベクトルｓ_ｍおよび輝度値ｉ_ｍを式（３）から除外して単位面法線ベクトルｎを算出する。除外する輝度値は所定の閾値に基づく判定により決定すればよい。ただし、上記したように少なくとも３つの輝度情報が必要である。被写体の反射特性をランバート反射モデルとは異なるモデルで仮定すると、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。この場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

またＭ＞３の場合、３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば、以下の式（４）で表される評価関数が最小となる解を選択すればよい。

また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示されるように、式（５）の全画素での総和が最小となるように解を選択してもよい。

なお、最近傍以外の画素での面法線を用いることや、注目する画素位置からの距離に応じて重み付けした評価関数を用いてもよい。また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル（カメラの視線ベクトル）をｖとすると、以下の式（７）が成り立つ。

式（７）で表されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば、単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

以上の照度差ステレオ法によって面法線ｎおよび反射率ρ（＝Ｅρ_ｄ）を取得すると、式（１）に対して任意の光源ベクトルｓを与えることにより、任意の光源下での輝度値ｉを算出することができる。すなわち、任意の光源下での見えを再現したレンダリング画像を生成することが可能となる。式（１）ではランバート拡散反射でのレンダリング画像を生成するが、その他の拡散反射特性やそれに加えて鏡面反射特性でのレンダリング画像を生成することもできる。

次に、図１および図２Ａを参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１の外観図である。図２Ａは、撮像装置１のブロック図である。

撮像装置１は、レンダリング処理を行ってレンダリング画像（リライティング画像）を生成する。図１に示されるように、撮像装置１は、被写体を撮像する撮像部１００および光源部２００を有する。図２に示されるように、撮像部１００は、撮像光学系１０１および撮像素子１０２を有する。光源部２００は、互いに異なる複数の位置からの光を被写体に光を照射可能に構成されている。本実施例において、光源部２００は８つの光源２００ａ〜２００ｈを有するが、これに限定されるものではない。照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、入力画像を取得するために少なくとも３つ以上の光源を備えていればよい。また本実施例において、撮像部１００を構成する撮像光学系の光軸ＯＡから等距離の位置に同心円状に８つの光源を等間隔で配置しているが、これに限定されるものではない。また本実施例において、光源部２００は、撮像装置１に内蔵されているが、これに限定されるものではない。光源部２００は、撮像装置１に着脱可能に取り付けられるように構成されていてもよい。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。すなわち撮像素子１０２は、撮像光学系１０１により形成された被写体の像（光学像）を光電変換し、アナログ電気信号（入力画像に対応する画像データ）を生成する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換により生成されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。

画像処理部（処理装置）１０４は、Ａ／Ｄコンバータ１０３から入力されたデジタル信号に対して、各種の画像処理を行う。また本実施例において、画像処理部１０４は、被写体の法線情報を算出し、任意の光源下でのレンダリング画像を生成する。画像処理部１０４は、入力画像取得部１０４ａ、法線情報取得部１０４ｂ、第一レンダリング部１０４ｃ、領域検出部１０４ｄ、ゲイン取得部１０４ｅ、ゲイン補正部１０４ｆ、第二レンダリング部（レンダリング部）１０４ｇを有する。

画像処理部１０４により処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部（ディスプレイ）１０５に表示してもよい。本実施例において、入力画像取得部１０４ａ、法線情報取得部１０４ｂ、第一レンダリング部１０４ｃ、領域検出部１０４ｄ、ゲイン取得部１０４ｅ、ゲイン補正部１０４ｆ、および、第二レンダリング部１０４ｇは、撮像装置１に内蔵されている。ただし本発明は、これに限定されるものではなく、前述の各部の少なくとも一部を撮像装置１とは別に設けてもよい。

情報入力部１０８は、ユーザにより選択された撮影条件（絞り値、露出時間、および、焦点距離等）をシステムコントローラ１１０に供給する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した所望の撮影条件で画像を取得する。照射光源制御部１０６は、システムコントローラ１１０の制御指示に応じて光源部２００の発光状態を制御する。また情報入力部１０８は、ユーザにより選択された光源条件（光源位置、光源強度、および、光源色等）をシステムコントローラ１１０に供給する。画像処理部１０４は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した所望の光源条件でレンダリング画像（リライティング画像）を生成する。なお本実施例において、撮像光学系１０１は、撮像装置１と一体的に構成されているが、これに限定されるものではない。本発明は、撮像素子を有する撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えて構成される一眼レフカメラやミラーレスカメラ等のカメラシステムにも適用可能である。

次に、図３乃至図８を参照して、本実施例におけるレンダリング処理（処理方法）について説明する。図３は、レンダリング処理を示すフローチャートである。本実施例のレンダリング処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての処理プログラムに従って実行される。なお処理プログラムは、例えば、コンピュータに読み取り可能な記憶媒体（システムコントローラ１１０の内部メモリ等）に記憶されている。図４は、レンダリング処理のうち図３のステップＳ１０１〜Ｓ１０４の説明図である。図５は、レンダリング処理のうち図３のステップＳ１０５〜Ｓ１０８の説明図である。ステップＳ１０１〜Ｓ１０４は、法線情報の誤差が大きい対象領域（エラー領域）を検出するステップである。ステップＳ１０５〜Ｓ１０８は、レンダリング処理のゲインマップを取得して補正し、補正したゲインマップをベースとなるベース画像（第１の画像）に適用することで高品位なレンダリング画像（第２の画像）を生成するステップである。

まず、図３のステップＳ１０１において、入力画像取得部１０４ａは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで撮像部１００により取得された複数の入力画像１２０を取得する。複数の入力画像１２０は、単一の光源の位置を（駆動部などを用いて）変更しながら単一の光源からの光を順次照射することで取得することができる。または、複数の入力画像１２０を、それぞれ位置の異なる複数の光源（例えば、図１に示される８つの光源２００ａ〜２００ｈ）からの光を順次照射して取得してもよい。図４に示されるように、本実施例の入力画像１２０は、被写体として拡散特性である拡散板１２０ａと金属板１２０ｂとを含む。

また、後述するステップＳ１０２にてランバート反射等の拡散反射モデルを仮定した照度差ステレオ法で法線情報を取得する場合、入力画像として撮影画像から鏡面反射成分を除去した複数の拡散反射画像を用いてもよい。画像から鏡面反射成分を除去した拡散反射画像を取得するため、例えば、２色性反射モデルによる手法を用いることができる。ただし、画像から鏡面反射成分を除去する手法はこれに限定されるものではなく、種々の手法を用いることが可能である。

続いてステップＳ１０２において、法線情報取得部１０４ｂは、法線情報を取得する。本実施例において、具体的には、法線情報取得部１０４ｂは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の入力画像１２０を用いて、被写体の法線情報ｎおよび反射率ρを含む被写体情報１２１を取得する。法線情報ｎおよび反射率ρは、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいて算出される。なお本実施例において、法線情報取得部１０４ｂは、法線情報ｎおよび反射率ρを算出するが、他のユニットが算出した法線情報や反射率を取得してもよい。また法線情報取得部１０４ｂは、ステップＳ１０１にて取得した複数の入力画像１２０とは異なる光源条件で撮像された画像を用いて法線情報を算出してもよい。ここで、入力画像１２０における拡散板１２０ａに関しては、被写体の反射特性を拡散反射と仮定した照度差ステレオ法で法線情報を取得することが可能である。一方、金属板１２０ｂに関しては法線情報に大きな誤差（エラー）が生じる。

続いてステップＳ１０３において、第一レンダリング部１０４ｃは、第１の仮レンダリング画像１２２を生成する。第１の仮レンダリング画像１２２は、ステップＳ１０２にて取得した法線情報ｎおよび反射率ρとステップＳ１０１にて取得した入力画像１２０が撮像された際の光源条件のうちの少なくとも１つの光源条件（第１の光源条件）に基づいて生成される。すなわち第一レンダリング部１０４ｃは、取得した法線情報ｎおよび反射率ρを用いて、入力画像１２０を再現した第１の仮レンダリング画像１２２を生成する。第１の仮レンダリング画像１２２は、入力画像１２０が撮像された光源条件と同一の光源条件でレンダリングされた画像である。また第１の仮レンダリング画像１２２は、ステップＳ１０２にて法線情報を算出する際に仮定した反射特性を用いてレンダリング処理により生成される。ランバート拡散を仮定して法線情報を算出した場合、第一レンダリング部１０４ｃは、式（１）に従って複数のレンダリング画像を生成することができる。なお、第１の仮レンダリング画像１２２は、複数の入力画像１２０のうち一部の入力画像に対応する仮レンダリング画像、または、複数の入力画像１２０の全ての入力画像に対応する複数の仮レンダリング画像のいずれであってもよい。なお、本願明細書において、「仮レンダリング画像」とは、本実施例の処理において最終的に生成されるレンダリング画像としての第２の画像とは異なるレンダリング画像を言う。すなわち、仮レンダリング画像は後述のように、被写体の材質に依っては破綻した部分を含み得る。

続いてステップＳ１０４において、領域検出部１０４ｄは、ステップＳ１０１で取得された入力画像１２０とステップＳ１０３で生成された第１の仮レンダリング画像１２２とに基づいて、対象領域（エラー領域）の分布（エラー領域マップ１２４）を検出する。対象領域は、例えば、法線情報の誤差が周囲と比べて大きい領域である。前述のように、照度差ステレオ法で面法線を算出した場合、仮定した反射特性とは異なる反射特性の被写体については法線誤差（法線エラー）が生じる。このため、誤差が生じた面法線を用いてレンダリング画像を生成すると、レンダリング画像にも誤差（エラー）が生じる。すなわち、拡散反射モデルを仮定した照度差ステレオ法で金属板１２０ｂの面法線を算出すると、大きな誤差が生じる。このため、取得した面法線を用いてレンダリング画像を生成すると、第１の仮レンダリング画像１２２における金属板１２０ｂに対応する斜線領域１２２ｂが破綻する（すなわち、斜線領域１２２ｂにおいて高品位なレンダリング画像を生成することができない）。

そこで領域検出部１０４ｄは、ステップＳ１０１にて取得された入力画像１２０とステップＳ１０３にて生成された第１の仮レンダリング画像１２２との差分（差分画像）１２３に基づいて、エラー領域（対象領域）を検出する。例えば入力画像１２０のうちの１つと、該画像の光源条件を再現した第１の仮レンダリング画像１２２との差分１２３が大きい領域は、照度差ステレオ法で仮定した反射特性とは異なる反射特性の被写体である可能性が高い。

本実施例において、領域検出部１０４ｄは、例えば、入力画像１２０と第１の仮レンダリング画像１２２との差分１２３が所定の閾値以上である領域を検出し、その領域をエラー領域とする。好ましくは、領域検出部１０４ｄは、差分１２３を反射率ρで除した正規化差分に基づいてエラー領域を決定する。または、領域検出部１０４ｄは、差分１２３を入力画像１２０または複数の入力画像１２０の平均値もしくは中央値等の入力画像１２０に基づく画像で除した正規化差分に基づいてエラー領域を決定してもよい。差分１２３を反射率ρや入力画像１２０に基づく画像で除することにより、算出した差分１２３から明るさの影響を低減（好ましくは除外）することができる。

また領域検出部１０４ｄは、複数の入力画像１２０と複数の第１の仮レンダリング画像１２２との複数の差分１２３における最大値である最大差分、または、複数の差分１２３の平均値である平均差分に基づいて、エラー領域（対象領域）を決定してもよい。好ましくは、領域検出部１０４ｄは、最大差分や平均差分を反射率ρで除した正規化最大差分または正規化平均差分に基づいてエラー領域を決定する。または、領域検出部１０４ｄは、最大差分や平均差分を、入力画像１２０または複数の入力画像１２０の平均値もしくは中央値等の入力画像に基づく画像で除した正規化最大差分や正規化平均差分に基づいてエラー領域を決定してもよい。

また、法線情報を用いたレンダリング処理では、光が遮られて発生する影を再現することができない。したがって、差分（差分画像）１２３ａに示されるように、入力画像１２０と第１の仮レンダリング画像１２２との差分１２３をとった際に入力画像１２０における影領域１２０ｃにおいて差分１２３ｃが大きくなる。このため、領域検出部１０４ｄは、差分１２３ｃに関して、法線情報ｎが正確であってもエラー領域と検出する可能性がある。そこで、法線情報ｎに加えて形状情報を用いて、影を再現したレンダリング画像を生成することが好ましい。形状情報がない場合、入力画像１２０における影領域１２０ｃを検出し、差分１２３ｂに示されるように検出した影領域においては差分をとらないようにすることが好ましい。入力画像１２０における影領域１２０ｃは、輝度値が所定の閾値以下である領域とすることができる。または、入力画像１２０と第１の仮レンダリング画像１２２との差分と差分の符号とに基づいてエラー領域を検出してもよい。例えば、入力画像１２０における影領域１２０ｃでは、入力画像１２０から第１の仮レンダリング画像１２２を引いた値が負となるため、負の差分領域はエラー領域として検出しないようにする。

領域検出部１０４ｄは、差分１２３ｂに対して閾値処理を行うことにより、検出されたエラー領域のうち黒く表示される領域を最終的なエラー領域として取得することができる。本実施例において、領域検出部１０４ｄは、入力画像１２０と第１の仮レンダリング画像１２２との差分１２３に基づいてエラー領域を検出するが、これに限定されるものではない。領域検出部１０４ｄは、例えば、複数の入力画像１２０における輝度値をフィッティングすることで法線情報ｎを取得し、得られたフィッティング誤差を、エラー領域を検出する際の差分として用いてもよい。

続いてステップＳ１０５において、ゲイン取得部１０４ｅは、任意の光源条件下での見えを再現した高品位なレンダリング画像（第２の画像１２９）を生成するための第１のゲインマップ１２７を取得する。例えば、第一レンダリング部１０４ｃが法線情報ｎおよび反射率ρに基づいて、ユーザにより選択された光源条件（光源位置、光源強度、光源色等）におけるレンダリング画像である第２の仮レンダリング画像１２５を生成する。そしてゲイン取得部１０４ｅは、第２の仮レンダリング画像１２５とベース画像（第１の画像）１２６との比を第１のゲインマップ１２７とする。第２の仮レンダリング画像１２５は、ステップ１０２にて取得された法線情報に基づいて仮定した反射特性を有するものでなくてもよく、その他の拡散反射特性やそれに加えて鏡面反射特性を有していてもよい。

なお、ベース画像（第１の画像）１２６は、例えば、複数の入力画像１２０のうちの一つの画像、または、複数の入力画像１２０の平均値等を有する一つの画像である。好ましくは、ベース画像１２６は、複数の入力画像１２０における同一座標の輝度値が最大の画素を選択して得られた最大値画像である。最大値画像には影が含まれにくいため、ゲインマップ１２７を取得するのに適している。

またゲイン取得部１０４ｅは、入力画像１２０を反射率ρとみなして第２の仮レンダリング画像１２５を生成してもよい。好ましくは、ゲイン取得部１０４ｅは、法線情報ｎと光源条件とに基づいて第１のゲインマップ１２７を取得する。すなわちゲイン取得部１０４ｅは、反射率を１（または定数）とした際の第２の仮レンダリング画像を第１のゲインマップ１２７として取得してもよい。ここでも同様に、金属板１２０ｂにおける面法線には大きな誤差が生じるため、図５に示される第１のゲインマップ１２７における金属板１２０ｂの領域（斜線領域１２７ｂ）に破綻が生じる。このため、高品位なレンダリング画像としての第２の画像１２９を生成することができない。

続いてステップＳ１０６、Ｓ１０７において、図５に示されるように、ゲイン補正部１０４ｆは、第１のゲインマップ１２７におけるエラー領域（対象領域）に対して、補正処理を行う。まずステップＳ１０６において、ゲイン補正部１０４ｆは、ステップＳ１０４にて検出されたエラー領域（対象領域）に基づいて参照画素を選択する。参照画素は、後述のステップＳ１０７にてエラー領域内（対象領域内）のエラー画素（対象画素）におけるゲインを補正するために用いられる画素であり、対象画素の周囲から選択される。

図６および図７は、ステップＳ１０６における参照画素の選択方法を示す図である。一例として、第１のゲインマップ１２７における対象画素を中心とした７画素×７画素の範囲に着目して説明する。図６において、１２４は、当該範囲におけるエラー領域（対象領域）１２４ａの分布を示すエラー領域マップである。エラー領域マップ１２４において、エラー領域（対象領域）１２４ａは黒く示されている。ゲイン補正部１０４ｆは、エラー領域（対象領域）１２４ａではない画素を参照画素として選択する。図６において１３０は、上述の着目範囲における参照画素として選択される領域を示す参照領域マップである。参照領域マップ１３０において、参照画素は斜線で示されている。このように、ゲイン補正部１０４ｆは、エラー領域（対象領域）の分布に基づき、エラー領域外（対象領域外）の領域の画素を参照画素として選択する。自然なレンダリング画像が得られるようにゲインマップの補正を行うには、エラー領域（対象領域）１２４ａ外の参照画素を用いてエラー領域１２４ａのゲインを補正する必要があるためである。

図７に示されるように、ゲイン補正部１０４ｆは、エラー領域（対象領域）１２４とガイド画像１３１とに基づいて参照画素を選択してもよい。ガイド画像とは、参照画素を選択する際に用いられる被写体に関する画像である。ガイド画像は入力画像１２０のうちの１枚でも良いし、入力画像１２０の最大値画像でも良い。また、ガイド画像１３１としてベース画像（第１の画像）１２６を用いても良い。

この場合、エラー領域（対象領域）マップ１２４に基づいて選択された参照画素１３０ａ（斜線で示される）と、ガイド画像１３１に基づいて選択された参照画素１３０ｂ（斜線で示される）との共通画素から成る領域を参照領域マップ１３０とする。

参照画素１３０ｂは、例えばガイド画像１３１における対象画素と、対象画素を中心とする７×７の着目範囲内の他の画素との色差に基づいて選択される。具体的には、ガイド画像１３１における対象画素とその周辺の画素との色差が所定の閾値（所定の色差）以下である画素を参照画素１３０ｂとして選択することができる。色差の閾値としては、ＬＡＢ色空間におけるユークリッド距離を色差としたときの丁度可知差異（２．３など）を用いればよい。ただし、色差の閾値はこれに限定されるものではない。なお、ガイド画像１３１におけるＲＧＢ間の相互の信号値の比（輝度比）を色差として用いても良い。

また、参照画素１３０ｂは、ガイド画像１３１における対象画素とその周辺の画素との輝度差に基づいて選択されてもよい。具体的には、ガイド画像１３１における対象画素とその周辺の画素との輝度差が所定の閾値（所定の輝度差）以下である画素を参照画素１３０ｂとして選択することができる。

また、ガイド画像１３１に影や輝度飽和等が存在して後述するゲインの補正が困難になる場合があるため、ガイド画像１３１の輝度値に基づいて参照画素を選択してもよい。具体的には、ガイド画像１３１において輝度値と所定の閾値とに基づいて参照画素を選択することができる。影の影響を除外するには、ガイド画像１３１において輝度値が所定の閾値以上である画素を参照画素として選択する。または、第１のゲインマップ１２７におけるゲインに基づいて参照画素を選択してもよい。ベース画像１２６が影等で輝度値が著しく低い場合、ゲインは無限大方向に大きくなる。したがって、第１のゲインマップ１２７においてゲインが所定の閾値以下である画素を参照画素として選択することができる。また、輝度飽和の影響を除外するにはガイド画像１３１において輝度値が所定の閾値よりも小さい画素を参照画素として選択すればよい。

また、参照画素の選択に際しては、第１のゲインマップの生成に用いられた法線情報とは異なる方法で取得された被写体の形状に関する情報を用いても良い。被写体の形状に関する情報としては、例えば撮影位置から被写体までの距離情報や、被写体の凹凸（高さ）に関する情報である。距離情報や被写体の凹凸（高さ）に関する情報は、レーザ光を用いた三角測量や２眼ステレオ等の種々の距離計測手法を用いて取得すればよい。また、参照画素の選択に用いる情報は、第１のゲインマップの生成に用いられた法線情報とは異なる方法で取得された法線情報であっても良い。これらの被写体の形状に関する情報における対象画素に対応する位置と、その周辺の位置との形状差を比較することによっても参照画素を選択することができる。具体的には、対象画素に対応する位置とその周辺の位置形状差が所定の閾値以下である位置に対応する第１のゲインマップの画素を参照画素として選択する。

さらに、参照画素の選択に際して、被写体の意味的領域分割マップ（セグメンテーションマップ）を用いてもよい。例えば、意味的領域分割マップにおける対象画素に対応する位置の周辺に、対象画素に対応する位置と同じ意味を持つ領域がある場合には、該領域に対応する画素を参照画素として選択することができる。なお、意味的領域分割は、種々の手法を用いることができる。このとき、被写体ごとまたは素材ごとに領域分割されていることが好ましい。

上述のように参照画素を選択することで、より自然なレンダリング画像が得られるように第１のゲインマップ１２７を補正することができる。なお、上述した種々の参照画素の選択の方法を２つ以上組み合わせて用いても良い。また、本実施例では、対象画素を中心とする７×７の着目範囲において参照画素を選択したが、本発明は、これに限定されるものではない。

続いて、図３のステップＳ１０７において、ゲイン補正部１０４ｆは、図８に示されるように、第１のゲインマップ１２７におけるステップＳ１０６にて得られた参照領域マップ１３０に基づいて、対象画素のゲインを補正する。これによりゲイン補正部１０４ｆは、対象画素のゲイン値が補正されたゲインマップ１３２を取得することができる。対象画素のゲインの補正は、第１のゲインマップ１２７における参照画素１２７ｅｘのゲインを用いて行われる。複数の参照画素が存在する場合、第１のゲインマップ１２７における参照画素１２７ｅｘのゲインの平均値を対象画素のゲインとすればよい。ここで、ベース画像１２６において影等で輝度値が著しく低い場合、ゲインが無限大方向に大きくなる場合がある。したがって、前述のように、ベース画像１２６において影等で輝度値が著しく低い画素を参照画素として用いないことが好ましい。また、ゲインが著しく大きい画素は参照しないようにしてもよい。また、ベース画像１２６において輝度飽和している画素が存在する場合、不確かな輝度飽和した輝度値を用いることになり、正確なゲインを算出できない可能性がある。したがって、前述のように、ベース画像１２６において輝度飽和している画素を参照画素として用いないことが好ましい。

続いてステップＳ１０８において、ゲイン補正部１０４ｆは、ステップＳ１０６、Ｓ１０７の処理を第１のゲインマップ１２７におけるエラー領域（対象領域）の全てに対して行ったか否かを判定する。一部のエラー領域に対する処理を行っていない場合、ステップＳ１０６に戻る。この際、前回のステップＳ１０６、Ｓ１０７の処理により補正された対象画素を参照画素として用いても良い。

一方、エラー領域の全てに対する処理が完了した場合、ステップＳ１０９に進む。これによりゲイン補正部１０４ｆは、法線情報の誤差が低減された高品位なレンダリング画像（第２の画像１２９）を生成するために必要な、補正されたゲインマップ（第２のゲインマップ）１２８を取得することができる。

続いてステップＳ１０９において、第二レンダリング部１０４ｇは、図５に示されるように、ベース画像（第１の画像）１２６に対して、第２のゲインマップ１２８を適用する。これにより第二レンダリング部１０４ｇは、法線情報の誤差が低減された高品位なレンダリング画像（第２の画像１２９）を生成することができる。例えば、第２の画像１２９は、（ベース画像（第１の画像）１２６）×（第２のゲインマップ１２８）により生成される。ベース画像１２６は、ステップＳ１０５にて用いられたベース画像を用いればよい。ステップＳ１０５にてベース画像を用いていない場合、反射率や入力画像に基づく画像を用いてもよい。

なお本実施例では、撮像装置１を用いて被写体の面法線を算出して第２の画像１２９を生成しているが、これに限定されるものではない。例えば図２Ｂに示されるように、撮像装置１とは異なる処理システム２を用いて第２の画像１２９を生成してもよい。図２Ｂは、処理システム２のブロック図である。処理システム２は、処理装置５００、撮像部５０１、および光源部５０２を有する。処理装置５００は、入力画像取得部５００ａ、法線情報取得部５００ｂ、第一レンダリング部５００ｃ、領域検出部５００ｄ、ゲイン取得部５００ｅ、ゲイン補正部５００ｆ、および、第二レンダリング部５００ｇを有する。

処理システム２を用いて第２の画像１２９を生成する場合、まず入力画像取得部５００ａは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の入力画像１２０を取得する。続いて、法線情報取得部５００ｂは、複数の入力画像１２０に基づいて被写体の法線情報ｎおよび反射率ρを算出する。そして第一レンダリング部５００ｃは、取得した法線情報ｎおよび反射率ρと入力画像が撮像された際の光源条件に基づいて第１の仮レンダリング画像１２２を生成する。また領域検出部５００ｄは、取得した入力画像１２０と第１の仮レンダリング画像１２２とに基づいてエラー領域（対象領域）１２４を検出する。

ゲイン取得部５００ｅは、任意の光源条件における第２の画像１２９を生成するための第１のゲインマップ１２７を取得する。そしてゲイン補正部５００ｆは、第１のゲインマップ１２７におけるエラー領域（対象領域）に対して補正処理を行い、第２のゲインマップ１２８を取得する。そして第二レンダリング部５００ｇは、第２のゲインマップ１２８を用いて第２の画像１２９を生成する。なお、撮像部５０１および光源部５０２はそれぞれ、個別の装置であってもよく、また、光源部５０２は撮像部５０１に内蔵されていてもよい。

本実施例によれば、高品位なレンダリング画像を生成することができる。

次に、図９を参照して、本発明の実施例２について説明する。実施例１では、光源を内蔵した撮像装置について説明したが、本実施例では撮像装置と光源ユニットとから構成される処理システムについて説明する。図９は、処理システム３の外観図である。処理システム３は、被写体３０３を撮像する撮像装置３０１、および、複数の光源ユニット３０２を備えて構成される。本実施例の撮像装置３０１は、実施例１と同様の撮像装置であるが、複数の光源を内蔵する構成である必要はない。

光源ユニット３０２は、撮像装置３０１と有線または無線で接続され、撮像装置３０１からの情報に基づいて制御できることが好ましい。また、照度差ステレオ法では少なくとも３つの光源を順次照射して撮像された画像が必要であるが、光源が移動可能に構成された光源ユニットを使用する場合、少なくとも１つの光源ユニットを備えていればよい。ただし、光源を移動させて、少なくとも互いに異なる３つの光源位置で撮像を行う必要がある。なお、光源ユニット３０２が自動で光源位置を変更できない場合や光源ユニット３０２が撮像装置３０１により制御できない場合、撮像装置３０１の表示部に表示される光源位置に位置するようにユーザに光源ユニット３０２を調整させてもよい。なお、本実施例のレンダリング処理は、実施例１の処理と同様であるため、詳細な説明は省略する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理部（処理装置）
１０４ｅ ゲイン取得部
１０４ｆ ゲイン補正部
１０４ｇ 第二レンダリング部（レンダリング部）

Claims (22)

1. 被写体の形状に関する形状情報に基づいて生成された第１のゲインマップを取得するゲイン取得部と、
   前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第１のゲインマップと、を用いて前記第１のゲインマップを補正することで、第２のゲインマップを生成するゲイン補正部と、
   前記被写体に関する第１の画像に対して前記第２のゲインマップを適用することで、前記被写体のレンダリング画像としての第２の画像を生成するレンダリング部と、
   を有することを特徴とする処理装置。
2. 前記形状情報は前記被写体の法線情報であることを特徴とする請求項１に記載の処理装置。
3. 互いに異なる複数の位置からの光を被写体に順次照射して撮影された複数の画像に基づいて算出された前記法線情報を取得する法線情報取得部を更に有することを特徴とする請求項２に記載の処理装置。
4. 第１の光源条件で前記被写体を撮影した画像と、前記形状情報に基づいて生成された前記第１の光源条件での前記被写体の第１の仮レンダリング画像に基づいて、前記対象領域を検出する領域検出部を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の処理装置。
5. 前記ゲイン取得部は、前記形状情報を用いて生成された前記被写体の第２の仮レンダリング画像と、前記第１の画像と、に基づいて前記第１のゲインマップを生成することを特徴とする請求項1乃至４のいずれか一項に記載の処理装置。
6. 前記第１のゲインマップは、前記第２の仮レンダリング画像と前記第１の画像の比の値のマップであることを特徴とする請求項５に記載の処理装置。
7. 前記形状情報は、互いに異なる複数の位置からの光を被写体に順次照射して撮影された複数の画像に基づいて算出された前記被写体の法線情報であり、
   前記第１の画像は、前記複数の画像のうちの１枚、または、前記複数の画像に基づいて生成された画像であることを特徴とする請求項５または６に記載の処理装置。
8. 前記第１の画像は、前記複数の画像における同一座標の輝度値が最大の画素を選択して得られた画像であることを特徴とする請求項７に記載の処理装置。
9. 前記ゲイン補正部は、前記第１のゲインマップにおける前記対象領域に対応する領域内の対象画素を、該対象画素の周囲に位置する画素である参照画素のゲイン値を用いて補正することで、前記第２のゲインマップを生成することを特徴とする請求項１乃至８のいずれか１項に記載の処理装置。
10. 前記参照画素は、前記対象領域に対応する領域外の画素であることを特徴とする請求項９に記載の処理装置。
11. 前記参照画素は、前記被写体に関するガイド画像において前記対象画素に対応する画素と、前記ガイド画像における他の画素との色差を用いて選択されることを特徴とする請求項９または１０に記載の処理装置。
12. 前記参照画素は、前記被写体に関するガイド画像における輝度値を用いて選択されることを特徴とする請求項９乃至１１のいずれか一項に記載の処理装置。
13. 前記形状情報は、互いに異なる複数の位置からの光を被写体に順次照射して撮影された複数の画像に基づいて算出された前記被写体の法線情報であり、
    前記ガイド画像は、前記複数の画像のうちの１枚、または、前記複数の画像に基づいて生成された画像であることを特徴とする請求項１１または１２に記載の処理装置。
14. 前記ガイド画像は、前記複数の画像における同一座標の輝度値が最大の画素を選択して得られた画像であることを特徴とする請求項１３に記載の処理装置。
15. 前記参照画素は、前記第１のゲインマップのゲイン値を用いて選択されることを特徴とする請求項９乃至１４のいずれか一項に記載の処理装置。
16. 前記参照画素は、前記第１のゲインマップの生成に用いられた前記形状情報とは異なる方法で取得された前記被写体の形状に関する情報、または、前記被写体の意味的領域分割マップを用いて選択されることを特徴とする請求項９乃至１５のいずれか一項に記載の処理装置。
17. 被写体を撮像する撮像部と、
    請求項１乃至１６のいずれか一項に記載の処理装置と、
    を有することを特徴とする撮像装置。
18. 互いに異なる複数の位置からの光を被写体に光を照射可能に構成された光源部と、
    請求項３乃至１６のいずれか１項に記載の処理装置と、を有することを特徴とする処理システム。
19. 被写体を撮像する撮像部を更に有することを特徴とする請求項１８に記載の処理システム。
20. 被写体の形状に関する形状情報に基づいて生成された第１のゲインマップを取得する工程と、
    前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第１のゲインマップと、を用いて前記第１のゲインマップを補正することで、第２のゲインマップを生成する工程と、
    前記被写体に関する第１の画像に対して前記第２のゲインマップを適用することで、前記被写体のレンダリング画像としての第２の画像を生成する工程と、
    を有することを特徴とする処理方法。
21. 請求項２０に記載の処理方法を、コンピュータに実行させることを特徴とするプログラム。
22. 請求項２１に記載のプログラムを記憶した、コンピュータが読み取り可能な記憶媒体。