JP2020160681A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 反射強度のピークを１つ有する反射モデルを測定値に近似させて物体の反射特性を決定する際に、高精度に物体の反射特性を決定するための画像処理を提供することを目的とする。【解決手段】 物体を複数の幾何条件において撮像して得られる反射強度に対する、反射強度のピークを１つ有する反射モデルを用いた近似によって、物体の反射特性を決定する画像処理装置であって、光源からの光が照射された前記物体の撮像を行う際の幾何条件と、前記撮像により得られる前記物体における光の反射強度と、の対応関係を表すデータを取得する取得手段と、前記データに基づいて、前記対応関係に表れる反射強度のピークに関する情報を検出する検出手段と、前記ピークに関する情報に基づいて、前記反射モデルが有する反射強度のピークと前記対応関係に表れる反射強度のピークとが一致するように、前記対応関係に対する前記反射モデルを用いた近似によって、前記物体の反射特性を決定する決定手段と、を有することを特徴とする。【選択図】 図７

Description

本発明は、物体の反射特性を決定するための画像処理技術に関する。

物体の素材や塗装の質感を表現するために、光源から物体に対して入射する光の角度と物体を観察する角度とに応じて反射強度が異なる反射特性を測定する技術が知られている。特許文献１は、複数の角度から物体を撮像して得られる複数の画像を入力し、入力した画像の画素値に反射モデルを近似させることによって物体の反射特性を決定する技術を開示している。一般的に、物体の反射特性を決定する際に用いられる反射モデルは、反射強度のピークを１つ有する反射モデルである。

特開２００３−２０３２２０号公報

しかしながら、特許文献１のように、複数の幾何条件において物体を撮像して複数の画像を得る際、物体の特性に応じて１つの画素位置において反射強度のピークが複数測定されてしまう場合がある。この場合、高精度に反射特性を決定できないという課題があった。

本発明は、上記課題に鑑みてなされたものであり、反射強度のピークを１つ有する反射モデルを測定値に近似させて物体の反射特性を決定する際に、高精度に物体の反射特性を決定するための画像処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、物体を複数の幾何条件において撮像して得られる反射強度に対する、反射強度のピークを１つ有する反射モデルを用いた近似によって、物体の反射特性を決定する画像処理装置であって、光源からの光が照射された前記物体の撮像を行う際の幾何条件と、前記撮像により得られる前記物体における光の反射強度と、の対応関係を表すデータを取得する取得手段と、前記データに基づいて、前記対応関係に表れる反射強度のピークに関する情報を検出する検出手段と、前記ピークに関する情報に基づいて、前記反射モデルが有する反射強度のピークと前記対応関係に表れる反射強度のピークとが一致するように、前記対応関係に対する前記反射モデルを用いた近似によって、前記物体の反射特性を決定する決定手段と、を有することを特徴とする。

本発明によれば、反射強度のピークを１つ有する反射モデルを測定値に近似させて物体の反射特性を決定する際に、高精度に物体の反射特性を決定することができる。

画像処理装置のハードウェア構成を示すブロック図 画像処理装置の機能構成を示すブロック図 画像処理装置が実行する処理を示すフローチャート 撮像時の幾何条件を示す模式図 撮像時の幾何条件と反射強度との対応関係の一例を示す図 メタリック塗装された物体の反射特性を説明するための模式図 画像処理装置が実行する処理の効果を説明するための模式図 画像処理装置の機能構成を示すブロック図 画像処理装置が実行する処理を示すフローチャート

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
物体を複数の幾何条件において撮像して得られた複数の画像の画素値（測定値）に、画素位置ごとに反射モデルを近似させることにより、物体の反射特性を決定する技術がある。具体的には、複数の画像から物体上のある位置に対応する画素群の画素値を取得し、取得した画素値を撮像時の幾何条件に応じた分布とする。この分布は、撮像時の幾何条件と反射強度との対応関係を表す。この対応関係に近似させる反射モデルには、一般的に、反射強度のピークを１つ有する反射モデルが用いられる。以下、反射強度のピークを反射ピークと呼ぶ。例えば、市販のレンダリングソフトなどにおいてよく用いられるＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルなどがある。しかし、物体の種類や撮像条件によっては、同じ位置に対応する画素群の画素値の分布に複数の反射ピークが表れる場合があり、精度良く反射モデルを近似できない場合があった。以下において、図６を参照して、同じ位置に対応する画素群の画素値の分布に複数の反射ピークが測定される原因の一例について説明する。図６は、プラスチックの基材上にメタリック塗装が施された物体の断面を模式的に示した図である。基材６１０上に形成されたメタリック塗膜６２０の中には、アルミフレーク６３０乃至６３２が含有されている。図６に示す物体に光源からの光が照射される場合、入射光はアルミフレーク６３０、６３１及び６３２において鏡面反射される。鏡面反射の方向は、アルミフレーク６３０乃至６３２の向きに応じて変わる。このアルミフレーク６３０乃至６３２の向きに応じた鏡面反射光は、微小な輝点の位置がきらきらと変化するように視認される。照明の位置や観察角度の変化に応じて微小な輝点の位置がきらきらと変化する特性から惹起される感覚は光輝感と呼ばれる。光輝感の度合いを感覚量として評価する際には、観察角度ごとの輝点の面積及び輝点の反射強度が用いられる。例えば、ガードナー社製ＢＹＫ−Ｍａｃにおいても、観察角度ごとの輝点の面積及び輝点の反射強度を基にした光輝感評価値が算出されている。

図６に示す物体を撮像する際に、物体において、撮像画像の１画素に対応する領域６４０内にアルミフレークが複数含まれている場合がある。この場合、上述したように、領域６４０に対応する画素群の画素値の分布に複数の反射ピークが測定されるため、測定値に対して単純に１つの反射ピークを有する反射モデルを近似させたとしても、高精度に反射特性を決定できない。一般的な塗装で用いられるアルミフレークは小さいもので数μｍの粒径を有する。このため、反射特性を決定する単位領域内に複数のアルミフレークが含まれないためには、撮像装置が少なくとも２５４０ｄｐｉ以上の高い空間分解能を有している必要がある。また、撮像方向やアルミフレークの向きに応じて観察されるアルミフレークの見かけの大きさは異なるため、反射特性を決定する単位領域内にアルミフレークが複数含まれないための適切な空間分解能を予め定義することは困難である。一方で、高精度に物体の反射特性を決定するために撮像装置の空間分解能を上げると、データ量が膨大となってしまう。そこで、本実施形態においては、物体の単位領域内において測定された反射ピークの数と同数の反射モデルの組み合わせを用いて測定値に対する近似を行い、該反射モデルから該単位領域に適した１つの反射モデルを該単位領域の反射特性として適応的に選択する。これにより、測定値に対して直接１つの反射ピークを有する反射モデルを近似させる場合よりも高精度に物体の反射特性を決定することができる。

以下において、本実施形態の装置構成及び処理の詳細を説明する。尚、本実施形態においては、撮像装置の空間分解能を明視距離における一般的な視覚分解能３５０ｄｐｉとし、アルミフレークの平均粒径を３０μｍとする。

＜画像処理装置のハードウェア構成＞
本実施形態における画像処理装置のハードウェア構成について、図１を参照して説明する。図１は、画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、画像処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３や各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３や汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。

＜画像処理装置の機能構成＞
図２は、画像処理装置１の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図２に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。

画像処理装置１は、第１取得部２０１と、第２取得部２０２と、生成部２０３と、導出部２０４と、決定部２０５と、補正部２０６と、保持部２０７と、を有する。第１取得部２０１は、保持部２０７から、ＵＩを介してユーザにより指定された複数の画像データを取得する。第１取得部２０１が取得する複数の画像データは、複数の幾何条件において物体を撮像して得られたグレースケールの画像データである。ここでは、複数の画像データは、撮像装置の位置は固定として、光源の位置を変えながら撮像して得られるものであるとする。その結果、複数の画像データが表す複数の画像は、同一画素位置が物体上の同一位置に対応している。第２取得部２０２は、保持部２０７から、第１取得部２０１が取得する画像データそれぞれに対応する撮像時の幾何条件を表す幾何条件データを取得する。撮像時の幾何条件については後述する。生成部２０３は、複数の画像データと幾何条件データとに基づいて、各画素位置における撮像時の幾何条件と反射強度との対応関係を表す反射強度データを生成する。ここで、反射強度データは、ある画素位置に対応する画素群の画素値から算出される反射強度の分布を表す。導出部２０４は、反射強度データに基づいて、撮像時の幾何条件と反射強度との対応関係に、反射強度データにおける反射ピークそれぞれに合わせて近似された反射モデルを導出することよって、各画素位置において、反射特性を特定するパラメータを導出する。尚、上述したように、導出部２０４は、近似するための反射モデルとして、１つの反射ピークを有する関数を用いる。具体的には、導出部２０４はまず、反射強度データに基づいて、反射ピークに関する情報を検出する。ここでは、導出部２０４は、反射ピークに関する情報として、反射ピークの数を検出する。導出部２０４は、撮像時の幾何条件と反射強度との対応関係に表れる反射ピークと同じ数の反射モデルを対応関係に近似させることによって、対応関係における各反射ピークに対して反射モデルを近似させる。本実施形態においては、１つの反射モデルを規定するために複数のパラメータが必要であるとする。従って、導出部２０４は、撮像時の幾何条件と反射強度との対応関係に表れる反射ピークと同じ数、反射特性を特定するパラメータの組み合わせを導出する。例えば、ある画素位置において、撮像時の幾何条件と反射強度との対応関係に表れる反射ピークが３つであった場合、反射特性を特定するパラメータの組み合わせを３つ導出する。決定部２０５は、各画素位置において、導出部２０４により導出されたパラメータの組み合わせが複数ある場合は、その複数のパラメータの組み合わせから１つの組み合わせを選択することにより、画素位置における反射特性を決定する。尚、導出部２０４により導出されたパラメータの組み合わせが１つである場合は、決定部２０５は、導出されたパラメータの組み合わせを選択する。反射強度データが表す対応関係に反射ピークが複数ある画素位置には、物体における単位領域に複数の異なる反射特性が混在している可能性がある。そこで、決定部２０５は、対応関係に含まれる反射ピークごとに、反射モデルを近似させることによって、反射ピークの高さや位置の異なる複数の反射モデルを算出し、複数の異なる反射モデルから１つの反射モデルを選択する。処理の詳細については後述する。補正部２０６は、各画素において、決定部２０５によって選択されたパラメータの１つの組み合わせが規定する反射モデル式の値と、反射強度データが表す対応関係における反射強度と、の差分を算出する。さらに、補正部２０６は、算出した差分に基づいて、差分を算出した画素以外に対応する未処理の反射強度データを補正する。保持部２０７は、画像データや幾何条件データ等のデータを保持している。

＜画像処理装置が実行する処理＞
図３は、画像処理装置１が実行する処理を示すフローチャートである。以下、図３を参照して、画像処理装置１の処理の詳細を説明する。尚、図３のフローチャートが示す処理は、ＣＰＵ１０１がユーザにより入力デバイス１１０を介して入力された情報を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、第１取得部２０１は、保持部２０７から、ＵＩを介してユーザにより指定された複数の画像データを取得する。尚、第１取得部２０１は、複数の画像データをＨＤＤ１１３等の外部の記憶装置から取得してもよい。取得される複数の画像データは、所定の幾何条件において反射特性を決定する対象の物体（以下、対象物体と呼ぶ）を撮像して得られる画像データ群と、所定の幾何条件において白色板を撮像して得られる画像データ群と、である。図４は、撮像時の幾何条件の一例を示す図である。面光源４１０は、複数の点光源から成り、台４３０に設置されている対象物体４２０に光を照射する。撮像装置４４０は、面光源４１０により光が照射された対象物体４２０を撮像する。具体的な撮像の方法を以下に説明する。面光源４１０に含まれる各点光源を１つずつ点灯させる。撮像装置４４０は、各点光源の点灯の度に対象物体４２０を撮像する。これにより、撮像装置４４０は、異なる角度から光が入射した際の対象物体４２０における反射光を受光することができるため、複数の幾何条件それぞれに対応する複数の画像データを生成することができる。白色板についても、白色板を対象物体４２０と同じ位置に配置し、同様の手順で撮像を行うことにより、複数の幾何条件に対応する画像データを生成することができる。尚、保持部２０７には、画素値を正規化した後の画像を表す画像データを保持させておく。正規化後の画像の各画素は、輝度値にリニアな画素値を有しているものとする。一般に、撮像装置から出力される画像はガンマ補正されているため、画素値が輝度値にリニアでない場合がある。このため、本実施形態においては、撮像装置内におけるガンマ補正に用いられた値の逆数を画素値に乗算することにより、画像の画素値を輝度値にリニアな値に予め正規化しておく。以下、正規化に用いた係数を正規化係数と呼ぶ。尚、本実施形態における白色板は、入射した光の全てを拡散反射する完全拡散板である。また、画像の横方向の座標をｘ、縦方向の座標をｙとし、各画素位置の座標を（ｘ，ｙ）により表す。

Ｓ３０２において、第２取得部２０２は、第１取得部２０１が取得する画像データそれぞれに対応する撮像時の幾何条件を表す幾何条件データを取得する。ここで、幾何条件は、光源から物体へ入射する光の角度（以下、入射角度と呼ぶ）と、物体における反射光を撮像装置が受光した角度（以下、受光角度と呼ぶ）と、によって決まる撮像条件である。入射角度と受光角度とはそれぞれ天頂角θ、方位角Φの２つの変数により定義される。つまり、角度を（θ，Φ）のように表すとすると、幾何条件は、入射角度（θ_ｉ，Φ_ｉ）と受光角度（θ_ｊ、Φ_ｊ）との４つの角度により定義される。ここで、θ_ｉは入射角度の天頂角であり、Φ_ｉは入射角度の方位角である。また、θ_ｊは受光角度の天頂角であり、Φ_ｊは受光角度の方位角である。尚、本実施形態おいては、説明を簡易にするため、図４における面光源４１０のうち入射角度の天頂角θのみが変化する１つの列の点光源を点灯させて撮像を行ったものとする。つまり、本実施形態における幾何条件は、入射角度の天頂角θのみを変数とし、Φ_ｉ、θ_ｊ、Φ_ｊは固定とする。

Ｓ３０３乃至Ｓ３０６において、生成部２０３は、複数の画像データと幾何条件データとに基づいて、各画素位置における撮像時の幾何条件と反射強度との対応関係を表す反射強度データを生成する。

Ｓ３０３において、生成部２０３は、初期の注目画素位置（ｘ，ｙ）を決定する。Ｓ３０４において、生成部２０３は、注目画素（ｘ，ｙ）について、撮像時の幾何条件と反射強度との対応関係を導出する。まず、生成部２０３は、複数の画像データそれぞれが表す各画像の注目画素位置（ｘ，ｙ）の画素値に基づいて、幾何条件ごとの反射強度を算出する。反射強度は、対象物体において反射した反射光の強度を表す。本実施形態における反射強度は、対象物体に対応する画像の画素値から算出される輝度値を、白色板に対応する画像の画素値から算出される照度で除算することにより算出される。図４に示す撮像システムにおいては、物体の位置ごとに、物体と点光源との距離が異なる。このため、同じ光の強度の点光源を用いて物体を照明しているにも関わらず、物体の位置ごとに照度が異なってしまう。そこで、照度の違いによる影響をキャンセルするため、輝度値を幾何条件に応じた照度で除算する。尚、輝度値は、対象物体に対応する画像の画素値に正規化係数を乗算することにより算出される。本実施形態においては完全拡散性を有する板を白色板として用いるため、照度は、白色板に対応する画像の輝度値に円周率を乗算することにより算出される。つまり、反射強度は、対象物体に対応する画像データと、対象物体に対応する画像データと同じ幾何条件の撮像により得られた白色板に対応する画像データと、を用いて算出される。尚、本実施形態においては、輝度値を照度で除算した値を反射強度としたが、照度で除算していない輝度値を反射強度として扱ってもよい。例えば、対象物体と面光源が十分に離れた位置にある場合などは、入射光の照度の違いによる影響が少ないので、照度で輝度値を除算しなくてもよい。この場合、白色板の画像データを取得する必要はない。以上の通り、生成部２０３は、撮像時の幾何条件ごとの反射強度を算出することによって、幾何条件と反射強度との対応関係を表す反射強度データを生成する。図５に、Ｓ３０４において導出される撮像時の幾何条件と反射強度との対応関係の例を示す。図５のグラフの横軸が入射角度θ_ｉを表し、縦軸が反射強度を表す。図５（ａ）は、反射ピークが１つの場合であり、図５（ｂ）は、反射ピークが２つの場合である。図５の例においては、複数の幾何条件における撮像により得られる反射強度のうち、９つの代表的な反射強度がグラフにプロットされている。点線は、各反射ピークに対応する反射強度に別々に１つの反射ピークを有する反射モデルを近似させた結果を表している。実線は、２つの反射ピークに対応する反射強度に反射モデルの組み合わせを近似させた結果を表している。

Ｓ３０５において、生成部２０３は、全ての画素位置（ｘ，ｙ）において反射強度データを生成したか否かを判定する。全ての画素位置（ｘ，ｙ）において反射強度データを生成した場合は、Ｓ３０７へ処理を移行する。全ての画素位置（ｘ，ｙ）において反射強度データを生成していない場合は、Ｓ３０６において注目画素位置を更新して、Ｓ３０４へ処理を移行する。

Ｓ３０７において、導出部２０４は、初期の注目画素位置（ｘ，ｙ）を決定する。Ｓ３０８において、導出部２０４は、注目画素位置の反射強度データが表す撮像時の幾何条件と反射強度との対応関係に反射モデルを近似させることによって、反射特性を特定するパラメータを導出する。具体的に、導出部２０４は、まず、撮像時の幾何条件と反射強度との対応関係に表れる反射ピークの数を算出する。反射ピーク数は、上述した対応関係において隣接する入射角度に対応する反射強度の差分を算出し、差分が負から正に変わった数をカウントすることによって算出される。次に、導出部２０４は、反射モデル式を規定するパラメータの組み合わせを反射ピークの数と同数用意し、それぞれを所定の値に初期化する。本実施形態において用いる反射モデルは正規分布のモデルであり、モデル式を規定するパラメータは、平均値ｍ、分散値σ、加重係数ａである。以下の式（１）は、本実施形態において用いる反射モデル式である。

ｆ（θ）＝｛ａ／√（２πσ^２）｝×ｅｘｐ（−（θ−ｍ）^２／２σ^２）・・・式（１）

次に、導出部２０４は、上述したパラメータの組み合わせそれぞれが特定する反射特性（正規分布）の加重線形和が、反射強度データが表す撮像時の幾何条件と反射強度との対応関係に最も近似するように、パラメータのうち分散値σ、加重係数ａの最適化を、反射ピークが検出された幾何条件に応じた拘束条件において行う。本実施形態においては、反射ピークが検出された角度に平均値ｍをそれぞれ固定することを最適化の拘束条件とする。最適化には、二乗誤差を目的関数とした公知の勾配降下法を使用する。尚、反射モデル式は、正規分布のモデル式以外に、例えば、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルなどの公知のモデル式を用いてもよい。

Ｓ３０９において、決定部２０５は、注目画素位置（ｘ，ｙ）の反射特性を特定するパラメータの組み合わせを決定する。Ｓ３０８において算出された反射ピークの数が１つであった場合は、Ｓ３０８において導出されたパラメータの組み合わせを、注目画素位置（ｘ，ｙ）の反射特性を特定するパラメータの組み合わせとして決定する。Ｓ３０８において算出された反射ピークの数が複数であった場合は、Ｓ３０８において導出された複数のパラメータの組み合わせから１つのパラメータの組み合わせを選択する。具体的には、複数のパラメータの組み合わせのうち、反射ピークが最も高い、つまり、加重係数ａが最も大きいパラメータの組み合わせを選択する。加重係数ａが最も大きいパラメータの組み合わせを選択することによって、注目画素位置（ｘ，ｙ）の反射特性が決定される。

Ｓ３１０において、補正部２０６は、Ｓ３０９において決定された反射特性に基づいて、注目画素に隣接する画素の反射強度データを補正する。具体的に、補正部２０６は、幾何条件ごとに、Ｓ３０９において選択されたパラメータの１つの組み合わせが規定する反射モデル式の値と反射強度データが表す対応関係における反射強度との差分を算出する。さらに、補正部２０６は、幾何条件ごとに算出した差分を、隣接画素の反射強度データが表す反射強度に加算する。本実施形態における隣接画素は、注目画素（ｘ，ｙ）の右隣の画素である隣接画素（ｘ＋１，ｙ）である。

Ｓ３１１において、決定部２０５は、全ての画素位置（ｘ，ｙ）において反射特性を決定したか否かを判定する。全ての画素位置（ｘ，ｙ）において反射特性を決定した場合は、各画素に反射特性を特定するパラメータの組み合わせを保持した反射特性データを生成し、生成した反射特性データを保持部２０７に保持させて処理を終了する。全ての画素位置（ｘ，ｙ）において反射特性を決定していない場合は、Ｓ３１２において注目画素位置を更新して、Ｓ３０８へ処理を移行する。

＜画像処理装置が実行する処理の効果＞
以上において説明した処理によって生成される反射特性データが表す反射特性の再現性について、観察した際に光輝感を生じさせる物体を例に説明する。図７（ａ）は、図６と同様に、物体の一部の断面を模した図である。領域７１０乃至７１２は、それぞれ反射特性を決定する単位領域である。図７（ｂ）に示すグラフの実線は、上述した反射強度データに対応しており、撮像時の幾何条件と反射強度との対応関係を表す。また、グラフ７２０乃至７２２は、それぞれ領域７１０乃至７１２に対応している。反射特性を決定する処理は、領域７１０、領域７１１、領域７１２の順に実行されるものとする。領域７１０においては反射ピークが複数検出される。このため、破線７２０ｉ及び破線７２０ｊが表す２つの正規分布関数とその加重係数が導出された後、加重係数がより大きい正規分布に対応する破線７２０ｊが選択される。選択された破線７２０ｊが領域７１０の反射特性として決定される。この反射特性は、アルミフレーク７３０における反射特性に対応する。一方で、アルミフレーク７３１における反射に対応する破線７２０ｉは、領域７１０の反射特性に反映されず、領域７１１における反射特性に反映される。図７（ｃ）に示すグラフ７４１の実線は、領域７１１における反射強度に、領域７１０において測定されたアルミフレーク７３１の反射強度に対応する破線７２０ｉが加算された値を示す。領域７１１において、グラフ７４１の実線が表す対応関係に対して、上述した反射特性を決定する処理を行うことによって、アルミフレーク７３１に対応する反射特性を決定することができる。同様にして、領域７１２においては、アルミフレーク７３２に対応する反射特性が決定される。

本実施形態の処理によって図７（ａ）に示す物体の反射特性を決定することは、図７（ｄ）に示す物体の反射特性を決定することと同等である。図７（ａ）と図７（ｄ）との比較から、本実施形態の処理によって得られる反射特性については、アルミフレークに対応する輝点が観察される位置のずれが二次元座標上で発生する一方、観察角度に応じた輝点の数及び反射強度が保存されることがわかる。つまり、光輝感を評価するための重要な要素である、輝点が観察される角度とその面積、反射強度が保存されることになる。尚、一般的に、輝点の位置のずれは、光輝感の評価値の算出においては加味されない。また、一般的に、メタリック塗装の作業において各アルミフレークの配置管理は行われていない。このため、本実施形態の処理による輝点の位置のずれは、光輝感を生じさせる物体の反射特性の再現性を低下させるものではないと考えられる。尚、図７（ｆ）に示す様に、複数の反射ピークを有する反射特性に、直接単一の正規分布関数を近似させる場合、いずれのアルミフレークにも対応しない観察角度において輝点が発現する可能性が生じてしまう。

以上説明したように、本実施形態における画像処理装置は、物体を複数の幾何条件において撮像して得られる反射強度に対する、反射強度のピークを１つ有する反射モデルを用いた近似によって、物体の反射特性を決定する画像処理装置である。画像処理装置は、光源からの光が照射された物体の撮像を行う際の幾何条件と、撮像により得られる物体における光の反射強度と、の対応関係を表すデータを取得する。取得したデータに基づいて、対応関係に表れる反射強度のピークに関する情報を検出する。検出したピークに関する情報に基づいて、反射モデルが有する反射強度のピークと対応関係に表れる反射強度のピークとが一致するように、対応関係に対する反射モデルを用いた近似によって、物体の反射特性を決定する。これにより、反射強度のピークを１つ有する反射モデルを測定値に近似させて物体の反射特性を決定する際に、高精度に物体の反射特性を決定することができる。また、撮像による測定値をそのままデータとして保持するのではなく、測定値に反射モデルを近似することにより決まるパラメータをデータとして保持するため、データ量を削減することができる。つまり、データ量の削減と、高精度な反射特性の決定と、を両立することができる。また、各座標において反射特性を特定するパラメータの数が一定であり、かつ、各座標において反射モデル式が１つのみであるため、市販のＣＧレンダリングソフトなどにおけるデータの取り扱いが容易となる。

［第２実施形態］
第１実施形態においては、注目画素の反射強度と、隣接画素の反射強度と、に基づいて、注目画素において反射ピークが１つとなる反射特性を決定する。本実施形態においては、反射ピークが生じる角度の統計量を算出し、算出した統計量を基に、注目画素において反射ピークが１つとなる反射特性を決定する。これにより、観察角度ごとの輝点の数や、画像全体を観察した際のマクロな反射特性を高精度に再現することができる。尚、本実施形態における画像処理装置１のハードウェア構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜画像処理装置の機能構成＞
図８は、画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、第１取得部２０１と、第２取得部２０２と、第３取得部８０１と、生成部２０３と、導出部８０２と、算出部８０３と、決定部８０４と、保持部２０７と、を有する。第１取得部２０１と、第２取得部２０２と、生成部２０３と、保持部２０７と、は第１実施形態の場合と同等の機能を有する。第３取得部８０１は、入力デバイス１１０を介してユーザの指示を受け付けることにより、反射ピーク数の上限値を表すピーク数情報を取得する。この上限値は、各画素位置において検出する反射ピーク数を制限するための値である。反射強度データが表す対応関係に複数の反射ピークがある場合は、上述の通り、各反射ピークの位置に合わせて反射モデルを近似することが望ましいが、ピーク数を多数検出してしまうと、その分演算の負荷が増える。そこで、例えば、ユーザに、上限値の候補として４、５、６などの値を提示し、１つの上限値を選択させる。この上限値による制限により、パラメータの最適化処理に要する演算の負荷及びデータ容量を削減することができる。導出部８０２は、反射強度データとピーク数情報とに基づいて、反射特性を特定するパラメータの組み合わせを、１つ以上かつ上限値以下の数の分、導出する。算出部８０３は、反射ピークが生じる角度の統計量として、幾何条件ごとの反射ピークの頻度を表すヒストグラムを算出する。決定部８０４は、各画素位置において、導出部８０２により導出されたパラメータの組み合わせが複数ある場合は、その複数のパラメータの組み合わせから１つの組み合わせを選択する。

＜画像処理装置が実行する処理＞
図９は、画像処理装置１が実行する処理を示すフローチャートである。以下、図９を参照して、画像処理装置１の処理の詳細を説明する。尚、図９のフローチャートが示す処理は、ＣＰＵ１０１がユーザにより入力デバイス１１０を介して入力された情報を受け付けることにより開始する。

Ｓ９０１において、第１取得部２０１は、保持部２０７から、ＵＩを介してユーザにより指定された複数の画像データを取得する。Ｓ９０１における処理は、第１実施形態におけるＳ３０１の処理と同等であるため説明を省略する。Ｓ９０２において、第２取得部２０２は、第１取得部２０１が取得する画像データそれぞれに対応する撮像時の幾何条件を表す幾何条件データを取得する。Ｓ９０２における処理は、第１実施形態におけるＳ３０２の処理と同等であるため説明を省略する。

Ｓ９０３において、第３取得部８０１は、ＵＩを介してユーザにより入力された値を反射ピーク数の上限値として取得する。尚、アルミフレークの平均粒径及び撮像解像度が既知の場合、１画素相当の大きさを平均粒径で除算して得た値を予め保持部２０７に保持させておき、第３取得部８０１が保持部２０７からその値を取得してもよい。

Ｓ９０４において、生成部２０３は、初期の注目画素位置（ｘ，ｙ）を決定する。Ｓ９０５において、生成部２０３は、注目画素（ｘ，ｙ）について、撮像時の幾何条件と反射強度との対応関係を表す反射強度データを生成する。Ｓ９０５における処理は、第１実施形態におけるＳ３０４の処理と同等であるため説明を省略する。

Ｓ９０６において、導出部８０２は、注目画素位置の反射強度データが表す撮像時の幾何条件と反射強度との対応関係に反射モデルを近似させることによって、反射特性を特定するパラメータを導出する。Ｓ９０６の処理は、第１実施形態におけるＳ３０８の処理とは異なり、反射ピークの数を上限値により制限する。算出した反射ピークの数が上限値を超える場合、算出した反射ピークの数を上限値に置換する。この置換処理を行う場合は、上限値と同数のパラメータの組み合わせを導出する。つまり、導出されるパラメータの組み合わせの数は、反射ピークの数以下、かつ、上限値以下となる。以下、正規分布の平均値ｍに対応する角度をピーク角度と呼ぶ。尚、反射モデル式のパラメータを導出するために行われる最適化処理において、第１実施形態にように、ピーク角度を拘束条件として設定してもよい。これにより、ピーク角度が保存されるため、輝点が観察される幾何条件などを正確に再現することが可能となる。

Ｓ９０７において、導出部８０２は、全ての画素位置（ｘ，ｙ）においてＳ９０６の処理が行われたか否かを判定する。全ての画素位置（ｘ，ｙ）においてＳ９０６の処理が行われた場合は、Ｓ９０９へ処理を移行する。全ての画素位置（ｘ，ｙ）においてＳ９０６の処理が行われていない場合は、Ｓ９０８において注目画素位置を更新して、Ｓ９０５へ処理を移行する。

Ｓ９０９において、算出部８０３は、ピーク角度のヒストグラムを生成する。具体的には、各画素からピーク角度を取得し、ピーク角度とその頻度とを対応づけたヒストグラムを生成する。さらに、算出部８０３は、ピーク角度の頻度の合計で各頻度を除算することにより、ピーク角度の発生確率を表す確率密度関数を算出する。

Ｓ９１０において、決定部８０４は、初期の注目画素位置（ｘ，ｙ）を決定する。Ｓ９１１において、決定部８０４は、注目画素位置（ｘ，ｙ）の反射特性を特定するパラメータの組み合わせを決定する。Ｓ９０６において算出された反射ピークの数が１つであった場合は、Ｓ９０６において導出されたパラメータの組み合わせを、注目画素位置（ｘ，ｙ）の反射特性を特定するパラメータの組み合わせとして決定する。Ｓ９０６において算出された反射ピークの数が複数であった場合は、Ｓ９０６において導出された複数のパラメータの組み合わせから１つのパラメータの組み合わせを選択する。具体的には、複数のパラメータの組み合わせのうち、算出した確率密度関数に従って、１つのパラメータの組み合わせを選択する。まず、決定部８０４は、注目画素位置（ｘ，ｙ）のピーク角度を取得し、確率密度関数を参照して各ピーク角度の発生確率を取得する。決定部８０４は、取得したピーク角度の発生確率に従った乱数生成により、１つのピーク角度を選択する。選択されたピーク角度に対応するパラメータの組み合わせが、注目画素位置（ｘ，ｙ）の反射特性を特定するパラメータの組み合わせとして決定される。尚、ノイズ等に起因する微小な反射ピークが選択されることを避けるために、所定の閾値を用いて微小な反射ピークのピーク角度を選択の候補から外してもよい。

Ｓ９１２において、決定部８０４は、全ての画素位置（ｘ，ｙ）において反射特性を決定したか否かを判定する。全ての画素位置（ｘ，ｙ）において反射特性を決定した場合は、各画素に反射特性を特定するパラメータの組み合わせを保持した反射特性データを生成し、生成した反射特性データを保持部２０７に保持させて処理を終了する。全ての画素位置（ｘ，ｙ）において反射特性を決定していない場合は、Ｓ９１３において注目画素位置を更新して、Ｓ９１１へ処理を移行する。

＜画像処理装置が実行する処理の効果＞
以上説明したように、本実施形態における画像処理装置は、アルミフレークの向きに起因するピーク角度のヒストグラムを生成し、生成したヒストグラムに従って反射特性を決定した。反射強度のピークを１つ有する反射モデルを測定値に近似させて物体の反射特性を決定する際に、高精度に物体の反射特性を決定することができる。また、ピーク角度のヒストグラムを利用することにより、輝点の数などの統計情報が保存される。また、ピーク角度の上限値を設定することにより、演算の負荷及びデータ容量を削減することができる。

［その他の実施形態］
上述した実施形態における画像データは、グレースケールの画像データであったが、カラー画像データであってもよい。この場合は、カラー画像が各画素に有するＲ値、Ｇ値、Ｂ値それぞれに対して上述した処理を行い、対応する波長帯に応じた反射特性を決定する。尚、カラー画像が各画素に有する色情報は、Ｒ値、Ｇ値、Ｂ値に限られず、Ｌ^＊ａ^＊ｂ^＊値などであってもよい。

また、上述した実施形態においては、複数の画像データに基づいて、撮像時の幾何条件と反射強度との対応関係を表す反射強度データを生成したが、予め生成したおいた反射強度データを取得して処理に用いてもよい。例えば、レンダリングソフトなどを用いて生成した反射強度データを保持部２０７に予め保持させておき、保持部２０７から反射強度データを取得して以降の処理に利用してもよい。これにより、複数の画像データに基づいた反射強度データの生成処理を行う必要がなくなる。

また、上述した実施形態においては、反射ピークの数を検出する際に反射強度データを補正せずに反射特性を特定するパラメータを導出したが、画像に含まれるノイズ起因の反射ピークを低減する処理を反射強度データに行ってもよい。例えば、反射強度データにおいて、θ軸（角度）方向に対する公知の平滑化処理を適用した後に、反射ピークの数を検出してもよい。または、所定の閾値未満の反射強度を反射ピークとしてカウントしないようにしてもよい。

また、上述した実施形態においては、画像の画素毎に反射特性を決定したが、画像を複数の画素を含む局所領域に分割し、局所領域ごとに反射特性を決定してもよい。領域内の画素値の平均値を反射強度データの生成に用いることによって、ノイズ低減および演算負荷の軽減が可能となる。

また、上述した実施形態においては、パラメータの組み合わせそれぞれが特定する反射モデルの加重線形和が、反射強度データが表す撮像時の幾何条件と反射強度との対応関係に最も近似するように最適化を行った。しかし、反射モデルが有する反射ピークと対応関係に表れる反射ピークとが一致するように、パラメータの組み合わせを導出するための方法は上記の例に限定されない。例えば、Ｓ３０７において、導出部２０４は、反射ピークの数を算出するのに加えて、上述した対応関係において隣接する入射角度に対応する反射強度の差分が正から負に変わった幾何条件を特定する。この幾何条件は、対応関係に複数の反射ピークが表れている場合の、反射特性を山と考えた際の谷に対応している。この谷を各反射ピークに対応する反射特性の境界とし、反射強度ピークの反射強度が最も大きい反射特性に対応する幾何条件の反射強度以外の反射強度を０とする。これにより、対応関係に表れる反射ピークの数は１つとなるため、１つの反射モデルを対応関係に近似させることによって、注目画素の反射特性を決定することができる。この処理により、反射モデルの加重線形和を用いた最適化を行う必要がないため、処理の負荷が低減される。

また、第１実施形態における注目画素の隣接画素は、注目画素（ｘ，ｙ）の右隣の画素（ｘ＋１，ｙ）であったが、注目画素の近傍画素で、かつ、反射特性が決定されていない画素であれば、隣接画素は右隣の画素に限られない。例えば、隣接画素は下隣の画素（ｘ，ｙ＋１）であってもよい。また、Ｓ３０９において選択されたパラメータの１つの組み合わせが規定する反射モデル式の値と反射強度データが表す反射強度との差分を加算する対象の隣接画素は１つでなくてもよい。差分を複数の隣接画素に所定の重み付けをして分配してもよい。

また、第１実施形態においては、Ｓ３０９において選択されたパラメータの１つの組み合わせが規定する反射モデル式の値と反射強度データが表す反射強度との差分を隣接画素の反射強度に加算したが、差分の加算方法は上述した方法に限られない。例えば、Ｓ３０９において選択されたパラメータの１つの組み合わせが規定する反射モデル式の値と、Ｓ３０８において導出されたパラメータの組み合わせそれぞれが規定する反射モデル式の加重線形和の値と、の差分を隣接画素の反射強度に加算してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置
２０３ 生成部
２０４ 導出部
２０５ 決定部

Claims (17)

1. 物体を複数の幾何条件において撮像して得られる反射強度に対する、反射強度のピークを１つ有する反射モデルを用いた近似によって、物体の反射特性を決定する画像処理装置であって、
   光源からの光が照射された前記物体の撮像を行う際の幾何条件と、前記撮像により得られる前記物体における光の反射強度と、の対応関係を表すデータを取得する取得手段と、
   前記データに基づいて、前記対応関係に表れる反射強度のピークに関する情報を検出する検出手段と、
   前記ピークに関する情報に基づいて、前記反射モデルが有する反射強度のピークと前記対応関係に表れる反射強度のピークとが一致するように、前記対応関係に対する前記反射モデルを用いた近似によって、前記物体の反射特性を決定する決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記検出手段は、前記対応関係に表れる反射強度のピークの数を算出し、
   前記決定手段は、前記反射強度のピークの数に基づいて、前記反射モデルを規定するパラメータの組み合わせを少なくとも１つ導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記導出されたパラメータの組み合わせの数は、前記反射強度のピークの数以下であることを特徴とする請求項２に記載の画像処理装置。
4. 前記導出されたパラメータの組み合わせの数は、前記反射強度のピークの数と同数であることを特徴とする請求項３に記載の画像処理装置。
5. 前記導出されたパラメータの組み合わせの数は、前記反射強度のピークの数以下であり、かつ、ユーザにより指定された値以下であることを特徴とする請求項３に記載の画像処理装置。
6. 前記決定手段は、前記反射強度のピークの数に基づいて、前記反射モデルを規定するパラメータの組み合わせを複数導出し、導出した複数のパラメータの組み合わせから、１つのパラメータの組み合わせを選択することを特徴とする請求項２乃至請求項５のいずれか一項に記載の画像処理装置。
7. 前記決定手段は、導出した複数のパラメータの組み合わせから、ピークの反射強度が最も大きいパラメータの組み合わせを１つ選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記幾何条件に対する前記反射強度のピークの頻度を表すヒストグラムを算出する算出手段をさらに有し、
   前記決定手段は、前記ヒストグラムに基づいて、導出した複数のパラメータの組み合わせから、パラメータの組み合わせを１つ選択することを特徴とする請求項６に記載の画像処理装置。
9. 前記算出手段は、前記ヒストグラムに基づいて、前記幾何条件ごとの前記反射強度のピークの発生確率を特定し、
   前記決定手段は、前記発生確率に応じて乱数を生成することにより、導出した複数のパラメータの組み合わせから、パラメータの組み合わせを１つ選択することを特徴とする請求項８に記載の画像処理装置。
10. 前記幾何条件は、前記光源から前記物体へ入射する光の角度と、前記物体における反射光を撮像手段が受光した角度と、によって決まる条件であることを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
11. 前記決定手段は、前記対応関係に表れる反射強度のピークが複数である場合、前記対応関係に前記反射モデルの組み合わせを近似させることによって、前記反射モデルを規定するパラメータの複数の組み合わせを導出することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記反射モデルの組み合わせは、前記反射モデルを特定する式の加重線形和で表されることを特徴とする請求項１１に記載の画像処理装置。
13. 前記決定手段は、前記対応関係と前記反射モデルの組み合わせとの差分が小さくなるように、前記反射モデルを規定するパラメータを最適化することを特徴とする請求項１１又は請求項１２に記載の画像処理装置。
14. 前記決定手段は、注目画素において、前記反射モデルを規定するパラメータの組み合わせを少なくとも１つ導出し、導出したパラメータの組み合わせからパラメータの組み合わせを１つ選択し、
    前記対応関係に表れる反射強度のピークが複数である場合、前記選択されたパラメータの組み合わせが規定する反射モデル式の値と前記対応関係における反射強度の値との差分を、前記注目画素の近傍画素の反射強度に加算することによって、前記近傍画素の前記対応関係を表すデータを補正する補正手段をさらに有することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. 複数の幾何条件において前記物体を撮像して得られる複数の画像データを取得する第２取得手段と、
    前記複数の幾何条件を表す幾何条件データを取得する第３取得手段と、をさらに有し、
    前記取得手段は、前記複数の画像データと前記幾何条件データとに基づいて、前記対応関係を表すデータを生成することを特徴とする請求項１乃至請求項１４のいずれか一項に記載の画像処理装置。
16. コンピュータを請求項１乃至請求項１５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 物体を複数の幾何条件において撮像して得られる反射強度に対する、反射強度のピークを１つ有する反射モデルを用いた近似によって、物体の反射特性を決定する画像処理方法であって、
    光源からの光が照射された前記物体の撮像を行う際の幾何条件と、前記撮像により得られる前記物体における光の反射強度と、の対応関係を表すデータを取得する取得ステップと、
    前記データに基づいて、前記対応関係に表れる反射強度のピークに関する情報を検出する検出ステップと、
    前記ピークに関する情報に基づいて、前記反射モデルが有する反射強度のピークと前記対応関係に表れる反射強度のピークとが一致するように、前記対応関係に対する前記反射モデルを用いた近似によって、前記物体の反射特性を決定する決定ステップと、
    を有することを特徴とする画像処理方法。

Images