JP2022045546A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】物体の透明層内部に含まれる光輝材の面法線分布を精度良く推定すること。【解決手段】法線分布推定部は、計測データを読み込み、単峰性の関数を用いて、透明層表面の反射特性を表すＳＶＢＲＤＦを関数近似する。そして法線分布推定部は、得られたＳＶＢＲＤＦにおいて透明層表面の大局的な法線方向と撮像装置および光学系の光軸方向とのなす角と等しい入射角に最も近いピークを特定する。法線分布推定部は、特定したピークに対応する入射角に基づき、透明層表面の法線方向を推定する。次に法線分布推定部は、計測データから、透明層表面での反射光に対応する計測データ以外のデータを読み込む。そして法線分布推定部は、単峰性の関数を用いて、透明層内部の光輝材の反射特性を表すＳＶＢＲＤＦを関数近似する。そして、法線分布推定部は、得られたＳＶＢＲＤＦの最大ピークに対応する入射角に基づき、光輝材の面法線方向を推定する。【選択図】図８

Description

本発明は、物体の反射特性に基づき物体の反射面の法線分布を取得する技術に関する。

近年、光源の照明方向、観察方向、さらには物体の位置に応じた反射率を計測することにより、色や光沢が変化する物体の反射特性を定量的に扱うための面法線分布を求めることが可能になってきている。具体的には、まず、光源位置を変えて物体を撮像した複数の撮像画像データから、光の入射角毎の反射率を表す反射特性データを求める。そして、反射特性データを関数近似してＳＶＢＲＤＦ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｏｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）を求める。このＳＶＢＲＤＦは、対象物体上の位置を示す２次元座標、入射光の天頂角・方位角、反射光の天頂角・方位角それぞれに対する反射率分布を記述する６変数の関数である。そしてＳＶＢＲＤＦのピーク位置および撮像方向等から物体の面法線分布を求めることができる。このため、面法線分布の精度はＳＶＢＲＤＦの近似精度に依存する。

透明層内部にフレーク状の光輝材を含むメタリック塗板などの反射特性は、複数のピークを持つという特徴がある。このような複数のピークを持った反射特性を表すＳＶＢＲＤＦは、ガウス関数のような単峰性の関数を複数組み合わせた関数を用いて関数近似する必要があり、高い精度で近似するのが難しい。特許文献１には、複数のピークを持った処理対象の信号波形に対して、複数の単峰性の関数を用いて曲線近似を行う際、各単峰性の関数のパラメータの探索範囲・初期位置を適切に設定する方法が開示されている。

特開２００６－２６１４３６号公報

しかしながら、特許文献１に記載の方法では、信号波形全体を一度に関数近似するため、大きなピーク周辺の近似誤差の影響により、ピークの小さい領域の近似精度が低下するという課題がある。メタリック塗板などにおける透明層内部の各光輝材での反射に対応するピークは、透明層表面での反射に対応するピークに対し相対的に小さい。そのため、メタリック塗板について特許文献１の方法でＳＶＢＲＤＦの近似を行うと、透明層内部の光輝材に対応する領域の近似精度が低下してしまい、メタリック塗板を評価する上で重要である光輝材の面法線分布の推定精度も低下してしまう。

そこで本発明は、物体の透明層内部に含まれる光輝材の面法線分布を精度良く推定することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、透明層の内部に光輝材を含む物体の反射特性データを取得する取得手段と、前記反射特性データのうち前記透明層の表面での反射に対応するデータを表層反射特性データとして特定する特定手段と、前記反射特性データのうち前記表層反射特性データを除いた内部反射特性データに基づき、前記光輝材の面法線分布を推定する第１法線推定手段と、を備えることを特徴とする。

本発明により、物体の透明層内部に含まれる光輝材の面法線分布を精度良く推定することができる。

法線分布取得システムの構成を説明するための模式図 情報処理装置の機能構成を示すブロック図 測定アプリケーションの処理の流れを説明するフローチャート 光輝材の法線分布データを説明するための模式図 画像を取得する処理を示すフローチャート 反射特性を取得する処理を示すフローチャート メタリック塗板を説明するための模式図 法線分布を推定する処理を示すフローチャート 第１法線推定処理を示すフローチャート 関数近似処理で関数近似した結果を説明するための模式図 第２法線推定処理を示すフローチャート 光輝材対応値抽出結果を説明するための模式図 関数近似処理で関数近似した結果を説明するための模式図 余剰光輝材対応値抽出結果を説明するための模式図 情報処理装置のハードウェア構成を示すブロック図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［第１実施形態］
＜法線分布取得システムの構成＞
第１実施形態では、物体の反射特性を取得し、取得した反射特性に基づき、物体内部の法線分布を推定する法線分布取得システムについて説明する。

図１は、本実施形態の法線分布取得システムのシステム構成を示す模式図である。図１（ａ）は法線分布取得システムを正面からみた模式図であり、図１（ｂ）は、法線分布取得システムに設置された照明装置１０６を模式的に表す模式図である。

ここで１０１は、測定の対象となる測定対象物（以降、「対象物体」とする）である。１０２は対象物１０１を固定するための対象物固定治具である。

１０３は、対象物体１０１を撮像する撮像装置である。撮像装置１０３としては、例えば、４０９６×３０００画素のエリアセンサを有して、対象物体１０１上の輝度に対し線形な信号値を１６ビットの撮像画像として得ることが出来るモノクロカメラを用いることができる。なお、撮像装置１０３はモノクロカメラに限定されない。カラーカメラ、分光カメラ、あるいは、マルチバンドカメラなどを用いてもよい。これらのカメラを用いる場合は、複数のチャンネルから法線の推定に用いるチャンネルを選択する処理を追加すればよい。あるいは、各チャンネルから法線を推定してその平均値を用いてもよい。また、撮像画像のビット数は１６ビットでなくてもよい。ビット数が大きいほど量子化誤差が減るので法線の推定精度が向上する。

１０４は、撮像装置１０３に取り付けて使用するレンズである。光学系１０４として、撮像装置１０３側の光学系をテレセントリック光学系、すなわち入射側でレンズの光軸と主光線とが平行となるテレセントリック構造を有する光学系であり、例えばテレセントリックレンズを用いることができる。光学系１０４をテレセントリックレンズとすることにより、対象物体１０１からの反射光のうち矢印１０５で示されるような、テレセントリックレンズの光軸１１０に略平行な光のみを撮像装置１０３は受光することができる。なお、対象物体１０１は光学系１０４の光軸に対して傾いているため、チルト機構のあるテレセントリックレンズを用いてもよい。チルト機構のあるレンズを用いることで、対象物体１０１前面にフォーカスを合わせることが可能となる。

１０６は、対象物体１０１に対し様々な方向から光を照射するための照明装置である。点光源１０７が、照明装置１０６の表面に２次元状に配置されている。本実施形態においては１７×１７個の点光源１０７が設置されているとして説明する。この点光源１０７の設置の間隔が狭いほど、より角度分解能の高い反射特性を取得することができる。また、点光源１０７の設置の範囲が広いほど、より広い角度範囲の反射特性を取得できる。点光源１０７としては、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いることができる。点光源１０７の光学系は非テレセントリック光学系である。また、ＬＥＤは、一般的に、照射方向によって輝度が異なる指向特性を持っている。点光源１０７にＬＥＤを用いると、向きが照射方向、長さが輝度を表すベクトル１０８で示すように指向特性を持つ。点光源１０７には、例えば、半値角６０°の指向特性を持つＬＥＤを用いる。

続いて、対象物体１０１、撮像装置１０３、照明装置１０６の位置と姿勢について説明する。１０９は、対象物体１０１の表面に対して垂直で、対象物体１０１の中心を通る軸である。また、１１０は、撮像装置１０３および光学系１０４の光軸である。１１１は照明装置１０６の点光源１０７が配置された照射面に対して垂直で、照明装置１０６の中心を通る軸である。正反射近傍の反射特性を取得するため、軸１０９、光軸１１０、軸１１１は同一面上にあり、軸１０９と軸１１０がなす入射角αと、軸１０９と軸１１１がなす反射角βは等しくなるよう、撮像装置１０３および照明装置１０６の位置と姿勢を設定する。本実施形態においては、正反射角４５°近傍の反射特性を取得するものとして説明するが、入射角αと反射角βは両方とも４５°にする。なお、正反射角は４５°に限定されない。角αと角βの設定を変えることで、正反射角３０°や６０°の近傍の反射特性を取得することもできる。正反射角３０°の場合は、入射角αと反射角βの大きさをそれぞれ３０°に設定し、正反射角６０°の場合は入射角αと反射角βの大きさをそれぞれ６０°に設定する。なお、照明装置１０６を用いて様々な方向から対象物体１０１に光をあてるため、入射角αと反射角βの大きさは完全には一致していなくても実用上は問題ない。また、反射光のピーク方向が正反射方向とは異なる方向に反射するような対象物体１０１の反射特性に対応するため、入射角αと反射角βの大きさを異なる角度にしてもよい。また、１１４は、撮像装置１０３と照明装置１０６を制御し、対象物体１０１の撮像画像を取得する一例の制御を行う情報処理装置である。

＜情報処理装置１１４のハードウェア構成＞
図１５は、情報処理装置１１４のハードウェア構成を示すブロック図である。情報処理装置１１４は、ＣＰＵ１５０１、ＲＯＭ１５０２、ＲＡＭ１５０３を備える。また、情報処理装置１１４は、ＶＣ（ビデオカード）１５０４、汎用Ｉ／Ｆ（インターフェース）１５０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１５０６、ＮＩＣ（ネットワークインターフェースカード）１５０７を備える。ＣＰＵ１５０１は、ＲＡＭ１５０３をワークメモリとして、ＲＯＭ１５０２、ＨＤＤ（ハードディスクドライブ）１５１２などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１５０１は、システムバス１５０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１５０２やＨＤＤ１５１２などに格納されたプログラムコードがＲＡＭ１５０３に展開され、ＣＰＵ１５０１によって実行される。ＶＣ１５０４には、表示装置２２２が接続される。汎用Ｉ／Ｆ１５０５には、シリアルバス１５０９を介して、マウスやキーボードなどの入力デバイス２２１や撮像装置１０３、照明装置１０６が接続される。ＳＡＴＡＩ／Ｆ１５０６には、シリアルバス１５１１を介して、ＨＤＤ１５１２や各種記録メディアの読み書きを行う汎用ドライブ１５１３が接続される。ＮＩＣ１５０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１５０１は、ＨＤＤ１５１２や汎用ドライブ１５１３にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１５０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）を表示装置２２２に表示し、入力デバイス２２１を介して受け付けるユーザ指示などの入力を受信する。

＜情報処理装置１１４の機能構成＞
図２は情報処理装置１１４の機能構成を示すブロック図である。撮像ドライバ２０１は、撮像装置１０３を制御するための命令群であり、情報処理装置１１４から撮像装置１０３へ送信するための命令群を含んでいる。また、照明ドライバ２０２は、照明装置１０６を制御するための命令群であり、複数の光源を個々に点灯・消灯する命令を含んでいる。同様に、入力ドライバ２０３は、入力デバイス２２１の制御を行う命令群、表示ドライバ２０４は表示装置２２２を制御する命令群である。画像取得制御部２０５は、撮像ドライバ２０１、照明ドライバ２０２に命令を送り、撮像画像データを取得する一連の処理を行う命令群である。反射特性取得部２０６は画像取得制御部２０５が取得した撮像画像データから対象物体１０１の反射特性情報を取得する命令群である。また、法線分布推定部２０７は反射特性取得部２０６が取得した反射特性情報から対象物体１０１の表面の法線分布情報および内部の法線分布情報を推定する命令群である。また、ＵＩ管理部２０８はユーザが入力デバイス２２１に入力した情報の管理や、測定結果を表示装置２２２に表示する等の処理を行うユーザインタフェース機能の命令群である。測定アプリケーション２０９は、２０３～２１０の命令群を連動させ、１つの測定アプリケーションとして機能させるための命令群である。

＜測定アプリケーション２０９の処理＞
図３は、測定アプリケーション２０９の処理の流れを説明するフローチャートである。

Ｓ３０１にて、測定アプリケーション２０９は、まず、画像取得制御部２０５の命令群を用いて、照明装置１０６での光の照射と撮像装置１０３での撮像とを行うことで撮像画像を取得する一連の処理を実行する。

Ｓ３０２にて、測定アプリケーション２０９は、反射特性取得部２０６の命令群を用いて、Ｓ３０１で取得した撮像画像を処理することで対象物体１０１の反射特性データを取得する。

Ｓ３０３にて、測定アプリケーション２０９は、法線分布推定部２０７の命令群を用いて、反射特性データを処理することで、対象物体１０１の内部の法線分布データを推定する。

最後にＳ３０４にて、測定アプリケーション２０９は、ＵＩ管理部２０８の命令群を用いて、Ｓ３０３で算出された対象物体１０１の内部の法線分布データを表示装置２２２に表示し、処理を終了する。なお、法線分布データを表示する際に、法線のヒストグラムや平均値などの統計情報を表示してもよい。尚、Ｓ３０４の処理は、表示装置２２２に表示を行わず、ＨＤＤ１５１２等に対象物体１０１の内部の法線分布データを直接記録する構成にしても良い。

図４は、光輝材の法線分布データを説明するための模式図である。光輝材の法線分布データは、測定領域の位置毎の光輝材の法線方向を示す値が画素値として格納されたデータであり、例えば、グレースケール画像やＲＧＢ画像などの画像データとして保持できる。４０１は光輝材の法線方向のｘ成分を保持したグレースケール画像、４０２は光輝材の法線方向のｙ成分を保持したグレースケール画像、４０３は光輝材の法線方向のｚ成分を保持したグレースケール画像である。各グレースケール画像の画素位置は対象物体１０１の位置を表し、画素値は各成分の大きさを表す。

なお、光輝材毎に法線分布データを取得するためには、光輝材の数に対応した枚数のグレースケール画像が必要になる。そのため、測定領域に含まれる光輝材の数が測定領域の位置によって異なる場合は、測定領域毎にそこに含まれる光輝材の数の最大値に対応した枚数のグレースケール画像を取得すれば、全ての光輝材の法線分布データを保持することができる。また、ＲＧＢ画像を用いてデータを保持する場合は、法線方向のｘ成分をＲチャンネル、法線方向のｙ成分をＧチャンネル、法線方向のｚ成分をＢチャンネルに保持すればよい。また、画像データではなく、ＣＳＶデータや、バイナリデータとしてデータを保持してもよい。また、法線を直交座標ではなく球面座標としてデータ保持してもよい。

また、法線分布データには、光輝材の法線方向を示す値に加えて、各法線方向における反射率も関連付けて格納するようにしてもよい。

＜画像取得ステップＳ３０１＞
図５は画像取得ステップＳ３０１の詳細なフローを説明するためのフローチャートである。本実施形態では、対象物体１０１の撮像を行うが、それとは別に、対象物体１０１の位置ごとに異なる照度の違いを補正するための基準画像を得るために、基準物体となる白色板の撮像を対象物体１０１の撮像と同様の方法で行う。なお、基準物体となる白色板は色が均一で鏡面性が小さく拡散性の高いものが好ましい。また、対象物体１０１の撮像を行った後に白色板の撮像を行ってもよいし、その逆でもよい。照明光量が時間で変化する場合もあるので、対象物体１０１と白色板の撮像はなるべく時間を置かずに近い条件下で行うのが好ましい。画像取得ステップＳ３０１を開始するにあたり、まずユーザが対象物体固定治具１０２上に、対象物体１０１あるいは白色板を固定する。なお、表面にフォーカスを合わせるために、対象物体１０１の表面の位置と、白色板の表面の位置とは、撮像装置１０３からの距離が同一となるように固定する。対象物体１０１あるいは白色板が固定されると、画像取得ステップＳ３０１を開始する。

Ｓ５０１にて、測定アプリケーション２０９は、ＵＩ管理部２０９の命令群を用い、ユーザ入力に基づき撮像装置１０３の撮像条件および、照明装置１０６の照明条件等の条件設定を行う。ここで設定する撮像条件としては、シャッター速度、ＩＳＯ感度等である。また、設定する照明条件としては、点灯する点光源の位置、その点灯順、点灯時間等である。予め、シャッター速度およびＩＳＯ感度を振った撮像を行って置き画素値が飽和しないようなシャッター速度およびＩＳＯ感度の条件出しを行っておく必要がある。

次のＳ５０２はループ処理であり、点光源１０７のそれぞれを点灯する毎にＳ５０３～Ｓ５０５を行う。

Ｓ５０３にて、測定アプリケーション２０９は、画像取得制御部２０５を介し照明ドライバ２０２を用いて、Ｓ５０２にて設定された照明条件に基づき指定された点光源１０７の点灯を行う。

Ｓ５０４にて、測定アプリケーションは、画像取得制御部２０５を介し撮像ドライバ２０３を用いて、Ｓ５０１にて設定された撮像条件に基づき、Ｓ５０１にて設定された照明条件に基づき指定された点光源１０７を点灯させた状態で撮像を行う。

Ｓ５０５にて、測定アプリケーションは、画像取得制御部２０５を介し照明ドライバ２０２を用いて、Ｓ５０３で点灯した点光源１０７の消灯を行う。

Ｓ５０１で設定された照明条件において点灯させるべき点光源１０７が残っている場合はＳ５０２に戻り、点灯させる点光源１０７の位置を変更して、Ｓ５０３～Ｓ５０５を行う。対象物体１０１と白色板とのそれぞれに対してＳ５０１～Ｓ５０５を行う。

このように本実施形態では、照明装置１０６の点光源１０７の点灯位置の変更を行って撮像を行い、点光源１０７の点灯位置毎に、対象物体１０１および白色板の撮像画像を取得する。

＜反射特性取得ステップＳ３０２＞
図６は、反射特性取得ステップＳ３０２のより詳細なフローを説明するためのフローチャートである。

Ｓ６０１にて、反射特性取得部２０６は、ＨＤＤ１５１２等に予め記憶された点光源１０７毎の対象物体の撮像画像の輝度値ＯＢＪ_i（ｕ，ｖ）、点光源１０７毎の白色板の撮像画像の輝度値ＲＥＦ_i（ｕ，ｖ）を読み込む。そして反射特性取得部２０６は、読み込んだ値に基づき、例えば次式を用いて、光源毎の反射率Ｒ_i（ｕ，ｖ）を算出する。

ここで、ｕは画像の横方向のインデックスであり、ｖは画像の縦方向のインデックスである。本実施形態では、４０９６ｘ３０００画素のエリアセンサを用いているので、ｕは１から４０９６、ｖは１から３０００までの整数値をとる。また、ｉは対象物体１０１あるいは白色板の撮像に使用した点光源１０７の位置を特定するためのラベルである。本実施形態においては点光源１０７の数が１７×１７＝２８９個なので、ラベルｉは１から２８９までの整数値をとる。なお、本ステップにて算出した点光源１０７毎の反射率情報Ｒ_i（ｕ，ｖ）には、入射角αや反射角βの情報がまだ含まれていない。撮像画像の画素位置（ｕ，ｖ）毎に実空間上の位置（ｘ，ｙ，ｚ）は異なるため、撮像画像の画素位置（ｕ，ｖ）毎に入射角αは異なっている。さらに点光源１０７の位置によっても入射角αは異なる。一方で反射角βについては、テレセントリックレンズである光学系１０４を用いて撮像を行っているので、撮像画像の画素位置（ｕ，ｖ）によらず同一の反射角・反射方位角（４５°，０°）になる。

Ｓ６０２では、反射特性取得部２０６は、撮像画像の画素位置（ｕ，ｖ）毎に入射角・入射方位角（θ（ｕ，ｖ）、φ（ｕ，ｖ））を算出する。反射特性取得部２０６は、入射角・入射方位角を算出するため、ＨＤＤ１５１２等に予め記憶された設計値を読み込む。ここで読み込む設計値とは、撮像画像の実空間上の位置情報（ｘ（ｕ，ｖ）、ｙ（ｕ，ｖ）、ｚ（ｕ，ｖ））の設計値と、各点光源１０７の実空間上の位置（ｘ_Li，ｙ_Li，ｚ_Li）の設計値である。そして反射特性取得部２０６は、次式を用いて、撮像画像の画素位置（ｕ，ｖ）毎に入射角・入射方位角（θ（ｕ，ｖ）、φ（ｕ，ｖ））を算出する。

Ｓ６０３では、反射特性取得部２０６は、対象物体１０１または白色板の反射特性情報をＳＶＢＲＤＦ計測データとして出力する。このために反射特性取得部２０６は、Ｓ６０１にて算出した反射率Ｒ_i（ｕ，ｖ）、Ｓ６０２にて算出した入射角・入射方位角（θ（ｕ，ｖ）、φ（ｕ，ｖ））、撮像画像の実空間上の位置（ｘ（ｕ，ｖ）、ｙ（ｕ，ｖ）、ｚ（ｕ，ｖ））の設計値を読み込む。また反射特性取得部２０６は、対象物体１０１または白色板の反射特性情報をＳＶＢＲＤＦ計測データとして出力する。ここで出力するＳＶＢＲＤＦ計測データは、実空間上の位置（ｘ（ｕ，ｖ）、ｙ（ｕ，ｖ）、ｚ（ｕ，ｖ））毎に、入射角・入射方位角（θ（ｕ，ｖ）、φ（ｕ，ｖ））、反射角・反射方位角（４５°、０°）、反射率Ｒ_i（ｕ，ｖ）が列挙された情報である。

図７は、メタリック塗板の反射特性の特徴を説明するための模式図である。図７（ａ）はメタリック塗板の断面図である。７０１はメタリック塗板の下層に位置する金属板の断面を示し、７０２は金属板上に塗膜された透明層の断面を示す。７０３は透明層７０２の表面である。７０４は、ある角度から入射した光のうち透明層表面７０３で反射された反射光を示す。このように透明層表面７０３で反射された光は、透明層表面７０３に対し入射角αと反射角βが等しくなる方向、いわゆる正反射方向を中心に、一定の拡がりを持って反射する。このように反射光が拡がりを持つのは、透明層表面７０３が完全に平滑な平面でなく、位置によって僅かに面の向き、すなわち法線の向きが変化していることから入射角αが変化するので反射角βも変化するためである。また、拡がりの大きさは透明層表面７０３の粗さによって変わり、表面が平滑な場合は拡がりが小さく、表面が粗い場合は拡がりが大きくなる。

また、７０５は透明層７０２の内部に配置された光輝材であり、７０６は光輝材の面法線を示す。光輝材７０５の面法線７０６は光輝材７０５毎に様々な方向を向いている。７０７はある角度から入射した光のうち透明層表面７０３を透過した光が、光輝材７０５の表面で反射した反射光を示す。透明層表面７０３での反射光７０４と同様に、光輝材７０５の表面での反射光７０７も、光輝材７０５の表面に対し正反射方向を中心に拡がりを持って反射する。光輝材７０５の面法線７０６は、光輝材７０５毎に様々な方向を向いているので、反射光７０７の反射方向も光輝材７０５毎に様々な方向を向くことになる。

また、画像取得ステップＳ３０１にて取得した撮像画像の１画素に対応する測定領域で計測される反射光は、透明層表面での反射光７０４と光輝材７０５での反射光７０７の重ね合わせになる。例えば、測定領域７０８で計測される反射光には、透明層表面７０３での反射光７０４と、光輝材７０５の表面での反射光７０７とが含まれる。

図７（ｂ）は、画像取得ステップＳ３０１にて取得した撮像画像の１画素に対応する、ある測定領域における反射特性である。測定領域ごとの反射特性は、実際は、入射角θをｘ軸、入射方位角φをｙ軸、反射率Ｒをｚ軸とした３次元散布図で表示できるが、ここでは説明の便宜上、入射角θをｘ軸、反射率Ｒをｚ軸とした、２次元散布図を用いている。

図７（ｂ）において、７０９は透明層表面７０３での反射光に対応したピークであり、７１０は光輝材７０５の表面での反射光に対応したピークで、７１１は７１０のピークに対応する光輝材とは別の光輝材の表面での反射光に対応したピークである。このように、測定領域に含まれる光輝材７０５の数に応じて、ピークの数は異なる場合がある。例えば、光輝材７０５の向きは揃わないものとすると、測定領域に含まれる光輝材７０５の数が２つの場合、反射特性のピークの数は３となる。また、反射特性のピークの強度は大小様々である。例えば、ピーク７１１のピーク強度は、ピーク７０９、７１０のピーク強度と比較して相対的に小さい。

＜法線分布推定ステップＳ３０３＞
図８は、法線分布推定ステップＳ３０３のより詳細なフローを説明するためのフローチャートである。

Ｓ８０１はループ処理であり、実空間上の位置（ｘ、ｙ、ｚ）毎にＳ８０２～Ｓ８０３を行う。

Ｓ８０２では、詳細は後述するが、法線分布推定部２０７は、透明層表面７０３の法線方向を推定する。まず法線分布推定部２０７は、所定の実空間位置（ｘ、ｙ、ｚ）におけるＳＶＢＲＤＦ計測データを読み込み、単峰性の関数を用いて、透明層表面７０３の反射特性を表すＳＶＢＲＤＦを関数近似する。そして法線分布推定部２０７は、得られたＳＶＢＲＤＦにおいて透明層表面７０３の大局的な法線方向と撮像装置１０３および光学系１０４の光軸（軸１１０）方向とのなす角と等しい入射角に最も近いピークを特定する。法線分布推定部２０７は、特定したピークに対応する入射角に基づき、透明層表面７０３の法線方向を推定する。

Ｓ８０３では、詳細は後述するが、法線分布推定部２０７は、物体内部の光輝材７０５の法線方向を推定する。まず法線分布推定部２０７は、所定の実空間位置（ｘ、ｙ、ｚ）におけるＳＶＢＲＤＦ計測データから、Ｓ８０２にて推定した所定の実空間位置（ｘ、ｙ、ｚ）における透明層表面７０３での反射光に対応する計測データ以外のデータを読み込む。そして法線分布推定部２０７は、単峰性の関数を用いて、対象物体１０１の透明層７０２の内部の光輝材７０５の反射特性を表すＳＶＢＲＤＦを関数近似する。そして、法線分布推定部２０７は、得られたＳＶＢＲＤＦの最大ピークに対応する入射角に基づき、光輝材７０５の面法線方向を推定する。

なお、本実施例では、対象物体１０１の位置毎に透明層７０２の面法線推定および光輝材７０５の面法線推定を行う方法について説明を行った。しかし、まず対象物体１０１の全領域に対して位置毎に透明層７０２の面法線推定を行い、その後対象物体１０１の位置毎に光輝材の法線推定を行う構成でも、同様の結果が得られる。

＜第１法線推定ステップＳ８０２＞
図９は、第１法線推定ステップＳ８０２の詳細フローを説明するためのフローチャートである。これまで説明した通り、計測された反射特性には、透明層表面７０３での反射光と光輝材７０５の表面での反射光が含まれる。そこで、この２つの反射光を分離するための処理を第１法線推定ステップＳ８０２にて行う。

本実施形態では、隣接する測定領域において、光輝材７０５の面法線の向きは様々な方向を向いているが、透明層表面７０３の法線の向きは略一定の方向を向いているという特徴を利用して２つの反射光を分離する。すなわち、計測された反射特性の中で、透明層表面７０３の大局的な法線方向と撮像装置１０３および光学系１０４の光軸（軸１１０）方向とのなす角と等しい入射角に最も近いピークは、透明層表面７０３での反射光７０４に起因するものとみなす。一方、計測された反射特性の中のそれ以外のピークは、透明層７０２の内部にある光輝材７０５の表面での反射光７０７に起因するものとみなす。

Ｓ９０１では、法線分布推定部２０７は、透明層表面７０３の大局的な法線方向に対して、撮像装置１０３および光学系１０４の光軸方向が正反射方向となる入射角を導出する。ここでは、透明層表面７０３は完全に平滑で法線方向が実空間位置を規定する座標系のｚ軸と一致すると仮定して、撮像装置１０３および光学系１０４の光軸方向が正反射方向となる入射角の方向は、軸１１１と平行な方向であるとみなす。

なお、撮像装置１０３および光学系１０４の光軸方向が正反射方向となる入射角の推定方法はこれに限らない。例えば、透明層表面７０３の大局的な法線方向は隣接する画素で略同一であることを利用して推定してもよい。具体的には、着目画素に隣接する画素の透明層表面７０３の法線方向に基づいて、着目画素における撮像装置１０３および光学系１０４の光軸方向が正反射方向となる入射角を推定してもよい。

Ｓ９０２では、法線分布推定部２０７は、所定の実空間位置（ｘ、ｙ、ｚ）におけるＳＶＢＲＤＦ計測データを読み込み、非線形関数である単峰性の関数を用いた最小二乗法により、Ｓ９０１で推定した入射角にピークを持つＳＶＢＲＤＦの関数近似を行う。具体的には、Ｓ９０１で推定した入射角をパラメータの初期値に設定することにより、透明層表面７０３での反射特性を表すＳＶＢＲＤＦを推定する。単峰性の関数としては次式のガウス関数を用いることが出来る。

ここで、ａ_surfはガウス関数のピークの大きさを表すパラメータ、ｂ_surfはガウス関数の拡がりを表すパラメータである。ｃ_surfはガウス関数の入射角θ方向のピーク位置を表すパラメータ、ｄ_surfはガウス関数の入射方位角φ方向のピーク位置を表すパラメータである。パラメータの初期値は、Ｓ９０１で推定した像装置１０３および光学系１０４の光軸方向が正反射方向となる入射角に基づいて設定する。具体的には、ｃ_surfの初期値をｃ_surf ⁱⁿⁱ、ｄ_surfの初期値をｄ_surf ⁱⁿⁱとすると、本実施形態においては、ｃ_surf ⁱⁿⁱ＝４５、ｄ_surf ⁱⁿⁱ＝０と設定する。また、Ｓ９０１で推定した入射角とピーク位置の入射角θとの差分が小さくなるよう重み付け非線形最小二乗法を用いてもよい。例えば、重みとして以下のような式が使える。

このような重みを用いて非線形最小二乗法を解くことで透明層表面７０３での反射に関するＳＶＢＲＤＦを精度良く近似できる。そして、より安定して透明層表面７０３の大局的な法線方向に対して撮像装置１０３および光学系１０４の光軸方向が正反射方向となる入射角に近いピークが特定できるようになる。

図１０は、Ｓ９０２で関数近似した結果を説明するための模式図である。点１００１は、入射角θに対する反射率Ｒの計測データ（所定の実空間位置（ｘ、ｙ、ｚ）におけるＳＶＢＲＤＦ計測データである。破線１００２は、式（３）を用いた関数近似によって得られたＳＶＢＲＤＦ、破線１００３はＳ９０１で推定した入射角の位置を示す線である。これら破線１００２、１００３に基づき、撮像装置１０３および光学系１０４の光軸方向が正反射方向となる入射角に最も近いピークを特定される。なお図１０では、破線１００３で示される入射角は、大局的な法線方向に基づき推定されたものであるため、透明層表面７０３の測定領域毎の実際の法線方向を反映した計測データに基づき近似されたＳＶＢＲＤＦのピークとは一致していない。

Ｓ９０３では、法線分布推定部２０７は、特定されたピークにおける入射角θの方向と撮像装置１０３および光学系１０４の光軸方向との二等分線を算出することにより、所定の実空間位置（ｘ、ｙ、ｚ）における、透明層表面７０３の法線方向を推定する。

＜第２法線推定ステップＳ８０３＞
図１１は、Ｓ８０３の第２法線推定ステップの詳細フローを説明するためのフローチャートである。

Ｓ１１０１では、法線分布推定部２０７は、所定の実空間位置（ｘ、ｙ、ｚ）におけるＳＶＢＲＤＦ計測データを読み込み、Ｓ９０２の関数近似で推定したパラメータに基づき、透明層の内部の光輝材７０５での反射光７０７に対応する計測データを抽出する。具体的には、Ｓ９０２で推定したガウス関数のピーク位置ｃ_surf、ｄ_surfと、ガウス関数の拡がりを表すパラメータｂ_surfを読み込み、ガウス関数のピーク近傍の計測データを透明層表面７０３での反射光７０４に対応する計測データとみなす。そして、その透明層表面７０３での反射光７０４に対応する計測データ（表層反射特性データ）を省いた計測データを透明層７０２の内部の光輝材７０５での反射光７０７に対応する計測データ（内部反射特性データ）とみなす。例えば、ｃ_surf、ｄ_surfからの距離がｂ_surfの定数倍（例えば３倍）以下などの所定の距離内の計測データを透明層表面７０３での反射光７０４に対応する計測データとみなす。そして、それ以外の計測データを透明層７０２の内部の光輝材７０５での反射光７０７に対応する計測データとみなす。

図１２は、光輝材７０５での内部反射特性の抽出結果を説明するための模式図である。複数の点１２０１は、Ｓ１１０１にて抽出された内部反射特性の計測データである。先述したとおり、ピークの強度は大小様々であり、それが関数近似の不安定性の原因となっている。本実施形態では、光輝材７０５での反射光７０７に対応した計測データを抽出し、抽出した計測データにのみ基づいて関数近似を行うことで、近似精度を向上させる。

Ｓ１１０２では、法線分布推定部２０７は、Ｓ１１０１で抽出された内部反射特性の計測データ１２０１に対して、単峰性の関数を用いて、関数近似を行うことで、光輝材７０５の反射光７０７に対応したピークを特定する。なお、先述したとおり、所定の実空間位置（ｘ、ｙ、ｚ）において、含まれる光輝材の数は１つとは限らない。そこでまずは複数ある光輝材の反射光の中で最も強度（反射率）が大きいピークを特定する。また、単峰性の関数としては次式のガウス関数を用いることができる。

まず抽出された内部反射特性の計測データ１２０１の中から最大値とな最大ピークにおける入射角θを特定する。次に最大ピークにおける入射角θに基づいて、パラメータの初期値を設定する。具体的には、最大ピークにおける入射角θの値ｃ_peak ^maxをｃ_peakの初期値（ｃ_peak ⁱⁿⁱ＝ｃ_peak ^max）に設定する。また、最大ピークにおける入射方位角φの値ｄ_peak ^maxをｄ_peakの初期値をｄ_peak ⁱⁿⁱ（ｄ_peak ⁱⁿⁱ＝ｄ_peak ^max）に設定する。関数近似には、第１法線推定ステップのＳ９０２と同様に、最大ピークにおける入射角に基づいた重みを用いた重みづけ非線形最小二乗法を用いてもよい。

図１３は、Ｓ１１０２で関数近似した結果を説明するための模式図である。破線１３０１は式（５）を用いた関数近似によって得られた関数、１３０２は最大ピークにおける入射角を示す破線である。このようにして、最も強度が大きい最大ピークにおける入射角θが特定される。

Ｓ１１０３では、法線分布推定部２０７は、予め定めておいた閾値に基づき、Ｓ１１０２で特定したピークはノイズか否かを判定する。具体的には、Ｓ１１０２で推定したガウス関数のピークの大きさを表すパラメータａ_peakの値と、予め決めておいた閾値の値を比較する。ａ_peakが閾値より小さい場合は、関数近似ステップＳ１１０２で特定したピークをノイズとみなし、第２法線推定ステップＳ８０３を終了する。一方、Ｓ１１０２で推定したａ_peakが閾値以上である場合は、Ｓ１１０２で特定したピークは光輝材７０５での反射光７０６に対応したピークであるとみなし、Ｓ１１０４に進む。

Ｓ１１０４では、法線分布推定部２０７は、特定されたピークにおける入射角θの方向と撮像装置１０３および光学系１０４の光軸（軸１１０）方向との二等分線を算出することにより、所定の実空間位置（ｘ、ｙ、ｚ）における、光輝材の法線方向を推定する。

Ｓ１１０５では、法線分布推定部２０７は、Ｓ１１０１で抽出した計測データから、Ｓ１１０２で特定したピークからの所定の距離内にあるデータ以外の他の光輝材での反射光に対応する計測データ（余剰反射特性データ）を抽出し、Ｓ１１０２に戻る。Ｓ１１０２に戻ると、Ｓ１１０５で抽出された計測データに基づき同様に関数近似を行う。

図１４は、Ｓ１１０２で特定したピークに対応した計測データ以外の、他の光輝材での反射光に対応する計測データである余剰光輝材対応値抽出結果を説明するための模式図である。１４０１は、余剰光輝材対応値抽出ステップＳ１１０５にて抽出された余剰光輝材対応値の計測データである。この計測データにおけるピークの強度は大小様々であり、これをまとめて関数近似すると、大きい強度のピークで生じる近似誤差の影響により、小さい強度のピークの近似精度が低下し、それが関数近似の不安定性の原因となっている。本実施形態では、対応する法線が推定済みのピーク周辺の計測データを特定し、それ以外の計測データから１つのピークに関して関数近似することで、関数近似の安定性を向上させることができる。

以上説明したように、本実施形態では、強度の異なるピークが複数含まれた反射特性であっても、大きいピークから１つずつ関数近似していくので、近似精度が高くなり、法線方向の推定が安定し、推定精度が高くなる。さらに特定されたピークの大きさを閾値判定して法線方向の推定を行うか否かを決定するので、光輝材の数が予め分かってなくても対応可能であり、関数近似の精度は低下しない。そのため本実施形態では、透明層内部の光輝材の面法線分布を、安定して高精度に推定することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述した各処理部のうち、反射特性取得部２０６等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

１１４ 情報処理装置
１０６ 照明装置
１０３ 撮像装置
２０５ 画像取得制御部
２０６ 反射特性取得部
２０７ 法線分布推定部

Claims (15)

1. 透明層の内部に光輝材を含む物体の反射特性データを取得する取得手段と、
   前記反射特性データのうち前記透明層の表面での反射に対応するデータを表層反射特性データとして特定する特定手段と、
   前記反射特性データのうち前記表層反射特性データを除いた内部反射特性データに基づき、前記光輝材の面法線分布を推定する第１法線推定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記反射特性データは、前記物体からの反射光のうち所定の方向に略平行な反射光の輝度値に基づき生成された前記物体の入射角毎の反射率からなる
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１法線推定手段は、前記内部反射特性データを単峰性の関数を用いて関数近似し、当該関数近似で得られた関数の最大値に対応する入射角に基づき前記光輝材の面法線分布を推定する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１法線推定手段は、前記内部反射特性データにおける最大値に対応する入射角を初期値として、前記内部反射特性データを単峰性の関数を用いて関数近似し、当該関数近似で得られた関数の最大値に対応する入射角に基づき前記光輝材の面法線の１つを算出する、
   ことを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記第１法線推定手段は、前記内部反射特性データのうち面法線を算出した光輝材からの反射光に対応するデータを除いた余剰反射特性データにおける最大値に対応する入射角を初期値として、前記余剰反射特性データを単峰性の関数を用いて関数近似し、当該関数近似で得られた関数の最大値に対応する入射角に基づき前記光輝材の面法線の１つを算出する、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記第１法線推定手段は、前記関数近似で得られた関数の最大値が所定の値以上の場合、前記物体に含まれる光輝材の面法線を算出する、
   ことを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
7. 前記特定手段は、前記透明層の面法線に対して前記所定の方向が正反射方向となる入射角を初期値として、前記反射特性データを単峰性の関数を用いて関数近似し、当該関数近似で得られた関数の最大値から所定の距離内のデータを前記表層反射特性データとして特定する
   ことを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。
8. 前記透明層の面法線は、前記透明層の表面が平滑であるとみなした場合の前記透明層の面法線である、
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記反射特性データは、前記物体を撮像して得られた複数の画像データの画素ごとの輝度値に基づく、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記複数の画像データは、複数の光源を含む照明装置と、光の入射側でレンズの光軸と主光線とが平行となる光学系を有する撮像装置とを制御し、前記複数の光源を１つずつ点灯させた状態で物体を撮像して得られた画像データである
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記特定手段は、前記画像データの着目画素における前記透明層の大局的な面法線を、当該着目画素に隣接する画素の面法線方向を初期値として推定する
    ことを特徴とする請求項９又は１０に記載の情報処理装置。
12. 前記特定手段は、前記透明層の大局的な面法線方向と前記所定の方向とのなす角に基づいた非線形関数を用いた重み付き最小二乗法による関数近似を行う、
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記単峰性の関数はガウス関数である
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 透明層の内部に光輝材を含む物体の反射特性データを取得する取得ステップと、
    前記反射特性データのうち前記透明層の表面での反射に対応するデータを表層反射特性データとして特定する特定ステップと、
    前記反射特性データのうち前記表層反射特性データを除いた内部反射特性データに基づき、前記光輝材の面法線分布を推定する第１法線推定ステップと、
    を有することを特徴とする情報処理方法。
15. コンピュータを請求項１乃至１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images