JP2022054750A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】対象物体上の位置ごとの反射特性の導出精度を識別可能にする。【解決手段】情報処理装置（３）は、照明装置から光が照射された対象物体を撮像装置が撮像する際の少なくとも照明条件を、設定する設定手段（４０２）と、前記設定された照明条件に基づいて、前記対象物体の位置ごとに反射特性の導出精度を決定する決定手段（４０３）と、を有する。【選択図】 図４

Description

本発明は、物体の反射特性を取得するための情報処理技術に関する。

物体の素材や塗装の質感を表現する情報を取得するために、物体に光を照射して該物体からの反射光を測定し、物体に対して光源から照射される光の方向と物体を観察する方向とを基に、物体上の位置ごとの反射特性を取得する技術が知られている。特許文献１には、光源から光が照射された物体を撮像装置によって撮像して、物体の反射特性の分布を表す反射特性データを作成する技術が開示されている。

特開２００７－２１９７１５号公報

前述した特許文献１のように物体の反射特性分布を導出する場合、物体上の位置によって反射特性の導出精度が異なる場合がある。しかしながら、特許文献１に記載の技術では、物体上の各位置における反射特性の導出精度を識別できない。

そこで本発明は、対象物体上の位置ごとの反射特性の導出精度を識別可能にすることを目的とする。

本発明の情報処理装置は、照明装置から光が照射された対象物体を撮像装置が撮像する際の少なくとも照明条件を、設定する設定手段と、前記設定された照明条件に基づいて、前記対象物体の位置ごとに反射特性の導出精度を決定する決定手段と、を有することを特徴とする。

本発明によれば、対象物体上の位置ごとの反射特性の導出精度を識別可能となる。

反射特性を計測する構成例を示す図である。 対象物体上の位置と測定角度との関係を示す図である。 情報処理装置のハードウェア構成例を示す図である。 第１実施形態の情報処理装置の機能構成を示す図である。 第１実施形態に係る測定条件設定用のＧＵＩ例を示す図である。 光源点灯位置に関する情報の例を示す図である。 反射特性の導出精度を決定する方法の説明に用いる図である。 光源（発光素子）間のなす角のヒストグラムを示す図である。 角度分解能マップと角度範囲マップの例を示す図である。 ＳＶＢＲＤＦの導出精度マップの例を示す図である。 対象物体上のある位置におけるＢＲＤＦの例を示す図である。 反射特性の導出精度決定処理のフローチャートである。 ユーザ設定条件に基づく反射特性導出処理のフローチャートである。 第２実施形態の情報処理装置の機能構成を示す図である。 光沢物体の入射角に対する反射光強度の例を示す図である。 第２実施形態に係る測定条件設定用のＧＵＩ例を示す図である。 光沢特性が異なる場合のＳＶＢＲＤＦの導出精度例を示す図である。 ＳＶＢＲＤＦ導出精度に基づく光源点灯位置変更例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。また以下に説明する各実施形態において、同一の構成には同じ符号を付して説明する。

一般的な反射特性の測定方法は、大別して、画像群の撮像工程と、画像群を基に反射特性を決定する反射特性決定工程とからなる。撮像工程は、照明装置からの光源光を測定対象物体（測定対象の試料であり、以下、対象物体とする）に照射し、その対象物体からの反射光を２次元撮像装置（以下、撮像装置とする）が撮像する工程である。撮像工程では、光源（照明装置）と対象物体と撮像装置との間の相対位置関係が異なる複数の測定条件、例えば、対象物体に対する光源光の照射方向と当該対象物体に対する撮像装置の撮影方向とが異なった配置となる複数の測定条件が設定される。そして、撮像工程では、それら異なる測定条件ごとに対象物体を撮像した複数の画像からなる画像群が取得される。反射特性決定工程は、撮像工程で取得された画像群を基に、対象物体上の位置ごとのＢＲＤＦ（変角反射特性）であるＳＶＢＲＤＦ（変角反射特性の空間２次元分布特性）を決定する工程である。ＢＲＤＦは、Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ（双方向反射率分布関数）の略称である。ＳＶＢＲＤＦは、Ｓｐａｔｉｌｌｙ Ｖａｒｙｉｎｇ Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎの略称である。

しかしながらこの測定方法の場合、ＳＶＢＲＤＦを高精度に取得するためには、対象物体に対して高い角度分解能で光源および撮像装置を配置する必要がある。そして、高い角度分解能で光源および撮像装置を配置するためには、光源と対象物体との間の距離、対象物体と撮像装置との間の距離を長くする必要があり、構成の大型化が避けられない。また、高い角度分解能を実現するために、光源や撮像装置を可動式にして、対象物体に対する相対位置関係を任意に設定できるようにした場合、光源や撮像装置をそれぞれ設定された位置に移動させて測定を行う必要がある。この場合、それらを任意の位置まで移動させて設置するための時間が必要になり、移動と設置、さらに測定が終わるまでに、長い時間がかかる。またＢＲＤＦの測定精度は、光源や撮像装置をそれぞれ任意の位置に移動させて設置する際の位置制御の精度に依存することになり、例えば位置制御の精度が低い場合にはＢＲＤＦの測定精度も低下する。
＜第１実施形態＞

本実施形態では、図１に示すような照明装置１０２と撮像装置１０３とを有する構成において、高い角度分解能でかつ高速にＳＶＢＲＤＦの取得を可能にする例を説明する。
図１の構成において、照明装置１０２は、拡散光源である複数の発光素子１０１が２次元格子（アレイ）状に配置されており、それら発光素子１０１を個々に点灯・消灯駆動可能な光源装置である。本実施形態において、照明装置１０２は、後述する図３と図４に示す情報処理装置３によって発光素子１０１の点灯・消灯が制御される。また詳細は後述するが、情報処理装置３は、ユーザが設定した照明条件に基づいて照明装置１０２のいずれの発光素子１０１を点灯・消灯させるかを制御可能となされている。

対象物体１０４は、反射特性の測定対象物体である。
撮像装置１０３は、テレセントリック光学系を有したデジタルカメラ等の２次元撮像装置であり、照明装置１０２からの光源光が対象物体１０４で反射された光を、光軸に平行な光にして撮像する。

図１の構成において、照明装置１０２は発光素子１０１の点灯位置を順に変更した光源光を対象物体１０４に照射する。撮像装置１０３は、それら点灯位置が順に変更された光源光が対象物体１０４で反射した光のうち撮像装置１０３の主光軸に対して平行な光を、テレセントリック光学系を用いて順次撮像することで画像群を取得する。そして、画像群は、図１には不図示の後述する情報処理装置３に送られ、情報処理装置３は、画像群を基に対象物体上の各位置におけるＢＲＤＦを導出しＳＶＢＲＤＦを決定する。

ここで図２を用いて、図１の照明装置１０２から対象物体１０４の各位置に照射される光源光の入射角度の範囲および角度分解能の違いと、それによる対象物体上の各位置におけるＢＲＤＦの導出精度への影響とについて説明する。
図２（ａ）は、図１の構成を真上から見た場合の照明装置１０２と対象物体１０４と撮像装置１０３内の撮像センサ２０１との配置関係を示した図である。照明装置１０２内の白丸（○）はそれぞれ発光素子１０１を表しているとする。撮像センサ２０１において、正方形の四角として描かれている部分は、それぞれが受光素子を表しており、画素に対応しているとする。前述したように撮像装置１０３はテレセントリック光学系を有しているため、対象物体１０４の例えば点Ａ、Ｂ、Ｃの位置からの反射光は、平行光として撮像センサ２０１の受光素子Ａ´、Ｂ´、Ｃ´によって受光される。

照明装置１０２は、後述する情報処理装置３による制御の下で、２次元格子状に配置された各発光素子１０１の点灯位置を順次変更する。このため、対象物体１０４の点Ａ、Ｂ、Ｃの各位置に照射される光源光の入射角は、発光素子１０１の点灯位置に応じて順次変化する。発光素子１０１の点灯位置に応じて順に変化する入射角の光源光は、対象物体１０４の各点Ａ、Ｂ、Ｃで反射し、反射光のうち撮像センサ２０１の主光軸に対する平行光が撮像センサ２０１の受光素子Ａ´、Ｂ´、Ｃ´によって受光される。対象物体１０４上の点Ａ、Ｂ、Ｃ以外の他の各位置においても同様に、発光素子１０１の点灯位置に応じて光源光の入射角が変化し、その反射光が平行光として撮像センサ２０１の対応する受光素子にて受光される。すなわち図２（ａ）の構成では照明装置１０２の発光素子１０１の点灯位置を順に変更して撮像が行われるため、撮像装置１０３は、対象物体１０４上の位置ごとに異なる入射角度の光源光が反射された光を撮像する。

図２（ｂ）は、対象物体１０４の点Ａに照射される光源光の入射角を横軸に表し、その点Ａからの反射光を受光素子Ａ´が受光した光量を反射率に変換した値を縦軸に表したグラフである。図２（ｂ）の各グラフ中の黒丸で示される各プロットは受光素子Ａ´の受光量を反射率に変換した値であり、各プロットを繋いだ曲線は変角反射率（ＢＲＤＦ）の測定値を示している。同様に、図２（ｃ）は、対象物体１０４の点Ｂにおける光源光の入射角とその反射光を受光素子Ｂ´が受光した光量を変換した反射率の値を表したグラフである。図２（ｄ）は、対象物体１０４の点Ｃにおける光源光の入射角とその反射光を受光素子Ｃ´が受光した光量を変換した反射率の値を表したグラフである。

図２（ｃ）のグラフに示すように、対象物体上の中心付近である点Ｂでは、正反射角から離れた角度からの入射光を含む反射率の測定が可能であることがわかる。さらに図２（ｃ）のグラフからは測定角度範囲の全体にわたって角度分解能が高く、ＢＲＤＦを高精度に取得可能なことがわかる。一方、図２（ｂ）のグラフに示すように、対象物体上で照明装置１０２からの距離が近い点Ａでは、正反射角から離れた角度からの入射光は含むものの、片側はＢＲＤＦの裾まで十分に計測出来ているとは言えない。さらに図２（ｂ）のグラフからは、正反射角近傍の角度分解能が低く、ＢＲＤＦの導出精度が低くなることがわかる。また、図２（ｄ）のグラフに示すように、対象物体上で照明装置１０２からの距離が遠い点Ｃでは、角度分解能は高いものの測定角度範囲が狭く、正反射角を挟んで片側の角度はほとんど計測出来ていないことがわかる。

すなわち図１の構成の場合、対象物体上の位置によって、反射特性の導出精度が異なる。このように対象物体上の位置毎に反射特性の導出精度が異なる場合には、照明装置１０２の発光素子１０１の点灯位置を適切に制御することで、より高精度にＳＶＢＲＤＦを決定することができる。本実施形態の場合、照明装置１０２の各発光素子の点灯位置は、情報処理装置３を介して、ユーザが任意に設定可能となされている。この場合、ユーザは、対象物体上のどの位置の反射特性の導出精度が高いのか又は低いのかを認識した上で、照明装置１０２の点灯位置を適切に設定する必要がある。しかしながら、図１の構成の場合、ユーザは対象物体上のどの位置の反射特性の導出精度が高いのか又は低いのかを把握することができない。したがって、ユーザは、対象物体の反射特性を測定するときの発光素子の点灯位置を適切に設定することができない。

そこで、本実施形態の情報処理装置は、対象物体上の各位置に照射される光源光の入射角度の範囲および角度分解能を計測し、それらを基に反射特性の導出精度を決定して、ユーザに提示する機能を有する。これにより、ユーザは対象物体上の位置毎に反射特性の導出精度を認識でき、対象物体の反射特性の導出前に、ユーザが図１の構成に適切な測定条件を設定できるようになる。

図３は、対象物体上の位置毎の反射特性の導出精度をユーザに提示可能とするための情報処理を実行可能な、本実施形態に係る情報処理装置３のハードウェア構成例を示すブロック図である。
情報処理装置３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＶＣ３０４、汎用Ｉ／Ｆ３０５、ＳＡＴＡＩ／Ｆ３０６、およびＮＩＣ３０７を備える。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＶＣはＶｉｄｅｏ Ｃａｒｄの略である。また、Ｉ／ＦはＩｎｔｅｒｆａｃｅ、ＳＡＴＡはＳｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ、ＮＩＣはＮｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略である。

ＣＰＵ３０１は、ＲＡＭ３０３をワークメモリとして、ＲＯＭ３０２、ＨＤＤ３１３などに格納されたＯＳや各種プログラムを実行する。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＯＳはＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略である。また、ＣＰＵ３０１は、システムバス３０８を介して各構成を制御する。なお、情報処理装置３における後述するフローチャートの処理は、ＲＯＭ３０２やＨＤＤ３１３などに格納された本実施形態に係るプログラムコードがＲＡＭ３０３に展開されて、ＣＰＵ３０１により実行されることで実現される。

ＶＣ３０４には、ディスプレイ３１５が接続される。汎用Ｉ／Ｆ３０５には、シリアルバス３０９を介して、マウスやキーボードなどの入力デバイス３１０や撮像装置３１１が接続される。ＳＡＴＡ Ｉ／Ｆ３０６には、シリアルバス３１２を介して、ＨＤＤ３１３や各種記録メディアの読み書きを行う汎用ドライブ３１４が接続される。ＮＩＣ３０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ３０１は、ＨＤＤ３１３や汎用ドライブ３１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ３０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインタフェース）をディスプレイ３１５に表示し、入力デバイス３１０を介して受け付けるユーザ指示などの入力を受信する。

＜情報処理装置の機能構成＞
図４は、本実施形態の情報処理装置３の機能構成を示したブロック図である。図３のＣＰＵ３０１は、ＲＡＭ３０３をワークメモリとして、ＲＯＭ３０２またはＨＤＤ３１３に格納された本実施形態に係るプログラムを読み出して実行することによって、図４に示す各機能部に係る処理を実現する。なお、以下に示す機能部に係る処理の全てがＣＰＵ３０１によって、実行される必要はなく、処理の一部または全てがＣＰＵ３０１以外の一つまたは複数の処理回路によって行われるように情報処理装置３が構成されていても良い。

情報処理装置３は、条件格納部４０１、条件設定部４０２、精度決定部４０３、精度出力部４０４、照明制御部４０５、撮像制御部４０６、および特性導出部４０７で示す各機能部を有する。情報処理装置３は、図１の構成で対象物体の反射特性を取得するときの照明条件に対するＳＶＢＲＤＦの導出精度を決定する。また、情報処理装置３は、その導出精度をユーザに対して提示したことに応じて、ユーザにより設定された条件（照明条件と撮影条件）を基に、照明装置１０２と撮像装置１０３とを制御して、対象物体１０４の照明および撮像を行わせる。そして、情報処理装置３は、ユーザ設定の照明条件と撮影条件の下で撮像装置１０３により取得された画像群を基にＳＶＢＲＤＦを導出する。

図５は、照明条件と撮影条件をユーザが設定する際に用いられる測定条件設定用のＧＵＩ５００の例を示した図である。ＧＵＩ５００は、情報処理装置３のＣＰＵ３０１により生成されて、ＶＣ３０４を介して図３のディスプレイ３１５に表示される。ＧＵＩはＧｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。

ＧＵＩ５００には、照明装置１０２の照明条件を設定するための項目として、光源（発光素子１０１）の点灯数を「多い」、「普通」、「少ない」の中から選択可能にするラジオボタン５０１（オプションボタン）が選択肢として設けられている。光源点灯数の「多い」、「普通」、「少ない」は、反射特性の測定時間すなわち測定処理の速度に対応している。例えば光源点灯数が少なければ測定時間は短くなって高速処理が可能となり、光源点灯数が多ければ測定時間は長くなって処理が低速になり、光源点灯数が普通（中程度の数）であれば測定時間も中程度で処理速度も中程度となる。ユーザは、入力デバイス３１０の操作を介してラジオボタン５０１のいずれかを指定することで、「多い」、「普通」、「少ない」の選択肢の中から何れかを選択することができる。そして、ユーザによっていずれかの選択肢が選択された上で決定ボタン５０４が押下されると、条件設定部４０２は、その選択された選択肢に応じて、照明装置１０２の光源点灯数を設定し、さらに当該光源点灯数を基に光源点灯位置を設定する。

また図５に示すように、ＧＵＩ５００には、光源点灯数以外の他の照明条件を設定するための項目として、測定時間に関する情報としての光源点灯時間を指定するためのスライダーおよびスライドバー５１０が設けられている。光源点灯時間は光源点灯数に対応付けられており、条件設定部４０２は、指定された光源点灯時間に基づいて光源点灯数を決定する。条件設定部４０２は、例えば短い光源点灯時間が指定された場合には光源点灯数を少なく設定し、長い光源点灯時間が指定された場合には光源点灯数を多く設定し、中程度の光源点灯時間が指定された場合には光源点灯数を中程度の数に設定する。ユーザは、入力デバイス３１０の操作を介して、スライダーを移動させ、さらに決定ボタン５０４を押下することで、光源点灯時間（測定時間に関する情報）を指定することができる。条件設定部４０２は、ユーザがスライダーを移動させることで指定した光源点灯時間（測定時間に関する情報）に基づいて、光源点灯数を設定する。

さらにＧＵＩ５００には、撮像装置１０３の撮影条件を設定するための項目として、シャッタースピードを設定するためのスライダーおよびスライドバー５１１とゲインを設定するためのスライダーおよびスライドバー５１２が設けられている。ユーザは、入力デバイス３１０の操作を介して、スライダーを移動させた上で決定ボタン５０４を押下することで、それらの条件を指定することができる。

条件格納部４０１は、前述した照明条件や撮影条件に関する情報を格納している。図６（ａ）～図６（ｃ）は、照明条件のうち光源点灯数の「多い」、「普通」、「少ない」の各選択肢に対応した光源点灯位置に関する情報の一例を示した図である。図６（ａ）は光源点灯数が多い場合、図６（ｂ）は光源点灯数が普通（半分程）の場合、図６（ｃ）は光源点灯数が少ない場合の例である。図６（ａ）～図６（ｃ）に示した２次元格子の一つの格子は照明装置１０２上の対応した一つの発光素子（光源）を表しており、各格子内に記された点灯情報の「１」は光源の「点灯」を表し、「０」は光源の「非点灯」を表している。言い換えれば点灯情報の「１」（「０」）は、光源点灯位置（光源非点灯位置）に関する情報である。これら点灯情報（光源点灯位置に関する情報）は、条件格納部４０１にＮ×Ｎ行列の情報として格納されていても良いし、１次元のリストの情報として格納されていても良い。

また、前述したような光源点灯位置に関する情報を含む光源点灯数は、ファイルの指定により選択されてもよい。例えば図５のＧＵＩ５００には、ファイル指定を示すラジオボタン５０２が設けられている。ユーザが、当該ラジオボタン５０２を指定した上で、参照ボタン５０３を押下すると、情報処理装置３は、条件格納部４０１に格納されている複数のファイルが画面上で参照可能な形態としてユーザに提示する。なお、画面上で参照可能な形態の複数のファイル等を示す画面の情報は、情報処理装置３の例えばＣＰＵ３０１が生成するものとする。例えば、条件格納部４０１には、光源の点灯／非点灯を「１」／「０」で記した図６（ａ）～図６（ｃ）と同形式のファイルが予め格納されている。ＣＰＵ３０１は、参照ボタン５０３が押下されると、条件格納部４０１に格納されているファイルの一覧を示す画面を生成し、ＧＵＩ５００上又は別ウィンドウに参照可能な状態として提示する。そして、そのファイルの一覧の中から何れかのファイルをユーザが指定すると、条件設定部４０２は、その指定されたファイルを条件格納部４０１から読み出し、当該ファイルによる各光源点灯数（光源点灯位置）を照明装置１０２に設定する。

なお、条件格納部４０１には、光源点灯位置に関する情報の他に、光源点灯時間の照明条件に関する情報、シャッタースピードやゲインの撮影条件に関する情報が格納されていてもよい。光源点灯時間は光源点灯数と対応付けて格納されており、光源点灯時間がユーザにより指定されると、条件設定部４０２は、その光源点灯時間に応じた光源点灯数（光源点灯位置に関する情報）を取得する。また例えば、ユーザによりシャッタースピードやゲインが指定されると、条件設定部４０２は、その指定に応じて撮像装置１０３のシャッタースピードやゲインを設定する。

精度決定部４０３は、条件設定部４０２で設定された照明条件（本実施形態では光源点灯数に応じた光源点灯位置の照明条件）を取得し、その光源点灯位置に基づいてＳＶＢＲＤＦの導出精度を決定する。
精度決定部４０３によるＳＶＢＲＤＦの導出精度の決定方法について、図７を用いて説明する。図７は、前述した図２（ａ）と同様に、図１の構成を真上から見た場合の照明装置１０２と対象物体１０４と撮像装置１０３内の撮像センサ２０１との配置関係を示した図である。

図７に示した配置関係において、照明装置１０２と撮像装置１０３（撮像センサ２０１）と対象物体１０４との、相対的な位置関係（距離や角度）は既知であるとする。また前述したように、対象物体１０４で反射された光は、撮像装置１０３のテレセントリック光学系により平行になされて撮像センサ２０１で受光される。このため、対象物体１０４上の位置７０１は、撮像センサ２０１上の受光素子の位置７０４（画素位置）から決定することができる。さらに照明装置１０２に設けられている複数の光源（発光素子）のうち、ある光源Ｌ１の位置７０２は、照明装置１０２における当該光源Ｌ１の発光素子の配置位置から決定することができる。また、光源Ｌ１と隣接している光源Ｌ２の位置７０３は、照明装置１０２における当該光源Ｌ２の発光素子の配置位置から決定することができる。

ここで、対象物体１０４上の位置７０１のｘｙｚ座標が（ｘ_S，ｙ_S，ｚ_S）で表され、また、光源Ｌ１の位置７０２が（ｘ_L1，ｙ_L1，ｚ_L1）、光源Ｌ２の位置７０３が（ｘ_L2，ｙ_L2，ｚ_L2）のｘｙｚ座標でそれぞれ表されるとする。また、対象物体１０４上の位置７０１から光源Ｌ１（位置７０２）へのベクトルをｍｕとし、位置７０１から光源Ｌ２（位置７０３）へのベクトルをｍｖとすると、それらベクトルｍｕおよびベクトルｍｖは、下記の式（１）で表される。さらに、ベクトルｍｕとベクトルｍｖとがなす角の角度θは、下記の式（２）から決定される。

ｍｕ＝（ｘ_L1－ｘ_S，ｙ_L1－ｙ_S，ｚ_L1－ｚ_S）
ｍｖ＝（ｘ_L2－ｘ_S，ｙ_L2－ｙ_S，ｚ_L2－ｚ_S） 式（１）

θ＝ａｒｃｃｏｓ（(ｍｕ・ｍｖ)／(|ｍｕ|・|ｍｖ)） 式（２）

このように、精度決定部４０３は、照明装置１０２上で隣接する位置７０２と位置７０３の二つの光源が対象物体１０４上の位置７０１に対してなす角度θを決定する。また精度決定部４０３は、照明装置１０２上で位置７０２と位置７０３の二つの光源の配列方向に対して直交する方向の隣接した二つの光源についても同様にして、それら光源が対象物体１０４上の位置７０１に対してなす角度θを決定する。精度決定部４０３は、撮像センサ２０１の各画素（受光素子）に対応した、対象物体１０４上の位置ごとに、照明装置１０２上の全ての光源について前述同様に角度θを決定し、それら角度θのヒストグラムを算出する。図８（ａ）は、撮像センサ２０１の各画素に対応した、対象物体１０４上の位置毎に決定した角度θのヒストグラムを示した図である。

さらに精度決定部４０３は、角度θのヒストグラムを基に、角度分解能の精度の高さを示す指標を算出する。この指標は、ヒストグラムにおいて予め設定された角度以下の頻度の高さから決定することで算出できる。指標はこれに限定されるものではなく、例えば図８（ｂ）に示すようにヒストグラムを関数近似したグラフを求め、そのグラフ上で所定の頻度（ここでは最大頻度の５０％）における幅を用いても良い。また指標は、より単純に、角度θの最小値を用いることも可能である。このように、精度決定部４０３は、撮像センサ２０１の各画素に対応した、対象物体１０４上の位置毎に、角度分解能の精度の高さを示す指標を算出する。

また精度決定部４０３は、前述した角度分解能だけでなく、撮像センサ２０１上の各画素の角度範囲の指標をも算出する。例えば精度決定部４０３は、照明装置１０２の位置７０５と位置７０６の光源のように、当該照明装置１０２内で最も離れた二つの光源が対象物体１０４の位置７０１となす角度θを前述同様にして求め、それを角度範囲の指標とする。あるいは、精度決定部４０３は、図８（ａ）に示した角度θのヒストグラムの最大値を、角度範囲の指標として求めてもよい。

そして、精度決定部４０３は、前述のようにして決定した角度分解能の指標と角度範囲の指標とを用いて、対象物体１０４の各位置におけるＳＶＢＲＤＦの導出精度を決定する。
図９（ａ）は角度分解能マップの例を示し、図９（ｂ）は角度範囲マップの例を示した図である。図９（ａ）および図９（ｂ）の一つの格子（マス）は、撮像センサ２０１の一つの画素（受光素子）に対応しているとする。撮像センサ２０１の各画素（受光素子）は対象物体１０４上の各位置に対応しているため、図９（ａ）と図９（ｂ）は、対象物体１０４上の各位置における角度分解能マップと角度範囲マップに相当する。図９（ａ）において格子のグレー濃度が高い（濃い）ほど角度分解能が高いことを示しており、図９（ｂ）において格子のグレー濃度が高い（濃い）ほど角度範囲が広いことを示している。

精度決定部４０３は、図９（ａ）の角度分解能マップと図９（ｂ）の角度範囲マップとを基に、図１０に示すようなＳＶＢＲＤＦ導出精度マップを決定する。なお図１０において、グレー濃度が高い格子ほどＳＶＢＲＤＦの導出精度が高いことを示している。例えば、精度決定部４０３は、角度分解能の指標と角度範囲の指標とを乗算することでＳＶＢＲＤＦ導出精度を決定する。また例えば、精度決定部４０３は、角度分解能の指標と角度範囲の指標とを線形和することでＳＶＢＲＤＦ導出精度を決定しても良い。さらに例えば、精度決定部４０３は、角度分解能の指標と角度範囲の指標とに所定の重み付けをした加重平均により、ＳＶＢＲＤＦ導出精度を決定しても良い。このようにして精度決定部４０３により決定されたＳＶＢＲＤＦ導出精度の情報は精度出力部４０４に送られる。

精度出力部４０４は、精度決定部４０３で決定されたＳＶＢＲＤＦの導出精度を示す情報を出力する。そして、例えばＣＰＵ３０１は、このＳＶＢＲＤＦの導出精度を示す情報を基に、ＳＶＢＲＤＦの導出精度を表示するためのプレビュー画像を生成し、そのプレビュー画像を図５のＧＵＩ５００上または別ウィンドウに表示させるようにする。これによりユーザは、ＳＶＢＲＤＦの導出精度を確認することができる。また、ユーザは、ＳＶＢＲＤＦの導出精度を確認した上で、当該ＳＶＢＲＤＦの導出精度と光源点灯数に対応する測定時間とを鑑みて、光源点灯数を決定することができる。なおプレビュー画像は図１０に示したＳＶＢＲＤＦの導出精度マップを表す画像とするが、例えば図９（ａ）の角度分解能マップや図９（ｂ）の角度範囲マップを表す画像が、ＳＶＢＲＤＦの導出精度を表すプレビュー画像として用いられてもよい。

照明制御部４０５は、条件設定部４０２で決定された光源点灯位置の情報に基づいて、照明装置１０２の各発光素子１０１のうち点灯情報が「１」となる光源を順次点灯させる。
撮像制御部４０６は、条件設定部４０２で決定された光源点灯位置に基づいて照明制御部４０５が照明装置１０２の光源を順次点灯させるタイミングに応じて、撮像装置１０３での撮像を逐次実行させるように制御する。なおこの場合、照明制御部４０５は、発光素子１０１を順次点灯させる際の同期信号を撮像制御部４０６に送り、撮像制御部４０６は、照明制御部４０５からの同期信号をトリガとして撮像タイミングを制御する。これにより、照明装置１０２における順次点灯のタイミングと、撮像装置１０３における撮像タイミングとを同期させた撮像が行われる。

特性導出部４０７は、撮像装置１０３によって撮像された画像群を基に、ＳＶＢＲＤＦを導出する。
図１１は、対象物体１０４上の注目位置に対する光源光の入射角度と、当該注目位置に対応した撮像センサ２０１上の受光素子（画素）の画素値（グラフ中のプロット点）と、導出されたＳＶＢＲＤＦ１１０１との関係を示すグラフである。ＳＶＢＲＤＦの導出には、ＰｈｏｎｇモデルやＴｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗモデルなどの既知の反射モデル、あるいはガウス関数近似や多項式近似などを用いることが出来る。モデル式や関数の係数は、最小二乗法など既知の最適化手法を用いて決定する。

以下、図１２および図１３のフローチャートを用いて、本実施形態の情報処理装置３における処理の流れを説明する。
図１２は、情報処理装置３において、光源点灯位置の設定から反射特性の導出精度を決定するまでの処理の流れを示したフローチャートである。

まずステップＳ１２０１において、条件設定部４０２は、ユーザによる光源点灯数の指示に基づいて、光源点灯位置を設定する。本実施形態の場合、図５のＧＵＩ５００に示したように予め設定された光源点灯数の中からユーザが何れかの光源点灯数を選択すると、条件設定部４０２は、その選択された光源点灯数を基に、光源点灯位置を設定する。そして、精度決定部４０３は、条件設定部４０２において光源点灯数に応じて設定された光源点灯位置の情報を取得する。

次にステップＳ１２０２において、精度決定部４０３は、光源点灯位置の情報を基に、前述したように角度分解能の指標を決定する。
さらにステップＳ１２０３において、精度決定部４０３は、光源点灯位置の情報から前述したように角度範囲の指標を決定する。
そしてステップＳ１２０４において、精度決定部４０３は、ステップＳ１２０２で決定した角度分解能の指標およびステップＳ１２０３で決定した角度範囲の指標に基づいて、ＳＶＢＲＤＦの導出精度を決定する。

図１３は、情報処理装置３において、ユーザにより指定された測定条件（照明条件と撮影条件）に基づいて、照明装置１０２と撮像装置１０３とを制御して対象物体１０４を撮像し、ＳＶＢＲＤＦを導出する処理の流れを示したフローチャートである。
まずステップＳ１３０１において、照明制御部４０５は、ユーザの指定を基に条件設定部４０２が設定した照明条件（光源点灯位置の情報）を取得する。またこのとき撮像制御部４０６は、ユーザの指定を基に条件設定部４０２が設定した撮影条件（シャッタースピードやゲインの情報）を取得する。

次にステップＳ１３０２において、照明制御部４０５は、光源の点灯／非点灯の判定対象の光源番号を初期値の１にする。本実施形態では、照明装置１０２の各発光素子１０１には例えば１から発光素子の数までの昇順の光源番号が付与されており、ステップＳ１３０２において、照明制御部４０５は、光源の点灯／非点灯の判定対象の光源番号を１にする。

次にステップＳ１３０３において、照明制御部４０５は、光源番号が１の光源（発光素子）の点灯情報が「１（点灯）」であるか否かを判定する。
照明制御部４０５は、点灯情報が「１（点灯）」であれば、ステップＳ１３０４において光源番号が１の光源（発光素子）を点灯すると同時に、ステップＳ１３０５において当該光源点灯制御に応じた同期信号を撮像制御部４０６に送信する。一方、ステップＳ１３０３において点灯情報が「０（非点灯）」であると判定した場合、照明制御部４０５は、後述するステップＳ１３０８に処理を進める。

次にステップＳ１３０６に進むと、撮像制御部４０６は、照明制御部４０５から同期信号を受信したタイミングで、対象物体１０４を撮像する。このように、本実施形態では、光源点灯位置の情報に基づいて、照明制御部４０５が照明装置１０２の該当する光源を順次点灯し、その光源の順次点灯に同期して撮像制御部４０６の撮像が行われる。

次にステップＳ１３０７において、照明制御部４０５は、ステップＳ１３０４で点灯させた光源を消灯する。
そしてステップＳ１３０８において、照明制御部４０５は、光源番号をインクリメントする。
次にステップ１３０９において、照明制御部４０５は、照明装置１０２の最後の光源番号の光源まで、ステップＳ１３０３以降の処理が完了したかを判定し、完了していない場合にはステップＳ１３０３の処理に戻る。一方、ステップＳ１３０９で完了したと判定した場合、情報処理装置３の処理はステップＳ１３１０に進む。

ステップＳ１３１０に進むと、ステップＳ１３０３からステップＳ１３０９まで処理が繰り返されて撮像装置１０３の撮像処理で得られた画像群を用いて、特性導出部４０７がＳＶＢＲＤＦを導出する。

以上説明したように、第１実施形態によれば、対象物体上の位置毎の反射特性の導出精度を、ユーザが測定前に確認できるため、測定時間と反射特性の導出精度とを基にユーザが測定条件（照明条件や撮影条件）を適切に設定することが可能になる。

＜第２実施形態＞
以下、第２実施形態として、第１実施形態で説明した角度分解能および角度範囲だけでなく、さらに対象物体の光沢特性をも加味して、ＳＶＢＲＤＦの導出精度を決定する例を説明する。第２実施形態の構成も図１と同様に照明装置１０２と撮像装置１０３とを有し、照明装置１０２は光源点灯位置を順に変更しながら対象物体１０４に光源光を照射し、撮像装置１０３は対象物体１０４を撮像する。また第２実施形態の情報処理装置３のハードウェア構成は第１実施形態のものと同様であり、その図示および説明を省略する。以下、第２実施形態と第１実施形態とで異なる部分を主に説明する。なお第１実施形態と同一の構成については、第２実施形態でも同じ符号を付して説明する。

図１４は、第２実施形態に係る情報処理装置３の機能構成を示したブロック図である。第２実施形態の情報処理装置３は、第１実施形態の図４に示した機能構成に加えて、特性格納部１４０１を備えている。特性格納部１４０１は、測定対象となされる対象物体（試料）の光沢特性を示す情報を格納している。第２実施形態の情報処理装置３は、第１実施形態で説明した角度分解能および角度範囲の指標に加え、特性格納部１４０１に格納された光沢特性を示す情報をも用いて、ＳＶＢＲＤＦの導出精度を決定する。また情報処理装置３は、前述同様に、ＳＶＢＲＤＦの導出精度を基にユーザが指定した条件で、照明装置１０２および撮像装置１０３を制御する。そして、情報処理装置３は、対象物体１０４を照明および撮像して得られた画像群に基づいて、ＳＶＢＲＤＦを導出する。

以下、第２実施形態において、第１実施形態で説明した角度分解能と角度範囲に加えて、対象物体の光沢特性に関する情報をも用いることについて説明する。本実施形態において、光沢特性に関する情報は、変角反射特性の反射ピーク角度の近傍の反射光の広がりに関する情報である。例えば、光沢特性に関する情報は、特性導出部４０７が導出した対象物体の変角反射特性の空間２次元分布に基づき決定される。

図１５は、物体に対する光の入射角と反射光強度の関係を示したグラフである。図１５中のグラフ１５０１は高い光沢特性を有する物体（高光沢物体とする）のＢＲＤＦを示し、グラフ１５０２は光沢特性が低い物体（低光沢物体とする）のＢＲＤＦを示している。グラフ１５０１に示すようなＢＲＤＦの急峻な高光沢物体（写像性の高い物体）では、反射ピーク近傍の角度分解能が低いと、ＢＲＤＦの形状を決定するために必要なデータ数が不足し、ＢＲＤＦの導出精度が低くなる。一方、グラフ１５０２に示すように入射角度に対する反射光強度の変化の小さいＢＲＤＦとなる低光沢物体（写像性の低い物体）では、反射ピーク近傍の角度分解能が低くてもＢＲＤＦの形状を決定するために必要なデータ数が充分である場合が多い。また、角度範囲も同様に、高光沢物体では反射ピーク近傍の変化を充分に取得できていないとＢＲＤＦの導出精度は低く、低光沢物体では反射ピーク近傍で取得する角度範囲が狭くてもＢＲＤＦの導出精度は高い。このように、ＳＶＢＲＤＦの導出精度は、対象物体１０４に対する光源光の入射角の分解能や角度範囲だけでなく、当該対象物体１０４の光沢特性も影響する。特にＢＲＤＦの急峻さ（写像性の高さ）の程度は、導出精度への影響度が大きい。

そこで、第２の実施形態の情報処理装置３おいて、ユーザが対象物体１０４の光沢特性を設定すると、精度決定部４０３は、当該設定された光沢特性に関する情報を特性格納部１４０１から取得する。そして、精度決定部４０３は、前述の第１実施形態で説明した角度分解能および角度範囲の指標に加え、さらに光沢特性の情報をも用いて、ＳＶＢＲＤＦの導出精度を決定する。

図１６は、第２実施形態において、図５の例と同様の照明条件と撮影条件に加え、さらに光沢特性をユーザが指定可能なＧＵＩ１６００の例を示した図である。なお、ＧＵＩ１６００は、ＣＰＵ３０１により生成されて図３のディスプレイ３１５の画面上に表示されるとする。

図１６に示したＧＵＩ１６００には、光沢特性をユーザが指定可能な項目として、「高光沢」、「中光沢」、「低光沢」、および「選択しない」のラジオボタン５２０が選択肢として設けられている。ユーザは、入力デバイス３１０の操作を介してラジオボタン５２０を指定することで、「高光沢」、「中光沢」、「低光沢」、「選択しない」の選択肢の中から何れかを選択することができる。それらのいずれかの選択肢がユーザによって選択されると、精度決定部４０３は、その選択された選択肢に応じた光沢特性の情報を特性格納部１４０１から取得する。

そして、精度決定部４０３は、前述の第１実施形態の場合と同様にして算出した角度分解能および角度範囲の指標に対し、光沢特性が高いほど低くなるような重み係数を乗算して、ＳＶＢＲＤＦの導出精度を算出する。

図１７（ａ）と図１７（ｂ）は、光源点灯位置が同一条件で光沢特性が異なる場合において精度決定部４０３で決定されたＳＶＢＲＤＦの導出精度マップの例を示した図である。図１７（ａ）は対象物体が高光沢物体である場合の導出精度マップを示し、図１７（ｂ）は対象物体が低光沢物体である場合の導出精度マップを示している。これら導出精度マップにおいて、グレー濃度が高い格子ほどＳＶＢＲＤＦの導出精度が高いことを示しており、図１７（ａ）と図１７（ｂ）から、対象物体の光沢特性が高いほど、ＳＶＢＲＤＦの導出精度が低くなっていることがわかる。

なお、図１６のＧＵＩ１６００には、光沢特性を「選択しない」の項目が用意されているが、これは測定後に精度を確認する場合において必ずしもユーザは光沢特性を選択する必要がないためである。ユーザにより「選択しない」が指定された場合、精度決定部４０３は、特性導出部４０７で導出されたＳＶＢＲＤＦから光沢特性を決定し、この情報を用いてＳＶＢＲＤＦの導出精度を決定する。

以上説明したように、第２実施形態の情報処理装置３は、対象物体上の位置毎の反射特性の導出精度を、その対象物体の光沢特性を考慮して決定することができる。例えば対象物体の光沢特性として低光沢をユーザが選択した場合には光源点灯数を減らして測定時間を短縮することができる。また本実施形態では、対象物体の光沢特性をユーザが選択しなくても、反射特性の導出精度を測定後に確認して、その測定結果の信頼性を確認することができる。

＜変形例＞
前述した各実施形態の変形例として、図１０、図１７に示したようなＳＶＢＲＤＦの導出精度に基づいて、光源の点灯位置を変更する例を説明する。ここでは、導出精度が図１０の場合を例に挙げて、対象物体１０４上の位置によらずに、ＳＶＢＲＤＦの導出精度が近くなるようにするための光源点灯位置の決定方法を説明する。条件設定部４０２は、光源点灯数の割合をユーザが指定し（不図示）、図１０の導出精度の偏りを減らすように、導出精度の高い領域と正反射に近いほど光源位置の点灯数が「０」になる確率が相対的に高くなるような重み付けをして光源点灯位置を決定する。図１８は、この方法で決定した光源点灯位置の例を示している。図１８に示した２次元格子と各格子内に記された情報は前述した図６の例と同様のものである。

さらに他の例として、前述した各実施形態の各機能部の処理のうち、精度決定部４０３、特性導出部４０７等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理を行っても良い。その場合には、例えば、その機能部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記機能部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記機能部の処理を行う。なお、学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

３：情報処理装置、１０２：照明装置、１０３：撮像装置、１０４：対象物体（試料）、４０１：条件格納部、４０２：条件設定部：４０３：精度決定部、４０４：精度出力部、４０５：照明制御部、４０６：撮像制御部、４０７：特性導出部

Claims (22)

1. 照明装置から光が照射された対象物体を撮像装置が撮像する際の少なくとも照明条件を、設定する設定手段と、
   前記設定された照明条件に基づいて、前記対象物体の位置ごとに反射特性の導出精度を決定する決定手段と、
   を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記対象物体の前記位置に対応する入射光の角度に関する情報に基づいて前記導出精度を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記対象物体の前記位置に対応する入射光の角度に関する情報と前記対象物体の光沢特性に関する情報とに基づいて、前記導出精度を決定することを特徴とする請求項１に記載の情報処理装置。
4. 前記決定手段は、前記入射光の角度に関する情報に対して、前記対象物体の光沢特性に関する情報に応じた重み付けを行うことを特徴とする請求項３に記載の情報処理装置。
5. 前記入射光の角度に関する情報に対する前記重み付けは、前記対象物体の光沢特性が高いほど低くなる重み付けであることを特徴とする請求項４に記載の情報処理装置。
6. 前記光沢特性に関する情報は、前記反射特性の反射ピーク角度の近傍の反射光の広がりに関する情報であることを特徴とする請求項３から請求項５のいずれか１項に記載の情報処理装置。
7. 前記光沢特性に関する情報は、前記対象物体の変角反射特性の空間２次元分布に基づき決定されることを特徴とする請求項３から請求項６のいずれか１項に記載の情報処理装置。
8. 前記決定手段は、ユーザの指定に基づく前記光沢特性に関する情報を用いて、前記導出精度を決定することを特徴とする請求項３から請求項６のいずれか１項に記載の情報処理装置。
9. 前記角度に関する情報は、前記照明装置と前記対象物体との相対的な位置関係と、前記照明装置が備えている複数の発光素子の点灯位置と、に基づいて決定される角度範囲および角度分解能であることを特徴とする請求項２から請求項８のいずれか１項に記載の情報処理装置。
10. 前記決定手段は、前記角度範囲を示す指標と前記角度分解能を示す指標とを乗算して前記導出精度を決定することを特徴とする請求項９に記載の情報処理装置。
11. 前記決定手段は、前記角度範囲を示す指標と前記角度分解能を示す指標との線形和により前記導出精度を決定することを特徴とする請求項９に記載の情報処理装置。
12. 前記決定手段は、前記角度範囲を示す指標と前記角度分解能を示す指標とに所定の重み付けをした加重平均により前記導出精度を決定することを特徴とする請求項９に記載の情報処理装置。
13. 前記決定手段は、前記対象物体の位置ごとに、前記照明装置の点灯した二つの発光素子がなす角度のヒストグラムから、前記角度分解能を取得することを特徴とする請求項９から請求項１２のいずれか１項に記載の情報処理装置。
14. 前記決定手段は、前記対象物体の位置に対して、前記照明装置が備えている複数の発光素子のうち最も離れた二つの発光素子がなす角度から、前記角度範囲を取得することを特徴とする請求項９から請求項１３のいずれか１項に記載の情報処理装置。
15. 前記決定手段は、前記対象物体の位置ごとに、前記照明装置の点灯した二つの発光素子がなす角度のヒストグラムの最大値から、前記角度範囲を取得することを特徴とする請求項９から請求項１３のいずれか１項に記載の情報処理装置。
16. 前記導出精度をユーザに提示する提示手段をさらに有することを特徴とする請求項１から請求項１５のいずれか１項に記載の情報処理装置。
17. 前記設定手段は、ユーザの指定に基づいて前記照明装置の照明条件を設定することを特徴とする請求項１から請求項１６のいずれか１項に記載の情報処理装置。
18. 前記設定手段は、前記照明装置が備えている複数の発光素子のうち、ユーザが指定した点灯数に応じた点灯位置を、前記照明条件として設定することを特徴とする請求項１７に記載の情報処理装置。
19. 前記設定手段は、前記照明装置が備えている複数の発光素子のうち、ユーザが指定した測定時間に関する情報に基づいて、前記照明条件を設定することを特徴とする請求項１７または請求項１８に記載の情報処理装置。
20. 前記照明装置が備えている複数の発光素子の点灯位置を変更したタイミングに同期して、前記撮像装置によって撮像された画像を基に、前記対象物体の位置ごとの反射特性の空間２次元分布を導出する導出手段をさらに有することを特徴とする請求項１から請求項１９のいずれか１項に記載の情報処理装置。
21. 情報処理装置が実行する情報処理方法であって、
    照明装置から光が照射された対象物体を撮像装置が撮像する際の少なくとも照明条件を、設定する設定ステップと、
    前記設定された照明条件に基づいて、前記対象物体の位置ごとに反射特性の導出精度を決定する決定ステップと、
    を有することを特徴とする情報処理方法。
22. コンピュータを請求項１から請求項２０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images