JP2015125621A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】物体の反射特性を、簡便かつ高精度に推定する。【解決手段】距離測定部102が撮影画像101から、物体の3次元形状を示す情報として距離情報103を取得し、法線推定部104が距離情報103から、物体の表面における法線情報105を推定する。一方、輝度情報抽出部106が撮影画像101から、物体の輝度情報107を取得する。反射特性推定部110は、法線情報105が示す法線方向の分布と輝度情報107に基づき、物体の反射特性を推定する。そして法線分布評価部111が、法線情報105が示す法線方向の分布から、物体の追加撮影の要否を判定する。【選択図】 図1

Description

本発明は物体の反射特性を推定する情報処理装置および情報処理方法に関する。

従来より、物体を撮影したデータから該物体の反射特性を推定し、任意の照明条件下での物体の“見え”を再現する技術が知られている。例えば特許文献1では、物体の反射特性の推定を、反射モデルの近似関数で表現することによって行う手法が開示されている。この近似関数は、双方向反射分布関数(Bi-directional Reflectance Distribution Function)を用いて算出される。また、この反射モデルとは例えば、ガウス反射モデル、Phong反射モデル、Torrance-Sparrowモデル等である。

特許第3962588号公報

しかしながら、上記従来の反射特性の推定技術においては、以下のような問題があった。

まず、実際に近似関数の各モデルについての定数を求めるには、様々な法線方向を持つ物体の表面と、その表面上の複数の点における輝度情報を計測する必要があった。この計測には、対象となる物体(以下、対象物体)を回転テーブルの上に乗せ、対象物体と照明やカメラの位置配置を変更しながら、対象物体を撮影する必要があった。したがって、対象物体の反射特性の推定を行うために、対象物体の何倍もの大きさとなる大掛かりな撮影装置が必要となる、という問題があった。また、回転テーブルを回転させ、停止させて撮影する、という手順を繰り返し行うために、対象物体の反射特性を得るために長時間を要するという課題があった。

また、上記従来の手法では、回転テーブルを用いて対象物体を回転させることによって、十分な多様性を持った表面法線方向とそれに対応した輝度情報が得られることを前提としていた。しかしながら、対象物体の置き方によっては、たとえ回転テーブルを用いて回転させたとしても、十分な多様性を持った法線方向データが得られるとは限らなかった。法線方向データの多様性が不十分であると、近似関数モデルの定数推定結果の信頼性が低くなってしまう。

本発明は上記問題に鑑み、物体の反射特性を簡便かつ高精度に推定することを目的とする。

上記課題を解決するための一手段として、本発明の情報処理装置は以下の構成を備える。すなわち、物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得する取得手段と、前記3次元形状を示す情報から前記物体の表面における法線情報を推定する法線推定手段と、前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定する反射特性推定手段と、前記法線方向の分布から、前記物体の追加撮影の要否を判定する判定手段と、を有することを特徴とする。

本発明によれば、物体の反射特性を簡便かつ高精度に推定することが可能となる。

第1実施形態に係る情報処理装置の機能構成を示すブロック図 本発明おける各実施形態に係る情報処理装置の構成を示すブロック図 第1実施形態における対象物体の撮影環境を示す図 第1実施形態における反射特性推定および法線分布評価を説明する図 法線分布の評価結果をユーザーへ提示するダイアログ例を示す図 第2実施形態に係る情報処理装置の機能構成を示すブロック図 第2実施形態における反射特性推定および法線分布評価を説明する図 第3実施形態に係る情報処理装置の機能構成を示すブロック図 第3実施形態における累積法線分布の表示例を示す図 第4実施形態に係る情報処理方法の機能構成を示すブロック図 第4実施形態のおける推奨姿勢の決定処理を示すフローチャート 第4実施形態における姿勢の設定例を示す図 第4実施形態における推奨姿勢の表示例を示す図

以下、本発明実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

●装置構成
本発明にかかる各実施形態を説明するのに先立ち、各実施形態に示す情報処理方法が実装される装置構成について、図2を用いて説明する。

図2は、本発明にかかる各実施形態が適用される情報処理装置の構成を示すブロック図である。なお図2に示す構成は、最も典型的な情報処理装置として普及しているパーソナルコンピュータをモデルとしている。本発明は、さらにその他の形態の情報処理装置、例えば組み込みデバイス、デジタルカメラ、タブレット端末等、の情報処理装置に実装されても良い。

図2において、CPU201は、各実施形態における情報処理方法のプログラムを実行したり、同図に示す全ての装置の制御を行なったりする。ROM202は不揮発性のメモリであり、情報処理装置を初期動作させる際に必要なプログラムを保持する。RAM203と2次記憶装置204は、CPU201が使用するプログラム210等を記録する。なおプログラム210は、OS211、アプリケーション212、モジュール213、およびデータ214から構成される。情報処理装置を構成するこれら201〜204のハードウェアは、バス205を介して情報をやり取りする。

情報処理装置はバス205を介して、ディスプレイ206、キーボード207、マウス208、I/Oデバイス209に接続している。ディスプレイ206は、ユーザーに処理結果や処理の途中経過等の情報を表示する。キーボード207とマウス208は、ユーザーからの指示を入力するのに用いられ、特にマウス208は2次元や3次元の位置関係を入力するのに用いられる。

I/Oデバイス209は、新規データや登録用データを取り込む際に用いられる。例えばデータとして2次元情報を用いる場合であれば、I/Oデバイス209は対象物体を撮影するカメラとして構成される。また、データとして3次元情報を用いる場合であれば、I/Oデバイス209を2台のステレオカメラや、1台のパターン投影装置と1台以上のカメラとして構成し、パターン投影装置で投影したランダムドットパターンを2台のカメラで撮影する場合もある。またI/Oデバイス209としてTOF(Time of Flight)センサ装置を用いる場合もある。

I/Oデバイス209はまた、情報処理結果を、ロボット制御装置等の他装置へ出力する場合もある。

＜第1実施形態＞
●反射特性推定処理(概要)
以下、上記構成において実現される、本発明にかかる第1実施形態の反射特性推定処理の概要について、図1を用いて説明する。

図1は、本実施形態の機能構成を示すブロック図である。まず、I/Oデバイス209を用いて対象物体の画像取得を行う。具体的には、対象物体を撮影して撮影画像101を得る。例えばI/Oデバイス209がステレオカメラであれば、1回の撮影で得られる撮影画像101は、2枚の画像となる。また、スリット光投射法、空間コード化法や位相シフト法などの手法で3次元測定を行う場合であれば、1回の撮影で得られる撮影画像101は、N枚(Nは2以上)の画像となる。

本実施形態では、撮影画像101の撮影時における対象物体の配置によって、反射特性の推定精度が変わるため、様々な姿勢の複数の対象物体を配置すること、すなわち多数の対象物体をいわゆるバラ積み状態として撮影することが望ましい。なお、対象物体が1つしか入手できない場合には、この対象物体を様々な姿勢で配置して都度撮影する必要があるが、もちろん、その場合であっても本実施形態の反射特性推定の方法は適用可能である。

距離測定部102では、撮影画像101を用いて距離情報103を算出する。距離情報103はすなわち、対象物体の撮影位置からの距離を示す情報であり、対象物体の3次元形状を示す情報として取得される。この形状取得アルゴリズムとしては様々な方式が適用可能であるが、基本的には三角測量の原理を用いて距離を求めれば良い。つまり、I/Oデバイス209に含まれる2つの装置(2台のカメラ、または、1台の投影装置と1台のカメラ)の空間上の2点と、3次元計測点とからなる3角形の形(なす角度)を用いて距離を求める。また他の方法として、投射したレーザーが対象物体まで往復するのにかかる時間から距離を計測するTOF方式を用いて、対象物体表面までの距離を測定してもよい。

次に、法線推定部104が、距離情報103を用いて対象物体表面における法線の位置および方向等を示す法線情報105を算出する。法線情報105を算出するアルゴリズムとしては、注目点とその近傍複数点(例えば縦横斜めの近傍8点)に対する平面フィッティングにより、局所平面および法線ベクトルを求める方法がある。

一方、輝度情報抽出部106では、撮影画像101から輝度情報107を抽出する。例えば、予め決められた照明条件下で対象物体を撮影した撮影画像101から、対象物体表面の複数の点における輝度値を集めることで、輝度情報107を得る。

反射特性推定部110は、撮影毎に得られる法線情報105と輝度情報107を集計し、さらに撮影環境情報109を参照して、対象物体の反射特性として、輝度分布を推定する。この際、好ましくは、撮影画像101における対象物体の存在領域を示す物体領域情報108を参照して、対象物体の表面のデータのみを処理対象とする。物体領域情報108の設定方法としては、ユーザが撮影毎に、対象物体の存在する領域をマウス等を用いて指定することが一般的である。また、距離情報103から、距離が所定の閾値未満となる部分を対象物体領域として、物体領域情報108を取得する方法もある。また、対象物体と全く異なる色の背景を設定しておき、輝度情報抽出部106において背景色でない部分を対象物体領域として抽出し、物体領域情報108を取得する方法もある。なお、反射特性推定部110における輝度分布の推定処理の詳細については後述する。

そして法線分布評価部111において、反射特性推定部110で推定された反射特性(輝度分布)について、その法線方向の分布が推定に十分であったか否かを判定し、不十分であればこれを十分とすべく、追加撮影すべきである旨を通知する。法線分布評価部111ではすなわち、法線方向の分布から対象物体の追加撮影の要否を判定するが、その詳細については後述する。

●反射特性推定処理(詳細)
以下、上記反射特性推定部110における対象物体の反射特性、すなわち輝度分布を推定する処理について、図3、図4を用いて詳細に説明する。

本実施形態では、図3に示す撮影環境において、光源を単一の点光源と仮定し、対象物体の表面が拡散反射するものとして、その反射特性を輝度分布モデルで近似する。図3において、301が対象物体であり、302で示される点Pを、対象物体表面の観測点とする。なお、この例では3つの対象物体301が存在しているが、これらは同一種類の物体、すなわち同一素材による同一形状の物体である。対象物体301上の点P302において、プロジェクター等の照明303から照射された光が反射され、これをカメラ304で受光する。この照明303とカメラ304の3次元位置が、撮影環境情報109に記載されている。以下、点P302と照明303の光源を結ぶベクトルを光源方向ベクトルと呼び、点P302とカメラ304を結ぶベクトルをカメラ方向ベクトルと呼ぶ。このように、点Pは照明303からの光を反射して該反射光がカメラ304に到達する点であるから、1回の撮影による撮影画像101において設定可能な点P302の位置および数は、対象物体301の形状や向きによって異なる。

305は、光源方向ベクトルとカメラ方向ベクトルの中間ベクトルであり、以下、反射中心軸ベクトルと称する。反射中心軸ベクトル305はすなわち、光源方向ベクトルとカメラ方向ベクトルを含む平面にあり、その2つのベクトルとのなす角度が同じとなるベクトルである。また306は、対象物体表面の点P302における法線ベクトルである。

図3に示す撮影環境において、光源方向ベクトルをL＝(Lx,Ly,Lz)、カメラ方向ベクトルをV=(Vx,Vy,Vz)とすると、反射中心軸ベクトルH＝(Hx,Hy,Hz)は、以下の(1)式で表わされる。

H＝(L+V)/|L+V| ・・・(1)
一方、法線ベクトルをN＝(Nx,Ny,Nz)とし、反射中心軸ベクトルHと法線ベクトルNとのなす角をθとすると、θは以下の(2)式で表わされる。

θ＝cos^-1(H・N/(|H||N|)) ・・・(2)
なお反射特性推定部110では、撮影環境情報109に記載された照明303とカメラ304の3次元位置から、対象物体301の点P302における光源方向ベクトルLおよびカメラ方向ベクトルVが取得できる。また法線ベクトルNは、法線情報105として取得される。

ここで、対象物体301の反射特性をガウス関数で近似する場合、点P302における輝度情報107として取得される輝度値Jは、θの関数として以下の(3)式のようにガウス関数で表される。

J(θ)＝Cexp(-θ²/m) ・・・(3)
なお、(3)式におけるCとmはそれぞれ、輝度分布全体の強度と輝度分布の広がりを表す輝度分布パラメータであり、本実施形態ではこのパラメータを推定することで、輝度分布モデルを近似する。

ここで、実際に複数の注目点について観測された輝度値Jとθの組をプロットした観測点分布の例を図4(a)に示す。同図において、401が観測点データであり、402が上記(3)式で記述されるJとθの関係、すなわち輝度分布モデルの近似式を示す曲線である。本実施形態では各対象物体301の表面が同一素材で構成されているため、図4(a)で観測点データ401がプロットされた地点は、該観測時に撮影された対象物体301の表面の点となる。

ここで、上記(2)式から分かるようにθは法線ベクトルNの関数であるから、図4(a)に示θ軸はすなわち、法線方向の軸と同等であるとみなせる。

なお、対象物体301が複数種類の反射特性を有する場合には、物体領域情報108を反射特性毎に設定し、図4(a)に示したような観測点データ401のプロットと近似曲線の推定を、反射特性の種類毎に行う。この場合にも撮影回数を重ねることで、観測点データ401が増え、近似曲線402の推定精度が上がる。なお、観測点データ401にはノイズと考えられるデータも含まれるので、あまりにも平均値からずれたデータ等、ノイズと考えられるデータは削除することもある。

反射特性推定部110では、観測点データ401から輝度分布モデル近似式のパラメータ、すなわち上記(3)式に示したガウス関数における輝度分布パラメータC,mを推定する。ここで、(3)式のガウス関数を示す近似曲線402上に全ての観測点データ401が載ることが理想であるが、実際には図4(a)に示されるように、観測点データ401にはある程度の誤差(ばらつき)が生じる。このように誤差のある観測点データ401から(3)式における輝度分布パラメータC,mを推定するには、最尤推定フィッティングアルゴリズムを用いれば良い。具体的にはまず、誤差関数Eを推定値と観測値の差の二乗和として、以下の(4)式のように定義する。なお、(4)式においてjは観測点データを識別する番号を示し、Σはjについての総和を示す。

E＝Σ{J(θj)−Jj}² ・・・(4)
最尤推定フィッティングをこの誤差関数Eの最小化問題として考える。すると、誤差関数EはパラメータCに関して下に凸の2次関数であるため、以下の(5)式を解けば、タCの更新式が(6)式のように求まる。

∂E/∂C＝0 ・・・(5)

またパラメータmに関しては、計算を簡単にするためγ=1/mとし、γの最適化問題として解く。ここで、誤差関数Eはγに関して凸の関数ではないため、以下の(7)式のように誤差関数Eをデータごとに分解し、それぞれに関して解く。

Ej＝{J(θj)−Jj} ・・・(7)
(7)式を最急降下的に解くと、逐次更新式は以下の(8)式のようになり、これはRobbins-Monroの手続きと呼ばれる。なお、(8)式における係数ηは正の値で定義される定数であり、観測データ数の逆数として与えるのが一般的である。

以上、対象物体表面が拡散反射する場合に、ガウス関数により輝度分布モデルを近似した場合の、輝度分布パラメータC,mの推定方法について説明した。しかしながら、ガウス関数による近似では、鏡面反射成分を表現することはできないという欠点がある。そこで、対象物体表面における鏡面反射成分を考慮する場合には、以下の(9)式に示すようなTorrance-Sparrowの輝度分布モデルを適用すればよい。

J(θ,α,β)＝K_dcosα+K_s(1/cosβ)exp(-θ²/m) ・・・(9)
なお、(9)式においてK_d,K_s,mはこのモデルにおける輝度分布パラメータである。このモデルを図3に適用すると、θは(2)式のθと同様であり、すなわち法線ベクトルNと反射中心軸ベクトルHのなす角である。また、αは法線ベクトルNと光源方向ベクトルLのなす角、βは法線ベクトルNとカメラ方向ベクトルVのなす角であり、それぞれ以下の(10),(11)式で表わされる。

α＝cos^-1(L・N/(|L||N|)) ・・・(10)
β＝cos^-1(V・N/(|V||N|)) ・・・(11)
各観測画素jに対応する(9)式における角度αjとβjは、上記(10),(11)式から得ることができ、これによりθj、αj、βjに対応する輝度値Jjの観測分布を得ることができる。この観測分布に対して(9)式のモデルを最尤推定によってフィッティングすることで、対象物体301の表面輝度分布の推定モデルを得ることができる。

●法線分布の評価処理
以下、本実施形態の特徴である法線分布の評価処理について、詳細に説明する。上記従来の反射特性推定方法では、回転テーブル等の特別な装置を用いることで、十分な観測データを得ることができ、特に観測点の法線方向に関して十分な多様性を確保することが可能であった。一方、本発明が想定している図3に示すような観測状況においては、回転テーブル等の他装置を使用せず、1個以上の対象物体301を配置するのみであるため、観測点の法線方向に関して十分な多様性が得られるとは限らない。例えば、図4(a)にプロットされた観測点データ401が、“あるθの値”の周辺に局在する可能性がある。このように観測点の法線方向に多様性がなくθ値が局在すると、輝度分布モデルのパラメータ推定が適切に行えず、任意照明条件下で対象物体の“見え”の再現が不正確になってしまうという問題があった。本実施形態では法線分布評価部111において観測点の法線方向分布の評価を行うことで、この問題を解決する。

以下、法線分布評価部111における観測点の法線方向分布の評価処理について、図4(b),(c)を用いて詳細に説明する。

図4(b)は、図4(a)に示す観測点分布における、上記(3)式で輝度値Jを決定する変数θについての隣接点間の距離403を示した図である。この隣接点間の距離403が法線方向間の距離(すなわち角度)に対応し、法線分布評価部111における評価対象となる。なお、上記(9)式で記述されるTorrance-Sparrowモデルの場合は、θ、α、βの3変数が輝度値Jを決定する変数となるので、それぞれの変数における隣接点間の距離が評価対象となる。また、予めθの最大許容値と最小許容値を設定しておき、観測点データの中でθが最大の点では最大許容値との距離を評価し、θが最小の点では最小許容値との距離を評価するようにしても良い。

法線分布評価部111における評価アルゴリズムとしては例えば、全ての隣接点間の距離403の最大値が、所定の閾値以下(例えば10度以下)となるか否かを判定することが考えられる。法線分布評価部111は、評価結果として法線方向分布が十分であって対象物体の追加撮影が不要である旨を示す"OK"と、法線方向分布が不十分であるため追加撮影を必要とする旨を示す"NG"のいずれかを出力するとする。

法線分布評価部111では、評価結果がOKになると、例えば図5(a)に示すように、十分な撮影データが得られた旨のダイアログを表示することで、ユーザーに対してこれ以上撮影しなくてもよい旨を示す。一方、評価結果がNGの場合、例えば図5(b)に示すように、撮影データが未だ不十分で、追加撮影が必要である旨のダイアログを表示し、ユーザーに追加撮影を促す。なお、追加撮影は不足している法線情報を補充することが目的であるから、追加撮影時には対象物体の姿勢(配置)を変えるべきである旨がユーザ周知されていること、あるいはその旨を通知することが望ましい。

なお、ここでは法線方向の十分性の判定結果をダイアログ表示する例を示したが、もちろん、判定結果を報知することができれば、表示に限らず、ランプの点灯やブザーの鳴動等、他の手段を適用しても良い。

ここで、評価結果がNGとなる例として、対象物体を構成する主平面が2つあり、θ値が2つの場所(値)に局在して2つの群を形成する状況を考える。この2群間の距離が所定の閾値以上であれば、法線分布の評価結果がNGとなる。この場合、対象物体の配置を変更して追加撮影を行うことで、2群の間の位置における観測点データが増え、図4(b)に示す隣接点間のθの距離403の最大値が小さくなる。この結果、距離403の最大値が上記閾値を下回るようになれば、図5(a)のダイアログを表示することとなる。

また、法線分布評価部111における他の評価方法について、図4(c)を用いて説明する。図4(c)は、図4(a)に示す観測点分布における近似曲線402に対し、誤差の許容範囲を示す曲線404,405を示した図である。この許容範囲内にある観測点データの個数が所定の閾値以上となった場合に、評価結果をOKとする。言い換えれば、上記(7)式で算出される観測点データの輝度分布モデルからの誤差Eが、所定の許容範囲内となる数をカウントし、該カウント数が所定の閾値以上となれば、評価結果をOKとする。

なお、θ値が局在している場合には、輝度分布モデルの推定誤差が大きくなる傾向が高いため、ここで説明した誤差許容範囲内データのカウントによる評価を行うことが有効である。しかし、θ値が局在しているにもかかわらず、誤差許容範囲内の観測点データが多くなる場合もあり得る。このような場合に対処するには、例えば、θ値の区間をN区間に分割しておき、各区間で誤差許容範囲内の観測点データ数が閾値以上かを判定すればよい。なお、上記(9)式で記述されるTorrance-Sparrowモデルの場合は、θ、α、βの3変数が輝度値Jを決定する変数となるため、この場合は3つの変数で張られる空間をN区間に分割するか、それぞれの変数に対してN区間への分割を行えばよい。

なお、本実施形態では反射特性推定部110で輝度分布モデルを近似した後に、法線分布評価部111で法線方向分布の評価を行う例を示したが、この処理順を逆にしても良い。すなわち、図4(a)に示すような観測点分布が得られたら法線分布評価を行い、評価結果がOKであった場合に、輝度分布モデルの近似曲線402を決定するようにしても良い。

以上説明したように本実施形態によれば、対象物体の反射特性を近似する輝度分布モデルのパラメータを推定する際に、観測点データが該推定に十分な多様性を有しているか否かを判定し、多様性が不足していればユーザーに追加撮影を促す。これにより、対象物体の反射特性を簡便かつ高精度に推定することができる。

なお本実施形態では、距離情報103、輝度情報107、および法線情報105の信頼性を評価して、直前の撮影をキャンセルし、撮影自体をやり直すことはしない。信頼性のない観測データが含まれるであろうことはもちろん想定されるが、はずれ値を除去することで信頼性のないデータを用いないことを実現する。

＜第2実施形態＞
以下、図2に示す構成において実現される、本発明にかかる第2実施形態の反射特性推定処理の概要について、図6を用いて説明する。図6は、第2実施形態の機能構成を示すブロック図である。なお、図6において上述した図1と同様の構成には同一符号を付し、説明を省略する。

上述した第1実施形態では、輝度分布モデルを記述する式((3)式や(9)式)を設定し、その式に含まれるパラメータを実際の観測データを用いて推定する例を示した。このように、データがある関係式にあてはまると仮定してその関係式のパラメータを推定する方法を、パラメトリックモデルを用いた推定方法と呼ぶ。これに対し、関係式を特に仮定せずに、観測データから真の光反射特性を推定する方法をノンパラメトリックモデルを用いた推定方法と呼ぶ。第2実施形態では、このノンパラメトリックモデルを用いた反射特性の推定を行う例を示す。

図6において、第1実施形態と異なる部分は反射特性推定部610、法線ヒストグラム作成部611、および法線分布評価部612である。これら各部における動作を、図7を用いて説明する。

●反射特性推定処理
まず、反射特性推定部610における対象物体表面の反射特性すなわち輝度分布の推定処理について、図7(a)を用いて説明する。図7(a)は、上記図4(a)と同様に観測点データ701の分布を示すグラフであり、703が第2実施形態において輝度分布モデルを用いて推定した、輝度Jと変数θの関係を記述する関数を示す推定曲線である。

以下、推定曲線703の作成方法を説明する。まず図7(a)に示すように、輝度Jを決定する変数θの定義域を複数区間に区分し、区間ごとに、ノイズデータを除去した後の観測点データの平均値を求める。そして区間ごとに、区間中央θ値と当該区間のJの平均値を持つ点を、当該区間の代表点とする。そして、この各区間の区間代表点を結んだ折れ線が、輝度Jと変数θの関係を示す推定曲線703となる。

なお、θの最大区間と最小区間における、区間中央θ値から端点までの推定曲線703の外挿方法としては、図7(a)に示すように、両区間ともにJの平均値が連続するものとして外挿することが考えられる。また、θの最大値および最小値におけるJの値が、予め定めたJの最小値、最大値となる、という条件で外挿してもよい。また、ここでは区間中央のθ値を代表点として選択する例を示したが、区間における端点、つまりθの区間最大値または最小値の地点を代表点としてもよい。また、各区間のJの代表値を一様に平均値とするノンパラメトリックの推定方法もある。この推定方法のメリットとしては、輝度Jを決定する変数が2つ以上の場合でも容易に適用できる所にある。但し、区間の境目でJに関して不連続点が発生するため、対象物体の“見え”の再現において本来ない場所に輝度差が現れてしまう可能性がある。これを避けるためには、輝度値Jの推定曲線703(もしくは推定曲面)に対して、区間境界でのスムージングを施す必要がある。

●法線分布の評価処理
以下、法線ヒストグラム作成部611および法線分布評価部612による観測点の法線方向分布の評価処理について、図7(b)を用いて説明する。

図7(b)における変数θの定義域の区分は、図7(a)と同様であるとする。法線ヒストグラム作成部611では、θの区間ごとに観測点データのヒストグラム704を作成する。最も単純なアルゴリズムとしては、θの区間ごとに観測点データの数をカウントすればよい。また、各区間において、輝度Jの平均値±標準偏差の中に収まる観測点データのみをカウントしても良い。その際には、観測データが0個である場合にはヒストグラムの度数を0とする。また、各区間の輝度Jの中央値を含む、予め許容した範囲に収まる観測点データのみをカウントしても良い。

以上により、図7(b)に示すようにθに関するヒストグラムが作成されるが、上記(2)式から分かるようにθは法線ベクトルNの関数であるから、θの区分によるヒストグラムはすなわち、法線方向の区分のヒストグラムと同等であるとみなせる。以下、このヒストグラムを法線ヒストグラムと称する。

このようなノンパラメトリックモデルを用いた光反射特性の推定方法では、各区間において、ある程度多数の観測点データが必要となる。そこで法線分布評価部612では、法線ヒストグラム704の度数(観測点データ数)の閾値を予め設定しておき、全ての区間の最小度数が該閾値以上であれば評価結果をOKとして、第1実施形態と同様に図5(a)に示すようなダイアログを表示する。一方、最小度数が閾値未満の区間がひとつでもあれば、評価結果をNGとして図5(b)に示すようなダイアログを表示し、ユーザーに追加撮影を促す。

以上説明したように第2実施形態によれば、ノンパラメトリックモデルを用いて対象物体の反射特性を推定することができる。

なお、以上説明した法線ヒストグラム作成部611および法線分布評価部612は、第1実施形態1のパラメトリックモデルにも適用可能である。この場合、輝度Jを決定する変数空間(θ)を分割し、各区間に含まれる条件に合った観測データをカウントして法線ヒストグラムを作製し、全区間における度数の最小値が所定の閾値以上であるか否かによって、法線分布が十分であるかを判断する。

＜第3実施形態＞
以下、図2に示す構成において実現される、本発明にかかる第3実施形態の反射特性推定処理の概要について、図8を用いて説明する。図8は、第3実施形態の機能構成を示すブロック図である。なお、図8において上述した図1と同様の構成には同一符号を付し、説明を省略する。

上述した第1および第2実施形態では、実際に撮影した画像データに含まれる法線情報が対象物体の表面反射特性を推定するために十分かどうかを判定し、不十分であればユーザーに追加撮影を促す例を示した。第3実施形態ではさらに、追加撮影を行う際の対象物体の有効な配置方法を提案する。

第3実施形態では、法線情報が不十分であると判定された場合に、累積法線分布表示部811において法線分布の不足している方向を具体的に表示する。まず、撮影を1回以上実施した後で、それまでに得られた法線情報105を3次元的に表示する。この表示例を図9(a)に示す。図9(a)の表示例では、半球上に法線が得られた位置および法線方向を小さな丸と矢印で表している。そして、該半球上において法線が不足している部分を斜線領域として表している。

法線が不足している部分を求めるには、例えば半球上において、それまでに得られた法線の近傍を所定幅の被覆面で覆い、半球内で覆い切れなかった部分を法線不足領域とすれば良い。なお、半球を表示する角度はユーザーが自由に設定可能とすることが望ましく、その場合にはワールド座標、あるいはロボット座標等の基準となる座標も表示することが望ましい。

累積法線分布表示部811における表示方法は上記図9(a)に限らず、例えば図9(b)に示す表示例も考えられる。図9(b)は、図9(a)における半球表現をZ軸の上部(Z値の大きい方)から見下ろした図であり、図9(a)と同様に、法線情報105は小さな丸と矢印で表されている。なお、図9(a)と図9(b)は、それぞれ別の観測点データに基づいた表示例であるため、それぞれの法線情報量が異なっている。

ここで、図3に示した撮影環境において、照明303とカメラ304が対象物体301から十分に離れた上空(Z軸の値が十分に大きい場所)にあるとすると、反射中心軸ベクトル305はZ軸と同じである、と近似できる。この場合、図9(b)に示すようなZ軸を中心とした円周上にある法線に関しては、(3)式や(9)式における輝度分布パラメータ(θ,α,β)がほぼ同じ値となる。したがってこのような条件下では、半球を上から見てZ軸を中心とした円周上にある法線を同一群とみなすことができるため、複数の法線群がZ軸から一定間隔の同心円状に配置されることが望ましい。したがって図9(b)に示す斜線領域のように、不足している法線の領域が、同心円状の帯領域として示される。するとユーザーは図9(b)の表示を参考にして、追加撮影時の対象物体の配置を、対象物体の法線分布が帯領域の中に多く含まれるよう考慮するとよい。

以上説明したように第3実施形態によれば、撮影画像に含まれる法線情報が不十分であってユーザーに追加撮影を促す場合に、対象物体の有効な配置方法を提案することで、ユーザが効率の良い追加撮影を行うことが可能となる。

＜第4実施形態＞
以下、図2に示す構成において実現される、本発明にかかる第4実施形態の反射特性推定処理の概要について、図10を用いて説明する。図10は、第4実施形態の機能構成を示すブロック図である。なお、図10において上述した図1と同様の構成には同一符号を付し、説明を省略する。第4実施形態では、上述した第3実施形態と同様に、追加撮影時の対象物体の配置を提案する。

第4実施形態では、法線情報が不十分であると判定された場合に、対象物体を様々な姿勢で仮想的に配置したシーンを再現し、姿勢毎に観測される法線情報を算出する。そして姿勢毎に、仮想的に算出した法線情報を、これまでに観測された累計法線情報に追加した際における、法線情報の十分性が向上する度合いを評価する。

具体的には、増加法線推定部1014において、任意姿勢作成部1013で作成された姿勢ごとに、対象物体3次元モデル1012を用いて、対象物体を観測して新たに得られる法線(以下、増加法線)を推定する。そして姿勢順位決定部1015において、これまでに観測された法線情報105に増加法線推定部1014で推定した姿勢ごとの増加法線の情報をマージして姿勢ごとの評価値を算出し、姿勢の優先順位付けを行う。そして推奨姿勢表示部1016で、該優先順位を表示する。

●推奨姿勢決定処理
以下、増加法線推定部1014および姿勢順位決定部1015における推奨姿勢決定処理について、図11のフローチャートを用いて説明する。

図11では、S1101〜S1105の間において、姿勢ごとの評価値を算出するループ処理を行う。まずS1102で、対象物体1201の姿勢ごとに、対象物体1201の表面の点における法線情報を計算する。なお、視点ごとに仮想的にカメラ304を回転させることで、様々な姿勢の見えが実現できる。ここで図12に、姿勢の設定例を示す。図12において、1201が対象物体であり、その周辺の小さな円1202が、対象物体1201を中心とした測地線の球体(geodesic sphere)上にある様々な視点を示す。本実施形態では対象物体1201の様々な姿勢として、対象物体1201を仮想的に様々な視点1202から観測した際に得られる3次元立体情報を、対象物体3次元モデル1012から再現する。

次にS1103で、これまでに観測した法線情報105に、S1102で算出した法線情報を追加する。そしてS1104で、新たに算出した法線情報を追加する前後における法線十分性評価値を算出し、その差分を当該姿勢の評価値とする。法線情報十分性評価のアルゴリズムとしては、第1または第2実施形態における法線分布評価部111,612と同様の評価を行えば良い。

S1101〜S1105による姿勢ごとのループが終了した時点で、姿勢ごとの評価値が算出されている。S1106では推奨姿勢表示部1016が、上記ループ処理が施された対象物体1201の複数の姿勢を、算出された評価値の高い順にソートし、その結果をユーザーへ提示する。その具体的な表示例を図13に示す。図13の例では、撮影時に対象物体1201を配置する推奨姿勢を、順位付けして表示している。この際、姿勢が明確になるように、ワールド座標やロボット座標等の基準となる座標軸を併記することが望ましい。

以上説明したように第4実施形態によれば、追加撮影時における対象物体の有効な配置方法として、その推奨姿勢を提案することで、ユーザが効率の良い追加撮影を行うことが可能となる。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (15)

1. 物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得する取得手段と、
   前記3次元形状を示す情報から前記物体の表面における法線情報を推定する法線推定手段と、
   前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定する反射特性推定手段と、
   前記法線方向の分布から、前記物体の追加撮影の要否を判定する判定手段と、
   を有することを特徴とする情報処理装置。
2. 前記判定手段は、前記法線情報が示す法線方向間の差が全て所定の閾値以下であれば、前記追加撮影が不要であると判定することを特徴とする請求項1に記載の情報処理装置。
3. 前記判定手段は、前記法線情報が示す全ての法線方向に対応する前記輝度情報のうち、前記推定された反射特性が示す輝度に対する誤差が所定の許容範囲内にある数が所定の閾値以上であれば、前記追加撮影が不要であると判定することを特徴とする請求項1に記載の情報処理装置。
4. 前記取得手段は、前記撮影画像において前記物体の撮影位置からの距離を示す距離情報を前記3次元形状を示す情報として取得することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
5. さらに、前記撮影画像の撮影環境情報を取得する撮影環境の取得手段を有し、
   前記反射特性推定手段はさらに、前記反射特性の推定に前記撮影環境情報を用いることを特徴とする請求項4に記載の情報処理装置。
6. 前記撮影画像は同一種類の複数の物体が撮影された画像であり、
   前記判定手段は、前記複数の物体の法線情報から、1つあるいは複数の前記物体の追加撮影の要否を判定することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
7. さらに、前記判定手段で追加撮影が必要であると判定された場合に、前記追加撮影が必要である旨を報知する報知手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
8. 前記報知手段は、前記追加撮影における前記物体の配置を提示することを特徴とする請求項7に記載の情報処理装置。
9. 前記報知手段は、前記追加撮影において取得すべき法線方向を提示することを特徴とする請求項8に記載の情報処理装置。
10. 前記報知手段は、前記物体の複数種類の姿勢ごとに、前記追加撮影によって取得される法線方向に基づいて優先順位を提示することを特徴とする請求項8に記載の情報処理装置。
11. 前記反射特性推定手段は、前記法線情報が示す法線方向の分布に対し、輝度分布モデルを示す関数を近似させることで前記物体の反射特性を推定することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
12. さらに、前記法線方向の分布を示すヒストグラムを作成するヒストグラム作成手段を有し、
    前記判定手段は、前記ヒストグラムの全区間における最小度数が所定の閾値以上であれば、前記追加撮影が不要であると判定することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
13. 取得手段、法線推定手段、反射特性推定手段、および判定手段を有する情報処理装置における情報処理方法であって、
    前記取得手段が、物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得し、
    前記法線推定手段が、前記3次元形状を示す情報から前記物体の表面における法線情報を推定し、
    前記反射特性推定手段が、前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定し、
    前記判定手段が、前記法線方向の分布から、前記物体の追加撮影の要否を判定する、ことを特徴とする情報処理方法。
14. コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至12のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
15. 請求項14に記載のプログラムを記憶した、コンピュータによる読み出し可能な記憶媒体。

Images