JP2003091726A

JP2003091726A - 反射パラメータ取得装置、反射成分分離装置、反射パラメータ取得用プログラム、及び反射成分分離用プログラム

Info

Publication number: JP2003091726A
Application number: JP2001282333A
Authority: JP
Inventors: Kiichi Kobayashi; 希一小林; Gyoka Cho; 暁華張; Yoshinari Nakanishi; 良成中西
Original assignee: NHK Engineering Services Inc
Current assignee: NHK Engineering System Inc
Priority date: 2001-09-17
Filing date: 2001-09-17
Publication date: 2003-03-28

Abstract

(57)【要約】【課題】この発明は、被写体を撮像した画像から、被
写体表面上の点の反射モデルパラメータを取得する方法
と、取得した反射モデルパラメータを用いて、被写体の
画像を拡散反射成分と鏡面反射成分とに分離するための
画像処理回路を提供する。【解決手段】被写体を回転して撮像した複数の画像を
用い、被写体表面上の点の回転に伴う画像上の画素の信
号値の変化から、その点の反射モデルパラメータを、パ
ラメータフィッティング法により求めることにより、精
確かつ安定に反射モデルパラメータを取得できるように
するとともに、取得した反射モデルパラメータを用い
て、被写体の画像を拡散反射成分と鏡面反射成分とに分
離する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を撮像した
画像から、被写体表面上の点の反射モデルパラメータを
取得する手段と、取得した反射モデルパラメータを用い
て、被写体の画像を拡散反射成分と鏡面反射成分とに分
離するための画像処理に関する。

【０００２】〔発明の概要〕本発明は、被写体を撮像し
た画像から、被写体表面上の点の反射モデルパラメータ
を取得する方法と、取得した反射モデルパラメータを用
いて、被写体の画像を拡散反射成分と鏡面反射成分とに
分離するための画像処理回路に関するもので、被写体を
回転して撮像した複数の画像を用い、被写体表面上の点
の回転に伴う画像上の画素の信号値の変化から、その点
の反射モデルパラメータを、パラメータフィッティング
法により求めることにより、精確かつ安定に反射モデル
パラメータを取得できるようにするとともに、取得した
反射モデルパラメータを用いて、被写体の画像を拡散反
射成分と鏡面反射成分とに分離できるようにしたもので
ある。

【０００３】

【従来の技術】物体表面からの反射光は表面の構成物質
に依存し、物体表面を不均質な誘電体と仮定すれば、反
射光は物体表面からの鏡面反射成分と物体内部からの拡
散反射成分から成るとする、いわゆる、２色性反射モデ
ルが表面反射モデルとして一般的に用いられてきてい
る。２色性反射モデルとしては上記不均質誘電体物質用
としてのPhongのモデルと、金属物体にも適用可能とさ
れるTorrance-Sparrowのモデルが良く知られている。

【０００４】次に、Torrance-Sparrowの反射モデルを用
いて従来技術について説明する。光源、被写体、視線方
向等からなる撮像系の光学的幾何配置を図１に示した。
図１において、θ_ｉは光源と被写体表面上の点の法線と
がなす角（入射角）である。また、θ_ｒは視線方向と法
線のなす角、αは光源と視線方向の２分線と法線のなす
角である。Torrance-Sparrow の２色性反射モデルで
は、被写体表面からの反射光強度は、下記の（１）式で
記載される。

【０００５】

【数１】（１）式において、Ｉ＝（Ｉ_r，Ｉ_g，Ｉ_b）は被写体表
面上の点からの反射光の色信号の強度を表すＲＧＢの値
である。（１）式の右辺第１項が拡散反射成分を、ま
た、第２項が鏡面反射成分を表している。（１）式にお
いてＫ_ｄ＝（Ｋ_ｄ _ｒ，Ｋ_ｄｇ，Ｋ_ｄｂ）は拡散反射成分
の、また、Ｋ_ｓ＝（Ｋ_ｓｒ，Ｋ_ｓｇ，Ｋ_ｓ _ｂ）は鏡面反
射成分のカラーベクトル（方向を示す単位ベクトル）で
あり、σは物体表面上の粗さ（微小面の傾きの標準偏
差）を表している。

【０００６】上記（１）式における反射パラメータＫ_ｄ
＝（Ｋ_ｄｒ，Ｋ_ｄｇ，Ｋ_ｄｂ）、Ｋ _ｓ＝（Ｋ_ｓｒ，Ｋ
_ｓｇ，Ｋ_ｓｂ）、α、σを求めるに当っては、先ず、拡
散反射成分と鏡面反射成分を分離し、その後で反射モデ
ルパラメータを抽出するのが一般的であった。この拡散
反射成分と鏡面反射成分の分離に関しては、これまで多
くの研究がなされてきており、主なものとしては、反射
光の色信号空間におけるヒストグラムを解析する方法が
ある。しかしながら、この方法は単色物体については適
用できるものの、複雑なテクスチャを持つ被写体では反
射光が色信号空間内に広く分布し、ヒストグラムを分析
して分離することは困難である。

【０００７】近年、比較的良好な実験結果を報告してい
る方法として、米国Columbia大学のNayarらおよび日本
国東京大学の佐藤の方法等があり、これについて説明す
る。

【０００８】Nayarら[1]は、物体表面からの反射光のう
ち、鏡面反射成分が一部偏光されることを利用し、被写
体からの反射光を偏光フィルターを通して撮像して、注
目画素の色信号空間におけるベクトルを解析して分離す
る方法を提案した。すなわち、偏光板を回転させて偏光
角を変えた時の反射光がコサイン則にしたがって変化す
ることから、反射光の最大値と最小値を用いて偏光度を
定義し、偏光度の大きさがある閾値より小さい画素につ
いてはその成分が拡散反射光であるとしたものである。
この場合、偏光度が閾値より大きい画素について鏡面反
射成分が大であるとして、近傍の拡散反射成分の画素の
カラー情報から、その注目画素の拡散反射成分の値を推
定することとし、その推定法を提案している。

【０００９】しかしながら、本方法においては以下の問
題点が生じ、実際には良好な分離は困難である。すなわ
ち、

【００１０】偏光フィルタを回転して、鏡面反射成分
のコサイン則の変化を求める場合、実際にはノイズの影
響を減らすため、ＲＧＢの値としてウインドウ内の平均
値を用いることになるが、ウインドウサイズを大きくす
ると拡散反射成分の解像度が著しく低下し、ボケてしま
う。したがって複雑なテクスチャを持つ被写体の場合に
は向かない。

【００１１】鏡面反射成分が大きい領域では、拡散反
射成分と鏡面反射成分を完全に分離することができな
い。

【００１２】偏光フィルタの回転角の精密な制御が困
難である。

【００１３】次に、佐藤[2]の方法は、拡散反射成分と
鏡面反射成分を分離するにあたり、被写体を回転して撮
像した連続フレーム画像を基に、被写体上の点の各画像
上への投影画素のＲＧＢの値を計測するもので、その原
理は以下に示される。

【００１４】用いるフレーム数をｎとすれば、（１）式
のTorrance-Sparrowモデルにおいて、その点のＲＧＢの
値は次のｎ×３のマトリクスＭを形成する。すなわち、

【００１５】

【数２】ここで、Ｅ（θ_ｒ，α）＝ｅｘｐ（−α^２／２σ^２）／
ｃｏｓθ_ｒである。Ｇ _ｄとＧ_ｓは光源および視線方向か
ら定まるその点の拡散反射成分および鏡面反射成分の幾
何学的因子である。ベクトルＫ_ｄ、Ｋ_ｓはその点のRGB
空間におけるカラーベクトルである。したがって、マト
リクスＫがあらかじめ別途計測されていれば、マトリク
スＧは次のように計算できる。

【００１６】Ｇ＝ＭＫ^＋・・・（３）ここで、Ｋ^＋は３×２のマトリクスで、Ｋのpseudo-inv
erse matrixである。

【００１７】さて、鏡面反射成分のカラーベクトルＫ_ｓ
は光源のカラーベクトル方向とほぼ同じであり、光源の
ｘ−ｙ色度座標を別途計測して推定できる。また、拡散
反射成分の方向Ｋ_ｄは回転角が十分大きく、鏡面反射成
分が無視できる回転角でのＲＧＢ値から推測できる。し
たがって、マトリクスＫ^＋が計算でき、マトリクスＧを
求めることができる。マトリクスＧが求まれば、ベクト
ルＫｄ、Ｋｓを既知として、拡散反射成分と鏡面反射成
分は次式により分離できる。

【００１８】Ｍ_ｄ＝（Ｍ_ｄｒ，Ｍ_ｄｇ，Ｍ_ｄｂ）＝Ｇ_ｄ（Ｋ_ｄｒ，Ｋ_ｄｇ，Ｋ_ｄｂ）Ｍ_ｓ＝（Ｍ_ｓｒ，Ｍ_ｓｇ，Ｍ_ｓｂ）＝Ｇ_ｓ（Ｋ_ｓｒ，Ｋ_ｓｇ，Ｋ_ｓｂ）・・・（４）以上が佐藤の方法による分離の原理であるが、本方法は
以下の問題点を持つ。

【００１９】光源のカラーベクトルＫ_ｓの推定に当
っては、実際には反射光のＲＧＢ信号値にはカメラの特
性が含まれるため、正確に推定するのは困難である。

【００２０】拡散光のカラーベクトルＫ_ｄの計測も
実際には困難を生ずる。これは回転角αの大きいところ
まである画素を厳密に追跡することが実際上困難なため
である。

【００２１】Ｋ^＋が正確に求まらない場合がある。

【００２２】（参考文献） [1] S.K.Nayar et.al.:Separation of Reflection Comp
onents Using Color and Polarization,International
Journal of Computer Vision, 1996 [2] Y.Sato:Eigen-Texture Method for Object Re-illu
mination,Siggraph2000, Course Notes No.16

【００２３】

【発明が解決しようとする課題】このように、従来法で
は被写体の表面反射特性を求めるに当っては、先ず、被
写体の画像からその拡散反射成分と鏡面反射成分を分離
してから反射モデルパラメータを求めるのが通例であっ
た。

【００２４】しかしながら、被写体が複雑なテクスチャ
持つ場合や、鏡面反射成分が大きい場合においては、従
来法では両成分を分離することが困難で、反射モデルパ
ラメータを精確に求めることは著しく困難であるという
問題点があった。

【００２５】本発明の目的は、複雑なテクスチャを持つ
被写体、あるいは鏡面反射成分の大きな被写体に対して
も適用可能な、反射モデルパラメータを取得する装置、
および取得されたパラメータを用いて、被写体の画像か
ら拡散反射成分と鏡面反射成分を分離する装置を提供す
ることにある。

【００２６】

【課題を解決するための手段】本発明による反射パラメ
ータの取得装置、及び反射成分分離装置は、被写体を複
数視点から撮像して複数の画像を取得する手段と、被写
体表面上の１点を前記複数の画像上へ投影した時の画素
の信号値を求める手段と、前記画素の信号値を用いてパ
ラメータフィッティング法により反射モデルパラメータ
を求める手段と、前記求めたパラメータの値を用いて拡
散反射成分と鏡面反射成分とを計算により求める手段を
備えることを特徴としている。

【００２７】また、本発明においては、被写体の反射パ
ラメータを求めるに当り、反射モデルとしてTorrance-S
parrowの２色性反射モデルを用いることを特徴としてい
る。

【００２８】さらに、本発明においては、Torrance-Spa
rrowの２色性反射モデルのパラメータをパラメータフィ
ッティング法により求めるに当り、Levenberg-Marquard
t法を利用し、非線形方程式を線形化して計算すること
を特徴としている。

【００２９】また、本発明における画素の信号値として
は、輝度信号および赤、緑、青の色信号（Ｒ，Ｇ，Ｂ）
のいずれかの値、あるいはこれらの組み合わせの値を用
いることを特徴としている。

【００３０】このように本発明に係る反射パラメータ取
得装置及び反射成分分離装置によれば、被写体表面上の
点の回転に伴う画素信号の変化を用い、非線形代数問題
をLevenberg-Marquardt法により線形化し、パラメータ
フィッティング法により反射モデルパラメータを一挙に
求めることにより、安定かつ信頼性高く反射モデルパラ
メータを得ることができる。また、本発明により得られ
た反射モデルパラメータを用いて、従来困難であった複
雑なテクスチャや高い鏡面反射成分を有する被写体に対
しても、被写体の撮像画像から拡散反射成分および鏡面
反射成分の画像を良好に分離することができる。

【００３１】

【発明の実施の形態】《本発明の原理》本発明による反
射パラメータの取得装置、及び拡散反射成分と鏡面反射
成分の分離装置の、実施の形態の説明に先立ち、先ず、
本発明による反射パラメータ取得法の原理を図２を用い
て説明する。

【００３２】図２は光源、視線、法線等の反射光学系の
幾何的配置を示している。ここで、光源Ｌ、視線Ｖと３
次元空間上の点の法線ｎは単位ベクトルとする。光源Ｌ
とｙ軸のなす角φ_Ｌを、光源Ｌのｘｚ面への垂直投影
Ｌ’とｚ軸のなす角θ_Ｌをとすれば、光源の座標は、

【００３３】Ｌ＝（sinφ_Ｌsinθ_Ｌ,cosφ_Ｌ,sinφ_Ｌcosθ_Ｌ）・・・（５）で表される。

【００３４】今、光源の方向ベクトルは既知とし、法線
ｎの座標を（ｐ，ｑ，ｒ）、法線ｎとｙ軸のなす角をφ
_ｎ、法線ｎのｘｚ平面への垂直投影ｎ’とｚ軸のなす角
度をθ_ｎとすれば、θ_ｎ、φ_ｎは、

【００３５】

【数３】となる。反射モデルは前記Torrance-Sparrowのモデル
（１）式のＫ_s/cosθ_rを新たな可変ベクトルＫ_sと書き
替えて、

【００３６】

【数４】とする。上式をベクトル形式で書き替えると次式とな
る。

【００３７】

【数５】光源を固定して物体を回転することと、物体を固定して
光源を回転することは相対的に同一と見なせるから、
（９）式においてθ_Ｌとαとが変化し、他のパラメータ
は固定と考えて良い。（９）式を書き替えると次式とな
る。

【００３８】

【数６】ここで、Ａ＝Ｋ_ｄｐ,Ｂ＝Ｋ_ｄｑ,Ｃ＝Ｋ_ｄｒ,Ｄ＝Ｋ_ｓ,
E ＝α＋θ_ＬおよびＦ＝√２σであり、これらが、求
めるパラメータである。

【００３９】上式は非線形であるが、Levenberg-Marqua
rdt法を用いて線形化し、パラメータフィッティングに
より解くことができる。そして、得られたパラメータ
（Ａ〜Ｆ）を用いて反射パラメータおよび法線方向を求
めることができる。また、法線は単位ベクトルであるか
ら、

【００４０】

【数７】により求めることができ、法線の二つの角θ_ｎ、φ_ｎも
（６）および（７）式から求めることができる。この手
法は拡散反射成分から法線方向を求めるものであるが、
法線の角θ_ｎは鏡面反射成分からも求めることができ
る。鏡面反射成分の方が拡散反射成分より視線方向に対
してシャープに変化するため、鏡面反射成分で求めたθ
_ｎの方を拡散反射成分から求めたθ_ｎより優先する。

【００４１】なお、鏡面反射成分Ｋ_ｓはＤであり、σは
Ｆ／√２である。

【００４２】被写体を撮像した画像から拡散反射成分と
鏡面反射成分を分離するには、上記手法により得られた
反射モデルパラメータを用いて、以下により分離するこ
とができる。先ず、ＲＧＢ各色信号毎に、前記手法によ
り求められたパラメータの値を用いて、反射モデルの拡
散反射成分Ｉ_ｄ’と鏡面反射成分Ｉ_ｓ’を計算する。

【００４３】

【数８】次に、拡散反射成分と鏡面反射成分の分離結果を次式を
用いて求める。

【００４４】

【数９】上記手法において、パラメータフィッティング法により
（１０）式を解くに当ってLevenberg-Marquardt法を用
いているが、これはＲＧＢ等各信号毎に次式を最小化す
るパラメータを求めることになる。

【００４５】

【数１０】ここで、Ｉ(θ_k）は回転角θ_kの時のモデルに基く計算
値であり、Ｉ_kはその回転角における実験結果である。
上式の非線形最小化問題が解けるためは、各パラメータ
に対して、次の偏微分の計算が必要となる。

【００４６】

【数１１】 Levenberg-Marquardt法では上記偏微分の結果を用い
て、次の対称マトリクス

【外１】

【００４７】

【数１２】ここで、ｍはＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆである。そして、
（１６）式を用いることにより、非線形問題は次の線形
代数問題となり、次の反復演算により解を得ることがで
きる。

【００４８】（Ｐ＋λＩ）Δｍ＝Ｑ・・・・（１７）ここで、Ｉは単位マトリクスで、λは調整パラメータで
普通は0.0001である。（１７）式で求めたΔｍとｍ^ｔと
から新しいパラメータｍ^ｔ＋１を求める。

【００４９】ｍ^ｔ＋１←ｍ^ｔ＋Δｍ・・・・（１８）ここではｔは繰り返し番号である。

【００５０】Levenberg-Marquardt法を利用して非線形
問題を解く場合には、各パラメータの初期値の選択が非
常に重要である。本方法では、Ｄの初期値はデータのピ
ーク値、Ｅの初期値はピークの位置、Ｆの初期値は0.01
から1.0まで、また、Ａ，Ｂ，Ｃの初期値はＥから十分
に離れたところの値を与えることで安定に解くことがで
きる。

【００５１】《実施の形態の説明》次に、本発明による
反射モデルパラメータの取得および拡散反射成分と鏡面
反射成分を分離するための画像処理装置の実施の形態を
図３から図５によって説明する。

【００５２】図３は本発明の実施形態における入力画像
取得の例であって、異なった視線方向から複数の画像を
撮影して立体物からの反射光の２次元画像を取得する例
を示したものである。回転テーブル１０の上に置かれた
立体物は撮影用カメラ２０によって撮影され、２次元画
像３０−１〜３０−Ｎ（Ｎは画像数）を取得するように
なっている。図３における２次元画像３０−１〜３０−
Ｎ中の４０−１〜４０−Ｎは２次元画像中のブロック画
像であって、このブロック画像間のマッチングをとるこ
とによって被写体表面上の１点のカメラ座標系での３次
元位置座標（ｘ，ｙ，ｚ）を精確に決定するために用い
ることができる。

【００５３】図４は、被写体表面上の点のカメラ座標系
における位置座標を（ｘ，ｙ，ｚ）とした時、その点の
カメラの２次元画像上へ投影位置（ｕ，ｖ）を示す図で
あって、カメラレンズの投影モデルをピンホールモデル
として透視投影とした時の、座標（ｘ，ｙ，ｚ）と
（ｕ，ｖ）の関係を示している。図４に示した投影モデ
ルを用いることにより、被写体表面上の任意の点の任意
の回転角における反射光の強度の変化を、カメラ画像の
画素信号値の変化として取得することができる。

【００５４】なお、この投影された画素（ｕ，ｖ）の信
号値を決定するに当って、ノイズが信号値の変化に較べ
て無視できない場合には、画素（ｕ，ｖ）を中心とする
ウィンドウ内の画素の平均値を以って当該画素の信号値
におきかえることができる。

【００５５】図５は、図３に示されるＮ枚の異なった視
線方向の画像を用いて、被写体表面上の１点の反射モデ
ルパラメータを求め、その結果を用いて撮像した画像か
ら拡散反射成分と鏡面反射装置を分離する本発明に係わ
る装置の構成例を示したものである。

【００５６】図５において、制御回路１１０は、データ
メモリ１００から取り出した、各種制御用データに基
き、フレーム数、ブロック画像のサイズ、フレーム番号
（以下「フレームNo.」と記す）、パラメータ取得範囲
などの制御信号を生成し、装置の各回路部に送る。ここ
で、制御用データとしては、例えば、被写体撮像時のブ
ルーバックのＲＧＢ色信号データ、カメラのキャリブレ
ーションデータ、回転台キャリブレーションデータ等が
含まれる。さらにカメラキャリブレーションデータとし
ては光学中心の画像上の位置、カメラレンズの焦点距
離、カメラレンズの歪み係数等のカメラの内部パラメー
タが、また、回転台のキャリブレーションデータとして
は回転軸の方向ベクトル、カメラレンズの主点から回転
軸までの距離等が含まれる。

【００５７】また、制御回路１１０は上記の各種制御信
号の生成と併行して、アドレス発生回路１２０にブロッ
ク画像の中心アドレス（ｕ，ｖ）、ブロック画像内の
ｘ、ｙアドレスデータを発生させる。これらのアドレス
データは反射パラメータ取得の前段階の画素信号取得回
路部６０および出力回路９０に与えられる。

【００５８】さて、図３に示したカメラ２０から映像信
号が入力する画像メモリ５０には、カメラ２０が上述の
方法で取得したＮ枚の２次元画像３０−１〜３０−Ｎ
が、制御回路１１０から与えられるフレーム数およびフ
レームNo.とともに記憶される（以下「フレ−ム画像」
と記す）。Ｎ枚のフレーム画像は、反射パラメータの取
得の前段階として必要な画素信号取得回路部６０に導か
れる。

【００５９】画素信号取得回路部６０は、反射パラメー
タを取得する被写体表面上の１点が回転台上の被写体が
回転に伴って変化する明るさを画像上のＲＧＢ色信号の
変化として取得するための回路であって、３次元位置座
標（ｘ，ｙ，ｚ）を計算する３次元座標計算回路６０−
１、および、その３次元座標（ｘ，ｙ，ｚ）を用いて回
転角θの時のその点のＲＧＢ色信号を取得する画素信号
取得回路６０−２から成る。

【００６０】３次元座標計算回路６０−１は、制御回路
１１０およびアドレス発生回路１２０から与えられたフ
レーム数、フレームNo.、画素アドレス（ブロック画像
の中心座標（ｕ，ｖ））等に基き、例えば、多視点から
の画像間のマッチングを評価する方法等を用いて、被写
体表面上の点の３次元位置座標（ｘ，ｙ，ｚ）を求める
ことができる。

【００６１】画素信号取得回路６０−２は、前記３次元
座標計算回路６０−１で求めた被写体表面上の点の３次
元位置座標（ｘ，ｙ，ｚ）と、図４に示した投影モデル
に基き、その点が角度θの回転をした時のＲＧＢ色信号
を、制御回路１１０およびアドレス発生回路１２０から
与えられるフレームNo.、画素アドレスから求めること
ができる。この画素信号発生回路６０−２で取得された
回転角とＲＧＢ色信号の値は次の反射パラメータ取得回
路部７０に導かれる。

【００６２】反射パラメータ取得回路部７０は、前記画
素信号取得回路部６０で取得された、被写体表面上の点
の、回転角θとＲＧＢ色信号の関係から、その点の反射
モデルパラメータをパラメータフィッティング法に基い
て一挙に求める回路であって、パラメータ初期化回路７
０−１、偏微分マトリクス計算回路７０−２、反射パラ
メータ計算回路７０−３、法線ベクトル計算回路７０−
４から成っている。

【００６３】パラメータ初期化回路７０−１は、非線形
の代数式をLevenberg-Marquardt法を用いて線形化し、
反復演算の手法によって解くに当り、反射モデルパラメ
ータを初期化するための回路であって、各パラメータの
初期値は、制御回路１１０から与えられるデータと、画
素信号取得回路部６０で取得された回転角θとＲＧＢ色
信号の関係から、前述の《本発明の原理》に記載した方
法で決定している。なお、反射モデルはTorrance-Sparr
owのモデルを用いており、パラメータ数は前述の《本発
明の原理》に記載の（１０）式に示した通り６個であ
る。

【００６４】偏微分マトリクス計算回路７０−２は、Le
venberg-Marquardt法における対称マトリクスと勾配ベ
クトルの計算を行う回路であって、加算器、乗算器、三
角関数発生回路、指数関数発生回路等から成っている。

【００６５】反射パラメータ計算回路７０−３は、前記
偏微分マトリクス計算回路７０−２により計算されたマ
トリクスを用い、反復演算によりパラメータの値を決定
する回路であって、加算器、乗算器、逆行列計算回路等
から成っている。反復演算は前回計算結果との差がある
閾値よりも小さくなった時点で終了する。

【００６６】法線ベクトル計算回路７０−４は、前記反
射パラメータ計算回路７０−３により計算された反射モ
デルパラメータを用いて、被写体表面上の点の法線方向
ベクトルを計算する回路であって、加算器、乗算器、平
方根計算回路等から構成されている。

【００６７】反射パラメータ取得回路部７０において取
得された、反射モデルパラメータは出力回路９０に導か
れるとともに、反射成分取得回路部８０にも導かれる。

【００６８】反射成分取得回路部８０は、前記反射パラ
メータ取得回路部７０で得られた反射モデルパラメータ
を用いて、被写体を撮像した画像上の各画素について、
拡散反射成分と鏡面反射成分の信号値を計算し、分離さ
れた成分の画像として得るための回路であり、反射成分
計算回路８０−１と反射成分分離回路８０−２とから成
る。

【００６９】反射成分計算回路８０−１は反射パラメー
タ取得回路部７０で得られた反射モデルパラメータ、回
転角の変化から決定される被写体表面上の点の法線方向
ベクトル、光源の方向ベクトル等から、反射光の中の拡
散反射成分と鏡面反射成分を計算するための回路であっ
て、加算器、乗算器、三角関数発生回路等から成ってい
る。

【００７０】反射成分分離回路８０−２は、前記反射成
分計算回路８０−１で得られた結果と入力された映像信
号の値とから、その画素のＲＧＢ色信号値を計算し、拡
散反射成分画像および鏡面反射成分信号を取得する回路
であって、加算器および乗算器から成っている。

【００７１】出力回路９０は反射パラメータ取得回路部
７０および反射成分取得回路部８０の結果を基に、被写
体画像上の各画素の反射モデルパラメータ、法線ベクト
ル、拡散反射成分ＲＧＢ色信号、鏡面反射成分ＲＧＢ色
信号等を、画素のアドレス（ｕ，ｖ）とともに出力する
回路である。

【００７２】次に本発明による反射モデルパラメータの
取得および拡散反射成分と鏡面反射成分を分離するため
の画像処理を計算機ソフトウェアで実施する形態を図６
から図９によって説明する。

【００７３】図６は本発明をソフトウェアにより実施す
る場合の処理フローの全体を示す図である。本処理にお
いては、先ず、反射パラメータの取得および拡散反射成
分と鏡面反射成分の分離に必要な各種制御用データを読
み込み（ステップＳ１）、次いで、フレーム画像の読み
込む（ステップＳ２）。続いて、回転角の変化に伴う画
素信号を取得し（ステップＳ３）、次に、反射モデルパ
ラメータおよび被写体表面上の点の法線方向ベクトルを
取得する（ステップＳ４）。次いで、拡散反射成分と鏡
面反射成分の分離を行い（ステップＳ５及びＳ６）、続
いて、出力する（ステップＳ７）。という一連の処理に
よって本発明を実施する。

【００７４】図７は、本発明を計算機ソフトウェアによ
り実施する場合の、画素信号取得のための処理フローを
示す図である。図７においては、カメラの内部パラメー
タや回転台の回転軸のキャリブレーションデータを精密
に取得し、ピンホールモデルによる透視投影で被写体表
面上の点の２次元画像上への投影位置を精確に求める方
法を採用している。本処理においては、先ず、カメラの
内部パラメータや回転台の回転軸のキャリブレーション
データを読み込み（ステップＳ１１）、次いで、画像上
の画素アドレス（ｕ，ｖ）を指定する（ステップＳ１
２）。次に、画素アドレス（ｕ，ｖ）とカメラレンズの
主点（0,0,0）とから定まる光軸の直線（キャリブレー
ションデータを使用）と、回転軸を中心軸とする円筒の
半径（ｒ：初期値０）との交点の３次元位置座標（ｘ，
ｙ，ｚ）を求める（ステップＳ１３）。次いで、この３
次元空間中の点（ｘ，ｙ，ｚ）の各回転角のフレーム画
像上への投影位置を計算し、それを中心とするブロック
画像を作成する（ステップＳ１４）。続いて、多視点か
らのブロック画像間のマッチングを評価する（ステップ
Ｓ１５）。この処理を、上記半径ｒを変えながら繰り返
し（ステップＳ１６及びＳ１７）、マッチングの評価関
数が最大となる半径ｒを求める（ステップＳ１８）。次
に、マッチングの評価関数が最大となる画素アドレス
（ｕ，ｖ）に対応する被写体表面上の点の３次元座標値
（ｘ，ｙ，ｚ）を求める（ステップＳ１９）。次いで、
この最終的に求められた３次元位置座標（ｘ，ｙ，ｚ）
の点の、各回転角のフレーム画像上への投影位置を計算
し（ステップＳ２０）、続いて、その点のＲＧＢ色信号
値を求める（ステップＳ２１）。さらに、画素アドレス
を変更し（ステップＳ２３）、全画素が終了するまで前
記演算を繰り返す（ステップＳ２２）。

【００７５】図８は、本発明を計算機ソフトウェアによ
り実施する場合の、反射パラメータ取得のための処理フ
ローを示す図である。図８においては、先ず、Levenber
g-Marquardt法を用いて非線形代数式を解く上で重要な
パラメータの初期値を決定する。パラメータの初期値の
決定に当り、先ず、一部のパラメータは予めデータファ
イルに記憶されている値を用い決定する（ステップＳ３
１）。次に、画素アドレスを指定し（ステップＳ３
２）、次いで、画素信号データを読み込む（ステップＳ
３３）。続いて、前記図７に示した回転角と画素信号の
関係からその他のパラメータを決定する。そして、ステ
ップＳ３１で決定した一部のパラメータと合わせて、全
パラメータの初期値を決定する（ステップＳ３４）。次
に、これらのパラメータ値を用いてLevenberg-Marquard
t法における偏微分マトリクス（Ｐ_ij，Ｑ_i）を計算し
（ステップＳ３６）、次いで、これを用いて反復演算に
必要な各パラメータの変化量Δm_ｉを計算する（ステッ
プＳ３７）。反復演算はこの変化量Δm_ｉの大きさが設
定された閾値m_ｉthより小さくなった時点で終了する
（ステップＳ３５，Ｓ３８，及びＳ３９）。続いて、求
められたパラメータ値を用いてこの点の法線ベクトルを
計算する（ステップＳ４０）。次に、画素アドレスを変
更し（ステップＳ４２）、全画素が終了するまで前記演
算を繰り返す（ステップＳ４１）。

【００７６】図９は、本発明を計算機ソフトウェアによ
り実施する場合の、拡散反射成分の画像と鏡面反射成分
の画像を取得する処理のフローを示す図である。図９に
おいては、先ず、画素アドレスを指定する（ステップＳ
５１）。次に、前記図８で得られた指定された画素アド
レスにおける、反射パラメータ値および法線方向のベク
トル値を読み込み（ステップＳ５２）、次いで、この値
を用いて、各画素のTorrance-Sparrow反射モデルにおけ
る拡散反射成分と鏡面反射成分の値を、ＲＧＢ各色信号
毎に計算する（ステップＳ５３）。続いて、この画素の
フレーム画像上でのＲＧＢ色信号値を読み込み（ステッ
プＳ５４）、次いで、この値を用いて拡散反射成分と鏡
面反射成分を分離する（ステップＳ５５）。次に、画素
アドレスを変更し（ステップＳ５７）、次いで、全画素
が終了するまで前記動作を繰り返す（ステップＳ５
６）。このようにして、被写体全体の拡散反射成分の画
像と鏡面反射成分の画像を取得する。

【００７７】次に、図６〜図９に示したソフトウェア処
理によって得られた本発明実施の結果の例を図１０から
図１３までを用いて説明する。図１０は本発明の実施に
用いた被写体の例であって、陶器製の一輪挿しを示す図
である。本被写体はその表面が複雑なテクスチャを有し
ており、鏡面反射成分の多いことが特徴であり、従来技
術では反射パラメータの取得や拡散反射成分と鏡面反射
成分の分離が著しく困難であった。

【００７８】図１１は本発明のソフトウェア処理によっ
て得られた実験結果の一例であって、回転角の変化に伴
う被写体表面上の点のＲＧＢ色信号の変化を示す図であ
る。図１１に示される被写体上の点は、被写体の回転に
伴って鏡面反射成分が著しく変化する点である。Torran
ce-Sparrowの反射モデルでは鏡面反射成分がピーク値近
傍で指数関数的に減少することになるが、図１１では指
数間数的な変化に成っていない。これは横軸の回転角が
４°毎に変化した時の値しか図示されていないためであ
り、パラメータフィッティングの上では全く問題は無
い。

【００７９】図１２および図１３は本発明のソフトウェ
ア処理によって得られた実験結果の一例であって、本発
明によって得られた画素毎の反射モデルパラメータを用
いて、図１０に示された被写体の撮像画像から分離した
拡散反射成分の画像（図１２）と鏡面反射成分の画像
（図１３）である。

【００８０】

【発明の効果】以上説明したように、本発明によれば、
被写体表面上の点の回転に伴う画素信号の変化を用い、
非線形代数問題をLevenberg-Marquardt法により線形化
し、パラメータフィッティング法により反射モデルパラ
メータを一挙に求めることにより、安定かつ信頼性高く
反射モデルパラメータを得ることができる。また、本発
明により得られた反射モデルパラメータを用いて、従来
困難であった複雑なテクスチャや高い鏡面反射成分を有
する被写体に対しても、被写体の撮像画像から拡散反射
成分および鏡面反射成分の画像を良好に分離することが
できるようになる。

【図面の簡単な説明】

【図１】本発明に関わる被写体表面上からの反射光を、
Torrance-Sparrowの２色性反射モデルで説明するための
光学的幾何配置を示す図である。

【図２】本発明に関わる反射光学系を示すための図であ
って、被写体表面上の点と光源およびカメラの方向ベク
トルを示す図である。

【図３】本発明に関わる複数の視点からの被写体画像を
取得するための手法を示す図である。

【図４】本発明に関わる被写体表面上の点が、カメラの
２次元画像上へ投影される様子を示す図である。

【図５】本発明の実施形態に関わる図であって、回路の
全体構成を示すブロック構成図である。

【図６】本発明の実施形態に関わる図であって、計算機
ソフトウェアによる処理フローの全体を示す図である。

【図７】本発明の実施形態に関わる図であって、計算機
ソフトウェアによる画素信号取得のための処理フローを
示す図である。

【図８】本発明の実施形態に関わる図であって、計算機
ソフトウェアによる反射パラメータ取得のための処理フ
ローを示す図である。

【図９】本発明の実施形態に関わる図であって、計算機
ソフトウェアによる拡散反射成分の画像と鏡面反射成分
の画像を分離する処理のフローを示す図である。

【図１０】本発明の効果を示すために用いた被写体の画
像を示す図である。

【図１１】本発明の一実施の形態において、回転角の変
化に伴う画素信号の変化の一例を示す図である。

【図１２】本発明の効果を示す図であって、本発明によ
り得られた反射モデルパラメータを用いて、図１０に示
す被写体の撮像画像から分離した拡散反射成分の画像で
ある。

【図１３】本発明の効果を示す図であって、本発明によ
り得られた反射モデルパラメータを用いて、図１０に示
す被写体の撮像画像から分離した鏡面反射成分の画像で
ある。

【符号の説明】

１０回転テーブル２０カメラ３０撮像画像（ｉ＝１〜Ｎ）４０撮像画像内のブロック画像（ｉ＝１〜Ｎ）５０画像メモリ６０画素信号取得回路部６０−１３次元座標計算回路６０−２画素信号取得回路７０反射パラメータ取得回路部７０−１パラメータ初期化回路７０−２偏微分マトリクス計算回路７０−３反射パラメータ計算回路７０−４法線ベクトル計算回路８０反射成分取得回路部８０−１反射成分計算回路８０−２反射成分分離回路９０出力回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者中西良成東京都稲城市矢野口958番地１サンハイネス307 Ｆターム(参考） 5B057 BA02 CA01 CA08 CA13 CA16 CB01 CB08 CB13 CB16 CC03 CE09 DA08 DA20 DB03 DB06 DB09 DC25 DC30 DC32 DC36 5L096 AA02 AA06 AA09 BA08 CA05 FA46 GA08 GA40 GA49 HA01

Claims

【特許請求の範囲】

【請求項１】複数の視線方向から撮像した被写体の画
像から、被写体表面上の点の視線方向の画像上への投影
画素の信号値を取得する手段と、前記手段により取得した投影画素の信号値からその点の
反射モデルパラメータを、パラメータフィッティング法
により求める手段とを有することを特徴とする反射パラ
メータ取得装置。
【請求項２】前記パラメータフィッティング法の反射
モデルとしてTorrance-Sparrowの２色性反射モデルを用
いることを特徴とする請求項１記載の反射パラメータ取
得装置。
【請求項３】前記被写体表面上の点の視線方向の画像
上への投影画素の信号値として輝度信号および赤、緑、
青の色信号（Ｒ，Ｇ，Ｂ）のいずれかの値、あるいはこ
れらを組み合わせた値を用いることを特徴とする請求項
１または請求項２に記載の反射パラメータ取得装置。
【請求項４】前記反射パラメータ取得装置により取得
された反射モデルパラメータの値を用いて、被写体を撮
像した画像から、拡散反射成分と鏡面反射成分を分離す
る画像処理回路を有することを特徴とする反射成分分離
装置。
【請求項５】複数の視線方向から撮像した被写体の画
像から、被写体表面上の点の視線方向の画像上への投影
画素の信号値を取得する処理と、前記処理により取得した投影画素の信号値からその点の
反射モデルパラメータを、パラメータフィッティング法
により求める処理とを有することを特徴とする反射パラ
メータ取得用プログラム。
【請求項６】前記パラメータフィッティングの反射モ
デルとしてTorrance-Sparrowの２色性反射モデルを用い
ることを特徴とする請求項５記載の反射パラメータ取得
用プログラム。
【請求項７】前記被写体表面上の点の視線方向の画像
上への投影画素の信号値として輝度信号および赤、緑、
青の色信号（Ｒ，Ｇ，Ｂ）のいずれかの値、あるいはこ
れらを組み合わせた値を用いることを特徴とする請求項
５または請求項６に記載の反射パラメータ取得用プログ
ラム。
【請求項８】前記反射パラメータ取得プログラムによ
り取得された反射モデルパラメータの値を用いて、被写
体を撮像した画像から、拡散反射成分と鏡面反射成分を
分離する画像処理プログラムを有することを特徴とする
反射成分分離用プログラム。