JP2003168129A

JP2003168129A - 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム

Info

Publication number: JP2003168129A
Application number: JP2001368976A
Authority: JP
Inventors: Yoshinobu Ochiai; 慶喜落合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-12-03
Filing date: 2001-12-03
Publication date: 2003-06-13

Abstract

(57)【要約】【課題】従来の三次元画像処理装置においては、対象
物体の質感や光沢感を正確に再現することが難しく、特
に複雑な形状部分の再現性がよくない。【解決手段】実物体からこの実物体の三次元形状モデ
ルを生成するための形状データを得る第１のステップ
と、三次元形状モデルに適用する表面属性データを決定
する第２のステップとを有し、第１のステップで得た形
状データと第２のステップで決定した表面属性データと
を用いて実物体の三次元画像を生成する三次元画像処理
において、第２のステップにおいて、第１のステップで
得た形状データに基づいて表面属性データの決定方法を
変更する。例えば三次元形状モデルにおける形状が複雑
な部分は、実物体から得られる表面属性の実測データに
基づかないで表面属性データを決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実物体から取得し
た形状データおよび画像データに基いて実物体の三次元
画像を生成する三次元画像処理に関するものである。

【０００２】

【従来の技術】実在する物体の三次元情報を入力する画
像処理装置として、接触型の位置センサを利用した方法
が知られている。この方法は、探針を物体の各点に接触
させ、探針の三次元位置座標を位置センサにより検出
し、物体の各点の三次元位置情報を入力する方法であ
る。

【０００３】但し、この接触型の位置センサを用いる方
法では、探針を物体の各点に接触させる必要があるた
め、対象となる物体としてはある程度の強度を持つ物体
に限られ、また計測にある程度の時間を要する等の制限
がある。

【０００４】また、非接触型の三次元計測装置も知られ
ており、非接触型は接触型に比べて高速の計測が可能で
あることから、ＣＧシステムやＣＡＤシステムへのデー
タ入力、身体計測、ロボットの視覚認識などに利用され
ている。

【０００５】非接触の三次元計測の方法としては、スリ
ット光投影法（光切断法ともいう）やパターン投影法が
知られている。これらの方法は、特定の参照光（検出光
ともいう）を計測対象である実物体に照射し、三角測定
の原理で距離画像（三次元画像、三次元データ、または
三次元形状データともいう）を得る能動的計測方法の一
種である。

【０００６】スリット光投影法では、スリット光を照射
しかつ偏向することによって計測対象を走査する。パタ
ーン投影法では、複数の２次元パターン光を順次照射す
る。得られた距離画像は、計測対象上の複数部位の三次
元位置を示す画素の集合である。

【０００７】このような三次元計測装置には、計測対象
物体の距離画像を得るための距離計測光学系と、対象物
体表面のテクスチャ情報を取得するためのカラー光学系
（モニタ光学系ともいう）とが設けられる。距離計測光
学系には、計測対象物体に参照光を照射する投光部、参
照光の計測対象物体による反射光を受光する受光センサ
などが含まれる。受光センサからの出力などに基づい
て、三次元形状データが演算により求められる。

【０００８】カラー光学系には、同じ計測対象物体のカ
ラー画像（モニタ画像、２次元画像、２次元データまた
は２次元画像データともいう）を撮像する撮像センサな
どが含まれる。カラー光学系により得られるカラー画像
は、対象物体表面のテクスチャ情報を取得するために用
いられる他、距離計測光学系による計測を開始する際
に、距離計測により得られる距離画像の範囲を予め確認
するために用いられ、さらには、得られた距離画像を修
正する際に、その修正箇所の特定のために用いられる。

【０００９】

【発明が解決しようとする課題】しかしながら、従来の
三次元画像処理装置においては、対象物体の質感や光沢
感を再現することは考慮されていなかった。このため、
撮影環境と再現環境とで照明器具の形状、位置、色が異
なった場合などに、対象物体における鏡面反射の状態が
変化してしまい、見た目にも大きく変わってしまうこと
から、従来の三次元画像処理装置を用いた場合では、対
象物体の質感や光沢感までを正確に伝えることは困難で
ある。

【００１０】このため、実物体をデジタルカメラ等で撮
像して得られた画像データから三次元形状モデルの各頂
点に適用する表面属性データを推定演算する手法も考え
られている。

【００１１】しかしながら、実物体の形状にも様々なも
のがあるが、その一部が複雑な形状を有している場合
に、形状はある程度正確に再現できても、その複雑な形
状を有する部分の質感や光沢感までを再現することは難
しく、むしろ画像処理装置において上記複雑な形状を有
する部分の表面属性に関して誤った計算等を行い、再現
された三次元画像の品位を落とすおそれがある。

【００１２】また、実物体から得られた三次元形状モデ
ルに対して表面属性データを合成する場合、三次元形状
モデルの表面における極めて多数の頂点に適用される表
面属性データを個々に実物体の実測データから演算する
のでは、三次元画像が得られるまでの処理時間が長くな
ってしまうという問題がある。

【００１３】そこで、本発明は、対象となる実物体の形
状・テクスチャ・色だけでなく、再現時の観察環境、す
なわち照明光の形状・位置・方向・色、観察者の位置・
方向を考慮し、対象物体の形状が複雑であっても観察者
に対象物体の質感、光沢感、立体感などを三次元画像に
よってよりリアルに伝えることができるようにした三次
元画像処理の方法および装置を提供することを目的とし
ている。

【００１４】また、本発明は、対象物体の質感や光沢感
を求めるにあたり、対象物体の形状データおよびテクス
チャ・色データを参照することにより、処理の高精度
化、高速化を図れるようにした三次元画像処理の方法お
よび装置を提供することを目的としている。

【００１５】

【課題を解決するための手段】上記の目的を達成するた
めに、本願第１の発明では、実物体からこの実物体の三
次元形状モデルを生成するための形状データを得る第１
のステップと、三次元形状モデルに適用する表面属性デ
ータを決定する第２のステップとを有し、第１のステッ
プで得た形状データと第２のステップで決定した表面属
性データとを用いて実物体の三次元画像を生成する三次
元画像処理において、第２のステップにおいて、第１の
ステップで得た形状データに基づいて表面属性データの
決定方法を変更するようにしている。

【００１６】すなわち、表面属性データの決定方法の選
択に対して形状データを反映させ、その形状データを有
する部分として最適な表面属性データの決定方法を用い
ることができるようにしている。

【００１７】例えば三次元形状モデルにおける特定部と
その周辺部の形状データに基づいて、当該特定部周辺の
形状が複雑か否かを判別し、周辺の形状が複雑でないと
判別された特定部に対しては実物体における当該特定部
に対応する箇所の表面属性の実測データに基づいて表面
属性データを決定し、周辺の形状が複雑と判別された特
定部に対しては実物体における当該特定部に対応する箇
所の表面属性の実測データに基づかないで（より具体的
には、周辺の形状が複雑でないと判別された特定部に適
用される表面属性データに基づいて）表面属性データを
決定するようにする。

【００１８】これにより、複雑な形状ではない部分に関
しては実測データに基づいた正確な表面属性が再現され
る一方、複雑な形状を有する部分に関しては誤った表面
属性データが得られることを回避し、不自然な三次元画
像が得られてしまうことを防止している。

【００１９】また、本願第２の発明では、実物体からこ
の実物体の三次元形状モデルを生成するための形状デー
タを得る第１のステップと、三次元形状モデルに適用す
る表面属性データを決定する第２のステップとを有し、
第１のステップで得た形状データと第２のステップで決
定した表面属性データとを用いてコンピュータに前記実
物体の三次元画像を生成させる三次元画像処理におい
て、第２のステップにおいて、実物体を撮像して得られ
た画像データに基づいて表面属性データの決定方法を変
更するようにしている。

【００２０】すなわち、表面属性データの決定方法の選
択に対して画像データを反映させ、その画像データによ
り与えられる情報を有効利用可能な表面属性データの決
定方法を用いることができるようにしている。

【００２１】具体的には、例えば、三次元形状モデルの
うち画像データから得られる表面属性が類似している特
定領域に対しては、実物体における上記特定領域内で選
択した少なくとも１つの代表部に対応する箇所の表面属
性の実測データに基づいて導いた表面属性データを用い
て上記特定領域の全体に適用される表面属性データを決
定するようにしている。

【００２２】これにより、画像データ（テクスチャデー
タ、色データ等）を参照しながら表面属性データを決定
することができ、全ての表面属性データを得るための処
理の高速化および高精度化を図ることができるようにし
ている。

【００２３】

【発明の実施の形態】（第１実施形態）図１には、本発
明の第１実施形態である三次元画像処理装置の構成を示
している。この三次元画像処理装置は、後述する三次元
計測装置および画像入力装置（ともに実測データ取得装
置）から取り込まれた対象物体（実物体）の形状および
表面属性（すなわち、三次元画像）を再現する際に、観
察に用いる照明環境を任意に設定し、かつ対象物体の位
置および向きを観察空間内で自由に設定した所望の観察
環境下での対象物体の三次元画像を表示および印刷出力
する装置である。

【００２４】この画像処理装置は、上記計測・撮像装置
により対象物体から取得された実測データに基づいて三
次元形状モデルを作るための形状データを生成処理する
形状データ処理部１０２と、対象物体の色・光沢・質感
などの表面属性を再現するために三次元形状モデルに適
用される表面属性データを生成する表面属性データ処理
部１０１と、これら処理部１０２，１０１にて生成され
たデータを統合するデータ統合部１０３と、三次元画像
の再現時の観察環境を使用者が任意に設定するための操
作部１０４と、上記形状データと表面属性データおよび
再現時の観察環境に基づいて対象物体の三次元画像を再
構築する任意環境画像生成部１０５と、生成された三次
元画像の表示および印刷出力を行う画像出力装置１０６
とから構成されている。

【００２５】形状データ処理部１０２は、レーザレーダ
法、スリット光投影法、パターン投影法などを用いた三
次元計測装置から得られる形状に関する実測データか
ら、三次元形状モデルを生成する。なお、三次元計測装
置については特に限定はない。

【００２６】ここで、三次元形状モデルとしては、例え
ばポリゴンによる表面モデルあるいは異なる形状の表面
形状要素の集合として表現することができる。

【００２７】表面属性データ処理部１０１は、光像を画
像データに光電変換して入力する、ディジタルスチルカ
メラ、ビデオカメラ、マルチスペクトルカメラなどの画
像入力装置から得られる画像データおよび形状データ処
理部１０２により得られた形状データを用いて、対象物
体の色・光沢・質感にかかわる表面属性パラメータを推
定し、表面属性データを生成する。

【００２８】この表面属性データにより、三次元画像の
再現時の対象物体、照明光源、視点の位置関係および照
明光源の色・輝度・形状といった観察環境に応じて、再
現画像における鏡面反射の位置・広がり・形状・強度な
どを変化させることが可能となり、対象物体の質感、光
沢感、立体感などをよりリアルに表現することができる
ようになる。

【００２９】なお、形状データ生成のための三次元計測
装置と、表面属性データ生成のための画像入力装置とは
別個であっても一体のものであってもよい。また、形状
および表面属性の実測データを１つの画像入力装置の出
力から取り出すようにしてもよい。

【００３０】データ統合部１０３は、形状データ処理部
１０２から得られた形状データと、表面属性データ処理
部１０１から得られた表面属性データとを統合し、対象
物体の三次元統合データを作成する。

【００３１】観察者は、操作部１０４により所望の照明
条件や対象物体の位置・向きなどの観察環境の設定を行
うことができる。

【００３２】任意環境画像生成部１０５は、操作部１０
４を用いて観察者より設定された観察環境データをデー
タ統合部より出力された三次元統合データに適用するこ
とで、観察者所望の観察環境下での対象物体の三次元画
像を再構築する。

【００３３】画像出力装置１０６は、ＴＶモニタやプリ
ンタなどからなり、任意環境画像生成部１０５により再
構築された三次元画像の表示や印刷出力を行い、観察者
に提示する。

【００３４】図２には、上記画像処理装置とともに三次
元画像処理システムを構成する三次元計測装置および画
像入力装置を示している。対象物体２０３は、回転可能
なステージ２０４の上に配置され、ステージ２０４とと
もに回転軸２０５を中心として回転する。測定環境にお
ける回転軸２０５の位置および回転角度は既知とする。

【００３５】照明光源２０２は、表面属性を取得する際
に使用する照明であり、照明光スペクトル、光の強度、
照明光形状、個数および測定環境における位置は既知と
する。

【００３６】三次元計測装置および画像入力装置２０１
は、対象物体２０３からある程度離れた位置に配置さ
れ、対象物体２０３を回転軸２０５を中心として回転さ
せながら一定角度ごとに三次元形状計測および画像入力
を行い、三次元形状および表面属性の実測データの取得
を行う。ここで、三次元計測装置と画像入力装置は一体
の構成であっても構わないし別体構成でもよい。また、
三次元形状計測および画像入力を行うタイミングはそれ
ぞれが同時でもよいし別個でもよく、とくに限定されな
い。

【００３７】次に、本実施形態の三次元画像処理装置の
表面属性データ処理部１０１にて行われる表面属性推定
処理について、図３のフローチャートを参照しながら説
明する。このフローチャートは、パーソナルコンピュー
タとしての三次元画像表示装置本体内にて動作する三次
元画像処理プログラムの内容を示している。

【００３８】ここでは、物体表面における反射光が拡散
反射成分と鏡面反射成分の２つに分けられる二色性反射
モデルを利用する。

【００３９】まず図９および図１０を用いて二色性反射
モデルにおける物体の見え方について説明する。自然界
に存在する物体あるいは人工の物体について、多くの物
体の表面は不均質物質のような構造で近似することが可
能である。このとき、物体に入射した光は物理的に異な
る２種類の反射経路で反射する。まず入射光９０４の一
部９０３は物体表面９０１と空気層の間の境界で反射す
る。このような反射光を生ずる現象を鏡面反射という。

【００４０】また、第２の反射経路は、物体表面９０１
を通過して着色層に入射した光９０４が色素粒子９０２
との間で引き起こす光の散乱によるものである。この反
射光９０５は境界面を通過して空気中に戻ったときに観
測される。このような反射現象を拡散反射という。この
ように物体表面９０１からの反射光はこれら２つの成分
に分解することができる。

【００４１】図１０に示すように、物体上のある点Ｏに
おける法線ベクトルをＮ、光源へのベクトルをＲ、視点
へのベクトルをＶ、光源の反射光ベクトルをＬ’、法線
ベクトルＮと光源へのベクトルＬとのなす角をθする
と、光源の反射光ベクトルＬ’と法線ベクトルＮとのな
す角もθと表せる。このとき二色性反射モデルによる
と、反射光輝度Ｙは、Ｙ（θ，α，λ）＝Ｙ_S （θ，α，λ）＋Ｙ_D （θ，α，λ）＝ｃ_S （θ，α）Ｌ_S （λ）＋ｃ_D （θ，α）Ｌ_D （λ）・・・（１）と表すことができる。但し、λは波長で、添え字のＳと
Ｄは鏡面反射成分、拡散反射成分をそれぞれ表してい
る。また、Ｌ_S （λ）とＬ_D （λ）はそれぞれ、鏡面反
射成分と拡散反射成分の放射輝度のスペクトル分布に相
当する項である。

【００４２】これらは角度が変化しても一定である。こ
れに対し、ｃ_S （θ，α）およびｃ_D （θ，α）は幾
何学的な位置関係により決定される項である。

【００４３】以上説明したように、二色性反射モデルに
よれば、物体表面における反射光は式（１）に示される
ように、鏡面反射成分と拡散反射成分の２つの成分の和
からなり、それぞれの成分は波長に依存する放射輝度ス
ペクトルに相当する項と角度に依存する幾何学的な位置
関係に相当する項からなっていると考えることができ
る。

【００４４】以上の前提を踏まえ、複数の環境下で実測
した実測データにおける三次元形状モデルの各頂点との
対応点の輝度・色の変化を解析することで、それぞれの
頂点における表面属性を推定することができる。

【００４５】まず、対象物体の表面上の各頂点に関し
て、三次元計測装置により入力された形状データの処理
結果（ステップ〈図３ではＳと略す〉３０１）および画
像入力装置２０１により入力された画像データからなる
実測データ（ステップ３０２）のうち、形状データから
現在注目している頂点（特定部）の法線方向を求め、さ
らにその頂点の周辺における（例えば隣接する）他の頂
点の法線方向を求める。そして、これらの法線方向を比
較し、それぞれの頂点の法線方向が大きく異なるか、言
い換えればと注目している頂点周辺の形状が「複雑」で
あるかどうかの判断を行う（ステップ３０３）。なお、
「複雑」か否かの判断基準は装置の性能等、各種条件に
応じて適宜設定することができ、法線方向の差が所定値
を超えたときに「複雑」と判断を行うようにしてもよ
い。

【００４６】このとき、注目している頂点の周辺の形状
が複雑であると判断されたときは、信頼性が低くなり易
い注目頂点における表面属性データの推定処理は行わ
ず、周辺の形状が複雑でない他の頂点の表面属性データ
に基づく補間処理を行う（ステップ３０４）。これによ
り、周辺の形状が複雑である頂点に適用する表面属性デ
ータの推定の誤り等を回避することができるとともに、
不自然ではない表面属性データが適用されることにな
る。

【００４７】一方、注目している頂点の周辺の形状が複
雑でないと判断されたときは、実測データ（ステップ３
０２）からノイズ、陰影、オクルージョン、混色などの
影響により情報が欠如したり誤差を大きく含んだりする
データを除去し、実測データの取捨選択を行う（ステッ
プ３０５）。

【００４８】続いて、選別された実測データのみを用い
て、拡散反射成分のみのデータを抽出する（ステップ３
０６）。そして抽出されたデータから、表面属性パラメ
ータのうち物体色に対応するパラメータの推定を行う
（ステップ３０７）。

【００４９】さらに、鏡面反射成分を含んだデータか
ら、鏡面反射成分を分離し（ステップ３０８）、表面属
性パラメータのうち反射特性に対応するパラメータの推
定を行う（ステップ３０９）。

【００５０】以上の処理を各頂点に対して頂点ごとに行
うことで、各頂点における表面属性パラメータを推定す
ることができる。そして、対象物体の表面全体の頂点で
の表面属性パラメータの推定が終了すると（ステップ３
１０）、表面属性推定処理を終了する（ステップ３１
１）。

【００５１】次に、本実施形態の三次元画像処理装置に
おける、観察者所望の観察環境下での対象物体の三次元
画像を再現するための操作および任意環境画像生成・表
示について、図４を参照しながら説明する。図４には、
画像出力装置１０６のモニタ画面での表示を示してい
る。

【００５２】観察者は、画面上の照明光設定部４０３に
より対象物体に照射する照明光の色、輝度、位置、形状
（点光源、線光源、面光源、平行光など）を設定する。
ここでは、複数の照明光を設定することができるように
なっている。これにより、観察空間において任意の色、
輝度、形状を持つ２つ照明光源４０２を任意の位置に配
置することができる。

【００５３】さらに、観察者は、対象物体配置設定部４
０４により対象物体に対して上下、左右、手前奥の三次
元的な移動位置および任意の軸を中心とした回転角度を
設定する。

【００５４】これにより、観察空間において、対象物体
の三次元画像４０１を任意の方向に移動させたり回転さ
せたりすることができ、この三次元画像４０１を所望の
方向から観察することができる。

【００５５】任意環境画像生成部７は、照明光設定部４
０３および対象物体配置設定部４０３により設定された
観察環境データに従い、観察者所望の観察環境下での対
象物体の三次元画像を再構築し、表示する。

【００５６】観察者が設定する対象物体、照明光源およ
び視点の位置関係や照明光源の色・輝度・形状といった
観察環境に応じて、再現画像における鏡面反射の位置・
広がり・形状・強度などを変化させることができるの
で、三次元画像において対象物体の質感、光沢感、立体
感などをよりリアルに再現することが可能となる。

【００５７】しかも、表面属性データの推定処理におい
て形状データを参照し、三次元形状モデルにおける注目
する頂点において表面属性データの推定処理を行うか否
かの判断をすることで、表面属性データの推定精度に関
して信頼性の低い頂点に関しては推定処理を行わず、他
の頂点の推定データから補間するので、処理の高精度化
と高速化を図ることができる。

【００５８】（第２実施形態）図５には、本発明の第２
実施形態である三次元画像処理装置における表面属性デ
ータ処理のフローチャートを示している。

【００５９】本実施形態でも、第１実施形態と同様に、
物体表面における反射光は拡散反射成分と鏡面反射成分
の２つに分けられるという二色性反射モデルを利用す
る。これにより、複数の環境下で実測した実測データに
おける三次元形状モデルの各頂点との対応点の輝度・色
の変化を解析することで、それぞれの頂点における表面
属性を推定することができる。

【００６０】まず、対象物体の表面上の各頂点に関して
三次元計測装置により入力された形状データの処理結果
（ステップ５０１）および画像入力装置２０１により入
力された画像データからなる実測データ（ステップ５０
２）のうち、入力された画像データの色およびテクスチ
ャ情報に基いて、対象物体の表面上の各頂点をいくつか
の領域にセグメンテーションする（ステップ５０３）。

【００６１】例えば、図６に示す対象物体の実測データ
が入力されたとき、対象物体の表面は、各部の色情報に
基いて、６０１、６０２、６０３および６０４の各領域
（特定領域）にそれぞれセグメンテーションされる。

【００６２】ここでは、画像データのうち単なる色情報
を利用してもよいし、入力画像に対して各種画像処理を
施し、例えばエッジ抽出フィルターなどを施すことで得
られるエッジ情報を利用してもよい。さらに、画像デー
タ中のテクスチャの特徴や規則性を検出し、セグメンテ
ーションの判断基準としてもよく、画像入力装置２０１
から入力された画像データを利用する方法であればとく
に限定はない。

【００６３】これにより、対象物体の表面上の各頂点
は、互いに類似した色およびテクスチャ情報を有するも
の同士でグループ化される。

【００６４】次に、それぞれグループ化された複数の領
域のうち、現在注目する領域内における代表頂点の選出
を行う（ステップ５０４）。代表頂点の選出は、例えば
図７に模式的に示すように、領域７０１内の頂点の数に
対して所定の割合の数の頂点を選択するとともに、その
選択された代表頂点７０２がこの領域内において概ね均
等に配置されるようにする設定法や、図８に模式的に示
すように、領域８０１内でも他の領域と隣接しない代表
頂点８０２を選択するする方法などがある。なお、領域
内に含まれる頂点の中から代表頂点を選択する方法には
特に限定はない。

【００６５】このような要領で領域内の代表頂点を選出
すると、これら代表頂点に対してのみ以下の表面属性デ
ータ推定処理を行う。

【００６６】まず、実測データ（ステップ５０２）から
ノイズ、陰影、オクルージョン、混色などの影響により
情報が欠如したり誤差を大きく含んだりするデータを除
去し、実測データの取捨選択を行う（ステップ５０
５）。

【００６７】続いて、選別された実測データのみを用い
て拡散反射成分のみのデータを抽出する（ステップ５０
６）。そして、抽出されたデータから表面属性パラメー
タのうち物体色に対応するパラメータの推定を行う（ス
テップ５０７）。

【００６８】続いて、鏡面反射成分を含んだデータか
ら、鏡面反射成分を分離し（ステップ５０８）、表面属
性パラメータのうち反射特性に対応するパラメータの推
定を行う（ステップ５０９）。

【００６９】以上の表面属性データの推定処理（ステッ
プ５０５〜５０９）を現在注目する領域内に設定したす
べての代表頂点に対して順次実行していき、各代表頂点
での表面属性データの算出が終了したか否かを判断して
（ステップ５１０）、終了していなければステップ５０
５へ戻ってまだ実行していない代表頂点における表面属
性データの推定処理（ステップ５０５〜５０９）を繰り
返す。

【００７０】また、現在注目する領域内のすべての代表
頂点において上記推定処理が終了すると、算出したそれ
ぞれの代表頂点の表面属性データに基いて現在注目する
領域を代表する表面属性データ（以下、領域代表表面属
性データという）を算出する（ステップ５１１）。

【００７１】この領域代表表面属性データの算出法とし
ては、例えば各代表頂点の表面属性データの平均を算出
する方法や、形状データおよび他の領域との距離との相
関関係から重み付けを行って算出する方法を用いてもよ
い。なお、統計的な手法を用いることに特に限定はな
い。

【００７２】さらに、すべての領域で領域代表表面属性
データの算出処理が終了したか否かの判断を行い（ステ
ップ５１２）、終了していなければステップ５０４に戻
って次の注目領域での領域代表表面属性データの算出処
理を行う（ステップ５０４〜５１１）。

【００７３】こうしてすべての領域の領域代表表面属性
データが算出されると、表面属性推定処理を終了する
（ステップ５１３）。

【００７４】このように、三次元形状モデルのうち画像
データから得られる表面属性が類似している領域に対し
ては、その領域内にて適宜転宅された代表点に関しての
み対象物体の表面属性の実測データ（画像データのテク
スチャデータ、色データ等）に基づいて導いた表面属性
データを用いて上記領域の全体に適用される表面属性デ
ータを算出（推定）するようにしているので、全ての頂
点に適用される表面属性データを得るための処理の高速
化および高精度化を図ることができる。

【００７５】なお、本実施形態において、互いに類似し
た色およびテクスチャ情報を有する頂点としてグループ
化されない頂点に関しては、当該頂点に対応する実測デ
ータに基づいて表面属性データの推定処理を行う。

【００７６】また、本実施形態において、観察者が所望
の観察環境下での対象物体の画像を再現するための操作
部および任意環境画像生成・表示については第１実施形
態と同様である。

【００７７】

【発明の効果】以上説明したように、本願第１の発明に
よれば、表面属性データの決定方法の選択に対して形状
データを反映させるので、その形状データを有する部分
として最適な表面属性データの決定方法を用いることが
できる。

【００７８】特に、三次元形状モデルの特定部周辺の形
状が複雑であると判別されたときに、実物体における当
該特定部に対応する箇所の表面属性の実測データに基づ
かないで（例えば、周辺の形状が複雑でない部分に適用
される表面属性データに基づいて）表面属性データを決
定するようにすれば、複雑な形状を有する部分に関して
誤った表面属性データが得られることを回避し、不自然
な三次元画像が得られてしまうことを防止できる。しか
も、信頼性の低い表面属性データ処理を行わずに、他の
表面属性データに基づいて表面属性データを決定するこ
とによって、表面属性データ処理の高精度化および高速
化をも図ることができる。

【００７９】また、本願第２の発明によれば、表面属性
データの決定方法の選択に対して画像データを反映させ
るので、その画像データにより与えられる情報を有効利
用可能な表面属性データの決定方法を用いることができ
る。

【００８０】特に、三次元形状モデルのうち画像データ
から得られる表面属性が類似している特定領域に対し、
実物体における上記特定領域内で選択した代表部に対応
する箇所についてのみ表面属性の実測データに基づいて
表面属性データを決定し、この決定した代表部の表面属
性データを用いて上記特定領域の全体に適用される表面
属性データを決定するようにすれば、画像データ（テク
スチャデータ、色データ等）を参照しながら表面属性デ
ータを決定することとなり、全ての表面属性データを得
るための処理の高速化および高精度化を図ることができ
る。

【００８１】そして、これら第１および第２の発明を用
いれば、観察者が任意に設定した観察環境下で、実物体
の質感、光沢感、立体感などをよりリアルに再現した三
次元画像を生成することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態である三次元画像処理装
置の構成を示すブロック図である。

【図２】上記三次元画像処理装置とともにシステムを構
成する三次元計測・画像入力装置の構成を示す概略図で
ある。

【図３】上記三次元画像処理装置の処理を表すフローチ
ャートである。

【図４】上記三次元画像処理装置における任意の観察環
境下での対象物体の三次元画像を再現するための操作部
等の表示例である。

【図５】本発明の第２実施形態である三次元画像処理装
置の処理を表すフローチャートである。

【図６】対象物体の色およびテクスチャ情報に基づく対
象物体の表面のセグメンテーションの例である。

【図７】上記セグメンテーションされた領域内における
代表頂点の選出法の例である。

【図８】上記セグメンテーションされた領域内における
代表頂点の選出法の例である。

【図９】物体表面上における反射光の性質を表した二色
性反射モデルの概念図である。

【図１０】二色性反射モデルにおける各要素の位置関係
を表した概念図である。

【符号の説明】

１０１表面属性データ処理部１０２形状データ処理部２０１画像入力装置（および三次元計測装置）２０３対象物体２０４ターンテーブル

Claims

【特許請求の範囲】

【請求項１】実物体からこの実物体の三次元形状モデ
ルを生成するための形状データを得る第１のステップ
と、前記三次元形状モデルに適用する表面属性データを
決定する第２のステップとを有し、前記第１のステップ
で得た形状データと前記第２のステップで決定した表面
属性データとを用いて前記実物体の三次元画像を生成す
る三次元画像処理方法であって、前記第２のステップにおいて、前記第１のステップで得
た形状データに基づいて表面属性データの決定方法を変
更することを特徴とする三次元画像処理方法。
【請求項２】前記第２のステップにおいて、前記第１
のステップで得た前記三次元形状モデルにおける特定部
とその周辺部の形状データに基づいて、当該特定部周辺
の形状が複雑か否かを判別し、この判別結果に応じて当
該特定部に適用する表面属性データの決定方法を変更す
ることを特徴とする請求項１に記載の三次元画像処理方
法。
【請求項３】前記第２のステップにおいて、周辺の形
状が複雑でないと判別された特定部に対しては実物体に
おける当該特定部に対応する箇所の表面属性の実測デー
タに基づいて表面属性データを決定し、周辺の形状が複
雑と判別された特定部に対しては実物体における当該特
定部に対応する箇所の表面属性の実測データに基づかな
いで表面属性データを決定することを特徴とする請求項
２に記載の三次元画像処理方法。
【請求項４】前記第２のステップにおいて、周辺の形
状が複雑と判別された特定部に対しては、周辺の形状が
複雑でないと判別された特定部に適用される表面属性デ
ータに基づいて表面属性データを決定することを特徴と
する請求項３に記載の三次元画像処理方法。
【請求項５】実物体からこの実物体の三次元形状モデ
ルを生成するための形状データを得る第１のステップ
と、前記三次元形状モデルに適用する表面属性データを
決定する第２のステップとを有し、前記第１のステップ
で得た形状データと前記第２のステップで決定した表面
属性データとを用いて前記実物体の三次元画像を生成す
る三次元画像処理方法であって、前記第２のステップにおいて、前記実物体を撮像して得
られた画像データに基づいて表面属性データの決定方法
を変更することを特徴とする三次元画像処理方法。
【請求項６】前記第２のステップにおいて、前記三次
元形状モデルのうち画像データから得られる表面属性が
類似している特定領域に対しては、実物体における前記
特定領域内で選択した少なくとも１つの代表部に対応す
る箇所の表面属性の実測データに基づいて導いた表面属
性データを用いて前記特定領域の全体に適用される表面
属性データを決定し、前記特定領域以外の領域に対して
は他の方法で表面属性データを決定することを特徴とす
る請求項５に記載の三次元画像処理方法。
【請求項７】実物体からこの実物体の三次元形状モデ
ルを生成するための形状データを得る第１のステップ
と、前記三次元形状モデルに適用する表面属性データを
決定する第２のステップとを有し、前記第１のステップ
で得た形状データと前記第２のステップで決定した表面
属性データとを用いてコンピュータに前記実物体の三次
元画像を生成させる三次元画像処理プログラムであっ
て、前記第２のステップにおいて、前記第１のステップで得
た形状データに基づいて表面属性データの決定方法を変
更することを特徴とする三次元画像処理プログラム。
【請求項８】前記第２のステップにおいて、前記第１
のステップで得た前記三次元形状モデルにおける特定部
とその周辺部の形状データに基づいて、当該特定部周辺
の形状が複雑か否かを判別し、この判別結果に応じて当
該特定部に適用する表面属性データの決定方法を変更す
ることを特徴とする請求項７に記載の三次元画像処理プ
ログラム。
【請求項９】前記第２のステップにおいて、周辺の形
状が複雑でないと判別された特定部に対しては実物体に
おける当該特定部に対応する箇所の表面属性の実測デー
タに基づいて表面属性データを決定し、周辺の形状が複
雑と判別された特定部に対しては実物体における当該特
定部に対応する箇所の表面属性の実測データに基づかな
いで表面属性データを決定することを特徴とする請求項
８に記載の三次元画像処理プログラム。
【請求項１０】前記第２のステップにおいて、周辺の
形状が複雑と判別された特定部に対しては、周辺の形状
が複雑でないと判別された特定部に適用される表面属性
データに基づいて表面属性データを決定することを特徴
とする請求項９に記載の三次元画像処理プログラム。
【請求項１１】実物体からこの実物体の三次元形状モ
デルを生成するための形状データを得る第１のステップ
と、前記三次元形状モデルに適用する表面属性データを
決定する第２のステップとを有し、前記第１のステップ
で得た形状データと前記第２のステップで決定した表面
属性データとを用いてコンピュータに前記実物体の三次
元画像を生成させる三次元画像処理プログラムであっ
て、前記第２のステップにおいて、前記実物体を撮像して得
られた画像データに基づいて表面属性データの決定方法
を変更することを特徴とする三次元画像処理プログラ
ム。
【請求項１２】前記第２のステップにおいて、前記三
次元形状モデルのうち画像データから得られる表面属性
が類似している特定領域に対しては、実物体における前
記特定領域内で選択した少なくとも１つの代表部に対応
する箇所の表面属性の実測データに基づいて導いた表面
属性データを用いて前記特定領域の全体に適用される表
面属性データを決定し、前記特定領域以外の領域に対し
ては他の方法で表面属性データを決定することを特徴と
する請求項１１に記載の三次元画像処理プログラム。
【請求項１３】実物体からこの実物体の三次元形状モ
デルを生成するための形状データを得る形状データ処理
部と、前記三次元形状モデルに適用する表面属性データ
を決定する表面属性データ処理部とを有し、前記形状デ
ータ処理部で得た形状データと前記表面属性データ処理
部で決定した表面属性データとを用いて前記実物体の三
次元画像を生成する三次元画像処理装置であって、前記表面属性データ処理部は、前記形状データ処理部で
得た形状データに基づいて表面属性データの決定方法を
変更することを特徴とする三次元画像処理装置。
【請求項１４】前記表面属性データ処理部は、前記形
状データ処理部で得た前記三次元形状モデルにおける特
定部とその周辺部の形状データに基づいて、当該特定部
周辺の形状が複雑か否かを判別し、この判別結果に応じ
て当該特定部に適用する表面属性データの決定方法を変
更することを特徴とする請求項１３に記載の三次元画像
処理装置。
【請求項１５】前記表面属性データ処理部は、周辺の
形状が複雑でないと判別された特定部に対しては実物体
における当該特定部に対応する箇所の表面属性の実測デ
ータに基づいて表面属性データを決定し、周辺の形状が
複雑と判別された特定部に対しては実物体における当該
特定部に対応する箇所の表面属性の実測データに基づか
ないで表面属性データを決定することを特徴とする請求
項１４に記載の三次元画像処理装置。
【請求項１６】前記表面属性データ処理部は、周辺の
形状が複雑と判別された特定部に対しては、周辺の形状
が複雑でないと判別された特定部に適用される表面属性
データに基づいて表面属性データを決定することを特徴
とする請求項１５に記載の三次元画像処理装置。
【請求項１７】実物体からこの実物体の三次元形状モ
デルを生成するための形状データを得る形状データ処理
部と、前記三次元形状モデルに適用する表面属性データ
を決定する表面属性データ処理部とを有し、前記第１の
ステップで得た形状データと前記第２のステップで決定
した表面属性データとを用いて前記実物体の三次元画像
を生成する三次元画像処理装置であって、前記表面属性データ処理部は、前記実物体を撮像して得
られた画像データに基づいて表面属性データの決定方法
を変更することを特徴とする三次元画像処理装置。
【請求項１８】前記表面属性データ処理部は、前記三
次元形状モデルのうち画像データから得られる表面属性
が類似している特定領域に対しては、実物体における前
記特定領域内で選択した少なくとも１つの代表部に対応
する箇所の表面属性の実測データに基づいて導いた表面
属性データを用いて前記特定領域の全体に適用される表
面属性データを決定し、前記特定領域以外の領域に対し
ては他の方法で表面属性データを決定することを特徴と
する請求項１７に記載の三次元画像処理装置。
【請求項１９】請求項１３から１８のいずれかに記載
の三次元画像処理装置と、実物体を測定又は撮像して前
記実物体の形状および表面属性の実測データを取得する
実測データ取得装置とを有することを特徴とする三次元
画像処理システム。