JP2003216973A - 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム - Google Patents
三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システムInfo
- Publication number
- JP2003216973A JP2003216973A JP2002011636A JP2002011636A JP2003216973A JP 2003216973 A JP2003216973 A JP 2003216973A JP 2002011636 A JP2002011636 A JP 2002011636A JP 2002011636 A JP2002011636 A JP 2002011636A JP 2003216973 A JP2003216973 A JP 2003216973A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- data
- shape
- image processing
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】
【課題】 従来の三次元画像処理装置では、実物体の質
感や光沢感を再現することは困難である。 【解決手段】 実物体から形状および表面属性に関する
実測データを取得し、この実測データに基づいて実物体
の三次元データを生成し出力する画像生成手段1,3,
5と、使用者操作に応じて実物体からの実測データの取
得および三次元画像データの生成のうち少なくとも一方
に関するパラメータを設定する操作手段9と、操作手段
により設定されたパラメータを用いて画像生成手段に実
物体からの実測データの取得および実物体の三次元デー
タの生成・出力を再度行わせる制御手段2とを設けて三
次元画像処理装置を構成する。
感や光沢感を再現することは困難である。 【解決手段】 実物体から形状および表面属性に関する
実測データを取得し、この実測データに基づいて実物体
の三次元データを生成し出力する画像生成手段1,3,
5と、使用者操作に応じて実物体からの実測データの取
得および三次元画像データの生成のうち少なくとも一方
に関するパラメータを設定する操作手段9と、操作手段
により設定されたパラメータを用いて画像生成手段に実
物体からの実測データの取得および実物体の三次元デー
タの生成・出力を再度行わせる制御手段2とを設けて三
次元画像処理装置を構成する。
Description
【0001】
【発明の属する技術分野】本発明は、実物体の形状、
色、質感などをよりリアルに三次元画像として表示する
三次元画像処理に関するものである。
色、質感などをよりリアルに三次元画像として表示する
三次元画像処理に関するものである。
【0002】
【従来の技術】実在する物体の三次元情報(形状、表面
属性)を入力する画像処理装置として、接触型の位置セ
ンサを利用した方法が知られている。この方法は、探針
を物体の各点に接触させ、探針の三次元位置座標を位置
センサにより検出し、物体の各点の三次元位置情報を入
力する方法である。
属性)を入力する画像処理装置として、接触型の位置セ
ンサを利用した方法が知られている。この方法は、探針
を物体の各点に接触させ、探針の三次元位置座標を位置
センサにより検出し、物体の各点の三次元位置情報を入
力する方法である。
【0003】但し、この接触型の位置センサを用いる方
法では、探針を物体の各点に接触させる必要があるた
め、対象となる物体としては、ある程度の強度を持つ物
体に限られ、また計測にある程度の時間を要する等の制
限がある。
法では、探針を物体の各点に接触させる必要があるた
め、対象となる物体としては、ある程度の強度を持つ物
体に限られ、また計測にある程度の時間を要する等の制
限がある。
【0004】また、非接触型の三次元計測装置も知られ
ている。この非接触型は、接触型に比べて高速の計測が
可能であることから、CGシステムやCADシステムへ
のデータ入力、身体計測、ロボットの視覚認識などに利
用されている。
ている。この非接触型は、接触型に比べて高速の計測が
可能であることから、CGシステムやCADシステムへ
のデータ入力、身体計測、ロボットの視覚認識などに利
用されている。
【0005】非接触の三次元計測の方法としては、スリ
ット光投影法(光切断法ともいう)またはパターン投影
法が知られている。これらの方法は、特定の参照光(検
出光ともいう)を計測対象に照射し、三角測定の原理で
距離画像(三次元画像データ、三次元データ、または三
次元形状データともいう)を得る能動的計測方法の一種
である。
ット光投影法(光切断法ともいう)またはパターン投影
法が知られている。これらの方法は、特定の参照光(検
出光ともいう)を計測対象に照射し、三角測定の原理で
距離画像(三次元画像データ、三次元データ、または三
次元形状データともいう)を得る能動的計測方法の一種
である。
【0006】また、スリット光投影法では、スリット光
を照射しかつ偏向することによって計測対象を走査す
る。パターン投影法では、複数の2次元パターン光を順
次照射する。得られた距離画像は、計測対象上の複数部
位の三次元位置を示す画素の集合である。
を照射しかつ偏向することによって計測対象を走査す
る。パターン投影法では、複数の2次元パターン光を順
次照射する。得られた距離画像は、計測対象上の複数部
位の三次元位置を示す画素の集合である。
【0007】このような三次元計測装置には、計測対象
物体の距離画像を得るための距離計測光学系と、対象物
体表面のテクスチャ情報を取得するためのカラー光学系
(モニタ光学系ともいう)とが設けられる。距離計測光
学系には、計測対象物体に参照光を照射する投光部、参
照光の計測対象物体による反射光を受光する受光センサ
などが含まれる。そして、受光センサからの出力などに
基づいて、三次元形状データが演算により求められる。
物体の距離画像を得るための距離計測光学系と、対象物
体表面のテクスチャ情報を取得するためのカラー光学系
(モニタ光学系ともいう)とが設けられる。距離計測光
学系には、計測対象物体に参照光を照射する投光部、参
照光の計測対象物体による反射光を受光する受光センサ
などが含まれる。そして、受光センサからの出力などに
基づいて、三次元形状データが演算により求められる。
【0008】カラー光学系には、同じ計測対象物体のカ
ラー画像(モニタ画像、2次元画像、2次元データ、ま
たは2次元画像データともいう)を撮像する撮像センサ
などが含まれる。カラー光学系により得られるカラー画
像は、対象物体表面のテクスチャ情報を取得するために
用いられる他、距離計測光学系による計測を開始する際
に、距離計測により得られる距離画像の範囲を予め確認
するために用いられ、さらには、得られた距離画像を修
正する際に、その修正箇所の特定のために用いられる。
ラー画像(モニタ画像、2次元画像、2次元データ、ま
たは2次元画像データともいう)を撮像する撮像センサ
などが含まれる。カラー光学系により得られるカラー画
像は、対象物体表面のテクスチャ情報を取得するために
用いられる他、距離計測光学系による計測を開始する際
に、距離計測により得られる距離画像の範囲を予め確認
するために用いられ、さらには、得られた距離画像を修
正する際に、その修正箇所の特定のために用いられる。
【0009】
【発明が解決しようとする課題】しかしながら、従来の
三次元画像処理装置においては、対象物体の質感や光沢
感を再現することは考慮されていなかった。しかも、撮
影環境と再現環境とで照明器具の形状、位置、色が異な
った場合などは、対象物体における鏡面反射の状態が変
化してしまい、見た目にも大きく変わってしまうことか
ら、従来の三次元画像処理装置を用いた場合では、対象
物体の質感や光沢感までを正確に伝えることは困難であ
る。
三次元画像処理装置においては、対象物体の質感や光沢
感を再現することは考慮されていなかった。しかも、撮
影環境と再現環境とで照明器具の形状、位置、色が異な
った場合などは、対象物体における鏡面反射の状態が変
化してしまい、見た目にも大きく変わってしまうことか
ら、従来の三次元画像処理装置を用いた場合では、対象
物体の質感や光沢感までを正確に伝えることは困難であ
る。
【0010】そこで、実物体の質感、光沢感、立体感な
どをよりリアルに再現した三次元画像を生成することを
可能とする三次元画像処理装置、方法およびプログラム
を提供することを目的としている。
どをよりリアルに再現した三次元画像を生成することを
可能とする三次元画像処理装置、方法およびプログラム
を提供することを目的としている。
【0011】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明の三次元画像処理方法およびプログラム
は、実物体から形状および表面属性に関する実測データ
を取得し、この実測データに基づいて実物体の三次元デ
ータを生成し出力する第1のステップと、使用者操作に
応じて実物体からの実測データの取得および三次元画像
データの生成のうち少なくとも一方に関するパラメータ
を設定する第2のステップとを有し、第2のステップで
設定されたパラメータを用いて第1のステップを再度行
うようにしている。
めに、本発明の三次元画像処理方法およびプログラム
は、実物体から形状および表面属性に関する実測データ
を取得し、この実測データに基づいて実物体の三次元デ
ータを生成し出力する第1のステップと、使用者操作に
応じて実物体からの実測データの取得および三次元画像
データの生成のうち少なくとも一方に関するパラメータ
を設定する第2のステップとを有し、第2のステップで
設定されたパラメータを用いて第1のステップを再度行
うようにしている。
【0012】また、本発明の三次元画像処理装置は、実
物体から形状および表面属性に関する実測データを取得
し、この実測データに基づいて実物体の三次元データを
生成し出力する三次元データ生成手段と、使用者操作に
応じて実物体からの実測データの取得および三次元画像
データの生成のうち少なくとも一方に関するパラメータ
を設定する操作手段と、操作手段により設定されたパラ
メータを用いて三次元データ生成手段に実物体からの実
測データの取得および実物体の三次元データの生成・出
力を再度行わせる制御手段とを有する。
物体から形状および表面属性に関する実測データを取得
し、この実測データに基づいて実物体の三次元データを
生成し出力する三次元データ生成手段と、使用者操作に
応じて実物体からの実測データの取得および三次元画像
データの生成のうち少なくとも一方に関するパラメータ
を設定する操作手段と、操作手段により設定されたパラ
メータを用いて三次元データ生成手段に実物体からの実
測データの取得および実物体の三次元データの生成・出
力を再度行わせる制御手段とを有する。
【0013】これらのように、生成した三次元データを
出力し、これを確認した使用者に実物体からの実測デー
タの取得および三次元データの生成のうち少なくとも一
方に関するパラメータを設定させ、このパラメータを用
いて実物体からの実測データの再取得および三次元デー
タの再生成を行うことにより、使用者とのいわば対話的
な三次元データの作成が可能となり、形状や表面属性の
データ取得精度を高めることができ、リアリティの高い
三次元画像を得ることが可能となる。また、三次元画像
データの信用度が低い領域のみを重点的に実測あるいは
修正するなど、より細かい処理が可能となるため、より
リアリティの高い三次元画像を得ることが可能となる。
出力し、これを確認した使用者に実物体からの実測デー
タの取得および三次元データの生成のうち少なくとも一
方に関するパラメータを設定させ、このパラメータを用
いて実物体からの実測データの再取得および三次元デー
タの再生成を行うことにより、使用者とのいわば対話的
な三次元データの作成が可能となり、形状や表面属性の
データ取得精度を高めることができ、リアリティの高い
三次元画像を得ることが可能となる。また、三次元画像
データの信用度が低い領域のみを重点的に実測あるいは
修正するなど、より細かい処理が可能となるため、より
リアリティの高い三次元画像を得ることが可能となる。
【0014】そして、このような対話的な作業を繰り返
し行えるようにすることにより、さらに三次元画像のリ
アリティを高めることが可能となる。
し行えるようにすることにより、さらに三次元画像のリ
アリティを高めることが可能となる。
【0015】また、この場合に、順次設定したパラメー
タや生成した三次元データをそれぞれ保存し、使用者の
読み出し操作に応じて再出力を行うようにすれば、使用
者はパラメータ設定を様々に換えて生成させた複数の三
次元画像の中から、最もリアリティの高い三次元画像を
選択したり最もリアリティの高い三次元画像を得ること
ができたパラメータを確認したりすることが可能とな
る。
タや生成した三次元データをそれぞれ保存し、使用者の
読み出し操作に応じて再出力を行うようにすれば、使用
者はパラメータ設定を様々に換えて生成させた複数の三
次元画像の中から、最もリアリティの高い三次元画像を
選択したり最もリアリティの高い三次元画像を得ること
ができたパラメータを確認したりすることが可能とな
る。
【0016】
【発明の実施の形態】(第1実施形態)図1には、本発
明の第1実施形態である三次元画像処理システムの構成
を示している。本実施形態の三次元画像処理システム
は、対象物体(実物体)の形状および表面属性を実測し
て対象物体の三次元データを生成し、その出力に基づい
て対象物体の三次元画像を観察させる際に、観察に用い
る照明環境を任意に設定し、かつ三次元画像の位置およ
び向きを観察空間内で自由に変更することで、所望の観
察環境下での対象物体の三次元画像を表示および印刷出
力するものである。
明の第1実施形態である三次元画像処理システムの構成
を示している。本実施形態の三次元画像処理システム
は、対象物体(実物体)の形状および表面属性を実測し
て対象物体の三次元データを生成し、その出力に基づい
て対象物体の三次元画像を観察させる際に、観察に用い
る照明環境を任意に設定し、かつ三次元画像の位置およ
び向きを観察空間内で自由に変更することで、所望の観
察環境下での対象物体の三次元画像を表示および印刷出
力するものである。
【0017】このシステムは、対象物体の形状および色
・光沢・質感などの表面属性を実測する三次元測定装置
50と、この測定装置50から得られた実測データに基
づいて対象物体の三次元データを生成し出力する三次元
画像処理装置10と、この三次元画像処理装置10から
出力された三次元データに基づいて対象物体の三次元画
像データを生成する画像生成装置7と、この画像生成装
置7により生成された三次元画像データに基づいて対象
物体の三次元画像を表示又は印刷出力する画像出力装置
11とから構成されている。
・光沢・質感などの表面属性を実測する三次元測定装置
50と、この測定装置50から得られた実測データに基
づいて対象物体の三次元データを生成し出力する三次元
画像処理装置10と、この三次元画像処理装置10から
出力された三次元データに基づいて対象物体の三次元画
像データを生成する画像生成装置7と、この画像生成装
置7により生成された三次元画像データに基づいて対象
物体の三次元画像を表示又は印刷出力する画像出力装置
11とから構成されている。
【0018】三次元画像処理装置10は、測定装置50
から得られた実測データに基づいて三次元形状データと
しての三次元形状モデルを作成する三次元形状取得部3
と、測定装置50から得られた実測データに基づいて、
三次元形状モデルに適用する表面属性データを推定する
表面属性取得部1と、これらの三次元データを統合する
三次元データ統合部5と、三次元形状あるいは表面属性
を実測する際にユーザとのインタラクション(対話)を
行って測定装置50による入力環境を設定するととも
に、三次元画像の観察環境を設定する操作部9と、操作
部9からの入力環境パラメータに応じて測定装置2、三
次元形状取得部3および表面属性取得部1を制御する制
御部2とを有する。
から得られた実測データに基づいて三次元形状データと
しての三次元形状モデルを作成する三次元形状取得部3
と、測定装置50から得られた実測データに基づいて、
三次元形状モデルに適用する表面属性データを推定する
表面属性取得部1と、これらの三次元データを統合する
三次元データ統合部5と、三次元形状あるいは表面属性
を実測する際にユーザとのインタラクション(対話)を
行って測定装置50による入力環境を設定するととも
に、三次元画像の観察環境を設定する操作部9と、操作
部9からの入力環境パラメータに応じて測定装置2、三
次元形状取得部3および表面属性取得部1を制御する制
御部2とを有する。
【0019】また、この三次元画像処理装置10には、
三次元統合データ統合部5からの三次元統合データおよ
び操作部9からの観察環境データに基づいて対象物体の
三次元画像データを生成する画像生成装置7が接続さ
れ、さらに画像生成装置7には画像出力装置11が接続
されている。
三次元統合データ統合部5からの三次元統合データおよ
び操作部9からの観察環境データに基づいて対象物体の
三次元画像データを生成する画像生成装置7が接続さ
れ、さらに画像生成装置7には画像出力装置11が接続
されている。
【0020】三次元測定装置50は、レーザレーダ法、
スリット光投影法、パターン投影法などを用いて対象物
体の形状を測定する光学計測装置52と、光像を画像デ
ータに光電変換して入力するディジタルスチルカメラ、
ビデオカメラ、マルチスペクトルカメラなどの画像入力
装置53とを有して構成され、設定された入力環境パラ
メータに応じて三次元形状あるいは表面属性の実測デー
タを取得する。
スリット光投影法、パターン投影法などを用いて対象物
体の形状を測定する光学計測装置52と、光像を画像デ
ータに光電変換して入力するディジタルスチルカメラ、
ビデオカメラ、マルチスペクトルカメラなどの画像入力
装置53とを有して構成され、設定された入力環境パラ
メータに応じて三次元形状あるいは表面属性の実測デー
タを取得する。
【0021】なお、光学計測装置52と画像入力装置5
3とは別個に設けられていても一体のものとして設けら
れていてもよい。また、計測装置52に代えて、画像入
力装置53を形状実測データの取得のために用いてもよ
い。三次元形状取得部3は、光学計測装置52から得ら
れた形状の実測データに基づいて、三次元形状モデル
(形状データ)を作成する。ここで、三次元形状モデル
としては、たとえばポリゴンによる表面モデルあるいは
異なる形状の表面形状要素の集合として表現することが
できる。
3とは別個に設けられていても一体のものとして設けら
れていてもよい。また、計測装置52に代えて、画像入
力装置53を形状実測データの取得のために用いてもよ
い。三次元形状取得部3は、光学計測装置52から得ら
れた形状の実測データに基づいて、三次元形状モデル
(形状データ)を作成する。ここで、三次元形状モデル
としては、たとえばポリゴンによる表面モデルあるいは
異なる形状の表面形状要素の集合として表現することが
できる。
【0022】表面属性取得部1は、画像入力装置52か
ら得られた画像データ(実測データ)と三次元形状モデ
ルとを用いて、対象物体の色・光沢・質感などの表面属
性を推定し、表面属性データを生成する。
ら得られた画像データ(実測データ)と三次元形状モデ
ルとを用いて、対象物体の色・光沢・質感などの表面属
性を推定し、表面属性データを生成する。
【0023】この表面属性データにより、三次元画像の
作成時における対象物体,照明光源および視点の位置関
係や照明光源の色・形状といった観察環境に応じて、三
次元画像における鏡面反射の位置,広がり,形状および
強度などを変化させることが可能となり、対象物体の質
感、光沢感、立体感などをよりリアルに表現することが
できる。
作成時における対象物体,照明光源および視点の位置関
係や照明光源の色・形状といった観察環境に応じて、三
次元画像における鏡面反射の位置,広がり,形状および
強度などを変化させることが可能となり、対象物体の質
感、光沢感、立体感などをよりリアルに表現することが
できる。
【0024】ユーザは、操作部9において、三次元形状
モデル上における表面属性に応じた領域分割、表面属性
を推定すべき代表点(特定部)、形状の複雑さによる領
域分割、多視点画像間の対応点、光源情報および推定す
る表面属性が予め用意された複数の材質カテゴリーのい
ずれに分類されるか等の情報を入力する。操作部9は、
入力された情報に応じて入力環境パラメータを作成(設
定)する。この入力環境パラメータは、三次元測定装置
50に入力される。
モデル上における表面属性に応じた領域分割、表面属性
を推定すべき代表点(特定部)、形状の複雑さによる領
域分割、多視点画像間の対応点、光源情報および推定す
る表面属性が予め用意された複数の材質カテゴリーのい
ずれに分類されるか等の情報を入力する。操作部9は、
入力された情報に応じて入力環境パラメータを作成(設
定)する。この入力環境パラメータは、三次元測定装置
50に入力される。
【0025】また、ユーザは、操作部9において所望の
照明条件や対象物体の位置・向きなどの観察環境データ
の作成に必要な情報の入力を行う。操作部9は入力され
た情報に基づいて画像生成装置7に入力する観察環境デ
ータを作成する。なお、上記入力環境パラメータと観察
環境データの作成に必要な情報の入力は同一の操作部9
において行ってもよいが、それぞれ異なる操作部に分け
て行ってもよい。
照明条件や対象物体の位置・向きなどの観察環境データ
の作成に必要な情報の入力を行う。操作部9は入力され
た情報に基づいて画像生成装置7に入力する観察環境デ
ータを作成する。なお、上記入力環境パラメータと観察
環境データの作成に必要な情報の入力は同一の操作部9
において行ってもよいが、それぞれ異なる操作部に分け
て行ってもよい。
【0026】三次元データ統合部5は、三次元形状取得
部3により得られた三次元形状モデルと、表面属性取得
部1により得られた表面属性データとを統合し、対象物
体の三次元統合データを作成する。
部3により得られた三次元形状モデルと、表面属性取得
部1により得られた表面属性データとを統合し、対象物
体の三次元統合データを作成する。
【0027】なお、三次元形状取得部3、表面属性取得
部1および三次元データ統合部5により請求の範囲にい
う三次元データ生成手段が構成される。
部1および三次元データ統合部5により請求の範囲にい
う三次元データ生成手段が構成される。
【0028】画像生成装置7は、三次元データ統合部5
から入力された三次元統合データと、操作部9から入力
された観察環境データとに基づいてユーザ所望の観察環
境下での対象物体の三次元画像データを生成する。
から入力された三次元統合データと、操作部9から入力
された観察環境データとに基づいてユーザ所望の観察環
境下での対象物体の三次元画像データを生成する。
【0029】画像出力装置11は、TVモニタやプリン
タなどからなり、画像生成装置7により生成された三次
元画像データの表示出力や印刷出力を行う。
タなどからなり、画像生成装置7により生成された三次
元画像データの表示出力や印刷出力を行う。
【0030】図2には、三次元測定装置50の概略構成
を示している。対象物体51は、コンピュータ制御可能
な回転ステージ55の上に配置され、コンピュータ59
から指令された角度で連続的に回転軸56を中心として
回転する。入力環境における回転軸56の位置は既知と
する。
を示している。対象物体51は、コンピュータ制御可能
な回転ステージ55の上に配置され、コンピュータ59
から指令された角度で連続的に回転軸56を中心として
回転する。入力環境における回転軸56の位置は既知と
する。
【0031】照明光源57は、表面属性の実測データを
取得する際に使用する照明であり、1つもしくは複数配
置されている。この照明光源57は、本実施形態の画像
処理装置10の本体を構成するコンピュータ59からの
指令により、照明光スペクトル、光の強度、照明光形
状、個数、測定環境における位置の制御が可能になって
いる。
取得する際に使用する照明であり、1つもしくは複数配
置されている。この照明光源57は、本実施形態の画像
処理装置10の本体を構成するコンピュータ59からの
指令により、照明光スペクトル、光の強度、照明光形
状、個数、測定環境における位置の制御が可能になって
いる。
【0032】光学計測装置52および画像入力装置53
は、対象物体51から離れた位置に配置され、コンピュ
ータ59からの指令により、測定空間内の任意の位置に
移動し、データ入力を行うことができる。
は、対象物体51から離れた位置に配置され、コンピュ
ータ59からの指令により、測定空間内の任意の位置に
移動し、データ入力を行うことができる。
【0033】コンピュータ59は、回転ステージ55、
照明光源57に対して指令を送って入力環境を確定した
後に、光学計測装置52および画像入力装置53に対し
指令を送り、三次元形状の計測および画像入力を行う。
そして、これにより得られた実測データから形状データ
および表面属性データを生成し、三次元統合データを作
成する。
照明光源57に対して指令を送って入力環境を確定した
後に、光学計測装置52および画像入力装置53に対し
指令を送り、三次元形状の計測および画像入力を行う。
そして、これにより得られた実測データから形状データ
および表面属性データを生成し、三次元統合データを作
成する。
【0034】次に、制御部2の構成を図4を用いて説明
する。制御部2は、操作部9からの入力環境パラメータ
に基づいて測定装置50を制御する。
する。制御部2は、操作部9からの入力環境パラメータ
に基づいて測定装置50を制御する。
【0035】図2において、回転ステージ制御部77
は、入力環境パラメータに基づいて回転ステージ55の
回転角度を連続的に制御する。また、照明光源制御部7
8は、照明光源57に対して、照明光スペクトル、光の
強度、照明光形状、個数、測定環境における位置の制御
を行う。
は、入力環境パラメータに基づいて回転ステージ55の
回転角度を連続的に制御する。また、照明光源制御部7
8は、照明光源57に対して、照明光スペクトル、光の
強度、照明光形状、個数、測定環境における位置の制御
を行う。
【0036】計測装置制御部75は、入力環境パラメー
タから得られる測定位置まで光学計測装置52を移動さ
せ、連続的にデータの入力を行わせる。
タから得られる測定位置まで光学計測装置52を移動さ
せ、連続的にデータの入力を行わせる。
【0037】画像入力装置制御部76は、入力環境パラ
メータから得られる測定位置まで画像入力装置53を移
動させ、連続的に画像データの入力を行わせる。
メータから得られる測定位置まで画像入力装置53を移
動させ、連続的に画像データの入力を行わせる。
【0038】表面属性推定処理制御部79は、入力環境
パラメータのうち表面属性による領域分割、表面属性を
推定すべき代表点、多視点画像間の対応点、光源情報、
推定する表面属性が属する材質カテゴリーなどの情報に
基づいて、表面属性取得部1による表面属性推定処理を
制御する。
パラメータのうち表面属性による領域分割、表面属性を
推定すべき代表点、多視点画像間の対応点、光源情報、
推定する表面属性が属する材質カテゴリーなどの情報に
基づいて、表面属性取得部1による表面属性推定処理を
制御する。
【0039】次に表面属性取得部1の構成を図3を用い
て説明する。表面属性取得部1は、実測データ、入力環
境パラメータおよび三次元形状データを用いて、対象物
体の色・光沢・質感に関わる表面属性データを推定し生
成する。
て説明する。表面属性取得部1は、実測データ、入力環
境パラメータおよび三次元形状データを用いて、対象物
体の色・光沢・質感に関わる表面属性データを推定し生
成する。
【0040】図において、実測データ取捨選択部41
は、入力された実測データのうち、入力環境パラメータ
の情報に基づいて推定処理に不要なデータや、ノイズ、
陰影、オクルージョン、混色などの影響により情報が欠
如したり誤差を大きく含んだりするデータを除去し、実
測データの取捨選択を行う。
は、入力された実測データのうち、入力環境パラメータ
の情報に基づいて推定処理に不要なデータや、ノイズ、
陰影、オクルージョン、混色などの影響により情報が欠
如したり誤差を大きく含んだりするデータを除去し、実
測データの取捨選択を行う。
【0041】拡散反射領域抽出部43は、選別された実
測データの中から拡散反射成分のデータを抽出する。
測データの中から拡散反射成分のデータを抽出する。
【0042】鏡面反射成分分離部45は、鏡面反射成分
を含んだデータから、鏡面反射成分を分離する。推定処
理の流れについては後述する。
を含んだデータから、鏡面反射成分を分離する。推定処
理の流れについては後述する。
【0043】次に、本実施形態の三次元画像処理システ
ムにおける対象物体の実測から三次元統合データ作成ま
での処理について、図6のフローチャートを用いて説明
する。
ムにおける対象物体の実測から三次元統合データ作成ま
での処理について、図6のフローチャートを用いて説明
する。
【0044】まず、ユーザとのインタラクションを行う
ためのプレ測定を行う(ステップ〈図ではSと略す〉
1)。このプレ測定により、対象物体の大まかな三次元
画像としての多視点画像列(図7参照)が画像出力装置
11に出力され、モニタ表示又は印刷出力される。
ためのプレ測定を行う(ステップ〈図ではSと略す〉
1)。このプレ測定により、対象物体の大まかな三次元
画像としての多視点画像列(図7参照)が画像出力装置
11に出力され、モニタ表示又は印刷出力される。
【0045】続いて、モニタ表示又は印刷出力されたプ
レ測定による多視点画像列を見たユーザとのインタラク
ションにより、表面属性による領域分割、表面属性を推
定すべき代表点、形状の複雑さによる領域分割、多視点
画像間の対応点、光源情報、推定する表面属性が予め用
意された材質リストのどのカテゴリーに分類されるかな
どの情報の入力を行う(ステップ2)。そして、これら
の情報に基づいて、入力環境パラメータを作成(設定)
する(ステップ3)。
レ測定による多視点画像列を見たユーザとのインタラク
ションにより、表面属性による領域分割、表面属性を推
定すべき代表点、形状の複雑さによる領域分割、多視点
画像間の対応点、光源情報、推定する表面属性が予め用
意された材質リストのどのカテゴリーに分類されるかな
どの情報の入力を行う(ステップ2)。そして、これら
の情報に基づいて、入力環境パラメータを作成(設定)
する(ステップ3)。
【0046】入力環境パラメータには、実測を行うべき
回転ステージ55の回転間隔、光学計測装置52および
画像入力装置53の位置、照明光源57の照明光スペク
トル・光の強度・照明光形状・個数・位置等、表面属性
推定処理におけるパラメータがある。
回転ステージ55の回転間隔、光学計測装置52および
画像入力装置53の位置、照明光源57の照明光スペク
トル・光の強度・照明光形状・個数・位置等、表面属性
推定処理におけるパラメータがある。
【0047】ここで、形状の複雑さによる領域分割、あ
るいは表面属性による領域分割において、形状が複雑な
領域あるいは均一な表面属性領域の境界付近であれば、
回転ステージ55の回転間隔を細かくしたり、光学計測
装置52および画像入力装置53の位置を対象物の細部
を実測できる位置となるように設定したりする。
るいは表面属性による領域分割において、形状が複雑な
領域あるいは均一な表面属性領域の境界付近であれば、
回転ステージ55の回転間隔を細かくしたり、光学計測
装置52および画像入力装置53の位置を対象物の細部
を実測できる位置となるように設定したりする。
【0048】逆に、形状が滑らかな領域、表面属性が均
一な領域、表面属性の代表点が設定されている領域であ
れば、回転ステージ55の回転間隔あるいは光学計測装
置52および画像入力装置53の位置は、余分な実測デ
ータを取得しないように設定される。
一な領域、表面属性の代表点が設定されている領域であ
れば、回転ステージ55の回転間隔あるいは光学計測装
置52および画像入力装置53の位置は、余分な実測デ
ータを取得しないように設定される。
【0049】また、推定する表面属性が予め用意された
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した撮影条件になるように、回転
ステージ55の回転間隔、光学計測装置52および画像
入力装置53の位置、照明光源57の照明光スペクトル
・光の強度・照明光形状・個数・位置が設定される。例
えば、金属であれば、ピークの鋭い鏡面反射成分を精度
よく取得できるように、回転ステージ55の回転間隔を
細かくするとともに、照明光源57の強度が強すぎない
ように適正値に設定される。
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した撮影条件になるように、回転
ステージ55の回転間隔、光学計測装置52および画像
入力装置53の位置、照明光源57の照明光スペクトル
・光の強度・照明光形状・個数・位置が設定される。例
えば、金属であれば、ピークの鋭い鏡面反射成分を精度
よく取得できるように、回転ステージ55の回転間隔を
細かくするとともに、照明光源57の強度が強すぎない
ように適正値に設定される。
【0050】このような入力環境パラメータに基づい
て、対象物体の表面上の各頂点に関して、光学計測装置
52および画像入力装置53による実測データを取得し
(ステップ5)、三次元形状データを作成する(ステッ
プ7)。
て、対象物体の表面上の各頂点に関して、光学計測装置
52および画像入力装置53による実測データを取得し
(ステップ5)、三次元形状データを作成する(ステッ
プ7)。
【0051】続いて表面属性推定処理を行う。ここで
は、物体表面における反射光が、拡散反射成分と鏡面反
射成分の2つに分けられる2色性反射モデルの特徴を利
用する。
は、物体表面における反射光が、拡散反射成分と鏡面反
射成分の2つに分けられる2色性反射モデルの特徴を利
用する。
【0052】これにより、複数の環境下で実測した実測
データにおける各頂点の対応点の輝度・色の変化を解析
することで、それぞれの頂点における表面属性を推定す
ることができる。
データにおける各頂点の対応点の輝度・色の変化を解析
することで、それぞれの頂点における表面属性を推定す
ることができる。
【0053】まず、入力した実測データ(ステップ8)
のうち、入力環境パラメータに基づいて推定処理に不要
なデータや、ノイズ、陰影、オクルージョン、混色など
の影響により情報が欠如したり誤差を大きく含んだりし
たデータを除去し、実測データの取捨選択を行う(ステ
ップ9)。
のうち、入力環境パラメータに基づいて推定処理に不要
なデータや、ノイズ、陰影、オクルージョン、混色など
の影響により情報が欠如したり誤差を大きく含んだりし
たデータを除去し、実測データの取捨選択を行う(ステ
ップ9)。
【0054】次に、選別された実測データのみを用い
て、拡散反射成分のデータを抽出する(ステップ1
0)。そして、抽出されたデータから、表面属性パラメ
ータのうち物体色に関するパラメータの推定を行う(ス
テップ11)。
て、拡散反射成分のデータを抽出する(ステップ1
0)。そして、抽出されたデータから、表面属性パラメ
ータのうち物体色に関するパラメータの推定を行う(ス
テップ11)。
【0055】続いて、鏡面反射成分を含んだデータから
鏡面反射成分を分離し(ステップ12)、表面属性パラ
メータのうち反射特性に関するパラメータの推定を行う
(ステップ13)。
鏡面反射成分を分離し(ステップ12)、表面属性パラ
メータのうち反射特性に関するパラメータの推定を行う
(ステップ13)。
【0056】以上の処理を対象物体(三次元形状モデ
ル)の頂点ごとに行うことで、各頂点に適用する表面属
性パラメータを推定し、対象物体表面全体の推定を行
う。ここで、入力環境パラメータにおいて、表面属性が
均一な領域が設定されていれば、各領域内で表面属性が
均一となる条件のもとで推定処理を行う。また、表面属
性の代表点が設定されていれば、代表点のみの推定を行
い、それ以外の点では代表点における推定値から補間す
る。
ル)の頂点ごとに行うことで、各頂点に適用する表面属
性パラメータを推定し、対象物体表面全体の推定を行
う。ここで、入力環境パラメータにおいて、表面属性が
均一な領域が設定されていれば、各領域内で表面属性が
均一となる条件のもとで推定処理を行う。また、表面属
性の代表点が設定されていれば、代表点のみの推定を行
い、それ以外の点では代表点における推定値から補間す
る。
【0057】また、推定する表面属性が予め用意された
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した推定処理を行う。
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した推定処理を行う。
【0058】また、多視点画像間の対応点、光源情報が
設定されていれば、これらの情報を用いて推定処理を行
う。
設定されていれば、これらの情報を用いて推定処理を行
う。
【0059】こうして対象物体の表面全体の推定が終了
すると(ステップ14)、三次元統合データが作成され
る(ステップ15)。ここでは、対象物体の表面の構成
単位を頂点として説明したが、頂点の代わりに微小面を
用いることも可能である。
すると(ステップ14)、三次元統合データが作成され
る(ステップ15)。ここでは、対象物体の表面の構成
単位を頂点として説明したが、頂点の代わりに微小面を
用いることも可能である。
【0060】図8には、三次元データ統合部5によって
作成される三次元統合データの一例を示している。1頂
点の三次元座標および物体色情報や反射特性情報などの
表面属性パラメータを格納する構造を「要素」とし、こ
の要素を頂点の数分だけ用意した構造となっている。三
次元統合情報として新たな頂点が生成、追加されるたび
に、三次元統合データの要素数は拡大されていく。
作成される三次元統合データの一例を示している。1頂
点の三次元座標および物体色情報や反射特性情報などの
表面属性パラメータを格納する構造を「要素」とし、こ
の要素を頂点の数分だけ用意した構造となっている。三
次元統合情報として新たな頂点が生成、追加されるたび
に、三次元統合データの要素数は拡大されていく。
【0061】なお、構成要素として頂点の代わりに微小
面を用いることもできる。この場合、微小面の三次元位
置情報および表面属性情報を格納する構造を要素とし、
この要素を微小面の数分だけ用意した構造とする。要素
となる微小面は、近傍の頂点あるいは微小面のうち表面
属性情報が類似しているものを統合していくことで生成
される。微小面の三次元位置情報は、たとえば、三角形
の3頂点の座標および法線ベクトルで表現される。
面を用いることもできる。この場合、微小面の三次元位
置情報および表面属性情報を格納する構造を要素とし、
この要素を微小面の数分だけ用意した構造とする。要素
となる微小面は、近傍の頂点あるいは微小面のうち表面
属性情報が類似しているものを統合していくことで生成
される。微小面の三次元位置情報は、たとえば、三角形
の3頂点の座標および法線ベクトルで表現される。
【0062】微小面の表面属性情報は、物体色情報およ
び反射特性情報から構成されており、パラメータ形式あ
るいは微小面に対応する画像形式で表現される。三次元
統合情報として新たな微小面が生成、追加されるたび
に、三次元統合データの要素数は拡大されていく。
び反射特性情報から構成されており、パラメータ形式あ
るいは微小面に対応する画像形式で表現される。三次元
統合情報として新たな微小面が生成、追加されるたび
に、三次元統合データの要素数は拡大されていく。
【0063】以上のような三次元統合データは、三次元
形状および表面属性の取得実行中は、装置のメモリ上に
置かれ、三次元形状および表面属性の取得が終了する
と、ハードディスクなどの記憶媒体に保存される。
形状および表面属性の取得実行中は、装置のメモリ上に
置かれ、三次元形状および表面属性の取得が終了する
と、ハードディスクなどの記憶媒体に保存される。
【0064】次に、操作部9の構成を図5を用いて説明
する。操作部9は、入力環境パラメータを作成する入力
環境決定部86と、観察環境データを作成する観察環境
決定部82とから構成される。入力環境決定部86は、
ユーザの入力操作により、実測におけるパラメータおよ
び表面属性推定処理におけるパラメータなどの入力環境
パラメータを作成する。
する。操作部9は、入力環境パラメータを作成する入力
環境決定部86と、観察環境データを作成する観察環境
決定部82とから構成される。入力環境決定部86は、
ユーザの入力操作により、実測におけるパラメータおよ
び表面属性推定処理におけるパラメータなどの入力環境
パラメータを作成する。
【0065】図において、実測パラメータ設定部85
は、表面属性による領域分割、表面属性を推定すべき代
表点、形状の複雑さによる領域分割、推定する表面属性
が予め用意された材質リストのどのカテゴリーに分類さ
れるかなどのユーザからの情報を用いて、実測を行うべ
き回転ステージ55の回転間隔、光学計測装置52およ
び画像入力装置53の位置、照明光源57の照明光スペ
クトル・光の強度・照明光形状・個数・位置などを決定
する。
は、表面属性による領域分割、表面属性を推定すべき代
表点、形状の複雑さによる領域分割、推定する表面属性
が予め用意された材質リストのどのカテゴリーに分類さ
れるかなどのユーザからの情報を用いて、実測を行うべ
き回転ステージ55の回転間隔、光学計測装置52およ
び画像入力装置53の位置、照明光源57の照明光スペ
クトル・光の強度・照明光形状・個数・位置などを決定
する。
【0066】表面属性推定処理パラメータ設定部87
は、表面属性による領域分割、表面属性を推定すべき代
表点、多視点画像間の対応点、光源情報、推定する表面
属性が予め用意された材質リストのどのカテゴリーに分
類されるかなどのユーザからの情報を用いて、表面属性
推定処理において用いる対象物体表面の各画素の関連
性、多視点画像間での画素の対応関係、光源に関するパ
ラメータ、各画素の表面属性値に関する制約条件などを
決定する。
は、表面属性による領域分割、表面属性を推定すべき代
表点、多視点画像間の対応点、光源情報、推定する表面
属性が予め用意された材質リストのどのカテゴリーに分
類されるかなどのユーザからの情報を用いて、表面属性
推定処理において用いる対象物体表面の各画素の関連
性、多視点画像間での画素の対応関係、光源に関するパ
ラメータ、各画素の表面属性値に関する制約条件などを
決定する。
【0067】観察環境決定部82は、ユーザの入力操作
により、所望の照明条件・対象物体の位置や向きなどの
観察環境データを作成する。
により、所望の照明条件・対象物体の位置や向きなどの
観察環境データを作成する。
【0068】図において、照明光源設定部81は、画像
再現時に対象物体に照射する照明光の色、輝度、位置、
形状(点光源、線光源、面光源、平行光など)、個数を
設定する。
再現時に対象物体に照射する照明光の色、輝度、位置、
形状(点光源、線光源、面光源、平行光など)、個数を
設定する。
【0069】対象物体配置設定部83は、対象物体に対
して上下、左右、手前奥の三次元的な移動、および任意
の軸を中心とした回転角度を設定する。これらの設定値
をもとに画像再現時に用いる観察環境データを作成す
る。
して上下、左右、手前奥の三次元的な移動、および任意
の軸を中心とした回転角度を設定する。これらの設定値
をもとに画像再現時に用いる観察環境データを作成す
る。
【0070】なお、本実施形態では、入力環境決定部8
6と観察環境決定部82とが同一の操作部9内に構成さ
れる場合について説明したが、これら2つの決定部を異
なる操作部に分ける構成にしてもよい。
6と観察環境決定部82とが同一の操作部9内に構成さ
れる場合について説明したが、これら2つの決定部を異
なる操作部に分ける構成にしてもよい。
【0071】次に、操作部9の入力環境決定部86にお
けるユーザインタラクションについて、図7を参照しな
がら説明する。入力環境決定部86による表示画面に
は、プレ測定により得られた多視点画像列31が表示さ
れる。ユーザは、以下に説明する各設定部を用いて対象
物体の三次元形状取得あるいは表面属性取得に関連する
パラメータを対話的に設定する。
けるユーザインタラクションについて、図7を参照しな
がら説明する。入力環境決定部86による表示画面に
は、プレ測定により得られた多視点画像列31が表示さ
れる。ユーザは、以下に説明する各設定部を用いて対象
物体の三次元形状取得あるいは表面属性取得に関連する
パラメータを対話的に設定する。
【0072】ユーザは、表面属性領域分割設定部33に
より対象物体の表面上で表面属性が均一な領域を設定す
る。多視点画像列31のうちいずれかの画像上で領域を
選択すると、他の画像においてもその領域に対応する領
域が表示される。ユーザは、多視点画像列31の各画像
における領域分割を確認しながら、表面属性が均一な領
域を設定していく。
より対象物体の表面上で表面属性が均一な領域を設定す
る。多視点画像列31のうちいずれかの画像上で領域を
選択すると、他の画像においてもその領域に対応する領
域が表示される。ユーザは、多視点画像列31の各画像
における領域分割を確認しながら、表面属性が均一な領
域を設定していく。
【0073】また、ユーザは、形状領域分割設定部34
により対象物体の形状の複雑さによる領域分割を行う。
多視点画像列31のうちいずれかの画像上で領域を選択
すると、他の画像においてもその領域に対応する領域が
表示される。ユーザは、多視点画像列31の各画像にお
ける領域分割を確認しながら、形状が複雑な領域、形状
が滑らかな領域を設定していく。
により対象物体の形状の複雑さによる領域分割を行う。
多視点画像列31のうちいずれかの画像上で領域を選択
すると、他の画像においてもその領域に対応する領域が
表示される。ユーザは、多視点画像列31の各画像にお
ける領域分割を確認しながら、形状が複雑な領域、形状
が滑らかな領域を設定していく。
【0074】また、ユーザは、代表点設定部35により
表面属性を推定すべき代表点を設定する。多視点画像列
31のうちいずれかの画像上で代表点を選択すると、他
の画像においてもその点に対応する点が表示される。ユ
ーザは、多視点画像列31の各画像における代表点を確
認しながら、表面属性を推定すべき代表点を設定してい
く。
表面属性を推定すべき代表点を設定する。多視点画像列
31のうちいずれかの画像上で代表点を選択すると、他
の画像においてもその点に対応する点が表示される。ユ
ーザは、多視点画像列31の各画像における代表点を確
認しながら、表面属性を推定すべき代表点を設定してい
く。
【0075】また、ユーザは、対応点設定部36により
多視点画像間の対応点の設定を行う。
多視点画像間の対応点の設定を行う。
【0076】多視点画像列31のうちいずれかの画像上
で注目点を選択すると、その点に対する他の画像におけ
る対応点が、現在の内部パラメータにより計算され表示
される。
で注目点を選択すると、その点に対する他の画像におけ
る対応点が、現在の内部パラメータにより計算され表示
される。
【0077】ユーザは、多視点画像列31の各画像にお
ける対応点を確認し、必要に応じて各画像における対応
点を修正する。対応点の修正にともない、内部パラメー
タが変更され、表面属性領域分割、形状領域分割、代表
点の各画像における対応も修正される。
ける対応点を確認し、必要に応じて各画像における対応
点を修正する。対応点の修正にともない、内部パラメー
タが変更され、表面属性領域分割、形状領域分割、代表
点の各画像における対応も修正される。
【0078】さらに、ユーザは、材質リスト37により
表面属性領域分割設定部33によって設定された各領域
あるいは代表点設定部35によって設定された各代表点
に対して、その表面属性が予め用意された材質リスト
(金属、プラスチック、木材、布等)のどのカテゴリー
に分類されるかの指定を行う。
表面属性領域分割設定部33によって設定された各領域
あるいは代表点設定部35によって設定された各代表点
に対して、その表面属性が予め用意された材質リスト
(金属、プラスチック、木材、布等)のどのカテゴリー
に分類されるかの指定を行う。
【0079】以上のようなユーザインタラクションによ
り設定された情報は、入力環境パラメータに変換され
る。
り設定された情報は、入力環境パラメータに変換され
る。
【0080】次に、本実施形態の三次元画像処理システ
ムにおいて、ユーザが所望の観察環境下での対象物体の
画像を再現するための操作および画像生成について、図
9を参照しながら説明する。
ムにおいて、ユーザが所望の観察環境下での対象物体の
画像を再現するための操作および画像生成について、図
9を参照しながら説明する。
【0081】ユーザは、照明光源設定部97により対象
物体に照射する照明光の色、輝度、位置、形状(点光
源、線光源、面光源、平行光など)を設定する。ここ
で、複数の照明光源を設定することができるようになっ
ている。これにより、観察空間において任意の色、輝
度、形状を持つ1つまたは複数の照明光源93を任意の
位置に配置することができる。
物体に照射する照明光の色、輝度、位置、形状(点光
源、線光源、面光源、平行光など)を設定する。ここ
で、複数の照明光源を設定することができるようになっ
ている。これにより、観察空間において任意の色、輝
度、形状を持つ1つまたは複数の照明光源93を任意の
位置に配置することができる。
【0082】さらに、ユーザは、対象物体配置設定部9
5により、対象物体に対して上下、左右、手前奥の三次
元的な移動および任意の軸を中心とした回転を設定す
る。これにより、観察空間において、対象物体の画像9
1を任意の方向に移動、回転させることができ、対象物
体の画像91を所望の方向から観察することができる。
5により、対象物体に対して上下、左右、手前奥の三次
元的な移動および任意の軸を中心とした回転を設定す
る。これにより、観察空間において、対象物体の画像9
1を任意の方向に移動、回転させることができ、対象物
体の画像91を所望の方向から観察することができる。
【0083】図1に示した画像生成装置7は、照明光源
設定部97および対象物体配置設定部95により設定さ
れた観察環境データに基づいて、ユーザが所望する観察
環境下での対象物体の三次元画像データを再構築し、出
力する。
設定部97および対象物体配置設定部95により設定さ
れた観察環境データに基づいて、ユーザが所望する観察
環境下での対象物体の三次元画像データを再構築し、出
力する。
【0084】ユーザが設定した対象物体・照明光源・視
点の位置関係や照明光源の色・輝度・形状といった観察
環境に応じて再現された三次元画像における鏡面反射の
位置・広がり・形状・強度などを変化させることができ
るので、対象物体の質感、光沢感、立体感などをよりリ
アルに表現した三次元画像を得ることが可能となる。
点の位置関係や照明光源の色・輝度・形状といった観察
環境に応じて再現された三次元画像における鏡面反射の
位置・広がり・形状・強度などを変化させることができ
るので、対象物体の質感、光沢感、立体感などをよりリ
アルに表現した三次元画像を得ることが可能となる。
【0085】以上説明したように、本実施形態では、対
象物体の三次元形状および表面属性を取得し、三次元統
合データとして統合し、ユーザが設定した観察環境下で
の対象物体の画像を再構築することで、ユーザに対象物
体の質感、光沢感、立体感などをよりリアルに伝えるこ
とが可能となる。
象物体の三次元形状および表面属性を取得し、三次元統
合データとして統合し、ユーザが設定した観察環境下で
の対象物体の画像を再構築することで、ユーザに対象物
体の質感、光沢感、立体感などをよりリアルに伝えるこ
とが可能となる。
【0086】また、三次元形状あるいは表面属性の取得
の際にユーザとのインタラクションを取り入れることに
より、三次元形状計測および表面属性推定の精度を向上
させることができ、よりリアリティの高い三次元画像を
得ることが可能となる。
の際にユーザとのインタラクションを取り入れることに
より、三次元形状計測および表面属性推定の精度を向上
させることができ、よりリアリティの高い三次元画像を
得ることが可能となる。
【0087】(第2実施形態)図10には、本発明の第
2実施形態である三次元画像処理システムの構成を示し
ている。本実施形態の三次元画像処理システムは、対象
物体(実物体)の形状および表面属性を実測して対象物
体の三次元画像を生成し、その出力を観察させる際に、
観察に用いる照明環境を任意に設定し、かつ三次元画像
の位置および向きを観察空間内で自由に変更すること
で、所望の観察環境下での対象物体の三次元画像を表示
および印刷出力するものである。
2実施形態である三次元画像処理システムの構成を示し
ている。本実施形態の三次元画像処理システムは、対象
物体(実物体)の形状および表面属性を実測して対象物
体の三次元画像を生成し、その出力を観察させる際に、
観察に用いる照明環境を任意に設定し、かつ三次元画像
の位置および向きを観察空間内で自由に変更すること
で、所望の観察環境下での対象物体の三次元画像を表示
および印刷出力するものである。
【0088】このシステムは、対象物体の形状および色
・光沢・質感などの表面属性を実測する三次元測定装置
50と、この測定装置50から得られた実測データに基
づいて対象物体の三次元データを生成し出力する三次元
画像処理装置10と、この三次元画像処理装置110か
ら出力された三次元データに基づいて対象物体の三次元
画像データを生成する画像生成装置7と、この画像生成
装置7により生成された三次元画像データに基づいて対
象物体の三次元画像を表示又は印刷出力する画像出力装
置11とから構成されている。
・光沢・質感などの表面属性を実測する三次元測定装置
50と、この測定装置50から得られた実測データに基
づいて対象物体の三次元データを生成し出力する三次元
画像処理装置10と、この三次元画像処理装置110か
ら出力された三次元データに基づいて対象物体の三次元
画像データを生成する画像生成装置7と、この画像生成
装置7により生成された三次元画像データに基づいて対
象物体の三次元画像を表示又は印刷出力する画像出力装
置11とから構成されている。
【0089】三次元画像処理装置110は、測定装置5
0から得られた実測データに基づいて三次元形状データ
としての三次元形状モデルを作成する三次元形状取得部
3と、測定装置2から得られた実測データに基づいて、
三次元形状モデルに適用する表面属性データを推定する
表面属性取得部1と、これらの三次元データを統合する
三次元データ統合部5と、再実測の必要性をユーザが判
断するために、作成された三次元形状モデルあるいは三
次元統合データを表示する三次元統合データ表示部13
と、三次元形状あるいは表面属性を実測する際にユーザ
とのインタラクション(対話)を行って測定装置50に
よる入力環境を設定するとともに、三次元画像の観察環
境を設定する操作部9と、操作部9からの入力環境パラ
メータに応じて測定装置2、三次元形状取得部3および
表面属性取得部1を制御する制御部2とを有する。
0から得られた実測データに基づいて三次元形状データ
としての三次元形状モデルを作成する三次元形状取得部
3と、測定装置2から得られた実測データに基づいて、
三次元形状モデルに適用する表面属性データを推定する
表面属性取得部1と、これらの三次元データを統合する
三次元データ統合部5と、再実測の必要性をユーザが判
断するために、作成された三次元形状モデルあるいは三
次元統合データを表示する三次元統合データ表示部13
と、三次元形状あるいは表面属性を実測する際にユーザ
とのインタラクション(対話)を行って測定装置50に
よる入力環境を設定するとともに、三次元画像の観察環
境を設定する操作部9と、操作部9からの入力環境パラ
メータに応じて測定装置2、三次元形状取得部3および
表面属性取得部1を制御する制御部2とを有する。
【0090】また、この三次元画像処理装置110に
は、三次元統合データ統合部5からの三次元統合データ
および操作部9からの観察環境データに基づいて対象物
体の三次元画像データを生成する画像生成装置7が接続
され、この画像生成装置7には画像出力装置11が接続
されている。
は、三次元統合データ統合部5からの三次元統合データ
および操作部9からの観察環境データに基づいて対象物
体の三次元画像データを生成する画像生成装置7が接続
され、この画像生成装置7には画像出力装置11が接続
されている。
【0091】三次元測定装置50は、レーザレーダ法、
スリット光投影法、パターン投影法などを用いて対象物
体の形状を測定する光学計測装置52と、光像を画像デ
ータに光電変換して入力するディジタルスチルカメラ、
ビデオカメラ、マルチスペクトルカメラなどの画像入力
装置53とを有して構成され、設定された入力環境パラ
メータに応じて三次元形状あるいは表面属性の実測デー
タを取得する。なお、三次元測定装置50の概略構成
は、図2に示したものと同じである。
スリット光投影法、パターン投影法などを用いて対象物
体の形状を測定する光学計測装置52と、光像を画像デ
ータに光電変換して入力するディジタルスチルカメラ、
ビデオカメラ、マルチスペクトルカメラなどの画像入力
装置53とを有して構成され、設定された入力環境パラ
メータに応じて三次元形状あるいは表面属性の実測デー
タを取得する。なお、三次元測定装置50の概略構成
は、図2に示したものと同じである。
【0092】また、光学計測装置52と画像入力装置5
3とは別個に設けられていても一体のものとして設けら
れていてもよい。また、計測装置52に代えて、画像入
力装置53を形状実測データの取得のために用いてもよ
い。
3とは別個に設けられていても一体のものとして設けら
れていてもよい。また、計測装置52に代えて、画像入
力装置53を形状実測データの取得のために用いてもよ
い。
【0093】三次元形状取得部3は、光学計測装置52
から得られた形状の実測データに基づいて、三次元形状
モデル(形状データ)を作成する。ここで、三次元形状
モデルとしては、たとえばポリゴンによる表面モデルあ
るいは異なる形状の表面形状要素の集合として表現する
ことができる。
から得られた形状の実測データに基づいて、三次元形状
モデル(形状データ)を作成する。ここで、三次元形状
モデルとしては、たとえばポリゴンによる表面モデルあ
るいは異なる形状の表面形状要素の集合として表現する
ことができる。
【0094】表面属性取得部1は、画像入力装置52か
ら得られた画像データ(実測データ)と三次元形状モデ
ルとを用いて、対象物体の色・光沢・質感などの表面属
性を推定し、表面属性データを生成する。
ら得られた画像データ(実測データ)と三次元形状モデ
ルとを用いて、対象物体の色・光沢・質感などの表面属
性を推定し、表面属性データを生成する。
【0095】この表面属性データにより、三次元画像の
作成時における対象物体,照明光源および視点の位置関
係や照明光源の色・形状といった観察環境に応じて、三
次元画像における鏡面反射の位置,広がり,形状および
強度などを変化させることが可能となり、対象物体の質
感、光沢感、立体感などをよりリアルに表現することが
できる。
作成時における対象物体,照明光源および視点の位置関
係や照明光源の色・形状といった観察環境に応じて、三
次元画像における鏡面反射の位置,広がり,形状および
強度などを変化させることが可能となり、対象物体の質
感、光沢感、立体感などをよりリアルに表現することが
できる。
【0096】ユーザは、操作部9において、三次元形状
モデル上における表面属性に応じた領域分割、表面属性
を推定すべき代表点(特定部)、形状の複雑さによる領
域分割、多視点画像間の対応点、光源情報および推定す
る表面属性が予め用意された複数の材質カテゴリーのい
ずれに分類されるか等の情報を入力する。操作部9は、
入力された情報に応じて入力環境パラメータを作成(設
定)する。このユーザインタラクションによる入力環境
パラメータは、三次元測定装置2に入力される。 三次
元データ統合部5は、三次元形状取得部3により得られ
た三次元形状モデルと、表面属性取得部1により得られ
た表面属性データとを統合し、対象物体の三次元統合デ
ータを作成する。三次元統合データは中間的な三次元デ
ータとして、三次元統合データ表示部13に表示され
る。なお、三次元統合データに代えて、中間的な三次元
データとしての三次元形状モデルを表示してもよい。
モデル上における表面属性に応じた領域分割、表面属性
を推定すべき代表点(特定部)、形状の複雑さによる領
域分割、多視点画像間の対応点、光源情報および推定す
る表面属性が予め用意された複数の材質カテゴリーのい
ずれに分類されるか等の情報を入力する。操作部9は、
入力された情報に応じて入力環境パラメータを作成(設
定)する。このユーザインタラクションによる入力環境
パラメータは、三次元測定装置2に入力される。 三次
元データ統合部5は、三次元形状取得部3により得られ
た三次元形状モデルと、表面属性取得部1により得られ
た表面属性データとを統合し、対象物体の三次元統合デ
ータを作成する。三次元統合データは中間的な三次元デ
ータとして、三次元統合データ表示部13に表示され
る。なお、三次元統合データに代えて、中間的な三次元
データとしての三次元形状モデルを表示してもよい。
【0097】ユーザは、表示部13に表示された三次元
統合データ(又は三次元形状モデル)を見て、再実測の
必要性を判断する。データの信用度が十分であり、再実
測を必要としない場合には、三次元統合データ又は三次
元形状モデルを確定する。一方、データの信用度が不十
分であり、再実測を必要とする場合には、再度ユーザイ
ンタラクションを行って新たな入力環境パラメータを作
成させ、制御部2に入力する。制御部2は新たな入力環
境パラメータを用いて三次元形状および表面属性を再取
得する。以上の処理は、データの信用度が十分であると
ユーザが判断するまで繰り返し行われる。
統合データ(又は三次元形状モデル)を見て、再実測の
必要性を判断する。データの信用度が十分であり、再実
測を必要としない場合には、三次元統合データ又は三次
元形状モデルを確定する。一方、データの信用度が不十
分であり、再実測を必要とする場合には、再度ユーザイ
ンタラクションを行って新たな入力環境パラメータを作
成させ、制御部2に入力する。制御部2は新たな入力環
境パラメータを用いて三次元形状および表面属性を再取
得する。以上の処理は、データの信用度が十分であると
ユーザが判断するまで繰り返し行われる。
【0098】また、ユーザは、操作部9において所望の
照明条件や対象物体の位置・向きなの観察環境パラメー
タの入力を行う。操作部9は入力された観察環境パラメ
ータに基づいて後述する画像生成装置7に入力する観察
環境データを作成する。なお、上記入力環境パラメータ
と観察環境データの作成に必要な情報の入力は同一の操
作部9において行ってもよいが、それぞれ異なる操作部
に分けて行ってもよい。
照明条件や対象物体の位置・向きなの観察環境パラメー
タの入力を行う。操作部9は入力された観察環境パラメ
ータに基づいて後述する画像生成装置7に入力する観察
環境データを作成する。なお、上記入力環境パラメータ
と観察環境データの作成に必要な情報の入力は同一の操
作部9において行ってもよいが、それぞれ異なる操作部
に分けて行ってもよい。
【0099】なお、三次元形状取得部3、表面属性取得
部1および三次元データ統合部5により請求の範囲にい
う三次元データ生成手段が構成される。
部1および三次元データ統合部5により請求の範囲にい
う三次元データ生成手段が構成される。
【0100】画像生成装置7は、三次元データ統合部5
から入力された三次元統合データと、操作部9から入力
された観察環境データとに基づいてユーザ所望の観察環
境下での対象物体の三次元画像データを生成する。
から入力された三次元統合データと、操作部9から入力
された観察環境データとに基づいてユーザ所望の観察環
境下での対象物体の三次元画像データを生成する。
【0101】画像出力装置11は、TVモニタやプリン
タなどからなり、画像生成装置7により生成された三次
元画像データの表示出力や印刷出力を行う。
タなどからなり、画像生成装置7により生成された三次
元画像データの表示出力や印刷出力を行う。
【0102】次に本実施形態の三次元画像処理システム
における、実測から三次元統合データ作成までの処理に
ついて図11のフローチャートを用いて説明する。
における、実測から三次元統合データ作成までの処理に
ついて図11のフローチャートを用いて説明する。
【0103】まず、ユーザとのインタラクションを行う
ためのプレ測定を行う(ステップ21)。
ためのプレ測定を行う(ステップ21)。
【0104】続いて、ユーザとのインタラクションによ
り、表面属性による領域分割、表面属性を推定すべき代
表点、形状の複雑さによる領域分割、多視点画像間の対
応点、光源情報、推定する表面属性が予め用意された材
質リストのどのカテゴリーに分類されるかなどの情報入
力を行う(ステップ22)。そしてこれらの設定値に基
づいて、入力環境パラメータを作成する(ステップ2
3)。
り、表面属性による領域分割、表面属性を推定すべき代
表点、形状の複雑さによる領域分割、多視点画像間の対
応点、光源情報、推定する表面属性が予め用意された材
質リストのどのカテゴリーに分類されるかなどの情報入
力を行う(ステップ22)。そしてこれらの設定値に基
づいて、入力環境パラメータを作成する(ステップ2
3)。
【0105】入力環境パラメータとしては、実測を行う
べき回転ステージ55の回転間隔、三次元計測装置およ
び画像入力装置53の位置、照明光源57の照明光スペ
クトル・光の強度・照明光形状・個数・位置、表面属性
推定処理におけるパラメータがある。
べき回転ステージ55の回転間隔、三次元計測装置およ
び画像入力装置53の位置、照明光源57の照明光スペ
クトル・光の強度・照明光形状・個数・位置、表面属性
推定処理におけるパラメータがある。
【0106】ここで、形状の複雑さによる領域分割、あ
るいは表面属性による領域分割において、形状が複雑な
領域あるいは均一な表面属性領域の境界付近であれば、
回転ステージ55の回転間隔を細かくしたり、光学計測
装置52および画像入力装置53の位置が対象物の細部
を実測できるように設定されたりする。
るいは表面属性による領域分割において、形状が複雑な
領域あるいは均一な表面属性領域の境界付近であれば、
回転ステージ55の回転間隔を細かくしたり、光学計測
装置52および画像入力装置53の位置が対象物の細部
を実測できるように設定されたりする。
【0107】逆に、形状が滑らかな領域、表面属性が均
一な領域、表面属性の代表点が設定されている領域であ
れば、回転ステージ55の回転間隔あるいは光学計測装
置52および画像入力装置53の位置は、余分な実測デ
ータを取得しないように設定される。
一な領域、表面属性の代表点が設定されている領域であ
れば、回転ステージ55の回転間隔あるいは光学計測装
置52および画像入力装置53の位置は、余分な実測デ
ータを取得しないように設定される。
【0108】また、推定する表面属性が予め用意された
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した撮影条件になるように回転ス
テージ55の回転間隔、光学計測装置52および画像入
力装置53の位置、照明光源57の照明光スペクトル・
光の強度・照明光形状・個数・位置が設定される。
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した撮影条件になるように回転ス
テージ55の回転間隔、光学計測装置52および画像入
力装置53の位置、照明光源57の照明光スペクトル・
光の強度・照明光形状・個数・位置が設定される。
【0109】例えば、金属であれば、ピークの鋭い鏡面
反射成分を精度よく取得できるように、回転ステージ5
5の回転間隔は細かく、また照明光源57の強度が強す
ぎないように適正値に設定される。
反射成分を精度よく取得できるように、回転ステージ5
5の回転間隔は細かく、また照明光源57の強度が強す
ぎないように適正値に設定される。
【0110】このような入力環境パラメータに基づいて
対象物体の表面上の各頂点に関して、光学計測装置52
および画像入力装置53により実測データを取得し(ス
テップ25)、三次元形状データを作成する(ステップ
27)。そして、作成した三次元形状データを三次元統
合データ表示部13に表示する(ステップ24)。
対象物体の表面上の各頂点に関して、光学計測装置52
および画像入力装置53により実測データを取得し(ス
テップ25)、三次元形状データを作成する(ステップ
27)。そして、作成した三次元形状データを三次元統
合データ表示部13に表示する(ステップ24)。
【0111】表示された三次元形状データを見たユーザ
は三次元形状データの信用度を評価し、再実測が必要か
どうかの判断を行う(ステップ26)。データの信用度
が十分ではない部分が存在する場合には、再実測のため
に再度ユーザインタラクションを行う。
は三次元形状データの信用度を評価し、再実測が必要か
どうかの判断を行う(ステップ26)。データの信用度
が十分ではない部分が存在する場合には、再実測のため
に再度ユーザインタラクションを行う。
【0112】そして、ユーザインタラクションにより新
たに作成された入力環境パラメータに基づいて実測から
の処理を再度行う。以上の処理は、データの信用度が十
分であると判断されるまで繰り返し行われる。
たに作成された入力環境パラメータに基づいて実測から
の処理を再度行う。以上の処理は、データの信用度が十
分であると判断されるまで繰り返し行われる。
【0113】こうしてデータの信用度が十分に高く、再
実測の必要性がないと判断されれば、表面属性推定処理
を行う。ここでは、物体表面における反射光が、拡散反
射成分と鏡面反射成分の2つに分けられる2色性反射モ
デルの特徴を利用する。これにより、複数の環境下で実
測した実測データにおける各頂点の対応点の輝度・色の
変化を解析することで、それぞれの頂点における表面属
性を推定することができる。
実測の必要性がないと判断されれば、表面属性推定処理
を行う。ここでは、物体表面における反射光が、拡散反
射成分と鏡面反射成分の2つに分けられる2色性反射モ
デルの特徴を利用する。これにより、複数の環境下で実
測した実測データにおける各頂点の対応点の輝度・色の
変化を解析することで、それぞれの頂点における表面属
性を推定することができる。
【0114】まず、入力した実測データ(ステップ2
8)のうち、入力環境パラメータの情報に基づいて推定
処理に不要なデータや、ノイズ、陰影、オクルージョ
ン、混色などの影響により情報が欠如したり誤差を大き
く含んだりするデータを除去し、実測データの取捨選択
を行う(ステップ29)。
8)のうち、入力環境パラメータの情報に基づいて推定
処理に不要なデータや、ノイズ、陰影、オクルージョ
ン、混色などの影響により情報が欠如したり誤差を大き
く含んだりするデータを除去し、実測データの取捨選択
を行う(ステップ29)。
【0115】続いて、選別された実測データのみを用い
て、拡散反射成分のみのデータを抽出する(ステップ3
0)。
て、拡散反射成分のみのデータを抽出する(ステップ3
0)。
【0116】そして抽出されたデータから、表面属性パ
ラメータのうち物体色に関するパラメータの推定を行う
(ステップ31)。続いて鏡面反射成分を含んだデータ
から、鏡面反射成分を分離し(ステップ32)、表面属
性パラメータのうち反射特性に関するパラメータの推定
を行う(ステップ33)。
ラメータのうち物体色に関するパラメータの推定を行う
(ステップ31)。続いて鏡面反射成分を含んだデータ
から、鏡面反射成分を分離し(ステップ32)、表面属
性パラメータのうち反射特性に関するパラメータの推定
を行う(ステップ33)。
【0117】以上の処理を対象物体(三次元形状モデ
ル)の頂点ごとに行うことで各頂点に適用する表面属性
パラメータを推定し、対象物体表面全体の推定を行う。
ル)の頂点ごとに行うことで各頂点に適用する表面属性
パラメータを推定し、対象物体表面全体の推定を行う。
【0118】ここで、入力環境パラメータにおいて、表
面属性が均一な領域が設定されていれば、各領域内で表
面属性が均一となる条件のもとで推定処理を行う。ま
た、表面属性の代表点が設定されていれば、代表点のみ
の推定を行い、それ以外の点では代表点における推定値
から補間する。
面属性が均一な領域が設定されていれば、各領域内で表
面属性が均一となる条件のもとで推定処理を行う。ま
た、表面属性の代表点が設定されていれば、代表点のみ
の推定を行い、それ以外の点では代表点における推定値
から補間する。
【0119】また、推定する表面属性が予め用意された
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した推定処理を行う。また、多視
点画像間の対応点、光源情報が設定されていれば、これ
らの情報を用いて推定処理を行う。対象物体表面全体の
推定が終了した時点で(ステップ34)、三次元統合デ
ータが作成される(ステップ35)。
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した推定処理を行う。また、多視
点画像間の対応点、光源情報が設定されていれば、これ
らの情報を用いて推定処理を行う。対象物体表面全体の
推定が終了した時点で(ステップ34)、三次元統合デ
ータが作成される(ステップ35)。
【0120】こうして作成された三次元統合データを三
次元統合データ表示部13に表示し(ステップ36)、
ユーザは三次元統合データの信用度を評価して、再実測
が必要かどうかの判断を行う(ステップ38)。すべて
の頂点における推定値の信用度が十分に高く、再実測の
必要性がないと判断されれば、処理を終了する(ステッ
プ40)。推定値の信用度が十分ではない頂点が存在す
る場合には、再実測のために再度ユーザインタラクショ
ンを行う。そしてユーザインタラクションにより新たに
作成された入力環境パラメータに基づいて、実測からの
処理を再度行う。
次元統合データ表示部13に表示し(ステップ36)、
ユーザは三次元統合データの信用度を評価して、再実測
が必要かどうかの判断を行う(ステップ38)。すべて
の頂点における推定値の信用度が十分に高く、再実測の
必要性がないと判断されれば、処理を終了する(ステッ
プ40)。推定値の信用度が十分ではない頂点が存在す
る場合には、再実測のために再度ユーザインタラクショ
ンを行う。そしてユーザインタラクションにより新たに
作成された入力環境パラメータに基づいて、実測からの
処理を再度行う。
【0121】以上の処理は、データの信用度が十分であ
ると判断されるまで繰り返し行われる。ここでは、対象
物体表面の構成単位を頂点として説明したが、頂点の代
わりに微小面を用いることも可能である。
ると判断されるまで繰り返し行われる。ここでは、対象
物体表面の構成単位を頂点として説明したが、頂点の代
わりに微小面を用いることも可能である。
【0122】次に、本実施形態における三次元形状デー
タおよび三次元統合データの表示について、図12を用
いて説明する。
タおよび三次元統合データの表示について、図12を用
いて説明する。
【0123】図12に示す三次元統合データ表示部13
の表示画面において、照明光源94は対象物体に照射す
る照明であり、観察空間において任意の位置に配置する
ことができるようになっている。ユーザは、対象物体配
置設定部96により、対象物体に対して上下、左右、手
前奥の三次元的な移動および任意の軸を中心とした回転
を設定する。これにより、観察空間において、対象物体
を92に示すように任意の方向に移動、回転させること
ができ、作成された三次元形状データおよび三次元統合
データにより再構築された対象物体の三次元画像を所望
の方向から観察し、三次元形状データおよび三次元統合
データの信用度を確認することができる。
の表示画面において、照明光源94は対象物体に照射す
る照明であり、観察空間において任意の位置に配置する
ことができるようになっている。ユーザは、対象物体配
置設定部96により、対象物体に対して上下、左右、手
前奥の三次元的な移動および任意の軸を中心とした回転
を設定する。これにより、観察空間において、対象物体
を92に示すように任意の方向に移動、回転させること
ができ、作成された三次元形状データおよび三次元統合
データにより再構築された対象物体の三次元画像を所望
の方向から観察し、三次元形状データおよび三次元統合
データの信用度を確認することができる。
【0124】また、ユーザは、形状表示方法選択部98
において、対象物体の三次元形状を表示する方法を選択
できるようになっている。例えば、点群表示、ワイヤー
フレーム表示、ポリゴン表示、テクスチャ表示などの中
から選択可能になっており、ユーザは必要に応じて表示
方法を切り換えることで、三次元形状データの信用度の
確認を容易に行うことができる。
において、対象物体の三次元形状を表示する方法を選択
できるようになっている。例えば、点群表示、ワイヤー
フレーム表示、ポリゴン表示、テクスチャ表示などの中
から選択可能になっており、ユーザは必要に応じて表示
方法を切り換えることで、三次元形状データの信用度の
確認を容易に行うことができる。
【0125】また、属性値表示部99は、ポインタ90
によって指し示された対象物体表面上の一点について、
三次元座標、物体色、拡散反射係数、鏡面反射係数、光
沢感指数などの属性値を表示する。これにより、ユーザ
はより詳細に三次元形状データおよび三次元統合データ
の信用度を確認することができる。
によって指し示された対象物体表面上の一点について、
三次元座標、物体色、拡散反射係数、鏡面反射係数、光
沢感指数などの属性値を表示する。これにより、ユーザ
はより詳細に三次元形状データおよび三次元統合データ
の信用度を確認することができる。
【0126】本実施形態において操作部9の構成は第1
実施形態と同様であり、本実施形態の操作部9の入力環
境決定部86におけるユーザインタラクションについ
て、図7を用いて説明する。
実施形態と同様であり、本実施形態の操作部9の入力環
境決定部86におけるユーザインタラクションについ
て、図7を用いて説明する。
【0127】最初のユーザインタラクションにおいて
は、プレ測定により得られた多視点画像列31が三次元
統合データ表示部13に表示される。2回目以降のユー
ザインタラクションにおいては、実測データに基づいた
多視点画像列31が表示される。
は、プレ測定により得られた多視点画像列31が三次元
統合データ表示部13に表示される。2回目以降のユー
ザインタラクションにおいては、実測データに基づいた
多視点画像列31が表示される。
【0128】ユーザが各設定部を用いて対象物体の三次
元形状取得あるいは表面属性取得に関連するパラメータ
を対話的に設定する方法については、第1実施形態と同
様である。
元形状取得あるいは表面属性取得に関連するパラメータ
を対話的に設定する方法については、第1実施形態と同
様である。
【0129】なお、本実施形態における表面属性取得部
1の構成、制御部2の構成、三次元データ統合部5によ
って作成される三次元統合データ、ユーザが所望する観
察環境下での対象物体の画像を再現するための操作およ
び画像生成については第1実施形態と同様である。
1の構成、制御部2の構成、三次元データ統合部5によ
って作成される三次元統合データ、ユーザが所望する観
察環境下での対象物体の画像を再現するための操作およ
び画像生成については第1実施形態と同様である。
【0130】以上説明したように、本実施形態によれ
ば、取得した実測データに基づいて生成された三次元形
状データおよび表面属性データの結果をユーザに対して
表示し、必要に応じて実測データの取得を繰り返し行う
ので、実測データの取得の精度、ひいては得られる三次
元画像のリアリティをより向上させることができる。
ば、取得した実測データに基づいて生成された三次元形
状データおよび表面属性データの結果をユーザに対して
表示し、必要に応じて実測データの取得を繰り返し行う
ので、実測データの取得の精度、ひいては得られる三次
元画像のリアリティをより向上させることができる。
【0131】(第3実施形態)図13には、本発明の第
3実施形態である三次元画像処理システムの構成を示し
ている。
3実施形態である三次元画像処理システムの構成を示し
ている。
【0132】本実施形態の三次元画像処理システムは、
対象物体(実物体)の形状および表面属性を実測して対
象物体の三次元画像を生成し、その出力を観察させる際
に、観察に用いる照明環境を任意に設定し、かつ三次元
画像の位置および向きを観察空間内で自由に変更するこ
とで、所望の観察環境下での対象物体の三次元画像を表
示および印刷出力するものである。
対象物体(実物体)の形状および表面属性を実測して対
象物体の三次元画像を生成し、その出力を観察させる際
に、観察に用いる照明環境を任意に設定し、かつ三次元
画像の位置および向きを観察空間内で自由に変更するこ
とで、所望の観察環境下での対象物体の三次元画像を表
示および印刷出力するものである。
【0133】このシステムは、対象物体の形状および色
・光沢・質感などの表面属性を実測する三次元測定装置
50と、この測定装置50から得られた実測データに基
づいて対象物体の三次元データを生成し出力する三次元
画像処理装置210と、この三次元画像処理装置210
から出力された三次元データに基づいて対象物体の三次
元画像データを生成する画像生成装置7と、この画像生
成装置7からの三次元画像データに基づいて対象物体の
三次元画像を表示又は印刷出力する画像出力装置11と
から構成されている。
・光沢・質感などの表面属性を実測する三次元測定装置
50と、この測定装置50から得られた実測データに基
づいて対象物体の三次元データを生成し出力する三次元
画像処理装置210と、この三次元画像処理装置210
から出力された三次元データに基づいて対象物体の三次
元画像データを生成する画像生成装置7と、この画像生
成装置7からの三次元画像データに基づいて対象物体の
三次元画像を表示又は印刷出力する画像出力装置11と
から構成されている。
【0134】三次元画像処理装置210は、測定装置5
0から得られた実測データに基づいて三次元形状データ
としての三次元形状モデルを作成する三次元形状取得部
3と、測定装置2から得られた実測データに基づいて、
三次元形状モデルに適用する表面属性データを推定する
表面属性取得部1と、これらの三次元データを統合する
三次元データ統合部5と、三次元形状モデルや三次元統
合データの中間データを保持する三次元中間データ保持
部15と、再実測の必要性をユーザが判断するために、
作成された三次元形状モデルあるいは三次元統合データ
を表示する三次元統合データ表示部13と、三次元形状
あるいは表面属性を実測する際にユーザとのインタラク
ション(対話)を行って測定装置50による入力環境を
設定するとともに、三次元画像の観察環境を設定する操
作部9と、操作部9からの入力環境パラメータに応じて
測定装置2、三次元形状取得部3および表面属性取得部
1を制御する制御部2とを有する。
0から得られた実測データに基づいて三次元形状データ
としての三次元形状モデルを作成する三次元形状取得部
3と、測定装置2から得られた実測データに基づいて、
三次元形状モデルに適用する表面属性データを推定する
表面属性取得部1と、これらの三次元データを統合する
三次元データ統合部5と、三次元形状モデルや三次元統
合データの中間データを保持する三次元中間データ保持
部15と、再実測の必要性をユーザが判断するために、
作成された三次元形状モデルあるいは三次元統合データ
を表示する三次元統合データ表示部13と、三次元形状
あるいは表面属性を実測する際にユーザとのインタラク
ション(対話)を行って測定装置50による入力環境を
設定するとともに、三次元画像の観察環境を設定する操
作部9と、操作部9からの入力環境パラメータに応じて
測定装置2、三次元形状取得部3および表面属性取得部
1を制御する制御部2とを有する。
【0135】また、この三次元画像処理装置210に
は、三次元統合データ統合部5からの三次元統合データ
および操作部9からの観察環境データに基づいて対象物
体の三次元画像データを生成する画像生成装置7が接続
され、さらにこの画像生成装置7には画像出力装置11
が接続されている。
は、三次元統合データ統合部5からの三次元統合データ
および操作部9からの観察環境データに基づいて対象物
体の三次元画像データを生成する画像生成装置7が接続
され、さらにこの画像生成装置7には画像出力装置11
が接続されている。
【0136】三次元測定装置50は、レーザレーダ法、
スリット光投影法、パターン投影法などを用いて対象物
体の形状を測定する光学計測装置52と、光像を画像デ
ータに光電変換して入力するディジタルスチルカメラ、
ビデオカメラ、マルチスペクトルカメラなどの画像入力
装置53とを有して構成され、設定された入力環境パラ
メータに応じて三次元形状あるいは表面属性の実測デー
タを取得する。なお、三次元測定装置50の概略構成
は、図2に示したものと同じである。
スリット光投影法、パターン投影法などを用いて対象物
体の形状を測定する光学計測装置52と、光像を画像デ
ータに光電変換して入力するディジタルスチルカメラ、
ビデオカメラ、マルチスペクトルカメラなどの画像入力
装置53とを有して構成され、設定された入力環境パラ
メータに応じて三次元形状あるいは表面属性の実測デー
タを取得する。なお、三次元測定装置50の概略構成
は、図2に示したものと同じである。
【0137】また、光学計測装置52と画像入力装置5
3とは別個に設けられていても一体のものとして設けら
れていてもよい。また、計測装置52に代えて、画像入
力装置53を形状実測データの取得のために用いてもよ
い。
3とは別個に設けられていても一体のものとして設けら
れていてもよい。また、計測装置52に代えて、画像入
力装置53を形状実測データの取得のために用いてもよ
い。
【0138】三次元形状取得部3は、光学計測装置52
から得られた形状の実測データに基づいて、三次元形状
モデル(形状データ)を作成する。ここで、三次元形状
モデルとしては、たとえばポリゴンによる表面モデルあ
るいは異なる形状の表面形状要素の集合として表現する
ことができる。
から得られた形状の実測データに基づいて、三次元形状
モデル(形状データ)を作成する。ここで、三次元形状
モデルとしては、たとえばポリゴンによる表面モデルあ
るいは異なる形状の表面形状要素の集合として表現する
ことができる。
【0139】表面属性取得部1は、画像入力装置52か
ら得られた画像データ(実測データ)と三次元形状モデ
ルとを用いて、対象物体の色・光沢・質感などの表面属
性を推定し、表面属性データを生成する。
ら得られた画像データ(実測データ)と三次元形状モデ
ルとを用いて、対象物体の色・光沢・質感などの表面属
性を推定し、表面属性データを生成する。
【0140】この表面属性データにより、三次元画像の
作成時における対象物体,照明光源および視点の位置関
係や照明光源の色・形状といった観察環境に応じて、三
次元画像における鏡面反射の位置,広がり,形状および
強度などを変化させることが可能となり、対象物体の質
感、光沢感、立体感などをよりリアルに表現することが
できる。
作成時における対象物体,照明光源および視点の位置関
係や照明光源の色・形状といった観察環境に応じて、三
次元画像における鏡面反射の位置,広がり,形状および
強度などを変化させることが可能となり、対象物体の質
感、光沢感、立体感などをよりリアルに表現することが
できる。
【0141】ユーザは、操作部9において、三次元形状
モデル上における表面属性に応じた領域分割、表面属性
を推定すべき代表点(特定部)、形状の複雑さによる領
域分割、多視点画像間の対応点、光源情報および推定す
る表面属性が予め用意された複数の材質カテゴリーのい
ずれに分類されるか等の情報を入力する。操作部9は、
入力された情報に応じて入力環境パラメータを作成(設
定)する。このユーザインタラクションによる入力環境
パラメータは、三次元測定装置2に入力される。
モデル上における表面属性に応じた領域分割、表面属性
を推定すべき代表点(特定部)、形状の複雑さによる領
域分割、多視点画像間の対応点、光源情報および推定す
る表面属性が予め用意された複数の材質カテゴリーのい
ずれに分類されるか等の情報を入力する。操作部9は、
入力された情報に応じて入力環境パラメータを作成(設
定)する。このユーザインタラクションによる入力環境
パラメータは、三次元測定装置2に入力される。
【0142】三次元データ統合部5は、三次元形状取得
部3により得られた三次元形状モデルと、表面属性取得
部1により得られた表面属性データとを統合し、対象物
体の三次元統合データを作成する。
部3により得られた三次元形状モデルと、表面属性取得
部1により得られた表面属性データとを統合し、対象物
体の三次元統合データを作成する。
【0143】三次元統合データ表示部13は、三次元形
状取得部3あるいは三次元データ統合部5によって作成
された三次元中間データをユーザに表示する。なお、作
成された三次元中間データは、三次元中間データ保持部
15により保持される。
状取得部3あるいは三次元データ統合部5によって作成
された三次元中間データをユーザに表示する。なお、作
成された三次元中間データは、三次元中間データ保持部
15により保持される。
【0144】ユーザは、表示された三次元中間データを
画像により確認し、必要に応じて三次元中間データを部
分的に修正する。また、この段階で再実測の必要性を判
断し、データの信用度が十分であり再実測を必要としな
い場合には、三次元データ統合部5は、保持されている
三次元中間データから三次元統合データを作成する。
画像により確認し、必要に応じて三次元中間データを部
分的に修正する。また、この段階で再実測の必要性を判
断し、データの信用度が十分であり再実測を必要としな
い場合には、三次元データ統合部5は、保持されている
三次元中間データから三次元統合データを作成する。
【0145】一方、データの信用度が不十分であり再実
測を必要とする場合には、再度ユーザインタラクション
を行い、新たに入力環境パラメータを作成し、制御部2
に入力する。制御部2は、新たな入力環境パラメータに
基づいて三次元形状あるいは表面属性を再取得する。以
上の処理は、データの信用度が十分であるとユーザが判
断するまで繰り返し行われる。
測を必要とする場合には、再度ユーザインタラクション
を行い、新たに入力環境パラメータを作成し、制御部2
に入力する。制御部2は、新たな入力環境パラメータに
基づいて三次元形状あるいは表面属性を再取得する。以
上の処理は、データの信用度が十分であるとユーザが判
断するまで繰り返し行われる。
【0146】ここで、再実測は、必ずしも対象物体表面
すべてに対して行う必要はなく、入力環境パラメータに
実測位置などの情報を記述しておくことで、データの信
用度が低い領域のみを重点的に実測し、その都度、三次
元中間データのうち対応する部分のみを更新していくこ
とができる。これにより、効率的に実測を行うことがで
きる。
すべてに対して行う必要はなく、入力環境パラメータに
実測位置などの情報を記述しておくことで、データの信
用度が低い領域のみを重点的に実測し、その都度、三次
元中間データのうち対応する部分のみを更新していくこ
とができる。これにより、効率的に実測を行うことがで
きる。
【0147】また、ユーザは、操作部9により所望の照
明条件・対象物体の位置や向きなどの観察環境パラメー
タの入力を行う。操作部9は入力された観察環境パラメ
ータに基づいて後述する画像生成装置7に入力する観察
環境データを作成する。なお、上記入力環境パラメータ
と観察環境データの作成に必要な情報の入力は同一の操
作部9において行ってもよいが、それぞれ異なる操作部
に分けて行ってもよい。 なお、三次元形状取得部3、
表面属性取得部1、三次元データ統合部5および三次元
中間データ保持部15により請求の範囲にいう画像生成
手段が構成される。
明条件・対象物体の位置や向きなどの観察環境パラメー
タの入力を行う。操作部9は入力された観察環境パラメ
ータに基づいて後述する画像生成装置7に入力する観察
環境データを作成する。なお、上記入力環境パラメータ
と観察環境データの作成に必要な情報の入力は同一の操
作部9において行ってもよいが、それぞれ異なる操作部
に分けて行ってもよい。 なお、三次元形状取得部3、
表面属性取得部1、三次元データ統合部5および三次元
中間データ保持部15により請求の範囲にいう画像生成
手段が構成される。
【0148】画像生成装置7は、三次元データ統合部5
から入力された三次元統合データと、操作部9から入力
された観察環境データとに基づいてユーザ所望の観察環
境下での対象物体の三次元画像を生成する。
から入力された三次元統合データと、操作部9から入力
された観察環境データとに基づいてユーザ所望の観察環
境下での対象物体の三次元画像を生成する。
【0149】画像出力装置11は、TVモニタやプリン
タなどからなり、画像生成装置7により生成された三次
元画像データの表示出力や印刷出力を行う。
タなどからなり、画像生成装置7により生成された三次
元画像データの表示出力や印刷出力を行う。
【0150】次に、本実施形態の三次元画像処理システ
ムにおける実測から三次元統合データ作成までの処理に
ついて図14のフローチャートを用いて説明する。
ムにおける実測から三次元統合データ作成までの処理に
ついて図14のフローチャートを用いて説明する。
【0151】まず、ユーザとのインタラクションを行う
ためのプレ測定を行う(ステップ41)。続いてユーザ
とのインタラクションにより、表面属性による領域分
割、表面属性を推定すべき代表点、形状の複雑さによる
領域分割、多視点画像間の対応点、光源情報、推定する
表面属性が予め用意された材質リストのどのカテゴリー
に分類されるかなどの情報を入力する(ステップ4
2)。そしてこれらの情報に基づいて入力環境パラメー
タを作成する(ステップ43)。
ためのプレ測定を行う(ステップ41)。続いてユーザ
とのインタラクションにより、表面属性による領域分
割、表面属性を推定すべき代表点、形状の複雑さによる
領域分割、多視点画像間の対応点、光源情報、推定する
表面属性が予め用意された材質リストのどのカテゴリー
に分類されるかなどの情報を入力する(ステップ4
2)。そしてこれらの情報に基づいて入力環境パラメー
タを作成する(ステップ43)。
【0152】入力環境パラメータには、実測を行うべき
回転ステージ55の回転間隔、光学計測装置52および
画像入力装置53の位置、照明光源57の照明光スペク
トル・光の強度・照明光形状・個数・位置、表面属性推
定処理におけるパラメータがある。
回転ステージ55の回転間隔、光学計測装置52および
画像入力装置53の位置、照明光源57の照明光スペク
トル・光の強度・照明光形状・個数・位置、表面属性推
定処理におけるパラメータがある。
【0153】ここで、形状の複雑さによる領域分割ある
いは表面属性による領域分割において、形状が複雑な領
域あるいは均一な表面属性領域の境界付近であれば、回
転ステージ55の回転間隔を細かくしたり、光学計測装
置52および画像入力装置53の位置を対象物の細部を
実測できるように設定したりする。
いは表面属性による領域分割において、形状が複雑な領
域あるいは均一な表面属性領域の境界付近であれば、回
転ステージ55の回転間隔を細かくしたり、光学計測装
置52および画像入力装置53の位置を対象物の細部を
実測できるように設定したりする。
【0154】逆に、形状が滑らかな領域、表面属性が均
一な領域、表面属性の代表点が設定されている領域であ
れば、回転ステージ55の回転間隔あるいは光学計測装
置52および画像入力装置53の位置は、余分な実測デ
ータを取得しないように設定される。
一な領域、表面属性の代表点が設定されている領域であ
れば、回転ステージ55の回転間隔あるいは光学計測装
置52および画像入力装置53の位置は、余分な実測デ
ータを取得しないように設定される。
【0155】また、推定する表面属性が予め用意された
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した撮影条件になるように、回転
ステージ55の回転間隔、光学計測装置52および画像
入力装置53の位置、照明光源57の照明光スペクトル
・光の強度・照明光形状・個数・位置が設定される。
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した撮影条件になるように、回転
ステージ55の回転間隔、光学計測装置52および画像
入力装置53の位置、照明光源57の照明光スペクトル
・光の強度・照明光形状・個数・位置が設定される。
【0156】例えば、金属であれば、ピークの鋭い鏡面
反射成分を精度よく取得できるように、回転ステージ5
5の回転間隔を細かくし、また照明光源57の強度が強
すぎないように適正値に設定される。
反射成分を精度よく取得できるように、回転ステージ5
5の回転間隔を細かくし、また照明光源57の強度が強
すぎないように適正値に設定される。
【0157】このような入力環境パラメータに基づい
て、対象物体の表面上の各頂点に関して、光学計測装置
52および画像入力装置53により実測データを入力し
(ステップ45)、三次元形状に関する三次元中間デー
タを作成する(ステップ47)。
て、対象物体の表面上の各頂点に関して、光学計測装置
52および画像入力装置53により実測データを入力し
(ステップ45)、三次元形状に関する三次元中間デー
タを作成する(ステップ47)。
【0158】そして、作成した三次元中間データを三次
元統合データ表示部13に表示し(ステップ44)、ユ
ーザは表示された三次元中間データを画像により確認
し、必要に応じて三次元中間データを部分的に修正する
(ステップ57)。そしてこの段階でユーザは三次元中
間データの信用度を評価し、再実測が必要かどうかの判
断を行う(ステップ46)。
元統合データ表示部13に表示し(ステップ44)、ユ
ーザは表示された三次元中間データを画像により確認
し、必要に応じて三次元中間データを部分的に修正する
(ステップ57)。そしてこの段階でユーザは三次元中
間データの信用度を評価し、再実測が必要かどうかの判
断を行う(ステップ46)。
【0159】データの信用度が十分ではない部分が存在
する場合には、再実測のために再度ユーザインタラクシ
ョンを行う。ユーザインタラクションにより新たに作成
された入力環境パラメータに基づき、実測からの処理を
再度行う。以上の処理は、データの信用度が十分である
と判断されるまで繰り返し行われる。
する場合には、再実測のために再度ユーザインタラクシ
ョンを行う。ユーザインタラクションにより新たに作成
された入力環境パラメータに基づき、実測からの処理を
再度行う。以上の処理は、データの信用度が十分である
と判断されるまで繰り返し行われる。
【0160】ここで、再実測は必ずしも対象物体表面す
べてに対して行う必要はなく、データの信用度が低い領
域のみを重点的に実測し、その都度三次元中間データの
うち対応する部分のみを更新、修正していけばよい。
べてに対して行う必要はなく、データの信用度が低い領
域のみを重点的に実測し、その都度三次元中間データの
うち対応する部分のみを更新、修正していけばよい。
【0161】データの信用度が十分に高く、再実測の必
要性がないと判断すれば、続いて表面属性推定処理を行
う。ここでは、物体表面における反射光は、拡散反射成
分と鏡面反射成分の2つに分けられるという2色性反射
モデルの特徴を利用する。これにより、複数の環境下で
実測した実測データにおける各頂点の対応点の輝度・色
の変化を解析することで、それぞれの頂点における表面
属性を推定することができる。
要性がないと判断すれば、続いて表面属性推定処理を行
う。ここでは、物体表面における反射光は、拡散反射成
分と鏡面反射成分の2つに分けられるという2色性反射
モデルの特徴を利用する。これにより、複数の環境下で
実測した実測データにおける各頂点の対応点の輝度・色
の変化を解析することで、それぞれの頂点における表面
属性を推定することができる。
【0162】まず、入力した実測データ(ステップ4
8)のうち、入力環境パラメータの情報に基づいて推定
処理に不要なデータや、ノイズ、陰影、オクルージョ
ン、混色などの影響により情報が欠如したり誤差を大き
く含んだりするデータを除去し、実測データの取捨選択
を行う(ステップ49)。続いて、選別された実測デー
タのみを用いて拡散反射成分のデータを抽出する(ステ
ップ50)。抽出されたデータから表面属性パラメータ
のうち物体色に関するパラメータの推定を行う(ステッ
プ51)。
8)のうち、入力環境パラメータの情報に基づいて推定
処理に不要なデータや、ノイズ、陰影、オクルージョ
ン、混色などの影響により情報が欠如したり誤差を大き
く含んだりするデータを除去し、実測データの取捨選択
を行う(ステップ49)。続いて、選別された実測デー
タのみを用いて拡散反射成分のデータを抽出する(ステ
ップ50)。抽出されたデータから表面属性パラメータ
のうち物体色に関するパラメータの推定を行う(ステッ
プ51)。
【0163】次に、鏡面反射成分を含んだデータから鏡
面反射成分を分離し(ステップ52)、表面属性パラメ
ータのうち反射特性に関するパラメータの推定を行う
(S53)。
面反射成分を分離し(ステップ52)、表面属性パラメ
ータのうち反射特性に関するパラメータの推定を行う
(S53)。
【0164】以上の処理を対象物体(三次元形状モデ
ル)の頂点ごとに行うことで、各頂点における表面属性
パラメータを推定し、対象物体の表面全体の推定を行
う。ここで、入力環境パラメータにおいて、表面属性が
均一な領域が設定されていれば、各領域内で表面属性が
均一となる条件のもとで推定処理を行う。
ル)の頂点ごとに行うことで、各頂点における表面属性
パラメータを推定し、対象物体の表面全体の推定を行
う。ここで、入力環境パラメータにおいて、表面属性が
均一な領域が設定されていれば、各領域内で表面属性が
均一となる条件のもとで推定処理を行う。
【0165】また、表面属性の代表点が設定されていれ
ば、代表点のみの推定を行い、それ以外の点では代表点
における推定値から補間する。
ば、代表点のみの推定を行い、それ以外の点では代表点
における推定値から補間する。
【0166】また、推定する表面属性が予め用意された
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した推定処理を行う。
材質リストのどのカテゴリーに分類されるかが設定され
ていれば、各材質に適した推定処理を行う。
【0167】また、多視点画像間の対応点、光源情報が
設定されていれば、これらの情報を用いて推定処理を行
う。
設定されていれば、これらの情報を用いて推定処理を行
う。
【0168】こうして対象物体の表面全体の推定が終了
すると(ステップ54)、保持されている三次元中間デ
ータを表示し(S56)、ユーザは表示された三次元中
間データを画像により確認し、必要に応じて三次元中間
データを部分的に修正する(ステップ59)。この段階
でユーザは三次元中間データの信用度を評価し、再実測
が必要かどうかの判断を行う(ステップ58)。
すると(ステップ54)、保持されている三次元中間デ
ータを表示し(S56)、ユーザは表示された三次元中
間データを画像により確認し、必要に応じて三次元中間
データを部分的に修正する(ステップ59)。この段階
でユーザは三次元中間データの信用度を評価し、再実測
が必要かどうかの判断を行う(ステップ58)。
【0169】すべての頂点における推定値の信用度が十
分に高く、再実測の必要性がないと判断されれば、三次
元中間データから三次元統合データを作成し(ステップ
61)、処理を終了する(ステップ60)。
分に高く、再実測の必要性がないと判断されれば、三次
元中間データから三次元統合データを作成し(ステップ
61)、処理を終了する(ステップ60)。
【0170】一方、推定値の信用度が十分ではない頂点
が存在する場合には、再実測のために再度ユーザインタ
ラクションを行う。そして、ユーザインタラクションに
より新たに作成された入力環境パラメータに基づいて実
測からの処理を再度行う。以上の処理は、データの信用
度が十分であると判断されるまで繰り返し行われる。
が存在する場合には、再実測のために再度ユーザインタ
ラクションを行う。そして、ユーザインタラクションに
より新たに作成された入力環境パラメータに基づいて実
測からの処理を再度行う。以上の処理は、データの信用
度が十分であると判断されるまで繰り返し行われる。
【0171】ここで、再実測は必ずしも対象物体の表面
すべてに対して行う必要はなく、データの信用度が低い
領域のみを重点的に実測し、その都度、三次元中間デー
タのうち対応する部分のみを更新、修正していけばよ
い。また、本実施形態では、対象物体表面の構成単位を
頂点として説明したが、頂点の代わりに微小面を用いる
ことも可能である。
すべてに対して行う必要はなく、データの信用度が低い
領域のみを重点的に実測し、その都度、三次元中間デー
タのうち対応する部分のみを更新、修正していけばよ
い。また、本実施形態では、対象物体表面の構成単位を
頂点として説明したが、頂点の代わりに微小面を用いる
ことも可能である。
【0172】次に、三次元中間データの表示および三次
元中間データの修正について、図12を参照しながら説
明する。図において、照明光源94は対象物体に照射す
る照明であり、観察空間において任意の位置に配置する
ことができるようになっている。ユーザは、対象物体配
置設定部96により、対象物体に対して上下、左右、手
前奥の三次元的な移動、および任意の軸を中心とした回
転を設定する。これにより、観察空間において、対象物
体を92に示すように任意の方向に移動、回転させるこ
とができ、作成された三次元中間データにより再構築さ
れた対象物体を所望する方向から観察し、三次元中間デ
ータの信用度を確認することができ、また必要に応じて
三次元中間データを修正することができる。形状表示方
法選択部98において、対象物体の三次元形状を表示す
る方法を選択できるようになっている。
元中間データの修正について、図12を参照しながら説
明する。図において、照明光源94は対象物体に照射す
る照明であり、観察空間において任意の位置に配置する
ことができるようになっている。ユーザは、対象物体配
置設定部96により、対象物体に対して上下、左右、手
前奥の三次元的な移動、および任意の軸を中心とした回
転を設定する。これにより、観察空間において、対象物
体を92に示すように任意の方向に移動、回転させるこ
とができ、作成された三次元中間データにより再構築さ
れた対象物体を所望する方向から観察し、三次元中間デ
ータの信用度を確認することができ、また必要に応じて
三次元中間データを修正することができる。形状表示方
法選択部98において、対象物体の三次元形状を表示す
る方法を選択できるようになっている。
【0173】例えば、点群表示、ワイヤーフレーム表
示、ポリゴン表示、テクスチャ表示などの中から選択可
能になっており、ユーザは必要に応じて表示方法を切り
替えることで、三次元中間データのうち三次元形状に関
する信用度を容易に確認でき、また必要に応じて三次元
形状の部分的な修正を行うことができる。
示、ポリゴン表示、テクスチャ表示などの中から選択可
能になっており、ユーザは必要に応じて表示方法を切り
替えることで、三次元中間データのうち三次元形状に関
する信用度を容易に確認でき、また必要に応じて三次元
形状の部分的な修正を行うことができる。
【0174】属性値表示部99は、ポインタ90によっ
て指し示された対象物体表面上の一点について、三次元
座標、物体色、拡散反射係数、鏡面反射係数、光沢感指
数などの属性値を表示するようになっており、ユーザは
より詳細に三次元中間データの信用度を確認することが
でき、また必要に応じて三次元中間データを細かく修正
することができる。
て指し示された対象物体表面上の一点について、三次元
座標、物体色、拡散反射係数、鏡面反射係数、光沢感指
数などの属性値を表示するようになっており、ユーザは
より詳細に三次元中間データの信用度を確認することが
でき、また必要に応じて三次元中間データを細かく修正
することができる。
【0175】操作部9の構成は、第1実施形態と同じで
あり、操作部9の入力環境決定部86におけるユーザイ
ンタラクションについては、第2実施形態と同様であ
る。
あり、操作部9の入力環境決定部86におけるユーザイ
ンタラクションについては、第2実施形態と同様であ
る。
【0176】また、表面属性取得部1の構成、制御部2
の構成、三次元データ統合部5によって作成される三次
元統合データ、ユーザが所望の観察環境下での対象物体
の画像を再現するための操作および画像生成について
は、第1実施形態におけるものと同様である。
の構成、三次元データ統合部5によって作成される三次
元統合データ、ユーザが所望の観察環境下での対象物体
の画像を再現するための操作および画像生成について
は、第1実施形態におけるものと同様である。
【0177】以上説明したように、本実施形態によれ
ば、取得された三次元形状データおよび表面属性データ
の結果としての三次元中間データをユーザに対して表示
し、必要に応じてデータ修正およびデータ取得を繰り返
し行うことで、データ取得の精度をより向上させること
ができる。
ば、取得された三次元形状データおよび表面属性データ
の結果としての三次元中間データをユーザに対して表示
し、必要に応じてデータ修正およびデータ取得を繰り返
し行うことで、データ取得の精度をより向上させること
ができる。
【0178】また、入力環境パラメータを用いて対象物
体の一部分だけを重点的に実測し、三次元中間データの
うち対応する部分のみを随時更新していくことで、効率
的に実測を行うことができる。
体の一部分だけを重点的に実測し、三次元中間データの
うち対応する部分のみを随時更新していくことで、効率
的に実測を行うことができる。
【0179】また、データの信用度が低い領域のみを重
点的に実測あるいは修正するなどより細かい処理が可能
となるため、データ取得の精度をより向上させることが
できる。
点的に実測あるいは修正するなどより細かい処理が可能
となるため、データ取得の精度をより向上させることが
できる。
【0180】(第4実施形態)図15には、本発明の第
4実施形態である三次元画像処理システムの構成を示し
ている。本実施形態の三次元画像処理装置10’は、第
1実施形態に示した三次元画像処理装置10に入力環境
表示部17を付加した構成になっている。
4実施形態である三次元画像処理システムの構成を示し
ている。本実施形態の三次元画像処理装置10’は、第
1実施形態に示した三次元画像処理装置10に入力環境
表示部17を付加した構成になっている。
【0181】ユーザは、操作部9において、表面属性に
よる領域分割、表面属性を推定すべき代表点、形状の複
雑さによる領域分割、多視点画像間の対応点、光源情
報、推定する表面属性が予め用意された材質リストのど
のカテゴリーに分類されるかのなどの情報入力を行う。
そして操作部9は、ユーザとのインタラクションによる
情報に基づき入力環境パラメータを作成する。
よる領域分割、表面属性を推定すべき代表点、形状の複
雑さによる領域分割、多視点画像間の対応点、光源情
報、推定する表面属性が予め用意された材質リストのど
のカテゴリーに分類されるかのなどの情報入力を行う。
そして操作部9は、ユーザとのインタラクションによる
情報に基づき入力環境パラメータを作成する。
【0182】入力環境表示部17は、入力環境パラメー
タがどのような値に設定されているかを多視点画像表示
あるいはパラメータ列表示によりユーザに表示する。ユ
ーザは、作成された入力環境パラメータが適正であるか
どうかを判断し、必要に応じてユーザインタラクション
を再度行い、入力環境パラメータを更新する。
タがどのような値に設定されているかを多視点画像表示
あるいはパラメータ列表示によりユーザに表示する。ユ
ーザは、作成された入力環境パラメータが適正であるか
どうかを判断し、必要に応じてユーザインタラクション
を再度行い、入力環境パラメータを更新する。
【0183】操作部9は、確定された入力環境パラメー
タを制御部2に入力する。制御部2は、入力環境パラメ
ータに基づいて三次元形状あるいは表面属性の取得を行
う。
タを制御部2に入力する。制御部2は、入力環境パラメ
ータに基づいて三次元形状あるいは表面属性の取得を行
う。
【0184】上記入力環境表示部17以外の構成、三次
元データ統合部5によって作成される三次元統合データ
およびユーザの所望の観察環境下での対象物体の画像を
再現するための操作および画像生成、操作部9の入力環
境決定部におけるユーザインタラクションについては、
第1実施形態におけるものと同様である。
元データ統合部5によって作成される三次元統合データ
およびユーザの所望の観察環境下での対象物体の画像を
再現するための操作および画像生成、操作部9の入力環
境決定部におけるユーザインタラクションについては、
第1実施形態におけるものと同様である。
【0185】以上説明したように、本実施形態によれ
ば、ユーザインタラクションによって入力環境パラメー
タを変化させた際に、各パラメータの変化又は各パラメ
ータを反映した三次元画像データをユーザに対して表示
し、必要に応じて入力環境パラメータを修正させること
で、効率的に実測を行うことができ、またデータ取得の
精度をより向上させることができる。
ば、ユーザインタラクションによって入力環境パラメー
タを変化させた際に、各パラメータの変化又は各パラメ
ータを反映した三次元画像データをユーザに対して表示
し、必要に応じて入力環境パラメータを修正させること
で、効率的に実測を行うことができ、またデータ取得の
精度をより向上させることができる。
【0186】(第5実施形態)図16には、本発明の第
6実施形態である三次元画像表示システムの構成を示し
ている。本実施形態の三次元画像処理装置110’は、
第2実施形に示した三次元画像処理装置110にパラメ
ータ履歴保持部19および三次元統合データ保持部16
を付加した構成になっている。
6実施形態である三次元画像表示システムの構成を示し
ている。本実施形態の三次元画像処理装置110’は、
第2実施形に示した三次元画像処理装置110にパラメ
ータ履歴保持部19および三次元統合データ保持部16
を付加した構成になっている。
【0187】ユーザは、操作部9において、表面属性に
よる領域分割、表面属性を推定すべき代表点、形状の複
雑さによる領域分割、多視点画像間の対応点、光源情
報、推定する表面属性が予め用意された材質リストのど
のカテゴリーに分類されるかのなどの情報入力を行う。
そして操作部9は、ユーザとのインタラクションによる
設定値に基づき入力環境パラメータを作成する。
よる領域分割、表面属性を推定すべき代表点、形状の複
雑さによる領域分割、多視点画像間の対応点、光源情
報、推定する表面属性が予め用意された材質リストのど
のカテゴリーに分類されるかのなどの情報入力を行う。
そして操作部9は、ユーザとのインタラクションによる
設定値に基づき入力環境パラメータを作成する。
【0188】操作部9は、作成された入力環境パラメー
タを制御部2に入力するとともにパラメータ履歴保持部
19に保存する。
タを制御部2に入力するとともにパラメータ履歴保持部
19に保存する。
【0189】制御部2は、入力環境パラメータに基づい
て三次元形状あるいは表面属性の取得を行う。
て三次元形状あるいは表面属性の取得を行う。
【0190】三次元データ統合部5は、三次元形状取得
部3により得られた三次元形状モデルと、表面属性取得
部1により得られた表面属性データとを統合し、対象物
体の三次元統合データを作成し、三次元統合データ保持
部16に保存する。
部3により得られた三次元形状モデルと、表面属性取得
部1により得られた表面属性データとを統合し、対象物
体の三次元統合データを作成し、三次元統合データ保持
部16に保存する。
【0191】三次元統合データ表示部13は、三次元形
状取得部3によって得られた三次元形状データあるいは
三次元データ統合部5によって作成された三次元統合デ
ータをユーザに表示する。ユーザは、表示された三次元
形状データあるいは三次元統合データを画像により確認
し、再実測の必要性を判断する。ここで、パラメータ履
歴保持部19および三次元統合データ保持部16は、繰
り返し実測を行った際の入力環境パラメータおよびその
パラメータに対応する三次元統合データを保持してお
り、ユーザは、図12に示すパラメータ履歴選択部89
を用いて、以前の入力環境パラメータおよび三次元統合
データの履歴を確認することができるようになってい
る。
状取得部3によって得られた三次元形状データあるいは
三次元データ統合部5によって作成された三次元統合デ
ータをユーザに表示する。ユーザは、表示された三次元
形状データあるいは三次元統合データを画像により確認
し、再実測の必要性を判断する。ここで、パラメータ履
歴保持部19および三次元統合データ保持部16は、繰
り返し実測を行った際の入力環境パラメータおよびその
パラメータに対応する三次元統合データを保持してお
り、ユーザは、図12に示すパラメータ履歴選択部89
を用いて、以前の入力環境パラメータおよび三次元統合
データの履歴を確認することができるようになってい
る。
【0192】データの信用度が十分であり再実測を必要
としない場合には、三次元統合データを確定する。デー
タの信用度が不十分であり再実測を必要とする場合に
は、再度ユーザインタラクションを行う。この際、以前
の入力環境パラメータおよびそのパラメータに対応する
三次元統合データを参照することができるため、ユーザ
インタラクションをより効率的に行うことができる。
としない場合には、三次元統合データを確定する。デー
タの信用度が不十分であり再実測を必要とする場合に
は、再度ユーザインタラクションを行う。この際、以前
の入力環境パラメータおよびそのパラメータに対応する
三次元統合データを参照することができるため、ユーザ
インタラクションをより効率的に行うことができる。
【0193】上記パラメータ履歴保持部19および三次
元統合データ保持部16以外の構成、三次元データ統合
部5によって作成される三次元統合データおよびユーザ
の所望の観察環境下での対象物体の画像を再現するため
の操作および画像生成、操作部9の入力環境決定部にお
けるユーザインタラクションについては、第2実施形態
におけるものと同様である。
元統合データ保持部16以外の構成、三次元データ統合
部5によって作成される三次元統合データおよびユーザ
の所望の観察環境下での対象物体の画像を再現するため
の操作および画像生成、操作部9の入力環境決定部にお
けるユーザインタラクションについては、第2実施形態
におけるものと同様である。
【0194】以上説明したように、本実施形態によれ
ば、データ取得を繰り返し行った際に設定した入力環境
パラメータ値および取得された三次元統合データの履歴
を記憶し、呼び出し可能にすることで、効率的にユーザ
インタラクションを行うことができ、データ取得の精度
をより向上させることができる。
ば、データ取得を繰り返し行った際に設定した入力環境
パラメータ値および取得された三次元統合データの履歴
を記憶し、呼び出し可能にすることで、効率的にユーザ
インタラクションを行うことができ、データ取得の精度
をより向上させることができる。
【0195】なお、以上説明した各実施形態では、実物
体からの実測データの取得および三次元画像データの生
成の双方に関するパラメータを設定ないし入力できる場
合について説明したが、いずれか一方に関するパラメー
タを設定ないし入力できるようにしてもよい。
体からの実測データの取得および三次元画像データの生
成の双方に関するパラメータを設定ないし入力できる場
合について説明したが、いずれか一方に関するパラメー
タを設定ないし入力できるようにしてもよい。
【0196】
【発明の効果】以上説明したように、本発明によれば、
生成した三次元データを出力し、これを確認した使用者
に実物体からの実測データの取得および三次元画像デー
タの生成のうち少なくとも一方に関するパラメータを設
定させ、このパラメータを用いて実物体からの実測デー
タの再取得および三次元データの再生成を行うことがで
きるので、使用者とのいわば対話的な三次元画像の作成
が可能となり、形状や表面属性のデータ取得精度を高め
ることができ、リアリティの高い三次元画像を得ること
ができる。また、三次元画像データの信用度が低い領域
のみを重点的に実測あるいは修正するなど、より細かい
処理も可能となるため、よりリアリティの高い三次元画
像を得ることができる。
生成した三次元データを出力し、これを確認した使用者
に実物体からの実測データの取得および三次元画像デー
タの生成のうち少なくとも一方に関するパラメータを設
定させ、このパラメータを用いて実物体からの実測デー
タの再取得および三次元データの再生成を行うことがで
きるので、使用者とのいわば対話的な三次元画像の作成
が可能となり、形状や表面属性のデータ取得精度を高め
ることができ、リアリティの高い三次元画像を得ること
ができる。また、三次元画像データの信用度が低い領域
のみを重点的に実測あるいは修正するなど、より細かい
処理も可能となるため、よりリアリティの高い三次元画
像を得ることができる。
【0197】そして、このような対話的な作業を繰り返
し行えるようにすれば、さらに三次元画像のリアリティ
を高めることが可能となる。
し行えるようにすれば、さらに三次元画像のリアリティ
を高めることが可能となる。
【0198】また、この場合に、順次設定したパラメー
タや生成した三次元データをそれぞれ保存し、使用者の
読み出し操作に応じて再出力を行うようにすれば、使用
者はパラメータ設定を様々に換えて生成させた複数の三
次元画像の中から、最もリアリティの高い三次元画像を
選択したり最もリアリティの高い三次元画像を得ること
ができたパラメータを確認したりすることができる。
タや生成した三次元データをそれぞれ保存し、使用者の
読み出し操作に応じて再出力を行うようにすれば、使用
者はパラメータ設定を様々に換えて生成させた複数の三
次元画像の中から、最もリアリティの高い三次元画像を
選択したり最もリアリティの高い三次元画像を得ること
ができたパラメータを確認したりすることができる。
【図1】本発明の第1実施形態である三次元画像処理シ
ステムの構成を示す概略図である。
ステムの構成を示す概略図である。
【図2】上記三次元画像処理システムにおける三次元測
定装置の構成を示す概略図である。
定装置の構成を示す概略図である。
【図3】上記三次元画像処理システムにおける表面属性
取得部の構成を示す概略図である。
取得部の構成を示す概略図である。
【図4】上記三次元画像処理システムにおける制御部の
構成を示す概略図である。
構成を示す概略図である。
【図5】上記三次元画像処理システムにおける操作部の
構成を示す概略図である。
構成を示す概略図である。
【図6】上記三次元画像処理システムにおける実測から
三次元統合データ作成までの処理を示すフローチャート
である。
三次元統合データ作成までの処理を示すフローチャート
である。
【図7】上記三次元画像処理システムにおける操作部の
入力環境決定部でのユーザインタラクションを示す図で
ある。
入力環境決定部でのユーザインタラクションを示す図で
ある。
【図8】上記三次元画像処理システムにより作成される
三次元統合データの一例を示す図である。
三次元統合データの一例を示す図である。
【図9】上記三次元画像処理システムにより作成される
三次元画像を示す図である。
三次元画像を示す図である。
【図10】本発明の第2実施形態である三次元画像処理
システムの構成を示す概略図である。
システムの構成を示す概略図である。
【図11】上記第2実施形態の三次元画像処理システム
における実測から三次元統合データ作成までの処理を示
すフローチャートである。
における実測から三次元統合データ作成までの処理を示
すフローチャートである。
【図12】上記第2実施形態の三次元画像処理システム
における三次元形状データおよび三次元統合データの表
示状態を示す図である。
における三次元形状データおよび三次元統合データの表
示状態を示す図である。
【図13】本発明の第3実施形態である三次元画像処理
システムの構成を示す概略図である。
システムの構成を示す概略図である。
【図14】上記第3実施形態の三次元画像処理システム
における実測から三次元統合データ作成までの処理を示
すフローチャートである。
における実測から三次元統合データ作成までの処理を示
すフローチャートである。
【図15】本発明の第4実施形態である三次元画像処理
システムの構成を示す概略図である。
システムの構成を示す概略図である。
【図16】本発明の第5実施形態である三次元画像処理
システムの構成を示す概略図である。
システムの構成を示す概略図である。
1 表面属性取得部
2 制御部
3 三次元形状取得部
5 三次元データ統合部
7 画像生成装置
9 操作部
10,10’,110,110’,210 三次元画像
処理装置 11 画像出力部 13 三次元統合データ表示部 15 三次元中間データ保持部 16 三次元統合データ保持部 17 入力環境提示部 19 パラメータ履歴保持部 31 多視点画像列 33 表面属性領域分割設定部 34 形状領域分割設定部 35 代表点設定部 36 対応点設定部 37 材質リスト 41 実測データ取捨選択部 43 拡散反射領域抽出部 45 鏡面反射成分分離部 51 対象物体 52 光学計測装置 53 画像入力装置 55 回転ステージ 56 回転軸 57 照明光源 59 コンピュータ(三次元画像処理装置の本体) 75 計測装置制御部 76 画像入力装置制御部 77 回転ステージ制御部 78 照明光源制御部 79 表面属性推定処理制御部 81 照明光源設定部 82 観察環境決定部 83 対象物体配置設定部 85 実測パラメータ設定部 86 入力環境決定部 87 表面属性推定処理パラメータ設定部 89 パラメータ履歴選択部 90 ポインタ 91 対象物体 92 対象物体 93 照明光源 94 照明光源 95 対象物体配置設定部 96 対象物体配置設定部 97 照明光源設定部 98 形状表示方法選択部 99 属性値表示部
処理装置 11 画像出力部 13 三次元統合データ表示部 15 三次元中間データ保持部 16 三次元統合データ保持部 17 入力環境提示部 19 パラメータ履歴保持部 31 多視点画像列 33 表面属性領域分割設定部 34 形状領域分割設定部 35 代表点設定部 36 対応点設定部 37 材質リスト 41 実測データ取捨選択部 43 拡散反射領域抽出部 45 鏡面反射成分分離部 51 対象物体 52 光学計測装置 53 画像入力装置 55 回転ステージ 56 回転軸 57 照明光源 59 コンピュータ(三次元画像処理装置の本体) 75 計測装置制御部 76 画像入力装置制御部 77 回転ステージ制御部 78 照明光源制御部 79 表面属性推定処理制御部 81 照明光源設定部 82 観察環境決定部 83 対象物体配置設定部 85 実測パラメータ設定部 86 入力環境決定部 87 表面属性推定処理パラメータ設定部 89 パラメータ履歴選択部 90 ポインタ 91 対象物体 92 対象物体 93 照明光源 94 照明光源 95 対象物体配置設定部 96 対象物体配置設定部 97 照明光源設定部 98 形状表示方法選択部 99 属性値表示部
─────────────────────────────────────────────────────
フロントページの続き
Fターム(参考) 2F065 AA04 AA53 BB05 EE00 EE05
FF01 FF02 FF06 FF09 FF11
FF41 FF66 HH07 JJ03 NN01
NN20 PP13 QQ00 QQ03 QQ24
SS02 SS03 SS06 SS13
5B050 BA06 BA07 BA09 CA07 DA10
EA03 EA28 EA30 FA02 FA06
5B057 BA15 BA19 CA01 CA08 CA13
CA16 CB01 CB08 CB13 CB16
DA16 DB03 DB06 DB09 DC09
5B080 FA09 GA11
Claims (19)
- 【請求項1】 実物体から形状および表面属性に関する
実測データを取得し、この実測データに基づいて実物体
の三次元データを生成し出力する第1のステップと、 使用者操作に応じて実物体からの実測データの取得およ
び三次元データの生成のうち少なくとも一方に関するパ
ラメータを設定する第2のステップとを有し、 前記第2のステップで設定されたパラメータを用いて前
記第1のステップを再度行うことを特徴とする三次元画
像処理方法。 - 【請求項2】 前記第1および第2のステップを繰り返
し行うことを特徴とする請求項1に記載の三次元画像処
理方法。 - 【請求項3】 前記第2のステップで設定したパラメー
タおよび前記第1のステップで生成した三次元データを
それぞれ保存し、使用者の読み出し操作に応じて再出力
する第3のステップを有することを特徴とする請求項2
に記載の三次元画像処理方法。 - 【請求項4】 前記第2のステップにおいて、設定した
パラメータ又は設定したパラメータを用いて生成した三
次元データを表示することを特徴とする請求項1に記載
の三次元画像処理方法。 - 【請求項5】 使用者操作に応じて前記パラメータを設
定するための情報として、表面属性に応じて三次元形状
上での領域を分割するための情報、表面属性を決定すべ
き三次元形状上での特定部を示す情報、形状の複雑さに
応じて三次元形状上での領域を分割するための情報、多
視点画像間の対応部を選択するための情報、光源の設定
に関する情報、表面属性のカテゴリーを指定するための
情報のうち少なくとも1つを含むことを特徴とする請求
項1に記載の三次元画像処理方法。 - 【請求項6】 前記第2のステップにおいて、設定され
た実物体からの実測データの取得に関するパラメータに
応じて、実物体の実測データを取得する測定装置の設定
を変更することを特徴とする請求項1に記載の三次元画
像処理方法。 - 【請求項7】 コンピュータに三次元画像処理を行わせ
るための三次元画像処理プログラムであって、 実物体から形状および表面属性に関する実測データを取
得し、この実測データに基づいて実物体の三次元データ
を生成し出力する第1のステップと、 使用者操作に応じて実物体からの実測データの取得およ
び三次元データの生成のうち少なくとも一方に関するパ
ラメータを設定する第2のステップとを有し、 前記第2のステップで設定されたパラメータを用いて前
記第1のステップを再度行うことを特徴とする三次元画
像処理プログラム。 - 【請求項8】 前記第1および第2のステップを繰り返
し行うことを特徴とする請求項7に記載の三次元画像処
理プログラム。 - 【請求項9】 前記第2のステップで設定したパラメー
タおよび前記第1のステップで生成した三次元データを
それぞれ保存し、使用者の読み出し操作に応じて再出力
する第3のステップを有することを特徴とする請求項7
に記載の三次元画像処理プログラム。 - 【請求項10】 前記第2のステップにおいて、設定し
たパラメータ又は設定したパラメータを用いて生成した
三次元データを表示することを特徴とする請求項7に記
載の三次元画像処理プログラム。 - 【請求項11】 使用者操作に応じて前記パラメータを
設定するための情報として、表面属性に応じて三次元形
状上での領域を分割するための情報、表面属性を決定す
べき三次元形状上での特定部を示す情報、形状の複雑さ
に応じて三次元形状上での領域を分割するための情報、
多視点画像間の対応部を選択するための情報、光源の設
定に関する情報、表面属性のカテゴリーを指定するため
の情報のうち少なくとも1つを含むことを特徴とする請
求項7に記載の三次元画像処理プログラム。 - 【請求項12】 前記第2のステップにおいて、設定さ
れた実物体からの実測データの取得に関するパラメータ
に応じて、実物体の実測データを取得する測定装置の設
定を変更することを特徴とする請求項7に記載の三次元
画像処理プログラム。 - 【請求項13】 実物体から形状および表面属性に関す
る実測データを取得し、この実測データに基づいて実物
体の三次元データを生成し出力する三次元データ生成手
段と、 使用者操作に応じて実物体からの実測データの取得およ
び三次元データの生成のうち少なくとも一方に関するパ
ラメータを設定する操作手段と、 前記操作手段により設定されたパラメータを用いて前記
三次元データ生成手段に実物体からの実測データの取得
および実物体の三次元データの生成・出力を再度行わせ
る制御手段とを有することを特徴とする三次元画像処理
装置。 - 【請求項14】 前記制御手段は、前記操作手段により
設定されたパラメータを用いての前記三次元データ生成
手段による実物体からの実測データの取得および実物体
の三次元データの生成・出力を繰り返し行わせることを
特徴とする請求項13に記載の三次元画像処理装置。 - 【請求項15】 前記制御手段は、前記操作手段で設定
されたパラメータおよび前記三次元データ生成手段で生
成した三次元データをそれぞれ保存し、使用者の読み出
し操作に応じて再出力することを特徴とする請求項13
に記載の三次元画像処理装置。 - 【請求項16】 前記制御手段は、設定したパラメータ
又は設定したパラメータを用いて生成した三次元データ
を表示することを特徴とする請求項13に記載の三次元
画像処理装置。 - 【請求項17】 前記操作部において、使用者操作に応
じてパラメータを設定するための情報の入力が可能であ
り、前記情報として、表面属性に応じて三次元形状上で
の領域を分割するための情報、表面属性を決定すべき三
次元形状上での特定部を示す情報、形状の複雑さに応じ
て三次元形状上での領域を分割するための情報、多視点
画像間の対応部を選択するための情報、光源の設定に関
する情報、表面属性のカテゴリーを指定するための情報
のうち少なくとも1つを含むことを特徴とする請求項1
3に記載の三次元画像処理装置。 - 【請求項18】 前記制御手段は、設定された実物体か
らの実測データの取得に関するパラメータに応じて、実
物体の実測データを取得する測定装置の設定を変更する
ことを特徴とする請求項13に記載の三次元画像処理装
置。 - 【請求項19】 請求項13から18のいずれかに記載
の三次元画像処理装置と、実物体を測定し、形状および
表面属性に関する実測データを出力する測定装置と、前
記三次元画像処理装置から出力された三次元データに基
づいて前記実物体の三次元画像を表示又は印刷する画像
出力装置とを有することを特徴とする三次元画像処理シ
ステム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002011636A JP2003216973A (ja) | 2002-01-21 | 2002-01-21 | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム |
US10/303,791 US7034820B2 (en) | 2001-12-03 | 2002-11-26 | Method, apparatus and program for processing a three-dimensional image |
US11/260,455 US7239312B2 (en) | 2001-12-03 | 2005-10-28 | Method, apparatus and program for processing a three-dimensional image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002011636A JP2003216973A (ja) | 2002-01-21 | 2002-01-21 | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003216973A true JP2003216973A (ja) | 2003-07-31 |
Family
ID=27649064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002011636A Pending JP2003216973A (ja) | 2001-12-03 | 2002-01-21 | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003216973A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006061999A1 (ja) * | 2004-12-07 | 2006-06-15 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム |
JP2006284215A (ja) * | 2005-03-31 | 2006-10-19 | Ckd Corp | 検査装置 |
WO2007108041A1 (ja) * | 2006-03-15 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
US7340098B2 (en) | 2006-03-15 | 2008-03-04 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for image conversion |
JP2014120079A (ja) * | 2012-12-18 | 2014-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
JP2015125621A (ja) * | 2013-12-26 | 2015-07-06 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2016024191A (ja) * | 2014-07-21 | 2016-02-08 | ジック アーゲー | 物体の認識及び距離測定のための距離測定センサ |
JP2018077702A (ja) * | 2016-11-10 | 2018-05-17 | 凸版印刷株式会社 | 質感調整支援システム及び質感調整支援方法 |
JP2019527355A (ja) * | 2016-07-18 | 2019-09-26 | ウニヴェアズィテート バーゼル | デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法 |
US10721395B2 (en) | 2017-10-06 | 2020-07-21 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
JP2021071964A (ja) * | 2019-10-31 | 2021-05-06 | 富士ゼロックス株式会社 | 表示装置 |
JP2021072024A (ja) * | 2019-11-01 | 2021-05-06 | 凸版印刷株式会社 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
-
2002
- 2002-01-21 JP JP2002011636A patent/JP2003216973A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006061999A1 (ja) * | 2004-12-07 | 2006-06-15 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム |
US7486837B2 (en) | 2004-12-07 | 2009-02-03 | Panasonic Corporation | Method, device, and program for image conversion, method, device and program for texture mapping, and server-client system |
JP2006284215A (ja) * | 2005-03-31 | 2006-10-19 | Ckd Corp | 検査装置 |
JP4610393B2 (ja) * | 2005-03-31 | 2011-01-12 | シーケーディ株式会社 | 検査装置 |
WO2007108041A1 (ja) * | 2006-03-15 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
US7340098B2 (en) | 2006-03-15 | 2008-03-04 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for image conversion |
JP2014120079A (ja) * | 2012-12-18 | 2014-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
JP2015125621A (ja) * | 2013-12-26 | 2015-07-06 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2016024191A (ja) * | 2014-07-21 | 2016-02-08 | ジック アーゲー | 物体の認識及び距離測定のための距離測定センサ |
JP2019527355A (ja) * | 2016-07-18 | 2019-09-26 | ウニヴェアズィテート バーゼル | デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法 |
JP2018077702A (ja) * | 2016-11-10 | 2018-05-17 | 凸版印刷株式会社 | 質感調整支援システム及び質感調整支援方法 |
US10721395B2 (en) | 2017-10-06 | 2020-07-21 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
JP2021071964A (ja) * | 2019-10-31 | 2021-05-06 | 富士ゼロックス株式会社 | 表示装置 |
JP7409014B2 (ja) | 2019-10-31 | 2024-01-09 | 富士フイルムビジネスイノベーション株式会社 | 表示装置 |
JP2021072024A (ja) * | 2019-11-01 | 2021-05-06 | 凸版印刷株式会社 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
JP7463697B2 (ja) | 2019-11-01 | 2024-04-09 | Toppanホールディングス株式会社 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6493395B2 (ja) | 画像処理装置と画像処理方法 | |
CN106454291B (zh) | 用于自动配准和投影映射的系统和方法 | |
Rivers et al. | Sculpting by numbers | |
JP4945642B2 (ja) | 3d画像の色補正の方法及びそのシステム | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
CA2553477C (en) | Transprojection of geometry data | |
US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
JP7042561B2 (ja) | 情報処理装置、情報処理方法 | |
JP2008507682A (ja) | 適応三次元走査 | |
JP2003099799A (ja) | 変化のないシーン内の静止した3dの物理的な物体の動きをシミュレートするための方法 | |
JP2003216973A (ja) | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム | |
JPWO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
WO2021168336A1 (en) | Fitting of glasses frames including live fitting | |
US20220189078A1 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
JPH09319896A (ja) | 3次元画像作成装置 | |
BR112020011100A2 (pt) | aparelho e método de captura de imagem e produto de programa de computador | |
JP2003302211A (ja) | 3次元画像処理装置及び方法 | |
JP2003216970A (ja) | 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム | |
JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
JP2005063041A (ja) | 3次元モデリング装置、方法、及びプログラム | |
JP2005092549A (ja) | 三次元画像処理方法および装置 | |
JP2004187743A (ja) | 医用3次元画像表示装置 | |
JP2003168129A (ja) | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム | |
JP2006105822A (ja) | 三次元画像処理システム及び三次元データ処理装置 | |
JP2005092550A (ja) | 三次元画像処理方法および装置 |