JP2005092550A - 三次元画像処理方法および装置 - Google Patents

Abstract

【課題】 対象となる実物体の形状・テクスチャ・色だけでなく、再現時の観察環境を考慮し、かつ対象物体の自由な移動および回転が可能とし、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能な三次元画像処理装置を提供することを目的とする。
【解決手段】実在物体の三次元情報を入力する三次元画像処理装置において、三次元形状取得部、表面属性取得部、三次元データ統合部、制御部を有し、取得されたテクスチャマップ上で表面属性に対するセグメンテーションを行うことを特徴とする三次元画像処理装置を提供する。
【選択図】 図１

Description

本発明は、対象となる実物体の形状、色、質感などをよりリアルに提示可能にするための三次元画像入力方法および三次元画像入力装置および三次元画像処理方法および三次元画像処理装置に関する。

従来、実在する物体の三次元情報（形状、表面属性）を入力する画像処理装置として、接触型の位置センサを利用した方法が知られている。この方法は、探針を物体の各点に接触させ、探針の三次元位置座標を位置センサにより検出し、物体の各点の三次元位置情報を入力する方法である。ところが、この接触型の位置センサを用いる方法では、探針を物体の各点に接触させる必要があるため、対象となる物体としては、ある程度の強度を持つ物体に限られ、また計測にある程度の時間を要する等の制限があった。

また、非接触型の三次元計測装置も知られており、非接触型は、接触型に比べて高速の計測が可能であることから、ＣＧシステムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。

非接触の三次元計測の方法として、スリット光投影法（光切断法ともいう）またはパターン投影法が知られている。これらの方法は、特定の参照光（検出光ともいう）を計測対象に照射し、三角測定の原理で距離画像（三次元画像、三次元データ、または三次元形状データともいう）を得る能動的計測方法の一種である。スリット光投影法では、スリット光を照射しかつ偏向することによって計測対象を走査する。パターン投影法では、複数の２次元パターン光を順次照射する。得られた距離画像は、計測対象上の複数部位の三次元位置を示す画素の集合である。

このような三次元計測装置には、計測対象物体の距離画像を得るための距離計測光学系と、対象物体表面のテクスチャ情報を取得するためのカラー光学系（モニタ光学系ともいう）とが設けられる。距離計測光学系には、計測対象物体に参照光を照射する投光部、参照光の計測対象物体による反射光を受光する受光センサなどが含まれる。受光センサからの出力などに基づいて、三次元形状データが演算により求められる。

カラー光学系には、同じ計測対象物体のカラー画像（モニタ画像、２次元画像、２次元データ、または２次元画像データともいう）を撮像する撮像センサなどが含まれる。カラー光学系により得られるカラー画像は、対象物体表面のテクスチャ情報を取得するために用いられる他、距離計測光学系による計測を開始する際に、距離計測により得られる距離画像の範囲を予め確認するために用いられ、さらには、得られた距離画像を修正する際に、その修正箇所の特定のために用いられる。
特開平１１−１７５７６２

しかしながら、従来技術における三次元画像処理装置においては、対象物体の質感や光沢感を再現することは、考慮されていなかった。そのため、撮影環境と再現環境とで照明器具の形状、位置、色が異なった場合などは、対象物体における鏡面反射の状態が変化してしまい、見た目にも大きく変わってしまうため、従来技術の三次元画像処理装置を用いた場合では、対象物体の質感や光沢感までを正確に伝えることは困難であった。

そこで、本発明は、対象となる実物体の形状・テクスチャ・色だけでなく、再現時の観察環境、すなわち、照明光の形状・位置・方向・色、ユーザの位置・方向を考慮し、かつ対象物体を自由に移動および回転することを可能にすることにより、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能な三次元画像処理装置を提供することを目的としている。さらに、表面属性推定を属性均一領域単位で行うことで、表面属性推定の精度を向上させ、再現する対象物体のリアリティをより一層向上させることを目的としている。また、属性均一領域に細分化するセグメンテーション処理を、取得されたテクスチャマップ上で行うことにより、処理を容易にすることを目的としている。

このような問題を解決するために、本発明にかかる三次元画像処理装置は、実在物体の三次元情報を入力する三次元画像処理装置において、三次元形状取得部、表面属性取得部、三次元データ統合部、制御部を有し、取得されたテクスチャマップ上で表面属性に対するセグメンテーションを行うことを特徴としている。

さらに本発明にかかる三次元画像処理装置は、上記の三次元画像処理装置において、テクスチャマップ上でのセグメンテーションを自動処理により行うことを特徴としている。
さらに本発明にかかる三次元画像処理装置は、上記の三次元画像処理装置において、テクスチャマップ上の各画素の色相情報、明度情報、法線情報のうち少なくとも１つを用いることで、テクスチャマップ上でのセグメンテーションを自動的に行うことを特徴としている。

さらに本発明にかかる三次元画像処理装置は、上記の三次元画像処理装置において、操作部を備え、テクスチャマップ上でのセグメンテーションをユーザと対話的に行うことを特徴としている。

さらに本発明にかかる三次元画像処理装置は、上記の三次元画像処理装置において、テクスチャマップ上でのセグメンテーションの様子を三次元モデル上で表示することで、ユーザに提示することを特徴としている。

さらに本発明にかかる三次元画像処理装置は、上記の三次元画像処理装置において、テクスチャマップ上でのセグメンテーション結果を用いて、均一領域ごとに表面属性推定処理を行うことを特徴としている。

さらに本発明にかかる三次元画像処理装置は、上記の三次元画像処理装置において、テクスチャマップ上でのセグメンテーション結果を装置の制御にフィードバックし、再度測定を行うことを特徴としている。

さらに本発明にかかる三次元画像処理システムは、上記の三次元画像処理装置と、任意環境画像生成部、操作部、画像出力部を備え、取り込まれた三次元統合データを画像処理して任意の環境における画像を生成し、画像出力装置に表示あるいは印刷出力する三次元画像処理装置とを有することを特徴としている。

以上の説明から明らかなように、本発明の三次元画像処理装置によると、対象物体の三次元形状および表面属性を取得し、三次元統合データとして統合し、ユーザが設定した観察環境下での対象物体の画像を再構築、提示することで、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能となる。また、表面属性推定を属性均一領域単位で行うことで、表面属性推定の精度を向上させ、再現する対象物体のリアリティをより一層向上させることができる。また、属性均一領域に細分化するセグメンテーション処理を、取得されたテクスチャマップ上で行うことにより、処理を容易にすることができる。

さらに、対象物体の三次元形状および表面属性を取得し、三次元統合データとして統合し、ユーザが設定した観察環境下での対象物体の画像を再構築、提示することで、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能となる。また、表面属性推定を属性均一領域単位で行うことで、表面属性推定の精度を向上させ、再現する対象物体のリアリティをより一層向上させることができる。また、属性均一領域に細分化するセグメンテーション処理を、取得されたテクスチャマップ上で行うことにより、処理を容易にすることができる。

さらに、セグメンテーション結果を装置の制御にフィードバックし、再度実測を行うことで、データ取得の精度をより向上させることができ、よりリアリティの高い物体描画が可能となる。

以下に本発明の実施に係る実施例を説明する。
（実施例１）

図１は、本実施例の構成を示す概略構成図である。本発明の三次元画像処理装置は、取り込まれた対象物体を再現する際に、観察に用いる照明環境を任意に設定し、かつ対象物体の位置および向きを観察空間内で自由に変更することで、所望の観察環境下での対象物体の画像を表示および印刷出力する装置である。構成として、対象物体の三次元形状を取得する三次元形状取得部３と、対象物体の色・光沢・質感などを取得する表面属性取得部１と、これらの三次元データを統合する三次元データ統合部５と、入力環境パラメータに従い三次元形状取得あるいは表面属性取得を行う制御部２と、対象物体を表面属性に対して領域分割するセグメンテーション処理部４と、再現時の観察環境を設定する操作部９と、三次元統合データおよび再現時の観察環境データに基づき対象物体の画像を再構築する任意環境画像生成部７と、表示および印刷出力する画像出力部８とで構成される。

三次元形状取得部３は、レーザレーダ法、スリット光投影法、パターン投影法などを用いた三次元計測装置から得られるデータから、三次元立体形状モデルを生成する。ここで、三次元立体形状モデルとしては、たとえばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。

表面属性取得部１は、光像を画像データに光電変換して入力する、ディジタルスチルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置から得られる画像データ、三次元形状取得部３により得られた三次元立体形状モデル、およびセグメンテーション処理部４により得られた領域分割結果を用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをよりリアルに表現することができる。ここで、三次元立体形状モデル生成のための三次元計測装置と、表面属性データ生成のための画像入力装置は、別個であっても一体のものであっても構わない。

制御部２は、入力環境パラメータに従い三次元形状取得あるいは表面属性取得を行う。

三次元データ統合部５は、三次元形状取得部３により得られた三次元立体形状モデルと、表面属性取得部１により得られた表面属性データとを統合し、対象物体の三次元摺統合データを作成する。

ユーザは、操作部９により所望の照明条件・対象物体の位置や向きなどの観察環境の設定を行う。

任意環境画像生成部７は、操作部９により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。

画像出力部８は、ＴＶモニタやプリンタなどからなり、任意環境画像生成部７により再構築された画像の表示や印刷出力を行う。

図２は、本実施例の三次元形状取得および表面属性取得における装置の概略図である。対象物体５１は、コンピュータ制御可能な回転ステージ５５の上に配置され、コンピュータ５９から指令された角度で連続的に回転軸５６を中心として回転する。測定環境における回転軸５６の位置は既知とする。

照明光源５７は、表面属性取得の際に使用する照明であり、一つもしくは複数配置され、コンピュータ５９からの指令により、照明光スペクトル、光の強度、照明光形状、個数、測定環境における位置の制御が可能になっている。

三次元計測装置および画像入力装置５３は、対象物体５１から離れた位置に配置され、コンピュータ５９からの指令により、測定空間内の任意の位置に移動し、データ入力を行うことができる。

コンピュータ５９は、回転ステージ５５、照明光源５７に対して指令を送り測定環境を確定した後に、三次元計測装置および画像入力装置５３に対し指令を送り三次元形状計測および画像入力を行う。ここで、三次元計測装置と画像入力装置は一体の構成であっても構わない。さらに、この実測データから三次元形状および表面属性の取得を行い、三次元統合データを作成する。

次に表面属性取得部１の構成を図３を用いて説明する。表面属性取得部１は、実測データ、入力環境パラメータ、三次元形状データ、および、領域分割結果を用いて、対象物体の各分割領域ごとに色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。図において、実測データ取捨選択部４１は、入力された実測データのうち、入力環境パラメータの情報に基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う。拡散反射領域抽出部４３は、選別された実測データの中から拡散反射成分のみのデータを抽出する。鏡面反射成分分離部４５は、鏡面反射成分を含んだデータから、鏡面反射成分を分離する。推定処理の流れについては後で詳しく述べる。
次に本実施例の三次元画像処理装置において、実測から三次元統合データ作成までの処理について、図２の装置概略図および図４のフローチャートを参照しながら説明する。まず、あらかじめ決められた入力環境パラメータに基づき、対象物体表面上の各頂点に関して、三次元計測装置および画像入力装置５３により実測データを入力する（Ｓ２）。入力環境パラメータには、実測を行うべき回転ステージ５５の回転間隔、三次元計測装置および画像入力装置５３の位置、照明光源５７の照明光スペクトル・光の強度・照明光形状・個数・位置が決められている。つづいて三次元形状データを作成する（Ｓ３）。つぎに入力した多視点画像群（Ｓ４）から、対象物体表面のテクスチャマップを作成する（Ｓ５）。さらに作成されたテクスチャマップ上で、表面属性が均一な領域に細分化するセグメンテーション処理を行う（Ｓ６）。ここで、セグメンテーション処理においては、テクスチャマップ上の各画素の色相情報、明度情報、法線情報などを用いることで自動的に行う。つづいて表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した実測データにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。まず、入力した実測データのうち、入力環境パラメータの情報に基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う（Ｓ８）。つづいて、選別された実測データのみを用いて、拡散反射成分のみのデータを抽出する（Ｓ９）。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（Ｓ１０）。つづいて鏡面反射成分を含んだデータから、鏡面反射成分を分離し（Ｓ１１）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（Ｓ１２）。以上の処理を各均一領域ごとに行うことで各領域における表面属性パラメータを推定し、対象物体表面全体の推定を行う。ここで、各領域内で表面属性が均一となる条件のもとで推定処理を行う。対象物体表面全体の推定が終了した時点で（Ｓ１３）、三次元統合データが作成されている（Ｓ１４）。

次にテクスチャマップ上におけるセグメンテーションについて、図５を用いて説明する。図は、対象物体の展開図にあたるテクスチャマップの例である。テクスチャマップは二次元画像であり、対象物体の三次元形状データの各頂点が、テクスチャマップ画像における座標値と関連付けられている。テクスチャマップ上の各画素の色相情報、明度情報、さらには関連付けられている三次元形状データにおける法線情報などを用いることで、図に示すようにマップ画像をいくつかの均一な領域に細分化することができる。この領域分割結果を用いて、表面属性取得部では、対象物体の各分割領域ごとに色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。

次に操作部９の構成を詳細に説明する。操作部９は、観察環境データを作成するための観察環境を決定する。ユーザの入力操作により、所望の照明条件・対象物体の位置や向きなどの観察環境データを作成する。照明光源の設定では、再現時に対象物体に照射する照明光の色、輝度、位置、形状（点光源、線光源、面光源、平行光など）、個数を設定する。対象物体配置の設定では、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これらの設定値をもとに再現時に用いる観察環境データを作成する。

次に本実施例の三次元画像処理装置において、ユーザが所望する観察環境下での対象物体の画像を再現するための、操作部および任意環境画像生成・提示について、図６を参照しながら説明する。ユーザは、照明光源設定部９７により、対象物体に照射する照明光の色、輝度、位置、形状（点光源、線光源、面光源、平行光など）を設定する。ここで、複数の照明光源を設定することができるようになっている。これにより、観察空間において任意の色、輝度、形状をもつ、一つまたは複数の照明光源を９３に示すように任意の位置に配置することができる。さらに、ユーザは、対象物体配置設定部９５により、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これにより、観察空間において、対象物体を９１に示すように任意の方向に移動、回転させることができ、対象物体を所望する方向から観察することができる。任意環境画像生成部７は、照明光源設定部９７および対象物体配置設定部９５により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築し、提示する。ユーザが設定する対象物体・照明光源・視点の位置関係や照明光源の色・輝度・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることができるので、対象物体の質感、光沢感、立体感などをよりリアルに表現することが可能となる。

以上述べたように、対象物体の三次元形状および表面属性を取得し、三次元統合データとして統合し、ユーザが設定した観察環境下での対象物体の画像を再構築、提示することで、ユーザに対象物体の質感、光沢感、立体感などをよりリアルに伝えることが可能となる。また、表面属性推定を属性均一領域単位で行うことで、表面属性推定の精度を向上させ、再現する対象物体のリアリティをより一層向上させることができる。また、属性均一領域に細分化するセグメンテーション処理を、取得されたテクスチャマップ上で行うことにより、処理を容易にすることができる。
（実施例２）

図７は、本実施例の構成を示す概略構成図である。本発明の三次元画像処理装置は、取り込まれた対象物体を再現する際に、観察に用いる照明環境を任意に設定し、かつ対象物体の位置および向きを観察空間内で自由に変更することで、所望の観察環境下での対象物体の画像を表示および印刷出力する装置である。構成として、対象物体の三次元形状を取得する三次元形状取得部１３と、対象物体の色・光沢・質感などを取得する表面属性取得部１１と、これらの三次元データを統合する三次元データ統合部１５と、入力環境パラメータに従い三次元形状取得あるいは表面属性取得を行う制御部１２と、対象物体を表面属性に対して領域分割するセグメンテーション処理部１４と、セグメンテーション処理の際にユーザとのインタラクションを行い属性均一領域を設定し、さらに再現時の観察環境を設定する操作部１９と、三次元統合データおよび再現時の観察環境データに基づき対象物体の画像を再構築する任意環境画像生成部１７と、表示および印刷出力する画像出力部１８とで構成される。

三次元形状取得部１３は、レーザレーダ法、スリット光投影法、パターン投影法などを用いた三次元計測装置から得られるデータから、三次元立体形状モデルを生成する。ここで、三次元立体形状モデルとしては、たとえばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。

ユーザは、操作部１９において、テクスチャマップ上で表面属性による領域分割を行う。操作部１９は、ユーザとのインタラクションによる設定値をセグメンテーション処理部１４に渡し、セグメンテーション処理部１４において、テクスチャマップ上の領域分割が決定される。

表面属性取得部１１は、光像を画像データに光電変換して入力する、ディジタルスチルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置から得られる画像データ、三次元形状取得部１３により得られた三次元立体形状モデル、およびセグメンテーション処理部１４により得られた領域分割結果を用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをよりリアルに表現することができる。ここで、三次元立体形状モデル生成のための三次元計測装置と、表面属性データ生成のための画像入力装置は、別個であっても一体のものであっても構わない。

制御部１２は、入力環境パラメータに従い三次元形状取得あるいは表面属性取得を行う。
三次元データ統合部１５は、三次元形状取得部１３により得られた三次元立体形状モデルと、表面属性取得部１１により得られた表面属性データとを統合し、対象物体の三次元摺統合データを作成する。

ユーザは、操作部１９により所望の照明条件・対象物体の位置や向きなどの観察環境の設定を行う。

任意環境画像生成部１７は、操作部１９により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。

画像出力部１８は、ＴＶモニタやプリンタなどからなり、任意環境画像生成部１７により再構築された画像の表示や印刷出力を行う。

ここで、テクスチャマップのセグメンテーションと観察環境データの作成を同一の操作部１９において行う場合について説明したが、これら二つの処理を異なる操作部に分ける構成にしても構わない。

次に操作部１９の構成を詳細に説明する。操作部１９は、テクスチャマップを表面属性が均一ないくつかの領域に細分化するためのセグメンテーションの決定と、観察環境データを作成するための観察環境の決定を行う。セグメンテーションの決定では、領域分割を設定する。ユーザの入力操作により、テクスチャマップを表面属性が均一ないくつかの領域に細分化していく。観察環境の決定では、ユーザの入力操作により、所望の照明条件・対象物体の位置や向きなどの観察環境データを作成する。照明光源の設定では、再現時に対象物体に照射する照明光の色、輝度、位置、形状（点光源、線光源、面光源、平行光など）、個数を設定する。対象物体配置の設定では、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これらの設定値をもとに再現時に用いる観察環境データを作成する。ここで、セグメンテーションの決定と観察環境の決定が同一の操作部１９内で行われる場合について説明したが、これらを異なる操作部に分ける構成にしても構わない。

次に本実施例の三次元画像処理装置において、実測から三次元統合データ作成までの処理について、図２の装置概略図および図８のフローチャートを参照しながら説明する。まず、あらかじめ決められた入力環境パラメータに基づき、対象物体表面上の各頂点に関して、三次元計測装置および画像入力装置５３により実測データを入力する（Ｓ２２）。入力環境パラメータには、実測を行うべき回転ステージ５５の回転間隔、三次元計測装置および画像入力装置５３の位置、照明光源５７の照明光スペクトル・光の強度・照明光形状・個数・位置が決められている。つづいて三次元形状データを作成する（Ｓ２３）。つぎに入力した多視点画像群（Ｓ２４）から、対象物体表面のテクスチャマップを作成する（Ｓ２５）。つづいて、ユーザとのインタラクションにより、テクスチャマップ上の属性均一領域を指定していく（Ｓ２０）。ここで、すべてユーザとのインタラクションによって領域分割を行ってもよいし、テクスチャマップ上の各画素の色相情報、明度情報、法線情報などにより均一領域の候補を自動的に求めユーザに提示してもよい。ユーザインタラクションが行われる度に、セグメンテーションの様子は三次元モデル上に表示され（Ｓ２６）、ユーザはセグメンテーションの様子を確認することができる。セグメンテーションが終了したとユーザが判断するまで、ユーザインタラクションは繰り返し行われる。セグメンテーションが終了すると（Ｓ２７）、つづいて表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した実測データにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。まず、入力した実測データのうち、入力環境パラメータの情報に基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う（Ｓ２８）。つづいて、選別された実測データのみを用いて、拡散反射成分のみのデータを抽出する（Ｓ２９）。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（Ｓ３０）。つづいて鏡面反射成分を含んだデータから、鏡面反射成分を分離し（Ｓ３１）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（Ｓ３２）。以上の処理を各均一領域ごとに行うことで各領域における表面属性パラメータを推定し、対象物体表面全体の推定を行う。ここで、各領域内で表面属性が均一となる条件のもとで推定処理を行う。対象物体表面全体の推定が終了した時点で（Ｓ３３）、三次元統合データが作成されている（Ｓ３４）。

次に操作部１９のセグメンテーション決定部におけるユーザインタラクションについて、図９および図１０を参照しながら説明する。実測により得られる多視点画像群から対象物体の展開図にあたるテクスチャマップ３９が作成され、ユーザに提示される。テクスチャマップは二次元画像であり、対象物体の三次元形状データの各頂点が、テクスチャマップ画像における座標値と関連付けられている。ユーザは、以下に説明するツールを用いてセグメンテーションを対話的に設定する。表面属性領域分割設定部３５により、対象物体表面上で表面属性が均一な領域を設定する。セグメンテーションの様子は図１０に示すように三次元モデル上に提示される。図において６１は対象物体の三次元モデルであり、ユーザは、対象物体配置設定部６５により、対象物体に対して上下、左右、手前奥の三次元的な移動、および任意の軸を中心とした回転を設定する。これにより、対象物体を６１に示すように任意の方向に移動、回転させることができ、対象物体を所望する方向から観察し、セグメンテーションの様子を確認することができる。またユーザは、均一領域表示要求部３６を用いることで、テクスチャマップ上の各画素の色相情報、明度情報、法線情報などによって自動的に求められた均一領域の候補をマップ上に表示させることができ、セグメンテーションを設定する際の参考にできる。設定された均一領域は、領域リスト３７により確認することができる。この領域分割結果を用いて、表面属性取得部では、対象物体の各分割領域ごとに色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。

表面属性取得部１１の構成、ユーザが所望する観察環境下での対象物体の画像を再現するための操作部および任意環境画像生成・提示については、第１の実施例におけるものと同様である。

以上述べたように、表面属性均一領域に細分化するセグメンテーション処理の際にユーザとのインタラクションを取り入れることにより、表面属性推定の精度を向上させることができ、よりリアリティの高い物体描画が可能となる。また、セグメンテーションの様子を三次元モデル上に表示しユーザに提示することで、より容易にセグメンテーションを行うことが可能となる。
（実施例３）

図１１は、本実施例の構成を示す概略構成図である。本発明の三次元画像処理装置は、取り込まれた対象物体を再現する際に、観察に用いる照明環境を任意に設定し、かつ対象物体の位置および向きを観察空間内で自由に変更することで、所望の観察環境下での対象物体の画像を表示および印刷出力する装置である。構成として、対象物体の三次元形状を取得する三次元形状取得部２３と、対象物体の色・光沢・質感などを取得する表面属性取得部２１と、これらの三次元データを統合する三次元データ統合部２５と、あらかじめ設定されたあるいはセグメンテーション処理部２４によって更新された入力環境パラメータに従い三次元形状取得あるいは表面属性取得を行う制御部２２と、対象物体を表面属性に対して領域分割し、さらに入力環境パラメータを更新するセグメンテーション処理部２４と、セグメンテーション処理の際にユーザとのインタラクションを行い属性均一領域を設定し、さらに再現時の観察環境を設定する操作部２９と、三次元統合データおよび再現時の観察環境データに基づき対象物体の画像を再構築する任意環境画像生成部２７と、表示および印刷出力する画像出力部２８とで構成される。

制御部２２は、あらかじめ設定されたあるいはセグメンテーション処理部２４によって更新された入力環境パラメータに従い三次元形状取得あるいは表面属性取得を行う。

三次元形状取得部２３は、レーザレーダ法、スリット光投影法、パターン投影法などを用いた三次元計測装置から得られるデータから、三次元立体形状モデルを生成する。ここで、三次元立体形状モデルとしては、たとえばポリゴンによる表面モデル、あるいは異なる形状の表面形状要素の集合として表現することができる。

ユーザは、操作部２９において、テクスチャマップ上で表面属性による領域分割を行う。操作部２９は、ユーザとのインタラクションによる設定値をセグメンテーション処理部２４に渡し、セグメンテーション処理部２４において、テクスチャマップ上の領域分割が設定される。セグメンテーション結果から再実測を必要とする場合には、セグメンテーションに応じて新たに入力環境パラメータを作成し、制御部２２に渡す。制御部２２は、新たな入力環境パラメータに従い三次元形状取得あるいは表面属性取得を再度行う。セグメンテーション結果から再実測を必要としない場合には、テクスチャマップ上の領域分割を確定し、表面属性取得部２１に渡す。

表面属性取得部２１は、光像を画像データに光電変換して入力する、ディジタルスチルカメラ、ビデオカメラ、マルチスペクトルカメラなどの画像入力装置から得られる画像データ、三次元形状取得部２３により得られた三次元立体形状モデル、およびセグメンテーション処理部２４により得られた領域分割結果を用いて、対象物体の色・光沢・質感にかかわる表面属性パラメータを推定し、表面属性データを生成する。表面属性データにより、再現時の対象物体・照明光源・視点の位置関係や照明光源の色・形状といった観察環境に応じて、再現画像における鏡面反射の位置・広がり・形状・強度などを変化させることが可能となり、対象物体の質感、光沢感、立体感などをよりリアルに表現することができる。ここで、三次元立体形状モデル生成のための三次元計測装置と、表面属性データ生成のための画像入力装置は、別個であっても一体のものであっても構わない。

三次元データ統合部２５は、三次元形状取得部２３により得られた三次元立体形状モデルと、表面属性取得部２１により得られた表面属性データとを統合し、対象物体の三次元摺統合データを作成する。

ユーザは、操作部２９により所望の照明条件・対象物体の位置や向きなどの観察環境の設定を行う。

任意環境画像生成部２７は、操作部２９により設定された観察環境データに従い、ユーザが所望する観察環境下での対象物体の画像を再構築する。

画像出力部２８は、ＴＶモニタやプリンタなどからなり、任意環境画像生成部２７により再構築された画像の表示や印刷出力を行う。

ここで、テクスチャマップのセグメンテーションと観察環境データの作成を同一の操作部２９において行う場合について説明したが、これら二つの処理を異なる操作部に分ける構成にしても構わない。また、ここで、テクスチャマップのセグメンテーション処理をユーザとのインタラクションにより行う場合について説明したが、自動処理によりセグメンテーションを行っても構わない。

次に制御部２２の構成を図１２を用いて説明する。制御部２２は、入力環境パラメータに従い三次元形状取得および表面属性取得を行う。図において、回転ステージ制御部７７は、入力環境パラメータに基づき回転ステージの回転角度を連続的に制御する。照明光源制御部７８は、照明光源に対して、照明光スペクトル、光の強度、照明光形状、個数、測定環境における位置の制御を行う。三次元計測装置制御部７５は、入力環境パラメータから得られる測定位置まで三次元計測装置を移動し、連続的にデータの入力を行う。画像入力装置制御部７６は、入力環境パラメータから得られる測定位置まで画像入力装置を移動し、連続的にデータの入力を行う。

次に本実施例の三次元画像処理装置において、実測から三次元統合データ作成までの処理について、図２の装置概略図および図１３のフローチャートを参照しながら説明する。まず、あらかじめ決められた入力環境パラメータに基づき、対象物体表面上の各頂点に関して、三次元計測装置および画像入力装置５３により実測データを入力する（Ｓ４２）。入力環境パラメータには、実測を行うべき回転ステージ５５の回転間隔、三次元計測装置および画像入力装置５３の位置、照明光源５７の照明光スペクトル・光の強度・照明光形状・個数・位置が決められている。つづいて三次元形状データを作成する（Ｓ４３）。つぎに入力した多視点画像群（Ｓ４４）から、対象物体表面のテクスチャマップを作成する（Ｓ４５）。つづいて、ユーザとのインタラクションにより、テクスチャマップ上の属性均一領域を指定していく（Ｓ４０）。ここで、すべてユーザとのインタラクションによって領域分割を行ってもよいし、テクスチャマップ上の各画素の色相情報、明度情報、法線情報などにより均一領域の候補を自動的に求めユーザに提示してもよい。ユーザインタラクションが行われる度に、セグメンテーションの様子は三次元モデル上に表示され（Ｓ４６）、ユーザはセグメンテーションの様子を確認することができる。セグメンテーションが終了したとユーザが判断するまで、ユーザインタラクションは繰り返し行われる。ここで、テクスチャマップのセグメンテーション処理をユーザとのインタラクションにより行う場合について説明したが、自動処理によりセグメンテーションを行っても構わない。セグメンテーションが終了すると（Ｓ４７）、セグメンテーション結果から再実測が必要かどうかの判断を行う（Ｓ５５）。再実測が必要と判断された場合、セグメンテーション結果に基づき入力環境パラメータを更新する（Ｓ５６）。ここで、表面属性による領域分割において、均一な表面属性領域の境界付近であれば、回転ステージ５５の回転間隔は細かく、あるいは三次元計測装置および画像入力装置５３の位置が対象物の細部を実測できるように設定される。表面属性が均一な領域であれば、回転ステージ５５の回転間隔、あるいは三次元計測装置および画像入力装置５３の位置は、余分な実測データを取得しないように設定される。また、推定する表面属性があらかじめ用意された材質リストのどのカテゴリーに分類されるかが設定されていれば、各材質に適した撮影条件になるように、回転ステージ５５の回転間隔、三次元計測装置および画像入力装置５３の位置、照明光源５７の照明光スペクトル・光の強度・照明光形状・個数・位置が設定される。例えば、金属であれば、ピークの鋭い鏡面反射成分を精度よく取得できるように、回転ステージ５５の回転間隔は細かく、照明光源５７の強度が強すぎないように適正値に設定される。新たに作成された入力環境パラメータに基づき、実測からの処理を再度行う。以上の処理は、再実測の必要がないと判断されるまで繰り返し行われる。セグメンテーション結果から再実測の必要性がないと判断されれば、つづいて表面属性推定処理を行う。ここでは、物体表面における反射光は、拡散反射成分と鏡面反射成分の二つに分けられるという２色性反射モデルの特徴を利用する。これにより、複数の環境下で実測した実測データにおける各頂点の対応点の輝度・色の変化を解析することで、それぞれの頂点における表面属性を推定することができる。まず、入力した実測データのうち、入力環境パラメータの情報に基づき推定処理に不要なデータや、ノイズ、陰影、オクルージョン、混色などの影響により、情報が欠如したり誤差を大きく含むデータを除去し、実測データの取捨選択を行う（Ｓ４８）。つづいて、選別された実測データのみを用いて、拡散反射成分のみのデータを抽出する（Ｓ４９）。抽出されたデータから、表面属性パラメータのうち物体色に関するパラメータの推定を行う（Ｓ５０）。つづいて鏡面反射成分を含んだデータから、鏡面反射成分を分離し（Ｓ５１）、表面属性パラメータのうち反射特性に関するパラメータの推定を行う（Ｓ５２）。以上の処理を各均一領域ごとに行うことで各領域における表面属性パラメータを推定し、対象物体表面全体の推定を行う。ここで、各領域内で表面属性が均一となる条件のもとで推定処理を行う。対象物体表面全体の推定が終了した時点で（Ｓ５３）、三次元統合データが作成されている（Ｓ５４）。

操作部２９のセグメンテーション決定部におけるユーザインタラクションについては、第２の実施例におけるものと同様である。

表面属性取得部２１の構成、ユーザが所望する観察環境下での対象物体の画像を再現するための操作部および任意環境画像生成・提示については、第１、第２の実施例におけるものと同様である。

以上述べたように、セグメンテーション結果を装置の制御にフィードバックし、再度実測を行うことで、データ取得の精度をより向上させることができ、よりリアリティの高い物体描画が可能となる。

本発明の第１の実施例の三次元画像処理装置の構成を示す概略構成図である。 本発明の三次元画像処理装置の三次元形状取得および表面属性取得を示す概略図である。 本発明の表面属性取得部の構成を示す概略構成図である。 本発明の第１の実施例の実測から三次元統合データ作成までの処理を示すフローチャートである。 本発明の第１の実施例のテクスチャマップ上におけるセグメンテーションを示す図である。 本発明の三次元画像処理装置の任意環境画像提示を示す図である。 本発明の第２の実施例の三次元画像処理装置の構成を示す概略構成図である。 本発明の第２の実施例の実測から三次元統合データ作成までの処理を示すフローチャートである。 本発明の第２の実施例の操作部のセグメンテーション決定部におけるユーザインタラクションを示す図である。 本発明の第２の実施例の三次元モデル上でのセグメンテーション提示を示す図である。 本発明の第３の実施例の三次元画像処理装置の構成を示す概略構成図である。 本発明の第３の実施例の制御部の構成を示す概略構成図である。 本発明の第３の実施例の実測から三次元統合データ作成までの処理を示すフローチャートである。

符号の説明

１ 表面属性取得部
２ 制御部
３ 三次元形状取得部
４ セグメンテーション処理部
５ 三次元データ統合部
７ 任意環境画像生成部
８ 画像出力部
９ 操作部
１１ 表面属性取得部
１２ 制御部
１３ 三次元形状取得部
１４ セグメンテーション処理部
１５ 三次元データ統合部
１７ 任意環境画像生成部
１８ 画像出力部
１９ 操作部
２１ 表面属性取得部
２２ 制御部
２３ 三次元形状取得部
２４ セグメンテーション処理部
２５ 三次元データ統合部
２７ 任意環境画像生成部
２８ 画像出力部
２９ 操作部
３５ 表面属性領域分割設定部
３６ 均一領域表示要求部
３７ 領域リスト
３９ テクスチャマップ
４１ 実測データ取捨選択部
４３ 拡散反射領域抽出部
４５ 鏡面反射成分分離部
５１ 対象物体
５３ 三次元計測装置および画像入力装置
５５ 回転ステージ
５６ 回転軸
５７ 照明光源
５９ コンピュータ
６１ 対象物体
６５ 対象物体配置設定部
７５ 三次元計測装置制御部
７６ 画像入力装置制御部
７７ 回転ステージ制御部
７８ 照明光源制御部
９１ 対象物体
９３ 照明光源
９５ 対象物体配置設定部
９７ 照明光源設定部

Claims (15)

1. 実在物体の三次元情報を入力する三次元画像処理装置において、
   三次元形状取得部、表面属性取得部、三次元データ統合部、制御部を有し、取得されたテクスチャマップ上で表面属性に対するセグメンテーションを行うことを特徴とする三次元画像処理装置。
2. 前記テクスチャマップ上でのセグメンテーションは自動処理により行うことを特徴とする請求項１に記載の三次元画像処理装置。
3. 前記テクスチャマップ上でのセグメンテーションの自動処理はテクスチャマップ上の各画素の色相情報、明度情報、法線情報のうち少なくとも１つを用いることで行うことを特徴とする請求項２に記載の三次元画像処理装置。
4. 前記三次元画像処理装置はさらにテクスチャマップ上でのセグメンテーションをユーザと対話的に行うための操作部を備えることを特徴とする請求項１に記載の三次元画像処理装置。
5. 前記三次元画像処理装置はテクスチャマップ上でのセグメンテーションの様子を三次元モデル上で表示することでユーザに提示することを特徴とする請求項１乃至４に記載の三次元画像処理装置。
6. 前記三次元画像処理装置はテクスチャマップ上でのセグメンテーション結果を用いて、均一領域ごとに表面属性推定処理を行うことを特徴とする請求項１乃至５に記載の三次元画像処理装置。
7. 前記三次元画像処理装置はテクスチャマップ上でのセグメンテーション結果を装置の制御にフィードバックし、再度測定を行うことを特徴とする請求項１乃至６に記載の三次元画像処理装置。
8. 実在物体の三次元情報を入力する三次元画像処理方法において、
   三次元形状取得部、表面属性取得部、三次元データ統合部、制御部を備え、取得されたテクスチャマップ上で表面属性に対するセグメンテーションを行うことを特徴とする三次元画像処理方法。
9. 前記テクスチャマップ上でのセグメンテーションは自動処理により行うことを特徴とする請求項８の三次元画像処理方法。
10. 前記テクスチャマップ上でのセグメンテーションの自動処理はテクスチャマップ上の各画素の色相情報、明度情報、法線情報のうち少なくとも１つを用いることで行うことを特徴とする請求項９に記載の三次元画像処理方法。
11. 前記三次元画像処理方法は操作部を介してテクスチャマップ上でのセグメンテーションをユーザと対話的に行うことを特徴とする請求項８に記載の三次元画像処理方法。
12. 前記三次元画像処理方法はテクスチャマップ上でのセグメンテーションの様子を三次元モデル上で表示することでユーザに提示することを特徴とする請求項８乃至１１に記載の三次元画像処理方法。
13. 前記三次元画像処理方法はテクスチャマップ上でのセグメンテーション結果を用いて、均一領域ごとに表面属性推定処理を行うことを特徴とする請求項８乃至１２に記載の三次元画像処理装置。
14. 前記三次元画像処理方法はテクスチャマップ上でのセグメンテーション結果を装置の制御にフィードバックし、再度測定を行うことを特徴とする請求項８乃至１３に記載の三次元画像処理方法。
15. 任意環境画像生成部、操作部、画像出力部を備え、取り込まれた三次元統合データを画像処理して任意の環境における画像を生成し、画像出力装置に表示あるいは印刷出力する三次元画像処理装置と、請求項１乃至７に記載の三次元画像処理装置とを有することを特徴とする三次元画像処理システム。
    

Images