JP2003216969A

JP2003216969A - 表面属性取得方法、表面属性取得プログラム、三次元画像処理方法、表面属性取得装置、三次元画像処理装置および三次元画像処理システム

Info

Publication number: JP2003216969A
Application number: JP2002011637A
Authority: JP
Inventors: Shinya Urisaka; 真也瓜阪
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-01-21
Filing date: 2002-01-21
Publication date: 2003-07-31

Abstract

(57)【要約】【課題】モデリング作業の多くは今だ人手に頼ってい
るのが現状であり、特に表面属性に関してリアリティ高
く、かつ手軽にモデリングすることのできる装置が存在
しない。【解決手段】照明手段５７により実物体５１を照明し
て、この実物体による反射光を受光素子５３により受光
させ、この受光素子からの出力信号に基づいて実物体の
表面属性を推定する。そして、推定した表面属性に基づ
いて三次元コンピュータグラフィクスに適用される表面
属性データを作成する。照明手段および受光素子の姿勢
を検出する検出手段を設け、実物体に対する照明手段お
よび受光素子の姿勢を変えて受光素子に反射光を受光さ
せることができるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、三次元コンピュー
タグラフィクス（ＣＧ）によるモデル制作において、現
実に存在する対象物体（実物体）の表面の色，光沢，質
感などの表面属性を再現するための表面属性取得方法、
三次元画像処理方法およびこれらを使用する装置に関す
るものである。

【０００２】

【従来の技術】近年、三次元ＣＡＤや三次元コンピュー
タグラフィクスを用いた画像制作、映像制作が盛んに行
われるようになってきている。これらの画像・映像制作
過程においては、設計対象またはコンピュータグラフィ
クス表示を行う対象の幾何形状および表面属性のデータ
を数値モデルの形で表現する、すなわちモデリングの作
業が必要である。

【０００３】従来、実在する物体の三次元情報を入力す
る画像処理装置として、接触型の位置センサを利用した
方法や非接触の三次元計測の方法としてスリット光投影
法（光切断法ともいう）またはパターン投影法が知られ
ている。

【０００４】

【発明が解決しようとする課題】しかしながら、モデリ
ング作業の多くは今だ人手に頼っているのが現状であ
り、特に表面属性に関しては、対象物体の表面の質感を
一般利用者がリアリティ高く、かつ手軽にモデリングす
ることのできる装置は存在しない。

【０００５】そこで、本発明は、三次元コンピュータグ
ラフィクス（ＣＧ）におけるモデル制作において、現実
に存在する対象物体表面の色、光沢、質感などを取り込
みＣＧパラメータに変換することでモデル制作の支援を
行い、一般利用者にとってもモデリング作業が容易に行
うことのできる表面属性取得方法、三次元画像処理装置
およびこれらを用いた装置を提供することを目的として
いる。

【０００６】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明の表面属性取得方法および装置において
は、照明手段により実物体を照明して、この実物体によ
る反射光を受光素子により受光させ、この受光素子から
の出力信号に基づいて実物体の表面属性を推定する。そ
して、推定した表面属性に基づいて三次元コンピュータ
グラフィクスに適用される表面属性データを作成する。

【０００７】すなわち、受光素子からの出力信号によ
り、実物体の表面の色や輝度データを得ることができる
ので、これらのデータに基づいて実物体の表面の色，光
沢，質感などの表面属性を推定し、さらに三次元コンピ
ュータグラフィクスに適用される表面属性データを作成
する。これにより、実物体の表面属性をリアルに再現し
た三次元コンピュータグラフィクスのモデリング作業を
一般利用者であっても容易に行うことが可能となる。

【０００８】なお、照明手段および受光素子の姿勢を検
出する検出手段を設け、実物体に対する照明手段および
受光素子の姿勢を変えて受光素子に反射光を受光させる
ことができるようにすることで、実物体の表面各部（例
えば、受光素子に光を導く光学系が合焦している部分や
使用者が任意に選択した特定箇所や特定箇所を含む特定
領域）における表面属性を個別に取得することが可能と
なり、実物体の表面属性をよりリアルに再現することが
可能となる。

【０００９】また、装置をペン型の筐体に収容すること
により、実物体の形状が複雑な部分や奥まった部分等の
表面属性も取得することが可能となる。

【００１０】

【発明の実施の形態】（第１実施形態）図１には、本発
明の第１実施形態である表面属性取得装置を含む三次元
画像処理装置の概略構成を示している。本実施形態の三
次元画像処理装置は、取り込まれた対象物体（実物体）
の三次元画像を再現する際に、観察に用いる照明環境を
任意に設定し、かつ対象物体の位置および向きを観察空
間内で自由に変更することで、所望の観察環境下での対
象物体の画像を表示および印刷出力する装置である。

【００１１】三次元画像処理装置は、対象物体の色・光
沢・質感などを取得する表面属性取得部１と、入力環境
パラメータに従って表面属性取得部１を制御する制御部
２と、取得されたデータを三次元コンピュータグラフィ
クスのモデルデータに変換するモデルデータ変換部５
と、画像再現時の観察環境を設定する操作部９と、対象
物体の三次元形状を記憶保持している三次元形状データ
記憶部８と、表面属性データ、三次元形状データおよび
画像再現時の観察環境データに基づいて対象物体の画像
を構築する任意環境画像生成部７と、表示および印刷出
力する画像出力部１１とで構成されている。

【００１２】表面属性取得部１は、光像を画像データに
光電変換して入力する（すなわち、受光素子としての撮
像素子を有する）ディジタルスチルカメラ、ビデオカメ
ラ、マルチスペクトルカメラなどの画像入力装置１０か
ら得られる画像データとしての実測データを用いて、対
象物体の色・光沢・質感にかかわる表面属性パラメータ
を推定し、表面属性データを生成する。

【００１３】表面属性データを得ることにより、画像再
現時の対象物体・照明光源・視点の位置関係や照明光源
の色・形状といった観察環境に応じて、再現画像におけ
る鏡面反射の位置・広がり・形状・強度などを変化させ
ることが可能となり、対象物体の質感、光沢感、立体感
などをよりリアルに表現することができる。

【００１４】制御部２は、入力環境パラメータに従って
表面属性取得部１を制御し、表面属性取得部１に表面属
性の推定および表面属性データの作成を行わせる。

【００１５】ここで、表面属性データ生成のための表面
属性取得部１と制御部２は、同一の装置内に構成されて
もよいし、それぞれ別の装置内に構成されてもよい。

【００１６】モデルデータ変換部５は、表面属性取得部
１により得られた表面属性データを三次元コンピュータ
グラフィクスのモデルデータに変換する。

【００１７】三次元形状データ記憶部８は、三次元形状
モデルデータとして、たとえばポリゴンによる表面モデ
ルあるいは異なる形状の表面形状要素の集合として表現
された三次元形状のデータを保持する。この三次元形状
モデルデータは、不図示の三次元測定装置により予め対
象物体を測定した結果に基づいて作成されたものであ
る。

【００１８】ユーザは、操作部９により所望の照明条件
・対象物体の位置や向きなどの観察環境の設定を行う。

【００１９】任意環境画像生成部７は、操作部９により
設定された観察環境データに従い、ユーザが所望する観
察環境下での対象物体の画像を構築する。

【００２０】画像出力部１１は、ＴＶモニタやプリンタ
などに接続可能であり、任意環境画像生成部７により構
築された画像のモニタ表示やプリンタ印刷を行わせるた
めの出力を行う。

【００２１】図２には、本実施形態の三次元画像処理装
置の具体的構成例を示している。本構成列では、画像入
力装置（１０）５３と、照明光源５７と、表面属性取得
部１、制御部２、モデルデータ変換部５、任意環境画像
生成部７、三次元形状データ記憶部８、操作部９および
画像出力部１１を備えたパーソナルコンピュータ５９と
から構成されている。

【００２２】対象物体５１は、表面属性値を取得するた
めの対象物体であり、不図示のステージ上に配置され
る。この測定環境における対象物体５１、照明光源５７
および視点（画像入力装置５３）の位置関係は既知とす
る。

【００２３】照明光源５７は、表面属性取得の際に使用
する照明であり、１つもしくは複数個配置されており、
コンピュータ５９からの指令により、照明光スペクト
ル、光の強度、照明光の形状、個数等の制御か可能であ
るとともに測定空間内での位置の制御が可能になってい
る。

【００２４】画像入力装置５３は、対象物体５１から離
れた位置に配置され、コンピュータ５９からの指令によ
り、測定空間内の任意の位置に移動して画像取り込みを
行うことができる。

【００２５】コンピュータ５９は、測定環境が確定した
後に、画像入力装置５３に対して指令を送り、画像入力
を行う。さらに、この実測した画像データから表面属性
の取得を行い、表面属性データを作成する。

【００２６】ここで、画像入力装置５３と照明光源５７
とコンピュータ５９は、一体の構成であっても構わな
い。例えば、ペン型の装置内に構成することも可能であ
る。

【００２７】次に、表面属性取得部１の構成を図３を用
いて説明する。表面属性取得部１は、実測データ、入力
環境パラメータを用いて、対象物体の色・光沢・質感に
かかわる表面属性パラメータを推定し、表面属性データ
を生成する。

【００２８】実測データ取捨選択部４１は、入力された
実測データ（画像データ）から推定処理に用いるデータ
のみを抜き出す。推定処理に用いるデータは、対象物体
の表面上の表面属性を推定すべき点を推定点というと、
画像中心付近の推定点や、画像入力装置５３の撮影光学
系の焦点が合っている推定点や、ユーザが操作部９を介
して指定した推定点の実測データであり、ノイズ・陰影
・オクルージョンなどの影響により情報が欠如したり誤
差を大きく含んだりしているデータは除去される。

【００２９】また、拡散反射領域抽出部４３は、選択さ
れた実測データの中から拡散反射成分のみのデータを抽
出する。

【００３０】鏡面反射成分分離部４５は、鏡面反射成分
を含んだデータから、鏡面反射成分を分離する。推定処
理の流れについては後述する。

【００３１】次に、本実施形態の三次元画像処理装置に
おいて、対象物体の表面属性の実測から表面属性データ
の作成までの処理を行うプログラムについて、図４のフ
ローチャートを用いて説明する。

【００３２】本実施形態においては、対象物体の表面属
性は、場所によらず均一であるものとして扱う。さら
に、表面属性推定処理では、物体表面における反射光
は、拡散反射成分と鏡面反射成分の２つに分けられると
いう２色性反射モデルの特徴を利用する。これにより、
実測データにおける各画素の輝度・色の変化を解析する
ことで、対象物体の表面属性を推定することができる。

【００３３】まず、ユーザによる操作部９の操作に応じ
て本フローが開始されると（ステップ〈図ではＳと略
す〉１）、から画像入力装置５３により対象物体の表面
の実測データを入力する（ステップ５）。次に入力され
た実測データから、実測データ取捨選択部部４１により
実測データの取捨選択を行う（ステップ９）。

【００３４】続いて、選別された実測データの中から拡
散反射成分のみのデータを抽出する（ステップ１０）。
そして抽出されたデータから表面属性パラメータのうち
物体色に関するパラメータの推定を行う（ステップ１
１）。

【００３５】また、選別された実測データのうち鏡面反
射成分を含んだデータから、鏡面反射成分を分離し（ス
テップ１２）、表面属性パラメータのうち反射特性に関
するパラメータの推定を行う（ステップ１３）。

【００３６】以上の処理を行うことで、対象物体の表面
属性パラメータを推定し、三次元コンピュータグラフィ
クスに適用可能な形態の表面属性データを作成する（ス
テップ１５）。そして、本フローを終了する（ステップ
１９）。

【００３７】ここでは、対象物体の表面の構成単位を画
素として説明したが、画素の代わりに微小面を用いるこ
とも可能である。

【００３８】次に、操作部９の構成について図５を用い
て説明する。操作部９は、観察環境データを作成するた
めの観察環境決定部８２を有する。この観察環境決定部
８２は、ユーザの入力操作により、所望の照明条件・対
象物体の位置や向きなどの観察環境データを作成する。

【００３９】図５において、照明光源設定部８１は、画
像再現時に対象物体に照射する照明光の色、輝度、位
置、形状（点光源、線光源、面光源、平行光など）、個
数を設定する。

【００４０】対象物体配置設定部８３は、対象物体に対
して上下、左右、手前奥の三次元的な移動および任意の
軸を中心とした回転角度を設定する。観察環境決定部８
２は、これらの設定値をもとに、再現時に用いる観察環
境データを作成する。

【００４１】次に、本実施形態の三次元画像処理装置に
おいて、ユーザが所望する観察環境下での対象物体の画
像を再現するための、操作および任意の観察環境での三
次元画像生成について、図６を参照しながら説明する。
ユーザは、コンピュータ５９のモニタ画面上に表示され
た操作画面上の照明光源設定部９７により、対象物体に
照射する照明光の色、輝度、位置、形状（点光源、線光
源、面光源、平行光など）を設定する。ここでは、複数
の照明光源について上記設定を行うことができるように
なっている。

【００４２】これにより、観察空間において、任意の
色、輝度、形状の照明光を照射する１つ又は複数の照明
光源を９３に示すように任意の位置に配置することがで
きる。

【００４３】さらに、ユーザは、操作画面上の対象物体
配置設定部９５により、対象物体に対して上下、左右、
手前奥の三次元的な移動および任意の軸を中心とした回
転位置を設定する。これにより、観察空間において、対
象物体の三次元画像９１を任意の方向に移動、回転させ
ることができ、三次元画像９１を所望の方向から観察す
ることができる。

【００４４】図１に示した任意環境画像生成部７は、表
面属性データ、三次元形状データ、照明光源設定部９７
および対象物体配置設定部９５により設定された観察環
境データに従って、ユーザが所望する観察環境下での対
象物体の三次元画像を構築する。

【００４５】これにより、ユーザが設定する対象物体・
照明光源・視点の位置関係や照明光源の色・輝度・形状
といった観察環境に応じて、再現画像における鏡面反射
の位置・広がり・形状・強度などを変化させることがで
きるので、対象物体の質感、光沢感、立体感などをより
リアルに再現した三次元画像を作成することが可能とな
る。

【００４６】以上説明したように、本実施形態によれ
ば、現実に存在する対象物体の色、光沢、質感などの表
面属性を取得し、三次元コンピュータグラフィクスに適
用可能なモデルデータとしての表面属性データに変換す
ることができるので、一般利用者にとってもモデリング
作業を容易に行うことが可能となる。

【００４７】また、作成したモデルデータを用いて、ユ
ーザが設定した観察環境下での対象物体の画像を構築
し、表示又は印刷出力することで、対象物体の質感、光
沢感、立体感などをよりリアルに再現した三次元画像を
提供することができる。

【００４８】（第２実施形態）図７には、本発明の第２
実施形態である表面属性取得装置の概略構成を示してい
る。本実施形態の表面属性取得装置は、現実に存在する
対象物体の表面の色、光沢、質感などを取り込み、三次
元コンピュータグラフィクスのモデルデータに変換して
不図示のパーソナルコンピュータに出力することで、こ
のコンピュータにおけるモデル制作の支援を行うための
装置である。なお、表面属性取得装置とコンピュータと
により三次元画像処理装置が構成される。

【００４９】本実施形態の表面属性取得装置は、対象物
体の色・光沢・質感などを取得する表面属性取得部１’
と、装置の姿勢を検知するための姿勢検知センサ１２
と、姿勢検知センサ１２からの信号に基づき表面属性取
得部１を制御する制御部２’と、取得されたデータを三
次元コンピュータグラフィクスのモデルデータに変換す
るモデルデータ変換部５とで構成される。

【００５０】表面属性取得部１’は、受けた光を光電変
換する受光センサ（受光素子）２５から得られる実測デ
ータを用いて、対象物体の表面上の点又は面の色・光沢
・質感にかかわる表面属性パラメータを推定し、表面属
性データを生成する。この表面属性データを生成するこ
とで、画像再現時の対象物体・照明光源・視点の位置関
係や照明光源の色・形状といった観察環境に応じて、再
現画像における鏡面反射の位置・広がり・形状・強度な
どを変化させることが可能となり、対象物体の質感、光
沢感、立体感などをよりリアルに再現した三次元画像を
作成することができる。

【００５１】制御部２’は、姿勢検知センサ１２からの
信号に基づいて入力環境（測定環境）パラメータを作成
し、表面属性取得部１’を制御し、表面属性を推定す
る。

【００５２】モデルデータ変換部５は、表面属性取得部
１により推定された表面属性を三次元コンピュータグラ
フィクスに適用されるモデルデータに変換する。

【００５３】図８には、本実施形態の表面属性取得装置
の具体的構成例を示している。この表面属性取得装置
は、ペン型の筐体２３内に、照明光源２７、受光センサ
２５、表面属性取得部１’、制御部２’、モデルデータ
変換部５を収容している。

【００５４】なお、図示はしないが、任意環境画像生成
部７、三次元形状データ記憶部８、操作部９および画像
出力部１１に相当する部分はパーソナルコンピュータ内
に設けられている。

【００５５】対象物体２１は、表面属性値を取得するた
めの対象物体であり、不図示のステージ上に配置され
る。この測定環境における対象物体２１、照明光源２７
および視点（受光センサ２５）の位置関係は既知とす
る。

【００５６】本実施形態の表面属性取得装置は、照明光
源２７および受光センサ２５を対象物体２１のうち表面
属性を推定すべき表面上の点（推定点）の近付けて実測
を行う。

【００５７】受光センサ２５からは推定点の色・輝度デ
ータを含んだ信号を出力し、姿勢検知センサ２９は、そ
の時点での表面属性取得装置の姿勢を示す信号を出力す
る。

【００５８】ユーザは、表面属性取得装置を手に持っ
て、その姿勢を変えながら繰り返し実測を行う。

【００５９】表面属性取得部１’は、複数回の実測から
得られたデータを用いて表面属性の推定処理を行い、モ
デルデータ変換部５は推定された表面属性を変換して三
次元コンピュータグラフィックスに適用可能な形態の表
面属性データを作成する。

【００６０】姿勢検知センサ２９を用いることで、推定
点における色・輝度データを姿勢を変えて取得したとき
の受光素子２５と照明光源２７の対象物体２１に対する
位置関係（測定環境）を把握することができる。したが
って、対象物体２１の表面の広い領域を表面属性均一と
みなして測定を行う必要がなくなり、装置の小型化を実
現できると同時に、表面属性推定処理の精度を向上させ
ることができる。

【００６１】また、ペン型のような小型の装置にするこ
とで、従来の装置では測定が困難であった、対象物体
（特に形状が複雑な立体形状のもの）の奥まった部分の
表面属性をも取得することが可能となる。

【００６２】なお、本実施形態では、表面属性を取得す
るために対象物体の表面上の点のデータのみを用いるよ
うに説明したが、点の代わりに点の周辺も含めた微小面
のデータを用いることも可能である。

【００６３】次に、表面属性取得部１’の構成を図９を
用いて説明する。表面属性取得部１’は、実測データ、
入力環境パラメータを用いて、対象物体の色・光沢・質
感にかかわる表面属性パラメータを推定し、表面属性デ
ータを生成する。

【００６４】図において、注目点選択部４７は、入力さ
れた実測データの中から、表面属性データの取得を行う
ある１点を注目点（推定点）として選択する。注目点の
選択方法は、受光センサ２５中心のデータを選択する、
不図示の受光光学系が最も焦点が合っている点を選択す
る、ユーザが指定する、などがある。

【００６５】実測データ取捨選択部４１は、受光センサ
２５を通じて入力された実測データのうち、入力環境パ
ラメータの情報に基づいて表面属性の推定処理に不要な
データや、ノイズ、陰影、オクルージョン、混色などの
影響により情報が欠如したり誤差を大きく含んだりする
データを除去し、実測データの取捨選択を行う。

【００６６】次に、本実施形態における表面属性取得装
置および三次元画像処理装置における実測から表面属性
データ作成までの処理を行うプログラムについて図１０
のフローチャートを参照しながら説明する。まず、ユー
ザによる操作に応じて本フローが開始されると（ステッ
プ２１）、姿勢検知センサ２９により本装置の姿勢を検
知し（ステップ２３）、さらに受光センサ２５により対
象物体の表面の実測データを入力する（ステップ２
５）。ユーザは、表面属性取得装置の姿勢を変更しなが
ら繰り返し実測を行う。

【００６７】実測が終了すると（ステップ２７）、表面
属性取得部１’は表面属性の推定処理を行う。ここで
は、物体表面における反射光は、拡散反射成分と鏡面反
射成分の２つに分けられるという２色性反射モデルの特
徴を利用する。これにより、複数の環境下で実測した実
測データにおける各注目点に対応する点の輝度・色の変
化を解析することで、それぞれの注目点における表面属
性を推定することができる。

【００６８】具体的には、まず入力された実測データ
（ステップ２８）の中から、表面属性データの取得を行
うある１点を注目点として選択する（ステップ２６）。
注目点の選択方法は、受光センサ中心のデータを選択す
る、最も焦点が合っている点を選択する、ユーザが指定
する、などがある。

【００６９】続いて、選択された注目点に関する実測デ
ータのうち、ノイズ、陰影、オクルージョンなどの影響
により、情報が欠如したり誤差を大きく含んだりするデ
ータを除去し、実測データの取捨選択を行う（ステップ
２９）。次に、選別された実測データのみを用いて、拡
散反射成分のみのデータを抽出する（ステップ３０）。
そして、抽出されたデータから、表面属性パラメータの
うち物体色に関するパラメータの推定を行う（ステップ
３１）。

【００７０】次に、鏡面反射成分を含んだデータから鏡
面反射成分を分離し（ステップ３２）、表面属性パラメ
ータのうち反射特性に関するパラメータの推定を行う
（ステップ３３）。

【００７１】以上の処理を行うことで対象物体の表面属
性パラメータを推定し、表面属性データを作成する（ス
テップ３５）。そして、本フローを終了する（ステップ
３９）。

【００７２】なお、本実施形態では、表面属性の推定処
理を対象物体の表面上の注目点のデータのみを用いて行
うように説明したが、点の代わりに注目点の周辺も含め
た微小面のデータを用いて行うことも可能である。

【００７３】以上述べたように、本実施形態では、姿勢
検知センサ２９により入力環境を把握しながら、対象と
する点あるいは面の個々の色・輝度データを入力条件を
変えて取得することができる。このため、対象物体の表
面の広い領域を表面属性均一とみなして測定を行う必要
がなくなり、装置の小型化を実現でき、さらには表面属
性推定処理の精度を向上させることができる。

【００７４】（第３実施形態）図１１には、本発明の第
３実施形態である表面属性取得装置における実測から表
面属性データ作成までの処理を行うプログラムのフロー
チャートを示している。本実施形態では、第２実施形態
における実測から表面属性データ作成までの処理を以下
のように置き換えるものである。表面属性取得装置およ
び表面属性取得部１’の構成については第２実施形態の
ものと同様であり、共通する構成要素には第２実施形態
と同符号を付す。

【００７５】ユーザによる操作に応じて本フローが開始
されると（ステップ４１）、まず姿勢検知センサ２９に
より表面属性取得装置の姿勢を検知し（ステップ４
３）、対象物体の表面の実測データを入力する（ステッ
プ４５）。ユーザは、表面属性取得装置の姿勢を変更し
ながら繰り返し実測を行う。

【００７６】複数回の実測が終了すると（ステップ４
７）、表面属性推定処理を行う。ここでは、物体表面に
おける反射光が、拡散反射成分と鏡面反射成分の２つに
分けられるという２色性反射モデルの特徴を利用する。
これにより、複数の入力（測定）環境下で実測した実測
データにおける各注目領域に対応する領域の輝度・色の
変化を解析することで、それぞれの注目領域における表
面属性を推定することができる。

【００７７】まず、入力された実測データ（ステップ４
８）の中から、表面属性データ取得を行うある領域を注
目領域として選択する（ステップ４６）。注目領域の選
択方法は、受光センサ２５の中心付近の領域を選択す
る、受光センサ２５に受光させる光学系が最も焦点が合
っている領域を選択する、ユーザが指定する、などがあ
る。

【００７８】続いて、選択された注目領域に関する実測
データのうち、ノイズ、陰影、オクルージョンなどの影
響により情報が欠如したり誤差を大きく含んだりするデ
ータを除去し、実測データの取捨選択を行う（ステップ
４９）。

【００７９】次に、選別された実測データのみを用い
て、拡散反射成分のみのデータを抽出する（ステップ５
０）。また、抽出されたデータから、表面属性パラメー
タのうち物体色に関するパラメータの推定を行う（ステ
ップ５１）。さらに、鏡面反射成分を含んだデータか
ら、鏡面反射成分を分離し（ステップ５２）、表面属性
パラメータのうち反射特性に関するパラメータの推定を
行う（ステップ５３）。

【００８０】以上の処理を注目領域内の推定点ごとに行
うことで、各推定点における表面属性パラメータを推定
し、対象物体の表面の注目領域全体の推定を行う。

【００８１】注目領域全体の推定が終了した時点で（ス
テップ５４）、その注目領域についてのテクスチャ情報
も含めた表面属性データを作成する（ステップ５５）。
そして、本フローを終了する（ステップ５９）。

【００８２】以上述べたように、本実施形態では、姿勢
検知センサ２９により入力環境を把握しながら、対象と
する点および注目領域の個々の色・輝度データを入力条
件を変えて取得することができる。このため、対象物体
の表面の広い領域を表面属性均一とみなして測定を行う
必要がなくなり、装置の小型化を実現でき、さらには表
面属性推定処理の精度を向上させることができる。しか
も、注目領域内の推定点ごとに表面属性を推定すること
が可能となり、注目領域について、テクスチャ情報も含
めた表面属性データを取得することができる。

【００８３】（第４実施形態）図１２には、本発明の第
４実施形態である表面属性取得装置の概略構成を示して
いる。本実施形態の表面属性取得装置は、現実に存在す
る対象物体表面の色、光沢、質感などを取り込み三次元
コンピュータグラフィクスのモデルデータに変換して不
図示のパーソナルコンピュータに出力することで、この
コンピュータにおけるモデル制作の支援を行うための装
置である。なお、表面属性取得装置とコンピュータとに
より三次元画像処理装置が構成される。

【００８４】本実施形態の表面属性取得装置は、対象物
体の色・光沢・質感などを取得する表面属性取得部１”
と、位置、強度、広がり、指向性などを制御可能な可動
光源部１４と、入力（観察）環境パラメータに従って表
面属性取得部１”や可動光源部１４を制御する制御部
２”と、取得されたデータを三次元コンピュータグラフ
ィクスのモデルデータに変換するモデルデータ変換部５
とで構成される。

【００８５】表面属性取得部１”は、受光センサ３５か
ら得られる色・輝度データを用いて、対象物体の表面上
の点あるいは面の色・光沢・質感にかかわる表面属性パ
ラメータを推定し、表面属性データを作成する。表面属
性データを作成することにより、画像再現時の対象物体
・照明光源・視点の位置関係や照明光源の色・形状とい
った入力環境に応じて、再現画像における鏡面反射の位
置・広がり・形状・強度などを変化させることが可能と
なり、対象物体の質感、光沢感、立体感などをよりリア
ルに再現することができる。

【００８６】制御部２”は、可動光源部１４の位置、強
度、広がり、指向性を変化させながら、表面属性取得部
１”を制御し、表面属性の取得を行う。

【００８７】モデルデータ変換部５は、表面属性取得部
１”により作成された表面属性データを三次元コンピュ
ータグラフィクスのモデルデータに変換する。

【００８８】図１３には、本実施形態の表面属性取得装
置の具体的構成例を示している。この表面属性取得装置
は、ペン型の筐体３３内に、可動照明光源３７、受光セ
ンサ３５、表面属性取得部１”、制御部２”、モデルデ
ータ変換部５を収容している。

【００８９】なお、図示はしないが、第１実施形態で説
明した任意環境画像生成部７、三次元形状データ記憶部
８、操作部９および画像出力部１１に相当する部分はパ
ーソナルコンピュータ内に設けられている。

【００９０】対象物体２１は、表面属性値を取得するた
めの対象物体であり、不図示のステージ上に配置され
る。可動照明光源３７は、表面属性取得の際に使用する
照明であり、１つもしくは複数配置され、制御部２”か
らの指令により照明光スペクトル、光の強度、照明光の
広がり、指向性、個数、位置の制御が可能になってい
る。

【００９１】この測定環境における対象物体２１、照明
光源２７および視点（受光センサ２５）の位置関係は既
知とする。

【００９２】本実施形態の表面属性取得装置は、可動照
明光源３７および受光センサ３５を対象物体３１のうち
表面属性を推定すべき表面上の点（推定点）の近付けて
実測を行う。受光センサ３５からは推定点の色・輝度デ
ータを含んだ信号を出力する。そして、可動照明光源３
７の照明光スペクトル、光の強度、照明光の広がり、指
向性、個数、位置の設定を変更しながら、繰り返し実測
を行い、その都度、受光センサ３５から対象物体３１の
表面上の推定点の色・輝度データを取得する。

【００９３】表面属性取得部１”は、複数回の実測から
得られたデータを用いて表面属性の推定処理を行い、表
面属性データを作成する。なお、表面属性取得部１”の
構成については、第２実施形態のものと同様である。

【００９４】このように、可動照明光源３７を用いるこ
とで、表面属性取得装置を動かさなくても対象とする点
の色・輝度データを入力条件を変えて取得することが可
能になる。

【００９５】このため、対象物体の表面の広い領域を表
面属性均一とみなして測定を行う必要がなくなり、装置
の小型化を実現でき、さらには表面属性推定処理の精度
を向上させることができる。

【００９６】また、表面属性取得装置をペン型のような
小型の装置にすることで、従来の装置では測定が困難で
あった対象物体の奥まった部分の表面属性を取得するこ
とも可能となる。

【００９７】なお、本実施形態では、表面属性を取得す
るために対象物体の表面上の点のデータのみを用いるよ
うに説明したが、点の代わりに点の周辺も含めた微小面
のデータを用いることも可能である。

【００９８】次に、本実施形態の表面属性取得装置にお
ける実測から表面属性データの作成までの処理を行うプ
ログラムについて、図１４に示すフローチャートを参照
しながら説明する。

【００９９】ユーザによる操作に応じて本フローが開始
されると（ステップ６１）、まず可動照明光源３７の照
明光スペクトル、光の強度、照明光の広がり、指向性、
個数、位置を設定し（ステップ６３）、対象物体の表面
の実測データを入力する（ステップ６５）。ユーザは、
可動照明光源３７の設定値を変更しながら繰り返し実測
を行う。

【０１００】複数回の実測が終了すると（ステップ６
７）、表面属性の推定処理を行う。ここでは、物体表面
における反射光が、拡散反射成分と鏡面反射成分の２つ
に分けられるという２色性反射モデルの特徴を利用す
る。これにより、複数の環境下で実測した実測データに
おける各推定点に対応する点の輝度・色の変化を解析す
ることで、それぞれの推定点における表面属性を推定す
ることができる。

【０１０１】まず、入力された実測データ（ステップ６
８）の中から、表面属性データの取得を行うある１点を
注目点として選択する（ステップ６６）。注目点の選択
方法は、受光センサ３５の中心のデータを選択する、受
光センサ３５に受光させる光学系の最も焦点が合ってい
る点を選択する、ユーザが指定する、などがある。

【０１０２】続いて、選択された注目点に関する実測デ
ータのうち、ノイズ、陰影、オクルージョンなどの影響
により情報が欠如したり誤差を大きく含んだりするデー
タを除去し、実測データの取捨選択を行う（ステップ６
９）。

【０１０３】続いて、選別された実測データのみを用い
て、拡散反射成分のみのデータを抽出する（ステップ７
０）。抽出されたデータから、表面属性パラメータのう
ち物体色に関するパラメータの推定を行う（ステップ７
１）。

【０１０４】鏡面反射成分を含んだデータから、鏡面反
射成分を分離し（ステップ７２）、表面属性パラメータ
のうち反射特性に関するパラメータの推定を行う（ステ
ップ７３）。

【０１０５】以上の処理を行うことで、対象物体の表面
属性パラメータを推定し、表面属性データを作成する
（ステップ７５）。そして、本フローを終了する（ステ
ップ７９）。

【０１０６】（第５実施形態）図１５には、本発明の第
４実施形態である表面属性取得装置における実測から表
面属性データ作成までの処理を行うプログラムのフロー
チャートを示している。本実施形態では、第４実施形態
における実測から表面属性データ作成までの処理を以下
のように置き換えるものである。表面属性取得装置およ
び表面属性取得部１”の構成については第４実施形態の
ものと同様であり、共通する構成要素には第４実施形態
と同符号を付す。

【０１０７】ユーザによる操作に応じて本フローが開始
されると（ステップ８１）、まず、可動照明光源３７の
照明光スペクトル、光の強度、照明光の広がり、指向
性、個数、位置を設定し（ステップ８３）、対象物体の
表面の実測データを入力する（ステップ８５）。ユーザ
は、可動照明光源３７の設定値を変更しながら繰り返し
実測を行う。

【０１０８】複数回の実測が終了すると（ステップ８
７）、表面属性の推定処理を行う。ここでは、物体表面
における反射光が、拡散反射成分と鏡面反射成分の２つ
に分けられるという２色性反射モデルの特徴を利用す
る。これにより、複数の環境下で実測した実測データに
おける各頂点の対応点の輝度・色の変化を解析すること
で、それぞれの頂点における表面属性を推定することが
できる。

【０１０９】具体的には、まず入力された実測データ
（ステップ８８）の中から、表面属性データの取得を行
うある領域を注目領域として選択する（ステップ８
６）。注目領域の選択方法は、受光センサ３５の中心付
近の領域を選択する、受光センサ３５に受光させる光学
系の最も焦点が合っている領域を選択する、ユーザが指
定する、などがある。

【０１１０】続いて、選択された注目領域に関する実測
データのうち、ノイズ、陰影、オクルージョンなどの影
響により情報が欠如したり誤差を大きく含んだりするデ
ータを除去し、実測データの取捨選択を行う（ステップ
８９）。

【０１１１】次に、選別された実測データのみを用い
て、拡散反射成分のみのデータを抽出する（ステップ９
０）。そして抽出されたデータから表面属性パラメータ
のうち物体色に関するパラメータの推定を行う（ステッ
プ９１）。続いて、鏡面反射成分を含んだデータから鏡
面反射成分を分離し（ステップ９２）、表面属性パラメ
ータのうち反射特性に関するパラメータの推定を行う
（ステップ９３）。

【０１１２】以上の処理を注目領域内の推定点ごとに行
うことで、各推定点における表面属性パラメータを推定
し、対象物体の表面の注目領域全体の推定を行う。注目
領域全体の推定が終了した時点で（ステップ９４）、そ
の注目領域についてのテクスチャ情報も含めた表面属性
データを作成する（ステップ９５）。そして、本フロー
を終了する（ステップ９９）。

【０１１３】以上述べたように、本実施形態では、可動
照明光源３７を用いて、対象とする推定点の色・輝度デ
ータを入力条件を変えて取得することができる。このた
め、対象物体の表面の広い領域を表面属性均一とみなし
て測定を行う必要がなくなり、注目領域の推定点ごとに
表面属性を推定することができる。したがって、注目領
域についてテクスチャ情報も含めた表面属性データを取
得することができる。

【０１１４】また、上述した第２〜第５実施形態の表面
属性取得装置を用いれば、対象物体から表面属性データ
を推定取得し、この表面属性データを、対象物体とは別
の物体の三次元形状を示す三次元形状データと統合し
て、上記別の物体の三次元画像の表面に、推定した表面
属性を持たせることも可能である。

【０１１５】

【発明の効果】以上説明したように、本発明によれば、
受光素子からの出力信号に基づいて実物体の表面の色，
光沢，質感などの表面属性を推定し、さらに三次元コン
ピュータグラフィクスに適用される表面属性データを作
成することができるので、実物体の表面属性をリアルに
再現した三次元コンピュータグラフィクスのモデリング
作業を一般利用者であっても容易に行うことができる。

【０１１６】なお、照明手段および受光素子の姿勢を検
出する検出手段を設け、実物体に対する照明手段および
受光素子の姿勢を変えて受光素子に反射光を受光させる
ことができるようにすることで、実物体の表面各部にお
ける表面属性を個別に取得することが可能となり、実物
体の表面属性を精度良く、よりリアルに再現することが
できる。

【０１１７】また、装置をペン型の筐体に収容すること
により、実物体の形状が複雑な部分や奥まった部分等の
表面属性も取得することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態である表面属性取得装置
を含む三次元画像処理装置の構成を示す概略図である。

【図２】上記第１実施形態である三次元画像処理装置の
具体的構成例を示す外観図である。

【図３】上記第１実施形態である三次元画像処理装置の
表面属性取得部の構成を示す概略図である。

【図４】上記第１実施形態である三次元画像処理装置の
実測からモデルデータ作成までの処理を示すフローチャ
ートである。

【図５】上記第１実施形態である三次元画像処理装置の
操作部の構成を示す概略図である。

【図６】上記第１実施形態である三次元画像処理装置に
おける三次元画像の表示の様子を示す図である。

【図７】本発明の第２実施形態である表面属性取得装置
の構成を示す概略図である。

【図８】上記第２実施形態である表面属性取得装置の具
体的構成例を示す外観図である。

【図９】上記第２実施形態である表面属性取得装置の表
面属性取得部の構成を示す概略図である。

【図１０】上記第２実施形態である表面属性取得装置の
実測からモデルデータ作成までの処理を示すフローチャ
ートである。

【図１１】本発明の第３実施形態である表面属性取得装
置の実測からモデルデータ作成までの処理を示すフロー
チャートである。

【図１２】本発明の第４実施形態である表面属性取得装
置の構成を示す概略図である。

【図１３】上記第４実施形態である表面属性取得装置の
具体的構成例を示す外観図である。

【図１４】上記第４実施形態である表面属性取得装置の
実測からモデルデータ作成までの処理を示すフローチャ
ートである。

【図１５】本発明の第５実施形態である表面属性取得装
置の実測からモデルデータ作成までの処理を示すフロー
チャートである。

【符号の説明】

１，１’，１” 表面属性取得部２，２’，２”制御部５モデルデータ変換部７任意環境画像生成部８三次元形状データ記憶部９操作部１１画像出力部１２姿勢検知センサ１４可動光源部２１，３１，５１，９１対象物体２３，３３筐体２５，３５受光センサ２７，５７，９３照明光源２９姿勢検知センサ３７可動照明光源５３画像入力装置５９コンピュータ８１，９７照明光源設定部８２観察環境決定部８３，９５対象物体配置設定部

Claims

【特許請求の範囲】

【請求項１】照明手段により実物体を照明し、この実
物体による反射光を受光素子により受光する第１のステ
ップと、前記受光素子からの出力信号に基づいて前記実物体の表
面属性を推定する第２のステップと、推定した表面属性に基づいて三次元コンピュータグラフ
ィクスに適用される表面属性データを作成する第３のス
テップとを有することを特徴とする表面属性取得方法。
【請求項２】前記第２のステップにおいて、前記実物
体と前記照明手段と前記受光素子の位置データおよび前
記受光素子からの出力信号に基づいて前記実物体の表面
属性を推定することを特徴とする請求項１に記載の表面
属性取得方法。
【請求項３】前記第２のステップにおいて、前記照明
手段および前記受光素子の姿勢を検出し、この検出結果
と前記受光素子からの出力信号に基づいて前記実物体の
表面属性を推定することを特徴とする請求項１に記載の
表面属性取得方法。
【請求項４】前記実物体に対する前記照明手段および
前記受光素子の位置を変えて複数回、第１のステップを
繰り返し、前記第２のステップにおいて、前記複数回の第１のステ
ップにより得られた前記受光素子からの複数の出力信号
に基づいて前記実物体の表面属性を推定することを特徴
とする請求項１から３のいずれかに記載の表面属性取得
方法。
【請求項５】前記第１のステップにおいて、前記受光
素子に前記実物体の特定箇所又は特定箇所を含む特定領
域からの反射光を受光させることを特徴とする請求項１
から４のいずれかに記載の表面属性取得方法。
【請求項６】前記第１のステップにおいて、前記実物
体の特定箇所は、前記受光素子に光を導く光学系が合焦
している箇所とすることを特徴とする請求項５に記載の
表面属性取得方法。
【請求項７】前記第１のステップにおいて、前記実物
体の特定箇所は、装置使用者により選択された箇所とす
ることを特徴とする請求項５に記載の表面属性取得方
法。
【請求項８】請求項１から７のいずれかに記載の表面
属性取得方法を含み、前記第３のステップにおいて作成された表面属性データ
を、前記実物体の三次元形状を示すデータと統合して前
記実物体の三次元コンピュータグラフィクスを作成する
第４のステップを有することを特徴とする三次元画像処
理方法。
【請求項９】前記実物体の三次元形状データは、記憶
手段に記憶されたデータであることを特徴とする請求項
８に記載の三次元画像処理方法。
【請求項１０】照明手段により実物体を照明し、この
実物体による反射光を受光素子により受光する第１のス
テップと、前記受光素子からの出力信号に基づいて前記実物体の表
面属性を推定する第２のステップと、推定した表面属性に基づいて三次元コンピュータグラフ
ィクスに適用される表面属性データを作成する第３のス
テップとを有することを特徴とする表面属性取得プログ
ラム。
【請求項１１】前記第２のステップにおいて、前記実
物体と前記照明手段と前記受光素子の位置データおよび
前記受光素子からの出力信号に基づいて前記実物体の表
面属性を推定することを特徴とする請求項１０に記載の
表面属性取得プログラム。
【請求項１２】前記第２のステップにおいて、前記照
明手段および前記受光素子の姿勢を検出し、この検出結
果と前記受光素子からの出力信号に基づいて前記実物体
の表面属性を推定することを特徴とする請求項１０に記
載の表面属性取得プログラム。
【請求項１３】前記実物体に対する前記照明手段およ
び前記受光素子の位置を変えて複数回、第１のステップ
を繰り返し、前記第２のステップにおいて、前記複数回の第１のステ
ップにより得られた前記受光素子からの複数の出力信号
に基づいて前記実物体の表面属性を推定することを特徴
とする請求項１０から１２のいずれかに記載の表面属性
取得プログラム。
【請求項１４】前記第１のステップにおいて、前記受
光素子に前記実物体の特定箇所又は特定箇所を含む特定
領域からの反射光を受光させることを特徴とする請求項
１０から１３のいずれかに記載の表面属性取得プログラ
ム。
【請求項１５】前記第１のステップにおいて、前記実
物体の特定箇所は、前記受光素子に光を導く光学系が合
焦している箇所とすることを特徴とする請求項１４に記
載の表面属性取得プログラム。
【請求項１６】前記第１のステップにおいて、前記実
物体の特定箇所は、装置使用者により選択された箇所と
することを特徴とする請求項１４に記載の表面属性取得
プログラム。
【請求項１７】請求項１０から１６のいずれかに記載
の表面属性取得プログラムを含み、前記第３のステップにおいて作成した表面属性データ
を、前記実物体の三次元形状を示す三次元形状データと
統合して前記実物体の三次元三次元コンピュータグラフ
ィクスを作成する第４のステップを有することを特徴と
する三次元画像処理プログラム。
【請求項１８】前記実物体の三次元形状データは、記
憶手段に記憶されたデータであることを特徴とする請求
項１７に記載の三次元画像処理プログラム。
【請求項１９】実物体を照明する照明手段と、この照明手段により照明された前記実物体からの反射光
を受光する受光素子と、この受光素子からの出力信号に基づいて前記実物体の表
面属性を推定する表面属性推定手段とを有することを特
徴とする表面属性取得装置。
【請求項２０】前記表面属性推定手段は、前記実物体
と前記照明手段と前記受光素子の位置データおよび前記
受光素子からの出力信号に基づいて前記実物体の表面属
性を推定することを特徴とする請求項１９に記載の表面
属性取得装置。
【請求項２１】前記照明手段および前記受光素子の姿
勢を検出する検出手段を有し、前記表面属性推定手段は、前記検出手段による検出結果
と前記受光素子からの出力信号とに基づいて前記実物体
の表面属性を推定することを特徴とする請求項１９に記
載の表面属性取得装置。
【請求項２２】前記実物体に対する前記照明手段およ
び前記受光素子の位置を変えて複数回、前記実物体から
の反射光を前記受光素子に受光させることを繰り返し、前記表面属性推定手段は、前記複数回の前記受光素子の
受光により得られた複数の出力信号に基づいて前記実物
体の表面属性を推定することを特徴とする請求項１９か
ら２１のいずれかに記載の表面属性取得装置。
【請求項２３】前記受光素子に前記実物体の特定箇所
又は特定箇所を含む特定領域からの反射光を受光させる
ことを特徴とする請求項１９から２２のいずれかに記載
の表面属性取得装置。
【請求項２４】前記実物体の特定箇所は、前記受光素
子に光を導く光学系が合焦している箇所とすることを特
徴とする請求項２３に記載の表面属性取得装置。
【請求項２５】前記実物体の特定箇所は、装置使用者
により操作手段を介して選択された箇所とすることを特
徴とする請求項２３に記載の表面属性取得装置。
【請求項２６】少なくとも前記照明手段、前記受光素
子および前記検出手段がペン型の筐体内に収容されてい
ることを特徴とする請求項１９から２５のいずれかに記
載の表面属性取得装置。
【請求項２７】請求項１９から２６のいずれかに記載
の表面属性取得装置を備え、前記表面属性推定手段により推定された前記実物体の表
面属性のデータを、前記実物体の三次元形状を示す三次
元形状データと統合して前記実物体の三次元コンピュー
タグラフィクスを作成する画像生成手段を有することを
特徴とする三次元画像処理装置。
【請求項２８】前記実物体の三次元形状データを記憶
する記憶手段を有することを特徴とする請求項２６に記
載の三次元画像処理装置。