JP2003044872A

JP2003044872A - 彩色情報付加方法及び装置、三次元画像処理方法及び装置

Info

Publication number: JP2003044872A
Application number: JP2001231427A
Authority: JP
Inventors: Yasuhiro Sawada; 保宏沢田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-07-31
Filing date: 2001-07-31
Publication date: 2003-02-14

Abstract

(57)【要約】【課題】本発明は、自然なＣＧを再現するための彩色
情報を小サイズの情報で表現可能な方法及び装置を提供
する。【解決手段】本発明の一側面としての彩色情報付加方
法は、対象物の立体形状モデルに対し彩色情報を付加す
る方法であって、複数の平面の集合から前記対象物の表
面形状が構成される立体形状モデルを取得するステップ
と、前記平面における彩色情報を推定するステップとを
有し、前記推定ステップは、前記平面上に規則的に複数
の彩色点を配置するステップと、光源により照明された
前記対象物を撮影した画像データ及び当該画像データの
撮影に関する情報に基づいて、前記彩色点に対する彩色
情報を所定の関数における所定の定数として算出し、算
出された前記所定の定数を前記彩色点の配置に対応した
二次元配列として格納するステップとを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実在する対象物を
ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）で利用す
るために必要なモデルデータを生成する三次元画像生成
技術に係り、特に立体形状モデルに彩色情報を付加する
方法及び装置に関する。

【０００２】

【従来の技術】従来、実在の物体をＣＧで再現すると
き、特開２０００−３４８２１３号公報に記載されてい
るように立体形状モデル各部に、実物体をカメラで撮影
した画像を貼り付ける手法がある。このような手法で
は、様々な視点のＣＧにも対応するため、複数の方向か
ら撮影された複数の画像を用意し、再現時には適切な画
像を選択して貼り付けている。

【０００３】しかしながら、この方法ではＣＧで再現す
る物体が撮影時と異なる照明で照らすことができない。
カメラ画像にはもともと陰影やハイライトが含まれてい
るため、カメラ画像を貼り付けた物体にさらに陰影やハ
イライトをつけようとすると不自然な画像になる。

【０００４】そこで、ＳＩＧＲＡＰＨＣｏｍｐｕｔｅ
ｒＧｒａｐｈｉｃｓＰｒｏｃｅｅｄｉｎｇｓ，Ａｎｎ
ｕａｌＣｏｎｆｅｒｅｎｃｅＳｅｒｉｅｃ，１９９
７，ｐ３７９−３８７「ＯｂｊｅｃｔＳｈａｐｅａｎ
ｄＲｅｆｌｅｃｔａｎｃｅＭｏｄｅｌｉｎｇｆｒｏ
ｍＯｂｓｅｒｖａｔｉｏｎ」に記載されているように
照明方向や視線方向による反射率の変化に関数モデルを
導入し、反射モデル定数により表す手法がとられてい
る。

【０００５】立体形状モデル表面に配置される彩色点の
反射特性を反射モデル定数として保持し、再現時には反
射モデル関数に定数を代入計算することにより、比較的
小さな彩色情報で任意の照明条件・視線方向で自然な陰
影やハイライトの再現が可能になる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記反
射モデル定数の推定は光源方向又は視線方向を変えて撮
影された画像群を利用して、彩色点毎に行う。よって、
物体表面の細かい模様を再現するにはモデル表面に対
し、十分密に配置した彩色点各々に対して反射モデル定
数を計算し、彩色点座標と共に記録しなくてはならな
い。このことは彩色情報のサイズ増大を招くと共に、推
定・再現に必要な計算が膨大になるという問題を有して
いる。

【０００７】

【課題を解決するための手段】そこで、本発明は、自然
なＣＧを再現するための彩色情報を小サイズの情報で表
現可能な方法及び装置を提供することを例示的目的とす
る。

【０００８】上記目的を達成するための本発明の一側面
としての彩色情報付加方法は、対象物の立体形状モデル
に対し彩色情報を付加する方法であって、複数の平面の
集合から前記対象物の表面形状が構成される立体形状モ
デルを取得するステップと、前記平面における彩色情報
を推定するステップとを有し、前記推定ステップは、前
記平面上に規則的に複数の彩色点を配置するステップ
と、光源により照明された前記対象物を撮影した画像デ
ータ及び当該画像データの撮影に関する情報に基づい
て、前記彩色点に対する彩色情報を所定の関数における
所定の定数として算出し、算出された前記所定の定数を
前記彩色点の配置に対応した二次元配列として格納する
ステップとを有する。かかる方法によれば、対象物の表
面形状を平面の集合と捉え、彩色情報を与える彩色点を
平面上に規則的に配置する。これにより、個々の点に対
して座標を保持する必要性を省くことができる。

【０００９】前記撮影に関する情報は、照明方向及び照
明照度を含む照明方法に関する情報と、前記撮影に対す
る観測方法に関する情報と、撮影方法、対象物、光源の
位置及び姿勢情報とを有する。前記画像データは、前記
対象物に対して照明方向、観測方向のうち少なくても一
つが異なるように撮影された複数の画像よりなる画像群
である。前記所定の関数は、照明方向、前記撮影に対す
る観測方向及び前記所定の定数を当該所定の関数の要素
として有する。前記所定の関数は散乱反射成分と鏡面反
射成分の線形結合で表され、前記所定の定数は前記散乱
反射成分に関わる散乱反射定数と前記鏡面反射成分に関
わる鏡面反射定数である。

【００１０】前記撮影に関する情報において、前記照明
方向、前記観測方向及び前記照明照度のうち少なくとも
一つは前記平面内の位置に依存しない所定の値として近
似可能である。これにより、平面が光源・観測点までの
距離に比べて十分小さい場合、照明方向・観測方向・照
明照度のうち少なくとも一つは平面上の全ての彩色点に
おいて同一の所定の値で近似することにより、計算量を
削減することができる。前記所定の値は、前記平面の重
心又は当該重心に準じる点における前記照明方向、前記
観測方向及び前記照明照度の値である。前記所定の値
は、前記平面における前記照明方向、前記観測方向及び
前記照明照度の積分値又は平均値であってもよい。前記
所定の値は、前記平面の所定の点における前記照明方
向、前記観測方向及び前記照明照度の平均値であっても
よい。前記撮影に関する情報において、前記照明方向、
前記観測方向、前記照明照度は前記平面の所定の点にお
ける値の内分値で近似可能であってもよい。前記平面が
多角形である場合、前記所定の点は前記多角形の各頂点
である。

【００１１】更に、前記格納ステップは、前記所定の定
数のうち前記散乱反射定数を前記二次元配列として格納
し、前記鏡面反射定数は一の平面内で共通の値が保持さ
れる。又は、前記格納ステップは、前記所定の定数のう
ち前記散乱反射定数を前記二次元配列として格納し、前
記鏡面反射定数は前記複数の平面内で共通の値が格納さ
れる。実際の多くの物体では、柄や印刷により地の色が
細かく変化しても、素材や表面仕上げなどは一定範囲で
同一であることが多い。この領域では、地の色により散
乱反射は異なるが、鏡面反射は同一になる。また、質感
や光沢感はハイライトの広がり具合によって認識される
ため、微小領域での鏡面反射の相違は感じにくい。この
ことを利用し、本発明の一様態による彩色情報付加装置
は素材や表面仕上げが同一となる一つまたは複数の平面
内において同一の鏡面反射定数を持つように計算してい
る。散乱反射定数については、各平面上に規則的に多数
配置した彩色点毎に与える。このことにより、平面内に
おいては一組の鏡面反射定数のみを保持すればよい一方
で、散乱反射定数の前記２次元配列により細かい柄や模
様を再現することが可能になる。また、鏡面反射定数の
推定は各ポリゴンに対して一度だけ行えばよいので、推
定に必要な計算量が削減できる。前記鏡面反射定数の前
記共通の値は、前記照明方向、前記観測方向及び前記照
明照度の代表値、及び画像明度の代表値に対応する所定
の値である。前記照明方向、前記観測方向及び前記照明
照度の代表値は、前記平面内の位置に依存しない所定の
値である。前記画像明度の代表値は、前記画像データ上
の画像上明度を前記平面の投影領域上で積分又は平均し
た値である。前記彩色点に格納される前記散乱反射定数
は、前記鏡面反射定数の値を用いて算出する。

【００１２】更に、前記格納ステップは、前記所定の定
数のうち前記散乱反射定数を前記二元配列として格納
し、前記鏡面反射定数は前記平面の所定の点における値
が格納される。前記散乱反射定数は、前記所定の点にお
ける前記鏡面反射定数を内分することにより算出すれば
よい。前記平面が多角形である場合、前記所定の点は前
記多角形の各頂点である。これにより、平面の頂点にの
み投影変換を行えば個々の点に対しての投影変換は単純
な線形変換で済むため計算量が削減でき、処理能力を向
上させることができる。

【００１３】更に、上述の方法において前記立体形状モ
デルを構成する前記平面は前記対象物の表面で素材及び
表面仕上げが異なる部分を跨がないように設定される。

【００１４】また、本発明の別の側面としての彩色情報
付加装置は、対象物の立体形状モデルに対し彩色情報を
付加する装置であって、光源により照明された前記対象
物の画像データを取得する画像取得部と、前記画像デー
タの撮影に関する情報を取得する撮影時情報取得部と、
複数の平面の集合から前記対象物の表面形状が構成され
る立体形状モデルを取得する立体形状取得部と、前記画
像データ及び前記撮影に関する情報に基づいて、前記平
面における彩色情報を推定する彩色情報推定部とを有す
る。かかる装置によれば、上述した彩色情報付加方法を
実行可能であり、上述の方法と同様の作用を奏する。

【００１５】また、本発明の別の側面としての三次元画
像処理方法は、上述のうちいずれかの方法により彩色情
報を付加するステップと、前記付加された彩色情報を用
いて三次元画像を作成するステップと、前記作成された
三次元画像を表示するステップとを有する。かかる処理
方法によれば、上述した彩色情報付加方法を有し同様の
作用を奏することができる。

【００１６】また、本発明の別の側面としてのプログラ
ムは、上述した彩色情報付加方法、並びに、三次元情報
処理方法を実行するコンピュータプログラムをも含む。

【００１７】更に、本発明の別の側面としての三次元画
像処理装置は、光源により照明された前記対象物の画像
データを取得する画像取得部と、前記画像データの撮影
に関する情報を取得する撮影時情報取得部と、複数の平
面の集合から前記対象物の表面形状が構成される立体形
状モデルを取得する立体形状取得部と、前記画像データ
及び前記撮影に関する情報に基づいて、前記平面におけ
る彩色情報を推定する彩色情報推定部と、前記彩色情報
推定部により付加された前記彩色情報を用いて三次元画
像を作成する作成部と、作成された前記三次元画像を表
示する表示部とを有する。かかる装置によれば、上述の
彩色情報付加装置を有し、かかる装置と同様の作用を奏
することができる。

【００１８】本発明の他の目的及び更なる特徴は以下添
付図面を参照して説明される好ましい実施例によって明
らかにされるであろう。

【００１９】

【発明の実施の形態】以下、添付図面を参照して、本発
明の一側面としての三次元画像処理装置１００について
説明する。なお、各図において同一の参照符号は同一部
材を表している。ここで、図１は、本発明の一側面とし
ての三次元画像処理装置１００の例示的一形態を示した
構成図である。図２は、図１に示す三次元画像処理装置
１００を示すブロック図である。

【００２０】本発明の三次元画像処理装置１００は、画
像情報取得部１１０、撮影時情報取得部１２０、立体形
状取得部１３０、彩色情報推定部１４０、モデルデータ
記憶部１５０、ＣＧ生成部１６０、ＣＧ表示部１７０、
制御部１８０、メモリ１９０を有する。図１に示すよう
に、三次元画像処理装置１００の各要素は、例えば、バ
スなどを介し各々データを授受可能に構成されている。
なお、本実施形態では、ＣＧを作成及び表示可能な構成
として説明を行なうが、ＣＧ生成部１６０及びＣＧ表示
部１７０を別段の装置として設け、本発明の装置を彩色
情報のみを付加する装置として実現してもよい。

【００２１】画像情報取得部１１０は対象物Ｏの画像デ
ータを取得する。本実施形態において、画像情報取得部
１１０は撮影装置１１２と、光源１１４とを有し、対象
物Ｏを撮影することで対象物Ｏの画像データを取得可能
としている。画像情報取得部１１０は対象物Ｏにおける
光源方向・視線（撮影）方向が異なる複数の画像を取得
する必要があり、本発明において撮影装置１１２及び光
源１１４はそれを可能とするいかなる構成をも有するこ
とができる。図３に良く示されるように本実施形態にお
いて、対象物Ｏは当該対象物Ｏを載置する面に垂直な方
向を回転軸として回転可能な回転台に載置されており、
撮影装置１１２及び光源１１４は対象物Ｏに対し一方向
からそれぞれ単独に又は同期して角度（即ち、撮影位
置）を変えることで複数方向からの撮影を行なえるよう
に構成されている。撮影装置１１２及び光源１１４は、
例えば、三脚などに固定しその高さを変えることで撮影
角度を変えることができる。但し、これ以外に図示しな
い移動機構などに接続された撮影装置１１２及び光源１
１４を制御部１８０により制御することで自動的に撮影
装置１１２及び光源１１４の角度を変え撮影を行なう方
法であってもよい。ここで、図３は、図１に示す画像情
報取得部１１０及び対象物Ｏとを示す構成図である。

【００２２】撮影装置１１２は、例えばカラーＣＣＤカ
メラなどから構成され、ＲＧＢの３つのカラーバンドか
らなる画像データを作成する。撮影装置１１２は彩色情
報推定部１４０にデータを出力可能に構成され、かかる
画像データは彩色情報推定部１４０に出力することがで
きる。なお、撮影装置１１２は当業者によって容易に理
解することができるのでここでの詳細な説明は省略す
る。

【００２３】光源１１４は、例えば、対象物Ｏを点光源
で照明する。光源１１４は、かかる機能を実現する当該
周知のいかなる（撮影用）照明装置をも適用することが
可能であり、ここでの詳細な説明は省略する。

【００２４】上述したように本実施形態では対象物Ｏは
一の軸にのみ回転可能な回転台上に載置されるが、対象
物Ｏは複数の回転軸を有する装置に設置されてもよい。
かかる構成によれば、撮影装置１１２及び光源１１４は
各々所定の場所に固定されていても複数方向からの対象
物の画像データを取得することができる。また、対象物
Ｏを固定系とし、撮影装置１１２及び光源１１４の位置
を変化させながら撮影を行なえるように構成しても良い
し、撮影装置１１２、光源１１４、対象物Ｏのうち２以
上の位置を変化させながら撮影を行なえるように構成し
ても良い。上述したように、本発明の画像情報取得部１
１０は対象物Ｏを光源方向・視線方向が異なる複数の画
像データを生成可能にされるに足りるものである。更
に、本発明の三次元画像処理装置１００は、別の装置で
撮影されフロッピー（登録商標）ディスク（ＦＤ）、Ｃ
Ｄ、ＭＯなどの記録媒体に格納された画像データを読み
込み可能とすることで画像情報取得部１１０を省略する
構成であっても良い。また、これらの機能と画像情報取
得部１１０とを併用可能とする構成であってもよい。

【００２５】撮影時情報取得部１２０は、撮影部１１０
が生成する画像データに対する撮影環境の情報を取得す
る（なお、撮影時情報取得部１２０は図２において図示
され、図１には図示しされていない）。より詳細には、
撮影時情報取得部１２０は、光源１１４に関する光源情
報、撮影装置１１２に関する撮影装置情報と、視点・対
象物Ｏ・光源の位置・姿勢情報、撮影時のカメラ・対象
物Ｏ・光源配置、光源輝度などの撮影時の環境情報を取
得する。撮影時情報取得部１２０は彩色情報推定部１４
０に情報を出力可能に構成されており、取得された環境
情報は彩色情報推定部１４０に出力することができる。

【００２６】なお、環境情報はオペレータ（撮影者又は
三次元画像処理装置１００のオペレータを含む）により
キーボードなどの入力装置を介し直接彩色情報推定部１
４０に入力可能に構成されてもよい。この場合、上述の
画像情報取得部１１０が取得する画像毎の撮影時の撮影
装置１１２・対象物Ｏ・光源１１４の配置、光源輝度な
どが記録されている必要があることは言うまでもない。
また、画像情報取得部１１０が制御部１８０により制御
され対象物Ｏの撮影を自動的に行なうのであれば、かか
る制御部１８０により画像毎の撮影時の環境情報を取得
しても良い。更に、本発明の三次元画像処理装置１００
は、フロッピーディスク（ＦＤ）、ＣＤ、ＭＯなどの記
録媒体に格納された環境情報をデータとして読み込み可
能とすることで画像情報取得部１１０を省略する構成で
あっても良い。また、これらの機能と立体形状取得部１
３０とを併用可能とする構成であってもよい。

【００２７】なお、環境情報の一部は画像撮影時に記録
しなくとも、画像情報取得部１１０により取得する画像
情報（画像データ）から制御部１８０によって推定して
もよい。かかる方法を用いるのであれば、画像撮影時に
対象物Ｏに固定したマーカーが対象物Ｏと共に画像に写
るようにしておけばよい。もしくは対象物Ｏ上にマーカ
ーの代用となる特徴的な部分があれば、それをマーカー
の代用としても良い。そして撮影画像上のマーカーの位
置や色から撮影環境情報を推定すればよい。推定法は、
例えば、佐藤淳著「コンピュータビジョン」（コロナ
社，１９９９）第６章に記載された方法を使用する方法
などが考えられる。

【００２８】立体形状取得部１３０は、立体形状モデル
を取得する。立体形状モデルは対象物Ｏの表面形状を複
数の平面の集合で表すものであり、平面の位置を与える
ための平面頂点の３次元座標を保持するものである。立
体形状取得部１３０により取得された各平面は対象物Ｏ
の表面で素材、表面仕上げが異なる部分を跨がないよう
に設定される必要がある。立体形状取得部１３０は彩色
情報推定部１４０及びデータモデル記憶部１５０に情報
を出力可能に構成されており、取得された立体形状モデ
ル（各平面）は彩色情報推定部１４０及びデータモデル
記憶部１５０に出力することができる。また、本発明の
三次元画像処理装置１００は、別の装置で処理されフロ
ッピーディスク（ＦＤ）、ＣＤ、ＭＯなどの記録媒体に
格納された立体形状モデルを読み込み可能とすることで
立体形状取得部１３０を省略する構成であっても良い。
また、これらの機能と立体形状取得部１３０とを併用可
能とする構成であってもよい。

【００２９】色彩情報推定部１４０は、画像情報取得部
１１０、撮影時情報取得部１２０及び立体形状取得部１
３０により各々入力された情報をもとに彩色情報を推定
する。なお、色彩情報推定部１４０は後述する動作の説
明におていより詳細に理解することができるであろう。
色彩情報推定部１４０はモデルデータ記憶部１５０に情
報を出力可能に構成されており、推定された色彩情報は
データモデル記憶部１５０に出力することができる。

【００３０】モデルデータ記憶部１５０は、立体形状取
得部１３０により取得された平面（即ち、平面の位置を
与えるための平面頂点の３次元座標）と、色彩情報推定
部１４０により処理された全平面上の全彩色点の反射モ
デル定数が格納された２次元配列を格納する。データモ
デル記憶部１５０は各種のメモリを利用することがで
き、また、上述したメモリ１９０に代替されても良い。
モデルデータ記憶部１５０はＣＧ生成部１６０にかかる
情報を出力可能に構成されており、ＣＧ生成部１６０に
出力することができる。

【００３１】ＣＧ生成部１６０はモデルデータ記憶部１
５０に格納された情報をもとにオペレータの指定などに
応じた各種視点・照明環境における対象物Ｏの画像デー
タを生成する。なお、ＣＧ生成部１６０は当該周知のＣ
Ｇ生成装置として実現することが可能であり、ここでの
詳細な説明は省略する。

【００３２】ＣＧ表示部１７０は、ＣＧ生成部１６０に
より生成された画像データを表示する。ＣＧ表示部１７
０はＣＲＴ、ＬＣＤなどの各種表示装置を使用すること
ができる。また、ＣＧ表示部１７０は画像データを印刷
可能なプリンタなどの印刷装置として実現されても良
い。

【００３３】制御部１８０は、ＣＰＵ、ＭＰＵなど名称
の如何を問わずいかなるプロセッサであってもよく、メ
モリ１９０に格納された動作プログラムを用いて各部の
動作を制御する。

【００３４】メモリ１９０は、例えば、三次元画像処理
装置１００の動作プログラムや処理に必要な各種のデー
タなどを格納するＲＯＭなどの不揮発性メモリと、画像
及び必要な制御プログラムを一時的に格納するＲＡＭな
どの揮発性メモリとを含む。

【００３５】以下、本発明の三次元画像処理装置１００
の動作について説明する。まず、図３に示すように、暗
室内で対象物Ｏを回転台上に設置し、光源１１４により
対象物を点光源で照明する。それと共に、対象物Ｏに撮
影装置１１２を向ける。そして回転台を回転させなが
ら、撮影装置１１２を用い複数の角度で撮影し、ＲＧＢ
の３つのカラーバンドからなる画像データを取得する。
これにより、画像情報取得部１１０は対象物Ｏを回転さ
せることにより、照明方向・撮影方向が相対的に変化
し、光源方向・視線方向を変えて撮影された画像データ
を得ることができる。また、画像情報取得部１１０の対
象物Ｏに対する角度を変えることで更に画像データを得
ることができる。そして、かかる画像データは彩色情報
推定部１４０に出力される。この際、画像ごとに撮影時
のカメラ・被写体・光源の配置、光源輝度などの撮影環
境情報を記録しておく必要がある。

【００３６】なお、上記説明では対象物Ｏを回転台上に
設置したが、複数の回転軸を持つ装置に対象物Ｏを設置
して撮影をおこなってもよい。あるいは、撮影装置１１
２又は光源１１４の位置や方向を変化させながら撮影し
ても良いし、撮影装置１１２、光源１１４、対象物Ｏの
うち、２者以上の位置を変化させてながら撮影しても良
い。かかる工程において必要なのは位置の変化や回転に
より、対象物Ｏにおける光源方向・視線方向が異なる複
数の画像を得ることである。

【００３７】撮影情報取得部１１０では画像撮影時に画
像ごとに、光源１１４に関する光源情報、撮影装置１１
２に関する撮影装置情報と、視点・対象物Ｏ・光源１１
４の位置・姿勢情報、撮影時のカメラ・対象物Ｏ・光源
配置、光源輝度などの撮影環境情報を取得する。そし
て、かかる情報は彩色情報推定部１４０に出力される。
なお、上述したように撮影環境情報の一部は画像撮影時
に記録せずとも、画像情報から推定してもよい。それに
は画像撮影時に対象物Ｏに固定したマーカー、又は、マ
ーカーの代用となる特徴部分の位置や色から撮影環境情
報を推定すればよい。

【００３８】また、立体形状取得部１２０は立体形状モ
デルを取得する。なお、この際各平面は対象物の表面で
素材・表面仕上げが異なる部分を跨がないように設定し
なければならない。取得された立体形状モデルは彩色情
報推定部１４０に出力されると共に、モデルデータ記憶
部１４に記録される。

【００３９】彩色情報推定部１４０では、入力された各
情報をもとに彩色情報を推定し、得られた反射定数をモ
デルデータ記憶部１５０に記録する。ここで、図４は、
図１に示す彩色情報推定部１４０の動作を示すフローチ
ャートである。

【００４０】図４を参照するに、まず、立体形状モデル
を構成する平面から一の平面を呼び出す（ステップ１０
００）。

【００４１】そして、呼び出された一の平面に対し、平
面上に規則的に彩色点を配置する（ステップ１００
５）。例えば、平面が三角形であれば、図５における格
子点のように、各頂点が（０，０）、（１，０）、
（０，１）となるように座標系を設定し、彩色点の配置
密度ｍとして（ｉ／ｍ，ｊ／ｍ）（ｉ＝１，２，，，
ｍ，ｊ＝１，２，，，ｉ）の位置を彩色点とする。こ
こで、図５は、立体形状取得部１３０により取得される
一平面を示す模式図である。ただし、本発明は彩色点配
置の規則を定めるものではない。しかし、規則的に配置
することにより個々に彩色点の座標を保持する必要性を
省くものである。よって、彩色点は一定の規則に従って
いれば配置規則を問わない。

【００４２】そして、一の彩色点に対し彩色点における
照明方向、観測方向、反射率を計算し、対応表を作成す
る（ステップ１０１０）。対応表は撮影時情報取得部１
２０より取得することができる。即ち、撮影時の撮影装
置１１２、対象物Ｏ、光源１１４の配置情報、及び光源
１１４、撮影装置設定情報から、彩色点における照明方
向、観測方向、照明照度及び画像上の位置を算出すれば
よい。そして、画像上明度を照明照度で除算すれば、反
射率を得ることができる。画像上で平面が裏面であった
り、他の部位の背後であったり、画像外であったり、照
明照度が低かったりして、反射率が不明である場合は対
応表には入れないものとする。

【００４３】次にこの対応表を反射モデル関数に代入す
る（ステップ１０１５）。反射モデル関数には数式１乃
至数式３に示すＰｈｏｎｇの反射モデルを使用し、ステ
ップ１０１０で得られた各対応をカラーバンドごとの反
射率Ｒ_ｊ、Ｇ_ｊ、Ｂ_ｊと図６に示す角度変数θ_ｊ、ρ_ｊ
で表す。なお、添え字ｊは画像番号を示す。

【００４４】

【数１】

【００４５】

【数２】

【００４６】

【数３】

【００４７】そして、散乱反射定数をＣｄ_Ｒ、Ｃｄ_Ｇ、
Ｃｄ_Ｂとし、鏡面反射定数をＣｓ、ｎとし、誤差ベクト
ルをεとすると、数式４に示す行列式が書ける。

【００４８】

【数４】

【００４９】なお、要素点の反射率が不明である場合、
行列式から対応する行を削除すればよい。

【００５０】そして、前記誤差ベクトルεを最適な値に
する定数の組（Ｃｄ_Ｒ、Ｃｄ_Ｇ、Ｃｄ_Ｂ、Ｃｓ、ｎ）を
求め、彩色点の散乱反射定数として２次元配列中のｉ、
ｊをインデックスに持つ配列要素に格納する（ステップ
１０２０）。最適化には各種の数学的手法を用いること
ができるが、本発明はこの手法を限定するものではな
い。かかる手法として、例えば、最小２乗法を用いるの
ならば評価関数を誤差ベクトルεの自己内積ε・εが最
小となる組を求めればよい。上述した評価関数は全ての
誤差を等価に扱っているが、各値の信頼性を考慮した評
価関数を設定しても良い。

【００５１】以上の処理を平面上の全ての彩色点に対し
て行い、反射定数Ｃｄ_Ｒ、Ｃｄ_Ｇ、Ｃｄ_Ｂ、Ｃｓ、ｎが
格納された２次元配列をモデルデータ記憶部１４０に記
録する（ステップ１０２５）。また、以上の処理を全て
の平面に対して行う。

【００５２】これにより、モデルデータ記憶部１５０に
対象物をＣＧで再現するのに必要なモデルデータが揃
う。この例ではモデルデータは各平面ついて以下の情報
を持つ、（１）平面の位置を与えるための、平面頂点の
３次元座標、（２）平面上の全彩色点の反射モデル定数
が格納された２次元配列。

【００５３】そして、対象物ＯをＣＧで生成表示する際
には、ＣＧ生成部１６０において要求される仮想空間内
での撮影装置・対象物の配置情報及び照明環境情報とモ
デルデータ記憶部１５０に記録された立体形状モデルか
ら各彩色点における照明方向・観測方向・照明照度及び
生成画像上の表示位置を算出する。そして、照明方向・
観測方向と、モデルデータ記憶部１５０に記録された反
射モデル定数を反射モデル関数に代入し反射率を計算す
る。反射率と照明照度の積を表示色として生成画像上の
表示位置に描画することで、表示部１７０で表現可能と
なる。このことにより任意の照明条件・視線方向で自然
な陰影やハイライトが再現される。

【００５４】なお、本実施形態において画像はＲ、Ｇ、
Ｂの３色から構成された場合を挙げて説明した。しか
し、本発明は、単色であれ、他の色であれ、スペクトル
情報であれ、偏光画像であれ、対応した反射モデル関数
が記述できれば、対応することは明らかである。

【００５５】また、前記では反射モデル関数にＰｈｏｎ
ｇ反射モデルを用いて説明したが、本手法は、反射モデ
ル関数を限定するものではない。例えば、Ｔｏｒｒａｎ
ｃｅ−Ｓｐａｒｒｏｗモデル等の反射モデル関数でも、
反射率が散乱反射成分と鏡面反射成分の線形和として与
えられ、各々複数または一つの定数と角度変数により表
現される記述できれば、対応することは明らかである。

【００５６】また、彩色情報推定部１４０の推定法では
全ての反射定数が一意に求まるとは限らない。しかし、
求まらない定数を持つ要素点の近傍要素点の反射定数か
ら補完する、典型的な値で代用する等の手法を併用する
ことでこれを解消することができる。

【００５７】また、本発明の彩色情報付加方法及び三次
元画像処理方法を実行するコンピュータプログラムは、
フロッピーディスクその他のコンピュータ可読媒体に格
納され、及び／又は、インターネットその他の通信ネッ
トワークを利用してオンライン配信されて独立の取引対
象となり得る。

【００５８】次に、本発明の三次元画像処理装置１００
の別の動作について説明する。まず、図３に示すよう
に、暗室内で対象物Ｏを回転台上に設置し、光源１１４
により対象物を点光源で照明する。それと共に、対象物
Ｏに撮影装置１１２を向ける。そして回転台を回転させ
ながら、撮影装置１１２を用い複数の角度で撮影し、Ｒ
ＧＢの３つのカラーバンドからなる画像データを取得す
る。これにより、画像情報取得部１１０は対象物Ｏを回
転させることにより、照明方向・撮影方向が相対的に変
化し、光源方向・視線方向を変えて撮影された画像デー
タを得ることができる。また、画像情報取得部１１０の
対象物Ｏに対する角度を変えることで更に画像データを
得ることができる。そして、かかる画像データは彩色情
報推定部１４０に出力される。この際、画像ごとに撮影
時のカメラ・被写体・光源の配置、光源輝度などの撮影
環境情報を記録しておく必要がある。

【００５９】撮影情報取得部１１０では画像撮影時に画
像ごとに、光源１１４に関する光源情報、撮影装置１１
２に関する撮影装置情報と、視点・対象物Ｏ・光源１１
４の位置・姿勢情報、撮影時のカメラ・対象物Ｏ・光源
配置、光源輝度などの撮影環境情報を取得する。そし
て、かかる情報は彩色情報推定部１４０に出力される。
なお、上述したように撮影環境情報の一部は画像撮影時
に記録せずとも、画像情報から推定してもよい。

【００６０】また、立体形状取得部１２０は立体形状モ
デルを取得する。なお、この際各平面は対象物の表面で
素材・表面仕上げが異なる部分を跨がないように設定し
なければならない。取得された立体形状モデルは彩色情
報推定部１４０に出力されると共に、モデルデータ記憶
部１４に記録される。

【００６１】彩色情報推定部１４０では、入力された各
情報をもとに彩色情報を推定し、得られた反射定数をモ
デルデータ記憶部１５に記録する。ここで、図７は、図
１に示す彩色情報推定部１４０の別の動作を示すフロー
チャートである。

【００６２】図７を参照するに、まず、立体形状モデル
を構成する平面から一の平面を呼び出す（１１００）。
画像枚数をＭとし、各画像を１乃至Ｍの番号で表す。そ
して、全ての画像（Ｍ枚）に対し、呼び出された一の平
面に対し、照明方向、観測方向、反射率の対応を計算
し、対応表を作成する（ステップ１１０５）。かかるス
テップは、撮影時情報取得部１２０により、撮影時の撮
影装置１１２、対象物Ｏ、光源１１４の配置情報及び光
源・撮影装置設定情報から、平面における照明方向、観
測方向、照明照度及び画像上の位置を算出することがで
きる。そして、画像上明度を照明照度で除算することで
反射率を得ことができる。なお、画像上で平面が裏面で
あったり、他の部位の背後であったり、画像外であった
り、照明照度が低かったりして、反射率が不明である場
合は対応表には入れないものとする。

【００６３】本実施形態では、上述した実施形態とは異
なり、照明方向、観測方向には平面の重心またはそれに
準じる代表点からの方向角を利用する。なお、これには
光源１１４や撮影装置１１２までの距離に対し、平面が
十分に小さい必要がある。照明照度は面内の平均値又は
積分値、又は平面の各頂点における値の平均値を用いる
こともできるが、代表点の照明照度を用いることもでき
る。画像上明度には平面の投影領域平均値を用いること
により、計測誤差を抑えることができる。

【００６４】次に、かかる対応表を反射モデル関数に代
入する（ステップ１１１０）。反射モデルには上述した
数式１乃至数式３で示されるＰｈｏｎｇの反射モデルを
使用し、ステップ１１０５で得られた各対応をカラーバ
ンドごとの平面内平均反射率Ｒ_ｊ、Ｇ_ｊ、Ｂ_ｊと図６に
示す角度変数θ_ｊ、ρ_ｊで表す。ここで、添え字ｊは画
像番号を示す。平面内平均散乱反射定数をＣｄ_Ｒ、Ｃｄ
_Ｇ、Ｃｄ_Ｂとし、鏡面反射定数で平面内で同一の代表値
をＣｓ、ｎとし、誤差ベクトルをεとすると、数式５で
示すの行列式が書ける。

【００６５】

【数５】

【００６６】なお、要素点の反射率が不明である場合、
行列式から対応する行を削除すればよい。

【００６７】そして、誤差ベクトルεを最適な値にする
定数の組（Ｃｄ_Ｒ、Ｃｄ_Ｇ、Ｃｄ_Ｂ、Ｃｓ、ｎ）を求
め、Ｃｓ、ｎを平面の（鏡面）反射定数としてモデルデ
ータ記憶部１５０に記録する（ステップ１１１５）。な
お、最適化には各種の数学的手法を用いることができる
が、本発明はこの手法を限定するものではない。例とし
て最小２乗法を用いるのならば評価関数を前記誤差ベク
トルεの自己内積ε・εが最小となる組を求めればよ
い。また、上述した評価関数は全ての誤差を等価に扱っ
ているが、各値の信頼性を考慮した評価関数を設定して
も良い。

【００６８】そして、平面上に規則的に彩色点を配置す
る（ステップ１１２０）。例えば、平面が三角形であれ
ば、図５における格子点のように、各頂点が（０，
０）、（１，０）、（０，１）となるように座標系を設
定する。そして、彩色点の配置密度をｍとして（ｉ／
ｍ，ｊ／ｍ）（ｉ＝１，２，，，ｍ，ｊ＝１，
２，，，ｉ）の位置を彩色点とする。ただし、本発明は
彩色点配置の規則を定めるものではない。しかし、規則
的に配置することにより個々に彩色点の座標を保持する
必要性を省くものである。よって、彩色点は一定の規則
に従っていれば配置規則を問わない。

【００６９】次に、全ての画像（Ｍ枚）に対し、呼び出
された彩色点に対し、照明方向、観測方向、反射率の対
応を計算し、対応表を作成する（ステップ１１２５）。
照明方向、観測方向、照明照度はステップ１１０５で算
出した値を近似値として流用しても良いし、彩色点の位
置で計算しなおしても良い。ただし画像上明度には画像
情報上で彩色点の投影部分の明度を用いる。

【００７０】そして、この対応表を反射モデル関数へ代
入する（ステップ１１３０）。反射モデルにはステップ
１１１０と同じモデルを使用し、ステップ１１１０で得
られた各対応をカラーバンドごとの彩色点反射率Ｒ_ｊ、
Ｇ_ｊ、Ｂ_ｊと角度変数θ_ｊ、ρ_ｊで表す。なお、添え字
ｊは画像番号を示す。照明方向、観測方向にステップ１
１００で算出した値を近似値とすれば、角度変数θ_ｊ、
ρ_ｊはステップ１１１０で算出した値を流用できる。そ
して、散乱反射定数をＣｄ_Ｒ、Ｃｄ_Ｇ、Ｃｄ_Ｂとし、鏡
面反射定数Ｃｓ、ｎにはステップ１１２０で記録した平
面内で同一の代表値を代入し、誤差ベクトルをεとする
と、再び数式４に示す行列式が書ける。彩色点の反射率
が不明である場合、行列式から対応する行を削除すれば
よい。

【００７１】次に、誤差ベクトルεを最適な値にする定
数の組（Ｃｄ_Ｒ、Ｃｄ_Ｇ、Ｃｄ_Ｂ）を求め、彩色点の散
乱反射定数として２次元配列中のｉ、ｊをインデックス
に持つ配列要素に格納する（ステップ１１３５）。ここ
での最適化には各種の数学的手法を用いることができる
が、本発明はこの手法を限定するものではない。ステッ
プ１１２０でも例とした最小２乗法であれば、この計算
は以下に示す数式６乃至数式８のように各カラーバンド
で独立な一次式になる。

【００７２】

【数６】

【００７３】

【数７】

【００７４】

【数８】

【００７５】この一次式は鏡面反射定数が未知の場合の
推定に比べ、非常に簡単に求めることができる。

【００７６】このように、実際の多くの物体では、柄や
印刷により地の色が細かく変化しても、素材や表面仕上
げなどは一定範囲で同一であることが多い。この領域で
は、地の色により散乱反射は異なるが、鏡面反射は同一
になる。また、質感や光沢感はハイライトの広がり具合
によって認識されるため、微小領域での鏡面反射の相違
は感じにくい。このことを利用し、本発明では素材や表
面仕上げが同一となる一つまたは複数の平面内において
同一の鏡面反射定数を持つように計算している。一方、
散乱反射定数については、各平面上に規則的に多数配置
した彩色点毎に与える。このことにより、平面内におい
ては一組の鏡面反射定数のみを保持すればよく、散乱反
射定数の前記２次元配列により細かい柄や模様を再現す
ることが可能になる。また、鏡面反射定数の推定は各平
面に対して一度だけ行えばよいので、推定に必要な計算
量が削減できる。

【００７７】以上の処理を平面上の全ての彩色点に対し
て行い、散乱反射定数が格納された２次元配列をモデル
データ記憶部１４０に記録する（ステップ１１４０）。
そして、ステップ１１２０乃至１１４０のステップを全
ての平面に対して行なう。

【００７８】これにより、モデルデータ記憶部１５０に
対象物をＣＧで再現するのに必要なモデルデータが揃
う。この例ではモデルデータは各平面ついて以下の情報
を持つ、（１）平面の位置を与えるための、平面頂点の
３次元座標、（２）一組の鏡面反射定数、（３）平面上
の全彩色点の反射モデル定数が格納された２次元配列。

【００７９】そして、対象物ＯをＣＧで生成表示する際
には、ＣＧ生成部１６０において要求される仮想空間内
での撮影装置・対象物の配置情報及び照明環境情報とモ
デルデータ記憶部１５０に記録された立体形状モデルか
ら各彩色点における照明方向・観測方向・照明照度及び
生成画像上の表示位置を算出する。そして、照明方向・
観測方向と、モデルデータ記憶部１５０に記録された反
射モデル定数を反射モデル関数に代入し反射率を計算す
る。反射率と照明照度の積を表示色として生成画像上の
表示位置に描画することで、表示部１７０で表現可能と
なる。このことにより任意の照明条件・視線方向で自然
な陰影やハイライトが再現される。

【００８０】なお、本実施形態において画像はＲ、Ｇ、
Ｂの３色から構成された場合を挙げて説明した。しか
し、本発明は、単色であれ、他の色であれ、スペクトル
情報であれ、偏光画像であれ、対応した反射モデル関数
が記述できれば、対応することは明らかである。

【００８１】また、前記では反射モデル関数にＰｈｏｎ
ｇ反射モデルを用いて説明したが、本手法は、反射モデ
ル関数を限定するものではない。例えば、Ｔｏｒｒａｎ
ｃｅ−Ｓｓｐａｒｒｏｗモデル等の反射モデル関数で
も、反射率が散乱反射成分と鏡面反射成分の線形和とし
て与えられ、各々複数または一つの定数と角度変数によ
り表現される記述できれば、対応することは明らかであ
る。

【００８２】また、彩色情報推定部１４０の推定法では
全ての反射定数が一意に求まるとは限らない。しかし、
求まらない定数を持つ要素点の近傍要素点の反射定数か
ら補完する、典型的な値で代用する等の手法を併用する
ことでこれを解消することができる。

【００８３】また、本発明の彩色情報付加方法及び三次
元画像処理方法を実行するコンピュータプログラムは、
フロッピーディスクその他のコンピュータ可読媒体に格
納され、及び／又は、インターネットその他の通信ネッ
トワークを利用してオンライン配信されて独立の取引対
象となり得る。

【００８４】以上、本発明の好ましい実施例を説明した
が、本発明はその要旨の範囲内で種々の変形及び変更が
可能である。

【００８５】

【発明の効果】以上説明したように、本発明によれば、
対象物の表面形状を平面の集合と捉え彩色情報を与える
彩色点を平面上に規則的に配置ことで個々の点に対して
座標を保持する必要性を省くことができる。これによ
り、彩色情報のサイズを小さくできると共に、推定、再
現にかかる計算量を削減することができる。

【図面の簡単な説明】

【図１】本発明の一側面としての三次元画像処理装置
の例示的一形態を示した構成図である。

【図２】図１に示す三次元画像処理装置を示すブロッ
ク図である。

【図３】図１に示す画像情報取得部及び対象物とを示
す構成図である。

【図４】図１に示す彩色情報推定部の動作を示すフロ
ーチャートである。

【図５】立体形状取得部により取得される一平面を示
す模式図である。

【図６】角度変数θ及びρを説明するための図であ
る。

【図７】図１に示す彩色情報推定部の別の動作を示す
フローチャートである。

【符号の説明】

１００三次元画像処理装置１１０画像情報取得部１２０撮影時情報取得部１３０立体形状取得部１４０彩色情報推定部１５０モデルデータ記憶部１６０ＣＧ生成部１７０ＣＧ表示部１８０制御部１９０メモリ

Claims

【特許請求の範囲】

【請求項１】対象物の立体形状モデルに対し彩色情報
を付加する方法であって、複数の平面の集合から前記対象物の表面形状が構成され
る立体形状モデルを取得するステップと、前記平面における彩色情報を推定するステップとを有
し、前記推定ステップは、前記平面上に規則的に複数の彩色点を配置するステップ
と、光源により照明された前記対象物を撮影した画像データ
及び当該画像データの撮影に関する情報に基づいて、前
記彩色点に対する彩色情報を所定の関数における所定の
定数として算出し、算出された前記所定の定数を前記彩
色点の配置に対応した二次元配列として格納するステッ
プとを有する彩色情報付加方法。
【請求項２】前記撮影に関する情報は、照明方向及び
照明照度を含む照明方法に関する情報と、前記撮影に対
する観測方法に関する情報と、撮影方法、対象物、光源
の位置及び姿勢情報とを有する請求項１記載の彩色情報
付加方法。
【請求項３】前記画像データは、前記対象物に対して
照明方向、観測方向のうち少なくても一つが異なるよう
に撮影された複数の画像よりなる画像群である請求項１
記載の彩色情報付加方法。
【請求項４】前記所定の関数は、照明方向、前記撮影
に対する観測方向及び前記所定の定数を当該所定の関数
の要素として有する請求項１記載の彩色情報付加方法。
【請求項５】前記所定の関数は散乱反射成分と鏡面反
射成分の線形結合で表され、前記所定の定数は前記散乱
反射成分に関わる散乱反射定数と前記鏡面反射成分に関
わる鏡面反射定数である請求項４記載の彩色情報付加方
法。
【請求項６】前記撮影に関する情報において、前記照
明方向、前記観測方向及び前記照明照度のうち少なくと
も一つは前記平面内の位置に依存しない所定の値として
近似可能である請求項２記載の彩色情報付加方法。
【請求項７】前記所定の値は、前記平面の重心又は当
該重心に準じる点における前記照明方向、前記観測方向
及び前記照明照度の値である請求項６記載の彩色情報付
加方法。
【請求項８】前記所定の値は、前記平面における前記
照明方向、前記観測方向及び前記照明照度の積分値又は
平均値である請求項６記載の彩色情報付加方法。
【請求項９】前記所定の値は、前記平面の所定の点に
おける前記照明方向、前記観測方向及び前記照明照度の
平均値である請求項６記載の彩色情報付加方法。
【請求項１０】前記撮影に関する情報において、前記
照明方向、前記観測方向、前記照明照度は前記平面の所
定の点における値の内分値で近似可能である請求項２記
載の彩色情報付加方法。
【請求項１１】前記平面が多角形である場合、前記所
定の点は前記多角形の各頂点である請求項９又は１０記
載の彩色情報付加方法。
【請求項１２】前記格納ステップは、前記所定の定数
のうち前記散乱反射定数を前記二次元配列として格納
し、前記鏡面反射定数は一の平面内で共通の値が保持さ
れる請求項５記載の彩色情報付加方法。
【請求項１３】前記格納ステップは、前記所定の定数
のうち前記散乱反射定数を前記二次元配列として格納
し、前記鏡面反射定数は前記複数の平面内で共通の値が
格納される請求項５記載の彩色情報付加方法。
【請求項１４】前記鏡面反射定数の前記共通の値は、
前記照明方向、前記観測方向及び前記照明照度の代表
値、及び画像明度の代表値に対応する所定の値である請
求項１２又は１３記載の彩色情報付加方法。
【請求項１５】前記照明方向、前記観測方向及び前記
照明照度の代表値は、前記平面内の位置に依存しない所
定の値である請求項１４記載の彩色情報付加装置。
【請求項１６】前記画像明度の代表値は、前記画像デ
ータ上の画像上明度を前記平面の投影領域上で積分又は
平均した値である請求項１４記載の彩色情報付加方法。
【請求項１７】前記彩色点に格納される前記散乱反射
定数は、前記鏡面反射定数の値を用いて算出する請求項
５記載の彩色情報付加方法。
【請求項１８】前記格納ステップは、前記所定の定数
のうち前記散乱反射定数を前記二元配列として格納し、
前記鏡面反射定数は前記平面の所定の点における値が格
納される請求項５記載の彩色情報付加方法。
【請求項１９】前記彩色点に格納される前記散乱反射
定数は、前記所定の点における前記鏡面反射定数を内分
することにより算出する請求項１８記載の彩色情報付加
方法。
【請求項２０】前記平面が多角形である場合、前記所
定の点は前記多角形の各頂点である請求項１８又は１９
記載の彩色情報付加方法。
【請求項２１】前記立体形状モデルを構成する前記平
面は前記対象物の表面で素材及び表面仕上げが異なる部
分を跨がないように設定される請求項１記載の彩色情報
付加方法。
【請求項２２】対象物の立体形状モデルに対し彩色情
報を付加する装置であって、光源により照明された前記対象物の画像データを取得す
る画像取得部と、前記画像データの撮影に関する情報を取得する撮影時情
報取得部と、複数の平面の集合から前記対象物の表面形状が構成され
る立体形状モデルを取得する立体形状取得部と、前記画像データ及び前記撮影に関する情報に基づいて、
前記平面における彩色情報を推定する彩色情報推定部と
を有する彩色情報付加装置。
【請求項２３】請求項１乃至２１のうちいずれか一項
記載の方法により彩色情報を付加するステップと、前記付加された彩色情報を用いて三次元画像を作成する
ステップと、前記作成された三次元画像を表示するステップとを有す
る三次元画像処理方法。
【請求項２４】請求項１乃至２１のうちいずれか一項
記載の方法を実行するコンピュータプログラム。
【請求項２５】請求項２３記載の方法を実行するコン
ピュータプログラム。
【請求項２６】光源により照明された前記対象物の画
像データを取得する画像取得部と、前記画像データの撮影に関する情報を取得する撮影時情
報取得部と、複数の平面の集合から前記対象物の表面形状が構成され
る立体形状モデルを取得する立体形状取得部と、前記画像データ及び前記撮影に関する情報に基づいて、
前記平面における彩色情報を推定する彩色情報推定部
と、前記彩色情報推定部により付加された前記彩色情報を用
いて三次元画像を作成する作成部と、作成された前記三次元画像を表示する表示部とを有する
三次元画像処理装置。