JPS62171075A - ３次元画像への色彩情報の入力方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、３次元画像への色彩情報の入力方法に係り、
特にコンピュータ・グラフィックス・システムにおいて
、３次元画像で表現された物体に対しＴＶカメラにより
色彩情報を自動入力するのに好適な３次元画像への色彩
情報の入力方法に関する。

〔従来の技術〕

従来のコンピュータ・グラフィックス・システムにおい
ては、自由形状でカラーの３次元物体を自動入力し、３
次元モデルとして計算機により表現することは非常に困
難であった。特に任意形状の３次元モデルに対して、大
刃物体の色彩情報を自動的に付与することは殆ど不可能
であった。

従来技術では形状モデルと色彩情報の対応関係が不十分
だったためである。

〔発明が解決しようとする問題点〕

従来の一方法では、色彩情報を３次元モデルと別に２次
元のテーブル形式で記憶しておき、陰影計算をするとき
にはこのテーブルの値を利用して画素の輝度を計算する
０例えば多角形パッチの集合で立体形状を表現する場合
、色彩情報はバッチの形状とは本質的に無関係に分布す
るので、ひと　　″つひとつのパッチに対して形状と色
彩の対応関係を定めるテーブルを用意する必要がある。

この様な処理では、自由形状を表現できるようにバッチ
数を増大させた場合、記憶容量及び処理速度の点で、そ
れらの取扱いが困難であり、従って色彩情報を自動的に
対応づけることは不可能であった。

また、３次元画像の画素形状として球を使い、各球には
人手によりその色を与える方式がある（大阪大学ＣＧグ
ループ、「画像データ編集システムＬＩＮＫＳ−Ｉ）Ｍ
ＳＪ　、ＰＩＸＥＬ　＆１２゜１９８３年５，６月号）
、この例では各球の半径を変更できるため、少ない数の
球の組み合わせで形状を表現でき、少ない労力で色彩情
報を付与可能である。しかし、形状を精度よく近似する
には、多くの球を用いる必要があり、このような場合は
人手で色彩情報を入力することは実際上不可能である。

この様な状況から、例えば中高・森田・安居院らによる
ｒ色彩情報相輪郭線による立体の再生」（電子通信学会
論文誌８３年５月号Ｊ６６−Ｄ巻５号）と題する論文で
は、立体形状を櫛型ゲージにより入力し、色彩情報をＴ
Ｖカメラにより入力し、両者からの情報を基に色彩情報
付輪郭線と呼ばれるモデルによって、立体を再構成して
いる。

上記論文では形状と色彩の２つの情報をうまく融合させ
た点に特徴がある。しかし、このモデルでは円筒座標系
上に置かれた物体の高さと角度に対応する１点のみの表
面状態を記憶するので、余り複雑な形状を入力できない
６例えば分岐や穴を有する物体などを扱えない、また上
記論文では、物体の輪郭線の正面からラインセンサーに
よるＴＶカメラで盪影して、測定された直線状の１次元
の色彩情報を輪郭線に付与し色彩を入力している。

このとき輪郭線上の１点の色彩情報は、ただ１つのカメ
ラ画與の情報から決定される。ところが、カメラから得
られる色彩情報はごくわずかな照明むら、受光素子のば
らつきなどに大きく影響されるので、唯一の画素情報か
ら正確な色彩を安定して入力することは困難である。

さらに上記論文ではカメラから得た色彩情報を櫛型ゲー
ジで求めた立体形状に対し平行投影で付加している点が
問題である。カメラから得られる色彩情報は透視投影を
受けており、平行投影で付加した場合には形状との対応
関係が不完全であり、入力結果には色ずれなどを生じる
ことになる。

〔発明の目的〕

本発明の目的は、幾何的に複雑な形状も含む自由形状の
物体を表現した３次元画像に対して、照明条件などの影
響を受けずに、物体の色彩情報を安定して対応付ける方
法を提供することである。

〔問題点を解決するための手段〕

本発明は、物体形状が立体画素を集合させた３次元画像
としてモデル化され、しかもＴＶカメラにより複数視線
方向からの物体のカラー画像が得られている場合に、立
体画像で表現されたその形状に対し、透視投影を考慮し
てＴＶカメラ画像の色彩情報を付与するとともに、１つ
の立体画素の色彩を複数のカメラ画像の画素の色彩情報
から決定して、上記の目的を達成しようとするものであ
る。

〔作用〕

上記本発明の手段によれば、任意形状を表現した３次元
画像の表面の立体画素に複数の撮影方向からの情報を基
に色彩情報を付与できるので、付与しようとする立体画
素の位置で少なくとも１か所の視線方向から色彩情報が
入力されていれば、従来は不可能であった分岐や穴のあ
るような複雑な形状についての扱いが可能となり、２ｒ
Ｓ複数方向からの色彩情報の平均化処理により外部から
の影響を受けやすい色彩情報を安定して入力できる。

更に、透視投影を考慮し、スケーリングしたカメラ画像
の色彩を付与しているから従来例で問題であった色ずれ
を生じない。

〔発明の実施例〕

以下、図面を参照して本発明の実施例を詳細に説明する
。第１図〜第５図は本発明により３次元画像に物体の色
彩情報を入力する方法を説明する図である。

第１図において、物体１の立体形状を表現するような計
算機内の３次元モデルとして、３次画像（画素数ＭＸＭ
ＸＭ）の立体画素の集合Ｐが定義されている。ここで立
体画素（Ｘ、Ｙ、Ｚ）は、直交座標系の等間隔な格子点
の状態を表現するもので１例えば１画素を８ビツトで表
現する画像ではＯ要素を背景像、１〜２５５要素を物体
像の輝度情報として立体形状を表現できる。また、Ｘ。

Ｙ、Ｚは第２図のように立体画素を３次元配列形式で記
憶した場合の記憶場所を示すインデックスであり、同時
に３次元画像空間内の各画素の中心座標値でもある。い
ま各画素の大きさを１とすると、３次元画像空間の一辺
の憂さはＭ−１である。

一方、第１図でＴＶカメラにより視線方向ｉ　（ｉ＝１
〜Ｎ）の方向から１を撮影したカメラ画像ＩＣ１（画素
数ＭＸＭ）の座標系を（ｕ、ｖ）として、ｉ番目のカメ
ラの視点Ｆｓ　から物体１までの距離をＬｘとする。同
図では説明のためＩＣｚは視点の反対側に示しであるが
、実際には２の結像面に投影されるものである。色彩情
報とは具体的にはＲＧＢに色分解されたカメラ画像の画
素の輝度値である。

ここでは３次元画像とカメラ画像の解像度は等しく、両
者の一辺の画素数はいずれもＭであるとした。しかし使
用するカメラにより３次元画像との解像度が異なる場合
がある。このときには両者の解像度を合わせる操作を行
なう０例えば３次元画像の画素数がＭｏＸＭｏＸＭｏで
、カメラの画素数がＭ　Ｉ　Ｘ　Ｍ　１の場合には。

［ｕｏ　　ｖｏ　　　１］＝［ｕｚ　　ｖｔ　　１］［
ＴＡコ　　（ｉ）ただし、 のように幾何変換行列［Ｔ＾］を乗じ、カメラ画像をｕ
ｏ、ｖｏの座標系に変換する。ｕｏ、ｖｏ座標系では画
像の一辺の画素数はＭｏであり、３次元画像との解像度
が等しくなる。

まず色彩情報を付与する際に、１番目のカラー画像ＩＣ
１について撮影時の視線が第１図の−Ｒｚ’　　軸の方
向にあるものとして説明する。ここでは視線軸の方向に
３次元画像の配列方向を合わせるために、３次元画像の
回転変換を行なう。

そして３次元画像の回転を指定する座標系として、原点
を（Ｘ、Ｙ、Ｚ）＝　（（Ｍ＋１）／２．（Ｍ＋１）／
２．　　（Ｍ＋１）／２）に置き、Ｒｘ　、　Ｒｙ　。

Ｒ２から直交座標系を定義する。Ｘ、Ｙ、Ｚとの関係は
、 である。撮影時のカメラの視線軸をＲｚ’　　軸とし、
これに直交する方向をＲＸ’　、Ｒア′軸とし、ＲＸ　
ｐＲｙ、Ｒｚが各軸回りに角度α、β、γ回転してＲ，
’　、Ｒア／　、　Ｒ，Ｉ　　と一致したとする。同図
の場合では、α＝Ｏ１γ＝Ｏである。この時、Ｐに３次
元の幾何変換（回転）行列［Ｔａ　］を乗じて、立体画
素が定義されている座標系を変換する。即ち、 ［Ｒｘ’　　　　Ｒｙ’　　　　Ｒｚ’　　　ｌ］＝［
Ｒｘ　　Ｒｙ　　Ｒｚ　　１１　　［Ｔａコ（且） ただし、 Ｃ１＝ＣＯ３α、　Ｃ２＝ＣＯ３β、　Ｃ３＝ＣＯ５γ
Ｓｌ　＝　ＳＩＮα、　５２＝ＳＩＮβ、　５３＝ＳＩ
Ｎγとして計算機内で立体画素が定義されている座標系
（Ｘ、Ｙ、Ｚ）を変換して、座標軸の一つが撮影時の視
線方向に等しくなるような座標系（Ｒ１＋’　。

Ｒｙ’　、　Ｒｚ’　）にする、３次元モデル形状Ｐに
この変換を作用させたものをＰ′とする。

ここで、透視投影の関係について説明する。カメラ画像
ＩＣｔは視点Ｆｔを投影中心とした透視投影変換を受け
たものである。この投影の関係は物　　　１体１とＦ、
との距離Ｌｓから決定できる。したがってＬｉが十分に
大きな値である場合には、近似的に平行投影と見なすこ
とができる。しかしＬｉ　が比較的小さい場合に、平行
投影を仮定するとカメラ画像と３次元画像の投影関係が
等しくなるので、立体画素による形状と色彩情報が正く
く対応付けされず、色ずれの状態が発生する。そのため
カメラ画像に生じている透視投影の影響を考慮する必要
がある。そこでり、の値を基準にして、視線軸上の任意
の位置での投影像の大きさを視点からの距離の比例計算
で算出して、その大きさに画像をスケーリングする。第
３図は透視投影の関係を説明する図であり、Ｒ１’　　
軸の正の方向から見た状態を示している。ここで、Ｒｙ
’　　＝Ｏの平面での投影像の大きさはカメラ画像に等
しい（スケーリング率１．Ｏ）ものとする、すると同図
Ａの平面でのカメラ画像のスケーリング率は１−（Ｍ−
１）／２Ｌ１であり、またＢの平面では１＋ＣＭ−１）
／２Ｌｉとなる。そしてに軸は視線軸であり、平面Ａで
に＝１．平面Ｂではに＝Ｍの値を持つものとする。

透視投影の関係が定義されると、ＩＣｉを視線軸（ｋ軸
）を中心に視点側（ｋ＝１）から３次元画像の終端（ｋ
＝Ｍ）まで順次スケーリングして物体の形状を表わす立
体画素の集合Ｐ′に付与すればよい、ここでスケーリン
グとは、前述のように視線軸上の任意点での投影像の大
きさに合わせることであり、スケーリング率とはその場
合の拡大縮小率である。このスケーリング率ＳＲはｋの
関数であり、ｋ＝１〜Ｍの区間において順次画像の変換
を行なう。カメラ画像ＩＣｃの各画素について、幾何変
換（スケーリング変換）行列［Ｔｅｌを用いて、 ［ｕ’　　ｖ’　　１］＝［：ｕ　　ｖ　　１］［Ｔｅ
ｌ　　　（ｉｔｉ）ただし、 ５ｃ＝（２に＋　２　Ｌｉ−Ｍ　　　１）／２　ＬｔＤ
ｃ＝：　（Ｍ−１）（１−Ｓ　ｃ）／　２としてカメラ
画像をスケーリングしてＩＣ’ｚｍとする。一つの画像
ＩＣｉｔｃＭ回スケーリングし、ＩＣ’ｉｘ〜ＩＣ’１
にを作成する。このときスケーリング量Ｓａは視点から
の距離に比例したＩＣｉの拡大率であり、平行移動量Ｄ
ｃはＩＣｉの中心をＺ軸に一致させるための［Ｔｃ　］
のパパラメタである。

つぎにスケーリングしたカメラ画像ＩＣ’ｓｂを視線方
向からＰ′に付与する方法について説明する。ＩＣ’ｉ
ｈをｕ′、ｖ′力方向走査して、ｋ＝１〜ＭにおいてＰ
′と交差している部分を調べる。

３次元画像の配列方向は視線軸の方向に合わせであるの
で、Ｐ′はに＝１〜Ｍの平面で分割できる。

即ちに軸に垂直なＭ個の断面からなる積層断面体とする
。交差判定は■Ｃ′１にと同一のｋにおけるＰ′の断面
について画像の論理積を計算し、双方に共通な物体像の
部分を検出すればよい、もし共通な物体像があれば、Ｐ
′の該当部分にＩＣ１にの色彩情報を付与する。ただし
Ｐ′の内部に当たる立体画素については色彩情報を付与
しない、これは視点に最も近いＰ′の立体画素、即ち表
面上にある画素のみに色彩情報を付与することである。

視点側に物体像がない場合には、その立体画素は表面上
にある。以上を他の視線方向についても繰り返すと、３
次元モデル形状Ｐの表面上にある立体画素に対して色彩
情報を付与できる。

本方式では２次元のカメラ画像の色彩情報を３次元形状
に付与しているので、視点の選び方により物体の同一の
立体画素に相当する部分を異なる視線方向で撮影でき、
Ｐの表面上の一つの立体画素について二つ以上の色彩情
報が得られる６例えば第１図における一画素Ｐ＾の色彩
情報は、視線方向がｘＺ面内のときには全ての方向から
観測される。この場合には立体画素ごとに幾つの視線方
向から色彩情報が付与されたかをカウントしておき、す
べての力／ラー画像からの付与が終了した段階で単純平
均を算出し、この値をその立体画素の色彩情報とする。

この様にひとつの立体画素の色彩情報を複数方向より観
測された情報から決定しているので、照明条件等の微妙
な変動により変化する色彩情報を平均化により安定して
入力できる。また物体の形状が空間上の格子点の状態を
記述する３次元画像で表現されているため、その解像度
の範囲内であれば形状による制約はなく、任意の自由形
状を取扱い可能である。

第４図は平行投影と仮定できる場合の色彩情報の入力方
法を説明する図であり、前述のように視点と物体間の距
離Ｌｉが大きい場合に相当する。

この場合はカメラ画像の物体像の画素について、視線方
向に３次元画像の中を探索して、立体画素集合による形
状Ｐと交差する最初の位置の立体画素に色彩情報を付与
する。例えば視線方向が２軸のときは、３次元画像内で
の探索は同図のように、Ｘ＝ｕ、Ｙ＝ｖに固定してＺの
値を１ずつ減じなからＰの物体像を見つける。この様に
平行投影の場合には式（ｉｉｉ）による投影像の大きさ
計算が不要であり処理を簡略化できる。

第５図は複雑な形状をもつ立体画素の集合に対する色彩
情報の入力を説明する図である。物体１′は穴や分岐を
含む形状であり、図示した位置では面ａｖｂ＊Ｑｐｄ、
θ、ｆの６つの面が可視面である６まずこの物体の色彩
情報を入力しようとして視線方向１から物体を撮影し、
同時に照明方向１から照明する。すると面ａの色彩情報
は問題なく入力できるが、面ｄ、ｅ、ｆのような内側の
面は殆ど入力できない。そこで視線方向２に変えて撮影
し、照明も照明方向２とする。このとき式（：Ａ）によ
る３次元画像の回転変換を行なうので、視線方向の指定
は任意である。視線方向２では主として面ｅのような内
側の面を入力する。このように任意方向に視線方向を指
定できるので。

複雑な形状であってもその表面点が少なくとも１方向か
ら観測可能であれば、これを入力できる。

また面ａは視線方向１，２の何れの方向からも入　１カ
されるが、照明方向が異なるために違った色彩が入力さ
れる。特に物体表面が鏡面反射の傾向を持つ場合などで
は、正反射方向に強く反射し、照明方向の微妙な違いで
観測される色彩が大きく異なる。そのため単一の方向か
ら物体の色彩を定めるのは困難であるが、本方式では複
数方向からの色彩情報の平均化処理によりその部分の色
彩を定めているので、照明により反射の特異性が現われ
ているような場合でも色彩を安定して入力できることに
なる。

また、例えば第５図のａの面はある一様の色を持つ面で
あるとする。すると理想的には一つの方向からカメラで
観測される色彩は、この面内では同一になるはずである
。しかし例えば照明条件などにより、この面内でも同一
色にはならない。理想的な平行光線のもとでは同一色に
成り得るが、゛完全な平行光線をつくることは困難であ
り、多くの場合は同一面でも照明に近い側の部分が明る
く観測される。その他にも照明のむらや受光素子のばら
つきなどの影響もあり、単一方向から表面上の一点の色
彩を決定することは困難である。本発明では上述のよう
に複数方向からの色彩情報の平均値を与えているので、
このような誤差要因があっても、これを相殺した値を入
力できる。

第６図は本発明方法を実行するのに好適な物体の色彩情
報入力装置の一実施例を示す概略構成ブロック図である
。第６図において、大刃物体１はＴＶカメラ２により撮
影され、各視線方向毎のカラー画像信号はカメラ制御袋
Ｍ３の制御のもとに計算機４に入力される。なお計算機
４は操影画像データの取りだしおよび記録と上記制御装
置３への指令などを司るものであり、内部に格納された
プログラムに従って上記装置等の動作を制御する。

次に第７図のフローチャートにより第１図方法の各段階
を説明する。まず予め設定された視線方向（Ｎ個の方向
）について、ＴＶカメラ２がカメラ制御装置３の制御に
より物体１を撮影し、そのカラー画像データを計算機に
入力して記録する（ステップ１０１）、カメラ画像の解
像度が３次元画像と等しくない場合には、式（ｉ）によ
り両者の解像度を等しくする（１０２，１０３）。つぎ
に３次元画像を定義する直交座標系の一つの軸を視線方
向に合わせるため、式（ｉｉ）により３次元画像の回転
変換を行なう（１０４）。透視投影　　１の強さを定義
する視点Ｆ１と物体１との距離ＬＬを入力する（１０５
）。Ｌｌの値が十分に大きい場合（１０６）−平行投影
により色彩情報を付与する（１０７）、一方、透視投影
の度合いが強い場合は３次元画像内の各位置での投影像
の大きさ、即ちスケーリング率を算出する（１０８）。

それから式（ｆｉｔ）によりカメラ画像のスケーリング
変換を行なう（１０９）、スケーリングしたカメラ画像
が物体の立体形状を表わすＰの表面の立体画素と交差す
る場合には、その立体画素にカラー画像の色彩情報を付
与する（１１０）。総ての立体画素について色彩情報が
付与された回数をカウントしておき、単純平均を算出し
てその立体画素の色彩情報とする（１１１）。

さらに第８図〜第１３図により色彩情報を付与する方法
について具体的に説明する。物体は第８図のような立体
形状であり、一つの面には赤色の円形の模様があってそ
の他の部分は白色であるとする。計算機の内部にはこの
形状に対応して第９図のような３次元画像によるモデル
形状が得られる。このとき赤色の面の方向は立体画像の
配列方向とＲｙ軸回りに角度βだけずれている。

まずカメラにより第１の視線方向から物体を撮影する（
ステップ１０１）。このとき第１０図のように３次元画
像と投影中心の距離はＬｌであり。

入力の方向は赤色の面から正面方向であるから、ＩＣＩ
のようなカメラ画像が得られる。同カメラ画像のうち、
物体面と赤色と白色の部分は物体像であり、その他は背
景像である。ここで３次元画像と解像度が等しくない場
合には解像度合わせを行なう（１０２，１０３）。つぎ
に赤色の面の正面方向は角度βずれているので、第１１
図のようにこの方向に３次元画像を回転変換する（１０
４）。それから距離Ｌ１は平行投影を仮定できるほど十
分に大きい値ではないので、透視投影による色彩付与を
行なう（１０５，１０６）。そのつぎにに軸上でスケー
リング率を算出する（１０８）。

その値によりカメラ画像をスケーリングするとに＝ａあ
るいはｂの地点では第１２図のようになる（１．０９）
、透視投影を考慮しているために、このようなスケーリ
ングが必要となる。スケーリングしないと、ｋ軸方向で
模様（赤色の円形）の大きさは常に一定であり、模様が
手前側の面にあった場合と後ろの場合の区別がないので
、色ずれを生じる。そして第１３図に示すような方法で
表面上にある立体画素に色彩情報を付与する（１１゜）
。同図はに＝ｊ−１〜ｊ＋１でスケーリングしたカメラ
画像、回転変換後のモデル形状Ｐ′の断面、および両者
の論理積画像を示すものである。

ここで赤色の面はに＝ｊに相当する位置にあるものとす
る。ｋ＝ｊ−４では物体像の論理積部分がないので色彩
を付与しない、そしてに＝ｊおよびｊ＋１では論理積部
分がある。ところがｊ＝に＋１のときには視点側のに＝
ｊの位置にＰ′の物体像があるので色彩を付与しない。

したがって色彩を付与するのはに＝ｊのときであり、こ
れにより表面上の立体画素のみに色彩を付与できる。こ
の他の視線方向についても同様に行なう。

上記実施例では、同一の立体画素に複数の色彩情報を対
応させる場合に、色彩情報を示す値の単純平均の計算に
より、これを処理していた。この方式では計算機の記憶
領域の中に、総ての立体画素について１色彩情報を記憶
する領域のほかに。

色彩情報が付与された回数を記憶する領域が必要である
。そこで計算機の記憶容量を小さくする必要がある場合
には、２項平均で計算する。２項平均では例えばａ、ｂ
、Ｑの３つの値の平均を求める場合に（（ａ＋ｂ）／２
＋ｃ）／２のように計算するので、カウンタが不要であ
り、記憶容量を削減できる。

また上記実施例では、同一の立体画素に複数の色彩情報
を対応させる場合に、総ての色彩情報を対等に扱ってい
る。しかし実際にＴＶカメラで観測される色彩情報では
、物体の面素の傾きから生じる陰影の影響があり、照明
方向と面素の傾きがなす角度に応じてこの影響を受ける
強さが異なる。

そのため、より精密に色彩情報を入力する場合には、撮
影時の照明方向と面素の傾きがなす角度に応じた重みを
色彩情報にっけ、加重平均により計算し、その立体画素
の色彩情報とする。このようにすると、陰影の影響を考
慮して物体の色彩情報を入力できる。

〔発明の効果〕

本発明によれば、任意形状を表現した３次元画像の表面
の立体画素に複数の撮影方向からの情報を基に色彩情報
を付与できるので、付与しようとする立体画素の位置で
少なくとも１が所の視線方向から色彩情報が入力されて
いれば、従来は不可能であった分岐や穴のあるような複
雑な形状の物体も取り扱い可能であり、更に、外部から
の影響を受けやすい色彩情報を複数方向からの色彩情報
の平均化処理により安定して入力できる。また、透視投
影を考慮し、スケーリングしたカメラ画像の色彩を３次
元画像に付与しているので、従来例で問題であった色ず
れを生じない。

【図面の簡単な説明】

第１図は本発明方法における３次元画像の定義方式を示
す図、第２図はその座標の与え方を示す図、第３図は透
視投影の関係を説明する図、第４図は平行投影と仮定で
きる場合の色彩情報の入力方法を示す図、第５図は複雑
な形状をもつ立体画素の集合に対する色彩情報の入力方
法を示す図。 第６図は本発明方法を実行するのに好適な物体の色彩情
報入力装置の一実施例を示すブロック図、第７図は本発
明方法のフローチャート、第８図は第７図フローチャー
トの方法を適用する物体の一例を示す図、第９図は第８
図物体について計算機内に得られるモデル形状を示す図
、第１０図はＴＶカメラと物体との関係を示す図、第１
１図は３次元画像の回転変換の方式を示す図、第１２図
はスケーリングを示す図、＠１３図は色彩情報の付与方
式を示す図である。 １・・・液入刃物体、２・・・ＴＶカメラ、３・・・カ
メラ制御装置、４・・・計算機。

Claims (1)

1. 【特許請求の範囲】 １、被入力物体の立体形状を立体画素の集合により３次
   元モデルとして表現した３次元画像への色彩情報の入力
   方法において、複数の視線方向から物体を撮影し複数の
   ２次元カラー画像を得る段階と、前記３次元画像の表面
   上の各立体画素に対応する色彩情報を上記複数の２次元
   カラー画像の画素が持つ値から計算し各立体画素に割り
   当てる段階とからなることを特徴とする３次元画像への
   色彩情報の入力方法。 ２、特許請求の範囲第１項において、色彩情報を各立体
   画素に割り当てる段階が、上記各カラー画像の視線方向
   について３次元画像を定義する軸のうちの一つがカラー
   画素撮影時の視線方向と同一になるように回転変換を行
   なう段階と、視点から物体までの距離とカラー画像から
   決定される透視投影の関係に基づき３次元画像内で視線
   方向に垂直な各平面についてカラー画像を順次スケーリ
   ング変換する段階と、そのカラー画像と立体画素との交
   差判定により視点側からみて最初に交差する立体画素に
   対してカラー画像の画素の色彩情報を付与し、その色彩
   情報の付与の際に他の視線方向から既に色彩情報が付与
   されている場合にはこれら複数の値から計算した値をそ
   の立体画素に付与する段階とからなることを特徴とする
   ３次元画像への色彩情報の入力方法。 ３、特許請求の範囲第２項において、複数の色彩情報の
   値からその立体画素の値を計算する段階が、それら複数
   の値の２項平均を算出する段階であることを特徴とする
   ３次元画像への色彩情報の入力方法。 ４、特許請求の範囲第２項において、複数の色彩情報の
   値からその立体画素の値を計算する段階が、それら複数
   の値に対して撮影時の照明方向と物体表面の画素がなす
   角度に応じて重みを付け加重平均を算出する段階である
   ことを特徴とする３次元画像への色彩情報の入力方法。