JP2023034128A - 分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラム - Google Patents

Abstract

【課題】ハイパースペクトルカメラより安価な撮像装置の撮像画像で、物体の分光反射率を反映したテクスチャ画像を生成する分光テクスチャ画像生成システムを提供する。【解決手段】本発明は、多視点画像から物体の三次元形状モデルの４バンド以上の分光反射スペクトルの分光テクスチャ画像を生成するシステムであり、対象物体を異なる視点及び分光感度の撮像装置で撮像した多視点画像を、分光感度毎の分光感度グループに分類する多視点画像分類部と、多視点画像の第１画素の第１座標とテクスチャ画像の第２画素の第２座標の対応を示す対応座標情報を生成する対応座標情報生成部と、分光感度グループに対応して、対応座標情報を用いて多視点画像からテクスチャ画像を生成するテクスチャ画像生成部と、対応座標情報を参照し、テクスチャ画像から物体の分光反射スペクトルを推定して、分光テクスチャ画像を生成する分光テクスチャ画像生成部とを備える。【選択図】図１

Description

本発明は、三次元形状モデルに対してテクスチャマッピングを行なうテクスチャ画像を生成する分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラムに関する。

多視点画像に基づく、対象物体の三次元形状モデルを生成する三次元形状復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている。
多視点画像における撮像画像の各々において撮像された対象物体のシルエットや表面テクスチャの写り方の相違により、対象物体の三次元形状を復元する（例えば、特許文献１及び特許文献２参照）。

一般的に、このような多視点画像からの対象物体の三次元形状の復元では、復元された三次元形状モデルに対するテクスチャ画像を、多視点画像における視点画像中の対応する画素におけるＲＧＢ値（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅのそれぞれのチャンネルの画素値）や、多視点画像における対応する複数枚の視点画像の各々におけるＲＧＢ値の平均値などにより生成する。

しかしながら、市場に流通して市販される一般的な撮像装置（例えば、デジタルカメラなど）のＲＧＢ値は、対象物体を撮像する際における撮像環境の光源の分光分布や、撮像に利用する撮像装置の分光感度の特性の影響を受ける。
そのため、同一の対象物体を異なる光源下、あるいは異なる撮像装置で撮像した視点画像を用いて三次元形状モデルのテクスチャ画像の生成を行った場合、同一の対象物体であるにもかかわらず、対象物体の分光反射率を得ることができないため、光源やデジタルカメラによって異なる色で三次元形状モデルのテクスチャ画像が生成されてしまう。

一方で、多視点画像における視点画像間における撮像環境の光源の分光分布や、撮像における分光感度の違いの影響を受けずに、三次元形状復元を行う対象物体の色情報を取得するため、ハイパースペクトルカメラを用いる方法がある。
ハイパースペクトルカメラは、数十～数百バンドに細かく波長を分光して各々の強度を示すスペクトル情報をピクセル毎に保持する画像であるハイパースペクトル画像を撮像することができる。
上述したハイパースペクトルカメラを用いて、対象物体の分光反射率（波長ごとの光の反射率）を取得することで、多視点画像の視点画像間における撮像環境の光源の分光分布や、撮像に用いデジタルカメラの分光感度の違いに依存しない色の表現が可能である。

特開２０１８－１８１０４７号公報 特許第５０６８７３２号公報

しかしながら、ハイパースペクトルカメラは、ＲＧＢ画像を撮像する一般的なデジタルカメラと比較して、価格が高価であるという問題がある。
また、ハイパースペクトルカメラは、ハイパースペクトル画像を一枚撮像するために数十秒（場合によっては１分以上）の時間を要し、一枚を１秒以下で撮像できるデジタルカメラに比較して非常に長い。
このため、テクスチャ画像を生成するために多くの撮像画像を撮像するため、対象物体を撮像する際に、ハイパースペクトルカメラはデジタルカメラと比較して多くの時間を要する。例えば、対象物体の百枚以上の多視点画像を撮像するために、デジタルカメラは数分で終了するが、ハイパースペクトルカメラは数時間の作業時間が必要となる。

さらに、ハイパースペクトルカメラは、ＲＧＢ画像を撮像する一般的なデジタルカメラと比較して、撮像される撮像画像の解像度が低いと言う問題がある。すなわち、ハイパースペクトルカメラで撮像した多視点画像から三次元形状モデルのテクスチャ画像の生成を行う場合、多視点画像における視点画像の解像度がテクスチャ画像の解像度に大きく影響する。
このため、対象物体の三次元形状モデルのテクスチャ画像を、デジタルカメラで撮像した画像で生成した場合と同様の解像度で生成することは、解像度の低いハイパースペクトルカメラではできない。

上述した理由から、対象物体を復元した三次元形状モデルのテクスチャ画像を生成する多視点画像として、ハイパースペクトルカメラにより撮像するハイパースペクトル画像を用いることは難しい。このため、ハイパースペクトルカメラに対して価格がより安価であり、かつ短時間に多くの多視点画像を撮像する撮像装置により、簡易に対象物体の形状と分光反射率とを取得する技術が望まれている。

本発明は、このような状況に鑑みてなされたもので、一般的なユーザが取得可能な市場に流通している、高価なハイパースペクトルカメラよりも安価な撮像装置の撮像画像により、対象物体の分光反射率を反映したテクスチャ画像を簡易に生成することができる分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラムを提供する。

上述した課題を解決するために、本発明の分光テクスチャ画像生成システムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成部と、前記分光感度グループの各々に対応して、前記対応座標情報を用いて前記多視点画像から前記テクスチャ画像を生成するテクスチャ画像生成部と、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成部とを備えることを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記対応座標情報生成部が、前記分光感度グループの各々において、それぞれの前記テクスチャ画像の前記第２座標の座標系を同一として前記対応座標情報を生成し、前記分光テクスチャ画像生成部が、前記対応座標情報を参照して、前記テクスチャ画像の各々から前記分光テクスチャ画像のそれぞれを生成することを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記対応座標情報生成部が、前記分光感度グループの各々における前記テクスチャ画像のそれぞれの前記第２座標を異なる座標系として前記対応座標情報を生成し、前記分光テクスチャ画像生成部が、前記対応座標情報を参照して、前記三次元形状モデルにおける座標点である第３画素の第３座標を基準として、前記テクスチャ画像の各々から前記分光テクスチャ画像のそれぞれを生成することを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記対応座標情報生成部が、前記分光感度グループの各々における前記テクスチャ画像のそれぞれの前記第２座標を異なる座標系として、前記分光感度グループのぞれぞれの対応座標情報を生成し、また前記分光感度グループの各々の前記対応座標情報を統合する統合対応座標情報を生成し、前記テクスチャ画像生成部が、前記対応座標情報を参照して、前記多視点画像の各々から、前記分光感度グループ毎の前記テクスチャ画像のそれぞれを生成し、当該テクスチャ画像の各々の座標系を前記統合対応座標情報により同一としてテクスチャ画像を再構成し、前記分光テクスチャ画像生成部が、前記テクスチャ画像の各々から前記分光テクスチャ画像のそれぞれを生成することを特徴とすることを特徴とする。

本発明の分光テクスチャ画像生成システムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記分光テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成部と、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成部とを備えることを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記分光感度グループの各々の前記テクスチャ画像の間における前記画素の位置ずれを検知し、当該テクスチャ画像の前記位置ずれを補正するテクスチャ画像補正部をさらに備えることを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記分光感度グループの各々の前記テクスチャ画像の間における前記画素の位置ずれを検知し、前記対応座標情報において前記位置ずれを補正するテクスチャ画像補正部をさらに備えることを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記分光感度グループの各々の前記多視点画像の間における前記画素の位置ずれを検知し、前記対応座標情報において前記位置ずれを補正するテクスチャ画像補正部をさらに備えることを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記対応座標情報生成部が、前記第２座標と前記三次元形状モデルの画素の座標である第３座標との対応関係を示す第２対応座標情報と、前記第３座標と前記分光感度グループ毎の前記多視点画像の第１座標との対応関係を示す第３対応座標情報とから、前記対応座標情報を生成することを特徴とする。

本発明の分光テクスチャ画像生成システムは、前記対応座標情報生成部が、前記分光感度グループ毎に生成される、前記三次元形状モデルの画素の座標である第３座標と、前記多視点画像の画素の座標である前記第１座標との対応関係を示す第３対応座標情報から前記対応座標情報を生成することを特徴とする。

本発明の分光テクスチャ画像生成方法は、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、対応座標情報生成部が、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成過程と、テクスチャ画像生成部が、前記分光感度グループの各々に対応して、前記対応座標情報を用いて前記多視点画像から前記テクスチャ画像を生成するテクスチャ画像生成過程と、分光テクスチャ画像生成部が、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成過程とを含むことを特徴とする。

本発明の分光テクスチャ画像生成方法は、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、対応座標情報生成部が、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記分光テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成過程と、分光テクスチャ画像生成部が、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成過程とを含むことを特徴とする。

本発明のプログラムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、前記コンピュータを、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成手段、前記分光感度グループの各々に対応して、前記対応座標情報を用いて前記多視点画像から前記テクスチャ画像を生成するテクスチャ画像生成手段、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成手段として機能させるためのプログラムである。

本発明のプログラムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、前記コンピュータを、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記分光テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成手段、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成手段として機能させるためのプログラムである。

以上説明したように、本発明によれば、一般的なユーザが取得可能な市場に流通している、高価なハイパースペクトルカメラよりも安価な撮像装置の撮像画像により、対象物体の分光反射率を反映したテクスチャ画像を簡易に生成することができる分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラムを提供することができる。

本発明の第１の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。 多視点画像記憶部１０９に書き込まれて記憶されている多視点画像情報テーブルの構成例を示す図である。 多視点画像記憶部１０９における分光感度グループデータテーブルの構成例を示す図である。 第１の実施形態の分光テクスチャ画像生成システムによる分光テクスチャ画像の生成を説明する概念図である。 対応座標情報記憶部１１１に記憶されている対応座標情報テーブルの構成例を示す図である。 三次元形状モデルにおけるポリゴンメッシュの展開図の生成を示す概念図である。 三次元形状モデルにおけるポリコンメッシュ頂点座標値と、展開図における領域頂点座標値との対応を示す対応座標ルックアップテーブルの構成例を示す図である。 三次元形状モデルにおけるポリコンメッシュの各々における画素の座標値（第３座標）と、展開図における画素の座標値（第２座標）との対応を示す第２対応座標情報テーブルの構成例を示す図である。 分光反射率基底ベクトルを合成して分光反射率を表現することを示す概念図である。 分光テクスチャ画像記憶部１１３における分光テクスチャ画像テーブルの構成例を示す図である。 パターン＃１の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。 パターン＃２の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。 パターン＃３の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。 第１の実施形態による三次元形状モデルに対する分光テクスチャ画像を、多視点画像から生成する処理の動作例を示すフローチャートである。 第２の本実施形態における対応座標情報記憶部１１１に書き込まれて記憶されている第４対応座標情報テーブルの構成例を示す図である。 本発明の第４の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。 本発明の第５の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。本実施形態においては、図示しない外部装置から、三次元形状モデルとして復元される対象の対象物体を撮像した撮像画像が視点画像のデータとして供給される。

この視点画像の各々は、異なる視点から撮像された多視点画像である。また、視点画像の各々は、複数の異なる分光感度の撮像装置のそれぞれで撮像された、同一及び異なる視点の撮像画像データが含まれている。また、本実施形態において用いる撮像装置は、ハイパースペクトルカメラではなく、例えば、一般のユーザが利用するデジタルカメラなどである。本実施形態においては、多視点画像を複数の視点画像（異なる視点、異なる分光感度を有する撮像装置で撮像された撮像画像）の集合体として説明する。

図１において、分光テクスチャ画像生成システム１００は、データ入出力部１０１、多視点画像分類部１０２、対応座標情報生成部１０４、テクスチャ画像生成部１０５、テクスチャ画像補正部１０６、分光テクスチャ画像生成部１０７、可視化用テクスチャ画像生成部１０８、多視点画像記憶部１０９、三次元形状モデル記憶部１１０、対応座標情報記憶部１１１、テクスチャ画像記憶部１１２及び分光テクスチャ画像記憶部１１３の各々を備えている。

データ入出力部１０１は、外部装置から供給される対象物体を各視点毎に撮像した視点画像のデータの各々を多視点画像記憶部１０９に多視点画像として書き込んで記憶させる。
また、データ入出力部１０１は、上記多視点画像を用いて復元した、対象物体の三次元形状モデルのデータを、三次元形状モデル記憶部１１０に書き込んで記憶させる。三次元形状モデルは、三次元点群から復元されたポリゴンメッシュで形成されたサーフェースモデルである。

また、データ入出力部１０１は、三次元形状モデルを復元した外部装置から供給される、多視点画像を撮像した視点座標及び視点方向を示す視点情報、多視点画像を撮像した撮像装置のカメラパラメータ、及び多視点画像を撮像した環境における光源の分光分布（光源分光分布）のデータを、多視点画像記憶部１０９に書き込んで記憶させる。
さらに、データ入出力部１０１は、外部装置からアクセスされ、分光テクスチャ画像の送信を要求された場合、分光テクスチャ画像（後述）の各々を、分光テクスチャ画像記憶部１１３から読み出して外部装置に出力する。

図２は、多視点画像記憶部１０９に書き込まれて記憶されている多視点画像情報テーブルの構成例を示す図である。図２に示す多視点画像情報テーブルは、レコード毎に、多視点画像識別情報に対応して、撮像装置種別、視点情報、カメラパラメータ、画像データインデックス、分光感度データインデックス及び分光分布データインデックスの各々の欄が設けられている。
多視点画像識別情報は、個々の多視点画像の各々を一意に識別する識別情報（例えば、供給された際の順番を示す番号など）である。視点位置は、例えば、撮像装置の外部パラメータを示し、三次元形状モデルの三次元空間座標系（世界座標系）における撮像装置のレンズの中心座標（以下、視点位置）、レンズの光軸方向（光軸のベクトル、以下、光軸ベクトル）を示す情報である。

また、カメラパラメータは、例えば、撮像装置の内部パラメータを示し、視点画像を撮像した際の撮像装置の焦点距離、画像中心、画像の分解能（画素数）及び歪収差係数などである。画像データインデックスは、多視点画像記憶部１０９において多視点画像のデータが書き込まれた領域を示すアドレスである。分光感度データインデックスは、撮像装置の分光感度のデータが書き込まれた領域を示すアドレスである。分光分布データインデックスは、多視点画像記憶部１０９において、外部装置から供給される対象物体の多視点画像を撮像した環境の光源の分光分布（光源分光分布）のデータが書き込まれた領域を示すアドレスである。

図１に戻り、多視点画像分類部１０２は、多視点画像記憶部１０９に記憶されている多視点画像の各々を、異なる分光感度毎に設けられた分光感度グループそれぞれに分類する。そして、多視点画像分類部１０２は、多視点画像記憶部１０９における分光感度グループ毎の分光感度グループデータテーブルに、それぞれの分光感度グループに分類された多視点画像の各々を書き込んで記憶させる。

図３は、多視点画像記憶部１０９における分光感度グループデータテーブルの構成例を示す図である。分光感度グループデータテーブルは、分光感度グループ毎に設けられ、分光感度グループの分光感度のデータが示されている。また、分光感度グループデータテーブルは、レコード毎に、多視点画像識別情報、画像データインデックス、視点情報、カメラパラメータ及び分光分布データインデックスの欄を備えている。

例えば、分光感度がそれぞれ異なる３台の撮像装置で撮像した場合、視点画像の各々は、異なる分光感度が３種類であるため、３個の分光感度グループに分類される。３個の分光感度グループの各々は、それぞれが同一数の多視点画像であっても、異なった数の多視点画像を有してもよい。また、分光感度グループデータテーブルには、分光感度データインデックスが付加されている。分光感度データインデックスは、撮像装置の分光感度のデータが書き込まれた領域を示すアドレスである。

視点画像識別情報は、個々の多視点画像を識別する識別情報（例えば、供給された際の順番を示す番号など）である。画像データインデックスは、多視点画像記憶部１０９において多視点画像のデータが書き込まれた領域を示すアドレスである。視点位置は、例えば、撮像装置の外部パラメータを示し、世界座標系における視点位置及び光軸ベクトルを示す情報である。カメラパラメータは、例えば、撮像装置の内部パラメータを示し、視点画像を撮像した際の撮像装置の焦点距離、画像中心、画像の分解能及び歪収差係数などである。分光分布データインデックスは、多視点画像記憶部１０９において、外部装置から供給される対象物体の多視点画像を撮像した環境の光源分光分布のデータが書き込まれた領域を示すアドレスである。

図４は、第１の実施形態の分光テクスチャ画像生成システムによる分光テクスチャ画像の生成を説明する概念図である。撮像装置としては、例えば分光感度の異なる撮像装置Ａ１、Ａ２及びＡ３の３台を用いている。
図４（ａ）は、異なる視点位置及び光軸ベクトルで対象物体５００を撮像した多視点画像の各々（多視点画像６０１から６０７など）を示している。ここで、多視点画像６０１、６０４及び６０７は、撮像装置Ａ３で撮像されている。また、多視点画像６０２及び６０５は、撮像装置Ａ１で撮像されている。多視点画像６０３及び６０６は、撮像装置Ａ２で撮像されている。

図４（ｂ）は、各視点情報における多視点画像の各々から、テクスチャ画像を生成する処理を示している。テクスチャ画像は、分光感度グループ毎に３バンド（色成分Ｒ、色成分Ｇ、色成分Ｂ）で生成される。
図示はされていないが、分光感度グループ毎のテクスチャ画像の各々を生成する際、このテクスチャ画像の生成の対象となる多視点画像の各々における画素（多視点画像を構成する画素）の座標（第１座標）と、テクスチャ画像における画素（テクスチャ画像を構成する画素）の座標（すなわち、展開図における座標である第２座標）との対応関係を示す対応座標情報が生成される（後に詳述）。

図１に戻り、対応座標情報生成部１０４は、三次元形状モデルと多視点画像とからテクスチャ画像を生成する際に用いる対応座標情報を生成する。
このとき、対応座標情報生成部１０４は、テクスチャ画像の座標系である第２座標系（ＵＶ座標系）における画素（第２画素）と、多視点画像の座標系である第１座標系における画素（第１画素）との各々の対応関係を示す対応座標情報が示された対応座標情報テーブルを生成する。

図５は、対応座標情報記憶部１１１に記憶されている対応座標情報テーブルの構成例を示す図である。
対応座標情報テーブルは、展開図を構成する画素の第２座標系（ＵＶ座標系）における座標値と、多視点画像を構成する画素の第１座標系における座標との対応関係がレコード単位で示されている。領域識別情報は、テクスチャ画像における領域の各々を個別に識別する識別情報である。第２座標は、第２座標系におけるテクスチャ画像の画素の座標値である。多視点画像識別情報は、多視点画像の各々を識別する識別情報である。第１座標は、第１座標系における多視点画像の画素の座標値である。

図１に戻り、対応座標情報生成部１０４は、分光感度グループ毎に、各視点情報の多視点画像と、三次元形状モデル（ポリゴンメッシュで表された後述する図６（ａ））とを用いて、色成分Ｒ、色成分Ｇ、色成分Ｂそれぞれの展開図（後述する図６（ｂ））を生成する際に用いる対応座標情報を生成する。
ここで、対応座標情報生成部１０４は、三次元形状モデル記憶部１１０から、三次元形状モデルを形成するポリゴンメッシュのデータを読み出し、ポリゴンメッシュの展開図（例えば、ポリゴンメッシュである図６（ａ）のＵＶ展開を行った図６（ｂ）展開図）を生成する。

図６は、三次元形状モデルにおけるポリゴンメッシュの展開図の生成を示す概念図である。図６（ａ）は、ポリゴンメッシュで形成した三次元形状モデルを示している。
図６（ｂ）は、上記ポリゴンメッシュの各々を二次元座標系に展開した展開図（一例としＵＶ座標系に展開したＵＶ展開図）を示している。
例えば、図６（ａ）のポリゴンメッシュ６５１及び６５２の各々と、図６（ｂ）における領域８０１、８０２のそれぞれは対応している。すなわち、ポリゴンメッシュ６５１が展開図の領域８０１に展開され、ポリゴンメッシュ６５２が展開図の領域８０２に展開されている。

ここで、世界座標系における三次元形状モデルのポリゴンメッシュ６５１の頂点（以下、ポリゴンメッシュ頂点と示す）７０１から７０４の各々と、二次元座標系における展開図の領域８０１の頂点（以下、領域頂点と示す）９５１、９５２、９５３、９５４のそれぞれが対応している。
同様に、世界座標系における三次元形状モデルのポリゴンメッシュ６５２のポリゴンメッシュ頂点７０３から７０６の各々と、二次元座標系における展開図の領域８０１の領域頂点９５３、９５４、９５５、９５６のそれぞれが対応している。

対応座標情報生成部１０４は、上述した三次元形状モデルにおけるポリコンメッシュ頂点座標値と、展開図における領域頂点座標値（領域頂点の座標）との対応を示す対応座標ルックアップテーブルを生成する。
図７は、三次元形状モデルにおけるポリコンメッシュ頂点座標値と、展開図における領域頂点座標値との対応を示す対応座標ルックアップテーブルの構成例を示す図である。
対応座標ルックアップテーブルは、領域識別情報に対応して、ポリゴンメッシュ頂点座標値と領域頂点座標値との対応関係がレコード単位で示されている。領域識別情報は、展開図における領域の各々を個別に識別する識別情報である。ポリゴンメッシュ頂点座標値は、世界座標系におけるポリゴンメッシュの頂点の各々の座標値である。領域頂点座標値は、展開図における領域（後述のテクスチャ領域）の頂点の各々の座標値である。

例えば、図７において、テクスチャ領域識別情報Ｐ１０００１が、図６（ａ）におけるポリゴンメッシュ６５１を示している場合、ポリゴンメッシュ頂点７０１の座標値はポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）であり、ポリゴンメッシュ頂点７０２の座標値はポリゴンメッシュ頂点座標値（x1_2、y1_2、z1_2）であり、ポリゴンメッシュ頂点７０３の座標値はポリゴンメッシュ頂点座標値（x1_3、y1_3、z1_3）であり、ポリゴンメッシュ頂点７０４の座標値はポリゴンメッシュ頂点座標値（x1_4、y1_4、z1_4）である。

また、図７において、図６（ｂ）における領域８０１を示している場合、領域頂点９５１の座標値は領域頂点座標値（U1_1、V1_1）であり、領域頂点９５２の座標値は領域頂点座標値（U1_2、V1_2）であり、領域頂点９５３の座標値は領域頂点座標値（U1_3、V1_3）であり、領域頂点９５４の座標値は領域頂点座標値（U1_4、V1_4）である。
この対応座標ルックアップテーブルによれば、ポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）、（x1_2、y1_2、z1_2）、（x1_3、y1_3、z1_3）及び（x1_4、y1_4、z1_4）で形成されるポリゴンメッシュが、展開図における領域頂点座標値（U1_1、V1_1）、（U1_2、V1_2）、（U1_3、V1_3）、（U1_4、V1_4）のそれぞれを頂点とする領域に配置して展開されていることが判る。さらに、対応座標ルックアップテーブルは、ポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）、（x1_2、y1_2、z1_2）、（x1_3、y1_3、z1_3）及び（x1_4、y1_4、z1_4）の各々が、領域頂点座標値（U1_1、V1_1）、（U1_2、V1_2）、（U1_3、V1_3）、（U1_4、V1_4）のそれぞれに対応していることを示している。

図８は、三次元形状モデルにおけるポリコンメッシュの各々における画素の座標値（第３座標）と、展開図における画素の座標値（第２座標）との対応を示す第２対応座標情報テーブルの構成例を示す図である。
第２対応座標情報テーブルは、領域識別情報に対応して、三次元形状モデルにおけるポリゴンメッシュにおける画素（メッシュを構成する座標点の画素）の座標値と、展開図における画素の座標値との対応関係がレコード単位で示されている。領域識別情報は、展開図における領域の各々を個別に識別する識別情報である。三次元形状モデル座標値（第３座標）は、世界座標系における三次元形状を構成する画素（座標点）の各々の座標値である。テクスチャ画像座標値（第２座標）は、テクスチャ画像における画素の各々の座標値である。
ここで、図８に示す第２対応座標情報テーブルは、図７の対応座標ルックアップテーブルの情報を含んでいる。

また、対応座標情報生成部１０４は、上記第２対応座標情報テーブルの三次元形状モデルの画素の各々に対応する多視点画像の画素の座標値を求める。
このとき、対応座標情報生成部１０４は、視点情報（必要に応じてカメラパラメータ）に対応して、三次元形状モデルを構成する画素（座標点）に対応する多視点画像及び当該多視点画像における画素の座標値を求める。

そして、対応座標情報生成部１０４は、第２対応座標情報テーブルを参照し、三次元形状モデルの画素（座標点）を基準とし、求めた上記多視点画像における画素の各々と、展開図における画素それぞれとを対応付ける。
このとき、対応座標情報生成部１０４は、三次元形状モデルにおけるメッシュの各々の面の法線に対して、平行な光軸ベクトルあるいは最も平行に近い光軸ベクトルを有する視点情報に対応する多視点画像の画素を、優先的に展開図の画素に対応付ける。

これにより、対応座標情報生成部１０４は、三次元形状モデルの画素（座標点）を基準とし、多視点画像の当該多視点画像における画素の座標（第１座標）と、展開図を構成する画素の座標（第２座標）との対応関係を示す対応座標情報を生成する。
ここで、分光感度グループ毎の多視点画像の各々を用いて、各分光感度グループに対応する展開図の生成に用いる第２対応座標情報を生成するため、分光感度グループ毎に生成された展開図（ＵＶ座標）の各々の原点が異なり、各分光感度グループの展開図それぞれにおける同一画素の座標値が共通（同一）ではなく、異なった座標値となる。

このため、対応座標情報生成部１０４は、分光感度グループのいずれかに対応した展開図の第２対応座標情報テーブルを生成した後、当該第２対応座標情報テーブルを基準として、他の分光感度グループの第２対応座標情報テーブルを生成する。
すなわち、対応座標情報生成部１０４は、生成されたいずれかの分光感度グループの対応座標情報を参照し、三次元形状モデルの画素（座標点）と展開図における画素の座標点（座標値）との関係に対応させ、他の分光感度グループに対応する第２対応座標情報テーブルを生成する。

これにより、対応座標情報生成部１０４は、分光感度グループ毎の第２対応座標情報テーブルにおける展開図の座標系を同一（原点を同一）とするため、対応座標情報における展開図の座標系を分光感度グループ間で同一（すなわち、分光感度グループ間において展開図それぞれにおける同一画素の座標値を同一）とすることができる。
上述の対応座標情報により生成されるテクスチャ画像の各々は、分光感度グループ間で同一の座標系として生成される。
そして、対応座標情報生成部１０４は、分光感度グループ毎に生成した対応座標情報テーブルを、対応座標情報記憶部１１１に対して書き込んで記憶させる。

テクスチャ画像生成部１０５は、分光感度グループ毎に対応座標情報テーブルを参照し、展開図の画素の各々の座標に対して、対応する多視点画像における座標の画素の画素値それぞれ（３バンドとして、例えば、色成分Ｒ、色成分Ｇ、色成分Ｂ）を付与する。
すなわち、テクスチャ画像生成部１０５は、分光感度グループ毎に、３バンドずつのテクスチャ画像を生成する。
そして、テクスチャ画像生成部１０５は、生成したテクスチャ画像の各々を、分光感度グループ毎にテクスチャ画像記憶部１１２に書き込んで記憶させる。

テクスチャ画像補正部１０６は、テクスチャ画像生成部１０５が生成したテクスチャ画像の各々における画素の座標値のずれを補正する。
三次元形状モデルのメッシュを展開図に展開した際、三次元の座標点を展開図の二次元座標に展開する際に線形補完している。
しかしながら、三次元形状モデルを生成する際、分光感度グループ間において多視点画像の画素が三次元形状モデルの座標とずれてしまう場合があり、実際に展開図の座標に付与される画素値がずれ、テクスチャ画像の各々において画素の位置ずれが発生することになる。

このため、テクスチャ画像補正部１０６は、例えば、テクスチャ画像の各々において、ａ×ｂ画素（ａ及びｂは３以上の奇数の整数値）の検知枠により、囲まれる画素それぞれを他の分光感度のテクスチャ画像における同様の検知枠内の画素と比較し、検知枠の中央の画素を対象画素として、検知枠内における画素の各々の画素値からなるパターンの類似度を順次求める。
そして、テクスチャ画像補正部１０６は、テクスチャ画像における対象画素の中央とした検知枠内のパターンの類似度が高い座標を検知して、異なる分光感度のテクスチャ画像間における類似度が最も高くなる座標に各対象画素を合わせることにより、テクスチャ画像のそれぞれを補正する。
これにより、テクスチャ画像補正部１０６は、テクスチャ画像生成部１０５が分光感度グループ毎に生成した異なる分光感度のテクスチャ画像の間における各画素の位置ずれを補正する。

分光テクスチャ画像生成部１０７は、テクスチャ画像生成部１０５が生成したテクスチャ画像（または、テクスチャ画像補正部１０６が補正したテクスチャ画像）から、複数の波長のバンドの各々（例えば、波長４００ｎｍから波長７００ｎｍにおける１０ｎｍ毎のバンド、３１バンド）の分光テクスチャ画像のそれぞれを生成する。
ここで、分光テクスチャ画像生成部１０７は、対応座標情報記憶部１１１における分光感度グループの各々の対応座標情報テーブルを参照し、多視点画像の情報を取得する。

そして、分光テクスチャ画像生成部１０７は、テクスチャ画像における各画素に対応する分光画像生成用多視点画像群における多視点画像の各々の分光感度データ及び分光分布データの各々を、同一視点多視点画像テーブルから順次読み出す。
これにより、分光テクスチャ画像生成部１０７は、読み足した分光感度データ及び分光分布データの各々と、テクスチャ画像の各画素のそれぞれのバンドの画素値とを用いて、展開図の画素の各々の所定の波長のバンドにおける分光反射スペクトル（すなわち、分光反射率）を推定する。

本実施形態において、分光テクスチャ画像生成部１０７は、例えば、分光テクスチャ画像記憶部１１３から、予め書き込まれて記憶されている複数の分光反射率基底ベクトルを読み込む。
そして、分光テクスチャ画像生成部１０７は、各分光感度グループのテクスチャ画像の画素の分光反射率を、読み込んだ複数の分光反射率基底ベクトルの各々の重み付け和で表現する。
分光テクスチャ画像生成部１０７は、各分光反射率基底ベクトルの重み付けを行う重み係数を推定することにより、テクスチャ画像の各々の画素における分光反射スペクトルを推定する。

ここで、分光反射率基底ベクトルは、主成分分析を用いて複数の分光反射率データの集合である分光反射率データ群から、当該分光反射率データ群を表現するための分光反射率基底ベクトルとして、予め導出されている。
この主成分分析においては、分光反射率の実際の次元よりも、少ない数の分光反射率基底ベクトルの組み合わせで、分光反射率を表現できるようになる。すなわち、分光反射率基底ベクトルを用いることにより、推定する対象である分光反射率の次元を圧縮し、計算負荷を低減させる。

すなわち、分光テクスチャ画像生成部１０７は、以下の（１）式に示すように、複数の分光反射率基底ベクトルＢ＝［ｂ_１，ｂ_２，…］^Ｔの重み付け和で表し、この重み付けを行うため、分光反射率基底ベクトルの各々の重み係数ｒ＝［ｒ１，ｒ２，…］^Ｔを求めることにより、分光反射スペクトルｓを推定している。ここで、分光反射率基底ベクトルは、例えば、セットとして分光テクスチャ画像記憶部１１３に予め記憶されている。また、分光テクスチャ画像記憶部１１３において、分光反射率基底ベクトルは、主成分分析における主成分得点の高い順に複数配列して記憶されており、所定の順までの分光反射率基底ベクトルを必要に応じた数を読み込んで用いる構成としても良い。

図９は、分光反射率基底ベクトルを合成して分光反射率を表現することを示す概念図である。図９に示すように、分光反射スペクトルｓは、所定の物体の各々の分光反射率を用いた主成分分析で得られた分光反射率基底ベクトルｂ_１からｂ_Ｎｒの各々に対して、それぞれ重み係数を乗算して、乗算結果を合成することで得られる。
すなわち、分光テクスチャ画像生成部１０７は、必要な数の分光反射率基底ベクトルｂ_１からｂ_Ｎｒを分光テクスチャ画像記憶部１１３から抽出する。
そして、分光テクスチャ画像生成部１０７は、抽出した分光反射率基底ベクトルｂ_１からｂ_Ｎｒの各々の重み係数ｒ_１からｒ_Ｎｒのそれぞれを、多視点画像の各々の画素の画素値となる分光反射スペクトルｓが得られるように推定し、推定結果から分光反射スペクトルｓを求める（後述）。

図１に戻り、分光テクスチャ画像生成部１０７は、上記（１）式で表した分光反射スペクトルに対し、以下の（２）式を解くことにより、各重み係数ｒを推定する。そして、分光テクスチャ画像生成部１０７は、推定した重み係数により、（１）式により分光反射スペクトルｓの推定を行う。
ここで、分光反射スペクトルｓｉは、例えば、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトル（３１バンドに相当）として表している。

上記（２）式において、ｐ_ｍ，ｋは、ｍ番目のテクスチャ画像のｋ番目のチャンネルの画素値である。すなわち、ｐ_ｍ，ｋにおいて、ｍは、分光テクスチャ画像記憶部１１３に記憶されているテクスチャ画像の分光感度グループの種類を示す番号である。また、ｋは、多視点画像における部分における色成分のチャンネルを示している。例えば、部分が色成分Ｒ、Ｇ及びＢの画素値で示されていれば、例えばチャンネル（バンド）１が色成分Ｒであり、チャンネル２が色成分Ｇであり、チャンネル３が色成分Ｂである。また、分光テクスチャ画像生成部１０７は、テクスチャ画像記憶部１１２におけるテクスチャ画像の各々の画素から画素値を読み出す。

また、（２）式において、行列Ｃ_ｍ、ｋは、ｍ番目のテクスチャ画像のｋ番目のチャンネル（色成分の波長帯域）の分光感度を示している。このＣ_ｍ、ｋにおける要素ｃ_ｍ，ｋ（λ）は、分光画像生成用多視点画像群におけるｍ番目のテクスチャ画像のｋ番目のチャンネルにおける波長λの分光感度（テクスチャ画像を撮像した撮像装置の分光感度）を示している。
また、光源の分光分布ｌは、すでに計測された分光分布データとして、分光テクスチャ画像記憶部１１３に書き込まれている。分光テクスチャ画像生成部１０７は、分光画像生成用多視点画像群における、テクスチャ画像の生成に用いた多視点画像の各々が撮像された環境における光源の分光分布を多視点画像記憶部１０９の同一視点多視点画像テーブルから読み出す。

ここで、分光テクスチャ画像生成部１０７は、分光画像生成用多視点画像群の多視点画像から生成したテクスチャ画像における分光感度グループの数に対応して、分光テクスチャ画像記憶部１１３から分光反射率基底ベクトルのセットを選択して読み出す構成としてもよい。
また、（２）式を解く際、分光反射率データを表すために用いる分光反射率基底ベクトル（主成分）の数（以下、分光反射率基底ベクトル数）Ｎ_ｒの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。

ｑ個の分光感度グループにおけるテクスチャ画像を用いる場合、「Ｎ_ｒ（分光反射率基底ベクトル数）＝ｑ（分光感度の種類の数、分光感度グループ数）×ｋ（チャンネルの数、以下チャンネル数）」の関係式で決定される。すなわち、分光反射率データを示す分光反射率基底ベクトル数Ｎ_ｒが分光感度グループ数ｑのチャンネル数ｋ倍以下であれば、（３）式を解くことが可能である。
一例としては、多視点画像を撮像するために、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、基底ベクトルの上限は、９（＝３×３）となる。

しかし、（３）式を解く際にノイズの影響を抑制するためには、分光反射率基底ベクトル数Ｎ_ｒが、分光感度グループ数ｑのチャンネル数ｋ倍未満、例えば「Ｎｒ＝ｑ×ｋ－１」として運用することが望ましい。この場合、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、分光反射率基底ベクトルの上限は、８（＝３×３－１）となる。

また、分光画像生成用多視点画像群が視点情報毎に求められ、視点情報の多視点画像から求められるテクスチャ画像の画素数、すなわち分光感度グループ数ｑが異なる場合がある。この場合には、テクスチャ画像における画素それぞれにおいて、分光テクスチャ画像生成部１０７が分光テクスチャ画像記憶部１１３から読み出す分光反射率基底ベクトルのセット（分光反射率基底ベクトル数Ｎ_ｒ）が異なる。分光画像の各々の画素は、テクスチャ画像における画素それぞれに対応して構成される。

上述した処理により、分光テクスチャ画像生成部１０７は、同一の分光感度グループのテクスチャ画像の画素の各々に対応させて、分光テクスチャ画像の画素それぞれの分光反射スペクトルを、テクスチャ画像の間で対応する画素の画素値から推定して、視点情報毎における分光画像（所定の波長のバンド数の分光画像）を生成し、分光テクスチャ画像記憶部１１３の分光テクスチャ画像テーブルに書き込んで記憶させる。
図１０は、分光テクスチャ画像記憶部１１３における分光テクスチャ画像テーブルの構成例を示す図である。
分光テクスチャ画像テーブルは、レコードの各々において、分光テクスチャ画像識別情報と、バンドの波長と、分光テクスチャ画像データインデックスとの欄が設けられている。

分光テクスチャ画像識別情報は、分光テクスチャ画像の各々を個別に識別する識別情報である。バンドの波長は、分光テクスチャ画像識別情報の示す分光テクスチャ画像のバンド（チャンネル）の波長を示している。分光テクスチャ画像データインデックスは、分光テクスチャ画像の画像データが書き込まれた、分光テクスチャ画像記憶部１１３における領域のアドレスを示している。
この図１０の分光テクスチャ画像テーブルは、例えば、波長４００ｎｍから波長７００ｎｍまでの、１０ｎｍ単位の波長の３１個のバンドの各々の分光テクスチャ画像に対応している。

可視化用テクスチャ画像生成部１０８は、三次元形状モデル記憶部１１０から読み出した三次元形状モデルに対して、所定の条件によって表示部において可視化分光テクスチャ画像のレンダリングを行う。
可視化用テクスチャ画像生成部１０８は、分光テクスチャ画像の分光反射率（全ての分光画像の各々の分光反射スペクトル）を以下の３パターンの所定の条件により、表示画面に表示可能な波長のバンドの画素値に各々に変換し、当該表示画面に表示する。

図１１は、パターン＃１の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
パターン＃１は、分光テクスチャ画像における画素の各々の分光反射率を、表示画面に表示可能な色成分Ｒ、Ｇ、Ｂ（red、green、blue）の三個のバンドに対応する任意の分光感度と、任意の光源の分光分布とを用いて、色成分Ｒ、Ｇ、Ｂの各々の画素値のテクスチャ画像をレンダリングした三次元形状モデルの所定の視点位置及び視点方向（光軸ベクトルに対応）からの画像を示している。ここで、任意の分光感度は、例えば、撮像装置の分光感度でも、等色関数を用いてもよい。上記等色関数には、ＣＩＥ（国際照明委員会）測色基準観察者等色関数などが用いられる。光源の分光分布は、例えば、標準光源Ｄ６５の分光分布でも、日光、ＬＥＤ（light emitting diode）、蛍光灯、白熱灯などの分光分布でもよい。この分光感度及び分光分布の各々のデータは、予め図示しない記憶部に書き込んで記憶させておき、可視化用テクスチャ画像生成部１０８が必要に応じて読み出す構成とする。

このパターン＃１の処理において、可視化用テクスチャ画像生成部１０８は、三次元形状モデル記憶部１１０から三次元形状モデル９０１を読み出す。
そして、可視化用テクスチャ画像生成部１０８は、分光テクスチャ画像記憶部１１３を参照して、分光テクスチャ画像の各々の画素の画素値による分光反射率を、任意の分光感度及び任意の光源の分光分布を用いて、ＲＧＢ値で表現されるテクスチャ画像９０２を生成する。
可視化用テクスチャ画像生成部１０８は、テクスチャ画像９０２を三次元形状モデル９０１にレンダリングした三次元形状モデル９０３を、所定の視点位置及び視点方向からの画像として表示する。

図１２は、パターン＃２の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
パターン＃２は、任意に３種類の波長のバンドの階調度を、表示画面に表示可能なＲＧＢ値の各々のバンドの階調度として表示させる画像を示している。
図１２におけるグラフ９１１に示すように、波長４４０ｎｍのバンドを色成分Ｒ、Ｇ、Ｂにおける色成分Ｂに置き換え、波長４４０ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｂの画素値とする。同様に、波長５００ｎｍのバンドを色成分Ｒ、Ｇ、Ｂにおける色成分Ｇに置き換え、波長５００ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｇの画素値とする。また、波長６６０ｎｍのバンドを色成分Ｒ、Ｇ、Ｂにおける色成分Ｒに置き換え、波長６６０ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｒの画素値とする。

このパターン＃２の処理において、可視化用テクスチャ画像生成部１０８は、三次元形状モデル記憶部１１０から三次元形状モデル９１３を読み出す。
そして、可視化用テクスチャ画像生成部１０８は、分光テクスチャ画像記憶部１１３を参照して、任意の３個の波長のバンドの分光テクスチャ画像の各々の画素の画素値を、色成分Ｒ、Ｇ、Ｂのそれぞれの画素値とし（グラフ９１１）、色成分Ｒ、Ｇ、Ｂの画素値で表現されるテクスチャ画像９１２を生成する。
可視化用テクスチャ画像生成部１０８は、テクスチャ画像９１２を三次元形状モデル９１３にレンダリングした三次元形状モデル９１４を、所定の視点位置及び視点方向からの画像として表示する。

図１３は、パターン＃３の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
図１３（ａ）は、パターン＃３としての、分光テクスチャ画像における画素値を、表示装置で表示可能な色成分Ｒ、Ｇ、Ｂの各々の画素値に割り振る処理を説明している。
図１３（ａ）においては、いずれかの１個の分光テクスチャ画像における画素の各々の分光反射スペクトルＲ（λｉ）の範囲Ｔを、例えば、高数値範囲Ｈ、中数値範囲Ｍ、低数値範囲Ｌに３分割する。λｉは、分光テクスチャ画像の各々のバンドの波長を示している（例えば３１個のバンドの場合、１≦ｉ≦３１である）。
そして、高数値範囲Ｈの範囲の分光反射スペクトル強度を色成分Ｒの階調度の範囲に振り分け、中数値範囲Ｍの範囲の分光反射スペクトル強度を色成分Ｇの階調度の範囲に振り分け、低数値範囲Ｌの範囲の分光反射スペクトル強度を色成分Ｂの階調度の範囲に振り分けるパターン＃３の変換ルールを示している。

図１３（ｂ）において、可視化用テクスチャ画像生成部１０８は、三次元形状モデル記憶部１１０から三次元形状モデル９２１を読み出す。
そして、可視化用テクスチャ画像生成部１０８は、分光テクスチャ画像記憶部１１３を参照して、任意の１個の波長のバンドの分光テクスチャ画像の各々の画素の画素値である分光反射スペクトル強度を、上述した変換ルールに対応させて、色成分Ｒ、Ｇ、Ｂのそれぞれの階調度の範囲における画素値に割り振り（図４（ａ））、色成分Ｒ、Ｇ、Ｂの画素値で表現されるテクスチャ画像９２２を生成する。
可視化用テクスチャ画像生成部１０８は、テクスチャ画像９２２を三次元形状モデル９２１にレンダリングした三次元形状モデル９２３を、所定の視点位置及び視点方向からの画像として表示する。

図１４は、本実施形態による三次元形状モデルに対する分光テクスチャ画像を、多視点画像から生成する処理の動作例を示すフローチャートである。
ステップＳ１０１：
データ入出力部１０１は、外部装置から供給される多視点画像における視点画像の各々に対し、それぞれが撮像された際の分光感度の情報を付加して、多視点画像記憶部１０９に書き込んで記憶させる。
また、データ入出力部１０１は、外部装置から供給される上記多視点画像から復元されたサーフェースモデル（ポリゴンメッシュでサーフェースが構成）の三次元形状モデルのデータを、多視点画像記憶部１０９に書き込んで記憶させる。

ステップＳ１０２：
多視点画像分類部１０２は、多視点画像記憶部１０９を参照して、多視点画像に付加された分光感度に対応して、当該多視点画像の各々を分光感度グループに分類する。
そして、多視点画像分類部１０２は、分光感度グループに分類した多視点画像の各々を、対応する分光感度グループデータテーブルのそれぞれに書き込んで記憶させる。

ステップＳ１０３：
対応座標情報生成部１０４は、分光感度グループ毎に、多視点画像（分光感度作成用多視点画像群）における画素の座標（第１座標）と、三次元形状モデルにおけるポリゴンメッシュの展開図（図６（ｂ））における画素の座標（第２座標）との各々の対応関係を示す対応座標情報を生成し、対応座標情報記憶部１１１の対応座標情報テーブルに対して書き込んで記憶させる。
ここで、対応座標情報生成部１０４は、上記対応座標情報を、多視点画像の画素の座標（第１座標）及び三次元形状モデルの画素の座標（図６（ａ）の座標点、第３座標）の間の対応関係を示す第３対応座標情報と、三次元形状モデルの画素の座標（座標点、第３座標）及び展開図の画素の座標（第２座標）との対応関係を示す第２対応座標情報とから生成する。

このとき、対応座標情報生成部１０４は、分光感度グループのいずれかの第２対応座標情報と及び第３対応座標情報とを生成した後、当該第３対応座標情報における座標を参照して、当該第３対応座標と同一の原点を有するように、他の分光感度グループの第２対応座標情報テーブル（第２対応座標情報が書き込まれたテーブル）を生成し、対応座標情報記憶部１１１に対して書き込んで記憶させる。
これにより、対応座標情報生成部１０４は、分光感度グループの全ての第２対応座標テーブルの座標系を共通として、分光感度グループの各々の展開図の間において、同一画素のぞれぞれの座標値を同一とする。

ステップＳ１０４：
テクスチャ画像生成部１０５は、対応座標情報記憶部１１１の対応座標情報テーブルと、多視点画像記憶部１０９の同一視点多視点画像テーブルとを参照し、各分光感度グループ（各撮像装置）におけるテクスチャ画像の各々を生成する。
すなわち、テクスチャ画像生成部１０５は、対応座標情報における展開図の座標に対して、三次元形状モデルのメッシュの法線に対して、最も平行に近い視点情報の光軸の光軸ベクトルの多視点画像における画素の画素値を付与することで、テクスチャ画像のそれぞれ（色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の３バンド）を生成する。
そして、テクスチャ画像生成部１０５は、生成したテクスチャ画像の各々を分光感度（撮像装置）グループ毎にテクスチャ画像記憶部１１２に対して書き込んで記憶させる。

ステップＳ１０５：
テクスチャ画像補正部１０６は、テクスチャ画像記憶部１１２に記憶されている光感度グループ毎のテクスチャ画像の各々において、分光感度グループの間で画素の座標位置のズレを補正する処理を行う。
すなわち、テクスチャ画像補正部１０６は、検知枠のａ×ｂ画素の中央の画素を対象画素として、分光感度グループのテクスチャ画像の間で検知枠をずらしつつ、検知枠における画素の全てのパターンの類似度を求める。

そして、テクスチャ画像補正部１０６は、対象画素を中央とする検知枠をずらしていき、上記類似度が最も高い位置を補正位置として、分光感度グループ間におけるいずれかのテクスチャ画像の座標を基準として、異なる分光感度のテクスチャ画像の各々の座標を合わせることにより、テクスチャ画像の間の画素の座標ズレを補正する。
テクスチャ画像補正部１０６は、補正したテクスチャ画像をテクスチャ画像記憶部１１２に対して書き込んで記憶させる（例えば、元のテクスチャ画像に対して、補正したテクスチャ画像を上書きする）。

ステップＳ１０６：
分光テクスチャ画像生成部１０７は、テクスチャ画像記憶部１１２における分光感度グループ毎のテクスチャ画像の画素値（すなわち、展開図の各画素に付与した、同一多視点画像テーブルにおける多視点画像の各々における画素の画素値（色成分Ｒ、色成分Ｇ、色成分Ｂのそれぞれの階調度））と、当該多視点画像それぞれを撮像した撮像装置の分光感度と、光源の分光分布とを用い、（１）式及び（２）式の各々により、各波長のバンドに対応した展開図それぞれの画素の分光反射スペクトルの強度を求める。

すなわち、分光テクスチャ画像生成部１０７は、三次元形状モデルのポリゴンメッシュを展開した展開図を作成し、この展開図における各領域の画素の画素値として、ポリゴンメッシュ頂点座標値で囲まれた画素領域の画素の画素値として、分光反射スペクトルの強度を、上記展開図に対応したテクスチャ画像における色成分毎の画素値と、分光感度と、分光分布とにより（１）式及び（２）式を用いて求めて付与する。
ここで、分光テクスチャ画像生成部１０７は、分光反射スペクトルの強度を画素値として分光反射スペクトルの強度を、展開図の全ての領域における画素のそれぞれに付与することで、１個の波長のバンドに対応する分光テクスチャ画像を生成する。
そして、分光テクスチャ画像生成部１０７は、所定の波長のバンド（３１個種類）の各々の分光テクスチャ画像（３１個）を生成し、分光テクスチャ画像記憶部１１３における分光テクスチャ画像テーブルに書き込んで記憶させる。

ステップＳ１０７：
分光テクスチャ画像生成部１０７は、全ての波長のバンドの分光テクスチャ画像を生成したか否かの判定を行う。
このとき、分光テクスチャ画像生成部１０７は、全ての波長のバンドの分光テクスチャ画像を生成したと判定した場合、処理を終了する。
一方、分光テクスチャ画像生成部１０７は、全ての波長のバンドの分光テクスチャ画像を生成していないと判定した場合、処理をステップＳ１０６へ進める。

上述したように、本実施形態によれば、一般的なユーザが取得可能な市場に流通しているデジタルカメラなどの撮像装置により、異なる分光感度及び視点情報（視点位置、光軸ベクトル）により撮像した多視点撮像画像から三次元形状モデルを再現し、三次元形状モデルの画素（座標点）を基準として、同一の座標系を有する、分光感度グループ毎の対応座標情報を生成し、当該対応座標系の各々を用いて、分光感度グループのそれぞれのテクスチャ画像（色成分Ｒ、色成分Ｇ及び色成分Ｂの３バンド）を生成し、このテクスチャ画像を用いて分光テクスチャ画像を生成することを可能とし、対象物体の分光反射率を通常の色成分ＲＧＢで撮像した画像に比較して、より詳細な分光反射スペクトルとして取得でき、所定の複数の波長のバンド（色成分Ｒ、Ｇ、Ｂの３バンドを超えるバンド数（例えば、異なる波長の３１バンド））の各々に対応した、対象物体の分光反射率を高精度に反映したテクスチャ画像として、三次元形状モデルに対する分光テクスチャ画像を簡易に生成することができる。

また、本実施形態によれば、複数の波長のバンド（例えば３１個）の分光テクスチャ画像を生成し、色成分Ｒ、Ｇ、Ｂを表示する表示装置により観察ができるように、各波長の分光テクスチャ画像の各々の画素値を、色成分Ｒ、Ｇ、Ｂのそれぞれの画素値に対応させることにより、復元した三次元形状モデルにテクスチャマッピングさせて、上記表示装置によりテクスチャマッピングした三次元形状モデルを観察することが可能であるため、対象物体の分光反射率の状態をより詳細に視認することができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
第２の実施形態の構成は、図１に示す本発明の第１の実施形態の構成と同様である。以下、第２の実施形態による分光テクスチャ画像生成システムにおいて、第１の実施形態と異なる動作を説明する。
第１の実施形態においては、分光感度グループの各々の対応座標情報を、それぞれの座標系が同一となるように構成していた。
一方、本実施形態における分光感度グループの各々の対応座標情報は、それぞれの座標系が同一でなく、すなわち異なった座標系として生成されている。

対応座標情報生成部１０４は、第１の実施形態と同様に、三次元形状モデルと多視点画像とからテクスチャ画像を生成する際に用いる対応座標情報を、分光感度グループ毎に生成する。
このとき、対応座標情報生成部１０４は、テクスチャ画像の座標系である第２座標系（ＵＶ座標系）における画素（第２画素）と、多視点画像の座標系である第１座標系における画素（第１画素）との各々の対応関係を示す対応座標情報が示された対応座標情報テーブル（図５）を生成する。

対応座標情報テーブルは、分光感度グループ毎に設けられており、展開図を構成する画素の第２座標系（ＵＶ座標系）における座標値と、多視点画像を構成する画素の第１座標系における座標との対応関係がレコード単位で示されている。
本実施形態においては、分光感度グループ毎に第２座標系が異なっている。この座標系の異なりは、原点がずれている、あるいは展開図におけるメッシュの位置が異なるなどを含んでおり、三次元形状モデルが画素（座標点）が、同一の画素であるにも関わらず、分光感度グループ毎に第２座標系における座標位置が異なる状態を示している。

対応座標情報生成部１０４は、分光感度グループ毎に、各視点情報の多視点画像と、三次元形状モデル（ポリゴンメッシュで表された後述する図６（ａ））とを用いて、色成分Ｒ、色成分Ｇ、色成分Ｂそれぞれの展開図（後述する図６（ｂ））を生成する際に用いる対応座標情報を生成する。
ここで、対応座標情報生成部１０４は、三次元形状モデル記憶部１１０から、三次元形状モデルを形成するポリゴンメッシュのデータを読み出し、ポリゴンメッシュの展開図（例えば、ポリゴンメッシュである図６（ａ）のＵＶ展開を行った図６（ｂ）展開図）を生成する際に用いる第２対応座標情報（三次元形状の座標値の第３座標と展開図における座標の第２座標との関係を示す情報）を、分光感度グループ毎に生成する。

そして、対応座標情報生成部１０４は、生成した第２座標対応情報を、対応座標情報記憶部１１１における分光感度グループ毎の対応座標情報テーブルに対して書き込んで記憶させる。
この第２対応座標情報において、三次元形状モデルにおける同一の画素（座標点）の座標の各々は、分光感度グループ毎の展開図の第２座標系のそれぞれにおける座標位置と異なっている。

一方、対応座標情報生成部１０４は、第１の実施形態と同様に、多視点画像における画素の座標（第１座標）と、三次元形状モデルにおける画素の座標（座標値、第３座標）との対応関係を示す第３座標対応情報を生成する。
そして、対応座標情報生成部１０４は、生成した第３座標対応情報を、対応座標情報記憶部１１１における分光感度グループ毎の対応座標情報テーブルに対して書き込んで記憶させる。

また、第２座標対応情報における展開図の座標系が分光感度グループ毎に異なるため、後述する分光テクスチャ画像を生成する際に、分光テクスチャ画像における画素の分光反射率を求める際に同一の画素の画素値が必要となり、分光感度グループの各々の間で同一の画素を抽出するため、対応座標情報生成部１０４は、第４対応座標情報を生成する。
また、第２座標対応情報における展開図の座標系は、すでに述べたように、生成された時点において分光感度グループ毎に異なっている。

このため、後述する分光テクスチャ画像を生成する際に、分光テクスチャ画像における画素の分光反射率を求める場合、多視点画像の各々における同一の画素の画素値が必要となる。
対応座標情報生成部１０４は、分光感度グループの多視点画像の各々間で同一の画素を抽出するために用いる第４対応座標情報を生成する。
上記第４対応座標情報は、三次元形状モデルにおける画素の座標（座標値、第３座標）、分光感度グループ毎の展開図の画素の座標（第２座標）との対応を示す情報である。

図１５は、本実施形態における対応座標情報記憶部１１１に書き込まれて記憶されている第４対応座標情報テーブルの構成例を示す図である。
第４対応座標情報テーブルは、三次元形状モデルにおけるポリゴンメッシュの画素の座標値に対応して、各分光感度グループの展開図の各々における画素の座標値との対応関係がレコード単位で示されている。この図１５は、分光感度グループ（例えば、３台の撮像装置による分光感度グループ）が、例えば、分光感度グループ＃１、分光感度グループ＃２、分光感度グループ＃３の３個がある場合における第４対応座標情報テーブルの構成例を示している。

三次元形状モデル座標値は、三次元形状モデルにおける各画素（座標点）の座標値を示している。
展開図＃１座標値は、分光感度グループ＃１の展開図である展開図＃１における画素の座標を示している。
同様に、展開図＃２座標値は、分光感度グループ＃２の展開図である展開図＃２における画素の座標を示している。
また、展開図＃３座標値は、分光感度グループ＃３の展開図である展開図＃３における画素の座標を示している。

図１に戻り、対応座標情報生成部１０４は、対応座標情報記憶部１１１における各分光感度グループの第２対応座標情報テーブルを参照し、三次元形状モデル座標値を引数（関連付けるキーデータ）として、第２対応座標情報を統合して、第４対応座標情報を生成する。
そして、対応座標情報生成部１０４は、生成した第４対応座標情報を、対応座標情報記憶部１１１の第４対応座標情報テーブルに対して書き込んで記憶させる。

テクスチャ画像生成部１０５は、多視点画像記憶部１０９における同一視点多視点画像テーブルの各々と、対応座標情報記憶部１１１における対応座標情報テーブルとを参照して、分光感度グループ毎のテクスチャ画像を生成する。
そして、テクスチャ画像生成部１０５は、生成した分光感度グループ毎のテクスチャ画像の各々を、テクスチャ画像記憶部１１２に対して書き込んで記憶させる。

テクスチャ画像補正部１０６は、テクスチャ画像記憶部１１２のテクスチャ画像の各々において、例えば、ａ×ｂ画素（ａ及びｂは３以上の奇数の整数値）の検知枠により画素それぞれを比較し、検知枠の中央の画素の類似度を順次求めることで、類似度が高い位置として画素の位置をテクスチャ画像間において合わせることにより、第２対応座標情報テーブルにおける第２対応座標情報における展開図の画素の座標を補正する。
そして、テクスチャ画像補正部１０６は、補正した第２対応座標情報テーブルを、対応座標情報記憶部１１１に対して書き込んで記憶させる（例えば、対応座標情報生成部１０４が生成した第２対応座標情報テーブルに上書きする）。

また、テクスチャ画像補正部１０６は、第２対応座標情報テーブルにおける第２対応座標情報の補正に伴い、第４対応座標情報テーブルにおける第４対応座標情報における展開図の画素の座標も補正する。
テクスチャ画像補正部１０６は、補正した第４対応座標情報テーブルを、対応座標情報記憶部１１１に対して書き込んで記憶させる（例えば、対応座標情報生成部１０４が生成した第４対応座標情報テーブルに上書きする）。

分光テクスチャ画像生成部１０７は、テクスチャ画像生成部１０５が生成したテクスチャ画像（または、テクスチャ画像補正部１０６が補正したテクスチャ画像）から、複数の波長のバンドの各々（例えば、波長４００ｎｍから波長７００ｎｍにおける１０ｎｍ毎のバンド、３１バンド）の分光テクスチャ画像のそれぞれを生成する。
ここで、分光テクスチャ画像生成部１０７は、分光テクスチャ画像記憶部１１３の各分光感度グループのテクスチャ画像と、多視点画像記憶部１０９における同一視点多視点画像テーブルの各々と、対応座標情報記憶部１１１の対応座標情報テーブル及び第４対応座標情報テーブルとを参照し、例えば、３１バンドの分光テクスチャ画像を生成する。

分光テクスチャ画像生成部１０７が各分光感度グループのテクスチャ画像における同一の画素の画素値から分光反射率を求める処理は、第１の実施形態と同様である。
本実施形態においては、すでに述べたように、分光感度グループ毎に対応座標情報の展開図における座標系が異なる。
このため、分光テクスチャ画像生成部１０７は、分光テクスチャ画像の各々の画素の分光反射率を求める際、第４対応座標情報テーブルを参照して、各分光感度グループのテクスチャ画像から同一の画素を抽出し、この抽出されたテクスチャ画像の画素の画素値を用いて、分光テクスチャ画像の各画素の分光反射率の算出を行う。

また、分光テクスチャ画像生成部１０７は、所定の分光感度グループの展開図、例えば、展開図＃１の座標系に対応した分光テクスチャ画像を生成する。
このとき、分光テクスチャ画像生成部１０７は、算出した分光反射率を、当該分光反射率の算出に用いた展開図＃１のテクスチャ画像の座標に付与し、分光テクスチャ画像を生成する。
そして、分光テクスチャ画像生成部１０７は、生成した分光テクスチャ画像を、分光テクスチャ画像記憶部１１３に書き込んで記憶させる。

上述したように、本実施形態によれば、一般的なユーザが取得可能な市場に流通しているデジタルカメラなどの撮像装置により、異なる分光感度及び視点情報（視点位置、光軸ベクトル）により撮像した多視点撮像画像から三次元形状モデルを再現し、三次元形状モデルの画素（座標点）を基準として、異なる座標系を有する、分光感度グループ毎の対応座標情報を生成し、当該対応座標系の各々を用いて、分光感度グループのそれぞれのテクスチャ画像（色成分Ｒ、色成分Ｇ及び色成分Ｂの３バンド）を生成し、分光感度グループ毎の対応座標情報を統合する第４対応座標情報を用いて、異なる座標系のテクスチャ画像の各々を用いて分光テクスチャ画像を生成することを可能とし、対象物体の分光反射率を通常の色成分ＲＧＢで撮像した画像に比較して、より詳細な分光反射スペクトルとして取得でき、所定の複数の波長のバンド（色成分ＲＧＢの３バンドを超えるバンド数（例えば、異なる波長の３１バンド））の各々に対応した、対象物体の分光反射率を高精度に反映したテクスチャ画像として、三次元形状モデルに対する分光テクスチャ画像を簡易に生成することができる。

＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。
第３の実施形態の構成は、図１に示す本発明の第１の実施形態の構成と同様である。以下、第３の実施形態による分光テクスチャ画像生成システムにおいて、第１の実施形態と異なる動作を説明する。
第１の実施形態においては、分光感度グループの各々の対応座標情報を、それぞれの座標系が同一となるように構成していた。
一方、本実施形態において、対応座標情報生成部１０４は、分光感度グループの各々の対応座標情報は、第２の実施形態と同様にそれぞれの座標系が同一でなく、すなわち異なった座標系として、分光感度グループ毎の対応座標情報を生成する。

このとき、対応座標情報生成部１０４は、第２の実施形態と同様に、三次元形状モデルにおける画素（座標値）の座標値、分光感度グループの各々の展開図の画素の座標との対応を示す第４対応座標情報を生成する。
そして、本実施形態において、テクスチャ画像生成部１０５は、第２の実施形態と同様に、分光感度グループ間において、対応座標情報に対応して、それぞれ異なる座標系のテクスチャ画像を生成する。
また、対応座標情報生成部１０４は、第４対応座標情報を参照して、いずれかの分光感度グループの展開図における画素の座標と、三次元形状モデルにおける画素（座標点）の座標との対応関係に合わせて、他の分光感度グループの第２対応座標情報における対応座標系を修正する。

テクスチャ画像生成部１０５は、異なる座標系のテクスチャ画像の各々を、第４対応座標情報を参照して、いずれかの分光感度グループの展開図における画素の座標と、三次元形状モデルにおける画素（座標点）の座標との対応関係に合わせて、他の分光感度グループのテクスチャ画像における画素を再配置する。
テクスチャ画像生成部１０５は、上述したテクスチャ画像における画素の再配置により、第１の実施形態と同様に、分光感度グループ間において座標系を同一を有するテクスチャ画像を生成する。
以降のテクスチャ画像の画素の位置ズレの補正や、分光テクスチャ画像の生成については、第１の実施形態と同様のため、処理を省略する。

上述したように、本実施形態によれば、一般的なユーザが取得可能な市場に流通しているデジタルカメラなどの撮像装置により、異なる分光感度及び視点情報（視点位置、光軸ベクトル）により撮像した多視点撮像画像から三次元形状モデルを再現し、三次元形状モデルの画素（座標点）を基準として、同一の座標系を有する、分光感度グループ毎の対応座標情報を生成し、当該対応座標系の各々を用いて、分光感度グループのそれぞれのテクスチャ画像（色成分Ｒ、色成分Ｇ及び色成分Ｂの３バンド）を生成し、このテクスチャ画像を用いて分光テクスチャ画像を生成することを可能とし、対象物体の分光反射率を通常の色成分Ｒ、Ｇ、Ｂで撮像した画像に比較して、より詳細な分光反射スペクトルとして取得でき、所定の複数の波長のバンド（色成分Ｒ、Ｇ、Ｂの３バンドを超えるバンド数（例えば、異なる波長の３１バンド））の各々に対応した、対象物体の分光反射率を高精度に反映したテクスチャ画像として、三次元形状モデルに対する分光テクスチャ画像を簡易に生成することができる。

＜第４の実施形態＞
以下、本発明の第４の実施形態について、図面を参照して説明する。
図１６は、本発明の第４の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。
図１６において、分光テクスチャ画像生成システム１００Ｂは、データ入出力部１０１、多視点画像分類部１０２、対応座標情報生成部１０４、分光テクスチャ画像生成部１０７、可視化用テクスチャ画像生成部１０８、多視点画像記憶部１０９、三次元形状モデル記憶部１１０、対応座標情報記憶部１１１、テクスチャ画像記憶部１１２、分光テクスチャ画像記憶部１１３及び対応座標情報補正部１１４の各々を備えている。

第１の実施形態から第３の実施形態においては、分光感度グループの各々の対応座標情報に基づき、テクスチャ画像のそれぞれを生成し、当該テクスチャ画像を用いて分光テクスチャ画像を生成している。
一方、本実施形態において、分光テクスチャ画像生成部１０７は、分光感度グループの各々の分光テクスチャ画像を、対応座標情報生成部１０４が生成する対応座標情報に基づいて、多視点画像から直接に分光テクスチャ画像を生成する。
以下、第１の実施形態と異なる、第４の実施形態の構成及び動作について説明する。

対応座標情報生成部１０４は、第１の実施形態と同様に、分光感度グループの間で同一の座標系を有する対応座標情報を、第２対応座標情報及び第３対応座標情報の各々から生成する。
また、対応座標情報生成部１０４は、第２の実施形態と同様に、分光感度グループの間で異なる座標系の対応座標情報と、第４対応座標情報とを生成する。

そして、対応座標情報生成部１０４は、第４対応座標情報と分光感度グループのの対応座標情報各々とを参照し、いずれかの分光感度グループの対応座標情報を基準として、当該対応座標情報の展開図の座標に対して、他の分光感度グループの対応座標情報を変更する。
これにより、対応座標情報生成部１０４は、同一の座標系として、多視点画像における画素の座標と、展開図における画素の座標との対応関係を示す対応座標情報を生成する。

対応座標情報補正部１１４は、分光感度グループの各々の対応座標情報と、第３座標対応情報とのを参照し、同一の三次元形状モデルの画素（座標点）に対応する分光感度グループの多視点画像における画素の座標ズレの補正を行う。
このとき、対応座標情報補正部１１４は、例えば、分光感度グループの各々の多視点画像において、ａ×ｂ画素（ａ及びｂは３以上の奇数の整数値）の検知枠により囲まれる画素それぞれを比較し、検知枠の中央の画素を対象画素として、検知枠内における画素の各々の画素値からなるパターンの類似度を順次求める。

そして、対応座標情報補正部１１４は、各分光感度グループの多視点画像の各々における対象画素の中央とした検知枠内のパターンの類似度が高い座標を検知する。
ここで、対応座標情報補正部１１４は、上記検知の結果に対応して、多視点画像間における類似度が最も高くなる座標に、各多視点画像における対象画素のそれぞれの座標を合わせることにより、対応座標情報の各々における多視点画像の画素の座標を補正する。

これにより、対応座標情報補正部１１４は、対応座標情報生成部１０４が分光感度グループ毎に生成した対応座標情報の間における多視点画像の各々の画素の位置ずれを補正する。
対応座標情報補正部１１４は、補正した対応座標情報の各々を対応座標情報記憶部１１１に対して書き込んで記憶させる。

分光テクスチャ画像生成部１０７は、対応座標情報記憶部１１１における対応座標情報テーブルと、多視点画像記憶部１０９における同一視点多視点画像テーブルとの各々を参照し、第１の実施形態と同様に分光テクスチャ画像を生成する。
すなわち、分光テクスチャ画像生成部１０７は、分光感度グループの各々の対応座標情報における多視点画像の画素の座標と、展開図の画素の座標との対応関係から、展開図の画素毎に、同一視点多視点画像テーブルから対応する多視点画像の画像データを読み出し、（１）式及び（２）式により分光反射率（各バンドの分光反射スペクトル）を求める。

そして、分光テクスチャ画像生成部１０７は、バンド毎に展開図の画素の各々の分光反射率を求め、４バンド以上、例えば第１の実施形態と同様に３１バンドの分光テクスチャ画像を生成する。
分光テクスチャ画像生成部１０７は、生成した３１バンドの分光テクスチャ画像の各々を、分光テクスチャ画像記憶部１１３に対して書き込んで記憶させる。

上述したように、本実施形態によれば、一般的なユーザが取得可能な市場に流通しているデジタルカメラなどの撮像装置により、異なる分光感度及び視点情報（視点位置、光軸ベクトル）により撮像した多視点撮像画像から三次元形状モデルを再現し、三次元形状モデルの画素（座標点）を基準として、同一の座標系を有する、分光感度グループ毎の対応座標情報を生成し、当該対応座標情報の各々を用いて、分光感度グループのそれぞれの多視点画像（色成分Ｒ、色成分Ｇ及び色成分Ｂの３バンドの画像）から分光テクスチャ画像を生成することを可能とし、対象物体の分光反射率を通常の色成分Ｒ、Ｇ、Ｂで撮像した画像に比較して、より詳細な分光反射スペクトルとして取得でき、所定の複数の波長のバンド（色成分Ｒ、Ｇ、Ｂの３バンドを超えるバンド数（例えば、異なる波長の３１バンド））の各々に対応した、対象物体の分光反射率を高精度に反映したテクスチャ画像として、三次元形状モデルに対する分光テクスチャ画像を簡易に生成することができる。

＜第５の実施形態＞
以下、本発明の第５の実施形態について、図面を参照して説明する。
図１７は、本発明の第５の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。図１７において、分光テクスチャ画像生成システム１００Ｃは、データ入出力部１０１、多視点画像分類部１０２、対応座標情報生成部１０４、テクスチャ画像生成部１０５、テクスチャ画像補正部１０６、分光分布推定部１１５、分光テクスチャ画像生成部１０７、可視化用テクスチャ画像生成部１０８、多視点画像記憶部１０９、三次元形状モデル記憶部１１０、対応座標情報記憶部１１１、テクスチャ画像記憶部１１２、分光テクスチャ画像記憶部１１３及び分光分布基底ベクトル記憶部１１６の各々を備えている。

本実施形態においても、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像データが多視点画像として供給される。以下、第１の実施形態と異なる構成及び動作のみ説明する。
第１から第４の実施形態においては、各多視点画像を撮像した際における光源の分光分布をすでに計測された分光分布データとして取得していた。
第５の実施形態において、分光反射率（すなわち、複数のバンド、例えば３１バンドの分光反射スペクトル）の推定の際、分光分布の推定も行う構成としている。

分光分布推定部１１５は、複数の異なる分光感度の撮像装置で撮像した多視点画像（撮像した視点が異なる視点画像）により、この多視点画像を撮像した環境における光源の分光分布を推定する。
分光分布推定部１１５は、例えば、分光分布基底ベクトル記憶部１１６から、複数の分光分布基底ベクトルを読み込む。そして、分光分布推定部１１５は、分光反射率の場合と同様に、多視点画像を撮像した環境における光源の分光分布を、読み込んだ複数の分光分布基底ベクトルの重み付け和で表現する。分光分布推定部１１５は、各分光分布基底ベクトルの重み付けを行う重み係数を推定することにより、光源の分光分布を推定する。

ここで、分光分布基底ベクトルは、主成分分析を用いて複数の光源の分光分布の集合である分光分布データ群から、当該分光反射率データ群を表現するための分光分布基底ベクトルとして導出されている。
この主成分分析においては、分光反射率の場合と同様に、分光分布の実際の次元よりも、少ない数の分光分布基底ベクトルの組み合わせで、分光分布を表現できるようになる。すなわち、分光分布基底ベクトルを用いることにより、推定する対象である光源の分光分布の次元を圧縮し、計算負荷を低減させる。

すなわち、分光分布推定部１１５は、以下の（３）式示すように、複数の分光分布基底ベクトルｅ_ｊ＝［ｅ_{ｊ（λ１）}，ｅ_{ｊ（λ２）}，…］^Ｔの重み付け和で表し、分光分布基底ベクトルの各々の重み係数ａ＝［ａ_１，ａ_２，…］^Ｔを求めることにより、分光分布ｌを推定している。ここで、分光分布基底ベクトルは、例えば、セットとして分光分布基底ベクトル記憶部１１６に予め記憶されている。また、分光分布基底ベクトル記憶部１１６において、主成分分析における主成分得点の高い順に複数配列して記憶されており、所定の順までの分光分布基底ベクトルを必要に応じて読み込んで用いる構成としても良い（後述）。
この分光分布基底ベクトルの合成も、図４に示す分光反射率基底ベクトルを合成して分光反射率を表現する場合と同様である。

そして、分光分布推定部１１５は、上記（３）式で表した分光分布に対し、以下の（４）式を解くことにより、各重み係数ａを推定する。そして、分光分布推定部１１５は、推定した重み係数により、（３）式により分光分布ｌの推定を行う。ここで、分光分布ｌは、例えば、分光反射率の場合と同様に、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトルとして表している。

上記（４）式において、ｐ_ｍ，ｋは、多視点画像から生成したｍ番目のテクスチャ画像のｋ番目のチャンネルの画素値である。すなわち、ｐ_ｍ，ｋにおいて、ｍは、分光反射率推定用視点群における多視点画像から生成したテクスチャ画像を示す番号である。また、ｋは、テクスチャ画像における部分における色成分のチャンネルを示している。例えば、部分が色成分Ｒ、Ｇ及びＢの画素値で示されていれば、例えばチャンネル１が色成分Ｒであり、チャンネル２が色成分Ｇであり、チャンネル３が色成分Ｂである。

また、（４）式において、行列Ｃ_ｍ、ｋは、ｍ番目のテクスチャ画像のｋ番目のチャンネル（色成分の波長帯域、すなわちバンド）の分光感度を示している。このＣ_ｍ、ｋにおける要素ｃ_ｍ，ｋ（λ）は、ｍ番目のテクスチャ画像のｋ番目のチャンネルにおける波長λの分光感度を示している。
（４）式で用いるテクスチャ画像は、三次元形状モデルの部分をいくつかサンプリングし、そのサンプリングした部分の分光反射率推定用視点群の多視点画像から生成したテクスチャ画像である。
そして、分光分布推定部１１５は、サンプリングした部分の分光反射率と、各多視点画像における部分に対応する画素値と、多視点画像を撮像した撮像装置の分光感度とを用いて、（４）式を解いて重み係数ａを推定することにより、光源の分光分布の推定を行う。このサンプリングする部分は、三次元形状モデルから選択しても良いし、多視点画像における画素から選択しても良い。

ここで、分光分布推定部１１５は、分光反射率の推定の場合と同様に、分光反射率推定用視点群における分光感度グループの数に対応して、分光分布基底ベクトル記憶部１１６から分光分布基底ベクトルのセットを選択して読み出す構成としてもよい。
また、（３）式を解く際、分光分布データを表すために用いる分光分布基底ベクトル（主成分）の数（以下、分光分布基底ベクトル数）Ｎ_χの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。

また、分光反射率推定用視点群が三次元形状モデルの部分毎に求められ、部分の各々における分光感度グループ数ｍが異なる。このため、三次元形状モデルの部分それぞれにおいて、分光分布推定部１１５が分光分布基底ベクトル記憶部１１６から読み出す分光分布基底ベクトルのセット（分光分布基底ベクトル数Ｎ_χ）が異なる。

三次元形状モデルの各部分の分光反射率と、光源の分光分布との各々の推定を行う場合、分光反射率及び分光分布の推定を交互に複数回繰返して行う。
分光反射率の推定から行う場合、分光テクスチャ画像生成部１０７は、分光テクスチャ画像記憶部１１３から、予め設定されているデフォルトの光源の分光分布を読み込み、分光反射率の推定を（１）式及び（２）式を用いて行う。
次に、分光分布の推定を行う場合、分光分布推定部１１５は、上記デフォルトの光源の分光分布により求められた分光反射率を用い、分光分布の推定を（３）式及び（４）式を用いて行う。

一方、分光分布の推定から行う場合、分光分布推定部１１５は、三次元形状モデルからサンプリングされる部分の分光反射率を、予め設定されているデフォルトの分光反射率を用いて、分光分布の推定を（３）式及び（４）式を用いて行う。
次に、分光反射率の推定を行う場合、分光テクスチャ画像生成部１０７は、上記デフォルトの分光反射率により求められた分光分布を用い、分光反射率の推定を（１）式及び（２）式を用いて行う。

上述したように、本実施形態によれば、三次元形状モデルの各ボクセル部分の分光反射率の推定と、当該部分からサンプリングした部分を用いた分光分布の推定とを繰り返して行うことにより、三次元形状モデルの部分の各々の分光反射率と、多視点画像を撮像した環境における光源の分光分布との推定精度を高めつつ求めることができる。
また、このとき、分光分布の推定及び分光反射率の推定を繰り返す回数を予め設定して、繰り返し回数がこの設定した回数になった場合に処理を終了してもよいし、得られた数値と直前の計算結果の数値との差が所定の値になった場合に処理を終了する構成としてもよい。

また、分光反射率を推定する場合、分光反射率が既知の参照物体（例えば、カラーチャート）を対象物体と同一画像で撮像した多視点画像、あるいは対象物体を撮像した光源下で上記参照物体を撮像した参照画像のいずれかを用いて光源の分光分布を推定する構成としてもよい。
このとき、分光分布推定部１１５は、参照物体と対象物体とを同一画像として撮像された多視点画像を用いる場合、分光感度グループの少なくとも２個以上から、上記参照物体が撮像されている多視点画像を選択し、光源推定用視点群を生成する。

そして、分光分布推定部１１５は、光源推定用視点群における多視点画像に対応した分光感度と、参照物体の所定の部分の既知の分光反射率と、光源推定用視点群における多視点画像の上記所定の部分に対応する位置の画素値とを用いて、（３）式及び（４）式により、多視点画像を撮像した光源の分光分布を算出する。
また、本実施形態においては、第１の実施形態に対して光源の分光分布の推定を行う分光分布推定部１１５及び分光分布基底ベクトル記憶部１１６の各々を設けて説明したが、第２の実施形態から第４の実施形態の各々に、付与する構成としてもよい。

上述したように、本実施形態によれば、対象物体の三次元形状及び分光反射率を推定する処理と、この対象物体の分光反射率、光源の分光分布視点画像及び分光感度に対応して多視点画像からグレースケール画像を生成する処理とを繰返すことにより、対象物体の三次元形状の推定の精度とともに、分光反射率の推定の精度を向上させることができる。

また、上述した第１から第５の実施形態に、例えば、多視点画像記憶部１０９に記憶されている、対象物体が撮像されている多視点画像の各々を読み込み、この対象物体の三次元形状を推定し、三次元形状モデルを生成する三次元形状復元部（不図示）を設ける構成としてもよい。そして、上記三次元形状復元部は、対象物体の三次元形状モデルのデータを三次元形状モデル記憶部１１０に書き込んで記憶させる。
ここで、三次元形状モデルの生成の手法に関しては、例えば、多視点画像からデプスマップを生成し、このデプスマップから三次元形状モデルを三次元点群として生成し、多角形メッシュで表現される三次元メッシュモデル（例えば、三角形メッシュモデル）として生成してもよい（例えば、酒井修二、渡邉隆史、増田智仁、伊藤康一、青木孝文：位相限定相関法に基づく高精度多視点三次元復元アルゴリズムの提案、第２０回 画像の認識・理解シンポジウム（２０１７）を参照）。
また、三次元形状復元部は、三次元点群またはメッシュとして再現する際、多視点画像の各々を撮像したときの撮像装置のカメラパラメータの推定も行う。

なお、本発明における図１、図１６及び図１７の各々の分光テクスチャ画像生成システムのそれぞれ機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、対象物体の三次元形状モデルに対する、ハイパースペクトル画像に対応した波長のバンドの各々の分光テクスチャ画像を生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１００，１００Ｂ，１００Ｃ…分光テクスチャ画像生成システム
１０１…データ入出力部
１０２…多視点画像分類部
１０４…対応座標情報生成部
１０５…テクスチャ画像生成部
１０６…テクスチャ画像補正部
１０７…分光テクスチャ画像生成部
１０８…可視化用テクスチャ画像生成部
１０９…多視点画像記憶部
１１０…三次元形状モデル記憶部
１１１…対応座標情報記憶部
１１２…テクスチャ画像記憶部
１１３…分光テクスチャ画像記憶部
１１４…対応座標情報補正部
１１５…分光分布推定部
１１６…分光分布基底ベクトル記憶部

Claims (14)

1. 多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、
   前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、
   前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成部と、
   前記分光感度グループの各々に対応して、前記対応座標情報を用いて前記多視点画像から前記テクスチャ画像を生成するテクスチャ画像生成部と、
   前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成部と
   を備える
   ことを特徴とする分光テクスチャ画像生成システム。
2. 前記対応座標情報生成部が、
   前記分光感度グループの各々において、それぞれの前記テクスチャ画像の前記第２座標の座標系を同一として前記対応座標情報を生成し、
   前記分光テクスチャ画像生成部が、
   前記対応座標情報を参照して、前記テクスチャ画像の各々から前記分光テクスチャ画像のそれぞれを生成する
   ことを特徴とする請求項１に記載の分光テクスチャ画像生成システム。
3. 前記対応座標情報生成部が、
   前記分光感度グループの各々における前記テクスチャ画像のそれぞれの前記第２座標を異なる座標系として前記対応座標情報を生成し、
   前記分光テクスチャ画像生成部が、
   前記対応座標情報を参照して、前記三次元形状モデルにおける座標点である第３画素の第３座標を基準として、前記テクスチャ画像の各々から前記分光テクスチャ画像のそれぞれを生成することを特徴とする。
   ことを特徴とする請求項１に記載の分光テクスチャ画像生成システム。
4. 前記対応座標情報生成部が、
   前記分光感度グループの各々における前記テクスチャ画像のそれぞれの前記第２座標を異なる座標系として、前記分光感度グループのぞれぞれの対応座標情報を生成し、また前記分光感度グループの各々の前記対応座標情報を統合する統合対応座標情報を生成し、
   前記テクスチャ画像生成部が、
   前記対応座標情報を参照して、前記多視点画像の各々から、前記分光感度グループ毎の前記テクスチャ画像のそれぞれを生成し、当該テクスチャ画像の各々の座標系を前記統合対応座標情報により同一としてテクスチャ画像を再構成し、
   前記分光テクスチャ画像生成部が、
   前記テクスチャ画像の各々から前記分光テクスチャ画像のそれぞれを生成する
   ことを特徴とする請求項１に記載の分光テクスチャ画像生成システム。
5. 多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、
   前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、
   前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記分光テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成部と、
   前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成部と
   を備える
   ことを特徴とする分光テクスチャ画像生成システム。
6. 前記分光感度グループの各々の前記テクスチャ画像の間における前記画素の位置ずれを検知し、当該テクスチャ画像の前記位置ずれを補正するテクスチャ画像補正部
   をさらに備える
   ことを特徴とする請求項２または請求項４に記載の分光テクスチャ画像生成システム。
7. 前記分光感度グループの各々の前記テクスチャ画像の間における前記画素の位置ずれを検知し、前記対応座標情報において前記位置ずれを補正するテクスチャ画像補正部
   をさらに備える
   ことを特徴とする請求項３に記載の分光テクスチャ画像生成システム。
8. 前記分光感度グループの各々の前記多視点画像の間における前記画素の位置ずれを検知し、前記対応座標情報において前記位置ずれを補正するテクスチャ画像補正部
   をさらに備える
   ことを特徴とする請求項５に記載の分光テクスチャ画像生成システム。
9. 前記対応座標情報生成部が、
   前記第２座標と前記三次元形状モデルの画素の座標である第３座標との対応関係を示す第２対応座標情報と、前記第３座標と前記分光感度グループ毎の前記多視点画像の第１座標との対応関係を示す第３対応座標情報とから、前記対応座標情報を生成する
   ことを特徴とする請求項２または請求項５に記載の分光テクスチャ画像生成システム。
10. 前記対応座標情報生成部が、
    前記分光感度グループ毎に生成される、前記三次元形状モデルの画素の座標である第３座標と、前記多視点画像の画素の座標である前記第１座標との対応関係を示す第３対応座標情報から前記対応座標情報を生成する
    ことを特徴とする請求項３、請求項４または請求項７のいずれか一項に記載の分光テクスチャ画像生成システム。
11. 多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、
    多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、
    対応座標情報生成部が、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成過程と、
    テクスチャ画像生成部が、前記分光感度グループの各々に対応して、前記対応座標情報を用いて前記多視点画像から前記テクスチャ画像を生成するテクスチャ画像生成過程と、
    分光テクスチャ画像生成部が、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成過程と
    を含む
    ことを特徴とする分光テクスチャ画像生成方法。
12. 多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、
    多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、
    対応座標情報生成部が、前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記分光テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成過程と、
    分光テクスチャ画像生成部が、前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成過程と
    を含む
    ことを特徴とする分光テクスチャ画像生成方法。
13. 多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、
    前記コンピュータを、
    前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、
    前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成手段、
    前記分光感度グループの各々に対応して、前記対応座標情報を用いて前記多視点画像から前記テクスチャ画像を生成するテクスチャ画像生成手段、
    前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成手段
    として機能させるためのプログラム。
14. 多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、
    前記コンピュータを、
    前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、
    前記分光感度グループの各々に対応して、前記多視点画像を構成する画素である第１画素の座標を示す第１座標と、前記分光テクスチャ画像を構成する画素である第２画素の座標を示す第２座標との対応関係を示す情報である対応座標情報を生成する対応座標情報生成手段、
    前記対応座標情報を参照し、前記テクスチャ画像から前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光テクスチャ画像それぞれを生成する分光テクスチャ画像生成手段
    として機能させるためのプログラム。

Images