JP2008128771A - 分光情報および形状情報同時取得装置及び情報取得方法 - Google Patents

Abstract

【課題】対象物体の形状およびその表面情報（テクスチャ情報）を同時にかつ容易に取得することができる分光情報および形状情報同時取得装置を提供する。
【解決手段】物体の幾何形状と表面のテクスチャ情報を同時に取得する装置であって、それぞれ異なる分光透過特性の光学フィルタを装着した４台以上の画像取得手段と、画像取得手段による画像データ取得のタイミングを同期させる同期手段と、画像取得手段により同期して取り込まれたそれぞれの画像データの視点位置の違いによる各画像データ間の対応点位置の違いと、画像取得手段の位置関係とに基づいて物体の幾何形状情報を求める形状情報取得手段と、分光透過特性の異なる光学フィルタ装着した画像取得手段によって得られたそれぞれの画像データ間における重なり領域を構成する画素の輝度値から物体表面のテクスチャ情報を取得する分光情報取得手段とを備えたこと特徴とする。
【選択図】図１

Description

本発明は、対象物体の形状およびその表面情報（テクスチャ情報）を同時に取得する装置に関するもので、特にマルチバンドで形成する多眼カメラシステムにより、物体からの光の分光情報と物体形状情報を取得する装置に関する。

近年、実物体の形状を計測し、レプリカを製作したり、ＣＧ映像（特にVirtual Reality映像）などの素材とする技術が普及してきた。特に文化財や芸術作品などをデジタルデータとして保存しようとするいわゆるデジタルアーカイブ分野では、正確な形状データの取得と同時に対象物の正確な色情報の取得が要求される。形状計測を行うには対象物の特性や大きさ、計測の目的などにより、様々な手法が用いられている。例えば非接触の形状計測としては対象物体にレーザ光を照射し、その反射光が戻ってくるまでの時間から物体上の各点までの距離を計測するもの、あるいは対象物体にある種のパターン光を照射し、その歪をカメラで捕らえ、形状を求めるもの、位置関係が既知の複数のカメラで対象物体を撮影し、それによる視差画像から形状を求めるものなどがある。これら従来の装置による表面情報の取得は、装置に付随する主に３バンド（ＲＧＢ）のカメラによるか、別途撮影する必要がある。

形状と対象表面の分光情報とを同時に取得する手法としては、分光されたスペクトルパターンを対象物体面に投射し、カメラの前に取り付けた音響光学チューナブルフィルタを制御してそのスペクトルパターンを波長ごとに撮影し、それらの画像から三角測量法により３次元形状を取得するとともに、対象物体面に白色光を投射し、音響光学チューナブルフィルタの透過波長を制御して物体面から反射されたスペクトルパターンを一回あるいは複数回撮像し、得られた画像から画像演算回路で物体面の表面の情報を求める方法が知られている（例えば、特許文献１参照）。また、スリット光投影法（光切断法）による三次元形状計測装置と、分光領域の異なる多数のフィルタを切り替えて撮影することによる分光情報計測器とを組み合わせた手法などが知られている（例えば、特許文献２参照）。
特開２００３−２９４４２４号公報 特開２０００−００９４４０号公報

しかしながら、装置に付随する３バンドのカメラでは、計測時の条件下での色を捉えることはできるが、分光情報が得られないため、計測時以外の条件下における色情報を求めることができないという問題がある。また、別途撮影する場合には、マルチバンドカメラや分光器とカメラを組み合わせた装置（例えば、イメージング分光器Specim社ImSpector）などを用いればよいが、この場合、テクスチャデータと計測した形状データとを正確な位置関係に配置することは容易ではない。また、上記の形状と対象表面の分光情報とを同時に取得する手法では、分光情報を得るために取得する波長を順次切り替えながら計測する必要があるが、この計測が一通り終わるまでの間、計測器と対象物との相対的な位置関係を固定しておかなければならないという問題がある。

本発明は、このような事情に鑑みてなされたもので、対象物体の形状およびその表面情報（テクスチャ情報）を同時にかつ容易に取得することができる分光情報および形状情報同時取得装置及び情報取得方法を提供することを目的とする。

本発明は、物体の幾何形状と表面のテクスチャ情報を同時に取得する装置であって、それぞれ異なる分光透過特性の光学フィルタを装着した４台以上の画像取得手段と、前記画像取得手段による画像データ取得のタイミングを同期させる同期手段と、前記画像取得手段により同期して取り込まれたそれぞれの画像データの視点位置の違いによる各画像データ間の対応点位置の違いと前記画像取得手段の位置関係に基づいて前記物体の幾何形状情報を求める形状情報取得手段と、前記分光透過特性の異なる光学フィルタ装着した前記画像取得手段によって得られたそれぞれの画像データ間における重なり領域を構成する画素の輝度値から前記物体表面のテクスチャ情報を取得する分光情報取得手段とを備えたこと特徴とする。

本発明は、前記光学フィルタが、他の前記画像取得手段に装着されている光学フィルタの透過波長域と重なる透過波長域を有する分光透過特性であることを特徴とする。

本発明は、物体の幾何形状と表面のテクスチャ情報を同時に取得するために、それぞれ異なる分光透過特性の光学フィルタを装着した４台以上の画像取得手段と、前記画像取得手段による画像データ取得のタイミングを同期させる同期手段とを備えた装置において分光情報および形状情報を同時に取得する情報取得方法であって、前記画像取得手段により同期して取り込まれたそれぞれの画像データの視点位置の違いによる各画像データ間の対応点位置の違いと前記画像取得手段の位置関係に基づいて前記物体の幾何形状情報を求める形状情報取得ステップと、前記分光透過特性の異なる光学フィルタ装着した前記画像取得手段によって得られたそれぞれの画像データ間における重なり領域を構成する画素の輝度値から前記物体表面のテクスチャ情報を取得する分光情報取得ステップとを有すること特徴とする。

本発明によれば、多視点画像から形状情報を取得できると同時にそれぞれのカメラが捕らえた分光情報の違いから、対象物体の分光情報を得ることが可能になるという効果が得られる。この処理は４台以上のカメラを同期させた１回の撮影でなされるため、その一瞬だけカメラと対象物との相対的な位置関係を保って置けばよいため、対象物を静止させる必要が無い。また複数の視点から撮影し、全体形状・分光情報を得る場合でも連続的に動かしながら撮影することができるため、非常に効率的に作業を行うことができる。また、得られる多視点画像からテクスチャを合成することにより、各カメラの解像度よりも高い解像度のテクスチャ情報を得ることができる。

以下、本発明の一実施形態による分光情報および形状情報同時取得装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、分光情報及び形状情報を取得する対象である情報取得対象物であり、例えば壁画等である。符号２１、２２、２３は、モノクロの動作を撮像することができるビデオカメラである。画像を取得するためのカメラは、静止画を取得するカメラでも良いが、情報取得対象物１の全体形状を求めるには様々な方向から撮影する必要があるため、ビデオカメラを用いた方が効率的である。符号３１、３２、３３は、ビデオカメラ２１、２２、２３のそれぞれに装着された光学系レンズであり、情報取得対象物１までの距離に応じて焦点を合わせることが可能である。符号４１、４２、４３は、光学系レンズ３１、３２、３３のそれぞれに対して装着されたカラーフィルタである。光学系レンズとカラーフィルタを装着したビデオカメラは実際には２０台のビデオカメラによって構成されており、図１においては、１７台分のビデオカメラの図示は省略されている。

符号５は、２０台のビデオカメラ２１〜２３に対して画像の取得タイミングを制御するカメラコントローラである。符号６は、２０台のビデオカメラ２１〜２３の画像取得タイミングを同期させるための同期信号をカメラコントローラ５に対して出力する同期信号発生部である。符号７は、２０台のビデオカメラ２１〜２３から出力される動画の映像をデジタル・データに変換して出力するキャプチャ部である。符号８は、同期信号発生部６に対して同期信号出力を指示するとともに、キャプチャ部７において変換された画像データを読み込む画像取得部である。符号９は、画像取得部８がキャプチャ部７から読み込んだ画像データを書き込む画像記憶部である。符号１０は、画像記憶部９に記憶された２０枚分の静止画像データに基づいて、情報取得対象物１の形状情報を得る形状情報取得部である。符号１１は、形状情報取得部１０において得られた形状情報を記憶する形状情報記憶部である。符号１２は、画像記憶部９に記憶された画像データから情報取得対象物１の分光情報を得て、この得られた分光情報と形状情報記憶部１１に記憶された形状情報とを関連付ける分光情報取得部である。符号１３は、分光情報取得部１２において得られた分光情報を記憶する分光情報記憶部である。

ここで、図３、図４を参照して、カラーフィルタについて説明する。カラーフィルタ４１〜４３は、ビデオカメラの数が比較的少ない場合（例えば１５以下の場合）には、種々の特性の異なる広帯域カラーフィルタから、情報取得対象物１に合わせて適切なものを選択して用いる。この場合のフィルタの選択手法として、フィルタ設計を最適化問題として捉えた平均最小自乗誤差規範に基づく手法などが適用可能である。

一方、ビデオカメラの数が比較的多い場合（例えば１６以上の場合）には、可視波長域（例えば３８０〜７８０ｎｍ）をカメラ数で分割した範囲の分光情報をそれぞれ収得できるように、例えば干渉フィルタなどの狭帯域透過フィルタを用いる。ただし、干渉フィルタを用いる場合には光の透過特性が入射角度に依存し、カラーフィルタに対して垂直に光を入射させる必要があるため、焦点距離の長い光学系レンズを用いることが望ましい。図１に示す装置においては、複数（２０台）のビデオカメラを用いているため、透過開始波長（あるいは吸収開始波長）が、それぞれ可視波長域をカメラの数（２０）で割って得られる波長分ずつずれた長波長域透過フィルタ（あるいは短波長域透過フィルタ）をカラーフィルタ４１〜４３として用いる（図３参照）。そして、透過開始波長（あるいは吸収開始波長）が隣り合うカラーフィルタを使用して撮像した画像間において演算（透過開始波長が短い波長の画像の輝度値から透過開始波長が長い波長の画像の輝度値を減算する）を行うことにより、各波長域の分光情報を得ることができる（図４参照）。また、カラーフィルタのそれぞれについて、少なくとも１枚の他のカラーフィルタの透過波長域が重なるように各カラーフィルタの透過波長域を設定したため、透過波長域が重なっているカラーフィルタを装着したビデオカメラ間においては、形状情報を求めるための対応点を抽出しやすくすることができる。

次に、図２を参照して、図１に示す装置の動作を説明する。図２は、図１に示す装置の動作を示すフローチャートである。まず、ビデオカメラ２１〜２３の位置関係、出力信号強度などについて予めキャリブレーションを行う。そして、画像取得部８は、同期信号発生部６に対して、同期信号の出力を指示する。これを受けて、同期信号発生部６は、カメラコントローラ５に対して、同期信号を出力する。この同期信号が入力されると、カメラコントローラ５は、それぞれのビデオカメラ２１〜２３に対して、画像取得のための信号を出力する。これを受けて２０台のビデオカメラ２１〜２３は、情報取得対象物１の画像を撮像する（ステップＳ１）。各ビデオカメラ２１〜２３から出力される画像信号は、キャプチャ部７に入力され、デジタルの画像データに変換される。これにより、キャプチャ部７内には、２０枚分のデジタル画像データが一時保持されることになる。画像取得部８は、キャプチャ部７内に保持されている２０枚分の画像データを順次読み出して、画像記憶部９書き込むことにより記憶する。

次に、形状情報取得部１０は、画像記憶部９に記憶されている画像データを読み出して（ステップＳ２）、それぞれの画像データから対応点を抽出し（ステップＳ３）、各画像上の対応点の位置の違いを求め（ステップＳ４）、予め把握されている各ビデオカメラの位置関係の情報に基づいて三角測量の原理により情報取得対象物１の形状データを求める（ステップＳ５）。そして、形状情報取得部１０は、求めた形状データを形状情報記憶部１１に記憶する。形状情報記憶部１１に記憶される形状データは、例えば、抽出した対応点の３次元座標値から構成される。

次に、分光情報取得部１２は、各画像の重なり領域を求め（ステップＳ６）、この各画像の重なり領域について、各カラーフィルタ４１〜４３を通して得られた各画素の強度（輝度値）の関係から、重なり領域内の各点の分光情報を求める（ステップＳ７）。このとき、ビデオカメラの数（フィルタの数）が多ければ全ての画像が重なる部分については分光計測した状況に近づくことができる。また計測時の照明光の情報を用いて分光反射率を求めることもできる。一方、ビデオカメラの数（フィルタの数）が少ない場合には、それぞれのカラーフィルタを通して得られた画像から主成分分析などにより、情報取得対象物１からの光の分光特性を推定する手法を適用可能である。ただしこの場合はカラーフィルタの選択時と同様、対象物の種類（用いられている顔料の特性）を予め知っておいた方が高い精度が得られる。分光情報取得部１２は、求めた各点の分光情報と、形状情報記憶部１１に記憶されている形状情報とを関連付けて分光情報記憶部１３に記憶する。

次に、情報取得対象物１の全体の形状と分光情報を得るためには複数の視点から情報取得対象物１を撮影することが望ましい。したがって、画像取得部８は、１フレーム目の画像取得が終了した後に、２フレーム目の画像を取得する。そして前述した処理（ステップＳ１〜Ｓ７）と同じ処理を実行する（ステップＳ８）ことにより、２フレーム目の画像について形状情報と分光情報とを得た後に、形状情報取得部１０は、現フレームと直前フレームとの相対的な位置関係の変位を求め（ステップＳ９）、現フレームの形状データと直前フレームの形状データとの位置合わせを行う（ステップＳ１０）。この位置関係を求めるには、それぞれのフレームにより得られた分光情報が対応付けられた形状データの特徴点（形状情報のエッジや色情報のエッジなど）を抽出し、フレーム間における情報取得対象物１とビデオカメラ２１〜２３との相対的位置・姿勢の変位を推定することにより行う手法や、情報取得対象物１の周囲に磁場を発生させ、ビデオカメラ側に磁場を検地するセンサを複数設けることにより、各フレームでのカメラの位置、姿勢を求める手法などを用いればよい。

以上説明した処理を予め決められた最終フレームまで続行して（ステップＳ１１）、順次撮像した画像から得られる形状データを位置合わせすると、順次誤差が蓄積していくが、最後に全フレーム画像を用いて位置合わせを行う（ステップＳ１２）ことにより、この誤差を分散させることができる。

なお、図２に示す動作は、１フレーム毎に形状情報と分光情報を求める動作を例にして説明したが、予め決められたフレーム数の画像を取得して記憶部に蓄積してから必要に応じて、形状情報と分光情報を求める処理を実行するようにしてもよい。

また、前述した説明においては、ビデオカメラを２０台使用する例を説明したが、必ずしも２０台である必要はなく、４台以上使用すれば３バンド（ＲＧＢ）のカメラを使用した場合に比べて精度の高い分光情報を取得することができる。

このように、それぞれ異なる分光透過特性のカラーフィルタを装着した４台以上のビデオカメラ２１〜２３の撮像タイミングを同期させて情報取得対象物１を撮像することにより、得られたそれぞれの画像の視点の違いから情報取得対象物１の幾何形状を求めることができるとともに、同時にそれぞれのビデオカメラ２１〜２３が捕らえる光の特性の違いから、情報取得対象物１の表面の分光エネルギー情報を取得することができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより分光情報および形状情報の同時取得処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の一実施形態の構成を示すブロック図である。 図１に示す装置の動作を示すフローチャートである。 複数の長波長域透過フィルタの分光透過率を示す説明図である。 複数の長波長域透過フィルタから得た狭帯域分光分布を示す説明図である。

符号の説明

１・・・情報取得対象物、２１〜２３・・・ビデオカメラ、３１〜３３・・・光学系（レンズ）、４１〜４３・・・カラーフィルタ、５・・・カメラコントローラ、６・・・同期信号発生部、７・・・キャプチャ部、８・・・画像取得部、９・・・画像記憶部、１０・・・形状情報取得部、１１・・・形状情報記憶部、１２・・・分光情報取得部、１３・・・分光情報記憶部

Claims (3)

1. 物体の幾何形状と表面のテクスチャ情報を同時に取得する装置であって、
   それぞれ異なる分光透過特性の光学フィルタを装着した４台以上の画像取得手段と、
   前記画像取得手段による画像データ取得のタイミングを同期させる同期手段と、
   前記画像取得手段により同期して取り込まれたそれぞれの画像データの視点位置の違いによる各画像データ間の対応点位置の違いと、前記画像取得手段の位置関係とに基づいて前記物体の幾何形状情報を求める形状情報取得手段と、
   前記分光透過特性の異なる光学フィルタ装着した前記画像取得手段によって得られたそれぞれの画像データ間における重なり領域を構成する画素の輝度値から前記物体表面のテクスチャ情報を取得する分光情報取得手段と
   を備えたこと特徴とする分光情報および形状情報同時取得装置。
2. 前記光学フィルタは、他の前記画像取得手段に装着されている光学フィルタの透過波長域と重なる透過波長域を有する分光透過特性であることを特徴とする請求項１に記載の分光情報および形状情報同時取得装置。
3. 物体の幾何形状と表面のテクスチャ情報を同時に取得するために、それぞれ異なる分光透過特性の光学フィルタを装着した４台以上の画像取得手段と、前記画像取得手段による画像データ取得のタイミングを同期させる同期手段とを備えた装置において分光情報および形状情報を同時に取得する情報取得方法であって、
   前記画像取得手段により同期して取り込まれたそれぞれの画像データの視点位置の違いによる各画像データ間の対応点位置の違いと、前記画像取得手段の位置関係とに基づいて前記物体の幾何形状情報を求める形状情報取得ステップと、
   前記分光透過特性の異なる光学フィルタ装着した前記画像取得手段によって得られたそれぞれの画像データ間における重なり領域を構成する画素の輝度値から前記物体表面のテクスチャ情報を取得する分光情報取得ステップと
   を有すること特徴とする情報取得方法。

Images