JP2018084512A - 三次元形状熱計測装置、三次元形状熱計測方法及びプログラム - Google Patents

Abstract

【課題】三次元形状計測装置と遠赤外線カメラとの各々のキャリブレーションを必要とせず、かつ三次元形状計測装置と遠赤外線カメラとを一体化させた構成とする必要もなく、三次元形状計測装置で計測した対象物の三次元形状に対して、対象物の温度情報を付与する三次元形状熱計測装置を提供する。【解決手段】本発明の三次元形状熱計測装置は、対象物の表面の三次元形状を示す表面三次元形状モデルと、対象物の表面の温度を計測した熱画像から求めた熱三次元形状モデルとの三次元座標系を一致させる座標変換部と、表面三次元形状モデルの表面に対して、当該表面の観察方向に一致する、熱三次元形状モデルの撮像方向における熱画像を投影させる温度情報付与部とを備える。【選択図】図１

Description

本発明は、温度情報が付加された三次元形状熱の計測を行う三次元形状熱計測装置、三次元形状熱計測方法及びプログラムに関する。

近年、温度変化の激しい物体や微小な物体を対象物とし、この対象物における温度を測定により変化させることなく、その各部の温度（温度情報）を測定する目的で、遠赤外線カメラなどを用いたサーモグラフィの技術が用いられている。
遠赤外線カメラを用いて対象の温度情報を取得することは、産業分野における製品検査や防災・防犯分野における監視を目的として幅広く利用されている。
このサーモグラフィの技術を用いて、対象物の三次元形状に温度情報を付与するシステムが建物のエネルギー効率の解析や製品の熱解析などを目的として各種提案されている。

ここで、温度の測定対象である対象物の三次元形状は、三次元形状計測システムにより計測して生成される。この三次元形状計測システムは、距離情報を二次元格子状に格納する距離画像を生成する装置として、以下の手法による製品が提案されている。
・光の応答を利用した方式：TOF（Time of Flight）
・カメラ間の差を用いた三角測量：ステレオカメラ、ＳＦＭ(Structure from Motion)
・プロジェクタからの投光を撮影：Projector-Camera System
・レンズの焦点距離を変化させた際のピントを利用したもの：Shape from Focus/Defocus

上述した製品の各々は、三次元形状計測装置の光学中心を原点として二次元格子状に距離情報を格納した距離画像を生成する。ここで、三次元形状計測においては、対象物の部分の各々を距離画像それぞれとして取得し、部分毎の距離画像の位置合わせを行うことにより全体の三次元形状を取得する。
また、これらの三次元形状計測装置に可視光カメラを取り付け、距離だけでなく色情報を付与する機器も多数存在する。具体的な三次元形状計測システムの製品としてはMicrosoft Kinect（登録商標、TOF、Projector-Camera System）、Intel RealSense（登録商標、Projector-Camera System）、AutoDesk ReMake（登録商標、SfM）、Agisoft PhotoScan（登録商標、SfM）などが販売されており、簡便な三次元形状計測が可能となっている。

また、計測した対象物の表面における温度情報を、三次元形状の表面に付与した画像の生成を行う構成も、サーモフュージョン（登録商標、東杜シーテック社）として製品化されている。
さらに、物体の三次元形状の取得と温度情報の付与を自動で行う手法が提案されている（例えば、特許文献１及び非特許文献１参照）。これらの手法は、三次元形状計測装置と遠赤外線カメラとの相対的な姿勢情報を、計測作業の前に予め算出しておき、計測して得られた三次元形状に、遠赤外線カメラで得られた温度情報を投影することで実現している。

対象物の三次元形状に対して温度情報を投影するためには、遠赤外線カメラの三次元姿勢情報と、三次元形状計測装置から得られた三次元形状とが同一座標系に存在することが必要となる。
このため、遠赤外線カメラ及び三次元形状計測装置の各々のキャリブレーションを行い、遠赤外線カメラ、三次元形状計測装置それぞれの対象物の三次元形状の撮像の際に対する相対的な三次元の姿勢情報を得ている。

一般的な可視光カメラにおけるキャリブレーションにおいては、チェッカーボードパターンやドットパターンなその基準となる対象物を利用してキャリブレーションを行うことが可能である。
しかし、可視光カメラと遠赤外線カメラとにおいては、撮像できる波長帯（感知できる対象物からの放射光の波長帯）が異なるため、温度と輝度の一致させたキャリブレーション装置を構築することが提案されている（例えば、特許文献２及び特許文献３参照）。また、すでに述べた非特許文献１においても、三次元形状計測装置に付属している可視光カメラと遠赤外線カメラとから、非特許文献２と同様の手法により予めキャリブレーションを行う。

特開２０１０−２８１８１１号公報 特開２００８−２０２９７１号公報 特開２０１１−０６４６３６号公報

Peyman Moghadam and Stephen Vidas. "Heatwave: the next generation of thermography devices." SPIE Sensing Technology+ Applications. International Society for Optics and Photonics, 2014. Vidas, Stephen, et al. "A mask-based approach for the geometric calibration of thermal-infrared cameras." IEEE Transactions on Instrumentation and Measurement 61.6 (2012): 1625-1635.

しかしながら、すでに述べたように、三次元形状計測にて得られた対象物の三次元形状に対して温度情報を付与する際、予め、三次元形状計測装置と遠赤外線カメラとの各々のキャリブレーションを行っておく必要がある。
この三次元形状計測装置と遠赤外線カメラとの各々のキャリブレーションに対しては、基準位置に配置された熱源を備えるキャリブレーション装置の構築が必要となる。また、三次元形状計測装置が同一の撮像方向に配置された遠赤外線カメラを備えている必要がある。
したがって、温度情報を三次元形状に付与するためには、遠赤外線カメラが付属している三次元形状計測装置を構成し、かつ事前にキャリブレーションを行う必要性から、物体の三次元形状に対して、計測された対象物の表面の温度情報を付与する作業が煩雑となる。

本発明は、このような状況に鑑みてなされたもので、三次元形状計測装置と遠赤外線カメラとの各々のキャリブレーションを必要とせず、かつ三次元形状計測装置と遠赤外線カメラとを一体化させた構成とする必要もなく、三次元形状計測装置で計測した対象物の三次元形状に対して、対象物の温度情報を付与する三次元形状熱計測装置、三次元形状熱計測方法及びプログラムを提供する。

上述した課題を解決するために、本発明の三次元形状熱計測装置は、対象物の表面の三次元形状を示す表面三次元形状モデルと、前記対象物の表面の温度を計測した熱画像から求めた熱三次元形状モデルとの三次元座標系を一致させる座標変換部と、表面三次元形状モデルの表面に対して、当該表面の観察方向に一致する、前記熱三次元形状モデルの撮像方向における前記熱画像を投影させる温度情報付与部とを備えることを特徴とする。

本発明の三次元形状熱計測装置は、前記表面三次元形状モデルと前記熱三次元形状モデルとにおける点群の位置合わせ処理を行い、前記表面三次元形状モデルと前記熱三次元形状モデルとの各々に対するＳＲＴ（Ｓ：拡大縮小、Ｒ：回転、Ｔ：並進）行列を求める形状位置合わせ部をさらに備え、前記座標変換部が、前記ＳＲＴ行列を用いて、前記表面三次元形状モデルと前記熱三次元形状モデルとの三次元座標系を一致させることを特徴とする。

本発明の三次元形状熱計測装置は、前記熱画像を用いたＳＦＭ処理を用いて、前記熱三次元形状モデルと前記熱画像を撮像した遠赤外線カメラのカメラ情報とを取得するＳＦＭ処理部をさらに備えていることを特徴とする。

本発明の三次元形状熱計測方法は、座標変換部が、対象物の三次元形状の表面を示す表面三次元形状モデルと、前記対象物の表面の温度を計測した熱画像から求めた熱三次元形状モデルとの三次元座標系を一致させる座標変換過程と、温度情報付与部が、表面三次元形状モデルの表面に対して、当該表面の観察方向に一致する、前記熱三次元形状モデルの撮像方向における前記熱画像を投影させる温度情報付与過程とを含むことを特徴とする。

本発明のプログラムは、コンピュータを、対象物の三次元形状の表面を示す表面三次元形状モデルと、前記対象物の表面の温度を計測した熱画像から求めた熱三次元形状モデルとの三次元座標系を一致させる座標変換手段、表面三次元形状モデルの表面に対して、当該表面の観察方向に一致する、前記熱三次元形状モデルの撮像方向における前記熱画像を投影させる温度情報付与手段として動作させるためのプログラムである。

以上説明したように、本発明によれば、三次元形状計測装置と遠赤外線カメラとの各々のキャリブレーションを必要とせず、かつ三次元形状計測装置と遠赤外線カメラとを一体化させた構成とする必要もなく、三次元形状計測装置で計測した対象物の三次元形状に対して、対象物の温度情報を付与する三次元形状熱計測装置、三次元形状熱計測方法及びプログラムを提供することができる。

本発明の一実施形態による三次元形状計測装置を用いた熱付与三次元形状生成システムの構成例を示すブロック図である。 記憶部１８に書き込まれて記憶されている表面三次元形状テーブルの構成例を示す図である。 記憶部１８に書き込まれて記憶されている熱三次元形状テーブルの構成例を示す図である。 本発明の一実施形態による三次元形状計測装置における温度情報が付与された表面三次元形状モデルの生成処理の動作例を示すフローチャートである。 表面三次元形状モデル表面において温度情報の投影処理を行なう必要のないメッシュの例を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。図１は、本発明の一実施形態による三次元形状計測装置を用いた熱付与三次元形状生成システムの構成例を示すブロック図である。図１において、熱付与三次元形状生成システム１００は、三次元形状熱計測装置１と、三次元形状計測装置１０と、遠赤外線カメラ２０との各々を備えている。三次元形状計測装置１０は、温度情報を取得する対象である対象物５００の表面形状を示す表面三次元形状モデル（表面三次元形状を示す点群）を生成する。
遠赤外線カメラ２０は、対象物５００の表面温度を測定し、対象物５００の表面の温度情報を示す熱画像を生成する。

三次元形状熱計測装置１は、制御部１１、ＳＦＭ処理部１３、形状位置合わせ部１４、座標変換部１５、温度情報付与部１６、画像表示部１７及び記憶部１８の各々を備えている。
制御部１１は、三次元形状計測装置１０から対象物５００の三次元形状モデルを読み込み、表面三次元形状識別情報を付与する。そして、制御部１１は、三次元形状モデルのデータを記憶部１８の所定の領域に書き込んで記憶させる。
また、制御部１１は、遠赤外線カメラ２０から、対象物５００の表面の温度情報を示す熱画像を読み込み、熱三次元モデル識別情報を付与して、記憶部１８の所定の領域に書き込んで記憶させる。

図２は、記憶部１８に書き込まれて記憶されている表面三次元形状テーブルの構成例を示す図である。表面三次元形状テーブルは、各レコードにおいて、表面三次元形状モデル識別情報と、表面三次元形状モデルデータインデックスと、温度情報付与表面三次元形状モデルデータインデックスとが対応して書き込まれて記憶されている。表面三次元形状モデル識別情報は、異なる対象物５００の各々を識別する識別情報である。表面三次元形状モデルデータインデックスは、記憶部１８において制御部１１が表面三次元形状モデルのデータを書き込んだ領域のアドレスを示す。温度情報付与表面三次元形状モデルデータインデックスは、記憶部１８において制御部１１が温度情報付与表面三次元形状モデルのデータを書き込んだ領域のアドレスを示す。

図３は、記憶部１８に書き込まれて記憶されている熱三次元形状テーブルの構成例を示す図である。熱三次元形状テーブルは、各レコードにおいて、熱三次元形状モデル識別情報と、熱三次元形状モデルＳＲＴ行列、熱三次元形状モデルデータインデックスと、熱画像情報（＃１）、熱画像情報（＃２）、…が対応して書き込まれて記憶されている。熱三次元形状モデル識別情報は、異なる対象物５００の各々を、あるいは同一の対象物５００の異なる時間における熱三次元形状モデルを識別する識別情報である。熱三次元形状モデルＳＲＴ行列は、ＳＦＭ処理部１３（後述）が求めた熱三次元形状モデルの表面三次元形状モデルに対するＳＲＴ（Ｓ：拡大縮小、Ｒ：回転、Ｔ：並進の各々）行列である。熱三次元形状モデルデータインデックスは、記憶部１８においてＳＦＭ処理部１３が熱三次元形状モデルのデータを書き込んだ領域のアドレスを示す。

また、熱画像情報（＃１）、熱画像情報（＃２）、…は、熱画像及び温度情報が書き込まれている記憶部１８におけるアドレス、遠赤外線カメラ２０のカメラ情報（カメラパラメータ）などの熱画像に関する情報が記憶されている。本実施形態において、熱画像は、複数の位置において対象物５００の表面の温度を計測した点群の２次元画像である。ここで、カメラ情報は、熱画像を撮像した際の画角及びレンズ歪み情報などの内部パラメータと、熱画像を撮像した際の遠赤外線カメラ２０の移動及び回転などからなる姿勢（三次元座標系におけるカメラ位置及び撮像方向）情報とを含んでいる。本実施形態において、表面三次元形状モデル及び熱三次元形状モデルの各々は、ＣＧにおけるソリッドモデリングの多面体オブジェクトであり、対象物５００の仮想三次元形状をメッシュ構造で実現しているモデルを示す。

図１に戻り、ＳＦＭ処理部１３は、記憶部１８の熱三次元形状テーブルから、処理対象の対象物５００の熱画像の各々を読み出し、この対象物５００の熱三次元形状モデルと、遠赤外線カメラ２０の各熱画像に対応するカメラ情報を求める。このとき、ＳＦＭ処理部１３は、一般的なＳＦＭ処理を行なうことにより、熱三次元形状モデルを生成し、生成した熱三次元画像を記憶部１８における熱三次元形状テーブルに対して書き込んで記憶させる。また、ＳＦＭ処理部１３は、ＳＦＭ処理において上記熱三次元形状モデルを生成する際に求められた各熱画像の姿勢情報を、記憶部１８における熱三次元形状テーブルに対して書き込んで記憶させる。

形状位置合わせ部１４は、記憶部１８から読み出した表面三次元形状モデルの三次元座標系に、熱三次元形状モデルの三次元座標系から、熱三次元形状モデルの座標変換を行なう。そして、形状位置合わせ部１４は、表面三次元形状モデルの三次元座標系において、表面三次元形状モデルと熱三次元形状モデルとの各々の点群とを用いて位置合わせを行なう。このとき、形状位置合わせ部１４は、表面三次元形状モデルに対して熱三次元形状モデル位置合わせを行なうことで、表面三次元形状モデルに対する熱三次元形状モデルのＳＲＴ行列を求める。

このとき、形状位置合わせ部１４は、表面三次元形状モデルに対する熱三次元形状モデルの位置合わせにおいて、従来から行なわれているＩＣＰ（Iterative Closest Point）処理を用いる。すなわち、形状位置合わせ部１４は、表面三次元形状モデルと熱三次元形状モデルとにおける基準となる尺度が異なるため、熱三次元形状モデルの拡大縮小を考慮したＩＣＰ処理を行ない、ＳＲＴ行列を取得する。このとき、形状位置合わせ部１４は、このＩＣＰ処理において、表面三次元形状モデルと熱三次元モデルの各々を構成する点群における各点同士の距離が最小になるまで、スケールの調整、及び各モデルの三次元座標系の空間における移動と回転を変えながら繰り返す。

座標変換部１５は、形状位置合わせ部１４が求めたＳＲＴ行列を用いて、各熱画像の姿勢情報を、表面三次元形状モデルの三次元座標系に変換する。すなわち、座標変換部１５は、各熱画像の撮像点及び撮像方向の各々を、上記ＳＲＴ行列により表面三次元形状モデルの三次元座標系に座標変換し、変換後の姿勢情報を記憶部１８の熱三次元形状テーブルに書き込んで記憶させる。

温度情報付与部１６は、表面三次元形状モデルの三次元座標系において、この表面三次元形状モデルの表面、すなわちメッシュ（ポリゴンメッシュ）の各々に対して、熱画像における各画素の温度情報を、ＳＲＴ行列にて変換した姿勢情報に基づいて、投影（マッピング）する処理を行ない、表面三次元形状モデルの上面に対して、熱画像の各々の温度情報が投影された温度情報付与表面三次元形状モデルを生成する。ここで、各メッシュに対しては、メッシュの各々を識別するためのメッシュ識別情報（ＩＤ： identification ）が付与されており、後述する投影処理において、温度情報付与部１６は、熱画像の温度情報の投影（付与）処理が終了したメッシュ識別情報に対し、フラグを立てて、表面三次元形状モデルの表面を形成するメッシュの各々において、どのメッシュに対する温度情報の投影処理が終了しているか、どのメッシュに対する温度情報の投影処理が終了していないかの判定に用いる。
また、温度情報付与部１６は、表面三次元形状モデルに対する温度情報の投影処理において、温度情報の可視性を考慮するため、熱画像を可視性が高くなる表示方法に変換する構成としても良い。一般的には、ヒートマップ画像への変換が行なわれるが、利用目的によってはヒートマップ画像以外の表示方法に変換しても良い。

また、温度情報付与部１６は、上述したように、表面三次元形状モデルに対する温度情報の投影を、コンピュータグラフィックスにおけるテクスチャマッピングの処理として実現する。ここで、遠赤外線カメラ２０の内部パラメータをＡ、表面三次元形状モデルの三次元座標系に座標変換した遠赤外線カメラ２０の外部パラメータをＲ（回転行列）｜ｔ（並進ベクトル）とした場合、表面三次元形状モデルの各座標点Ｍに対応するテクスチャマッピング座標（熱画像における座標点）ｍは以下の（１）式によって求められる。

また、温度情報付与部１６は、生成した温度情報付与表面三次元形状モデルのデータを、記憶部１８の所定の領域に書き込んで記憶させ、この所定の領域のアドレスを温度情報付与表面三次元形状モデルデータインデックスとして、記憶部１８の表面三次元形状テーブルに書き込んで記憶させる。

画像表示部１７は、表面三次元形状モデルに対して温度情報が付与された（熱画像の温度情報が投影された）温度情報付与表面三次元形状モデルのデータが記憶されている記憶部１８の領域を示す温度情報付与表面三次元形状モデルデータインデックスを、記憶部１８の表面三次元形状テーブルから読み出す。そして、画像表示部１７は、温度情報付与表面三次元形状モデルデータインデックスの示す記憶部１８の領域から、温度情報付与表面三次元形状モデルのデータを読み出す。画像表示部１７は、読み出した温度情報付与表面三次元形状モデルを、ユーザの指定する観察方向から観察される表示画像に変換して（表示画面の２次元座標系に座標変換（投影）して）、表示画面に表示する。このとき、画像表示部１７は、温度情報の示す温度に対応して、例えば、予め設定された温度毎に対応した色により付与された温度情報を表示するようにしても良い。

次に、図４は、本発明の一実施形態による三次元形状熱計測装置における温度情報が付与された表面三次元形状モデルの生成処理の動作例を示すフローチャートである。
ステップＳ１：
ＳＦＭ処理部１３は、記憶部１８の表面三次元形状テーブルから、処理対象の対象物５００の表面三次元形状モデル識別情報に対応する表面三次元形状モデルデータインデックスを読み出す。そして、ＳＦＭ処理部１３は、記憶部１８において、表面三次元形状モデルデータインデックスの領域に記憶されている表面三次元形状モデルのデータを読み出す。
また、ＳＦＭ処理部１３は、上記表面三次元形状モデルの対象物５００に対応し、記憶部１８の熱三次元形状テーブルの熱画像情報の各々から、熱画像が書き込まれているアドレス及び温度情報を読み出す。そして、ＳＦＭ処理部１３は、読み出したアドレスの各々により、記憶部１８に記憶されている熱画像それぞれのデータを読み出す。

ステップＳ２：
ＳＦＭ処理部１３は、記憶部１８から読み出した熱画像の各々を用いて、ＳＦＭ処理により、対象物５００の熱三次元形状モデルを作成する。
また、ＳＦＭ処理部１３は、ＳＦＭ処理を行なって、対象物５００を撮像した複数の熱画像から、熱三次元形状モデルを作成する際、それぞれの熱画像に対応した遠赤外線カメラ２０のカメラ情報を取得する。
そして、ＳＦＭ処理部１３は、生成した熱三次元形状モデルのデータを記憶部１８の所定の領域に書き込んで記憶させ、この領域のアドレスを熱三次元形状モデルデータインデックスとして、記憶部１８の熱三次元形状テーブルに書き込んで記憶させる。ＳＦＭ処理部１３は、求めたカメラ情報を、記憶部１８の熱三次元形状テーブルにおけるそれぞれ対応する熱画像情報に書き込んで記憶させる。

ステップＳ３：
形状位置合わせ部１４は、記憶部１８の表面三次元形状テーブルから、処理対象の対象物５００の表面三次元形状モデル識別情報に対応する表面三次元形状モデルデータインデックスを読み出す。そして、形状位置合わせ部１４は、記憶部１８において、表面三次元形状モデルデータインデックスの領域に記憶されている表面三次元形状モデルのデータを読み出す。形状位置合わせ部１４は、記憶部１８の熱三次元形状テーブルから、処理対象の対象物５００の熱三次元形状モデル識別情報に対応する熱三次元形状モデルデータインデックスを読み出す。そして、形状位置合わせ部１４は、記憶部１８において、熱三次元形状モデルデータインデックスの領域に記憶されている熱三次元形状モデルのデータを読み出す。

形状位置合わせ部１４は、表面三次元形状モデルの三次元座標系において、この表面三次元形状モデルに対して、熱三次元形状モデルの位置合わせ処理を行なう。そして、形状位置合わせ部１４は、表面三次元形状モデルの三次元座標系において、熱三次元形状モデルを一致させる位置を合わせる処理を行なった際に、スケール、回転、並進操作を行なうための熱三次元形状モデルＳＲＴ行列を求める。
そして、形状位置合わせ部１４は、対応する熱三次元形状モデル識別情報に対応させて、求めた熱三次元形状モデルＳＲＴ行列を、記憶部１８の熱三次元形状テーブルに対して書き込んで記憶させる。

ステップＳ４：
座標変換部１５は、記憶部１８の熱三次元形状テーブルから、処理対象の熱三次元形状モデルＳＲＴ行列を読み出す。また、座標変換部１５は、記憶部１８の熱三次元形状テーブルにおける熱画像情報を順番に読み出す。そして、座標変換部１５は、読み出した熱画像情報における遠赤外線カメラ２０の外部パラメータを、読み出した熱三次元形状モデルＳＲＴ行列により、表面三次元形状モデルの三次元座標系に対応させて変換する（カメラ情報を同一座標系に配置する）。

ステップＳ５：
温度情報付与部１６は、熱画像情報に含まれる熱画像のデータが記憶されているアドレスにより、記憶部１８から熱画像のデータを読み出す。
そして、温度情報付与部１６は、すでに説明した（１）式により、熱画像における温度情報を、表面三次元形状モデルの表面（対応するメッシュ）に対して投影する。

ステップＳ６：
温度情報付与部１６は、表面三次元形状モデルの表面におけるメッシュの全てに対する温度情報の投影が終了したか否か、及び未処理の熱画像が存在するか否かの判定を行なう。
このとき、温度情報付与部１６は、メッシュの全てに対する温度情報の投影が終了した場合、または未処理の熱画像が存在しない場合のいずれかの場合、処理をステップＳ７へ進める。また、温度情報付与部１６は、メッシュの全てに対する温度情報の投影が終了しておらず、かつ未処理の熱画像が存在する場合、処理をステップＳ４に戻し、記憶部１８の熱三次元形状テーブルにおける次の熱画像に対する処理を行なう。

ステップＳ７：
温度情報付与部１６は、温度情報の付与の処理が終了した表面三次元形状モデルを、温度情報付与表面三次元形状モデルとし、記憶部１８に書き込んで記憶させる。
そして、温度情報付与部１６は、温度情報付与表面三次元形状モデルのデータを書き込んだ記憶部１８における領域のアドレスを、温度情報付与表面三次元形状モデルデータインデックスとして、記憶部１８の表面三次元形状テーブルに対して書き込んで記憶させる。

上述したように、本実施形態は、対象物５００の表面三次元形状モデルの三次元座標系において、対象物５００の表面三次元形状モデルと、遠赤外線カメラ２０で撮像した対象物５００の表面の各領域の温度情報を示す熱画像の各々からＳＦＭ処理で生成した熱三次元形状モデルとの位置合わせを行ない、ＳＲＴ行列を求めて、このＳＲＴ行列を用いて熱画像の温度情報を表面三次元形状モデルの表面に投影して、温度情報付与表面三次元形状モデルを生成している。
このため、本実施形態によれば、三次元形状計測装置１０と遠赤外線カメラ２０との各々のキャリブレーションを行なう必要がなく、かつ三次元形状計測装置１０と遠赤外線カメラ２０とを一体化させた構成とする必要もなく、三次元形状計測装置１０で計測した対象物５００の表面三次元形状モデルに対して、遠赤外線カメラ２０で取得した対象物５００の温度情報を付与し、容易に温度情報付与表面三次元形状モデルを生成することができる。

図５は、表面三次元形状モデル表面において温度情報の投影処理を行なう必要のないメッシュの例を示す図である。
遠赤外線カメラ２０のカメラ位置３１０から、対象物５００の表面三次元形状モデル３２０の表面に対して、熱画像における温度情報を投影する際、温度情報の投影範囲３３０は遠赤外線カメラ２０の画角から決まる。
この図５の場合、表面三次元形状モデル３２０の表面において、三次元形状表面３４０が投影範囲外であり、対応する領域の温度情報を有する熱画像が取得されていない。このため、温度情報付与部１６は、三次元形状表面３４０に対しては温度情報の投影処理を行なわない。

また、表面三次元形状モデル３２０における三次元形状表面３５０及び三次元形状表面３６０の各々は、遠赤外線カメラ２０のカメラ位置３１０及び計測方向（撮像方向）から不可視範囲であり、対応する領域の温度情報を有する熱画像が取得されていない。このため、温度情報付与部１６は、三次元形状表面３４０と同様に、三次元形状表面３５０及び三次元形状表面３６０の各々に対しては温度情報の投影処理を行なわない。
ここで、温度情報付与部１６は、上述した投影範囲外の領域および不可視範囲の判定を、コンピュータグラフィックスで一般的に用いられているビュークリッピング、陰面判定処理によって行う。

なお、本発明における図１の三次元形状熱計測装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより三次元形状モデルの表面に対して遠赤外線カメラで計測された熱画像における温度情報を付与する温度情報の投影処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…三次元形状熱計測装置
１０…三次元形状計測装置
１１…制御部
１３…ＳＦＭ処理部
１４…形状位置合わせ部
１５…座標変換部
１６…温度情報付与部
１７…画像表示部
１８…記憶部
２０…遠赤外線カメラ

Claims (5)

1. 対象物の表面の三次元形状を示す表面三次元形状モデルと、前記対象物の表面の温度を計測した熱画像から求めた熱三次元形状モデルとの三次元座標系を一致させる座標変換部と、
   表面三次元形状モデルの表面に対して、当該表面の観察方向に一致する、前記熱三次元形状モデルの撮像方向における前記熱画像を投影させる温度情報付与部と
   を備えることを特徴とする三次元形状熱計測装置。
2. 前記表面三次元形状モデルと前記熱三次元形状モデルとにおける点群の位置合わせ処理を行い、前記表面三次元形状モデルと前記熱三次元形状モデルとの各々に対するＳＲＴ行列を求める形状位置合わせ部をさらに備え、
   前記座標変換部が、前記ＳＲＴ行列を用いて、前記表面三次元形状モデルと前記熱三次元形状モデルとの三次元座標系を一致させる
   ことを特徴とする請求項１に記載の三次元形状熱計測装置。
3. 前記熱画像を用いたＳＦＭ処理を用いて、前記熱三次元形状モデルと前記熱画像を撮像した遠赤外線カメラのカメラ情報とを取得するＳＦＭ処理部をさらに備えていることを特徴とする請求項１または請求項２に記載の三次元形状熱計測装置。
4. 座標変換部が、対象物の三次元形状の表面を示す表面三次元形状モデルと、前記対象物の表面の温度を計測した熱画像から求めた熱三次元形状モデルとの三次元座標系を一致させる座標変換過程と、
   温度情報付与部が、表面三次元形状モデルの表面に対して、当該表面の観察方向に一致する、前記熱三次元形状モデルの撮像方向における前記熱画像を投影させる温度情報付与過程と
   を含むることを特徴とする三次元形状熱計測方法。
5. コンピュータを、
   対象物の三次元形状の表面を示す表面三次元形状モデルと、前記対象物の表面の温度を計測した熱画像から求めた熱三次元形状モデルとの三次元座標系を一致させる座標変換手段、
   表面三次元形状モデルの表面に対して、当該表面の観察方向に一致する、前記熱三次元形状モデルの撮像方向における前記熱画像を投影させる温度情報付与手段
   として動作させるためのプログラム。

Images