JP2005249723A - 温度分布を含む画像の出力装置およびその制御方法 - Google Patents

Abstract

【課題】 低コストで精度の高い温度分布を含む画像が得られる装置を提供する。
【解決手段】 ２次元で赤外線を検出して赤外線の強度分布を示す画像２１を取得する第１のカメラ部１１と、可視光の画像２２を取得する第２のカメラ部１２と、放射温度計１３と、対象物２までの距離を測定する測距離装置１４とを有する出力装置１を提供する。対象物２までの距離により、熱画像上における放射温度計１３により基準温度Ｔ０が検出される基準領域ＲＡの位置を求め、その基準領域ＲＡの基準温度Ｔ０に基づき熱画像２１を温度分布の画像２０に変換する。
【選択図】 図１

Description

本発明は、物体などから放射される赤外線を検出して、温度分布を含む画像を表示したり、画像表示用のデータを出力する装置に関するものである。

物体から放射される赤外線を検出して、物体の２次元の温度分布を熱画像として取得できるサーモグラフィ装置と称される、温度分布を含む画像の出力装置が知られている。物体の温度は、物体から放射される赤外線エネルギーの量によって測定することが可能であり、その赤外線を２次元の赤外線センサで検出することにより物体の温度分布を得ることができる。
特開平８−３０４１８３号公報

近年、サーモグラフィ装置は低コストになったといっても、その価格は数百万円台である。これに対し、同じ赤外線を用いて画像を形成する赤外線カメラはＣＣＤを用いたものであれば数万円台のものが市販されている。サーモグラフィ装置と赤外線カメラの相違は、サーモグラフィ装置は放射エネルギーを温度分布として出力し、赤外線カメラは放射エネルギーを濃淡の画像として出力することである。これらの相違はあるものの、サーモグラフィ装置および赤外線カメラはいずれも放射エネルギーを測定または検出していることには変わりはない。

しかしながら、サーモグラフィ装置は、温度の検出精度を確保することを第１の目標としており、そのため、冷却が不要な熱型センサ、たとえば、マイクロボロメータ、サーモパイルなどの赤外線検出素子を２次元に配列した検出装置が採用されている。これらの赤外線検出素子を２次元に配列した装置は、製造コストが高く、解像度も高解像度であるといっても３０万画素程度にすぎない。冷却が必要な量子型センサ、例えば、ＩｎＳｂセルは一体のマトリクスで提供されるが、製造コストが低いともいえず、さらに、冷却装置が必要となるので全体としては高コストである。また、いずれのセンサを用いた場合も、温度の測定精度を向上するために、検出する赤外線の波長は、空気中の減衰の少ない１０μｍ前後を対象としている。

一方、デジタルカメラの撮像素子として利用されているＣＣＤ型のイメージセンサ、あるいはＣＭＯＳ型のイメージセンサは、通常は赤外線をカットするフィルタをつけて利用されているが、赤外領域の光も検出する能力がある。しかしながら、検出可能な波長領域は可視光に近い１μｍ前後である。さらに、画像を表示することを第１の目的としているために、入力強度やＣＣＤの状態などにより増幅器のゲインを自動調整してクリアな画像を出力するようになっており、撮像素子により得られた放射エネルギーの絶対値は画像には反映されない。したがって、パッシブ型の赤外線カメラの画像を見ても、相対的な温度の高低が分かる程度である。防犯カメラなどにおいて用いられる赤外線カメラは、赤外線ランプと一体で用いられるアクティブ型の赤外線カメラであり、物体で反射された赤外線を検出するので、画像の濃淡は物体の温度を反映したものとはならない。

したがって、ＣＣＤを用いたパッシブ型の赤外線カメラにおいて、特定の場所の正確な温度が別の測定手段により測定されれば、その場所で測定された放射エネルギーとの相対的な比較により、他の場所において測定された放射エネルギーに対応する温度も特定され、ＣＣＤを用いて低コストのサーモグラフィを実現することができる。そこで、本発明においては、ＣＣＤを用いて低コストのサーモグラフィを提供することを目的としている。

特開平８−３０４１８３号公報に開示された２次元赤外線センサカメラにおいては、２次元赤外線センサに赤外線を導く光学系にビームスプリッタを入れ、レンズを介してカメラに導入された赤外線を２次元赤外線センサと、単一の赤外線素子を備えた放射温度計とに分離して供給し、放射温度計の側で２次元赤外線センサの中心の赤外線検出素子で検出された対象物の温度を求めるようにしている。放射温度計は、室温となるチョッパからの放射エネルギーと対象物からの放射エネルギーとを測定しており、室温をベースに校正された温度が得られるため、測定される温度の精度は高い。サーモグラフィ装置と、放射温度計とは、同じタイプの赤外線センサを用いて温度が測定されているが、２次元センサを構成する全てのセンサに対して放射温度計と同等の校正プロセスを適用することが不可能なので、部分的に放射温度計により温度を測定し、その温度を基準として２次元赤外線センサの信号レベルを補正している。

特開平８−３０４１８３号公報に開示された方法は、２次元赤外線センサと、放射温度計に用いられる赤外線センサとが同じ光学系を使用することにより、放射温度計の測定位置を２次元赤外線センサの中心と合致させている。したがって、２次元赤外線センサの特定の場所の放射エネルギーに対応する温度を放射温度計により精度良く求めることができ、他の領域について相対的に精度を向上できる。しかしながら、この方法は、２次元赤外線センサと、放射温度計とは同一の光学系を用いる必要があるので、２次元赤外線センサと、放射温度計とに用いられている赤外線センサ（または赤外線検出素子）とが同一波長、または少なくともレンズの収差特定がほぼ同じになる波長領域の電磁波を測定する場合にのみ有効であり、測定波長の異なるセンサ同士の組み合わせは採用できない。

ＣＣＤを用いたサーモグラフィ装置を実現しようとした場合、ＣＣＤの感度は短波長の赤外線領域で高く、一方、その領域で精度の高い温度測定が可能な赤外線センサは開発されていない。したがって、最も低コストで信頼性が高く、さらに精度が高い放射温度計は、サーモパイルなどの赤外線センサを利用した長波長タイプのものになり、特開平８−３０４１８３号公報に開示された方法、すなわち、同一の光学系を用いる方法はＣＣＤを用いたサーモグラフィ装置を実現しようとした場合には採用できない。

さらに、２次元赤外線センサと、放射温度計とが同一の光学系を用いる場合は、その光学系に起因する赤外線の影響は補正することができないという問題がある。市販されている放射温度計も光学系を備えており、同等の問題は生じうるが、放射温度計を２次元センサと合体させた場合は、特に問題が大きい。すなわち、受光面積の広い２次元赤外線センサに対する結像能力を確保しようとすると、光学系のレンズの枚数が増えたり、径の大きなレンズを採用する必要があり、外乱となる赤外線が発生する要素は多くなる。さらに、ビームスプリッタなどの光学素子が介在すれば、さらに外乱となる赤外線の発生は増え、放射温度計の測定精度は低下する。したがって、測定精度を向上するという点でも、２次元赤外線センサと、放射温度計とが同一の光学系を用いることは好ましくない。

そこで、本発明においては、ＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサと放射温度計などの高精度の温度測定装置とを組み合わせることが可能な温度分布を含む画像の出力装置を提供することを目的としている。

本発明の温度分布を含む画像の出力装置は、少なくとも２次元で赤外線を検出可能な第１の赤外線センサと、その第１の赤外線センサへ赤外線を導く第１の光学系と、温度を測定可能な第２の赤外線センサと、その第２の赤外線センサへ赤外線を導く第２の光学系と、第１の赤外線センサにより得られる第１の画像上における第２の赤外線センサが温度を検出する基準領域を定める手段と、第２の赤外線センサにより測定される基準温度により、第１の画像の基準領域の温度分布をセットし、基準領域との赤外線の相対強度により他の領域を温度分布表示に変更して温度分布画像を生成する手段とを有する。

本発明においては、温度分布を測定しようとする第１の赤外線センサと、基準となる温度を測定しようとする第２の赤外線センサに対し、第１の光学系と、第２の光学系という独立した光学系を用意する。したがって、測定波長領域の異なる赤外線センサを用いて出力装置を構成することが可能となり、赤外線を検出可能な低コストのイメージセンサと、放射温度計などに使用される測定精度の高い赤外線センサとを組み合わせた出力装置を提供できる。また、基準温度を測定する第２の赤外線センサには、ノイズの少ない光学系を採用できるので、基準温度の精度の低下を防止できる。このため、第２の赤外線センサにより測定される基準温度により、第１の赤外線センサが捉えた赤外線イメージである第１の画像をオンタイムで補正あるいは変換することが可能となり、第１の画像を温度分布の画像に変換して出力することができる。したがって、第１の赤外線センサにより相対的な温度の高低が分かる程度の赤外線イメージが得られれば、それを温度分布表示に変換してサーモグラフィとして出力できる。また、増幅器のゲインを自動調整するようなＣＣＤ、ＣＭＯＳなどのイメージセンサを用いても、オンタイムで温度分布に変換して、サーモグラフィとして出力できる。

また、温度分布を示す画像を得るのに、長波長側より短波長側の感度が高いＣＣＤやＣＭＯＳタイプのイメージセンサを利用できることにより、近年、開発が急速に進んでおり、信頼性も高く、コンパクトなデジタルカメラなどの撮像装置の技術および部品を、サーモグラフィ装置に簡単に転用することが可能となる。したがって、本発明により、低コストで、信頼性が高く、さらに、コンパクトなサーモグラフィ装置を提供することが可能となる。

第１の赤外線センサと、第２の赤外線センサに、独立した光学系を採用すると、各々の光学系により得られる画像が異なるので、基準となる温度を測定する第２の赤外線センサが捉えている基準領域が、第１の赤外線センサが捉えている第１の画像の中の、どの領域に相当するかが問題となる。第１の画像の所定の位置を示唆する光線を出力する装置、たとえば半導体レーザあるいはＬＥＤと、第２の赤外線センサが捉えている位置を示唆する光線を出力する装置を設けて、それぞれの光線が測定対象物の同一の箇所を照射するように第２の光学系の入射側の向きを調整しても良い。しかしながら、さらに簡易な構成で、簡易な制御方法で実現できる、経済的な解決策が望まれる。

そこで、本発明においては、さらに、第１の赤外線センサにより温度分布を測定しようとしている対象物までの距離を測定する測距離装置を設け、基準領域を定める手段においては、対象物までの距離により、第１の赤外線センサにより得られる第１の画像上における第２の赤外線センサが温度を測定する基準領域を定めるようにする。測距離装置としては、超音波距離測定装置や自動焦点調整装置を採用することが可能である。

第２の光学系の入射側の光軸が、第１の光学系の入射側の光軸に対して固定されていれば、対象物までの距離により、第２の光学系が捉える対象物の部分の位置は決まるので、基準領域を定める手段は、関数あるいはルックアップテーブルなどを用いた演算処理により第１の画像上における基準領域を定めることができる。また、対象物までの距離が判明すれば、第１の画像上の特定の位置、たとえば、中心に表示される対象物の部分が判明するので、第２の光学系の入射側の光軸を動かす第１の駆動手段を設け、基準領域を定める手段は、第１の画像上における基準領域の位置が一定になるように第１の駆動手段を制御することができる。

したがって、本発明においては、出力装置の制御方法として、対象物までの距離により、第１の赤外線センサにより得られる第１の画像上における第２の赤外線センサが温度を検出する基準領域を定める工程と、第２の赤外線センサにより測定される基準温度により、第１の画像の基準領域の温度分布をセットし、基準領域との赤外線の相対強度により他の領域を温度分布表示に変換する工程とを有する制御方法を提供する。さらに、本発明においては、少なくとも２次元で赤外線を検出可能な第１の赤外線センサにより得られる第１の画像上における、温度を測定可能な第２の赤外線センサが温度を検出する基準領域を、第１の赤外線センサにより温度分布を測定しようとしている対象物までの距離により定める第１の工程と、第２の赤外線センサにより測定される基準温度により、第１の画像の基準領域の温度分布をセットし、基準領域との赤外線の相対強度により他の領域を温度分布表示に変換する第２の工程とをコンピュータで実行可能な命令を有するプログラムを提供する。このプログラムは、ＣＤ−ＲＯＭやＲＯＭなどの適当な記録媒体に記録して提供したり、インターネットなどのコンピュータネットワークを介して提供できる。

第２の光学系の入射側の光軸を動かす方式は、第１の駆動手段を設ける必要があるので、出力装置の構成は、若干複雑になり、コストも高くなりやすい。しかしながら、基準領域を第１の画像の中央などの一定の領域に固定できる。第２の光学系の入射側の光軸を固定した方式は、出力装置の構成は最も簡易になり、経済的である。基準領域は、第１の画像の中を動くことになり多くの演算処理が必要になるが、処理能力が十分に高いデジタル処理装置が低コストで入手可能になっており、画像処理による処理時間および経済的な問題はほとんど発生しない。したがって、本発明において、最も経済的な方式は、第２の光学系の入射側の光軸を固定した方式であり、演算処理により基準領域を定める制御方式を採用することが好ましい。

さらに、本発明の出力装置は、少なくとも２次元で可視光を検出可能な撮像素子と、その撮像素子に可視光を導く第３の光学系とを設け、第１の赤外線センサにより得られる第１の画像に対する撮像素子により得られる第２の画像の相対位置を定めることにより、その相対位置に基づいて、温度分布画像と第２の画像とを重ねて出力することが可能である。第１および第２の光学系に対し、独立した第３の光学系を設けることにより、赤外線とは異なる可視光に適した光学系を用いて、可視光の第２の画像を取得できる。可視光の画像に温度分布を示す画像を重ねることにより、より視覚的に分かりやすい温度分布を示す画像を出力することができる。

第１の画像と第２の画像の相対的な位置を定める方式としては、上述した基準領域を定める方式と同様に、第３の光学系の入射側の光軸を駆動する方式と、第３の光学系の入射側の光軸を固定した方式とを採用することが可能であり、固定した方式が経済的である。光軸を駆動する方式の場合は、第１の画像と第２の画像の中心が重なるようにするなどの、第１の画像と第２の画像の相対的な位置が一定となるように光軸を駆動すれば良い。

本発明では、ＣＣＤなどのデジタルカメラに普及しているイメージセンサを利用して、温度分布を示すサーモグラフィ装置を提供できる。このため、低コストで、コンパクトなサーモグラフィを提供することが可能となり、様々な目的でサーモグラフィを利用することができる。また、本発明によるサーモグラフィ装置は、高解像度化することは容易であり、また、動画にすることも容易である。

現状のサーモグラフィ装置は、高価なために生体の温度測定など、利用範囲が限定されているが、低コストのサーモグラフィ装置を提供することにより、その利用範囲は大きく広がる。たとえば、電気あるいは電子機器用の基板は、実装密度が増加しているために温度条件が厳しいが、稼動状態での温度分布をサーモグラフィ装置により検証することができる。ポイント的な温度測定ではなく、ある程度の範囲内の温度分布を含む温度測定を可能としたり、室内の温度分布をサーモグラフィ装置により測定して、状況に適した空調制御をしたりすることが可能である。

以下に図面を参照して本発明をさらに詳しく説明する。図１に本発明に係る温度分布を含む画像の出力装置の概略を示してある。温度分布を含む画像の出力装置（以降では出力装置）１は、赤外線を検出して対象物２を含めた赤外線の像（第１の画像）データ２１を取得する第１のカメラ部１１と、可視光を検出して対象物２を含めた可視光の画像データ２２を取得する第２のカメラ部１２と、これらの画像データ２１および２２の処理を行い、温度分布表示を含めた画像データ２０を生成して液晶タイプなどのディスプレイ１６に表示したり、ＵＳＢやＩＥＥＥ１３９４などのインターフェイス１８やビデオ出力端子１７から出力可能な制御部１５とを有している。さらに、出力装置１は、物体から出力される赤外線を検出して、その物体の温度を測定する放射温度計１３と、超音波を利用して物体までの距離を測定する測距離装置１４と、様々な画像処理モードを設定したり、出力装置１のその他の動作を指定できる操作パネル１９を有している。したがって、出力装置１は、これらの機能を利用して、様々な画像処理を行い、様々な画像をディスプレイ１６に表示したり、様々な画像データを外部のパーソナルコンピュータ（ＰＣ）、プリンタ、別体のモニターなどへ出力することが可能である。また、出力装置１の動作は、インターフェイスを介して接続されたＰＣなどのホスト装置から制御することも可能である。

第１のカメラ部１１は、２次元の画像を取得可能なＣＣＤタイプのイメージセンサ３１と、このイメージセンサ３１に赤外線を導く光学系４１とを備えている。この光学系４１は赤外線に対して有効なレンズシステム２５と、赤外線を選択的に透過するフィルター２６を備えており、イメージセンサ３１に赤外線による画像を結像する第１の光学系として機能する。したがって、イメージセンサ３１は、２次元で赤外線を検出する第１の赤外線センサとして機能し、第１の光学系４１の被写体である対象物２を含めた赤外線の画像データ２１を取得できる。イメージセンサ３１としては、ＣＣＤのマトリクスタイプの撮像素子に限らず、デジタルカメラや赤外線カメラに採用されているＣＭＯＳ型の撮像素子を採用することができる。

第２のカメラ部１２は、２次元の画像を取得可能なＣＣＤタイプのイメージセンサ３３と、このイメージセンサ３３に可視光を導く光学系４３とを備えている。この光学系４３は可視光に対して有効なレンズシステム２７と、可視光を選択的に透過するフィルター２８を備えており、イメージセンサ３３に可視光による画像が結像されるようになっている。したがって、イメージセンサ３３は、２次元で可視光を検出する撮像素子として機能し、第３の光学系４３の被写体である対象物２を含めた可視光の画像データ２２を取得できる。このイメージセンサ３３としても、ＣＣＤのマトリクスタイプの撮像素子に限らず、デジタルカメラや赤外線カメラに採用されているＣＭＯＳ型の撮像素子を採用することができる。

放射温度計１３は、サーモパイル型で赤外線に対する感度が高い長波長タイプの赤外線センサ３２と、この赤外線に有効なレンズなどを用いて赤外線センサ３２に赤外線を導く光学系４２と、チョッパなどを備えた校正ユニット２４と、赤外線センサ３２が温度を計測している部分を示すレーザ光などの光線を出力する発光ユニット２３を備えている。したがって、放射温度計１３は、赤外線センサ３２により検出された赤外線により、校正された精度の高い温度を測定することができる。このため、放射温度計１３の赤外線センサ３２は、温度を測定可能な第２の赤外線センサとして機能し、放射温度計１３の光学系４２は第２の光学系として機能する。また、この放射温度計１３は、発光ユニット２３を利用して、必要に応じて光学系４２の入射方向に光線を出力できるので、放射温度計１３が測定している部分を視覚的に確認することができる。この放射温度計１３は、市販されている放射温度計と同等の機能の構成を備えていれば良く、赤外線センサ３２は、サーモパイル型に限られない。

測距離装置１４は、対象物２に向けて出力された超音波が対象物２から反射して戻ってくる時間から距離を算出する超音波距離測定装置１４であり、第１のカメラ部１１が撮影する第１の画像データ２１に含まれる対象物２までの距離を測定するようにセットされている。多くの場合は、第１の画像データ２１の中央、すなわち、第１の光学系４１の入射側の光軸の延長上に位置する物体が測定対象物２であり、超音波距離測定装置１４はその物体２までの距離を計測する。また、出力装置１が、可視光の画像データ２２に基づき、表示あるいは出力する画像データの領域を決定する場合は、第２の画像データ２２の中央、すなわち、第３の光学系４３の入射側の光軸の延長上に位置する物体が測定対象物２であり、超音波距離測定装置１４はその物体２までの距離を計測する。測距離装置１４は超音波式のものに限られない。第１のカメラ部１１または第２のカメラ部１２がオートフォーカス機能を搭載していれば、物体２に焦点が合った状態から物体２までの距離を得ることも可能であり、そのオートフォーカス機能を測距離装置１４として利用することができる。逆に、超音波距離測定装置１４により測定された物体２までの距離に基づいて、第１のカメラ部１１および第２のカメラ部１２の焦点を自動調整しても良い。

図２に、第１のカメラ部１１、第２のカメラ部１２および放射温度計１３の光学系の入射側の光軸を示してある。また、図３に、第１のカメラ部１１により得られる第１の画像データ２１と、第２のカメラ部１２により得られる第２の画像データ２２と、放射温度計１３により測定される領域ＲＡとの関係を示してある。図２に示すように、本例の出力装置１においては、各々の光学系４１、４２および４３は相互に固定され、出力装置１が最も多く使用される条件、たとえば、対象物２までの距離が数ｍの状態（状態Ｐ０）ときに、第１の画像２１の中心位置２１ｃと、第２の画像２２の中心位置２２ｃが一致し、さらに、第１の画像２１の中心の領域が放射温度計１３により温度測定している領域ＲＡとなるようにしている（図３（ａ）に示した状態）。したがって、第１のカメラ部１１の光学系４１の入射側４１ａの光軸Ｌ１に対して、放射温度計１３の光学系４２の入射側４２ａの光軸Ｌ２は若干角度のある状態で固定されている。同様に、第２のカメラ部１２の光学系４３の入射側４３ａの光軸Ｌ３も、第１のカメラ部１１の光学系４１の入射側４１ａの光軸Ｌ１に対して、若干傾いた状態で固定されている。

このため、対象物２までの距離が状態Ｐ０と異なる状態、たとえば、対象物２までの距離が近い状態（状態Ｐ１）になると、放射温度計１３が温度測定している領域ＲＡは、第１の画像２１の中心２１ｃからずれてしまい、第２の画像２２の中心２２ｃも第１の画像２１の中心２１ｃからずれてしまう（図３（ｂ）に示した状態）。したがって、出力装置１では、超音波距離測定ユニット１４により計測された対象物２までの距離Ｘにより、制御ユニット１５が、放射温度計１３が温度測定している領域ＲＡのサイズおよび位置と、第１の画像２１のサイズおよび中心２１ｃの位置と、第２の画像２２のサイズおよび中心２２ｃの位置との関係を判断し、それに基づいて画像処理を行い、所望の画像を出力できるようにしている。

図４に、制御ユニット１５の機能の概略構成をブロック図により示してある。制御ユニット１５は、適当な能力のＣＰＵ、画像処理用のＡＳＩＣ、メモリなどを備えたハードウェアにより実現される。機能的には、制御ユニット１５は、第１の画像データ２１および第２の画像２２を記憶するメモリ３９と、測距離装置１４により得られた距離Ｘを利用して、放射温度計１３が測定している基準領域ＲＡの画像データ２１における位置を、予めセットされた関数またはルックアップテーブルを用いた演算処理により求める第１の位置特定部３５と、放射温度計１３から得られる基準温度Ｔ０により、第１の画像２１の基準領域ＲＡの温度分布をセットすると共に、第１の画像２１における基準領域ＲＡとの赤外線の相対強度により他の領域を温度分布表示に変更して温度分布画像２０を生成する第１の画像処理部３６とを備えている。第１の位置特定部３５は距離Ｘにより基準領域ＲＡの位置を算出すると共に、第１の画像２１の上の基準領域ＲＡの面積も算出する。

第１の画像処理部３６は、第１の位置特定部３５により求められた基準領域ＲＡの位置および面積Ｚ１とにより、その基準領域ＲＡが基準温度Ｔ０の温度分布となる画像データ２０を生成する第１の機能３６ａと、基準領域ＲＡとの赤外線の相対強度により他の領域を温度分布表示に変更して、画像データ２０を第１の画像データ２１に相当する領域の温度分布画像を表示する画像データにする第２の機能３６ｂとを備えている。第１の機能３６ａにおいては、第１の画像データ２１の基準領域ＲＡに温度分布を示す赤外線の強度分布が見られるときは、基準領域ＲＡの平均温度が基準温度Ｔ０になるような温度分布を求めて基準領域ＲＡに温度分布画像をセットする。第２の機能３６ｂにおいては、第１の画像データ２１の基準領域ＲＡの赤外線の平均強度と、他の領域の赤外線の強度分布とを比較し、予め設定された赤外線の強度比と温度比の関数あるいはルックアップテーブルに基づき、赤外線の強度分布を示す赤外線画像２１を、温度分布を示す画像２０に変換する。

制御ユニット１５は、さらに、測距離装置１４で測定された距離Ｘにより、第１の画像２１における第２の画像２２のセンター２２ｃの位置を予めセットされた関数あるいはルックアップテーブルを利用して演算により求める第２の位置特定部３７と、第１の画像２１から求められた温度分布画像２０のセンターに可視光の画像２２のセンター２２ｃを一致するように重ね合わせた画像データ１９を生成する第２の画像処理部３８とを備えている。第２の位置特定部３７により求められた第２の画像２２のセンター２２ｃの位置により、第１の画像２１と第２の画像２２との相対位置が把握される。また、第２の位置特定部３７は、距離Ｘにより第２の画像２２の倍率も算出可能である。第２の画像処理部３８は、第２の位置特定部３７により求められた相対位置および倍率Ｚ２により、温度分布画像２０と第２の画像２２を重ねた画像１９を生成する。第１の画像処理部３６および第２の画像処理部３８は、それぞれが生成した画像データ２０および１９をメモリ３９に出力したり、表示パネル１６に表示したり、インターフェイスを介して外部装置に出力することも可能である。また、ネットワークアダプタがあれば、インターネットなどのコンピュータネットワークに出力することも可能である。

図５に温度分布を含む画像の出力装置１の処理として、対象物２を含む温度分布画像２０を生成し、さらに可視光の画像と重ねあわせた画像１９を生成する処理をフローチャートを用いて示してある。まず、ステップ５１において、画像をリフレッシュするタイミングになると、ステップ５２において、第１のカメラ部１１により第１の画像２１を取得し、第２のカメラ部１２により第２の画像２２を取得し、放射温度計１３により基準温度Ｔ０を取得し、測距離装置１４により対象物２までの距離Ｘを取得する。ステップ５３において、第１の位置特定部３５により、測定された対象物２までの距離Ｘから、第１の画像２１において、放射温度計１３により温度が測定されている基準領域ＲＡの位置および基準領域ＲＡの面積を求める。第１のカメラ部１１の入射側の光軸Ｌ１に対して、放射温度計１３の入射側の光軸Ｌ２が固定されているので、第１の画像２１における基準領域ＲＡの位置および大きさＺ１は、距離Ｘの関数となり、ステップ５３における演算は予め設定された関数あるいはルックアップテーブルを用いることにより高速に処理することができる。

次に、ステップ５４において、第１の画像処理部３６により、第１の画像２１を温度分布画像２０に変換する。第１のカメラ部１１のイメージセンサ３１により得られた画像２１は、赤外線の相対的な強度分布を反映した画像になっているが、赤外線の絶対的な強度は不明である。さらに、鮮明な画像データを取得するために、イメージセンサ３１に付随して設けられる増幅器などの機能により、ゲインが自動調整されるようになっており、第１の画像２１は、データを取得したときの相対強度分布を反映したものとなり、時間の経過によって画面の濃淡と赤外線強度とが一致しないことが多い。したがって、ステップ５４においては、まず、第１の画像データ２１の基準領域ＲＡに、温度分布を示す赤外線の強度分布が見られるときは、基準領域ＲＡを、その平均温度が基準温度Ｔ０になるような温度分布に変換する。さらに、第１の画像データ２１の基準領域ＲＡの赤外線の平均強度と、他の領域の赤外線の強度分布とを比較し、予め設定された赤外線の強度比と温度比の関数あるいはルックアップテーブルに基づき、赤外線の強度分布を示す赤外線画像２１を、温度分布を示す画像２０に変換する。

この画像処理を、画面をリフレッシュする都度、行うことにより、ゲインが自動調整されても、そのリフレッシュするタイミングで得られた基準温度Ｔ０により温度を反映した温度分布の画像に変換することが可能となる。したがって、赤外線の強度分布を示す画像データが得られれば、それを精度の高い温度分布画像に変換して出力することができる。温度分布画像は、温度を色の相違や、濃淡で表示することが可能である。また、等温線を付加するなどの画像処理もこの段階で行うことが可能である。また、温度分布を２次元のデータとして保存し、温度分布の画像表示方式は、その都度、選択できるようにしても良い。

次に、ステップ５５において、第２の位置特定部３７により、対象物２までの距離Ｘから第１の画像２１と第２の画像２２との相対位置を算出する。それと共に距離Ｘにより画像２２の倍率が変動するようであれば、それも合わせて算出する。第１のカメラ部１１の入射側の光軸Ｌ１に対して、第２のカメラ部１２の入射側の光軸Ｌ３が固定されているので、第１の画像２１における第２の画像２２の位置および倍率Ｚ２は、距離Ｘの関数となり、ステップ５３における処理と同様に、ステップ５５における演算処理は予め設定された関数あるいはルックアップテーブルを用いることにより高速に処理することができる。

次に、ステップ５６において、第２の画像処理部３８により、温度分布画像２０と可視光の画像２２から、それらを重ね合わせた画像１９を生成する。重ね合わせ方は様々であり、ユーザが適当に選択できる。可視光の画像からエッジデータを選択して色付きの温度分布画像に重ね合わせても良いし、可視光の画像のコントラストを下げて、単純に温度分布画像と重ね合わせることも可能である。また、時分割で温度分布画像と可視光画像とを表示することにより、実質的に重ね合わせたイメージをユーザに提供することも可能である。

図５に示した画像処理は、出力装置１の制御ユニット１５で行うことも可能であるが、メモリ３９に出力されるデータを用いてパーソナルコンピュータなどのホスト装置の側で行うことも可能である。したがって、図５に示した画像処理を、各ステップを実行する命令を有するプログラムとしてＣＤ−ＲＯＭなどの適当な記録媒体に記録して提供することが可能である。また、インターネットなどのコンピュータネットワークを介して提供することも可能である。

このように、出力装置１では、画像データを取得する赤外線センサ３１の光学系４１と、基準となる温度を取得する赤外線センサ３２の光学系４２を独立させたことにより、それぞれの目的に適した異なる特性の赤外線センサを利用することが可能となる。このため、画像データを取得するセンサとしては、低コストで信頼性が高く、さらに、デジタルカメラなどとして技術開発が進んでいるセンサを利用して、低コストのサーモグラフィ装置を実現できる。一方、基準温度を取得するための赤外線センサとして、赤外線の感度の高いセンサを用いることが可能となり、さらに、光学系を分離したことにより、放射温度計と同じ光学系を適用でき、ノイズを最小限に抑えて精度の高い温度測定が可能となる。したがって、これらを組み合わせることにより、低コストで温度測定精度の高いサーモグラフィ装置１を提供できる。本発明によりサーモグラフィ画像を取得するために適用可能となるＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを用いた構成であれば、従来、数百万円台と非常にコストの高かったサーモグラフィ装置の価格を飛躍的に下げることが可能になり、プリント基板などの温度分布を非接触で測定可能な低コストのサーモグラフィ装置を提供できる。

ポイントで得られる基準温度により、イメージセンサの２次元画像を温度分布画像に変換する処理は、それぞれの光学系の入射側の光軸を固定することにより、演算処理により行うことが可能であり、近年、低コストで高機能化しているデジタル処理デバイスを用いて実行できる。したがって、この点でも低コストで処理速度の速いサーモグラフィ装置を提供できる。ポイントで得られる基準温度により、イメージセンサの２次元画像を温度分布画像に変換する処理は、それぞれの光学系の入射側の光軸を動かすことによっても実現できる。その場合も、マニュアルで光軸を適当に制御することは面倒であり、対象物までの距離が変わるたびに調整することも面倒である。したがって、測定対象物までの距離により自動的に光軸を調整する駆動装置を付加することが望ましい。

なお、上記では赤外線のイメージセンサおよび可視光のイメージセンサとして２次元画像が得られるものを例に説明しているが、本発明を複数のイメージセンサを用いて立体画像が得られるシステムに適用することも可能であり、得られる画像は２次元画像に限られるものではない。

本発明を適用した温度分布を含む画像の出力装置の概略を示す図である。 第１のカメラ部、第２のカメラ部および放射温度計により対象物を温度測定する様子を示す図である。 第１の画像、第２の画像および基準領域の関係を示す図である。 制御ユニットの概略の機能構成を示す図である。 出力装置における処理を示すフローチャートである。

符号の説明

１ 温度分布を含む画像の出力装置
１３ 放射温度計
１４ 測距離装置
１５ 制御ユニット
２１ 熱画像（第１の画像）
２２ 画像（第２の画像）
３１ 第１の赤外線センサ
３２ 第２の赤外線センサ
３５ 第１の位置特定部
３６ 第１の画像処理部
３７ 第２の位置特定部
３８ 第２の画像処理部
４１ 第１の光学系
４２ 第２の光学系
ＲＡ 基準領域
Ｌ１〜Ｌ３ 光軸

Claims (19)

1. 少なくとも２次元で赤外線を検出可能な第１の赤外線センサと、その第１の赤外線センサへ赤外線を導く第１の光学系と、
   温度を測定可能な第２の赤外線センサと、その第２の赤外線センサへ赤外線を導く第２の光学系と、
   前記第１の赤外線センサにより得られる第１の画像上における前記第２の赤外線センサが温度を測定する基準領域を定める手段と、
   前記第２の赤外線センサにより測定される基準温度により、前記第１の画像の前記基準領域の温度分布をセットし、前記基準領域との赤外線の相対強度により他の領域を温度分布表示に変更して温度分布画像を生成する手段とを有する温度分布を含む画像の出力装置。
2. 請求項１において、前記第１の赤外線センサにより温度分布を測定しようとしている対象物までの距離を測定する測距離装置を有し、
   前記基準領域を定める手段は、前記対象物までの距離により、前記第１の画像上における前記基準領域を定める、温度分布を含む画像の出力装置。
3. 請求項２において、前記第２の光学系は、その入射側の光軸が、前記第１の光学系の入射側の光軸に対して固定されており、
   前記基準領域を定める手段は、演算処理により前記基準領域を定める、温度分布を含む画像の出力装置。
4. 請求項２において、前記第２の光学系の入射側の光軸を動かす第１の駆動手段を有し、
   前記基準領域を定める手段は、前記第１の画像上における前記基準領域の位置が一定になるように前記第１の駆動手段を制御する、温度分布を含む画像の出力装置。
5. 請求項１において、少なくとも２次元で可視光を検出可能な撮像素子と、その撮像素子に可視光を導く第３の光学系と、
   前記第１の赤外線センサにより得られる前記第１の画像に対する前記撮像素子により得られる第２の画像の相対位置を定める手段と、
   前記相対位置に基づいて、前記温度分布画像と前記第２の画像を重ねて出力する手段とを有する温度分布を含む画像の出力装置。
6. 請求項２において、少なくとも２次元で可視光を検出可能な撮像素子と、その撮像素子に可視光を導く第３の光学系と、
   前記対象物までの距離により、前記第１の赤外線センサにより得られる前記第１の画像に対する前記撮像素子により得られる第２の画像の相対位置を定める手段と、
   前記相対位置に基づいて、前記温度分布画像と前記第２の画像を重ねた画像を生成する手段とを有する温度分布を含む画像の出力装置。
7. 請求項６において、前記第３の光学系は、その入射側の光軸が、前記第１の光学系の入射側の光軸に対して固定されており、
   前記相対位置を定める手段は、演算処理により前記相対位置を定める、温度分布を含む画像の出力装置。
8. 請求項６において、前記第３の光学系の入射側の光軸を動かす第２の駆動手段を有し、
   前記相対位置を定める手段は、前記相対位置が一定になるように前記第２の駆動手段を制御する、温度分布を含む画像の出力装置。
9. 請求項１において、前記第１の赤外線センサは、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサである温度分布を含む画像の出力装置。
10. 請求項１において、放射温度計を有し、この放射温度計は、前記第２の赤外線センサおよび前記第２の光学系を含んでいる、温度分布を含む画像の出力装置。
11. 請求項２において、前記測距離装置は超音波距離測定装置または自動焦点調整装置である、温度分布を含む画像の出力装置。
12. 少なくとも２次元で赤外線を検出可能な第１の赤外線センサと、その第１の赤外線センサへ赤外線を導く第１の光学系と、温度を測定可能な第２の赤外線センサと、その第２の赤外線センサへ赤外線を導く第２の光学系と、前記第１の赤外線センサにより温度分布を測定しようとしている対象物までの距離を測定する測距離装置とを有する温度分布を含む画像の出力装置の制御方法であって、
    前記対象物までの距離により、前記第１の赤外線センサにより得られる第１の画像上における前記第２の赤外線センサが温度を検出する基準領域を定める工程と、
    前記第２の赤外線センサにより測定される基準温度により、前記第１の画像の前記基準領域の温度分布をセットし、前記基準領域との赤外線の相対強度により他の領域を温度分布表示に変更して温度分布画像を生成する工程とを有する温度分布を含む画像の出力装置の制御方法。
13. 請求項１２において、前記第２の光学系は、その入射側の光軸が、前記第１の光学系の入射側の光軸に対して固定されており、
    前記基準領域を定める工程では、演算処理により前記基準領域を定める、温度分布を含む画像の出力装置の制御方法。
14. 請求項１２において、前記出力装置は、少なくとも２次元で可視光を検出可能な撮像素子と、その撮像素子に可視光を導く第３の光学系とを有し、
    前記対象物までの距離により、前記第１の赤外線センサにより得られる前記第１の画像に対する前記撮像素子により得られる第２の画像の相対位置を定める工程と、
    前記相対位置に基づいて、前記温度分布画像と前記第２の画像を重ねた画像を生成する工程とを有する温度分布を含む画像の出力装置の制御方法。
15. 請求項１４において、前記第３の光学系は、その入射側の光軸が、前記第１の光学系の入射側の光軸に対して固定されており、
    前記相対位置を定める工程では、演算処理により前記相対位置を定める、温度分布を含む画像の出力装置の制御方法。
16. 少なくとも２次元で赤外線を検出可能な第１の赤外線センサにより得られる第１の画像上における、温度を測定可能な第２の赤外線センサが温度を検出する基準領域を、前記第１の赤外線センサにより温度分布を測定しようとしている対象物までの距離により定める第１の工程と、
    前記第２の赤外線センサにより測定される基準温度により、前記第１の画像の前記基準領域の温度分布をセットし、前記基準領域との赤外線の相対強度により他の領域を温度分布表示に変更して温度分布画像を生成する第２の工程とをコンピュータで実行可能な命令を有するプログラム。
17. 請求項１６において、前記第２の赤外線センサに赤外線を導く第２の光学系は、その入射側の光軸が、前記第１の赤外線センサに赤外線を導く第１の光学系の入射側の光軸に対して固定されており、
    前記第１の工程では、演算処理により前記基準領域を定める、プログラム。
18. 請求項１６において、少なくとも２次元で可視光を検出可能な撮像素子により得られる第２の画像の、前記第１の画像に対する相対位置を、前記対象物までの距離により定める第３の工程と、
    前記相対位置に基づいて、前記温度分布画像と前記第２の画像を重ねた画像を生成する第４の工程とをコンピュータで実行可能な命令をさらに有するプログラム。
19. 請求項１８において、前記撮像素子に可視光を導く第３の光学系は、その入射側の光軸が、前記赤外線センサに赤外線を導く第１の光学系の入射側の光軸に対して固定されており、
    前記第３の工程では、演算処理により前記相対位置を定める、プログラム。
    
    

Images