JP2020187557A - 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム - Google Patents

Abstract

【課題】装置の設置および調整の作業に煩わされることなく、また、対象物を特定する処理を行うことなく、対象物の温度状態を簡易に確認できるようにする。【解決手段】３Ｄカメラ１３で取得した３次元情報に基づいて、サーマルカメラ１２（赤外線カメラ）で取得した温度画像上の位置と、高解像度カメラ１４（可視光カメラ）で取得した可視画像上の位置とを対応付ける対応付け情報を生成し、この対応付け情報に基づいて温度画像を画像処理し、処理済みの温度画像および可視画像をタッチパネルディスプレイ１１に並べて表示する。【選択図】図３

Description

本発明は、対象物を撮影して取得した温度画像を表示する温度画像表示装置、温度画像表示システムおよび温度画像表示プログラムに関するものである。

各種の建造物や設備の保守点検の際に、赤外線カメラで対象物を撮影して対象物の温度を測定することで異常を発見する方法が広く普及している。このような赤外線カメラを用いた温度測定では、容易に近づけない場所や奥まった場所でも、対象物に触れることなく簡単に温度を測定することができる。また、赤外線カメラで取得した温度画像を表示することで、対象物の温度分布状況をユーザが目視で確認することができる。

このような赤外線カメラを用いた温度測定の技術として、従来、赤外線カメラとステレオカメラ（可視光カメラ）とを位置合わせした上で、測定の対象物を撮影し、ステレオカメラで取得した距離画像上で対象物を特定して、その対象物を含む領域を、赤外線カメラで取得した熱画像から抽出して、温度状態の判定に用いる技術が知られている（特許文献１参照）。

特開２００２−３６６９５３号公報

しかしながら、従来の技術は、対象物の温度を適切に測定できるように、ユーザが複数のカメラなどの装置を適所に設置して、その装置の調整を行う必要があり、また、温度測定の対象物を特定する処理を行う必要があり、測定結果を得るために手間がかかるという問題があった。

そこで、本発明は、装置の設置および調整の作業に煩わされることなく、また、対象物を特定する処理を行うことなく、対象物の温度状態を簡易に確認することができる温度画像表示装置、温度画像表示システムおよび温度画像表示プログラムを提供することを主な目的とする。

本発明の温度画像表示装置は、対象物を撮影して取得した温度画像を表示する温度画像表示装置であって、前記温度画像と、３次元情報と、可視画像と、を取得する２以上のカメラと、ディスプレイと、プロセッサと、を備え、前記プロセッサは、前記カメラで取得した３次元情報に基づいて、前記カメラで取得した前記温度画像上の位置と、前記カメラで取得した可視画像上の位置とを対応付ける対応付け情報を生成し、前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、処理済みの前記温度画像および前記可視画像を前記ディスプレイに並べて表示する構成とする。

また、本発明の温度画像表示システムは、対象物を撮影して取得した温度画像を表示する温度画像表示システムであって、温度画像表示装置と、この温度画像表示装置とネットワークを介して通信を行うサーバ装置と、を有し、前記温度画像表示装置は、２以上のカメラを用いて取得した、前記温度画像と、可視画像と、３次元情報と、を前記サーバ装置に送信し、前記サーバ装置は、前記３次元情報に基づいて、前記温度画像上の位置と前記可視画像上の位置とを対応付ける対応付け情報を生成し、前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、処理済みの前記温度画像および前記可視画像を前記温度画像表示装置に送信し、前記温度画像表示装置は、処理済みの前記温度画像および前記可視画像をディスプレイに並べて表示する構成とする。

また、本発明の温度画像表示プログラムは、対象物を撮影して取得した温度画像を表示する処理をコンピュータに実行させるための温度画像表示プログラムであって、前記対象物を撮影して取得された、前記温度画像と、３次元情報と、可視画像と、を入力し、前記３次元情報に基づいて、前記温度画像上の位置と、前記可視画像上の位置とを対応付ける対応付け情報を生成し、前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、処理済みの前記温度画像および前記可視画像をディスプレイに並べて表示する構成とする。

本発明によれば、温度画像が、可視画像と同一の視点から見た状態に変換され、温度画像と可視画像とで被写体の像が同じ状態で表示されるため、ユーザが温度画像と可視画像とを対比することで、対象物の温度状態を詳細にかつ簡単に観察することができる。これにより、装置の設置および調整の作業に煩わされることなく、また、対象物を特定する処理を行うことなく、対象物の温度状態を簡易に確認することができる。

第１実施形態に係るタブレット端末１の正面図および背面図 タブレット端末１の概略構成を示すブロック図 タブレット端末１のプロセッサ１７で行われる処理の概要を示す説明図 プロセッサ１７で行われる対応付け処理の概要を示す説明図 二重に対応付けられた対応点の一例を示す説明図 二重対応付け除去処理の要領を示す説明図 タブレット端末１のタッチパネルディスプレイ１１に表示される画面 タブレット端末１のタッチパネルディスプレイ１１に表示される画面 タブレット端末１のタッチパネルディスプレイ１１に表示される画面 タブレット端末１のタッチパネルディスプレイ１１に表示される画面 タブレット端末１のタッチパネルディスプレイ１１に表示される画面 第２実施形態に係る温度画像表示システムの全体構成図

前記課題を解決するためになされた第１の発明は、対象物を撮影して取得した温度画像を表示する温度画像表示装置であって、前記温度画像と、３次元情報と、可視画像と、を取得する２以上のカメラと、ディスプレイと、プロセッサと、を備え、前記プロセッサは、前記カメラで取得した３次元情報に基づいて、前記カメラで取得した前記温度画像上の位置と、前記カメラで取得した可視画像上の位置とを対応付ける対応付け情報を生成し、前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、処理済みの前記温度画像および前記可視画像を前記ディスプレイに並べて表示する構成とする。

これによると、温度画像が、可視画像と同一の視点から見た状態に変換され、温度画像と可視画像とで被写体の像が同じ状態で表示されるため、ユーザが温度画像と可視画像とを対比することで、対象物の温度状態を詳細にかつ簡単に観察することができる。これにより、装置の設置および調整の作業に煩わされることなく、また、対象物を特定する処理を行うことなく、対象物の温度状態を簡易に確認することができる。

また、第２の発明は、前記３次元情報を取得するカメラと前記可視画像を取得するカメラとを兼用する構成とする。

これによると、３次元カメラとは別に可視光カメラを用意する必要がなく、温度画像表示装置の構成を簡素化してコストを削減することができる。

また、第３の発明は、前記プロセッサは、前記カメラでリアルタイムに撮影した前記温度画像および前記可視画像を前記ディスプレイに表示する撮影モードと、メモリに記憶された前記温度画像および前記可視画像を前記ディスプレイに表示する閲覧モードとを切り替える操作ボタンを、前記ディスプレイに表示する構成とする。

これによると、撮影モードと閲覧モードとを容易に切り替えることができるため、ユーザの利便性を高めることができる。

また、第４の発明は、前記プロセッサは、前記温度画像に対して、前記可視画像と同一の画素数となるように画素を補間する処理を行い、処理済みの前記温度画像を前記ディスプレイに表示する構成とする。

これによると、温度画像が可視画像と同一の画素数になり、温度画像と可視画像とで被写体の像が同じ大きさで表示されるため、温度画像と可視画像との対比が容易になる。

また、第５の発明は、前記プロセッサは、前記温度画像に対して、前記可視画像から生成したエッジ画像を重畳する処理を行い、処理済みの前記温度画像を前記ディスプレイに表示する構成とする。

これによると、温度画像において物体の輪郭が明瞭になるため、ユーザが物体の詳細な状態を把握しやすくなる。

また、第６の発明は、前記プロセッサは、前記温度画像および前記可視画像の少なくとも一方に、測定点の位置を表す標識画像を合成して前記ディスプレイに表示する構成とする。

これによると、測定点の位置をユーザが容易に確認することができる。

また、第７の発明は、前記標識画像は、温度情報および距離情報の少なくとも１つを含む構成とする。

これによると、測定点の温度や２点間の距離をユーザが容易に確認することができる。

また、第８の発明は、対象物を撮影して取得した温度画像を表示する温度画像表示システムであって、温度画像表示装置と、この温度画像表示装置とネットワークを介して通信を行うサーバ装置と、を有し、前記温度画像表示装置は、２以上のカメラを用いて取得した、前記温度画像と、可視画像と、３次元情報と、を前記サーバ装置に送信し、前記サーバ装置は、前記３次元情報に基づいて、前記温度画像上の位置と前記可視画像上の位置とを対応付ける対応付け情報を生成し、前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、処理済みの前記温度画像および前記可視画像を前記温度画像表示装置に送信し、前記温度画像表示装置は、処理済みの前記温度画像および前記可視画像をディスプレイに並べて表示する構成とする。

これによると、第１の発明と同様に、装置の設置および調整の作業に煩わされることなく、また、対象物を特定する処理を行うことなく、対象物の温度状態を簡易に確認することができる。

また、第９の発明は、対象物を撮影して取得した温度画像を表示する処理をコンピュータに実行させるための温度画像表示プログラムであって、前記対象物を撮影して取得された、前記温度画像と、３次元情報と、可視画像と、を入力し、前記３次元情報に基づいて、前記温度画像上の位置と、前記可視画像上の位置とを対応付ける対応付け情報を生成し、前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、処理済みの前記温度画像および前記可視画像をディスプレイに並べて表示する構成とする。

これによると、第１の発明と同様に、装置の設置および調整の作業に煩わされることなく、また、対象物を特定する処理を行うことなく、対象物の温度状態を簡易に確認することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
まず、本実施形態に係るタブレット端末１の外観について説明する。図１は、タブレット端末１の正面図および背面図である。

このタブレット端末１（温度画像表示装置、コンピュータ）は、図１（Ａ）に示すように、正面側にタッチパネルディスプレイ１１（ディスプレイ）を備えている。また、図１（Ｂ）に示すように、タブレット端末１は、背面側にサーマルカメラ１２（赤外線カメラ）と、３Ｄカメラ１３（可視光カメラ）と、高解像度カメラ１４（可視光カメラ）と、を備えている。

タッチパネルディスプレイ１１は、表示パネルとタッチパネルとを一体化したものであり、温度画像表示アプリケーションの画面を表示するとともに、ユーザによる画面操作を検知する。

サーマルカメラ１２は、赤外線センサ（遠赤外線撮像素子）を備えており、遠赤外線の強弱を検知することで被写体の温度を計測し、被写体の温度に関する情報が画素単位で格納された温度画像を出力する。

３Ｄカメラ１３は、左右に２つの可視光センサ（可視光撮像素子）を備えたステレオカメラであり、内部のプロセッサ（図示せず）が、左右の可視光センサから出力される左右の可視画像に基づいて、両者の視差によるステレオ測距を行い、３次元情報（被写体の３次元位置情報）、具体的には、被写体までの距離に関する情報が画素単位で格納された距離画像を生成する。なお、３Ｄカメラ１３は、ステレオ測距の精度を高めるために、近赤外線による所定パターンを投影する赤外線プロジェクタを備えている。すなわち、この所定パターンを用いたキャリブレーションにより、左右の可視光センサの検出結果（撮影画像）に基づくステレオ測距の精度を高めることができる。また、３Ｄカメラ１３の可視光センサは、主に可視光領域を検出する特性のものであるが、赤外線カットフィルタが設けられておらず、近赤外線領域も検出可能である。

高解像度カメラ１４は、３Ｄカメラ１３より高解像度な１つの可視光センサ（可視光撮像素子）を備えており、高解像度な可視画像（カラー画像）を出力する。

なお、本実施形態では、高解像度カメラ１４を設けて、この高解像度カメラ１４で生成した高解像度の可視画像をタッチパネルディスプレイ１１に表示するようにしたが、３Ｄカメラ１３が高解像度カメラ１４を兼用することで、高解像度カメラ１４を省略して、３Ｄカメラ１３で生成した左右の可視画像の一方をタッチパネルディスプレイ１１に表示するようにしてもよい。

次に、タブレット端末１の概略構成について説明する。図２は、タブレット端末１の概略構成を示すブロック図である。

タブレット端末１は、タッチパネルディスプレイ１１と、サーマルカメラ１２と、３Ｄカメラ１３と、高解像度カメラ１４と、メモリ１６と、プロセッサ１７と、を備えている。

メモリ１６は、プロセッサ１７で実行される温度画像表示アプリケーションのプログラムを記憶する。また、メモリ１６は、サーマルカメラ１２から出力される温度画像や、高解像度カメラ１４から出力される可視画像や、プロセッサ１７で処理された温度画像および可視画像を記憶する。また、メモリ１６は、キャリブレーション情報や、画像変換のための対応付け情報を記憶する。

プロセッサ１７は、メモリ１６に記憶された温度画像表示アプリケーションのプログラムを実行することで温度画像表示に係る各種の処理を行う。本実施形態では、プロセッサ１７が、対応付け、画像補正、トリミング、エッジ抽出、およびエッジ重畳の各処理を行う。

なお、タブレット端末１で対象物を撮影した際に、撮影画像（温度画像および可視画像）の他に、撮影ポイントの位置情報や、撮影画像に基づく対象物の診断結果（異常の有無など）に関する情報を、測定履歴としてメモリ１６に蓄積するようにしてもよい。この場合、ＧＰＳ（Global Positioning System）などの測位システムを利用してタブレット端末１の位置を測定する測位センサをタブレット端末１に設けて、撮影ポイントの位置情報を取得すればよい。

また、撮影ポイントの位置情報の他に、撮影方位や撮影角度（アングル）などの撮影条件に関する情報を、設定情報としてメモリ１６に保存して、同じ対象物を再度撮影する際に、メモリ１６に保存された設定情報を読み出して、その設定情報と同じ撮影条件に設定されるようにユーザを案内するようにしてもよい。これにより、簡単に前回と同じ撮影条件で撮影を行うことができる。この場合、撮影方位、すなわちタブレット端末１の向きを検出する方位センサ（コンパス）や、撮影角度、すなわちタブレット端末１の姿勢を検出するジャイロセンサをタブレット端末１に設けるとよい。

次に、タブレット端末１のプロセッサ１７で行われる処理について説明する。図３は、タブレット端末１のプロセッサ１７で行われる処理の概要を示す説明図である。

プロセッサ１７では、まず、３Ｄカメラ１３から出力される３次元情報と、メモリ１６に保存されたキャリブレーション情報、具体的には、サーマルカメラ１２と高解像度カメラ１４との位置関係に関する情報などに基づいて、温度画像上の位置と可視画像上の位置とを対応付ける対応付け情報を生成する（対応付け処理）。

この対応付け処理では、対応点設定、二重対応付け除去、および補間点設定の各処理が行われる。

対応点設定処理では、３次元情報とキャリブレーション情報とに基づいて、各３次元情報に対応する、温度画像上の対応点の座標値と、可視画像上の対応点の座標値を取得する。この処理は、射影変換による視差補正であり、対応点の座標値に基づいて、温度画像を、可視画像の視点から見た画像に変換することができる。

二重対応付け除去処理では、３Ｄカメラ１３から出力される３次元情報に基づいて、手前側に存在する物体の陰に隠れて後側の物体が見えなくなる遮蔽（オクルージョン）により、二重に対応付けられた対応点を、対応点設定処理により取得した対応点の中から探索し、不適切な対応点、具体的には、３Ｄカメラ１３からは見えるがサーマルカメラ１２からは見えなくなる位置関係の対応点と、３Ｄカメラ１３からは見えるが高解像度カメラ１４からは見えなくなる位置関係の対応点と、高解像度カメラ１４からは見えるがサーマルカメラ１２からは見えなくなる位置関係の対応点と、を除去する。

補間点設定処理では、温度画像を画素補間により可視画像と同一の画素数になるように拡大変換するため、温度画像と可視画像との画素数の比率に応じた拡大率に基づいて、対応点設定処理により取得した対応点の間を補間する補間点の座標値を取得する。

次に、プロセッサ１７では、対応付け処理で取得した対応付け情報に基づいて、サーマルカメラ１２から出力される元の温度画像に対して画像補正処理を行い、表示用の温度画像を生成して、タッチパネルディスプレイ１１に表示する。この画像補正処理では、元の温度画像を、表示用の可視画像と同一の視点から見た状態で、かつ、表示用の可視画像と同一の大きさ（画素数）となる画像に変換する。

また、プロセッサ１７では、高解像度カメラ１４から出力される元の可視画像に対して、温度画像の撮影領域に対応する可視画像の範囲を求めるために、温度画像の画像補正情報（対応付け情報）を参照し、温度画像の撮影領域に対応する範囲を切り出すトリミングを行い、表示用の可視画像を生成して、タッチパネルディスプレイ１１に表示する。なお、元の可視画像に対するトリミングの後に縮小して表示用の可視画像を生成するようにしてもよい。なお、本実施形態では、高解像度カメラ１４が広角に設定され、サーマルカメラ１２より広い範囲を撮影するため、温度画像の撮影範囲に対応するように可視画像のトリミングを行う。

また、プロセッサ１７では、ユーザによるエッジ重畳の指示が行われると、表示用の可視画像からエッジ（輪郭）を抽出するエッジ抽出処理を行い、エッジ画像を生成する。そして、表示用の温度画像にエッジ画像を重畳するエッジ重畳処理を行い、エッジ重畳済みの温度画像を生成して、タッチパネルディスプレイ１１に表示する。

タッチパネルディスプレイ１１では、画像表示画面（図８など参照）が表示され、この画面では、温度画像と可視画像とが並べて表示される。これにより、温度画像と可視画像とを対比することで、対象物の温度状態を詳細にかつ簡単に観察することができる。

この他に、プロセッサ１７では、３Ｄカメラ１３から出力される３次元情報に基づいて、ユーザが指定した２点間の距離を測定する距離測定処理が行われる。

次に、プロセッサ１７で行われる対応付け処理について説明する。図４は、プロセッサ１７で行われる対応付け処理の概要を示す説明図である。

本実施形態では、温度画像と可視画像とを並べて表示するが、温度画像と可視画像とで被写体の位置や大きさがずれていると、温度画像と可視画像との対比が面倒になる。そこで、本実施形態では、画像補正処理により、元の温度画像を、表示用の可視画像と同一の視点から見た状態で、かつ、表示用の可視画像と同一の大きさ（画素数）となる画像に変換して、表示用の温度画像を生成する。

この画像補正処理は、温度画像上の点と可視画像上の点とを対応付ける対応付け情報に基づいて行われる。対応付け情報は、温度画像上の各点が可視画像のどの点に対応するかを指定するものであり、温度画像上の座標値と可視画像上の座標値との対応関係を表す２次元配列情報である。なお、対応付け情報は、温度画像の座標を基準とした可視画像の座標でもよく、逆に、可視画像の座標を基準とした温度画像の座標としてもよい。

次に、プロセッサ１７で行われる二重対応付け除去処理について説明する。図５は、二重に対応付けられた対応点の一例を示す説明図である。図６は、二重対応付け除去処理の要領を示す説明図である。ここで、図５（Ａ），図６（Ａ）は、カメラと被写体としての物体との位置関係を示す平面図である。図５（Ｂ），図６（Ｂ）には、カメラで撮影した画像および補正済みの画像を示す。ここで、第１のカメラは、対応付けの基準となる画像を撮影するカメラ（例えば、高解像度カメラ１４）であり、第２のカメラは、画像補正の対象となる画像を撮影するカメラ（例えば、サーマルカメラ１２）である。

被写体となる物体とカメラとの位置関係に応じて、手前側に存在する物体の陰に隠れて後側の物体が見えなくなる遮蔽（オクルージョン）が発生し、ある物体が、第１のカメラからは見えるが第２のカメラからは見えなくなる状態となる。

図５に示す例では、第１のカメラにおいて、物体Ａと物体Ｃとが見え、物体Ｂは物体Ａの陰に隠れて見えない。このため、第１のカメラで撮影された第１の画像では、物体Ａおよび物体Ｃの像が現れ、物体Ｂの像は現れない。一方、第２のカメラでは、物体Ａと物体Ｂとが見え、物体Ｃは物体Ａの陰に隠れて見えない。このため、第２のカメラで撮影された第２の画像では、物体Ａおよび物体Ｂの像が現れ、物体Ｃの像は現れない。

このような場合、対応付け処理により、第１の画像上の点と第２の画像上の点とを対応付ける対応付け情報を生成すると、点が二重に対応付けされる。すなわち、第２の画像上の１点が第１の画像上の２点に対応付けされる。図５に示す例では、第２の画像における物体Ａ上の点Ｐ１が、第１の画像における物体Ａ上の点Ｐ１と、物体Ｃ上の点Ｐ２との２点に対応付けされる。

このように第２の画像上の点Ｐ１が第１の画像上の点Ｐ１と点Ｐ２とに二重に対応付けされる場合、第２の画像を、第１のカメラの位置から撮影した状態に変換する画像補正処理を行うと、処理済みの第２の画像では、第２のカメラからは見えない物体が虚像として現れ、第２のカメラから見える物体が二重に写った状態となる。図５に示す例では、第１の画像上の物体Ｃの像が物体Ａの虚像として現れ、物体Ａが二重に写った状態となる。

そこで、本実施形態では、図６に示すように、二重に対応付けられた点、すなわち、第２の画像上の１点が第１の画像上の２点に対応付けられている点を探索して、二重に対応付けられた点が見つかると、その対応点のうち、遮蔽により実際には見えない対応点を除去する処理を行う（二重対応付け除去処理）。

ここで、遮蔽（オクルージョン）により二重の対応付けが発生している場合に、虚像となる対応点は、第１のカメラからは見えるが第２のカメラからは見えなくなる位置関係にある点、すなわち、タブレット端末１から見て奥側に位置する点となるため、この奥側に位置する対応点を除去すればよい。

一方、３Ｄカメラ１３から出力される３次元情報（距離画像）は、３Ｄカメラ１３から被写体となる物体までの距離（奥行き）を画素単位で取得したものであり、ｘ座標とｙ座標とで特定される画素の距離がｚ座標で表されている。この３次元情報のｚ座標により、タブレット端末１から見て２つの点が手前側にあるか奥側にあるかを判別することができる。

そこで、本実施形態では、３次元情報に基づいて、２つの対応点のｚ座標（距離）を比較し、ｚ座標が大きい対応点が遠くに位置し、遮蔽により見えなくなる対応点であることから、この対応点を削除する。このとき、２つの対応点のｚ座標の比率が所定のしきい値以上となる場合、すなわち、２つの対応点が、ある程度離れた別の物体を表している場合に、対応点を削除する。

このように二重の対応付けが発生している場合に、見えない点を除去すると、処理済みの第２の画像では、第１の画像上の物体Ｃの像が物体Ａの虚像として現れなくなるため、物体Ａが二重に写った状態を解消することができる。

次に、タブレット端末１のタッチパネルディスプレイ１１に表示される画面について説明する。図７は、撮影モードの画像表示画面を示す説明図である。図８は、閲覧モードの画像表示画面の初期状態を示す説明図である。図９は、閲覧モードの画像表示画面のエッジ重畳状態を示す説明図である。図１０は、閲覧モードの画像表示画面の温度表示状態を示す説明図である。図１１は、閲覧モードの画像表示画面の温度距離表示状態を示す説明図である。

図７に示すように、撮影モードでは、サーマルカメラ１２、３Ｄカメラ１３、および高解像度カメラ１４が起動されて、タッチパネルディスプレイ１１に画像表示画面（プレビュー表示画面）が表示される。

この撮影モードの画像表示画面には、温度画像表示部３１と可視画像表示部３２とが設けられている。温度画像表示部３１には、サーマルカメラ１２から出力された温度画像がリアルタイムで表示される。可視画像表示部３２には、高解像度カメラ１４から出力された可視画像がリアルタイムで表示される。

また、この撮影モードの画像表示画面には、撮影ボタン３５とファイルボタン３６（操作ボタン）とが設けられている。撮影ボタン３５を操作すると、サーマルカメラ１２から出力された温度画像（温度情報）と、高解像度カメラ１４から出力された可視画像とをメモリ１６に保存する。また、３Ｄカメラ１３から出力された距離画像（距離情報）をメモリ１６に保存する。そして、メモリ１６に保存された温度画像および可視画像を表示する閲覧モードの画像表示画面（図８参照）に遷移する。ファイルボタン３６を操作すると、以前撮影した画像ファイルを選択するファイル選択画面（図示せず）に遷移し、このファイル選択画面において、画像ファイルをユーザが選択すると、その画像ファイルに格納された温度画像および可視画像を表示する閲覧モードの画像表示画面（図８参照）に遷移する。

図８に示すように、閲覧モードの画像表示画面には、撮影モードの画像表示画面（図７参照）と同様に、温度画像表示部３１と可視画像表示部３２とが設けられている。温度画像表示部３１には、メモリ１６に保存された温度画像が表示される。可視画像表示部３２には、メモリ１６に保存された可視画像が表示される。温度画像表示部３１の温度画像を閲覧することで、ユーザが被写体の温度分布状況を確認することができる。可視画像表示部３２の温度画像を閲覧することで、ユーザが被写体の詳細な状態を確認することができる。

また、この閲覧モードの画像表示画面には、ファイルボタン３６と撮影モードボタン３７（操作ボタン）とが設けられている。ファイルボタン３６を操作すると、ファイル選択画面（図示せず）に遷移し、ここで別の画像ファイルを選択することで、その画像ファイルに格納された温度画像および可視画像を表示させることができる。撮影モードボタン３７を操作すると、撮影モードに戻り、撮影モードの画像表示画面（図７参照）に遷移する。

また、この閲覧モードの画像表示画面には、エッジ重畳ボタン４１と拡大ボタン４２と縮小ボタン４３とマーカ追加ボタン４４とマーカ削除ボタン４５とが設けられている。

拡大ボタン４２を操作すると、温度画像表示部３１および可視画像表示部３２の各々で温度画像および可視画像が拡大表示される。一方、縮小ボタン４３を操作すると、温度画像表示部３１および可視画像表示部３２の各々で温度画像および可視画像が縮小表示される。

エッジ重畳ボタン４１を操作すると、図９に示すエッジ重畳状態の画像表示画面に遷移する。このエッジ重畳状態の画像表示画面では、温度画像表示部３１に、エッジ重畳処理が施された温度画像が表示される。この温度画像は、可視画像からエッジ（輪郭）を抽出する処理で生成したエッジ画像を、元の温度画像に重畳（合成）したものである。

エッジ重畳処理を行っていない温度画像（図８参照）では、物体の輪郭が不明瞭であるため、物体の詳細な状態をユーザが把握しにくいが、エッジ重畳処理を行った温度画像（図９参照）では、物体の輪郭が明瞭になるため、物体の詳細な状態をユーザが把握しやすくなる。

図９に示した閲覧モードの画像表示画面において、マーカ追加ボタン４４をユーザが操作すると、図１０に示す温度表示状態の画像表示画面に遷移する。このとき、まず、温度表示位置の入力状態となり、温度画像表示部３１の温度画像上、または可視画像表示部３２の可視画像上で、測定点（温度を表示させる位置）をユーザがタッチ操作（タップ操作）により指定すると、温度画像表示部３１の温度画像上にマーカ５１（標識画像）が表示され、同時に、可視画像表示部３２の可視画像上にマーカ５２（標識画像）が表示される。

なお、図１０に示した例では、温度画像表示部３１のマーカ５１にのみ温度を表示するようにしたが、可視画像表示部３２のマーカ５２にも温度を表示するようにしてもよい。また、どのように温度を表示させるかは、設定画面でユーザが選択できるようにしてもよい。

また、測定点を指定するタッチ操作は、温度画像表示部３１および可視画像表示部３２のいずれかでも行うことができる。すなわち、温度画像表示部３１でタッチ操作を行うと、その位置にマーカ５１が表示されると同時に、可視画像表示部３２の対応する位置にマーカ５２が表示され、可視画像表示部３２でタッチ操作を行うと、その位置にマーカ５２が表示されると同時に、温度画像表示部３１の対応する位置にマーカ５１が表示される。なお、マーカ５１，５２は、温度画像上および可視画像上に複数設定することができる。

また、この温度表示状態の画像表示画面では、温度画像表示部３１に表示されるマーカ５１と、可視画像表示部３２に表示されるマーカ５２とが、対応付け情報に基づいて、互いに対応する位置に表示される。したがって、マーカ５１，５２の位置を比較することで、対応付け情報の精度を確認することができ、対応付け情報の精度が低いと、マーカ５１，５２の位置が互いにずれた状態となる。

一方、マーカ削除ボタン４５を操作すると、温度画像表示部３１および可視画像表示部３２に設定されたマーカ５１，５２のうち、ユーザが削除対象としてタッチ操作（タップ操作）により選択したマーカ５１，５２を削除することができる。

なお、図９，図１０に示した例では、マーカ５１，５２を、測定点の位置を指し示す吹き出しとしたが、このような形状に限定されるものではなく、測定点の位置を表す標識としての機能を有するものであればよい。

また、図１０に示した閲覧モードの画像表示画面において、距離の測定基準となる２点を指定するタッチ操作をユーザが行うと、図１１に示す温度距離表示状態の画面に遷移する。この温度距離表示状態の画面では、可視画像表示部３２の可視画像上に、マーカ６１（標識画像）が表示される。このマーカ６１には、ユーザが指定した２点間の距離が表示される。また、マーカ６１には、距離の測定基準となる２点を結ぶように矢印の画像が表示される。

ここで、距離の測定基準となる２点（始点および終点）を指定するには、例えば、２点間をドラッグ操作、すなわち、タッチで始点を指定した後にタッチ状態のままで終点まで指をスライドさせる操作を行うようにするとよい。また、ダブルタップで始点を指定した後にシングルタップで終点を指定する操作で、２点を指定するようにしてもよい。また、距離表示状態に遷移するボタンを画像表示画面に設けて、このボタンを操作すると、位置の入力状態となり、ユーザがタップ操作により２点を指定するようにしてもよい。なお、可視画像表示部３２の可視画像上に２点間の距離を複数通り表示できるようにしてもよい。

なお、図１１に示した例では、マーカ６１における矢印の両端が２つの測定点の位置を表すが、このような形状に限定されるものではなく、２つの測定点の位置を表す標識としての機能を有するものであればよい。

また、図１１に示した例は、温度距離表示状態の画像表示画面であり、温度と距離との両方を１画面に表示するようにしたが、温度と距離とを別画面で表示するようにしてもよい。

また、図１１に示した例では、２つのマーカ５２が設定された２つの測定点の間の距離を表示させているが、温度測定位置と距離測定位置とは互いに連動して指定されるものではなく、別々の操作により互いに独立して指定することができる。

また、図１１に示した例では、ユーザが２点の位置を指定することで、２点間の距離を表示するようにしたが（２点指定モード）、ユーザが１点の位置を入力することで、タブレット端末１から指定した１点までの距離を表示できるようにしてもよい（１点指定モード）。また、この２点指定モードおよび１点指定モードは、ユーザが適宜に選択できるようにするとよい。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１２は、第２実施形態に係る温度画像表示システムの全体構成図である。

このシステムは、タブレット端末１と、画像処理サーバ７１（サーバ装置、コンピュータ）と、を備えている。第１実施形態（図２参照）では、表示用の温度画像および可視画像を生成する処理と、表示用の温度画像および可視画像を表示する処理と、をタブレット端末１で行うようにしたが、本実施形態では、表示用の温度画像および可視画像を生成する処理を画像処理サーバ７１で行う。

タブレット端末１は、第１実施形態（図２参照）と同様に、タッチパネルディスプレイ１１、サーマルカメラ１２、３Ｄカメラ１３、高解像度カメラ１４、メモリ１６、およびプロセッサ１７の他に、通信部１８を備えている。この通信部１８は、インターネットなどのネットワークを介して画像処理サーバ７１と通信を行う。具体的には、通信部１８は、サーマルカメラ１２から出力される未処理の温度画像と、３Ｄカメラ１３から出力される３次元情報と、高解像度カメラ１４から出力される未処理の可視画像とを画像処理サーバ７１に送信する。また、通信部１８は、処理済みの温度画像および可視画像を画像処理サーバ７１から受信する。

画像処理サーバ７１は、通信部７２と、メモリ７３と、プロセッサ７４と、を備えている。通信部７２は、インターネットなどのネットワークを介してタブレット端末１と通信を行う。メモリ７３は、タブレット端末１から取得した温度画像および可視画像や、プロセッサ７４で実行される温度画像表示アプリケーションのプログラムを記憶する。プロセッサ７４は、メモリ７３に記憶された画像処理アプリケーションのプログラムを実行することで画像処理に係る各種の処理を行う。本実施形態では、第１実施形態（図２参照）のタブレット端末１と同様に、プロセッサ７４が、対応付け、画像補正、トリミング、エッジ抽出、およびエッジ重畳の各処理を行う。

なお、本実施形態では、ユーザが操作するユーザ端末としてのタブレット端末１が、サーマルカメラ１２、３Ｄカメラ１３および高解像度カメラ１４を備えるものとしたが、これらのカメラをユーザ端末とは別装置で構成して、タッチパネルディスプレイなどの表示部および操作部を備えたユーザ端末で、温度画像および可視画像をユーザが閲覧できるものとしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係る温度画像表示装置、温度画像表示システムおよび温度画像表示プログラムは、装置の設置および調整の作業に煩わされることなく、また、対象物を特定する処理を行うことなく、対象物の温度状態を簡易に確認することができる効果を有し、対象物を撮影して取得した温度画像を表示する温度画像表示装置、温度画像表示システムおよび温度画像表示プログラムなどとして有用である。

１ タブレット端末（温度画像表示装置、コンピュータ）
１１ タッチパネルディスプレイ（ディスプレイ）
１２ サーマルカメラ（赤外線カメラ）
１３ ３Ｄカメラ（可視光カメラ）
１４ 高解像度カメラ（可視光カメラ）
１６ メモリ
１７ プロセッサ
１８ 通信部
３１ 温度画像表示部
３２ 可視画像表示部
３５ 撮影ボタン
３６ ファイルボタン（操作ボタン）
３７ 撮影モードボタン（操作ボタン）
４１ エッジ重畳ボタン
４４ マーカ追加ボタン
４５ マーカ削除ボタン
５１，５２，６１ マーカ（標識画像）
７１ 画像処理サーバ（サーバ装置、コンピュータ）
７２ 通信部
７３ メモリ
７４ プロセッサ

Claims (9)

1. 対象物を撮影して取得した温度画像を表示する温度画像表示装置であって、
   前記温度画像と、３次元情報と、可視画像と、を取得する２以上のカメラと、ディスプレイと、プロセッサと、を備え、
   前記プロセッサは、
   前記カメラで取得した３次元情報に基づいて、前記カメラで取得した前記温度画像上の位置と、前記カメラで取得した可視画像上の位置とを対応付ける対応付け情報を生成し、
   前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、
   処理済みの前記温度画像および前記可視画像を前記ディスプレイに並べて表示することを特徴とする温度画像表示装置。
2. 前記３次元情報を取得するカメラと前記可視画像を取得するカメラとを兼用することを特徴とする請求項１に記載の温度画像表示装置。
3. 前記プロセッサは、
   前記カメラでリアルタイムに撮影した前記温度画像および前記可視画像を前記ディスプレイに表示する撮影モードと、メモリに記憶された前記温度画像および前記可視画像を前記ディスプレイに表示する閲覧モードとを切り替える操作ボタンを、前記ディスプレイに表示することを特徴とする請求項１に記載の温度画像表示装置。
4. 前記プロセッサは、
   前記温度画像に対して、前記可視画像と同一の画素数となるように画素を補間する処理を行い、処理済みの前記温度画像を前記ディスプレイに表示することを特徴とする請求項１に記載の温度画像表示装置。
5. 前記プロセッサは、
   前記温度画像に対して、前記可視画像から生成したエッジ画像を重畳する処理を行い、処理済みの前記温度画像を前記ディスプレイに表示することを特徴とする請求項１に記載の温度画像表示装置。
6. 前記プロセッサは、
   前記温度画像および前記可視画像の少なくとも一方に、測定点の位置を表す標識画像を合成して前記ディスプレイに表示することを特徴とする請求項１に記載の温度画像表示装置。
7. 前記標識画像は、温度情報および距離情報の少なくとも１つを含むことを特徴とする請求項６に記載の温度画像表示装置。
8. 対象物を撮影して取得した温度画像を表示する温度画像表示システムであって、
   温度画像表示装置と、
   この温度画像表示装置とネットワークを介して通信を行うサーバ装置と、を有し、
   前記温度画像表示装置は、
   ２以上のカメラを用いて取得した、前記温度画像と、可視画像と、３次元情報と、を前記サーバ装置に送信し、
   前記サーバ装置は、
   前記３次元情報に基づいて、前記温度画像上の位置と前記可視画像上の位置とを対応付ける対応付け情報を生成し、
   前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、
   処理済みの前記温度画像および前記可視画像を前記温度画像表示装置に送信し、
   前記温度画像表示装置は、
   処理済みの前記温度画像および前記可視画像をディスプレイに並べて表示することを特徴とする温度画像表示システム。
9. 対象物を撮影して取得した温度画像を表示する処理をコンピュータに実行させるための温度画像表示プログラムであって、
   前記対象物を撮影して取得された、前記温度画像と、３次元情報と、可視画像と、を入力し、
   前記３次元情報に基づいて、前記温度画像上の位置と、前記可視画像上の位置とを対応付ける対応付け情報を生成し、
   前記対応付け情報に基づいて、前記温度画像を前記可視画像と同一の視点から見た状態に変換する画像処理を行い、
   処理済みの前記温度画像および前記可視画像をディスプレイに並べて表示することを特徴とする温度画像表示プログラム。

Images