JP2016151428A - 熱画像の表示方法 - Google Patents

Abstract

【課題】熱画像と可視光画像の撮影後に、ユーザが設定する温度範囲の熱画像を可視光画像に重畳する画像表示方法を提供する。【解決手段】カメラ１００内のデータ加工部１０３は、遠赤外線カメラ１０１による熱データと可視光カメラ１０２による可視光画像を関連付けて１つのデータにまとめ、表示器１１０内の表示部１１３はその１つのデータを解析して、ユーザが設定する温度範囲の熱画像を熱データから生成した後、その熱画像を可視光画像に重畳する。【選択図】図１

Description

本発明は、可視光画像と熱（遠赤外線）画像を合成表示する方法に関する。

物体から放射される遠赤外線エネルギーを検知するセンサ群を構成することで、撮影対象の温度分布を表示する遠赤外線撮像装置（サーモグラフィ）がある。元々は軍事用途で開発・使用されていたが、民生用途としても広く使われ始めている。また、近年ではスマートフォン・タブレット端末、無人航空機、監視システム、自動車制御システム等で様々なセンサの取り込みが進んでおり、これらシステムではサーモグラフィの使用が普及し始めている。

従来のサーモグラフィでは、熱動画のみの表示、もしくは熱動画と可視光動画を重畳して表示するのが一般的であった。しかし、様々なシステムでサーモグラフィが採用されるにつれ、その使用方法に対するニーズも多様化している。

例えば、機械装置のメンテナンスの現場でサーモグラフィを使用する場合、熱画像を現場で確認する従来の方法だけではなく、熱画像と可視光画像をユーザが求める内容で重畳してメンテナンスの報告書に張り付けたいというニーズがある。従来の方法として特許文献１では、熱動画と可視光動画をユーザがリアルタイムに設定・調整し、ユーザが求める重畳された熱動画と可視光動画を保存する方法がある。しかしこの従来の方法では、撮影が完了した後で熱画像と可視光画像の重畳方法をユーザが変更することができず、メンテナンス報告書で必要とされる画像をうまく取り出して貼り付けることは困難であった。

特開平１１−３５３４６９公報

以上のように熱画像と可視光画像を撮影中に重畳して表示する方法は提案されているが、撮影後にユーザが求める表示内容へインタラクティブに合成して、ユーザが求める静止画像を作成することはできない。

そこで本発明の目的は、撮影後にユーザが重畳したい熱画像の温度範囲を直感的に設定でき、そしてユーザが求める温度のみを示す熱画像を可視光画像に重畳する方法を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的なものの概要は、熱画像と可視光画像を関連付けて分離して保存または送信し、表示の際にリアルタイムにユーザが求める温度範囲の熱画像を生成してその生成された熱画像を可視光画像に重畳することである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、代表的なものによって得られる効果は、ユーザは単に撮影するだけで、撮影後にユーザが求める温度のみを示す熱画像を可視光画像に重畳できるようにすることである。

本発明の実施の形態１に係るカメラと表示器の構成図である。 本発明の実施の形態１に係る可視光データと熱データの格納方法を示す構成図である。 本発明の実施の形態１に係る熱情報テーブルと熱データの格納方法を示す構成図である。 本発明の実施の形態１に係る可視光画像と熱画像を表示する表示窓の構成図である。 本発明の実施の形態１に係る表示器内の表示部の構成図である。 本発明の実施の形態１に係る熱情報テーブルを色テーブルに変換する機能の処理を示す図である。 本発明の実施の形態１に係る可視光画像に重畳する熱画像の構成図である。 本発明の実施の形態１に係るスライドバーの動きから表示に至る処理を示すシーケンス図である。 本発明の実施の形態２に係る表示器の構成図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

図１により、本発明の実施の形態１に係るカメラと表示器の構成について説明する。図１において、カメラ１００は、１つ以上の遠赤外線カメラ１０１と、１つ以上の可視光カメラ１０２、データ加工部１０３、ファイル書込み部１０４、ネットワーク送信部１０５を備える。遠赤外線カメラ１０１と可視光カメラ１０２は、各画像データをデータ加工部１０３に送る。データ加工部１０３は、遠赤外線カメラ１０１と可視光カメラ１０２によって送られた画像データを結合、または関連付けられた１つのデータにまとめ、ファイル書込み部１０４、またはネットワーク送信部１０５に送る。結合または関連付けられたデータを、ファイル書込み部１０４はファイル１０６に書き込み、ネットワーク送信部１０５はネットワーク１０７に送信する。

表示器１１０は、ファイル読込み部１１１と、ネットワーク受信部１１２、表示部１１３、表示窓１１４を備える。カメラ１００から送信された、結合または関連付けられた１つのデータは、ファイル１０６としてファイル読込み部１１１が読込み、またはネットワーク１０７を経由してネットワーク受信部１１２が受信する。ファイル読込み部１１１またはネットワーク受信部１１２は、読込みまたは受信したデータを表示部１１３に送信する。表示部１１３は、ファイル読込み部１１１またはネットワーク受信部１１２から受け取ったデータを解析し、表示窓１１４に画像を表示する。

図２と図３により、本発明の実施の形態１に係るデータ加工部１０３の挙動について説明する。遠赤外線カメラ１０１は、図２に示す熱情報テーブル２０１と熱データ２０２を出力する。熱情報テーブル２０１は、図３に示すようにテーブル番号と各テーブル番号に対応する温度情報が記述されている。熱データ２０２は、図３に示すように各ピクセルの熱情報テーブル２０１内テーブル番号が記述されている。可視光カメラ１０２は、図２に示す可視光データ２０３を出力する。データ加工部１０３は、図２に示すように熱情報テーブル２０１と、熱データ２０２、可視光データ２０３を１つのファイル、または関連付けられた１つのデータにまとめる。例えば、可視光データ２０３を１つのＪＰＥＧファイルに格納し、そのＪＰＥＧファイルのヘッダ部分に、熱情報テーブル２０１と熱データ２０２をＪＰＥＧファイルの拡張データとして保存してもよい。また、熱情報テーブル２０１を使用せず、熱データ２０２の各ピクセルに温度を直接記述してもよい。

図４から図８により、本発明の実施の形態１に係る表示部１１３と表示窓１１４の挙動について説明する。図４に示すように、表示窓１１４は、スライドバー４００とつまみ４０１を備える。ユーザはつまみ４０１をスライドバー４００上で操作することで、可視光カメラ１０２の可視光画像に重畳する遠赤外線カメラ１０１の温度情報を設定することができる。また、つまみ４０１を２つ以上配置してより複雑な温度設定を受け入れられるようにしてもよい。またさらに、スライドバー４０１をホイール型インターフェースといった別のインターフェースにしてもよい。

図５は、表示部１１３の構成を示す。表示部１１３は、色テーブル生成部５００と、熱画像生成部５０２、画像合成部５０４を備える。色テーブル生成部５００は、図６で示すように、熱情報テーブル２０１で示す温度を、表示窓１１４で表示する色である色テーブル５０１を生成する。色テーブル５０１は、用途に応じてカラー、またはモノクロで構成できる。熱画像生成部５０２は、図７で示すように、熱データ２０２の各ピクセルに、色テーブル５０１の色を適用した画像データである熱画像５０３を生成する。この生成の際、スライドバー４００で非表示とされる温度は透明色を適用する。画像合成部５０４は、可視光データ２０３に、熱画像５０３を重畳して表示データ５０５を生成する。表示窓１１４は、表示データ５０５を表示する。なお、表示データ５０５をオペレーションシステムのクリップボードにコピーすることで、表示データ５０５を文書作成ツールや表計算ソフトウェアに貼り付けることもできる。

図８は、スライドバー４００の操作から表示窓１１４での表示に至るまでのシーケンス図である。スライドバー４００が操作される度に、スライドバー４００で指定される表示温度が画像生成部５０２に伝えられる。熱画像生成部５０２は、表示温度に従った熱画像５０３を生成する。画像合成部５０４は、可視光データ２０３に、熱画像５０３を重畳して表示データ５０５を生成し、表示窓１１４はそれを表示する。

以上で、実施の形態１について説明した。

本発明の実施の形態２では、実施の形態１における表示器をインターネットに応用する実施方法例を説明する。なお、本発明の実施の形態２におけるカメラは実施の形態１と同様であるので、カメラの説明は以下省略する。

図９により、本発明の実施の形態２に係る表示器の構成について説明する。図９において、クライアント９００とサーバ９０１はインターネット９０２で接続されている。クライアント９００は、画像合成部５０４と、表示窓１１４、スライドバー４００を備える。サーバ９０１は、ファイル解析部９０３と、色テーブル生成部５００、熱画像生成部５０２を備える。クライアント９００は、インターネット９０２経由でファイル１０６をファイル解析部９０３に送る。ファイル解析部９０３は、受信したファール１０６から、熱情報テーブル２０１と、熱データ２０２、可視光データ２０３を作成する。可視光データ２０３は、インターネット９０２経由で画像合成部５０４に送られる。スライドバー４００が更新される度に、色テーブル生成部５００と熱画像生成部５０２は、実施の形態１と同様の方法で熱画像５０３を作成し、インターネット９０２経由で画像合成部５０４に送る。ここで、熱画像５０３は透過ＧＩＦや透過ＰＮＧといったインターネットで使われるフォーマットにしてもよい。また、スライドバー４００が更新される度に熱画像５０３を生成してインターネット９０２経由で送るのではなく、スライドバー４００が指定できる全てまたは複数の温度範囲に対応する複数の熱画像５０３を一度に生成して画像合成部５０４に送ってもよい。画像合成部５０４は、可視光データ２０３に熱画像５０３を重畳した表示データ５０５を生成する。表示窓１１４は、表示データ５０５を表示する。なお、表示窓１１４は、インターネットブラウザーであってもよい。

以上で、実施の形態２について説明した。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明は、電力・ガス・水道・鉄道等社会インフラ、産業用機器、医療、監視、農業、無人航空機、自動車等のサーモグラフィを利用するカメラシステムに適用可能である。

１００…カメラ、１０１…遠赤外線カメラ、１０２…可視光カメラ、１０３…データ加工部、１０４…ファイル書込み部、１０５…ネットワーク送信部、１０６…遠赤外線データと可視光データを含むファイル、１０７…カメラ１００と表示器１１０を接続するネットワーク、１１０…表示器１１０、１１１…ファイル読込み部、１１２…ネットワーク受信部、１１３…表示部、１１４…表示窓、２００…遠赤外線データと可視光データを含むデータ、２０１…熱情報テーブル、２０２…熱データ、２０３…可視光データ、４００…スライドバー、４０１…つまみ、５００…色テーブル生成部、５０１…色テーブル、５０２…熱画像生成部、５０３…熱画像、５０４…画像合成部、５０５…表示データ、９００…クライアント、９０１…サーバ、９０２…インターネット、９０３…ファイル解析部

Claims (3)

1. カメラ装置と表示装置からなる画像表示システムにおいて、
   前記カメラ装置は、撮影対象の温度分布画像を撮影する遠赤外線カメラと、撮影対象の可視光画像を撮影する可視光カメラと、データ加工部を備え、
   前記データ加工部は、前記遠赤外線カメラが出力する遠赤外線画像と、前記可視光カメラが出力する可視光画像を関連付けたデータである統合データにして出力する機能を備え、
   前記表示装置は、データ解析部と、温度設定インターフェースと、データ表示部を備え、
   前記データ解析部は、前記統合データから、前記遠赤外線画像と前記可視光画像に分離する機能を備え、
   前記温度設定インターフェースは、ユーザが操作することで温度範囲を設定する機能を備え、
   前記データ表示部は、前記遠赤外線画像から前記温度範囲に該当する部分温度画像を作成し、この部分温度画像を前記可視光画像に重畳する重畳画像を作成し表示する機能を備える
   ことを特徴とする画像表示方法。
2. 請求項１記載の画像表示方法であって、
   前記統合データは、前記可視光画像の内部に前記遠赤外線画像を埋め込むことによって、前記遠赤外線画像と前記可視光画像を関連付けることを特徴とする画像表示方法。
3. 請求項１または２記載の画像表示方法であって、
   前記重畳画像は、前記表示装置内のメインメモリにその画像データを展開することで、前記表示装置内の前記データ表示部以外のプログラムでも扱われることができることを特徴とする画像表示方法。

Images