JP2011198099A - 画像処理装置、及び画像処理プログラム - Google Patents

Abstract

【課題】２時刻法により被撮像物の変状部分の位置を検出する確率が高い画像処理装置を提供する。
【解決手段】第１撮像時間帯に被撮像物を撮像して得られた複数の画像フレームからなる第１温度画像データと、第２撮像時間帯に被撮像物を撮像して得られた複数の画像フレームからなる第２温度画像データと、第１温度画像データ及び第２画像データの各画像フレームを撮像した位置の情報とを用いて、第１温度画像データと第２温度画像データと位置の情報とに基づき、各第１温度画像データの画像フレームとそれに一部重複する第２温度画像データの画像フレームとを対応付ける。また、対応付けられた第１温度画像データの各画像フレームの温度値のピークの位置と、対応付けられた第２温度画像データの各画像フレームの温度値のピークの位置とを検出するとともに、温度値のピークが被撮像物の座標上で一致する場合に、一致したピークの位置を変状位置として検出する。
【選択図】図１

Description

本発明は、構造物の変状箇所の調査のため、構造物を撮影して得た画像を処理する装置及びプログラムに関するものである。

トンネル等の構造物の変状箇所を調査する方法として、赤外線カメラによって撮影された温度画像を用いる方法がある。この方法は、構造物の内部に浮き・剥離等の変状部分があると、その部分の温度は健全部分の温度に比べて上昇しやすく、また下降しやすい、という現象を利用して、変状部分を検出している。つまり、温度画像を撮影し、画像中で周辺の健全部と比べて局所的に高温、または低温となる部分を変状部分として検出する。

温度画像を用いた変状検出方法として、例えば、移動しながらトンネルの壁面を各区分に分割して撮影し、それぞれの画像フレームで局所的に高温（又は低温）の領域の検出を行う。そして、検出を行った画像フレームを接合することで、トンネル壁面の変状部分を示す展開図を作成する方法が挙げられる（例えば、特許文献１を参照）。

また、変状部は、通常、昼間（外気温が高温時）には局所高温になり、夜間（外気温が低温時）には局所低温になるという性質（温度反転）を有する。この性質を利用して、例えば、高温時・低温時の２時刻で同じ被撮像物の撮影を行う。高温時に撮像された温度画像データから局所高温になる部分を検出する。低温時に撮像された温度画像データから局所低温になる部分を検出する。局所高温となる部分と、局所低温となる部分とが重なった画素に対応する位置を変状として検出する方法が知られている（例えば、特許文献２）。このように２時刻の温度画像データを用いることで、高温時または低温時の１時刻のみの画像データによる方法よりも精度よく変状を検出できる。以下、この方法を２時刻法と称呼する。

しかし、展開図作成のために画像接合を行う際、各画像フレームが重なり合う領域（のりしろと称呼する）において、以下の問題が生じる。例えば一方の画像データＡが他方の画像データＢにより隠されるため、のりしろの画素に対応する被撮像部に変状が存在するとき、画像データＡを隠す画像データＢののりしろにノイズが載るという問題がある。このノイズにより、各時刻における展開図のデータをそれぞれ正確に作成できず、得られた２時刻の展開図データから２時刻法により変状を検出する確率が低くなる。

特開２００４−１１７１９３号公報 特開平１０−８２７５０号公報

以上を鑑み、本発明は、２時刻法により被撮像物の変状部分の位置を検出する画像処理において、変状部を検出する確率が高い画像処理装置を提供する。

本発明の一側面によると、
第１撮像時間帯に被撮像物の少なくとも一部を撮像して得られた複数の画像フレームからなる第１温度画像データと、第２撮像時間帯に該被撮像物の少なくとも一部を撮像して得られた複数の画像フレームからなる第２温度画像データと、前記第１温度画像データ及び前記第２画像データの各画像フレームを撮像した位置の情報とを用いる画像処理装置において、
前記第１温度画像データと前記第２温度画像データと前記位置の情報とに基づき、前記各第１温度画像データの画像フレームと該画像フレームに一部重複する少なくとも一つの第２温度画像データの画像フレームとを対応付ける対応付け処理部と、
前記対応付けられた第１温度画像データの各画像フレームの温度値のピークの位置と、前記対応付けられた第２温度画像データの各画像フレームの温度値のピークの位置とを検出するとともに、前記第１温度画像データ及び前記第２温度画像データ中の温度値のピークが被撮像物の座標上で一致する場合に、一致したピークの位置を変状位置として検出する変状検出処理部と、
前記変状検出処理部により一致すると検出されたピークの位置を座標上に配置する変状配置処理部と
を有することを特徴とする画像処理装置が提供される。

本発明の画像処理装置は、２時刻法により被撮像物の変状部分の位置を検出する画像処理において、変状部を漏れが少なく検出できるという利点がある。

図１は、第１実施形態の画像処理装置の機能的な構成を示すブロック図である。 図２（ａ）〜（ｃ）は、第１温度画像データと第２温度画像データの対応付け処理の概念を説明する図である。 図３（ａ）〜（ｃ）は、第１温度画像データと第２温度画像データのピーク画素位置を検出する一例の概念図である。 図４は、変状検出処理部が検出した変状画素の位置を座標上に配置した展開画像である。 図５は、第１実施形態の画像処理装置が行う対応付け処理のフローチャートである。 図６は、第１実施形態の画像処理装置が行うピーク画素位置検出処理のフローチャートである。 図７（ａ）〜（ｄ）は、第１実施形態のピーク検出処理を示す概念図である。 図８は、第２実施形態の画像処理装置の機能的構成を示すブロック図である。 図９は、画像マッチング処理の概念図である。 図１０は、画像マッチング処理の一例を示すフローチャートである。 図１１は、画像マッチング処理の他の例を示すフローチャートである。 図１２は、一般的なコンピュータを用いて実現した第１及び第２実施形態の画像処理装置の一例を示すブロック図である。

図１〜６を用いて、第１実施形態の画像処理装置を説明する。

第１実施形態の画像処理装置は、被撮像物を取り巻く外気の温度に基づき定めた第１撮像開始時刻及び第２撮像開始時刻それぞれから、被撮像物の少なくとも一部を撮像して得られた複数の温度画像である画像フレームからなる第１温度画像データ及び複数の第２温度画像データ、並びに前記第１温度画像データ及び前記第２画像データの各画像フレームを撮像した位置の情報を用いて、被撮像物の変状位置を検出するための展開画像データを作成する。

第１撮像開始時刻、第２撮像開始時刻は、被撮像物の周囲の外気温が異なる２時刻である。例えば第１撮像開始時刻は被撮像物の周囲の外気温が高温になる昼間の時刻であり、第２撮像開始時刻は被撮像物の周囲の外気温が低温になる夜間の時刻である。このとき、被撮像物の変状が浮きや剥離などであれば、通常、第１撮像開始時刻から撮像された各画像フレームの変状箇所は健全部に比べて高温になり、第２撮像開始時刻から撮像された各画像フレームの変状箇所は健全部に比べて低温になる。

第１温度開始時刻から撮像された各画像フレームの被撮像領域は、少なくとも一つの他の画像フレームの被撮像領域と互いに重複する。第２温度開始時刻から撮像された各画像フレームの被撮像領域は、少なくとも一つの他の画像フレームの被撮像領域と互いに重複する。

各画像フレームのすべてが他のいずれかの画像フレームと重複する撮像領域を有している必要はないが、各画像フレームに隣接する画像フレームと重複する撮像領域を有していることが好ましい。

複数の第１温度画像データは、第１撮像開始時刻から所定の時間内に撮像される。（以下、この時間内の時刻を第１時間帯と総称する場合がある。）第２温度画像データは、第２撮像開始時刻から所定の時間内に撮像される。（以下、この時間内の時刻を第２時間帯と総称する場合がある。）第１撮像開始時刻から撮像された複数の第１温度画像データが時間差分Ｔ１以内に撮像され第２撮像開始時刻から撮像された複数の第２温度画像データが時間差分Ｔ２以内に撮像されるとき、通常、第１撮像開始時刻と第２撮像開始時刻との時間差は、時間差分Ｔ１及びＴ２よりも大きい。

第１実施形態の画像処理装置は、複数の第１温度画像データと複数の第２温度画像データとを用いて、被撮像物の変状位置を示す画像を作成する。

図１は、第１実施形態の画像処理装置の機能的な構成を示すブロック図である。

第１実施形態の画像処理装置は、対応付け処理部１１と、変状検出処理部１２と、変状配置処理部１３とを有する。

対応付け処理部１１は、複数の第１温度画像データの画像フレームにそれぞれ対応する複数の位置情報１８ａと複数の第２温度画像データの画像フレームにそれぞれ対応する複数の位置情報１８ｂとを記憶装置１８から取得する。取得された位置情報１８ａ、１８ｂに基づき、第１温度画像データの画像フレームと第２温度画像データの画像フレームとが互いに重複する第１温度画像データと第２温度画像データとを対応付ける。

対応付け処理部１１は、例えば、各第１温度画像データと重複する撮像領域を含む少なくとも一つの第２温度画像データを複数の第２温度画像データの中からそれぞれ検出する。図２（ａ）〜（ｃ）は、第１温度画像データと第２温度画像データの対応付け処理の概念を説明する図である。図２において、横軸Ｘは、温度画像の列方向（横方向）の位置であり、縦軸Ｙは、温度画像の列方向（縦方向）の位置を示す。

第１温度画像データ及び第２温度画像データの各画像フレームは、図２において、画素が縦方向と横方向に並び格子状に所定数だけ配列されているが、各画素は表示されず、画素フレームの外枠が表示されている。図２において、位置情報１８ａ、１８ｂは、例えば各画像フレームの左下の角の画素の位置情報である。位置情報１８ａ、１８ｂは、各画像フレーム内における相対的な位置が定められている限りにおいていずれの画素の位置情報を示すものであってもよい。位置情報１８ａ、１８ｂと、各画像フレーム内に含まれる各画素の相対位置の情報にもとづき、各画像フレームは被撮像物の座標（絶対座標）Ｘ−Ｙ上に配置される。なお、図３、７、９においても同様である。

まず、図２（ａ）に示されるように、対応付け処理部１１は、複数の第１温度画像データのうち、ある温度画像データＨを選択する。次いで、図２（ｂ）に示されるように、対応付け処理部１１は、各第２温度画像データのフレーム位置及びフレームの大きさを第１温度画像データＨのフレーム位置及びフレームの大きさと順に比較して、互いに重複する部分を生じる第２温度画像データＬ１、Ｌ２を検出する。次いで図２（ｃ）に示されるように、対応付け処理部１１は第１温度画像データＨと、検出された第２温度画像データＬ１、Ｌ２とを対応付ける。なお、対応付け処理部１１は、各第２温度画像データと重複する撮像領域を含む少なくとも一つの第１温度画像データを複数の第２温度画像データの中からそれぞれ検出してもよい。

変状検出処理部１２は、各第１温度画像データ及び各第２温度画像データから、温度値のピークを有する画素の位置を検出する。そして、変状検出処理部１２は、対応付け処理部１１で対応付けられた第１温度画像データと第２温度画像データとの間で、温度値のピークを有する画素の位置が一致する画素の位置を変状の位置として検出する。被撮像物となる構造物の内部に浮き・剥離等の変状部分があると、その部分の温度は健全部分の温度に比べて上昇しやすく、また下降しやすい。この現象を利用して、本実施形態の画像処理装置は、被撮像物の温度画像データ中で、健全部の温度に比べて局所的に高温または低温となる画素を検出する。

変状検出処理部１２は、第１ピーク検出部１４、第２ピーク検出部１５、及びピーク対応検出部１６を含む。

第１ピーク検出部１４は、複数の第１温度画像データ１７ａを記憶装置１７から取得し、各温度画像データにおける温度値のピークを有する画素の位置を検出する。第２ピーク検出部１５は、複数の第２温度画像データ１７ｂを記憶装置１７から取得し、各温度画像データにおける温度値のピークを有する画素の位置を検出する。

ここで、温度値のピークは、例えば純粋に温度値のピークである画素１つ分であってもよいが、それに限られるものではなく、少なくとも画素フレームよりも小さい領域である限りにおいて広がりを持っていてもよい。例えば、変状が存在しない領域（健全部）における温度値を基準の温度値として定め、基準の温度値よりも高い温度値を有する画素を、温度値のピークを有する画素としてもよい。温度値のピークを有する画素の取得方法は限定されないが、例えば、画素の位置に対する温度値の傾きが正から負又は負から正に変化する画素を温度値のピークを有する画素として検出することができる。

但し、本実施形態において、各画像フレームにおいて、端部の画素の温度値が極大値又は極小値である場合、その画素は温度値のピークから除外することが好ましい。各画像フレームの撮像にレンズが用いられる。例えば、温度が全撮像領域にわたって同じである被撮像物がレンズを用いて温度画像として撮像されると、レンズの歪みに起因して、通常、各フレームの外周及びそれに近い画素の温度は、被撮像物の状態にかかわらず、その他の画素の温度と比べて低く撮像される。各画像フレームにおいて、端部の画素の温度値が極大値又は極小値である場合、その画素を温度値のピークから除外する。この除外により、このような被撮像物の状態に由来しない温度値のピークから除外することができる。

ピーク対応検出部１６は、対応付け処理部１１で対応付けられた、第１温度画像データと第２温度画像データとの組み合わせを取得し、取得した組み合わせに基づき第１ピーク検出部１４が検出した温度値のピークと第２ピーク検出部１５が検出した温度値のピークとが一致する画素の位置を変状画素として検出する。図３（ａ）〜（ｃ）は、第１温度画像データと第２温度画像データのピーク画素位置を検出する一例の概念図である。図３において、横軸Ｘは、温度画像の列方向（横方向）の位置であり、縦軸Ｙは、温度画像の列方向（縦方向）の位置を示す。図３において、座標上で第１温度画像データＨ（図３（ａ））とそれに対応する第２温度画像データＬｉとを重ねると、第１温度画像データＨのピーク位置と、第２温度画像データＬｉのピーク位置とが重なる（図３（ｃ））。このように重なった位置を変状画素として検出する。

第１撮像開始時刻が外気温の高い昼間であり、第２撮像開始時刻が外気温の低い夜間であるとき、被撮像物の変状が浮きや剥離によるものであるならば、第１撮像開始時刻から撮像して得た第１温度画像データにおける変状部は、通常、健全部よりも高い温度である。一方、第２撮像開始時刻から撮像して得た第２温度画像データにおける変状部は、通常、健全部よりも低い温度である。よって、第１温度画像データにおいて温度値のピークを有する画素は極大値の画素（及びその周辺の画素）であり、第２温度画像データにおいて温度値のピークを有する画素は極小値の画素（及びその周辺の画素）である。一方、被撮像物の変状が漏水によるものであるならば、第１温度画像データにおける変状部及び第２温度画像データにおける変状部は、通常、健全部よりも低い温度である。よって、第１温度画像データ及び第２温度画像データそれぞれにおいて、温度値のピークを有する画素は極小値の画素（及びその周辺の画素）である。このように、変状箇所の設定によって第１ピーク検出部１４及び第２ピーク検出部１５が検出すべきピークは変わる。よって、画像処理装置１０のオペレータが、第１ピーク検出部１４及び第２ピーク検出部１５が検出するピークを設定する。

変状配置処理部１３は、図４に示されるように、変状検出処理部１２が検出した変状画素の位置を座標上に配置した展開画像を生成する。生成された展開画像は、例えばハードディスクなどの記憶装置１９ａに保存されても良いし、ディスプレイやプリンタなどの出力装置１９ｂに表示されても良い。

図５は、第１実施形態の画像処理装置が行う対応付け処理のフローチャートである。

対応付け処理部１１は、複数の第１温度画像データ１７ａのうち、あるデータＨ_ｋ（ｋ＝１〜ｚ_１の整数。ｚ_１は複数の第１温度データ１７ａの数。）のフレームの大きさを記憶装置１７から取得し、また、複数の第１撮影位置データ１８ａのうち、あるデータを記憶装置１８から取得する（Ｓ２０１）。

次いで、重なり検出処理を全ての第２温度画像データのフレームに対して行う。すなわち、全ての２温度画像データのフレームに対して重なり検出処理が完了するまで、以下に説明するＳ２０２〜Ｓ２０５を繰り返す。

まず、第２温度画像データの全てのフレームについてステップ２０４の検出処理が完了していないとき（Ｓ２０２Ｎｏ判定）、対応付け処理部１１は、未処理の第２画像データのうちひとつの画像フレームＬ_ｍ（ｍ＝１〜ｚ_２の整数、ｚ_２は複数の第２撮影位置データ１７ｂの数）のフレームの大きさを記憶装置１７から取得し、その画像フレームＬ_ｍの画像フレームの位置を記憶装置１８から取得する（Ｓ２０３）。次いで、対応付け処理部１１は、フレームＨ_ｋとフレームＬ_ｍとが重なっているかどうかを判断する（Ｓ２０４）。フレームＨ_ｋとフレームＬ_ｍとが重なっていれば（Ｓ２０４Ｙｅｓ判定）、対応付け処理部１１はフレームＬ_ｍをフレームＨ_ｋに対応するフレームとして検出し（Ｓ２０５）、ステップ２０２に戻って、第２画像データの全フレームで重なり検出処理を行ったかどうか判断する。重なっていなければ（Ｓ２０４Ｎｏ判定）、ステップ２０２に戻って第２画像データの全フレームで重なり検出処理を行ったかどうか判断する。対応付け処理部１１は、全フレームで重なり検出処理を行ったら（Ｓ２０２Ｙｅｓ判定）、重なり検出処理を終了する。

図６は、第１実施形態の画像処理装置が行うピーク画素位置検出処理のフローチャートである。まず、第１ピーク検出部１４は、複数の第１温度画像データ１７ａを記憶装置１７から取得し、各第１温度画像データにおける温度値のピークを有する画素の位置を検出し、各第１温度画像データの温度値のピーク位置情報を生成する。また、第２ピーク検出部１５は、複数の第２温度画像データ１７ｂを記憶装置１７から取得し、各第２温度画像データにおける温度値のピークを有する画素の位置を検出し、各第２温度画像データの温度値のピーク位置情報を生成する（Ｓ３０１）。

次いで、ピーク対応画素検出部１６は、第１時間帯に撮像した複数の第１温度画像データ１７ａのうち一つの第１温度画像データＨ_ｋ（ｋ＝１〜ｚ_１の整数、ｚ_１は複数の第１温度データ１７ａの数）について、温度値のピーク位置情報を取得する（Ｓ３０２）。

次いで、ピーク対応画素検出部１６は、第１温度画像データＨ_ｋに対応する第２温度画像データＬ_ｋｉ（ｉ＝１〜ｎの整数、ｎはＨ_ｋに対応する第２温度画像データの数である。各Ｌ_ｋｉは、Ｌ_ｍ（ｍ＝１〜ｚ_２）の内、対応付けられたものを示す。）について、温度値のピーク位置情報を取得する（Ｓ３０３）。

次いで、ピーク対応画素検出部１６は、第１温度画像データＨ_ｋのピーク位置と、第２温度画像データＬ_ｋｉのピーク位置とを比較し、両者が重なる画素位置を変状位置として検出する（Ｓ３０４〜Ｓ３０７）。変状位置の検出が終わったら（Ｓ３０５Ｎｏ判定）、第１時間帯の変状位置の検出がまだ行われていない温度画像データＨ_ｋのピーク位置を取得し（Ｓ３０２）、それに対応する画像データＬ_ｋｉのピーク位置を取得し（Ｓ３０３）、第１温度画像データＨ_ｋのピーク位置と、第２温度画像データＬ_ｋｉのピーク位置とを比較し、両者が重なる画素位置を変状位置として繰り返し検出する（Ｓ３０４〜Ｓ３０７）。第１時間帯の全ての画像フレームで変状を検出したら（Ｓ３０８Ｙｅｓ判定）、ピーク画素位置検出処理が終了される。

変状配置処理部１３は、図４に示されるように、変状検出処理部１２が検出した変状画素の位置を座標上に配置した展開画像を生成する。

上記第１実施形態の画像処理装置は、２時刻法による被撮像物の変状部分の位置を検出する画像処理において、各温度画像のフレームのピーク位置を検出し、第１時間帯の温度画像と第２時間帯の温度画像との対応付けを行い、対応付けられた画像間のピークを比較して、変状箇所を示す画素の位置を検出し、検出された画素を座標上に配置する。この画像処理において、第１時間帯の温度画像のフレーム及び第２時間帯の温度画像のフレームは、それぞれ、ノイズにより変状由来のピークが検出されないおそれがある。

図７（ａ）〜（ｄ）は、第１実施形態のピーク検出処理を示す概念図である。図７において、横軸Ｘは、温度画像の列方向（横方向）の位置であり、縦軸Ｙは、温度画像の列方向（縦方向）の位置を示す。いま、図７（ａ）に示されるように、ある第１温度画像データＨに局所高温の画素が検出され、図７（ｂ）に示されるように、その部分に対応する第２温度画像データＬ１、Ｌ２が存在するものとする。図７（ｃ）は、第１温度画像データＨに第２温度画像データＬ１を重ねた図である。第２温度画像データＬ１において、局所高温の画素に対応する局所低温の画素が検出されているため、ピーク対応画素検出部は、第１温度画像データＨの局所高温の画素位置であり、第２温度画像データＬ１の局所高温の画素位置である位置を変状位置として検出することができる。一方、図７（ｄ）は、第１温度画像データＨに第２温度画像データＬ２を重ねた図である。第２温度画像データＬ２において、ノイズのため、局所高温の画素に対応する局所低温の画素が検出されていない。よって、ピーク対応画素検出部は第１温度画像データＨの局所高温の画素位置を変状位置として検出することができない。しかし、第１温度画像データＨと第２温度画像データＬ２との比較において変状を検出しているため、問題にならない。すなわち、重複する撮像領域を有する複数の画像フレームの少なくとも一つに温度値のピークを有する画素を検出できれば、その温度値のピークを有する画素の位置を確実に検出することができる。

また、複数の第１温度画像データ及び複数の第２温度画像データは、通常、レンズを用いて撮像されている。よって各温度画像データの画像フレームの外周及びそれに近い画素の温度は、被撮像物の状態にかかわらず、その他の画素の温度と比べて低く撮像される。被撮像物の状態に由来しないこの温度の低下がピークとして検出されないため、ピーク対応検出時に被撮像物の健全部を変状部分として検出することがない。以上より、本発明の画像処理装置は、２時刻法により被撮像物の変状部分の位置を検出する画像処理において、変状部を漏れが少なく検出できるという利点がある。

なお、比較実施形態として、第１時間帯における各画像フレームをつなげた展開画像と、第２時間帯における各画像フレームをつなげた展開画像とに対して、それぞれピーク対応検出処理を行い、その後、２つの展開画像を比較して、ピーク対応検出を行うと、以下の問題が生じるおそれがある。例えば、第１時間帯に撮像されたある画像フレームにおいてノイズにより温度ピークが検出されないとき、展開画像にもそのノイズが乗ってしまうおそれがある。例えば、第２時間帯における展開画像の作成の際、図７（ｂ）に示されるように、ノイズが乗っていない第２温度画像データＬ１の上に、ノイズが乗っている第２温度画像データＬ２を重ねると、得られる第２時間帯の展開画像には変状に由来する局所低温の画素が存在しない。このため、変状由来のピークが検出されないおそれがある。また、第１温度画像データ及び第２温度画像データが、それぞれレンズを用いて撮像された温度画像データであるとき、各時刻における展開画像において、静止画の撮影単位である各画像フレームの外周及び外周に近い画素が、被撮像物の状態にかかわらずピークとして検出されるおそれがある。

以下に、第１温度画像データ及び第２温度画像データを取得する手段の一例を説明する。

本実施形態の記憶装置１７に保存されている温度画像データとして、例えば、赤外線カメラを移動しながら被撮像物の各部分を個別に撮像した複数の温度画像データを取得し、それら複数の温度画像データを座標上に配置した展開画像データが用いられてもよい。

具体的には、例えば、温度画像取得手段は、移動手段を備える赤外線カメラと、データ処理手段と、移動量取得手段とを備える。移動手段に搭載した赤外線カメラが、移動手段によりカメラを移動させながらトンネルの壁面等の被撮像物の撮像を複数回行う。移動量取得手段によって、撮像時における、所定位置から撮像位置までの赤外線カメラの移動量を取得しておく。

なお、温度画像取得手段に含まれる機能のうち一部又は全部が画像処理装置１０に含まれていてもよい。例えば、データ処理手段、及び展開画像作成手段は、画像処理装置１０に含まれていてもよい。

赤外線カメラの種類は特に限定されず、例えば、視覚センサが一次元方向に並んでいるラインセンサカメラ、視覚センサが二次元方向に並んでいるエリアセンサカメラのいずれを用いてもよい。ラインセンサカメラが撮像して得られるデータは一次元画像データであり、エリアセンサカメラが撮像して得られるデータは二次元画像データである。

赤外線カメラを移動する手段は特に限定されない。赤外線カメラは、例えば車両などの移動手段に搭載され、移動手段を動作させることで移動する。また、赤外線カメラは、移動手段により移動する方向に対して交差する方向に被撮像物を走査して撮像を行ってもよい。移動手段で移動する方向に対して交差する方向は、例えば前記移動方向に対して垂直である。例えば、移動方向に伸びる直線を中心として赤外線カメラのセンサと被撮像物とを結ぶ直線が回転するように赤外線カメラを回転させながら、赤外線カメラで撮像を行うことにより、被撮像物を走査できる。例えば、赤外線カメラは、被撮像物の上方から下方へと１回の走査を行った後、上方から下方への走査を繰り返す。被撮像物を走査する手段は、赤外線カメラに設けられ、赤外線カメラの向きや位置を動かす装置である。また、赤外線カメラに被撮像物を走査するための作動機構が内蔵された走査型のカメラを用いてもよい。

移動量取得手段は、所定位置から撮像位置までの赤外線カメラの移動量を取得する装置であり、例えば、赤外線カメラがある画像を撮像してから他の画像を撮像するまでの赤外線カメラの移動方向への移動量を計測する装置である。移動量は、通常、赤外線カメラによる画像の撮像と同期して取得される。移動量取得手段は、特に限定されないが、例えば、赤外線カメラの移動手段による移動方向の移動量を計測する移動量センサを用いることができる。赤外線カメラを車両に搭載して移動させるとき、例えば車両に設けた車速センサを移動量センサとして用いることができる。車速センサは、例えば車速パルス発生器が車軸の回転数に比例して発生させたパルス信号から、所定位置から撮像位置までの車両の移動量（例えば、ある撮像時から他の撮像時までの車両の移動量）を計測する。また更に、例えば、車両等の移動手段による移動方向に伸びる直線を中心として、赤外線カメラのセンサと被撮像物とを結ぶ直線が回転するように赤外線カメラを回転させながら、赤外線カメラで撮像を行う場合、その回転角度も移動量として計測する。

なお、例えば、第１撮像開始時刻から行われた撮像と第２撮像開始時刻から行われた撮像との間で撮像を開始した位置が異なる場合、第１撮影位置データ及び第２撮影位置データは、第１撮像開始時刻から撮像された画像データ及び／又は第２撮像開始時刻から撮像された温度画像データの位置座標に対して予め調整を行ったものを用いてもよい。

なお、必ずしも赤外線カメラを移動させながら撮影しなくてもよい。また、複数の赤外線カメラを用いて、被撮像物における異なる場所を撮像してもよい。また、車速センサの代わりにＧＰＳなどを用いて地表上の座標を取得し、これを移動量に変換してもよい。

図８は、第２実施形態の画像処理装置の機能的構成を示すブロック図である。なお、第１実施形態と同様の構成については説明を省略する。

第２実施形態の画像処理装置１１０は、対応付け処理部１１１、変状検出処理部１１２、及び変状配置処理部１１３に加えて、座標算出処理部１２１を有する。

座標算出処理部１２１は、記憶装置１１８に保存されている複数の第１撮影位置データ１１８ａと、複数の第２撮影位置データ１１８ｂとを、記憶装置１１７に保存されている複数の第１温度画像データ１１７ａ、複数の第２温度画像データ１１７ｂを用いた画像マッチング処理により更新する。更新された複数の第１撮影位置データ及び複数の第２撮影位置データの位置精度は、更新前のそれよりも向上する。

対応付け処理部１１１は、座標算出処理部１２１が更新した複数の第１撮影位置データ及び複数の第２撮影位置データを取得し、第１温度画像データの画像フレームと第２温度画像データの画像フレームとが互いに重複する第１温度画像データと第２温度画像データとを対応付ける。第１ピーク検出部１１４は第１ピーク検出部１４と、第２ピーク検出部１１５は第２ピーク検出部１５と、ピーク対応検出部１１６はピーク対応検出部１６と、変状配置処理部１１３は変状配置処理部１３と同様である。

図９は、画像マッチング処理の概念図である。図１０は、画像マッチング処理の一例を示すフローチャートである。

まず、複数の第１温度画像データ１１７ａ、複数の第２温度画像データ１１７ｂ、及びそれらに対応する複数の第１撮影位置データ１１８ａ、複数の第２撮影位置データ１１８ｂを準備する（Ｓ１０１）。これらのデータの準備は、例えば、第１実施形態において説明した第１温度画像データ及び第２温度画像データを取得する手段を用いて行われる。準備された各データは、記憶装置１１７又は１１８に格納される。図９（ａ）は、複数の第１温度画像データの画像フレームを、複数の第１撮影位置データに基づきＸ−Ｙ座標上に表示した模式図である。

次に、複数の第１温度画像データについて画像マッチング処理を行う。すなわち、座標算出処理部１２１は、記憶装置１１７及び１１８から複数の第１温度画像データのあるフレームＦ_ｉと、その位置データ（ｘ_ｉ，ｙ_ｉ）（ｉ＝１〜ｚ_１の整数。ｚ_１は複数の第１温度データ１７ａの数）を取得し、確定する（Ｓ１０２、Ｓ１０３）。次いで、座標算出処理部１２１は、フレームＦ_ｉの位置を基準とし、それに重複する画素を有する他のフレームとマッチング処理を行う。具体的には、フレームＦ_ｉに隣接するフレームＦ_ｉ＋１と、その位置データ（ｘ_ｉ＋１，ｙ_ｉ＋１）を取得する（Ｓ１０４）。次いで、座標算出処理部１２１は、フレームＦ_ｉ＋１をＦ_i上で移動し、画像マッチングによって最適な位置（ｘ_ｉ＋１’，ｙ_ｉ＋１’）を算出する（Ｓ１０５）。座標算出処理部１２１は、算出した位置（ｘ_ｉ＋１’，ｙ_ｉ＋１’）を新たなＦ_ｉ＋１の位置として確定し、例えば記憶装置１１８に保存する（Ｓ１０６）。画像マッチングの方法としては、例えば、隣接する二つの画像フレームが重なる部分の温度値の差分絶対値和（ＳＡＤ）又は差分２乗和（ＳＳＤ）が最小となるようにフレームＦ_ｉ＋１の位置を整合したり、隣接する二つの画像フレームが重なる部分の温度値の正規化相関によりフレームＦ_ｉ＋１の位置を整合したりする方法が挙げられる。図９（ｂ）は、第１温度画像データＦ_ｉと第２温度画像データＦ_ｉ＋１を、それらに対応する第１撮影位置データに基づきＸ−Ｙ座標上に示した模式図である。図９（ｃ）は、第２温度画像データＦ_ｉ＋１に対して画像マッチング処理を行ったあとの確定したデータに基づき、第２温度画像データＦ_ｉ＋１をＸ−Ｙ座標上に示した模式図である。

複数の第１温度画像データについて、位置が確定していないフレームがあれば（Ｓ１０７Ｎｏ判定）、座標算出処理部１２１は、基準とするフレームを必要に応じて変更し（例えばＦ_ｉから、フレームＦ_ｉ＋１に変更し）（Ｓ１０８）、Ｆ_ｉ＋１に隣接するフレームＦ_ｉ＋２と、その位置データ（ｘ_ｉ＋２，ｙ_ｉ＋２）を取得し、画像マッチングを行い、Ｆ_ｉ＋２の新たな位置を確定する（Ｓ１０４〜１０６）。

複数の第１温度画像データについて、各フレームの位置が確定したら（Ｓ１０７Ｙｅｓ判定）、第２時間帯における温度画像データの各フレームの位置が確定していないので（Ｓ１０９Ｎｏ判定）、座標算出処理部１２１は、複数の第２温度画像データについて、画像マッチング処理を同様に行う。すなわち、座標算出処理部１２１は、記憶装置１１７及び１１８から複数の第２温度画像データのあるフレームＦ_ｊと、その位置データ（ｘ_ｊ，ｙ_ｊ）（ｊ＝１〜ｚ_２の整数。ｚ_２は複数の第２温度画像データ１７ｂの数。）を取得し、確定する（Ｓ１１０、Ｓ１０３）。次いで、上記複数の第１温度画像データの処理と同様にマッチング処理を行う（Ｓ１０４〜Ｓ１０８）。但し、上記複数の第１温度画像データの処理の説明において、Ｆ_ｉはＧ_ｊと、Ｆ_ｉ＋１はＧ_ｊ＋１と、Ｆ_ｉ＋２はＧ_ｊ＋２と、（ｘ_ｉ＋１，ｙ_ｉ＋１）は（ｘ_ｊ＋１，ｙ_ｊ＋１）と、（ｘ_ｉ＋１’，ｙ_ｉ＋１’）は（ｘ_ｊ＋１’，ｙ_ｊ＋１’）と、（ｘ_ｉ＋２，ｙ_ｉ＋２）は（ｘ_ｊ＋２，ｙ_ｊ＋２）と読み替える。第２温度画像データのフレームの位置をそれぞれ確定したら（Ｓ１０７Ｙｅｓ判定）、第１時間帯及び第２時間帯における各フレームの位置が確定したので（Ｓ１０９Ｙｅｓ判定）、座標算出処理部１２１は、画像マッチング処理を終了する。以上の処理によって、すべての画像フレームについて、座標上での位置座標が更新される。

図１１は、画像マッチング処理の他の例を示すフローチャートである。図１０のフローチャートにおけるステップ１０９Ｙｅｓ判定までは、上記と同様に処理が行われる。第１時間帯及び第２時間帯における各フレームの位置が確定したら（Ｓ１０９Ｙｅｓ判定）、座標算出処理部１２１は、第１時間帯の各画像フレームを座標上の確定した位置に配置し大きな画像Ｆにする（Ｓ１１１）。次いで、座標算出処理部１２１は、第２時間帯のあるフレームＧ_ｊと、その確定した位置（ｘ_ｊ，ｙ_ｊ）を取得する（Ｓ１１２）。次いで、座標算出処理部１２１は、Ｇ_ｊをＦ上で移動し、画像マッチングによって最適な位置（ｘ_ｊ’，ｙ_ｊ’）を求め（Ｓ１１３）、Ｇ_ｊの位置を（ｘ_ｊ’，ｙ_ｊ’）に更新する（Ｓ１１４）。第２時間帯の各フレームすべてで位置を更新していなければ（Ｓ１１５Ｎｏ判定）、座標算出処理部１２１はステップ１１２〜１１４を繰り返し行う。第２時間帯の各フレームすべてで位置を更新したら（Ｓ１１５Ｙｅｓ判定）、座標算出処理部１２１は画像マッチング処理を終了する。なお、ステップ１１２の前に第１時間帯の各温度画像データと第２時間帯の各温度画像データとから、それぞれエッジ画像データを作成し、このエッジ画像データを用いて画像マッチング処理を行ってもよい。エッジ画像データの各画素の画素値は温度値の勾配の大きさを表すため、第１時間帯と第２時間帯との間で背景温度が異なるという影響を受けることなく、画像マッチング処理を行うことができる。

第２実施形態の画像処理装置によれば、第１実施形態の画像処理装置と同様に、２時刻法により被撮像物の変状部分の位置を検出する画像処理において、変状部を漏れが少なく検出できる。また、複数の第１撮影位置データと、複数の第２撮影位置データとを、複数の第１温度画像データ、複数の第２温度画像データを用いた画像マッチング処理により更新し、更新された撮影位置データを用いて変状部の位置を検出する。このため、第１温度画像データ及び第２温度画像データの各画像フレームの被撮像物の座標（絶対座標）上における位置精度が向上する。各画像フレームの位置精度の向上により、ピーク対応画素検出部が変状部を検出する確率が更に高まり、変状部を更に漏れが少なく検出できる。

上記第１実施形態及び第２実施形態の画像処理装置は、例えば一般的なコンピュータを用いて実現できる。図１２は、一般的なコンピュータを用いて実現した第１及び第２実施形態の画像処理装置１０及び１１０の一例を示すブロック図である。コンピュータ２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２５０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２６０を含む。ＣＰＵ２４０は、バス２８０を介してＲＯＭ２５０、ＲＡＭ２６０と接続される。また、コンピュータ２１０は、記憶装置２１７、２１８、展開画像データ等を保存する記憶装置、及び展開画像データ等を出力する出力装置、並びに必要に応じて温度画像取得手段、及び距離取得手段と接続されている。画像処理装置１０、１１０全体の動作はＣＰＵ２４０によって統括制御される。コンピュータ２１０は、上記座標算出処理、対応付け処理、第１ピーク検出、第２ピーク検出、ピーク対応検出、変状配置処理を行う。ＣＰＵ２４０は、所定のプログラムに従って温度画像取得手段、距離取得手段、記憶装置２１７、２１８、展開画像データ等を保存する記憶装置、展開画像データ等を出力する出力装置を制御する制御手段として機能するとともに、上記座標算出処理、対応付け処理、第１ピーク検出、第２ピーク検出、ピーク対応検出、変状配置処理など各種演算を実施する演算手段として機能する。ＲＡＭ２６０は、プログラムの展開領域及びＣＰＵ２４０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ２５０には、ＣＰＵ２４０が実行するプログラム及び制御に必要な各種データや、温度画像取得手段、距離取得手段、記憶装置２１７、２１８、展開画像データ等を保存する記憶装置、及び展開画像データ等を出力する出力装置の動作に関する各種定数／情報等が格納されている。

尚、本発明は上記実施形態に限定されるものではない。矛盾のない限りにおいて、複数の実施例を組み合わせても構わない。上記実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１０ 画像処理装置
１１ 対応付け処理部
１２ 変状検出処理部
１３ 変状配置処理部
１４ 第１ピーク検出部
１５ 第２ピーク検出部
１６ ピーク対応検出部
１７、１８ 記憶装置
１９ａ 記憶装置
１９ｂ 出力装置
１１０ 画像処理装置
１１２ 変状検出処理部
１１３ 変状配置処理部
１１４ 第１ピーク検出部
１１５ 第２ピーク検出部
１１６ ピーク対応検出部
１１７、１１８ 記憶装置
１２１ 座標算出処理部
２１０ コンピュータ
２１７、２１８ 記憶装置
２４０ ＣＰＵ
２５０ ＲＯＭ
２６０ ＲＡＭ
２８０ バス

Claims (6)

1. 第１撮像時間帯に被撮像物の少なくとも一部を撮像して得られた複数の温度画像である画像フレームからなる第１温度画像データと、第２撮像時間帯に該被撮像物の少なくとも一部を撮像して得られた複数の温度画像である画像フレームからなる第２温度画像データと、前記第１温度画像データ及び前記第２画像データの各画像フレームを撮像した位置の情報とを用いる画像処理装置において、
   前記第１温度画像データと前記第２温度画像データと前記位置の情報とに基づき、前記各第１温度画像データの画像フレームと該画像フレームに一部重複する少なくとも一つの第２温度画像データの画像フレームとを対応付ける対応付け処理部と、
   前記対応付けられた第１温度画像データの各画像フレームの温度値のピークの位置と、前記対応付けられた第２温度画像データの各画像フレームの温度値のピークの位置とを検出するとともに、前記第１温度画像データ及び前記第２温度画像データ中の温度値のピークが被撮像物の座標上で一致する場合に、一致したピークの位置を変状位置として検出する変状検出処理部と、
   前記変状検出処理部により一致すると検出されたピークの位置を座標上に配置する変状配置処理部と
   を有することを特徴とする画像処理装置。
2. 更に、前記被撮像物を撮像する撮像手段と、
   前記撮像手段に、前記複数の第１温度画像データを時間差分Ｔ１以内に撮像させ、前記複数の第２温度画像データを時間差分Ｔ２以内に撮像させる撮像制御手段とを備え、
   前記第１撮像時間帯と前記第２撮像時間帯とは前記時間差分Ｔ１及びＴ２よりも大きな時間差を隔てていることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１撮像時間帯及び前記第２撮像時間帯のうち、一方は前記被撮像物の変状箇所が前記被撮像物の健全部に比べて高温になる時点であり、他方は前記被撮像物の変状箇所が前記被撮像物の健全部に比べて低温になる時点であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 更に、前記第１温度画像データ及び前記第２温度画像データの前記座標上における位置をそれぞれ算出する座標算出処理部と、
   前記第１及び第２温度画像データの各画像フレームを撮像した位置の情報を取得する撮像位置取得手段を備え、
   前記座標算出処理部は前記撮像位置から、前記座標上における位置を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記座標算出処理部は、前記複数の第１温度画像及び第２温度画像のうち、被撮像領域が重なる２以上の温度画像データ間で画像マッチング処理を行い、前記撮像位置取得手段により算出された、前記座標上における位置を更新することを特徴とする請求項４に記載の画像処理装置。
6. 第１撮像時間帯に被撮像物の少なくとも一部を撮像して得られた複数の温度画像である画像フレームからなる第１温度画像データと、第２撮像時間帯に該被撮像物の少なくとも一部を撮像して得られた複数の温度画像である画像フレームからなる第２温度画像データと、前記第１温度画像データ及び前記第２画像データの各画像フレームを撮像した位置の情報とを用いる画像処理方法をコンピュータに実行させる画像処理プログラムにおいて、
   前記第１温度画像データと前記第２温度画像データと前記位置の情報とにもとづき、前記各第１温度画像データの画像フレームと該画像フレームに一部重複する少なくとも一つの第２温度画像データの画像フレームとを対応付ける工程と、
   前記対応付けられた第１温度画像データの各画像フレームの温度値のピークの位置と、前記対応付けられた第２温度画像データの各画像フレームの温度値のピークの位置とを検出するとともに、前記第１温度画像データ及び前記第２温度画像データ中の温度値のピークが被撮像物の座標上で一致する場合に変状位置として検出する工程と、
   前記変状検出処理部により一致すると検出されたピークの位置を座標上に配置する工程と
   を有することを特徴とする画像処理方法をコンピュータに実行させる画像処理プログラム。