JP2020159838A - 可視画像と赤外線熱画像との重畳処理方法 - Google Patents

Abstract

【課題】現場の可視画像と赤外線熱画像との重ね合わせ処理を自動化する。【解決手段】複数の人為的なマーカが設置された検査対象面を可視カメラで撮影して取得した可視画像を用意する工程と、前記検査対象面を赤外線カメラで撮影して取得した赤外線熱画像を用意する工程と、前記人為的なマーカに基づいて前記可視画像と前記赤外線熱画像とを画像処理により重ね合わせた重畳画像を生成する工程を含む。【選択図】図2

Description

本発明は可視画像と赤外線熱画像との重畳処理方法に関する。

ビル壁面やモルタル吹き付け法面などのコンクリート構造物の壁面診断に赤外線カメラが用いられている（特許文献１）。この壁面診断は、コンクリート構造物の一部を破壊する必要がなく、赤外線カメラで撮像した赤外線熱画像によってコンクリート表面温度を測定し、その温度差により、損傷のない健全部と損傷部の判別や劣化部分の診断に活用されている。赤外線熱画像は、同領域を低温時撮影したものと高温時撮影したものの2種類を使用する。最近は遠隔コントロールが可能な飛行体である「ドローン」が入手可能であることから、壁面診断のためのカメラ撮影にドローンを使うことが考えられている。

特開2008-151809号公報

ビル壁面などは広がりを有するため、撮影対象の壁面を細分化した各区域毎に赤外線熱画像を取得することが行われる。そして、撮影画像によって現場の全体的な状況を把握できるように可視カメラで現場を撮影した可視画像と赤外線熱画像とをモニタ画面上で見比べて、損傷部の特定が行われる。

可視画像と赤外線熱画像とを対比するのに、コンピュータの画面上で作業者が赤外線熱画像を１枚１枚見比べて可視画像中の位置を特定し、画像処理によって、可視画像と赤外線熱画像とを重ね合わせた重畳画像を作成することが行われている。この重畳画像の作成つまり可視画像と赤外線熱画像との重ね合わせ処理で問題となるのが、可視画像の解像度と赤外線熱画像の解像度が異なることである。例えば可視画像は3024×4032ピクセルであるのに対して、赤外線熱画像は480×640ピクセルである。

この解像度の違いにより、可視画像1枚にあたる赤外線熱画像は、高温低温それぞれの画像あわせると、14枚程度に相当する。重畳画像を作成する前処理の段階において、作業者は赤外線熱画像が可視画像のどの部分に該当するのか把握するのに手間取っているという実情がある。また、撮影作業者自身が特定出来ても、他の担当者が場所を特定するのは困難である。

本発明の目的は、現場の可視画像と赤外線熱画像との重ね合わせ処理を自動化できる可視画像と赤外線熱画像との重畳処理方法を提供することにある。

現場での実情を説明すると、作業者は、コンピュータを使って重畳画像を作る際に、可視画像に含まれる例えばビル壁面の特徴部分（壁面の角、境界線、傷、窓枠など）を手がかりに可視画像と赤外線熱画像を整合させている。本願発明者らは、この現状を観察するなかで、人為的なマーカを現場に設置しておけば、作業者の手間が省けるだけでなく、コンピュータでの自動処理も可能になるとの気付きを得た。

人為的なマーカは、可視カメラ及び赤外線カメラの撮像画像からコンピュータが認識可能であることが必要である。また、マーカは可視カメラ、赤外線カメラの１フレームに少なくとも２つマーカ画像が取り込まれるように配置するのがよい。マーカは、例えばビルの外壁に予め組み込んでいてもよく、壁面検査のときに後付けで設置してもよい。後付けでマーカを設置する方法として、例えば予めマーカを付したボードを用意し、このボードを撮影対象面に設置してもよい。他の方法として、壁面に直に塗料を付着させる或いは所定の形状のマーカピースを壁面に付着させてもよい。

マーカは、可視画像と赤外線熱画像の位置決めに加えて各マーカの識別情報を含んでいるのが好ましい。コンピュータは、可視画像に含まれる識別情報と、赤外線熱画像の識別情報とを一致させる処理を行うことで、例えばパノラマ可視画像に対する複数の赤外線熱画像の位置決め処理及び重ね合わせ処理が可能となる。この重ね合わせ処理には、可視画像と赤外線熱画像との間のサイズ調整が含まれる。

識別情報は、例えば数字やアルファベットであってもよいが、コード情報であるのが好ましい。コード情報であれば、複数の種類の異なる情報を組み込むことができる。コード情報のマーカを作るのに、例えば矩形の白色と黒色の２種類のマーカピースを使って識別情報を作成するようにしてもよい。白色のマーカピースで地色を作り、黒色のマーカピースでコード情報を作ることができる。

白色と黒色では熱の反射が異なる。昼間であれば、黒色は太陽の光で白色に比べて高温になる。これにより、赤外線熱画像にはコード情報が明確に現れる。

以下の詳細な説明の欄で、添付の図面を参照して本発明の実施例を説明する。

非破壊検査で壁面を診断するシステムの概要を説明するための図である。 本発明の重畳処理方法を実施するための作業及びパーソナルコンピュータの処理の手順を説明するためのフローチャートである。 画像処理により複数の可視画像を合成して一枚のパノラマ可視画像を生成することを説明するための図である。 画像処理により一枚のパノラマ可視画像に複数の赤外線熱画像を重ね合わせて、パノラマ可視画像と赤外線熱画像の重畳画像を生成することを説明するための図である。 人為的なマーカを２種類のマーカピースで構成することを説明するための図である。 中心目印を付したマーカを説明するための図である。

図１は、非破壊検査で壁面を診断するための全体システムの概要を示す図である。図１を参照して、壁面診断システム１００は、検査対象面２を撮影するために可視光カメラ４及び赤外線カメラ６と、画像処理部８とを有する。画像処理部８は、パーソナルコンピュータ（PC）本体１０と、ＰＣ本体１０に接続されたモニタ１２及び操作部１４で構成され、操作部１４はキーボード、マウスなどで構成されている。検査対象面２には、間隔を隔てて複数のマーカ２０が設置されている。

非破壊検査で壁面を診断するための一連の作業及びＰＣ本体１０での画像処理の手順を図２に示す。図２を参照して、検査対象面２は、典型的には後付けで人為的なマーカ２０が設置される（Ｓ１）。使用する複数の人為的なマーカ２０は、夫々、異なる識別情報を含んでいるのが好ましい。この複数のマーカ２０の設置が完了した後、可視光カメラ４及び赤外線カメラ６で検査対象面２の撮影が行われる（Ｓ２）。このカメラ撮影を作業者が行ってもよいが、ビルの壁面や法面など大きな広がりを有する検査対象面２に対してはドローン１６（図１）を使ってカメラ撮影を行ってもよい。

可視光カメラ４の可視画像及び赤外線カメラ６の赤外線熱画像はＰＣ本体１０に取り込まれる（Ｓ３、Ｓ４）。ＰＣ本体１０には、画像処理プログラムがインストールされており、この画像処理プログラムによって画像処理が行われる（Ｓ５）。この画像処理には、可視画像と赤外線熱画像とを重ね合わせた重畳画像の作成が含まれる（Ｓ６）。ＰＣ本体１０は、画像処理の結果、検査対象面２に含まれる問題のある部分の有無、その程度などの判別を実行し（Ｓ７）、必要に応じて検査結果のレポートの作成処理を行う（Ｓ８）。

図３は、複数の可視画像Ｖi(n)を使って、検査対象面２の全域を捉えたパノラマ可視画像Ｖi(P)を生成する画像処理を説明するための図である。図３に図示の例では、互いに重複する部分を含む第１乃至第５の５枚の可視画像Ｖi(1)、Ｖi(2)、・・、Ｖi(5)を使って、検査対象面２の全域を捉えた１枚のパノラマ可視画像Ｖi(P)が生成される。この５枚の可視画像を合成する処理には、隣接する可視画像Ｖi(n-1)、Ｖi(n)に含まれる共通のマーカ２０が互いに重なるようにアフィン変換処理が行われる。

次に、図４に示すように、パノラマ可視画像Ｖi(P)に複数の赤外線熱画像Ｉi(m)を重ね合わせる画像処理が行われる。この重ね合わせ処理においても、パノラマ可視画像Ｖi(P)に含まれるマーカ２０を手がかりに、各赤外線熱画像Ｉi(m)に含まれる一のマーカ２０が、パノラマ可視画像Ｖi(P)に含まれる共通のマーカ２０と互いに重なるようにアフィン変換処理が行われる。これにより、パノラマ可視画像Ｖi(P)に赤外線熱画像Ｉi(m)を重ね合わせた重畳画像ＣＩ(P)が生成される。

図５を参照してマーカ２０について説明する。検査対象面２に設置する複数のマーカ２０は、複数の設置箇所を識別可能な目印になるよう、夫々、形状の異なるマーカを用意してもよいが、図５に示すように、全てのマーカ２０が、共通の矩形（典型的には正面視正方形）の外形輪郭を有している。

図５は一つのマーカ２０を示している。各マーカ２０は固有のコード情報２２を含んでいる。この固有のコード情報２２を形成するために、各マーカ２０はモザイクタイルと同様の構成を有している。すなわち、マーカ２０は複数のマーカピース２４で構成されている。マーカピース２４は、第１のマーカピース２４(cool)と第２のマーカピース２４(hot)の２種類が含まれる。第１のマーカピース２４(cool)と第２のマーカピース２４(hot)との組み合わせによって数多くの個別のコード情報２２を作ることができる。

マーカ２０は、図６に示すように、その中心に星印などの中心目印２６を含んでいてもよい。パノラマ可視画像Ｖi(P)を作るときに、隣接する可視画像Ｖi(n-1)、Ｖi(n)の位置決めに中心目印２６を使うことができる。また、パノラマ可視画像Ｖi(P)に複数の赤外線熱画像Ｉi(m)を位置決めするときに中心目印２６を使うことができる。

第１のマーカピース２４(cool)と、第２のマーカピース２４(hot)とは、同じ環境であっても温度差がでる材料又は色で作られており、コード情報２２を形成する第２のマーカピース２４(hot)は相対的に高温になる材料又は色で作られている。具体的には、第１のマーカピース２４(cool)は、例えば白色のように太陽光の熱エネルギを反射する能力の高い色又は材料から作られる。第２のマーカピース２４(hot)は、例えば黒色や太陽光の熱エネルギを吸収して蓄熱する材料から作られる。第１、第２のマーカピース２４(cool)、２４(hot)を環境温度によって温度差がでる材料または塗料で形成してもよい。これらの第１、第２のマーカピース２４(cool)、２４(hot)を好ましくは断熱性のボードの上に貼り付けることにより、異なる個別のコード情報２２を含む複数のマーカ２０を容易に作ることができる。

マーカ２０がコード情報２２を含む場合には、これを解読して数値や文字情報に変換するデコード・データが予めＰＣ本体１０のメモリに記憶される。ＰＣ本体１０は、このデコード・データに基づいてコード情報２２を解読する。ＰＣ本体１０は、画像処理の結果、ステップＳ7（図２）の処理を行うときに、コード情報２２に基づいて問題のある部分の場所を数値や文字情報でモニタ１２に表示し、また、レポートに書き込むことができる。

中心目印２６（図６）についても、第２のマーカピース２４(hot)と同様に、例えば黒色や太陽光の熱エネルギを蓄える蓄熱性を備えた材料から作るのがよい。

塗料を塗ることにより検査対象面２にマーカ２０を形成してもよい。マーカ２０は、コード情報２２及び／又は中心目印２６を含んでいるのがよい。塗料を塗ることの変形例として、シート状のマーカ２０を検査対象面２に貼り付けるようにしてもよい。また、例えばビルの壁面を作るときにマーカ２０を組み込んでもよい。

１００ 壁面診断システム
２ 検査対象面
４ 可視光カメラ
６ 赤外線カメラ
８ 画像処理部
１０ パーソナルコンピュータ（PC）本体
１２ モニタ
１４ 操作部（キーボード、マウス）
１６ ドローン
Ｖi(n) 可視画像
Ｖi(P) パノラマ可視画像
Ｉi(m) 赤外線熱画像
ＣＩ(P) 重畳画像
２０ 人為的なマーカ
２２ コード情報
２４ マーカピース
２４(cool) 第１のマーカピース
２４(hot) 第２のマーカピース
２６ 中心目印

Claims (6)

1. 複数の人為的なマーカが設置された検査対象面を可視カメラで撮影して取得した可視画像を用意する工程と、
   前記検査対象面を赤外線カメラで撮影して取得した赤外線熱画像を用意する工程と、
   前記人為的なマーカに基づいて前記可視画像と前記赤外線熱画像とを画像処理により重ね合わせた重畳画像を生成する工程を含む可視画像と赤外線熱画像との重畳処理方法。
2. 前記人為的なマーカがコード情報を含む、請求項１に記載の可視画像と赤外線熱画像との重畳処理方法。
3. 前記マーカが、第１マーカピースと第２マーカピースとの組み合わせで作られて、前記コード情報が前記第２マーカピースで構成され、
   前記第１、第２のマーカピースは、同じ環境で異なる温度になる材料又は色で作られ、
   前記コード情報を構成する前記第２マーカピースが相対的に高い温度になる材料又は色で作られている、請求項２に記載の可視画像と赤外線熱画像との重畳処理方法。
4. 前記マーカは、断熱性のボードを有し、該ボードの上に配置した前記第１、第２のマーカピースによって前記コード情報が形成されている、請求項３に記載の可視画像と赤外線熱画像との重畳処理方法。
5. 前記第１、第２のマーカピースが同じ形状及び同じ大きさの正面視正方形である、請求項３又は４に記載の可視画像と赤外線熱画像との重畳処理方法。
6. 前記マーカが、検査対象面を作るときに予め検査対象面に組み込まれている、請求項１〜５のいずれか一項に記載の可視画像と赤外線熱画像との重畳処理方法。