JP2017083414A - 欠陥検出装置及び欠陥検出方法 - Google Patents

Abstract

【課題】熱画像に基づく欠陥の検出をより精度良く行うことができる欠陥検出装置及び欠陥検出方法を提供することである。
【解決手段】実施形態の欠陥検出装置は、熱画像取得部と、フレーム間移動距離取得部と、画像生成部と、欠陥判定部と、を持つ。熱画像取得部は、相対的に移動する検査対象が連続して撮像された複数の熱画像を取得する。フレーム間移動距離取得部は、連続する前記熱画像間での被写体の撮像位置のずれを示すフレーム間移動距離を取得する。画像生成部は、複数の前記熱画像と、前記フレーム間移動距離とに基づいて、前記熱画像取得部によって取得された複数の前記熱画像における同じ被写体が撮像された画素の画素値に基づいて取得される代表値によって表される第２の熱画像を生成する。欠陥判定部は、前記第２の熱画像における画素値の分布に基づいて、前記第２の熱画像から前記検査対象の欠陥部位を検出する。
【選択図】図３

Description

本発明の実施形態は、欠陥検出装置及び欠陥検出方法に関する。

トンネルやビル等の構造物においてコンクリート等の内部空隙（以下、「欠陥」という。）を検査する方法の１つに打音検査がある。打音検査は、検査対象を叩くことにより発生する打撃音の特性に基づいて構造物の欠陥を検査する方法である。また、打音検査の他、検査対象の欠陥を非接触で検査することが可能なサーモグラフィ法等の検査方法も実用化されている。サーモグラフィ法は、正常部と欠陥部との熱伝導率の違いから欠陥の有無や位置を検査する方法である。具体的には、サーモグラフィ法では、検査対象が撮像された熱画像が示す検査対象表面の温度分布に基づいて欠陥の有無や位置が判定される。

一般に、熱画像は赤外線カメラを用いて取得されるが、取得された熱画像にはノイズが含まれる場合がある。また、熱画像には、検査対象以外の他の構造物が撮像される可能性もある。そのため、従来の欠陥検出装置では、このようなノイズや他の構造物が欠陥の被疑部位として誤検出される場合があった。

特開２００４−２１２１０４号公報

本発明が解決しようとする課題は、熱画像に基づく欠陥の検出をより精度良く行うことができる欠陥検出装置及び欠陥検出方法を提供することである。

実施形態の欠陥検出装置は、熱画像取得部と、フレーム間移動距離取得部と、画像生成部と、欠陥判定部と、を持つ。熱画像取得部は、相対的に移動する検査対象が連続して撮像された複数の熱画像を取得する。フレーム間移動距離取得部は、連続する前記熱画像間での被写体の撮像位置のずれを示すフレーム間移動距離を取得する。画像生成部は、前記熱画像取得部によって取得された複数の前記熱画像と、前記フレーム間移動距離取得部によって取得された前記フレーム間移動距離とに基づいて、前記熱画像取得部によって取得された複数の前記熱画像における同じ被写体が撮像された画素の画素値に基づいて取得される代表値によって表される第２の熱画像を生成する。欠陥判定部は、前記第２の熱画像における画素値の分布に基づいて、前記第２の熱画像から前記検査対象の欠陥部位を検出する。

検査対象の熱画像を取得する方法の一例を示す図。 赤外線カメラ１１０によって取得される熱画像の具体例を示す図。 第１の実施形態の欠陥検出装置１の機能構成を示す機能ブロック図。 平均画像を取得する方法の概略を示す図。 画素値と濃度共起行列との関係の具体例を示す図。 複数の単位領域で構成される平均画像の具体例を示す図。 平均画像の単位領域ごとに生成される濃度共起行列の具体例を説明する図。 第１の実施形態の欠陥検出装置１が検査対象の欠陥部位を検出する処理の流れを示すフローチャート。 平均画像によるノイズ低減の効果の具体例を示す図。 赤外線カメラ１１０及び可視カメラ１３０の視野の具体例を示す図。 第２の実施形態の欠陥検出装置１ａの機能構成を示す機能ブロック図。 平均画像取得部１５ａが可視画像に基づいてフレーム間移動距離を算出する処理の流れを示すフローチャート。 二値化画像の具体例を示す図。 特徴波形の具体例を示す図。 第３の実施形態の欠陥検出装置１ｂの機能構成を示す機能ブロック図。 差分画像の第１の具体例を示す図。 差分画像の第２の具体例を示す図。

以下、実施形態の欠陥検出装置及び欠陥検出方法を、図面を参照して説明する。

（第１の実施形態）
図１は、検査対象の熱画像を取得する方法の一例を示す図である。図１において、車両１００は、検査対象となるトンネル２００内を走行し、トンネル内部の壁面の熱画像を取得する車両である。車両１００の上部には、赤外線カメラ１１０がトンネル上部の壁面を撮像する向きで設置されている。例えば、赤外線カメラ１１０は、１ｍ四方程度の壁面が視野範囲となるように設定され、例えば、３０フレーム／秒で検査対象を撮像する。また、車両１００には車速計１２０が設置され、車両１００の車速が連続的に計測される。

実施形態の欠陥検出装置は、赤外線カメラ１１０によって取得される熱画像と、車速計１２０によって取得される車両１００の車速を時系列に示す情報（以下、「速度情報」という。）と、に基づいて、熱画像に基づく欠陥の検出をより精度良く行うことを実現する。速度情報は、換言すれば、検査対象に対する赤外線カメラ１１０の相対的な移動速度を示す情報である。具体的には、実施形態の欠陥検出装置は、連続的に撮像される複数の熱画像間で、同じ範囲の検査対象が撮像された領域の画素値の統計値をとることにより、欠陥の検出における熱画像内のノイズの影響を低減する。

図２は、赤外線カメラ１１０によって取得される熱画像の具体例を示す図である。熱画像３００は、複数の画素Ｐ（ｉ、ｊ）で構成される。熱画像３００を構成する画素Ｐ（ｉ、ｊ）において、ｉは熱画像３００の横方向（Ｉ方向）における画素数を表し、ｉ＝０、１、２、・・・、ｉ＿ｗｉｄｔｈである。同様に、ｊは熱画像３００の縦方向（Ｊ方向）における画素数を表し、ｊ＝０、１、２、・・・、ｊ＿ｈｅｉｇｈｔである。Ｊ方向は、車両１００の進行方向に対応する。すなわち、熱画像３００は、ｉ＿ｗｉｄｔｈ×ｊ＿ｈｅｉｇｈｔ個の画素で構成される。以下では、本実施形態における熱画像３００は、ｉ＿ｗｉｄｔｈ＝６４０、ｊ＿ｈｅｉｇｈｔ＝４８０と仮定する。

図３は、第１の実施形態の欠陥検出装置１の機能構成を示す機能ブロック図である。欠陥検出装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、欠陥検出プログラムを実行する。欠陥検出装置１は、欠陥検出プログラムの実行によって記憶部１１、熱画像取得部１２、速度情報取得部１３、フレーム間移動距離算出部１４、平均画像取得部１５、特徴量取得部１６及び欠陥判定部１７を備える装置として機能する。なお、欠陥検出装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。欠陥検出プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。欠陥検出プログラムは、電気通信回線を介して送信されてもよい。

記憶部１１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部１１は、赤外線カメラ１１０によって取得された熱画像と、車速計１２０によって取得された速度情報とを記憶する。

熱画像取得部１２は、赤外線カメラ１１０によって取得された熱画像を取得し、記憶部１１に記憶させる。例えば、熱画像取得部１２は、通信インターフェースを含んで構成され、赤外線カメラ１１０との通信によって熱画像を取得するように構成されてもよい。また、熱画像取得部１２は、ＣＲ−ＲＯＭやフラッシュメモリ等の記憶媒体から情報を読み出すメディアリーダを含んで構成され、記憶媒体に記憶された情報を読み出すことによって熱画像を取得するように構成されてもよい。

速度情報取得部１３は、車速計１２０によって取得された速度情報を取得し、記憶部１１に記憶させる。例えば、速度情報取得部１３は、通信インターフェースを含んで構成され、車速計１２０との通信によって速度情報を取得するように構成されてもよい。また、速度情報取得部１３は、ＣＲ−ＲＯＭやフラッシュメモリ等の記憶媒体から情報を読み出すメディアリーダを含んで構成され、記憶媒体に記憶された情報を読み出すことによって速度情報を取得するように構成されてもよい。

フレーム間移動距離算出部１４は、熱画像取得部１２によって取得された熱画像に基づいてフレーム間移動距離を算出する。フレーム間移動距離とは、車両１００に対して相対的に移動する被写体の熱画像内での撮像位置が、各フレームの熱画像間で移動した距離のことである。フレーム間移動距離算出部１４は、算出したフレーム間移動距離を平均画像取得部１５に出力する。

平均画像取得部１５（画像生成部）は、熱画像取得部１２によって取得された複数の熱画像と、フレーム間移動距離算出部１４によって算出されたフレーム間移動距離と、に基づいて平均画像（第２の熱画像）を取得する。平均画像とは、連続して撮像された熱画像において、同じ範囲の被写体が撮像された領域（以下、「共通領域」という。）の画素値の平均によって表される画像である。平均画像取得部１５は、取得した平均画像を特徴量取得部１６に出力する。

図４は、平均画像を取得する方法の概略を示す図である。図４の熱画像３１０及び熱画像３２０は、平均画像の生成に用いられる熱画像の例である。熱画像３１０及び熱画像３２０は、熱画像３１０、熱画像３２０の順に連続するフレームとして取得された熱画像である。部分領域３１１及び部分領域３２１は熱画像３１０及び熱画像３２０間の共通領域である。熱画像３１０の部分領域３１１に撮像された被写体は、熱画像３２０において、車両１００の進行方向（Ｊ方向）とは逆方向にフレーム間移動距離ｍだけずれた位置の部分領域３２１に撮像される。例えば、フレーム間移動距離は次の式（１）によって算出される。

式（１）における数値４８０は熱画像のＪ方向の画素数に対応する。Ｖは車速を表し、Ｔは各フレームの熱画像が撮像される周期（以下、「フレーム間隔」という。）を表す。熱画像が３０フレーム／秒で撮像される場合、フレーム間隔Ｔ＝１／３０[秒]である。Ｈは、赤外線カメラ１１０の視野範囲を表す。

例えば、平均画像取得部１５は、各熱画像の共通領域である部分領域３１１及び部分領域３２１の画像について、対応する画素値の平均を算出することによって平均画像を生成する。ここで、熱画像３１０をＰ_ｋ（ｉ、ｊ）、熱画像３１０に含まれる部分領域３１１の画像（以下、「部分画像」という。）をＱ_ｋ（ｉ、ｊ）と表す。図４は、熱画像３１０の部分画像Ｑ_ｋ（ｉ、ｊ）を画素Ｐ_ｋ（０、０）を基準として選択した例を示している。なお、部分画像Ｑ_ｋ（ｉ、ｊ）は、熱画像３１０内のどの画素を基準として選択されてもよい。

同様に、熱画像３２０をＰ_ｋ＋１（ｉ、ｊ）、熱画像３２０に含まれる部分領域３２１の部分画像をＱ_ｋ＋１（ｉ、ｊ）と表す。この場合、平均画像Ｒ_ｋ（ｉ、ｊ）は、次の式（２）によって表される。

なお、ここでは２つの部分画像に基づいて平均画像を生成する場合について説明しているが、平均画像は２つ以上の部分画像に基づいて生成されてもよい。

図３の説明に戻る。特徴量取得部１６は、平均画像取得部１５によって生成された平均画像から画素値の分布の特徴を示す特徴量を抽出する。具体的には、特徴量取得部１６は、平均画像Ｒ_ｋ（ｉ、ｊ）について濃度共起行列Ｍ_{δ（ａ、ｂ）}を算出する。濃度共起行列とは、画像中の特定の相対的な位置関係にある２つの画素の濃度（画素値）対に関する統計量を示す行列である。濃度共起行列Ｍ_{δ（ａ、ｂ）}は、平均画像内の画素Ｒ_ｋ（ｉ、ｊ）と、画素Ｒ_ｋ（ｉ、ｊ）に対してＩ方向にａ画素分、Ｊ方向にｂ画素分だけ離れた画素Ｒ_ｋ（ｉ＋ａ、ｊ＋ｂ）とを対とした濃度共起行列を意味する。

図５は、画素値と濃度共起行列との関係の具体例を示す図である。図５（Ａ）に示す画像４００は、濃度共起行列を生成する対象の画像の例である。画像４００は、Ｉ方向に４個、Ｊ方向に３個の画素を有し、全体として１２個の画素からなる。画像４００は、各画素の画素値が０又は１のいずれかの値で表される２階調の画像である。この場合、例えば、画像４００の濃度共起行列Ｍ_{δ（１、０）}は図５（Ｂ）のように表される。

図５（Ｂ）の濃度共起行列Ｍ_{δ（１、０）}は、画像４００の各画素と、各画素からＩ方向に１画素分、Ｊ方向に０画素分だけ離れた画素との画素対（すなわちＩ方向に隣り合う画素対）に関する濃度共起行列を表している。図５（Ｂ）の濃度共起行列Ｍ_{δ（１、０）}は、図５（Ａ）の画像４００の各画素を基準として、Ｉ方向に隣り合う画素対の画素値の組み合わせ（［０、０］、［０、１］、［１、０］、［０、０］の４通り）の出現頻度を計数することによって得られる。濃度共起行列Ｍ_{δ（１、０）}の行数及び列数の組み合わせは、上記の画素値の組み合わせに対応している。すなわち、濃度共起行列は、画素値の階調数の二乗個の要素からなる正方行列となる。

例えば、濃度共起行列Ｍ_{δ（１、０）}の１行２列（すなわち、［０、１］の組み合わせに対応）の値“１”は、図５（Ａ）に実線矢印で示した画素対の数を計数することによって得られる。これは、画像４００の各画素をＰ（ｉ、ｊ）（ｉ＝０、１、２、３）（ｊ＝０、１、２）と表した場合、［０、１］の組み合わせが画素Ｐ（２、１）及び画素Ｐ（３、１）の１組に出現することを意味している。同様に、濃度共起行列Ｍ_{δ（１、０）}の２行２列（すなわち、［１、１］の組み合わせに対応）の値“７”は、図５（Ａ）に破線矢印で示した画素対の数を計数することによって得られる。

このように生成される濃度共起行列では、画素値の分布の一様性が対角成分に現れ、非一様性が対角成分以外の成分に現れる。そのため、画像について濃度共起行列を求めることにより、その画像における画素値の分布の一様性を推定することができる。なお図５では、Ｉ方向の画素値の組み合わせで濃度共起行列を表したが、同様の方法によって、濃度共起行列を、Ｊ方向や斜め方向の画素値の組み合わせで表すことができる。

以上、濃度共起行列の概略を説明するため、１つの画像４００について、画像全体の一様性を示す１つの濃度共起行列が算出される例を図５に示した。これに対し、特徴量取得部１６は、上述した濃度共起行列を、平均画像を構成する所定の単位領域ごとに生成する。

図６は、複数の単位領域で構成される平均画像の具体例を示す図である。例えば、図６に示す平均画像５００は、画素Ｒ_ｋ（０、０）を基準として、６（＝３×２）画素からなるＮ個の単位領域（単位領域５０１−１〜５０１−Ｎ）に分割された平均画像である。特徴量取得部１６は、平均画像５００を構成する単位領域ごとに、各単位領域を基準として、各単位領域の周辺の単位領域との間での画素値の統計量を示す濃度共起行列を生成する。ここでいう周辺の単位領域は、例えば、ある単位領域の右、下及び右斜め下の単位領域である。例えば、特徴量取得部１６は、平均画像５００において単位領域５０１−１を基準とする場合、単位領域５０１−２、単位領域５０１−３及び単位領域５０１−４との間での濃度共起行列を生成する。

図７は、平均画像の単位領域ごとに生成される濃度共起行列の具体例を説明する図である。平均画像５１０は、１２個の単位領域（単位領域５１１−１〜５１１−１２）からなり、各単位領域は、１６０００（＝１６０×１００）画素からなる。また、平均画像５１０は、第０階調値（例えば“０”）、第１階調値（例えば“１”）及び第２階調値（例えば“２”）の３階調で表され、単位領域５１１−６を構成する画素の画素値は第２階調値であり、それ以外の単位領域を構成する画素の画素値は第１階調値である。

この場合、単位領域５１１−１、単位領域５１１−２、単位領域５１１−３、単位領域５１１−５、単位領域５１１−６及び単位領域５１１−７の各濃度共起行列は、次の式（３）〜式（８）のように生成される。

式（３）〜式（８）におけるＭ_{ｎ（１６０、１００）}は、単位領域５１１−ｎ（ｎは１〜１２の整数）の各画素からＩ方向に１６０画素分、Ｊ方向に１００画素分の距離だけ離れた画素で構成される単位領域（すなわち単位領域５１１−ｎの右斜め下の単位領域）と、単位領域５１１−ｎとによって表される範囲の平均画像において、単位領域５１１−ｎを基準とする濃度共起行列を表す。例えばＭ_{１（１６０、１００）}は、単位領域５１１−２、単位領域５１１−５及び単位領域５１１−６と、単位領域５１１−１との間での、単位領域５１１−１を基準とした濃度共起行列である。

なお、濃度共起行列Ｍ_{ｎ（１６０、１００）}の行数及び列数の組み合わせは、図５で説明した濃度共起行列Ｍ_δと同様に、単位領域ごとに取り得る画素値の組み合わせに対応する。また、平均画像５１０が３階調で表されるため、濃度共起行列Ｍ_{ｎ（１６０、１００）}は３×３の正方行列となる。

この場合、単位領域５１１−６の画素値は第２階調値であり、それ以外の単位領域の画素値は第１階調値である。そのため、単位領域５１１−１を基準とする濃度共起行列Ｍ_{１（１６０、１００）}では、第１階調値及び第２階調値の組み合わせに対応する２行３列の値が１６０００（＝１６０×１００）となる。

式（３）〜式（８）は、説明を簡単にするために、各単位領域の画素値が全画素で同じ値であると仮定した場合の濃度共起行列を示したものである。そのため、実際には、濃度共起行列Ｍ_{１（１６０、１００）}の２行３列以外の値も０以上となる可能性がある。いずれにしても、各単位領域間の濃度差が小さい、すなわち濃度（画素値）が一様であれば、濃度共起行列Ｍ_ｎの対角成分が大きな値となり、各単位領域間の濃度差が大きい、すなわち濃度が非一様であれば、濃度共起行列Ｍ_ｎの対角成分以外の成分が大きな値となる。これは、図５で説明した濃度共起行列Ｍ_δと同様である。そのため、各単位領域を基準とした濃度共起行列を求めれば、平均画像において濃度変化が大きい箇所を特定することができる。すなわち、各単位領域を基準とした濃度共起行列が示す画素値の分布の一様性によって、欠陥の被疑部位を推定することができる。

図３の説明に戻る。欠陥判定部１７は、特徴量取得部１６によって取得された平均画像の特徴量に基づいて、平均画像から欠陥の被疑部位を検出する。具体的には、欠陥判定部１７は、各単位領域を基準とする濃度共起行列と、それらの濃度共起行列を平均した行列（以下、「平均行列」という。）とに基づいて、平均画像における各単位領域の一様性を示す指標値を算出する。例えば、各単位領域の一様性を示す指標値は、式（９）によって表される。

式（９）において、Ｌ_ｎは単位領域５１１−ｎについての一様性を示す指標値である。Ｍ_ｎは単位領域５１１−ｎを基準とした濃度共起行列を表し、Ｍ_ａｖｇは平均行列を表す。例えば図６に示した平均画像５００の場合、平均行列及び各単位領域の一様性を示す指標値は、次の式（１０）〜式（１６）のように求められる。

欠陥判定部１７は、このように求められる各単位領域の一様性を示す指標値を、所定の閾値と比較することによって平均画像から欠陥被疑部位を推定する。例えば、式（１１）〜式（１６）で求められた指標値Ｌ_ｎに対して閾値Ｔ＝１０００００と設定した場合、欠陥判定部１７は、単位領域５１１−１及び単位領域５１１−５を被疑部位の候補として抽出する。欠陥判定部１７は、抽出された各候補の単位領域のうち、画素値が他の領域と大きく異なる方の単位領域を欠陥部位として検出する。

例えば、欠陥判定部１７は、平均画像全体での画素値の平均値（以下、「全体平均値」という。）と、被疑部位の候補として抽出された単位領域５１１−１及び単位領域５１１−５のそれぞれでの画素値の平均値（以下、「単位平均値」という。）と、を算出する。欠陥判定部１７は、単位領域５１１−１及び単位領域５１１−５のうち、単位平均値と全体平均値との差が大きい方の単位領域を欠陥被疑部位として特定する。一般に、検査対象において、欠陥部が占める割合は正常部よりも小さい。そのため、図６に示した平均画像５００では、欠陥部である単位用域５１１−５の方が単位平均値と全体平均値との差が大きくなる。そのため、平均画像５００からは、単位用域５１１−５が欠陥部位として検出される。

図８は、第１の実施形態の欠陥検出装置１が検査対象の欠陥部位を検出する処理の流れを示すフローチャートである。まず、熱画像取得部１２が、車両１００の走行中に撮像された検査対象（例えばトンネル）の熱画像を取得する（ステップＳ１０１）。なお以下では、熱画像取得部１２によって取得される熱画像は、赤外線カメラ１１０によって３０フレーム／秒で撮像された熱画像であると仮定して説明する。さらに以下では、熱画像取得部１２によって取得される熱画像は、６４０画素（Ｉ方向）×４８０画素（Ｊ方向）で構成されると仮定する。

一方で、速度情報取得部１３は、上記熱画像の撮像時における車両１００の速度を示す速度情報を取得する（ステップＳ１０２）。フレーム間移動距離算出部１４は、速度情報取得部１３によって取得された速度情報に基づいて、各フレーム間でのフレーム間移動距離を算出する（ステップＳ１０３）。なお、以下の説明を簡単にするため、車両１００は熱画像の撮像が行われている間、等速で走行したと仮定する。この仮定の下では、各フレーム間でのフレーム間移動距離は同じ距離となる。

続いて、平均画像取得部１５が、フレーム間移動距離算出部１４によって算出されたフレーム間移動距離と、熱画像取得部１２によって取得された各フレームの熱画像と、に基づいて平均画像を取得する。具体的には、平均画像取得部１５は、まず、各フレームの熱画像から、平均画像の生成に用いる部分画像を抽出する（ステップＳ１０４）。上述したとおり、ここで取得される複数の部分画像は、各熱画像からそれぞれ同じ範囲の被写体が撮像された共通領域が抽出されたものである。平均画像取得部１５は、抽出した複数の部分画像に基づいて、平均画像を生成する（ステップＳ１０５）。

続いて、特徴量取得部１６が、平均画像取得部１５によって生成された平均画像から特徴量を抽出する。具体的には、特徴量取得部１６は、平均画像を所定の単位領域に分割し、各単位領域を基準とする他の単位領域との間での画素値の統計量を示す濃度共起行列を生成する（ステップＳ１０６）。

続いて、欠陥判定部１７が、特徴量取得部１６によって抽出された平均画像の特徴量（すなわち濃度共起行列）に基づいて、平均画像から欠陥部位を検出する。具体的には、欠陥判定部１７は、特徴量取得部１６によって生成された単位領域ごとの濃度共起行列に基づいて、各単位領域の一様性を示す指標値を算出する（ステップＳ１０７）。欠陥判定部１７は、算出した各領域の一様性を示す指標値に基づいて欠陥部位を有する単位領域を特定する（ステップＳ１０８）。

図９は、平均画像によるノイズ低減の効果の具体例を示す図である。熱画像３３０−１〜３３０−４は、熱画像３３０−１、熱画像３３０−２、熱画像３３０−３、熱画像３３０−４の順に連続して撮像された熱画像の例である。熱画像３３０−１〜３３０−４が有する欠陥領域３３１は、検査対象が有する同一の欠陥部位を表す。車両１００の進行方向は熱画像のＪ方向に一致するため、熱画像内の欠陥領域３３１の位置は、車両１００の進行に伴ってＪ方向とは逆の方向（以下、「−Ｊ方向」という。）に移動している。

また、熱画像３３０−１〜３３０−４が有するノイズ領域３３２−１〜３３２−８は、熱画像の撮像時に発生したノイズを表す。これらのノイズのうち、ノイズ領域３３２−１、ノイズ領域３３２−３及びノイズ領域３３２−５は、熱画像内の同じ位置に現れたノイズを表している。同様に、ノイズ領域３３２−２、ノイズ領域３３２−４及びノイズ領域３３２−６は、熱画像内の同じ位置に現れたノイズを表している。このように、画像内のノイズは、撮像装置が同じであれば、異なる画像の同じ位置に現れる可能性が比較的高いと考えられる。

この場合、例えば、平均画像取得部１５は、熱画像３３０−３から部分画像３３３−３を抽出し、熱画像３３０−４から部分画像３３３−４を抽出する。ここで、部分画像３３３−４は、部分画像３３３−３が抽出された位置から、−Ｊ方向にフレーム間移動距離だけずらした位置から抽出される。平均画像取得部１５は、抽出した部分画像３３３−３及び部分画像３３３−４に基づいて、平均画像５２０−１を生成する。平均画像５２０−１に生成に用いられた部分画像３３３−３及び部分画像３３３−４は、画像内の同じ位置に欠陥領域３３１を有し、画像内の異なる位置にノイズ領域３３２−５〜３３２−８を有する。そのため、平均画像５２０−１では、欠陥領域３３１の画素値は維持されるが、ノイズ領域３３２−５〜３３２−８の画素値は、各ノイズ領域周辺の画素値との平均となる。すなわち、平均画像の生成によって、熱画像に含まれるノイズの影響が低減される。

同様に、平均画像取得部１５は、熱画像３３０−１から抽出された部分画像３３３−１と、熱画像３３０−２から抽出された部分画像３３３−２とに基づいて、平均画像５２０−２を生成する。この場合、部分画像は、各熱画像間でフレーム間移動距離だけずれた位置から抽出されるため、熱画像内では同じ位置にあったノイズ領域３３２−１〜３３２−４は、部分画像内では異なる位置となる。そのため、平均画像の生成によって、熱画像内の同じ位置に現れるノイズの影響が低減される。

このように構成された第１の実施形態の欠陥検出装置１は、複数の熱画像から被写体の同じ部位が撮像された部分領域を抽出し、抽出した複数の部分領域の画像から平均画像を生成する。このような機能を備えることにより、欠陥検出装置１は、熱画像に含まれるノイズの影響を低減させることができる。このようにノイズの影響が低減された平均画像に基づいて欠陥検出処理を行うことによって、欠陥検出装置１は、熱画像に基づく欠陥の検出をより精度良く行うことが可能となる。

（第２の実施形態）
第１の実施形態の欠陥検出装置１が速度情報に基づいてフレーム間移動距離を算出したのに対し、第２の実施形態の欠陥検出装置１ａは、車両１００の走行中に撮像された可視画像に基づいてフレーム間移動距離を算出する。なお、ここでいう可視画像とは、赤外線カメラ１１０によって取得される熱画像と異なり、一般的なカメラで撮像される画像のように、被写体の色や明るさなどを識別可能な画像を意味する。この場合、車両１００には、車速計１２０に代えて可視画像を撮像する可視カメラ１３０（図示せず）が設置される。

図１０は、赤外線カメラ１１０及び可視カメラ１３０の視野の具体例を示す図である。図１０に示された矢印は、車両１００に対する被写体の相対的な移動方向を表している。視野範囲１１１は赤外線カメラ１１０の視野範囲を表し、視野範囲１３１は可視カメラ１３０の視野範囲を表す。赤外線カメラ１１０及び可視カメラ１３０は、例えば図１０に示されるように、被写体の移動方向に平行して並設される。

図１１は、第２の実施形態の欠陥検出装置１ａの機能構成を示す機能ブロック図である。第２の実施形態の欠陥検出装置１ａは、速度情報取得部１３に代えて可視画像取得部１８を備える点、フレーム間移動距離算出部１４に代えてフレーム間移動距離算出部１４ａを備える点で第１の実施形態の欠陥検出装置１と異なる。

可視画像取得部１８（画像取得部）は、可視カメラ１３０によって取得された可視画像を取得し、記憶部１１に記憶させる。例えば、可視画像取得部１８は、通信インターフェースを含んで構成され、可視カメラ１３０との通信によって可視画像を取得するように構成されてもよい。また、可視画像取得部１８は、ＣＲ−ＲＯＭやフラッシュメモリ等の記憶媒体から情報を読み出すメディアリーダを含んで構成され、記憶媒体に記憶された情報を読み出すことによって可視画像を取得するように構成されてもよい。

フレーム間移動距離算出部１４ａは、連続する熱画像から部分画像を抽出するために必要なフレーム間移動距離を可視画像取得部１８によって取得された可視画像に基づいて算出する点でフレーム間移動距離算出部１４と異なる。

図１２は、フレーム間移動距離算出部１４ａが可視画像に基づいてフレーム間移動距離を算出する処理の流れを示すフローチャートである。まず、フレーム間移動距離算出部１４ａは、記憶部１１から可視画像を取得して、可視画像を二値化した二値化画像を生成する（ステップＳ２０１）。

図１３は、二値化画像の具体例を示す図である。図１３（Ａ）の可視画像６１０及び６２０は、可視画像６１０、可視画像６２０の順に連続するフレームとして撮像された可視画像の例である。可視画像６１０は、被写体領域６１１及び６１２を有する。被写体領域６１１及び６１２は、可視画像６１０において被写体が撮像された領域である。同様に、可視画像６２０は、被写体領域６２１及び６２２を有する。被写体領域６２１及び６２２は、可視画像６２０において被写体が撮像された領域である。可視画像６１０及び６２０における被写体領域以外の領域は被写体の背景が撮像された領域（以下、「背景領域」という。）である。

図１３（Ｂ）の二値化画像７１０及び７２０は、それぞれ可視画像６１０及び６２０から生成された二値化画像の例である。図１３（Ｂ）の二値化画像７１０及び７２０は、可視画像６１０及び６２０が、被写体領域に対応する領域と、背景領域に対応する領域とに二値化された場合の例である。例えば、フレーム間移動距離算出部１４ａは、可視画像６１０及び６２０の各画素値に、次の式（１７）を適用することによって二値化画像Ｂ_ｋ（ｉ、ｊ）を生成する。なお、式（１７）におけるＴは二値化の閾値を表し、Ｖ_ｋ（ｉ、ｊ）は可視画像を表す。

図１２の説明に戻る。続いて、フレーム間移動距離算出部１４ａは、生成した二値化画像に基づいて、車両１００の進行方向（Ｊ方向）における二値化画像の特徴量を取得する。具体的には、フレーム間移動距離算出部１４ａは、車両１００の進行方向と直交する方向（すなわちＩ方向）に、二値化画像の各画素値を足し合わせる（すなわち射影する）ことによって得られる波形（以下、「特徴波形」という。）を特徴量として取得する（ステップＳ２０２）。例えば、二値化画像の射影によって得られる特徴波形ｆ（ｊ）は、次の式（１８）で表される。

図１４は、特徴波形の具体例を示す図である。図１４の特徴波形８１０は、二値化画像７１０に基づいて取得された特徴波形の例であり、特徴波形８２０は二値化画像７２０に基づいて取得された特徴波形の例である。図１４に示す特徴波形の横軸は、二値化画像の特徴量（Ｉ方向における画素値の総和）を表し、縦軸はＪ方向の画素の位置を表す。

このように取得される特徴波形は、同じ被写体が撮像された領域について同じ値を示す。すなわち、相対的に移動する同じ被写体が連続して撮像される場合、連続する各可視画像に基づく特徴波形は相関を持つ。具体的には、連続する可視画像に基づいて取得されるそれぞれの特徴波形は、車両１００の走行距離に応じた位相差を持つ同じ特徴波形となる。

図１２の説明に戻る。続いて、フレーム間移動距離算出部１４ａは、連続する可視画像に基づいて取得された特徴波形に基づいてフレーム間移動距離を算出する（ステップＳ２０３）。具体的には、フレーム間移動距離算出部１４ａは、次の式（１９）で表される波形相関Ｓ（ｍ）が最大となるｍをフレーム間移動距離として推定する。

なお、熱画像及び可視画像の１画素に対応する実空間での距離（以下、「実距離」という。）が同じであれば、フレーム間移動距離算出部１４ａは、上記の推定によって得られたフレーム間移動距離ｍを用いて、第１の実施形態同様に平均画像を生成することができる。仮に、可視画像の１画素に対応する実距離が、熱画像の実距離のｃ倍である場合には、上記推定によって得られたｍを１／ｎ倍したｍ／ｎをフレーム間移動距離とすればよい。

このように構成された第２の実施形態の欠陥検出装置１ａは、熱画像の撮像に合わせて取得される可視画像に基づいてフレーム間移動距離を算出する。このような機能を備えることにより、第１の実施形態の欠陥検出装置１を、車速計１２０に代えて可視カメラ１３０を備える装置として構成することができる。これにより、実施形態の欠陥検出装置をより安価に実現することが可能となる。

（第３の実施形態）
第１の実施形態の欠陥検出装置１が平均画像を生成することによって、熱画像に含まれるノイズの影響を低減したのに対し、第３の実施形態の欠陥検出装置１ｂは、複数の熱画像の差分によって表される差分画像を生成することによってノイズの影響を低減する。

図１５は、第３の実施形態の欠陥検出装置１ｂの機能構成を示す機能ブロック図である。第３の実施形態の欠陥検出装置１ｂは、平均画像取得部１５に代えて差分画像取得部１９を備える点、特徴量取得部１６を備えない点、欠陥判定部１７に代えて欠陥判定部１７ｂを備える点で第１の実施形態の欠陥検出装置１と異なる。

差分画像取得部１９（差分画像生成部）は、熱画像取得部１２によって取得された複数の熱画像に基づいて差分画像を取得する。差分画像取得部１９は、取得した差分画像を欠陥判定部１７ｂに出力する。

欠陥判定部１７ｂは、差分画像取得部１９によって取得された差分画像から欠陥部位を検出する。

図１６は、差分画像の第１の具体例を示す図である。図１６の熱画像３５０及び３６０は、差分画像の生成に用いられる熱画像の例である。熱画像３５０は、欠陥領域３５１、ノイズ領域３５２及び３５３を有する。熱画像３６０は、欠陥領域３６１、ノイズ領域３６２及び３６３を有する。

差分画像９００は、熱画像３５０及び３６０に基づいて生成された差分画像である。差分画像９００には、熱画像３５０における欠陥領域３５１、ノイズ領域３５２及び３５３が、それぞれ欠陥領域９１１、ノイズ領域９１２及び９１３として現れている。同様に、差分画像９００には、熱画像３６０における欠陥領域３６１、ノイズ領域３６２及び４６３が、それぞれ欠陥領域９２１、ノイズ領域９２２及び９２３として現れている。

この場合、差分画像９００に現れる欠陥領域９１１及び９２１は、Ｊ方向にフレーム間移動距離ｍだけ離れた位置に逆符号となって現れる。一方、差分画像９００に現れるノイズ領域は車両１００の走行とは相関しないため、各ノイズ領域間の位置関係に相関はない。
そのため、欠陥判定部１７ｂは、差分画像９００から、フレーム間移動距離ｍだけ離れた逆符号の領域の対を検出することによって、差分画像から欠陥部位を検出する。

図１７は、差分画像の第２の具体例を示す図である。図１７の熱画像３７０及び３８０は、差分画像の生成に用いられる熱画像の例である。熱画像３７０及び３８０は、それぞれ、図１５の熱画像３５０及び３６０に濃度のむらが現れた場合の熱画像を表している。このような濃度むらも熱画像に現れるノイズの一種である。赤外線カメラ１１０によって撮像される熱画像には、図１７のように画像中央部の濃度が高くなる傾向がある。図１７の差分画像９１０は、このような濃度むらを持つ熱画像３７０及び３８０に基づいて生成された差分画像である。差分画像では、このような同様のパターンで現れる濃度むらが相殺される。そのため、差分画像を用いることによって、熱画像に基づく欠陥検出におけるノイズの影響を低減することができる。

このように構成された第３の実施形態の欠陥検出装置１ｂは、連続して撮像された熱画像の差分で表される差分画像に基づいて、検査対象の欠陥部位を検出する。このような構成を備えることにより、欠陥検出装置１ｂは、熱画像に基づく欠陥検出において、ノイズによる欠陥部位の誤検出を抑制することが可能となる。

以下、実施形態の欠陥検出装置の変形例について説明する。

欠陥検出装置１の欠陥判定部１７は、熱画像が示す温度分布に基づいて検出された被疑部位が欠陥であるか否かを、予め登録された例外情報（位置情報）に基づいて判定するように構成されてもよい。例外情報は、検査対象とは異なる被写体の位置を示す情報である。欠陥判定部１７は、温度分布に基づいて検出された被疑部位の位置が、例外情報の示す被写体の位置に一致した場合、その被疑部位を欠陥の検出結果から除外する。例えば、トンネル内の照明を欠陥の検出結果から除外する場合、トンネルの入口から照明装置までの距離を予め例外情報として登録しておく。この場合、欠陥判定部１７は、照明装置の撮像領域が欠陥の被疑部位として検出された熱画像のフレーム数Ｆと、熱画像間のフレーム間移動距離ｍとに基づいて、トンネルの入口から被疑部位までの距離Ｆ×ｍを算出する。欠陥判定部１７は、算出したトンネルの入口から被疑部位までの距離が例外情報に登録されている場合、その被疑部位を欠陥の検出結果から除外する。このように、欠陥判定部１７が、熱画像に基づく欠陥の検出結果に対してさらなる判定を行うことにより、欠陥検出装置１は、より精度良く欠陥を検出することができる。

第１の実施形態の欠陥検出装置１は、複数の熱画像に基づく平均画像を生成することによって、熱画像に基づく欠陥検出におけるノイズの影響を低減したが、平均画像は、複数の熱画像の画素値に基づいて取得される代表値によって表される画像であれば他のどのような画像であってもよい。例えば、欠陥検出装置１は、平均画像に代えて、画素値の最頻値などで表される画像を生成してもよい。

以上説明した少なくともひとつの実施形態によれば、撮像部によって撮像される被写体の撮像位置が連続する熱画像間で移動した距離を示すフレーム間移動距離を取得するフレーム間移動距離取得部と、複数の熱画像に基づいて同じ範囲の被写体が撮像された領域の平均画像を生成する平均画像生成部と、を持つことにより、熱画像に基づく欠陥の検出をより精度良く行うことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１，１ａ，１ｂ…欠陥検出装置、１１…記憶部、１２…熱画像取得部、１３…速度情報取得部、１４，１４ａ…フレーム間移動距離算出部、１５…平均画像取得部、１６…特徴量取得部、１７，１７ｂ…欠陥判定部、１８…可視画像取得部、１９…差分画像取得部、１００…車両、１１０…赤外線カメラ、１１１…視野範囲、１２０…車速計、１３０…可視カメラ、１３１…視野範囲、２００…トンネル、３００，３１０，３２０，３３０−１〜３３０−４，３５０，３６０，３７０…熱画像、３３３−１〜３３３−４…部分画像、３１１，３２１，３３１，３５１，３６１…欠陥領域、３３２−１〜３３２−８，３５２，３６２…ノイズ領域、４００…画像、５００，５１０，５２０−１，５２０−２…平均画像、５０１−１〜５０１−４，５１１−１〜５１１−ｎ…単位領域、６１０，６２０…可視画像、６１１，６２１…被写体領域、７１０，７２０…二値化画像、８１０，８２０…特徴波形、９００，９１０…差分画像、９１１，９２１…欠陥領域、９１２，９１３，９２２，９２３…ノイズ領域

Claims (12)

1. 相対的に移動する検査対象が連続して撮像された複数の熱画像を取得する熱画像取得部と、
   連続する前記熱画像間での被写体の撮像位置のずれを示すフレーム間移動距離を取得するフレーム間移動距離取得部と、
   前記熱画像取得部によって取得された複数の前記熱画像と、前記フレーム間移動距離取得部によって取得された前記フレーム間移動距離とに基づいて、前記熱画像取得部によって取得された複数の前記熱画像における同じ被写体が撮像された画素の画素値に基づいて取得される代表値によって表される第２の熱画像を生成する画像生成部と、
   前記第２の熱画像における画素値の分布に基づいて、前記第２の熱画像から前記検査対象の欠陥部位を検出する欠陥判定部と、
   を備える欠陥検出装置。
2. 前記第２の熱画像は、複数の前記熱画像における同じ被写体が撮像された画素の画素値の平均値によって表される画像である、
   請求項１に記載の欠陥検出装置。
3. 相対的に移動する検査対象が連続して撮像された複数の熱画像を取得する熱画像取得部と、
   連続する前記熱画像間での被写体の撮像位置のずれを示すフレーム間移動距離を取得するフレーム間移動距離取得部と、
   前記熱画像取得部によって取得された複数の前記熱画像に基づいて、前記熱画像の画素値の差分によって表される差分画像を生成する差分画像生成部と、
   前記フレーム間移動距離取得部によって取得された前記フレーム間移動距離と、前記差分画像生成部によって生成された前記差分画像における画素値の分布と、に基づいて前記差分画像から前記検査対象の欠陥部位を検出する欠陥判定部と、
   を備える欠陥検出装置。
4. 前記検査対象に対する前記撮像部の相対的な移動の速度を示す速度情報を取得する速度情報取得部をさらに備え、
   前記フレーム間移動距離取得部は、前記速度情報取得部によって取得された前記速度情報に基づいて前記フレーム間移動距離を取得する、
   請求項１又は３に記載の欠陥検出装置。
5. 相対的に移動する被写体が連続して撮像された複数の画像を取得する画像取得部をさらに備え、
   前記フレーム間移動距離取得部は、前記画像取得部によって取得された複数の前記画像に基づいて前記フレーム間移動距離を取得する、
   請求項１又は３に記載の欠陥検出装置。
6. 前記熱画像に撮像される前記検査対象と異なる被写体の位置を示す位置情報を記憶する記憶部をさらに備え、
   前記欠陥判定部は、前記記憶部に記憶された前記位置情報が、前記熱画像に基づいて検出された欠陥部位の位置を示す場合、前記欠陥部位を欠陥でないと判定する、
   請求項１又は３に記載の欠陥検出装置。
7. 相対的に移動する検査対象が連続して撮像された複数の熱画像を取得する熱画像取得ステップと、
   連続する前記熱画像間での被写体の撮像位置のずれを示すフレーム間移動距離を取得するフレーム間移動距離取得ステップと、
   前記熱画像取得ステップにおいて取得された複数の前記熱画像と、前記フレーム間移動距離取得ステップにおいて取得された前記フレーム間移動距離とに基づいて、前記熱画像取得部によって取得された複数の前記熱画像における同じ被写体が撮像された画素の画素値に基づいて取得される代表値によって表される第２の熱画像を生成する画像生成ステップと、
   前記第２の熱画像における画素値の分布に基づいて、前記第２の熱画像から前記検査対象の欠陥部位を検出する欠陥判定ステップと、
   を有する欠陥検出方法。
8. 前記第２の熱画像は、複数の前記熱画像における同じ被写体が撮像された画素の画素値の平均値によって表される画像である、
   請求項７に記載の欠陥検出方法。
9. 相対的に移動する検査対象が連続して撮像された複数の熱画像を取得する熱画像取得ステップと、
   連続する前記熱画像間での被写体の撮像位置のずれを示すフレーム間移動距離を取得するフレーム間移動距離取得ステップと、
   前記熱画像取得ステップにおいて取得された複数の前記熱画像に基づいて、前記熱画像の画素値の差分によって表される差分画像を生成する差分画像生成ステップと、
   前記フレーム間移動距離取得ステップにおいて取得された前記フレーム間移動距離と、前記差分画像生成ステップによって生成された前記差分画像における画素値の分布と、に基づいて前記差分画像から前記検査対象の欠陥部位を検出する欠陥判定ステップと、
   を有する欠陥検出方法。
10. 前記検査対象に対する前記撮像部の相対的な移動の速度を示す速度情報を取得する速度情報取得ステップをさらに有し、
    前記フレーム間移動距離取得ステップでは、前記速度情報取得ステップにおいて取得された前記速度情報に基づいて前記フレーム間移動距離を取得する、
    請求項７又は９に記載の欠陥検出方法。
11. 相対的に移動する検査対象が連続して撮像された複数の画像を取得する画像取得ステップをさらに有し、
    前記フレーム間移動距離取得ステップでは、前記画像取得ステップにおいて取得された複数の前記画像に基づいて前記フレーム間移動距離を取得する、
    請求項７又は９に記載の欠陥検出方法。
12. 前記欠陥判定ステップでは、前記熱画像に撮像される前記検査対象と異なる被写体の位置を示す位置情報が、前記熱画像に基づいて検出された欠陥部位の位置を示す場合、前記欠陥部位を欠陥でないと判定する、
    請求項７又は９に記載の欠陥検出方法。

Images