JP2011259137A - 表面特徴検出装置および表面特徴検出方法 - Google Patents

Abstract

【課題】照明条件の制約を受けず、特殊な装置が必要なく、フラッシュによる強調表現を避けつつ、対象物の表面の特徴を得る。
【解決手段】通常光でカメラ（図示せず）により対象物の表面を撮影する通常光撮影手段１００と、通常光でない特殊光でカメラ（図示せず）により表面を撮影する特殊光撮影手段１１０と、通常光撮影手段１００で撮影された画像と特殊光撮影手段１１０で撮影された画像とを蓄積するデータ蓄積手段１２０と、各画像の輝度の分散を求め、分散により輝度を正規化し、正規化後の各画像の相関を求める画像相関処理手段１３０と、画像相関処理手段で得られた差分画像を表示手段１５０に出力する表面特徴検出手段１４０とを備える。
【選択図】図１

Description

本発明は、マルチメディア分野、符号化分野、通信分野、非破壊検査分野において、実環境におけるモニタリングや画像センシング、映像製作などに関係する産業分野に属するものである。

従来において、画像処理では対象のさまざまな特徴解析がなされてきた（非特許文献１を参照）。用途にもよるが、その基本的な処理は、対象の輪郭線や表面のエッジを検出・解析することである。このような検出においては、環境条件が検出結果に影響を及ぼすことから、多くの場合、前処理が必要となっている。これには、ノイズの影響を緩和するために、ローパスフィルタが適用される。一方で、前処理は対象が本来もっている細かい特徴を除去し、または、ぼやかしてしまう問題があることも知られている。細かい特徴の例として、ひび割れがあり、建築物の表面特徴の一つとして画像診断により解析が進められつつある。この解析においては、細線化処理などによる、ひび割れの検出が行われる。しかし、これは、環境条件の照明変化が少ない場合や安定している場合に限り行われる。また、陰影を伴っている場合はカメラのフラッシュ機能が用いられてきた。しかし、フラッシュ機能を用いると、観測視野内のすべてが強調されてしまう問題があり、逆に、ひび割れがわかりにくくなっていた。例えば、超音波装置など、特殊な装置を用いることで照明条件の影響は避けることができる。しかし、一般的な観測・診断手段ではなく、装置の設置面ごとに用いる必要がある。そのため、遠隔かつ広い範囲にわたって解析することが困難であった。

カメラには、さまざまな機能が備わっているが、その中で、人物の夜間での撮影についてのものがある。通常はフラッシュ機能だけを使うと、人物は強調されるが、背景がほとんど映らなくなってしまう。一方で、フラッシュ機能をもちないと、背景は露光時間をあげると映るようになるが人物はぼやけてしまう。そのため、露光時間と、フラッシュを適用することに時間差をつけることがなされている。これは２つの画像を合成する機能に等しい。この機能において、ＲＧＢの色チャネルは同一の処理がなされており、差分処理は用いられていないので、特定の特徴の検出はできない。

ディジタル画像処理編集委員会 監修，"ディジタル画像処理"、（財）画像情報教育振興協会

本発明が解決すべき第１の問題点は、照明条件の制約を受けずに細かい特徴が得られていなかったことである。また、本発明が解決すべき第２の問題点は，特殊な装置が必要であったことである。また、本発明が解決すべき第３の問題点は，フラッシュによる強調表現を避ける必要があったことである。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、上記問題点を解決する表面特徴検出装置および表面特徴検出方法を提供することにある。

上記の課題を解決するために、第１の本発明は、通常光でカメラにより対象物の表面を撮影する通常光撮影手段と、前記通常光でない特殊光でカメラにより前記表面を撮影する特殊光撮影手段と、前記通常光撮影手段で撮影された画像と前記特殊光撮影手段で撮影された画像とを蓄積するデータ蓄積手段と、前記各画像の輝度の分散を求め、前記分散により輝度を正規化し、正規化後の各画像の相関を求める画像相関処理手段と、前記画像相関処理手段で得られた差分画像を所定の出力手段に出力する表面特徴検出手段とを備えることを特徴とする表面特徴検出装置をもって解決手段とする。

第２の本発明は、通常光でカメラにより対象物の表面を撮影する通常光撮影工程と、前記通常光でない特殊光でカメラにより前記表面を撮影する特殊光撮影工程と、前記通常光撮影工程で撮影された画像と前記特殊光撮影工程で撮影された画像とを蓄積するデータ蓄積工程と、前記各画像の輝度の分散を求め、前記分散により輝度を正規化し、正規化後の各画像の相関を求める画像相関処理工程と、前記画像相関処理工程で得られた差分画像を所定の出力手段に出力する表面特徴検出工程とを備えることを特徴とする表面特徴検出方法をもって解決手段とする。

本発明によれば、照明条件の制約を受けず、特殊な装置が必要なく、フラッシュによる強調表現を避けつつ、対象物の表面の特徴を得ることができる。

本実施の形態に係る表面特徴検出装置の構成図である。 対象の細かい特徴を検出する場合の光学系についての説明図である。 ひび割れ付近における反射特性についての説明図である。 通常光とフラッシュ光による画像の差分画像によるひび割れ検出の結果を示す図である。 図４における手法との比較実験の結果を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。

本実施の形態に係る表面特徴検出装置は、通常光でカメラ（図示せず）により対象物の表面を撮影する通常光撮影手段１００と、通常光でない特殊光でカメラ（図示せず）により表面を撮影する特殊光撮影手段１１０と、通常光撮影手段１００で撮影された画像と特殊光撮影手段１１０で撮影された画像とを蓄積するデータ蓄積手段１２０と、各画像の輝度の分散を求め、分散により輝度を正規化し、正規化後の各画像の相関を求める画像相関処理手段１３０と、画像相関処理手段で得られた差分画像を表示手段１５０に出力する表面特徴検出手段１４０とを備える。

カメラは、例えば、一般的なフィルムカメラやデジタルカメラである。

例えば、対象物の表面には、ひび割れがあり、このひび割れの特徴を得るべく、表面特徴検出装置が使用される。通常光とは、例えば、太陽光である。一方、特殊光とは、例えば、特殊光撮影手段１１０のカメラに設けられたフラッシュ装置の光である。

例えば、画像相関処理手段１３０は、各画像の３色のチャネルごとに処理を行う。

例えば、表面特徴検出手段１４０は、表面特徴検出手段１４０は、その３色のチャネルごとの差分画像の１つを予め定めたしきい値を使用して選択し出力する。また、表面特徴検出手段１４０は、ひび割れなどの細かい特徴を検出・解析し、その特徴を表示させる。

図２は、対象の細かい特徴を検出する場合の光学系についての説明図である。ある表面２３０でひび割れ２３１がある場合を想定する。環境外乱の一つである太陽光２４０を光源とする照明条件はいくつかの典型的な光学経路からなる。一つは光源から対象の表面２００で反射してカメラ２５０へ入射するものや、ひび割れの中で反射したもの（符号２１０）、光源から直接カメラへ入射するもの（符号２２０）がある。

カメラのフラッシュ２６０を光源とした場合、フラッシュ光２７０はひび割れの中で反射したあと、カメラで観測される。このように，カメラ画像はフラッシュを用いた場合と用いない場合で環境外乱を受けるかどうかが左右される。特に、フラッシュによる反射が太陽光によるものよりも強い場合は、余分な陰影の影響は少なくなる。

ひび割れはその深さによるが、表面に比べると，その明るさは低く暗いのが特徴である。カメラ視線とひび割れの深さとの関係によるが、ひび割れの位置を問題とするときは、深さは別の目的において必要となる。

図３は、ひび割れ付近における反射特性についての説明図である。表面付近３００において、ひび割れの反射特性には特徴がある。まず、ひび割れ付近の一部を拡大（符号３１０）した場合について述べる。光源として太陽光もしくはフラッシュがあるとき、ひび割れの角の部分３２０は強い反射を示すことがある。これは特に、フラッシュによる場合において顕著である。そこからの反射光はカメラ３３０で撮影される。

図４は、本実施の形態による、通常光とフラッシュ光による画像の差分画像によるひび割れ検出の結果である。

通常光（環境光）のもとで、ひび割れのある場所を撮影する（符号４００）。この図は対象を真上からみたものである。また，フラッシュ光のもとで、同じ場所を撮影して画像を得る（符号４１０）。前者では、ひび割れはわかりにくく、ひび割れ以外の余分な背景も映されてしまっている。一方，後者には背景の物体はほとんど映し出されていなく、ひび割れは途切れたものとなっている。それぞれの画像については、撮影後、それぞれの輝度の分散を求め、分散により輝度の正規化を施す。これはそれぞれの輝度のダイナミックレンジが異なっているために必要な処理である。次に、２つの異なる光源により得られた画像の相関をとったものを最終的な出力画像とした（符号４２０）。これにより、背景はなくなり、ひび割れはより連続的なものになる効果がある。本実施の形態では、前処理を適用しないで済む特徴がある。なお、相関の計算には、非特許文献１などに記載の相関関数あるいは正規化相関関数を用いる。

従来では、上記の処理が適用されるにあたり、ＲＧＢのカラー画像を用いる場合は、ＨＳＶなどのカラー変換モデルにより、モノクロ画像へ変換し、そのうちの１つのチャネルの画像が用いられる。しかし、本実施の形態では、カラー変換モデルを用いずに、ＲＧＢの３つのチャネルごとの画像に独立に処理を加えた。つまり、それぞれの３つのチャネルより得られる出力画像について、相関をもとめて、しきい値が０．７以上の画像を最終的なひび割れ画像として得た。

以上のような処理により、ひび割れ以外の背景や環境外乱の影響が抑制された。また、必要に応じて、断片的なひび割れについては、非特許文献１などに記載の膨張、収縮処理などにより、連結ができる。

図５は、図４における手法との比較実験の結果を示す図である。比較のため、通常光のもとで得られた画像に対して前処理としてローパスフィルタを適用した（符号５００）。その結果、弱い特徴であるひび割れは背景と融合してしまい、消去されてしまっている。また、背景の物体はひび割れよりも強い特徴であったために残されている。

ひび割れに対して、細線化処理を行うと物体の輪郭線が得られ、同時に、ひび割れも得られる（符号５１０）。そのため、双方を自動的に識別するための手法が別途必要となる。

以上のように、本実施の形態によれば、照明条件の制約を受けず、特殊な装置が必要なく、フラッシュによる強調表現を避けつつ、対象物の表面の特徴を得ることができる。

つまり、照明変化の影響が緩和され、細かい特徴が容易に得られ、また、これを一般的なカメラで実現することができる。

なお、本実施の形態に係る表面特徴検出方法をコンピュータを用いて実行してもよい。また、そのためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

１００…通常光撮影手段
１１０…特殊光撮影手段
１２０…データ蓄積手段
１３０…画像相関処理手段
１４０…表面特徴検出手段
１５０…表示手段

Claims (9)

1. 通常光でカメラにより対象物の表面を撮影する通常光撮影手段と、
   前記通常光でない特殊光でカメラにより前記表面を撮影する特殊光撮影手段と、
   前記通常光撮影手段で撮影された画像と前記特殊光撮影手段で撮影された画像とを蓄積するデータ蓄積手段と、
   前記各画像の輝度の分散を求め、前記分散により輝度を正規化し、正規化後の各画像の相関を求める画像相関処理手段と、
   前記画像相関処理手段で得られた差分画像を所定の出力手段に出力する表面特徴検出手段と
   を備えることを特徴とする表面特徴検出装置。
2. 前記特殊光は前記特殊光撮影手段の位置から前記表面に向けて出射するものである請求項１記載の表面特徴検出装置。
3. 前記画像相関処理手段は、前記各画像の３色のチャネルごとに処理を行うことを特徴とする請求項１または２記載の表面特徴検出装置。
4. 前記表面特徴検出手段は、前記画像相関処理手段で得られた３色のチャネルごとの差分画像の１つを予め定めたしきい値を使用して選択し出力することを特徴とする請求項３記載の表面特徴検出装置。
5. 通常光でカメラにより対象物の表面を撮影する通常光撮影工程と、
   前記通常光でない特殊光でカメラにより前記表面を撮影する特殊光撮影工程と、
   前記通常光撮影工程で撮影された画像と前記特殊光撮影工程で撮影された画像とを蓄積するデータ蓄積工程と、
   前記各画像の輝度の分散を求め、前記分散により輝度を正規化し、正規化後の各画像の相関を求める画像相関処理工程と、
   前記画像相関処理工程で得られた差分画像を所定の出力手段に出力する表面特徴検出工程と
   を備えることを特徴とする表面特徴検出方法。
6. 前記特殊光は前記特殊光撮影工程を行う位置から前記表面に向けて出射するものである請求項５記載の表面特徴検出方法。
7. 前記画像相関処理工程は、前記各画像の３色のチャネルごとに処理を行うことを特徴とする請求項５または６記載の表面特徴検出方法。
8. 前記表面特徴検出工程は、前記画像相関処理工程で得られた３色のチャネルごとの差分画像の１つを予め定めたしきい値を使用して選択し出力することを特徴とする請求項７記載の表面特徴検出方法。
9. 請求項５ないし８のいずれかに記載の表面特徴検出方法をコンピュータを用いて実行するためコンピュータプログラム。