JP2020007760A - ひび割れ検出装置、ひび割れ検出方法およびひび割れ検出プログラム - Google Patents

Abstract

【課題】排水性舗装のひび割れを精度よく判定することが可能なひび割れ検出装置を提供する。【解決手段】ひび割れ検出装置は、舗装路面の撮影画像に基づいて舗装路面が排水性舗装か否かを判定する判定部と、判定部の判定結果に基づいて画像処理を実行する画像処理部と、画像処理部の画像処理結果に基づいて、舗装路面のひび割れを検出する検出部とを備える。【選択図】図１

Description

本開示は、舗装路面に関し、舗装路面のひび割れの検出方式に関する。

事故を未然に防ぐため、舗装路面にひび割れなどが発生していないかを検査することが必要である。

従来の検査方式としては、目視点検により行われていたが、このような検査は手間もコストもかかるという問題がある。

近年ではレーザ測距儀やビデオカメラなどのセンサを搭載した計測車両を用いて検査することにより検査の効率化が進められている。

特許文献１には、車載用の舗装路面巡視装置が提案されている。舗装路面巡視装置によれば、安全かつ簡易に路面の検査に必要な情報を収集することができる。

具体的には、アスファルト舗装を撮影した像を解析することにより、路面のひび割れを自動で検出する。この手法によれば、ユーザの目視によるひび割れの検出と比較して、均一な基準で高精度にひび割れを検出することが可能になる。

特許文献２には、画像解析に際して、例えば輝度の変化に基づいてひび割れの有無を判断する方式が開示されている。

一方で、舗装路面には種々の材質が用いられており、近年では、密粒度の舗装路面ではなく、排水性の舗装路面（排水性舗装路面とも称する）が増加している。

特許６２９４５２９号 特開２０１８−８７４８４号公報

排水性舗装路面は、排水性能を向上させるために骨材間に空隙が設けられた構造を有している。したがって、従来方式のように、画像解析による輝度の変化に基づいてひび割れの有無を判断する場合には、骨材間の空隙もひび割れとして判断する可能性がある。

本開示は、上記の問題点を解決するためになされたものであり、排水性舗装のひび割れを精度よく判定することが可能なひび割れ検出装置、ひび割れ検出方法およびひび割れ検出プログラムを提供することを目的とする。

ある局面に従うひび割れ検出装置は、舗装路面の撮影画像に基づいて舗装路面が排水性舗装か否かを判定する判定部と、判定部の判定結果に基づいて画像処理を実行する画像処理部と、画像処理部の画像処理結果に基づいて、舗装路面のひび割れを検出する検出部とを備える。

好ましくは、判定部は、撮影画像の陰領域とそれ以外の領域とを２値化処理する２値化処理部と、陰領域の面積を集計する集計部と、集計部により集計した面積値が所定値以上であるか否かを判定する面積判定部とを含む。

好ましくは、面積判定部は、集計部により集計した面積値が所定値以上であると判断した場合には、舗装路面は排水性舗装路面と判定する。

好ましくは、画像処理部は、撮影画像の全体に対して色調補正処理する。
好ましくは、画像処理部は、判定部の判定結果として舗装路面が排水性舗装路面であると判定した場合には、所定面積以下の撮影画像の陰領域に対して色調補正処理する。

好ましくは、検出部は、画像処理部により補正された撮影画像の輝度の変化に基づいてひび割れを検出する。

好ましくは、検出部は、機械学習により舗装路面のひび割れを検出する。
好ましくは、撮影画像をパッチ単位に分割し、パッチ画像と、パッチ画像に含まれる変状箇所と非変状箇所とを示す２値画像とを関連付けた機械学習の教師データとして生成するデータ生成部をさらに備える。

ある局面に従うひび割れ検出方法であって、舗装路面の撮影画像に基づいて舗装路面が排水性舗装か否かを判定するステップと、判定結果に基づいて画像処理を実行するステップと、画像処理結果に基づいて、舗装路面のひび割れを検出するステップとを備える。

ある局面に従うコンピュータを、ひび割れ検出装置として機能させるためのプログラムであって、プログラムは、コンピュータに、舗装路面の撮影画像に基づいて舗装路面が排水性舗装か否かを判定する判定部と、判定部の判定結果に基づいて画像処理を実行する画像処理部と、画像処理部の画像処理結果に基づいて、舗装路面のひび割れを検出する検出部として、機能させる。

本開示のひび割れ検出装置、ひび割れ検出方法およびひび割れ検出プログラムは、ひび割れを精度よく判定することが可能である。

実施形態１に従うひび割れ検出装置１０について説明する図である。 実施形態１に基づく撮像画像に対する色調補正処理について説明する図である。 実施形態１に基づく２値化処理について説明する図である。 実施形態１に従う画像処理部２３における排水性舗装路面の画像データに対する画像処理について説明する図である。 実施形態１に従うひび割れ検出装置１０の処理のフローを説明する図である。 実施形態２に従うひび割れ検出装置１１を説明する図である。 実施形態２に従う教師データを説明する図である。

実施形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。

（実施形態１）
図１は、実施形態１に従うひび割れ検出装置１０について説明する図である。

図１を参照して、ひび割れ検出装置１０は、ＣＰＵ（Central Processing Unit）２０と、表示部１４と、メモリ１６と、操作部１８とを含む。

ＣＰＵ２０は、ひび割れ検出装置１０全体を制御する。
ＣＰＵ２０は、メモリ１６に格納されているプログラムを実行することにより種々の機能ブロックを実現する。

具体的には、ＣＰＵ２０は、データ取得部２１と、検出部２２と、画像処理部２３と、判定部２５とを含む。

メモリ１６は、コンピュータに内蔵されるＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスクなどの記憶装置である。メモリ１６は、データ取得部２１、検出部２２、画像処理部２３および判定部２５の処理プログラムを含む各種プログラムや各種データを記憶し、ＣＰＵ２０との間でこれらの情報を入出力する。

表示部１４は、液晶モニタ等の画像表示装置である。操作部１８は、キーボードやマウスなどで構成される。

ひび割れ検出装置１０は、取得した舗装路面の撮像画像に基づいてひび割れを検出する。

本例においては、一例としてラインセンサカメラを車両に搭載して、舗装路面を撮像した撮像画像を用いる場合について説明する。なお、舗装路面は、一例として車両が走行する道路等のアスファルト舗装路面について説明するが、特に道路に限られず舗装された路面であればどのような用途の路面にも適用可能である。また、ラインセンサカメラに限られず、他のカメラ等を用いた撮影画像を用いることも可能である。

データ取得部２１は、ラインセンサカメラによる撮像画像である画像データを取得する。当該画像データは、メモリ１６に予め格納されていても良いし、ネットワークを介して外部のサーバから取得するようにしても良い。

検出部２２は、撮像画像に含まれる舗装路面のひび割れを検出する。
画像処理部２３は、舗装路面の画像データに対して所定の画像処理を実行する。具体的には、画像処理部２３は、舗装路面の画像データに対して色調を補正する色調補正処理を実行する。

判定部２５は、撮像画像の舗装路面が排水性舗装路面か否かを判定する。
判定部２５は、２値化処理部２６と、集計部２７と、面積判定部２８とを含む。

２値化処理部２６は、舗装路面の撮影画像の画像データに基づいて２値化処理を実行する。

集計部２７は、２値化処理されたデータに基づいて陰領域の面積を集計する。
面積判定部２８は、集計された陰領域の面積が所定の面積値以上か否かを判定し、所定の面積値以上であれば排水性舗装路面と判定する。

図２は、実施形態１に基づく撮像画像に対する色調補正処理について説明する図である。

図２を参照して、画像処理部２３における色調補正処理について説明する。
図２（Ａ）に示されるように色調補正処理部３０は、色調補正処理の対象とする画像領域全体の輝度値のヒストグラムの平均値と標準偏差とを算出する。

ここでは、一例として平均値Ｍｗおよび標準偏差Ｓｗが算出された場合が示されている。

次に、図２（Ｂ）に示されるように色調補正処理部３０は、画像領域を複数の小領域に分割して、各領域毎の輝度値のヒストグラムの平均値と標準偏差とを算出する。

ここでは、一例としてある小領域Ｐの輝度値のヒストグラムの平均値Ｍ１および標準偏差Ｓ１が算出された場合が示されている。また、小領域Ｑの輝度値のヒストグラムの平均値Ｍ２および標準偏差Ｓ２が算出された場合が示されている。

そして、小領域毎の輝度値のヒストグラムの平均値と標準偏差とを画像領域全体の輝度値のヒストグラムの平均値と標準偏差とに合わせるように補正処理を実行する。

具体的には、小領域Ｐに従う補正係数ａ１，ｂ１と、小領域Ｑに従う補正係数ａ２，ｂ２とを算出する。

補正係数ａ１＝Ｍｗ／Ｍ１
補正係数ｂ１＝Ｍｗ−ａ１×Ｍ１
補正係数ａ２＝Ｍｗ／Ｍ２
補正係数ｂ２＝Ｍｗ−ａ２×Ｍ２
図２（Ｃ）には、小領域Ｐに従う補正係数ａ１，ｂ１と、小領域Ｑに従う補正係数ａ２，ｂ２と、小領域Ｒに従う補正係数ａ３，ｂ３と、小領域Ｓに従う補正係数ａ４，ｂ４とが示されている。

図２（Ｄ）には、算出した補正係数を用いて任意の画素に対して共一次内挿法により色調補正処理を実行した場合が示されている。

画像データの一部が暗い場合であっても当該色調補正処理により平滑化された画像データに補正することが可能である。

図３は、実施形態１に基づく２値化処理について説明する図である。
図３を参照して、ここでは、排水性舗装路面に対する２値化処理と、密粒度舗装路面に対する２値化処理の結果とが示されている。

図３（Ａ）には、平滑化された排水性舗装路面の画像データの一部領域（点線領域）に対して２値化処理部２６による２値化処理の結果が示されている。具体的には、２値化処理部２６は、判別分析法を用いて画像データに対して２値化処理を実行する。ここでは、滑剤に対応する黒領域と、滑剤間の空隙に対応する白領域とに２値化した場合が示されている。そして、さらに反転表示されている。すなわち、空隙に対応する部分に色が付加されている。

ここでは、滑剤間の空隙領域の面積が大きい領域が多数出現している。なお、本例においては２値化処理部２６は、判別分析法を用いて２値化処理する方式について説明したが、特にこれに限られず、輝度値に従って２値化処理しても良く、最適な方式を採用することが可能である。

図３（Ｂ）には、平滑化された密粒度舗装路面の画像データの一部領域（点線領域）に対して２値化処理部２６による２値化処理の結果が示されている。具体的には、２値化処理部２６は、判別分析法を用いて画像データに対して２値化処理を実行する。ここでは、滑剤に対応する黒領域と、滑剤間の空隙に対応する白領域とに２値化した場合が示されている。そして、さらに反転表示されている。すなわち、空隙に対応する部分に色が付加されている。

ここでは、滑剤間の空隙領域の面積が小さい領域が多数出現している。
当該図に示されるように、空隙領域の面積を集計して所定値と比較することにより、舗装路面の種別を判別することが可能である。

実施形態１においては、滑剤間の空隙領域の面積を集計して所定値と比較し、所定値以上であれば排水性舗装路面と判定する。所定値は、任意の値に設定することが可能である。

図４は、実施形態１に従う画像処理部２３における排水性舗装路面の画像データに対する画像処理について説明する図である。

図４を参照して、画像処理部２３は、上述した図２で説明した方式に従って画像領域全体に対して色調補正処理を実行する。これにより、平滑化した画像データに補正される。

判定部２５は、画像領域全体に対して色調補正処理した画像データに対して２値化処理を実行する。そして、２値化処理後、空隙領域の面積を集計する。集計された空隙領域の面積が所定の面積値以上か否かを判定する。本例においては、集計された空隙領域の面積が所定の面積値以上であるとして排水性舗装路面であると判定する。

画像処理部２３は、排水性路面であるとの判定結果に基づいて、空隙領域に対して色調補正処理を実行する。

具体的には、画像処理部２３は、排水性舗装路面の画像データに対して所定の面積以下の空隙領域（陰領域）を抽出する。所定の面積は、シミュレーション等を用いて空隙領域の中央値等の値に適宜設定することが可能である。

画像処理部２３は、抽出された空隙領域に対して、再度、色調補正処理を実行する。
具体的には、図２で説明したのと同様の色調補正処理を実行する。

空隙領域の輝度値のヒストグラムの平均値と標準偏差を算出し、画像領域全体の輝度値のヒストグラムの平均値と標準偏差とに合わせるように補正処理を実行する。

当該色調補正処理により、骨材間の空隙領域がさらに平滑化された画像データに補正することが可能である。すなわち、骨材間の空隙領域以外のひび割れ領域が顕在化した画像データに補正される。

そして、当該色調補正処理した画像データに対してひび割れ検出を実行する。
具体的には、検出部２２は、舗装路面の画像データに含まれる舗装路面のひび割れを検出する。検出部２２は、一例として輝度の変化に基づいてひび割れの有無を判断することが可能である。

図５は、実施形態１に従うひび割れ検出装置１０の処理のフローを説明する図である。
図５を参照して、ＣＰＵ２０は、舗装路面の画像データに対して色調補正処理を実行する（ステップＳ０）。具体的には、色調補正処理部３０は、図２で説明したように舗装路面の画像データ全体に対して共一次内挿法を用いた色調補正処理を実行する。

次に、ＣＰＵＹ２０は、舗装路面の画像データに対して２値化処理を実行する。具体的には、２値化処理部２６は、図３で説明したように、色調補正処理された画像データに対して判別分析法を用いた２値化処理を実行する。

次に、ＣＰＵ２０は、空隙領域（陰領域）の面積を集計する（ステップＳ４）。
具体的には、集計部２７は、２値化処理により分別された滑剤間の空隙領域の面積を集計する。

次に、ＣＰＵ２０は、空隙領域（陰領域）の面積が所定値以上であるか否かを判定する（ステップＳ６）。面積判定部２８は、集計部２７により集計された滑剤間の空隙領域が所定値以上であるか否かを判定する。

ステップＳ６において、ＣＰＵ２０は、空隙領域（陰領域）の面積が所定値以上であると判断した場合（ステップＳ６においてＹＥＳ）には、排水性舗装路面と判定する（ステップＳ８）。面積判定部２８は、集計部２７により集計された滑剤間の空隙領域が所定値以上であると判断した場合に排水性舗装路面と判定する。

次に、ＣＰＵ２０は、空隙領域（陰領域）を抽出する（ステップＳ１０）。
具体的には、画像処理部２３は、図４で説明したように、排水性舗装路面と判定された画像データに対して空隙領域（陰領域）を抽出する。

次に、ＣＰＵ２０は、空隙領域（陰領域）の画像データに対して色調補正処理を実行する（ステップＳ１２）。具体的には、画像処理部２３は、排水性舗装路面と判定された空隙領域の画像データに対して共一次内挿法を用いた色調補正処理を実行する。すなわち、空隙領域の輝度値のヒストグラムの平均値と標準偏差を算出し、画像領域全体の輝度値のヒストグラムの平均値と標準偏差とに合わせるように補正処理を実行する。

次に、ＣＰＵ２０は、ひび割れ検出を実行する（ステップＳ１４）。具体的には、検出部２２は、色調補正処理された画像データに基づいて舗装路面のひび割れを検出する。具体的には、一例として輝度の変化に基づいてひび割れの有無を判断して、当該領域を抽出することが可能である。

そして、処理を終了する（エンド）。
一方で、ステップＳ６において、ＣＰＵ２０は、空隙領域（陰領域）の面積が所定値未満であると判断した場合（ステップＳ６においてＮＯ）には、ステップＳ８以降の処理をスキップして、ステップＳ１４に進む。以降の処理は同様であるのでその詳細な説明については繰り返さない。

実施形態１に従う方式は、２値化処理により空隙領域を特定して、当該空隙領域の面積を集計することにより排水性舗装路面か否かを判定する。そして、排水性舗装路面であると判定した場合には、当該空隙領域を抽出し、当該抽出した空隙領域に対して色調補正処理を実行する。当該処理により、骨材間の空隙領域が平滑化された画像データ、すなわち、骨材間の空隙領域以外のひび割れ領域が顕在化した画像データに補正される。

これにより、空隙領域（陰領域）がひび割れと判断されることを抑制することが可能であり、排水性舗装のひび割れを精度よく判定することが可能である。

（実施形態２）
実施形態２においては、機械学習によりひび割れ検出を効率的に実行する方式について説明する。

図６は、実施形態２に従うひび割れ検出装置１１を説明する図である。
図６を参照して、ひび割れ検出装置１１は、ＣＰＵ２０をＣＰＵ２０＃に置換した点が異なる。その他の構成については同様であるのでその詳細な説明については繰り返さない。

ＣＰＵ２０＃は、ＣＰＵ２０と比較してデータ生成部４０をさらに含む。
データ生成部４０は、機械学習で用いる教師データを作成する。

図７は、実施形態２に従う教師データを説明する図である。
図７に示されるように、データ生成部４０は、画像データを小領域（パッチ単位）に分割し、各パッチに含まれる変状（ひび割れ）箇所と非変状箇所とを示す２値画像と、対応する画像とを関連付けた教師データを生成する。ここでは、一例として２０個の教師データを生成した場合が示されている。

変状箇所と非変状箇所とを示す２値画像は、検出部２２の検出結果に基づいて生成しても良いし、管理者が操作部１８を用いて当該箇所をマーキングすることにより生成しても良い。

また、データ生成部４０は、教師データを機械学習により追加する。
検出部２２は、機械学習により生成された教師データを用いて、例えばパターンマッチング等を利用してひび割れを検出することが可能である。

当該構成により、ひび割れ検出を効率的に実行することが可能である。
また、本実施形態におけるプログラムとして、パーソナルコンピュータで実行可能なアプリケーションを提供してもよい。このとき、本実施の形態に係るプログラムは、パーソナルコンピュータ上で実行される各種アプリケーションの一部の機能として組み込まれてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０，１１ ひび割れ検出装置、１４ 表示部、１６ メモリ、１８ 操作部、２１ データ取得部、２２ 検出部、２３ 画像処理部、２５ 判定部、２６ ２値化処理部、２７ 集計部、２８ 面積判定部、４０ データ生成部。

Claims (10)

1. 舗装路面の撮影画像に基づいて前記舗装路面が排水性舗装か否かを判定する判定部と、
   前記判定部の判定結果に基づいて画像処理を実行する画像処理部と、
   前記画像処理部の画像処理結果に基づいて、前記舗装路面のひび割れを検出する検出部とを備える、ひび割れ検出装置。
2. 前記判定部は、
   前記撮影画像の陰領域とそれ以外の領域とを２値化処理する２値化処理部と、
   前記陰領域の面積を集計する集計部と、
   前記集計部により集計した面積値が所定値以上であるか否かを判定する面積判定部とを含む、請求項１記載のひび割れ検出装置。
3. 前記面積判定部は、前記集計部により集計した面積値が所定値以上であると判断した場合には、前記舗装路面は排水性舗装路面と判定する、請求項２記載のひび割れ検出装置。
4. 前記画像処理部は、前記撮影画像の全体に対して色調補正処理する、請求項２記載のひび割れ検出装置。
5. 前記画像処理部は、前記判定部の判定結果として前記舗装路面が排水性舗装路面であると判定した場合には、所定面積以下の前記撮影画像の陰領域に対して色調補正処理する、請求項３記載のひび割れ検出装置。
6. 前記検出部は、前記画像処理部により補正された前記撮影画像の輝度の変化に基づいてひび割れを検出する、請求項５記載のひび割れ検出装置。
7. 前記検出部は、機械学習により前記舗装路面のひび割れを検出する、請求項１記載のひび割れ検出装置。
8. 前記撮影画像をパッチ単位に分割し、前記パッチ画像と、前記パッチ画像に含まれる変状箇所と非変状箇所とを示す２値画像とを関連付けた前記機械学習の教師データとして生成するデータ生成部をさらに備える、請求項７記載のひび割れ検出装置。
9. 舗装路面の撮影画像に基づいて前記舗装路面が排水性舗装か否かを判定するステップと、
   判定結果に基づいて画像処理を実行するステップと、
   画像処理結果に基づいて、前記舗装路面のひび割れを検出するステップとを備える、ひび割れ検出方法。
10. コンピュータを、ひび割れ検出装置として機能させるためのプログラムであって、
    前記プログラムは、前記コンピュータに、
    舗装路面の撮影画像に基づいて前記舗装路面が排水性舗装か否かを判定する判定部と、
    前記判定部の判定結果に基づいて画像処理を実行する画像処理部と、
    前記画像処理部の画像処理結果に基づいて、前記舗装路面のひび割れを検出する検出部として、機能させる、ひび割れ検出プログラム。