JP2020085546A - 構造物の点検・補修支援システム - Google Patents

Abstract

【課題】点検者が撮影した損傷部分を含む画像から、点検をすることが適切な検査範囲としての関心領域を自動抽出して表示することができる構造物の点検・補修支援システムを提供する。【解決手段】関心領域決定部７は、１以上の対象損傷部分を含む画像データを入力として、少なくとも過去に点検を行って得た複数の損傷部分を含む画像データ及び該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて、１以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定する。表示データ作成部９は、１以上の対象損傷部分の画像の上に関心領域を表示した表示画像を画像表示装置１１の表示画面に表示する。【選択図】 図１

Description

本発明は、コンクリート構造物等の構造物の点検・補修をするための情報を提供する構造物の点検・補修支援システムに関するものである。

国内には高度成長期に建設された道路などのインフラが数多く存在し、高齢化した構造物が全体に占める割合は急速に増加している。高齢化した構造物を維持管理するためには、適切な点検及び補修が必要不可欠である。発見された損傷部分は、専門家による目視点検等により損傷ランクが判定され、補修方針が決定される。特に緊急補修が必要な損傷部分においては、迅速かつ正確な判定が必要不可欠である。しかしながら、現在は少子高齢化等による技術者不足が課題となっており、効率的な維持管理が求められている。

このような事情から、特許第６３４７３８４号公報（特許文献１）には、橋梁点検で取得した変状画像などの点検データをシステムに登録すると、過去の点検データを検索し、類似の事案を提示するシステムが開示されている。具体的には、このシステムでは、損傷部分の変状情報に対する共起確率である共起性情報を記憶する共起性情報記憶部と、処理対象となる変状情報と予め受け付けた共起条件とに基づいて、共起性情報記憶部に記憶する共起性情報を参照することで、共起性による推薦順位のリストを生成し、処理対象となる変状情報における変状画像情報と、生成した共起性による推薦順位のリストにおける変状情報の変状画像情報との画像類似性の判定処理を実行することで画像類似性リストを生成し、共起性による推薦順位のリストと、画像類似性リストに基づいて処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成している。ここで共起性情報とは、事象ｙが起こるという条件の下で別の事象ｘが発生する共起確率Ｐ（ｘ｜ｙ）を示す情報である。そしてこのシステムでは、処理対象となる、新たに登録された未確定の損傷部分の変状情報（クエリ変状情報）の選択を受け付ける。この選択は，ユーザによる選択操作の入力を受け付けることでもよいし、何らかの方法により自動的に選択を受け付けてもよいとされている。

また特許第５４４３０５５号公報（特許文献２）には、鉄筋コンクリート表面の劣化因子の濃度と、鉄筋コンクリートのかぶりと、鉄筋コンクリートの供用年数とに基づき、鉄筋コンクリートの劣化度を診断するコンクリート診断システムが開示されている。このシステムでは、予め撮影した診断対象となる鉄筋コンクリートの対象構造物の画像上に、診断対象となる領域を設定すると共に、その設定した領域をメッシュに分割し、分割した領域の各メッシュごとに、鉄筋コンクリート表面の劣化因子の濃度、及び鉄筋コンクリートのかぶりを入力して設定すると共に、鉄筋コンクリートの供用年数を入力して設定し、入力された値を基に、各メッシュごとに劣化度を求め、求めた各メッシュの劣化度の大きさに応じて、各メッシュを色分けして表示部に表示する。

さらに特許第６０４２３１３号公報（特許文献３）には、コンクリート構造物の画像から、コンクリート構造物の表面に生じた劣化部分を画像処理によって自動検出する劣化検出装置が開示されている。この従来の装置では、記コンクリート構造物の画像に基づいて、それぞれ異なる方向のエッジを検出することによりそれぞれ異なる劣化部分候補画素を抽出し、抽出した劣化部分候補画素の論理積を算出することによりノイズ除去画像を生成し、該ノイズ除去画像から劣化部分を検出する。

特許第６３４７３８４号公報 特許第５４４３０５５号公報 特許第６０４２３１３号公報

しかしながら、特許文献１の発明では、未確定の損傷部分の特定は、点検者が撮影した画像から点検者が行うことになるため未確定の損傷部分の特定に点検者の熟練度が要求される。また特許文献２の発明でも、損傷部分の特定は点検者が行う必要がある。特許文献３の発明では、コンクリート構造物の表面に生じた劣化部分を画像処理によって自動検出するが、この自動検出では、熟練者の知識が活用できない上、点検者が実際に検査をすべき劣化部分の検査領域（関心領域）を知ることができない。

本発明の目的は、点検者が撮影した損傷部分を含む画像から、点検をすることが適切な検査範囲（関心領域）を自動抽出して表示することができる構造物の点検・補修支援システムを提供することにある。

また本発明の他の目的は、抽出した検査領域（関心領域）の損傷部分の画像に類似した過去の損傷画像を画像特徴量から検索し、その結果を提示することで、損傷に対する今後の維持管理に適切な支援を可能とする構造物の点検・補修支援システムを提供することにある。

さらに本発明の他の目的は、形状特徴量と色彩特徴量を結合した画像特徴量を用いて、検索精度を高めることができる構造物の点検・補修支援システムを提供することにある。

本発明の構造物の点検・補修支援システムは、画像データ取得部と、データ蓄積部と、関心領域決定部と、表示データ作成部を備えている。画像データ取得部は、点検対象のコンクリート構造物において損傷している損傷部分と該損傷部分の近傍とを撮影装置で撮影した１以上の対象損傷部分を含む画像データを取得する。データ蓄積部は、過去に点検を行って得た複数の損傷部分の画像データと、該複数の損傷部分の画像データに対応する検査範囲のデータを少なくとも含む複数の損傷部分の損傷データを蓄積する。そして関心領域決定部は、１以上の対象損傷部分を含む画像データを入力として、少なくとも過去に点検を行って得た複数の損傷部分を含む画像データ及び該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて、１以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定する。その上で、表示データ作成部は、１以上の対象損傷部分の画像の上に関心領域を表示した表示画像を画像表示装置の表示画面に表示する。

本発明によれば、点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて１以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定するので、点検者に適切な点検範囲を自動で提示することができる。

関心領域決定部は、過去に点検を行って得た複数の損傷部分を含む画像データ及び、該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして、損傷部分及び該損傷部分の周囲における損傷の有無の確率を出力として推定するように構築された学習モデルと、対象損傷部分を含む画像データを入力として学習モデルから出力された対象損傷部分及び該対象損傷部分の周囲領域における損傷の有無の確率が、予め定めた値を超える部分を含む領域を関心領域として決定する確率領域決定部とを備えている。本発明によれば、学習モデルが損傷の有無の確率を出力し、損傷の有無の確率が、予め定めた値を超える部分を含む領域を関心領域として決定するので、高い精度で関心領域を決定できる。

表示データ作成部は、関心領域の表示として、点検者が点検をすべき領域の輪郭形状を示す表示または輪郭を囲む矩形形状を示す表示を作成する。輪郭形状であれば、点検範囲が小さくて済む。また矩形状であれば、点検者の点検作業が容易になる。

関心領域決定部が決定した関心領域を点検者がマニュアル操作で補正したデータを検査範囲のデータとしてデータ蓄積部に蓄積する関心領域補正部をさらに備えていてもよい。このようにすると新規に点検した損傷部分の点検結果を補正して以後の点検に反映することが可能になる。

対象損傷部分の画像データ及び複数の損傷部分の画像データから画像特徴量を求める画像特徴量演算部と、画像特徴量演算部の演算結果から、対象損傷部分の画像に類似する複数の損傷部分の画像を複数選択する類似画像選択部をさらに備えていてもよい。そして、表示データ作成部は、類似画像選択部が選択した複数の損傷部分の画像を画像表示装置の表示画面に選択可能に表示する表示データを作成するのが好ましい。対象損傷部分の画像に類似する複数の損傷部分の画像を画像特徴量に基づいて選択可能に表示すると、画像特徴量に基づいて選択した過去の複数の損傷部分のデータの中から、点検者の経験を含めて対象損傷部分の修復に必要な過去の類似データを見つけることができる。この場合、データ蓄積部には、過去に点検を行って得た複数の損傷部分の画像データに対応して複数の損傷部分の補修履歴情報が蓄積されており、表示データ作成部は、表示画面に表示された複数の損傷部分の画像から選択された損傷部分の画像に対応する補修履歴情報を表示画面に表示する表示データを作成するのが好ましい。このようにすれば適切な補修履歴情報を点検者が得ることができる可能性が高くなる。またデータ蓄積部には、過去に点検を行って得た複数の損傷部分の画像データに対応して複数の損傷部分の損傷の程度を損傷クラスで表す損傷クラスデータが蓄積されており、表示データ作成部は、損傷クラスを前記複数の損傷部分の画像と一緒に表示画面に表示する表示データを作成するのが好ましい。このようにすると損傷クラスを目安として、点検者が対象損傷部分に近い過去の損傷部分の画像を選択することができる。

画像特徴量演算部が演算する画像特徴量は、形状特徴量と色彩特徴量を結合したものである。

対象損傷部分の画像データ及び複数の損傷部分の画像データがＲＧＢ画像データである場合、画像特徴量演算部は、ＲＧＢ画像データのＲＧＢ色空間をL*a*b*表色系に変換し、L*a*b*表色系に変換したデータからL*a*b*成分のうち、a*b*成分のみを分離し、分離したa*b*成分を量子化モデルにより量子化し、量子化して得た量子化色画像について色領域内Ｉと色の境界Ｂの２種類に分類し、分類した色領域内Ｉと色の境界Ｂについてそれぞれ量子化された各色の出現頻度を色彩特徴量（量子化ＢＩＣ特徴量）として抽出するのが好ましい。このようにして色彩特徴量を抽出すると、ある程度の認識できる明るさで撮影されていれば、画像の明るさの変化に依存しないで、データに基づいた色の違いに着目した特徴量を抽出することができる。したがって色彩特徴量により、例えば、撮影時が晴れであるか、曇りであるかなどの撮影条件に左右されることなく、画像データから特徴量を抽出することができる。

また画像特徴量演算部は、ＲＧＢ画像データをグレースケール画像データに変換し、変換したグレースケール画像データからノイズを除去し、ノイズを除去したグレースケール画像データから輪郭を抽出し、輪郭を抽出したグレースケール画像データからＨＬＡＣ特徴量を形状特徴量として抽出してもよい。このように形状特徴量を抽出すると、簡単に形状特徴量を抽出することができる。

画像特徴量演算部は、前記形状特徴量と前記色彩特徴量を連結し、連結した特徴量を正規化して画像特徴量として出力するのが好ましい。正規化して画像特徴量を用いれば、画像の大きさと無関係に画像特徴量を利用することができる。

本発明の本発明の構造物の点検・補修支援システムの第１の実施の形態の構成を示すブロック図である。 （Ａ）乃至（Ｄ）は、損傷画像と過去に実際に点検を行った検査範囲を説明するために用いる図である。 （Ａ）及び（Ｂ）は、矩形以外の関心領域の形状を示す図である。 データ蓄積部における損傷画像の蓄積処理の工程を示すフローチャートである。 関心領域決定部における処理の工程と、学習モデルを作成する処理の工程を示すフローチャートである。 図５の学習処理のステップＳＴ２３及びＳＴ２４の詳細を示すフローチャートである。 正解矩形画像と損傷画像検査範囲の例を示す図である。 ＳＳＤにおける畳み込み演算処理の前半を示す図である。 ＳＳＤにおける畳み込み演算処理の後半を示す図である。 ＳＳＤにおけるフィルタリストの各グリッド位置に対する異なるアスペクト比の説明に用いる図である。 図５の推定処理のステップＳＴ１３の詳細を示すフローチャートである。 （Ａ）は対象損傷画像、（Ｂ）は関心領域の例を示す図である。 ＣＮＮベースのＶＧＧモデルによる学習モデルを構成するための学習処理のフローチャートである。 ＶＧＧモデルからなる学習モデル構築するための損傷画像データ及び対応する損傷画像検査範囲を示す図である。 ＣＮＮベースの学習モデルを用いた関心領域の推定のフローチャートである。 ＣＮＮ演算で用いるネットワーク構造例を示す図である。 ＣＮＮ手法により関心領域を決定する過程を画像で示す図である。 学習モデルとしてのＳＳＤモデルとＶＧＧモデルの比較を示す図である。 本発明の第２の実施の形態の構成を示すブロック図である。 （Ａ）乃至（Ｃ）は、関心領域補正部の動作を説明するために用いる図である。 本発明の第３の実施の形態の構成を示すブロック図である。 表示データ作成部における表示データ作成処理の工程を示すフローチャートである。 画像表示装置の表示画面の表示の一例を示す図である。 （Ａ）及び（Ｂ）は、損傷部分の画像補修履歴情報の例を説明するために用いる図である。 画像特徴量演算部をソフトウエアで実現する場合のアルゴリズムの一例を示す図である。 （Ａ）は色量子化モデルを作成する工程を示す図であり、（Ｂ）は量子化ＢＩＣ特徴量を決定するアルゴリズムを示す図である。 色彩情報抽出の概念を示す図である。 代表色決定の概念を示す図である。 色量子化された画像中のすべてのピクセルにおける色情報をＩ（色領域内）とＢ（色の境界）に分類する例の説明に用いる図である。 量子化ＢＩＣ特徴を算出する例を示す図である。

以下図面を参照して、本発明の構造物の点検・補修支援システムの実施の形態を詳細に説明する。

［第１の実施の形態］
図１は、本発明の構造物の点検・補修支援システムの第１の実施の形態の構成を示すブロック図である。第１の実施の形態の構造物の点検・補修支援システム１は、画像データ取得部３と、データ蓄積部５と、関心領域決定部７と、表示データ作成部９と画像表示装置１１を備えている。本実施の形態では、画像データ取得部３〜表示データ作成部９までの主要部は、コンピュータにインストロールしたソフトウエアによってコンピュータの内部に実現されている。画像データ取得部３は、図２（Ａ）に示すような検査対象のコンクリート構造物において損傷している損傷部分と該損傷部分の近傍とをデジタルカメラ等の撮影装置で撮影した１以上の対象損傷部分ａ１〜ａ３を含む画像データを取得する。損傷部分は、コンクリート構造物から露出した鉄筋、コンクリートのひび割れや浮き、鋼構造物クラック等である。

画像データ取得部３の主要部は、コンピュータの入力ポートによって構成される。本実施の形態では、画像データ取得部３で取得した１以上の対象損傷部分を含む画像データは、関心領域決定部７に入力される。データ蓄積部５には、過去に点検を行って得た複数の損傷部分の画像データと、この複数の損傷部分の画像データに対応する検査範囲のデータを少なくとも含む複数の損傷部分の損傷データ（実際に点検を行った検査範囲、損傷場所、修復履歴、損傷ランキング等）が蓄積されている。図２（Ｃ）には過去に点検を行って得た損傷部分の画像データの一例を示している。図２（Ｄ）は、図２（Ｃ）の損傷画像に、過去に実際に点検を行った検査範囲Ｄ１を表示した画像データを示している。

図４は、データ蓄積部５における損傷画像の蓄積処理の工程を示すフローチャートである。ステップＳＴ１で過去の損傷画像データを読み込む。ステップＳＴ２では、実際に熟練者が点検または補修作業を行った点検範囲Ｄ１を損傷画像上に表示するための指定を行う。そしてステップＳＴ３で、データ蓄積部５内に構築した損傷画像データベースに損傷画像と点検範囲のデータを蓄積する。

関心領域決定部７は、１以上の対象損傷部分ａ１〜ａ３を含む画像データを入力として、少なくとも過去に点検を行って得た複数の損傷部分を含む画像データ及び該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が過去に決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて、１以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域ｂ１〜ｂ３［図２（Ｂ）参照］として決定する。表示データ作成部９は、対象損傷部分の画像の上に関心領域を表示した表示画像を画像表示装置１１の表示画面に表示する表示データを作成する。なお本実施の形態では、表示データ作成部９が、表示データである画像データと点検すべき関心領域を新たなデータとしてデータ蓄積部５に蓄積する。

図３（Ａ）及び（Ｂ）に示すように画像表示装置１１の表示画面に表示する関心領域ｂ４及びｂ５は、矩形以外の形状であってもよい。関心領域は、点検時に点検者が損傷部分を判定する際に参照（または確認または視認）すべき領域の範囲で、点検経験の少ない技術者に対しては経験を補う有用な情報となり、点検経験の多い熟練の技術者に対しては過去のデータに基づいた客観的な指標となる。

図５は、関心領域決定部７における処理の工程と、学習モデルを作成する処理の工程を示すフローチャートである。まずステップＳＴ１１において、１以上の対象損傷部分ａ１〜ａ３を含む画像データを読み込む。そしてステップＳＴ１２で、関心領域の学習モデルを読み込み、ステップＳＴ１３で関心領域を推定し、ステップＳＴ１４で関心領域を決定する。具体的には、学習モデルにより画像内から損傷有無の確率を推定する。そして損傷有無の確率に応じて、閾値を超えているか否かに基づいて関心領域（検査領域）を決定する。これは学習モデルにより入力された対象画像内から関心領域箇所の尤度を算出していることになる。

学習モデルを作成する場合の処理では、ステップＳＴ２１で複数の蓄積された過去の複数の損傷部分の画像データを読み出し、ステップＳＴ２２で過去に点検を行って得た該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が過去に決定した複数の損傷部分の検査範囲を含むデータを教師データとして読み出す。そしてステップＳＴ２３において学習処理を実行し、ステップＳＴ２４で関心領域を推定するために用いる学習モデルを生成する。ステップＳＴ２４では、関心領域決定用に設計した関心領域学習モデルの学習パラメータを決定する。

［学習モデルを用いた関心領域の決定］
関心領域決定用の学習モデルの生成と学習モデルを用いた関心領域の推定は、任意の手法を用いることが可能である。例えば、本実施の形態では、ＳＳＤ（Single Shot multi-box Detector）による手法と、ＶＧＧによる手法を用いている。これらの手法については、下記の論文に詳細に説明されている。

（ＳＳＤの文献） Liu, Wei, et al. "SSD: Single Shot MultiBox Detector." arXiv preprint arXiv:1512.02325 (2015).
（ＶＧＧの文献） K. Simonyan and A. Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recoginition. In Intl. Conf. on Learning Repre-sentations (ICLR), 2015.。

関心領域決定部７の処理は、画像データ取得部３から読み込んだ、対象損傷部分及びその近傍を含む取得画像データに対し、関心領域推定モデル生成処理で生成した関心領域推定の学習モデルを用いて、関心領域の推定を行い、対象損傷部分及びその近傍を含む損傷画像内で、検査者が損傷部分を判定する際に参照（又は確認又は視認）すべき検査領域を決定する。

図６は図５の学習処理のステップＳＴ２３の詳細を示すフローチャートである。この学習処理では、まず、読み込んだ複数の損傷画像データ及び対応する損傷画像検査範囲を用いて、正解矩形画像を生成する（ＳＴ２３１）。図７（Ａ−１）及び（Ａ−２）並びに図７（Ｂ−１）及び（Ｂ−２）に示すように、正解矩形画像は、データ蓄積部５で蓄積された損傷画像検査範囲を含む矩形領域を１、それ以外の領域を０とする２値画像となる。正解矩形画像は、図７（Ｃ−１）及び（Ｃ−２）並びに図７（Ｄ−１）及び（Ｄ−２）に示すように損傷画像検査範囲が矩形ではない場合は、その範囲を包含する矩形領域を１、それ以外の領域を０とする２値画像となる。

［ＳＳＤモデルによる学習モデルでの処理］
複数の損傷画像と対応した正解矩形画像のデータセットを学習用の教師データとして、ＳＳＤ（Single Shot multi-box Detector）モデルを学習する。ＳＳＤモデルは、画像中から物体検出を目的とした深層学習モデルのひとつであり、一般物体検出において高速、高精度に動作する手法である。畳み込みニューラルネットワーク（Convolutional Neural Networks：CNN）を通し、その過程で得られる複数の異なるスケールを持つ特徴マップを生成する。これらの特徴マップにおけるそれぞれの位置について、アスペクト比を変化させながら対象物体との相対位置と尤度を算出する。

学習では、すべての教師データの入力画像（本実施例では損傷画像）に対し、ＳＳＤモデルにおいて畳み込み演算を繰り返し適用しながら出力される特徴マップについて、グリッド上に分割し、その各位置について異なるアスペクト比（縦横のサイズ比）の関心領域候補と、対応する正解矩形画像から計算された正解ボックスとの重複を計算する。重複が多くなるようにＳＳＤモデルのパラメータを調整しながら学習を進め、所定回繰り返したときのＳＳＤモデルを関心領域の推定のための学習モデルとする。

畳込み演算は図８及び図９の順に処理される。入力画像について、畳込み処理、バッチ正規化処理、活性化、最大値プーリングを順次適用する。図８における畳込み処理はconv［層番号１］＿［層番号２（あれば）］＿［フィルタ数］として表現しており、VGG Outputは図８における畳込み処理の出力結果を表す。（例えば、図８中においてconv1＿16は１６枚のフィルタを持つ１層目の畳込み層を表す）。図８で得た出力は、図９に示される処理に入力される。図９も図８と同様入力に対し畳込みを適用するが、各層における出力結果をフィルタリストｆｓに保存する。つまり、フィルタリストにおいては畳込み４層目、７層目、８層目、９層目、１０層目、１１層目から出力されるそれぞれの畳込み演算後フィルタ画像集合が格納される。これら各フィルタを図１０のようにグリッド状に分割し、各グリッド位置について予め設定したアスペクト比に基づき関心領域有無の確率を推定する。

図１１は、図５の推定処理のステップＳＴ１３の詳細を示している。図１１の推定処理は、損傷画像を推定用の学習モデルに入力し、学習モデル（ＳＳＤモデル）において畳み込み演算を繰り返し適用しながら出力される特徴マップについて、グリッド上に分割し、その各位置について異なるアスペクト比（縦横のサイズ比）の関心領域候補の尤度を算出する。指定された尤度の閾値を基に、閾値以上の尤度をもつ候補に絞り、関心領域とする。図１２（Ａ）に示すように、損傷部分が２箇所含まれる対象損傷画像に対し、画像表示装置１１には図１２（Ｂ）に示す２つの関心領域を推定した結果が表示される。図１２（Ｂ）の推定結果は、尤度の閾値を０．５としたときの関心領域である。

［ＶＧＧモデルによる学習モデルでの処理］
図１３は畳み込みニューラルネットワーク（CNN）で構成されるＶＧＧモデルによる学習モデルを構築するための学習処理のフローチャートである。このＶＧＧモデルによる学習モデルの学習処理では、まず、読み込んだ複数の損傷画像データ及び対応する損傷画像検査範囲を用いて、正解画像を生成する（ＳＴ２３１´）。図１４（Ａ−１）及び（Ａ−２）乃至図１４（Ｄ−１）及び（Ｄ−２）に示すように、正解画像は、データ蓄積部で蓄積された損傷画像検査範囲を含む領域を１、それ以外の領域を０とする２値画像となる。正解画像は、損傷画像検査範囲が矩形ではない場合は、その範囲を包含する矩形領域を１、それ以外の領域を０とする２値画像となる。複数の損傷画像と対応した正解矩形画像のデータセットを学習用の教師データとして、ＶＧＧモデルを学習する（ＳＴ２３２´）。

ＣＮＮに基づく物体検出においては、全結合層までネットワーク処理を通し、出力として得られる画像を構成するピクセルに対応した高次元ベクトルを尤度マップとして再構成する。学習では、後述する図１５のステップＳＴ３１〜ＳＴ３４が行われて、すべての教師データの入力画像（本実施例では損傷画像）に対し、ＶＧＧモデルにおいて畳み込み処理とプーリング処理を順次適用し、最終層における全結合層の出力ベクトルを損傷部分の尤度マップとして正解画像との誤差に基づきネットワークのパラメータを学習する。

図１５は、学習モデル（ＶＧＧモデル）を用いた関心領域の推定のフローチャートである。このフローチャートではステップＳＴ３１において、関心領域を抽出する画像を読み込む。そしてステップＳＴ３２で、入力画像を正規化する。すなわち画像のサイズを２５６×２５６［px］に変更し、画素値を平均０、分散１となるよう標準化する。次にステップＳＴ３３でＶＧＧモデルによるＣＮＮ演算を実施する。ＣＮＮ演算では、正規化した画像について、図１６に示すＶＧＧモデルのネットワーク構造を用いて畳込み処理、最大値プーリング処理を順次適用し、最終層において全結合層の出力を一次元配列として出力する。次にステップＳＴ３４で、一次元配列された全結合層の出力を二次元に再構成する。すなわち、ＣＮＮ演算において出力された一次元配列を画像状の二次元配列に再構成し、尤度マップとして出力する。次にステップＳＴ３５で、二値化処理を実行する。この二値化処理では、尤度マップの各要素の値について、閾値を超えた場合は１、そうでない場合は０とする二値化処理を適用する。次にステップＳＴ３６で、モルフォロジー処理を実行する。モルフォロジー処理では、二値化した尤度マップについて、収縮と膨張の処理を適用しノイズ除去、穴埋めを行う。最後にステップＳＴ３７で、関心領域の抽出を行う。このステップでは、モルフォロジー処理を適用した尤度マップに対し、ｂｌｏｂ解析により１を示すピクセルが連結された領域を包含する矩形を関心領域として抽出する。図１７は、ＶＧＧモデルにより関心領域を決定する過程を画像で示す。

図１８は、学習モデルとしてのＳＳＤモデルとＶＧＧモデルの比較を示している。ＳＳＤモデルは、スケール依存性が少なく、精度が高い一方、処理速度が遅い。一方ＶＧＧモデルはシンプルなネットワーク構成のため、処理速度が速いが、推定精度はＳＳＤモデルより劣る。例えば、経験の浅い技術者にとっては、時間は要したとしても関心領域推定精度が重要なためＳＳＤモデルが適しているが、経験の多い熟練の技術者は、速度重視のＶＧＧモデルによる結果を後述の関心領域補正部において後から補正すればよい。

上記第１の実施の形態によれば、過去に点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて１以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定するので、点検者に適切な点検範囲を自動で提示することができる。

また本実施の形態によれば、関心領域決定部７で用いる学習モデルが損傷の有無の確率（尤度）を出力し、損傷の有無の確率が、予め定めた値を超える部分を含む領域を関心領域として決定するので、高い精度で関心領域を決定できる。

［第２の実施の形態］
図１９は、本発明の第２の実施の形態の構成を示すブロック図である。図１９には、第１の実施の形態の構成を示す図１に示した構成要素と同じ構成要素には、図１に付した符号と同じ符号を付して説明を省略する。本実施の形態では、関心領域決定部７が決定した関心領域を点検者がマニュアル操作で補正したデータを検査範囲のデータとしてデータ蓄積部５に蓄積する関心領域補正部１３をさらに備えている。本実施の形態では、関心領域補正部１３で補正しない場合でも、表示データ作成部９が作成したデータをデータ蓄積部５に蓄積する。図２０（Ａ）乃至（Ｃ）は、関心領域補正部１３の動作を説明するために用いる図である。関心領域決定部７が、図２０（Ａ）に示すような関心領域ｂ４及びｂ５を推定したときに、本実施の形態では、点検者が自分の実際の点検結果あら関心領域ｂ５をもう少し広げるべきだと感じた場合には、図２０（Ｂ）に示すように例えばカーソルの移動を利用して関心領域ｂ５を関心領域ｂ５´に補正することができる。この補正は、関心領域の大きさと位置の変更を可能にする。

このようにすると新規に点検した損傷部分の点検結果を以後の点検に用いる学習用データとして反映することが可能になる。これにより、本システムが提示した関心領域の精度が悪くても、技術者の介入により精度を向上させることができる。

［第３の実施の形態］
図２１は、本発明の第３の実施の形態の構成を示すブロック図である。図２１には、第１の実施の形態の構成を示す図１に示した構成要素と同じ構成要素には、図１に付した符号と同じ符号を付して説明を省略する。本実施の形態では、対象損傷部分の画像データ及び複数の損傷部分の画像データから画像特徴量を求める画像特徴量演算部１５と、画像特徴量演算部１５の演算結果から、対象損傷部分の画像に類似する複数の損傷部分の画像を複数選択する類似画像選択部１７をさらに備えている。そして、表示データ作成部９は、対象損傷部分の画像の上に関心領域を表示した表示画像を画像表示装置１１の表示画面に表示する表示データを作成することに加え、類似画像選択部１７が選択した複数の損傷部分の画像を画像表示装置１１の表示画面に選択可能に表示する表示データを作成する。図２２は、表示データ作成部９における表示データ作成処理の工程（ステップＳＴ４１〜ＳＴ４３）を示すフローチャートである。

図２３は、画像表示装置１１の表示画面の表示の一例を示す図である。図２３の表示例では、「撮影画像」の欄には、対象損傷部分を含む画像の上に、検出した関心領域が矩形の枠によって表示されている。そして「類似画像検索結果」の欄には、類似度の高い複数の損傷部分の画像が類似の高い順番で表示リストとして表示されており、さらに「付属情報」欄には損傷ランクと、損傷場所の名称が記載されている。本実施例では、類似する複数の損傷部分の画像を選択可能に４つ表示しており、画像を選択することにより、その損傷部分の画像補修履歴情報が表示画面に表示される。なお複数の損傷部分の画像は、必ずしも類似度の高い順番に表示する必要はない。図２４（Ａ）及び図２４（Ｂ）は、それぞれ損傷部分の画像補修履歴情報の例である。図２４（Ａ）及び図２４（Ｂ）において、損傷が「損傷画像１」の状態から「損傷画像２」の状態に進行したことが示されており、「補修画像」は「損傷画像２」の状態を補修した後の画像を示している。この情報を見ることにより、点検者は補修の必要性及び補修の方法を判断する資料を入手することが可能になる。これを実現するために、データ蓄積部５には、過去に点検を行って得た複数の損傷部分の画像データに対応して複数の損傷部分の補修履歴情報が蓄積されている。

またデータ蓄積部５には、過去に点検を行って得た複数の損傷部分の画像データに対応して複数の損傷部分の損傷の程度を損傷クラスで表す損傷クラスデータが蓄積されている。表示データ作成部９は、表示画面に表示された複数の損傷部分の画像から選択された損傷部分の画像に対応する補修履歴情報及び損傷クラスを表示画面に表示する表示データを作成する。また図２３の表示画面中の「類似上位２０画像のランク割合」欄には各クラスの割合が「ランク割合」として円グラフで表示されている。このようにすると損傷クラスを目安として、点検者が対象損傷部分に近い過去の損傷部分の画像を選択することができる。

本実施の形態のように、対象損傷部分の画像に類似する複数の損傷部分の画像を画像特徴量に基づいて選択可能に表示すると、画像特徴量に基づいて選択した過去の複数の損傷部分のデータの中から、点検者の経験を含めて対象損傷部分の修復の参考になる過去の類似データを見つけることができる。

［画像特徴量演算部の説明］
図２１の画像特徴量演算部１５は、形状特徴量と色彩特徴量を結合したものを画像特徴量として演算する。

（画像前処理）
明るさ変動の影響を軽減するため、形状特徴量と色彩特徴量に対し、それぞれ次の前処理を施す。

形状特徴量を演算する前には、画像を勾配画像に変換し、隣接画素間の相対値とすることで明るさの変動における画素値の絶対量の変化の影響を排除する。勾配画像は、まず、ガウシアンフィルタによりノイズ除去を適用し、その画像にラプラシアンオペレータを適用することで作成する。この勾配画像から形状特徴を抽出することで、明るさの変動に頑健な形状特徴が得られる。

色彩特徴量を演算する前には、画像に対して色空間変換を適用し、明るさと色成分に分離し、明るさ成分をすて、色成分のみから特徴を抽出することで明るさの変動に頑健な色彩特徴を得られる。色空間の変換は、ＲＧＢの３チャンネルから構成される画像を、L*a*b*表色系により表現される３チャンネルに変更する。このとき、L*成分は明るさを表し、a*b*成分が色みを表す。

角度対応については、損傷領域の方向は一意に定まらないため、角度の変動に対して頑健となる特徴を用いる必要がある。形状特徴に関しては、撮影対象の回転を吸収する後処理を特徴抽出後に適用する。色彩特徴に関しては、画像全体から色の出現頻度を算出するため、回転方向による特徴値の変動はないことから、特別な処理は施さない。

サイズ対応については、損傷画像を撮影したときの損傷部分に対する撮影者の距離、及び損傷の絶対的な大きさの違いにより、画像内に撮像される損傷部分のサイズが異なることが想定される。大きさの異なるそれぞれの損傷を同様の条件で扱うため、特徴量の正規化を特徴抽出後に適用する。本実施の形態で適用した形状特徴及び色彩特徴は統計量として算出されるため、画像の全ピクセル数で割ることで正規化できる。

［画像特徴量演算部の詳細］
図２５は、画像特徴量演算部１５をソフトウエアで実現する場合のアルゴリズムの一例を示している。図２５の例では、対象損傷部分の画像データ及び複数の損傷部分の画像データが、ＲＧＢ画像データとして切り出される（ステップＳＴ５１）。まずステップＳＴ５２Ａ〜ＳＴ５５Ａにより、形状特徴量の抽出を行う。ステップＳＴ５２Ａでは、ＲＧＢ画像をグレースケール画像に変換する。そしてステップＳＴ５３Ａでは、グレースケール画像に変換された画像からガウシアンフィルタによりノイズを除去する。そしてステップＳＴ５４Ａでは、ラプラシアンフィルタにより、エッジ（輪郭）抽出をする。最後にステップＳＴ５５Ａでは、ＨＬＡＣ特徴量抽出を行う。ＨＬＡＣ特徴とは、周知の高次局所自己相関特徴（ＨＬＡＣ: Higher-order Local AutoCorrelation）である。ＨＬＡＣ特徴量抽出では、勾配画像に対し、３５種類のＨＬＡＣマスクパターンを適用し、３５次元の形状特徴量を算出する。特徴量算出後、各形状について４５°回転に対して同じ形状となるマスクパターンについて統合し、回転・反転不変特徴として構成する。

次に、画像特徴量演算部１５は、ステップＳＴ５２Ｂ〜５４Ｂにより、色彩特徴量の抽出を行う。ステップＳＴ５２Ｂでは、ＲＧＢ画像データのＲＧＢ色空間をL*a*b*表色系に変換する。次にステップＳＴ５３Ｂで、L*a*b*表色系に変換したデータからL*a*b*成分のうち、a*b*成分のみを分離する。そしてステップＳＴ５４Ｂで、分離したa*b*成分を量子化モデルにより量子化する。量子化して得た量子化色画像について色領域内Ｉと色の境界Ｂの２種類に分類し、分類した色領域内Ｉと色の境界Ｂについてそれぞれ量子化された各色の出現頻度を色彩特徴量（量子化ＢＩＣ特徴量）として抽出する。

ここで量子化ＢＩＣ特徴量は図２６（Ａ）及び（Ｂ）の流れにより算出する。図中の各ステップは次の通りである。ステップＳＴ６０で、予めデータ蓄積部５の画像データベース中の画像群から色量子化モデルを作成する。

［色量子化モデルの作成］
色量子化モデルは図２６（Ａ）の手順により作成する。なお図２７は色彩情報抽出の概念を示す図であり、図２８は、代表色決定の概念を示す図である。まずステップＳＴ６０Ａで、画像データベース中から複数枚の画像群を読み込む。次にステップ６０Ｂで、図２７に示すように、入力されたすべての画像について、ＲＧＢ色空間からL*a*b*色空間への変換を行う。次にステップＳＴ６０Ｃで、図２７に示すように、色彩情報の抽出を行う。すなわちL*a*b*で表現された画像群について、a*b*の色情報だけを抽出する。次にステップ６０Ｄで、色量子化モデルを算出して、ステップＳＴ６０Ｅで色量子化モデルを出力する。図２８に示すように、複数の損傷画像から色点群を取得する。すなわちa*b*の色情報となった画像群から、ランダムにｎ点（例えば10,000点）を選択する。「点」はa*b*から構成される二次元ベクトルであり、色を表す。そしてこれから色量子化モデルを作成する。すなわちランダムに選択したｎ点について、k-meansなどのクラスタリング手法により代表色を決定する。なおｋの値は３２などで量子化する。図２８は、代表色（ｋ＝３）の例である。

［量子化ＢＩＣ特徴の算出］
ステップＳＴ６１では、ステップ５３Ｂで色彩情報を分離して得た色成分（a*b*成分）画像について、前述の色量子化モデルに基づき色成分を量子化する。次にステップＳＴ６３で、図２９に示すように、色量子化された画像中のすべてのピクセルにおける色情報をＩ（色領域内）とＢ（色の境界）に分類する。この例では３色の代表色の色量子化モデルを用いている。

分類基準は次の通りである。

・上下左右４近傍が同じ色であればＩとする。

・４近傍中一つでも異なる色が含まれていればＢとする。

図２９の一番右側の図が、上記分類基準で分類した結果の一例である。

そしてステップＳＴ６４で、量子化ＢＩＣ特徴を算出する。すなわち図３０に示すように、分類したＩとＢそれぞれについて量子化された色の出現頻度を算出し、ステップＳＴ６５で量子化ＢＩＣ特徴ベクトルとして出力する。

このようにして求めた量子化ＢＩＣ特徴ベクトルを色彩特徴量とすると、ある程度の認識できる明るさで撮影されていれば、画像の明るさの変化に依存しないで、データに基づいた色の違いに着目した特徴量を抽出することができる。

なおＢＩＣ特徴については、下記の文献でも紹介されている。
「R. Stehling, et al. “A compact and efficient image retrieval approach based on border/interior pixel classification”, Proceedings of the 11th international conference on information and knowledge management」.。

図２５に示すように、画像特徴量演算部１５では、ステップＳＴ５６で形状特徴量と色彩特徴量を連結し、ステップＳＴ５７で連結した特徴量を正規化して、ステップＳＴ５８で画像特徴量として出力する。正規化した画像特徴量を用いれば、画像の大きさと無関係に画像特徴量を利用することができる。

［類似画像選択部及び表示データ作成部の説明］
類似画像選択部１７では、特徴量ベースの類似画像検索を行う。類似画像の選択は、例えば、検索対象画像の画像特徴量と、データベース内の画像特徴量とのユークリッド距離を比較し、距離が小さい上位ｎ枚について検索候補を提示する。そして類似画像検索結果を読込んで、ｎ枚の検索候補について、類似画像リスト、補修情報リスト、損傷ランクリスト生成する。

そして表示データ作成部９は、検索結果画像に対する付随情報も画像表示装置に表示する。表示データ作成部９は、検索結果画像のランクを割合で表示する検索上位のランク割合表示や、各ランクについて、それぞれ検索結果を表示する検索上位のランク別集計表示をしてもよい。また表示データ作成部９は、データベースの補修履歴等の情報提示や、ＤＢ付属情報、補修カルテ（処置、予後など）各検索結果に対して、損傷の詳細情報や補修情報について表示するようにしてもよい。

本発明によれば、過去に点検または補修作業の熟練者が決定した複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて１以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定するので、点検者に適切な点検範囲を自動で提示することができる。

１ 構造物の点検・補修支援システム
３ 画像データ取得部
５ データ蓄積部
７ 関心領域決定部
９ 表示データ作成部
１１ 画像表示装置
１３ 関心領域補正部
１５ 画像特徴量演算部

Claims (11)

1. 点検対象のコンクリート構造物において損傷している損傷部分と該損傷部分の近傍とを撮影装置で撮影した１以上の対象損傷部分を含む画像データを取得する画像データ取得部と、
   過去に点検を行って得た複数の損傷部分の画像データと、該複数の損傷部分の画像データに対応する検査範囲のデータを少なくとも含む前記複数の損傷部分の損傷データを蓄積するデータ蓄積部と、
   前記１以上の対象損傷部分を含む前記画像データを入力として、少なくとも過去に点検を行って得た複数の損傷部分を含む画像データ及び該複数の損傷部分を含む画像データに対応して、点検または補修作業の熟練者が決定した前記複数の損傷部分の検査範囲を含むデータを教師データとして作成した学習モデルを用いて、前記１以上の対象損傷部分について点検者が点検をすべき検査範囲を関心領域として決定する関心領域決定部と、
   前記１以上の対象損傷部分の画像の上に前記関心領域を表示した表示画像を画像表示装置の表示画面に表示する表示データを作成する表示データ作成部を備えてなる構造物の点検・補修支援システム。
2. 前記関心領域決定部は、過去に点検を行って得た複数の損傷部分を含む画像データ及び、該複数の損傷部分を含む画像データに対応して、前記点検または補修作業の熟練者が決定した前記複数の損傷部分の検査範囲を含むデータを教師データとして、前記損傷部分及び該損傷部分の周囲における損傷の有無の確率を出力として推定するように構築された前記学習モデルを備え、前記対象損傷部分を含む画像データを入力として前記学習モデルから出力された前記対象損傷部分及び該対象損傷部分の周囲領域における前記損傷の有無の確率が、予め定めた値を超える部分を含む領域を前記関心領域として決定することを特徴とする請求項１に記載の構造物の点検・補修支援システム。
3. 前記表示データ作成部は、前記関心領域の表示として、前記点検者が点検をすべき領域の輪郭形状を示す表示または前記輪郭を囲む矩形形状を示す表示を作成する請求項１または２に記載の構造物の点検・補修支援システム。
4. 前記関心領域決定部が決定した前記関心領域を点検者がマニュアル操作で補正したデータを前記検査範囲のデータとして前記データ蓄積部に蓄積する関心領域補正部をさらに備えている請求項２に記載の構造物の点検・補修支援システム。
5. 前記対象損傷部分の画像データ及び前記複数の損傷部分の画像データから画像特徴量を求める画像特徴量演算部と、
   前記画像特徴量演算部の演算結果から、前記対象損傷部分の画像に類似する前記複数の損傷部分の画像を複数選択する類似画像選択部をさらに備え、
   前記表示データ作成部は、前記類似画像選択部が選択した前記複数の損傷部分の画像を前記画像表示装置の前記表示画面に選択可能に表示する表示データを作成することを特徴とする請求項１に記載の構造物の点検・補修支援システム。
6. 前記画像特徴量演算部が演算する前記画像特徴量は、形状特徴量と色彩特徴量を結合したものである請求項５に記載の構造物の点検・補修支援システム。
7. 前記対象損傷部分の画像データ及び前記複数の損傷部分の画像データはＲＧＢ画像データであり、
   前記画像特徴量演算部は、
   前記ＲＧＢ画像データのＲＧＢ色空間をL*a*b*表色系に変換し、
   前記L*a*b*表色系に変換したデータからL*a*b*成分のうち、a*b*成分のみを分離し、
   分離した前記a*b*成分を量子化モデルにより量子化し、
   量子化して得た量子化色画像について色領域内Ｉと色の境界Ｂの２種類に分類し、
   分類した前記色領域内Ｉと前記色の境界Ｂについてそれぞれ量子化された各色の出現頻度を前記色彩特徴量（量子化ＢＩＣ特徴量）として抽出することを特徴とする請求項６に記載の構造物の点検・補修支援システム。
8. 前記画像特徴量演算部は、
   前記ＲＧＢ画像データをグレースケール画像データに変換し、
   変換したグレースケール画像データからノイズを除去し、
   ノイズを除去したグレースケール画像データから輪郭を抽出し、
   輪郭を抽出したグレースケール画像データからＨＬＡＣ特徴量を前記形状特徴量として抽出することを特徴とする請求項７に記載の構造物の点検・補修支援システム。
9. 前記画像特徴量演算部は、前記形状特徴量と前記色彩特徴量を連結し、連結した特徴量を正規化して前記画像特徴量として出力することを特徴とする請求項８に記載の構造物の点検・補修支援システム。
10. 前記データ蓄積部には、過去に点検を行って得た前記複数の損傷部分の画像データに対応して前記複数の損傷部分の補修履歴情報が蓄積されており、
    前記表示データ作成部は、前記表示画面に表示された前記複数の損傷部分の画像から選択された前記損傷部分の画像に対応する補修履歴情報を前記表示画面に表示する表示データを作成することを特徴とする請求項５記載の構造物の点検・補修支援システム。
11. 前記データ蓄積部には、過去に点検を行って得た前記複数の損傷部分の画像データに対応して前記複数の損傷部分の損傷の程度を損傷クラスで表す損傷クラスデータが蓄積されており、
    前記表示データ作成部は、前記損傷クラスを前記複数の損傷部分の画像と一緒に前記表示画面に表示する表示データを作成することを特徴とする請求項１０に記載の構造物の点検・補修支援システム。