JP2019087050A

JP2019087050A - 構造物維持管理業務支援システム

Info

Publication number: JP2019087050A
Application number: JP2017215012A
Authority: JP
Inventors: 雄章石川; Takeaki Ishikawa; 湧田　雄基; Takemoto Wakuta; 雄基湧田; 美紀長谷山; Yoshinori Haseyama
Original assignee: Basis Consulting Co Ltd; Hokkaido University NUC
Current assignee: Basis Consulting Co Ltd; Hokkaido University NUC
Priority date: 2017-11-07
Filing date: 2017-11-07
Publication date: 2019-06-06
Anticipated expiration: 2037-11-07
Also published as: JP6980208B2

Abstract

【課題】構造物の構造物の維持管理業務に用いる構造物維持管理業務支援システムを提供することを目的とする。【解決手段】構造物を撮影した第１の撮影画像データと，それに対応する第１の変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部と，構造物を撮影した第２の撮影画像データの入力を受け付け，生成した学習用変状データに基づいて，第２の撮影画像データにおける変状を推定する変状推定処理部と，構造物の変状を推定した変状推定データに基づいて，第２の変状トレースデータを生成する変状トレースデータ生成処理部と，を有する構造物維持管理業務支援システムである。【選択図】図１

Description

本発明は，構造物の維持管理業務に用いる構造物維持管理業務支援システムに関する。

インフラ構造物，たとえばコンクリート構造物やトンネル構造物などは，その維持管理を適切に行う必要がある。とくに，維持管理業務では，構造物があるべき健全な状態から性能が低下している状態（これを「変状」という），たとえばクラック，コンクリートの剥離や浮き，漏水等を適切に発見し，記録をし，補修等を行うことが求められている。

構造物の変状を発見するにはさまざまな方法があり，たとえば構造物を目視点検し，変状を発見する目視点検の方法，構造物を所定の器具で叩き，その音で変状の有無を点検する打音点検の方法，構造物を撮影し，撮影された画像データを目視して，変状箇所を抽出する点検方法などが代表的である。

目視点検，打音点検は構造物のある場所に赴いて作業を行う必要があり，またその作業にも時間を要する。そのため，構造物を撮影し，撮影した画像データから変状箇所を抽出する方法がとられることも多い。

画像データを用いる点検方法の場合，撮影した構造物の画像データを担当者が目視して変状箇所を視認する。そして，トレース作業で視認した変状箇所について，変状があることを示す情報（以下，「変状情報」という）を，変状を管理するＣＡＤデータ（変状トレースデータ）に追加する（これはトレース作業とよばれる）。変状トレースデータは，構造物の補修計画の立案に活用され，補修計画に基づいて，実際の補修作業が行われる。

非特許文献１に，構造物がトンネルである場合のトレース作業を支援するソフトウェアの一例を示す。

三協エンジニアリング株式会社，"ＣｒａｃｋＤｒａｗ２１"，[online]，インターネット＜ＵＲＬ：http://www.sankyo-eng.com/crackdraw.html＞

撮影した構造物の画像データに基づいて変状箇所のトレース作業を行う場合，非特許文献１のソフトウェアなどを用いる。具体的には，構造物を撮影した画像データをソフトウェアに読み込ませ，そこから画面に表示される画像データを担当者が視認し，ひび割れ等の変状箇所を，マウスなどによって特定することで，変状トレースデータに変状情報として登録をする。

トレース作業では，担当者が目視で画像データから変状箇所を検出するが，構造物には変状のほか，汚れなども付着していることもあり，適切に変状を判定するには，熟練した担当者が必要である。そして熟練した担当者であっても，トレース作業は負担が大きい。そこで，トレース作業の業務効率と精度の向上が求められている。また，トレース作業の負担だけではなく，人による作業では，抽出すべき変状の見逃しや作業ミス等も発生することが見込まれ，トレース作業の自動化による均質化や網羅性向上が求められている。

そこで本発明者らは上記課題に鑑み，本発明の構造物維持管理業務支援システムを発明した。

第１の発明は，構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，前記構造物維持管理業務支援システムは，構造物を撮影した第１の撮影画像データと，それに対応する第１の変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部と，構造物を撮影した第２の撮影画像データの入力を受け付け，前記生成した学習用変状データに基づいて，前記第２の撮影画像データにおける変状を推定する変状推定処理部と，構造物の変状を推定した変状推定データに基づいて，第２の変状トレースデータを生成する変状トレースデータ生成処理部と，を有する構造物維持管理業務支援システムである。

第１の撮影画像データと，それに対する変状が登録されている第１の変状トレースデータとを用いて学習用変状データを生成し，それに基づいて変状推定処理を行わせることで，撮影画像データに基づく変状推定処理の精度を向上させることができる。また，変状推定処理の結果出力された変状推定データは，変状の有無や境界が明確ではなく，変状面積や延長等の規模を見積もることができないため，そのままでは構造物の補修予算の見積もり等を含む補修計画立案業務に利用することができない。そこで本発明の構造物維持管理業務支援システムを用いることで，構造物の補修計画に用いる変状トレースデータを生成することができるので，変状箇所の推定のみならず，円滑な補修計画の立案等につなげることができる。

上述の発明において，前記第１の撮影画像データと，前記第１の変状トレースデータとの入力を受け付け，前記第１の撮影画像データと，前記第１の変状トレースデータとの位置を合わせ，前記第１の変状トレースデータにおける変状の位置に対応する第１の撮影画像データを変状オブジェクトとして抽出し，抽出した変状オブジェクトを用いて学習用変状データを生成する，構造物維持管理業務支援システムのように構成することができる。

上述の発明において，前記学習用データ生成処理部は，さらに，前記抽出した変状オブジェクトを，あらかじめ指定された解像度のグリッド上にマッピングし，グリッドの領域における各ピクセルについて濃度計算を行うことで，学習用変状データを生成する，構造物維持管理業務支援システムのように構成することができる。

学習用変状データを生成するには，これらの発明の処理を実行するとよい。

上述の発明において，前記学習用データ生成処理部は，さらに，前記第１の撮影画像データの一部または全部を，前記構造物の環境条件または変状の種別に基づいて分離し，前記分離した撮影画像データについて，前記構造物の環境条件または変状の種別を含む特性情報を付加し，前記特性情報を付加した前記第１の撮影画像データに基づいて，前記学習用データ生成処理部における処理を実行する，構造物維持管理業務支援システムのように構成することができる。

構造物の環境条件に応じて変状の表出パターンが異なることが知られている。そのため，本発明のように，構造物の環境条件や変状の種別に応じて撮影画像データを分離して，特性条件として付加した撮影画像データに基づいて学習用データを生成することで，変状推定処理の精度を向上させることができる。

上述の発明において，前記学習用データ生成処理部は，さらに，前記生成した学習用変状データをあらかじめ定められた大きさのグリッドに応じて分離し，前記分離したグリッドを，前記変状オブジェクトが含まれる量または位置に応じて分類する，構造物維持管理業務支援システムのように構成することもできる。

本発明のように，学習用変状データをグリッドごとに分離し，そこに含まれる変状オブジェクトに応じてそのグリッドを分類することで，変状推定処理の精度を向上させることができる。

上述の発明において，前記変状トレースデータ生成処理部は，前記変状推定データまたは画像フィルタ処理を実行した変状推定データに基づいて二値化した変状推定データを生成し，前記二値化した変状推定データにおいて，あらかじめ定められたグリッドを設定し，所定の値が隣接するグリッドをグループ化し，ＣＡＤデータに追加したレイヤに，前記グループ化したグリッドに基づいて設定したオブジェクトを追加することで，前記第２の変状トレースデータを生成する，構造物維持管理業務支援システムのように構成することができる。

上述の発明において，前記変状トレースデータ生成処理部は，さらに，前記グループ化したグリッドの外周を多角形とするオブジェクトを設定し，前記ＣＡＤデータに追加したレイヤに，前記設定したオブジェクトを追加することで，前記第２の変状トレースデータを生成する，構造物維持管理業務支援システムのように構成することができる。

上述の発明において，前記変状トレースデータ生成処理部は，さらに，前記グループ化したグリッドの面積を算出し，この面積があらかじめ定められた条件を充足しない場合にはノイズとしてそのグループを処理対象から除外し，前記処理対象から除外されていないグループのグリッドの外周を多角形とするオブジェクトを設定し，前記ＣＡＤデータに追加したレイヤに，前記設定したオブジェクトを追加することで，前記第２の変状トレースデータを生成する，構造物維持管理業務支援システムのように構成することができる。

変状トレースデータを生成するには，これらの発明の処理を実行するとよい。

第９の発明は，構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，前記構造物維持管理業務支援システムは，構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，を有しており，前記学習用データ生成処理部は，前記撮影画像データと，前記変状トレースデータとの入力を受け付け，前記撮影画像データと，前記変状トレースデータとの位置を合わせ，前記変状トレースデータにおける変状の位置に対応する撮影画像データを変状オブジェクトとして抽出し，抽出した変状オブジェクトを用いて学習用変状データを生成する，構造物維持管理業務支援システムである。

第１の撮影画像データと，それに対する変状が登録されている第１の変状トレースデータとを用いて学習用変状データを生成し，それに基づいて変状推定処理を行わせることで，撮影画像データに基づく変状推定処理の精度を向上させることができる。

第１０の発明は，構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，前記構造物維持管理業務支援システムは，構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，を有しており，前記学習用データ生成処理部は，前記撮影画像データの一部または全部を，前記構造物の環境条件または変状の種別に基づいて分離し，前記分離した撮影画像データについて，前記構造物の環境条件または変状の種別を含む特性情報を付加し，前記特性情報を付加した前記撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する，構造物維持管理業務支援システムである。

第１１の発明は，構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，前記構造物維持管理業務支援システムは，構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，を有しており，前記学習用データ生成処理部は，前記生成した学習用変状データをあらかじめ定められた大きさのグリッドに応じて分離し，前記分離したグリッドを，前記変状オブジェクトが含まれる量または位置に応じて分類する，構造物維持管理業務支援システムである。

第１２の発明は，構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，前記構造物維持管理業務支援システムは，構造物における変状を推定した変状推定データに基づいて，変状トレースデータを生成する変状トレースデータ生成処理部，を有しており，前記変状トレースデータ生成処理部は，前記変状推定データまたは画像フィルタ処理を実行した変状推定データに基づいて二値化した変状推定データを生成し，前記二値化した変状推定データにおいて，あらかじめ定められたグリッドを設定し，所定の値が隣接するグリッドをグループ化し，ＣＡＤデータに追加したレイヤに，前記グループ化したグリッドに基づいて設定したオブジェクトを追加することで，変状トレースデータを生成する，構造物維持管理業務支援システムである。

変状推定処理の結果出力された変状推定データはそのままでは構造物の補修計画等に利用することができない。そこで本発明の構造物維持管理業務支援システムを用いることで，構造物の補修計画に用いる変状トレースデータを生成することができるので，変状箇所の推定のみならず，そのまま補修計画の立案等につなげることができる。

第１の発明の構造物維持管理業務支援システムは，本発明の情報処理プログラムをコンピュータに読み込ませ，実行することで実現できる。すなわち，構造物の維持管理業務に用いるコンピュータを，構造物を撮影した第１の撮影画像データと，それに対応する第１の変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，構造物を撮影した第２の撮影画像データの入力を受け付け，前記生成した学習用変状データに基づいて，前記第２の撮影画像データにおける変状を推定する変状推定処理部，構造物の変状を推定した変状推定データに基づいて，第２の変状トレースデータを生成する変状トレースデータ生成処理部，として機能させる構造物維持管理業務支援プログラムである。

第９の発明の構造物維持管理業務支援システムは，本発明の情報処理プログラムをコンピュータに読み込ませ，実行することで実現できる。すなわち，構造物の維持管理業務に用いるコンピュータを，構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，として機能させる情報処理プログラムであって，前記学習用データ生成処理部は，前記撮影画像データと，前記変状トレースデータとの入力を受け付け，前記撮影画像データと，前記変状トレースデータとの位置を合わせ，前記変状トレースデータにおける変状の位置に対応する撮影画像データを変状オブジェクトとして抽出し，抽出した変状オブジェクトを用いて学習用変状データを生成する，構造物維持管理業務支援プログラムである。

第１０の発明の構造物維持管理業務支援システムは，本発明の情報処理プログラムをコンピュータに読み込ませ，実行することで実現できる。すなわち，構造物の維持管理業務に用いるコンピュータを，構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，として機能させる情報処理プログラムであって，前記学習用データ生成処理部は，前記撮影画像データの一部または全部を，前記構造物の環境条件または変状の種別に基づいて分離し，前記分離した撮影画像データについて，前記構造物の環境条件または変状の種別を含む特性情報を付加し，前記特性情報を付加した前記撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する，構造物維持管理業務支援プログラムである。

第１１の発明の構造物維持管理業務支援システムは，本発明の情報処理プログラムをコンピュータに読み込ませ，実行することで実現できる。すなわち，構造物の維持管理業務に用いるコンピュータを，構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，として機能させる情報処理プログラムであって，前記学習用データ生成処理部は，前記生成した学習用変状データをあらかじめ定められた大きさのグリッドに応じて分離し，前記分離したグリッドを，前記変状オブジェクトが含まれる量または位置に応じて分類する，構造物維持管理業務支援プログラムである。

第１２の発明の構造物維持管理業務支援システムは，本発明の情報処理プログラムをコンピュータに読み込ませ，実行することで実現できる。すなわち，構造物の維持管理業務に用いるコンピュータを，前記構造物における変状を推定した変状推定データに基づいて，変状トレースデータを生成する変状トレースデータ生成処理部，として機能させる情報処理プログラムであって，前記変状トレースデータ生成処理部は，前記変状推定データまたは画像フィルタ処理を実行した変状推定データに基づいて二値化した変状推定データを生成し，前記二値化した変状推定データにおいて，あらかじめ定められたグリッドを設定し，所定の値が隣接するグリッドをグループ化し，ＣＡＤデータに追加したレイヤに，前記グループ化したグリッドに基づいて設定したオブジェクトを追加することで，変状トレースデータを生成する，構造物維持管理業務支援プログラムである。

本発明の構造物維持管理業務支援システムを用いることで，撮影画像データから変状箇所を推定する変状推定処理を行うための学習用データ（学習用変状データ）を生成することができる。そして学習用変状データに基づいて変状推定処理を学習させることで，撮影画像データに基づく変状推定処理の精度を向上させることができる。

また，変状推定処理の結果出力された変状推定データは，変状の有無や境界が明確ではなく，変状面積や延長等の規模を見積もることができないため，そのままでは構造物の補修計画等に利用することができない。そこで本発明の構造物維持管理業務支援システムを用いることで，構造物の補修予算の見積もり等を含む補修計画立案業務に用いる変状トレースデータを生成することができるので，変状箇所の推定のみならず，円滑な補修計画の立案等につなげることができる。

本発明の構造物維持管理業務支援システムの全体の構成の一例を模式的に示す図である。本発明の構造物維持管理業務支援システムを実行するコンピュータのハードウェア構成の一例を模式的に示す図である。学習用データ生成処理部における処理プロセスの一例を示すフローチャートである。変状トレースデータ生成処理部における処理プロセスの一例を示すフローチャートである。学習用データ生成処理部に入力する撮影画像データの一例を示す図である。学習用データ生成処理部に入力する変状トレースデータの一例を示す図である。学習用データ生成処理部で出力する学習用変状データの一例を示す図である。変状推定処理部で出力する変状推定データの一例を示す図である。撮影画像データと変状トレースデータとを位置合わせした際の一例を示す図である。グリッドごとに分割した場合の一例を示す図である。グリッドごとに処理を行うことを示す一例を示す図である。変状推定処理部で入力を受け付ける撮影画像データの一例を示す図である。図１２の撮影画像データに対して変状推定処理部における変状推定処理を行った結果の変状推定データの一例である。変状推定処理部で出力をした変状推定データから変状トレースデータを作成した一例を示す図である。学習用データ生成処理部に入力する撮影画像データに対して，特性情報を付加する処理の一例を模式的に示す図である。学習用変状データについて，グリッドごとに分割をして変状に応じて分類をする処理の一例を模式的に示す図である。学習用変状データについて，グリッドごとに分割をして変状に応じて分類をする処理のほかの一例を模式的に示す図である。

本発明の，構造物の維持管理業務に用いる構造物維持管理業務支援システム１の全体のシステム構成の一例を図１に，構造物維持管理業務支援システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。

本発明における構造物維持管理業務支援システム１では，撮影した画像データに基づいて変状を推定する変状推定処理を行うにあたり，その推定処理を行う画像認識エンジン（変状推定処理部２１）を学習するための学習用データ（学習用変状データ）を生成する。また，変状推定処理部２１における変状推定処理で生成した変状推定データに基づいて，変状情報を含むデータである変状トレースデータ（後述）を生成する。

構造物維持管理業務支援システム１は，サーバや端末などのコンピュータによって実現される。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信をする通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には入力装置７３と表示装置７２とが一体的に構成されていてもよい。タッチパネルディスプレイは，タブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

構造物維持管理業務支援システム１の制御端末２は一台のコンピュータによって実現されていてもよいが，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

さらに，本発明の構造物維持管理業務支援システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

構造物維持管理業務支援システム１は制御端末２を備えている。構造物維持管理業務支援システム１は，学習用データ生成処理部２０と変状推定処理部２１と変状トレースデータ生成処理部２２とを有する。

学習用データ生成処理部２０は，構造物を撮影した撮影画像データと，その撮影画像データに対応する変状トレースデータとを用いて，後述する変状推定処理部２１における変状推定処理を学習するための学習用データである学習用変状データを生成する。学習用データ生成処理部２０に入力する変状トレースデータは，撮影画像データを視認した担当者などが特定した変状に基づいて生成された変状トレースデータであることが好ましいが，それに限定されず，たとえば自動的に生成された変状トレースデータであってもよい。変状トレースデータには，仮に，撮影画像データに対して変状推定処理を行った際に，変状としての正解が含まれているデータである。学習用データ生成処理部２０に入力する撮影画像データの一例を図５に，変状トレースデータの一例を図６に示す。

なお，変状トレースデータは，構造物を撮影した撮影画像データに基づいて担当者が視認した変状を，それぞれの変状の種別ごとにレイヤを分けて，展開図などで対応する箇所に記憶したＣＡＤデータなどである。したがって，ＣＡＤデータには，レイヤごとに変状の種別を示す情報が含まれている。構造物がトンネルの場合，トンネルの上床，内壁，側壁などの展開図がＣＡＤデータなどで作成される。そして，撮影画像データの視認により特定した変状について，展開図の対応箇所に変状情報として書き込まれ，変状トレースデータとして管理されている。

学習用データ生成処理部２０は，撮影画像データと，それに対応する変状トレースデータとの入力を受け付け，それぞれのデータの位置合わせを行う。そして，変状トレースデータにおいて変状として特定されている箇所の撮影画像データおよび変状情報を変状オブジェクトとして抽出する。そして抽出した各変状オブジェクトを，指定解像度で生成したグリッド上にマッピングをする。さらに，グリッドの各ピクセルについて，所定の濃度計算を行うことで，学習用変状データを生成する。学習用変状データは，撮影画像データにおいて，対応する位置が変状箇所であるか否かを推定する変状推定処理の学習に用いるための画像データであって，たとえばヒートマップのように，濃度によって変状か否かの推定結果を表現する。図７に，二値ヒートマップである学習用変状データの一例を示す。

変状推定処理部２１は，撮影画像データに基づいて，構造物に変状があるか否かの変状推定処理を実行する。この際の推定処理は，深層学習（ディープラーニング）を用いて行うことができるが，それに限定するものではない。具体的には，構造物において，変状の有無を推定する場所の撮影画像データの入力を受け付け，撮影画像データと，学習用データ生成処理部２０で生成した学習用変状データとに基づいて，入力を受け付けた撮影画像データに対する変状推定データを生成する。図８に，撮影画像データに基づいて変状の有無の推定を行った変状推定データの一例を示す。変状推定データは，ヒートマップのように，濃度によって変状か否かの推定結果が表現される。

変状トレースデータ生成処理部２２は，変状推定処理部２１で生成した変状推定データに基づいて，変状トレースデータを生成する。具体的には，変状推定データに対して，モルフォロジ演算などによる画像フィルタを適用する。画像フィルタを適用したあとの変状トレースデータに対して，所定の大きさのグリッドを設定する。そして，各グリッドについて，二値化処理を行い，二値化した変状推定データを算出する。そして二値化した変状推定データに対して，変状オブジェクトがある「１」の値が隣接するグリッドをグルーピングする。同一のグループに分類されたグリッドの数をグループごとに算出することで，グループの面積を算出し，この面積があらかじめ定められた面積未満のグループについてはノイズとして処理対象から除外する。残ったグループの外周を多角形化してオブジェクトとして作成し，このオブジェクトを新たなレイヤとして追加をすることで，変状トレースデータを生成する。

つぎに本発明の構造物維持管理業務支援システム１の処理プロセスの一例を，図３および図４のフローチャートを用いて説明する。

まず学習用データ生成処理部２０における学習用変状データを生成するための処理プロセスの一例を説明する。学習用データ生成処理部２０において生成する学習用変状データは，変状推定処理部２１における変状推定処理，好ましくは深層学習を用いた変状推定処理のための学習用となるデータを生成する処理である。

まず，操作者は，構造物を撮影した撮影画像データと，その撮影画像データに対応する変状トレースデータとを制御端末２に読み込ませる。そして学習用データ生成処理部２０は，撮影画像データと，変状トレースデータとの入力を受け付ける（Ｓ１００）。

学習用データ生成処理部２０は，Ｓ１００で入力を受け付けた撮影画像データと，変状トレースデータとの位置を合わせる（Ｓ１１０）。すなわち，撮影画像データと，変状トレースデータにおける展開図などの位置が同一またはほぼ一致するように，それぞれ位置を合わせる。この際の一例を図９に示す。図９（ａ）が学習用データ生成処理部２０で入力を受け付けた撮影画像データであり，図９（ｂ）が図９（ａ）に対応する変状トレースデータである。そして，図９（ｃ）が図９（ａ）と図９（ｂ）の位置合わせをした結果の画像データである。位置合わせをすることによって，撮影画像データにおける変状の位置が特定できるので，変状トレースデータにおける変状の位置に対応する撮影画像データと，その変状情報とを一組の変状オブジェクトとして抽出をする（Ｓ１２０）。

撮影画像データまたは変状トレースデータと同じまたはほぼ同じ縦，横の大きさの画像データにおいて，あらかじめ指定された解像度で生成したグリッド，たとえば１００×１００ピクセル，２００×２００ピクセル，５００×５００ピクセルを作成する。そして，抽出した各変状オブジェクトを，上記グリッド上にマッピング（位置合わせ）をする（Ｓ１３０）。なおグリッドの解像度としては，撮影画像データよりは低解像度である。たとえば図１０に示すように，撮影画像データと同じ大きさの画像データに，１００×１００ピクセルのグリッドを複数作成し，各変状オブジェクトを対応する位置にマッピングする。なお，グリッドのうち，縦，横の端数となる位置についてはトリミングをして削除をしてもよいし，端数だけのグリッドとしてもよい。

このように，変状オブジェクトをグリッド上にマッピングすることによって，変状トレースデータにおいて変状として特定されている位置に対応する撮影画像データをマッピングすることができる。そして，学習用データ生成処理部２０は，グリッドの各ピクセルについて，濃度計算を行い，ヒートマップ化した学習用変状データを生成する（Ｓ１４０）。

濃度計算の方法としては，複数の方法を用いることができる。また，変状オブジェクトが線分であるか閉曲線であるかによって異なる方法としてもよい。

第１の方法として，線分で表現された変状オブジェクトの濃度計算は，線分に対して膨張処理を施すことで太さを持たせ，それを撮影画像データの元の解像度のレベルで描画を行う。そして，学習用変状データの解像度において，ピクセル内の線分領域の占める割合をそのピクセルの濃淡値として設定をする。

第２の方法として，閉曲線で表現された変状オブジェクトの濃度計算は，撮影画像データの元の解像度において，閉曲線の内側を塗りつぶし，ヒートマップの解像度において，ピクセル内の線分領域の占める割合をそのピクセルの濃淡値として設定をする。

第３の方法として，線分で表現された変状オブジェクト，閉曲線で表現された変状オブジェクトの双方に用いることができる濃度計算は，グリッド上のピクセルに，対象とする変状オブジェクトがかかる（交差する）か否かにより２値化する。かかる場合には「１」，かからない場合には「０」とする。

濃度計算を行う際には，たとえば１００×１００ピクセルのグリッドでは，そのピクセルをあらかじめ定められた単位，たとえば１ピクセルずつ，上下，左右にずらしながら，濃度計算の処理を実行する。これを模式的に示すのが図１１である。

以上のようにして学習用データ生成処理部２０が生成した，ヒートマップ化した学習用変状データの一例が図７である。図７は，濃度計算として第３の方法を用いた場合であり，濃度計算として，第１の方法，第２の方法を用いた場合には，異なる学習用変状データが生成できる。

また，ＣＡＤデータには，変状オブジェクトの変状の種別を示す情報が含まれているので，学習用変状データとして，どの種別の変状オブジェクトであるかを特定することもできる。

以上のようにして学習用変状データを生成することで，変状推定処理部２１での変状推定処理の学習用データを生成することができる。なお，学習用データ生成処理部２０は，多数の撮影画像データと変状トレースデータの入力を行うことで，多数の学習用変状データを生成する。それによって変状推定処理部２１での深層学習を用いた変状推定処理の精度を向上させることができる。

構造物を撮影した撮影画像データ（学習用データ生成処理部２０で学習用変状データを生成するために入力した撮影画像データとは異なる撮影画像データであることが好ましいが，それに限定されず，同一の撮影画像データであってもよい）における，構造物にある変状の推定を行う場合には，操作者は，構造物を撮影した撮影画像データを制御端末２に読み込ませる。そして変状推定処理部２１では，構造物を撮影した撮影画像データの入力を受け付ける。たとえば変状推定処理部２１で入力を受け付ける撮影画像データとして，図１２であったとする。

変状推定処理部２１は，入力を受け付けた撮影画像データについて，あらかじめ定められた大きさのグリッド（好ましくは，学習用データ生成処理部２０で用いた大きさのグリッド）において，そのグリッドの領域に変状があるか否かを，推定する変状推定処理を実行する。変状推定処理は，学習用データ生成処理部２０で生成した学習用変状データを用いた深層学習によって，学習用変状データとの類似度などから，グリッドの領域に変状があるか否かを推定する。

すなわち，変状推定処理部２１は，図１１と同様に，あらかじめ定められた大きさのグリッド，たとえば１００×１００ピクセルのグリッドを，撮影画像データにおいて，あらかじめ定められた単位，たとえば１ピクセルずつ，上下左右に移動させながら，学習用変状データとの類似度を判定し，変状箇所があるか否かを推定する処理を実行する。

変状推定処理部２１における変状推定処理は，上述の方法に限定されないが，上述のようにあらかじめ定められた大きさのグリッドを，１ピクセルずつ上下，左右に移動させながら変状箇所か否かの推定処理を実行することによって，図１３に示すような変状推定データを得ることができる。変状推定データは，たとえばヒートマップであり，その濃度によって，そのピクセルが変状か否かの可能性を示している。

変状推定処理部２１が生成した変状推定データはヒートマップであるので，そのままでは構造物の維持管理業務に用いることができない。つまり，従来と同様の構造物の管理を行うには，それに適したＣＡＤデータ化することが望まれるが，ヒートマップは画像データであるので，そのままではＣＡＤデータ化することができない。そこで，操作者が所定の操作を行うことで，変状推定処理部２１が生成した変状推定データを，ＣＡＤデータなどの変状トレースデータとする処理を実行させる。

変状トレースデータ生成処理部２２が変状推定データに基づいて変状トレースデータを生成する場合の処理プロセスを図４のフローチャートを用いて説明する。また，この一連の処理を図１４に模式的に示す。

まず，操作者は，処理対象とする変状推定データ，たとえば図１３の変状推定データを制御端末２に読み込ませる（図１４（ａ））。そして変状トレースデータ生成処理部２２は，変状推定データの入力を受け付ける（Ｓ２００）。

そして変状トレースデータ生成処理部２２は，入力を受け付けた変状推定データに対して，画像フィルタ処理を実行する（Ｓ２１０）。画像フィルタ処理としては，たとえばモルフォロジ演算による画像フィルタ処理があるが，それに限定するものではない。また，画像フィルタ処理は実行をしなくてもよい。

そして，画像フィルタ処理を実行した変状推定データまたは変状推定データに対して，あらかじめ定められた大きさのグリッド，たとえば１００×１００ピクセルを設定し，そのグリッドごとに後述するＳ２３０およびＳ２４０の処理を実行する（Ｓ２２０）。

すなわち，変状トレースデータ生成処理部２２は，グリッド内のピクセルに対して，平均値や最大値等の統計量を算出する（Ｓ２３０）。そして，算出した統計量が，あらかじめ定められた閾値の範囲に含まれる場合には「１」を，含まれない場合には「０」を登録する（Ｓ２４０）。なお，閾値としては下限値は少なくとも必要であるが，上限値は設けても設けなくてもよい。

このように，変状トレースデータ生成処理部２２は，図１１と同様に，画像フィルタ処理を実行した変状推定データまたは変状推定データにおいて，あらかじめ定められた大きさのグリッドを，あらかじめ定められた単位，たとえば１ピクセルずつ，上下左右に移動させながら，Ｓ２３０およびＳ２４０の処理を実行させる。そして，すべてのグリッドについてＳ２３０およびＳ２４０の処理が終了すると，二値化された変状推定データ（ヒートマップデータ）が生成できる。

以上のように二値化された変状推定データに対して，変状トレースデータ生成処理部２２は，「１」の値が隣接している上下左右のグリッドをグルーピングする（Ｓ２５０）。そして，同一のグループに分離されたグリッドの数をグループごとに算出し，そのグループの面積を算出する。算出したグループの面積が，所定の面積未満であれば，そのグループはノイズであるとして処理対象から除去をする（Ｓ２６０）。一方，算出したグループの面積が所定の面積以上であれば，そのグループを処理対象として設定する。処理対象として設定されたグループの一例が図１４（ｂ）である。

以上のような処理によって，ノイズとなるグループが除去されるので，残っているグループは変状オブジェクトになる。そこで，変状トレースデータ生成処理部２２は，残っているグループについて，その外周を多角形とするオブジェクトとして設定する（Ｓ２７０）。そして，レイヤ名称を付与した新たなレイヤをＣＡＤデータに追加し，そのレイヤにＳ２７０で設定したオブジェクトを，変状オブジェクトとして追加する（Ｓ２８０）。これによって，ＣＡＤデータである変状トレースデータに，変状オブジェクトが追加される。変状オブジェクトとして追加されたオブジェクトの一例を示すのが図１４（ｃ）である。

以上のような処理を実行することによって，変状推定データから，変状オブジェクトをレイヤとして含む変状トレースデータを生成することができる。

つぎに，本発明の構造物維持管理業務支援システム１の異なる実施態様として，学習用変状データを生成する際に，さらに処理を付加することで，その精度を向上させてもよい。

たとえば第１の処理としては，構造物がトンネルである場合，その撮影画像データには，トンネルを構成する３面（線路が敷設されている面以外の面）が含まれている。

たとえば，図１５に示すように，中壁，上床，側壁の３面が一つの画像データに含まれている。一方，トンネル壁面（側面）と，トンネル上床（天井）とでは，変状の表出パターンが異なることが知られている。たとえば，漏水や流離石灰等の変状は，トンネル壁面では釣り鐘型の形状になりやすいのに対し，ひび割れの変状は，トンネル上床では構造や周囲環境によって，縦断方向あるいは横断方向に生じやすい。このように，構造物の物理的特性によってそこに表出する変状が相違する傾向にあるので，壁面用の学習用変状データ，上床用の学習用変状データと区別できれば，さらに学習用変状データによる深層学習の精度の向上を望むことができる。

すなわち，構造物の現地環境条件（たとえば中壁，上床，側壁などの位置を示す情報など）や検出対象の変状の種別に応じ，撮影画像データの一部または全部を分離し，回転し，上下反転等させて読み込ませる。また分離した撮影画像データについて，トンネル上床の撮影画像データ，トンネル側壁の撮影画像データなどのように，現地環境条件や検出対象の変状の種別による特性情報を付加することで，それぞれの撮影画像データの特性に応じた学習用変状データとすることができる。

また，第２の処理としては，学習用データ生成処理部２０が学習用変状データを生成後，学習用変状データにおけるグリッドを，変状オブジェクトが含まれる量や位置等に応じて，分割してもよく，データの回転により学習のためのデータの方向をそろえてもよい。これを模式的に示すのが図１６である。また，学習用変状データの中央部など，特定の位置に変状オブジェクトが含まれているか否かによって，学習用データの負例群とするか，正例群とするかを区別してもよい。これを模式的に示すのが図１７である。

図１６では学習用変状データを所定の大きさのグリッドごとに分割をする。この際のグリッドの大きさは，Ｓ１３０で用いるグリッドと同じ大きさであることが好ましい。そして，各グリッドについて，変状がない（全面負例群），グリッドの下側に変状がある（下側正例群），グリッドの上側に変状がある（上側正例群），グリッドの右側または左側に変状がある（左右正例群），グリッドの全面に変状がある（全面正例群），上記以外（その他群）のグリッドに分類をする。

図１７においても，図１６と同様に，学習用変状データを所定の大きさのグリッドごとに分割をする。そして，各グリッドの中央部に変状がある（正例群），変状がない（負例群）のグリッドに分類をする。

このように学習用変状データを，グリッドごとに分類することや，あるいは分割したデータの方向を調節することで，変状推定処理部２１での学習用変状データを用いた深層学習の精度を向上させることができる。

本発明の構造物維持管理業務支援システム１を用いることで，撮影画像データから変状箇所を推定する変状推定処理を行うための学習用データ（学習用変状データ）を生成することができる。そして学習用変状データに基づいて変状推定処理を学習させることで，撮影画像データに基づく変状推定処理の精度を向上させることができる。

また，変状推定処理の結果出力された変状推定データはそのままでは構造物の補修計画等に利用することができない。そこで本発明の構造物維持管理業務支援システム１を用いることで，構造物の補修計画に用いる変状トレースデータを生成することができるので，変状箇所の推定のみならず，そのまま補修計画の立案等につなげることができる。

１：構造物維持管理業務支援システム
２：制御端末
２０：学習用データ生成処理部
２１：変状推定処理部
２２：変状トレースデータ生成処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims

構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，
前記構造物維持管理業務支援システムは，
構造物を撮影した第１の撮影画像データと，それに対応する第１の変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部と，
構造物を撮影した第２の撮影画像データの入力を受け付け，前記生成した学習用変状データに基づいて，前記第２の撮影画像データにおける変状を推定する変状推定処理部と，
構造物の変状を推定した変状推定データに基づいて，第２の変状トレースデータを生成する変状トレースデータ生成処理部と，
を有することを特徴とする構造物維持管理業務支援システム。
前記第１の撮影画像データと，前記第１の変状トレースデータとの入力を受け付け，
前記第１の撮影画像データと，前記第１の変状トレースデータとの位置を合わせ，
前記第１の変状トレースデータにおける変状の位置に対応する第１の撮影画像データを変状オブジェクトとして抽出し，
抽出した変状オブジェクトを用いて学習用変状データを生成する，
ことを特徴とする請求項１に記載の構造物維持管理業務支援システム。
前記学習用データ生成処理部は，さらに，
前記抽出した変状オブジェクトを，あらかじめ指定された解像度のグリッド上にマッピングし，
グリッドの領域における各ピクセルについて濃度計算を行うことで，学習用変状データを生成する，
ことを特徴とする請求項２に記載の構造物維持管理業務支援システム。
前記学習用データ生成処理部は，さらに，
前記第１の撮影画像データの一部または全部を，前記構造物の環境条件または変状の種別に基づいて分離し，
前記分離した撮影画像データについて，前記構造物の環境条件または変状の種別を含む特性情報を付加し，
前記特性情報を付加した前記第１の撮影画像データに基づいて，前記学習用データ生成処理部における処理を実行する，
ことを特徴とする請求項１から請求項３のいずれかに記載の構造物維持管理業務支援システム。
前記学習用データ生成処理部は，さらに，
前記生成した学習用変状データをあらかじめ定められた大きさのグリッドに応じて分離し，
前記分離したグリッドを，前記変状オブジェクトが含まれる量または位置に応じて分類する，
ことを特徴とする請求項１から請求項４のいずれかに記載の構造物維持管理業務支援システム。
前記変状トレースデータ生成処理部は，
前記変状推定データまたは画像フィルタ処理を実行した変状推定データに基づいて二値化した変状推定データを生成し，
前記二値化した変状推定データにおいて，あらかじめ定められたグリッドを設定し，所定の値が隣接するグリッドをグループ化し，
ＣＡＤデータに追加したレイヤに，前記グループ化したグリッドに基づいて設定したオブジェクトを追加することで，前記第２の変状トレースデータを生成する，
ことを特徴とする請求項１から請求項５のいずれかに記載の構造物維持管理業務支援システム。
前記変状トレースデータ生成処理部は，さらに，
前記グループ化したグリッドの外周を多角形とするオブジェクトを設定し，
前記ＣＡＤデータに追加したレイヤに，前記設定したオブジェクトを追加することで，前記第２の変状トレースデータを生成する，
ことを特徴とする請求項６に記載の構造物維持管理業務支援システム。
前記変状トレースデータ生成処理部は，さらに，
前記グループ化したグリッドの面積を算出し，この面積があらかじめ定められた条件を充足しない場合にはノイズとしてそのグループを処理対象から除外し，
前記処理対象から除外されていないグループのグリッドの外周を多角形とするオブジェクトを設定し，
前記ＣＡＤデータに追加したレイヤに，前記設定したオブジェクトを追加することで，前記第２の変状トレースデータを生成する，
ことを特徴とする請求項６に記載の構造物維持管理業務支援システム。
構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，
前記構造物維持管理業務支援システムは，
構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，を有しており，
前記学習用データ生成処理部は，
前記撮影画像データと，前記変状トレースデータとの入力を受け付け，
前記撮影画像データと，前記変状トレースデータとの位置を合わせ，
前記変状トレースデータにおける変状の位置に対応する撮影画像データを変状オブジェクトとして抽出し，
抽出した変状オブジェクトを用いて学習用変状データを生成する，
ことを特徴とする構造物維持管理業務支援システム。
構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，
前記構造物維持管理業務支援システムは，
構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，を有しており，
前記学習用データ生成処理部は，
前記撮影画像データの一部または全部を，前記構造物の環境条件または変状の種別に基づいて分離し，
前記分離した撮影画像データについて，前記構造物の環境条件または変状の種別を含む特性情報を付加し，
前記特性情報を付加した前記撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する，
ことを特徴とする構造物維持管理業務支援システム。
構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，
前記構造物維持管理業務支援システムは，
構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，を有しており，
前記学習用データ生成処理部は，
前記生成した学習用変状データをあらかじめ定められた大きさのグリッドに応じて分離し，
前記分離したグリッドを，前記変状オブジェクトが含まれる量または位置に応じて分類する，
ことを特徴とする構造物維持管理業務支援システム。
構造物の維持管理業務に用いる構造物維持管理業務支援システムであって，
前記構造物維持管理業務支援システムは，
構造物における変状を推定した変状推定データに基づいて，変状トレースデータを生成する変状トレースデータ生成処理部，を有しており，
前記変状トレースデータ生成処理部は，
前記変状推定データまたは画像フィルタ処理を実行した変状推定データに基づいて二値化した変状推定データを生成し，
前記二値化した変状推定データにおいて，あらかじめ定められたグリッドを設定し，所定の値が隣接するグリッドをグループ化し，
ＣＡＤデータに追加したレイヤに，前記グループ化したグリッドに基づいて設定したオブジェクトを追加することで，変状トレースデータを生成する，
ことを特徴とする構造物維持管理業務支援システム。
構造物の維持管理業務に用いるコンピュータを，
構造物を撮影した第１の撮影画像データと，それに対応する第１の変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，
構造物を撮影した第２の撮影画像データの入力を受け付け，前記生成した学習用変状データに基づいて，前記第２の撮影画像データにおける変状を推定する変状推定処理部，
構造物の変状を推定した変状推定データに基づいて，第２の変状トレースデータを生成する変状トレースデータ生成処理部，
として機能させることを特徴とする構造物維持管理業務支援プログラム。
構造物の維持管理業務に用いるコンピュータを，
構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，として機能させる情報処理プログラムであって，
前記学習用データ生成処理部は，
前記撮影画像データと，前記変状トレースデータとの入力を受け付け，
前記撮影画像データと，前記変状トレースデータとの位置を合わせ，
前記変状トレースデータにおける変状の位置に対応する撮影画像データを変状オブジェクトとして抽出し，
抽出した変状オブジェクトを用いて学習用変状データを生成する，
ことを特徴とする構造物維持管理業務支援プログラム。
構造物の維持管理業務に用いるコンピュータを，
構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，として機能させる情報処理プログラムであって，
前記学習用データ生成処理部は，
前記撮影画像データの一部または全部を，前記構造物の環境条件または変状の種別に基づいて分離し，
前記分離した撮影画像データについて，前記構造物の環境条件または変状の種別を含む特性情報を付加し，
前記特性情報を付加した前記撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する，
ことを特徴とする構造物維持管理業務支援プログラム。
構造物の維持管理業務に用いるコンピュータを，
構造物を撮影した撮影画像データと，それに対応する変状トレースデータとを用いて学習用変状データを生成する学習用データ生成処理部，として機能させる情報処理プログラムであって，
前記学習用データ生成処理部は，
前記生成した学習用変状データをあらかじめ定められた大きさのグリッドに応じて分離し，
前記分離したグリッドを，前記変状オブジェクトが含まれる量または位置に応じて分類する，
ことを特徴とする構造物維持管理業務支援プログラム。
構造物の維持管理業務に用いるコンピュータを，
前記構造物における変状を推定した変状推定データに基づいて，変状トレースデータを生成する変状トレースデータ生成処理部，として機能させる情報処理プログラムであって，
前記変状トレースデータ生成処理部は，
前記変状推定データまたは画像フィルタ処理を実行した変状推定データに基づいて二値化した変状推定データを生成し，
前記二値化した変状推定データにおいて，あらかじめ定められたグリッドを設定し，所定の値が隣接するグリッドをグループ化し，
ＣＡＤデータに追加したレイヤに，前記グループ化したグリッドに基づいて設定したオブジェクトを追加することで，変状トレースデータを生成する，
ことを特徴とする構造物維持管理業務支援プログラム。