JP2023139099A - 学習用データ収集装置、学習用データ収集方法、及びプログラム - Google Patents

Abstract

【課題】効率的な再学習を行える学習用データを収集する学習用データ収集装置、学習用データ収集方法及びプログラムを提供する。【解決手段】学習用データ収集装置１０が搭載されたコンピュータＡは、検査画像を取得する検査画像取得部１１と、学習された領域検出器で検出された領域検出結果を取得する領域検出結果取得部（損傷検出結果取得部１３）と、領域検出結果の修正履歴を取得する修正履歴取得部１５と、修正履歴を定量化した修正定量化情報を算出する算出部１７と、検査画像、領域検出結果、及び修正履歴を関連づけて記憶するデータベースと、データベースから再学習に使用する検査画像を抽出する抽出条件であって、修正定量化情報の閾値を抽出条件として設定する画像抽出条件設定部１９と、抽出条件を満たす検査画像を、領域検出器を再学習させる学習用データとして抽出する第１の学習用データ抽出部２１と、を備える。【選択図】図２

Description

本発明は、学習用データ収集装置、学習用データ収集方法、及びプログラムに関し、特に領域検出器に再学習させる学習用データを抽出する学習用データ収集装置、学習用データ収集方法、及びプログラムである。

近年、検査対象の対象物の撮影画像を使用して、対象物の検査を行うことがある。対象物の検査は、対象物の撮影画像から所定の領域を検出及び特定することにより行われる。例えば、構造物の損傷検査を行う場合には、検査の対象物である、橋梁、道路、ビル等の構造物の撮影画像が取得される。そしてその撮影画像から画像処理により、構造物の損傷を検出及び特定することが行われる。

ここで、撮影画像から画像処理により領域を検出する手法の一つとして、機械学習をさせた領域検出器（例えば損傷検出器）により、領域を検出する手法が知られている。また、一旦、機械学習をさせた領域検出器に対して、新たに再学習（又は追加学習）をさせることにより、領域検出の精度を向上させることができることも知られている。しかしながら、データベース等に蓄積された膨大な数の画像を全て学習用データとして、領域検出器に学習させていては、学習させる時間が膨大となってしまう。また、学習用データとして適切なデータを学習しなければ、高い学習効果を期待することができない。すなわち、無作為に学習用データを選択しているだけでは、領域検出器に効率的な学習を行わせることはできない。

そこで従来より、機械学習を行わせる場合に、効率の良い学習を行わせることを目的として、学習用データの抽出手法に関する提案がなされている。

例えば、特許文献１には、画像の識別精度を確実且つ迅速に向上させることを目的とした技術が記載されている。具体的には、過去の機械学習に用いられた画像以外の画像であって、過去の機械学習に用いられた画像に対する類似度が低い画像を機械学習に用いる技術が記載されている。

特開２０１７－２２４１８４号公報

ここで、対象物の領域の検出を機械学習させた領域検出器により行う場合において、効率的な機械学習を行うためには、その領域検出器で行われた領域検出結果にユーザが満足いかなかった検査画像を使用して再学習を行わせる必要がある。

一方で、ユーザは領域検出結果に対して軽微な修正を行うこともある。このような軽微な修正でも学習には時間は要する。

したがって、効率的な再学習を行うため、ユーザが満足いかなかった検査画像を抽出するとともに、軽微な修正は再学習の対象外としたい。

本発明はこのような事情に鑑みてなされたもので、効率的な再学習を行える学習用データを収集する学習用データ収集装置、学習用データ収集方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の一の態様である学習用データ収集装置は、検査の対象物を撮像した検査画像を取得する検査画像取得部と、検査画像に基づいて、学習された領域検出器で検出された領域検出結果を取得する領域検出結果取得部と、領域検出結果の修正履歴を取得する修正履歴取得部と、修正履歴を定量化した修正定量化情報を算出する算出部と、検査画像、領域検出結果、及び修正履歴を関連づけて記憶するデータベースと、データベースから再学習に使用する検査画像を抽出する抽出条件であって、修正定量化情報の閾値を抽出条件として設定する画像抽出条件設定部と、データベースから、抽出条件を満たす検査画像と検査画像に関連付けられた領域検出結果及び修正履歴とを、領域検出器を再学習させる学習用データとして抽出する第１の学習用データ抽出部と、を備える。

本態様によれば、修正履歴を定量化した修正定量化情報が算出され、一定の修正定量化情報を有する検査画像が学習用データとして抽出されるので、ユーザが領域検出結果に修正を加え、且つその修正が軽微な修正ではない検査画像を学習用データとして収集することができ、収集された学習用データを用いることにより、効率的な再学習を領域検出器に実施することができる。

好ましくは、学習用データ収集装置は、検査画像における実寸サイズ情報を取得する実寸サイズ情報取得部を備え、算出部は、修正定量化情報は実寸サイズ情報により実寸サイズに換算された修正定量化情報を算出する。

好ましくは、画像抽出条件設定部は対象物の画像情報を受け付け、第１の学習用データ抽出部は、画像情報と修正定量化情報の閾値とに基づいて、検査画像をデータベースから抽出する。

好ましくは、対象物の画像情報は、領域の大きさ情報、領域の位置情報、領域の方向情報、領域の種類情報、検査画像のメタ情報のうち少なくとも一つを含む情報である。

好ましくは、学習用データ収集装置は、検査画像の画質を判定する画質判定部を備え、画像抽出条件設定部は検査画像の画質に関する情報を受け付け、第１の学習用データ抽出部は、画質に関する情報と修正定量化情報の閾値とに基づいて、検査画像をデータベースから抽出する。

好ましくは、学習用データ収集装置は、検査画像の識別情報、部材情報、立地情報、環境情報、材質情報、検査情報、及び管理情報の少なくとも一つを含む付帯情報を取得する付帯情報取得部を備え、画像抽出条件設定部は付帯情報を受け付け、第１の学習用データ抽出部は、検査画像が有する付帯情報と画像抽出条件設定部で受け付けた付帯情報とに基づいて、検査画像を抽出する。

好ましくは、学習用データ収集装置は、検査画像が学習に使用された履歴に関する履歴情報を取得する学習履歴取得部と、取得された履歴情報に基づいて、学習に使用された画像の統計情報を生成する統計情報生成部と、を備え、第１の学習用データ抽出部は、生成された統計情報に基づいて検査画像をデータベースから抽出する。

好ましくは、検査画像取得部は、対象物を分割撮影して得られた分割画像と、分割画像を合成して得られたパノラマ合成画像とを含み、修正履歴取得部は、パノラマ合成画像上における修正履歴を取得し、第１の学習用データ抽出部は、パノラマ合成画像上における修正履歴に基づいて、パノラマ合成画像上の領域を抽出し、領域を構成する分割画像を少なくとも一つ抽出する。

好ましくは、第１の学習用データ抽出部で抽出されなかった検査画像から、領域検出器を再学習させる学習用データとして抽出する第２の学習用データ抽出部を備える。

好ましくは、抽出された検査画像及び検査画像に関連する情報を表示する画像確認表示部を備える。

本発明の他の態様である学習用データ収集方法は、検査の対象物を撮像した検査画像を取得するステップと、検査画像に基づいて、学習された領域検出器で検出された領域検出結果を取得するステップと、領域検出結果の修正履歴を取得するステップと、修正履歴を定量化した修正定量化情報を算出するステップと、検査画像、領域検出結果、及び修正履歴を関連づけて記憶するデータベースから再学習に使用する検査画像を抽出する抽出条件であって、修正定量化情報の閾値を抽出条件として設定するステップと、データベースから、抽出条件を満たす検査画像と検査画像に関連付けられた領域検出結果及び修正履歴とを、領域検出器を再学習させる学習用データとして抽出するステップと、を含む。

本発明の他の態様であるプログラムは、検査の対象物を撮像した検査画像を取得するステップと、検査画像に基づいて、学習された領域検出器で検出された領域検出結果を取得するステップと、領域検出結果の修正履歴を取得するステップと、修正履歴を定量化した修正定量化情報を算出するステップと、検査画像、領域検出結果、及び修正履歴を関連づけて記憶するデータベースから再学習に使用する検査画像を抽出する抽出条件であって、修正定量化情報の閾値を抽出条件として設定するステップと、データベースから、抽出条件を満たす検査画像と検査画像に関連付けられた領域検出結果及び修正履歴とを、領域検出器を再学習させる学習用データとして抽出するステップと、を含む学習用データ収集工程をコンピュータに実行させる。

本発明によれば、修正履歴を定量化した修正定量化情報が算出され、一定の修正定量化情報を有する検査画像が学習用データとして抽出されるので、ユーザが領域検出結果に修正を加え、且つその修正が軽微な修正ではない検査画像を収集することができ、収集された学習用データを用いることにより、効率的な再学習を領域検出器に実施することができる。

図１は、学習用データ収集装置とそれに接続される損傷検出器とを示す概念図である。 図２は、学習用データ収集装置の主な機能構成例を示すブロック図である。 図３は、検査画像取得部が取得する検査画像の一例を示す図である。 図４は、損傷検出結果を示す図である。 図５は、修正履歴を示す概念図である。 図６は、修正履歴の具体例を示す図である。 図７は、修正履歴の具体例を示す図である。 図８は、修正履歴の具体例を示す図である。 図９は、学習用データ収集工程を示したフローチャートである。 図１０は、学習用データ収集装置の機能構成例を示すブロック図である。 図１１は、データベースに検査画像と関連付けて記憶される、検査画像から得られる情報の記憶構成例を示す図である。 図１２は、濃度ヒストグラムの例を示す図である。 図１３は、学習用データ収集装置の機能構成例を示すブロック図である。 図１４は、学習用データ収集装置の機能構成例を示すブロック図である。 図１５は、パノラマ合成画像上の修正履歴を概念的に示す図である。 図１６は、検査画像の確認画面の例を示す図である。

以下、添付図面にしたがって本発明にかかる学習用データ収集装置、学習用データ収集方法、及びプログラムの好ましい実施の形態について説明する。なお、以下の説明においては、構造物の損傷検査の例に関して説明する。すなわち、検査の対象物は構造物であり、構造物の検査画像から領域として損傷（損傷領域）を検出する検査が行われる場合について説明する。

図１は、本発明の学習用データ収集装置とそれに接続される領域検出器の一例である損傷検出器とを示す概念図である。図１には、本発明の学習用データ収集装置が搭載されたコンピュータＡと、学習済みの損傷検出器が搭載されたコンピュータＢ１及びＢ２とが示されている。コンピュータＡ、コンピュータＢ１、及びコンピュータＢ２は、ネットワークに接続されており、相互に情報通信が可能である。

コンピュータＡはサーバとして機能し、コンピュータＢ１及びＢ２からアップロードされる検査画像、損傷検出結果（領域検出結果）、及び修正履歴のアップロードデータＣ１及びＣ２をそれぞれ、ネットワークを介して受信する。また、コンピュータＡは、コンピュータＢ１及びＢ２に搭載される損傷検出器を再学習させることができる学習用コンピュータとしても機能する。そしてコンピュータＡは、再学習された損傷検出器、又は損傷検出器が再学習されることにより得られる検出パラメータファイル（図中では符号Ｄで示す）をコンピュータＢ１及びＢ２に配信する。

コンピュータＢ１及びＢ２は、入力された検査画像Ｅ１及びＥ２に対して、搭載された損傷検出器により出力される損傷検出結果、及びその損傷検出結果に対してユーザが行う修正履歴をアップロードデータＣ１及びＣ２としてコンピュータＡにアップロードする。コンピュータＢ１及びＢ２は、損傷検出器により処理された全ての検査画像、又は一部の検査画像のアップロードデータＣ１及びＣ２に関してアップロードを行う。なお、コンピュータＢ１及びＢ２に搭載される損傷検出器は、既に機械学習を施された損傷検出器であり、公知の技術により学習が施された損傷検出器である。

コンピュータＡは、受信したアップロードデータＣ１及びＣ２を、搭載するデータベース２３（図２）に保存する。また、コンピュータＡは、搭載する学習用データ収集装置１０（図２）により学習用データを抽出し、抽出した学習用データを使用して再学習を行うので、効率的に損傷検出器の検出性能を向上させることができる。ここで、再学習とは、学習用データを追加して既に学習を行った学習用データを改めて全て学習する場合と、学習用データのみを追加で学習する場合とを含む概念である。なお、コンピュータＡに接続される損傷検出器を搭載するコンピュータ（図１ではコンピュータＢ１とＢ２）の数は限定されず、単数でも複数でもよい。

コンピュータＡ、コンピュータＢ１、及びコンピュータＢ２は、モニタ９がそれぞれ接続されており、ユーザはキーボード５及びマウス７を介して指令を入力する。なお、図示されたコンピュータの形態は一例である。例えば、図示したコンピュータの代わりにタブレット端末を使用することも可能である。

＜第１の実施形態＞
次に、本発明の第１の実施形態に関して説明する。

図２は、本実施形態のコンピュータＡが搭載する学習用データ収集装置１０の主な機能構成例を示すブロック図である。図２に示す学習用データ収集装置１０の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

学習用データ収集装置１０は、検査画像取得部１１、損傷検出結果取得部（領域検出結果取得部）１３、修正履歴取得部１５、算出部１７、実寸サイズ情報取得部１８、画像抽出条件設定部１９、第１の学習用データ抽出部２１、データベース２３、表示制御部２５、及び記憶部２６を備える。記憶部２６には、プログラム及び学習用データ収集装置１０の各種制御に係る情報等が記憶される。また、表示制御部２５は、モニタ９による表示を制御する。

検査画像取得部１１は、検査対象である構造物を撮像した検査画像を取得する。検査画像取得部１１で取得される検査画像は、コンピュータＢ１又はＢ２に搭載された損傷検出器（領域検出器）に入力された画像であり、損傷検出器により検査画像における損傷（領域）が検出される。

損傷検出結果取得部１３は、検査画像取得部１１で取得された検査画像の損傷検出結果を取得する。ここで損傷検出結果は、コンピュータＢ１又はＢ２に搭載される損傷検出器により出力され、コンピュータＡにアップロードされる。

修正履歴取得部１５は、損傷検出結果の修正履歴を取得する。修正履歴取得部１５で取得される修正履歴は、損傷検出結果取得部１３で取得される損傷検出結果に対しての修正履歴である。なお、修正履歴取得部１５は、修正が行われなかった場合には、修正が行われなかったことを示す情報を修正履歴として取得する。

算出部１７は、修正履歴を定量化した修正定量化情報を算出する。また、算出部１７は、実寸サイズ情報取得部１８を備えてもよく、実寸サイズ情報取得部１８は、検査画像における実寸サイズ情報を取得する。そしてこの場合に算出部１７は、実寸サイズ情報により実寸サイズに換算された修正定量化情報を算出する。なお、算出部１７で行われる修正定量化情報の算出についての説明は後で行う。

データベース２３は、検査画像、損傷検出結果、及び修正履歴を関連づけて記憶する。データベース２３は、検査画像取得部１１で取得される検査画像、損傷検出結果取得部１３で取得される損傷検出結果、及び修正履歴取得部１５で取得される修正履歴を関連付けて記憶する。

画像抽出条件設定部１９は、データベース２３から再学習に使用する検査画像を抽出する抽出条件であって、修正定量化情報の閾値を抽出条件として設定する。修正定量化情報の閾値は、データベース２３に保存される修正定量化情報に応じて決定される。またユーザは、この閾値を変更することにより、損傷検出結果が修正された検査画像であって、且つ軽微な修正ではない検査画像を学習用データとして抽出する。例えば、ユーザは所定閾値を設定して、その閾値以上の修正定量化情報を有する検査画像を収集することができる。

第１の学習用データ抽出部２１は、データベース２３から、抽出条件を満たす検査画像と検査画像に関連付けられた損傷検出結果及び修正履歴とを、損傷検出器を再学習させる学習用データとして抽出する。

＜＜データベースに記憶されるデータ＞＞
次にデータベース２３に記憶されるデータの具体例を説明する。データベース２３には、少なくともコンピュータＢ１及びＢ２からアップロードされる検査画像、損傷検出結果、及び修正履歴が記憶される。

図３は、検査画像取得部１１が取得する検査画像の一例を示す図である。検査画像３１は、検査対象である構造物の一例である橋梁の床版の一部を撮影した画像である。検査画像３１は、ひび割れ３３とひび割れ３５とを有する。検査画像３１はコンピュータＢ１又はＢ２に入力され、コンピュータＢ１に搭載されている損傷検出器により損傷検出結果が出力される。なお、構造物は橋梁に限定されるものではなく、トンネル、ボックスカルバート、ダム、防潮堤、建築物（壁面や床など）などの他の構造物でもよい。

図４は、図３で示した検査画像が損傷検出器に入力され、得られた損傷検出結果を示す図である。損傷検出結果４１は、ひび割れ３３に対しての損傷検出結果３７、ひび割れ３５に対しての損傷検出結果３９を有する。損傷検出結果３９は、良好でありひび割れ３５を十分に検出している。一方、損傷検出結果３７は、ひび割れ３３を十分に検出してはなく、不良な損傷検出結果である。したがって、ユーザは損傷検出結果３７に関しては、修正を行う。

図５は、図４で示した損傷検出結果４１に対して、ユーザが行った修正履歴を示す概念図である。修正履歴５２では、ひび割れ３３の損傷検出結果３７に対して、追加ベクトル５４が追加されている。すなわち、損傷検出結果３７は、ひび割れ３３を十分に検出できていないため、ユーザは手動で追加ベクトル５４を加えている。

以上の具体例で説明した検査画像３１、損傷検出結果４１、及び修正履歴５２は、コンピュータＢ１又はＢ２からコンピュータＡにアップロードされる。

＜＜修正定量化情報＞＞
次に、修正定量化情報に関して説明する。修正定量化情報は、算出部１７により修正履歴を定量化することにより算出される。ここで修正履歴の定量化（修正量）とは、例えばひび割れなどでは、修正されて追加又は削除されたベクトルの長さを示す情報であったり、修正されて移動されたベクトルの座標の変更量である。また例えば漏水、遊離石灰、剥離、鉄筋露出などでは、修正されて追加又は削除された領域の面積、領域の面積の変化量である。そして、画像抽出条件設定部１９では、データベース２３に保存されている修正定量化情報に対応した閾値が設定され、第１の学習用データ抽出部２１は例えば閾値以上の修正定量化情報を有する検査画像を抽出する。

算出部１７は、実寸サイズ情報取得部１８を備えても良いし、備えなくてもよい。算出部１７が実寸サイズ情報取得部１８を備えない場合には、ピクセルサイズにおける修正量を修正定量化情報とする。また、算出部１７が実寸サイズ情報取得部１８を備える場合には、算出部１７は、実寸サイズ情報（被写体解像度（mm/画素）、又は画像中の部材等のサイズ）を用いて、実寸サイズに換算された修正量を算出する。算出部１７は、実寸サイズ情報取得部１８を備えることにより、より正確に修正量を算出することができる。

図６、図７、及び図８は、修正履歴取得部１５で取得される修正履歴の具体例を示す図である。なお、図６、図７、及び図８は、損傷検出器が損傷（ひび割れ）を検出し出力したベクトル（検出ベクトル）を点線で示し、ユーザが修正を加えた後のベクトル（修正後ベクトル）を実線で示す。また、点線と実線がほぼ並行に描かれている箇所は、実際には検出ベクトルと修正後ベクトルが重なっている箇所であり、損傷検出器での検出が良好であることを示している。

図６に示された修正履歴５６は、ユーザによって、追加の修正が行われた場合を示している。具体的には、修正履歴５６の領域６１において、ユーザによって損傷検出器が出力していない修正後ベクトルが追加されており、検出漏れの損傷がユーザの修正により追加されている。

図７に示された修正履歴５８は、ユーザによって、誤検出の修正が行われた場合を示している。具体的には、修正履歴５８の領域６３において損傷が検出されているが、領域６３には検出ベクトルだけであり、修正後ベクトルは描かれていない。したがって、領域６３の検出ベクトルは誤検出によるものであり、削除され修正される。

図８に示された修正履歴６０は、同図中の（Ａ）では、一部の領域では検出ベクトルと修正後ベクトルの一部が重なっているものの、一部の領域ではベクトルが削除される修正が行われ、一部の領域ではベクトルが追加されている。具体的には、領域６５では、検出ベクトルのみが存在していることから誤検出の削除の修正が行われており、領域６７では、修正後ベクトルのみが存在していることから、検出漏れの損傷が追加されている。また、同図中の（Ｂ）では、ベクトルの一部の座標値が変更して修正された修正履歴が記載されている。具体的には、図中の４つの座標値が、検出ベクトルと修正後ベクトルとでは異なり、損傷の検出が一部変更されている。

以上、修正履歴の具体例を示したが、修正履歴はこれに限定されるものではなく、様々な形態の修正履歴が採用される。

＜＜学習用データ収集工程＞＞
次に、学習用データ収集装置１０を使用した学習用データ収集工程（学習用データ収集方法）に関して説明する。図９は、学習用データ収集装置１０を使用した学習用データ収集工程（学習用データ収集方法）を示したフローチャートである。

先ず、検査画像取得部１１は、コンピュータＢ１及びＢ２からアップロードされる検査画像を取得する（ステップＳ１０）。また、損傷検出結果取得部１３は、コンピュータＢ１及びＢ２からアップロードされる損傷検出結果を取得する（ステップＳ１１）。また、修正履歴取得部１５は、コンピュータＢ１及びＢ２からアップロードされる修正履歴を取得する（ステップＳ１２）。その後、算出部１７は、取得した修正履歴に基づいて修正定量化情報を算出する（ステップＳ１３）。その後、画像抽出条件設定部１９により、修正定量化情報の閾値を抽出条件として設定する（ステップＳ１４）。その後、第１の学習用データ抽出部２１により、再学習させる学習用データを抽出する（ステップＳ１５）。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

以上で説明したように、本実施態様は、修正履歴が定量化され、その定量化された抽出条件により、学習用データが抽出されるので、修正され且つその修正が軽微でない検査画像が学習用データとして抽出されるので、損傷検出器に効率的な学習を行わすことができる。

＜第２の実施形態＞
次に、第２の実施形態に関して説明する。第２の実施形態では、修正定量化情報に加えて、検査画像から得られる情報（構造物の画像情報及び検査画像の画質に関する情報）にも基づき、検査画像が抽出される。これにより、より効率的な再学習が行える学習用データを収集することができる。

図１０は、本実施形態の学習用データ収集装置１０の機能構成例を示すブロック図である。なお、図２で既に説明を行った箇所は同じ符号を付し、説明は省略する。

学習用データ収集装置１０は、検査画像取得部１１、損傷検出結果取得部１３、修正履歴取得部１５、算出部１７、実寸サイズ情報取得部１８、画像抽出条件設定部１９、第１の学習用データ抽出部２１、画質判定部５１、データベース２３、表示制御部２５、及び記憶部２６を備える。

本実施形態の画像抽出条件設定部１９は、検査画像から得られる情報の一つである構造物の画像情報を受け付ける。ここで、構造物の画像情報とは、損傷の大きさ情報（領域の大きさ情報）、損傷の位置情報（領域の位置情報）、損傷の方向情報（領域の方向情報）、損傷の種類情報（領域の種類情報）、検査画像のメタ情報のうち少なくとも一つを含む情報である。データベース２３には検査画像に関連して、これらの画像情報が記憶されている。なお、画像情報は、例えば損傷検出器で損傷が検出される際に取得される。具体的には、損傷の大きさ情報、損傷の位置情報、損傷の方向情報、損傷の種類情報、検査画像のメタ情報は、損傷検出器により損傷が検出される場合に取得されて検査画像に関連付けてアップロードされる。

第１の学習用データ抽出部２１は、画像情報と修正定量化情報とに基づいて、検査画像をデータベース２３から抽出する。すなわち、画像抽出条件設定部１９において抽出したい（追加で学習したい）画像情報の抽出条件と修正定量化情報の閾値とを設定する。設定される画像情報の抽出条件の具体例としては、最小ひび割れ幅が０．２ｍｍ以上の画像を抽出する条件、又は遊離石灰が中央部にある画像を抽出する条件などが挙げられる。なお、画像抽出条件設定部１９には、画像情報の抽出条件のみが設定されてもよく、その場合には、画像情報の抽出条件によって、検査画像が抽出される。

＜＜構造物の画像情報＞＞
次に、構造物の画像情報に関して説明する。

構造物の画像情報の一つとして、損傷の大きさがある。損傷の大きさは、ピクセルサイズで定量化、又は実寸サイズ情報取得部１８を備える場合には実寸サイズで定量化されて、構造物の画像情報とされる。損傷の大きさの具体例としては、検査画像内の損傷のトータル長さ（検査対象がコンクリート構造物の場合のひび割れの長さ、検査対象が鋼部材の場合の亀裂の長さ）が挙げられる。また、ひび割れの幅毎（０．１ｍｍ未満、０．１ｍｍ以上０．２ｍｍ未満、０．２ｍｍ以上など）のトータル長さを構造物の画像情報としてもよい。

また、損傷の大きさの具体例として、検査画像内の損傷のトータル面積（検査対象がコンクリート構造物の場合の漏水、遊離石灰、剥離、鉄筋露出など、検査対象が鋼部材の場合の腐食、防食機能の劣化など）が挙げられる。また、損傷の最大幅、最大面積（漏水、遊離石灰、剥離、鉄筋露出の場合など）、最小間隔（同じ種類の隣の損傷との最小距離）、密度（１平方メートル当たりのひび割れ本数、長さ［ひび割れ、亀裂］、面積［漏水、遊離石灰、剥離、鉄筋露出］など）が挙げられる。

構造物の画像情報の一つとして、損傷の位置がある。損傷の位置は、部材全体が写った検査画像から、損傷の位置を把握する。また、部材を分割して撮影した画像をパノラマ合成した後に、パノラマ合成画像により損傷の位置を把握してもよい。損傷の位置の具体例としては、位置（中央部／端部、など）、方向性（床版のひび割れが橋軸方向／橋軸直角方向、橋脚のひび割れが垂直方向／水平方向、など）である。

構造物の画像情報の一つとして、損傷の種類がある。損傷の種類は、損傷検出器の検出結果（例えば、ひび割れ検出、漏水検出、遊離石灰検出、剥離検出、鉄筋露出検出、亀裂検出、腐食検出、防食機能の劣化検出など）を利用する。また、ユーザが損傷の種類を指定してもよい。

構造物の画像情報の一つとして、メタ情報（Ｅｘｉｆ情報）がある。メタ情報は、例えば、カメラ機種、レンズ種、Ｆ値、シャッタースピード、焦点距離、フラッシュＯＮ／ＯＦＦ、画素数、ＩＳＯ感度などである。

図１１は、データベース２３に検査画像と関連付けて記憶される、検査画像から得られる情報（構造物の画像情報）の記憶構成例を示す図である。なお符号６９で示される情報が学習された検査画像から得られる情報であり、符号７１で示す情報は後で説明する付帯情報である。検査画像から得られる情報としては、例えば最大ひび割れ幅（ｍｍ）、最小ひび割れ間隔（ｍ）、及び、ひび割れ以外の損傷の有無、撮像された部材名である。例えばこれらの情報は、検査画像が損傷検出器に入力されることにより得られる。このように、データベース２３には、検査画像と関連づけられて、構造物の画像情報が記憶されている。

＜＜画質判定の例＞＞
検査画像から得られる情報の一つとして、検査画像の画質に関する情報がある。

画質判定部５１は、検査画像取得部１１で取得された検査画像の画質を判定する。この場合、画像抽出条件設定部１９は検査画像の画質に関する情報を受け付ける。第１の学習用データ抽出部２１は、画質に関する情報と修正定量化情報の閾値とに基づいて、検査画像をデータベース２３から抽出する。

ここで、画質判定部５１が行う判定は、様々な手法を採用することができる。以下に画質判定部５１の判定手法の具体例を説明する。

＜＜機械学習による画質の判定＞＞
画質判定部５１が行う画質判定手法としては、機械学習が施された画質判定器による判定手法がある。すなわち、画質判定部５１は機械学習による画質判定器（画質判定ＡＩ）により構成され、画質判定器により検査画像の画質を判定する。

＜＜空間周波数スペクトルによる判断＞＞
画質判定部５１は、検査画像中の領域の空間周波数スペクトルにおける高周波領域のスペクトル最大値、平均値、又はスペクトルの和等で画質を定量化して判定してもよい。具体的には、空間周波数スペクトル画像（撮影画像を高速フーリエ変換（ＦＦＴ：fast Fourier transform）して得られる）の四隅から特定の画素数半径内（ｒピクセル半径）の成分の最大値、平均値、又は和が大きいほど高周波成分が強い（多い）のでボケ、ブレが少なく、画質がよりよい。

＜＜ヒストグラムによる判断＞＞
画質判定部５１が行うヒストグラム（画質を示す指標の一例）による判断では、画質判定部５１は個別画像（Ｒ，Ｇ，Ｂの成分で構成されるカラー画像）をグレースケール画像に変換する。例えば、グレースケール（濃度）＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１である（Ｒ，Ｇ，Ｂはそれぞれ赤色信号、緑色信号、青色信号の値）。画質判定部５１は、変換したグレースケール画像のヒストグラム（濃度ヒストグラム；図１２の例を参照）を計算する。ヒストグラムの計算及び以下の判断は、個別画像の全体ではなく一部の領域について行ってもよい。画質判定部５１は、Ｇ（ｉ）｛ｉ＝０，１，…，２５５｝を各濃度値（０に近いほど暗く、２５５に近いほど明るい）のヒストグラムとして、以下の式（１），（２）により個別画像が明るすぎるかどうか、あるいは暗すぎるかどうかを判定する。判定の閾値（ｋｂ，ｈｂ，ｋｄ，ｈｄ）は既定値（例えば、ｋｂ＝２０５，ｈｂ＝０．５，ｋｄ＝５０，ｈｄ＝０．５）でもよいし、操作部（キーボード５及びマウス７）を介したユーザの入力に応じて画質判定部５１が設定してもよい。

画質判定部５１は、上述した式（１）において濃度値がｋｂ以上の割合が全体のｈｂ以上であれば「明るすぎる」と判定する。この場合、画質判定部５１は「（明るすぎるため）画質が低い」と判断して、個別画像を確認対象画像とする。同様に、画質判定部５１は式（２）において濃度値がｋｄ以下の割合が全体のｈｄ以上であれば「（暗すぎるため）画質が低い」と判断して、個別画像を確認対象画像とする。

ヒストグラムに基づき、階調がつぶれているか否かの判定を行うこともできる。例えば、画質判定部５１は、Ｇ（ｉ）｛ｉ＝０，１，…，２５５｝を各濃度値のヒストグラムとして、Ｇ（０）＞Ｔｄの場合は「シャドー側の階調がつぶれている」と判定し、またＧ（２５５）＞Ｔｂの場合は「ハイライト側の階調がつぶれている」と判断する。これらの場合、画質判定部５１は「画質が低い」と判断して、個別画像を確認対象画像とする。判定の閾値（Ｔｄ，Ｔｂ）は既定値（例えば、Ｔｄ＝０，Ｔｂ＝０）でもよいし、操作部（キーボード５及びマウス７）を介したユーザの入力に応じて画質判定部５１が設定してもよい。

以上で説明したように、画質判定部５１は、様々な手法により検査画像の画質の判定を行うことができる。

本実施形態では、修正定量化情報に加えて、検査画像から得られる情報（構造物の画像情報及び検査画像の画質に関する情報）にも基づき、検査画像が抽出されるので、効率的な再学習が行える学習用データを収集することができる。

＜第３の実施形態＞
次に、第３の実施形態に関して説明する。第３の実施形態では、修正定量化情報に加えて、検査画像の付帯情報にも基づき、検査画像が抽出される。これにより、より効率的な再学習が行える学習用データを収集することができる。

図１３は、本実施形態の学習用データ収集装置１０の機能構成例を示すブロック図である。なお、図２で既に説明を行った箇所は同じ符号を付し、説明は省略する。

学習用データ収集装置１０は、検査画像取得部１１、損傷検出結果取得部１３、修正履歴取得部１５、算出部１７、実寸サイズ情報取得部１８、画像抽出条件設定部１９、第１の学習用データ抽出部２１、付帯情報取得部５３、データベース２３、表示制御部２５、及び記憶部２６を備える。

付帯情報取得部５３は、検査画像の識別情報、部材情報、立地情報、環境情報、材質情報、検査情報、管理情報、及び構造物種類情報の少なくとも一つを含む付帯情報を取得する。そして、この場合は、画像抽出条件設定部１９は付帯情報を受け付け、第１の学習用データ抽出部２１は、検査画像が有する付帯情報と画像抽出条件設定部１９で受け付けた付帯情報とに基づいて、検査画像を抽出する。すなわち、画像抽出条件設定部１９において抽出したい（追加で学習したい）付帯情報の抽出条件も修正定量化情報の閾値と共に設定する。例えば、付帯情報の抽出条件として、海岸からの距離が１００ｍ以内の橋脚の画像を抽出、交通量が１０００台／日以上で経年数が３０年以上の橋の画像を抽出するなどが挙げられる。なお、画像抽出条件設定部１９には、付帯情報の抽出条件のみが設定されてもよく、その場合には付帯情報の抽出条件によって、検査画像が抽出される。

以下に各付帯情報の具体例を記載する。識別情報は、例えば、橋の名称やＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）番号である。部材情報は、例えば部材種類（床版／橋脚／桁等）、又は方向（橋軸方向、垂直方向）である。立地情報は、例えば都道府県、市町村、地域、緯度・経度、海からの距離である。環境情報は、例えば気候（気温［平均、最大、最低など］、湿度［平均、最大、最低など］、降雨量、降雪量）、交通量である。材質情報は、例えばコンクリート骨材サイズ、材料強度（圧縮強度、引っ張り強度）である。検査情報（コンクリートのコア抜き試験結果等）は、塩化物イオン濃度、中性化の進行度、アルカリ骨材反応の有無である。管理情報は、経年数、施工条件（施工時の気温又は湿度など）、補修履歴である。構造物種類情報は、橋梁、トンネル、ボックスカルバート、建築物等である。

本実施形態では、修正定量化情報に加えて付帯情報も使用して、学習用データを抽出することにより、より効率的な再学習を行える学習用データを抽出することができる。

＜第４の実施形態＞
次に、第４の実施形態に関して説明する。

図１４は、本実施形態の学習用データ収集装置１０の機能構成例を示すブロック図である。なお、図２で既に説明を行った箇所は同じ符号を付し、説明は省略する。

学習用データ収集装置１０は、検査画像取得部１１、損傷検出結果取得部１３、修正履歴取得部１５、算出部１７、実寸サイズ情報取得部１８、画像抽出条件設定部１９、第１の学習用データ抽出部２１、学習履歴取得部５５、統計情報生成部５７、第２の学習用データ抽出部５９、データベース２３、表示制御部２５、及び記憶部２６を備える。

学習履歴取得部５５は、検査画像が学習に使用された履歴に関する履歴情報を取得する。具体的には、学習履歴取得部５５は、検査画像取得部１１で取得された検査画像が、コンピュータＢ１又はＢ２の損傷検出器の機械学習に既に使用されたものであるか否かの情報を取得する。

統計情報生成部５７は、取得された履歴情報に基づいて、学習に使用された画像の統計情報を生成する。第１の学習用データ抽出部２１は、生成された統計情報に基づいて、検査画像を抽出してもよい。すなわち、画像抽出条件設定部１９において抽出したい（追加で学習したい）統計情報の抽出条件も修正定量化情報の閾値と共に設定する。ここで、統計情報の抽出条件は、例えば、既に学習に利用された画像の中で画像情報、又は付帯情報において頻度が少ない条件である。なお、画像抽出条件設定部１９には、統計情報の抽出条件のみが設定されてもよく、その場合には、統計情報の抽出条件によって、検査画像が抽出される。

以下に統計情報の具体例を示す。なお、以下に記載の「○％」は、学習済全画像枚数に対し、所定の条件を満たす画像の枚数の割合を示す。

例えば最大ひび割れ幅の統計情報は、０．０５ｍｍ未満○％、０．０５ｍｍ以上０．１ｍｍ未満○％、０．１ｍｍ以上０．２ｍｍ未満○％、０．２ｍｍ以上０．５ｍｍ未満○％、０．５ｍｍ以上１．０ｍｍ未満○％、１．０ｍｍ以上○％と記載することができる。また、例えば最小ひび割れ間隔の統計情報は、０．２ｍ未満○％、０．２ｍ以上０．５ｍ未満○％、０．５ｍ以上１ｍ未満○％、１ｍ以上○％と記載することができる。また、ひび割れ以外の損傷の統計情報は、なし○％、漏水○％、遊離石灰○％、剥離○％、鉄筋露出○％、漏水かつ遊離石灰○％と記載することができる。またこの他にも、部材、海からの距離、交通量、経年数で統計情報を生成することができる。さらに、最大ひび割れ幅×ひび割れ以外の損傷のように、複数の統計情報の組み合わせの条件を生成することができる。

第２の学習用データ抽出部５９は、第１の学習用データ抽出部２１で抽出されなかった検査画像から、損傷検出器を再学習させる学習用データとして抽出する。例えば、第２の学習用データ抽出部５９は、第１の学習用データ抽出部２１で抽出されなかった検査画像からランダムに又は規則的（例えば、ファイル名順に並べて所定の個数おきに抽出）に抽出する。また、第２の学習用データ抽出部５９は、低画質の検査画像を除いて、ランダムに抽出する。第２の学習用データ抽出部５９は、第１の学習用データ抽出部２１で抽出された検査画像の数と同数の検査画像を抽出する。第２の学習用データ抽出部５９で抽出された学習用データを学習させることにより、学習が偏った条件の検査画像に影響され過ぎるのを防ぐことができる。

＜その他の例＞
＜＜パノラマ合成画像＞＞
次に、パノラマ合成画像において修正履歴がある場合について説明する。

検査画像取得部１１が取得する検査画像にはパノラマ合成画像が含まれる。すなわち、検査画像取得部１１は、構造物を分割撮影して得られた分割画像と、分割画像を合成して得られたパノラマ合成画像とを取得する。そして、この場合修正履歴取得部１５は、パノラマ合成画像において行われた修正履歴を取得する。

第１の学習用データ抽出部２１は、パノラマ合成画像上における修正履歴に基づいて、パノラマ合成画像上の領域を抽出し、領域を構成する分割画像を少なくとも一つ抽出する。

図１５は、検査画像取得部１１が取得したパノラマ合成画像上の修正履歴を概念的に示す図である。

図１５に示されたパノラマ合成画像７１上において、ユーザは修正（追加又は削除）を行っている。ユーザが行った修正は、ベクトル（１）から（５）で示されている。ユーザが行った修正は、パノラマ合成画像７１の一部を構成する分割画像７３と分割画像７５にまたがって存在している。このような場合に、第１の学習用データ抽出部２１は、例えば以下のようなパターンで検査画像の自動選択を行うことができる。なお、この場合、パノラマ合成画像７１上の修正は、画像抽出条件設定部１９で設定された抽出条件を満たす修正である。

第１の学習用データ抽出部２１は、パターン１としてベクトル（１）から（５）が含まれる画像を全て選択する。すなわち、第１の学習用データ抽出部２１は、分割画像７３と分割画像７５とを学習用データとして選択する。また、第１の学習用データ抽出部２１は、パターン２としてベクトル（１）から（５）が所定の閾値以上の長さの場合に、ベクトル（１）から（５）が含まれる分割画像を全て選択する。また、第１の学習用データ抽出部２１は、パターン３として、ベクトル（１）から（５）が含まれる長さが最長の分割画像を選択する。この場合、分割画像７５は分割画像７３よりも長くベクトル（１）から（５）を有するので、分割画像７５が選択される。また、第１の学習用データ抽出部２１は、パターン４として、分割画像７３に含まれる修正量と分割画像７５に含まれる修正量をそれぞれ所定の閾値と比較し、それぞれの画像毎に抽出する／しないを判別する。また、第１の学習用データ抽出部２１は、パターン５として、ベクトル（１）から（５）が含まれる画像の画質を判定し、画質が最も高い画像を選択する。

＜＜画像確認表示部＞＞
次に、第１の学習用データ抽出部２１又は第２の学習用データ抽出部５９で抽出された検査画像を表示する画像確認表示部に関して説明する。

学習用データ収集装置１０は、モニタ９で構成される画像確認表示部を備えることが可能である。

図１６は、モニタ９に表示される抽出された検査画像の確認画面の例を示す図である。図１６に示した例では、抽出された検査画像７７が示されている。また、確認画面には、抽出された検査画像に対して、学習用データとして採用か不採用かの選択ボタン８１が設けられている。また、修正履歴に基づいて、検出漏れ箇所や誤検出箇所などを明示する指
令を受け付けるボタン７９が設けられている。また、確認画面は、検査画像に関連する情報（画像から得られる情報及び／又は付帯情報）の表示８３を有している。

このように、学習用データ収集装置１０が画像確認表示部を有することにより、ユーザは抽出された検査画像を確認することができ、より学習効果の高い学習用データを収集することができる。

＜＜他の検査＞＞
上述した説明では、本発明が構造物の損傷検査を行う場合に適用される例に関して説明をした。本発明の適用される検査の例はこれに限定されるものではない。領域検出器で何らかの領域（物体の領域も含む）を検出させる場合に、本発明は適用される。例えば、検査の対象物が人体の場合に、人体の検査画像であるＣＴ（Computed Tomography）画像から血管を検出する場合にも、本発明が適用される。また、物品及び薬品などの製品を対象物として、画像を用いて表面の傷や欠陥の検査(外観検査等)を行う場合にも、本発明が適用される。また、Ｘ線を用いた構造物内部の損傷・欠陥の画像による検査にも適用される。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０：学習用データ収集装置
１１：検査画像取得部
１３：損傷検出結果取得部
１５：修正履歴取得部
１７：算出部
１８：実寸サイズ情報取得部
１９：画像抽出条件設定部
２１：第１の学習用データ抽出部
２３：データベース
２５：表示制御部
２６：記憶部
Ａ ：コンピュータ
Ｂ１：コンピュータ
Ｂ２：コンピュータ
Ｃ１、Ｃ２：アップロードデータ
Ｄ：再学習した損傷検出器又は検出パラメータファイル
Ｅ１、Ｅ２：検査画像

Claims (7)

1. 検査の対象物を撮像した検査画像に基づいて領域検出器で検出された領域を示す領域検出結果を取得する取得部と、
   前記領域検出結果の修正履歴を定量化した修正定量化情報を算出する算出部と、
   少なくとも前記修正定量化情報の閾値に基づいて、前記検査画像から、前記領域検出器を学習させる学習用データを抽出する抽出部と、
   を備える学習用データ収集装置。
2. 前記領域検出結果は、前記領域検出器で検出された損傷領域の検出結果であり、
   前記修正履歴は、前記損傷領域の検出結果の修正である、
   請求項１に記載の学習用データ収集装置。
3. 前記算出部は、前記修正履歴の寸法に基づいて定量化して前記修正定量化情報を算出する請求項１または２に記載の学習用データ収集装置。
4. 前記閾値は、前記修正定量化情報に対応した次元である請求項１から３のいずれか１項に記載の学習用データ収集装置。
5. 前記検査画像の画質を判定する画質判定部を備え、
   前記抽出部は、前記検査画像の画質に関する情報を受け付け、
   前記画質に関する情報と前記閾値とに基づいて、前記検査画像を抽出することを特徴とする請求項１から４のいずれか１項に記載の学習用データ収集装置。
6. 検査の対象物を撮像した検査画像に基づいて領域検出器で検出された領域を示す領域検出結果を取得するステップと、
   前記領域検出結果の修正履歴を定量化した修正定量化情報を算出するステップと、
   少なくとも前記修正定量化情報の閾値に基づいて、前記検査画像から、前記領域検出器を学習させる学習用データを抽出するステップと、
   を含む学習用データ収集方法。
7. 検査の対象物を撮像した検査画像に基づいて領域検出器で検出された領域を示す領域検出結果を取得するステップと、
   前記領域検出結果の修正履歴を定量化した修正定量化情報を算出するステップと、
   少なくとも前記修正定量化情報の閾値に基づいて、前記検査画像から、前記領域検出器を学習させる学習用データを抽出するステップと、
   を含む学習用データ収集工程をコンピュータに実行させるプログラム。

Images