JP2018017102A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】建造物等の面の状態を、わかりやすく提示すること。【解決手段】面に沿って移動する移動体に搭載された撮像装置で撮像され、当該面を含む領域が撮像された画像を取得する画像取得部と、前記画像取得部が取得する画像の各々について、前記画像中の面の状態を示す状態情報と、前記面の位置を示す位置情報と、を対応付けた情報を生成する状態判定部と、地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示する表示部と、を備える情報処理装置。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

道路、橋梁、施設等の老朽化に伴い、建造物のメンテナンスを効率的に行うことが求められている。建造物のメンテナンスを実施するためには、建造物の不具合を発見する作業が必要になるが、目視での確認では、定量的な評価と網羅的な確認が困難である。そのため、機械による自動検出が普及しつつある。例えば、特許文献１には、車両に搭載された加速度センサにより測定された該車両の走行路面位置に応じた測定値であって、ある路面位置についての複数回の走行のそれぞれにおける測定値の累積により前記ある路面位置についての路面劣化を検出する際に、前記ある路面位置に対応する路面評価値に応じて路面劣化の検出感度を変更する、処理をコンピュータに実行させることを特徴とするプログラムが記載されている。

特開２０１５−１７８７０２号公報

ところで、建造物に複数の不具合が発見された場合、各不具合に対して計画的に対処する必要がある。そのため、不具合の位置や状態をわかりやすく提示することが求められている。

本発明のいくつかの態様は、建造物等の面の状態を、わかりやすく提示することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。

上述した課題を解決するために、本発明の一態様は、面に沿って移動する移動体に搭載された撮像装置で撮像され、当該面を含む領域が撮像された画像を取得する画像取得部と、前記画像取得部が取得する画像の各々について、前記画像中の面の状態を示す状態情報と、前記面の位置を示す位置情報と、を対応付けた情報を生成する状態判定部と、地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示する表示部と、を備える情報処理装置である。
また、本発明の別の一態様は、情報処理装置が、面に沿って移動する移動体に搭載された撮像装置で撮像され、当該面を含む領域が撮像された画像を取得する第１ステップと、前記第１ステップにおいて取得された画像の各々について、前記画像中の面の状態を示す状態情報と、前記面の位置を示す位置情報と、を対応付けた情報を生成する第２ステップと、地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示部に表示する第３ステップと、を含む情報処理方法である。
また、本発明の別の一態様は、コンピュータに、面に沿って移動する移動体に搭載された撮像装置で撮像され、当該面を含む領域が撮像された画像を取得する第１ステップと、前記第１ステップにおいて取得された画像の各々について、前記画像中の面の状態を示す状態情報と、前記面の位置を示す位置情報と、を対応付けた情報を生成する第２ステップと、地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示部に表示する第３ステップと、を実行させるためのプログラムである。

本発明の一実施形態によれば、建造物等の面の状態を、わかりやすく提示することができる。

本発明の第１の実施形態に係る不具合解析システム１の概要を示す図。 同実施形態に係る路面画像を撮像した画像の第１例を示す図。 同実施形態に係る路面画像を撮像した画像の第２例を示す図。 同実施形態に係る路面画像を撮像した画像の第３例を示す図。 同実施形態に係る路面画像を撮像した画像の第４例を示す図。 同実施形態に係る路面画像を撮像した画像の第５例を示す図。 同実施形態に係る不具合解析システム１の構成を示すブロック図。 同実施形態に係る路面画像情報のデータ構成を示す図。 測位情報のデータ構成を示す図。 不具合情報のデータ構成を示す図。 台帳情報のデータ構成を示す図。 不具合解析装置の構成を示すブロック図。 不具合解析装置による全体的な処理の流れを示すフローチャート。 不具合解析装置による画像抽出処理の流れを示すフローチャート。 検査画像の一例を示す図。 領域抽出処理の一例を示す図。 不具合情報の提示画面の一例を示す図。 本発明の第２の実施形態に係る第１のカーブ解析手法の概要を示す図。 第２のカーブ解析手法の概要を示す図。 不具合解析装置による画像抽出処理の流れを示すフローチャート。 変形例に係る領域抽出処理を示す図。

以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
〔不具合解析システム１の概要〕
本発明の第１の実施形態について説明する。
図１は、不具合解析システム１の概要を示す図である。
本実施形態に係る不具合解析システム１は、建造物の表面の状態を解析するシステムである。以下では、一例として、不具合解析システム１が建造物の表面に現れた視認可能な不具合を解析する場合について説明する。
建造物とは、例えば、道路、橋梁、施設等であり、社会インフラを含む。
表面とは、建造物の外部又は内部の表面である。つまり、建造物の表面とは、例えば、道路の路面や橋梁、施設の上面、側面、下面である。
視認可能な不具合とは、物理的な凹凸、色彩の変化等である。

以下では、一例として、路面に現れた不具合（以下、「路面不具合」と称する。）を解析する場合について説明する。
路面不具合には、例えば、轍、ポットホール、ひび割れ（クラック）、段差がある。図２から図６は、路面不具合を撮像した画像の例を示す図である。図２に示す画像Ｐ１は、轍Ｄ１の例を示す。図３に示す画像Ｐ２は、ポットホールＤ２の例を示す。図４に示す画像Ｐ３は、ひび割れＤ３の例を示す。図５に示す画像Ｐ４は、段差Ｄ４の例を示す。なお、不具合解析システム１は、路面不具合以外にも、パッチング等の路面の状態を解析してよい。図６に示す画像Ｐ５は、パッチングＤ５の例を示す。

次に、不具合解析システム１を用いた路面不具合の解析の概要について説明する。
まず、ユーザは、撮像部１１を備える車両１０に運転して、路面不具合を解析する道路を走行する。撮像部１１は、路面を撮像可能に車両１０に設置されている。そして、撮像部１１は、車両１０の走行に応じて移り変わる路面を随時撮像する。以下では、路面の画像を「路面画像」と称する。また、ユーザは、路面画像の撮像中、車両１０の位置を随時計測する。以下では、測位結果を示す情報（データ）を「測位情報」と称する。

次に、不具合解析システム１は、路面画像を示す情報（以下、「路面画像情報」と称する。）とを、不具合解析用人工知能を用いて解析する。不具合解析用人工知能は、例えば、多層パーセプトロン（多層ニューラルネットワーク）を備える。不具合解析用人工知能には、路面不具合等の解析対象を撮像した教示画像（例えば、画像Ｐ１〜Ｐ５）により深層学習（ディープラーニング）が予め行われている。不具合解析用人工知能には、従来の人工知能で用いられてきた任意の技術やフレームワーク等を適用してよい。深層学習により、不具合解析システム１は、路面画像に写り込んだ路面不具合を、不具合解析用人工知能を用いることにより検出することができる。また、不具合解析システム１は、路面不具合が検出された路面画像の撮像時の測位結果を特定することにより、不具合が存在する場所を特定することができる。

不具合解析システム１は、路面画像情報の解析の結果、検出された路面不具合と路面不具合の位置とを対応付けて出力する。不具合解析システム１は、例えば、地図上に路面不具合の場所を示すとともに、路面不具合の種類を対応付けて示す。解析結果は、ユーザにより編集可能としてよい。
このように、不具合解析システム１は、深層学習した人工知能を用いて、画像中に写り込んだ不具合を検出する。深層学習は、適切な教示情報により学習が行われれば、高い認識精度が得られるという特性がある。そのため、不具合解析システム１は、撮像した範囲については、建造物の不具合を網羅的に検出することができる。

また、不具合解析システム１は、例えば、従来の路面性状測定車のようにレーザー照射器、電子ストリーク撮像装置、加速度センサ等の特別な測定機器を備えなくてもよい。従って、不具合解析システム１は、安価に精度よく建造物の不具合を検出することができる。なお、不具合解析システム１は、レーザー照射器、電子ストリーク撮像装置、加速度センサ等を備えてもよい。
以上が、不具合解析システム１の概要についての説明である。

〔不具合解析システム１の構成〕
次に、不具合解析システム１の構成について説明する。
図７は、不具合解析システム１の構成を示すブロック図である。
不具合解析システム１は、車両１０と、不具合解析装置３０と、不具合情報管理装置５０と、台帳情報管理装置７０と、地図情報管理装置９０と、を備える。車両１０には、撮像部１１と、測位部１２と、情報端末装置１３とが搭載されている。情報端末装置１３と、不具合解析装置３０と、不具合情報管理装置５０と、台帳情報管理装置７０と、地図情報管理装置９０とは、それぞれ、ネットワークＮＷに接続し、互いに通信を行うことができる。

車両１０は、路面を撮像可能に移動する移動体である。例えば、車両１０は、自動車、自転車、電車等であり、建造物上を移動する移動体である。なお、車両１０のような建造物に接触しながら移動する移動体の代わりに、ラジオコントロールヘリコプター、ドローン等の建造物に接触しない移動体を用いてもよい。

撮像部１１は、路面を撮像して路面画像情報を生成する。撮像部１１は、動画像（映像）を撮像してもよいし、静止画像を連続して撮像してもよい。ここでは、一例として、動画像のフレームレート、或いは、静止画像の撮像間隔が一定である場合について説明する。撮像部１１が生成した路面画像情報は、記憶媒体を介して他の装置に出力可能としてもよいし、ネットワークを介して他の装置に送信可能としてもよい。撮像部１１は、車両１０の車内に設置されてもよい。このような場合には、撮像部１１は、車両１０のフロントガラスやリアガラス越しに路面を撮像することがある。ガラスによる反射が路面画像に写り込むことを抑制するため、撮像部１１のレンズに偏光フィルタを取り付けてよい。

測位部１２は、測位を行う。測位部１２は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサである。測位部１２は、静止衛星型衛星航法補強システム、ＯＤＢ２（Ｏｎ−ｂｏａｒｄ ｄｉａｇｎｏｓｔｉｃｓ ２）等の速度センサ、加速度センサ等を用いて測位を行ってもよい。測位部１２は、所定の時間間隔で測位を行ってもよいし、撮像部１１による路面画像の取得と同期して測位を行ってもよい。撮像部１１による路面画像の取得と同期していない場合には、測位の開始と撮像の開始とを合致させておく。そして、撮像のタイミングと測位のタイミングとのずれは、２つの測位点の移動を、その間の路面画像の数で除算して、各路面画像に対応する位置を特定してよい。

情報端末装置１３は、例えば、カーナビゲーション端末等の車載端末、スマートフォン、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）端末、パーソナルコンピュータ、ウェアラブル端末等のコンピュータシステムを備える電子機器である。情報端末装置１３は、ネットワークＮＷに接続する他の装置から情報を受信して、受信した情報の内容を表示したり、音声出力したりする。例えば、情報端末装置１３は、路面不具合の解析結果を示す情報を受信して、解析結果を表示する。また、情報端末装置１３は、タッチパネル、機械式ボタン、キーボード、マイク等の入力部を備えてよい。この場合、入力部が、ユーザから受け付けたユーザ入力情報の内容を、ネットワークＮＷに接続する他の装置に送信してもよい。

なお、撮像部１１、測位部１２、情報端末装置１３は、一体の装置であってもよいし、別体の装置であってもよい。例えば、路面画像の撮像と、ＧＰＳによる測位と、路面不具合の解析結果の表示との全てを１台のスマートフォンが行ってもよい。また、撮像部１１、測位部１２、情報端末装置１３は、音声入力により操作されてもよい。これにより、車両１０の走行中であっても、車両１０の運転手が１人で各種装置を操作することができる。また、撮像部１１、測位部１２、情報端末装置１３は、ネットワークＮＷを介して遠隔操作されてもよいし、赤外線等の近距離無線通信を介して操作されてもよい。

不具合解析装置３０は、路面画像から路面不具合を解析する装置である。不具合情報管理装置５０は、例えば、パーソナルコンピュータ、サーバ装置等のコンピュータシステムを備える電子機器である。不具合解析装置３０には、不具合解析用人工知能が実装されている。

不具合情報管理装置５０は、不具合情報を管理する装置である。ここで、「情報の管理」とは、情報を、新規に書き込んだり、編集したり、削除したり、読み出したり、受信したり、送信したりすることをいう。不具合情報管理装置５０は、例えば、サーバ装置等のコンピュータシステムを備える電子機器である。
不具合情報とは、路面不具合の内容、路面不具合の場所等の路面不具合に関する情報である。つまり、不具合情報とは、面の状態を示す情報の一例である。不具合情報には、路面不具合が存在していないことが記述されてもよい。

不具合情報管理装置５０は、第１種不具合情報記憶部５１と、第２種不具合情報記憶部５２と、を備える。第１種不具合情報記憶部５１は、第１種不具合情報を記憶する。第２種不具合情報記憶部５２は、第２種不具合情報を記憶する。
第１種不具合情報とは、人手により確認された路面不具合に関する情報である。第１種不具合情報は、不具合解析用人工知能の機械学習に用いられる。
第２種不具合情報とは、不具合解析用人工知能により検出された路面不具合に関する情報である。つまり、第２種不具合情報とは、不具合解析装置３０による解析結果を示す情報である。

台帳情報管理装置７０は、道路台帳情報を管理する装置である。台帳情報管理装置７０は、例えば、サーバ装置等のコンピュータシステムを備える電子機器である。台帳情報管理装置７０は、道路台帳情報を記憶する台帳情報記憶部７１を備える。
地図情報管理装置９０は、地図情報を管理する装置である。台帳情報管理装置７０は、例えば、サーバ装置等のコンピュータシステムを備える電子機器である。地図情報管理装置９０は、地図情報を記憶する地図情報記憶部９１を備える。地図情報とは、建造物の名称、座標、住所、範囲等を含む情報であり、地図の生成に用いられる情報である。
以上が、不具合解析システム１の構成についての説明である。

〔情報のデータ構成〕
次に、不具合解析システム１が処理する情報のデータ構成について説明する。
まず、路面画像情報について説明する。ここでは、一例として、路面画像情報が動画像である場合について説明する。
図８は、路面画像情報のデータ構成を示す図である。
図８に示す例では、路面画像情報は、フレーム番号情報（図８の「フレーム番号」）と、フレーム時間情報（図８の「フレーム時間」）と、フレーム画像情報（図８における「フレーム画像」）と、を含み、これらを対応付けて構成される。
フレーム番号情報とは、路面画像の動画像を構成する各フレームの識別情報である。フレーム番号情報は、例えば、動画像の開始から終了までの各フレームに対して昇順に割当てられた番号である。

フレーム時間情報とは、動画像の再生を行う場合に、各フレームを表示するタイミングを示す情報である。
フレーム画像情報とは、各フレームの画像を示す情報である。フレーム画像は、エンコードされていてもよい。
以上が、路面画像情報のデータ構成についての説明である。

次に、測位情報について説明する。
図９は、測位情報のデータ構成を示す図である。
図９に示す例では、測位情報は、タイムスタンプ情報（図９の「タイムスタンプ」）と、測位座標情報（図９の「座標」）とを含み、これらを対応付けて構成される。
タイムスタンプ情報とは、測位を行った時刻を示す情報である。
測位座標情報とは、測位の結果、特定された位置を示す情報である。
以上が、測位情報のデータ構成についての説明である。

次に、不具合情報について説明する。
図１０は、不具合情報のデータ構成を示す図である。
図１０に示す例では、不具合情報は、路面不具合ＩＤ（図１０の「路面不具合ＩＤ」）と、住所情報（図１０の「住所」）と、不具合座標情報（図１０の「座標」）と、路面不具合種別情報（図１０の「路面不具合種別」）と、不具合画像情報（図１０の「画像」）と、を含み、これらを互いに対応付けて構成される。

路面不具合ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）とは、不具合解析装置３０により検出された、又は、人手により確認された路面不具合を個別に識別する識別情報である。
住所情報とは、路面不具合が存在する場所の住所を示す情報である。
不具合座標情報とは、路面不具合が存在する場所の座標を示す情報である。
路面不具合種別情報とは、路面不具合の種別を示す情報である。
不具合画像情報とは、路面不具合を撮像した画像を示す情報である。
以上が、不具合情報のデータ構成についての説明である。

次に、台帳情報について説明する。
図１１は、台帳情報のデータ構成を示す図である。
図１１に示す例では、台帳情報は、路線番号情報（図１１の「路線番号」）と、道路種別情報（図１１の「道路種別」）と、路線名称情報（図１１の「路線名称」）と、区間番号情報（図１１の「区間番号」）と、改良区分情報（図１１の「改良区分」）と、路面種別情報（図１１の「路面種別」）と、全幅員情報（図１１の「全幅員」）と、道路幅員情報（図１１の「道路幅員」）と、を含み、これらを対応付けて構成される。

路線番号情報とは、道路の路線を識別する識別情報である。
道路種別情報とは、道路の種別を示す情報である。
路線名称情報とは、道路の路線の名称を示す情報である。
区間番号情報とは、路線における道路の区間を示す情報である。
改良区分情報とは、道路の改良区分を示す情報である。
路面種別情報とは、道路の路線の種別を示す情報である。
全幅員情報とは、道路の全幅員を示す情報である。
道路幅員情報とは、道路の幅員を示す情報である。
以上が、台帳情報のデータ構成についての説明である。

〔不具合解析装置３０の構成〕
次に、不具合解析装置３０の構成について説明する。
図１２は、不具合解析装置３０の構成を示すブロック図である。
図１２に示す例において、不具合解析装置３０は、入力部３１と、表示部３２と、音声再生部３３と、通信部３４と、記憶部３５と、制御部３６０と、を備える。
入力部３１は、不具合解析装置３０のユーザから、各種情報の入力を受け付ける。入力部３１は、例えば、マウス、タッチパッド等のポインティングデバイス、キーボード等を備える。
表示部３２は、テキストや画像等の各種情報を表示する。表示部３２は、例えば、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｓｃｅｎｃｅ）ディスプレイパネルや液晶ディスプレイパネル等を備える。不具合解析装置３０による路面不具合の解析結果を表示する。
音声再生部３３は、音声を再生する。音声再生部３３は、例えば、スピーカ、アンプ等である。
通信部３４は、他の装置と情報を送受信する。通信部３４は、例えば、通信用ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や通信用ポート等を備える。
記憶部３５は、各種情報を記憶する。記憶部３５は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。また、記憶部３５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、フラッシュメモリ等を備えてもよい。記憶部３５は、不具合解析装置３０が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、不図示）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、不図示）が実行するための各種プログラムやＣＰＵやＧＰＵが実行した処理の結果などを記憶する。また、記憶部３５は、学習結果記憶部３５１を備える。
学習結果記憶部３５１は、不具合解析装置３０が備える不具合解析用人工知能の学習結果を記憶する。学習結果とは、例えば、ニューラルネットワークのネットワークの状態を示す情報である。ニューラルネットワークのネットワークの状態を示す情報とは、例えば、ニューラルネットワークを構成する各ノード（ユニット）に係る活性化関数のパラメータの値を示す情報等である。

制御部３６０は、例えば、記憶部３５に予め記憶されたプログラムを、不具合解析装置３０が備えるＣＰＵやＧＰＵが実行することにより実現される。なお、制御部３６０の一部又は全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアの集積回路として実現されてもよい。制御部３６０は、情報取得部（画像取得部）３６１と、画像変換部３６２と、解析部３６５と、結果生成部３６８と、結果編集部３６９と、を備える。

情報取得部３６１は、入力部３１や通信部３４を介して、路面不具合の解析に必要な各種情報を取得する。情報取得部３６１は、例えば、路面画像情報、測位情報を記憶媒体から読み出す。また、情報取得部３６１は、例えば、路面画像情報、測位情報、ユーザ入力情報を、情報端末装置１３から取得する。また、情報取得部３６１は、例えば、不具合情報を、不具合情報管理装置５０から取得する。また、情報取得部３６１は、例えば、台帳情報を、台帳情報管理装置７０から取得する。情報取得部３６１は、取得した各種情報を、画像変換部３６２、解析部３６５、結果編集部３６９に出力する。

画像変換部３６２は、情報取得部３６１から路面画像情報と測位情報と取得する。画像変換部３６２は、取得した路面画像情報を変換する。また、画像変換部３６２は、路面画像情報のフレーム時間情報と、測位情報のタイムスタンプとに基づいて、路面画像の各フレームと、測位座標情報とを対応付ける。なお、画像変換部３６２は、例えば、路面画像がエンコードされた動画像である場合には、各フレームを静止画像に変換してよい。また、画像変換部３６２は、画像抽出部３６３と、領域抽出部（部分画像生成部）３６４と、を備える。

画像抽出部３６３は、画像抽出処理を実行する。
画像抽出処理とは、路面画像情報から、路面不具合の有無を解析する対象の画像（以下、「検査画像」と称する。）を抽出する処理である。換言すると、画像抽出処理とは、撮像部１１が撮像した一連の画像から、検査画像を特定したり、抽出したり、抜き出したり、絞り込んだりする処理である。また、画像抽出処理とは、撮像部１１が撮像した一連の画像から、路面不具合の有無を解析しない画像を特定したり、抽出したり、抜き出したり、間引いたりする処理である。

画像変換部３６２は、測位情報に基づいて、撮像範囲の時間的な重複が必要十分になるように検査画像を抽出する。例えば、路面画像情報の各フレームの撮像間隔が短く、車両１０の移動速度が小さい場合には、複数のフレームに渡って、路面の同じ部分が繰り返し撮像されることになる。このように時間的に重複したフレームのそれぞれについて、路面不具合の有無を解析すると、路面不具合の検出漏れを低減することできるが、解析に要する負荷が増大してしまう。

そこで、画像抽出部３６３は、測位情報に基づき、複数のフレームの検査領域において、路面の同じ部分が所定の頻度で含まれるように検査画像を抽出する。検査領域とは、例えば、画像内において、路面不具合の有無を解析する対象の領域である。検査画像の抽出において、路面の同じ部分が含まれる頻度は、測位部１２の測位精度や不具合解析用人工知能の認識精度に基づいて決定されてよい。例えば、測位精度や認識精度が高い場合には、頻度を低くしてよいし、測位精度や認識精度が低い場合には、頻度を高くしてよい。

このように検査画像を抽出することにより、不具合解析装置３０は、路面不具合の認識精度を保ちつつ、解析に要する負荷を低減することができる。また、不具合解析装置３０は、検査画像を連続して表示した場合には、一定距離ごと、すなわち、一定の速度で車両１０を走らせながら路面画像を撮像したように表示することができる。従って、不具合解析装置３０は、路面画像の撮像後に、路面画像に写った路面不具合を目視で確認する場合であっても、確認しやすくすることができる。
画像抽出部３６３は、画像抽出処理により抽出した検査画像の情報を、領域抽出部３６４に出力する。

領域抽出部３６４は、画像抽出部３６３から検出画像の情報を取得する。領域抽出部３６４は、検出画像に対して、領域抽出処理を実行する。
領域抽出処理とは、検査画像から、検査領域を抽出する処理である。換言すると、領域抽出処理とは、検査画像から検査領域を、特定したり、抽出したり、抜き出したり、絞り込んだり、生成したり、検査画像を分割したりする処理である。また、領域抽出処理とは、検査画像から、路面不具合の有無を解析しない領域を特定したり、抽出したり、抜き出したり、間引いたりする処理である。検査画像には、路面以外の物体が写り込む場合がある。例えば、検査画像には、道路脇の家屋や道路上の他の車両等が写り込むことがある。これら路面以外の物体についても路面不具合を解析すると、路面以外の物体について路面不具合であると誤認識してしまい、認識精度が低下する可能性がある。特に、路面以外の物体についての機械学習が不十分である場合には、このような誤認識が起こりやすい。また、これら路面以外の物体についても路面不具合を解析すると、路面不具合の解析に要する負荷が増大してしまう。

そこで、領域抽出処理では、検査画像から検査領域として、路面の領域を抽出する。また、領域抽出処理では、路面外の領域を除外してもよい。また、領域抽出処理では、１つの画像から互いに重複する複数の領域を抽出してもよい。複数の領域が重複する場合は、ある領域の頂点部分や辺部分が他の領域に含まれる。
領域抽出部３６４は、領域抽出処理により抽出した検査領域の情報を、解析部３６５に出力する。また、領域抽出部３６４は、検査領域の各々の検査画像における位置を示す情報を、解析部３６５に出力する。

解析部３６５は、不具合解析用人工知能として実装される。解析部３６５は、学習部３６６と、認識部３６７と、を備える。
学習部３６６は、不具合情報管理装置５０が管理する第１種不具合情報を用いて機械学習を実行する。学習部３６６は、第１種不具合情報の他、路面画像に写り込む可能性がある路面不具合以外の物体を写した画像により強化学習を行ってもよい。例えば、マンホールの画像や側溝を写した画像等により強化学習を行ってもよい。これにより、不具合解析用人工知能は、路面不具合以外の物体を識別することができるため、路面不具合以外の物体を、路面不具合であると誤認識しにくくなる。従って、路面不具合の認識精度を向上させることができる。

認識部（状態判定部）３６７は、領域抽出部３６４から取得した検査領域の情報に基づいて、各検査領域における路面不具合の有無を解析する。つまり、認識部３６７は、各検査領域における路面の状態を判定する。認識部３６７は、各検査領域で検出された路面不具合の各々を１つの路面不具合として判定してもよいし、隣接する複数の検査領域で検出された路面不具合をまとめて１つの路面不具合として判定してもよい。また、認識部３６７は、各検査画像で検出された路面不具合の各々を１つの路面不具合として判定してもよいし、連続する検査画像で検出された路面不具合をまとめて１つの路面不具合として判定してもよい。このように、認識部３６７は、複数の検査領域や複数の検査画像の判定結果を統合して判定してもよい。

また、認識部３６７は、路面不具合が検出された検査画像に対応する測位情報を特定することで、路面不具合の位置を特定することができる。また、認識部３６７は、検査領域の検査画像における位置を示す情報を、領域抽出部３６４から取得することにより、路面不具合の位置をさらに正確に特定することができる。また、不具合解析装置３０は、加速度の変化に基づく路面の凹凸の検出結果や他の画像解析プログラムによる路面不具合の解析結果等の他の手法を用いた路面不具合の解析結果と組み合わせて、路面不具合の有無を解析してもよい。

認識部３６７は、解析結果を不具合情報管理装置５０に送信する。これにより、解析結果が第２種不具合情報として、不具合情報管理装置５０に記憶される。解析結果は、例えば、路面不具合が検出された検査画像、検査領域、路面不具合の種別、判定スコア（確信度）等を含む。解析部３６５は、判定スコアの値、前後の路面画像における路面不具合の解析結果、同じ路面画像の複数の検査領域における路面不具合の解析結果等を参照して、路面不具合の度合いや発生範囲を特定することができる。解析部３６５は、例えば、路面不具合の種別の候補が複数ある場合には、判定スコアの最も高い種別を設定してもよいし、その全てを設定してもよい。

また、解析部３６５は、重複した検査領域において、判定結果が別れた場合には、そのいずれを採用してもよい。例えば、解析部３６５は、一方の検査領域で「路面不具合あり」と判定し、他方の検査領域で「路面不具合なし」と判定した場合には、ＯＲ処理を行って「路面不具合あり」と判定してもよいし、ＡＮＤ処理を行って「路面不具合なし」と判定してもよい。ＯＲ処理を行って「路面不具合あり」と判定する場合は、不具合解析装置３０は、路面不具合の検出漏れを防ぐことができる。また、ＡＮＤ処理を行って「路面不具合なし」と判定する場合は、路面不具合の誤検出を抑制することができる。

結果生成部３６８は、第１種不具合情報や第２種不具合情報（すなわち、解析部３６５による解析結果）を示すテキストや画像、音声等の提示情報を生成する。結果生成部３６８は、例えば、不具合情報を付加した動画や検査画像をフレーム番号順に再生する動画を生成する。結果生成部３６８が生成する提示情報の画面の具体例については、後述する。結果生成部３６８は、生成した提示情報を表示部３２や音声再生部３３を介して提示する。このとき、結果生成部３６８は、不具合情報管理装置５０と、台帳情報管理装置７０と、地図情報管理装置９０とが管理する任意の情報を参照して、提示情報を生成してよい。

結果編集部３６９は、ユーザからの指示に応じて不具合情報の編集を行う。例えば、結果編集部３６９は、不具合情報管理装置５０に記憶された第２種不具合情報を、ユーザからの指示に応じて編集してもよい。また、例えば、結果編集部３６９は、不具合情報管理装置５０に記憶された第２種不具合情報を、ユーザからの指示に応じて第１種不具合情報として記憶させてもよい。これにより、解析部３６５により検出された路面不具合の画像を、不具合人工知能の学習に利用することができる。なお、結果編集部３６９は、ユーザからの指示に代えて、他の路面不具合を検出するプログラムや、路面監視に用いる他のプログラムが出力する結果に応じて上記の処理を行ってもよい。
以上が、不具合解析装置３０の構成についての説明である。

〔不具合解析装置３０の動作〕
次に、不具合解析装置３０の動作について説明する。
図１３は、不具合解析装置３０による全体的な処理の流れを示すフローチャートである。
（ステップＳ１００）情報取得部３６１は、路面画像情報と、測位情報とを取得する。その後、制御部３６０は、ステップＳ１０２に処理を進める。
（ステップＳ１０２）画像変換部３６２は、画像抽出処理を実行し、検査画像を抽出する。その後、制御部３６０は、ステップＳ１０４に処理を進める。

（ステップＳ１０４）画像変換部３６２は、領域抽出処理を実行し、検査領域を抽出する。その後、制御部３６０は、ステップＳ１０６に処理を進める。
（ステップＳ１０６）解析部３６５は、各検査画像の各検査領域に含まれる路面不具合を解析する。解析部３６５は、解析結果を示す不具合情報を、第２種不具合情報として、不具合情報管理装置５０に記憶させる。その後、制御部３６０は、ステップＳ１０８に処理を進める。
（ステップＳ１０８）結果生成部３６８は、不具合情報管理装置５０が管理する不具合情報をユーザに提示するための提示情報を生成する。結果生成部３６８は、生成した提示情報を表示部３２や音声再生部３３に出力する。その後、制御部３６０は、図１３に示す処理を終了する。
なお、ステップＳ１０２、Ｓ１０４の処理は、省略可能である。
以上が、不具合解析装置３０による全体的な処理の流れについての説明である。

〔画像抽出処理〕
次に、不具合解析装置３０による画像抽出処理について説明する。
ここでは、一例として、車両１０の移動に応じて変化する一連の路面画像から、所定の設定距離の移動に対応する路面画像を抽出する場合について説明する。
図１４は、不具合解析装置３０による画像抽出処理の流れを示すフローチャートである。
（ステップＳ２００）画像抽出部３６３は、フレームＩＤに基づいてフレーム（画像）を選択する。例えば、画像抽出部３６３は、フレームを未選択の場合には、最初のフレームを選択する。また、画像抽出部３６３は、既にフレームを選択している場合には、選択中のフレームの次のフレームを選択する。その後、制御部３６０は、ステップＳ２０２に処理を進める。

（ステップＳ２０２）画像抽出部３６３は、選択中のフレームに対応する測位情報を参照し、１つ前のフレームに対応する測位結果からの移動距離を算出する。以下では、この移動距離を「画像間の距離」と称することがある。その後、制御部３６０は、ステップＳ２０４に処理を進める。
（ステップＳ２０４）画像抽出部３６３は、算出した移動距離を、移動距離合計に加算する。なお、移動距離合計は、画像抽出処理の開始時に初期化される。その後、制御部３６０は、ステップＳ２０６に処理を進める。

（ステップＳ２０６）画像抽出部３６３は、移動距離合計と、所定の設定距離とを比較する。移動距離合計が設定距離に比して大きい場合（ステップＳ２０６；ＹＥＳ）、制御部３６０は、ステップＳ２０８に処理を進める。移動距離合計が設定距離に比して小さい場合（ステップＳ２０６；ＮＯ）、制御部３６０は、ステップＳ２１４に処理を進める。

ここで、設定距離は、例えば、１つの検査画像における路面不具合の認識精度に応じて設定されてよい。例えば、１つの検査画像において、近傍だけでなく遠くに写る路面不具合を検出できる場合には、設定距離を大きくし、各検査画像に写る路面の重複を少なくしてよい。また、１つの検査画像において、遠くに写る路面不具合を検出できない場合には、設定距離を小さくし、各検査画像に写る路面の重複を多くしてよい。これにより、路面不具合の解析に要する負荷を低減しつつ、路面不具合の認識精度を維持することができる。

（ステップＳ２０８）画像抽出部３６３は、移動距離合計を０に設定し、初期化する。その後、制御部３６０は、ステップＳ２１０に処理を進める。
（ステップＳ２１０）画像抽出部３６３は、選択中の画像と測位情報とを対応付ける。その後、制御部３６０は、ステップＳ２１２に処理を進める。
（ステップＳ２１２）画像抽出部３６３は、選択画像を検査画像として設定する。その後、制御部３６０は、ステップＳ２１４に処理を進める。

（ステップＳ２１４）画像抽出部３６３は、次の画像の有無と、その画像に対応する測位結果の有無とを確認する。画像及び測位結果が存在する場合（ステップＳ２１４；ＹＥＳ）、制御部３６０、ステップＳ２１６に処理を進める。画像及び測位結果が存在しない場合（ステップＳ２１４；ＮＯ）、制御部３６０は、ステップＳ２１６に処理を進める。
（ステップＳ２１６）画像抽出部３６３は、検査画像と、検査画像に対応する測位情報とを記憶部３５に記憶し、参照可能にする。その後、制御部３６０は、図１４に示す処理を終了する。
なお、検出画像は、例えば、１０フレーム間隔等、設定距離に依らずに抽出されてもよい。また、図１４に示す処理では省略したが、測位情報は、車両１０の速度情報等により補正されたものであってもよい。
以上が、画像抽出処理の説明である。

〔領域抽出処理〕
次に、領域抽出処理について説明する。
図１５は、検査画像の一例を示す図である。
図１５に示す例において、撮像部１１は、車両１０の前方を撮像するように設置されている。この撮像部１１によって撮像された検査画像Ｐ６には、３つのラインによって区切られた２車線の道路の路面が含まれている。また、検査画像Ｐ６には、縁石Ｒ４によって区切られた沿道が含まれている。

ここで、検査画像Ｐ６において、車両１０の下側には車道が位置し、車両１０の上側の空間は開けている。撮像部１１の撮像面に近い物体は大きく映るため、検査画像Ｐ６の下側（手前側）、すなわち車両１０に近い路面は大きく写り、検査画像Ｐ６の中央部（奥行側）、すなわち車両１０から遠い路面は小さく写る。つまり、検査画像Ｐ６の下側の路面は、現実には同じ面積であっても、より多い画素数で撮像される。そのため、同じ面積の路面不具合であっても、検査画像Ｐ６の下側と中央部とでは、下側に写る路面不具合の方が高い精度で認識することができる。また、検査画像Ｐ６の撮像において、車両１０の近傍に他の車両が存在している場合であっても、検査画像Ｐ６の下側には、車両１０のごく近傍が撮像されるため、中央部よりも確実に路面が写ることになる。また、車両１０が右左折する場合、撮像範囲の変化量は、検査画像Ｐ６の中央部よりも下側の方が少ない。従って、車両１０が右左折する場合には、検査画像Ｐ６の中央部では解析されない部分が生じうる。また、車両１０は、基本的に車線の中央付近を走行するので、撮像部１１が車両１０の進行方向を撮像するように設定されている場合、検査画像Ｐ６の横方向においては、特に画像の端部に路面以外の沿道や路肩等が写り込みやすい。

図１６は、領域抽出処理の一例を示す図である。
図１６に示す検査画像Ｐ７は、図１５に示す検査画像Ｐ６と同様に撮像された画像である。図１６に示す領域Ａ１〜Ａ１０は、それぞれ、検査画像Ｐ７に設定された検査領域を示す。このように検査領域Ａ１〜Ａ１０を設定することにより、各検査領域Ａ１〜Ａ１０は、路面以外の物体を含みにくくなる。これにより、路面不具合以外の物体を、路面不具合であると誤認識してしまうことが少なくなるため、不具合解析装置３０は、路面不具合の認識精度を向上させることができる。また、路面不具合の画像内の位置を特定することができる。また、検査画像Ｐ７に複数の路面不具合が写る場合であっても、各検査領域Ａ１〜Ａ１０に個々の路面不具合のみを含みやすくなる。これにより、不具合解析装置３０は、個々の路面不具合の種別を精度よく認識することができる。

また、上記のように検査画像Ｐ７の下側と中央部とでは、下側に写る路面不具合の方が高い精度で認識できる。そのため、検査画像Ｐ７の縦方向については、中央部よりも下側に、より多くの検査領域を設定している。また、上記のように検査画像Ｐ７の縦方向では、中央側よりも下側に路面が写る。そして、上記のように検査画像Ｐ７の縦方向では、中央側よりも下側の方が右左折時の撮像範囲の変化が小さい。従って、下側により多くの検査領域を設定することにより、路面不具合を精度よく認識することができる。また、上記のように検査画像Ｐ７の横方向においては、画像の端部に路面以外の沿道等が写り込みやすい。そのため、検査画像Ｐ７の中央部の横方向においては、端部よりも中央近傍に、より多くの検査領域を設定している。また、検査領域Ａ１〜Ａ１０は、その一部が互いに重複するように設定されている。これにより、路面不具合がある検査領域の境界や端部に含まれる場合であっても、その検査領域に重複して設定された検査領域において、路面不具合を中央近傍に含むことができる。従って、不具合解析装置３０は、路面不具合の検出漏れを抑制し、認識精度を向上させることができる。
以上が、領域抽出処理についての説明である。

〔不具合情報の提示〕
次に、不具合情報の提示について説明する。
不具合情報は、不具合解析装置３０が提示してもよいし、情報端末装置１３が提示してもよい。
図１７は、不具合情報の提示画面の一例を示す図である。
図１７に示す例において、画面Ｏ１は、複数の領域Ｏ２〜Ｏ４を含む。画面Ｏ１は、例えばウェブページ化され、任意の端末のウェブブラウザから参照可能である。
領域Ｏ２は、車両１０の位置を示すマーカＯ２１、路面不具合の位置を示すマーカＯ２２、路面画像を取得した位置、すなわち車両１０の走行経路Ｏ２３を、地図上に表示した画像を提示する領域である。車両１０のマーカＯ２１、地図の縮尺、地図の範囲は、ユーザによる操作に応じて変更可能である。地図の範囲は、車両１０のマーカＯ２１の位置、路面不具合のマーカＯ２２の位置、車両１０の走行経路Ｏ２３に応じて定められてもよい。

また、路面不具合のマーカＯ２２は、地図の縮尺や路面不具合の密集度に応じてまとめられてよい。例えば、不具合解析装置３０は、１つの検査画像の複数の検査領域から検出された路面不具合、連続する複数の検査画像から検出された路面不具合等を１つのマーカＯ２２にまとめてよい。まとめられたマーカＯ２２は、ユーザからの選択に応じて個別に確認できるようにしてよい。また、路面不具合のマーカＯ２２は、路面不具合の種別や度合い、発生範囲、第１種不具合情報か第２種不具合情報か等に応じて異なる表示態様（絵柄、色彩、形状、大きさ、透明度等）で示されてよい。

領域Ｏ３は、路面画像を表示する領域である。領域Ｏ３は、画像抽出処理により抽出された検査画像を連続的に表示する。画像抽出処理において各画像間の重複の頻度を一定にしている場合には、領域Ｏ３で再生される動画像は、一定の走行速度で撮像されたように表現される。従って、ユーザは、効率よく路面不具合を確認することができる。
領域Ｏ４は、検出された路面不具合を含む路面画像のフレームを一覧表示する領域である。領域Ｏ４には、各フレームにおいて、路面不具合を検出した検査領域Ｏ４１が表示される。

領域Ｏ２〜Ｏ４の表示は、互いに連携していてよい。例えば、領域Ｏ２における車両１０の位置Ｏ２１において撮像された路面画像が、領域Ｏ３に表示されるようにしてよい。また、車両１０の位置Ｏ２１から所定距離に位置する路面不具合を含む路面画像が、領域Ｏ４に表示されるようにしてもよい。例えば、領域Ｏ２において、車両１０のマーカＯ２１の位置を変更することに応じて、領域Ｏ３の表示や領域Ｏ４の表示が切り替わるようにしてよい。

また、提示画面Ｏ１には、上記以外の任意の情報が表示されてよい。不具合解析装置３０は、例えば、路面不具合のマーカＯ２２が選択された場合に、その路面不具合について、位置、路面不具合種別、撮像時刻、路線番号、道路工事履歴等の各種情報を表示してもよい。また、不具合解析装置３０は、提示画面Ｏ１に路面不具合の総数や路面不具合の走行距離ごとの平均等の数値を表示してもよい。また、不具合解析装置３０は、撮像時刻、天候、他の手法を用いた路面不具合の解析結果（加速度の変化に基づく路面の凹凸の検出結果、他の画像解析プログラムによる路面不具合の解析結果）等を表示してもよい。

また、情報端末装置１３、不具合解析装置３０は、提示画面Ｏ１を介して、ユーザによる不具合情報の修正を受け付けてよい。例えば、ユーザにより路面不具合のマーカＯ２２が選択された場合に、マーカＯ２２の削除や路面不具合の種別の変更を受け付け可能としてよい。また、不具合解析装置３０は、領域Ｏ３に表示されている路面画像と、当該路面画像内の領域とが選択された場合に、選択された領域及び路面画像と、その路面画像に対応する測位情報とに基づいて不具合情報を生成してもよい。そして、生成した不具合情報を、第１種不具合情報として、不具合情報管理装置５０に記憶させてもよい。
以上が、不具合情報の提示についての説明である。

〔第１の実施形態のまとめ〕
以上説明したように、不具合解析装置３０は、面（例えば、路面）を撮像した画像について、当該面の状態を示す教示データ（例えば、第１種不具合情報）に基づいて、深層学習を行う学習部３６６と、面を含む領域が撮像された画像（例えば、路面画像）であって、撮像された位置を示す位置情報（例えば、測位情報）と対応付けられた画像を取得する情報取得部３６１と、前記学習部３６６の学習結果に基づいて、前記情報取得部３６１が取得した画像中の面の状態を判定する認識部３６７と、を備える。
これにより、不具合解析装置３０は、撮像された面について、各場所の状態を網羅的に解析することができる。

また、不具合解析装置３０において、認識部３６７は、１つの画像から出力された複数の部分画像の各々の中の面の状態の判定結果を統合して、当該面の状態を判定する。
これにより、不具合解析装置３０は、面の各場所の状態を、周囲の状態を参照して判定する。従って、不具合解析装置３０は、面の状態の判定精度を向上させることができる。

また、不具合解析装置３０において、認識部３６７は、情報取得部３６１が取得する、続けて撮像された複数の画像の各々の中の面の状態の判定結果を統合して、当該面の状態を判定する。
これにより、不具合解析装置３０は、面の各場所の状態を、周囲の状態を参照して判定する。従って、不具合解析装置３０は、面の状態の判定精度を向上させることができる。

また、不具合解析装置３０において、例えば、教示データ（例えば、第１種不具合情報）は、前記認識部３６７による判定結果を、ユーザからの入力又は他の装置による判定結果に基づいて確定させたデータである。
これにより、不具合解析装置３０の判定結果の正当性をユーザが確認した場合、判定に用いられた画像を深層学習に用いることができる。不具合解析装置３０は、例えば、判定結果が誤っている場合も、再学習を行うことができるため、より正しい判定結果を表示することができるようになる。従って、不具合解析装置３０は、面の状態の判定精度を向上させることができる。

また、不具合解析装置３０は、面（例えば、路面）に沿って移動する移動体（例えば、車両１０）に搭載された撮像部１１で続けて撮像され、当該面を含む領域が撮像された画像を取得する情報取得部３６１と、前記移動体の移動情報（例えば、測位情報）に基づいて、前記続けて撮像された画像（例えば、路面画像）から第１画像を間引くことで、残りの第２画像（例えば、検査画像）を抽出する画像抽出部３６３と、前記第２画像の各々について、当該第２画像中の面の状態を判定する認識部３６７と、を備える。
これにより、不具合解析装置３０は、移動体の移動に応じて面の状態を判定する画像の量を調整する。従って、不具合解析装置３０は、面の状態の判定精度を維持しつつ、判定に要する負荷を低減することができる。

また、不具合解析装置３０において、画像抽出部３６３は、前記移動体（例えば、車両１０）の時間に対する移動距離に基づいて、前記第２画像（例えば、検査画像）を抽出する。
これにより、不具合解析装置３０は、移動体の移動速度に応じて、面の状態を判定する画像の量を調整する。従って、不具合解析装置３０は、面の状態の判定精度を維持しつつ、判定に要する負荷を低減することができる。

また、不具合解析装置３０は、面（例えば、路面）に沿って移動する移動体（車両１０）に搭載された撮像部１１で続けて撮像され、当該面を含む領域が撮像された画像を取得する情報取得部３６１と、前記情報取得部３６１が取得した画像の一部分である部分画像を複数出力する領域抽出部３６４と、前記領域抽出部３６４が出力した部分画像の各々について、当該部分画像中の面の状態を判定する認識部３６７と、を備える。
これにより、不具合解析装置３０は、画像の一部から面の状態を判定するため、画像に判定精度の低下させる要素が写り込んでいた場合、その要素を排除して判定を行うことができる。従って、不具合解析装置３０は、面の状態の判定精度を向上させることができる。

また、不具合解析装置３０において、領域抽出部３６４は、前記移動体（例えば、車両１０）の進行方向に対して、手前の前記部分画像（例えば、図１６における下側の検査領域Ａ１）を、奥の前記部分画像（例えば、図１６における中央部の検査領域Ａ１０）より多く出力する。
これにより、不具合解析装置３０は、画像において、情報量の豊富な手前側に写る面の状態を重点的に判定する。また、画像の手前側には、移動体の近傍が写るため、面以外の物体が写り込みにくい。また、画像の手前側では、移動体の移動方向が変化した場合の撮像範囲の変化量が小さい。従って、不具合解析装置３０は、面の状態の判定精度を向上させるとともに、判定に要する負荷を低減することができる。

また、不具合解析装置３０において、領域抽出部３６４は、画像（例えば、検査画像）を分割し、分割された第１部分画像（例えば、図１６における検査領域Ａ１）と、前記第１部分画像の頂点部分又は辺部分を含む第２部分画像（例えば、図１６における領域Ａ５）と、を出力する。
これにより、不具合解析装置３０は、１つの画像から複数の重複した部分画像を生成する。従って、不具合解析装置３０は、部分画像の境界の面の状態の判定精度を向上させることができる。

また、不具合解析装置３０は、面（例えば、路面）に沿って移動する移動体（例えば、車両１０）に搭載された撮像部１１で撮像され、当該面を含む領域が撮像された画像を取得する情報取得部３６１と、前記画像取得部が取得する画像の各々ついて、前記画像中の面の状態を示す状態情報（例えば、不具合情報）と、前記面の位置を示す位置情報（例えば、測位情報）と、を出力する認識部３６７と、地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示する表示部３２と、を備える。
これにより、ユーザは、地図を参照すれば、どの位置のどの面がどのような状態にあるのかを即座に把握することができる。つまり、不具合解析装置３０は、面の状態を分かりやすく提示することができる。

また、不具合解析装置３０において、表示部３２は、予め定めた範囲内（例えば、所定距離以内）に前記位置情報（例えば、不具合座標情報）が属する面（例えば、路面）であって、前記状態情報（例えば、不具合情報）が同一（例えば、路面不具合が存在）である複数の面については、当該複数の面を代表する代表位置に、当該状態情報を対応付けて表示する。
これにより、不具合解析装置３０は、地図上に複数の状態情報が密集する場合であっても、代表位置を示すため、面の状態を分かりやすく提示することができる。
以上が、第１の実施形態についての説明である。

［第２の実施形態］
第２の実施形態について説明する。ここでは、上述した各実施形態と同様の構成については、同一の符号を付し、説明を援用する。
〔不具合解析システム１Ａの概要〕
本実施形態に係る不具合解析システム１Ａ（不図示）は、第１の実施形態に係る不具合解析システム１と同様の構成を備える。ただし、不具合解析システム１Ａは、画像抽出処理において、道路のカーブを検出する処理を行う点が異なる。カーブでは、車両の移動方向が変化する。カーブでは車両１０の移動速度が一定であったとしても、路面画像の特に奥側の撮像範囲の変化が直線より大きくなる。そこで、カーブの度合いに応じて画像間の移動距離を補正する。これにより、路面不具合の解析精度を向上させることができるとともに、解析に要する処理の負荷を低減することができる。

〔不具合解析システム１Ａの構成〕
不具合解析システム１Ａは、不具合解析システム１が備える不具合解析装置３０に代えて、不具合解析装置３０Ａ（不図示）を備える。不具合解析装置３０Ａは、不具合解析装置３０が備える画像抽出部３６３に代えて、画像抽出部３６３Ａ（不図示）を備える。
画像抽出部３６３Ａは、画像抽出部３６３と同様に画像抽出処理を行う。ただし、画像抽出部３６３Ａは、画像間の移動距離を、道路のカーブに応じて補正する点が異なる。画像抽出部３６３Ａは、カーブの度合いが大きい程（すなわち、カーブが急である程）、画像間の移動距離が大きくなるように補正し、カーブの度合いが小さい程（すなわち、カーブが緩やかである程）、画像間の移動距離が小さくなるように補正する。つまり、カーブの度合いが大きい程、少ない路面画像が間引かれ、カーブの度合いが小さい程、多くの路面画像が間引かれるようにする。これにより、カーブの度合いが大きい程、より多くの画像が抽出され、カーブの度合いが小さい程、より少ない画像が抽出されるようになる。

ここで、２種類のカーブの解析手法について説明する。
まず、第１のカーブ解析手法について説明する。
図１８は、第１のカーブ解析手法の概要を示す図である。
図１８に示す例では、道路Ｒ１０上に８つの測位点ｍ１〜ｍ８が存在する。道路Ｒ１０は、概ね位置ｍ４〜ｍ７に渡り、カーブしている。
第１のカーブ解析手法では、連続した３点の測位情報から傾き度合いを計測する。例えば、測位点ｍ５におけるカーブを解析する場合、測位点ｍ４から測位点ｍ５への移動方向ｖ４と、測位点ｍ５から測位点ｍ６への移動方向ｖ５とを算出する。そして、２つの移動方向ｖ４、ｖ５のなす角度θを算出する。これにより、画像抽出部３６３Ａは、カーブの度合いを示す角度θを算出することができる。

次に、第２のカーブ解析手法について説明する。
図１９は、第２のカーブ解析手法の概要を示す図である。
図１９に示す例では、図１８に示す例と同様に、道路Ｒ１０上に８つの測位点ｍ１〜ｍ８が存在する。
第２のカーブ解析手法では、所定期間内に測定された位置間の距離の総和と、所定期間の最初と最後とで測定された位置の距離とを比較することにカーブの度合いを算出する。例えば、測位点ｍ２の測定開始から所定期間内に特定された測位点が、測位点ｍ３〜ｍ７である場合、画像抽出部３６３は、測位点ｍ２〜ｍ３、ｍ３〜ｍ４、ｍ４〜ｍ５、ｍ５〜ｍ６、ｍ６〜ｍ７間のそれぞれの距離の総和Ｌ１を算出する。また、画像抽出部３６３Ａは、測位点ｍ２〜ｍ７間の直線距離Ｌ２を算出する。画像抽出部３６３Ａは、距離Ｌ１と距離Ｌ２とを比較することによりカーブの度合いを特定することができる。例えば、距離Ｌ１に比して距離Ｌ２が短い程、カーブの度合いが大きい。また、距離Ｌ１と距離Ｌ２が同程度であれば、カーブの度合いが小さい。

上記の第１のカーブ解析手法では、右折と左折とを判断することができる。
上記の第２のカーブ解析手法では、距離の算出及び距離の比較しか行わないため、処理に要する負荷を低減することができる。
以上が、不具合解析システム１Ａの構成についての説明である。

〔不具合解析装置３０Ａの動作〕
次に、不具合解析装置３０Ａの動作について説明する。ここでは、画像抽出処理における動作について説明する。
図２０は、不具合解析装置３０Ａによる画像抽出処理の流れを示すフローチャートである。
図２０に示すステップＳ２００、Ｓ２０２、Ｓ２０４〜Ｓ２１６の処理は、図１４に示す処理と同様であるため、説明を援用する。

（ステップＳ２０３Ａ）ステップＳ２０２の処理の後、画像抽出部３６３Ａは、カーブの度合いを算出する。そして、画像抽出部３６３Ａは、カーブの度合いに応じて、画像間の移動距離を補正する。その後、制御部３６０は、ステップＳ２０４に処理を進める。
なお、ここでは、画像間の移動距離を補正する場合について説明したが、画像間の移動距離の代わりに設定距離を補正してもよい。また、距離の補正は、任意の方法により行われてよい。例えば、カーブの度合いごとの補正量を予め設定し、この補正量に基づいて距離の補正が行われてもよいし、カーブの度合いを示すパラメータを含む関数により補正が行われてもよい。
以上が、不具合解析装置３０Ａの動作についての説明である。

〔第２の実施形態のまとめ〕
以上説明したように、不具合解析装置３０Ａは、移動体（例えば、車両１０）の移動方向の変化量（例えば、カーブの度合い）に基づいて、第２画像（例えば、検査画像）を抽出する。
これにより、不具合解析装置３０Ａは、例えば移動体の移動方向の変化量に応じて第２画像の抽出量を変化させる。つまり、画像の撮像範囲の変化に応じて第２画像の抽出量を変化させる。従って、移動体の移動方向が一定でない場合であっても、面の状態の判定に必要十分な第２画像を抽出することができる。

また、移動体（例えば、車両１０）の移動方向の変化量（例えば、カーブの度合い）が大きい場合に、前記移動体の移動方向の変化量が小さい場合と比較して多くの第２画像（例えば、検査画像）を抽出する。
これにより、不具合解析装置３０Ａは、移動体の移動方向が一定でない場合であっても、面の状態の判定に必要十分な第２画像を抽出することができる。
以上が、第２の実施形態についての説明である。

［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜２の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第１〜２の実施形態において説明した各構成は、特定の機能を発揮するのに不要である場合には、省略することができる。また、例えば、上述の第１〜２の実施形態において説明した各構成は、任意に分離して別体の装置に備えることができる。

なお、情報端末装置１３は、車両１０に搭載されず、ユーザにより携行されてもよい。そして、ユーザが車両１０の内外で発見した路面不具合に関する不具合情報を、情報端末装置１３において生成してもよい。例えば、ユーザによる「ひび割れ」という音声入力に応じて静止画像の撮像を行い、撮像した静止画像に路面不具合種別として「ひび割れ」を対応付けた不具合情報を生成してもよい。この場合、情報端末装置１３が生成した不具合情報を、第１種不具合情報として、不具合情報管理装置５０に記憶させてもよい。或いは、ユーザによる「ひび割れ」という音声入力に応じて撮像中の路面画像にフラグ情報を対応付けてもよい。このフラグ情報とは、ユーザによる路面不具合の確認結果を示す情報である。不具合解析装置３０は、フラグ情報が対応付けられた路面画像を、画像抽出処理において検出画像として優先的に抽出するようにしたり、領域抽出処理において抽出する検査領域の数を増やしたりして、手厚く解析するようにしてもよい。これにより、不具合解析システム１、１Ａは、路面不具合の検出漏れを防ぎ、路面不具合の認識精度を向上させることができる。

なお、撮像部１１や測位部１２は、撮像や測位を支援する機能を搭載してもよい。例えば、撮像部１１の設置環境が整ったり、ＧＰＳの電波が受信できて測位可能となったりした場合等に撮像や測位を行えるようになったことを通知するようにしてもよい。

なお、情報端末装置１３は、自装置の移動と同期して、不具合情報をユーザに提示してもよい。例えば、図１７に示す車両１０のマーカＯ２１を、自装置の位置と同期させてよい。また、自装置がマーカＯ２２の近傍に位置した場合に、近傍に路面不具合が存在することをユーザに通知してもよい。これにより、ユーザは、自身の近傍に位置する路面不具合を確認することができる。ユーザは、例えば、情報端末装置１３を携行して車両を運転することにより、過去に検出された路面不具合を容易に確認することができる。従って、不具合解析システム１、１Ａは、路面不具合の位置や進行状況を容易に再確認可能としたり、路面不具合の危険性を通知したりすることができる。

このように、情報端末装置１３は、不具合解析装置３０からの出力に基づいて、移動体（例えば、路面画像の撮像時とは異なる車両）の位置に基づいて、前記面（例えば、路面）を含む画像を表示する。
これにより、情報端末装置１３は、例えば、移動体の近傍の面の画像を提示するため、移動体で移動中のユーザに、面の状態を分かりやすく提示することができる。

また、情報端末装置１３は、不具合解析装置３０からの出力に基づいて、移動体（例えば、路面画像の撮像時とは異なる車両））の位置と前記位置情報（例えば、測位情報）とに基づいて、当該位置情報に対応する状態情報を表示する。
これにより、情報端末装置１３は、例えば、移動体の近傍の面の状態を提示するため、移動体で移動中のユーザに、面の状態を分かりやすく提示することができる。

なお、不具合解析装置３０、３０Ａは、上記した以外の物体や不具合を認識するように予め機械学習を行っていてもよい。例えば、不具合解析装置３０はマンホール、トンネル壁面損傷、道路落下物、路面のオイル染み、ガードレール損傷、電柱損傷、道路の落書き、道路標識、区画線のかすれ、積雪、冠水、側溝の破損等を認識するようにしてもよい。また、認識する項目について、その度合いを認識するようにしてよい。

なお、不具合解析装置３０、３０Ａは、複数の撮像部１１により撮像された路面画像を統合して路面の状態を判定してもよい。例えば、複数台の車両１０が道路を並走し、各車両に搭載された撮像部１１は、それぞれ路面画像を撮像する。また、各車両１０に搭載された測位部１２は、それぞれ測位を行う。不具合解析装置３０、３０Ａは、このようにして撮像された複数の路面画像を、例えば、各フレームの撮像時刻に基づいて並び替え、再構成する。そして、不具合解析装置３０３０、３０Ａは、再構成した路面画像について、路面の状態を判定してよい。

なお、不具合解析装置３０、３０Ａは、領域抽出処理において、検査領域以外を除外する（間引く）処理を行ってもよい。
図２１は、領域抽出処理の別例を示す図である。
図２１に示す例では、検査画像Ｐ８から、領域Ａ２１を間引き、残りの台形型の領域を検査領域としている。領域Ａ２１は、撮像画像への路面の写り方に応じて予め定められてよい。このように、不具合解析装置３０、３０Ａは、検査領域としない領域を定めてもよい。

また、上述した実施形態において、領域抽出処理では、大きさが同じ複数の検査領域を抽出する場合について説明したが、これには限らない。例えば、路面画像において、奥行側、すなわち遠方の部分については、検査領域を小さく設定し、手前側、すなわち近傍の部分については、検査領域を大きく設定してよい。例えば、図１６に示す例では、領域Ａ１〜Ａ４の大きさに比して、領域Ａ１０の大きさを小さく設定してよい。これにより、路面画像の奥行側において、複数の路面不具合が１つの検出領域に含まれたり、路面不具合以外の物体が検出領域に含まれたりすることを抑制することができる。

また、上述した実施形態において、領域抽出処理では、複数の検査領域を重複させて抽出する場合について説明したが、これには限らない。各検査領域は、重複しないように抽出されてもよい。また、不具合解析装置３０、３０Ａは、検査画像の全ての部分を網羅するように、検査領域を抽出してもよい。

また、領域抽出処理において、検査領域は、固定でなくてもよい。不具合解析装置３０、３０Ａは、例えば、移動方向の変化に応じて検査領域の位置や数を変化させてもよい。不具合解析装置３０、３０Ａは、例えば、右折の場合には検査画像の右側に、より多くの検査領域を設定し、左折の場合には検査画像の左側に、より多くの検査領域を設定してもよい。また、不具合解析装置３０、３０Ａは、例えば、移動方向の変化量に応じて検査領域の位置や数を変化させてもよい。例えば、カーブの度合いが大きい場合には、検査画像の手前側に、より多くの検査領域を設定してもよい。

また、不具合解析装置３０、３０Ａは、検査領域について、解析不能であるという解析結果を出力してもよい。不具合解析装置３０、３０Ａは、例えば、検査領域に路面が写っていない場合、影の影響により検査領域が不明瞭であった場合、積雪がある場合、冠水がある場合に、解析不能であるという解析結果を、その理由とともに出力してよい。

なお、上述した実施形態では、不具合解析用人工知能を用いて路面不具合を検出する態様について説明したが、これには限らない。不具合解析装置３０、３０Ａは、例えば、画像特徴量を抽出して、路面不具合を解析してもよい。また、不具合解析装置３０、３０Ａは、例えば、サポートベクターマシンやクラスタリング等の手法を用いて路面不具合を解析してもよい。

なお、不具合情報の提示態様は、上述したものに限られない。不具合解析装置３０、３０Ａは、例えば、異なる時期に撮像された路面画像の解析し、路面不具合が増えた箇所のみを提示するようにしてもよい。
なお、一度に撮像された一連の路面画像の解析範囲は、ユーザからの入力により定められてよい。不具合解析装置３０、３０Ａは、例えば、解析するフレームの範囲を時間指定により受け付けてもよいし、場所の指定により受け付けてもよい。不具合解析装置３０、３０Ａは、場所の指定を受け付ける場合、指定された場所の座標と、路面画像に対応付けられている測位情報とを参照して解析範囲を定めてよい。

なお、測位情報は、任意の手法により、精度の向上が図られてよい。例えば、不具合解析装置３０、３０Ａは、ＧＰＳによりドップラー方式で測定された速度情報やＯＤＢ２等により得られる速度情報を用いることにより、ＧＰＳによる測位結果に誤差があった場合でも、速度情報に基づいて移動距離を修正して測位精度を向上させることができる。また、例えば、不具合解析装置３０、３０Ａは、道路の情報やユーザから入力された走行経路の情報等を用いて測位精度を向上させてよい。

なお、撮像部１１は、任意の態様により車両１０に搭載されてよい。
撮像部１１は、車内に設置されてもよいし、車外に設置されてもよい。また、撮像部１１は、車両の前方を撮像するように設置されてもよいし、後方を撮像するように設置されてもよい。また、撮像部１１は、ユーザが身に着ける等、ユーザが携行してもよい。

また、上述の情報端末装置１３、不具合解析装置３０、不具合情報管理装置５０、地図情報管理装置９０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報端末装置１３、不具合解析装置３０、不具合情報管理装置５０、地図情報管理装置９０としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１、１Ａ…不具合解析システム、１０…車両、１１…撮像部、１２…測位部、１３…情報端末装置、３０、３０Ａ…不具合解析装置、３１…入力部、３２…表示部、３３…音声再生部、３４…通信部、３５…記憶部、３５１…学習結果記憶部、３６０…制御部、３６１…情報取得部、３６２…画像変換部、３６３、３６３Ａ…画像抽出部、３６４…領域抽出部、３６５…解析部、３６６…学習部、３６７…認識部、３６８…結果生成部、３６９…結果編集部、５０…不具合情報管理装置、５１…第１種不具合情報記憶部、５２…第２種不具合情報記憶部、７０…台帳情報管理装置、７１…台帳情報記憶部、９０…地図情報管理装置、９１…地図情報記憶部

Claims (6)

1. 面に沿って移動する移動体に搭載された撮像装置で撮像され、当該面を含む領域が撮像された画像を取得する画像取得部と、
   前記画像取得部が取得する画像の各々について、前記画像中の面の状態を示す状態情報と、前記面の位置を示す位置情報と、を対応付けた情報を生成する状態判定部と、
   地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示する表示部と、
   を備える情報処理装置。
2. 前記表示部は、予め定めた範囲内に前記位置情報が属する面であって、前記状態情報が同一である複数の面については、当該複数の面を代表する代表位置に、当該状態情報を対応付けて表示する、
   請求項１に記載の情報処理装置。
3. 前記表示部は、移動体の位置に基づいて、前記面を含む画像を表示する、
   請求項１又は請求項２に記載の情報処理装置。
4. 前記表示部は、移動体の位置と前記位置情報とに基づいて、当該位置情報に対応する状態情報を表示する、
   請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. 情報処理装置が、
   面に沿って移動する移動体に搭載された撮像装置で撮像され、当該面を含む領域が撮像された画像を取得する第１ステップと、
   前記第１ステップにおいて取得された画像の各々について、前記画像中の面の状態を示す状態情報と、前記面の位置を示す位置情報と、を対応付けた情報を生成する第２ステップと、
   地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示部に表示する第３ステップと、
   を含む情報処理方法。
6. コンピュータに、
   面に沿って移動する移動体に搭載された撮像装置で撮像され、当該面を含む領域が撮像された画像を取得する第１ステップと、
   前記第１ステップにおいて取得された画像の各々について、前記画像中の面の状態を示す状態情報と、前記面の位置を示す位置情報と、を対応付けた情報を生成する第２ステップと、
   地図上に、前記位置情報が示す位置に、当該位置の面の状態を示す状態情報と、当該面を含む画像と、を対応付けて表示部に表示する第３ステップと、
   を実行させるためのプログラム。