JP2020038227A - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

Abstract

【課題】高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することを可能にする画像処理方法、画像処理装置、及び画像処理プログラムを提供する。【解決手段】複数の画像と画像の位置情報とをユーザ端末から受信する受信部と、受信した複数の画像及び画像の位置情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部２６と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部２８と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部３０とを備える。【選択図】図２

Description

本発明は、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することを可能にする画像処理方法、画像処理装置、及び画像処理プログラムに関する。

社会的なインフラストラクチャーとして、橋梁、トンネルといった構造物が存在する。これらの構造物には損傷が発生し、その損傷は進行する性質を持つため、定期的に点検を行うことが求められている。また的確な点検結果を報告することが求められている。例えば、構造物の表面に生じたひび割れの性状を的確に把握して点検結果を報告することが求められており、その報告に基づいてひび割れの進行程度に応じた適切な維持管理を行う必要がある。

特許文献１には、コンクリート壁面をレーザ発射体付きのカメラで撮像して得られたレーザ光点付きの遠景画像及び近接画像をモバイルパソコンから送信すると、遠景画像及び近接画像をコンクリート壁面の正面から見た画像に正規化し、更に画像解析対象の近接画像を指定するために近接画像が遠景画像のどのエリアのものかを割り付ける操作をモバイルパソコンで行って解析指示を送信すると、指定の近接画像を画像解析してひび割れ幅を計測するサーバ装置が、記載されている。

特許文献２には、パーソナルコンピュータにおいて、点検現場での作業時に野帳に記入された撮影位置の情報に基づいてコンクリート構造物の画像をＣＡＤ（computer aided design）図面上に貼り付ける操作を行うと、その操作に応じて画像をＣＡＤ図面と関連付け、更に画像上でひび割れをトレースする操作を行うと、その操作に応じて画像上のひび割れをＣＡＤ図面に写像し、ＣＡＤ図面の情報を用いてひび割れの幅及び長さを算出することが、記載されている。

特許文献３には、パーソナルコンピュータにおいて、カメラからコンクリート壁面までの距離とカメラの光軸に対するコンクリート壁面の傾斜角とを計測して、複数枚の画像を接合し且つコンクリート壁面の正面から見た画像に補正し、更にコンクリート壁面のひび割れの分布状態とひび割れの幅とを求めて状態図を表示することが、記載されている。実際はひび割れであるにもかかわらず認識できていないひび割れは、マウスやペン入力装置を用いてトレースする操作により入力することができる。

特許文献４には、ひび割れの識別処理をサポートベクトルマシンアルゴリズムを用いて機械学習する際に、複数の領域画像のうち各領域画像の中心と各領域画像中の識別対象物（ひび割れ、汚れ、他の凹凸など）の重心とが一致する領域画像だけを学習対象のサンプルとして選択することが、記載されている。

特開２００４−６９４３４号公報 特開２００５−３１００４４号公報 特開平１０−７８３０５号公報 特開２００３−２１６９５３号公報

特許文献１〜４には、構造物を分割撮像して得られた複数の画像と共に各画像の位置情報をユーザ端末から送信してサーバ装置で一枚の画像に合成することについて、開示が無い。

また、特許文献１に記載されたモバイルパソコン（ユーザ端末の一形態である）及びサーバ装置からなるシステムでは、レーザ発射体を設けたカメラが必要となるだけではなくて、遠景画像及び近接画像が必要であり、更には遠景画像に対して近接画像を割り付けるユーザ操作により画像解析対象の近接画像を指定する必要がある。従って、高額な装置が必要になるだけでなく、ひび割れの画像解析結果を得るまでのユーザの操作が煩雑であると言える。

また、ユーザ端末でひび割れ箇所の合成画像を生成し且つひび割れの画像解析を行う場合には、高額なハードウエア又は高額なソフトウエアが必要であった。つまり、高額な装置を必要とした。

特許文献２には、パーソナルコンピュータ（ユーザ端末の一形態である）において、画像をＣＡＤ図面上に貼り付ける操作と、画像上でひび割れをトレースする操作とを行うと、ひび割れの幅及び長さを算出することが記載されているにすぎない。

特許文献３に記載された技術では、ひび割れ情報を修正する場合にはマウスやペン入力装置を用いて一本ずつトレースする操作が必要となる。このようなトレース操作によるひび割れ情報の修正機能を用いれば、どのようなパターンのひび割れに対しても一本ずつ個別に修正できるけれども、操作が煩雑であり、作業時間が掛かってしまうため、繁忙な作業員にとって実際には行えない場合がある。

特許文献４には、構造物の画像に基づいてひび割れの識別処理を学習することが記載されているにすぎない。

以上のように構造物の表面に生じるひび割れの性状を的確に把握して点検結果を報告することを支援するための各種の装置が提案又は提供されてきたが、ひび割れ箇所の画像を解析してひび割れの画像解析結果をユーザに提示するためには、高額な装置が必要になるとともに、ひび割れ箇所の複数の画像を合成するためのユーザの負荷が大きいといった問題があった。

本発明は、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することを可能にする画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係るサーバ装置は、構造物の表面を示す複数の画像と、複数の画像の位置情報とを、ユーザ端末から受信する受信部と、受信された複数の画像及び位置情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部と、を備える。

本態様によれば、ユーザ端末から構造物の表面を示す複数の画像とその複数の画像の位置情報とを送信すると、サーバ装置により複数の画像及び画像の位置情報に基づいて合成画像が生成され、且つひび割れ情報が生成されるので、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することが可能になる。また、本態様によれば、ユーザ端末から送信された画像及びその位置情報、更にはサーバ装置で生成された合成画像及びひび割れ情報を、蓄積してビッグデータ化することが可能になるので、そのビッグデータの二次利用により適切な合成画像及び適切な画像解析結果を導き出せるようにすることが可能になるとも言える。

本発明の第２の態様に係るサーバ装置では、合成画像とひび割れ情報とをユーザ端末に送信してユーザ端末の画面に合成画像とひび割れ情報とを表示させる送信部を備え、受信部は、ユーザ端末でのマニュアル操作に応じたひび割れ情報の修正要求をユーザ端末から受信し、ひび割れ情報生成部は、修正要求に基づいてひび割れ情報を修正し、送信部は、修正されたひび割れ情報をユーザ端末に送信する。本態様によれば、ユーザ端末の画面に合成画像及びひび割れ情報が表示され、その表示の内容に対してユーザがマニュアル操作を行った場合、そのマニュアル操作に応じた修正要求をサーバに蓄積することが可能になる。従って、より適切な画像解析結果を導き出せるように、サーバ装置での画像解析処理を改良することが容易になる。つまり、画像処理結果の修正のための煩雑なユーザ操作を減らしつつ、より適切な画像解析結果をユーザに対して提示することが可能になる。

本発明の第３の態様に係るサーバ装置では、受信部は、ひび割れ情報の修正内容を特徴量で示した修正要求をユーザ端末から受信し、ひび割れ情報生成部は、修正要求で示された特徴量に基づいて、ひび割れ情報を修正する。本態様によれば、ひび割れの特徴量でひび割れ情報の修正要求を示すユーザ操作が可能になる。例えばトレース操作に基づいてひび割れ情報を一本ずつ修正する場合と比較して、簡易な操作でひび割れ情報を修正することが可能になる。

本発明の第４の態様に係るサーバ装置では、特徴量に対する合成画像中の線分の検出度数を示す度数分布と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダとを、ひび割れ情報に付加し、ユーザ端末でのスライダを用いたユーザ操作に応じてひび割れ情報を修正する。本態様によれば、特徴量に対する線分の検出度数を見ながらスライダを操作するという簡易な操作で、ひび割れ情報を修正することが可能になる。

本発明の第５の態様に係るサーバ装置では、ひび割れ情報生成部は、特徴量に基づいてひび割れ画像をグルーピングして、ユーザ端末でのひび割れ画像のグループを選択するマニュアル操作に応じてひび割れ情報を修正する。本態様によれば、ひび割れ画像のグループを選択するという簡易な操作で、ひび割れ情報を修正することが可能になる。

本発明の第６の態様に係るサーバ装置では、ユーザ端末でのマニュアル操作に基づいて、ひび割れの検出を機械学習する機械学習部を備える。本態様によれば、ユーザ端末でのマニュアル操作に基づいてひび割れの検出が機械学習されるので、画像解析結果を修正するための煩雑なユーザ操作を着実に減少させてゆくことが可能になる。

本発明の第７の態様に係るサーバ装置では、特徴量は、ひび割れの方向、長さ、幅、エッジの強度、及びエッジの密度のうち少なくともいずれかを含む。

本発明の第８の態様に係る画像処理方法では、合成画像生成部は、複数の画像に対して、画像位置情報、縮尺、あおり及び回転角度のうち少なくとも一つの補正を行う。

本発明の第９の態様に係るサーバ装置では、合成画像生成部は、複数の画像に基づいて補正パラメータを導き出し、補正を行う。

本発明の第１０の態様に係るサーバ装置では、ひび割れ情報に基づいて、ひび割れ画像によって示されるひび割れの幅をユーザ端末の画面上で測定するためのスケール画像を生成するスケール画像生成部を備え、ひび割れ情報生成部は、スケール画像をひび割れ情報に付加する。

本発明の第１１の態様に係るサーバ装置では、少なくともひび割れ情報に基づいて、ひび割れの程度を評価し、構造物のひび割れ程度の評価区分を判別するひび割れ評価部を備える。

本発明の第１２の態様に係るサーバ装置では、判別された評価区分を含む構造物の点検結果を示す帳票を作成する帳票作成部を備える。

本発明の第１３の態様に係るサーバ装置では、合成画像とひび割れ情報とを、予め決められたデータ形式のＣＡＤデータに変換するデータ変換部を備える。

本発明の第１４の態様に係るサーバ装置では、構造物の構造情報、環境条件情報、使用条件情報、維持管理履歴情報、及び災害履歴情報のうち少なくともひとつの情報と、ひび割れ情報とに基づいて、ひび割れの進行を予測する予測部を備える。

本発明の第１５の態様に係る画像処理システムは、ユーザ端末及びサーバ装置を含む画像処理システムであって、ユーザ端末は、構造物の表面を示す複数の画像と、複数の画像の位置情報とを入力する端末入力部と、サーバ装置に対して、複数の画像及び位置情報を送信する端末送信部と、サーバ装置から、複数の画像に対する画像処理結果を受信する端末受信部と、画像処理結果を表示する端末表示部と、を備え、サーバ装置は、ユーザ端末から、複数の画像と位置情報とを受信するサーバ受信部と、受信された複数の画像及び位置情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部と、複数の画像に対する画像処理結果として、合成画像とひび割れ情報とをユーザ端末に送信するサーバ送信部と、を備え、端末表示部は、合成画像とひび割れ情報とを表示する。

本発明の第１６の態様に係る画像処理方法では、構造物の表面を示す複数の画像と、複数の画像の位置情報とを、ユーザ端末から受信するステップと、受信された複数の画像及び画像位置情報に基づいて、構造物の表面を示す合成画像を生成するステップと、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するステップと、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するステップと、を含む。

本発明よれば、高額な装置を必要とせずにひび割れ箇所の画像を解析し、かつユーザの操作を煩雑にすることなくひび割れ箇所の合成画像及び画像解析結果を提示することが可能になる。

図１は、本発明が適用される構造物の一例である橋梁を示す斜視図である。 図２は、第１の実施形態における画像処理システムの構成例を示すブロック図である。 図３は、度数分布及びスライダの第１の表示例を示す図である。 図４は、度数分布及びスライダの第２の表示例を示す図である。 図５は、度数分布及びスライダの第３の表示例を示す図である。 図６は、度数分布及びスライダの第４の表示例を示す図である。 図７は、ひび割れ画像を特徴量に基づいてグルーピングした場合の表示例を示す図である。 図８は、第１実施形態における第１の画像処理例の流れを示すフローチャートである。 図９は、第１実施形態における第１の画像処理例の説明に用いる説明図である。 図１０は、複数の画像を並べる操作の説明に用いる説明図である。 図１１は、合成画像及びひび割れ画像の表示例を示す図である。 図１２は、ひび割れの進行モデルの一例を模式的に示す図である。 図１３は、帳票としての損傷図の一例を示す図である。 図１４は、第１実施形態における第２の画像処理例の流れを示すフローチャートである。 図１５は、第１実施形態における第３の画像処理例の流れを示すフローチャートである。 図１６は、第１実施形態における第３の画像処理例の説明に用いる説明図である。 図１７は、第１実施形態における第４の画像処理例の流れを示すフローチャートである。 図１８は、第２の実施形態における画像処理システムの構成例を示すブロック図である。 ひび割れ画像のベクトル化の説明に用いる第１の説明図である。 ひび割れ画像のベクトル化の説明に用いる第２の説明図である。 ひび割れ画像のベクトル化の説明に用いる第３の説明図である。 ひび割れ画像のベクトル化の説明に用いる第４の説明図である。 ひび割れ画像のベクトル化の説明に用いる第５の説明図である。 ひび割れ画像のベクトル化の説明に用いる第６の説明図である。 スケール画像の表示例を示す図である。

以下、添付図面に従って、本発明に係る画像処理方法、画像処理装置、及び画像処理プログラムを実施するための形態について説明する。

［構造物例］
図１は、本発明が適用される構造物の一例である橋梁の構造を示す斜視図である。図１に示す橋梁１は複数の主桁３を有し、主桁３同士は接合部３Ａで接合されている。主桁３の上部には、コンクリート製の部材である床版２が打設されている。橋梁１は、床版２及び主桁３の他に、図示しない横桁、対傾構、及び横構等の部材を有する。

尚、本発明における「構造物」は、橋梁に限定されない。構造物は、トンネル、ダム、建築物などでもよい。

［第１の実施形態］
図２は、第１の実施形態における画像処理システムの構成例を示すブロック図である。

ユーザ端末１０とサーバ装置２０とにより、クライアントサーバ型の画像処理システムが構成される。実際には複数のユーザ端末１０がネットワークＮＷに接続される。ユーザ端末１０はユーザに対するフロントエンド処理を行うコンピュータ装置によって構成され、サーバ装置２０は画像処理等のバックエンド処理を行うコンピュータ装置によって構成される。ユーザ端末１０として、例えば、パーソナルコンピュータ、タブレット、スマートフォン等のコンピュータ装置を用いることができる。サーバ装置２０は、複数のコンピュータ装置で構成してもよい。本例のサーバ装置２０は、説明の便宜上、データベース５０を含んで構成される。サーバ装置２０とデータベース５０とを異なる装置として設けてよい。

ユーザ端末１０は、構造物の表面を示す複数の画像と、複数の画像の位置情報を含む画像合成に必要な情報とを入力する端末入力部１１と、入力された複数の画像と画像合成に必要な情報とをサーバ装置２０に対して送信する端末送信部１２と、サーバ装置２０から複数の画像に対する画像処理結果を受信する端末受信部１３と、サーバ装置２０の画像処理結果を表示する端末表示部１４と、ユーザのマニュアル操作を受け付ける端末操作部１５と、ユーザ端末１０用のフロントエンドプログラムに従ってユーザ端末１０の各部を制御する端末制御部１６と、フロントエンドプログラムとそのフロントエンドプログラムの実行に必要な各種情報とを記憶する端末記憶部１７とを備える。

端末入力部１１は、例えば、無線通信又は有線通信により画像及び画像の位置情報を入力する通信デバイスにより構成することができる。メモリカード等の記憶媒体から画像を入力する記憶媒体インタフェースデバイスと、人から画像の位置情報の入力操作を受け付ける操作デバイスとを含んで、端末入力部１１を構成してもよい。端末送信部１２及び端末受信部１３は、ネットワークＮＷを介して、サーバ装置２０を含む他の装置と通信するための通信デバイスによって構成することができる。端末表示部１４は、液晶表示デバイス等の表示デバイスによって構成することができる。端末操作部１５は、キーボード、マウス、タッチパネル等の操作デバイスによって構成することができる。端末制御部１６は、例えばＣＰＵ（central processing unit）によって構成することができる。端末記憶部１７は、メモリデバイスによって構成することができる。

サーバ装置２０は、ユーザ端末１０から複数の画像と複数の画像の位置情報を含む画像合成に必要な情報とを受信する受信部２２と、サーバ装置２０での画像処理結果をユーザ端末１０に対して送信する送信部２４と、複数の画像及び画像合成に必要な情報に基づいて、構造物の表面を示す合成画像を生成する合成画像生成部２６と、合成画像または合成前の画像を画像解析して構造物の表面のひび割れを検出するひび割れ検出部２８と、検出されたひび割れに対応するひび割れ画像と検出されたひび割れの特徴量とを示すひび割れ情報を生成するひび割れ情報生成部３０と、ユーザ端末１０でのユーザ操作に基づいて、ひび割れの検出を機械学習する機械学習部３２と、を含んで構成される。送信部２４は、合成画像とひび割れ情報とをユーザ端末１０に送信して、ユーザ端末１０の画面に合成画像とひび割れ情報とを表示させる。受信部２２は、ユーザ端末１０でのユーザ操作に応じたひび割れ情報の修正要求をユーザ端末１０から受信する。ひび割れ情報生成部３０は、修正要求に基づいてひび割れ情報を修正する。送信部２４は、修正されたひび割れ情報をユーザ端末１０に送信する。データベース５０は、ユーザ端末１０から受信した情報（複数の画像、画像合成に必要な情報、マニュアル操作情報等）と、サーバ装置２０での画像処理結果（合成画像、ひび割れ情報等）とを関連付けて蓄積する。

また、サーバ装置２０は、生成されたひび割れ情報に基づいて、ひび割れ画像によって示されるひび割れの幅をユーザ端末１０の画面上で測定するためのスケール画像を生成するスケール画像生成部３４を備える。ひび割れ情報生成部３０は、生成されたスケール画像をひび割れ情報に付加する。送信部２４は、スケール画像が付加されたひび割れ情報をユーザ端末１０に送信する。

本例のサーバ装置２０は、少なくともひび割れ情報に基づいて、ひび割れの程度を評価し、構造物のひび割れ程度の評価区分（以下「ランク情報」ともいう）を判別するひび割れ評価部３６を備える。ひび割れ情報生成部３０は、判別されたランク情報をひび割れ情報に付加する。送信部２４は、ランク情報が付加されたひび割れ情報をユーザ端末１０に送信する。

更に、サーバ装置２０は、合成画像とひび割れ情報とを予め決められたデータ形式のＣＡＤ(computer aided design)データに変換することによりＣＡＤデータを取得するＣＡＤデータ取得部３８（「データ変換部」の一形態である）を備える。

更に、サーバ装置２０は、判別されたひび割れ程度の評価区分を含む構造物の点検結果を示す帳票（以下「点検調書」ともいう）を作成する帳票作成部４０を備える。送信部２４は、作成された帳票をユーザ端末１０に送信する。

また、サーバ装置２０は、バックエンドプログラムとそのバックエンドプログラムの実行に必要な各種情報とを記憶する記憶部４２を備える。

受信部２２及び送信部２４は、ネットワークＮＷを介して、ユーザ端末１０を含む他の装置と通信するための通信デバイスによって構成することができる。合成画像生成部２６、ひび割れ検出部２８、ひび割れ情報生成部３０、機械学習部３２、スケール画像生成部３４、ひび割れ評価部３６、ＣＡＤデータ取得部３８、及び帳票作成部４０は、例えばＣＰＵによって構成することができる。複数のＣＰＵにより構成してもよい。記憶部４２は、メモリデバイスによって構成することができる。

ユーザ端末１０からサーバ装置２０に送信される画像の位置情報（以下「画像位置情報」ともいう）は、構造物の表面に対する各画像の位置関係を示す場合（つまり構造物の表面における複数の被撮像領域のそれぞれの位置を示す場合）と、複数の画像同士の相対的な位置関係を示す場合とがある。

＜画像補正＞
サーバ装置２０の合成画像生成部２６は、複数の画像を画像補正後に合成する。本例の合成画像生成部２６は、複数の画像に基づいて補正パラメータを導き出し、複数の画像に対して補正を行うことができる。本例の合成画像生成部２６は、複数の画像に対して次の画像補正１〜４のうち少なくとも一つの補正を行う機能を有する。

画像補正１（画像位置情報補正）：複数の画像同士の相対的な位置関係を、被撮像面（例えば橋梁の床版）における複数の被撮像領域同士の相対的な位置関係にマッチングさせる画像処理である。つまり、不正確な画像位置情報をユーザ端末１０から受信したと判定した場合、その不正確な画像位置情報をより正確な画像位置情報に補正する。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、隣接する画像間を跨ぐひび割れが存在するのにそのひび割れ画像が隣接する画像間で離間していて繋がっていない場合、そのひび割れを隣接する画像間で繋がらせる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、本補正を行ってもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいて画像位置情報を補正してもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいて画像位置情報補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいて画像位置情報補正を行う機能を有する。これにより、不正確な画像位置情報を正確な画像位置情報に容易に補正することが可能である。正確な画像位置情報をユーザ端末１０から受信したと判定した場合には、本補正を行わなくてよい。

画像補正２（縮尺補正）：複数の画像の縮尺を一致させる画像処理（「拡縮」ともいう）である。つまり、撮像装置６０から構造物の被撮像面までの距離が不一致である複数の画像をユーザ端末１０から受信したと判定した場合、その被撮像面までの距離がより一致した複数の画像（「一定距離の画像」ともいう）に補正する。画像に距離情報が関連付けられている場合、その距離情報に基づいて拡縮すればよい。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、隣接する画像間を跨ぐ複数のひび割れが存在するのにひび割れ画像の間隔が隣接する画像間で一致していない場合、その複数のひび割れ画像の間隔を隣接する画像間で一致させる画像処理が挙げられる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、補正してもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいて縮尺補正を行ってもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいて縮尺補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいて縮尺補正を行う機能を有する。一定距離で分割撮像を行った場合には、本補正を行わなくてよい。

画像補正３（あおり補正）：複数の画像のそれぞれのあおりを補正する画像処理である。つまり、撮像装置の撮像方向に対する構造物の被撮像面の傾き角度が不一致である複数の画像をユーザ端末１０から受信したと判定した場合、その被撮像面の傾き角度がより一致した複数の画像（「一定傾き角度の画像」ともいう）に補正する。画像に傾き角度情報が関連付けられている場合、その傾き角度情報に基づいてあおり補正を行えばよい。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、ひび割れの方向をマッチングさせる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、補正してもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいてあおり補正を行ってもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいてあおり補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいてあおり補正を行う機能を有する。一定傾き角度で分割撮像を行った場合には、本補正を行わなくてよい。

画像補正４（回転角度補正）：複数の画像のそれぞれの被撮像面に対する回転角度を補正する画像処理である。つまり、構造物の被撮像面に対する撮像装置の撮像方向回りの回転角度（「方位角」ともいう）が不一致である複数の画像をユーザ端末１０から受信したと判定した場合、その被撮像面に対する回転角度がより一致した複数の画像（「一定回転角度の画像」ともいう）に補正する。画像に回転角度情報が関連付けられている場合、その回転角度情報に基づいて回転を行えばよい。例えば、画像中のひび割れをベクトル化したひび割れベクトルに基づいて、ひび割れの方向をマッチングさせる。画像中の構造物の非ひび割れ（例えば構造物の模様）をベクトル化した非ひび割れベクトルに基づいて、補正してもよい。橋梁１の床版２の格間ごとに撮像する場合、画像中の格間の縁部に基づいて回転角度補正を行ってもよい。本例の合成画像生成部２６は、最新の点検時の画像に基づいて回転角度補正を行う機能の他に、最新の点検時の画像と過去の点検時の画像（合成画像又は合成前の画像）に基づいて回転角度補正を行う機能を有する。一定回転角度で分割撮像を行った場合には、本補正を行わなくてよい。

＜ひび割れ情報の一括修正＞
ユーザ端末１０でのユーザ操作に応じて本例のサーバ装置２０のひび割れ情報生成部３０で行うひび割れ情報の修正処理について、説明する。

本例のサーバ装置２０のひび割れ情報生成部３０は、ユーザ端末１０でユーザが指示したひび割れの特徴量に基づいて、複数のひび割れに関して一括してひび割れ情報を修正する機能（以下「一括修正」という）を有する。サーバ装置２０の受信部２２は、ひび割れ情報の修正内容をひび割れの特徴量で示した修正要求を、ユーザ端末１０から受信する。サーバ装置２０のひび割れ情報生成部３０は、修正要求で示された特徴量に基づいて、ひび割れ情報を修正する。このような特徴量に基づいたひび割れ情報の修正（一括修正）の態様として、各種の態様が挙げられる。

第１の一括修正の態様として、ユーザ端末１０の画面に表示させたスライダを用いたマニュアル操作（以下「スライド操作」という）に応じて一括修正を行う態様が挙げられる。本態様のひび割れ情報生成部３０は、特徴量に対する合成画像中の線分（以下「線状パターン」ともいう）の検出度数を示す度数分布（「ヒストグラム」ともいう）と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダとを、ユーザ端末１０に対して送信されるひび割れ情報に付加し、ユーザ端末１０でのスライダを用いた操作に応じて、ひび割れ情報を修正する。

図３は、度数分布及びスライダの第１の表示例を示す図である。本例では、ユーザ端末１０の画面に表示された合成画像ＩＭＧ１上に、検出されたひび割れを示すひび割れ画像ＣＲ１、ＣＲ２、ＣＲ３、ＣＲ４を表示させる。更に、合成画像ＩＭＧ１の近傍に、特徴量に対する合成画像ＩＭＧ１中の線分（ひび割れ候補である）の検出度数を示す度数分布ＨＧ１（ヒストグラム）と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダＳＬ１とを表示させる。度数分布ＨＧ１のｙ方向（画面の上下方向）がひび割れ候補である線分の特徴量を示し、度数分布ＨＧ１のｘ方向（画面の左右方向）がひび割れ候補である線分の度数を示す。スライダＳＬ１は、合成画像ＩＭＧ１中の線分がひび割れであるか否かの判定基準を調節するためのスライド式のＧＵＩ（graphical user interface）である。本例のスライダＳＬ１は一本のバーＢＲ１を有し、その一本のバーＢＲ１の表示位置を基準にして、度数分布ＨＧ１のうちのひび割れ対象領域ＡＲ１が決まる。図３の上下方向（ｘ方向）において、度数分布ＨＧ１のうち、バーＢＲ１の表示位置よりも上の領域がひび割れ対象領域ＡＲ１であり、そのひび割れ対象領域ＡＲ１内の特徴量を持つ線分が「ひび割れ」として検出される。

図４は、度数分布及びスライダの第２の表示例を示す図である。本例のスライダＳＬ２は二本のバーＢＲ２１、ＢＲ２２を有し、その二本のバーＢＲ２１、ＢＲ２２の表示位置を基準にしてひび割れ対象領域ＡＲ２が決まる。図４のｙ方向（画面の上下方向）において、度数分布ＨＧ１のうち二本のバーＢＲ２１、ＢＲ２２で挟まれた領域がひび割れ対象領域ＡＲ２であり、そのひび割れ対象領域ＡＲ２内の特徴量を持つ線分が「ひび割れ」として検出される。

図５は、度数分布及びスライダの第３の表示例を示す図である。本例では、二つのスライダＳＬ１、ＳＬ２を表示して、複数の特徴量に基づいて、ひび割れ対象領域ＡＲ１、ＡＲ２を選択入力することができる。

図６は、度数分布及びスライダの第４の表示例を示す図である。本例では、チェックボックスＢＸ１，ＢＸ２，ＢＸ３を表示して、損傷の種類を選択入力することができる。

特徴量は、ひび割れの方向、長さ、幅、エッジの強度、及びエッジの密度のうち少なくともいずれかを含む。他の特徴量でもよい。ひび割れ情報生成部３０は、度数分布（ヒストグラム）とスライダとをひび割れ情報に付加し、ユーザ端末１０でのスライダを用いたマニュアル操作に応じて、ひび割れ情報を修正する。

以上のように、特徴量（ひび割れ検出部２８により検出された線分の特徴量である）に対する線分の検出度数を示す度数分布と、特徴量でひび割れ情報の修正内容を指示入力するためのスライダとを、ひび割れ情報に付加し、ユーザ端末１０でのスライダを用いたスライド操作に応じてひび割れ情報を修正することにより、簡易な操作でより精度が高いひび割れ情報に修正することが可能になる。

第２に、ユーザ端末１０の画面に表示させたひび割れ画像に対するグループ選択操作に応じて一括修正を行う態様が挙げられる。本態様のひび割れ情報生成部３０は、特徴量に基づいてひび割れ画像をグルーピングし、ユーザ端末１０でのひび割れ画像のグループを選択するマニュアル操作に応じてひび割れ情報を修正する。

図７は、ひび割れ画像を方向（特徴量の一形態である）に基づいてグルーピングしてグループ毎に異なる線種で表示した例を示す。本例では、同一方向及び類似方向の複数のひび割れ画像（ひび割れ検出部２８によりひび割れとして検出された線分に対応する画像である）で一つのグループを形成した。第１のグループＧ１のひび割れ画像を実線で表示させ、第２のグループＧ２のひび割れ画像を破線で表示させ、第３のグループＧ３のひび割れ画像を一点鎖線で表示させている。尚、図示の都合上、グループ毎に異なる線種で表示させた場合を例示したが、グループ毎に異なる色で表示させてもよい。

ユーザは、ユーザ端末１０の画面の表示を見て、削除対象のグループのうち少なくとも一本のひび割れ画像を囲うタッチ操作を行う。そうすると囲まれたひび割れ画像の方向に基づいて、そのひび割れ画像が属するグループ内の全てのひび割れ画像（同一方向及び類似方向のひび割れ画像である）が一括して消去される。同時に、選択されたグループのひび割れ情報がサーバ装置２０で削除される。図７に示す例では、タッチ操作で囲われた選択領域ＡＲに含まれる同一グループのひび割れ画像が画面から消去され、かつ同一グループのひび割れ情報が削除される。

ひび割れ画像を囲う操作ではなくて、削除対象のグループをユーザに直接的に選択させてもよい。例えば、図７の点線表示された第２のグループＧ２のひび割れ情報を削除する場合、「点線」を選択する操作をユーザ端末１０で受け付ける。グループ毎に異なる色でひび割れ画像を表示させた場合には、色（例えば「赤」）を選択する操作を受け付ける。グループの識別情報（例えばグループ番号）を選択する操作を受け付けてもよい。

また、ひび割れ情報の「削除」に限らず、ひび割れ情報の「追加」、「増加」及び「減少」の操作を受け付けることが好ましい。

以上のように、特徴量に基づいてひび割れ画像をグルーピングし、ユーザ端末１０でのひび割れ画像のグループを選択するユーザ操作に応じてひび割れ情報を修正することにより、簡易な操作でより精度が高いひび割れ情報に修正することが可能になる。

＜機械学習＞
サーバ装置２０の機械学習部３２は、例えば人工知能によって構成される。人工知能として、例えば人工ニューラルネットワークを用いてもよいし、他の公知の人工知能を用いてもよい。ただし、本発明は機械学習部３２として人工知能を用いない場合（例えば単なる検索手段を用いて情報を取得する場合）にも適用可能であり、また機械学習部３２を省略することも可能である。

機械学習部３２は、第１の学習として、ユーザ端末１０でのユーザ操作に基づいて、ひび割れの検出を機械学習する。本例の機械学習部３２は、少なくとも、ユーザ端末１０でのひび割れ情報の編集のためのユーザ操作の履歴と、データベース５０に記憶された画像（合成画像又は合成前の画像である）と、データベース５０に記憶されたひび割れ情報とに基づいて、ひび割れの検出を機械学習する。

本例の機械学習部３２は、データベース５０に記憶されたひび割れ情報に関する操作履歴に基づいて、データベース５０に記憶された編集履歴（ひび割れ情報の修正の内容を示す履歴である）のうちから学習すべき編集履歴を特定し、特定された編集履歴と、その特定された編集履歴に対応する合成画像及びひび割れ情報とに基づいて、合成画像（又は合成前の画像）から検出すべきひび割れの特徴量を機械学習する。つまり、ひび割れ検出部２８のひび割れ検出で用いるモデルを更新する。

尚、本例のひび割れ情報生成部３０は、前述のようにひび割れ情報の修正指示を特徴量単位で受け付ける「一括修正」の機能を有する。そこで本例の機械学習部３２は、ユーザ端末１０での特徴量単位のユーザ操作の履歴と、合成画像及びひび割れ情報との対応関係に基づいて、ひび割れ検出を機械学習する。合成前の画像を画像解析してひび割れを検出する場合には、特徴量単位の操作の履歴と合成前の画像及びひび割れ情報との対応関係に基づいて機械学習する。

また、機械学習部３２は、第２の学習として、ユーザ端末１０でのユーザ操作に基づいて、画像補正を機械学習する。本例の機械学習部３２は、少なくとも、ユーザ端末１０での画像補正のためのユーザ操作の履歴と、データベース５０に記憶された画像（補正前の画像及び補正後の画像である）とに基づいて、画像補正を機械学習する。

本例の機械学習部３２は、データベース５０に記憶された画像補正の操作履歴に基づいて、データベース５０に記憶された画像補正履歴（画像の補正の内容を示す履歴である）のうちから学習すべき画像補正履歴を特定し、特定された画像補正履歴と、その特定された画像補正履歴に対応する補正前の画像及び補正後の画像（合成画像でよい）とに基づいて、補正前の画像と画像補正の内容との対応関係を機械学習する。つまり、合成画像生成部２６の画像補正で用いるモデルを更新する。

尚、本例の合成画像生成部２６は、前述のように画像位置情報補正、縮尺補正、あおり補正及び回転角度補正の機能を有する。そこで本例の機械学習部３２は、ユーザ端末１０での画像位置情報補正、縮尺補正、あおり補正又は回転角度補正のためのユーザ操作の履歴と、補正前の画像及び補正後の画像（合成画像でよい）との対応関係に基づいて、画像補正を機械学習する。

人工知能技術の進歩が著しく、優秀な人の頭脳を超える画像解析を行い得る人工知能が期待されている。ただし、未学習の事象の発生時（例えば学習初期段階）には修正操作が必要になる場合がある。従って、機械学習部３２として人工知能を採用した場合でも、前述の「一括修正」のように、簡易なユーザ操作でひび割れ情報を編集する機能を、機械学習機能と併せてサーバ装置２０に実装することが好ましい。

＜第１の画像処理例＞
図８は、第１実施形態における第１の画像処理例の流れを示すフローチャートである。

本図の左側のフロントエンド処理はユーザ端末１０の端末記憶部１７に記憶されたプログラム（フロントエンドプログラム）に従ってユーザ端末１０で開始される（ステップＳ２）。また、本図の右側のバックエンド処理は、サーバ装置２０の記憶部４２に記憶されたプログラム（バックエンドプログラム）に従ってサーバ装置２０で開始される（ステップＳ４）。

本例では、図９に示すように点検現場で撮像装置６０により得られた複数の画像が事務所のユーザ端末１０に入力され（ステップＳ６）、且つ点検現場でユーザにより野帳に記入された画像位置情報が事務所のユーザ端末１０に入力される（ステップＳ８）。

複数の画像は、撮像装置６０により橋梁の床版の格間を複数に分割撮像して得られる。これらの複数の画像は、例えば有線通信又は近距離無線通信を用いて、端末入力部１１により入力する。メモリカード等の記憶媒体から入力してもよい。撮像装置６０からネットワークＮＷ上の図示しない記憶デバイスに複数の画像をアップロードし、その記憶デバイスからネットワークＮＷを介して複数の画像を入力してもよい。

野帳には、ユーザが橋梁の床版を目視して得た情報が記入されている。図示を省略した計測器を用いて計測した情報を野帳に記入してもよい。以下の説明では、少なくとも、橋梁の床版に対する複数の画像の位置関係を示す手書きの情報（手書きの画像位置情報）が、野帳に記入されているものとする。

橋梁の床版を表したＣＡＤ（computer aided design）図面が作成済である場合、そのＣＡＤ図面を端末表示部１４に表示させて、その表示されたＣＡＤ図面中の床版の格間の被撮影位置に対して各画像を嵌め込むマニュアル操作を端末操作部１５により受け付ける。このようなマニュアル操作に応じて、ＣＡＤ図面中の床版の基準位置に対する各画像の位置関係を示す画像位置情報が入力される。

橋梁の床版を表したＣＡＤ図面が未作成である場合、図１０に示すように、端末表示部１４の画面上で複数の画像を並べるマニュアル操作を端末操作部１５により受け付ける。このようなマニュアル操作に応じて、複数の画像同士の相対的な位置関係を示す画像位置情報が入力される。この態様では、サーバ装置２０において、複数の画像同士の相対的な位置関係を、床版の基準位置に対する各画像の位置関係に変換することが、好ましい。隣接する画像同士の共通部分を重ね合わせるマニュアル操作を受け付けてもよい。

また、必要に応じて、後の画像補正（ステップＳ１６）の示唆となる情報（以下「補正ヒント情報」という）が、ユーザ端末１０に入力される（ステップＳ１０）。

例えば、複数の画像の全部について床版の正面から撮像した場合には「全部正面」、複数の画像の全部について床版の非正面から撮像した場合には「全部あおり」、複数の画像のうち一部だけ床版の非正面から撮像した場合には「一部あおり」といったような、あおり補正のヒント情報を入力するマニュアル操作を、端末操作部１５により受け付ける。具体的なあおりの角度（撮像装置６０の撮像方向に対する床版の傾き角度である）の入力を受け付けてもよいが、この場合には概略の角度が入力される可能性があり、後の工程でサーバ装置２０において、概略の角度を詳細な角度に補正することが、好ましい。縮尺補正（拡縮）、回転角度補正等、他の画像補正のための補正ヒント情報の入力を受け付けてもよい。あおり補正、縮尺補正及び回転角度補正が不要である場合には、本ステップを省略してよい。

次に、ユーザ端末１０の端末制御部１６により画像処理要求情報を生成して、ユーザ端末１０の端末送信部１２により、生成された画像処理要求情報をサーバ装置２０に対して送信する（ステップＳ１２）。画像処理要求情報は、サーバ装置２０の受信部２２により受信され、データベース５０に登録される（ステップＳ１４）。

画像処理要求情報には、ステップＳ６で入力された複数の画像と、ステップＳ８で入力された画像位置情報とが含まれる。ステップＳ１０で補正ヒント情報が入力された場合、その補正ヒント情報も画像処理要求情報に含まれる。

次に、サーバ装置２０の合成画像生成部２６により、複数の画像を補正する（ステップＳ１６）。例えば、前述の画像補正（画像位置情報補正、縮尺補正、あおり補正、及び回転角度補正）のうち、必要な補正が行われる。ステップＳ１０で補正ヒント情報が入力された場合、その補正ヒント情報に基づいて、画像補正が行われる。

次に、サーバ装置２０の合成画像生成部２６により、複数の画像及び画像位置情報に基づいて、床版の格間ごとに一枚の合成画像が生成される（ステップＳ１８）。合成画像は、データベース５０に登録される。

次に、サーバ装置２０の機械学習部３２により、合成画像が不適切であるか否かを判断する（ステップＳ２０）。機械学習部３２は、データベース５０に記憶された各種の情報に基づいて、合成画像が適切である事象及び不適切である事象を学習しており、その学習結果に基づいて今回の合成画像が不適切であるか否かを判断することができる。機械学習部３２は、例えば、原画像（合成前の画像）間で構造物上の模様が繋がらない等の異常を検出する機能を学習結果として持つことが可能である。合成画像が不適切であると判断された場合（ステップＳ２０でＹＥＳの場合）、画像補正及び画像合成に関するパラメータを変更してステップＳ１６に戻り、適切であると判断された場合（ステップＳ２０でＮＯの場合）、ステップＳ２２に進む。

次に、サーバ装置２０のひび割れ検出部２８により、床版の格間ごとの合成画像を画像解析して、床版のひび割れを格間ごとに検出する（ステップＳ２２）。

次に、サーバ装置２０のひび割れ情報生成部３０により、検出されたひび割れに対応するひび割れ画像と、検出されたひび割れの特徴量とを示す、ひび割れ情報を生成する（ステップＳ２４）。特徴量には、ひび割れの幅、長さ、間隔等、床版のひび割れ程度の評価区分を判別するために必要な情報が含まれる。また、特徴量には、一括編集に必要な情報が含まれる。生成されたひび割れ情報は、データベース５０に登録される。

本例は、一括編集に必要な、度数分布、スライダ、グループ情報等が、ひび割れ情報に付加される。また、スケール画像生成部３４により生成されたスケール画像がひび割れ情報に付加されてもよい。スケール画像の具体例は後述する。

ひび割れ評価部３６により、少なくともひび割れ情報に基づいて、橋梁の床版におけるひび割れの程度を評価して、そのひび割れ程度の評価区分を示すランク情報を生成し、そのランク情報をひび割れ情報に付加してもよい。以下では、説明の便宜上、ランク情報がひび割れ情報に付加されなかったものとする。

次に、サーバ装置２０の送信部２４により、床版の格間ごとの合成画像とひび割れ情報とをユーザ端末１０に対して送信する（ステップＳ２６）。合成画像及びひび割れ情報は、ユーザ端末１０の端末受信部１３により受信され、端末表示部１４に表示される（ステップＳ２８）。

例えば、図１１に示すように、端末表示部１４の画面に、床版の格間ごとの合成画像ＩＭＧ２と、ひび割れ画像ＣＲを含むひび割れ情報が表示される。本例では、合成画像ＩＭＧ２中のひび割れが検出された位置に、ひび割れ画像ＣＲが重ね合される。尚、図１１では、スケール画像を省略しているが、合成画像ＩＭＧ２に更にスケール画像を重ね合わせて表示してもよい。

次に、ユーザ端末１０の端末操作部１５によりユーザからひび割れ情報の修正操作を受け付けたか否かを判定し（ステップＳ３２）、修正操作を受け付けた場合（ステップＳ３２でＹＥＳの場合）、ユーザ端末１０の端末送信部１２により、ユーザの修正操作に対応したひび割れ情報の修正要求をサーバ装置２０に対して送信する（ステップＳ３４）。修正要求は、サーバ装置２０の受信部２２により受信され、データベース５０に登録される（ステップＳ３６）。

また、ユーザは、端末表示部１４の表示を見て、ひび割れ程度の評価区分を示すランク情報を端末操作部１５により入力することができる。

図１２は、ひび割れの進行モデルの一例を模式的に示す図である。この進行モデルでは、ランク情報が「ＲＡＮＫ１」〜「ＲＡＮＫ５」の五段階で表される。各ランク情報とひび割れ状態との対応関係は次の通りである。

ＲＡＮＫ１：損傷なし。

ＲＡＮＫ２：横方向（車輌の通行方向に直交する短手方向）に沿って複数のひび割れが並列に発生した状態である。乾燥収縮による複数のひび割れが並列の梁状になる段階である。

ＲＡＮＫ３：縦方向（車輌の通行方向に平行な長手方向）のひび割れ及び横方向のひび割れが互いに交差した状態である。活荷重により複数のひび割れが格子状になり、その格子状の領域のひび割れ密度が増加する段階である。後半時期には、ひび割れが床版の上下方向（床版下面に直交する垂直方向）で貫通する。

ＲＡＮＫ４：格子状の領域のひび割れ密度が規定値を超え、貫通した複数のひび割れの破面同士が平滑化された状態である。摺り磨き作用により床版がせん断抵抗を失う段階である。

ＲＡＮＫ５：抜け落ちが生じた状態である。低下した押抜きせん断強度を超える輪荷重により抜け落ちが生じる。

次に、サーバ装置２０のひび割れ情報生成部３０により、受信された修正要求に基づいて、ひび割れ情報を修正する（ステップＳ３８）。ランク情報がユーザ端末１０で入力された場合には、そのランク情報をひび割れ情報に付加する。

次に、サーバ装置２０の送信部２４により、修正後のひび割れ情報をユーザ端末１０に対して送信する（ステップＳ４０）。修正後のひび割れ情報は、ユーザ端末１０の端末受信部１３により受信され、端末表示部１４に表示される（ステップＳ４２）。

次に、ユーザ端末１０の端末操作部１５によりユーザから帳票作成指示の入力を受け付けたか否かを判定し（ステップＳ４４）、帳票作成指示の入力を受け付けた場合（ステップＳ４４でＹＥＳの場合）、ユーザ端末１０の端末送信部１２により、帳票要求がサーバ装置２０に対して送信される（ステップＳ４６）。帳票要求は、サーバ装置２０の受信部２２により受信される（ステップＳ４８）。

次に、サーバ装置２０の帳票作成部４０により、橋梁の床版の点検結果を示す帳票（点検調書）を作成する（ステップＳ５０）。帳票は、橋梁の床版におけるひび割れ程度の評価区分を示すランク情報を含む。

次に、サーバ装置２０の送信部２４により、ユーザ端末１０に対して帳票を送信する（ステップＳ５２）。帳票は、ユーザ端末１０の端末受信部１３により受信され、端末表示部１４により帳票受信がユーザに対して報知される（ステップＳ５４）。帳票は、ユーザの操作に応じて、端末表示部１４に表示させることが可能であり、またネットワークＮＷに接続されたプリンタ（図示を省略）に印刷させることも可能である。

図１３は、帳票としての損傷図の一例を示す図である。この損傷図は、点検対象である橋梁の床版に生じた各損傷について、格間ごとに、損傷表示（ひび割れ表示、漏水表示、遊離石灰表示等）、部材名（「床版」等）、要素番号（Ｄｓ０２０１等）、損傷の種類（「ひび割れ」、「漏水」、「遊離石灰」等）、損傷程度の評価区分（ランク情報）が記載されたものである。尚、図１３では、図１２に示した五段階の評価区分（「ＲＡＮＫ１」〜「ＲＡＮＫ５」）を、アルファベットの「ａ」〜「ｅ」で表している。

＜第２の画像処理例＞
図１４は、第１実施形態における第２の画像処理例の流れを示すフローチャートである。

本例のステップＳ２〜Ｓ１６は、図８に示した第１の画像処理例と同様である。

本例では、合成前の各画像を画像解析してひび割れを検出し（ステップＳ２１８）、合成画像を生成する（ステップＳ２２０）。次に、機械学習部３２により、合成画像が不適切であるか否かを判断する（ステップＳ２２２）。機械学習部３２は、データベース５０に記憶された各種の情報に基づいて、合成画像が適切である事象及び合成画像が不適切である事象を学習しており、その学習結果に基づいて今回の合成画像が不適切であるか否かを判断することができる。機械学習部３２は、例えば、原画像（合成前の画像）間でひび割れ画像が繋がらない等の異常を検出する機能を学習結果として持つことが可能である。不適切であると判断された場合（ステップＳ２２２でＹＥＳの場合）、画像補正及び画像合成に関するパラメータを変更してステップＳ１６に戻り、適切であると判断された場合（ステップＳ２２２でＮＯの場合）、ステップＳ２４に進む。

ステップＳ２４〜Ｓ５４は、図８に示した第１の画像処理例と同様である。

＜第３の画像処理例＞
図１５は、第１実施形態における第３の画像処理例の流れを示すフローチャートである。

本例では、図１６に示すように点検現場でロボット装置７０に搭載された撮像装置６２により分割撮像して得られた複数の二視点画像がユーザ端末１０により入力され（ステップＳ３０６）、且つロボット装置７０の撮像装置制御に従った撮像装置制御情報がユーザ端末１０により入力される（ステップＳ３０８）。本例の撮像装置制御情報は、画像位置情報、距離情報、傾き角度情報及び回転角度情報を含む。

本例のロボット装置７０は、橋梁に懸垂した懸垂式ロボットであり、図１６ではその撮像に関する要部のみを示している。尚、懸垂式ロボットは、橋梁に懸垂する代わりに、橋梁上の走行体（車輌）に懸垂する方式のロボットでもよい。また、懸垂式ロボットの代わりに、ドローン（無人飛行体）等の無人飛行式ロボットを用いる場合にも本発明を適用可能である。

本例の撮像装置６２は、複眼式であり、二視点でそれぞれ構造物の被撮像面を撮像することにより、二視点画像（「立体視画像」ともいう）を取得する。ロボット装置７０は、二視点画像に対して画像処理を行うことにより、撮像装置６２から被撮像面内の各点までの距離を算出することができる。また、本例のロボット装置７０は、撮像装置６２の回動及び移動の制御を行う撮像装置制御機構７２を備える。撮像装置制御機構７２は、撮像装置６２を互いに直交するＸ方向、Ｙ方向及びＺ方向のそれぞれで移動可能なＸＹＺ移動機構と、撮像装置６２をパン方向Ｐ及びチルト方向Ｔのそれぞれで回動可能なパンチルト機構とを兼ねている。撮像装置制御機構７２により、構造物の被撮像面（表面）の基準点に対する撮像装置６２の位置を自在に設定することができる。つまり、複数回の分割撮像で得られる複数の画像のそれぞれの位置情報を自在に設定することができる。また、撮像装置制御機構７２により、撮像装置６２と構造物の被撮像面との距離、撮像装置６２の撮像方向と構造物の被撮像面との傾き角度、及び撮像装置６２の撮像方向と構造物の被撮像面との回転角度を、それぞれ自在に設定することができる。つまり、複数回の分割撮像で得られる複数の画像のそれぞれの距離情報、傾き角度情報、回転角度情報を自在に設定することができる。

ユーザ端末１０の端末入力部１１は、画像位置情報、距離情報、傾き角度情報及び回転角度情報を含む撮像装置制御情報を、複数の画像と共に、メモリカード等の記憶媒体、又はネットワークＮＷを介して、入力することができる。

ステップＳ１２〜Ｓ５４は、図８に示した第１の画像処理例と同様である。

尚、画像位置情報、距離情報、傾き角度情報及び回転角度情報等の画像合成又は画像補正に必要な全ての情報が、計測により正確に取得された場合には、適切な合成画像が生成されることになるので、ステップＳ２０（合成画像が不適切か否かの判定）を省略することができる。

＜第４の画像処理例＞
図１７は、第１実施形態における第４の画像処理例の流れを示すフローチャートである。

本例のステップＳ２、Ｓ４、Ｓ３０６〜Ｓ３０８、及びＳ１２〜Ｓ１６は、図１５に示した第３の画像処理例と同様である。第３の画像処理例と同様に、ロボット装置７０に搭載された複眼式の撮像装置６２により分割撮像して得られた複数の二視点画像が入力され（ステップＳ３０６）、且つロボット装置７０の撮像装置制御機構７２の撮像装置制御に従った撮像装置制御情報が入力される（ステップＳ３０８）。

ステップＳ２１８〜Ｓ２２２は、図１４に示した第２の画像処理例と同様である。つまり、ステップＳ２１８で合成前の画像を解析してひび割れを検出した後、ステップＳ２２０で合成画像の生成及び登録を行い、ステップＳ２２２で合成画像が不適切であるか否か判定する。ステップＳ２２２は、第３の画像処理例のＳ２０と同様、省略することができる。

ステップＳ２４〜Ｓ５４は、第１の画像処理例と同様である。

尚、人が撮像装置を操作して構造物を撮像した場合の画像処理例（第１の画像処理例及び第２の画像処理例）と、ロボット装置７０が撮像装置を制御して構造物を撮像した場合の画像処理例（第３の画像処理例及び第４の画像処理例）とを、便宜上、別々に説明したが、本発明は、いずれか一方の場合に閉じた構成で実施される場合には限定されず、むしろ両方の場合を含むオープンな構成で実施されることが、好ましい。即ち、本例のサーバ装置２０は、人が撮像装置を操作した場合の画像、画像の合成及び補正に必要な情報（画像位置情報を含む）、操作履歴等をデータベース５０に記憶させるだけでなく、ロボット装置７０が撮像装置を制御した場合の画像、撮像装置制御情報（画像位置情報を含む）、操作履歴等をデータベース５０に記憶させて、両方の場合について機械学習を行う。これにより、人が撮像装置を操作して構造物を撮像した場合でも、ロボット装置７０が撮像装置を制御した場合の画像処理の機械学習結果に基づいて、クローズした構成よりも適切な合成画像を生成することが可能になる。

［第２の実施形態］
図１８は、第２の実施形態における画像処理システムの構成例を示すブロック図である。本図のユーザ端末１０は第１実施形態と同じである。本図のサーバ装置２００は、図２に示した第１の実施形態のサーバ装置２０に対して、ひび割れの進行を予測する予測部４４を追加した構成である。

予測部４４は、データベース５０に記憶された橋梁に関する各種情報と、ひび割れ情報生成部３０によって生成されたひび割れ情報とに基づいて、橋梁のひび割れの進行を予測する。送信部２４は、ひび割れの進行の予測結果をユーザ端末１０に送信する。

本例のデータベース５０は、橋梁の構造情報、橋梁の環境条件情報、橋梁の使用条件情報、橋梁の維持管理履歴情報、及び橋梁の災害履歴情報を記憶する。本例の予測部４４は、橋梁の構造情報、橋梁の環境条件情報、橋梁の使用条件情報、橋梁の維持管理履歴情報、及び橋梁の災害履歴情報のうち少なくとも一つの情報と、橋梁のひび割れ情報とに基づいて、橋梁におけるひび割れの進行を予測する。

ランク情報は、例えば橋梁の点検部位（例えば床版の格間）ごとの評価区分である。ランク情報は、橋梁の健全性を段階的又は数値的に表した「健全度」を含んでもよい。

橋梁の構造情報は、橋梁全体のうち少なくとも評価対象である床版及びその周辺の部材を含む部分の構造を示す。例えば、構造形式、構造的特徴が挙げられる。荷重と床版との関係、地震の震動と床版との関係、雨水と床版との関係、温度と床版との関係等、床版のひび割れの進行に関連する構造上の情報を含む。アルカリ骨材反応を生じ易い材料を使用しているか否か等の化学的な情報でもよい。ひび割れが発生し易い部分を直接的に表した情報でもよい。

橋梁の環境条件情報は、例えば塩分が飛来するか否か等の立地条件が挙げられる。

橋梁の使用条件情報は、例えば、車輌の交通量、大型車混入率が挙げられる。

橋梁の維持管理履歴情報は、例えば凍結防止剤の散布履歴情報が挙げられる。補修及び補強の履歴情報を含んでもよい。

橋梁の災害履歴情報は、橋梁が受けた台風、地震等の災害の履歴情報である。

本例のデータベース５０は、更に、橋梁のひび割れ程度の評価区分を示すランク情報を、橋梁の合成画像及びひび割れ情報と関連付けて、記憶する。本例の予測部４４は、ひび割れ評価部３６で評価された橋梁のランク情報が未来どのように変化するかを予測するシミュレーション処理を実行する。

また、予測部４４により、過去から現在までどのように変化したかをシミュレーションしてもよい。ひび割れ情報生成部３０により、過去から現在までのシミュレーション結果と現在の画像（合成画像又は合成前の画像）とに基づいて、ひび割れ情報を生成することで、ひび割れ情報の精度を更に向上させることができる。

本例の機械学習部３２は、操作履歴、画像（合成画像又は合成前の画像）、及びひび割れ情報のほかに、予測部４４の予測結果にも基づいて、ひび割れ検出を機械学習することが可能である。機械学習部３２は、更に、橋梁の構造情報、橋梁の環境条件情報、橋梁の使用条件情報、橋梁の維持管理履歴情報、及び橋梁の災害履歴情報のうち少なくとも一つの情報にも基づいて、ひび割れ検出を学習することが、好ましい。

［ベクトル化］
ひび割れ画像のベクトル化について、図１９〜図２２を用いて説明する。

サーバ装置２０のひび割れ情報生成部３０は、合成画像又は合成前の画像から抽出したひび割れの部分をベクトル化して、ひび割れのベクトルデータ（以下「ひび割れベクトル」又は単に「ベクトル」という）を生成する。つまり、ひび割れ情報生成部３０は、ひび割れ部分をベクトル化する。サーバ装置２０の送信部２４は、ベクトル化されたひび割れ画像であるひび割れベクトルを含むひび割れ情報を、合成画像と共に、ユーザ端末１０に送信する。ユーザ端末１０の端末表示部１４には、ベクトル化されたひび割れ画像が合成画像に重ね合されて表示される。

ひび割れ情報生成部３０は、ベクトル化に際して、検出されたひび割れを必要に応じ２値化及び／または細線化する。「ベクトル化」とは、ひび割れに対し始点及び終点で定まる線分を求めることであり、ひび割れが曲線状の場合、曲線と線分の距離が閾値以下になるようにひび割れを複数の区間に分割し、複数の区間のそれぞれについてひび割れベクトルを生成する。

ひび割れベクトルの生成に際しては、例えば床版２の特徴点を座標系の原点とし、ひび割れベクトルのグループ（ベクトルグループ）について、原点からの距離が最小になる端点を第１の始点とし、以下ひび割れベクトルの走行方向に沿って順次終点、始点を決定することができる。図１９の例では、床版２上の点Ｐ０を座標系の原点、図の右方向及び下方向をそれぞれ座標系のＸ軸方向、Ｙ軸方向としたときに、ベクトルグループＣ７の点Ｐ１３，Ｐ１４，Ｐ１５，Ｐ１６のうち点Ｐ０からの距離ｄが最も短くなる点Ｐ１３をひび割れベクトルＣ７−１の始点とし、以下、点Ｐ１４をひび割れベクトルＣ７−１の終点（かつひび割れベクトルＣ７−２，Ｃ７−３の始点）、点Ｐ１５，Ｐ１６をそれぞれひび割れベクトルＣ７−２，Ｃ７−３の終点とすることができる。

しかしながら、同様の手法でベクトルグループＣ８の始点を決定すると、点Ｐ１７がひび割れベクトルＣ８−１の始点、点Ｐ１８がひび割れベクトルＣ８−２，Ｃ８−３の始点となり、ひび割れベクトルＣ８−３の走行方向（点Ｐ１８から点Ｐ２０へ向かう方向）がひび割れベクトルＣ８−１の走行方向と逆行してしまう。そこでこのような場合は、図２０に示すように点Ｐ１９をひび割れベクトルＣ８Ａ−１の始点とし、以下、点Ｐ１８をひび割れベクトルＣ８Ａ−１の終点（かつひび割れベクトルＣ８Ａ−２，Ｃ８Ａ−３の始点）、点Ｐ１７，Ｐ２０をそれぞれひび割れベクトルＣ８Ａ−２，Ｃ８Ａ−３の終点とするようにしてもよい。なおこの場合のひび割れベクトルの集合体をベクトルグループＣ８Ａと表記する。

上述のようにしてひび割れベクトルを生成する場合、ひび割れが床版２の内部では連続しているが表面では分離していると、分離したひび割れベクトルとして認識されてしまう可能性がある。そこで、複数のひび割れベクトルを連結して１または複数のベクトルを生成する。

図２１はひび割れベクトルの連結の例を示す図であり、ひび割れベクトルＣ３−１（点Ｐ２１、点Ｐ２２がそれぞれ始点、終点）を含むベクトルグループＣ３と、ひび割れベクトルＣ４−１（点Ｐ２３、点Ｐ２４がそれぞれ始点、終点）を含むベクトルグループＣ４とが抽出された状況を示している。また、ひび割れベクトルＣ３−１が点Ｐ２２及び点Ｐ２３を結ぶ線分となす角をα１とし、点Ｐ２２及び点Ｐ２３を結ぶ線分がひび割れベクトルＣ４−１となす角をα２とする。このとき、角α１及び角α２が共に閾値以下ならば、ひび割れベクトルＣ３−１及びＣ４−１を連結し、またベクトルグループＣ３及びＣ４を融合させる。具体的には、図２２に示すように新たなひび割れベクトルＣ５−２を生成してその他のひび割れベクトルＣ５−１（ひび割れベクトルＣ３−１と同一）及びＣ５−３（ひび割れベクトルＣ４−１と同一）と連結させ、これらひび割れベクトルＣ５−１，Ｃ５−２，及びＣ５−３を含む新たなベクトルグループをベクトルグループＣ５とする。このように、空間的に（床版２の表面で）分離したベクトルを適宜連結させることにより、ベクトル同士の連結関係を正確に把握することができる。

尚、上述のベクトル連結は一例であり、他の方法を用いてもよい。

また、ひび割れ情報生成部３０は、複数のベクトル同士の相対角度を算出する。つまり、一のベクトルと他のベクトルとが成す角度を算出する。

また、ひび割れ情報生成部３０は、ひび割れベクトルの階層構造を示す階層構造情報を生成する。階層構造情報は、ベクトル同士の連結関係を階層的に表現した情報である。階層構造情報は、複数のベクトルによって構成されるベクトルグループのうちで各ベクトルがどの階層に属するかを示す階層識別情報（「所属階層情報」ともいう）を含む。階層識別情報は、例えば、数字で表現された階層番号を用いることができる。数字以外のコード（例えば英字、記号）で表現してもよい。

図２３は、ベクトルグループＣ１を示す図である。ベクトルグループＣ１は、ひび割れベクトルＣ１−１〜Ｃ１−６により構成されており、これらひび割れベクトルは点Ｐ１〜Ｐ７を始点または終点としている。このような状況において、ひび割れベクトルが分岐する（あるひび割れベクトルの終点が他の複数のひび割れベクトルの始点となっている）ごとに階層が下位になるとしている。具体的にはひび割れベクトルＣ１−１の階層を最も上位の“レベル１”として、ひび割れベクトルＣ１−１の終点である点Ｐ２を始点とするひび割れベクトルＣ１−２及びＣ１−３の階層は、ひび割れベクトルＣ１−１よりも下位である“レベル２”とする。同様に、ひび割れベクトルＣ１−３の終点である点Ｐ４を始点とするひび割れベクトルＣ１−５及びＣ１−６の階層は、ひび割れベクトルＣ１−３よりも下位である“レベル３”とする。一方、ひび割れベクトルＣ１−２の終点である点Ｐ３はひび割れベクトルＣ１−４の始点であるが、点Ｐ３を始点とするひび割れベクトルはひび割れベクトルＣ１−４だけであり分岐はないので、ひび割れベクトルＣ１−４の階層はＣ１−２と同じ“レベル２”とする。このようにして決定した各ひび割れベクトルの階層は、階層構造情報に含まれる。

図２４は、ベクトルグループＣ１（ひび割れベクトル同士の連結関係は図２３に示すものと同一）を示す図である。本例では、連結するひび割れベクトルのうち他のひび割れベクトルとなす角度が閾値以下であるもの（木構造における「幹」に相当するひび割れベクトル）は同一の階層に属するものとしている。具体的には図２４の点線内（参照符号Ｌｖ１で示す範囲）に存在するひび割れベクトルＣ１−１，Ｃ１−２，及びＣ１−４は同一の階層である“レベル１”（最上位）とする。また、それ以外のひび割れベクトルＣ１−３，Ｃ１−５，及びＣ１−６については、ひび割れベクトルが分岐するごとに階層が下位になるとしており、ひび割れベクトルＣ１−３（木構造における「枝」に相当）を“レベル２”、ひび割れベクトルＣ１−５及びＣ１−６（木構造における「葉」に相当）を“レベル３”としている。このようにして決定した各ひび割れベクトルの階層及び種別（幹、枝、あるいは葉）は、階層構造情報に含まれる。

尚、図２３及び図２４を用いて説明した階層構造化は例であり、変形した方法あるいは異なる方法で階層構造化してよい。

更に、ひび割れ情報生成部３０は、ベクトルに各種の付加情報（属性情報）を付加する。例えば、各ひび割れの幅を示す情報（幅情報）を各ベクトルに付加する。

以上のように、サーバ装置２０のひび割れ情報生成部３０によってひび割れ画像のベクトル化及び階層構造化を行うので、生成されたひび割れベクトル及び階層構造情報を用いて各種の処理を効率良く且つ適切に行うことが可能になる。

例えば、ひび割れベクトル及び階層構造情報を用いて、画像補正を行うことが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、合成画像が不適切であるか否かを判定することが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、機械学習を行うことが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、ひび割れ程度の評価区分を判別することが可能になる。また、ひび割れベクトル及び階層構造情報を用いて、ひび割れの進行を予測することが可能になる。

［スケール画像例］
スケール画像生成部３４によって生成されるスケール画像の例を説明する。スケール画像生成部３４は、ひび割れ画像によって示されるひび割れの特徴量（例えばひび割れの幅）をユーザ端末１０の画面上で測定するための各種のスケール画像を生成する。スケール画像は、ひび割れ情報に付加される。

図２５は、スケール画像の表示例を示す図である。図示及び説明の便宜上、測定対象のひび割れを示すひび割れ画像ＣＲ１１（ＣＲ１１−１、ＣＲ１１−２、ＣＲ１１−３）を、拡大して示す。

スケール画像ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４は、構造物の測定面（本例では橋梁の床版である）に生じたひび割れの測定を行うための画像である。これらのスケール画像ＣＳ１〜ＣＳ４は、サーバ装置２０のスケール画像生成部３４により生成される。本例のスケール画像生成部３４は、ひび割れの長さを測定するための目盛りが付されたスケールを示すスケール画像ＣＳ１、ＣＳ２と、ひび割れの幅を測定するための線画及び数字が付されたスケールを示すスケール画像ＣＳ３、ＣＳ４を生成する。スケール画像ＣＳ１〜ＣＳ４は、撮像装置と測定面との距離、及び撮像装置の撮像方向に対する測定面の傾き角度に応じたスケールを示す。スケール画像生成部３４は、距離及び角度に応じて、スケールの種類、形状、大きさ等を異ならせる。本例のスケール画像生成部３４は、距離及び傾き角度に応じて、長さ測定用のスケール画像ＣＳ１、ＣＳ２の目盛りを異ならせ、幅測定用のスケール画像ＣＳ３、ＣＳ４の線画及び数字を異ならせている。

サーバ装置２０のひび割れ情報生成部３０は、スケール画像ＣＳ１〜ＣＳ４をひび割れ情報に付加する。サーバ装置２０の送信部２４は、スケール画像ＣＳ１〜ＣＳ４が付加されたひび割れ情報を、構造物の合成画像と共に、ユーザ端末１０に送信する。送信されたスケール画像付きのひび割れ情報及び合成画像は、ユーザ端末１０の端末受信部１３により受信される。

ユーザ端末１０の端末表示部１４における表示領域ＤＡは、構造物の合成画像及びスケール画像を表示する画像表示領域ＩＡと、その画像表示領域ＩＡに表示可能な種類のスケール画像（つまりユーザが選択可能なスケール画像）を表示するスケール画像選択領域ＳＡとを含む。スケール画像選択領域ＳＡには、スケール画像ＣＳ１〜ＣＳ４の他に、スケール画像の選択を確定するためのＯＫボタンＢＵ１、スケール画像の選択をキャンセルするためのキャンセルボタンＢＵ２、画像表示領域ＩＡに表示されたスケール画像を消去するための消去ボタンＢＵ３が表示されている。

端末操作部１５は、スケール画像選択領域ＳＡに表示されたスケール画像ＣＳ１〜ＣＳ４に対するユーザの選択操作を受け付ける。ユーザは、ボタン、マウス等を用いて選択操作を行う。スケール画像選択領域ＳＡに表示された複数のスケール画像ＣＳ１〜ＣＳ４のうちから、ユーザの選択操作に対応したスケール画像（本例ではＣＳ２及びＣＳ３）が画像表示領域ＩＡに表示される。

端末表示部１４は、画像表示領域ＩＡに、合成画像とスケール画像とを重ね合わせて表示する。合成画像におけるひび割れ画像の位置及び方向に応じて、スケール画像の位置及び方向が決まる。本例のひび割れ画像ＣＲ１１は、階層構造であって、親のひび割れ画像ＣＲ１１−１と、子のひび割れ画像ＣＲ１１−２及びＣＲ１１−３とを含む。長さ測定用のスケール画像ＣＳ２は、ひび割れ画像ＣＲ１１−２の方向に沿って、且つひび割れ画像ＣＲ１１−２の近傍の位置に、表示されている。幅測定用のスケール画像ＣＳ３は、ひび割れ画像ＣＲ１１−１の方向と直交した方向に沿って、且つひび割れ画像ＣＲ１１−１の幅に最も近い幅を有する線画（本例では１．４ｍｍの線画）がひび割れ画像ＣＲ１１−１に位置合わせされて、表示されている。

図示を省略したが、スケール画像を移動させるための移動ボタン、スケール画像を回転するための回転ボタン、スケール画像を拡大するための拡大ボタン、スケール画像を縮小するための縮小ボタン等もスケール画像選択領域ＳＡに表示させることが好ましい。マウスの移動操作により、スケール画像の移動、回転、拡大、縮小等を指示してもよい。

尚、画像表示領域ＩＡに二つのスケール画像ＣＳ２、ＣＳ３を表示させた場合を例示したが、画像表示領域ＩＡに表示させるスケール画像の数は限定されない。

以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。

１ 橋梁
２ 床版
３ 主桁
３Ａ 接合部
１０ ユーザ端末
１１ 端末入力部
１２ 端末送信部
１３ 端末受信部
１４ 端末表示部
１５ 端末操作部
１６ 端末制御部
１７ 端末記憶部
２０、２００ サーバ装置
２２ 受信部
２４ 送信部
２６ 合成画像生成部
２８ ひび割れ検出部
３０ ひび割れ情報生成部
３２ 機械学習部
３４ スケール画像生成部
３６ ひび割れ評価部
３８ ＣＡＤデータ取得部（データ変換部）
４０ 帳票作成部
４２ 記憶部
４４ 予測部
５０ データベース
６０、６２ 撮像装置
７０ ロボット装置
７２ 撮像装置制御機構
ＡＲ 選択領域
ＡＲ１、ＡＲ２ ひび割れ対象領域
ＢＲ１、ＢＲ２１、ＢＲ２２ バー
ＢＵ１ ＯＫボタン
ＢＵ２ キャンセルボタン
ＢＵ３ 消去ボタン
ＢＸ１、ＢＸ２、ＢＸ３ チェックボックス
Ｃ１、Ｃ３、Ｃ４、Ｃ５、Ｃ７、Ｃ８、Ｃ８Ａ ベクトルグループ
Ｃ１−１、Ｃ１−２、Ｃ１−３、Ｃ１−４、Ｃ１−５、Ｃ３−１、Ｃ４−１、Ｃ５−１、Ｃ５−２、Ｃ７−１、Ｃ７−２、Ｃ８−１、Ｃ８−２、Ｃ８−３、Ｃ８Ａ−１、Ｃ８Ａ−２ ベクトル
ＣＲ、ＣＲ１、ＣＲ２、ＣＲ３、ＣＲ４、ＣＲ１１、ＣＲ１１−１、ＣＲ１１−２、ＣＲ１１−３ ひび割れ画像
ＣＳ１、ＣＳ２、ＣＳ３、ＣＳ４ スケール画像
ＤＡ 表示領域
Ｇ１ 第１のグループ
Ｇ２ 第２のグループ
Ｇ３ 第３のグループ
ＨＧ１、ＨＧ２ 度数分布
ＩＡ 画像表示領域
ＩＭＧ１、ＩＭＧ２ 合成画像
ＮＷ ネットワーク
ＳＡ スケール画像選択領域
ＳＬ１、ＳＬ２ スライダ
ｄ 距離
α１、α２ 角

Claims (7)

1. 構造物の表面を示す複数の画像を、ユーザ端末から受信するステップと、
   前記受信された複数の画像を画像合成して前記構造物の表面を示す合成画像を生成するステップと、
   前記合成画像または合成前の前記画像を画像解析して前記構造物の表面のひび割れを検出するステップと、
   前記検出されたひび割れに対応するひび割れ画像と前記検出されたひび割れの特徴量とを示すひび割れ情報を生成するステップと、
   前記特徴量に基づいて前記ひび割れ画像をグルーピングするステップと、
   前記合成画像と前記ひび割れ情報とを前記ユーザ端末に送信して前記ユーザ端末の画面に前記合成画像と前記ひび割れ情報とを表示させるステップと、
   前記ひび割れ画像をグループ毎に異なる線種または色を用いて前記ユーザ端末の画面に表示させるステップと、
   を含む画像処理方法。
2. 前記ユーザ端末でのユーザ操作に応じた前記ひび割れ情報の修正要求を前記ユーザ端末から受信するステップと、
   前記受信した前記修正要求の履歴と、前記履歴に対応する前記合成画像及び前記ひび割れ情報と、に基づいて、前記ひび割れの検出を機械学習するステップと、
   を含む請求項１に記載の画像処理方法。
3. 前記特徴量は、前記ひび割れの方向、長さ、幅、エッジの強度、及びエッジの密度のうち少なくともいずれかを含む、請求項１または２のいずれかに記載の画像処理方法。
4. 構造物の表面を示す複数の画像を、ユーザ端末から受信する受信部と、
   前記受信された複数の画像を画像合成して前記構造物の表面を示す合成画像を生成する合成画像生成部と、
   前記合成画像または合成前の前記画像を画像解析して前記構造物の表面のひび割れを検出するひび割れ検出部と、
   前記検出されたひび割れに対応するひび割れ画像と前記検出されたひび割れの特徴量とを示すひび割れ情報を生成し、前記特徴量に基づいて前記ひび割れ画像をグルーピングするひび割れ情報生成部と、
   グループ毎に異なる線種または色を用いて表示されたひび割れ画像を含む前記ひび割れ情報と前記合成画像とを前記ユーザ端末に送信する送信部と、
   を備える画像処理装置。
5. 前記受信部は、前記ユーザ端末でのユーザ操作に応じた前記ひび割れ情報の修正要求を前記ユーザ端末から受信し、
   前記受信した前記修正要求の履歴と、前記履歴に対応する前記合成画像及び前記ひび割れ情報と、に基づいて、前記ひび割れの検出を機械学習する機械学習部を備える請求項４に記載の画像処理装置。
6. 前記特徴量は、前記ひび割れの方向、長さ、幅、エッジの強度、及びエッジの密度のうち少なくともいずれかを含む、請求項４または５のいずれかに記載の画像処理装置。
7. 請求項１に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。

Images