JP2022139903A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】進展している変状の領域を作業者が見落としてしまう可能性を少なくする。【解決手段】情報処理装置は、異なる時期に撮影した複数の画像の、それぞれの画像から抽出された変状データを取得し、それら異なる時期の画像間での変状データの差分を基に、進展している変状を検出する。さらに情報処理装置は、変状データの差分を基に、変状に対する優先度を算出するとともに、進展している変状を覆う領域を特定して、その特定された領域を、優先度に応じて表示する。【選択図】 図４

Description

本発明は、撮影された画像を基に構造物等の変状を検出する情報処理技術に関する。

画像を用いた橋梁やトンネル等のインフラ構造物の点検では、構造物壁面に生じるひび割れや鉄筋露出等の変状を検出するために、撮影した複数の高解像度画像を合成して、一枚の合成画像を生成する手法が採られている。また、構造物の部材の健全度を判断するために、異なる時期に構造物の壁面を撮影した画像から変状を検出し、変状がどれだけ進展（つまり経年変化）したかを把握することが求められている。この場合、例えば、検出した変状同士の差分を求めることにより、個々の変状の進展度が算出される。
また、特許文献１には、撮影時期が異なる画像を入力とし、変状同士の位置ズレを補正した後に、進展している変状の算出を行う技術が開示されている。

特開２０１９－２０２２０号公報

ところで、特許文献１に示されるような技術を用いて、進展している変状を算出することができても、上述したような複数の高解像度画像を合成した画像では、多くの進展している変状を含む領域が算出されることがある。この場合、点検を行う作業者は、それら多数の進展している領域を確認することになるため、確認するべき変状の領域を見落としてしまう虞がある。

そこで本発明は、確認すべき変状を作業者が見落としてしまう可能性を少なくすることを目的とする。

本発明の情報処理装置は、異なる時期に撮影した複数の画像の、それぞれの画像から抽出された変状データを取得する取得手段と、前記異なる時期の画像間での前記変状データの差分を基に、進展している変状を検出する検出手段と、前記変状データの差分を基に、前記変状に対する優先度を算出する算出手段と、前記進展している変状を覆う領域を特定する特定手段と、前記特定された領域を、前記優先度に応じて表示する表示手段と、を有することを特徴とする。

本発明によれば、確認すべき変状を作業者が見落としてしまう可能性が少なくなる。

情報処理装置のハードウェア構成の一例を示す図である。 図面と検査対象画像の関係の一例を示す図である。 検出した変状のリストの一例を示す図である。 第１の実施形態に係る情報処理のフローチャートである。 進展している変状のリストの一例を示す図である。 優先度算出処理のフローチャートである。 領域特定処理のフローチャートである。 領域の特定の一例を示す図である。 領域の特定テーブルの一例を示す図である。 優先度変更に関わるＵＩ画面の一例を示す図である。 領域選択に関わるＵＩ画面の一例を示す図である。 進展度合い（進展率）による優先度算出の一例を示す図である。 第２の実施形態のシステム構成例を示す図である。 第２の実施形態のサーバ装置の情報処理フローチャートである。 第２の実施形態のクライアント端末の情報処理フローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。
以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成については同じ符号を付して説明する。

＜第１の実施形態＞
図１は、本実施形態に係る情報処理装置１００の概略構成例を示したブロック図である。
情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、操作部１０６と、通信部１０７とを有している。
ＣＰＵ１０１は、中央演算装置(Central Processing Unit)であり、各種処理のための演算や論理判断等を行い、システムバス１１０に接続された各構成要素を制御する。ＲＯＭ(Read-Only Memory)１０２は、プログラムメモリであって、ＣＰＵ１０１が実行する制御手順や情報処理手順を含むプログラムを格納する。ＲＯＭ１０２に格納されているプログラムには、後述する本実施形態に係る各種情報処理手順のプログラムが含まれる。ＲＡＭ(Random Access Memory)１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、情報処理装置１００に接続された外部記憶装置等からＲＡＭ１０３にプログラムをロードすることで、プログラムメモリが実現されても構わない。

ＨＤＤ１０４は、本実施形態に係る画像データ等の電子データやプログラムを記憶しておくためのハードディスクを備えたデバイスである。同様の役割を果たすものとして、外部記憶装置が用いられてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。

表示部１０５は、例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ）等を備えており、画像やＧＵＩ（Graphical User Interface）を生成して、それらディスプレイの画面上に表示させる。なお、表示部１０５は、情報処理装置１００と有線あるいは無線で接続された外部デバイスに含まれていてもよい。
操作部１０６は、キーボードやマウスを有し、ユーザ、例えば後述する変状調査点検を行う作業者等による各種操作を受け付ける。
通信部１０７は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。

本実施形態の情報処理装置１００は、橋梁やトンネル等のインフラ構造物を撮影した高解像度画像から、それらインフラ構造物に生じたひび割れや鉄筋露出等の変状を検出し、その変状がどれだけ進展したかの経年変化を判定する。さらに本実施形態の情報処理装置１００は、進展している変状の重要性により優先度を算出し、その優先度に応じて、進展している変状の領域に対する表示方法を変更する。すなわち、本実施形態の情報処理装置１００は、異なる時期に撮影した複数の画像から抽出された変状のデータを取得し、それら異なる時期の画像から抽出した変状データの差分を算出し、その差分を基に、進展している変状を検出する。そして、本実施形態の情報処理装置１００は、変状データの差分に基づいて、変状に対する優先度を算出し、さらに、進展している変状を覆う領域を特定して、その特定された領域を、優先度に応じて表示する。

ここで、本実施形態の情報処理装置１００について詳細な説明を行うにあたり、画像と変状を表す変状データとの関係、およびインフラ構造物等に関する構造情報について説明する。また、画像を用いた点検において、構造物壁面等を撮影した画像は、図面と対応付けて管理することが好ましい。

図２（ａ）は、インフラ構造物の一例として、橋梁の壁面を撮影した画像２１１を、図面２００の画像上へ張り付けた状態を示した図である。図面２００の画像は、点２０２を原点とした図面座標２０１を持つ。画像の図面上の位置は、画像左上の頂点座標で定義される。例えば画像２１１の座標は、頂点２１２の位置（Ｘ₂₁₂，Ｙ₂₁₂）である。図面２００の画像データと画像２１１のデータとは、それぞれの座標情報とともに、記憶部であるＲＡＭ１０３やＨＤＤ１０４に記憶されている。

本実施形態において、インフラ構造物の画像点検で使用する画像は、微細なひび割れなどを確認できるように、例えば１画素あたりで構造物上の１ｍｍに対応するような、高解像度で撮影がなされたものであるため、サイズが大きい。例えば、図２（ａ）の画像２１１は、２０ｍ×１０ｍの橋梁の床板を撮影した画像であるとする。画像解像度が１画素あたり１．０ｍｍ（１．０ｍｍ／ｐｉｘｅｌ）の場合、画像２１１の画像サイズは、２０，０００ｐｉｘｅｌ×１０，０００ｐｉｘｅｌとなる。なお、高解像度で撮影した画像２１１には、例えば１０００箇所以上の多数のひび割れや鉄筋露出等の変状が存在した場合、それらすべての変状を紙面上で表現することは困難であるため、図２の紙面に表示している変状は一部に限定されている。以降の説明で広範囲の画像や変状データを表示している図においても、紙面上に表示している変状は一部に限定している。

変状データは、撮影された画像から、コンクリート壁面に生じるひび割れ等の変状を画像解析処理によって検出（抽出）した変状自動検出結果の情報、または撮影された画像から、人間が変状と判断して入力した結果を記録した情報である。本実施形態の情報処理装置１００は、このようにして撮影画像から抽出された変状データを取得する。本実施形態を説明するにあたり、入力画像および変状データは、図面座標に対応付けて管理されているものとする。

図２（ｂ）には、画像２１１に対応する変状データ２２１を、図面２００の画像上で、図２（ａ）の画像２１１と同じ位置に張り付けた状態を示している。なお、変状データ２２１には、紙面に表示されない変状も含め多数（例えば１０００以上）の変状が存在している。変状データ２２１中の個々の変状データの図面上の位置は、変状データを構成する画素座標で定義される。

図３（ａ）は、変状データのデータ構造を表す変状データテーブル３０１の一例を示した図である。なお、図３（ｂ）に示す変状データテーブル３０２の説明は後述する。
変状データテーブル３０１は、変状ＩＤ、変状種別、座標、線幅、幅最大値、線長、および面積の各項目によって構成されている。変状ＩＤは検出された変状の識別情報（ＩＤ）を表し、変状種別はひび割れや鉄筋露出といった変状の種別を表している。座標は変状データを構成する複数の座標情報を表している。線幅は変状種別がひび割れの場合、その座標における変状の幅を表す属性値である。幅最大値は変状種別がひび割れの場合、線幅の数値の最大値を表し、線長はひび割れの長さの合計値を表している。面積は変状種別が鉄筋露出のように領域を示す変状の場合、その領域の面積を表している。例えば、変状ＩＤＣａ００１は、変状種別がひび割れであり、座標が（Ｘｃａ００１＿１、Ｙｃａ００１＿１）から（Ｘｃａ００１＿ｎ、Ｙｃａ００１＿ｎ）のｎ点からなる連続画素で表されていることが示されている。

このように、本実施形態において、変状データは画素で表現されているものとする。変状データの表現は、複数点から構成されるポリラインや曲線等のベクターデータで表現するようにしてもよい。変状データをベクターデータで表現する場合、データ容量が減少し、より簡略的な表現となる。ひび割れ以外の領域形状の変状データの例として、変状ＩＤＴａ００１は、変状種別が鉄筋露出である。鉄筋露出のような領域形状を座標情報で表現する場合、ポリラインで囲まれた領域を持つ変状となる。なお、変状データの持つ情報は、変状データテーブル３０１に示す情報に限定されるものではなく、その他の属性の情報を保持していてもよい。

その他の属性の情報としては、検査対象の構造に係る構造情報が用いられてもよく、これは構造物の種別や基本構造、構造物の各種寸法、部材情報、竣工年度をはじめとする諸元を含む情報である。さらに、他の属性の情報として、補修年度や補修箇所、補修方式といった保守メンテナンスに係る補修実績の情報が含まれていてもよい。本実施形態において、部材情報や補修情報といった構造物の特定位置に関する構造情報は、図面上における位置情報とともに記憶されているものとする。すなわち、各部材の図面上の位置や補修箇所の図面上の位置が構造情報の一部として記憶される。したがって、図面を介して、構造情報と画像および変状データとの対応関係を求めることができる。構造情報は、画像や変状データとともに、記憶部であるＲＡＭ１０３やＨＤＤ１０４に格納され、取得することができる。なお、構造情報に含まれる情報は、上記の情報に限定されるものではなく、さらにその他の情報が保持されていてもよい。また、構造物の種別に応じて、種別ごとに限定された情報が保持されていてもよい。

図４は、本実施形態における情報処理装置１００に係る情報処理である経年変化優先表示処理の流れを表すメインフローチャートである。本実施形態の情報処理装置１００は、異なる時期に撮影した二つの画像（第１の入力画像と第２の入力画像とする）を用いて、構造物の壁面に生じる変状の進展度を算出する。第２の入力画像を撮影した時期は、第１の入力画像を撮影した時期から、数年（例えば５年）経過した時期であるとする。以下、図４の各工程（ステップ）は、それらの符号の先頭には「Ｓ」を付与して説明することとする。

Ｓ４０１において、ＣＰＵ１０１は、記憶部に格納されている変状データの中から、第１の入力画像に対応した変状データ（第１の変状データとする）を取得する。第１の変状データは、図３（ａ）に示した変状データテーブル３０１から取得されるデータであるとする。なおここでは、変状データとしてひび割れデータを例に挙げて説明する。ひび割れデータは、例えば、画像上で人手によってひび割れをトレースして入力された情報、もしくは機械学習により予め学習させたモデルを用いて自動検出された情報であり、記憶部に格納されたデータであるとする。

Ｓ４０２において、ＣＰＵ１０１は、Ｓ４０１と同様にして、第２の入力画像に対応した変状データ（第２の変状データとする）を取得する。ここで、第２の入力画像に対応した変状データは、例えば図３（ｂ）に示した変状データテーブル３０２に記述されているとする。図３（ｂ）の変状データテーブル３０２は、前述した図３（ａ）の変状データテーブル３０１と同様のテーブルである。図３（ｂ）の変状データテーブル３０２は、変状データテーブル３０１と同様に、第２の入力画像から人手でトレースして入力された情報、もしくは機械学習による学習モデルを用いて自動検出されて、予め記憶部に格納されたデータであるとする。すなわちＣＰＵ１０１は、記憶部に格納されている変状データテーブル３０２から、第２の入力画像に対応した第２の変状データを取得する。

次にＳ４０３において、ＣＰＵ１０１は、第１の変状データと第２の変状データとから差分値を算出し、変状の進展度を示す情報として、図５で示す経年変化データテーブル５０１を作成する。

図５（ａ）は、第１の変状データと第２の変状データとから差分値を算出して得られる経年変化データテーブル５０１を表している。なお図５（ｂ）に示した経年変化データテーブル５０１の説明は後述する。
経年変化データテーブル５０１は、進展ＩＤ、対応ＩＤ、線長変化量、線幅変化量、面積変化量、交点変化量、接続ＩＤ、および優先度で構成されている。進展ＩＤは進展している変状のＩＤを表しており、対応ＩＤは比較対象の変状ＩＤを表しており、第１の変状データの変状ＩＤと第２の変状データの変状ＩＤとが記載される。第１の変状データと第２の変状データとの対応付けについては、既存の技術を用いて行われてもよい。例えば、第１の入力画像と第２の入力画像のそれぞれから検出した変状の輪郭から重心および特徴量を算出し、その算出した特徴量間の距離を比較することで位置合わせが行われてもよい。線長変化量、線幅変化量、面積変化量および交点変化量は、それぞれの項目ごとに第１の変状データと第２の変状データとの間の差分値として記載される。具体的には線長変化量は、第１の変状データと第２の変状データとの対応ＩＤに記載の変状ＩＤの線長の差分として算出されている。同様に線幅変化量は、第１の変状データと第２の変状データとの線幅最大値の差分、面積変化量は第１の変状データと第２の変状データとの面積の差分として算出されている。交点変化量は第１の変状データにおける変状の交点の数と第２の変状データにおける変状の交点の数の差分から算出されている。接続ＩＤは、第１の変状データの変状に対し、新規に変状として検出された第２の変状データの変状ＩＤが記載されている。

次にＳ４０４において、ＣＰＵ１０１は、変状の進展の重要性に基づいて、作業者が確認すべき優先度を算出する処理を行い、その優先度を経年変化データテーブルの優先度の項目に記載する。この処理の詳細については、図６のフローチャートを用いて後述する。

次にＳ４０５において、ＣＰＵ１０１は、変状の進展を作業者が注目すべき箇所として表示する領域（注目領域とする）を特定する。この処理の詳細については、後に図７のフローチャートを用いて後述する。

次にＳ４０６において、ＣＰＵ１０１は、Ｓ４０５で特定した注目領域を、その領域内に含まれる変状に対して、Ｓ４０４で算出した優先度の順番に、表示部１０５に表示する。表示部１０５に表示した領域について作業者が確認を終わった後は、作業者によって、操作部１０６のマウスのクリックもしくはキーボードの特定のキーの押下することなどが行われる。これにより、ＣＰＵ１０１は、作業者が確認を終わったことを認識する。そして、ＣＰＵ１０１は、表示部１０５に対し、現在表示している領域に対する次の優先度の領域を対象として、表示する。

図６は、図４のＳ４０４における優先度算出処理の詳細な流れを表すフローチャートである。
Ｓ６０１において、ＣＰＵ１０１は、経年変化データテーブル５０１の進展ＩＤ順に処理を行い、処理対象の進展ＩＤの変状の種別を判定する。すなわち、優先度算出処理では、変状の種別によって優先度の算出基準が異なり、このためＣＰＵ１０１は、まずＳ６０１において処理対象の進展ＩＤの変状の種別を判定する。ここで、ＣＰＵ１０１は、処理対象の進展ＩＤの変状の種別がひび割れかどうかを判定するものとする。そして、ＣＰＵ１０１は、変状種別がひび割れである場合（Ｙｅｓ）にはＳ６０２に処理を移行し、ひび割れでない場合（Ｎｏ）にはＳ６０５に処理を移行する。

Ｓ６０２に移行すると、ＣＰＵ１０１は、経年変化データテーブル５０１の対象の進展ＩＤの線長変化量の値に係数Ａを乗算する。本実施形態では、係数Ａを２０とする。経年変化データテーブル５０１の場合、ＣＰＵ１０１は、進展ＩＤがＣ００１＿Ｄの線長変化量の０．３を乗算して、乗算値として６を算出する。

次にＳ６０３において、ＣＰＵ１０１は、経年変化データテーブル５０１の対象の進展ＩＤの線幅変化量の値に係数Ｂを乗算する。本実施形態では、係数Ｂを１０とする。テーブル５０１の場合、ＣＰＵ１０１は、進展ＩＤがＣ００１＿Ｄの線幅変化量の０．３を乗算して、乗算値として３を算出する。

次にＳ６０４において、ＣＰＵ１０１は、経年変化データテーブル５０１の対象の進展ＩＤの交点変化量の値に係数Ｃを乗算する。本実施形態では、係数Ｃを１とする。テーブル５０１の場合、ＣＰＵ１０１は、進展ＩＤがＣ００１＿Ｄの交点変化量の０を乗算して、乗算値として０を算出する。Ｓ６０４の後、ＣＰＵ１０１はＳ６０６の処理に移行する。

一方、Ｓ６０５に移行した場合、ＣＰＵ１０１は、経年変化データテーブル５０１の対象の進展ＩＤの面積変化量の値に係数Ｄを乗算する。本実施形態では、係数Ｄを１００とする。テーブル５０１の場合、ＣＰＵ１０１は、進展ＩＤがＴ００１＿Ｄの面積変化量の０．０５を乗算して、乗算値として５を算出する。Ｓ６０５の後、ＣＰＵ１０１はＳ６０６の処理に移行する。

なお、係数Ａから係数Ｄの値は、優先度が線長変化量＞線幅変化量＞面積変化量＞交点変化量となるように重みが付くように構成されており、係数Ａが２０、係数Ｂが１０、係数Ｃが１、係数Ｄが１００で設定された一例である。これらは経年変化データテーブル５０１の値によって変更してもよく、例えばｍ（メートル）やｍｍ（ミリメートル）などの単位により正規化し、係数値が設定されてもよい。

次にＳ６０６において、ＣＰＵ１０１は、Ｓ６０２からＳ６０４まで、もしくはＳ６０５で乗算した値を積算し、図５（ｂ）で示すように、経年変化データテーブル５０１の優先度の項目に記載する。

その後、Ｓ６０７において、ＣＰＵ１０１は、全ての進展ＩＤに対して処理が終了しているかどうかを判定する。そして、ＣＰＵ１０１は、全ての進展ＩＤに対し処理が終了している場合（Ｙｅｓ）には図６のフローチャートの処理を終了し、未処理の進展ＩＤがある場合（Ｎｏ）には未処理の進展ＩＤを処理対象のＩＤとして、Ｓ６０１に移行する。

図７は、図４のＳ４０５における注目領域特定処理の詳細な流れを表すフローチャートである。
Ｓ７０１において、ＣＰＵ１０１は、情報処理装置１００の表示部１０５のディスプレイの表示解像度の情報を所得する。ここでは、液晶ディスプレイを例に挙げ、その表示解像度がフルＨＤであるとする。フルＨＤの表示解像度は１９２０×１０８０であるとする。

Ｓ７０２において、ＣＰＵ１０１は、図３（ｂ）に示した第２の変状データテーブル３０２から、処理対象の変状ＩＤにおける変状データの座標情報を取得し、中心の座標を算出する。算出方法としては、例えば、変状データテーブルの座標から水平方向のＸ座標の最大値と最小値、および垂直方向のＹ座標の最大値と最小値の平均値を、中心座標（Ｘｍ，Ｙｍ）とするような方法を用いることができる。

Ｓ７０２の処理について、図８（ａ）～図８（ｉ）を用いて補足説明を行う。
図８（ａ）は、進展変状重畳画像８００とひび割れ８０１の一例を表した図である。
進展変状重畳画像８００は、第２の入力画像に対し、変状検出したひび割れを重畳表示している画像の例である。図の例では、ひび割れ８０１は、実線部分と点線部分で構成されており、実線部分は第１の変状データから得られたひび割れを表しており、点線部分は第２の変状データから得られたひび割れ、つまり経年変化で進展している部分を表している。なお、説明の都合上、既存部分を実線、進展部分を点線で表現しているが、別の方法として、進展部分の色を変えたり、線を太らせたりするなど強調する表示をしてもよい。

図８（ｂ）は、ひび割れ８０１に対する中心８１２を表している図であり、中心８１２の座標は（Ｘｍ，Ｙｍ）である。なおこの例では、中心８１２として平均値を算出しているが、重心値を算出する方法であってもよく、他の方法でもよい。

次にＳ７０３において、ＣＰＵ１０１は、Ｓ７０２で算出した中心８１２の座標（中心座標）と、Ｓ７０１で取得した表示解像度とに基づいて、変状を覆う矩形の領域を設定し、後述する図９（ａ）に一例を示す領域テーブルに、その矩形領域の情報を保存する。例えばＳ７０１で取得した表示解像度が１９２０×１０８０であり、Ｓ７０２で取得した中心座標（Ｘｍ，Ｙｍ）であるとすると、矩形領域は、左上座標が（Ｘｍ－９６０，Ｙｍ－５４０）で右下の座標が（Ｘｍ＋９６０，Ｙｍ＋５４０）の領域で表される。

図９（ａ）は、領域テーブル９０１の一例を示した図である。
領域テーブルは、領域ＩＤ、進展ＩＤ、矩形座標、および優先度で構成されている。進展ＩＤと優先度は、図５の経年変化データテーブルの進展ＩＤと優先度を表しており、優先度順に領域ＩＤが付番されている。矩形座標は、前述した矩形領域の左上座標と右下座標を表している。

図８（ｃ）は、ひび割れ８０１の中心８１２から外枠８３１で表される矩形領域を算出した例を示した図である。
図９（ｂ）は、表示部１０５に表示する確認画面９５１の一例を示した図である。確認画面９５１は、進展変状重畳画像８００から矩形領域を切り出した画面である。
また、図８（ａ）のひび割れ８０２のように、中心座標が進展変状重畳画像８００の端部（上辺や下辺、左辺、右辺）に近く、表示解像度の矩形領域が確保できない場合がある。この場合には、図８（ｄ）のように画像外となる領域を黒色で塗りつぶした外枠８３２で示す矩形領域を生成してもよい。また、他の方法として、図８（ｅ）のように端部外が選択されないように外枠８３３で示す矩形領域を設定し、変状の中心座標が矩形領域の中心とならなくてもよい。

本実施形態では、表示画面に対し領域を等倍で表示する例を挙げているが、作業者が、進展している変状を確認できるのであれ等倍に限らず、作業者が倍率を設定できてもよい。例えば、図８（ｆ）の例で示すように、進展している部分を含むひび割れ８０３が外枠８３５の矩形領域に収まらない場合は、図８（ｇ）の例で示すように変状全体が矩形領域内に内包するように表示倍率を変更してもよい。この際、ズームボタン８７１で示すようなユーザーインターフェース（ＵＩ）を用いることで、作業者が変状を確認可能な表示倍率へ変更可能となされていてもよい。また、図８（ｈ）の例で示すように、ひび割れ８０３を例えば９０度のように任意の角度だけ回転させることにより、ひび割れ８０３全体を矩形領域内に等倍で表示するように変更してもよい。また、図８（ｉ）の例のように、ひび割れ８０３の進展している部分を矩形領域内に等倍で表示するように、表示する位置を上下方向に変更させてもよい。

次にＳ７０４において、ＣＰＵ１０１は、処理対象の全ＩＤの処理が終了しているかどうかを判定する。ＣＰＵ１０１は、全てのＩＤの処理が終了している場合（Ｙｅｓ）には図７のフローチャートの処理を終了し、処理すべき他のＩＤが残っている場合（Ｎｏ）にはＳ７０２に処理を戻して次のＩＤに処理対象を変更する。

以上説明したように、本実施形態において、情報処理装置１００は、時期の異なる二つの画像から検出された変状について進展度を算出するとともに、表示解像度に基づいて変状を覆う領域を特定し、進展度に応じて変状の領域を表示する。これにより、本実施形態の情報処理装置１００によれば、多数の変状の中から、進展度が高く優先的に確認すべき変状を、その進展度に応じて、作業者が確認可能な解像度で表示することができる。

なお、本実施形態では、第１の入力画像の変状データを取得するＳ４０１の処理は、過去に検出した変状のデータを用いる処理の例であるが、例えば新たに設けた現在の基準を用いて変状データを再度検出してもよい。例えば、過去の処理データである第１の変状データを生成した時より、変状を検出する処理アルゴリズムの性能が上がり、過去の第１の変状データより多くの変状を検出可能になることがある。このような場合、新たな処理アルゴリズムを用いて変状データの検出を行えば、第１の入力画像を撮影した当時は検出できなかった変状と現在の第２の変状とを比較することが可能となり、進展している変状をより正確に把握することが可能となる。また同様に、第２の入力画像の変状データを取得するＳ４０２の処理においても、予め検出済みの変状データを入力データとして使用してもよい。

また、本実施形態では、第１の入力画像と第２の入力画像とはそれぞれ図面上で位置を合わせた画像であり、画像間の位置合わせ処理は不要であるため、単純に差分を算出することで経年変化のデータを作成することができる。一方で例えば、第１の入力画像と第２の入力画像において位置が合っていない場合には、それら画像間の位置合わせ処理を行ってから、それら画像間で差分を算出して、経年変化データを作成してもよい。この例の場合の位置合わせ処理は、既存の技術が用いられてもよい。例えば、情報処理装置がそれぞれの画像から特徴点を算出し、対応する特徴点を基に位置を合わせてもよく、例えば作業者が手動で画像間の対応点を指定して位置合わせを行ってもよい。

また、本実施形態では、第１の変状データと第２の変状データとの間の差分を基に進展度を算出しているが、情報処理装置はさらに時期の異なる第３の変状データをも用いて差分を求めて進展度を算出してもよい。三つ以上の変状データの差分を用いることにより、加速度的な進展度を算出することが可能となる。また、加速度的な進展度の値を乗算する係数の値は変更されてもよい。例えば、進展している度合が大きい場合には、図６のフローチャートにおける、該当する係数の値を強く（大きく）して優先度を高くすることで、作業者が優先的に確認できるようになる。

また、本実施形態では、変状の進展度を基に優先度を算出する例を挙げているが、例えば、構造物の属性を表す情報をも用いて優先度が算出されてもよい。例えば、橋梁の床板であれば、橋脚に近い部分の領域と、橋脚と橋脚の中間部分の領域とでは、同じひび割れの進展度であっても、調査点検作業者が重視する項目が異なる。このため、情報処理装置は、構造物の属性を表す情報として、例えば橋脚に近い部分の領域、橋脚と橋脚の中間部分の領域の情報を用いて、優先度を算出する際の係数の値を変更する。同様に、橋脚の上部と下部とでも重視する項目は異なるため、情報処理装置は、それらを構造物の属性情報として用いて、優先度算出の係数の値を変更してもよい。

また、本実施形態では、時間が経過して変状が進展する例を挙げているが、第１の入力画像の撮影から第２の入力画像の撮影の間に変状が補修されている場合には、差分としてのひび割れの線が短くなる、もしくは面積が減少することがある。この場合は、差分量がマイナスとなるが、変状は進展していないため、差分量を０として表示対象から外してもよい。

なお本実施形態の説明では、情報処理装置１００のＣＰＵ１０１が実行する処理を、図４のフローチャートの各工程（ステップ）として表したが、それら各工程の各処理はＣＰＵ１０１により形成される各機能からなる機能ブロック図として表すこともできる。機能ブロックにおける各機能は図４の各工程と概ね同様になるためその図示および説明は省略する。

＜第１の実施形態の変形例１＞
第１の実施形態の優先度算出処理は、予め定められた係数を乗算することで優先度を算出している。第１の実施形態の変形例１では、点検調査作業者が優先度の算出基準（算出ルール）をＵＩで変更可能にすることにより、優先度を作業者に提示する順序を変更可能にする例を説明する。

図１０（ａ）は、ユーザである調査点検作業者に提示されるＵＩ画面１０００の一例を表した図である。ＵＩ画面１０００は、優先度を算出する際に重視する項目を作業者が選択可能にするものであり、ラジオボタン１０１０と、重視項目１０２１～重視項目１０２４とで構成されている。ラジオボタン１０１０は、重視項目１０２１～重視項目１０２４のいずれかを作業者が選択する際に指示されるボタンである。ラジオボタン１０１０で選択可能な重視項目１０２１～重視項目１０２４は、図６のフローチャートで説明した係数Ａ～係数Ｄに対応している。第１の実施形態の変形例１では、ラジオボタン１０１０で選択された重視項目の係数の値を相対的に高くし、選択されていない項目の係数を相対的に低くする。

以上が、第１の実施形態の変形例１における優先度算出基準（優先度算出ルール）を変更可能なＵＩ画面である。これにより、作業者は優先度算出ルールを変更することができ、作業者は重視したい項目を変更することができる。

＜第１の実施形態の変形例２＞
第１の実施形態の変形例１では、ラジオボタンを用いたＵＩ画面１０００の例を挙げたが、第１の実施形態の変形例２では、重視する項目の優先度順位を変更するＵＩの例を説明する。

図１０（ｂ）は、第１の実施形態の変形例２におけるＵＩ画面１０５０の一例を表した図である。ＵＩ画面１０５０は、優先順位１０６１～優先順位１０６４と、重視項目１０７１～重視項目１０７４とを有して構成されている。ＵＩ画面１０５０では、優先順位１０６１から優先順位１０６４に記載されている順位へ、重視項目１０７１から重視項目１０７４の各項目が選択され、項目の移動もしくは変更が可能となされている。変更された優先順位に基づき、重視項目の係数の値の強度、もしくは値の大小が変更される。図１０（ｂ）の例では、優先順位の１位に線幅である係数Ｂが、２位に面積である係数Ｄが、３位に交点である係数Ｃが、４位に線長である係数Ａが設定されている。この場合、情報処理装置は、各係数に設定する値の大きさを、係数Ｂ＞係数Ｄ＞係数Ｃ＞係数Ａとなるように設定する。
これにより、作業者の意図に応じて優先度を変更することができる。

＜第１の実施形態の変形例３＞
第１の実施形態の変形例１および変形例２では、作業者が、進展している変状の画面を領域毎に確認（視認）することを行っていた。第１の実施形態の変形例３では、作業者が視認可能（確認可能）な表示解像度で、進展している変状を表示するとともに、全体画像を表示する例を説明する。

図１１（ａ）は、確認画面１１０１の一例である。確認画面１１０１は、図９（ｂ）の確認画面９５１と同じ領域を表示しているが、図１１（ａ）では縮小画像１１１１が表示されている。縮小画像１１１１には、確認画面１１０１で表示されている矩形領域１１２１と、後述する図１１（ｂ）の確認画面１１５１で表示されている矩形領域１１３１とが表示されている。なお、矩形領域１１２１は第１の実施形態の図８（ａ）の外枠８３１の領域、矩形領域１１３１は第１の実施形態の図８（ａ）の外枠８３３の領域に対応している。図１１（ａ）では、矩形領域１１２１がハイライト表示されている。また同様に、図１１（ｂ）の確認画面１１５１では、矩形領域１１３１を表示部１０５に表示している場合には矩形領域１１３１がハイライト表示される。

図１１（ａ）および図１１（ｂ）の説明では、縮小画像１１１１に二つの矩形領域を表示した例になっているが、進展している変状を含む三つ以上の複数の矩形領域が表示されてもよい。また、縮小画像１１１１において、調査点検作業者が、次に確認する領域をクリックするなどの選択行為を行った場合、その選択された領域が指定されてもよい。また、情報処理装置は、優先度順に矩形領域の外枠の色や色の濃度や色の彩度を変更することにより、作業者が確認すべき領域を提示する方法を変更してもよい。

以上のように、第１の実施形態の変形例３によれば、作業者の意図によって、確認する領域を任意に選択することができ、例えば作業者は、優先度の高い領域を確認中に、優先度は低いが、その周辺の変状の領域を続けて確認するようなことが可能となる。
また、縮小画像を表示するのではなく、図１１（ｃ）のように、リスト１１７５で示すような優先度順に項目が並べられたリスト形式での表示を行い、その項目を選択可能にする方法であってもよい。

＜第１の実施形態の変形例４＞
第１の実施形態の変形例１、変形例２、および変形例３では、図６のフローチャートに示したように、ひび割れの線長の増量や幅の増量、鉄筋露出の面積増量などの、変状における進展量で係数を変更して、優先度を算出していた。第１の実施形態の変形例４では、変状が進展している率（進展度合い、進展率）を基に優先度を算出する例について説明する。

図１２（ａ）と図１２（ｂ）は、同一の検査対象画像に存在するひび割れの例を示した図である。図１２（ａ）のひび割れ１２００と図１２（ｂ）のひび割れ１２５０は、同一の検査対象画像に存在するひび割れの例であり、第２の変状データを表している。図１２（ａ）のひび割れ１２００は、例えば、４ｍｍの新規ひび割れ部分１２１１（点線）と１０ｍｍの既存ひび割れ部分１２１２（実線）とで構成されている。図１２（ｂ）のひび割れ１２５０は、例えば、４ｍｍの新規ひび割れ部分１２６１（点線）と５ｍｍの既存ひび割れ部分（実線）とで構成されている。ひび割れ１２００とひび割れ１２５０とで新規ひび割れ部分の線長は同じ長さであるが、ひび割れ１２００に対する新規ひび割れ部分の割合は約２９％（＝４／１４）であり、ひび割れ１２５０に対する新規ひび割れ部分の割合は約４４％（＝４／９）である。この場合、ひび割れが進展している割合が高い図１２（ｂ）のひび割れ１２５０の進展度合い（進展率）が高いため、情報処理装置は、当該進展度合い（進展率）が高い方の係数を変更して、優先度が高くなるようにする。

このように変形例４では、変状が進展している量（上述の例では新規ひび割れの線長）が同じであっても、その変状における進展度合いが異なる場合には、当該進展度合いに基づいて優先度算出の指標を変えるようにする。
なお、上述の例では線分長を例に挙げたが、情報処理装置は、既存の幅と進展した幅や、既存の面積と進展した面積、その他の差分値を用いて、変状の進展度合い（進展率）を算出してもよい。また、単独の変状における進展の度合い（割合、率）を用いるだけでなく、複数の進展度合いが用いられてもよい。また、変状が進展している量と、変状の進展度合いとが組み合わされて用いられてもよい。

＜第２の実施形態＞
第１の実施形態では、進展している変状を表す画面を表示して、領域毎に一人の調査点検作業者が確認（視認）する構成を挙げた。第２の実施形態では、進展している変状の情報をサーバ装置で保管し、複数のクライアント端末である情報処理装置に分配することで、複数の作業者によって確認処理を行える構成を例に挙げる。

図１３は、第２の実施形態におけるシステム構成の一例を表した図である。図１３に示したシステム構成は、サーバ装置１３０１と複数の情報処理装置１３１１～情報処理装置１３１３とで構成されており、それらがネットワーク１３０５等によって通信可能に接続されているとする。なお、図１３では情報処理装置が３台である場合を例に挙げているが３台に限定されるものではない。サーバ装置１３０１と情報処理装置１３１１～情報処理装置１３１３のハードウェア構成は、それぞれ図１で説明したハードウェア構成と同様であるとする。

図１４は、サーバ装置１３０１における情報処理の流れを示したフローチャートである。第１の実施形態の情報処理装置１００と同一の処理については、同一付番とし、説明を省略する。
Ｓ１４０１において、サーバ装置１３０１のＣＰＵ１０１は、Ｓ４０５で特定して生成した図９（ａ）のような領域テーブル９０１を情報処理装置の台数分に応じて分割して、通信部１０７を介して各情報処理装置へ分配する。領域テーブル９０１の分割では、領域テーブル９０１の領域ＩＤを情報処理装置の台数分に応じて分けるものとする。例えば、図１３に示すようにクライアント端末側の情報処理装置が３台であり、領域テーブル９０１の領域ＩＤ数が９０個である場合、サーバ装置１３０１のＣＰＵ１０１は、領域テーブル９０１を領域ＩＤで３０個ずつに３分割する。そしてサーバ装置１３０１は、３０個の領域ＩＤからなる領域テーブルを情報処理装置１３１１に、次の３０個の領域ＩＤからなる領域テーブルを情報処理装置１３１２に、残りの３０個の領域ＩＤからなる領域テーブルを情報処理装置１３１３に送付する。

図１５は、情報処理装置１３１１における情報処理の流れを示すフローチャートである。他の情報処理装置１３１２，１３１３においても同様の情報処理が行われる。
Ｓ１５０１において、情報処理装置１３１１のＣＰＵ１０１は、サーバ装置１３０１から送付されてきた領域テーブルの情報を、通信部１０７を介して取得する。
次にＳ１５０２において、情報処理装置１３１１のＣＰＵ１０１は、Ｓ１５０１で取得した領域テーブルを基に、図４のＳ４０６と同様に、確認対象の領域を表示する。これにより、情報処理装置１３１１の作業者は確認を行うことができる。

第２の実施形態においては、第１の実施形態では情報処理装置内で行われていた処理を、サーバ装置とクライアント端末とに分けて処理が行われている。これにより、第２の実施形態によれば、多数の進展している変状の領域の確認を、複数人の調査点検作業者で手分けして行うことができ、確認作業の時間短縮が可能となる。

なお、第１の変状データおよび第２の変状データをサーバ装置へ登録する方法に関しては、サーバ装置上で行われてもよいし、任意のクライアント端末からサーバ装置への登録が行われてもよい。
また、Ｓ１４０１において、領域テーブルの分割では、所定数ごとに単純に等分する例を挙げたが、変状の進展の優先度に応じて、分割時の配分が変更されてもよい。例えば、調査点検作業者間で熟練度に差がある場合、熟練度が高い作業者には優先度の高い変状を含む領域ＩＤを割り当て、熟練度の低い作業者には優先度の低い領域ＩＤを割り当ててもよい。これにより、優先度に応じて熟練度の異なる調査点検作業者を割り当てることが可能となり、進展している変状の確認が効率的に行うことが可能となる。

以上説明したように第１～第２の実施形態の情報処理装置は、進展している変状の重要度に応じて優先度を算出し、進展している変状の領域の表示方法を変更可能である。すなわち第１～第２の実施形態の情報処理装置によれば、進展している変状を含む領域の優先度を算出し、その算出した優先度に基づき表示する変状を含む領域を変更する。これにより、調査点検作業者は、優先して確認すべき変状を効率的に点検（確認）することができるようになる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０５：表示部

Claims (13)

1. 異なる時期に撮影した複数の画像の、それぞれの画像から抽出された変状データを取得する取得手段と、
   前記異なる時期の画像間での前記変状データの差分を基に、進展している変状を検出する検出手段と、
   前記変状データの差分を基に、前記変状に対する優先度を算出する算出手段と、
   前記進展している変状を覆う領域を特定する特定手段と、
   前記特定された領域を、前記優先度に応じて表示する表示手段と、
   を有することを特徴とする情報処理装置。
2. 通信可能に接続された第１の装置と第２の装置を有する情報処理装置であって、
   前記第１の装置は、
   異なる時期に撮影した複数の画像の、それぞれの画像から抽出された変状データを取得する取得手段と、
   前記異なる時期の画像間での前記変状データの差分を基に、進展している変状を検出する検出手段と、
   前記変状データの差分を基に、前記変状に対する優先度を算出する算出手段と、
   前記進展している変状を覆う領域を特定する特定手段と、を有し、
   前記第２の装置は、
   前記第１の装置によって前記特定された領域を、前記優先度に応じて表示する表示手段を有する
   ことを特徴とする情報処理装置。
3. 前記第２の装置は、二つ以上の装置であり、
   前記第１の装置は、前記特定した複数の領域を、前記二つ以上の第２の装置に対応させて分けて、前記対応した第２の装置に分配することを特徴とする請求項２に記載の情報処理装置。
4. 前記特定手段は、作業者が視認可能な表示解像度に基づいて、前記領域を特定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
5. 前記算出手段は、前記画像からさらに抽出された前記変状の種別によって、前記優先度の算出基準を異ならせることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
6. 前記算出手段は、作業者からの指示を基に、前記優先度の算出基準を変更する変更手段をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報処理装置。
7. 前記算出手段は、前記変状が進展している度合いに基づいて前記優先度を算出することを特徴とする請求項１乃至請求項６のいずれか１項に記載の情報処理装置。
8. 前記表示手段は、前記特定された領域を前記優先度に応じた順に表示することを特徴とする請求項１乃至請求項７のいずれか１項に記載の情報処理装置。
9. 前記表示手段は、前記優先度に応じた表示の順を作業者が変更するユーザーインターフェースを表示することを特徴とする請求項８に記載の情報処理装置。
10. 前記表示手段は、画像に対して前記変状データを重畳して表示することを特徴とする請求項１乃至請求項９のいずれか１項に記載の情報処理装置。
11. 前記算出手段は、前記変状が生ずる構造物の属性を表す情報を基に、前記優先度を算出することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の情報処理装置。
12. 情報処理装置が実行する情報処理方法であって、
    異なる時期に撮影した複数の画像の、それぞれの画像から抽出された変状データを取得する取得工程と、
    前記異なる時期の画像間での前記変状データの差分を基に、進展している変状を検出する検出工程と、
    前記変状データの差分を基に、前記変状に対する優先度を算出する算出工程と、
    前記進展している変状を覆う領域を特定する特定工程と、
    前記特定された領域を、前記優先度に応じて表示する表示工程と、
    を有することを特徴とする情報処理方法。
13. コンピュータを、請求項１乃至請求項１１のいずれか１項に記載の装置の各手段として機能させるためのプログラム。

Images