JP2020197460A - 構造物の検査システム、構造物の検査方法及びプログラム - Google Patents

Abstract

【課題】変状箇所の状態と座標とを簡易に関連付けることが可能な検査システム、構造物の検査方法及びプログラムを提供する。【解決手段】検査システム１００は、構造物表面の検査位置において変状を検査する検査装置２と、構造物の三次元形状及び検査装置２の位置を認識する空間認識装置１と、を含む。空間認識装置１は、検査装置２が検査を実行したことを検知し、検知時における検査位置を特定する検査位置特定部１１と、変状に関する情報と、検査位置と、を関連付けて出力する出力部１３と、を有する。【選択図】図３

Description

本発明は構造物の検査システム、構造物の検査方法及びプログラムに関し、特に変状箇所の状態と座標とを簡易に関連付ける技術に関する。

従来、トンネル、橋梁及びビル等の構造物の検査業務においては、壁面の目視、打音及び触診等により人が変状や劣化（以下、単に変状という）の発生箇所（以下、変状箇所という）を認識し、変状箇所に筆記具でマーキングを施し、マーキング箇所をスケッチし、スケッチに基づいて図面への反映作業を行っていた。例えばトンネル検査であれば、覆工表面の変状箇所をチョークでマーキングし、マーキング位置を紙面にスケッチし、スケッチをＣＡＤでトレースして覆工展開図を作成していた。

しかしながら、従来方式ではマーキング位置をスケッチし、スケッチを持ち帰ってデータ化するなど情報を転記する作業が必要である。このような転記作業は非常に煩雑であり時間と手間を要する。また、転記作業は人の手作業によって行われるのでミスや誤差が入り込む可能性がある。

すなわち、従来、点検により得られる情報（変状箇所の状態）と、点検した箇所（変状箇所の座標）との対応付けは人の手作業に依存していた。両者の関係性を証明するために点検状況をデジタルカメラで撮影するなどの手法がとられることもあるが、あくまで手作業を補助するものにすぎなかった。

そこで、変状箇所の状態と座標とを何らかの手法で電子的に把握し、自動的に関連付けを行うことができれば、検査業務の効率性及び正確性を向上させることができるはずである。

特許文献１には、トンネル内覆工にチョークでマーキングされた変状箇所を撮影し（レーザスキャナにより輝度情報付き三次元モデルを作成する）、撮影データを基に覆工展開図を作成し、検査者が覆工展開図上でマーキングを視認しトレースすることで、覆工展開図上に変状箇所の座標をプロットする構成が記載されている。特許文献２には、構造物の外壁面の撮影画像を距離情報とともに取得し、撮影画像が表示されたモニター上に検査結果をペンデバイスでマーキングする構成が記載されている。

特開２０１９−０２０３４８号公報 特開２００３−２１４８２９号公報

しかしながら、特許文献１及び２記載の手法では、変状箇所の座標を得るために三次元レーザスキャナや固定式のレーザ距離計等が必要であり、装置設置の手間がかること、見通しの悪い箇所や高所等での作業には適さないこと等の問題がある。

本発明はこのような問題点を解決するためになされたものであり、変状箇所の状態と座標とを簡易に関連付けることが可能な検査システム、構造物の検査方法及びプログラムを提供することを目的とする。

本発明の一形態である検査システムは、構造物表面の検査位置において変状を検査する検査装置と、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置と、を含み、前記空間認識装置は、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、前記変状に関する情報と、前記検査位置と、を関連付けて出力する出力部と、を有する。
本発明の一形態である検査システムは、前記空間認識装置を搭載した移動体をさらに含み、前記空間認識装置は、前記構造物の三次元形状に基づいて自己位置を認識し、前記移動体は、前記自己位置に基づいて、予め指定された目標位置に向かって移動し、前記検査装置は、前記目標位置に到達したことを検知し、前記検査を実行する。
本発明の一形態である検査システムは、前記空間認識装置と通信可能な端末装置をさらに含み、前記検査装置は前記構造物の表面を撮影し、前記端末装置は、前記撮影画像を表示する表示部と、前記画像に対して検査者が実行する入力操作を取得する入力部と、前記入力操作と、前記検査位置と、を関連付けて出力する第２の出力部と、を有する。
本発明の一形態である検査システムは、前記画像上で検査者が指示した１以上の座標からなる時系列データを軌跡として取得する第２の軌跡取得部をさらに有し、前記出力部は、前記軌跡と、前記検査位置と、を関連付けて出力する。
本発明の一形態である検査システムは、前記検査装置が前記検査を実行した際に取得される画像データ又は音響データに基づく機械学習用データを生成する前処理部と、前記機械学習用データを学習済みモデルに入力し、前記変状を認識する認識部と、を有する機械学習部をさらに含む。
本発明の一形態である検査システムは、前記検査位置をプロットするプロット装置をさらに含み、前記プロット装置は、前記検査位置を、実空間に設定された原点により規定される座標系に変換した三次元座標情報を取得する変換座標取得部と、前記三次元座標情報を図面内にプロットするプロット部と、を有する。
本発明の一形態である検査システムは、前記プロット部は、１以上の前記検査位置からなる時系列データをプロットする。
本発明の一形態である検査方法は、検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定ステップと、前記変状に関する情報と、前記検査位置と、を関連付けて出力する出力ステップと、を有する。
本発明の一形態であるプログラムは、コンピュータに上記方法を実行させるためのプログラムである。

本発明により、変状箇所の状態と座標とを簡易に関連付けることが可能な検査システム、構造物の検査方法及びプログラムを提供することができる。

空間認識装置１の機能構成を示す図である。 空間認識装置１の外観を示す図である。 実施の形態１にかかる検査システム１００の機能構成を示す図である。 実施の形態１にかかる検査システム１００のハードウェア構成例を示す図である。 実施の形態２にかかる検査システム１００の機能構成を示す図である。 実施の形態２にかかる検査システム１００のハードウェア構成例を示す図である。 実施の形態３にかかる検査システム１００の機能構成を示す図である。 実施の形態３にかかる検査システム１００のハードウェア構成例を示す図である。 実施の形態４にかかる検査システム１００の機能構成を示す図である。 実施の形態５にかかる検査システム１００の機能構成を示す図である。

コンクリート等の構造物は、変状及び劣化を生じることがある。変状は、豆板、コールドジョイント、内部欠陥、砂すじ、表面気泡、ひび割れ・浮き・はく離、錆汁、エフロレッセンス、汚れ（変色）、すり減り、たわみ、変形、漏水、塗装膨れ等を含む。劣化は、中性化、塩害、アルカリシリカ反応、凍害、化学的腐食、疲労、風化・老化、火災等を含む。本明細書では、これらの変状及び劣化を包括して、単に変状と称する。本発明の実施の形態にかかる検査システム１００は、変状箇所の状態と座標とを簡易に関連付けることができるシステムである。以下、本発明の実施の形態について、図面を用いて説明する。

図１は、本発明の実施の形態で使用される空間認識装置１の機能構成の一例を示す図である。空間認識装置１は、検査位置特定部１１、出力部１３を有する。

検査位置特定部１１は、構造物の検査が行われた位置（検査位置という）を示す３次元座標を特定する処理を行う。出力部１３は、検査位置特定部１１が特定した検査位置などを出力する処理を行う。これらの処理部の詳細な動作については後述する。

図２は、空間認識装置１の外観の一例を示す図であり、頭部装着型デバイスの筐体内に、検査位置特定部１１、出力部１３が実装されている。頭部装着型デバイスは、典型的にはカメラ、デプスセンサ及び透過型ディスプレイを有するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であり、例えばＨｏｌｏｌｅｎｓ（登録商標）等が含まれる。デプスセンサは、現実空間をスキャンして近距離の物体の形状を示す３次元点群データを取得することができる。透過型ディスプレイは、現実空間と任意の情報とを同時にユーザに視認させる。これは例えば光学透過又はビデオ透過ディスプレイ上に任意の情報を重畳表示することにより実現可能である。

空間認識装置１は、デプスセンサにより周囲の構造物の表面の形状を示す３次元点群データを取得する。３次元点群データは、所定の設定操作により、装置固有の座標空間にマッピングされる。空間認識装置１が移動するとき、デプスセンサにより取得される３次元点群データと、座標空間にマッピングされた３次元点群データとを比較することで、座標空間内での自己位置を特定することができる。

カメラの視野内にＡＲマーカなどの基点が予め設置されている場合、空間認識装置１は、カメラによりＡＲマーカを含む画像を撮影し、ＡＲマーカの角度や大きさ等を解析することによりＡＲマーカを原点とする座標空間における空間認識装置１の座標を算出することができる。この場合、空間認識装置１は、装置固有の座標空間と、ＡＲマーカを原点とする座標空間とを相互に変換することが可能である。

＜実施の形態１＞
図３は、本発明の実施の形態１にかかる検査システム１００の機能構成を示す図である。検査システム１００は、空間認識装置１、検査装置２を含む。空間認識装置１は、検査位置特定部１１、出力部１３を有する。

図４は、検査システム１００のハードウェア構成例を示す図である。空間認識装置１としては、上述した頭部装着型デバイスを採用できる。

空間認識装置１は、自己位置を特定することができるほか、カメラの視野内に検査装置２が存在する場合、カメラ又はデプスセンサが取得する画像データ又は３次元点群データを解析することにより、検査装置２の位置や検査装置２の特定の部位の位置を特定することも可能である。

検査装置２は、構造物表面の検査位置において変状を検査する装置であり、例えば打音検査、赤外線検査、外観検査、コンクリートの圧縮強度検査、ひび割れ・はく離・空洞検査、鉄筋・かぶり厚さ・埋設物検査、鉄筋腐食検査、アルカリシリカ反応検査、火災検査等を実行する。また、検査装置２には、地盤の検査位置において地盤状況を検査する装置もあり、例えば地質調査、原位置試験、物理探査等を実行することができる。

打音検査には、点検ハンマーで打撃し打音の違いにより変状箇所を判定する手法や、打撃による弾性波の周波数の違いにより変状箇所を判定する手法等がある。これらの手法を実現するための検査装置２として、集音機付きハンマー、周波数測定器付きハンマー等がある。

赤外線検査は、物体表面から放射される赤外線を映像として捉え、コンター図が示す寒暖の違いから変状箇所を特定する手法である。この手法を実現するための検査装置２として、赤外線カメラ（ビデオカメラを含む）等がある。

このほか、外観検査はデジタルカメラ等により実施できる。コンクリートの圧縮強度検査（コア強度、反発度法等による強度推定）はコアドリル、リバウンドハンマー等により実施できる。ひび割れ・はく離・空洞検査（サーモグラフィー、弾性波、打音法等による）は赤外線映像装置、弾性波発生・受信装置、ＡＥ信号検出装置等により実施できる。鉄筋・かぶり厚さ・埋設物検査（電磁誘導、電磁波レーダ、Ｘ線等による）は鉄筋探査機、電磁波レーダ、Ｘ線装置等により実施できる。鉄筋腐食検査（中性化深さ、塩化物イオン含有量、鉄筋腐食量等による）はドリル、電圧計、分極抵抗計測器、電気抵抗計測器等により実施できる。アルカリシリカ反応検査は電子顕微鏡により実施できる。火災検査（反発度試験、中性化試験、コア抜取り試験、振動試験、載荷試験等）はリバウンドハンマー、ドリル、コアドリル、振動試験装置等により実施できる。また、地盤状況を検査する装置として、地質調査（ボーリングコア、Ｎ値、穿孔エネルギー等による）はボーリングマシン、標準貫入試験器、削孔検層器等により実施できる。原位置試験（弾性係数、地盤支持力、コーン指数、岩盤強度等による）は孔内載荷試験機、平板載荷試験機、コーン貫入試験機、ロックシュミットハンマー等により実施できる。物理探査（弾性波、比抵抗等による）は弾性波発生・受信装置、電気探査装置等により実施できる。

検査位置特定部１１は、検査装置２が上述のような検査を実行したことを検知する。例えば打音検査の場合、検査位置特定部１１は、検査装置２が備える点検ハンマーによる打撃を検出する。例えば、空間認識装置１と検査装置２とが連結していれば、検査位置特定部１１は、空間認識装置１が備える加速度センサにより打撃の際に生じる加速度の変化を検出することができる。又は、検査位置特定部１１は、カメラ又はデプスセンサが取得する画像データ又は３次元点群データを解析することにより、点検ハンマーの先端部が構造物表面に接触したことを検出することができる。あるいは、検査位置特定部１１は、空間認識装置１が備えるマイクにより打撃の際に生じる音の変化を検出することができる。赤外線検査の場合、検査位置特定部１１は検査装置２と通信し、検査装置２が備える赤外線カメラの撮影実行を検出することができる。

加えて、検査位置特定部１１は、検査装置２により検査が実行された際の検査位置を特定する。例えば打音検査の場合、検査位置特定部１１は、カメラ又はデプスセンサが取得する画像データ又は３次元点群データを解析することにより、検査の実行を検知した瞬間の点検ハンマーの先端部の座標を特定することができる。赤外線検査の場合、検査位置特定部１１は、空間認識装置１と検査装置２との相対的な位置関係や赤外線カメラの向き及び画角等に基づいて、赤外線カメラの撮影範囲を示す座標のセットを特定することができる。

出力部１３は、検査位置特定部１１が取得した検査位置と、検査装置２による検査結果とを関連付けて出力する。検査位置は、１以上の三次元座標データである。検査結果は、変状に関する情報であり、例えば打音検査であれば打撃時の音響データ、赤外線検査であれば撮影データ、又はこれらのデータに基づく検査者の所見を示す情報等であっても良い。例えば空間認識装置１内の図示しない記憶領域に出力しても良く、空間認識装置１の通信機能を介して外部の装置に出力しても良い。

実施の形態１では、検査装置２による構造物の検査の様子を空間認識装置１が観察することで、変状に関する情報と検査位置とをデータとして直接取得することができる。これにより、従来の手作業に比較して効率性および正確性が向上する。

＜実施の形態２＞
図５は、本発明の実施の形態２にかかる検査システム１００の機能構成を示す図である。検査システム１００は、実施の形態１と同様の空間認識装置１、検査装置２のほか、これらを搭載した移動体３を含む。

図６は、検査システム１００のハードウェア構成例を示す図である。空間認識装置１としては、実施の形態１と同様の頭部装着型デバイスを採用できる。また検査装置２として、頭部装着型デバイスが搭載するカメラを採用できる。空間認識装置１、検査装置２の構成及び効果のうち実施の形態１と重複するものについては、本実施の形態では適宜記載を省略する。

実施の形態１と同様に、空間認識装置１は自己位置を特定することができる。また、実施の形態１と同様に、検査位置特定部１１は、検査装置２による検査の実行、例えば頭部装着型デバイスが搭載するカメラによる撮影を実行したことを検知し、撮影範囲を示す座標のセットを特定して検査位置とする。出力部１３は、検査位置と、撮影データ（画像データ）とを関連付けて出力する。

実施の形態２にかかる空間認識装置１は、移動指示部１４をさらに有する。移動指示部１４は、空間認識装置１が認識する自己位置と、予め指定された移動経路とに基づいて、移動体３に移動を指令する。典型的には、所定の間隔で自己位置を更新しつつ、予め指定された移動経路との差分に基づくフィードバック制御等を行いながら、移動方向及び速度等を含む指令を出力する。

移動経路は、典型的には順序又は時刻情報を持つ１以上の３次元座標データのセットとして与えられる。例えば、図示しないＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等を使用し、検査対象の構造物のＣＡＤデータ上で、移動の最終目的地である目標地点と、自動航行する移動体３を経由させたい座標を順番に指定する。こうして得られた３次元座標データのセットを移動経路として移動指示部１４に入力する。空間認識装置１は、ＣＡＤデータの座標系と自己が認識する座標系とを相互に変換できる。よって移動指示部１４は、ＣＡＤデータ上で指定された移動経路を自己が認識する座標系に置き換え、現実空間に適合した移動経路を指令できる。すなわち、空間認識装置１を搭載した移動体３の現在位置を出発地点とし、最初に指定された座標まで移動するよう指令を出力する。その座標に到達したならば、次に指定された座標へ移動させる。これを繰り返すことで目標地点の座標まで移動体３を自動航行させることができる。

移動体３は、与えられる指令に従って空間内を移動可能な装置であり、例えばドローンや車両である。移動体３は、カメラリグ３１、移動制御部３２を有する。図６の例では、空間認識装置１、検査装置２である頭部装着型デバイスが、カメラリグ３１を介して、移動体３であるドローンに固定されている。また移動体３は、移動体３自身や空間認識装置１、検査装置２を壁面等との衝突に伴う衝撃から守るためのゲージを備えていても良い。

移動制御部３２は、移動指示部１４が出力する指令を受信し、指令に従って移動方向及び速度等を制御する。

検査装置２は、移動体３が目標地点に到達したことを検知し、検査を実行する。例えば、頭部装着型デバイスが搭載するカメラにより構造物の表面を撮影する。

移動指示部１４は、検査装置２による検査の実行および検査位置特定部１１による検査位置の特定が完了したならば、往路を逆に辿る指令を移動制御部３２に順次与えることにより、出発地点まで自律航行することができる。

実施の形態２では、Ｈｏｌｏｌｅｎｓ等の空間認識装置１を用いて、事前に指定した検査箇所にドローン等の移動体３を自律航行させ、検査箇所における検査を実行し、検査結果と検査箇所の座標とを関連付けて取得する。これにより、人による接近が難しい検査箇所における検査を実行できる。例えば、自然災害発生箇所、トンネル施工中の切羽、橋梁などの高所等において、盛土、切土などの土構造物の地層、亀裂、変状状況等、コンクリート構造物のひび割れ、損傷、剥離、剥落、漏水、変状状況等、トンネル施工中の切羽における地質、風化変質状況、亀裂幅、亀裂間隔、湧水状況等を検査することができる。しかも、目標地点等を任意に設定できるため、例えばカメラにより近接目視できるような距離まで検査装置２を近づかせ、精緻に変状の調査を行うことができる。

従来のＧＰＳによる自律航行機能を備えたドローンでは、自動航行の精度はＧＰＳの精度に大きく左右されるが、実施の形態２によれば、移動体３を正確に目標地点に航行させることが可能となる。

実施の形態２の応用例として、以前に実施の形態１の手法で特定した検査箇所、又は検査員が手作業で検査を行った際の検査箇所を、移動指示部１４に目標地点として与えることができる。これにより、例えば盛土、切土などの土構造物の地層、亀裂、変状状況等、コンクリート構造物のひび割れ、損傷、剥離、剥落、漏水、変状等の進展状況を継続的に観察することが可能となる。

＜実施の形態３＞
図７は、本発明の実施の形態３にかかる検査システム１００の機能構成を示す図である。検査システム１００は、実施の形態２と同様の空間認識装置１、検査装置２、移動体３のほか、空間認識装置１と相互に通信可能な端末装置４を含む。端末装置４は、表示部４１、入力部４２、検査位置特定部４３、軌跡取得部４４、出力部４５を含む。

図８は、検査システム１００のハードウェア構成例を示す図である。空間認識装置１としては、実施の形態１及び２と同様の頭部装着型デバイスを採用できる。また検査装置２として、頭部装着型デバイスが搭載するカメラを採用できる。移動体３は、例えば空間認識装置１、検査装置２を搭載して自動航行するドローンである。端末装置４は、空間認識装置１、検査装置２、移動体３から遠隔した位置に配置される情報処理装置である。空間認識装置１、検査装置２、移動体３の構成及び効果のうち実施の形態１及び２と重複するものについては、本実施の形態では適宜記載を省略する。

端末装置４は、空間認識装置１と通信を行い、空間認識装置１の現在位置で撮影された画像データと、撮影時の周囲の構造物の表面の形状を示す三次元点群データ、カメラの位置及び向きを示すデータ等を取得する。

表示部４１は、取得された画像データを表示する。入力部４２は、この画像に対して検査者が実行する入力操作を取得する。例えば、表示部４１、入力部４２はタッチパネルディスプレイとして一体化された装置であって良い。この場合、入力部４２は、表示部４１であるディスプレイに表示された画像上で検査者がタッチした位置（指定位置）の座標を取得する。

検査位置特定部４３は、画像上における指定位置の座標を、撮影時の周囲の構造物の表面の形状を示す３次元点群データの座標系に変換し、変換後の指定位置をカメラ視点で構造物表面に投影した投影点を検査位置として特定する。

軌跡取得部４４は、１以上の検査位置からなる時系列データを軌跡として取得する。例えば検査者がタッチパネル上で指先を動かす動作をした場合、その指先の軌跡、より正確には指先の座標の構造物表面への投影点の時系列データが取得される。

出力部４５は、軌跡取得部４４が取得した軌跡を出力する。

実施の形態３では、検査者はドローン等に搭載された空間認識装置１から端末装置４に配信される映像をモニターで見ながら、モニター上で壁面のひび割れ等の変状箇所を指先でなぞるような動作を行う。これにより、ひび割れの形状（大きさ、角度等の情報を含む）や座標を、指先で指図した軌跡の形状や座標といったデータとして直接取得することができる。この際、指先は変状箇所に直接触れる必要はなく、モニター上でなぞる動作をすれば、指先の延長上にある壁面上の座標が取得できる。

実施の形態３によれば、検査者が直接近接することが難しい検査位置であっても、遠隔地から検査を行うことが可能となる。これにより、人を近接させるために要していた設備、例えば高所作業車等が不要となる。また、検査者の安全性が確保される。さらに、専門知識を有する技術者の現地派遣が不要となるため、限られた人材を有効に活用することができる。

実施の形態３の応用例として、移動体３にスプレーやカラーボール等のマーキング装置を搭載し、遠隔で指定された検査位置に対してスプレーやカラーボール等を発射することで、構造物の表面に直接マーキングを行うことができる。これにより、従来の目視による検査と本発明とを併用することも可能とある。

また、実施の形態３においては、端末装置４において軌跡の形状及び座標を取得できるため、空間認識装置１は、検査位置特定部１１、出力部１３を必ずしも備えなくても良い。

＜実施の形態４＞
図９は、本発明の実施の形態４にかかる検査システム１００の機能構成を示す図である。検査システム１００は、実施の形態１乃至３のような空間認識装置１、検査装置２を含む。さらに、実施の形態２のような移動体３、実施の形態３のような端末装置４を含んでも良い。

これらに加えて、検査システム１００は、機械学習部５を有する。機械学習部５は、前処理部５１、認識部５２を有する。機械学習部５は、典型的には空間認識装置１が備えるが、検査装置２、端末装置４など他のハードウェア内に実装されても良い。あるいは、図示しない外部のサーバや、クラウドコンピューティング、エッジコンピューティング、フォグコンピューティング等の手法により実装されても良い。

前処理部５１は、検査装置２による検査結果に基づく機械学習用データを生成する。例えば、検査装置２であるカメラにより撮影された構造物の表面の画像データから抽出した特徴量を機械学習用データとして利用できる。又は、点検ハンマーによる打撃時の音響データから特徴量を機械学習用データとして利用することもできる。

認識部５２は、機械学習用データを学習済みモデルに入力し、変状を認識する。学習済みモデルは、機械学習用データの入力に対して、それが変状であるか否かを示す判定データを出力することができる。学習済みモデルは、例えば過去の検査において収集された画像データ又は音響データと、熟練の検査者によって作成された当該画像又は音が変状であるか否かを示すデータと、を教師データとする教師あり学習を行うことにより生成できる。

実施の形態４によれば、例えば移動体３を移動させながらカメラ又は点検ハンマー等を稼働させ、取得された画像データ又は音響データ等を用いて機械学習部５による変状の有無の判定を行い、変状であると判定された場合に検査位置と検査結果とを関連付けて出力するよう構成することができる。これにより、自律的な変状検査が可能となる。

＜実施の形態５＞
図１０は、本発明の実施の形態５にかかる検査システム１００の機能構成を示す図である。検査システム１００は、実施の形態１乃至４に示すような空間認識装置１のほか、検査装置２、移動体３、端末装置４を含んで良い。

これらに加えて、検査システム１００は、プロット装置６を有する。プロット装置６は、変換座標取得部６１、プロット部６２を有する。

変換座標取得部６１は、検査位置の座標を、実空間に設定された原点により規定される座標系に変換する。すなわち、実空間に任意の原点を設定すると、空間認識装置１の位置は原点に対する相対位置として表される。上述の実施の形態では主に、空間認識装置１が出力する検査位置は空間認識装置１固有の座標系で表現されている場合について説明した。変換座標取得部６１は、このような検査位置の座標を実空間に設定した座標系に変換し、変換後の検査位置の座標を出力する。座標は三次元座標である。なお、空間認識装置１が複数の検査位置を保存しており、変換前の検査位置に順序、時間、又は任意の属性情報等が付加されている場合、変換座標取得部６１は、変換後の検査位置にもこれらの情報を付加することができる。これにより、例えばどのような順序でどのような種別の座標が形成されたかを管理できる。

プロット部６２は、変換座標取得部６１が生成した三次元座標情報を図面内にプロットする。典型的なプロット手法としては、ＣＡＤデータ内にプロットする手法と、展開図にプロットする手法とがある。

ＣＡＤデータにプロットする場合、プロット部６２は、変換座標取得部６１が出力する三次元座標を、ＣＡＤデータの座標系に変換し、検査位置に相当する点座標を描画する。複数の検査位置が出力されており、順序又は時間等のデータが付加されている場合、プロット部６２は、検査位置に相当する点座標を時系列順につなぎ合わせた軌跡を描画しても良い。検査位置に属性情報等のデータが付加されている場合、プロット部６２は、属性情報に応じた表示を行っても良い。例えば、検査位置に相当する点座標や軌跡の表示形態（色やサイズ等）を属性情報に応じて変更しても良い。又は、属性情報を示す文字や記号等を描画しても良い。

構造物の二次元展開図にプロットする場合、プロット部６２は、構造物を二次元に展開した展開図を生成した後、各検査位置に相当する点座標を展開図上に描画する。

弧を有する構造物の展開図を生成する場合、プロット部６２は、空間認識装置１が取得した構造物の表面の三次元点群データに基づいて弧の曲率を求め、構造物の表面を、弧を直線化したＸＹ平面に変換する。これにより、検査位置もＸＹ表面上の点として表現される。なお、デプスセンサの精度のばらつき等により、検査位置の座標がＸＹ平面上にない場合もある。この場合は、検査位置を、ＸＹ平面への垂直投影点等の近似値に変換したうえでプロットする。

弧を有しない構造物の展開図を生成する場合、プロット部６２は、空間認識装置１が取得した構造物の表面の三次元点群データに基づいて、構造物の上面図、底面図、各方位の側面図を生成する。そして、これらの各図に検査位置をプロットする。なお、デプスセンサの精度のばらつき等により、検査位置の座標が各図の平面上にない場合もある。この場合は、検査位置を、最も近い平面への垂直投影点等の近似値に変換したうえでプロットする。

なお、構造物の二次元展開図にプロットする場合も、複数の検査位置が出力されており、順序又は時間等のデータが付加されている場合は、プロット部６２は、検査位置に相当する点座標を時系列順につなぎ合わせた軌跡を描画しても良い。検査位置に属性情報等のデータが付加されている場合、プロット部６２は、属性情報に応じた表示を行っても良い。

実施の形態５によれば、小型のデプスセンサを搭載したウェアラブル端末等の空間認識装置１を使用することによって、変状の位置管理から展開図生成までもが可能になる。よって、従来のレーザスキャナ等のような固定的な装置を設置することによる制約を受けない。また、従来の手作業による点検と比較しても、点検により得られる情報（変状箇所の状態）と、点検した箇所（変状箇所の座標）とを関連付けたデータが一気通貫で出力できるので、効率性および正確性に優れ、過去に記録した変状との比較等も容易となる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態において示した各種処理手段のソフトウェア又はハードウェアによる実装方法はあくまで一例であり、他の手法で代替されても良い。例えば、実施の形態では同一の筐体内に実装することとした複数の処理手段を、複数の異なるハードウェアとして提供することができる。又は、実施の形態では異なるハードウェアに実装することとした複数の処理手段を、１つのハードウェアに実装することができる。また、任意の処理手段又は処理手段のうち一部の機能をクラウドコンピューティング、エッジコンピューティング、フォグコンピューティング等の技術により実現することとしても良い。

また、上述の実施の形態において示した計算手法、センシング手法等はあくまで一例であり、同等の機能を有する他の手法によって代替されても良い。

また本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。

１００ 構造物の検査システム
１ 空間認識装置
１１ 検査位置特定部
１３ 出力部
１４ 移動指示部
２ 検査装置
３ 移動体
３１ 移動制御部
４ 端末装置
４１ 表示部
４２ 入力部
４３ 検査位置特定部
４４ 軌跡取得部
４５ 出力部
５ 機械学習部
５１ 前処理部
５２ 認識部
６ プロット装置
６１ 変換座標取得部
６２ プロット部

本発明の一形態である検査システムは、構造物表面の検査位置において変状を検査する検査装置と、前記構造物の三次元形状及び前記検査装置の位置を認識し、前記構造物の三次元形状に基づいて自己位置を認識する空間認識装置と、前記空間認識装置を搭載した移動体と、を含み、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、前記変状に関する情報と、前記検査位置と、を記憶領域に出力する出力部と、を有し、前記移動体は、過去に行った前記検査における前記検査位置を目標位置として受け取り、前記自己位置に基づいて前記目標位置に向かって移動し、前記検査装置は、前記目標位置に到達したことを検知し、前記検査を実行する。
本発明の一形態である検査システムは、構造物表面の検査位置において前記構造物の表面を撮影することにより、変状を検査する検査装置と、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置と、前記空間認識装置と通信可能な端末装置と、を含み、前記空間認識装置は、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、前記変状に関する情報と、前記検査位置と、を記憶領域に出力する出力部と、を有し、前記端末装置は、前記撮影画像を表示する表示部と、前記画像上で検査者が指定した１以上の２次元座標からなる時系列データを取得する入力部と、前記２次元座標を前記構造物の表面に投影した、１以上の３次元座標からなる時系列データを、前記変状に関する情報として取得する軌跡取得部と、を有する。
本発明の一形態である検査システムは、構造物表面の検査位置において変状を検査する検査装置と、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置と、前記検査位置をプロットするプロット装置と、を含み、前記空間認識装置は、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、前記変状に関する情報と、前記検査位置と、を記憶領域に出力する出力部と、を有し、前記プロット装置は、前記検査位置を、実空間に設定された原点により規定される座標系に変換した三次元座標情報を取得する変換座標取得部と、前記三次元座標情報を図面内にプロットするプロット部と、を有し、前記プロット部は、前記三次元座標情報が前記構造物の表面上にない場合、前記三次元座標情報を前記構造物の表面への投影点に変換する。
本発明の一形態である検査方法は、構造物の三次元形状及び検査装置の位置を認識し、前記構造物の三次元形状に基づいて自己位置を認識する空間認識装置を搭載した移動体が、過去に行った検査における検査位置を目標位置として受け取り、前記自己位置に基づいて前記目標位置に向かって移動するステップと、前記検査装置が、前記移動体が前記目標位置に到達したことを検知し、前記構造物表面の前記検査位置において変状を検査するステップと、前記空間認識装置が、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定するステップと、前記空間認識装置が、前記変状に関する情報と、前記検査位置と、を記憶領域に出力するステップと、を含む。
本発明の一形態である検査方法は、検査装置が、構造物表面の検査位置において前記構造物の表面を撮影することにより、変状を検査するステップと、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置が、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定するステップと、端末装置が、前記撮影画像を表示するステップと、前記端末装置が、前記画像上で検査者が指定した１以上の２次元座標からなる時系列データを取得するステップと、前記端末装置が、前記２次元座標を前記構造物の表面に投影した、１以上の３次元座標からなる時系列データを、前記変状に関する情報として取得するステップと、前記空間認識装置が、前記変状に関する情報と、前記検査位置と、を記憶領域に出力するステップと、を含む。
本発明の一形態である検査方法は、検査装置が、構造物表面の検査位置において変状を検査するステップと、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置が、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定するステップと、前記空間認識装置が、前記変状に関する情報と、前記検査位置と、を記憶領域に出力するステップと、プロット装置が、前記検査位置を、実空間に設定された原点により規定される座標系に変換した三次元座標情報を取得するステップと、前記プロット装置が、前記三次元座標情報が前記構造物の表面上にない場合、前記三次元座標情報を前記構造物の表面への投影点に変換し、図面内にプロットするステップと、を含む。
本発明の一形態であるプログラムは、コンピュータに上記方法を実行させる。

本発明の一形態である検査システムは、構造物表面の検査位置において変状を検査する検査装置と、前記構造物の三次元形状及び前記検査装置の位置を認識し、前記構造物の三次元形状に基づいて自己位置を認識する空間認識装置と、前記検査装置と前記空間認識装置とを搭載した移動体と、を含み、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、前記変状に関する情報と、前記検査位置と、を記憶領域に出力する出力部と、を有し、前記移動体は、前記検査装置が過去に行った前記検査における前記検査位置を目標位置として受け取り、前記自己位置に基づいて前記目標位置に向かって移動し、前記検査装置は、前記目標位置に到達したことを検知し、前記検査を実行する。
本発明の一形態である検査システムは、構造物表面の検査位置において前記構造物の表面を撮影することにより、変状を検査する検査装置と、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置と、前記空間認識装置と通信可能な端末装置と、を含み、前記端末装置は、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、前記変状に関する情報を記憶領域に出力する出力部と、前記撮影画像を表示する表示部と、前記画像上で検査者が指定した１以上の２次元座標からなる時系列データを取得する入力部と、前記２次元座標を前記構造物の表面に投影した、１以上の３次元座標からなる時系列データを、前記変状に関する情報として取得する軌跡取得部と、を有する。
本発明の一形態である検査システムは、構造物表面の検査位置において変状を検査する検査装置と、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置と、前記検査位置をプロットするプロット装置と、を含み、前記空間認識装置は、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、前記変状に関する情報と、前記検査位置と、を記憶領域に出力する出力部と、を有し、前記プロット装置は、前記検査位置を、実空間に設定された原点により規定される座標系に変換した三次元座標情報を取得する変換座標取得部と、前記三次元座標情報を図面内にプロットするプロット部と、を有し、前記プロット部は、前記三次元座標情報が前記構造物の表面上にない場合、前記三次元座標情報を前記構造物の表面への投影点に変換する。
本発明の一形態である検査方法は、構造物の三次元形状及び検査装置の位置を認識し、前記構造物の三次元形状に基づいて自己位置を認識する空間認識装置と、前記検査装置と、を搭載した移動体が、前記検査装置が過去に行った検査における検査位置を目標位置として受け取り、前記自己位置に基づいて前記目標位置に向かって移動するステップと、前記検査装置が、前記移動体が前記目標位置に到達したことを検知し、前記構造物表面の前記検査位置において変状を検査するステップと、前記空間認識装置が、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定するステップと、前記空間認識装置が、前記変状に関する情報と、前記検査位置と、を記憶領域に出力するステップと、を含む。
本発明の一形態である検査方法は、検査装置が、構造物表面の検査位置において前記構造物の表面を撮影することにより、変状を検査するステップと、空間認識装置が、前記構造物の三次元形状及び前記検査装置の位置を認識するステップと、前記端末装置が、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定するステップと、端末装置が、前記撮影画像を表示するステップと、前記端末装置が、前記画像上で検査者が指定した１以上の２次元座標からなる時系列データを取得するステップと、前記端末装置が、前記２次元座標を前記構造物の表面に投影した、１以上の３次元座標からなる時系列データを、前記変状に関する情報として取得するステップと、前記端末装置が、前記変状に関する情報を記憶領域に出力するステップと、を含む。
本発明の一形態である検査方法は、検査装置が、構造物表面の検査位置において変状を検査するステップと、前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置が、前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定するステップと、前記空間認識装置が、前記変状に関する情報と、前記検査位置と、を記憶領域に出力するステップと、プロット装置が、前記検査位置を、実空間に設定された原点により規定される座標系に変換した三次元座標情報を取得するステップと、前記プロット装置が、前記三次元座標情報が前記構造物の表面上にない場合、前記三次元座標情報を前記構造物の表面への投影点に変換し、図面内にプロットするステップと、を含む。
本発明の一形態であるプログラムは、コンピュータに上記方法を実行させるためのプログラムである。

Claims (9)

1. 構造物表面の検査位置において変状を検査する検査装置と、
   前記構造物の三次元形状及び前記検査装置の位置を認識する空間認識装置と、を含み、
   前記空間認識装置は、
   前記検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定部と、
   前記変状に関する情報と、前記検査位置と、を関連付けて出力する出力部と、を有する
   検査システム。
2. 前記空間認識装置を搭載した移動体をさらに含み、
   前記空間認識装置は、前記構造物の三次元形状に基づいて自己位置を認識し、
   前記移動体は、前記自己位置に基づいて、予め指定された目標位置に向かって移動し、
   前記検査装置は、前記目標位置に到達したことを検知し、前記検査を実行する
   請求項１記載の検査システム。
3. 前記空間認識装置と通信可能な端末装置をさらに含み、
   前記検査装置は前記構造物の表面を撮影し、
   前記端末装置は、
   前記撮影画像を表示する表示部と、
   前記画像に対して検査者が実行する入力操作を取得する入力部と、
   前記入力操作と、前記検査位置と、を関連付けて出力する第２の出力部と、を有する
   請求項１記載の検査システム。
4. 前記画像上で検査者が指示した１以上の座標からなる時系列データを軌跡として取得する第２の軌跡取得部をさらに有し、
   前記出力部は、前記軌跡と、前記検査位置と、を関連付けて出力する
   請求項３記載の検査システム。
5. 前記検査装置が前記検査を実行した際に取得される画像データ又は音響データに基づく機械学習用データを生成する前処理部と、前記機械学習用データを学習済みモデルに入力し、前記変状を認識する認識部と、を有する機械学習部をさらに含む
   請求項１記載の検査システム。
6. 前記検査位置をプロットするプロット装置をさらに含み、
   前記プロット装置は、
   前記検査位置を、実空間に設定された原点により規定される座標系に変換した三次元座標情報を取得する変換座標取得部と、
   前記三次元座標情報を図面内にプロットするプロット部と、を有する
   請求項１乃至５記載の検査システム。
7. 前記プロット部は、１以上の前記検査位置からなる時系列データをプロットする
   請求項６記載の検査システム。
8. 検査装置が前記検査を実行したことを検知し、前記検知時における前記検査位置を特定する検査位置特定ステップと、
   前記変状に関する情報と、前記検査位置と、を関連付けて出力する出力ステップと、を有する
   検査方法。
9. コンピュータに請求項８記載の方法を実行させるためのプログラム。