JP2021012141A - 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム - Google Patents

Abstract

【課題】構造物全体における劣化症状の割合および劣化症状が発生している位置を提示することができる。【解決手段】異常点検システムを構成する異常点検装置は、飛翔体から、点検対象物の画像と座標情報とを取得する取得部と、画像から点検対象物の劣化領域を検出する検出部と、画像および座標情報を用いて、カメラの撮像位置、カメラの角度、および点検対象物の実寸値を推定する推定部と、カメラの撮像位置、カメラの角度、および点検対象物の実寸値と、画像とから立体オブジェクトを生成する生成部と、画像に、カメラの撮像位置と、カメラの角度と、点検対象物の実寸値とを対応付けて劣化領域の面積を算出する面積算出部と、立体オブジェクトの表面画像の面積における劣化領域の面積の割合を算出する割合算出部と、を備える。【選択図】図２

Description

この発明は、異常点検システム、異常点検装置、異常点検方法および異常点検プログラムに関する。

従来、無線基地局の鉄塔や橋梁などの構造物に劣化等の不具合が発生していないかを確認すべく定期的な点検作業が実施されており、鉄塔等の構造物の腐食等の劣化の有無を点検する際に、鉄塔部位毎の劣化の進行程度に応じ、保全対応を計画する技術が開発されている。

例えば、作業量および作業に要する人件費の効率化のためにカメラが搭載されたドローンを用いた空撮等により、劣化症状の有無を点検する方法も普及している。また、点検対象となる構造物の画像情報から錆等の劣化を画像判定する技術が知られている（例えば、特許文献１参照。）。

特許文献１に開示された技術によれば、画像や点の集合の中から、直線や円など特定のパターンを、腐食状態を示すパターンとして検出するので、点検対象物における錆などの劣化部分を特定することができる。

特開平１１−１３２９６２号公報

しかしながら、既存技術においては、点検対象となる構造物の一部を撮像した個々の画像に対して構造物の劣化症状を検出することができても、構造物全体における錆の割合や分布を示す情報を取得することができない。すなわち、構造物全体における錆の面積や、錆領域の割合など、点検時に修繕の必要性の有無を判断するための具体的な情報を提示することができなかった。

そこで、本発明は、構造物全体における劣化症状の割合および劣化症状が発生している位置を提示することができる異常点検システム、異常点検装置、異常点検方法および異常点検プログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る異常点検システムは、カメラを搭載する飛翔体と、飛翔体により撮像された画像から点検対象物の三次元画像を生成する異常点検装置とを含む異常点検システムであって、異常点検装置は、飛翔体から、点検対象物の画像と、画像の撮像時における飛翔体の座標位置を示す座標情報とを取得する取得部と、取得部により取得された画像から点検対象物の劣化領域を検出する検出部と、取得部により取得された画像および座標情報を用いて、カメラの撮像位置、カメラの角度、および点検対象物の実寸値を推定する推定部と、推定部により推定されたカメラの撮像位置、カメラの角度、および点検対象物の実寸値と、画像とから立体オブジェクトを生成する生成部と、取得部により取得された画像に、推定部により推定されたカメラの撮像位置と、カメラの角度と、点検対象物の実寸値とを対応付けて、検出部により検出された劣化領域の面積を算出する面積算出部と、生成部により生成された立体オブジェクトの表面画像の面積を取得し、取得した立体オブジェクトの表面画像の面積における、算出部により算出された劣化領域の面積の割合を算出する割合算出部と、を備えることを特徴とする。

本発明によれば、飛翔体により撮像された被写体の画像および座標位置を用いて被写体の実寸値を把握可能な三次元画像を生成し、点検構造物全体における劣化症状の割合および劣化症状が発生している位置を提示することができる。

本発明の実施形態に係る異常点検システムの構成を示すシステム図である。 本発明の実施形態における異常点検装置の機能構成例を示すブロック図である。 本発明の実施形態における飛翔体の撮像位置の一例を示す図である。 図４（ａ）〜図４（ｃ）は、所定の撮影位置ごとに一部が重複する画像を示す図である。 本発明の実施形態における検出部により所定の領域ごとに分割された画像の一例を示す図である。 本発明の実施形態における被写体を構成する全ての構成物を一画像に示した図である。 本発明の実施形態における生成部により二次元画像をもとに生成された被写体である鉄塔の三次元画像の一例を示す図である。 本発明の実施形態における長軸方向に対し所定軸長ごとに所定の領域に分割された鉄塔の一例を示す図である。 本発明の実施形態における異常点検装置による点検対象物の劣化部位の検出処理の流れを示すフローチャートである。 本発明の実施形態における異常点検装置による点検対象物の劣化部位の検出処理の流れを示すフローチャートである。 本発明の実施形態における異常点検装置による点検対象物に対する修理の必要性の判定処理の流れを示すフローチャートである。 本発明の実施形態における異常点検装置による点検対象物に対する修理の必要性の判定処理の流れを示すフローチャートである。 本実施形態における画像生成装置を実現可能なコンピュータの一例を示すハードウェア構成図である。

図１は、本発明の実施の形態に係る異常点検システムの全体構成を示すシステム図である。図１に示すように、異常点検システム１は、異常点検装置１００と、端末４００ａおよび端末４００ｂと、飛翔体２００ａおよび飛翔体２００ｂとを含み、これらがネットワーク１０を介して相互に通信可能となっている。なお、飛翔体２００ａまたは飛翔体２００ｂは、図１のように端末４００ａまたは端末４００ｂを介してネットワーク１０に接続される構成としてもよいし、端末４００ａまたは端末４００ｂを介さずネットワーク１０に直接接続される構成としてもよい。ネットワーク１０は、異常点検装置１００と、飛翔体２００ａと、飛翔体２００ｂの各々を相互に接続する役割を担う。例えば、ネットワーク１０は、有線ネットワークや無線ネットワークであってもよい。図１では、点検対象物である鉄塔３００ａを撮像する飛翔体２００ａを制御する端末４００ａと、鉄塔３００ｂを撮像する飛翔体２００ｂを制御する端末４００ｂを図示する（以下、特に明示する場合を除き、鉄塔３００、端末４００、飛翔体２００と総称する。）。なお、図１では、飛翔体２００および端末４００を各２台示したが、これに限定されず、例えば、１台の飛翔体２００が複数の点検対象物を撮像したり、１台の端末４００が複数の飛翔体２００を制御する構成であってもよい。

異常点検装置１００は、飛翔体２００により撮像される点検対象物である鉄塔３００ａまたは鉄塔３００ｂの画像を取得し、取得した鉄塔３００の二次元画像を解析して鉄塔３００の劣化症状を含む三次元画像を生成し、生成した三次元画像から異常を点検する装置である。なお、鉄塔３００は、撮像対象物の一例であり、劣化症状を確認するための点検が必要となる構造物であればいずれであってもよい。他の例としては、例えば、鉄橋、文化建造物、銅像、橋梁などがある。

端末４００は、飛翔体２００の飛行や、飛翔体２００に備えられたカメラによる撮像を制御する端末である。例えば、端末４００は、飛翔体２００の飛行経路や、画像の撮像回数などを飛翔体２００に設定する。なお、端末４００は、一例として、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末などの情報処理装置（コンピュータ）であってもよい。

飛翔体２００は、少なくとも自律飛行機能と撮像機能とを備えた装置であって、例えば、ドローンである。具体的には、飛翔体２００は、端末４００により設定された飛行航路に従って飛行制御する飛行制御部や、撮像機能としてのカメラや、現在位置を取得する位置センサなどを備え、バッテリーに充電された電池により駆動する。

図２は、本発明における異常点検装置１００の機能構成例を示すブロック図である。図２に示すように、異常点検装置１００は、制御部１１０と、通信制御部１３０と、入出力部１４０と、記憶部１５０とを備える。

通信制御部１３０は、通信回線や電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続されるインターフェースである。すなわち、通信制御部１３０は、飛翔体２００や、出力先となる情報処理装置（不図示）等のような外部装置と通信回線を介してデータを通信する機能を有している。

入出力部１４０は、情報を入力または出力するためのタッチパネルなどである。なお、図２においては、入出力部１４０として、入力機能と出力機能が一体型となっている画面を例示するが、これに限定されず、キーボードなどの入力部を別に備えることで、入力機能と出力機能を別個の機能部としてもよい。

記憶部１５０は、画像情報データベース１５１を記憶する。画像情報データベース１５１には、画像情報と、色彩サンプル情報とが格納されている。ここで、画像情報とは、被写体の画像データのことである。また、色彩サンプル情報とは、被写体の劣化症状の一例となる錆や亀裂（クラック）の色彩を示すサンプルデータのことであり、サンプルデータとして、撮像された画像全体のＲＧＢや輝度に応じて複数のデータが保存されている。なお、サンプルデータは、画像情報データベース１５１に格納される例のほか、劣化症状を検出する処理の都度、後述する検出部１１３により定義された色彩が画像情報データベース１５１に保存される例としてもよい。

制御部１１０は、取得部１１１と、生成部１１２と、検出部１１３と、関連部１１４、分割部１１５と、算出部１１６と、判定部１１７と、表示制御部１１８と、送受信部１１９とを備える。なお、検出部１１３は、本発明における検出部と、推定部と、色彩定義部と、抽出部と、関連部とに相当し、生成部１１２は、本発明における生成部と、推定部とに相当し、算出部１１６は、本発明における面積算出部と、割合算出部に相当する。

送受信部１１９は、端末４００または飛翔体２００などの外部端末または外部装置との間で各種情報を送受信する。例えば、送受信部１１９は、端末４００から被写体の画像や、画像の撮像時における飛翔体２００の座標情報などを受信する。ここで、座標情報とは、画像の撮像時における飛翔体２００の座標位置を示す情報であって、飛翔体２００に搭載されたカメラに備えられている位置センサの値から導出される飛翔体２００の座標位置である。なお、座標情報は、各画像に関連付けられることとなる。

取得部１１１は、送受信部１１９を介して、飛翔体２００により撮像された被写体の画像を端末４００から取得する。具体的には、取得部１１１は、所定の撮影位置ごとに一部が相互に重複する複数の画像（例えば、一つの撮影位置において８枚の画像など）を取得する。また、所定の撮影位置とは、被写体の撮影箇所として被写体の部分ごとに定められた撮影位置のことであり、例えば、被写体である鉄塔３００を構成する部材ごとの撮影位置であってもよいし、上面、側面、背面、下面、内側面などのように三次元画像の展開図を構成する各面として一律に定められた撮影位置であってもよい。図３は、飛翔体２００の撮像位置の一例を示す図である。図３に示すように、飛翔体２００は、最初に撮像位置Ａにおいて鉄塔３００の画像を取得し、順に撮像位置Ｂ〜Ｃまでは、飛翔高度を上げながら、また、撮像位置Ｄ〜Ｆまでは、飛翔高度を下げながら各撮像位置において画像を取得する。ここで、飛翔体２００は螺旋を描くように飛行して撮影することで、鉄塔３００全体の各部分の撮影画像を取得することができる。

図４（ａ）〜図４（ｃ）は、所定の撮影位置ごとに一部が重複する画像を示す図である。例えば、図４（ａ）〜図４（ｃ）は、所定の撮影位置として図３において示した撮像位置Ａにおいて、相互に重複して撮像された鉄塔３００に含まれる部材３０１の３枚の画像である。図４（ａ）では、部材３０１の下部が画像フレームから切れており、下部以外は図４（ｂ）と重複する。また、図４（ｂ）において部材３０１は全景が画像フレームに含まれており、図４（ａ）および図４（ｃ）の一部と重複する。また、図４（ｃ）では、部材３０１の上部が画像フレームから切れており、上部以外は図４（ｂ）と重複する。

検出部１１３は、取得部１１１により取得された画像から、点検対象物である被写体の劣化領域を検出する。具体的には、検出部１１３は、取得部１１１により取得された画像に含まれる色彩のうち被写体の劣化症状と認定する色彩を定義する（色彩定義機能）。例えば、検出部１１３は、画像を所定の画素数からなる領域に分割し、分割した領域（以下、分割領域という。）に含まれる色彩のうち被写体の劣化症状（錆や亀裂など）と認定する色彩を領域ごとに定義する。一例として、検出部１１３は、画像情報データベース１５１から色彩サンプル情報を参照し、分割領域ごとに当該領域に含まれる色彩のうち劣化症状として認定する色彩を決定してもよい。図５は、検出部１１３により所定の領域ごとに分割された画像の一例を示す図である。図５に示す画像では、縦方向および横方向ともにそれぞれ４分割されており、全部で１６領域に分割されている。また、各領域には、画像における座標が付与されている。例えば、画像における最下段の左端列に位置する領域に座標（ｘ１、ｙ１）が付与されており、当該領域を基準に右列に位置する領域に対して順に１座標ずつ大きい数値のｘ座標が付与されており、当該領域を基準に上段に位置する領域に対して順に１座標ずつ大きい数値のｙ座標が付与されている。なお、本実施形態では、取得部１１１により取得された画像を用いて劣化領域を検出するが、これに限定されず、例えばマルチスペクトラムカメラやデプスカメラなどにより取得した画像を解析し、光線の波長や深度情報などを用いて劣化領域を検出することとしてもよい。例えば、色彩の代わり（または、色彩と共に）に、劣化症状に相当する可能性がある波長を定義しておくことで、色彩と同様に波長を用いることによっても劣化症状の検出を実現することができる。また、深度情報を用いる場合には、撮像位置から本来検出されるべき距離と異なる距離が検出された際に異常を検出することができる。

また、検出部１１３は、劣化症状として認定する色彩を複数のレベル分けして定義してもよい。例えば、検出部１１３は、劣化症状として認定する色彩を、軽度の劣化症状を示すレベルから高度の劣化症状を示すレベルまで５段階のランクに分けて定義する。

検出部１１３は、取得部１１１により取得された複数の画像を所定の撮影位置ごとに対応付けてグルーピングする。例えば、検出部１１３は、図４（ａ）〜図４（ｃ）に示す３枚の画像をグルーピングして、部材３０１の撮影位置に対応付ける。なお、グルーピングされる画像の数は、一つの撮影位置に対して複数あればよい。

関連部１１４は、取得部１１１により取得された画像と、詳細を後述する生成部１１２により生成された三次元画像とを座標情報で関連付ける。例えば、関連部１１４は、検出部１１３によりグルーピングされた画像群と、生成部１１２により生成された三次元画像とを所定の撮像位置が示す座標情報で関連付けてもよい。即ち、三次元画像の所定の撮像位置を示す座標情報に対して、その所定の撮像位置を撮像した撮像画像をグルーピングした画像群を対応付ける。また、関連部１１４は、検出部１１３により抽出された画像に画像ＩＤを付与し、画像ＩＤを付与した画像を生成部１１２により生成された三次元画像のテクスチャと関連付ける。

生成部１１２は、取得部１１１により取得された画像と当該画像の座標情報とを用いて被写体の三次元画像を生成する。例えば、生成部１１２は、取得部１１１により取得された複数の画像と各画像の座標情報を用いて、三次元写真測量や、空中三角測量などの手法により、カメラの撮像位置、画角、および被写体である点検対象物の実寸値を推定し（推定機能）、立体オブジェクトを生成する。次に、生成部１１２は、各画像に含まれる相対的なカメラ座標（(位置：ｘｙｚ座標)、(回転：ｏｐｋ座標)）を取得し、各画像のラップ率およびラップ領域を特定する。さらに、生成部１１２は、特定したラップ率と、ラップ領域と対応する箇所の画像の色とから、各三次元画像に含まれる部品の各場所の色としてのテクスチャを生成する。そして、生成部１１２は、生成したテクスチャを立体オブジェクトに貼付し、三次元画像を生成する。

図６は、被写体を構成する全ての構成物を一画像に示した図である。図６では、各構成物の画像が便宜上一画像上に展開されており、各構成物を示す画像部分には座標情報が関連付けられている。また、図７は、生成部１１２により二次元画像をもとに生成された被写体である鉄塔３００の三次元画像の一例を示す図である。図７に示す鉄塔３００の三次元画像のうち符号が付された構成物である部材３０２、部材３０３、部材３０４は、図６における同一符号が付された部材３０２、部材３０３、部材３０４とそれぞれ同一である。なお、図６では、部品それぞれを一画像にした例を示しているが、撮像画像全てをただ並べて一枚画像にしたものであってもよい。

検出部１１３は、劣化症状を示す色として定義された色彩が含まれる画像を分割領域ごとに抽出する（抽出機能）。具体的には、検出部１１３は、図６に示したテクスチャから、定義された色彩の箇所を抽出する。図６では、鉄塔３００の部材３０２、部材３０３、部材３０４において各黒塗りで表示されている箇所が、検出部１１３により抽出された色彩の箇所を示す。そして、当該色彩の箇所は、図７における鉄塔３００の三次元画像においても同様に、図６で示した黒塗りされた箇所に対応する部材３０２、部材３０３、部材３０４において各黒塗りで表示されている。また、検出部１１３は、グルーピングした画像の中から、定義された色彩の特徴量が最も多い画像を抽出する。さらに、検出部１１３は、グルーピングされた画像の中から、画像に含まれる色彩の特徴量が画像の中心により近い位置に含まれる画像を抽出してもよい。なお、例えば、検出部１１３により劣化部位が抽出される被写体となる設備としては、鉄塔、鋼管柱、コンクリート柱、建物、橋梁、文化建造物、銅像などがある。

分割部１１５は、生成部１１２により生成された点検対象物の立体オブジェクトを所定の領域に分割する。例えば、分割部１１５は、生成部１１２により生成された点検対象物の立体オブジェクトを、立体オブジェクトの長軸方向に対し所定軸長ごとに所定の領域に分割する。図８は、長軸方向に対し所定軸長ごとに所定の領域に分割された鉄塔３００の一例を示す図である。図８が示す破線は、鉄塔３００の長軸方向に対して、上部、中部、下部の３つに分割された例を示す。なお、分割の例はこれに限るものではなく、劣化状態が示す割合を検出したい領域であれば、どのように分割（または、領域を決定）してもよい。例えば、部位ごとの優先度として、下部、上部、中部の順に高い優先順位があらかじめ定められている。下部は、鉄塔３００全体の基幹になることから、地震のような災害などで倒壊しないようにするために保全が優先され、上部は下部ほどではないにせよ錆等を発生した場合、錆の発生箇所は下の方に比べて折れやすい可能性があることから、通行人等に被害が及ばないようにする必要があるから、上部の方が中部よりも優先順位が高い。このように、建造物の種類とその破損や劣化が生じる箇所の危険度または機能的な重要度によって修理または点検の必要性を判定するための優先順位を設定することができる。

算出部１１６は、取得部１１１により取得された前画像に、推定したカメラの撮像位置と、カメラの角度と、点検対象物の実寸値とを対応付けて、検出部１１３により検出された劣化領域の面積を算出する。当該面積は、例えば、三次元画像上における劣化領域を特定することで全劣化領域（あるいは一部の劣化領域）の面積を算出することもできるし、互いにラップしている撮像画像の中に含まれる劣化領域について、それぞれを撮像した位置との間の距離と、それぞれの撮像した位置におけるカメラの光軸の向き（角度）と、撮影位置までの距離との相対関係から、劣化領域の横幅や縦幅を算出することにより特定することにより算出することもできる。また、算出部１１６は、生成部１１２により生成された立体オブジェクトの表面画像の面積を取得し、取得した立体オブジェクトの表面画像の面積における、算出部１１６により算出された劣化領域の面積の割合を算出する。また、算出部１１６は、分割部１１５により立体オブジェクトの面積が所定の領域に分割された場合には、分割された領域ごとに、領域の面積における劣化領域の面積の割合を算出する。

判定部１１７は、算出部１１６により算出された劣化領域の割合が所定の閾値（例えば、２０％など）を超える場合に、点検対象物の修理または点検が必要であると判定する。ここで、判定部１１７は、算出部１１６により算出された割合が、分割部１１５により分割された所定の領域ごとの割合である場合、領域に応じて重み付けされた閾値を用いて判定することとしてもよい。また、他の例として、判定部１１７は、算出部１１６により算出された劣化領域の割合のほか、検出部１１３により検出された色彩の濃度が、所定の濃度以上であるか否かにより点検対象物の修理または点検の必要の有無を判定することとしてもよい。なお、劣化領域の割合と色彩の濃度の両方の組み合わせにより判定することとしてもよく、その場合に、重要視している方に重み付けを行って判定してもよい。また、判定部１１７は、点検対象物の種類に応じた優先順位と、劣化領域の面積または劣化領域の面積の割合の閾値により点検対象物に対する修理の必要性の有無を判定する。例えば、点検対象物として、電波塔、建物、銅像の種類があった場合、点検対象物が有する機能（ライフラインとしての機能、エンターテイメント機能など）の重要性などに応じて、電波塔、建物、銅像の順に高い優先順位があらかじめ定められる。また、判定部１１７は、劣化症状が検出された箇所に応じて、点検対象物の修理または点検が必要であると判定してもよい。例えば、あらかじめ定められた点検対象物の所定の箇所に劣化症状が検出された場合に、点検対象物の修理または点検が必要であると判定することとしてもよい。また、分割部１１５により分割される所定の領域、または、あらかじめ点検対象物の構成部材や部位ごとに重要度に応じた重み付け値が設定されており、判定部１１７は、重み付け値が反映された値が、所定の閾値を超えるか否かにより修理または点検の必要の有無を判定することとしてもよい。このように、点検対象を分割された所定の領域ごとでの劣化領域の割合を算出することで、点検対象の中でもどの部分を重点的に点検する必要があるのかの指標を示すことができる。

表示制御部１１８は、三次元画像において、関連部１１４により関連付けられた画像のうち検出部１１３により検出された画像に含まれる色彩を識別可能に表示する。例えば、表示制御部１１８は、三次元画像のうち検出部１１３により検出された画像に含まれる色彩をハイライト表示する。

また、表示制御部１１８は、生成部１１２により生成された三次元画像を画像の中のいずれか一部の指定を受け付け可能な表示情報を入出力部１４０に出力し、指定を受け付けた箇所に対応する二次元画像を出力する。例えば、表示制御部１１８は、三次元画像に含まれる構成物（部材）、または、部位の中からいずれかの指定を受け付けた場合に、指定を受け付けた箇所の座標情報に関連付けられたグルーピングされた画像群を入出力部１４０に表示する。なお、表示の方法は、グルーピングされた画像群の画像が一つずつ順次表示されてもよいし、グルーピングされた画像群の全ての画像、または複数の画像のプレビュー画像が同時に表示され、その中からユーザによる選択により全画像が表示されてもよい。また、表示制御部１１８は、部位ごとの劣化領域の割合を示す数値を表示してもよいし、劣化領域の割合の数値に応じて三次元画像を色分けしたホットマップ表示を行ってもよい。

次に、異常点検装置１００による点検対象物の三次元画像を生成し、劣化部位を検出する処理について説明する。図９は、異常点検装置１００による点検対象物の劣化部位の検出処理の流れを示すフローチャートである。以降のフローチャートにおいて、点検対象物を鉄塔３００、劣化症状が錆である例を示す。

取得部１１１は、飛翔体２００から画像を取得する（ステップＳ１）。ここで、取得部１１１は、画像とともに、当該画像の座標情報を取得する。生成部１１２は、鉄塔３００の立体オブジェクトを生成する（ステップＳ２）。検出部１１３は、錆を示す色彩を定義する（ステップＳ３）。

検出部１１３は、撮影位置ごとに画像をグルーピングする（ステップＳ４）。生成部１１２は、撮影位置ごとに一画像を選定する（ステップＳ５）。生成部１１２は、ステップＳ５において選定した画像から立体オブジェクトに貼付されることとなる三次元画像のテクスチャを生成する（ステップＳ６）。

検出部１１３は、ステップＳ３において定義した色彩を含む画像を検出する（ステップＳ７）。例えば、検出部１１３は、複数の画像の中から定義した色彩を最も多く含む画
像を抽出する。関連部１１４は、ステップＳ７において抽出された画像に対して画像ＩＤを付与する（ステップＳ８）。関連部１１４は、ステップＳ８において画像ＩＤを付与した画像をステップＳ６において生成されたテクスチャと関連付ける（ステップＳ９）。

表示制御部１１８は、ステップＳ７において検出された画像のうち定義された色彩部分を他の部分と識別可能に表示する（ステップＳ１０）。例えば、表示制御部１１８は、ステップＳ６において生成したテクスチャにおいて定義された色彩部分をハイライト表示する。生成部１１２は、ステップＳ１において取得した画像と当該画像の座標情報を用いて、カメラの位置、画角、点検対象物の実寸値を推定する（ステップＳ１１）。生成部１１２は、ステップＳ１０においてハイライト表示した三次元画像のテクスチャを、ステップＳ２において生成した立体オブジェクトに貼付し、点検対象物の三次元画像を生成する（ステップＳ１２）。

次に、異常点検装置１００による被写体の三次元画像における劣化部位の検出処理の他の例について説明する。図１０は、異常点検装置１００による点検対象物の劣化部位の検出処理の流れを示すフローチャートである。

ステップＳ２１およびステップＳ２２は、図９で説明したフローチャートにおけるステップＳ１およびステップＳ２と同様の処理であるため説明を省略する。ステップＳ２３において、検出部１１３は、撮影位置ごとに画像をグルーピングする（ステップＳ２３）。生成部１１２は、撮影位置ごとに一画像を選定する（ステップＳ２４）。生成部１１２は、ステップＳ２４において選定した画像から立体オブジェクトに貼付されることとなる三次元画像のテクスチャを生成する（ステップＳ２５）。生成部１１２は、ステップＳ２１において取得した画像と当該画像の座標情報を用いて、カメラの位置、画角、点検対象物の実寸値を推定する（ステップＳ２６）。生成部１１２は、ステップＳ２５において生成した三次元画像のテクスチャを、ステップＳ２２において生成した立体オブジェクトに貼付し、点検対象物の三次元画像を生成する（ステップＳ２７）。

検出部１１３は、錆を示す色彩を定義する（ステップＳ２８）。検出部１１３は、ステップＳ３において定義した色彩を含む画像を検出する（ステップＳ２９）。例えば、検出部１１３は、複数の画像の中から定義した色彩を最も多く含む画像を抽出する。

次に、異常点検装置１００による点検対象物に対する修理の必要性の判定処理について説明する。図１１は、異常点検装置１００による点検対象物に対する修理の必要性の判定処理の流れを示すフローチャートである。

算出部１１６は、飛翔体２００にから取得した各画像に、当該画像の撮像時におけるカメラ位置、カメラ角度、実寸値を対応付ける（ステップＳ３１）。算出部１１６は、検出部１１３により検出された色彩部分、すなわち錆面積を算出する（ステップＳ３２）。算出部１１６は、鉄塔３００の立体オブジェクトの表面積を取得する（ステップＳ３３）。具体的には、算出部１１６は、生成部１１２により生成されたテクスチャの実寸値を取得する。算出部１１６は、鉄塔３００全体における錆の割合を算出する（ステップＳ３４）。

判定部１１７は、鉄塔３００全体における錆の割合が所定値以上であるか否かを判定する（ステップＳ３５）。判定部１１７は、ステップＳ３５において、鉄塔３００全体における錆の割合が所定値以上であると判定した場合（ステップＳ２５：Ｙｅｓ）、鉄塔３００の修理が必要であると判定する（ステップＳ３７）。なお、修理の必要性の他、点検が必要であると判定される場合もある。一方、ステップＳ３５において、判定部１１７は、鉄塔３００全体における錆の割合が所定値以上であると判定した場合（ステップＳ３５：Ｎｏ）、鉄塔３００の修理は不要であると判定する（ステップＳ３６）。なお、修理の要否の出力に代えて、または、併せて錆の割合の数値そのものを出力してもよい。

次に、異常点検装置１００による点検対象物に対する修理の必要性の判定処理の他の例について説明する。図１２は、異常点検装置１００による点検対象物に対する修理の必要性の判定処理の流れを示すフローチャートである。

ステップＳ４１およびステップＳ４２は、図１１で説明したフローチャートにおけるステップＳ３１およびステップＳ３２と同様の処理であるので説明を省略する。ステップＳ４３において、分割部１１５は、生成部１１２により生成された３Ｄモデルを所定領域に分割する（ステップＳ４３）。算出部１１６は、ステップＳ４３において分割された所定領域の表面積を取得する（ステップＳ４４）。算出部１１６は、ステップＳ４４において取得した所定領域の表面積における、ステップＳ４２において算出した錆面積の割合を算出する（ステップＳ４５）。判定部１１７は、ステップＳ４５において算出された錆面積の割合が所定値以上であるか否かを判定する（ステップＳ４６）。判定部１１７は、ステップＳ４６において、ステップＳ４５において算出された錆面積の割合が所定値以上であると判定した場合（ステップＳ４６：Ｙｅｓ）、当該領域の修理が必要であると判定する（ステップＳ４８）。一方、ステップＳ４６において、判定部１１７は、ステップＳ４５において算出された錆面積の割合が所定値以上でないと判定した場合（ステップＳ４６：Ｎｏ）、当該領域の修理は不要であると判定する（ステップＳ４７）。

このように、本実施形態における異常点検装置１００によれば、飛翔体２００により撮像された点検対象物の画像および座標情報を用いて点検対象物の実寸値を把握可能な三次元画像を生成し、点検構造物全体における劣化症状の割合および劣化症状が発生している位置を提示することができる。

図１３は、本実施形態における異常点検装置１００を実現可能なコンピュータ２０の一例を示すハードウェア構成図である。図１３に示すように、コンピュータ２０は、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、ＨＤＤ（Hard Disk Drive）２４、通信インターフェース（Ｉ／Ｆ）２５、入出力インターフェース（Ｉ／Ｆ）２６、およびメディアインターフェース（Ｉ／Ｆ）２７を備える。

ＣＰＵ２１は、ＲＯＭ２３またはＨＤＤ２４に格納されたプログラムにより動作し、各部の制御を行う。ＲＯＭ２３は、コンピュータ２０の起動時にＣＰＵ２１によって実行されるブートプログラムや、コンピュータ２０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ２４は、ＣＰＵ２１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェース２５は、通信回線を介して外部機器から受信したデータをＣＰＵ２１に送り、ＣＰＵ２１が生成したデータを、通信回線を介して外部機器に送信する。

ＣＰＵ２１は、入出力インターフェース２６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ２１は、入出力インターフェース２６を介して、入力装置からデータを取得する。また、ＣＰＵ２１は、生成したデータを、入出力インターフェース２６を介して出力装置へ出力する。

メディアインターフェース２７は、記憶媒体（不図示）に格納されたプログラムまたはデータを読み取り、ＲＡＭ２２を介してＣＰＵ２１に提供する。ＣＰＵ２１は、当該プログラムを、メディアインターフェース２７を介して記憶媒体からＲＡＭ２２上にロードし、ロードしたプログラムを実行する。記憶媒体は、例えばＤＶＤ（Digital Versatile Disc）等の光学記憶媒体、磁気記憶媒体、または半導体メモリ等である。

コンピュータ２０が本実施形態における異常点検装置１００として機能する場合、コンピュータ２０のＣＰＵ２１は、ＲＡＭ２２上にロードされたプログラムを実行することにより、取得部１１１、生成部１１２、検出部１１３、関連部１１４、分割部１１５、算出部１１６、判定部１１７、表示制御部１１８、送受信部１１９の各機能を実現する。また、ＨＤＤ２４には、画像情報データベース１５１内のデータが格納される。

異常点検システム１は、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。コンピュータ２０のＣＰＵ２１は、これらのプログラムを、メディアインターフェース２７を介して上記の記憶媒体から読み取って実行するが、他の例として、外部装置から、通信回線を介してこれらのプログラムを取得してもよい。

なお、異常点検システムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Swift、Java（登録商標）などのコンパイラ言語などを用いて実装できる。

１ 異常点検システム
１００ 異常点検装置
１１０ 制御部
１１１ 取得部
１１２ 生成部
１１３ 検出部
１１４ 関連部
１１５ 分割部
１１６ 算出部
１１７ 判定部
１１８ 表示制御部
１１９ 送受信部
１３０ 通信制御部
１４０ 入出力部
１５０ 記憶部
１５１ 画像情報データベース
２００ 飛翔体
３００ 鉄塔
４００ 端末

Claims (18)

1. カメラを搭載する飛翔体と、前記飛翔体により撮像された画像から点検対象物の三次元画像を生成する異常点検装置とを含む異常点検システムであって、
   前記異常点検装置は、
   前記飛翔体から、前記点検対象物の画像と、前記画像の撮像時における前記飛翔体の座標位置を示す座標情報とを取得する取得部と、
   前記取得部により取得された画像から前記点検対象物の劣化領域を検出する検出部と、
   前記取得部により取得された画像および前記座標情報を用いて、前記カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値を推定する推定部と、
   前記推定部により推定された前記カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値と、前記画像とから立体オブジェクトを生成する生成部と、
   前記取得部により取得された前記画像に、前記推定部により推定された前記カメラの撮像位置と、前記カメラの角度と、前記点検対象物の実寸値とを対応付けて、前記検出部により検出された前記劣化領域の面積を算出する面積算出部と、
   前記生成部により生成された前記立体オブジェクトの表面画像の面積を取得し、取得した前記立体オブジェクトの表面画像の面積における、前記算出部により算出された前記劣化領域の面積の割合を算出する割合算出部と、
   を備えることを特徴とする異常点検システム。
2. 前記異常点検装置は、
   前記生成部により生成された前記点検対象物の立体オブジェクトを所定の領域に分割する分割部、
   をさらに備え、
   前記割合算出部は、前記分割部により分割された領域ごとに、前記領域の面積における前記劣化領域の面積の割合を算出すること、
   を特徴とする請求項１に記載の異常点検システム。
3. 前記分割部は、前記生成部により生成された前記点検対象物の立体オブジェクトを、前記立体オブジェクトの長軸方向に対し所定軸長ごとに所定の領域に分割し、
   前記割合算出部は、前記分割部により分割された領域ごとに、前記領域の面積における前記劣化領域の面積の割合を算出すること、
   を特徴とする請求項２に記載の異常点検システム。
4. 前記異常点検装置は、
   前記割合算出部により算出された割合が所定の閾値を超える場合に、前記点検対象物の修理が必要であると判定する判定部、
   をさらに備えることを特徴とする請求項１〜３のいずれか１つに記載の異常点検システム。
5. 前記判定部は、前記点検対象物の種類に応じた優先順位と、前記劣化領域の面積または前記劣化領域の面積の割合の閾値により前記点検対象物に対する修理の必要の有無を判定すること、
   を特徴とする請求項４に記載の異常点検システム。
6. 前記取得部は、記飛翔体から、前記点検対象物の撮像時における前記飛翔体の所定の撮像位置ごとに一部が相互に重複する画像と、前記画像の撮像時における前記飛翔体の座標位置を示す座標情報とを取得し、
   前記画像に含まれる色彩のうち前記点検対象物の劣化症状と認定する色彩を定義する色彩定義部と、
   前記取得部により取得された複数の画像の中で前記色彩定義部により定義された色彩が含まれる画像を抽出する抽出部と、
   前記抽出部により抽出された前記色彩が含まれる画像と、前記生成部により生成された三次元画像とを座標情報で関連付ける関連部と、
   前記三次元画像において、前記関連部により関連付けられた画像に含まれる前記色彩を識別可能に表示する表示制御部と、
   をさらに備えることを特徴とする請求項１〜５のいずれか１つに記載の異常点検システム。
7. 前記色彩定義部は、前記画像を所定の画素数からなる領域に分割し、分割した領域に含まれる色彩のうち前記点検対象物の劣化症状と認定する色彩を前記領域ごとに定義し、
   前記抽出部は、前記領域ごとに前記色彩が含まれる領域を含む画像を抽出すること、
   を特徴とする請求項６に記載の異常点検システム。
8. 前記異常点検装置は、
   前記取得部により取得された複数の画像を所定の撮影位置ごとに対応付けてグルーピングする画像分類部、
   をさらに備え、
   前記抽出部は、前記画像分類部によりグルーピングされた画像の中から、前記色彩の特徴量が最も多い画像を抽出すること、
   を特徴とする請求項６または７に記載の異常点検システム。
9. 前記抽出部は、前記画像に含まれる前記色彩の特徴量が、前記画像の中心により近い位置に含まれる画像を抽出すること、
   を特徴とする請求項６〜８のいずれか１つに記載の異常点検システム。
10. 前記色彩定義部は、前記劣化症状の度合いに応じて複数のランクを定義し、
    前記抽出部は、前記生成部により生成された三次元画像の中でいずれかの前記ランクに該当する色彩が含まれる画像を抽出し、
    前記表示制御部は、前記色彩が含まれる箇所をランク別に識別可能に表示すること、
    を特徴とする請求項６〜９のいずれか１つに記載の異常点検システム。
11. 前記色彩定義部は、劣化症状の度合いに応じて複数のランクを定義し、
    前記抽出部は、前記取得部により取得された画像の中で前記ランクが最も高い色彩を含む画像を抽出すること、
    を特徴とする請求項６〜１０のいずれか１つに記載の異常点検システム。
12. 前記表示制御部は、前記生成部により生成された三次元画像において、前記関連部により関連付けられた画像に含まれる前記色彩をハイライト表示すること、
    を特徴とする請求項６〜１１のいずれか１つに記載の異常点検システム。
13. 前記表示制御部は、前記生成部により生成された三次元画像のうちいずれか一部の指定を受け付け、指定を受け付けた箇所に対応する二次元画像を出力すること、
    を特徴とする請求項６〜１２のいずれか１つに記載の異常点検システム。
14. 前記表示制御部は、前記生成部により生成された三次元画像のうちいずれか一部の指定を受け付け、指定を受け付けた箇所に該当する前記領域に対応するグルーピングされた画像群の画像を一つ以上出力すること、
    を特徴とする請求項８〜１２のいずれか１つに記載の異常点検システム。
15. 前記色彩定義部は、前記画像に含まれる色彩のうち点検対象物の錆またはひび割れを示す劣化症状と認定する色彩を定義すること、
    を特徴とする請求項６〜１４のいずれか１つに記載の異常点検システム。
16. カメラを搭載する飛翔体により撮像された画像から点検対象物の三次元画像を生成する異常点検装置であって、
    前記飛翔体から、前記点検対象物の画像と、前記画像の撮像時における前記飛翔体の座標位置を示す座標情報とを取得する取得部と、
    前記取得部により取得された画像から前記点検対象物の劣化領域を検出する検出部と、
    前記取得部により取得された画像および前記座標情報を用いて、前記カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値を推定する推定部と、
    前記推定部により推定された前記カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値と、前記画像とから立体オブジェクトを生成する生成部と、
    前記取得部により取得された前記画像に、前記推定部により推定された前記カメラの撮像位置と、前記カメラの角度と、前記点検対象物の実寸値とを対応付けて、前記検出部により検出された前記劣化領域の面積を算出する面積算出部と、
    前記生成部により生成された前記立体オブジェクトの表面画像の面積を取得し、取得した前記立体オブジェクトの表面画像の面積における、前記算出部により算出された前記劣化領域の面積の割合を算出する割合算出部と、
    を備えることを特徴とする異常点検装置。
17. カメラを搭載する飛翔体により撮像された画像から点検対象物の三次元画像を生成する異常点検装置における異常点検方法であって、
    前記飛翔体から、前記点検対象物の画像と、前記画像の撮像時における前記飛翔体の座標位置を示す座標情報とを取得する取得ステップと、
    前記取得ステップにより取得された画像から前記点検対象物の劣化領域を検出する検出ステップと、
    前記取得ステップにより取得された画像および前記座標情報を用いて、前記カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値を推定する推定ステップと、
    前記推定ステップにより推定された前記カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値と、前記画像とから立体オブジェクトを生成する生成ステップと、
    前記取得ステップにより取得された前記画像に、前記推定ステップにより推定された前記カメラの撮像位置と、前記カメラの角度と、前記点検対象物の実寸値とを対応付けて、前記検出ステップにより検出された前記劣化領域の面積を算出する面積算出ステップと、
    前記生成ステップにより生成された前記立体オブジェクトの表面画像の面積を取得し、取得した前記立体オブジェクトの表面画像の面積における、前記算出ステップにより算出された前記劣化領域の面積の割合を算出する割合算出ステップと、
    を含むことを特徴とする異常点検方法。
18. コンピュータを、
    飛翔体から、点検対象物の画像と、前記画像の撮像時における前記飛翔体の座標位置を示す座標情報とを取得する取得機能と、
    前記取得機能により取得された画像から前記点検対象物の劣化領域を検出する検出機能と、
    前記取得機能により取得された画像および前記座標情報を用いて、カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値を推定する推定機能と、
    前記推定機能により推定された前記カメラの撮像位置、前記カメラの角度、および前記点検対象物の実寸値と、前記画像とから立体オブジェクトを生成する生成機能と、
    前記取得機能により取得された前記画像に、前記推定機能により推定された前記カメラの撮像位置と、前記カメラの角度と、前記点検対象物の実寸値とを対応付けて、前記検出機能により検出された前記劣化領域の面積を算出する面積算出機能と、
    前記生成機能により生成された前記立体オブジェクトの表面画像の面積を取得し、取得した前記立体オブジェクトの表面画像の面積における、前記算出機能により算出された前記劣化領域の面積の割合を算出する割合算出機能、
    として実現させることを特徴とする異常点検プログラム。

Images