JP2021032650A - 劣化状態検出装置及び劣化状態検出方法 - Google Patents

Abstract

【課題】３次元構造物に対する錆などの劣化状態の評価を迅速かつ高精度に行うことができる劣化状態検出装置及び劣化状態検出方法を提供すること。【解決手段】３次元構造物である送電鉄塔１００の画像を取得し、該画像をもとに送電鉄塔１００の劣化状態である錆を検出する錆検出装置１０であって、送電鉄塔１００の全体画像を取得する画像取得部３２と、画像セグメンテーションによって送電鉄塔１００を抽出する構造物抽出推論モデルを用いて全体画像から送電鉄塔１００の構造物領域を抽出する構造物領域抽出部３３と、画像セグメンテーションによって錆領域を抽出する劣化抽出推論モデルを用いて全体画像から錆領域を抽出する錆領域抽出部３４と、構造物領域の画素数に対する、構造物領域と錆領域との重複領域における錆領域の画素数の値を錆評価値として算出して出力する評価部３５とを備える。【選択図】図１

Description

本発明は、鉄塔や橋梁などの３次元構造物に対する錆などの劣化状態の評価を迅速かつ高精度に行うことができる劣化状態検出装置及び劣化状態検出方法に関する。

従来、鉄塔や橋梁などのインフラ設備の老朽化を定期的に監視することが行われている。例えば、送電鉄塔等の鋼材には腐食の予防を目的として亜鉛めっき等の塗装が施されている。しかし、時間の経過とともに塗装が剥がれ、露出された鋼材表面の発錆状況が進行することから、適切な時期における補修が必要とされていた。この適切な補修時期を決めるために、例えば送電鉄塔等の場合には外観を作業員等が目視により観察し、鉄塔表面の発錆状況を判断していた。

これに対し、特許文献１には、溶融亜鉛メッキを施した鋼材の劣化状況写真を用いて鋼材表面の劣化度を評価する、画像処理を用いた鋼材表面の劣化度評価方法が開示されている。

特開平１１−３７９５０号公報

しかしながら、鉄塔や橋梁などの大きな３次元構造物に対する錆を含む腐食を含む劣化状態を、画像を用いて評価する場合、画像処理範囲が広く、３次元構造物全体に対する劣化状態評価に多大な時間がかかる。一方、３次元構造物を撮像した画像には、３次元構造物以外の背景が含まれ、この背景に錆などが発生している物体が存在すると、単純な画像処理では、この物体の錆も３次元構造物の錆とみなされ、劣化状態の評価精度が低下するという課題があった。

本発明は、上記従来技術の課題を解決するためになされたものであって、３次元構造物に対する錆などの劣化状態の評価を迅速かつ高精度に行うことができる劣化状態検出装置及び劣化状態検出方法を提供することを目的とする。

上記の課題を解決するため、本発明は、３次元構造物の画像を取得し、該画像をもとに前記３次元構造物の劣化状態を検出する劣化状態検出装置であって、前記３次元構造物の全体画像を取得する画像取得部と、画像セグメンテーションによって前記３次元構造物を抽出する構造物抽出推論モデルを用いて前記全体画像から前記３次元構造物の構造物領域を抽出する構造物領域抽出部と、画像セグメンテーションによって劣化領域を抽出する劣化抽出推論モデルを用いて前記全体画像から前記劣化領域を抽出する劣化領域抽出部と、前記構造物領域の画素数に対する、前記構造物領域と前記劣化領域との重複領域における前記劣化領域の画素数の値を劣化評価値として算出して出力する評価部と
を備えたことを特徴とする。

また、本発明は、上記の発明において、前記構造物領域と、前記構造物領域上において色付けした前記劣化領域とを表示出力する表示処理部を備えたことを特徴とする。

また、本発明は、上記の発明において、前記劣化領域抽出部は、前記劣化領域を、劣化度合いに対応した段階的な複数の劣化分割領域に分割して抽出し、前記評価部は、各劣化分割領域の画素数に対し、前記劣化度合いに対応した重み付けを行った値の加算値を求め、前記構造物領域の画素数の値に対する前記加算値の値を劣化評価値として算出して出力することを特徴とする。

また、本発明は、上記の発明において、前記表示処理部は、前記劣化分割領域を前記劣化度合いに対応した色分け表示を行って表示出力することを特徴とする。

また、本発明は、上記の発明において、前記構造物領域における所定特徴部の領域を特徴領域として抽出する特徴領域抽出部を備え、前記評価部は、前記特徴領域内の劣化領域の画素に対する重み付けを他の領域の重み付けに対して大きくして前記劣化評価値を算出することを特徴とする。

また、本発明は、上記の発明において、前記全体画像は、前記３次元構造物に対して複数方向から取得したものであり、前記劣化評価値は、各全体画像の劣化評価値の平均値であることを特徴とする。

また、本発明は、上記の発明において、前記全体画像は、前記３次元構造物の長手方向の軸に対して複数方向から撮像した複数の全体画像であり、各全体画像は、前記長手方向に垂直な方向から撮像したものであることを特徴とする。

また、本発明は、上記の発明において、飛行体に搭載された撮像部を用いて撮像した前記３次元構造物の部分画像を取得し、該部分画像を合成して前記全体画像を生成する全体画像生成部を備えたことを特徴とする。

また、本発明は、上記の発明において、前記評価部は、前記全体画像の撮像条件をもとに、前記劣化領域の実面積を含む前記劣化領域の実寸法を算出することを特徴とする。

また、本発明は、上記の発明において、前記３次元構造物は、送電鉄塔であり、前記劣化領域の劣化は、錆であり、前記所定特徴部は、構造体接合部、前記送電鉄塔の下部領域、碍子接合部の１以上の組み合わせであることを特徴とする。

また、本発明は、上記の発明において、前記表示処理部は、前記劣化領域を含む構造物領域の所望部分領域を拡大して表示する機能を有することを特徴とする。

また、本発明は、３次元構造物の画像を取得し、該画像をもとに前記３次元構造物の劣化状態を検出する劣化状態検出方法であって、前記３次元構造物の全体画像を取得する画像取得ステップと、画像セグメンテーションによって前記３次元構造物を抽出する構造物抽出推論モデルを用いて前記全体画像から前記３次元構造物の構造物領域を抽出する構造物領域抽出ステップと、画像セグメンテーションによって劣化領域を抽出する劣化抽出推論モデルを用いて前記全体画像から前記劣化領域を抽出する劣化領域抽出ステップと、前記構造物領域の画素数に対する、前記構造物領域と前記劣化領域との重複領域における前記劣化領域の画素数の値を劣化評価値として算出して出力する評価ステップとを含むことを特徴とする。

また、本発明は、上記の発明において、前記全体画像は、前記３次元構造物の長手方向の軸に対して複数方向から撮像した複数の全体画像であり、各全体画像は、飛行体に搭載された撮像部を用いて前記長手方向に沿って移動しつつ前記長手方向に垂直な方向から順次撮像した前記３次元構造物の部分画像を合成したものであることを特徴とする。

本発明によれば、３次元構造物に対する錆などの劣化状態の評価を迅速かつ高精度に行うことができる。

図１は、本実施の形態に係る錆検出システムの概要構成を示す図である。 図２は、部分画像の取得を説明する説明図である。 図３は、部分画像と全体画像との関係を示す図である。 図４は、鉛直上方から送電鉄塔をみた場合における撮像部の撮像方向を示す図である。 図５は、錆検出処理を説明する説明図である。 図６は、制御部による錆評価処理手順を示すフローチャートである。 図７は、本本変形例に係る錆検出システムの概要構成を示す図である。 図８は、送電鉄塔の所定特徴部の一例を示す図である。

以下に、添付図面を参照して、本発明に係る劣化状態検出装置及び劣化状態検出方法の好適な実施の形態を詳細に説明する。

＜錆検出システムの概要＞
まず、本実施の形態に係る錆検出システムの概要について説明する。図１は、本実施の形態に係る錆検出システム１の概要構成を示す図である。なお、本実施の形態では、劣化状態の検出の一例として錆の度合いを検出する場合について説明するが、劣化状態としては、錆のほか、ヒビ、剥がれ、部位破損などであってもよい。また、劣化状態の検出対象である３次元構造物の一例として送電鉄塔１００を示しているが、その他、橋梁などの３次元構造物であってもよい。

図１に示すように、錆検出システム１は、錆検出装置１０がネットワークＮを介して飛行隊であるドローン２に接続される。そして、ドローン２には、カメラなどの撮像部３が搭載されている。ドローン２は、３次元構造物である送電鉄塔１００の周囲を、例えば鉛直方向（３次元構造物の長手方向の軸に沿って）に移動しつつ、撮像部３によって、送電鉄塔１００の水平方向からみた１面の全体画像を撮像する。本実施の形態では、送電鉄塔１００に対する部分画像を複数撮像し、この複数の部分画像を錆検出装置１０に送信し、錆検出装置１０が部分画像をもとに全体画像を生成するようにしている。

＜錆検出装置の構成＞
次に、図１に示した錆検出装置１０の構成について説明する。錆検出装置１０は、入力部１１、表示部１２、通信部１３、記憶部１４及び制御部１５を有し、ネットワークＮに接続される。入力部１１は、キーボードやマウス等の入力デバイスである。表示部１２は、液晶ディスプレイ装置等の表示デバイスである。通信部１３は、ドローン２及び撮像部３との通信を行う通信インタフェースである。撮像部３を含むドローン２とは、例えばＬＴＥ（登録商標）などの遠距離通信規格やＷｉＦｉ（登録商標）などの近距離通信規格によって接続される。

記憶部１４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、構造物抽出推論モデルデータ２１、錆抽出推論モデルデータ２２、構造物領域データ２３、錆領域データ２４、重複領域データ２５、錆評価データ２６、飛行設定データ２７及び撮像設定データ２８を記憶する。

構造物抽出推論モデルデータ２１は、画像セグメンテーションによって３次元構造物である送電鉄塔１００を抽出する構造物抽出推論モデルのデータである。この構造物抽出推論モデルは、図示しない全体画像としての教師データを用いた深層学習によって得られたものであり、全体画像の入力に対して送電鉄塔１００の領域と送電鉄塔１００でない領域とを出力する。

錆抽出推論モデルデータ２２は、画像セグメンテーションによって劣化領域である錆領域を抽出する錆抽出推論モデルのデータである。この錆抽出推論モデルは、図示しない全体画像としての教師データを用いた深層学習によって得られたものであり、全体画像の入力に対して錆領域のみを抽出して出力する。この錆領域は、錆の度合いに対応した段階的な複数の錆分割領域であり、例えば、錆の度合いを高、中、低に３分割し、錆抽出推論モデルは、入力された全体画像に対して、この３つの錆領域と錆のない領域との４つの領域を出力する。ここで、錆抽出推論モデルは、高、中、低の各錆分割領域を、錆の劣化状態に対応させて、例えば、それぞれ赤色、オレンジ色、黄色の画素として色付けされて出力する。なお、構造物抽出推論モデル及び錆抽出推論モデルは、画像セグメンテーションの処理を行うため、出力は画素ごとに行われる。

構造物領域データ２３は、構造物抽出推論モデルの出力データである。また、錆領域データ２４は、錆抽出推論モデルの出力データである。重複領域データ２５は、構造物領域データ２３の送電鉄塔１００の領域と、送電鉄塔１００の領域上の錆領域とを重複したデータである。錆評価データ２６は、重複領域データ２５の各画素をもとに錆の劣化状態を評価した評価値のデータである。飛行設定データ２７は、ドローン２の航行を予め設定するデータである。撮像設定データ２８は、撮像タイミングや撮像条件などを設定するデータである。

制御部１５は、錆検出装置１０の全体を制御する制御部であり、全体画像生成部３１、画像取得部３２、構造物領域抽出部３３、錆領域抽出部３４、評価部３５、表示処理部３６、飛行制御部３７及び撮像制御部３８を有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、全体画像生成部３１、画像取得部３２、構造物領域抽出部３３、錆領域抽出部３４、評価部３５、表示処理部３６、飛行制御部３７及び撮像制御部３８にそれぞれ対応するプロセスを実行させることになる。

全体画像生成部３１は、撮像部３が撮像した複数の部分画像をもとに、１つの全体画像を生成する。画像取得部３２は、撮像部３から部分画像を受信し、受信した部分画像を全体画像生成部３１に送り、生成された全体画像を取得する。各部分画像は、送電鉄塔１００の長手方向の軸に垂直な方向から、長手方向の軸方向に移動しつつ同じ撮像距離で撮像した画像である。

構造物領域抽出部３３は、構造物抽出推論モデルを用いて、全体画像から送電鉄塔１００の構造物領域を抽出して構造物領域データ２３を生成する。錆領域抽出部３４は、錆抽出推論モデルを用いて、全体画像から錆領域を抽出して錆領域データ２４を生成する。

評価部３５は、構造物領域の画素数に対する、構造物領域と錆領域との重複領域における錆領域の画素数の値を錆評価値として算出して記憶部１４及び表示部１２に出力する。表示処理部３６は、構造物領域と、構造物領域上において色付けした錆領域とを表示出力する。なお、表示処理部３６は、表示された錆領域などを拡大表示する機能を有する。

飛行制御部３７は、ドローン２の航行を遠隔制御する。撮像制御部３８は、撮像部３の撮像タイミングを飛行制御部３７と協同して遠隔制御する。

＜部分画像及び全体画像＞
図２は、部分画像の取得を説明する説明図である。図２に示すように、送電鉄塔１００は、鉛直方向に長い構造物であるため、撮像部３は、鉛直方向に沿って複数の部分画像を取得する。撮像部３は、ドローン２に搭載され、鉛直方向の底部から順次、高部に向かって部分画像を取得する。撮像部３の最初の位置は、送電鉄塔１００の最も幅ｗが広いところが含まれるように、撮像部３の画角θと、送電鉄塔１００から撮像部３への距離ｄとによって決定される。なお、撮像部３の焦点も送電鉄塔１００に合わせる必要がある。撮像部３の最初の高さｈ１は、画像のアスペクト比と幅ｗとによって決定される。すなわち、高さｈ１は、アスペクト比によって決定される高さの１／２となる。鉛直方向は、被写体としての送電鉄塔１００の長手方向の軸Ｃに沿った方向であり、撮像方向は、この長手方向の軸Ｃに垂直な方向である。

図３は、部分画像Ｐ１〜Ｐ４と全体画像Ｐとの関係を示す図である。図３に示すように、高さｈ１で撮像された部分画像Ｐ１と、次の高さｈ２で撮像された部分画像Ｐ２とは、その後の全体画像Ｐを生成するために、重複領域Ｅ１２をもたせる。同様に、次の高さｈ３で撮像された部分画像Ｐ３と部分画像Ｐ２とは、重複領域Ｅ２４をもつ。同様に、次の高さｈ４で撮像された部分画像Ｐ４と部分画像Ｐ３とは、重複領域Ｅ３４をもつ。さらに、撮像部３は、鉛直方向に上方に移動して、図示しない部分画像Ｐ５を撮像するが、この部分画像Ｐ５には、送電鉄塔１００が撮像されていないため、棄却されることになる。全体画像Ｐは、全体画像生成部３１によって部分画像Ｐ１〜Ｐ４を合成して生成されることになる。

なお、予め送電鉄塔１００の高さｈがわかっている場合には、部分画像Ｐ５を撮像せずに、部分画像Ｐ１〜Ｐ４のみを撮像する。また、ドローン２は、飛行制御部３７によって高さｈ１〜ｈ４で撮像部３を送電鉄塔１００側に向けてホバリングし、この時に、撮像制御部３８が部分画像Ｐ１〜Ｐ４を撮像する。なお、撮像制御部３８による自動撮像ではなく、ドローン２が高さｈ１〜ｈ４でホバリングした時点で、手動撮像を行い、手動撮像が終わった時点で、ドローン２が次の高さに移動するようにしてもよい。

図４は、鉛直上方から送電鉄塔１００をみた場合における撮像部３の撮像方向を示す図である。図４に示すように、送電鉄塔１００には、送電線が、かけ渡されており、ドローン２との接触や電波障害が発生しやすいため、送電線の外側の四方の４つの方向Ａ１〜Ａ４からそれぞれ全体画像Ｐを取得する。取得する全体画像Ｐは、少なくとも２つ、送電鉄塔１００の鉛直方向の軸Ｃに対称な方向から取得する。送電線を考慮すると、図４に示したように、方向Ａ１〜Ａ４から、それぞれ全体画像Ｐを取得することが好ましい。なお、送電線が送電鉄塔１００で屈曲して、くの字に曲がる場合、送電線を考慮し、送電線の鋭角中央側から１つ全体画像Ｐと、送電線の鈍角側から２つの全体画像Ｐとの３つの全体画像Ｐを取得することが好ましい。

＜錆検出処理＞
図５は、錆検出処理を説明する説明図である。図５に示すように、まず全体画像Ｐを取得する。この全体画像Ｐには、送電鉄塔以外に、背景として、山、家、道路、鉄骨材５１などが含まれる。この全体画像Ｐは、構造物抽出推論モデル４１及び錆抽出推論モデル４２に入力される。

構造物抽出推論モデル４１は、送電鉄塔１００の抽出を学習しており、送電鉄塔１００のみを構造物領域Ｅ１０として抽出し、その他の背景領域を削除するトリミングを行った構造物画像Ｐ１０を生成して出力する。

一方、錆抽出推論モデル４２は、全体画像Ｐ内の錆領域を抽出する学習をしており、全体画像Ｐ内の全ての錆領域Ｅ２０，Ｅ５１を抽出し、その他をトリミングした錆画像Ｐ２０を生成して出力する。図５に示した錆領域Ｅ２０は、送電鉄塔１００の錆領域であり、劣化度が高い錆領域Ｅ２１、劣化度が中程度の錆領域Ｅ２２、劣化度が低い錆領域Ｅ２３を含む。錆領域Ｅ５１は、背景内の鉄骨材５１に対する錆領域であり、劣化度は中である。

その後、評価部３５は、構造物領域Ｅ１０の画素数に対する、構造物領域Ｅ１０と錆領域Ｅ２０，Ｅ５１との重複領域である錆領域Ｅ２０の画素数の値を劣化評価値である錆評価値として算出して出力する。

表示処理部３６は、構造物画像Ｐ１０に、構造物領域Ｅ１０に存在する、錆画像Ｐ２０の錆領域Ｅ２０を合成した合成画像Ｐ３０を生成し、表示部１２に表示する。この結果、背景の錆領域Ｅ５１は削除され、送電鉄塔１００上の錆領域Ｅ２０のみが錆領域として残る。なお、この合成画像Ｐ３０は、錆の劣化度に応じ、かつ、錆に対応した色での色分け表示となっており、視認しやすくなっている。

ここで、錆領域Ｅ２０の画素数は、劣化度の高、中、低ごとの錆領域の画素数が求められる。すなわち、評価部３５は、劣化度が高い錆領域Ｅ２１の画素数、劣化度が中の錆領域Ｅ２２の画素数、及び、劣化度が低の錆領域Ｅ２３の画素数を求める。

なお、全体画像Ｐを構成する各部分画像Ｐ１〜Ｐ４の撮像時における送電鉄塔１００との距離はほぼ同一であるため、各部分画像Ｐ１〜Ｐ４との間において実際の構造物領域Ｅ１０及び錆領域Ｅ２０の大きさ（面積）に大きな違いはない。すなわち、全体画像Ｐは、被写体である送電鉄塔１００の長手方向の軸Ｃに対して垂直な方向から撮像しており、地上から送電鉄塔１００を仰いで見上げるように撮像した場合のように、送電鉄塔１００の下部と上部との間において被写体までの距離が大きく異なることがないため、１つの画像上において画像上の大きさと実際の寸法とが大きく異なることはない。これにより、送電鉄塔１００の位置にかかわらず、全体画像Ｐを用いて、発生する錆を均等に評価することができる。なお、鉄塔の周囲の各方向Ａ１〜Ａ４から送電鉄塔１００を撮像する場合、各方向Ａ１〜Ａ４における撮像距離は異なっていてもよい。これは、後述するように錆劣化度を構造物領域Ｅ１０と錆領域Ｅ２０との面積比によって算定するからである。

＜錆評価値の算出＞
評価部３５は、１つの全体画像Ｐに対する錆評価値Ｈを、次式（１）を用いて算出する。
Ｈ＝（Ｒ・ｐ＋Ｃ・ｑ＋Ｙ・ｒ）／ｓ …（１）
ここで、ｓは構造物領域Ｅ１０の画素数である。また、Ｒは劣化度が高の錆領域Ｅ２１の画素数であり、Ｃは劣化度が中の錆領域Ｅ２２の画素数であり、Ｙは劣化度が低の錆領域Ｅ２３の画素数である。さらに、ｐは劣化度が高に対する重み付け係数であり、ｑは劣化度が中に対する重み付け係数であり、ｒは劣化度が低に対する重み付け係数である。

重み付け係数ｐ，ｑ，ｒの比は、例えば、ｐ：ｑ：ｒ＝３：２：１に設定されるが、劣化度が高の錆領域の評価を重視する場合、例えば、ｐ：ｑ：ｒ＝２０：２：１に設定される。

ここで、全体画像Ｐは、１つの送電鉄塔１００に対して４つ得られるため、評価部３５は、各全体画像Ｐに対する錆評価値Ｈを次式（２）に示すように平均して１つの送電鉄塔１００に対する総合的な錆評価値ＨＨを求める。
ＨＨ＝（Ｈ１＋Ｈ２＋Ｈ３＋Ｈ４）／４ …（２）
なお、Ｈ１〜Ｈ４は、各方向Ａ１〜Ａ４に対する各全体画像Ｐに対する錆評価値Ｈである。

なお、上記の錆評価値Ｈでは、劣化度の高、中、低ごとに重み付け係数ｐ，ｑ，ｒを乗算して錆領域Ｅ２０の画素数を調整していたが、劣化度を段階的に区分せず、劣化の有無、すなわち錆の有無のみで、錆評価値Ｈを算出するようにしてもよい。

この場合の錆評価値Ｈ´は、次式（３）で表せる。
Ｈ´＝（Ｒ＋Ｃ＋Ｙ）／ｓ …（３）
そして、１つの送電鉄塔１００に対する総合的な錆評価値ＨＨ´は次式（４）となる。 ＨＨ´＝（Ｈ１´＋Ｈ２´＋Ｈ３´＋Ｈ４´）／４ …（４）
なお、Ｈ１´〜Ｈ４´は、各方向Ａ１〜Ａ４に対する各全体画像Ｐに対する錆評価値Ｈ´である。

ここで、式（３），（４）は、劣化度を高、中、低に段階的に分離して出力する錆抽出推論モデル４２を前提とするものであったが、錆抽出推論モデル４２が、錆の有りのみを１つの錆領域Ｅ２０として出力する場合には、錆領域Ｅ２０の画素数は直接、Ｄ（＝Ｒ＋Ｃ＋Ｙ）として出力される。このため、式（３）は、次式（５）として表せる。
Ｈ´＝Ｄ／ｓ …（５）

＜錆評価処理＞
次に、錆検出装置１０の制御部１５による錆評価処理について説明する。図６は、制御部１５による錆評価処理手順を示すフローチャートである。図６に示すように、飛行設定データ２７及び撮像設定データ２８を含む各種設定データをもとに初期設定を行う（ステップＳ１０１）。特に、初期設定では、全体画像Ｐの数である撮像面数Ｓを設定する。具体的にはＳ＝４に設定する。その後、繰り返し変数ｍを１に設定する（ステップＳ１０２）。

その後、画像取得部３２は、撮像面の数の全体画像Ｐを生成するための撮像面ごとの部分画像Ｐ１〜Ｐ４を取得する（ステップＳ１０３）。その後、全体画像生成部３１は、１つの全体画像Ｐを生成するための各部分画像Ｐ１〜Ｐ４を用いて、１つの全体画像Ｐを生成する（ステップＳ１０４）。

その後、構造物領域抽出部３３は、構造物抽出推論モデル４１を用いて全体画像Ｐから送電鉄塔１００の構造物領域Ｅ１０を抽出した構造物画像Ｐ１０を生成し、構造物領域Ｅ１０の画素数を記憶する（ステップＳ１０５）。さらに、錆領域抽出部３４は、錆抽出推論モデル４２を用いて全体画像Ｐから錆領域Ｅ２０，Ｅ５１を抽出した錆画像Ｐ２０を生成し、構造物領域Ｅ１０上の錆領域Ｅ２０の画素数を記憶する（ステップＳ１０６）。本実施の形態では、錆の劣化度の高、中、低の錆領域Ｅ２１，Ｅ２２，Ｅ２３ごとの画素数を記憶する。

その後、表示処理部３６は、構造物画像Ｐ１０に、構造物領域Ｅ１０上に重なる錆画像Ｐ２０の錆領域Ｅ２０を合成した合成画像Ｐ３０を重複画像として生成し、表示部１２に表示する（ステップＳ１０７）。

その後、繰り返し変数ｍをインクリメントし（ステップＳ１０８）、さらに繰り返し変数ｍが撮像面数Ｓであるか否かを判定する（ステップＳ１０９）。繰り返し変数ｍが撮像面数Ｓでないならば（ステップＳ１０９，Ｎｏ）、ステップＳ１０４に移行し、次の撮像面に対する全体画像Ｐに対する上記の処理を繰り返す。

一方、繰り返し変数ｍが撮像面数Ｓであるならば（ステップＳ１０９，Ｙｅｓ）、各撮像面の全体画像Ｐごとに記憶された、構造物領域Ｅ１０の画素数、及び、構造物領域Ｅ１０上の錆領域Ｅ２０の画素数（錆の劣化度の高、中、低の錆領域Ｅ２１，Ｅ２２，Ｅ２３ごとの画素数）を用いて、錆評価値ＨＨを算出し、表示部１２及び記憶部１４に出力し（ステップＳ１１０）、本処理を終了する。

本実施の形態では、構造物領域抽出部３３が構造物抽出推論モデルを用いて３次元構造物の構造物領域のみを抽出し、錆領域抽出部３４が錆抽出推論モデルを用いて錆領域を抽出し、構造物領域に対する、構造物領域内の錆領域の面積比（画素数比）を錆劣化度の錆評価値として算出しているので、３次元構造物に対する錆などの劣化状態の評価を迅速かつ高精度に行うことができる。

また、本実施の形態では、錆領域を錆劣化度合いに対応した段階的な複数の錆領域に分割し、分割された錆領域の面積（画素数）に、錆劣化度合いに応じた重み付けを行っているので、評価目的に応じた評価を行うことができる。

さらに、本実施の形態では、構造物領域に、構造物領域内の錆領域を合成した合成画像Ｐ３０を表示するようにしているので、３次元構造物の錆劣化状態のみを容易に視認することができる。

また、本実施の形態では、大きな３次元構造物である送電鉄塔１００であっても、ドローン２を用いて部分画像Ｐ１〜Ｐ４を撮像し、各部分画像Ｐ１〜Ｐ４を合成した全体画像Ｐを用いて錆劣化状態を検出するようにしているので、迅速かつ簡易に錆劣化状態を評価することができる。この際、全体画像Ｐは、送電鉄塔１００の長手方向の軸Ｃに対して垂直な方向から撮像し、被写体としての送電鉄塔１００の表面にほぼ垂直な方向から撮像しているため、画像上における送電鉄塔１００までの距離に大きな差が生じない。このため、送電鉄塔１００の高い位置や低い位置など、送電鉄塔１００の位置における構造物領域及び錆領域の大きさに大きな差が生じないため、錆劣化評価の精度低下を抑えることができる。

さらに、本実施の形態では、各方向Ａ１〜Ａ４から送電鉄塔１００を撮像する距離が異なっていても、全体画像Ｐ内の構造物領域と錆領域との面積比は同じであるため、送電鉄塔１００全体に対する錆劣化状態の評価を精度高く行うことができる。このため、複数の送電鉄塔１００の錆劣化状態を評価する場合、評価基準が統一され、各送電鉄塔１００に対する錆劣化状態を精度高く比較することができ、各送電鉄塔１００に対するメンテナンスの優先順序を適正に設定することができる。

＜変形例＞
ところで、錆の発生位置によってはメンテナンス上、優先順序を高く設定する必要がある。このため、本変形例では、錆の発生位置を考慮した錆劣化状態を評価できるようにしている。

図７は、本変形例に係る錆検出システム１の概要構成を示す図である。図７に示すように、本変形例では、記憶部１４に特徴領域設定データ２９を設け、制御部１５に特徴領域抽出部３９を設けている。その他の構成は、実施の形態と同じである。特徴領域抽出部３９は、構造物領域Ｅ１０において錆の発生を注視すべき所定特徴部の領域を特徴領域として抽出する。特徴領域は、特徴領域設定データ２９に設定してある。

所定特徴部としては、例えば図８に示すように、送電鉄塔１００の基部である下部領域Ｅ１０１、構造体接合部Ｅ１０２、碍子接合部Ｅ１０３である。

評価部３５は、所定特徴部の領域である特徴領域の錆領域の画素に対する重み付けを他の錆領域の重み付けに対して大きく設定して錆評価値を算出する。なお、特徴領域は、下部領域Ｅ１０１、構造体接合部Ｅ１０２、碍子接合部Ｅ１０３などの１以上の組み合わせであってもよい。

本変形例では、特徴領域を重視した錆評価値を算出できるので、メンテナス上、より適正な評価を行うことができる。

なお、上記の実施の形態及び変形例では、錆評価値を算出するものであったが、これに限らず、全体画像Ｐの撮像条件をもとに、錆領域Ｅ２０の実面積や錆領域Ｅ２０の長さなどを含む錆領域Ｅ２０の実寸法を算出するようにしてもよい。

また、本錆検出システム１では、ドローン２がネットワークＮに接続されているが、ドローン２がオフラインで部分画像を撮像するようにしてもよい。この場合、飛行制御部３７及び撮像制御部３８は、別体構成になる。

また、撮像部３が撮像する画像は、静止画に限らず動画であってもよい。要は、送電鉄塔１００の時期に垂直な方向から撮像した全体画像Ｐが得られればよい。

なお、上記の実施の形態及び変形例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明に係る劣化状態検出装置及び劣化状態検出方法は、３次元構造物に対する錆などの劣化状態の評価を迅速かつ高精度に行う場合に有用である。

１ 錆検出システム
２ ドローン
３ 撮像部
１０ 錆検出装置
１１ 入力部
１２ 表示部
１３ 通信部
１４ 記憶部
１５ 制御部
２１ 構造物抽出推論モデルデータ
２２ 錆抽出推論モデルデータ
２３ 構造物領域データ
２４ 錆領域データ
２５ 重複領域データ
２６ 錆評価データ
２７ 飛行設定データ
２８ 撮像設定データ
２９ 特徴領域設定データ
３１ 全体画像生成部
３２ 画像取得部
３３ 構造物領域抽出部
３４ 錆領域抽出部
３５ 評価部
３６ 表示処理部
３７ 飛行制御部
３８ 撮像制御部
３９ 特徴領域抽出部
４１ 構造物抽出推論モデル
４２ 錆抽出推論モデル
５１ 鉄骨材
１００ 送電鉄塔
Ａ１〜Ａ４ 方向
Ｃ 軸
ｄ 距離
Ｅ１０ 構造物領域
Ｅ１２，Ｅ２４，Ｅ３４ 重複領域
Ｅ２０，Ｅ２１，Ｅ２２，Ｅ２３，Ｅ５１ 錆領域
Ｅ１０１ 下部領域
Ｅ１０２ 構造体接合部
Ｅ１０３ 碍子接合部
Ｈ，ＨＨ 錆評価値
ｍ 繰り返し変数
Ｎ ネットワーク
Ｐ 全体画像
ｐ，ｑ，ｒ 重み付け係数
Ｐ１〜Ｐ４ 部分画像
Ｐ１０ 構造物画像
Ｐ２０ 錆画像
Ｐ３０ 合成画像
Ｓ 撮像面数
ｗ 幅
θ 画角

Claims (13)

1. ３次元構造物の画像を取得し、該画像をもとに前記３次元構造物の劣化状態を検出する劣化状態検出装置であって、
   前記３次元構造物の全体画像を取得する画像取得部と、
   画像セグメンテーションによって前記３次元構造物を抽出する構造物抽出推論モデルを用いて前記全体画像から前記３次元構造物の構造物領域を抽出する構造物領域抽出部と、
   画像セグメンテーションによって劣化領域を抽出する劣化抽出推論モデルを用いて前記全体画像から前記劣化領域を抽出する劣化領域抽出部と、
   前記構造物領域の画素数に対する、前記構造物領域と前記劣化領域との重複領域における前記劣化領域の画素数の値を劣化評価値として算出して出力する評価部と
   を備えたことを特徴とする劣化状態検出装置。
2. 前記構造物領域と、前記構造物領域上において色付けした前記劣化領域とを表示出力する表示処理部を備えたことを特徴とする請求項１に記載の劣化状態検出装置。
3. 前記劣化領域抽出部は、前記劣化領域を、劣化度合いに対応した段階的な複数の劣化分割領域に分割して抽出し、
   前記評価部は、各劣化分割領域の画素数に対し、前記劣化度合いに対応した重み付けを行った値の加算値を求め、前記構造物領域の画素数の値に対する前記加算値の値を劣化評価値として算出して出力することを特徴とする請求項２に記載の劣化状態検出装置。
4. 前記表示処理部は、前記劣化分割領域を前記劣化度合いに対応した色分け表示を行って表示出力することを特徴とする請求項３に記載の劣化状態検出装置。
5. 前記構造物領域における所定特徴部の領域を特徴領域として抽出する特徴領域抽出部を備え、
   前記評価部は、前記特徴領域内の劣化領域の画素に対する重み付けを他の領域の重み付けに対して大きくして前記劣化評価値を算出することを特徴とする請求項１〜４のいずれか一つに記載の劣化状態検出装置。
6. 前記全体画像は、前記３次元構造物に対して複数方向から取得したものであり、
   前記劣化評価値は、各全体画像の劣化評価値の平均値であることを特徴とする請求項１〜５のいずれか一つに記載の劣化状態検出装置。
7. 前記全体画像は、前記３次元構造物の長手方向の軸に対して複数方向から撮像した複数の全体画像であり、各全体画像は、前記長手方向に垂直な方向から撮像したものであることを特徴とする請求項６に記載の劣化状態検出装置。
8. 飛行体に搭載された撮像部を用いて撮像した前記３次元構造物の部分画像を取得し、該部分画像を合成して前記全体画像を生成する全体画像生成部を備えたことを特徴とする請求項１〜７のいずれか一つに記載の劣化状態検出装置。
9. 前記評価部は、前記全体画像の撮像条件をもとに、前記劣化領域の実面積を含む前記劣化領域の実寸法を算出することを特徴とする請求項１〜８のいずれか一つに記載の劣化状態検出装置。
10. 前記３次元構造物は、送電鉄塔であり、
    前記劣化領域の劣化は、錆であり、
    前記所定特徴部は、構造体接合部、前記送電鉄塔の下部領域、碍子接合部の１以上の組み合わせであることを特徴とする請求項５に記載の劣化状態検出装置。
11. 前記表示処理部は、前記劣化領域を含む構造物領域の所望部分領域を拡大して表示する機能を有することを特徴とする請求項２又は４に記載の劣化状態検出装置。
12. ３次元構造物の画像を取得し、該画像をもとに前記３次元構造物の劣化状態を検出する劣化状態検出方法であって、
    前記３次元構造物の全体画像を取得する画像取得ステップと、
    画像セグメンテーションによって前記３次元構造物を抽出する構造物抽出推論モデルを用いて前記全体画像から前記３次元構造物の構造物領域を抽出する構造物領域抽出ステップと、
    画像セグメンテーションによって劣化領域を抽出する劣化抽出推論モデルを用いて前記全体画像から前記劣化領域を抽出する劣化領域抽出ステップと、
    前記構造物領域の画素数に対する、前記構造物領域と前記劣化領域との重複領域における前記劣化領域の画素数の値を劣化評価値として算出して出力する評価ステップと
    を含むことを特徴とする劣化状態検出方法。
13. 前記全体画像は、前記３次元構造物の長手方向の軸に対して複数方向から撮像した複数の全体画像であり、各全体画像は、飛行体に搭載された撮像部を用いて前記長手方向に沿って移動しつつ前記長手方向に垂直な方向から順次撮像した前記３次元構造物の部分画像を合成したものであることを特徴とする請求項１２に記載の劣化状態検出方法。

Images