JP2019215863A - 磁気干渉の存在下でのデータ収集およびアセット検査のためのシステムおよび方法 - Google Patents

Abstract

【課題】鉄道、電力線、橋など、多くのインフラストラクチャにおけるデータ収集およびアセット検査システムにおいて、不正確な結果を与える磁気干渉の存在下での、データ収集及びアセット検査のためのシステム及び方法を提供する。【解決手段】１つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査するために、動的補正経路を通したＵＡＶベースのナビゲーションを提供する方法において、複数のセンサーが、磁界の存在下で１つまたは複数のアセットの画像を収集するためにＵＡＶと統合される。収集された画像は、さらに、１つまたは複数のアセットの１つまたは複数の部分における異常をセグメント化および検出するために処理される。検出された異常は、さらに、潜在的異常および非潜在的異常として分類される。【選択図】図３

Description

関連出願の相互参照および優先権
本特許出願は、２０１８年６月５日に出願された、インド仮特許出願第２０１８２１０２０９３３号の優先権を主張する。上述の出願の内容全体は、参照により本明細書に組み込まれる。

本明細書の開示は、一般に、データ収集およびアセット検査（data acquisition and asset inspection）に関し、より詳細には、磁気干渉の存在下でのデータ収集およびアセット検査のためのシステムおよび方法に関する。

機械、デバイスまたはアセット（asset）は、概して、異なるインフラストラクチャにおけるプロセスの一部として特定のタスクを実施するように設計される。アセットは、エネルギー、輸送、ヘルスケア、製造などを含む、多くの産業部門のために使用および保守される。たとえば、鉄道インフラストラクチャでは、鉄道線路（railway tracks）などのアセットは、輸送のために使用および保守される。しかしながら、鉄道インフラストラクチャの効率は、安全および信頼性にかかっている。したがって、アセットの定期検査または監視は、問題を検出し、記録することと、機器障害を識別し、低減することと、安全な動作状態を保証することと、スケジュールされた保守または緊急保守を計画し、優先度を付けることとを行うために必要であるか、またはそれらを行うのに役立つ。

一般に、アセット検査および保守は、特定のタイプのアセットの専門家または技術者を含む人間の介入を伴う。しかしながら、検査プロセスが、しばしば、詳細な検査を可能にするために、構造物のアクセスしにくいまたはリスクの高いエリアの物理的アクセスを必要とするので、有人検査は専門家および一般市民を危険にさらすことがあり、その状態の下での作業が安全マージンを低減することがある。たとえば、レール間の継目板（fish plate）消失を識別すること、風力タービンのブレード、ガス・フレアのタワーなどのアセットの検査などは困難であり、潜在的負傷のリスクがある。

人間の介入を低減するためのアセット検査のための自動機構を提供するシステムが存在する。いくつかのシナリオでは、特に、自然災害が、倒木および他の危険を引き起こしたとき、アセットが、森林の成長、水路または障害物によって妨害される厄介な環境におかれることがある。現代では、障害物は、現代の半導体ベースのデバイスの使用において干渉することがある波および放射を含むことがある。旧来の自動方法を使用するデータ収集は、そのようなシナリオでは厄介になる。

本開示の実施形態は、従来のシステムにおける発明者によって認識された上述の技術的問題のうちの１つまたは複数の解決策としての技術的改善を提示する。たとえば、一態様では、磁気干渉の存在下でのデータ収集およびアセット検査のためのプロセッサ実装方法が提供される。プロセッサ実装方法は、１つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ：unmanned aerial vehicle）の初期位置を推定するステップと、ＵＡＶと統合された複数のセンサーを使用して、磁気干渉の存在下でのＵＡＶの配向および方向に関する情報を決定するステップとを含む。一実施形態では、複数のセンサーは、熱カメラ（thermal camera）、マルチスペクトル・カメラ、ＲＧＢカメラ、またはそれらの組合せを含む。一実施形態では、方法は、磁気干渉の存在下で１つまたは複数のアセットにわたってＵＡＶを動的に補正された飛行経路を通してナビゲートすることによって、１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集する（acquire）ステップであって、収集されたデータの少なくともサブセットが、複数のビューからキャプチャされた複数の画像を備える、収集するステップをさらに含む。一実施形態では、複数の画像は、ＵＡＶのナビゲーション中に異なる波長において収集される。一実施形態では、方法は、（１つまたは複数の）ドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ：region of interest）画像を取得するために、１つまたは複数のアセットの１つまたは複数の部分におけるＲＯＩを識別するステップと、１つまたは複数のアセットにおける異常を検出するために、複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出するステップと、１つまたは複数のアセットの障害を予測するために、検出された異常を（ｉ）潜在的異常（potential anomalies）または（ｉｉ）非潜在的異常のうちの１つとして分類する（classify）ステップとをさらに含む。本実施形態では、潜在的異常は、さらに、教師なし学習技法を使用して、長期影響異常、中期影響異常、短期影響異常、および即時影響異常としてカテゴリー分類される（categorized）。

別の態様では、磁気干渉の存在下でのデータ収集およびアセット検査のためのシステムが提供される。システムは、命令を記憶するメモリと、１つまたは複数の通信インターフェースと、１つまたは複数の通信インターフェースを通してメモリに結合された１つまたは複数のハードウェア・プロセッサであって、１つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ）の初期位置を推定することと、ＵＡＶと統合された複数のセンサーを使用して、磁気干渉の存在下でのＵＡＶの配向および方向に関する情報を決定することとを行うように命令によって構成された、１つまたは複数のハードウェア・プロセッサとを備える。一実施形態では、複数のセンサーは、熱カメラ、マルチスペクトル・カメラ、ＲＧＢカメラ、またはそれらの組合せを含む。一実施形態では、１つまたは複数のハードウェア・プロセッサは、さらに、磁気干渉の存在下で１つまたは複数のアセットにわたってＵＡＶを動的に補正された飛行経路を通してナビゲートすることによって、１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集することであって、収集されたデータの少なくともサブセットが、複数のビューからキャプチャされた複数の画像を備える、収集することを行うように命令によって構成される。一実施形態では、複数の画像は、ＵＡＶのナビゲーション中に異なる波長において収集される。一実施形態では、１つまたは複数のハードウェア・プロセッサは、さらに、（１つまたは複数の）ドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ）画像を取得するために、１つまたは複数のアセットの１つまたは複数の部分におけるＲＯＩを識別することと、１つまたは複数のアセットにおける異常を検出するために、複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出することと、１つまたは複数のアセットの障害を予測するために、検出された異常を（ｉ）潜在的異常または（ｉｉ）非潜在的異常のうちの１つとして分類することとを行うように命令によって構成される。一実施形態では、潜在的異常は、さらに、教師なし学習技法を使用して、長期影響異常、中期影響異常、短期影響異常、および即時影響異常としてカテゴリー分類される。

また別の態様では、磁気干渉の存在下でのデータ収集およびアセット検査のための１つまたは複数の非一時的コンピュータ可読媒体が提供される。１つまたは複数の非一時的コンピュータ可読媒体は、１つまたは複数のハードウェア・プロセッサによって実行されたとき、１つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ）の初期位置を推定することと、ＵＡＶと統合された複数のセンサーを使用して、磁気干渉の存在下でのＵＡＶの配向および方向に関する情報を決定することとを引き起こす１つまたは複数の命令を備える。一実施形態では、複数のセンサーは、熱カメラ、マルチスペクトル・カメラ、ＲＧＢカメラ、またはそれらの組合せを含む。一実施形態では、命令は、さらに、磁気干渉の存在下で１つまたは複数のアセットにわたってＵＡＶを動的に補正された飛行経路を通してナビゲートすることによって、１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集することであって、収集されたデータの少なくともサブセットが、複数のビューからキャプチャされた複数の画像を備える、収集することを引き起こし得る。一実施形態では、複数の画像は、ＵＡＶのナビゲーション中に異なる波長において収集される。一実施形態では、命令は、さらに、（１つまたは複数の）ドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ）画像を取得するために、１つまたは複数のアセットの１つまたは複数の部分におけるＲＯＩを識別することと、１つまたは複数のアセットにおける異常を検出するために、複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出することと、１つまたは複数のアセットの障害を予測するために、検出された異常を（ｉ）潜在的異常または（ｉｉ）非潜在的異常のうちの１つとして分類することとを引き起こし得る。本実施形態では、潜在的異常は、さらに、教師なし学習技法を使用して、長期影響異常、中期影響異常、短期影響異常、および即時影響異常としてカテゴリー分類される。

上記の概略的な説明と以下の詳細な説明の両方が、例示的および説明的なものにすぎず、請求される本発明を限定するものではでないことを理解されたい。

本開示の一部に組み込まれ、それを構成する添付の図面は、例示的な実施形態を示し、その説明とともに、開示される原理について説明するのに役立つ。

本開示の一実施形態による、ターゲット・アセットの異なる部分にわたってＵＡＶをナビゲートすることによるデータ収集および検査のためのシステムを備える、磁気干渉がある例示的なＵＡＶ環境を示す図である。 本開示のいくつかの実施形態による、磁気干渉の存在下でのデータ収集およびアセット検査のための図１のシステムの機能ブロック図である。 本開示のいくつかの実施形態による、磁気干渉の存在下でのデータ収集およびアセット検査のための方法を示す流れ図である。 本開示のいくつかの実施形態による、異なる高さからのターゲット・アセットの異なる部分にわたるＵＡＶのナビゲーションを示す図である。 本開示のいくつかの実施形態による、動的に補正された飛行経路を通したＵＡＶのナビゲーションを示す流れ図である。 本開示のいくつかの実施形態による、動的に補正された飛行経路を通したＵＡＶのナビゲーションを示す結果を示す図である。 本開示のいくつかの実施形態による、動的に補正された飛行経路を通したＵＡＶのナビゲーションを示す結果を示す図である。 本開示のいくつかの実施形態による、動的に補正された飛行経路を通したＵＡＶのナビゲーションを示す結果を示す図である。

添付の図面を参照しながら、例示的な実施形態が説明される。図では、参照番号の（１つまたは複数の）左端の桁は、参照番号が最初に現れる図を識別する。好都合な場合はいつでも、同じまたは類似の部分を指すために図面全体にわたって同じ参照番号が使用される。開示される原理の例および特徴が本明細書で説明されるが、開示される実施形態の範囲から逸脱することなく、変更形態、適応形態、および他の実装形態が可能である。以下の詳細な説明は例示にすぎないと見なされ、真の範囲は以下の特許請求の範囲によって示されることが意図される。

本明細書の実施形態は、磁気干渉の存在下でのデータ収集およびアセット検査のためのシステムおよび方法を提供する。従来のデータ収集およびアセット検査システムから取得された結果の一般的な解釈は、極めて正確なデータが磁気干渉の存在下で収集される場合の問題を解決するために変更されてきた。従来のシステムおよび方法は、磁気干渉の存在下で正確なデータを収集することができない。提案される方法およびシステムは、アセット検査のために磁気干渉の存在下で無人航空機（ＵＡＶ）をナビゲートすることによるデータ収集を実施する。収集されたデータは、さらに、ＵＡＶと統合された複数のセンサーによって与えられるデータと融合させられる。統合されたデータは極めて正確であり、さらに、異なるインフラストラクチャ（たとえば、鉄道インフラストラクチャ）において採用されるアセットの検査のために利用される。アセット検査は、インフラストラクチャにおいて使用されるアセットにおける欠陥または異常を検出するために実施される。たとえば、鉄道インフラストラクチャでは、事故または障害が発生する前に是正措置をとることによって安全を保証するために、欠陥または異常を識別するための鉄道線路の定期検査が必要とされる。同じアセットの異なる部分、または異なるアセットが、複数のタイプの欠陥または異常を含んでいることがあるので、本開示の方法は、欠陥または異常を識別するために（代替的にサブ・アセット検査として参照される）同じアセットの異なる部分の検査を実施する。識別された欠陥または異常は、さらに、アセットの障害を予測するためにそれらの影響に基づいて分類される。

次に、類似の参照符号が図全体にわたって一貫して対応する特徴を示す図面、より詳細には、図１〜図６Ｃ、を参照すると、好ましい実施形態が示されており、これらの実施形態は、以下の例示的なシステムおよび／または方法のコンテキストにおいて説明される。

図１は、本開示の一実施形態による、ターゲット・アセット１０６の異なる部分にわたってＵＡＶをナビゲートすることによるデータ収集および検査のためのシステム１０２を備える、磁気干渉がある例示的なＵＡＶ環境１００を示す。磁気干渉があるＵＡＶ環境１００は、ターゲット・アセット１０６までの初期距離のところに配置されたＵＡＶ１０４を利用し、ターゲット・アセット１０６の状態が、ターゲット・アセット１０６における欠陥または異常を検出することによって監視されることになる。ＵＡＶは、ここでは、ドローン、飛行装置／デバイス（たとえば、ヘリコプター）、ロボティック・デバイスなどであり得る。ＵＡＶはまた、複数のセンサーと、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）および超音波センサーなど、他のデータ収集機器とを備えており、それらは、ＵＡＶと統合される（図１では統合されたセンサー１０８として参照される）。複数のセンサーは、１つまたは複数の熱カメラ、１つまたは複数の視覚カメラ（vision camera）などを含む。一実施形態では、全地球測位システム（ＧＰＳ）は、ＵＡＶ１０４の位置情報を与えるために使用され、この位置情報は、無人機（ｕｎｍａｎｎｅｄ ｖｅｈｉｃｌｅ）の配向を得るために慣性測定ユニット（ＩＭＵ）データで増強される。

例示的な一実施形態では、ＵＡＶと、それと統合された複数のセンサーとは、ターゲット・アセット１０６からデータを収集する。システム１０２は、収集されたデータを処理および分析し、（たとえば、１つまたは複数の通信媒体を介して）エンド・ユーザ、たとえば、オペレータまたは専門家にターゲット・アセット１０６の健全状態（ｈｅａｌｔｈ）について説明するドラフト検査報告を生成するように構成される。言い換えれば、システム１０２は、ドローンを含む無人航空機（ＵＡＶ）とＵＡＶ１０４と統合された複数のセンサーとを使用して、固定されたまたは移動している１つまたは複数のインフラストラクチャにおける１つまたは複数のアセットにおいて存在する異常またはそれらのアセットにおける動作状態を自動的に識別するように構成される。一実施形態では、システムは、コンピュータ、クラウドまたはエッジ・デバイスであり得る。一実施形態では、システム１０２は、スタンドアロン・ユニットとして実装されるか、またはＵＡＶ１０４上に存在するかのいずれかであり得る。

システム１０２は、図２および図３とともにさらに説明される検査モジュールに従って、収集されたデータを処理および分析するように構成される。したがって、システム１０２は、ＵＡＶ１０４を利用して磁気干渉の存在下でデータを収集し、アセットを検査することと、検出された異常があらかじめ定義されたしきい値に達し、即時注意を必要とする場合に警報または通知をエンド・ユーザに与えることとを行うように構成される。ＵＡＶ１０４は、ターゲット・アセット１０６から初期高さのところに配置されるが、異なる角度からのターゲット・アセットの異なる部分に関係するデータをキャプチャするために異なる高さにおいて動作することができる（または飛行する）。

収集されたデータは、ターゲット・アセット１０６の異なる部分の熱画像および視覚画像、ＵＡＶの位置情報、方向および配向などを備える。したがって、ＵＡＶと、統合されたセンサーとによって収集されるターゲット・アセットの健全状態（ｈｅａｌｔｈ）に関する情報が、さらに、システム１０２によって処理される。一実施形態では、ターゲット・アセット１０６は、静止または移動していることがあり、たとえば、鉄道線路は静止したアセットであるが、列車のホイールは、移動しているアセットである。

図２は、本開示の一実施形態による、磁気干渉の存在下でのデータ収集およびアセット検査のためのシステム１０２の例示的なブロック図を示す。一実施形態では、システム１０２は、１つまたは複数のプロセッサ２０６と、（１つまたは複数の）通信インターフェース・デバイスまたは（１つまたは複数の）入出力（Ｉ／Ｏ）インターフェース２０４と、１つまたは複数のプロセッサ２０６に動作可能に結合された１つまたは複数のデータ記憶デバイスまたはメモリ２０２と、検査モジュール２０８とを含む。一実施形態では、検査モジュール２０８は、システム１００中のスタンドアロン・ユニットとして実装され得る。別の実施形態では、検査モジュール２０８は、メモリ２０２中のモジュールとして実装され得る。プロセッサ１０６とＩ／Ｏインターフェース１０４とメモリ１０２とは、システム・バスによって結合され得る。

１つまたは複数のプロセッサ２０４は、１つまたは複数のソフトウェア処理モジュールおよび／またはハードウェア・プロセッサであり得る。一実施形態では、ハードウェア・プロセッサは、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、状態機械、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装され得る。能力の中でも、（１つまたは複数の）プロセッサは、メモリに記憶されたコンピュータ可読命令をフェッチし、実行するように構成される。一実施形態では、システム１０２は、ラップトップ・コンピュータ、ノートブック、ハンドヘルド・デバイス、エッジ・デバイス、オンボード・デバイス、ワークステーション、メインフレーム・コンピュータ、サーバ、ネットワーク・クラウドなど、様々なコンピューティング・システムにおいて実装され得る。

（１つまたは複数の）Ｉ／Ｏインターフェース・デバイス２０６は、様々なソフトウェアおよびハードウェア・インターフェース、たとえば、ウェブ・インターフェース、グラフィカル・ユーザ・インターフェースなどを含むことができ、ワイヤード・ネットワーク、たとえば、ＬＡＮ、ケーブルなどと、ＷＬＡＮ、セルラー、または衛星など、ワイヤレス・ネットワークとを含む、多種多様なネットワークＮ／Ｗおよびプロトコル・タイプ内での複数の通信を容易にすることができる。一実施形態では、（１つまたは複数の）Ｉ／Ｏインターフェース・デバイスは、いくつかのデバイスを互いにまたは別のサーバに接続するための１つまたは複数のポートを含むことができる。Ｉ／Ｏインターフェース２０６は、複数のセンサーと統合されたＵＡＶをナビゲートすることによって収集されたデータを受信する。

メモリ２０２は、たとえば、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）およびダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）などの揮発性メモリ、ならびに／または、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュ・メモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む、当技術分野で知られている任意のコンピュータ可読媒体を含み得る。一実施形態では、メモリ２０２は、検査モジュール２０８と、検査モジュール２０８によって処理、受信、および生成されるデータを記憶するためのリポジトリ２１０とを含む。検査モジュール２０８は、特定のタスクを実施するか、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含み得る。

データ・リポジトリ２１０は、とりわけ、システム・データベースおよび他のデータを含む。他のデータは、本明細書で説明される技法に関与する予備、中間および最終データセットなど、検査モジュール２０８の実行の結果として生成されたデータを含み得る。システム・データベースは、複数のセンサーから受信されたデータと、検査の一部としてＵＡＶのナビゲーション中に収集されたデータと、検査モジュール２０８の実行の結果として生成された対応する出力とを記憶する。システム・データベースに記憶されたデータは、障害予測を改善するために学習され得る。

一実施形態では、検査モジュール２０８は、磁気干渉の存在下でデータを収集し、アセット検査を実施するように構成され得る。磁気干渉の存在下でのデータ収集およびアセット検査は、図３および使用事例の例に関して説明される方法を使用することによって行われ得る。

図３は、本開示の一実施形態による、磁気干渉の存在下でのターゲット・アセット１０６（本明細書では鉄道線路）の検査のためにＵＡＶを使用してデータを収集するための、図１および図２のシステム１０２によって実装される方法３００の例示的な流れ図を示す。一実施形態では、システム１０２は、１つまたは複数のハードウェア・プロセッサ２０６に動作可能に結合された１つまたは複数のデータ記憶デバイスまたはメモリ２０２を備え、１つまたは複数のハードウェア・プロセッサ２０６による方法３００のステップの実行のための命令を記憶するように構成される。次に、図１および図２に示されているシステム１０２の構成要素、および図３に示されている流れ図のステップを参照しながら、本開示の方法３００のステップが説明される。プロセス・ステップ、方法ステップ、技法などが連続した順序で説明され得るが、そのようなプロセス、方法および技法は、代替の順序で動作するように構成され得る。言い換えれば、説明され得るステップのシーケンスまたは順序は、必ずしも、ステップがその順序で実施されるという要件を示すとは限らない。本明細書で説明されるプロセスのステップは、実際的な任意の順序で実施され得る。さらに、いくつかのステップは、同時に実施され得る。

図３を参照すると、ステップ３０２において、１つまたは複数のハードウェア・プロセッサは、１つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ）の初期位置を推定するように構成される。一実施形態では、ＵＡＶの飛行より前に、熱カメラ、視覚カメラ、マルチスペクトル・カメラ、およびＲＧＢカメラを含む複数のセンサーがＵＡＶ上に配備され、各カメラのフォーカス・エリアが較正される。さらに、無人航空機の初期位置は、ＧＰＳとＩＭＵと超音波センサーとを使用して推定される。たとえば、ＵＡＶがターゲット・アセットから高い高度（たとえば１５ｍ）まで離陸すると仮定される。この高さにおいて、ＧＰＳおよびＩＭＵは適切に機能する。しかしながら、ＵＡＶは、カメラをオンに切り替えることによってＧＰＳおよびＩＭＵモードから画像モードに切り替えられ、ＩＭＵについての重みは、このインスタンスにおいて低減される。熱カメラ、視覚カメラ、マルチスペクトル・カメラ、およびＲＧＢカメラなど、複数のセンサーを使用して、ＵＡＶは、ある距離だけ（たとえば、本開示では４ｍまで）低下され、それは、ＵＡＶの初期位置と見なされる。ＧＰＳとＩＭＵとを使用して推定される値が変動する場合、初期位置は熱カメラを使用して推定され、ＧＰＳとＩＭＵとによってもたらされる誤差を補償するためのより高いバイアス・ファクタで取得される。一実施形態では、３次元におけるＵＡＶの初期座標は、（０，０，０）であると見なされる。

さらに、図３のステップ３０４に示されているように、１つまたは複数のハードウェア・プロセッサは、ＵＡＶと統合された複数のセンサーを使用して磁気干渉の存在下でのＵＡＶの配向および方向に関する情報を決定するように構成される。一実施形態では、旧来のシステムは、ＵＡＶの配向を得るためにＩＭＵデータで増強される、ＧＰＳによって与えられる位置情報を利用する。しかしながら、ＧＰＳ情報が、高い木、建築物または雲の存在により損なわれた場合、ＵＡＶの配向を決定することは困難になる。さらに、磁気干渉の存在下では、ＩＭＵは機能しなくなり、ＵＡＶの配向および方向を得ることを困難にする。ＵＡＶ上に取り付けられた磁気コンパスを使用して磁気干渉の存在下でのＵＡＶの配向および方向に関する情報を決定する方法が存在する。そのような方法は、地球の磁北に対するＵＡＶの角度偏差を与える。そのような場合、計器の精度は、コンパスの周りの磁石または磁性材料に依存する。鉄道線路の場合、ＵＡＶが地上から１５ｍ上空を飛行する場合、磁気干渉の影響は多くない。しかしながら、ＵＡＶが鉄道線路ラインの間に、およびラインから４ｍ未満の上空を飛行する場合、ＵＡＶは方向安定性および方向感覚を失い、これにより、ＵＡＶのクラッシュが生じる。さらに、磁気干渉の存在下で、ＧＰＳは弱くなる。ＧＰＳの弱いエリアでは、旧来のシステムは、ＵＡＶの配向および方向に関する不正確な情報を与え、これにより、さらに、データ収集中に不正確なデータを収集することになる。しかしながら、本開示の方法は、熱カメラ、視覚カメラ、マルチスペクトル・カメラ、およびＲＧＢカメラによってキャプチャされた画像を使用して、配向および方向に関する正確な情報を決定する。たとえば、鉄道線路ラインの場合、鉄道線路ラインのキャプチャされた画像の中心からの、同じ鉄道線路ラインの距離における偏差と、カメラ中心軸からの偏角とが計算される。偏角に基づいて、ＵＡＶはその配向を補正する。

さらに、図３のステップ３０６において、１つまたは複数のハードウェア・プロセッサは、磁気干渉の存在下で１つまたは複数のアセットにわたってＵＡＶを動的飛行経路を通してナビゲートすることによって、１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集し、収集されるデータの少なくともサブセットは、複数のビューからキャプチャされた複数の画像を備える。一実施形態では、ＵＡＶは、標高に基づく一連のウェイポイント（waypoint）と、電柱構造物およびタワーの下などの関心ポイントとを通って、または建築物および橋など、他の構造物の周りを、ＧＰＳの助けを借りて自律的に飛行するようにプログラムされている。一実施形態では、複数の画像は、ＵＡＶのナビゲーション中に異なる波長において収集される。たとえば、ＵＡＶのナビゲーションが初期位置（たとえば、１５メートルの高さ）から開始する場合。図４に見られるように、鉄道線路ライン検査の場合、ＵＡＶは、異なる高さから、垂直方向に、水平方向に、および複数の角度から鉄道線路ラインにわたってナビゲートする。両方の鉄道線路ラインが、両方の並列鉄道線路ラインの画像を垂直方向にキャプチャするのに役立つ高い高度（たとえば、１５ｍ）からカバーされることが、図４からわかり得る。さらに、ＵＡＶは、単一の鉄道線路ラインの画像を垂直方向におよび水平方向にキャプチャするために、２ｍ／ｓの速度で低い高度（たとえば、４ｍ）においてナビゲートする。類似して、ＵＡＶは、検査されるべきアセットから、異なる高さのところをナビゲートする。一実施形態では、キャプチャされる複数の画像は、熱画像、マルチスペクトル画像、ＲＧＢ画像、視覚画像などを含む。さらに、動的に補正された飛行経路を通したＵＡＶのナビゲーションは、図５および図６Ａ〜図６Ｂの助けを借りて示されている。図６Ａ〜図６Ｃに見られるように、ＵＡＶは、検査のために画像をキャプチャするためにある高さ（たとえば、「ｈ」）から、左の鉄道線路ラインにわたってナビゲートする。ナビゲーション中に、熱画像における鉄道線路ラインの位置（中心にあるのか側方にあるのか）が、ＵＡＶの位置がさらに補正され得るようにＵＡＶの位置のドリフト（drift）を検出するために使用される。図５に見られるように、ステップ５０２において、熱画像と、視覚画像と、マルチスペクトル画像とを含む複数の画像がキャプチャされる。さらに、図６のステップ６０４において、鉄道線路ラインが複数の画像から検出される。視覚カメラ画像とマルチスペクトル・カメラ画像とから鉄道線路ラインを検出するために、パッチ・ベースのニューラル・ネットワークが構築され、熱画像から鉄道線路ラインを検出するために、適応しきい値ベースの方法が使用される。たとえば、ＲＧＢカメラの場合、キャプチャされた画像は、小さいサイズの重複しないパッチに分けられ、これらのパッチは、畳み込みニューラル・ネットワークを使用して鉄道線路ラインの検出のために分析される。この手法は、初期画像においてのみ適用される。漸進的画像では、経路抽出のために、前に検出された関心領域からのインテリジェンス（ｉｎｔｅｌｌｉｇｅｎｃｅ）が考慮される。さらに、ナビゲーションのために、高コントラストにより熱画像が使用される。得られた高コントラスト画像は、適応しきい値ベースの方法を採用することによって、ナビゲーションのために使用され得る。これは、計算能力が低いＵＡＶ上に実装され得る。鉄道線路ラインが金属から製造されているので、周囲に対する鉄道線路ラインの相対温度はより高い。従来、熱画像から鉄道線路ラインを検出するために、グローバルしきい値方法がすべてのピクセルに対して使用された。しかしながら、提案される開示の方法では、周囲に対する鉄道線路ラインの温度の相対変動に基づいて画像にわたって動的にしきい値を変更する適応しきい値ベースの方法が使用される。したがって、適応しきい値ベースの方法を熱画像に対して使用することによって、鉄道線路ラインは、シーンの残りから容易にセグメント化され得る。セグメント化された鉄道線路ラインは、ＵＡＶの配向を変更するために使用され得るドリフトおよびヨー（yaw）の計算を可能にする。一実施形態では、異なるカメラからキャプチャされた複数の画像を整列（align）させるためのレジストレーション・アルゴリズムが使用される。さらに、図５のステップ５０６に示されているように、鉄道線路ラインの位置は、キャプチャされた画像上で推定される。さらに、図５のステップ５０８に示されているように、キャプチャされた画像の中心に対する鉄道線路ラインの偏差が、ピクセル座標に関して計算される。さらに、図５のステップ５１０に示されているように、ピクセル座標に関して計算される偏差は、メートル単位の座標に変換される。図６Ａは、キャプチャされた画像の中心からの偏差がない鉄道線路ラインの正しい位置を示す。図６Ｂおよび図６Ｃに見られるように、検出された鉄道線路ラインは、キャプチャ画像の中心から∇_Ｘだけ偏差する。さらに、図５のステップ５１２に示されているように、計算された偏差が許容レベルを超えた場合、ＵＡＶの位置は、図５のステップ５１４においてさらに示されるようにロール補正（roll correction）を与えることによって補正され、ロール補正は、ＵＡＶが、移動し、正しい位置に達することを可能にする。一実施形態では、許容レベルは、ロール補正の場合、１０〜１５ｃｍである。しかしながら、図５で説明される方法は、５度の許容レベルを用いた配向の補正（代替的に、ヨー補正として参照される）に適用され得る。

一実施形態では、ジャンクションにわたってナビゲートするシナリオが説明される。ジャンクションにおいて、鉄道線路ラインは別の線路に分かれるべきであるか、または鉄道線路ラインは主線路にマージするべきである。正しいラインに従うことを保証するために、その領域を検出するために、視覚シーン分析が使用される。視覚カメラの視野（ＦｏＶ：Field of View）は、熱カメラのＦｏＶよりも広い。したがって、視覚カメラを使用して自動的にキャプチャされるジャンクションに関するドメイン知識は、ＵＡＶが、熱画像視野中で２つのラインが利用可能であるにもかかわらず正しいラインに沿ってナビゲートするのに役立つ。

再び図３を参照すると、ステップ３０８において、１つまたは複数のハードウェア・プロセッサは、（１つまたは複数の）ドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ）画像を取得するために、１つまたは複数のアセットの１つまたは複数の部分におけるＲＯＩを識別するように構成される。一実施形態では、（１つまたは複数の）ドメイン知識駆動型機械学習技法は、ドメイン知識として記憶されるキャプチャされた画像中にアセットのどんな部分が含まれているかを決定するのに役立つ。さらに、このドメイン知識に基づいて、サブ部分または（もしあれば）サブ・アセットが、特定の異常検出アルゴリズムを適用するために導出される。たとえば、鉄道線路ライン検査では、ドメイン知識として記憶された継目板上にボルト消失異常（missing bolts anomaly）が常に存在することが観測される。さらに、識別された継目板領域中のボルト消失異常について確認する間、記憶されたドメイン知識は、そのような異常について画像全体が検査される必要があるとは限らないことを示す。さらに、セグメント化されたＲＯＩ画像を取得するために、（システム１０２のメモリ中に備えられる）好適なアルゴリズムが動的に選定される。一実施形態では、望まれる飛行経路は、さらなる処理のための膨大な量のデータ（たとえば、画像）につながり、ここで、多くの重複する画像が同じサブ・アセットを含んでいる。言い換えれば、重複する画像の間で、画像のすべてが、関連情報を含んでいるとは限らないか、または特定のアセット／部分／サブ部分のための複製された画像であり得るという可能性があることが観測される。そのような画像は、さらなる処理のために必要とされない。したがって、セグメント化されたＲＯＩ画像を取得する前に、複数のキャプチャされた画像から画像のサブセットを選択するための画像選択ステップが実施される。画像選択ステップは、処理を低減するのに役立つ。ここで、画像選択ステップは、教師あり学習を使用して実施され、教師あり学習は、他の画像を無視することによって視覚画像から継目板の存在を検出することによって、画像を選択するのに役立つ。異常または欠陥を識別するための技法が、（代替的にサブ・アセットとして参照される）アセットの部分ごとに異なるので、それにより、アセットの画像全体ではなく、サブ・アセットＲＯＩが、欠陥または異常検出を実施するために作成される。これは、算出を低減するのに大いに役立つ。ここで、サブ・アセット検出は、深層学習におけるパッチ・ベースの手法を使用して実施される。パッチ・ベースの手法は、サブ・アセットの検出のためにアセットを固定サイズのパッチに分割する。各パッチは、特定のテクスチャ、特定の周波数シグネチャ、または特定のウェーブレット・シグネチャを含む１つまたは複数の特徴を有する。特定のサブ・アセットのために識別されたパッチは、後処理ステップとしてセグメント化プロセスにマージおよび改良される。さらに、ＲＯＩセグメンテーションの場合、特定のサブ・アセットの画像は、複数のパッチ（たとえば、３２＊３２または１２８＊１２８）に分割される。事前トレーニングモデルをもつＣＮＮベースのネットワークが使用され、そのネットワークの出力は、サブ・アセットをＲＯＩ画像としてセグメント化するために形態学的演算を使用して後処理される。セグメント化プロセスは、オブジェクトとして検出されている水を含んでいるパッチなどの多くのフォールス・ポジティブ（false positives）を観測するのに役立つ。したがって、後処理は、マスキング手法を使用して実施され、より小さいマスクを使用して、ライン、枕木（sleeper）、アンカーなど、関連するオブジェクトが画像中で検出される。ここで、ラインは、熱カメラを使用して検出され、残りのオブジェクトは、ドメイン・インテリジェンスと線路の知られているレイアウトとを使用して検出される。検出された鉄道線路ラインからの相対距離に基づいて、他の構成要素が検出される。ラインおよび枕木など、鉄道アセットにおける顕著なオブジェクトが、最初に検出される。セグメンテーションとドメイン知識とに基づいて、アセット位置の他の部分が導出される。これらの領域提案は、次いで、アセットに属するすべての他の関連するオブジェクトの検出のために使用される。

さらに、図３のステップ３１０に示されているように、１つまたは複数のハードウェア・プロセッサは、１つまたは複数のアセットにおける異常を検出するために複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出する。一実施形態では、ＲＯＩ画像はパッチに分割され、複数の特徴は各パッチについて算出される。一実施形態では、複数の特徴は、フーリエ変換ベースの特徴、グレーレベル同時生起行列（ＧＬＣＭ：Ｇｒａｙ ｌｅｖｅｌ ｃｏ−ｏｃｃｕｒｒｅｎｃｅ ｍａｔｒｉｘ）特徴、ウェーブレット特徴などを含む。一実施形態では、フーリエ変換ベースの特徴は、（それらのそれぞれのｚスコアとともに）平均と、分散と、歪度と、尖度と、エントロピーとを含む。一実施形態では、ＧＬＣＭ特徴は、（それらのｚスコアとともに）非類似度、相関、コントラスト、均質性、ＡＳＭ、エネルギーを含む。サポート・ベクター・マシン（ＳＶＭ）分類器が、亀裂および変色など、欠陥または異常を有するパッチを識別するために、抽出された特徴を使用してトレーニングされる。ＳＶＭが、多くのフォールス・ポジティブを識別し、識別されたパッチ内の亀裂の明白な区別を与えないので、亀裂に影響を及ぼされるものとして識別されるパッチに対してのみ、線分検出（ＬＳＤ：Ｌｉｎｅ Ｓｅｇｍｅｎｔ Ｄｅｔｅｃｔｉｏｎ）が適用される。ＬＳＤの出力は、ラインがマージするように拡張される。これは、しきい値に基づいてより小さい亀裂を除去しながら大きい亀裂を選択するという利点を加える。識別された小さい亀裂はフォールス・ポジティブであり得、それらは実際の亀裂でさえないという可能性がある。したがって、しきい値に基づいて、フォールス・ポジティブが除外される。本開示の例示的な実施形態では、しきい値は、動的であり、完全にデータ依存である。鉄道の場合、しきい値は、トレーニング・フェーズ中に事前計算され、テストのために使用され、それをランタイムにおいて全自動にする。

再び図３を参照すると、ステップ３１２において、１つまたは複数のハードウェア・プロセッサは、１つまたは複数のアセットの障害を予測するために、検出された異常を（ｉ）潜在的異常または（ｉｉ）非潜在的異常のうちの１つとして分類するように構成される。一実施形態では、潜在的異常は、アセット／部分／サブ部分に深刻な損傷を引き起こすことがある異常として定義される。たとえば、鉄道線路ラインでは、潜在的異常は、限定はしないが、アンカー消失、継目板消失、ボルト消失、レール上の空転傷（wheel burn）などであり得る。類似して、電力線の場合、潜在的異常は、限定はしないが、タワー検査連結板消失（tower inspections missing joint plate）、連結板ボルト消失（missing joint plate bolt）などであり得る。潜在的異常は、高優先度と高発生頻度の両方を有する。一実施形態では、検出された異常は、（ａ）教師あり学習を使用する欠陥分類のための事前トレーニングされたモデルの使用、および（ｂ）メトリクス生成、または視覚画像から抽出される測定値（たとえば、レールの幅、レール・ヘッドの厚さ）を使用することのいずれかに基づいて分類される。一実施形態では、トレーニング・データを使用してあらかじめ欠陥を分類するために、モデルが構築される。モデルは、所与の入力画像についての正しいクラスを識別するために、異なるタイプの欠陥に関してトレーニングされる。たとえば、ホイールこすれ（wheel scrub）の場合、レール上に作成されるパターンは、ブレーキをかけてレールを走行しながら作成されるパターンとは異なる。集めたれたデータが不十分である場合、より多くの画像サンプルが敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を使用して生成され、モデルがトレーニングされ、それにより、既存のモデルはよりロバストになる。両方の欠陥の多くのインスタンスが集められ、特徴が抽出され、機械学習方法を使用して特定の欠陥に分類される。電力線検査の場合、欠陥を正しく学習および分類するために、壊れたダンパと腐食したダンパとの使用事例の入力ＲＯＩがモデルに与えられる。一実施形態では、メトリック生成は、ターゲット・アセットからのＵＡＶの距離を算出することを伴う。この距離は、カメラの視野（ＦｏＶ）角と、ドメイン・インテリジェンスを使用する鉄道線路の較正値とを使用して計算され得る。画像のためのメートル当りのピクセル数（ＰＰＭ：Ｐｉｘｅｌ Ｐｅｒ Ｍｅｔｅｒ）が計算される。さらに、自律飛行は、ＵＡＶをターゲット・アセットから一定の距離のところに保つのに役立ち、メトリック生成をロバストにする。この計算に基づいて、異常のサイズに関するすべての必要とされるメトリックが、さらなる処理のために計算され、記憶される。たとえば、ジャンクションの場合、列車のノーズが、消耗（ｗｅａｒ ａｎｄ ｔｅａｒ）を評価する（assess）ための最も重要な部分と見なされる。この場合、熱画像から導出されたメトリックは、レールのノーズを含むラインの正確な幅を与える。教師あり学習方法を使用してジャンクションがあることを検出した後に、ノーズの幅は、異常を検出し、その後異常を分類するために、視覚画像を使用して計算される。

一実施形態では、潜在的異常は、さらに、教師なし学習技法を使用して、長期影響異常、中期影響異常、短期影響異常、および即時影響異常としてカテゴリー分類される。一実施形態では、こぶ付き丸頭ボルト消失（missing fish bolts）、継目板消失、列車上の可視亀裂、コンクリートまたは鋼アセット上の巨大な亀裂のような異常は、即時影響異常と見なされ、即時影響異常は、直ちに対処されることが必要とされるか、またはブリッジの安全に潜在的に影響を及ぼすことがある。教師なし学習を使用する異常のさらなるカテゴリー分類の場合、複数のクラスタが作成され、クラスタ：０、クラスタ：１、クラスタ：２、クラスタ：３、クラスタ：４などのように、各クラスタに値が割り当てられる。ここで、クラスタ：０は、異常がない要素を含んでおり、クラスタ：１は、短い影響異常をもつ要素を含んでおり、クラスタ：２は、中間影響異常をもつ要素を含んでおり、クラスタ：３は、長い影響異常をもつ要素を含んでおり、クラスタ：４は、即時影響異常をもつ要素を含んでいる。一実施形態では、複数のクラスタは、あらかじめデータを視覚的に観測することによっておよび自動的に、機械視覚システムによって作成され、潜在的異常は、画像から得られた測定値に基づいてカテゴリー分類される。

一実施形態では、検査に基づいて、システム１０２によって分析およびハイライトされた問題をもつドラフト検査報告が生成される。ドラフト検査報告は、さらなる処理および見解のために中央指令部において生成される。中央指令部において採用されるシステムは検査報告を分析し、提案されるシステムおよび方法を使用してＵＡＶによって検出された異常に対して同意または反対するためのオプションを与える。中央指令部において採用されるシステムが、システム１０２によって検出された異常に同意した場合、修復部門に、検出された異常を修復しに行くようにとの命令をチームに通知する警報を送ることによって、提案されるシステムによって、是正措置がとられる。中央指令チームにおいて採用されるシステムが、検出された異常が潜在的問題を有しないことに反対した場合、（システム１０２のメモリ中に備えられる）機械学習アルゴリズムの学習がそのような異常を考慮しないことになり、中央指令部において採用されるシステムによって受け付けられないそのような異常はフラグを付けられる。これは、検出された異常の動的学習が１つまたは複数のアセットの障害予測を改善することを可能にする。

実験結果：

一実施形態では、一連の実験に基づいて、熱画像を使用する鉄道線路ラインの検出が９０％よりも大きい精度を有することが観測された。熱画像と適応しきい値計算とを使用して、本開示のシステムは、リアルタイムで動作し、ドリフトを補正し、２５ｃｍ内で配向を変えることが可能である。ＵＡＶが２ｍ／秒において移動しているので、ＵＡＶの経路は極めて急速に元どおりになる。一実施形態では、主要構成要素の視覚検出の場合、本開示のシステムの精度は８０％超である。さらに、誤差は、ドメイン知識を使用して補正され、全体的な精度が８５％よりも大きくなる。したがって、精度は、熱画像を使用する異常の検出において９０％超であり、視覚画像を使用する異常の検出において８０％超であることが観測された。さらに、本開示の方法を使用して、以前検出されて知られている異常の分類精度は、９５％よりも高く、小さいオブジェクトの検出精度は、約６０％である。一実施形態では、いくつかの異常がＲＧＢ画像以外のスペクトル情報を使用して容易に識別され得ることが識別された。たとえば、鉄道の場合の空転傷は、熱画像を使用して容易に識別され得る。異常をセグメント化するために、単純なしきい値方法が使用される。別の例は、マルチスペクトル・カメラを使用して容易に識別されるアセット上の植生（vegetation）を識別することである。ＲＢＧ画像におけるそれの検出のために、特定の機械学習モデルが必要とされることになる。したがって、本開示のシステムはまた、高い計算能力を使用せずにうまく動作する。人間の介入に関して、非常に長い全長について、列車を毎朝確認するための、鉄道スタッフによって行われる努力が、なくなる。本開示のシステムは、このニッチ・エリアを、極めて一貫して、場合によってはより頻繁にサービスすることができる自動ＵＡＶベースのシステムを提供する。さらに、キャプチャされる画像は、オフィスにおけるデータのアセスメントを可能にし、それは、各鉄道従業員が何キロメートルも物理的に歩行するよりもはるかに効果的である。

本明細書は、当業者が実施形態を製作および使用することを可能にするために、本明細書の主題について説明する。主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者が思い付く他の変更形態を含み得る。そのような他の変更形態は、それらが特許請求の範囲の文字通りの文言と異ならない類似の要素を有する場合、または、それらが特許請求の範囲の文字通りの文言とのわずかな差をもつ等価要素を含む場合、特許請求の範囲内に入ることが意図される。

本明細書の本開示の実施形態は、磁気干渉の存在下でのデータ収集およびアセット検査の未解決の問題に対処し、データ収集は、磁気干渉の存在下では厄介になり、不正確な結果につながる。したがって、実施形態は、熱カメラ、視覚カメラ、およびマルチスペクトル・カメラなど、複数のセンサーと統合されたＵＡＶを使用する検査の下での、データ、特にアセットの１つまたは複数の部分の画像を収集することを提供する。アセットにわたってＵＡＶをナビゲートすることによってすべてのこれらのカメラから収集されたデータは、低減された処理時間とともに正確な結果を与える。

保護の範囲は、そのようなプログラムに、および追加として、その中にメッセージを有するコンピュータ可読手段に拡張されることを理解されたい。そのようなコンピュータ可読記憶手段は、プログラムがサーバまたはモバイル・デバイスあるいは任意の好適なプログラマブル・デバイス上で動作するとき、方法の１つまたは複数のステップの実装のためのプログラムコード手段を含んでいる。ハードウェア・デバイスは、たとえば、サーバまたはパーソナル・コンピュータなど、あるいはそれらの任意の組合せのような任意の種類のコンピュータを含む、プログラムされ得る任意の種類のデバイスであり得る。デバイスは、たとえば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）のようなハードウェア手段、あるいは、たとえばＡＳＩＣおよびＦＰＧＡのハードウェア手段とソフトウェア手段の組合せ、またはソフトウェア処理構成要素がその中にある少なくとも１つのマイクロプロセッサおよび少なくとも１つのメモリであり得る、手段をも含み得る。したがって、手段は、ハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書で説明された方法の実施形態は、ハードウェアおよびソフトウェアにおいて実装され得る。デバイスはソフトウェア手段をも含み得る。代替的に、実施形態は、たとえば複数のＣＰＵを使用して、異なるハードウェア・デバイス上で実装され得る。

本明細書の実施形態は、ハードウェア要素とソフトウェア要素とを備えることができる。ソフトウェアで実装される実施形態は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。本明細書で説明された様々な構成要素によって実施される機能は、他の構成要素または他の構成要素の組合せにおいて実装され得る。この説明では、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによる使用のための、あるいはそれらに関するプログラムを備えるか、記憶するか、通信するか、伝搬するか、トランスポートすることができる任意の装置であり得る。

示されたステップは図示の例示的な実施形態について説明するために提示され、進行中の技術発展が、特定の機能が実施される様式を変更することが予期されるべきである。これらの例は、限定ではなく例示の目的で本明細書で提示される。さらに、機能的ビルディング・ブロックの境界は、説明の便宜のために、任意に、本明細書で定義された。指定された機能およびその関係が適宜に実施される限り、代替境界が定義され得る。（本明細書で説明されたものの等価物、拡張、変形、逸脱などを含む）代替は、本明細書に含まれている教示に基づいて当業者に明らかになろう。そのような代替は、開示された実施形態の範囲内に入る。また、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および「含む（ｉｎｃｌｕｄｉｎｇ）」という単語、ならびに他の類似の形式は、意味において等価であり、これらの単語のいずれか１つの後にくる１つまたは複数の項目が、そのような１つまたは複数の項目の網羅的なリスティングであるように意図されていないか、または、１つまたは複数のリストされた項目のみに限定されるように意図されていないという点で、オープンエンドであることが意図される。本明細書でおよび添付の特許請求の範囲において使用される単数形「ａ」、「ａｎ」、および「ｔｈｅ」が、文脈が別段に明確に規定するのでなければ、複数形の言及を含むことにも留意されたい。

さらに、１つまたは複数のコンピュータ可読記憶媒体が、本開示に従う実施形態を実装する際に利用され得る。コンピュータ可読記憶媒体は、プロセッサによって可読な情報またはデータが記憶され得る任意のタイプの物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、（１つまたは複数の）プロセッサに本明細書で説明された実施形態に従うステップまたは段階を実施させるための命令を含む、１つまたは複数のプロセッサが実行するための命令を記憶し得る。「コンピュータ可読媒体」という用語は、有形の品物を含み、搬送波および過渡信号を除外し、すなわち、非一時的であることを理解されたい。例は、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハード・ドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュ・ドライブ、ディスク、および任意の他の知られている物理的記憶媒体を含む。

本開示および例は例示にすぎないと見なされ、開示された実施形態の真の範囲は以下の特許請求の範囲によって示されることが意図される。

Claims (12)

1. １つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ）の初期位置を推定するステップ（３０２）と、
   前記ＵＡＶと統合された複数のセンサーを使用して、磁気干渉の存在下での前記ＵＡＶの配向および方向に関する情報を決定するステップ（３０４）と、
   磁気干渉の存在下で前記１つまたは複数のアセットにわたって前記ＵＡＶを動的に補正された飛行経路を通してナビゲートすることによって、前記１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集するステップ（３０６）であって、収集された前記データの少なくともサブセットが、複数のビューからキャプチャされた複数の画像を備える、収集するステップ（３０６）と、
   １つまたは複数のドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ）画像を取得するために、前記１つまたは複数のアセットの前記１つまたは複数の部分におけるＲＯＩを識別するステップ（３０８）と、
   前記１つまたは複数のアセットにおける異常を検出するために、前記複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出するステップ（３１０）と、
   前記１つまたは複数のアセットの障害を予測するために、前記検出された異常を（ｉ）潜在的異常または（ｉｉ）非潜在的異常のうちの１つとして分類するステップ（３１２）と
   を含む、プロセッサ実装方法。
2. 前記複数のセンサーが、熱カメラ、マルチスペクトル・カメラ、ＲＧＢカメラまたはそれらの組合せを含む、請求項１に記載のプロセッサ実装方法。
3. 前記複数の画像が、前記ＵＡＶのナビゲーション中に異なる波長において収集される、請求項１に記載のプロセッサ実装方法。
4. 前記潜在的異常が、さらに、教師なし学習技法を使用して、長期影響異常、中期影響異常、短期影響異常、および即時影響異常としてカテゴリー分類される、請求項１に記載のプロセッサ実装方法。
5. 命令を記憶するメモリ（２０２）と、
   １つまたは複数の通信インターフェース（２０６）と、
   前記１つまたは複数の通信インターフェース（２０６）を介して前記メモリ（２０２）に結合された１つまたは複数のハードウェア・プロセッサ（２０４）と
   を備えるシステム（１０２）であって、前記１つまたは複数のハードウェア・プロセッサ（２０４）は、
   １つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ）の初期位置を推定することと、
   前記ＵＡＶと統合された複数のセンサーを使用して、磁気干渉の存在下での前記ＵＡＶの配向および方向に関する情報を決定することと、
   磁気干渉の存在下で前記１つまたは複数のアセットにわたって前記ＵＡＶを動的に補正された飛行経路を通してナビゲートすることによって、前記１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集することであって、収集された前記データの少なくともサブセットが、複数のビューからキャプチャされた複数の画像を備える、収集することと、
   １つまたは複数のドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ）画像を取得するために、前記１つまたは複数のアセットの前記１つまたは複数の部分におけるＲＯＩを識別することと、
   前記１つまたは複数のアセットにおける異常を検出するために、前記複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出することと、
   前記１つまたは複数のアセットの障害を予測するために、前記検出された異常を（ｉ）潜在的異常または（ｉｉ）非潜在的異常のうちの１つとして分類することと
   を行うように、前記命令によって構成される、システム（１０２）。
6. 前記複数のセンサーが、熱カメラ、マルチスペクトル・カメラ、ＲＧＢカメラ、またはそれらの組合せを含む、請求項５に記載のシステム。
7. 前記複数の画像が、前記ＵＡＶのナビゲーション中に異なる波長において収集される、請求項５に記載のシステム。
8. 前記潜在的異常が、さらに、教師なし学習技法を使用して、長期影響異常、中期影響異常、短期影響異常、および即時影響異常としてカテゴリー分類される、請求項５に記載のシステム。
9. １つまたは複数のハードウェア・プロセッサによって実行されたとき、
   １つまたは複数のインフラストラクチャにおける１つまたは複数のアセットを検査する無人航空機（ＵＡＶ）の初期位置を推定することと、
   前記ＵＡＶと統合された複数のセンサーを使用して、磁気干渉の存在下での前記ＵＡＶの配向および方向に関する情報を決定することと、
   磁気干渉の存在下で前記１つまたは複数のアセットにわたって前記ＵＡＶを動的に補正された飛行経路を通してナビゲートすることによって、前記１つまたは複数のアセットの１つまたは複数の部分に関係するデータを収集することであって、収集された前記データの少なくともサブセットが、複数のビューからキャプチャされた複数の画像を備える、収集することと、
   １つまたは複数のドメイン知識駆動型機械学習技法を使用して、複数のセグメント化された関心領域（ＲＯＩ）画像を取得するために、前記１つまたは複数のアセットの前記１つまたは複数の部分におけるＲＯＩを識別することと、
   前記１つまたは複数のアセットにおける異常を検出するために、前記複数のセグメント化されたＲＯＩ画像の各々から複数の特徴を抽出することと、
   前記１つまたは複数のアセットの障害を予測するために、前記検出された異常を（ｉ）潜在的異常または（ｉｉ）非潜在的異常のうちの１つとして分類することと
   を引き起こす１つまたは複数の命令を備える１つまたは複数の非一時的コンピュータ可読媒体。
10. 前記複数のセンサーが、熱カメラ、マルチスペクトル・カメラ、ＲＧＢカメラまたはそれらの組合せを含む、請求項９に記載の１つまたは複数の非一時的コンピュータ可読媒体。
11. 前記複数の画像が、前記ＵＡＶのナビゲーション中に異なる波長において収集される、請求項９に記載の１つまたは複数の非一時的コンピュータ可読媒体。
12. 前記潜在的異常が、さらに、教師なし学習技法を使用して、長期影響異常、中期影響異常、短期影響異常、および即時影響異常としてカテゴリー分類される、請求項９に記載の１つまたは複数の非一時的コンピュータ可読媒体。