JP2021511580A - 自動化された適応型三次元ロボット現地調査 - Google Patents

自動化された適応型三次元ロボット現地調査 Download PDF

Info

Publication number
JP2021511580A
JP2021511580A JP2020539036A JP2020539036A JP2021511580A JP 2021511580 A JP2021511580 A JP 2021511580A JP 2020539036 A JP2020539036 A JP 2020539036A JP 2020539036 A JP2020539036 A JP 2020539036A JP 2021511580 A JP2021511580 A JP 2021511580A
Authority
JP
Japan
Prior art keywords
asset
mission plan
constraints
waypoint
automated guided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020539036A
Other languages
English (en)
Other versions
JP7301851B2 (ja
Inventor
セン，シラジ
ロバート グレイ，スティーブン
ロバート グレイ，スティーブン
ジャイン，アーピット
タン，フアン
フォーマン，ダグラス
アン グッツォ，ジュディス
アン グッツォ，ジュディス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2021511580A publication Critical patent/JP2021511580A/ja
Priority to JP2023101091A priority Critical patent/JP2023126813A/ja
Application granted granted Critical
Publication of JP7301851B2 publication Critical patent/JP7301851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/04—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/06—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00—Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/001—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations
    • B63G2008/002—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned
    • B63G2008/005—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned remotely controlled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

資産の三次元モデルを生成する方法は、資産の周りで無人車両を操作するためのミッションプランの制約に対応する入力パラメータを受け取るステップ、代表的な資産タイプの情報を含む入力パラメータに基づいてミッションプランを生成するステップであって、ミッションプランは、無人車両の１つまたは複数の画像センサの位置および向きを識別するウェイポイントを含む、ステップ、１つまたは複数の事前定義された基準を満たすウェイポイントを接続する無人車両の飛行経路を生成するステップ、あるウェイポイントから次のウェイポイントへの飛行経路の実行中に無人車両の車両状態を監視するステップ、各ウェイポイントで、１つまたは複数の画像センサによって感知した資産の局所的形状を決定するステップ、局所的形状に基づいてオンザフライでミッションプランを変更するステップ、および変更されたミッションプランのウェイポイントに沿って資産の画像をキャプチャするステップを含む。【選択図】図３

Description

本明細書に開示される主題は、現地調査に関し、より具体的には、資産およびその環境の三次元モデルを構築するための、産業資産周辺の多感覚データの自律的収集に関する。ロボット、特に産業環境で動作するロボットにとっては、自律的に環境を感知してモデル化する機能を持つことが望ましいだろう。この環境のモデルは、検査、障害物回避、ロボットの位置確認、ターゲット設定などの他のタスクを指示するのに使用することができる。
既存の３Ｄ再構築システムの多くは、パフォーマンスに影響を与えるいくつかの制限に悩まされている。通常、資産の三次元（３Ｄ）再構築に必要なデータは、人間のオペレータが手動で操縦するドローンによって、または人間が携帯する感知システムによって収集される。人間にデータ収集プロセスの側面を実行させることは、困難でエラーが発生しやすいタスクになる可能性があることに注意されたい。これは、計画されたデータ収集にかなりの時間がかかる場合、収集がさまざまなルートを取る可能性がある場合、調査する必要のある対象点が多い場合、資産および／または周辺環境が複雑で動的に変化する場合、他の人および／またはロボットがそのエリアで同時に動作している場合などに特に当てはまる。
手動のデータ収集では、正確なモデルを構築するために、画像に焦点が合っているか、資産の適切な領域を対象としているか、および画像間で十分な重なりがあるかを保証するといった特定の成果指標（ＫＰＩ）を満たす３Ｄ再構築を生成するために適切なデータが収集されている保証はない。さらに、手動のデータ収集は、通常、大量のデータを収集することになる。上述のように、現在利用可能なシステムは、通常、人間のオペレータがドローンを手動で操縦して多数の画像（例えば、数千枚程度）をキャプチャし、次にそれを使用して資産の３Ｄモデルを構築する。このデータセット全体を再構築エンジンに送ると、計算コストが非常に高くなる可能性がある。さらに、焦点が合っていない、または十分な重なりがない画像が存在すると、再構築の質が低下する可能性がある。
したがって、自動かつ適応的な方法で三次元ロボット現地調査を容易にするシステムおよび方法を提供することが望ましいであろう。
本明細書に記載の実施形態は、無人のロボット／車両が（例えば、資産タイプを与えられて）自律的に計画し、そのミッションを新しい情報に基づいてリアルタイム（「オンザフライ」）で更新／適応するシステムおよび方法を提供することにより、従来技術を改善する。
様々な実施形態では、無人航空機システムは、最小限の人間の介入で３Ｄモデルを構築するための資産に関する多感覚データを自律的に収集することができる。システムは、タスクと資産のさまざまな制約を考慮したミッションプランを生成する（ジオフェンス、カメラパラメータ、資産寸法、資産タイプなど）。さまざまな制約を組み合わせて、適切な量のデータを収集して３Ｄ再構築の精度を最大化するミッションプランを構築する。さらに、システムは、２次元（２Ｄ）および三次元（３Ｄ）カメラによって感知した資産の局所的形状に基づいて、オンザフライで自動的に再計画できる。
一部の従来のアプローチでは、資産の３Ｄ再構築に必要なデータは、通常、人間のオペレータが手動で操縦するドローンによって、または人間が携帯する感知システムによって収集される。例えば、ドローンは最初に手動で（例えば、人間のオペレータによって）または定義された経路を飛行してデータ／初期画像をキャプチャし、次にそれを使用して資産の３Ｄモデルをオフラインで構築する。機械学習などのオフライン分析を使用して、３Ｄ再構築エンジンに送る前にデータをクリーンアップできる。例えば、人間のオペレータによって収集された多数の画像は、感覚モデルとドメインモデルを使用した正確な３Ｄ再構築に必要なデータサンプルの最適な数（例えば、最小限、関連セット）に切り詰められる場合がある。しかしながら、これは、画像が確実に所望の品質であること、および所望の画像がキャプチャされたことの両方を保証するための、オペレータからの絶え間ないフィードバックを必要とする。
従来のアプローチの制限の１つは、資産の３Ｄモデルの構築は計算コストのかかるプロセスであり、資産のサイズとタイプ、および収集される画像の数に大きく依存することである。資産のサイズとドローンの電力制限に応じて、モデルの構築操作は、完了するまでに数時間から数日といった具合に長時間かかる場合がある（例えば、典型的な大規模な産業用資産の場合）。さらに、これらの３Ｄ再構築エンジンは通常、それらエンジンが並列化できるクラウドサーバでより適切に実行される。しかし、産業資産の多くは、ネットワーク経由で大量の情報をアップロードすることが困難な地域にある。その結果、従来のシステムは通常、ミッションプランの再生成に使用できる資産の正確なモデルを構築するのに数日かかる。
これらの問題を克服するために、本明細書の例では、オンライン感知を利用して、３Ｄ再構築用の局所的形状を最適にキャプチャする方法でミッションプランをオンザフライで更新する。有利なことに、以前に構築された３Ｄモデルへのアクセスは必要ない。これは、計画がオフラインで行われ、ドローンが開ループ方式でミッション飛行をする従来のソリューションとは異なる。
様々な実施形態によれば、本システムは、（例えば、画像の重なりに関して）効率的な画像取得を達成し、資産に関して正しい対象領域を特定するような画像を取得するための適切な位置およびカメラ／視野角を自動的に計算する。さらに、画像センサからのデータをシステムにフィードバックして、画質を評価し、必要に応じて適切なアクションを実行できる。そのためドローンは、その位置とカメラの位置が追跡されている間、自律的にミッション飛行をすることができる。画像は計画された場所でのみキャプチャされ、ドローンの位置や向きなどの適切なメタデータが保存される。このようにして、必要な再構築の精度を満たしながら、最小限の数の画像が収集される。さらに、本システムでは、ロボットがそのプランをオンザフライで適応させ、局所的形状の感知に基づいて資産のパーツを最適にキャプチャできる。
３Ｄ再構築システムによって提供される技術的な利点には、最小限の画像で資産を正確に再構築することにつながる、資産を画像化するための最適な場所を自動的に決定できること、およびドローンがそのミッションを追跡し、局所的形状などの感知した情報に基づいて修正アクションを実行できることが含まれる。
３Ｄ再構築システムによってもたらされる商業上の利点には、オペレータ（エンジニアなど）が適切な量と忠実度のデータ（例えば、必要な最小数の画像）をすばやく収集して、資産の高忠実度３Ｄモデルを作成できることが含まれる。３Ｄ再構築の従来の方法は、取得した画像の数に大きく依存する計算コストの高いプロセスである。画像をキャプチャする本方法は、モデルを構築するために必要な時間の削減につながり、その結果、実用的な情報が利用可能になるまでの時間を短縮する。さらに、正確な３Ｄモデルを構築することは、資産のパーツを測定するのに役立つだけでなく、資産の特定の場所に行って画像を収集するようにドローンに指示できる対象を絞った検査プランを作成できる。
他の特徴および態様は、図面および特許請求の範囲と併せて解釈される以下の詳細な説明から明らかであろう。
例示的な実施形態の特徴および利点、ならびにそれらが達成される方法は、以下に簡単に説明される添付の図面と併せて解釈される以下の詳細な説明を参照すると、より容易に明らかになるであろう。
一部の実施形態によるロボットシステムを示す図である。 一部の実施形態による現地調査システムの概要を示す図である。 一部の実施形態による例示的なプロセスを示すブロックフロー図である。 一部の実施形態によるユーザインタフェースの外観図である。 一部の実施形態によるユーザインタフェースの外観図である。 一部の実施形態による、ローカルプランが資産の形状に基づいてどのように変化するかの例を示す図である。 一部の実施形態によるコンピューティングシステムのブロック図である。
図面および詳細な説明全体を通して、他に説明がない限り、同じ図面参照番号は、同じ要素、特徴、および構造を指すと理解される。これらの要素の相対的なサイズと描写は、明確さ、説明、および／または便宜上、誇張または調整されている場合がある。
以下の説明では、様々な例示的な実施形態の完全な理解を提供するために、特定の詳細が示されている。実施形態に対する様々な修正は当業者に容易に明らかとなり、本明細書で定義される一般的な原理は、本開示の精神および範囲から逸脱することなく、他の実施形態および用途に適用され得る。さらに、以下の説明では、説明の目的で多くの詳細が述べられている。しかしながら、当業者は、これらの特定の詳細を使用せずに実施形態を実施できることを理解するはずである。他の例では、不必要な詳細で説明を不明瞭にしないために、周知の構造およびプロセスは図示または説明されていない。したがって、本開示は、示される実施形態に限定されることを意図するものではなく、本明細書に開示される原理および特徴と一致する最も広い範囲が与えられるべきである。
本明細書で説明する一部の実施形態は、無人ロボットにインテリジェントで自動化された環境感知およびモデリングを提供することに関する。そのような実施形態は、ビジネスまたは企業エンティティ、政府、個人、非営利組織などを含むさまざまなエンティティに関連する産業資産を検査するなどのタスクを指示するために使用される場合に有用であり得る。本明細書で説明するように、そのような資産は、一般に個別であるか、範囲が限定されている（例えば、飛行機、ヘリコプター、船、潜水艦、宇宙ロケット、衛星、機関車など）か、または地理的に分散している（例えば、道路または線路、港または空港、パイプラインまたは電気インフラ、発電施設または製造プラントなど）。本明細書で説明する一部の実施形態は、ロボット仲介を使用して、手動、自律的、または半自律的な方法でこれらのタイプの資産（および列挙されていない他のもの）を検査するために使用され得る。
図１は、一部の実施形態によるロボットシステム１００を示す。図１を参照すると、ロボットシステム１００は、資産１４０の周りの多感覚データを収集する無人ロボット１３０を含む。例えば、無人ロボット１３０は、ドローンなどの無人航空機（ＵＡＶ）、爬行ロボット、転動ロボット、歩行ロボット、自律型水中ビークル（ＡＵＶ）などを含むことができる。図１の例では、無人ロボット１３０は、再充電および保管のためのドッキングステーション１３２を含む。また、無人ロボット１３０は、コントローラ１２０および／または基地局１１０と通信することができる。例えば、コントローラ１２０および基地局１１０は、データ通信チャネルを介して無人ロボット１３０からデータを受信し、無人ロボット１３０にデータを送信することができる。また、一部の例では、基地局１１０は、データ通信チャネルを介して無人ロボット１１０にコマンドを送信するユーザ（例えば、エンジニア）から入力を受け取ることができる。通信チャネルは、例えば、衛星、セルラ、ローカルなどの無線であってもよく、および／または場合によっては有線であってもよい。例えば、ユーザは、資産寸法、資産タイプ、必要なデータ忠実度など、資産に関する特定の情報を入力でき、これらの情報は、さまざまなミッション制約に従うミッションプランを構築するために使用される。次に、ミッションは、ミッションを実行し、必要な画像（例えば、２Ｄおよび３Ｄの両方）を収集する無人航空機１３０に無線で送られる。これらの画像はメタデータとともに３Ｄ再構築システムに送られ、資産の正確な３Ｄモデルが構築される。
資産１４０は、無人ロボット１３０によってアクセス可能な地理的位置に配置される構造であり得る。例えば、資産１４０は、海に配置された石油プラットフォーム、地表の下に配置されたタンクまたは井戸、地表に沿って配置されたパイプライン、橋、ダム、ガスフレア、タービン、動力グリッド、航空機、機関車などであってもよい。ミッションプランに基づいて、無人ロボット１３０は、資産１４０を検査（例えば、データを収集）しながら、資産１４０の周りを自律的に移動することができる。図１の例では、無人ロボット１３０は、資産１４０の周りを飛行できるドローンである。ドローンは、資産１４０の表面上の場所への着陸、空中での一時停止などをすることができる。本明細書で説明されるように、ドローン１３０は、飛行プランに含まれる仮想移動経路の３Ｄモデルに基づいて、資産１４０の周りの移動経路を飛行することができる。場合によっては、ドローン１３０は、ドッキングステーション１３２から飛行プランの開始点までの移動経路を提供する命令を受け取ることもできる。
無人ロボット１３０は、センサデータを収集するために少なくとも１つのセンサを含み得ることに留意されたい。一部の実施形態によれば、センサは、例えば、カメラ（例えば、赤−緑−青（「ＲＧＢ」）カメラ）、ビデオカメラ、赤外線（「ＩＲ」）カメラ、マイク、化学検出器、光検出測距（「ＬＩＤＡＲ」）センサ、放射線検出器などに関連付けることができる。本明細書では一部の例を単一の検査装置またはロボットに関連して説明しているが、代わりに検査（例えば、現地調査）プランを、同時に情報を収集する複数の検査装置またはロボットに関連付けることができることに注意されたい。
様々な実施形態によれば、無人ロボット１３０は、基地局１１０、コントローラ１２０から受信される、または無人ロボット１３０を介してローカルに入力される３Ｄ仮想ミッションプランに基づいて、資産１４０の複数の対象領域の検査を実行することができる。対象領域は、資産１４０全体の様々な分散した場所に配置され、資産１４０の所定の領域内にクラスタ化され、および／または同様のものであり得る。各対象領域には、資産上で検査される対象点、対象領域などの位置、カメラ（または他のセンサ）が対象領域の資産の表面に対して配置される角度、センサデータのキャプチャ中にドローンが移動すべき資産を中心とした旋回角度などが含まれる。
図２は、一部の実施形態による現地調査システムの概要を示す図である。このシステムは、オペレータ（例えば、ユーザ、技術者、エンジニアなど）によって提供される資産固有の制約２１０および現地調査の制約２２０を使用して、２３０で現地調査プラン（例えば、ミッション）を生成する。その後、プランはＵＡＶ（ドローンなど）によって実行され、局所的形状を最適化するために２４０でオンザフライで更新される。必要な二次元（２Ｄ）および三次元（３Ｄ）画像が収集されると、２５０で３Ｄ再構築エンジンに渡され、資産のテクスチャ、メトリック、３Ｄモデルが生成される。
次に、一緒に説明する図３から図６を参照する。図３は、一部の実施形態による例示的なプロセス３００を示すブロックフロー図である。例えば、プロセス３００は、本明細書で説明されるソフトウェアおよび／またはシステムによって実行され得る。プロセス３００は、資産の正確な３Ｄモデルを構築するための構造を提供する。
図４は、一部の実施形態によるユーザインタフェース４００の外観図である。図５は、一部の実施形態によるユーザインタフェース５００の外観図である。
図６は、資産の一部のローカル／初期プランが、ドローン上の２Ｄおよび３Ｄセンサによって決定され得る資産の形状に基づいてどのように変化するかの概要を示す図である。
図３を参照すると、現地調査プランおよび実行システムは、現地調査ユーザインタフェース（ＵＩ）３１０、ミッションプランナ３２０、飛行プランナ３３０、ミッションエグゼキュータ３４０、および知覚エンジン３５０を含む。
現地調査プランを生成するために、ユーザインタフェース（アプリケーションや他のソフトウェアなど）が提供されてもよく、基地局、タブレット、または他のコンピュータなどのユーザデバイスを介して対話されてもよく、それにより検査官またはオペレータといったユーザは、検査現場に関する資産固有および現地調査の制約を入力できる。ここで、現地調査ＵＩ３１０は、システムのユーザが制約（例えば、現地およびミッション固有の制約）を入力するための手段を提供する。例えば、図４に示すように、ユーザは、ドロップダウンメニュー４０２またはミッションプランナ３２０に送信するための同様のユーザインタフェース機能から、パラメータ値（例えば、現地およびミッション固有の制約）を選択することができる。
一部の実施形態では、制約は、資産制約（例えば、資産タイプ、資産寸法など）、三次元再構築制約（例えば、地上サンプリング距離（ＧＳＤ）、画像の重なり、焦点距離やセンササイズなどのカメラパラメータ）、望ましい解像度（ピクセル／インチ）および／または特定のサイズの亀裂などの最小の解決可能な機能）、およびミッションの制約（例えば、ロボットの資産からの最小の安全／バックオフ距離、ジオフェンス制約など）を含み得る。
入力操作４０２の結果として、ユーザインタフェース４００は、ジオフェンス制約４０４および４０６を提示されてもよく、これは、１つまたは複数の対象領域および／または対象でない領域を指定する仮想境界を概説するものである。例えば、飛行プランは、範囲／立方体領域４０４内のいかなる領域も含むべきではなく、境界４０６を超えてはならない。
ミッションプランナ３２０は、システムの制約を使用して、必要な画像品質とカバレッジを保証するために資産の最適なカバレッジを提供するミッションプランを計算する。ミッションプランナ３２０が資産の三次元モデルにアクセスすることなくミッションプランが生成されるので、代表的な資産タイプの情報がプランを生成するために使用される。代表的な資産５０２は、プリミティブ形状およびパラメータ（例えば、円筒形資産、長方形資産、水平資産など）によって表現される。代表的な資産の範囲（例えば、検査のための領域）は、ユーザインタフェース４００を介して入力された情報によって、またはユーザの観察および判断によって決定され得る。この包括的な形状情報は、制約が与えられた資産を最も適切にカバーするミッションプランを生成するために使用される。
移動経路環境の非限定的な例が、ユーザインタフェース５００のスクリーンショットを介して図５に示されている。図５は、代表的な長方形の資産に対して生成されたミッションプランおよび飛行プランの例を示す。ジオフェンス境界４０４、４０６は、ドローンが侵害できない除外ゾーンを示している。生成されたミッションプランには、資産５０２に関するカメラの場所／位置および向きのリストが含まれる。この例では、矢印５０５は、ミッションプランナ３２０から返されたウェイポイントを示している。矢印５０５の位置はカメラの位置を示し、矢印の向きはカメラの向き（例えば、ドローン上の１つまたは複数のセンサの視点または視野角）を示している。線５１５は、生成された飛行プラン／経路（例えば、ドローン飛行検査プラン）を示している。
各移動経路（例えば、飛行経路）は、実空間における一連の移動経路およびウェイポイントに対応し得る。例えば、一連の移動経路（例えば、飛行経路上の対象領域）は、仮想空間内で移動経路５１５の仮想的に選択された開始点５１０と仮想的に選択された終了点５２０との間の実線５１５によって接続され得る。移動経路５１５の線は、仮想空間内のＸ、Ｙ、およびＺ座標軸のそれぞれにおいて全体的に変化しながら連続的に移動することができ、それにより、非常に正確なロボットの連続的な三次元運動をシミュレートする。さらに、移動経路５１５は、資産５０２の周りを１回または複数回周り、同時に、本明細書で説明するシステムによって生成される連続線に沿ってＸ、Ｙ、およびＺ座標軸のそれぞれで変化する。
仮想空間内の移動経路５１５は、例えば、飛行プランアプリケーションによって、物理的空間（例えば、現実世界）内の物理的移動経路と位置合わせされ得る。実空間のウェイポイントは仮想空間の対象領域に対応し、ロボットがデータと写真をキャプチャするポイントである。例えば、ビデオおよび静止画像に加えて、キャプチャされるデータは、様々な資産パーツ、資産サブ領域などの熱画像、紫外線画像、化学物質濃度のスニッフィングなどを含み得る。経路計画は、例えばＲＧＢカメラとＩＲカメラを別々に使用して、複数のパスで実行できる。さらに、現地調査プランを検査現場で調整して、特定の対象点に焦点を合わせることができる。例えば、ＩＲカメラパスは、ＲＧＢカメラを使用してさらなる現地調査のために設定されたホットスポットを検出する場合がある。
インタフェース４００、５００は、任意のタイプのクライアント（例えば、デスクトップシステム、スマートフォン、タブレットコンピュータ）によって提供される任意のタイプのディスプレイ装置（例えば、デスクトップモニタ、スマートフォンディスプレイ、タブレットディスプレイ）上に提示され得る。インタフェース４００、５００を提供するために実行されるアプリケーションは、ウェブブラウザ、スタンドアロンアプリケーション、または任意の他のアプリケーションを含み得る。実施形態は、インタフェース４００、５００に限定されず、任意の特定のタイプ、フォーマット、または機能を有するユーザインタフェースを含み得る。
次に、ミッションプラン情報が飛行プランナ３３０に提供される。飛行プランナ３３０は、環境／現地、ドローン、およびタスク制約などを含む１つまたは複数の所定の基準が与えられると、ドローンが実行できる実現可能な飛行プランを計算する。環境／現地の制約には、安全上の理由からドローンが飛行することを許可されない除外ゾーンが含まれる。ドローンの制約には、ドローンの位置とジンバルの制限に関する情報が含まれる。タスクの制約は、あるウェイポイントから次のウェイポイントへの最短経路（最小距離／時間など）を見つけることから、消費されるエネルギー量が最小の経路までなど、さまざまである。重力に逆らうと最大の電力を消費する可能性があるため、場合によっては、消費されるエネルギーの最小量には、無人ロボットが必要とする上昇の最小量が含まれることがある。飛行プランナ３３０は、上記の制約すべてを満たす最適な経路を見つけて、さまざまなウェイポイントを接続する飛行軌道／プランを生成する。
次に、飛行プラン情報は、ミッションエグゼキュータ３４０に提供される。ミッション実行モジュール３４０は、飛行プランナ３３０から飛行プランを受け取り、各ウェイポイントへのサブプラン（例えば、ローカルプラン）を実行する。ミッションエグゼキュータは、ロボットの状態（ドローンの状態、ペイロードの状態など）も監視し、それに応じてアクションを実行する。例えば、ドローンが風の強い状況で飛行していて、ドローンがその軌道から外れている場合、ミッションエグゼキュータはドローンに制御コマンドを提供してドローンを必要な軌道に戻すか、必要に応じて実行を中止する。ドローンが目標のウェイポイントに到達すると、ミッションエグゼキュータはジンバルの向きを調整し、必要な画像をキャプチャする。
図６を参照すると、上述のように、生成されたミッションプラン６１５は、資産が特定の代表的な形状６１０に類似しているという仮定に基づいている。しかしながら、図６に示されるように、実際には、資産の実際の形状６２０は、多数の局所的な変動を有する可能性がある。知覚エンジン３５０は、資産の局所的形状６２５を推測し、それに応じてミッションプランを適合させる方法を提供する。知覚エンジンは、２ＤカメラおよびＬＩＤＡＲシステムからの情報を使用して、ウェイポイントにおける資産６２０の局所的形状６２５（例えば、ローカル領域の制約）を計算する。この情報は、ミッションプランを変更するために使用される。ミッションを変更する一部の方法には、画像をキャプチャするカメラの向きを変更すること、局所的形状を最もよくキャプチャするウェイポイントの近くにウェイポイントを追加すること、追加情報に基づいて局所的に近くにあるすでに計画されているウェイポイントを変更することが含まれる。
図７は、一部の実施形態による、資産の３Ｄモデルを構築するための現地調査（例えば、データ収集）プランを生成するためのコンピューティングシステム７００を示す図である。例えば、コンピューティングシステム７００は、ロボットと通信し、有線または無線接続を介してロボットを制御するデバイスまたはデバイスのグループであり得る。図７を参照すると、コンピューティングシステム７００は、ネットワークインタフェース７１０、プロセッサ７２０、ディスプレイ７３０、出力７４０、およびストレージ７５０を含む。図７には示されていないが、ロボットシステム７００は、入力ユニット、１つまたは複数のストレージデバイスなどの他の構成要素を含むことができる。ネットワークインタフェース７１０は、衛星ネットワーク、セルラネットワーク、ローカルネットワークなどを介して、インターネット、プライベートネットワーク、パブリックネットワークなどのネットワークを介してデータを送信および受信するデータ通信インタフェースであり得る。
プロセッサ７２０は、それぞれが１つまたは複数の処理コアを含む１つまたは複数の処理デバイスを含むことができる。一部の例では、プロセッサ７２０は、マルチコアプロセッサまたは複数のマルチコアプロセッサである。また、プロセッサ７２０は、確定的なものであってもよく、または再構築可能であってもよい。様々な実施形態によれば、プロセッサ７２０は、無人ロボットによる実行のための現地調査プランを表示するように構成されたユーザインタフェースを含む現地調査計画アプリケーションを実行することができる。画像を収集するための複数の資産固有のおよび現地調査の制約の選択を、ユーザインタフェースは受け取り、プロセッサ７２０は検出することができる。
ストレージ７５０は、ロボットの移動経路および検査される資産の対象領域を含む現地調査プランを格納することができる。ストレージ７５０はまた、コンピューティングシステム７００が現地調査プロセスを実行する間にキャプチャされたデータを保存することができる。例示的な実施形態では、画像は計画された場所で取り込まれ、ドローンの位置および向きなどのメタデータは、システム７００に関連付けられたストレージ７５０に保存される。ストレージデバイス７５０は、特定のストレージデバイスに限定されず、ＲＡＭ、ＲＯＭ、ハードディスクなどのような任意の既知のメモリデバイスを含むことができる。出力７４０は、資産について生成された無人ロボットの移動経路を含む現地調査プランを、ディスプレイ、または無人ロボット自体および／または制御デバイスなどの別のデバイスまたはシステムに出力することができる。
ディスプレイ７３０は、システム７００の埋め込みディスプレイまたはシステム７００に外部接続された別のデバイスなどを介して、ユーザインタフェースおよび他のデータを表示することができる。出力７４０は、ユーザインタフェースおよび他のデータをディスプレイ７３０に出力することができる。
本明細書の例は、大部分が陸上の資産に関して提供されているが、実施形態は、水中資産を検査するための水中ドローンに組み込むことができることを理解されたい。この状況では、仮想的に作成された３Ｄ移動経路は同じ方法で作成されるが、移動経路は、空中を通過する代わりに、水、または油などその他の液体ベースの環境を通過する。
前述の明細に基づいて理解されるように、本開示の上記の例は、コンピュータソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせもしくはサブセットを含むコンピュータプログラミングまたはエンジニアリング技術を使用して実装され得る。コンピュータ可読コードを有するそのような結果として生じるプログラムは、１つまたは複数の非一時的なコンピュータ可読媒体内で具体化または提供され、それにより、本開示の説明された例に従って、コンピュータプログラム製品、すなわち製品を作ることができる。例えば、非一時的なコンピュータ可読媒体は、固定ドライブ、ディスケット、光ディスク、磁気テープ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）などの半導体メモリ、および／またはインターネット、クラウドストレージ、モノのインターネット、その他の通信ネットワークまたはリンクなどの送受信メディアであり得るが、これらに限定されない。コンピュータコードを含む製品は、１つの媒体から直接コードを実行することにより、ある媒体から別の媒体にコードをコピーすることにより、またはネットワークを介してコードを送信することにより製造および／または使用され得る。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、「アプリ」、またはコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含むことができ、高水準の手続き型および／またはオブジェクト指向のプログラミング言語および／またはアセンブリ／機械語で実装することができる。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、任意のコンピュータプログラム製品、装置、クラウドストレージ、モノのインターネット、および／または機械命令および／またはデータを、機械命令を機械可読信号として受信する機械可読媒体を含むプログラマブルプロセッサに提供するために使用されるデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。しかしながら、「機械可読媒体」および「コンピュータ可読媒体」は、一時的な信号を含まない。「機械可読信号」という用語は、プログラム可能なプロセッサに機械命令および／または任意の他の種類のデータを提供するために使用できる任意の信号を指す。
本明細書におけるプロセスの上記の説明および図解は、プロセスステップを実行するための固定された順序を意味すると見なされるべきではない。むしろ、プロセスステップは、少なくともいくつかのステップの同時実行を含む、実行可能な任意の順序で実行されてもよい。本開示を特定の例に関連して説明してきたが、当業者に明らかな様々な変更、置換、および改変が、開示された実施形態に対して、添付の特許請求の範囲に記載されている本開示の趣旨および範囲から逸脱することなく行われ得ることを理解されたい。

Claims (20)

  1. 資産の三次元モデルを生成するシステムであって、
    命令を格納するメモリ、および
    前記命令を実行するように構成されたプロセッサを含み、ここで前記実行された命令は、前記プロセッサに、
    資産の周りで無人車両を操作するためのミッションプランの制約に対応する入力パラメータを受け取る動作、
    前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成することであって、前記ミッションプランは、前記無人車両の１つまたは複数の画像センサの位置および向きを識別するウェイポイントを含む、動作、
    １つまたは複数の事前定義された基準を満たす前記ウェイポイントを接続する前記無人車両の飛行経路を生成する動作、
    各ウェイポイントで、前記１つまたは複数の画像センサによって感知した前記資産の局所的形状を決定する動作、
    前記局所的形状に基づいてオンザフライで前記ミッションプランを変更する動作、および
    前記変更されたミッションプランのウェイポイントに沿って前記資産の画像をキャプチャする動作を行わせる、システム。
  2. 前記プロセッサは、１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するようにさらに構成される、請求項１に記載のシステム。
  3. 前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、請求項１に記載のシステム。
  4. 前記入力パラメータは、ジオフェンス、カメラパラメータ、および資産寸法のうちの少なくとも１つを含む、請求項３に記載のシステム。
  5. 前記１つまたは複数の画像センサは、（ｉ）カメラ、（ｉｉ）ビデオカメラ、（ｉｉｉ）赤外線カメラ、（ｉｖ）マイク、（ｖ）化学検出器、（ｖｉ）光検出測距（「ＬＩＤＡＲ」）センサ、および（ｖｉｉ）放射線検出器のうちの少なくとも１つに関連付けられる、請求項１に記載のシステム。
  6. 前記資産タイプは、プリミティブ形状およびパラメータに関して表現される、請求項１に記載のシステム。
  7. 前記ミッションプランを変更することは、前記１つまたは複数の画像センサの前記向きを変更すること、ウェイポイントを追加すること、および前記ウェイポイントを変更することのうちの少なくとも１つを含む、請求項１に記載のシステム。
  8. 前記１つまたは複数の事前定義された基準は、環境制約、車両制約、およびタスク制約を含む、請求項１に記載のシステム。
  9. 資産の三次元モデルを生成する方法であって、
    資産の周りで無人車両を操作するためのミッションプランの制約に対応する入力パラメータを受け取るステップ、
    前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成するステップであって、前記ミッションプランは、前記無人車両の１つまたは複数の画像センサの位置および向きを識別するウェイポイントを含む、ステップ、
    １つまたは複数の事前定義された基準を満たす前記ウェイポイントを接続する前記無人車両の飛行経路を生成するステップ、
    あるウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップ、
    各ウェイポイントで、前記１つまたは複数の画像センサによって感知した前記資産の局所的形状を決定するステップ、
    前記局所的形状に基づいてオンザフライで前記ミッションプランを変更するステップ、および
    前記変更されたミッションプランのウェイポイントに沿って前記資産の画像をキャプチャするステップを含む、方法。
  10. １つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップをさらに含む、請求項９に記載の方法。
  11. 前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、請求項９に記載の方法。
  12. 前記入力パラメータは、ジオフェンス、カメラパラメータ、および資産寸法のうちの少なくとも１つを含む、請求項１１に記載の方法。
  13. 前記１つまたは複数の画像センサは、（ｉ）カメラ、（ｉｉ）ビデオカメラ、（ｉｉｉ）赤外線カメラ、（ｉｖ）マイク、（ｖ）化学検出器、（ｖｉ）光検出測距（「ＬＩＤＡＲ」）センサ、および（ｖｉｉ）放射線検出器のうちの少なくとも１つに関連付けられる、請求項９に記載の方法。
  14. 前記資産タイプは、プリミティブ形状およびパラメータに関して表現される、請求項９に記載の方法。
  15. 前記ミッションプランを変更するステップは、前記１つまたは複数の画像センサの前記向きを変更するステップ、ウェイポイントを追加するステップ、および前記ウェイポイントを変更するステップのうちの少なくとも１つを含む、請求項９に記載の方法。
  16. 前記１つまたは複数の事前定義された基準は、環境制約、車両制約、およびタスク制約を含む、請求項９に記載の方法。
  17. 実行時にコンピュータに資産の三次元モデルを生成する方法を実行させる命令を格納した非一時的なコンピュータ可読媒体であって、前記方法は、
    資産の周りで無人車両を操作するためのミッションプランの制約に対応する入力パラメータを受け取るステップ、
    前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成するステップであって、前記ミッションプランは、前記無人車両の１つまたは複数の画像センサの位置および向きを識別するウェイポイントを含む、ステップ、
    １つまたは複数の事前定義された基準を満たす前記ウェイポイントを接続する前記無人車両の飛行経路を生成するステップ、
    あるウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップ、
    各ウェイポイントで、前記１つまたは複数の画像センサによって感知した前記資産の局所的形状を決定するステップ、
    前記局所的形状に基づいてオンザフライで前記ミッションプランを変更するステップ、および
    前記変更されたミッションプランのウェイポイントに沿って前記資産の画像をキャプチャするステップを含む、非一時的なコンピュータ可読媒体。
  18. 前記方法は、１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップをさらに含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
  19. 前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
  20. 前記１つまたは複数の事前定義された基準は、環境制約、車両制約、およびタスク制約を含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
JP2020539036A 2018-01-25 2018-12-27 自動化された適応型三次元ロボット現地調査 Active JP7301851B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023101091A JP2023126813A (ja) 2018-01-25 2023-06-20 自動化された適応型三次元ロボット現地調査

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/879,743 2018-01-25
US15/879,743 US10607406B2 (en) 2018-01-25 2018-01-25 Automated and adaptive three-dimensional robotic site surveying
PCT/US2018/067621 WO2019147375A1 (en) 2018-01-25 2018-12-27 Automated and adaptive three-dimensional robotic site surveying

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023101091A Division JP2023126813A (ja) 2018-01-25 2023-06-20 自動化された適応型三次元ロボット現地調査

Publications (2)

Publication Number Publication Date
JP2021511580A true JP2021511580A (ja) 2021-05-06
JP7301851B2 JP7301851B2 (ja) 2023-07-03

Family

ID=67300081

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020539036A Active JP7301851B2 (ja) 2018-01-25 2018-12-27 自動化された適応型三次元ロボット現地調査
JP2023101091A Pending JP2023126813A (ja) 2018-01-25 2023-06-20 自動化された適応型三次元ロボット現地調査

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023101091A Pending JP2023126813A (ja) 2018-01-25 2023-06-20 自動化された適応型三次元ロボット現地調査

Country Status (5)

Country Link
US (1) US10607406B2 (ja)
EP (1) EP3743781B1 (ja)
JP (2) JP7301851B2 (ja)
CN (1) CN111512256B (ja)
WO (1) WO2019147375A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10739770B2 (en) * 2018-01-16 2020-08-11 General Electric Company Autonomously-controlled inspection platform with model-based active adaptive data collection
EP3746745A4 (en) * 2018-01-29 2021-08-11 AeroVironment, Inc. PROCEDURES AND SYSTEMS FOR DETERMINING FLIGHT PLANS FOR VERTICAL TAKING OFF AND LANDING AIRCRAFT (VTOL)
US20220165162A1 (en) * 2019-04-05 2022-05-26 Seekops Inc. Route optimization for energy industry infrastructure inspection
WO2020206006A1 (en) 2019-04-05 2020-10-08 Seekops Inc. Analog signal processing for a lightweight and compact laser-based trace gas sensor
WO2021029065A1 (ja) * 2019-08-15 2021-02-18 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN112650156B (zh) * 2019-10-12 2022-09-30 北京京东乾石科技有限公司 展示无人设备运行情况的方法和装置
US11988598B2 (en) 2019-12-31 2024-05-21 Seekops Inc. Optical cell cleaner
WO2021162648A1 (en) * 2020-02-10 2021-08-19 Aurvis Bilisim Yazilim Dan. Ar. Ge. Tic. Ltd. Sti. System and method for 3d modeling using autonomous flying drones
CN111176122B (zh) * 2020-02-11 2022-05-13 哈尔滨工程大学 一种基于双bp神经网络q学习技术的水下机器人参数自适应反步控制方法
US11703864B2 (en) 2020-02-13 2023-07-18 Skydio, Inc. Scanning structures via unmanned aerial vehicles
US11794342B2 (en) 2020-07-17 2023-10-24 Intrinsic Innovation Llc Robot planning using unmanned aerial vehicles
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles
WO2022064242A1 (en) * 2020-09-22 2022-03-31 Sarabi Soroush The method of automatic 3d designing of constructions and colonies in an smart system using a combination of machine scanning and imaging and machine learning and reconstruction of 3d model through deep learning and with the help of machine learning methods
CN113175872A (zh) * 2021-05-13 2021-07-27 中车长春轨道客车股份有限公司 基于视觉跟踪的车体自动化测量装置及其测量方法
CN117858834A (zh) * 2021-06-11 2024-04-09 网络无人机公司 用于基于3d模型的无人机飞行规划和控制的系统和方法
CN113758438B (zh) * 2021-07-08 2023-07-25 重庆市勘测院 特殊建筑物倾斜航空摄影及三维重建方法
CN115562332B (zh) * 2022-09-01 2023-05-16 北京普利永华科技发展有限公司 一种无人机机载记录数据的高效处理方法及系统
CN117973990A (zh) * 2024-04-02 2024-05-03 深圳大学 时序约束下多卡车多无人机包裹投递任务分配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073310A1 (ja) * 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体
JP2017138162A (ja) * 2016-02-02 2017-08-10 Ｊｆｅ鋼板株式会社 構造物の点検システムおよび点検方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546253B2 (en) * 2013-01-22 2020-01-28 General Electric Company Realtime inspection management
US20120033850A1 (en) * 2010-08-05 2012-02-09 Owens Kenneth G Methods and systems for optical asset recognition and location tracking
EP2558817B1 (en) * 2010-09-30 2019-05-15 Empire Technology Development LLC Automatic flight control for uav based solid modeling
US20140336928A1 (en) * 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
US9824596B2 (en) 2013-08-30 2017-11-21 Insitu, Inc. Unmanned vehicle searches
CA3161755A1 (en) 2014-01-10 2015-07-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
US9311760B2 (en) 2014-05-12 2016-04-12 Unmanned Innovation, Inc. Unmanned aerial vehicle authorization and geofence envelope determination
US9618934B2 (en) 2014-09-12 2017-04-11 4D Tech Solutions, Inc. Unmanned aerial vehicle 3D mapping system
US10489407B2 (en) 2014-09-19 2019-11-26 Ebay Inc. Dynamic modifications of results for search interfaces
US10640208B2 (en) * 2014-12-17 2020-05-05 Picpocket Labs, Inc. Drone based systems and methodologies for capturing images
IL236606B (en) * 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
US20160307447A1 (en) * 2015-02-13 2016-10-20 Unmanned Innovation, Inc. Unmanned aerial vehicle remote flight planning system
US10564649B2 (en) 2015-03-02 2020-02-18 Izak Jan van Cruyningen Flight planning for unmanned aerial tower inspection
US9881416B2 (en) 2015-04-14 2018-01-30 ETAK Systems, LLC Obtaining 3D modeling data using UAVs for cell sites
US10368249B2 (en) * 2015-04-14 2019-07-30 ETAK Systems, LLC Modeling fiber cabling associated with cell sites
US10187806B2 (en) 2015-04-14 2019-01-22 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data using multiple cameras
US9947230B2 (en) * 2015-08-03 2018-04-17 Amber Garage, Inc. Planning a flight path by identifying key frames
US20170059692A1 (en) * 2015-08-28 2017-03-02 Laufer Wind Group Llc Mitigation of Small Unmanned Aircraft Systems Threats
US10008123B2 (en) * 2015-10-20 2018-06-26 Skycatch, Inc. Generating a mission plan for capturing aerial images with an unmanned aerial vehicle
CA2952098A1 (en) 2015-12-18 2017-06-18 Wal-Mart Stores, Inc. Apparatus and method for surveying premises of a customer
US9740200B2 (en) 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9738381B1 (en) 2016-02-23 2017-08-22 General Electric Company Industrial machine acoustic inspection using unmanned aerial vehicle
WO2017147792A1 (en) * 2016-03-01 2017-09-08 SZ DJI Technology Co., Ltd. Methods and systems for target tracking
WO2017152067A1 (en) 2016-03-04 2017-09-08 Animusoft Llc Drone and robot control systems and methods
US20170345317A1 (en) * 2016-05-24 2017-11-30 Sharper Shape Oy Dynamic routing based on captured data quality
CN106056069A (zh) * 2016-05-27 2016-10-26 刘文萍 基于无人机图像分析的林地资源资产评估方法及其评估系统
US11150654B2 (en) * 2016-06-30 2021-10-19 Skydio, Inc. Dynamically adjusting UAV flight operations based on radio frequency signal data
CN206363317U (zh) * 2016-11-17 2017-07-28 成都慧途科技有限公司 一种地下管廊内固有资产无人巡检系统
US11017679B2 (en) * 2017-01-13 2021-05-25 Skydio, Inc. Unmanned aerial vehicle visual point cloud navigation
CN107092935A (zh) * 2017-04-26 2017-08-25 国家电网公司 一种资产变更检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073310A1 (ja) * 2015-10-27 2017-05-04 三菱電機株式会社 構造物の形状測定用の画像撮影システム、構造物の形状測定に使用する構造物の画像を撮影する方法、機上制御装置、遠隔制御装置、プログラム、および記録媒体
JP2017138162A (ja) * 2016-02-02 2017-08-10 Ｊｆｅ鋼板株式会社 構造物の点検システムおよび点検方法

Also Published As

Publication number Publication date
JP2023126813A (ja) 2023-09-12
EP3743781A4 (en) 2021-11-03
CN111512256B (zh) 2021-11-05
JP7301851B2 (ja) 2023-07-03
EP3743781B1 (en) 2024-01-24
CN111512256A (zh) 2020-08-07
US20190228573A1 (en) 2019-07-25
EP3743781A1 (en) 2020-12-02
US10607406B2 (en) 2020-03-31
WO2019147375A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
JP7301851B2 (ja) 自動化された適応型三次元ロボット現地調査
US10521960B2 (en) System and method for generating three-dimensional robotic inspection plan
US10633093B2 (en) Three-dimensional robotic inspection system
US10682677B2 (en) System and method providing situational awareness for autonomous asset inspection robot monitor
Israr et al. Internet of things (IoT)-Enabled unmanned aerial vehicles for the inspection of construction sites: a vision and future directions
CN111373334B (zh) 机器人工业检查系统的系统和方法
WO2018208995A1 (en) Self-localized mobile sensor network for autonomous robotic inspection
Surmann et al. Integration of uavs in urban search and rescue missions
US20240126294A1 (en) System and method for perceptive navigation of automated vehicles
Ibrahim et al. BIM-driven mission planning and navigation for automatic indoor construction progress detection using robotic ground platform
Pestana et al. Overview obstacle maps for obstacle‐aware navigation of autonomous drones
Saffre et al. Self-swarming for multi-robot systems deployed for situational awareness
Singh et al. Application of UAV swarm semi-autonomous system for the linear photogrammetric survey
Mian et al. Autonomous spacecraft inspection with free-flying drones
Smaoui et al. Automated scanning of concrete structures for crack detection and assessment using a drone
Talha et al. Autonomous UAV Navigation in Wilderness Search-and-Rescue Operations Using Deep Reinforcement Learning
Biundini et al. Coverage path planning optimization based on point cloud for structural inspection
Liu et al. Visualization of Power Corridor Based on UAV Line Inspection Data
Harradi et al. AREIOM: adaptive research multicopter platform
Filho et al. The edge architecture for semi-autonomous industrial robotic inspection systems
Silva Filho et al. Semi-Autonomous Industrial Robotic Inspection: Remote Methane Detection in Oilfield
Hammadi A Comprehensive Analysis of Autonomous Drone Technology Across Multiple Sectors
US20230324921A1 (en) Autonomous Robotic Platform
Kumarasan et al. DRONE-ENABLED WILDLIFE MONITORING SYSTEM: REVOLUTIONIZING CONSERVATION EFFORTS
Kanade et al. Smart drone imaging applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20230208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R150 Certificate of patent or registration of utility model

Ref document number: 7301851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150