JP2018521406A - 表面を自動的に検査するためのシステムおよび方法 - Google Patents

表面を自動的に検査するためのシステムおよび方法 Download PDF

Info

Publication number
JP2018521406A
JP2018521406A JP2017564662A JP2017564662A JP2018521406A JP 2018521406 A JP2018521406 A JP 2018521406A JP 2017564662 A JP2017564662 A JP 2017564662A JP 2017564662 A JP2017564662 A JP 2017564662A JP 2018521406 A JP2018521406 A JP 2018521406A
Authority
JP
Japan
Prior art keywords
robot
module
group
processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017564662A
Other languages
English (en)
Inventor
クレイブラフ,マシュー
Original Assignee
ドネクル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドネクル filed Critical ドネクル
Publication of JP2018521406A publication Critical patent/JP2018521406A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60Testing or inspecting aircraft components or systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Transportation (AREA)
  • Manipulator (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本発明は、航空機(54)、輸送車両、建物、またはエンジニアリング構造物などの物体の、欠陥を含む傾向を有する表面を自動的に検査するためのシステムに関する。このシステムは、少なくとも1つの飛行ロボット(14a、14b、14c)を含む集団を含むことを特徴とする。なお各飛行ロボットは、検査対象の表面の少なくとも1つ部分の画像を取得するためのモジュールと、取得された画像を処理するためのモジュールであって、各検査対象の表面部分の状態を表現する、処理結果と呼ばれる情報を提供するにあたり好適である、モジュールと、を含む。【選択図】図4

Description

本発明は、大規模物体を自動的に検査するためのシステムおよび方法に関する。特に本発明は、上記大規模物体の到達が困難な表面上の欠陥の検出および位置特定を実施することに関する。
本発明の技術分野は、大規模物体(例えば航空機、船舶、列車、自動車両、建物、またはエンジニアリング構造物)の外側表面などの大規模表面上で人間の目に対して可視である欠陥の検出および位置特定を行うことに関する。一般に、「物体」という用語は、本明細書では、人間により作られ、特定用途のために意図された、視覚および触覚を通して知覚可能である有体物として理解されるべきである。大規模物体(すなわち、その寸法、容量、および/または重量が大きいため人による運搬が不可能である物体)は、一般に、到達が困難な表面(例えば、高い位置にある建物もしくはエンジニアリング構造物の一部、大型船舶の外殻、石油プラットフォームの構造物、または列車部分もしくは航空機の胴体および翼の上方部分)を有する。したがって、この種の大規模物体上の目に見える欠陥の検出および位置特定は、いくつかの問題(特に、係る表面に対する視覚的アクセスを獲得すること、欠陥を検出すること、および座標系において当該物体に関する欠陥の位置特定を行うことに関する問題)を提示する。検出すべき欠陥は、例えば、落雷打撃、雹、鳥、もしくはデブリにより生じた、または、腐食、浸食、塗料の液だれ、亀裂欠陥、その他により生じた、影響である。
欠陥は、物体の表面を検査することにより、検出および位置特定される。これらの問題を克服するために複数の検査システムおよび方法が提案されてきた。
一般に、検査は現在では人間オペレータにより実施される。特定的な機材(例えば移動クレーンまたは足場、その他)が表面に対する視覚的アクセスを上記オペレータに提供するために使用される。到達がより困難な表面に対しては、オペレータは、双眼鏡または同等の光学的手段を使用することも要求され得る。
人間オペレータは表面を検査することにより欠陥を検出するよう特に訓練を受けている。したがって、これらの欠陥の検出はオペレータの経験および知覚に依存するものである。欠陥が検出されると、オペレータは、上記欠陥の位置特定を、すなわち、検出された欠陥の絶対位置(または物体上に存在する1つまたは複数の基準点に対する上記欠陥の位置)の記録を、担当する。これらの基準点は例えば、検査対象の物体に種類に応じて、窓もしくは舷窓、ケーブル、支柱、円柱、フレーム、スパー(帆柱・帆桁など)、縦材、テキストマーカなどの構造要素、または特定の特徴的要素、その他であり得る。したがって欠陥の位置特定は、最初に、少なくとも1つの基準点を決定し、次に、各基準点に対する欠陥の位置を測定することにより、実施される。
しかし、1人または複数の人間オペレータにより実施されるこれらの検査はいくつかの欠点を有する。
表面に対する視覚的アクセスを獲得するための足場などの特定的な機材の設置は、時間を要し、かつ高価であり、検査対象の表面に対する容易なアクセスを体系的に提供しない。この欠点を克服するために双眼鏡または同等の光学的手段を使用することは、これにより検査の効率が低下してしまうため、満足な結果をもたらさない。さらに、特定的な機材の使用は、一般に、オペレータに対する安全性リスク(特に落下もしくは圧壊のリスク、または、移動クレーンもしくは足場などの特定的な機材の使用によりもたらされる他のあらゆるリスク)を増大化させてしまう。特定的な機材は、物体に対するリスク(特に劣化を生じさせ得る衝突リスク)も生じさせてしまう。物体の脆弱性に応じて、この劣化は、不動化もしくは飛行禁止(車両および航空機に対する)、高額な修理、または動作の永続的停止などの顕著な影響を有し得る。これらの欠点およびリスクは、オペレータの総数が増加するにつれて、重大さが一層増大化する。
さらに、特に表面に到達することが困難である場合にはオペレータが表面の1部分を視覚的に走査することを失念し得るため、オペレータにより実施される検出は完璧ではない。表面の到達が容易であるかどうかに応じて、オペレータは表面を不均等に処理し得る。最終的に、各オペレータの主観性により、知覚された要素は異なって(例えば、主要な欠陥、軽微な欠陥、通常の摩耗、または痕跡間で)分類され得、それにより、オペレータが特定の欠陥を無視してしまうか、または係る欠陥の検出に遅延が生じ得る。さらにオペレータは検査に関して特に訓練を受けていなければならない。そのため、検査を実施する能力を有するオペレータの総数が減少し、訓練を受けたオペレータのチームの利用可能性およびコストに関する追加的な管理が必要となる。
最終的に位置特定技術は、例えば、この選択において多数の反復的要素(例えば舷窓、窓、円柱、その他)の計数が必要である場合には、特に基準点の選択および特定に関して、エラーを生じさせ得る。なお係るエラーが、1つまたは複数の基準点から測定されたときに生じる従来のエラーに追加され得る。
既存のシステムおよび方法を用いて実施されるこの検査には、追加的に速度に関する問題も生じ得る。現在の検査では、一般に、物体の操作を長期にわたり停止させることが必要となる。検査速度を改善するにあたっては、係る検査を担当するオペレータの総数を増加させることが必要となり、それにより、特に追加的なコストが発生し、上述のリスクが増大化してしまう。
これらの欠点を克服するための解決策が提案されてきた。例えば、欠陥をより良好に検出および位置特定し、それにより、検出および位置判定エラーの主観性を低減させるよう設計された光学的手段を装備した回転ロボットの使用が、提案されてきた。しかし、視覚的アクセスを獲得する問題は依然として残されており、オペレータが各検出に対して介入することが要求されている限り、この方法は低速である。他の解決策は、物体の表面を検査する能力を有する複数のカメラが装備された格納庫に検査対象の物体を配置することを含む。一方、このシステムは、建物およびエンジニアリング構造物に対して使用不能であり、移動が不可能であり、モジュール式ではない。特に係るシステムでは、検査対象の物体(例えば航空機)を格納庫に移動させることが必要であり、この作業は高額かつ複雑である。
したがって、発明者らは、既知のシステムおよび方法の欠点の少なくともいくつかを克服する検査システムおよび方法を提案しようと努めてきた。
本発明の目的は、表面を検査するための既知のシステムおよび方法の欠点のうち少なくともいくつかを克服することである。
特に本発明は、要求される人間オペレータの総数を制限する検査システムおよび方法を、係る検査システムおよび方法の少なくとも1つの実施形態において、提供することを目指す。
本発明はさらに、足場などの特定的な機材の設置を必要とすることなく、到達が困難な表面を検査するための検査システムおよび方法を、少なくとも1つの実施形態において、提供することを目指す。
特に本発明は、大規模表面を迅速に検査するための検査システムおよび方法を、係る検査システムおよび方法の少なくとも1つの実施形態において、提供することを目指す。
本発明はさらに、訓練をほとんど受けていないかまたは訓練をまったく受けていない人間オペレータが検査を実施することを可能にする検査システムおよび方法を、少なくとも1つの実施形態において、提供することを目指す。
本発明はさらに、表面上の欠陥をより良好に位置特定するための検査システムおよび方法を、少なくとも1つの実施形態において、提供することを目指す。
本発明はさらに、欠陥の検査および検出の増加された反復性を提供する検査システムおよび方法を、少なくとも1つの実施形態において、提供することを目指す。
この目的のために、本発明は、物体(例えば航空機、輸送車両、建物、またはエンジニアリング構造物など)の、欠陥を含む傾向を有する表面を自動的に検査するためのシステムであって、各飛行ロボットが、
−検査対象の表面の少なくとも1部分の画像を取得するためのモジュールと、
−取得された画像を処理するためのモジュールであって、各検査された表面部分の状態を表現する、処理結果と呼ばれる情報を提供するにあたり好適であるモジュールと、
を含む、少なくとも1つの飛行ロボットを含む集団を含むことを特徴とし、この自動検査システムは、
ロボットの集団を管理するためのモジュールをさらに含み、この管理モジュールは、検査対象の表面のモデルから、各ロボット集団に対する1組の移動命令および画像取得命令を判定するにあたり好適である、システムに関する。
したがって本発明に係る自動検査システムでは、1つまたは複数の飛行ロボット(一般にドローンまたは無人空中輸送手段と呼ばれる)を介して検査の実施が可能である。したがってこの検査システムでは、検査対象物体の表面の1部分の検査が集団の各飛行ロボットにより実施されるため、要求される人間オペレータの総数は顕著に低減される。かくして、オペレータに対する安全性リスクに加えて、要求される機材の数量は低減される。
さらに、飛行ロボットが空中で移動する能力を有するため、物体の到達が困難な表面部分(例えば航空機または列車の上方部分)に飛行ロボットが容易にアクセスすることが可能である。したがってこれらの部分は、到達がより容易である部分に対する高品質検査と同様の高品質検査の恩恵を受ける。
飛行ロボットの集団の使用は、検査対象表面の寸法に適応された多数の飛行ロボットを使用することにより、特に非常に大きい表面に対する検査速度を改善する。従来のシステムに係る空中リフトおよび足場などの特定的な機材のサイズが大規模であるため、同時に検査を実施することが可能なオペレータの総数は制限されたが、飛行ロボットでは寸法が小さいため、検査の迅速化を図るためにこれらの飛行ロボットの総数を増加させることが可能である。さらに、このシステムは軽量であり、輸送が可能であり、したがって可動式である。すなわち、このシステムを物体に移動させることが可能であり、物体を特定の場所に移動させることは不要である。
飛行ロボットの取得モジュールにより取得されるデータの処理、特に検査される表面の1部分の少なくとも1つの画像を処理することは、飛行ロボットに搭載された処理モジュールで実施されるため、検査および欠陥の検出が加速され、検査に対して要求される人間オペレータの総数が減少し、表面に対する、より均一な検査および検出が可能となる。処理動作は、検査対象の表面の状態を表現する情報を提供し、特に、表面上の可能な欠陥の存在を判定する。この判定は人間オペレータの主観性には依存せず、したがって、より一貫した検査を提供する。さらにこの検査では、特に訓練を受けた人間オペレータが検査を実施することは、もはや不要である。
処理モジュールにより提供される、検査対象の表面の状態を表現する情報は、今後、処理結果と呼ばれる。特に処理結果は、検査される表面部分上における潜在的欠陥の存在または不在を含む。
各飛行ロボットにより実施される処理動作により、訓練をほとんど受けていないかまたは全く受けていない人間オペレータは、表面の視覚的検査の実施を、または、全表面部分の画像の閲覧の実施を、要求されることなく、処理結果を確認し、潜在的欠陥を示す表面の部分に対してのみ集中することが可能である。さらに、各飛行ロボットは処理結果のみを伝送し、表面全体の画像は伝送しなくてもよい。それにより、システム全体内で伝送されるデータ量が低減され、検査の迅速化のために飛行ロボットの総数を増加させることが可能となる。このように処理負荷が各飛行ロボットに分散される。
好適には飛行ロボットは、静止飛行能力を有するヘリコプターまたはマルチローター(一般にはクワッドローター)型のロボットである。この種の飛行ロボットは、狭い表面エリアに対する離着陸、可変速度での(特に、より正確に欠陥の位置特定を実施し、安全性を改善するために、低速での)飛行が可能であり、停止および方向転換の能力を有し、または、飛行ロボットの軌道内に障害物が存在した場合には反対方向に移動する能力を有する。静止飛行または低速飛行により、画像取得がより容易となり、取得される画像の品質が改善される。
本発明によれば、集団は1〜10台の飛行ロボットを含むと有利である。好適には、集団は3つの飛行ロボットを含む。この台数は、実行速度と、コストと、飛行ロボット間の衝突リスクと、の間の良好な妥協である。
管理モジュールは、集団の各ロボットに対する命令を(例えば集団の利用可能なロボットの総数、検査対象物体の種類、検査対象の表面のサイズ、および検査時間、その他にしたがって)決定することにより、検査の集中化されたプログラムのために設計される。各命令は各ロボットにより実行されるタスクを決定する。したがって集団のロボットは、各ロボットに割り当てられたタスクを実行することにより、自動操縦される。飛行ロボットは、飛行ロボットの制御に対して人間オペレータを要求せず、したがって操縦エラーのリスク(係る操縦エラーにより、集団のロボット間の衝突が、または集団のロボットと物体との間の衝突が生じ得る)に加えて、オペレータの訓練に対する必要性が小さくなる。さらに各ロボットは、人間オペレータと各ロボットとの間の視覚的接触を要求することなく、検査の実施が可能である。したがって各ロボット(特に各ロボットの制御モジュール)は移動タスクを含むタスクを自動的に実行する。したがって遠隔操縦または制御ステーションを必要とすることなく、ロボットは自律的な移動が可能である。
好適には管理モジュールは、検査が、集団のロボットの総数の関数として最小時間で実行されるよう、命令を決定する。
本発明の代替的な実施形態によれば、管理モジュールは、集団のロボット上に搭載されてもよく、または独立的な管理装置(例えばコンピュータ)に組み込まれてもよく、または集団の様々なロボット間に分散されてもよい。
好適には、管理モジュールが集団のロボットを管理するための独立的装置に組み込まれている代替的な実施形態では、管理装置は、人間オペレータとの相互作用を可能にする人間・機械インターフェースを含む。
本発明によれば、上記集団の少なくとも1つのロボットの画像取得モジュールは、可視光スペクトル内の画像を取得するにあたり好適である少なくとも1つのカメラを含むと有利である。
本発明のこの態様によれば、係るカメラの使用により、このシステムは、人間オペレータが視覚的検査を実施した場合と同様の様式で視覚的検査を実施可能である。このシステムは、可視画像とよばれる可視光スペクトル内の画像に対して画像処理動作を実施する。それにより、既知の効果的で証明済みの可視画像処理技術の使用が可能となる。
本発明に係るシステムは、集団の各ロボットの処理モジュールにより実施される各処理動作の結果を提示するための装置を含み、集団の各ロボットは、各処理動作の結果を提示装置に伝送するにあたり好適な通信モジュールを含むと有利である。
本発明のこの態様によれば、各飛行ロボットは、取得された画像に対して実施された処理動作の結果を提示装置に伝送し、それにより人間オペレータは結果を解釈することが可能となる。集団の各ロボットにより伝送された結果が検査された表面の状態を表現するため、これらの結果は、特に、検出された潜在的な結果を分類するために分類を提案すること、例えば、取得された画像、関連する結果、および潜在的な欠陥を提示装置のスクリーン上に表示すること、または、検出された潜在的な欠陥の一覧を含むレポートを生成すること、を可能にする。
管理モジュールが管理装置に組み込まれている一実施形態では、管理装置および提示装置は制御装置に配置される。このように管理モジュールおよび提示装置の機能が同一装置において一緒にグループ化される。
制御装置が、検査される表面の3Dモデルを表示すること、および検査される表面に対する集団の各ロボットの位置の表現をリアルタイムで表示すること、を実施するにあたり好適である人間・機械インターフェースを含むと有利である。
本発明のこの態様によれば人間・機械インターフェースを使用することにより、人間オペレータが、物体および物体の表面に対する各飛行ロボットの位置を閲覧することと、3Dモデル上に表示された潜在的な欠陥を閲覧することと、必要に応じて(例えば緊急停止を実施するために)飛行ロボットに対する遠隔介入を潜在的に実施することと、が可能となる。
本発明によれば、集団の各ロボットが、各処理結果と、検査される表面に関する座標系に対する上記処理結果の位置と、を組み合わせるにあたり好適である位置判定モジュールを含むと有利である。
本発明のこの態様によれば、このシステムでは、処理結果の位置(したがって潜在的欠陥の位置)を、先行技術にしたがって人間オペレータにより判定される位置と比較して、より正確に判定することが可能である。結果の位置は、集団の各ロボットにより、上記ロボットの位置と、画像取得時の画像取得モジュールのパラメータと、にしたがって判定される。
本発明の代替的な実施形態によれば、画像処理モジュールは、その位置が知られている物体の要素を認識し、それにより結果の位置をより正確に判定するよう、設計される。
検査システムが提示装置を含む場合、上記装置は、各結果および上記結果に関連付けられた位置を提示するにあたり好適である。
本発明によれば、集団の各ロボットが、ロボット誤動作を検出し、物体に対する集団のロボットの位置にしたがって判定された緊急タスクを使用するにあたり好適である緊急モジュールを含むと有利である。なお集団の上記ロボットは、誤動作の場合に少なくとも1つの緊急タスクを実施する能力を有する。
本発明のこの態様によれば、緊急機動は継続的に決定され、ロボットは、誤動作発生時(例えば、管理モジュールに対する接続切断、位置判定モジュールの誤動作、エンジン故障、またはその他の際)に、この緊急機動を実施するであろう。緊急機動は、特に表面が脆弱である場合(例えば航空機)に、表面が検査対象となっている物体の劣化を防止するよう設計される。緊急タスクの目的は、一般に、物体からロボットを離間させることであり、緊急タスクは物体に対するロボットの位置に依存する。本発明の複数の代替的な実施形態によれば、すべての緊急タスクは、管理モジュールにより、または各ロボットにより、決定される。各ロボットが緊急タスクのすべてを決定する場合、各ロボットは、すべてのタスクを管理モジュールに伝送し、それにより、管理モジュールは、これらのタスクの結果としてロボットが他のロボットと衝突するリスクを有するかどうかを判定することが可能である。
本発明によれば集団の各ロボットは、複数の処理結果を格納するにあたり好適であるバッファメモリモジュールを含むと有利である。
本発明のこの態様によれば、処理結果は、例えば提示装置に組み込まれた外部バックアップシステムへの伝送を待機中に、格納され得る。さらにロボットの誤動作の際、バッファメモリモジュールに格納された結果は、これらの結果が伝送されていない場合、手動により回復され得る。
本発明によれば、集団の各ロボットが障害物検出モジュールを含み、それにより、集団の各ロボットは、障害物検出モジュールにより検出された少なくとも1つの障害物を回避するための回避タスクを実施するにあたり好適であると有利である。
本発明のこの態様によれば、各飛行ロボットは、障害物が検出された場合、その移動を変更する能力を有する。
障害物検出モジュールが障害物を検出した場合、好適には集団の各ロボット上記障害物の位置を集団の他のロボットに伝送する能力を有する。したがって障害物の位置に関する情報が共有され、集団のロボットは、それに応じて動くことが、例えば各ロボットの軌道を変更することにより、可能である。
本発明によれば、集団が少なくとも1つの回転ロボットを含むと有利である。なお各回転ロボットは、
−検査対象の表面の少なくとも1部分の画像を取得するためのモジュールと、
−取得された画像を処理するためのモジュールであって、検査対象の表面の各部分の状態を表現する、処理結果とよばれる情報を提供するにあたり好適である、モジュールと、
を含む。
本発明のこの態様によれば、少なくとも1つの飛行ロボットを含む集団は、飛行ロボットにより到達が困難であるエリア(例えば航空機の胴体の下側)にアクセスするために、同一のモジュールを含む回転ロボットにより補完され得る。
本発明はさらに、
−集団の各ロボットに割り当てられる1組の命令を、管理モジュールにより、決定するステップと、
−集団の各ロボットによりタスクを実行するステップであって、上記タスクは、取得モジュールにより実施される、検査対象の表面の1部分の画像の少なくとも1つの取得を含み、かつ、検査対象の表面上の潜在的欠陥を検出するために処理モジュールにより実施される、上記画像の少なくとも1つの処理動作を含む、ステップと、
−各ロボットの上記処理動作の結果を提示装置に伝送するステップと、
−上記処理結果を人間オペレータに提示するステップと、
を含むことを特徴とする、本発明に係る自動検査システムを使用するための方法に関する。
したがって本発明に係る使用のための方法は、表面検査速度を最適化するために検査対象の表面のモデルの関数としてタスクを集団の各ロボットに割り当てることにより本発明に係る検査システムが使用されることを可能にする。例えば、各ロボットは検査対象の表面の1部分が割り当てられる。
集団のうちの1つのロボットにより伝送された結果を提示するステップは、例えば、スクリーン上の表示、またはレポートの生成、その他である。
本発明によれば、各ロボットにより上記処理動作の結果を伝送するステップは、処理モジュールにより各処理動作後に実施されると有利である。
本発明のこの態様によれば、結果は各処理動作後にただちに伝送される。そのため、検査完了を待機することなく、潜在的欠陥の存在に関する情報を時間の経過とともに進行的に得ることが可能となる。伝送は、例えば、異なる処理時間と、伝送に割り当てられた伝送チャネルの利用可能性(上記チャネルが複数の飛行ロボット間で共有されている場合)と、を考慮に入れることにより、可能な限り迅速に実施される。
本発明はさらに、物体(例えば航空機、輸送車両、建物、またはエンジニアリング構造物など)の、欠陥を含む傾向を有する表面を自動的に検査するための方法であって、
−少なくとも1つの飛行ロボットを含むロボット集団の各飛行ロボットにより検査対象の表面の少なくとも1部分の画像を取得するステップと、
−各検査対象の表面部分の状態を表現する、処理結果と呼ばれる情報を提供するために、取得された画像を処理するステップステップと、
−検査対象の表面のモデルに基づいて、集団の各ロボットに対する1組の移動命令および画像取得命令を決定するステップと、
を含むことを特徴とする、方法にも関する。
本発明に係るこの検査方法は、本発明に係る検査システムにより実装されると有利である。
本発明に係るこの検査方法は、本発明に係る検査方法を実装すると有利である。
本発明はさらに、以前または以降に開示の特徴の全部または一部により共同的に特徴付けられる、自動検査システムと、上記システムを使用するための方法と、自動検査方法と、に関する。
本発明の他の目的、特徴、および利点は、以下の記載を読むと、より良好に理解されるであろう。なお以下の記載は、本発明の制限を意図するものではなく、かつ、以下の図面を参照して与えられたものである。
本発明の一実施形態に係る自動検査システムの概略図である。 本発明の一実施形態に係る自動検査システムの集団のロボットの概略図である。 本発明の一実施形態に係る自動検査システムの概略図である。 物体が航空機である、本発明の一実施形態に係る自動検査システムのロボットの集団の概略図である。
以下の実施形態は事例である。説明は1つまたは複数の実施形態に関するものであるが、これは、それぞれの参照が同一の実施形態に関連することを、または、特徴が単一の実施形態のみに適用されることを、必ずしも意味しない。異なる実施形態の簡単な特徴は、他の実施形態を提供するために、組み合わされることが可能である。例示および簡素化の目的のために、縮尺および釣り合いは図面では厳格には尊重されない。
図1では、本発明の一実施形態に係る、航空機、輸送車両(鉄道車両、動力車両、その他)、建物、エンジニアリング構造物、または、検査表面が大規模である任意の他の大規模物体などの物体の表面を自動的に検査するためのシステム10が概略的に示されている。検査システム10の目的は、物体の表面上の潜在的欠陥を検出することである。検査システム10は、少なくとも1つの飛行ロボットを含む集団12を含む。なおこの場合では3つの飛行ロボット14a、14b、14cが含まれる。集団12は、例えば、回転ロボット16、または、検査対象の表面に適した任意の他のロボット(例えば石油プラットフォーム検査用の潜水ロボット)などの、異種類の1つまたは複数のロボットも含む。飛行ロボット14a、14b、14cは一般にドローンまたは無人空中輸送手段(UAV)とも呼ばれ、静止飛行能力を有するヘリコプター、クワッドローター、またはマルチローターの形態を取る。集団12のロボットとの衝突時に物体が損傷を受けるリスクを低減させるため、上記ロボットには保護物が施されている。
集団12の各ロボット14a、14b、14c、16は、管理モジュール18および提示装置20の両方に対して通信能力を有する。図示しない他の実施形態では、管理モジュール18は集団12のうちの1つのロボットに搭載されている。
管理モジュール18および提示装置20は、この実施形態では、通信ネットワークを介してアクセス可能であるウェブサーバ22に接続されている。さらに管理モジュール18および提示装置20は、例えばコンピュータまたはタブレットなどの同一の制御装置に埋め込まれてもよい。
人間オペレータ24は、1つまたは複数の人間・機械インターフェースを介して、管理モジュール18および提示装置20と相互作用することが可能である。このインターフェースはインタラクティブ3Dディスプレイを含む。このディスプレイは、ロボット14a、14b、14c、16の、および検出された任意の潜在的欠陥の、リアルタイム位置に加えて、検査対象の物体の3Dモデルを含む。
図2では、本発明の一実施形態に係る集団12のロボット14が概略的に示されている。
ロボット14は、検査対象の表面の画像を取得するためのモジュール26と、取得された画像を処理するためのモジュール28と、を含む。画像取得モジュール26は少なくとも1つのセンサ(例えば、可視光スペクトル内の画像を取得するよう設計されたカメラ)を含む。取得された画像の品質を改善するために、取得モジュールは、可視光スペクトル内の光を提供する照明装置も含み得る。
さらに本発明のこの実施形態では、ロボット14は、
−誤動作を検出するにあたり好適である緊急モジュール30と、
−管理モジュール18および提示装置20と通信するための通信モジュール32と、
−ロボットを操縦するための命令を処理するにあたり好適である、ロボットを制御するための制御モジュール34であって、係る命令は、管理モジュール18から、または、ロボット14上に搭載された他のモジュールから、発せられる、制御モジュール34と、
−位置判定モジュール36と、
−ロボットを安定化させ、かつロボットを案内するためのモジュール38であって、特に、制御モジュール34により伝送された移動命令にしたがってロボット14のモータを制御するための、モジュール38と、
−バッファメモリモジュール40と、
−障害物検出モジュール42と、
を含む。
これらのモジュールは、例えば、電子構成要素の形態で存在する。それにより複数のモジュールが同一の電子構成要素にグループ化されることが可能であり、1つのモジュールが複数の相互作用する電子構成要素から構成されることが可能である。これらのモジュールは、1つまたは複数の電子構成要素(例えばコンピュータ・プロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、またはフィールドゲートプログラマブルアレイ(FGPA)、その他)により実行されるコンピュータプログラムの形態で実装されることも可能である。
図3では、本発明の一実施形態に係る、物体の表面を自動的に検査するための方法が示されている。この方法は前述の実施形態に係る自動検査システム10により実装される。
この方法の第1のステップは、検査を構成するためのステップ44であり、人間・機械インターフェースを介して管理モジュール上で人間オペレータ24により実行される。人間オペレータ24は、以下の複数のパラメータに対するアクセスを有する。
−検査対象の物体:人間オペレータ24は、例えばウェブサーバ22上でアクセス可能である事前決定されたモデルの選択の中から検査対象の物体の表面のモデル(例えば3Dモデル)を選択する
−物体の環境:ロボットが、物体の周囲におけるロボットの移動に関する特定の制限を受けるかどうか(例えば障害物)を判定するために、物体が屋外に位置するか、または格納庫内に位置するかどうかを人間オペレータ24は入力することができる
−集団12の説明:使用されるロボットの総数およびその種類(飛行型かまたは地上型か、特定種類の取得モジュールまたはセンサを装備しているか、その他)
−実行すべきタスク:高速検査、詳細検査、部分検査、その他。
パラメータが人間オペレータ24により検証されると、検査方法は、1組の命令を判定するためのステップ46に移行する。この判定ステップ46は管理モジュール18により実施される。判定ステップ46は、集団12の各ロボットに割り当てられた、1組の移動命令と、1組の画像取得命令と、を、以前のステップにおいて人間オペレータ24により選択されたパラメータにしたがって、特に検査対象の表面のモデルにしたがって、判定することからなる。したがって検査は、様々なタスクに分割され、様々なタスクは、集団12のロボットに発行される命令に変換される。それにより、検査対象の表面全体が上記表面のモデルにしたがってカバーされる。移動命令は飛行ロボットの方向に加えて3次元軌道を定義するための指令を含む。これらの移動命令は、例えば、一定方向を有する、地点A(座標(Ax,Ay,Az)を有する)から地点B(座標(Bx,By,Bz)を有する)までの飛行ロボットの移動である。地点Bにおける物体の表面の画像を取得するための命令は、例えば、画像取得モジュールの制御に関する(特に空間における画像取得モジュールの方向)指令と、画像取得モジュールの光学・キャプチャシステムの設定と、トリガ指令と、を含む。次に、これらの命令は、上記取得された画像を処理するための処理動作、新規の地点C(座標(Cx,Cy,Cz)を有する)への移動、および新規画像取得、その他となり得る。したがって管理モジュール18では、飛行ロボットの集団に対する命令が、基準表面に基づいて、生成されることが可能である。それにより、上記飛行ロボットは自動的に検査を実施することが可能である。
集団12の各ロボットに割り当てられる命令は、集団12の各ロボットによるタスクの実行のためのステップ48において、実行上記命令に接続されたタスクが実行されることを可能にするために、管理モジュール18により上記ロボットに伝送される。この実施形態によれば、各ロボットは、当該ロボットに割り当てられた全部の命令を、ステップ48の実行の前に受信するか、または、ステップ48の実行中に後続の命令が送信されるよう、命令の第1部分のみを受信する。いずれの場合においても、管理モジュール18は、状況に変化が生じた場合に新規の命令を送信することにより、現在実行中のタスクを変えることが可能である。例えば、管理モジュール18は、新規の表面部分を、上記表面部分の画像を取得するよう元来は意図されていたロボットが誤動作を経験している場合、ある1つのロボットに割り当てることが可能である。集団12のロボットは、上記ロボットの状態に関する情報、タスク完了の進捗度、および、管理モジュール18による新規命令の送信を生じさせる能力を有する任意の他の情報を、管理モジュール18に伝送することも可能である。
集団12の各ロボットのタスクは、上記ロボットの制御モジュール34により処理される。特に、制御モジュール34は、受信された命令を格納し、上記命令を配列し、関連付けられたタスクを判定するために上記命令にリンクされた計算を実施し、タスクにしたがって異なるモジュールを制御し、ロボットの状態を計算し、その他の動作を実施する。したがって制御モジュール34は、移動タスクを含むタスクを自動的に実施し、したがってロボットは、自動操縦システムまたは制御ステーションを必要とすることなく、自動的に移動することが可能となる。
ステップ48の実行中、集団12の各ロボットは、当該ロボットの取得モジュール26を介して画像の少なくとも1つの取得を実施し、当該ロボットの処理モジュール28を介して、取得された画像の処理動作を実施する。
画像は取得モジュール26の1つまたは複数のセンサにより取得され、それにより、使用されるセンサに応じて異なる種類の画像の取得が可能である。例えば、センサは、赤外線センサ、可視スペクトル用のカメラ、紫外線センサ、または、1つの周波数帯における電磁波または音響波の画像の形成が可能である任意の他のセンサであり得る。センサは、深度センサ、飛行時間(TOF)センサ、赤外線パターン投影センサ、または立体センサ、その他などの3Dセンサであり得る。最後にセンサは複数の周波数スペクトルにわたって同一部分の画像を取得することが可能である(ハイパースペクトル撮像)。
処理モジュール28による画像の処理は、検査対象の表面の状態を表現する結果を提供することからなる。したがって処理モジュール28は、取得された画像から、表面上における潜在的欠陥の存在を、例えば、取得された画像と、同一表面の以前の画像(ウェブサーバから回復された画像、または管理モジュールにより提供された画素)と、を比較することにより、または、色彩または外観における突然変化(繊細度、粒度、ブレ、輝度、その他)、その他を検出することにより、判定する。
処理モジュール28は事前定義または事前構成されたアルゴリズムを使用する。例えば本発明の一実施形態によれば、処理モジュール28は、以下の各ステップ、すなわち、
−外部変動(照明、その他)に対して補償することと、干渉(反射、その他)の影響を軽減することと、レンズに起因する変形(幾何学的形状および照明)を補償することと、を行うことが意図された、画像のパラメータの関数として構成された第1組のデジタルフィルタを適用することからなる、画像を正規化する第1ステップと、
−ロボットの位置(すなわち空間におけるロボットの位置、およびロボットの方位角)に、取得モジュール26の取得センサ(例えばカメラ)の位置ならびに角度に、および、カメラと表面との間の距離に、基づいて、座標系における、表面に対する画像の点の組の座標を判定する、画像の位置特定を実施する第2ステップと、
−画像を分割して、潜在的欠陥を表現し得る形状のうちの全形状の輪郭を抽出することと、上記形状のうちの各形状に対して潜在的欠陥を含むサブ画像(対象ゾーンとも呼ばれる)を生成することと、を行う第3ステップであって、1つの画像から、対象ゾーンがまったく生成されないか、または複数の対象ゾーンが生成され得る、第3ステップと、
を各画像に対して実装する。
次に処理モジュールは、画像の各対象ゾーンに対して、事前記録されたアルゴリズムにしたがって1組のパラメータを計算し、次に、この1組のパラメータに基づいて対象ゾーンの分類および特徴付けを行う。対象ゾーン以外のあらゆるデータを要求しないアルゴリズムと、記述子と呼ばれる計算されたパラメータと、が、選び出され得る。各パラメータに対して、以下のステップが実施される。すなわち、
−デジタルフィルタが適用され、
−フィルタ処理された対象ゾーン上のパラメータが計算される。
フィルタは、所望のパラメータにしたがって選択される。例えばデジタルフィルタは、ノイズ軽減のためにはガウシアンフィルタであり、突然変化の検出のためには勾配型フィルタであり、特定の周波数組み合わせのみに対する記述子の計算のためには比色分析フィルタであり、特定のパターン、反復、またはテクスチャの検出のためには周波数フィルタである。
例えば、いくつかの記述子の系列、すなわち、
−幾何学的記述子(周辺長、最大寸法、最小寸法、幅/高さ比、輪郭における破断の個数、輪郭の平均曲率、その他)と、
−ピクセルに直接的に関する記述子:統計的モーメント(statistic moment)(平均、分散、非対称、尖度、その他)および他の数学演算子(最大値、順序差異(order difference)、エントロピー、均一性、その他)と、
が使用される。記述子(例えば、事前決定された閾値より大きいかまたは小さい値)は、特定の基準に合致するピクセルのサブ組立体にも適用され得る。
パラメータを計算するための他の外部データの使用に関して、アルゴリズムは、例えば、以下のステップ、すなわち、
−処理された対象ゾーンと同一の表面エリアを基準画像から引き出すことにより、基準対象ゾーンを判定すること(なお基準画像は、例えば、以前に日付に取得された上記エリアの画像(例えばウェブサーバ22上で利用可能である)であるか、または、表面のモデルに基づくコンピュータ生成された画像であり得る。1つの好適な実施形態によれば、複数の画像が使用され得、それによりパラメータは各基準画像に対して計算される)と、
−取得された対象ゾーンと、各基準対象ゾーンと、の間の差異を表すパラメータを計算することであって、上記パラメータは、例えば、対象ゾーンと基準対象ゾーンとの間の差異に関する数学的基準、相関指数、または、ヒストグラム比較、その他である、計算すること(これらの方法は、一般に、対象ゾーンの対象点の周囲において局所的に実施される)と、
を含む。
最終ステップは、計算されたパラメータの組から、対象ゾーンを分類し、特徴付けることからなる。分類は、潜在的欠陥の種類を、例えば、以下のカテゴリー:「油汚れ」、「腐食」、「遺失要素」、「落雷打撃」、「擦傷」、「非欠陥」、「未知」、その他から、判定することからなる。特徴付けは、上記潜在的欠陥のサイズに加えて、事前決定された組、例えば「許容可能欠陥」、「許容不能欠陥」から、対象ゾーンのカテゴリーを判定することからなる。
分類および特徴付けは、既知の分類子(例えば線形分類子、単純ベイズ分類子、サポート・ベクトル・マシン(SVM)分類子、またはニューラルネットワーク、その他)により実行され得る。
この実施形態では、対象ゾーンの場所、分類、および特徴付けと並行して、欠陥を含むものと分類されるか、または未知であると分類されるすべての対象ゾーンは、処理結果を形成する。
1つの有利な実施形態によれば、結果は、ウェブサーバ上に伝送され、このウェブサーバは、学習する能力、すなわち、結果を用いて、ウェブサーバのアルゴリズムおよび設定を進行的に改善する能力を有する。したがってこのウェブサーバは、取得された画像を処理するために新規のより正確な設定をモジュール28に送ることと、信頼指数が低いものとして分類されるかまたは「未知」カテゴリーに分類された結果に関するあらゆる疑いを除去することと、を実行する能力を有する。
この処理動作の結果は、潜在的欠陥の検出または非検出であり、潜在的に、潜在的欠陥の重大度に関する潜在的欠陥の分類である。各処理動作の結果はロボット14のバッファメモリモジュール40に格納される。
各結果は位置判定モジュール36により提供される位置に関連付けられる。上記位置は、人間オペレータによる容易な発見が可能となるよう、検査対象の表面に対する座標系にしたがって表現される。位置判定モジュール36は、ロボット14の位置を判定し、ロボット14の位置から上記位置に対する上記結果の位置を推定するために使用される。ロボット14の位置は、絶対位置判定のための1つまたは複数の設備項目(例えば全地球測位システム(GPS))により、1つまたは複数の慣性ナビゲーション設備項目(例えば加速度計、ジャイロスコープ、または磁力計、その他)により、および/または、相対位置判定のための1つまたは複数の設備項目(例えば、地上標識に対するレーダ、超音波、レーザ距離計、赤外線、画像処理)、その他、またはこれらの組み合わせにより、判定される。次に結果の位置は、上述のように画像処理モジュールにより、ロボットの位置に対して判定される。ロボットの位置および結果の位置は、カルマンフィルタを介してのハイブリッド化により関連付けられた異なる技術の組み合わせを使用して判定され得、それにより、結果の位置特定がより正確に行われる。
各処理動作の各結果および上記結果の位置は、結果伝送ステップ50の間、通信モジュール32により、提示装置20に伝送される。これらの実施形態によれば、結果は、検査完了後に、または検査実施中に継続的に、伝送され得る。結果が伝送されたとき、提示装置20はロボット14に確認を送信し、それにより、ロボット14のバッファメモリモジュール40から結果が消去される。
次に結果は、提示ステップ52の間、提示装置20を介して人間オペレータに提示される。結果は、いくつかの形態で、異なる種類の人間・機械インターフェース(例えば、潜在的欠陥が配置された、命令を判定するために使用されたモデルの3D表現、スクリーン上の結果に関連付けられた表面の画像の表示を含むインターフェース)を介して、または報告書の生成、その他を介して、提示され得る。報告書は、例えば、検出された潜在的欠陥、係る潜在的欠陥の位置、係る潜在的欠陥の分類(欠陥の種類)、および係る潜在的欠陥の特徴付け(欠陥のサイズおよび重大度)のリストを含む。次にオペレータは、例えば、より正確な様式で、または新規のセンサを用いて、検出された潜在的欠陥を含む部分を検査するために、新規のパラメータを有する他の自動検査方法を始動し得る。各結果は、同一の物体に対して実施された検査の履歴ログを作るために、メモリにも格納され得る。この履歴ログは、潜在的に異なる環境(例えば、検査が様々な場所で行われ得る、航空機のための)における将来の使用のために、または将来の処理のために、ウェブサーバに伝送され得る。
特定の状況により、管理モジュールから発せられた命令において当初計画されたタスクとは異なるタスクを、集団12の各ロボットが実行する場合もある。
例えば、障害物検出モジュール42は、障害物を検出し、ロボットの制御モジュール34にタスクを伝送し、障害物を回避するためにロボットが上記タスクを実行することと、場合によっては、提示装置20を介して人間オペレータ24に、および、管理モジュール18が必要に応じて集団12のロボットの移動を変更させることが可能となるよう、および/または、障害を検出したロボットに新規の命令を送ることが可能となるよう、管理モジュール18に、報告することと、を実施するよう設計される。ロボットは、他のロボットに直接的に通知することも可能である。
緊急モジュール30は、飛行ロボットに影響を及ぼす誤動作が発生した場合に、緊急タスクを制御モジュール34に伝送することも可能である。緊急モジュール30は誤動作を検出するよう設計される。物体に対するロボットの位置にしたがって適応された1組の緊急タスクが、予期される誤動作の各場合に対して判定される。この判定は、緊急モジュール30により、または管理モジュール18により、実行される。例えば固定翼を有する航空機の場合には、翼の上方に位置している飛行ロボットは、横方向に移動してから垂直着陸し、その一方で、航空機の下方に位置するロボットはただちに着陸する。
より詳細には、1組の緊急タスクは、定期的に(例えば毎秒)更新され、ロボットが配置された状況の関数としてロボットにより実装された一連の命令を判定するよう設計される。
航空機の翼の上方に位置するロボットに関する位置判定システムのエラーまたは損失に対応する緊急タスクは、位置エラーを考慮し、ロボットと翼との間の接触が決して生じないよう、より大きい余裕を有する横方向移動を含む。したがって緊急モジュールは、広範な誤動作を検出し、各誤動作に対して最も適切な応答を実施するよう構成される。
緊急モジュール30により検出が可能な誤動作は、例えば、データリンクの喪失、ロボット位置のエラーまたは喪失、電力喪失、または過度に低いバッテリーレベル、その他である。
図4では、本発明の一実施形態に係る自動検査方法を実装する本発明の一実施形態に係る自動検査システムのロボットの集団が概略的に示されている。ここで物体は航空機54である。3つの飛行ロボット14a、14b、14cが示されている。
1組の命令を決定するステップは、例えば、移動命令および画像取得命令を介して、集団の各ロボットにタスクが割り当てられることを可能にする。これらのタスクは、検査対象の表面の1部分に関する。例えば図示の実施形態では、第1の飛行ロボット14aは航空機54の胴体の前部58の表面を検査し、第2の飛行ロボット14bは航空機54の尾翼56の表面を検査し、第3の飛行ロボット14cは航空機54の翼の部分57の表面を検査する。
飛行ロボット14a、14b、14cは、通信モジュール32a、32b、32cを介しワイヤレス伝送を通して、管理モジュールおよび提示モジュールを含む制御装置60と通信する。人間オペレータは、検査の進捗を監視し、場合によっては、飛行ロボット14a、14b、14cにより検出された潜在的欠陥を閲覧するために、制御装置60と相互作用する。ワイヤレス伝送は、1つまたは複数の既知の通信プロトコルを介して、実施される(例えば伝送を制御するためにZigbee(IEEE802.15.4)、データ伝送のためにWi−Fi(IEEE 802.11)、および場合によっては、緊急伝送のために異なる無線プロトコル(例えば2.4GHzバンドにおけるDSM2/DSMXタイプ))。

Claims (12)

  1. 航空機(54)、輸送車両、建物、またはエンジニアリング構造物などの物体の、欠陥を含む傾向を有する表面を自動的に検査するためのシステムであって、前記システムは、少なくとも1つの飛行ロボット(14、14a、14b、14c)を含む集団(12)を含み、各飛行ロボットは、
    −前記検査対象の表面の少なくとも1部分の画像を取得するためのモジュール(26)と、
    −前記取得された画像を処理するためのモジュール(28)であって、各検査された表面部分の状態を表現する情報を提供するにあたり好適であり、前記情報は処理結果と呼ばれる、モジュール(28)と、
    を含み、
    前記自動検査システムは、前記ロボットの集団(12)を管理するためのモジュール(18)をさらに含み、前記管理モジュール(18)は、前記検査対象の表面のモデルから、前記集団(12)の各ロボット(14、14a、14b、14c、16)に対する1組の移動命令および画像取得命令を決定するにあたり好適であることを特徴とする、
    システム。
  2. 前記集団の少なくとも1つのロボットの前記画像取得モジュール(26)は、可視光スペクトル内の画像を取得するにあたり好適である少なくとも1つのカメラを含むことを特徴とする、請求項1に記載の自動検査システム。
  3. 前記集団(12)の各ロボット(14、14a、14b、14c、16)の各処理モジュール(28)により実行される各処理動作の結果を提示するにあたり好適である装置(20)を含むことと、前記集団(12)の各ロボット(14、14a、14b、14c、16)の結果を前記提示装置(20)に伝送するにあたり好適である通信モジュール(32)を含むことと、を特徴とする、請求項1または請求項2に記載の自動検査システム。
  4. 前記管理モジュール(18)および前記提示装置(20)は制御装置(60)に配置されていることを特徴とする、請求項2および請求項3の組み合わせによる自動検査システム。
  5. 前記制御装置(60)は、前記検査対象の表面の3Dモデルを表示するにあたり好適であり、かつ、前記検査対象の表面に対する前記集団の各ロボットの位置の表現をリアルタイムで表示するにあたり好適である、人間・機械インターフェースを含むことを特徴とする、請求項4に記載の自動検査システム。
  6. 前記集団の各ロボットは、各処理結果と、前記検査対象の表面に関する座標系に対する前記処理結果の位置と、を組み合わせるにあたり好適である位置判定モジュールを含むことを特徴とする、請求項1〜請求項5のうちのいずれか1項に記載の自動検査システム。
  7. 前記集団(12)の各ロボット(14、14a、14b、14c、16)は、ロボット誤作動を検出することと、前記物体に対する前記集団(12)の各ロボットの位置に応じて決定された1組の緊急タスクを使用することと、を実施するにあたり好適である緊急モジュール(30)を含み、前記集団(12)の前記ロボットは、誤動作の場合に、少なくとも1つの緊急タスクを実施する能力を有することを特徴とする、請求項1〜請求項6のうちのいずれか1項に記載の自動検査システム。
  8. 前記集団(12)の各ロボット(14、14a、14b、14c、16)は障害物検出モジュールを含み、それにより前記集団(12)の各ロボット(14、14a、14b、14c、16)は、前記障害物検出モジュールにより検出された少なくとも1つの障害物を回避するための回避タスクを実施するにあたり好適であることを特徴とする、請求項1〜請求項7のうちのいずれか1項に記載の自動検査システム。
  9. 前記集団(12)は少なくとも1つの回転ロボット(16)を含み、各回転ロボット(16)は、
    −前記検査対象の表面の少なくとも1部分の画像を取得するためのモジュール(26)と、
    −前記取得された画像を処理するためのモジュール(28)であって、前記モジュール(28)は、前記検査対象の表面の各部分の状態を表現する、処理結果とよばれる情報を提供するにあたり好適であるモジュール(28)と、
    を含むことを特徴とする、請求項1〜請求項8のうちのいずれか1項に記載の自動検査システム。
  10. −前記集団(12)の各ロボット(14、14a、14b、14c、16)に割り当てられる1組の命令を、前記管理モジュール(18)により、決定するステップと、
    −前記集団(12)の各ロボット(14、14a、14b、14c、16)によりタスクを実行するステップであって、前記タスクは、前記取得モジュール(26)により実施される、前記検査対象の表面の1部分の画像の少なくとも1つの取得を含み、かつ、前記検査対象の表面上の潜在的欠陥を検出するために前記処理モジュール(28)により実施される、前記画像の少なくとも1つの処理動作を含む、ステップと、
    −各ロボットの前記処理動作の結果を提示装置(20)に伝送するステップと、
    −前記処理結果を人間オペレータ(24)に提示するステップと、
    を含むことを特徴とする、請求項1〜請求項9のうちのいずれか1項に記載の自動検査システムを使用するための方法。
  11. 各ロボットによる前記処理動作の前記結果を伝送するステップは、処理モジュール(28)による各処理動作後に実行されることを特徴とする、請求項10に記載の使用方法。
  12. 航空機(54)、輸送車両、建物、またはエンジニアリング構造物などの物体の、欠陥を含む傾向を有する表面を自動的に検査するための方法であって、
    −少なくとも1つの飛行ロボットを含むロボットの集団(12)の各飛行ロボット(14、14a、14b、14c)により、前記検査対象の表面の少なくとも1部分の画像を取得するステップと、
    −各検査対象の表面部分の状態を表現する、処理結果と呼ばれる情報を提供するために、前記取得された画像を処理するステップと、
    −前記検査対象の表面のモデルに基づいて、前記集団(12)の各ロボット(14、14a、14b、14c、16)に対する1組の移動命令および画像取得命令を決定するステップと、
    を含むことを特徴とする、方法。
JP2017564662A 2015-06-15 2016-06-15 表面を自動的に検査するためのシステムおよび方法 Pending JP2018521406A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1555452 2015-06-15
FR1555452A FR3037429B1 (fr) 2015-06-15 2015-06-15 Systeme et procede d'inspection automatique de surface
PCT/FR2016/051448 WO2016203151A1 (fr) 2015-06-15 2016-06-15 Système et procédé d'inspection automatique de surface

Publications (1)

Publication Number Publication Date
JP2018521406A true JP2018521406A (ja) 2018-08-02

Family

ID=54608624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017564662A Pending JP2018521406A (ja) 2015-06-15 2016-06-15 表面を自動的に検査するためのシステムおよび方法

Country Status (15)

Country Link
US (1) US10377485B2 (ja)
EP (1) EP3308232B1 (ja)
JP (1) JP2018521406A (ja)
KR (1) KR102675315B1 (ja)
CN (1) CN107709158A (ja)
BR (1) BR112017026528A2 (ja)
CA (1) CA2989154C (ja)
ES (1) ES2910700T3 (ja)
FR (1) FR3037429B1 (ja)
IL (1) IL255814B (ja)
MA (1) MA42512A (ja)
PL (1) PL3308232T3 (ja)
PT (1) PT3308232T (ja)
SG (1) SG11201709768YA (ja)
WO (1) WO2016203151A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021109286A (ja) * 2020-01-14 2021-08-02 オングリットホールディングス株式会社 ロボット装置とその制御方法、並びにロボットシステム
JP2021188954A (ja) * 2020-05-27 2021-12-13 公立大学法人秋田県立大学 環境センサ

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521960B2 (en) 2017-05-03 2019-12-31 General Electric Company System and method for generating three-dimensional robotic inspection plan
IL257520B (en) 2015-08-17 2022-08-01 H3 Dynamics Holdings Pte Ltd A lucky box
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
US10170011B2 (en) * 2016-07-26 2019-01-01 International Business Machines Corporation Guide drones for airplanes on the ground
US10820574B2 (en) 2016-07-29 2020-11-03 International Business Machines Corporation Specialized contextual drones for virtual fences
US9987971B2 (en) 2016-07-29 2018-06-05 International Business Machines Corporation Drone-enhanced vehicle external lights
US10482418B2 (en) 2016-09-28 2019-11-19 Federal Express Corporation Systems and methods for inspecting a delivery vehicle using a paired inspection drone
US20180114302A1 (en) * 2016-10-23 2018-04-26 The Boeing Company Lightning strike inconsistency aircraft dispatch mobile disposition tool
DE112016007265T5 (de) * 2016-10-24 2019-06-27 Ford Motor Company Verwenden eines unbemannten Luftfahrzeugs zum Überprüfen von autonomen Fahrzeugen
US10825097B1 (en) 2016-12-23 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for utilizing machine-assisted vehicle inspection to identify insurance buildup or fraud
US10235892B1 (en) * 2017-05-05 2019-03-19 Architecture Technology Corporation Aircraft surface state event track system and method
US10682677B2 (en) * 2017-05-10 2020-06-16 General Electric Company System and method providing situational awareness for autonomous asset inspection robot monitor
AT16628U1 (de) 2017-05-23 2020-03-15 Ars Electronica Linz Gmbh & Co Kg System zum Steuern von unbemannten Luftfahrzeugen in einem Schwarm, um ein bewegtes Objekt mit mehreren Kameras zu filmen
FR3067634B1 (fr) * 2017-06-15 2020-10-23 Donecle Plateforme de commande et de suivi des inspections de surfaces d'objets predetermines par des robots d'inspection et systeme d'inspection mettant en oeuvre une telle plateforme
GB2565757A (en) * 2017-07-13 2019-02-27 Sita Information Networking Computing Uk Ltd Database of Drone flight plans for aircraft inspection using relative mapping
US20190047577A1 (en) * 2017-08-09 2019-02-14 Walmart Apollo, Llc System and method for automated vehicle breakdown recovery
JP6918672B2 (ja) * 2017-10-11 2021-08-11 株式会社日立システムズ 劣化診断システム
CN108408082A (zh) * 2018-02-11 2018-08-17 西安航空学院 一种用于大飞机垂尾裂纹探测的无人机及其操作方法
CN110197348B (zh) * 2018-02-24 2021-11-19 北京图森智途科技有限公司 自动驾驶车辆控制方法和自动驾驶控制装置
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3767789B1 (en) * 2018-03-12 2023-05-03 LG Electronics Inc. Device and method for supporting improved communication speed in wireless power transmission system
CN108508916B (zh) * 2018-04-02 2021-05-07 南方科技大学 一种无人机编队的控制方法、装置、设备及存储介质
US11429101B2 (en) * 2018-04-19 2022-08-30 Aurora Flight Sciences Corporation Adaptive autonomy system architecture
US10533840B2 (en) * 2018-04-24 2020-01-14 Gulfstream Aerospace Corporation Method for characterizing shape changes of an aircraft due to flight loads
CN108985163A (zh) * 2018-06-11 2018-12-11 视海博(中山)科技股份有限公司 基于无人机的受限空间安全探测方法
CN108872130B (zh) * 2018-06-25 2019-08-23 北京空间飞行器总体设计部 基于神经网络的常用飞行器表面材质识别方法
WO2020003818A1 (ja) * 2018-06-28 2020-01-02 パナソニックIpマネジメント株式会社 検査装置及び検査方法
US20210266461A1 (en) * 2018-07-04 2021-08-26 c/o H3 DYNAMICS PTE. LTD. Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath
FR3084485B1 (fr) 2018-07-26 2022-08-05 Donecle Engin volant motorise de mesure du relief de surfaces d'un objet predetermine et procede de commande d'un tel engin
CN109352621A (zh) * 2018-10-19 2019-02-19 飞码机器人私人有限公司 一种建筑质量检测机器人系统及其方法
CN109506964B (zh) * 2019-01-03 2024-05-31 北京航天神舟智能装备科技股份有限公司 一种用于动车组一级修智能库检的方法
US11587299B2 (en) 2019-05-07 2023-02-21 The Joan And Irwin Jacobs Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
US12006066B2 (en) 2019-05-29 2024-06-11 Ultraview Ai Inc. UAV-based aviation inspection systems and related methods
JP6788291B1 (ja) * 2019-06-03 2020-11-25 株式会社イクシス 点検支援システム
CN110356586A (zh) * 2019-08-28 2019-10-22 象限空间(天津)科技有限公司 一种大型飞机的无人机自动巡检系统
DE102019214139B4 (de) * 2019-09-17 2021-07-29 Atlas Elektronik Gmbh Optische Minendetektion in geringer Wassertiefe
KR102154249B1 (ko) * 2019-12-26 2020-09-09 엘아이지넥스원 주식회사 이동형 레이더 운용을 위한 제어 타이밍 설계 방법 및 그를 위한 장치
CN111429565B (zh) * 2020-03-18 2021-04-06 中国民航科学技术研究院 一种民航客机机身表面三维数据采集管理系统及方法
US11423611B2 (en) 2020-05-27 2022-08-23 The Joan and Irwin Jacobs Technion-Cornell Institute Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management
US20220092766A1 (en) * 2020-09-18 2022-03-24 Spirit Aerosystems, Inc. Feature inspection system
US11631184B2 (en) 2020-09-18 2023-04-18 Spirit Aerosystems, Inc. Feature inspection system
DE102020127797B4 (de) * 2020-10-22 2024-03-14 Markus Garcia Sensorverfahren zum optischen Erfassen von Nutzungsobjekten zur Detektion eines Sicherheitsabstandes zwischen Objekten
US11544919B2 (en) 2020-12-09 2023-01-03 Precisionhawk, Inc. Drone inspection of an undifferentiated surface using a reference image
CN112268548B (zh) * 2020-12-14 2021-03-09 成都飞机工业(集团)有限责任公司 一种基于双目视觉的飞机局部外形测量方法
CN112505065B (zh) * 2020-12-28 2022-11-04 上海工程技术大学 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN112884733A (zh) * 2021-02-09 2021-06-01 北京首都机场节能技术服务有限公司 一种用于对飞行器的表面进行缺陷识别的方法和系统
US11823578B2 (en) * 2021-02-16 2023-11-21 Easy Aerial Inc. Unmanned aerial vehicle (UAV) systems and methods for maintaining railway situational awareness
EP4396772A1 (en) * 2021-09-03 2024-07-10 Spirit AeroSystems, Inc. Feature inspection system
US20230186563A1 (en) * 2021-12-10 2023-06-15 The Boeing Company Three-dimensional inspection twin for remote visual inspection of a vehicle

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03255302A (ja) * 1990-03-05 1991-11-14 Mitsubishi Electric Corp パターン検出装置
JP2005265699A (ja) * 2004-03-19 2005-09-29 Chugoku Electric Power Co Inc:The 無人飛行体を用いた送電線点検システムおよび方法
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2011530692A (ja) * 2008-05-21 2011-12-22 ザ・ボーイング・カンパニー 遠隔無人輸送手段群による構造物および物体の検査用システムおよび方法
US20120089274A1 (en) * 2010-10-06 2012-04-12 Hon Hai Precision Industry Co., Ltd. Electronic device and method for controlling unmanned aerial vehicle
JP2013232195A (ja) * 2012-04-30 2013-11-14 Boeing Co:The 3DGeoArcを用いた多モードデータの画像登録
JP2013543584A (ja) * 2010-10-04 2013-12-05 ザ・ボーイング・カンパニー 自動目視検査システム
JP2014059860A (ja) * 2012-07-18 2014-04-03 Boeing Co 複数ビークルに組織的なタスク割当を行うためのミッション再計画
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
US20140316611A1 (en) * 2011-11-09 2014-10-23 Abyssal S.A. System and method of operation for remotely operated vehicles with superimposed 3d imagery
US20140336928A1 (en) * 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
JP2018506127A (ja) * 2014-11-24 2018-03-01 キトフ システムズ エルティーディー. 自動検査方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907799B2 (en) * 2001-11-13 2005-06-21 Bae Systems Advanced Technologies, Inc. Apparatus and method for non-destructive inspection of large structures
CN1305194C (zh) * 2004-12-17 2007-03-14 华北电力大学(北京) 电力线路巡检机器人飞机及其控制系统
WO2010051278A1 (en) * 2008-10-27 2010-05-06 Williams Scot I Wind turbine inspection
US8812154B2 (en) * 2009-03-16 2014-08-19 The Boeing Company Autonomous inspection and maintenance
CN101561683B (zh) * 2009-04-01 2010-08-11 东南大学 环境污染检测机器人的运动控制装置
US9014880B2 (en) 2010-12-21 2015-04-21 General Electric Company Trajectory based sense and avoid
EP2527649B1 (en) * 2011-05-25 2013-12-18 Siemens Aktiengesellschaft Method to inspect components of a wind turbine
CN102355569A (zh) * 2011-05-30 2012-02-15 南京航空航天大学 基于无线机器视觉的飞机蒙皮结构监测方法
CN102354174B (zh) * 2011-07-30 2012-12-26 山东电力研究院 基于变电站移动式巡检装置的巡检系统及其巡检方法
CN102280826B (zh) * 2011-07-30 2013-11-20 山东鲁能智能技术有限公司 变电站智能机器人巡检系统及巡检方法
CN102510011B (zh) * 2011-10-24 2014-10-29 华北电力大学 基于微型多旋翼无人直升机的电力杆塔智能巡检方法
US8833169B2 (en) * 2011-12-09 2014-09-16 General Electric Company System and method for inspection of a part with dual multi-axis robotic devices
CN102566576B (zh) * 2012-02-24 2014-03-19 山东鲁能智能技术有限公司 一种用于变电站顺控系统的多巡检机器人协同运作方法
CN102941920A (zh) * 2012-12-05 2013-02-27 南京理工大学 一种基于多旋翼飞行器的高压输电线路巡检机器人及其方法
US9470658B2 (en) * 2013-03-12 2016-10-18 The Boeing Company Self-contained holonomic tracking method and apparatus for non-destructive inspection
FR3012425B1 (fr) * 2013-10-24 2017-03-24 European Aeronautic Defence & Space Co Eads France Robot collaboratif d'inspection visuelle d'un aeronef
CN103941746B (zh) * 2014-03-29 2016-06-01 国家电网公司 无人机巡检图像处理系统及方法
CN104199455A (zh) * 2014-08-27 2014-12-10 中国科学院自动化研究所 基于多旋翼飞行器的隧道巡检系统
US9371133B2 (en) 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
CN104538899A (zh) * 2015-01-19 2015-04-22 中兴长天信息技术(北京)有限公司 基于无线传输的电力线巡检用无人机平台
ITUA20161534A1 (it) * 2016-03-10 2017-09-10 Wpweb Srl Procedimento per analizzare un velivolo, relativo sistema di analisi di un velivolo e sistema di sghiacciamento e/o antigelo

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03255302A (ja) * 1990-03-05 1991-11-14 Mitsubishi Electric Corp パターン検出装置
JP2005265699A (ja) * 2004-03-19 2005-09-29 Chugoku Electric Power Co Inc:The 無人飛行体を用いた送電線点検システムおよび方法
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2011530692A (ja) * 2008-05-21 2011-12-22 ザ・ボーイング・カンパニー 遠隔無人輸送手段群による構造物および物体の検査用システムおよび方法
JP2013543584A (ja) * 2010-10-04 2013-12-05 ザ・ボーイング・カンパニー 自動目視検査システム
US20120089274A1 (en) * 2010-10-06 2012-04-12 Hon Hai Precision Industry Co., Ltd. Electronic device and method for controlling unmanned aerial vehicle
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
US20140316611A1 (en) * 2011-11-09 2014-10-23 Abyssal S.A. System and method of operation for remotely operated vehicles with superimposed 3d imagery
JP2013232195A (ja) * 2012-04-30 2013-11-14 Boeing Co:The 3DGeoArcを用いた多モードデータの画像登録
JP2014059860A (ja) * 2012-07-18 2014-04-03 Boeing Co 複数ビークルに組織的なタスク割当を行うためのミッション再計画
US20140336928A1 (en) * 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
JP2018506127A (ja) * 2014-11-24 2018-03-01 キトフ システムズ エルティーディー. 自動検査方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
麻 晃太朗、舟洞 佑記、道本 慎二、道木 加絵: "UAVによる外観点検システムの自動化構造物の三次元モデルからの点検経路の自動生成", ロボティクス・メカトロニクス 講演会2015 講演論文集, JPN6020048550, JP, ISSN: 0004563797 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021109286A (ja) * 2020-01-14 2021-08-02 オングリットホールディングス株式会社 ロボット装置とその制御方法、並びにロボットシステム
JP7413618B2 (ja) 2020-01-14 2024-01-17 オングリットホールディングス株式会社 ロボット装置とその制御方法、並びにロボットシステム
JP2021188954A (ja) * 2020-05-27 2021-12-13 公立大学法人秋田県立大学 環境センサ

Also Published As

Publication number Publication date
SG11201709768YA (en) 2017-12-28
FR3037429A1 (fr) 2016-12-16
BR112017026528A2 (pt) 2018-08-14
PL3308232T3 (pl) 2022-06-06
CA2989154C (fr) 2023-10-24
EP3308232B1 (fr) 2022-01-05
FR3037429B1 (fr) 2018-09-07
WO2016203151A1 (fr) 2016-12-22
CA2989154A1 (fr) 2016-12-22
KR102675315B1 (ko) 2024-06-13
EP3308232A1 (fr) 2018-04-18
KR20180029973A (ko) 2018-03-21
US20180170540A1 (en) 2018-06-21
IL255814A (en) 2018-01-31
CN107709158A (zh) 2018-02-16
IL255814B (en) 2022-01-01
PT3308232T (pt) 2022-04-08
MA42512A (fr) 2018-06-06
ES2910700T3 (es) 2022-05-13
US10377485B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
KR102675315B1 (ko) 표면을 자동으로 검사하기 위한 시스템 및 방법
JP7448384B2 (ja) 無人航空機を使用した就航中の整備プロセス
CN110612234B (zh) 用于校准交通工具传感器的系统和方法
EP2288970B1 (en) System and method for inspection of structures and objects by swarm of remote unmanned vehicles
CN109562844B (zh) 自动着陆表面地形评估以及相关的系统和方法
US20180262674A1 (en) Image capturing system for shape measurement of structure, method of capturing image of structure for shape measurement of structure, on-board control device, remote control device, program, and storage medium
KR20180039570A (ko) 항공기 모니터링 시스템
Bonnin-Pascual et al. Semi-autonomous visual inspection of vessels assisted by an unmanned micro aerial vehicle
Vijayanandh et al. Numerical study on structural health monitoring for unmanned aerial vehicle
Leiva et al. Automatic visual detection and verification of exterior aircraft elements
CN109885091B (zh) 一种无人机自主飞行控制方法及系统
CN111913493A (zh) 无人机降落装置及方法
JP7243318B2 (ja) 情報処理装置、情報処理システム、及び情報処理装置の制御方法
US20230073120A1 (en) Method for Controlling an Unmanned Aerial Vehicle for an Inspection Flight to Inspect an Object and Inspection Unmanned Aerial Vehicle
WO2024027082A1 (zh) 一种飞机出入库碰撞预警方法、装置、设备及介质
CN115755970A (zh) 无人机编队中无人机的控制方法、无人机及无人机编队
US20240103537A1 (en) Methods, systems, and devices for inspecting structures and objects
US20200283163A1 (en) Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
Borshchova et al. Marker-guided auto-landing on a moving platform
JP7243317B2 (ja) 情報処理装置、情報処理システム、及び情報処理装置の制御方法
EP4223648A1 (en) Automated method and system for aircraft inspection with data validation
US20220366802A1 (en) Flying object management apparatus, flying object management method, and recording medium
Rodríguez et al. Inspection of aircrafts and airports using UAS: a review
Wu et al. Intelligent Unmanned Aerial Vehicle Flight Control and Task Execution System
Rech et al. Artificial Intelligence Architecture Based on Planar LiDAR Scan Data to Detect Energy Pylon Structures in a UAV Autonomous Detailed Inspection Process

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210803