JP2019114234A - 航空非破壊検査用の測位システム - Google Patents

航空非破壊検査用の測位システム Download PDF

Info

Publication number
JP2019114234A
JP2019114234A JP2018172008A JP2018172008A JP2019114234A JP 2019114234 A JP2019114234 A JP 2019114234A JP 2018172008 A JP2018172008 A JP 2018172008A JP 2018172008 A JP2018172008 A JP 2018172008A JP 2019114234 A JP2019114234 A JP 2019114234A
Authority
JP
Japan
Prior art keywords
distance
image
unmanned aerial
aerial vehicle
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018172008A
Other languages
English (en)
Other versions
JP7260269B2 (ja
Inventor
ジェームズ ジェイ. トロイ,
J Troy James
ジェームズ ジェイ. トロイ,
ゲイリー イー. ジョージソン,
E Georgeson Gary
ゲイリー イー. ジョージソン,
スコット ダブリュ. レア,
W Lea Scott
スコット ダブリュ. レア,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2019114234A publication Critical patent/JP2019114234A/ja
Application granted granted Critical
Publication of JP7260269B2 publication Critical patent/JP7260269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0008Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of bridges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports

Abstract

【課題】遠隔操作飛行プラットフォームを使用して、環境の中で物体のスケール及びポイント間距離情報を取得するためのシステム及び方法を提供する。【解決手段】UAV20は、カメラ30の両側に配置された一対のレーザ装置24a及び24bを支持するフレーム22を備えている。カメラ30は、静止画像を得るためのスチルカメラ(カラー及び/又は白黒)、カラー及び/又は白黒映像を得るためのビデオカメラ、又は橋18の一部の赤外線静止画像又は赤外線映像を得るための赤外線カメラを備え得る。レーザ装置24a及び24bは、橋18の一部に向けて方向付けられるそれぞれのレーザビーム26a及び26bを発する。橋の表面上でのレーザビーム26a及び26bの衝突により、橋18に対するUAV20の位置に関する情報の取得が可能になる。【選択図】図1

Description

本開示は、概して、検査活動を行うためのシステム及び方法に関し、より具体的には、無人航空機による構造体又は物体の遠隔検査を可能にするシステム及び方法に関する。
構造体及び様々な種類の物体を自分自身で人手によって検査することは、時間と費用がかかり、個人が行うには困難が伴う。検査が著しく困難であろう構造体の例には、橋、ダム、堤防、発電所、電力線又は電力網、水処理設備、製油所、化学処理工場、高層建築物、電車やモノレール支持構造に関連する基礎構造、及び空港における航空機構造体が含まれる。
無人航空機(UAV)を利用すると、オペレータは、構造体から画像又はその他のセンサデータを安全に取得することができる。UAVオペレータは、危険地帯に配置されることなく、クレーン又はプラットフォームなどの荷厄介で高価な装備を必要とせずに、構造体の自動走査処理を開始することができる。しかしながら、典型的な無人航空機は、飛行中に遭遇するかもしれない物体上のポイント間の距離、又は、車載カメラが捕らえた物体の相対的寸法を表す正確なデータを取得する能力がない。例えば、GPS搭載のUAVは、視覚的検査で十分なおおよその位置推定値を出すことができるが、GPS追跡は、他の非破壊検査方法で使用するには十分に正確ではない。
UAVなどの遠隔操作可動プラットフォームのユーザが現在利用可能な主な状況認識の手法は、車載カメラからのビデオを映すディスプレイモニターを観ることである。このアプローチの有用性に対する懸念のうちの1つには、オペレータが、スクリーン上に表示されている物体の寸法を判断する基準フレームをもたないということがあり、これにより、このようなプラットフォームを用いた検査用途の有用性が制限されてしまう。寸法情報を取得する別のアプローチは、シーンの中の物体を識別する画像処理アプリケーションを使用することであるが、このアプローチは、シーンの中の物体に関する情報があり、当該ソフトウェアがその物体を適切に認識することができるときにのみ機能する。さらなるアプローチは、ターゲット物体までの距離を測定する深さカメラを使用することであるが、深さカメラは、明るい光で飽和する場合があり、範囲が限られている。さらに別のアプローチは、可動プラットフォームに搭載された回転レーザスキャナ(spinning laser scanner)を使用して、距離データと共に点群を出力するアプローチであるが、この方法論は、より多くのデータを取得し、ターゲット物体までの距離を測定するためには、必要以上に複雑である。
したがって、UAVベースの非破壊検査の間に撮像された画像で現れる物体上の点と点の間の距離又は物体の大きさを判断する能力を提供することが望ましいであろう。
以下で幾らか詳細に開示されている主題は、UAVなどの遠隔操作飛行プラットフォームを使用して、非破壊検査を受けている物体のスケール及びポイント間距離情報を取得するためのシステム及び方法を対象としている。当該システムは、搭載センサ及び処理技法を使用して、ターゲット物体のポイント間距離及びターゲット物体のスケールの不連続又は連続測定を提供する。UAV(又はその他の飛行プラットフォーム)に搭載型三次元(3D)測定能力を追加することにより、これらのシステムで現在欠落している客観的距離データを収集することが可能になる。この能力を有することにより、これらのシステムが、測量に関連するタスクを実施する中で、環境中の物体間の距離又は単一の物体上のポイント間の距離を取得すること(UAVが撮った画像内のアイテムの真のスケール係数を判断する等)が可能となり、結果的に、幾つかの種類の検査用途用飛行プラットフォームの有用性が著しく増大する。
航空非破壊検査用のシステムの幾つかの実施例によると、カメラ搭載UAVと検査される構造体とを隔てている距離は、UAVが構造体に向かって飛行する際に搭載機器によって反復的に測定され、離間距離が目標オフセットと等しくなると、UAVは構造体に向かって飛行するのを停止する。任意選択的に、UAVは、カメラの焦点軸が画像化されている構造体の表面に対して垂直になるように自らを配向させ、カメラは起動して、その後の表示のために画像を撮る。一実施例によると、表示画像と重ね合わされたスケールインジケータを生成するために距離情報が使用される。別の実施例によると、距離情報は、画像化されている構造体の表面の2つのポイント間の距離を測定するために使用され、ポイント間距離値は表示画像と重ね合わされる。
本明細書に記載された概念は、UAV及び他の遠隔操作可動プラットフォームのための測定及び制御能力をもたらす。測定データの取得は、以下の3つの分類に分けられる。
実施例の一分類では、2つ以上のレーザポインター及びデジタルビデオカメラが使用されて、ターゲットまでの距離、ターゲットの視野の基準スケール、及び幾つかの実施例では、ターゲット上の対象のポイント間の距離を算定するための情報が取得される。この実施例の分類は、ターゲット表面が、比較的平坦であり、レーザポインター及びカメラの目標方向に対して垂直である状況において適用可能である。本明細書で使用される用語「レーザポインター」は、レーザビームを発し、戻ってきたレーザ光を検出しない装置のことを意味する。
この概念の実施例の別の分類は、UAVが、ターゲットまでの距離、基準スケール、並びにターゲットに対するUAVの1つ又は複数の配向角度を直接的に測定することを可能にする2つ以上のレーザ距離計を含む構成である。非共線的に取り付けられた3つのレーザ距離計(ここでは図示せず)が使用された場合、配向角度を1つより多く(例えば、ヨー及びピッチ)測定することができる。本明細書で使用される用語「レーザ距離計」(レーザレンジファインダとしても知られている)は、レーザビームを発し、戻ってきたレーザ光を検出する装置のことを意味する。
実施例の3つ目の分類には、環境の中で可動プラットフォーム(例えば、UAV)から物体までの距離及び目標方向情報を取得するために使用されるジンバル式レーザ距離計が含まれる。この概念では、プラットフォームの相対運動を判断するために、慣性測定ユニットなどのセンサを追加することと共に、米国特許第7,859,655号(本明細書において参照されることにより内容全体が本明細書に組み込まれる)で開示されたベクトルに基づいた測定アルゴリズムの幾つかの態様が活用される。このプラットフォーム運動データは、ジンバル式レーザ距離計からの目標方向及び距離データと共に、環境の中の物体の測定値の取得に使用することができる。
非破壊検査を受けている物体に対するスケール及びポイント間距離情報を取得するためにシステム及び方法の様々な実施例は、以下でより詳しく説明されるが、これらの実施例のうちの1つ又は複数は、以下の態様のうちの1つ又は複数によって特徴付けられ得る。
以下で詳細に開示される主題の一態様は、無人航空機を操作する方法であり、当該方法は、(a)無人航空機を構造体に向かって飛行するように制御することと、(b)無人航空機が飛行している間、無人航空機に搭載された第1のレーザ距離計及び第2のレーザ距離計を使用して、構造体の表面上のそれぞれの第1のスポット及び第2のスポットから第1のレーザ距離計及び第2のレーザ距離計をそれぞれ隔てている第1の距離及び第2の距離を反復的に測定することと、(c)少なくとも第1の距離及び第2の距離に基づいて、構造体から無人航空機を隔てている第1の離間距離を計算することと、(d)第1の離間距離が目標オフセットに等しいか否かを判断することと、(e)ステップ(d)で離間距離が目標オフセットに等しいと判断されたことに応答して、無人航空機を、構造体から第1の離間距離だけ隔てられた第1の位置でホバリングするように制御することと、(f)無人航空機が第1の位置でホバリングしている間、無人航空機に搭載されたカメラを使用して、構造体の画像を撮ることと、(g)ディスプレイスクリーン上で当該画像を表示することとを含む。一実施例によると、当該方法は、第1の距離及び第2の距離に基づいて、構造体の表面上の第1のスポットと第2のスポットとを接続する線に対して、カメラの焦点軸の配向角度を算定することと、少なくとも部分的に離間距離及び配向角度に基づいて、第1の画像がディスプレイスクリーン上で表示されたときに第1の画像のためのスケール係数を計算することと、当該画像に重ね合わされたスケールインジケータを表示することであって、スケールインジケータの値又は長さがスケール係数を表す、スケールインジケータを表示することをさらに含む。
以下で詳細に開示される主題の別の態様は、無人航空機を操作する方法であり、当該方法は、(a)無人航空機を検査される構造体から隔てられた位置でホバリングするように制御することと、(b)構造体の表面に向けて、平行状態で無人航空機上に枢動可能に取り付けられた第1のレーザポインター及び第2のレーザポインターを方向付けることであって、第1のレーザポインター及び第2のレーザポインターのそれぞれの枢動軸が固定距離だけ隔てられている、第1のレーザポインター及び第1のレーザポインターを方向付けることと、(c)無人航空機が当該位置でホバリングしている間、互いに平行な第1のレーザポインター及び第2のレーザポインターを使用して、互いに平行な2つのレーザビームを第1のスポット及び第2のスポットそれぞれに送達することと、(d)第1の時間で、無人航空機に搭載されたカメラを使用して、第1のスポット及び第2のスポットを含む構造体の表面の一部の第1の画像を撮ることと、(e)第1のレーザポインターと第2のレーザポインターがもはや平行ではないように、無人航空機がホバリングしている間、第1のレーザポインター及び第2のレーザポインターを所定の角度だけ枢動させることと、(f)無人航空機が当該位置でホバリングしている間、枢動した第1のレーザポインター及び第2のレーザポインターを使用して、非平行な2つのレーザビームを構造体の表面上の第3のスポット及び第4のスポットそれぞれに送達することと、(g)第2の時間で、カメラを使用して、第3のスポット及び第4のスポットを含む構造体の表面の一部の第2の画像を撮ることと、(h)画像内の第3のスポット及び第4のスポットの位置、所定角度、及びレーザポインター同士の枢動軸を隔てる固定距離に基づいて、構造体から無人航空機を隔てている第1の離間距離を計算するために、第1の画像及び第2の画像を処理することとを含む。一実施例によると、ステップ(h)は、第3のスポット及び第4のスポットのそれぞれの中心を隔てている第2の離間距離を計算することをさらに含み、当該方法は、第2の離間距離に基づいて、地上ステーションにおいてコンピュータシステムのディスプレイスクリーン上で表示されたときに第1の画像及び第2の画像のためのスケール係数を計算することをさらに含む。
以下で詳細に開示される主題のさらなる態様は、カメラ及びレーザ距離計を支えるパン−チルト機構、並びに慣性測定ユニットを備えた無人航空機を使用して、構造体の特徴をサイズ測定する方法であり、当該方法は、(a)無人航空機を、検査される構造体に向かって飛行し、次いで、検査される構造体から隔てられた第1の位置でホバリングするように制御することと、(b)無人航空機が、第1の位置でホバリングし、第1の距離測定値を取得している間、レーザ距離計を、構造体の表面上の第1の目視可能な特徴に対応する第1のポイントに向けることと、(c)レーザ距離計が第1のポイントに向けられたときに、パン−チルト機構を使用して、レーザ距離計のそれぞれのパン角及びチルト角を測定することと、(d)ステップ(b)及び(c)で取得した距離及び角度測定値を、第1の位置における無人航空機の基準フレーム内の第1のポイントの位置を表す第1のベクトルに変換することと、(e)無人航空機が第2の位置でホバリングし、第2の距離測定値を取得している間、レーザ距離計を、構造体の表面上の第2の目視可能な特徴に対応する第2のポイントに向けることと、(f)レーザ距離計を第2のポイントに向けている間、パン−チルト機構を使用して、レーザ距離計のそれぞれのパン角及びチルト角を測定することと、(g)ステップ(e)及び(f)で取得した距離及び角度測定値を、第2の位置における無人航空機の基準フレーム内の第2のポイントの位置を表す第2のベクトルに変換することと、(h)第1の位置から第2の位置への飛行の間、慣性測定ユニットを使用して、無人航空機の加速度及び回転速度を測定することと、(i)ステップ(h)で取得した情報に基づいて、無人航空機の第1の位置と第2の位置との間の位置差及び配向差を表す変換マトリクスを生成することと、(j)変換マトリクスによって第2のベクトルを乗算して、第1の位置における無人航空機の基準フレーム内の第2のポイントの位置を表す第3のベクトルを形成することと、(k)第1のベクトル及び第3のベクトルを使用して、第1のポイントと第2のポイントとの間の距離を計算することとを含む。
一実施例によると、先行段落で説明された方法は、(l)無人航空機から、ステップ(b)、(c)、(e)、(f)、及び(h)で取得した測定データを含む1つ又は複数のメッセージを送信することと、(m)地上ステーションにおけるコンピュータシステムで1つ又は複数のメッセージを受信することと、(n)当該メッセージから測定データを抽出することとをさらに含み、ステップ(d)、(g)、及び(i)から(k)は、地上ワークステーションにおけるコンピュータシステムによって実行される。本方法は、無人航空機が第1の位置でホバリングしている間、カメラを使用して、第1の目視可能な特徴及び第2の目視可能な特徴を含む構造体の表面の一部の画像を撮ることと、当該画像と、地上ワークステーションにおけるコンピュータシステムのディスプレイスクリーン上の画像に重ね合わされた、ステップ(k)で計算された距離の値を表す記号とを表示することとをさらに含み得る。例えば、第1の目視可能な特徴及び第2の目視可能な特徴は、構造体における異常部分(anomaly)のそれぞれのエンドポイントであり得る。
本明細書に開示された主題のさらに別の態様は、無人航空機であり、無人航空機は、フレーム、フレームに回転可能に取り付けられた複数のロータ、複数のロータの各ロータの駆動回転部にそれぞれ連結された複数のモータ、複数のモータの動作を制御するための複数のモータコントローラ、フレームに取り付けられたパン−チルト機構、パン−チルト機構に取り付けられたカメラ、パン−チルト機構に取り付けられたレーザ距離計、モータコントローラに指令を送信し、パン−チルト機構の動作を制御し、且つカメラ及びレーザ距離計を選択的に起動するように構成されたコンピュータシステム、フレームに取り付けられ、コンピュータシステムに直線加速度及び回転速度データを送信するように構成された慣性測定ユニット、並びにコンピュータシステムと地上ステーションとの間の通信を可能にするように構成された送受信機を備えている。幾つかの実施例によると、コンピュータシステムは、カメラから画像データ、パン−チルト機構からパン角及びチルト角データ、レーザ距離計から距離データ、並びに慣性測定ユニットから直線加速度及び回転速度データを受信し、構造体に対する無人航空機の第1の位置を決定し、モータコントローラに第1の指令を送信し、無人航空機を、第1の位置から、カメラが目標オフセットだけ構造体の表面から隔てられている第2の位置まで飛行させ、モータコントローラに第2の指令を送信し、無人航空機を、第2の位置から、カメラが目標オフセットだけ構造体の表面から隔てられ、カメラの焦点軸が構造体の表面に対して垂直である第3の位置まで飛行させるように構成されている。
さらなる態様は、無人航空機であり、無人航空機は、フレーム、フレームに回転可能に取り付けられた複数のロータ、複数のロータの各ロータの駆動回転部にそれぞれ連結された複数のモータ、複数のモータの動作を制御するための複数のモータコントローラ、カメラ、第1、第2、及び第3のレーザポインター、モータコントローラに指令を送信し、カメラ及び第1から第3のレーザポインターを選択的に起動するように構成されたコンピュータシステム、並びにコンピュータシステムと制御ステーションとの間の通信を可能にするように構成された送受信機を備え、第1及び第2のレーザポインターは、互いに平行な関係でフレームに固定され、第3のレーザポインターは、フレームに枢動可能に連結されている。
遠隔操作飛行プラットフォームを使用して、環境の中で物体のスケール及びポイント間距離情報を取得するためのシステム及び方法の他の態様が、以下で開示される。
前述の特徴、機能、及び利点は、様々な実施例で個別に実現することが可能であり、又は、さらに別の実施例で組み合わせることが可能である。先述の態様及び他の態様を示すために、図面を参照して、様々な実施例が以下で説明される。この部分で簡略に記載された図面は、いずれも縮尺通り描かれていない。
幾つかの実施例に係る、一対のレーザ装置及び搭載カメラを有する航空UAVを使用して、橋を検査するシステムを示す図である。 一実施例に係る、ターゲット物体に方向付けられた一対の固定レーザポインターを有する航空UAVの上面図を示す図である。UAVに搭載されたカメラは示されていない。 2つ以上のレーザポインターを有する遠隔制御UAVを使用して、構造体の非破壊検査を実行するためのシステムの一部の構成要素を特定するブロック図である。レーザポインターの構成は、図2、図6、及び図8に示す代替例から選択され得る。 ビデオカメラ、及びターゲット物体から距離Dだけ隔てられた一対の固定レーザポインターを示す図であり、レーザポインターは、それぞれのレーザスポットを生成し、それぞれのレーザスポットは、ターゲット物体の表面上の距離dだけ隔てられている。 図4Aに示すビデオカメラが取得した画像を示す図であり、この画像は、ターゲット物体の表現を含む。 目視可能な異常部分を有し、その上に重ね合わされたスケールバーを有する、構造体の一部の表現を含む画像を示す図である。 別の実施例に係る、ターゲット物体に方向付けられた一対の枢動可能なレーザポインターを有する航空UAVの上面図を示す図である。UAVに搭載されたカメラは示されていない。 ビデオカメラ、及びターゲット物体から距離Dだけ隔てられた一対の枢動可能な固定レーザポインターを示す図であり、レーザポインターは、それぞれのレーザスポットを生成し、それぞれのレーザスポットは、ターゲット物体の表面上の距離dだけ隔てられている。 図7Aに示すビデオカメラが取得した画像を示す図であり、この画像は、ターゲット物体の表現を含む。 さらなる実施例に係る、ターゲット物体に方向付けられた、一対の固定レーザポインター(第1の色)、及び(単一軸の周りで)枢動可能な第3のレーザポインター(第2の色)を有する航空UAVの上面図を示す図である。UAVに搭載されたカメラは示されていない。 ビデオカメラ、及び図8で示されたように構成され且つターゲット物体から距離Dだけ隔てられた3つのレーザポインターを示す図であり、レーザポインターは、それぞれのレーザスポットを生成し、そのうちの最も離れたものは、ターゲット物体の表面上で距離dだけ隔てられている。 図9Aに示すビデオカメラが取得した画像を示す図であり、この画像は、ターゲット物体の表現を含む。 一実施例に係る、ターゲット物体上のレーザスポット間の距離を画素で判断するために、画像を処理する方法のステップを示す図である。 画像処理効率を改善するような態様で、ターゲット物体上のレーザスポット間の距離を画素で判断するために、画像を処理する方法のステップを示す図である。 別の実施例に係る、ターゲット物体に方向付けられた一対の固定レーザ距離計を有する航空UAVの上面図を示す図である。UAVに搭載されたカメラは示されていない。 一実施例に係る、ターゲット物体の非破壊検査の間、無人航空機を操作する方法のステップを特定するフロー図である。 カメラ、及び構造ビームを目標とするレーザ距離計を含む搭載型局所的測位システムを有する遠隔制御航空UAVを示す図である。 搭載型局所的測位システムを有する遠隔制御UAVを使用して、構造体の非破壊検査を実行するためのシステムの一部の構成要素を特定するブロック図である。 ビデオカメラ、及びターゲット物体に方向付けられたジンバル式レーザ距離計を備えた局所的測位システムを有する航空UAVの上面図を示す図である。UAVに搭載された慣性測定ユニットは示されていない。 局所的測位システムを運ぶUAVを使用して、構造体の特徴をサイズ測定する方法のステップを特定するフロー図である。 図16で部分的に示したUAVを使用して、ターゲット物体上の第1のポイントからターゲット物体上の第2のポイントへの距離及び方向を表すベクトルを生成する方法を示すベクトル図である。 UAVに搭載された機器が取得した測定データに基づいて、UAVの運動を制御するためのフィードバック制御プロセスのステップを特定するブロック図である。
以下で図を参照するが、異なる図中の類似の要素には、同一の参照番号が付される。
説明を目的として、UAVを使用して、航空非破壊検査を受けている物体に対するスケール及びポイント間距離情報を取得するためのシステム及び方法がこれより詳細に説明される。しかしながら、実際の実装のすべての特徴が本明細書に記載されているわけではない。当業者であれば、このような任意の実施例の開発においては、開発者の特定の目的を達成するためには、実装によって異なるシステム関連及びビジネス関連の制約の順守等、多数の個々の実装に応じた判断を行う必要があることを理解されたい。さらに、このような開発のための労力は複雑であり、時間がかかるものであるが、本開示の利点を有する当業者にとっては、取り組むべき所定の事柄であることを理解されたい。
図1は、橋18を検査するための、幾つかの実施例に係るシステムを示す図である。当該システムは、定期検査を必要とする構造体の周りで移動(飛行)し得る無人航空機20(以下、「UAV20」)を含む。この実施例では、UAV20は回転翼航空機である。検査される構造体は橋18として示されているが、当該システムは、限定しないが、電力線、電力生成施設、電力網、ダム、堤防、スタジアム、大型建物、大型アンテナ及び望遠鏡、水処理設備、製油所、化学処理工場、高層建築物、並びに電車やモノレール支持構造に関連する基礎構造を含む、広範囲の他の構造体の検査に使用されるよう等しく適合される。当該システムは、特に、製造施設及び倉庫などの大型建物の内部で使用するのによく適している。事実上、検査装置を制御する人間又は検査装置を運ぶプラットフォームによる検査が困難であったり、コストがかかったり、又はあまりにも危険であるどんな構造体でも、図1に示すシステムを使用して潜在的に検査することができる。
検査用途には、非常に遅い速度でホバリング且つ移動する能力の故に回転翼航空機が好適である。遠隔制御無人回転翼航空機の垂直離陸及び着陸能力も、特に、構造体又は製造工場や倉庫などの施設の中で動作するとき、又は、密集している多くの背の高い構造体(例えば、煙突)を有し得る製油所や化学処理工場などの複雑な施設を検査するとき、多くの用途において非常に有利であり得る。垂直方向のみにホバリング且つ/又は移動する能力により、遠隔制御無人回転翼航空機が、橋の垂直支持ポスト、アンテナ、又はダムの垂直面などの大型垂直構造体の近くまで飛行し、それらを検査することが可能になる。
幾つかの実施例(以下でより詳細に開示される)によると、UAV20は、カメラ30の両側に配置された一対のレーザ装置24a及び24bを支持するフレーム22を備えている。カメラ30は、静止画像を得るためのスチルカメラ(カラー及び/又は白黒)、カラー及び/又は白黒映像を得るためのビデオカメラ、又は橋18の一部の赤外線静止画像又は赤外線映像を得るための赤外線カメラを備え得る。レーザ装置24a及び24bは、橋18の一部に向けて方向付けられるそれぞれのレーザビーム26a及び26bを発する。以下で幾らか詳細に説明されるように、橋の表面上でのレーザビーム26a及び26bの衝突により、橋18に対するUAV20の位置に関する情報の取得が可能になる。
図1に示すシステムは、UAV20への/からの無線通信の送受信のための遠隔制御ステーション10をさらに備えている。一実施例によると、遠隔制御ステーション10は、ラップトップコンピュータ12、送受信機14、及びアンテナ16を備えている。送受信機14は、ラップトップコンピュータ12とUAV20との間の通信を可能にするアンテナ16と通信状態にある。
UAV20の搭載システムは、非一過性の有形コンピュータ可読記憶媒体(図1に図示せず)内に記憶された飛行計画データによってデジタル的に表される1つ又は複数の、種々の、記憶された飛行計画を実装することが可能な誘導及び制御ハードウェア及びソフトウェアシステム(図1に図示せず)を備え得る。搭載システムは、UAV20の配向を制御し、メモリ内に記憶された予めプログラミングされた飛行計画の実行を支援する全地球測位システム/慣性航法システム(GPS/INS)をさらに備え得る。無線送受信機及び搭載アンテナ(図1に図示せず)は、遠隔制御ステーション10との双方向無線電磁波通信を可能にする。
図1に示された種類の無人航空機は、非破壊検査を受けている物体に対するスケール及びポイント間距離情報を取得する能力でアップグレードされ得る。UAVには、搭載センサ及び処理技法が備わっている場合がある。それにより、ターゲット物体のポイント間距離及びターゲット物体のスケールの不連続又は連続測定がもたらされる。このような強化能力UAVの様々な実施例がこれより幾らか詳細に説明される。
図2は、非破壊検査を受けている物体に対するスケール及びポイント間距離情報を取得することが可能な航空UAV20の一実施例の上面図を示す図である。UAV20は、平行構成で配置された一対のレーザポインター132a及び132bを備えている。レーザポインター132a及び132bは、それぞれの目標方向ベクトル134a及び134bによって示されたそれぞれの光路に沿って、それぞれのレーザビームを発する。UAV20は、デジタルビデオカメラ(図2では図示せず)をさらに備えている。レーザポインター132a及び132b、並びにビデオカメラは、ターゲット物体102への距離及び基準スケールを計算するために使用される。この実施例は、UAV20がターゲット物体102に比較的近い状況で用いられる。
図2に示すUAV20は、フレーム22、及びフレーム22に回転可能に取り付けられた4つのロータ124a〜124dを備えている。各ロータの回転は、フレーム22に取り付けられたそれぞれのモータ(図2で図示せず)によって駆動される。互いに平行な軸を有する一対のレーザポインター132a及び132bは、フレーム22に固定的に取り付けられる。起動時、レーザポインター132a及び132bは、それぞれ互いに平行なレーザビームをターゲット物体102の表面上の対応するレーザスポットに方向付ける。図2では示されていないが、UAV20は、フレーム22に取り付けられたビデオカメラ130(図3参照)をさらに備えている。ビデオカメラ130の焦点軸、並びにレーザポインター132a及び132bの目標方向が互いに平行であることが好ましい。
ビデオカメラ130は、2つのレーザスポットが目視可能である画像を撮るように起動され得る。この画像データを(以下で幾らか詳細に説明されるように)処理して、画素情報を引き出すことができる。この画素情報は、2つのレーザポインター132a及び132bの軸を分離する周知の距離と共に、スケール係数を判断するために使用することができる。このスケール係数は、UAVが同じ位置でホバリングしている間、ビデオカメラ130が撮った任意の後続の画像上にスケールインジケータを表示するために使用され得る。より具体的には、1つの目的は、ポインター132a及び132bとターゲット物体102との間の距離Dを判断することであるが、これは、図4A及び図4Bを参照して以下でより詳しく説明される。
図3は、2つ以上のレーザポインター132(例えば、図2に示す第1のレーザポインター132a及び第2のレーザポインター132b)が取り付けられた遠隔制御UAV20を使用して、構造体の非破壊検査を実行するシステムの一部の構成要素を特定するブロック図である。この実施例では、UAV20及びUAV20が運ぶ機器は、制御ステーション150が送信する無線周波数指令に応じて、搭載型コンピュータシステム162によって制御される。これらの無線周波数指令は、UAV20に搭載された送受信機160によって受信され、適切なデジタルフォーマットに変換され、次いでコンピュータシステム162に転送される。制御ステーション150は、コンピュータシステム162に指令を送信することによって、UAV20及びUAV20に搭載された機器の操作を制御するようプログラミング設定された汎用コンピュータシステムを備え得る。例えば、制御ステーションは、UAV20の飛行を制御するための指令、及びレーザポインター132を起動するための指令を送信することができる。さらに、制御ステーション150におけるコンピュータシステムは、検査操作の間、UAV20から受信したデータを処理するようプログラミング設定されている。特に、制御ステーション150のコンピュータシステムは、ビデオカメラ130が取得した画像を表示するディスプレイモニター152を制御するソフトウェアで構成されたディスプレイプロセッサを備え得る。光学画像フィールドは、ビデオカメラ130で見たとおりに、ディスプレイモニター152で表示することができる。
制御ステーション150からの指令に応答して、ビデオカメラ130及びレーザポインター132は、コンピュータシステム162によって(例えば、電気ケーブルを介して)送信された制御信号によって起動され得る。ビデオカメラ130は、自動(遠隔制御)ズーム機能を有し得る。コンピュータシステム162は、指令をモータコントローラ168に送信することにより、UAV20の飛行をさらに制御する。モータコントローラ168は、ロータ124a〜124d(図2を参照)の回転を駆動させるそれぞれのモータ148の回転を制御する。
図4Aは、ビデオカメラ130、及びターゲット物体102から距離Dだけ隔てられた一対のレーザポインター132a及び132bを示す図であり、レーザポインターは、ターゲット物体102の表面上にそれぞれのレーザスポットを生成する。ターゲット物体表面上のこれらのレーザスポットは、距離dだけ隔てられている。図4Bは、図4Aで示されたビデオカメラ130が取得した画像70を示す図である。画像70は、ターゲット物体102の表現102’を含み、レーザスポットのそれぞれの位置106及び108のそれぞれの表現を含む。
図4A及び図4Bで示す状況に従って、周知の変数は、ビデオカメラ130の現在の視野(すなわち、図4Aの「FoV」)、画像70の幅方向における最大画素数(すなわち、図4Bの「maxPx」)、レーザポインター132a及び132bによって生成されたレーザスポットの位置106及び108を表すそれぞれの画素群間の画像70の画素数(すなわち、図4Bの「nPx」)、及びレーザポインター132a及び132bを隔てている距離(すなわち、図4Aの「L1」)である。未周知の変数は、レーザスポット間の視野角α、並びに距離D及びdである。
レーザスポット間の視野角αは、カメラの視野(FoV)及び画像画素データを用いて算定することができる。
ここで、nPxは、レーザスポット間の測定画素数であり、maxPxは、画素での画像幅である。距離d及びDは、以下の式を用いて算定することができる。
視野角αに式(1)を代入すると、以下が得られる:
図2及び図4Aで示す実施例(及び以下で説明される他の実施例)に従って、距離Dの値は継続的に更新される。
1つの可能な実装形態によると、距離dの値は、ディスプレイモニター(図3のアイテム152)上で表示された画像70のどこにでも含まれ得る。別の可能な実装形態によると、スケール係数は、距離dと画素数nPxの比率に基づいて計算することができ、スケールバー又はスケール係数を示す他のスケールインジケータは、画像70の一部として含まれ得る。UAVとターゲット物体との離間距離Dが最新である限り、このスケールインジケータは正確である。離間距離が変化するにつれて、上述の操作を反復して、更新されたスケール係数を生成することができる。経時的に、スケールインジケータは、UAVとターゲット物体とを隔てている変動距離の関数として繰り返し調節される。
非破壊検査のためには、検査される構造体の取得された画像は、レーザスポットの表現を含まないことが好ましい。したがって、ターゲット物体の画像化された表面領域の初期サイズ測定の後、レーザポインター132a及び132bが停止している間にビデオカメラ130を起動して、追加の画像(例えば、画像のビデオシーケンス)を撮ることができる。この場合、ビデオカメラ130は、好ましくは、離間距離Dが最新である間に画像を撮ることができる。
例えば、図5は、目視可能な異常部分74及びスケールバー76を有する表現を含むが、レーザスポットの表現を全く含まない画像70を示す図である。制御ステーション150における技術者は、スケールバー76が示した画像化領域の適用可能サイズを確認しながら、この画像を見ることができる。さらに、目視可能な異常部分は、異常部分の目視可能な寸法をディスプレイスクリーン上に現れたスケールインジケータの目視可能な寸法と比較することによって、大体(すなわち、おおまかに)サイズ測定することができる。
図6は、代替的な実施例に係る、航空UAV20の上面図を示す図である。図3で部分的に示された実施例のように、図6で部分的に示された実施例も、非破壊検査を受けている物体に対するスケール及びポイント間距離情報を取得することが可能である。図6で部分的に示すUAV20は、一対の枢動可能なレーザポインター132a及び132b、並びにビデオカメラ130(図6に図示せず)を備えている。起動時、レーザポインター132a及び132bは、それぞれのレーザビームをターゲット物体102の表面上の対応するレーザスポットに方向付ける。レーザポインター132a及び132bは、独立して枢動可能であってもよく、又は、レーザポインター132a及び132bがそれぞれの反対側に枢動可能であるようにそれらの枢動機構が連結されてもよい。本明細書に記載された「それぞれの反対側に枢動可能(oppositely pivotable)」という表現は、ビデオカメラ130の焦点軸(図6で図示せず)に対するレーザポインター132a及び132bの角度位置が、常に等しく、それぞれ反対側であることを意味する。
レーザポインター132a及び132bは、平行構成に対して周知の量だけUAV20上で回転し得る。これにより、ターゲット物体102上のレーザスポット間にさらなる隔たりが生じる。この隔たりは、図2に示す実施例の場合よりもUAV20がターゲット物体102からさらに離れている状況において有用である。例えば、最初は、レーザポインター132a及び132bは平行に位置付けされて、それぞれの目標方向ベクトル134a及び134bによって示された互いに平行な光路に沿って、それぞれのレーザビームを発する。次いで、レーザポインター132a及び132bは、周知の角度だけ回転し、次いで再度起動され、それぞれの目標方向ベクトル134a’及び134b’によって示された光路に沿って、それぞれのレーザビームを発する。ターゲット物体102への距離は、搭載ビデオカメラ(図示せず)が撮った画像を使用して判断することができる。この画像は、レーザスポットを表す画素群を含む。より具体的には、この実施例は、図7A及び図7Bを参照してより詳細に説明されるように、レーザポインター132a及び132bによってターゲット物体102上でそれぞれ生成されたレーザスポット間の距離d、並びにポインター132a及び132bとターゲット物体102との間との間の距離Dを判断するように構成される。
図7Aは、ビデオカメラ130、及びターゲット物体102から距離Dだけ隔てられた一対の枢動可能なレーザポインター132a及び132bを示す図であり、レーザポインターは、ターゲット物体102の表面上でそれぞれのレーザスポットを生成する。ターゲット物体表面上のこれらのレーザスポットは、距離dだけ隔てられている。図7Bは、図7Aで示されたビデオカメラ130が取得した画像70を示す図である。画像70は、ターゲット物体102の表現102’を含み、レーザスポットのそれぞれの位置106及び108のそれぞれの画素群を含む。
図7A及び図7Bで示す状況に従って、周知の変数は、ビデオカメラ130の視野(すなわち、図7Aの「FoV」)、画像70の幅方向の最大画素数(すなわち、図7Bの「maxPx」)、レーザポインター132a及び132bによって生成されたレーザスポットの位置106及び108を表すそれぞれの画素群間の画素数(すなわち、図7Bの「nPx」)、レーザポインター132a及び132bによって送信されたレーザビーム間の角度(すなわち、図7Aの「β」)、及びレーザポインター132a及び132bのそれぞれの枢動軸を隔てている距離(すなわち、図7Aの「L1」)である。未周知の変数は、レーザスポット間の視野角α、並びに距離D及びdである。
レーザスポット間の視野角αも式(1)を用いて算定することができる。次いで、距離d及びDは、以下の式を用いて算定することができる。
1つの可能な実装形態によると、スケール係数は、距離dと画素数nPxの比率に基づいて計算することができ、スケールバー又はスケール係数を示す他のスケールインジケータは、UAV20が同じ位置でホバリングしている間にビデオカメラ130によって撮った後続の画像に表示され得る。
図8は、ターゲット物体102に方向付けられた、一対の固定レーザポインター132a及び132b、並びに(単一軸の周りで)枢動可能な第3のレーザポインター132cを有する航空UAV20の上面図を示す図である。UAVに搭載されたカメラは示されていない。この変動に従って、2つのレーザポインター132a及び132bは、互いに平行であり、第3のレーザポインター132cは、他の2つのポインターに対して固定角度又は制御可能な角度で回転する。第3のレーザポインター132cは、レーザポインター132a及び132bが発したレーザ光とは異なる光を有するレーザ光を発することができ、ターゲット物体102上でレーザスポット同士を互いから差別化することを助ける。(代替例では、同じ色の3つのレーザポインターを使用するためにこの算定方法を行ってもよい。)図8では、第3のレーザポインター132cが、目標方向ベクトル134cによって示された光路に沿ってレーザビームを発する間、レーザポインター134a及び134bは、それぞれの目標方向ベクトル134a及び134bによって示された互いに平行な光路に沿ってそれぞれのレーザビームを発する。
図9Aは、ビデオカメラ130、及び図8で示されたように構成され且つターゲット物体102から距離Dだけ隔てられた3つのレーザポインター132a〜cを示す図であり、レーザポインター132a〜cは、それぞれのレーザスポットを生成し、そのうちの最も離れたものは、ターゲット物体102の表面上で距離dだけ隔てられている。互いに平行なレーザポインター132a及び132bによってターゲット物体の表面上に生成されたレーザスポットは、距離L1だけ隔てられる。この距離L1は、レーザポインター132a及び132bの軸を隔てる物理的距離でもある。レーザポインター132a及び132bによってターゲット物体の表面上に生成されたレーザスポットは、距離dだけ隔てられる。図9Bは、図9Aで示されたビデオカメラ130が取得した画像70を示す図である。画像70は、ターゲット物体102の表現102’を含み、レーザスポットのそれぞれの位置106、107、及び108を表すそれぞれの画素群を含む。
図9A及び図9Bで示す状況に従って、周知の変数は、ビデオカメラ130の視野(すなわち、図9Aの「FoV」)、画像70の幅方向の最大画素数(すなわち、図9Bの「maxPx」)、レーザポインター132a及び132bによって生成されたレーザスポットのそれぞれの位置106及び108を表すそれぞれの画素群間の画素数(すなわち、図9Bの「nPx1」)、レーザポインター132b及び132cによって生成されたレーザスポットのそれぞれの位置108及び107を表すそれぞれの画素群間の画素数(すなわち、図9Bの「nPx2」)、レーザポインター132b及び132cによって送信されたレーザビーム間の角度(すなわち、図9Aの「β」)、及びレーザポインター132a及び132bのそれぞれの軸を隔てている距離(すなわち、図9Aの「L1」)である。未周知の変数は、レーザスポット間の視野角α、並びに距離D及びdである。
レーザポインター132a及び132bによって生成されたレーザスポット間の視野角αも式(1)を用いて算定することができる。次いで、距離d及びDは、以下の式を用いて算定することができる。
又は
したがって、dを計算する方法が2つある。一方は角度βを用い、他方はnPx2を用いる。距離dの値の計算に2つの異なる方法があることにより、信頼性を改善するプロセスチェックが機能する。
1つの可能な実装形態によると、距離dと合計(nPx1+nPx2)との比率に基づいてスケール係数を計算することができる。その後、スケールバー又はスケール係数を示す他のスケールインジケータは、UAV20が同じ位置でホバリングしている間にビデオカメラ130によって撮った後続の画像に表示され得る。
図4A、図4B、図7A、図7B、図9A、及び図9Bで部分的に示す実施例によると、画像70に表示されるレーザスポットの画像間の距離を画素で判断するために、画像処理方法が用いられる。画像処理ステップの主な目標は、ターゲット物体上のレーザスポット間の距離を画素で判断することである。このためには、画素色を使用するなどの幾つかの方法を用いてもよいが、このアプローチは、広範囲の照明条件があるような環境ではそれほど確実ではない。この用途のためには、連続画像が関わるプロセスが用いられる。この連続画像では、ある画像ではレーザスポットがオン状態となり、次の画像ではレーザスポットがオフ状態となっている。この方法には、ビデオカメラのフレームレートの半分の(又は他の整数除数で割った)レートでレーザポインターのオンとオフのサイクルをつくり、次いで、画像減算ステップを実行して、変化した互いに隣接するクラスタ画素を特定することが関わる。互いに隣接するクラスタの重心間の距離は、画素距離(nPixels)となる。スケール係数を計算してから、スケール係数を図示するスケールインジケータを表示するために、距離dと共に画素距離を使用することができる。
変化の検出は、2つ以上の画像間の差異を判断するために使用されるプロセスである。例えば、変化の領域はデジタル画像処理技術を用いて判断することができる。このようなプロセスの1つには、画像減算、ぼかしフィルタ、及び画像セグメント化工程が関わる場合がある。「デジタル画像処理」という用語は、1つの画像又は一連の画像をコンピュータに基づいて解析することを意味する。「画素(pixel)」という用語は、2次元デジタル画像を構成する画像素子のことを指す。セグメント化とは、デジタル画像において類似の特性を有する画素を特定するプロセスである。
図10は、一実施例に係る、ターゲット物体上のレーザスポット間の距離を画素で判断するために、画像を処理する方法のステップを示す図である。ビデオカメラ130は、それぞれのフレーム140a〜dを、時点T=0.00、0.01、0.02、及び0.03で撮る。レーザポインター132a及び132bは、フレーム140a及び140cを時点T=0.00及び0.02で撮ったときにオフであるが、フレーム140b及び140dを時点T=0.01及び0.03でと撮ったときにオンである。フレーム140bがフレーム140aから減算されて、減算画像142aが生成される。フレーム140dがフレーム140cから減算されて、減算画像142bが生成される。次いで、減算画像142aと減算画像142bとの差異の位置が判断される。各領域の重心が検出され、画素座標(x,y)に変換される。カメラの光学系を補正するために、歪み補正が実施され、2次元画像修正が適用されて結果的に(x’,y’)となる。この修正は、例えば、レンズ光学系、ズーム、及び焦点レベルに依存し得る。修正は、一実施例では実験的に判断され、テーブルルックアップを用いて実行時に呼び出される。照明修正が適用された後、各減算画像で表れる差異(すなわち、レーザスポットの画像)が判断される。一実施例では、画素ごとの差分操作が実施され、次にぼかしフィルタ操作、さらに画像のセグメント化操作が実施される。N×Nぼかしフィルタ(例えば、5×5カーネル)は、画像に関連するほとんどの高周波ノイズを平滑化するために使用することができ、様々なサイズの領域を廃棄するように調整可能である。ぼかされた画像は次に、明確な非接触領域にセグメント化される。分割された各領域の重心が算定され、各画像ペアに関連するリストに保存される。次いで、2つのレーザスポットに対応する2つの重心を分ける画素数が計算される。
レーザスポットのそれぞれの位置106及び108を表す画素群は、各画像の同じ水平ストリップにあるため、画像処理にはその画像部分だけが必要である。図11は、画像処理効率を改善するような態様で、ターゲット物体上のレーザスポット間の距離を画素で判断するために、画像を処理する方法のステップを示す図である。水平ストリップ144a及び144bは、例えば、フレーム140a及び140bそれぞれから生成され得る。次いで、水平ストリップ144aから水平ストリップ144bが減算され、減算画像146が形成される。
この概念の実施例の別の分類は、UAVが、ターゲットまでの距離、基準スケール、並びにターゲットに対するUAVの1つ又は複数の配向角度を測定することを可能にする2つ以上のレーザ距離計を含む構成である。非共線的に取り付けられた3つのレーザ距離計(ここでは図示せず)が使用された場合、配向角度を1つより多く(例えば、ヨー及びピッチ)測定することができる。
図12は、非破壊検査を受けている物体に対するスケール情報を取得することが可能な航空UAV20の一実施例の上面図を示す図である。航空UAV20は、さらに、UAV20とターゲット物体102との間の離間距離D、及びターゲット物体102に対するUAV20の配向角度を測定することが可能である。図12に示すUAV20の構成は、平行構成で配置された一対のレーザ距離計138a及び138bにレーザポインター132が取って代わっていること以外は、図3に示す構成と類似し得る。
図12に示すUAV20は、フレーム22、及びフレーム22に回転可能に取り付けられた4つのロータ124a〜124dを備えている。各ロータの回転は、フレーム22に取り付けられたそれぞれのモータ(図12で図示せず)によって駆動される。互いに平行な軸を有する一対のレーザ距離計138a及び138bは、フレーム22に固定的に取り付けられる。起動時、レーザ距離計138a及び138bは、それぞれ互いに平行なレーザビームをターゲット物体102の表面上の対応するレーザスポットに方向付ける。図12では示されていないが、UAV20は、フレーム22に取り付けられたビデオカメラ130(図3参照)をさらに備えている。ビデオカメラ130の焦点軸、並びにレーザ距離計138a及び138bの目標方向が互いに平行であることが好ましい。
レーザ距離計138a及び138bの軸が、レーザビームが衝突するターゲット物体102の表面の部分に対して垂直ではない場合、その表面からレーザ距離計138a及び138bを隔てているそれぞれの距離は、均等ではなく、UAV20は、その表面に対して非ゼロ配向角度を有するようになる。レーザ距離計138a及び138bの軸が、レーザビームが衝突するターゲット物体102の表面の部分に対して垂直である場合、その表面からレーザ距離計138a及び138bを隔てているそれぞれの距離は、均等になり、配向角度はゼロになる。ターゲット物体102からレーザ距離計138a及び138bへのそれぞれの離間距離の測定値を使用して、ターゲット物体102からUAV20への現在のオフセットと、現在の配向角度とを判断して、次いで、現在のオフセットの目標オフセットからの逸脱と、現在の配向角度のターゲット配向角度からの逸脱(例えば、ゼロ度の角度)の両方が減少するようにUAV20を制御することができる。
ビデオカメラ130は、2つのレーザスポットが目視可能である画像を撮るように起動され得る。この画像データを(以下で幾らか詳細に説明されるように)処理して、画素情報を引き出すことができる。この画素情報は、2つのレーザ距離計138a及び138bの軸を分離する周知の距離と共に、スケール係数を判断するために使用することができる。このスケール係数は、UAVが同じ位置でホバリングしている間、ビデオカメラ130が撮った任意の後続の画像上にスケールインジケータを表示するために使用され得る。
複数のレーザ距離計の実施例については、それぞれのレーザ距離計からターゲット物体102への距離に関連する情報が測定され、ビデオカメラ130の視野が周知であるため、画像処理ステップを必要とすることなくスケール係数を判断することが可能である。画像処理ステップから使用可能な部分は、nPxであるが、これは、以下の式を用いて、Fov、平均距離D/n、L1、及びmaxPx(ここで、nはレーザ距離計の数である)の関数として算定され得る。
(留意点:以上の算定は、画像歪み補正ステップ、より正確にはその逆がさらに必要である)。
制御ステーション150(図3参照)からの指令に応答して、ビデオカメラ130、並びにレーザ距離計138a及び138bは、コンピュータシステム162によって(例えば、電気ケーブルを介して)送信された制御信号によって起動され得る。コンピュータシステム162は、指令をモータコントローラ168に送信することにより、UAV20の飛行をさらに制御する。モータコントローラ168は、ロータ124a〜124d(図2を参照)の回転を駆動させる対応するモータ148の回転をそれぞれ制御する。
代替例によると、UAV20は、1つより多いレーザ距離計を備えている。レーザ距離計は、ターゲット物体、並びに1つ又は複数の配向角度の測定を可能にする。2つのレーザ距離計を使用する場合(図12で示す実施例のように)、1つの配向角度(例えば、ヨー)を測定することができる。非共線的に取り付けられた3つのレーザ距離計(図面では図示せず)が使用された場合、配向角度を1つより多く(例えば、ヨー及びピッチ)測定することができる。この情報により、ユーザに対してスケール係数を表示することができ、又はビークル制御のために動作抑制を適用することができる。
図13は、非共線的に取り付けられた3つのレーザ距離計が使用され、ヨー及びピッチ配向角度が測定される一実施例に従って、構造体の非破壊検査の間に無人航空機を操作する方法40のステップを特定するフロー図である。方法40は、(a)無人航空機を検査される構造体に向かって飛行するように制御すること(ステップ42)、(b)無人航空機が飛行している間、無人航空機に搭載された3つのレーザ距離計を使用して、構造体の表面上のそれぞれのスポットからレーザ距離計をそれぞれ隔てている距離を反復的に測定(すなわち、計算)すること(ステップ44)、(c)少なくともステップ44で計算された距離に基づいて、構造体から無人航空機を隔てている第1の離間距離を計算すること(ステップ46)、(d)構造体に対して(例えば、目標オフセットに等しい)特定された離間距離を維持するようにUAVを制御すること(ステップ48)、(e)ステップ44で計算された距離に基づいて、構造体の表面上で3つのレーザスポットと交差する平面に対するカメラの焦点軸のヨー及びピッチ配向角度を算定すること(ステップ50)、(f)カメラの焦点軸が構造体の表面に対して垂直となるように、無人航空機を制御して再配向させること(ステップ52)、(g)無人航空機が特定の離間距離でホバリングしている間、無人航空機に搭載されたカメラを使用して、構造体の画像を撮ること(ステップ54)、(h)少なくとも部分的に離間距離及びカメラの視野に基づいて、画像がディスプレイスクリーン上で表示されたときに画像のためのスケール係数を計算すること(ステップ56)、(i)画像に重ね合わされたスケールインジケータを有する画像を表示することであって、スケールインジケータの値又は長さがスケール係数を表す、画像を表示すること(ステップ58)、及び(j)フィードバック制御モードを継続するか否かを判断すること(ステップ60)を含む。フィードバック制御モードを継続するべきであるとステップ60で判断された場合、プロセスはステップ44に戻る。フィードバック制御モードを継続すべきではないとステップ60で判断された場合、前のUAV飛行モードが再開される(ステップ62)。
図3に示す構成に従って、UAV20に搭載された機器が取得したデータ(すなわち、レーザ距離計138a及び138bが取得した測定データ、及びビデオカメラ130が取得した画像データ)が送受信機160によって送信される。このメッセージは、地上の制御ステーション150が受信する。制御ステーション150におけるコンピュータシステムは、画像を表す画像データをメッセージから抽出し、画像データに応じてディスプレイスクリーンの画素状態を制御することにより、画像データをディスプレイモニター152のスクリーンに表示させる。
運動制御機能の一態様によると、UAV20は、離間距離を維持しながら、第2の位置へと移動するように制御することができる。次いで、ビデオカメラ130は、無人航空機が第2の位置でホバリングしている間、構造体の第2の画像を撮るように起動される。第2の画像は、ディスプレイスクリーン上で表示され得る。場合によっては、第1の画像及び第2の画像は、それぞれ、構造体の表面上で部分的に重なり合う領域又は近接する領域を表す画像データの第1のセット及び第2のセットを含み得る。
運動制御機能の別の態様によると、コンピュータシステム162は、無人航空機が第1の位置から第2の位置へと移動した後、離間距離の目標オフセットからの逸脱を検出し、次いで、無人航空機が、離間距離が目標オフセットと等しくなって逸脱がゼロに減少する第3の位置まで飛行させるようにプログラミングされた運動コントローラを含み得る。運動コントローラは、第1の距離、第2の距離、及び第3の距離に基づいて、構造体の表面に対して、カメラの焦点軸の配向角度を算定する操作、無人航空機が第1の位置でホバリングしている間、所望の配向角度からの配向角度の逸脱を検出する操作、及び配向角度が所望の配向角度と等しくなるよう、無人航空機を制御してその配向を変える操作を実行するようにさらにプログラミングされ得る。
図14は、代替例に従って構造体を検査するシステムを示す。図示のシステムは、定期検査を要する構造体の周りで移動し得る遠隔制御航空UAV20を含む。この実施例では、UAV20は、回転翼航空機であり、検査される構造体は、構造的I型ビーム100である。ターゲット構造体はI型ビーム100として示されているが、当該システムは、限定しないが、電力線、電力生成施設、電力網、ダム、堤防、スタジアム、大型建物、大型アンテナ及び望遠鏡、タンク、容器、水処理設備、製油所、化学処理工場、高層建築物、並びに電車やモノレール支持構造に関連する基礎構造を含む、広範囲の他の構造体の検査に使用されるよう等しく適合される。当該システムは、特に、製造施設及び倉庫などの大型建物の内部で使用するのによく適している。
幾つかの実施例では、UAV20は、搭載型システムを含み得る。この搭載型システムは、予めプログラミングされた飛行計画に従って、UAV20を航行させることができ、構造的I型ビーム100の検査データの取得を可能にする。幾つかの実施例では、UAV20は、無線UAV及びペイロードコントローラ110を使用するオペレータによって、飛行経路に沿って飛行することができる。ペイロードコントローラ110は、ハウジング112、制御ユーザインターフェース構成要素114、ビデオディスプレイ116、及びアンテナ118を備えている。取得された検査データは、ビデオカメラ130が取得した画像データ、及びUAV20上で運ばれる1つ又は複数の他のセンサからのセンサデータを含む。UAV20が保持する予めプログラミングされた飛行計画は、UAV20が、飛行経路に従って、構造的I型ビーム100に近接する位置に至ることを可能にする。幾つかの実施例では、1つより多くのUAV20を使用して、ビークルの「群れ」を形成することができる。この群れは、単一のUAVより短い時間で構造体の様々な領域の検査を可能にすることができる。
図14に示すUAV20は、フレーム22、及びフレーム22に回転可能に取り付けられた4つのロータ124a〜124dを備えている。各ロータの回転は、フレーム22に取り付けられたそれぞれのモータ(図14で図示せず)によって駆動される。UAV20は、フレーム22に取り付けられた搭載型局所的測位システム38をさらに備えている。局所的測位システム38は、パン−チルト機構120、パン−チルト機構120に取り付けられたビデオカメラ130、及びビデオカメラ130の焦点軸と、レーザ距離計138の目標方向とが互いに平行であるように、カメラ130に付着したレーザ距離計138を備えている。図14に示す実施例では、レーザ距離計138の目標方向ベクトル134は、破線によって示される。破線は、さらにレーザビームを表す。レーザビームは、レーザ距離計138によって送信され、構造的I型ビーム100の表面上で衝突し、レーザスポット104を形成する。
ビデオカメラ130は、自動(遠隔制御)ズーム機能を有し得る。ビデオカメラ130は、パンチルト機構120上で支持される。パン−チルト機構120は、パンユニット126及びチルトユニット128を備えている。パンユニット126、チルトユニット128、ビデオカメラ130、及びレーザ距離計138は、搭載型コンピュータシステム(図14では図示しない。図15のコンピュータシステム162を参照)によって操作され得る。一方、コンピュータシステム162は、無線UAV及びペイロードコントローラ110から指令を受信するように構成され得る。無線UAV及びペイロードコントローラ110は、地上の技術者によって操作され得る。
図15は、代替例に従って、遠隔制御UAV20を使用して、構造体の非破壊検査を実行するためのシステムの一部の構成要素を特定するブロック図である。この実施例では、UAV20及びUAV20が運ぶ機器は、制御ステーション150が送信する無線周波数指令に応じて、コンピュータシステム162によって制御される。これらの無線周波数指令は、UAV20に搭載された送受信機160によって受信され、適切なデジタルフォーマットに変換され、次いでコンピュータシステム162に転送される。制御ステーション150は、UAV20及びUAV20に搭載された機器の操作を制御するようプログラミング設定された汎用コンピュータシステムを備え得る。例えば、パン−チルト機構120のパン角とチルト角、ひいてはビデオカメラ130の配向は、制御ステーション150におけるコンピュータシステムのキーボード、マウス、タッチパッド、又はタッチスクリーン、或いはその他のユーザインターフェースハードウェア(例えば、ゲームパッド)を使用して制御することができる。さらに、制御ステーション150におけるコンピュータシステムは、検査操作の間、UAV20から受信したデータを処理するようプログラミング設定されている。特に、制御ステーション150のコンピュータシステムは、ビデオカメラ130が取得した画像を表示するディスプレイモニター152を制御するソフトウェアで構成されたディスプレイプロセッサを備え得る。光学画像フィールドは、ビデオカメラ130で見たとおりに、ディスプレイモニター152で表示することができる。
上述のように、UAV20に搭載された機器は、パン−チルト機構120、ビデオカメラ130、及びレーザ距離計138を備えている。これらすべては、コンピュータシステム162によって(例えば、電気ケーブルを介して)送信された制御信号によって起動され得る。コンピュータシステム162は、指令をモータコントローラ168に送信することにより、UAV20の飛行をさらに制御する。モータコントローラ168は、ロータ124a〜124d(図14を参照)の回転を駆動させるそれぞれのモータ148の回転を制御する。
一実施例によると、パン−チルト機構120は、コンピュータシステム162(図15参照)から受信した制御信号に応答して、パン軸124の周りでカメラ130(及びそれに取り付けられたレーザ距離計138)を回転させるように構成されたパンユニット126(図14を参照)と、パン軸に対して直交するチルト軸の周りでカメラ130(及びそれに取り付けられたレーザ距離計138)を回転させるように構成されたチルトユニット128(図14を参照)を備えている。パン−チルト機構120におけるサーボモータなどのアクチュエータ(図示せず)は、コンピュータシステム162からの制御信号を受信し、パン角とチルト角の周りのカメラ130の角回転と、パン角とチルト角の周りのカメラ130/レーザ距離計138を回転する角速度とを調節することにより、制御信号に応答し得る。パン−チルト機構120は、パン及びチルト回転エンコーダ(図示せず)をさらに備えている。このエンコーダは、現在の角度位置データを表す信号をコンピュータシステム162信号に送り返す。パン−チルト機構120に適用された制御信号は、ユーザ指令(例えば、制御ステーション150の一部である入力装置の操作)又は自動経路生成器に応答して、コンピュータシステム162によって算定され得る。
パン−チルト機構120は、レーザ距離計138及びビデオカメラ130をパン角とチルト角まわりの選択された角度へと回転可能に調節するよう制御される。UAV20のフレーム22の固定座標系に対するレーザ距離計138(及びビデオカメラ130の焦点軸)の配向を表現する目標方向ベクトル134は、レーザ距離計138が構造的I型ビーム100の対象ポイントに向けられているときに、パン角とチルト角から判断される。
レーザ距離計138は、レーザビームを目標方向ベクトル134に沿って送達するように、ビデオカメラ130のハウジング内に組み込まれてもよく、又は、ビデオカメラ130の外部に取り付けられてもよい。レーザ距離計138は、構造的I型ビーム100に付着した任意の目視可能な特徴又は任意のマーカーまでの距離を測定するように構成されている。幾つかの実施例によれば、レーザ距離計138は、構造的I型ビーム100への距離を判断するためにレーザビームを使用する。レーザ距離計の最も一般的な形は、飛行時間原理で動作する。この原理では、構造的I型ビーム100に向けて狭いビームのレーザパルスが送信され、パルスが、構造的I型ビーム100から反射して、レーザ距離計138内に組み込まれた光検出機構に戻るまでにかかった時間が測定される。光の速度が周知であり、時間が正確に測定されることで、レーザ距離計138からレーザスポット104への距離を計算することができる。UAV20が所定位置でホバリングしており、平均的応答が最もよく用いられるとき、数多くのパルスが連続的に発射される。
再度図15を参照すると、UAV20に搭載された機器は、慣性測定ユニット166(以下「IMU166」)をさらに備えている。慣性測定ユニットは、1つ又は複数の加速度計を用いて直線加速度を検出し、1つ又は複数のジャイロスコープを用いて回転速度を検出するように作動する。典型的な構成では、慣性測定ユニットは、3つの垂直軸、ピッチ、ロール、及びヨーのそれぞれの軸ごとに1つの加速度計及び1つのジャイロスコープを備えている。コンピュータシステム162は、慣性航法ソフトウェアで構成された別個のプロセッサをさらに備え得る。慣性航法ソフトウェアは、生のIMU測定値を用いて、姿勢、角速度、直線速度、及びグローバル基準フレームに対する位置を計算する。IMU166から収集されたデータにより、コンピュータシステム162が、推測航法(dead reckoning)として知られた方法を用いてUAVの位置を追跡することが可能になる。
図16は、ビデオカメラ130、及びターゲット物体102に方向付けられたレーザ距離計138を備えた局所的測位システム38を有する航空UAV20の上面図を示す図である。レーザ距離計138によって送信されたレーザビームは、ターゲット102の表面上においてレーザスポット104で衝突する。ビデオカメラ130の(一対の破線によって示される)視野136の角度は、図16の「ang」という円弧によって示される。目標方向ベクトル134は、レーザ距離計138からレーザスポット104へと延在し、長さD(以下ではレーザ距離計138とターゲット物体102とを隔てている「距離D」とも言われる)を有する。
一実施例によると、視野136の角度は周知であるが、距離Dはレーザ距離計138によって測定される。ビデオカメラ130が撮った画像が表示されている際に、ディスプレイモニター152(図15参照)のスクリーン上にサイズスケールインジケータを置くか又は重ね合わせるために、この情報を用いることができる。ターゲット物体102への距離Dが知られている場合、ディスプレイモニター152のスクリーン上の画像に表示されたスケール情報は、ユーザが表示画像内の物体のサイズを測ることを可能にする。スケールインジケータは、ディスプレイ上の画像の全体的な水平及び垂直寸法の形態、又は、スクリーンの一部にスケール係数データを示すオンスクリーンオーバーレイであり得る。これにより、ビデオカメラ130が撮ったシーンのサイズコンテキストが与えられ、ディスプレイモニター152のスクリーン上の画像に表示される。
周知のカメラの視野角は、以下の式によって与えられる。
ang=2atan(SCRx/(2D))
画像のX及びY値は、以下の式によって与えられる。
SCRx=Dtan(ang/2)
SCRy=ratioSCRx
ここで、Dは、レーザ距離計138によって測定されたターゲット物体表面までの距離であり、「ratio」は、画像アスペクト比(周知)、すなわち、画像幅wと画像高hとの比である。
さらなる実施例に従って、完全にモータ化されたパン−チルト機構120を使用して、UAV飛行制御とは独立してレーザ距離計138の狙いを定め、ターゲット物体102の表面上の2つのポイントを分ける距離の直接測定値を取得することができる。移動オフセットがゼロであるか又は測定可能であると推定すると、局所的測位システム38のすべての基本特徴を使用することができる。
代替的な実施例によると、単一の動力付き且つ測定された軸ジンバル(チルト軸又はピッチ軸)のみを使用することが可能であり得る。UAVについては、ビークルの位置を変えずに、レーザ距離計138を方向付けるために、ビークルに関連する全体的なヨー(パン)も使用することができるが、UAV20のピッチを変えることは、UAV20の移動を引き起こす。このことに対処するため、レーザ距離計138用の別個のモータ化ピッチコントローラを使用してもよい。
図17は、局所的測位システム38を運ぶUAV20を使用して、検査される構造体の表面上の特徴をサイズ測定(特徴のポイント間距離の測定)する方法170のステップを特定するフロー図である。方法170は、(a)UAV20を、検査される構造体に向かって飛行し、次いで、検査される構造体から隔てられた第1の位置でホバリングするように制御すること(ステップ172)、(b)UAV20が、第1の位置でホバリングし、第1の距離測定値を取得している(ステップ176)間、レーザ距離計138を、構造体の表面上の第1の目視可能な特徴に対応する第1のポイントに向けること(ステップ174)、(c)レーザ距離計138が第1のポイントに向けられたときに、パン−チルト機構120を使用して、レーザ距離計138のそれぞれのパン角及びチルト角を測定すること(ステップ178)、(d)ステップ176及び178で取得した距離及び角度測定値を、第1の位置におけるUAV20の基準フレーム内の第1のポイントの位置を表す第1のベクトルに変換すること(ステップ180)、(e)UAV20が第2の位置でホバリングし、第2の距離測定値を取得している(ステップ184)間、レーザ距離計138を、構造体の表面上の第2の目視可能な特徴に対応する第2のポイントに向けること(ステップ182)、(f)レーザ距離計138を第2のポイントに向けている間、パン−チルト機構を使用して、レーザ距離計138のそれぞれのパン角及びチルト角を測定すること(ステップ186)、(g)ステップ184及び186で取得した距離及び角度測定値を、第2の位置におけるUAV20の基準フレーム内の第2のポイントの位置を表す第2のベクトルに変換すること(ステップ188)、(h)第1の位置から第2の位置への飛行の間、IMU186を使用して、UAVの加速度及び回転速度を測定すること(ステップ190)、(i)ステップ190で取得した情報に基づいて、UAV20の第1の位置と第2の位置との間の位置差及び配向差を表す変換マトリクスを生成すること(ステップ192)、(j)変換マトリクスによって第2のベクトルを乗算して、第1の位置におけるUAV20の基準フレーム内の第2のポイントの位置を表す第3のベクトルを形成すること(ステップ194)、及び(k)第1のベクトル及び第3のベクトルを使用して、第1のポイントと第2のポイントとの間の距離を計算すること(ステップ196)を含む。
一実施例によると、先行段落で説明された方法は、(l)UAV20から、ステップ176、178、184、186、及び190で取得した測定データを含む1つ又は複数のメッセージを送信すること、(m)地上ステーション(例えば、制御ステーション150(図15参照))におけるコンピュータシステムで1つ又は複数のメッセージを受信すること、及び(n)当該メッセージから測定データを抽出することをさらに含み、ステップ180、188、192、及び196は、地上ワークステーションにおけるコンピュータシステムによって実行される。本方法は、UAVが第1の位置でホバリングしている間、ビデオカメラ130を使用して、第1の目視可能な特徴及び第2の目視可能な特徴を含む構造体の表面の一部の画像を撮ること、並びに当該画像と、地上ワークステーションにおけるコンピュータシステムのディスプレイスクリーン上の画像に重ね合わされた、ステップ196で計算された距離の値を表す記号とを表示することをさらに含み得る。例えば、第1の目視可能な特徴及び第2の目視可能な特徴は、構造体における異常部分(割れ目など)のそれぞれのエンドポイントであり得る。
図18は、上述のUAV20を使用して、ターゲット物体上の第1のポイントからターゲット物体上の第2のポイントへの距離及び方向を表すベクトルを生成する上述の方法を示すベクトル図である。2つのポイントの座標を直接測定するために単一のレーザ距離計が使用されるので、2つのポイントの間の距離を判断するために、共通基準位置が使用される。この状況では、ユーザは、局所的測位システム38(及びUAV20)の第1の基準フレーム内の第1のポイントの座標を取得する間のUAV20の第1の位置と、第1の基準フレームからオフセットされる、局所的測位システムの第2の基準フレーム内の第2のポイントの座標を取得する間のUAV20の第2の位置との間の差を判断する。取得した座標位置データを使用して、局所的測位システム38の第1の基準フレームと第2の基準フレームとの間の位置差及び配向差を表す変換マトリクス(すなわち、第1の測定及び第2の測定が行われたときに、諸瞬間でのUAV20の第1の位置と第2の位置との間の差)が生成される。
図18に示すベクトル図は、先行段落で説明された構成を示す。それぞれの頂点で互いに直交する矢印の2つの対は、それぞれの基準フレームを図示する(各基準フレームの第3の互いに直交する軸は、図面を乱雑にしないよう示されない)。左側の矢印の対は、第1の位置のUAV20の基準フレームAを表し、右側の矢印の対は、第2の位置のUAV20の基準フレームBを表す。基準フレームAに対する基準フレームBの位置オフセットは、図18で変換マトリックス
によって表されている。これは、基準フレーム[A]に対する基準フレーム[B]を表現する4×4均質変換マトリックスである。この状況では、基準フレーム[A]に対する基準フレーム[B]の位置及び配向は、IMU166が取得したデータから判断することができる。
UAV20が第1の位置にあるとき、レーザ距離計138(図18に図示せず)からターゲット物体102の表面の第1のポイントPへの距離は、基準フレーム[A]の原点から延びるベクトルの長さによって表される。UAV20が第2の位置にあるとき、レーザ距離計138からターゲット物体102の表面の第2のポイントPへの距離は、基準フレーム[B]の原点から第2のポイントPへと延びるベクトルの長さによって表される。次いで、ベクトルは、変換マトリックス
によって乗算され、基準フレーム[A]で定義されたベクトルに変換される。結果として得られた積は以下のとおりである。
ベクトルの大きさ(すなわち、長さ)は、UAV20が第1の位置にあるときに、レーザ距離計138から第2のポイントPへの距離を表す。距離dは、これら2つのベクトルの間の差から判断され、その演算は以下にように表すことができる。
それと同じように、ポイントPとPとの間の距離dは、2つのポイントを接続する三次元ベクトルの大きさ(すなわち、ユークリッドノルム)である。これは、測定されたポイントの座標の個々の成分の差の平方和の平方根として算定される(すなわち、x、y、及びz値)。この式の一般的な形は以下のとおりである。
結果として得られた距離値は、ポイントPとPを含むターゲット物体102の表面の一部のカメラ画像と共に、ディスプレイモニター152のスクリーン上に(例えば、重ね合わされるか又は事実上オーバーレイされて)表示される。任意選択的に、コンテキストを示すために、2つのポイントの間に線を引いてもよい。
非破壊検査操作の間のUAV20の飛行は、様々な動作抑制の対象となり得る。この動作抑制は、特定の種類のタスクのためにユーザがUAV20を制御しやすくするように設定される。「動作抑制(motion constraints)」という用語には、普通の運動学的な定義を与えるべきである。概して、動作抑制は、物体の運動から1つ又は複数の自由度(DoF)を取り除く。例えば、自由空間において単一の剛性物体は、6つの自由度(すなわち、x、y、z、ロール、ピッチ、及びヨー)を有するが、例えば、剛性物体を(重力ある位置で)テーブル上に置くなどして抑制すると、自由度の数は3つ(すなわち、x、y、及びヨー)に減少する。この実施例では、テーブルの平面は、システムから3つの自由度を取り除く動作抑制をもたらす。別の実施例では、回転(外巻き)ジョイントが、6DoF物体と別の固定位置物体との間に取り付けられた場合、回転ジョイントは、システムから5自由度を取り除くことで、物体の運動を1自由度(すなわち、外巻きジョイントの軸周りの回転)に抑制する。これらの実施例は、物理的な動作抑制であるが、制御された運動から1つ又は複数の自由度を取り除くために、動作抑制をソフトウェアに適用することも可能であり、本開示ではこのことが提案されている。
UAVと、標準動作において自由空間で6自由度を制御し得るUAVのオペレータとが関わるシステムでは、オペレータがUAVの1つ又は複数の自由度を直接制御できないよう、UAVの運動を抑制するために距離測定情報が使用される。例えば、(レーザ距離計からのリアルタイム測定データを用いて)動作抑制がターゲット物体までの距離に適用される場合、システムは、UAVをその特定の距離で維持しようとする。これは、低レベルコントローラが、依然として6自由度を制御できないことを意味しない。そうではなく、オペレータの視点から、直接制御していない1つ(又はそれより多くの)軸があることを意味する。突風によってUAVが動作抑制の方向に押しやられると、低レベルコントローラは、ユーザ入力を必要とせずに補正のための動作制御をもたらす。これは、ターゲット物体から特定のオフセットを維持するのが望ましい条件において有用である。さらにこれは、仮想境界を設けたり、又は衝突を回避したりすることにおいて有用である。
一旦測定データが取得されると、ユーザに表示される場合があり、又は、追加機能(ビークル制御に用いられ得る動作抑制をもたらす等)に使用される場合がある。この拡張により、センサからのデータ及び引き出された測定データからのフィードバックに基づいて、UAV20を動作制御する能力が可能となる。結果として、システムに半自動制御、並びにより直感的な手動制御をもたらす能力が備わる。
レーザポインターを利用する実施例では、制御システムに追加することができる唯一の動作抑制の種類は、位置に関連するものである。なぜなら、これらの実施例は、配向を測定しないからである。2つ以上のレーザ距離計を有する実施例は、距離を判断することに加えて、ターゲット物体102に対するUAV20の配向を測定する能力を有する。これにより、1つより多いレーザ距離計を有する実施例が、ターゲット物体102に対するUAV20の位置と配向の両方を制御することが可能となる。
図19は、一実施例に係るビークル88に搭載された機器が取得した測定データに基づいて、ビークル88の運動を制御するためのフィードバック制御プロセス80のステップを特定するブロック図である。まずは、ユーザ又はエージェントが、ビークル88のターゲットへの距離及びその配向に関する指令を入力する(ステップ82)。この入力は、加算ジャンクション84によって受信される。加算ジャンクション84は、距離及び配向を算定するように構成された距離及び配向算定ソフトウェアモジュールから、距離及び配向データをさらに受信する(ステップ94)。加算ジャンクション84は、指令距離から算定距離を減算し、指令配向から算定配向を減算する。結果として得られた逸脱値は、制御信号算定ソフトウェアモジュールに出力される(ステップ86)。このソフトウェアは、逸脱を減らすように計算される制御信号を算定するように構成されている。加算ジャンクション84からの出力に基づいて、制御信号算定ソフトウェアモジュールは、ビークル80に搭載された運動アクチュエータ90(例えば、ロータ及びモータコントローラ)に制御信号を出力する。ビークル80の飛行の間、センサは、センサデータを取得する(ステップ92)。センサデータは、距離及び配向を算定するために使用される(ステップ94)。
幾つかの実施例によれば、コンピュータシステム162は、搭載された位置合わせ方法論を用いて、ターゲット物体102に対するビデオカメラ130の相対位置(位置及び配向)のオフセットを判断する。このプロセスでは、3つのレーザ距離計からの距離情報を用いて、リアルタイムで相対位置が算定される。次いで、コンピュータシステム162は、そのデータを用いて、フィードバックに基づいた所望のUAV20の運動をもたらす。
このプロセルが可能にする制御の一形態は、ビデオカメラ130の焦点軸が、ターゲット物体の表面に対して常に垂直となるか、又は、常に表面から特定の距離を保つことを確実なものとするように、位置合わせの幾つかの態様(ビデオカメラ130の配向等)においてオペレータを支援する半自動制御である。
より具体的には、コンピュータシステム162は、レーザ距離計から受信した距離情報に基づいて、ターゲット物体の表面に対して垂直なベクトルとビデオカメラ130の焦点軸を位置合わせするためにどの運動が必要かを判断するように設定(例えば、プログラミング)されている。コンピュータシステム162は、選択されたモータコントローラ168に制御信号を送信し、必要に応じてモータ148を起動して、UAV20を配向させることで、ビデオカメラ130の焦点軸を表面法線と位置合わせする。
3つのレーザ距離計は、ターゲット物体への距離を判断するために使用する他に、ヨー及びピッチの配向角度(以下、「ヨー角」及び「ピッチ角」)を判断するためにも使用される。説明を目的として、3つのレーザ距離計が二等辺三角形の各頂点に配置されたと仮定して、二等辺三角形の底辺の頂点に配置された2つレーザ距離計を隔てている距離をaとし、第3のレーザ距離計と二等辺三角形の底辺の中間点を隔てている距離(すなわち、二等辺三角形の高さ)をbとする。各レーザ距離計からターゲット物体の表面までのそれぞれ測定された距離をd、d、及びdと仮定する。ピッチ角及びヨー角を計算するために、式(2)及び(3)を用いることができる。
PitchAngle=atan2(d−(d+d)/2,b) (2)
YawAngle=atan2(d−d,a) (3)
ここで、PitchAngle及びYawAngleは、ターゲット物体の表面に対して現在算定された配向角度であり、atan2は、2引数アークタンジェント逆三角関数(argument arctangent inverse trigonometric function)である。現在の位置の表面法線に対して測定されるこれらの角度の目標はゼロに等しくなることであり、目標角度を達成するプロセスは以下で説明される。
現在のヨー角及びピッチ角が計算されると、システムの運動コントローラは、制御される運動、すなわち、パン、チルト、及び距離に対して速度制御法を用いることができる。比例積分微分(PID)コントローラなどのフィードバックコントローラを使用して、現在の角度と所望の角度との間の誤差をゼロにもっていくことができる。ピッチ及びヨー運動制御を計算するために、式(4)及び(5)を用いることができる。
PitchRate=Kppitch*(PitchAngle−PitchAnglegoal) (4)
YawRate=Kpyaw*(YawAngle−YawAnglegoal) (5)
ここで、PitchRate及びYawRateは、それぞれ、位置合わせ装置のピッチ角周りの角度回転率、及びベースのヨー軸を指し、Kppitch及びKpyawは、それぞれピッチ軸及びヨー軸に関連する比例フィードバックゲインであり、PitchAngle及びYawAngleは、それぞれ式(2)及び(3)から計算された角度であり、PitchAnglegoal及びYawAnglegoalは、コントローラがシステムを誘導している所望の目標角度(上述のように、これらは、この実施例では両方ともゼロである)。積分及び微分フィードバックも用いてもよいが、ここでは示されない。
さらに、本開示は、下記の条項に係る実施例を含む。
条項1
無人航空機を操作する方法であって、(a)無人航空機を構造体に向かって飛行するように制御することと、(b)前記無人航空機が飛行している間、前記無人航空機に搭載された第1のレーザ距離計及び第2のレーザ距離計を使用して、前記構造体の表面上のそれぞれの第1のスポット(106)及び第2のスポットから前記第1のレーザ距離計及び前記第2のレーザ距離計をそれぞれ隔てている第1の距離及び第2の距離を反復的に測定することと、(c)少なくとも前記第1の距離及び前記第2の距離に基づいて、前記構造体から前記無人航空機を隔てている第1の離間距離を計算することと、(d)前記第1の離間距離が目標オフセットに等しいか否かを判断することと、(e)ステップ(d)で前記離間距離が前記目標オフセットに等しいと判断されたことに応答して、前記無人航空機を、前記構造体から前記第1の離間距離だけ隔てられた第1の位置でホバリングするように制御することと、(f)前記無人航空機が前記第1の位置でホバリングしている間、前記無人航空機に搭載されたカメラを使用して、前記構造体の第1の画像を撮ることと、(g)ディスプレイスクリーン上で前記第1の画像を表示することとを含む方法。
条項2
前記第1の距離及び前記第2の距離が前記目標オフセットと等しく、少なくとも部分的に前記離間距離及び前記カメラの視野に基づいて、前記第1の画像が前記ディスプレイスクリーン上で表示されたときに前記第1の画像のためのスケール係数を計算することと、前記ディスプレイスクリーン上で表示された前記第1の画像に重ね合わされたスケールインジケータを表示することであって、前記スケールインジケータの値又は長さが前記スケール係数を表す、スケールインジケータを表示すること
をさらに含む、条項1に記載の方法。
条項3
前記ディスプレイスクリーンが前記無人航空機に搭載されず、前記無人航空機から前記第1の画像を表す画像データを含むメッセージを送信することと、前記メッセージを地上ステーションで受信することと、前記メッセージから前記第1の画像を表す前記画像データを抽出することとをさらに含み、前記ディスプレイスクリーン上で前記第1の画像を表示することが、前記画像データに従って、前記ディスプレイスクリーンの画素の状態を制御することを含む、条項1に記載の方法。
条項4
前記離間距離を維持しながら、前記無人航空機を第2の位置へ移動するように制御することと、前記無人航空機が前記第2の位置でホバリングしている間、前記カメラを使用して、前記構造体の第2の画像を撮ることと、前記ディスプレイスクリーン上で前記第2の画像を表示することとをさらに含む、条項1に記載の方法。
条項5
前記第1の画像及び前記第2の画像が、それぞれ、前記構造体の表面上で部分的に重なり合う領域又は近接する領域を表す画像データの第1のセット及び第2のセットを含む、条項4に記載の方法。
条項6
前記第1の距離及び前記第2の距離に基づいて、前記構造体の前記表面上の前記第1のスポットと前記第2のスポットとを接続する線に対して、前記カメラの焦点軸の配向角度を算定することと、少なくとも部分的に前記離間距離及び前記配向角度に基づいて、前記第1の画像が前記ディスプレイスクリーン上で表示されたときに前記第1の画像のためのスケール係数を計算することと、前記第1の画像に重ね合わされたスケールインジケータを表示することであって、前記スケールインジケータの値又は長さが前記スケール係数を表す、スケールインジケータを表示することをさらに含む、条項1に記載の方法。
条項7
前記無人航空機が飛行している間、前記無人航空機に搭載された第3のレーザ距離計を使用して、前記構造体の表面上の第3のスポットから前記第3のレーザ距離計を隔てている第3の距離を反復的に測定することをさらに含み、前記離間距離が、前記第1の距離、前記第2の距離、及び前記第3の距離に基づいて計算される、条項1に記載の方法。
条項8
前記第1の距離、前記第2の距離、及び前記第3の距離に基づいて、前記構造体の前記表面上の前記第1のスポット、前記第2のスポット、及び前記第3のスポットによって画定された平面に対して、前記カメラの前記焦点軸の第1の配向角度及び第2の配向角を算定することと、前記離間距離、並びに前記第1の配向角度及び前記第2の配向角度に基づいて、前記第1の画像が前記ディスプレイスクリーン上で表示されたときに前記第1の画像のためのスケール係数を計算することと、前記第1の画像に重ね合わされたスケールインジケータを表示することであって、前記スケールインジケータの値又は長さが前記スケール係数を表す、スケールインジケータを表示することをさらに含む、条項7に記載の方法。
条項9
前記無人航空機が前記第1の位置から第2の位置へと動いた後、前記目標オフセットからの前記離間距離の逸脱を検出することと、前記無人航空機を、前記離間距離が前記目標オフセットと等しい第3の位置に飛行するように制御し、それにより、前記逸脱をゼロに減少することとをさらに含み、前記第3の位置に向かう前記無人航空機の前記飛行の制御が、前記無人航空機に搭載された運動コントローラによってもたらされる、条項1に記載の方法。
条項10
前記第1の距離、前記第2の距離、及び前記第3の距離に基づいて、前記構造体の前記表面に対して、前記カメラの前記焦点軸の配向角度を算定することと、前記無人航空機が前記第1の位置でホバリングしている間、所望の配向角度からの前記配向角度の逸脱を検出することと、前記配向角度が前記所望の配向角度と等しくなるよう、前記無人航空機を制御してその配向を変えることとをさらに含み、前記無人航空機の前記配向の制御が、前記無人航空機に搭載された運動コントローラによってもたらされる、条項1に記載の方法。
条項11
無人航空機を操作する方法であって、(a)無人航空機を構造体から隔てられた位置でホバリングするように制御することと、(b)前記構造体の表面に向けて、平行状態で前記無人航空機上に枢動可能に取り付けられた第1のレーザポインター及び第2のレーザポインターを方向付けることであって、前記第1のレーザポインター及び前記第2のレーザポインターのそれぞれの枢動軸が固定距離だけ隔てられている、第1のレーザポインター及び第1のレーザポインターを方向付けることと、(c)前記無人航空機が前記位置でホバリングしている間、互いに平行な前記第1のレーザポインター及び前記第2のレーザポインターを使用して、互いに平行な2つのレーザビームを第1のスポット及び第2のスポットそれぞれに送達することと、(d)第1の時間で、前記無人航空機に搭載されたカメラを使用して、前記第1のスポット及び前記第2のスポットを含む前記構造体の前記表面の一部の第1の画像を撮ることと、(e)前記第1のレーザポインターと前記第2のレーザポインターがもはや平行ではないように、前記無人航空機がホバリングしている間、前記第1のレーザポインター及び前記第2のレーザポインターを所定の角度だけ枢動させることと、(f)前記無人航空機が前記位置でホバリングしている間、枢動した前記第1のレーザポインター及び前記第2のレーザポインターを使用して、非平行な2つのレーザビームを前記構造体の前記表面上の第3のスポット及び第4のスポットそれぞれに送達することと、(g)第2の時間で、前記カメラを使用して、前記第3のスポット及び前記第4のスポットを含む前記構造体の前記表面の前記一部の第2の画像を撮ることと、(h)前記画像内の前記第3のスポット及び前記第4のスポットの位置、所定角度、及び前記レーザポインター同士の枢動軸を隔てる前記固定距離に基づいて、前記構造体から前記無人航空機を隔てている第1の離間距離を計算するために、前記第1の画像及び前記第2の画像を処理することとを含む方法。
条項12
ステップ(h)が、前記第3のスポット及び前記第4のスポットのそれぞれの中心を隔てている第2の離間距離を計算することをさらに含み、前記方法が、前記第2の離間距離に基づいて、地上ステーションにおいてコンピュータシステムのディスプレイスクリーン上で表示されたときに前記第1の画像及び前記第2の画像のためのスケール係数を計算することをさらに含む、条項11に記載の方法。
条項13
(i)前記無人航空機から前記第1の画像及び第2の画像を表す画像データを含むメッセージを送信することと、(j)前記地上ステーションにおける前記コンピュータシステムで前記メッセージを受信することと、(k)前記メッセージから前記第1の画像を表す前記画像データを抽出することとをさらに含み、ステップ(k)が、前記地上ステーションにおける前記コンピュータシステムによって実行される、条項12に記載の方法。
条項14
前記カメラを使用して、前記構造体の前記表面の一部の第3の画像を撮ることと、前記ディスプレイスクリーン上で前記第3の画像に重ね合わされたスケールインジケータを表示することであって、前記スケールインジケータの値又は長さが前記スケール係数を表す、スケールインジケータを表示することとをさらに含む、条項12に記載の方法。
条項15
カメラ及びレーザ距離計を支えるパン−チルト機構、並びに慣性測定ユニットを備えた無人航空機を使用して、構造体の特徴をサイズ測定する方法であって、(a)前記無人航空機を、検査される構造体に向かって飛行し、次いで、前記検査される構造体から隔てられた第1の位置でホバリングするように制御することと、(b)前記無人航空機が、前記第1の位置でホバリングし、第1の距離測定値を取得している間、前記レーザ距離計を、前記構造体の前記表面上の第1の目視可能な特徴に対応する第1のポイントに向けることと、(c)前記レーザ距離計が前記第1のポイントに向けられたときに、前記パン−チルト機構を使用して、前記レーザ距離計のそれぞれのパン角及びチルト角を測定することと、(d)ステップ(b)及び(c)で取得した距離及び角度測定値を、前記第1の位置における前記無人航空機の基準フレーム内の前記第1のポイントの位置を表す第1のベクトルに変換することと、(e)前記無人航空機が第2の位置でホバリングし、第2の距離測定値を取得している間、前記レーザ距離計を、前記構造体の前記表面上の第2の目視可能な特徴に対応する第2のポイントに向けることと、(f)前記レーザ距離計を前記第2のポイントに向けている間、前記パン−チルト機構を使用して、前記レーザ距離計のそれぞれのパン角及びチルト角を測定することと、(g)ステップ(e)及び(f)で取得した前記距離及び角度測定値を、前記第2の位置における前記無人航空機の基準フレーム内の前記第2のポイントの位置を表す第2のベクトルに変換することと、(h)前記第1の位置から前記第2の位置への飛行の間、前記慣性測定ユニットを使用して、前記無人航空機の加速度及び回転速度を測定することと、(i)ステップ(h)で取得した情報に基づいて、前記無人航空機の前記第1の位置と前記第2の位置との間の位置差及び配向差を表す変換マトリクスを生成することと、(j)前記変換マトリクスによって前記第2のベクトルを乗算して、前記第1の位置における前記無人航空機の基準フレーム内の前記第2のポイントの位置を表す第3のベクトルを形成することと、(k)前記第1のベクトル及び前記第3のベクトルを使用して、前記第1のポイントと前記第2のポイントとの間の距離(d)を計算することとを含む方法。
条項16
(l)前記無人航空機から、ステップ(b)、(c)、(e)、(f)、及び(h)で取得した測定データを含む1つ又は複数のメッセージを送信することと、(m)地上ステーションにおけるコンピュータシステムで前記1つ又は複数のメッセージを受信することと、(n)前記メッセージから前記測定データを抽出することとをさらに含み、ステップ(d)、(g)、及び(i)から(k)が、地上ワークステーションにおけるコンピュータシステムによって実行される、条項15に記載の方法。
条項17
前記無人航空機が前記第1の位置でホバリングしている間、前記カメラを使用して、前記第1の目視可能な特徴及び前記第2の目視可能な特徴を含む前記構造体の前記表面の一部の画像を撮ることと、前記画像と、前記地上ワークステーションにおける前記コンピュータシステムのディスプレイスクリーン上の画像に重ね合わされた、ステップ(k)で計算された距離の値を表す記号とを表示することとをさらに含む、条項16に記載の方法。
条項18
前記第1の目視可能な特徴及び前記第2の目視可能な特徴が、前記構造体における異常部分のそれぞれのエンドポイントである、請求項15に記載の方法。
条項19
無人航空機であって、フレーム、前記フレームに回転可能に取り付けられた複数のロータ、前記複数のロータの各ロータの駆動回転部にそれぞれ連結された複数のモータ、前記複数のモータの動作を制御するための複数のモータコントローラ、前記フレームに取り付けられたパン−チルト機構、前記パン−チルト機構に取り付けられたカメラ、前記パン−チルト機構に取り付けられたレーザ距離計、前記モータコントローラに指令を送信し、前記パン−チルト機構の動作を制御し、且つ前記カメラ及び前記レーザ距離計を選択的に起動するように構成されたコンピュータシステム、前記フレームに取り付けられ、前記コンピュータシステムに直線加速度及び回転速度データを送信するように構成された慣性測定ユニット、並びに前記コンピュータシステムと制御ステーションとの間の通信を可能にするように構成された送受信機を備え、前記コンピュータシステムが、前記カメラから画像データ、前記パン−チルト機構からパン角及びチルト角データ、前記レーザ距離計から距離データ、並びに前記慣性測定ユニットから直線加速度及び回転速度データを受信し、構造体に対する前記無人航空機の第1の位置を決定し、前記モータコントローラに第1の指令を送信し、前記無人航空機を、前記第1の位置から、前記カメラが目標オフセットだけ前記構造体の表面から隔てられている第2の位置まで飛行させるようにさらに構成されている、無人航空機。
条項20
無人航空機であって、フレーム、前記フレームに回転可能に取り付けられた複数のロータ、前記複数のロータの各ロータの駆動回転部にそれぞれ連結された複数のモータ、前記複数のモータの動作を制御するための複数のモータコントローラ、カメラ、第1、第2、及び第3のレーザポインター、前記モータコントローラに指令を送信し、前記カメラ及び前記第1から前記第3のレーザポインターを選択的に起動するように構成されたコンピュータシステム、並びに前記コンピュータシステムと制御ステーションとの間の通信を可能にするように構成された送受信機を備え、前記第1及び第2のレーザポインターが、互いに平行な関係で前記フレームに固定され、前記第3のレーザポインターが、前記フレームに枢動可能に連結されている、無人航空機。
様々な実施形態を参照しながら、構造体の非破壊検査の間に無人航空機の操作を制御する方法が説明されてきたが、当業者であれば、本明細書の教示の範囲から逸脱しない限り、様々な変更が可能であることと、その要素を均等物に置換できることとを理解するだろう。さらに、その範囲から逸脱することなく、多数の修正を行い、本明細書の教示を特定の状況に適合させることができる。したがって、特許請求の範囲は、本明細書に開示された特定の実施例に限定されないことが意図される。
特許請求の範囲で使用されるように、「位置(location)」という用語は、3次元座標系での位置及び当該座標系に対する配向を含む。
本明細書に記載された方法は、限定するものではないが、記憶デバイス及び/又はメモリデバイスを含む非一過性の有形的なコンピュータ可読記憶媒体で具現化される実行可能な命令として符号化され得る。このような命令は、処理システム又はコンピュータシステムで実行された場合、システムデバイスに、本明細書に記載された方法の少なくとも一部を実施させる。
請求項の文言が、請求項に列挙されているステップのうちの幾つか或いは全てが実施される特定の順序を示す条件を明確に特定又は宣言していない限り、これらのステップが、アルファベット順(本明細書中の任意のアルファベット順はあらかじめ列挙されているステップを参照する目的でのみ使用されている)又はこれらのステップが列挙されている順で実施されることを、以下に記載されるプロセスの請求項が要求していると解釈すべきではない。また、請求項の文言が、そのような解釈を除外する条件を明確に宣言していない限り、プロセスの請求項は、同時に又は交互に実施される2つ以上のステップの任意の部分を除外すると解釈すべきでない。

Claims (11)

  1. 無人航空機を操作する方法であって、
    (a)無人航空機(20)を構造体(18、72)に向かって飛行するように制御することと、
    (b)前記無人航空機が飛行している間、前記無人航空機に搭載された第1のレーザ距離計(138a)及び第2のレーザ距離計(138b)を使用して、前記構造体の表面上のそれぞれの第1のスポット(106)及び第2のスポット(108)から前記第1のレーザ距離計及び前記第2のレーザ距離計をそれぞれ隔てている第1の距離及び第2の距離を反復的に測定することと、
    (c)少なくとも前記第1の距離及び前記第2の距離に基づいて、前記構造体から前記無人航空機を隔てている第1の離間距離を計算することと、
    (d)前記第1の離間距離が目標オフセットに等しいか否かを判断することと、
    (e)ステップ(d)で前記離間距離が前記目標オフセットに等しいと判断されたことに応答して、前記無人航空機を、前記構造体から前記第1の離間距離だけ隔てられた第1の位置でホバリングするように制御することと、
    (f)前記無人航空機が前記第1の位置でホバリングしている間、前記無人航空機に搭載されたカメラ(130)を使用して、前記構造体の第1の画像を撮ることと、
    (g)ディスプレイスクリーン(116、152)上で前記第1の画像を表示することと
    を含む方法。
  2. 前記第1の距離及び前記第2の距離が前記目標オフセットと等しく、
    少なくとも部分的に前記離間距離及び前記カメラの視野に基づいて、前記第1の画像が前記ディスプレイスクリーン上で表示されたときに前記第1の画像のためのスケール係数を計算することと、
    前記ディスプレイスクリーン上で表示された前記第1の画像に重ね合わされたスケールインジケータ(76)を表示することであって、前記スケールインジケータの値又は長さが前記スケール係数を表す、スケールインジケータ(76)を表示すること
    をさらに含む、請求項1に記載の方法。
  3. 前記ディスプレイスクリーンが前記無人航空機に搭載されず、
    前記無人航空機から前記第1の画像を表す画像データを含むメッセージを送信することと、
    前記メッセージを地上ステーション(150)で受信することと、
    前記メッセージから前記第1の画像を表す前記画像データを抽出することと
    をさらに含み、前記ディスプレイスクリーン上で前記第1の画像を表示することが、前記画像データに従って、前記ディスプレイスクリーンの画素の状態を制御することを含む、請求項1に記載の方法。
  4. 前記離間距離を維持しながら、前記無人航空機を第2の位置へ移動するように制御することと、
    前記無人航空機が前記第2の位置でホバリングしている間、前記カメラを使用して、前記構造体の第2の画像を撮ることと、
    前記ディスプレイスクリーン上で前記第2の画像を表示することと
    をさらに含む、請求項1に記載の方法。
  5. 前記第1の画像及び前記第2の画像が、それぞれ、前記構造体の表面上で部分的に重なり合う領域又は近接する領域を表す画像データの第1のセット及び第2のセットを含む、請求項4に記載の方法。
  6. 前記第1の距離及び前記第2の距離に基づいて、前記構造体の前記表面上の前記第1のスポット(106)と前記第2のスポット(108)とを接続する線に対して、前記カメラの焦点軸の配向角度を算定することと、
    少なくとも部分的に前記離間距離及び前記配向角度に基づいて、前記第1の画像が前記ディスプレイスクリーン上で表示されたときに前記第1の画像のためのスケール係数を計算することと、
    前記第1の画像に重ね合わされたスケールインジケータ(76)を表示することであって、前記スケールインジケータの値又は長さが前記スケール係数を表す、スケールインジケータ(76)を表示すること
    をさらに含む、請求項1に記載の方法。
  7. 前記無人航空機が飛行している間、前記無人航空機に搭載された第3のレーザ距離計(138)を使用して、前記構造体の表面上の第3のスポットから前記第3のレーザ距離計を隔てている第3の距離を反復的に測定することをさらに含み、
    前記離間距離が、前記第1の距離、前記第2の距離、及び前記第3の距離に基づいて計算される、請求項1に記載の方法。
  8. 前記第1の距離、前記第2の距離、及び前記第3の距離に基づいて、前記構造体の前記表面上の前記第1のスポット、前記第2のスポット、及び前記第3のスポットによって画定された平面に対して、前記カメラの前記焦点軸の第1の配向角度及び第2の配向角を算定することと、
    前記離間距離、並びに前記第1の配向角度及び前記第2の配向角度に基づいて、前記第1の画像が前記ディスプレイスクリーン上で表示されたときに前記第1の画像のためのスケール係数を計算することと、
    前記第1の画像に重ね合わされたスケールインジケータ(76)を表示することであって、前記スケールインジケータの値又は長さが前記スケール係数を表す、スケールインジケータ(76)を表示すること
    をさらに含む、請求項7に記載の方法。
  9. 前記無人航空機が前記第1の位置から第2の位置へと動いた後、前記目標オフセットからの前記離間距離の逸脱を検出することと、
    前記無人航空機を、前記離間距離が前記目標オフセットと等しい第3の位置に飛行するように制御し、それにより、前記逸脱をゼロに減少することと
    をさらに含み、前記第3の位置に向かう前記無人航空機の飛行の制御が、前記無人航空機に搭載された運動コントローラ(162)によってもたらされる、請求項1に記載の方法。
  10. 前記第1の距離、前記第2の距離、及び前記第3の距離に基づいて、前記構造体の前記表面に対して、前記カメラの焦点軸の配向角度を算定することと、
    前記無人航空機が前記第1の位置でホバリングしている間、所望の配向角度からの前記配向角度の逸脱を検出することと、
    前記配向角度が前記所望の配向角度と等しくなるよう、前記無人航空機を制御してその配向を変えることと
    をさらに含み、前記無人航空機の前記配向の制御が、前記無人航空機に搭載された運動コントローラ(162)によってもたらされる、請求項1に記載の方法。
  11. 無人航空機(20)であって、
    フレーム(22)、
    前記フレームに回転可能に取り付けられた複数のロータ(124a−d)、
    前記複数のロータの各ロータの駆動回転部にそれぞれ連結された複数のモータ(148)、
    前記複数のモータの動作を制御するための複数のモータコントローラ(168)、
    前記フレームに取り付けられたパン−チルト機構(120)、
    前記パン−チルト機構に取り付けられたカメラ(130)、
    前記パン−チルト機構に取り付けられたレーザ距離計(138)、
    前記モータコントローラに指令を送信し、前記パン−チルト機構の動作を制御し、且つ前記カメラ及び前記レーザ距離計を選択的に起動するように構成されたコンピュータシステム(162)、
    前記フレームに取り付けられ、前記コンピュータシステムに直線加速度及び回転速度データを送信するように構成された慣性測定ユニット(166)、並びに
    前記コンピュータシステムと制御ステーション(150)との間の通信を可能にするように構成された送受信機(160)
    を備え、前記コンピュータシステムが、
    前記カメラから画像データ、前記パン−チルト機構からパン角及びチルト角データ、前記レーザ距離計から距離データ、並びに前記慣性測定ユニットから直線加速度及び回転速度データを受信し、
    構造体に対する前記無人航空機の第1の位置を決定し、
    前記モータコントローラに第1の指令を送信し、前記無人航空機を、前記第1の位置から、前記カメラが目標オフセットだけ前記構造体の表面から隔てられている第2の位置まで飛行させるようにさらに構成されている、無人航空機(20)。
JP2018172008A 2017-09-25 2018-09-14 航空非破壊検査用の測位システム Active JP7260269B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/714,662 US10788428B2 (en) 2017-09-25 2017-09-25 Positioning system for aerial non-destructive inspection
US15/714,662 2017-09-25

Publications (2)

Publication Number Publication Date
JP2019114234A true JP2019114234A (ja) 2019-07-11
JP7260269B2 JP7260269B2 (ja) 2023-04-18

Family

ID=62495700

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018172008A Active JP7260269B2 (ja) 2017-09-25 2018-09-14 航空非破壊検査用の測位システム

Country Status (8)

Country Link
US (1) US10788428B2 (ja)
EP (1) EP3460392A3 (ja)
JP (1) JP7260269B2 (ja)
KR (1) KR20190035496A (ja)
CN (1) CN109556577B (ja)
BR (1) BR102018012662B1 (ja)
CA (1) CA3006155C (ja)
SG (1) SG10201804546TA (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189663A (ja) * 2020-05-28 2021-12-13 中部電力株式会社 巡視点検システム

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
WO2018070354A1 (ja) * 2016-10-14 2018-04-19 富士フイルム株式会社 撮影計画生成装置、撮影計画生成方法、およびプログラム
GB2557715B (en) * 2017-02-28 2019-04-17 Matthew Russell Iain Unmanned aerial vehicles
JP6957304B2 (ja) * 2017-10-13 2021-11-02 アルパイン株式会社 架線撮影システム及び架線撮影方法
US10620002B2 (en) * 2017-11-14 2020-04-14 Saudi Arabian Oil Company Incorporate wall thickness measurement sensor technology into aerial visual inspection intrinsically safe drones
US20220019222A1 (en) * 2017-11-28 2022-01-20 Acsl Ltd. Unmanned Aerial Vehicle, Unmanned Aerial Vehicle Flight Control Device, Unmanned Aerial Vehicle Flight Control Method and Program
JP7012522B2 (ja) * 2017-12-01 2022-01-28 三菱電機株式会社 測定システム、測定指示装置、及びプログラム
US10776987B2 (en) * 2018-03-05 2020-09-15 Disney Enterprises, Inc. Aerial imaging high-accuracy scale calibration
US11238675B2 (en) 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
US11946761B2 (en) 2018-06-04 2024-04-02 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device
EP3818337B1 (en) * 2018-07-04 2024-01-17 H3 Dynamics Pte. Ltd. Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath
US11151737B1 (en) 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
US11630083B2 (en) * 2018-12-21 2023-04-18 The Boeing Company Location-based scanner repositioning using non-destructive inspection
US20200264279A1 (en) * 2019-02-20 2020-08-20 Flir Surveillance, Inc. Rotatable light sources and associated pulse detection and imaging systems and methods
JP7213104B2 (ja) * 2019-02-27 2023-01-26 三菱重工業株式会社 無人航空機および検査方法
US11080327B2 (en) * 2019-04-18 2021-08-03 Markus Garcia Method for the physical, in particular optical, detection of at least one usage object
US10712286B1 (en) * 2019-04-23 2020-07-14 The Boeing Company Systems and methods for non-destructive evaluation of a structure
US11275391B2 (en) * 2019-05-13 2022-03-15 The Boeing Company In-service maintenance process using unmanned aerial vehicles
WO2021010907A2 (en) * 2019-06-07 2021-01-21 Ptt Exploration And Production Public Company Limited A system for steady movement toward a curved wall of an unmanned aerial vehicle (uav) and method for movement toward said curved wall
CN110371292A (zh) * 2019-06-25 2019-10-25 天津大学 一种无人机捕获回收装置
EP3767417A1 (en) * 2019-07-15 2021-01-20 Ventus Engineering GmbH Method of performing an inspection and an airborne system therefore
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
CN110658844B (zh) * 2019-08-23 2022-06-14 中国南方电网有限责任公司超高压输电公司昆明局 一种特高压直流线路通道无人机监控方法及其系统
CN110702343B (zh) * 2019-09-20 2021-06-08 武汉中岩科技股份有限公司 一种基于立体视觉的挠度测量系统及方法
CN112580420A (zh) * 2019-09-30 2021-03-30 卡巴斯基实验室股份制公司 用于抵制无人驾驶飞行器的系统和方法
CN110769364B (zh) * 2019-10-16 2020-12-18 广东美嘉欣创新科技股份有限公司 一种无人机飞行数据及图像传输系统
KR102083132B1 (ko) * 2019-12-12 2020-02-28 우현선박기술 주식회사 초음파 두께 측정 기술과 영상 송출 기능을 탑재한 선박검사 및 측정용 드론 시스템
TWI726536B (zh) * 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN113064134A (zh) * 2019-12-16 2021-07-02 南京理工大学 基于改进模糊神经网络滤波的激光雷达回波处理方法
FR3106883B1 (fr) * 2020-01-30 2023-01-06 Horizon Data Services Procédé de mesure de diamètre d’organe cylindrique et dispositif d’aide à la mesure pour réaliser un tel procédé
CN111551173A (zh) * 2020-02-19 2020-08-18 中国人民解放军海军航空大学 一种使用外部测量仪测量飞行器航向输出的系统
US11555693B2 (en) * 2020-05-12 2023-01-17 The Boeing Company Measurement of surface profiles using unmanned aerial vehicles
KR102610397B1 (ko) * 2021-06-08 2023-12-05 금오공과대학교 산학협력단 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템
CN113251940A (zh) * 2021-06-15 2021-08-13 湖南东润智能仪表有限公司 桥梁结构挠度测量装置
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces
US11502729B1 (en) 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
CN113793367B (zh) * 2021-11-17 2022-02-15 西南交通大学 一种工程结构转角位移视觉测量及动力识别系统及方法
CN114148536B (zh) * 2021-11-29 2023-05-23 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的线位移补偿控制方法
CN114353619B (zh) * 2021-12-08 2023-11-21 中航西安飞机工业集团股份有限公司 一种长标尺测量靶标之间距离的标定方法
CN114838710B (zh) * 2022-03-29 2023-08-29 中国一冶集团有限公司 基于无人机拍照的工程用快速的测绘方法及测绘系统
CN114852621A (zh) * 2022-05-05 2022-08-05 衡阳镭目科技有限责任公司 柴油发电机组输送系统、方法及存储介质
CN114789798B (zh) * 2022-06-27 2022-10-25 成都飞机工业(集团)有限责任公司 一种飞机舱门阶差预测方法、装置、设备及介质
CN115379123B (zh) * 2022-10-26 2023-01-31 山东华尚电气有限公司 一种用无人机巡检的变压器故障检测方法
CN116087235B (zh) * 2023-04-07 2023-06-20 四川川交路桥有限责任公司 一种多源耦合的桥梁损伤探测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185783A (ja) * 2001-12-20 2003-07-03 Hitachi Ltd 炉内目視検査装置
US20160266579A1 (en) * 2015-03-12 2016-09-15 Nightingale Intelligent Systems Automated drone systems
JP6024074B1 (ja) * 2016-04-19 2016-11-09 株式会社ニチギ 写真撮影用無人移動体
KR20160142482A (ko) * 2015-06-02 2016-12-13 고려대학교 산학협력단 건설용 무인 비행체 장치
US9609288B1 (en) * 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
JP2017075863A (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2834660A1 (de) 1978-08-08 1980-02-21 Honeywell Gmbh Laser-entfernungsmesser
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
JP4992405B2 (ja) * 2006-12-12 2012-08-08 株式会社デンソー 車載機器の操作装置
US7859655B2 (en) * 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US8214098B2 (en) 2008-02-28 2012-07-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
IL192601A (en) 2008-07-03 2014-07-31 Elta Systems Ltd Discovery / Transmission Device, System and Method
US8300096B2 (en) 2008-10-22 2012-10-30 Michael Franklin Abernathy Apparatus for measurement of vertical obstructions
GB0920636D0 (en) 2009-11-25 2010-01-13 Cyberhawk Innovations Ltd Unmanned aerial vehicle
US9804577B1 (en) * 2010-10-04 2017-10-31 The Boeing Company Remotely operated mobile stand-off measurement and inspection system
US8744133B1 (en) 2010-10-04 2014-06-03 The Boeing Company Methods and systems for locating visible differences on an object
US9221506B1 (en) 2011-07-18 2015-12-29 The Boeing Company Location tracking and motion control of automated marking device
EP2861972A4 (en) * 2012-06-18 2016-01-13 Collineo Inc VISUAL REMOTE TEST SYSTEM AND METHOD
DE102013000410A1 (de) 2013-01-11 2014-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autonomen Navigation einer eigenfortbewegungsfähigen Plattform relativ zu einem Objektiv
US9453500B2 (en) * 2013-03-15 2016-09-27 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
US9488589B2 (en) * 2013-10-29 2016-11-08 The Boeing Company Mapping damaged regions on objects
CN104298248B (zh) * 2014-10-08 2018-02-13 南京航空航天大学 旋翼无人机精确视觉定位定向方法
US9371133B2 (en) 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
US10012509B2 (en) * 2015-11-12 2018-07-03 Blackberry Limited Utilizing camera to assist with indoor pedestrian navigation
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9513635B1 (en) 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
KR20170084966A (ko) 2016-01-13 2017-07-21 주식회사 이지시스 국소위치인식시스템
ES2902469T3 (es) * 2016-02-29 2022-03-28 Sz Dji Technology Co Ltd Métodos y sistemas para el control del movimiento de dispositivos voladores
US11203425B2 (en) * 2016-06-30 2021-12-21 Skydio, Inc. Unmanned aerial vehicle inspection system
CN106441278A (zh) * 2016-09-29 2017-02-22 长沙开元仪器股份有限公司 一种无人机室内定位系统及方法
US10724505B2 (en) * 2016-11-30 2020-07-28 Dji Technology, Inc. Aerial inspection in a movable object environment
DE102017117049A1 (de) * 2017-07-27 2019-01-31 Testo SE & Co. KGaA Verfahren zur Erstellung eines 3D-Modells von einem Objekt
US10317905B2 (en) * 2017-08-10 2019-06-11 RavenOPS, Inc. Autonomous robotic technologies for industrial inspection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185783A (ja) * 2001-12-20 2003-07-03 Hitachi Ltd 炉内目視検査装置
US20160266579A1 (en) * 2015-03-12 2016-09-15 Nightingale Intelligent Systems Automated drone systems
KR20160142482A (ko) * 2015-06-02 2016-12-13 고려대학교 산학협력단 건설용 무인 비행체 장치
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
JP2017075863A (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法
US9609288B1 (en) * 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
JP6024074B1 (ja) * 2016-04-19 2016-11-09 株式会社ニチギ 写真撮影用無人移動体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189663A (ja) * 2020-05-28 2021-12-13 中部電力株式会社 巡視点検システム
JP7216046B2 (ja) 2020-05-28 2023-01-31 中部電力株式会社 巡視点検システム

Also Published As

Publication number Publication date
CA3006155A1 (en) 2019-03-25
CN109556577B (zh) 2022-11-29
EP3460392A2 (en) 2019-03-27
CA3006155C (en) 2023-03-07
EP3460392A3 (en) 2019-08-07
CN109556577A (zh) 2019-04-02
BR102018012662A8 (pt) 2022-12-20
US10788428B2 (en) 2020-09-29
BR102018012662B1 (pt) 2023-04-25
BR102018012662A2 (pt) 2019-04-16
SG10201804546TA (en) 2019-04-29
JP7260269B2 (ja) 2023-04-18
KR20190035496A (ko) 2019-04-03
US20190094149A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
JP7260269B2 (ja) 航空非破壊検査用の測位システム
JP7134801B2 (ja) ケーブル懸架式プラットフォームを用いた構造体を測定及び検査するための方法
US11662728B2 (en) Methods for maintaining difficult-to-access structures using unmanned aerial vehicles
US11263761B2 (en) Systems and methods for visual target tracking
CN113029117B (zh) 飞行传感器
RU2743112C2 (ru) Устройство и способ для анализа вибраций с использованием высокоскоростных видеоданных и применение такого устройства для бесконтактного анализа вибраций
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
US20190079522A1 (en) Unmanned aerial vehicle having a projector and being tracked by a laser tracker
US8699005B2 (en) Indoor surveying apparatus
RU2623295C2 (ru) Система, устройство и способ текущего контроля положения и ориентации транспортного средства, погрузочного устройства и груза при работе погрузочного устройства
Hrabar An evaluation of stereo and laser‐based range sensing for rotorcraft unmanned aerial vehicle obstacle avoidance
JP2017224123A (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
CN114743021A (zh) 一种输电线路图像与点云数据的融合方法及系统
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
Moore et al. A stereo vision system for uav guidance
WO2019160778A1 (en) Image capturing system, method, and analysis of objects of interest
JP2017173966A (ja) 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置
Sanna et al. A novel ego-motion compensation strategy for automatic target tracking in FLIR video sequences taken from UAVs
Skov et al. 3D Navigation by UAV using a mono-camera, for precise target tracking for contact inspection of critical infrastructures
US20240112327A1 (en) Bar arrangement inspection system and bar arrangement inspection method
Gong et al. The design and implementation of the visual location system based on beeline detection
JP2023048409A (ja) 測量システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230406

R150 Certificate of patent or registration of utility model

Ref document number: 7260269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150