CN109556577B - 用于空中非破坏性检查的定位系统 - Google Patents

用于空中非破坏性检查的定位系统 Download PDF

Info

Publication number
CN109556577B
CN109556577B CN201810896517.1A CN201810896517A CN109556577B CN 109556577 B CN109556577 B CN 109556577B CN 201810896517 A CN201810896517 A CN 201810896517A CN 109556577 B CN109556577 B CN 109556577B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
laser
image
uav
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810896517.1A
Other languages
English (en)
Other versions
CN109556577A (zh
Inventor
J·J·特洛伊
G·E·乔治森
S·W·莱亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN109556577A publication Critical patent/CN109556577A/zh
Application granted granted Critical
Publication of CN109556577B publication Critical patent/CN109556577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0008—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Abstract

用于空中非破坏性检查的定位系统。使用诸如无人驾驶飞行器(UAV,20)的远程操作飞行平台来测量到目标对象(102)的距离并获取该目标对象在环境中的比例和点到点距离信息的系统和方法。该系统使用机载传感器(132,138,166)和处理技术来提供目标对象的比例或目标对象上的点之间的距离的离散或连续测量。向UAV(或其它飞行平台)添加机载三维测量能力允许收集距离数据。具有此能力使得这些系统能够在执行计量相关任务的过程中获取单个对象上的点之间的距离(例如，确定由UAV捕获的图像中的物品的真实比例因子)。

Description

用于空中非破坏性检查的定位系统
技术领域
本公开总体上涉及用于执行检查活动的系统和方法，更具体地讲，涉及用于使得能够通过无人驾驶飞行器远程检查结构或对象的系统和方法。
背景技术
对结构和各种类型的对象的基于人的亲身检查可耗时、昂贵并且对于个人而言难以执行。造成显著检查挑战的结构的示例包括桥梁、水坝、堤坝、发电厂、电力线或电网、水处理设施；炼油厂、化学加工厂、高层建筑、与电力机车和单轨支撑结构关联的基础设施、以及机场的飞机结构。
利用无人驾驶飞行器(UAV)，操作者可安全地从结构获取图像或其它传感器数据。UAV操作者可在安全的地方发起结构的自动扫描处理，而无需繁琐且昂贵的设备(例如，起重机或平台)。然而，典型的无人驾驶飞行器不具有获取表示在飞行期间可能遇到的对象上的点之间的距离的精确数据或者通过机载相机看到的对象的相对比例的能力。例如，尽管配备有GPS的UAV可提供位置的粗略估计，其对视觉检查而言足够了，但GPS跟踪不够精确，无法用于其它非破坏性检查方法。
目前可用于诸如UAV的远程操作移动平台的用户的主要态势感知方法是观看显示来自机载相机的视频的显示监视器。该方法的一个可用性问题在于操作者没有参考系来确定显示在屏幕上的对象的大小，这限制了利用这些平台的检查应用的用处。得到比例信息的另一种方法是使用图像处理应用来识别场景中的对象，但是这只有在你有关于场景中的对象的信息并且软件能够正确地识别它们时才有效。另一种方法是使用深度相机来测量到目标对象的距离，但是深度相机在明亮的光线下可饱和并且具有有限的范围。另一种方法是使用移动平台机载的旋转激光扫描仪来提供具有距离数据的点云，但是此方法获取更多数据并且比测量到目标对象的距离所需的更复杂。
因此，将可取的是提供在基于UAV的非破坏性检查期间确定出现在所捕获的图像中的对象上的点之间的距离或对象的尺寸的能力。
发明内容
下面详细公开的主题涉及用于使用诸如UAV的远程操作飞行平台来获取经历非破坏性检查的对象的比例和点到点距离信息的系统和方法。该系统使用机载传感器和处理技术来提供目标对象上的点之间的距离或目标对象的比例的离散或连续测量。为UAV(或其它飞行平台)添加机载三维(3D)测量能力允许从这些系统收集目前缺失的客观距离数据。具有此能力使得这些系统能够在执行与计量有关的任务的过程中获取环境中的对象之间的距离或单个对象上的点之间的距离(例如，确定由UAV捕获的图像中的物品的真实比例因子)，这导致一些类型的飞行平台对检查应用的用处显著增加。
根据用于空中非破坏性检查的系统的一些示例，随着配备有相机的UAV朝着待检查的结构飞行，由机载设备重复地测量UAV与结构分隔的距离，并且当分隔距离等于目标偏移时，UAV停止朝着结构飞行。可选地，UAV然后自身取向，以使得相机的焦轴垂直于正被成像的结构的表面并且相机被激活以捕获图像以用于稍后显示。根据一个示例，使用距离信息来生成叠加在所显示的图像上的比例指示物。根据另一示例，使用距离信息来测量正被成像的结构的表面上的两点之间的距离，该点到点距离值被叠加在所显示的图像上。
本文中所描述的概念为UAV和其它远程操作移动平台提供测量和控制能力。测量数据的获取将被分为以下三类。
在一类示例中，使用两个或更多个激光指示器和数字视频相机来获取信息以计算：到目标的距离、目标的视图的参考比例以及在一些示例中，目标上的兴趣点之间的距离。此类示例适用于目标表面相对平坦且垂直于激光指示器和相机的瞄准方向的情况。如本文所用，术语“激光指示器”意指发射激光束而不检测返回的激光的装置。
概念的另一类示例是UAV包含两个或更多个激光测距仪的配置，其允许：直接测量到目标的距离、参考比例以及UAV相对于目标的一个或更多个取向角。如果使用三个非共线安装的激光测距仪(这里未示出)，则可测量不止一个取向角(例如，偏航和俯仰)。如本文所用，术语“激光测距仪”(也称为“激光测距器”)意指发射激光束并检测返回的激光的装置。
第三类示例包括万向激光测距仪，用于获取从移动平台(例如，UAV)到环境中的对象的距离和瞄准方向信息。该概念利用了美国专利No.7,859,655(其公开整体通过引用并入本文)中所公开的基于矢量的测量算法的一些方面，同时添加了传感器(例如，惯性测量单元)以确定平台的相对运动。该平台运动数据连同来自万向激光测距仪的瞄准方向和距离数据一起可用于获取环境中的对象的测量。
尽管本文中稍后详细描述用于获取经历非破坏性检查的对象的比例和点到点距离信息的系统和方法的各种示例，但是这些示例中的一个或更多个可由以下方面中的一个或更多个来表征。
下面详细公开的主题的一个方面是一种操作无人驾驶飞行器的方法，该方法包括：(a)控制无人驾驶飞行器朝着结构飞行；(b)在无人驾驶飞行器飞行的同时使用无人驾驶飞行器机载的第一和第二激光测距仪重复地测量第一和第二激光测距仪与结构的表面上的相应第一和第二光斑分别分隔开的第一和第二距离；(c)至少基于第一和第二距离计算无人驾驶飞行器与结构分隔开的第一分隔距离；(d)确定第一分隔距离是否等于目标偏移；(e)响应于在步骤(d)中确定分隔距离等于目标偏移，控制无人驾驶飞行器悬停在与结构分隔开第一分隔距离的第一位置处；(f)在无人驾驶飞行器悬停在第一位置处的同时，使用无人驾驶飞行器机载的相机捕获结构的图像；以及(g)将图像显示在显示屏上。根据一个示例，该方法还包括：基于第一和第二距离计算相机的焦轴相对于连接结构的表面上的第一和第二光斑的线的取向角；至少部分地基于分隔距离和取向角计算显示在显示屏上时的第一图像的比例因子；以及显示叠加在图像上的比例指示物，比例指示物的值或长度表示比例因子。
下面详细公开的主题的另一方面是一种操作无人驾驶飞行器的方法，该方法包括：(a)控制无人驾驶飞行器悬停在与待检查的结构分隔开的位置处；(b)将可枢转地安装在无人驾驶飞行器上的第一和第二激光指示器平行地指向结构的表面，第一和第二激光指示器的相应枢轴分隔开固定距离；(c)在无人驾驶飞行器悬停在该位置处的同时，使用相互平行的第一和第二激光指示器将相互平行的激光束分别传输到第一和第二光斑上；(d)第一次使用无人驾驶飞行器机载的相机来捕获包括第一和第二光斑的结构的表面的一部分的第一图像；(e)在无人驾驶飞行器悬停的同时使第一和第二激光指示器枢转预定义的角度，以使得第一和第二激光指示器不再平行；(f)在无人驾驶飞行器悬停在该位置处的同时使用枢转的第一和第二激光指示器将非平行的激光束传输到结构的表面上的相应第三和第四光斑上；(g)第二次使用相机捕获包括第三和第四光斑的结构的表面部分的第二图像；以及(h)处理第一和第二图像以基于图像中的第三和第四光斑的位置、预定义的角度以及激光指示器的枢轴分隔开的固定距离来计算无人驾驶飞行器与结构分隔开的第一分隔距离。根据一个示例，步骤(h)还包括计算第三和第四光斑的相应中心分隔开的第二分隔距离，该方法还包括基于第二分隔距离计算显示在地面工作站处的计算机系统的显示屏上时第一和第二图像的比例因子。
下面详细公开的主题的另一方面是一种使用无人驾驶飞行器确定结构的特征的尺寸的方法，该无人驾驶飞行器包括支撑相机和激光测距仪的云台机构以及惯性测量单元，该方法包括：(a)控制无人驾驶飞行器朝着待检查的结构飞行然后悬停在与该结构分隔开的第一位置处；(b)在无人驾驶飞行器悬停在第一位置处的同时将激光测距仪瞄准与结构的表面上的第一可见特征对应的第一点并获取第一距离测量；(c)当激光测距仪瞄准第一点时，使用云台机构来测量激光测距仪的相应摇摄和倾斜角度；(d)将在步骤(b)和(c)中获取的距离和角度测量转换为第一矢量，该第一矢量表示第一点在处于第一位置的无人驾驶飞行器的参考系中的位置；(e)在无人驾驶飞行器悬停在第二位置处的同时将激光测距仪瞄准与结构的表面上的第二可见特征对应的第二点并获取第二距离测量；(f)当激光测距仪瞄准第二点时，使用云台机构来测量激光测距仪的相应摇摄和倾斜角度；(g)将在步骤(e)和(f)中获取的距离和角度测量转换为第二矢量，该第二矢量表示第二点在处于第二位置的无人驾驶飞行器的参考系中的位置；(h)使用惯性测量单元来测量在从第一位置到第二位置的飞行期间无人驾驶飞行器的加速度和旋转速率；(i)基于在步骤(h)中获取的信息来生成变换矩阵，该变换矩阵表示无人驾驶飞行器的第一和第二位置之间的位置差和取向差；(j)将第二矢量乘以变换矩阵以形成第三矢量，该第三矢量表示第二点在处于第一位置的无人驾驶飞行器的参考系中的位置；以及(k)使用第一和第三矢量来计算第一和第二点之间的距离。
根据一个示例，前一段中所描述的方法还包括：(l)从无人驾驶飞行器发送包含在步骤(b)、(c)、(e)、(f)和(h)中获取的测量数据的一个或更多个消息；(m)在地面站的计算机系统处接收所述一个或更多个消息；以及(n)从消息提取测量数据，其中，步骤(d)、(g)和(i)至(k)由地面工作站处的计算机系统执行。该方法还可包括：在无人驾驶飞行器悬停在第一位置处的同时，使用相机来捕获包括第一和第二可见特征的结构的表面的一部分的图像；以及在地面工作站处的计算机系统的显示屏上显示图像以及叠加在图像上的表示在步骤(k)中计算的距离值的符号。例如，第一和第二可见特征可以是结构中的异常的相应端点。
本文所公开的主题的另一方面是一种无人驾驶飞行器，该无人驾驶飞行器包括：框架；多个旋翼，其被可旋转地安装到框架；多个电机，其分别连接以驱动所述多个旋翼中的旋翼的旋转；多个电机控制器，其用于控制所述多个电机的操作；云台机构，其被安装到框架；相机，其被安装到云台机构；激光测距仪，其被安装到云台机构；计算机系统，其被配置为向电机控制器发送命令，控制云台机构的操作，并且选择性地激活相机和激光测距仪；惯性测量单元，其被安装到框架，并且被配置为向计算机系统发送线加速度和旋转速率数据；以及收发器，其被配置为允许计算机系统与地面站之间的通信。根据一些示例，计算机系统还被配置为：接收来自相机的图像数据、来自云台机构的摇摄和倾斜角度数据、来自激光测距仪的距离数据以及来自惯性测量单元的线加速度和旋转速率数据；确定无人驾驶飞行器相对于结构的第一位置；向电机控制器发送第一命令以使无人驾驶飞行器从第一位置飞到第二位置，在该第二位置处，相机与结构的表面分隔开目标偏移；并且向电机控制器发送第二命令以使无人驾驶飞行器从第二位置飞到第三位置，在该第三位置处，相机与结构的表面分隔开目标偏移并且相机的焦轴垂直于结构的表面。
另一方面是一种无人驾驶飞行器，该无人驾驶飞行器包括：框架；多个旋翼，其被可旋转地安装到框架；多个电机，其分别连接以驱动所述多个旋翼中的旋翼的旋转；多个电机控制器，其用于控制所述多个电机的操作；相机；第一、第二和第三激光指示器；计算机系统，其被配置为向电机控制器发送命令并选择性地激活相机和第一至第三激光指示器；以及收发器，其被配置为使得能够在计算机系统与控制站之间进行通信，其中，第一和第二激光指示器按照相互平行的关系固定到框架，并且第三激光指示器可枢转地联接到框架。
下面公开了使用远程操作飞行平台来获取环境中的对象的比例和点到点距离信息的系统和方法的其它方面。
附图说明
前一部分中讨论的特征、功能和优点可在各种示例中独立地实现，或者可在其它示例中组合。为了示出上述和其它方面，以下将参照附图描述各种示例。此部分中简要描述的图均未按比例绘制。
图1是示出根据一些示例的使用机载有一对激光装置和相机的空中UAV来检查桥梁的系统的图。
图2是示出根据一个示例的具有指向目标对象的一对固定激光指示器的空中UAV的俯视图的图。UAV机载的相机未示出。
图3是标识使用具有两个或更多个激光指示器的远程控制UAV来执行结构的非破坏性检查的系统的一些组件的框图。激光指示器的配置可选自图2、图6和图8中所描绘的另选示例。
图4A是示出与目标对象分隔开距离D的视频相机和一对固定激光指示器的图，所述激光指示器在目标对象的表面上生成分隔开距离d的相应激光光斑。
图4B是表示由图4A中所描绘的视频相机获取的图像的图，该图像包含目标对象的表示。
图5是表示包含具有可见异常的结构部分的表示并且叠加有比例尺的图像的图。
图6是示出根据另一示例的具有指向目标对象的一对可枢转激光指示器的空中UAV的俯视图的图。UAV机载的相机未示出。
图7A是示出与目标对象分隔开距离D的视频相机和一对可枢转激光指示器的图，所述激光指示器在目标对象的表面上生成分隔开距离d的相应激光光斑。
图7B是表示由图7A中所描绘的视频相机获取的图像的图，该图像包含目标对象的表示。
图8是示出根据另一示例的具有指向目标对象的一对固定激光指示器(第一颜色)和可枢转(绕单个轴线)第三激光指示器(第二颜色)的空中UAV的俯视图的图。UAV机载的相机未示出。
图9A是示出如图8中所描绘配置并与目标对象分隔开距离D的视频相机和三个激光指示器的图，所述激光指示器在目标对象的表面上生成最远分隔开距离d的相应激光光斑。
图9B是表示由图9A中所描绘的视频相机获取的图像的图，该图像包含目标对象的表示。
图10是示出根据一个示例的用于处理图像以确定目标对象上的激光光斑之间的距离(单位为像素)的方法的步骤的图。
图11是示出按照改进图像处理效率的方式处理图像以确定目标对象上的激光光斑之间的距离(单位为像素)的方法的步骤的图。
图12是示出根据另一示例的具有指向目标对象的一对固定激光测距仪的空中UAV的俯视图的图。UAV机载的相机未示出。
图13是标识根据一个示例的在目标对象的非破坏性检查期间操作无人驾驶飞行器的方法的步骤的流程图。
图14是示出具有机载本地定位系统的远程控制空中UAV的图，其包括瞄准结构梁的相机和激光测距仪。
图15是标识使用具有机载本地定位系统的远程控制UAV来执行结构的非破坏性检查的系统的一些组件的框图。
图16是示出具有本地定位系统的空中UAV的俯视图的图，其包括指向目标对象的视频相机和万向激光测距仪。UAV机载的惯性测量单元未示出。
图17是标识使用承载本地定位系统的UAV来确定结构的特征的尺寸的方法的步骤的流程图。
图18是示出使用图16中部分地描绘的UAV来生成表示从目标对象上的第一点到目标对象上的第二点的距离和方向的矢量的方法的矢量图。
图19是标识基于由UAV机载的设备获取的测量数据来控制UAV的运动的反馈控制处理的步骤的框图。
以下将参照附图，其中不同附图中的相似元件具有相同的标号。
具体实施方式
出于例示目的，现在将详细描述使用UAV来获取经历空中非破坏性检查的对象的比例和点到点距离信息的系统和方法。然而，本说明书中并未描述实际实现方式的所有特征。本领域技术人员将理解，在任何这种示例的开发中，必须做出许多实现方式所特定的决策以实现开发者的特定目标(例如，符合系统相关和商业相关的约束，这些约束将从一个实现方式到另一实现方式而变化)。此外，将理解，这样的开发工作可能复杂且耗时，然而对于受益于本公开的本领域普通技术人员而言将是常规任务。
图1是示出根据一些示例的用于检查桥梁18的系统的图。该系统包括无人驾驶飞行器20(以下，“UAV 20”)，其可围绕需要定期检查的结构移动(飞行)。在此示例中，UAV 20是旋翼飞行器。尽管正检查的结构被示出为桥梁18，但该系统同样适合用于检查各种其它结构，包括但不限于电力线、发电设施、电网、水坝、堤坝、体育馆、大型建筑、大型天线和望远镜、水处理设施、炼油厂、化学加工厂、高层建筑以及与电力机车和单轨支撑结构关联的基础设施。该系统还特别适合用在诸如制造设施和仓库的大型建筑内。实际上，潜在地可使用图1所描绘的系统来检查由控制检查装置的人或承载检查装置的平台检查困难、成本高或太过危险的任何结构。
对于检查应用，旋翼飞行器由于其悬停以及以非常慢的速度移动的能力而优选。远程控制无人驾驶旋翼飞行器的垂直起飞和着陆能力在许多应用中也可能非常有利，特别是当在诸如制造厂、仓库等的结构或设施内操作时，或者当检查可能具有许多聚集在一起的高大结构(例如，烟囱)的复杂设施(例如，炼油厂或化学加工厂)时。悬停和/或仅垂直地移动的能力使得远程控制无人驾驶旋翼飞行器能够飞近并检查诸如桥梁的垂直支柱、天线或水坝的垂直面的大型垂直结构。
根据一些示例(下面更详细地公开)，UAV 20包括框架22，其支撑布置在相机30的相反侧的一对激光装置24a和24b。相机30可包括获得桥梁18的部分的静止图像的静止相机(彩色和/或黑白)、获得彩色和/或黑白视频的视频相机、或者获得红外静止图像或红外视频的红外相机。激光装置24a和24b发射指向桥梁18的一部分的相应激光束26a和26b。如下面将详细说明的，激光束26a和26b入射在桥梁的表面上允许获取关于UAV 20相对于桥梁18的位置的信息。
图1中所描绘的系统还包括远程控制站10，其用于向UAV 20发送无线通信以及从UAV 20接收无线通信。根据一个示例，远程控制站10包括膝上型计算机12、收发器14和天线16。收发器14与天线16通信以用于允许膝上型计算机12与UAV 20之间的通信。
UAV 20的机载系统还可包括指导和控制硬件和软件系统(图1中未示出)，其能够实现由存储在非暂时性有形计算机可读存储介质(图1中未示出)中的飞行计划数据数字地表示的一个或更多个不同的存储的飞行计划。机载系统还可包括全球定位系统/惯性导航系统(GPS/INS)，其用于控制UAV 20的取向并辅助执行存储在存储器中的预编程的飞行计划。无线收发器和机载天线(图1中未示出)允许与远程控制站10的双向无线电磁波通信。
图1中所描绘类型的无人驾驶飞行器可被升级以具有获取经历非破坏性检查的对象的比例和点到点距离信息的能力。可向UAV提供机载传感器和处理技术，以提供目标对象上的点之间的距离或目标对象的比例的离散或连续测量。现在将详细描述这种增强能力UAV的各种示例。
图2是示出能够获取经历非破坏性检查的对象的比例和点到点距离信息的空中UAV 20的一个示例的俯视图的图。UAV 20包括按照平行配置布置的一对激光指示器132a和132b。激光指示器132a和132b沿着由相应瞄准方向矢量134a和134b指示的相应光路发射相应激光束。UAV 20还包括数字视频相机(图2中未示出)。激光指示器132a和132b以及视频相机用于计算到目标对象102的距离和参考比例。此示例用于UAV 20相对靠近目标对象102的情况。
图2中所描绘的UAV 20包括框架22以及可旋转地安装到框架22的四个旋翼124a-124d。各个旋翼的旋转由安装到框架22的相应电机(图2中未示出)驱动。具有相互平行的轴线的一对激光指示器132a和132b被固定地安装到框架22。当被激活时，激光指示器132a和132b将相应的相互平行的激光束引导到目标对象102的表面上的相应激光光斑处。尽管图2中未示出，UAV 20还包括安装到框架22的视频相机130(参见图3)。优选地，视频相机130的焦轴和激光指示器132a和132b的瞄准方向相互平行。
可激活视频相机130以捕获两个激光光斑可见的图像。可处理(如下面详细描述的)该图像数据以推导像素信息，该像素信息与将两个激光指示器132a和132b的轴线分隔开的已知距离结合可用于确定比例因子。然后，可使用该比例因子来将比例指示物显示于在UAV悬停在相同位置处的同时由视频相机130捕获的任何后续图像上。更具体地，一个目标是确定指示器132a和132b与目标对象102之间的距离D，这将在下面参照图4A和图4B来更详细地描述。
图3是标识使用安装有两个或更多个激光指示器132(例如，如图2所见，第一激光指示器132a和第二激光指示器132b)的远程控制UAV 20来执行结构的非破坏性检查的系统的一些组件的框图。在此示例中，UAV 20以及UAV 20所承载的设备由机载计算机系统162根据控制站150所发送的射频命令来控制。这些射频命令被UAV 20机载的收发器160接收，被转换为适当的数字格式，然后被转发到计算机系统162。控制站150可包括通用计算机系统，其利用编程配置以用于通过向计算机系统162发送命令来控制UAV 20以及UAV 20机载的设备的操作。例如，控制站可发送控制UAV 20的飞行的命令以及用于激活激光指示器132的命令。另外，控制站150处的计算机系统利用编程配置以用于处理在检查操作期间从UAV 20接收的数据。特别是，控制站150的计算机系统可包括显示处理器，其利用软件配置以用于控制显示监视器152显示由视频相机130获取的图像。由视频相机130看见的光学图像场可显示在显示监视器152上。
响应于来自控制站150的命令，可由计算机系统162所发送的控制信号(例如，经由电缆)激活视频相机130和激光指示器132。视频相机130可具有自动(远程控制)变焦能力。计算机系统162还通过向电机控制器168发送命令来控制UAV 20的飞行，电机控制器168分别控制驱动旋翼124a-124d(参见图2)的旋转的相应电机148的旋转。
图4A是示出与目标对象102分隔开距离D的视频相机130和一对激光指示器132a和132b的图，所述激光指示器在目标对象102的表面上生成相应激光光斑。目标对象表面上的这些激光光斑分隔开距离d。图4B是表示由图4A中所描绘的视频相机130获取的图像70的图，图像70包括目标对象102的表示102'以及激光光斑的相应位置106和108的相应表示。
根据图4A和图4B中所描绘的情况，已知变量是视频相机130的当前视场(即，图4A中的“FoV”)、图像70的宽度方向上的最大像素数(即，图4B中的“maxPx”)、图像70中表示由激光指示器132a和132b生成的激光光斑的位置106和108的相应像素组之间的像素数(即，图4B中的“nPx”)；以及激光指示器132a和132b分隔开的距离(即，图4A中的“L1”)。未知变量是激光光斑之间的视角α以及距离D和d。
可使用相机视场(FoV)和图像像素数据来计算激光光斑之间的视角α：
Figure BDA0001758305780000101
其中nPx是激光光斑之间的测量的像素数，maxPx是图像宽度(单位为像素)。然后，可使用下式来计算距离d和D：
d＝L1
Figure BDA0001758305780000102
用式(1)代替视角α，获得：
Figure BDA0001758305780000103
根据图2和图4A中所描绘的示例(以及下文所描述的其它示例)，距离D的值连续地更新。
根据一个可能实现方式，距离d的值可被包括在显示监视器(图3中的项152)上显示的图像70中的任何地方。根据另一可能实现方式，可基于距离d与像素数nPx之比来计算比例因子，并且指示比例因子的比例尺或其它比例指示物可作为图像70的一部分被包括。只要UAV-目标对象分隔距离D是最新的，该比例指示物就将是精确的。随着该分隔距离改变，可重复上述操作以生成更新的比例因子。随着时间推移，根据UAV与目标对象分隔开的可变距离重复地调节比例指示物。
出于非破坏性检查的目的，优选地，所检查结构的所获取的图像不包括激光光斑的表示。因此，在初始化目标对象的成像表面区域的尺寸确定之后，可在激光指示器132a和132b被去激活的同时激活视频相机130以捕获附加图像(例如，图像的视频序列)。在这种情况下，视频相机130优选在分隔距离D为最新的同时捕获图像。
例如，图5是表示图像70的图，图像70包括具有可见异常74的结构72的一部分的表示和比例尺76，但不包括激光光斑的任何表示。控制站150处的技术人员可在理解比例尺76所指示的成像区域的适用尺寸的同时查看该图像。另外，通过比较异常的可见尺寸与出现在显示屏上的比例指示物的可见尺寸，可粗略地(即，近似地)确定可见异常的尺寸。
图6是示出根据另选示例的空中UAV 20的俯视图的图。类似图3中部分地描绘的示例，图6中部分地描绘的示例还能够获取经历非破坏性检查的对象的比例和点到点距离信息。图6中部分地描绘的UAV 20包括一对可枢转激光指示器132a和132b以及视频相机130(图6中未示出)。当被激活时，激光指示器132a和132b将相应激光束引导到目标对象102的表面上的相应激光光斑处。激光指示器132a和132b可独立地枢转，或者其枢转机构可联接以使得激光指示器132a和132b可相反地枢转。如本文所用，短语“可相反地枢转”意指激光指示器132a和132b相对于视频相机130枢转的焦轴(图6中未示出)的角位置始终相等且相反。
激光指示器132a和132b可在UAV 20上相对于平行配置旋转已知量。这造成目标对象102上的激光光斑之间进一步分隔开，这对于UAV 20比图2中所描绘的示例离目标对象102更远的情况是有用的。例如，最初，激光指示器132a和132b被平行定位以沿着由相应瞄准方向矢量134a和134b指示的相互平行的光路发射相应激光束。然后激光指示器132a和132b旋转已知角度，然后再次被激活以沿着由相应瞄准方向矢量134a'和134b'指示的光路发射相应激光束。可使用由机载视频相机(未示出)捕获的图像来确定到目标对象102的距离，所述图像包括表示激光光斑的像素组。更具体地，此示例被配置为确定由激光指示器132a和132b分别在目标对象102上生成的激光光斑之间的距离d；以及指示器132a和132b与目标对象102之间的距离D，如将在下面参照图7A和图7B更详细地描述的。
图7A是示出与目标对象102分隔开距离D的视频相机130和一对可枢转激光指示器132a和132b的图，所述激光指示器在目标对象102的表面上生成相应激光光斑。目标对象表面上的这些激光光斑分隔开距离d。图7B是表示由图7A中所描绘的视频相机130获取的图像70的图，图像70包括目标对象102的表示102'以及表示激光光斑的相应位置106和108的相应像素组。
根据图7A和图7B中所描绘的情况，已知变量是视频相机130的视场(即，图7A中的“FoV”)、图像70的宽度方向上的最大像素数(即，图7B中的“maxPx”)、表示由激光指示器132a和132b生成的激光光斑的位置106和108的相应像素组之间的像素数(即，图7B中的“nPx”)；由激光指示器132a和132b发射的激光束之间的角度(即，图7A中的“β”)；以及激光指示器132a和132b的相应枢轴分隔开的距离(即，图7A中的“L1”)。未知变量是激光光斑之间的视角α以及距离D和d。
可再次使用式1来计算激光光斑之间的视角α。然后可使用下式来计算距离d和D：
Figure BDA0001758305780000121
Figure BDA0001758305780000122
根据一个可能实现方式，可基于距离d与像素数nPx之比来计算比例因子，并且指示比例因子的比例尺或其它比例指示物可显示于在UAV 20悬停在相同位置处的同时由视频相机130捕获的后续图像上。
图8是示出具有指向目标对象102的一对固定激光指示器132a和132b以及可枢转(绕单个轴线)第三激光指示器132c的空中UAV 20的俯视图的图。UAV机载的相机未示出。根据该变型，两个激光指示器132a和132b相互平行，并且第三激光指示器132c相对于另外两个以固定或可控的角度旋转。第三激光指示器132c可发射具有与激光指示器132a和132b所发射的激光不同颜色的激光，以帮助在目标对象102上彼此区分激光光斑(在另选方案中，可使用相同颜色的三个激光指示器来进行这种计算方法。)。激光指示器134a和134b沿着由相应瞄准方向矢量134a和134b指示的相互平行的光路发射相应激光束，而第三激光指示器132c沿着由图8中的瞄准方向矢量134a指示的光路发射激光束。
图9A是示出如图8中所描绘配置并与目标对象102分隔开距离D的视频相机130和三个激光指示器132a-c的图，激光指示器132a-c在目标对象102的表面上生成最远分隔开距离d的相应激光光斑。由激光指示器132a和132b相互在目标对象表面上生成的激光光斑分隔开距离L1，该距离L1也是激光指示器132a和132b的轴线分隔开的物理距离。由激光指示器132a和132b在目标对象表面上生成的激光光斑分隔开距离d。图9B是表示由图9A中所描绘的视频相机130获取的图像70的图，图像70包括目标对象102的表示102'以及表示激光光斑的相应位置106、107和108的相应像素组。
根据图9A和图9B中所描绘的情况，已知变量是视频相机130的视场(即，图9A中的“FoV”)、图像70的宽度方向上的最大像素数(即，图9B中的“maxPx”)、表示由激光指示器132a和132b生成的激光光斑的相应位置106和108的相应像素组之间的像素数(即，图9B中的“nPx1”)；表示由激光指示器132b和132c生成的激光光斑的相应位置108和107的相应像素组之间的像素数(即，图9B中的“nPx2”)；由激光指示器132b和132c发射的激光束之间的角度(即，图9A中的“β”)；以及激光指示器132a和132b的相应轴线分隔开的距离(即，图9A中的“L1”)。未知变量是激光光斑之间的视角α以及距离D和d。
可再次使用式1来计算由激光指示器132a和132b生成的激光光斑之间的视角α。然后可使用下式来计算距离d和D：
Figure BDA0001758305780000131
d＝L1+D*tanβ
或者
d＝L1+(nPx1+nPx2)/nPx1
因此，有两种方式来计算d：一种是使用角度β，另一种是使用nPx2。具有两种单独的计算距离d的值的方式用作过程检查以改进可靠性。
根据一个可能实现方式，可基于距离d与和(nPx1+nPx2)之比来计算比例因子。此后，指示比例因子的比例尺或其它比例指示物可显示于在UAV 20悬停在相同位置处的同时由视频相机130捕获的后续图像上。
根据图4A、图4B、图7A、图7B、图9A和图9B中部分地描绘的示例，图像处理方法用于确定显示在图像70上的激光光斑的图像之间的距离(单位为像素)。图像处理步骤的主要目标是确定目标对象上的激光光斑之间的距离(单位为像素)。有多种方法可用于此，例如使用像素颜色的方法，但是该方法在可能具有各种各样的照明条件的环境中不太鲁棒。对于该应用，使用涉及顺序图像的处理，其中激光光斑在一个图像中开，在下一图像中关。该方法涉及按照视频相机帧频的速率的一半(或其它整数除数)的速率循环开和关激光指示器，然后执行图像减法步骤以识别已改变的邻接集群像素。邻接集群的几何中心之间的差异将是像素距离(nPixels)，该像素距离可与距离d结合使用以计算比例因子并稍后显示以图形方式描绘该比例因子的比例指示物。
变化检测是用于确定两个或更多个图像之间的差异的处理。例如，可使用数字图像处理技术来确定变化区域。一个这种处理可涉及图像减法、模糊滤波和图像分割步骤。术语“数字图像处理”意指对图像或一系列图像的基于计算机的分析。术语“像素”是指构成2D数字图像的画面元素。分割是识别数字图像中具有相似性质的像素的处理。
图10是示出根据一个示例的用于处理图像以确定目标对象上的激光光斑之间的距离(单位为像素)的方法的步骤的图。视频相机130在时间T＝0.00、0.01、0.02和0.03捕获相应帧140a-d。当在时间T＝0.00和0.02捕获帧140a和140c时，激光指示器132a和132b关，而当在时间T＝0.01和0.03捕获帧140b和140d时，激光指示器132a和132b开。从帧140a减去帧140b以生成差图像142a；从帧140c减去帧140d以生成差图像142b。然后确定差图像142a和142b中的差异的位置。找到各个区域的几何中心并将其转换为像素坐标(x,y)。执行失真校正以补偿相机的光学系统，其中应用二维图像校正得到(x′,y′)。该校正可取决于例如镜头光学系统、变焦和聚焦水平。在一个示例中通过实验确定校正，并在运行时利用表查找来调用。在应用照明校正之后，确定出现在各个差图像中的差异(即，激光光斑的图像)。在一个示例中，执行逐像素差分运算，然后执行模糊滤波操作，然后执行图像分割操作。N×N模糊滤波器(例如，5×5内核)可用于平滑掉与图像关联的大部分高频噪声，并且可被调节以丢弃各种尺寸的区域。然后将模糊的图像分割成不同的非触摸区域。计算各个单独的区域的几何中心并将其存储在与各个图像对关联的列表中。然后计算与两个激光光斑对应的两个几何中心分隔开的像素数。
由于表示激光光斑的相应位置106和108的像素组将处于各个图像的相同水平条带中，所以图像处理仅需要图像的那部分。图11是示出用于以改进图像处理效率的方式处理图像以确定目标对象上的激光光斑之间的距离(单位为像素)的方法的步骤的图。例如，水平条带144a和144b可分别由帧140a和140b形成。然后从水平条带144a减去水平条带144b以形成差图像146。
概念的另一类示例是UAV包含两个或更多个激光测距仪的配置，其允许：测量到目标的距离、参考比例、以及UAV相对于目标的一个或更多个取向角。如果使用三个非共线安装的激光测距仪(这里未示出)，则可测量不止一个取向角(例如，偏航和俯仰)。
图12是示出能够获取经历非破坏性检查的对象的比例信息的空中UAV 20的示例的俯视图的图。还能够测量UAV 20与目标对象102之间的分隔距离D以及UAV 20相对于目标对象102的取向角。图12中所描绘的UAV 20的架构可与图3中所描绘的架构类似，不同的是按照平行配置布置的一对激光测距仪138a和138b代替了激光指示器132。
图12中所描绘的UAV 20包括框架22以及可旋转地安装到框架22的四个旋翼124a-124d。各个旋翼的旋转由安装到框架22的相应电机(图12中未示出)驱动。具有相互平行的轴线的一对激光测距仪138a和138b被固定地安装到框架22。当被激活时，激光测距仪138a和138b将相应相互平行的激光束引导到目标对象102的表面上的相应激光光斑。尽管图12中未示出，但UAV 20还包括安装到框架22的视频相机130(参见图3)。优选地，视频相机130的焦轴与激光测距仪138a和138b的瞄准方向相互平行。
在激光测距仪138a和138b的轴线不垂直于激光束所入射的目标对象102的表面部分的情况下，激光测距仪138a和138b与该表面分隔开的相应距离将不相等并且UAV 20将具有相对于该表面的非零取向角。在激光测距仪138a和138b的轴线垂直于激光束所入射的目标对象102的表面部分的情况下，激光测距仪138a和138b与该表面分隔开的相应距离将相等并且取向角将为零。因此，可使用激光测距仪138a和138b与目标对象102的相应分隔距离的测量来确定UAV 20相对于目标对象102的当前偏移和当前取向角，然后控制UAV 20以减小当前偏移相对于目标偏移的偏差以及当前取向角相对于目标取向角(例如，零度角)的偏差二者的方式移动。
可激活视频相机130以捕获其中两个激光光斑可见的图像。可处理(如下面详细描述的)该图像数据以推导像素信息，该像素信息与两个激光测距仪138a和138b的轴线分隔开的已知距离结合可用于确定比例因子。然后可使用该比例因子来将比例指示物显示于在UAV悬停在相同位置处的同时由视频相机130捕获的任何后续图像上。
对于多激光测距仪示例，由于已测量了与从相应激光测距仪到目标对象102的距离关联的信息，并且由于视频相机130的视场已知，所以可确定比例因子而无需图像处理步骤。从图像处理步骤可使用的部分是nPx，但其可使用下式根据FoV、平均距离D/n、L1和maxPx(其中，n是激光测距仪的数量)计算：
Figure BDA0001758305780000161
(注意：上述计算也需要图像失真校正步骤，或者更精确地，其逆过程。)
响应于来自控制站150(参见图3)的命令，视频相机130和激光测距仪138a和138b可由计算机系统162所发送(例如，经由电缆)的控制信号激活。计算机系统162还通过向电机控制器168发送命令来控制UAV 20的飞行，电机控制器168分别控制驱动旋翼124a-124d(参见图2)的旋转的相应电机148的旋转。
根据另选示例，UAV 20包括不止一个激光测距仪，其允许测量到目标对象的距离以及一个或更多个取向角。如果使用两个激光测距仪(如图12所示的示例中)，则可测量一个取向角(例如，偏航)。如果使用三个非共线安装的激光测距仪(图中未示出)，则可测量不止一个取向角(例如，偏航和俯仰)。根据该信息，可将比例因子显示给用户，或者可将运动约束应用于载具控制。
图13是标识根据一个示例的在结构的非破坏性检查期间操作无人驾驶飞行器的方法40的步骤的流程图，其中使用三个非共线安装的激光测距仪并测量偏航和俯仰取向角。方法40包括以下步骤：(a)控制无人驾驶飞行器朝着待检查的结构飞行(步骤42)；(b)在无人驾驶飞行器飞行的同时使用无人驾驶飞行器机载的三个激光测距仪来重复地测量(即，计算)激光测距仪与结构的表面上的相应光斑分隔开的相应距离(步骤44)；(c)至少基于在步骤44中计算的距离来计算无人驾驶飞行器与结构分隔开的第一分隔距离(步骤46)；(d)控制UAV维持相对于结构的指定分隔距离(例如，等于目标偏移)(步骤48)；(e)基于在步骤44中计算的距离来计算相机的焦轴相对于与结构的表面上的三个激光光斑相交的平面的偏航和俯仰取向角(步骤50)；(f)控制无人驾驶飞行器重新取向以使得相机的焦轴垂直于结构的表面(步骤52)；(g)在无人驾驶飞行器悬停在指定分隔距离(例如，第一位置)处的同时使用无人驾驶飞行器机载的相机来捕获结构的图像(步骤54)；(h)至少部分地基于分隔距离和相机的视场来计算显示在显示屏上时图像的比例因子(步骤56)；(i)显示叠加有比例指示物的图像，比例指示物的值或长度表示比例因子(步骤58)；以及(j)确定是否继续反馈控制模式(步骤60)。如果在步骤60中确定应该继续反馈控制模式，则处理返回到步骤44。如果在步骤60中确定不应继续反馈控制模式，则恢复先前UAV飞行模式(步骤62)。
根据图3中所描绘的配置，由收发器160发送由UAV 20机载的设备获取的数据(即，由激光测距仪138a和138b获取的测量数据以及由视频相机130获取的图像数据)。该消息被地面上的控制站150接收。控制站150处的计算机系统从消息提取表示图像的图像数据并通过根据图像数据控制显示屏的像素的状态使其显示在显示监视器152的屏幕上。
根据运动控制功能的一个方面，UAV 20可被控制以在维持分隔距离的同时平移到第二位置。然后，在无人驾驶飞行器悬停在第二位置处的同时，视频相机130被激活以捕获结构的第二图像，该第二图像可被显示在显示屏上。在一些情况下，第一和第二图像可分别包括表示结构的表面上的部分交叠或邻接区域的第一和第二组图像数据。
根据运动控制功能的另一方面，计算机系统162可包括运动控制器，其被编程以在无人驾驶飞行器从第一位置移动到第二位置之后检测分隔距离相对于目标偏移的偏差，然后控制无人驾驶飞行器飞到分隔距离等于目标偏移的第三位置，从而将偏差减小为零。运动控制器还可被编程以执行以下操作：基于第一、第二和第三距离来计算相机的焦轴相对于结构的表面的取向角；在无人驾驶飞行器悬停在第一位置处的同时检测相对于期望的取向角的偏差；以及控制无人驾驶飞行器改变其取向以使得取向角等于期望的取向角。
图14示出根据另选示例的用于检查结构的系统。所描绘的系统包括可围绕需要定期检查的结构移动的远程控制空中UAV 20。在此示例中，UAV 20是旋翼飞行器并且待检查的结构是结构工字梁100。尽管目标结构被示出为结构工字梁100，但该系统同样适合用于检查各种其它结构，包括但不限于电力线、发电设施、电网、水坝、堤坝、体育馆、大型建筑、大型天线和望远镜、储罐、集装箱、水处理设施、炼油厂、化学加工厂、高层建筑以及与电力机车和单轨支撑结构关联的基础设施。该系统还特别适合用在诸如制造设施和仓库的大型建筑内。
在一些示例中，UAV 20可包括机载系统，其能够根据预编程的飞行计划来导航UAV20并且允许获取针对结构工字梁100的检查数据。在一些示例中，可由操作者使用无线UAV和有效载荷控制器110(包括壳体112、控制用户接口组件114、视频显示器116和天线118)使UAV 20沿着飞行路径飞行。所获取的检查数据包括由视频相机130捕获的图像数据以及来自UAV 20机载的一个或更多个其它传感器的传感器数据。UAV 20所承载的预编程的飞行计划使得UAV 20能够遵循飞行路径到达靠近结构工字梁100的位置。在一些示例中，可使用不止一个UAV 20来形成载具“群”，其可允许在比单个UAV更短的时间内检查结构的各种区域。
图14中所描绘的UAV 20包括框架22以及可旋转地安装到框架22的四个旋翼124a-124d。各个旋翼的旋转由安装到框架22的相应电机(图14中未示出)驱动。UAV 20还包括安装到框架22的机载本地定位系统38。本地定位系统38包括：云台机构120；视频相机130，其被安装到云台机构120；以及激光测距仪138，其按照使得视频相机130的焦轴与激光测距仪138的瞄准方向相互平行的方式附连到相机130。在图14中所描绘的示例中，激光测距仪138的瞄准方向矢量134由虚线指示，该虚线还表示由激光测距仪138发射并入射在结构工字梁100的表面上以形成激光光斑104的激光束。
视频相机130可具有自动(远程控制)变焦能力。视频相机130被支撑在云台机构120上。云台机构120包括摇摄单元126和倾斜单元128。摇摄单元126、倾斜单元128、视频相机130和激光测距仪138可由机载计算机系统(图14中未示出，但参见图15中的计算机系统162)操作。计算机系统162继而可被配置为从可由地面上的技术人员操作的无线UAV和有效载荷控制器110接收命令。
图15是标识根据另选示例的使用远程控制UAV 20执行结构的非破坏性检查的系统的一些组件的框图。在此示例中，UAV 20以及UAV 20所承载的设备由计算机系统162根据控制站150所发送的射频命令来控制。这些射频命令被UAV 20机载的收发器160接收，被转换为适当的数字格式，然后被转发给计算机系统162。控制站150可包括通用计算机系统，其利用编程配置以用于控制UAV 20以及UAV 20机载的设备的操作。例如，可使用控制站150处的计算机系统的键盘、鼠标、触摸板或触摸屏或者其它用户接口硬件(例如，游戏手柄)来控制云台机构120的摇摄和倾斜角度以及因此视频相机130的取向。另外，控制站150处的计算机系统利用编程配置以用于在检查操作期间处理从UAV 20接收的数据。特别是，控制站150的计算机系统可包括显示处理器，其利用软件配置以用于控制显示监视器152显示由视频相机130获取的图像。由视频相机130看到的光学图像场可显示在显示监视器152上。
如前所述，UAV 20机载的设备包括云台机构120、视频相机130和激光测距仪138，其全部可由计算机系统162所发送(例如，经由电缆)的控制信号激活。计算机系统162还通过向电机控制器168发送命令来控制UAV 20的飞行，电机控制器168分别控制驱动旋翼124a-124d(参见图14)的旋转的相应电机148的旋转。
根据一个示例，云台机构120包括：摇摄单元126(参见图14)，其被配置为使相机130(以及安装到其上的激光测距仪138)绕摇摄轴124旋转；以及倾斜单元128(参见图14)，其被配置为响应于从计算机系统162(参见图15)接收的控制信号使相机130(以及安装到其上的激光测距仪138)绕与摇摄轴正交的倾斜轴旋转。云台机构120中的诸如伺服电机等的致动器(图中未示出)可从计算机系统162接收控制信号并通过调节相机130绕摇摄和倾斜轴的角旋转以及相机130/激光测距仪138绕摇摄和倾斜轴旋转的角速度来响应。云台机构120还包括摇摄和倾斜旋转编码器(图中未示出)，其将表示当前角位置数据的信号发送回计算机系统162。施加到云台机构120的控制信号可由计算机系统162 108响应于用户指令(例如，作为控制站150的一部分的输入装置的操纵)或自动路径生成器计算。
控制云台机构120以绕摇摄和倾斜轴将激光测距仪138和视频相机130旋转地调节至所选角度。当激光测距仪138瞄准结构工字梁100上的兴趣点时，从摇摄和倾斜角度确定描述激光测距仪138(和视频相机130的焦轴)相对于UAV 20的框架22的固定坐标系的取向的瞄准方向矢量134。
激光测距仪138可被并入视频相机130的壳体内或者被安装到视频相机130的外部，使得其沿着瞄准方向矢量134发射激光束。激光测距仪138被配置为测量到结构工字梁100上的任何可见特征或附接到结构工字梁100的任何标记的距离。根据一些示例，激光测距仪138使用激光束来确定到结构工字梁100的距离。最常见形式的激光测距仪按照飞行时间原理，通过朝着结构工字梁100在窄光束中发送激光脉冲并测量脉冲从结构工字梁100反射并返回到并入激光测距仪138内的光电检测器所花费的时间来操作。利用已知的光速以及所进行的精确时间测量，可计算从激光测距仪138到激光光斑104的距离。在UAV 20悬停在一个位置的同时顺序地发射许多脉冲，并且最常见的是使用平均响应。
再参照图15，UAV 20机载的设备还包括惯性测量单元166(以下，“IMU 166”)。惯性测量单元通过使用一个或更多个加速度计检测线加速度并使用一个或更多个陀螺仪检测旋转速率来工作。在典型配置中，惯性测量单元针对三个载具轴线中的每一个轴线包括一个加速度计和一个陀螺仪：俯仰、横滚和偏航。计算机系统162还可包括配置有惯性导航软件的单独处理器，其利用原始IMU测量来计算相对于全局参考系的姿态、角速率、线速度和位置。从IMU 166收集的数据使得计算机系统162能够使用称为航位推算的方法来跟踪UAV的位置。
图16是示出具有本地定位系统38的空中UAV 20的俯视图的图，本地定位系统38包括指向目标对象102的视频相机130和激光测距仪138。由激光测距仪138发射的激光束入射在激光光斑104处的目标102的表面上。视频相机130的视场136(由一对虚线指示)的角度在图16中由标记为“ang”的弧指示。瞄准方向矢量134从激光测距仪138延伸到激光光斑104并具有长度D(下面也称为激光测距仪138与目标对象102分隔开的“距离D”)。
根据一个示例，距离D由激光测距仪138测量，而视场136的角度已知。当正在显示由视频相机130捕获的图像时，该信息可用于在显示监视器152(参见图15)的屏幕上覆盖或叠加尺寸比例指示物。如果到目标对象102的距离D已知，则显示监视器152的屏幕上的图像中所显示的比例信息允许用户测量所显示的图像中的对象的尺寸。比例指示物可以是显示器上的图像的总水平和垂直尺寸或者在屏幕的一部分上显示比例因子数据的同屏叠加的形式。这为由视频相机130捕获并显示在显示监视器152的屏幕上的图像中的场景提供了尺寸背景。
已知的相机视场角度由下式给出：
ang＝2*atan(SCRx/(2D))
图像X和Y值由下式给出：
SCRx＝D*tan(ang/2)
SCRy＝ratio*SCRx
其中D是由激光测距仪138测量的到目标对象表面的距离，“ratio”是图像长宽比(已知)，即，图像宽度w与图像高度h之比。
根据另外的示例，完全机动化的云台机构120可用于独立于UAV飞行控制来瞄准激光测距仪138，以获取目标对象102的表面上的两个点分隔开的距离的直接测量。假设平移偏移为零或可测量，则可使用本地定位系统38的所有基本特征。
根据另选示例，可仅使用单个动力和测量轴万向节(倾斜或俯仰轴)。对于UAV，与载具关联的总偏航(摇摄)也可用于在不改变载具位置的情况下指示激光测距仪138，但是改变UAV 20的俯仰将使得UAV 20平移。为了解决此问题，可使用用于激光测距仪138的单独的机动化俯仰控制器。
图17是标识使用承载本地定位系统38的UAV 20确定待检查的结构的表面上的特征的尺寸(即，测量点到点距离)的方法170的步骤的流程图。方法170包括以下步骤：(a)控制UAV 20朝着待检查的结构飞行，然后悬停在与该结构分隔开的第一位置处(步骤172)；(b)在UAV悬停在第一位置处的同时将激光测距仪138瞄准与结构的表面上的第一可见特征对应的第一点(步骤174)并获取第一距离测量(步骤176)；(c)当激光测距仪138瞄准第一点时使用云台机构120测量激光测距仪138的相应摇摄和倾斜角度(步骤178)；(d)将在步骤176和178中获取的距离和角度测量转换为表示第一点在处于第一位置的UAV 20的参考系中的位置的第一矢量(步骤180)；(e)在UAV 20悬停在第二位置处的同时将激光测距仪138瞄准与结构的表面上的第二可见特征对应的第二点(步骤182)并获取第二距离测量(步骤184)；(f)当激光测距仪138瞄准第二点时使用云台机构120测量激光测距仪138的相应摇摄和倾斜角度(步骤186)；(g)将在步骤184和186中获取的距离和角度测量转换为表示第二点在处于第二位置的UAV 20的参考系中的位置的第二矢量(步骤188)；(h)使用IMU 186来测量UAV在从第一位置飞行到第二位置期间的加速度和旋转速率(步骤190)；(i)基于在步骤190中获取的信息来生成表示UAV 20的第一和第二位置之间的位置差和取向差的变换矩阵(步骤192)；(j)将第二矢量乘以变换矩阵以形成表示第二点在处于第一位置的UAV 20的参考系中的位置的第三矢量(步骤194)；以及(k)使用第一和第三矢量来计算第一和第二点之间的距离(步骤196)。
根据一个示例，前一段中描述的方法还包括：(l)从UAV 20发送包含在步骤176、178、184、186和190中获取的测量数据的一个或更多个消息；(m)在地面站(例如，控制站150(参见图15))处的计算机系统处接收所述一个或更多个消息；以及(n)从消息提取测量数据，其中，步骤180、188、192、194和196由地面工作站处的计算机系统执行。该方法还可包括：在UAV悬停在第一位置处的同时，使用视频相机130捕获包括第一和第二可见特征的结构的表面的一部分的图像；以及在地面工作站处的计算机系统的显示屏上显示图像以及叠加在图像上的表示在步骤196中计算的距离值的符号。例如，第一和第二可见特征可以是结构中的异常(例如，裂缝)的相应端点。
图18是示出使用上述UAV 20生成表示从目标对象上的第一点到目标对象上的第二点的距离和方向的矢量的上述方法的矢量图。由于使用单个激光测距仪来直接测量两个点的坐标，所以使用公共参考位置来确定两个点之间的距离。在这种情况下，用户确定在获取第一点在本地定位系统38(和UAV 20)的第一参考系中的坐标期间UAV 20的第一位置与在获取第二点在本地定位系统的相对于第一参考系偏移的第二参考系中的坐标期间UAV20的第二位置之间的差异。使用所获取的坐标位置数据，生成表示本地定位系统38的第一和第二参考系之间的位置差和取向差的变换矩阵(即，在进行第一和第二测量的时刻UAV20的第一和第二位置之间的差异)。
在图18中看到的矢量图示出了前一段中描述的配置。在相应顶点处相遇的两对相互正交的箭头以图形方式描绘了相应参考系(各个参考系的相应第三相互正交的轴线未示出，以避免图中的混乱)。左手一对箭头表示处于第一位置的UAV 20的参考系A，而右手一对箭头表示处于第二位置的UAV 20的参考系B。参考系B相对于参考系A的位置偏移在图18中由变换矩阵
Figure BDA0001758305780000221
表示，该变换矩阵是描述参考系{B}相对于参考系{A}的4×4齐次变换矩阵。在这种情况下，参考系{B}相对于参考系{A}的位置和取向可从IMU 166所获取的数据确定。
当UAV 20处于第一位置时从激光测距仪138(图18中未示出)到目标对象102的表面上的第一点P1的距离由从参考系{A}的原点延伸的矢量AP1的长度表示。当UAV 20处于第二位置时从激光测距仪138到目标对象102的表面上的第二点P2的距离由从参考系{B}的原点延伸到第二点P2的矢量BP2的长度表示。然后将矢量BP2乘以变换矩阵
Figure BDA0001758305780000231
以将其转换为在参考系{A}中定义的矢量。所得乘积为：
Figure BDA0001758305780000232
矢量AP2的大小(即，长度)表示当UAV 20处于第一位置时从激光测距仪138到第二点P2的距离。距离d从这两个矢量之差来确定，该操作可表示如下：
d＝│AP2-AP1│
以等同的方式，点P1和P2之间的距离d是连接两个点的3D矢量的大小(即，欧几里德范数)。其被计算为所测量的点坐标的各个分量(即，x、y和z值)的差的平方和的平方根。该式的一般形式为：
Figure BDA0001758305780000233
所得距离值与目标对象102的包括点P1和P2的表面部分的相机图像一起显示(例如，叠加或虚拟地覆盖)在显示监视器152的屏幕上。可选地，可在两个点之间绘制线以显示背景。
在非破坏性检查操作期间UAV 20的飞行可受到各种运动约束，这些运动约束被设计为使UAV 20更易于用户控制以用于特定类型的任务。术语“运动约束”应该被给予普通运动学定义。通常，运动约束从对象的运动移除一个或更多个自由度(DoF)。例如，自由空间中的单个刚体对象具有六个自由度(即，x、y、z、横滚、俯仰和偏航)，但是当例如通过将刚体对象放置在桌子上(在具有重力的位置)而约束刚体对象时，自由度的数量减少到三个(即，x、y和偏航)。在此示例中，桌子的平坦表面引入了从系统移除三个自由度的运动约束。在另一示例中，如果旋转(回转)关节附接在6-DoF对象与另一固定位置对象之间，则旋转关节通过从系统移除五个自由度而将对象的运动约束为一个自由度(即，绕回转关节的轴线的旋转)。这些示例是物理运动约束，但是运动约束也可应用于软件中以从受控运动移除一个或更多个自由度(这是本公开中所提出的)。
对于涉及UAV及其操作者的系统(其在标准操作中可控制自由空间中的六个自由度)，使用距离测量信息来约束UAV的运动以使得UAV的一个或更多个自由度不可直接由操作者控制。例如，如果(使用来自激光测距仪的实时测量数据)将运动约束应用于到目标对象的距离，则系统将尝试将UAV保持在该指定的距离。这并不意味着低级控制器仍无法控制六个自由度。相反，这意味着从操作者的角度，存在其无法直接控制的一个(或更多个)轴线。如果阵风试图在运动约束的方向上推动UAV，则低级控制器将提供运动控制以对此进行补偿而无需用户输入。这在期望维持相对于目标对象的特定偏移的条件下是有用的。其在提供虚拟边界或避免碰撞方面也是有用的。
一旦获取了测量数据，其就可被显示给用户或用于附加能力(例如，提供可用于载具控制的运动约束)。这种扩展允许基于来自传感器的数据反馈和推导的测量数据对UAV20的运动控制能力。这带来提供对系统的半自动控制以及更直观的手动控制的能力。
对于采用激光指示器的示例，可添加到控制系统的运动约束的类型仅是与位置关联的那些，因为这些示例不测量取向。除了确定距离之外，具有两个或更多个激光测距仪的示例还具有测量UAV 20相对于目标对象102的取向的能力。这允许具有不止一个激光测距仪以控制UAV 20相对于目标对象102的位置和取向二者的示例。
图19是标识根据一个示例的基于由载具88机载的设备获取的测量数据来控制载具88的运动的反馈控制处理80的步骤的框图。首先，用户或代理输入关于载具88的目标距离和取向的命令(步骤82)，这些输入被求和接点84接收。求和接点84还从被配置为计算距离和取向的距离和取向计算软件模块接收距离和取向数据(步骤94)。求和接点84从所命令的距离减去所计算的距离，并从所命令的取向减去所计算的取向。所得偏差被输出到被配置为计算控制信号的控制信号计算软件模块，所述控制信号被计算以减小偏差(步骤86)。基于来自求和接点84的输出，控制信号计算软件模块将控制信号输出到载具80机载的运动致动器90(例如，旋翼电机控制器)。在载具80飞行期间，传感器获取传感器数据(步骤92)，该传感器数据用于计算距离和取向(步骤94)。
根据一些示例，计算机系统162使用机载对准方法来确定视频相机130相对于目标对象102的相对位置(位置和取向)偏移。该处理使用来自三个激光测距仪的距离信息来实时计算相对位置。然后，计算机系统162使用该数据来生成UAV 20的期望的基于反馈的运动。
该处理所允许的一种形式的控制是半自动控制，以在对准的某一方面(例如，视频相机130的取向)辅助操作者以确保其焦轴始终垂直于目标对象的表面或确保其始终距表面特定距离。
更具体地讲，计算机系统162被配置(例如，编程)为基于从激光测距仪接收的距离信息来确定将视频相机130的焦轴与垂直于目标对象的表面的矢量对准需要什么运动。计算机系统162向所选电机控制器168发送命令信号以根据需要激活电机148以使UAV 20取向，以使得视频相机130的焦轴与表面法线对准。
除了使用三个激光测距仪确定到目标对象的距离之外，其还用于确定偏航和俯仰取向角(以下，“偏航角度”和“俯仰角度”)。出于例示的目的，假设三个激光测距仪被设置在等腰三角形的顶点处，使得设置在等腰三角形的底边的顶点处的两个激光测距仪分隔开的距离为a，并且第三激光测距仪与等腰三角形的底边的中点分隔开的距离(即，等腰三角形的高度)为b。假设d1、d2和d3是相应激光测距仪到目标对象的表面的相应测量距离。式(2)和(3)可用于计算俯仰和偏航角度：
PitchAngle＝atan2(d1-(d2+d3)/2,b) (2)
YawAngle＝atan2(d2-d3,a) (3)
其中PitchAngle和YawAngle是当前计算的相对于目标对象的表面的取向角，atan2是两个自变量的反正切反三角函数。相对于当前位置处的表面法线测量的这些角度的目标是等于零；下面描述实现目标角度的处理。
利用所计算的当前偏航和俯仰角度，系统运动控制器可针对受控运动使用速度控制方法：摇摄、倾斜和距离。可使用诸如比例-积分-微分(PID)控制器的反馈控制器来驱动当前角度与期望的角度之间的误差为零。可使用式(4)和(5)来计算俯仰和偏航运动控制：
PitchRate＝Kppitch*(PitchAngle-PitchAnglegoal) (4)
YawRate＝Kpyaw*(YawAngle-YawAnglegoal) (5)
其中PitchRate和YawRate分别描述绕对准设备的俯仰轴和基座的偏航轴的角旋转速率；Kppitch和Kpyaw分别是与俯仰轴和偏航轴关联的比例反馈增益；PitchAngle和YawAngle分别是从式(2)和(3)计算的角度；PitchAnglegoal和YawAnglegoal是控制器将系统朝其驱动的期望的目标角度(如早前提及的，对于此示例，这些均为零)。也可使用积分和微分反馈，但这里未示出。
此外，本公开包括根据以下条款的示例：
条款1.一种操作无人驾驶飞行器的方法，该方法包括：(a)控制无人驾驶飞行器朝着结构飞行；(b)在无人驾驶飞行器飞行的同时，使用无人驾驶飞行器机载的第一和第二激光测距仪来重复地测量第一和第二激光测距仪与结构的表面上的相应第一和第二光斑分别分隔开的第一和第二距离；(c)至少基于第一和第二距离来计算无人驾驶飞行器与结构分隔开的第一分隔距离；(d)确定第一分隔距离是否等于目标偏移；(e)响应于在步骤(d)中确定分隔距离等于目标偏移，控制无人驾驶飞行器悬停在与结构分隔开第一分隔距离的第一位置处；(f)在无人驾驶飞行器悬停在第一位置处的同时，使用无人驾驶飞行器机载的相机来捕获结构的第一图像；以及(g)将第一图像显示在显示屏上。
条款2.根据条款1所述的方法，其中，第一和第二距离等于目标偏移，该方法还包括：至少部分地基于分隔距离和相机的视场来计算当显示在显示屏上时第一图像的比例因子；以及显示叠加在显示屏上显示的第一图像上的比例指示物，比例指示物的值或长度表示比例因子。
条款3.根据条款1所述的方法，其中，显示屏不是无人驾驶飞行器机载的，该方法还包括：从无人驾驶飞行器发送包含表示第一图像的图像数据的消息；在地面站处接收消息；以及从消息提取表示第一图像的图像数据，其中，将第一图像显示在显示屏上的步骤包括根据图像数据来控制显示屏的像素的状态。
条款4.根据条款1所述的方法，该方法还包括：控制无人驾驶飞行器在维持分隔距离的同时平移至第二位置；在无人驾驶飞行器悬停在第二位置处的同时，使用相机捕获结构的第二图像；以及将第二图像显示在显示屏上。
条款5.根据条款4所述的方法，其中，第一和第二图像分别包括表示结构的表面上的部分交叠或邻接区域的第一和第二组图像数据。
条款6.根据条款1所述的方法，该方法还包括：基于第一和第二距离来计算相机的焦轴相对于连接结构的表面上的第一和第二光斑的线的取向角；至少部分地基于分隔距离和取向角来计算当显示在显示屏上时第一图像的比例因子；以及显示叠加在第一图像上的比例指示物，该比例指示物的值或长度表示比例因子。
条款7.根据条款1所述的方法，该方法还包括：在无人驾驶飞行器飞行的同时，使用无人驾驶飞行器机载的第三激光测距仪来重复地测量第三激光测距仪与结构的表面上的第三光斑分隔开的第三距离，其中，分隔距离基于第一、第二和第三距离来计算。
条款8.根据条款7所述的方法，该方法还包括：基于第一、第二和第三距离来计算相机的焦轴相对于由结构的表面上的第一、第二和第三光斑限定的平面的第一和第二取向角；基于分隔距离和第一和第二取向角来计算当显示在显示屏上时第一图像的比例因子；以及显示叠加在第一图像上的比例指示物，该比例指示物的值或长度表示比例因子。
条款9.根据条款1所述的方法，该方法还包括：在无人驾驶飞行器从第一位置移动到第二位置之后，检测分隔距离相对于目标偏移的偏差；以及控制无人驾驶飞行器飞行到分隔距离等于目标偏移的第三位置，从而将偏差减小至零，其中，无人驾驶飞行器朝着第三位置飞行的控制由无人驾驶飞行器机载的运动控制器提供。
条款10.根据条款1所述的方法，该方法还包括：基于第一、第二和第三距离来计算相机的焦轴相对于结构的表面的取向角；在无人驾驶飞行器悬停在第一位置处的同时，检测取向角相对于期望的取向角的偏差；以及控制无人驾驶飞行器改变其取向以使得取向角等于期望的取向角，其中，无人驾驶飞行器的取向的控制由无人驾驶飞行器机载的运动控制器提供。
条款11.一种操作无人驾驶飞行器的方法，该方法包括：(a)控制无人驾驶飞行器悬停在与结构分隔开的位置处；(b)将可枢转地安装在无人驾驶飞行器上的第一和第二激光指示器平行地指向结构的表面，第一和第二激光指示器的相应枢轴分隔开固定距离；(c)在无人驾驶飞行器悬停在该位置处的同时，使用相互平行的第一和第二激光指示器将相互平行的激光束分别发射到第一和第二光斑上；(d)第一次使用无人驾驶飞行器机载的相机来捕获包括第一和第二光斑的结构的表面的一部分的第一图像；(e)在无人驾驶飞行器悬停的同时使第一和第二激光指示器枢转预定义的角度，以使得第一和第二激光指示器不再平行；(f)在无人驾驶飞行器悬停在该位置处的同时，使用枢转的第一和第二激光指示器将非平行的激光束传输到结构的表面上的相应第三和第四光斑上；(g)第二次使用相机捕获包括第三和第四光斑的结构的表面部分的第二图像；以及(h)处理第一和第二图像以基于图像中的第三和第四光斑的位置、预定义的角度以及激光指示器的枢轴分隔开的固定距离来计算无人驾驶飞行器与结构分隔开的第一分隔距离。
条款12.根据条款11所述的方法，其中，步骤(h)还包括计算第三和第四光斑的相应中心分隔开的第二分隔距离，该方法还包括基于第二分隔距离来计算当显示在地面站处的计算机系统的显示屏上时第一和第二图像的比例因子。
条款13.根据条款12所述的方法，该方法还包括：(i)从无人驾驶飞行器发送包含表示第一和第二图像的图像数据的消息；(j)在地面站处的计算机系统处接收该消息；以及(k)从消息提取表示第一图像的图像数据，其中，步骤(k)由地面站处的计算机系统执行。
条款14.根据条款12所述的方法，该方法还包括：使用相机捕获结构的表面的一部分的第三图像；以及将叠加在第三图像上的比例指示物显示在显示屏上，该比例指示物的值或长度表示比例因子。
条款15.一种使用无人驾驶飞行器来确定结构的特征的尺寸的方法，该无人驾驶飞行器包括支撑相机和激光测距仪的云台机构以及惯性测量单元，该方法包括：(a)控制无人驾驶飞行器朝着待检查的结构飞行然后悬停在与该结构分隔开的第一位置处；(b)在无人驾驶飞行器悬停在第一位置处的同时将激光测距仪瞄准与结构的表面上的第一可见特征对应的第一点并获取第一距离测量；(c)当激光测距仪瞄准第一点时，使用云台机构来测量激光测距仪的相应摇摄和倾斜角度；(d)将在步骤(b)和(c)中获取的距离和角度测量转换为第一矢量，该第一矢量表示第一点在处于第一位置的无人驾驶飞行器的参考系中的位置；(e)在无人驾驶飞行器悬停在第二位置处的同时将激光测距仪瞄准与结构的表面上的第二可见特征对应的第二点并获取第二距离测量；(f)当激光测距仪瞄准第二点时，使用云台机构来测量激光测距仪的相应摇摄和倾斜角度；(g)将在步骤(e)和(f)中获取的距离和角度测量转换为第二矢量，该第二矢量表示第二点在处于第二位置的无人驾驶飞行器的参考系中的位置；(h)使用惯性测量单元来测量在从第一位置飞行到第二位置期间无人驾驶飞行器的加速度和旋转速率；(i)基于在步骤(h)中获取的信息来生成变换矩阵，该变换矩阵表示无人驾驶飞行器的第一和第二位置之间的位置差和取向差；(j)将第二矢量乘以变换矩阵以形成第三矢量，该第三矢量表示第二点在处于第一位置的无人驾驶飞行器的参考系中的位置；以及(k)使用第一和第三矢量来计算第一和第二点之间的距离(d)。
条款16.根据条款15所述的方法，该方法还包括：(l)从无人驾驶飞行器发送包含在步骤(b)、(c)、(e)、(f)和(h)中获取的测量数据的一个或更多个消息；(m)在地面站处的计算机系统处接收所述一个或更多个消息；以及(n)从消息提取测量数据，其中，步骤(d)、(g)和(i)至(k)由地面工作站处的计算机系统执行。
条款17.根据条款16所述的方法，该方法还包括：在无人驾驶飞行器悬停在第一位置处的同时，使用相机来捕获包括第一和第二可见特征的结构的表面的一部分的图像；以及在地面工作站处的计算机系统的显示屏上显示图像以及叠加在图像上的表示在步骤(k)中计算的距离值的符号。
条款18.根据条款15所述的方法，其中，第一和第二可见特征是结构中的异常的相应端点。
条款19.一种无人驾驶飞行器，该无人驾驶飞行器包括：框架；多个旋翼，其被可旋转地安装到框架；多个电机，其分别连接以驱动所述多个旋翼中的旋翼的旋转；多个电机控制器，其用于控制所述多个电机的操作；云台机构，其被安装到框架；相机，其被安装到云台机构；激光测距仪，其被安装到云台机构；计算机系统，其被配置为向电机控制器发送命令，控制云台机构的操作，并且选择性地激活相机和激光测距仪；惯性测量单元，其被安装到框架，并且被配置为向计算机系统发送线加速度和旋转速率数据；以及收发器，其被配置为允许计算机系统与控制站之间的通信，其中，计算机系统还被配置为：接收来自相机的图像数据、来自云台机构的摇摄和倾斜角度数据、来自激光测距仪的距离数据以及来自惯性测量单元的线加速度和旋转速率数据；确定无人驾驶飞行器相对于结构的第一位置；并且向电机控制器发送第一命令以使无人驾驶飞行器从第一位置飞到第二位置，在该第二位置处，相机与结构的表面分隔开目标偏移。
条款20.一种无人驾驶飞行器，该无人驾驶飞行器包括：框架；多个旋翼，其被可旋转地安装到框架；多个电机，其分别连接以驱动所述多个旋翼中的旋翼的旋转；多个电机控制器，其用于控制所述多个电机的操作；相机；第一、第二和第三激光指示器；计算机系统，其被配置为向电机控制器发送命令并选择性地激活相机和第一至第三激光指示器；以及收发器，其被配置为允许计算机系统与控制站之间的通信，其中，第一和第二激光指示器按照相互平行的关系固定到框架，并且第三激光指示器可枢转地联接到框架。
尽管参照各种示例描述了在结构的非破坏性检查期间控制无人驾驶飞行器的操作的方法，但本领域技术人员将理解，在不脱离本文的教导的范围的情况下，可进行各种改变并且等同物可替代其元件。另外，在不脱离其范围的情况下，可进行许多修改以使本文的教导适应特定情况。因此，权利要求旨在不限于本文所公开的特定示例。
如权利要求中所用，术语“位置”包括在三维坐标系中的位置以及相对于该坐标系的取向。
本文所描述的方法可被编码为具体实现在非暂时性有形计算机可读存储介质中的可执行指令，包括(但不限于)存储装置和/或存储器装置。这些指令在由处理或计算系统执行时使得系统装置执行本文所描述的方法的至少一部分。
下文中阐述的过程权利要求不应被解释为要求其中所述的步骤按照字母顺序(权利要求中的任何字母顺序仅用于引用前述步骤的目的)或按照其叙述顺序执行，除非权利要求语言明确地指明或陈述指示执行那些步骤中的一些或全部的特定顺序的条件。过程权利要求也不应被解释为排除同时或交替执行的两个或更多个步骤的任何部分，除非权利要求语言明确地陈述排除这种解释的条件。

Claims (5)

1.一种用于操作无人驾驶飞行器(20)获取用于经历非破坏性检查的结构的比例信息的方法，该方法包括以下步骤：
(a)控制无人驾驶飞行器(20)朝着结构(18,72)飞行，其中，所述无人驾驶飞行器(20)被提供有机载传感器和处理技术来提供可用于在由视频相机(130)捕获的图像上显示比例指示物的比例因子；
(b)在所述无人驾驶飞行器飞行的同时，使用所述无人驾驶飞行器(20)机载的第一激光指示器(132a)和第二激光指示器(132b)来重复地从由所述视频相机(130)获取的第一光斑(106)和第二光斑(108)的图像(70)测量所述第一光斑(106)和所述第二光斑(108)分隔开的距离，所述第一光斑(106)和所述第二光斑(108)由所述第一激光指示器(132a)和所述第二激光指示器(132b)在所述结构的表面上产生，其中，所述视频相机(130)的视场与所述第一激光指示器(132a)的瞄准方向(134a)和所述第二激光指示器(132b)的瞄准方向(134b)重叠；
(c)至少基于所述第一光斑(106)和所述第二光斑(108)分隔开的所述距离计算所述无人驾驶飞行器与所述结构分隔开的分隔距离(D)；
(d)确定所述分隔距离(D)是否等于目标偏移；
(e)响应于在步骤(d)中确定所述分隔距离等于所述目标偏移，控制所述无人驾驶飞行器悬停在与所述结构分隔开所述分隔距离(D)的第一位置处；
(f)在所述无人驾驶飞行器悬停在所述第一位置处的同时，使用所述无人驾驶飞行器机载的所述相机(130)捕获所述结构的第一图像；以及
(g)将所述第一图像显示在显示屏(116,152)上，
其中，当所述分隔距离(D)等于所述目标偏移时，该方法还包括以下步骤：
通过所述第一光斑(106)和所述第二光斑(108)分隔开的所述距离与在所述图像(70)中在所述第一光斑(106)和所述第二光斑(108)之间的像素数nPx的比例来计算当显示在所述显示屏上时所述第一图像的所述比例因子，
其中，所述比例指示物(76)被叠加在所述显示屏上显示的所述第一图像上，所述比例指示物的值或长度表示所述比例因子。
2.根据权利要求1所述的方法，其中，所述显示屏不是所述无人驾驶飞行器机载的，该方法还包括以下步骤：
从所述无人驾驶飞行器发送包含表示所述第一图像的图像数据的消息；
在地面站(150)处接收所述消息；以及
从所述消息提取表示所述第一图像的所述图像数据，
其中，将所述第一图像显示在所述显示屏上的步骤包括根据所述图像数据控制所述显示屏的像素的状态。
3.根据权利要求1所述的方法，该方法还包括以下步骤：
控制所述无人驾驶飞行器在维持所述分隔距离的同时平移至第二位置；
在所述无人驾驶飞行器悬停在所述第二位置处的同时，使用所述相机捕获所述结构的第二图像；以及
将所述第二图像显示在所述显示屏上。
4.根据权利要求3所述的方法，其中，所述第一图像和第二图像分别包括表示所述结构的表面上的部分交叠或邻接区域的第一组和第二组图像数据。
5.根据权利要求1所述的方法，该方法还包括以下步骤：
在所述无人驾驶飞行器已经从所述第一位置移动到第二位置之后，检测所述分隔距离相对于所述目标偏移的偏差；以及
控制所述无人驾驶飞行器飞行到所述分隔距离等于所述目标偏移的第三位置，从而将所述偏差减小至零，
其中，所述无人驾驶飞行器朝着所述第三位置飞行的控制由所述无人驾驶飞行器机载的运动控制器(162)提供。
CN201810896517.1A 2017-09-25 2018-08-08 用于空中非破坏性检查的定位系统 Active CN109556577B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/714,662 2017-09-25
US15/714,662 US10788428B2 (en) 2017-09-25 2017-09-25 Positioning system for aerial non-destructive inspection

Publications (2)

Publication Number Publication Date
CN109556577A CN109556577A (zh) 2019-04-02
CN109556577B true CN109556577B (zh) 2022-11-29

Family

ID=62495700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810896517.1A Active CN109556577B (zh) 2017-09-25 2018-08-08 用于空中非破坏性检查的定位系统

Country Status (8)

Country Link
US (1) US10788428B2 (zh)
EP (1) EP3460392A3 (zh)
JP (1) JP7260269B2 (zh)
KR (1) KR20190035496A (zh)
CN (1) CN109556577B (zh)
BR (1) BR102018012662B1 (zh)
CA (1) CA3006155C (zh)
SG (1) SG10201804546TA (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
JP6715340B2 (ja) * 2016-10-14 2020-07-01 富士フイルム株式会社 撮影計画生成装置、撮影計画生成方法、およびプログラム
GB2556644B (en) 2017-02-28 2018-11-28 Matthew Russell Iain Unmanned aerial vehicles
JP6957304B2 (ja) * 2017-10-13 2021-11-02 アルパイン株式会社 架線撮影システム及び架線撮影方法
US10620002B2 (en) * 2017-11-14 2020-04-14 Saudi Arabian Oil Company Incorporate wall thickness measurement sensor technology into aerial visual inspection intrinsically safe drones
JP6821220B2 (ja) * 2017-11-28 2021-01-27 株式会社自律制御システム研究所 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
JP7012522B2 (ja) * 2017-12-01 2022-01-28 三菱電機株式会社 測定システム、測定指示装置、及びプログラム
US10776987B2 (en) * 2018-03-05 2020-09-15 Disney Enterprises, Inc. Aerial imaging high-accuracy scale calibration
US11238675B2 (en) 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
US11946761B2 (en) 2018-06-04 2024-04-02 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3D space based on mapping and navigation to a precise POI destination using a smart laser pointer device
US20210266461A1 (en) * 2018-07-04 2021-08-26 c/o H3 DYNAMICS PTE. LTD. Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
US11630083B2 (en) * 2018-12-21 2023-04-18 The Boeing Company Location-based scanner repositioning using non-destructive inspection
US20200264279A1 (en) * 2019-02-20 2020-08-20 Flir Surveillance, Inc. Rotatable light sources and associated pulse detection and imaging systems and methods
JP7213104B2 (ja) * 2019-02-27 2023-01-26 三菱重工業株式会社 無人航空機および検査方法
US11080327B2 (en) * 2019-04-18 2021-08-03 Markus Garcia Method for the physical, in particular optical, detection of at least one usage object
US10712286B1 (en) * 2019-04-23 2020-07-14 The Boeing Company Systems and methods for non-destructive evaluation of a structure
US11275391B2 (en) * 2019-05-13 2022-03-15 The Boeing Company In-service maintenance process using unmanned aerial vehicles
WO2021010907A2 (en) * 2019-06-07 2021-01-21 Ptt Exploration And Production Public Company Limited A system for steady movement toward a curved wall of an unmanned aerial vehicle (uav) and method for movement toward said curved wall
CN110371292A (zh) * 2019-06-25 2019-10-25 天津大学 一种无人机捕获回收装置
EP3767417A1 (en) * 2019-07-15 2021-01-20 Ventus Engineering GmbH Method of performing an inspection and an airborne system therefore
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
CN110658844B (zh) * 2019-08-23 2022-06-14 中国南方电网有限责任公司超高压输电公司昆明局 一种特高压直流线路通道无人机监控方法及其系统
CN110702343B (zh) * 2019-09-20 2021-06-08 武汉中岩科技股份有限公司 一种基于立体视觉的挠度测量系统及方法
CN112580420A (zh) * 2019-09-30 2021-03-30 卡巴斯基实验室股份制公司 用于抵制无人驾驶飞行器的系统和方法
CN112492514B (zh) * 2019-10-16 2023-05-26 广东美嘉欣创新科技股份有限公司 一种能扩大无人机可操控范围的飞行数据及图像传输装置
KR102083132B1 (ko) * 2019-12-12 2020-02-28 우현선박기술 주식회사 초음파 두께 측정 기술과 영상 송출 기능을 탑재한 선박검사 및 측정용 드론 시스템
CN113064134A (zh) * 2019-12-16 2021-07-02 南京理工大学 基于改进模糊神经网络滤波的激光雷达回波处理方法
TWI726536B (zh) * 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
FR3106883B1 (fr) * 2020-01-30 2023-01-06 Horizon Data Services Procédé de mesure de diamètre d’organe cylindrique et dispositif d’aide à la mesure pour réaliser un tel procédé
CN111551173A (zh) * 2020-02-19 2020-08-18 中国人民解放军海军航空大学 一种使用外部测量仪测量飞行器航向输出的系统
US11555693B2 (en) * 2020-05-12 2023-01-17 The Boeing Company Measurement of surface profiles using unmanned aerial vehicles
JP7216046B2 (ja) * 2020-05-28 2023-01-31 中部電力株式会社 巡視点検システム
CN112631333B (zh) * 2020-12-25 2024-04-12 南方电网数字电网研究院有限公司 无人机的目标跟踪方法、装置及图像处理芯片
WO2022172987A1 (ja) * 2021-02-15 2022-08-18 株式会社Liberaware 作業システムおよび機体の制御方法
KR102610397B1 (ko) * 2021-06-08 2023-12-05 금오공과대학교 산학협력단 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템
CN113251940A (zh) * 2021-06-15 2021-08-13 湖南东润智能仪表有限公司 桥梁结构挠度测量装置
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces
US11502729B1 (en) 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
US11953309B2 (en) * 2021-09-22 2024-04-09 Lockheed Martin Corporation Automated non-contact thickness inspection and projection system using color-coded based patterns
CN113793367B (zh) * 2021-11-17 2022-02-15 西南交通大学 一种工程结构转角位移视觉测量及动力识别系统及方法
CN114148536B (zh) * 2021-11-29 2023-05-23 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的线位移补偿控制方法
CN114353619B (zh) * 2021-12-08 2023-11-21 中航西安飞机工业集团股份有限公司 一种长标尺测量靶标之间距离的标定方法
CN114838710B (zh) * 2022-03-29 2023-08-29 中国一冶集团有限公司 基于无人机拍照的工程用快速的测绘方法及测绘系统
CN114852621A (zh) * 2022-05-05 2022-08-05 衡阳镭目科技有限责任公司 柴油发电机组输送系统、方法及存储介质
CN114789798B (zh) * 2022-06-27 2022-10-25 成都飞机工业（集团）有限责任公司 一种飞机舱门阶差预测方法、装置、设备及介质
CN115379123B (zh) * 2022-10-26 2023-01-31 山东华尚电气有限公司 一种用无人机巡检的变压器故障检测方法
CN116087235B (zh) * 2023-04-07 2023-06-20 四川川交路桥有限责任公司 一种多源耦合的桥梁损伤探测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298248A (zh) * 2014-10-08 2015-01-21 南京航空航天大学 旋翼无人机精确视觉定位定向方法
CN106441278A (zh) * 2016-09-29 2017-02-22 长沙开元仪器股份有限公司 一种无人机室内定位系统及方法
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
WO2017065102A1 (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法
WO2017147749A1 (en) * 2016-02-29 2017-09-08 SZ DJI Technology Co., Ltd. Methods and systems for movement control of flying devices

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2834660A1 (de) 1978-08-08 1980-02-21 Honeywell Gmbh Laser-entfernungsmesser
JP2003185783A (ja) * 2001-12-20 2003-07-03 Hitachi Ltd 炉内目視検査装置
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
JP4992405B2 (ja) * 2006-12-12 2012-08-08 株式会社デンソー 車載機器の操作装置
US7859655B2 (en) * 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US8214098B2 (en) 2008-02-28 2012-07-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
IL192601A (en) 2008-07-03 2014-07-31 Elta Systems Ltd Discovery / Transmission Device, System and Method
US8300096B2 (en) 2008-10-22 2012-10-30 Michael Franklin Abernathy Apparatus for measurement of vertical obstructions
GB0920636D0 (en) 2009-11-25 2010-01-13 Cyberhawk Innovations Ltd Unmanned aerial vehicle
US9804577B1 (en) * 2010-10-04 2017-10-31 The Boeing Company Remotely operated mobile stand-off measurement and inspection system
US8744133B1 (en) 2010-10-04 2014-06-03 The Boeing Company Methods and systems for locating visible differences on an object
US9221506B1 (en) 2011-07-18 2015-12-29 The Boeing Company Location tracking and motion control of automated marking device
CA2875266C (en) * 2012-06-18 2022-01-11 Collineo Inc. Remote visual inspection system and method
DE102013000410A1 (de) 2013-01-11 2014-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autonomen Navigation einer eigenfortbewegungsfähigen Plattform relativ zu einem Objektiv
US9453500B2 (en) * 2013-03-15 2016-09-27 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
US9488589B2 (en) * 2013-10-29 2016-11-08 The Boeing Company Mapping damaged regions on objects
US9371133B2 (en) 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
CN107531326B (zh) * 2015-03-12 2019-04-16 奈庭吉尔智慧系统公司 自动化无人机系统
KR20160142482A (ko) * 2015-06-02 2016-12-13 고려대학교 산학협력단 건설용 무인 비행체 장치
US10012509B2 (en) * 2015-11-12 2018-07-03 Blackberry Limited Utilizing camera to assist with indoor pedestrian navigation
US9513635B1 (en) 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9609288B1 (en) * 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
KR20170084966A (ko) 2016-01-13 2017-07-21 주식회사 이지시스 국소위치인식시스템
JP6024074B1 (ja) * 2016-04-19 2016-11-09 株式会社ニチギ 写真撮影用無人移動体
US11203425B2 (en) * 2016-06-30 2021-12-21 Skydio, Inc. Unmanned aerial vehicle inspection system
US10724505B2 (en) * 2016-11-30 2020-07-28 Dji Technology, Inc. Aerial inspection in a movable object environment
DE102017117049A1 (de) * 2017-07-27 2019-01-31 Testo SE & Co. KGaA Verfahren zur Erstellung eines 3D-Modells von einem Objekt
US10317905B2 (en) * 2017-08-10 2019-06-11 RavenOPS, Inc. Autonomous robotic technologies for industrial inspection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298248A (zh) * 2014-10-08 2015-01-21 南京航空航天大学 旋翼无人机精确视觉定位定向方法
WO2017050893A1 (en) * 2015-09-22 2017-03-30 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
WO2017065102A1 (ja) * 2015-10-15 2017-04-20 株式会社プロドローン 飛行型検査装置および検査方法
WO2017147749A1 (en) * 2016-02-29 2017-09-08 SZ DJI Technology Co., Ltd. Methods and systems for movement control of flying devices
CN106441278A (zh) * 2016-09-29 2017-02-22 长沙开元仪器股份有限公司 一种无人机室内定位系统及方法

Also Published As

Publication number Publication date
CN109556577A (zh) 2019-04-02
JP2019114234A (ja) 2019-07-11
CA3006155A1 (en) 2019-03-25
BR102018012662A8 (pt) 2022-12-20
KR20190035496A (ko) 2019-04-03
CA3006155C (en) 2023-03-07
EP3460392A3 (en) 2019-08-07
JP7260269B2 (ja) 2023-04-18
SG10201804546TA (en) 2019-04-29
EP3460392A2 (en) 2019-03-27
US20190094149A1 (en) 2019-03-28
US10788428B2 (en) 2020-09-29
BR102018012662B1 (pt) 2023-04-25
BR102018012662A2 (pt) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109556577B (zh) 用于空中非破坏性检查的定位系统
CN109552665B (zh) 用于使用悬索平台测量和检查结构的方法
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
US20210065400A1 (en) Selective processing of sensor data
RU2623295C2 (ru) Система, устройство и способ текущего контроля положения и ориентации транспортного средства, погрузочного устройства и груза при работе погрузочного устройства
CN109562844B (zh) 自动着陆表面地形评估以及相关的系统和方法
EP3474109B1 (en) Measuring device, control device for unmanned aerial vehicle and method for controlling unmanned aerial vehicle
US10409293B1 (en) Gimbal stabilized components for remotely operated aerial vehicles
KR20190051704A (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
JP2006500266A (ja) 機械制御可能な乗り物用の測定および安定化システム
Hrabar An evaluation of stereo and laser‐based range sensing for rotorcraft unmanned aerial vehicle obstacle avoidance
Moore et al. UAV altitude and attitude stabilisation using a coaxial stereo vision system
Sanna et al. A novel ego-motion compensation strategy for automatic target tracking in FLIR video sequences taken from UAVs
EP3957954A1 (en) Active gimbal stabilized aerial visual-inertial navigation system
US20220230550A1 (en) 3d localization and mapping systems and methods
Skov et al. 3D Navigation by UAV using a mono-camera, for precise target tracking for contact inspection of critical infrastructures
Gong et al. The design and implementation of the visual location system based on beeline detection
Markov et al. per'forlTlance.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant