CN112789672B - 控制和导航系统、姿态优化、映射和定位技术 - Google Patents

控制和导航系统、姿态优化、映射和定位技术 Download PDF

Info

Publication number
CN112789672B
CN112789672B CN201980059299.9A CN201980059299A CN112789672B CN 112789672 B CN112789672 B CN 112789672B CN 201980059299 A CN201980059299 A CN 201980059299A CN 112789672 B CN112789672 B CN 112789672B
Authority
CN
China
Prior art keywords
target
sensor
detection
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980059299.9A
Other languages
English (en)
Other versions
CN112789672A (zh
Inventor
K·卡拉查利奥斯
D·尼古拉迪斯
K·德里斯-科尔-林德
C·格兰特伍德
A·戈尔韦
O·穆兰-费罗泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception Robot Co ltd
Original Assignee
Perception Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB1815864.2A external-priority patent/GB2577134B/en
Priority claimed from GB1902475.1A external-priority patent/GB2581403B/en
Application filed by Perception Robot Co ltd filed Critical Perception Robot Co ltd
Publication of CN112789672A publication Critical patent/CN112789672A/zh
Application granted granted Critical
Publication of CN112789672B publication Critical patent/CN112789672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G05D1/228—
    • G05D1/689—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00—Integration of renewable energy sources in buildings
    • Y02B10/30—Wind power

Abstract

一种用于自动驾驶交通工具的导航程序，所述导航程序被配置为：接收自动驾驶交通工具要检测的目标的初始模型；识别与目标的初始模型相关联的检测目标；以及确定自动驾驶交通工具的检测位置，自动驾驶交通工具的检测系统在该检测位置处可检测该检测目标，其中，初始模型包括表示目标的一个或多个凸形。

Description

控制和导航系统、姿态优化、映射和定位技术
技术领域
本发明实施例涉及用于自动驾驶交通工具的控制和导航系统，并且在多个具体实施例中，涉及用于无人自动驾驶交通工具的控制和导航系统。多个实施例还涉及姿态优化、映射和定位技术。
背景技术
除其他因素外，随着传感器技术和计算能力的费用的降低，出现了有关自动驾驶交通工具的大量最新发展，包括无人自动驾驶交通工具(俗称“无人机”)。
这样的交通工具可以由远离无人机的人类操作员控制，并且该控制可以是部分自动化的。例如，在飞行器的情况下，一种或多种飞行控制可以是自动的，从而简化了操作员的任务。然而，希望提供一种完全自主飞行的无人机，该无人机能够基本上在没有操作员干预的情况下执行任务。
有效的基本上完全自主飞行的无人机将减少对熟练操作员的需求(使这些无人机完成的任务更加简单且成本更低)，减少操作员出错的风险，并有助于确保针对特定任务的具有系统性的方法的可重复性。
已经使用无人机的一些任务包括检测物体和结构。特别地，空中无人机在这方面显示出了巨大的潜力-减少了进行人工检测的需求(对于某些物体和结构，人工检测非常困难)。
提高无人机执行此类任务的自动化程度存在困难。特别地，无人机必须在现实世界环境中航行，在该环境中物体并不总是处于已知和/或预定位置，并且无人机(和其他物体)不断暴露于变化的环境条件下。
发明内容
因此，需要提供用于自动驾驶交通工具的本地控制和导航系统，和/或用于自动驾驶交通工具的更好的控制和导航系统。
Oliver Moolan-Feroze和Andrew Calway发表的《用于基于模型的相机姿态估计的视点外特征点的预测》(Predicting Out-of-View Feature Points for Model-BasedCamera Pose Estimation)提供了使用深度学习来预测在输入图像中位于视点外的目标特征点的框架。在考虑基于模型的跟踪应用的情况下，特别是在自主检测机器人的情况下，开发了该系统，其中只有目标的局部视图是可用的。通过在网络训练期间对特征点标签应用缩放能够启用视点外预测。这与递归神经网络架构相结合，所述递归神经网络架构被设计成为最终预测层提供来自输入图像的空间范围的丰富的特征信息。
因此，下面和所附权利要求中叙述了本发明的各方面。
附图说明
参考附图，仅以举例的方式描述了本发明的实施例，其中：
图1示出了一些实施例的示例性自动驾驶交通工具；
图2示出了一些实施例的自动驾驶交通工具的电气原理图；
图3示出了一些实施例的基站的电气原理图；
图4示出了一些实施例的操作员界面装置的电气原理图；
图5示出了一些实施例的示例性系统；
图6示出了关于风力涡轮机的检测目标；
图7示出了关于风力涡轮机的检测目标和检测位置；
图8示出了点云失调；
图9示出了根据一些实施例的状态流；
图10示出了对目标进行检测操作的自动驾驶交通工具；
图11示出了对目标进行检测操作的自动驾驶交通工具；
图12示出了根据一些实施例生成和组合飞行中模型的过程的流程图；
图13示出了根据一些实施例生成和组合飞行中模型的过程的流程图；
图14示出了包括覆盖在风力涡轮机的图像上的多条特征线的模型；
图15示出了包括覆盖在风力涡轮机的图像上的多个特征点的模型；
图16示出了一些实施例的CNN架构；以及
图17示出了来自包括模型投影到图像上的自主车辆交通工具的图像，其中示出了优化前和优化后的模型。
具体实施方式
本发明的实施例可包括自动驾驶交通工具1。自动驾驶交通工具1可以采取多种不同的形式，并且参考是飞行器(即飞机)的自动驾驶交通工具1来描述很多实施例。然而，例如，自动驾驶交通工具1可以是陆地交通工具(被配置为在地面上移动)、或水运工具(被配置为在水中移动)或两栖交通工具。
自动驾驶交通工具1可以是多旋翼直升机1，并且例如参见图1，为了方便起见，将关于多旋翼直升机1(尤其是四旋翼直升机)来描述实施例。
例如参见图1,自动驾驶交通工具1可以包括框架11(即，机架)。例如参见图2,框架11可以被配置为支撑自动驾驶交通工具1的驱动系统12。驱动系统12被配置为驱动自动驾驶交通工具1的运动。因此，驱动系统12可包括一个或多个马达121和/或一个或多个引擎122。一个或多个马达121可以均是电动马达，且一个或多个引擎122可以均是内燃机。驱动系统12可包括一个或多个齿轮箱或其他机械传动系统。
例如，驱动系统12可被配置为驱动自动驾驶交通工具1的一个或多个驱动元件13(例如，参见图1和图2)相对于框架11绕各自的旋转轴(通过齿轮箱或其他机械传动系统，或其他)进行旋转运动。例如，该或每个驱动元件13在被如此驱动时，被配置为驱动自动驾驶交通工具1在空气中、沿着地面、在水中等运动。
该或每个驱动元件13可包括各自的推进器，例如旋翼或轮。在旋翼飞机的情况下，例如，该或每个驱动元件13可包括旋翼。该或每个驱动元件13可被配置为在旋转时引起自动驾驶交通工具1在至少一个方向上运动。
应当理解，根据自动驾驶交通工具1的性质，可以提供驱动元件13的相对复杂的布置。旋翼飞机尤其如此，其中有许多不同的已知配置。
在一些实施例中，驱动系统12可包括一个或多个其他执行器，以控制或驱动自动驾驶交通工具1的运动。例如，驱动系统12可包括一个或多个转向机构，其被配置为用来移动自动驾驶交通工具1的一个或多个可转向元件(例如，轮子或舵)。驱动系统12可以包括一个或多个飞行控制执行器，其被配置为用来移动自动驾驶交通工具1的一个或多个飞行控制表面(可以将类似的控制执行器和表面提供给其他类型的交通工具，如水运工具，且“飞行”控制执行器和表面也应进行相应地解释)。一般而言，这些是驱动元件13的其他示例，并且例如，可以电驱动或液压驱动执行器。
在四旋翼直升机作为自动驾驶交通工具1的情况下，例如，可以有四个驱动元件13，每个驱动元件均包括旋翼。然而，如在所描绘的示例中，四旋翼直升机还可使用同轴驱动元件13的配置，使得总共有八个驱动元件13布置成同轴的四对。可以理解，这仅仅是一种示例性配置。
驱动元件13相对于框架11的精确配置将取决于自动驾驶交通工具1的性质和自动驾驶交通工具1的预期运动。在自动驾驶交通工具1是多旋翼直升机的一些实施例中，自动驾驶交通工具1包括多个驱动元件13，这些驱动元件13布置有通常与在正常运行中垂直的旋转轴。在固定翼飞机和/或船只和/或陆地交通工具中，该或每个驱动元件13具有在正常使用中基本水平的旋转轴。
在一些实施例中，框架11包括多个臂111，并且每个臂111可以承载一个或多个驱动元件13。框架11可包括主体结构112，在一些实施例中，该主体结构可以大致位于自动驾驶交通工具1的中央。框架11可包括一个或多个支腿113，其被配置为相对于地面支撑主体结构112。在一些实施例中，可以不设置一个或多个支腿113，并且一个或多个臂111可以向其驱动元件13提供该支撑(例如，在自动驾驶交通工具1中，被配置为以轮子的方式随着驱动元件13在地面上移动)。
在一些实施例中，驱动系统12主要安装在中央结构112上，并且可以使用机械传动装置(如本文中所述)将机械动力传递至该或每个驱动元件13。
驱动系统12与自动驾驶交通工具1的动力源14耦合。在驱动系统12包括一个或多个马达121(即，电动机)的情况下，动力源14可包括例如电池，或另一种形式的电能存储装置。在驱动系统12包括一个或多个引擎122(例如，内燃机)的情况下，则动力源14可以包括一箱燃料(其可以是碳氢燃料，例如汽油或天然气或液化石油气等)。在一些实施例中，动力源14可包括发电机(例如，燃料电池或太阳能电池板等)，其被配置为产生电能(electricalpower)而不是存储电能。
因此，应该理解，可通过驱动系统12控制电能和/或燃料流动至该或每个马达121和/或引擎122。因此，可以控制驱动系统12以改变该或每个马达121或引擎122的一个或多个运行特性，例如马达121和/或引擎122驱动相关联的驱动元件13的速度。类似地，驱动系统12可控制如本文所述的一个或多个其他执行器的运行。
动力源14可安装在框架11上(例如，其中央结构112)。
驱动系统12与自动驾驶交通工具1的飞行控制系统15通信地耦合。飞行控制系统15被配置为控制驱动系统12的操作，以便控制自动驾驶交通工具1的一个或多个方面的运行(例如运动)。虽然标记为飞行控制系统15，但是应当理解，该标记主要分配给考虑到的飞机。对于自动驾驶交通工具1不是飞机的实施例，可以将不同的标记应用于飞行控制系统15，例如“驱动控制系统”(其应被解释为包含飞行控制系统15)。
飞行控制系统15可以采取适宜编程的飞行控制计算机的形式(同样，在自动驾驶交通工具1不是飞机的实施例中，该标记可以被改变为驱动控制计算机)。
飞行控制系统15可安装在框架11上(例如，其中央结构112)。
如上所述，飞行控制系统15被配置为控制驱动系统12的操作，并且鉴于此，飞行控制系统15与自动驾驶交通工具1的导航系统16通信地耦合。导航系统16被配置为向飞行控制系统15提供指令，以根据存储在导航系统16中和/或由导航系统16生成的导航计划(即，定义飞行路径的飞行计划)来控制自动驾驶交通工具1的运动。在一些实施例中，飞行控制系统15被配置为控制驱动系统15的运行以控制自动驾驶交通工具1的方向和/或位置。在一些实施例中，自动驾驶交通工具1能够以上下自由度、左右自由度、前后自由度、俯仰自由度、偏航自由度和倾斜自由度中的一种或多种形式运动，飞行控制系统15被配置为以那个或那些移动自由度控制运动。
换句话说，飞行控制系统15主要涉及控制自动驾驶交通工具1，以实现由导航系统16指定的运动。导航系统16确定自动驾驶交通工具1应驶向的位置，并且飞行控制系统15被配置为控制自动驾驶交通工具1，基于来自于导航系统16的指令以期望的方式运动。
导航系统16可以采取适宜编程的导航计算机的形式，并且该计算机可以是与飞行控制计算机相同的计算机，该计算机运行适当的程序使得计算机执行这两种任务。
在一些实施例中，导航系统16可被安装在框架11(例如，其中央结构112)上。然而，在一些实施例中，导航系统16可以远离自动驾驶交通工具1，换句话说，导航系统16可与飞行控制系统15(即，自动驾驶交通工具1)通信地耦合，但是可能不随自动驾驶交通工具1一同移动。在一些实施例中，导航系统16是分布式系统，使得系统的某些部分由自动驾驶交通工具1携带，而其他部分相对于自动驾驶交通工具1进行远程定位。
自动驾驶交通工具1包括传感器系统17。传感器系统17被配置为检测自动驾驶交通工具1的环境的一个或多个方面，并将这些检测到的一个或多个方面提供给导航系统16和/或飞行控制系统15，以允许系统15/16执行它们各自的功能。
因此，传感器系统17可以包括一个或多个传感器171，每个传感器被配置为检测自动驾驶交通工具1的环境的不同方面。这些一个或多个传感器171可以被称为自动驾驶交通工具1的传感器组。一个或多个传感器171可以包括例如一个或多个：加速度计、陀螺仪传感器、磁力计、无线电导航系统(例如基于卫星的无线电导航系统(例如，使用全球定位卫星系统、格洛纳斯(GLONASS)、伽利略(Galileo)、北斗、印度区域导航卫星系统(IRNSS)或准天顶卫星系统(QZSS)))等。
一个或多个传感器171产生传感器输出，该传感器输出被传递到飞行控制系统15和/或导航系统16。这些系统15/16使用传感器输出以便至少部分地基于传感器输出来控制自动驾驶交通工具1的运行的一个或多个方面。
传感器系统17可安装在框架11上(例如，在一些实施例中，其中心结构112)。然而，在一些实施例中，传感器系统17的一个或多个传感器171可以其他方式定位在自动驾驶交通工具1上或周围。
在一些实施例中，该一个或多个传感器171中的至少一个至少部分地定位为远离自动驾驶交通工具1(即，没有为了与自动驾驶交通工具1一起移动而被携带)。例如，该一个或多个传感器171可以包括差分无线电导航系统(例如差分GPS系统)。在这样的实施例中，该一个或多个传感器171可包括无线电导航系统传感器，其由自动驾驶交通工具1携带并且与基站2(例如，参见图3和图5)通信地耦合(例如，经由无线通信信道-参见通信系统18)，该基站2被配置为生成差分信号。无线电导航系统传感器可以使用差分信号来校正由无线电导航系统传感器生成的本地确定的位置(其中，在这种情况下，“本地”是指由自动驾驶交通工具1所携带的无线电导航系统传感器确定的位置)。在这样的示例中，传感器171可被视为分布式传感器(使得基站2的至少一部分形成该传感器的一部分)或被视为传感器171，该传感器171接收来自另一传感器的传感器输出，以生成修正的或校正的传感器输出。在一些实施例中，传感器可以使用实时运动学定位。
传感器系统17可以包括测距传感器，作为一个或多个传感器171中的一个。测距传感器被配置为确定另一目标距该测距传感器(以及因此距安装有测距传感器的自动驾驶交通工具1的距离)的范围(即距离)。例如，该范围可以作为传感器数据的输出。测距传感器可以包括例如光检测和测距传感器(即，LiDAR传感器)。测距传感器可以包括例如声音导航和测距传感器(即，声纳传感器或其他声学传感器，诸如超声测距传感器)。测距传感器可以包括例如无线电检测和测距传感器(即雷达传感器)。测距传感器可以包括例如距离成像传感器(其可以使用例如立体图像(例如可见光的图像)来确定距离)。测距传感器可以包括1D测距传感器和/或2D测距传感器和/或3D测距传感器。
自动驾驶交通工具1可以包括检测系统19，检测系统19被配置为检测另一目标或体积(即，自动驾驶交通工具1以外的目标)。检测系统19可被配置为输出指示另一目标的一个或多个特性的检测数据。因此，检测系统19包括一个或多个检测传感器191。在一些实施例中，检测系统19包括相机191a(作为检测传感器191)，其被配置为捕获另一目标的一个或多个图像。相机191a可被配置为捕获可见光谱中的光，但是另外地或替代地，可被配置为捕获目标的红外光图像和/或紫外光图像。因此，应当理解，相机191a可包括一个以上的相机子系统，例如，每个相机子系统被配置为相对于至少一个其他相机子系统以不同光谱或从不同位置捕获图像(例如，以获得立体图像)。
在一些实施例中，相机191a或相机子系统可被配置为捕获特定偏振光的图像(这可能尤其用于检测一些其他目标5或体积)。
在一些实施例中，检测系统19包括不是相机191a的一个或多个传感器191。例如，检测系统19可包括空气质量传感器191b，其可被配置为检测空气中的一种或多种污染物(例如，颗粒物)。检测系统19可包括辐射传感器191c，其可被配置为检测空气中的一种或多种污染物(例如，颗粒物)。检测系统19可包括声学传感器作为一个或多个检测传感器191之一，其可以是例如超声波传感器。一个或多个检测传感器19可以包括非破坏性测试传感器，其可以是超声非破坏性测试传感器。
在一些实施例中，检测系统19可以包括被配置为向目标5发射(或投射)信号的投影机。例如，该信号可以是声或电磁信号(例如光)。在这样的实施例中，检测系统19可以包括接收器，该接收器被配置为接收被发射的信号的至少一部分，例如从目标5反射之后。可以由检测系统19使用发射的信号和发射的信号的接收部分(例如，在从目标5反射之后)确定目标5的一个或多个特性。投影机可以被配置为投射结构光，并且检测系统19可以包括所谓的结构光传感器系统或结构光3D扫描仪。
可使用各自的安装装置193相对于自动驾驶交通工具1的框架11安装该或每个检测传感器191。在一些实施例中，可以通过同一安装装置193相对于框架11安装多个检测传感器191。
用于固定该或每个检测传感器191的安装设备193(或多个设备193)可以采用多种不同的形式。在一些实施例中，安装装置193被配置为相对于框架11提供固定的位置布置。这样，安装装置193可包括例如配置为附接到框架11(直接地或间接地)和该一个或多个检测传感器191中的至少一个的大体上刚性的支架。安装装置193可以包括电枢，该电枢被配置为相对于框架11的至少一部分移动，使得检测传感器191的位置相对于框架11可移动，该移动可以在检测系统计算机192的控制下由执行器驱动。在一些实施例中，安装装置193被配置为在检测传感器191与一个或多个其他目标(例如另一目标5)之间提供基本固定的方向。在这样的实施例中，安装装置193可以包括万向节机构(gimbal mechanism)，该万向节机构可以具有一个到三个运动自由度。可以相对于包括相机191a的检测传感器191使用以万向节机构形式提供的安装装置193，以帮助稳定相机191a，以便改善由相机191a捕获的图像的质量。
检测系统19可包括检测系统计算机192(其可以是与导航计算机和/或飞行控制计算机相同的计算机，该计算机运行适当的程序，使得该计算机能够执行所有这些任务)。检测系统计算机192可以被配置为控制该或每个检测传感器191的运行的一个或多个方面，例如，当由相机191a捕获图像或由空气质量传感器191b或辐射传感器191c采集样本)，和/或控制该或每个检测传感器191的操作的一个或多个参数(例如，关于相机191a的焦点、快门速度和光圈大小等)。
在一些实施例中，检测系统计算机192可以被配置为从该或每个检测传感器192接收检测数据，并且可以存储随后传输或释放的该检测数据。检测系统计算机192可以被配置为确定何时以及如何处理(例如，发送或删除)检测数据。因此，检测系统计算机192可以包括被配置为存储检测数据的存储介质192a。
检测系统19可以安装在框架11(例如，其中央结构112)上。
在一些实施例中，自动驾驶交通工具1可以包括视觉引导系统20，其被配置为捕获一个或多个图像，以用于供操作员协助操作和/或控制自动驾驶交通工具1(见本文其他部分)。因此，视觉引导系统20被配置为捕获图像(例如，使用视觉引导系统20的相机)并生成表示该图像的引导数据(例如，使得可以基于引导数据来重建图像的至少一部分)。
视觉引导系统20可以安装在框架11上(例如，其中央结构112)，或者可以安装在其中之一的臂111上(如果有的话)。
自动驾驶交通工具1可以包括通信系统18。通信系统18可以与驱动系统12、动力源14、飞行控制系统15、导航系统16、传感器系统17、检测系统19和视觉引导系统20中的一个或多个通信地耦合。特别地，通信系统18可以与飞行控制计算机、导航计算机和检测系统计算机191(这些计算机可以是经过适当编程的同一个计算机)中的一个或多个通信地耦合。
通信系统18被配置为将数据从自动驾驶交通工具1传输到远程位置(即，未被自动驾驶交通工具1携带的元件)。通信系统18还被配置为从远程位置接收数据以供自动驾驶交通工具1使用。
通信系统18可接收的数据示例包括差分信号(如本文所述)。通信系统18可接收的其他数据包括以下数据中的一种或多种：其他传感器数据(即，来自于一个或多个传感器的数据，该一个或多个传感器定位为远离自动驾驶交通工具1(例如在基站2中))、控制信息(如供飞行控制系统15在控制驱动系统12的运行时使用的飞行控制信息(可能是直接飞行控制信息，使得导航系统16被有效规避))和导航信息(供导航系统16使用)。
通信系统18可包括一个或多个通信接口181，每个通信接口181可配置为使用不同的通信信道和/或协议传输和/或接收数据。
一个或多个通信接口181可包括无线通信接口(如射频通信接口)。一个或多个通信接口181可包括无线远程通信接口和无线短程通信接口。例如，无线短程通信接口可被配置为在相对较短的范围内发送和/或接收数据，并可被用于控制和/或导航信息(其中可能包括引导数据)。无线远程通信接口可被配置为在相对较长的范围内发送和/或接收数据，并且可被用于时序要求不是很严格的数据，例如一般遥测信息或检测数据(如其他地方所述)。
因此，在某些实施例中，该一个或多个通信接口181可包括多个无线通信接口。该一个或多个通信接口181可包括WiFi通信接口(或在大约2.4GHz，3.6GHz，5GHz和/或60GHz运行的其他通信接口)、在大约433MHz、915MHz和/或2400MHz运行的通信接口和/或在大约315MHz和/或868MHz运行的通信接口和/或蜂窝通信网络接口(可使用宽带蜂窝电话网络通信系统)中的一个或多个。
通信系统18可安装在框架11(例如其中心结构112)上，或者可以安装在其中之一的臂111上(如果有的话)。
动力源14可以被配置为向通信系统18、驱动系统12、飞行控制系统15、导航系统16、传感器系统17、检测系统19和视觉引导系统20中的一个或多个提供电能。
基站2(例如，参见图3)可被配置为经由自动驾驶交通工具1的通信系统18与自动驾驶交通工具1通信(反之亦然)。在一些实施例中，不提供基站2。在一些实施例中，基站2是被配置为通常放置在自动驾驶交通工具1的运行区域内的单元(但是如果需要，可以将其移除并运输到自动驾驶交通工具1的不同运行区域)。在某些情况下，基站2是具有基本固定的地理位置并且不能轻易地被移除并被运输到新的位置的单元。在某些情况下，基站2是或包括移动计算设备，例如移动电话、笔记本电脑或平板电脑。
基站2可以包括基站通信系统21，其被配置为与自动驾驶交通工具1的通信系统18通信地耦合。基站通信系统21可以包括一个或多个通信接口211，并且每个通信接口211可被配置为使用不同的通信信道和/或协议发送和/或接收数据。
一个或多个通信接口211可包括无线通信接口(例如射频通信接口)。一个或多个通信接口211可包括无线远程通信接口和无线短程通信接口。无线短程通信接口可被配置为在相对较短的范围内发送和/或接收数据，并且可以被用于例如与自动驾驶交通工具1的通信。无线远程通信接口可被配置为在相对较长的范围内发送和/或接收数据，并且可被用于与远程服务器3和/或互联网的连接。
因此，在一些实施例中，该一个或多个通信接口211可包括多个无线通信接口。该一个或多个通信接口211可以包括WiFi通信接口(或其他在大约2.4GHz，3.6GHz，5GHz和/或60GHz运行的通信接口)、在大约433MHz、915MHz和/或2400MHz运行的通信接口和/或在大约315MHz和/或868MHz运行的通信接口和/或蜂窝通信网络接口(可使用宽带蜂窝电话网络通信系统)中的一个或多个。
基站2可包括基站计算机22，其被编程为执行本文所述的一个或多个任务。基站计算机22可与基站通信系统21通信地耦合，以实现与基站2，特别是基站计算机22的数据通信。
基站计算机22可包括存储介质221，在此描述其作用。
基站2可包括位置传感器系统23，该位置传感器系统23包括至少一个位置传感器231，其被配置为用于确定基站2的地理位置。该至少一个位置传感器231可包括无线电导航系统传感器(例如基于卫星的无线电导航系统传感器(例如，使用全球定位卫星系统、GLONASS、Galileo、北斗、IRNSS或QZSS))。
位置传感器系统23可与基站计算机22和/或基站通信系统21通信地耦合。因此，位置传感器系统23可被配置为向基站计算机22和/或基站通信系统21发送基站位置数据，以向前传输到一个或多个其他设备(例如自动驾驶交通工具1和/或远程服务器3)。
在一些实施例中，基站2(例如，使用位置传感器系统23)可被配置为用于确定差分信号，该差分信号被输出为基站位置数据的至少一部分(例如，如本文所述供自动驾驶交通工具1使用)。
基站2可以包括基站动力源24。在一些实施例中，基站动力源24可以是电源，并且基站动力源24可与基站通信系统21、基站计算机22和位置传感器系统23中的一个或多个耦合，以向其提供电能。
在一些实施例中，基站动力源24包括以下部件中的一个或多个：电池、与主电能的连接、发电机(可以包括内燃机)以及交通工具的交流发电机(例如用于将自动驾驶交通工具1运送到运行区域的辅助交通工具)。
例如，自动驾驶交通工具1和基站2的组合可以被称为自动驾驶交通工具系统100(例如，参见图5)。然而，如在别处描述的，在一些实施例中不需要提供基站2。
在一些实施例中，自动驾驶交通工具系统100可包括操作员界面装置4(例如，参见图4)。在这样的实施例中，自动驾驶交通工具系统100可以不包括基站2，使得自动驾驶交通工具系统100包括自动驾驶交通工具系统100和操作员界面装置4。在一些实施例中，自动驾驶交通工具系统100包括自动驾驶交通工具1、基站2和操作员界面装置4。在一些实施例中，自动驾驶交通工具系统100也可以包括远程服务器3。
在一些实施例中，操作员界面装置4包括计算设备41，该计算设备41被编程为向操作员提供界面42，操作员可以使用该界面42来控制自动驾驶交通工具1运行的一个或多个方面。
计算设备41可以是移动计算设备，诸如移动电话、平板电脑或笔记本电脑。这样，计算设备41可包括电源43，例如电池。
操作员界面装置4包括被配置为与基站2(例如，与基站通信系统21)和/或自动驾驶交通工具1(例如，其通信系统18)通信的接口设备通信系统44。因此，接口设备通信系统44可以是有线或无线通信系统，其可被配置为使用与在此描述的通信接口181、211之一通信的通信接口。在一些实施例中，接口设备通信系统44包括多个这样的通信接口，并且使用不同的这样的接口来与基站2和自动驾驶交通工具1通信。
在一些实施例中，基站2和操作员界面装置4是同一个装置2、4。
自动驾驶交通工具1(和自动驾驶交通工具系统100)可以被配置为用于检测另一目标或体积5。该另一目标或体积5可以是例如：风力涡轮机、光伏电池、飞机外部结构(如机翼、起落架、引擎、尾翼和机身)、建筑工地、高层建筑、船、水坝、桥梁、电力线路、管道、海堤、海港墙、防洪系统、铁路线、港口(用于空气质量)、城市(用于空气质量)、建筑物、储罐、核反应堆或核电设施的相关部件、桩、电缆(海底或空中)等中的一个或多个。
应当理解，可以根据要由自动驾驶交通工具1执行的检测任务的性质来选择作为自动驾驶交通工具1的一部分而提供的一个或多个检测传感器191。
具体参考检测作为另一目标5(即，检测任务的对象)的风力涡轮机来描述实施例；然而，应当理解，该描述同样适用于检测其他目标和体积，例如本文提到的那些。
显而易见的是，本文描述的自动驾驶交通工具系统100的各个组件使用它们各自的通信系统18、21、44彼此通信。这些通信可以通过例如关于这些系统18、21、44所描述的任何有线或无线通信信道进行。
在一些实施例中，基站2(如果有的话)可以充当操作员界面装置4与自动驾驶交通工具1之间的中继站，使得操作员界面装置4与自动驾驶交通工具1之间的通信通过基站2被联通，基站2可充当信号转发器和/或可以通过一个通信信道接收通信，并通过另一个(不同的)通信信道转发它们。
基站2用作通信中继器，可以减少自动驾驶交通工具1和操作员界面装置4的通信系统18、44所需的传输动力。
在一些实施例中，基站2可以用作与远程服务器3通信的中继器，使得从无人驾驶交通工具1和/或操作员界面装置4向远程服务器3发送的数据首先被发送到基站2，然后基站2将数据转发到远程服务器3(例如，使用不同的通信接口，例如远程通信接口)。
自动驾驶交通工具1、基站2和操作员界面装置4(以及远程服务器3)的操作通过一个或多个计算机程序进行控制，其中，一个或多个计算机程序由飞行控制计算机和/或导航计算机和/或检测系统计算机和/或基站计算机22和/或计算设备41和/或远程服务器3执行。可以理解，这些计算机的操作可以根据需要进行组合和/或分布以实现所需的控制。本说明书给出了计算机程序的一种或多种布置，但是总的来说，这不应被视为限制本公开。
飞行控制计算机被配置为执行飞行控制程序。飞行控制程序被配置为接收飞行控制指令，该飞行控制指令包括自动驾驶交通工具1在一定空间内(即，操作区域内)的期望运动。飞行控制程序可被配置为接收来自于传感器系统17(例如，来自一个或多个传感器171)的输入，该传感器系统17向飞行控制程序提供传感器数据，该传感器数据使得飞行控制程序能够设法根据飞行控制指令控制自动驾驶交通工具1。飞行控制程序可以例如不被配置为用于确定自动驾驶交通工具1的期望运动，而是相反，接收期望运动(以飞行控制指令的形式)，然后寻求实现那些期望运动。因此，飞行控制程序可被配置为控制驱动系统12的运行以寻求实现期望运动，并且这可以包括控制该或每个驱动元件13或其他执行器(可以是如描述的驱动元件13的形式)的运动。将会理解，因为这种交通工具的配置彼此之间可能差别很大，所以飞行控制程序对于特定的自动驾驶交通工具1或特定类型的自动驾驶交通工具1可能基本上是唯一的。
操作员界面装置4的计算设备41可包括界面42，操作员可以通过该界面42生成飞行控制指令，该飞行控制指令传输至飞行控制程序以手动控制自动驾驶交通工具1的运行。例如，这些飞行控制指令可以称为直接飞行控制信息，因为它们不是导航程序生成的指令。该界面42可以形成操作员控制程序的一部分，其中，该操作员控制程序被配置为由操作员界面装置4的计算设备41执行。
因此，如果需要的话，操作员界面装置4可以用于手动控制自动驾驶交通工具1。
导航计算机被配置为执行导航程序，该导航程序被配置为向飞行控制程序提供该一个或多个飞行控制指令。导航计算机还可以接收来自传感器系统17的输入(例如，来自该或每个传感器171的输入)，并且还可以接收来自检测系统19和/或视觉引导系统20的输入。
导航程序确定自动驾驶交通工具1在正常使用时的飞行计划(即所需的飞行路径)，发布具有实现该飞行路径的视图的飞行控制指令，并监视对该飞行路径的遵守情况(以及根据需要采取纠正措施)。
导航程序可与初始设置程序通信地耦合，该初始设置程序用于向导航程序提供初始信息(例如，多个初始设置参数)以便建立飞行计划。
因此，可以将初始设置程序配置为接收导航程序的一个或多个初始设置参数。初始设置程序可被配置为由操作员界面装置4执行，并且具体地，由其计算设备41执行。因此，操作员可以使用操作员界面装置4的界面42输入一个或多个初始设置参数。在某些实施例中，这些初始设置参数中的一个或多个可以从远程服务器3获得，其中，这些初始设置参数先前已经被输入，然后存储在远程服务器3中以备将来使用。在一些实施例中，初始设置程序可以由基站计算机22执行，并且接口可以由基站计算机2提供给操作员界面装置4，以能够经由操作员界面装置4接收来自操作员的输入。
更具体地，初始设置程序可以接收一个或多个初始设置参数，这些初始设置参数可以包括以下参数中一个或多个：
需要被检测的目标5的种类；
目标5的大致位置(例如，在实际位置的100m之内或在实际位置的50m之内，和/或具有至少1m或5m或10m或20m或30m的位置误差)；
目标5的精确位置(例如，位置误差小于5m或1m，并且在任何情况下，位置误差均小于目标5的大致位置的位置误差)；
目标5的模型；
目标5的一种或多种物理特性；
目标5相对于自动驾驶交通工具1的大致方向；和
目标5的一部分或多部分的位置。
在目标5是风力涡轮机的示例中，目标5的类型可以是目标为风力涡轮机的指示。如果将初始设置程序和/或导航程序配置为用于检查多种不同类型的目标(或可被视为另一种形式的目标的体积)，则可能需要此类信息。然而，在一些实施例中，初始设置程序和/或导航程序被配置为仅用于检测风力涡轮机。因此，此信息可能已经设置在初始设置程序和/或导航程序中。
目标5的大致位置可以包括目标5的大致经度和纬度，换言之，大致地理位置。该信息可以用于确定自动驾驶交通工具1的初始飞行路径和/或针对该位置记录检测数据以供将来参考。
类似地，目标5的精确位置可以是目标5的更精确的地理位置。该信息可能并非对所有目标5都可用，并且可能是可以提供大致地理位置，但是不能提供精确位置。同样，可以与上述的大致位置信息几乎相同的方式使用该信息。
在风力涡轮机的情况下，目标5的模型可以是风力涡轮机的模型(例如，而不是代表的类型)，并且可以包括制造商。尽管目标(例如风力涡轮机)的特定模型的具体实例之间会有一些变化，但是所有模型都可能共享某些特征。因此，此信息可以用来查找目标5的一个或多个特征，例如使用初始设置程序或导航程序或从远程服务器3获得的数据库。在以风力涡轮机为例的情况下，此类特征可能包括塔架的高度、发动机舱的尺寸、轮毂的尺寸、叶片的尺寸、叶片的数量等。同样，此信息用于确定初始飞行路径以及对照检测记录进行记录。
目标5的一种或多种物理特性可以包括可通过使用目标5的模型获得的相同类型的信息，因此例如在已知的情况下可进行手动输入。
目标5相对于自动驾驶交通工具1的大致方向例如可以是目标5位于自动驾驶交通工具1的北方/南方/东方/西方。从本说明书中显而易见的是，作为初始飞行路径的一部分，自动驾驶交通工具1移动以确认目标5的位置。在自动驾驶交通工具1的飞行开始时，目标5相对于自动驾驶交通工具5的大致方向将有助于确保自动驾驶交通工具相对快速且成功地找到目标5(和/或正确的目标5被找到，这可以是关于运行的自动驾驶交通工具1非常接近许多相似的目标5(例如在风电场)的特定问题)。
目标5的一个或多个部分的位置可以是例如风力涡轮机的一个或多个叶片相对于风力涡轮机的塔架的位置。同样，这可以帮助规划初始飞行路径。
在一些实施例中，初始设置程序被配置为经由操作员界面装置4(例如，界面42)向操作员呈现地图或航空照片。初始设置程序可能能够接收自动驾驶交通工具1相对于目标5(可在地图或航空照片中示出)的当前位置的用户输入(通过界面42)。初始设置程序可被配置为使用该信息来确定例如自动驾驶交通工具1的大致位置和/或目标5相对于自动驾驶交通工具1的大致方向。
初始设置程序可以另外地或附加地经由操作员界面装置4(例如，界面42)向操作员呈现具有一个或多个相关的数据输入字段的表格，通过该表格可以输入任何或所有上述信息。
在一些实施例中，自动驾驶交通工具1相对于目标5可能存在特定的开始位置，例如发射台或其他参照物。因此，操作员可以将自动驾驶交通工具1定位在特定的开始位置，然后使用操作员界面装置4向初始设置程序提供指示，指示自动驾驶交通工具1位于用于检测该目标5的特定的开始位置。
在一些实施例中，操作员可以确定自动驾驶交通工具1的方位，使得自动驾驶交通工具1相对于目标5的方向是预定的，从而提供目标5相对于自动驾驶交通工具1的大致方向。就这一点来说，自动驾驶交通工具1可向操作员提供视觉指示器，以与目标5一致。
在一些实施例中，可能需要操作员将自动驾驶交通工具1定位于相对于目标5的预定方位处。例如，在风力涡轮机的情况下，可以被定向为使得自动驾驶交通工具位于轮毂和叶片的前方(相对于塔架)。这可以有助于向初始设置程序和/或导航程序提供关于自动驾驶交通工具1相对于目标5的各部分的位置的信息。
通过将一些或全部初始数据提供给初始设置程序，初始设置程序可以将该数据传递给导航程序。在某些情况下，导航程序基本上完全由导航计算机(可以安装在自动驾驶交通工具1的框架11上)执行；然而，在一些实施例中，该导航程序的至少一部分由操作员界面装置4和/或基站计算机22执行。
导航程序还可以从自动驾驶交通工具1的传感器系统17接收一个或多个输入，例如，来自一个或多个传感器171的传感器数据。例如，该传感器数据可包括由一个或多个传感器171(例如，相对于地球磁场使用磁力计形式的传感器171)确定的位置信息，用于自动驾驶交通工具1的地理位置和/或其方位。
导航程序使用初始设置程序提供的一些或全部数据(和/或以上所讨论的预定信息作为对于操作员相对于目标5定位自动驾驶交通工具1的定义需求的结果)，以确定目标5距自动驾驶交通工具1的大致位置，并规划初始飞行路径。
导航程序可以被配置为生成目标5和自动驾驶交通工具1的近似位置和配置的视觉表示以及相对于其的初始飞行路径的视觉表示。这可以被输出到操作员界面装置4，以供操作员查看和确认。
初始飞行路径可以在导航系统的参考系内定义，从而可以使用例如来自一个或多个传感器171的地理位置信息以与全局参考系一致(例如，可以使用基站位置数据进行调整)。
初始飞行计划是将自动驾驶交通工具1移动到一个或多个检测位置的飞行计划，自动驾驶交通工具1的检测系统19可以用于在该检测位置处执行对目标5的检测。这可以包括例如使用相机191a和/或使用一个或多个其他检测传感器191(如果有的话)捕获目标5的至少一部分的图像。
因此，检测位置是自动驾驶交通工具1必须到达的位置。然而，例如，在这些位置之间移动使自动驾驶交通工具面临许多潜在的危险。主要危险是撞击目标5风险。因此，有必要定义介于检测位置(多个检测位置)和/或开始和结束位置(自动驾驶交通工具1开始和结束飞行的位置)之间的安全飞行路径。
在一些实施例中，这可以通过导航程序定义一个或多个过渡位置来实现。过渡位置是自动驾驶交通工具1必须经过的位置。
导航程序还可被配置为定义一系列检测位置(多个检测位置)和过渡位置(多个过渡位置)以提供飞行路径和计划。
因此，飞行计划可包括一系列位置(或“点”)，其包括一个或多个检测位置(或“点”)和一个或多个过渡位置(或“点”)。该系列还包括开始位置(或“点”)和结束位置(或“点”)。开始位置和结束位置可以是同一个，这可被称作起始位置，在某些实施例中，例如，这可以是针对于该特定航班的起始位置。
在一些实施例中，过渡位置是在平面上或在轨迹上被定义为安全平面或轨迹的位置。
自动驾驶交通工具1和/或检测系统19相对于目标5的方位与飞行计划中的每个检测位置和/或过渡位置相关联，以确保检测系统19被正确定位以检测目标5。
自动驾驶交通工具1可以在导航程序的指令下开始启动例程，该例程包括以下一项或多项：测试传感器系统17、测试通信系统18、测试检测系统18以及测试驱动系统12。在一些实施例中，导航程序被配置为例如估计完成初始飞行路径所需的动力。这可与动力源14的动力供应(例如，电池充电水平)进行比较，以确定利用可用动力能否完成飞行。
如果启动例程成功完成，则自动驾驶交通工具1可进入就绪状态。可通过操作员界面装置4向操作员指示就绪状态。如果启动例程未能成功完成，例如因为一个或多个测试失败，那么自动驾驶交通工具1可能仍处于未就绪状态，这也可以通过操作员界面装置4向操作员指示(例如，连同测试失败的指示)。
在无人驾驶交通工具1处于就绪状态的情况下，操作员可以经由操作员界面装置4，例如，通过界面41，根据初始飞行计划，触发无人驾驶交通工具1的运行。
在飞机作为自动驾驶交通工具1的示例的情况下，交通工具1的运行的开始可以包括加速周期(在该加速周期中，该或每个驱动元件13通过驱动系统12驱动直到所需速度)，之后是起飞序列(在该序列中，自动驾驶交通工具1起飞)。
在自动驾驶交通工具1的移动(即，示例中的飞行)期间，导航程序(例如，在导航系统16的导航计算机上运行)向飞行控制程序提供飞行控制指令(在飞行控制系统15的飞行控制计算机上运行)。
将会理解，导航程序已经定义了飞行路径，该飞行路径基于目标5的模型(即，简化表示)以及自动驾驶交通工具1相对于目标5的开始位置以及过渡和检测位置(多个检测位置)。
然而，自动驾驶交通工具1相对于目标5的开始位置可能是近似的，并且即使相对准确，对于进行检测来说也可能仍不够准确。
因此，导航程序被配置为在自动驾驶交通工具1的飞行期间(即，当交通工具1执行其检测时)重新评估目标5相对于自动驾驶交通工具1的位置。换句话说，目标5相对于自动驾驶交通工具1的位置在自动驾驶交通工具1运行期间被完善。
相对于自动驾驶交通工具1的位置重新评估和调整目标5可以使得飞行路径必须被改变。将会理解，基本的改变将是随着相对位置的调整而在空间中变换飞行路径。然而，仅这本身不足以确保自动驾驶交通工具1的安全运行以及成功地完成检测任务。
例如，相对于自动驾驶交通工具1调整目标5位置可以包括目标5的一部分相对于自动驾驶交通工具1的位置，并且该部分可以是相对于另一部分是可移动的。例如，在风力涡轮机的情况下，涡轮机叶片相对于塔架(绕塔架的轴线)和/或相对于机舱(绕机舱的轴线)的旋转位置可以被调整，使得例如实际位置被确定为与初始设置程序提供的初始信息(例如，多个初始设置参数)不同。
这种类型的调整可能意味着，如果遵循该飞行路径，现在将导致自动驾驶交通工具1撞击目标5的一部分和/或可能意味着检测系统19未检测到目标的正确部分(例如相机191a可能拍摄的是稀薄空气的图片而不是风力涡轮机叶片的图片)。
相应地，导航程序被配置为在自动驾驶交通工具1的运行过程中重新定义飞行计划(以形成重新定义的飞行计划)，正如确定关于目标5和自动驾驶交通工具1相对位置的新信息。
除了由于大致的初始相对位置信息被提供而重新定义飞行计划之外，这种飞行计划通常还假定理想运行条件，其中，自动驾驶交通工具1可以并且确实遵循该计划中设定的飞行路线。然而，实际上，自动驾驶交通工具1遭受不可预测的并且难以提供其补偿的外力。在飞机的情况下，这可能包括风对自动驾驶交通工具1的影响(但是，例如，由于水流，船只会出现类似问题，由于表面不稳定或打滑，地面交通工具也会出现类似问题)。
如果在受到这种力并偏离期望的飞行路径时，自动驾驶交通工具1试图返回到原来的期望飞行路径，那么这可能不再是理想的飞行路径，并且作为不期望运动的结果可能存在更好的飞行路径。此外，识别新的理想飞行路径要求导航程序在自动驾驶交通工具1运行期间重新定义飞行计划。
如将意识到的那样，在自动驾驶交通工具1运行期间重新定义飞行计划是一项复杂的任务，必须快速且准确地执行该任务以使自动驾驶交通工具1能够安全且有效地运行。
因此，需要提供更好的飞行计划技术。
由实施例实施的飞行计划是基于目标5的模型，并且该模型可以在交通工具1的整个运行过程中进行调整。
在图12中可以看到可由实施例实施的模型调整的概述。该概述是一个示例并且应该进行注释(如本文所解释的，可以使用更多或更少的传感器，并且可以生成更多或更少的模型)。然后，可以在飞行计划中使用调整的模型，并且模型的每个调整都可导致重新处理飞行计划以及在飞行期间(即，在交通工具1的运行期间)对其进行修改。在交通工具1的运行期间(例如，在飞行期间)，该过程可以是基本上连续的。
参见图12，初始模型(例如，目标5的简化表示)可被确定并可由导航程序执行。例如，可以基于初始设置参数来确定该模型。然而，可以通过其他方法确定该模型。
该模型是目标5或其至少一部分，并且可以包括一个或多个其他目标(或其部分)，即不是要检测的目标5。该初始模型以及目标5相对于自动驾驶交通工具1(例如，检测系统19)的位置形成了导航所基于的初步输入。将会理解，位置可以采取位置信息的形式，其可以形成初始模型本身的一部分。
导航程序被配置为从传感器系统17接收数据，例如，从一个或多个传感器171。如图12所示，作为示例，来自一个传感器171的数据可以被独立地使用(例如，来自图左侧的“传感器A”的数据)或来自多个传感器171的数据可被组合(例如，来自图右侧的“传感器A”和“传感器B”的数据)。
导航程序分析数据以将该数据聚类为由从传感器系统17接收的数据表示的目标和/或部分目标。
将会理解，这可以包括在聚类之前将来自多个传感器171的数据的组合(例如，参见图12的右侧)。
然后，导航程序可以使用从传感器系统17中获取到的数据中识别出的多个目标或多部分目标以及初始模型，以将来自传感器系统17的数据中的目标或多部分目标与初始模型或其多部分进行匹配。这可以包括使用来自初始模型的位置信息以及由传感器数据生成的位置信息。
这使得能够将初始模型的多部分与从传感器系统17获取的数据进行交叉识别。
应当理解，由于各种潜在的原因，从一个传感器171中获取的传感器数据或从一组传感器171中获取的组合传感器数据可能比从另一个传感器171中获取的传感器数据或另一组传感器171中获取的传感器数据更精确或更不精确。
因此，导航程序基于传感器数据(可能包括位置信息)、初始模型(可能包括位置信息)和交叉识别结果可以生成一个或多个潜在的修正模型。
导航程序可被配置为组合两个或更多个潜在的修正模型以得出合并的模型，然后将其用于更新初始模型(包括新的位置信息)。
该过程可重复，使得更新后的初始模型可随后自行更新(例如，变为在图12的顶部显示的初始模型)。这可能是一个迭代的过程。
与模型的更新一起，导航程序还可被配置为确定和更新包括飞行路径的飞行计划。每次更新模型时，还必须根据新模型检查并更新飞行计划(如果需要)。同样，这可能是一个迭代过程。
导航程序执行的此一般过程将在下面进行更详细地讨论。至少可以使用初始模型来确定初始飞行计划。因此，下面的讨论从模型的讨论开始，然后是如何确定飞行计划。然后讨论了如何更新模型(请参阅映射和定位过程)。
如上所述，导航程序使用目标5或其多部分的初始模型。
该模型可以包括提供目标5的简化表示的几何形状或目标的集合。
在风力涡轮机作为另一目标5的示例中(并且还相对于多个其他目标5)，模型可以包括一个或多个圆柱体。例如，风力涡轮机的塔架可以由一个圆柱体表示，机舱可以由另一个圆柱体表示，并且三个叶片中的每个叶片可以分别由单独的圆柱体表示。
在一些实施例中，该或每个几何形状可以是凸立体，该凸立体可以由沿着其维度之一平行堆叠的一组凸多边形得到。在一些实施例中，堆叠可能不是平行堆叠，使得两个多边形的相邻边相对于彼此成一定角度–例如，这对弯曲目标5或其多部分进行建模可能特别有用。每个凸多边形可以形成具有一定厚度的平板，并且每个平板的厚度可以彼此相同(或不同)。在一些实施例中，该或每个多边形的任何三个相邻点(即，角)之间的对向角可以小于180度。
因此，模型可以包括一个或多个可包围目标5的凸形。但是，模型可以使用一个或多个其他形状来包围目标5(除了凸形或代替凸形)。
实际上，在一些实施例中，模型可以包括点云，其中这些点表示目标5上的表面位置。但是，在一些实施例中，模型仅由凸形形成。在一些实施例中，该或每个凸形是三维凸形。在一些实施例中，模型可以包括一个或多个二维形状的网格，例如形成模型的三角形或正方形或矩形的网格形状。
该模型可以由一个或多个形状形成，使得可以在该或每个形状的边缘上定义检测目标，并通过从其投影到检测目标上来识别检测位置，凸形是其一个示例。
在一些实施例中，模型可包括多个特征点201，其各自表示目标5的一个或多个特征的多个位置(例如，参见图15)。由特征点201表示的该或每个特征可以是可以在目标5的一个或多个图像中识别的特征，其可以包括例如一个或多个可见光图像。
在风力涡轮机的情况下，例如，作为目标5，特征点201可以表示例如风力涡轮机的塔架的底座、风力涡轮机的塔架的顶部、风力涡轮机的叶片(或多个叶片)的远端以及叶片(或多个叶片)的近端中的一个或多个。叶片或多个叶片的近端可以是相对于叶片或多个叶片的中心位置，叶片或多个叶片绕该中心位置旋转(例如叶片或多个叶片的轮毂)。
在一些实施例中，参见图14，例如，除了多个特征点201之外或代替多个特征点201，模型可包括一组特征线202，其在特征点201之间延伸(该组中的每条特征线202在两个特征点201之间延伸)。因此，多个特征点201可以为形成模型的多条特征线202提供多个端点。多个特征线202可共同形成目标5或其部分的表示。出于解释的目的，该表示可以形成目标5或其部分的棒状或骨架图。
在风力涡轮机的情况下，包括一个或多个特征线202的模型可以包括：
第一特征线202a，在表示风力涡轮机的塔架的底座的特征点201和表示风力涡轮机的塔架的顶部的特征点201之间延伸；
第二特征线202b，在表示塔架的顶部的特征点201和表示轮毂的特征点201之间延伸；以及
多条第三特征线202c，每条第三特征线202c从表示轮毂的特征点201延伸到表示远侧叶片尖端的相应特征点201。
因此，风力涡轮机形式的目标5的模型可包括六个特征点201和五条特征线202。
如将理解的，可使用三维坐标系统来定义多个特征点201，并且同样地，可以在三维坐标系中定义多条特征线202。可以以多种不同的方式定义多条特征线202，诸如以两个特征点201之间的直线延伸，或者在指定方向上从特征点201延伸指定距离。
因此，模型具有多个特征点201和/或多条特征线202，该模型可以提供目标5的一个或多个物理特性的表示，并且这可以包括目标5的姿态，诸如风力涡轮机的多个叶片相对于风力涡轮机的塔架的相对位置和/或物体5在参考系内的位置。该模型可以被充分地归纳为适应目标5的各种不同版本，例如，风力涡轮机的多个不同设计/配置/形状和尺寸。
多条特征线202可表示目标5的中心部分。具体地，多条特征线202可包括不表示目标5的边缘而是位于目标5内(如果目标5被投影到模型上)的一条或多条线。在一些情况下，如果不能容易地检测到边缘(见本文其他地方，关于模型如何被参数化)和/或预期模型表示目标5的各种变化(例如，风力涡轮机的多个不同设计/配置/形状和尺寸)，则这种形式的模型可能是有利的。
例如，模型包括该类型的一个或多个特征点201和/或一条或多条特征线202，该模型可以被称为骨架模型。因此，骨架模型可以与包括多个几何形状或目标的集合的模型区分开；然而，这两种形式的模型提供了目标5的简化表示。在一些实施例中，模型是关节模型，使得模型的一个或多个参数的变化可导致模型的至少部分的非线性和/或不连续运动。所述骨架模型可包括可以限定目标5的至少一部分的配置的至少一个参数。
导航程序可以被配置为用于确定模型，或者可以被提供有模型(例如，从远程服务器3)。模型代表或描述目标5。
该模型是目标5(或其一部分)的表示，并且可以具有取决于目标5类型的标称形式(例如，可以在模型中通过塔架、机舱和每个叶片的形状来表示风力涡轮机)。
该模型可以作为未参数化的标称模型(即，目标5的相对通用的表示)提供给导航程序。因此，该模型可以包括一个或多个可配置的参数。
这些一个或多个可配置参数可相对于自动驾驶交通工具1(例如，相对于检测系统19)和/或自动驾驶交通工具1将起飞的位置放置标称模型。一个或多个可配置参数可包括与目标5的至少一部分(例如风力涡轮机的机舱的高度)相对于自动驾驶交通工具1(例如，相对于检测系统19)相关联的高度和/或自动驾驶交通工具1起飞的位置。一个或多个可配置参数可包括目标5的一部分相对于另一部分的至少一个相对位置-例如风力涡轮机叶片的位置(例如，这可以是相对于塔架的位置)。该至少一个相对位置可包括风力涡轮机的前进方向(heading)，并且这可以相对于例如北方。该至少一个相对位置可以包括机舱或叶片中心相对于塔架的位置(替代地，这可以是相对于自动驾驶交通工具1的一个独立参数)和/或自动驾驶交通工具1将起飞的位置(例如，相对于检测系统19)。因此，该一个或多个可配置参数可包括一个或多个特征点201和/或一条或多条特征线202(其端点和/或长度和/或延伸方向)的多个位置，注意本文中关于如何限定多条特征线202中的每条的讨论。
在一些实施例中，可以首先通过初始设置程序对模型进行参数化(即，通过确定与模型相关联的多个参数来完成，换句话说，确定多个参数的值)。可选地，初始设置程序可以提供有关目标5的信息，然后通过导航程序使用该信息以将模型参数化。
因此，模型的参数化可包括使用通过初始设置程序获得的信息来定义多个特征点201和/或多条特征线202中的一个或多个。在一些实施例中，模型的参数化可以包括对目标5的一个或多个图像进行处理。例如，该或每个图像可包括一个或多个可见光图像。
可以通过传感器系统17的传感器171捕获(传感器271可包括相机)该或每个图像。在一些实施例中，可以通过检测系统19的检测传感器191(检测传感器191可包含相机191a)捕获该或每个图像。实际上，在一些实施例中，可在传感器系统17与检测系统19之间共享相机191a，使得单个相机可提供两个系统的图像。在一些实施例中，可以独立于自动驾驶交通工具1提供该或每个图像。例如，可以由相机捕获该或每个图像，其中，该相机不构成自动驾驶交通工具1的一部分但构成基站2的一部分，或者可以通过由人类用户操作的手持式相机捕获该或每个图像。
该或每个图像可包括目标5的至少部分的图像且其可包含实质上全部目标5。
在一些实施例中，诸如使用骨架模型的那些实施例，可使用一个或多个这样的图像(并且也可以使用来自初始设置程序的信息)使用本文描述的关于骨架模型的映射和/或定位过程来参数化模型。
为了确定初始飞行计划，导航程序可以将检测系统19的操作特性考虑进去。
导航程序可以被配置为接收或者可以被预编程有关于检测系统19(例如，该或每个检测传感器191)的操作特性的信息。在一些实施例中，检测系统19被配置为向导航程序提供该信息(例如，检测系统计算机192)。在一些实施例中，导航程序可从远程服务器3获得信息，或者可以已经具有该信息作为导航程序的一部分。
检测系统19的操作特性可以包括例如以下信息中的一个或多个：
检测系统19可以距离目标19的最大距离(例如，以所需的最小分辨率)，用于精确检测，
检测系统19可以距离目标19的最小距离，用于精确检测，
检测系统19的视场(可能与检测系统19和目标19之间的距离有关)，
检测系统19的分辨率，
考虑到目标5在检测目标处的任何曲率，检测系统19相对于检测系统19与检测目标之间的角度的分辨率的变化(因此，可能会影响检测系统19的有效视场)，
检测操作的最短设置时间(即，在可能发生检测操作之前，检测系统19必须位于检测位置的最短时间)，
最短检测操作时间(即，为了进行检测操作，检测系统19必须位于检测位置的最短时间)，
检测系统19相对于交通工具1的视场(或有效视场)的移动范围(例如，方向变化)(在一些实施例中，该或每个检测传感器191相对于交通工具1在方向上可能具有有限变化)，以及
最小复位时间(即检测系统19采用适合于自动驾驶交通工具19运动的运行模式的最短时间，例如可以包括覆盖检测传感器191(例如，以避免在飞行过程中受到污染)，这可能仅适用于某些检测)。
检测系统19的视场(或有效视场)可包括可由检测系统19从一个检测位置(例如，距检测系统19的特定距离)覆盖的区域或空间，并且可以包括深度范围。例如，检测传感器191可具有与检测传感器191距目标5的特定距离相关联的视场(或有效视场)，但是该视场可涵盖该距离(即深度)在预定范围内的变化。一个示例是相机191a，其可以聚焦到特定距离，但是该目标5的多部分位于该距离处或位于自相机191a的该距离的给定变化范围(即深度变化)内，也有进行检测操作的足够的焦距。
这些操作特性可以在整体上或相对于该或每个各自检测传感器191提供给检测系统19。
为了确定初始飞行计划，导航程序可以将交通工具1的操作特性考虑进去(除了或代替检测系统19的操作特性)。
导航程序可以被配置为接收或者可以被预编程有，关于交通工具1的操作特性的信息。在一些实施例中，飞行控制系统15被配置为向导航程序提供该信息。在一些实施例中，导航程序可以从远程服务器3获得该信息，或者可已经具有该信息作为导航程序的一部分。
交通工具1的操作特性可以包括例如以下参数中的一个或多个：
交通工具1可能的运动自由度；
与交通工具1的一项或多项运动相关联的一项或多项成本；
交通工具1的最大高度(或交通工具1的其他最大范围)；以及
交通工具1的动力容量。
导航程序可被配置为使用检测系统19的一个或多个操作特性和/或交通工具17的一个或多个运行特性来确定相对于目标5的模型(即表示)的一个或多个检测目标(例如，参见图6，示出了检测目标的集合)。
检测目标可以是位于模型表面上的点，该点将成为自动驾驶交通工具1的检测系统19的检测操作的目标。
该或每个检测目标可以至少部分地基于例如以下一项或多项：初始设置参数、基本上检测整个目标5的整个表面或部分目标5(例如风力涡轮机的叶片)的目的、操作员定义的检测目标(例如，由操作员使用操作员界面42识别，该操作员界面可显示模型的图形表示)、以及对目标5的先前的一次或多次检测(例如，可以通过远程服务器3提供此类信息)。
例如，可使用检测系统19的一个或多个运行特性来确定该或每个检测目标，以便确保检测的期望覆盖范围(例如，通过检测操作的组合(尽管在一些实施例中可能仅存在一个))。相应地，可以选择该或每个检测目标，以确保一个或多个检测操作至少在一个边缘处具有重叠的覆盖范围。在一些实施例中，检测操作可能需要检测目标的期望的非重叠间隔(即，负重叠量或负距离/间距)。例如，可能是关于包括现场检测的检测操作的情况。
例如，导航程序可被配置为使用视场(或有效视场)特性来定义检测目标的集合，使得目标5的预定部分(可能是全部)通过检测操作被介于检测数据之间的重叠量覆盖，以允许来自一个检测操作的检测数据与另一检测操作的检测数据组合。当然，这可能需要捕获(作为检测数据)一系列图像(使用相机191a)，使得可将图像拼接在一起以形成更大的图像。相同的技术(即数据拼接)可以用在其他形式的检测数据上。
在一些实施例中，导航程序可被配置为定义检测操作，该检测操作具有重叠度，该重叠度至少部分地取决于检测系统19(例如检测传感器191)相对于目标5在重叠区域内的角度和/或距离。将会理解，检测操作19的分辨率可以根据该信息而变化，因此如果每个操作在重叠区域中具有相对较低的分辨率，则可能需要在检测操作之间具有更大的重叠量。用于重叠检测操作的检测数据可以被组合以提高检测数据在重叠区域中的有效分辨率。
导航程序可被配置为确定一个或多个检测位置，并且可被配置为基于检测目标和目标5的模型(即表示)来确定至少一个过渡位置。换句话说，导航程序被配置确定飞行计划。
导航程序可以被配置为确定多个不同的飞行计划，并且可以基于一个或多个功能/操作成本来寻求确定最佳的飞行计划。
导航程序可被配置为至少部分地基于一个或多个运行约束来确定该或每个飞行计划。该或每个运行约束可以是预定的，可以是初始设置参数的一部分，可以从远程服务器3获得，或者可以由操作员输入(例如，使用界面42)。
运行约束的第一示例是范围约束。范围约束可以确定在飞行期间(根据飞行计划)自动驾驶交通工具1可以有多接近目标5。因此，该范围约束有效地在自动驾驶交通工具1和目标5之间形成了无形的墙，该无形的墙旨在减少或基本上消除自动驾驶交通工具1撞击目标5的风险。
范围约束可以是距目标5的模型的任何部分的最小距离(或范围)。这样，只要保持该最小范围，自动驾驶交通工具1就可以绕目标5移动。这可以称为恒定范围约束。
范围约束可以被定义为相对于目标5的平面(换句话说，是从模型的最近部分到自动驾驶交通工具1的预定距离的一个虚拟平面，目标5的任何部分都不会延伸通过该虚拟平面(并且，在一些实施例中，目标5的任何部分都不在最小距离之内))。这可被称为平面范围约束。
在一些实施例中，范围约束被定义为距一个检测目标、多个检测目标或所有检测目标的预定范围。因此，该范围可以限定交通工具1被约束或将被约束的球形轨迹。该球形轨迹可以在另一个检测目标的预定范围内，并且因此可以通过多个轨迹的合并来确定范围约束。可以理解，该轨迹可以在一个或多个位置与目标5本身相交，并且可使用本文描述的过程来配置导航程序，以从轨迹的这些部分忽视(discount)检测位置。
将会理解，可以至少部分地基于检测系统19的运行特性来选择范围约束(至少使得检测系统19能够在由距离约束确定的至目标5的最小距离处(或更近)执行关于目标5的检测操作)。
在一些实施例中，可以使用两个范围约束，例如，一个在目标5的两个相对侧的任一侧上。这样，导航程序可以被配置为定义飞行路径，该飞行路径将自动驾驶交通工具1经过目标5的至少一部分从一个范围约束移动到另一范围约束。这两个范围约束都可以是平面范围约束。这两个范围约束可以有效地提供与目标5的第一侧相关联的第一范围约束以及与目标5的第二侧相关联的第二范围约束，其中，这两侧可以是相对侧(例如，目标5的正面和背面)。
如将意识到的，在一些实施例中，导航程序可以试图与由范围约束所确定的范围保持相对接近，以试图确保有效的检测操作。因此，使用哪种形式的范围约束可以影响相对于检测目标的检测位置。在一些实施例中，可以基于检测系统19的检测操作和/或操作特性的一个或多个方面来选择该或每个范围约束，例如，以确保检测操作成功完成。
在一些实施例中，该或每个范围约束限定了一个运行区域，在该运行区域中允许交通工具1运行或者在其中允许导航程序定义飞行路径。在一些实施例中，该区域是平面(其可以是曲面)或轨迹(例如，飞行路径被导航程序约束或将被导航程序约束在此之内)。
将会理解，预定的几何关系可以使用从检测位置到检测目标的距离以及从检测位置到曲面上的入射角(检测系统19的检测轴的角度)来确定。这两个因素必须通过导航程序相互平衡。特别地，为了使用不同的入射角来提高检测分辨率，通常需要检测系统19沿着范围约束平面进一步远离检测目标。因此，为了优化由于与检测目标的距离增加而引起的分辨率损失，导航程序可寻求由于因入射角的改善而引起的分辨率增加。检测轴可以被定义为检测系统19(和(一个或多个)检测传感器191)的视场的中心轴，其从检测系统19(和(一个或多个)检测传感器191)延伸到检测目标。
也可能存在其他约束，其中可能包括到被检测的其他目标(除被检测的目标5以外)或目标5的多个其他部分的最小范围。
如将变得显而易见的，自动驾驶交通工具1到目标5(以及在一些实施例中的任何其他目标)的范围可以由传感器系统17确定。
作为飞行计划的生成的一部分，导航程序还可以确定检测系统19的方向，尤其是一个或多个检测传感器191相对于目标5的方向。一个或多个检测传感器191中的至少一个不是全方向的，并且必须朝向(即，指向或定位或定向)目标5，特别是检测目标。例如，对于相机191a就是这种情况。
因此，导航程序可以将该或每个检测位置与检测系统方向相关联(例如，如图7所示)。在某些情况下，检测系统19(或检测传感器191中的至少一个或多个)可相对于框架11具有固定的方向，因此，检测系统方向可以是自动驾驶交通工具5相对于目标5在那个检测位置处(例如，使一个或每个检测传感器191指向检测目标)所需要的方向。在一些实施例中，一个或多个检测传感器191中的至少一个可被配置为相对于框架11移动以改变其相对于框架的相对定向。因此，在一些实施例中，检测系统方向可包括(除了或代替自动驾驶交通工具1相对于目标5的方向)该或每个检测传感器191相对于目标5和/或框架11的方向，并且当执行飞行计划时，这可由导航程序提供给检测系统计算机192，以供检测系统计算机192用于控制该或每个检测传感器191相对于目标5和/或框架11的运动。
在一些实施例中，导航程序同样被配置为使用本文所述的可由检测系统19使用的其他检测位置数据(方向是一个示例)。简而言之，检测系统19可以使用该检测位置数据，以将该或每个检测传感器191配置为执行其检测操作(例如，并可包括目标5在检测位置处距检测系统19/自动驾驶交通工具1的距离)。例如，这使传感器系统19能够根据飞行计划在飞行中进行优化，有关更多详细信息，请参见下文。
因此，导航程序可以被配置为开始将飞行计划确定为包括至少一个检测位置(并且在一些实施例中，至少一个过渡位置)的点云。该飞行计划还很可能包括起点和终点(可以是一个相同的位置，可以被称为起始位置，并且可以是操作员放置自动驾驶交通工具1的位置)。
导航程序可以被配置为执行与飞行计划有关的三个操作：
(i)位置安全性评估；
(ii)有效性评估；和
(iii)运动安全性评估。
在一些实施例中，可以相对于该或每个检测位置执行这三个操作(并且可以相对于一个或多个过渡位置执行)。
在位置安全性评估中，导航程序被配置为确定特定位置对于自动驾驶交通工具1是否是安全的位置。例如，这可包括对上述一个或多个约束的评估。在一些实施例中，该评估基于一个或多个环境因素(例如风速、风向、气流速度、气流方向、自动驾驶交通工具1所处的倾斜角度等)。特别地，在低风速条件下(与高风速条件相比)，距特定目标(要被检测的目标5或另一个目标)的安全距离可能会更小，并且安全距离可能会根据风向而变化。
如果发现某个位置(检测或过渡)未通过(即失败)位置安全性评估，则可通过导航程序删除或移动(即拒绝)该位置。
在一些实施例中，位置安全性评估可包括基于一个或多个约束和/或环境因素来确定位置的位置安全性分数，其中位置安全性分数指示该位置的感知安全风险。
至少相对于该或每个检测位置执行有效性评估。根据该评估，导航程序被配置为确定相关的检测目标是否可能从该检测位置被传感器系统19的该或每个检测传感器191检测(例如，具有所需的最小分辨率并且没有障碍物)。对于某些目标5，例如风力涡轮机，目标5的一部分(例如，叶片)相对于另一部分(例如，塔架)的位置可确定该目标5的一部分是否位于检测目标和检测位置之间(即阻挡检测目标)。这是风力涡轮机具有叶片检测的具体问题，其中，该叶片定位为与塔架邻近并基本平行(因此限制了对最接近塔架的一部分叶片的接近)。
为了执行有效性评估，导航程序可被配置为将(例如使用射线追踪)该或每个检测传感器191的视场投射到目标5(即，目标5的模型)上。在一些实施例中，导航程序可以被配置为在感兴趣的目标5的模型的表面上执行该投影，并且可以排除在该感兴趣的范围之外的该或每个检测传感器191的视场的一个或多个(或所有)部分。例如，这可以帮助减少由于阻挡该或每个检测传感器191的视场的不需要部分而导致的对原本合适的检测位置的拒绝。因此，未通过(即失败)有效性评估的位置被导航程序删除或移动(即被拒绝)。在一些实施例中，有效性评估可包括基于来自该检测位置的检测操作的感知有效性来确定有效性得分。
运动安全性评估由导航程序执行，以确定某个位置(在某些实施例中可以是检测位置，但可以是过渡位置)是否可以安全地进入和离开。这可包括对上述约束的评估。此外，在一些实施例中，运动安全性评估可包括基于与运动相关联的感知安全风险来确定运动安全性得分。可将一个或多个过渡位置添加到飞行计划中，作为运动安全性评估的一部分，以确保对于给定位置而言该运动是安全的。
为了辅助这三个操作中的一个或多个，导航程序可使用可采取不同形式的目标5的一个或多个附加模型。
因此，导航程序可以被配置为生成点云，该点云包括多个检测位置并可包括一个或多个过渡位置。在一些实施例中，导航程序在这个阶段还没有将位置排列成飞行计划。
将会理解，从位置的点云(可以仅仅是检测位置，但是可以包括一个或多个过渡位置)，可以确定大量可能的飞行计划。通常，每个此类飞行计划包括另外的多个过渡位置，例如，以定义多个检测位置之间的飞行路径。
点云由导航程序评估，以选择可能的多种飞行计划中的一个。该过程可以被称为飞行计划选择过程。
飞行计划选择过程可以使用多种不同方法中的一种或多种。
飞行计划选择过程可以包括搜索不同的可能飞行路径。这可通过使用合适的搜索方法如广度优先搜索、深度优先搜索、贪心算法、迪杰斯特拉(Dijkstra)算法、A*算法、和/或任何合适的图搜索技术来执行。在一些实施例中，飞行计划选择过程包括操作员选择飞行路径中一个或多个部分(可以使用操作员界面装置4来输入)。
因此，飞行路径由导航程序确定，其可包括由飞行计划选择过程确定的一个或多个过渡位置，以及一个或多个检测位置(并且可以包括一个或多个预定的过渡位置)。
然后，基于成本标准对由导航程序使用搜索方法确定的不同的可能的飞行路径进行成本计算，并根据该成本标准进行排序。
导航程序的成本计算过程可基于一种或多种可能的成本标准，例如距离、时间、功耗(来自动力源14)等。在一些实施例中，成本计算过程可基于时间(即，飞行或旅行时间)对不同的可能飞行路径进行排序。
在一些实施例中，一个或多个成本标准被转换成具有共同的不同标准的成本，例如功耗或距离。在一些实施例中，例如，将一个或多个与时间无关的成本标准转换为基于时间的成本，以用于在成本计算过程中进行评估。在一些实施例中，自动驾驶交通工具1到目标5的距离可以被包括在成本计算过程中(包括例如自动驾驶交通工具1的预测速度)。在一些实施例中，自动驾驶交通工具1的角位置与一个或多个检测传感器191的角位置之间的角偏差可包括在成本计算过程中(例如，包括自动驾驶交通工具1的角速度或检测系统19的安装装置)。在一些实施例中，时间损失可以应用于运动之间的过渡，以检测目标5的一部分相对于另一部分(例如，叶片相对于塔架，和/或目标5正面相对于目标5的背面)。
成本计算过程可以被配置为从不同的飞行路径中选择最低成本的飞行路径。
成本计算过程可能会将位置安全性评分和/或有效性评分和/或运动安全性评分(如果确定)纳入考虑(请参见上文)。
如上所述，成本计算过程可能会考虑到(尤其是对于平面范围约束而言)距检测目标的距离与入射角之间的平衡。应当理解，距检测目标更大的距离可以提供检测系统19的更宽的有效视场，这可能意味着需要更少的检测操作，但是每个检测操作可包括检测目标分辨率较低的检测数据。因此，可能需要更多的检测操作提供所需的重叠，以提高检测数据的有效分辨率。导航程序可被配置为在成本计算过程中使用这些因素。
在一些实施例中，导航程序可进一步被配置为执行选定的飞行路径安全性过程。根据该安全性过程，导航程序可被配置为确认飞行路径满足一个或多个安全规则。例如，该或每个安全规则可包括距目标5和/或另一个目标(除目标5以外)的最小范围。安全性过程可包括对该或每个过渡位置进行分析(例如，可以仅是由飞行计划选择过程确定的那些过渡点)。
根据此安全性过程，导航程序可以使用射线跟踪技术来考虑飞行路径中连续位置之间的路径(例如，它们在两个过渡位置之间、一个过渡位置和一个检测位置之间，还是在两个检测位置之间)。导航程序可被配置为确定该飞行路径(如在射线追踪技术中所表示的)是否会与目标5(或另一个目标)相交或会在目标5(或其他目标)的最小范围内通过或会进入受限的地理范围或超出允许的地理范围。如果是这样，则导航程序可被配置为移动一个或多个过渡位置(例如，在飞行计划选择过程中确定)，删除一个或多个此类过渡位置，和/或添加一个或多个另外的过渡位置，所有这些都是为了减少自动驾驶交通工具1撞击目标5(或其他目标)的风险。例如，可以通过导航程序使用上述评估来重新评估任何移动的过渡位置或以其他方式改变的飞行路径。另外或可选地，可以再次将任何新的飞行路径与其他飞行计划进行比较(例如，使用本文所述的成本计算)，以确定是否仍选择该飞行路径，或者是否应该采用不同的路径(因此，和计划)。
导航程序可被配置为在飞行计划的实施期间(即，当交通工具1沿着飞行路径移动以执行检测操作时)记录和存储交通工具1运行的信息。例如，该信息可以被存储为日志，并且例如可被发送到用于传送的通信系统18和远离交通工具1的存储器。该远程存储器例如可以位于基站2和/或远程服务器3中。
在一些实施例中，导航程序可被配置为继续被中断的飞行计划。例如，导航程序可被配置为(例如，使用操作员界面装置4，在操作员的指示下)选择关于部分完成的飞行计划的存储信息。导航程序可被配置为继续该部分完成的飞行计划，并且可以试图避免对已经是检测操作的对象的任何检测位置(在飞行计划的部分完成期间)进行重新检测。
这可以使例如在飞行途中终止或中止的飞行计划能够有效地完成。例如，中途终止或中止可能是由于动力或时间限制或识别出安全问题。
在一些实施例中，除了将交通工具1移动到将要恢复的飞行计划的开始位置所需的飞行计划的新部分之外，导航程序可以被配置为在不重新计算飞行计划的情况下继续飞行计划。
在其他实施例中，导航程序可以被配置为重新计算飞行计划以用于在终止或中止的飞行计划期间不是检测操作的对象的检测目标。可以理解，导航程序可被配置为确定新的检测位置和/或由此得到的新的飞行计划，并且这可以考虑到目标5的潜在变化，例如目标5的一部分相对于另一部分的运动。目标的改变可以由导航程序确定，作为本文讨论的更新模型的一部分。
换句话说，导航程序可被配置为至少部分地基于先前部分实施的飞行计划所存储的信息来生成新的飞行计划(即，交通工具1开始遵循但交通工具1没有完成的飞行计划)。
如上所述，可以将导航程序配置为(通过安全性过程和/或成本计算过程)用于确定和选择飞行计划。然而，该飞行计划最初可能是基于自动驾驶交通工具1相对于目标5的位置和目标5的配置的相对的初步信息。
换句话说，该飞行计划最初是基于目标5的模型(即，简化表示)以及目标5和自动驾驶交通工具1的近似相对位置信息。
因此，导航程序可以进一步被配置为从传感器系统17接收信息，从而可以更新或调整自动驾驶交通工具1的地理位置、目标5的地理位置、自动驾驶交通工具1与目标5的相对位置以及目标5的配置中的一项或多项。使用该信息可以改变用于飞行计划的目标5的模型，并且这反过来可以使导航程序使用本文所述的过程来修改飞行计划，以重新生成飞行计划或其部分。
因此，导航程序可以被配置为执行映射过程和/或定位过程。可以在自动驾驶交通工具1的飞行(即，运动)过程中执行映射和/或定位过程。如所讨论的，这可能会导致产生一个新模型，该模型可以是与初始模型相同的标称模型，但可以使用一个或多个更新后的参数进行参数化。
映射过程可以包括确定或调整目标5的配置中的一个或多个。定位过程可包括确定自动驾驶交通工具1相对于目标5的相对位置，这可以包括确定在映射过程中确定的目标5的模型的位置(可以是相对于交通工具1(例如，相对于检测系统19)的位置，并且可以考虑交通工具1的方向(例如，偏航、俯仰角和侧倾))。可以在自动驾驶交通工具1的运动期间以平行或重复的顺序方式执行这些过程。
在一些实施例中，映射和/或定位过程可包括从传感器系统17(例如，从一个或多个传感器171)接收传感器数据的步骤。该传感器数据可以包括位置信息和例如来自传感器系统17的测距传感器171或相机171的信息。例如，传感器系统17的相机171也可是检测系统19的相机191a。
映射和/或定位过程可包括对接收到的传感器数据进行处理，以将数据聚类或将数据分为两个或更多个集合或部分，即形成聚类的传感器数据。
然后，可以将聚类的传感器数据作为映射和/或定位过程的一部分进行分析，以识别由聚类的传感器数据中的每个集合或部分表示的目标5的一个或多个部分。
映射过程可以包括确定一个集合或部分相对于另一集合或部分的相对位置(可以包括位置和/或方向或其他配置)。该相对位置表示目标5的一个或多个相应识别的部分相对于彼此的相对位置。因此，映射过程可以确定关于目标5配置的信息。这可包括确定一个或多个变换以将初始模型平移为匹配关于目标5配置的信息。这可以包括对一个或多个初始模型的参数的调节。
定位过程可包括确定一个集合或部分相对于交通工具1(例如，相对于检测系统19)的相对位置(其可以包括位置和/或方向或其他配置)。因此，该相对位置表示目标5(或其部分)相对于交通工具1(例如，相对于检测系统19)的相对位置。例如，相对位置可根据全局参考系来确定，并且可被称为目标位置。这可包括确定一个或多个变换以将初始模型平移为匹配关于目标5的相对位置信息。这可包括对初始模型的一个或多个参数的调整。
在一些实施例中，传感器数据可以包括一个或多个图像，其可以是可见光图像或红外光或紫外光图像。可以以类似的方式对该传感器数据执行映射和/或定位过程，其中图像的多部分被识别为对应于初始模型的多个部分。然后可以在映射和/或定位过程的确定步骤中使用如上文所述的该信息。这可导致另一飞行中模型，其可与其它模型组合和/或用于修改初始模型以供导航程序进一步使用。
例如，在使用骨架模型的情况下，在一些实施例中，定位过程(其可以是导航程序的操作的一部分)可包括接收一个或多个图像，其中该一个或多个图像与目标5的至少部分相关的图像数据(并且在一些情况下，图像可以包括与基本上全部的目标5相关的图像数据)。
定位过程可使用该或每个图像并通过卷积神经网络(CNN)300将图像数据从该或每个图像传递(参见图16，其示出CNN架构以及输入和输出图像)以将图像数据处理成可与骨架模型匹配的形式，使得可确定自动驾驶交通工具1的位置。
因此，CNN 300可以将图像(其可以是多通道图像)作为输入并且产生另一图像(其可以是多通道图像)作为输出。输入图像被称为输入图像数据且输出图像被称为输出图像数据。输入和输出图像数据这两者表示目标5(或其部分)，并且可以是目标的骨架和/或基于点的表示的形式。
输入图像数据可以是红-绿-蓝图像数据的形式。在多个其他实施例中，输入图像数据可以是其他形式。
CNN 300可使用卷积-反卷积架构以由输入图像数据生成输出图像数据。
因此，在一些实施例中，对输入图像数据进行连续卷积和降采样(例如，使用池化技术，诸如最大池化高达CNN 300的瓶颈)。在一些实施例中，在这些过程之后，接着进行卷积和上采样(例如，直至其原始空间维度)。
因此，CNN 300可以是可以包括编码器301(以连续系列的多个卷积层301a的形式，其中，每个卷积层之后是池化层301b)和解码器302(以连续系列的线性放大层302a的形式，其中，每个线性放大层之后是卷积层302b)的架构。
在一些实施例中，这种类型的架构是有益的，因为将来自图像输入数据的整个空间范围的视觉信息(在输入图像数据中)一起放在网络的深度部分中，以向解码器302的输出(其是卷积-反卷积CNN 300架构的反卷积部分)提供特征丰富信息。
在模型中可以基于目标5的部分对多条特征线202和/或多个特征点201进行分类，其中，多条特征线202和/或多个特征点201表示该目标5的部分。在风力涡轮机作为目标5的情况下，第一特征线202a可以是第一类，第二特征线202b可以是第二类，并且多条第三特征线202c可以共同地是第三类。然而，在一些实施例中，多个第三特征线202c中的每一个具有其自己的类别。在一些实施例中，可以对多个特征点201进行分类，其中，每个特征点201形成一个类别。然而，在一些实施例中，表示每个远侧叶片尖端的多个特征点可共同为一类。
考虑到捕获输入图像数据的相机的姿态和参数，由CNN产生的输出图像数据可以是骨架模型的投影的预测形式。输出图像数据的每个通道可以对应于骨架模型的不同类别。因此，在一些实施例中，输出图像数据可以包括对应于一些实施例的骨架模型中的七个类别的七个通道。
在一些实施例中，输入图像数据由相机捕获并且与元数据相关联。该相关联的元数据可以包括位置和/或方向数据。在一些情况下，输入图像数据已由自动驾驶交通工具1携带的相机(例如，由相机191a或一个或多个传感器171中的一个)捕获。这样，元数据可以由一个或多个传感器171中的一个确定，并且可以包括例如使用无线电导航传感器获得的位置和/或方向数据。位置和/或方向数据可包括表示捕获输入图像数据的相机的姿态的信息。
元数据可用于在其运行中辅助CNN。这可以通过使用元数据和骨架模型(即，先前形成)来实现。特别地，在一些实施例中，定位过程可以包括生成投影到输入图像数据上的骨架模型的估计，或者以其他方式投影到捕获了输入图像数据的相机或其他传感器(即，成像传感器)的参考系中的骨架模型的估计。
定位过程可以被配置为使用元数据和参数化骨架模型(其可以作为定位过程的一部分被接收)以及与生成输入图像数据的成像传感器(例如，检查系统参数)相关联的一个或多个参数，以确定骨架模型在成像传感器的参考系中，或者以其他方式在输入图像数据中的投影。该一个或多个参数可以包括例如相机(或其他成像传感器)的固有参数。骨架模型的该投影通常将被称为投影骨架模型。
相机(或其他成像传感器)的固有参数可以指例如确定相机(或其他成像传感器)固有矩阵并且用于将多个3D点投影到2D图像平面中的九个值。这些参数通常是相机(或其他成像传感器)的固定性质，并且通常是多个预定参数。在一些实施例中，可以使用一组畸变参数。当在本文中提及时，可以结合相机或其他成像传感器的多个固有参数使用(例如，将多个3D点投影到2D图像平面中)该组畸变参数。该组畸变参数可包括多个参数，该多个参数旨在根据相机(或其他成像传感器)的透镜中的畸变校正该输入图像数据。在一些实施例中，形成该组畸变参数的多个参数可包括4、5、8、12或14个参数。该组畸变参数可类似于相机(或其他成像传感器)的固有矩阵，是相机(或其他成像传感器)的预定特性。因此，该组畸变参数可以是多个预定参数。
在一些实施例中，定位过程被配置为对投影的骨架模型执行平滑操作(例如高斯平滑)。
在一些实施例中，然后，投影的骨架模型可被附加到输入图像数据作为多通道输入图像数据的多个附加通道。第一特征线202a投影可形成一个通道，第二特征线202b投影可形成第二通道，并且多个第三特征线202c投影可以形成第三通道。在具有红-绿-蓝输入图像数据的实施例的情况下，这将形成三个通道(例如，第四-第六通道)。每个特征点201投影可形成一个通道(此外，具有形成一个通道的所有远端叶片尖端的投影)。
因此，在由CNN 300处理该输入图像数据之前，可以通过定位过程向输入图像数据添加多个附加通道。这可能是由于参数化骨架模型的投影的准确性，有助于CNN 300的运行。
可以在上文关于骨架模型描述的定位过程之前，实施CNN 300的训练。训练可以基于真实数据或模拟数据。可以使用Adam优化器来进行训练，但是也可设想其他优化器。
因此，定位过程可生成输出图像数据，其中，可以从该输出图像数据确定和/或调整自动驾驶交通工具1的姿态。为了这样做，定位过程使用姿态图。该过程可以是姿态优化过程。
姿态图可以用于估计自动驾驶交通工具1的成像传感器的位置和方向(即，姿态)(相对于目标5和/或以绝对值)，并且是姿态数据的示例。因此，本文中对姿态图的引用通常可以指代姿态数据。因此，当自动驾驶交通工具1对目标5执行检测时，新节点或关键帧可添加到姿态图上。可以在交通工具1的运行期间以间隔添加这些新节点或关键帧。在一些实施例中，这些间隔可以是预定的多个规则间隔(即，具有恒定的间隔时间)。在一些实施例中，可以基于自动驾驶交通工具1的一个或多个运行方面来动态地确定间隔时间。这些一个或多个运行方面可以包括由交通工具1行进的距离(其可以是行进的旋转和/或线性距离)，和/或由成像传感器收集的图像数据之间的重叠(例如，相机视锥重叠)。
如将理解的，成像传感器相对于自动驾驶交通工具1的框架11和/或相对于用于确定自动驾驶交通工具1的位置的任何传感器171(例如无线电导航传感器)的方向可以在一些实施例中改变，例如，如果使用可移动安装架来安装成像传感器。成像传感器相对于框架11和/或用于确定自动驾驶交通工具1的位置的传感器171的相对方向可从与用于成像传感器的安装相关联的传感器得到。因此，当提供交通工具1的姿态时，该信息可用于确定成像传感器的姿态。在一些实施例中，成像传感器相对于框架11和/或用于确定自动驾驶交通工具1的位置的任何传感器171固定；因此，车辆1的姿态也是成像传感器的姿态。
添加到姿态图的每个节点可以包含对自动驾驶交通工具1的相机或其他传感器的姿态的估计，并且该估计可以是绝对姿态估计。因此，姿态图可以表示多个姿态。
每个姿态可被定义为：
Ti＝(Ri,ti)(1)
其中Ri是自动驾驶交通工具1的方向，并且
ti是交通工具1在三维空间中的位置。
如所提到的，每个姿态可以是绝对姿态，并且例如可以由导航程序确定。可以使用传感器系统17的一个或多个传感器171来确定绝对姿态。这可以包括例如使用无线电导航传感器。因此，该姿态可被称为自动驾驶交通工具1的成像传感器的测量姿态。
多个姿态形成姿态图，可以在具有将多个姿态收敛到自动驾驶交通工具1的成像传感器的真实位置和方向的视图的约束集合的情况下进行优化。
可以至少部分地基于自动驾驶交通工具1(和/或自动驾驶交通工具1的成像传感器)的姿态的估计和CNN的输出(即，输出图像数据)来形成约束集合(其可以被称为图形约束)。
自动驾驶交通工具1的成像传感器在每个节点处的姿态的估计(例如，测量姿态)可以不在优化过程中使用。相反，根据一些实施例，对连续姿势(或基本上连续姿势(即，非直接连续姿势))进行配对以确定相对姿势。例如，相对姿态补偿Ti,i-1由关键帧Ti和关键帧Ti-1处的姿态确定：
其中qi是交通工具1的方向Ri的四元数表示。
例如，由于在较短的时间段内，测得的姿势的误差可能低于较长的时间段内的误差，所以使用相对姿势变化可能是有益的。
可以使用成本函数E来进行姿态图的优化，其中，该成本函数被配置为确定在优化姿态图的当前状态提供的预期姿态和自动驾驶交通工具1的成像传感器的测量姿态之间的残差：
最优的姿态集合是使该函数最小化的那些姿态。优化的姿态集合形成优化姿态图的新状态(有效地替换姿态图的前一状态)
在该成本函数E中，旨在将预期姿态/>的相对姿态与多个测量姿态中的相应姿态进行比较：
其中，Vec对应于四元数旋转的矢量部分，并且C是对成本的不同元素进行加权的对角矩阵。
成本C的不同元素的加权可以使用例如测量姿态的协方差来确定，或者可以基于测量姿态中的预期误差进行设置。每项可以是加权的平移误差βt和加权的旋转误差βq。
因此，可以是包含旋转和平移的残差的6D矢量。
用于图像测量的成本函数可以基于点对点对应性，其中，根据图像测量的类型而不同地建立点对点对应性，并且特别地，该骨架模型(或被考虑的部分)是否使用特征点201或特征线202的点对点的对应性。
因此，在一些实施例中，可以使用一种或多种主动搜索技术来确定初始骨架模型(或当前骨架模型)与CNN的输出(即，输出图像数据)之间的对应性。
根据使用关于特征点201的第一技术，对于一个或多个特征点201确定特征点201的估计位置在输出图像数据内。因此，对于基于点的测量/>如本文所述，这可以通过特征点201的当前估计位置(例如，从初始模型或作为使用映射过程的结果(参见本文的其它地方))投影到相机(或其它传感器)的参考系中(所述相机(或其它传感器)捕获输入图像数据)，或投影到输出图像数据的参考系中来得到。例如，可以使用一个或多个参数(其可以包括例如成像传感器的固有参数K)并且使用成像传感器的当前估计姿态/>将当前参数化骨架模型投影到成像传感器的参考系中。例如，该投影可以在图像平面/>中。因此，可以确定输出图像数据中的一个或多个特征点201的预期位置。
然后可以执行搜索以将模型的每个特征点201与在输出图像数据中表示的对应特征相匹配。
因此，搜索区域可以定义在输出图像数据内的该或每个特征点201的预期位置周围。可通过例如距期望位置的半径rP定义该搜索区域。在搜索区域内具有高于阈值λP的最高值的像素被识别为对应于该特征点201。如果没有像素值超过阈值，则不存在对应性。该过程继续到所有特征点201完成。
根据用于特征线202的第二技术，可以沿着特征线202，确定一个或多个点，这可以通过将特征线202划分成两条或更多条子线并且将那些子线的端部作为一个或多个点(其可以被称为线点，因为它们是沿着特征线202的点)来实现。用于每条特征线202的线点的数量可以部分地取决于该特征线202的长度。因此，例如，第一特征线202a可以被划分成st个点，第二特征线202b被划分为sh个点，并且第三特征线202c被划分为用于每个第三特征线202c中的sb个点。
然后，这些线点可被投影到输出图像数据的参考系中。例如，可以使用一个或多个参数(其可以包括，例如成像传感器的固有参数K)并且使用成像传感器的当前估计姿态将线点投影到成像传感器的参考系中，以形成投影线点/>例如，该投影可以在图像平面/>中。
然后可以执行搜索以将每个线点与在输出图像数据中表示的对应点相匹配。
因此，可以使用垂直线搜索来识别输出图像数据内的多个对应点。这可以通过例如将每条特征线202的两个端点投影到输出图像数据的参考系(例如，到如上所述的成像传感器的参考系中)来实现。这两个端点可以将在它们之间线定义为相对于输出图像数据(即，在其参考系内)。垂直于该线(其可以是2D线)的方向可以是用于线搜索的搜索方向。
在该搜索方向上，从投影的特征线开始，可以在距投影的特征线kL的预定距离处，并且在预定长度aL上对像素值取样。将具有高于阈值λL的最高值的采样像素取样为对应于投影的线点。如果没有像素值超过阈值，则不存在对应性。该过程持续到所有的线点完成。
在使用一个或多个主动搜索技术之后，已经相对于输出图像数据和骨架模型确定一组对应性。
然后可以将图像成本函数确定为：
其中Ni表示图像帧i中的点对应性的数量，以及
Mi表示图像帧i中的线对应性的数量。
值βp和βq可用于对不同类型的对应性进行加权。
因此，可以使用成本函数E(等式(3))来优化姿态图。这可以通过使用任何合适的方法来实现，例如，可以使用高斯-牛顿算法，通过以下步骤起作用：线性化当前最佳猜测解决方案周围的问题、寻找最小值并重复直到收敛为止。
优化技术可以是迭代技术。可以相对于姿态图的优化使用一个或多个进一步的约束。例如，自上一次定位后，自动驾驶交通工具1相对于目标5的相对移动或可能的移动可用于约束和简化该优化。结果是自动驾驶交通工具1和/或成像传感器的新的或调整的姿态(即，位置和/或方向)。
因此，根据一些实施例，提供了一种姿态优化过程，以使用传感器数据来优化传感器相对于目标5的近似姿态。该过程可以包括接收目标5的模型。可以接收与目标5的至少一部分相关的传感器数据，其中，传感器数据可以在传感器的参考系中，并且可以与表示用于生成传感器数据的传感器姿态的姿态数据关联。该过程可以包括将该模型的至少部分投影到该传感器参考系上。使用该投影，可以识别模型和传感器参考系中的传感器数据之间的对应特征点和/或特征线。最后，可以基于所识别的对应性，使用模型与传感器参考系中的传感器数据之间的对应特征点和/或特征线的位置差值来优化姿态数据。
例如，传感器数据可以是图像数据，并且这可以是来自测距传感器的传感器数据，其中，测距传感器被配置为以目标5与生成传感器数据的传感器之间的距离的形式生成表示目标5的至少部分的传感器数据。
在一些实施例中，提供了映射和/或定位过程，包括前述姿态优化过程，随后优化目标5的模型的至少一个参数，其中该至少一个参数定义了目标5的估计配置，并且其中优化该至少一个参数包括基于特征点和/或特征线与优化姿态数据之间的对应性来优化该至少一个参数，使得优化参数表示目标5的配置。
图17示出了从自动驾驶交通工具1投影到图像数据上的模型，其中在优化之前和之后都对模型进行投影，其中优化后的模型与图像数据更加一致。
可以根据坐标和方向角或四元数定义自动驾驶交通工具1和/或成像传感器的姿态(即，位置和/或方向)。这些可以相对于与目标5有关的固定点(例如风力涡轮机的底座或顶部)或者可以相对于固定的地理点和重力方向。
如本文所讨论的，骨架模型可以是参数化模型，其包括特征线202和/或特征点201(即，限定目标5的配置的至少一个参数)。
为了使模型参数化，可以使用初始信息(例如，多个初始设置参数)和/或初始设置程序，以生成用于骨架模型的多个参数。然而，这些可能是相对不准确的，但是尽管如此，对于生成初始模型也是可接受的(初始模型在这种情况下是初始骨架模型)。如将理解的，然后，在本文所述的定位过程中可使用参数化的初始骨架模型。
在一些实施例中，映射过程被设置为用于骨架模型并作为导航程序的一部分进行操作。在一些实施例中，使用的骨架模型的映射过程可以采用与前述定位过程类似的步骤。
特别的，骨架模型的映射过程可包括接收目标5(例如，风力涡轮机)的至少部分的一个或多个图像，并且可以包括接收骨架模型(例如可以使用初始信息(例如，多个初始设置参数)来参数化)。如本文所描述的，该一个或多个图像可以是由自动驾驶交通工具1的成像传感器获取的图像，或者可能已经由独立的相机或姿态已知的传感器获取。该或者每个图像随后经过CNN 300，其中，CNN 300可以关于定位过程具有上述的相同的形式和操作(并且可以是相同的CNN 300)。因此，该或每个图像可以是如本文所述的输入图像数据，并且该数据可以与如本文所述的元数据相关联。
来自于CNN 300的输出图像数据随后可用于与当前参数化骨架模型(其可以是初始模型)进行比较，以便调整和重新参数化模型。
该过程可以类似于相对于姿态图的定位过程所描述的过程。特别地，可以将当前骨架模型投影到输出图像数据上，然后本文描述的用于多个特征点201和多条特征线202的搜索技术可被实施，以确定当前骨架模型和输出图像数据之间的对应性，参见用于更具体的解释的定位过程描述。然后可以使用合适的优化技术(诸如高斯-牛顿算法)来优化骨架模型的多个参数，以便确定骨架模型的多个新参数。优化技术可以是迭代技术。
该重新参数化的骨架模型随后可以变成当前骨架模型，并且可以被导航程序使用。
以这种方式重新参数化的骨架模型在自动驾驶交通工具的运行期间可发生一次或多次。在一些实施例中，骨架模型的映射过程和定位过程以基本连续的方式重复发生。在一些实施例中，骨架模型的定位过程以基本连续的方式重复发生，但是映射过程可能不太频繁地发生，例如，在自动驾驶交通工具1运行的特定阶段周期性地发生。
如将理解的，所描述的用于多个骨架模型的映射和/或定位过程可以使用仅表示目标5的部分的输入图像数据来运行，但是在一些实施例中，输入图像数据提供目标5的完整视图(从特定角度)。
因此，目标配置和目标位置可形成目标5的模型。导航程序可被配置为使用传感器数据的不同组合和/不同的映射和/或定位过程来生成多个这样的模型。
导航程序可被配置为使用这些模型中的一个或多个(它们是飞行中模型)来更新初始模型。这可能包括多个飞行中模型的组合。可以使用多种不同的方法来执行飞行中模型的组合：例如通过取模型的平均值(例如均值)、使用标准差和阈值等。
导航程序可被配置为生成飞行中模型以代替用于控制交通工具1的运行的初始模型。该飞行中模型可以考虑到作为映射和/或定位过程的结果而产生的一个或多个飞行中模型。因此，在一些实施例中，替换模型可以被称为替换模型或确定的飞行中模型。例如，飞行中模型用于生成替换模型，并可被称为临时或工作的飞行中模型。
例如，导航程序可被配置为由于传感器171检测到的错误而排除来自一个或多个传感器171的传感器数据或排除不在期望的预定范围内或在其他传感器数据的指定范围内的传感器数据。导航程序可被配置为在飞行中模型级别(at the in-flight model level)上执行类似过程，但不包括一个或多个飞行中模型，其中，该飞行中模型是基于来自传感器171的已检测到错误的传感器数据或基于不在其他一个或多个飞行中模型的指定范围内的模型而产生的。
可能采取不同的方式进行聚类传感器数据、分析所聚类的传感器数据以及根据映射和定位过程进行确定的这些过程。例如，根据传感器数据的形式，每个传感器数据集合都可以近似为适当的形状，可以是2D或3D形状(例如圆柱体、椭圆形、圆形等)，在一些实施例中，3D传感器数据可限于提供2D传感器数据，或者可使用3D传感器数据，或者可以将传感器数据设置为2D传感器数据。然后可以分析近似的形状并将其与初始模型进行比较。这可以包括例如分析与初始模型的多部分相比的近似形状的周长，或者可以包括分析与初始模型的多部分的质心相比的近似形状的质心。
在一些实施例中，这些过程可以包括使用线性回归和/或迭代最近点方法。
在一些实施例中，传感器数据为点云的形式，或者可以被转换为点云以根据映射和/或定位过程进行处理。
在一些实施例中，传感器数据可以包括一个或多个图像，其可以是可见光图像或红外或紫外光图像。可以以类似的方式对该传感器数据执行映射和/或定位过程，其中图像的多部分被识别为与初始模型的多部分相对应。然后可以如上所述在映射和/或定位过程的确定步骤中使用该信息。这可以导致另一个飞行中模型，其可以与其他模型结合和/或用于修改初始模型以进一步供导航程序使用。
回到映射过程，在一些实施例中，映射过程包括导航程序，其使用来自传感器系统17的信息生成目标5的一个或多个模型(这里是实时或飞行中模型)。一个或多个飞行中模型可以不同于导航程序用来最初确定飞行计划的模型(和/或可以是相同的标称模型，但是具有一个或多个不同的参数)。
导航程序可以使用从传感器系统17接收的信息(即，传感器数据，可包括范围信息)，该信息表示目标5和目标5相对于交通工具1(例如相对于检测系统19)的位置。
传感器数据(可以是来自多个传感器171的组合数据或来自单个传感器171的数据)可以被导航程序分为与初始模型的多个不同部分有关的传感器数据。这可如下所述或者以其他方式包括使用初始模型对传感器数据进行聚类或划分以提供空间约束。
映射过程可以包括将传感器数据聚类或划分为与目标5的两个或多个不同部分有关的数据。例如，这可以包括将传感器数据划分为与塔架有关的数据和与一个或多个叶片有关的数据。
传感器数据的划分可以多种不同方式来实现。例如，传感器数据(可以包括范围数据和位置数据)可用于生成目标5、其一部分和/或在正使用的该传感器或传感器171的有效范围内的任何其他附近的目标的点云表示。
使用K均值方法或其他方法，可以将点云或其他传感器数据聚类，即分为代表目标5的初始模型(例如标称模型)的一个或多个部分的多部分。
然后，导航程序可以估计在聚类的传感器数据中表示的目标5的至少一个部分的质心或其他参考点，例如，以诸如椭圆的形状表示目标5的每个部分。
导航程序然后可以尝试一种或多种变换以将目标5的初始模型中的目标的一个或多个部分与来自聚类的传感器数据的一个或多个部分进行比较。在这方面，导航程序可以确定质心(多个质心)和/或其他参考点(多个其他参考点)与初始模型中的对应的点的一个或多个变换。
导航程序可被配置为确定如传感器数据中所表示的目标5与如初始模型5所表示的目标5的最佳拟合变换。这可以通过使用迭代的最佳拟合方法来实现。
类似地，对于定位过程，导航程序可以确定整体目标5的(或其静态部分，例如风力涡轮机的塔架)相对于交通工具1(例如相对于检测系统19)的位置的最佳拟合变换。同样，这可以通过使用迭代的最佳拟合方法。
然后，导航程序可生成基于传感器数据的目标5的变换后的初始模型。该变换后的初始模型可以是飞行中模型，并且可以是用于初始模型但具有更新后的多个参数的标称模型的版本。
例如，如果目标5的配置不太可能被改变，则映射过程可以比定位过程更少地执行。可替代地，这两个过程都可不断重复的基础上执行。
在映射过程的另一个版本中，将目标(例如塔架)的第一部分的质心作为目标5的中心。在该过程的这一部分中，可以使用移动平均值来平滑估值并适应错误的测量值。导航程序可以被配置为忽略目标5的各部分的高度，以生成目标5的第二部分(或子部分)(例如，叶片)的质心的2D表示。导航程序可以对这些点执行线性回归，以使用由2D表示的结果生成的该或每条线的梯度来估计目标5的第二部分相对于目标5的第一部分(例如)的角度。导航程序可被配置为使用K均值方法将与目标5的第二部分有关的传感器数据的质心聚类为3个元素。导航程序可以被配置为对与目标5的第二部分有关的传感器数据的每个集合执行线性回归。导航程序可以被配置为生成表示目标5的第二部分的多条合成线的平均交点。代表目标5的第二部分的每条线的梯度可被用于估计第二部分相对于第一部分的位置(例如，相对于塔架的叶片位置)。因此，目标5的配置可被确定且初始模型被更新以生成飞行中模型。定位可如上所述被执行。
上面已经讨论了迭代最接近拟合和线性回归方法。然而，在一些实施例中，映射和/或定位过程可以使用其他技术以便生成飞行中模型。
如将意识到的，例如，可以至少部分基于初始信息(例如，多个初始化设置参数)来确定目标5的模型。将会理解，在该过程中使用的传感器数据可以包括由该或每个传感器171生成的传感器数据(其可以包括范围信息，例如，来自LiDAR传感器或本文所述的其他深度/测距传感器)。
此过程在飞行中可重复，从而导致飞行中模型的改进(例如，参见图8，该图显示了原始模型与涡轮机叶片的新的表示的重叠)。
在一些实施例中，导航程序的映射和/或定位过程可以包括使用一种或多种这样的技术来生成飞行中模型。在使用多种技术的实施例中，结果随后可被组合，从而可以使用标准偏差、平均值(例如均值)，以及可以是基于协方差或基于用于产生数据的该或每个传感器171的传感器状态的加权组合。
在一些实施例中，这可包括导航程序，其组合传感器数据，然后使用组合的传感器数据来生成飞行中模型，或者使用传感器数据来生成多个飞行中模型，然后组合飞行中模型。
在一些实施例中，使用神经网络或粒子滤波器或卡尔曼滤波器来组合多个飞行中模型和/或传感器数据。在一些实施例中，最新的传感器数据用于生成飞行中模型。在一些实施例中，根据产生传感器数据的传感器171对传感器数据进行加权。这可以包括例如在自动驾驶交通工具1的运行期间改变飞行中的加权。
映射过程被配置为生成飞行中模型，该飞行中模型随后由定位过程使用，该定位过程将飞行中模型定位在由自动驾驶交通工具1并且尤其是由导航程序使用的参考系内。
在一些实施例中，使用多个飞行中模型进行映射和/或定位过程，然后例如，使用平均值(例如均值)或任何其他合适的方法将它们组合在一起，以确定自动驾驶交通工具1的配置和/或位置。
因此，在一些实施例中，飞行中模型是导航程序运行的重要方面。因此，在一些实施例中，导航程序可以包括一个或多个过渡位置作为飞行计划的一部分，所述一个或多个过渡位置旨在沿着飞行计划的初始映射部分引导自动驾驶交通工具1。在该初始映射部分中，自动驾驶交通工具1可相对于目标5移动(基于在飞行计划的生成过程中使用的目标的模型，即初始模型)，以允许执行映射和/或定位过程以生成飞行中模型。该初始映射部分可包括例如控制自动驾驶交通工具1的运动以相对于目标5的至少一部分行驶，使得可以由传感器系统17例如在一个或多个检测传感器171的范围内检测目标5的至少一部分。
因此，初始映射部分可以被配置为引起自动驾驶交通工具1沿着目标5的预定长度的运动。在一些实施例中，除了沿着目标的预定长度运动之外，初始映射部分还可包括向同一方向的进一步运动。特别地，将理解的是，基于目标5的模型(在飞行中模型生成之前)来确定预定长度。如果实际目标5延伸超出此预定长度，则这可能是用于生成飞行中模型的有用信息。例如，在相同方向上的进一步运动可包括与预定长度相比额外的20％的运动。
在目标5是风力涡轮机的情况下，则初始映射部分可以是自动驾驶交通工具1沿着风力涡轮机的塔架的长度的运动，例如，自动驾驶交通工具1相对于风力涡轮机定位，使得传感器系统17可以检测风力涡轮机的塔架。在一些实施例中，预定距离可以是塔架长度的主要部分。在一些实施例中，预定距离可以是塔架的上部长度。在一些实施例中，进一步的运动是塔架顶部上方的运动(基于所使用的模型)。在一些实施例中，进一步的运动将使自动驾驶交通工具1达到塔架高度的120％的高度(基于所使用的模型)。图11示出了沿着塔架长度的一部分执行这种运动的自动驾驶交通工具1。图10示出了接近塔架顶部的自动驾驶交通工具1。
因此，在一些实施例中，映射过程可以在根据飞行计划的初始部分映射已经移动了的自动驾驶交通工具1之后发生。
在一些实施例中，定位过程包括导航程序确定自动驾驶交通工具1相对于飞行中模型的相对位置。换句话说，定位过程可包括将飞行中模型定位在自动驾驶交通工具1的参考系内。
在一些实施例中，定位过程使用由传感器系统17提供的位置信息(即，传感器数据)。位置信息可包括一般位置信息，其可包括来自作为无线电导航传感器的传感器171的传感器数据。定位过程可包括初始定位步骤，其中，使用这样的一般位置信息将初始模型(即，用于生成飞行计划)根据自动驾驶交通工具1的参考系定位。在一些实施例中，定位过程在自动驾驶交通工具1沿着飞行计划的初始映射部分移动期间继续。在该部分期间，飞行中模型在自动驾驶交通工具1的参考系内的位置被确定。在此期间，可以使用来自于一个或多个其他传感器171的更具体的位置信息，例如来自本文所述的测距传感器171的传感器数据。
定位过程可以在导航程序的控制下在自动驾驶交通工具1沿着飞行路径的全部或部分运动中继续进行。
在映射和定位过程中，导航程序会调节飞行路径，使得其与原始飞行计划匹配，但现在基于飞行中模型。
因此，将理解，飞行计划是由导航程序基于目标5的初始模型(即表示)生成的。该模型可用于确定检测位置，然后确定所需的位置顺序(检测和过渡)以定义飞行路径和计划。该模型被配置为允许确定检测系统19相对于目标5的角位置，以确保对目标5的检测适当。初始飞行可基于该模型和飞行计划。然后在飞行期间，可以使用不同的或调整的模型来更新飞行计划(即，飞行中模型)。例如，每个模型的要求是不同的，并且使用不同的在飞行中模型减少了与更新原始模型相关联的计算消耗。原始模型可被称为第一模型、原始模型或初始模型(因此，飞行中模型也可被称为第二模型)。
如上所述，图12示出了通过组合使用不同数据生成的两个模型以及初始模型(可以是原始模型)来生成飞行中模型的过程的示例性流程图。该过程可以由导航程序实现，并且可以包括组合或两个以上的模型(可以使用与图中所示的传感器数据不同的传感器数据来生成每个模型)。在一些实施例中，例如图12的示意图中所示，飞行中模型可被更新，还可生成交通工具1的新位置信息，例如，这可以交替地进行。图13示出了使用具有本文所述的映射和定位过程的骨骼模型的特定示例的相似流程图。
映射和/或定位过程可以在飞行中发生，并且可以使用不是最新获取的传感器数据的数据。在某些情况下，映射和/或定位过程可能会使用同一飞行中较早的历史数据。在一些实施例中，可以在飞行后的分析中检查飞行，该分析包括使用来自飞行的传感器数据来完成映射和/或定位过程。然后，该结果可能会在以后的飞行中使用，例如修改原始或初始模型。
飞行中模型(和原始模型)可以包括以下一个或多个的表示：目标底部(例如风力涡轮机的塔架)相对于自动驾驶交通工具的初始位置的中心位置、目标相对于自动驾驶交通工具的初始位置的高度(例如，风力涡轮机叶片的中心的高度)、目标5的第一部分相对于另一部分(例如，垂直位置的第一个叶片)的旋转位置(例如，度数)、从目标5的初始位置相对于自动驾驶交通工具1的初始位置的航向以及叶片中心位置(例如，塔架中心到叶片相遇的理论点的距离)。
导航程序的实施例可以在其执行期间使用一个或多个不同的参考系。这些参考系可以包括相对于自动驾驶交通工具1和/或目标5或其一部分具有地理普遍性的参考系(例如，经度和纬度)或局部定义的参考系。
导航程序的运行和处理通常可以分为两部分：(i)多个位置确定部分和(ii)多个检测部分。多个位置确定部件包括确定或调整目标5相对于自动驾驶交通工具1的位置和配置的所有过程。多个检测部分包括涉及目标5的检测(包括自动驾驶交通工具1运动的控制)的多个部分。导航程序的这些部分的执行通常可以称为“任务”。自动驾驶交通工具1的运行的多个方面与任务不直接相关，可以包括准备过程(例如启动驱动系统12、启动本文所述的任何计算机、执行初始飞行前安全检查以及执行任何任务后和任务中的紧急行动)。可以理解，在多个位置确定部分的运行实例之后，导航程序运行的多个检测部分的运行可能会暂停(例如，当识别出变化时)。
导航程序可以包括飞行中安全过程。飞行中安全过程可以被配置为在导航程序控制自动驾驶交通工具1的运动的同时执行。飞行中安全过程可以被配置为确定是否存在无法继续飞行的任何原因。如果确定了任何此类原因，则可以执行一个或多个紧急措施。
因此，飞行中安全过程可以检查导航程序本身、自动驾驶交通工具1、基站2和操作员界面装置4中的一个或多个的运行的多个不同方面。
飞行中安全过程可能包括检查以下一项或多项：
传感器系统17是否正常运行；
一个或多个传感器171是否正常运行(例如，一个传感器171指示的自动驾驶交通工具1的位置(例如，相对于目标5)，该位置比另一个传感器171所指示的预定阈值大(或由多个其他传感器171确定的位置的平均值)，该一个传感器171可能触发紧急行动)；
检测系统19是否正常运行；
一个或多个检测传感器191是否正常工作；
动力源14是否具有足够的动力储备来完成飞行计划；
动力源14是否有故障；
飞行控制系统15是否正常运行；
导航系统16是否正常运行；
驱动系统12是否正常运行；
视觉引导系统20是否正常运行；和
通信系统18是否正常运行和/或是否与基站2和/或操作员界面装置4和/或远程服务器3建立通信。
在检测到潜在故障时，飞行中安全过程被配置为确定故障是否会影响飞行计划的完成或安全完成，和/或是否会影响自动驾驶交通工具1返回初始位置的能力，和/或将影响自动驾驶交通工具1降落在另一个位置(即，非初始位置)的能力。
飞行中的安全过程可被配置为基于该评估来采取行动。如果尽管检测到故障而仍能完成飞行计划(并且该故障不影响检测系统19的运行)，则飞行中安全过程可能不会打断导航程序的剩余部分的运行。在一些这样的实施例中，可以向操作员界面装置4上的显示器发送警报以将故障通知给操作员。
如果由于故障而无法完成飞行计划，则飞行中安全过程可被配置为确定新的飞行计划以使自动驾驶交通工具1返回初始位置(“RTL”–返回起飞)。该过程可包括确定一个或多个过渡位置。在一些实施例中，飞行中安全过程可以确定新的飞行计划(紧急返回本地的飞行计划)是否是自动驾驶交通工具1的安全飞行路径，即，该路径不太可能导致自动驾驶交通工具1撞击目标5或其他目标(目标5以外)。如果飞行路径安全，则飞行中安全过程可使自动驾驶交通工具1沿着紧急返回本地的飞行计划行驶以降落在初始位置。在一些这样的实施例中，可以向操作员界面装置4上的显示器发送警报以通知操作者所采取的措施。
如果飞行中安全过程不能确定使自动驾驶交通工具1返回初始位置的安全飞行计划和/或该过程确定自动驾驶交通工具1无法到达初始位置(例如，由于动力不足)，则飞行中安全过程可能会确定到其他位置(非初始位置)的新飞行路径。该过程可以包括确定一个或多个过渡位置。在一些实施例中，飞行中安全过程可以确定新的飞行计划(紧急着陆飞行计划)是否是自动驾驶交通工具1的安全飞行路径，即，该路径不太可能导致自动驾驶交通工具1撞击目标5或另一个目标(目标5以外)。如果飞行路径安全完成，则飞行中安全过程可使自动驾驶交通工具1沿着紧急着陆飞行计划行进以使自动驾驶交通工具1降落在另一位置。在一些这样的实施例中，可以向操作员界面装置4上的显示器发送警报以通知操作者所采取的措施。
如果飞行中安全过程使自动驾驶交通工具1在另一位置处不能着陆或不能安全着陆，则飞行中安全过程可以向操作员界面装置4上的显示器发送警报以将以下信息通知给操作员：操作员应使用操作员界面装置4来手动控制自动驾驶交通工具1的飞行。操作员可以通过界面42输入一个或多个命令，这些命令被发送到自动驾驶交通工具1(直接或通过基站2)，然后这些命令被用于控制驱动系统12的运行，以控制自动驾驶交通工具1的运动。
根据一些实施例，操作员界面装置4被配置为从操作员(例如，通过界面42)接收指示操作员将对自动驾驶交通工具1进行手动控制的命令(以与上述基本相同的操作方式)，但是无需故障检测。
应当理解，对飞行计划或飞行路径的引用是对导航计划或路径的引用，并且同样是对检测计划或检测路径的引用。
为了便于参考，在图9中示出了一些实施例的导航程序的运行(示出了状态流)。
将会理解，导航程序提供了在自动驾驶交通工具1的飞行期间使用的更新的飞行中模型，以控制交通工具1的飞行。在一些实施例中，飞行计划本身可能不会发生实质性变化，但随着在模型内调整目标5的实际位置，可能会导致空间的转变。然而，将理解的是，这种飞行计划的转变的确构成了飞行计划以及飞行期间模型的改变。
如将理解的，自动驾驶交通工具1遵循飞行计划(可以在飞行中被更新)，使得自动驾驶交通工具1在至少两个检测位置(第一检测位置和第二检测位置)之间移动。在每个检测位置处，检测系统19被用于检测目标5。
检测系统计算机192可以设置有关于检测位置的信息。该信息可以包括检测系统19(尤其是该或每个检测传感器191，例如相机191a)之间的距离。因此，该信息称为检测位置数据。
检测系统计算机192可被配置为控制一个或多个检测传感器191(诸如相机191a)的运行，以确保通过该或每个检测传感器191准确地检测目标5。在一些实施例中，检测系统计算机192可被配置为基于检测位置数据来控制一个或多个检测传感器191的操作。
在一些实施例中，该过程包括检测系统计算机192基于检测位置数据确定一个或多个检测系统参数。然而，在某些情况下，检测位置数据包括一个或多个检测系统参数。该一个或多个检测系统参数包括用于配置一个或多个检测传感器191中的至少一个的多个参数。该或每个检测系统参数可包括例如(例如，在相机191a的情况下)焦点设置(例如焦距)、快门速度和光圈大小等。
应当理解，检测位置数据可以从一个检测位置改变为另一个检测位置。特别地，用于第一检测位置的检测位置数据可不同于用于第二检测位置的检测位置数据。同样，可能会有更多的检测位置，并且每个检测位置可能具有与另一个检测位置不同的检测位置数据。
检测位置根据飞行计划形成一个序列(并且如本文所述可穿插多个过渡位置)。
检测系统计算机192可被配置为在自动驾驶交通工具1在检测位置之间移动时，使用检测位置数据(和该或每个检测系统参数)来控制该或每个检测传感器191的运行。特别地，当自动驾驶交通工具1朝检测位置移动时，检测系统计算机192可控制该或每个检测传感器191，使得该或每个检测传感器191被配置为在自动驾驶交通工具1到达那个检测位置时，对目标5执行检测操作。换句话说，检测系统计算机192可以已经配置该或每个检测传感器191以使用第一检测位置数据(和一个或多个第一检测系统参数)在第一检测位置检测目标5。在第一检测位置处在第一检测操作中使用检测系统19之后，自动驾驶交通工具1开始朝向第二检测位置移动(例如直接地或经由一个或多个过渡位置(在这种情况下，“朝向”是根据飞行计划确定的顺序))。在检测系统19已经完成第一检测操作之后，检测系统计算机192可被配置为控制该或每个检测传感器191的运行，以使用第二检测位置数据(以及一个或多个第二检测系统参数)来配置该或每个检测传感器191。当自动驾驶交通工具1到达第二检测位置时或之前，该或每个检测传感器191因此被配置用于在第二检测位置的第二检测操作。该过程减少了自动驾驶交通工具1必须保持在每个检测位置处的时间量。
在一些实施例中，可基于在检测位置处的一个或多个检测到的参数(例如，由一个或多个检测传感器191和/或传感器系统17的一个或多个传感器171检测到的)在检测位置处调整该或每个检测系统参数。因此，例如，可在检测位置处确定自动驾驶交通工具1(和因此检测传感器19)与目标5的更精确(或更实际)的距离。将会理解，由于这可以是对该或每个检测传感器191的配置进行微调，当自动驾驶交通工具1仍正在移动时，任何配置的大部分都已经发生。因此，该过程仍可以减少自动驾驶交通工具1必须保持在每个检测位置处的时间量。
在一些实施例中，检测系统19被配置以在该或每次检测操作之后将检测数据(在检测系统计算机192的控制下)存储在存储介质192a中。在一些实施例中，检测系统19被配置为将检测数据发送到通信系统18(例如，到一个或多个通信接口181)，以用于从自动驾驶交通工具1传输(例如，到基站2、远程服务器3和/或操作员界面装置4)。
检测系统计算机192可被配置为至少部分地基于飞行计划来确定是否将检测数据(例如，在检测位置处的检测操作之后)发送至通信系统18。在一些实施例中，检测系统计算机192被配置为基于以下参数中的一个或多个来确定是否发送检测数据：行进到下一个检测位置的预期时间长度、为上一次检测操作整理的检测数据的量(和/或尚未发送检测数据的任何其他检测操作)、使用通信系统18的可用传输速率(和例如，用于发送检测数据的一个或多个通信接口181)、以及用于发送检测数据的一个或多个通信接口181的可用性或信号强度。因此，可在自动驾驶交通工具1飞行的适当部分期间被从自动驾驶交通工具1发送检测数据19。这可以更有效地利用自动驾驶交通工具1上的可用资源，并且例如减少另外需要从自动驾驶交通工具1中提取检测数据的时间。
在一些实施例中，通信系统18被配置为以与上述相同的方式确定是否以及何时从自动驾驶交通工具1发送检测数据，并且因此可被配置为在需要的时候从检测系统19请求检测数据。
因此，应理解，在一些实施例中，检测系统19被配置为执行以下操作：
配置操作(将该或每个检测传感器191配置为执行检测操作)；
检测操作(捕获检测数据)；和
发送/存储操作(发送和/或存储检测数据)。
还应当理解，可以在飞行到检测位置的过程中进行配置操作(如果不是全部的话，则至少部分地)。检测操作发生在检测位置处，并且发送/存储操作可在飞行到另一个检测或过渡位置的过程中至少部分地发生。在一些实施例中，当自动驾驶交通工具1处于检测位置的时候，发送/存储操作至少部分地发生(并且因此，就执行时间而言，可以与检测操作重叠)。
可根据检测系统程序进行以上与检测系统计算机192有关的操作，该检测系统程序可被配置为由检测系统计算机192执行。在某些实施例中，该程序不需要由检测系统计算机192执行，而可以由另一台计算机(例如，本文所述的其他计算机之一)执行。
自动驾驶交通工具1可以是旋翼飞机，例如可以是多旋翼直升机(例如，具有两个或多个提供提升力和机动力的旋翼的直升机)。
自动驾驶交通工具1可以是固定翼飞机(其可以是滑翔机或动力飞机)。自动驾驶交通工具1可以是航空器(例如飞艇)。
自动驾驶交通工具1可以是包括至少一个地面啮合构件(例如，车轮或轨道)的地面交通工具，并且该地面交通工具被配置为在地面行驶。
自动驾驶交通工具1可以是水运工具，例如船或潜艇。
例如，自动驾驶交通工具可以是两栖交通工具，其被配置以在水中和地面上行驶，例如气垫船。应当理解，本发明的实施例适用于不同类型的交通工具，并且关于任何这种自动驾驶交通工具1可实施上述实施例。
虽然关于自动驾驶交通工具1已经描述了实施例，但是应当理解，映射和定位过程可以应用于其他领域(即，除了导航自动驾驶交通工具1之外)。例如，可相对于移动设备使用关于骨架模型描述的映射和定位过程，其中，该移动设备包括被配置为生成图像数据的成像传感器。该设备可进一步包括姿态传感器，该姿态传感器被配置以确定该设备和/或相机(或其它传感器)的姿态，例如，这可包括一或多个加速度计和/或无线电导航传感器。因此，移动设备可以被配置为使用由成像传感器捕获的输入图像数据并且使用目标的模型，其部分和/或局部环境的至少部分来确定其姿态。为了实现这一点，设备可以执行本文所述的骨架模型的映射和/或定位过程。
例如，移动设备可以是被配置为由人类用户携带的便携式设备。这可以包括移动电话、平板电脑，增强现实耳机(或手持机)等。
关于增强现实耳机(或手持机)，该设备可被配置为覆盖在设备的屏幕上的信息，用户可以通过该屏幕查看本地环境和/或至少部分目标。可以至少部分地由设备的位置和用户通过屏幕可见的环境或目标来确定覆盖的信息和/或信息内容的定位。
在一些实施例中，覆盖信息可以包括指导用户基于设备位置在特定方向上行进的导航信息。
当在本说明书和权利要求书中使用时，术语“包括”和“包含着”及其变型意味着包括指定的特征、步骤或整数。不应将这些术语解释为排除其他特征、步骤或组件的存在。
以上说明书或权利要求书或附图中公开的特征以其特定形式或用于执行所公开的功能或达到所公开的结构的方法或工艺的手段来表示，适当的话，这些特征的单独特征或任何组合可以用于以其各种形式实现本发明。
尽管已经描述了本发明的某些示例性实施例，但是所附权利要求的范围并不旨在仅限于这些实施例。权利要求应被正确地、有目的地解释，且/或包含等效物。

Claims (11)

1.一种映射和/或定位过程，包括：
(i)姿态优化过程，使用传感器数据优化传感器相对于目标的近似姿态，所述姿态优化过程包括：
接收目标的模型；
接收与所述目标的至少部分相关的传感器数据，所述传感器数据在传感器参考系中，所述传感器数据与姿态数据相关联，其中，所述姿态数据表示用于生成所述传感器数据的传感器的姿态；
将所述模型的至少部分投影到所述传感器参考系上；
识别所述模型和所述传感器参考系中的所述传感器数据之间的对应特征点和/或特征线；以及
基于所识别的对应性，使用所述模型和所述传感器参考系中的所述传感器数据之间的对应特征点和/或特征线的位置差异来优化所述姿态数据；以及
(ii)优化目标的模型的至少一个参数，其中，所述至少一个参数定义所述目标的估计配置，并且优化所述至少一个参数包括基于特征点和/或特征线与优化的姿态数据之间的对应性来优化所述至少一个参数，使得优化的参数表示所述目标的配置，所述目标的配置包括所述目标的多个部分相对于彼此的相对位置，其中所述目标的所述多个部分相对于彼此是可移动的。
2.根据权利要求1所述的映射和/或定位过程，其中，所述至少一个参数的优化和表示传感器的姿态的数据的优化基本同时发生。
3.根据权利要求1所述的映射和/或定位过程，进一步包括在将所述模型的至少部分投影到传感器参考系中之前，处理传感器数据，其中，处理所述传感器数据包括使所述传感器数据通过具有卷积-反卷积架构的卷积神经网络以生成输出传感器数据，并且识别所述模型和所述传感器参考系中的传感器数据之间的对应特征点和/或特征线包括使用所述模型和所述输出传感器数据识别对应的特征点和/或特征线。
4.根据权利要求3的所述映射和/或定位过程，其中，所述输出传感器数据至少部分地表示所述目标的骨架表示。
5.根据权利要求1所述的映射和/或定位过程，其中，所述至少一个参数的优化和表示所述传感器的姿态的数据的优化是使用成本函数的迭代优化过程。
6.根据权利要求1所述的映射和/或定位过程，其中，与所述目标的至少部分相关的所述传感器数据是多通道传感器数据，并且包括所述模型在所述传感器参考系上的投影。
7.根据权利要求1所述的映射和/或定位过程，还包括：
使用所述目标的不同模型确定定义所述目标的估计配置的所述至少一个参数。
8.根据权利要求1所述的映射和/或定位过程，其中，识别所述模型和所述传感器参考系中的传感器数据之间的对应特征点和/或特征线包括在所述模型中识别的特征点周围定义搜索区域并搜索所述搜索区域。
9.根据权利要求1所述的映射和/或定位过程，其中，识别所述模型和所述传感器参考系中的传感器数据之间的对应特征点和/或特征线包括沿着在所述模型中识别的特征线定义一个或多个线点、定义搜索线和搜索方向、以及根据所述搜索线和所述搜索方向搜索一个或多个各自的对应线点。
10.根据权利要求1所述的映射和/或定位过程，其中，所述传感器数据包括图像数据。
11.一种计算机可读介质，包括计算机可执行指令，当所述指令被执行时，使得执行权利要求1至10中任一项所述的过程。
CN201980059299.9A 2018-09-10 2019-09-10 控制和导航系统、姿态优化、映射和定位技术 Active CN112789672B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
GR20180100410 2018-09-10
GR20180100410 2018-09-10
GB1815864.2A GB2577134B (en) 2018-09-10 2018-09-28 Control and navigation systems
GB1815864.2 2018-09-28
GR20190100076 2019-02-13
GR20190100076 2019-02-13
GB1902475.1 2019-02-22
GB1902475.1A GB2581403B (en) 2019-02-13 2019-02-22 Pose optimisation, mapping, and localisation techniques
PCT/GB2019/052521 WO2020053573A1 (en) 2018-09-10 2019-09-10 Control and navigation systems, pose optimisation, mapping, and localisation techniques

Publications (2)

Publication Number Publication Date
CN112789672A CN112789672A (zh) 2021-05-11
CN112789672B true CN112789672B (zh) 2023-12-12

Family

ID=69776624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980059299.9A Active CN112789672B (zh) 2018-09-10 2019-09-10 控制和导航系统、姿态优化、映射和定位技术

Country Status (4)

Country Link
US (1) US11886189B2 (zh)
EP (1) EP3850456A1 (zh)
CN (1) CN112789672B (zh)
WO (1) WO2020053573A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3850456A1 (en) 2018-09-10 2021-07-21 Perceptual Robotics Limited Control and navigation systems, pose optimisation, mapping, and localisation techniques
GB2577134B (en) 2018-09-10 2021-01-13 Perceptual Robotics Ltd Control and navigation systems
CN112269951B (zh) * 2020-11-17 2022-06-14 中国人民解放军国防科技大学 面向矢量线数据的直线形状空间检索方法
CN113884098B (zh) * 2021-10-15 2024-01-23 上海师范大学 一种基于具体化模型的可迭代的卡尔曼滤波定位方法
CN114578798B (zh) * 2022-02-24 2023-05-12 苏州驾驶宝智能科技有限公司 一种陆空两栖飞车的自主驾驶系统
CN114359392B (zh) * 2022-03-16 2022-07-26 荣耀终端有限公司 一种视觉定位方法、装置、芯片系统及存储介质
CN117307414A (zh) * 2023-09-26 2023-12-29 金开智维(宁夏)科技有限公司 基于无人机航摄的风机叶片检测方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528568A (zh) * 2013-10-08 2014-01-22 北京理工大学 一种基于无线信道的目标位姿图像测量方法
CN105180963A (zh) * 2015-07-22 2015-12-23 北京航空航天大学 基于在线标校的无人机遥测参数修正方法
CN107862744A (zh) * 2017-09-28 2018-03-30 深圳万图科技有限公司 航空影像三维建模方法及相关产品
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法
CN108415453A (zh) * 2018-01-24 2018-08-17 上海大学 基于bim技术的无人机隧道巡检方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067749A2 (en) 2000-03-07 2001-09-13 Sarnoff Corporation Camera pose estimation
EP1915105B1 (en) 2005-05-27 2016-08-03 HLT, Inc. Stentless support structure
JP4237212B2 (ja) * 2006-08-22 2009-03-11 Ｎｅｃ東芝スペースシステム株式会社 画像処理方法、画像処理プログラムおよびプログラム記録媒体
DE102011017564B4 (de) 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
US9051043B1 (en) 2012-12-28 2015-06-09 Google Inc. Providing emergency medical services using unmanned aerial vehicles
US9342888B2 (en) 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
GB2525900A (en) 2014-05-07 2015-11-11 Imp Innovations Ltd Method of using a device capable of controlled flight
IL232853A (en) 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
WO2017079321A1 (en) 2015-11-04 2017-05-11 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
TWI571720B (zh) 2015-12-09 2017-02-21 財團法人金屬工業研究發展中心 風力發電機之葉片檢查系統及其檢查方法
US9609288B1 (en) 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
WO2017127711A1 (en) * 2016-01-20 2017-07-27 Ez3D, Llc System and method for structural inspection and construction estimation using an unmanned aerial vehicle
US11149717B2 (en) * 2016-06-30 2021-10-19 Skydio, Inc. Unmanned aerial vehicle wind turbine inspection systems and methods
US10724505B2 (en) 2016-11-30 2020-07-28 Dji Technology, Inc. Aerial inspection in a movable object environment
WO2018125938A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
GB2561368B (en) 2017-04-11 2019-10-09 Nokia Technologies Oy Methods and apparatuses for determining positions of multi-directional image capture apparatuses
WO2019013736A1 (en) 2017-07-10 2019-01-17 Siemens Mobility GmbH CALIBRATION OF USER FEEDBACK BASED MODEL DATA
DK3454159T3 (da) * 2017-09-06 2020-04-06 Alerion Tech S L Fremgangsmåde og indretning til autonom navigation
EP3454157A1 (en) * 2017-09-08 2019-03-13 Sulzer & Schmid Laboratories AG Method and unmanned aerial vehicle for acquiring sensor data related to a wind turbine
US10410089B2 (en) * 2018-01-19 2019-09-10 Seiko Epson Corporation Training assistance using synthetic images
CN108248842B (zh) 2018-01-25 2021-06-04 汕头市创新科技电子有限公司 适用于高空超声波除尘清洁机系统
EP3850456A1 (en) 2018-09-10 2021-07-21 Perceptual Robotics Limited Control and navigation systems, pose optimisation, mapping, and localisation techniques
GB2577134B (en) 2018-09-10 2021-01-13 Perceptual Robotics Ltd Control and navigation systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528568A (zh) * 2013-10-08 2014-01-22 北京理工大学 一种基于无线信道的目标位姿图像测量方法
CN105180963A (zh) * 2015-07-22 2015-12-23 北京航空航天大学 基于在线标校的无人机遥测参数修正方法
CN107862744A (zh) * 2017-09-28 2018-03-30 深圳万图科技有限公司 航空影像三维建模方法及相关产品
CN108015764A (zh) * 2017-11-20 2018-05-11 中国运载火箭技术研究院 一种基于多源视觉信息融合的空间零先验目标捕获方法
CN108415453A (zh) * 2018-01-24 2018-08-17 上海大学 基于bim技术的无人机隧道巡检方法

Also Published As

Publication number Publication date
US20220050461A1 (en) 2022-02-17
CN112789672A (zh) 2021-05-11
EP3850456A1 (en) 2021-07-21
WO2020053573A1 (en) 2020-03-19
US11886189B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
CN112789672B (zh) 控制和导航系统、姿态优化、映射和定位技术
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
EP3850455B1 (en) Control and navigation systems
Heng et al. Autonomous obstacle avoidance and maneuvering on a vision-guided mav using on-board processing
US10565732B2 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP3428766B1 (en) Multi-sensor environmental mapping
JP7274674B1 (ja) 無人航空機による３次元再構成の実行
EP3158411B1 (en) Sensor fusion using inertial and image sensors
WO2017206179A1 (en) Simple multi-sensor calibration
US10921825B2 (en) System and method for perceptive navigation of automated vehicles
Schofield et al. Cloud to cable: A drone framework for autonomous power line inspection
GB2581403A (en) Pose optimisation, mapping, and localisation techniques
Leichtfried et al. Autonomous flight using a smartphone as on-board processing unit in GPS-denied environments
Bailey Unmanned aerial vehicle path planning and image processing for orthoimagery and digital surface model generation
Smaoui et al. Automated scanning of concrete structures for crack detection and assessment using a drone
Śmigielski et al. Visual simulator for MavLink-protocol-based UAV, applied for search and analyze task
Sanna et al. A novel ego-motion compensation strategy for automatic target tracking in FLIR video sequences taken from UAVs
Li et al. The fixed-point landing of the quad-rotor UAV based on YOLOv5
US20230242250A1 (en) Aerial Vehicle Path Determination
CANECO AUTONOMOUS HIGH-PRECISION LANDING ON A UNMANNED SURFACE VEHICLE
Seth et al. AeroBridge: Autonomous Drone Handoff System for Emergency Battery Service
Ipas et al. Autonomous landing and avoidance system virtual validation approach
Castelar Wembers et al. LiDAR‐based automated UAV inspection of wind turbine rotor blades

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant