CN109690250B - 无人机系统辅助导航系统和方法 - Google Patents

Abstract

提供基于飞行的红外成像系统和相关技术，尤其是基于无人机系统(UAS)的系统，以用于辅助移动结构的操作和/或领航。这样的系统和技术可以包括至少利用UAS来确定移动结构周围的环境条件，检测移动结构周围的对象和/或人的存在，和/或确定移动结构周围的其他结构的存在。然后，可以响应于这些数据来相应地确定用于这种移动结构的操作的指令。

Description

无人机系统辅助导航系统和方法

相关申请的交叉引用

本申请主张于2016年9月2日提交并且题为“UNMANNED AERIAL SYSTEM ASSISTEDNAVIGATIONAL SYSTEMS AND METHODS”的美国临时专利申请No.62/383,342的优先权和权益，其全部内容通过引用结合于此。

技术领域

本发明总体上涉及无人机系统，并且更具体地，涉及用于辅助移动结构的移动的无人机系统。

背景技术

随着红外相机的尺寸和重量随着时间的推移而减小，它们的使用已经从主要基于地面的监测扩展到手持监测，并且在最近的系统中，通过使用无人机系统(UAS)从空中进行监测。移动结构(其包括诸如船、汽车、火车和汽车等的车辆)可以从UAS的使用中受益。

发明内容

提供基于飞行的红外成像系统和相关技术，特别是基于UAS的系统，以改善移动结构的操作和/或驾驶。在某些实施例中，可以提供一种装置。该装置可以包括逻辑设备，该逻辑设备与移动结构相关联且被配置为与成像装置通信。逻辑设备可以被配置为：接收来自与移动结构相关联的一个或多个无人机系统(UAS)的UAS数据，其中，UAS数据的至少一部分包括与耦合到该一个或多个UAS的热像仪相关联的数据；根据UAS数据确定环境条件；并且输出/提供环境条件确定(例如，以显示给用户，输入给自动驾驶结构，和/或进一步处理以助于移动结构和/或UAS的操作)。

在某些其他实施例中，可以提供一种方法。该方法可以包括：接收来自与移动结构相关联的一个或多个无人机系统(UAS)的UAS数据，其中，UAS数据的至少一部分包括与耦合到该一个或多个UAS的热像仪相关联的数据；根据UAS数据确定环境条件；并且输出/提供环境条件确定(例如，以显示给用户，输入给自动驾驶结构，和/或进一步处理以助于移动结构和/或UAS的操作)。

本发明的范围由权利要求限定，这些权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将更加完整地理解本发明的实施例以及其附加优点的实现。将参考将首先简要描述的附图。

附图说明

图1A示出了根据本发明的实施例的系统的框图。

图1B示出了根据本发明的实施例的具有无人机系统的移动结构。

图2A示出了根据本发明的实施例的具有移动结构和无人机系统的环境的表示。

图2B示出了根据本发明的实施例的具有移动结构和无人机系统的环境的另一表示。

图2C示出了根据本发明的实施例的具有移动结构和无人机系统的导航环境的表示。

图2D示出了根据本发明的实施例的具有多个相关联的无人机系统的移动结构的表示。

图3示出了详细描绘根据本发明的实施例的集成模型的生成的流程图。

图4示出了根据本发明的实施例的使用移动结构和无人机系统的传感器来识别和传送兴趣点的流程图。

图5示出了根据本发明的实施例的识别关注区域的流程图。

图6示出了根据本发明的实施例的将无人机系统与移动结构相连接的流程图。

通过参考下面的详细描述可以最好地理解本发明的实施例及其优点。应该理解的是，相似的附图标记用于标识在一个或多个附图中示出的相似元件。

具体实施方式

提供基于飞行的成像系统和相关技术，尤其是基于无人机系统(UAS)的成像系统，以改进对与UAS相关联的移动结构的控制和领航。在一些实施例中，UAS可以包括一个或多个传感器，其可以被配置为获取与移动结构和/或移动结构周围的环境相关联的数据。这些数据可用于辅助领航移动结构和/或通过移动结构执行任务。

可以参考热、红外、辐射、辐射率、辐照度和/或其他图像和带。为了本发明的目的，通常可以使用这种参考来指代基于温度(例如，红外波长)的成像。

图1A示出了根据本发明的实施例的红外成像系统的框图。在一些实施例中，系统100可以包括飞行平台110、红外相机140和移动结构130。由红外相机140和/或由与飞行平台110和/或移动结构130耦合的传感器生成的数据可以(例如，通过红外相机140、飞行平台110和/或移动结构130)被处理并且通过使用用户对接装置132(例如，诸如多功能显示器(MFD)等的一个或多个显示器、诸如平板电脑、膝上型电脑或智能电话等的便携式电子设备、或其他合适的对接装置)向用户显示和/或存储在存储器中以供以后查看和/或分析。在一些实施例中，系统100可以被配置为使用这样的图像来控制如本文所述的飞行平台110、红外相机140和/或移动结构130的操作，诸如，控制相机安装件122以将红外相机122瞄准特定方向，控制推进系统124以将飞行平台110相对于目标移动到期望位置，和/或提供用于移动移动结构130的导航数据。

在图1A所示的实施例中，红外成像系统100可以包括飞行平台110、移动结构130和红外相机140。飞行平台110可以被配置为飞行和定位和/或瞄准红外相机140(例如，相对于指定的或检测到的目标)并且可以包括控制器112、定向传感器114、陀螺仪/加速计116、全球导航卫星系统(GNSS)118、通信模块120、相机安装件122、推进系统124和其他模块126中的一个或多个。飞行平台110的操作可以基本上是自主的和/或部分地或完全地由来自例如移动结构130的外部源(例如，位于移动结构130上的操作者和/或远程控制器)控制，移动结构130可以包括用户对接装置132、通信模块134和其他模块136中的一个或多个。红外相机140可以物理地耦合到飞行平台110并且被配置为捕获通过飞行平台110和/或基站130的操作而选择和/或框住的目标位置、区域和/或一个(或多个)对象的红外图像。在一些实施例中，来自控制器112、定向传感器114和/或148、GNSS118和/或150、通信模块120、134和/或144、其他模块126、136和/或152、成像模块142和/或其他组件的数据可以被传送到辅助设备(例如，智能电话、平板电脑、计算机和/或其他此类设备)。另外，辅助设备还可以将数据传送到飞行平台110、移动结构130和/或红外相机140。

控制器112和/或138可以实现为任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合)，例如，其可适用于执行、存储和/或接收适当的指令，例如实现用于控制飞行平台110和/或系统100的其他元件的各种操作的控制回路的软件指令。这样的软件指令还可以实现用于处理红外图像和/或其他传感器信号、确定传感器信息、提供用户反馈(例如，通过用户对接装置132)、查询设备以获得操作参数、选择设备的操作参数或者执行在此描述的各种操作的任一者(例如，由系统100的各种设备的逻辑设备执行的操作)的方法。

另外，可以提供机器可读介质用于存储用于加载到控制器112和/或138并由控制器112和/或138执行的非暂时性指令。在这些和其他实施例中，控制器112和/或138可以在适当的情况下用其他组件来实现，诸如易失性存储器、非易失性存储器、一个或多个对接装置和/或用于与系统100的设备对接的各种模拟和/或数字组件。例如，控制器112和/或138可以适用于随时间推移而存储例如传感器信号、传感器信息、用于坐标系变换的参数、校准参数、校准点集合和/或其他操作参数，并且使用用户对接装置132将这些存储的数据提供给用户。在一些实施例中，控制器112可以与例如飞行平台110的一个或多个其他元件集成，或者作为多个逻辑设备分布在飞行平台110内。在一些实施例中，控制器138可以与移动结构130的一个或多个元件集成，或者作为多个逻辑设备分布在移动结构130内。

定向传感器114可以实现为以下设备中的一个或多个：罗盘、浮标、加速计和/或能够测量飞行平台110的定向(例如，相对于诸如重力和/或磁北的一个或多个参考方向的翻滚、俯仰和/或偏航的大小和方向)并且可以提供这种测量结果作为可以传送到系统100的各种设备的传感器信号的其他设备。陀螺仪/加速计116可以实现为以下设备中的一个或多个：电子六分仪、半导体设备、集成芯片、加速计传感器、加速计传感器系统或能够测量飞行平台110的角速度/加速度和/或线性加速度(例如，方向和大小)并且能够提供这种测量结果作为可以传送到系统100的其他设备(例如，用户对接装置132、控制器112和/或138)的传感器信号的其他设备。

GNSS118可以根据任何全球导航卫星系统来实现，包括基于GPS、基于GLONASS和/或基于伽利略的接收器和/或能够基于例如从太空产生和/或陆地来源(例如，eLoran和/或其他至少部分地面系统)接收的无线信号来确定飞行平台110(例如，或者飞行平台110的元件)的绝对和/或相对位置并且能够提供这些测量结果作为可以传送到系统100的各种设备的传感器信号的其他设备。在一些实施例中，GNSS118可以例如包括高度计，或者可以用于提供绝对高度。

通信模块120可以实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块120可以被配置为从移动结构130接收飞行控制信号并且将它们提供给控制器112和/或推进系统124。在其他实施例中，通信模块120可以被配置为从红外相机140接收红外图像(例如，静止图像或视频图像)并将红外图像中继到控制器112和/或移动结构130。在一些实施例中，通信模块120可以被配置为例如支持扩频传输，和/或系统100的元件之间的多个同时通信信道。

在一些实施例中，相机安装件122可以实现为致动的万向节安装件，该致动的万向节安装件例如可以由控制器112控制以使红外相机140相对于目标稳定或者根据期望的方向和/或相对位置瞄准红外相机140。同样地，相机安装件122可以被配置为向控制器112和/或通信模块120提供红外相机140的相对定向(例如，相对于飞行平台110的定向)。在其他实施例中，相机安装件122可以实现为固定安装件。在各种实施例中，相机安装件122可以被配置为提供电力，支持有线通信，提供快门，和/或以其他方式促进红外相机140的飞行操作。在进一步的实施例中，相机安装件122可以被配置为耦合到激光指示器、测距仪和/或其他设备，以例如基本上同时支持多个设备、稳定多个设备、为多个设备供电和/或瞄准多个设备(例如，红外相机140和一个或多个其他设备)。

推进系统124可以实现为能够用于向飞行平台110提供动力和/或提升力和/或操纵飞行平台110的螺旋桨、涡轮机或其他类型的基于推力的推进系统和/或其他类型的推进系统中的一个或多个。在一些实施例中，推进系统124可以包括能够被控制(例如，通过控制器112)以向飞行平台110提供提升力和运动并且为飞行平台110提供定向的多个螺旋桨(例如三、四、六、八或其他类型的“直升机”)。在其他实施例中，推进系统110可以主要被配置成提供推力，而飞行平台110的其他结构提供提升力，例如在固定机翼实施例(例如，其中机翼提供提升力)中和/或浮空器实施例(例如，气球、飞艇、混合浮空器)中。在各种实施例中，推进系统124可以用便携式电源例如电池和/或内燃机/发电机和燃料供应来实现。

其他模块126可以包括用于提供例如飞行平台110的附加环境信息的其他和/或附加传感器、致动器、通信模块/节点和/或用户对接装置设备。在一些实施例中，其他模块126可以包括湿度传感器、风力和/或水温传感器、气压计、高度计、雷达系统、可见光谱相机、附加红外相机(具有附加安装件)、辐照度检测器、臭氧传感器、一氧化碳和/或二氧化碳传感器、比浊计、HDR成像设备和/或其他环境传感器，它们提供能够显示给用户以及/或由系统100的其他设备(例如，控制器112)使用的测量结果和/或其他传感器信号，以提供对飞行平台110和/或系统100的操作控制或处理红外影像以补偿环境条件(例如红外相机140与目标之间的大气中的水含量)。在一些实施例中，其他模块126可以包括耦合到飞行平台110的一个或多个致动和/或铰接设备(例如，多光谱有源照明器、可见和/或IR相机、雷达、声纳和/或其他被致动设备)，其中每个致动设备包括一个或多个致动器，所述致动器适于响应于一个或多个控制信号(例如，由控制器112提供)来相对于飞行平台110调整设备的定向。

移动结构130的用户对接装置132可以实现为以下设备中的一个或多个：显示器、触摸屏、键盘、鼠标、操纵杆、旋钮、方向盘、轭和/或能够接受用户输入和/或向用户提供反馈的任何其他设备。在各种实施例中，用户对接装置132可适于向系统100的其他设备(诸如控制器112)提供用户输入(例如，作为由移动结构130的通信模块134发送的信号和/或传感器信息的类型)。用户对接装置132还可以用适于存储和/或执行指令(例如软件指令)的一个或多个逻辑设备(例如，类似于控制器112)来实现，所述指令实现本文描述的各种过程和/或方法中的任一者。例如，用户对接装置132可以适用于例如形成通信链路，发送和/或接收通信(例如，红外图像和/或其他传感器信号、控制信号、传感器信息、用户输入和/或其他信息)或者执行本文描述的各种其他过程和/或方法。

在一个实施例中，用户对接装置132可以适于显示各种传感器信息和/或其他参数的时间序列作为图形或地图的一部分或覆盖在图形或地图上，其可以参考飞行平台110和/或系统100的其他元件的位置和/或定向。例如，用户对接装置132可以适用于显示覆盖在地理地图上的飞行平台110和/或系统100的其他元件的位置、航向和/或定向的时间序列，地理地图可以包括指示致动器控制信号、传感器信息和/或其他传感器和/或控制信号的对应时间序列的一个或多个曲线图。

在一些实施例中，例如，用户对接装置132可以适于接受包括用于系统100的元件的用户定义的目标航向、航路点、路线和/或定向的用户输入，并且生成控制信号以使飞行平台110根据目标航向、路线和/或定向移动。在其他实施例中，例如，用户对接装置132可以适于接受修改控制器112和/或138的控制回路参数的用户输入。

在进一步的实施例中，用户对接装置132可以适于例如接受包括用于与飞行平台110相关联的致动设备(例如，红外相机140)的用户定义的目标姿态、定向和/或位置的用户输入，并且根据目标姿态、定向和/或位置生成用于调整致动设备的方向和/或位置的控制信号。这种控制信号可以被发送到控制器112(例如，使用通信模块154和120)，控制器112然后可以相应地控制飞行平台110。

通信模块154可以实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块154可以被配置为将飞行控制信号从用户对接装置132发送到通信模块120或144。在其他实施例中，通信模块154可以被配置为从红外相机140接收红外图像(例如，静止图像或视频图像)。在一些实施例中，通信模块154可以例如被配置为支持例如扩频传输和/或系统100的元件之间的多个同时通信信道。

在某些实施例中，移动结构130可以包括导航传感器(诸如声纳系统182)、转向传感器/致动器160、定向传感器180、速度传感器162、陀螺仪/加速计164、全球导航卫星系统(GNSS)166和/或其他模块156(即，雷达系统、其他测距传感器、各种环境传感器、针对移动结构的动态特性的传感器和/或其他传感器)。例如，其他模块156可以包括用于提供移动结构130的附加环境信息的其他和/或附加传感器、致动器、通信模块/节点和/或用户对接装置设备。在一些实施例中，例如，其他模块156可以包括湿度传感器、风力和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、激光雷达系统、盐度传感器(例如海面盐度传感器)和/或其他环境传感器，该其他传感器提供可以显示给用户和/或由系统100的其他设备(例如，控制器112和/或138)使用的测量结果和/或其他传感器信号，以提供对环境条件(诸如，风速和/或方向、膨胀速度、振幅和/或方向、和/或移动结构130的路径中的对象)进行补偿的移动结构130和/或系统100的操作控制。在一些实施例中，其他模块156可以包括耦合到移动结构130的一个或多个致动设备(例如，聚光灯、红外和/或可见光照明器、红外和/或可见光相机、雷达、声纳、激光雷达系统和/或其他致动设备)，其中，每个致动设备包括一个或多个致动器，其适于响应于一个或多个控制信号(例如，由控制器112和/或138提供的)来调整设备相对于移动结构130的定向。另外，其他模块156还可以包括与其他模块156的传感器相关联的定向和/或位置传感器。定向和/或位置传感器可以包含在其他模块156的传感器内，或者可以与其他模块156的传感器分离。

红外相机140的成像模块142可以实现为检测器元件(例如量子阱红外光电检测器元件、基于辐射热计或微辐射热计的检测器元件、基于II型超晶格的检测器元件和/或可以布置在焦平面阵列中的其他红外光谱检测器元件)的冷却和/或非冷却阵列。在各种实施例中，成像模块142可以包括一个或多个逻辑设备(例如，类似于控制器112和/或138)，其可以被配置为在将影像提供给存储器146或通信模块144之前处理由成像模块142的检测器元件捕获的影像。更通常地，成像模块142可以被配置为至少部分地或者与控制器112和/或138和/或用户对接装置132一起执行本文描述的任何操作或方法。

在一些实施例中，红外相机140可以用类似于成像模块142的第二或附加成像模块来实现，例如，其可以包括被配置为检测其他光谱(诸如可见光、紫外线和/或其他光谱或光谱的子集)的检测器元件。在各种实施例中，这样的附加成像模块可以被校准或配准到成像模块142，使得由每个成像模块捕获的图像占据其他成像模块的已知的且至少部分重叠的视场，由此允许不同的光谱图像在几何上彼此配准(例如，通过缩放和/或定位)。在一些实施例中，除了依赖于已知的重叠视场之外或作为已知的重叠视场的替代，可以使用模式识别处理将不同的光谱图像彼此配准。

红外相机140的通信模块144可以实现为被配置为在系统100的元件之间发送和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块144可以被配置为将红外图像从成像模块142发送到通信模块120或154。在其他实施例中，通信模块144可以被配置为从控制器112和/或138和/或用户对接装置132接收控制信号(例如，引导红外相机140的捕获、聚焦、选择性滤波和/或其他操作的控制信号)。在一些实施例中，通信模块144可以被配置为例如支持扩频传输和/或系统100的元件之间的多个同时通信信道。

存储器146可以实现为一个或多个机器可读介质和/或逻辑设备，该一个或多个机器可读介质和/或逻辑设备被配置为存储例如有助于系统100的操作的软件指令、传感器信号、控制信号、操作参数、校准参数、红外图像和/或其他数据，并将其提供给系统100的各种元件。存储器146也可以至少部分地实现为可移动存储器，例如包括例如用于这种存储器的接口的安全数字存储卡。

红外相机140的定向传感器148可以类似于定向传感器114或陀螺仪/加速计116、和/或能够测量红外相机140和/或成像模块142的定向(例如，相对于诸如重力和/或磁北等的一个或多个参考定向的翻滚、俯仰和/或偏航的大小和方向)并且提供这样的测量结果作为可传送到系统100的各种设备的传感器信号的另一设备。红外相机140的GNSS150可以根据任何全球导航卫星系统来实现，包括基于GPS、基于GLONASS和/或基于伽利略的接收器和/或能够基于例如从空间产生和/或地面来源接收的无线信号确定红外相机140(例如，或红外相机140的元件)的绝对和/或相对位置并且能够提供这样的测量结果作为可以被传送至系统100的各种设备的传感器信号的其他设备。

红外相机140的其他模块152可以包括其他和/或附加传感器、致动器、通信模块/节点、冷却或非冷却光学滤波器和/或用于提供例如与红外相机140相关联的附加环境信息的用户对接装置设备。在一些实施例中，其他模块152可以包括湿度传感器、风力和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、GNSS、比浊计、臭氧传感器、一氧化碳和/或二氧化碳传感器、HDR成像设备和/或其他环境传感器，它们提供可以显示给用户和/或由成像模块142或系统100的其他设备(例如，控制器112和/或138)使用以提供对飞行平台110和/或系统100的操作控制或者处理红外影像以补偿环境条件(例如与红外相机140大致处于相同高度和/或位于相同区域内的大气中的诸如水含量)的测量结果和/或其他传感器信号。

返回参考移动结构130，声纳系统182可以被配置为对位于移动结构130附近的水体和/或海底进行成像。声纳系统182可以检测水体和/或海底内的对象。声纳系统182可以向控制器112和/或138输出或提供声纳数据。

定向传感器180可以实现为以下设备中的一个或多个：罗盘、浮标、加速计和/或能够测量移动结构130的定向(例如，相对于诸如重力和/或磁北等的一个或多个参考定向的翻滚、俯仰和/或偏航的大小和方向)并且提供这样的测量结果作为可以传送到系统100的各种设备的传感器信号的其他设备。陀螺仪/加速计164可以实现为以下设备中的一个或多个：电子六分仪、半导体设备、集成芯片、加速计传感器、加速计传感器系统或者能够测量移动结构130的角速度/加速度和/或线性加速度(例如，方向和大小)并且提供这样的测量结果作为可以传送到系统100的其他设备的传感器信号的其他设备。

转向传感器/致动器160可以适于根据由系统100的控制器(例如控制器138)提供的一个或多个控制信号、用户输入和/或稳定姿态估计，来物理地调整移动结构130的航向。转向传感器/致动器160可以包括移动结构130的一个或多个致动器和控制表面(例如，方向舵或其他类型的转向或调整机构)，并且可适于将控制表面物理地调整为各种正向和/或负向转向角度/位置。

推进系统170可以实现为螺旋桨、涡轮机或其他基于推力的推进系统、机械轮式和/或履带式推进系统、基于帆的推进系统、和/或可用于向移动结构130提供动力的其他类型的推进系统。在一些实施例中，例如，推进系统170可以是非铰接的，使得推进系统170产生的动力和/或推力的方向相对于移动结构130的坐标系固定。非铰接式推进系统的非限制性示例包括例如用于具有固定推力矢量的船只的舷内马达、或固定的飞机螺旋桨或涡轮机。在其他实施例中，推进系统170例如可以是铰接的，并且例如可以耦合到和/或集成到转向传感器/致动器160，使得产生的动力和/或推力的方向相对于移动结构130的坐标系130可变。铰接式推进系统的非限制性示例包括例如用于船只的舷外马达、用于具有可变推力矢量/舵(port)(例如用于操纵船只)的船只的舷内马达、帆、或者具有可变推力矢量的飞机螺旋桨或涡轮机。

移动结构130可以另外包括飞行平台接收器190。飞行平台接收器190可以被配置为接收(例如，对接)飞行平台110。在某些实施例中，飞行平台接收器190可以是着陆垫、充电器、对接站和/或可以允许飞行平台110与移动结构130对接、充电、传送数据和/或以其他方式与移动结构130对接的其他区域和/或结构。

通常，系统100的每个元件可以用任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储器存储设备、存储器读取器或其他设备或设备的组合)来实现，其可以适于执行、存储和/或接收适当的指令，例如实施用于提供声纳数据和/或影像或者例如用于发送和/或接收系统100的一个或多个设备之间的通信(诸如传感器信号、传感器信息和/或控制信号)的方法的软件指令。

另外，可以提供一个或多个机器可读介质以用于存储用于加载到由系统100的一个或多个设备实现的任何逻辑设备并由该逻辑设备执行的非暂时性指令。在这些和其他实施例中，逻辑设备可以在适当的情况下用其他组件(例如，易失性存储器、非易失性存储器和/或一个或多个接口(例如集成电路间(I2C)接口、移动工业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEE 1149.1标准测试接入端口和边界扫描架构)和/或其他接口，诸如用于一个或多个天线的接口或用于特定类型的传感器的接口))来实现。

传感器信号、控制信号和其他信号可以通过各种有线和/或无线通信技术(包括电压信令、以太网、WiFi、蓝牙、Zigbee、Xbee、Micronet或其他介质和/或短距离有线和/或无线联网协议和/或实现方式)在系统100的元件之间进行通信。在这样的实施例中，系统100的每个元件可以包括支持有线、无线和/或有线和无线通信技术的组合的一个或多个模块。在一些实施例中，例如，系统100的各种元件或部分元件可以彼此集成，或者可以集成到单个印刷电路板(PCB)上以降低系统复杂性、制造成本、功率需求、坐标系误差和/或各种传感器测量结果之间的定时误差。

系统100的每个元件可以包括例如一个或多个电池、电容器或其他电力存储设备，并且可以包括一个或多个太阳能电池模块或其他发电设备。在一些实施例中，设备中的一个或多个可以由飞行平台110的电源通过一个或多个电源引线来供电。这样的电源引线也可以用于支持系统100的元件之间的一种或多种通信技术。

图1B示出了根据本发明的实施例的具有无人机系统的移动结构。在图1B所示的实施例中，系统100可以实现为向用户提供导航数据，诸如集成模型或一些数据输出，以供移动结构130的操作使用。例如，系统100可以包括声纳系统182、集成用户对接装置/控制器132a和/或132b、转向传感器/致动器160、传感器集群192(例如，定向传感器180、陀螺仪/加速计164、GNSS166和/或诸如雷达系统的其他模块156)、成像仪集群161、以及各种其他传感器和/或致动器。在图1B所示的实施例中，移动结构130被实现为机动船，其包括船体105b、甲板106b、横梁107b、桅杆/传感器安装件108b、方向舵158、舷内马达170和与横梁107b耦合的致动声纳系统182。在其他实施例中，船体105b、甲板106b、桅杆/传感器安装件108b、方向舵158、舷内马达170和各种致动装置可以对应于客机或其他类型的车辆、机器人或无人机的属性，诸如起落架、乘客舱、发动机/发动机舱、行李箱、顶部、转向机构、前灯、雷达系统和/或车辆的其他部分。

如图1B所示，移动结构130包括致动声纳系统182，其又包括换能器组件182a，该换能器组件通过组件支架/致动器182b和横梁支架/电导管182c耦合至移动结构101的横梁107b。在一些实施例中，组装支架/致动器182b可以实现为例如翻滚、俯仰和/或偏航致动器，并且可以适于根据由用户对接装置/控制器132a和/或132b提供的控制信号和/或移动结构130的定向(例如，翻滚、俯仰和/或偏航)或位置，来调整换能器组件182a的定向。例如，用户对接装置/控制器132a和/或132b可以适于接收被配置为声透射周围水的一部分的换能器组件182a的定向和/或以绝对坐标系为参考的方向，并且适于响应于移动结构130的运动，通过使用移动结构130的一个或多个定向和/或位置和/或通过执行本文描述的各种方法导出的其他传感器信息来调整换能器组件182a的定向，以保持位置和/或方向的声透射。

在另一个实施例中，用户对接装置/控制器132a和132b可以被配置成调整换能器组件182a的定向，以在移动结构130的运动期间基本上向下和/或沿着水下轨道引导来自换能器组件182a的声纳传输。在该实施例中，水下轨道例如可以是预定的，或者可以基于标准参数(诸如最小允许深度、最大声透射深度、深测路线和/或其他标准参数)来确定。换能器组件182a可以用声纳定向和/或位置传感器(OPS)来实现，其例如可以包括与定向传感器180、陀螺仪/加速计164和/或GNSS166相对应的一个或多个传感器，该一个或多个传感器被配置为提供换能器组件182a的绝对和/或相对位置和/或方向，以助于换能器组件182a的致动定向。

在一个实施例中，用户对接装置132a/b可以基本上在甲板106b和/或桅杆/传感器安装件108b上安装到移动结构139。例如，这样的安装件例如可以是固定的，或者可以包括万向节和其他调平机构/致动器，使得例如用户对接装置132a/b的显示器可以相对于水平和/或“向下”矢量基本保持水平(例如，以模仿典型的用户头部运动/定向)，或者可以根据用户期望的视角来定向显示器。在另一个实施例中，用户对接装置132a/b中的至少一个可以位于移动结构130附近并且在移动结构130的整个用户水平(例如，甲板106b)上是移动的/便携的。例如，辅助用户对接装置可以用系索、带子、头带和/或其他类型的用户附着设备来实现，并且物理地耦合到移动结构130的用户，以便接近用户和移动结构130。用户对接装置的其他实施例可以包括未物理地耦合到用户和/或移动结构130的便携式设备。在各种实施例中，用户对接装置132a/b可以用相对薄的显示器来实现，该显示器集成到相应设备或结构的PCB或其他电子器件中，以减小尺寸、重量、外壳复杂性和/或制造成本。

如图1B所示，在一些实施例中，速度传感器162可以安装到移动结构130的一部分(诸如安装到船体105b)，并且适于测量相对水速。在一些实施例中，速度传感器162可以适于提供薄的轮廓，以减少和/或避免水阻力。在各种实施例中，速度传感器162可以安装到移动结构130的基本在易于操作的可达性之外的那部分上。速度传感器162例如可以包括一个或多个电池和/或其他电力存储设备，并且可以包括一个或多个水力涡轮机以产生电力。在其他实施例中，例如，速度传感器162可以由移动结构130的电源通过使用穿过船体105b的一个或多个电源引线来供电。在替代实施例中，速度传感器162可以实现为例如风速传感器，并且可以安装到桅杆/传感器安装件108b以相对清晰地访问局部风力。

在图1B所示的实施例中，移动结构130可以包括大致在桅杆/传感器安装件108b处(例如，在移动结构130的重心附近)相交的方向/纵向轴102、方向/横向轴103以及方向/垂直轴104。在一个实施例中，各种轴可以定义移动结构101和/或传感器集群192的坐标系。

适于测量方向(例如，速度、加速度、航向或包括方向分量的其他状态)的每个传感器可以由用于将传感器的坐标系与系统100和/或移动结构130的任何元件的坐标系对准的安装件、致动器和/或伺服器来实现。系统100的每个元件可以位于与图1B中所示的位置不同的位置。系统100的每个设备可以包括例如一个或多个电池或其他电力存储设备，并且可以包括一个或多个太阳能电池或其他电力产生设备。在一些实施例中，一个或多个设备可以由用于移动结构130的电源供电。如本文所述，系统100的每个元件可以由天线、逻辑设备和/或使该元件提供、接收和处理传感器信号并与系统100的一个或多个设备进行对接或通信的其他模拟和/或数字组件来实现。此外，该元件的逻辑设备可以适于执行本文所述的任何方法。

图1B还包括飞行装置110B。飞行装置110B可以包括例如图1A的飞行平台110和/或红外相机140中的一个或多个。飞行装置110B可以包括一些或所有设施，该设施可以被局部呈现为飞行平台110和/或红外相机140的一部分或者操作飞行平台110和/或红外相机140。另外，飞行装置110B可以包括被配置为接收来自移动结构130的指令的设施。

移动结构130可以包括飞行平台接收器190。飞行平台接收器190可以是着陆平台和/或区域、对接站、充电器、耦合器和/或其他装置，该其他装置可以允许飞行装置110B着陆、停放、接收能源(例如，电荷和/或燃料)、传输数据、和/或执行将飞行装置110B与移动结构130相对接的其他动作。在某些实施例中，飞行平台接收器190可以包括可被配置为与飞行装置110B上的相应特征对接和/或接合的一个或多个特征。在某些这样的实施例中，在移动结构130和飞行装置110B之间传输数据和/或电力之前，可能需要对这些特征进行对接和/或接合。另外，仅当飞行装置110B相对于飞行平台接收器190处于特定定向时，才可以接合这些特征。

图2A示出了根据本发明的实施例的具有移动结构和无人机系统的环境的表示。图2A可以包括移动结构130A和UAS 110。耦合到UAS 110和/或移动结构130A的一个或多个成像模块和/或传感器可以对水体205a和吃水线205上方的各种对象或结构(诸如太阳201、树202、海滩203、山212、云210、雨210a和/或浮动对象211或浮动对象211a(浮动对象211的在吃水线上方的部分))进行成像和/或感测。这种成像模块和/或传感器可以输出或以其他方式提供与这些对象相关联的数据。可以通过例如热成像、视觉成像、雷达检测和/或通过UAS110和/或移动结构130A的其他模块的检测来检测这些对象。另外，耦合到UAS 110和/或移动结构130A的一个或多个成像模块和/或传感器(例如，声纳传感器)可以对205下方的各种对象和/或结构(诸如水体205a的河床206、河床206的堤206a、底部特征207(例如，岩石或沉船)、鱼208(或其他鱼类、野生动物和/或其他动植物)、其他水下对象209(例如，垃圾、海藻)、浮动对象211b(浮动对象211的在吃水线下方的一部分)和/或水体205a内或周围的其他水下特征)进行成像和/或感测。

可以使用特征/模式识别技术来处理这些数据。例如，这些技术可用于确定图像数据内的吃水线205的位置。声纳数据可以包括代表吃水线205、水体205a的河床206、河床206的堤206a、底部特征207(例如，岩石或沉船)、鱼208(或其他鱼类、野生动物和/或其他动植物)、其他水下对象209(例如，垃圾、海藻)、浮动对象211b(浮动对象的在吃水线211下方的一部分)和/或在水体205a内或周围的其他水下特征的数据，该声纳数据可以由深测图和/或图1A和图1B的声纳系统182和/或过去或当前使用的耦合到UAS 110的声纳系统来提供。UAS 110的红外相机140可以确定水温，并且可以例如通过来自红外相机140的数据来确定水流和/或水温的变化，该数据指示水体的一部分的水温随着时间的变化。

这些数据可以输出或提供给控制器112和/或138，并用于确定环境条件和/或创建环境的表示。例如，控制器112和/或138可以根据这些数据确定环境温度、风况、水温、水流条件、湿度、气压、其他天气条件(例如，雨、云、雾)、环境内的对象(例如，碎片、车辆、障碍物和/或其他此类对象)的存在、地形特征、植物群和/或动物群的存在、太阳、月亮和/或其他天体的位置、和/或其他此类特征和/或条件。这些确定例如可以有助于移动结构130A的导航(例如，在这样的环境中：移动结构130A可以在浅水和/或河流中驾驶，水流条件和关于碎片和障碍物的信息可以用于确保移动结构130A在这样的浅水区域中安全地导航)。

在某些实施例中，这些确定可用于生成移动结构130A周围的环境的点模型和/或三维表示。在某些其他实施例中，控制器112和/或138可以确定移动结构130A的计划和/或可能路径，并且可以确定可能影响移动结构130A通过计划和/或可能路径(例如，影响移动结构130A能够移动通过计划和/或可能路径的速度、安全性和/或可能性)的环境条件(例如，水流条件、天气条件、温度、压力和/或其他此类条件)和/或对象(例如，动物、碎片、其他车辆和/或其他此类对象)的存在。在某些另外的实施例中，控制器112和/或138可以响应于检测到的环境条件和/或对象，来确定移动结构130a从第一位置到达第二位置的最快路径。而且，在某些其他实施例中，控制器112和/或138可以被配置为检测特定对象和/或地形特征。同样地，例如，控制器112和/或138可以接收这样的数据并确定例如水体205内的人的存在和/或不存在。在某些这样的实施例中，水体205内的人的存在可以通过耦合到UAS 110的一个或多个热成像设备至少部分地确定。

水体205a的海洋状态还可以通过使用来自包括图像数据的数据中的数据来确定。例如，如图2所示，吃水线205可以是波浪起伏的。视觉和/或热成像数据的分析可以确定吃水线205的波动，并且因此，确定水体205a的海洋状态的至少一部分。在某些实施例中，这样的海洋状态(例如，海的平静或波动)可以通过例如图形表示(例如，使用海洋状态指示器以2D或3D方式或通过海洋状态的表现来动画演示海洋状态)或文本表示(例如，根据诸如数字刻度等的海洋状态刻度来描述海洋状态或对海洋状态进行评定的文本)来描绘或传送在集成模型内。

来自系统200A或系统100内的模块的数据可以组合在导航数据库中。导航数据库可以例如包含在控制器112和/或138的存储器内、在其他存储器内和/或可以通信地连接到系统100和/或系统200A内的其他组件。这样的导航数据库可以接收来自其他模块、传感器、成像系统或者可以与或可以不与移动结构130和/或UAS 110耦合的设备的数据。例如，导航数据库可以接收来自用户的智能手机、来自其他车辆、来自GNSS卫星、来自固定设备(诸如交通控制服务器)、来自其他通信系统(诸如无线电和激光通信)以及来自基于云的内部数据库的数据。在某些这样的实施例中，通信模块120、144和/或154可以发送和/或接收导航数据库和/或与导航数据库相关联的数据。

出于本发明的目的，可以直接或间接地辅助车辆导航的任何和所有数据可以被认为是导航数据。而且，导航数据库可以组合来自任何或所有适当来源的导航传感器的导航数据。导航数据库还可以包括来自导航传感器和/或与导航传感器相关联的定向和/或位置数据。在某些实施例中，导航数据库可以经由通信模块120、144和/或154从其他传感器接收数据。

在某些实施例中，这种导航数据库可以用于通过将来自多个传感器的数据融合在一起来辅助移动结构130的导航。可以以有助于对移动结构130进行导航或者(以使呈现更易于理解、更复杂和/或更有信息性的方式)辅助向移动结构130的操作者或显示器的用户呈现数据的方式，来融合数据。在某些实施例中，操作者可以是操作控制移动结构130的人，而用户可以是控制电子设备的人，该电子设备可以包含显示器。操作者和/或用户可以是同一个人或可以是不同的人。

例如，导航数据库可以包括来自声纳系统182、红外相机140、成像模块142、可见光谱成像模块、定向传感器180、雷达和/或系统200A的其他导航传感器的数据。控制器112和/或138可以被配置为基于导航数据库内的数据的至少一些来生成集成模型。这样的集成模型可以是例如移动结构130附近的环境的2D或3D表示。集成模型可以基本上从车辆的观察者的视角(从船只的桥梁的视角或从成像传感器所在位置的视角)、从俯视视角、从透视或成角度的视角或从自由形式的视角(即，用户可以选择视角的位置)来呈现环境。

在某些实施例中，集成模型可以将来自多个传感器的数据组合到一个视图中。例如，这样的集成模型可以包括环境的虚拟表示的渲染(例如，诸如使用完整的3D模型，从头开始渲染环境)，或者可以使用来自一个或多个传感器的数据作为基本视图并且将附加数据渲染在基本视图的“顶部上”，诸如在具有可变透明度的覆盖图中。

例如，来自可见光谱成像模块的数据可以选择作为基本视图，并且可以将来自红外成像模块、声纳系统和/或雷达的数据渲染在基本视图的“顶部上”。在某些实施例中，这些模块中的一个或多个可以耦合到UAS 110。因此，基本视图可以是来自可见光谱成像模块的视觉视图。由于下雨210a，可以耦合到移动结构130A的可见光谱成像模块可能无法检测到雨水210a后面的浮动对象211。然而，UAS 110可以能够检测浮动对象211。因此，来自UAS110的数据可以补充和/或结合来自移动结构130A的数据，并且可以利用这样的数据生成集成模型。在某些实施例中，集成模型可以在可见光谱数据上覆盖雷达和/或热图像数据。这些模型可以经由例如用户对接装置132呈现给移动设备的用户和/或操作者。因此，即使浮动对象211可能不可见/或无法由移动结构130A的模块检测到，操作者/用户也可以知晓浮动对象211的存在。

在其他实施例中，UAS 110可以检测天气条件，诸如，确定降雨强度210a或任何其他天气特征(诸如任何雾和/或云的密度)。UAS 110可以将与天气条件相关联的数据传送到移动结构130A。例如，这样的数据可以有助于移动结构130A的导航。而且，UAS 110和/或移动结构130A可以确定太阳201的位置。所确定的太阳201的位置可以有助于校正由UAS 110和/或移动结构130A获得的任何环境数据。同样地，例如，可以响应于太阳201的位置来修改由热成像模块获得的辐照度和/或热值。控制器112和/或138可以例如确定太阳201相对于成像对象的位置并且校对太阳201的位置可能对所获得的辐照度和/或热值产生的任何影响。

附加地或替代地，由UAS 110和/或移动结构130A的模块检测到的特征可以合并到集成模型中。例如，UAS 110和/或移动结构130A的声纳系统可以检测和/或输出或提供代表吃水线205、水体205a的河床206、河床206的堤206a、底部特征207(例如，岩石或沉船)、鱼208、其他水下对象209(例如，垃圾、海藻)、浮动对象211b和/或水体205a内或周围的其他水下特征的数据。可以在集成模型内呈现这样的水下特征。可以通过使用等高线、颜色和/或灰度映射和/或阴影、三维渲染和/或任何体积渲染技术的任何组合，在例如来自吃水线上方的特征的集成模型内指示和/或区分这样的水下特征。在一些实施例中，可以使用类似的声纳数据和/或图像处理技术，来检测和/或区分(例如，底部特征207的侧面207a或顶部207b的、或鱼208的侧面208a的)各种水下特征的表面定向。例如，在某些这样的实施例中，移动结构130A可以是渔船。UAS 110可以搜索鱼208并将数据传输到移动结构130A，这可以向移动结构130A的操作者警告鱼的存在。另外，可以确定鱼208的定向，并且可以考虑这种定向以预测这种鱼208的未来位置。同样地，鱼208的预计未来位置可以被传送给移动结构130A的操作者以助于捕获和/或观察鱼208。在某些这样的实施例中，控制器112和/或138可以预测多个时间点的未来位置，确定移动结构130A到达这些位置所需的时间，并且建议路径、定向、速度和/或其他领航因子，以遇见这种鱼208。

图2B示出了根据本发明的实施例的具有移动结构和无人机系统的环境的另一表示。图2B可以包括移动结构130B、具有吃水线205的水体205a、固定结构221、UAS 110和人220。

在图2B中，移动结构130B可以是具有帆108B的移动结构。帆108B可以是用于移动结构130B的推进系统。在某些实施例中，UAS 110可以被配置为对帆进行成像和/或获取与帆108B相关联的数据。同样地，UAS 110可以例如经由成像帆108B来获取可以允许确定风力和/或方向的数据。例如，UAS 110的成像模块可以获取帆108B的一个或多个图像和/或视频。这些图像可以用于确定风力(例如，根据“完整”帆108B如何)和/或风向(根据帆108B翻腾的方向)。

另外，UAS 110可以对移动结构130B进行成像/或获取与移动结构130B相关联的数据。这样的数据可以用于例如识别移动结构130B的相关区域。同样地，这样的图像和/或数据可以识别例如移动结构130B的受损区域、移动结构130B上的野生动物(例如，藤壶)、移动结构130B的配置(例如，诸如移动结构130B上的物体(诸如货物)的分配、帆配置、与移动结构130B的推进系统相关联的信息和/或其他这样的配置)。被识别的区域可以通过例如用户对接装置132，经由文本消息(例如，“船体损坏”)、通过虚拟表示上的突出显示、通过图像上的覆盖和/或通过其他技术来突出地显示。

UAS 110还可以对移动结构130B周围的环境和/或其一部分进行成像。同样地，UAS110可以对水体205a和/或其部分成像。在某些实施例中，UAS 110可以有助于例如搜索水体205a内的对象和/或人。例如，移动结构130B可以搜索人220。人220可以位于固定结构221(例如，码头的一部分或另一个这样的固定结构)的后面。同样地，移动结构130B可能由于阻挡的视线而无法检测到人220的存在。UAS 110可以利用例如热成像模块(例如，通过识别温度高于水体205a的温度的对象)、视觉成像模块(例如，通过图像识别软件)、雷达、声纳和/或其他技术来检测人220的存在。在某些这样的实施例中，可以分析来自UAS 110的数据以识别电水流和/或其他环境因素，可以根据其他环境因素确定人220在环境中的位置的可能性，并且可以根据这种确定来计划UAS 110的搜索路径(例如，UAS 110可以被配置为首先搜索具有最高可能性的区域，可以遵循根据水流条件的确定，和/或可以遵循其他这样的搜索指令)。

图2C示出了根据本发明的实施例的具有移动结构和无人驾驶航空系统的导航环境的表示。图2C可以包括移动结构130。移动结构130可以通过航路点230A-D导航。在某些实施例中，移动结构130可以例如参与竞赛，并且航路点230A-D可以是要求移动结构130围绕其进行导航的点。在这样的实施例中，移动结构130可以例如被预先指示遵循路径240A-D。然后，可以部署UAS 110以获取与路径240A-D的至少一部分相关联的数据。例如，UAS 110可以获取与水温、水流条件、障碍物、碎片、其他移动结构的位置、动物和/或人的位置和/或其他此类信息相关联的数据。例如，这样的数据可以被发送到移动结构130和/或被分析或使用以便为移动结构130确定更新路线。这样的更新路线可以是例如移动结构130围绕航路点230A-D行进的最快可能路线。在其他实施例中，UAS 110可以被配置为检测路径240A-D内的潜在障碍物(例如，可能损坏移动结构130的对象)。这些对象的检测可以传送给操作者和/或用户(例如，经由用户对接装置132)，可以使移动结构130改变路径(例如，移动结构130的自动驾驶系统可以调整计划路径)，可以传送给第三方(例如，海岸警卫队或其他船只)，和/或可以通过其他技术传送和/或作出反应。

图2D示出了根据本发明的实施例的具有多个相关联的无人机系统的移动结构的表示。在图2D中，移动结构130可以与多个UAS 110-1至110-3相关联。多个UAS 110-1至110-3中的每一个可以例如在移动结构130上被存放和/或维护。移动结构130可以在任何时间点处启动UAS 110-1至110-3中的一个或多个，以助于例如导航、路线规划、对象检测和/或由移动结构130执行的其他任务。

移动结构130可以同时从多个UAS 110-1至110-3接收数据。另外，移动结构130可以向多个UAS 110-1至110-3提供指令。UAS 110-1至110-3中的每一个可以接收唯一指令(例如，可以指示UAS 110-1至110-3中的每一个在与所指示的其他UAS飞行的区域不同的特定区域上飞行)。

在某些实施例中，移动结构130可以包括一个或多个飞行平台接收器190。在移动结构130可以包括比UAS 110-1至110-3更少量的飞行平台接收器190的实施例中(例如，少于三个)，控制器112和/或138可以管理UAS 110-1至110-3，使得在任何一个时刻，只有少于或等于飞行平台接收器190的数量的多个UAS可以与移动结构130对接。同样地，如果存在两个飞行平台接收器190，则控制器112和/或138可以提供指令，使得至少一个UAS在空中，从而至多仅两个UAS与移动结构130对接。在某些这样的实施例中，控制器112和/或138可以计算每个UAS的对接时间(例如，每个UAS与平台接收器190对接以再充电和/或传输数据所需的时间量)。控制器112和/或138可以调度飞行平台接收器190与UAS 110-1至110-3中的每一个对接的时间段，以例如防止任何一个UAS耗尽电荷和/或存储器。

在某些其他实施例中，UAS110-1至110-3中的一个或多个可以被配置为对移动结构130的乘客和/或机组人员中的一个或多个进行成像。在某些这样的实施例中，UAS可以确定环境条件并响应于环境条件来选择成像位置(例如，相对于乘客和/或机组人员的位置和/或高度)。例如，可以确定太阳的位置并且至少响应于太阳的位置(例如，最小化来自太阳的冲洗)来选择位置。其他实施例可以例如检测兴趣对象(例如，岩层、珊瑚、野生动物和其他此类对象)的存在并且响应于这样的确定来选择位置(例如，选择可以允许在同一帧中拍摄到兴趣对象和乘客中的一者或多者的位置)并且执行其他确定以提高图像质量。

图3示出了详细描绘根据本发明的实施例的集成模型的生成的流程图。图3中示出的技术可以由例如一个或多个控制器(诸如飞行平台110和/或移动结构130的控制器112和/或138)来执行。

在框302中，可以从例如一个或多个UAS接收导航数据。导航数据可以包括与移动结构周围的环境相关联的数据，其包括天气数据、声纳数据、雷达数据、温度数据、视觉成像数据和/或其他这样的数据。来自一个或多个UAS的导航数据可以由移动结构无线地(例如，经由WiFi、光纤、蓝牙、2G、3G、4G、WLAN、IEEE标准、LTE、个人区域网、ZigBee、无线USB和/或其他此类无线数据连接)、通过有线和/或通过耦合(例如，UAS以及例如飞行平台接收器190内的数据耦合)接收。

在框304中，可以根据导航数据来识别导航特征。导航特征可以是环境内的可能影响移动结构的领航和/或移动结构的任务的执行的任何特征。例如，可以识别其他移动结构、障碍物(例如，岩石、堤坝、障碍物、浮标、结构和/或其他障碍物)、野生动物、人、环境条件、地形特征和/或其他特征。

在框306中，可以生成集成模型。在某些这样的实施例中，集成模型可以是移动结构周围的环境的表示，诸如三维表示、二维表示、文本通信特征、覆盖和/或其他这样的表示。

在框308中，可以将集成模型传送给操作者和/或用户。集成模型可以通过例如图形表示、音频消息、辅助设备的消息和/或其他这样的技术来传送。

图4示出了根据本发明的实施例的使用移动结构和无人机系统的传感器来识别和传送兴趣点的流程图。

在框402中，可以从一个或多个UAS接收导航数据。可以以与图3的框302中描述的方式类似的方式在框402中接收导航数据。在框404中，可以从移动结构接收导航数据。导航数据可以包括例如视觉图像数据、热图像数据、雷达数据、声纳数据和/或由移动结构的一个或多个模块获取的其他此类数据。

在框408中，可以同步来自一个或多个UAS的导航数据和来自移动结构的导航数据。例如，一个或多个UAS和移动结构中的每一个可以例如获取吃水线上方的对象的雷达数据。这些对象可以包括例如移动结构附近的岩石。另外，一个或多个UAS可以通过热图像数据检测在一个岩石附近的水中的人的存在。移动结构可能没有人的符号线，因此可能无法检测到人。可以通过例如将UAS检测到的岩石的位置与移动结构检测到的相同岩石的位置相匹配，来同步来自UAS和移动结构的数据。然后，可以根据同步数据，来确定人相对于移动结构的位置。

在框410中，可以利用同步数据生成集成模型。同样地，对于作为周围环境的三维表示的集成模型，集成模型可以仅显示一组岩石。在某些实施例(诸如UAS和/或移动结构中的仅一个包括对移动结构周围的环境内的物体进行检测的数据的实施例)中，集成模型仍然可以生成这些物体的表示。同样地，在上面的示例中，仍然可以生成人的表示。

在框412中，可以识别和/或传送兴趣点。可以视觉识别、口头识别和/或通过另一种技术识别兴趣点。例如，在视觉集成模型中，可以突出显示，可以指出(例如，通过指向它的箭头)和/或可以通过另一种技术突出显示兴趣点。在上面的示例中，可以在集成模型内突出显示人的位置。在框414中，可以通过集成模型上的突出显示和/或其他此类技术，经由例如用户对接装置132来传送所识别的兴趣点。

在框406中，可以接收来自操作者的指令。可以响应于例如来自集成模型的输出来接收这样的指令。作为示意性示例，指令可以包括前往位置的指令、启动一个或多个UAS的指令(例如，以调查位置)、将信息发送给第三方的指令(例如，向海岸警卫队发送遇险信号)和/或其他此类指示。在某些实施例中，一个或多个UAS可以将这样的指令中继到另一个实体(例如，一个或多个UAS可以从移动结构接收指令并将这些指令发送到海岸警卫队)。同样地，一个或多个UAS可以改善移动结构的传输范围。在上面的示例中，可以接收指令以将人的存在传送给海岸警卫队。UAS可以从移动结构接收指令并将其发送给海岸警卫队。然后，可以相应地安排救援行动。

图5示出了根据本发明的实施例的识别相关区域的流程图。在框502中，可以通过一个或多个UAS的一个或多个模块对移动结构的一部分进行成像和/或以其他方式进行捕捉。在框504中，可以将由UAS捕捉的图像和/或数据传送到移动结构。在传送数据之后，在框506中，可以由控制器112和/或138、其他模块来分析数据，和/或将数据显示给操作者和/或用户，以识别相关区域。这些相关区域可以包括例如结构相关区域、移动结构上的野生动植物、可能需要维护的区域、可以响应于环境而改变的移动结构的配置(例如，襟翼角度和/或帆配置)。在框508中，可以传送相关区域。操作者和/或用户可以相应地通过例如纠正问题、改变移动结构的配置、安排维护和/或修理、投资相关区域和/或执行其他此类行动，来进行响应。

图6示出了根据本发明的实施例的将无人机系统与移动结构对接的流程图。在框602中，可以确定移动结构的瞄准。在某些实施例中，UAS可以例如对移动结构进行成像和/或以其他方式获取数据以确定移动结构的瞄准。例如，UAS可以对移动结构的飞行平台接收器进行成像和/或可以从飞行平台接收器的多个部分接收信号以确定飞行平台接收器相对于UAS的位置的定向。另外，在框602中，还可以确定移动结构的任何运动(例如，航向、速度、漂移、起伏、摆动(例如，翻滚、俯仰和/或偏航)和/或其他此类运动)。

在框604中，可以确定和/或接收环境数据。这样的环境数据可以包括例如风向、风速、微粒和/或降水数据、和/或针对其他这样的环境条件的其他数据。

在框606中，可以根据移动结构瞄准数据和环境数据，来确定UAS靠近参数(approach)(例如，航向、速度、方向、路径和/或其他此类运动因子)。这些靠近参数可以包括用于UAS以例如改变方向、使UAS定向以与飞行平台接收器的特征对齐、确定接近速度、确定高度下降和/或增高速率的指令和/或允许UAS与飞行平台接收器对接的其他这样的指令。这样的指令可以补偿例如移动结构的摆动和/或任何风和/或天气条件(例如，考虑到移动结构的摆动，UAS可以定时以与飞行平台接收器对接)。在框608中，可以将该靠近参数传送到UAS，并且然后UAS可以与飞行平台接收器和/或移动结构的另一个着陆区域对接。

在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本发明提供的各种实施例。同样在适用的情况下，在不背离本发明的精神的情况下，可将本文阐述的各种硬件组件和/或软件组件组合成包括软件、硬件和/或两者的复合组件。在适用的情况下，在不背离本发明的精神的情况下，本文阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件或两者的子组件。另外，在适用的情况下，可以预期软件组件可以实现为硬件组件，反之亦然。

根据本发明的软件，诸如非暂时性指令、程序代码和/或数据，可以存储在一个或多个非暂时性机器可读介质上。还可以预期的是，可以使用一个或多个通用或专用计算机和/或计算机系统以网络和/或其他方式来实现本文中所标识的软件。在适用的情况下，本文描述的各种步骤的顺序可以被改变、被组合成复合步骤和/或分成子步骤以提供本文描述的特征。

以上描述的实施例说明但不限制本发明。还应该理解的是，可以根据本发明的原理进行多种修改和变化。因此，本发明的范围仅由所附权利要求限定。

Claims (23)

1. 一种用于辅助无人机系统着陆在船只上的装置，所述装置包括：

逻辑设备，其与船只相关联并且被配置为与成像设备通信，其中，所述逻辑设备被配置为

接收来自与所述船只相关联的一个或多个无人机系统UAS的UAS数据，其中，所述UAS数据的至少一部分包括与所述成像设备相关联的数据，所述成像设备包括耦合到所述一个或多个UAS的热像仪，

根据所述UAS数据来确定环境条件，

至少部分地基于所述UAS数据来确定与所述一个或多个UAS中的至少一个UAS着陆在所述船只上相关联的指令，并且

向所述至少一个UAS发送所述指令；

其中，确定所述指令包括确定下列项中的一个或多个的每一者：

所述船只的漂移；

所述船只的起伏；和

所述船只的摆动。

2.根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，确定所述指令包括确定所述船只的漂移。

3.根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，确定所述指令包括确定所述船只的摆动。

4. 根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，确定所述指令包括：

至少部分地基于所述UAS从飞行平台接收器的不同部分接收到的信号，来确定所述飞行平台接收器在所述船只上的定向；和

将所述UAS的定向与所述飞行平台接收器的定向相匹配。

5.根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，所述逻辑设备还被配置为：

至少部分地基于所述环境条件来确定船只路线。

6.根据权利要求5所述的用于辅助无人机系统着陆在船只上的装置，其中，所述逻辑设备还被配置为：

将用于监测所述船只路线的至少一部分的指令传送给所述UAS。

7.根据权利要求6所述的用于辅助无人机系统着陆在船只上的装置，其中，所述船只路线包括多个竞赛航路点，并且所述逻辑设备还被配置为：

至少部分地基于所述UAS数据和所述航路点来确定最快路线。

8.根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，所述逻辑设备还被配置为：

确定所述船只本地的环境内的对象的存在和/或位置。

9.根据权利要求8所述的用于辅助无人机系统着陆在船只上的装置，其中，所述对象包括人并且所述环境包括水体。

10.根据权利要求8所述的用于辅助无人机系统着陆在船只上的装置，其中，所述逻辑设备还被配置为：

针对所述对象的存在传送对所述环境的一部分进行监测的指令，其中，所述环境的所述一部分是至少部分地基于环境条件确定来确定的。

11.根据权利要求10所述的用于辅助无人机系统着陆在船只上的装置，其中，所述环境条件确定与水流条件和/或水温条件相关联。

12.根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，确定所述指令包括确定所述船只的起伏。

13.根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，所述逻辑设备还被配置为向所述UAS传送对所述船只的至少一部分进行成像的指令。

14.根据权利要求13所述的用于辅助无人机系统着陆在船只上的装置，其中，对所述船只的至少一部分进行成像的指令包括对所述船只的帆进行成像的指令。

15.根据权利要求13所述的用于辅助无人机系统着陆在船只上的装置，其中，对所述船只的至少一部分进行成像的指令包括对所述船只的主体结构进行成像的指令。

16.根据权利要求1所述的用于辅助无人机系统着陆在船只上的装置，其中，确定所述指令包括确定所述船只的漂移、所述船只的起伏和所述船只的摆动。

17.一种用于辅助无人机系统着陆在船只上的方法，所述方法包括：

接收来自与船只相关联的一个或多个无人机系统UAS的UAS数据，其中，所述UAS数据的至少一部分包括与耦合到所述一个或多个UAS的热像仪相关联的数据；

根据所述UAS数据来确定环境条件；

至少部分地基于所述UAS数据来确定与所述一个或多个UAS中的至少一个UAS着陆在所述船只上相关联的指令，并且

向所述至少一个UAS发送所述指令；

其中，确定所述指令包括确定下列项中的一个或多个的每一者：

所述船只的漂移；

所述船只的起伏；和

所述船只的摆动。

18.根据权利要求17所述的用于辅助无人机系统着陆在船只上的方法，其中，所述UAS数据与下列项中的一个或多个的每一者相关联：

所述船只本地的环境的环境条件，

所述船只的摆动，

所述船只的运动矢量，和

飞行平台接收器在所述船只上的位置。

19. 根据权利要求17所述的用于辅助无人机系统着陆在船只上的方法，其中，确定所述指令包括：

至少部分地基于所述UAS从飞行平台接收器的不同部分接收到的信号，来确定所述飞行平台接收器在所述船只上的定向；和

将所述UAS的定向与所述飞行平台接收器的定向相匹配。

20.根据权利要求17所述的用于辅助无人机系统着陆在船只上的方法，还包括：

至少部分地基于所述环境条件来确定船只路线，其中，所述船只路线包括多个竞赛航路点；

将用于监测所述船只路线的至少一部分的指令传送给所述UAS；和

至少部分地基于所述UAS数据和所述航路点来确定最快路线。

21.根据权利要求17所述的用于辅助无人机系统着陆在船只上的方法，其中，确定所述指令包括确定所述船只的漂移。

22.根据权利要求17所述的用于辅助无人机系统着陆在船只上的方法，其中，确定所述指令包括确定所述船只的起伏。

23.根据权利要求17所述的用于辅助无人机系统着陆在船只上的方法，其中，确定所述指令包括确定所述船只的摆动。