CN115167362A - 一种机载视觉计算装置和飞行器 - Google Patents

Abstract

本发明公开了一种机载视觉计算装置和飞行器。其中，该装置包括飞行器内部的底板模块、飞行器外部的飞控云台模块、外部通信模块以及外部机载相机模块；所述底板模块包括电源输入接插件、总线接插件、核心计算模组、第一以太网接插件以及第二以太网接插件。本发明实现了视觉计算与飞行器设备的有机集成，在保证视觉计算的运算能力的基础上，降低了整机设计难度，有效地提升了视觉计算模组的设计通用性和适配灵活性。

Description

一种机载视觉计算装置和飞行器

技术领域

本发明涉及无人驾驶航空器技术领域，尤其涉及一种机载视觉计算装置和飞行器。

背景技术

目前，航拍类飞行器利用航拍相机可实现视觉跟踪、图像识别等各种智能的视觉类功能。这些视觉类功能所依赖的视觉算法，对运算资源的需求较高。为了实现这些视觉类功能，目前已有多种解决方案：一是，部分飞行器设备商将视觉算法的运算任务安排在相机的处理芯片，此方案要求相机的处理芯片具有足够的运算资源，远超相机本身的处理需求；二是，部分飞行器设备商将相机获取的原始图像数据传输回地面的服务器，通过服务器执行视觉算法的运算任务，此方案可应用于实时性要求较低的任务场景，但受限于通信环境及图传带宽，无法应用于是实现要求较高的任务场景；三是，部分飞行器设备商在原有的模块构成上增加单独的处理芯片或FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)芯片，作为独立的视觉计算模块，以支持视觉类的运算任务，此方案开始被更多的设备商采用。

在增加独立的视觉计算模块的方案中，不同的设备商基于不同的应用场景及产品特点亦有不同的做法。例如，吊舱厂商在考虑到相机的编解码模块位于云台吊舱时，会选择将视觉计算模块集成在云台中，但是，此方案容易导致云台设计困难，反过来也在一定程度上制约了视觉计算平台的运算能力。

因此，如何将独立的视觉计算模块有机地集成于飞行器设备，在保证视觉计算模块的运算能力的基础上，提升视觉计算模块的通用性，成为亟待解决的技术问题。

发明内容

为了解决现有技术中的上述技术缺陷，本发明提出了一种机载视觉计算装置，该装置包括飞行器内部的底板模块、飞行器外部的飞控云台模块、外部通信模块以及外部机载相机模块；所述底板模块包括电源输入接插件、总线接插件、核心计算模组、第一以太网接插件以及第二以太网接插件；其中：

所述飞控云台模块通过所述电源输入接插件向所述底板模块提供电源；

所述飞控云台模块通过所述总线接插件向所述底板模块传输视觉计算控制数据，所述底板模块通过所述总线接插件向所述飞控云台模块传输视觉计算结果数据和反馈调整数据；

所述外部通信模块与所述底板模块之间通过所述第一以太网接插件传输处理图像数据；

所述外部机载相机模块与所述底板模块之间通过所述第二以太网接插件传输原始图像数据；

所述核心计算模组用于，根据所述原始图像数据计算得到所述视觉计算结果数据。

可选地，所述底板模块包括转换电路；

所述转换电路的第一端与所述总线接插件之间进行总线通信，所述接口转换电路的第二端与所述核心计算模组之间进行通用异步收发通信。

可选地，所述底板模块包括电源电路；

所述电源电路用于将所述电源输入插件所提供的电源电压转换为所述核心计算模组工作所需的电源电压。

可选地，所述底板模块包括多口物理层交换机；

所述多口物理层交换机的第一口与所述核心计算模组进行以太网通信；

所述多口物理层交换机的第二口、第三口分别与所述第一以太网接插件、所述第二以太网接插件进行以太网通信。

可选地，所述外部机载相机模块通过所述第二以太网接插件向所述多口物理层交换机的所述第三口传输所述原始图像数据；

所述多口物理层交换机通过所述第一口向所述核心计算模组传输所述原始图像数据。

可选地，所述核心计算模组根据预设的图像算法对所述原始图像数据进行处理、分析和理解，并识别预设模式的目标和对象，得到包含跟踪或识别结果的图传数据，作为所述处理图像数据；

所述核心计算模块通过所述第一口向所述多口物理层交换机传输所述处理图像数据。

可选地，所述多口物理层交换机通过所述第二口向所述第一以太网接插件传输所述处理图像数据；

所述外部通信模块接收所述第一以太网接插件传输的所述处理图像数据，并将所述处理图像数据返回至预设的地面站。

可选地，所述核心计算模组通过通用异步收发器将计算得到的所述视觉计算结果数据和所述反馈调整数据传输至所述第二端；

所述转换电路对所述视觉计算结果数据和所述反馈调整数据进行数据转换；

所述第一端通过控制器局域网将转换后的所述视觉计算结果数据和所述反馈调整数据传输至所述总线接插件。

可选地，所述总线接插件通过所述控制器局域网将转换后的所述视觉计算结果数据和所述反馈调整数据传输至所述飞控云台模块；

所述飞控云台模块接收并处理转换后的所述视觉计算结果数据和所述反馈调整数据。

本发明还提出了一种飞行器，该飞行器包括如上任一项所述的机载视觉计算装置。

实施本发明的机载视觉计算装置和飞行器，该装置包括飞行器内部的底板模块、飞行器外部的飞控云台模块、外部通信模块以及外部机载相机模块；所述底板模块包括电源输入接插件、总线接插件、核心计算模组、第一以太网接插件以及第二以太网接插件。本发明实现了视觉计算与飞行器设备的有机集成，在保证视觉计算的运算能力的基础上，降低了整机设计难度，有效地提升了视觉计算模组的设计通用性和适配灵活性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明机载视觉计算装置第一实施例的模块框图；

图2是本发明机载视觉计算装置第二实施例的模块框图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

实施例一

图1是本发明机载视觉计算装置第一实施例的模块框图。本实施例提出了一种机载视觉计算装置，该装置包括飞行器内部的底板模块10、飞行器外部的飞控云台模块20、外部通信模块30以及外部机载相机模块40；所述底板模块10包括电源输入接插件11、总线接插件12、核心计算模组13、第一以太网接插件14以及第二以太网接插件15。

在本实施例中，飞控云台模块20通过电源输入接插件11向底板模块10提供电源。

在本实施例中，飞控云台模块20通过总线接插件12向底板模块传输视觉计算控制数据，底板模块10通过总线接插件12向飞控云台模块20传输视觉计算结果数据和反馈调整数据。

在本实施例中，外部通信模块30与底板模块10之间通过第一以太网接插件14传输处理图像数据。

在本实施例中，外部机载相机模块40与底板模块10之间通过第二以太网接插件15传输原始图像数据。

在本实施例中，核心计算模组13用于，根据原始图像数据计算得到视觉计算结果数据。

在本实施例中，在飞行器内部设置核心计算模组13，相较于设置在外部的机载飞控或者机载云台，一方面，不会对核心计算模组的计算能力造成制约，另一方面，也不会提升机载飞控或者机载云台的设计难度。

在本实施例中，飞行器外部的飞控云台20通过电源输入接插件11向飞行器内部的底板模块10供电，无需在飞行器内部设置额外的电源模块，以此提升飞行器的设计灵活性和模块通用性。

在本实施例中，飞行器外部的飞控云台20通过总线接插件12与飞行器内部的底板模块10之间通过CAN(Controller Area Network，控制器局域网)进行通信，在核心计算模组13计算得到传输视觉计算结果数据和反馈调整数据时，可以实时地由飞行器内部的底板模块10传输至飞行器外部的飞控云台20，以此满足视觉运算的实时性需求。

在本实施例中，飞行器外部的外部通信模块30通过第一以太网接插件14与飞行器内部的底板模块10之间进行以太网通信。本实施例考虑到外部通信模块30是将核心计算模组13计算得到的包含跟踪或识别结果的图传返回至预设的地面站，此类数据的数据量较大、且实时性需求并不高，因此，采用以太网的传输方式，提升了外部通信模块30的传输带宽和传输效率。

在本实施例中，飞行器外部的外部机载相机模块40通过第二以太网接插件15与飞行器内部的底板模块10之间同样是进行以太网通信。本实施例考虑到外部机载相机模块40是向核心计算模组13提供计算所需的原始图像数据，此类数据的数据量较大、数据类型较多，因此，采用以太网的传输方式，在满足传输带宽和传输效率的基础之上，提升了外部机载相机模块40的设计灵活性、适配的便捷性。

本实施例的有益效果在于，通过提出一种机载视觉计算装置，该装置包括飞行器内部的底板模块、飞行器外部的飞控云台模块、外部通信模块以及外部机载相机模块；所述底板模块包括电源输入接插件、总线接插件、核心计算模组、第一以太网接插件以及第二以太网接插件。本实施例实现了视觉计算与飞行器设备的有机集成，在保证视觉计算的运算能力的基础上，降低了整机设计难度，有效地提升了视觉计算模组的设计通用性和适配灵活性。

实施例二

图2是本发明机载视觉计算装置第二实施例的模块框图。基于上述实施例，在本实施例中，底板模块10包括转换电路16。该转换电路16的第一端与总线接插件12之间进行总线通信，接口转换电路16的第二端与核心计算模组13之间进行UART(UniversalAsynchronous Receiver/Transmitter，通用异步收发器)通信。可选地，本实施例的转换电路16是将总线接插件12端的CAN数据转换为核心计算模组13端的UART数据，以及将核心计算模组13端的UART数据转换为总线接插件12端的CAN数据，因此，该转换电路16可以由实现相同转换功能的MCU(Microcontroller Unit，微控制单元)替代。

请参考图2，在本实施例中，底板模块10包括电源电路17。电源电路17用于将所述电源输入插件11所提供的电源电压转换为所述核心计算模组13工作所需的电源电压。例如，电源输入接插件11向飞行器内部的底板模块10提供的电源电压是12V，若核心计算模组工作所需的电源电压是5V，则由电源电路17将上述12V的电源电压转换为5V的电源电压。

请参考图2，在本实施例中，底板模块10包括多口物理层交换机18。该多口物理层交换机18为三口百兆交换机，其中，该多口物理层交换机18的第一口与核心计算模组13进行以太网通信，该多口物理层交换机18的第二口、第三口分别与第一以太网接插件14、第二以太网接插件15进行以太网通信。由此，使得核心计算模组自身的一个以太网口增加为两个，提升了核心计算模组的功能适用性和设计灵活性。

请参考图2，在本实施例中，外部机载相机模块40通过所述第二以太网接插件15向所述多口物理层交换机18的第三口传输原始图像数据。可选地，外部机载相机模块40包括一个或多个挂载的相机，各个相机的原始图像数据在通过相机的处理芯片经初步的整合、或拼接处理后，通过所述第二以太网接插件15向所述多口物理层交换机18的第三口传输经初步处理后的原始图像数据。在本实施例中，多口物理层交换机18通过第一口向核心计算模组13传输原始图像数据。

请参考图2，在本实施例中，核心计算模组13针对航拍的原始图像数据，运行预设的视觉跟踪、识别或其他视觉类算法，即根据这类预设的图像算法对所述原始图像数据进行处理、分析和理解，并识别预设模式的目标和对象，得到包含跟踪或识别结果的图传数据，作为所述处理图像数据。该核心计算模块13通过第一口向多口物理层交换机18传输计算得到的处理图像数据。可选地，核心计算模组13选用英伟达的通用平台jetson nano模块，或者，选用其它具有相同产品类型的nano核心板。

请参考图2，在本实施例中，多口物理层交换机18通过第二口向第一以太网接插件14传输处理图像数据；外部通信模块30接收第一以太网接插件14传输的处理图像数据后，将该处理图像数据返回至预设的地面站。可选地，外部通信模块30具有多个通信模块，分别用于以不同的无线通信方式向同一地面站发送相应类型的处理图像数据，或者，分别用于以不同的无线通信方式向对应的多个地面站发送处理图像数据。可选地，外部通信模块30所设置的通信模块还用于接收地面站所发送的飞控云台的相关数据，并将该相关数据转发至飞控云台，该相关数据包括飞控云台的版本升级数据、系统维护数据等。

请参考图2，在本实施例中，核心计算模组13通过通用异步收发器将计算得到的视觉计算结果数据和反馈调整数据传输至所述第二端；转换电路16对该视觉计算结果数据和反馈调整数据进行数据转换；在完成数据转换后，第一端通过控制器局域网将转换后的视觉计算结果数据和反馈调整数据传输至总线接插件12。

请参考图2，在本实施例中，总线接插件12通过控制器局域网将转换后的视觉计算结果数据和反馈调整数据传输至飞控云台模块20。飞控云台模块20接收并处理转换后的视觉计算结果数据和反馈调整数据。可选地，飞控云台模块20针对视觉计算结果数据和反馈调整数据生成算法配置、算法调整或者算法更新指令，并依次通过总线接插件12、转换电路16传输至核心计算模组13，以使核心计算模组13能够根据反馈对算法进行适时地配置、调整或更新。

实施例三

本发明还提出了一种飞行器，该飞行器包括如上任一项所述的机载视觉计算装置。

需要说明的是，上述飞行器实施例与上述装置实施例属于同一构思，其具体实现过程详细见装置实施例，且装置实施例中的技术特征在飞行器实施例中均对应适用，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种机载视觉计算装置，其特征在于，所述装置包括飞行器内部的底板模块、飞行器外部的飞控云台模块、外部通信模块以及外部机载相机模块；所述底板模块包括电源输入接插件、总线接插件、核心计算模组、第一以太网接插件以及第二以太网接插件；其中：

所述飞控云台模块通过所述电源输入接插件向所述底板模块提供电源；

所述飞控云台模块通过所述总线接插件向所述底板模块传输视觉计算控制数据，所述底板模块通过所述总线接插件向所述飞控云台模块传输视觉计算结果数据和反馈调整数据；

所述外部通信模块与所述底板模块之间通过所述第一以太网接插件传输处理图像数据；

所述外部机载相机模块与所述底板模块之间通过所述第二以太网接插件传输原始图像数据；

所述核心计算模组用于，根据所述原始图像数据计算得到所述视觉计算结果数据。

2.根据权利要求1所述的机载视觉计算装置，其特征在于，所述底板模块包括转换电路；

所述转换电路的第一端与所述总线接插件之间进行总线通信，所述接口转换电路的第二端与所述核心计算模组之间进行通用异步收发通信。

3.根据权利要求1所述的机载视觉计算装置，其特征在于，所述底板模块包括电源电路；

所述电源电路用于将所述电源输入插件所提供的电源电压转换为所述核心计算模组工作所需的电源电压。

4.根据权利要求1所述的机载视觉计算装置，其特征在于，所述底板模块包括多口物理层交换机；

所述多口物理层交换机的第一口与所述核心计算模组进行以太网通信；

所述多口物理层交换机的第二口、第三口分别与所述第一以太网接插件、所述第二以太网接插件进行以太网通信。

5.根据权利要求4所述的机载视觉计算装置，其特征在于，所述外部机载相机模块通过所述第二以太网接插件向所述多口物理层交换机的所述第三口传输所述原始图像数据；

所述多口物理层交换机通过所述第一口向所述核心计算模组传输所述原始图像数据。

6.根据权利要求4所述的机载视觉计算装置，其特征在于，所述核心计算模组根据预设的图像算法对所述原始图像数据进行处理、分析和理解，并识别预设模式的目标和对象，得到包含跟踪或识别结果的图传数据，作为所述处理图像数据；

所述核心计算模块通过所述第一口向所述多口物理层交换机传输所述处理图像数据。

7.根据权利要求4所述的机载视觉计算装置，其特征在于，所述多口物理层交换机通过所述第二口向所述第一以太网接插件传输所述处理图像数据；

所述外部通信模块接收所述第一以太网接插件传输的所述处理图像数据，并将所述处理图像数据返回至预设的地面站。

8.根据权利要求2所述的机载视觉计算装置，其特征在于，所述核心计算模组通过通用异步收发器将计算得到的所述视觉计算结果数据和所述反馈调整数据传输至所述第二端；

所述转换电路对所述视觉计算结果数据和所述反馈调整数据进行数据转换；

所述第一端通过控制器局域网将转换后的所述视觉计算结果数据和所述反馈调整数据传输至所述总线接插件。

9.根据权利要求8所述的机载视觉计算装置，其特征在于，所述总线接插件通过所述控制器局域网将转换后的所述视觉计算结果数据和所述反馈调整数据传输至所述飞控云台模块；

所述飞控云台模块接收并处理转换后的所述视觉计算结果数据和所述反馈调整数据。

10.一种飞行器，其特征在于，所述飞行器包括如权利要求1至9中任一项所述的机载视觉计算装置。

Images