CN110113569A - 无人机云台及其视频流处理方法 - Google Patents

Abstract

本发明公开了一种无人机云台及其视频流处理方法，无人机云台包括：视频采集模块、时空信息采集模块、信息处理模块；时空信息采集模块包括GNSS接收机、三轴加速度计、三轴陀螺仪、三轴磁力计、处理器。云台还包括方位调节模块和俯仰调节模块。视频流处理方法有如下步骤：采集视频数据；采集与视频数据相对应的时空信息；将时空信息与视频数据相融合，输出具有时空地理编码的视频流。本发明直接在无人机云台上实现时空信息与视频流信息的采集、融合、输出，视频与时空数据传输不受传输链路的影响，无需长距离传输数据。在对无人机云台的转动进行控制的同时，实现视频流信息与时空信息实时地理编码。因而视频数据与时空数据的同步性更好，精度更高。

Description

无人机云台及其视频流处理方法

技术领域

本发明涉及一种无人机云台及其视频流处理方法，属于无人机技术领域。

背景技术

近年来，随着无人机遥感技术快速发展，凭借高分辨率、机动灵活、可云下作业等特点，在国土、应急、海洋等领域广泛应用，逐渐形成了与卫星、有人机相互补充的我国对地观测技术体系。

我国是一个自然灾害多发的国家，每年因地震、洪水等自然灾害造成重大经济与人员损失。灾害发生以后，如何在第一时间获得灾区的监测数据，成为应急救援过程中一个重要问题。

应急测绘作为灾情获取的主要技术手段，能够为国家应对突发自然灾害、社会安全事件等突发公共事件高效有序地提供地图、基础地理信息数据、公共地理信息服务平台等测绘成果，是贯穿突发事件的预防、应对、处置和恢复全过程中的重要基础工作。

由于视频传感器采集的数据为流媒体，具有实时传输的特性，因此面向应急等快速响应需求的视频测绘技术成为研究热点。然而，现有的视频传感器多采用云台或光电吊舱的形式与无人机系统集成，但无论云台还是光电吊舱仅能够控制视频传感器在水平和垂直方向移动，不能够采集视频传感器获取数据的时空信息，且不能够实现机上时空信息与视频流同步编码。

易瓦特科技股份公司于2016年发明公开了一种光电吊舱，属于无人机技术领域，所述光电吊舱包括：旋转主体转动地固定于外界装载设备上，且所述旋转主体内固定有用于进行信息采集的摄像装置；第一驱动件，固定于旋转主体上，并与所述摄像装置活动连接。本发明通过将光电吊舱配备在外界装载设备(如航空器)上，实现了在不影响航空器的飞行状态和飞行效率的前提下，完成水平方向和竖直方向上的图像、视频信息的多角度采集，具有结构简单、适用性广的特点。

北京卓翼智能科技有限公司发明提供一种用于系留无人机的两轴光电吊舱，所述两轴光电吊舱能够通过其顶部的吊舱安装座组件紧固至所述系留无人机，所述两轴光电吊舱包括：方位调节部件，俯仰调节部件，以及位于所述方位调节部件和所述俯仰调节部件之间并连接所述方位调节部件和所述俯仰调节部件的方位框架；所述方位调节部件位于所述两轴光电吊舱的上部并可旋转地连接至所述吊舱安装座组件，所述方位调节部件能够相对于所述吊舱安装座组件在水平方向上进行360°旋转；所述俯仰调节部件位于所述两轴光电吊舱的下部，并能够相对于所述方位调节部件在俯仰方向上进行一定角度的旋转。

昊翔电能运动科技(昆山)有限公司公开了一种云台及无人机，该云台包含：外壳、轴承组件、马达、相机镜头组件，轴承组件、马达、相机镜头组件直接固定安装在所述外壳的表面上，内部不需要设置固定支架。本实用新型的优点是安装和拆卸方便、云台体积小、结构简单、易于制造，制造成本低。

中测新图(北京)遥感技术有限责任公司提供了基于地理编码的无人机视频影像实时显示的方法及装置，该方法包括：通过设置在无人机上的视频摄像装置获取待观测现场的现场视频信息，并通过GPS接收器获取待观测现场的地理信息后，先对获取的现场视频信息和地理信息进行时间同步操作；按照预设时间间隔自动对同步后的现场视频信息进行关键帧提取；然后，基于共线方程的地理编码方式对提取到的关键帧进行地理编码；再在三维显示平台上逐帧播放地理编码后的关键帧影像。本发明实施例通过基于共线方程的方式对提取到的关键帧进行地理编码，并将地理编码后的关键帧在三维显示平台上实时逐帧动态展示，便于观察者实时了解某一具体地理位置的实际现场情况。

现有技术中的无人机，大多未集成GNSS信号采集设备，无法获得载体的绝对位置，视频和时空信息采集装置均独立工作，视频流不具备时空信息，不能用于实时地理编码，无法满足应急情况下对实时地理信息数据的需求。且当前的地理信息时空编码技术，须先将无人机或者吊舱采集的时空数据和视频流数据通过图传设备传输至地面，然后通过地面计算机终端进行时空数据与视频流数据同步控制以及编码融合。但在数据传输过程中，时空数据和视频流数据独立传输，传输过程中易受传输链路的影响，时间同步性差。难以实现时空数据与视频流实时高精度融合，无法保障测绘产品精度。另外，采用电脑进行时间同步和数据融合的方式，受设备的重量、体积、功耗等因素影响，难以安置在轻小型无人机飞行平台上。面向应急测绘视频流实时处理的要求，急需要发明一种直接实现视频流与时空数据融合并进行地理编码的无人机。

发明内容

本发明的目的在于克服现有技术中视频数据与时空数据需要远距离传输编码、同步性差的不足，提供一种无人机云台及其视频流处理方法，技术方案如下：

一种无人机云台，包括：

视频采集模块：用于采集视频数据；

时空信息采集模块：用于采集与视频数据相对应的时空信息；

信息处理模块：用于将时空信息与视频数据相融合，输出具有时空地理编码的视频流。

进一步地，时空信息采集模块包括：

GNSS接收机：用于接收全球导航卫星系统输出的与视频数据相对应的地理位置信息；

三轴加速度计：用于检测云台的加速度；

三轴陀螺仪：用于检测云台的运动方向及角速度；

三轴磁力计：用于检测云台所处环境的磁场强度和磁场方向，获取云台的方位信息；

处理器：用于接收并处理GNSS接收机、三轴加速度计、三轴陀螺仪、三轴磁力计输出的信息，生成时空信息。

进一步地，云台还包括：

方位调节模块：用于调节视频采集模块的方位角；

俯仰调节模块：用于调节视频采集模块的俯仰角。

进一步地，三轴陀螺仪包括：方位轴陀螺仪及俯仰轴陀螺仪；

方位调节模块包括方位轴电机及方位轴编码器，处理器根据方位轴编码器所采集的视频采集模块的方位角、方位轴陀螺仪所检测的视频采集模块的方位轴方向角速度，输出方位调节指令，方位轴电机根据方位调节指令调节视频采集模块的方位角；

俯仰调节模块包括俯仰轴电机及俯仰轴编码器，处理器根据俯仰轴编码器所采集的视频采集模块的俯仰角、俯仰轴陀螺仪所检测的视频采集模块的俯仰轴方向角速度，输出俯仰调节指令，俯仰轴电机根据俯仰调节指令调节视频采集模块的俯仰角。

进一步地，方位轴电机和/或俯仰轴电机采用直流力矩电机。

优选地，处理器采用STM32处理器，信息处理模块采用ARM CORTEX A9。

进一步地，视频采集模块包括摄像头。

一种无人机云台的视频流处理方法，包括如下步骤：

采集视频数据；

采集与视频数据相对应的时空信息；

将时空信息与视频数据相融合，输出具有时空地理编码的视频流。

进一步地，将时空信息与视频数据相融合的方法包括如下步骤：

步骤1：单片机与GNSS接收机的PPS信号进行视频流与时空数据的精确时间同步；

步骤2：处理器对视频流与时空数据进行融合编码，将时空数据写入视频流的头文件；

步骤3：融合后的数据传输至地面。

与现有技术相比，本发明所达到的有益效果：

本发明直接在无人机云台上实现时空信息与视频流信息的采集、融合、输出，视频与时空数据传输不受传输链路的影响，无需长距离传输数据。在对无人机云台的转动进行控制的同时，实现视频流信息与时空信息实时地理编码。因而视频数据与时空数据的同步性更好，精度更高。

附图说明

图1是本发明无人机云台的系统结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

无人机云台，包括视频采集模块，用于采集视频数据；

时空信息采集模块：用于采集与视频数据相对应的时空信息；

信息处理模块：用于将时空信息与视频数据相融合，输出具有时空地理编码的视频流。

具体地，时空信息采集模块包括：

GNSS接收机：用于接收全球导航卫星系统输出的与视频数据相对应的地理位置信息；

三轴加速度计：用于检测云台的加速度；

三轴陀螺仪：用于检测云台的运动方向及角速度；

三轴磁力计：用于检测云台所处环境的磁场强度和磁场方向，获取云台的方位信息；

处理器：用于接收并处理GNSS接收机、三轴加速度计、三轴陀螺仪、三轴磁力计输出的信息，生成时空信息。

具体地，云台还包括：

方位调节模块：用于调节视频采集模块的方位角；

俯仰调节模块：用于调节视频采集模块的俯仰角。

具体地，三轴陀螺仪包括：方位轴陀螺仪及俯仰轴陀螺仪；

方位调节模块包括方位轴电机及方位轴编码器，处理器根据方位轴编码器所采集的视频采集模块的方位角、方位轴陀螺仪所检测的视频采集模块的方位轴方向角速度，输出方位调节指令，方位轴电机根据方位调节指令调节视频采集模块的方位角；

俯仰调节模块包括俯仰轴电机及俯仰轴编码器，处理器根据俯仰轴编码器所采集的视频采集模块的俯仰角、俯仰轴陀螺仪所检测的视频采集模块的俯仰轴方向角速度，输出俯仰调节指令，俯仰轴电机根据俯仰调节指令调节视频采集模块的俯仰角。

具体地，方位轴电机和/或俯仰轴电机采用直流力矩电机。

具体地，处理器采用STM32处理器，信息处理模块采用ARM CORTEX A9。在具体实施时，会将STM32处理器、ARM CORTEX A9连同其他功能性（A/D转换器，Watchdog、寄存器、通讯接口等）的结构集成在一个PCB板或者与单片机的芯片或硬件接口连接。

STM32处理器对无人机云台转动情况反馈信息（俯仰角、俯仰轴方向角速度、方位角、方位轴方向角速度）进行采集，并基于反馈信息，发出遥控指令，进而控制无人机云台的转动（俯仰角、方位角）。STM32处理器还计算出视频采集模块采集的视频流信息当前时刻所处的空间位置和姿态，姿态即俯仰、横滚、航向，通过GNSS和加速度、陀螺仪、磁力计联合解算获得时空信息结果。

ARM CORTEX A9能够接收STM32处理器的时空信息结果，以及视频采集模块采集的视频流数据，将视频流与时空信息融合，最后输出具有时空地理编码的视频流数据，实现视频流信息的机上实时地理编码。

具体地，视频采集模块包括摄像头。视频采集模块也可以是视频传感器。

一种无人机云台的视频流处理方法，包括如下步骤：

采集视频数据；

采集与视频数据相对应的时空信息；

将时空信息与视频数据相融合，输出具有时空地理编码的视频流。

具体地，将时空信息与视频数据相融合的方法包括如下步骤：

步骤1：单片机与GNSS接收机的PPS信号进行视频流与时空数据的精确时间同步；

步骤2：处理器对视频流与时空数据进行融合编码，将时空数据写入视频流的头文件；

步骤3：融合后的数据传输至地面。

本发明直接在无人机云台上实现时空信息与视频流信息的采集、融合、输出，视频与时空数据传输不受传输链路的影响，无需长距离传输数据。在对无人机云台的转动进行控制的同时，实现视频流信息与时空信息实时地理编码。因而视频数据与时空数据的同步性更好，精度更高。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种无人机云台，其特征在于，包括：

视频采集模块：用于采集视频数据；

时空信息采集模块：用于采集与所述视频数据相对应的时空信息；

信息处理模块：用于将所述时空信息与视频数据相融合，输出具有时空地理编码的视频流。

2.根据权利要求1所述的无人机云台，其特征在于，所述时空信息采集模块包括：

GNSS接收机：用于接收全球导航卫星系统输出的与所述视频数据相对应的地理位置信息；

三轴加速度计：用于检测所述云台的加速度；

三轴陀螺仪：用于检测所述云台的运动方向及角速度；

三轴磁力计：用于检测所述云台所处环境的磁场强度和磁场方向，获取所述云台的方位信息；

处理器：用于接收并处理所述GNSS接收机、三轴加速度计、三轴陀螺仪、三轴磁力计输出的信息，生成所述时空信息。

3.根据权利要求2所述的无人机云台，其特征在于，所述云台还包括：

方位调节模块：用于调节所述视频采集模块的方位角；

俯仰调节模块：用于调节所述视频采集模块的俯仰角。

4.根据权利要求3所述的无人机云台，其特征在于，所述三轴陀螺仪包括：方位轴陀螺仪及俯仰轴陀螺仪；

所述方位调节模块包括方位轴电机及方位轴编码器，所述处理器根据方位轴编码器所采集的视频采集模块的方位角、方位轴陀螺仪所检测的视频采集模块的方位轴方向角速度，输出方位调节指令，所述方位轴电机根据方位调节指令调节视频采集模块的方位角；

所述俯仰调节模块包括俯仰轴电机及俯仰轴编码器，所述处理器根据俯仰轴编码器所采集的视频采集模块的俯仰角、俯仰轴陀螺仪所检测的视频采集模块的俯仰轴方向角速度，输出俯仰调节指令，所述俯仰轴电机根据俯仰调节指令调节视频采集模块的俯仰角。

5.根据权利要求4所述的无人机云台，其特征在于，所述方位轴电机和/或俯仰轴电机采用直流力矩电机。

6. 根据权利要求2至5任一项所述无人机云台，其特征在于，所述处理器采用STM32处理器，所述信息处理模块采用ARM CORTEX A9。

7.根据权利要求6所述无人机云台，其特征在于，所述视频采集模块包括摄像头。

8.一种无人机云台的视频流处理方法，其特征在于，所述方法包括如下步骤：

采集视频数据；

采集与所述视频数据相对应的时空信息；

将所述时空信息与所述视频数据相融合，输出具有时空地理编码的视频流。

9.根据权利要求8所述的无人机云台的视频流处理方法，其特征在于，将所述时空信息与所述视频数据相融合的方法包括如下步骤：

步骤1：所述单片机与所述GNSS接收机的PPS信号进行视频流与时空数据的精确时间同步；

步骤2：所述处理器对视频流与时空数据进行融合编码，将时空数据写入所述视频流的头文件；

步骤3：融合后的数据传输至地面。