CN108259736A - 云台增稳系统及云台增稳方法 - Google Patents

Abstract

本发明涉及飞行器领域，公开了一种云台增稳系统，设置在云台中，包括：机械增稳装置和电子增稳装置；机械增稳装置和电子增稳装置与同一组振动传感器电连接，该组振动传感器固定在云台中；机械增稳装置，用于根据振动传感器的输出信号，通过电子控制的机械结构控制云台进行与检测到的振动方向相反的机械运动来抵消云台的抖动，以实现机械增稳；机械增稳装置将机械增稳后的抖动残留数据输出到电子增稳装置；电子增稳装置，用于根据抖动残留数据和振动传感器的输出信号，通过对云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳。仅仅需要将图像画面裁剪几十分之一的像素，就达到画面非常稳定的效果。

Description

云台增稳系统及云台增稳方法

技术领域

本发明涉及飞行器领域，特别涉及云台增稳技术。

背景技术

随着无人机的的应用越来越广泛，以及运动拍摄的普及，人们对图像增稳技术要求越来越高。由于无人机一般处于运动状态，因此，拍摄输出的图像序列会存在随机抖动，为了消除图像的抖动，出现了增稳技术。

目前，主流的增稳技术分为机械式增稳和电子式增稳。

机械增稳技术是利用减震平台或机械云台被动地抵消各种抖动，从物理结构上实现对抖动的过滤，其优势在于能够较好的抵消大部分抖动，具有优秀的稳像效果。机械增稳的主要实现方式是三轴增稳云台，通过控制器控制三个马达的运动来抵消载体的晃动。如何减小轴与轴之间的阻力，如何保持小型马达的力矩产生效率等问题制约了三轴增稳云台的稳定度提高。尤其是在云台小型化的过程中，增稳后的画面依然有较多的抖动，不能完全达到用户的预期。电子式增稳是通过应用数字图像处理技术来对图像帧进行变换从而达到稳像的目的。

电子增稳的主要实现方式是EIS(电子信息系统，Electronic InformationSystem)，这种方式可以看作一种电子校验补偿的方式，它只是截取CCD(电荷耦合器件图像传感器，Charge Couple Device)有效面积的一部分(2/3左右)进行采样，而将可视区域的边缘部分作为对由于抖动而产生的图像越界作为补偿，并最终处理出一个能够为人所接受的图像。

本发明的发明人发现，在同一个云台中，将机械增稳技术与电子增稳技术结合在一起使用，形成两级增稳，增稳效果非常好。

发明内容

本发明的目的在于提供一种云台增稳系统及云台增稳方法，仅仅需要将图像画面裁剪几十分之一的像素，就达到画面非常稳定的效果。

为解决上述技术问题，本发明的实施方式公开了一种云台增稳系统，设置在云台中，包括：机械增稳装置和电子增稳装置；

机械增稳装置和电子增稳装置与同一组振动传感器电连接，该组振动传感器固定在云台中；

机械增稳装置，用于根据振动传感器的输出信号，通过电子控制的机械结构控制云台进行与检测到的振动方向相反的机械运动来抵消云台的抖动，以实现机械增稳；

机械增稳装置将机械增稳后的抖动残留数据输出到电子增稳装置；

电子增稳装置，用于根据抖动残留数据和振动传感器的输出信号，通过对云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳。

本发明的实施方式还公开了一种云台增稳方法，包括以下步骤：

根据固定在云台中的振动传感器的输出信号，通过电子控制的机械结构控制云台进行与检测到的振动方向相反的机械运动来抵消云台的抖动，以实现机械增稳；

获取机械增稳后的抖动残留数据；

根据抖动残留数据和振动传感器的输出信号，通过对云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在同一个云台中，将机械增稳技术与电子增稳技术结合使用，形成两级增稳。机械增稳装置作为第一级增稳，将大部分的高频抖动以及大幅抖动消除；电子增稳装置作为第二级增稳，将机械增稳后残留的低频低幅抖动进行增稳。这样仅仅需要将图像画面裁剪几十分之一的像素，就达到画面非常稳定的效果。

进一步地，将机械增稳和电子增稳结合在一起使用，形成两级增稳，克服了机械增稳受阻力/机械延迟等因素导致的抖动残余问题，同时也解决了电子增稳难以因对高频高幅度的抖动，增稳后会造成视频图像损失大量像素的问题。

进一步地，对于像素为4000×2000的图像，现有技术中单独使用机械增稳或电子增稳，增稳后的像素大约为2000×1000；而使用本发明所公开的两级增稳技术，增稳后的像素大约为3800×1900，像素损失量非常小，保留了绝大部分的原图像画面。

进一步地，机械增稳的主要实现方式是三轴增稳云台，通过控制器控制三个伺服电机的运动来抵消云台的晃动，从物理结构上实现对晃动的过滤。

附图说明

图1是本发明第一实施方式中一种云台增稳系统的结构示意图；

图2是本发明第二实施方式中一种云台增稳方法的流程示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种云台增稳系统。图1是该云台增稳系统的结构示意图。

该云台增稳系统设置在云台中。

云台是安装、固定负载设备的支撑设备。

在一些实施例中，负载设备包括成像设备(包括但不限于摄像机或照相机)和非成像设备(包括但不限于麦克风、粒子探测器或采样器)。

在一些实施例中，所述增稳云台可适于安装或连接到一可移动物体，如机动和非机动车辆或船只、机器人、人体或动物体等类似物。例如，所述增稳云台可通过一安装基座安装到一载人或无人飞行器(Unmanned Aerial Vehicle，简称“UAV”)上。

具体地说，如图1所示，该云台增稳系统包括：机械增稳装置和电子增稳装置。

机械增稳装置和电子增稳装置与同一组振动传感器电连接，该组振动传感器固定在云台中。

该组振动传感器同时向机械增稳装置和电子增稳装置发送代表振动的电信号。

机械增稳装置，用于根据振动传感器的输出信号，通过电子控制的机械结构控制云台进行与检测到的振动方向相反的机械运动来抵消云台的抖动，以实现机械增稳。

机械增稳装置将机械增稳后的抖动残留数据输出到电子增稳装置。

电子增稳装置，用于根据抖动残留数据和振动传感器的输出信号，通过对云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳。

将机械增稳和电子增稳结合在一起使用，形成两级增稳，克服了机械增稳受阻力/机械延迟等因素导致的抖动残余问题，同时也解决了电子增稳难以因对高频高幅度的抖动，增稳后会造成视频图像损失大量像素的问题。

在本实施方式中，优选地，云台上安装固定有一个摄像机。

需要说明的是，在本发明的各实施方式中，振动传感器为一个或多个惯性传感器。

惯性传感器，也成为惯性测量单元(Inertial Measurement Unit，简称“IMU”)，是测量物体三轴姿态角(或角速率)以及加速度的装置。陀螺仪、速度传感器、加速度计及磁力计等是IMU的主要元件。

在本实施方式中，优选地，惯性传感器包括三轴陀螺仪和三轴加速度传感器。

当然，在本发明的其他某些实施方式中，惯性传感器也可以包括其他的装置，并不以此为限。

在本发明的一些实施例中，振动传感器安装在机械增稳装置中。

在本发明的另一些实施例中，振动传感器安装在电子增稳装置中。

需要说明的是，在现有技术中，机械增稳装置和电子增稳装置中通常都内置有振动传感器。

在本实施方式中，机械增稳装置和电子增稳装置共用的振动传感器可以是安装机械增稳装置中的，也可以是安装在电子增稳装置中，还可以是单独位于云台中的。

在本实施方式中，优选地，

机械增稳装置包括控制器和三个伺服电机，该控制器用于根据振动传感器的输出信号，通过控制三个伺服电机在三个相互垂直的方向的旋转，控制云台进行与检测到的振动方向相反的机械运动来抵消云台的抖动，以实现机械增稳。

机械增稳的主要实现方式是三轴增稳云台，通过控制器控制三个伺服电机的运动来抵消云台的晃动，从物理结构上实现对晃动的过滤。

机械增稳装置通过三轴增稳云台实现，通过控制器控制三个马达的运动抵消云台的抖动，实现对云台相互垂直的X轴、Y轴和Z轴三个轴向的控制，达到理想中的平衡，在飞行拍摄中起到平稳的作用。

目前，三轴增稳云台技术是无人机上常用技术，如何减小轴与轴之间的阻力，如何保持小型马达的力矩产生效率等问题制约了三轴增稳云台的稳定度提高。尤其是在云台小型化的过程中，增稳后的画面依然有较多的抖动，因此，现有技术中单独使用三轴增稳技术，不能完全达到用户的预期。在发明中，将三轴增稳云台与电子增稳装置结合使用，能够输出达到用户预期的图像。

电子增稳，是通过电子稳像技术来实现视频图像的稳定，通过图像处理算法来消除图像的各种抖动。电子增稳具有易于操作、更精确、更灵活、体积小以及价格低、能耗小等特点，同时由于大规模集成电路技术的不断提高，又便于实现设备的小型化。电子稳像技术是综合电子，计算机，数字信号处理等技术为一体的新一代实现图像序列稳定的技术。

电子增稳算法主要包括以下三个步骤：1)抖动估计，估计出当前帧与前一帧间的运动参数，得到全局运动参数；2)抖动滤波，对全局运动参数进行滤波，得出有意运动矢量和无意随机运动矢量；3)抖动补偿，利用滤波得到的补偿参数对视频图像序列进行逐帧补偿。

依据抖动估计方式的不同，电子增稳算法还可以进一步细分为纯图像电子增稳方法和基于陀螺的电子增稳方法。

纯图像电子增稳方法仅利用图像自身特征信息来估计像机的抖动量，虽然具有无需其他任何额外设备的优点，但正因为其仅利用图像自身特征来估计运动，所以一方面对图像成像有要求，即图像要具备丰富的特征信息，例如对于天空或者大海等单一背景则会失效；另一方面由于时刻需要对图像进行大量的特征提取、特征匹配等工作，所以计算复杂，能耗较高，而对于云台来说一般对功率要求较高。

基于陀螺的电子增稳方法则利用陀螺传感器来估计像机抖动量，该种电子增稳方法更适用于云台的数字图像采集任务。

在发明的电子增稳装置中，也是利用了基于基于陀螺的电子增稳方法。

常见的电子稳像方法有：块匹配法、灰度投影法和特征匹配法。

块匹配法是最常见的运动矢量估计方法，通过合适的搜索路径，快速准确搜索最佳匹配块得到运动矢量。

灰度投影法图像处理速度较快，但对所处理图像的质量要求较高，这主要是因为如果所处理图像质量较低，则灰度投影曲线变化不明显，难以精确的求出运动矢量。

特征匹配法是选取图像中的典型特征，如边缘、轮廓和角点等特征，通过特征匹配来进行运动估计。其中的关键技术是如何提取特征和匹配正确的特征。由于该方法较好的接近人类的视觉特性并且大量使用图像的有用信息，能提供较好的稳像结果。

在本实施方式中，优选地，电子增稳装置包括：

抖动估计模块，用于估计出摄像头拍摄的图像的当前帧与前一帧间的运动参数，得到全局运动参数。

抖动滤波模块，用于对全局运动参数进行滤波，得出有意运动矢量和无意随机运动矢量。

卡尔曼滤波模块，用于根据抖动残留数据对有意运动矢量和无意随机运动矢量进行卡尔曼滤波，得到补偿参数。

抖动补偿模块，利用补偿参数对摄像头拍摄的图像序列进行逐帧补偿。

进一步地，优选地，抖动补偿模块还包括：裁剪子模块，用于根据所述补偿参数对所述摄像头拍摄的图像序列进行逐帧裁剪。

该裁剪子模块，根据云台的抖动幅度和抖动方向，对每帧图像的边缘区域进行裁剪，以便获得更高质量的图像。例如，如果云台的抖动幅度为5％的话，根据经验，利用该裁剪子模块在抖动方向的图像边缘裁剪掉图像的10％，剩余图像的稳定性就非常理想。

也就是说，在经过机械增稳和电子增稳两级增稳后，云台的摄像头拍摄的图像仅仅需要裁剪掉10％左右，就可以达到理想的效果，保留了绝大部分的原图像画面。而现有技术中，通常需要裁剪掉50％左右，像素损失量非常大。

在本实施方式中，优选地，云台安装在无人机上。

更进一步地，优选地，该无人机包括四个旋翼，两个起落架，并且还可以为可折叠式无人机。

综上所述，在本发明中，在同一个云台中，将机械增稳技术与电子增稳技术结合使用，形成两级增稳。机械增稳装置作为第一级增稳，将大部分的高频抖动以及大幅抖动消除。电子增稳装置作为第二级增稳，将机械增稳后残留的低频低幅抖动进行增稳，仅仅需要将图像画面裁剪几十分之一的像素，就达到画面非常稳定的效果。

对于像素为4000*2000的图像，现有技术中单独使用机械增稳或电子增稳，增稳后的像素大约为2000*1000。而使用本发明所公开的两级增稳技术，增稳后的像素大约为3800*1900，像素损失量非常小，保留了绝大部分原图像画面。

需要说明的是，本发明各设备实施方式中提到的各模块都是逻辑模块，在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施方式并不存在其它的模块。

本发明第二实施方式涉及一种云台增稳方法。图2是该云台增稳方法的流程示意图。

具体地说，如图2所示，该云台增稳方法包括以下步骤：

在步骤201中，根据固定在云台中的振动传感器的输出信号，通过电子控制的机械结构控制云台进行与检测到的振动方向相反的机械运动来抵消云台的抖动，以实现机械增稳。

此后进入步骤202，获取机械增稳后的抖动残留数据。

此后进入步骤203，根据抖动残留数据和振动传感器的输出信号，通过对云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳。

此后结束本流程。

进一步地，优选地，在步骤201中，根据所述振动传感器的输出信号，通过控制三个伺服电机在三个相互垂直的方向的旋转，控制所述云台进行与检测到的振动方向相反的机械运动来抵消所述云台的抖动，以实现机械增稳。

通过控制三个马达的运动抵消云台的抖动，实现对云台相互垂直的X轴、Y轴和Z轴三个轴向的控制，达到理想中的平衡，在飞行拍摄中起到平稳的作用。

在步骤202中，还包括以下子步骤：

估计出摄像头拍摄的图像的当前帧与前一帧间的运动参数，得到全局运动参数。

对全局运动参数进行滤波，得出有意运动矢量和无意随机运动矢量。

根据抖动残留数据对有意运动矢量和无意随机运动矢量进行卡尔曼滤波，得到补偿参数。

利用补偿参数对摄像头拍摄的图像序列进行逐帧补偿。

其中，在“利用补偿参数对摄像头拍摄的图像序列进行逐帧补偿”步骤中还包括：根据所述补偿参数对所述摄像头拍摄的图像序列进行逐帧裁剪。

根据云台的抖动幅度和抖动方向，对每帧图像的边缘区域进行裁剪，以便获得更高质量的图像。例如，如果云台的抖动幅度为5％的话，根据经验，在抖动方向的图像边缘裁剪掉图像的10％，剩余图像的稳定性就非常理想。

也就是说，在经过机械增稳和电子增稳两级增稳后，云台的摄像头拍摄的图像仅仅需要裁剪掉10％左右，就可以达到理想的效果，保留了绝大部分的原图像画面。而现有技术中，通常需要裁剪掉50％左右，像素损失量非常大。

本实施方式是与第一实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种云台增稳系统，设置在云台中，其特征在于，包括：机械增稳装置和电子增稳装置；

所述机械增稳装置和所述电子增稳装置与同一组振动传感器电连接，该组振动传感器固定在所述云台中；

所述机械增稳装置，用于根据所述振动传感器的输出信号，通过电子控制的机械结构控制所述云台进行与检测到的振动方向相反的机械运动来抵消所述云台的抖动，以实现机械增稳；

所述机械增稳装置将机械增稳后的抖动残留数据输出到所述电子增稳装置；

所述电子增稳装置，用于根据所述抖动残留数据和所述振动传感器的输出信号，通过对所述云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳。

2.根据权利要求1所述的云台增稳系统，其特征在于，所述机械增稳装置包括控制器和三个伺服电机，该控制器用于根据所述振动传感器的输出信号，通过控制所述三个伺服电机在三个相互垂直的方向的旋转，控制所述云台进行与检测到的振动方向相反的机械运动来抵消所述云台的抖动，以实现机械增稳。

3.根据权利要求1所述的云台增稳系统，其特征在于，所述电子增稳装置包括：

抖动估计模块，用于估计出所述摄像头拍摄的图像的当前帧与前一帧间的运动参数，得到全局运动参数；

抖动滤波模块，用于对所述全局运动参数进行滤波，得出有意运动矢量和无意随机运动矢量；

卡尔曼滤波模块，用于根据所述抖动残留数据对所述有意运动矢量和无意随机运动矢量进行卡尔曼滤波，得到补偿参数；

抖动补偿模块，利用所述补偿参数对所述摄像头拍摄的图像序列进行逐帧补偿。

4.根据权利要求3所述的云台增稳系统，其特征在于，所述抖动补偿模块还包括：裁剪子模块，用于根据所述补偿参数对所述摄像头拍摄的图像序列进行逐帧裁剪。

5.根据权利要求1至4中任一项所述的云台增稳系统，其特征在于，所述振动传感器为一个或多个惯性传感器。

6.根据权利要求5所述的云台增稳系统，其特征在于，所述惯性传感器包括三轴陀螺仪和三轴加速度传感器。

7.一种云台增稳方法，其特征在于，包括以下步骤：

根据固定在所述云台中的振动传感器的输出信号，通过电子控制的机械结构控制所述云台进行与检测到的振动方向相反的机械运动来抵消所述云台的抖动，以实现机械增稳；

获取所述机械增稳后的抖动残留数据；

根据所述抖动残留数据和所述振动传感器的输出信号，通过对所述云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳。

8.根据权利要求7所述的云台增稳方法，其特征在于，在所述“根据固定在所述云台中的振动传感器的输出信号，通过电子控制的机械结构控制所述云台进行与检测到的振动方向相反的机械运动来抵消所述云台的抖动，以实现机械增稳”的步骤中，根据所述振动传感器的输出信号，通过控制三个伺服电机在三个相互垂直的方向的旋转，控制所述云台进行与检测到的振动方向相反的机械运动来抵消所述云台的抖动，以实现机械增稳。

9.根据权利要求7所述的云台增稳方法，其特征在于，在所述“根据所述抖动残留数据和所述振动传感器的输出信号，通过对所述云台的摄像头拍摄的图像进行图像处理来消除图像的各种抖动，以实现两级增稳”的步骤中，还包括以下子步骤：

估计出所述摄像头拍摄的图像的当前帧与前一帧间的运动参数，得到全局运动参数；

对所述全局运动参数进行滤波，得出有意运动矢量和无意随机运动矢量；

根据所述抖动残留数据对所述有意运动矢量和无意随机运动矢量进行卡尔曼滤波，得到补偿参数；

利用所述补偿参数对所述摄像头拍摄的图像序列进行逐帧补偿。

10.根据权利要求9所述的云台增稳方法，其特征在于，在所述“利用所述补偿参数对所述摄像头拍摄的图像序列进行逐帧补偿”的步骤中，还包括以下子步骤：

根据所述补偿参数对所述摄像头拍摄的图像序列进行逐帧裁剪。