CN108007439B - 视频增稳方法、装置及无人机 - Google Patents

Abstract

本发明涉及无人机技术领域，提供一种视频增稳方法及装置，应用于无人机，所述无人机安装有惯性测量单元和鱼眼镜头，惯性测量单元和鱼眼镜头均与无人机的处理器电性连接，所述方法包括：获取惯性测量单元采集的无人机的运动信息；对运动信息进行姿态融合，得到无人机的飞行姿态数据；获取鱼眼镜头采集的原始视频帧；利用飞行姿态数据对原始视频帧进行视频增稳，得到增稳视频帧。与现有技术相比，本发明实施例能够以软件方式替代传统的机械云台解决无人机视频增稳的问题，利于无人机的成本控制和外观设计。

Description

视频增稳方法、装置及无人机

技术领域

本发明涉及无人机技术领域，具体而言，涉及一种视频增稳方法、装置及无人机。

背景技术

无人机飞行时，由于无人机姿态的变化，无人机上的摄像机相对地面一直在运动，这样拍摄出来的视频会一直晃动，带给用户不好的体验。现有的解决方法是在无人机上安装机械云台，并通过机械云台将摄像机与无人机连接，从而减少摄像机相对地面的运动，达到视频增稳的效果。云台是一种安装和固定摄像机的支撑设备，分为固定云台和电动云台两种，无人机上的机械云台属于电动云台，通过无人机的姿态计算机械云台的运动，从而实现稳定摄像机的功能。但是，机械云台成本高、体积大，不利于无人机的成本控制和外观设计。

发明内容

本发明的目的在于提供一种视频增稳方法、装置及无人机，用以改善上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种视频增稳方法，应用于无人机，所述无人机安装有惯性测量单元和鱼眼镜头，所述惯性测量单元和所述鱼眼镜头均与所述无人机的处理器电性连接，所述方法包括：获取所述惯性测量单元采集的所述无人机的运动信息；对所述运动信息进行姿态融合，得到所述无人机的飞行姿态数据；获取所述鱼眼镜头采集的原始视频帧；利用所述飞行姿态数据对所述原始视频帧进行视频增稳，得到增稳视频帧。

第二方面，本发明实施例提供了一种视频增稳装置，应用于无人机，所述无人机安装有惯性测量单元和鱼眼镜头，所述惯性测量单元和所述鱼眼镜头均与所述无人机的处理器电性连接，所述装置包括运动信息获取模块、姿态融合模块、原始视频帧获取模块及视频增稳模块。其中，运动信息获取模块用于获取所述惯性测量单元采集的所述无人机的运动信息；姿态融合模块用于对所述运动信息进行姿态融合，得到所述无人机的飞行姿态数据；原始视频帧获取模块用于获取所述鱼眼镜头采集的原始视频帧；视频增稳模块用于利用所述飞行姿态数据对所述原始视频帧进行视频增稳，得到增稳视频帧。

相对现有技术，本发明实施例提供的一种视频增稳方法及装置，首先，获取惯性测量单元采集的无人机的运动信息并进行融合，得到无人机的飞行姿态数据；然后，获取鱼眼镜头采集的原始视频帧，并利用飞行姿态数据对原始视频帧进行视频增稳，得到增稳视频帧。与现有技术相比，本发明实施例能够以软件方式替代传统的机械云台解决无人机视频增稳的问题，利于无人机的成本控制和外观设计。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的无人机的方框示意图。

图2示出了本发明实施例提供的视频增稳方法流程图。

图3为图2示出的步骤S102的子步骤流程图。

图4为图2示出的步骤S104的子步骤流程图。

图5为图4示出的子步骤S1042的子步骤流程图。

图6为图4示出的子步骤S1043的子步骤流程图。

图7示出了本发明实施例提供的视频增稳装置的方框示意图。

图标：100-无人机；101-存储器；102-存储控制器；103-处理器；104- 外设接口；105-惯性测量单元；106-鱼眼镜头；200-视频增稳装置；201-运动信息获取模块；202-姿态融合模块；203-原始视频帧获取模块；204-视频增稳模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1示出了本发明实施例提供的无人机100的方框示意图。无 人机100可以是，但不限于固定翼无人机、无人直升机和多旋翼无人机、伞翼无人机、扑翼无人机和无人飞船等等。所述无人机100包括视频增稳装置200、存储器101、存储控制器102、处理器103、外设接口104、惯性测量单元105和鱼眼镜头106。

所述存储器101、存储控制器102、处理器103、外设接口104、惯性测量单元105和鱼眼镜头106各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述视频增稳装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述无人机 100的操作系统(operating system，OS)中的软件功能模块。所述处理器 103用于执行存储器101中存储的可执行模块，例如所述视频增稳装置200 包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器 (Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序。

处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit， CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。

所述外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104、处理器103以及存储控制器102 可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

所述惯性测量单元105与处理器103电性连接，且惯性测量单元105 用于采集无人机100的运动信息。

所述鱼眼镜头106与处理器103电性连接，且鱼眼镜头106用于采集原始视频帧，以使视频增稳装置200对原始视频帧实现视频增稳。

第一实施例

请参照图2，图2示出了本发明实施例提供的视频增稳方法流程图。视频增稳方法包括以下步骤：

步骤S101，获取惯性测量单元采集的无人机的运动信息。

在本发明实施例中，惯性测量单元105是测量无人机100运动的角速度和加速度的装置。作为一种实施方式，惯性测量单元105包括陀螺仪和加速度计，惯性测量单元105采集的无人机100的运动信息包括陀螺仪采集的角速度数据和加速度计采集的加速度数据。

步骤S102，对运动信息进行姿态融合，得到无人机的飞行姿态数据。

在本发明实施例中，飞行姿态数据包括偏航角、俯仰角和滚转角，分别用yaw、pitch和roll表示，可以使用梯度下降法，对陀螺仪采集的角速度数据(gx,gy,gz)和加速度计采集的加速度数据(ax,ay,az)进行姿态融合，得到的结果就是飞行姿态数据(yaw,pitch,roll)。

作为一种实施方式，梯度下降法首先利用角速度数据(gx,gy,gz)用四元素微分方程计算出无人机100的初始姿态数据，然后利用加速度数据 (ax,ay,az)对初始姿态数据进行补偿，得到飞行姿态数据(yaw,pitch,roll)。

需要说明的是，无人机100在飞行时因为震动陀螺仪会发生累积，故计算出的飞行姿态数据(yaw,pitch,roll)误差较大。另一方面，无人机100在加速或减速运动时，会把加速或减速的加速度加入到地球重力加速度中，如果这时如果加速度补偿初始姿态数据过多会影响飞行姿态数据 (yaw,pitch,roll)的准确度。因此，需要对加速度数据(ax,ay,az)的平方根做阈值判断，以计算加速度对初始姿态数据补偿的系数。

另外，在无人机100做出长时间连续加速或减速运动时，角速度数据 (gx,gy,gz)不可避免的会出现较大的误差，例如，拍摄视频时地平线倾斜，当无人机100悬停时，需要把地平线倾斜增稳回来，这时需要更大的加速度数据(ax,ay,az)对初始姿态数据进行补偿，因此可以采用计算两次姿态数据的方法加快地平线倾斜增稳的速度，具体来说，首先利用加速度数据 (ax,ay,az)对初始姿态数据进行补偿计算出飞行姿态数据；然后将该飞行姿态数据与无人机100上一时刻的飞行姿态数据做差值，并用差值估算出一个加速度数据对该飞行姿态数据进行补偿，得到最终的飞行姿态数据，利用这种方法计算出的飞行姿态数据可以更快的实现地平线倾斜增稳。

请参照图3，步骤S102可以包括以下子步骤：

子步骤S1021，根据角速度数据，利用四元素微分方程计算出无人机的初始姿态数据。

子步骤S1022，利用加速度数据对初始姿态数据进行补偿，得到飞行姿态数据。

步骤S103，获取鱼眼镜头采集的原始视频帧。

在本发明实施例中，鱼眼镜头106是一种焦距为16mm或更短的并且视角接近或等于180°的镜头，鱼眼镜头106属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围，其采集的原始视频帧与人们眼中的真实世界的景象存在很大的差别，需要对原始视频帧进行视频增稳。

步骤S104，利用飞行姿态数据对原始视频帧进行视频增稳，得到增稳视频帧。

在本发明实施例中，对原始视频帧进行视频增稳的方法可以包括，但不限于首先，获取鱼眼镜头106的视场角数据，其中，视场角数据包括光线入射角和投影焦距；然后，利用预设的顶点着色器和片段着色器对原始视频帧进行渲染，得到渲染场景，作为一种实施方式，顶点着色器、片段着色器和场景模型可以预先利用OpenGL ES 2.0进行创建。创建出顶点着色器、片段着色器和场景模型之后，先利用顶点着色器计算该预设场景模型的顶点坐标，再利用片段着色器计算顶点坐标在原始视频帧上的纹理坐标，得到渲染场景，也就是说，根据光学原理，用顶点坐标计算入射角，然后由入射角计算焦距，再由焦距计算顶点在原始视频帧上的纹理坐标，从而计算出顶点的颜色，以得到渲染场景。

最后，根据飞行姿态数据计算渲染场景的旋转矩阵。作为一种实施方式，首先，获取视角偏移数据，视角偏移数据也就是鱼眼镜头106的视角偏移；然后，将飞行姿态数据和视角偏移数据进行叠加，得到无人机100 的视角空间方向数据；再根据视角空间方向数据，计算出渲染场景的旋转矩阵，并利用旋转矩阵对原始视频帧进行视频增稳，得到增稳视频帧。

请参照图4，步骤S104可以包括以下子步骤：

子步骤S1041，获取鱼眼镜头的视场角数据，其中，视场角数据包括光线入射角和投影焦距。

子步骤S1042，利用预设的顶点着色器和片段着色器对原始视频帧进行渲染，得到渲染场景。

在本发明实施例中，顶点着色器、片段着色器和场景模型可以预先利用OpenGL ES2.0进行创建。创建出顶点着色器、片段着色器和场景模型之后，先利用顶点着色器计算该预设场景模型的顶点坐标，再利用片段着色器计算顶点坐标在原始视频帧上的纹理坐标，得到渲染场景，也就是说，根据光学原理，用顶点坐标计算入射角，然后由入射角计算焦距，再由焦距计算顶点在原始视频帧上的纹理坐标，从而计算出顶点的颜色，以得到渲染场景。

请参照图5，子步骤S1042可以包括以下子步骤：

子步骤S10421，利用顶点着色器计算预设场景模型的顶点坐标。

子步骤S10422，利用片段着色器计算顶点坐标在原始视频帧上的纹理坐标，得到渲染场景。

子步骤S1043，根据飞行姿态数据计算渲染场景的旋转矩阵。

请参照图6，子步骤S1043可以包括以下子步骤：

子步骤S10431，获取视角偏移数据。

子步骤S10432，将飞行姿态数据和视角偏移数据进行叠加，得到无人机的视角空间方向数据。

子步骤S10433，根据视角空间方向数据，计算出渲染场景的旋转矩阵。

子步骤S1044，利用旋转矩阵对原始视频帧进行视频增稳，得到增稳视频帧。

在本发明实施例中，首先，获取惯性测量单元105采集的无人机100 的运动信息并进行融合，得到无人机100的飞行姿态数据，再获取鱼眼镜头106采集的原始视频帧，并利用飞行姿态数据对原始视频帧进行视频增稳，得到增稳视频帧，从而以软件方式替代传统的机械云台解决无人机100 视频增稳的问题，利于无人机100的成本控制和外观设计；其次，采用计算两次姿态数据的方法加快地平线倾斜增稳的速度，可以更快的实现地平线倾斜增稳。

第二实施例

请参照图7，图7示出了本发明实施例提供的视频增稳装置200的方框示意图。视频增稳装置200包括运动信息获取模块201、姿态融合模块202、原始视频帧获取模块203及视频增稳模块204。

运动信息获取模块201，用于获取惯性测量单元采集的无人机的运动信息。

在本发明实施例中，运动信息获取模块201可以用于执行步骤S101。

姿态融合模块202，用于对运动信息进行姿态融合，得到无人机的飞行姿态数据。

在本发明实施例中，姿态融合模块202可以用于执行步骤S102。

在本发明实施例中，姿态融合模块202还可以用于执行步骤S102的子步骤S1021～S1022。

原始视频帧获取模块203，用于获取鱼眼镜头采集的原始视频帧。

在本发明实施例中，原始视频帧获取模块203可以用于执行步骤 S103。

视频增稳模块204，用于利用飞行姿态数据对原始视频帧进行视频增稳，得到增稳视频帧。

在本发明实施例中，视频增稳模块204可以用于执行步骤S104。

在本发明实施例中，视频增稳模块204还可以用于执行步骤S104的子步骤S1041～S1044。

在本发明实施例中，视频增稳模块204还可以用于执行子步骤S1042 的子步骤S10421～S10422。

在本发明实施例中，视频增稳模块204还可以用于执行子步骤S1043 的子步骤S10431～S10433。

综上所述，本发明提供的一种视频增稳方法及装置，应用于无人机，所述无人机安装有惯性测量单元和鱼眼镜头，惯性测量单元和鱼眼镜头均与无人机的处理器电性连接，所述方法包括：获取惯性测量单元采集的无人机的运动信息；对运动信息进行姿态融合，得到无人机的飞行姿态数据；获取鱼眼镜头采集的原始视频帧；利用飞行姿态数据对原始视频帧进行视频增稳，得到增稳视频帧。与现有技术相比，本发明实施例能够以软件方式替代传统的机械云台解决无人机视频增稳的问题，利于无人机的成本控制和外观设计。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (4)

1.一种视频增稳方法，其特征在于，应用于无人机，所述无人机安装有惯性测量单元和鱼眼镜头，所述惯性测量单元和所述鱼眼镜头均与所述无人机的处理器电性连接，所述方法包括：

获取所述惯性测量单元采集的所述无人机的运动信息；

对所述运动信息进行姿态融合，得到所述无人机的飞行姿态数据；对所述运动信息进行姿态融合，得到所述无人机的飞行姿态数据具体为：根据角速度数据，利用四元素微分方程计算出无人机的初始姿态数据；利用加速度数据对初始姿态数据进行补偿，得到飞行姿态数据；将所述飞行姿态数据与无人机上一时刻的飞行姿态数据做差值，用差值估算出一个加速度数据对飞行姿态数据进行补偿，得到最终的飞行姿态数据；

获取所述鱼眼镜头采集的原始视频帧；

利用所述飞行姿态数据对所述原始视频帧进行视频增稳，得到增稳视频帧，包括：获取所述鱼眼镜头的视场角数据，其中，所述视场角数据包括光线入射角和投影焦距；利用预设的顶点着色器和片段着色器对所述原始视频帧进行渲染，得到渲染场景；根据所述飞行姿态数据计算所述渲染场景的旋转矩阵；利用所述旋转矩阵对所述原始视频帧进行视频增稳，得到增稳视频帧；

所述利用预设的顶点着色器和片段着色器对所述原始视频帧进行渲染，得到渲染场景的步骤，包括：利用所述顶点着色器计算预设场景模型的顶点坐标；利用所述片段着色器计算所述顶点坐标在所述原始视频帧上的纹理坐标，得到渲染场景；

所述根据飞行姿态数据计算所述渲染场景的旋转矩阵的步骤，包括：获取视角偏移数据；将所述飞行姿态数据和所述视角偏移数据进行叠加，得到所述无人机的视角空间方向数据；根据所述视角空间方向数据，计算出所述渲染场景的旋转矩阵。

2.如权利要求1所述的方法，其特征在于，惯性测量单元包括陀螺仪和加速度计，所述获取惯性测量单元采集的所述无人机的运动信息的步骤，包括：

获取所述陀螺仪采集的角速度数据、以及所述加速度计采集的加速度数据。

3.一种视频增稳装置，其特征在于，应用于无人机，所述无人机安装有惯性测量单元和鱼眼镜头，所述惯性测量单元和所述鱼眼镜头均与所述无人机的处理器电性连接，所述装置包括：

运动信息获取模块，用于获取所述惯性测量单元采集的所述无人机的运动信息；

姿态融合模块，用于对所述运动信息进行姿态融合，得到所述无人机的飞行姿态数据；对所述运动信息进行姿态融合，得到所述无人机的飞行姿态数据具体为：根据角速度数据，利用四元素微分方程计算出无人机的初始姿态数据；利用加速度数据对初始姿态数据进行补偿，得到飞行姿态数据；将飞行姿态数据与无人机上一时刻的飞行姿态数据做差值，用差值估算出一个加速度数据对飞行姿态数据进行补偿，得到最终的飞行姿态数据；

原始视频帧获取模块，用于获取所述鱼眼镜头采集的原始视频帧；

视频增稳模块，用于利用所述飞行姿态数据对所述原始视频帧进行视频增稳，得到增稳视频帧；所述视频增稳模块，具体用于：获取所述鱼眼镜头的视场角数据，其中，所述视场角数据包括光线入射角和投影焦距；利用预设的顶点着色器和片段着色器对所述原始视频帧进行渲染，得到渲染场景，根据所述飞行姿态数据计算所述渲染场景的旋转矩阵，利用所述旋转矩阵对所述原始视频帧进行视频增稳，得到增稳视频帧；

所述视频增稳模块，具体用于：利用所述顶点着色器计算预设场景模型的顶点坐标；利用所述片段着色器计算所述顶点坐标在所述原始视频帧上的纹理坐标，得到渲染场景；

所述视频增稳模块，具体用于：获取视角偏移数据；将所述飞行姿态数据和所述视角偏移数据进行叠加，得到所述无人机的视角空间方向数据；根据所述视角空间方向数据，计算出所述渲染场景的旋转矩阵。

4.如权利要求3所述的装置，其特征在于，惯性测量单元包括陀螺仪和加速度计，所述运动信息获取模块还用于：

获取所述陀螺仪采集的角速度数据、以及所述加速度计采集的加速度数据。

Images