CN109618103A - 无人机图传视频的防抖方法及无人机 - Google Patents

Abstract

本发明公开了一种无人机图传视频的防抖方法及无人机，该方法包括：获取视频当前帧图像的特征点及特征点的特征向量；将特征向量与该视频中前一帧图像对应特征点的特征向量进行匹配，计算两帧图像之间的第一光流向量和第一旋转角度；根据第一光流向量、第一旋转角度和陀螺仪数据判断第一光流向量和第一旋转角度是否由无人机抖动产生；若第一光流向量和第一旋转角度是由无人机抖动产生，根据第一光流向量和第一旋转角度对当前帧图像进行调整，得到去抖动后的当前帧图像。本发明的技术方案，通过软件方案对由于无人机抖动产生的误差进行矫正，不引入防抖所使用的硬件，降低成本和复杂度，能够精确到亚像素级，防抖精度更高，去抖效果更好。

Description

无人机图传视频的防抖方法及无人机

技术领域

本发明涉及无人机技术领域，具体而言，涉及一种无人机图传视频的防抖方法及无人机。

背景技术

当前无人机搭载相机已经逐渐称为流行的趋势，从无人机端把摄像机拍摄到的视频画面传回终端设备，可实现多角度、宽范围的广角拍摄。然而，在无人机飞行过程中存在很多不可避免的晃动，导致拍摄到的视频画面也会出现抖动不稳的情况，影响了用户对视频图像的体验与期待。

有鉴于此，部分高端的无人机给相机加上机械云台，矫正因无人机晃动导致相机同频晃动而引起的视频画面抖动的问题，该中方案能有效去除视频抖动，提高了用户的体验效果，但是在无人机上安装机械云台，增加了无人机的重量，从而缩短了无人机的续航时间，另外，新增机械云台也增加了无人机的成本。

也有方案利用陀螺仪来检测确定相机的抖动矩阵，通过抖动矩阵对相机拍摄图像进行矫正以去除视频图像的抖动，但是该技术需要把陀螺仪的数据和当前相机的镜头视场角做匹配，由于每一个相机的焦距、像素颗粒大小都不同，所以每隔相机都需要跟陀螺仪数据进行视场角匹配，增加工作复杂度，如果视场角匹配不精确，防抖的效果也会受到影响。

发明内容

鉴于上述问题，本发明实施例的目的在于提供一种无人机图传视频的防抖方法及无人机，以解决现有技术的不足。

根据本发明的一个实施方式，提供一种无人机图传视频的防抖方法，该方法包括：

获取视频当前帧图像的特征点及所述特征点的特征向量；

将所述特征向量与该视频中前一帧图像对应特征点的特征向量进行匹配，计算两帧图像之间的第一光流向量和第一旋转角度；

根据所述第一光流向量、所述第一旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生；

若所述第一光流向量和所述第一旋转角度是由无人机抖动产生，根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整，得到去抖动后的当前帧图像。

在上述的无人机图传视频的防抖方法中，所述“根据所述光流向量、所述旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生”包括：

读取无人机陀螺仪数据，根据该陀螺仪数据计算第二光流向量和第二旋转角度；

计算所述第一光流向量和所述第二光流向量之间的第一相关系数，及计算所述第一旋转角度和第二旋转角度之间的第二相关系数；

若所述第一相关系数及所述第二相关系数均大于或等于预定阈值，则所述第一光流向量和所述第一旋转角度是由无人机抖动产生；

若所述第一相关系数及所述第二相关系数均小于预定阈值，则所述第一光流向量和所述第一旋转角度不是由无人机抖动产生。

在上述的无人机图传视频的防抖方法中，所述“根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整”包括：

根据所述第一旋转角度对当前帧图像进行反向旋转，及根据所述第一光流向量对旋转后的当前帧图像进行反向移动。

在上述的无人机图传视频的防抖方法中，所述“根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整”包括：

以所述当前帧图像的中心点为基点，截取预定区域的子图，并根据所述第一旋转角度及所述第一光流向量对所述子图进行反向旋转及反向移动，得到去抖动后的子图；

根据目标分辨率对所述去抖动后的子图进行插值运算，并将插值后的子图作为去抖动后的当前帧图像。

在上述的无人机图传视频的防抖方法中，还包括：

若所述第一光流向量和所述第一旋转角度不是由无人机抖动产生，根据所述目标分辨率对所述当前帧图像的子图进行插值运算，并将插值后的子图作为当前帧图像。

在上述的无人机图传视频的防抖方法中，通过下式计算两帧图像之间的光流向量：

Opticalflow_i(x,y)＝P_0,i(x,y)-P_1,i(x,y)

其中，Opticalflow_i(x,y)为两帧图像之间的光流向量，P_0,i(x,y)为前一帧图像中特征点位置信息，P_1,i(x,y)为当前帧图像中对应特征点的位置信息。

在上述的无人机图传视频的防抖方法中，通过下式计算两帧图像之间的旋转角度

其中，θ为两帧图像之间的旋转角度，P_0,i-1(x,y)为所述前一帧图像中第一特征点的位置信息，P_0,i(x,y)为所述前一帧图像中第二特征点的位置信息，P_1,i-1(x,y)为所述当前帧图像中与所述第一特征点对应特征点的位置信息，P_1,i(x,y)为所述当前帧图像中与所述第二特征点对应特征点的位置信息。

在上述的无人机图传视频的防抖方法中，通过下式计算插值像素点的像素值：

Pe＝(1-u)*(1-v)*Pe1+u*(1-v)*Pe2+(1-u)*v*Pe3+u*v*Pe4

其中，Pe为插值像素点对应的像素值，Pe1、Pe2、Pe3及Pe4为该插值像素点相关的像素点的像素值，0＜u＜1，0＜v＜1。

根据本发明的另一个实施方式，提供一种无人机图传视频的防抖装置，该装置包括：

获取模块，用于获取视频当前帧图像的特征点及所述特征点的特征向量；

匹配计算模块，用于将所述特征向量与该视频中前一帧图像对应特征点的特征向量进行匹配，计算两帧图像之间的第一光流向量和第一旋转角度；

判断模块，用于根据所述第一光流向量、所述第一旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生；

调整模块，用于若所述第一光流向量和所述第一旋转角度是由无人机抖动产生，根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整，得到去抖动后的当前帧图像。

根据本发明的又一个实施方式，提供一种无人机，所述无人机包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述无人机执行上述的无人机图传视频的防抖方法。

根据本发明的另一个实施方式，提供一种终端设备，所述终端设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备执行上述的无人机图传视频的防抖方法。

根据本发明的再一个实施方式，提供一种计算机可读存储介质，其存储有上述的无人机或终端设备中所使用的所述计算机程序。

本公开的实施例提供的技术方案可以包括如下有益效果：

本发明中一种无人机图传视频的防抖方法及无人机，通过软件方案对由于无人机抖动产生的误差进行矫正，不引入防抖所使用的机械云台等硬件，降低无人机成本和复杂度，能够精确到亚像素级，防抖精度更高，去抖效果更好。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明第一实施例提供的一种无人机图传视频的防抖方法的流程示意图。

图2示出了本发明第二实施例提供的一种无人机图传视频的防抖方法的流程示意图。

图3示出了本发明实施例提供的一种无人机图传视频的防抖装置的结构示意图。

主要元件符号说明：

500-无人机图传视频的防抖装置；510-获取模块；520-匹配计算模块；530-判断模块；540-调整模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1示出了本发明第一实施例提供的一种无人机图传视频的防抖方法的流程示意图。

该无人机图传视频的防抖方法应用于搭载相机的无人机，主要包括如下步骤：

在步骤S110中，获取视频当前帧图像的特征点及特征点的特征向量。

本实施例中，所述特征点为在图像的一定范围内，明显区别于该范围内的其他像素点的点。例如，在白色图像中的黑点，或者黑色图像中的白点等。

在一些其他的实施例中，所述特征点还可以为预先定义的坐标对应的像素点。

本实施例中，可通过图像处理算法中的ORB算子计算所述特征点的特征向量，所以，计算的特征向量的维度可以为32维。

在一些其他的实施例中，所述特征点对应的特征向量的维度还可以为3维，该三维的分量分别对应R分量、G分量及B分量。

本实施例中，所述特征点的个数可以为多个，调整精度可以达到亚像素级，提高防抖精度。

在步骤S120中，将特征向量与该视频中前一帧图像对应特征点的特征向量进行匹配，计算两帧图像之间的第一光流向量和第一旋转角度。

具体地，若无人机搭载的相机采集的一段视频图像中包括n帧图像。在第n-1帧图像中包括m个特征点，该m个特征点相对于第n-1帧图像的位置信息分别为：P_0,1(x,y)、P_0,2(x,y)、P_0,3(x,y)、…P_0,m(x,y)。无人机在第n-1帧图像采集后发生抖动，可根据第n-1帧图像对第n帧图像进行矫正，那么此时，在第n帧图像中同样定位m个对应特征点，该m个对应特征点相对于第n帧图像的位置信息分别为：P_1,1(x,y)、P_1,2(x,y)、

P_1,3(x,y)、…P_1,m(x,y)，且P_0,1(x,y)＝P_1,1(x,y)、P_0,2(x,y)＝P_1,2(x,y)、

P_0,3(x,y)＝P_1,3(x,y)、…P_0,m(x,y)＝P_1,m(x,y)。

进一步地，目标或者相机的移动造成的图像在连续两针图像中的移动向量称为光流向量，是一个2D向量场，可以用来表示一个像素点在连续两帧图像之间的移动信息。

通过下式计算两帧图像之间的光流向量：

Opticalflow_i(x,y)＝P_0,i(x,y)-P_1,i(x,y)

其中，Opticalflow_i(x,y)为连续两帧图像之间的光流向量，P_0,i(x,y)为当前帧图像的前一帧图像中特征点位置信息，P_1,i(x,y)为当前帧图像中对应特征点的位置信息。

进一步地，通过下式计算两帧图像之间的旋转角度：

其中，θ为两帧图像之间的旋转角度，P_0,i-1(x,y)为所述当前帧图像的前一帧图像中第一特征点的位置信息，P_0,i(x,y)为所述当前帧图像的前一帧图像中第二特征点的位置信息，P_1,i-1(x,y)为所述当前帧图像中与所述第一特征点对应特征点的位置信息，P_1,i(x,y)为所述当前帧图像中与所述第二特征点对应特征点的位置信息，且P_0,i-1(x,y)＝P_1,i-1(x,y)，P_0,i(x,y)＝P_1,i(x,y)。

在步骤S130中，判断第一光流向量及第一旋转角度是否由无人机抖动产生。

具体地，根据所述第一光流向量、所述第一旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生。

进一步地，所述“根据所述光流向量、所述旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生”包括：

读取无人机陀螺仪数据，根据该陀螺仪数据计算第二光流向量和第二旋转角度；计算所述第一光流向量和所述第二光流向量之间的第一相关系数，及计算所述第一旋转角度和第二旋转角度之间的第二相关系数；若所述第一相关系数及所述第二相关系数均大于或等于预定阈值，则所述第一光流向量和所述第一旋转角度是由无人机抖动产生；若所述第一相关系数及所述第二相关系数均小于预定阈值，则所述第一光流向量和所述第一旋转角度不是由无人机抖动产生的。

具体地，陀螺仪输出的陀螺仪数据是三个方向的角速度数据，这三个方向的角速度数据在图像中变现为图像在水平(X轴)和竖直(Y轴)方向的平移和旋转，即光流向量和旋转角度。

例如，在陀螺仪在t时刻到t+1时刻的一个轴(如X轴)的数据增大或者减小时，对应t时刻采集的图像和t+1时刻采集的图像之间的光流向量的一个分量也随之增大或者减小；当陀螺仪在t时刻到t+1时刻的另一个轴(如Y轴)的数据增大或者减小时，对应t时刻采集的图像和t+1时刻采集的图像之间的光流向量的另一个分量也随之增大或者减小；在陀螺仪在t时刻到t+1时刻的再一个轴(如Z轴)的数据增大或者减小时，对应t时刻采集的图像和t+1时刻采集的图像之间的旋转角度也随之增大或者减小。

例如，获取t1时刻到t2时刻的陀螺仪数据，将该陀螺仪数据进行积分等操作后得到该陀螺仪数据在每一时刻对应的第二光流向量和第二旋转角度。

将t1时刻到t2时刻采集的所有图像的第一光流向量作为集合A，其中，A＝{A₁,A₂,…A_i}，将t1时刻到t2时刻的所有陀螺仪数据对应的第二光流向量作为集合B，其中，B＝{B₁,B₂,…B_i}，可通过下式计算第一相关系数：

其中，r1为集合A与集合B的第一相关系数。

将t1时刻到t2时刻采集的所有图像的第一旋转角度作为集合C，其中，C＝{C₁,C₂,…C_i}，将t1时刻到t2时刻的所有陀螺仪数据对应的第二旋转角度作为集合D，其中，D＝{D₁,D₂,…D_i}，可通过下式计算第一相关系数：

其中，r2为集合C与集合D的第二相关系数。

将第一相关系数和第二相关系数分别与预定阈值进行对比，若第一相关系数和第二相关系数均大于或等于预定阈值，则所述第一光流向量和所述第二光流向量是由无人机抖动产生，前进至步骤S140；若第一相关系数和第二相关系数均小于预定阈值，则所述第一光流向量和所述第二光流向量不是由无人机抖动产生，前进至步骤S150。

进一步地，所述“根据所述光流向量、所述旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生”包括：

读取无人机陀螺仪数据，根据该陀螺仪数据计算第二光流向量和第二旋转角度；计算每一时刻的第一光流向量和第二光流向量之间的第一距离及计算每一时刻的第一旋转角度和第二旋转角度之间的第二距离，若第一距离和第二距离均小于预定距离阈值，则所述第一光流向量和第一旋转角度是由无人机抖动产生；若第一距离和第二距离均大于或者等于预定距离阈值，则所述第一光流向量和第一旋转角度不是由无人机抖动产生。

具体地，第一距离可通过下式进行计算：

其中，d1为第一距离，Pt(Pt_x,Pt_y)为t时刻到t+1时刻之间的第一光流向量，Qt(Qt_x,Qt_y)为t时刻到t+1时刻之间的第二光流向量。

具体地，第二距离可通过下式进行计算：

d2＝θ₂-θ₁

其中，d2为第二距离，θ₁为t时刻到t+1时刻之间的第一旋转角度，θ₂为t时刻到t+1时刻之间的第二旋转角度。

若所述第一光流向量和所述第二光流向量是由无人机抖动产生，前进至步骤S140；若所述第一光流向量和所述第二光流向量不是由无人机抖动产生，前进至步骤S150。

在步骤S140中，根据第一光流向量和第一旋转角度对当前帧图像进行调整，得到去抖动后的当前帧图像。

进一步地，所述“根据第一光流向量和第一旋转角度对当前帧图像进行调整，得到去抖动后的当前帧图像”包括：

根据所述第一旋转角度对当前帧图像进行反向旋转，及根据所述第一光流向量对旋转后的当前帧图像进行反向移动。

具体地，以当前帧图像的中心点为基点，将当前帧图像中所有像素点以第一旋转角度进行反向旋转。

例如，若第一旋转角度为4.5°，以该当前帧图像中心点为基点，将当前帧图像中所有像素点逆时针旋转4.5°。

具体地，以当前帧帧图像的坐标轴为基准，将当前帧图像中所有像素点以第一光流向量进行移动。

例如，若第一光流向量为(3,-4)，则将当前帧图像的所有像素点在X轴方向向负方向移动3个像素，将当前帧图像中所有像素点在Y轴方向向正方向移动4个像素。

在将当前帧图像根据第一旋转角度进行旋转，根据第一光流向量进行移动后得到去抖动后的当前帧图像。

在步骤S150中，不对当前帧图像进行调整。

实施例2

图2示出了本发明第二实施例提供的一种无人机图传视频的防抖方法的流程示意图。

该无人机图传视频的防抖方法应用于搭载相机的无人机，主要包括如下步骤：

在步骤S210中，获取视频当前帧图像的特征点及特征点的特征向量。

步骤S210与步骤S110相同，在此不再赘述。

在步骤S220中，将特征向量与该视频中前一帧图像对应特征点的特征向量进行匹配，计算两帧图像之间的第一光流向量和第一旋转角度。

步骤S220与步骤S120相同，在此不再赘述。

在步骤S230中，判断第一光流向量及第一旋转角度是否由无人机抖动产生。

步骤S230与步骤S130相同，在此不再赘述。

在步骤S240中，以当前帧图像的中心点为基点，截取预定区域的子图，并根据第一旋转角度及第一光流向量对子图进行反向旋转及反向移动，得到去抖动后的子图。

具体地，由于在对当前帧图像进行移动和旋转后，导致旋转后的当前帧图像会有一部分视角损失，会产生一部分暗区，为了将暗区截掉，同时减少图像处理的计算量，降低CPU资源的消耗，可以当前帧图像的中心点为基点，截取该基点周围预定区域的子图，其中，该子图的中心点与当前帧图像的中心点重合。

可根据第一旋转角度对当前帧图像对应的子图进行反向旋转，及根据第一光流向量对当前帧图像对应的子图进行反向移动，得到去抖动后的子图。

例如，若第一旋转角度为4.5°，以该当前帧图像对应子图中心点为基点，将当前帧图像对应子图中所有像素点逆时针旋转4.5°。

若第一光流向量为(3,-4)，则将当前帧图像对应子图的所有像素点在X轴方向向负方向移动3个像素，将当前帧图像对应子图中所有像素点在Y轴方向向正方向移动4个像素。

在步骤S250中，根据目标分辨率对去抖动后的子图进行插值运算，并将插值后的子图作为去抖动后的当前帧图像。

具体地，由于子图是从当前帧图像中截取得到的，在得到去抖动后的子图后，将该去抖动后的子图的尺寸增加至当前图图像的尺寸，那么，导致该驱动后的子图的单位面积内像素点的个数比当前帧图像在单位面积内像素点的个数要少，所以通过图像插值的方式，将该去抖动后的子图在单位面积内的像素点的个数达到当前帧图像在单位面积内像素点的个数。

具体，由于相机采集的视频中的所有图像的分辨率均相同，可根据采集的视频对应的目标分辨率确定去抖动后的子图在单位面积内需要插值的像素点的个数。

在确定插值的像素点的个数后，通过下式计算插值的像素点的像素值：

Pe＝(1-u)*(1-v)*Pe1+u*(1-v)*Pe2+(1-u)*v*Pe3+u*v*Pe4

其中，Pe为插值像素点对应的像素值，Pe1、Pe2、Pe3及Pe4为该插值像素点相关的像素点的像素值，0＜u＜1，0＜v＜1。

例如，若获取像素点point(6.6,4.5)的像素值Pe，该像素点point(6.6,4.5)距离point1(6,4)、point2(7,4)、point3(6,5)及point4(7,5)这四个像素点最近，将该四个像素点作为像素点point(6.6,4.5)相关的像素点，该四个像素点对应的像素值分别为Pe1、Pe2、Pe3及Pe4。

在步骤S260中，根据目标分辨率对当前帧图像的子图进行插值运算，并将插值后的子图作为当前帧图像。

具体地，若第一光流向量及第一旋转角度不是由无人机抖动产生，以当前帧图像的中心点为基点，获取该基点周围的预定区域的子图，将当前帧图像对应的子图进行插值运算，得到分辨率和当前帧图像分辨相同的插值后的子图，并将该插值后的子图作为当前帧图像。

实施例3

图3示出了本发明实施例提供的一种无人机图传视频的防抖装置的结构示意图。所述无人机图传视频的防抖装置500对应于实施例1的无人机图传视频的防抖方法。实施例1中的任何可选项也适用于本实施例，这里不再详述。

所述无人机图传视频的防抖装置500包括获取模块510、匹配计算模块520、判断模块530及调整模块540。

获取模块510，用于获取视频当前帧图像的特征点及所述特征点的特征向量。

匹配计算模块520，用于将所述特征向量与该视频中前一帧图像对应特征点的特征向量进行匹配，计算两帧图像之间的第一光流向量和第一旋转角度。

判断模块530，用于根据所述第一光流向量、所述第一旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生。

调整模块540，用于若所述第一光流向量和所述第一旋转角度是由无人机抖动产生，根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整，得到去抖动后的当前帧图像。

本发明实施例还提供了一种无人机，所述无人机包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述无人机执行上述的无人机图传视频的防抖方法或上述的无人机图传视频的防抖装置中各模块的功能。

本发明实施例还提供了一种终端设备，该终端设备可以包括个人电脑、服务器、笔记本电脑等。所述终端设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备执行上述的无人机图传视频的防抖方法或上述的无人机图传视频的防抖装置中各模块的功能。

本发明实施例还提供了一种计算机存储介质，用于储存上述无人机或终端设备中使用的所述计算机程序。

至此，本发明实施例提出了一种无人机图传视频的防抖方法及无人机，通过特征点提取和特征点匹配计算光流向量和旋转角度，能够精确到亚像素级，所以防抖精度更搞，去抖效果更好；同时为了防止非相机运动产生的光流导致错误的防抖，引入了陀螺仪数据进行修正，有效的防止了抖动误判；通过软件方案对由于无人机抖动产生的误差进行矫正，不引入防抖所使用的机械云台等硬件，降低无人机成本和复杂度，防抖精度更高，去抖效果更好。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种无人机图传视频的防抖方法，其特征在于，该方法包括：

获取视频当前帧图像的特征点及所述特征点的特征向量；

将所述特征向量与该视频中前一帧图像对应特征点的特征向量进行匹配，计算两帧图像之间的第一光流向量和第一旋转角度；

根据所述第一光流向量、所述第一旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生；

若所述第一光流向量和所述第一旋转角度是由无人机抖动产生，根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整，得到去抖动后的当前帧图像。

2.根据权利要求1所述的无人机图传视频的防抖方法，其特征在于，所述“根据所述光流向量、所述旋转角度和陀螺仪数据判断所述第一光流向量和所述第一旋转角度是否由无人机抖动产生”包括：

读取无人机陀螺仪数据，根据该陀螺仪数据计算第二光流向量和第二旋转角度；

计算所述第一光流向量和所述第二光流向量之间的第一相关系数，及计算所述第一旋转角度和第二旋转角度之间的第二相关系数；

若所述第一相关系数及所述第二相关系数均大于或等于预定阈值，则所述第一光流向量和所述第一旋转角度是由无人机抖动产生；

若所述第一相关系数及所述第二相关系数均小于预定阈值，则所述第一光流向量和所述第一旋转角度不是由无人机抖动产生。

3.根据权利要求1所述的无人机图传视频的防抖方法，其特征在于，所述“根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整”包括：

根据所述第一旋转角度对当前帧图像进行反向旋转，及根据所述第一光流向量对旋转后的当前帧图像进行反向移动。

4.根据权利要求3所述的无人机图传视频的防抖方法，其特征在于，所述“根据所述第一光流向量和所述第一旋转角度对所述当前帧图像进行调整”包括：

以所述当前帧图像的中心点为基点，截取预定区域的子图，并根据所述第一旋转角度及所述第一光流向量对所述子图进行反向旋转及反向移动，得到去抖动后的子图；

根据目标分辨率对所述去抖动后的子图进行插值运算，并将插值后的子图作为去抖动后的当前帧图像。

5.根据权利要求4所述的无人机图传视频的防抖方法，其特征在于，还包括：

若所述第一光流向量和所述第一旋转角度不是由无人机抖动产生，根据所述目标分辨率对所述当前帧图像的子图进行插值运算，并将插值后的子图作为当前帧图像。

6.如权利要求3所述的无人机图传视频的防抖方法，其特征在于，通过下式计算两帧图像之间的光流向量：

Opticalflow_i(x,y)＝P_0,i(x,y)-P_1,i(x,y)

其中，Opticalflow_i(x,y)为两帧图像之间的光流向量，P_0,i(x,y)为前一帧图像中特征点位置信息，P_1,i(x,y)为当前帧图像中对应特征点的位置信息。

7.如权利要求3所述的无人机图传视频的防抖方法，其特征在于，通过下式计算两帧图像之间的旋转角度

其中，θ为两帧图像之间的旋转角度，P_0,i-1(x,y)为所述前一帧图像中第一特征点的位置信息，P_0,i(x,y)为所述前一帧图像中第二特征点的位置信息，P_1,i-1(x,y)为所述当前帧图像中与所述第一特征点对应特征点的位置信息，P_1,i(x,y)为所述当前帧图像中与所述第二特征点对应特征点的位置信息。

8.如权利要求5所述的无人机图传视频的防抖方法，其特征在于，通过下式计算插值像素点的像素值：

Pe＝(1-u)*(1-v)*Pe1+u*(1-v)*Pe2+(1-u)*v*Pe3+u*v*Pe4

其中，Pe为插值像素点对应的像素值，Pe1、Pe2、Pe3及Pe4为该插值像素点相关的像素点的像素值，0＜u＜1，0＜v＜1。

9.一种无人机，其特征在于，所述无人机包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述无人机执行权利要求1至8任一项所述的无人机图传视频的防抖方法。

10.一种计算机存储介质，其特征在于，其储存有权利要求9所述无人机中所用的所述计算机程序。