CN106251317A - 空间摄影防抖处理方法及装置 - Google Patents

Abstract

本发明涉及图像处理领域，具体提供了一种空间摄影防抖处理方法及装置。本发明提供的空间摄影防抖处理方法，通过FastFeatureDetector算法提取快速角点，通过calcOpticalFlowPyrLK算法及estimateRigidTransform算法得到两帧图像检的水平、竖直、角度三个维度的偏移量，根据偏移量对图像进行旋转、剪裁，起到减弱视频抖动的效果。本发明提供的空间摄影防抖处理方法，操作简便，能够应用于任一型号的移动设备，实现视频录制防抖功能，通过对处理过程的优化，正真做到边录制边处理，并实时输出的目的。

Description

空间摄影防抖处理方法及装置

技术领域

本发明涉及图像处理领域，具体涉及一种空间摄影防抖处理方法及装置。

背景技术

在现有的拍照和视频拍摄服务解决方案中，视频拍摄技术与后期抖动处理有这广泛的应用。如拍摄者行走中拍摄、颠簸和颤抖，现有市场对于视频处理的解决方案有如下两种：

基于硬件设备的光学图像稳定系统，如iPhone6s Plus中硬件设备等。

基于视频文件导出后应用视频处理软件进行处理。如iMovie,After Effects等。

第一种解决方案只能应用在固定的设备中，不搭载光学图像稳定系统的设备的用户无法得到更好的防抖动效果，这样的解决方案就有一定的局限性，不能应用其他设备上。

第二种解决方案是视频后期处理，市面上各个平台有很好的处理解决方案，显示了视频处理后的防抖动效果，但是这种解决方案存在一个比较大的问题——视频需要导出到其他平台处理，需要人力与时间的消耗。

发明内容

针对现有技术中的缺陷，本发明提供的空间摄影防抖处理方法，操作简便，能够应用于任一型号的移动设备，实现视频录制防抖功能，通过对处理过程的优化，正真做到边录制边处理，并实时输出的目的。

第一方面，本发明提供的一种空间摄影防抖处理方法包括：对采集到的彩色图像做卷积运算，得到灰度化后的图像；通过FastFeatureDetector算法提取灰度化后的图像中的角点，以所述角点为特征点；采用calcOpticalFlowPyrLK算法对当前帧图像进行光流追踪，得到与上一帧图像的特征点对应的特征点；通过estimateRigidTransform算法计算相邻两帧图像间对应的特征点的偏移量，根据所述偏移量得到所述相邻两帧图像间的竖直偏移量、水平偏移量和角度偏移量；分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量；根据所述角度平均偏移量对当前帧图像进行旋转，根据所述竖直平均偏移量、所述水平平均偏移量对旋转后的当前帧图像进行剪裁；将剪裁后的当前帧图像转化为彩色图像，并进行帧翻转后输出。

优选地，所述通过FastFeatureDetector算法提取灰度化后的图像中的角点，包括：通过FastFeatureDetector算法检测当前帧图像中的角点，FastFeatureDetector算法中的窗口大小为t×t，t为上一帧图像的角点检测阈值；计算所有所述角点附近t×t范围内的角点数量的平均值m；若所述角点周围t×t范围内的角点数量大于m，则剔除所述角点；m作为下一帧图像的角点检测阈值。

优选地，所述根据所述竖直平均偏移量、所述水平平均偏移量对旋转后的当前帧图像进行剪裁，包括：将所述竖直平均偏移量作为第一竖直剪裁量，根据最终显示的图像比例和所述竖直平均偏移量第一水平剪裁量；将所述水平平均偏移量作为第二水平剪裁量，根据最终显示的图像比例和所述水平平均偏移量得到第二竖直剪裁量；若所述第一竖直剪裁量不小于所述第二竖直剪裁量，则根据所述第一竖直剪裁量和第一水平剪裁量对当前帧图像进行水平、竖直方向的剪裁，否则根据所述第二竖直剪裁量和第二水平剪裁量对当前帧图像进行水平、竖直方向的剪裁。

优选地，在图像灰度化步骤之前还包括：检测图像是否为横向的图像，若不是，则对图像空间旋转90度；在图像彩色化和帧翻转之间还包括：若在图像灰度化步骤之前进行了空间旋转，则对所述彩色图像空间旋转-90度。

优选地，所述分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量，包括：分别计算连续的20帧图像的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量。

第二方面，本发明提供的一种空间摄影防抖处理装置，包括：灰度化模块，用于对采集到的彩色图像做卷积运算，得到灰度化后的图像；角点提取模块，用于通过FastFeatureDetector算法提取灰度化后的图像中的角点，以所述角点为特征点；光流追踪模块，用于采用calcOpticalFlowPyrLK算法对当前帧图像进行光流追踪，得到与上一帧图像的特征点对应的特征点；偏移量计算模块，用于通过estimateRigidTransform算法计算相邻两帧图像间对应的特征点的偏移量，根据所述偏移量得到所述相邻两帧图像间的竖直偏移量、水平偏移量和角度偏移量；平均偏移量计算模块，用于分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量；图像剪裁模块，用于根据所述角度平均偏移量对当前帧图像进行旋转，根据所述竖直平均偏移量、所述水平平均偏移量对旋转后的当前帧图像进行剪裁；后期处理模块，用于将剪裁后的当前帧图像转化为彩色图像，并进行帧翻转后输出。

优选地，所述角点提取模块具体用于：通过FastFeatureDetector算法检测当前帧图像中的角点，FastFeatureDetector算法中的窗口大小为t×t，t为上一帧图像的角点检测阈值；计算所有所述角点附近t×t范围内的角点数量的平均值m；若所述角点周围t×t范围内的角点数量大于m，则剔除所述角点；m作为下一帧图像的角点检测阈值。

优选地，所述图像剪裁模块具体用于：将所述竖直平均偏移量作为第一竖直剪裁量，根据最终显示的图像比例和所述竖直平均偏移量第一水平剪裁量；将所述水平平均偏移量作为第二水平剪裁量，根据最终显示的图像比例和所述水平平均偏移量得到第二竖直剪裁量；若所述第一竖直剪裁量不小于所述第二竖直剪裁量，则根据所述第一竖直剪裁量和第一水平剪裁量对当前帧图像进行水平、竖直方向的剪裁，否则根据所述第二竖直剪裁量和第二水平剪裁量对当前帧图像进行水平、竖直方向的剪裁。

优选地，还包括图像第一旋转模块，用于在图像灰度化步骤之前检测图像是否为横向的图像，若不是，则对图像空间旋转90度；还包括图像第二旋转模块，用于若在图像灰度化步骤之前进行了空间旋转，则在图像彩色化和帧翻转之间对所述彩色图像空间旋转-90度。

优选地，所述平均偏移量计算模块具体用于：分别计算连续的20帧图像的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量。

附图说明

图1为本发明实施例提供的空间摄影防抖处理方法的流程图；

图2为本发明实施例提供的空间摄影防抖处理装置的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明实施例提供的方法主要应用于手机、相机等带摄像功能的移动设备中，提高设备录制视频的防抖能力。

如图1所示，本发明实施例提供的一种空间摄影防抖处理方法，包括：

步骤S1，对采集到的彩色图像做卷积运算，得到灰度化后的图像；

步骤S2，通过FastFeatureDetector算法提取灰度化后的图像中的角点，以角点为特征点；

步骤S3，采用calcOpticalFlowPyrLK算法对当前帧图像进行光流追踪，得到与上一帧图像的特征点对应的特征点；

步骤S4，通过estimateRigidTransform算法计算相邻两帧图像间对应的特征点的偏移量，根据偏移量得到相邻两帧图像间的竖直偏移量、水平偏移量和角度偏移量；

步骤S5，分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量；

步骤S6，根据角度平均偏移量对当前帧图像进行旋转，根据竖直平均偏移量、水平平均偏移量对旋转后的当前帧图像进行剪裁；

步骤S7，将剪裁后的当前帧图像转化为彩色图像，并进行帧翻转后输出。

FastFeatureDetector算法相对常规角点提取算法，能够更快速地提取图像中的角点，效率更高，因此能保证在移动设备上的执行时间更短，节省移动设备的电量，防止机身发烫。角点是一种局部特征点，在角点处，图像灰度的一阶导数为局部最大，图像的灰度在各个方向上均有变化，角点属于强特征点，通过以角点为特征点来进行光流追踪，有助于提高准确度和效率。为进一步提高处理效率，光流追踪算法采用calcOpticalFlowPyrLK算法。

光流变换算法采用estimateRigidTransform算法，计算相邻两帧图像间光流点的偏移量，该算法运行效率高，进而得到相邻两帧图像间水平、竖直、角度三个维度的偏移量，对多帧图像的三个维度的偏移量进行累加平均，得到一个合适的偏移量用于后续的图像剪裁中，多帧累加平均可以防止因单帧抖动过大而引起的偏移量过大的情况。根据计算得到的三个维度的偏移量，对图像进行旋转、剪裁。

整个处理过程中的图像为灰度图像，还需要将灰度图像转化为彩色图像。由于步骤S1中，在图像灰度化时采用了卷积的方式，会引起图像的镜像变化，即图像水平翻转了180度，因此，在处理完后，还需要对图像进行帧翻转。

本发明实施例提供的空间摄影防抖处理方法，操作简便，能够应用于任一型号的移动设备，实现视频录制防抖功能，通过对处理过程的优化，正真做到边录制边处理，并实时输出的目的。

FastFeatureDetector算法比其他已知的角点检测法要快很多倍，但是当图片的噪点较多时，其健壮性并不好，该算法的健壮性取决于角点检测阈值：当角点检测阈值过小时，检测出的角点过多，当角点检测阈值过大时，又存在角点漏检的风险。检测到过多的角点会增加光流追踪以及后续处理的计算量，而过度密集的角点反映的是相邻区域内的像素点的偏移量，也无法显著地提高处理结果的精度，反而增加了计算量，容易导致系统不稳定。因为FastFeatureDetector算法没有计算角响应度，所以很难采用常规的方法来直接进行非极大值抑制。因此，本发明实施例对FastFeatureDetector算法中的角点检测阈值作出了调整，摒弃原来固定的阈值，采用在处理过程中，针对每帧图像实时动态调整角点检测阈值，保证只检测到需要的角点，而滤除大部分不需要的角点，大大减少了计算量。步骤S2的优选方式包括：通过FastFeatureDetector算法检测当前帧图像中的角点，FastFeatureDetector算法中的窗口大小为t×t，t为上一帧图像的角点检测阈值；计算所有角点附近t×t范围内的角点数量的平均值m；若角点周围t×t范围内的角点数量大于m，则剔除角点；m作为下一帧图像的角点检测阈值。

为提高视频的观看体验，必须保证剪裁后的图像的比例一致，本发明实施例，提供了步骤S6的优选方式，具体包括：将竖直平均偏移量作为第一竖直剪裁量，根据最终显示的图像比例和竖直平均偏移量第一水平剪裁量；将水平平均偏移量作为第二水平剪裁量，根据最终显示的图像比例和水平平均偏移量得到第二竖直剪裁量；若第一竖直剪裁量不小于第二竖直剪裁量，则根据第一竖直剪裁量和第一水平剪裁量对当前帧图像进行水平、竖直方向的剪裁，否则根据第二竖直剪裁量和第二水平剪裁量对当前帧图像进行水平、竖直方向的剪裁。

在录制视频过程中，有些设备录制的视屏是横向的，有些是竖向的，为保证后续不理步骤的顺利进行，在步骤S1之前先检测图像是否为横向图像，若不是，则对图像空间旋转90度，将竖向的图像装换为横向的图像；相应的，步骤S7中在图像彩色化之后、帧翻转之前对图像进行空间旋转-90度，还原成原来竖向的图像。

为提高防抖效果，保证处理速度，步骤S5的优选方式包括：分别计算连续的20帧图像的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量。

本发明实施例提供的一种空间摄影防抖处理装置，包括：灰度化模块101，用于对采集到的彩色图像做卷积运算，得到灰度化后的图像；角点提取模块102，用于通过FastFeatureDetector算法提取灰度化后的图像中的角点，以角点为特征点；光流追踪模块103，用于采用calcOpticalFlowPyrLK算法对当前帧图像进行光流追踪，得到与上一帧图像的特征点对应的特征点；偏移量计算模块104，用于通过estimateRigidTransform算法计算相邻两帧图像间对应的特征点的偏移量，根据偏移量得到相邻两帧图像间的竖直偏移量、水平偏移量和角度偏移量；平均偏移量计算模块105，用于分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量；图像剪裁模块106，用于根据角度平均偏移量对当前帧图像进行旋转，根据竖直平均偏移量、水平平均偏移量对旋转后的当前帧图像进行剪裁；后期处理模块107，用于将剪裁后的当前帧图像转化为彩色图像，并进行帧翻转后输出。

本发明实施例提供的空间摄影防抖处理装置，操作简便，能够应用于任一型号的移动设备，实现视频录制防抖功能，通过对处理过程的优化，正真做到边录制边处理，并实时输出的目的。

进一步地，角点提取模块具体用于：通过FastFeatureDetector算法检测当前帧图像中的角点，FastFeatureDetector算法中的窗口大小为t×t，t为上一帧图像的角点检测阈值；计算所有角点附近t×t范围内的角点数量的平均值m；若角点周围t×t范围内的角点数量大于m，则剔除角点；m作为下一帧图像的角点检测阈值。

进一步地，图像剪裁模块具体用于：将竖直平均偏移量作为第一竖直剪裁量，根据最终显示的图像比例和竖直平均偏移量第一水平剪裁量；将水平平均偏移量作为第二水平剪裁量，根据最终显示的图像比例和水平平均偏移量得到第二竖直剪裁量；若第一竖直剪裁量不小于第二竖直剪裁量，则根据第一竖直剪裁量和第一水平剪裁量对当前帧图像进行水平、竖直方向的剪裁，否则根据第二竖直剪裁量和第二水平剪裁量对当前帧图像进行水平、竖直方向的剪裁。

进一步地，还包括图像第一旋转模块，用于在图像灰度化步骤之前检测图像是否为横向的图像，若不是，则对图像空间旋转90度；还包括图像第二旋转模块，用于若在图像灰度化步骤之前进行了空间旋转，则在图像彩色化和帧翻转之间对彩色图像空间旋转-90度。

进一步地，平均偏移量计算模块具体用于：分别计算连续的20帧图像的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种空间摄影防抖处理方法，其特征在于，包括：

对采集到的彩色图像做卷积运算，得到灰度化后的图像；

通过FastFeatureDetector算法提取灰度化后的图像中的角点，以所述角点为特征点；

采用calcOpticalFlowPyrLK算法对当前帧图像进行光流追踪，得到与上一帧图像的特征点对应的特征点；

通过estimateRigidTransform算法计算相邻两帧图像间对应的特征点的偏移量，根据所述偏移量得到所述相邻两帧图像间的竖直偏移量、水平偏移量和角度偏移量；

分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量；

根据所述角度平均偏移量对当前帧图像进行旋转，根据所述竖直平均偏移量、所述水平平均偏移量对旋转后的当前帧图像进行剪裁；

将剪裁后的当前帧图像转化为彩色图像，并进行帧翻转后输出。

2.根据权利要求1所述的方法，其特征在于，所述通过FastFeatureDetector算法提取灰度化后的图像中的角点，包括：

通过FastFeatureDetector算法检测当前帧图像中的角点，FastFeatureDetector算法中的窗口大小为t×t，t为上一帧图像的角点检测阈值；

计算所有所述角点附近t×t范围内的角点数量的平均值m；

若所述角点周围t×t范围内的角点数量大于m，则剔除所述角点；

m作为下一帧图像的角点检测阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述竖直平均偏移量、所述水平平均偏移量对旋转后的当前帧图像进行剪裁，包括：

将所述竖直平均偏移量作为第一竖直剪裁量，根据最终显示的图像比例和所述竖直平均偏移量第一水平剪裁量；

将所述水平平均偏移量作为第二水平剪裁量，根据最终显示的图像比例和所述水平平均偏移量得到第二竖直剪裁量；

若所述第一竖直剪裁量不小于所述第二竖直剪裁量，则根据所述第一竖直剪裁量和第一水平剪裁量对当前帧图像进行水平、竖直方向的剪裁，否则根据所述第二竖直剪裁量和第二水平剪裁量对当前帧图像进行水平、竖直方向的剪裁。

4.根据权利要求1所述的方法，其特征在于，

在图像灰度化步骤之前还包括：检测图像是否为横向的图像，若不是，则对图像空间旋转90度；

在图像彩色化和帧翻转之间还包括：若在图像灰度化步骤之前进行了空间旋转，则对所述彩色图像空间旋转-90度。

5.根据权利要求1所述的方法，其特征在于，所述分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量，包括：分别计算连续的20帧图像的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量。

6.一种空间摄影防抖处理装置，其特征在于，包括：

灰度化模块，用于对采集到的彩色图像做卷积运算，得到灰度化后的图像；

角点提取模块，用于通过FastFeatureDetector算法提取灰度化后的图像中的角点，以所述角点为特征点；

光流追踪模块，用于采用calcOpticalFlowPyrLK算法对当前帧图像进行光流追踪，得到与上一帧图像的特征点对应的特征点；

偏移量计算模块，用于通过estimateRigidTransform算法计算相邻两帧图像间对应的特征点的偏移量，根据所述偏移量得到所述相邻两帧图像间的竖直偏移量、水平偏移量和角度偏移量；

平均偏移量计算模块，用于分别计算连续的预定帧数的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量；

图像剪裁模块，用于根据所述角度平均偏移量对当前帧图像进行旋转，根据所述竖直平均偏移量、所述水平平均偏移量对旋转后的当前帧图像进行剪裁；

后期处理模块，用于将剪裁后的当前帧图像转化为彩色图像，并进行帧翻转后输出。

7.根据权利要求6所述的装置，其特征在于，所述角点提取模块具体用于：

通过FastFeatureDetector算法检测当前帧图像中的角点，FastFeatureDetector算法中的窗口大小为t×t，t为上一帧图像的角点检测阈值；

计算所有所述角点附近t×t范围内的角点数量的平均值m；

若所述角点周围t×t范围内的角点数量大于m，则剔除所述角点；

m作为下一帧图像的角点检测阈值。

8.根据权利要求6所述的装置，其特征在于，所述图像剪裁模块具体用于：

将所述竖直平均偏移量作为第一竖直剪裁量，根据最终显示的图像比例和所述竖直平均偏移量第一水平剪裁量；

将所述水平平均偏移量作为第二水平剪裁量，根据最终显示的图像比例和所述水平平均偏移量得到第二竖直剪裁量；

若所述第一竖直剪裁量不小于所述第二竖直剪裁量，则根据所述第一竖直剪裁量和第一水平剪裁量对当前帧图像进行水平、竖直方向的剪裁，否则根据所述第二竖直剪裁量和第二水平剪裁量对当前帧图像进行水平、竖直方向的剪裁。

9.根据权利要求6所述的装置，其特征在于，还包括图像第一旋转模块，用于在图像灰度化步骤之前检测图像是否为横向的图像，若不是，则对图像空间旋转90度；

还包括图像第二旋转模块，用于若在图像灰度化步骤之前进行了空间旋转，则在图像彩色化和帧翻转之间对所述彩色图像空间旋转-90度。

10.根据权利要求6所述的装置，其特征在于，所述平均偏移量计算模块具体用于：分别计算连续的20帧图像的竖直偏移量、水平偏移量和角度偏移量的算术平均值，得到竖直平均偏移量、水平平均偏移量和角度平均偏移量。