CN110049246A - 电子设备的视频防抖方法、装置和电子设备 - Google Patents

Abstract

本公开提供了一种电子设备的视频防抖方法，包括：获取视频帧图像；如果满足调整条件，基于至少两种防抖方式对所述视频帧图像进行防抖处理；以及基于防抖处理后的所述视频帧图像生成视频文件。本公开还提供了一种电子设备的视频防抖装置和电子设备。

Description

电子设备的视频防抖方法、装置和电子设备

技术领域

本公开涉及一种电子设备的视频防抖方法、装置和电子设备。

背景技术

随着现代信息技术的飞速发展，视频成为信息的重要载体之一，丰富了人们的日常生活。与此同时，支持视频拍摄的电子设备也已越来越普遍，这些设备在为人们提供便利的同时，也存在着一些问题有待提供。

现有技术中，电子设备在拍摄视频过程中不可避免会产生不同程度的抖动(Jitter)，这些抖动是人们所不希得到的，它会给观看者带来视觉疲劳，从而导致观看者对视频信息的遗漏。目前已有的防抖技术包括光学防抖技术和电子防抖技术，在电子防抖技术中，通常仅利用单一方式进行视频防抖处理，由于不同的防抖方式针对不同特点的视频具有不同的防抖效果，单一防抖方式很容易落入自身的局限，导致防抖处理的准确度不稳定。

发明内容

本公开的一个方面提供了一种电子设备的视频防抖方法，包括：获取视频帧图像；如果满足调整条件，基于至少两种防抖方式对所述视频帧图像进行防抖处理；以及基于防抖处理后的所述视频帧图像生成视频文件。

可选地，上述方法还包括：基于图像配准方式获取所述视频帧图像在第一方向上的第一偏移量。上述调整条件包括：所述第一偏移量大于等于第一预定阈值。上述方法还包括：如果不满足调整条件，确定所述第一偏移量为所述第一方向上的可信偏移量；以及基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

可选地，上述基于至少两种防抖方式对所述视频帧图像进行防抖处理包括：基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量；如果所述第一偏移量与所述第二偏移量之间的绝对差值小于第二预定阈值，确定所述第一偏移量为所述第一方向上的可信偏移量，否则确定所述第二偏移量为所述第一方向上的可信偏移量；以及基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

可选地，上述第一方向包括：水平方向或竖直方向。上述基于防抖处理后的所述视频帧图像生成视频文件包括：基于经过水平方向和竖直方向的补偿防抖处理的多个视频帧图像，生成视频文件。

可选地，上述基于图像配准方式获取所述视频帧图像在第一方向上的第一偏移量包括：以所述视频帧图像中的一个或多个特征点为跟踪目标，分别获取所述跟踪目标在所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像中的第一位置参数；根据所述第一位置参数在所述第一方向上的变化，计算获得第一运动趋势曲线；根据所述第一运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第一无抖动位置参数；以及将所述跟踪目标在所述视频帧图像中所述第一方向上的第一位置参数和所述第一无抖动位置参数之间的差值作为所述第一偏移量。

可选地，上述基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量包括：基于所述电子设备的惯性传感器，分别获取所述电子设备在获取所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像时的姿态参数；根据所述姿态参数分别确定与所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像对应的第二位置参数；根据所述第二位置参数在所述第一方向上的变化，计算获得第二运动趋势曲线；根据所述第二运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第二无抖动位置参数；以及将与所述视频帧图像对应的所述第一方向上的第二位置参数和所述第二无抖动位置参数之间的差值作为所述第二偏移量。

本公开的另一方面提供了一种电子设备的视频防抖装置，包括：第一获取模块、第一处理模块、以及生成模块。第一获取模块用于获取视频帧图像。第一处理模块用于当满足调整条件时，基于至少两种防抖方式对所述视频帧图像进行防抖处理。以及生成模块用于基于防抖处理后的所述视频帧图像生成视频文件。

可选地，上述装置还包括第二获取模块，用于基于图像配准方式获取所述视频帧图像在第一方向上的第一偏移量。上述调整条件包括：所述第一偏移量大于等于第一预定阈值。上述装置还包括第一确定模块和第二处理模块。第一确定模块用于当不满足调整条件时，确定所述第一偏移量为所述第一方向上的可信偏移量。以及第二处理模块用于基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

可选地，上述第一处理模块包括：第一获取子模块、第一确定子模块、以及第一处理子模块。第一获取子模块用于基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量。第一确定子模块用于当所述第一偏移量与所述第二偏移量之间的绝对差值小于第二预定阈值时，确定所述第一偏移量为所述第一方向上的可信偏移量，否则确定所述第二偏移量为所述第一方向上的可信偏移量。以及第一处理子模块用于基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

可选地，上述第一方向包括：水平方向或竖直方向。生成模块具体用于基于经过水平方向和竖直方向的补偿防抖处理的多个视频帧图像，生成视频文件。

可选地，第二获取模块包括：第二获取子模块、第一计算子模块、第二确定子模块、以及第三确定子模块。第二获取子模块用于以所述视频帧图像中的一个或多个特征点为跟踪目标，分别获取所述跟踪目标在所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像中的第一位置参数。第一计算子模块用于根据所述第一位置参数在所述第一方向上的变化，计算获得第一运动趋势曲线。第二确定子模块用于根据所述第一运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第一无抖动位置参数。以及第三确定子模块用于将所述跟踪目标在所述视频帧图像中所述第一方向上的第一位置参数和所述第一无抖动位置参数之间的差值作为所述第一偏移量。

可选地，第一获取子模块包括：获取单元、确定单元、计算单元、第一确定单元、以及第二确定单元。获取单元用于基于所述电子设备的惯性传感器，分别获取所述电子设备在获取所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像时的姿态参数。确定单元用于根据所述姿态参数分别确定与所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像对应的第二位置参数。计算单元用于根据所述第二位置参数在所述第一方向上的变化，计算获得第二运动趋势曲线。第一确定单元用于根据所述第二运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第二无抖动位置参数。以及第二确定单元用于将与所述视频帧图像对应的所述第一方向上的第二位置参数和所述第二无抖动位置参数之间的差值作为所述第二偏移量。

本公开的另一方面提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的电子设备的视频防抖方法、装置和电子设备的应用场景；

图2示意性示出了根据本公开实施例的电子设备的视频防抖方法的流程图；

图3A示意性示出了根据本公开实施例的第一运动趋势曲线的示意图；

图3B示意性示出了根据本公开实施例的第二运动趋势曲线的示意图；

图3C示意性示出了根据本公开实施例的水平方向的防抖处理过程的示意图；

图3D示意性示出了根据本公开实施例的竖直方向的防抖处理过程的示意图；

图4示意性示出了根据本公开实施例的电子设备的视频防抖装置的框图；

图5示意性示出了根据本公开另一实施例的电子设备的视频防抖装置的框图；以及

图6示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种电子设备的视频防抖(Stabilization)方法、装置和电子设备。该方法包括视频帧图像获取阶段、防抖处理阶段、以及视频文件生成阶段。在电子设备开始进行视频拍摄时，进入视频帧图像获取阶段，获取视频帧图像。对于获取到的每个视频帧图像，在防抖处理阶段对该视频帧图像进行防抖处理，具体地，如果满足调整条件，基于至少两种防抖方式对该视频帧图像进行防抖处理。在电子设备拍摄视频的过程所获得的所有视频帧图像均经防抖处理后，进入视频文件生成阶段，基于防抖处理后的所述视频帧图像生成视频文件。

图1示意性示出了根据本公开实施例的电子设备的视频防抖方法、装置和电子设备的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，该应用场景展示了用户使用电子设备100拍摄视频的情景。当用户触发电子设备100上开始视频拍摄的实体按键或虚拟按键时，电子设备100开始视频拍摄。在视频拍摄的过程中，用户可以通过电子设备100的显示屏进行预览。当用户触发电子设备上结束视频拍摄的实体按键或虚拟按键时，电子设备100结束视频拍摄，上述视频拍摄过程生成视频文件并存储于指定存储空间中。后续用户可以根据需要对该视频文件进行观看、编辑、剪辑、传输等。

图1所示的电子设备100为智能手机，可以具有一个摄像头或者多个摄像头。在其他实施例中，电子设备100可以是具有显示屏且支持视频/图像拍摄的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等，在此不做限制。

在上述图1所示的场景中，由于用户在手持电子设备拍摄视频时的稳定性较差，导致拍摄视频的画面出现抖动，根据本公开实施例的电子设备的视频防抖方法和装置可以应用于图1所示的电子设备中，以得到画面稳定性较高的视频文件。

图2示意性示出了根据本公开实施例的电子设备的视频防抖方法的流程图。

如图2所示，该方法包括操作S201～S203。

在操作S201，获取视频帧图像。

其中，电子设备在拍摄视频的过程中，以一定的帧率获取视频帧图像，直至视频拍摄结束。所获取的视频帧图像的序列用于后续生成与该视频拍摄的过程对应的视频文件。

在操作S202，如果满足调整条件，基于至少两种防抖方式对所述视频帧图像进行防抖处理。

本操作S202对于操作S201获取到的每一视频帧图像，在满足调整条件的情况下，基于至少两种防抖方式对该视频帧图像进行防抖处理。

在操作S203，基于防抖处理后的所述视频帧图像生成视频文件。

其中，操作S201获取到的视频帧图像的序列经过操作S202的防抖处理后，得到修正后的视频帧图像的序列，本操作S203基于修正后的视频帧图像的序列生成视频文件，作为电子设备拍摄视频的过程的最终结果。

可见，图2所示的方法对于视频拍摄过程中获取到的视频帧图像的序列中的任一视频帧图像，在满足调整条件的情况下，基于至少两种防抖方式对视频帧图像进行防抖处理。由于不同的防抖方式针对不同特点的视频具有不同的防抖效果，多种防抖方式的结合能够发挥不同防抖方式的优势，避免落入单一防抖方式的局限，提高防抖处理的准确度，使得最终生成的视频文件的画面具有较高的稳定性，符合用户的观看需求。

在本公开的一个实施例中，根据本公开实施例的电子设备的视频防抖方法还可以包括：基于图像配准(Image Registration)方式获取所述视频帧图像在第一方向上的第一偏移量(offset)。其中，图像配准方式是通过对在不同时间下获取到的视频帧图像进行比对、匹配、分析、叠加进而获得视频帧图像的偏移量的方式。对于一个视频帧图像来说，第一偏移量是指该视频帧图像在第一方向上因抖动而产生的偏移量，可以表示为该视频帧图像中的特征在第一方向上的实际位置与无抖动情况下的理想位置之间的差异。

在此基础上，上述调整条件可以包括：视频帧图像在第一方向上的第一偏移量大于等于第一预定阈值。则进一步地，根据本公开实施例的电子设备的视频防抖方法还可以包括：如果不满足调整条件，确定所述第一偏移量为所述第一方向上的可信偏移量；以及基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

也就是说，在拍摄视频的过程中，对于获取到的每一视频帧图像，先基于图像配准方式获取该视频帧图像在第一方向上的第一偏移量。由于图像配准方式是基于图像本身的特征分析得到偏移量，当发生如视频画面突然发生大位移、画面中突然出现大面积物体等非抖动的强烈变化时，基于图像本身的特征无法判断出该变化是抖动变化还是非抖动变化，导致基于图像配准方式所获得的偏移量的准确度不稳定。因此，本实施例中通过判断基于图像配准方式获得的第一偏移量是否大于等于第一预定阈值来确定当前被处理的视频帧图像是否满足调整条件。在不满足调整条件的情况下，说明仍处于图像配准方式的可信范围内，确定基于图像配准方式获得的第一偏移量为第一方向上的可信偏移量，可以基于该可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。在满足调整条件的情况下，说明已超出图像配准方式的可信范围，此时需要基于至少两种防抖方式对视频帧图像进行防抖处理，以提高对于当前视频帧图像的防抖处理效果。

在本公开的一个实施例中，在满足调整条件的情况下，上述基于至少两种防抖方式对所述视频帧图像进行防抖处理可以包括：基于惯性测量(Inertial Measurement)方式获取所述视频帧图像在所述第一方向上的第二偏移量。其中，惯性测量方式是通过电子设备的惯性测量单元(Inertial Measurement Unit)测量拍摄视频的感光元件的姿态变化进而获得视频帧图像的偏移量的方式。对于一个视频帧图像来说，第二偏移量是指该视频帧图像在第一方向上因抖动而产生的偏移量，可以表示为拍摄该视频帧图像时感光元件在第一方向上的实际位置与无抖动情况下的理想位置之间的差异。如果所述第一偏移量与所述第二偏移量之间的绝对差值小于第二预定阈值，确定所述第一偏移量为所述第一方向上的可信偏移量，否则确定所述第二偏移量为所述第一方向上的可信偏移量；以及基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

也就是说，在经过调整条件判断出仅第一偏移量不可信的情况下，将基于图像匹配方式获得的第一偏移量和基于惯性测量方式获得的第二偏移量进行比对，如果二者一致则说明第一偏移量是准确的，如果二者不一致则说明第一偏移量不准确，以第二偏移量作为可信偏移量。基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理，以得到更好的防抖处理效果。

下面对获取视频帧图像的第一偏移量和第二偏移量的过程进行具体说明。

在本公开的一个实施例中，上述基于图像配准方式获取视频帧图像在第一方向上的第一偏移量可以包括：首先，以所述视频帧图像中的一个或多个特征点为跟踪目标，分别获取所述跟踪目标在所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像中的第一位置参数。其中，第一预定数量和第二预定数量均可以根据实际需要进行设置。然后，根据上述获取到的多个第一位置参数在所述第一方向上的变化，计算获得第一运动趋势曲线。接着，根据所述第一运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第一无抖动位置参数。以及，将所述跟踪目标在所述视频帧图像中所述第一方向上的第一位置参数和所述第一无抖动位置参数之间的差值作为所述第一偏移量。

以第一方向为水平方向为例进行说明。对于一个视频帧图像A，以该视频帧图像A中的一个或多个特征点为跟踪目标，该视频帧图像A之前的5个视频帧图像为视频帧图像A1～A5，该视频帧图像A之后的3个视频帧图像为视频帧图像A6～A8，即视频帧图像A与之前的5个视频帧图像以及之后的3个视频帧图像组成的视频帧图像的序列为：{A1，A2，A3，A4，A5，A，A6，A7，A8}。现对视频帧图像A进行防抖处理，分别获取所述跟踪目标在视频帧图像A1～A5、视频帧图像A、以及视频帧图像A6～A8中的第一位置参数。例如，跟踪目标在视频帧图像A1中的位置坐标为(x₁₁，y₁₁)，跟踪目标在视频帧图像A2中的位置坐标为(x₂₁，y₂₁)，跟踪目标在视频帧图像A3中的位置坐标为(x₃₁，y₃₁)，跟踪目标在视频帧图像A4中的位置坐标为(x₄₁，y₄₁)，跟踪目标在视频帧图像A5中的位置坐标为(x₅₁，y₅₁)，跟踪目标在视频帧图像A中的位置坐标为(x₁，y₁)，跟踪目标在视频帧图像A6中的位置坐标为(x₆₁，y₆₁)，跟踪目标在视频帧图像A7中的位置坐标为(x₇₁，y₇₁)，跟踪目标在视频帧图像A8中的位置坐标为(X₈₁，y₈₁)。以水平方向为例，根据上述获取到的多个第一位置参数在水平方向上的变化，计算获得第一运动趋势曲线，参见图3A。

图3A示意性示出了根据本公开实施例的第一运动趋势曲线的示意图。

如图3A所示，以9个离散点表示跟踪目标在上述视频帧图像A1～A5、视频帧图像A、以及视频帧图像A6～A8中的水平位置。每个离散点的横坐标表示相应视频帧图像的获取时间，每个离散点的纵坐标表示跟踪目标在相应视频帧图像中的水平位置坐标。基于上述9个离散点能够拟合得到第一运动趋势曲线，该第一运动趋势曲线用于表征在无抖动的情况下跟踪目标在水平方向上的运动趋势。根据该第一运动趋势曲线可以确定与视频帧图像A对应的水平方向的第一无抖动位置参数，具体地，在该第一运动趋势曲线上与视频帧图像A的获取时间对应的点的纵坐标即为跟踪目标在在视频帧图像A中的无抖动水平位置坐标x₁’。将跟踪目标在视频帧图像A中的水平位置坐标x₁和无抖动水平位置坐标x₁’之间的差值作为视频帧图像A的第一偏移量。该过程的含义是，跟踪目标原本应当在视频帧图像A中的水平方向上的x₁’处，实际上发现跟踪目标实际上在视频帧图像A中的水平方向的x₁处，如果x₁不等于x₁’，说明发生了抖动，该抖动的大小为二者的绝对差值，当x₁大于x₁’时，说明向水平正方向发生了抖动，当x₁小于x₁’时，说明向水平负方向发生了抖动。需要说明的是，基于图像配准方式获得视频帧图像A在竖直方向上的第一偏移量的过程与上述同理，在此不再赘述。

在本公开的一个实施例中，上述基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量可以包括：首先，基于所述电子设备的惯性传感器(InertialSensor)，分别获取所述电子设备在获取所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像时的姿态参数。接着，根据所述姿态参数分别确定与所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像对应的第二位置参数。其中，第一预定数量和第二预定数量均可以根据实际需要进行设置。接着，根据所述第二位置参数在所述第一方向上的变化，计算获得第二运动趋势曲线。然后，根据所述第二运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第二无抖动位置参数。以及，将与所述视频帧图像对应的所述第一方向上的第二位置参数和所述第二无抖动位置参数之间的差值作为所述第二偏移量。

沿用上文中对视频帧图像的序列{A1，A2，A3，A4，A5，A，A6，A7，A8}中的视频帧图像A进行防抖处理的例子，在确定满足调整条件后，利用电子设备中配置的惯性传感器分别获取电子设备在拍摄视频帧图像A1～A5、视频帧图像A、以及视频帧图像A6～A8时的姿态参数。根据电子设备在拍摄视频帧图像A1时的姿态参数可以转换为电子设备在拍摄视频帧图像A1时的感光元件的位置参数，该位置参数即为与视频帧图像A1对应的第二位置参数，对于其他视频帧图像同理。例如，根据电子设备在拍摄视频帧图像A1时的姿态参数转换得到与视频帧图像A1对应的位置坐标为(x₁₂，y₁₂)，根据电子设备在拍摄视频帧图像A2时的姿态参数转换得到与视频帧图像A2对应的位置坐标为(x₂₂，y₂₂)，根据电子设备在拍摄视频帧图像A3时的姿态参数转换得到与视频帧图像A3对应的位置坐标为(x₃₂，y₃₂)，根据电子设备在拍摄视频帧图像A4时的姿态参数转换得到与视频帧图像A4对应的位置坐标为(x₄₂，y₄₂)，根据电子设备在拍摄视频帧图像A5时的姿态参数转换得到与视频帧图像A5对应的位置坐标为(x₅₂，y₅₂)，根据电子设备在拍摄视频帧图像A时的姿态参数转换得到与视频帧图像A对应的位置坐标为(x₂，y₂)，根据电子设备在拍摄视频帧图像A6时的姿态参数转换得到与视频帧图像A6对应的位置坐标为(x₆₂，y₆₂)，根据电子设备在拍摄视频帧图像A7时的姿态参数转换得到与视频帧图像A7对应的位置坐标为(x₇₂，y₇₂)，根据电子设备在拍摄视频帧图像A8时的姿态参数转换得到与视频帧图像A8对应的位置坐标为(X₈₂，y₈₂)。以水平方向为例，根据上述获取到的多个第二位置参数在水平方向上的变化，计算获得第二运动趋势曲线，参见图3B。

图3B示意性示出了根据本公开实施例的第二运动趋势曲线的示意图。

如图3B所示，以9个离散点表示与上述视频帧图像A1～A5、视频帧图像A、以及视频帧图像A6～A8对应的水平位置。每个离散点的横坐标表示相应视频帧图像的获取时间，每个离散点的纵坐标表示与相应视频帧图像对应的水平位置坐标。基于上述9个离散点能够拟合得到第二运动趋势曲线，该第二运动趋势曲线用于表征在无抖动的情况下电子设备的感光元件在水平方向上的运动趋势。根据该第二运动趋势曲线可以确定与视频帧图像A对应的水平方向的第二无抖动位置参数，具体地，在该第二运动趋势曲线上与视频帧图像A的获取时间对应的点的纵坐标即为与视频帧图像A对应的无抖动水平位置坐标x₂’。将与视频帧图像A对应的水平位置坐标x₂和无抖动水平位置坐标x₂’之间的差值作为视频帧图像A的第二偏移量。该过程的含义是，拍摄视频帧图像A时电子设备的感光元件原本应当在水平方向上的x₂’处，实际上发现拍摄视频帧图像A时电子设备的感光元件在水平方向的x₁处，如果x₁不等于x₁’，说明发生了抖动，该抖动的大小为二者的绝对差值，当x₁大于x₁’时，说明向水平正方向发生了抖动，当x₁小于x₁’时，说明向水平负方向发生了抖动。需要说明的是，基于惯性测量方式获得视频帧图像A在竖直方向上的第二偏移量的过程与上述同理，在此不再赘述。

上述例子中已经说明，第一方向可以是水平方向或竖直方向。对于视频拍摄过程中获取到的每一视频帧图像，可以分别在该视频帧图像的水平方向和竖直方向进行上述防抖处理过程，参见图3C和图3D。

图3C示意性示出了根据本公开实施例的水平方向的防抖处理过程的示意图。

图3D示意性示出了根据本公开实施例的竖直方向的防抖处理过程的示意图。

对于视频拍摄过程获取的视频帧图像的序列，图3C在上方示出了与视频帧图像对应的实际水平位置坐标随时间变化的第一曲线。对第一曲线进行平滑处理后得到第二曲线，第二曲线表示与视频帧图像对应的无抖动理想水平位置坐标随时间的变化。其中，第一曲线上的点可以是基于图像配准方式获得的，或者可以是基于图像配准方式和惯性测量方式结合获得的。图3C在下方示出了与视频帧图像对应的水平偏移量随时间变化的第三曲线，在该第三曲线上，与任一视频帧图像对应的偏移量等于在第一曲线上与该视频帧图像对应的位置坐标和在第二曲线上与该视频帧图像对应的位置坐标之间的差值。

对于视频拍摄过程获取的视频帧图像的序列，图3D在上方示出了与视频帧图像对应的实际竖直位置坐标随时间变化的第四曲线。对第四曲线进行平滑处理后得到第五曲线，第五曲线表示与视频帧图像对应的无抖动理想竖直位置坐标随时间的变化。其中，第四曲线上的点可以是基于图像配准方式获得的，或者可以是基于图像配准方式和惯性测量方式结合获得的。图3D在下方示出了与视频帧图像对应的竖直偏移量随时间变化的第六曲线，在该第六曲线上，与任一视频帧图像对应的偏移量等于在第四曲线上与该视频帧图像对应的位置坐标和在第五曲线上与该视频帧图像对应的位置坐标之间的差值。

基于图3C所示的水平偏移量的第三曲线，可以对视频帧图像的序列中任一视频帧图像进行水平方向的防抖补偿处理，基于图3D所示的竖直偏移量的第六曲线，可以对视频帧图像的序列中任一视频帧图像进行竖直方向的防抖补偿处理。对于视频拍摄过程中获取到的视频帧图像的序列，其中每一视频帧图像均经过水平方向和竖直方向的防抖处理后，得到修正后的视频帧图像的序列，则上述基于防抖处理后的所述视频帧图像生成视频文件包括：基于上述经水平方向和竖直方向的防抖处理后的多个视频帧图像组成的修正后的视频帧图像的序列，生成最终的视频文件。

图4示意性示出了根据本公开实施例的电子设备的视频防抖装置的框图。

如图4所示，电子设备的视频防抖装置400包括：第一获取模块410、第一处理模块420、以及生成模块430。

第一获取模块410用于获取视频帧图像。

第一处理模块420用于当满足调整条件时，基于至少两种防抖方式对所述视频帧图像进行防抖处理。

生成模块430用于基于防抖处理后的所述视频帧图像生成视频文件。

图5示意性示出了根据本公开另一实施例的电子设备的视频防抖装置的框图。

如图5所示，电子设备的视频防抖装置500包括：第一获取模块510、第一处理模块520、以及生成模块530。第一获取模块510、第一处理模块520、以及生成模块530分别具有与第一获取模块410、第一处理模块420、以及生成模块430对应相同的功能，重复的部分不再赘述。

在本公开的一个实施例中，电子设备的视频防抖装置500还包括第二获取模块540，用于基于图像配准方式获取所述视频帧图像在第一方向上的第一偏移量。则上述调整条件包括：所述第一偏移量大于等于第一预定阈值。

进一步地，电子设备的视频防抖装置500还包括第一确定模块550和第二处理模块560。

第一确定模块550用于当不满足调整条件时，确定所述第一偏移量为所述第一方向上的可信偏移量。以及第二处理模块560用于基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

具体地，作为一个可选的实施例，第二获取模块540包括：第二获取子模块541、第一计算子模块542、第二确定子模块543、以及第三确定子模块544。

第二获取子模块541用于以所述视频帧图像中的一个或多个特征点为跟踪目标，分别获取所述跟踪目标在所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像中的第一位置参数。第一计算子模块542用于根据所述第一位置参数在所述第一方向上的变化，计算获得第一运动趋势曲线。第二确定子模块543用于根据所述第一运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第一无抖动位置参数。以及第三确定子模块544用于将所述跟踪目标在所述视频帧图像中所述第一方向上的第一位置参数和所述第一无抖动位置参数之间的差值作为所述第一偏移量。

其中可选地，上述第一方向包括：水平方向或竖直方向。生成模块530具体用于基于经过水平方向和竖直方向的补偿防抖处理的多个视频帧图像，生成视频文件。

在本公开的一个实施例中，第一处理模块520包括：第一获取子模块521、第一确定子模块522、以及第一处理子模块523。

第一获取子模块521用于基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量。第一确定子模块522用于当所述第一偏移量与所述第二偏移量之间的绝对差值小于第二预定阈值时，确定所述第一偏移量为所述第一方向上的可信偏移量，否则确定所述第二偏移量为所述第一方向上的可信偏移量。以及第一处理子模块523用于基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

具体地，作为一个可选的实施例，第一获取子模块521包括：获取单元、确定单元、计算单元、第一确定单元、以及第二确定单元。

获取单元用于基于所述电子设备的惯性传感器，分别获取所述电子设备在获取所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像时的姿态参数。确定单元用于根据所述姿态参数分别确定与所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像对应的第二位置参数。计算单元用于根据所述第二位置参数在所述第一方向上的变化，计算获得第二运动趋势曲线。第一确定单元用于根据所述第二运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第二无抖动位置参数。以及第二确定单元用于将与所述视频帧图像对应的所述第一方向上的第二位置参数和所述第二无抖动位置参数之间的差值作为所述第二偏移量。

需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一获取模块510、第一处理模块520、生成模块530、第二获取模块540、第一确定模块550、和第二处理模块560中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块510、第一处理模块520、生成模块530、第二获取模块540、第一确定模块550、和第二处理模块560中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块510、第一处理模块520、生成模块530、第二获取模块540、第一确定模块550、和第二处理模块560中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600包括处理器610和计算机可读存储介质620。该电子设备600可以执行根据本公开实施例的方法。

具体地，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质620，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行根据本公开实施例的方法或其任何变形。

计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括621A、模块621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，第一获取模块510、第一处理模块520、生成模块530、第二获取模块540、第一确定模块550、和第二处理模块560中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上文所述的电子设备的视频防抖方法。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种电子设备的视频防抖方法，包括：

获取视频帧图像；

如果满足调整条件，基于至少两种防抖方式对所述视频帧图像进行防抖处理；以及

基于防抖处理后的所述视频帧图像生成视频文件。

2.根据权利要求1所述的方法，还包括：基于图像配准方式获取所述视频帧图像在第一方向上的第一偏移量；

所述调整条件包括：所述第一偏移量大于等于第一预定阈值；

所述方法还包括：

如果不满足调整条件，确定所述第一偏移量为所述第一方向上的可信偏移量；以及

基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

3.根据权利要求2所述的方法，其中，所述基于至少两种防抖方式对所述视频帧图像进行防抖处理包括：

基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量；

如果所述第一偏移量与所述第二偏移量之间的绝对差值小于第二预定阈值，确定所述第一偏移量为所述第一方向上的可信偏移量，否则确定所述第二偏移量为所述第一方向上的可信偏移量；以及

基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

4.根据权利要求2所述的方法，其中：

所述第一方向包括：水平方向或竖直方向；

所述基于防抖处理后的所述视频帧图像生成视频文件包括：基于经过水平方向和竖直方向的补偿防抖处理的多个视频帧图像，生成视频文件。

5.根据权利要求2所述的方法，其中，所述基于图像配准方式获取所述视频帧图像在第一方向上的第一偏移量包括：

以所述视频帧图像中的一个或多个特征点为跟踪目标，分别获取所述跟踪目标在所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像中的第一位置参数；

根据所述第一位置参数在所述第一方向上的变化，计算获得第一运动趋势曲线；

根据所述第一运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第一无抖动位置参数；以及

将所述跟踪目标在所述视频帧图像中所述第一方向上的第一位置参数和所述第一无抖动位置参数之间的差值作为所述第一偏移量。

6.根据权利要求3所述的方法，其中，所述基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量包括：

基于所述电子设备的惯性传感器，分别获取所述电子设备在获取所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像时的姿态参数；

根据所述姿态参数分别确定与所述视频帧图像之前的第一预定数量的视频帧图像、所述视频帧图像、以及所述视频帧图像之后的第二预定数量的视频帧图像对应的第二位置参数；

根据所述第二位置参数在所述第一方向上的变化，计算获得第二运动趋势曲线；

根据所述第二运动趋势曲线确定与所述视频帧图像对应的所述第一方向的第二无抖动位置参数；以及

将与所述视频帧图像对应的所述第一方向上的第二位置参数和所述第二无抖动位置参数之间的差值作为所述第二偏移量。

7.一种电子设备的视频防抖装置，包括：

第一获取模块，用于获取视频帧图像；

第一处理模块，用于当满足调整条件时，基于至少两种防抖方式对所述视频帧图像进行防抖处理；以及

生成模块，用于基于防抖处理后的所述视频帧图像生成视频文件。

8.根据权利要求7所述的装置，还包括：第二获取模块，用于基于图像配准方式获取所述视频帧图像在第一方向上的第一偏移量；

所述调整条件包括：所述第一偏移量大于等于第一预定阈值；

所述方法还包括：

第一确定模块，用于当不满足调整条件时，确定所述第一偏移量为所述第一方向上的可信偏移量；以及

第二处理模块，用于基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

9.根据权利要求8所述的装置，其中，所述第一处理模块包括：

第一获取子模块，用于基于惯性测量方式获取所述视频帧图像在所述第一方向上的第二偏移量；

第一确定子模块，用于当所述第一偏移量与所述第二偏移量之间的绝对差值小于第二预定阈值时，确定所述第一偏移量为所述第一方向上的可信偏移量，否则确定所述第二偏移量为所述第一方向上的可信偏移量；以及

第一处理子模块，用于基于所述可信偏移量对所述视频帧图像进行所述第一方向的补偿防抖处理。

10.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于实现：

获取视频帧图像；

如果满足调整条件，基于至少两种防抖方式对所述视频帧图像进行防抖处理；以及

基于防抖处理后的所述视频帧图像生成视频文件。