CN108600622A - 一种视频防抖的方法及装置 - Google Patents

Abstract

本申请公开了一种视频防抖的方法及装置。视频防抖的方法，所述视频防抖的方法包括：获取图像帧以及与所述图像帧分别对应的姿态信息，其中，图像帧包括当前图像帧和历史图像帧；将所述当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较；响应于所述差值不大于所述阈值，对所述当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；根据处理后的姿态信息对所述当前图像帧进行处理。本申请实施例的视频防抖的方法及装置，处理后的图像帧进行了校正处理，能够实现稳像的效果，而且整个过程不需要对图像进行分割，因此处理后的图像不会具有毛刺感。

Description

一种视频防抖的方法及装置

技术领域

本申请涉及电子技术领域，特别涉及一种视频防抖的方法及装置。

背景技术

现在的手持式电子设备，一般都不会外加一个防抖装置，那么在拍摄视频的时候，由于设备的重量及人身体不可避免的一些抖动，将导致电子设备的拍摄系统有一定的抖动，进而使得拍摄的视频也发生抖动。

目前市面上有例如cinematic的app(应用程序)可以进行防抖，它是基于图像画面分割进行补偿，这样做的优点是处理后的图像比较平滑，但是图像由于经过分割，在拼接处需要通过一定的平滑技术进行模糊平滑处理，因此在拍摄系统连续摇晃或抖动的时候会使处理后的图像有很大的毛刺感。

申请内容

本申请实施例的目的在于提供一种视频防抖的方法及装置，该方法及相应装置能够获得更好的稳像效果，提高用户体验。

为了解决上述技术问题，本申请的实施例采用了如下技术方案：一种视频防抖的方法，所述视频防抖的方法包括：

获取图像帧以及与所述图像帧分别对应的姿态信息，其中，图像帧包括当前图像帧和历史图像帧；

将所述当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较；

响应于所述差值不大于所述阈值，对所述当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；

根据处理后的姿态信息对所述当前图像帧进行处理。

作为优选，所述视频防抖的方法还包括：

响应于所述差值大于所述阈值，将所述当前图像帧以及所述当前图像帧对应的姿态信息分别替换为所述历史图像帧以及所述历史图像帧对应的姿态信息。

作为优选，对所述图像帧对应的姿态信息进行处理以形成处理后的姿态信息，包括：

对所述当前图像帧对应的姿态信息进行线性差值或球面线性差值处理以形成处理后的姿态信息。

作为优选，所述姿态信息包括所述图像帧的旋转数据、平移数据、缩放数据以及深度数据中的至少一个。

作为优选，所述视频防抖的方法还包括：

获取所述图像帧对应的时间戳信息；

基于所述时间戳信息将处理后的所述当前图像帧作为下一帧图像帧的所述历史图像帧。

本申请实施例还公开了一种视频防抖的装置，包括处理器和存储器，

所述处理器与所述存储器连接，所述处理器执行：

获取图像帧以及与所述图像帧分别对应的姿态信息，其中，图像帧包括当前图像帧和历史图像帧；

将所述当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较；

响应于所述差值不大于所述阈值，对所述当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；

根据处理后的姿态信息对所述当前图像帧进行处理。

作为优选，所述处理器执行：响应于所述差值大于所述阈值，将所述当前图像帧以及所述当前图像帧对应的姿态信息分别替换为所述历史图像帧以及所述历史图像帧对应的姿态信息。

作为优选，所述处理器执行：

对所述当前图像帧对应的姿态信息进行线性差值或球面线性差值处理以形成处理后的姿态信息。

作为优选，所述姿态信息包括所述图像帧的旋转数据、平移数据、缩放数据以及深度数据中的至少一个。

作为优选，所述处理器还执行：获取所述图像帧对应的时间戳信息；

基于所述时间戳信息将处理后的所述当前图像帧作为下一帧图像帧的所述历史图像帧。

本申请实施例的有益效果在于：获取图像帧以及与图像帧分别对应的姿态信息，图像帧包括当前图像帧和历史图像帧，将当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较，响应于差值不大于阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息，根据处理后的姿态信息对当前图像帧进行处理，处理后的图像帧进行了校正处理，能够实现稳像的效果，而且整个过程不需要对图像进行分割，因此处理后的图像不会具有毛刺感。

附图说明

图1示出了本申请实施例的视频防抖的方法的流程示意图；

图2示出了本申请实施例的视频防抖的装置的结构框图。

具体实施方式

此处参考附图描述本申请的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所公开的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

如图1所示，本申请实施例公开了一种视频防抖的方法，视频防抖的方法包括：

S1，获取图像帧以及与图像帧分别对应的姿态信息，其中，图像帧包括当前图像帧和历史图像帧。

获取的图像帧至少为两帧，每帧图像帧分别对应有姿态信息。其中，每帧图像帧对应的姿态信息发生变化是由于拍摄视频时摄像设备抖动造成的。获取的图像帧以及与图像帧分别对应的姿态信息可以是直接获得的，也可以通过接收其他设备发送的数据获得的。历史图像帧指的是本次视频拍摄过程中早于当前图像帧的图像帧。

S2，将当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较。

历史图像帧可以指当前图像帧之前的某一帧图像帧或者多帧图像帧，历史图像帧的姿态信息指的是一帧图像帧对应的姿态信息或者多帧图像帧分别对应的姿态信息的平均值。其中，多帧图像帧对应的姿态信息的平均值可以是对多帧图像帧分别对应的姿态信息进行算数平均或加权平均得到的平均值，对多帧图像帧分别对应的姿态信息进行加权平均时，多帧图像帧中的每一帧图像帧越靠近当前图像帧，多帧图像帧中的每一帧图像对应的姿态信息的加权系数越大。

将图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较具体可以包括：将当前图像帧对应的姿态信息与一帧历史图像帧的姿态信息的差值进行计算，进而将该差值与第一阈值进行比较；或者将当前图像帧对应的姿态信息与多帧历史图像帧的姿态信息的平均值的差值进行计算，进而将该差值与第二阈值进行比较。其中，第一阈值和第二阈值的设定可以根据经验预先设定。

S3，响应于差值不大于阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息。

响应于差值不大于阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息具体可以包括：响应于当前图像帧对应的姿态信息与一帧历史图像帧的姿态信息的差值不大于第一阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；或者响应于当前图像帧对应的姿态信息与多帧历史图像帧的姿态信息的平均值的差值不大于第二阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息。处理后的姿态信息表征当前图像帧的新的姿态。

S4，根据处理后的姿态信息对当前图像帧进行处理。

根据处理后的姿态信息对当前图像帧进行处理具体包括：根据处理后的姿态信息将当前图像帧处理为当前图像帧的新的姿态。具体的，对当前图像帧进行处理时，可以是对当前图像帧进行旋转、剪裁或移动等图像处理。

根据处理后的姿态信息对当前图像帧进行处理后，可以继续对当前图像帧的下一帧图像进行处理，过程类似于对当前图像帧的描述，在此不再赘述。其中，可以通过获取所有图像帧以及所有图像帧分别对应的姿态信息后对每一帧当前图像帧进行处理，还可以通过获取到当前图像帧以及当前图像帧对应的姿态信息后就对当前图像帧进行处理。

对图像帧进行处理后，可以将处理后的图像帧渲染到屏幕上并保存。

本申请的方案中，获取图像帧以及与图像帧分别对应的姿态信息，图像帧包括当前图像帧和历史图像帧，将当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较，响应于差值不大于阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息，根据处理后的姿态信息对当前图像帧进行处理，处理后的图像帧进行了校正处理，能够实现稳像的效果，而且整个过程不需要对图像进行分割，因此处理后的图像不会具有毛刺感。

在一个实施例中，视频防抖的方法还包括：

响应于差值大于阈值，将当前图像帧以及当前图像帧对应的姿态信息分别替换为历史图像帧以及历史图像帧对应的姿态信息。

具体的，响应于当前图像帧对应的姿态信息与一帧历史图像帧的姿态信息的差值大于第一阈值，将当前图像帧以及当前图像帧对应的姿态信息分别替换为一帧历史图像帧以及一帧历史图像帧对应的姿态信息，或者响应于当前图像帧对应的姿态信息与多帧历史图像帧的姿态信息的差值大于第二阈值，将当前图像帧以及当前图像帧对应的姿态信息分别替换为多帧历史图像帧的平均值以及多帧历史图像帧对应的姿态信息的平均值。其中，将当前图像帧替换为一帧历史图像帧，指的是将当前图像帧的RGB数据替换为一帧历史图像帧的RGB数据。将当前图像帧替换为多帧历史图像帧的平均值，指的是将当前图像帧的RGB数据替换为多帧历史图像帧的RGB数据的平均值，其中，多帧历史图像帧的RGB数据的平均值可以是对多帧历史图像帧分别对应的RGB数据进行算数平均或加权平均得到的平均值。对多帧历史图像帧分别对应的RGB数据进行加权平均时，多帧历史图像帧中的每一帧图像帧越靠近当前图像帧，多帧历史图像帧中的每一帧图像对应的RGB数据的加权系数越大。

将当前图像帧以及当前图像帧对应的姿态信息分别替换为历史图像帧以及历史图像帧对应的姿态信息，相当于将历史图像帧以及历史图像帧对应的姿态信息填充当前图像帧以及当前图像帧对应的姿态信息。其中，历史图像帧以及历史图像帧对应的姿态信息可以是经过本申请的视频防抖方法处理后的图像帧以及图像帧对应的姿态信息。

在一个实施例中，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息，包括：

对当前图像帧对应的姿态信息进行线性差值或球面线性差值处理以形成处理后的姿态信息。

具体地，对当前图像帧对应的姿态信息进行线性差值或球面线性差值处理需要获取至少两帧历史图像帧以及至少两帧历史图像帧分别对应的姿态信息，根据至少两帧历史图像帧以及至少两帧历史图像帧对当前图像帧对应的姿态信息进行线性差值或球面线性处理。例如，第一帧历史图像帧对应的姿态信息的坐标为(0,0)，第二帧历史图像帧对应的姿态信息的坐标为(2,2)，则将当前图像帧对应的姿态信息的坐标处理为(4,4)。

在一个实施例中，姿态信息包括图像帧的旋转数据、平移数据、缩放数据以及深度数据中的至少一个。

利用tango系统可以获得图像帧的姿态信息，其中tango系统集成了IMU(惯性测量单元)、鱼眼摄像头、深度镜头、主摄像头(采集图像的RGB数据)，这样tango系统能够对各个子设备获得信息进行融合，实现对姿态信息的感知。tango系统中的时间基准是一致的，不会存在时间误差以及时间差异的积累，从而能够更好的基于姿态信息匹配当前的帧状态。

在一个实施例中，视频防抖的方法还包括：

获取图像帧对应的时间戳信息；

基于时间戳信息将处理后的当前图像帧作为下一帧图像帧的历史图像帧。

其中，tango系统可以提供带有时间戳信息的图像帧，根据图像帧对应的时间戳信息可以确定每帧图像帧的前后顺序，将处理后的当前图像帧作为下一帧图像帧的历史图像帧，下一帧图像帧可以基于当前图像帧进行处理。

如图2所示，本申请实施例还公开了一种视频防抖的装置，包括处理器1和存储器2，处理器1与存储器2连接，处理器1执行：

获取图像帧以及与图像帧分别对应的姿态信息，其中，图像帧包括当前图像帧和历史图像帧；

将当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较；

响应于差值不大于所述阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；

根据处理后的姿态信息对当前图像帧进行处理。

获取的图像帧至少为两帧，每帧图像帧分别对应有姿态信息。其中，每帧图像帧对应的姿态信息发生变化是由于拍摄视频时摄像设备抖动造成的。历史图像帧指的是本次视频拍摄过程中早于当前图像帧的图像帧，历史图像帧可以指当前图像帧之前的某一帧图像帧或者多帧图像帧。历史图像帧的姿态信息指的是一帧图像帧对应的姿态信息或者多帧图像帧分别对应的姿态信息的平均值。其中，多帧图像帧对应的姿态信息的平均值可以是对多帧图像帧分别对应的姿态信息进行算数平均或加权平均得到的平均值，对多帧图像帧分别对应的姿态信息进行加权平均时，多帧图像帧中的每一帧图像帧越靠近当前图像帧，多帧图像帧中的每一帧图像对应的姿态信息的加权系数越大。

将图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较具体可以包括：将当前图像帧对应的姿态信息与一帧历史图像帧的姿态信息的差值进行计算，进而将该差值与第一阈值进行比较；或者将当前图像帧对应的姿态信息与多帧历史图像帧的姿态信息的平均值的差值进行计算，进而将该差值与第二阈值进行比较。

响应于差值不大于阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息具体可以包括：响应于当前图像帧对应的姿态信息与一帧历史图像帧的姿态信息的差值不大于第一阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；或者响应于当前图像帧对应的姿态信息与多帧历史图像帧的姿态信息的平均值的差值不大于第二阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息。处理后的姿态信息表征当前图像帧的新的姿态。

根据处理后的姿态信息对当前图像帧进行处理具体包括：根据处理后的姿态信息将当前图像帧处理为当前图像帧的新的姿态。具体的，对当前图像帧进行处理时，可以是对当前图像帧进行旋转、剪裁或移动等图像处理。

根据处理后的姿态信息对当前图像帧进行处理后，可以继续对当前图像帧的下一帧图像进行处理，过程类似于对当前图像帧的描述，在此不再赘述。其中，可以通过获取所有图像帧以及所有图像帧分别对应的姿态信息后对每一帧当前图像帧进行处理，还可以通过获取到当前图像帧以及当前图像帧对应的姿态信息后就对当前图像帧进行处理。

对图像帧进行处理后，可以将处理后的图像帧渲染到屏幕上并保存。

本申请的方案中，获取图像帧以及与图像帧分别对应的姿态信息，图像帧包括当前图像帧和历史图像帧，将当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较，响应于差值不大于阈值，对当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息，根据处理后的姿态信息对当前图像帧进行处理，处理后的图像帧进行了校正处理，能够实现稳像的效果，而且整个过程不需要对图像进行分割，因此处理后的图像不会具有毛刺感。

作为优选实施例，处理器1执行：响应于差值大于阈值，将当前图像帧以及当前图像帧对应的姿态信息分别替换为历史图像帧以及历史图像帧对应的姿态信息。

具体的，响应于当前图像帧对应的姿态信息与一帧历史图像帧的姿态信息的差值大于第一阈值，将当前图像帧以及当前图像帧对应的姿态信息分别替换为一帧历史图像帧以及一帧历史图像帧对应的姿态信息，或者响应于当前图像帧对应的姿态信息与多帧历史图像帧的姿态信息的差值大于第二阈值，将当前图像帧以及当前图像帧对应的姿态信息分别替换为多帧历史图像帧的平均值以及多帧历史图像帧对应的姿态信息的平均值。其中，将当前图像帧替换为一帧历史图像帧，指的是将当前图像帧的RGB数据替换为一帧历史图像帧的RGB数据。将当前图像帧替换为多帧历史图像帧的平均值，指的是将当前图像帧的RGB数据替换为多帧历史图像帧的RGB数据的平均值，其中，多帧历史图像帧的RGB数据的平均值可以是对多帧历史图像帧分别对应的RGB数据进行算数平均或加权平均得到的平均值。对多帧历史图像帧分别对应的RGB数据进行加权平均时，多帧历史图像帧中的每一帧图像帧越靠近当前图像帧，多帧历史图像帧中的每一帧图像对应的RGB数据的加权系数越大。

将当前图像帧以及当前图像帧对应的姿态信息分别替换为历史图像帧以及历史图像帧对应的姿态信息，相当于将历史图像帧以及历史图像帧对应的姿态信息填充当前图像帧以及当前图像帧对应的姿态信息。其中，历史图像帧以及历史图像帧对应的姿态信息可以是经过本申请的视频防抖方法处理后的图像帧以及图像帧对应的姿态信息。

作为优选实施例，处理器1执行：

对当前图像帧对应的姿态信息进行线性差值或球面线性差值处理以形成处理后的姿态信息。

具体地，对当前图像帧对应的姿态信息进行线性差值或球面线性差值处理需要获取至少两帧历史图像帧以及至少两帧历史图像帧分别对应的姿态信息，根据至少两帧历史图像帧以及至少两帧历史图像帧对当前图像帧对应的姿态信息进行线性差值或球面线性处理。例如，第一帧历史图像帧对应的姿态信息的坐标为(0,0)，第二帧历史图像帧对应的姿态信息的坐标为(2,2)，则将当前图像帧对应的姿态信息的坐标处理为(4,4)。

作为优选实施例，姿态信息包括图像帧的旋转数据、平移数据、缩放数据以及深度数据中的至少一个。

利用tango系统可以获得图像帧的姿态信息，其中tango系统集成了IMU(惯性测量单元)、鱼眼摄像头、深度镜头、主摄像头(采集图像的RGB数据)，这样tango系统能够对各个子设备获得信息进行融合，实现对姿态信息的感知。tango系统中的时间基准是一致的，不会存在时间误差以及时间差异的积累，从而能够更好的基于姿态信息匹配当前的帧状态。

作为优选实施例，处理器1还执行：获取图像帧对应的时间戳信息；

基于时间戳信息将处理后的当前图像帧作为下一帧图像帧的所述历史图像帧。

其中，tango系统可以提供带有时间戳信息的图像帧，根据图像帧对应的时间戳信息可以确定每帧图像帧的前后顺序，将处理后的当前图像帧作为下一帧图像帧的历史图像帧，下一帧图像帧可以基于当前图像帧进行处理。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种视频防抖的方法，其特征在于，所述视频防抖的方法包括：

获取图像帧以及与所述图像帧分别对应的姿态信息，其中，图像帧包括当前图像帧和历史图像帧；

将所述当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较；

响应于所述差值不大于所述阈值，对所述当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；

根据处理后的姿态信息对所述当前图像帧进行处理。

2.根据权利要求1所述的视频防抖的方法，其特征在于，所述视频防抖的方法还包括：

响应于所述差值大于所述阈值，将所述当前图像帧以及所述当前图像帧对应的姿态信息分别替换为所述历史图像帧以及所述历史图像帧对应的姿态信息。

3.根据权利要求1所述的视频防抖的方法，其特征在于，对所述图像帧对应的姿态信息进行处理以形成处理后的姿态信息，包括：

对所述当前图像帧对应的姿态信息进行线性差值或球面线性差值处理以形成处理后的姿态信息。

4.根据权利要求1所述的视频防抖的方法，其特征在于，所述姿态信息包括所述图像帧的旋转数据、平移数据、缩放数据以及深度数据中的至少一个。

5.根据权利要求1所述的视频防抖的方法，其特征在于，所述视频防抖的方法还包括：

获取所述图像帧对应的时间戳信息；

基于所述时间戳信息将处理后的所述当前图像帧作为下一帧图像帧的所述历史图像帧。

6.一种视频防抖的装置，其特征在于，包括处理器和存储器，

所述处理器与所述存储器连接，所述处理器执行：

获取图像帧以及与所述图像帧分别对应的姿态信息，其中，图像帧包括当前图像帧和历史图像帧；

将所述当前图像帧对应的姿态信息与历史图像帧的姿态信息的差值与阈值进行比较；

响应于所述差值不大于所述阈值，对所述当前图像帧对应的姿态信息进行处理以形成处理后的姿态信息；

根据处理后的姿态信息对所述当前图像帧进行处理。

7.根据权利要求6所述的视频防抖的装置，其特征在于，所述处理器执行：响应于所述差值大于所述阈值，将所述当前图像帧以及所述当前图像帧对应的姿态信息分别替换为所述历史图像帧以及所述历史图像帧对应的姿态信息。

8.根据权利要求6所述的视频防抖的装置，其特征在于，所述处理器执行：

对所述当前图像帧对应的姿态信息进行线性差值或球面线性差值处理以形成处理后的姿态信息。

9.根据权利要求8所述的视频防抖的装置，所其特征在于，所述姿态信息包括所述图像帧的旋转数据、平移数据、缩放数据以及深度数据中的至少一个。

10.根据权利要求8所述的视频防抖的装置，其特征在于，所述处理器还执行：获取所述图像帧对应的时间戳信息；

基于所述时间戳信息将处理后的所述当前图像帧作为下一帧图像帧的所述历史图像帧。