CN110351508B - 基于录像模式的防抖处理方法和装置、电子设备 - Google Patents

Abstract

本申请涉及一种基于录像模式的防抖处理方法和装置、电子设备。该方法包括：获取录制指令，所述录制指令中包含录制模式；识别所述录制模式对应的当前分辨率和当前帧率，根据所述录制指令按照所述当前分辨率与当前帧率进行录制；在所述当前分辨率达到预设分辨率且所述当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理；在所述当前分辨率未达到预设分辨率或所述当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。采用本方法能够在不影响电子设备性能的情况下，对多种录制模式均可实现有效的防抖处理。

Description

基于录像模式的防抖处理方法和装置、电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于录像模式的防抖处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着电子设备的普及，通过电子设备的摄像头录制视频成为一种常见功能。摄像头在录制视频时，可以按照相应的录制模式进行录制。在传统方式中，虽然通过防抖处理可以使得录制的视频更加清晰，但是不同的录制模式在功耗和性能开销等方面存在不同，因此可能导致防抖处理会对电子设备的性能造成不利影响。

发明内容

本申请实施例提供一种基于录像模式的防抖处理方法、装置、电子设备、计算机可读存储介质，在不影响电子设备性能的情况下，对多种录制模式均可实现有效的防抖处理。

一种基于录像模式的防抖处理。

获取录制指令，所述录制指令中包含录制模式；

识别所述录制模式对应的当前分辨率和当前帧率，根据所述录制指令按照所述当前分辨率与当前帧率进行录制；

在所述当前分辨率达到预设分辨率且所述当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理；

在所述当前分辨率未达到预设分辨率或所述当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

一种基于录像模式的防抖处理装置，包括：

获取模块，用于获取录制指令，所述录制指令中包含录制模式；

录制模块，用于识别所述录制模式对应的当前分辨率和当前帧率，根据所述录制指令按照所述当前分辨率与当前帧率进行录制；

第一防抖模块，用于在所述当前分辨率达到预设分辨率且所述当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理；

第二防抖模块，用于在所述当前分辨率未达到预设分辨率或所述当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取录制指令，所述录制指令中包含录制模式；

识别所述录制模式对应的当前分辨率和当前帧率，根据所述录制指令按照所述当前分辨率与当前帧率进行录制；

在所述当前分辨率达到预设分辨率且所述当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理；

在所述当前分辨率未达到预设分辨率或所述当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取录制指令，所述录制指令中包含录制模式；

识别所述录制模式对应的当前分辨率和当前帧率，根据所述录制指令按照所述当前分辨率与当前帧率进行录制；

在所述当前分辨率达到预设分辨率且所述当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理；

在所述当前分辨率未达到预设分辨率或所述当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

上述基于录像模式的防抖处理方法、装置、电子设备和存储介质，在根据录制指令进行录制时，通过识别录制模式对应的当前分辨率和当前帧率，可以对不同的录制模式分别进行不同的防抖处理。其中，对于当前分别率达到预设分辨率且当前帧率达到预设帧率时，表示当前录制模式属于高分辨率高帧率模式，可以将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理。从而能够有效降低防抖处理时所需的功耗以及资源消耗，避免对电子设备的性能造成影响。对于当前分辨率未达到预设分辨率或者当前帧率未达到预设帧率时，表示防抖处理所需的功耗以及资源消耗在可接受程度内，采用实时防抖处理不会对电子设备造成性能影响。由此实现了在多种录制模式下，在不影响电子设备性能的情况下，均可进行有效的防抖处理。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中基于录像模式的防抖处理方法的应用环境图；

图2为一个实施例中基于录像模式的防抖处理方法的流程图；

图3为一个实施例中利用运动数据对缓存后的图像数据进行防抖处理步骤的流程图；

图4为一个实施例中利用运动数据对对缓存后的图像数据进行运动估计步骤的流程图；

图5为一个实施例中对录制的图像数据进行实时防抖处理步骤的流程图；

图6为一个实施例中基于录像模式的防抖处理装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中基于录像模式的防抖处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。其中，电子设备100包含有摄像头110。具体地，电子设备100可以接收录制指令，录制指令中包含录制模式。电子设备100识别录制模式对应的当前分辨率和当前帧率，使得摄像头110根据录制指令按照当前分辨率与当前帧率进行录制。在当前分辨率达到预设分辨率且当前帧率达到预设帧率时，电子设备100将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理。在当前分辨率未达到预设分辨率或当前帧率未达到预设帧率时，电子设备100对录制的图像数据进行实时防抖处理。电子设备100可以但不限于是各种手机、平板电脑或者个人数字助理或穿戴式设备等。

图2为一个实施例中基于录像模式的防抖处理方法的流程图。本实施例中的基于录像模式的防抖处理方法，以运行于图1中的终端上为例进行描述。

步骤202，获取录制指令，录制指令中包含录制模式。

电子设备的屏幕上可以显示录制模式以及用于录制的按钮或控件。录制模式中包括分辨率和帧率。分辨率包括高清分辨率和超高清分辨率等。其中，高清分辨率又可以包括高清和全高清，高清可以是720P，分辨率为1280×720。全高清可以是1080P，分辨率为1920×1080。超高清可以是4K，分辨率为3840×2160。帧率(Frames Per Second，简称为fps)是指每秒传输图像的帧数。分辨率越高，图像画面越清晰。帧率越高，图像画面越流畅。常见的帧率为30fps和60fps。在传统的方式中，电子设备只支持两种录像模式,即4K/30fps和1080P/60fps。这两种录制模式相比较而言，4K/30fps胜在图像画面清晰，1080P/60fps胜在图像画面流畅。通常要避免动作不流畅的最低FPS是30。虽然在画面清晰度上，4K/30fps优于1080P/60fps，但是4K/30fps占用存储空间理论上是1080P/60fps的4倍，功耗较高，且占用较多运算资源。

本实施例中，电子设备可以提供多种分辨率与帧率组合的录制模式。即将分辨率720P/1080P/4K与帧率30fps/60fps分别进行组合,得到录制模式包括：720P/30fps、1080P/30fps、4K/30fps、720P/60fps、1080P/60fps、4K/60fps。

步骤204，识别录制模式对应的当前分辨率和当前帧率，根据录制指令按照当前分辨率与当前帧率进行录制。

在录制模式被选定后，通过触发该按钮或控件，电子设备可以获取相应的录制指令。录制指令对应的录制模式中的分辨率可以称为当前分辨率，分辨率可以称为当前帧率。电子设备按照当前分辨率与当前帧率进行录制。

步骤206，在当前分辨率达到预设分辨率且当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理。

步骤208，在当前分辨率未达到预设分辨率且当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

由于不同的录制模式对电子设备的功耗要求以及运算资源的消耗是不同的。为了防止电子设备由于功耗较高以及运算资源被过多占用，造成掉帧等问题，电子设备可以对不同录制模式进行不同的防抖处理。

在当前分辨率达到预设分辨率时且当前帧率达到预设帧率时，可以称为当前录制模式为高分辨率高帧率模式。例如,当前分辨率为4K，当前帧率为60fps，可以将当前模式4K/60fps称为高帧率模式。电子设备根据录制指令进行录制时，对录制的图像数据进行缓存。在录制过程中，电子设备还可以通过加速度传感器采集当前录制模式下的运动数据，利用运动数据对缓存后的图像数据进行防抖处理。

在当前分辨率未达到预设分辨率时或当前帧率未达到预设帧率时，表示防抖处理所需的功耗以及资源消耗在电子设备可接受程度内，采用实时防抖处理不会对电子设备造成性能影响。电子设备可以对录制的图像数据进行实时防抖处理。例如，预设分辨率为4K，预设帧率为60fps。当前分辨率为1080P，当前帧率为60fps，当前模式为1080P/60fps时，电子设备可以对录制的图像进行实时防抖处理。或者当前分辨率为4K，当前帧率为30fps，当前模式为4K/30fps时，电子设备可以对录制的图像进行实时防抖处理。

本实施例中，在根据录制指令进行录制时，通过识别录制模式对应的当前分辨率和当前帧率，可以对不同的录制模式分别进行不同的防抖处理。其中，对于当前分别率达到预设分辨率且当前帧率达到预设帧率时，表示当前录制模式属于高分辨率高帧率模式，可以将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理。从而能够有效降低防抖处理时所需的功耗以及资源消耗，避免对电子设备的性能造成影响。对于当前分辨率未达到预设分辨率或者当前帧率未达到预设帧率时，表示防抖处理所需的功耗以及资源消耗在可接受程度内，采用实时防抖处理不会对电子设备造成性能影响。由此实现了在多种录制模式下，在不影响电子设备性能的情况下，均可进行有效的防抖处理。

在一个实施例中，该方法还包括：获取相邻帧图像之间对应的运动数据，将运动数据进行缓存；将录制的图像数据进行缓存，利用运动数据对对缓存后的图像数据进行防抖处理。

在当前分辨率达到预设分辨率且当前帧率达到预设帧率时，即电子设备处于高分辨率高帧率时，电子设备在预览时关闭防抖功能。在实时拍摄时，不做实时防抖处理。电子设备将拍摄的图像数据进行缓存。在电子设备按照拍摄指令进行拍摄时，电子设备还会启动加速度传感器，利用加速度传感器获取相邻帧图像之间对应的加速度数据，将加速度数据进行缓存。利用运动数据对缓存后的图像数据进行防抖处理。此外，电子设备还可以启动陀螺仪，利用陀螺仪采集角速度数据，将角速度数据进行缓存。其中，加速度数据与角速度数据可以统称为运动数据。

在一个实施例中，如图3所示，利用运动数据对缓存后的图像数据进行防抖处理的步骤包括：

步骤302，利用运动数据对对缓存后的图像数据进行运动估计。

步骤304，对运动估计后的图像数据进行运动补偿。

步骤306，将运动补偿后的图像数据进行图像校正。

在传统的防抖处理中，DIS(Digit Image Stabilization，数字图像防抖)是目前较为有效的防抖处理方法。传统的DIS防抖处理包括运动估计、运动补偿以及图像校正三个组成部分。其中，在进行运动估计时是通过对相邻帧图像之间的平移、旋转、缩放等多种参数来估计局部运动向量，然后通过局部运动向量估计全局运动矢量。传统的DIS中，运动估计由于运算量较大，由此导致运动估计的耗时较长，资源消耗较多，对电子设备的性能会造成一定程度的影响。

在其中一个实施例中，如图4所示，利用运动数据对对缓存后的图像数据进行运动估计的步骤包括：

步骤402，获取运动数据在多个方向的加速度，该运动数据包括电子设备在三维空间中多个方向的加速度。

步骤404，利用加速度与对应的运动时间，计算缓存后的图像数据对应的运动轨迹，其中，该图像数据对应的运动轨迹为电子设备在拍摄过程中的运动轨迹。

步骤406，根据运动轨迹计算图像数据对应的全局运动向量。

运动数据中记录了电子设备在三维空间中多个方向的加速度以及在每个方向的运动时间。例如，可以是X、Y、Z三个方向的加速度。电子设备对每个方向的加速度与时间进行积分计算，得到每个方向上的运动速度。通过对运动速度进行积分计算，可以得到相邻帧图像在每个方向上的运动距离。也就是，通过对每个方向的加速度进行计算，可以得到上一帧图像与下一帧图像在三维空间中每个方向的运动距离。电子设备可以选择两个方向或者三个方向上的运动时间和运动距离生成电子设备在拍摄过程中的运动轨迹，也就是缓存后的图像数据对应的运动轨迹。例如，电子设备可以选择X、Y方向计算电子设备在拍摄过程中水平移动的运动轨迹。电子设备利用相邻帧图像之间的运动距离、运动时间以及运动方向生成相邻帧图像所对应的全局运动矢量。

在传统的DIS防抖处理中，需要利用平面内的运动为电子设备的运动建模，所建立的模型与电子设备的实际运动状况可能并不符合。本实施例中，利用加速度传感器获取相邻帧图像之间的运动数据，能够较好的记录电子设备的运动状况。而且，加速度传感器所采集的运动数据，数据量较小，缓存运动数据并不会占用大量的存储空间。通过利用所缓存的电子数据进行运动估计，无需进行建模，由此能够有效降低防抖处理造成的功能以及性能影响。

通过运动数据计算得到全局运动矢量之后，电子设备利用该全局运动矢量对相邻帧的图像进行运动补偿。在其中一个实施例中，对运动估计后的图像数据进行运动补偿包括：在矢量差值超过预设范围时，将预设范围内的最大值与矢量差值做比对，得到补偿运动矢量值；利用补偿运动矢量对下一帧图像的全局运动矢量进行补偿。

在运动估计时，电子设备利用运动数据生成相应的运动轨迹。当运动轨迹平滑时，表示下一帧图像与上一帧图像之间的运动较为平稳，如果运动轨迹不平滑，表示下一帧图像与上一帧图像之间存在抖动。具体的，电子设备可以将下一帧图像的全局运动矢量与上一帧图像的全局运动矢量进行比对，得到矢量差值。如果矢量差值超出设定预设范围，表示下一帧图像与上一帧图像之间存在抖动。电子设备可以将预设范围内的最大值与矢量差值做比对，将两者之间的差值作为补偿运动矢量值，利用补偿运动矢量对下一帧图像的全局运动矢量进行补偿。由此使得下一帧图像的全局运动矢量与上一帧图像的全局运动矢量保持在预设范围内。

在进行运动补偿之后，电子设备对每一帧图像对应的运动轨迹进行曲线拟合，以此使得所拍摄的每一帧图像都能处于平滑运动的状态，从而对缓存的图像数据进行了有效的防抖处理。由于对缓存的图像进行防抖处理时，对传统DIS进行了改良，不仅有效降低了运算量，而且通过加速度传感器采集运动数据，能够真实的反映电子设备的运动状况，从而能够有效提高图像数据的防抖效果。

在一个实施例中，该方法还包括：获取缓存后的图像数据对应的录制时长；在录制时长超过预设时长时，对超过预设长的图像数据放弃防抖处理。

如果录制时长超过预设时长，对缓存后的图像数据全部进行防抖处理的耗时也会延长，运算资源的消耗也会增多，从而可能造成电子设备的性能受到影响。为了避免这一不利影响，本实施例中，电子设备可以预设时长内的图像数据参照上述实施例中提供的方式进行防抖处理，对于超过预设时间的图像数据放弃防抖处理。

进一步的，为了便于用户查看防抖处理后的图像数据，电子设备还可以将预设时长内经过防抖处理的图像数据单独生成相应的文件。

在一个实施例中，如图5所示，对录制的图像数据进行实时防抖处理的步骤具体包括：

步骤502，获取录制到的第一帧图像的初始位置。

步骤504，在录制过程中，获取陀螺仪输出的角速度数据，并根据角速度数据和初始位置进行抖动补偿处理。

步骤506，在录制过程中，获取加速度传感器输出的加速度数据，利用加速度数据对抖动补偿处理后的图像数据再次进行防抖处理。

在电子设备按照录制指令进行录制时，对于当前分辨率未达到预设分辨率或当前帧率未达到预设帧率的，电子设备对录制的图像数据可以进行实时防抖处理。电子设备按照录制指令进行录制时，会拍摄多帧图像。第一帧图像为电子设备通过摄像头采集到的第一帧图像。电子设备可以获取摄像头采集第一帧图像时的初始位置。初始位置是指采集第一帧图像时摄像头的具体位置信息。具体的，电子设备利用摄像头采集第一帧图像时，可以根据电子设备所处的位置以及摄像头在电子设备中的位置获得摄像头采集第一帧图像时的初始位置。

陀螺仪是用于检测角速度的角运动检测装置。在摄像头录制的过程中，如果摄像头产生抖动或者移动时，会影响摄像头成像的清晰度，使得采集的图像产生模糊。陀螺仪可以在摄像头发生抖动时，采集并输出角速度数据。录制过中，电子设备获取陀螺仪输出的角速度数据，根据摄像头采集第一帧图像时的初始位置和角速度数据对摄像头进行抖动补偿处理。具体地，电子设备可以根据该初始位置和角速度数据计算摄像头的抖动补偿数据，从而根据该抖动补偿数据驱动摄像头的马达上电，以使马达驱动摄像头或摄像头中的镜头移动，可以对摄像头的偏移进行补偿，有效防抖效果。

在其中一个实施例中，根据角速度数据和位置信息对摄像头进行抖动补偿处理包括：根据角速度数据分析摄像头在第一方向上的第一抖动数据；获取摄像头当前所在的第一位置；根据第一抖动数据和初始位置将摄像头从第一位置移动至第二位置，其中，第二位置与初始位置在第一方向上的距离小于第一位置与初始位置在第一方向上的距离。

第一方向是与电子设备提供的移动方向不同的方向。本申请实施例中，以第一方向为与电子设备提供的移动方向垂直的方向进行说明，值得注意的是，第一方向并不局限于与电子设备提供的移动方向垂直的方向。陀螺仪输出的角速度数据包含了摄像头在不同方向上的抖动情况，电子设备可以根据陀螺仪输出的角速度数据分析摄像头在第一方向上的第一抖动数据。例如，当电子设备根据摄像头采集的第一帧图像确定提供的移动方向为平行于地平线的水平方向时，第一方向可以是垂直于地平面的方向，电子设备可以根据角速度数据分析摄像头在第一方向上的第一抖动数据。

摄像头所在的位置可以根据电子设备所处的位置以及摄像头在电子设备中的位置来确定。电子设备可以获取摄像头当前所在的第一位置。第一位置是指抖动补偿之前摄像头所在的位置，第二位置是指对摄像头进行抖动补偿之后的摄像头所在的位置。电子设备可以根据第一抖动数据和摄像头采集第一帧图像时的初始位置将摄像头从第一位置移动至第二位置，第二位置与初始位置在第一方向上的距离小于第一位置与初始位置在第一方向上的距离。摄像头的位置与初始位置在第一方向上的距离越小，则说明摄像头与移动方向之间的偏移越小，所采集的图像的利用率越高。可选地，在一些实施例中，第二位置与初始位置在第一方向的距离为0。电子设备可以获取摄像头中镜头当前所在的第一位置，根据第一抖动数据和初始位置将镜头从第一位置移动至第二位置，从而使得电子设备通过移动摄像头中的镜头实现抖动补偿处理。

电子设备通过移动摄像头中的镜头进行抖动补偿处理，也可以称为光学防抖处理。抖动补偿处理后的图像数据也可以称为光学防抖处理后的图像数据。在经过光学防抖处理之后，电子设备还可以参照上述实施例中提供的方式，利用加速度传感器输出的加速度数据对光学防抖处理后的图像数据再次进行防抖处理。其中，电子设备获取运动数据在多个方向的加速度，利用加速度与对应的运动时间，计算光学防抖处理后的图像数据对应的运动轨迹，根据运动轨迹计算光学防抖处理后对应的全局运动向量，以此进行运动估计。电子设备对运动估计后的图像数据进行运动补偿，将运动补偿后的图像数据进行图像校正。

在进行实时防抖处理时，电子设备可以在录制过程中对图像数据进行光学防抖，然后对光学防抖后的图像数据再进一步做去抖处理。由于光学防抖，并不占用电子设备的运算资源，不会对电子设备的性能造成影响。在进行光学防抖处理后，再次参照上述实施例中提及的方式进行去抖处理，能够进一步平滑相邻帧图像对应的运动轨迹，进一步提高了防抖效果。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图X中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的基于录像模式的防抖处理装置的结构框图。如图6所示，该装置包括：获取模块602、录制模块604、第一防抖模块606、第二防抖模块608，其中：

获取模块602，用于获取录制指令，录制指令中包含录制模式。

录制模块604，用于识别录制模式对应的当前分辨率和当前帧率，根据录制指令按照当前分辨率与当前帧率进行录制。

第一防抖模块606，用于在当前分辨率达到预设分辨率且当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理。

第二防抖模块608，用于在当前分辨率未达到预设分辨率或当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

在一个实施例中，获取模块602还用于获取相邻帧图像之间对应的运动数据，将运动数据进行缓存；第一防抖模块606还用于将录制的图像数据进行缓存，利用运动数据对缓存后的图像数据进行防抖处理。

在一个实施例中，第一防抖模块606还用于利用运动数据对对缓存后的图像数据进行运动估计；对运动估计后的图像数据进行运动补偿；将运动补偿后的图像数据进行图像校正。

在一个实施例中，第一防抖模块606还用于获取运动数据在多个方向的加速度；利用加速度与对应的运动时间，计算缓存后的图像数据对应的运动轨迹；根据运动轨迹计算图像数据对应的全局运动向量。

在一个实施例中，第一防抖模块606还用于将下一帧图像的全局运动矢量与上一帧图像的全局运动矢量进行比对，得到矢量差值；在矢量差值超过预设范围时，将预设范围内的最大值与矢量差值做比对，得到补偿运动矢量值；利用补偿运动矢量对下一帧图像的全局运动矢量进行补偿。

在一个实施例中，第一防抖模块606还用于获取缓存后的图像数据对应的录制时长；在录制时长超过预设时长时，对超过预设长的图像数据放弃防抖处理。

在一个实施例中，第二防抖模块608还用于获取录制到的第一帧图像的初始位置；在录制过程中，获取陀螺仪输出的角速度数据，并根据角速度数据和初始位置进行抖动补偿处理；在录制过程中，获取加速度传感器输出的加速度数据，利用加速度数据对抖动补偿处理后的图像数据再次进行防抖处理。

在一个实施例中，第二防抖模块608还用于根据角速度数据分析摄像头在第一方向上的第一抖动数据；获取摄像头当前所在的第一位置；根据第一抖动数据和初始位置将摄像头从第一位置移动至第二位置，其中，第二位置与初始位置在第一方向上的距离小于第一位置与初始位置在第一方向上的距离。

上述基于录像模式的防抖处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将基于录像模式的防抖处理装置按照需要划分为不同的模块，以完成上述基于录像模式的防抖处理装置的全部或部分功能。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种基于录像模式的防抖处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的基于录像模式的防抖处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如加速度传感器或陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

以下为运用图8中图像处理技术实现基于录像模式的防抖处理方法的步骤。具体的，ISP处理器840获取录制指令。ISP处理器840识别录制指令中包含的录制模式，得到对应的当前分辨率和当前帧率。成像设备810根据录制指令按照当前分辨率与当前帧率进行录制。在录制过程中，传感器820采集相应的运动数据。在当前分辨率达到预设分辨率且当前帧率达到预设帧率时，ISP处理器840将录制的图像数据缓存至图像存储器830中。ISP处理器840对缓存后的图像数据进行防抖处理。在当前分辨率未达到预设分辨率或当前帧率未达到预设帧率时，ISP处理器840对录制的图像数据进行实时防抖处理。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，在计算机可执行指令被一个或多个处理器执行时，使得处理器执行基于录像模式的防抖处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行基于录像模式的防抖处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种基于录像模式的防抖处理方法，其特征在于，包括：

获取录制指令，所述录制指令中包含录制模式；

识别所述录制模式对应的当前分辨率和当前帧率，根据所述录制指令按照所述当前分辨率与当前帧率进行录制；

在所述当前分辨率达到预设分辨率且所述当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理；

在所述当前分辨率未达到预设分辨率或所述当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

2.根据权利要求1所述的方法，其特征在于，所述图像数据包括多帧图像，所述将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理，包括：

获取相邻帧图像之间对应的运动数据，将所述运动数据进行缓存，所述运动数据包括加速度数据以及角速度数据；

将录制的图像数据进行缓存，利用所述运动数据对所述缓存后的图像数据进行防抖处理。

3.根据权利要求2所述的方法，其特征在于，所述利用所述运动数据对所述缓存后的图像数据进行防抖处理包括：

利用所述运动数据对对所述缓存后的图像数据进行运动估计；

对运动估计后的图像数据进行运动补偿；

将运动补偿后的图像数据进行图像校正。

4.根据权利要求3所述的方法，其特征在于，所述利用所述运动数据对对所述缓存后的图像数据进行运动估计包括：

获取所述运动数据在多个方向的加速度，所述运动数据包括电子设备在三维空间中多个方向的加速度；

利用所述加速度与对应的运动时间，计算所述缓存后的图像数据对应的运动轨迹，其中，所述图像数据对应的运动轨迹为所述电子设备在拍摄过程中的运动轨迹；

根据所述运动轨迹计算所述图像数据对应的全局运动向量。

5.根据权利要求3所述的方法，其特征在于，所述对运动估计后的图像数据进行运动补偿包括：

将下一帧图像的全局运动矢量与上一帧图像的全局运动矢量进行比对，得到矢量差值；

在所述矢量差值超过预设范围时，将所述预设范围内的最大值与所述矢量差值做比对，得到补偿运动矢量值；

利用所述补偿运动矢量对下一帧图像的全局运动矢量进行补偿。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取所述缓存后的图像数据对应的录制时长；

在所述录制时长超过预设时长时，对超过预设长的图像数据放弃防抖处理。

7.根据权利要求1所述的方法，其特征在于，所述对录制的图像数据进行实时防抖处理包括：

获取录制到的第一帧图像的初始位置，所述初始位置是电子设备采集所述第一帧图像时摄像头的位置，所述第一帧图像为所述电子设备通过摄像头采集到的第一帧图像；

在录制过程中，获取陀螺仪输出的角速度数据，并根据所述角速度数据和所述初始位置进行抖动补偿处理；

在录制过程中，获取加速度传感器输出的加速度数据，利用所述加速度数据对抖动补偿处理后的图像数据再次进行防抖处理；

其中，所述根据所述角速度数据和所述初始位置进行抖动补偿处理，包括：

根据所述初始位置和所述角速度数据计算摄像头的抖动补偿数据，根据所述抖动补偿数据驱动摄像头的马达上电，以使马达驱动摄像头或摄像头中的镜头移动。

8.根据权利要求7所述的方法，其特征在于，所述根据所述角速度数据和所述位置信息对所述摄像头进行抖动补偿处理包括：

根据所述角速度数据分析摄像头在第一方向上的第一抖动数据；

获取所述摄像头当前所在的第一位置；

根据所述第一抖动数据和所述初始位置将所述摄像头从第一位置移动至第二位置，其中，所述第二位置与所述初始位置在第一方向上的距离小于所述第一位置与所述初始位置在第一方向上的距离。

9.一种基于录像模式的防抖处理装置，其特征在于，包括：

获取模块，用于获取录制指令，所述录制指令中包含录制模式；

录制模块，用于识别所述录制模式对应的当前分辨率和当前帧率，根据所述录制指令按照所述当前分辨率与当前帧率进行录制；

第一防抖模块，用于在所述当前分辨率达到预设分辨率且所述当前帧率达到预设帧率时，将录制的图像数据进行缓存，对缓存后的图像数据进行防抖处理；

第二防抖模块，用于在所述当前分辨率未达到预设分辨率或所述当前帧率未达到预设帧率时，对录制的图像数据进行实时防抖处理。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的基于录像模式的防抖处理方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images