CN114205515A - 一种视频的防抖处理方法及电子设备 - Google Patents

Abstract

一种视频的防抖处理方法及电子设备，涉及电子技术领域，在多景录制模式下保持多个视频画面的稳定效果，该方法包括：在多景录制模式下，针对前置摄像头拍摄的视频画面或者变焦倍率高的视频画面，采用以目标对象为中心进行裁切的方法达到画面稳定效果，针对其他视频画面，采用根据电子设备的运动特征进行补偿的方法达到画面稳定效果。

Description

一种视频的防抖处理方法及电子设备

技术领域

本申请涉及电子技术领域，尤其涉及一种视频的防抖处理方法及电子设备。

背景技术

保持视频画面稳定是录像功能的一大需求。然而，在拍摄者手持电子设备录像的过程中，用户很难避免手部抖动问题(包括手部静止时的抖动，以及运镜时的手部抖动等)，因此针对视频的防抖处理方法尤为重要。目前，用户可以通过外加防抖设备(例如稳定器)，来减弱用户手部抖动的幅度。但，外加防抖设备增加用户携带的负担。

另外，业界还可以通过在电子设备内置光学防抖(optical imagestabilization，OIS)器件，做到类似外置稳定器的效果，保持画面稳定。但内置OIS器件会增大摄像头的体积和成本，且一套OIS器件只能覆盖一个摄像头。当电子设备具备多个摄像头时，一般不会为每一个摄像头都分别配置一套OIS器件。

此外，业界还可以采用电子防抖的方法。即，在电子设备中内置陀螺仪、加速度计等惯性测量单元(inertial measurement unit，IMU)。通过IMU的数据预测电子设备的运动特征，对视频画面做相应的补偿，达到画面稳定的效果。但是，在一些的多景的录像场景中，例如双景录像，现有的电子设备防抖方案不能实现保持多个视频画面的稳定效果。

发明内容

本申请提供的一种视频的防抖处理方法，可以保持多个视频画面的稳定效果。

为了实现上述目的，本申请实施例提供了以下技术方案：

第一方面、提供一种视频的防抖处理方法，该方法应用于包含相机的电子设备，电子设备包括第一摄像头和第二摄像头，该方法包括：接收到第一操作；响应于接收到第一操作，显示第一取景器和第二取景器；其中，第一取景器用于显示第一摄像头采集的第一图像，第二取景器用于显示第二摄像头采集的第二图像；其中，针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像；针对第二摄像头采集的第二原始图像，以第二原始图像的中心向第一方向移动第一距离的位置为中心进行裁切得到第二图像，第一方向和第一距离为根据电子设备的运动特征确定的；第一摄像头为前置摄像头，第二摄像头为后置摄像头；或者，第一摄像头为长焦摄像头，第二摄像头为中焦或短焦摄像头；或者，第一摄像头和第二摄像头为同一摄像头，第一图像的变焦倍率大于第二图像的变焦倍率。

也就是说，针对电子设备采集的不同的视频画面采用不同的防抖方案。对拍摄景物距离电子设备较远或者变焦倍率较小的视频画面(即第二摄像头采集的第二原始图像)采用根据电子设备的运动特征进行补偿的防抖方法，对拍摄人像距离电子设备较近或者变焦倍率较大的视频画面(即第一摄像头采集的第一原始图像)采用以目标对象为中心的裁切方案，进而保证多个视频画面的稳定。

另外，由于第一取景器中显示画面是以目标对象为中心对采集的原始图像进行裁剪得到的，即目标对象是位于第一取景器画面的中心位置，无需用户刻意调整电子设备。因此，用户可以将注意力集中在第二取景器中录制的景物，跟踪录制想要拍摄的景物，提升录制画面的质量，以及用户录制的舒适度。

一种可能的实现方式中，第一取景器和第二取景器的尺寸相同或不同。

一种可能的实现方式中，针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像，包括：在针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切，得到第三图像；根据第三图像，以及第一取景框的尺寸，调整第一取景框对应的变焦倍率；根据第一取景框调整后的变焦倍率和第三图像进行变焦处理，得到第一图像。

也就是说，针对第一摄像头采集的第一原始图像，在以目标对象为中心进行裁切后，还可以对该裁切后图像进行变焦处理。例如，目标对象的图像较小时，可以调大变焦倍率，使得第一取景器显示更为清楚的目标对象。

一种可能的实现方式中，在针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像之后，该方法包括：在针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像；根据第一图像的尺寸，调整第一取景器的尺寸。

例如，若包含目标对象的第一图像较小时，可以调小第一取景器的尺寸。这样，第二取景器可以显示更多画面内容。

一种可能的实现方式中，该方法还包括：根据第一摄像头采集的第一原始图像，自动确定第一原始图像中的目标对象；或者，根据用户的选择操作确定第一原始图像中的目标对象。

一种可能的实现方式中，目标对象包含一个或多个人脸。

一种可能的实现方式中，针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像，还包括：采用图像分割技术将第一摄像头采集的第一原始图像分割为第四图像和第五图像，第四图像为目标对象的图像，第五图像为第一原始图像中不包含目标对象的图像；针对第四图像，以第四图像中目标对象为中心进行裁切得到第六图像；针对第五图像，为第五图像的中心向第一方向移动第一距离的位置为中心进行裁切得到第七图像；将第六图像和第七图像进行合并，得到第一图像。

当第一摄像头为前置摄像头时，前置摄像头采集的原始图像中包括人脸和背景。人脸通常距离手机较近，背景通常距离手机较远。在一些场景中，仅以人脸为中心进行裁切的方案，可能造成背景的稳定性不佳。因此，需要同时考虑人脸和背景的稳定性。一些示例中，可以为人脸和背景设置稳定性权重。例如，结合人脸(或人体)在原始图像(或者裁切后图像)中的占比，配比人脸、人体稳定程度和背景稳定程度的权重。例如，当人脸占原始图像的面积达到预设比例(例如60％或60％以上)时，人脸稳定程度的权重更高。即，主要以人脸为中心进行裁切，不考虑或者较少考虑背景的稳定性。当人脸占原始图像的面积未达到预设比例时，背景稳定程度的权重更高。即，将裁切中心向手机的运动方向的反方向移动相应距离后进行裁切，不考虑或者较少考虑人脸的稳定性。在另一些示例中，还可以将每个图像帧中的人脸(或人体)与背景分离开，分别对人脸(或人体)和背景采用不同的防抖方案进行处理，然后将处理后的两个图像进行合成，得到人脸和背景都稳定的前置视频。

一种可能的实现方式中，电子设备配置有惯性测量单元IMU，该方法还包括：根据IMU的数据确定电子设备的运动特征，并根据电子设备的运动特征确定第一方向和第一距离。

一种可能的实现方式中，第二摄像头还配置有光学防抖器件，根据IMU的数据确定电子设备的运动特征，并根据电子设备的运动特征确定第一方向和第一距离，包括：根据IMU的数据确定电子设备的运动特征，并根据电子设备的运动特征和光学防抖器件的数据确定第一方向和第一距离。

由于第一取景器中是以目标对象为中心进行裁切的，一般而言目标对象位于第一取景器的中心区域，第一摄像头可以不配置光学防抖器件。那么，可以为后置摄像头增加OIS器件(例如微云台器件)等。结合OIS器件和预测的手机的运动特征，对第二取景器中的画面进行补偿。

一种可能的实现方式中，第一操作为用户针对特定控件的操作，输入特定语音命令，执行预设隔空手势中的任一项。

第二方面、提供一种电子设备，包括：处理器、存储器、触摸屏、第一摄像头和第二摄像头，存储器、触摸屏、第一摄像头、第二摄像头与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器从存储器中读取计算机指令，以使得电子设备执行如如下操作：接收到第一操作；响应于接收到第一操作，显示第一取景器和第二取景器；其中，第一取景器用于显示第一摄像头采集的第一图像，第二取景器用于显示第二摄像头采集的第二图像；其中，针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像；针对第二摄像头采集的第二原始图像，以第二原始图像的中心向第一方向移动第一距离的位置为中心进行裁切得到第二图像，第一方向和第一距离为根据电子设备的运动特征确定的；第一摄像头为前置摄像头，第二摄像头为后置摄像头；或者，第一摄像头为长焦摄像头，第二摄像头为中焦或短焦摄像头；或者，第一摄像头和第二摄像头为同一摄像头，第一图像的变焦倍率大于第二图像的变焦倍率。

一种可能的实现方式中，第一取景器和第二取景器的尺寸相同或不同。

一种可能的实现方式中，针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像，包括：在针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切，得到第三图像；根据第三图像，以及第一取景框的尺寸，调整第一取景框对应的变焦倍率；根据第一取景框调整后的变焦倍率和第三图像进行变焦处理，得到第一图像。

一种可能的实现方式中，在针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像之后，还执行：在针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像；根据第一图像的尺寸，调整第一取景器的尺寸。

一种可能的实现方式中，还执行：根据第一摄像头采集的第一原始图像，自动确定第一原始图像中的目标对象；或者，根据用户的选择操作确定第一原始图像中的目标对象。

一种可能的实现方式中，目标对象包含一个或多个人脸。

一种可能的实现方式中，针对第一摄像头采集的第一原始图像，以第一原始图像中目标对象为中心进行裁切得到第一图像，还包括：采用图像分割技术将第一摄像头采集的第一原始图像分割为第四图像和第五图像，第四图像为目标对象的图像，第五图像为第一原始图像中不包含目标对象的图像；针对第四图像，以第四图像中目标对象为中心进行裁切得到第六图像；针对第五图像，为第五图像的中心向第一方向移动第一距离的位置为中心进行裁切得到第七图像；将第六图像和第七图像进行合并，得到第一图像。

一种可能的实现方式中，电子设备配置有惯性测量单元IMU，电子设备还执行：根据IMU的数据确定电子设备的运动特征，并根据电子设备的运动特征确定第一方向和第一距离。

一种可能的实现方式中，第二摄像头还配置有光学防抖器件，根据IMU的数据确定电子设备的运动特征，并根据电子设备的运动特征确定第一方向和第一距离，包括：根据IMU的数据确定电子设备的运动特征，并根据电子设备的运动特征和光学防抖器件的数据确定第一方向和第一距离。

一种可能的实现方式中，第一操作为用户针对特定控件的操作，输入特定语音命令，执行预设隔空手势中的任一项。

第三方面、提供一种装置，该装置包含在电子设备中，该装置具有实现上述方面及可能的实现方式中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，接收模块或单元、显示模块或单元、以及处理模块或单元等。

第四方面、提供一种计算机可读存储介质，包括计算机指令，当计算机指令在终端上运行时，使得终端执行如上述方面及其中任一种可能的实现方式中所述的方法。

第五方面、提供一种电子设备上的图形用户界面，所述电子设备具有显示屏、摄像头、存储器、以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述图形用户界面包括所述电子设备执行如上述方面及其中任一种可能的实现方式中所述的方法时显示的图形用户界面。

第六方面、提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述方面中及其中任一种可能的实现方式中所述的方法。

第七方面、提供一种芯片系统，包括处理器，当处理器执行指令时，处理器执行如上述方面中及其中任一种可能的实现方式中所述的方法。

附图说明

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一些电子设备的用户界面示意图；

图3A为本申请实施例提供的又一些电子设备的用户界面示意图；

图3B为本申请实施例提供的又一些电子设备的用户界面示意图；

图4为本申请实施例提供的又一些电子设备的用户界面示意图；

图5为本申请实施例提供的一种录制视频的防抖方法的流程示意图；

图6为本申请实施例提供的又一种录制视频的防抖方法的流程示意图；

图7为本申请实施例提供的又一种录制视频的防抖方法的流程示意图；

图8为本申请实施例提供的又一种录制视频的防抖方法的过程示意图；

图9为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

示例性的，本申请实施例提供的防抖方法适用于具有摄像头的电子设备中，该电子设备例如可以为手机、平板电脑、个人计算机(personal computer，PC)、个人数字助理(personal digital assistant，PDA)、相机、上网本、可穿戴电子设备(例如智能手表、智能手环等)、增强现实技术(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备等，本申请对该电子设备的具体形式不做特殊限制。

图1示出了电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在本申请的一些实施例中，处理器110还可以包括传感器集线器(sensor hub)，可以在AP休眠的情况下，实现对传感器的实时控制，从而达到降低功耗的功能。例如sensorhub，用于连接低速、长时间工作的传感器，比如陀螺仪、加速度计等，以节省AP的功耗。另外，sensor hub还可以将不同类型传感器的数据进行融合，实现多种传感器数据结合才能实现的功能。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，图1示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。在另一些实施例中，电子设备100中至少一个摄像头配置有OIS器件，ISP或其他处理器可使用OIS器件的数据对相应的摄像头采集的图像或视频进行防抖处理。

在本申请实施例中，电子设备100可实现多景录像功能。即，电子设备100可同时录制多个不同画面的视频。例如，双景录制，电子设备100可以同时录制两个画面的视频。比如，电子设备100可以分别使用后置摄像头录制电子设备100背面的景物(即用户对面的景物)，使用前置摄像头录制电子设备100正面的人像或景物(即用户侧的人像或景物)等。又比如，电子设备100可以使用相同或不同的摄像头录制不同倍率的画面，一个为变焦倍率较小的全景画面，另一个为变焦倍率较大的特写镜头画面。

若采用现有技术中的电子防抖技术，电子设备100根据OIS的数据以及摄像头193采集到的图像确定电子设备100的运动特征(包括运动方向、运动加速度或运动距离等)，并根据电子设备100的运动特征对采集的多个视频画面进行相同单位或者不同比例的补偿。由于不同视频画面对应的拍摄场景或变焦倍率不同，因此不同视频画面对电子设备100相同幅度的移动会呈现不同幅度的抖动。可见，现有技术中的电子防抖技术并不能实现同时保持多个视频画面的稳定。

比如，电子设备100同时使用后置摄像头拍摄视频画面1，使用前置摄像头拍摄视频画面2。视频画面1中的景物通常距离电子设备100较远，而视频画面2中的人像(通常为拍摄者)距离电子设备100较近。假设电子设备100向某个方向移动1毫米，相应的，视频画面1向该方向移动一个像素的距离，而视频画面2则向相反方向移动0.2个像素的距离。那么，若对视频画面1和视频画面2进行相同的补偿，则在保证了视频画面1的稳定时，并不保证视频画面2的稳定。

又比如，电子设备100同时使用后置摄像头拍摄视频画面1和视频画面2。其中，视频画面1的变焦倍率为“1×”，视频画面2的变焦倍率为“5×”。假设电子设备100向某个方向移动1毫米，相应的，视频画面1向该方向移动一个像素的距离，而视频画面2则向该方向移动五个像素的距离。那么，若对视频画面1和视频画面2进行相同的补偿，则在保证了视频画面1的稳定时，并不保证视频画面2的稳定。

为此，本申请实施例提供了一种防抖的方法，针对电子设备100采集的不同的视频画面采用不同的防抖方案。示例性的，对拍摄景物距离电子设备较远或者变焦倍率较小的视频画面采用根据电子设备的运动特征进行补偿的防抖方法，对拍摄人像距离电子设备较近或者变焦倍率较大的视频画面采用以目标对象为中心的裁切方案，进而保证该视频画面的稳定。在另一些实施例中，对拍摄人像距离电子设备较近或者变焦倍率较大的视频画面采用以目标对象为中心的裁切方案，也可以结合电子设备100的运动特征进行补偿。下文将对该防抖方法进行详细说明。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association ofthe USA，CTIA)标准接口。

在本申请的一些实施例中，电子设备100还包括IMU，可用于测量电子设备100的三轴姿态角及加速度等的装置。而后，ISP或其他处理器可使用IMU的数据提取电子设备100的运动特征(例如，移动方向、移动速度或移动距离等)。进一步，可根据提取的电子设备100的运动特征对录制的视频进行防抖处理。

例如，IMU包括陀螺仪传感器180A和加速度传感器180B。

其中，陀螺仪传感器180A可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180A确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180A可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180A检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180A还可以用于导航，体感游戏场景。

加速度传感器180B可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

可选的，电子设备100还可以包括磁传感器180C，例如具体为三轴磁力计，可以与三轴加速度计结合实现指南针的功能。电子设备100可以根据磁传感器180C更准确地确定电子设备100的运动特征。可选的，电子设备100还可以包括气压传感器180D、触摸传感器、指南针、GPS定位模块等。

上述按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

本文以电子设备100是手机，且以双景录制为例，结合附图对本申请实施例提供的技术方案进行详细说明。

示例性的，用户开启相机应用，该相机应用可以为手机的原生相机应用，也可以是第三方开发的多功能相机应用等。响应于接收到用户开启相机应用的操作，手机可以显示如图2中(1)所示的拍摄界面200。相机应用可以默认开启“拍照”功能，拍摄界面200包括取景框201，以及“大光圈”、“人像”、“拍照”、“录像”、“更多”等功能控件。在一个示例中，用户可以通过操作“更多”控件202，开启如图2中(2)所示的功能选项菜单203。其中，功能选项菜单203中包括“双景录像”功能控件204。用户可以通过操作“双景录像”功能控件204开启双景录像功能。在另一个示例中，用户也可以通过操作“录像”功能控件205进入如图2中(3)所示的“录像”的录制界面206，在“录像”的录制界面206中设置有“双景录像”功能控件207。进一步，用户通过“双景录像”功能控件207开启双景录像功能。在又一示例中，手机在检测到用户开启预设应用或者处于预设录制场景时，也可以自动开启双景录像功能。例如，当用户开启直播应用、视频博客(video blog，Vlog)应用、录制演唱会或体育赛事等、在前置摄像头或后置摄像头之间切换的次数达到预设次数、在中焦摄像头或长焦摄像头之间切换次数达到预设次数等，手机自动开启双景录像功能或提示用户开启双景录像功能。本申请实施例对开启双景录像功能的具体方式不做限定。

在开启双景录像功能后，手机显示如图3A中(1)所示的双景录制界面300。该双景录制界面300中包括取景器301、取景器302和录制控件303。其中，取景器301用于显示后置摄像头采集的画面，为手机屏幕背面对应的景物，通常距离较远。取景器302用于显示前置摄像头采集的画面，为距离较近的拍摄者。一方面，手机根据IMU数据预测手机的运动特征，并根据预测的手机的运动特征对取景器301中的显示画面进行补偿，以保持取景器301中画面的稳定性。具体来说，在没有采用防抖方案时，手机会根据变焦倍率确定裁剪区域的大小，并以摄像头采集的原始图像(即全尺寸图像或者对全尺寸图像进行小幅度裁切后的图像)的中心为裁切后图像的中心进行裁切。而后手机对裁剪后的图像进行数字变焦等处理得到预览或拍摄的图像。也就是说，此时裁剪的为原始图像中心区域的图像。在采用防抖方案后，手机在根据变焦倍率确定裁剪区域的大小后，会以原始图像的中心偏移一定距离的位置为中心进行裁切。偏移的方向与预测的手机的运动方向相反，偏移的距离与预测的手机运动距离正相关。另一方面，手机以人脸为中心，对前置摄像头采集的原始图像进行裁剪，得到取景器302中画面，以保证取景器302中画面的稳定性。具体来说，手机会根据变焦倍率确定裁剪区域的大小，并以摄像头采集的原始图像的人脸图像的中心为裁切后图像的中心进行裁切。而后手机对裁剪后的图像进行数字变焦等处理得到预览或拍摄的图像。可选的，若前置摄像头中采集的图像中包含多个人脸时，可以将多个人脸所覆盖的区域作为一个整体。以该整体的中心作为裁剪后的图像的中心，对前置摄像头采集的图像进行裁剪，以及数字变焦等处理，得到取景器302中显示的画面。

可见，由于取景器302中显示画面是以人脸为中心对采集的原始图像进行裁剪得到的，即人脸是位于取景器301画面的中心位置，相对稳定。这样，用户可以将注意力集中在取景器301中录制的景物，跟踪录制想要拍摄的景物(例如划水的白天鹅)，提升录制画面的质量，以及用户录制的舒适度。另外，在根据预测的手机的运动特征对取景器301中的显示画面进行补偿时，无需考虑取景器302中画面的稳定性，因此可以针对取景器301中的画面进行更高精度的补偿，提升取景器301中的画面稳定性。例如，可以为后置摄像头增加OIS器件(例如微云台器件)等。结合OIS器件和预测的手机的运动特征，对取景器301中的画面进行补偿。

需要注意的是，手机可以在预览时就开始采用不同的防抖方案对不同取景框中显示的画面进行处理，也可以在录制时才开启采用不同的防抖方案对不同取景框中显示的画面进行处理，还可以在录制完成时或保存视频时，才开启采用不同的防抖方案对不同取景框中显示的画面进行处理，本申请实施例对此不做限定。本文是以手机在预览时就开启采用不同的防抖方案对不同取景框中显示的画面进行处理为例进行描述。

可选的，取景器301和取景器302的尺寸大小可以相同也可以不同。例如，当手机处于竖屏状态时，手机显示如图3A中(1)所示的双景录制界面300，显示屏被划分为上下两个区域，每一个区域对应一个取景器。例如，当手机处于横屏状态时，手机显示如图3A中(2)所示的双景录制界面306，显示屏被划分为左右两个区域，每一个区域对应一个取景器。又例如，手机也可显示如图3A中(3)所示的双景录制界面307，其中尺寸小的取景器覆盖在尺寸大的取景器上，且位于尺寸大的取景器的边缘处。可选的，用户可以调整取景器301和取景器302的尺寸大小以及二者的相对位置。本申请实施例对此不做限定。

在一些实施例中，当手机以人脸为中心对前置摄像头采集的图像进行裁剪后，也可以根据取景器302的尺寸大小，适当调整取景器302的变焦倍率。例如，如图3B中(1)所示，取景器302的变焦倍率为变焦倍率1(例如“1×”)。当手机对前置摄像头采集的图像进行裁剪后，可以自动将取景器302的变焦倍率增大为变焦倍率2(例如“2×”)，如图3B中(2)所示双景录制界面308。可见，将取景器302的变焦倍率调大，可以录制到用户更为清楚的面部表情。

在另一些实施例中，当手机以人脸为中心对前置摄像头采集的图像进行裁剪后，也可以适当调整取景器302的尺寸大小。例如，如图3B中(3)所示双景录制界面309，取景器302的尺寸变小，取景器301的尺寸变大。又例如，如图3B中(4)所示双景录制界面310，取景器301的尺寸变大，取景器302的尺寸变小，且移动到取景器301的边缘处。可见，将取景器301的尺寸调大，便于更加录制到更为清楚的画面。

在又一些实施例中，用户可以手动调节取景器301的变焦倍率。例如，用户通过双指向屏幕外侧滑动增大变焦倍率，或者通过双指捏合的方式减小变焦倍率，或者操作特定控件来改变变焦倍率。例如，双景录制界面300还包括变焦倍率指示控件305。用户可以通过操作变焦倍率指示控件305，调节取景器301中画面的变焦倍率。相应的，手机可以根据变化后的变焦倍率，预测的手机运动特征、以及OIS器件的数据，对后置摄像头采集的原始图像进行补偿，得到变焦倍率变化后的画面，并维持画面稳定。一般，画面的变焦倍率越大，手机根据预测的手机运动特征对画面的补偿越大。

可选的，当手机配置有多个后置摄像头，且每个后置摄像头对应不同的焦段时，当取景器301中画面的变焦倍率对应不同焦段时，手机可以切换不同的后置摄像头采集图像。例如，当手机开启双景录制功能后，手机先默认使用中焦摄像头(即主摄像头)采集图像。使用中焦摄像头拍摄的图像可以对应一个区间的变焦倍率，例如：“1×”至“5×”。当用户将取景器301的变焦倍率增大到“5×”及“5×”以上时，手机切换到长焦摄像头采集图像。当用户将取景器301的变焦倍率减小到“1×”以下时，手机切换到短焦(即广角)摄像头采集图像。

在又一些实施例中，用户也可以调节取景器302中画面的变焦倍率。具体调节方式与取景器301中画面的变焦倍率的调节方式相同。但需要注意的是，取景器302的变焦倍率发生变化后，手机仍然是以人脸为中心裁切前置摄像头采集的原始图像，并按照变化后的变焦倍率进行数字变焦处理，得到取景器302中的画面。可选的，前置摄像头的数量也可以为两个或两个以上，相关内容可参见对多个后置摄像头的描述，这里不再赘述。

在又一些实施例中，用户可以切换取景器302中使用的摄像头，例如从前置摄像头切换为后置摄像头，或者从后置摄像头切回前置摄像头。例如，取景器302还包括摄像头切换控件209。例如，响应于用户在图4中(1)中所示的双景录制界面300上操作摄像头切换控件304，手机显示如图4中(2)所示的双景录制界面400。该双景录制界面400中，取景器302中显示画面为后置摄像头拍摄的画面。也就是说，此时取景器301和取景器302中显示画面均为后置摄像头采集的图像。

在一个示例中，当取景器302刚切换到后置摄像头时，可以默认使用特定的后置摄像头采集图像，例如默认使用主摄像头采集图像，或者使用长焦摄像头采集图像，或者使用与取景器301使用的摄像头不同。后续，用户可以调节取景器302的变焦倍率，手机再根据变化后的变焦倍率切换相对应的后置摄像头采集图像。

在另一个示例中，当取景器302刚切换到后置摄像头时，默认使用特定的后置摄像头(例如长焦摄像头)采集图像。也就是说，默认取景器302中的画面为特写镜头的画面。取景器302的变焦倍率默认为特定变焦倍率(例如“5×”或“5×”以上)。

与此同时，取景器301保持之前的变焦倍率，后续用户可以对取景器301的变焦倍率进行调整。取景器301再根据变化后的变焦倍率切换相应的后置摄像头采集图像。或者，当取景器302刚切换到后置摄像头时，取景器301自动切换到特定的后置摄像头(例如中焦摄像头)采集图像。也就是说，取景器302中的画面为全景图像。取景器302的变焦倍率默认为特定变焦倍率(例如“1×”)。可选的，取景器301自动切换到特定的后置摄像头后，且不能切换到其他的后置摄像头。

当然，也可以默认取景器302中的画面为全景的画面，取景器301中的画面为特写镜头的画面，本申请实施例对比不做限定。以下，以取景器302中显示特写镜头的画面，取景器301中显示全景画面为例进行说明。

例如，取景器302中显示的画面对应变焦倍率3，使用摄像头A采集图像。取景器301中显示的画面对应变焦倍率4，使用摄像头B采集图像。其中摄像头A和摄像头B为相同或不同的摄像头，且变焦倍率3大于变焦倍率4。

那么，手机可以根据摄像头B采集的图像自动识别特写镜头的目标对象，或者接收用户执行的预设操作，确定特写镜头的目标对象。其中预设操作例如为双击、长按、框选、语音输入等。而后，手机对摄像头A采集的图像，以目标对象为中心进行裁剪以及数字变焦等，得到取景器302中显示的画面。若手机未识别出特写镜头的目标对象，或者用户未指定特定镜头的目标对象，手机继续裁剪摄像头A采集的图像的中心区域以及数字变焦等，得到取景器302中显示的画面。如图4中(3)所示，当手抖或者目标对象的位移造成用户想录制的目标对象不位于摄像头A采集图像的中心区域时，目标对象极可能显示不全，由此给用户强烈的抖动感。

若手机自动识别出特写镜头的目标对象，或者接收用户选择的目标对象后，手机可以对摄像头A显示的图像，以目标对象为中心进行裁剪以及数字变焦，得到取景框302中显示的画面。这样，即使用户抖动或者目标对象发生较小位移时，目标对象仍位于取景框302显示画面的中心，达到画面稳定的效果。

例如，如图4中(2)所示，在双击录制界面400上还可以包括提示信息401，提示用户选择特写镜头的目标对象。响应于用户双击“白天鹅”的目标对象，手机显示如图4中(4)中所述录制界面403。可选的，取景器301的全景画面中可以显示标记框404，用于标记用户选中的目标对象。可选的，用户可以通过执行其他预设操作，取消选择的目标对象或者更换新的目标对象。当然，用户也可以选择多个目标对象，那么手机将选中的多个目标对象作为一个整体，以该整体为裁剪后图像的中心对摄像头A采集的图像进行裁剪以及数字变焦处理，得到取景器302显示的画面。

下面，以手机分别采用不同的防抖方案对前置摄像头采集的图像，以及对后置摄像头采集的图像进行处理的过程进行详细说明。

如图5所示，为本申请实施例提供的一种双景录制的方法的流程示意图。其中，对后置摄像头采集图像的处理方法包括：步骤1至步骤3。

步骤1、手机通过配置的IMU器件获取IMU数据。可选的，若后置摄像头配置有OIS器件，获取OSI数据。

其中，IMU器件包括三轴加速度计和三轴陀螺仪。可选的，IMU器件还可以包括磁力计、气压计、指南针等。IMU数据可用于计算手机的运动轨迹(包括运动方向和运动距离等)以及手机的位姿变化。

在一些示例中，若手机后置摄像头还配置有OIS器件，也要获取OIS数据，便于在计算手机的运动轨迹时，需要考虑OIS器件已补偿的部分，从而得到准确的手机的运动轨迹和位姿变化。

步骤2、将IMU数据和OIS数据输入到预先训练的模型1中，预测出手机的运动轨迹。

其中，模型1可用于清洗IMU数据和OIS数据中的异常数据，计算手机当前的运动轨迹和位姿变化，平滑运动轨迹和位姿变化等处理。并且，根据之前的运动轨迹和位姿变化对下一时间段手机的运动轨迹和位姿变化等进行预测。

步骤3、根据预测的手机的运动轨迹对后置摄像头采集的图像帧(简称为后置图像帧)进行平滑、补偿以及裁切等处理，得到稳定的后置视频。

由于手部的抖动或者运镜时手部的运动，滚动曝光机制等原因，后置摄像头采集的图像帧存在抖动、变形、扭曲等现象，使得原始的图像帧看上去有明显的抖动。本申请实施例可以根据之前预测的手机的运动轨迹，对后置摄像头采集的原始图像帧进行反方向的补偿。

具体来说，在没有采用防抖方案时，手机会根据变焦倍率确定裁剪区域的大小，并以摄像头采集的原始图像的中心为裁切后图像的中心进行裁切。而后手机对裁剪后的图像进行数字变焦等处理得到预览或拍摄的图像。也就是说，此时裁剪的为全尺寸中心区域的图像。在采用防抖方案后，手机在根据变焦倍率确定裁剪区域的大小后，会以原始图像的中心偏移一定距离的位置为中心进行裁切。偏移的方向与预测的手机的运动方向相反，偏移的距离与预测的手机运动距离正相关。并且，在补偿过程中，还可以考虑裁切后的连续的多个图像帧平滑过渡，适当调整补偿的距离等。手机还可以对变形的区域进行修正，对发生扭曲的区域进行旋转等图像处理。

补偿方案中涉及相关参数(例如补偿方向、补偿距离等)可以传递给模型1，便于模型1更准确预计后续的运动轨迹。

对前置摄像头采集图像的处理方法包括：步骤1、步骤4至步骤6。

步骤4、手机对前置摄像头获取的图像帧(简称为前置图像帧)进行人脸位置识别。

可将前置摄像头获取的图像帧输入到人脸位置识别模型中，识别出人脸的位置信息。若前置摄像头获取的图像帧中包括多个人脸，可以识别多个人脸的位置信息。

进一步的，也可以识别出的人脸的偏转角度、人脸朝向等信息。

步骤5、手机将识别出的人脸信息(包括人脸位置信息、偏转角度、朝向等)，以及从IMU器件获取的IMU数据输入到预先训练的模型2中，预测出人脸的运动轨迹、手机的运动轨迹。

其中，模型2可用于清洗IMU数据和人脸位置信息中的异常数据，计算人脸的运动轨迹、手机当前的运动轨迹及位姿变化，平滑人脸的运动轨迹、手机的运动轨迹以及位姿变化等处理。并且，根据之前的人脸的运动轨迹，以及手机的运动轨迹和位姿变化对下一时间段人脸的运动轨迹，手机的运动轨迹和位姿变化等进行预测。

步骤6、根据预测的人脸的运动轨迹、手机的运动轨迹对前置摄像头采集的图像帧(简称为前置图像帧)进行水平、平滑、补偿以及裁切等处理，得到稳定的前置视频。

在一些实施例中，手机可以根据预测的人脸的运动轨迹，以人脸为中心进行裁切前置图像帧，达到稳定画面的效果。当然，在裁切时也可以考虑裁切后连续多个图像帧平滑过渡，可对裁切时的位置进行微调等处理。手机还可以对变形的区域进行修正，对发生扭曲的区域进行旋转等图像处理。

在另一些实施例中，手机可以根据预测的人脸的运动轨迹、以及预测的手机的运动轨迹对前置图像帧进行裁切处理。这是因为，前置摄像头采集的图像中包括人脸和背景。其中人脸距离手机较近，背景通常距离手机较远。在一些场景中，仅以人脸为中心进行裁切的方案，可能造成背景的稳定性不佳。因此，需要同时考虑人脸和背景的稳定性。一些示例中，可以为人脸和背景设置稳定性权重。例如，结合人脸(或人体)在原始图像(或者裁切后图像)中的占比，配比人脸、人体稳定程度和背景稳定程度的权重。例如，当人脸占原始图像的面积达到预设比例(例如60％或60％以上)时，人脸稳定程度的权重更高。即，主要以人脸为中心进行裁切，不考虑或者较少考虑背景的稳定性。当人脸占原始图像的面积未达到预设比例时，背景稳定程度的权重更高。即，将裁切中心向手机的运动方向的反方向移动相应距离后进行裁切，不考虑或者较少考虑人脸的稳定性。在另一些示例中，还可以将每个图像帧中的人脸(或人体)与背景分离开，分别对人脸(或人体)和背景采用不同的防抖方案进行处理，然后将处理后的两个图像进行合成，得到人脸和背景都稳定的前置视频。

可选的，考虑到用户在录制时，并不一定能精确保证手机水平放置，即前置摄像头采集的图像中，背景(例如建筑物)可能出现倾斜。对此，手机还可以对背景进行旋转，使得前置视频中背景处于水平位置。

补偿方案中涉及相关参数(例如补偿方向、补偿距离等)可以传递给模型2，便于模型2更准确预计后续的人脸运动轨迹以及手机运动轨迹。

在步骤3和步骤6之后，手机根据前置视频和后置视频在显示屏中的占比进行拼接或叠加，得到显示屏最终显示的双景视频。

例如，若前置视频和后置视频在显示屏中的占比为1:1，手机可以将处理后的前置视频和后置视频调整到等尺寸的画幅并进行拼接在一起得到双景视频(或预览图像)，如图3A中(1)所示双景录制界面300，或者，如图3A中(2)所示的双景录制界面306。

又例如，若前置视频和后置视频在显示屏中的占比为1:8，且前置视频覆盖在后置视频上。那么，手机可以将处理后的前置视频和后置视频的画幅尺寸调整到1:8的比例，并将前置视频叠加在后置视频上，得到双景视频(或预览图像)，如图3A中(3)所示的双景录制界面307。

如图6所示，为本申请实施例提供的一种视频的防抖方法的流程示意图，该流程具体包括：

S601、手机接收用户开启双景录制功能的操作。

其中，用户开启双景录制功能的操作，例如为用户在相机应用中点击双景录制功能的开关的操作，或者执行预定义操作，或者输入语音命令等。

S602、响应于开启双景录制功能的操作，手机显示第一取景器和第二取景器。

S603、第一取景器显示第一摄像头采集的第一图像，第二取景器显示第二摄像头采集的第二图像。其中，第一图像的变焦倍率大于第二图像的变焦倍率。并且，第一取景器中的目标对象位于第一图像的中心区域；第二取景器中的目标对象位于或不位于第二图像的中心区域。

其中，第一摄像头为长焦摄像头，第二摄像头为中焦或短焦摄像头；或者，第一摄像头和第二摄像头为同一摄像头，但第一图像的变焦倍率大于第二图像的变焦倍率。需要说明的是，在该实施例中，第一摄像头和第二摄像头为手机同一侧的摄像头。

一般，用户会对准目标对象进行拍摄，且本实例中第一摄像头和第二摄像头为手机同一侧的摄像头，故第一取景器和第二取景器中均包含目标对象。目标对象可以为手机根据采集的原始图像自动识别的，也可以是手机根据用户选择操作确定的。目标对象可以包括一个或多个物体。例如，目标对象包括一个人脸(或人体)或者多个人脸(或人体)。

具体的，手机针对第一摄像头采集的第一原始图像，采用以第一原始图像中目标对象为中心进行裁切得到第一图像。针对第二摄像头采集的第二原始图像，采用根据手机的运动特征进行补偿的方式来稳定画面。即，以第二原始图像的中心向第一方向移动第一距离的位置为中心进行裁切得到第二图像。其中，第一方向和第一距离为根据所述电子设备的运动特征确定的。

可以理解的，由于第二取景器显示的图像，是根据手机的运动特征对采集的原始图像进行补偿得到的。在一些场景中，第二取景器中的目标对象可能不位于图像的中心区域。例如，目标对象本身不位于第二取景器的中心区域，也就是说，并不是因为手机的抖动而造成目标对象偏离第二取景器的中心区域。举个例子，原本位于图像中心区域的目标对象本身发生位移，移出第二取景器的中心区域。那么，在这种情况下，即便根据手机的运动特征进行补偿后，第二取景器中的目标对象仍不位于第二图像的中心区域。但是，由于第一取景器的第一图像是以目标对象为中心进行裁切的，那么目标对象会一直位于第一图像的中心区域。例如，如图4中(4)所示的界面403。其中，取景器301为第二取景器，取景器302为第一取景器。

需要说明的是，上述目标对象位于图像(第一图像或第二图像)的中心区域，包括目标对象的中心与图像的中心之间的距离小于或等于预设阈值(例如两个像素点的距离)。其中，目标对象的中心例如为目标对象在图像中占据的矩形框的几何中心。

如图7所示，为本申请实施例提供的又一种视频的防抖方法的流程示意图，该流程具体包括：

S701、手机接收用户开启双景录制功能的操作。

其中，用户开启双景录制功能的操作，例如为用户在相机应用中点击双景录制功能的开关的操作，或者执行预定义操作，或者输入语音命令等。

S702、响应于开启双景录制功能的操作，手机显示第一取景器和第二取景器。

S703、第一取景器显示前置摄像头采集的图像，且第一取景器中人脸或人像位于图像中心区域；第二取景器显示后置摄像头采集的图像。

示例性的，人脸位于图像的中心区域，包括人脸或人像的中心与图像的中心之间的距离小于或等于预设阈值(例如两个像素点的距离)。其中，人脸或人像的中心例如为人脸或人像在图像中占据的矩形框的几何中心。

类似的，针对前置摄像头采集的原始图像，以人脸或人像为中心进行裁切得到第一取景器显示的图像，保持人脸或人像一直位于第一取景器的中心区域，达到稳定人脸或人像的效果。针对后置摄像头采集的原始图像，可以结合手机的运动特征，对后置摄像头采集的原始画面进行画面补偿，达到稳定画面的效果。

下面结合图8对本申请实施例提供的方法达到稳定画面的效果进行说明。

在现有技术中，如图8中(1)所示，图像801为后置摄像头采集的原始图像。若根据手机的运动特征进行补偿，即，以图像801的中心为中心向第一方向移动第一距离后裁切相应大小的图像，即图像803。图像802为前置摄像头采集的原始图像。根据手机的运动特征进行补偿，即，以图像802的中心为中心向第一方向移动第一距离后裁切相应大小的图像，即图像804。而后，将图像803和图像804进行合并得到图像805。在合并时还可以包括对图像803和图像804进行按比例缩小等其他图像处理等，这里不做限定。

在本申请中，如图8中(2)所示，图像801为后置摄像头采集的原始图像。若根据手机的运动特征进行补偿，得到图像803。图像802为前置摄像头采集的原始图像。若以图像802中人脸为中心进行相应裁切，则得到图像806。而后，将图像803和图像806进行合并得到图像807。在合并时还可以包括对图像803和图像804进行按比例缩小等其他图像处理等，这里不做限定。

对比图像805和图像807可知，采用图8中(2)所述的方法，可以使得前置摄像头拍摄的画面中人脸始终位于图像中心，达到人脸稳定的效果。

本申请实施例还提供一种芯片系统，如图9所示，该芯片系统包括至少一个处理器1101和至少一个接口电路1102。处理器1101和接口电路1102可通过线路互联。例如，接口电路1102可用于从其它装置(例如电子设备100的存储器)接收信号。又例如，接口电路1102可用于向其它装置(例如处理器1101)发送信号。示例性的，接口电路1102可读取存储器中存储的指令，并将该指令发送给处理器1101。当所述指令被处理器1101执行时，可使得电子设备执行上述实施例中的电子设备100(比如，手机)执行的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种装置，该装置包含在电子设备中，该装置具有实现上述实施例中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，检测模块或单元、显示模块或单元、确定模块或单元、以及计算模块或单元等。

本申请实施例还提供一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如上述实施例中任一方法。

本申请实施例还提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述实施例中任一方法。

本申请实施例还提供一种电子设备上的图形用户界面，所述电子设备具有显示屏、摄像头、存储器、以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述图形用户界面包括所述电子设备执行如上述实施例中任一方法时显示的图形用户界面。

可以理解的是，上述终端等为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

本申请实施例可以根据上述方法示例对上述终端等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种视频的防抖处理方法，其特征在于，所述方法应用于包含相机的电子设备，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：

接收到第一操作；

响应于接收到所述第一操作，显示第一取景器和第二取景器；其中，所述第一取景器用于显示所述第一摄像头采集的第一图像，所述第二取景器用于显示所述第二摄像头采集的第二图像；

其中，针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像；

针对所述第二摄像头采集的第二原始图像，以所述第二原始图像的中心向第一方向移动第一距离的位置为中心进行裁切得到所述第二图像，所述第一方向和所述第一距离为根据所述电子设备的运动特征确定的；

所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头；或者，所述第一摄像头为长焦摄像头，所述第二摄像头为中焦或短焦摄像头；或者，所述第一摄像头和所述第二摄像头为同一摄像头，所述第一图像的变焦倍率大于所述第二图像的变焦倍率。

2.根据权利要求1所述的方法，其特征在于，所述第一取景器和所述第二取景器的尺寸相同或不同。

3.根据权利要求1或2所述的方法，其特征在于，所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像，包括：

在针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切，得到第三图像；

根据所述第三图像，以及所述第一取景框的尺寸，调整所述第一取景框对应的变焦倍率；

根据所述第一取景框调整后的变焦倍率和所述第三图像进行变焦处理，得到所述第一图像。

4.根据权利要求1或2所述的方法，其特征在于，在所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像之后，所述方法包括：

在所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像；

根据所述第一图像的尺寸，调整所述第一取景器的尺寸。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

根据所述第一摄像头采集的所述第一原始图像，自动确定所述第一原始图像中的所述目标对象；或者，根据用户的选择操作确定所述第一原始图像中的所述目标对象。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标对象包含一个或多个人脸。

7.根据权利要求6所述的方法，其特征在于，所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像，还包括：

采用图像分割技术将所述第一摄像头采集的第一原始图像分割为第四图像和第五图像，所述第四图像为所述目标对象的图像，所述第五图像为所述第一原始图像中不包含所述目标对象的图像；

针对所述第四图像，以所述第四图像中所述目标对象为中心进行裁切得到第六图像；针对所述第五图像，为所述第五图像的中心向所述第一方向移动所述第一距离的位置为中心进行裁切得到第七图像；

将所述第六图像和所述第七图像进行合并，得到所述第一图像。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述电子设备配置有惯性测量单元IMU，所述方法还包括：

根据所述IMU的数据确定所述电子设备的运动特征，并根据所述电子设备的运动特征确定所述第一方向和所述第一距离。

9.根据权利要求8所述的方法，其特征在于，所述第二摄像头还配置有光学防抖器件，所述根据所述IMU的数据确定所述电子设备的运动特征，并根据所述电子设备的运动特征确定所述第一方向和所述第一距离，包括：

根据所述IMU的数据确定所述电子设备的运动特征，并根据所述电子设备的运动特征和所述光学防抖器件的数据确定所述第一方向和所述第一距离。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述第一操作为用户针对特定控件的操作，输入特定语音命令，执行预设隔空手势中的任一项。

11.一种电子设备，其特征在于，包括：处理器、存储器、触摸屏、第一摄像头和第二摄像头，所述存储器、所述触摸屏、所述第一摄像头、所述第二摄像头与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器从所述存储器中读取所述计算机指令，以使得所述电子设备执行如下操作：

接收到第一操作；

响应于接收到所述第一操作，显示第一取景器和第二取景器；其中，所述第一取景器用于显示所述第一摄像头采集的第一图像，所述第二取景器用于显示所述第二摄像头采集的第二图像；

其中，针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像；

针对所述第二摄像头采集的第二原始图像，以所述第二原始图像的中心向第一方向移动第一距离的位置为中心进行裁切得到所述第二图像，所述第一方向和所述第一距离为根据所述电子设备的运动特征确定的；

所述第一摄像头为前置摄像头，所述第二摄像头为后置摄像头；或者，所述第一摄像头为长焦摄像头，所述第二摄像头为中焦或短焦摄像头；或者，所述第一摄像头和所述第二摄像头为同一摄像头，所述第一图像的变焦倍率大于所述第二图像的变焦倍率。

12.根据权利要求11所述的电子设备，其特征在于，所述第一取景器和所述第二取景器的尺寸相同或不同。

13.根据权利要求11或12所述的电子设备，其特征在于，所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像，包括：

在针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切，得到第三图像；

根据所述第三图像，以及所述第一取景框的尺寸，调整所述第一取景框对应的变焦倍率；

根据所述第一取景框调整后的变焦倍率和所述第三图像进行变焦处理，得到所述第一图像。

14.根据权利要求11或12所述的电子设备，其特征在于，在所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像之后，还执行：

在所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像；

根据所述第一图像的尺寸，调整所述第一取景器的尺寸。

15.根据权利要求11-14任一项所述的电子设备，其特征在于，还执行：

根据所述第一摄像头采集的所述第一原始图像，自动确定所述第一原始图像中的所述目标对象；或者，根据用户的选择操作确定所述第一原始图像中的所述目标对象。

16.根据权利要求11-15任一项所述的电子设备，其特征在于，所述目标对象包含一个或多个人脸。

17.根据权利要求16所述的电子设备，其特征在于，所述针对所述第一摄像头采集的第一原始图像，以所述第一原始图像中目标对象为中心进行裁切得到所述第一图像，还包括：

采用图像分割技术将所述第一摄像头采集的第一原始图像分割为第四图像和第五图像，所述第四图像为所述目标对象的图像，所述第五图像为所述第一原始图像中不包含所述目标对象的图像；

针对所述第四图像，以所述第四图像中所述目标对象为中心进行裁切得到第六图像；针对所述第五图像，为所述第五图像的中心向所述第一方向移动所述第一距离的位置为中心进行裁切得到第七图像；

将所述第六图像和所述第七图像进行合并，得到所述第一图像。

18.根据权利要求11-17任一项所述的电子设备，其特征在于，所述电子设备配置有惯性测量单元IMU，所述电子设备还执行：

根据所述IMU的数据确定所述电子设备的运动特征，并根据所述电子设备的运动特征确定所述第一方向和所述第一距离。

19.根据权利要求18所述的电子设备，其特征在于，所述第二摄像头还配置有光学防抖器件，所述根据所述IMU的数据确定所述电子设备的运动特征，并根据所述电子设备的运动特征确定所述第一方向和所述第一距离，包括：

根据所述IMU的数据确定所述电子设备的运动特征，并根据所述电子设备的运动特征和所述光学防抖器件的数据确定所述第一方向和所述第一距离。

20.根据权利要求11-19任一项所述的电子设备，其特征在于，所述第一操作为用户针对特定控件的操作，输入特定语音命令，执行预设隔空手势中的任一项。

21.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任一项所述的视频的防抖处理方法。

22.一种芯片系统，其特征在于，包括一个或多个处理器，当所述一个或多个处理器执行指令时，所述一个或多个处理器执行如权利要求1-10中任一项所述的视频的防抖处理方法。

Images