CN110636223A - 防抖处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种基于录像模式的防抖处理方法和装置、电子设备。该方法包括：接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；对初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，根据所述第一场景确定对应的第一防抖模式，采用所述第一防抖模式对所述第一场景下的图像进行防抖处理；持续对采集的多帧图像进行场景识别，当识别到从所述第一场景变化为第二场景时，将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理。采用本方法能够能够有效针对不同拍摄场景采用相匹配的防抖模式，有效保证了防抖准确性的同时节省了电子设备的功耗。

Description

防抖处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种防抖处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着影像技术的迅速发展，防抖技术已经广泛应用于电子设备中。在使用电子设备拍摄的过程中，可以采用电子防抖和光学防抖等防抖技术，以减弱摄像头在拍摄时因振动产生的影像模糊，同时也消耗电子设备的功耗和性能。电子防抖是通过降低画质来补偿抖动的技术，防抖效果不佳但成本较低。光学防抖是通过镜头组依靠磁力包裹悬浮镜头，以克服因摄像头振动产生的图像模糊，防抖效果更加明显但成本较高。

发明内容

本申请实施例提供一种防抖处理方法、装置、电子设备、计算机可读存储介质，能够有效针对不同拍摄场景采用相匹配的防抖模式，有效保证了防抖准确性的同时节省了电子设备的功耗。

一种防抖处理方法，包括：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

对初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，根据所述第一场景确定对应的第一防抖模式，采用所述第一防抖模式对所述第一场景下的图像进行防抖处理；

持续对采集的多帧图像进行场景识别，当识别到从所述第一场景变化为第二场景时，将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理。

一种防抖处理装置，包括：

指令接收模块，用于接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

场景识别模块，用于对初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，根据所述第一场景确定对应的第一防抖模式；

第一防抖模块，用于采用所述第一防抖模式对所述第一场景下的图像进行防抖处理；

第二防抖模块，用于持续对采集的多帧图像进行场景识别，当识别到从所述第一场景变化为第二场景时，将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

对初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，根据所述第一场景确定对应的第一防抖模式，采用所述第一防抖模式对所述第一场景下的图像进行防抖处理；

持续对采集的多帧图像进行场景识别，当识别到从所述第一场景变化为第二场景时，将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

对初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，根据所述第一场景确定对应的第一防抖模式，采用所述第一防抖模式对所述第一场景下的图像进行防抖处理；

持续对采集的多帧图像进行场景识别，当识别到从所述第一场景变化为第二场景时，将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理。

上述防抖处理方法、装置、电子设备和存储介质，在根据拍摄指令控制摄像头采集多帧图像时，对初始帧图像进行场景识别，由此能够有效识别出初始帧图像对应的第一场景。电子设备则根据第一场景确定对应的第一防抖模式，并采用第一防抖模式对第一场景下的图像进行防抖处理，从而针对当前的场景采用防抖效果和性能消耗相匹配的防抖模式。电子设备持续对采集的多帧图像进行场景识别的过程中，当识别到从第一场景变化为第二场景时，将第一防抖模式切换为第二场景对应的第二防抖模式，通过第二防抖模式对第二场景下的图像进行防抖处理，由此能够有效地对切换到与当前场景的防抖效果和性能消耗相匹配的防抖模式进行防抖处理。通过实时对采集的图像进行场景识别，针对不同的场景分别采用相应的防抖模式进行防抖处理，由此能够在保证防抖准确性的同时，有效节省电子设备的功耗和资源消耗。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中防抖处理方法的应用环境图；

图2为一个实施例中防抖处理方法的流程图；

图3为一个实施例中对第一场景下的图像进行防抖处理步骤的流程图；

图4为一个实施例中对第二场景下的图像进行防抖处理步骤的流程图；

图5为一个实施例中裁切比计算步骤的流程图；

图6为一个实施例中防抖处理装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一场景称为第二场景，将第一防抖模式成为第二防抖模式，且类似地，可将第二场景称为第一场景，将第二防抖模式成为第一防抖模式。第一场景和第二场景两者都是图像对应的场景类别，但其不是同一场景，第一防抖模式和第二防抖模式但是防抖模式，但其不是同一防抖模式。

图1为一个实施例中防抖处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。其中，电子设备100包含有摄像头110。具体地，电子设备100可以接收拍摄指令，根据拍摄指令控制摄像头110采集多帧图像。电子设备100对初始帧图像进行场景识别，得到初始帧图像对应的第一场景，根据第一场景确定对应的第一防抖模式，使得摄像头110采用第一防抖模式对第一场景下的图像进行防抖处理。电子设备100持续对采集的多帧图像进行场景识别，当识别到从第一场景变化为第二场景时，将第一防抖模式切换为第二场景对应的第二防抖模式，电子设备100则通过第二防抖模式对第二场景下的图像进行防抖处理。电子设备100可以但不限于是各种手机、平板电脑或者个人数字助理或穿戴式设备等。

图2为一个实施例中防抖处理方法的流程图。本实施例中的防抖处理方法，以运行于图1中的电子设备上为例进行描述。如图1所示，防抖处理方法包括步骤202至步骤206。

步骤202，接收拍摄指令，根据拍摄指令控制摄像头采集多帧图像。

用户可以通过电子设备发起拍摄指令，例如，用户可以通过按键、触摸或者语音命令等形式发起拍摄指令。拍摄指令可以是视频录制请求等。电子设备则接收用户触发的拍摄指令，进而根据拍摄指令控制摄像头采集多帧图像。其中，摄像头根据拍摄指令持续采集多帧图像。

步骤204，对初始帧图像进行场景识别，得到初始帧图像对应的第一场景，根据第一场景确定对应的第一防抖模式，采用第一防抖模式对第一场景下的图像进行防抖处理。

其中，初始帧图像为电子设备接收到拍摄指令后采集的第一帧图像。电子设备中预先配置了多种类别的场景，场景表示待处理图像的拍摄场景。例如，电子设备采集的图像中包括多种图像类别，图像类别可以是基于画面场景所划分，如图像类别可以包括滑雪场、游乐园、海滩、森林、建筑、日出/日落、烟火、聚光灯、静物以及室内等多种类别。其中，如滑雪场、游乐园、海滩、聚光灯等可能发生剧烈运动的图像类别，则可以划分为运动场景。静物等图像类别可以划分为非运动场景，室内则可以划分为室内场景。

电子设备包括多种防抖模式的防抖功能，例如可以包括OIS(Optical ImageStabilization，光学防抖)防抖模式、EIS(Electronic Image Stabilization，电子防抖)防抖模式等多种防抖模式。其中，不同防抖模式的防抖效果不同，采用不同的防抖模式对电子设备的功耗要求和运算资源的消耗也不同。为了保证拍摄的图像的防抖有效性的同时，防止防止电子设备由于功耗较高以及运算资源被过多占用，造成掉帧等问题，电子设备可以对不同的拍摄场景采用不同的防抖模式进行处理。

电子设备根据摄像指令控制摄像头采集图像时，获取摄像头采集的初始帧图像，并对初始帧图像进行场景识别。具体地，电子设备可以将初始帧图像输入至预先训练的场景识别模型中进行场景识别，由此确定出初始帧图像对应的场景类别，并将初始帧图像的场景类别作为第一场景。电子设备则匹配第一场景所对应的第一防抖模式，进而采用第一防抖模式对第一场景下的图像进行防抖处理。例如，当第一场景为运动场景时，则对应的第一防抖模式可以采用OIS防抖和EIS防抖相结合的多重防抖模式。由此可以对抖动程度较大的拍摄场景采用高精度的防抖模式，从而能够有效保障防抖的准确性。

步骤206，持续对采集的多帧图像进行场景识别，当识别到从第一场景变化为第二场景时，将第一防抖模式切换为第二场景对应的第二防抖模式，通过第二防抖模式对第二场景下的图像进行防抖处理。

电子设备控制摄像头采集多帧图像的过程中，持续对采集的多帧图像进行场景识别。电子设备实时对采集的图像进行场景识别的过程中，当识别到所采集的当前帧图像的场景发生变化时，即当前帧图像的场景与上一帧图像的场景不同时，将当前帧图像的场景确定为第二场景。

电子设备则第二场景对应的第二防抖模式，将第一防抖模式切换为第二防抖模式，通过第二防抖模式对第二场景下的图像进行防抖处理。例如，第一场景为运动场景，当从运动场景变化为非运动场景的第二场景时，则对应的第二防抖模式可以为EIS防抖的防抖模式，此时则可以关闭OIS防抖模式，仅采用EIS防抖模式对非运动场景下的图像进行防抖处理。由于非运动场景下的抖动程度并不大，采用EIS防抖就足以保证防抖的准确性，且EIS防抖模式对电子设备的功耗和运算资源的消耗较少。其中，非运动场景下也可以仅采用OIS的防抖模式。由此能够在保证防抖准确性的同时，有效节省电子设备的功耗的资源消耗。

本实施例中包括但不限于仅有两种场景类别和两种防抖模式，还可以有第三场景、第四场景以及对应的第三防抖模式、第四防抖模式等，从而可以针对不同的场景分别采用相应的防抖模式进行防抖处理。

本实施例中的防抖处理方法，电子设备接收拍摄指令后，根据拍摄指令控制摄像头采集多帧图像，并对初始帧图像进行场景识别，由此能够有效识别出初始帧图像对应的第一场景。电子设备则根据第一场景确定对应的第一防抖模式，并采用第一防抖模式对第一场景下的图像进行防抖处理，从而针对当前的场景采用防抖效果和性能消耗相匹配的防抖模式。电子设备持续对采集的多帧图像进行场景识别的过程中，当识别到从第一场景变化为第二场景时，将第一防抖模式切换为第二场景对应的第二防抖模式，通过第二防抖模式对第二场景下的图像进行防抖处理，由此能够有效地对切换到与当前场景的防抖效果和性能消耗相匹配的防抖模式进行防抖处理。通过实时对采集的图像进行场景识别，针对不同的场景分别采用相应的防抖模式进行防抖处理，由此能够在保证防抖准确性的同时，有效节省电子设备的功耗和资源消耗。

在一个实施例中，对初始帧图像进行场景识别，得到初始帧图像对应的第一场景，包括：获取预先训练的场景识别模型，将初始帧图像输入至场景识别模型，通过场景识别模型初始帧图像进行分类，得到对应的图像类别；根据图像类别匹配对应的场景类别，将场景类别确定为初始帧图像对应的第一场景。

其中，场景识别模型为预先根据图片样本集训练得到的深度学习模型。在通过场景识别模型进行场景识别之前，通常需要通过一个训练图像集合对场景识别模型进行训练，得到能够准确进行识别的场景识别模型。一般情况下，训练图像集合中包含的训练图像越多，最后得到的场景识别模型越精确。场景识别模型训练好之后，将待处理图像输入到训练好的场景识别模型中，通过该训练好的场景识别模型输出分类结果。场景识别模型可以但不限于是K最近邻分类模型、最近邻分类模型、朴素贝叶斯分类模型、神经网络模型等。

电子设备接收拍摄指令后，根据摄像指令控制摄像头采集多帧图像。电子设备获取预先训练的场景识别模型，并将采集的初始帧图像输入至预先训练的场景识别模型中，通过场景识别模型对初始帧图像进行图像分类，得到初始帧图像的图像类别。其中，场景识别模型可以是基于地点场所、目标物体、拍摄环境等对图像进行分类。例如，图像类别可以包括但不限于滑雪场、游乐园、海滩、森林、建筑、日出/日落、烟火、聚光灯、静物以及室内等多种类别。

其中，场景识别模型中还包括多种图像类别与场景类别的映射关系。如滑雪场、游乐园、海滩、聚光灯等可能发生剧烈运动的图像类别，则可以划分为运动场景。静物等图像类别可以划分为非运动场景，室内则可以划分为室内场景。通过场景识别模型对初始帧图像进行图像分类，得到初始帧图像的图像类别后，则根据图像类别匹配相应的场景类别，并将该场景类别确定为初始帧图像对应的第一场景。通过场景识别模型对采集的图像进行场景识别，能够快速准确地识别出所采集图像的场景。

在其中一个实施例中，电子设备通过场景识别模型对采集的图像进行场景识别时，还可以根据对图像进行分类得到的图像类别和抖动参数确定对应的场景类别。其中，抖动参数为获取的传感器数据，用于表示电子设备的抖动程度。传感器数据可以包括加速度传感器数据和陀螺仪角速度数据等。电子设备在采集多帧图像的过程中，获取加速度传感器的加速度数据和陀螺仪的角速度数据，并根据加速度数据和角速度数据确定当前抖动参数。具体地，若当前抖动参数未超过抖动阈值，则根据图像类别匹配对应的场景类别。例如在拍摄一些室内环境以及建筑物时，电子设备的抖动可能并不剧烈，则根据识别的图像类别来确定相应的场景类别，如室内场景、非运动场景等。若当前抖动参数超过抖动阈值时，则根据当前抖动参数确定对应的场景类别。例如，若当前抖动参数超过抖动阈值时，此时可以确定当前拍摄环境处于剧烈运动的状态，则可以直接确定相应的场景类别，如运动场景。通过结合场景识别模型和传感器数据对采集图像进行场景识别，能够准确有效地识别出相应的场景，进而能够有效地针对不同的场景采用不同的防抖模式。

在一个实施例中，根据第一场景确定对应的第一防抖模式，采用第一防抖模式对第一场景下的图像进行防抖处理，包括：若识别到第一场景为运动场景，确定第一防抖模式为多重防抖模式；采用多重防抖模式对第一场景下的图像进行防抖处理。

电子设备接收拍摄指令后，根据拍摄指令控制摄像头采集多帧图像，并对初始帧图像进行场景识别，由此能够有效识别出初始帧图像对应的第一场景。当识别到第一场景为运动场景时，则可以确定对应的第一防抖模式为高精度的多重防抖模式。例如可以是OIS防抖和EIS防抖相结合的双重防抖模式。电子书设备则实时开启多重防抖模式对应的多个模式状态，进而采用多重防抖模式对第一场景下的图像进行防抖处理。由此可以对抖动程度较大的拍摄场景采用高精度的防抖模式，从而能够有效保障防抖的准确性。

在一个实施例中，如图3所示，采用多重防抖模式对第一场景下的图像进行防抖处理的步骤包括：

步骤302，获取摄像模组在光学防抖模式下所拍摄的原始图像。

步骤304，获取原始图像的非重叠区域，对原始图像的非重叠区域进行电子防抖补偿，得到电子防抖补偿后的图像。

步骤306，将电子防抖补偿后的图像进行拼接合成得到目标图像。

其中，原始图像可以是未经处理和压缩的图像。电子设备根据拍摄指令控制摄像头采集多帧图像后，当识别到初始帧图像的场景类别为运动场景时，则可以确定对应的第一防抖模式为高精度的多重防抖模式。例如可以是OIS防抖和EIS防抖相结合的双重防抖模式。具体地，电子设备则同时开启该双重防抖模式对应的模式状态。电子设备则首先采用OIS防抖模式对摄像头进行防抖，并获取摄像模组在光学防抖模式下所拍摄的原始图像。电子设备进而根据不同的原始图像中相同的像素所对应的位置，从而获取到不同的原始图像中的重叠区域，再从不同的原始图像中分别剔除该重叠区域，从而得到原始图像的非重叠区域。

电子设备进而对原始图像中的非重叠区域进行EIS防抖补偿，从而得到EIS电子防抖补偿后的图像。具体地，电子设备获取摄像头的角速度数据及OIS防抖模式中的抖动补偿信息，根据摄像头的角速度数据及抖动补偿信息对原始图像的非重叠区域进行EIS电子防抖补偿，从而得到EIS电子防抖补偿后的图像。电子设备将每一张原始图像的非重叠区域经过EIS防抖补偿后得到EIS防抖补偿后的图像。电子设备则从EIS防抖补偿后的图像中分别获取重叠区域，并将重叠区域进行合成。电子设备再将EIS防抖补偿后的图像的非重叠区域进行拼接，由此得到拼接合成后的目标图像。通过对运动场景下的图像进行OIS和EIS双重防抖处理，从而能够得到经过OIS和EIS双重防抖补偿下的高清晰图像，有效保证了在运动场景下防抖的准确性。

在一个实施例中，将第一防抖模式切换为第二场景对应的第二防抖模式，通过第二防抖模式对第二场景下的图像进行防抖处理，包括：将上一帧图像的场景与当前帧图像的场景进行比对，当场景发生变化时，确定当前帧图像的场景为第二场景；将第一防抖模式切换为第二场景对应的第二防抖模式，采用第二防抖模式对下一帧图像进行防抖处理。

电子设备接收拍摄指令后，根据拍摄指令控制摄像头采集多帧图像，并对初始帧图像进行场景识别，识别出初始帧图像对应的第一场景。其中，电子设备可以对初始帧图像可以采用默认的初始防抖模式进行防抖处理。电子设备则根据第一场景确定对应的第一防抖模式，并采用第一防抖模式对第一场景下的图像进行防抖处理，从而针对当前的场景采用防抖效果和性能消耗相匹配的防抖模式。

电子设备持续对采集的多帧图像进行场景识别的过程中，当识别到所采集的当前帧图像的场景发生变化时，即当前帧图像的场景与上一帧图像的场景不同时，将当前帧图像的场景确定为第二场景。其中，通常同一场景下包括连续的多帧图像，电子设备对当前帧图像则可以仍采用第一防抖模式进行防抖处理，电子设备对当前帧图像的下一帧图像则采用第二场景对应的第二防抖模式进行防抖处理。由于仅对其中一帧图像的延迟防抖模式的切换处理，并不会对整体的防抖效果产生影响。因此可以对场景变化后的下一帧图像采用切换后的第二防抖模式进行防抖处理。由此能够快速有效地对切换到与当前场景的相匹配的防抖模式进行防抖处理，从而能够在保证防抖准确性的同时，有效节省电子设备的功耗和资源消耗。

在一个实施例中，如图4所示，采用第二防抖模式对第二场景下的图像进行防抖处理的步骤，包括：

步骤402，若第二场景为非运动场景，获取相邻帧之间对应的运动数据，根据运动数据计算所述第二场景下的图像对应的全局运动向量。

步骤404，根据全局运动向量计算补偿运动矢量值，利用补偿运动矢量对下一帧图像的全局运动矢量进行补偿。

步骤406，对补偿后的图像进行图像校正。

其中，电子设备中包括加速度传感器和陀螺仪，电子设备可以利用加速度传感器获取相邻帧图像之间对应的加速度数据，将加速度数据进行缓存。利用陀螺仪采集角速度数据，将角速度数据进行缓存。运动数据可以包括加速度数据和角速度数据。

电子设备接收拍摄指令后，根据拍摄指令控制摄像头采集多帧图像，并对初始帧图像进行场景识别，得到初始帧图像对应的第一场景。电子设备则根据第一场景确定对应的第一防抖模式，并采用第一防抖模式对第一场景下的图像进行防抖处理。例如，当第一场景为运动场景时，则对应的第一防抖模式可以采用OIS防抖和EIS防抖相结合的多重防抖模式。

电子设备持续对采集的多帧图像进行场景识别的过程中，当识别到从第一场景变化为第二场景时，若第二场景为非运动场景，电子设备则可以仅采用EIS防抖模式对第二场景下的图像进行防抖处理。具体地，电子设备获取运动数据在多个方向的加速度，利用加速度与对应的运动时间，计算缓存后的图像数据对应的运动轨迹。进而根据运动轨迹计算图像数据对应的全局运动向量。通过运动数据计算得到全局运动矢量之后，进一步根据全局运动向量计算补偿运动矢量值。在矢量差值超过预设范围时，将预设范围内的最大值与矢量差值做比对，得到补偿运动矢量值，利用补偿运动矢量对下一帧图像的全局运动矢量进行补偿，并对补偿后的图像进行图像校正。通过加速度传感器采集运动数据，能够真实的反映电子设备的运动状况，从而能够有效提高图像数据的防抖效果。

在一个实施例中，该方法还包括：若拍摄指令中包括已选择的快动作拍摄模式，根据拍摄指令控制摄像头采集多帧图像，并采用双重防抖的第一防抖模式对拍摄的图像进行防抖处理；持续对采集的多帧图像进行场景识别，当识别到所采集的图像为非快动作场景时，将第一防抖模式切换为非快动作场景对应的第二防抖模式，通过第二防抖模式对非快动作场景下的图像进行防抖处理。

用户通过电子设备发起拍摄指令时，还可以手动选择拍摄模式，例如正常模式、快动作模式等。快动作拍摄模式是一种使影像运动快于正常速度的技术效果，通常以低于每秒二十四格的速度拍摄，再以正常速度放映即可得到这种效果。

当电子设备接收的拍摄指令中携带了用户选择的快动作拍摄模式时，表示用户将在快动作场景下进行拍摄。电子设备可以首先将拍摄的场景确定为快动作场景，并将防抖模式配置为双重防抖模式。电子设备根据拍摄指令控制摄像头采集多帧图像时，则采用多重防抖的第一防抖模式对拍摄的图像进行防抖处理。以对抖动程度较大的快动作场景采用高精度的防抖模式，从而能够有效保障防抖的准确性。

电子设备在控制摄像头持续采集多帧图像的过程中，同时持续对采集的多帧图像进行场景识别。电子设备实时对采集的图像进行场景识别的过程中，当识别到所采集的当前帧图像的场景变化为非快动作场景时，将第一防抖模式切换为非快动作场景对应的第二防抖模式，并采用第二防抖模式对非快动作场景下的图像进行防抖处理。通过实时对采集的图像进行场景识别，针对不同的场景分别采用相应的防抖模式进行防抖处理，由此能够在保证防抖准确性的同时，有效节省电子设备的功耗和资源消耗。

在一个实施例中，如图5所示，该方法还包括计算裁切比的步骤，包括：

步骤502，获取防抖处理后的多帧图像。

步骤504，对多帧图像进行仿射变换，得到待裁剪边缘像素，根据待裁剪边缘像素计算多帧图像的裁切比。

步骤506，当裁切比超过预设阈值时，对裁切比超过预设阈值的图像放弃防抖处理。

其中，裁切比表示在防抖处理的过程中需要对待处理图像进行裁切的区域与原始图像区域的比值。

电子设备根据拍摄指令控制摄像头采集多帧图像，并对不同场景的图像进行防抖处理的过程中，需要对待处理图像进行仿射变换，得到变换后需要裁剪的待裁剪图像边缘。电子设备进而待裁剪图像边缘的待裁剪像素计算出基于原始图像区域的裁切比。其中，若裁切比过大，则表示裁切后的图像的像素和清晰度就比较低。因此，当裁切比大于预设阈值时，电子设备则放弃对该帧图像的防抖处理，以保障图像的清晰度。在针对不同的场景分别采用相应的防抖模式进行防抖处理时，通过对防抖处理过程中裁切比过大的图像放弃防抖处理，能够在保证防抖准确性和设备性能的同时，有效保证了图像的清晰度。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的防抖处理装置的结构框图。如图6所示，装置的实施例，该装置包括：指令接收模块602、场景识别模块604、第一防抖模块606、第二防抖模块608，其中：

指令接收模块602，用于接收拍摄指令，根据拍摄指令控制摄像头采集多帧图像；

场景识别模块604，用于对初始帧图像进行场景识别，得到初始帧图像对应的第一场景，根据第一场景确定对应的第一防抖模式；

第一防抖模块606，用于采用第一防抖模式对第一场景下的图像进行防抖处理；

第二防抖模块608，用于持续对采集的多帧图像进行场景识别，当识别到从第一场景变化为第二场景时，将第一防抖模式切换为第二场景对应的第二防抖模式，通过第二防抖模式对第二场景下的图像进行防抖处理。

在一个实施例中，场景识别模块604还用于获取预先训练的场景识别模型，将初始帧图像输入至场景识别模型，通过场景识别模型初始帧图像进行分类，得到对应的图像类别；根据图像类别匹配对应的场景类别，将场景类别确定为初始帧图像对应的第一场景。

在一个实施例中，第一防抖模块606还用于若识别到第一场景为运动场景，确定第一防抖模式为多重防抖模式；采用多重防抖模式对第一场景下的图像进行防抖处理。

在一个实施例中，第一防抖模块606还用于获取摄像模组在光学防抖模式下所拍摄的原始图像；获取原始图像的非重叠区域，对原始图像的非重叠区域进行电子防抖补偿，得到电子防抖补偿后的图像；将电子防抖补偿后的图像进行拼接合成得到目标图像。

在一个实施例中，第二防抖模块608还用于将上一帧图像的场景与当前帧图像的场景进行比对，当场景发生变化时，确定当前帧图像的场景为第二场景；将第一防抖模式切换为第二场景对应的第二防抖模式，采用第二防抖模式对下一帧图像进行防抖处理。

在一个实施例中，第二防抖模块608还用于若第二场景为非运动场景，获取相邻帧之间对应的运动数据，根据运动数据计算第二场景下的图像对应的全局运动向量；根据全局运动向量计算补偿运动矢量值，利用补偿运动矢量对下一帧图像的全局运动矢量进行补偿；对补偿后的图像进行图像校正。

在一个实施例中，第一防抖模块606还用于若拍摄指令中包括已选择的快动作拍摄模式，根据拍摄指令控制摄像头采集多帧图像，并采用多重防抖的第一防抖模式对拍摄的图像进行防抖处理；第二防抖模块608还用于持续对采集的多帧图像进行场景识别，当识别到所采集的图像为非快动作场景时，将第一防抖模式切换为非快动作场景对应的第二防抖模式，通过第二防抖模式对非快动作场景下的图像进行防抖处理。

在一个实施例中，防抖模块还用于获取防抖处理后的多帧图像；对多帧图像进行仿射变换，得到待裁剪边缘像素，根据待裁剪边缘像素计算多帧图像的裁切比；当裁切比超过预设阈值时，对裁切比超过预设阈值的图像放弃防抖处理。

上述防抖处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将防抖处理装置按照需要划分为不同的模块，以完成上述防抖处理装置的全部或部分功能。

关于防抖处理装置的具体限定可以参见上文中对于防抖处理方法的限定，在此不再赘述。上述防抖处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种防抖处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的防抖处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如加速度传感器或陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

以下为运用图8中图像处理技术实现防抖处理方法的步骤。具体的，ISP处理器840接收拍摄指令。成像设备810根据拍摄指令控制摄像头采集多帧图像，采集的图像数据可以缓存至图像存储器830中。ISP处理器840对初始帧图像进行场景识别，得到初始帧图像对应的第一场景，根据第一场景确定对应的第一防抖模式，并采用第一防抖模式对第一场景下的图像进行防抖处理。ISP处理器840持续对采集的多帧图像进行场景识别的过程中，当识别到从第一场景变化为第二场景时，将第一防抖模式切换为第二场景对应的第二防抖模式，ISP处理器840通过第二防抖模式对第二场景下的图像进行防抖处理。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行防抖处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行防抖处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种防抖处理方法，其特征在于，包括：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

对初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，根据所述第一场景确定对应的第一防抖模式，采用所述第一防抖模式对所述第一场景下的图像进行防抖处理；

持续对采集的多帧图像进行场景识别，当识别到从所述第一场景变化为第二场景时，将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，包括：

获取预先训练的场景识别模型，将所述初始帧图像输入至所述场景识别模型，通过所述场景识别模型所述初始帧图像进行分类，得到对应的图像类别；

根据所述图像类别匹配对应的场景类别，将所述场景类别确定为所述初始帧图像对应的第一场景。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一场景确定对应的第一防抖模式，采用所述第一防抖模式对所述第一场景下的图像进行防抖处理，包括：

若识别到所述第一场景为运动场景，确定所述第一防抖模式为多重防抖模式；

采用所述多重防抖模式对所述第一场景下的图像进行防抖处理。

4.根据权利要求3所述的方法，其特征在于，所述采用所述多重防抖模式对所述第一场景下的图像进行防抖处理，包括：

获取摄像模组在光学防抖模式下所拍摄的原始图像；

获取所述原始图像的非重叠区域，对所述原始图像的非重叠区域进行电子防抖补偿，得到电子防抖补偿后的图像；

将所述电子防抖补偿后的图像进行拼接合成得到目标图像。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理，包括：

将上一帧图像的场景与当前帧图像的场景进行比对，当所述场景发生变化时，确定所述当前帧图像的场景为第二场景；

将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，采用所述第二防抖模式对下一帧图像进行防抖处理。

6.根据权利要求5所述的方法，其特征在于，所述采用所述第二防抖模式对所述第二场景下的图像进行防抖处理，包括：

若所述第二场景为非运动场景，获取相邻帧之间对应的运动数据，根据所述运动数据计算所述第二场景下的图像对应的全局运动向量；

根据所述全局运动向量计算补偿运动矢量值，利用所述补偿运动矢量对下一帧图像的全局运动矢量进行补偿；

对补偿后的图像进行图像校正。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述拍摄指令中包括已选择的快动作拍摄模式，根据所述拍摄指令控制摄像头采集多帧图像，并采用多重防抖的第一防抖模式对拍摄的图像进行防抖处理；

持续对采集的多帧图像进行场景识别，当识别到所采集的图像为非快动作场景时，将所述第一防抖模式切换为所述非快动作场景对应的第二防抖模式，通过所述第二防抖模式对所述非快动作场景下的图像进行防抖处理。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

获取防抖处理后的多帧图像；

对所述多帧图像进行仿射变换，得到待裁剪边缘像素，根据所述待裁剪边缘像素计算所述多帧图像的裁切比；

当所述裁切比超过预设阈值时，对所述裁切比超过预设阈值的图像放弃防抖处理。

9.一种防抖处理装置，其特征在于，包括：

指令接收模块，用于接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

场景识别模块，用于对初始帧图像进行场景识别，得到所述初始帧图像对应的第一场景，根据所述第一场景确定对应的第一防抖模式；

第一防抖模块，用于采用所述第一防抖模式对所述第一场景下的图像进行防抖处理；

第二防抖模块，用于持续对采集的多帧图像进行场景识别，当识别到从所述第一场景变化为第二场景时，将所述第一防抖模式切换为所述第二场景对应的第二防抖模式，通过所述第二防抖模式对所述第二场景下的图像进行防抖处理。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的防抖处理方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的防抖处理方法的步骤。

Images