CN113660426B - 防止用户拍照抖动的方法及系统、计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种防止用户拍照抖动的方法及系统、计算机可读存储介质。其中防止用户拍照抖动的方法，包括：选取拍照时以及拍照前和/或拍照后的至少两帧图像；对所述图像进行分析处理，统计每帧所述图像的焦点数量；选择焦点数量最多的图像作为拍照得到的图像。本发明采用软件方式对图像进行筛选，找到最清晰的图像作为用户拍照得到的图像，实现成本低。

Description

防止用户拍照抖动的方法及系统、计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种防止用户拍照抖动的方法及系统。

背景技术

智能手机是人们日常的拍照工具，当前用户使用智能手机拍照的过程中，用户从相机预览界面完成自动或者手动对焦，人为确认画面清晰之后完成拍照动作。此过程在用户按下快门的时候从相机的光电感应传感器(sensor)中取出图像数据，经裁剪压缩后得到拍照图片。

但是现有的这种方式无法规避用户拍照瞬间由于用力太大或者其他抖动原因导致拍照图片模糊、拖影等不清晰的问题。

为了解决用户拍照时各种抖动因素导致的问题，目前大多手机厂商通过改良摄像头硬件光学结构的方法来规避，譬如改良摄像头的音圈马达的具体结构，但是这种改良方式极大的增加产品的成本开销。

发明内容

为了解决现有技术中硬件防抖成本较高的技术问题，本发明提出了防止用户拍照抖动的方法及系统、计算机可读存储介。

本发明提出的防止用户拍照抖动的方法，包括：

步骤1，选取拍照时以及拍照前和/或拍照后的至少两帧图像；

步骤2，对所述图像进行分析处理，统计每帧所述图像的焦点数量；

步骤3，选择焦点数量最多的图像作为拍照得到的图像。

进一步，开辟与所选取的图像数量一致的暂存空间用来分别存储所选取的图像；和/或开启与所选取的图像数量一致的线程用来对各图像进行并行分析处理。

进一步，对所述图像进行分析处理具体包括：

获取每帧图像的yuv数据；

对所述图像的像素进行遍历，计算每一帧图像的每一个像素在x方向和y方向上与周边像素的差异值；

通过x方向上的差异值与y方向上的差异值计算斜边值；

当所述像素的斜边值超过整体极限差异一定程度的阈值，判定该像素为焦点。

进一步，根据图像缓存的帧速度选取拍照时、拍照前、拍照后对应时间的三帧图像。

进一步，当用户选择对应的拍照模式时，执行上述步骤1至步骤3。

本发明提出的防止用户拍照抖动的系统，包括数据分析模块，其选取拍照时以及拍照前和/或拍照后的至少两帧图像，对所述图像进行分析处理，统计每帧所述图像的焦点数量，选择焦点数量最多的图像作为拍照得到的图像。

进一步，系统还包括数据组织模块，开辟固定长度的缓存空间缓存摄像头所获取的图像数据流以及图像数据流中每帧图像对应的时间戳，根据所述数据分析模块所选择的图像的帧数，预先开辟相同数量的暂存空间用来分别存储各帧图像。

进一步，系统还包括：

ap控制模块，提供对应的拍照模式供用户选择，且当用户选择了对应的拍照模式之后，向所述数据组织模块发送对应的标示，通知所述数据组织模块分配缓存空间和暂存空间。

本发明提出的计算机可读存储介质，用于存储计算机程序，所述计算机程序运行时执行上述技术方案所述的防止用户拍照抖动的方法。

本发明完全基于软件来实现，基于图像数据流的帧速度来选取至少两帧缓存的图像数据，例如三帧或者三帧以上图像，选取拍照前、中、后三帧缓存数据时，由于这些图像彼此之间的时间间隔均为毫秒级，因此可以捕捉到当前用户想要的画面，再通过图像分析处理的方法从中找到最清晰的一帧图像作为用户拍照所得到的图像，最后处理为对应格式的图片文件显示给用户，有效实现了防抖，且实现成本低。

附图说明

下面结合实施例和附图对本发明进行详细说明，其中：

图1是本发明的系统框图。

图2是本发明的工作流程图。

图3是本发明选取图像数据的示意图。

图4是本发明确定焦点的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

由此，本说明书中所指出的一个特征将用于说明本发明的一个实施方式的其中一个特征，而不是暗示本发明的每个实施方式必须具有所说明的特征。此外，应当注意的是本说明书描述了许多特征。尽管某些特征可以组合在一起以示出可能的系统设计，但是这些特征也可用于其他的未明确说明的组合。由此，除非另有说明，所说明的组合并非旨在限制。

下面结合附图以及实施例对本发明的原理进行详细说明。

如图1所示，在一个具体实施例中，将本发明的防止用户拍照抖动的系统应用在安卓系统当中，包括ap控制模块、数据组织模块、数据分析模块、图像压缩模块以及图像回传模块。

ap控制模块提供对应的拍照模式供用户选择，且当用户选择了对应的拍照模式之后，向数据组织模块发送对应的标示，通知数据组织模块分配缓存空间和暂存空间。ap控制模块实质上是一个功能交互接口，在系统应用的相机软件里，增加一个执行本发明的防止用户拍照抖动的方式的对应拍照模式，例如可以取名为对焦峰值拍照模式，用户可以自由选择使用通常模式还是对焦峰值拍照模式，以及通过ap控制模块下达拍照命令。用户选择对焦峰值拍照模式后，该ap控制模块模块通过安卓系统的api接口向Camera hal层下发该模式的唯一标示。底层接受到该标示后会启用对焦峰值拍照的处理流程。

数据组织模块开辟固定长度的缓存空间，来缓存摄像头所获取的图像数据流以及图像数据流中每帧图像对应的时间戳，根据数据分析模块所选择的图像的帧数，预先开辟相同数量的暂存空间用来分别存储各帧图像。具体应用在安卓系统中时，数据组织模块位于摄像头硬件驱动层和系统上层的中间(camera hal层)。Camera hal层从摄像头sensor（也称为Camera Sensor）处接收数据持续流入一个数据缓冲队列，这里所指的摄像头sensor可以理解为摄像头，其实质上是摄像头的光电感应传感器，当摄像头打开时，该传感器就会获取到图像数据。当防止用户抖动的系统存在ap控制模块时，数据组织模块在收到上层的ap控制模块的模式标示后，开始完成数据内存的调整和新内存分配。将内存数据缓冲队列设置为一定数目的缓存空间（buffer）作为原始数据输出的存放空间。如果处理分析模块要选取的图像为三帧时，数据组织模块另外申请三块暂存空间（buffer）作为数据分析的存放空间。数据组织模块在收到上层的ap控制模块的拍照命令后，从数据缓冲队列取出对应拍照时间戳的数据，同时依据当前环境下数据帧率(fps)决策取出拍照前和拍照后数据，将所得的图像数据分别内存拷贝到预先申请到的三块buffer空间备用。

数据分析模块是本发明的防止用户拍照抖动的系统最重要的模块。该数据分析模块选取拍照时以及拍照前和/或拍照后的至少两帧图像，对所选取的几帧图像进行分析处理，统计每帧图像的焦点数量，选择焦点数量最多的图像作为拍照得到的图像，由于角点数量最多的图像是数据分析模块所选取的图像当中最清晰的图像，因而从软件方面起到了很好的防抖作用。在一个较优实施例中，数据分析模块根据图像缓存的帧速度选取拍照时、拍照前、拍照后对应时间的三帧图像，或者是选取拍照时、拍照前、拍照后对应时间的至少三帧图像。数据分析模块在取到数据组织模块准备好的三份拍照数据（即三帧图像的数据）后，同时启动三条线程对三帧图像的数据进行并行的像素分析，每帧图像的数据遍历一次，对每颗像素通过计算其周边像素的x方向和y方向的跨度变化得出该像素是否满足成为焦点的结论。统计完每帧数据的焦点数量，其中焦点数量最多的一帧图像会被认作对焦最清晰的图像，将作为最终的拍照数据交由图像封装模块进一步处理。

图像封装模块的作用在于数据格式转换与封装，图像封装模块将数据分析模块选中的yuv数据进行格式转换，转换为jpeg数据，同时将照片3a等信息写入数据文件。

图像回传模块用来向安卓系统的用户呈现最终照片，图像封装模块封装的数据此时还在系统的camera hal层，需要将jpeg数据向系统上层的ap控制模块传送，通过数据内存拷贝和jni等方法将数据回传，ap控制模块在收到数据后将其保存到手机的外部存储卡供用户查看和使用。

如图2所示，本发明的防止用户拍照抖动的系统的各个模块的工作流程是先通过ap控制模块接收用户选择对应的拍照模式，以及下发拍照命令，即ap控制模块（简称为ap）进行下达模式切换命令和拍照命令。然后数据组织模块根据数据分析模块的需要从CameraSensor中读取图像的yuv数据流到开辟的缓存空间，即系统中间层在接收到模式切换命令后，重新调整camera数据缓冲队列，使队列buffer数量适当加大并适配于整机内存空间，同时另外分配三块buffer空间备用，系统中间层在接受到拍照命令后，依据当前环境下的数据帧率从缓冲队列中取出，拍照前、中和后三帧数据保存于备用空间。数据分析模块从缓存空间中选取拍照前、拍照时（也叫拍照中）、拍照后对应的三帧图像，然后进行峰值检测，得到每帧图像的对焦峰值数据，选择焦点最多的图像作为拍照所形成的图像，即数据分析模块同时开启三条线程对三帧数据进行并列分析，做好线程同步机制。对每一帧数据的y分量进行对焦峰值统计，最后选出峰值最高的数据帧作为拍照数据。然后图像封装模块将拍照所形成的图像的yuv数据转换为jpeg数据，最终由图像回传模块回传至ap控制模块，ap控制模块与用户进行交互，将防抖动效果最好的照片显示给用户。

基于上述工作流程，本发明的防止用户拍照抖动的方法的核心在于选取拍照时以及拍照前和/或拍照后的至少两帧图像，对图像进行分析处理，统计每帧所述图像的焦点数量，选择焦点数量最多的图像作为拍照得到的图像。同时，为了加快处理速度，该方法同时还会开辟与所选取的图像数量一致的暂存空间用来分别存储所选取的图像；和/或开启与所选取的图像数量一致的线程用来对各图像进行并行分析处理。

在上述过程中，根据图像缓存的帧速度选取对应的几帧图像可以通过图3来举例说明，图3所示出的是在拍照时、拍照前、拍照后对应时间选出的三帧图像的原理示意图。

假设所获取的摄像头sensor的数据从左至右进入数据缓存队列。因为不同的环境光亮暗程度，数据流会表现出不同帧速度，在0到30帧的范围内动态变化。在收到拍照命令后取出对应时间的拍照数据第0帧，在慢速帧率5到15fps时候选取距离较近的第3、4帧作为拍照前后的数据，中速帧率15到25fps时候选取距离适中的第2、5帧作为拍照前后的数据，高速帧率25到30fps时候选取距离最远的第1、6帧作为拍照前后的数据。数据缓存队列的长度包含但不限于上图指定的七块，可根据实际camera sensor的size大小、手机内存大小动态设定，使用fps分段取数据的方法不变。

如图4所示，数据分析模块对图像进行分析处理具体过程如下所示。

获取每帧图像的yuv数据；

对图像的像素进行遍历，计算每一帧图像的每一个像素在x方向和y方向上与周边像素的差异值；差异值在x方向的计算，以3*3的像素范围为列，取目标像素（也称之为被遍历的当前像素）左侧竖向的三颗像素y值累加值x1和目标像素右侧竖向的三颗像素y值累加值x2。x方向上的差异值x=x2-x1；差异值在y方向的计算,取目标像素上侧横向的三颗像素y值累加值y1和目标像素下侧横向的三颗像素y值累加值y2。y方向差异值y=y2-y1。像素范围包括但不限于3*3,可以任意选取。通过x方向和y方向上的差异值计算斜边值，斜边值依据三角形斜边公式计算得到，即斜边值=√(x²+y²)。该斜边值代表了该像素与周边像素的差异程度，当像素的斜边值超过了整体极限差异达到阈值，判定该像素为焦点。整体极限差异值是假设的理想值，每颗像素的y值范围是0到255，假设目标像素左右上下两侧的像素有着最大差异，整体极限差异即是：√((255*3)²+(255*3)²),实际像素的斜边值会在这个极限范围内，选取这个极限差异值的1/2或者2/3等作为阀值即可，这里的1/2、2/3是本发明的一个较优实施例，筛选出来的焦点比较准确，但是并不限于这两个数值。

当数据分析模块所选择的图像为三帧时，上述过程其实是通过三条线程同时进行的，即取预存的三块yuv数据分别启用对应的线程来对各yuv数据进行并行分析处理。在对图像进行遍历时，使用地址指针指向y分量的起始位置，移动该地址指针遍历图像的每一个像素，遵循从上到下、从左到右的顺序进行遍历，直至y方向上到达高度边界，x方向上到达宽度边界。

在一个具体实施例中，本发明的上述方法的执行可以在用户选择对应的拍照模式时，执行本发明的上述方法的步骤。

本发明的系统不限于上述所描述的实施例，本发明的系统最主要的是数据分析模块，其他模块根据需要可进行改进、增加或者是删减。

本发明还保护计算机可读存储介质，用于存储计算机程序，计算机程序运行时执行本发明的防止用户拍照抖动的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种防止用户拍照抖动的方法，其特征在于，包括：

步骤1，选取拍照时以及拍照前和/或拍照后的至少两帧图像；

步骤2，对所述图像进行分析处理，统计每帧所述图像的焦点数量；

步骤3，选择焦点数量最多的图像作为拍照得到的图像；

步骤2中对所述图像进行分析处理具体包括：

获取每帧图像的yuv数据；

对所述图像的像素进行遍历，计算每一帧图像的每一个像素在x方向和y方向上与周边像素的差异值,所述像素在x方向上与周边像素的差异值通过该像素的一侧x方向上的多颗像素y值累加值减去该像素的另一侧x方向上的多颗像素y值累加值得到，所述像素在y方向上与周边像素的差异值通过该像素的一侧y方向上的多颗像素y值累加值减去该像素的另一侧y方向上的多颗像素y值累加值；

通过x方向上的差异值与y方向上的差异值计算斜边值，斜边值=√(x²+y²)，x为x方向上的差异值，y为y方向上的差异值；

当所述像素的斜边值超过整体极限差异一定程度的阈值，判定该像素为焦点。

2.如权利要求1所述的防止用户拍照抖动的方法，其特征在于，开辟与所选取的图像数量一致的暂存空间用来分别存储所选取的图像；和/或开启与所选取的图像数量一致的线程用来对各图像进行并行分析处理。

3.如权利要求1所述的防止用户拍照抖动的方法，其特征在于，根据图像缓存的帧速度选取拍照时、拍照前、拍照后对应时间的三帧图像。

4.如权利要求1所述的防止用户拍照抖动的方法，其特征在于，当用户选择对应的拍照模式时，执行上述步骤1至步骤3。

5.一种防止用户拍照抖动的系统，其特征在于，包括：

数据分析模块，其选取拍照时以及拍照前和/或拍照后的至少两帧图像，对所述图像进行分析处理，统计每帧所述图像的焦点数量，选择焦点数量最多的图像作为拍照得到的图像；

对所述图像进行分析处理具体包括：

获取每帧图像的yuv数据；

对所述图像的像素进行遍历，计算每一帧图像的每一个像素在x方向和y方向上与周边像素的差异值,所述像素在x方向上与周边像素的差异值通过该像素的一侧x方向上的多颗像素y值累加值减去该像素的另一侧x方向上的多颗像素y值累加值得到，所述像素在y方向上与周边像素的差异值通过该像素的一侧y方向上的多颗像素y值累加值减去该像素的另一侧y方向上的多颗像素y值累加值；

通过x方向上的差异值与y方向上的差异值计算斜边值，斜边值=√(x²+y²)，x为x方向上的差异值，y为y方向上的差异值；

当所述像素的斜边值超过整体极限差异一定程度的阈值，判定该像素为焦点。

6.如权利要求5所述的防止用户拍照抖动的系统，其特征在于，还包括：

数据组织模块，开辟固定长度的缓存空间缓存摄像头所获取的图像数据流以及图像数据流中每帧图像对应的时间戳，根据所述数据分析模块所选择的图像的帧数，预先开辟相同数量的暂存空间用来分别存储各帧图像。

7.如权利要求6所述的防止用户拍照抖动的系统，其特征在于，还包括：

ap控制模块，提供对应的拍照模式供用户选择，且当用户选择了对应的拍照模式之后，向所述数据组织模块发送对应的标示，通知所述数据组织模块分配缓存空间和暂存空间。

8.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序运行时执行如权利要求1至4任意一项所述的防止用户拍照抖动的方法。