CN112235507A - 一种在移动终端实现景深可控的图像处理系统及方法 - Google Patents

Abstract

本发明公开了一种在移动终端实现景深可控的图像处理系统及方法，该系统包括用于拍摄获取环境图像的图像获取模块、存储模块、用于在图像获取模块拍摄目标环境图像时进行焦点堆栈控制，使图像获取模块获取若干不同焦距的环境图像，并根据用户的景深控制操作对其进行处理得到目标图像的图像处理及控制模块，以及图像显示模块；本发明为移动终端提供了一种新的拍照方法，使移动终端具有与单反相机相似的拍照效果；能够根据用户需求突出图像中主体景物淡化背景，实现自由景深及突出表现任意层图层景物的效果；本系统能广泛应用于各种如智能手机、平板电脑等移动终端中，能够取代较为单反相机成为人们拍摄的主要工具，具有广阔的市场前景及价值。

Description

一种在移动终端实现景深可控的图像处理系统及方法

技术领域

本发明属于通信技术领域，具体涉及一种在移动终端实现景深可控的图像处理系统及方法。

背景技术

随着手机技术的发展，智能手机已经得到广泛的普及，称为人们日常生活中不可缺少的随身设备，手机的照相功能也得到了广泛的应用，越来越多的人习惯使用手机相机来拍摄身边的景物。但是手机相机的自动对焦，无法实现单反相机上的景深效果及不同对焦；现有的一些手机美图软件，大都比较简单无法对背景虚化或进行对焦处理，即使个别软件可以进行虚化，其原理也不符合光学原理，且效果不理想，另外，软件无法实现拍照后对焦及全聚焦处理。

现有的涉及移动终端拍照的相关技术中，其实现方法如出一辙，仅是突出人物主体，虚化背景，现有的一种方法中提出了更换人物背景的技术，但其没有考虑主体不是人物时的背景虚化方法的实现，没有提到虚化主体及突出背景的计算，也没有考虑到虚化前景与背景，突出中间景物的技术。另外，现有智能手机上还存在一些实现相关功能的应用软件，如AfterFocus，在应用软件在现有图片上进行一些虚化，需要自己制定虚化区域，对全景较为清晰的图片，通过一些图像化处理方法将清晰的部分模糊化，从而达到类似大光圈单反拍摄效果，如果本来该图片上的背景比较模糊，或者前景比较模糊，则后来的处理方法也无法改变其清晰度，因此该类应用软件具有较大的局限性。

发明内容

针对现有技术中的上述不足，本发明提供的在移动终端实现景深可控的图像处理系统及方法解决了现有的移动终端拍摄图像时难以根据用户需求实现不同景深效果图像的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种在移动终端实现景深可控的图像处理系统，包括：

图像获取模块，为移动终端的摄像头，用于拍摄获取环境图像，并将获取图像传输给图像处理及控制模块；

存储模块，为移动终端的内部存储机构，用于存储图像获取模块获取的环境图像及图像处理及控制模块所需的图像；

图像处理及控制模块，为移动终端内置的应用软件，用于在图像获取模块拍摄目标环境图像时进行焦点堆栈控制，使图像获取模块获取若干不同焦距的环境图像，并根据用户的景深控制操作对其进行处理得到目标图像；

图像显示模块，为移动终端的显示屏，用于为用户提供获取环境图像、景深控制及目标图像的操作及显示界面。

进一步地，所述图像处理及控制模块包括目标选择单元、计算单元和虚化单元；

所述目标选择单元，为用户操作侧，用于对环境中的不同景物进行选择，进而控制图像获取模块基于景物的选择进行摄焦点堆栈拍摄，获取若干聚焦不同的环境图像；

所述计算单元，为应用软件内部处理侧，用于将每个环境图像中的用户选择的景物与环境进行分割，生成景物在焦点堆栈拍摄过程中最清晰的目标图像；

所述虚化单元，为应用软件内部处理侧，用于根据用户操作将目标图像中除所选景物外的内容进行虚化处理，或将目标图像中的景物进行虚化处理，并将虚化处理后的目标图像显示在图像显示模块上。

进一步地，所述在移动终端实现景深可控的图像处理系统还包括替换单元；

当所述在移动终端实现景深可控的图像处理系统还包括替换单元时，所述目标选择单元的功能还包括对计算单元生成的目标图像中的环境进行选择；

所述替换单元，为应用软件内部处理侧，用于根据用户的选择将目标图像中的背景或景物进行替换，获取兼具所选背景和景物的目标图像，并在图像显示模块上显示。

一种在移动终端实现景深可控的图像处理处理方法，包括以下步骤：

S1、在目标选择单元的控制下，通过图像获取模块进行摄焦点堆栈拍摄，获取若干具有所选景物的不同焦距的环境图像；

S2、通过计算单元对环境图像中所选景物和环境进行分割，生成每个所选景物在焦点堆栈拍摄过程中对应的最清晰的目标图像；

S3、基于用户需求，选择生成虚化图像还是生成替换图像；

若是生成虚化图像，则进入步骤S4；

若是生成替换图像，则进入步骤S5；

S4、根据用户选择，通过虚化单元对生成的目标图像中的所选景物或环境进行虚化处理，获得目标景深的图像并图像显示模块中显示，实现景深可控的图像处理；

S5、根据用户选择，对生成的目标图像中的所选景物或环境进行替换处理，获得目标景深的图像并在图像显示模块上显示，实现景深可控的图像处理。

进一步地，所述步骤S2具体为：

S21、计算若干不同焦距的环境图像的清晰度曲线；

S22、在拍摄的各环境图像中搜索所选景物，确定各环境图像中所选景物所在框；

S23、基于清晰度曲线对各所选景物在各环境图像中的所在框进行清晰度比较；

S24、将清晰度最高的景物所在框对应的环境图像作为目标图像。

进一步地，所述步骤S21具体为：

A1、在各环境图像中，利用对角像素点灰度值之差，将4个相邻像素点的灰度值交叉相减的平方和作为每个像素点的梯度值；

A2、对所有像素点梯度值累加作为清晰度评价函数，并基于该评价函数对环境中的每个像素点进行清晰度评价，获得对应的清晰度曲线；

其中，清晰度评价函数的表达式为：

式中，F(x,y)为环境图像在像素点(x,y)的清晰度值，f(x,y)为环境图像在像素点(x,y)处的像素值。

进一步地，所述步骤S22具体为：

B1、将各环境图像二值化处理，并用f(x,y)表示环境图像中像素点(x,y)处的像素值；

B2、对各环境图像的像素点进行扫描，并对所选景物所在框的外边界起始点及孔边界起始点进行检测并标记，进而确定所选景物所在框；

当f(x,y-1)＝0且f(x,y)＝1时，像素点(x,y)为所选景物所在框的外边界的起始点；

当f(x,y)≥1且f(x,y+1)＝0时，像素点(x,y)为所选景物所在框的孔边界的起始点；

式中，0、1为二值化处理后的环境图像的像素值表示。

进一步地，所述步骤S4中，在所述虚化单元中，通过高斯模糊方法对所选景物或者环境进行虚化处理；

所述高斯模糊方法的公式为：

式中，G_xy为像素点(x,y)的模糊度值，α为归一化系数，σ为正态分布的标准差。

进一步地，所述步骤S5中，对生成的目标图像中的所选景物或环境进行替换处理时，替换的景物或环境为根据用户选择来自于移动终端的存储模块内部存储的图像中的景物或环境。

进一步地，所述步骤S5中，对生成的目标图像中的所选景物或环境进行替换处理的方法具体为：

在生成的目标图像中选择需要保留的景物或环境，并将其轮廓图像取出，记为f₁(x,y)，在存储模块中选择待替换图像中的景物或环境，并将其轮廓图像取出，记为f₂(x,y)，将f₁(x,y)和f₂(x,y)进行图像融合，获得目标景深的图像。

本发明的有益效果为：

(1)本发明系统为移动终端提供了一种新的拍照方法，使得移动终端具有与单反相机相似的拍照效果；

(2)本发明方法获得的图像中，能够根据用户需求突出图像中主体景物淡化背景，实现了自由景深及突出表现任意层图层景物的效果；

(3)本发明系统能广泛应用于各种如智能手机、平板电脑等移动终端中，能够取代较为单反相机成为人们拍摄的主要工具，具有广阔的市场前景及价值。

附图说明

图1为本发明提供的在移动终端实现景深可控的图像处理系统结构图。

图2为本发明提供的在移动终端实现景深可控的图像处理方法流程图。

图3位本发明提供的移动终端拍摄的效果图。

图4为本发明提供的对拍摄图进行虚化处理形成的效果图。

图5为本发明提供的对拍摄图像进行场景替换处理后形成的效果图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1：

如图1所示，一种在移动终端实现景深可控的图像处理系统，包括：

图像获取模块，为移动终端的摄像头，用于拍摄获取环境图像，并将获取图像传输给图像处理及控制模块；

存储模块，为移动终端的内部存储机构，用于存储图像获取模块获取的环境图像及图像处理及控制模块所需的图像；

图像处理及控制模块，为移动终端内置的应用软件，用于在图像获取模块拍摄目标环境图像时进行焦点堆栈控制，使图像获取模块获取若干不同焦距的环境图像，并根据用户的景深控制操作对其进行处理得到目标图像；

图像显示模块，为移动终端的显示屏，用于为用户提供获取环境图像、景深控制及目标图像的操作及显示界面。

本发明实施例中的主要技术点在于实现图像控制及处理功能应用软件，移动终端通过设置专门的应用软件实现焦点堆栈的拍摄，并在拍摄后对焦点堆栈进行图像处理。

本实施例中的图像处理及控制模块包括目标选择单元、计算单元和虚化单元；

目标选择单元，为用户操作侧，用于对环境中的不同景物进行选择，进而控制图像获取模块基于景物的选择进行摄焦点堆栈拍摄，获取若干聚焦不同的环境图像；

计算单元，为应用软件内部处理侧，用于将每个环境图像中的用户选择的景物与环境进行分割，生成景物在焦点堆栈拍摄过程中最清晰的目标图像；

虚化单元，为应用软件内部处理侧，用于根据用户操作将目标图像中除所选景物外的内容进行虚化处理，或将目标图像中的景物进行虚化处理，并将虚化处理后的目标图像显示在图像显示模块上。

本发明实施例中的移动终端的应用软件还能实现内部存储图像和拍摄图像的内容替换，此时，在移动终端实现景深可控的图像处理系统还包括替换单元；

当在移动终端实现景深可控的图像处理系统还包括替换单元时，目标选择单元的功能还包括对计算单元生成的目标图像中的环境进行选择；

替换单元，为应用软件内部处理侧，用于根据用户的选择将目标图像中的背景或景物进行替换，获取兼具所选背景和景物的目标图像，并在图像显示模块上显示。

实施例2：

如图2所示，一种在移动终端实现景深可控的图像处理处理方法，包括以下步骤：

S1、在目标选择单元的控制下，通过图像获取模块进行摄焦点堆栈拍摄，获取若干具有所选景物的不同焦距的环境图像；

S2、通过计算单元对环境图像中所选景物和环境进行分割，生成每个所选景物在焦点堆栈拍摄过程中对应的最清晰的目标图像；

S3、基于用户需求，选择生成虚化图像还是生成替换图像；

若是生成虚化图像，则进入步骤S4；

若是生成替换图像，则进入步骤S5；

S4、根据用户选择，通过虚化单元对生成的目标图像中的所选景物或环境进行虚化处理，获得目标景深的图像并图像显示模块中显示，实现景深可控的图像处理；

S5、根据用户选择，对生成的目标图像中的所选景物或环境进行替换处理，获得目标景深的图像并在图像显示模块上显示，实现景深可控的图像处理。

上述步骤S2具体为：

S21、计算若干不同焦距的环境图像的清晰度曲线；

S22、在拍摄的各环境图像中搜索所选景物，确定各环境图像中所选景物所在框；

S23、基于清晰度曲线对各所选景物在各环境图像中的所在框进行清晰度比较；

S24、将清晰度最高的景物所在框对应的环境图像作为目标图像。

具体地，步骤S21具体为：

A1、在各环境图像中，利用对角像素点灰度值之差，将4个相邻像素点的灰度值交叉相减的平方和作为每个像素点的梯度值；

其中，四个相邻的像素是上下左右四个像素，这四个像素分别做对角的相减，减完的差进行平方然后相加作为每个像素点的梯度值；

A2、对所有像素点梯度值累加作为清晰度评价函数，并基于该评价函数对环境中的每个像素点进行清晰度评价，获得对应的清晰度曲线；

其中，清晰度评价函数的表达式为：

式中，F(x,y)为环境图像在像素点(x,y)的清晰度值，f(x,y)为环境图像在像素点(x,y)处的像素值。

在上述步骤S22中，在环境图像中搜索所选景物就是通过目标检测进行选择，当用户在屏幕上对某个目标进行圈定后，其轮廓范围内的像素值与其他范围有明显差异，我们对其区域内做轮廓选择，确定环境图像中所选景物的所在位置；因此，上述步骤S22具体为：

B1、将各环境图像二值化处理，并用f(x,y)表示环境图像中像素点(x,y)处的像素值；

B2、对各环境图像的像素点进行扫描，并对所选景物所在框的外边界起始点及孔边界起始点进行检测并标记，进而确定所选景物所在框；

当f(x,y-1)＝0且f(x,y)＝1时，像素点(x,y)为所选景物所在框的外边界的起始点；

当f(x,y)≥1且f(x,y+1)＝0时，像素点(x,y)为所选景物所在框的孔边界的起始点；

式中，0、1为二值化处理后的环境图像的像素值表示。

上述步骤S4中，在虚化单元中，通过高斯模糊方法对所选景物或者环境进行虚化处理；

首先这个模板的大小为Ksize，其每个具体的模糊值为：

式中，α为归一化系数，σ₁和σ₂为正态分布标准差的两个分量；

为了简化，一般在二维图像处理中ux和uy取0，σ₁和σ₂取相等，所以上述高斯模糊方法的公式简化为：

式中，G_xy为像素点(x,y)的模糊度值，α为归一化系数，σ为正态分布的标准差。

因此，对于不同的物体(实际物理距离不同)，采用大小不同的σ，物体的相对距离越远，σ值取越大，而物体的距离是通过物体的尺寸大小判断，物体的尺寸大小是轮廓面积的大小判断。

本实施例的步骤S5中，对生成的目标图像中的所选景物或环境进行替换处理时，替换的景物或环境为根据用户选择来自于移动终端的存储模块内部存储的图像中的景物或环境，基于此，上述步骤S5中，对生成的目标图像中的所选景物或环境进行替换处理的方法具体为：

在生成的目标图像中选择需要保留的景物或环境，并将其轮廓图像取出，记为f₁(x,y)，在存储模块中选择待替换图像中的景物或环境，并将其轮廓图像取出，记为f₂(x,y)，将f₁(x,y)和f₂(x,y)进行图像融合，获得目标景深的图像。

实施例3：

利用本发明方法实现图像虚化功能：

如图3为用户选择获取该场景的焦点堆栈后，选择的其中一种图片，对其进行处理，如果选择生成虚化图像，会出现如图4所示的模式，图4中将兔子作为所选景物，在选择的时候，如果物体岳晓，边缘处不容易选择可以选择放大/缩小功能进行精确选择，另外，虚化程度可以背景或者景物模糊程度，如图 4所示，(a)和(b)均为将兔子作为所选景物，(a)中对景物进行了虚化，(b) 中对背景进行了虚化，然后在手机屏幕上进行选择，图中黑色线框为选中区域，选中方式为在手机屏幕上直接用手去划选中景物，而(c)中则将图中的中间景深的景物作为所选景物，对背景进行了虚化，同理可以实现对选中景物的虚化。

利用本发明方法实现图像替换功能：

该过程中选择景物的方式与虚化功能中相关过程相同，只是对背景或者景物进行替换，图5给出了替换功能的效果图，同虚化过程类似，首先要选定景物，选定景物的时候可以进行适当的放大，然后确定是替换景物还是背景，确定后，点击选择图片按钮，可以选择手机内图片进行替换，从而达到更换背景或景物的目的。

Claims (10)

1.一种在移动终端实现景深可控的图像处理系统，其特征在于，包括：

图像获取模块，为移动终端的摄像头，用于拍摄获取环境图像，并将获取图像传输给图像处理及控制模块；

存储模块，为移动终端的内部存储机构，用于存储图像获取模块获取的环境图像及图像处理及控制模块所需的图像；

图像处理及控制模块，为移动终端内置的应用软件，用于在图像获取模块拍摄目标环境图像时进行焦点堆栈控制，使图像获取模块获取若干不同焦距的环境图像，并根据用户的景深控制操作对其进行处理得到目标图像；

图像显示模块，为移动终端的显示屏，用于为用户提供获取环境图像、景深控制及目标图像的操作及显示界面。

2.根据权利要求1所述的在移动终端实现景深可控的图像处理系统，其特征在于，所述图像处理及控制模块包括目标选择单元、计算单元和虚化单元；

所述目标选择单元，为用户操作侧，用于对环境中的不同景物进行选择，进而控制图像获取模块基于景物的选择进行摄焦点堆栈拍摄，获取若干聚焦不同的环境图像；

所述计算单元，为应用软件内部处理侧，用于将每个环境图像中的用户选择的景物与环境进行分割，生成景物在焦点堆栈拍摄过程中最清晰的目标图像；

所述虚化单元，为应用软件内部处理侧，用于根据用户操作将目标图像中除所选景物外的内容进行虚化处理，或将目标图像中的景物进行虚化处理，并将虚化处理后的目标图像显示在图像显示模块上。

3.根据权利要求2所述的在移动终端实现景深可控的图像处理系统，其特征在于，所述图像处理及控制模块还包括替换单元；

当所述图像处理及控制模块还包括替换单元时，所述目标选择单元的功能还包括对计算单元生成的目标图像中的环境进行选择；

所述替换单元，为应用软件内部处理侧，用于根据用户的选择将目标图像中的背景或景物进行替换，获取兼具所选背景和景物的目标图像，并在图像显示模块上显示。

4.一种在移动终端实现景深可控的图像处理处理方法，其特征在于，包括以下步骤：

S1、在目标选择单元的控制下，通过图像获取模块进行摄焦点堆栈拍摄，获取若干具有所选景物的不同焦距的环境图像；

S2、通过计算单元对环境图像中所选景物和环境进行分割，生成每个所选景物在焦点堆栈拍摄过程中对应的最清晰的目标图像；

S3、基于用户需求，选择生成虚化图像还是生成替换图像；

若是生成虚化图像，则进入步骤S4；

若是生成替换图像，则进入步骤S5；

S4、根据用户选择，通过虚化单元对生成的目标图像中的所选景物或环境进行虚化处理，获得目标景深的图像并在图像显示模块中显示，实现景深可控的图像处理；

S5、根据用户选择，对生成的目标图像中的所选景物或环境进行替换处理，获得目标景深的图像并在图像显示模块上显示，实现景深可控的图像处理。

5.根据权利要求4所述的在移动终端实现景深可控的图像处理方法，其特征在于，所述步骤S2具体为：

S21、计算若干不同焦距的环境图像的清晰度曲线；

S22、在拍摄的各环境图像中搜索所选景物，确定各环境图像中所选景物所在框；

S23、基于清晰度曲线对各所选景物在各环境图像中的所在框进行清晰度比较；

S24、将清晰度最高的景物所在框对应的环境图像作为目标图像。

6.根据权利要求5所述的在移动终端实现景深可控的图像处理方法，其特征在于，所述步骤S21具体为：

A1、在各环境图像中，利用对角像素点灰度值之差，将4个相邻像素点的灰度值交叉相减的平方和作为每个像素点的梯度值；

A2、对所有像素点梯度值累加作为清晰度评价函数，并基于该评价函数对环境中的每个像素点进行清晰度评价，获得对应的清晰度曲线；

其中，清晰度评价函数的表达式为：

式中，F(x,y)为环境图像在像素点(x,y)的清晰度值，f(x,y)为环境图像在像素点(x,y)处的像素值。

7.根据权利要求5所述的在移动终端实现景深可控的图像处理方法，其特征在于，所述步骤S22具体为：

B1、将各环境图像二值化处理，并用f(x,y)表示环境图像中像素点(x,y)处的像素值；

B2、对各环境图像的像素点进行扫描，并对所选景物所在框的外边界起始点及孔边界起始点进行检测并标记，进而确定所选景物所在框；

当f(x,y-1)＝0且f(x,y)＝1时，像素点(x,y)为所选景物所在框的外边界的起始点；

当f(x,y)≥1且f(x,y+1)＝0时，像素点(x,y)为所选景物所在框的孔边界的起始点；

式中，0、1为二值化处理后的环境图像的像素值表示。

8.根据权利要求4所述的在移动终端实现景深可控的图像处理方法，其特征在于，所述步骤S4中，在所述虚化单元中，通过高斯模糊方法对所选景物或者环境进行虚化处理；

所述高斯模糊方法的公式为：

式中，G_xy为像素点(x,y)的模糊度值，α为归一化系数，σ为正态分布的标准差。

9.根据权利要求4所述的在移动终端实现景深可控的图像处理方法，其特征在于，所述步骤S5中，对生成的目标图像中的所选景物或环境进行替换处理时，替换的景物或环境为根据用户选择来自于移动终端的存储模块内部存储的图像中的景物或环境。

10.根据权利要求9所述的在移动终端实现景深可控的图像处理方法，其特征在于，所述步骤S5中，对生成的目标图像中的所选景物或环境进行替换处理的方法具体为：

在生成的目标图像中选择需要保留的景物或环境，并将其轮廓图像取出，记为f₁(x,y)，在存储模块中选择待替换图像中的景物或环境，并将其轮廓图像取出，记为f₂(x,y)，将f₁(x,y)和f₂(x,y)进行图像融合，获得目标景深的图像。

Images