CN106204554A - 基于多聚焦图像的景深信息获取方法、系统及拍摄终端 - Google Patents

Abstract

本发明公开了一种基于多聚焦图像的景深信息获取方法、系统及拍摄终端，其通过获取相同场景、相同视角、不同聚焦的两张以上原始图像，并分别计算所述不同聚焦的原始图像的指定区域的区域方差，然后根据所述区域方差对所述指定区域进行深度标记得到景深估算图，并进一步利用所述原始图像对所述景深估算图进行导向滤波得到精化的景深信息图；本发明通过计算区域方差来进行景深估算来得到景深信息图，算法简单，计算量小，计算效率高。

Description

基于多聚焦图像的景深信息获取方法、系统及拍摄终端

技术领域

本发明涉及图像处理技术领域，特别是一种基于多聚焦图像的景深信息获取方法及其应用该方法的系统、拍摄终端。

背景技术

绝大多数的摄影设备都是将光学镜头捕捉到的三维场景信息投影在二维图像上，由此会丢失许多的场景信息，尤其是场景中的深度信息难以通过传统手段来从单张图像上获取。而许多的图像计算都需要甚至依赖深度信息来获得更精确、更真实的计算结果，例如背景虚化计算，其模糊核以及模糊半径都是关联于物距(即景深)，另外，图像分割、场景识别等等技术都能在景深信息的辅助下大幅提升其效果。

传统方法中在多张图像信息中获取景深的方法主要是通过双目摄像，通过不同视角下物体位置偏差来计算景深，具有实现方便，精度较高等优点，但是硬件成本相对提高，许多手持设备都不满足其条件；另外，还可以在底层推动模组，根据聚焦时像距反求物距，但它要控制底层硬件，而且效率较低。

为了解决硬件问题，现有技术中已有多种通过软件算法来获取景深信息的方法，例如：根据估计模糊核或试探模糊核反求模糊半径，根据模糊半径推倒景深信息；或者，还可通过机器学习的方式，通过训练获取景深信息等等，但所需数据量都比较大，导致计算量大、计算效率低等问题。

发明内容

本发明为解决上述问题，提供了一种基于多聚焦图像的景深信息获取方法、系统及拍摄终端，其通过计算区域方差来进行景深估算，从而得到景深信息图，算法简单，计算量小，计算效率高。

为实现上述目的，本发明采用的技术方案为：

首先，本发明提供一种基于多聚焦图像的景深信息获取方法，其包括以下步骤：

10.获取相同场景、相同视角、不同聚焦的两张以上原始图像；

20.分别计算所述不同聚焦的原始图像的指定区域的区域方差；

30.根据所述区域方差对所述指定区域进行深度标记，得到景深估算图；

40.利用所述原始图像对所述景深估算图进行导向滤波，得到精化的景深信息图。

优选的，所述的步骤10中，所述原始图像是利用拍摄终端在相同场景、相同视角的情况下，分别拍摄出近景聚焦图像、远景聚焦图像、中段聚焦图像作为所述原始图像。

优选的，所述的步骤20中，所述区域方差的计算方法为：

${\mathrm{Var}}_i(x,y)=\frac{1}{n}\underset{u,v}{\Σ}{\left(I_i\right(n,v)-{\mathrm{\μ}}_i(n,v\left)\right)}^2;$

其中，(I_i(u，v)表示所述原始图像中的第i张图像在(u,v)像素点的像素值，(u,v)为(x,y)像素点附近的n个像素点，μ_i(u，v)表示该n个像素点的像素值的均值，Var_i(x，y)表示所述原始图像中的第i张图像在(u,v)像素点的方差。

优选的，所述的步骤30中，所述深度标记进一步包括：

31.通过比较所述区域方差的大小获得所述指定区域的深度标记；

32.对所述指定区域的深度标记进行标记填补，得到初步景深估算图；

33.对所述深度标记进一步划分近景标记和远景标记，得到最终景深估算图。

优选的，所述的步骤40中，利用所述原始图像对所述景深估算图进行导向滤波，是通过以所述原始图像作为引导图像，以所述景深估算图作为目标图像，对所述景深估算图进行滤波处理。

其次，本发明提供一种基于多聚焦图像的景深信息获取系统，其包括：

图像采集模块，用于获取相同场景、相同视角、不同聚焦的两张以上原始图像；

方差统计模块，用于分别计算所述不同聚焦的原始图像的指定区域的区域方差；

景深估算模块，用于根据所述区域方差对所述指定区域进行深度标记，得到景深估算图；

导向滤波模块，其利用所述原始图像对所述景深估算图进行导向滤波，得到精化的景深信息图。

优选的，所述景深估算模块进行深度标记，进一步包括：

31.通过比较所述区域方差的大小获得所述指定区域的深度标记；

32.对所述指定区域的深度标记进行标记填补，得到初步景深估算图；

33.对所述深度标记进一步划分近景标记和远景标记，得到最终景深估算图。

优选的，所述导线滤波模块利用所述原始图像对所述景深估算图进行导向滤波，是通过以所述原始图像作为引导图像，以所述景深估算图作为目标图像，对所述景深估算图进行滤波处理。

另外，本发明还提供一种拍摄终端，该拍摄终端包括如上所述的基于多聚焦图像的景深信息获取系统。

优选的，所述拍摄终端包括：手机、数码相机或平板电脑。

本发明的有益效果是：

本发明的一种基于多聚焦图像的景深信息获取方法、系统及拍摄终端，其通过获取相同场景、相同视角、不同聚焦的两张以上原始图像，并分别计算所述不同聚焦的原始图像的指定区域的区域方差，然后根据所述区域方差对所述指定区域进行深度标记得到景深估算图，并进一步利用所述原始图像对所述景深估算图进行导向滤波得到精化的景深信息图；本发明通过计算区域方差来进行景深估算来得到景深信息图，算法简单，计算量小，计算效率高。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于多聚焦图像的景深信息获取方法的流程简图；

图2为本发明基于多聚焦图像的景深信息获取系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在光学成像系统中，焦深(聚焦物距)之外的物体会因光线在投影平面弥散而呈现出模糊现象，即离焦现象。呈现满足公式：

I(x，y)＝∫∫b_ij·D(x-i，y-j，r(z_ij))didj；

其中，I(x,y)为图像在(x,y)像素点的像素值，b_ij为(i,j)像素点的场景亮度，D(x-i，y-j，r(z_ij)为模糊核在模糊半径为r(z_ij)时相对位置(x-i，y-j)处的权值，r(z_ij)为模糊半径,z_ij为(i,j)像素点的深度。

根据光学成像系统中的光线扩散公式可以得到模糊半径，公式如下：

$r\left(z\right)=A\·\frac{|f-z|}{z}\·\frac{F}{f-F};$

其中A为光圈大小，F为焦距，f为焦深，z为深度(物距)，r(z)为模糊半径。可见，图像上的模糊程度在一定幅度上反应出了物距也就是景深情况。

但是，模糊半径r往往难以获得，而且，同一幅图中，相同的模糊半径往往对应着两个可能的物距z，即：

$z=\frac{A\·F\·f}{A\·F\±r\·(f-F)};$

由于，对同一区域中，模糊半径越大则方差越小，而方差可以简单快速的获取，即：

$Var\∝\frac{1}{r};$

其中，Var表示方差，r表示模糊半径；由此，本发明将问题简化为求取一个区域方差大小，通过比较方差大小来确定其相对物距，从而使得景深信息的获取算法更简单，计算量更小，计算效率更高。

因此，本发明提出一种基于多聚焦图像的景深信息获取方法，如图1所示，其包括以下步骤：

10.获取相同场景、相同视角、不同聚焦的两张以上原始图像；

20.分别计算所述不同聚焦的原始图像的指定区域的区域方差；

30.根据所述区域方差对所述指定区域进行深度标记，得到景深估算图；

40.利用所述原始图像对所述景深估算图进行导向滤波，得到精化的景深信息图。

所述的步骤10中，所述原始图像是利用拍摄终端在相同场景、相同视角的情况下，分别拍摄出近景聚焦图像、远景聚焦图像、中段聚焦图像作为所述原始图像。或者，还可以通过直接控制像距来得到所述近景聚焦图像、远景聚焦图像、中段聚焦图像，每类聚焦图像可采集一张以上。

所述的步骤20中，所述区域方差的计算方法为：

${\mathrm{Var}}_i(x,y)=\frac{1}{n}\underset{u,v}{\Σ}{\left(I_i\right(n,v)-{\mathrm{\μ}}_i(n,v\left)\right)}^2;$

其中，(I_i(u，v)表示所述原始图像中的第i张图像在(u,v)像素点的像素值，(u,v)为(x,y)像素点附近的n个像素点，μ_i(u，v)表示该n个像素点的像素值的均值，Var_i(x，y)表示所述原始图像中的第i张图像在(u,v)像素点的方差。

所述的步骤30中，根据所述区域方差对所述指定区域进行深度标记，是通过比较各个原始图像的对应像素点之间的所述区域方差的大小，从而得到所述对应像素点之间的相对物距，并根据该相对物距对所述对应像素点进行深度标记。本实施例中，所述深度标记进一步包括：

31.通过比较所述区域方差的大小获得所述指定区域的深度标记；

32.对所述指定区域的深度标记进行标记填补，得到初步景深估算图；

33.对所述深度标记进一步划分近景标记和远景标记，得到最终景深估算图。

以两张原始图像为例：

本实施例中，所述原始图像分别包括一张近景聚焦图像Min、一张远景聚焦图像Max,所述的步骤31中通过比较所述区域方差Var的大小获得所述指定区域的深度标记Tag,得到标定表如下：

Min	Max	Tag
			Var1	Var2	2
Var2	Var1	1

所述步骤33中对所述深度标记进一步划分近景标记和远景标记，是根据α<＝λ·β和α＞λ·β，λ∈[1,∞)再次划分上述列表中的深度标记1和2，得到延展表如下；

由此将二梯度的景深估算图转换为四梯度的景深估算图，即，最终景深估算图。

以三张原始图像为例：

本实施例中，所述原始图像分别包括一张近景聚焦图像Min、一张远景聚焦图像Max、一张中段聚焦图像Mid,所述的步骤31中通过比较所述区域方差Var的大小获得所述指定区域的深度标记Tag,得到标定表如下：

Min	Mid	Max	Tag
				Var1	Var2	Var3	4
Var2	Var1	Var3	X
				Var3	Var2	Var1	1
Var1	Var3	Var2	3
				Var2	Var3	Var1	X
Var3	Var1	Var2	2

其中，所述步骤32中对所述指定区域的深度标记进行标记填补，是指对深度标记Tag中标记为X的未知区域根据附近已知区域的深度标记进行填补，由此获得了一个四梯度的景深估算图，即，初步景深估算图。

本实施例中，所述标记填补的填充算法可采用以下算法中的一种：KNN最近邻填充算法、均值填充算法、最大概率填充算法等等，或者还可以采用上述多种算法相结合的MI多重填充算法。

从上述列表可知，Min是三者中最为稳定的，以Min为参照可以得到α＝Max/Min，β＝Mid/Min；所述步骤33中对所述深度标记进一步划分近景标记和远景标记，是根据α<＝λ·β和α＞λ·β，λ∈[1,∞)再次划分上述列表中的深度标记1和4，得到延展表如下；

其中，λ是中间段宽度系数，λ＝1时，中间段不存在(1与4)，λ→∞时，极限段不存在(0与5)，该值由实际情况和需求设定，由此得到六梯度的景深估算图，即，最终景深估算图。

以四张原始图像为例：

本实施例中，所述原始图像分别包括一张近景聚焦图像Min、一张远景聚焦图像Max、两张中段聚焦图像Mid(min)和Mid(max),所述的步骤31中通过比较所述区域方差Var的大小获得所述指定区域的深度标记Tag,得到标定表如下：

并采用三张原始图像的实施例的方法得到以下延展表：

所述的步骤40中，利用所述原始图像对所述景深估算图进行导向滤波，是通过以所述原始图像作为引导图像，以所述景深估算图作为目标图像，对所述景深估算图进行滤波处理；其中所述引导图像优选采用原始图像中的中段聚焦图像，但可根据实际需求选择主要区域较清晰的聚焦图像来作为引导图像。导向滤波的计算公式如下：

DepthMap＝guidedfilter(I,depthmap)；

其中，guidedfilter表示导线滤波函数；I表示所述原始图像，即引导图像；depthmap表示景深估算图，即目标图像；DepthMap表示滤波处理后得到的精化的景深信息图。

如图2所示，本发明提供一种基于多聚焦图像的景深信息获取系统，其包括：

图像采集模块A，用于获取相同场景、相同视角、不同聚焦的两张以上原始图像；

方差统计模块B，用于分别计算所述不同聚焦的原始图像的指定区域的区域方差；

景深估算模块C，用于根据所述区域方差对所述指定区域进行深度标记，得到景深估算图；

导向滤波模块D，其利用所述原始图像对所述景深估算图进行导向滤波，得到精化的景深信息图。

所述景深估算模块C进行深度标记，进一步包括：

31.通过比较所述区域方差的大小获得所述指定区域的深度标记；

32.对所述指定区域的深度标记进行标记填补，得到初步景深估算图；

33.对所述深度标记进一步划分近景标记和远景标记，得到最终景深估算图。

所述导线滤波模块D利用所述原始图像对所述景深估算图进行导向滤波，是通过以所述原始图像作为引导图像，以所述景深估算图作为目标图像，对所述景深估算图进行滤波处理。。

另外，本发明还提供一种拍摄终端，该拍摄终端包括如上所述的基于多聚焦图像的景深信息获取系统，其中，基于多聚焦图像的景深信息获取系统可以采用图2实施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，详细可以参见上述实施例中的相关记载，此处不再赘述。

所述拍摄终端包括：手机、数码相机或平板电脑等配置有摄像头的设备。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例和终端实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于多聚焦图像的景深信息获取方法，其特征在于，包括以下步骤：

10.获取相同场景、相同视角、不同聚焦的两张以上原始图像；

20.分别计算所述不同聚焦的原始图像的指定区域的区域方差；

30.根据所述区域方差对所述指定区域进行深度标记，得到景深估算图；

40.利用所述原始图像对所述景深估算图进行导向滤波，得到精化的景深信息图。

2.根据权利要求1所述的一种基于多聚焦图像的景深信息获取方法，其特征在于：所述的步骤10中，所述原始图像是利用拍摄终端在相同场景、相同视角的情况下，分别拍摄出近景聚焦图像、远景聚焦图像、中段聚焦图像作为所述原始图像。

3.根据权利要求1所述的一种基于多聚焦图像的景深信息获取方法，其特征在于：所述的步骤20中，所述区域方差的计算方法为：

${\mathrm{Var}}_i(x,y)=\frac{1}{n}\underset{u,v}{\&Sigma;}{\left(I_i\right(n,v)-{\mathrm{\&mu;}}_i(n,v\left)\right)}^2;$

其中，(I_i(u，v)表示所述原始图像中的第i张图像在(u,v)像素点的像素值，(u,v)为(x,y)像素点附近的n个像素点，μ_i(u，v)表示该n个像素点的像素值的均值，Var_i(x，y)表示所述原始图像中的第i张图像在(u,v)像素点的方差。

4.根据权利要求1所述的一种基于多聚焦图像的景深信息获取方法，其特征在于：所述的步骤30中，所述深度标记进一步包括：

31.通过比较所述区域方差的大小获得所述指定区域的深度标记；

32.对所述指定区域的深度标记进行标记填补，得到初步景深估算图；

33.对所述深度标记进一步划分近景标记和远景标记，得到最终景深估算图。

5.根据权利要求1所述的一种基于多聚焦图像的景深信息获取方法，其特征在于：所述的步骤40中，利用所述原始图像对所述景深估算图进行导向滤波，是通过以所述原始图像作为引导图像，以所述景深估算图作为目标图像，对所述景深估算图进行滤波处理。

6.一种基于多聚焦图像的景深信息获取系统，其特征在于，包括：

图像采集模块，用于获取相同场景、相同视角、不同聚焦的两张以上原始图像；

方差统计模块，用于分别计算所述不同聚焦的原始图像的指定区域的区域方差；

景深估算模块，用于根据所述区域方差对所述指定区域进行深度标记，得到景深估算图；

导向滤波模块，其利用所述原始图像对所述景深估算图进行导向滤波，得到精化的景深信息图。

7.根据权利要求6所述的一种基于多聚焦图像的景深信息获取系统，其特征在于：所述景深估算模块进行深度标记，进一步包括：

31.通过比较所述区域方差的大小获得所述指定区域的深度标记；

32.对所述指定区域的深度标记进行标记填补，得到初步景深估算图；

33.对所述深度标记进一步划分近景标记和远景标记，得到最终景深估算图。

8.根据权利要求6所述的一种基于多聚焦图像的景深信息获取系统，其特征在于：所述导线滤波模块利用所述原始图像对所述景深估算图进行导向滤波，是通过以所述原始图像作为引导图像，以所述景深估算图作为目标图像，对所述景深估算图进行滤波处理。

9.一种拍摄终端，其特征在于，包括权利要求6至8任一项所述的基于多聚焦图像的景深信息获取系统。

10.根据权利要求9所述的拍摄终端，其特征在于，所述拍摄终端包括：手机、数码相机或平板电脑。