CN104424640A - 对图像进行虚化处理的方法和装置 - Google Patents

Abstract

本发明涉及一种对图像进行虚化处理的方法和装置。本发明的对图像进行虚化处理的方法包括以下步骤：拍摄步骤，使用一个或更多成像装置针对一个场景取得不同视角的多幅源图像；深度计算步骤，对所述源图像进行计算，得到所述场景的深度信息；以及图像处理步骤，利用所述深度信息对所述源图像的其中之一进行图像虚化处理。本发明能够在小型设备上实现具有虚化效果的图像。

Description

对图像进行虚化处理的方法和装置

技术领域

本发明涉及图像处理的领域，尤其涉及一种利用多摄像头或单摄像头多次成像技术对图像内场景计算深度，利用深度信息计算虚化系数，使用滤波器对图像作虚化处理的方法。本发明还涉及实施这种方法的装置。

背景技术

一、图像虚化

传感器成像时，当被拍摄物体处于景深范围内，则物体表面的点在传感器表面形成的弥散斑小于容许弥散圆，图像表现为清晰；当被摄物体超出景深范围，则物体呈现模糊状态，称之为虚化。

图像虚化是摄影创作的一个重要手法，通常是用大尺寸传感器及大光圈镜头实现的。大尺寸传感器和大光圈镜头限制使得设备无法小型化。

术语说明：

1、弥散斑：非焦平面的点在感光器件表面投影呈弥散状态，形状与镜片光学设计、光圈等有关，称之为弥散斑。

2、景深：在焦点前后各有一个容许弥散圆，被摄物体成像在这两个弥散圆之间，其影像模糊的程度不能为人眼所辨别，允许被摄物体的范围就是景深。

在本文中所述的虚化是指，对图像之全部或部分作处理，形成部分清晰部分模糊的效果。

二、深度信息的计算

常见的测距方法是用两个或两个以上的视点去观察同一物体目标，获得在不同视角下的一组图像（例如，至少两幅图像），然后通过视觉成像原理推算出不同图像中对应像素间的相对位置信息，进而推断物体目标的空间位置。

图1是以横向双摄像头方案为例，对深度信息进行计算的示意图。图2是横向双摄像头成像的水平面投影示意图。

设空间一点P_W(x₀,y₀,z₀)在两个平行放置的传感器中像点分别是P_LT(x₁,y₁,z₁)和P_RT(x₂,y₂,z₂)，则在已知两传感器光轴中心基线长b和镜头焦距f的情况下，可以计算出P_W点的深度z₀：

$z_0=f\×\frac{b}{(x_1-x_2)-b},$

z₀为虚化计算所需要的深度信息。

以前后放置的纵向双摄像头方案为例，图3是纵向双摄像头成像的垂直面投影的示意图。

设空间一点P_W(x₀,y₀,z₀)在两个纵向同轴放置的传感器中像点分别是前P_FT(x₁,y₁,z₁)和后P_RR(x₂,y₂,z₂)，则在已知两传感器光轴中心基线长b的情况下，可以计算出P_W点的深度z₀：

$z_0=\frac{b\×y_1}{|y_1-y_2|},$

z₀为虚化计算所需要的深度信息。

此外，对于确定深度信息，还有双目横向会聚模式等等实现方式。

三、虚拟成像系统

本发明可以对原始图像按场景的深度信息作任意的虚化处理。为使得后期处理效果，尽量接近已为大众接受的传统光学系统效果，可创建一个虚拟成像系统。该系统包括一个虚拟的镜头，符合传统光学原理，从而计算出产生与该虚拟成像系统近似效果的虚化分布系数。

四、滤波：

图像处理中的滤波是指对原始图像进行处理，获取到目标图像的过程。

实现滤波功能的系统称为滤波器，一般为具有某种传输特性的信号处理系统。

如何在小型设备上实现具有虚化效果的图像，成为本领域技术人员希望解决的问题。

背景技术部分公开的信息只是为了加强对本发明的一般背景的理解，不应视为承认或默许这种信息构成本领域技术人员已知的现有技术。

发明内容

本发明所要解决的技术问题是，如何对图像进行虚化处理。本发明使用一个或更多成像装置对一个场景取得不同视角的多幅图像，根据已标定（两个或更多成像装置）或估算的摄像头位置（单个成像装置多次成像），计算场景深度，再通过深度信息计算得到虚化系数，使用滤波器对图像作虚化处理。

本发明提供了一种对图像进行虚化处理的方法，包括以下步骤：拍摄步骤，使用一个或更多成像装置针对一个场景取得不同视角的多幅源图像；深度计算步骤，对所述源图像进行计算，得到所述场景的深度信息；以及图像处理步骤，利用所述深度信息对所述源图像的其中之一进行图像虚化处理。

本发明还提供一种对图像进行虚化处理的装置，包括：拍摄装置，所述拍摄装置构造为使用一个或更多成像装置针对一个场景取得不同视角的多幅源图像；深度计算装置，所述深度计算装置构造为对所述源图像进行计算，得到所述场景的深度信息；以及图像处理装置，所述图像处理装置构造为利用所述深度信息对所述源图像的其中之一进行图像虚化处理。

本发明的有益效果是：能够在如卡片式照相机或手机等的小型移动设备上，实现具有层次感的虚化图像的拍摄。

附图说明

图1是以横向双摄像头方案为例，对深度信息进行计算的示意图。

图2是横向双摄像头成像的水平面投影示意图。

图3是纵向双摄像头成像的水平面投影的示意图。

图4是在本发明的一个实施例中使用的SUSAN检测模板的示意图。

图5是在本发明的一个实施例中进行特征匹配的示意图。

图6a和图6b是圆形弥散斑和心形弥散斑的示意图。

图7是在本发明的一个实施例中确定弥散圆直径的示意图。

图8是根据本发明的一个实施例的方法的流程图。

应理解的是，为了说明本发明的基本原理及各个特征，附图呈现一定程度的简化表示，从而附图不一定是按比例绘制的。本文所公开的本发明的特定特征，包括但不限于尺寸、定向、位置以及形状，将部分地由具体意图的应用以及使用环境所确定。

具体实施方式

下面将详细参考本发明的实施例，其示例显示在附图和下文描述中。尽管结合示例性实施例描述了本发明，但应该理解，本说明书并未意欲将本发明限制于这些示例性实施例。相反，本发明不仅意欲覆盖这些示例性实施例，而且也覆盖包含在由所附权利要求书限定的本发明的实质和范围内的各种替代、修改、等价形式和其他实施例。

本发明的一个实施例的实施分为测距和虚化处理两个部分。测距根据背景技术介绍的多视点计算方法，按照拍摄、匹配、深度计算等几个步骤获取场景内各特征点的深度数据。

测距所使用的区域匹配的方法大致分为三类：基于特征的匹配，基于区域的匹配和基于相位的匹配。

基于特征的匹配使用的匹配基元包含了丰富的统计特性以及算法编程上的灵活性，易于硬件实现。

基于区域的匹配较为适用于室内等具有显著特征的环境，有较大的局限性，需要有其他的人工智能方法来辅助。

基于相位的匹配，由于周期性模式、光滑区域的存在以及遮挡效应等原因会导致视差图产生误差，还需要有其他的方法来进行误差检测和校正，较为复杂。

根据本发明的一个实施例，以常用的基于特征的匹配来阐述本发明的一种具体实现方法，其中视差计算包含特征提取和特征匹配。然而应该理解的是，本发明不限于基于特征的匹配。

首先需要获取源图像I。以横向双摄像头为例，左右两个传感器获得的源图像分别为I_L和I_R，先经过图像增强、滤波、缩放等预处理，然后提取特征。

特征提取：

选取的特征点基本上具备平移、旋转、缩放、仿射不变性，比如像素灰度值、角点、边缘、拐点等等。常用的有SUSAN角点提取，Harris角点提取，SIFT尺度不变特征提取等等。这里以SUSAN角点提取为例：

SUSAN（Smallest Univalue Segment Assimilating Nucleus）即最小核同值区。核同值区：相对于模板的核，模板中有一定的区域与它有相同的灰度。如图4所示，使用37个像素的检测模板A。

通过如下公式得到模板内单像素的检测值C：

$C(x,y)=\left\{\begin{array}{cc}1,& |I(x,y)-I(x_0,y_0)|\≤t\\ 0,& |I(x,y)-I(x_0,y_0)|>t\end{array}\right..$

检测对模板中的每个像素进行，I(x₀,y₀)是模板中心点灰度值，I(x,y)是模板上其他点灰度值，t是确定相似程度的阈值，x,y为以源图像I左下角为原点的坐标系内的坐标。

然后，对属于模板A的点的检测值C求和，得到输出的游程和S：

$S(x_0,y_0)=\underset{(x,y)\∈A}{\mathrm{\Σ}}C(x,y).$

源图像I的相应点(x₀,y₀)的特征值R为：

$R(x_0,y_0)=\left\{\begin{array}{cc}h-S(x_0,y_0),& S(x_0,y_0)<h\\ 0,& S(x_0,y_0)\&GreaterEqual;h\end{array}\right.,$

其中h为几何阈值且h=3S_max/4，其中S_max是游程和S所能取的最大值。

对两副图像作处理，得到特征图分别为H_L和H_R。对特征图H_L和H_R进行特征匹配。

特征匹配：

如图5所示，以第一特征图H_L中待匹配点（x₀,y₀）为中心点来创建一个大小为宽m、高n的矩形窗Q。在第二特征图H_R中，沿水平方向偏移量dx在视差范围内取出与待匹配点（x₀,y₀）（基准点）相邻同样大小为m×n的另一矩形窗Q’。将第一特征图H_L的矩形窗Q与第二特征图H_R的矩形窗Q’进行比较，最大相似性的对应点就是最佳匹配。

以灰度差的平方和算法为例，H_L中以待匹配点（x₀,y₀）为中心点的m×n矩形窗与H_R中对应尺寸水平偏移量dx的矩形窗的匹配系数为：

${\mathrm{\&Gamma;}}_{\mathrm{dx}}(x_0,y_0)=\underset{(i,j)\&Element;Q}{\mathrm{\&Sigma;}}[H_R(x_0+i+\mathrm{dx},y_0+j)-H_L{\left[(x_0+i,y_0+j)\right]}^2,$

i,j是矩形窗Q内一点的坐标，是以矩形窗Q左下角为原点的坐标系内的坐标。

预选设定一个几何阀值k，如果Γ_dx(x₀,y₀)<k，即为匹配成功。

Γ_dx(x₀,y₀)取得最小值，即为模板完全匹配。

Γ_dx(x₀,y₀)取得最小值时dx的取值，这里用视差矩阵D来记录匹配成功的点的偏移值dx，

D(x₀,y₀)=dx。

在遍历特征图H_L后，要对视差矩阵D插值，对未匹配成功的特征点以及未成功提取特征点的坐标估值。

视差矩阵D包含的偏移量信息将用于计算深度。

计算深度：

如背景技术介绍，根据横向双摄像头方案，利用三角公式计算深度。

如图2所示，对于两个平行放置的传感器，左侧传感器获取的源图像I_L上一点P_LT(x₁,y₁,z₁)，通过匹配到右侧一点P_RT(x₂,y₂,z₂)，可以计算出空间点P_W(x₀,y₀,z₀)的深度z₀。对于源图像I_L上的任意一点(x,y)，在已知两传感器光轴中心基线长b和镜头焦距f的情况下，其对应的空间点的深度为：

$Z(x,y)=f\&times;\frac{b}{D(x,y)},$

D是前面计算出的包含偏移量信息的视差矩阵。遍历源图像I_L可得深度矩阵Z，Z将用于计算虚化系数。

针对特定场景，因为透视关系，存在某些物体或局部只在一个成像装置中成像的情况。对于这种情况，可以用多个成像装置来弥补，只要任意两个成像装置中有同一物体或局部的成像，就可以测距。

基于单摄像头多次成像，可与操作者约定多次成像时拍照设备位置的水平或者垂直移动距离，或通过特定设备设置预定的水平或者垂直移动距离，应用横向双摄像头方案计算视差矩阵。也可与操作者约定多次成像时拍照设备位置的前后移动距离，或通过特定设备设置预定的前后移动距离，应用纵向双摄像头计算视差矩阵。

图像虚化处理：

根据本发明的一个实施例，虚化处理步骤包括虚化系数计算和滤波处理。具体而言，是依据深度计算步骤得到的深度信息，确定场景的虚化系数，对图像使用滤波器进行模糊处理，得到例如部分清晰部分模糊的效果。一般的光学系统中，非焦平面的点投射为弥散斑，不同的弥散斑形状及弥散斑内亮度的分布影响到最终的图像效果。为对比传统光学系统的虚化效果，在本发明的一个实施例中，创建一个光圈口径d，焦距f的光学成像系统作为被仿真的模型，使用滤波器来对图像作虚化处理。在本发明的其他实施例中，也可以采用心形、五角星形等其他形状弥散斑来产生特殊效果。

图6a和图6b分别示例一种圆形弥散斑（弥散圆）和一种心形弥散斑（包含在弥散圆内），其中的纵坐标表示亮度。

虚化系数计算：

虚化系数决定了场景内的每一个点的虚化处理的程度，虚化系数与景物分布及虚化模式有关。虚化模式按虚化处理目的不同可任意定义。例如，以空间的某面作为参考面，以距离参考面的远近对图像作虚化处理；或以主体为中心，以距离主体的远近对图像作虚化处理等等。

在本发明的一个实施例中，指定空间一个任意面N作为参考面，按光学系统的弥散圆计算方法，定义以对应点为圆心，包含弥散斑的最小圆的直径为虚化系数。下面描述如何根据深度矩阵Z、参考面N以及被仿真的光学系统焦距f、光圈F确定虚化系数矩阵E。

如图7所示，假设P_A为合焦点，P_A点的物距（深度）为u_a，P_A’为P_A点的像点，像距设为v_a；对于任意一点P_B，P_B点的对应深度为u_b，P_B’为P_B点的像点，像距设为v_b。根据高斯成像公式可以推出P_B的虚化系数，即以对应点为圆心，包含弥散斑的最小圆的直径为虚化系数：

$\mathrm{\&delta;}=\frac{|u_b-u_a|}{u_b(u_a-f)}\&times;\frac{f^2}{F},$

相机光圈F值的定义等于镜头的焦距f与镜头口径的直径d的比值： $F=\frac{f}{d}.$

对于任意一点(x,y)，其深度信息为E(x,y)，对应参考面N的点的深度信息为N(x,y)。则可以推出点(x,y)的虚化系数：

$E(x,y)=\frac{|Z(x,y)-N(x,y)|}{Z(x,y)(N(x,y)-f)}\&times;\frac{f^2}{F}.$

滤波处理：

在本发明的一个实施例中，用于虚化处理的滤波器，具有以下特点：

对输入图像的点，按场景的虚化系数进行虚化处理，虚化的程度与虚化系数有关，滤波器所使用的虚化模板可任意定义。虚化模板为滤波器的一部分，反映了源图像上的点通过滤波器后的光线分布。

以下描述如何定义虚化模板：

用表示虚化模板M的亮度系数的分布,其中x,y是像素中心点在以模板为中心的座标系内的坐标，是虚化系数。

参见图6a，例如，使用半球来模拟直径为虚化模板M的亮度分布：

其中，

简单的，可令即弥散圆直径等于虚化系数，

c是与δ有关的常数，用以平衡处理前后的图像亮度变化。使用如下参数可减少图像亮度变化：

$c=\underset{(x,y)\&Element;M}{\mathrm{\&Sigma;}}\sqrt{{\left(\frac{\mathrm{\&delta;}}{2}\right)}^2-(x^2+y^2)},$

以下描述具体滤波算法：

在本发明的一个实施例中，源图像I_L上的一个点(x,y)，通过滤波器后在目标矩阵G上的一个点(x₀,y₀)上的投影g可描述为：

g=I_L(x,y)×B((x-x₀),(y-y₀),E(x,y))，

源图像I_L所有点在目标矩阵G上点(x₀,y₀)产生的投影：

$G(x_0,y_0)=\underset{(x,y)\&Element;I_L}{\mathrm{\&Sigma;}}{I}_L(x,y)\&times;B((x-x_0),(y-y_0),E(x,y)),$

对目标矩阵G中每一点重复上述计算，得到的目标矩阵G即为虚化处理后的图像。

下面结合图8，说明根据本发明的一个实施例的对图像进行虚化处理的方法的流程。

首先，使用两个成像装置针对一个场景取得不同视角的两幅源图像I_L和I_R；

然后，对源图像I_L和I_R进行特征提取，得到特征图H_L和H_R；

然后，对特征图H_L和H_R进行特征匹配，得到视差矩阵D；

然后，利用视差矩阵D包含的信息进行深度数据计算，得到深度矩阵Z；

然后，利用深度矩阵Z计算虚化系数矩阵E；

然后，利用虚化系数矩阵E，对源图像I_L和I_R的其中之一进行虚化处理，得到目标矩阵G。

具体应用

本发明可以在很小的体积内，实现具有虚化效果的图像，无需大尺寸传感器、长焦距大光圈镜头。

本发明的具体应用包括但不限于以下形式：

一、照相设备（例如：卡片式照相机，手机等）

二、摄像设备（例如：摄像机等）

上文为了举例说明的目的，呈现了本发明的特定示例性实施例。上文的描述并不意图对本发明进行无遗漏的穷举，也不意图将本发明限制为所公开的确切形式。显然，根据上文的描述可以进行很多改变和变化。选择并描述这些示例性实施例是为了解释本发明的特定原理及其实际应用，从而使本领域技术人员能够制造并使用本发明的各个示例性实施例，及其各种替代和修改形式。事实上，本发明的范围由所附的权利要求及其等效形式限定。

Claims (8)

1.一种对图像进行虚化处理的方法，包括以下步骤：

拍摄步骤，使用一个或更多成像装置针对一个场景取得不同视角的多幅源图像；

深度计算步骤，对所述源图像进行计算，得到所述场景的深度信息；以及

图像处理步骤，利用所述深度信息对所述源图像的其中之一进行图像虚化处理。

2.根据权利要求1所述的对图像进行虚化处理的方法，其特征在于，

所述图像处理步骤包括：

确定场景的虚化系数步骤，根据深度计算步骤得到的深度信息，确定场景的虚化系数；以及

图像滤波处理步骤，利用所述场景的虚化系数，对所述源图像的其中之一使用滤波器进行滤波处理。

3.根据权利要求2所述的对图像进行虚化处理的方法，其特征在于，确定场景的虚化系数是根据如下公式进行的：

$E(x,y)=\frac{|Z(x,y)-N(x,y)|}{Z(x,y)(N(x,y)-f)}\&times;\frac{f^2}{F},$

其中，

E表示虚化系数矩阵，

N表示参考面矩阵，

x,y表示像点在所述源图像的坐标系内的坐标，

Z表示深度矩阵，其通过深度计算步骤获得，

f表示虚拟成像系统镜头的焦距，

F表示虚拟成像系统镜头的光圈，等于虚拟成像系统镜头的焦距f与虚拟成像系统镜头口径d的比值。

4.根据权利要求2所述的对图像进行虚化处理的方法，其特征在于，滤波处理是根据如下公式进行的：

建立目标矩阵G，根据如下公式计算所述源图像的其中之一的所有点在所述目标矩阵G上的点产生的投影：

$G(x_0,y_0)=\underset{(x,y)\&Element;I_L}{\mathrm{\&Sigma;}}{I}_L(x,y)\&times;B((x-x_0),(y-y_0),E(x,y)),$

其中，

I_L表示所述源图像的其中之一，

E表示虚化系数矩阵，

函数B表示滤波器所用模板，

x,y表示像点在所述源图像的坐标系内的坐标，

x₀,y₀表示目标矩阵G中的点在所述源图像的坐标系内的坐标。

5.一种对图像进行虚化处理的装置，包括：

拍摄装置，所述拍摄装置构造为使用一个或更多成像装置针对一个场景取得不同视角的多幅源图像；

深度计算装置，所述深度计算装置构造为对所述源图像进行计算，得到所述场景的深度信息；以及

图像处理装置，所述图像处理装置构造为利用所述深度信息对所述源图像的其中之一进行图像虚化处理。

6.根据权利要求5所述的对图像进行虚化处理的装置，其特征在于，所述图像处理装置包括：

虚化系数装置，所述虚化系数装置构造为根据深度计算装置得到的深度信息，确定场景的虚化系数；以及

图像滤波处理装置，所述图像滤波处理装置构造为利用所述场景的虚化系数，对所述源图像的其中之一使用滤波器进行滤波处理。

7.根据权利要求6所述的对图像进行虚化处理的装置，其特征在于，

确定场景的虚化系数是根据如下公式进行的：

$E(x,y)=\frac{|Z(x,y)-N(x,y)|}{Z(x,y)(N(x,y)-f)}\&times;\frac{f^2}{F},$

其中，

E表示虚化系数矩阵，

N表示参考面矩阵，

x,y表示像点在所述源图像的坐标系内的坐标，

Z表示深度矩阵，其通过深度计算装置获得，

f表示虚拟成像系统镜头的焦距，

F表示虚拟成像系统镜头的光圈，等于虚拟成像系统镜头的焦距f与虚拟成像系统镜头口径d的比值。

8.根据权利要求6所述的对图像进行虚化处理的装置，其特征在于，

滤波处理是根据如下公式进行的：

建立目标矩阵G，根据如下公式计算所述源图像的其中之一的所有点在所述目标矩阵G上的点产生的投影：

$G(x_0,y_0)=\underset{(x,y)\&Element;I_L}{\mathrm{\&Sigma;}}{I}_L(x,y)\&times;B((x-x_0),(y-y_0),E(x,y)),$

其中，

I_L表示所述源图像的其中之一，

E表示虚化系数矩阵，

函数B表示滤波器所用模板，

x,y表示像点在所述源图像的坐标系内的坐标，

x₀,y₀表示目标矩阵G中的点在所述源图像的坐标系内的坐标。