CN104166972A - 一种终端及其实现图像处理的方法 - Google Patents

Abstract

本发明公开了一种终端及其实现图像处理的方法，所述方法包括：图像获取步骤：获取具有重叠区域的两幅图像；图像糅合步骤：按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。本发明所述方法通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理，得到了宽视野、高分辨率的图像，极大的提高了用户使用体验。

Description

一种终端及其实现图像处理的方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种终端及其实现图像处理的方法。

背景技术

随着移动设备技术的飞速发展，移动设备的各项功能也越来越强大。目前的移动设备既可以当作通讯工具来使用又可以当作娱乐消遣用品，已经成为人们生活中不可或缺的一部分。随着功能的强大，人们对于听觉和视觉的享受要求也越来越高，但是目前移动设备终端照相机只能实现对单张图片的拍摄，日常使用普通移动设备照相机来获取视野的场景图像时，即使是在高端移动设备上人们必须调节相机的焦距，通过缩放镜头才可以摄取完整的场景，但这样获取照片的分辨率是比较低的，因为相机的分辨率是一定的，拍摄的场景越大分辨率越低（即，相同的分辨率，场景大的话出来的图片就比较模糊，场景小的就比较清晰）；为了获取高分辨率的场景照片不得不通过缩放相机镜头来减小拍摄的视野，但这又得不到完整的场景照片，因此需要在场景的大小和分辨率之间进行折衷。可见，当前终端对于照片的摄取方式还存在一定的功能缺陷，不能满足用户的使用需求。所以，如何提供一种解决方案，使得终端摄取的图像可以满足视野和分辨率的双重要求，成为本发明所要解决的技术问题。

发明内容

本发明要解决的技术问题是，提供一种终端及其实现图像处理的方法，使得终端摄取的图像可以满足视野和分辨率的双重要求。

依据本发明的一个方面，提供了一种终端实现图像处理的方法，包括：

图像获取步骤：获取具有重叠区域的两幅图像；

图像糅合步骤：按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

可选地，本发明所述方法中，所述按照重叠区域，将两幅图像进行配准，包括：提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

可选地，本发明所述方法中，所述特征点包括图像的角点。

可选地，本发明所述方法中，所述提取两幅图像的特征点，包括：

对于每幅图像，利用3×3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用该偏导数计算各像素点对应的Plessy角点检测算法中的对称矩阵M；

设置选取窗口、以及特征点可用评价函数R；其中，，式中Det(M)=λ₁λ₂、Trace(M)=λ₁+λ₂，λ₁、λ₂分别为矩阵M的特征值，ε为使分母不为零的极小值；

按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出R值最大的像素点，移动选取窗口，直到筛选完整幅图；

设置特征点判定阈值，将筛选出的各像素点中R值大于所述判定阈值的像素点设为提取到的特征点。

可选地，本发明所述方法还包括：

在特征点提取前，利用预先设定的边界模板，将图像中的边界特征点删除；

和/或，在提取图像中的特征点后，提取各特征点中的亚像素特征点，并以提取的亚像素特征点为最终提取的特征点。

可选地，本发明所述方法中，所述在特征点中提取出两幅图像的匹配特征对，包括：

利用粗匹配双向最大相关系数BGCC算法，对两幅图像中的特征点进行粗匹配，利用随机采样RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配，得到精确提取的匹配特征对。

可选地，本发明所述方法中，在对两幅图像中的特征点进行粗匹配之前，所述方法还包括：

利用中值滤波器对两幅图像进行平滑处理，并将原图与滤波处理后图像相减的结果作为粗匹配处理的操作对象。

可选地，本发明所述方法中，所述将配准后的两幅图像进行合成，包括：根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值f(x,y)进行设置；其中，设置规则包括：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ f_1(x,y)& |f_1-f_2|>\mathrm{door},d_1>d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ d_1\&times;f_1(x,y)+d_2\&times;f_2(x,y)& |f_1-f_2|<\mathrm{door},(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& |f_1-f_2|>\mathrm{door},d_1<d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.$

其中，f₁(x,y)、f₂(x,y)分别表示两幅图像中像素点的灰度值，d₁,d₂∈(0,1)，且d₁+d₂=1，分别表示两幅图像的渐进因子，door为预先设定的判定阈值，f₁、f₂分别表示两幅图像。

可选地，本发明所述方法中，所述将配准后的两幅图像进行合成，还包括：

采用拼缝周围7×7区域为拼缝处理区域，并以3×3的模板对所述拼缝处理区域内的像素点进行线性滤波处理。

可选地，本发明所述方法中，在图像获取步骤和图像糅合步骤间，还包括：

图像预处理步骤：将所述图像获取步骤获取到两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域。

可选地，本发明所述方法还包括：

3D图像生成步骤：获取合成图像以及与该合成图像具有重叠区域的另一图像，执行所述图像糅合步骤进行再次合成，重复图像获取及图像糅合过程，得到具有景深的3D图像；其中，与合成图像具有重叠区域的另一图像可以为非合成图像，也可以为合成图像。

依据本发明的另一个方面，提供了一种终端，包括：

图像获取模块，用于获取具有重叠区域的两幅图像；

图像糅合模块，用于按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

可选地，本发明所述终端中，所述图像糅合模块，具体用于提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

可选地，本发明所述终端中，图像糅合模块中特征点包括图像的角点。

可选地，本发明所述终端中，所述图像糅合模块，具体包括：

计算子模块，用于对于每幅图像，利用3×3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用该偏导数计算各像素点对应的Plessy角点检测算法中的对称矩阵M；

设置子模块，设置选取窗口、以及特征点可用评价函数R；其中，式中Det(M)=λ₁λ₂、Trace(M)=λ₁+λ₂，λ₁、λ₂分别为矩阵M的特征值，ε为使分母不为零的极小值；

筛选子模块，用于按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出R值最大的像素点，移动选取窗口，直到筛选完整幅图；

提取子模块，用于设置特征点判定阈值，将筛选出的各像素点中R值大于所述判定阈值的像素点设为提取到的特征点。

可选地，本发明所述终端中，所述图像糅合模块，进一步包括：

粗匹配子模块，用于利用粗匹配双向最大相关系数BGCC算法，对两幅图像中的特征点进行粗匹配；

精确匹配子模块，用于利用随机采样RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配，得到精确提取的匹配特征对。

可选地，本发明所述终端中，所述图像糅合模块，进一步用于根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值f(x,y)进行设置；其中，设置规则包括：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ f_1(x,y)& |f_1-f_2|>\mathrm{door},d_1>d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ d_1\&times;f_1(x,y)+d_2\&times;f_2(x,y)& |f_1-f_2|<\mathrm{door},(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& |f_1-f_2|>\mathrm{door},d_1<d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.$

其中，f₁(x,y)、f₂(x,y)分别表示两幅图像中像素点的灰度值，d₁,d₂∈(0,1)，且d₁+d₂=1，分别表示两幅图像的渐进因子，door为预先设定的判定阈值，f₁、f₂分别表示两幅图像。

可选地，本发明所述终端还包括：图像预处理模块，和/或，3D图像生成模块，其中：

所述图像预处理模块，用于将所述图像获取模块获取到两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域；

所述3D图像生成模块，用于获取合成图像以及与该合成图像具有重叠区域的另一图像，触发所述图像糅合模块进行再次合成，重复进行图像获取及图像糅合过程，得到具有景深的3D图像；其中，与合成图像具有重叠区域的另一图像可以为非合成图像，也可以为合成图像。

本发明有益效果如下：

本发明所述终端及方法，通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理，得到了宽视野、高分辨率的图像，极大的提高了用户使用体验；

进一步地，本发明所述终端及方法，通过摄取一系列不同角度但具有重叠区域的图像，将所述一系列图像进行空间重叠处理，形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的具有3D效果的新图像，其不仅实现了宽视野、高分辨率的要求，而且更好的满足了用户的使用需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种终端实现图像处理的方法的流程图；

图2为本发明实施例二中实际匹配点与估计的匹配点的几何示意图；

图3为本发明实施例二中图像处理的整体处理框架图；

图4为本发明实施例三提供的一种终端实现图像处理的方法的流程图；

图5为本发明实施例三中应用示例的处理框架图；

图6为本发明实施例四提供的一种终端的结构框图；

图7为本发明实施例五提供的一种终端的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对当前终端设备拍摄的单张图片不能同时满足高分辨率、宽视野的问题，本发明提供了一种终端及其实现图像处理的方法，该方法通过将摄取的具有一定重叠区域的两幅图像进行空间重叠对齐及合成处理，实现了在不降低图像分辨率的条件下获取大视野范围的场景图像。下面就通过几个具体实施例对本发明的具体实施过程进行详细阐述。

实施例一

本发明实施例提供一种终端实现图像处理的方法，如图1所示，包括：

步骤S101，获取具有重叠区域的两幅图像；

该步骤中，获取的图像可以是在终端存储模块（如：终端内部存储器和/或外部扩充存储器）内存储的图像、也可以是终端实时摄取的图像，本发明不对图像的获取方式做唯一限定。

其中，当终端采用实时摄取的方式获取图像时，本实施例给出一种优选的实施方式，具体为：在终端内设置两组可旋转的摄像头，由于这两组摄像头可以变换角度进行拍摄，所以可以同时获取不同角度的且具有一定重叠区域的图像。该获取方式为加快图像处理速度提供有力支撑。

步骤S102，按照所述重叠区域，将两幅图像进行配准。

该步骤中，按照重叠区域，将两幅图像进行配准，具体包括：提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

其中，特征点可以为根据图像性质提取适用于图像糅合的任何几何或灰度特征。本发明优选地采用角点作为待提取的特征点。

对于角点的提取主要采用角点检测算法来实现，关于角点检测算法主要分基于边缘和基于灰度两类提取算法，由于前者对边缘的提取依赖性比较大，如果检测到的边缘发生错误或是边缘线发生中断（在实际中经常会遇到这种情况），则会对角点提取结果造成较大影响，而基于灰度提取算法主要通过计算局部范围内灰度和梯度变化剧烈的极大点来达到检测目的，无需进行边缘提取，因而在实际中得到了广泛应用。其中最具代表性的几种角点检测算法有：Moravec算子角点检测、Forstner算子角点检测、Susan检测算法、Plessy角点检测算法。Plessy角点检测算法在一致性和有效性方面均具有优良的性能以及所提取的角点被证明具有旋转、平移不变性、稳定性好等优点。

其中，Plessy角点检测算法的基本思想是利用图像的灰度变化率确定角点，该方法通过计算一个与图像的自相关函数相联系的矩阵M的特征值，即自相关函数的一阶曲率来判定该点是否为角点，如果两个曲率值都高，那么就认为该点是角点。

Plessy角点检测算法定义了任意方向上的自相关值E(u,v)为：

$E(u,v)\&cong;\begin{array}{}\end{array}\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$

$M=\left[\begin{array}{c}\mathrm{AC}\\ \mathrm{CB}\end{array}\right]=e^{-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}^2}}\&CircleTimes;\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(1\right)$

I_x、I_y分别为图像x、y方向的梯度值，σ为表征高斯滤波器宽度的参数，其中表示卷积运算。M是2×2的对称矩阵，因此必然存在2个特征值λ₁和λ₂，特征值反映了图像像素的特征性，即如果像素点(x,y)是一特征点，那么关于这个点的M矩阵的2个特征值都是正值，并且它们是以(x,y)为中心的区域中的局部最大值，则特征点可用评价函数表示为：

R=Det(M)-kTrace²(M)     (2)

其中，Det(M)=λ₁λ₂、Trace(M)=λ₁+λ₂，Det为矩阵的行列式，Trace为矩阵的迹(矩阵对角线元素的和)。设定一个合理的阈值T，当实际由公式(2)计算出来的R大于该阈值时，则表示找到了一个角点，否则就不是。特征点一般是局部范围内的极大兴趣值对应的像素点。因此，在计算完各点的R值后，要进行非极大值抑制，提取原始图像中所有局部兴趣值最大的点。其中k是一实验值，一般k=0.04～0.06。

进一步地，步骤S102中，提取两幅图像的匹配特征对包括：

对两幅图像提取的特征点中有相当多的冗余点，如果不去除这些冗余的特征点将会导致匹配参数的误差，甚至导致匹配失败。选择合适的点匹配准则寻找对应特征对是实现图像糅合正确性和精确度的重要保证，常用的匹配特征对提取方法包括但不限于为：Hausdorff距离法、松弛标记法、确定性退火算法以及迭代最近点算法(ICP)。

步骤S103，将配准后的两幅图像进行合成。

具体地，在将两图像之间在空间上进行配准之后，就需要选择合适的图像合成策略，完成图像的糅合。所谓图像合成就是将源图像的像素结合起来生成糅合平面上的像素，实现相邻图像间自然的过渡。其中，所选择的合成策略要能够尽量的减少遗留变形以及图像间亮度差异对合并效果的影响，以获得对同一场景的更为精确、更为全面、更为可靠的图像描述。基于上述的选取标准，本发明中关于选取的图像合成策略可以但不限于为渐进渐出合成方法。

综上所述，本实施例所述方法通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理，得到了宽视野、高分辨率的图像，极大的提高了用户使用体验。

实施例二

本发明实施例提供一种终端实现图像处理的方法，本实施例所述方法在实施例一所述的主体架构下，提出了几种改进方案，能够进一步加快图像处理速度和精度，继续如图1所示，包括如下步骤：

步骤S101，获取具有重叠区域的两幅图像；

该步骤的实施过程与实施例一相同，详细实施方式不再赘述。

步骤S102，按照所述重叠区域，将两幅图像进行配准。

该步骤中，按照重叠区域，将两幅图像进行配准，具体包括：提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

进一步地，该步骤中，关于特征点的提取采用改进的Plessy角点检测算法，具体如下：

针对原始的Plessy角点检测单一阈值设定、定位精度低以及实时性差等一些缺陷，本实施例提出了几点改进，使得在图像中提取出尽可能多又定位精确的特征点，同时加快提取角点的速度。结合实施例一中所述的Plessy角点检测算法的实施过程，改进后的Plessy角点检测算法的实施过程包括：

1)对图像的每一个点计算其在横向和纵向的一阶偏导数I_x、I_y以及两者的乘积I_xI_y，利用得到的偏导数信息，按照公式（1），计算得到对称矩阵M。

在图像处理中不易求得偏导数，而本实施例中给出一种优选的计算方式：利用3×3卷积核与原图像做卷积便可求得原图像每一点的一阶偏导数I_x、I_y。

其中，3×3卷积核可以但不限于采用如下模板表示：

那么得到的一阶偏导数 $I_x=\frac{\&PartialD;I}{\&PartialD;x}\&ap;I\&CircleTimes;Q_x,$ $I_y=\frac{\&PartialD;I}{\&PartialD;y}\&ap;I\&CircleTimes;Q_y.$

2)原始Plessy角点检测算法中，特征点可用评价函数R中的k值是一个经验常数，使用起来随意性较大，造成角点提取可靠性的降低，在图片状况不一的情况下，容易影响到角点提取的准确性。考虑到R实质是角点检测信号，行列式的值大、迹的值小为角点信号，反之为边缘信号的特点。因此改进后的算法中，采用如下比值法计算特征点可用评价函数：

$R=\frac{\mathrm{Det}\left(M\right)}{\mathrm{Trace}\left(M\right)+\mathrm{\&epsiv;}}---\left(3\right)$

其中，为了避免矩阵迹有时可能为零，在分母中补加很小的数ε。与原始Plessy角点检测算法中提出的评价函数相比，它避免参数k的选取，减少了k选择的随机性，具有实用性，可靠性好，准确度高。其中，ε取大于零的任意小的数，ε具有任意性，既然表达任意接近，那么ε可以任意取正值，惟其可以任意取值，才可准确表达极限定义中“无限接近”的含义。但为了突出“无限接近”通常取0<ε<1。

3)选取局部极值点，习惯上的做法都是选择一个适当的阈值，然后将兴趣值大于该阈值的像素点作为特征点，那些兴趣值小于阈值的像素点，则被筛选掉。这种做法虽然简单易实现，但单一阈值的选取对于非均质图像来说可能导致部分特征点也被筛选掉。为了克服这一缺陷，改进后的Plessy角点检测算法采用图像中窗口内抑制非最大的方式结合阈值的设定来进行特征点的筛选，原理为：在图像中选取一个适当的窗口，将窗口中R最大的像素保留，而将窗口中其余像素点删去，移动窗口对整幅图像的进行筛选。局部极值点的数目往往很多，根据要求设定一合理的阈值筛选出的最大的若干个像素点作为最后的特征点提取结果。优选地，为了加快提取的速度，采用预先设定的边界模板将对匹配作用不大的边界角点排除。

上述筛选过程通过步骤方式表述为：

3.1）设置选取窗口，按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出R值最大的像素点，移动选取窗口，直到筛选完整幅图；

3.2）设置特征点判定阈值，将筛选出的各像素点中R值大于所述判定阈值的像素点设为提取到的特征点。

其中，所述的“选取窗口”、“判定阈值”的大小可以根据实际要求进行灵活设置，主要表现为，当选取窗口较小时，筛选出的像素点较多；反之，筛选出的像素点较少。而对于判定阈值，设定的越大最终提取的特征点就越少；反之，提取的特征点较多。本发明在研发阶段采用判定阈值为2200，抑制非最大的窗口为7*7，但选取窗口和判定阈值可以根据需求进行灵活设置，本实施例不对其大小做唯一限定。

优选地，在提取出特征点后，还可以进行亚像素特征点（角点）定位过程，通过定位亚像素特征点定位过程，可以进一步精确提取的特征点。定位实现方式为：采用二次多项式ax²+by²+cxy+dx+ey+f=R(x,y)来逼近特征点可用评价函数R，实现角点的亚像素级精确位置。确切地说，用已经检测出来的角点周围的普通像素点可以建立含有a～f的6个未知量的超定方程组，运用最小二乘法求解这个超定方程，亚像素级角点对应的是二次多项式的极大值点，以该极大值点对应的像素点为提取的精确特征点，换句话说，当极大值点对应的像素点为计算时对应的角点，则提取的精确特征点就为该角点；否则，删除计算时对应的角点，以极大值点对应的像素点为精确提取的角点（特征点）。

进一步地，步骤S102中，对于匹配特征对优选地采用如下提取方式：

本实施例中提出的匹配算法分为两步：利用双向最大相关系数(BGCC)进行粗匹配；然后用随机采样法（RANSAC)对其进行提纯，实现图像的精匹配。该方法在去除冗余特征点的同时能准确提取出正确的匹配特征点对。

粗匹配用双向最大相关系数BGCC（Bidirectional Greatest CorrelativeCoefficient）的方法，建立一个相似测度NCC，只有当两角点均是相对于对方相似度量值最大时才认为匹配成功，具体的：

相关系数定义如下：

$C_{\mathrm{ij}}=\underset{k=-n}{\overset{n}{\mathrm{\&Sigma;}}}\underset{l=-n}{\overset{n}{\mathrm{\&Sigma;}}}\frac{[I_1(u_i^1+k,v_i^1+l)-\stackrel{\&OverBar;}{I_1}(u_i^1,v_i^1)]\&times;[I_2(u_j^2+k,v_j^2+l)-\stackrel{\&OverBar;}{I_2}(u_j^2,v_j^2)]}{(2n+1)(2n+1)\sqrt{{\mathrm{\&sigma;}}_i^2\left(I_1\right)\&times;{\mathrm{\&sigma;}}_j^2\left(I_2\right)}}---\left(4\right)$

I₁、I₂是两幅图像的灰度；n×n是在一幅图中选择的窗口大小；k×l是在另一幅图中选择的搜索区域的大小，设第一幅图像中的角点为di，i=1…m，第二幅图像中的角点为dj，j=1…n，则和分别为两幅图中第i个和第j个待匹配的特征点。是角点窗口区域的平均灰度值：

$\stackrel{\&OverBar;}{I}(u,v)=\frac{\underset{i=-n}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=-n}{\overset{n}{\mathrm{\&Sigma;}}}I(u+i,v+j)}{(2n+1)(2n+1)}---\left(5\right)$

窗口区域的标准方差σ： $\mathrm{\&sigma;}=\sqrt{\frac{\underset{i=-n}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=-n}{\overset{n}{\mathrm{\&Sigma;}}}{I}^2(u+i,v+j)}{(2n+1)(2n+1)}}-{\stackrel{\&OverBar;}{I}}^2(u,v)---\left(6\right)$

用双向最大相关系数算法进行角点的粗匹配具体为：

1）以图像I₁中的任意一个角点为中心选取一个n×n的相关窗口，在I₂中以与I₁中的角点具有相同坐标的像素点为中心选取一个大小为dl×dh的矩形搜索区域，然后对I₁中的角点与I₂中搜索窗口区域内每一个角点计算相关系数C_ij，将相关系数最大的角点作为I₁给定角点的匹配点，这样可以得到一组匹配点集。

2）同理，给定图像I₂中的任意一个角点，搜索图像I₁中对应的窗口区域内与之相关系数最大的角点作为I₂给定角点的匹配点，这样也可以得到一组匹配点集。

3）最后在得到的两组匹配点集中搜索相同的匹配角点对，认为该角点对是相互匹配对应的，至此，完成了角点的初始匹配。

在实际操作中为了补偿两幅图像由于光照产生的不同，将图像用中值滤波器（如7×7的中值滤波器）进行平滑，然后将原图与经过滤波的图像相减的结果作为我们操作的对象。

然而，如果仅使用BGCC进行匹配就会产生错误的匹配对，有时错误匹配的比例会非常高，严重干扰了变换矩阵的估计，导致图像糅合失败。因此，必须对特征点对加以校正，去掉错误的匹配对。本实施例中采用随机采样法（RANSAC）进行精匹配。

RANSAC基本思想：首先根据具体问题设计出某种目标函数，然后通过反复提取最小点集估计该函数中参数的初始值，利用这些初始参数值把所有的数据分为所谓的“内点”（inliers，即满足估计参数的点）和“出格点”（outliers，即不满足估计参数的点），最后反过来用所有的“内点”重新计算和估计函数的参数。具体作法是，在输入数据中采样所谓的最小点集，并利用每次取样所得到的最小点集估计出所要确定的参数，同时根据一定的判别准则来判别输入数据中哪些是与该组参数相一致，即“内点”，哪些是不一致的，即“出格点”。如此迭代一定的次数之后，将对应输入数据中“内点”比例最高的所估计出的参数值作为最终的参数估计值。

RANSAC算法应用到本实施例中的具体实施过程如下：

（1）随机选取n对匹配点(选取的n点应保证样本中的任意三点不在同一直线上)，线性地计算投影变换矩阵H；其中，n大于等于4。

（2）计算每个匹配点经过投影变换矩阵H变换后到对应匹配点的距离；

（3）根据内点距离小于设定距离阈值t的原则计算内点，并选取一个包含内点最多的点集，在此内点域上重新估计投影变换矩阵H；

（4）随机选取n对匹配点，返回步骤（2），如此重复N次，即可得到较为精确的投影变换矩阵H，根据该矩阵H对粗匹配得到的各匹配点进行投影变换，得到的内点，即为精确提取的匹配特征对。

其中，估计投影变换矩阵H至少需要8个方程，也就是需要在相邻的两幅图像中选取n（≥4）对特征对应对，特征对可以通过上述角点匹配过程获得。设图像I₁、I₂之间的投影变换为（以齐次坐标表示）：

$\left(\begin{array}{c}{x}_i^{\&prime;}\\ y_i^{\&prime;}\\ w_i^{\&prime;}\end{array}\right)=\left(\begin{array}{ccc}{h}_0& h_3& h_6\\ h_1& h_4& h_7\\ h_2& h_5& h_8\end{array}\right)\left(\begin{array}{c}{x}_i\\ y_i\\ w_i\end{array}\right)---\left(7\right)$

通过叉积方程可以表示为：X′_i×HX_i=0其中X′_i=(x′_i,y′_i,w′_i)^T

令表示H的j行，那么叉积方程可以表示为Ah=0即

$\left(\begin{array}{ccc}{0}^T& -w_i^{\&prime;}{X}_i^T& y_i^{\&prime;}{X}_i^T\\ w_i^{\&prime;}{X}_i^T& 0^T& -x_i^{\&prime;}{X}_i^T\\ -y_i^{\&prime;}{X}_i^T& x_i^{\&prime;}{X}_i^T& 0^T\end{array}\right)\left(\begin{array}{c}{h}_1\\ h_2\\ h_3\end{array}\right)=0---\left(8\right)$

实际中通过对A进行SVD分解，h的解就是V的值，进而可以得到矩阵H。

进一步地，上述根据内点距离小于设定距离阈值t的原则计算内点，具体包括：

如图2所示，设点p′、q′分别为点p、q在各自对应图像中估计出来的对应点，则图像中一个点的实际匹配点到其估计匹配点之间的几何距离定义如下：

d(p,p′)=d(p,H^-1q)=||p-H^-1q||，d′(q,q′)=d(q,Hp)=||q-Hp||     （9）

式中||·||表示欧式距离。考虑到对称性，几何距离判决准则函数定义如下：

ds=id_i(p_i,p′_i)²+d′_i(q_i,q′_i)²=||p_i-H^-1q_i||²+||q_i-Hp_i||²,i=1,2,...,n     （10）

若计算出的dis大于设定的距离阈值，则对应的匹配点被认为是出格点；若计算出的dis小于设定的距离阈值，则对应的匹配点被认为是内点，只有内点才适合计算变换矩阵H。

步骤S103，将配准后的两幅图像进行合成。

该步骤中，为了能使糅合区域平滑，保证图像质量，采用改进的渐进渐出合成方法进行图像合成，具体如下：

原始的渐进渐出合成方法将图像重叠区域中像素点的灰度值f(x,y)由两图像中对应像素点的灰度值f₁(x,y)和f₂(x,y)的加权平均得到：

f(x,y)=d₁×f₁(x,y)+d₂×f₂(x,y)

其中d₁、d₂是渐变因子，其取值范围限制在(0,1)之间，满足d₁+d₂=1的关系，在重叠区域中，按照从第1幅图像到第2幅图像的方向，d₁由1渐变至0,d₂由0渐变至1，f₁(x,y)慢慢平滑过渡到f₂(x,y)。然而，在使用该算法时发现，经处理后的图像虽然消除了图像中的边界，但是重叠区域中仍然出现重影、模糊现象，由于两幅图像重叠部分中个别对应像素灰度值存在较大的差异而使合成后的图像在这些像素处的灰度值出现跳变，为避免这种情况出现，因此，本实施例中对原始的渐进渐出合成方法进行了一次改进，引入一个阈值door，对于f(x,y)，并不直接取f₁(x,y)和f₂(x,y)的加权平均值，而是先计算该点在平滑前两幅图对应像素的灰度值差值，若此差值小于阈值，则取加权平均值为此点灰度值，反之，则取平滑前的灰度值为此点灰度值。

修正算法合成的图像像素f(x,y)可以表示为：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ f_1(x,y)& |f_1-f_2|>\mathrm{door},d_1>d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ d_1\&times;f_1(x,y)+d_2\&times;f_2(x,y)& |f_1-f_2|<\mathrm{door},(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& |f_1-f_2|>\mathrm{door},d_1<d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.---\left(11\right)$

其中，f₁(x,y)、f₂(x,y)分别表示两幅图像中像素点的灰度值，d₁,d₂∈(0,1)，且d₁+d₂=1，分别表示两幅图像的渐进因子，f₁、f₂分别表示两幅图像。door为预先设定的判定阈值，由公式（11）可知，该判定阈值用以判断重叠区域的像素点具体采用何种灰度定义方式，当door设置的过大，就会导致所有像素点|f₁-f₂|的值可能均小于该door，导致最终灰度设定不准；当door设置的过小，则会导致所有像素点|f₁-f₂|的值大于door，也会导致最终灰度设定不准。所以，在设定door时建议可以预先对一些重叠区域的灰度值进行对比，找到一个灰度差值的经验值，以该经验值作为参考基准，可调的设置door。所以，本发明仅是提出了door的概念，对于door的具体值不作唯一限定。

再者，在图像合成时，如果选择的拼缝重叠区域过大，则会出现图像模糊、边缘信息不明显等问题，若选择的拼缝重叠区域太小，则无法消除图像的拼缝现象。所以，本实施例中，对于所处理的图像，采用拼缝周围7×7区域为拼缝处理区域，以3×3的模板对拼缝区域内的像素点进行线性滤波，得到的效果最好。

本实施例的整体处理流程图如图3所示。综上所述，本实施例基于实施例一的实施架构，对特征点提取、匹配特征对提取、以及图像合成的方法进行改进，进一步加快图像处理速度和精度。

实施例三

本实施例提供一种终端实现图像处理的方法，如图4所示，包括如下步骤：

步骤S401，获取具有重叠区域的两幅图像。

该步骤的实施过程与实施例一相同，详细实施方式不再赘述。

步骤S402，对获取的两幅图像进行预处理，用以保证下一步图像糅合的精度。其中，预处理过程包括下述处理方式的一种或几种：

方式一，验证获取的两幅图像是否具有重叠区域，当具有重叠区域时，进行下一步；否则，发出错误提示信息；

方式二，将两幅图像转换到同一坐标系下，方便后续的图像糅合处理；

方式三，对图像进行平滑滤波处理，为后续图像糅合处理提供精度支持；

方式四，初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域。该预处理方式缩小匹配范围，提高了图像处理速度。

当然，上述预处理方式只是列举并非穷举，本领域技术人员容易想到的任何可以为后续图像糅合处理提供支持的操作，都在本发明的保护思想之内。

步骤S403，提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

该步骤的实施可以基于实施例一或者实施例二所述的方式实现。

步骤S404，将配准后的两幅图像进行合成。

该步骤的实施可以基于实施例一或者实施例二所述的方式实现。

步骤S405，获取合成图像以及与该合成图像具有重叠区域的另一图像，执行步骤S403、S404进行再次合成，重复图像获取及图像糅合过程，得到具有景深的3D图像。其中，与合成图像具有一定重叠区域的另一图像可以为非合成图像，也可以为合成图像。

下面就给出使用本实施例所述方法的一种具体应用实现过程，基本处理框架图如图5所示，具体实现流程包括：

（1）用户可以通过终端界面选择开启图像处理功能；

（2）初始化两组摄像头，调整两组摄像头的角度；

（3）在保证一定重叠区域进行图片的拍摄，获取两组不同角度的图片；

（4）对两组图片进行图像预处理；

（5）经过处理的两组图片进入图片糅合处理，生成一组合成图片A；

（6）利用两组摄像头继续拍照进行合成B、C、D……，将合成图片进行本地存储；

（7）直到用户将希望的图片全部拍摄完毕，然后将存储模块中合成的一系列图片进一步图像糅合，直到生成不同景深具有3D效果的图片；

（8）用户可以直接进行预览所生成的图片。

综上所述，本发明所述方法，通过摄取一系列不同角度但具有重叠区域的图像，将所述一系列图像进行空间重叠处理，形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的具有3D效果的新图像，其不仅实现了宽视野、高分辨率的要求，而且更好的满足了用户的使用需求。

实施例四

本发明实施例提供一种终端，如图6所示，具体包括：

图像获取模块610，用于获取具有重叠区域的两幅图像；

图像糅合模块620，用于按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

具体的，所述图像糅合模块620提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

其中，图像糅合模块620中特征点可以为根据图像性质提取适用于图像糅合的任何几何或灰度特征。本发明优选地采用角点作为待提取的特征点。

进一步地，本实施例中，图像糅合模块620，可以通过如下角点检测算法进行角点提取：Moravec算子角点检测、Forstner算子角点检测、Susan检测算法、Plessy角点检测算法。其中，Plessy角点检测算法在一致性和有效性方面均具有优良的性能以及所提取的角点被证明具有旋转、平移不变性、稳定性好等优点。

本实施例中，优选地采用改进的Plessy角点检测算法进行角点提取，此时，图像糅合模块620，包括：计算子模块621、设置子模块622、筛选子模块623和提取子模块624；其中：

计算子模块621，用于对于每幅图像，利用3×3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用该偏导数计算各像素点对应的Plessy角点检测算法中的对称矩阵M；

设置子模块622，设置选取窗口、以及特征点可用评价函数R；其中，式中Det(M)=λ₁λ₂、Trace(M)=λ₁+λ₂，λ₁、λ₂分别为矩阵M的特征值，ε为使分母不为零的极小值；

筛选子模块623，用于按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出R值最大的像素点，移动选取窗口，直到筛选完整幅图；

提取子模块624，用于设置特征点判定阈值，将筛选出的各像素点中R值大于所述判定阈值的像素点设为提取到的特征点。

优选地，在经过模块621至624的特征点提取前，利用预先设定的边界模板，将图像中的边界特征点删除。在经过模块621至624的特征点提取后，提取各特征点中的亚像素特征点，并以提取的亚像素特征点为最终提取的特征点。

进一步地，本实施例中，图像糅合模块620提取匹配特征对的方法包括但不限于为：Hausdorff距离法、松弛标记法、确定性退火算法以及迭代最近点算法(ICP)。本实施例中，为了在去除冗余特征点的同时能准确提取出正确的匹配特征点对，优选地，采用双向最大相关系数法与随机采样法相结合方式的进行匹配特征对的提取。此时，图像糅合模块620，包括：粗匹配子模块625和精确匹配子模块626；其中：

粗匹配子模块625，用于利用粗匹配双向最大相关系数BGCC算法，对两幅图像中的特征点进行粗匹配；

优选地，在粗匹配子模块625对两幅图像中的特征点进行粗匹配之前利用中值滤波器对两幅图像进行平滑处理，并将原图与滤波处理后图像相减的结果作为粗匹配处理的操作对象。

精确匹配子模块626，用于利用随机采样RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配，得到精确提取的匹配特征对。

进一步地，本实施例中，图像糅合模块620，优选地采用改进的渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值f(x,y)进行设置，实现图像的合成；其中，设置规则包括：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ f_1(x,y)& |f_1-f_2|>\mathrm{door},d_1>d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ d_1\&times;f_1(x,y)+d_2\&times;f_2(x,y)& |f_1-f_2|<\mathrm{door},(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& |f_1-f_2|>\mathrm{door},d_1<d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.$

其中，f₁(x,y)、f₂(x,y)分别表示两幅图像中像素点的灰度值，d₁,d₂∈(0,1)，且d₁+d₂=1，分别表示两幅图像的渐进因子，door为预先设定的判定阈值，f₁、f₂分别表示两幅图像。

再者，在图像合成时，如果选择的拼缝重叠区域过大，则会出现图像模糊、边缘信息不明显等问题，若选择的拼缝重叠区域太小，则无法消除图像的拼缝现象。所以，本实施例中，对于所处理的图像，采用拼缝周围7×7区域为拼缝处理区域，以3×3的模板对拼缝区域内的像素点进行线性滤波，得到的效果最好。

实施例五

本实施例提供一种终端，本实施例包含实施例四中所有的功能模块，是实施例四所述方案的扩展方案，如图7所示，包括：

图像获取模块710，用于获取具有重叠区域的两幅图像；

图像预处理模块720，用于将图像获取模块710获取到两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域；

图像糅合模块730，用于按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成；具体地，图像糅合模块730提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

3D图像生成模块740，用于获取合成图像以及与该合成图像具有重叠区域的另一图像，触发所述图像糅合模块730进行再次合成，重复进行图像获取及图像糅合过程，得到具有景深的3D图像；其中，与合成图像具有一定重叠区域的另一图像可以为非合成图像，也可以为合成图像。

综上所述，本发明所述终端，通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理，得到了宽视野、高分辨率的图像，极大的提高了用户使用体验；

再者，本发明所述终端，通过摄取一系列不同角度但具有重叠区域的图像，将所述一系列图像进行空间重叠处理，形成一幅包含各图像序列信息的宽视角｀景的、完整的、高清晰的具有3D效果的新图像，其不仅实现了宽视野、高分辨率的要求，而且更好的满足了用户的使用需求。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种终端实现图像处理的方法，其特征在于，包括：

图像获取步骤：获取具有重叠区域的两幅图像；

图像糅合步骤：按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

2.如权利要求1所述的方法，其特征在于，所述按照重叠区域，将两幅图像进行配准，包括：

提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

3.如权利要求2所述的方法，其特征在于，所述特征点包括图像的角点。

4.如权利要求3所述的方法，其特征在于，所述提取两幅图像的特征点，包括：

对于每幅图像，利用3×3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用该偏导数计算各像素点对应的Plessy角点检测算法中的对称矩阵M；

设置选取窗口、以及特征点可用评价函数R；其中，式中Det(M)=λ₁λ₂、Trace(M)=λ₁+λ₂，λ₁、λ₂分别为矩阵M的特征值，ε为使分母不为零的极小值；

按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出R值最大的像素点，移动选取窗口，直到筛选完整幅图；

设置特征点判定阈值，将筛选出的各像素点中R值大于所述判定阈值的像素点设为提取到的特征点。

5.如权利要求2或3或4所述的方法，其特征在于，所述方法还包括：

在特征点提取前，利用预先设定的边界模板，将图像中的边界特征点删除；

和/或，在提取图像中的特征点后，提取各特征点中的亚像素特征点，并以提取的亚像素特征点为最终提取的特征点。

6.如权利要求2或3或4所述的方法，其特征在于，所述在特征点中提取出两幅图像的匹配特征对，包括：

利用粗匹配双向最大相关系数BGCC算法，对两幅图像中的特征点进行粗匹配，利用随机采样RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配，得到精确提取的匹配特征对。

7.如权利要求6所述的方法，其特征在于，在对两幅图像中的特征点进行粗匹配之前，所述方法还包括：

利用中值滤波器对两幅图像进行平滑处理，并将原图与滤波处理后图像相减的结果作为粗匹配处理的操作对象。

8.如权利要求1至4任一项所述的方法，其特征在于，所述将配准后的两幅图像进行合成，包括：根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值f(x,y)进行设置；其中，设置规则包括：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ f_1(x,y)& |f_1-f_2|>\mathrm{door},d_1>d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ d_1\&times;f_1(x,y)+d_2\&times;f_2(x,y)& |f_1-f_2|<\mathrm{door},(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& |f_1-f_2|>\mathrm{door},d_1<d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.$

其中，f₁(x,y)、f₂(x,y)分别表示两幅图像中像素点的灰度值，d₁,d₂∈(0,1)，且d₁+d₂=1，分别表示两幅图像的渐进因子，door为预先设定的判定阈值，f₁、f₂分别表示两幅图像。

9.如权利要求8所述的方法，其特征在于，所述将配准后的两幅图像进行合成，还包括：

采用拼缝周围7×7区域为拼缝处理区域，并以3×3的模板对所述拼缝处理区域内的像素点进行线性滤波处理。

10.如权利要求1至4任一项所述的方法，其特征在于，在图像获取步骤和图像糅合步骤间，还包括：

图像预处理步骤：将所述图像获取步骤获取到两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到粗估计的重叠区域。

11.如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

3D图像生成步骤：获取合成图像以及与该合成图像具有重叠区域的另一图像，执行所述图像糅合步骤进行再次合成，重复图像获取及图像糅合过程，得到具有景深的3D图像。

12.一种终端，其特征在于，包括：

图像获取模块，用于获取具有重叠区域的两幅图像；

图像糅合模块，用于按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

13.如权利要求12所述的终端，其特征在于，所述图像糅合模块，具体用于提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

14.如权利要求13所述的终端，其特征在于，所述图像糅合模块中，特征点包括图像的角点。

15.如权利要求14所述的终端，其特征在于，所述图像糅合模块，具体包括：

计算子模块，用于对于每幅图像，利用3×3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用该偏导数计算各像素点对应的Plessy角点检测算法中的对称矩阵M；

设置子模块，设置选取窗口、以及特征点可用评价函数R；其中，式中Det(M)=λ₁λ₂、Trace(M)=λ₁+λ₂，λ₁、λ₂分别为矩阵M的特征值，ε为使分母不为零的极小值；

筛选子模块，用于按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出R值最大的像素点，移动选取窗口，直到筛选完整幅图；

提取子模块，用于设置特征点判定阈值，将筛选出的各像素点中R值大于所述判定阈值的像素点设为提取到的特征点。

16.如权利要求13或14或15所述的终端，其特征在于，所述图像糅合模块，进一步包括：

粗匹配子模块，用于利用粗匹配双向最大相关系数BGCC算法，对两幅图像中的特征点进行粗匹配；

精确匹配子模块，用于利用随机采样RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配，得到精确提取的匹配特征对。

17.如权利要求12至15任一项所述的终端，其特征在于，所述图像糅合模块，进一步用于根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值f(x,y)进行设置；其中，设置规则包括：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\&Element;f_1\\ f_1(x,y)& |f_1-f_2|>\mathrm{door},d_1>d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ d_1\&times;f_1(x,y)+d_2\&times;f_2(x,y)& |f_1-f_2|<\mathrm{door},(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& |f_1-f_2|>\mathrm{door},d_1<d_2,(x,y)\&Element;(f_1\&cap;f_2)\\ f_2(x,y)& (x,y)\&Element;f_2\end{array}\right.$

其中，f₁(x,y)、f₂(x,y)分别表示两幅图像中像素点的灰度值，d₁,d₂∈(0,1)，且d₁+d₂=1，分别表示两幅图像的渐进因子，door为预先设定的判定阈值，f₁、f₂分别表示两幅图像。

18.如权利要求12至15任一项所述的终端，其特征在于，所述终端还包括：图像预处理模块，和/或，3D图像生成模块；

所述图像预处理模块，用于将所述图像获取模块获取到两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到粗估计的重叠区域；

所述3D图像生成模块，用于获取合成图像以及与该合成图像具有重叠区域的另一图像，触发所述图像糅合模块进行再次合成，重复进行图像获取及图像糅合过程，得到具有景深的3D图像。