CN110020995B - 针对复杂图像的图像拼接方法 - Google Patents

Abstract

本发明提供一种针对复杂图像的图像拼接方法，涉及计算机视觉技术领域。该方法包括：采集需要拼接的多幅图像；对采集到的图像进行预处理；通过图像的相似性确定预处理后的图像之间的几何关系，再根据不同的几何关系将预处理后的不同图像进行坐标统一化；建立透视变换模型矩阵，根据矩阵中的参数和选取的坐标值对变换后的图像进行矫正；强化每幅待拼接图像与其相邻图像的重叠部分，修复图像中缺失的像素点，删除不需要的像素点，得到最终拼接后的图像。本方法在待拼接图像的内容较为复杂的情况下，大幅度提高了图像拼接的速度，并且保证了图像拼接的准确度，为图像实时拼接奠定了基础。

Description

针对复杂图像的图像拼接方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种针对复杂图像的图像拼接方法。

背景技术

图像拼接是一种数字图像处理技术，最开始使用图像拼接是由于拍摄器材的拍摄角度较小，影响了图像的效果。如果人们要弥补这个缺陷，就需要尽可能的扩大视角，但当拍摄场景较大的图像时，图像就会出现模糊和重影等失真问题。为了避免扩大拍摄角度后的图像出现失真的现象，人们开始使用图像拼接技术对拍摄的图像进行处理。最初的图像拼接主要通过手工进行拼接完成，这种拼接方式不仅浪费时间和人力，而且拼接效果不好。经过拼接技术的改进和发展，图像处理设备已经可以进行自动图像拼接，可将不同传感器获取的几张有部分重合并且角度不同的图像自动拼接成一副大视角的图像，然而在图像拼接的效率和准确度方面需要进行更深入的探索和研究。

图像配准是图像拼接过程中最重要的步骤，图像配准的准确性和速度决定了图像拼接整个过程的准确性和速度，因此图像配准方式和算法的选择显得尤为重要。图像配准主要是通过图像的相似性度量确定图像之间的几何关系，再根据不同的几何关系将不同的图像进行坐标统一化。由于经过坐标统一化的相邻图像具有重复部分，因此可以根据图像之间的重合部分进行配准对齐，从而完成图像的匹配。在基于特征的图像配准中，最常用的算法有Harris角点算法、FAST算法、SIFT算法和SURF算法。

相机采集的图像如果仅仅通过图像匹配就直接进行拼接，则在拼接处不可避免的会产生缝隙，因此需要使用图像融合操作消除缝隙。图像融合是将每一副图像中有利的信息进行强化，如果图像中的某些像素有缺失或重复等问题，则进行修复。因此经过图像融合处理过的图片能够将所有源图像包含的有利信息全部保存，并且不受人为信息的干扰，将源图像中不需要的信息因素进行删除。现阶段的图像融合方式大致分为三种：像素级融合、特征级融合和决策级融合。像素级融合是这三种融合方式中最基本的融合方式，待处理的图像通过像素级融合方式可以更好地提取图像的边缘以及纹理等细节信息，从而便于对图像进行进一步的分析和处理。

虽然现有技术中关于图像拼接的相关技术已经有了很大的进步，可是仍然存在很多难以解决的技术问题，例如图像配准的准确度低、图像拼接速度慢、图像融合有重影等问题，并且这些技术问题已经严重制约了图像拼接技术的发展。因此设计一个高效、准确度高的图像拼接算法，仍是一个具有挑战的课题。

发明内容

针对现有技术存在的问题，本发明提供一种针对复杂图像的图像拼接方法，能够快速、准确的进行图像的拼接，从而为实时的视频拼接奠定基础。

为了实现上述目的，一种针对复杂图像的图像拼接方法，具体步骤如下：

步骤1：利用摄像机采集需要拼接的多幅图像；

步骤2：对采集到的图像进行预处理，包括去噪和畸变校正；

步骤3：通过图像的相似性确定预处理后的图像之间的几何关系，再根据不同的几何关系将预处理后的不同图像进行坐标统一化；

步骤3.1：通过腐蚀和膨胀的方式对预处理后的图像中物体细节处的空洞进行补充；

步骤3.2：构建Hessian矩阵得到行列式并进行化简；

所述Hessian矩阵如下式所示：

其中，I_xx(x，y，σ)是由图像函数与水平方向的高斯二阶微分进行卷积所得的值，I_xy(x，y，σ)是由图像函数与水平和垂直方向的高斯二阶微分进行卷积所得的值，I_yy(x，y，σ)是由图像函数与垂直方向的高斯二阶微分进行卷积所得的值；

步骤3.3：判断化简后的行列式取值是否为正数，若是，则该行列式对应的点是候选点，若否，则该行列式对应的点不是候选点；

步骤3.4：判断候选点的响应值是否大于其邻域内其他26个点的响应值，若是，则将该点作为特征点，若否，则将该点定义为能量低的候选点并剔除；

步骤3.5：以选取的特征点为中心，边长为S的四边形为邻域，在邻域内随机选出256个像素点并保证像素点对呈高斯分布；

步骤3.6：对所有像素对的大小进行比较，将得到的比较结果按顺序写成一个二进制字符串；

所述对像素对的大小进行比较的公式如下：

其中，I(p_i)和I(q_i)分别代表选取的第i对像素点的两个不同像素的灰度值；

所述二进制字符串如下式所示：

其中，B表示特征点的二进制描述符，b_i表示第i对二进制字符，n_d代表像素点对数；

步骤3.7：以特征点为中心划分小邻域，并将小邻域内的所有像素点的平均值代替特征点像素值；

所述将像素点的平均值代替特征点像素值的公式如下：

其中，f_m为邻域内像素点的平均值，f_i为选取的第i个相邻像素点的灰度值，f_c为特征点的灰度值，k为相邻像素点的个数；

步骤3.8：将特征点的描述字符串按位进行异或操作，再根据汉明距离选出邻近点和次邻近点；

步骤3.9：判断邻近点的汉明距离与次邻近点的汉明距离的比值是否小于设定的阈值，若是，则汉明距离最小的两个特征点是可以匹配的，若否，则两个特征点不可以匹配；

步骤4：建立透视变换模型矩阵M，根据矩阵M中的7个参数和选取的坐标值对变换后的图像进行矫正；

所述透视变换模型矩阵M如下：

其中，m₀、m₁、m₃、m₄均为垂直与旋转的变化量，m₂为水平方向上移动的距离，m₅为垂直方向上移动的距离，m₆为水平方向上的变量，m₇为垂直方向上的变量；

步骤5：将需要拼接的每一副图像中与相邻图像中重叠的部分进行强化，并对图像中缺失的像素点进行修复，不需要的信息因素进行删除，得到最终拼接后的图像；

步骤5.1：根据采集图像时摄像机的摆放角度以及图像拼接技术对图像采集的要求，计算相邻图像重叠的角度；

所述计算相邻图像重叠角度σ的公式如下：

其中，α为摄像机A可以拍摄到的角度，L为拍摄物体相对于摄像机的直线距离，r为旋转摄像机所环绕的圆形的半径，θ为两幅图像相对于旋转摄像机之间的夹角；

步骤5.2：设置大范围图像重叠区域的重叠范围阈值为D₁，判断相邻图像的实际重叠范围D_o是否大于阈值D₁，若是，则使用重叠范围阈值D₁对像素进行融合操作，若否，则使用实际重叠范围D_o对像素进行融合操作；

步骤5.3：根据像素点距离图像拼接缝隙的距离，选用不同的权值对基准图像和待拼接图像中像素点的灰度值以及对应的权值进行计算，得出图像融合后的结果图中像素点的灰度值；

步骤5.4：根据结果图中像素点的灰度值对结果图进行还原，得到最终拼接后的图像。

本发明的有益效果：

本发明提出一种针对复杂图像的图像拼接方法，在待拼接图像的内容较为复杂的情况下，大幅度提高了图像拼接的速度，并且保证了图像拼接的准确度，为图像实时拼接奠定了基础。

附图说明

图1为本发明实施例中针对复杂图像的图像拼接方法的流程图；

图2为本发明实施例中未进行处理的待拼接图像；

其中，(a)为第一幅未进行处理的待拼接图像；(b)为第二幅未进行处理的待拼接图像；

图3为本发明实施例中对待拼接图像进行预处理后的图像；

其中，(a)为对第一幅待拼接图像进行预处理后的图像；(b)为对第二幅待拼接图像进行预处理后的图像；

图4为本发明实施例中进行像素处理前后的对比示意图；

其中，(a)为待处理图像；(b)为对待处理图像直接进行特征点提取后的效果图；(c)为先对待处理图像进行像素处理，再进行特征点提取后的效果图；

图5为本发明实施例中完成图像配准的效果图；

图6为本发明实施例中完成图像几何变换后的效果图；

图7为本发明实施例中进行图像重叠范围分析时的相机位置和重叠区域的关系图；

图8为发明实施例中完成图像融合后的最终图像拼接效果图。

具体实施方式

为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种针对复杂图像的图像拼接方法，流程如图1所示，包括如下步骤：

步骤1：利用摄像机采集需要拼接的多幅图像。

本实施例中，使用旋转摄像机拍摄两幅图像，将摄像机固定在三脚架上，然后旋转被固定的摄像机使其绕着三脚架中一点引出的垂直竖轴进行旋转和拍摄，并且在拍摄时需要将摄像机旋转的角度进行记录，所拍摄的两幅图像如图2所示。

步骤2：对采集到的图像进行预处理，包括去噪和畸变校正。

本实施例中，先选取一个像素，以该像素为中心选取线状、方形等形状为该像素的邻域，并要求选取的邻域内需要有奇数个像素点，然后将邻域内的像素点进行排序并将中间值的大小取代原像素值的大小，最后再针对不同的畸变问题，使用径向畸变的矫正或切向畸变校正。

所述径向畸变的矫正如式(1)所示：

其中，(x，y)代表畸变校正前像素点的坐标，(x’，y’)代表畸变校正后像素点新的坐标，k₁、k₂和k₃代表的是该区域内中心点周围的泰勒级数展开式的前三项，r代表以像素点为圆心的圆的半径。

所述切向畸变校正如式(2)所示：

其中，p₁和p₂代表畸变参数。

畸变校正共涉及k₁，k₂，k₃，p₁，p₂五个参数，这五个参数具体的值可以通过摄像机标定进行确定，从而算出畸变矫正后像素的坐标。

本实施例中，对待拼接图像重复以上步骤就可以将大部分噪声消除，再对其进行畸变校正，得到的预处理后的图像如图3所示。

步骤3：通过图像的相似性确定预处理后的图像之间的几何关系，再根据不同的几何关系将预处理后的不同图像进行坐标统一化，具体步骤如下：

步骤3.1：通过腐蚀和膨胀的方式对预处理后的图像中物体细节处的空洞进行补充。

本实施例中，为了避免针对同一物体检测出过多的特征点，减少特征点的检测时间，先用3*3的滑动窗口扫描图像中的像素，然后将扫描到的像素与滑动窗口内部的结构元素进行操作，操作如式(3)所示：

其中，I代表待拼接图像，B代表结构元素，a代表点a(x₁，y₁)。

由式(3)可以看出，操作是先将结构元素B沿x方向平移x₁沿y方向平移y₁后得到B_a，即将结构元素B中所有元素的横坐标加x₁，纵坐标加y₁，然后将B_a的像素点和待拼接的图像I中的像素点分别进行比对，若B_a中有任意点被包含在待拼接的图像I中，即B_a击中I，则将B_a的中心像素点设为黑色并加入到集合a中。因此，待拼接的图像I通过结构元素B进行处理的结果是a点组成的集合，也就是分别遍历图像中的所有元素，对遍历的每个元素邻域内的8个元素进行分析，若其中有黑色元素，则将该像素也设置为黑色。

然后，在保证物体间缝隙被消除的情况下，将被扩大的物体边缘进行缩小，同样使用3*3的滑动窗口扫描图像中的像素，将扫描到的像素与滑动窗口内部的结构元素进行操作，操作如式(4)所示：

其中，b代表点b(x₂，y₂)。

由式(4)可以看出，操作是先将结构元素B沿X轴平移x₂沿Y轴平移y₂后得到了B_b，即将结构元素B中所有元素的横坐标加x₂，纵坐标加y₂，假如B_b被待拼接的图像I包含，则b点组成的集合就是结果，即分别遍历图像中的所有元素，对遍历的每个元素邻域内的像素点进行分析，若像素点中有不被I包含的点，则将遍历的像素进行排除。

进行像素处理前后的对比如图4所示，其中，相比较字体较大的‘理’字表示正常图像中的大物体，字体较小的‘理’字代表图像中的细节。由图4可以看出，图像较大的物体，其边缘点会被详细的描述出，而图像较小的细节部分，会经过处理，将其内部的黑洞填满，只描述其外部的边缘点，为此不仅可以缩短检测特征点的时间，而且保证了对物体描述的准确性。

步骤3.2：构建Hessian矩阵得到行列式并进行化简。

所述Hessian矩阵如式(5)所示：

其中，I_xx(x，y，σ)是由图像函数与水平方向的高斯二阶微分进行卷积所得的值，I_xy(x，y，σ)是由图像函数与水平和垂直方向的高斯二阶微分进行卷积所得的值，I_yy(x，y，σ)是由图像函数与垂直方向的高斯二阶微分进行卷积所得的值。

将矩阵得出的行列式进行化简，化简后如式(6)所示：

Det(H)＝I_xx*I_yy-I_xy*I_xy＝D_xx*D_yy-(w*D_xy)² (6)

其中，D_xx、D_yy和D_xy分别表示用盒式滤波器对图像分别沿着x方向、y方向和xy方向进行滤波，w为经验值。

本实施例中，经验值w通常为0.9，通过加入参数w可以保证使用盒式滤波过滤器得出的值与原值的大小高度接近。

步骤3.3：判断化简后的行列式取值是否为正数，若是，则该行列式对应的点是候选点，若否，则该行列式对应的点不是候选点。

步骤3.4：判断候选点的响应值是否大于其邻域内其他26个点的响应值，若是，则将该点作为特征点，若否，则将该点定义为能量低的候选点并剔除。

本实施例中，通过判断候选点的响应值与其邻域内其他26个点响应值的大小来保证选出的关键点具有尺度不变性。

步骤3.5：以选取的特征点为中心，边长为S的四边形为邻域，在邻域内随机选出256个像素点并保证像素点对呈高斯分布。

步骤3.6：对所有像素对的大小进行比较，将得到的比较结果按顺序写成一个二进制字符串。

所述对像素对的大小进行比较的公式如式(7)所示：

其中，I(p_i)和I(q_i)分别表示选取的第i对像素点的两个不同像素的灰度值。

所述二进制字符串如式(8)所示：

其中，B表示特征点的二进制描述符，b_i表示第i对二进制字符，n_d表示像素点对数；

步骤3.7：以特征点为中心划分小邻域，并将小邻域内的所有像素点的平均值代替特征点像素值。

本实施例中，为了避免噪声的影响，以像素点为中心划分小邻域，并将小邻域内的所有像素点的平均值代替特征点的像素值，所述将像素点的平均值代替特征点像素值的公式如式(9)所示：

其中，f_m为邻域内像素点的平均值，f_i为选取的第i个相邻像素点的灰度值，f_c为特征点的灰度值，k为相邻像素点的个数；

此外，本实施例中，为了保证特征点的描述具有旋转不变性，将特征点和质心的连线方向作为特征点的主方向。通过矩可以计算出邻域的质心，所述矩m_pq的公式如式(10)所示：

其中，I(x，y)为图像中点(x，y)的灰度值，p和q分别取0和1时，可以得出质心Q，所述质心Q如式(11)所示：

因此，当图片发生旋转，以特征点为原点所得到的旋转角度θ如式(12)所示：

得到特征点的描述子方向后，如果将图像整体进行旋转则需要的时间和空间的花费较大，因此，本实施例中将所求得的质心方向与之前选择的像素点对进行结合，将n_d个像素点对(p_i，q_i)写成一个2*n_d的矩阵S，所述矩阵S如式(13)所示：

设旋转角度为θ的旋转矩阵为Rθ，则旋转后的坐标如式(14)所示：

其中，S_θ表示旋转后的像素点坐标组成的矩阵，因此矩阵里的元素就是进行特征点匹配的描述子。

步骤3.8：将特征点的描述字符串按位进行异或操作，再根据汉明距离选出邻近点和次邻近点。

本实施例中，特征点的描述字符串按位进行异或操作后的结果中“1”的数量越多，则两个描述符的相似性越差。

步骤3.9：判断邻近点的汉明距离与次邻近点的汉明距离的比值是否小于设定的阈值，若是，则汉明距离最小的两个特征点是可以匹配的，若否，则两个特征点不可以匹配。

邻近点的汉明距离和次邻近点的汉明距离的比值如式(15)所示：

其中，I_a为基准图像中的特征点a的描述符，I_b为在待拼接图像中与特征点a相对应的汉明距离最小的点b的描述符，I_b’为与特征点a相对应的次邻近点b’的描述符，D(I_a，I_b)为特征点a和b的汉明距离，D(I_a，1_b’)为特征点a和b’的汉明距离，R为特征点a和b的汉明距离与特征点a和b’的汉明距离的比值，其中，I_b和I_b分别，满足式(16)和式(17)：

I_b＝argmin{D(I_a，I_i)|i＝1，...，m} (16)

I_b′＝argmin{D(I_a，I_i)|i＝1，...，m，I_i！＝I_b} (17)

其中，m为相对应点的数量。

当比值R小于设定的阈值T时，则点a和b是正确的匹配，若比值R大于阈值T时，则点a和b不是正确的匹配。

本实施例中，将可以匹配的点放入集合A中，则集合A如式(18)所示：

其中，m₁代表在待拼接图像中与基准图像相匹配的特征点的个数。

根据以上步骤，可以得出在基准图像中与待拼接图像中相匹配的特征点的集合B如式(19)所示：

其中，m₂代表在基准图像与待拼接图像中相匹配的特征点的个数。

集合A和集合B都得出后，对集合A进行遍历，针对集合A中的每一个相匹配的特征点对a_j在集合B中检测是否有相对应的匹配对b_j，如果有相对应的则将该匹配对放入集合C中。因此，集合C就是两幅图像最终的特征点匹配结果，匹配后的图像如图5所示。

本实施例中，将本发明提出的图像配准算法与现阶段的图像配准算法通过检测点数、匹配点数、点数使用比例和运行时间对算法进行分析，使用的两组待拼接图像的像素大小分别是490*680和400*300，结果如表1和表2所示。

表1第一组图片对比表

算法名称	检测点数	匹配点数	点数使用比例	运行时间/ms
					FAST	453	38	0.0838852	0.777802
Harris	0.91	132	0.0941769	2.40083
					SIFT	800	128	0.16	5.66165
SURF	502	70	0.139442	0.728955
					ISURF	352	52	0.147727	0.363514

表2第二组图片对比表

算法名称	检测点数	匹配点数	点数使用比例	运行时间/ms
					FAST	500	120	0.24	1.14435
Harris	728	232	0.318681	1.383
					SIFT	802	186	0.2319201	1.96616
SURF	558	158	0.283154	0.842116
					ISURF	466	118	0.2532188	0.397324

由表1和表2的数据可以看出，本发明提出的算法一方面由于在特征点提取时将图像中物体细小的缝隙进行消除使检测出的特征点数减少，从而降低了图像匹配的运行时间；另一方面虽然特征点的检测数量降低了，可是最终匹配的点数并没有大幅度下降，使匹配点数占总检测点数的比例仍然很高，保证了图像匹配的准确性。除了通过减少特征点数使图像匹配的整体时间下降了以外，在特征描述子方面的改进进一步的加快了匹配速度，因此由数据可以看出本发明提出的算法在运行速度方面有了大幅度的提升。

步骤4：建立透视变换模型矩阵M，根据矩阵M中的7个参数和选取的坐标值对变换后的图像进行矫正。

所述透视变换模型矩阵M如式(20)所示：

其中，m₀、m₁、m₃、m₄均为垂直与旋转的变化量，m₂为水平方向上移动的距离，m₅为垂直方向上移动的距离，m₆为水平方向上的变量，m₇为垂直方向上的变量；

本实施例中，图像在经过匹配之后，图像间坐标的变换会造成图像发生不同形式的形变，因此，为了使图像经过匹配之后的形状被复原，需要用到几何变换模型将扭曲的图像进行矫正，因此建立透视变换模型矩阵M，根据矩阵M中的参数和选取的坐标值计算出来的变换后图像如图6所示。

步骤5：将需要拼接的每一副图像中与相邻图像中重叠的部分进行强化，并对图像中缺失的像素点进行修复，不需要的信息因素进行删除，得到最终拼接后的图像。

步骤5.1：根据采集图像时摄像机的摆放角度以及图像拼接技术对图像采集的要求，计算相邻图像重叠的角度。

本实施例中，相机位置和重叠区域的关系如图7所示，根据采集图像时摄像机的摆放角度，以及图像拼接技术对图像采集的要求，计算出相邻图像重叠的大概范围。在图7中，A和B分别代表拍摄时使用的两个摄像机，α代表摄像机A可以拍摄到的角度，L为拍摄物体相对于摄像机的直线距离，r代表两个摄像机所环绕的圆形的半径，θ为两个摄像机相对于圆心O之间的夹角。则两个摄像机拍摄图像的重叠的角度σ如式(21)所示：

σ＝π-(β+γ)

(21)

其中，β和γ可分别如式(22)和式(23)所示：

因此，根据式(22)和式(23)所述计算相邻图像重叠角度σ的公式如式(24)所示：

其中，α为摄像机A可以拍摄到的角度，L为拍摄物体相对于摄像机的直线距离，r为旋转摄像机所环绕的圆形的半径，θ为两幅图像相对于旋转摄像机之间的夹角。

由式(24)可以看出，图像重叠的角度和物体距相机的距离L不是线性关系，而是最终会到达一个稳定的数值。当拍摄的物体与摄像机的距离L较小的时候，图像的重叠角度σ的差异较为明显；若拍摄的物体与摄像机的距离L较大，则图像的重叠角度σ差异较小。对于不同拍摄角度的相机和不同的拍摄位置，虽然L和σ的关系是不确定的，可是图像的重叠范围基本在图像的10％～40％。

步骤5.2：设置大范围图像重叠区域的重叠范围阈值为D₁，判断相邻图像的实际重叠范围D_o是否大于阈值D₁，若是，则使用重叠范围阈值D₁对像素进行融合操作，若否，则使用实际重叠范围D_o对像素进行融合操作。

所述对像素进行融合处理的公式如式(25)所示：

其中，D为对像素进行融合处理的范围。

步骤5.3：根据像素点距离图像拼接缝隙的距离，选用不同的权值对基准图像和待拼接图像中像素点的灰度值以及对应的权值进行计算，得出图像融合后的结果图中像素点的灰度值；

本实施例中，关于权值的选取方式有渐入渐出融合法和帽子函数加权平均法两种。其中，渐入渐出融合法具体计算方式如式(26)所示：

其中，M(x，y)为结果图像在像素点(x，y)处的灰度值，M₁(x，y)为基准图像在像素点(x，y)处的灰度值，M₂(x，y)为待拼接图像在像素点(x，y)处的灰度值，d₁(x，y)为基准图像在像素点(x，y)处的权值，d₂(x，y)为待拼接图像在像素点(x，y)处的权值，N₁为基准图像与待拼接图像重叠的范围，N₂为待拼接图像与基准图像重叠的范围，且d₁和d₂需满足式(27)：

帽子函数加权平均法中，权值的计算公式如式(28)所示：

其中，height_i代表第i幅图像的高度，width_i代表第i幅图像的宽度，w_i(x，y)为第i幅待拼接图像在像素点(x，y)处的权值，且需满足如式(29)所示的约束条件：

其中，n为需要融合的图像数目，为了满足该约束条件，还需要对w_i(x，y)进行归一化处理，归一化后的权值函数设为k_i(x，y)，如式(30)所示：

所以，n幅图像经过融合操作后的得到结果图中像素点的灰度值如式(31)所示：

其中，I(x，y)为结果图中像素点(x，y)的灰度值，I_i(x，y)为第i幅待拼接图像在像素点(x，y)的灰度值。

步骤5.4：根据结果图中像素点的灰度值对结果图进行还原，得到最终拼接后的图像。

本实施例中，经过上述图像融合处理过的图片能够将所有源图像包含的有利信息全部保存，并且不受人为信息的干扰，将源图像中不需要的信息因素进行删除，最终融合后的图像如图8所示。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (1)

1.一种针对复杂图像的图像拼接方法，其特征在于，包括以下步骤：

步骤1：利用摄像机采集需要拼接的多幅图像；

步骤2：对采集到的图像进行预处理，包括去噪和畸变校正；

步骤3：通过图像的相似性确定预处理后的图像之间的几何关系，再根据不同的几何关系将预处理后的不同图像进行坐标统一化，具体包括以下步骤：

步骤3.1：通过腐蚀和膨胀的方式对预处理后的图像中物体细节处的空洞进行补充；

步骤3.2：构建Hessian矩阵得到行列式并进行化简；Hessian矩阵如下式所示：

其中，I_xx(x,y,σ)是由图像函数与水平方向的高斯二阶微分进行卷积所得的值，I_xy(x,y,σ)是由图像函数与水平和垂直方向的高斯二阶微分进行卷积所得的值，I_yy(x,y,σ)是由图像函数与垂直方向的高斯二阶微分进行卷积所得的值；

步骤3.3：判断化简后的行列式取值是否为正数，若是，则该行列式对应的点是候选点，若否，则该行列式对应的点不是候选点；

步骤3.4：判断候选点的响应值是否大于其邻域内其他26个点的响应值，若是，则将该点作为特征点，若否，则将该点定义为能量低的候选点并剔除；

步骤3.5：以选取的特征点为中心，边长为S的四边形为邻域，在邻域内随机选出256个像素点并保证像素点对呈高斯分布；

步骤3.6：对所有像素对的大小进行比较，将得到的比较结果按顺序写成一个二进制字符串；对像素对的大小进行比较的公式如下：

其中，I(p_i)和I(q_i)分别代表选取的第i对像素点的两个不同像素的灰度值；

所述二进制字符串如下式所示：

B＝b₀b₁...b_i...b_nd；

其中，B表示特征点的二进制描述符，b_i表示第i对二进制字符，n_d代表像素点对数；

步骤3.7：以特征点为中心划分小邻域，并将小邻域内的所有像素点的平均值代替特征点像素值；将像素点的平均值代替特征点像素值的公式如下：

其中，f_m为邻域内像素点的平均值，f_i为选取的第i个相邻像素点的灰度值，f_c为特征点的灰度值，k为相邻像素点的个数；

步骤3.8：将特征点的描述字符串按位进行异或操作，再根据汉明距离选出邻近点和次邻近点；

步骤3.9：判断邻近点的汉明距离与次邻近点的汉明距离的比值是否小于设定的阈值，若是，则汉明距离最小的两个特征点是可以匹配的，若否，则两个特征点不可以匹配；

步骤4：建立透视变换模型矩阵M，根据矩阵M中的7个参数和选取的坐标值对变换后的图像进行矫正；透视变换模型矩阵M如下：

其中，m₀、m₁、m₃、m₄均为垂直与旋转的变化量，m₂为水平方向上移动的距离，m₅为垂直方向上移动的距离，m₆为水平方向上的变量，m₇为垂直方向上的变量；

步骤5：将需要拼接的每一幅图像中与相邻图像中重叠的部分进行强化，并对图像中缺失的像素点进行修复，不需要的信息因素进行删除，得到最终拼接后的图像，具体包括以下步骤：

步骤5.1：根据采集图像时摄像机的摆放角度以及图像拼接技术对图像采集的要求，计算相邻图像重叠的角度，公式如下：

其中，α为摄像机A可以拍摄到的角度，L为拍摄物体相对于摄像机的直线距离，r为旋转摄像机所环绕的圆形的半径，θ为两幅图像相对于旋转摄像机之间的夹角，β可表示为：

步骤5.2：设置大范围图像重叠区域的重叠范围阈值为D₁，判断相邻图像的实际重叠范围D_o是否大于阈值D₁，若是，则使用重叠范围阈值D₁对像素进行融合操作，若否，则使用实际重叠范围D_o对像素进行融合操作；

步骤5.3：根据像素点距离图像拼接缝隙的距离，选用不同的权值对基准图像和待拼接图像中像素点的灰度值以及对应的权值进行计算，得出图像融合后的结果图中像素点的灰度值；步骤5.4：根据结果图中像素点的灰度值对结果图进行还原，得到最终拼接后的图像。

Images