CN103279939A - 一种图像拼接处理系统 - Google Patents

Abstract

一种图像拼接处理系统属于图像处理领域，其特征在于在一个数字处理电路中设有：图像读取单元，从图像序列中读取相邻的两幅图像；重叠区域单元，获取两幅图像的重叠区域；预处理单元，对重叠区域的颜色预处理；最优拼接线单元，在重叠区域内获得最优拼接线；特征定位单元，在最优拼接线邻域内检测特征点；特征匹配单元，对检测到的特征点进行匹配；形变传播和图像重构单元，获得图像每一个像素点的形变向量获得图像的梯度场，再根据梯度场重构出拼接后的图像。本发明将最优拼接线作为最重要的图像特征，解决了重叠区域形状的限制，以及在颜色和结构上能够很好地消除接缝，利用加速算法能够达到实时的处理要求。

Description

一种图像拼接处理系统

技术领域

本发明涉及图像处理领域，更具体地说，涉及一种图像拼接处理系统。

背景技术

图像拼接是近年来计算机视觉领域的研究热点，其广泛应用在卫星和航空照片、扩大照相机分辨率和视野、视频压缩和检索、以及图像修复中等。图像拼接的目的是形成一个视觉可接受的全景图像，即要求图像在拼接处结构和颜色都能自然的过渡。图像拼接主要由图像配准和图像融合两大部组成，图像配准主要包括基于区域的配准和基于特征的配准，图像融合主要从结构和颜色两方面来消除拼接接缝。

图像配准主要基于区域的和基于特征的两大类配准方法。基于区域的配准方法不需要检测图像中的特征，直接使用窗口或整幅图像来进行匹配，比较常用包括互相关算法，互相关算法的缺点是相似度量极值的平滑性和高计算代价，通过引入梯度下降算法、优化器或结合金字塔采样等算法不断地对互相关算法进行改进。基于特征的匹配方法主要有Harris、Harris-Laplace、Sift、Gloh等。Harris算子对于同一个局部特征能提取对各特征点增加计算的复杂度同时也降低了匹配的准确性；Harris-Laplace算子在Harris的基础上引入拉普拉斯函数使对图像的尺度变化具有较强的鲁棒性；Sift特征描述符具有尺度不变性、旋转不变形、光照不变性，也适用于宽基线条的条件下使用，鲁棒性好，准确率高但它很复杂计算量大；Gloh是用极坐标的二元结构对Sift进行改进，它的性能超越了Sift但需要出示训练样本。

图像融合主要包含在结构和颜色上消除拼接接缝。在消除颜色接缝的方法主要包括羽化、内插函数、Vornoi图、拉普拉斯金字塔混色、小波域混色、泊松编辑等。羽化方法，根据距离对权重进行平均，虽然能够降低对比度但是也容易造成模糊和鬼影；在羽化中引入了Vornoi图来确定在拼接区域的每个像素应从哪个图像中选择；拉普拉斯金字塔混色是利用多分辨率来解决拼接中的颜色接缝；泊松编辑能够较好的处理图像拼接中的颜色接缝但对结构错位的处理能力较弱。在结构上消除接缝的方法有傅里叶变换、梯度域形变传播、梯度域优化等方法，傅里叶变换对存在较大结构接缝的处理能力有限；梯度域的形变传播对于在拼接线上检测到的特征点的准确性要求较高；梯度域优化是对重叠区域进行处理不能很好地将形变特征传播到整个图像区域。

发明内容

有鉴于此，本发明提供了一种图像拼接处理系统，以解决现有技术的算法存在的不能同时消除结构和颜色上的接缝的问题。其具体方法为：

一种图像拼接处理系统，其特征在于，是在一个数字集成电路芯片中实现的，设有：图像读取单元（U1）、重叠区域单元（U2）、预处理单元（U3）、最优拼接线单元（U4）、特征点定位单元（U5）、特征匹配单元（U6）、图像重构单元（U7），其中：

图像读取单元（U1），依次从拍摄的图像序列中读取相邻的两幅图像I_s(x)和I_t(x)作为待处理图像，分别由R,G,B三个颜色分量组成，所述待处理图像I_s(x)和I_t(x)的高为N_h个像素，宽为N_w个像素，x表示二维空间坐标(m,n)，0≤m≤N_h-1，0≤n≤N_w-1；

重叠区域单元（U2），按一下步骤对两幅相邻的所述图像I_s(x)和I_t(x)用SIFT算法进行特征匹配以确定相互的重叠区域：

第一步，对所述两幅相邻图像I_s(x)和I_t(x)提取SIFT特征点并进行特征匹配，

第二步，根据得到的匹配特长点求解空间变换参数，并通过图像插值获得两幅所述图像I_s(x)和I_t(x)间的重叠区域；

预处理单元（U3），设有平均亮度值子单元（U31）、亮度差异值子单元（U32）和亮度归一化子单元（U33），以对所述重叠区域进行颜色归一化，尽可能消除图像拼接中的颜色接缝，其中：

平均亮度值子单元（U31），按下式分别计算R,G,B各通道中所述重叠区域内所有像素点的平均亮度值

和

${\stackrel{\‾}{Y}}_s=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{Y}_s\left(p_k\right)$        ${\stackrel{\‾}{Y}}_t=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{Y}_t\left(p_k\right)$

其中，N是所述重叠区域内图像I_s(x)或I_t(x)的像素总数，k是所述重叠区域内图像I_s(x)或I_t(x)内像素p_k的序号，k=1,2,...k,...N；

亮度差异值子单元（U32），按下式分别计算所述像素点的亮度值Y_s和所述重叠区域内所有像素点的平均亮度值的差值

同理，

亮度归一化子单元（U33），对所述重叠区域内的各像素点的亮度值Y_s(p_k)和Y_t(p_k)与所述图像I_s(x)内的亮度差异值所述图像I_t(x)内的亮度差异值分别按下式进行亮度归一化：

${\hat{T}}_s\left(p_k\right)=Y_s\left(p_k\right)-{\tilde{Y}}_s$        ${\hat{Y}}_t\left(p_k\right)=Y_t\left(p_k\right)-{\tilde{Y}}_t$

最优拼接线单元（U4），设有相互串联的：确定拼接线主方向子单元（U41）、提取起始点子单元（U42）、拼接线生长子单元（U43）和确定最优拼接线子单元（U44），拼接线是相邻两幅所述图像I_s(x)和I_t(x)相互拼接的接缝，其中：

拼接线主方向子单元（U41），重叠区域主方向分为水平和垂直两种，利用sobel算子S₁对所述两幅图像I_s(x)和I_t(x)的重叠区域求取水平方向的梯度值，利用S₂对上述两幅图像I_s(x)和I_t(x)的重叠区域求取垂直方向上的梯度值，S₁和S₂算子表示为：

$S_1=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$        $S_2=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

根据梯度值确定拼接线的主方向按以下步骤进行：

第一步，计算所述两幅图像I_s(x)和I_t(x)的重叠区域的水平和垂直两个方向上的梯度值，并标记为和

第二步，做所述图像I_s(x)和I_t(x)的重叠区域的外接矩形，并在外接矩形中的在水平方向上选取中心面积的2/3并标记为H_s区域，同理在垂直方向上选取中心面积的2/3并标记为V_s区域，对所述图像I_t(x)进行相同的计算并分别标记为H_t区域和V_t区域；

第三步，在所述H_s区域内计算水平方向梯度值大于阈值T的像素数，并标记为

阈值T是H_s区域内水平方向上平均梯度值的40%，在所述H区域内计算垂直方向梯度值大于阈值T的像素数，并标记为阈值T是H_s区域内垂直方向上平均梯度值的40%；同在V_s区域内进行相同的计算并分别标记为

和同理在所述H_t和V_t区域进行形同的计算并标记为

和

第四步，判断拼接线的主方向，设 $N_x^s=N_{\mathrm{xh}}^s+N_{\mathrm{xv}}^s,$ $N_y^s=N_{\mathrm{yh}}^s+N_{\mathrm{ys}}^s,$ $N_x^t=N_{\mathrm{xh}}^t+N_{\mathrm{xv}}^t,$ $N_y^t=N_{\mathrm{yh}}^t+N_{\mathrm{yv}}^t:$

若

并且则拼接线的主方向为水平；

若

并且

则拼接线的主方向为垂直；

若以上两种情况都不满足，如果

则主方向为水平，否则主方向为垂直；

提取起始点子单元（U42），在垂直于拼接线的主方向上选取起始点，具体按以下两步进行：

第一步，设所述图像I_s(x)和I_t(x)拼接线的主方向为垂直，则需要在I_s(x)图像的V_s区域的最顶端的边上选取初始点，X_L和X_R分别表示V_s区域左上端和右上端的横坐标值，则每个初始点的间距表示为λ=round((X_R-X_L)10)，则对应的5个初始点通过X=X_L+2λ+n，n=λ～5λ来确定，并将5个初始点分别标记为p_λ,p_2λ,...p_5λ；

第二步，将在外接矩形上确定的5个初始点映射到重叠区域的上边界并标记为q_λ,q_2λ,...q_5λ，q_λ,q_2λ,...q_5λ5点将重叠区域的上边界划分为5个区间，在每个区间中选取梯度值最小的点作为该区间的初始点， $\mathrm{\ψ}=\min \{\▿q_n,n=(m-1)\mathrm{\λ}+1,(m-1)\mathrm{\λ}+2,...,\mathrm{m\λ}\},m=1~5$ m=1表示从左开始的第一个区间，依此类推m=5表示5五个区间，表示每个点的梯度值，ψ表示最终选取的5个起始点的集合；

拼接线生长子单元（U43），将每一个起始点在主方向上与其连通的三个像素点作为生长的候选点，并计算三个候选点的累计梯度误差，选取累计梯度误差最小的点作为生长点，对每个初始点依次进行该迭代最终生长出5条初始拼接线；

确定最优拼接线子单元（U44），计算5条拼接线的平均累计梯度误差，选取平均累计梯度误差最小的拼接线作为最优拼接线，平均累计梯度值根据

计算，A(V_n(m,j))表示在拼接线上V_n点的累计梯度误差，j_m表示该拼接线上总的像素个数，m表示第几条拼接线，即m=1～5；

特征点定位单元（U5），在图像I_s(x)的最优拼接线上和在图像I_t(x)上以最优拼接线为中心的ε=2邻域内分别提取特征点，主要由多尺度Harris特征点子单元（U51）、分组特征点子单元（U52）和Laplace确定特征点子单元（U53）串接而成，其中：

多尺度Harris特征点子单元（U51），对图像I_s(x)和I_t(x)利用Harris算子在多尺度空间中提取特征点并记录每个特征点的响应值R，设尺度空间δ=13，

$M=\left(\begin{array}{cc}A& D\\ C& B\end{array}\right),$ R=(AB-CD)²-k(A+B)²， $A=w(x,y)\⊗I_x^2,B=w(x,y)\⊗I_y^2$ $C=D=w(x,y)\⊗I_x{I}_y$ w(x,y)表示某一点的像素值，通常情况下k=0.04～0.06，当R大于阈值T时，就认为该点为特征点，T为在图像I_s(x)中拼接线上所有像素点响应值R的平均值，在I_t(x)中则为拼接线ε邻域内所有像素点响应值R的平均值；

分组特征点子单元（U52），计算每幅图像中检测出来的两两特征点之间的欧氏距离，将欧式距离值小于等于3的特征点归为一组；

Laplace确定特征点子单元（U53），将分组特征点在每组内按照R值从大到小的顺序排列，在每组内只保留前三个特征点，将其余的特征点删除，再对保留的特征点计算Laplace函数值，并标记为NL(x,y,δ_n)，

$\mathrm{NL}={{\mathrm{\δ}}_D}^2|\frac{{\∂}^{2}G(x,y,{\mathrm{\δ}}_D)}{{\∂x}^2}+\frac{{\∂}^{2}G(x,y,{\mathrm{\δ}}_D)}{{\∂y}^2}|*I(x,y),$ $G(x,y,{\mathrm{\δ}}_D)=1/2\mathrm{\π}{{\mathrm{\δ}}_D}^2\exp (-((x^2+y^2)/-{{2\mathrm{\δ}}_D}^2))$

G(x,y,δ_D)表示高斯核函数，δ_D=sδ_n，s=0.7，x,y表示该点的坐标值，δ_n表示该点所在的尺度空间，如果该点的Laplace函数值是局部极值点即NL(x,y,δ_n)>NL(x,y,δ_l),l∈{n-1,n+1}，则将该点作为最终的特征点，否则就将该点删除；

特征匹配单元（U6），匹配检测出来的特征点，由特征点描述子单元（U61）、计算匹配点子单元（U62）串接而成，其中：

特征点描述子单元（U61），将检测出的特征点用SURF算子描述，将以特征点为中心20s×20s大小区域分为4×4共16个子区域，每一个子区域生成4维的描述符v=(∑dx,∑|dx|,∑dy,∑|dy|)，dx和dy分别为每个像素点经过哈尔小波在x方向和y方向的响应值，对子区域内所有像素点在x方向上的响应值求和并标记为∑dx，对子区域内所有像素点在x方向上响应值绝对值求和并标记为∑|dx|，将16个子区域的向量分别加入特征向量中形成64维的特征向量；

计算匹配点子单元（U62），P_s为在图像I_s(x)的拼接线上检测出的特征点的集合，P_t为在图像I_t(x)拼接线的ε邻域内检测到的特征点的集合，计算匹配的步骤为：

第一步，

为集合P_s中的任意一点，以该点为圆心在半径为γ=2的邻域记为

从集合P_t中选取位于

内的特征点集并记为

第二步，分别计算的特征向量与集合

中每一个特征点特征向量之间的欧氏距离，当最小欧氏距离除以第二小欧氏距离的商值小于0.8时，则认为与

中最小欧氏距离的像素点是一对匹配点，并分别从集合p_s和p_t中将这两个点删除，

第三步，重复以上两步直到集合P_s为空为止；

形变传播和重构单元（U7），根据特征匹配单元U6得到的匹配特征点，获取形变向量并将形变向量平滑的传播到图像I_t(x)中并通过重构获得拼接后的图像，主要由获取形变向量子单元（U71）、平滑传播形变向量子单元（U72）和图像重构子单元（U73）串接而成，其中：

获取形变向量子单元（U71），为了使结构和颜色能平滑的从图像I_s(x)过渡到图像I_t(x)，需要对图像I_t(x)中的每一个像素点定义一个形变向量，对于在特征匹配单元U6中检测到的匹配点

则形变向量表示为 $V\left(p_t^l\right)=\{V_x\left(p_t^l\right),V_y\left(p_t^l\right),V_{\mathrm{\Δx}}\left(p_t^l\right),V_{\mathrm{\Δy}}\left(p_t^l\right)\},$ 其中

和

表示匹配点的坐标位置在x轴和y轴的变化，

和表示梯度值在x轴和y轴上的变化；

平滑传播形变向量子单元（U72），按以下三种情况将形变向量平滑的传播到图像I_t(x)中：

第一种，当该点位于图像I_t(x)的拼接线上并且是特征匹配单元U6中匹配的特征点时，形变向量已在U71中求取得，

第二种，当该点位于图像I_t(x)的拼接线上但不是匹配的特征点时，采用Neumann边界条件即来求得ΔV(p)=0，

第三种，当该点不在图像I_t(x)的拼接线上时，形变向量未知通过形变传递计算求得，为了能将形变向量平滑的传播到目标图像I_t(x)，也就是使形变最小化，即通过求解下列方程的最小值：

$V^{*}=\arg \underset{V}{\min }\underset{p\∈I_t}{\∫\∫}{\left|\right|\▿V\left|\right|}^2\mathrm{dp}$

上式中的梯度算子

分别对向量V中的每一个分量进行。上式等价于求解拉普拉斯方程：

$\mathrm{\ΔV}=0,\∀p\∈I_t,$ 满足 $V{|}_{{\∂I}_t}=V^{*}{|}_{{\∂I}_t}$

拉普拉斯方程是泊松方程的特殊情况，因此可以用切比雪夫加速的超松弛迭代法来快速求解。可以得到图像I_t(x)中每一个像素点的形变向量，然后利用形变向量通过最近邻内插来逆映射，得到图像I_t(x)的梯度场G_t。

图像重构单元（U73），通过形变传播得到图像I_t(x)的梯度场G_t，通过泊松编辑重构图像，在求解泊松方程时利用切比雪夫加速的超松弛迭代法来加速求解，从而有效的提高重构速度。

本发明将拼接线作为图像拼接的重要依据，通过在拼接线生长中引入累计梯度误差是拼接线尽可能地穿越图像的平滑区域；通过在拼接线的邻域内检测和匹配特征点，解决了形变向量不准确的问题；并且将形变的传播分为三种情况解决了形变传播不均匀的问题；最后在图像重构中利用了切比雪夫加速的超松弛迭代法加速计算保证了实时性的要求。

附图说明

为了更清楚地说明本发明的实施例和现有技术中的技术方案，下面将对实施例和现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的图像拼接处理系统结构示意图；

图2为本发明公开的预处理单元的结构示意图；

图3为本发明公开的最优拼接线单元的结构示意图；

图4为本发明公开的特征定位单元的结构示意图；

图5为本发明公开的形变传播单元结构示意图；

图6为本发明实施例一公开的图像拼接处理系统具体流程图；

图7为本发明实施例一公开的获取最优拼接线的流程图；

图8为本发明公开的获取起始拼接点的示意图，8a为拼接线的主方向为垂直，8b为拼接线的主方向为水平；

图9为本发明公开的图8的局部放大图，9a是图8a的局部放大，9b是图8b的局部放大；

图10为本发明公开的拼接线生长的示意图，10a是拼接线的主方向是垂直时的生长方向，10b是拼接线的主方向是水平时的生长方向；

图11为本发明实施例一获取的最优拼接线和其他方法获得的最优拼接线；

图12为本发明公开的形变向量的示意图；

图13为本发明公开的不同点的形变传播示意图；

具体实施方式

一种图像拼接处理系统，包括：

图像读取单元，用于读取图像序列中的相邻两幅图像；

重叠区域单元，利用Sift算子检测上述两幅图像的特征点，再利用匹配的特征点求解空间变换参数并通过图像插值获得上述两幅图像的重叠区域；

预处理单元，对上述两幅图像的重叠区域进行预处理，使重叠区域的颜色尽可能地相似，从而降低拼接后的颜色接缝；

最优拼接线单元，先在重叠区域内判断上述两幅图像拼接线的主方向，然后再在主方向上获取拼接线集合，最后在拼接线集合中选取累计梯度误差最小的拼接线作为最优拼接线的；

特征点定位单元，在一幅图像的最优拼接线上和另一幅图像最优拼接线的ε邻域内检测特征点，利用改进的多尺度Harris算子检测特征点；

特征匹配单元，计算两幅图像特征点之间的欧氏距离，利用最小距离比第二小距离的方法来确定匹配的特征点；

形变传播和重构单元，首先根据匹配的特征点获得形变向量，然后再根据特征点是否在拼接线上和是否为匹配的特征点分三种情况传播形变向量，最后根据形变传播获得的梯度场，利用泊松编辑的方法重构图像；

优选的，所述预处理单元包括：

平均亮度值子单元，分别计算两幅图像重叠区域的平均亮度值；

亮度差异值子单元，分别计算每幅图像重叠区域内每个像素点的亮度值与该重叠区域的平均亮度值的差值；

亮度归一化子单元，将重叠区域内的每个像素点的亮度值与该点所对应的亮度差异值做差即可获得归一化的亮度值。

优选的，所述最优拼接线单元包括：

拼接线主方向子单元，拼接线的主方向分为水平和垂直方向，利用Sobel算子分别求取水平和垂直方向的梯度值，分别在水平和垂直方向上计算梯度值大于阈值T的像素数，利用计算出来的水平和垂直方向上像素数的大小关系判断拼接线的主方向；

提取初始点子单元，在重叠区域外接矩形中心面积的2/3处，（即选取水平方向上中心的2/3或是垂直方向上中心的2/3）选取5个初始点，并将该5个点映射到重叠区域的边界上，此时将重叠区域的边界分为5部分，在每部分中分别计算每一个点的梯度值，选取梯度值最小的点作为该部分的起始点，依次进行，最终提取出5个拼接线生长的起始点；

拼接线生长子单元，对每一个初始点计算在拼接线的主方向上与其连通的3个像素点的累计梯度误差值，选取累计梯度误差最小的点作为生长点，利用逐步迭代的方法生长出5条拼接线；

确定最优拼接线子单元，对5条拼接线分别计算每一条拼接线的平均累计梯度误差值，选取平均累计梯度误差值最小的拼接线作为最优拼接线。

优选的，所述特征点定位单元包括：

多尺度特征点子单元，对图像I_s(x)在最优拼接线上和图像I_t(x)最优拼接线的ε邻域内利用多尺度Harris算子检测特征点，并记录响应值；

分组特征点子单元，计算每幅图像内两两特征点之间的欧氏距离，将距离小于3的特征点分为一组；

Laplace确定特征点子单元，将每组的特征点按照响应值从大到小的顺序排列，保留每组内前三个特征点，对保留的特征点计算Laplace函数响应值，将Laplace函数的响应值是局部极值的特征点作为最终的特征点；

优选的，所述形变传播和重构单元包括：

获取形变向量子单元，每对匹配的特征点要分别计算在x轴和y轴上位置的形变和在x轴和y轴上梯度值的形变，彩色图像将形成8维的形变向量；

平滑传播形变向量子单元，将形变向量分三种情况平滑的传播到图像的其他区域，当图像I_t(x)的像素点刚好为检测到的特征点时，则形变向量就是获取的8维向量；如果像素点是位于拼接线上但不是匹配的像素点则形变向量采用Neumann边界条件即ΔV(p)=0；如果像素点没有在拼接线上则采用形变传播求的形变向量；

重构图像子单元，通过形变传播获得图像I_t(x)的梯度场，利用泊松编辑的方法重构出经过形变的图像I_t(x)，从而获得拼接后的图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种图像拼接处理系统，能够同时在颜色和结构上很好地消除拼接接缝，并且提高了拼接的速度。其结构图如图1所示，包括：图像读取单元U1、重叠区域单元U2、预处理单元U3、最优拼接线单元U4、特征点定位单元U5、特征匹配单元U6、形变传播和图像重构单元U7，其中：

图像读取单元U1，用于从图像序列中读取两幅相邻的图像并标记为I_s(x)和I_t(x)；重叠区域单元U2如图2所示，通过利用SIFT特征点对两幅图像配准和求解空间变换参数确定两幅图像的重叠区域；预处理单元U3，对对两幅图像I_s(x)和I_t(x)的重叠区域进行颜色归一化处理，以尽可能地消除图像拼接中的颜色接缝；最优拼接线单元U4，首先确定拼接线的主方向，在与拼接线主方向垂直的方向上选取5个点作为拼接线生长的起始点，然后通过利用累计梯度误差和逐步迭代法生长出5条拼接线，最后从这5条线中选取平均累计梯度误差最小的线作为最优拼接线；特征点定位单元U5，在图像I_s(x)的拼接线上和图像I_t(x)拼接线的ε邻域内利用改进的多尺度Harris算子检测特征点；特征匹配单元U6，将检测出来的特征点利用SURF算子生成特征向量，计算特征向量之间的欧氏距离，利用最小距离比第二小距离的商值作为判断是否匹配的标准；形变传播和图像重构单元U7，主要包括获取形变子单元、形变传播子单元和重构图像子单元，对U6中匹配的特征点分别在x和y方向上获取位置和梯度的形变，其中梯度形变分为R，G，B三个通道形成8维向量，形变传播子单元按照图像I_t(x)中的像素点是匹配点、像素点在最优拼接线上但不是匹配点和像素点不在最优拼接线上这三种情况分别传播，图像重构子单元，通过形变传播获得图像I_t(x)的梯度场，利用泊松编辑的方法重构图像获得拼接后的图像。其详细内容可参见下面所对应的实施例。

所述最优拼接线单元U4结构如图3所示，包括拼接线主方向子单元U41，利用是Soble算子计算图像在水平和垂直方向上的梯度值，分别在两个方向上记录梯度值大于阈值T的像素数，根据两个方向上记录的像素数的大小关系确定拼接线的主方向；提取起始点子单元U42，在重叠区域外接矩形中心面积的2/3处的边界上选取5个初始点，将这5个点映射到重叠区域的边界，重叠区域的边界将被分成5部分，在每部分中计算每一个点的梯度值，选取梯度值最小的点作为该部分的起始点，依次进行最终获得5个起始点；拼接线生长子单元U43，根据确定的5个起始点，计算主方向上与其连通的3个像素点的累计梯度误差值，选取累计梯度误差值最小的点作为生长的点，对5个起始点按上述步骤逐步迭代生长出5条拼接线；确定最优拼接线子单元U44，分别计算每条拼接线的平均累计梯度误差值，选取平均累计梯度误差值最小线作为最优拼接线。其详细内容可参见下面所对应的实施例。

所述特征定位单元U5结构如图4所示，包括多尺度特征点子单元U51，利用多尺度Harris算子在图像I_s(x)的拼接线上和图像I_t(x)拼接线的ε邻域内检测特征点，并记录每个特征点的响应值；分组特征点子单元U52，计算图像I_s(x)内特征点之间的欧氏距离并将距离小于等于3的特征点分为一组，对图像I_t(x)内特征点按照相同的步骤分组；Laplace确定特征点子单元U53，对分组后的特征点在每组内按响应值从大到小的顺序排序，保留排在前三位的特征点，对保留的特征点计算Laplace函数的响应值，将Laplace函数的响应值是局部极值的特征点作为最终的特征点。其详细内容可参见下面所对应的实施例。

所述形变传播和图像重构单元U7结构如图5所示，包括获取形变子单元U71，对匹配的特征点分别在x和y方向上计算位置和梯度的形变，如果是彩色图像对R，G，B三个通道分别计算梯度形变，从而获得8维的形变向量，如果是灰度图像将获得4维形变向量；形变传播子单元U72，分三种情况分别考虑，当图像I_t(x)的像素点就是匹配的特征点时形变向量已知，当图像I_t(x)中的像素点位于最优拼接线上但不是匹配的特征点时采用Neumann边界条件即ΔV(P)=0来确定形变的向量，当图像I_t(x)的像素点不在拼接线上时，则采用形变传播的方法确定形变向量。其详细内容可参见下面所对应的实施例。

其具体实施方式如下所示：

实施例一

本实施例公开的图像拼接处理的流程如图6所示，包括：

步骤S1、读取图像序列中的相邻两幅图像；

从图像序列中读取相邻的两幅图像I_s(x)和I_t(x)，由R、G、B三个颜色分量组成，其高为N_h个像素，宽为N_w个像素，x表示二维空间的坐标，可以用向量(m,n)表示，其中，0≤m≤N_h-1，0≤n≤N_w-1，、m、n、N_h、N_w均为非负整数。

步骤S2、确定图像I_s(x)和图像I_t(x)的重叠区域；利用SIFT算子对图像I_s(x)和图像I_t(x)提取和匹配特征点，根据匹配的特征点计算空间变换参数，从而获得所述图像I_s(x)和图像I_t(x)的重叠区域；

如果对上述图像I_s(x)和图像I_t(x)直接按照重叠区域进行拼接将会产生两方面问题：第一，直接对重叠区域进行拼接在结构上将会产生严重的接缝，由于拍摄的角度等原因是重叠区域在角度上两幅图像有很大的区别，所以此处的重叠区域相当于图像拼接的准备工作；第二，对两幅图像在重叠区域内的颜色差异无法解决，当两幅图像由于拍摄的时间或光照不同在图像的亮度上将会产生很大的差异，对重叠区域直接拼接没有对颜色空间进行任何的融合会产生视觉上难以接受的拼接接缝。

步骤S3、对图像I_s(x)和图像I_t(x)的重叠区域的颜色进行预处理，图像拼接中颜色的接缝对整体的视觉效果有着严重的影响，在对图像进行拼接之前线对重叠区域的颜色进行预处理的主要目的是尽可能的消除图像拼接中的颜色接缝。首先分别计算图像I_s(x)重叠区域的像素点的平均亮度值和图像I_t(x)重叠区域像素点的平均亮度值；然后计算每个像素点的亮度值与两幅图像总平均值的差值；最后用每个像素点的亮度值减去平均值的差值即为最终的像素点的亮度值。

步骤S4、对两幅图像提取最优拼接线；确定拼接线的主方向，在垂直于拼接线主方向的方向上计算出5个起始点，再根据累计梯度误差和逐步迭代法生长出5条拼接线，最后选取平均累计梯度误差值最小的线作为最优拼接线；

本发明在重叠区域内以最优拼接线为接缝进行图像I_s(x)和图像I_t(x)的拼接。本发明中将最优拼接线的方向分为水平和垂直两个方向，在选取最优拼接线时要确保最优拼接线尽可能多的穿过图像的平滑区域，以确保形变向量尽可能地简单从而使形变传播的又快又准确。在确定拼接线的主方向时主要利用Sobel算子计算像素点的梯度值，在寻找5个起始点和生长出5条拼接线中计算梯度值时会考虑图像的相似性和平滑性。在生长出5条拼接线时，将在拼接线主方向上与其连通的3个像素点都作为候选点即尽可能多的考虑像素点周围的信息，选取累计梯度误差最小的点作为生长点；在确定最优拼接线时，计算5条拼接线的平均累计梯度误差值，并选取平均累计梯度误差值最小的线作为最优拼接线，这也体现了拼接线要尽可能的穿越平滑的区域的原则。

步骤S5、在图像I_s(x)的最优拼接线上检测特征点，在图像I_t(x)的最优拼接线的ε邻域内检测特征点，利用分组和计算特征点Laplace函数极值的多尺度Harris算子；

本发明在图像I_s(x)的最优拼接线上和图像I_t(x)最优拼接线的ε邻域内检测特征点，是为了确保在该步骤检测到的特征点尽可能地准确，使S6中特征点匹配地精准，从而图像的形变向量更准确。通过实验发现精确匹配的特征点并不一定都是在图像I_t(x)的最优拼接线上，存在一些特征点位于最优拼接线的ε邻域内的。

步骤S6、匹配检测到的特征点，主要是利用特征向量之间的最短距离除以第二短距离的商值来确定匹配点；

首先，利用SURF算子描述S5中检测到的特征点，然后将图像I_s(x)中的任意特征点记为

在图像I_s(x)中以该特征点为圆心半径r=2的区域记为

将图像I_t(x)中位于

中的特征点放入集合

中，计算

的特征向量与集合

中每一个特征点的特征向量之间的欧氏距离，计算最短距离除以第二短距离的商值，当商值小于0.8时则认为最短距离在集合

中对应的特征点与图像I_s(x)中的特征点是匹配的。

步骤S7、根据匹配的特征点计算形变向量，并根据图像I_t(x)中像素点的位置分三种情况将形变向量传播到图像I_t(x)中，从而获得图像I_t(x)形变后的梯度场，再根据泊松编辑重构图像形成拼接后的图像；

形变向量包括像素点在x和y方向上位置和梯度的形变，彩色图像则从R、G、B三个颜色通道分别考虑在x和y方向上在梯度的变化，从而形成8为维的向量空间，如果是灰度图像则会形成4维的向量空间。根据图像I_t(x)中像素点的位置分三种情况传播，从而使形变向量能够平滑的传播到整个图像区域。在图像重构时根据获得图像的梯度场，利用泊松编辑和切比雪夫加速的超松弛迭代法来加速重构速度。

在本实施例中，参见图7，步骤4获取两幅图像的最优拼接线具体以步骤S41-S44加以实现，包括：

步骤S41、利用Sobel算子分别计算图像I_s(x)和图像I_t(x)重叠区域的梯度值，分别计算水平和垂直方向上梯度值大于阈值T的像素数，利用像素数的大小关系判断拼接线的主方向；

步骤S42、首先在重叠区域外接矩形垂直于主拼接线的方向上选取5个初始点，并将个点映射到重叠区域的边界上，将重叠区域的边界分为5部分，在每一部分通过计算梯度值确定一个起始点，最终确定出5个起始点；

步骤S43、利用S42中确定的5个起始点，计算与起始点在主拼接方向上连通的3个像素点的累计梯度误差值，选取累计梯度误差值最小的点作为生长点，对每个起始点利用迭代的方法生长出5条拼接线；

步骤S44、分别求取5条拼接线的平均累计梯度误差值选取平均累计梯度误差值最小的拼接线作为最优的拼接线，从而保证最优拼接线尽可能地穿越重叠区域的平滑的部分；

步骤S41-步骤S44的实施过程详细地阐述如下：

将两幅图像拼接的接缝处称为拼接线。在传统的图像拼接技术中没有利用拼接线的概念只是对两幅图像的重叠区域进行颜色和结构上的融合，引入拼接线能够使图像在结构和颜色上能够更好地融合。拼接线的确定对于图像拼接的效果也是非常的重要，拼接线应该尽可能多地穿过图像重叠区域的平滑区域，从而使形变向量能够更快的传播到整个图像的区域。

分别对图像I_s(x)和图像I_t(x)的重叠区域利用Sobel算子S₁和S₂分别求取水平和垂直方向的梯度值，并标记为

和

$S_1=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$        $S_2=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]---1$

如图8a所示，图像I_s(x)和图像I_t(x)的重叠区域为UFJD，重叠区域的外界矩形为KFLM，图8a是在图像I_s(x)的垂直方向上选取外接矩形中心面积的2/3即矩形NN’S’S并标记为V_s区域，同理在水平方向上选取中心面积的2/3并标记为H_s区域，对图像I_t(x)进行相同的计算并分别标记为V_t区域和H_t区域，从图8a可知是对图像I_s(x)和图像I_t(x)的重叠区域进行标记所以V_s和V_t对应的形状是相同的，同理H_s和H_t对应的形状也是相同的。在所述H_s区域内计算水平方向梯度值大于阈值T的像素数，并标记为

阈值T是H_s区域内水平方向上平均梯度值的40%，在所述H_s区域内计算垂直方向梯度值大于阈值T的像素数，并标记为

阈值T是Hs区域内垂直方向上平均梯度值的40%；在V_s区域内进行相同的计算并分别标记为和

同理在所述H_t和V_t区域进行形同的计算并标记为和

判断拼接线的主方向，设 $N_x^s=N_{\mathrm{xh}}^s+N_{\mathrm{xv}}^s,$ $N_y^s=N_{\mathrm{yh}}^s+N_{\mathrm{yv}}^s,$ $N_x^t=N_{\mathrm{xh}}^t+N_{\mathrm{xv},}^t$ $N_y^t=N_{\mathrm{yh}}^t+N_{\mathrm{yv}}^t:$

若并且

则拼接线的主方向为水平；

若并且

则拼接线的主方向为垂直；

若以上两种情况都不满足，如果

则拼接线的主方向为水平，否则就为垂直；

以图8a为例，设其拼接线的主方向为垂直方向，需要在矩形NN’S’S中点N点对应的横坐标为X_L，点S点对应的横坐标为X_R，定义λ=round((X_R-X_L)10)，则线段NS上选取5个点并标记为P_n的坐标值可以表示为(X_pn,Y_pn)，X_pn=X_L+2λ+n，n=λ～5λ，Y_pn=Y_L，将点p_n映射到重叠区域的边缘则标记为q_n，图9a是图8a的局部放大图，由图可知q_n是点p_n沿着拼接线的主方向映射到重叠区域边缘的点，显然X_qn=X_pn，则q_n点的梯度值计算公式为：

C(q_n)=(1-β)C_g(q_n)+βC_d(q_n)    2

$C_g\left(q_n\right)=\underset{i=-1}{\overset{i=1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{j=1}{\mathrm{\Σ}}}{\▿I}_S(X_{\mathrm{qn}}+i,Y_{\mathrm{qn}}+j)+\underset{i=-1}{\overset{i=1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{j=1}{\mathrm{\Σ}}}(X_{\mathrm{qn}}+i,Y_{\mathrm{qn}}+j)$ $=\underset{i=-1}{\overset{i=1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{j=1}{\mathrm{\Σ}}}{\left[\underset{p=1}{\overset{2}{\mathrm{\Σ}}}{|I_S(X_{\mathrm{qn}}+i,Y_{\mathrm{qn}}+j)*S_p|}^2\right]}^{\frac{1}{2}}+\underset{i=-1}{\overset{i=1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{j=1}{\mathrm{\Σ}}}{\left[\underset{p=1}{\overset{2}{\mathrm{\Σ}}}{|I_T(X_{\mathrm{qn}}+i,Y_{\mathrm{qn}}+j)*S_p|}^2\right]}^{\frac{1}{2}}---3$

$C_d\left(q_n\right)=\underset{i=-1}{\overset{i=1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{j=1}{\mathrm{\Σ}}}\left|\right|(I_S(X_{q_n}+i,Y_{q_n}+j)-I_T(X_{q_n}+i,Y_{q_n}+j))*S_1\left|\right|---4$ $+\underset{i=-1}{\overset{i=1}{\mathrm{\Σ}}}\underset{j=-1}{\overset{i=1}{\mathrm{\Σ}}}\left|\right|(I_S(X_{q_n}+i,Y_{q_n}+j)-I_T(X_{q_n}+i{,Y}_{q_n}+j))*S_2\left|\right|$

β=0.4，C_g(q_n)和C_d(q_n)分别表示q_n点梯度的平滑性和相似性，当为彩色图像时则需要对R、G、B三个通道分别计算梯度值。此时q_n点将重叠区域的边缘RU和UT分为5部分，即线段Rq_λ，q_λq_2λ，q_2λq_3λ，q_3λq_4λ和q_4λq_5λ根据公式:

ψ=min{C(q_n),n=(m-1)λ+1,(m-1)λ+2,...,mλ},m=1～5    5

当m=1时表示在线段Rq_λ选取梯度值最小的点并标记为g₁，同理当m=5时表示在线段q_4λq_5λ上选取梯度值最小的点并标记为g₅，如图8b所示，图9b是图8b的局部放大图，从中可以清楚的看到点g₁,g₂,...g₅即集合ψ={g₁,g₂,g₃,g₄,g₅}，该集合中的5个点是5条拼接线的起始点。

为了使由5个起始点生长出的拼接线尽可能地准确，本发明利用像素点的邻域信息作为计算下一个生长点的主要依据。设当前像素点V_c的坐标为(X_c,Y_c)，则下一个要生长的像素点V_n的坐标为(X_n,Y_n)，如图10所示，V_n从V_n1,V_n2,V_n3中选择，当主方向为垂直时如图10a则V_n1,V_n2,V_n3的坐标分别为(X_c-1,Y_c+1)，(X_c,Y_c+1)，(X_c+1,Y_c+1)，当主方向为水平时如图10b则V_n1,V_n2,V_n3的坐标分别为(X_c+1,Y_c-1)，(X_c+1,Y_c)，(X_c+1,Y_c+1)。

下一个迭代点V_n主要通过计算累计梯度误差来判断，设V_n1,V_n2,V_n3的累计梯度误差定义为A(V₁)，A(V₂)，A(V₃)，通过下式计算：

$A\left(V_1\right)=\underset{j=1}{\overset{7}{\mathrm{\Σ}}}C\left(V_{\mathrm{ej}}\right);A\left(V_2\right)=\underset{j=2}{\overset{8}{\mathrm{\Σ}}}C\left(V_{\mathrm{ej}}\right);A\left(V_3\right)=\underset{j=3}{\overset{9}{\mathrm{\Σ}}}C\left(V_{\mathrm{ej}}\right)---6$

C(V_gj)利用公式1计算，j=1-9是三个候选点邻域内的点，A(V₁)是V₁点点自身及与它的两边分别相邻的六个点累加形成的，参见图10a加到点V_e7，点V_gj的坐标值为(X_c-4+j,Y_c+1)，则A(V_n)的计算按照公式6所示，根据公式7来确定下一个生长点。

按照上述方法逐点迭代生长出5条拼接线，最优拼接线即为平均累积梯度误差最小的线，根据公式8计算平均累积梯度误差，J_m表示第m条拼接线一共包含的像素点的个数，V_n(m,j)表示第m条拼接线上的第j个点。最小的L(m)即为最优的拼接线，在计算最优拼接线时考虑了像素点邻域内的信息，从而使得拼接线尽可能的穿越图像的平滑区域为图像融合奠定了基础。图11为实施例利用上述方法确定的最优拼接线。

$L\left(m\right)=\frac{\underset{j=1}{\overset{j_m}{\mathrm{\Σ}}}A\left(V_n(m,j)\right)}{j_m}---8$

步骤S5的实施过程详细地阐述如下：

虽然在获得重叠区域时已经对图像进行了配准，但大部分图像还是存在局部结构形变，由匹配得到的形变矩阵已经不能很好地反映图像局部的形变，所以如果直接将两幅图像的拼接线两侧的图像组合将会在拼接边界产生结构错位、模糊和断裂。

由于存在拍摄角度等原因使两幅图像在重叠区域每个像素点并不是完全重合的，

所以最优拼接线所穿过的像素点的亮度值等并不是完全一样的，会在一个小范围内存在误差，所以本发明在图像I_s(x)的最优拼接线上和图像I_t(x)最优拼接线的ε邻域内检测特征点。本发明利用改进的多尺度算子提取特征点，具体以步骤S51-S53实现，包括：

步骤S51、利用多尺度的Harris算子，在图像I_s(x)的最优拼接线上提取特征点，

在图像I_t(x)的最优拼接线的ε邻域内提取特征点，并每个特征点的记录响应值；

步骤S52、对检测出的特征点分组，计算图像I_s(x)特征点两两之间的欧氏距离，将距离小于等于3的点归为一组，对图像I_t(x)内的特征点利用相同的方法进行分组；

步骤S53、对每组特征点按照响应值从大到小的顺序排序，在每组内只保留前三个特征点，然后对保留的特征点求取Laplace函数响应值，选择Laplace响应值是局部极值点的特征点作为最终的特征点。

首先利用多尺度空间Harris算子在尺度空间为13的条件下检测图像的特征点并记录特征点的响应值R，如公式9所示：

$R={(\mathrm{AB}-\mathrm{CD})}^2-k{(A+B)}^2,$ $A=w(x,y)\⊗I_x^2,$ $B=w(x,y)\⊗I_y^2,$ $C=D=w(x,y)\⊗I_x{I}_y---9$ w(x,y)表示某一点的像素值，通常情况下k=0.04～0.06，当R大于阈值T时，就认为该点为特征点，T为在图像I_s(x)中拼接线上所有像素点响应值R的平均值，在I_t(x)中则为拼接线ε邻域内所有像素点响应值R的平均值。此时检测出的特征点存在很大的冗余，即相同的局部特征在不同的尺度空间都被检测出来，但又不能确定哪一个尺度的特征点最能反映该局部特征，所以需要进一步利用响应值和局部极值点的方法判断特征点。

然后对检测出的特征点分组，先从尺度空间为1的特征点开始分组，因为当尺度空间为1时检测出来的特征点最多，此时分组所形成的组数最多，方便后续尺度空间分组。对尺度空间为1的特征点计算两个特征点的欧氏距离，当该距离小于等于小于3时，就认为这两个点是一组，否组就时不同的组，按照上述步骤对尺度空间为1的所有特征点分组，当尺度空间为1的特征点分组完毕时，需要对尺度空间为2的特征点分组，此时需要计算尺度空间为2的特征点与已经分好组的特征点的距离，如果该点与某组内的一个特征点的距离小于等于3则认为该点属于这个组，否组继续计算后续的组，如果没有组与该点的距离是小于等于3像素的，则就将该点自己形成一个新组，对后续所有尺度空间的特征点都利用以上的方法进行分组。

最后当所有的特征点已经分好组时，需要在组内对所有的特征点按照响应值R从大到小进行排序，最终在每组内只保留前三个的特征点参与后续的计算。对保留的特征点计算Laplace函数的响应值NL(x,y,δ_n)，其中x,y表示特征点的坐标值，δ_n表示特征点所在的尺度空间，如果

NL(x,y,δ_n)>NL(x,y,δ_l),l∈{n-1,n,n+1}    10

则该点为局部极值点就保留该点作为最终的特征点，否则就将该点删除。经过上述的判断最终在最优拼接线上和最优拼接线的ε邻域内检测到特征点。

步骤S6的实施过程详细地阐述如下：

在进行特征点匹配时，主要利用了SURF描述符、邻域检测和次近邻距离比等匹配特征点。对于在图像I_t(x)的ε邻域内检测到的特征点可能存在多个与位于图像I_s(x)的拼接线上的特征点是匹配的，将最短距离除以第二短距离的商值作为匹配的主要依据。

首先对图像I_s(x)最优拼接线上的特征点和图像I_t(x)最优拼接线ε邻域内的特征点利用SURF算子描述，将特征点邻域范围内20×20大小区域分为4×4共16个子区域，每一个子区域的生成4维的描述符v=(∑dx,∑|dx|,∑dy,∑|dy|)，dx和dy分别为每个像素点经过加权的哈尔小波在x方向和y方向的响应值，对子区域内所有像素点在x方向上的响应值求和标记为∑dx，对子区域内所有像素点在x方向上响应值绝对值求和标记为∑|dx|，将16个子区域的向量分别加入特征向量中形成64维的特征向量；

设集合

为在图像I_s(x)的最优拼接线的上检测到的特征点，集合

为在图像I_t(x)最优拼接线ε邻域内检测到的特征点。首先，分别取集合

中的点

为圆心，并记录其半径为r=2的邻域为

从集合

中找出位于

的特征集合

然后，计算

与集合中每个像素点描述符的欧式距离并记为

设

为最小距离除以第二小距离的商值，当

Thre=0.8时，就认为

与

是一对匹配点，并将

与

从相应的集合中删除；最后重复上述步骤，直到集合

为空。

步骤S7的实施过程详细地阐述如下:

为了使结构和颜色能平滑的从图像I_s(x)过渡到图像I_t(x)，需要对I_t(x)中的每一个像素定义一个形变向量表示该像素的结构和颜色的形变，对于匹配的特征点对

形变向量表示为：

$V\left(p_t^l\right)=\{V_x\left(p_t^l\right),V_y\left(p_t^l\right),V_{\mathrm{\Δx}}\left(p_t^l\right),V_{\mathrm{\Δy}}\left(p_t^l\right)\}---11$

其中，

分别表示

到

在x轴和y轴上坐标值的变化，参见图12，

则表示匹配的点在x轴和y轴上梯度值的变化：

$V_{\▿h}\left(p_t^l\right)={\▿}_h{I}_s\left(p_s^i\right)-{\▿}_h{I}_t\left(p_t^l\right),h\∈\{x,y\}---12$

梯度用向前差分法近似，当图像为彩色时则会生成8维的形变向量，当为灰度图像时则会生成4维的形变向量。

在得到了特征点的形变向量之后，需要将形变平滑的传播到目标图像I_t(x)，为了防止目标图像在结构和颜色上不连续我们将传播区域定义为整个目标图像。通过实验发现人眼对于图像中边的不连续非常敏感，所以我们选择边作为结构特征。利用JSEP来提取图像的边缘，从匹配的特征点P来跟踪关联的边缘，当遇到边缘交叉时，计算当前点与交叉点的下一个点的曲率值，选取曲率值较小的点作为下一个边缘扫描，而截断其他方向的点参见图12该图中×表示在该点出需要进行曲率的判断。在图13中将目标区域定义为I_t，内边界定义为设p∈I_t分一下三种情况分别处理：

当p为匹配的特征点（图13中的p₁）则形变向量由公式11可知；

当p为图像I_t(x)最优拼接线上的非匹配特征点(图13中的p₂)，采用Neumann边界条件即 $\▿V\left(p\right)=0;$

当p属于图像I_t(x)内部的点时，其形变向量未知，需要通过形变传播求的；为了能将形变向量平滑的传播到目标图像I_t(x)，也就是使形变最小化，即通过求解下列方程的最小值：

$V^{*}=\arg \underset{V}{\min }\underset{p\∈I_t}{\∫\∫}{\left|\right|\▿V\left|\right|}^2\mathrm{dp}---13$

上式中的梯度算子

分别对向量V中的每一个分量进行。上式等价于求解拉普拉斯方程：

$\mathrm{\ΔV}=0,\∀p\∈I_t,$ 满足 $V{|}_{{\∂I}_t}=V^{*}{|}_{{\∂I}_t}---14$

拉普拉斯方程是泊松方程的特殊情况，因此可以用切比雪夫加速的超松弛迭代法来快速求解。可以得到图像I_t(x)中每一个像素点的形变向量，然后利用形变向量通过最近邻内插来逆映射，得到图像I_t(x)的梯度场G_t。

根据梯度场G_t利用泊松编辑的方法重构出拼接后的图像。设G_t=(u_t,v_t)，求解式15的最小值获得图像I_t的颜色最小值（对R、G、B三个颜色通道分别进行相同的处理）。

$I_t^{*}=\arg \underset{I_t}{\min }\underset{p\∈I_t}{\∫\∫}{\left|\right|{\▿I}_t-G_t\left|\right|}^2\mathrm{dp}---15$

等价于解泊松方程：

${\mathrm{\ΔI}}_t={\▿G}_t,\∀p\∈I_t---16$

其中是梯度G_t=(u_t,v_t)的散度。同理也可用切比雪夫加速的超松弛迭代法快速求解。

本实施例利用寻找最优拼接线的方法实现两幅在颜色和结构上有较大差异的两幅图像的无缝拼接，本实施例在实际实现中利用并行的方法同时能对多幅图像进行处理，在获得梯度场和根据梯度场重构图像时利用了切比雪夫加速的超松弛迭代法从而进一步达到实时处理的目的。

上述实施例是在理论方面对本发明公开的一种图像拼接处理系统的详细地描述，同时在理论上也对其有益效果进行了描述。本发明也通过实验证明在颜色和结构接缝上能够比其他的一些方法达到较好的效果，同时本发明公布的方法在时间上也能取得满意的效果。

本说明书中各个实施例采用递进的方式描述。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各个实例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚的说明硬件和软件的可互换性，在上述说明中已经按照功能一般性的描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本发明中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、制只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合于本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (1)

1.一种图像拼接处理系统，其特征在于，是在一个数字集成电路芯片中实现的，设有：图像读取单元（U1）、重叠区域单元（U2）、预处理单元（U3）、最优拼接线单元（U4）、特征点定位单元（U5）、特征匹配单元（U6）、图像重构单元（U7），其中：

图像读取单元（U1），依次从拍摄的图像序列中读取相邻的两幅图像I_s(x)和I_t(x)作为待处理图像，分别由R,G,B三个颜色分量组成，所述待处理图像I_s(x)和I_t(x)的高为N_h个像素，宽为N_w个像素，x表示二维空间坐标(m,n)，0≤m≤N_h-1，0≤n≤N_w-1；

重叠区域单元（U2），按一下步骤对两幅相邻的所述图像I_s(x)和I_t(x)用SIFT算法进行特征匹配以确定相互的重叠区域：

第一步，对所述两幅相邻图像I_s(x)和I_t(x)提取SIFT特征点并进行特征匹配，

第二步，根据得到的匹配特长点求解空间变换参数，并通过图像插值获得两幅所述图像I_s(x)和I_t(x)间的重叠区域；

预处理单元（U3），设有平均亮度值子单元（U31）、亮度差异值子单元（U32）和亮度归一化子单元（U33），以对所述重叠区域进行颜色归一化，尽可能消除图像拼接中的颜色接缝，其中：

平均亮度值子单元（U31），按下式分别计算R,G,B各通道中所述重叠区域内所有像素点的平均亮度值

和

${\stackrel{\‾}{Y}}_s=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{Y}_s\left(p_k\right)$        ${\stackrel{\‾}{Y}}_t=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{Y}_t\left(p_k\right)$

其中，N是所述重叠区域内图像I_s(x)或I_t(x)的像素总数，k是所述重叠区域内图像I_s(x)或I_t(x)内像素p_k的序号，k=1,2,...k,...N；

亮度差异值子单元（U32），按下式分别计算所述像素点的亮度值Y_s和所述重叠区域内所有像素点的平均亮度值

的差值

同理，

亮度归一化子单元（U33），对所述重叠区域内的各像素点的亮度值Y_s(p_k)和Y_t(p_k)与所述图像I_s(x)内的亮度差异值

所述图像I_t(x)内的亮度差异值

分别按下式进行亮度归一化：

${\hat{Y}}_s\left(p_k\right)=Y_s\left(p_k\right)-{\tilde{Y}}_s$        ${\hat{Y}}_t\left(p_k\right)=Y_t\left(p_k\right)-{\tilde{Y}}_t$

最优拼接线单元（U4），设有相互串联的：确定拼接线主方向子单元（U41）、提取起始点子单元（U42）、拼接线生长子单元（U43）和确定最优拼接线子单元（U44），拼接线是相邻两幅所述图像I_s(x)和I_t(x)相互拼接的接缝，其中：

拼接线主方向子单元（U41），重叠区域主方向分为水平和垂直两种，利用sobel算子S₁对所述两幅图像I_s(x)和I_t(x)的重叠区域求取水平方向的梯度值，利用S₂对上述两幅图像I_s(x)和I_t(x)的重叠区域求取垂直方向上的梯度值，S₁和S₂算子表示为：

$S_1=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$        $S_2=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

根据梯度值确定拼接线的主方向按以下步骤进行：

第一步，计算所述两幅图像I_s(x)和I_t(x)的重叠区域的水平和垂直两个方向上的梯度值，并标记为

和

第二步，做所述图像I_s(x)和I_t(x)的重叠区域的外接矩形，并在外接矩形中的在水平方向上选取中心面积的2/3并标记为H_s区域，同理在垂直方向上选取中心面积的2/3并标记为V_s区域，对所述图像I_t(x)进行相同的计算并分别标记为H_t区域和V_t区域；

第三步，在所述H_s区域内计算水平方向梯度值大于阈值T的像素数，并标记为

阈值T是H_s区域内水平方向上平均梯度值的40%，在所述H区域内计算垂直方向梯度值大于阈值T的像素数，并标记为

阈值T是H_s区域内垂直方向上平均梯度值的40%；同在V_s区域内进行相同的计算并分别标记为

和

同理在所述H_t和V_t区域进行形同的计算并标记为

和

第四步，判断拼接线的主方向，设 $N_x^s=N_{\mathrm{xh}}^s+N_{\mathrm{xv}}^s,$ $N_y^s=N_{\mathrm{yh}}^s+N_{\mathrm{yv}}^s,$ $N_x^t=N_{\mathrm{xh}}^t+N_{\mathrm{xv}}^t,$ $N_y^t=N_{\mathrm{yh}}^t+N_{\mathrm{yv}}^t:$

若并且

则拼接线的主方向为水平；

若

并且

则拼接线的主方向为垂直；

若以上两种情况都不满足，如果

则主方向为水平，否则主方向为垂直；

提取起始点子单元（U42），在垂直于拼接线的主方向上选取起始点，具体按以下两步进行：

第一步，设所述图像I_s(x)和I_t(x)拼接线的主方向为垂直，则需要在I_s(x)图像的V_s区域的最顶端的边上选取初始点，X_L和X_R分别表示V_s区域左上端和右上端的横坐标值，则每个初始点的间距表示为λ=round((X_R-X_L)10)，则对应的5个初始点通过X=X_L+2λ+n，n=λ～5λ来确定，并将5个初始点分别标记为p_λ,p_2λ,...p_5λ；

第二步，将在外接矩形上确定的5个初始点映射到重叠区域的上边界并标记为q_λ,q_2λ,...q_5λ，q_λ,q_2λ,...q_5λ5点将重叠区域的上边界划分为5个区间，在每个区间中选取梯度值最小的点作为该区间的初始点， $\mathrm{\ψ}=\min \{{\▿q}_n,n=(m-1)\mathrm{\λ}+1,(m-1)\mathrm{\λ}+2,...,\mathrm{m\λ},m=1~5$ m=1表示从左开始的第一个区间，依此类推m=5表示5五个区间，表示每个点的梯度值，ψ表示最终选取的5个起始点的集合；

拼接线生长子单元（U43），将每一个起始点在主方向上与其连通的三个像素点作为生长的候选点，并计算三个候选点的累计梯度误差，选取累计梯度误差最小的点作为生长点，对每个初始点依次进行该迭代最终生长出5条初始拼接线；

确定最优拼接线子单元（U44），计算5条拼接线的平均累计梯度误差，选取平均累计梯度误差最小的拼接线作为最优拼接线，平均累计梯度值根据

计算，A(V_n(m,j))表示在拼接线上V_n点的累计梯度误差，j_m表示该拼接线上总的像素个数，m表示第几条拼接线，即m=1～5；

特征点定位单元（U5），在图像I_s(x)的最优拼接线上和在图像I_t(x)上以最优拼接线为中心的ε=2邻域内分别提取特征点，主要由多尺度Harris特征点子单元（U51）、分组特征点子单元（U52）和Laplace确定特征点子单元（U53）串接而成，其中：

多尺度Harris特征点子单元（U51），对图像I_s(x)和I_t(x)利用Harris算子在多尺度空间中提取特征点并记录每个特征点的响应值R，设尺度空间δ=13，

$M=\left(\begin{array}{cc}A& D\\ C& B\end{array}\right),$ R=(AB-CD)²-k(A+B)²， $A=w(x,y)\⊗I_x^2,$ $B=w(x,y)\⊗I_y^2$ $C=D=w(x,y)\⊗I_x{I}_y$ w(x,y)表示某一点的像素值，通常情况下k=0.04～0.06，当R大于阈值T时，就认为该点为特征点，T为在图像I_s(x)中拼接线上所有像素点响应值R的平均值，在I_t(x)中则为拼接线ε邻域内所有像素点响应值R的平均值；

分组特征点子单元（U52），计算每幅图像中检测出来的两两特征点之间的欧氏距离，将欧式距离值小于等于3的特征点归为一组；

Laplace确定特征点子单元（U53），将分组特征点在每组内按照R值从大到小的顺序排列，在每组内只保留前三个特征点，将其余的特征点删除，再对保留的特征点计算Laplace函数值，并标记为NL(x,y,δ_n)，

$\mathrm{NL}={{\mathrm{\δ}}_D}^2|\frac{{\∂}^{2}G(x,y,{\mathrm{\δ}}_D)}{{\∂x}^2}+\frac{{\∂}^{2}G(x,y,{\mathrm{\δ}}_D)}{{\∂y}^2}|*I(x,y),$ $G(x,y,{\mathrm{\δ}}_D)=1/2\mathrm{\π}{{\mathrm{\δ}}_D}^2\exp (-((x^2+y^2)/-{{2\mathrm{\δ}}_D}^2))$

G(x,y,δ_D)表示高斯核函数，δ_D=sδ_n，s=0.7，x,y表示该点的坐标值，δ_n表示该点所在的尺度空间，如果该点的Laplace函数值是局部极值点即NL(x,y,δ_n)>NL(x,y,δ_l),l∈{n-1,n+1}，则将该点作为最终的特征点，否则就将该点删除；

特征匹配单元（U6），匹配检测出来的特征点，由特征点描述子单元（U61）、计算匹配点子单元（U62）串接而成，其中：

特征点描述子单元（U61），将检测出的特征点用SURF算子描述，将以特征点为中心20s×20s大小区域分为4×4共16个子区域，每一个子区域生成4维的描述符v=(∑dx,∑|dx|,∑dy,∑|dy|)，dx和dy分别为每个像素点经过哈尔小波在x方向和y方向的响应值，对子区域内所有像素点在x方向上的响应值求和并标记为∑dx，对子区域内所有像素点在x方向上响应值绝对值求和并标记为∑|dx|，将16个子区域的向量分别加入特征向量中形成64维的特征向量；

计算匹配点子单元（U62），P_s为在图像I_s(x)的拼接线上检测出的特征点的集合，P_t为在图像I_t(x)拼接线的ε邻域内检测到的特征点的集合，计算匹配的步骤为：

第一步，为集合P_s中的任意一点，以该点为圆心在半径为γ=2的邻域记为

从集合P_t中选取位于

内的特征点集并记为

第二步，分别计算

的特征向量与集合

中每一个特征点特征向量之间的欧氏距离，当最小欧氏距离除以第二小欧氏距离的商值小于0.8时，则认为

与

中最小欧氏距离的像素点是一对匹配点，并分别从集合p_s和p_t中将这两个点删除，

第三步，重复以上两步直到集合P_s为空为止；

形变传播和重构单元（U7），根据特征匹配单元U6得到的匹配特征点，获取形变向量并将形变向量平滑的传播到图像I_t(x)中并通过重构获得拼接后的图像，主要由获取形变向量子单元（U71）、平滑传播形变向量子单元（U72）和图像重构子单元（U73）串接而成，其中：

获取形变向量子单元（U71），为了使结构和颜色能平滑的从图像I_s(x)过渡到图像I_t(x)，需要对图像I_t(x)中的每一个像素点定义一个形变向量，对于在特征匹配单元U6中检测到的匹配点

则形变向量表示为 $V\left(p_t^l\right)=\{V_x\left(p_t^l\right)V_y\left(p_t^l\right),V_{\mathrm{\Δx}}\left(p_t^l\right),V_{\mathrm{\Δy}}\left(p_t^l\right)\},$ 其中和表示匹配点的坐标位置在x轴和y轴的变化，

和

表示梯度值在x轴和y轴上的变化；

平滑传播形变向量子单元（U72），按以下三种情况将形变向量平滑的传播到图像I_t(x)中：

第一种，当该点位于图像I_t(x)的拼接线上并且是特征匹配单元U6中匹配的特征点时，形变向量已在U71中求取得，

第二种，当该点位于图像I_t(x)的拼接线上但不是匹配的特征点时，采用Neumann边界条件即来求得ΔV(p)=0，

第三种，当该点不在图像I_t(x)的拼接线上时，形变向量未知通过形变传递计算求得，为了能将形变向量平滑的传播到目标图像I_t(x)，也就是使形变最小化，即通过求解下列方程的最小值：

$V^{*}=\arg \underset{V}{\min }\underset{p\∈I_t}{\∫\∫}{\left|\right|\▿V\left|\right|}^2\mathrm{dp}$

上式中的梯度算子

分别对向量V中的每一个分量进行。上式等价于求解拉普拉斯方程：

$\mathrm{\ΔV}=0,\∀p\∈I_t,$ 满足 $V{|}_{{\∂I}_t}=V^{*}{|}_{{\∂I}_t}$

拉普拉斯方程是泊松方程的特殊情况，因此可以用切比雪夫加速的超松弛迭代法来快速求解。可以得到图像I_t(x)中每一个像素点的形变向量，然后利用形变向量通过最近邻内插来逆映射，得到图像I_t(x)的梯度场G_t。

图像重构单元（U73），通过形变传播得到图像I_t(x)的梯度场G_t，通过泊松编辑重构图像，在求解泊松方程时利用切比雪夫加速的超松弛迭代法来加速求解，从而有效的提高重构速度。

Images