CN104463786A - 一种移动机器人图像拼接方法及装置 - Google Patents

Abstract

本发明公开了一种图像拼接方法及装置，适用于双目视觉移动机器人平台，利用图像拼接技术对机器人双目采集的图像进行拼接，可以增大机器人视野，便于机器人更好地完成定位和环境重建。本发明方法包括：采用SURF特征提取图像序列特征点，形成特征向量；搜索特征向量空间，寻找特征匹配点；采用随机采样一致性算法(RANSAC)鲁棒地估计变换模型参数；利用变换模型对待配准图像进行坐标变换，实现图像序列的坐标统一；根据对应匹配点的亮度值，估计出图像序列亮度空间满足的变换关系，实现曝光度补偿；采用像素标签方法确定图像重叠区域像素取值，实现拼接图像去鬼影；根据最优标签值集合生成图像掩膜，对图像进行拉普拉斯金字塔融合。

Description

一种移动机器人图像拼接方法及装置

技术领域

本发明属于机器人视觉技术领域，尤其涉及一种移动机器人的图像拼接方法及装置。

背景技术

移动机器人的定位与环境重建是实现机器人自主导航以及在未知环境中完成复杂智能任务的关键技术，实际应用中单目视觉系统受其视野小的影响往往不能满足移动机器人的定位和环境重建的需要，因此双目视觉系统更受移动机器人的青睐。利用图像拼接技术对机器人双目采集的图像进行拼接，可以增大机器人视野，便于机器人更好地完成定位和环境重建。以‘玉兔号’月球车为例，‘玉兔号’是在月球表面行驶并对月球考察和收集分析样品的专用车辆，是一种特殊环境下的双目视觉移动机器人，利用图像拼接技术对‘玉兔号’双目获取的图像进行拼接，将窄视角图像融合形成宽视角的图像，宽视角图像对于月球车的定位以及月面图像重建等任务都有着实际意义。

移动机器人平台的图像拼接是指将机器人通过摄像头获取的多幅部分重叠区域的窄视角图像进行融合，形成一幅无缝高分辨率图像的技术。图像拼接可以分为图像配准和图像融合两大关键技术。图像配准技术通过寻找一种空间变换将一幅图像映射到另一幅图像，使两幅图像具有相同坐标系，且图像中重叠区域具有相同坐标。图像融合技术将已配准图像作为输入，利用融合技术形成一幅无缝高分辨率的拼接图像。

图像配准的目的就是找出一种最能描述图像之间的空间映射关系的变换模型，根据变换模型对图像进行空间变换，从而使图像对应点达到空间上一致。图像配准的一般流程为：(1)选取变换模型。根据图像成像条件，选定适合应用需求的变换模型。目前常用的一些空间变换模型有平移变换、刚性变换、仿射变换以及投影变换等。变换模型参数估计。(2)模型参数估计。利用图像信息，进行模型参数估计。根据选取信息的不同，模型参数估计的方法分为两类：基于区域(area-based)模型参数估计和基于特征(feature-based)模型参数估计。(3)图像坐标变换和插值。根据建立的空间变换模型，将输入图像转换同一坐标系中，实现图像间的坐标统一，对变换后图像非整数坐标的像素需要进行插值处理，常见的插值方法有双线性插值法、最近邻域插值法以及立方卷积插值等。

完成图像配准后，需要对配准图像重叠区域进行融合。图像融合是将多幅已配准图像中有用信息综合到一幅图像中以形成高分辨率无缝拼接图像的技术。由于移动机器人工作环境复杂，在对摄像头获取的图像进行融合时主要需要解决三个问题：第一，由于光照条件不同，图像往往存在不同强度，从而导致拼接图像产生明显的拼接缝；第二，图像配准的过程中往往难以达到完美配准，错误的配准往往会导致融合图像产生模糊(blurring)；第三，图像采集过程中运动物体的存在导致融合图像产生鬼影(ghosting)。目前的融合策略主要分为三种：平滑过渡(transitional smoothing)、最优拼接缝(optimal seam)以及像素标签算法(pixel labeling)。平滑过渡的方式通常又被称作羽化，其核心思想是根据重叠区域的像素与边界点的欧式距离为像素赋予权值，然后进行加权平均得到拼接图像。平滑过渡图像融合通过加权融合输入图像，从而实现输入图像间的平滑过渡，避免拼接图像中出现明显的拼接缝。采用加权平均的方式容易导致图像细节信息的丢失，导致拼接图像模糊，另外当输入图像重叠区域内存在运动物体时，加权平均的思想不可避免的导致拼接图像产生鬼影；另一种融合策略是最优拼接缝，其核心思想是在配准图像重叠区域寻找一条拼接缝，然后根据拼接缝位置，为拼接图像两侧选取不同输入图像信息。拼接缝由重叠区域的图像信息决定，最优拼接缝上各输入图像信息差异最小，因此通常会避开重叠区域内的运动物体和错误匹配区域，从而避免融合图像内产生模糊和鬼影。但对于配准图像间存在明显曝光度差异的情况，用最优拼接缝算法融合的图像会产生的明显拼接缝，并且最优拼接缝算法对重叠区域存在多幅图像的融合并不适用；像素标签算法的核心思想是为拼接图像的每个像素指定标签值，每个像素的信息仅由指定标签对应的输入图像决定，通过一定策略选取标签值，可避免拼接图像产生鬼影。并且像素标签算法对于图像间存在错误匹配的情况也具有较好的鲁棒性，其对图像重叠区域的图像数目没有限制，可用于多幅图像的拼接任务，因此像素标签算法是图像拼接领域应用最为广泛的方法。

发明内容

本发明提出了一种新的可用于多幅图像拼接的技术。本发明主要为了提升拼接图像质量，使得拼接结果是一幅无模糊，无拼接缝，无鬼影的高分辨率拼接图像。

本发明提出的、一种图像拼接方法，包括：

步骤1、读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅作为待配准图像；提取所述参考图像和待配准图像的特征点集合；

步骤2、对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特征点，形成匹配特征点集；

步骤3、采用投影变换描述参考图像和待配准图像间的几何变换关系，并利用所述匹配特征点集估计几何变换模型；

步骤4、利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准图像，并对参考图像进行插值，使其与配准图像具有相同的尺寸，得到配准后的参考图像；

步骤5、利用特征匹配点间的亮度值，对配准图像进行亮度变换，实现曝光度补偿；

步骤6、采用像素标签方法对配准后的参考图像和配准图像间重叠区域的像素进行处理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中，所述最优标签值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上的像素值；

步骤7、利用所述最优标签值集合生成图像掩膜，将图像掩膜分解为多频带子图，在每个子频带进行金字塔图像融合，最后重构所有频带信息形成拼接图像。

本发明提出的一种图像拼接装置，包括：

特征提取模块，读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅作为待配准图像；提取所述参考图像和待配准图像的特征点集合；

特征匹配模块，对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特征点，形成匹配特征点集；

投影变换模块，采用投影变换描述参考图像和待配准图像间的几何变换关系，并利用所述匹配特征点集估计几何变换模型；

配准模块，利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准图像，并对参考图像进行插值，使其与配准图像具有相同的尺寸，得到配准后的参考图像；

曝光度补偿模块，利用配准后的参考图像和配准图像间的特征匹配点间的亮度值，对配准图像进行亮度变换，实现曝光度补偿；

标签值获取模块，采用像素标签方法对配准后的参考图像和配准图像间重叠区域的像素进行处理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中，所述最优标签值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上的像素值；

图像融合模块，利用所述最优标签值集合生成图像掩膜，将图像掩膜分解为多频带子图，在每个子频带进行金字塔图像融合，最后重构所有频带信息形成拼接图像。

本发明采用基于特征的方法实现图像配准。在特征提取阶段采用SURF算法，SURF是一种快速的特征提取方法，其对光照，旋转以及尺度变化等均具有很好的鲁棒性。选取投影变换描述描述图像间的几何变换关系，投影变换能很好地刻画图像的旋转，尺度伸缩以及扭曲等复杂形变，是一种理想的用于刻画机器人平台获取图像的变换模型。求取变换模型参数时采用随机采样一致性算法对数据集进行拟合，使得模型对于匹配特征点集中的错误匹配具有很高的鲁棒性。综上所述，本发明使用的配准方法对参考图像和待配准图像之间存在曝光度差异以及复杂几何形变的情况都具有很好的鲁棒性，对移动机器人平台上的图像配准能取得理想的配准结果。

在图像融合阶段，本发明首先采用曝光度补偿的方法消除图像间的亮度差异，有效避免拼接图像中产生拼接缝；然后采用像素标签(pixel-labeling)的方法，按照一定策略为拼接图像每个像素选取合适标签值，使得拼接图像中的运动物体被完全保留或去除，从而消除拼接图像中的鬼影，并且像素标签方法可以处理存在错误配准的区域，使得拼接图像自然过渡。相比于平滑过渡的方式，像素标签方法使得拼接图像每个像素的信息都从一幅图像获取，使得图像细节信息被保留，从而从根本上避免了图像的模糊；根据求取的标定的结果，形成图像掩膜，将图像进行拉普拉斯金字塔融合，可以有效避免因错误匹配和曝光度差异产生的拼接缝，进一步提升拼接效果。本发明图像融合阶段的关键步骤在求取最优的标签值集合，像素标签求解是NP难问题，所以在实际应用中需要通过多项式时间的近似方法来求取局部最优解来代替全局最优解。本发明将离散的标签问题松弛到连续域内求解，采用逐步非凸非凹算法求取最优的标签集合。实验结果表明，采用逐步非凸非凹算法求取的标签集合，能保留或完全去除运动物体，从而避免了拼接图像中产生鬼影。综上所述，本发明所获得的拼接结果是一幅无模糊，无拼接缝，无鬼影的高分辨率拼接图像。

附图说明

图1为本发明中图像拼接方法的流程图；

图2(a)～(c)为本发明中基于SURF特征的图像配准结果示意图；

图3(a)～(c)为本发明中基于逐步非凸非凹算法(GNCCP)的图像拼接结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图像拼接的两大关键技术是图像配准和图像融合。本发明采用基于特征的方法实现图像配准。采用SURF算法提取图像的特征点，并形成64维特征向量，通过寻找匹配特征点估计图像间的几何变换关系，实现图像配准。本发明采用的配准算法对图像间存在曝光度差异和复杂几何形变的情况具有很好的鲁棒性，实际应用中能取得理想的配准结果。在图像融合阶段，为解决图像间曝光度差异，本发明在融合前先对图像进行曝光度补偿，可以有效去除拼接图像中的拼接缝；采用像素标签方法(pixel-labeling)完全去除或者保留运动物体，从而避免拼接图像中产生鬼影。pixel-labeling的求解是NP难(NP-HARD)问题，本发明采用GNCCP算法求取其近似解，实际应用中取得了理想结果。

图1示出了本发明提出的一种移动机器人的图像拼接方法的流程示意图。如图1所示，该方法包括：

步骤1：特征提取。从摄像头读取两幅有重叠区域的输入图像，选定一幅作为参考图像I₁，另外一幅作为待配准图像I₂。利用SURF算法提取图像的特征集合P，特征集合包含了特征点的坐标集合C＝{(x_i，y_i)|i＝1，2..M}以及特征点的64维特征描述子集合D∈R^M×64。其中M为特征点的个数。设参考图像和待配准图像的特征集合分别为P₁和P₂，每个特征集合包含了特征点的坐标信息以及特征点的描述子集合，对应的坐标集合为C₁，C₂以及描述子集合为D₁，D₂，特征点的个数分别为M₁，M₂。

步骤2：特征匹配。对待配准图像的每个特征点i∈{1，2，...，M₂}全局搜索参考图像特征向量空间j∈{1，2，...，M₁}，寻找初始匹配点，即计算待配准图像的每个特征点与参考图像的特征点之间的余弦距离d(i，j)＝1-选取特征向量之间余弦距离最小的特征点作为待配准图像当前特征点i的匹配特征点，即本发明中用代表待配准图像特征点i在参考图像中的匹配点。特征匹配结果如附图2(a)。

步骤3：变换模型参数估计。本发明采用投影变换描述参考图像I₁和待配准图像I₂间的几何变换关系，设模型变换矩阵为T∈R^3*3，即

$T=\left(\begin{array}{ccc}{t}_1& t_2& t_3\\ t_4& t_5& t_6\\ t_7& t_8& 1\end{array}\right),$

其中t₁～t₈为投影变换模型参数，采用随机采样一致性算法(RANSAC)对步骤2得到的初始匹配点集进行拟合，求取变换模型T的参数。具体步骤如下：

步骤31：从匹配特征点集中随机抽选一个RANSAC样本，即4对匹配点。用分别代表4对匹配点在参考图像和待配准图像中的索引。

步骤32：根据当前4对匹配点对计算变换矩阵T。，即

步骤33：利用当前变换模型T对待配准图像特征集合P₂进行坐标变换，得到新的坐标集合C′₂，即C′₂＝TC₂。计算此时C′₂中的内点集合S，内点是指C′₂内满足的点，其中τ为阈值。

步骤34：重复步骤31～33N次，选出N次循环中内点最多的集合S^*作为最终的匹配集，并采用最小均方误差重新计算最终的变换模型T，即

其中代表S^*在参考图像中的匹配特征点集合。

步骤4：图像变换和插值。利用上述变换矩阵T对待配准图像进行坐标变换，将待配准图像投射到参考图像平面，实现图像间的坐标统一。本发明采用反向映射的方式求取待配准图像I₂的映射结果，得到最终配准图像I′₂。顺序扫描配准图像I′₂的每个像素(X′，y′，1)，用T^-1计算出其在待配准图像I₂上的对应像素点(x，y，1)，即

$\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=T^{-1}\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)$

然后将该点的像素值赋予配准图像I′₂(x′，y′，1)，即

I′₂(x′，y′，1)＝I₂(x，y，1)。

对于坐标变换中出现的浮点数坐标(x，y，1)，采用立方卷积插值法确定I₂(x，y，1)的像素值，即利用浮点坐标(x，y，1)周围16个坐标点像素值以及变化率确定其像素值。为了便于后续拼接处理，将参考图像I₁进行填充，即新增像素处赋值为NaN，使得与配准图像I′₂具有相同尺寸，得到配准后的参考图像I′₁。配准后的参考图像I′₁和配准图像I′₂如附图2(b)、(c)。

步骤5：曝光度补偿。曝光度补偿是图像消除拼接缝的重要步骤，两幅图像处于相同亮度级，对消除拼接图像中的拼接缝有着至关重要的作用。本发明假设物体的光反射系数保持不变，图像亮度满足线性变换关系，利用对应匹配点的亮度值，估计线性变换的参数，然后利用亮度间的变换关系对整幅图像进行亮度变换，实现曝光度补偿。本发明将原始RGB图像转换到HSI空间进行曝光度补偿，在HSI空间可直接获取图像亮度值并进行调整，可以避免导致图像颜色失真。

设参考图像I′₁和配准图像I′₂的亮度值分别为e₁，e₂，两幅输入图像的亮度满足线性关系e₂＝α*e₁+β。根据步骤3筛选后的特征匹配的结果，利用线性回归估计变换参数α，β。根据求取的变换参数，对配准图像I′₂每个像素进行亮度线性变换，即e′₂＝α*e₂+β。其中e′₂为亮度变换后配准图像的亮度值，然后将HSI图像转换到RGB空间，完成曝光度补偿。

步骤6：重叠区域像素处理。对重叠区域像素的处理是拼接图像去除鬼影和模糊的核心步骤，本发明采用像素标签(pixel-labeling)方法对重叠区域像素进行处理，为拼接图像的每个像素指定标签值，每个像素的信息仅由指定标签对应的输入图像决定。

经过步骤1～5，图像配准过程完成，得到两幅配准后的图像I′₁，I′₂，此时两幅图像具有相同尺寸，且重叠区域具有相同坐标。从两幅输入图像构建拼接图像，首先需要创建与I′₁，I′₂尺寸相同的空白拼接图像C，然后为拼接图像每个像素点p_i选取一幅图像对应位置的信息作为输入，这一过程称之为像素标签问题。设P＝{p₁，p₂，p₃，..，P_n}为拼接图像像素点集合，L＝{1，2}为标签值集合，分别对应I′₁，I′₂的序号，即1表示该像素点是图像I′₁中的像素点，2表示该像素点是I′₂中的像素点。图像拼接可转化成为集合P中每一个像素p_i从标签集合L中求取一个合适的标签值，即建立集合P和集合L之间的映射：

F：P→L；F＝{f₁，f₂，f₃，..，f_n}，f_i∈L，i＝1，2...，n

其中f_i代表像素p_i的标签，即拼接图像在像素p_i处选取图像f_i对应像素的信息。经过像素标签过程，拼接图像C可根据标定结果F构建，即

$C\left(p_i\right)=I_{f_i}^{\′}\left(p_i\right),\∀p_i\∈P$

其中C(p_i)代表拼接图像在p_i处的取值，为配准图像在p_i处的取值。

求解像素标签问题中最优标签集合F，一种常用的方法是MRF能量模型。在能量模型中图像被看作Markov随机场，即图像总是趋于局部平滑。平滑先验的引入使得像素的标签不仅由观测值决定，也受到邻域内的标签影响，因此当输入图像中存在运动物体时，拼接图像往往会保留运动物体的全部信息，而忽略其他输入图像的信息，从而解决拼接图像中的鬼影问题；对于存在错误匹配的区域，平滑先验的引入可以实现图像的自然过渡。

像素标签的能量模型可以表示为

$E\left(F\right)=\underset{p}{\mathrm{\Σ}}D(p,\mathrm{fp})+\mathrm{\λ}\underset{p}{\mathrm{\Σ}}\underset{\{p,q\}\∈N}{\mathrm{\Σ}}\mathrm{Vpq}(\mathrm{fp},\mathrm{fq})$

其中D(p，fp)称之为数据代价，代表拼接图像中像素p选择输入图像时受到的惩罚。Vpq(fp，fq)称为光滑代价，代表像素p，q分别选取图像fp，fq中的值时受到的惩罚，它对应于先验知识的约束条件，即邻域内标签值不一致时会受到惩罚，{p，q}∈N其中为图像的邻域系统，代表像素p，q互为邻节点。能量模型下的最优标签集合问题转化为求解能量方程的最小值，即

F*＝argmin E(F)

在本发明中定义数据代价：

其中有效信息指原输入图像I₁，I₂中包含的信息，即无效信息是指是步骤4中的填充信息，即

定义光滑代价为：

$\mathrm{Vpq}(\mathrm{fp},\mathrm{fq})=\left|\right|I_{f_p}^{\′}\left(p\right)-I_{f_q}^{\′}\left(p\right)\left|\right|+\left|\right|I_{f_p}^{\′}\left(q\right)-I_{f_q}^{\′}\left(q\right)\left|\right|$

其中 $\left|\right|I_{f_p}^{\′}\left(p\right)-I_{f_q}^{\′}\left(p\right)\left|\right|+\left|\right|I_{f_p}^{\′}\left(q\right)-I_{f_q}^{\′}\left(q\right)\left|\right|$ 用于衡量邻域内的不一致性。由表达式可知，若像素p，q的标签值fp，fq相同时，则光滑代价为0，否则光滑代价为图像在像素p，q处的色彩空间的距离。

求解上述能量方程是NP难(NP-HARD)问题，其求解具有指数级复杂度，需进行近似处理。本发明采用逐步非凸非凹算法(GNCCP)求解能量方程近似最小值。首先将能量方程改写为矩阵形式。

E＝1/2x^TQx+Ax，

$s.t.\underset{j=1}{\overset{k}{\mathrm{\Σ}}}x(\mathrm{mk}+j)=1,\∀m\∈\{0,1,..,n-1\},x\∈{\left\{\mathrm{0,1}\right\}}^{\mathrm{nk}\×1}$

其中Q∈R^nk×nk是光滑代价的矩阵形式，A∈R^1×nk是数据代价的向量形式，x∈{0，1}^nk×1是待求标签向量，n为拼接图像总像素数，k为标签值的个数。Q，A分别满足

Q(pf_p，qf_q)＝V_pq(f_p，f_q)

A(pf_p)＝D(p，f_p)

其中f_p，f_q分别代表像素p，q的标签值。

逐步非凸非凹算法核心思想是对能量方程进行松弛，将离散的x∈{0，1}^nk×1向量放松到连续域x∈[0，1]^nk×1内求解，并对原能量函数E(x)采用以下形式隐式实现从凸松弛到凹松弛的转变，

$E_{\mathrm{\γ}}\left(x\right)=\left\{\begin{array}{c}(1+\mathrm{\γ})E\left(x\right)+{\mathrm{\γx}}^{T}x-1\≤\mathrm{\γ}\≤0\\ (1-\mathrm{\γ})E\left(x\right)+{\mathrm{\γx}}^{T}x,0\≤\mathrm{\γ}\≤1\end{array}\right.$

$s.t.{\mathrm{\Σ}}_{j=1}^{k}x(\mathrm{mk}+j)=1,\∀m\∈\{\mathrm{0,1},..,n-1\},x\∈{\left[\mathrm{0,1}\right]}^{\mathrm{nk}\×1}.$

当E_γ(x)逐步由凸松弛函数转变为凹松弛函数后，逐步非凸非凹算法求得能量方程的局部最小值，并将此时的x∈[0，1]^nk×1向量离散化为x∈{0，1}^nk×1，得到近似最优标签值集合。

算法的具体步骤如下：

步骤61：初始化初始化组合系数γ＝1。

步骤62：求取能量函数下降方向d；

下降方向d＝y-x，其中为[0，1]^nk空间内E_γ(x)取值下降速度最快的方向。本发明采用如下顺序赋值的方法求取y，即，

$\mathrm{yia}=\left\{\begin{array}{cc}1,& \mathrm{ifa}={\arg \min }_c{\▿E}_{\mathrm{\γ}}{\left(x\right)}_{\mathrm{ic}}\\ 0,& \mathrm{otherwise}\end{array}\right.,i\∈\{\mathrm{1,2},..,n\}$

步骤63：求取步长α；

确定当前点沿下降方向的移动步长α

α＝arg min_αE_γ(x+α(y-x))

步骤64：更新待求向量x

$\hat{x}=x+\mathrm{\α}(y-x)$

如果更新后的满足条件

$\&dtri;E_{\mathrm{\&gamma;}}{\left(\hat{x}\right)}^T(\hat{x}-y)<\mathrm{\&epsiv;}|E\left(\hat{x}\right)-E\left(x\right)|,$

则证明x已经收敛，其中ε为无穷小的常数。转向步骤65，否则转向步骤64。

步骤65：更新组合系数γ

$\widehat{\mathrm{\&gamma;}}=\mathrm{\&gamma;}-\mathrm{d\&gamma;}.$

如果更新后停止循环，转向步骤66，否则转向步骤62。

步骤66：将输出连续向量x转换为离散的标签值。

将向量x转换为n*k的矩阵，导出最优标签值集合F^*＝argmax_k(x)，此时即得到每个像素的离散标签值。像素标签结果如附图3(a)，其中蓝色区域代表标签值为1，即拼接图像选择参考图像I′₁对应位置的信息，红色区域代表标签值为2，即拼接选择配准图像I′₂对应位置的信息。根据标签值集合F^*直接选择I′₁，I′₂像素值的拼接结果如附图3(b)。

步骤7：金字塔图像融合。根据步骤6的像素标签结果，可以直接形成拼接图像，但此时图像中仍可能存在一定程度的拼接缝和模糊。为进一步提升拼接图像质量，采用金字塔融合作为后处理，实现图像间的平滑过渡。根据步骤6生成的最优标签值集合生成图像掩膜，将图像分解为多频带子图，在每个频带进行图像融合，最后重构所有频带信息形成拼接图像。算法的具体步骤如下：

步骤71：为两幅已配准图像I′₁，I′₂建立5层拉普拉斯图像金字塔LI₁，LI₂。

步骤72：根据步骤6的最优标签集合为I′₁，I′₂确定掩膜R₁，R₂，即

$R_i\left(p\right)=\left\{\begin{array}{cc}1& \mathrm{if}{f}_p=i\\ 0& \mathrm{otherwise}\end{array}\right.$

然后为掩膜构建5层高斯金字塔GR₁，GR₂。

步骤73：在金子塔的各个图层，对图像进行融合，即

LS_l(p)＝GR_1l(p)LI_1l(p)+GR_2l(p)LI_2l(p)；l＝1，2，..，5

其中p为图像的像素点，GR_il，LI_il分别为图像I′_i在第l层的掩膜和图像子带，LS_l代表图像LI₁，LI₂在图像金字塔第l层的融合结果。

步骤74：根据金字塔LS_l重建最终拼接图像。金字塔融合结果如附图3(c)所示。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像拼接方法，包括：

步骤1、读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅作为待配准图像；提取所述参考图像和待配准图像的特征点集合；

步骤2、对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特征点，形成匹配特征点集；

步骤3、采用投影变换描述参考图像和待配准图像间的几何变换关系，并利用所述匹配特征点集估计几何变换模型；

步骤4、利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准图像，并对参考图像进行填充，使其与配准图像具有相同的尺寸，得到配准后的参考图像；

步骤5、利用特征匹配点间的亮度值，对配准图像进行亮度变换，实现曝光度补偿；

步骤6、采用像素标签方法对配准后的参考图像和配准图像间重叠区域的像素进行处理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中，所述最优标签值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上的像素值；

步骤7、利用所述最优标签值集合生成图像掩膜，将图像及图像掩膜分解为多频带子图，在每个子频带进行融合，最后重构所有频带信息形成拼接图像。

2.如权利要求1所述的方法，其中，步骤3中如下求取几何变换模型：

步骤31：从所述匹配特征点集合中随机抽取4对匹配特征点；

步骤32：根据当前4对匹配特征点计算得到当前几何变换模型T：

其中，分别代表所述4匹配特征点在参考图像和待配准图像中的索引，C₁(w)和分别表示在图像中的坐标；

步骤33：利用当前几何变换模型T对待配准图像的特征点集合进行坐标变换，得到新的坐标集合C′₂；计算C′₂中的内点集合S，内点是指C′₂内满足τ的点，其中τ为阈值；

步骤34：重复执行步骤31-33N次，N为预定的整数，选出N次循环中内点最多的集合S^*作为最终的匹配集，并采用最小均方误差重新计算最终的几何变换模型T，即

其中代表S^*在参考图像中的匹配特征点集合。

3.如权利要求1所述的方法，其中，步骤4中首先利用得到的几何变换模型对待配准图像进行坐标变换，将待配准图像投影到参考图像平面，得到配准图像，之后顺序扫描配准图像的每个像素，用几何变换模型计算出其在待配准图像上对应的像素点，将该像素点的像素值赋予配准图像上对应的像素点；对于坐标变换中出现的浮点坐标，采用立方卷积插值法确定其像素值。

4.如权利要求1所述的方法，其中，步骤6中最优标签集合如下表示：

F^*＝argmin E(F)

其中，E(F)为像素标签的能量模型，如下表示：

$E\left(F\right)=\underset{p}{\mathrm{\&Sigma;}}D(p,\mathrm{fp})+\mathrm{\&lambda;}\underset{p}{\mathrm{\&Sigma;}}\underset{\{p,q\}\&Element;N}{\mathrm{\&Sigma;}}\mathrm{Vpq}(\mathrm{fp},\mathrm{fq})$

其中，D(p，fp)称之为数据代价，Vpq(fp，fq)称为光滑代价，p和q为拼接图像中的像素；fp、fq表示像素p和q的标签值；数据代价如下定义：

光滑代价如下定义：

$\mathrm{Vpq}(\mathrm{fp},\mathrm{fq})=\left|\right|I_{f_p}^{\&prime;}\left(p\right)-I_{f_q}^{\&prime;}\left(p\right)\left|\right|+\left|\right|I_{f_q}^{\&prime;}\left(q\right)-I_{f_q}^{\&prime;}\left(q\right)\left|\right|$

其中，表示标签fp对应图像在像素p处的像素值；表示标签fq对应图像在像素q处的像素值。

5.如权利要求4所述的方法，其中，采用逐步非凸非凹算法求解所述能量模型。

6.如权利要求5所述的方法，其中，采用逐步非凸非凹算法求解所述能量模型具体如下：

将能量方程改写为能量函数：

E(x)＝1/2x^TQx+Ax，

$s.t.\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}x(\mathrm{mk}+j)=1,\&ForAll;m\&Element;\{\mathrm{0,1},..,n-1\},x\&Element;\{\mathrm{0,1}{\}}^{\mathrm{nk}\&times;1}$

其中Q∈R^nk×nk是光滑代价的矩阵形式，A∈R^1×nk是数据代价的向量形式，x∈{0，1}^nk×1是待求标签列向量，n为图像总像素数，k为标签值的个数；

然后将所述能量方程进行松弛，将离散的x∈{0，1}^nk×1列向量放松到连续域x∈[0，1]^nk×1内求解，并对能量函数E(x)采用以下形式隐式实现从凸松弛到凹松弛的转变：

$E_{\mathrm{\&gamma;}}\left(x\right)=\left\{\begin{array}{c}(1+\mathrm{\&gamma;})E\left(x\right)+\mathrm{\&gamma;}{x}^{T}x-1\&le;\mathrm{\&gamma;}\&le;0\\ (1-\mathrm{\&gamma;})E\left(x\right)+\mathrm{\&gamma;}{x}^{T}x0\&le;\mathrm{\&gamma;}\&le;1\end{array}\right.$

$s.t.{\mathrm{\&Sigma;}}_{j=1}^{k}x(\mathrm{mk}+j)=1,\&ForAll;m\&Element;\{\mathrm{0,1},..,n-1\}x\&Element;{\left[\mathrm{0,1}\right]}^{\mathrm{nk}\&times;1};$

其中，γ为组合系数；当E_γ(x)逐步由凸松弛函数向凹松弛函数转化后，逐步非凸非凹算法求得能量方程的局部最小值，并将此时的x∈[0，1]^nk×1向量离散化为x∈{0，1}^nk×1，得到近似最优标签值集合。

7.如权利要求1所述的方法，其中，步骤7具体包括：

步骤71：为参考图像和配准图像I′₁I′₂建立5层拉普拉斯图像金字塔LI₁，LI₂。

步骤72：根据步骤6的最优标签集合为参考图像和配准图像I′₁I′₂确定掩膜R₁，R₂，即

$R_i\left(p\right)=\left\{\begin{array}{cc}1& \mathrm{if}{f}_p=i\\ 0& \mathrm{otherwise}\end{array}\right.$

其中，f_p为像素p的标签值，i＝1或2；然后为掩膜构建5层高斯金字塔GR₁，GR₂；

步骤73：在金子塔的各个图层，对图像进行融合，即

LS_l(p)＝GR_1l(p)LI_1l(p)+GR_2l(p)LI_2l(p)；l＝1，2，..，5

其中p为图像的像素点，GR_il，LI_il分别为参考图像和配准图像I′_i在第l层的掩膜和图像子带，LS_l代表图像LI₁，LI₂在图像金字塔第l层的融合结果；

步骤74：根据金字塔LS_l重建最终拼接图像。

8.如权利要求1所述的方法，其中，步骤1中采用SURF算法提取参考图像和待配准图像的特征点集合；所述特征点集合包括每个特征点的坐标和特征描述子。

9.如权利要求8所述的方法，其中，步骤2中通过计算待配准图像的每个特征点的特征描述子与参考图像的特征点的特征描述子之间的余弦距离，选取余弦距离最小的特征点作为待配准图像中当前特征点的匹配特征点。

10.一种图像拼接装置，包括：

特征提取模块，读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅作为待配准图像；提取所述参考图像和待配准图像的特征点集合；

特征匹配模块，对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特征点，形成匹配特征点集；

投影变换模块，采用投影变换描述参考图像和待配准图像间的几何变换关系，并利用所述匹配特征点集估计几何变换模型；

配准模块，利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准图像，并对参考图像进行插值，使其与配准图像具有相同的尺寸，得到配准后的参考图像；

曝光度补偿模块，利用配准后的参考图像和配准图像间的特征匹配点间的亮度值，对配准图像进行亮度变换，实现曝光度补偿；

标签值获取模块，采用像素标签方法对配准后的参考图像和配准图像间重叠区域的像素进行处理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中，所述最优标签值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上的像素值；

图像融合模块，利用所述最优标签值集合生成图像掩膜，将图像掩膜分解为多频带子图，在每个子频带进行金字塔图像融合，最后重构所有频带信息形成拼接图像。