CN113506216A - 一种全景图像拼接的快速缝合线寻优方法 - Google Patents

Abstract

本发明公开了一种全景图像拼接的快速缝合线寻优方法。适用于计算机图像处理使用。先确定参考图像和待配准图像的重叠区域；然后构建重叠区域像素点的能量函数，并确定缝合线的起止点；接着根据确定的起止点建立重叠区域内像素点父节点和延伸点的数学模型，并以此来找到最优缝合线；最后，在缝合线两边分别取参考图像和待配准图像，进行对齐融合，完成图像拼接。本方法较其他缝合线寻优算法的优势：算法的计算量和复杂度大大降低，消除了重影和几何错位现象，改善了图像拼接的效果。

Description

一种全景图像拼接的快速缝合线寻优方法

技术领域

本发明涉及一种快速缝合线寻优方法，适用于图像处理使用的一种全景图像拼接的快速缝合线寻优方法，属于计算机视觉领域。

背景技术

图像拼接主要包括图像配准和图像融合两个方面，图像配准是图像拼接的关键和核心，一个好的图像配准算法可以解决图像拼接中出现的很多问题，但是有些问题在图像配准步骤却不能解决。当待拼接的两张图像中存在运动的物体或人，这种情况容易导致最后的拼接结果中出现两个相同的物体或人，破坏图像整体质量；还有待拼接的图像显著区域存在一定的尺度和旋转变换，为了保证整体拼接图像的质量，图像配准难以兼顾，出现区域重影的现象。

对于上述问题，基于缝合线寻优的图像融合方法却是很好解决，其在参考图像和待配准图像重叠区域内，找到一条最优缝合线，在缝合线的两侧分别取参考图像和待配准图像，达到图像融合的目的，消除图像拼接过程中出现的重影问题。但是当待拼接图像的像素量级过大时，缝合线寻优过程就会变得很慢，但是若缝合线寻优策略过于简单，缝合线的质量又无法保证，因此为了保证缝合线寻优的质量和速度，本发明提出了一种快速缝合线寻优方法。同时在最优缝合线确定方面，前人也做了大量工作。

专利(郝志峰,王锐,王珏,等.一种全景图像拼接最优缝合线搜索方法[P].广东省：CN108198135B,2020-06-09.)以最小化图像的颜色差和结构差为目标，构造最优缝合线搜索模型，并运用遗传算法，找到一组最优缝合线集合，再使用图像质量评价算法，从中找到一条最优的缝合线；专利(田玉敏,孙爱风,王笛,等.基于缝合线的无人机航拍图像拼接方法[P].陕西省：CN107146213B,2020-06-02.)通过求解缝合线所在的最小连通子区域，并在该区域内使用递归回溯搜索最短路径确定缝合线的位置，实现图像拼接；专利(陈捷,许治,胡湖，等.一种用于图像拼接的最优缝合线搜索方法[P].湖南：CN106485658A,2017-03-08.)定义了与图像高度相同维数的向量作为备选缝合线，其中元素为每一行的最优拼接点，将此备选缝合线分为多个子缝合线，通过随机分组优化策略，优化各子缝合线，并组合优化后的子缝合线，得到最优缝合线；专利(李云松,李超峰,杜建超,等.基于图像距离变换的最佳缝合线搜寻方法[P].陕西省：CN109961399A,2019-07-02.)通过相机内外参得到距离变换图像，对投影变换图像进行距离变换得到距离图像，然后比较距离图像得到最佳缝合线；专利(付永庆,宋宝森,张林,等.基于边缘分类信息的图像拼接方法[P].黑龙江：CN101794439A,2010-08-04.)则是找到两幅图像的两个公共边界点，并直接用过这两个点的直线作为缝合线，该方法简单，快速，但是缝合线质量不高，不适用于复杂场景图像；专利(王照金.一种图像拼接处理方法、移动终端以及计算机可读存储介质[P].广东：CN107240069A,2017-10-10.)将待拼接的两张图像进行栅格化处理，通过计算像素强度方差最小的算法，搜索出每一行方差最小的格子，并对新得到的格子重新栅格化，迭代逼近，最终得到最佳缝合点，进而得到最佳缝合线；专利(吴军,高炯笠,刘祺昌,叶松,彭智勇,邓仕杰.一种无参数影像自然拼接方法[P].广西壮族自治区：CN109859105A,2019-06-07.)和文献(高炯笠,吴军,刘祺昌,徐刚.统筹图像变换与缝合线生成的无参数影像拼接[J].中国图象图形学报,2020,25(05):1007-1018.)则是利用特征点集进行三角构网，使用特征点连线构造缝合线；文献(郑悦,程红,孙文邦.邻域最短距离法寻找最佳拼接缝[J].中国图象图形学报,2014,19(02):227-233.)将8邻域内各像素到目标距离最短的像素点作为拼接点，以此找到最佳缝合线；文献(方贤勇,潘志庚,徐丹.图像拼接的改进算法[J].计算机辅助设计与图形学学报,2003(11):1362-1365+1457-1458.)为代表的一大批文献则采用动态规划的方法寻找像素点下一行临近三个像素点能量值最小的，从而得到一组缝合线，最后通过比较缝合线总体能量值的大小，选出最优缝合线。

发明内容

本发明的目的是要提供一种全景图像拼接的快速缝合线寻优方法，解决图像拼接中的重影问题，以及因图像像素数量过大，而导致缝合线寻找效率过低，使得算法兼顾速度和质量。

为解决以上技术问题，本发明全景图像拼接的快速缝合线寻优方法，其特征在于本方法包括如下步骤：

步骤1)首先获取两张有部分重叠的图像，将一张作为参考图像，将另一张作为待配准图；通过将参考图像和待配准图像变换到同一坐标系下，得到同尺寸大小的参考图像和待配准图像，之后通过二值化从而确定参考图像和待配准图像重叠区域；

步骤2)通过图像重叠区域获得重叠区域的像素坐标值，之后构建出重叠区域像素点的能量函数；

步骤3)分别提取参考图像和待配准图像各自重叠区域轮廓的四个顶点坐标，在四个顶点坐标确定缝合线的起止点，利用缝合线的起止点作为对角线建立矩形结构的缝合线寻优区域；

步骤4)通过确定的起止点建立重叠区域内像素点父节点集合和延伸点集合的数学模型；

步骤5)以像素点的父节点集合和延伸点集合的数学模型为基础，在缝合线起止点构成的矩形寻优区域内按照像素点之间能量差值最小准测找到最佳的像素路径，即最优缝合线；

步骤6)在确定的缝合线两边分别取参考图像和待配准图像，进行对齐，完成参考图像和待配准图像的拼接构成两张图像的全景图像。

所述的步骤1)的具体过程为：

步骤11)对待拼接的两张图像I₁和I₂进行SIFT(Scale Invariant FeatureTransform)特征提取，并使用欧式距离进行特征匹配，得到粗匹配点对集合。

步骤12)使用RANSAC(Random Sample Consensus)算法对得到的粗匹配点对进行误匹配点剔除，得到精匹配点对集合和图像变换矩阵。

步骤13)基于图像变换矩阵，将待拼接的两张图像变换到同一坐标系下，得到同尺寸大小的参考图像I′₁和待配准图像I′₂。

步骤14)对参考图像和待配准图像进行灰度化，并使用阈值变换法得到参考图像和待配准图像的二值图像。

步骤15)将参考图像和待配准图像的二值图像进行逻辑与运算，得到参考图像和待配准图像重叠区域的二值图像。

所述的步骤2)的具体过程为：

步骤21)得到重叠区域的二值图像后，重叠区域位置在图像中为白色，其他位置均为黑色，提取其中像素点为白色的坐标(x_i,y_i)，其中i∈(1,n)，n是重叠区域像素点数量的总数。

步骤22)基于HSV(Hue，Saturation，Value)颜色空间建立重叠区域颜色差异函数E_HSV(x_i,y_i)：

E_HSV(x_i,y_i)＝ω|I′₁ ^V(x_i,y_i)-I′₂ ^V(x_i,y_i)|+(1-ω)|I′₁ ^S(x_i,y_i)-I′₂ ^S(x_i,y_i)| (1)

式中：i∈(1,n)，I′₁ ^V、I′₂ ^V、I′₁ ^S、I′₂ ^S是参考图像I′₁和待配准图像I′₂在HSV颜色空间下明度V和饱和度S两个通道对应的图像矩阵，(x_i,y_i)是重叠区域的像素坐标值，ω是明度的权重值，取值0.95。

步骤23)基于改进Sobel算子建立重叠区域梯度差异函数：

E_g(x_i,y_i)＝|T_x(I′₁ ^gray(x_i,y_i)-I′₂ ^gray(x_i,y_i))|+|T_y(I′₁ ^gray(x_i,y_i)-I′₂ ^gray(x_i,y_i))| (2)

式中：i∈(1,n)，I′₁ ^gray和I′₂ ^gray是参考图像I′₁和待配准图像I′₂对应的灰度图像矩阵，T_x和T_y是图像x方向和y方向的改进的Sobel算子：

步骤24)由式(1)和式(2)建立重叠区域每个像素节点的能量函数E(x,y)：

式中：Q₁是重叠区域所在的区域。

所述的步骤3)的具体过程为：

步骤31)针对重叠区域上存在明确起止点两张重叠图像进行说明，在图像变换过程中，参考图像的形状没有发生变换，只增大参考图像整体尺寸，而待配准图像形状与参考图像比较发生了较大变化，记录参考图像像素点的坐标值范围如下：

式中：x坐标值对应参考图像的行数，y坐标值对应参考图像的列数，h₁、h₂是参考图像行数的最小值和最大值，l₁、l₂是参考图像列数的最小值和最大值；

步骤32)定义重叠区域轮廓的从左上角顺时针依次四个顶点a、b、c、d的坐标为(x_a,y_a)、(x_b,y_b)、(x_c,y_c)、(x_d,y_d)；

步骤33)遍历重叠区域所有像素点，若存在某一像素点的x坐标等于参考图像行数的最小值h₁，则说明两张图像存在缝合线的起始点分别为为(x_a,y_a)、终点为(x_c,y_c)；若存在某一像素点的x坐标等于参考图像行数的最大值h₂，则说明两张图像存在的缝合线起点为(x_b,y_b)、终点为(x_d,y_d)；

步骤34)以起止点连线作为对角线，形成矩形区域Q₂，将其作为缝合线寻优区域。

所述重叠区域轮廓的四个顶点的坐标(x_a,y_a)、(x_b,y_b)、(x_c,y_c)、(x_d,y_d)，由于定义的四个顶点坐标的具体值未知，在确定好缝合线起止点是那种形式后，就需要具体求出起止点所对应的坐标值，具体如下：：

步骤331)若缝合线起点为(x_a,y_a)、终点为(x_c,y_c)，则分别统计重叠区域内像素点x坐标值等于参考图像行数的最小值h₁的所有像素点和像素点y坐标值等于参考图像列数的最小值l₂的所有像素点，得到参考图像行数的最小值集合Ψ₁和参考图像列数的最小值集合Ψ₂；并比较Ψ₁中所有像素点的y坐标值大小，找到Ψ₁中y坐标值最小的像素点，该像素点即为起点(x_a,y_a)；同时比较Ψ₂中所有像素点的x坐标值大小，找到Ψ₂中x坐标值最大的像素点，该像素点就是终点(x_c,y_c)；

步骤332)若缝合线起点为(x_b,y_b)、终点为(x_d,y_d)，则分别统计重叠区域内像素点x坐标值等于参考图像列数的最大值h₂的所有像素点和像素点y坐标值等于参考图像列数的最大值l₂的所有像素点，得到对应参考图像列数的最大值集合Ψ′₁和参考图像列数的最大值集合Ψ′₂；并比较Ψ′₁中所有像素点的y坐标值大小，找到Ψ′₁中y坐标值最小的像素点，该像素点即为终点(x_d,y_d)；同时比较Ψ′₂中所有像素点的x坐标值大小，找到Ψ′₂中x坐标值最小的像素点，该像素点就是起点(x_b,y_b)；

所述的步骤4)的具体过程为：

步骤41)通过计算缝合线寻优区域内像素点和其临近的上下左右四个点的能量函数差值，即称为路径代价：

式中：(x,y)是像素节点的坐标值，E是某一像素点的能量值，E_xy是某一像素点与相邻像素的路径代价，(r,c)是像素节点周围上下左右四个节点的坐标值，Q₂是缝合线起点和终点形成的矩形区域包含的所有像素点集合；

步骤42)得到某一像素点与相邻点的路径代价路径代价后，将该代价值和坐标保存到一个数组中，该数组J(r,c)为：

J(r,c)＝[r,c,E_xy(r,c)] (6)

步骤43)根据步骤3)确定缝合线起止点有两种情况，对应的缝合线也是两种情况，则按照缝合线起止点的不同情况，并综合式(5)和式(6)建立像素点的父节点集合和延伸点集合；

步骤44)若缝合线起止点为(x_b,y_b)和(x_d,y_d)，其缝合线寻优区域内像素点的父节点集合和延伸点集合如下：

步骤45)若缝合线起止点为(x_a,y_a)和(x_c,y_c)，其缝合线寻优区域内像素点的父节点集合和延伸点集合如下：

所述的步骤5)的具体过程为：

步骤51)定义寻优区域内像素点的待处理集合Φ、寻优区域内每个像素节点对应的最佳路径像素点坐标集合Path、寻优区域内每个像素节点对应的最小路径代价集合Γ，根据实际情况缝合线起点(x_起,y_起)为(x_a,y_a)或(x_b,y_b)，终点(x_终,y_终)为(x_c,y_c)或(x_d,y_d)；

步骤52)初始化：将起点(x_起,y_起)及其路径代价放入待处理集合Φ＝{[x_起,y_起,0]}，并使

之后循环执行步骤53)至步骤57)；

步骤53)依照步骤41)至步骤44)计算待处理集合Φ{1}元素的父节点和延伸点集合，得到父节点集合Ω_父和延伸点集合Ω_延；

步骤54)判断父节点集合和延伸点集合中元素的数量：若延伸点集合Ω_延为空，则说明该像素节点是终点，则执行步骤56)，反之则执行下一步；

步骤55)更新延伸点集合Ω_延：若为Ω_延第一个元素数量和Φ中最后一个元素坐标值相同，则令删除Ω_延第一个元素得到新的延伸点集合Ω_延＝Ω′_延，反之则执行下一步；

步骤56)增加待处理集合中Φ的元素：将延伸点集合Ω_延加入到Φ中，得到新的处理集合Φ′＝{Φ,Ω_延}；

步骤57)更新最小路径代价集合Γ和最小路径像素坐标值集合Path；

步骤58)更新待处理集合Φ′：删除待处理集合Φ′中的Φ′{1}元素，进而使得Φ′{2}元素进到Φ′{1}元素的位置，得到新的待处理集合Φ″以及新的Φ″{1}元素，为了便于之后的程序循环，将Φ＝Φ″，则Φ{1}＝Φ″{1}；

步骤59)循环判断条件：待处理集合Φ是否为空集，若为空集，说明寻优区域内所有像素点已经处理完毕，输出终点对应最佳路径像素点坐标集合Path(x_终,y_终)，其中包含从起点到终点最佳缝合线上所有像素点的坐标值，反之则执行步骤53)。

所述的步骤57)的具体过程为：

步骤571)由步骤41)至步骤44)可知，父节点集合元素数量只有0、1、2三种情况，以这三种情况来更新最小路径代价集合Γ和最小路径像素坐标值集合Path；

步骤572)若父节点集合Ω_父元素数量为0，说明该像素点(Ω_父{1}(1)，Ω_父{1}(2))是起点，则令Γ(x_起,y_起)＝0，Path(x_起,y_起)＝[(x_起,y_起)]。

步骤573)若Ω_父元素数量为1，把Ω_父{1}中的路径代价与Ω_父中唯一父节点对应的最小路径代价Γ(Ω_父{1}(1)，Ω_父{1}(2))相加，将得到的和作为该像素节点的最小路径代价更新入Γ，并将其父节点对应最小路径坐标集和和该像素节点坐标组合成新的路径坐标值集合更新入Path；

步骤574)若Ω_父元素数量为2，比较Ω_父中两个父节点的路径代价值和其对应的最小路径代价相加并比较大小，选取和较小对应父节点最小代价的和作为该像素节点的最小路径代价更新入Γ，并将其父节点对应最小路径坐标集和和该像素节点坐标组合成新的路径坐标值集合更新入Path。

步骤61)得到终点对应的最佳路径像素点坐标集合Path(x_终,y_终)，其像素点坐标连线即为最优缝合线，并求得缝合线上所有像素点坐标x值的最小值x_min和x_max。

步骤62)将图像按照缝合线像素点坐标的x值，即对应图像的行数分为三部分，其表现形式为：

式中：I_w和I_h是同尺寸的参考图像和待配准图像的宽和高，

是分别为三部分的像素点集合；

步骤63)在

和

像素点对应部分取待配准图像的像素值，在

部分以缝合线为界，在缝合线左边取参考图像I′₁,右边取待配准图像I′₂，最终完成图像拼接。

有益效果:

本文方法简化了缝合线寻优的步骤，降低了算法复杂度，加快了算法速度，消除了图像拼接过程中的重影问题，改善了图像拼接效果，相比于其他缝合线寻优方法，本方法兼顾了算法的速度和质量，使得算法鲁棒性更好。

本方法利用缝合线的起止点构建了寻优区域，有效缩小了缝合线寻优区域，并依据起止点的位置关系建立了像素点的父节点和延伸点数学模型，减少了每个像素点的计算量，同时为了保证缝合线的质量，缝合线寻优遍布了整个寻优区域，保证了缝合线的准确度，提高了算法的鲁棒性，改善了图像拼接过程。

附图说明

图1是本发明全景图像拼接的快速缝合线寻优方法中的缝合线的两种情况。

图2是本发明的两种缝合的起止点情况对应的父节点和延伸点示意图。

图3是本发明的两种缝合的起止点情况对应父节点和延伸点的九种表现形式。

图4是本发明的基于缝合线寻优的图像拼接方法流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

如图3所示，本发明的全景图像拼接的快速缝合线寻优方法，其包括如下步骤：

步骤1)首先获取两张有部分重叠的图像，将一张作为参考图像，将另一张作为待配准图；通过将参考图像和待配准图像变换到同一坐标系下，得到同尺寸大小的参考图像和待配准图像，之后通过二值化从而确定参考图像和待配准图像重叠区域；

步骤11)对待拼接的两张图像I₁和I₂进行SIFT(Scale Invariant FeatureTransform)特征提取，并使用欧式距离进行特征匹配，得到粗匹配点对集合。

步骤12)使用RANSAC(Random Sample Consensus)算法对得到的粗匹配点对进行误匹配点剔除，得到精匹配点对集合和图像变换矩阵。

步骤13)基于图像变换矩阵，将待拼接的两张图像变换到同一坐标系下，得到同尺寸大小的参考图像I′₁和待配准图像I′₂。

步骤14)对参考图像和待配准图像进行灰度化，并使用阈值变换法得到参考图像和待配准图像的二值图像。

步骤15)将参考图像和待配准图像的二值图像进行逻辑与运算，得到参考图像和待配准图像重叠区域的二值图像。

步骤2)通过图像重叠区域获得重叠区域的像素坐标值，之后构建出重叠区域像素点的能量函数；

步骤21)得到重叠区域的二值图像后，重叠区域位置在图像中为白色，其他位置均为黑色，提取其中像素点为白色的坐标(x_i,y_i)，其中i∈(1,n)，n是重叠区域像素点数量的总数。

步骤22)基于HSV(Hue，Saturation，Value)颜色空间建立重叠区域颜色差异函数E_HSV(x_i,y_i)：

E_HSV(x_i,y_i)＝ω|I′₁ ^V(x_i,y_i)-I′₂ ^V(x_i,y_i)|+(1-ω)|I′₁ ^S(x_i,y_i)-I′₂ ^S(x_i,y_i)| (1)

式中：i∈(1,n)，I′₁ ^V、I′₂ ^V、I′₁ ^S、I′₂ ^S是参考图像I′₁和待配准图像I′₂在HSV颜色空间下明度V和饱和度S两个通道对应的图像矩阵，(x_i,y_i)是重叠区域的像素坐标值，ω是明度的权重值，取值0.95。

步骤23)基于改进Sobel算子建立重叠区域梯度差异函数：

E_g(x_i,y_i)＝|T_x(I′₁ ^gray(x_i,y_i)-I′₂ ^gray(x_i,y_i))|+|T_y(I′₁ ^gray(x_i,y_i)-I′₂ ^gray(x_i,y_i))| (2)

式中：i∈(1,n)，I′₁ ^gray和I′₂ ^gray是参考图像I′₁和待配准图像I′₂对应的灰度图像矩阵，T_x和T_y是图像x方向和y方向的改进的Sobel算子：

步骤24)由式(1)和式(2)建立重叠区域每个像素节点的能量函数E(x,y)：

式中：Q₁是重叠区域所在的区域；

步骤3)分别提取参考图像和待配准图像各自重叠区域轮廓的四个顶点坐标，在四个顶点坐标确定缝合线的起止点，利用缝合线的起止点作为对角线建立矩形结构的缝合线寻优区域；

步骤31)针对重叠区域上存在明确起止点两张重叠图像进行说明，在图像变换过程中，参考图像的形状没有发生变换，只增大参考图像整体尺寸，而待配准图像形状与参考图像比较发生了较大变化，记录参考图像像素点的坐标值范围如下：

式中：x坐标值对应参考图像的行数，y坐标值对应参考图像的列数，h₁、h₂是参考图像行数的最小值和最大值，l₁、l₂是参考图像列数的最小值和最大值；

如图1所示，步骤32)定义重叠区域轮廓的从左上角顺时针依次四个顶点a、b、c、d的坐标为(x_a,y_a)、(x_b,y_b)、(x_c,y_c)、(x_d,y_d)；

步骤33)遍历重叠区域所有像素点，若存在某一像素点的x坐标等于参考图像行数的最小值h₁，则说明两张图像存在缝合线的起始点分别为为(x_a,y_a)、终点为(x_c,y_c)；若存在某一像素点的x坐标等于参考图像行数的最大值h₂，则说明两张图像存在的缝合线起点为(x_b,y_b)、终点为(x_d,y_d)；

步骤34)以起止点连线作为对角线，形成矩形区域Q₂，将其作为缝合线寻优区域；

所述重叠区域轮廓的四个顶点的坐标(x_a,y_a)、(x_b,y_b)、(x_c,y_c)、(x_d,y_d)具体为：

步骤331)由于定义的四个顶点坐标并不知道其具体值，在确定好缝合线起止点是那种形式后，就需要具体求出起止点所对应的坐标值了，具体见如下步骤；

步骤332)若缝合线起点为(x_a,y_a)、终点为(x_c,y_c)，则分别统计重叠区域内像素点x坐标值等于参考图像行数的最小值h₁的所有像素点和像素点y坐标值等于参考图像列数的最小值l₂的所有像素点，得到参考图像行数的最小值集合Ψ₁和参考图像列数的最小值集合Ψ₂；并比较Ψ₁中所有像素点的y坐标值大小，找到Ψ₁中y坐标值最小的像素点，该像素点即为起点(x_a,y_a)；同时比较Ψ₂中所有像素点的x坐标值大小，找到Ψ₂中x坐标值最大的像素点，该像素点就是终点(x_c,y_c)；

步骤333)若缝合线起点为(x_b,y_b)、终点为(x_d,y_d)，则分别统计重叠区域内像素点x坐标值等于参考图像列数的最大值h₂的所有像素点和像素点y坐标值等于参考图像列数的最大值l₂的所有像素点，得到对应参考图像列数的最大值集合Ψ′₁和参考图像列数的最大值集合Ψ′₂；并比较Ψ′₁中所有像素点的y坐标值大小，找到Ψ′₁中y坐标值最小的像素点，该像素点即为终点(x_d,y_d)；同时比较Ψ′₂中所有像素点的x坐标值大小，找到Ψ′₂中x坐标值最小的像素点，该像素点就是起点(x_b,y_b)；

如图2所示，步骤4)通过确定的起止点建立重叠区域内像素点父节点集合和延伸点集合的数学模型；

步骤41)通过计算缝合线寻优区域内像素点和其临近的上下左右四个点的能量函数差值，即称为路径代价：

式中：(x,y)是像素节点的坐标值，E是某一像素点的能量值，E_xy是某一像素点与相邻像素的路径代价，(r,c)是像素节点周围上下左右四个节点的坐标值，Q₂是缝合线起点和终点形成的矩形区域包含的所有像素点集合；

步骤42)得到某一像素点与相邻点的路径代价路径代价后，将该代价值和坐标保存到一个数组中，该数组J(r,c)为：

J(r,c)＝[r,c,E_xy(r,c)] (6)

步骤43)根据步骤3)确定缝合线起止点有两种情况，对应的缝合线也是两种情况，则按照缝合线起止点的不同情况，并综合式(5)和式(6)建立像素点的父节点集合和延伸点集合；

步骤44)若缝合线起止点为(x_b,y_b)和(x_d,y_d)，其缝合线寻优区域内像素点的父节点集合和延伸点集合如下：

步骤45)若缝合线起止点为(x_a,y_a)和(x_c,y_c)，其缝合线寻优区域内像素点的父节点集合和延伸点集合如下：

步骤5)以像素点的父节点集合和延伸点集合的数学模型为基础，在缝合线起止点构成的矩形寻优区域内按照像素点之间能量差值最小准测找到最佳的像素路径，即最优缝合线；

步骤51)定义寻优区域内像素点的待处理集合Φ、寻优区域内每个像素节点对应的最佳路径像素点坐标集合Path、寻优区域内每个像素节点对应的最小路径代价集合Γ，根据实际情况缝合线起点(x_起,y_起)为(x_a,y_a)或(x_b,y_b)，终点(x_终,y_终)为(x_c,y_c)或(x_d,y_d)；

步骤52)初始化：将起点(x_起,y_起)及其路径代价放入待处理集合Φ＝{[x_起,y_起,0]}，并使

之后循环执行步骤53)至步骤57)；

步骤53)依照步骤41)至步骤44)计算待处理集合Φ{1}元素的父节点和延伸点集合，得到父节点集合Ω_父和延伸点集合Ω_延；

步骤54)判断父节点集合和延伸点集合中元素的数量：若延伸点集合Ω_延为空，则说明该像素节点是终点，则执行步骤56)，反之则执行下一步；

步骤55)更新延伸点集合Ω_延：若为Ω_延第一个元素数量和Φ中最后一个元素坐标值相同，则令删除Ω_延第一个元素得到新的延伸点集合Ω_延＝Ω′_延，反之则执行下一步；

步骤56)增加待处理集合中Φ的元素：将延伸点集合Ω_延加入到Φ中，得到新的处理集合Φ′＝{Φ,Ω_延}；在实际工作中为了之后程序循环的方便不再区分Φ和Φ'，统一使用Φ；

步骤57)更新最小路径代价集合Γ和最小路径像素坐标值集合Path；

步骤571)由步骤41)至步骤44)可知，父节点集合元素数量只有0、1、2三种情况，以这三种情况来更新最小路径代价集合Γ和最小路径像素坐标值集合Path；

步骤572)若父节点集合Ω_父元素数量为0，说明该像素点(Ω_父{1}(1)，Ω_父{1}(2))是起点，则令Γ(x_起,y_起)＝0，Path(x_起,y_起)＝[(x_起,y_起)]。

步骤573)若Ω_父元素数量为1，把Ω_父{1}中的路径代价与Ω_父中唯一父节点对应的最小路径代价Γ(Ω_父{1}(1)，Ω_父{1}(2))相加，将得到的和作为该像素节点的最小路径代价更新入Γ，并将其父节点对应最小路径坐标集和和该像素节点坐标组合成新的路径坐标值集合更新入Path；

步骤574)若Ω_父元素数量为2，比较Ω_父中两个父节点的路径代价值和其对应的最小路径代价相加并比较大小，选取和较小对应父节点最小代价的和作为该像素节点的最小路径代价更新入Γ，并将其父节点对应最小路径坐标集和和该像素节点坐标组合成新的路径坐标值集合更新入Path；

步骤58)更新待处理集合Φ′：删除待处理集合Φ′中的Φ′{1}元素，进而使得Φ′{2}元素进到Φ′{1}元素的位置，得到新的待处理集合Φ″以及新的Φ″{1}元素，为了便于之后的程序循环，将Φ＝Φ″，则Φ{1}＝Φ″{1}；

步骤59)循环判断条件：待处理集合Φ是否为空集，若为空集，说明寻优区域内所有像素点已经处理完毕，输出终点对应最佳路径像素点坐标集合Path(x_终,y_终)，其中包含从起点到终点最佳缝合线上所有像素点的坐标值，反之则执行步骤53)。

步骤6)在确定的缝合线两边分别取参考图像和待配准图像，进行对齐，完成参考图像和待配准图像的拼接构成两张图像的全景图像。

步骤61)得到终点对应的最佳路径像素点坐标集合Path(x_终,y_终)，其像素点坐标连线即为最优缝合线，并求得缝合线上所有像素点坐标x值的最小值x_min和x_max。

步骤62)将图像按照缝合线像素点坐标的x值，即对应图像的行数分为三部分，其表现形式为：

式中：I_w和I_h是同尺寸的参考图像和待配准图像的宽和高，

是分别为三部分的像素点集合；

步骤63)在

和

像素点对应部分取待配准图像的像素值，在

部分以缝合线为界，在缝合线左边取参考图像I′₁,右边取待配准图像I′₂，最终完成图像拼接。

Claims (9)

1.一种全景图像拼接的快速缝合线寻优方法，其特征在于本方法包括如下步骤：

步骤1)首先获取两张有部分重叠的图像，将一张作为参考图像，将另一张作为待配准图；通过将参考图像和待配准图像变换到同一坐标系下，得到同尺寸大小的参考图像和待配准图像，之后通过二值化从而确定参考图像和待配准图像重叠区域；

步骤2)通过图像重叠区域获得重叠区域的像素坐标值，之后构建出重叠区域像素点的能量函数；

步骤3)分别提取参考图像和待配准图像各自重叠区域轮廓的四个顶点坐标，在四个顶点坐标确定缝合线的起止点，利用缝合线的起止点作为对角线建立矩形结构的缝合线寻优区域；

步骤4)通过确定的起止点建立重叠区域内像素点父节点集合和延伸点集合的数学模型；

步骤5)以像素点的父节点集合和延伸点集合的数学模型为基础，在缝合线起止点构成的矩形寻优区域内按照像素点之间能量差值最小准测找到最佳的像素路径，即最优缝合线；

步骤6)在确定的缝合线两边分别取参考图像和待配准图像，进行对齐，完成参考图像和待配准图像的拼接构成两张图像的全景图像。

2.根据权利要求书1所述一种全景图像拼接的快速缝合线寻优方法，其特征在于，所述的步骤1)的具体过程为：

步骤11)对待拼接的两张图像I₁和I₂进行SIFT(Scale Invariant Feature Transform)特征提取，并使用欧式距离进行特征匹配，得到粗匹配点对集合。

步骤12)使用RANSAC(Random Sample Consensus)算法对得到的粗匹配点对进行误匹配点剔除，得到精匹配点对集合和图像变换矩阵。

步骤13)基于图像变换矩阵，将待拼接的两张图像变换到同一坐标系下，得到同尺寸大小的参考图像I₁′和待配准图像I₂′。

步骤14)对参考图像和待配准图像进行灰度化，并使用阈值变换法得到参考图像和待配准图像的二值图像。

步骤15)将参考图像和待配准图像的二值图像进行逻辑与运算，得到参考图像和待配准图像重叠区域的二值图像。

3.根据权利要求书1所述一种全景图像拼接的快速缝合线寻优方法，其特征在于，所述的步骤2)的具体过程为：

步骤21)得到重叠区域的二值图像后，重叠区域位置在图像中为白色，其他位置均为黑色，提取其中像素点为白色的坐标(x_i,y_i)，其中i∈(1,n)，n是重叠区域像素点数量的总数。

步骤22)基于HSV(Hue，Saturation，Value)颜色空间建立重叠区域颜色差异函数E_HSV(x_i,y_i)：

式中：i∈(1,n)，I₁′^V、

I₁′^S、

是参考图像I′₁和待配准图像I′₂在HSV颜色空间下明度V和饱和度S两个通道对应的图像矩阵，(x_i,y_i)是重叠区域的像素坐标值，ω是明度的权重值，取值0.95。

步骤23)基于改进Sobel算子建立重叠区域梯度差异函数：

式中：i∈(1,n)，

和

是参考图像I′₁和待配准图像I′₂对应的灰度图像矩阵，T_x和T_y是图像x方向和y方向的改进的Sobel算子：

步骤24)由式(1)和式(2)建立重叠区域每个像素节点的能量函数E(x,y)：

式中：Q₁是重叠区域所在的区域。

4.根据权利要求书1所述一种全景图像拼接的快速缝合线寻优方法，其特征在于，所述的步骤3)的具体过程为：

步骤31)针对重叠区域上存在明确起止点两张重叠图像进行说明，在图像变换过程中，参考图像的形状没有发生变换，只增大参考图像整体尺寸，而待配准图像形状与参考图像比较发生了较大变化，记录参考图像像素点的坐标值范围如下：

式中：x坐标值对应参考图像的行数，y坐标值对应参考图像的列数，h₁、h₂是参考图像行数的最小值和最大值，l₁、l₂是参考图像列数的最小值和最大值；

步骤32)定义重叠区域轮廓的从左上角顺时针依次四个顶点a、b、c、d的坐标为(x_a,y_a)、(x_b,y_b)、(x_c,y_c)、(x_d,y_d)；

步骤33)遍历重叠区域所有像素点，若存在某一像素点的x坐标等于参考图像行数的最小值h₁，则说明两张图像存在缝合线的起始点分别为为(x_a,y_a)、终点为(x_c,y_c)；若存在某一像素点的x坐标等于参考图像行数的最大值h₂，则说明两张图像存在的缝合线起点为(x_b,y_b)、终点为(x_d,y_d)；

步骤34)以起止点连线作为对角线，形成矩形区域Q₂，将其作为缝合线寻优区域。

5.根据权利要求书4所述一种全景图像拼接的快速缝合线寻优方法，其特征在于，所述重叠区域轮廓的四个顶点的坐标(x_a,y_a)、(x_b,y_b)、(x_c,y_c)、(x_d,y_d)，由于定义的四个顶点坐标的具体值未知，在确定好缝合线起止点是那种形式后，就需要具体求出起止点所对应的坐标值，具体如下：

步骤331)若缝合线起点为(x_a,y_a)、终点为(x_c,y_c)，则分别统计重叠区域内像素点x坐标值等于参考图像行数的最小值h₁的所有像素点和像素点y坐标值等于参考图像列数的最小值l₂的所有像素点，得到参考图像行数的最小值集合Ψ₁和参考图像列数的最小值集合Ψ₂；并比较Ψ₁中所有像素点的y坐标值大小，找到Ψ₁中y坐标值最小的像素点，该像素点即为起点(x_a,y_a)；同时比较Ψ₂中所有像素点的x坐标值大小，找到Ψ₂中x坐标值最大的像素点，该像素点就是终点(x_c,y_c)；

步骤332)若缝合线起点为(x_b,y_b)、终点为(x_d,y_d)，则分别统计重叠区域内像素点x坐标值等于参考图像列数的最大值h₂的所有像素点和像素点y坐标值等于参考图像列数的最大值l₂的所有像素点，得到对应参考图像列数的最大值集合Ψ₁′和参考图像列数的最大值集合Ψ′₂；并比较Ψ′₁中所有像素点的y坐标值大小，找到Ψ′₁中y坐标值最小的像素点，该像素点即为终点(x_d,y_d)；同时比较Ψ′₂中所有像素点的x坐标值大小，找到Ψ′₂中x坐标值最小的像素点，该像素点就是起点(x_b,y_b)。

6.根据权利要求书4所述一种全景图像拼接的快速缝合线寻优方法，其特征在于，所述的步骤4)的具体过程为：

步骤41)通过计算缝合线寻优区域内像素点和其临近的上下左右四个点的能量函数差值，即称为路径代价：

式中：(x,y)是像素节点的坐标值，E是某一像素点的能量值，E_xy是某一像素点与相邻像素的路径代价，(r,c)是像素节点周围上下左右四个节点的坐标值，Q₂是缝合线起点和终点形成的矩形区域包含的所有像素点集合；

步骤42)得到某一像素点与相邻点的路径代价路径代价后，将该代价值和坐标保存到一个数组中，该数组J(r,c)为：

J(r,c)＝[r,c,E_xy(r,c)] (6)

步骤43)根据步骤3)确定缝合线起止点有两种情况，对应的缝合线也是两种情况，则按照缝合线起止点的不同情况，并综合式(5)和式(6)建立像素点的父节点集合和延伸点集合；

步骤44)若缝合线起止点为(x_b,y_b)和(x_d,y_d)，其缝合线寻优区域内像素点的父节点集合和延伸点集合如下：

步骤45)若缝合线起止点为(x_a,y_a)和(x_c,y_c)，其缝合线寻优区域内像素点的父节点集合和延伸点集合如下：

7.根据权利要求书6所述一种全景图像拼接的快速缝合线寻优方法，其特征在于，所述的步骤5)的具体过程为：

步骤51)定义寻优区域内像素点的待处理集合Φ、寻优区域内每个像素节点对应的最佳路径像素点坐标集合Path、寻优区域内每个像素节点对应的最小路径代价集合Γ，根据实际情况缝合线起点(x_起,y_起)为(x_a,y_a)或(x_b,y_b)，终点(x_终,y_终)为(x_c,y_c)或(x_d,y_d)；

步骤52)初始化：将起点(x_起,y_起)及其路径代价放入待处理集合Φ＝{[x_起,y_起,0]}，并使

之后循环执行步骤53)至步骤57)；

步骤53)依照步骤41)至步骤44)计算待处理集合Φ中Φ{1}元素的父节点和延伸点集合，得到父节点集合Ω_父和延伸点集合Ω_延；

步骤54)判断父节点集合和延伸点集合中元素的数量：若延伸点集合Ω_延为空，则说明该像素节点是终点，则执行步骤56)，反之则执行下一步；

步骤55)更新延伸点集合Ω_延：若为Ω_延第一个元素数量和Φ中最后一个元素坐标值相同，则令删除Ω_延第一个元素得到新的延伸点集合Ω_延＝Ω′_延，反之则执行下一步；

步骤56)增加待处理集合中Φ的元素：将延伸点集合Ω_延加入到Φ中，得到新的处理集合Φ′＝{Φ,Ω_延}；

步骤57)更新最小路径代价集合Γ和最小路径像素坐标值集合Path；

步骤58)更新待处理集合Φ′：删除待处理集合Φ′中的Φ′{1}元素，进而使得Φ′{2}元素进到Φ′{1}元素的位置，得到新的待处理集合Φ″以及新的Φ″{1}元素，为了便于之后的程序循环，将Φ＝Φ″，则Φ{1}＝Φ″{1}；

步骤59)循环判断条件：待处理集合Φ是否为空集，若为空集，说明寻优区域内所有像素点已经处理完毕，输出终点对应最佳路径像素点坐标集合Path(x_终,y_终)，其中包含从起点到终点最佳缝合线上所有像素点的坐标值，反之则执行步骤53)。

8.根据权利要求书5所述一种全景图像拼接的快速缝合线寻优方法，其特征在于，所述的步骤57)的具体过程为：

步骤571)由步骤41)至步骤44)可知，父节点集合元素数量只有0、1、2三种情况，以这三种情况来更新最小路径代价集合Γ和最小路径像素坐标值集合Path；

步骤572)若父节点集合Ω_父元素数量为0，说明该像素点(Ω_父{1}(1)，Ω_父{1}(2))是起点，则令Γ(x_起,y_起)＝0，Path(x_起,y_起)＝[(x_起,y_起)]。

步骤573)若Ω_父元素数量为1，把Ω_父{1}中的路径代价与Ω_父中唯一父节点对应的最小路径代价Γ(Ω_父{1}(1)，Ω_父{1}(2))相加，将得到的和作为该像素节点的最小路径代价更新入Γ，并将其父节点对应最小路径坐标集和和该像素节点坐标组合成新的路径坐标值集合更新入Path；

步骤574)若Ω_父元素数量为2，比较Ω_父中两个父节点的路径代价值和其对应的最小路径代价相加并比较大小，选取和较小对应父节点最小代价的和作为该像素节点的最小路径代价更新入Γ，并将其父节点对应最小路径坐标集和和该像素节点坐标组合成新的路径坐标值集合更新入Path。

9.根据权利要求书8所述一种全景图像拼接的快速缝合线寻优方法，其特征在于：

步骤61)得到终点对应的最佳路径像素点坐标集合Path(x_终,y_终)，其像素点坐标连线即为最优缝合线，并求得缝合线上所有像素点坐标x值的最小值x_min和x_max。

步骤62)将图像按照缝合线像素点坐标的x值，即对应图像的行数分为三部分，其表现形式为：

式中：I_w和I_h是同尺寸的参考图像和待配准图像的宽和高，

是分别为三部分的像素点集合；

步骤63)在

和

像素点对应部分取待配准图像的像素值，在

部分以缝合线为界，在缝合线左边取参考图像I′₁,右边取待配准图像I′₂，最终完成图像拼接。

Images