CN111242848B - 基于区域特征配准的双目相机图像缝合线拼接方法及系统 - Google Patents

Abstract

本发明提供一种基于区域特征配准的双目相机图像缝合线拼接及系统，对输入的左右视角图像进行特征提取并匹配，包括提取特征点和图像局部区域的几何结构特征；对图像划分网格，利用匹配的结果构建图像网格变换模型，通过对网格顶点的优化使得总误差最小，实现图像的配准；对配准的图像重叠区域求最优缝合线，使得缝合线两边的像素差异最小；将缝合线两侧的重叠区域进行曝光补偿后，沿着缝合线拼接得到拼接图像。本发明采用网格变形，尽可能地配准两张图像的重叠区域，再在重叠区域求解最优缝合线，所得缝合线能够绕开视差大的前景，从而避免图像融合时在视差大的地方生成重影。

Description

基于区域特征配准的双目相机图像缝合线拼接方法及系统

技术领域

本发明属于图像拼接处理领域，尤其涉及一种基于区域特征配准的双目相机图像缝合线拼接方法技术方案。

背景技术

图像拼接技术是将一组相互间存在重叠部分的图像进行空间配准，经重采样融合后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接是数字图像处理领域的一个重要的研究方向，在摄影测量学、计算机视觉、遥感图像分析、计算机图形等领域有着广泛的应用价值，也是虚拟现实、计算机视觉、计算机图形学和图像处理等领域的重要研究课题，在宇宙空间探测、海底勘测、医学、气象、地质勘测、军事、视频压缩和传输、视频的索引和检索、物体的3D重建、军事侦察和公安取证、数码相机的超分辨率处理等领域都有广泛的应用。因此，图像拼接技术的研究具有很好的应用前景和实际应用价值。

申请号为201711445383.3的专利申请公开了一种基于缝合线的实时视频拼接方法，包括：分别读取两路监控视频第一帧作为模板帧；提取模板帧上特征点并进行特征点匹配，初步筛选匹配点集；利用RANSAC(随机抽样一致性)算法筛选出可靠的匹配点集，由此计算变换矩阵；利用变换矩阵对两帧图像进行配准，通过角点变换前后的坐标计算出重叠区域、非重叠区域和最终完整图像大小；根据重叠区域颜色强度和几何结构计算缝合线，缝合重叠区域，拼接非重叠区域，计算拼接后完整图像；对视频后续帧利用已经求得的变换矩阵和缝合线进行拼接。

可见，缝合线对拼接效果的影响非常关键，考虑到双目相机的图像拼接视差问题，本领域亟待提出新的技术方案，

发明内容

本发明针对现有技术的不足，提供一种基于区域特征配准的双目相机图像缝合线拼接方法方法，以解决图像拼接中视察过大的问题，通过先网格变形配准后再进行缝合线优化，可以有效避免拼接图像人为产生的重影。

本发明的技术方案提供一种基于区域特征配准的双目相机图像缝合线拼接方法，包括以下步骤：

步骤1，对输入的左右视角图像进行特征提取及匹配，包括提取特征点和图像局部区域的几何结构特征；

步骤2，对图像划分网格，利用步骤1中匹配的结果构建图像网格变换模型如下，

E＝λ_fpE_fp+λ_gpE_gp+λ_lsE_ls+λ_gsE_gs

其中，

λ_fp,λ_gp,λ_ls,λ_gs为各因素的权重；

E_fp为特征点配准项，保证了变形后的两张图像对应的像素整体上保持一致；

E_gp为，保证了变形后的两张图像对应的局部区域保持一致；

E_ls为局部相似项，保证网格变换的连续性；

E_gs为全局相似项，保证了整幅图像变换的一致；

以上配准项和约束项均由网格顶点表示，将各项展开为矩阵形式并按行组合，形成各图像网格顶点坐标展开向量V，通过对网格顶点的优化使得总误差E最小，实现图像的配准；

步骤3，对步骤2配准的图像重叠区域求最优缝合线，使得缝合线两边的像素差异最小，实现方式如下，

设对于缝合线S上的点p，在两张原图上对应的像素值差异为D_pixel(p)，在两张原图上的结构相似度为D_geometry(p)，采用动态规划搜索满足

最小的缝合线；

步骤4，根据步骤3求得的缝合线，将重叠区域分为左右两部分，左边保留视角偏左的图，右边保留视角偏右的图，将缝合线两侧的重叠区域进行曝光补偿后，沿着缝合线拼接得到拼接图像。

而且，步骤2中，设左右视角图像的分辨率为W×H，其中W为宽，H为高，首先将图像分成若干个网格，每个网格大小为w×h，其中w为宽，h为高，第i张图的第j个网格

的 4个顶点构成的顶点点集记为

对于分布在

内的点p，通过公式

求得其相对

各顶点的权重，其中A_k表示点p与第k个顶点构成的矩形面积，其中k＝0,1,2,3，点p与第k个顶点的连线构成矩形的对角线；用

和w_k来表示点p，

并通过调整网格顶点的坐标来实现图像网格优化，每个网格内部的像素则经历相同的坐标变换。

而且，设第i张图的第f个特征点

表示第i张图的第f个特征点相对第k个网格顶点的权重，特征点配准项表示为

而且，将步骤1中几何结构特征提取结果相应表征点用网格顶点表示，设第i张图的第g 个表征点

则区域几何特征配准项表示为

而且，局部相似项表示如下，

其中，eⁱ为第i张图像的网格边的集合，(r,s)∈eⁱ表示v_r,v_s为第i张图的网格边集eⁱ中同一条网格边

的两个端点，

表示图像变形前的网格顶点，

表示图像变形后的网格顶点，

为与网格顶点线性相关的变量，表示网格边

的相似变换。

而且，全局相似项表示如下，

其中s_i,θ_i分别表示第i张图像整体的缩放和旋转，变量

参数β,γ用来控制

的范围，

表示第i张图的第t条边

所在网格的集合，Mⁱ表示第i张图像的重叠区域的网格集合，d(q_m,Mⁱ)表示

中的网格q_m到M_i的距离，R_i,C_i表示网格的总行数和总列数。

而且，步骤3，采用p在两张原图上对应的像素值之差的平方表示D _pixel(p)。

而且，步骤3，采用修改后的Sobel算子计算D _geometry(p)，增加p对角方向的4个像素点的相关性在整个算子中的权重。

而且，步骤3中，采用动态规划搜索缝合线，是从图像重叠区域的第一行出发，根据D最小的准则对每一个像素点求一条当前最优的缝合线，最后从所得缝合线中选取最优的。

本发明还提供一种基于区域特征配准的双目相机图像缝合线拼接系统，用于执行如上所述的基于区域特征配准的双目相机图像缝合线拼接方法。

本发明利用图像的区域特征使存在视差的图像尽可能配准，并利用缝合线拼接方法避开配准方法不能解决的前景大视差物体，减少了拼接图像的重影或错位。

附图说明

图1是本发明实施例的图像拼接方法的流程图。

图2是本发明实施例的图像网格变换模型的组成结构示意图。

图3是本发明实施例的缝合线动态规划求解示意图。

图4是本发明实施例的图像拼接效果的示意图。

具体实施方式

本发明主要基于图像区域特征配准，考虑到缝合线两边的空间相似度，提出的一种基于区域特征配准的双目相机图像缝合线拼接方法及系统。本方法充分考虑了图像不同特征和不同约束对拼接结果质量的影响，通过一个图像网格变换模型来权衡上述因素。通过本发明获得的结果更加科学，更加精确。

本发明提供的方法能够用计算机软件技术实现流程。参见图1，实施例提出的一种基于区域特征配准的双目相机图像缝合线拼接方法，以左右排列的双目相机为例对本发明的流程进行一个具体的阐述，如下：

步骤1，对输入图像I₀和I₁(即左右视角图像)进行特征提取并匹配，具体实施时特征可采用sift特征点、直线特征、轮廓特征等。然后可采用LSD算法、超像素分割、Canny算法等提取对图像局部区域的几何结构。

实施例具体的实施过程说明如下：

1)首先对输入图像I₀和I₁进行特征点检测并匹配。为了提高特征点的鲁棒性，本发明实施例选择了sift特征点，并采用BBF算法和RANSAC算法分别进行粗匹配和精匹配，其中BBF算法得到sift算子接近的匹配对，RANSAC算法则根据粗匹配的单应性保留符合主平面的匹配点。

2)然后用LSD算法、超像素分割、Canny算法对图像局部区域的几何结构进行提取并匹配。典型的几何结构有直线、弧线(建筑轮廓)等，并通过受特征点约束的模板匹配等算法对图像I₀和I₁的几何结构进行匹配，具体做法是先用模板匹配得到粗匹配，然后根据特征点的映射关系与模板匹配的映射关系精匹配。

最后得到一组匹配的特征(包括1)所得匹配的特征点和2)所得匹配的几何结构)，对于不同类型的特征，本发明都用点或者点集来表示。特征点用本身来表示，其他的特征则用端点和辅助点来表示。例如直线用端点和中间一定间隔的采样点来表示，弧线用端点和端点处的切线相交点以及采样点表示，这样提取出来的点称为几何特征提取点。

步骤2，根据步骤1所得的一组特征来建立图像网格变换模型。

图像I₀和I₁的分辨率为W×H，其中W为宽，H为高，首先将图像分成若干个网格，每个网格大小为w×h，其中w为宽，h为高。第i张图的第j个网格

的4个顶点构成的顶点点集记为

对于分布在

内的点p，可以通过公式

求得其相对

各顶点的权重，其中A_k表示点p与第k个顶点构成的矩形面积，其中k＝0,1,2,3。点p与第k个顶点的连线构成矩形的对角线。然后用

和w_k来表示点p，

并通过调整网格顶点的坐标来实现图像网格优化，每个网格内部的像素则经历相同的坐标变换。

如图2所示，图像网格变换模型由配准项和约束项构成，配准项又分为特征点和区域几何特征，约束项则分为全局相似项和局部相似项。

特征点配准保证了变形后的两张图像对应的像素整体上保持一致。首先通过上述公式将特征点用

表示，即第i张图的第f个特征点

表示第i张图的第f个特征点相对第k个网格顶点的权重，因此特征点配准误差可以表示为

上式可展开为E_fp＝W_fpV的矩阵形式，其中V＝|x₀,y₀,x₁,y₁,…x_N-1,y_N-1|为各图像网格顶点坐标展开向量，x₀,y₀,x₁,y₁,…x_N-1,y_N-1依次为从0到N-1个网格顶点的横、纵坐标，W_fp为 2fn×2N大小的稀疏矩阵，对应展开式中顶点坐标的权值，N为两张图像的网格顶点数，fn 为特征点个数。

区域几何特征的配准则保证了变形后的两张图像对应的局部区域保持一致。类似于对特征点的处理，将步骤1中几何结构特征提取结果相应表征点用网格顶点表示，第i张图的第g 个表征点

则区域几何特征配准误差可以表示为

同样的展开为E_gp＝W_gpV的矩阵形式，W_gp为2gn×2N大小的稀疏矩阵，对应展开式中顶点坐标的权值，N为两张图像的网格顶点数，gn为几何特征提取点个数。

局部相似项的约束保证了每个网格尽量经历相似的变换，将重叠区域网格的几何变换传播到整张网格之上，保证网格变换的连续性，使得最后的拼接结果避免了因为过渡不连续导致的扭曲。局部相似项可由网格顶点表示为

其中eⁱ为第i张图像的网格边的集合，(r,s)∈eⁱ表示v_r,v_s为第i张图的网格边集eⁱ中同一条网格边

的两个端点，

表示图像变形前的网格顶点，

表示图像变形后的网格顶点。

为与网格顶点线性相关的变量，表示网格边

的相似变换，例如分别为缩放和旋转后的相应变量。

可展开为V＝|x₀,y₀,x₁,y₁,…x_N-1,y_N-1|的形式，所以上式可展开为E_ls＝W_lsV的形式，W_ls为2en×2N大小的稀疏矩阵，对应展开式中顶点坐标的权值，N为两张图像的网格顶点数，en为网格边数。

全局相似项的约束保证了整幅图像变换的一致，使非重叠区域的网格以全局相似变换为主，而重叠区域的网格以对齐为主，保证重叠区域能够充分对齐，而非重叠区域能够尽量保证经历一个相似变换。全局约束项同样可以由网格顶点来表示

其中，

s_i,θ_i分别表示第i张图像整体的缩放和旋转，变量

参数β,γ用来控制

的范围，

表示第i张图的第t条边

所在网格的集合，对于图像边缘上的边，该集合只包含一个网格，否则包含两个，Mⁱ表示第i张图像的重叠区域的网格集合，d(q_m,Mⁱ)表示

中的网格q_m到M_i的距离，R_i,C_i表示网格的总行数和总列数。从图像边界到重叠区域

的值整体上呈均匀的变化趋势。

可以由端点即网格顶点线性表示，所以上式可展开为E_gs＝W_gsV+b的形式，W_gs为2en×2N大小的稀疏矩阵，对应展开式中顶点坐标的权值，N为两张图像的网格顶点数，en为网格边数，b为2en×1的向量。

考虑上述因素可得总误差

E＝λ_fpE_fp+λ_gpE_gp+λ_lsE_ls+λ_gsE_gs，

其中λ_fp,λ_gp,λ_ls,λ_gs为各因素的权重，将各项的矩阵形式按行组合可得E＝WV-b，W的行数等于W_fp,W_gp,W_ls,W_gs的列数之和，列数等于W_fp,W_gp,W_ls,W_gs的行数，E_gs＝W_gsV+b中的常数项补0扩充至与W行数一致得到b。V＝|x₀,y₀,x₁,y₁,…x_N,y_N|为各图像网格顶点坐标展开向量，使得E最小的网格V＝|x₀,y₀,x₁,y₁,…x_N,y_N|，即为最优的网格变换，从而完成图像的配准。

步骤3，在得到配准的图像后，因为视差的存在，在近景处仍然存在没有对齐的物体，如果直接将配准图像融合，则会产生重影。为了规避这些配准不了的重影，本发明在图像网格变换的基础上，对配准重叠区域进行了最优缝合线的计算。

在本实施例中，采用缝合线拼接方法，即在配准后的图像重叠区域选择一条从上至下的线，线的左边选取视角偏左的图，右边选取视角偏右的图，从而得到拼接图像，因此缝合线的计算决定了拼接的效果。

考虑到缝合线对拼接效果的影响，本发明从两方面提出了对缝合线的量化计算。首先，对于缝合线S上的点p，最优的缝合线应该使得p在两张原图上对应的像素值差异最小；其次，p在两张原图附近的结构最相似。则最优缝合线满足D值最小，

其中，D表示p在两张原图上对应的综合差异。

D_pixel(p)表示p在两张原图上对应的像素值的差异，本发明选择像素值之差的平方来计算，即

D_pixel(p)＝||I₀(p)-I₁(p)||²，

其中，I₀(p)为点p在原图I₀上对应的像素值，I₁(p)为点p在原图I₁上对应的像素值。

D_geometry(p)表示p在两张原图附近的结构相似度，本发明通过修改Sobel算子实现。具体做法如下：

原始的Sobel算子为

原始的Sobel算子并没有突出p周围的像素点相似性，为了增加p对角方向的4个像素点的相关性在整个算子中的权重，本发明提出将Sobel算子修改为

假定配准后的图像经过Sobel算子处理后得到的梯度图像为f₀、f₁，则D_geometry(p)的计算公式为

D_geo_metry(p)＝||f₀(p)-f₁(p)||，

p在两张原图附近的结构越相似，则D_geometry(p)越小。因此使得D最小的缝合线即为最优。

本发明采用动态规划的思想来求解，从图像重叠区域的第一行出发，对每一个像素点求一条当前最优的缝合线，最后从这些缝合线中选取最优的，具体操作流程如下：

第一步，根据步骤2变换后的网格得到重叠区域，记录重叠区域上边界的坐标，这些坐标即第一行，以第一行的各像素作为缝合线动态规划的起点，并计算当前缝合线的D；

第二步，当以第一行的某像素为起点，从起点出发，缝合线的可能扩展方向有左下方、正下方、右下方，分别计算三个方向上下一个点的D_pixel(p)和D_geometry(p)，选择值最小的作为扩展方向，并更新当前的D，以选择的点作为下一起点重复此操作，直到重叠区域的下边界；

第三步，比较第一行的所有出发点求得的缝合线，选择D最小的做为最优缝合线。

如图3所示，黑点代表像素点，黑线表示缝合线的扩展方向，其中实线是当前最佳扩展方向，虚线是可能的扩展方向，在重叠区域有重影的地方D值较大，这样就尽可能的避开了重影。

步骤4，根据步骤3求得的缝合线，将重叠区域分为左右两部分，左边保留视角偏左的图，右边保留视角偏右的图。如图4所示，缝合线左侧的小方框分别为来自左图和来自右图的前景，因为前景视差太大而没有配准，缝合线从二者右边绕过，从而拼接图像只保留来自左图的实线框。

因为原图曝光的不同，拼接后的图像色彩可能存在明显的差异，对此本发明进行了曝光补偿。曝光补偿的具体步骤如下：

第一步，出于对效率和效果的综合考虑，本发明将步骤二得到的配准图像进行分块，图像块的大小为32×32，以图像块为单位进行曝光补偿；

第二步，创建全零矩阵I(bn,bn)，bn为所有像素块的数量，对每两个像素块判断是否有重叠，若第x块和第y块有重叠，则有以下矩阵：

其中，p_x、p_y分别为第x块和第y块在二者的重叠区域M的像素点，r(p)、g(p)、b(p)分别为像素点p的RGB通道值，N(x,y)为重叠区域内不为0的像素点数量；

第三步，创建全零矩阵A(bn,bn)和b(bn,1)，对于第x块和第y块相应地有以下矩阵：

其中α、β为常数，具体实施时优选建议取经验值α＝0.01，β＝100，对线性方程组Ag＝b求最小二乘解，g为各图像块对应的曝光补偿系数，并将g按图像来源拆分为 ec_i,i∈0,1，ec_i表示第i张图像的曝光补偿矩阵。为了使曝光补偿的结果更平滑，对ec_i进行两到三次滤波操作，每次滤波首先对ec_i的每一行与一维卷积核Kernelx做卷积，然后对ec_i的每一列与一维卷积核Kernely做卷积，具体实施时优选建议卷积核分别取经验值 Kernelx＝[0.25,0.5,0.25]，Kernely＝[0.25,0.5,0.25]^T。经过滤波后进行归一化。

得到曝光补偿系数之后，将缝合线两侧的重叠区域进行曝光补偿，最后沿着缝合线拼接即可得到拼接图像。

具体实施时，执行以上方法的装置系统也应当在本发明的保护范围内。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于，包括以下步骤：

步骤1，对输入的左右视角图像进行特征提取及匹配，包括提取特征点和图像局部区域的几何结构特征；

步骤2，对图像划分网格，利用步骤1中匹配的结果构建图像网格变换模型如下，

E＝λ_fpE_fp+λ_gpE_gp+λ_lsE_ls+λ_gsE_gs

其中，

λ_fp,λ_gp,λ_ls,λ_gs为各因素的权重；

E_fp为特征点配准项，保证了变形后的两张图像对应的像素整体上保持一致；

E_gp为区域几何特征配准误差，保证了变形后的两张图像对应的局部区域保持一致；

E_ls为局部相似项，保证网格变换的连续性；

E_gs为全局相似项，保证了整幅图像变换的一致；

以上配准项和约束项均由网格顶点表示，将各项展开为矩阵形式并按行组合，形成各图像网格顶点坐标展开向量V，通过对网格顶点的优化使得总误差E最小，实现图像的配准；

步骤3，对步骤2配准的图像重叠区域求最优缝合线，使得缝合线两边的像素差异最小，实现方式如下，

设对于缝合线S上的点p，在两张原图上对应的像素值差异为D_pixel(p)，在两张原图上的结构相似度为D_geometry(p)，采用动态规划搜索满足

最小的缝合线；

步骤4，根据步骤3求得的缝合线，将重叠区域分为左右两部分，左边保留视角偏左的图，右边保留视角偏右的图，将缝合线两侧的重叠区域进行曝光补偿后，沿着缝合线拼接得到拼接图像；

步骤2中，设左右视角图像的分辨率为W×H，其中W为宽，H为高，首先将图像分成若干个网格，每个网格大小为w×h，其中w为宽，h为高，第i张图的第j个网格

的4个顶点构成的顶点点集记为

对于分布在

内的点p，通过公式

求得其相对

各顶点的权重，其中A_k表示点p与第k个顶点构成的矩形面积，其中k＝0,1,2,3，点p与第k个顶点的连线构成矩形的对角线；用

和w_k来表示点p，

并通过调整网格顶点的坐标来实现图像网格优化，每个网格内部的像素则经历相同的坐标变换。

2.根据权利要求1所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：设第i张图的第f个特征点

表示第i张图的第f个特征点相对第k个网格顶点的权重，特征点配准项表示为

其中，fn为特征点个数。

3.根据权利要求1所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：将步骤1中几何结构特征提取结果相应表征点用网格顶点表示，设第i张图的第g个表征点

表示第i张图的第f个特征点相对第k个网格顶点的权重，则区域几何特征配准项表示为

其中，gn为几何特征提取点个数。

4.根据权利要求1所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：局部相似项表示如下，

其中，eⁱ为第i张图像的网格边的集合，(r,s)∈eⁱ表示v_r,v_s为第i张图的网格边集eⁱ中同一条网格边

的两个端点，

表示图像变形前的网格顶点，

表示图像变形后的网格顶点，

为与网格顶点线性相关的变量，表示网格边

的相似变换。

5.根据权利要求1所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：全局相似项表示如下，

其中s_i,θ_i分别表示第i张图像整体的缩放和旋转，变量

参数β,γ用来控制

的范围，

表示第i张图的第t条边

所在网格的集合，Mⁱ表示第i张图像的重叠区域的网格集合，d(q_m,Mⁱ)表示

中的网格q_m到M_i的距离，R_i,C_i表示网格的总行数和总列数。

6.根据权利要求1或2或3或4或5所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：步骤3，采用p在两张原图上对应的像素值之差的平方表示D_pixel(p)。

7.根据权利要求1或2或3或4或5所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：步骤3，采用修改后的Sobel算子计算D_geometry(p)，增加p对角方向的4个像素点的相关性在整个算子中的权重。

8.根据权利要求1或2或3或4或5所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：步骤3中，采用动态规划搜索缝合线，是从图像重叠区域的第一行出发，根据D最小的准则对每一个像素点求一条当前最优的缝合线，最后从所得缝合线中选取最优的。

9.一种基于区域特征配准的双目相机图像缝合线拼接系统，其特征在于：用于执行如权利要求1至8任一项所述的基于区域特征配准的双目相机图像缝合线拼接方法。

Images