CN113034362A - 一种高速公路隧道监控全景影像拼接方法 - Google Patents

Abstract

本发明公开了一种高速公路隧道监控全景影像拼接方法，包括以下步骤：基于输入影像构造虚拟匹配点对；基于虚拟匹配点对构造缝合线和计算二次配准参数；基于二次配准参数和最终的缝合线，进行重采样拼接并输出。通过这种算法得到的全景影像不需要先验参数输入，且能够得到平滑自然的拼接结果，有效解决当前全景拼接算法在重叠区域到非重叠区域存在鬼影，需要先验参数输入等问题。

Description

一种高速公路隧道监控全景影像拼接方法

技术领域

本发明涉及安防监控技术领域，尤其涉及一种高速公路隧道监控全景影像拼接方法。

背景技术

由于隧道的环境特殊，隧道监控一直是国家交通行业的重点关注对象。传统的隧道监控系统都是分散式进行，一个路段设置一个监控点且大多数是单方向的监控，存在大量死角；此外，一段隧道可能有几十甚至上百个摄像点，隧道监控影像查看工作量大、复杂度高，且有时每个摄像点其关联性不强，给实际监控应用带来很大的不便。为解决传统单镜头、分布式监控方式带来的监控死角、信息分散等问题，越来越多的全景相机得到了全方位的运用。目前商用全景监控摄像机主要有鱼眼、多拼(镜头)两类,前者价格低廉但景深小、成像分辨率不高且畸变大，后者由若干不同视角、物理独立的传统监控摄像机封装而成，通过实时拼接子监控画面可获得监控范围更大、分辨率更高且各视角方向基本一致的全景视频。对于照明条件受限的长隧道监控环境，多拼(镜头)全景相机更具应用价值，且由于隧道只有两个方向，安装在隧道一侧墙壁上的全景相机仅需180度视野范围便可监控所在点位段的隧道环境信息,现有360度多拼全景相机实际应用性价比不高。

多拼全景相机需要借助图像拼接技术实现多路视频融合处理，此外，当隧道过长时，单个全景相机视野仍无法覆盖整个隧道，需通过图像拼接来实现完整隧道的高清监控输出。目前图像拼接研究重点主要在于图像配准和图像融合。基于单应性变换的全局配准能维护图像结构、统筹全局，缺点是大视角情况下无法避免透视变形严重的问题；局部配准旨在解决全局配准无法应对的视差问题，以APAP为代表的局部配准网格模型可一定程度上克服视差问题，但对大的视差效果有限。由于大视角影像拼接时针孔平面透视投影模型易于产生大的物体变形，柱面投影和球面投影被引入全景影像拼接过程，但球面投影模型在远离中心的边缘区域容易产生扭曲和压缩，柱面投影下的图像拼接也有相对苛刻的前提条件，如必须保证光心不动，使得相机绕光心旋转拍摄或者必须保证相机拍摄时是在同一水平线上。以缝合线为代表的无缝图像融合技术能够完成从重叠区域到非重叠区域的平滑过渡，但是无法应为大场景的情况，同时不同场景下缝合线的自动生成仍有待解决。

综上，根据隧道实际应用环境设计性价比高的多拼相应的图像拼接方法以满足这种特殊环境下的监控需求，具有极为广阔的应用前景。

发明内容

本发明的目的在于提供一种高速公路隧道监控全景影像拼接方法，旨在解决当前全景拼接算法在重叠区域到非重叠区域存在鬼影，需要先验参数输入等问题。

为实现上述目的，本发明还提供一种高速公路隧道监控全景影像拼接方法，包括：基于输入影像构造虚拟匹配点对；基于虚拟匹配点对构造缝合线和计算二次配准参数；基于二次配准参数和最终的缝合线，进行重采样拼接并输出。

其中，所述基于输入影像构造虚拟匹配点对的具体步骤是：将输入影像进行置平；基于置平影像计算全局单应性矩阵；基于全局单应性矩阵构造虚拟匹配点对。

其中，所述将输入影像进行置平的具体方式是：利用相机焦距f和外参旋转矩阵R来对输入影像进行置平。

其中，所述基于置平影像计算全局单应性矩阵的具体步骤是：通过TPS作为径向基函数建立其映射关系；对控制点进行线性求解。

其中，所述基于全局单应性矩阵构造虚拟匹配点对的具体步骤是：将全局单应性矩阵结合APAP网格配准模型；计算全景影像到各个影像对应的局部单应性矩阵；得到网格点对应在各个影像上的虚拟匹配点对。

其中，所述基于虚拟匹配点对构造缝合线和计算二次配准参数的具体步骤是：将基准影像和虚拟匹配点对都变换到柱面坐标系下；通过三角构网生成初始缝合线，利用TPS算法进行一次配准并计算配准参数；利用初次配准参数对缝合线进行加密；利用加密后的缝合线上的控制点和非重叠区域的虚拟控制点对结合TPS算法进行二次配准，求取二次配准参，利用二次配准参数将基准影像上的加密缝合线逐像素映射到非基准影像上，构成最终的一对缝合线。

本发明提出一种新的长隧道全景拼接方法，包括以下步骤：基于输入影像构造虚拟匹配点对；基于虚拟匹配点对构造缝合线和计算二次配准参数；基于二次配准参数和最终的缝合线，进行重采样拼接并输出。通过这种算法得到的全景影像不需要先验参数输入，且能够得到平滑自然的拼接结果，有效解决当前全景拼接算法在重叠区域到非重叠区域存在鬼影，需要先验参数输入等问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的高速公路隧道监控全景影像拼接方法的流程图；

图2是本发明的基于输入影像构造虚拟匹配点对的流程图；

图3是本发明的基于虚拟匹配点对构造缝合线和计算二次配准参数的流程图；

图4是本发明的柱面坐标投影图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1～图4，本发明还提供一种高速公路隧道监控全景影像拼接方法，包括：

S101基于输入影像构造虚拟匹配点对；

具体步骤包括：

S201将输入影像进行置平；

图像置平是利用相机外参和焦距，使得图像中的物方空间坐标系和图像坐标系轴系之间只存在一个

角，且保证物方空间坐标系中的Y轴和图像坐标系中的y轴轴系平行。通过这种置平操作能够使得各个影像之间只存在一个角度变化，在结构上比较贴近柱面投影模型。通常这种变换可以利用相机焦距f和外参旋转矩阵R来完成，具有如下数学形式，其中(x,y)、(x′,y′)分别为变换前后的图像坐标：

S202基于置平影像计算全局单应性矩阵；

TPS作为径向基函数，能通过求解封闭解来精确配准输入的点对，其天然优势是任何网格化局部配准模型所不具备的。对于二维影像，TPS采用两个独立函数T(x,y)＝(f_x(x,y),f_y(x,y))来建立其映射关系，通常具有如下数学形式：

r_i ²＝(x_i-x_j)²+(y_i-y_j)²

其中：a₀,a₁,a₂,b₀,b₁,b₂,A_i,B_i(i＝1,...,n)为2n+6个TPS参数，可利用n＞3对控制点进行线性求解；r_i为控制点P_i(x_i,y_i)，P_j(x_j,y_j)间的欧氏距离。若从全局与局部的关系去看待TPS对映射的分解，TPS实质上是以仿射变换来表达影像全局运动，而以基于径向基函数的插值来实现影像局部非线性运动的描述，借助于TPS这种全局与局部运动的分解思路，本文引入全局单应性变换作为TPS的全局运动，即有：

其中：h_j(j＝1,...,8)为给定单应性矩阵H的8个元素，A_i,B_i,n,r_i定义同上，但TPS参数减少为2n个，仍利用控制点线性求解。

S203基于全局单应性矩阵构造虚拟匹配点对。

具体是将全局单应性矩阵结合APAP网格配准模型，计算全景影像到各个影像对应的局部单应性矩阵，得到网格点对应在各个影像上的虚拟匹配点对。APAP算法利用全局单应性变换框架下构建网格，利用Moving DLT算法来求解局部单应性变换。即在全局单应性变换下的全景影像上划分网格，定义每个网格中心点为x_*，求取x_*和基准影像上每个匹配点x_i之间的高斯权重

其中σ为尺度参数(预先通过经验设定的常量)。将计算得到的

构成新的DLT系数矩阵，其中矩阵a_i由(x,y)，(u,v)全景影像上的点和当前计算的其他影像之间的匹配点对构建而成，式中只示意了一组匹配点，假设匹配点对有n对，则最终的矩阵a_i的大小为2n*9，矩阵h则是要求解的局部单应性矩阵h_*的示意

h＝[h₁ h₂ h₃ h₄ h₅ h₆ h₇ h₈ h₉]

进而通过最小二乘求解当前网格的局部单应性矩阵h_*。为了避免权重过小而影像h_*的求解，对

增加一个如下比较，其中γ是在0和1之间通过预先经验设定的常量。

S102基于虚拟匹配点对构造缝合线和计算二次配准参数；

具体步骤是：

S301将基准影像和虚拟匹配点对都变换到柱面坐标系下；

为了解决大视角的透视变形问题，利用柱面投影将影像变换到柱面坐标系下，同样的将特征匹配点对和虚拟控制点对也转换到柱面下，并完成缝合线搜索和加密工作，最后完成拼接。由于置平工作，使得在柱面坐标系下影像之间只存在一个角度变化，且非常符合柱面投影拼接的相机旋转要求。

如图4所示将图像J投影到柱面坐标下得到J’，以圆柱体中心为主点O，建立右手直角坐标系，图像J的原始宽度为W，高度为H，圆柱体半径为r＝f，圆柱体的高度为H′＝H。图4(b)、(c)分别为俯视图和侧视图。下面利用图4(b)、(c)计算图像在柱面投影前后的坐标关系，观察俯视图可见，图像从ABC平面投影到DBE柱面上，以图像左上角为坐标原点(则图4(a)的左上角是图4(b)中的点C)，则点B的x轴坐标为W/2，以点F投影到点G为例，假设点F的平面坐标为(x,y)，柱面投影后点G的坐标为(x′,y′)，定义OF和OB之间的夹角为θ，相机的视角为α，可以构建如下关系式。

由此DBE弧长可由下式表示

进一步GBE弧长x′如下式可得。

利用相似三角形关系，

可得y′的坐标如下所示。

当以图像中心为坐标原点时，可以将柱面投影坐标变换简化为如下所示。

但上式是基于摄像机处于规范位置，且旋转矩阵R＝I的假设，此时光轴平行于z轴且与y轴垂直，因此可以将原始影像坐标(x,y)转换成物方空间坐标系(X,Y,Z)^T＝(x,y,f)^T。但在实际情况下，每幅影像相对基准影像都有各自的旋转矩阵，若不统一则无法投影到同一圆柱面上。

S302通过三角构网生成初始缝合线，利用TPS算法进行一次配准并计算配准参数；

缝合线加密算法是首先利用特征匹配控制点进行Delaunay三角构网，在构网区域设置一条基准线，搜寻离基准线最近的三角形顶点，并沿着三角形的边构成一条初始的缝合线。利用TPS和初始缝合线上的匹配点对进行一次配准，利用一次配准参数进行动态规划匹配，进而得到缝合线上密集的匹配点对。

S303利用初次配准参数对缝合线进行加密；

结合TPS和APAP算法的配准框架，利用配准框架动态规划加密缝合线。

S304利用加密后的缝合线上的控制点和非重叠区域的虚拟控制点对结合TPS算法进行二次配准，求取二次配准参，利用二次配准参数将基准影像上的加密缝合线逐像素映射到非基准影像上，构成最终的一对缝合线。

S103基于二次配准参数和最终的缝合线，进行重采样拼接并输出。

具体步骤是：利用二次配准参数重采样，将非基准影像映射到基准影像所在参考平面，并将映射坐标保存到映射表；利用映射表和GPU加速完成实时的拼接后的全景影像输出。

选定一幅影像作为基准图i，且让其满足相机处于规范位置的假设条件，即R＝I，利用影像之间的同名匹配点求取单应性变换关系，并利用单应性矩阵级联得到所有待拼接影像到基准影像之间的单应性矩阵，则待拼接影像j转换到基准图i的关系可如下表示，其中H_ij表示待拼接影像j和基准影像i之间的单应性变换。

一旦将待拼接影像j上的像素坐标转换到基准图后，由于基准图的假设条件，继而能进一步转换为物方坐标，这一隐含的条件是所有影像的焦距都统一且以基准影像的焦距为参考。

待拼接影像j的像素坐标通过变换成物方坐标，利用下式能将其转换到柱面坐标系下。

而这一柱面坐标的转换能够作为TPS的趋势部分替代全局单应性变换，即TPS框架可以变换为如下式来表达。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种高速公路隧道监控全景影像拼接方法，其特征在于，

包括：基于输入影像构造虚拟匹配点对；

基于虚拟匹配点对构造缝合线和计算二次配准参数；

基于二次配准参数和最终的缝合线，进行重采样拼接并输出。

2.如权利要求1所述的一种高速公路隧道监控全景影像拼接方法，其特征在于，

所述基于输入影像构造虚拟匹配点对的具体步骤是：

将输入影像进行置平；

基于置平影像计算全局单应性矩阵；

基于全局单应性矩阵构造虚拟匹配点对。

3.如权利要求2所述的一种高速公路隧道监控全景影像拼接方法，其特征在于，

所述将输入影像进行置平的具体方式是：利用相机焦距f和外参旋转矩阵R来对输入影像进行置平。

4.如权利要求2所述的一种高速公路隧道监控全景影像拼接方法，其特征在于，

所述基于置平影像计算全局单应性矩阵的具体步骤是：

通过TPS作为径向基函数建立其映射关系；

对控制点进行线性求解。

5.如权利要求2所述的一种高速公路隧道监控全景影像拼接方法，其特征在于，

所述基于全局单应性矩阵构造虚拟匹配点对的具体步骤是：

将全局单应性矩阵结合APAP网格配准模型；

计算全景影像到各个影像对应的局部单应性矩阵；

得到网格点对应在各个影像上的虚拟匹配点对。

6.如权利要求1所述的一种高速公路隧道监控全景影像拼接方法，其特征在于，

所述基于虚拟匹配点对构造缝合线和计算二次配准参数的具体步骤是：

将基准影像和虚拟匹配点对都变换到柱面坐标系下；

通过三角构网生成初始缝合线，利用TPS算法进行一次配准并计算配准参数；

利用初次配准参数对缝合线进行加密；

利用加密后的缝合线上的控制点和非重叠区域的虚拟控制点对结合TPS算法进行二次配准，求取二次配准参，利用二次配准参数将基准影像上的加密缝合线逐像素映射到非基准影像上，构成最终的一对缝合线。

Images