CN111800609A - 基于多平面多感知缝合线的矿井巷道视频拼接方法 - Google Patents

Abstract

本发明涉及视频拼接技术领域，尤其涉及一种基于多平面多感知缝合线的矿井巷道视频拼接方法。主要步骤包括采用尺度不变特征变换算法(SIFT)对定点旋转摄像头所采集到的视频图像前景和背景分别进行特征点检测和匹配，得到特征匹配点；基于多平面进行特征匹配点分组，每组特征匹配点对应的对齐候选单应性矩阵都可以对齐视频图像中的一个平面；在每组局部对齐的视频图像上计算多感知缝合线，选择缝合线能量最小的对齐候选对齐帧图像，并合成最终视频拼接结果。提供了一种以最少摄像头排列布局，获得最大范围的巷道拍摄视野，实现井下巷道大视差场景下自然无缝的视频拼接方法。

Description

基于多平面多感知缝合线的矿井巷道视频拼接方法

技术领域

本发明涉及视频拼接技术领域，尤其涉及一种基于多平面多感知缝合线的矿井巷道视频拼接方法。

背景技术

中国是一个煤矿资源大国，但煤矿产业却是一个高危产业，由于煤矿井下地理环境复杂，开采时发生安全事故的概率较高，为了防止安全隐患，需要对井下巷道进行视频监控。由于单目摄像机获取的视频视野较窄，无法满足井下甬长狭窄巷道视频监控的需求，因此需要使用视频拼接技术，将多个具有重叠区域的巷道视频拼接成整幅全景巷道视频，为更好的监控煤矿井下生产情况，预防危险的产生提供了保障。

由于煤矿井下环境过于复杂，井下图片存在尺度变化、低照度、噪声大、光照分布不均匀等问题。此外，由于巷道甬长狭窄，拍摄场景离摄像头较近，摄像头之间相距较远且位姿差异较大，现有技术中为了得到较好的拼接效果，需要排布大量的摄像头，已采集较多的视频图形进行拼接，不但设备成本增加，而且数据处理量巨大，最终的效果也不能令人满意。造成待拼接视频之间视差过大，因此井下巷道视频拼接是一个极具挑战性的问题。

目前定点旋转摄像头拍摄场景下的拼接已取得了显著的进展，但在巷道等甬长狭窄通道场景监控中，使用定点旋转摄像头视频拼接会耗费大量摄像头成本，无法将折叠视频图像中的重叠区域完全对齐，因此会产生模糊、重影、内容扭曲、变形的现象，在拍摄视野和拼接效果上也会受到局限；基于局部变形的拼接方法可实现一定程度视差情况下的自然拼接，可在一定程度上提高视差下的视频对齐精度，但无法解决巷道中过大视差场景下的拼接；缝合线主导的拼接方法通过产生多个局部对齐并在每个局部对齐上计算缝合线以得到多个拼接结果，最后选择最自然无缝的生成帧图像作为拼接结果，适用于大视差视频拼接问题。

虽然上述缝合线主导的拼接方法一定程度上能处理大视差场景拼接，但在产生局部对齐候选时没有针对性，同时缝合线的计算往往只考虑相邻像素颜色差异，而煤矿井下光线昏暗，颜色信息缺失，因此在拼接缝合线处可能会出现割裂、错位等不自然的现象。

发明内容

本发明所要解决的技术问题是巷道大视差场景下摄像头拍摄角度平面不一致，井下环境昏暗，噪音大导致的颜色、视频信息缺失问题，提供了一种以最少摄像头排列布局，获得最大范围的巷道拍摄视野，实现井下巷道大视差场景下无缝的视频拼接方法。

本发明解决上述技术问题的技术方案如下：基于多平面多感知缝合线的矿井巷道视频拼接方法，包括以下步骤：

步骤1：根据矿井巷道的现场环境布设摄像头，摄像头沿着巷道排列，保证摄像头拍摄范围之间有部分重叠，对重叠区域范围没有限制；

步骤2：采用尺度不变特征变换算法(Scale Invariant Feature Transform，SIFT)对步骤1中摄像头所采集到的每个视频图像(视频1、视频2…视频n)进行前景和背景的特征点检测和匹配，得到特征匹配点；

步骤3：基于步骤2中得到的特征匹配点，进行多平面特征匹配点分组，每组特征匹配点通过单应性矩阵，映射对应的多平面对齐候选视频图像(H1、H2、H3…)中的一个平面；

步骤4：在步骤3得到的每组局部对齐的视频图像上，计算多感知缝合线(能量1、能量2、能量3…)建立集合，选择缝合线能量最小的对齐候选图像，并合成最终视频拼接结果。

进一步，步骤1中的所述摄像头为定点旋转摄像头。

进一步，所述步骤2具体包括:

步骤2-1：在SIFT算法基础上将每一个摄像头采集到的待拼接视频图像进行输入帧图像I_r和I_t，进行特征点检测、匹配，得到初始特征点匹配对M₀；

步骤2-2：设初始值i＝1，在初始特征匹配点M₀上使用随机抽样一致性算法(Random Sample Consensus，RANSAC)，得到一组特征匹配点M_i并计算对应的单应性矩阵H_i。

进一步，所述步骤3具体包括:

步骤3-1：更新初始特征匹配点M₀＝M₀-M_i、i＝i+1，重复操作步骤2-2得到H_i；

步骤3-2：通过重复操作步骤3-1，直到M₀＜10停止循环，得到单应性矩阵集合{H_i}，并将H_i的个数记为n。

进一步，所述步骤4具体包括:

步骤4-1：记缝合线算法的输入为

设初始值j＝1，令

循环计算每组局部对齐帧图像

的缝合线；计算局部对齐帧图像

对应的数据项E_data、平滑项E_smooth，得到能量方程E(l)：

其中，能量方程由数据项E_data和平滑项E_smooth组成，N是所有相邻像素对的集合，数据项表示给像素点p加标签l_p的代价，平滑项表示给相邻像素点(p,q)加标签(l_p,l_q)的代价；其中，生成帧图像中像素点p位置在

中存在有效RGB值时E_data(l_p)＝0，不存在有效RGB值时，E_data(l_p)＝∞；

步骤4-2：使用graph-cut最小化能量方程，得到标签l_j，并记录缝合线能量E_j；

步骤4-3：j＝j+1，更新

并重复操作步骤3-1，直到j＝n+1，循环结束，得到缝合线能量集合{E_j}；

步骤3-4：比较集合{E_j}中每个元素的大小，选择最小值对应的局部对齐帧图像

并沿着缝合线合成最终拼接结果。

本发明的有益效果是：提出基于多平面多感知缝合线的矿井巷道视频拼接方法，实现了以最少摄像头排列布局，仅仅要求相邻摄像头的视频图像间有重叠区域即可，通过多平面产生对齐候选单应性矩阵，每个单应性矩阵都能将视频图像中的一个平面对齐，解决了巷道大视差场景下平面不一致问题；同时解决了井下存在尺度变化、低照度、噪声大、光照分布不均匀等问题，会出现颜色信息缺失问题，提出多感知缝合线算法来完成的视频的合成，通过多感知缝合线是算法得到缝合线能量最小值的对应的局部对齐帧图像，完成合成拼接，这样得到的视频结合边缘更自然效果更好。

附图说明

图1本发明的基于多平面多感知缝合线的矿井巷道视频拼接流程；

图2本发明中矿井巷道内摄像头排列布局示意图；

图3本发明基于多平面多感知缝合线的矿井巷道视频拼接方法得到的视频拼接效果图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1-2所示，基于多平面多感知缝合线的矿井巷道视频拼接方法，包括以下步骤：

步骤1：根据矿井巷道的现场环境布设摄像头，摄像头沿着巷道排列，保证摄像头拍摄范围之间有部分重叠，对重叠区域范围没有限制；可以有效减少摄像头的使用，所述摄像头优选的是定点旋转摄像头。

步骤2：采用尺度不变特征变换算法(Scale Invariant Feature Transform，SIFT)对步骤1中摄像头所采集到的每个视频图像(视频1、视频2…视频n)进行前景和背景的特征点检测和匹配，得到特征匹配点；大视差拼接场景下，视频画面中往往存在多个平面，现有方法无法同时对齐所有的平面。因此，在局部对齐的视频图像上寻找到一条缝合线将其无缝拼接在一起，成为解决大视差视频拼接的有效方法。随机抽样一致性算法(RandomSample Consensus，RANSAC)是一种单应性矩阵估计算法，选择能够拟合最多组特征匹配点的单应性矩阵作为视频图像的对齐模型。RANSAC算法仅能对齐帧图像中的一个主平面，不适用于大视差场景中存在多个对应平面的情况。

步骤3：基于步骤2中得到的特征匹配点，进行多平面特征匹配点分组，每组特征匹配点通过单应性矩阵，映射对应的多平面对齐候选视频图像(H1、H2、H3…)中的一个平面；在RANSAC算法基础上，通过多层叠加RANSAC算法得到多组特征匹配点，使用每组特征匹配点对应的单应性矩阵对齐图片中的一个平面，即实现视频图像的局部对齐。

步骤4：在步骤3得到的每组局部对齐的视频图像上，计算多感知缝合线(能量1、能量2、能量3…)建立集合，选择缝合线能量最小的对齐候选图像，并合成最终视频拼接结果。

上述步骤2的具体包括:

步骤2-1：在SIFT算法基础上将每一个摄像头采集到的待拼接视频图像进行输入帧图像I_r和I_t，进行特征点检测、匹配，得到初始特征点匹配对M₀；

步骤2-2：设初始值i＝1，在初始特征匹配点M₀上使用随机抽样一致性算法(Random Sample Consensus，RANSAC)，得到一组特征匹配点M_i并计算对应的单应性矩阵H_i。

进一步，所述步骤3具体包括:

步骤3-1：更新初始特征匹配点M₀＝M₀-M_i、i＝i+1，重复操作步骤2-2得到H_i；

步骤3-2：通过重复操作步骤3-1，直到M₀＜10停止循环，得到单应性矩阵集合{H_i}，并将H_i的个数记为n。

通过上述步骤可知，在SIFT算法基础上将每一个摄像头采集到的待拼接视频图像记为I_r和I_t，在SIFT算法得到一组初始特征匹配点的基础上，使用RANSAC算法筛选初始特征匹配点后得到一组内点；得到的这组内点对应的单应性矩阵H可以对齐帧图像中的一个平面，将这些内点去除后在剩余的特征匹配点上继续使用RANSAC算法提取内点，得到的内点便对应帧图像中的另一个平面；重复上述操作，直到剩余特征匹配点的数目小于某个阈值时，停止循环。

如图3所示针对井下巷道内监控画面颜色信息缺失、纹理不明显等问题，通过将颜色、边缘以及显著度的多感知特性生成拼接缝合线实现视频图像合成。作为一种图像合成算法，缝合线可以在局部对齐的两张图像上找到一条接缝，将视频帧图像无缝的拼接在一起。缝合线算法可以表示成在马尔科夫随机场(Markov Random Field，MRF)上加标签的问题，生成图中每个像素点的颜色只来源于一幅输入帧图像，来源于不同输入帧图像的两相邻点之间便形成了一条接缝。缝合线的计算可以通过graph-cut方法求解能量方程最小化的方式实现。其具体操作如步骤4所述:

步骤4-1：记缝合线算法的输入为

其中

循环计算每组局部对齐帧图像

的缝合线。记P为局部对齐帧图像的拼接域，L＝{0,1}为可选标签的集合，为生成帧图像拼接域中的每个像素点p∈P加标签l_p∈L即可得到缝合线。当l_p＝0时，表示p点的RGB值来源于

当l_p＝1时，表示p点的RGB值来源于

缝合线算法的目的就是找到一组标签l能够最小化能量方程为

其中，能量方程由数据项E_data和平滑项E_smooth组成，N是所有相邻像素对的集合，数据项表示给像素点p加标签l_p的代价，平滑项表示给相邻像素点(p,q)加标签(l_p,l_q)的代价。其中，生成帧图像中像素点p位置在

中存在有效RGB值时E_data(l_p)＝0，不存在有效RGB值时，E_data(l_p)＝∞。

煤矿井下视频具有低照度、低纹理等特点，若只考虑平滑项中相邻像素的颜色差异，会造成视频图像缝合线处出现纹理结构割裂、错位的现象。提出的多感知缝合线同时考虑人眼对视频图像的多种感知，包括相邻像素点的颜色、显著度以及边缘信息，提高了对缝合线的约束，得到的拼接结果更自然、无缝。多感知缝合线的平滑项公式为

E_smooth(p,q,l_p,l_q)＝|l_p-l_q|W(p,q)(C_d(p,q)+E_d(p,q))， (2)

其中，W(p,q)＝(w(p+)w(q))为2p、q两像素点处的平均显著度，w(·)＝(w₁(·)+w₂(·))/2表示两输入帧图像在同一点处的平均显著度。由于人眼常把注意力放在显著度高的物体上，因此在显著度高的物体上造成的缝合线偏差更容易引起人们的注意。在公式(2)中，像素显著度越高，能量E越大，从而达到避免缝合线通过高显著度物体的目的。

C_d(p,q)＝sigmoid(cd)为颜色能量项，其中cd表示两张图片在p、q两像素点处的颜色差异，

cd＝||I₁(p)-I₂(p)||₂+||I₁(q)-I₂(q)||₂， (3)

其中，两相邻像素点之间的颜色差异越小，能量E越小，以避免缝合线落在颜色差异大的区域，生成图缝合线处更自然、无缝。由于人眼对于颜色差异的感知是非线性的，当cd小于τ时，人眼分辨不出颜色的差异；当cd约等于τ时，人眼对颜色差异的敏锐度极具上升；当cd大于τ时，人眼可以明显的看出颜色的不同。因此，可以通过给cd加sigmoid度量来模拟人眼对颜色差异的感知特性。sigmoid函数表达式为

其中τ由大津法解得，k为常数。公式(2)中E_d(p,q)＝|e_d(p)|+|e_d(q)|为边缘能量项，e_d表示两张输入帧图像的边缘图像的差值，由canny算子计算得到。p、q两像素点处的边缘越相似，拼接缝处偏差越不明显，在平滑项中加入E_d(p,q)后，两相邻像素间边缘差异越大，能量E越大，从而达到避免缝合线落在边缘差异大的区域的目的。

得到公式(1)的缝合线能量方程后，使用graph-cut方法最小化，得到拼接域中每个像素点的标签并记录缝合线能量，能量越小生成图质量越高。

步骤4-2：使用graph-cut最小化能量方程，得到标签l_j，并记录缝合线能量E_j；

步骤4-3：j＝j+1，更新

并重复操作步骤2-1，直到j＝n+1，循环结束，得到缝合线能量集合{E_j}；

步骤4-4：比较集合{E_j}中每个元素的大小，选择最小值对应的局部对齐帧图像

并沿着缝合线合成最终拼接结果。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (5)

1.基于多平面多感知缝合线的矿井巷道视频拼接方法，其特征在于：包括以下步骤：

步骤1：根据矿井巷道的现场环境布设摄像头，摄像头沿着巷道排列，保证摄像头拍摄范围之间有部分重叠，对重叠区域范围没有限制；

步骤2：采用尺度不变特征变换算法(Scale Invariant Feature Transform，SIFT)对步骤1中摄像头所采集到的每个视频图像(视频1、视频2…视频n)进行前景和背景的特征点检测和匹配，得到特征匹配点；

步骤3：基于步骤2中得到的特征匹配点，进行多平面特征匹配点分组，每组特征匹配点通过单应性矩阵，映射对应的多平面对齐候选视频图像(H1、H2、H3…)中的一个平面；

步骤4：在步骤3得到的每组局部对齐的视频图像上，计算多感知缝合线(能量1、能量2、能量3…)建立集合，选择缝合线能量最小的对齐候选图像，并合成最终视频拼接结果。

2.根据权利要求1所述的基于多平面多感知缝合线的矿井巷道视频拼接方法，其特征在于：步骤1中的所述摄像头为定点旋转摄像头。

3.根据权利要求1所述的基于多平面多感知缝合线的矿井巷道视频拼接方法，其特征在于：所述步骤2具体包括:

步骤2-1：在SIFT算法基础上将每一个摄像头采集到的待拼接视频图像进行输入帧图像I_r和I_t，进行特征点检测、匹配，得到初始特征点匹配对M₀；

步骤2-2：设初始值i＝1，在初始特征匹配点M₀上使用随机抽样一致性算法(RandomSample Consensus，RANSAC)，得到一组特征匹配点M_i并计算对应的单应性矩阵H_i。

4.根据权利要求1所述的基于多平面多感知缝合线的矿井巷道视频拼接方法，其特征在于：所述步骤3具体包括:

步骤3-1：更新初始特征匹配点M₀＝M₀-M_i、i＝i+1，重复操作步骤2-2得到H_i；

步骤3-2：通过重复操作步骤3-1，直到M₀＜10停止循环，得到单应性矩阵集合{H_i}，并将H_i的个数记为n。

5.根据权利要求1所述的基于多平面多感知缝合线的矿井巷道视频拼接方法，其特征在于：所述步骤4具体包括:

步骤4-1：记缝合线算法的输入为

设初始值j＝1，令

循环计算每组局部对齐帧图像

的缝合线；计算局部对齐帧图像

对应的数据项E_data、平滑项E_smooth，得到能量方程E(l)：

其中，能量方程由数据项E_data和平滑项E_smooth组成，N是所有相邻像素对的集合，数据项表示给像素点p加标签l_p的代价，平滑项表示给相邻像素点(p,q)加标签(l_p,l_q)的代价；其中，生成帧图像中像素点p位置在

中存在有效RGB值时E_data(l_p)＝0，不存在有效RGB值时，E_data(l_p)＝∞；

步骤4-2：使用graph-cut最小化能量方程，得到标签l_j，并记录缝合线能量E_j；

步骤4-3：j＝j+1，更新

并重复操作步骤3-1，直到j＝n+1，循环结束，得到缝合线能量集合{E_j}；

步骤3-4：比较集合{E_j}中每个元素的大小，选择最小值对应的局部对齐帧图像

并沿着缝合线合成最终拼接结果。

Images