CN116132636A - 煤矿综采工作面视频拼接方法和装置 - Google Patents

Abstract

本申请公开了一种煤矿综采工作面视频拼接方法和装置，其中，该方法包括：获取综采工作面的视频图像，然后将视频图像进行视频拼接处理，获取拼接视频，其中，视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接，最后将拼接视频进行显示。本申请能够对综采工作面的视频图像进行视频拼接处理，满足综采工作面环境的鲁棒性要求，可以保证视频拼接处理的稳定性。

Description

煤矿综采工作面视频拼接方法和装置

技术领域

本申请涉及煤矿开采领域，尤其涉及一种煤矿综采工作面视频拼接方法和装置。

背景技术

视频监控技术在煤炭领域应用越来越广泛。常用单个摄像头对整个监控场景进行一对一监控，但是对于一些特殊场景比如矿井综采工作面，其场景狭长，一般都需要安装几十甚至上百个摄像头进行整个场景监控覆盖。另外矿井综采工作面场景较为单一，相似度高，通过远程监控人员进行地点位置分辨难度较大。因此需要采用视频拼接技术来对整个综采工作面所有摄像机进行多个画面的无缝拼接显示，以期实现对现场环境的影像重建，便于远程监控人员能够更加全面的了解综采工作面的操作情况，实现高产、高效的远程监视要求。

多摄像机视频拼接技术是指通过对一个较大的场景以固定视角安装多个摄像机，通过相关算法处理，将整个场景中的所有摄像机图像拼接起来，形成视频全景图像。目前视频拼接技术大多采用硬拼方式，即要求摄像机必须摆放在近似同光心的位置上，然后通过摄像机的安装顺序实现视频图像的边缘对齐，从而实现将多个动态画面显示在多个屏幕上面，完成多窗口拼接功能。在处理视频拼接的软件算法方面，常采用共圆心点拼接，或者少量图像的拼接，一般步骤为通过将视频分解为帧图像，对相应的帧图像进行图像融合，再将拼接后的帧图像压缩为视频完成。

在图像拼接算法不断探索的基础上，视频拼接技术和应用得到了有效的发展，但是在视频拼接实时性和场景适应性等方面还存在不少的问题，尤其是针对煤矿井下综采工作面的应用场景，现存问题大致归类如下：

(1)多摄像机硬拼接技术：该技术对摄像机的摆放位置有较高要求，且对于非同光心的视频无法获得足够的特征进行匹配，从而造成视频拼接失败；

(2)多摄像机软拼接技术：目前该技术只能适应小场景或者少量运动对象的情况，无法解决大场景以及多运动对象的全景视频拼接，无法实现对应的全景视频流畅播放。另外对于煤矿综采工作面存在图像特征单一、粉尘环境对图像的模糊影响，没有进行有效解决。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的目的在于解决满足煤矿综采工作面视频拼接要求的视频拼接问题，提出了一种煤矿综采工作面视频拼接方法。

本申请的另一个目的在于提出一种煤矿综采工作面视频拼接装置。

为达上述目的，本申请一方面提出了煤矿综采工作面视频拼接方法，包括：

获取综采工作面的视频图像；

将所述视频图像进行视频拼接处理，获取拼接视频，其中，所述视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接；

将所述拼接视频进行显示。

在一种可能的实施方式中，所述将所述视频图像进行视频拼接处理，获取拼接视频，包括：

通过图像去雾算法对所述视频图像进行所述图像预处理，获取复原图像；

通过基于特征点的图像配准算法对所述复原图像进行所述图像配准，获取单应性变换矩阵；

通过基于加权平均算法的图像融合算法对所述单应性变换矩阵进行所述图像融合，获取融合图像；

根据所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

在一种可能的实施方式中，所述通过基于特征点的图像配准算法对所述复原图像进行所述图像配准，获取单应性变换矩阵，包括：

通过SURF算法对所述复原图像进行特征点提取，获取图像特征点；

通过基于Kd-Tree的特征近似最近邻匹配算法对所述图像特征点进行特征点匹配，获取图像特征点对；

通过RANSAC算法对所述图像特征点对进行特征点提纯，获取图像内点集；

根据所述图像内点集计算生成单应性变换矩阵。

在一种可能的实施方式中，所述图像配准，还包括：

在所述复原图像重叠区域纹理特征单一的情况下，通过基于灰度最小均方误差的图像配准算法对所述复原图像进行所述图像配准，获取所述单应性变换矩阵。

在一种可能的实施方式中，所述根据所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频，包括：

通过感知哈希算法检测相邻帧的所述融合图像的相似度，获取相似度结果；

根据所述相似度结果，通过所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

为达到上述目的，本申请另一方面提出了一种煤矿综采工作面视频拼接装置，包括：

获取模块，用于获取综采工作面的视频图像；

拼接模块，用于将所述视频图像进行视频拼接处理，获取拼接视频，其中，所述视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接；

显示模块，用于将所述拼接视频进行显示。

在一种可能的实施方式中，所述拼接模块，包括：

预处理单元，用于通过图像去雾算法对所述视频图像进行所述图像预处理，获取复原图像；

配准单元，用于通过基于特征点的图像配准算法对所述复原图像进行所述图像配准，获取单应性变换矩阵；

融合单元，用于通过基于加权平均算法的图像融合算法对所述单应性变换矩阵进行所述图像融合，获取融合图像；

拼接单元，用于根据所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

在一种可能的实施方式中，所述配准单元，包括：

特征点提取子单元，用于通过SURF算法对所述复原图像进行特征点提取，获取图像特征点；

特征点匹配子单元，用于通过基于Kd-Tree的特征近似最近邻匹配算法对所述图像特征点进行特征点匹配，获取图像特征点对；

特征点提纯子单元，用于通过RANSAC算法对所述图像特征点对进行特征点提纯，获取图像内点集；

计算子单元，用于根据所述图像内点集计算生成单应性变换矩阵。

在一种可能的实施方式中，所述配准单元，还用于在所述复原图像重叠区域纹理特征单一的情况下，通过基于灰度最小均方误差的图像配准算法对所述复原图像进行所述图像配准，获取所述单应性变换矩阵。

在一种可能的实施方式中，所述拼接单元，包括：

检测子单元，用于通过感知哈希算法检测相邻帧的所述融合图像的相似度，获取相似度结果；

拼接子单元，用于根据所述相似度结果，通过所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

本申请的有益效果：

在本申请实施例中，通过获取综采工作面的视频图像，然后将视频图像进行视频拼接处理，获取拼接视频，其中，视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接，最后将拼接视频进行显示。本申请能够对综采工作面的视频图像进行视频拼接处理，满足综采工作面环境的鲁棒性要求，可以保证视频拼接处理的稳定性。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例的煤矿综采工作面视频拼接方法的流程图；

图2为根据本申请实施例的煤矿综采工作面视频拼接系统的架构示意图；

图3为根据本申请实施例的像素点邻域的示意图；

图4为根据本申请实施例的煤矿综采工作面视频拼接装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

下面参照附图描述根据本申请实施例提出的煤矿综采工作面视频拼接方法及装置，首先将参照附图描述根据本申请实施例提出的煤矿综采工作面视频拼接方法。

图1为根据本申请实施例的煤矿综采工作面视频拼接方法的流程图。

如图1所示，该煤矿综采工作面视频拼接方法包括：

步骤S110，获取综采工作面的视频图像。

在本申请实施例中，可以获取综采工作面的视频图像。示例性的，图2为根据本申请实施例的煤矿综采工作面视频拼接系统的架构示意图，如图2所示，可以在综采工作面每隔2至3个支架安装1个摄像机，一般综采工作面的工作长度大概在300米左右，故可以安装50个摄像机(数据采集模块)。将50个摄像机面向综采工作面煤壁方向进行拍摄，每两个相邻的摄像机拍摄的图像具有重叠区域，如此，可以通过50个摄像机获取综采工作面的视频图像。

步骤S120，将视频图像进行视频拼接处理，获取拼接视频，其中，视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接。

在本申请实施例中，仍如图2所示，可以在获取综采工作面的视频图像之后，将视频图像通过环网发送至图像处理模块。图像处理模块可以进行实时图像处理业务，将视频图像进行视频拼接处理，从而获取拼接视频。其中，视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接。

需要说明的是，可以通过单独设立的服务器对综采工作面的视频图像进行拆解处理，以获取对应于50个摄像机的图像数据。

步骤S130，将拼接视频进行显示。

在本申请实施例中，仍如图2所示，在获取拼接视频之后，可以通过可视化模块将拼接视频进行显示。可以理解的是，可视化模块具备用户接口，例如，液晶显示屏，可以通过用户接口将拼接视频显示给工作人员，以供工作人员查看拼接视频。

在本申请实施例中，通过获取综采工作面的视频图像，然后将视频图像进行视频拼接处理，获取拼接视频，其中，视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接，最后将拼接视频进行显示。本申请能够对综采工作面的视频图像进行视频拼接处理，满足综采工作面环境的鲁棒性要求，可以保证视频拼接处理的稳定性。

在一种可能的实施方式中，将视频图像进行视频拼接处理，获取拼接视频，包括：

通过图像去雾算法对视频图像进行图像预处理，获取复原图像；

通过基于特征点的图像配准算法对复原图像进行图像配准，获取单应性变换矩阵；

通过基于加权平均算法的图像融合算法对单应性变换矩阵进行图像融合，获取融合图像；

根据单应性变换矩阵对融合图像进行视频拼接，获取拼接视频。

在本申请实施例中，考虑到煤矿井下综采工作面存在粉尘、水雾及昏暗等恶劣环境，可以通过图像去雾算法对对视频图像进行图像预处理，获取复原图像，从而能够达到去粉尘模糊的优化视频帧的效果，为后续视频拼接处理提供基础。在获取复原图像之后，可以通过基于特征点的图像配准算法对复原图像进行图像配准，获取单应性变换矩阵。可以理解的是，单应性变换矩阵的作用是可以将待拼接图像通过坐标变换的方式将该图像像素点变换到另一幅待拼接图像所处的坐标系中。在获取单应性变换矩阵之后，由于单应性矩阵存在着误差，所以图像中的像素点经过变换后得到的坐标与其真实坐标存在一定的误差，所以在图像的重叠区域会有两个像素点，因而产生重影问题。为了优化重影问题，可以通过基于加权平均算法的图像融合算法对单应性变换矩阵进行图像融合，获取融合图像。在获取融合图像之后，可以根据单应性变换矩阵对融合图像进行视频拼接，获取拼接视频。

需要说明的是，图像去雾算法是通过大气散射物理模型来解释有雾图像的形成过程和原理，大气散射物理模型如下所示：

I(x)＝J(x)t(x)+A(1-t(x))

t(x)＝e^-βd(x)

其中，I(x)为采集的综采工作面视频图像，J(x)为复原图像，A为大气光值，t(x)为透射率，β为散射系数，d(x)为图像深度。

通过基于图像复原的暗通道先验算法，可以得到复原图像，如下：

其中，t₀为限定常数，一般取0.1。

需要说明的是，为了优化重影问题，可以通过基于加权平均算法的图像融合算法对单应性变换矩阵进行图像融合。具体地，非重叠区域中的点的像素取其在对应图像中的像素值。对于重叠区域的点，将变换后得到的坐标点在待配准图像中的像素值与该区域中所有基准图像中的像素值进行比较，若存在近似的像素值，则认为该点的位置可能存在误差，则该点的像素值中来自待配准图像的像素值对应的权重应该调低。

图3为根据本申请实施例的像素点邻域的示意图。如图3所示，待配准图像中的某个点经过变换后得到的点的坐标为(x₀，y₀)，在待配准图像中对应的像素值为f_B(x₀，y₀)，在(x₀，y₀)处，基准图像的像素值为f_A(x₀，y₀)，(x₀，y₀)的邻域中的像素点在基准图像的灰度值为f_A(x₀-1,y₀-1)、f_A(x₀,y₀-1)、f_A(x₀+1,y₀-1)、f_A(x₀-1,y₀)、f_A(x₀+1,y₀)、f_A(x₀-1,y₀+1)、f_A(x₀,y₀+1)、f_A(x₀+1,y₀+1)。定义两个点P、Q的像素值相似度Similarity为其像素值的差，如下所示：

然后对点(x₀，y₀)与其邻域中的所有点求相似度，找出相似度最小的点G，如下：

在Similarity((x₀，y₀)，G)小于或等于

的情况下，说明当前变换后的坐标点位置准确，则该点的像素值计算方式与加权平均融合算法相同，即：

在Similarity((x₀，y₀)，G)大于

的情况下，说明该点正确的位置为G点，则该点待匹配图像的像素值对应权重需要下调以降低重影效果，权重计算方式如下：

w₁＝1-w₂。

在一种可能的实施方式中，通过基于特征点的图像配准算法对复原图像进行图像配准，获取单应性变换矩阵，包括：

通过SURF算法对复原图像进行特征点提取，获取图像特征点；

通过基于Kd-Tree的特征近似最近邻匹配算法对图像特征点进行特征点匹配，获取图像特征点对；

通过RANSAC算法对图像特征点对进行特征点提纯，获取图像内点集；

根据图像内点集计算生成单应性变换矩阵。

在本申请实施例中，可以通过SURF(Speeded Up Robust Features，具有加速且鲁棒特点)算法对复原图像进行特征点提取，获取图像特征点。然后可以通过基于Kd-Tree(K-dimensional Tree，K维树)的特征近似最近邻匹配算法对图像特征点进行特征点匹配，获取图像特征点对。再可以通过RANSAC(Random Sample Consensus，随机抽样一致)算法对图像特征点对进行特征点提纯，获取图像内点集。最后可以根据图像内点集计算生成单应性变换矩阵。

需要说明的是，SURF算法运用Hessian(黑塞)矩阵和基于积分图像的盒式滤波器加速了图像卷积的速度，在保留了SIFT(Scale Invariant Feature Transform，尺度不变特征变换匹配)算法良好性能的前提下提高了特征提取的速度。对于图像I(x,y)中的任意像素点(x,y)在尺度下的Hessian矩阵可以表示如下：

其中，Lxx、Lxv、Lvv都是高斯二阶导数算子和图像I(x,y)的卷积。

SURF算法中使用了盒式滤波器对图像进行滤波操作，进而构建出图像高斯金字塔。因为盒式滤波器在对图像滤波的过程中使用了积分图像的概念，将对图像的滤波操作转变成了对图像上不同大小矩形区域间像素的简单加减问题，所以极大地减少了计算量，进一步提升了算法的性能。

SURF算法是针对图像的整个区域来提取特征点，然后再在整张图像范围内进行特征匹配。由于综采工作面相邻相机拍摄的图像之间具有一定的重叠区域，因此没必要对整张图像的特征点进行全局匹配。

可以理解的是，本申请实施例中的改进SURF算法，该算法不再对整幅图像进行特征提取，而只对图像的重叠区域提取特征点，避免了大量无用特征的检测，提高了视频图像特征提取的速度。

需要说明的是，对待配准图像之间的特征点进行匹配，通常使用欧式距离的方式进行匹配，但会造成计算过程比较耗时并且效率较低的问题。故先使用基于Kd-Tree的特征近似最近邻匹配算法对特征点进行粗匹配，可有效减小算法运算量以及提高算法搜索效率。

基于Kd-Tree的特征近似最近邻匹配算法的特征空间一般是n维实数向量空间Rn，核心在于使用欧式距离找到实例的邻点。假设二维特征点p和q的特征向量分别记为D_p(x₁,y₁)和D_q(x₂,y₂)，则d(p，q)表示的欧式距离表示为：

若k维向量特征p和q分别代表D_p(x₁₁，x₁₂，…，x_1k)和D_q(x₂₁，x₂₂，…，x_2k),则欧式距离为：

通过Kd-Tree的数据结构特征将特征点数据在n维空间Rn均匀分割，从而提高效率。

需要说明的是，由于图像噪声和计算误差的存在，特征点粗匹配之后会存在一定数量的误匹配，因此使用RANSAC算法将粗匹配之后的特征点对进行提纯，通过不断的迭代求解，最终在粗匹配点对中得到具有最大数量的内点集，进而利用该内点集求解出图像间的单应性变换矩阵。

RANSAC算法用于提纯的步骤如下：

1)在特征匹配点对集合中随机采样四组对应特征点对；

2)通过四组对应特征点对计算单应性变换矩阵H；

3)在特征匹配点对集合剩余点对中随机抽取不重复的四组对应特征点对，计算模型与搜词计算出的模型距离，只到集合中所有剩余点对都计算完毕后，设定阈值为T，T表示各单应性变换矩阵模型之间的相对距离，将距离小于T的模型总数N表示为内点个数；

4)重复1),2),3)步骤Q次，选出最大内点数；

5)将最大内点数的所有模型综合计算出新的单应性变换矩阵模型。

针对RANSAC算法随机选取匹配点时可能会因为计算错误的数据，造成迭代次数较多，影响算法效率的问题。利用相似度测量方法，将相似度较高的匹配点对组成拥有较大概率的正确内点集，从最优的内点集中选取4对匹配点对计算变换矩阵H，并将通过此次单应性变换矩阵计算得到的错误匹配点对个数记为阈值T；若下次重新计算单应性变换矩阵得到的错误匹配点对个数大于阈值T，则直接丢弃模型重新计算H，否则更新单应性变换矩阵和错误匹配点对阈值。

在一种可能的实施方式中，图像配准，还包括：

在复原图像重叠区域纹理特征单一的情况下，通过基于灰度最小均方误差的图像配准算法对复原图像进行图像配准，获取单应性变换矩阵。

在本申请实施例中，在复原图像重叠区域纹理特征单一的情况下，可以通过基于灰度最小均方误差的图像配准算法对复原图像进行图像配准，获取单应性变换矩阵。

需要说明的是，对图像特征点稀缺时的特殊场景，SURF算法在待配准图像重叠区域纹理特征单一时无法正确配准，因此可以采用一种基于灰度最小均方误差的图像配准方法，直接依据图像重叠区域的像素来迭代求解图像间的变换模型参数，可有效解决该问题。

假定图像间初始的单应性变换矩阵为H，待配准图像为I_src和I_dst，图像Isrc重叠区域的所有像素点构成的向量为I_os＝[I_src(x₁) I_src(x₂) … I_src(x_k)]^T，图像I_dst重叠区域的所有像素点构成的向量为I_od＝[I_dst(y₁(H)) I_dst(y₂(H)) … I_dst(y_k(H))]^T,其中，x_i和y_i分别表示两张图像重叠区域像素点的位置坐标。零均值化灰度最小均方误差如下：

其中，

和

分别是向量I_os和I_od进行零均值化得到的。采用迭代更新的方式最小化误差准则，即可得到图像间的单应性变换矩阵。同时为了提高运行速度，先将两张待配准图像的重叠区域分别划分为多个具有同样大小的子区域，然后利用每个子区域的中心点来代表当前子区域，这样两张图像重叠区域的像素构成的向量维度就缩小了很多，可以减少迭代次数从而提高运算效率。

在一种可能的实施方式中，根据单应性变换矩阵对融合图像进行视频拼接，获取拼接视频，包括：

通过感知哈希算法检测相邻帧的融合图像的相似度，获取相似度结果；

根据相似度结果，通过单应性变换矩阵对融合图像进行视频拼接，获取拼接视频。

在本申请实施例中，可以通过感知哈希算法检测相邻帧的融合图像的相似度，获取相似度结果，然后可以根据相似度结果，通过单应性变换矩阵对融合图像进行视频拼接，获取拼接视频。

需要说明的是，视频拼接过程中，如果对每幅视频帧图像都进行特征点的提取以及匹配会极大程度影响算法拼接视频的效率，很难满足实际应用中实时性的要求。考虑到在综采工作面支架上的相机的安装位置是固定的，观测角度也是固定的，并且需要拼接的视频之间重叠部分并不会发生太大程度变化的原因，使得相机相邻视频图像之间的变换矩阵很相似。针对重复提取拼接特征的问题，本发明将通过在相似视频帧图像中使用相同的变换矩阵进行拼接，避免对相似图像重复进行特征提取与匹配。通过感知哈希法来判断同一相机相邻帧是否相似，如果相似，则继续使用当前单应性变换矩阵H，减少重复计算，如果相差较大，则重新计算H并替换之前保留的单应性变换矩阵。从而在算法运行速度上进行优化，极大程度提高相应的运行效率，完成视频拼接。

感知哈希算法对原图像和待检测图像进行相似度检测时，会首先对两幅图像分别进行哈希特征的提取，得到图像唯一的哈希特征值后进行比较。如果原图像和待检测图像之间的哈希特征序列的汉明距离小于设定的阈值，则判断两幅图像是相似的；如果两幅图像之间汉明距离大于设定的阈值，则判断两幅图像是不相似的。并且由于图像的哈希特征是唯一的，所以并不会出现对于相同图像出现特征序列不相同的情况，在准确性上有着较好表现。其中距离阈值的选取将根据实际情况设置，根据阈值判断图像是否相似。

感知哈希算法为了增加图像细节提高算法检测的准确性，会利用离散余弦变化将进行相似度检测的图像变换到频率域，之后根据得到的频率系数矩阵选取合适的元素来计算图像哈希特征序列，下式表示离散余弦变化：

公式中i和j分别表示图像像素域中元素坐标，f(i,j)是对应元素的值，n是像素矩阵的阶。x和y分别表示图像在频率域中元素的坐标，F(x,y)是转换后频率域的系数矩阵的元素，将系数矩阵记为N_k×k，其中n_m×m为左上角m×m矩阵。感知哈希算法步骤如下：

(1)：将待检测的图像变换到k×k，共k²个像素；

(2)：将变换后的图像转换为灰度图；

(3)：对图像进行离散余弦变换，从像素域变为频率域，计算频率系数矩阵N_k×k，并将矩阵左上角m×m矩阵记为n_m×m；

(4)：计算频率系数矩阵n_m×m的平均值，记为n_avg；

(5)：遍历n_m×m中每一个元素n_i，并将n_i与n_avg进行比较，若n_i大于n_avg，则记为1，否则记为0，得到图像的感知哈希值；

(6)：得到两幅图像哈希特征序列之后，将特征序列的汉明距离与设定阈值进行比较，判断图像是否相似。

为了实现上述实施例，如图4所示，本实施例中还提供了一种煤矿综采工作面视频拼接装置400，该装置400包括：获取模块410，拼接模块420，显示模块430。

获取模块410，用于获取综采工作面的视频图像；

拼接模块420，用于将视频图像进行视频拼接处理，获取拼接视频，其中，视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接；

显示模块430，用于将拼接视频进行显示。

在一种可能的实施方式中，拼接模块420，包括：

预处理单元，用于通过图像去雾算法对视频图像进行图像预处理，获取复原图像；

配准单元，用于通过基于特征点的图像配准算法对复原图像进行图像配准，获取单应性变换矩阵；

融合单元，用于通过基于加权平均算法的图像融合算法对单应性变换矩阵进行图像融合，获取融合图像；

拼接单元，用于根据单应性变换矩阵对融合图像进行视频拼接，获取拼接视频。

在一种可能的实施方式中，配准单元，包括：

特征点提取子单元，用于通过SURF算法对复原图像进行特征点提取，获取图像特征点；

特征点匹配子单元，用于通过基于Kd-Tree的特征近似最近邻匹配算法对图像特征点进行特征点匹配，获取图像特征点对；

特征点提纯子单元，用于通过RANSAC算法对图像特征点对进行特征点提纯，获取图像内点集；

计算子单元，用于根据图像内点集计算生成单应性变换矩阵。

在一种可能的实施方式中，配准单元，还用于在复原图像重叠区域纹理特征单一的情况下，通过基于灰度最小均方误差的图像配准算法对复原图像进行图像配准，获取单应性变换矩阵。

在一种可能的实施方式中，拼接单元，包括：

检测子单元，用于通过感知哈希算法检测相邻帧的融合图像的相似度，获取相似度结果；

拼接子单元，用于根据相似度结果，通过单应性变换矩阵对融合图像进行视频拼接，获取拼接视频。

根据本申请实施例的煤矿综采工作面视频拼接装置，获取模块，用于获取综采工作面的视频图像；拼接模块，用于将视频图像进行视频拼接处理，获取拼接视频，其中，视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接；显示模块，用于将拼接视频进行显示。本申请能够对综采工作面的视频图像进行视频拼接处理，满足综采工作面环境的鲁棒性要求，可以保证视频拼接处理的稳定性。

需要说明的是，前述对煤矿综采工作面视频拼接方法实施例的解释说明也适用于该实施例的煤矿综采工作面视频拼接装置，此处不再赘述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种煤矿综采工作面视频拼接方法，其特征在于，包括：

获取综采工作面的视频图像；

将所述视频图像进行视频拼接处理，获取拼接视频，其中，所述视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接；

将所述拼接视频进行显示。

2.根据权利要求1所述的煤矿综采工作面视频拼接方法，其特征在于，所述将所述视频图像进行视频拼接处理，获取拼接视频，包括：

通过图像去雾算法对所述视频图像进行所述图像预处理，获取复原图像；

通过基于特征点的图像配准算法对所述复原图像进行所述图像配准，获取单应性变换矩阵；

通过基于加权平均算法的图像融合算法对所述单应性变换矩阵进行所述图像融合，获取融合图像；

根据所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

3.根据权利要求2所述的煤矿综采工作面视频拼接方法，其特征在于，所述通过基于特征点的图像配准算法对所述复原图像进行所述图像配准，获取单应性变换矩阵，包括：

通过SURF算法对所述复原图像进行特征点提取，获取图像特征点；

通过基于Kd-Tree的特征近似最近邻匹配算法对所述图像特征点进行特征点匹配，获取图像特征点对；

通过RANSAC算法对所述图像特征点对进行特征点提纯，获取图像内点集；

根据所述图像内点集计算生成单应性变换矩阵。

4.根据权利要求3所述的煤矿综采工作面视频拼接方法，其特征在于，所述图像配准，还包括：

在所述复原图像重叠区域纹理特征单一的情况下，通过基于灰度最小均方误差的图像配准算法对所述复原图像进行所述图像配准，获取所述单应性变换矩阵。

5.根据权利要求2所述的煤矿综采工作面视频拼接方法，其特征在于，所述根据所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频，包括：

通过感知哈希算法检测相邻帧的所述融合图像的相似度，获取相似度结果；

根据所述相似度结果，通过所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

6.一种煤矿综采工作面视频拼接装置，其特征在于，包括：

获取模块，用于获取综采工作面的视频图像；

拼接模块，用于将所述视频图像进行视频拼接处理，获取拼接视频，其中，所述视频拼接处理包括：图像预处理、图像配准、图像融合和视频拼接；

显示模块，用于将所述拼接视频进行显示。

7.根据权利要求6所述的煤矿综采工作面视频拼接装置，其特征在于，所述拼接模块，包括：

预处理单元，用于通过图像去雾算法对所述视频图像进行所述图像预处理，获取复原图像；

配准单元，用于通过基于特征点的图像配准算法对所述复原图像进行所述图像配准，获取单应性变换矩阵；

融合单元，用于通过基于加权平均算法的图像融合算法对所述单应性变换矩阵进行所述图像融合，获取融合图像；

拼接单元，用于根据所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

8.根据权利要求7所述的煤矿综采工作面视频拼接装置，其特征在于，所述配准单元，包括：

特征点提取子单元，用于通过SURF算法对所述复原图像进行特征点提取，获取图像特征点；

特征点匹配子单元，用于通过基于Kd-Tree的特征近似最近邻匹配算法对所述图像特征点进行特征点匹配，获取图像特征点对；

特征点提纯子单元，用于通过RANSAC算法对所述图像特征点对进行特征点提纯，获取图像内点集；

计算子单元，用于根据所述图像内点集计算生成单应性变换矩阵。

9.根据权利要求8所述的煤矿综采工作面视频拼接装置，其特征在于，所述配准单元，还用于在所述复原图像重叠区域纹理特征单一的情况下，通过基于灰度最小均方误差的图像配准算法对所述复原图像进行所述图像配准，获取所述单应性变换矩阵。

10.根据权利要求7所述的煤矿综采工作面视频拼接装置，其特征在于，所述拼接单元，包括：

检测子单元，用于通过感知哈希算法检测相邻帧的所述融合图像的相似度，获取相似度结果；

拼接子单元，用于根据所述相似度结果，通过所述单应性变换矩阵对所述融合图像进行所述视频拼接，获取所述拼接视频。

Images