CN116132610A - 一种综采面视频拼接方法及系统 - Google Patents

Abstract

本发明公开一种综采面视频拼接方法及系统，涉及煤矿综采工作面监控技术领域。方法包括：对待拼接综采面视频进行抽帧处理，得到对应的待拼接图像序列；采用图像分割模型，确定各待拼接综采面图像中的特征区域，得到对应的特征区域图像集；对特征区域图像集中的各特征区域图像分别进行透视变换处理，得到对应的正视特征图像集；将所有正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各特征区域图像类对应的拼接后图像序列；根据所有拼接后图像序列，确定拼接后综采面视频。本发明能够实现针对斜视、且相机位置平行的视频拼接，满足一般流水线上相机位置不是共心、且相机不是正对流水线的场景。

Description

一种综采面视频拼接方法及系统

技术领域

本发明涉及煤矿综采工作面监控技术领域，特别是涉及一种综采面视频拼接方法及系统。

背景技术

近年来各企业针对综采工作面，开发了割煤过程中的摄像机跟机显示系统，每隔三个支架安装摄像机一台，通过井下环网将影像回传至地面，将采煤机行径位置的前后数个摄像机投放到控制中心大屏幕上。但由于综采面摄像机众多(如按照每三架一台摄像机，300米采面摄像机将多达60-70台)，如此多的摄像画面，系统无法将所有摄像机视频同时投放到监控大屏幕上。鉴于综采面画面本身相似的较高，即便实现综采面摄像画面全部显示，远程控制人员也难以辨别画面中图像与采面位置的对应关系，严重制约了综采面远程控制的发展。

因此开发一套可进行全采面实时画面无缝拼接显示系统，对于远程开采、远程监控过程中，让操作人员获取直观的环境重建影像，更好、更直观的了解全采面操作状况，是实现综采面智能化、无人化操控的重要技术环节。

市场上现有的拼接技术大多数是基于硬件的多画面大屏拼接，通过提供高性能视频图像处理工作站，将多个动态画面显示在多个屏幕上面，实现多窗口拼接的功能。而软件算法拼接方面目前研究的不多，一般采用共圆心点拼接，或者少量图像拼接，其拼接步骤为：(1)对每幅图进行特征点提取；(2)对特征点进行匹配；(3)进行图像配准；(4)把图像拷贝到另一幅图像的特定位置；(5)对重叠边界进行特殊处理。其最核心的算法原理是寻找特征点，搜索所有尺度空间上的图像，通过Hessian来识别潜在的对尺度和选择不变的兴趣点。

现有拼接技术对于同心的图像拼接比较可行，可以通过大量的特征点找到共同区域，拼接成相同的图片。这种算法需要图像跟图像之间有较多的重叠区域，且图像正视对着物体，对于斜视的图像并不能满足。

发明内容

本发明的目的是提供一种综采面视频拼接方法及系统，以实现针对斜视、且相机位置平行的视频拼接，满足一般流水线上相机位置不是共心、且相机不是正对流水线的场景。

为实现上述目的，本发明提供了如下方案：

一种综采面视频拼接方法，所述方法包括：

获取若干个待拼接综采面视频；各所述待拼接综采面视频的总帧数相同；

对于任一所述待拼接综采面视频，进行抽帧处理，得到所述待拼接综采面视频对应的待拼接图像序列；所述待拼接图像序列包括若干帧待拼接综采面图像，且各所述待拼接图像序列中的待拼接综采面图像的帧数相对应；

对于任一所述待拼接图像序列，采用图像分割模型，确定各所述待拼接综采面图像中的特征区域，得到所述待拼接图像序列对应的特征区域图像集；所述特征区域图像集包括若干个特征区域图像类，各所述特征区域图像类均包括若干帧特征区域图像；所述特征区域图像包括：采煤机区域、煤壁区域、线缆槽区域和大脚区域中的至少一种；所述图像分割模型是基于全卷积神经网络确定的；

对于任一所述特征区域图像集，对各所述特征区域图像分别进行透视变换处理，得到所述特征区域图像集对应的正视特征图像集；

将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列；所述拼接后图像序列包括若干帧拼接后图像；

根据所有所述拼接后图像序列，确定拼接后综采面视频；所述拼接后综采面视频包括：拼接后采煤机视频、拼接后煤壁视频、拼接后线缆槽视频和拼接后大脚视频。

可选地，所述根据所有所述拼接后图像序列，确定拼接后综采面视频，具体包括：

对于任一所述拼接后图像序列，对各所述拼接后图像的接缝处分别进行边缘处理，得到所述拼接后图像序列对应的处理后图像序列；各所述处理后图像序列中均包括若干帧处理后图像；

对于任一所述处理后图像序列，将各所述处理后图像压缩为视频流，得到对应的拼接后综采面视频。

可选地，所述对于任一所述待拼接图像序列，采用图像分割模型，确定各所述待拼接综采面图像中的特征区域，得到所述待拼接图像序列对应的特征区域图像集，具体包括：

对于任一所述待拼接图像序列，对各所述待拼接综采面图像分别进行图像标定处理，得到所述待拼接图像序列对应的标定后图像序列；各所述标定后图像序列中均包括若干帧标定后图像；

对于任一所述标定后图像序列，将各所述标定后图像分别输入至所述图像分割模型中，进行图像分割处理，得到各所述标定后图像对应的特征区域图像，并将各所述标定后图像对应的特征区域图像确定为所述待拼接图像序列对应的特征区域图像集。

可选地，所述图像分割模型的确定方法，具体包括：

获取训练数据集；所述训练数据集中包括若干张标注有煤壁区域、线缆槽区域、大脚区域和采煤机区域的样本图像；

构建全卷积神经网络模型；

以训练次数大于第一设定值或训练误差小于第二设定值为目标，将所述训练数据集输入至所述全卷积神经网络模型中进行训练，得到图像分割模型。

可选地，所述对于任一所述特征区域图像集，对各所述特征区域图像分别进行透视变换处理，得到所述特征区域图像集对应的正视特征图像集，具体包括：

对于任一所述特征区域图像集中的任一特征区域图像，根据所述特征区域图像中非共线的四个像素点的原始位置坐标和正视位置坐标确定透视变换矩阵，并根据所述透视变换矩阵对所述特征区域图像中的所有像素点均进行透视变换处理，得到所述特征区域图像对应的正视特征图像。

可选地，所述将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列，具体包括：

采用尺度不变特征变换的方法，将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列。

可选地，所述方法还包括：

对所述拼接后综采面视频进行展示。

一种综采面视频拼接系统，所述系统包括：

数据采集模块，用于采集若干个待拼接综采面视频；

处理器模块，与所述数据采集模块连接，用于执行上述的综采面视频拼接方法。

可选地，所述系统还包括：

传输模块，分别与所述数据采集模块及所述处理器模块连接，用于将所述待拼接综采面视频传输至所述处理器模块。

可选地，所述系统还包括：

显示模块，与所述处理器模块连接，用于显示拼接后综采面视频。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明通过采用图像分割模型，根据待拼接综采面图像确定特征区域图像，能够将综采面中的采煤机区域、煤壁区域、线缆槽区域和大脚区域等特征区域提取出来，避免其他非特征区域对视频拼接的影响；通过对特征区域图像进行透视变换处理，能够使斜视的特征区域图像转换为正视的特征区域图像，即正视特征图像；通过将相同特征区域图像集中对应帧的多张特征区域图像对应的正视特征图像分别进行拼接处理，能够使正视特征图像中具有相同特征的区域融合在一起。因此，本发明能够实现针对斜视、且相机位置平行的视频拼接，满足一般流水线上相机位置不是共心、且相机不是正对流水线的场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的综采面视频拼接方法的流程图；

图2为本发明提供的综采面视频拼接方法的具体流程图；

图3为本发明提供的视频流转图片的具体流程图；

图4为本发明提供的全卷积神经网络的网络结构示意图；

图5为本发明提供的图像分割模型的确定方法的流程图；

图6为本发明提供的透视变换处理的示意图；

图7为本发明提供的图像拼接处理的流程图；

图8为本发明提供的拼接后综采面视频的示意图；

图9为本发明提供的综采面视频拼接系统的模块结构图。

符号说明：

数据采集模块—10，处理器模块—20，传输模块—30，显示模块—40。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种综采面视频拼接方法及系统，以实现针对斜视、且相机位置平行的视频拼接，满足一般流水线上相机位置不是共心、且相机不是正对流水线的场景。

具体地，本发明利用智能化图像处理手段，能够实现综采面最多70个摄像机的影像实时拼接，并将拼接后影像实时显示在控制中心大屏上。在拼接过程中实现影像的自动位置匹配，图像同步，图像校正、旋转、拉伸等，最终实现最多70个画面的图像自动融合，实时智能图像调整，满足高产、高效远程监视、远程操控的综采工作面的视频要求。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1及图2所示，本发明提供的综采面视频拼接方法，包括：

步骤S1：获取若干个待拼接综采面视频；各所述待拼接综采面视频的总帧数相同。

步骤S2：对于任一所述待拼接综采面视频，进行抽帧处理，得到所述待拼接综采面视频对应的待拼接图像序列；所述待拼接图像序列包括若干帧待拼接综采面图像，且各所述待拼接图像序列中的待拼接综采面图像的帧数相对应。

在实际应用中，通过相机内置api，需要将视频中的某一帧图像以图片的形式保存到本地。这时候就需要对视频流中的图像数据进行转码提取和数据存储。视频流转图片的流程如图3所示。

步骤S3：对于任一所述待拼接图像序列，采用图像分割模型，确定各所述待拼接综采面图像中的特征区域，得到所述待拼接图像序列对应的特征区域图像集；所述特征区域图像集包括若干个特征区域图像类，各所述特征区域图像类均包括若干帧特征区域图像；所述特征区域图像包括：采煤机区域、煤壁区域、线缆槽区域和大脚区域中的至少一种；所述图像分割模型是基于全卷积神经网络确定的。

步骤S3，具体包括：

步骤S3.1：对于任一所述待拼接图像序列，对各所述待拼接综采面图像分别进行图像标定处理，得到所述待拼接图像序列对应的标定后图像序列；各所述标定后图像序列中均包括若干帧标定后图像。

在实际应用中，在通过视频流获取到单帧图像之后，需要对每张图像进行处理。最后把处理好的图像做拼接。在处理的首要之初就是做图像标定，去除因为镜头畸变导致的图像形变问题。处理之后的图像数据保存在内存中，因为综采拼接对实时性要求较高，所以处理的图像都存储在内存中，方便实时计算处理。

具体地，已知空间点P(X,Y,Z)以及其在像素坐标系下的坐标p(u,v)，再根据世界坐标系同相机内部各个坐标系之间的转换关系，来求解相机的内参，从而达到相机内参的标定的目的。

假设一点的空间坐标(即世界坐标系下的坐标)为P(X,Y,Z)，通过相机的外参矩阵T(其中T是由旋转矩阵R和平移矩阵t组成的)将点P(X,Y,Z)转换到相机坐标系下得到点P_C(X_C,Y_C,Z_C)，公式如下：

P_C＝T×P

设P在物理成像坐标系下的坐标为P'(X',Y',Z')，由相机的成像模型可知：

其中，f为相机的焦距。

至此得到了空间点P(X,Y,Z)在物理成像平面上的坐标P'(X',Y',Z')。因为这些坐标的单位都是米，要想转换到像素坐标系下还需要通过参数α、β来进行转换，这两个参数的物理意义是单位长度上的像素点的个数，同时考虑到物理成像坐标系和像素坐标系的原点不重合。

其中物理成像坐标系的原点在区域中心处，而像素坐标系的原点在左上角，所以有一个偏移量。假设在u方向上的像素点的偏移量为c_x(单位为像素个数)，在v方向上的像素点的偏移量为c_y。

故可以得到p(u,v)的坐标如下所示：

进一步地，可以得到如下公式：

其中，f_x为焦距f在X轴上的偏移量，f_y为焦距f在Y轴上的偏移量。

用矩阵的形式可以表示为：

进一步得到：

p＝K·T·P

其中，p为像素坐标系下的点的坐标，K为相机内参矩阵，T为相机外参矩阵，P为世界坐标系下的点的坐标。

至此理论部分完成，本发明通过估计出K，进而利用计算出来的K矩阵做相机标定，修正综采面上图像因相机镜头的畸变导致出现的图像变形。

步骤S3.2：对于任一所述标定后图像序列，将各所述标定后图像分别输入至所述图像分割模型中，进行图像分割处理，得到各所述标定后图像对应的特征区域图像，并将各所述标定后图像对应的特征区域图像确定为所述待拼接图像序列对应的特征区域图像集。

其中，所述图像分割模型的确定方法，具体包括：获取训练数据集；所述训练数据集中包括若干张标注有煤壁区域、线缆槽区域、大脚区域和采煤机区域的样本图像；构建全卷积神经网络模型；以训练次数大于第一设定值或训练误差小于第二设定值为目标，将所述训练数据集输入至所述全卷积神经网络模型中进行训练，得到图像分割模型。

图像分割就是把图像分成若干个特定的区域并提出感兴趣目标的技术和过程。在综采拼接的方法中，需要分割出来单独的煤壁区域、线缆槽区域、大脚区域以及采煤机区域。这些区域被称之为独特区域，即特征区域。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。

全卷积神经网络(Fully Convilutional Networks，FCN)是语义分割领域的开山之作。FCN的提出是在2016年，相较于此前提出的AlexNet和VGG等卷积全连接的网络结构，FCN提出用卷积层代替全连接层来处理语义分割问题，这也是FCN的由来，即全卷积网络。FCN的关键点主要有三，一是全卷积进行特征提取和下采样，二是双线性插值进行上采样，三是跳跃连接进行特征融合。

在实际应用中，本发明基于全卷积神经网络确定图像分割模型，具体的网络结构参见图4。在综采图像训练的过程中，如图5所示，首先，划分区域，煤壁、线缆槽、大脚以及采煤机，并将他们分别定义为coal、pipe、road以及machine，采集大量的原始图像，大约5000多张。其次，对原始图像进行标注，分别标注出图片中的特征区域。最后，把标注好的图片以及josn文件输入到深度学习模型中进行模型训练，最后得出整个综采面的模型配置文件。之后，利用这些配置模型可以对综采面图像进行分割。

步骤S4：对于任一所述特征区域图像集，对各所述特征区域图像分别进行透视变换处理，得到所述特征区域图像集对应的正视特征图像集。

具体地，对于任一所述特征区域图像集中的任一特征区域图像，根据所述特征区域图像中非共线的四个像素点的原始位置坐标和正视位置坐标确定透视变换矩阵，并根据所述透视变换矩阵对所述特征区域图像中的所有像素点均进行透视变换处理，得到所述特征区域图像对应的正视特征图像。

在实际应用中，在煤机的视频拼接的过程中，相机是斜视的对着煤壁、线缆槽、大脚，但是在最终的展示效果上是需要正对着煤壁、线缆槽、大脚以及采煤机，这需要把斜视的图像通过透视变换旋转到正视的效果。其中重要的点就是找到透视变化的旋转矩阵。在寻找透视变化的时候，需要找到原本就在一条直线上两对点，然后旋转计算之后把相对的几何关系计算出来。通过前后两组点的关系，可以计算出旋转矩阵。

透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。透视变换十分常用，例如在移动机器人视觉导航研究中，由于摄像机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)，有时希望将图像校正成正投影的形式，就需要利用透视变换。下面对透视变换的原理进行简要说明。

欧式变换保持了向量的长度和夹角，相当于把一个刚体原封不动地进行了移动或旋转，不改变它自身的样子，其矩阵表示为：

其中，(u，v)为原始图像像素坐标，(x＝x’/w’，y＝y’/w’)为变换之后的图像像素坐标，为欧拉旋转矩阵。基于欧拉旋转矩阵确定的透视变换矩阵如下：

其中，表示图像线性变换，T₂＝[a₁₃ a₂₃]^T用于产生图像透视变换，T₃＝[a₃₁ a₃₂]表示图像平移。

仿射变换(Affine Transformation)可以理解为透视变换的特殊形式。透视变换的数学表达式为：

所以，给定透视变换对应的四对像素点坐标，即可求得透视变换矩阵；反之，给定透视变换矩阵，即可对图像或像素点坐标完成透视变换，如图6所示。

步骤S5：将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列；所述拼接后图像序列包括若干帧拼接后图像。

具体地，采用尺度不变特征变换的方法，将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列。

在实际应用中，相邻图像之间的拼接需要通过特征匹配来进行计算，相邻图像之间是有部分重叠区域，这些重叠区域是需要裁剪掉重新拼接的，这样就需要通过特征匹配的方法寻找到重叠区域图像的特征点，把煤壁、线缆槽、大脚的重叠区域找到，裁剪掉。因为相机是保持斜视的，煤壁、线缆槽、大脚的重叠区域并不是完全相同，这样就需要对每个区域分别计算重叠部分，保证整个面的重叠区域是一致的。

尺度不变特征变换(Scale-invariant feature transform，SIFT)方法，是用于图像处理领域的一种描述。这种描述具有尺度不变性，它对物体的尺度变化，刚体变换，光照强度和遮挡都具有较好的稳定性，可在图像中检测出关键点，是一种局部特征描述子。SIFT算法被认为是图像匹配效果好的方法之一，该算法实现特征匹配主要流程参见图7。下面结合图7对尺度不变特征变换方法的原理进行简要说明。

两张图像在匹配的时候可能因为拍摄的距离、拍摄的角度问题，会导致在特征点提取的时候差异很大，所以希望SIFT的特征点可以具有尺度不变性和方向不变性。彩色图是三通道的，不好检测突变点。需要将RGB图转换为灰度图，此时灰度图为单通道，灰度值在0～255之间分布。而且当图像放大或者缩小时，它读取的特征点与原先可能差异很大，所以其中一个办法就是把物体的尺度空间图像集合提供给计算机，让它针对考虑不同尺度下都存在的特征点。

尺度空间的基本思想为：高斯核是唯一可以产生多尺度空间的核，在输入的图像模型中，通过高斯模糊函数连续的对尺度进行参数变换，最终得到多尺度空间序列。图像中某一尺度的空间函数L(x,y,σ)由可变参数的高斯函数G(x,y,σ)和原输入图像I(x,y)卷积得出：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中，σ表示为尺度空间因子，σ越小，反映的局部点越清晰。反之σ越大，图像越模糊，越不能反映出图像的细节；x_i表示图像中第i个点的x轴值，y_i表示图像中第i个点的y轴值，i表示图像像素点序。

传统的SIFT算法是通过建立高斯差分函数(DOG)方法来提取特征点。首先，在不同尺度参数的组数中，高斯差分图像是由某一相同尺度层的相邻图像作差值得出。然后，将得到的差分图像与原图像I(x,y)做卷积得到下式的DOG函数：

D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)

＝L(x，y，kσ)-L(x，y，σ)

其中，k表示不同尺度大小参数。

从上式可以知道，将相邻的两个高斯空间的图像相减就得到了DOG的响应图像。为了得到DOG图像，先要构造高斯尺度空间，而高斯的尺度空间可以在图像金字塔降维采样的基础上加上高斯滤波得到，也就是对图像金字塔的每层图像使用不同的尺度参数σ进行高斯模糊，使每层金字塔有多张高斯模糊过的图像，然后把得到的同一尺寸大小的图像划分为一组。

特征点是由DOG空间的局部极值点组成的。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点(共26个点)比较，以确保在尺度空间和二维图像空间都检测到极值点。有些极值点的位置是在图像的边缘位置的，因为图像的边缘点很难定位，同时也容易受到噪声的干扰，把这些点看做是不稳定的极值点，需要进行去除。边缘梯度的方向上主曲率值比较大，而沿着边缘方向则主曲率值较小。候选特征点的DOG函数D(x)的主曲率与2×2Hessian矩阵H的特征值成正比，D_xx表示DOG金字塔中某一尺度的图像在X方向求导两次，D_yy表示DOG金字塔中某一尺度的图像在Y方向求导两次，D_xy表示DOG金字塔中某一尺度的图像在X方向和Y方向分别求导一次：

在边缘梯度的方向上主曲率值比较大，而沿着边缘方向则主曲率值较小。设α＝λ_max＝D_xx为H的最大特征值，β＝λ_min＝D_yy为H的最小特征值，则有：

det(H)＝αβ

trace(H)＝α+β

Tr(H)为矩阵H的迹，Det(H)为矩阵H的行列式。当两个特征值相等时其值最小，因此为了检测主曲率是否在某个阈值Tr下，只需检测该比值与阈值Tr的大小关系，过滤不稳定的边缘响应点。所以，特征点提取可以概括为以下几个步骤：

1)建高斯尺度空间，产生不同尺度的高斯模糊图像。

2)进行图像resize，得到一系列尺寸不断缩小的图像。

3)DOG空间极值检测，去除部分边缘响应点。

经过上面的步骤已经找到了在不同尺度下都存在的特征点，为了实现图像旋转不变性，需要给特征点的方向进行赋值。利用特征点邻域像素的梯度来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向。对于已经检测到的特征点，可以得到该特征点的尺度值σ，所以确定该参数可以得到该尺度下的高斯图像：

L(x，y)＝G(x，y，σ)*I(x，y)

通过每个极值点的梯度来为极值点赋予方向，梯度幅值等于上下两点像素值差的平方加上左右两点像素值差的平方，梯度方向则为上下两点像素值差与左右两点像素值差的商。

则梯度赋值为：

梯度方向为：

在计算描述子之前，需要先确定计算区域，Lowe实验结果表明：描述子采用4×4×8＝128维向量表征，综合效果最优(不变性与独特性)。为了保证特征矢量具有旋转不变性，需要以特征点为中心，将特征点附近邻域内图像梯度的位置和方向旋转一个方向角θ，即将原图像X轴转到与主方向相同的方向。对模板图和目标图分别建立描述子集合。特征点的匹配是通过两点集合内关键点描述子的比对来完成，描述子的相似度量采用欧氏距离。假设模板图中关键点描述子为：R_i＝(r_i1，r_i2，…，r_i128)，其中，i表示第i个关键点，r_i1表示模板图中第i个关键点的第1维特征，r_i2表示模板图中第i个关键点的第2维特征，依此类推，实时图中关键点描述子为：S_i＝(s_i1，s_i2，…，s_i128)，其中，i表示第i个关键点，s_i1表示实时图中第i个关键点的第1维特征，s_i2表示实时图中第i个关键点的第2维特征，依此类推，任意两描述子相似性度量为：最终留下来的配对的关键点描述子，需要满足条件：

在做特征匹配的时候，需要确定好阈值，把不正确的匹配信息过滤掉，确保相邻图像之间的特侦匹配是正确的数据。

步骤S6：根据所有所述拼接后图像序列，确定拼接后综采面视频；所述拼接后综采面视频包括：拼接后采煤机视频、拼接后煤壁视频、拼接后线缆槽视频和拼接后大脚视频。

步骤S6，具体包括：

步骤S6.1：对于任一所述拼接后图像序列，对各所述拼接后图像的接缝处分别进行边缘处理，得到所述拼接后图像序列对应的处理后图像序列；各所述处理后图像序列中均包括若干帧处理后图像。

在实际应用中，当计算完特征点之后会对相邻图像做融合，把多余的图像裁剪掉，然后做边缘处理。因为相邻图像之间的色差是不一致的，并且裁剪掉的图像边缘有比较明显的边界。这时候需要通过边缘处理，把相邻图像之间的边界模糊化，并且使整个拼接图像的色差保持相对一致。优选地，本发明采用曝光合成算法进行边缘处理。

所谓曝光合成就是对同一场景用不同的曝光量拍摄多张照片，然后将这些照片再合成为一张照片。之所以要这么做是因为现在的相机感光的动态范围相比人眼实在是太小了，经常在一幅照片中暗处太暗，亮处过曝。曝光合成就是针对这种情况提出的算法。在曝光合成算法出现之前，还有另外一种解决这个问题的手段，就是所谓的高动态图像(HDR)技术。通常的图片是用8bit来表示每个颜色分量的，所谓HDR就是用更多的位数来存放每个像素的亮度信息，甚至有些HDR的图像格式直接用浮点数来存储每个像素。如何得到HDR图像呢，有些相机直接可以输出，更多的还是通过不同曝光量的几张照片合成。可是通常的显示设备，比如液晶显示器，实际上是显示不了那么大的亮度变化的。所以在显示图像时，还要将HDR图像转化为通常的LDR图像。这个过程叫做色调映射(tone mapping)。色调映射的质量直接决定了最后显示出的图像的质量。

步骤S6.2：对于任一所述处理后图像序列，将各所述处理后图像压缩为视频流，得到对应的拼接后综采面视频。

进一步地，所述方法还包括：

步骤S7：对所述拼接后综采面视频进行展示。

在实际应用中，本发明采用QT可视化终端方案。数据输入读取4路本地视频数据，从相机中抓取图像数据，对视频流进行抽帧，获取每张图像，按照上述步骤对多个图像进行拼接，利用特征匹配把特征点计算出来，然后对图像拼接，在接缝处对图像做边缘色差处理，使得整体的图像保持一致性。在后台计算的算法程序压缩成视频流传输到展示服务器中。通过GRPC获取视频流数据，完成数据解析并展示。实时展示读取到的视频数据即可，点击上方tab页后，还可以切换页面，展示其他视频流数据。最终展示的拼接后综采面视频参见图8，其中，图8中的133、135部分表示综采面中采煤机正在工作区域的视频拼接效果图；图8中的145、147、149和151部分表示综采面其他连续区域的视频拼接效果图。

作为一种具体的实施方式，本发明采用服务器集群实现视频的实时传输和处理。服务器集群就是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种综采面视频拼接系统。如图9所示，所述系统包括：

数据采集模块10，用于采集若干个待拼接综采面视频。

处理器模块20，与所述数据采集模块10连接，用于执行实施例一中所述的综采面视频拼接方法。

其中，原始图像通过数据采集模块10完成采集，图像标定、图像分割、透视变换、特征点匹配和边缘处理在处理器模块20的计算处理器单元完成，服务器集群和视频展示则在处理器模块20的可视化处理器单元完成。

进一步地，所述系统还包括：

传输模块30，分别与所述数据采集模块10及所述处理器模块20连接，用于将所述待拼接综采面视频传输至所述处理器模块20。

优选地，所述传输模块30为采煤机。

进一步地，所述系统还包括：

显示模块40，与所述处理器模块20连接，用于显示拼接后综采面视频。

优选地，所述显示模块40为显示大屏。

综上所述，本发明提出了一种针对斜视、且相机位置平行的拼接方法及系统，可满足一般流水线上相机位置不是共心的情况且相机不是正对流水线的场景。该方法原理在普通的拼接基础上做了比较大的修改，利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。之后通过相机位置以及相机的焦距估算图片重合的特征区域大致位置。拼接流程分为：1、从视频流中截取图像数据。2、截图图像进行畸变参数校正。3、图片场景进行分割，提取出主要的特征区域。4、通过透视变换使图像旋转到对应的地方，显示在一个平面上。5、通过图像的色差以及边缘的RGB信息突变，对处理的图像画面进行平滑处理。6、对处理的图像数据用集群的方式进行数据传输，保证数据的稳定性和时效性。7、设计UI进行终端展示。与现有技术相比，本发明具有以下优点：

第一，系统首次采用机器学习算法和图像算法相融合的方式对井下综采煤矿产面进行数据拼接，与传统工业信息化opc数据相结合，实时拼接综采掘面以及采煤机图像，确保在采面相对恶略环境下保持整体的系统稳定性，同时确保系统实时性要求。

第二，支持采面最多70个摄像机的画面融合工作。具体地，通过区分特征区域，使一套算法能够进行采煤机拼接，通过10个图像数据进行采煤机拼接，拼接完整的采煤机效果。另外一套算法能够进行综采面其他结构拼接，10-16个图像进行综采面其他结构拼接，分为煤壁、线缆槽以及大脚。采用的方法都是如上所述。并将融合后视频合理的显示在控制中心大屏幕上，视频延时可小于1秒。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种综采面视频拼接方法，其特征在于，所述方法包括：

获取若干个待拼接综采面视频；各所述待拼接综采面视频的总帧数相同；

对于任一所述待拼接综采面视频，进行抽帧处理，得到所述待拼接综采面视频对应的待拼接图像序列；所述待拼接图像序列包括若干帧待拼接综采面图像，且各所述待拼接图像序列中的待拼接综采面图像的帧数相对应；

对于任一所述待拼接图像序列，采用图像分割模型，确定各所述待拼接综采面图像中的特征区域，得到所述待拼接图像序列对应的特征区域图像集；所述特征区域图像集包括若干个特征区域图像类，各所述特征区域图像类均包括若干帧特征区域图像；所述特征区域图像包括：采煤机区域、煤壁区域、线缆槽区域和大脚区域中的至少一种；所述图像分割模型是基于全卷积神经网络确定的；

对于任一所述特征区域图像集，对各所述特征区域图像分别进行透视变换处理，得到所述特征区域图像集对应的正视特征图像集；

将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列；所述拼接后图像序列包括若干帧拼接后图像；

根据所有所述拼接后图像序列，确定拼接后综采面视频；所述拼接后综采面视频包括：拼接后采煤机视频、拼接后煤壁视频、拼接后线缆槽视频和拼接后大脚视频。

2.根据权利要求1所述的综采面视频拼接方法，其特征在于，所述根据所有所述拼接后图像序列，确定拼接后综采面视频，具体包括：

对于任一所述拼接后图像序列，对各所述拼接后图像的接缝处分别进行边缘处理，得到所述拼接后图像序列对应的处理后图像序列；各所述处理后图像序列中均包括若干帧处理后图像；

对于任一所述处理后图像序列，将各所述处理后图像压缩为视频流，得到对应的拼接后综采面视频。

3.根据权利要求1所述的综采面视频拼接方法，其特征在于，所述对于任一所述待拼接图像序列，采用图像分割模型，确定各所述待拼接综采面图像中的特征区域，得到所述待拼接图像序列对应的特征区域图像集，具体包括：

对于任一所述待拼接图像序列，对各所述待拼接综采面图像分别进行图像标定处理，得到所述待拼接图像序列对应的标定后图像序列；各所述标定后图像序列中均包括若干帧标定后图像；

对于任一所述标定后图像序列，将各所述标定后图像分别输入至所述图像分割模型中，进行图像分割处理，得到各所述标定后图像对应的特征区域图像，并将各所述标定后图像对应的特征区域图像确定为所述待拼接图像序列对应的特征区域图像集。

4.根据权利要求1所述的综采面视频拼接方法，其特征在于，所述图像分割模型的确定方法，具体包括：

获取训练数据集；所述训练数据集中包括若干张标注有煤壁区域、线缆槽区域、大脚区域和采煤机区域的样本图像；

构建全卷积神经网络模型；

以训练次数大于第一设定值或训练误差小于第二设定值为目标，将所述训练数据集输入至所述全卷积神经网络模型中进行训练，得到图像分割模型。

5.根据权利要求1所述的综采面视频拼接方法，其特征在于，所述对于任一所述特征区域图像集，对各所述特征区域图像分别进行透视变换处理，得到所述特征区域图像集对应的正视特征图像集，具体包括：

对于任一所述特征区域图像集中的任一特征区域图像，根据所述特征区域图像中非共线的四个像素点的原始位置坐标和正视位置坐标确定透视变换矩阵，并根据所述透视变换矩阵对所述特征区域图像中的所有像素点均进行透视变换处理，得到所述特征区域图像对应的正视特征图像。

6.根据权利要求1所述的综采面视频拼接方法，其特征在于，所述将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列，具体包括：

采用尺度不变特征变换的方法，将所有所述正视特征图像集中，对应相同特征区域图像类的相同帧的正视特征图像进行拼接处理，得到各所述特征区域图像类对应的拼接后图像序列。

7.根据权利要求1所述的综采面视频拼接方法，其特征在于，所述方法还包括：

对所述拼接后综采面视频进行展示。

8.一种综采面视频拼接系统，其特征在于，所述系统包括：

数据采集模块，用于采集若干个待拼接综采面视频；

处理器模块，与所述数据采集模块连接，用于执行如权利要求1-7中任意一项所述的综采面视频拼接方法。

9.根据权利要求8所述的综采面视频拼接系统，其特征在于，所述系统还包括：

传输模块，分别与所述数据采集模块及所述处理器模块连接，用于将所述待拼接综采面视频传输至所述处理器模块。

10.根据权利要求8所述的综采面视频拼接系统，其特征在于，所述系统还包括：

显示模块，与所述处理器模块连接，用于显示拼接后综采面视频。

Images