CN112215925A - 自适应采煤机随动跟踪多摄像头视频拼接方法 - Google Patents

Abstract

本发明公开了自适应采煤机随动跟踪多摄像头视频拼接方法，属智能监控技术领域，将摄像头组自适应随动跟踪方法和采煤机视频拼接算法相结合，提升采煤工作面大视差条件下采煤机监控视频的拼接效果，降低摄像头监控死角对采煤机状态监控的影响；首先利用彩色荧光带对机体进行位置标记，通过相机标定原理得到其现实空间坐标；基于摄像头组自适应随动跟踪方法对部署于采煤工作面上的摄像头进行分组激活，由当前被激活摄像头组完成对采煤机画面的视频拼接任务。采煤机视频拼接算法是利用图像拼接算法将两个监控视频的对应帧图像进行拼接，基于RANSAC算法筛选SIFT特征点用于两图的配准；最后，通过搜寻最优缝合线对两图进行拼接，实现采煤机作业的大范围监控。

Description

自适应采煤机随动跟踪多摄像头视频拼接方法

技术领域

本发明属于智能监控技术领域，涉及自适应采煤机随动跟踪多摄像头视频拼接方法。

背景技术

采煤机作为现下煤矿生产机械化和现代化的重要设备，如果出现故障将会导致整个采煤工作面的中断，它的运行状态直接影响煤矿安全生产水平和经济生产效益。由于采煤机是一个集机械、电气和液压为一体的大型复杂系统，它的机体很长，具有操作复杂度高以及无法及时发现工作故障等问题，传统的视频监控系统无法覆盖整个机体，必然会产生监控盲点，增加故障漏检率。

因此，针对大型采煤机的故障监控系统需要多个摄像头进行配合，实现对大视域跨度下采煤机画面的协同采集，才能完成对于采煤机的整体监控。综上所述，为及时发现采煤机的运行故障，延长采煤机的使用寿命，避免因设备故障而造成的各种经济损失，设计一种自适应采煤机随动跟踪多摄像头视频拼接方法具有重要意义。

目前，煤矿井下视频监控的拼接技术研究已经有了一定的进展，如赵建洪等人针对视频图像拼接实时性差的问题，提出利用图像处理单元实现视频图像的融合；管增伦等人针对加速鲁棒性特征算法实时性不高等问题，提出降低特征点维度和仅在感兴趣区域提取特征点来改进加速鲁棒性算法，提高井下视频拼接算法的实时性和拼接效果；杜春晖等人针对采煤工作面视频监控问题采用非线性抗失真模型(NAM)矫正算法消除图像畸变，采用加速稳健特征(SURF)检测算法进行特征点检测，并通过双线性插值方法进行图像融合，从而实现视频拼接。

以上方法都对井下视频监控拼接提出了一定的技术改进，但是对于用于井下监控的摄像头组没有进行自适应动态调度，主要面向静态目标或环境的监控场景，针对动态大型目标(如采煤机)的随动监控还未得到充分研究。同时，现有拼接算法不能很好处理矿井中大视差条件下的视频拼接结果模糊、畸变问题，限制了广视域大视差场景下监控范围的纵向扩展。

发明内容

发明目的：为了解决现有技术存在的问题，本发明提供自适应采煤机随动跟踪多摄像头视频拼接方法。

技术方案：为了实现上述发明目的，本发明采用如下技术方案：

自适应采煤机随动跟踪多摄像头视频拼接方法，包括如下步骤：

1)在采煤机中央部位进行ROI标记，作为相机标定算法的定位锚点；

2)利用色彩分量特征提取算法对各摄像头采集图像中的ROI锚点进行检索，并以一定算法时间间隔t_q按照从左到右排列顺序对各摄像头视频数据进行ROI锚点轮询检索，若某一摄像头检索到锚点，则随后的摄像头停止检索，由此摄像头为中心，根据机体长度确定左右两侧的摄像头数目，；

3)随后根据相机标定中图像空间坐标与现实空间坐标的映射关系自适应确定需调用的摄像头组并对组内视频进行图像拼接，最终将结果显示在监视器上。

进一步地，步骤1)中，所述的进行ROI标记具体为：首先对采集到的图像进行RGB到HSV的色域转换，根据彩色荧光带的颜色确定其在HSV空间中的色彩因子阈值，基于此阈值对矩形ROI进行识别，获取矩形ROI形心的像素位置，标记为摄像头随动的识别锚点；随后利用相机标定方法将锚点的图像空间坐标投影到现实空间坐标系中。

进一步地，所述的相机标定方法，包括如下步骤：

1.1)建立图像空间坐标系：该图像空间坐标系分为图像物理坐标系和图像像素坐标系：图像物理坐标系xo₀y以实际物理尺寸作为度量单位，原点位于o₀；像素坐标系uov以像素点为度量单位，原点位于o；u和v分别表示像素在数字图像中的列数和行数；图像坐标系的x轴和y轴与像素坐标系的u轴和v轴相互平行且方向相同；(u₀,v₀)为物理坐标系原点o₀的像素坐标，相机中感光器件每个像素的尺寸是dx*dy，则物理坐标系坐标(x,y)到像素坐标系坐标(u,v)的变换关系表示为：

1.2)建立相机坐标系：相机坐标系x_cy_cz_c是以相机的光轴作为Z轴，o_c为光心，x_c轴和y_c轴分别与图像坐标系的x轴和y轴平行；o_co₀为相机焦距f；世界空间坐标系：由用户定义的三维坐标系，用于描述三维空间中的物体和相机的位置；以X_w，Y_w，Z_w表示；p点表示图像物理坐标系中的成像坐标，b点表示相机坐标系中物体点的坐标；

根据相似三角形原理，推算相机坐标系与图像物理坐标系之间关系为：

1.3)建立现实空间坐标系：对相机坐标进行平移、旋转操作则得到ROI锚点在现实空间坐标系中的坐标：

其中R表示一个旋转矩阵，t_s表示平移向量，它们称为外参数矩阵，由摄像头部署位置和其与水平面的夹角等因素确定，用于表示摄像头坐标相对于世界坐标的旋转和平移变换关系，最终计算得到ROI锚点的世界坐标O_a(X_wa,Y_wa,Z_wa)。

进一步地步骤2)中，确定所述的ROI锚点在空间中的位置后，利用摄像头组自适应随动跟踪方法对部署在采煤巷道上的摄像头进行分组激活，确保视频监控范围能够跟随采煤机的移动进行自适应调整，使得监控角度随动覆盖采煤机全貌；摄像头组自适应随动跟踪算法流程如下：

2.1)初始化参数：采煤机长度L、采煤机与摄像头垂直方向上的距离H_ce、相邻摄像头的间距d、摄像头水平视场角θ_h；

2.2)单个摄像头标号记为C_i，{i|i＝1,2,3…N}，其中N代表布设在巷道内所有摄像头的数目；摄像头C_i的世界坐标为P_i(X_wc,Y_wc,Z_wc)；

2.3)初始化ROI锚点坐标识别算法轮询时间间隔t_q、锚点识别算法运行速度k(每秒识别k张图片)、摄像头帧率Fr(每秒输出Fr张图片)、初始轮询摄像头C₁；

2.4)单位轮询时间t_q内，摄像头输出t_q*Fr张图片，ROI识别算法能够处理t_q*k张图片，故需要从t_q*Fr张图片中随机取样t_q*k张进行锚点识别算法处理；

2.5)若识别到图片中存在ROI锚点，则计算其现实空间坐标O_a(X_wa,Y_wa,Z_wa)，令r＝i并记当前摄像头为C_r，执行步骤6；若未检测到锚点，则令i＝i+1，对下一个摄像头数据执行步骤2.4)；

2.6)已知摄像头拍摄水平方向上的长度为2H_ce·tan(θ_h/2)，x_h为摄像头C_r视域最左侧至ROI的水平距离，y_h为C_r视域最右侧至ROI的水平距：

x_h＝2H tan(θ_h/2)+|X_wc-X_wa| (1)

y_h＝2H tan(θ_h/2)-x_h (2)

2.7)设C_r左侧所需摄像头个数为n_L，右侧所需摄像头个数为n_R，则满足以下条件：

x_h+n_L*d＞L/2 (3)

y_h+n_R*d＞L/2 (4)

2.8)求得n_L，n_R，所要激活的摄像头组编号范围则为

进一步地步骤3)中，所述的图像拼接是使用RANSAC算法筛选包含最多特征匹配点的采煤机机体前景，剔除无关背景特征匹配点；最后在局部平面上寻找一条最优缝合线实现输入图像的拼接；监控当前采煤机状态的激活摄像头编号

在同一时刻其各自采集到的图像为I_j，j为对激活摄像头组内摄像头的索引编号，j∈[r-n_L,r+n_R]；拼接算法的目的是将所有的图像I_j进行依次两两拼接，从

和

开始，一直到

和

将组内各摄像头的监控画面进行大视差拼接处理。

进一步地基于所述的最优缝合线的大视差图像拼接算法包括如下步骤：

输入：待拼接图像I_r和I_t；输出：拼接结果I_res；

3.1)使用SIFT算法对输入图像I_r、I_t分别进行特征点检测、匹配，得到初始特征点匹配对M₀；

3.2)在M₀上迭代使用RANSAC算法，令ω表示迭代次数，得到一组特征匹配点M_ω，并计算其对应的单应性矩阵H_ω；

3.3)更新初始特征匹配点M₀＝M₀-M_ω，ω＝ω+1，重复操作步骤3.2)得到H_ω；

3.4)重复操作步骤3.3)，直到M₀＜10停止循环，得到单应性矩阵集合{H_ω}，并记集合中的矩阵个数为n_H；

3.5)依次用集合{H_ω}中的矩阵进行缝合线搜寻，设v为对集合{H_ω}中元素的索引，初始化v＝1，令

3.6)计算局部对齐图像

对应的缝合线损失函数E(l)，l表示待拼接图像的重叠区域内各像素点的图像属性标签(属于两种图片中的哪一张)；

3.7)使用图割算法最小化损失函数，得到图像重叠区域内像素的属性标签结果l_v，并记录当前缝合线能量E(l_v)；

3.8)令v＝v+1，更新

并重复操作步骤3.6)-3.7)，直到v＞n_H，得到各缝合线损失函数结果{E_v}；比较集合{E_v}中每个元素的大小，选择最小值对应的局部对齐图像

并沿着缝合线合成最终拼接结果I_res。

进一步地所述的SIFT算法分为两个阶段来实现：第一阶段是尺度空间的建立；第二阶段是极值点定位；

所述的尺度空间的建立，包括如下步骤：其中，首先将输入图像作为最底层，每次降采样后的结果依次向上叠加，得到图像金字塔；然后，为了使金字塔内的图像尺度保持连续，使用高斯函数和图像金字塔每一层图像进行模糊，产生多个不同尺度的图像，从而构建高斯金字塔；高斯模糊的计算公式为：

其中，I(x,y)为输入图像，

为卷积运算，L(x,y,σ)为尺度为σ的图像，G(x,y,σ)为尺度可变的高斯函数，高斯函数表达式为：

其中，(x,y)表示图像中像素点的位置，σ是高斯函数的标准差，在尺度空间中也被称作尺度因子；利用高斯差分函数代替微分运算，高斯差分函数表达式为：

通过对比每一个像素点与其同层以及相邻两层邻域的像素点的大小，找到高斯差分金字塔内的局部极值点作为候选特征点；

所述的极值点定位是在尺度空间中的极值点是在离散条件中的检索结果，采用的方法是通过拟合三维二次函数对高斯差分金字塔空间进行曲线拟合，对尺度空间高斯差分函数进行拟合的三维二次函数的麦克劳林展开式为：

其中

为差分函数D(x,y,σ)对位置X(x,y)的一阶偏导数，

为二阶偏导数；通过对D(X)求导并使求导结果为零，求取极值点的偏移量：

当极值点偏移量大于0.5时，需要将其改变到邻域位置，通过反复迭代的方式，直到偏移量小于0.5时，确定极值点位置；若进行了5次迭代后，偏移量依旧不满足条件，需要将此极值点删除；

为每个特征点确定方向；在为特征点分配方向时，通过统计特征点邻域内像素点的梯度方向和梯度大小实现，像素点p(x,y)的梯度方向T(x,y)和梯度大小a(x,y)的计算公式为：

计算特征点所在邻域内所有像素点的梯度方向以及大小，并将其表示为直方图的形式；将直方图峰值对应的方向确定为此特征点的主方向，并将高于主方向高度80％的方向确定为此输入图像的SIFT特征点的辅方向；

在得到输入图像的SIFT特征点之后，使用K近邻算法对两幅待拼接图像进行特征点匹配：首先计算两幅图像特征点集合中所有特征点描述子之间的距离；然后为每个特征点选择K个距离最近的点作为候选匹配点，每个特征点选择与其距离最近的两个点作为匹配候选，将最近距离与次近距离之间做商获得一个比率。

进一步地所述的RANSAC算法通过迭代方法寻找所有SIFT特征匹配点中，拟合全局数据的一组特征匹配点子集；RANSAC算法寻找前景特征匹配点子集M，并计算最优单应性矩阵H；RANSAC算法流程的步骤：

输入：初始特征匹配点集合M₀；输出：最优特征匹配点(内点)子集M、最优单应性矩阵H；

5.1)设迭代次数s＝1，在初始特征匹配点M₀中随机选取包含4对特征匹配点的子集M_s作为内点，计算其单应性矩阵H_s；

5.2)将剩余特征点使用H_s进行变换，并计算变换后的特征点到其相应特征匹配点之间的距离，若距离不超过阈值ε，则将此对特征点加入内点集合M_s，记录此时所有内点的个数n_s，并令s＝s+1，令M₀＝M_s；

5.3)重复步骤5.1)-5.2)，当迭代次数s大于设定的最大值，或者内点个数n_s大于设定的最大值时停止迭代；

5.4)选择个数最多的内点集合作为最优内点集合M，计算与之对应的单应性矩阵H。

进一步地，基于所述的最优缝合线中，I₀、I₁分别为两幅输入图像，Ω为两图图像的目标重叠区域，缝合线左侧像素全部来自于I₀，右侧像素全部来自于I₁；Ω为融合结果占据的像素空间(重叠区域)，La＝{0,1}表示可选标签的集合，给每个像素点p∈Ω加标签l_p∈La即可得到缝合线；当l_p＝0时，表示p点的RGB值来源于I₀，当l_p＝1时，表示p点的RGB值来源于I₁；缝合线算法的目的就是找到能够最小化能量方程的一组标签l，能量方程表达式为：

E(l)由数据项E_data和平滑项E_smooth组成，N是全部相邻像素点对的集合，数据项为给像素点p加标签l_p的代价，平滑项为给一对相邻像素点(p,q)加标签(l_p,l_q)的代价；融合结果像素空间中，像素点p位置在图像I_lp中存在有效RGB值时E_data(p,l_p)＝0，不存在有效RGB值时，E_data(p,l_p)＝∞，其中l_p∈{0，1}。

有益效果：与现有技术相比，本发明自适应采煤机随动跟踪多摄像头视频拼接方法，将摄像头组自适应随动跟踪方法和采煤机视频拼接算法相结合，提升采煤工作面大视差条件下采煤机监控视频的拼接效果，降低摄像头监控死角对采煤机状态监控的影响。首先使用利用彩色荧光带在机体上进行人工标记，用于标记采煤机在空间中的真实位置，称矩形标记的形心为ROI(Regions of Interest)锚点，此锚点将作为后续像素空间的定位基准。通过对ROI锚点进行色彩因子提取确定采煤机图像空间位置，再通过相机标定方法将图像坐标映射到空间坐标，确定采煤机在空间中的真实位置。基于摄像头组自适应随动跟踪方法对部署于采煤工作面上的摄像头进行分组激活，由当前被激活的摄像头组完成对采煤机画面的视频拼接任务，实现对于采煤机的自适应随动监控。采煤机视频拼接算法主要是利用图像拼接算法将两个监控视频的对应帧图像进行拼接：首先对图像进行SIFT(Scale-invariant feature transform)特征点检测，并利用聚类算法对特征点进行配对，利用SIFT算子尺度和旋转不变性的特点，提高匹配点检测在采煤工作面场景下监控对视角变化、仿射变换等的鲁棒性。然后，采用RANSAC(RANdomSAmple Consensus)算法对采煤机前景特征匹配点进行筛选，剔除无关特征匹配点，基于得到的特征匹配点组进行图像配准操作。最后，通过搜寻最优缝合线对输入图像进行拼接，实现对采煤机工作过程的大范围监控，及时发现采煤机工作过程中可能出现的运行故障，降低安全生产风险，减少由于故障处理不及时而造成的直接经济损失。

附图说明

图1是采煤机自适应跟随多摄像头视频拼接方法示意图；

图2是采煤机ROI锚点标定方法示意图；

图3是相机标定示意图；

图4是摄像头自适应跟随2D图；

图5是基于最优缝合线的大视差采煤机图像拼接算法流程示意图；

图6是激活摄像头组内拼接次序示意图；

图7是SIFT算法流程图；

图8是尺度空间金字塔示意图；

图9是特征点主方向分配示意图；

图10是缝合线图像融合示意图；

图11是输入视频帧A，B，C和输出视频帧D；

图12是输入视频帧A，B和输出视频帧。

具体实施方式

下面结合附图对本发明的结构及性能做进一步说明。

如图1-12所示，自适应采煤机随动跟踪多摄像头视频拼接方法，包括如下步骤：在采煤机中央部位手动进行ROI标记(使用彩色荧光带)，作为相机标定算法的定位锚点。利用色彩分量特征提取算法对各摄像头采集图像中的ROI锚点进行检索，并以一定算法时间间隔t_q按照从左到右排列顺序对各摄像头视频数据进行ROI锚点轮询检索，若某一个或几个摄像头检索到锚点，则随后的摄像头停止检索。随后根据相机标定中像素坐标与现实坐标的映射关系自适应确定需调用的摄像头组并对组内视频进行图像拼接，最终将结果显示在监视器上。采煤机自适应跟随多摄像头视频拼接方法如图1所示：

采煤机ROI锚点标定

由于采煤机自身体积较大，煤矿巷道宽度也存在限制，单独摄像头无法对完成采煤机画面进行监控，需要使用摄像头组进行监控画面的拼接，实现对采煤机工作状态的完整监控。同时由于采煤机工作巷道纵深较长，固定的摄像头组无法对工作状态下的采煤机进行不间断随动监控，随着开采的进行必然产生监控盲区，因此需要对采煤机的位置进行实时跟踪，为摄像头组的自适应随动算法提供参考。

本方法采用ROI锚点标定的方法对采煤机位置进行确定：首先使用彩色荧光带对采煤机的中心位置进行矩形框形状的ROI标记。随后基于色彩分量特征提取算法检索视频数据中的ROI标定区域，并以t_q为算法轮询时间间隔，依照摄像头排列顺序对各摄像头采集的视频进行ROI锚点检索，按照从左到右排列的顺序判断视域中拍摄的内容是否出现ROI。如果某一个摄像头首先检索到，则后面的摄像头停止检索，以当前摄像头作为自适应视频拼接基准。

采煤机ROI锚点标定流程如图2所示。首先对采集到的图像进行RGB到HSV的色域转换，根据彩色荧光带的颜色确定其在HSV空间中的色彩因子阈值，基于此阈值对矩形ROI进行识别，获取矩形ROI形心的像素位置，标记为摄像头随动的识别锚点。随后利用相机标定方法将锚点的像素位置坐标投影到世界空间位置坐标系中。

相机标定方法

图像空间坐标系：图像空间坐标系可分为①图像物理坐标系和②图像像素坐标系：图像物理坐标系xo₀y以实际物理尺寸作为度量单位，原点位于o₀；像素坐标系uov以像素点为度量单位，原点位于o，u和v分别表示像素在数字图像中的列数和行数；图像坐标系的x轴和y轴与像素坐标系的u轴和v轴相互平行且方向相同。(u₀,v₀)为物理坐标系原点o₀的像素坐标，相机中感光器件每个像素的尺寸是dx*dy，则物理坐标系坐标(x,y)到像素坐标系坐标(u,v)的变换关系可以表示为：

相机坐标系：相机坐标系x_cy_cz_c是以相机的光轴作为Z轴，o_c为光心，x_c轴和y_c轴分别与图像坐标系的x轴和y轴平行。图3中o_co₀为相机焦距f。

世界空间坐标系：由用户定义的三维坐标系，用于描述三维空间中的物体和相机的位置。以X_w，Y_w，Z_w表示。

图3中p点表示图像物理坐标系中的成像坐标，b点表示相机坐标系中物体点的坐标。根据相似三角形原理，可以推算相机坐标系与图像物理坐标系之间关系为：

对相机坐标按照一定参数进行平移、旋转操作则可以得到ROI锚点在世界坐标系中的坐标：

其中R表示一个旋转矩阵，t_s表示平移向量，它们称为外参数矩阵，由相机部署位置和其与水平面的夹角等因素确定，用于表示相机坐标相对于世界坐标的旋转和平移变换关系，最终计算得到ROI锚点的世界坐标O_a(X_wa,Y_wa,Z_wa)。

摄像头组自适应随动跟踪方法

确定ROI锚点在空间中的位置后，利用摄像头组自适应随动跟踪方法对部署在采煤巷道上的摄像头进行分组激活，确保激活摄像头组能够跟随采煤机的移动进行自适应调整，使得监控角度随动覆盖采煤机全貌。

如图4，已知采煤作业场景下采煤机机身长度L、采煤机与摄像头垂直方向上的距离H_ce、相邻摄像头的间距d、摄像头水平视场角θ_h、采煤机ROI锚点位置世界坐标O_a(X_wa,Y_wa,Z_wa)等条件。根据以下算法得到所需激活的摄像头组，从而完成采煤机完整图像的随动采集。

摄像头组自适应随动跟踪方法流程如下：

1)初始化参数：采煤机长度L、采煤机与摄像头垂直方向上的距离H_ce、相邻摄像头的间距d、摄像头水平视场角θ_h；

2)单个摄像头标号记为C_i，{i|i＝1,2,3…N}，其中N代表布设在巷道内所有摄像头的数目。摄像头C_i的世界坐标为P_i(X_wc,Y_wc,Z_wc)；

3)初始化ROI锚点坐标识别算法轮询时间间隔t_q、锚点识别算法运行速度k(每秒可以识别k张图片)、相机帧率Fr(每秒输出Fr张图片)、初始轮询摄像头C₁；

4)单位轮询时间t_q内，相机输出t_q*Fr张图片，ROI识别算法能够处理t_q*k张图片，故需要从t_q*Fr张图片中随机取样t_q*k张进行锚点识别算法处理；

5)若识别到图片中存在ROI锚点，则计算其世界坐标O_a(X_wa,Y_wa,Z_wa)，令r＝i并记当前摄像头为C_r，执行步骤6；若未检测到锚点，则令i＝i+1，对下一个摄像头数据执行步骤4；

6)已知摄像头拍摄水平方向上的长度为2H_ce·tan(θ_h/2)，x_h为摄像头C_r视域最左侧至ROI的水平距离，y_h为C_r视域最右侧至ROI的水平距：

x_h＝2H tan(θ_h/2)+|X_wc-X_wa| (1)

y_h＝2H tan(θ_h/2)-x_h (2)

7)设C_r左侧所需摄像头个数为n_L，右侧所需摄像头个数为n_R，则应满足以下条件：

x_h+n_L*d＞L/2 (3)

y_h+n_R*d＞L/2 (4)

8)求得n_L，n_R，所要激活的摄像头组编号范围则为

采煤工作面条件复杂，监控视频效果容易受到光照、煤尘、遮挡等因素的干扰，视频拼接技术需要首先利用SIFT算法对图像信息进行特征描述，得到对噪声、光线以及视角变化鲁棒性较高的特征描述点，进而基于特征点的匹配对输入图像进行投影平面配准，以抑制拼接结果中的模糊、鬼影等现象。但采煤机大视差拼接场景下，图像中往往存在多个对应平面，大体可以分为采煤机前景平面和无关信息背景平面，每个平面都需要使用一个单应性矩阵H实现投影平面的透视变换，现有的方法无法在所有的空间平面上实现对齐，必须选择能够拟合最多特征匹配点的单应性矩阵作为图像的对齐模型。本方法使用RANSAC算法筛选包含最多特征匹配点的采煤机机体前景，剔除无关背景特征匹配点。最后在局部平面上寻找一条最优缝合线实现输入图像的拼接。如图5所示。

摄像头组自适应随动跟踪方法已经得到了监控当前采煤机状态的激活摄像头编号

在同一时刻其各自采集到的图像为I_j，j为对激活摄像头组内摄像头的索引编号，j∈[r-n_L,r+n_R]。拼接算法的目的是将所有的图像I_j进行依次两两拼接，

和

开始，一直到

和

拼接次序如图6所示：

本方法将组内各摄像头的监控画面进行大视差拼接处理，基于最优缝合线的大视差图像拼接算法流程：

输入：待拼接图像I_r和I_t

输出：拼接结果I_res。

1)使用SIFT算法对输入图像I_r、I_t分别进行特征点检测、匹配，得到初始特征点匹配对M₀；

2)在M₀上迭代使用RANSAC算法，令ω表示迭代次数，得到一组特征匹配点M_ω，并计算其对应的单应性矩阵H_ω；

3)更新初始特征匹配点M₀＝M₀-M_ω，ω＝ω+1，重复操作步骤2)得到H_ω；

4)重复操作步骤3)，直到M₀＜10停止循环，得到单应性矩阵集合{H_ω}，并记集合中的矩阵个数为n_H；

5)依次用集合{H_ω}中的矩阵进行缝合线搜寻，设v为对集合{H_ω}中元素的索引，初始化v＝1，令

6)计算局部对齐图像

对应的缝合线损失函数E(l)，l表示待拼接图像的重叠区域内各像素点的图像属性标签(属于两种图片中的哪一张)；

7)使用图割算法最小化损失函数，得到图像重叠区域内像素的属性标签结果l_v，并记录当前缝合线能量E(l_v)；

8)令v＝v+1，更新

并重复操作步骤6)-7)，直到v＞n_H，得到各缝合线损失函数结果{E_v}；比较集合{E_v}中每个元素的大小，选择最小值对应的局部对齐图像

并沿着缝合线合成最终拼接结果I_res。

SIFT算法

尺度不变特征转换算法(Scale-invariant feature transform，SIFT)是一种检测局部特征的算法，主要用来侦测与描述图像中的局部特征，在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。算法实质是在不同的尺度空间上查找特征突出的关键点(特征点)并定位其梯度方向，使其在光照、角度、位置及噪声等变化下依然能够表达图片特征。SIFT特征检测算法分为两个阶段来实现：第一阶段是尺度空间的建立，通过搜寻所有可能的尺度中的稳定点将图像用多尺度空间表示；第二阶段是极值点精确定位，精确确定极值点的位置和尺度，同时去掉不稳定的边缘响应点和低对比度的点。如图7所示，SIFT算法进行图像特征点提取时的主要步骤包括：

尺度空间构建

尺度空间的构建是为了在图像的所有尺度之内寻找可能具有旋转、缩放不变性的候选特征点。图像金字塔可以使用高斯金字塔表示，首先将输入图像作为最底层，每次降采样后的结果依次向上叠加，得到图像金字塔。然后，为了使金字塔内的图像尺度保持连续，使用高斯函数和图像金字塔每一层进行模糊，产生多个不同尺度的图像，从而构建高斯金字塔。高斯模糊的计算公式为：

其中，I(x,y)为输入图像，

为卷积运算，L(x,y,σ)为尺度为σ的图像，G(x,y,σ)为尺度可变的高斯函数，高斯函数表达式为：

其中，(x,y)表示图像中像素点的位置，σ是高斯函数的标准差，在尺度空间中也被称作尺度因子，σ越大图像尺度越大，σ越小图像尺度越小。构造的高斯金字塔结构如图8(a)所示。

为了得到候选特征点，可以利用高斯差分函数代替微分运算，在检测到图像极值点的同时，速度更快、更高效。高斯差分函数表达式为：

由上式可以看出，高斯差分函数可以通过对高斯金字塔相邻两层做差的方法实现，高斯差分金字塔的构建过程如图8(b)所示。。通过对比每一个像素点与其同层以及相邻两层邻域的像素点的大小，找到高斯差分金字塔内的局部极值点作为候选特征点。

极值点精确定位：

在尺度空间中的极值点是在离散条件中的检索结果，其对噪声和边缘较敏感，因此检测到的局部极值点还要经过进一步的精确定位才能成为特征点。采用的方法是通过拟合三维二次函数对高斯差分金字塔空间进行曲线拟合，以精确确定关键点的位置和尺度，同时为了增强匹配的稳定性，还需去除低对比度的关键点和不稳定的边缘响应点，提高抗噪声能力。

对尺度空间高斯差分函数进行拟合的三维二次函数的麦克劳林展开式为：

其中

为差分函数D(x,y,σ)对位置X(x,y)的一阶偏导数，

为二阶偏导数；通过对D(X)求导并使求导结果为零，可以求取极值点的偏移量：

当极值点偏移量大于0.5时，需要将其改变到邻域位置，通过反复迭代的方式，直到偏移量小于0.5时，确定极值点位置。若进行了5次迭代后，偏移量依旧不满足条件，需要将此极值点删除，以确保找到的所有极值点都是稳定的。

特征点主方向分配

为了提高特征描述子对图像旋转的鲁棒性，需要为每个特征点确定方向。在为特征点分配方向时，可以通过统计特征点邻域内像素点的梯度方向和梯度大小实现，像素点p(x,y)的梯度方向T(x,y)和梯度大小a(x,y)的计算公式为：

计算特征点所在邻域内所有像素点的梯度方向以及大小，并将其表示为直方图的形式，如图9所示。将直方图峰值对应的方向确定为此特征点的主方向，并将高于主方向高度80％的方向确定为此特征点的辅方向，以达到提高关键点稳定性的目的。

特征点配对

在得到输入图像的SIFT特征点之后，使用K近邻算法对两幅待拼接图像进行特征点匹配：首先计算两幅图像特征点集合中所有特征点描述子之间的距离。然后为每个特征点选择K个距离最近的点作为候选匹配点，每个特征点选择与其距离最近的两个点作为匹配候选，将最近距离与次近距离之间做商获得一个比率，若此比率值较大，则选择最近距离对应的一对特征点作为最终的特征匹配点。

RANSAC算法

RANSAC可以通过迭代方法寻找所有SIFT特征匹配点中，能够拟合全局数据的一组特征匹配点子集。由于采煤机作业监控场景下，采煤机作为图像内容主体的特征显著性，RANSAC算法得到的特征匹配点组能够用于描述前景采煤机平面。

RANSAC算法寻找前景特征匹配点子集M，并计算最优单应性矩阵H，

RANSAC算法流程的步骤：

输入：初始特征匹配点集合M₀

输出：最优特征匹配点(内点)子集M、最优单应性矩阵H

1)设迭代次数s＝1，在初始特征匹配点M₀中随机选取包含4对特征匹配点的子集M_s作为内点，计算其单应性矩阵H_s；

2)将剩余特征点使用H_s进行变换，并计算变换后的特征点到其相应特征匹配点之间的距离，若距离不超过阈值ε，则将此对特征点加入内点集合M_s，记录此时所有内点的个数n_s，并令s＝s+1，令M₀＝M_s；

3)重复步骤1)-2)，当迭代次数s大于设定的最大值，或者内点个数n_s大于设定的最大值时停止迭代；

选择个数最多的内点集合作为最优内点集合M，计算与之对应的单应性矩阵H。

最优缝合线图像融合

基于缝合线的图像融合可以看作利用一条缝合线对其两边像素进行标签分配的过程，标签不同代表像素的来源不同，来源于不同输入图像的两个相邻像素点之间便为缝合线。

如图10所示，I₀、I₁分别为两幅输入图像，Ω为两图图像的目标重叠区域，缝合线左侧像素全部来自于I₀，右侧像素全部来自于I₁。图11(a)(b)(c)是输入视频帧A，B，C；图11(d)是输出视频帧D；图12(a)(b)是输入视频帧A，B；图12(c)是输出视频帧。

最优缝合线要求其两侧的像素在颜色、结构上尽可能相似，以抑制人工拼接的痕迹。为描述缝合线两侧像素的相似度，将其建模为缝合线损失函数，最优缝合线搜寻即转化为损失函数的最小化问题：Ω为融合结果占据的像素空间(重叠区域)，La＝{0,1}表示可选标签的集合，给每个像素点p∈Ω加标签l_p∈La即可得到缝合线。当l_p＝0时，表示p点的RGB值来源于I₀，当l_p＝1时，表示p点的RGB值来源于I₁。缝合线算法的目的就是找到能够最小化能量方程的一组标签l，能量方程表达式为：

E(l)由数据项E_data和平滑项E_smooth组成，N是全部相邻像素点对的集合，数据项为给像素点p加标签l_p的代价，平滑项为给一对相邻像素点(p,q)加标签(l_p,l_q)的代价。融合结果像素空间中，像素点p位置在图像I_lp中存在有效RGB值时E_data(p,l_p)＝0，不存在有效RGB值时，E_data(p,l_p)＝∞，其中l_p∈{0，1}。

Claims (9)

1.自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：包括如下步骤：

1)在采煤机中央部位进行ROI标记，作为相机标定算法的定位锚点；

2)利用色彩分量特征提取算法对各摄像头采集图像中的ROI锚点进行检索，并以一定算法时间间隔t_q按照从左到右排列顺序对各摄像头视频数据进行ROI锚点轮询检索，若摄像头检索到锚点，则随后的摄像头停止检索；

3)随后根据相机标定中图像空间坐标与现实空间坐标的映射关系自适应确定需调用的摄像头组并对组内视频进行图像拼接，最终将结果显示在监视器上。

2.根据权利要求1所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：步骤1)中，所述的进行ROI标记具体为：首先对采集到的图像进行RGB到HSV的色域转换，根据彩色荧光带的颜色确定其在HSV空间中的色彩因子阈值，基于此阈值对矩形ROI进行识别，获取矩形ROI形心的图像位置坐标，标记为摄像头随动的识别锚点；随后利用相机标定方法将锚点的图像空间坐标投影到现实空间坐标系中。

3.根据权利要求2所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：所述的相机标定方法，包括如下步骤：

1.1)建立图像空间坐标系：图像空间坐标系分为图像物理坐标系和图像像素坐标系：图像物理坐标系xo₀y以实际物理尺寸作为度量单位，原点位于o₀；图像像素坐标系uov以像素点为度量单位，原点位于o；u和v分别表示像素在数字图像中的列数和行数；图像空间坐标系的x轴和y轴与像素坐标系的u轴和v轴相互平行且方向相同；(u₀,v₀)为物理坐标系原点o₀的像素坐标系坐标，相机中感光器件每个像素的尺寸是dx*dy，则物理坐标系坐标(x,y)到像素坐标系坐标(u,v)的变换关系表示为：

1.2)建立相机坐标系：相机坐标系x_cy_cz_c是以相机的光轴作为Z轴，o_c为光心，x_c轴和y_c轴分别与图像空间坐标系的x轴和y轴平行；o_co₀为相机焦距f；p点表示图像物理坐标系中的成像坐标，b点表示相机坐标系中物体点的坐标；根据相似三角形原理，相机坐标系与图像物理坐标系之间关系为：

1.3)建立现实空间坐标系：现实空间坐标系是由用户定义的三维坐标系，用于描述现实三维空间中的物体和相机的位置，以X_w，Y_w，Z_w表示；

对相机坐标进行平移、旋转操作则得到ROI锚点在现实空间坐标系中的坐标：

其中R表示一个旋转矩阵，t_s表示平移向量，它们称为外参数矩阵，由相机部署位置和其与水平面的夹角等因素确定，用于表示相机坐标相对于世界坐标的旋转和平移变换关系，最终计算得到ROI锚点的世界坐标O_a(X_wa,Y_wa,Z_wa)。

4.根据权利要求1所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：步骤2)中，确定所述的ROI锚点在空间中的位置后，利用摄像头组自适应随动跟踪方法对部署在采煤巷道上的摄像头进行分组激活，确保激活后摄像头组能够随动覆盖采煤机全貌，使得监控范围能够跟随采煤机的移动进行自适应调整；摄像头组自适应随动跟踪方法流程如下：

2.1)初始化参数：采煤机长度L、采煤机与摄像头垂直方向上的距离H_ce、相邻摄像头的间距d、摄像头水平视场角θ_h；

2.2)单个摄像头标号记为C_i，{i|i＝1,2,3…N}，其中N代表布设在巷道内所有摄像头的数目；摄像头C_i的世界坐标为P_i(X_wc,Y_wc,Z_wc)；

2.3)初始化ROI锚点坐标识别算法轮询时间间隔t_q、锚点识别算法运行速度k、相机帧率Fr、初始轮询摄像头C₁；

2.4)单位轮询时间t_q内，摄像头输出t_q*Fr张图片，ROI识别算法能够处理t_q*k张图片，故需要从t_q*Fr张图片中随机取样t_q*k张进行锚点识别算法处理；

2.5)若识别到图片中存在ROI锚点，则计算其世界坐标O_a(X_wa,Y_wa,Z_wa)，令r＝i并记当前摄像头为C_r，执行步骤6；若未检测到锚点，则令i＝i+1，对下一个摄像头数据执行步骤2.4)；

2.6)已知摄像头拍摄水平方向上的长度为2H_ce·tan(θ_h/2)，x_h为摄像头C_r视域最左侧至ROI的水平距离，y_h为C_r视域最右侧至ROI的水平距：

x_h＝2H tan(θ_h/2)+|X_wc-X_wa| (1)

y_h＝2H tan(θ_h/2)-x_h (2)

2.7)设C_r左侧所需摄像头个数为n_L，右侧所需摄像头个数为n_R，则满足以下条件：

x_h+n_L*d＞L/2 (3)

y_h+n_R*d＞L/2 (4)

2.8)求得n_L，n_R，所要激活的摄像头组编号范围则为

5.根据权利要求4所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：步骤3)中，所述的图像拼接是使用RANSAC算法筛选包含最多特征匹配点的采煤机机体前景，剔除无关背景特征匹配点；最后在局部平面上寻找一条最优缝合线实现输入图像的拼接；监控当前采煤机状态的激活摄像头编号

在同一时刻其各自采集到的图像为I_j，j为对激活摄像头组内摄像头的索引编号，j∈[r-n_L,r+n_R]；拼接算法的目的是将所有的图像I_j进行依次两两拼接，从

和

开始，一直到

和

将组内各摄像头的监控画面进行大视差拼接处理。

6.根据权利要求4所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：基于所述的最优缝合线的大视差图像拼接算法包括如下步骤：

输入：待拼接图像I_r和I_t；输出：拼接结果I_res；

3.1)使用SIFT算法对输入图像I_r、I_t分别进行特征点检测、匹配，得到初始特征点匹配对M₀；

3.2)在M₀上迭代使用RANSAC算法，令ω表示迭代次数，得到一组特征匹配点M_ω，并计算其对应的单应性矩阵H_ω；

3.3)更新初始特征匹配点M₀＝M₀-M_ω，ω＝ω+1，重复操作步骤3.2)得到H_ω；

3.4)重复操作步骤3.3)，直到M₀＜10停止循环，得到单应性矩阵集合{H_ω}，并记集合中的矩阵个数为n_H；

3.5)依次用集合{H_ω}中的矩阵进行最优缝合线搜寻，设v为对集合{H_ω}中元素的索引，初始化v＝1，令

3.6)计算局部对齐图像

对应的缝合线损失函数E(l)，l表示待拼接图像的重叠区域内各像素点的图像属性标签；

3.7)使用图割算法最小化损失函数，得到图像重叠区域内像素的属性标签结果l_v，并记录当前缝合线能量E(l_v)；

3.8)令v＝v+1，更新

并重复操作步骤3.6)-3.7)，直到v＞n_H，得到各缝合线损失函数结果{E_v}；比较集合{E_v}中每个元素的大小筛选最小值，选择最小缝合线能量对应的局部对齐图像

并沿着此最优缝合线合成最终拼接结果I_res。

7.根据权利要求6所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：所述的SIFT算法分为两个阶段来实现：第一阶段是尺度空间的建立；第二阶段是极值点定位；

所述的尺度空间的建立，包括如下步骤：其中，首先将输入图像作为最底层，每次降采样后的结果依次向上叠加，得到图像金字塔；然后，为了使金字塔内的图像尺度保持连续，使用高斯函数对图像金字塔每一层进行高斯模糊，产生多个不同尺度的图像，从而构建高斯金字塔；高斯模糊的计算公式为：

其中，I(x,y)为输入图像，

为卷积运算，L(x,y,σ)为尺度为σ的图像，G(x,y,σ)为尺度可变的高斯函数，高斯函数表达式为：

其中，(x,y)表示图像中像素点的位置，σ是高斯函数的标准差，在尺度空间中也被称作尺度因子；利用高斯差分函数代替微分运算，高斯差分函数表达式为：

通过对比每一个像素点与其同层以及相邻两层邻域的像素点的大小，找到高斯差分金字塔内的局部极值点作为候选特征点；

所述的极值点定位是在尺度空间中的极值点是在离散条件中的检索结果，，采用的方法是通过拟合三维二次函数对高斯差分金字塔空间进行曲线拟合，对尺度空间高斯差分函数进行拟合的三维二次函数的麦克劳林展开式为：

其中

为差分函数D(x,y,σ)对位置X(x,y)的一阶偏导数，

为二阶偏导数；通过对D(X)求导并使求导结果为零，求取极值点的偏移量：

当极值点偏移量大于0.5时，需要将其改变到邻域位置，通过反复迭代的方式，直到偏移量小于0.5时，确定极值点位置；若进行了5次迭代后，偏移量依旧不满足条件，需要将此极值点删除；

为每个特征点确定方向；在为特征点分配方向时，通过统计特征点邻域内像素点的梯度方向和梯度大小实现，像素点p(x,y)的梯度方向T(x,y)和梯度大小a(x,y)的计算公式为：

计算特征点所在邻域内所有像素点的梯度方向以及大小，并将其表示为直方图的形式；将直方图峰值对应的方向确定为此特征点的主方向，并将高于主方向高度80％的方向确定为此输入图像的SIFT特征点的辅方向；

在得到输入图像的SIFT特征点之后，使用K近邻算法对两幅待拼接图像进行特征点匹配：首先计算两幅图像特征点集合中所有特征点描述子之间的距离；然后为每个特征点选择K个距离最近的点作为候选匹配点，每个特征点选择与其距离最近的两个点作为匹配候选，将最近距离与次近距离之间做商获得一个比率。

8.根据权利要求7所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：所述的RANSAC算法通过迭代方法寻找所有SIFT特征匹配点中，拟合全局数据的一组特征匹配点子集；RANSAC算法寻找前景特征匹配点子集M，并计算最优单应性矩阵H；RANSAC算法流程的步骤：

输入：初始特征匹配点集合M₀；输出：最优特征匹配点子集M、最优单应性矩阵H；

5.1)设迭代次数s＝1，在初始特征匹配点M₀中随机选取包含4对特征匹配点的子集M_s作为内点，计算其单应性矩阵H_s；

5.2)将剩余特征点使用H_s进行变换，并计算变换后的特征点到其相应特征匹配点之间的距离，若距离不超过阈值ε，则将此对特征点加入内点集合M_s，记录此时所有内点的个数n_s，并令s＝s+1，令M₀＝M_s；

5.3)重复步骤5.1)-5.2)，当迭代次数s大于设定的最大值，或者内点个数n_s大于设定的最大值时停止迭代；

5.4)选择个数最多的内点集合作为最优内点集合M，计算与之对应的单应性矩阵H。

9.根据权利要求8所述的自适应采煤机随动跟踪多摄像头视频拼接方法，其特征在于：基于所述的最优缝合线中，I₀、I₁分别为两幅输入图像，Ω为两幅输入图像的目标重叠区域，缝合线左侧像素全部来自于I₀，右侧像素全部来自于I₁；Ω为融合结果占据的像素空间，La＝{0,1}表示可选标签的集合，给每个像素点p∈Ω加标签l_p∈La即可得到缝合线；当l_p＝0时，表示p点的RGB值来源于I₀，当l_p＝1时，表示p点的RGB值来源于I₁；最优缝合线搜寻算法的目的就是找到能够最小化能量方程的一组标签l，能量方程表达式为：

E(l)由数据项E_data和平滑项E_smooth组成，N是全部相邻像素点对的集合，数据项为给像素点p加标签l_p的代价，平滑项为给一对相邻像素点(p,q)加标签(l_p,l_q)的代价；融合结果像素空间中，像素点p位置在图像

中存在有效RGB值时E_data(p,l_p)＝0，不存在有效RGB值时，E_data(p,l_p)＝∞，其中l_p∈{0，1}。

Images