CN117690062B - 一种矿内矿工异常行为检测方法 - Google Patents

Abstract

本发明涉及神经网络领域，更具体地，本发明涉及一种矿内矿工异常行为检测方法，方法包括：采集矿内视频数据，进行抽帧预处理，得到灰度图像，并计算帧差图像，得到帧差图像的连通域；提取连通域的中心脊线；根据所述帧差图像各个像素点的增强权重值并归一化处理，构建零参考深度曲线估计网络模型，并对损失函数以增强权重值进行加权，得到空间一致误差值和光照平滑误差值并计算总误差值；将所述矿内视频数据输入到优化后零参考深度曲线估计网络模型中，得到每帧图像的增强图像，基于增强图像，完成矿内矿工的异常行为检测。本发明通过对动态信息的增强，以动态信息增强后的清晰效果，提高了对矿工行为识别的准确率。

Description

一种矿内矿工异常行为检测方法

技术领域

本发明一般地涉及神经网络领域。更具体地，本发明涉及一种矿内矿工异常行为检测方法。

背景技术

矿工行为检测是一种应用于矿业领域的技术，旨在监测和分析矿工在工作环境中的行为，以提高工作安全性、效率和管理。这种技术通常利用传感器、监控摄像头、机器学习等技术，以实时或离线的方式对矿工的行为进行监测和分析。

现有矿工行为检测方法，但是由于矿洞内光照效果不好，导致对矿工行为检测不准确。进而可能引发安全事故；进而需要进行图像光照增强，以提高矿工行为检测准确率，通过现有技术进行图像光照增强，但是在进行图像光照增强时，是整个图像进行光照增强，并不能保证图像增强后，能够提高图像中矿工异常行为识别的识别率。

发明内容

为解决上述一个或多个技术问题，本发明提出神经网络模型方式，对矿工异常行为检测，以提高图像中矿工异常行为识别的识别率，为此，本发明在如下的多个方面中提供方案。

一种矿内矿工异常行为检测方法，包括：采集矿内视频数据，获取单个监控视频数据进行抽帧，并进行预处理，得到矿内图像的灰度图像，计算连续两帧灰度图像之间的变化量图像，得到帧差图像；对所述帧差图像使用开运算去除噪声，使用连通域提取算法，得到帧差图像的连通域；对所述连通域使用骨架化算法，提取连通域的中心脊线；对所述帧差图像使用颜色空间转换方法，获取矿工与背景的边界线图像中边界像素点的值；根据所述帧差图像计算各个像素点的权重值，根据所述边界像素点的权重进行二分类，得到高权重值聚类簇和低权重值聚类簇，得到各个像素点的增强权重值；对各个像素点的增强权重值进行归一化处理，构建零参考深度曲线估计网络模型，将所述增强权重与零参考深度曲线估计网络模型的损失函数中进行加权，得到空间一致误差值；根据所述空间一致误差值将增强后的图像在三色通道上的邻域像素的综合梯度值与对应的增强权重值相乘，得到光照平滑误差值；根据所述空间一致误差值和光照平滑误差值计算总误差值；将所述矿内视频数据输入到优化后的损失函数的零参考深度曲线估计网络模型中，完成训练，得到每帧图像的增强图像，根据所述增强图像，完成矿内矿工的异常行为检测。

在一个实施例中，对所述帧差图像使用颜色空间转换方法，获取矿工与背景的边界线图像中边界像素点的值，包括：

根据所述灰度图像转化到色彩空间，得到所述灰度图像中各个像素点对应色彩空间的值和坐标值，将所述色彩空间的值和坐标值组成4维向量，对所有所述色彩空间的像素点的单个维度进行归一化处理；

对所述归一化后的4维向量使用密度聚类算法进行聚类，得到多个聚类簇，对每个所述聚类簇使用分类编号进行单独提取，得到聚类簇的连通域，根据所述连通域使用边缘检测算法，得到每个聚类簇的边缘像素点序列，对所有所述边缘像素点序列进行取或运算，得到灰度图像的边界线图像，其中，所述边界线图像中属于边界像素点的值为1，其余像素点值为0。

在一个实施例中，根据所述帧差图像计算各个像素点的权重，包括：

将所述边界线图像中的边界像素点属于帧差图像中有值像素点的值设为0，得到去除所述边界线图像中帧差图像的有值部分像素点的边界像素点，得到边界曲线；

根据所述边界曲线上各个像素点到帧差图像中连通域边缘像素点的最小欧式距离值的像素点；得到所述边界曲线上每个像素点和帧差图像中连通域的中心脊线像素点中具有最小距离值的像素点之间的距离值；

计算每个像素点的海森矩阵和帧差图像中连通域的中心脊线像素点的最小距离值的像素点的海森矩阵的差值，得到像素点之间的曲线变化的近似性；

根据所述距离值和曲线变化的近似性，得到各个像素点对应的权重值。

在一个实施例中，所述各个像素点对应的权重值满足下述关系式：

其中，表示第/>时刻对应的第/>个像素点的权重值，/>表示第/>时刻对应的第/>个像素点和第/>个像素点之间的最小距离值，/>表示第/>时刻对应的第/>个像素点和第/>个像素点之间的曲线变化的近似性。

在一个实施例中，根据所述边界像素点的权重进行二分类，得到高权重值聚类簇和低权重值聚类簇，得到各个像素点的增强权重值，包括：

对所述边界像素点进行二分类，得到多个高权重值聚类簇和低权重值聚类簇，根据所述高权重值聚类簇的中心脊线，得到任意一个像素点的邻域像素点属于中心脊线的像素点个数；

根据所述中心脊线的像素点个数，使用最短路径规划方法，以权重值的负相关映射值为路径权重，将最短路径作为两个像素点之间的连线，将相邻两个所述高权重值聚类簇以最短路径进行连线，得到环状高权重值聚类簇；其中，所述环状高权重值聚类簇以外为低权重值聚类簇；

对所述环状高权重值聚类簇使用形态学填充法，计算所述环状高权重值聚类簇内所有像素点对应的权重值的均值，作为填充后所述环状高权重值聚类簇内各个像素点的权重值；

将低权重值聚类簇内所有像素点对应的权重值的均值，作为填充后的低权重值聚类簇内各个像素点权重值；

对所述距离值中所有边界像素点使用高斯滤波进行数据平滑，得到各个像素点的增强权重值。

在一个实施例中，所述空间一致误差值满足下述关系式：

其中，表示空间一致误差值，/>表示总像素点个数，/>是对像素的遍历，/>是第/>个像素的4邻域，/>表示分别是增强图像和输入图像，/>表示第/>个像素的增强图像，/>表示4邻域中第/>个邻域的增强图像，/>表示第/>个像素的输入图像，/>表示4邻域中第/>个邻域的输入图像，/>表示第/>个像素点对应的权重值。

在一个实施例中，所述光照平滑误差值满足下述关系式：

其中，表示光照平滑误差值，/>表示总像素点个数，/>表示迭代次数，/>表示对/>的遍历，/>表示8邻域中对/>三通道的遍历，/>表示水平梯度算子，/>表示垂直的梯度算子，/>表示第/>个像素点对应的权重值。

在一个实施例中，所述总误差值满足下述关系式：

其中，表示总误差，/>表示第1权重值，/>表示空间一致误差值，/>表示第2权重值，/>表示曝光控制误差值，/>表示第3权重值，/>表示颜色恒定误差值，表示第4权重值，/>表示光照平滑误差值。

在一个实施例中，根据所述增强图像，完成矿内矿工的异常行为检测，包括：

根据实时获取的矿内视频数据的增强图像，输入训练完成的实时对象检测模型网络中，根据检测结果完成当前矿工异常行为检测。

本发明具有以下效果：

1.本发明通过结合矿洞动态信息以用于zero-dce网络的优化，实现了zero-dce网络在进行光照增强时，对动态信息的增强，提高动态信息增强后的清晰度，更进一步提高了对矿工行为识别的准确率。

2.本发明通过边界曲线上每个像素点和中心脊线像素点中具有最小距离值的像素点之间的距离值越小，得到像素点越接近具有动态行为信息的矿工，在灰度图像中得到矿工与背景的边界线，便于对矿工行为进行识别。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是本发明实施例一种矿内矿工异常行为检测方法中步骤S1-S8的方法流程图。

图2是本发明实施例一种矿内矿工异常行为检测方法中步骤S30-S31的方法流程图。

图3是本发明实施例一种矿内矿工异常行为检测方法中步骤S40-S48的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图来详细描述本发明的具体实施方式。

参照图1，一种矿内矿工异常行为检测方法包括步骤S1-S8，具体如下：

S1：采集矿内视频数据，获取单个监控视频数据进行抽帧，并进行预处理，得到矿内图像的灰度图像，计算连续两帧灰度图像之间的变化量图像，得到帧差图像。

进一步说明，根据相邻两个灰度化图像和/>，得到帧差图像；/>表示或运算，即/>中同位置像素点的值一样时，在该位置像素点的值为0，如果/>中同位置像素点的值不一样时，/>在该位置像素点的值为1。

S2：对帧差图像使用开运算去除噪声，使用连通域提取算法，得到帧差图像的连通域；对连通域使用骨架化算法，提取连通域的中心脊线。

进一步说明，开运算时选择33的全1矩阵作为开运算核，开运算核可由实施者根据具体实施场景进行调整。通过连通域提取法，得到帧差图像的连通域，其中每一个连通域都表示两帧图像之间具有变化量的区域，变化区域的中心则为中心脊线所在位置，而由于矿工在行动时，是整体都会具有一定变化的，所以越是靠近中心脊线的像素点越可能为属于矿工在图像中的像素点。

S3：对帧差图像使用颜色空间转换方法，获取矿工与背景的边界线图像中边界像素点的值，参照图2，包括步骤S30-S31：

S30：根据灰度图像转化到色彩空间，得到灰度图像中各个像素点对应色彩空间的值和坐标值，将色彩空间的值和坐标值组成4维向量，对所有色彩空间的像素点的单个维度进行归一化处理；

进一步说明，将灰度图像转化到Lab色彩空间，其中，Lab色彩空间有三个主要的坐标轴：/>轴（亮度）：表示颜色的亮度，/>轴的值范围是从0（黑色）到100（白色）；/>轴：表示颜色的红绿分量，正值表示红色，负值表示绿色，/>轴的范围通常在-128到127之间；/>轴：表示颜色的黄蓝分量，正值表示黄色，负值表示蓝色，/>轴的范围通常在-128到127之间。获取各个像素点对应的/>轴值和/>轴值和坐标值/>，组成的4维向量，进行归一化，消除量纲影响。

S31：对归一化后的4维向量使用密度聚类算法进行聚类，得到多个聚类簇，对每个聚类簇使用分类编号进行单独提取，得到聚类簇的连通域，根据连通域使用边缘检测算法，得到每个聚类簇的边缘像素点序列，对所有边缘像素点序列进行取或运算，得到灰度图像的边界线图像，其中，边界线图像中属于边界像素点的值为1，其余像素点值为0。

进一步说明，本方案中使用dbsacan密度聚类算法进行分类时，聚类半径为0.1，最小类内个数为超参数，超参数为5。

取或运算（OR运算）是逻辑运算中的一种，通常用于处理布尔值，在取或运算中，如果任意一个操作数为真（true），则结果为真；只有当所有操作数都为假（false）时，结果才为假。

S4：根据帧差图像计算各个像素点的权重值，根据边界像素点的权重进行二分类，得到高权重值聚类簇和低权重值聚类簇，得到各个像素点的增强权重值，参照图3，包括步骤S40-S48：

S40：将边界线图像中的边界像素点属于帧差图像中有值像素点的值设为0，得到去除边界线图像中帧差图像的有值部分像素点的边界像素点，得到边界曲线；

进一步说明，边界线图像中属于边界像素点的值为1，因为边界用于区分内外，以保证边界内外部分增强效果的统一性，所以帧差图像中有值部分的像素点不能为边界像素点。

S41：根据边界曲线上各个像素点到帧差图像中连通域边缘像素点的最小欧式距离值的像素点；得到边界曲线上每个像素点和帧差图像中连通域的中心脊线像素点中具有最小距离值的像素点之间的距离值；

S42：计算每个像素点的海森矩阵和帧差图像中连通域的中心脊线像素点的最小距离值的像素点的海森矩阵的差值，得到像素点之间的曲线变化的近似性；

进一步说明，其中海森矩阵是2×2的对角矩阵，其值表示了在不同方向上灰度值变化曲率，通过使用海森矩阵计算每个像素点对应的海森矩阵，和在帧差图像中连通域的中心脊线像素点中具有最小距离值的像素点的海森矩阵/>，当/>与/>之间的差值越小，表示像素点的方向变化越近似，进而得到/>与/>之间的差值/>。

S43：根据距离值和曲线变化的近似性，得到各个像素点对应的权重值，各个像素点对应的权重值满足下述关系式：

其中，表示第/>时刻对应的第/>个像素点的权重值，/>表示第/>时刻对应的第/>个像素点和第/>个像素点之间的最小距离值，/>表示第/>时刻对应的第/>个像素点和第/>个像素点之间的曲线变化的近似性。

进一步说明，距离值越小，表示像素点越接近具有动态行为信息的矿工，边界像素点越可能为矿工和背景之间边界像素点；曲线变化的近似性值越小，表示像素点越贴近矿工形态上的变化，进而边界像素点越可能为矿工和背景之间边界像素点，进而利用函数进行负相关映射。

S44：对边界像素点进行二分类，得到多个高权重值聚类簇和低权重值聚类簇，根据高权重值聚类簇的中心脊线，得到任意一个像素点的邻域像素点属于中心脊线的像素点个数；

S45：根据中心脊线的像素点个数，使用最短路径规划方法，以权重值的负相关映射值为路径权重，将最短路径作为两个像素点之间的连线，将相邻两个高权重值聚类簇以最短路径进行连线，得到环状高权重值聚类簇；其中，环状高权重值聚类簇以外为低权重值聚类簇；

进一步说明，由于矿工为一个整体，所以多个高权重值聚类簇应该能够形成一个环状。

S46：对环状高权重值聚类簇使用形态学填充法，计算环状高权重值聚类簇内所有像素点对应的权重值的均值，作为填充后环状高权重值聚类簇内各个像素点的权重值；

S47：将低权重值聚类簇内所有像素点对应的权重值的均值，作为填充后的低权重值聚类簇内各个像素点权重值；

S48：对距离值中所有边界像素点使用高斯滤波进行数据平滑，得到各个像素点的增强权重值。

S5：对各个像素点的增强权重值进行归一化处理，构建零参考深度曲线估计网络模型，将增强权重与零参考深度曲线估计网络模型的损失函数中进行加权，得到空间一致误差值。

进一步说明，将各个像素点对应的权重作用到zero-dce网络的损失函数中，保证矿工在光照增强后的增强效果，其中zero-dce网络的损失函数有四个：空间一致误差值、曝光控制误差值、色彩恒定误差值以及光照平滑误差值，其中，对空间一致误差值和光照平滑误差值进行加权、曝光控制误差值和色彩恒定误差值保持不变（为现有技术）。

空间一致误差值满足下述关系式：

其中，表示空间一致误差值，/>表示总像素点个数，/>是对像素的遍历，/>是第/>个像素的4邻域，/>表示分别是增强图像和输入图像，/>表示第/>个像素的增强图像，/>表示4邻域中第/>个邻域的增强图像，/>表示第/>个像素的输入图像，/>表示4邻域中第/>个邻域的输入图像，/>表示第/>个像素点对应的权重值。

进一步说明，进行增强时，由于矿工部分在清晰后，其和邻域像素点之间必然会使得误差增大，进而增加对矿工部分在计算空间一致误差值时的宽容性，使得误差值更高，由于非矿工部分增强后，其和邻域像素点之间的误差应当低，进而降低对非矿工部分在计算空间一致误差值时的宽容性，使得误差值更低。

S6：根据空间一致误差值将增强后的图像在三色通道上的邻域像素的综合梯度值与对应的增强权重值相乘，得到光照平滑误差值。

光照平滑误差值满足下述关系式：

其中，表示光照平滑误差值，/>表示总像素点个数，/>表示迭代次数，/>表示对/>的遍历，/>表示8邻域中对/>三通道的遍历，/>表示水平梯度算子，/>表示垂直的梯度算子，/>表示第/>个像素点对应的权重值。

S7：根据空间一致误差值和光照平滑误差值计算总误差值。

总误差值满足下述关系式：

其中，表示总误差，/>表示第1权重值，/>表示空间一致误差值，/>表示第2权重值，/>表示曝光控制误差值，/>表示第3权重值，/>表示颜色恒定误差值，表示第4权重值，/>表示光照平滑误差值。

进一步说明，将四个损失函数累加得到总误差的损失函数。其中，损失函数对应权重的超参数为：，可由实施者根据具体实施场景进行调整。

S8：将矿内视频数据输入到优化后的损失函数的零参考深度曲线估计网络模型中，完成训练，得到每帧图像的增强图像，根据增强图像，完成矿内矿工的异常行为检测。

根据实时获取的矿内视频数据的增强图像，输入训练完成的实时对象检测模型网络中，根据检测结果完成当前矿工异常行为检测。

进一步说明，本实施例中使用yolov5网络模型，将增强后的图像输入注意力机制融合的yolov5网络模型，完成当前矿工异常行为检测。

注意力机制融合的yolov5网络为公开网络结构，其中矿工异常行为检测数据集合由具有相关经验的人员进行矿内图像数据采集，其中数据集标注将每一个属于矿工的像素点进行标注，对不同矿工采用不同的标注值，从1开始递增，背景像素点标注为0，并对标注值进行不同编号的行为标注，利用现有的注意力机制融合的yolov5网络框架以及现有的对应训练手段，完成训练。

在本说明书的描述中，“多个”、“若干个”的含义是至少两个，例如两个，三个或更多个等，除非另有明确具体的限定。

虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用对本文所描述的本发明实施例的各种替代方案。

Claims (5)

1.一种矿内矿工异常行为检测方法，其特征在于，包括：

采集矿内视频数据，获取单个监控视频数据进行抽帧，并进行预处理，得到矿内图像的灰度图像，计算连续两帧灰度图像之间的变化量图像，得到帧差图像；

对所述帧差图像使用开运算去除噪声，使用连通域提取算法，得到帧差图像的连通域；对所述连通域使用骨架化算法，提取连通域的中心脊线；

对所述帧差图像使用颜色空间转换方法，获取矿工与背景的边界线图像中边界像素点的值；

根据所述帧差图像计算各个像素点的权重值，根据所述边界像素点的权重进行二分类，得到高权重值聚类簇和低权重值聚类簇，得到各个像素点的增强权重值；

对各个像素点的增强权重值进行归一化处理，构建零参考深度曲线估计网络模型，将归一化处理后的增强权重值与零参考深度曲线估计网络模型的损失函数中进行加权，得到空间一致误差值；

根据所述空间一致误差值的计算方式将增强后的图像在三色通道上的邻域像素的综合梯度值与对应的增强权重值相乘，得到光照平滑误差值；

根据所述空间一致误差值和光照平滑误差值计算总误差值；

将所述矿内视频数据输入到优化后的损失函数的零参考深度曲线估计网络模型中，完成训练，得到每帧图像的增强图像，根据所述增强图像，完成矿内矿工的异常行为检测；

对所述帧差图像使用颜色空间转换方法，获取矿工与背景的边界线图像中边界像素点的值，包括：

根据所述灰度图像转化到色彩空间，得到所述灰度图像中各个像素点对应色彩空间的值和坐标值，将所述色彩空间的值和坐标值组成4维向量，对所有所述色彩空间的像素点的单个维度进行归一化处理；

对所述归一化后的4维向量使用密度聚类算法进行聚类，得到多个聚类簇，对每个所述聚类簇使用分类编号进行单独提取，得到聚类簇的连通域，根据所述连通域使用边缘检测算法，得到每个聚类簇的边缘像素点序列，对所有所述边缘像素点序列进行取或运算，得到灰度图像的边界线图像，其中，所述边界线图像中属于边界像素点的值为1，其余像素点值为0；

根据所述帧差图像计算各个像素点的权重，包括：

将所述边界线图像中的边界像素点属于帧差图像中有值像素点的值设为0，得到去除所述边界线图像中帧差图像的有值部分像素点的边界像素点，得到边界曲线；

根据所述边界曲线上各个像素点到帧差图像中连通域边缘像素点的最小欧式距离值的像素点；得到所述边界曲线上每个像素点和帧差图像中连通域的中心脊线像素点中具有最小距离值的像素点之间的距离值；

计算每个像素点的海森矩阵和帧差图像中连通域的中心脊线像素点的最小距离值的像素点的海森矩阵的差值，得到像素点之间的曲线变化的近似性；

根据所述距离值和曲线变化的近似性，得到各个像素点对应的权重值；

所述各个像素点对应的权重值满足下述关系式：

其中，表示第/>时刻对应的第/>个像素点的权重值，/>表示第/>时刻对应的第个像素点和第/>个像素点之间的最小距离值，/>表示第/>时刻对应的第/>个像素点和第/>个像素点之间的曲线变化的近似性；

根据所述边界像素点的权重进行二分类，得到高权重值聚类簇和低权重值聚类簇，得到各个像素点的增强权重值，包括：

对所述边界像素点进行二分类，得到多个高权重值聚类簇和低权重值聚类簇，根据所述高权重值聚类簇的中心脊线，得到任意一个像素点的邻域像素点属于中心脊线的像素点个数；

根据所述中心脊线的像素点个数，使用最短路径规划方法，以权重值的负相关映射值为路径权重，将最短路径作为两个像素点之间的连线，将相邻两个所述高权重值聚类簇以最短路径进行连线，得到环状高权重值聚类簇；其中，所述环状高权重值聚类簇以外为低权重值聚类簇；

对所述环状高权重值聚类簇使用形态学填充法，计算所述环状高权重值聚类簇内所有像素点对应的权重值的均值，作为填充后所述环状高权重值聚类簇内各个像素点的权重值；

将低权重值聚类簇内所有像素点对应的权重值的均值，作为填充后的低权重值聚类簇内各个像素点权重值；

对所述距离值中所有边界像素点使用高斯滤波进行数据平滑，得到各个像素点的增强权重值。

2.根据权利要求1所述的一种矿内矿工异常行为检测方法，其特征在于，所述空间一致误差值满足下述关系式：

其中，表示空间一致误差值，/>表示总像素点个数，/>是对像素的遍历，/>是第/>个像素的4邻域，/>表示分别是增强图像和输入图像，/>表示第/>个像素的增强图像，/>表示4邻域中第/>个邻域的增强图像，/>表示第/>个像素的输入图像，/>表示4邻域中第/>个邻域的输入图像，/>表示第/>个像素点对应的归一化处理后的权重值。

3.根据权利要求1所述的一种矿内矿工异常行为检测方法，其特征在于，所述光照平滑误差值满足下述关系式：

其中，表示光照平滑误差值，/>表示总像素点个数，/>表示迭代次数，/>表示对/>的遍历，/>表示8邻域中对/>三通道的遍历，/>表示水平梯度算子，/>表示垂直的梯度算子，/>表示第/>个像素点对应的归一化处理后的权重值。

4.根据权利要求1所述的一种矿内矿工异常行为检测方法，其特征在于，所述总误差值满足下述关系式：

其中，表示总误差，/>表示第1权重值，/>表示空间一致误差值，/>表示第2权重值，/>表示曝光控制误差值，/>表示第3权重值，/>表示颜色恒定误差值，/>表示第4权重值，/>表示光照平滑误差值。

5.根据权利要求1所述的一种矿内矿工异常行为检测方法，其特征在于，根据所述增强图像，完成矿内矿工的异常行为检测，包括：

根据实时获取的矿内视频数据的增强图像，输入训练完成的实时对象检测模型网络中，根据检测结果完成当前矿工异常行为检测。