CN115953137A - 一种矿山智能化管理方法和系统 - Google Patents
一种矿山智能化管理方法和系统 Download PDFInfo
- Publication number
- CN115953137A CN115953137A CN202310232140.0A CN202310232140A CN115953137A CN 115953137 A CN115953137 A CN 115953137A CN 202310232140 A CN202310232140 A CN 202310232140A CN 115953137 A CN115953137 A CN 115953137A
- Authority
- CN
- China
- Prior art keywords
- personnel
- image
- mining
- mining personnel
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 31
- 238000005065 mining Methods 0.000 claims abstract description 125
- 230000009471 action Effects 0.000 claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 30
- 230000008859 change Effects 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 42
- 238000006073 displacement reaction Methods 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 150000001875 compounds Chemical class 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 101100460710 Aspergillus sp. (strain MF297-2) notL gene Proteins 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 29
- 231100001261 hazardous Toxicity 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001166076 Diapheromera femorata Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种矿山智能化管理方法及系统。所述方法包括以下步骤：实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；如果是非采矿人员，发出语音警示信号；如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走。本发明能够对进入矿山监测区域的人员进行人员身份识别，对采矿人员进行危险动作识别，对非采矿人员和存在危险动作的采矿人员进行语音警示，提高了矿山智能化管理水平。
Description
技术领域
本发明属于矿山安全管理技术领域，具体涉及一种矿山智能化管理方法和系统。
背景技术
矿山的安全管理是保障矿山安全生产、防止事故发生的关键。在矿山开采过程中，矿山企业的安全管理工作是一个非常重要的内容，它在很大程度上决定着矿山企业的安全状况，为了可以更好的保障采矿人员的生命安全，必须加强矿山企业的安全管理力度。
目前矿山企业对采矿人员的安全管理手段大多只是对采矿人员所处矿山区域的环境危险状况进行监测管理，如矿区滑坡、坍塌监测，有害气体浓度监测，忽略了对采矿人员自身引起的危险因素的安全监测，例如，对采矿人员危险采矿行为、违规操作或异常动作的监测，对采矿人员身体素质参数（心率、血压等）的监测等。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种矿山智能化管理方法和系统。
为了实现上述目的，本发明采用以下技术方案。
第一方面，本发明提供一种矿山智能化管理方法，包括以下步骤：
步骤101，实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；
步骤102，基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；
步骤103，如果是非采矿人员，发出语音警示信号；
步骤104，如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；
其中，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间
T 1内每帧图像中人体检测框中心的坐标(
x i ,
y i )，
i=1,2,…,
n，
n为图像帧数；
基于(
x i ,
y i )计算时间
T 1内人体检测框中心通过的距离
L和最大位移
D，公式如下：
如果
L/
D≥ 
，则所述采矿人员存在异常行走行为，其中，
>1。
进一步地，所述进行人员身份识别的方法包括：
基于人员着装进行人员身份识别，着工作制服的人员为采矿人员，未着工作制服的人员为非采矿人员。
进一步地，所述进行人员身份识别的方法包括：
对待识别人员的人脸图像进行特征提取，并将所述特征与数据库中保存的采矿人员的人脸图像特征进行匹配，匹配成功的为采矿人员，匹配失败的为非采矿人员。
更进一步地，在对人脸图像进行特征提取前还要对面部变化区域图像进行增强处理，并针对增强后的图像进行面部变化特征提取；
对面部变化区域图像进行增强处理的方法包括以下步骤：
对每帧图像进行拉普拉斯金字塔分解，得到不同尺度的图像；
对每个尺度的图像进行带通滤波，输出滤波器通频带内的频率信号；
将滤波后的图像的像素值乘一放大系数，每个尺度的放大系数不同；
将经过放大后的图像金字塔还原为单张图像后，与进行拉普拉斯金字塔分解前的图像相加，并将相加后的图像组成视频；
针对增强后的图像进行面部变化特征提取的方法包括以下步骤：
对每一帧图像进行高通滤波，表示为：
式中，P为原始图像，
为经高斯滤波后的图像，
为高通滤波后的图像；
按下式计算高通滤波后图像中像素点像素值的变化量：
式中，
为第
i帧图像中坐标为
的像素点的像素值，
为像素值的变化量，
N为图像的帧数；
按下式计算每帧图像中像素点的位移方向：
式中，
分别为坐标为
的像素点从第
i-1帧图像到第
i帧图像在x、y方向的位移，
为位移方向与x轴的夹角，单位为度；
按下式计算图像中像素点位移方向的变化量：
式中，
为像素点位移方向的变化量；
对
和
进行融合得到面部变化特征。
进一步地，违规操作行为的识别方法包括：
基于一般违规操作视频和严重违规操作视频，建立违规操作数据库；
对采矿人员的视频图像进行特征提取；
将提取的特征与所述数据库中的特征进行匹配，如果匹配失败，为正常操作；如果匹配成功，输出违规等级：一般违规操作或严重违规操作。
进一步地，违规操作行为的识别方法包括：
利用目标检测模型对采矿人员的手部进行检测并跟踪；
实时获得所述采矿人员进行操作时手部检测框图中心点的位置坐标；
基于所述位置坐标计算手部移动的速度和摆幅；
通过将所述速度和摆幅与设定的阈值进行比较，实现违规操作识别。
进一步地，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间
T 2内每帧图像中人体检测框中心的坐标
，
i=1,2,…,
n，
n为图像帧数；
计算：
，
，
，
，
i=2,3,…,
n-1；
分别统计时间
内
X<0、
Y<0的个数
、
；
计算：
M=
+
，如果
M超过设定的阈值，则认为所述采矿人员存在异常行走行为。
第二方面，本发明提供一种矿山智能化管理系统，包括：
图像获取模块，用于实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；
身份识别模块，用于基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；
语音警示模块，用于如果是非采矿人员，发出语音警示信号；
危险动作识别模块，用于如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；
其中，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间
T 1内每帧图像中人体检测框中心的坐标
，
i=1,2,…,
n，
n为图像帧数；
基于
计算时间
内人体检测框中心通过的距离
L和最大位移
D，公式如下：
如果
L/
D≥ 
，则所述采矿人员存在异常行走行为，其中，
>1。
与现有技术相比，本发明具有以下有益效果。
本发明通过实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像，基于所述视频图像进行人员身份识别，如果是非采矿人员，发出语音警示信号，如果是采矿人员，对其进行危险动作识别，若其存在危险动作，发出语音警示信号，实现了矿山智能化管理。本发明能够对进入矿山监测区域的人员进行人员身份识别，对采矿人员进行危险动作识别，对非采矿人员和存在危险动作的采矿人员进行语音警示，提高了矿山智能化管理水平。
附图说明
图1为本发明实施例一种矿山智能化管理方法的流程图。
图2为正常行走轨迹示意图。
图3为异常行走轨迹示意图。
图4为本发明实施例一种矿山智能化管理系统的方框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例一种矿山智能化管理方法的流程图，包括以下步骤：
步骤101，实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；
步骤102，基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；
步骤103，如果是非采矿人员，发出语音警示信号；
步骤104，如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；
其中，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间
T 1内每帧图像中人体检测框中心的坐标
，
i=1,2,…,
n，
n为图像帧数；
基于
计算时间
T 1内人体检测框中心通过的距离
L和最大位移
D，公式如下：
如果
L/
D≥ 
，则所述采矿人员存在异常行走行为，其中，
>1。
本实施例提供一种矿山智能化管理方法，涉及的硬件设备包括安装在矿山监测区域的摄像机和通过互联网与摄像机进行数据通信的云服务器。摄像机采用网络数字相机，能够将拍摄的模拟视频信号转换成数字信号后通过无线通信模块直接联网。云服务器基于摄像机上传的视频信号进行图像数据处理，进而实现各种算法。当然，还应设置报警单元，通过播放语音或声光信号进行提示。为了避免出现拍摄死角，摄像机尽量设置在不同的位置和角度；还可采用安装了摄像头的巡查机器人，能够在监视区域自由移动。
本实施例中，步骤101主要用于获取人员的视频图像。如前述，利用安装在矿山监测区域的摄像机，可以实时拍摄监测区域内所有人员的视频图像，并将拍摄的视频图像信号上传到云服务器。
本实施例中，步骤102主要用于基于人员的视频图像进行人员身份识别。由于本实施例要实现的是矿山智能管理，监测区域一般只允许采矿人员进入，因此要识别的人员身份类别只有两种：一种是采矿人员；另一种是非采矿人员。可通过构建一个由神经网络组成的二分类器模型实现身份识别，输入是待检测人员的视频图像，输出为人员类别。
本实施例中，步骤103主要用于对识别出的非采矿人员进行警示。如前述，监测区域一般只允许采矿人员进入，如果识别出有采矿人员进入监测区域，为了安全起见，应通过播放语音提示其赶紧离开，或提示保安人员进行驱逐。
本实施例中，步骤104主要用于对识别出的采矿人员进行危险动作识别。对于识别出的采矿人员，还要进一步进行危险动作识别；一旦识别出存在危险动作，立即发出语音警示信号进行纠正或制止。危险动作包括与生产有关的危险动作和与生产无关的危险动作。与生产有关的危险动作一般是指不规范操作或违规操作，可能造成人员或设备的损伤，是一种非故意行为；而与生产无关的危险动作一般是指故意的破坏行为，如在监测区域内的。
本实施例还给出了识别异常行走行为的一种技术方案。异常行走是指在监测区域内的非正常行走行为。监控区域的正常行走一般是一直沿着某一方向通过所述区域，或经过左转或右转弯后通过所述区域，如图2所示。而非正常行走行为则是指左顾右盼、时快时慢、走走停停、频繁改变行走方向等行走方式，如图3所示。监测区域内的非正常行走，一般是混入监测区域的可疑人员或内部采矿人员的一种故意行为，有可能对采矿设施构成危害（偷盗或破坏）。本实施例基于采矿人员行走时通过的距离与位移的差别进行检测，其检测原理是：正常行走时，相同时间内人员通过的距离与最大位移的误差较小；异常行走时，相同时间内人员通过的距离与最大位移的误差较大甚至很大。具体检测方法是：先按上面的公式计算一定时间
T 1内走过的距离
L和最大位移
D。
L等于所有相邻2帧图像人员位移的和，最大位移是任意2帧图像人员位移的最大值；然后计算
L与
D的比值
L/
D，并与设定的阈值
λ比较，如果满足
L/
D≥λ，则判定为存在异常行走行为。
λ的值根据经验确定，一般取一个较大的整数值，如
λ=25。值得说明的是，之所以取最大位移
D，而不取一定时间
T 1的起始和终止时刻的位移，是因为正常行走起始和终止时刻的位移也可能很小，比如进入和离开的位置相同时，正常行走的位移也为近似为0。
本实施例能够对进入矿山监测区域的人员进行人员身份识别，对采矿人员进行危险动作识别，对非采矿人员和存在危险动作的采矿人员进行语音警示，提高了矿山智能化管理水平。
作为一可选实施例，所述进行人员身份识别的方法包括：
基于人员着装进行人员身份识别，着工作制服的人员为采矿人员，未着工作制服的人员为非采矿人员。
本实施例给出了人员身份识别的一种技术方案。由于采矿人员在工作时必须统一着制服，而所述采矿人员的制服明显不同于非采矿人员的服装，因此，基于人员着装可以方便地识别出人员的身份。
作为一可选实施例，所述进行人员身份识别的方法包括：
对待识别人员的人脸图像进行特征提取，并将所述特征与数据库中保存的采矿人员的人脸图像特征进行匹配，匹配成功的为采矿人员，匹配失败的为非采矿人员。
本实施例给出了人员身份识别的另一种技术方案。本实施例基于人脸识别实现人员身份识别，将所有采矿人员的人脸图像进行特征提取后保存到数据库，或者说数据库中只有采矿人员的人脸图像数据，通过特征匹配就可方便地识别出采矿人员和非采矿人员。
作为一可选实施例，在对人脸图像进行特征提取前还要对面部变化区域图像进行增强处理，并针对增强后的图像进行面部变化特征提取；
S1、对面部变化区域图像进行增强处理；
S11、对每帧图像进行拉普拉斯金字塔分解，得到不同尺度的图像；
S12、对每个尺度的图像进行带通滤波，输出滤波器通频带内的频率信号；
S13、将滤波后的图像的像素值乘一放大系数，每个尺度的放大系数不同；
S14、将经过放大后的图像金字塔还原为单张图像后，与进行拉普拉斯金字塔分解前的图像相加，并将相加后的图像组成视频；
S2、针对增强后的图像进行面部变化特征提取；
S21、对每一帧图像进行高通滤波，表示为：
式中，P为原始图像，
为经高斯滤波后的图像，
为高通滤波后的图像；
S22、按下式计算高通滤波后图像中像素点像素值的变化量：
式中，
为第
i帧图像中坐标为
的像素点的像素值，
为像素值的变化量，
N为图像的帧数；
S23、按下式计算每帧图像中像素点的位移方向：
式中，
分别为坐标为
的像素点从第
i-1帧图像到第
i帧图像在X、y方向的位移，
为位移方向与x轴的夹角，单位为度；
S24、按下式计算图像中像素点位移方向的变化量：
式中，
为像素点位移方向的变化量；
S25、对
和
进行融合得到面部变化特征。
本实施例给出了提高人脸识别精度的一种改进方案。当监测区域光线较暗或摄像头与人员距离较远时，人脸识别精度会受到影响。为此本实施例提供一种视频增强方案，对面部变化区域图像进行增强处理，不仅能够提高人脸识别精度，还能够抗伪造（面具）人脸欺骗干扰（面具的面部图像不变化）。
本实施例包括S1、S2两部分：S1为对面部变化区域图像进行增强处理的技术方案，S2为针对增强后的图像进行面部变化特征提取的技术方案。
S1部分：首先进行空间分解，利用拉普拉斯金字塔分解对每帧图像进行处理，得到不同尺度的图像。其次对每个尺度的图像进行带通滤波，带通滤波器的通频带为面部变化频率范围，一般取0.75~2.0Hz。对图像进行带通滤波的目的是从频域筛选出面部变化特征图像信号，滤除非面部变化特征图像信号。然后再对筛选出的面部变化特征图像信号进行放大，也就是将图像的像素值乘一放大系数。可通过将图像尺寸统一为同一尺寸，如64×64，然后将图像的像素值乘一放大系数，再还原到原来的尺寸。放大倍数不能太低，也不能太高，太低达不到增强的效果，太高会造成放大后的视频图像失真，一般经过多次实验确定放大倍数，如可设置为15倍。最后进行视频重建，先将放大后的图像进行金字塔还原，再与进行金字塔分解前的图像相加，并将相加后的图像组成视频。
S2部分：以像素点像素值的变化量和像素点位移方向的变化量的融合作为面部变化特征。需要先分别获得所述两种变化量。由于面部变化的局部图像频率较高，为了有效获取变化特征，本实施例先对视频图像进行高通滤波。本实施例通过先利用高斯滤波器对视频图像进行低通滤波，然后用原始图像减去高斯滤波后的图像，实现高通滤波。然后，针对高通滤波后的图像先计算每帧图像中每个像素点的像素值相对平均像素值的变化量，并求变化量均值得到每个像素点的像素值的变化量；再计算每帧图像中每个像素点的位移方向相对平均位移方向的变化量，并求变化量均值得到每个像素点的位移方向的变化量。位移方向与水平方向的夹角通过求垂直方向位移与水平方向位移的比的反正切得到。垂直方向位移和水平方向位移仍然是采用光流法计算得到。最后将两种变化量进行融合得到面部变化特征。
作为一可选实施例，违规操作行为的识别方法包括：
基于一般违规操作视频和严重违规操作视频，建立违规操作数据库；
对采矿人员的视频图像进行特征提取；
将提取的特征与所述数据库中的特征进行匹配，如果匹配失败，为正常操作；如果匹配成功，输出违规等级：一般违规操作或严重违规操作。
本实施例给出了识别违规操作行为的一种技术方案。本实施例实现违规操作识别的原理很简单，先将常见的违规操作都制成小视频，并经特征提取后保存至数据库，即构建违规操作数据库；然后通过将待检测人员的视频图像与违规操作数据库进行匹配，得到操作类型：正常操作，一般违规操作，严重违规操作。
作为一可选实施例，违规操作行为的识别方法包括：
利用目标检测模型对采矿人员的手部进行检测并跟踪；
实时获得所述采矿人员进行操作时手部检测框图中心点的位置坐标；
基于所述位置坐标计算手部移动的速度和摆幅；
通过将所述速度和摆幅与设定的阈值进行比较，实现违规操作识别。
本实施例给出了识别违规操作行为的另一种技术方案。由于违规操作一般与采矿人员的手部动作紧密相关，因此本实施例基于采矿人员的手部视频图像进行违规操作行为识别。先利用目标检测模型获得采矿人员的手部检测框图及框图中心点的位置坐标；然后根据框图中心点的位置坐标的变化计算手部移动的速度和摆幅；由于正常操作手部移动速度和摆幅都有一定取值范围，可通过将获得的手部移动速度和摆幅分别与其正常范围比较，进行规操作识别：只要有一个超出了正常范围，则属于违规操作。
作为一可选实施例，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间
内每帧图像中人体检测框中心的坐标
，
i=1,2,…,
n，
n为图像帧数；
计算：
，
，
，
，
i=2,3,…,
n-1；
分别统计时间
内
X<0、
Y<0的个数
、
；
计算：
M=
+
，如果
M超过设定的阈值，则认为所述采矿人员存在异常行走行为。
本实施例给出了识别异常行走行为的另一种技术方案。本实施例基于异常行走时频繁改变行走方向的特点，对异常行走行为进行识别。行走方向的改变体现在人员位置坐标的变化上就是，其横坐标和/或纵坐标时而增大、时而减小（正常行走时横纵坐标一般始终增大或始终减小），体现在相邻位置坐标的变化
或
上就是，时而为正、时而为负。行走方向改变时，
<0，或
<0。因此，可分别统计时间
内
X<0、
Y<0的个数
、
，然后将
+
与设定的阈值比较，若超过设定阈值则认为存在异常行走行为。
图4为本发明实施例一种矿山智能化管理系统的组成示意图，所述系统包括：
图像获取模块11，用于实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；
身份识别模块12，用于基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；
语音警示模块13，用于如果是非采矿人员，发出语音警示信号；
危险动作识别模块14，用于如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；
其中，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间
T 1内每帧图像中人体检测框中心的坐标
，
i=1,2,…,
n，
n为图像帧数；
基于
计算时间
T 1内人体检测框中心通过的距离
L和最大位移
D，公式如下：
如果
L/
D≥ 
，则所述采矿人员存在异常行走行为，其中，
>1。
本实施例的系统，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种矿山智能化管理方法，其特征在于，包括以下步骤：
步骤101，实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；
步骤102，基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；
步骤103，如果是非采矿人员，发出语音警示信号；
步骤104，如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；
其中，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间
内每帧图像中人体检测框中心的坐标
，i=1,2,…,n，n为图像帧数；
基于
计算时间
内人体检测框中心通过的距离L和最大位移D，公式如下：
如果L/D≥ 
，则所述采矿人员存在异常行走行为，其中，
>1。
2.根据权利要求1所述的矿山智能化管理方法，其特征在于，所述进行人员身份识别的方法包括：
基于人员着装进行人员身份识别，着工作制服的人员为采矿人员，未着工作制服的人员为非采矿人员。
3.根据权利要求1所述的矿山智能化管理方法，其特征在于，所述进行人员身份识别的方法包括：
对待识别人员的人脸图像进行特征提取，并将所述特征与数据库中保存的采矿人员的人脸图像特征进行匹配，匹配成功的为采矿人员，匹配失败的为非采矿人员。
4.根据权利要求3所述的矿山智能化管理方法，其特征在于，在对人脸图像进行特征提取前还要对面部变化区域图像进行增强处理，并针对增强后的图像进行面部变化特征提取；
对面部变化区域图像进行增强处理的方法包括以下步骤：
对每帧图像进行拉普拉斯金字塔分解，得到不同尺度的图像；
对每个尺度的图像进行带通滤波，输出滤波器通频带内的频率信号；
将滤波后的图像的像素值乘一放大系数，每个尺度的放大系数不同；
将经过放大后的图像金字塔还原为单张图像后，与进行拉普拉斯金字塔分解前的图像相加，并将相加后的图像组成视频；
针对增强后的图像进行面部变化特征提取的方法包括以下步骤：
对每一帧图像进行高通滤波，表示为：
式中，P为原始图像，
为经高斯滤波后的图像，
为高通滤波后的图像；
按下式计算高通滤波后图像中像素点像素值的变化量：
式中，
为第i帧图像中坐标为
的像素点的像素值，
为像素值的变化量，N为图像的帧数；
按下式计算每帧图像中像素点的位移方向：
式中，
分别为坐标为
的像素点从第i-1帧图像到第i帧图像在x、y方向的位移，
为位移方向与x轴的夹角，单位为度；
按下式计算图像中像素点位移方向的变化量：
式中，
为像素点位移方向的变化量；
对
和
进行融合得到面部变化特征。
5.根据权利要求1所述的矿山智能化管理方法，其特征在于，违规操作行为的识别方法包括：
基于一般违规操作视频和严重违规操作视频，建立违规操作数据库；
对采矿人员的视频图像进行特征提取；
将提取的特征与所述数据库中的特征进行匹配，如果匹配失败，为正常操作；如果匹配成功，输出违规等级：一般违规操作或严重违规操作。
6.根据权利要求1所述的矿山智能化管理方法，其特征在于，违规操作行为的识别方法包括：
利用目标检测模型对采矿人员的手部进行检测并跟踪；
实时获得所述采矿人员进行操作时手部检测框图中心点的位置坐标；
基于所述位置坐标计算手部移动的速度和摆幅；
通过将所述速度和摆幅与设定的阈值进行比较，实现违规操作识别。
7.根据权利要求1所述的矿山智能化管理方法，其特征在于，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间T 2内每帧图像中人体检测框中心的坐标
，i=1,2,…,n，n为图像帧数；
计算：
，
，
，
，i=2,3,…,n-1；
分别统计时间
内X<0、Y<0的个数
、
；
计算：M=
+
，如果M超过设定的阈值，则认为所述采矿人员存在异常行走行为。
8.一种矿山智能化管理系统，其特征在于，包括：
图像获取模块，用于实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；
身份识别模块，用于基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；
语音警示模块，用于如果是非采矿人员，发出语音警示信号；
危险动作识别模块，用于如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；
其中，异常行走行为的识别方法包括：
利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间T 1内每帧图像中人体检测框中心的坐标
，i=1,2,…,n，n为图像帧数；
基于
计算时间
内人体检测框中心通过的距离L和最大位移D，公式如下：
如果L/D≥ 
，则所述采矿人员存在异常行走行为，其中，
>1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310232140.0A CN115953137A (zh) | 2023-03-13 | 2023-03-13 | 一种矿山智能化管理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310232140.0A CN115953137A (zh) | 2023-03-13 | 2023-03-13 | 一种矿山智能化管理方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115953137A true CN115953137A (zh) | 2023-04-11 |
Family
ID=87297781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310232140.0A Pending CN115953137A (zh) | 2023-03-13 | 2023-03-13 | 一种矿山智能化管理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953137A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152685A (zh) * | 2023-04-19 | 2023-05-23 | 武汉纺织大学 | 一种基于无人机视野下行人检测方法及系统 |
| CN116629809A (zh) * | 2023-07-24 | 2023-08-22 | 长春工程学院 | 一种智能化矿山管理方法及系统 |
| CN117386451A (zh) * | 2023-10-12 | 2024-01-12 | 应急管理部大数据中心 | 用于矿区的盗采监测预警方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836689A (zh) * | 2021-03-26 | 2021-05-25 | 中建海峡建设发展有限公司 | 一种基于图像识别的危险区域人员管控系统及方法 |
| CN113240294A (zh) * | 2021-05-19 | 2021-08-10 | 武汉拾易鑫科技有限公司 | 一种基于大数据分析的矿山安全信息化智能管理系统 |
| CN115527158A (zh) * | 2022-08-11 | 2022-12-27 | 北京市燃气集团有限责任公司 | 一种基于视频监控的人员异常行为检测方法及装置 |
| WO2023273075A1 (zh) * | 2021-06-30 | 2023-01-05 | 深圳市商汤科技有限公司 | 行为识别方法、装置、计算机设备及存储介质 |
-
2023
- 2023-03-13 CN CN202310232140.0A patent/CN115953137A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836689A (zh) * | 2021-03-26 | 2021-05-25 | 中建海峡建设发展有限公司 | 一种基于图像识别的危险区域人员管控系统及方法 |
| CN113240294A (zh) * | 2021-05-19 | 2021-08-10 | 武汉拾易鑫科技有限公司 | 一种基于大数据分析的矿山安全信息化智能管理系统 |
| WO2023273075A1 (zh) * | 2021-06-30 | 2023-01-05 | 深圳市商汤科技有限公司 | 行为识别方法、装置、计算机设备及存储介质 |
| CN115527158A (zh) * | 2022-08-11 | 2022-12-27 | 北京市燃气集团有限责任公司 | 一种基于视频监控的人员异常行为检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 郭华: "基于视频的人脸活体检测研究", 中国优秀硕士学位论文全文数据库信息科技辑 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152685A (zh) * | 2023-04-19 | 2023-05-23 | 武汉纺织大学 | 一种基于无人机视野下行人检测方法及系统 |
| CN116629809A (zh) * | 2023-07-24 | 2023-08-22 | 长春工程学院 | 一种智能化矿山管理方法及系统 |
| CN116629809B (zh) * | 2023-07-24 | 2023-09-19 | 长春工程学院 | 一种智能化矿山管理方法及系统 |
| CN117386451A (zh) * | 2023-10-12 | 2024-01-12 | 应急管理部大数据中心 | 用于矿区的盗采监测预警方法及系统 |
| CN117386451B (zh) * | 2023-10-12 | 2024-03-26 | 应急管理部大数据中心 | 用于矿区的盗采监测预警方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115953137A (zh) | 一种矿山智能化管理方法和系统 | |
| CN108647582A (zh) | 一种复杂动态环境下目标行为识别与预测方法 | |
| WO2017125094A1 (zh) | 一种人体摔倒智能控制系统及其方法 | |
| CN102111532B (zh) | 相机镜头遮挡检测系统及方法 | |
| CN106056079B (zh) | 一种图像采集设备及人脸五官的遮挡检测方法 | |
| CN111986228B (zh) | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 | |
| CN105894702A (zh) | 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法 | |
| Snyder et al. | Thor: A deep learning approach for face mask detection to prevent the COVID-19 pandemic | |
| CN104881643B (zh) | 一种快速的遗留物检测方法及系统 | |
| CN105046719B (zh) | 一种视频监控方法及系统 | |
| CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
| CN108898042B (zh) | 一种应用于atm机舱内用户异常行为的检测方法 | |
| CN111353338B (zh) | 一种基于营业厅视频监控的能效改进方法 | |
| CN104820995A (zh) | 一种面向大型公共场所的人流密度监测预警方法 | |
| CN113297926B (zh) | 行为检测识别方法及系统 | |
| CN111275910A (zh) | 一种基于高斯混合模型的扶梯越界行为检测方法及系统 | |
| CN113283369A (zh) | 一种港口码头作业人员安全防护措施监控系统及方法 | |
| CN107688793A (zh) | 一种变电站室外火灾自动监测预警方法 | |
| CN113223046A (zh) | 一种监狱人员行为识别的方法和系统 | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN115035564A (zh) | 基于巡逻车智能摄像机的人脸识别方法、系统及相关组件 | |
| KR101581162B1 (ko) | 실시간 영상 기반의 화염, 연기 및 물체 움직임 자동 감지 방법, 장치 및 시스템 | |
| CN111291728A (zh) | 违规翻越传输带行为的检测系统及检测设备、检测方法 | |
| CN112347830A (zh) | 一种工厂防疫管理方法以及防疫管理系统 | |
| CN114372966A (zh) | 一种基于平均光流梯度的相机破坏检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230411 |
|
| RJ01 | Rejection of invention patent application after publication |