CN117115743A - 矿用安全生产监控系统及其方法 - Google Patents

矿用安全生产监控系统及其方法 Download PDF

Info

Publication number
CN117115743A
CN117115743A CN202311154610.2A CN202311154610A CN117115743A CN 117115743 A CN117115743 A CN 117115743A CN 202311154610 A CN202311154610 A CN 202311154610A CN 117115743 A CN117115743 A CN 117115743A
Authority
CN
China
Prior art keywords
feature
personnel operation
mining area
area personnel
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311154610.2A
Other languages
English (en)
Inventor
周道霞
彭仕伟
孙玉涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengyang Mingcheng Mineral Products Co ltd
Original Assignee
Fengyang Mingcheng Mineral Products Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengyang Mingcheng Mineral Products Co ltd filed Critical Fengyang Mingcheng Mineral Products Co ltd
Priority to CN202311154610.2A priority Critical patent/CN117115743A/zh
Publication of CN117115743A publication Critical patent/CN117115743A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能监控领域，其具体地公开了一种矿用安全生产监控系统及其方法，其采用基于深度神经网络模型的人工智能技术，获取由摄像头采集的预定时间段的矿区人员作业监控视频，提取关键帧后通过三维卷积处理得到特征图后进行切分再经过混合卷积和空间特征的提取，以得到用于表示矿工人员作业是否有异常的分类结果。进而，可以提高矿区安全监控系统的效率和准确性，及时发现并应对潜在的安全风险。

Description

矿用安全生产监控系统及其方法
技术领域
本申请涉及智能监控领域，且更为具体地，涉及一种矿用安全生产监控系统及其方法。
背景技术
矿区是一个很复杂的工作环境，存在许多的潜在的安全隐患和风险。矿区人员在作业有时会发生不必要的安全事故和人身伤害，甚至死亡。但由于现有的技术中，没有在矿区人员作业时进行一个实时的监控，当矿区人员行为有异常时没有一个提醒预警的功能，导致矿区人员或管理人员无法及时和发现潜在的安全问题，而采取相应的应急应对措施，致使一些安全事故的发生，如矿区人员伤亡等。
因此，期待一种优化的矿用安全生产监控方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种矿用安全生产监控系统及其方法，其采用基于深度神经网络模型的人工智能技术，获取由摄像头采集的预定时间段的矿区人员作业监控视频，提取关键帧后通过三维卷积处理得到特征图后进行切分再经过混合卷积和空间特征的提取，以得到用于表示矿工人员作业是否有异常的分类结果。进而，可以提高矿区安全监控系统的效率和准确性，及时发现并应对潜在的安全风险。
根据本申请的一个方面，提供了一种矿用安全生产监控系统，其包括：
视频采集模块，用于获取由摄像头采集的预定时间段的矿区人员作业监控视频；
监控关键帧提取模块，用于从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧；
三维卷积模块，用于将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图；
深度特征提取模块，用于对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图；
空间特征增强模块，用于将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图；
优化特征模块，用于对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图；
异常判断模块，用于将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
在上述矿用安全生产监控系统中，所述监控关键帧提取模块，包括：以预定采样频率从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧。
在上述矿用安全生产监控系统中，所述三维卷积模块，用于：使用所述基于三维卷积神经网络模型的特征提取器的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于三维卷积神经网络模型的特征提取器的最后一层的输出为所述矿区人员作业特征图，所述基于三维卷积神经网络模型的特征提取器的第一层的输入为所述三维张量。
在上述矿用安全生产监控系统中，所述深度特征提取模块，用于：使用所述包含多个混合卷积层的深度卷积神经网络模型的各个混合卷积层在层的正向传递中分别进行：对输入数据进行多尺度卷积编码以得到多尺度卷积特征图；对所述多尺度卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活处理以得到激活特征图；其中，所述包含多个混合卷积层的深度卷积神经网络模型的最后一层的输出为所述多个深度矿区人员作业子特征图的各个深度矿区人员作业子特征图，所述包含多个混合卷积层的深度卷积神经网络模型的第一层的输入为所述个多个矿区人员作业子特征图的各个矿区人员作业子特征图。
在上述矿用安全生产监控系统中，所述多尺度卷积编码，用于：基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图；基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图，其中，所述第二卷积核为具有第一空洞率的空洞卷积核；基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图，其中，所述第三卷积核为具有第二空洞率的空洞卷积核；基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图，其中，所述第四卷积核为具有第三空洞率的空洞卷积核；以及，将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行级联以得到多尺度卷积特征图。
在上述矿用安全生产监控系统中，所述空间特征增强模块，用于：使用所述空间注意力的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：基于卷积核对所述输入数据进行卷积处理以得到卷积特征图；将所述卷积特征图通过空间注意力模块以得到所述空间注意力得分矩阵；将所述空间注意力得分矩阵与所述差分特征图沿通道维度的各个特征矩阵进行按位置点乘以所述空间注意力特征图；对所述空间注意力特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述空间注意力的卷积神经网络模型的第一层的输入为所述深度矿区人员作业特征图，所述空间注意力的卷积神经网络模型的最后一层的输出为所述空间增强矿区人员作业特征图。
根据本申请的另一方面，提供了一种矿用安全生产监控方法，其包括：
获取由摄像头采集的预定时间段的矿区人员作业监控视频；
从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧；
将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图；
对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图；
将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图；
对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图；
将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
与现有技术相比，本申请提供的一种矿用安全生产监控系统及其方法，其采用基于深度神经网络模型的人工智能技术，获取由摄像头采集的预定时间段的矿区人员作业监控视频，提取关键帧后通过三维卷积处理得到特征图后进行切分再经过混合卷积和空间特征的提取，以得到用于表示矿工人员作业是否有异常的分类结果。进而，可以提高矿区安全监控系统的效率和准确性，及时发现并应对潜在的安全风险。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的矿用安全生产监控系统的框图。
图2为根据本申请实施例的矿用安全生产监控系统的架构示意图。
图3为根据本申请实施例的矿用安全生产监控系统中优化特征模块的框图。
图4为根据本申请实施例的矿用安全生产监控系统中异常判断模块的框图。
图5为根据本申请实施例的矿用安全生产监控方法的流程图。
图6为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，在矿区人员进行作业时会发生一些潜在的安全隐患，如坍塌、有害气体泄漏、火灾。若不对作业时的状况进行一个实时的监控，无法及时发现和处理这些潜在的安全问题，增加了事故发生的风险。而且在发生事故或紧急情况时，如果没有实时监控系统，管理人员无法迅速获知并采取相应的应急措施。矿区作业可能涉及高风险的工作环境，如高处作业、狭小空间作业等。如果没有实时监控，无法及时发现工作人员面临的安全隐患，增加了工作人员受伤或伤亡的风险。但由于现有技术在矿区人员进行作业时没有实施监控，导致发生潜在安全问题不能及时预警，进而导致事故的发生。因此，期待一种优化的矿用安全生产监控方案。
针对上述技术问题，本申请的申请人通过获取由摄像头采集的预定时间段的矿区人员作业监控视频，提取关键帧后通过三维卷积处理得到特征图后进行切分再经过混合卷积和空间特征的提取，以得到用于表示矿工人员作业是否有异常的分类结果。
相应地，在本申请的技术方案中，考虑到监控视频可以实时观察矿区内的作业情况，包括作业环境、作业方式、人员行为等。通过视频监控，可以发现潜在的安全隐患和危险情况，及时采取措施预防事故的发生。如果发生事故，监控视频可以提供事故发生前、中、后的作业过程记录。这对于事故调查和分析非常重要，有助于确定事故原因、责任和改进措施。监控视频还可以用于实时监护矿区人员的安全状况。例如，监测矿工是否佩戴了个人防护装备，是否遵守安全操作规程等。在发现异常情况时，可以及时采取干预措施，保障矿工的人身安全。因此，获取矿区人员作业监控视频，可以提供重要的信息和数据，用于安全监控、事故调查、人员安全监护以及数据分析与预警等方面，有助于提高矿山的安全性和管理水平。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
具体地，在本申请的技术方案中，首先，获取由摄像头采集的预定时间段的矿区人员作业监控视频。考虑到通过提取多个关键帧，可以观察到作业过程中的状态变化。作业状态的变化可能包括人员位置的变动、作业环境的变化等。这些变化可以帮助我们了解作业过程的动态变化和演变。具体地，关键帧可以提供对作业行为的瞬间抓取，例如矿工操作设备、搬运物品、检查设备等。通过分析多个关键帧，可以更全面地了解矿区人员的作业行为，判断是否存在不安全或不规范的行为。另外，提取多个关键帧可以帮助我们捕捉到作业过程中的异常情况。异常可能包括、人员操作错误、不正常的作业行为等。通过对关键帧的分析，可以及时发现异常情况并采取相应的措施。因此，提取多个关键帧可以提供更全面、准确的作业信息和关键时刻的把握，有助于作业状态分析、作业行为评估、异常检测等方面的工作。
接着，考虑到矿区人员作业监控关键帧是二维图像，通过三维卷积操作可以在时间维度上对关键帧进行卷积运算，同时在空间维度上提取特征。这样可以捕捉到关键帧中的空间结构和物体形状等信息，有助于识别和分析作业场景中的关键特征。另外，矿区人员作业监控关键帧是按时间顺序排列的，通过3D CNN可以在时间维度上进行卷积运算，从而提取关键帧之间的时间关系和动态变化。这可以帮助我们捕捉到作业过程中的时间特征，例如动作的速度、连续性和时序关系等。作业过程通常是一个连续的序列，关键帧之间存在着上下文关系。通过3D CNN可以在时间维度上对关键帧进行卷积运算，从而建立关键帧之间的上下文关系，使得特征提取器能够更好地理解作业过程的整体背景和动态变化。因此，通过基于三维卷积神经网络的特征提取器得到矿区人员作业特征图可以有效地提取关键帧中的空间和时间信息，并捕捉作业过程的动态特征和上下文关系。
然后，考虑到通过将矿区人员作业特征图进行切分，可以将整个作业过程划分为多个子区域。这样做的目的是为了更好地捕捉到不同区域的特征和局部信息。不同的子特征图可以对应不同的作业区域或者不同的作业动作，从而提高特征的多样性和丰富性。而混合卷积层是指在卷积操作中使用不同尺寸的卷积核进行特征提取。通过使用多个不同尺寸的卷积核，可以捕捉到不同大小的特征，从而提高特征的多样性和丰富性。这对于矿区人员作业监控来说，可以更好地处理不同尺度的作业动作和物体。通过使用混合卷积层，可以得到多个深度矿区人员作业子特征图。这些深度特征图可以包含更丰富和抽象的特征表示，有助于更好地表达作业过程中的复杂动作和场景。深度特征图可以提供更高层次的语义信息，使得后续的分类、识别和分析任务更具有准确性和鲁棒性。因此，特征图切分和混合卷积层的使用可以增加特征的多样性和丰富性，同时提高特征提取的鲁棒性和准确性。通过得到多个深度矿区人员作业子特征图，可以更好地表示作业过程中的局部和全局特征，为后续的任务提供更丰富和准确的特征表示。
接着，考虑到在矿区人员作业监控中，某些区域可能比其他区域更重要，例如安全隐患区域或者作业关键点。通过使用空间注意力机制，可以对特定的空间区域进行加权，使得网络更关注这些重要区域的特征。这样可以增强关键区域的特征表达，提高对关键区域的感知和分析能力。另外，矿区人员作业监控中可能存在噪声和背景信息，这些信息可能对特征提取和分析造成干扰。通过使用空间注意力机制，可以抑制噪声和背景信息的影响，使网络更专注于关键区域的特征。这样可以提高特征的纯净性和准确性。空间注意力机制还可以通过学习权重来自适应地调整特征图中不同空间位置的重要性。这样可以提升特征的判别能力，使得网络更能够区分不同区域的特征，从而更好地理解和分析作业过程中的细节和差异。因此，使用空间注意力的卷积神经网络模型可以增强矿区人员作业特征图中的重要空间信息，提高关键区域的特征表达，抑制噪声和背景信息的干扰，提升特征的判别能力。
特别地，考虑到在数据处理过程中，通过多个步骤和模型对原始数据进行处理和提取特征，最终得到了空间增强矿区人员作业特征图。然而，这个空间增强矿区人员作业特征图可能存在一些问题，如特征之间的冗余、噪声、不平衡的特征分布等。通过对空间增强矿区人员作业特征图进行特征分布优化可以改善空间增强矿区人员作业特征图的质量，使得其中的特征能够更好地反映不同类别之间的差异，提高分类模型的判别能力。具体地，空间增强矿区人员作业特征图可能包含一些冗余或噪声特征，这些特征对分类任务没有贡献或者反而干扰了分类模型的学习。通过特征分布优化，可以减少冗余和噪声特征的影响，提高分类模型的鲁棒性和泛化能力。同时，空间增强矿区人员作业特征图中的特征可能存在不平衡的情况，即某些类别的特征数量较多，而其他类别的特征数量较少。这会导致分类模型对于数量较多的类别更加偏向，而忽视数量较少的类别。通过特征分布优化，可以平衡不同类别的特征分布，确保分类模型能够充分学习和区分所有类别。
对空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图，包括：对所述空间增强矿区人员作业特征图进行全局均值池化以得到全局语义特征向量；计算所述全局语义特征向量的协方差矩阵；对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征值向量；从所述多个特征值向量提取K个最大的特征值对应的K个特征值向量，所述K个特征值向量构成k维的类单应子空间；将所述空间增强矿区人员作业特征图的沿通道维度的各个特征矩阵进行特征展平化以得到多个分类特征局部展开特征向量；将所述多个分类特征局部展开特征向量分别映射到所述类单应子空间以得到多个映射后分类特征局部展开特征向量；将所述多个映射后分类特征局部展开特征向量通过Sigmoid激活函数进行激活以得到多个映射后概率化分类特征局部展开特征向量；将所述多个映射后概率化分类特征局部展开特征向量进行维度重构以得到优化空间增强矿区人员作业特征图。
特别地，在本申请的技术方案中，首先计算所述空间增强矿区人员作业特征图的全局语义特征分布，进而基于所述全局语义特征分布来构建所述空间增强矿区人员作业特征图的类单应映射子空间。接着，将所述空间增强矿区人员作业特征图的沿通道维度的各个局部特征映射到所述类单应映射子空间以进行特征维度稀疏化，也就是，以所述类单应映射子空间作为枢轴映射子空间来对所述空间增强矿区人员作业特征图的沿通道维度的各个局部特征进行聚类式特征分布调制。这样，因在所述类单应映射子空间中，特征点的分布更加均匀和紧凑，所以可以减少异常点的干扰，增强所述空间增强矿区人员作业特征图的特征鲁棒性。
进一步地，将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常。
基于此，本申请提供了一种矿用安全生产监控系统，其包括：视频采集模块，用于获取由摄像头采集的预定时间段的矿区人员作业监控视频；监控关键帧提取模块，用于从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧；三维卷积模块，用于将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图；深度特征提取模块，用于对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图；空间特征增强模块，用于将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图；优化特征模块，用于对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图；以及，异常判断模块，用于将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1为根据本申请实施例的矿用安全生产监控系统的框图。如图1所示，根据本申请实施例的矿用安全生产监控系统100，包括：视频采集模块110，用于获取由摄像头采集的预定时间段的矿区人员作业监控视频；监控关键帧提取模块120，用于从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧；三维卷积模块130，用于将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图；深度特征提取模块140，用于对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图；空间特征增强模块150，用于将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图；优化特征模块160，用于对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图；以及，异常判断模块170，用于将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
图2为根据本申请实施例的矿用安全生产监控系统的架构示意图。如图2所示，首先，获取由摄像头采集的预定时间段的矿区人员作业监控视频。接着，从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧。然后，将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图。接着，对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图。然后，将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图。接着，对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图。最后，将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
在本申请实施例中，所述视频采集模块110，用于获取由摄像头采集的预定时间段的矿区人员作业监控视频。考虑到监控视频可以实时观察矿区内的作业情况，包括作业环境、作业方式、人员行为等。通过视频监控，可以发现潜在的安全隐患和危险情况，及时采取措施预防事故的发生。如果发生事故，监控视频可以提供事故发生前、中、后的作业过程记录。这对于事故调查和分析非常重要，有助于确定事故原因、责任和改进措施。监控视频还可以用于实时监护矿区人员的安全状况。例如，监测矿工是否佩戴了个人防护装备，是否遵守安全操作规程等。在发现异常情况时，可以及时采取干预措施，保障矿工的人身安全。因此，获取矿区人员作业监控视频，可以提供重要的信息和数据，用于安全监控、事故调查、人员安全监护以及数据分析与预警等方面，有助于提高矿山的安全性和管理水平。
在本申请实施例中，所述监控关键帧提取模块120，用于从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧。考虑到通过提取多个关键帧，可以观察到作业过程中的状态变化。作业状态的变化可能包括人员位置的变动、作业环境的变化等。这些变化可以帮助我们了解作业过程的动态变化和演变。具体地，关键帧可以提供对作业行为的瞬间抓取，例如矿工操作设备、搬运物品、检查设备等。通过分析多个关键帧，可以更全面地了解矿区人员的作业行为，判断是否存在不安全或不规范的行为。另外，提取多个关键帧可以帮助我们捕捉到作业过程中的异常情况。异常可能包括、人员操作错误、不正常的作业行为等。通过对关键帧的分析，可以及时发现异常情况并采取相应的措施。
具体地，在本申请实施例中，所述监控关键帧提取模块，包括：以预定采样频率从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧。
在本申请实施例中，所述三维卷积模块130，用于将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图。考虑到矿区人员作业监控关键帧是二维图像，通过三维卷积操作可以在时间维度上对关键帧进行卷积运算，同时在空间维度上提取特征。这样可以捕捉到关键帧中的空间结构和物体形状等信息，有助于识别和分析作业场景中的关键特征。另外，矿区人员作业监控关键帧是按时间顺序排列的，通过3D CNN可以在时间维度上进行卷积运算，从而提取关键帧之间的时间关系和动态变化。这可以帮助我们捕捉到作业过程中的时间特征，例如动作的速度、连续性和时序关系等。作业过程通常是一个连续的序列，关键帧之间存在着上下文关系。通过3D CNN可以在时间维度上对关键帧进行卷积运算，从而建立关键帧之间的上下文关系，使得特征提取器能够更好地理解作业过程的整体背景和动态变化。
具体地，在本申请实施例中，所述三维卷积模块，用于：使用所述基于三维卷积神经网络模型的特征提取器的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述基于三维卷积神经网络模型的特征提取器的最后一层的输出为所述矿区人员作业特征图，所述基于三维卷积神经网络模型的特征提取器的第一层的输入为所述三维张量。
在本申请实施例中，所述深度特征提取模块140，用于对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图。考虑到通过将矿区人员作业特征图进行切分，可以将整个作业过程划分为多个子区域。这样做的目的是为了更好地捕捉到不同区域的特征和局部信息。不同的子特征图可以对应不同的作业区域或者不同的作业动作，从而提高特征的多样性和丰富性。而混合卷积层是指在卷积操作中使用不同尺寸的卷积核进行特征提取。通过使用多个不同尺寸的卷积核，可以捕捉到不同大小的特征，从而提高特征的多样性和丰富性。这对于矿区人员作业监控来说，可以更好地处理不同尺度的作业动作和物体。通过使用混合卷积层，可以得到多个深度矿区人员作业子特征图。这些深度特征图可以包含更丰富和抽象的特征表示，有助于更好地表达作业过程中的复杂动作和场景。深度特征图可以提供更高层次的语义信息，使得后续的分类、识别和分析任务更具有准确性和鲁棒性。
具体地，在本申请实施例中，所述深度特征提取模块，用于：使用所述包含多个混合卷积层的深度卷积神经网络模型的各个混合卷积层在层的正向传递中分别进行：对输入数据进行多尺度卷积编码以得到多尺度卷积特征图；对所述多尺度卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活处理以得到激活特征图；其中，所述包含多个混合卷积层的深度卷积神经网络模型的最后一层的输出为所述多个深度矿区人员作业子特征图的各个深度矿区人员作业子特征图，所述包含多个混合卷积层的深度卷积神经网络模型的第一层的输入为所述个多个矿区人员作业子特征图的各个矿区人员作业子特征图。
更具体地，在本申请实施例中，所述多尺度卷积编码，用于：基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图；基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图，其中，所述第二卷积核为具有第一空洞率的空洞卷积核；基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图，其中，所述第三卷积核为具有第二空洞率的空洞卷积核；基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图，其中，所述第四卷积核为具有第三空洞率的空洞卷积核；以及，将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行级联以得到多尺度卷积特征图。
在本申请实施例中，所述空间特征增强模块150，用于将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图。考虑到在矿区人员作业监控中，某些区域可能比其他区域更重要，例如安全隐患区域或者作业关键点。通过使用空间注意力机制，可以对特定的空间区域进行加权，使得网络更关注这些重要区域的特征。这样可以增强关键区域的特征表达，提高对关键区域的感知和分析能力。另外，矿区人员作业监控中可能存在噪声和背景信息，这些信息可能对特征提取和分析造成干扰。通过使用空间注意力机制，可以抑制噪声和背景信息的影响，使网络更专注于关键区域的特征。这样可以提高特征的纯净性和准确性。空间注意力机制还可以通过学习权重来自适应地调整特征图中不同空间位置的重要性。这样可以提升特征的判别能力，使得网络更能够区分不同区域的特征，从而更好地理解和分析作业过程中的细节和差异。
具体地，在本申请实施例中，所述空间特征增强模块，用于：使用所述空间注意力的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：基于卷积核对所述输入数据进行卷积处理以得到卷积特征图；将所述卷积特征图通过空间注意力模块以得到所述空间注意力得分矩阵；将所述空间注意力得分矩阵与所述差分特征图沿通道维度的各个特征矩阵进行按位置点乘以所述空间注意力特征图；对所述空间注意力特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述空间注意力的卷积神经网络模型的第一层的输入为所述深度矿区人员作业特征图，所述空间注意力的卷积神经网络模型的最后一层的输出为所述空间增强矿区人员作业特征图。
在本申请实施例中，所述优化特征模块160，用于对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图。
特别地，考虑到在数据处理过程中，通过多个步骤和模型对原始数据进行处理和提取特征，最终得到了空间增强矿区人员作业特征图。然而，这个空间增强矿区人员作业特征图可能存在一些问题，如特征之间的冗余、噪声、不平衡的特征分布等。通过对空间增强矿区人员作业特征图进行特征分布优化可以改善空间增强矿区人员作业特征图的质量，使得其中的特征能够更好地反映不同类别之间的差异，提高分类模型的判别能力。具体地，空间增强矿区人员作业特征图可能包含一些冗余或噪声特征，这些特征对分类任务没有贡献或者反而干扰了分类模型的学习。通过特征分布优化，可以减少冗余和噪声特征的影响，提高分类模型的鲁棒性和泛化能力。同时，空间增强矿区人员作业特征图中的特征可能存在不平衡的情况，即某些类别的特征数量较多，而其他类别的特征数量较少。这会导致分类模型对于数量较多的类别更加偏向，而忽视数量较少的类别。通过特征分布优化，可以平衡不同类别的特征分布，确保分类模型能够充分学习和区分所有类别。
图3为根据本申请实施例的矿用安全生产监控系统中优化特征模块的框图。具体地，在本申请实施例中，如图3所示，所述优化特征模块160，包括：全局均值池化单元161，用于对所述空间增强矿区人员作业特征图进行全局均值池化以得到全局语义特征向量；协方差矩阵计算单元162，用于计算所述全局语义特征向量的协方差矩阵；特征值分解单元163，用于对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征值向量；类单应子空间构建单元164，用于从所述多个特征值向量提取K个最大的特征值对应的K个特征值向量，所述K个特征值向量构成k维的类单应子空间；特征展平化单元165，用于将所述空间增强矿区人员作业特征图的沿通道维度的各个特征矩阵进行特征展平化以得到多个分类特征局部展开特征向量；向量映射单元166，用于将所述多个分类特征局部展开特征向量分别映射到所述类单应子空间以得到多个映射后分类特征局部展开特征向量；激活单元167，用于将所述多个映射后分类特征局部展开特征向量通过Sigmoid激活函数进行激活以得到多个映射后概率化分类特征局部展开特征向量；以及，维度重构单元168，用于将所述多个映射后概率化分类特征局部展开特征向量进行维度重构以得到优化空间增强矿区人员作业特征图。
这样，因在所述类单应映射子空间中，特征点的分布更加均匀和紧凑，所以可以减少异常点的干扰，增强所述空间增强矿区人员作业特征图的特征鲁棒性。
在本申请实施例中，所述异常判断模块170，用于将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
图4为根据本申请实施例的矿用安全生产监控系统中异常判断模块的框图。具体地，在本申请实施例中，如图4所示，所述异常判断模块170，包括：展开单元171，用于将所述优化空间增强矿区人员作业特征图展开为分类特征向量；全连接编码单元172，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果单元173，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的矿用安全生产监控系统100被阐明，其采用基于深度神经网络模型的人工智能技术，获取由摄像头采集的预定时间段的矿区人员作业监控视频，提取关键帧后通过三维卷积处理得到特征图后进行切分再经过混合卷积和空间特征的提取，以得到用于表示矿工人员作业是否有异常的分类结果。进而，可以提高矿区安全监控系统的效率和准确性，及时发现并应对潜在的安全风险。
示例性方法
图5为根据本申请实施例的矿用安全生产监控方法的流程图。如图5所示，根据本申请实施例的矿用安全生产监控方法，包括：S110,获取由摄像头采集的预定时间段的矿区人员作业监控视频；S120,从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧；S130,将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图；S140,对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图；S150,将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图；S160,对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图；以及，S170,将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
这里，本领域技术人员可以理解，上述矿用安全生产监控方法中的各个步骤的具体操作已经在上面参考图1到图4的矿用安全生产监控系统的描述中得到了详细介绍，并因此，将省略其重复描述。
示例性电子设备
下面，参考图6来描述根据本申请实施例的电子设备。图6为根据本申请实施例的电子设备的框图。如图6所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理模块(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理模块，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的矿用安全生产监控系统及其方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如预定时间段的矿区人员作业监控视频等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的矿用安全生产监控方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的矿用安全生产监控方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (10)

1.一种矿用安全生产监控系统，其特征在于，包括：
视频采集模块，用于获取由摄像头采集的预定时间段的矿区人员作业监控视频；
监控关键帧提取模块，用于从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧；
三维卷积模块，用于将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图；
深度特征提取模块，用于对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图；
空间特征增强模块，用于将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图；
优化特征模块，用于对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图；
异常判断模块，用于将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
2.根据权利要求1所述的矿用安全生产监控系统，其特征在于，所述监控关键帧提取模块，用于：
以预定采样频率从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧。
3.根据权利要求2所述的矿用安全生产监控系统，其特征在于，所述三维卷积模块，用于：
使用所述基于三维卷积神经网络模型的特征提取器的各层在层的正向传递中分别对输入数据进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图基于局部特征矩阵的均值池化以得到池化特征图；
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述基于三维卷积神经网络模型的特征提取器的最后一层的输出为所述矿区人员作业特征图，所述基于三维卷积神经网络模型的特征提取器的第一层的输入为所述三维张量。
4.根据权利要求3所述的矿用安全生产监控系统，其特征在于，所述深度特征提取模块，用于：
使用所述包含多个混合卷积层的深度卷积神经网络模型的各个混合卷积层在层的正向传递中分别进行：
对输入数据进行多尺度卷积编码以得到多尺度卷积特征图；
对所述多尺度卷积特征图进行池化处理以得到池化特征图；
对所述池化特征图进行非线性激活处理以得到激活特征图；
其中，所述包含多个混合卷积层的深度卷积神经网络模型的最后一层的输出为所述多个深度矿区人员作业子特征图的各个深度矿区人员作业子特征图，所述包含多个混合卷积层的深度卷积神经网络模型的第一层的输入为所述个多个矿区人员作业子特征图的各个矿区人员作业子特征图。
5.根据权利要求4所述的矿用安全生产监控系统，其特征在于，所述多尺度卷积编码，用于：
基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图；
基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图，其中，所述第二卷积核为具有第一空洞率的空洞卷积核；
基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图，其中，所述第三卷积核为具有第二空洞率的空洞卷积核；
基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图，其中，所述第四卷积核为具有第三空洞率的空洞卷积核；
将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行级联以得到多尺度卷积特征图。
6.根据权利要求5所述的矿用安全生产监控系统，其特征在于，所述空间特征增强模块，用于：
使用所述空间注意力的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
基于卷积核对所述输入数据进行卷积处理以得到卷积特征图；
将所述卷积特征图通过空间注意力模块以得到所述空间注意力得分矩阵；
将所述空间注意力得分矩阵与所述差分特征图沿通道维度的各个特征矩阵进行按位置点乘以所述空间注意力特征图；
对所述空间注意力特征图进行基于局部特征矩阵的池化处理以得到池化特征图；
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述空间注意力的卷积神经网络模型的第一层的输入为所述深度矿区人员作业特征图，所述空间注意力的卷积神经网络模型的最后一层的输出为所述空间增强矿区人员作业特征图。
7.根据权利要求6所述的矿用安全生产监控系统，其特征在于，所述优化特征模块，包括：
全局均值池化单元，用于对所述空间增强矿区人员作业特征图进行全局均值池化以得到全局语义特征向量；
协方差矩阵计算单元，用于计算所述全局语义特征向量的协方差矩阵；
特征值分解单元，用于对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征值向量；
类单应子空间构建单元，用于从所述多个特征值向量提取K个最大的特征值对应的K个特征值向量，所述K个特征值向量构成k维的类单应子空间；
特征展平化单元，用于将所述空间增强矿区人员作业特征图的沿通道维度的各个特征矩阵进行特征展平化以得到多个分类特征局部展开特征向量；
向量映射单元，用于将所述多个分类特征局部展开特征向量分别映射到所述类单应子空间以得到多个映射后分类特征局部展开特征向量；
激活单元，用于将所述多个映射后分类特征局部展开特征向量通过Sigmoid激活函数进行激活以得到多个映射后概率化分类特征局部展开特征向量；
维度重构单元，用于将所述多个映射后概率化分类特征局部展开特征向量进行维度重构以得到优化空间增强矿区人员作业特征图。
8.根据权利要求7所述的矿用安全生产监控系统，其特征在于，所述异常判断模块，包括：
展开单元，用于将所述优化空间增强矿区人员作业特征图展开为分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；
分类结果单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
9.一种矿用安全生产监控方法，其特征在于，包括：
获取由摄像头采集的预定时间段的矿区人员作业监控视频；
从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧；
将所述多个矿区人员作业监控关键帧排列为三维张量后通过基于三维卷积神经网络模型的特征提取器以得到矿区人员作业特征图；
对所述矿区人员作业特征图进行特征图切分后通过包含多个混合卷积层的深度卷积神经网络模型以得到多个深度矿区人员作业子特征图；
将所述多个深度矿区人员作业子特征图排列为深度矿区人员作业特征图后通过使用空间注意力的卷积神经网络模型以得到空间增强矿区人员作业特征图；
对所述空间增强矿区人员作业特征图进行特征分布优化以得到优化空间增强矿区人员作业特征图；
将所述优化空间增强矿区人员作业特征图通过分类器以得到分类结果，所述分类结果用于表示矿工人员作业是否有异常，并基于所述分类结果，生成报警器的报警提示信号。
10.根据权利要求9所述的矿用安全生产监控方法，其特征在于，从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧，包括：
以预定采样频率从所述预定时间段的矿区人员作业监控视频中提取多个矿区人员作业监控关键帧。
CN202311154610.2A 2023-09-07 2023-09-07 矿用安全生产监控系统及其方法 Pending CN117115743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311154610.2A CN117115743A (zh) 2023-09-07 2023-09-07 矿用安全生产监控系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311154610.2A CN117115743A (zh) 2023-09-07 2023-09-07 矿用安全生产监控系统及其方法

Publications (1)

Publication Number Publication Date
CN117115743A true CN117115743A (zh) 2023-11-24

Family

ID=88812631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311154610.2A Pending CN117115743A (zh) 2023-09-07 2023-09-07 矿用安全生产监控系统及其方法

Country Status (1)

Country Link
CN (1) CN117115743A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635219A (zh) * 2024-01-26 2024-03-01 长春黄金设计院有限公司 金属矿山生产大数据智能分析系统及方法
CN117671592A (zh) * 2023-12-08 2024-03-08 中化现代农业有限公司 危险行为检测方法、装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671592A (zh) * 2023-12-08 2024-03-08 中化现代农业有限公司 危险行为检测方法、装置、电子设备和存储介质
CN117635219A (zh) * 2024-01-26 2024-03-01 长春黄金设计院有限公司 金属矿山生产大数据智能分析系统及方法
CN117635219B (zh) * 2024-01-26 2024-04-26 长春黄金设计院有限公司 金属矿山生产大数据智能分析系统及方法

Similar Documents

Publication Publication Date Title
Ding et al. A deep hybrid learning model to detect unsafe behavior: Integrating convolution neural networks and long short-term memory
CN117115743A (zh) 矿用安全生产监控系统及其方法
US11482030B2 (en) System and method for automatic detection and recognition of people wearing personal protective equipment using deep learning
CN115909260A (zh) 基于机器视觉的作业场所入侵预警方法及其系统
Borg et al. Test automation with grad-CAM Heatmaps-A future pipe segment in MLOps for Vision AI?
CN116759053A (zh) 基于物联网系统的医疗体系防控方法及系统
CN115294528A (zh) 一种行人安全监控方法及装置
Steffens et al. An unconstrained dataset for non-stationary video based fire detection
CN116311005A (zh) 一种用于运动图像处理装置、方法及存储介质
Liu et al. Detection and location of unsafe behaviour in digital images: A visual grounding approach
Mohan et al. Artificial intelligence enabled safety for construction sites
Ji et al. A high-performance framework for personal protective equipment detection on the offshore drilling platform
WO2021039545A1 (ja) 異常検知装置、異常検知方法、及びプログラム
Steffens et al. Non-stationary VFD evaluation kit: Dataset and metrics to fuel video-based fire detection development
CN116216234A (zh) 基于视频的输煤系统智能监控系统及其方法
CN114663972A (zh) 基于动作差分的目标标记方法及装置
CN114241354A (zh) 仓库人员行为识别方法、装置、计算机设备、存储介质
Li et al. A lightweight YOLOv5 model used for safety helmet and reflective clothing detection
Berkovskyi et al. CREATION OF INTELLIGENT SYSTEMS FOR ANALYZING SUPERMARKET VISITORS TO IDENTIFY CRIMINAL ELEMENTS
Kardawi et al. A Comparative Analysis of Deep Learning Models for Detection of Knee Osteoarthritis Disease through Mobile Apps
Saranya et al. Human body temperature and face mask audit system for COVID protocol
Lestari et al. Fire detection system on surveillance videos using faster region-based convolutional neural network for high buildings evacuation
Basavaraj et al. LaneNet++: Uncertainty-Aware Lane Detection for Autonomous Vehicle
Telaga et al. Real-time Students’ Safety Helmet-wearing Detection Based on Convolutional Neural Network
Lock et al. Drowsiness Detection for Safe Driving Using PERCLOS and YOLOv2 Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination