CN117574133B - 一种不安全生产行为识别方法及相关设备 - Google Patents

一种不安全生产行为识别方法及相关设备 Download PDF

Info

Publication number
CN117574133B
CN117574133B CN202410042551.8A CN202410042551A CN117574133B CN 117574133 B CN117574133 B CN 117574133B CN 202410042551 A CN202410042551 A CN 202410042551A CN 117574133 B CN117574133 B CN 117574133B
Authority
CN
China
Prior art keywords
data
module
jerk
original acceleration
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410042551.8A
Other languages
English (en)
Other versions
CN117574133A (zh
Inventor
彭晗
谭理
吴倩
张军号
张金传
杨俊丰
刘星宝
李沁
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202410042551.8A priority Critical patent/CN117574133B/zh
Publication of CN117574133A publication Critical patent/CN117574133A/zh
Application granted granted Critical
Publication of CN117574133B publication Critical patent/CN117574133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供了一种不安全生产行为识别方法及相关设备，包括：通过传感器采集目标人员生产行为动作的原始加速度数据，并根据原始加速度数据得到急动度数据；对原始加速度数据和急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；分别对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化数据；将原始加速度数据和运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到第一数据特征和第二数据特征对目标人员进行不安全生产行为识别，得到不安全生产行为识别结果；与现有技术相比，本发明能够提高动作识别的准确性和鲁棒性。

Description

一种不安全生产行为识别方法及相关设备
技术领域
本发明涉及工业生产行为管理技术领域，特别涉及一种不安全生产行为识别方法及相关设备。
背景技术
“安全生产”这个概念，一般意义上讲，是指在社会生产活动中，通过人、机、物料、环境、方法的和谐运作，使生产过程中潜在的各种事故风险和伤害因素始终处于有效控制状态，切实保护劳动者的生命安全和身体健康。也就是说，为了使劳动过程在符合安全要求的物质条件和工作秩序下进行的，防止人身伤亡财产损失等生产事故，消除或控制危险有害因素，保障劳动者的安全健康和设备设施免受损坏、环境免受破坏的一切行为。
随着人工智能的发展，工业生产中不安全行为的智能检测受到了广泛的关注。不安全生产行为识别检测方法主要方法有基于视频和基于可穿戴设备两种。基于工业生产监控视频的检测方法往往存在目标多、环境复杂、隐私保护性差的问题。相较于传统的视频监控方法，基于穿戴设备的检测方法虽然具有精准识别、环境影响因素低、且隐私性强等特点。
但是由于身体佩戴传感器具有敏感性，在进行高强度活动时，穿戴传感器的分类器可能会无法准确地识别某些动作或者将它们分类到错误的类别中，这会使得获取的数据产生噪声，从而导致获取到的数据质量下降。不同的动作类别具有相似性，例如跑步、慢跑和不行等动作之间的差异不大。此外，由于不同人的差异，同一动作内部的差异也会很大，尽管研究人员在基于可穿戴传感器的人体动作识别方法取得了很大进展，但从可穿戴传感器数据中识别人类活动仍然存在自己的挑战。
申请号为CN201910347816.4的中国专利提出了一种基于智能移动设备传感器的用户行为识别方法，该方法在获得了加速度和角速度数据后，将其图像化后按照图像处理的方式进行处理，但是其识别的动作较为简单，不足以支撑当前的现实需求。
发明内容
本发明提供了一种不安全生产行为识别方法及相关设备，其目的是为了提高不安全生产行为识别的准确性和鲁棒性。
为了达到上述目的，本发明提供了一种不安全生产行为识别方法，包括：
步骤1，通过传感器采集目标人员生产行为动作的原始加速度数据，并根据原始加速度数据得到急动度数据；
步骤2，对原始加速度数据和急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；
步骤3，分别对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化数据，运动状态时序变化数据用于表征目标人员的运动状态变化；
步骤4，将原始加速度数据和运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到原始加速度数据的第一数据特征以及运动状态时序变化数据的第二数据特征；
改进的循环神经网络包括上层流模块和下层流模块，上层流模块的输入端、下层流模块的输入端均为改进的循环神经网络的输入端，上层流模块和下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；
通过上层流模块中双层堆叠的门控循环单元子模块与dropout层对原始加速度数据进行特征提取，得到第一数据特征；
通过下层流模块中双层堆叠的门控循环单元子模块与dropout模块对运动状态时序变化数据进行特征提取，得到第二数据特征；
根据第一数据特征和第二数据特征对目标人员进行不安全生产行为识别，得到不安全生产行为识别结果。
进一步来说，步骤1包括：
通过采样频率为50Hz的惯性测量传感器采集目标人员生产行为动作的原始加速度数据；
将时间滑动窗口的窗口长度设置为2.56秒，采用时间滑动窗口对原始加速度数据进行分割，得到分割后的加速度数据；
将分割后的加速度数据进行求导，得到急动度数据。
进一步来说，步骤3包括：
使用滑动窗口对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行处理，得到统计学特征，统计学特征包括最大值、最小值、均值、标准差、中位数、信号幅度面积、信息熵、模糊熵；
利用构建混合模型对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化特征；
将统计学特征与运动状态时序变化特征进行叠加，得到运动状态时序变化数据。
进一步来说，利用构建混合模型对对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化特征，包括：
利用运动对象剖析法构建伯努利分布模型和高斯分布模型的混合模型；
将原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据输入混合模型，在混合模型中通过K-means方法进行计算，得到伯努利分布模型的上阈值和下阈值；
处于上阈值和下阈值之间的数据表示静止状态，高于上阈值和低于下阈值的数据表示运动状态变化量；
使用最大似然估计法对运动状态变化量进行计算，得到高斯分布模型的随机变量；
将伯努利分布模型的上阈值和下阈值以及高斯分布模型的随机变量进行融合，得到运动状态时序变化特征。
进一步来说，混合模型的计算公式为：
其中，表示x、y和z维度上的加速度，K表示第K时刻的加速度，/>表示变化概率的伯努利分布随机变量，/>表示伯努利分布，/>表示高斯分布，/>表示均值，/>表示方差。
进一步来说，使用最大似然估计法对运动状态变化量进行计算，得到高斯分布模型的随机变量，高斯分布模型的随机变量为均值和方差，其计算公式如下：
；
；
；
其中，表示混合模型参数集合的最大似然估计值，N表示高斯分布的随机变量，/>表示高斯参数，/>表示高斯分布中的均值，/>表示高斯分布中的方差，/>表示单个样本数据。
进一步来说，改进的循环神经网络包括：
融合模块和全连接模块；
上层流模块的输出端、下层流模块的输出端均与融合模块的输入端连接，融合模块的输出端与全连接模块的输入端连接，全连接模块的输出端为改进的循环神经网络的输出端；
将第一数据特征和第二数据特征输入融合模块进行融合，得到融合结果；
将融合结果输入全连接模块对目标人员进行不安全生产行为识别，得到目标人员的不安全生产行为识别结果。
本发明还提供了一种不安全生产行为识别装置，包括：
采集模块，用于通过传感器采集目标人员生产行为动作的原始加速度数据，并根据原始加速度数据得到急动度数据；
处理模块，用于对原始加速度数据和急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；
变换模块，用于分别对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化数据，运动状态时序变化数据用于表征目标人员的运动状态变化；
提取模块，用于将原始加速度数据和运动状态时序变化数据均输入改进的循环神经网络；
改进的循环神经网络包括上层流模块和下层流模块，上层流模块的输入端、下层流模块的输入端均为改进的循环神经网络的输入端，上层流模块和下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；
通过上层流模块中双层堆叠的门控循环单元子模块与dropout层对原始加速度数据进行特征提取，得到第一数据特征；
通过下层流模块中双层堆叠的门控循环单元子模块与dropout模块对运动状态时序变化数据进行特征提取，得到第二数据特征；
识别模块，用于根据第一数据特征和第二数据特征对目标人员进行不安全生产行为识别，得到不安全生产行为识别结果。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现不安全生产行为识别方法。
本发明还提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现不安全生产行为识别方法。
本发明的上述方案有如下的有益效果：
本发明通过传感器采集目标人员生产行为动作的原始加速度数据，并根据原始加速度数据得到急动度数据；对原始加速度数据和急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；分别对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化数据；将原始加速度数据和运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到原始加速度数据的第一数据特征以及运动状态时序变化数据的第二数据特征；改进的循环神经网络包括上层流模块和下层流模块，上层流模块的输入端、下层流模块的输入端均为改进的循环神经网络的输入端，上层流模块和下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；通过上层流模块中双层堆叠的门控循环单元子模块与dropout层对原始加速度数据进行特征提取，得到第一数据特征；通过下层流模块中双层堆叠的门控循环单元子模块与dropout模块对运动状态时序变化数据进行特征提取，得到第二数据特征；根据第一数据特征和第二数据特征对目标人员进行不安全生产行为识别，得到不安全生产行为识别结果；与现有技术相比，本发明旨在从加速度信号数据中提取全面的运动特征，并转换为运动状态时序变化数据，然后通过改进的循环神经网络对目标人员进行不安全生产行为识别，能够提高动作识别的准确性和鲁棒性。
本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明实施例中改进的循环神经网络的结构图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是锁定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明针对现有的问题，提供了一种不安全生产行为识别方法及相关设备。
如图1所示，本发明的实施例提供了一种不安全生产行为识别方法，包括：
步骤1，通过传感器采集目标人员生产行为动作的原始加速度数据，并根据原始加速度数据得到急动度数据；
步骤2，对原始加速度数据和急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；
步骤3，分别对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化数据，运动状态时序变化数据用于表征目标人员的运动状态变化；
步骤4，将原始加速度数据和运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到原始加速度数据的第一数据特征以及运动状态时序变化数据的第二数据特征；
改进的循环神经网络包括上层流模块和下层流模块，上层流模块的输入端、下层流模块的输入端均为改进的循环神经网络的输入端，上层流模块和下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；
通过上层流模块中双层堆叠的门控循环单元子模块与dropout层对原始加速度数据进行特征提取，得到第一数据特征；
通过下层流模块中双层堆叠的门控循环单元子模块与dropout模块对运动状态时序变化数据进行特征提取，得到第二数据特征；
步骤5，根据第一数据特征和第二数据特征对目标人员进行不安全生产行为识别，得到不安全生产行为识别结果。
具体来说，步骤1包括：
通过采样频率为50Hz的惯性测量传感器采集目标人员生产行为动作的原始加速度数据；
将时间滑动窗口的窗口长度设置为2.56秒，采用时间滑动窗口对原始加速度数据进行分割，得到分割后的加速度数据；
将分割后的加速度数据进行求导，得到急动度数据。
在本发明实施例中，时间滑动窗口的窗口长度设置为2.56秒，即128个采样样本为一条行为数据，相邻的窗口之间存在50%的信号交叠，可以有效的避免信息的丢失；将时间滑动窗口扫描惯性测量传感器（Inertial Measurement Unit，IMU）所获取的原始加速度数据进行预处理；在预处理阶段，首先通过对加速度进行求导获取加速度的急动度数据，即Jerk数据，其公式如下：
其中，表示加速度，t表示时间。Jerk数据主要是计算加速度数据的导数，即通过在加速度模型的基础上增加一个维度去实时估算加速度的加速度，从而可以获得更精确的加速度估计，急动度表示了物体在单位时间内加速度发生变化的变化量，可以描述物体加速度的变化趋势和变化速率，以描述物体的动态特征，以及运动的平稳性和连续性。
具体来说，在步骤2中，本发明实施例使用快速傅里叶变换（Fast FourierTransform，FFT）分别对原始加速度数据和急动度数据进行处理，获取原始加速度频域数据和急动度频域数据；快速傅里叶变换法是本发明实施例中对信号处理和数据分析中最重要的算法之一，快速傅里叶变换法处理后的数据是原始数据在频域中的表示，包含了原始信号在不同频率下的成分信息。这些频域信息可以用于提取数据中的周期性特征和周期性变化，对于很多信号处理和数据分析的应用非常有用。
具体来说，步骤3包括：
使用滑动窗口对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行处理，得到统计学特征，统计学特征包括最大值、最小值、均值、标准差、中位数、信号幅度面积、信息熵、模糊熵；
利用构建混合模型对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化特征；
将统计学特征与运动状态时序变化特征进行叠加，得到运动状态时序变化数据。
具体来说，本发明实施例通过最大值、最小值、均值、标准差、中位数、信号幅度面积、信息熵、模糊熵从数据中提取关键的统计学特征，具体公式为：
最大值为：
；
最小值为：
；
均值为：
；
方差为：
；
中位数为：
；
信号幅度面积指的是x、y和z三个轴的加速度曲线所包围面积之和，其计算公式如下：
信息熵是属于信息论中一组数据随机程度的数学度量，是系统状态的函数，反映系统状态的概率，随机程度越高，熵就越大；可预测性越高，熵就越低；熵的计算公式为：
模糊熵是一种用于量化时间序列波动的规则性和不可预测性的非线性动态参数，它使用一个非负数来表示时间序列的复杂性来反映时间序列中出现新信息的可能性，时间序列越复杂，近似熵越大。
具体来说，利用构建混合模型对对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化特征，包括：
利用运动对象剖析法构建伯努利分布模型和高斯分布模型的混合模型；
将原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据输入混合模型，在混合模型中通过K-means方法进行计算，得到伯努利分布模型的上阈值和下阈值；
处于上阈值和下阈值之间的数据表示静止状态，高于上阈值和低于下阈值的数据表示运动状态变化量；
使用最大似然估计法对运动状态变化量进行计算，得到高斯分布模型的随机变量；
将伯努利分布模型的上阈值和下阈值以及高斯分布模型的随机变量进行融合，得到运动状态时序变化特征。
本发明实施例采用的运动对象剖析法是基于K-means方法和最大似然估计法提出一种新的混合模型来获取运动状态时序变化特征，主要思想是将加速度表示为伯努利分布模型和高斯分布模型的混合模型，其中，伯努利分布模型代表人员是否运动，高斯分布模型代表运动状态中的运动变化量，伯努利分布模型的输出为基于概率的0和1，0表示人员处于静止状态，1表示人员处于运动状态；概率/>的计算公式如下：
；
混合模型的计算公式如下：
其中，表示x、y和z维度上的加速度，/>表示第/>时刻的加速度，/>表示变化（运动或静止）概率的伯努利分布随机变量，/>表示伯努利分布，/>表示高斯分布，/>表示均值，/>表示方差，总数据=运动数据+静止数据，运动数据=正向运动状态数据+负向运动状态数据。
其中，K-means方法是一种常用的聚类方法，旨在将观测值划分为k个簇，本发明实施例将K设置为3，因为加速度有正负运动，因此K-means方法可以将数据分为3个簇，首先利用K-means方法对输入混合模型中的数据进行计算，得到伯努利分布模型的上阈值和下阈值，处于上阈值和下阈值之间的数据表示静止状态，高于上阈值和低于下阈值的数据表示运动状态变化量。
使用最大似然估计法对运动状态变化量进行计算，得到高斯分布模型的随机变量；最大似然估计法是用于计算未知的高斯参数，计算均值/>和方差/>的偏导数，并使其等于零，最终解可以表示为：
然后本发明实施例求出其对均值和方差/>的导数，使其等于零，因此得到的最终解可以表示为：
;
;
其中，表示混合模型参数集合的最大似然估计值，N表示高斯分布的随机变量，/>表示高斯参数，/>表示高斯分布中的均值，/>表示高斯分布中的方差，/>表示单个样本数据。
具体来说，本发明实施例提供的改进的循环神经网络还包括：
融合模块和全连接模块；
上层流模块的输出端、下层流模块的输出端均与融合模块的输入端连接，融合模块的输出端与全连接模块的输入端连接，全连接模块的输出端为改进的循环神经网络的输出端；
将第一数据特征与第二数据特征输入融合模块进行融合，得到融合结果；
将融合结果输入全连接模块对目标人员进行不安全生产行为识别，得到目标人员的不安全生产行为识别结果。
如图2所示，本发明实施例中，上层流模块与下层流模块均由两个GRU（GatedRecurrent Unit）门控循环单元子模块、一个Dropout层和一个压平层Flatten依次连接而成，GRU子模块是一种递归神经网络（recurrent neural network，RNN），旨在更好地捕捉时间数据中广泛间隔的依赖关系。GRU克服了标准RNN中常见的梯度消失和爆炸问题。将原始加速度数据输入上层流模块进行特征提取，得到第一数据特征；将运动状态时序变化数据输入下层流模块进行特征提取，得到第二数据特征；全连接模块包括两个2048的FC（FullConnection）全连接层、两个Dropout层、两个ReLU激活函数，在第一个2048的全连接层的输出端设置一个ReLU函数和一个Dropout层，在第二个2048的全连接层的输出端也同样设置一个ReLU函数和一个Dropout层，第二个Dropout层之后还叠加有一个全连接层FC和一个softmax函数；将第一数据特征和第二数据特征入融合模块进行融合，得到融合结果并将融合结果输入至全连接模块进行不安全生产行为识别，得到目标人员的不安全生产行为识别结果。
本发明实施例通过在多个公开数据集上验证，如UCI-HAR和WISDM数据集，均取得了更高精度的识别准确率。在UCI-HAR数据集中达到96.41%的准确率和96.29%的F1得分，高于目前已知最高的96.27%准确率和96.1%F1得分。在WISDM数据集中，识别准确率达到98.60%，F1得分为97.83%，均高于已知最高精确度97.21%和最高F1得分97.2%。
综上，本发明实施例通过传感器采集目标人员生产行为动作的原始加速度数据，并根据原始加速度数据得到急动度数据；对原始加速度数据和急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；分别对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化数据；将原始加速度数据和运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到原始加速度数据的第一数据特征以及运动状态时序变化数据的第二数据特征；改进的循环神经网络包括上层流模块和下层流模块，上层流模块的输入端、下层流模块的输入端均为改进的循环神经网络的输入端，上层流模块和下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；通过上层流模块中双层堆叠的门控循环单元子模块与dropout层对原始加速度数据进行特征提取，得到第一数据特征；通过下层流模块中双层堆叠的门控循环单元子模块与dropout模块对运动状态时序变化数据进行特征提取，得到第二数据特征；根据第一数据特征和第二数据特征对目标人员进行不安全生产行为识别，得到不安全生产行为识别结果；与现有技术相比，本发明旨在从加速度信号数据中提取全面的运动特征，并转换为运动状态时序变化数据，然后通过改进的循环神经网络对目标人员进行不安全生产行为识别，能够提高动作识别的准确性和鲁棒性。
本发明实施例还提供了一种不安全生产行为识别装置，包括：
采集模块，用于通过传感器采集目标人员生产行为动作的原始加速度数据，并根据原始加速度数据得到急动度数据；
处理模块，用于对原始加速度数据和急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；
变换模块，用于分别对原始加速度数据、急动度数据、原始加速度频域数据和急动度频域数据进行变换，得到运动状态时序变化数据，运动状态时序变化数据用于表征目标人员的运动状态变化；
提取模块，用于将原始加速度数据和运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到原始加速度数据的第一数据特征以及运动状态时序变化数据的第二数据特征；
改进的循环神经网络包括上层流模块和下层流模块，上层流模块的输入端、下层流模块的输入端均为改进的循环神经网络的输入端，上层流模块和下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；
通过上层流模块中双层堆叠的门控循环单元子模块与dropout层对原始加速度数据进行特征提取，得到第一数据特征；
通过下层流模块中双层堆叠的门控循环单元子模块与dropout模块对运动状态时序变化数据进行特征提取，得到第二数据特征；
识别模块，用于根据第一数据特征和第二数据特征对目标人员进行不安全生产行为识别，得到不安全生产行为识别结果。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本发明实施例的方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现不安全生产行为识别方法。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述方法实施例中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到构建装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
本发明还提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现不安全生产行为识别方法。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑、服务器、服务器集群及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(CPU，Central Processing Unit)，该处理器还可以是其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述终端设备的内部存储单元，例如终端设备的硬盘或内存。所述存储器在另一些实施例中也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡（SMC，Smart Media Card），安全数字（SD，Secure Digital）卡，闪存卡（Flash Card）等。进一步地，所述存储器还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本发明实施例的方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种不安全生产行为识别方法，其特征在于，包括：
步骤1，通过传感器采集目标人员生产行为动作的原始加速度数据，并根据所述原始加速度数据得到急动度数据；
步骤2，对所述原始加速度数据和所述急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；
步骤3，分别对所述原始加速度数据、所述急动度数据、所述原始加速度频域数据和所述急动度频域数据进行变换，得到运动状态时序变化数据，所述运动状态时序变化数据用于表征所述目标人员的运动状态变化；
步骤4，将所述原始加速度数据和所述运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到所述原始加速度数据的第一数据特征以及所述运动状态时序变化数据的第二数据特征；
所述改进的循环神经网络包括上层流模块和下层流模块，所述上层流模块的输入端、所述下层流模块的输入端均为所述改进的循环神经网络的输入端，所述上层流模块和所述下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；
通过所述上层流模块中双层堆叠的门控循环单元子模块与dropout层对所述原始加速度数据进行特征提取，得到第一数据特征；
通过所述下层流模块中双层堆叠的门控循环单元子模块与dropout模块对所述运动状态时序变化数据进行特征提取，得到第二数据特征；
步骤5，根据所述第一数据特征和所述第二数据特征对所述目标人员进行不安全生产行为识别，得到不安全生产行为识别结果。
2.根据权利要求1所述的不安全生产行为识别方法，其特征在于，所述步骤1包括：
通过采样频率为50Hz的惯性测量传感器采集目标人员生产行为动作的原始加速度数据；
将时间滑动窗口的窗口长度设置为2.56秒，采用所述时间滑动窗口对所述原始加速度数据进行分割，得到分割后的加速度数据；
将所述分割后的加速度数据进行求导，得到急动度数据。
3.根据权利要求2所述的不安全生产行为识别方法，其特征在于，所述步骤3包括：
使用滑动窗口对所述原始加速度数据、所述急动度数据、所述原始加速度频域数据和所述急动度频域数据进行处理，得到统计学特征，所述统计学特征包括最大值、最小值、均值、标准差、中位数、信号幅度面积、信息熵、模糊熵；
利用构建的混合模型对所述原始加速度数据、所述急动度数据、所述原始加速度频域数据和所述急动度频域数据进行变换，得到运动状态时序变化特征，包括；
利用运动对象剖析法构建伯努利分布模型和高斯分布模型的混合模型；
所述混合模型是将加速度表示为伯努利分布模型和高斯分布模型，其中，伯努利分布模型代表人员是否运动，高斯分布模型代表运动状态中的运动变化量，所述混合模型的计算公式为：
；
其中，表示x、y和z维度上的加速度，K表示第K时刻的加速度，/>表示变化概率的伯努利分布随机变量，/>表示伯努利分布，/>表示高斯分布，/>表示均值，/>表示方差；
将所述原始加速度数据、所述急动度数据、所述原始加速度频域数据和所述急动度频域数据输入所述混合模型，在所述混合模型中通过K-means方法进行计算，得到所述伯努利分布模型的上阈值和下阈值；
处于所述上阈值和所述下阈值之间的数据表示静止状态，高于所述上阈值和低于所述下阈值的数据表示运动状态变化量；
使用最大似然估计法对所述运动状态变化量进行计算，得到所述高斯分布模型的随机变量；
将所述伯努利分布模型的上阈值和下阈值以及所述高斯分布模型的随机变量进行融合，得到运动状态时序变化特征；
将所述统计学特征与所述运动状态时序变化特征进行叠加，得到运动状态时序变化数据。
4.根据权利要求3所述的不安全生产行为识别方法，其特征在于，使用最大似然估计法对所述运动状态变化量进行计算，得到所述高斯分布模型的随机变量，所述高斯分布模型的随机变量为均值和方差，其计算公式如下：
；
；
；
其中，表示混合模型参数集合的最大似然估计值，N表示高斯分布的随机变量，/>表示高斯参数，/>表示高斯分布中的均值，/>表示高斯分布中的方差，/>表示单个样本数据。
5.根据权利要求4所述的不安全生产行为识别方法，其特征在于，所述改进的循环神经网络还包括：
融合模块和全连接模块；
所述上层流模块的输出端、所述下层流模块的输出端均与所述融合模块的输入端连接，所述融合模块的输出端与所述全连接模块的输入端连接，所述全连接模块的输出端为所述改进的循环神经网络的输出端；
将所述第一数据特征和所述第二数据特征输入所述融合模块进行融合，得到融合结果；
将所述融合结果输入所述全连接模块对所述目标人员进行不安全生产行为识别，得到所述目标人员的不安全生产行为识别结果。
6.一种不安全生产行为识别装置，其特征在于，包括：
采集模块，用于通过传感器采集目标人员生产行为动作的原始加速度数据，并根据所述原始加速度数据得到急动度数据；
处理模块，用于对所述原始加速度数据和所述急动度数据进行快速傅里叶变换处理，得到原始加速度频域数据和急动度频域数据；
变换模块，用于分别对所述原始加速度数据、所述急动度数据、所述原始加速度频域数据和所述急动度频域数据进行变换，得到运动状态时序变化数据，所述运动状态时序变化数据用于表征所述目标人员的运动状态变化；
提取模块，用于改进的循环神经网络将所述原始加速度数据和所述运动状态时序变化数据均输入改进的循环神经网络进行特征提取，得到所述原始加速度数据的第一数据特征以及所述运动状态时序变化数据的第二数据特征；
所述改进的循环神经网络包括上层流模块和下层流模块，所述上层流模块的输入端、所述下层流模块的输入端均为所述改进的循环神经网络的输入端，所述上层流模块和所述下层流模块均由双层堆叠的门控循环单元子模块连接用于防止过拟合的dropout层组成；
通过所述上层流模块中双层堆叠的门控循环单元子模块与dropout层对所述原始加速度数据进行特征提取，得到第一数据特征；
通过所述下层流模块中双层堆叠的门控循环单元子模块与dropout模块对所述运动状态时序变化数据进行特征提取，得到第二数据特征；
识别模块，用于根据所述第一数据特征和所述第二数据特征对所述目标人员进行不安全生产行为识别，得到不安全生产行为识别结果。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当该计算机程序被处理器执行时，实现如权利要求1至5任一项所述的不安全生产行为识别方法。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的不安全生产行为识别方法。
CN202410042551.8A 2024-01-11 2024-01-11 一种不安全生产行为识别方法及相关设备 Active CN117574133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410042551.8A CN117574133B (zh) 2024-01-11 2024-01-11 一种不安全生产行为识别方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410042551.8A CN117574133B (zh) 2024-01-11 2024-01-11 一种不安全生产行为识别方法及相关设备

Publications (2)

Publication Number Publication Date
CN117574133A CN117574133A (zh) 2024-02-20
CN117574133B true CN117574133B (zh) 2024-04-02

Family

ID=89884736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410042551.8A Active CN117574133B (zh) 2024-01-11 2024-01-11 一种不安全生产行为识别方法及相关设备

Country Status (1)

Country Link
CN (1) CN117574133B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016061724A1 (zh) * 2014-10-20 2016-04-28 中国科学院自动化研究所 一种基于深度学习的全天候视频监控方法
CN111079655A (zh) * 2019-12-18 2020-04-28 航天物联网技术有限公司 一种基于融合神经网络的视频中人体行为识别方法
CN111967362A (zh) * 2020-08-09 2020-11-20 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
CN112434643A (zh) * 2020-12-06 2021-03-02 零八一电子集团有限公司 低慢小目标的分类识别方法
WO2021115064A1 (zh) * 2019-12-10 2021-06-17 中国科学院深圳先进技术研究院 基于可穿戴传感器的健身运动识别方法
WO2022000426A1 (zh) * 2020-06-30 2022-01-06 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统
CN114020807A (zh) * 2021-10-29 2022-02-08 清华大学 基于深度学习的车辆载重确定方法及装置
WO2022041786A1 (zh) * 2020-08-25 2022-03-03 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器
CN114926683A (zh) * 2022-05-23 2022-08-19 中山大学 空中飞行目标分类识别方法、装置及计算机可读存储介质
JP2022148734A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 機械学習装置
CN115376202A (zh) * 2022-05-19 2022-11-22 湖州市特种设备检测研究院(湖州市电梯应急救援指挥中心) 一种基于深度学习的电梯轿厢内乘客行为识别方法
CN116226727A (zh) * 2023-05-05 2023-06-06 济宁政韵信息科技有限公司 一种基于ai的运动识别系统
CN116236209A (zh) * 2023-02-13 2023-06-09 宁波慈溪生物医学工程研究所 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法
CN116956222A (zh) * 2023-07-26 2023-10-27 山东大学 一种基于自适应特征提取的多复杂度行为识别系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210554B2 (en) * 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US11392195B2 (en) * 2020-06-15 2022-07-19 Strongarm Technologies, Inc. Methods and apparatus for actions, activities and tasks classifications based on machine learning techniques

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016061724A1 (zh) * 2014-10-20 2016-04-28 中国科学院自动化研究所 一种基于深度学习的全天候视频监控方法
WO2021115064A1 (zh) * 2019-12-10 2021-06-17 中国科学院深圳先进技术研究院 基于可穿戴传感器的健身运动识别方法
CN111079655A (zh) * 2019-12-18 2020-04-28 航天物联网技术有限公司 一种基于融合神经网络的视频中人体行为识别方法
WO2022000426A1 (zh) * 2020-06-30 2022-01-06 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统
CN111967362A (zh) * 2020-08-09 2020-11-20 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
WO2022041786A1 (zh) * 2020-08-25 2022-03-03 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器
CN112434643A (zh) * 2020-12-06 2021-03-02 零八一电子集团有限公司 低慢小目标的分类识别方法
JP2022148734A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 機械学習装置
CN114020807A (zh) * 2021-10-29 2022-02-08 清华大学 基于深度学习的车辆载重确定方法及装置
CN115376202A (zh) * 2022-05-19 2022-11-22 湖州市特种设备检测研究院(湖州市电梯应急救援指挥中心) 一种基于深度学习的电梯轿厢内乘客行为识别方法
CN114926683A (zh) * 2022-05-23 2022-08-19 中山大学 空中飞行目标分类识别方法、装置及计算机可读存储介质
CN116236209A (zh) * 2023-02-13 2023-06-09 宁波慈溪生物医学工程研究所 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法
CN116226727A (zh) * 2023-05-05 2023-06-06 济宁政韵信息科技有限公司 一种基于ai的运动识别系统
CN116956222A (zh) * 2023-07-26 2023-10-27 山东大学 一种基于自适应特征提取的多复杂度行为识别系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Adaptive Pose Estimation for Gait Event Detection Using Context-Aware Model and Hierarchical Optimization;Israr Akhter, et.al;《Journal of electrical engineering and technology》;20210419;第16卷;第2721–2729页 *
Feasibility Study of Deep Neural Network for Heart Rate Estimation from Wearable Photoplethysmography and Acceleration Signals;Heewon Chung, et.al;《41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society》;20191007;第3633-3636页 *
Long-time coherent integration-based detection method for high-speed and highly maneuvering radar target;Xiaolong Chen, et.al;《2016 CIE International Conference on Radar (RADAR)》;20171005;第1-5页 *
Recurrent neural networks for online travel mode detection;Elton F. de S. Soares, et.al;《IEEE global communications conference》;20200227;第1-6页 *
基于深度学习的行为识别研究;李潇;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20220415(第4期);第I138-635页 *
帕金森患者冻结步态检测技术研究;刘西华;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20220515(第5期);第E070-39页 *
视频监控中异常行为检测在安防领域的研究进展;彭晗;《智能城市》;20220930;第8卷(第9期);第11-14页 *

Also Published As

Publication number Publication date
CN117574133A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Yang et al. Deep convolutional neural networks on multichannel time series for human activity recognition.
Yuan et al. Fingerprint liveness detection from different fingerprint materials using convolutional neural network and principal component analysis
Jung et al. Sequential pattern profiling based bio-detection for smart health service
CN107437074B (zh) 一种身份认证方法和装置
WO2014165579A1 (en) Fingerprint pore analysis for liveness detection
Liu et al. One-class fingerprint presentation attack detection using auto-encoder network
Wang et al. Posed and spontaneous expression recognition through modeling their spatial patterns
Song et al. Fingerprint indexing based on pyramid deep convolutional feature
Amaro et al. Evaluation of machine learning techniques for face detection and recognition
Li et al. Sensor-based fall detection using a combination model of a temporal convolutional network and a gated recurrent unit
Hao et al. RFPIQM: ridge-based forensic palmprint image quality measurement
Viedma et al. Relevant features for gender classification in NIR periocular images
Bharathi et al. Diabetes diagnostic method based on tongue image classification using machine learning algorithms
CN117574133B (zh) 一种不安全生产行为识别方法及相关设备
ElMenshawy et al. A clustering based approach for contextual anomaly detection in internet of things
CN114758787A (zh) 区域疫情信息处理方法、装置和系统
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
Shrivastava et al. Adaptive window based fall detection using anomaly identification in fog computing scenario
Sehgal Palm recognition using LBP and SVM
Ali et al. Applying computational intelligence to community policing and forensic investigations
Lavanya et al. Real time digital face mask detection using MobileNet-V2 and SSD with apache spark
Swetha et al. Finger-vein biometric identification using convolution neural networks
Rafi et al. A performance evaluation of machine learning models on human activity identification (hai)
Yan et al. A CNN-based fingerprint image quality assessment method
Zaghetto Contributions to non-conventional biometric systems: improvements on the fingerprint, facial and handwriting recognition approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant