CN110163347A - 一种煤矿井下人体姿态监测方法 - Google Patents

一种煤矿井下人体姿态监测方法 Download PDF

Info

Publication number
CN110163347A
CN110163347A CN201910439460.7A CN201910439460A CN110163347A CN 110163347 A CN110163347 A CN 110163347A CN 201910439460 A CN201910439460 A CN 201910439460A CN 110163347 A CN110163347 A CN 110163347A
Authority
CN
China
Prior art keywords
data
layer
input
algorithm
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910439460.7A
Other languages
English (en)
Inventor
刘斌
杨成龙
胡全宏
潘子恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910439460.7A priority Critical patent/CN110163347A/zh
Publication of CN110163347A publication Critical patent/CN110163347A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • EFIXED CONSTRUCTIONS
    • E21EARTH OR ROCK DRILLING; MINING
    • E21FSAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
    • E21F17/00Methods or devices for use in mines or tunnels, not covered elsewhere
    • E21F17/18Special adaptations of signalling or alarm devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mining & Mineral Resources (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geochemistry & Mineralogy (AREA)
  • Geology (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供一种有利于监测煤矿井下人员姿态的监测方法,通过判断人体姿态变化,预测预警当前穿戴人员可能存在的一些危险操作或危险状态,进而尽可能的避免井下人员工作危险情况的发生。本发明能监测包括站立、行进、躺卧、蹲起、弯腰等姿态运动状态,通过判断人体姿态变化,预测预警当前穿戴人员可能存在的一些危险操作或危险状态,进而尽可能的避免井下人员工作危险情况的发生。全套系统均采用嵌入式可穿戴设计,通过小型锂电池供电,体积和重量均满足可穿戴设备的要求,与矿井工作服相结合,不需要井下人员额外携带设备。在井下WiFi覆盖区域能实时监测人员信息并反馈井上监控中心,在无WiFi区域还能自主工作并提醒井下人员远离危险区域。本发明设计一种改进的神经网络算法模型来估计人体姿态,采用长短记忆神经网络解决了循环神经网络模型解决序列问题存在的问题,采用稀疏自编码器通过降维来解决输入数据维数较大的问题。

Description

一种煤矿井下人体姿态监测方法
技术领域
本发明涉及一种煤矿井下人员姿态防摔倒监测方法,属于矿用监控技术领域。
背景技术
我国当前的能源需求依然是以煤炭为主、以石油和天然气为辅的模式结构,煤炭产能占我国全国年人均能源消费的60%以上。由于煤炭能源开发生产具有着高成本、高风险的特点,又由于上个世纪煤炭开采的技术能力较弱、管理不规范、急于求成等原因,导致煤炭行业生产伤亡数据居高不下。煤矿安全,特别是煤矿井下工作人员的生命安全,是煤矿生产中一直以来面临的极其重要的问题之一。近几年来,国家主要煤炭能源企业带头 开展了关于煤炭安全生产整治工作,经实践验证,建设数字化矿山,依靠高可靠性的煤矿生产设备和人员装备是实现煤矿安全生产的重要保障。
大多数对于煤矿井下工人的智能化改造都集中于研究煤矿井下人员精确快速以及高可靠性的定位算法和软硬件设备,然而,对于人员本身状态信息的监测与预测却很少被重视。煤矿井下人员的姿态变化是煤矿井下最为频繁的人员活动,从而潜在包含着大量的原始数据,如果将这些数据做统计分析,可以很大程度准确的描述井下人员的工作状态、环境变化等情况,甚至可以为井下灾害预警和矿难救援提供大量有效的辅助信息。对井下人员的状态信息准确采集与监测,同时专注于对原始数据的深入分析和算法创新,可以有效提高煤矿生产管理水平,有利于煤矿安全生产。
发明内容
针对上述当前的监测设备对井下人员情况监控不够全面的问题,本发明提供一种有利于监测煤矿井下人员姿态的监测方法,通过判断人体姿态变化,预测预警当前穿戴人员可能存在的一些危险操作或危险状态,进而尽可能的避免井下人员工作危险情况的发生。
应用可穿戴设备的煤矿井下人员定位技术由于其自身技术特征,在井下应用时需要考虑三个基本功能需求:1.高精度的采样数据。压力传感器数据与惯性测量单元的采样数据分布均有范围限制,这就导致在受到采样误差的影响下,数据的可信度会一定程度上降低,需要依赖于高精度的传感器来保证后续算法对人体姿态的准确估计;2.高效的运算效率。本文选定的神经网络算法依赖于较强的硬件运算能力支持,又由于算法本身要运行在可穿戴设备上,而可穿戴设备受到体积、重量和安装结构的设计,从而运算能力受限,这就需要一款高速可靠的处理器来提供高效的运算效率;3.无线网络的稳定性。由于采集人体姿态数据的传感器分别位于脚底和躯干不同位置,从而无法在人体布置有线传输线路,需要依赖于无线网络通信,而在煤矿井下的电磁环境比较恶劣,从而需要考虑运算设备和采样设备的软硬件设计以及电气安全设计标准。
本发明所述的基于SAE-LSTM的井下人体姿态监测方法采用如下技术方案实现,包括算法结构设计、算法识别训练和可穿戴系统设计,其具体步骤如下:
算法模型共分为两个阶段,第一部分是SAE结构,第二部分是LSTM结构。算法具体设计内容如下:
(1)SAE结构由2层组成,分别是1层输入层和1层隐藏层,该部分的输入为传感器原始数据,为N维的向量,通过SAE提取出N维向量的典型特征,从而降低数据维度,降低后的维度为N’。输入层节点与输出层节点相同的神经网络的自编码器模型为:即要求自编码器网络的输入与输出的误差尽可能小。自编码器可以通过提取到的数据特征来还原输入数据,所以说自编码器提取到的数据特征是能够描述原始输入数据的等效数据集,当自编码器的输出特征维度小于原始输入数据时,可以与主成分分析算法类似,达到降维的目的。
根据自编码器模型,除去偏置节点后,输出节点与输入节点相同。每个节点的激活函数是Sigmoid函数,可以用反向传播算法对自编码器进行训练,训练后得到的结果是Layer L2层的内容。自编码器由编码器(Encoder)和解码器(Decoder)组成,从输入层到隐藏层的过程是编码过程,从隐藏层到输出层的过程是解码过程。如果隐藏层节点比输入节点的维数小,自编码器可以认为是降维算法;如果隐藏层节点与输入节点的维数相同,可以得到一个与输入数据等效的表示方法;如果隐藏层节点比输入节点的维数大,则会得到输入数据的稀疏表示。如果隐藏层的维度大于输入节点,可能导致隐藏层只是将输入层节点原模原样传递到输出层,而没有任何特征运算,故而需要进行稀疏性处理。
稀疏性限制可以让隐藏层的节点大多处于非激活状态,尽可能的让所有隐含节点输出值的平均值接近于0,促使隐藏层提取输入数据中的有效特征,这样的自编码器称为稀疏自编码器(Sparse Auto-Encoder,简称SAE),其损失函数表达式为:
其中,s为隐藏节点层的节点总数,j取值为[0,s],W, b为损失函数参数,KL一项为KL距离,表示为:
其中为隐藏层节点输出的平均值,求法为:
其中的参数一般取值很小,如0.05,也就是小概率事件。稀疏自编码器要求每个隐藏层节点尽可能的接近0,这样就达到了稀疏的目的。从KL公式中可以看出,隐藏层某个节点与平均输出值差别越大,则KL值越小,对该节点的惩罚越大,因此最终隐藏层节点的输出会统一接近0。
(2)第二部分是LSTM结构,由2层组成,分别是1层隐藏层和1层输出层,该部分的输入为SAE的输出,N’维的向量,通过LSTM的处理来进行人体姿态预测,输出的数据为估计的人体姿态类别,为M维度的向量,该向量中数值为1的类别是最终估计人体姿态,其他类别为0。SAE作用是提取输入数据的有效成分,降维处理,降低了数据的冗余性,从而可以减轻LSTM的计算负担,避免模型失效,提高整体系统的可靠性。LSTM用两个门(gate)来控制状态c,门是一个控制输入量能够输出的程度的单元,门的输出是0到1的实数向量。第一个是遗忘门(forget gate),它决定着上一个时刻的状态有多大程度会保留到当前时刻的Ct;另一个是输入门(input gate),它决定着当前时刻的输入xt,有多大程度会影响到状态Ct;除此之外,LSTM还有一个输出门(output gate),它控制状态Ct中有多大程度会输出到当前时刻的ht
根据典型LSTM的模型单元,从左到右,第一个乘法交叉点是遗忘门,第二个乘法交叉点是输入门,第三个乘法交叉点是输出门,各个门的计算公式如:
上述公式中,表示乘法交叉运算,是指两个向量中的每个元素都单独相乘。第一个公式是遗忘门的计算,第二个公式是输入门的计算,第三个公式是单纯依靠ht-1和xt来得到的单元状态,第四个公式是结合遗忘门后的当前单元状态,经过遗忘门的控制,信息可以选择性的保留,又由于输入门的参与,只有相关的信息才会主要影响当前时刻的运算。第五个公式是输出门的计算,第六个公式是单元最终的输出。
(3)在井下同等环境下,分别采集每名下井工人的身高、体重、姿势角向量等参数,依照个人信息参数及压力、角向量传感器数据归一化后得到初始参数:θr,p,y为运算决策设备三轴角向量,θlr,lp,ly为角度采集设备(左大腿)三轴角向量,θrr,rp,ry为角度采集设备(右大腿)三轴角向量,θlc,rc分别为角度采集设备(左右小腿)角向量,θlp1,lp2,lp3,lp4为压力采集设备(左脚底部不同位置)压力值,θrp1,rp2,rp3,rp4为压力采集设备(右脚底部不同位置)压力值。
(4)对算法的训练过程采用Adam算法对网络进行训练。自适应估计算法,简称为Adam(Adaptive Moment Estimation)算法,相比于其他梯度下降算法,它能够在更少内存的情况下保证高效运算,适合与解决对角缩放的不变性和解决大规模数据和参数的优化问题。
具体算法的基本参数包括:
α:学习率(步长),用于控制权重更新的幅度,一般取值为0.001;
β1:一阶矩估计的指数衰减率,一般取值为0.9;
β2:二阶矩估计的指数衰减率,一般取值为0.999,该值应当接近1;
ε:分母上的一个小常数,用于防治出现除0异常,如e-8
θ:初始参数;
m:初始一阶矩估计;
v:初始二阶矩估计;
更新t时刻的关于参数θ的梯度的计算公式为:
更新偏差一阶矩估计的计算公式为:
更新偏差二阶矩估计的计算公式为:
计算偏差修正一阶矩估计的计算公式为:
计算偏差修正二阶矩估计的计算公式为:
更新参数的计算公式为:
本发明软件系统主要有以下几部分组成:采样模块、运算决策模块、中继器模块以及井上监控中心模块。采样模块与运算决策模块由井下人员携带,作为一个整体发挥从数据采集到运算,进而到作出决策并向井上监控中心反馈的基本功能;中继器模块作为传输井下人员编号与姿态估计信息的传输接力设备,一般由井下已经广泛部署的无线或有线通信设备来承担;
各模块的软件控制算法如下:
(1)运算决策模块软件流程主要包含四个环节,分别是初始化环节、数据接收环节、运算决策环节与决策处理环节。在初始化环节,系统初始化软件应用运行所需要的软件资源,包括配置文件、日志、数据IO端口、硬件驱动检查等;在数据接收环节,系统会检查所有设备,包括2个压力采集设备和4个角度采集设备的无线通信端口,如果有设备的通信链路无法建立,运算决策设备将进入非正常启动状态,并通过Zigbee网络主动向上位机(井上监控室)通知非正常启动状态消息。若正常通信链路全部建立,设备将进行一次数据采集,包括脚底压力值和腿部角度值,并做对应标记后建立原始值的数据结构;运算决策环节是实现最复杂的一个环节,该环节实现了基于稀疏自编码器与长短记忆神经网络的算法,然后将上一环节采集到的压力值信息和角度信息传入算法单元,经过算法计算之后,将输出的决策姿态存入文件中;最后一个环节决策处理环节主要工作在于将决策姿态与已有的姿态知识库进行匹配,判断当前的决策姿态是否为异常姿态,比如躺卧姿态应为异常姿态。最后将决策姿态存入设备文件中,记录日志信息,并在可能的条件下通过Zigbee网络上传到上位机(井上监控室)。
(2)压力采集模块的软件流程分为三个阶段,分别是初始化阶段、数据采集阶段、数据传递阶段。在初始化阶段,完成硬件初始化和接口初始化,并检查与运算决策设备的Zigbee通信链路是否建立;数据采集阶段,设备调用模数转换模块采集压力应变片的压力值,并通过滤波器滤除异常数据和采样噪声;数据传递阶段将采集到的数据通过Zigbee链路上传到运算决策设备。
(3) 角度采集模块的软件流程与压力采集模块类似,角度采集模块的软件流程也分为初始化阶段、数据采集阶段和数据传递阶段三个阶段,并且每个阶段的操作方法也基本类似。对于角度采集模块来说,由于其传感器是惯性传感器(IMU),采集到的原始数据是三轴加速度值和三轴角速度值,从而无法直接得到角度数据。然而,本系统所选择的惯性传感器内部MCU实现了卡尔曼滤波算法,可以将加速度值和角速度值通过估计算法计算出三轴角度值,并通过欧拉角或四元数的方式传递给角度采集设备的MCU,从而对于我们的应用来讲,不需要了解如何采用卡尔曼滤波得到角度值,只需要直接接收角度值即可。
与现有技术相比,本发明具有以下优势:
(1)能监测包括站立、行进、躺卧、蹲起、弯腰等姿态运动状态,通过判断人体姿态变化,预测预警当前穿戴人员可能存在的一些危险操作或危险状态,进而尽可能的避免井下人员工作危险情况的发生。
(2)全套系统均采用嵌入式可穿戴设计,通过小型锂电池供电,体积和重量均满足可穿戴设备的要求,与矿井工作服相结合,不需要井下人员额外携带设备。
(3)在井下WiFi覆盖区域能实时监测人员信息并反馈井上监控中心,在无WiFi区域还能自主工作并提醒井下人员远离危险区域。
(4)通过设计一种改进的神经网络算法模型来估计人体姿态,采用长短记忆神经网络解决了循环神经网络模型解决序列问题存在的问题,采用稀疏自编码器通过降维来解决输入数据维数较大的问题。
附图说明
图1为本发明的SAE-LSTM算法模型;
图2为自编码器算法模型;
图3为典型的LSTM的模型单元;
图4为自适应估计算法示意图;
图5为本发明的系统设计方案图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
本发明所述的基于SAE-LSTM的井下人体姿态监测方法采用如下技术方案实现,包括算法结构设计、算法识别训练和可穿戴系统设计,其具体步骤如下:
算法模型共分为两个阶段,如图1所示,第一部分是SAE结构,第二部分是LSTM结构。算法具体设计内容如下:
SAE结构由2层组成,分别是1层输入层和1层隐藏层,该部分的输入为传感器原始数据,为N维的向量,通过SAE提取出N维向量的典型特征,从而降低数据维度,降低后的维度为N’。输入层节点与输出层节点相同的神经网络的自编码器模型为:即要求自编码器网络的输入与输出的误差尽可能小。自编码器可以通过提取到的数据特征来还原输入数据,所以说自编码器提取到的数据特征是能够描述原始输入数据的等效数据集,当自编码器的输出特征维度小于原始输入数据时,可以与主成分分析算法类似,达到降维的目的。
图2是一个自编码器模型,除去偏置节点后,输出节点与输入节点相同。每个节点的激活函数是Sigmoid函数,可以用反向传播算法对自编码器进行训练,训练后得到的结果是Layer L2层的内容。自编码器由编码器(Encoder)和解码器(Decoder)组成,从输入层到隐藏层的过程是编码过程,从隐藏层到输出层的过程是解码过程。如果隐藏层节点比输入节点的维数小,自编码器可以认为是降维算法;如果隐藏层节点与输入节点的维数相同,可以得到一个与输入数据等效的表示方法;如果隐藏层节点比输入节点的维数大,则会得到输入数据的稀疏表示。如果隐藏层的维度大于输入节点,可能导致隐藏层只是将输入层节点原模原样传递到输出层,而没有任何特征运算,故而需要进行稀疏性处理。
稀疏性限制可以让隐藏层的节点大多处于非激活状态,尽可能的让所有隐含节点输出值的平均值接近于0,促使隐藏层提取输入数据中的有效特征,这样的自编码器称为稀疏自编码器(Sparse Auto-Encoder,简称SAE),其损失函数表达式为:
其中,s为隐藏节点层的节点总数,j取值为[0,s],W, b为损失函数参数,KL一项为KL距离,表示为:
其中ρj为隐藏层节点输出的平均值,求法为:
其中的参数一般取值很小,如0.05,也就是小概率事件。稀疏自编码器要求每个隐藏层节点尽可能的接近0,这样就达到了稀疏的目的。从KL公式中可以看出,隐藏层某个节点与平均输出值差别越大,则KL值越小,对该节点的惩罚越大,因此最终隐藏层节点的输出会统一接近0。
第二部分是LSTM结构,由2层组成,分别是1层隐藏层和1层输出层,该部分的输入为SAE的输出,N’维的向量,通过LSTM的处理来进行人体姿态预测,输出的数据为估计的人体姿态类别,为M维度的向量,该向量中数值为1的类别是最终估计人体姿态,其他类别为0。SAE作用是提取输入数据的有效成分,降维处理,降低了数据的冗余性,从而可以减轻LSTM的计算负担,避免模型失效,提高整体系统的可靠性。LSTM用两个门(gate)来控制状态c,门是一个控制输入量能够输出的程度的单元,门的输出是0到1的实数向量。第一个是遗忘门(forget gate),它决定着上一个时刻的Ct-1状态有多大程度会保留到当前时刻的Ct;另一个是输入门(input gate),它决定着当前时刻的输入Xt,有多大程度会影响到状态Ct;除此之外,LSTM还有一个输出门(output gate),它控制状态Ct中有多大程度会输出到当前时刻的ht
图3是一个典型的LSTM的模型单元。从左到右,第一个乘法交叉点是遗忘门,第二个乘法交叉点是输入门,第三个乘法交叉点是输出门,各个门的计算公式如:
上述公式中,表示乘法交叉运算,是指两个向量中的每个元素都单独相乘。第一个公式是遗忘门的计算,第二个公式是输入门的计算,第三个公式是单纯依靠ht-1和Xt来得到的单元状态,第四个公式是结合遗忘门后的当前单元状态,经过遗忘门的控制,信息可以选择性的保留,又由于输入门的参与,只有相关的信息才会主要影响当前时刻的运算。第五个公式是输出门的计算,第六个公式是单元最终的输出。
在井下同等环境下,分别采集每名下井工人的身高、体重、姿势角向量等参数,依照个人信息参数及压力、角向量传感器数据归一化后得到初始参数:θr,p,y为运算决策设备三轴角向量,θlr,lp,ly为角度采集设备(左大腿)三轴角向量,θrr,rp,ry为角度采集设备(右大腿)三轴角向量,θlc,rc分别为角度采集设备(左右小腿)角向量,θlp1,lp2,lp3,lp4为压力采集设备(左脚底部不同位置)压力值,θrp1,rp2,rp3,rp4为压力采集设备(右脚底部不同位置)压力值。
对算法的训练过程采用Adam算法对网络进行训练。自适应估计算法,简称为Adam(Adaptive Moment Estimation)算法,相比于其他梯度下降算法,它能够在更少内存的情况下保证高效运算,适合与解决对角缩放的不变性和解决大规模数据和参数的优化问题。
具体算法如图4所示,其中的基本参数包括:
α:学习率(步长),用于控制权重更新的幅度,一般取值为0.001;
β1:一阶矩估计的指数衰减率,一般取值为0.9;
β2:二阶矩估计的指数衰减率,一般取值为0.999,该值应当接近1;
ε:分母上的一个小常数,用于防治出现除0异常,如e-8;
θ:初始参数;
m:初始一阶矩估计;
v:初始二阶矩估计;
更新t时刻的关于参数θ的梯度的计算公式为:
更新偏差一阶矩估计的计算公式为:
更新偏差二阶矩估计的计算公式为:
计算偏差修正一阶矩估计的计算公式为:
计算偏差修正二阶矩估计的计算公式为:
更新参数的计算公式为:
本发明软件系统主要有以下几部分组成:采样模块、运算决策模块、中继器模块以及井上监控中心模块,系统设计方案如图5所示。采样模块与运算决策模块由井下人员携带,作为一个整体发挥从数据采集到运算,进而到作出决策并向井上监控中心反馈的基本功能;中继器模块作为传输井下人员编号与姿态估计信息的传输接力设备,一般由井下已经广泛部署的无线或有线通信设备来承担;
各模块的软件控制算法如下:
(1)运算决策模块软件流程主要包含四个环节,分别是初始化环节、数据接收环节、运算决策环节与决策处理环节。在初始化环节,系统初始化软件应用运行所需要的软件资源,包括配置文件、日志、数据IO端口、硬件驱动检查等;在数据接收环节,系统会检查所有设备,包括2个压力采集设备和4个角度采集设备的无线通信端口,如果有设备的通信链路无法建立,运算决策设备将进入非正常启动状态,并通过Zigbee网络主动向上位机(井上监控室)通知非正常启动状态消息。若正常通信链路全部建立,设备将进行一次数据采集,包括脚底压力值和腿部角度值,并做对应标记后建立原始值的数据结构;运算决策环节是实现最复杂的一个环节,该环节实现了基于稀疏自编码器与长短记忆神经网络的算法,然后将上一环节采集到的压力值信息和角度信息传入算法单元,经过算法计算之后,将输出的决策姿态存入文件中;最后一个环节决策处理环节主要工作在于将决策姿态与已有的姿态知识库进行匹配,判断当前的决策姿态是否为异常姿态,比如躺卧姿态应为异常姿态。最后将决策姿态存入设备文件中,记录日志信息,并在可能的条件下通过Zigbee网络上传到上位机(井上监控室)。
(2)压力采集模块的软件流程分为三个阶段,分别是初始化阶段、数据采集阶段、数据传递阶段。在初始化阶段,完成硬件初始化和接口初始化,并检查与运算决策设备的Zigbee通信链路是否建立;数据采集阶段,设备调用模数转换模块采集压力应变片的压力值,并通过滤波器滤除异常数据和采样噪声;数据传递阶段将采集到的数据通过Zigbee链路上传到运算决策设备。
(3)角度采集模块的软件流程与压力采集模块类似,角度采集模块的软件流程也分为初始化阶段、数据采集阶段和数据传递阶段三个阶段,并且每个阶段的操作方法也基本类似。对于角度采集模块来说,由于其传感器是惯性传感器(IMU),采集到的原始数据是三轴加速度值和三轴角速度值,从而无法直接得到角度数据。然而,本系统所选择的惯性传感器内部MCU实现了卡尔曼滤波算法,可以将加速度值和角速度值通过估计算法计算出三轴角度值,并通过欧拉角或四元数的方式传递给角度采集设备的MCU,从而对于我们的应用来讲,不需要了解如何采用卡尔曼滤波得到角度值,只需要直接接收角度值即可。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变形,仍落入本发明的保护范围内。

Claims (2)

1.一种煤矿井下人体姿态监测方法,其特征在于,包括算法结构设计、算法识别训练和可穿戴系统软件设计,其特征在于,包括以下步骤:
(1)算法模型共分为两个阶段,第一部分是SAE结构,第二部分是LSTM结构;SAE结构由2层组成,分别是1层输入层和1层隐藏层,该部分的输入为传感器原始数据,为N维的向量,通过SAE提取出N维向量的典型特征,从而降低数据维度,降低后的维度为N’;
(2)输入层节点与输出层节点相同的神经网络的自编码器模型为:即要求自编码器网络的输入与输出的误差尽可能小;自编码器可以通过提取到的数据特征来还原输入数据,所以说自编码器提取到的数据特征是能够描述原始输入数据的等效数据集,当自编码器的输出特征维度小于原始输入数据时,可以与主成分分析算法类似,达到降维的目的;
(3)根据自编码器模型,除去偏置节点后,输出节点与输入节点相同;每个节点的激活函数是Sigmoid函数,可以用反向传播算法对自编码器进行训练,训练后得到的结果是Layer L2层的内容;自编码器由编码器(Encoder)和解码器(Decoder)组成,从输入层到隐藏层的过程是编码过程,从隐藏层到输出层的过程是解码过程;如果隐藏层节点比输入节点的维数小,自编码器可以认为是降维算法;如果隐藏层节点与输入节点的维数相同,可以得到一个与输入数据等效的表示方法;如果隐藏层节点比输入节点的维数大,则会得到输入数据的稀疏表示;如果隐藏层的维度大于输入节点,可能导致隐藏层只是将输入层节点原模原样传递到输出层,而没有任何特征运算,故而需要进行稀疏性处理;
(4)稀疏性限制可以让隐藏层的节点大多处于非激活状态,尽可能的让所有隐含节点输出值的平均值接近于0,促使隐藏层提取输入数据中的有效特征,这样的自编码器称为稀疏自编码器(Sparse Auto-Encoder,简称SAE),其损失函数表达式为:
其中,s为隐藏节点层的节点总数,j取值为[0,s],W, b为损失函数参数,KL一项为KL距离,表示为:
其中为隐藏层节点输出的平均值,求法为:
其中的参数一般取值很小,如0.05,也就是小概率事件;稀疏自编码器要求每个隐藏层节点尽可能的接近0,这样就达到了稀疏的目的;从KL公式中可以看出,隐藏层某个节点与平均输出值差别越大,则KL值越小,对该节点的惩罚越大,因此最终隐藏层节点的输出会统一接近0;
(5)第二部分是LSTM结构,由2层组成,分别是1层隐藏层和1层输出层,该部分的输入为SAE的输出,N’维的向量,通过LSTM的处理来进行人体姿态预测,输出的数据为估计的人体姿态类别,为M维度的向量,该向量中数值为1的类别是最终估计人体姿态,其他类别为0;
SAE作用是提取输入数据的有效成分,降维处理,降低了数据的冗余性,从而可以减轻LSTM的计算负担,避免模型失效,提高整体系统的可靠性;
LSTM用两个门(gate)来控制状态c,门是一个控制输入量能够输出的程度的单元,门的输出是0到1的实数向量;
第一个是遗忘门(forget gate),它决定着上一个时刻的状态有多大程度会保留到当前时刻的Ct;另一个是输入门(input gate),它决定着当前时刻的输入xt,有多大程度会影响到状态Ct;除此之外,LSTM还有一个输出门(output gate),它控制状态Ct中有多大程度会输出到当前时刻的ht
(6)根据典型LSTM的模型单元,从左到右,第一个乘法交叉点是遗忘门,第二个乘法交叉点是输入门,第三个乘法交叉点是输出门,各个门的计算公式如:
(7)在井下同等环境下,分别采集每名下井工人的身高、体重、姿势角向量等参数,依照个人信息参数及压力、角向量传感器数据归一化后得到初始参数:θr,p,y为运算决策设备三轴角向量,θlr,lp,ly为角度采集设备(左大腿)三轴角向量,θrr,rp,ry为角度采集设备(右大腿)三轴角向量,θlc,rc分别为角度采集设备(左右小腿)角向量,θlp1,lp2,lp3,lp4为压力采集设备(左脚底部不同位置)压力值,θrp1,rp2,rp3,rp4为压力采集设备(右脚底部不同位置)压力值;
(8)对算法的训练过程采用Adam算法对网络进行训练;自适应估计算法,简称为Adam(Adaptive Moment Estimation)算法,相比于其他梯度下降算法,它能够在更少内存的情况下保证高效运算,适合与解决对角缩放的不变性和解决大规模数据和参数的优化问题;
具体算法的基本参数包括:
α:学习率(步长),用于控制权重更新的幅度,一般取值为0.001;
β1:一阶矩估计的指数衰减率,一般取值为0.9;
β2:二阶矩估计的指数衰减率,一般取值为0.999,该值应当接近1;
ε:分母上的一个小常数,用于防治出现除0异常,如e-8
θ:初始参数;
m:初始一阶矩估计;
v:初始二阶矩估计;
更新t时刻的关于参数θ的梯度的计算公式为:
更新偏差一阶矩估计的计算公式为:
更新偏差二阶矩估计的计算公式为:
计算偏差修正一阶矩估计的计算公式为:
计算偏差修正二阶矩估计的计算公式为:
更新参数的计算公式为:
(9)本发明软件系统主要有以下几部分组成:采样模块、运算决策模块、中继器模块以及井上监控中心模块;采样模块与运算决策模块由井下人员携带,作为一个整体发挥从数据采集到运算,进而到作出决策并向井上监控中心反馈的基本功能;中继器模块作为传输井下人员编号与姿态估计信息的传输接力设备,一般由井下已经广泛部署的无线或有线通信设备来承担;
(10)运算决策模块软件流程主要包含四个环节,分别是初始化环节、数据接收环节、运算决策环节与决策处理环节;在初始化环节,系统初始化软件应用运行所需要的软件资源,包括配置文件、日志、数据IO端口、硬件驱动检查等;在数据接收环节,系统会检查所有设备(2个压力采集设备和4个角度采集设备)的无线通信端口,如果有设备的通信链路无法建立,运算决策设备将进入非正常启动状态,并通过Zigbee网络主动向上位机(井上监控室)通知非正常启动状态消息;若正常通信链路全部建立,设备将进行一次数据采集,包括脚底压力值和腿部角度值,并做对应标记后建立原始值的数据结构;运算决策环节是实现最复杂的一个环节,该环节实现了基于稀疏自编码器与长短记忆神经网络的算法,然后将上一环节采集到的压力值信息和角度信息传入算法单元,经过算法计算之后,将输出的决策姿态存入文件中;最后一个环节决策处理环节主要工作在于将决策姿态与已有的姿态知识库进行匹配,判断当前的决策姿态是否为异常姿态,比如躺卧姿态应为异常姿态;最后将决策姿态存入设备文件中,记录日志信息,并在可能的条件下通过Zigbee网络上传到上位机(井上监控室);
(11)压力采集模块的软件流程分为三个阶段,分别是初始化阶段、数据采集阶段、数据传递阶段;在初始化阶段,完成硬件初始化和接口初始化,并检查与运算决策设备的Zigbee通信链路是否建立;数据采集阶段,设备调用模数转换模块采集压力应变片的压力值,并通过滤波器滤除异常数据和采样噪声;数据传递阶段将采集到的数据通过Zigbee链路上传到运算决策设备;
(12) 角度采集模块的软件流程与压力采集模块类似,角度采集模块的软件流程也分为初始化阶段、数据采集阶段和数据传递阶段三个阶段,并且每个阶段的操作方法也基本类似;对于角度采集模块来说,由于其传感器是惯性传感器(IMU),采集到的原始数据是三轴加速度值和三轴角速度值,从而无法直接得到角度数据;然而,本系统所选择的惯性传感器内部MCU实现了卡尔曼滤波算法,可以将加速度值和角速度值通过估计算法计算出三轴角度值,并通过欧拉角或四元数的方式传递给角度采集设备的MCU,从而对于我们的应用来讲,不需要了解如何采用卡尔曼滤波得到角度值,只需要直接接收角度值即可。
2.根据权利要求1所述一种基于SAE-LSTM的井下人体姿态监测方法,其特征在于,所述步骤6的公式中,表示乘法交叉运算,是指两个向量中的每个元素都单独相乘;第一个公式是遗忘门的计算,第二个公式是输入门的计算,第三个公式是单纯依靠和来得到的单元状态,第四个公式是结合遗忘门后的当前单元状态,经过遗忘门的控制,信息可以选择性的保留,又由于输入门的参与,只有相关的信息才会主要影响当前时刻的运算;第五个公式是输出门的计算,第六个公式是单元最终的输出。
CN201910439460.7A 2019-05-24 2019-05-24 一种煤矿井下人体姿态监测方法 Pending CN110163347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910439460.7A CN110163347A (zh) 2019-05-24 2019-05-24 一种煤矿井下人体姿态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910439460.7A CN110163347A (zh) 2019-05-24 2019-05-24 一种煤矿井下人体姿态监测方法

Publications (1)

Publication Number Publication Date
CN110163347A true CN110163347A (zh) 2019-08-23

Family

ID=67632526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910439460.7A Pending CN110163347A (zh) 2019-05-24 2019-05-24 一种煤矿井下人体姿态监测方法

Country Status (1)

Country Link
CN (1) CN110163347A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110576336A (zh) * 2019-09-11 2019-12-17 大连理工大学 基于ssae-lstm模型的深孔加工刀具磨损量监测方法
CN111714339A (zh) * 2020-07-15 2020-09-29 西安交通大学 人体下肢运动的脑-肌电融合小世界神经网络预测方法
CN111985610A (zh) * 2020-07-15 2020-11-24 中国石油大学(北京) 一种基于时序数据的抽油机井泵效预测系统和方法
CN112308306A (zh) * 2020-10-27 2021-02-02 贵州工程应用技术学院 一种多模态输入的煤与瓦斯突出危险预测方法
CN112957013A (zh) * 2021-02-05 2021-06-15 江西国科美信医疗科技有限公司 一种动态生命体征信号采集系统、监测装置及设备
CN113343762A (zh) * 2021-05-07 2021-09-03 北京邮电大学 人体姿态估计分组模型训练方法、姿态估计方法及装置
CN114623583A (zh) * 2022-02-28 2022-06-14 青岛海尔空调器有限总公司 矿井空调器安全辅助控制方法、控制装置与空调器
CN117257270A (zh) * 2023-10-26 2023-12-22 北京津发科技股份有限公司 一种生理信号采集方法、系统及可穿戴设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674985A (zh) * 2016-01-28 2016-06-15 中国矿业大学 一种煤矿井下人员便携式组合定位、监测装置及其方法
CN105795571A (zh) * 2016-04-13 2016-07-27 电子科技大学 一种用于外骨骼压力鞋的数据采集系统及方法
CN106325273A (zh) * 2016-08-22 2017-01-11 中国科学院合肥物质科学研究院 助力外骨骼机器人的多相位步态切换控制系统及其控制方法
US20180246873A1 (en) * 2017-02-28 2018-08-30 Cisco Technology, Inc. Deep Learning Bias Detection in Text
CN109088406A (zh) * 2018-06-26 2018-12-25 河海大学常州校区 一种基于lstm神经网络的微电网等效建模方法
CN109376673A (zh) * 2018-10-31 2019-02-22 南京工业大学 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法
CN109412900A (zh) * 2018-12-04 2019-03-01 腾讯科技(深圳)有限公司 一种网络状态识别的方法、模型训练的方法及装置
CN109671433A (zh) * 2019-01-10 2019-04-23 腾讯科技(深圳)有限公司 一种关键词的检测方法以及相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674985A (zh) * 2016-01-28 2016-06-15 中国矿业大学 一种煤矿井下人员便携式组合定位、监测装置及其方法
CN105795571A (zh) * 2016-04-13 2016-07-27 电子科技大学 一种用于外骨骼压力鞋的数据采集系统及方法
CN106325273A (zh) * 2016-08-22 2017-01-11 中国科学院合肥物质科学研究院 助力外骨骼机器人的多相位步态切换控制系统及其控制方法
US20180246873A1 (en) * 2017-02-28 2018-08-30 Cisco Technology, Inc. Deep Learning Bias Detection in Text
CN109088406A (zh) * 2018-06-26 2018-12-25 河海大学常州校区 一种基于lstm神经网络的微电网等效建模方法
CN109376673A (zh) * 2018-10-31 2019-02-22 南京工业大学 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法
CN109412900A (zh) * 2018-12-04 2019-03-01 腾讯科技(深圳)有限公司 一种网络状态识别的方法、模型训练的方法及装置
CN109671433A (zh) * 2019-01-10 2019-04-23 腾讯科技(深圳)有限公司 一种关键词的检测方法以及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李琦等: "长短时记忆网络在热力站建模中的应用", 《计算机工程与应用》 *
陈超强等: "基于SAE和LSTM的下肢外骨骼步态预测方法", 《计算机工程与应用》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110576336A (zh) * 2019-09-11 2019-12-17 大连理工大学 基于ssae-lstm模型的深孔加工刀具磨损量监测方法
CN111714339A (zh) * 2020-07-15 2020-09-29 西安交通大学 人体下肢运动的脑-肌电融合小世界神经网络预测方法
CN111985610A (zh) * 2020-07-15 2020-11-24 中国石油大学(北京) 一种基于时序数据的抽油机井泵效预测系统和方法
CN111985610B (zh) * 2020-07-15 2024-05-07 中国石油大学(北京) 一种基于时序数据的抽油机井泵效预测系统和方法
CN112308306A (zh) * 2020-10-27 2021-02-02 贵州工程应用技术学院 一种多模态输入的煤与瓦斯突出危险预测方法
CN112957013A (zh) * 2021-02-05 2021-06-15 江西国科美信医疗科技有限公司 一种动态生命体征信号采集系统、监测装置及设备
CN112957013B (zh) * 2021-02-05 2022-11-11 江西国科美信医疗科技有限公司 一种动态生命体征信号采集系统、监测装置及设备
CN113343762A (zh) * 2021-05-07 2021-09-03 北京邮电大学 人体姿态估计分组模型训练方法、姿态估计方法及装置
CN113343762B (zh) * 2021-05-07 2022-03-29 北京邮电大学 人体姿态估计分组模型训练方法、姿态估计方法及装置
CN114623583A (zh) * 2022-02-28 2022-06-14 青岛海尔空调器有限总公司 矿井空调器安全辅助控制方法、控制装置与空调器
CN114623583B (zh) * 2022-02-28 2023-12-15 青岛海尔空调器有限总公司 矿井空调器安全辅助控制方法、控制装置与空调器
CN117257270A (zh) * 2023-10-26 2023-12-22 北京津发科技股份有限公司 一种生理信号采集方法、系统及可穿戴设备

Similar Documents

Publication Publication Date Title
CN110163347A (zh) 一种煤矿井下人体姿态监测方法
CN110123334A (zh) 一种煤矿井下人体姿态监测系统
WO2019084312A1 (en) WORKER MONITORING AND SAFETY SYSTEM
CN103976739B (zh) 穿戴式摔倒动态实时检测方法和装置
CN108245172B (zh) 一种不受位置约束的人体姿态识别方法
CN108509897A (zh) 一种人体姿态识别方法和系统
CN108958482B (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
Pan et al. Human falling detection algorithm based on multisensor data fusion with SVM
CN110236550B (zh) 一种基于多模态深度学习的人体步态预测装置
Zhao et al. Recognition of human fall events based on single tri-axial gyroscope
CN108683724A (zh) 一种智能儿童安全及步态健康监护系统
Qian et al. Development of a real-time wearable fall detection system in the context of Internet of Things
CN105726034B (zh) 基于摔倒报警与跟踪定位功能的腕表式智能养老看护平台
CN103680063A (zh) 基于手机加速度计和陀螺仪的老年人异常情况判定方法
CN104763463A (zh) 一种煤矿井下智能个人安全系统
CN105303183A (zh) 一种基于穿戴设备的儿童姿态识别分析系统和方法
CN104297519A (zh) 人体运动姿态识别方法和移动终端
Shi et al. Fall detection system based on inertial mems sensors: Analysis design and realization
Peng et al. Locomotion prediction for lower limb prostheses in complex environments via sEMG and inertial sensors
CN106650300A (zh) 一种基于极限学习机的老人监护系统及方法
CN204532421U (zh) 一种煤矿井下智能个人安全系统
CN106647265A (zh) 一种矿井救灾探测机器人的智能控制方法
CN103632133B (zh) 人体姿态识别方法
CN117036082B (zh) 一种智慧矿山管理系统及方法
Ning et al. Fall detection algorithm based on gradient boosting decision tree

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190823