CN112149613A - 一种基于改进lstm模型的动作预估评定方法 - Google Patents
一种基于改进lstm模型的动作预估评定方法 Download PDFInfo
- Publication number
- CN112149613A CN112149613A CN202011083996.9A CN202011083996A CN112149613A CN 112149613 A CN112149613 A CN 112149613A CN 202011083996 A CN202011083996 A CN 202011083996A CN 112149613 A CN112149613 A CN 112149613A
- Authority
- CN
- China
- Prior art keywords
- human body
- model
- channel
- body posture
- improved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 7
- 230000009471 action Effects 0.000 claims abstract description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000002680 cardiopulmonary resuscitation Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 24
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 208000014221 sudden cardiac arrest Diseases 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Percussion Or Vibration Massage (AREA)
- Image Analysis (AREA)
Abstract
一种基于改进LSTM模型的动作预估评定方法，它包括如下步骤：步骤一，采集T‑1时刻的人体姿态节点的17个数据点，经过姿态预测模型，输出下一时刻人体姿态的预测值；步骤二，T时刻视频帧经过HRNet，输出人体姿态的观测数据；步骤三，将T时刻人体姿态的观测数据与人体姿态节点预测数据，经过无迹卡尔曼滤波器滤波，得到精度更高的T时刻人体姿态节点数据。本发明根据所获得的实时的按压深度、按压部位和按压频率，绘制动态曲线图，从而可以识别并预测按压动作。而且增加注意力机制模型，使得改进后的HRNet用于心肺复苏按压动作过程中的人体姿态检测，以及为心肺复苏医学考核中假人胸部，头部等实例分割模型提供精确的主干网络，提高了模型的检测精度。
Description
技术领域
本发明涉及一种改进型算法，具体地说是涉及一种基于改进LSTM模型的动作预估评定方法。
背景技术
心脏骤停严重威胁人们的生命健康，开展优质的心肺复苏（CPR,cardiopulmonary resuscitation）可显著提升患者存活率，同时也是挽救患者生命的重要手段。美国心脏协会（AHA, American Heart Association）和国际复苏联络委员会（ILCOR,International Liaision Committee on Resuscitation）将高质量的心肺复苏术作为复苏的核心。目前常规的心肺复苏训练、考核方式为应用医学模拟人并由裁判打分评判。这样做存在几个弊端，比如考官评判主观性强，不够客观；在考核评判过程中考生具体的按压深度、频率等均依赖模拟人本身的质量条件，考官很难评判；训练过程中学员需要考官时时监督配合来纠正和提高自身的操作，大量消耗培训和考核的人力成本等等。
现有技术在获取了考生的按压图像之后，由于按压动作是一个动态过程，无法根据按压图像判断考生按压姿态是否合格，这就给自动评判带来了困难。
同时，由于按压动作是一个动态过程，动作是连贯性的，所以在识别当前动作姿态的同时，预估下一时刻的动作状态是非常重要的。
发明内容
本发明要解决的技术问题是：提供一种基于改进LSTM模型的动作预估评定方法。
为解决上述技术问题，本发明采用以下技术方案：
一种基于改进LSTM模型的动作预估评定方法，其特征在于：它包括如下步骤：
步骤一，采集T-1时刻的人体姿态节点的17个数据点，经过姿态预测模型，输出下一时刻人体姿态的预测值，即T时刻人体姿态节点预测数据；
步骤二，T时刻视频帧经过HRNet，输出人体姿态的观测数据；
步骤三，将T时刻人体姿态的观测数据与人体姿态节点预测数据，经过无迹卡尔曼滤波器UKF滤波，得到精度更高的T时刻人体姿态节点数据。
所述姿态预测模型包括如下步骤：
（1），实时获取心肺复苏按压过程中的视频帧；
（2），根据不同视频帧之间的相互关系，加入注意力机制，设i时刻的视频帧所提取的骨姿态节点为xi，按压动作状态为hi prev，则
其中Qi和Ri为实现骨姿态节点为xi和按压动作状态为hi prev交互所设置的矩阵，σ代表Sigmoid函数，r为超参数，表示采用多少帧图片所提取的特征；
（3），对LSTM模型进行改进，改进的模型如下：
其中，li和lj均代表各个项的权重，为网络学习的参数，初始化为li =1/n，n代表所进行计算的图像帧数，j代表第j帧图像所提取特征，i代表第i帧图像所提取特征；
经过注意力机制，增强输入x和模型状态hi prev，最终使上下帧之间有更加丰富的交互表示，从而提高模型的检测精度；
（4），根据增强后的视频帧xi和按压动作状态hj prev，识别心肺复苏动作情况。
所述心肺复苏动作情况包括按压深度、按压部位和按压频率。
所述的HRNet模型为：当输入F作为输入特征图input feature map时，增加注意力机制模块attention block，并对注意力机制模块attention block进行以下2个操作：
M c 表示在通道维度上做注意力提取的操作，即建立通道注意力机制模型，M s 表示的是在空间维度上做注意力提取的操作，即建立空间注意力机制模型。
通道注意力机制模型为：原始特征图Xin 经过卷积核大小分别为3X3，5X5的卷积操作，得到特征图U和特征图V，然后相加得到特征图F，特征图F融合多个感受野的信息，其形状为[C,H,W]，其中，C代表通道，H代表高度，W代表宽度，然后沿着H和W维度求平均值和极大值，通过两个pooling函数以后总共得到两个一维矢量；然后对两个一维矢量进行元素相加，最终得到了关于通道的信息是一个1×1×C的一维向量，代表的是各个通道的信息的重要程度；对1×1×C一维向量进行一个线性变换，将原来的C维映射成Z维的信息，然后将映射成Z维的一维向量再分别使用了2个线性变换，从Z维变为原来的C维，从而完成了针对通道维度的信息提取，然后使用Softmax进行归一化，这时候每个通道对应一个分数，代表该通道的重要程度，这相当于一个mask；将这2个分别得到的mask分别乘以对应的特征图U,V，得到特征图U’,V’；然后对特征图U’和V’这2个模块相加，进行信息融合，得到最终模块Xout。
空间注意力机制模型为：输入原始特征图Xin经过池化特征Pooling Feature，其中池化特征Pooling Feature 包含3个池化层，分别是平均池化, 最大池化和条纹池化，池化特征Pooling Feature经过1X1的卷积操作，实现通道降维，得到通道数为1的特征图，该特征图经过Sigmoid函数，与输入原始特征图 Xin进行逐元素分别进行点乘，得到输出Xout。
采用上述技术方案的本发明，具有以下有益效果：
1、利用改进后的LSTM模型，对视频帧xi和按压动作状态hj prev进行增强，根据所获得的实时的按压深度、按压部位和按压频率，绘制动态曲线图，从而可以识别并预测按压动作。
2、本发明在原有的HRnet模型基础之上，增加注意力机制模型，使得改进后的HRNet用于心肺复苏按压动作过程中的人体姿态检测，以及为心肺复苏医学考核中假人胸部，头部等实例分割模型提供精确的主干网络，提高了模型的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的原理图。
图2为原始LSTM模型图。
图3为本发明改进型LSTM模型图。
图4为原始HRnet模型。
图5为本发明改进型HRnet模型图。
图6为本发明通道注意力机制模型图。
图7为空间注意力机制模型图。
图8为改进后的HRnet整体结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
应该指出，以下详细说明都是例式性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的技术含义相同。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
在心肺复苏按压动作过程中，考生对医学模拟人实施按压动作，其中，按压位置、按压频率、按压幅度等等按压姿态的识别，是考核的重点。因此，动态识别考生的人体姿态骨节点，有利于便于自动识别按压姿态。
如图1所示，一种基于改进LSTM模型的动作预估评定方法，它包括如下步骤：
步骤一，采集T-1时刻的人体姿态节点的17个数据点，经过姿态预测模型，输出下一时刻人体姿态的预测值，即T时刻人体姿态节点预测数据；
步骤二，T时刻视频帧经过HRNet，输出人体姿态的观测数据；
步骤三，将T时刻人体姿态的观测数据与人体姿态节点预测数据，经过无迹卡尔曼滤波器UKF滤波，得到精度更高的T时刻人体姿态节点数据。
姿态预测模型有7层LSTM模型组成，由于CPR所考核的动作流程相对固定，在特定的时间段内考生所做动作符合一定的规律性，因此预测有一定精度。
如图2所示，原始LSTM模型，LSTM是一种含有LSTM区块（blocks）或其他的一种类神经网络，LSTM区块可能被描述成智能网络单元，因为它可以记忆不定时间长度的数值，区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。
图2中包括四个S函数单元，输入ht-1和Xt依次输入至最左边函数Forget Gate和函数Input Gate，函数Forget Gate运算输出值输出至函数Input Gate，函数Input Gate输出值输出至函数Output Gate，函数Output Gate输出ht。输入Ct-1与函数Forget Gate输出值与相乘，然后与函数Input Gate的输出值相加，最后经过函数Output Gate输出为Ct。
本发明对上述模型进行改进，一种基于改进LSTM模型的按压动作识别方法，它包括如下步骤：
（1），实时获取心肺复苏按压过程中的视频帧；
（2），根据不同视频帧之间的相互关系，加入注意力机制，设i时刻的视频帧为xi，按压动作状态为hi prev，则
其中，Qi和Ri为实现骨姿态节点为xi和按压动作状态为hi prev交互所设置的矩阵，σ代表Sigmoid函数，r为超参数，表示采用多少帧图片所提取的特征；
（3），对LSTM模型进行改进，改进的模型如下：
其中，li和lj均代表各个项的权重，为网络学习的参数，初始化为li=1/n，n代表所进行计算的图像帧数，j代表第j帧图像所提取特征，i代表第i帧图像所提取特征；
经过注意力机制，增强输入x和状态hi prev，最终使上下帧之间有更加丰富的交互表示，从而提高模型的检测精度。
（4），根据增强后的视频帧xi和按压动作状态hj prev，识别心肺复苏动作情况。上述识别可以采用图像识别等现有方法。
所述心肺复苏动作情况包括按压深度、按压部位和按压频率。根据所获得的实时的按压深度、按压部位和按压频率，绘制动态曲线图，从而可以识别并预测按压动作。
本发明将HRNet用于心肺复苏按压动作过程中的人体姿态检测，以及心肺复苏医学考核中假人胸部，头部等实例分割模型的主干网络的检测，为了提高模型的精度，对HRNet进行了优化改进。
如图4所示，在原始的HRNet中，共有4个阶段，第2、3、4阶段均为重复的多分辨率模块（modularized multi-resolution blocks）。在每个多分辨率模块之前，有一个交换层（Translation layer），该层才会出现额外的特征图。而多分辨率模块（多分辨率分组卷积+多分辨率卷积）没有额外的特征图出现。本发明对HRNet进行改进优化，提高其检测精度。在从多分辨率群卷积group conv到多分辨率卷积conv的卷积过程中，加入注意力机制模块attention block，以提升网络模型的特征表达能力。注意力机制不止能告诉网络模型该注意什么，同时也能增强特定区域的表征。其结构如图2所示，整体框架参考：CBAM:Convolutional Block Attention Module。
在图5中，在通道和空间两个维度上引入了注意力机制，当输入F作为输入特征图input feature map时，增加注意力机制模块attention block，注意力机制模块attentionblock 对其进行以下2个操作：
输出为F’，M c 表示在通道channel维度上做注意力提取的操作，即建立通道注意力机制模型，M s 表示的是在空间spatial维度上做注意力提取的操作，即建立空间注意力机制模型。
通道注意力机制模型具体为，如图6所示，原始特征图feature map Xin 经过卷积核大小kernel size分别为3X3，5X5的卷积操作，得到U特征图和V特征图，然后将U特征图和V特征图相加得到特征图F，特征图F融合多个感受野的信息，其形状为[C,H,W]，其中，C代表通道channel，H代表高度height，W代表宽度width，然后沿着H和W维度求平均值和极大值，通过两个pooling函数以后总共可以得到两个一维矢量，global average pooling对特征图F（feature map）上的每一个像素点都有反馈，而global max pooling在进行梯度反向传播计算只有特征图F（feature map）中响应最大的地方有梯度的反馈，能作为globalaverage pooling的一个补充。然后进行元素相加，最终得到了关于通道channel的信息是一个1×1×C的一维向量，代表的是各个通道的信息的重要程度。
之后对1×1×C一维向量进行一个线性变换，将原来的C维映射成Z维的信息，然后将映射成Z维的一维向量再分别使用了2个线性变换，从Z维变为原来的C，这样完成了针对通道channel维度的信息提取，然后使用Softmax进行归一化，这时候每个通道对应一个分数，代表其通道channel的重要程度，这相当于一个mask。将这2个分别得到的mask分别乘以对应的特征图U,V，得到特征图U’,V’。然后特征图U’和V’这2个模块相加，进行信息融合，得到最终模块Xout，最终模块Xout相比于最初的原始特征图feature map Xin经过了信息的提炼，融合了多个感受野的信息。
考虑到人体关节点的长距离相关性，空间注意力机制模型需有效捕远程上下文信息。整体的注意力机制模型如图7所示：
原始特征图输入Xin经过池化特征Pooling Feature，其中池化特征Pooling Feature包含3个池化层，分别是平均池化average pooling, 最大池化max pooling和条纹池化Strip pooling，条纹池化Strip pooling参考Strip Pooling: Rethinking SpatialPooling for Scene Parsing论文，发表于2020年，关于计算机视觉与模式识别IEEE 学会会议，发表人：侯祁斌，张丽，程明明，冯佳诗，主要解决目标远距离相关的问题。池化特征Pooling Feature经过1X1的卷积操作，实现通道降维，得到通道数为1的特征图Featuremap，该特征图Feature map经过Sigmoid函数，与输入的原始特征图Feature map Xin 进行element-wise的点乘，得到输出X out。
经过改进后的HRNet整体结构如图8所示：
Channel maps 与Attention Block之间是直接连接，没有Upsample和Strided conv模块。
UKF无迹卡尔曼滤波是在卡尔曼滤波和变换的基础上发展而来的，它是利用无损变换使线性假设下的卡尔曼滤波应用于非线性系统，UT变换计算均值和协方差，通过含有均值和协方差的确定的点集（称作sigma points）来近似概率分布，通过系统的非线性模型，产生繁衍的sigma point，经过选择合适的权值估计均值和协方差。避免了求解雅克比矩阵。这种方法把系统当作“黑盒”来处理，因而不依赖于非线性的具体形式。UKF和EKF计算复杂度相当，但是UKF具有更高的估计精度，满足了具有各种特殊要求的非线性滤波和控制方面的应用，在实现上也比EKF更为简单。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种基于改进LSTM模型的动作预估评定方法，其特征在于：它包括如下步骤：
步骤一，采集T-1时刻的人体姿态节点的17个数据点，经过姿态预测模型，输出下一时刻人体姿态的预测值，即T时刻人体姿态节点预测数据；
步骤二，T时刻视频帧经过HRNet，输出人体姿态的观测数据；
步骤三，将T时刻人体姿态的观测数据与人体姿态节点预测数据，经过无迹卡尔曼滤波器UKF滤波，得到精度更高的T时刻人体姿态节点数据。
2.根据权利要求1所述的基于改进LSTM模型的动作预估评定方法，其特征在于：所述姿态预测模型包括如下步骤：
（1），实时获取心肺复苏按压过程中的视频帧；
（2），根据不同视频帧之间的相互关系，加入注意力机制，设i时刻的视频帧所提取的骨姿态节点为xi，按压动作状态为hi prev，则
其中Qi和Ri为实现骨姿态节点为xi和按压动作状态为hi prev交互所设置的矩阵，σ代表Sigmoid函数，r为超参数，表示采用多少帧图片所提取的特征；
（3），对LSTM模型进行改进，改进的模型如下：
其中，li和lj均代表各个项的权重，为网络学习的参数，初始化为li =1/n，n代表所进行计算的图像帧数，j代表第j帧图像所提取特征，i代表第i帧图像所提取特征；
（4），根据增强后的视频帧xi和按压动作状态hj prev，识别心肺复苏动作情况。
3.根据权利要求2所述的基于改进LSTM模型的动作预估评定方法，其特征在于：所述心肺复苏动作情况包括按压深度、按压部位和按压频率。
4.根据权利要求1所述的基于改进LSTM模型的动作预估评定方法，其特征在于：所述的HRNet模型为：当输入F作为输入特征图时，增加注意力机制模块，并对注意力机制模块进行以下2个操作：
M c 表示在通道维度上做注意力提取的操作，即建立通道注意力机制模型，M s 表示的是在空间维度上做注意力提取的操作，即建立空间注意力机制模型。
5.根据权利要求4所述的基于改进LSTM模型的动作预估评定方法，其特征在于：所述的通道注意力机制模型为：原始特征图Xin 经过卷积核大小分别为3X3，5X5的卷积操作，得到特征图U和特征图V，然后相加得到特征图F，特征图F融合多个感受野的信息，其形状为[C,H,W]，其中，C代表通道，H代表高度，W代表宽度，然后沿着H和W维度求平均值和极大值，通过两个pooling函数以后总共得到两个一维矢量；然后对两个一维矢量进行元素相加，最终得到了关于通道的信息是一个1×1×C的一维向量，代表的是各个通道的信息的重要程度；对1×1×C一维向量进行一个线性变换，将原来的C维映射成Z维的信息，然后将映射成Z维的一维向量再分别使用了2个线性变换，从Z维变为原来的C维，从而完成了针对通道维度的信息提取，然后使用Softmax进行归一化，这时候每个通道对应一个分数，代表该通道的重要程度，这相当于一个mask；将这2个分别得到的mask分别乘以对应的特征图U,V，得到特征图U’,V’；然后对特征图U’和V’这2个模块相加，进行信息融合，得到最终模块Xout。
6.根据权利要求4所述的基于改进LSTM模型的动作预估评定方法，其特征在于：空间注意力机制模型为：输入原始特征图Xin经过池化特征，其中池化特征包含3个池化层，分别是平均池化, 最大池化和条纹池化，池化特征经过1X1的卷积操作，实现通道降维，得到通道数为1的特征图，该特征图经过Sigmoid函数，与输入原始特征图 Xin 进行逐元素分别进行点乘，得到输出Xout。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011083996.9A CN112149613B (zh) | 2020-10-12 | 2020-10-12 | 一种基于改进lstm模型的动作预估评定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011083996.9A CN112149613B (zh) | 2020-10-12 | 2020-10-12 | 一种基于改进lstm模型的动作预估评定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112149613A true CN112149613A (zh) | 2020-12-29 |
| CN112149613B CN112149613B (zh) | 2024-01-05 |
Family
ID=73951459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011083996.9A Active CN112149613B (zh) | 2020-10-12 | 2020-10-12 | 一种基于改进lstm模型的动作预估评定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149613B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011304A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 一种基于注意力多分辨率网络的人体姿态估计方法及系统 |
| WO2023016385A1 (zh) * | 2021-08-10 | 2023-02-16 | 华为技术有限公司 | 一种音频数据的处理方法、装置、移动设备以及音频系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101964047A (zh) * | 2009-07-22 | 2011-02-02 | 深圳泰山在线科技有限公司 | 一种基于多跟踪点的人体动作识别方法 |
| US20150194074A1 (en) * | 2014-01-08 | 2015-07-09 | Industrial Technology Research Institute | Cardiopulmonary resuscitation teaching system and method |
| US20180047389A1 (en) * | 2016-08-12 | 2018-02-15 | Electronics And Telecommunications Research Institute | Apparatus and method for recognizing speech using attention-based context-dependent acoustic model |
| CN108363978A (zh) * | 2018-02-12 | 2018-08-03 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
| CN110135249A (zh) * | 2019-04-04 | 2019-08-16 | 华南理工大学 | 基于时间注意力机制和lstm的人体行为识别方法 |
| CN110197235A (zh) * | 2019-06-28 | 2019-09-03 | 浙江大学城市学院 | 一种基于独特性注意力机制的人体活动识别方法 |
| CN111242113A (zh) * | 2020-01-08 | 2020-06-05 | 重庆邮电大学 | 一种任意方向自然场景文本识别方法 |
| CN111476184A (zh) * | 2020-04-13 | 2020-07-31 | 河南理工大学 | 一种基于双注意力机制的人体关键点检测方法 |
-
2020
- 2020-10-12 CN CN202011083996.9A patent/CN112149613B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101964047A (zh) * | 2009-07-22 | 2011-02-02 | 深圳泰山在线科技有限公司 | 一种基于多跟踪点的人体动作识别方法 |
| US20150194074A1 (en) * | 2014-01-08 | 2015-07-09 | Industrial Technology Research Institute | Cardiopulmonary resuscitation teaching system and method |
| US20180047389A1 (en) * | 2016-08-12 | 2018-02-15 | Electronics And Telecommunications Research Institute | Apparatus and method for recognizing speech using attention-based context-dependent acoustic model |
| CN108363978A (zh) * | 2018-02-12 | 2018-08-03 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
| CN110135249A (zh) * | 2019-04-04 | 2019-08-16 | 华南理工大学 | 基于时间注意力机制和lstm的人体行为识别方法 |
| CN110197235A (zh) * | 2019-06-28 | 2019-09-03 | 浙江大学城市学院 | 一种基于独特性注意力机制的人体活动识别方法 |
| CN111242113A (zh) * | 2020-01-08 | 2020-06-05 | 重庆邮电大学 | 一种任意方向自然场景文本识别方法 |
| CN111476184A (zh) * | 2020-04-13 | 2020-07-31 | 河南理工大学 | 一种基于双注意力机制的人体关键点检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| GÁBOR MELIS 等: "Mogrifier LSTM", 《ARXIV:1909.01792V2 [CS.CL]》 * |
| SANGHYUN WOO 等: "CBAM: Convolutional Block Attention Module", 《ECCV 2018: COMPUTER VISION – ECCV 2018》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011304A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 一种基于注意力多分辨率网络的人体姿态估计方法及系统 |
| WO2023016385A1 (zh) * | 2021-08-10 | 2023-02-16 | 华为技术有限公司 | 一种音频数据的处理方法、装置、移动设备以及音频系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112149613B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022036777A1 (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN111582483B (zh) | 基于空间和通道联合注意力机制的无监督学习光流估计方法 | |
| CN112395945A (zh) | 基于骨骼关节点的图卷积行为识别方法及装置 | |
| CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
| CN116012950B (zh) | 一种基于多重心时空注意图卷积网络的骨架动作识别方法 | |
| CN112270213A (zh) | 一种基于注意力机制的改进HRnet | |
| CN112766165B (zh) | 基于深度神经网络与全景分割的跌倒预判方法 | |
| CN113688862B (zh) | 一种基于半监督联邦学习的脑影像分类方法及终端设备 | |
| CN113688765B (zh) | 一种基于注意力机制的自适应图卷积网络的动作识别方法 | |
| CN112149613A (zh) | 一种基于改进lstm模型的动作预估评定方法 | |
| CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
| CN114842542B (zh) | 基于自适应注意力与时空关联的面部动作单元识别方法及装置 | |
| CN117671787A (zh) | 一种基于Transformer的康复动作评估方法 | |
| CN116052254A (zh) | 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法 | |
| CN112183419A (zh) | 一种基于光流生成网络和重排序的微表情分类方法 | |
| CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
| CN116246338B (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 | |
| CN114882493A (zh) | 一种基于图像序列的三维手部姿态估计与识别方法 | |
| CN117115911A (zh) | 一种基于注意力机制的超图学习动作识别系统 | |
| CN116631064A (zh) | 基于关键点与网格顶点互补增强的3d人体姿态估计方法 | |
| CN115909016A (zh) | 基于GCN分析fMRI图像的系统、方法、电子设备及介质 | |
| CN115424337A (zh) | 基于先验引导的虹膜图像修复系统 | |
| CN114898304A (zh) | 一种车辆追踪方法、装置、路侧设备及网络侧设备 | |
| CN112861699A (zh) | 一种基于单张深度图像和多阶段神经网络的任意姿势人体身高估计方法 | |
| CN112329562A (zh) | 一种基于骨架特征及切片循环神经网络的人体交互动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |