CN110717381A - 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法 - Google Patents

面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法 Download PDF

Info

Publication number
CN110717381A
CN110717381A CN201910803009.9A CN201910803009A CN110717381A CN 110717381 A CN110717381 A CN 110717381A CN 201910803009 A CN201910803009 A CN 201910803009A CN 110717381 A CN110717381 A CN 110717381A
Authority
CN
China
Prior art keywords
human
lstm
network
lstm network
motion sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910803009.9A
Other languages
English (en)
Inventor
高晓珊
严亮
和壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing University of Aeronautics and Astronautics
Original Assignee
Beijing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Aeronautics and Astronautics filed Critical Beijing University of Aeronautics and Astronautics
Priority to CN201910803009.9A priority Critical patent/CN110717381A/zh
Publication of CN110717381A publication Critical patent/CN110717381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提出面向人机协作的基于深度堆叠Bi‑LSTM的人类意图理解方法，属于机器人控制技术领域。包括：步骤一，采集基于人体骨架节点信息的运动序列；步骤二，对采集的人体运动序列，进行数据预处理；步骤二，利用预处理后的数据对深度堆叠的双向LSTM网络进行模型训练；步骤三、利用步骤二处理后的数据输入深度堆叠Bi‑LSTM的网络进行训练，使深度堆叠Bi‑LSTM网络捕获基于人体骨架节点信息的人体运动序列的数据特征。步骤四，利用深度堆叠双向LSTM的网络模型进行测试。本发明提出了一种端到端的基于人体骨架信息的运动序列的人体意图理解方法，基于深度堆叠的双向LSTM的模型，意图理解的效果更好，精度更准确。

Description

面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法
技术领域
本发明属于机器人控制技术领域，涉及一种面向人机协作的基于深度堆叠的双向长短期记忆网络(Bi-directional Long Short-Term Memory，简称Bi-LSTM)的人类意图理解方法。
背景技术
随着机器人智能化程度的提高、柔性机器人技术的发展，以及机器人与人类合作完成任务的需求愈加强烈，机器人应用朝着人机协作的方向发展。为实现安全高效的人机协作，需要机器人及时对人的动作做出预测，实现机器人对人的行为意图理解和深层人机交互，从而保证人机协同作业的高效性。传统基于统计学的方法，如隐马尔可夫模型(HMM)、动态贝叶斯网络、支持向量机等方法，均是基于概率论的方法来进行人体行为意图预测与理解的。
随着深度学习的发展，循环神经网络(Recurrent Neural Network，简称RNN)及其变体，在执行特征学习和长期时间依赖性建模方面虽然已经取得了某些成果，但意图理解效果仍然不够理想，这限制了其在序列建模方面的应用。如参考文献[1](Z.Yu andM.Lee.”Human motion based intent recognition using a deep dynamic neuralmodel,”Robotics and Autonomous Systems,vol.71,pp.134-149,Sep.2015.)提出了监督多尺度循环神经网络方法；如参考文献[2](S.Kim,Z.Yu and M.Lee.”Understandinghuman intention by connecting perception and action learning in artificialagents,”Neural Networks,vol.92,pp.29-38,Aug.2017.)提出了目标增强监督多尺度递归神经网络；如参考文献[3](O.Steven Eyobu and D.Han,”Feature Representation andData Aug-mentation for Human Activity Classification Based on Wearable IMUSensor Data Using a Deep LSTM Neural Network,”Sensors,vol.18,no.9,2892,2018.)提出了深度长短时记忆神经网络；这三种方法中均只能利用前向数据来进行意图理解，并未考虑到未来的数据信息。
发明内容
针对目前人机协作中机器人对人的行为意图理解效果不够理想的问题，本发明提出一种面向人机协作的基于深度堆叠双向LSTM的人类意图理解方法。由于双向LSTM神经网络结合了双向RNN与LSTM，拥有前向两个不同方向的并行层，因此双向LSTM既能保存前面的信息，也能同时考虑到未来的信息。此外，通过堆叠的网络结构来增加网络的深度，提高其在意图理解方面的性能。
本发明的面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法，通过运动捕捉系统采集人体运动序列，人体运动序列是骨架节点的位置随时间变化的序列，然后通过下面步骤实现人体行为意图预测与理解。
步骤一，对采集的人体运动序列进行数据预处理，包括：进行卡尔曼滤波，通过动态时间规整进行人体运动序列对齐；
步骤二，利用预处理后的数据对深度堆叠的双向LSTM网络进行模型训练；所述的深度堆叠的Bi-LSTM网络包含多个隐藏层，每个隐藏层为双向的LSTM网络，将人体骨架节点位置作为每一个隐藏层的双向LSTM网络的一个输入，前一个隐藏层的输出作为后一个隐藏层的一个输入，深度堆叠的Bi-LSTM网络的输出为预测的人体骨架节点位置，即下一步的人体运动；
步骤三、利用训练好的深度堆叠双向LSTM的网络模型进行预测；采集人体运动序列，并执行步骤一中的预处理，然后输入训练好的模型进行预测，输出预测的人体运动，来确定人类意图。
本发明与现有技术相比，具有以下优势：
(1)本发明基于深度堆叠的双向LSTM的模型包含多个隐藏层，前层的输出作为后层网络的输入。本发明方法既能利用前向数据信息，也能同时考虑到未来的数据信息，双向LSTM结构有助于挖掘前后特征之间的联系，深度堆叠的神经网络结构有助于丰富网络学习的特征集，提高意图理解的精度，相对于现有只利用前向数据进行意图理解的方法，意图理解的效果更好，精度更准确。
(2)本发明在人机协作时，基于Kinect采集人机骨架节点信息，无需进行标志点，易操作。
(3)本发明方法在实践中发现，当深度堆叠Bi-LSTM网络包含两层隐藏Bi-LSTM网络时能更好地理解人类意图，甚至仅使用了40％的人体观测运动序列时就能够理解人类意图。
附图说明
图1是本发明基于深度堆叠双向LSTM网络的人类意图理解方法的流程图；
图2是本发明基于Kinect的人体骨架节点信息图；
图3是本发明LSTM网络单元示意图；
图4是本发明双向LSTM网络单元示意图；
图5是本发明基于深度堆叠双向LSTM网络算法示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。
为了实现安全与高效的人机协作，要求机器人主动、智能地识别操作人员的意图，本发明使用一种基于深度堆叠双向长期短期记忆的递归神经网络来研究人类行为意图理解。首先，基于视觉系统的运动捕捉系统(Kinect)来采集人机协作时人体的运动序列，使用人体骨架追踪技术获取人体的骨架节点信息；其次，将人体的骨架节点信息输入基于深度堆叠Bi-LSTM的模型，该模型包含多个隐藏层，前层的输出作为后层网络的输入。通过以上步骤实现以人体运动序列的骨架节点信息关系来预测人体未来的动作，实现人类行为意图理解的目的。Bi-LSTM结构有助于挖掘前后特征之间的联系，深度堆叠的神经网络结构有助于丰富网络学习的特征集，提高意图理解的精度。当深度堆叠Bi-LSTM网络包含两层隐藏Bi-LSTM网络时能更好地理解人类意图，甚至仅使用了40％的人体观测运动序列时就能够理解人类意图。
如图1所示，本发明的面向人机协作的基于深度堆叠Bi-LSTM的意图理解方法，主要分为网络训练与网络测试两部分。网络训练包括：数据采集，数据预处理，深度堆叠Bi-LSTM模型训练。网络测试是利用训练好的模型来得到预测结果。下面分四个步骤来说明本发明的具体实现。
步骤一，采集基于人体骨架节点信息的运动序列。
本发明实施例中利用视觉运动捕捉系统Kinect的深度视频采集人体骨架节点信息的运动序列。使用Kinect的人体骨架追踪功能获取人体骨架节点的三维坐标位置，本实施例中基于Kinect获取如图2所示的20个人体关节节点，即设置人体骨架节点个数m＝20，得到人体m个骨架节点的三维坐标数据集S＝[s1,s2,…sj,…sm]，数据集S中的第j个骨架节点的坐标位置sj＝[aj,bj,zj]，aj,bj,zj为第j个人体骨架节点的三维直角坐标。随时间采集人体骨架节点的位置运动序列。
步骤二，对采集的人体运动序列，进行数据预处理，以提高网络训练与测试所使用数据集的有效性。具体地数据预处理过程包括以下步骤201和202。
步骤201，对人体运动序列进行卡尔曼滤波处理。
由于基于Kinect的人体骨架节点信息偶尔在帧与帧之间会出现跳跃式的变化，这将非常不利于机器人后期对人类意图的理解和分析，因此必须对采集到的原始人体骨架节点数据进行处理。将采集的原始人体骨架节点数据形成系统状态，以向量形式存储。本发明实施例中采用公式(1)和公式(2)，对采集到的原始人体骨架节点数据进行卡尔曼滤波处理：
ut＝Atut-1+wt (1)
qt＝Htut+vt (2)
其中，ut是t时刻的系统状态，At为t时刻状态转移矩阵，ut-1表示t-1时刻的系统状态，wt表示t时刻系统过程的噪声；qt表示t时刻的系统状态的观测值，Ht表示t时刻观测值与状态的关系，vt表示t时刻观测过程中产生的噪声。
步骤202，将步骤201处理后的数据通过动态时间规整(Dynamic Time Warping，简称DTW)进行人体运动序列对齐。
由于不同手势的持续时间不同、不同操作人员执行同一动作的速度也不尽相同，所以人体运动序列长度也可能不同。为了保证序列的一致性，需要引入动态时间规整DTW方法进行人体运动序列的对齐。动态时间规整DTW是一个典型的优化问题，用满足一定条件的时间规整函数描述时间序列的对应关系，通过把时间序列进行延伸和缩短，求解两时间序列匹配时累计距离最小所对应的规整函数及对齐后的时间序列，很好地解决时间序列长度不相等的问题。
步骤三，利用步骤二处理后的数据输入深度堆叠Bi-LSTM的网络进行训练，使深度堆叠Bi-LSTM网络捕获基于人体骨架节点信息的人体运动序列的数据特征。步骤三包括下面步骤301～304。
步骤301，根据步骤二输出的人体骨架节点的运动序列构建人体行为多元时间序列。
长短时记忆网络(LSTM)是循环神经网络的一种变体，在继承循环神经网络对时间序列优秀的记忆能力的前提下，克服了在RNN网络结构下较为遥远的历史信号无法传递至当前时刻的问题。
人机协作中人体行为动作属于时间序列，将人的动作表示为X＝[x1,x2，…xt，…xT]的多元时间序列，其中，xt代表动作执行过程中t时刻的数据，为一组人体骨架节点位置坐标，xT表示动作执行过程中T时刻的数据。
设输入神经网络的数据为经过步骤二中滤波及动态时间规整后的数据，经过隐藏层k次迭代后得到输出y1。在t时刻，隐藏层的输入是动作执行过程中t时刻的数据xt和上一时刻隐藏层的输出c(t-1)，输出是c(t)。c(t-1)、c(t)是不同时刻的线性自连接单元状态，是隐藏层在不同时刻的输出。
步骤302，构造LSTM网络单元结构。隐藏层为LSTM网络单元结构，其具体结构如图3所示。LSTM网络单元结构在隐藏层中加入了先验知识：输入门、遗忘门和输出门，这些门将不同时刻的层间信息与某一时刻的输入信息处理得更加透明。根据LSTM网络单元结构图，可以得到输入门i(t)、输出门f(t)与遗忘门o(t)的函数表达式分别如下：
i(t)＝sigmoid(Wxix(t)+Whih(t-1)+bi) (3)
f(t)＝sigmoid(Wxfx(t)+Whfh(t-1)+bf) (4)
o(t)＝sigmoid(Wxox(t)+Whoh(t-1)+bo) (5)
其中，Wxi,Wxf,Wxo分别为输入门、输出门与遗忘门的输入数据x(t)的权值矩阵，Whi,Whf,Who分别为输入门、输出门与遗忘门的隐藏层状态h(t-1)的权值矩阵，bi,bf,bo表示输入门、输出门与遗忘门的偏置项，输入数据x(t)即动作执行过程中t时刻的数据xt。
t时刻线性自连接单元状态c(t)与隐藏层状态h(t)表达式为：
Figure BDA00021828632800000511
其中，Wxc、Whc分别表示线性自连接单元中输入数据x(t)、隐藏层状态h(t-1)的权值矩阵，bc表示线性自连接单元的偏置项，tanh()表示双曲正切函数。通过调整各门的权值矩阵，输入门i(t)可以控制流入自连接单元状态c(t)的信息量；遗忘门f(t)可以控制当前时刻的线性自连接单元状态c(t)所包含c(t-1)的信息量，即控制遗忘多少上一时刻的线性自连接单元状态；输出门o(t)控制可以流入到当前隐藏层状态h(t)的线性自连接单元状态c(t)信息。其中，线性自连接单元状态c(t)的作用是完成历史信息的积累，其积累公式为：
info＝tanh(Wxcx(t)+Whch(t-1)+bc) (7)
info为本次要积累的信息来源，将式(7)代入式(6)，可得到：
c(t)＝f(t)·c(t-1)+i(t)·info (8)
由式(8)可以得知，线性自连接单元状态c(t)在积累历史信息时，依靠输出门f(t)限制上一时刻c(t-1)传递的信息，同时依靠输入门i(t)来约束新输入的信息。根据式(6)，当前隐藏层状态h(t)是由遗忘门约束的，由于是以线性方式更新，所以加入带有非线性功能的tanh函数。
为了方便计算，本发明将长短时记忆网络的计算表示为函数：y2＝flstm(xt,ht-1,ct-1)，其中，y2为输出数据，flstm代表LSTM网络单元的计算函数，xt,ht-1,ct-1为上一时刻的输出，分别对应x(t)、h(t-1)、c(t-1)。
步骤303，构造Bi-LSTM网络训练模型。
如图4所示，为本发明Bi-LSTM网络单元结构。双向LSTM网络作为双向RNN的拓展，将双向RNN与LSTM网络相结合，网络的输入作用于前后两个方向的隐含层，再将两种隐含层的输出进行结合得到最终输出。双向LSTM网络具备前向LSTM层与后向LSTM层，既能够处理前文的信息，又能处理未来的信息。双向LSTM网络所涉及的计算公式如下：
Figure BDA0002182863280000051
Figure BDA0002182863280000052
Figure BDA0002182863280000053
其中，
Figure BDA0002182863280000054
与分别表示t时刻前向层与后向层的隐藏状态，yt表示双向LSTM网络的输出，
Figure BDA0002182863280000056
表示t-1时刻前向层的隐藏状态,
Figure BDA00021828632800000512
表示t+1时刻后向层的隐藏状态，
Figure BDA00021828632800000513
表示t-1时刻前向层的线性自连接单元状态，
Figure BDA0002182863280000059
表示t+1时刻后向层的线性自连接单元状态，Sigmoid()为激活函数；
Figure BDA00021828632800000510
分别表示前向层与后向层的LSTM网络中对应的权重矩阵。字符上的箭头表示是前向LSTM网络还是后向LSTM网络。
受深度神经网络的启发，本发明使用深度堆叠的双向LSTM网络，该网络含有多个隐含层，前层的输出作为后层网络的输入，将双向LSTM网络进行多次叠加形成深度堆叠的双向LSTM网络。
步骤304，构建深度堆叠的双向LSTM网络模型，输入预处理好的人体运动序列进行训练。
本发明构建的深度堆叠的双向LSTM网络模型，包括：具体在公式(12)-(17)中，网络结构：(a)输入数据xt给每一层前后两个方向的LSTM网络，每一层多个LSTM网络间进行前向与后向运算，该层输出结果作为后一层的一个输入；(b)深度堆叠的双向LSTM网络的每一层都按照(a)进行，直至完成多层运算。
深度堆叠的双向LSTM网络的输入数据为xt，本发明实施例中xt为t时刻的人体骨架节点的三维坐标。
深度堆叠的双向LSTM网络的第一层Bi-LSTM网络的前向层与后向层的计算公式为：
Figure BDA0002182863280000062
深度堆叠的双向LSTM网络的第一层的输出为：
Figure BDA0002182863280000063
深度堆叠的双向LSTM网络的第
Figure BDA00021828632800000616
个隐藏层的计算过程为：
Figure BDA0002182863280000064
深度堆叠的双向LSTM网络的输出为：
其中，字符上的箭头表示是前向LSTM网络还是后向LSTM网络，上角标表示层数，∈n，n表示总层数，n为大于1的整数。如
Figure BDA0002182863280000067
分别表示第
Figure BDA00021828632800000613
层的前向LSTM网络与后向LSTM网络中对应的权重矩阵。在每一层中，LSTM网络的隐藏层状态
Figure BDA0002182863280000068
和线性自连接单元状态
Figure BDA0002182863280000069
的初始值
Figure BDA00021828632800000610
和
Figure BDA00021828632800000611
都为0。
Figure BDA00021828632800000612
上加上对应方向的箭头，即为前向LSTM网络或后向LSTM网络中的参数。深度堆叠的双向LSTM网络的输出y是预测的人体运动数据。
将步骤301中数据输入深度堆叠的双向LSTM网络模型进行训练。训练时，将数据xt输入每层的前向LSTM网络和后向LSTM网络，深度堆叠的双向LSTM网络的输出为下一时刻的骨架节点位置。
步骤四，利用深度堆叠双向LSTM的网络模型进行测试，如图5所示，对于部分可观测的人体基于骨架节点信息的人体运动序列，本发明首先对测试数据集进行步骤二中的数据预处理后(卡尔曼滤波与动态时间规整)，输入经训练后得到的深度堆叠的双向LSTM网络模型，并对未进行训练的人体动作序列进行预测，即可得到未来的基于骨架信息的人体运动序列，达到人体行为意图理解的目的。
为了测试深度堆叠双向LSTM网络对意图理解性能的影响，本发明对比了网络深度，即双向LSTM网络层数，对预测性能的影响，本发明发现两层堆叠的双向LSTM网络预测性能最好。因此，本发明使用两层堆叠的双向LSTM网络进行网络训练及测试。此外，本发明还验证了不同输入观测序列对预测性能的影响。本发明发现，输入的观测序列越多，网络的预测性能越好；当输入观测序列为40％时，本发明机器人就能够实现对人类意图的理解。同时，本发明还对比了直接利用LSTM网络进行意图理解的模型训练，发现本发明方法所用模型在预测精度上具有更强的准确性。
综上，本发明提出了一种端到端的基于人体骨架信息的运动序列的人体意图理解方法。本发明无需经过复杂的处理，可以直接根据基于人体骨架的运动信息对人体的行为进行预测与理解。本发明所提出的网络模型可以直接接受来自基于kinect的运动信息，进行人体运动轨迹的预测，为未来的实际应用提供了计算条件。

Claims (4)

1.一种面向人机协作的基于深度堆叠的双向长期短期记忆Bi-LSTM神经网络的人类意图理解方法，先通过运动捕捉系统采集人体运动序列，所述的人体运动序列是骨架节点的位置随时间变化的序列，其特征在于，然后通过如下步骤实现人体行为意图预测与理解；
(1)对人体运动序列进行预处理，包括进行卡尔曼滤波，以及通过动态时间规整进行人体运动序列对齐；
(2)将预处理后的人体运动序列输入深度堆叠的Bi-LSTM网络进行训练；所述的深度堆叠的Bi-LSTM网络包含多个隐藏层，每个隐藏层为双向的LSTM网络，将人体骨架节点位置作为每一个隐藏层的双向LSTM网络的一个输入，前一个隐藏层的输出作为后一个隐藏层的一个输入，深度堆叠的Bi-LSTM网络的输出为预测的人体运动；
(3)在获得训练好的深度堆叠双向LSTM的网络模型后，采集人体运动序列，并执行(1)中的预处理，然后输入训练好的模型进行预测，输出预测的人体运动，来确定人类意图。
2.根据权利要求1所述的方法，其特征在于，所述的人体运动序列利用视觉运动捕捉系统Kinect来采集，随时间采集人体骨架节点的三维坐标，得到人体运动序列。
3.根据权利要求1所述的方法，其特征在于，所述的深度堆叠的Bi-LSTM网络包含有两层双向LSTM网络。
4.根据权利要求1所述的方法，其特征在于，所述的深度堆叠的Bi-LSTM网络包含有多层，第l层中的前向LSTM网络和后向LSTM网络的计算表示如下：
Figure FDA0002182863270000011
深度堆叠的双向LSTM网络的输出
Figure FDA0002182863270000012
其中，xt为输入的t时刻的人体骨架节点的三维坐标；
Figure FDA0002182863270000013
为前向LSTM网络在t时刻的隐藏层状态和线性自连接单元状态，
Figure FDA0002182863270000014
为后向LSTM网络在t时刻的隐藏层状态和线性自连接单元状态，
Figure FDA0002182863270000015
的初始值均为0，为前向LSTM网络在t-1时刻的隐藏层状态和线性自连接单元状态，
Figure FDA0002182863270000017
为后向LSTM网络在t+1时刻的隐藏层状态和线性自连接单元状态；n表示总层数，取值大于1；函数sigmoid为激活函数。
CN201910803009.9A 2019-08-28 2019-08-28 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法 Pending CN110717381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910803009.9A CN110717381A (zh) 2019-08-28 2019-08-28 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910803009.9A CN110717381A (zh) 2019-08-28 2019-08-28 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法

Publications (1)

Publication Number Publication Date
CN110717381A true CN110717381A (zh) 2020-01-21

Family

ID=69209580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910803009.9A Pending CN110717381A (zh) 2019-08-28 2019-08-28 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法

Country Status (1)

Country Link
CN (1) CN110717381A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273623A (zh) * 2020-02-25 2020-06-12 电子科技大学 基于Stacked LSTM的故障诊断方法
CN112101219A (zh) * 2020-09-15 2020-12-18 济南大学 一种面向老年陪护机器人的意图理解方法和系统
CN112364922A (zh) * 2020-11-13 2021-02-12 苏州浪潮智能科技有限公司 一种机房环境中人体骨架运动的预测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法
US20180053108A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Efficient Driver Action Prediction System Based on Temporal Fusion of Sensor Data Using Deep (Bidirectional) Recurrent Neural Network
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置
US20190147231A1 (en) * 2017-11-16 2019-05-16 Adobe Systems Incorporated Predictive analysis of target behaviors utilizing rnn-based user embeddings
CN109902583A (zh) * 2019-01-28 2019-06-18 电子科技大学 一种基于双向独立循环神经网络的骨架手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法
US20180053108A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Efficient Driver Action Prediction System Based on Temporal Fusion of Sensor Data Using Deep (Bidirectional) Recurrent Neural Network
US20190147231A1 (en) * 2017-11-16 2019-05-16 Adobe Systems Incorporated Predictive analysis of target behaviors utilizing rnn-based user embeddings
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置
CN109902583A (zh) * 2019-01-28 2019-06-18 电子科技大学 一种基于双向独立循环神经网络的骨架手势识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ODONGO STEVEN EYOBU,DONG SEOG HAN: "Feature Representation and Data Aug-mentation for Human Activity Classification Based on Wearable IMU Sensor Data Using a Deep LSTM Neural Network", 《SENSORS》 *
SANGWOOK KIM,ZHIBIN YU,MINHO LEE: "Understanding human intention by connecting perception and action learning in artificial agents", 《NEURAL NETWORKS : THE OFFICIAL JOURNAL OF THE INTERNATIONAL NEURAL NETWORK SOCIETY》 *
XIAOYI WAN,TENGFEI XING,YI JI,ET AL.: "3D human action recognition with skeleton orientation vectors and stacked residual Bi-LSTM", 《2017 4TH IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION(ACPR)》 *
ZHIBIN YU, MINHO LEE: "Human motion based intent recognition using a deep dynamic neural model", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *
何晶: "基于人体骨架的行为理解及其在远程人机交互系统的应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
邓自立: "《卡尔曼滤波与维纳滤波——现代时间序列分析方法》", 31 July 2001 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273623A (zh) * 2020-02-25 2020-06-12 电子科技大学 基于Stacked LSTM的故障诊断方法
CN111273623B (zh) * 2020-02-25 2022-10-18 电子科技大学 基于Stacked LSTM的故障诊断方法
CN112101219A (zh) * 2020-09-15 2020-12-18 济南大学 一种面向老年陪护机器人的意图理解方法和系统
CN112101219B (zh) * 2020-09-15 2022-11-04 济南大学 一种面向老年陪护机器人的意图理解方法和系统
CN112364922A (zh) * 2020-11-13 2021-02-12 苏州浪潮智能科技有限公司 一种机房环境中人体骨架运动的预测方法及系统
CN112364922B (zh) * 2020-11-13 2023-01-10 苏州浪潮智能科技有限公司 一种机房环境中人体骨架运动的预测方法及系统

Similar Documents

Publication Publication Date Title
CN110717381A (zh) 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法
Hao et al. Dynamic path planning of a three-dimensional underwater AUV based on an adaptive genetic algorithm
Liu et al. A novel efficient learning algorithm for self-generating fuzzy neural network with applications
CN114741886B (zh) 一种基于贡献度评价的无人机集群多任务训练方法及系统
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN113848974B (zh) 一种基于深度强化学习的飞行器轨迹规划方法及系统
CN117077727B (zh) 基于时空注意力机制和神经常微分方程的轨迹预测方法
CN111445498A (zh) 一种采用Bi-LSTM神经网络的目标跟踪方法
Mermoud et al. Top-down vs. bottom-up model-based methodologies for distributed control: a comparative experimental study
Chen et al. HGCN-GJS: Hierarchical graph convolutional network with groupwise joint sampling for trajectory prediction
Jiang et al. Generative adversarial interactive imitation learning for path following of autonomous underwater vehicle
CN104331080B (zh) 用于移动式机器人的定点跟踪路径规划方法
US20220269948A1 (en) Training of a convolutional neural network
Artemov et al. Subsystem for simple dynamic gesture recognition using 3DCNNLSTM
Zhang et al. Human trajectory forecasting using a flow-based generative model
Mohanty et al. A new intelligent approach for mobile robot navigation
Golroudbari et al. Generalizable end-to-end deep learning frameworks for real-time attitude estimation using 6DoF inertial measurement units
Riccio et al. LoOP: Iterative learning for optimistic planning on robots
Zhang et al. Trajectory-tracking control of robotic systems via deep reinforcement learning
Tang et al. Actively learning Gaussian process dynamical systems through global and local explorations
Liu et al. Trajectory prediction and visual localization of snake robot based on BiLSTM neural network
Thomas et al. Inverse Reinforcement Learning for Generalized Labeled Multi-Bernoulli Multi-Target Tracking
Singh et al. Data Driven Kinematic Modeling of Human Gait for Synthesize Joint Trajectory
Sumiea et al. Enhanced Deep Deterministic Policy Gradient Algorithm using Grey Wolf Optimizer for continuous Control Tasks
Liu et al. Developing Robot Reaching Skill via Look-ahead Planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121