CN109871893B - 基于循环时域保持生成的行为预测方法和装置 - Google Patents
基于循环时域保持生成的行为预测方法和装置 Download PDFInfo
- Publication number
- CN109871893B CN109871893B CN201910123179.2A CN201910123179A CN109871893B CN 109871893 B CN109871893 B CN 109871893B CN 201910123179 A CN201910123179 A CN 201910123179A CN 109871893 B CN109871893 B CN 109871893B
- Authority
- CN
- China
- Prior art keywords
- sequence
- human body
- action sequence
- motion
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 31
- 230000014759 maintenance of location Effects 0.000 title claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 277
- 230000033001 locomotion Effects 0.000 claims abstract description 203
- 238000012549 training Methods 0.000 claims abstract description 119
- 230000008569 process Effects 0.000 claims abstract description 82
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 13
- 230000006399 behavior Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Landscapes
- Air Conditioning Control Device (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提出基于循环时域保持生成的行为预测方法和装置，其中，方法包括：在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列，其中，人体动作预测过程包括：获取上一次循环过程输出的训练人体动作序列，并将训练人体动作序列输入长度控制器网络输出控制信号；将控制信号和训练人体动作序列输入运动生成器网络；若控制信号是生成信号，则通过运动生成器网络生成预测动作序列，以拼接在人体动作序列后生成本次循环过程的训练人体动作序列，并将生成的预测动作序列输出至下一个循环过程；若控制信号是停止信号，则将训练人体动作序列作为下一周期的人体动作序列。由此，提高了行为预测的效果和性能。
Description
技术领域
本申请涉及模式识别技术领域，尤其涉及一种基于循环时域保持生成的行为预测方法。
背景技术
随着人体行为分析技术的快速发展，动作预测已经引起了广泛的兴趣并且成为了计算机视觉中的一个重要的领域。人体行为分析的快速发展使得动作预测已经成为人体动作分析的一个新的领域并且在很多应用中展现出其重要性，例如动作视频分析，异常行为检测和自动驾驶等。其中，动作预测是指从部分视频中推断出未完成的动作。
从观测到的序列中预测已经发生的部分动作是非常具有挑战性的，现有的动作预测方法主要分为两类：模板匹配和基于时域特征的分类方法。模板匹配预测动作是通过对动作进行模板匹配，这些模板包含稠密的表达和稀疏的表达。然而，稠密的模板匹配方法容易受到离散值的干扰，而稀疏的模板匹配方法在预测具有相似给你的动作时存在困难。基于时域特征的分类方法是从时域中提取特征来建模观测到的动作序列的趋势。
但是，现有的动作预测方法对生成的后续动作无法进行长度的控制，导致生成的后续动作存在长度不合适的现象，从而出现对未完成的动作做出预测效果不理想的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种基于循环时域保持生成的行为预测方法，以解决现有技术中的行为预测方法无法生成恰当长度的动作序列，导致动作预测效果不理想的技术问题。
本申请一方面实施例提出了一种基于循环时域保持生成的行为预测方法，包括：
在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列，其中，所述人体动作预测过程包括：
获取上一次循环过程输出的训练人体动作序列，并将所述训练人体动作序列输入到预设的长度控制器网络输出控制信号，其中，当首次执行所述循环过程时，所述上一次循环过程输出的训练人体动作序列为所述初始人体动作序列；
将所述长度控制器网络输出的控制信号和所述训练人体动作序列输入预设的运动生成器网络；
若所述控制信号是生成信号，则通过所述运动生成器网络根据所述人体动作序列生成预测动作序列，将所述预测动作序列拼接在所述人体动作序列后生成本次循环过程的训练人体动作序列，并将所述生成的预测动作序列输出至下一个循环过程；
若所述控制信号是停止信号，则控制所述运动生成器网络输出所述训练人体动作序列作为所述下一周期的人体动作序列。
本申请实施例的基于循环时域保持生成的行为预测方法，通过在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列，其中，人体动作预测过程包括：获取上一次循环过程输出的训练人体动作序列，并将训练人体动作序列输入到预设的长度控制器网络输出控制信号；将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络；若控制信号是生成信号，则通过运动生成器网络根据人体动作序列生成预测动作序列，将预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列，并将生成的预测动作序列输出至下一个循环过程；若控制信号是停止信号，则输出训练人体动作序列作为下一周期的人体动作序列。该方法通过长度控制器的有效控制，生成恰当长度的动作序列，使得生成的动作在时序上达到最佳效果，从而提高了行为预测方法的效果和性能。
本申请又一方面实施例提出了一种基于循环时域保持生成的行为预测装置，包括：
处理模块，用于在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列；
输出模块，用于获取上一次循环过程输出的训练人体动作序列，并将所述训练人体动作序列输入到预设的长度控制器网络输出控制信号，其中，当首次执行所述循环过程时，所述上一次循环过程输出的训练人体动作序列为所述初始人体动作序列；
输入模块，用于将所述长度控制器网络输出的控制信号和所述训练人体动作序列输入预设的运动生成器网络；
第一生成模块，用于若所述控制信号是生成信号，则通过所述运动生成器网络根据所述人体动作序列生成预测动作序列，将所述预测动作序列拼接在所述人体动作序列后生成本次循环过程的训练人体动作序列，并将所述生成的预测动作序列输出至下一个循环过程；
第二生成模块，用于若所述控制信号是停止信号，则控制所述运动生成器网络输出所述训练人体动作序列作为所述下一周期的人体动作序列。
本申请实施例的基于循环时域保持生成的行为预测装置，通过在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列，其中，人体动作预测过程包括：获取上一次循环过程输出的训练人体动作序列，并将训练人体动作序列输入到预设的长度控制器网络输出控制信号；将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络；若控制信号是生成信号，则通过运动生成器网络根据人体动作序列生成预测动作序列，将预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列，并将生成的预测动作序列输出至下一个循环过程；若控制信号是停止信号，则输出训练人体动作序列作为下一周期的人体动作序列。该方法通过长度控制器的有效控制，生成恰当长度的动作序列，使得生成的动作在时序上达到最佳效果，从而提高了行为预测方法的效果和性能。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种基于循环时域保持生成的行为预测方法与传统方法的核心思想示意图
图2为本申请实施例提供的一种基于循环时域保持生成的行为预测方法的流程示意图；
图3为本申请实施例提供的一种人体动作预测方法的流程示意图；
图4为本申请实施例提供的一种对运动生成器网络进行训练的结构示意图；
图5为本申请实施例提供的一种基于循环时域保持生成的行为预测方法的示例图；
图6为本申请实施例提供的一种基于循环时域保持生成的行为预测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
现有技术中，将观测到的动作序列输入到动作预测模型中，输出的预测动作可能存在内容不合理或者长度不恰当的情况，从而导致行为预测方法预测效果不理想。
举例来说，如图1所示，将观测到的动作序列输入到动作预测模型中，输出的预测动作序列可能存在分类错误或者顺序错误导致预测内容不合理的现象；在没有长度控制的情况下，也可能存在预测动作序列输出时存在滞后预测或者信息不全，导致预测动作序列长度不合适的现象。
针对现有技术中的行为预测方法无法生成恰当长度、内容合理的动作序列，导致动作预测效果不理想的技术问题，提出了一种基于循环时域保持生成的行为预测方法，通过获取当前周期的初始人体动作序列后，循环执行将人体动作序列输入长度控制器网络，通过长度控制器网络输出的控制信号控制运动生成器网络的生成过程，从而生成内容合理、长度恰当的动作序列。
下面参考附图描述本申请实施例的基于循环时域保持生成的行为预测方法和装置。
图2为本申请实施例提供的一种基于循环时域保持生成的行为预测方法的流程示意图。
如图2所示，该基于循环时域保持生成的行为预测方法包括以下步骤：
步骤101，在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列。
其中，人体动作序列可以为人体骨架序列，人体骨架序列由人体骨架节点坐标值组成。
本申请实施例中，人体动作序列可以由运动捕获系统从训练视频中直接获取，也可以利用人体骨架估计算法从训练视频中提取得到。当采用人体骨架估计算法获取人体骨架节点坐标时，算法的设置不同，得到的人体骨架所包含的节点数目也不尽相同，其中一种常用的设置节点，包括：头部，颈部，左右肩膀，左右肘关节，左右腕关节，左右手掌，脊柱中心点，脊柱下端点，左右髋关节，左右膝关节，左右踝关节，以及左右脚掌。
需要说明的是，人体动作序列的获取属于现有技术，本申请对其不再赘述。
具体地，在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程，即将人体动作序列输入长度控制器网络，通过长度控制器网络输出的控制信号控制运动生成器网络的生成过程。
下面结合图3对上述人体动作预测过程进行详细的介绍，如图3所示，人体动作预测过程包括以下步骤：
步骤201，获取上一次循环过程输出的训练人体动作序列，并将训练人体动作序列输入到预设的长度控制器网络输出控制信号，其中，当首次执行循环过程时，上一次循环过程输出的训练人体动作序列为初始人体动作序列。
本申请实施例中，长度控制器网络采用深度强化学习框架，通过生成的控制信号对运动生成器网络生成的动作和序列进行动态的控制。其中，控制信号可以为生成信号或者停止信号。
本申请实施例中，长度控制器网络包括动作空间、状态空间以及奖励函数等部分。
其中，动作空间定义如下公式(1)
A＝[a0,…,at,…an],at∈{0,1}，t∈[0，n](1)
其中，公式(1)中的at为t时刻的控制信号，0为停止信号，1为生成信号。
状态空间定义为当前时刻运动生成器网络输出的预测动作拼接在人体动作序列后生成的训练人体动作序列。
奖励函数定义如下公式(2)
其中，公式(2)中τ表示实际的动作分类，ηt表示t时刻的预测动作序列的动作类型分类。由公式(2)可知，在前一时刻的预测动作类型分类与实际的动作分类不相同，而当前时刻的预测动作类型分类与实际的动作分类相同时，奖励函数赋值为-1；在前一时刻的预测动作类型分类和当前时刻的预测动作类型分类均与实际的动作分类相同时，奖励函数赋值为-1；在前一时刻的预测动作类型分类与实际的动作分类相同，而当前时刻的预测动作类型分类与实际的动作分类不相同时，奖励函数赋值为-1；在前一时刻的预测动作类型分类和当前时刻的预测动作类型分类与实际的动作分类均不相同时，奖励函数赋值为0。
本申请实施例中，在获取上一次循环过程输出的训练人体动作序列后，将训练人体动作序列输入到预设的长度控制器网络输出控制信号，长度控制器网络输出的控制信号为生成信号或者停止信号。
作为另一种可能的实现方式，当首次执行人体动作预测过程时，上一次循环过程输出的训练人体动作序列为初始人体动作序列，即将获取到的初始人体动作序列输入到预设的长度控制器网络输出控制信号。
作为本申请实施例的一种可能的实现方式，可以将训练人体动作序列输入如下计算公式(3)得到控制信号；其中计算公式(3)如下：at＝φθ(St)
其中，at为t时刻的控制信号，St为训练人体动作序列，φθ为预设的长度控制器网络。
步骤202，将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络。
本申请实施例中，运动生成器网络可以为深度生成对抗网络(Deep GeneratorAdversarial Network,简称DGAN)，以使得生成的预测动作序列尽可能满足真实数据的分布，与真实的动作序列保持一致。
此外，本申请实施例中，针对运动生成器网络设置了三个不同的约束条件对运动生成器网络进行训练，以使生成的预测动作序列尽可能与实际的动作序列保持一致，其中，三个不同的约束为：连续性约束、逻辑约束和距离度量。
其中，连续性约束如下公式(4)所示：
其中，Lζc为连续性判别器网络损失函数，M为目标动作序列，Q为训练人体动作序列，ζC为连续性判别器网络。
同理，逻辑约束如下公式(5)所示：
其中，LζC为逻辑判别器网络损失函数，M为目标动作序列，Q为训练人体动作序列，ζL为逻辑判别器网络。
同理，为了保持生成的预测动作序列的时序与人体动作序列的时序的连续性，从而有效的减少生成动作的控件，提高生成动作的准确度，需要通过时序损失函数对运动生成器网络进行训练，其中，时序损失函数公式如下公式(6)所示：
其中，L时序损失函数，为ζC为连续性判别器网络，ζL为逻辑判别器网络，M为目标动作序列，Q为训练人体动作序列。
本申请实施例中，在使用运动生成器网络生成预测动作序列之前，可以根据预设的运动生成器网络损失函数对运动生成器网络进行训练，以使预测的结果更加准确；其中，运动生成器网络损失函数公式如下公式(7)所示：
其中，Lψ为运动生成器网络损失函数，M为目标动作序列，Q为训练人体动作序列，ξC为连续性判别器网络，Ω(M,Q)表示M与Q的欧式距离，ξL为逻辑判别器网络。
作为一种示例，参见图4，图4为本申请实施例提供的一种对运动生成器网络进行训练的结构示意图。如图4所示，将观测到人体动作序列输入到运动生成器网络中，生成预测动作序列，并将预测动作序列拼接在人体动作序列后面，得到训练动作序列，将拼接后的训练动作序列和实际的目标动作序列分别输入连续性判别器网络、逻辑判别器网络以及距离度量网络中进行训练，以使训练后的运动生成器网络的预测结果更加准确。
本申请实施例中，将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络时，若长度控制器网络输出的控制信号为生成信号，则执行步骤203；若长度控制器网络输出的控制信号为停止信号，则执行步骤204。
步骤203，若控制信号是生成信号，则通过运动生成器网络根据人体动作序列生成预测动作序列，将预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列，并将生成的预测动作序列输出至下一个循环过程。
本申请实施例中，将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络时，若长度控制器网络输出的控制信号为生成信号，运动生成器网络则根据人体动作序列生成预测动作序列，并将生成的预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列。同时，将生成的预测动作序列输入下一个循环过程的运动生成器网络，并将本次循环过程中的运动生成器网络的参数也同时传递到下一个循环过程的运动生成器网络中，以根据训练人体动作序列输入到下一个循环过程的预设的长度控制器网络输出控制信号对运动生成器网络进行控制。
作为本申请实施例的一种可能的实现方式，将训练人体动作序列和控制信号输入计算公式(8)得到预测动作序列，其中，公式(8)为：
其中，ψ为运动生成器网络，ψ(X)为将训练人体动作序列和控制信号输入到预设的运动生成器网络生成预测动作序列，⊕为对人体动作序列与预测动作序列进行拼接操作，Q为将预测动作序列拼接在人体动作序列之后，生成的训练人体动作序列。
步骤204，若控制信号是停止信号，则控制运动生成器网络输出训练人体动作序列作为下一周期的人体动作序列。
本申请实施例中，将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络时，若长度控制器网络输出的控制信号为停止信号，则控制运动生成器网络输出本次循环过程拼接后的训练人体动作序列作为下一周期的人体动作序列。
进一步的，将下一周期的人体动作序列输入动作分类网络，接口获取目标预测动作。
本申请实施例的基于循环时域保持生成的行为预测方法，通过在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列，其中，人体动作预测过程包括：获取上一次循环过程输出的训练人体动作序列，并将训练人体动作序列输入到预设的长度控制器网络输出控制信号；将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络；若控制信号是生成信号，则通过运动生成器网络根据人体动作序列生成预测动作序列，将预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列，并将生成的预测动作序列输出至下一个循环过程；若控制信号是停止信号，则输出训练人体动作序列作为下一周期的人体动作序列。该方法通过长度控制器的有效控制，生成恰当长度的动作序列，使得生成的动作在时序上达到最佳效果，从而提高了行为预测方法的效果和性能。
作为一种示例，参见图5，图5为本申请实施例提供的一种基于循环时域保持生成的行为预测方法的示例图。如图5所示，将在当前时刻获取的人体动作序列输入到长度控制器网络中输出生成信号，并将生成信号和当前时刻获取的人体动作序列一起输入运动生成器网络，生成预测动作序列，将预测动作序列拼接在当前时刻获取的人体动作序列之后，得到下一时刻的人体动作序列，并将下一时刻的人体动作序列输入到长度控制器网络输出控制信号，将生成的预测动作序列和将下一时刻的人体动作序列输入到长度控制器网络输出的控制信号一起输入到运动生成器网络，当前时刻的运动生成器网络的参数也传递到下一时刻的运动生成器网络。这个过程循环生成一系列后续的人体动作序列，直至长度控制器网络输出停止信号，此时得到的动作序列即为最终的动作序列，将最终的动作序列输入到分类器网络即可得到预测的动作。
需要说明的是，在动作生成的过程中，生成的动作序列与输入的人体动作序列在时序上是连续的，从而使得生成的动作在在空间上和时间上看起来基本满足生成动作的需要，通过保持拼接后的动作训练动作序列在语义上与真实发生的动作是一致的，从而使生成的动作具有实际的正确的语义信息；最后，通过深度强化学习的方法，对生成的长度进行控制，从而使动作能够在恰当的位置停止。
为了实现上述实施例，本申请实施例还提出基于循环时域保持生成的行为预测装置。
图6为本申请实施例提供的一种基于循环时域保持生成的行为预测装置的结构示意图。
如图6所示，该基于循环时域保持生成的行为预测装置包括：处理模块110、输出模块120、输入模块130、第一生成模块140以及第二生成模块150。
处理模块110，用于在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列。
输出模块120，用于获取上一次循环过程输出的训练人体动作序列，并将训练人体动作序列输入到预设的长度控制器网络输出控制信号，其中，当首次执行循环过程时，上一次循环过程输出的训练人体动作序列为初始人体动作序列。
输入模块130，用于将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络。
第一生成模块140，用于若控制信号是生成信号，则通过运动生成器网络根据人体动作序列生成预测动作序列，将预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列，并将生成的预测动作序列输出至下一个循环过程。
第二生成模块150，用于若控制信号是停止信号，则控制运动生成器网络输出训练人体动作序列作为下一周期的人体动作序列。
作为一种可能的情况，行为预测装置，还包括：
第三生成模块，用于将下一周期的人体动作序列输入动作分类网络，生成目标预测动作。
作为另一种可能的情况，长度控制器网络包括动作空间、状态空间以及奖励函数，其中，动作空间定义如下：A＝[a0,…,at,…an],at∈{0,1}，t∈[0，n]
其中，at为t时刻的控制信号，0为停止信号，1为生成信号。
作为另一种可能的情况，输入模块130，具体用于：
将训练人体动作序列输入计算公式得到控制信号；计算公式如下：at＝φθ(St)
其中，at为t时刻的控制信号，St为训练人体动作序列，φθ为预设的长度控制器网络。
作为另一种可能的情况，第一生成模块140，具体用于：
将训练人体动作序列和控制信号输入计算公式得到预测动作序列，其中，计算公式为：
其中，ψ为运动生成器网络，ψ(X)为将训练人体动作序列和控制信号输入到预设的运动生成器网络生成预测动作序列，
为对人体动作序列与预测动作序列进行拼接操作，Q为将预测动作序列拼接在人体动作序列之后，生成训练人体动作序列。
作为另一种可能的情况，根据预设的运动生成器网络损失函数对运动生成器网络进行训练；运动生成器网络损失函数的计算公式如下：
其中，Lψ为运动生成器网络损失函数，M为目标动作序列，Q为训练人体动作序列，ξC为连续性判别器网络，Ω(M,Q)表示M与Q的欧式距离，ξL为逻辑判别器网络。
需要说明的是，前述对基于循环时域保持生成的行为预测方法实施例的解释说明也适用于该实施例的基于循环时域保持生成的行为预测装置，此处不再赘述。
本申请实施例的基于循环时域保持生成的行为预测装置，通过在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列，其中，人体动作预测过程包括：获取上一次循环过程输出的训练人体动作序列，并将训练人体动作序列输入到预设的长度控制器网络输出控制信号；将长度控制器网络输出的控制信号和训练人体动作序列输入预设的运动生成器网络；若控制信号是生成信号，则通过运动生成器网络根据人体动作序列生成预测动作序列，将预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列，并将生成的预测动作序列输出至下一个循环过程；若控制信号是停止信号，则输出训练人体动作序列作为下一周期的人体动作序列。该方法通过长度控制器的有效控制，生成恰当长度的动作序列，使得生成的动作在时序上达到最佳效果，从而提高了行为预测方法的效果和性能。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种基于循环时域保持生成的行为预测方法，其特征在于，所述方法包括以下步骤：
在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列，其中，所述人体动作预测过程包括：
获取上一次循环过程输出的训练人体动作序列，并将所述训练人体动作序列输入到预设的长度控制器网络输出控制信号，其中，当首次执行所述循环过程时，所述上一次循环过程输出的训练人体动作序列为所述初始人体动作序列；其中，所述长度控制器网络包括动作空间、状态空间以及奖励函数；其中，所述动作空间定义如下：A＝[a0,…,at,…an],at∈{0,1}，t∈[0，n]；其中，at为t时刻的控制信号，0为停止信号，1为生成信号；所述状态空间定义为当前时刻运动生成器网络输出的预测动作拼接在人体动作序列后生成的训练人体动作序列；所述奖励函数定义如下：
其中，τ表示实际的动作分类，ηt表示t时刻的预测动作序列的动作类型分类；
将所述训练人体动作序列输入计算公式得到控制信号；所述计算公式如下：at＝φθ(St)；其中，at为t时刻的控制信号，St为所述训练人体动作序列，φθ为所述预设的长度控制器网络；
将所述长度控制器网络输出的控制信号和所述训练人体动作序列输入预设的运动生成器网络；其中，设置三个不同的约束条件对所述运动生成器网络进行训练，三个不同的约束为：连续性约束、逻辑约束和距离度量；其中，所述连续性约束如下：
其中，
为连续性判别器网络损失函数，M为目标动作序列，Q为所述训练人体动作序列，ζC为连续性判别器网络；
所述逻辑约束如下：
其中，
为逻辑判别器网络损失函数，M为所述目标动作序列，Q为所述训练人体动作序列，ζL为逻辑判别器网络；
根据预设的运动生成器网络损失函数对所述运动生成器网络进行训练；所述运动生成器网络损失函数的计算公式如下：
其中，ψ为所述运动生成器网络，Lψ为所述运动生成器网络损失函数，M为所述目标动作序列，Q为所述训练人体动作序列，ξC为连续性判别器网络，Ω(M,Q)表示M与Q的欧式距离，ξL为所述逻辑判别器网络；
若所述控制信号是生成信号，则通过所述运动生成器网络根据所述人体动作序列生成预测动作序列，将所述预测动作序列拼接在所述人体动作序列后生成本次循环过程的训练人体动作序列，并将所述生成的预测动作序列输出至下一个循环过程；
若所述控制信号是停止信号，则控制所述运动生成器网络输出所述训练人体动作序列作为所述下一周期的人体动作序列。
2.如权利要求1所述的行为预测方法，其特征在于，所述人体动作预测过程，还包括：
将所述下一周期的人体动作序列输入动作分类网络，获取目标预测动作。
3.如权利要求1所述的行为预测方法，其特征在于，所述通过运动生成器网络根据人体动作序列生成预测动作序列，将预测动作序列拼接在人体动作序列后生成本次循环过程的训练人体动作序列包括：
将所述训练人体动作序列和所述控制信号输入计算公式得到预测动作序列，其中，所述计算公式为：
其中，ψ为所述运动生成器网络，ψ(X)为将所述训练人体动作序列和所述控制信号输入到预设的运动生成器网络生成预测动作序列，⊕为对所述人体动作序列与所述预测动作序列进行拼接操作，Q为将所述预测动作序列拼接在所述人体动作序列之后，生成训练人体动作序列。
4.一种基于循环时域保持生成的行为预测装置，其特征在于，所述装置包括：
处理模块，用于在获取当前周期的初始人体动作序列后，循环执行人体动作预测过程直至输出下一周期的人体动作序列；
输出模块，用于获取上一次循环过程输出的训练人体动作序列，并将所述训练人体动作序列输入到预设的长度控制器网络输出控制信号，其中，当首次执行所述循环过程时，所述上一次循环过程输出的训练人体动作序列为所述初始人体动作序列；其中，所述长度控制器网络包括动作空间、状态空间以及奖励函数；其中，所述动作空间定义如下：A＝[a0,…,at,…an],at∈{0,1}，t∈[0，n]；其中，at为t时刻的控制信号，0为停止信号，1为生成信号；所述状态空间定义为当前时刻运动生成器网络输出的预测动作拼接在人体动作序列后生成的训练人体动作序列；所述奖励函数定义如下：
其中，τ表示实际的动作分类，ηt表示t时刻的预测动作序列的动作类型分类；
将所述训练人体动作序列输入计算公式得到控制信号；所述计算公式如下：at＝φθ(St)；其中，at为t时刻的控制信号，St为所述训练人体动作序列，φθ为所述预设的长度控制器网络；
输入模块，用于将所述长度控制器网络输出的控制信号和所述训练人体动作序列输入预设的运动生成器网络；其中，设置三个不同的约束条件对所述运动生成器网络进行训练，三个不同的约束为：连续性约束、逻辑约束和距离度量；其中，所述连续性约束如下：
其中，
为连续性判别器网络损失函数，M为目标动作序列，Q为所述训练人体动作序列，ζC为连续性判别器网络；
所述逻辑约束如下：
其中，
为逻辑判别器网络损失函数，M为所述目标动作序列，Q为所述训练人体动作序列，ζL为逻辑判别器网络；
根据预设的运动生成器网络损失函数对所述运动生成器网络进行训练；所述运动生成器网络损失函数的计算公式如下：
其中，ψ为所述运动生成器网络，Lψ为所述运动生成器网络损失函数，M为所述目标动作序列，Q为所述训练人体动作序列，ξC为连续性判别器网络，Ω(M,Q)表示M与Q的欧式距离，ξL为所述逻辑判别器网络；
第一生成模块，用于若所述控制信号是生成信号，则通过所述运动生成器网络根据所述人体动作序列生成预测动作序列，将所述预测动作序列拼接在所述人体动作序列后生成本次循环过程的训练人体动作序列，并将所述生成的预测动作序列输出至下一个循环过程；
第二生成模块，用于若所述控制信号是停止信号，则控制所述运动生成器网络输出所述训练人体动作序列作为所述下一周期的人体动作序列。
5.如权利要求4所述的行为预测装置，其特征在于，所述装置，还包括：
第三生成模块，用于将所述下一周期的人体动作序列输入动作分类网络，生成目标预测动作。
6.如权利要求4所述的行为预测装置，其特征在于，所述将所述长度控制器网络输出的控制信号和所述训练人体动作序列输入预设的运动生成器网络包括：
将所述训练人体动作序列和所述控制信号输入计算公式得到预测动作序列，其中，所述计算公式为：
其中，ψ为所述运动生成器网络，ψ(X)为将所述训练人体动作序列和所述控制信号输入到预设的运动生成器网络生成预测动作序列，⊕为对所述人体动作序列与所述预测动作序列进行拼接操作，Q为将所述预测动作序列拼接在所述人体动作序列之后，生成训练人体动作序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910123179.2A CN109871893B (zh) | 2019-02-18 | 2019-02-18 | 基于循环时域保持生成的行为预测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910123179.2A CN109871893B (zh) | 2019-02-18 | 2019-02-18 | 基于循环时域保持生成的行为预测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109871893A CN109871893A (zh) | 2019-06-11 |
| CN109871893B true CN109871893B (zh) | 2020-10-16 |
Family
ID=66918931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910123179.2A Active CN109871893B (zh) | 2019-02-18 | 2019-02-18 | 基于循环时域保持生成的行为预测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109871893B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533752B (zh) * | 2019-07-23 | 2023-04-07 | 深圳大学 | 一种人体动作编辑模型的生成方法、存储介质及电子设备 |
| CN110399690B (zh) * | 2019-07-31 | 2020-09-22 | 佳都新太科技股份有限公司 | 地铁车站行人仿真方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794384A (zh) * | 2010-03-12 | 2010-08-04 | 浙江大学 | 一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法 |
| CN103164694A (zh) * | 2013-02-20 | 2013-06-19 | 上海交通大学 | 一种人体动作识别的方法 |
| CN104331548A (zh) * | 2014-10-24 | 2015-02-04 | 中国人民解放军国防科学技术大学 | 基于工作流的无人机飞行动作规划方法 |
| WO2017065463A1 (ko) * | 2015-10-14 | 2017-04-20 | 한국수자원공사 | 단류식 창조 조력발전 최적운영 예측방법 |
| CN108229349A (zh) * | 2017-12-21 | 2018-06-29 | 中国科学院自动化研究所 | 网纹人脸图像识别装置 |
| CN108280064A (zh) * | 2018-02-28 | 2018-07-13 | 北京理工大学 | 分词、词性标注、实体识别及句法分析的联合处理方法 |
| CN108363978A (zh) * | 2018-02-12 | 2018-08-03 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
| CN108596149A (zh) * | 2018-05-10 | 2018-09-28 | 上海交通大学 | 基于条件对抗生成网络的运动序列生成方法 |
| CN108960063A (zh) * | 2018-06-01 | 2018-12-07 | 清华大学深圳研究生院 | 一种面向事件关系编码的视频中多事件自然语言描述算法 |
| CN109325440A (zh) * | 2018-09-19 | 2019-02-12 | 深圳市赢世体育科技有限公司 | 人体动作识别方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050125738A1 (en) * | 2003-12-04 | 2005-06-09 | Biplav Srivastava | Composite network-accesible services |
| US10467788B2 (en) * | 2017-05-03 | 2019-11-05 | Adobe Inc. | Automated action shot generation in a digital medium environment |
-
2019
- 2019-02-18 CN CN201910123179.2A patent/CN109871893B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794384A (zh) * | 2010-03-12 | 2010-08-04 | 浙江大学 | 一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法 |
| CN103164694A (zh) * | 2013-02-20 | 2013-06-19 | 上海交通大学 | 一种人体动作识别的方法 |
| CN104331548A (zh) * | 2014-10-24 | 2015-02-04 | 中国人民解放军国防科学技术大学 | 基于工作流的无人机飞行动作规划方法 |
| WO2017065463A1 (ko) * | 2015-10-14 | 2017-04-20 | 한국수자원공사 | 단류식 창조 조력발전 최적운영 예측방법 |
| CN108229349A (zh) * | 2017-12-21 | 2018-06-29 | 中国科学院自动化研究所 | 网纹人脸图像识别装置 |
| CN108363978A (zh) * | 2018-02-12 | 2018-08-03 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
| CN108280064A (zh) * | 2018-02-28 | 2018-07-13 | 北京理工大学 | 分词、词性标注、实体识别及句法分析的联合处理方法 |
| CN108596149A (zh) * | 2018-05-10 | 2018-09-28 | 上海交通大学 | 基于条件对抗生成网络的运动序列生成方法 |
| CN108960063A (zh) * | 2018-06-01 | 2018-12-07 | 清华大学深圳研究生院 | 一种面向事件关系编码的视频中多事件自然语言描述算法 |
| CN109325440A (zh) * | 2018-09-19 | 2019-02-12 | 深圳市赢世体育科技有限公司 | 人体动作识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Cognitive Models of the Perception-Action Cycle: A View from the Brain;Vassilis Cutsuridis;《Proceedings of International Joint Conference on Neural Networks》;20130809;第24-30页 * |
| 人机协作中人的动作终点预测;陈友东等;《北京航空航天大学学报》;20190131;第45卷(第1期);第35-42页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109871893A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110767271B (zh) | 化合物性质预测方法、装置、计算机设备及可读存储介质 | |
| Nie et al. | Mutual learning to adapt for joint human parsing and pose estimation | |
| US10677686B2 (en) | Method and apparatus for autonomous system performance and grading | |
| CN109871893B (zh) | 基于循环时域保持生成的行为预测方法和装置 | |
| CN109754089B (zh) | 一种模型训练系统及方法 | |
| CN112052948A (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
| KR20200013577A (ko) | 기계 학습 시스템을 작동시키도록 구성되는 장치 | |
| Roli et al. | Dynamical properties of artificially evolved Boolean network robots | |
| Gong et al. | An accurate, robust visual odometry and detail-preserving reconstruction system | |
| KR102079027B1 (ko) | 딥러닝 기술을 이용한 위상최적설계 방법 | |
| Borges et al. | Integrating model verification and self-adaptation | |
| Hu et al. | A pattern-based modeling framework for simulating human-like pedestrian steering behaviors | |
| Suresh et al. | Dec-AIRL: Decentralized Adversarial IRL for Human-Robot Teaming. | |
| CN115222773A (zh) | 单点运动学习方法及装置 | |
| Talon et al. | Towards the Reusability and Compositionality of Causal Representations | |
| Singh et al. | Facial micro-expression recognition (FMER) using model compression | |
| Zhang et al. | LIDAR: learning from imperfect demonstrations with advantage rectification | |
| CN109829490A (zh) | 修正向量搜索方法、目标分类方法及设备 | |
| Hussein et al. | Detecting incorrect visual demonstrations for improved policy learning | |
| Luo et al. | Applied Automatic Machine Learning Process for Material Computation | |
| CN111355724A (zh) | 控制人工智能设备的方法和装置 | |
| US12048528B2 (en) | Annotation method, annotation device, storage medium, and identification system | |
| Dietz et al. | A connectionist network for skeptical abduction | |
| Hwang et al. | Information-theoretic state space model for multi-view reinforcement learning | |
| Feng et al. | Trust perception based human-robot collaborative indoor target search |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |