CN109902729B - 基于序列状态演进的行为预测方法及装置 - Google Patents

Abstract

本申请提出一种基于序列状态演进的行为预测方法及装置，其中，方法包括：获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。由此，通过该方法进行行为预测时提升了行为预测的性能。

Description

基于序列状态演进的行为预测方法及装置

技术领域

本申请涉及模式识别技术领域，尤其涉及一种基于序列状态演进的行为预测方法及装置。

背景技术

随着人体行为理解的快速发展，人体行为理解已经引起了广泛的兴趣并且成为了计算机视觉中的一个重要的领域。人体行为分析的快速发展使得动作预测已经成为人体动作分析的一个新的领域并且在很多应用中展现出其重要性，例如动作视频分析，异常行为检测和自动驾驶等。其中，动作预测是指从部分视频中推断出未完成的动作。

从观测到的序列中预测已经发生的部分动作是非常具有挑战性的，现有的动作预测方法主要分为两类：模板匹配和基于时域特征的分类方法。模板匹配预测动作是通过对动作进行模板匹配，这些模板包含稠密的表达和稀疏的表达。然而，稠密的模板匹配方法容易受到离散值的干扰，而稀疏的模板匹配方法在预测具有相似给你的动作时存在困难。基于时域特征的分类方法是从时域中提取特征来建模观测到的动作序列的趋势。但是，该方法忽略了后续未观测到的序列的趋势，这种趋势在理解完整的动作时是非常重要的。

现有的动作预测方法会受到部分动作的歧义性的干扰，因此，动作预测时如何挖掘部分动作和全部动作之间的关系以及如何消除部分动作的歧义性是亟待解决的技术问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种基于序列状态演进的行为预测方法，以解决了现有技术中行为预测方法不能够解决部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题。

本申请一方面实施例提出了一种基于序列状态演进的行为预测方法，包括：

获取当前周期的人体动作序列；

将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；

将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；

将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；

根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。

本申请实施例的基于序列状态演进的行为预测方法，通过获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。该方法通过将多个候选预测动作作为指导，生成出指定的动作，从而实现行为预测，解决了现有技术中的行为预测方法部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题，从而提升了行为预测的性能。

本申请又一方面实施例提出了一种基于序列状态演进的行为预测装置，包括：

第一获取模块，用于获取当前周期的人体动作序列；

筛选模块，用于将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；

第一生成模块，用于将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；

第二生成模块，用于将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；

确定模块，用于根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。

本申请实施例的基于序列状态演进的行为预测装置，通过获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。该方法通过将多个候选预测动作作为指导，生成出指定的动作，从而实现行为预测，解决了现有技术中的行为预测方法部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题，从而提升了行为预测的性能。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种基于序列状态演进的行为预测方法与传统方法的核心思想示意图；

图2为本申请实施例提供的一种基于序列状态演进的行为预测方法的流程示意图；

图3为本申请实施例提供的另一种基于序列状态演进的行为预测方法的流程示意图；

图4为本申请实施例提供的一种基于序列状态演进的行为预测方法示例图；

图5为本申请实施例提供的一种基于序列状态演进的行为预测装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

现有技术中，将观测到的动作序列输入到动作预测模型中，得到多个预设的预测动作的置信度，按照置信度从大到小的顺序将多个预设的预测动作进行排序，将置信度最高的预设的预测动作作为动作预测模型的预测结果输出。参见图1，图1中预设的预测动作为玩手机、打电话、挥手、穿鞋等，由于玩手机的动作的置信度最高，因此，动作预测模型将玩手机的动作作为预测动作输出。但是，现有技术中的行为预测方法不能够解决部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题。

针对上述现有技术存在的技术问题，本申请实施例中，通过从预设的多个预测动作中筛选出多个候选预测动作，并将多个候选动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成与多个候选预测动作对应的多个第一候选动作序列，进而分别将每个第一候选动作序列拼接在人体动作序列之后，得到多个第二候选动作序列，将多个第二候选动作序列输入到真实度判断模型中，将输出概率最高的第二候选动作序列对应的动作作为预测动作输出。

作为一种示例，参见图1，将观测到的动作序列输入到预测网络，得到预设的可能的动作的置信度，并根据置信度从大到小的顺序对可能的动作进行排序为：玩手机、打电话、挥手、穿鞋等，从多个可能的动作中筛选出候选预测动作，即，玩手机和打电话。将玩手机动作和打电话动作对应的分类标签分别与人体动作序列输入预设动作预测模型，得到对应的预测动作的概率值，此时打电话动作的概率值最高，因此，将打电话动作作为预测动作输出。

下面参考附图描述本申请实施例的基于序列状态演进的行为预测方法及装置。

图2为本申请实施例提供的一种基于序列状态演进的行为预测方法的流程示意图。

如图2所示，该基于序列状态演进的行为预测方法包括以下步骤：

步骤S101，获取当前周期的人体动作序列。

其中，人体动作序列可以为人体骨架序列，人体骨架序列是由人体骨架节点坐标值组成。

本申请实施例中，人体动作序列可以由运动捕获系统从训练视频中直接获取，也可以利用人体骨架估计算法从训练视频中提取得到。当采用人体骨架估计算法获取人体骨架节点坐标时，算法的设置不同，得到的人体骨架所包含的节点数目也不尽相同，其中一种常用的设置节点，包括：头部，颈部，左右肩膀，左右肘关节，左右腕关节，左右手掌，脊柱中心点，脊柱下端点，左右髋关节，左右膝关节，左右踝关节，以及左右脚掌。

需要说明的是，人体动作序列的获取属于现有技术，本申请对其不再赘述。

步骤S102，将人体动作序列输入到预设的预测网络，得到与动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和多个置信度从多个预测动作中筛选出多个候选预测动作。

本申请实施例中，将获取的当期周期的人体动作序列输入到预设的预测网络中，得到与动作序列对应的多个预测动作的多个置信度。进一步的，将多个预测动作的多个置信度按照从大到小的顺序进行排序，从多个预测动作中筛选出置信度靠前的几个预测动作作为候选预测动作。

作为一种示例，假设根据当前周期人体动作序列预设的四个预测动作为：玩手机、打电话、撕纸、穿鞋。将人体动作序列输入到预设的预测网络中，得到四个预测动作对应的置信度分别为：0.35、0.30、0.27、0.25。可以根据预测动作的置信度从四个预测动作中筛选出两个置信度最高的预测动作作为候选预测动作，即筛选出玩手机动作和打电话动作作为候选预测动作。

作为一种可能的实现方式，可将获取的人体动作序列输入公式(1)，得到多个候选预测动作，其中公式(1)如下：

其中，Φ为预设的筛选策略，用于根据多个预测动作的置信度从多个预测动作中筛选出多个候选预测动作，Q为预设的预测网络，S_t为人体动作序列，A_Q为多个候选预测动作。

步骤S103，将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成与多个候选预测动作对应的多个第一候选动作序列。

其中，预设动作预测模型，可以为生成式对抗网络(GennerativeAdversarialNetwork,简称GAN)，GAN是基于深度学习的一种强大的生成模型，可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。

需要说明的是，本申请实施例中，在使用GAN模型进行行为预测前，需要根据预先设定的生成对抗学习的损失函数对GAN模型进行训练，以使预测的结果更加准确。其中，生成对抗学习的损失函数公式(2)如下：

其中，

为根据公式(2)计算的一致性损失函数的最小值，min_Gmax_DL_GAN(D,G)为预设的生成对抗学习的损失函数值，k为目标动作序列，

为目标动作序列的期望值，

为生成的第二候选动作序列的期望值。

本申请实施例中，为每个候选预测动作对应的动作类别标记一个类别标签，例如，候选预测动作为玩手机的动作，可以标记为Lable1；候选预测动作为打电话的动作，可以标记为Lable2。

对每个候选预测动作对应的动作类别标记类别标签后，进一步的，将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，进而生成与多个候选预测动作对应的多个第一候选动作序列，在每个候选预测动作对应的动作类别标记类别标签的指导下，降低了生成多个第一候选动作序列的难度。

步骤S104，将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成与多个第一候选动作序列对应的多个第二候选动作序列。

步骤S105，根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将符合与真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。

其中，真实度判断模型可以为预设动作预测模型的判别器网络，判断条件可以为将多个候选动作序列输入到判别器网络，输出概率最高的第二候选动作序列作为目标动作序列。

作为一种可能的情况，将多个第二候选动作序列输入到预设动作预测模型的判别器网络，将输出概率最高的第二候选动作序列作为目标动作序列，并将目标动作序列确定为下一个周期的预测人体动作序列。

本申请实施例的基于序列状态演进的行为预测方法，通过获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。该方法通过将多个候选预测动作作为指导，生成出指定的动作，从而实现行为预测，解决了现有技术中的行为预测方法部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题，从而提升了行为预测的性能。

作为一种可能的情况，参见图3，在图2所述实施例的基础上，本申请实施例还可以包括如下步骤：

步骤S201，将每个第二候选动作序列输入全长度分类器，获取全长度分类器的输出结果。

其中，全长度分类器，是对多个第二候选动作序列对应的动作进行分类判别。

本申请实施例中，将每个第二候选动作序列输入全长度分类器，以对每个第二候选动作序列对应的动作进行分类，从而获取每个第二候选动作序列对应的动作所属的动作类别，作为全长度分类器的输出结果。

步骤S202，根据输出结果，确定动作类别与其所属标签不一致的第三候选动作序列，并根据第三候选动作序列更新多个第二候选动作序列。

其中，第三候选动作序列，是指生成的第二候选动作序列对应的动作类别，与其一起输入预设动作预测模型的生成器网络的候选预测动作对应的类别标签不一致的第二候选动作序列。

本申请实施例中，根据全长度分类器的输出结果，确定第二候选动作序列对应的动作类别与其对应的候选预测动作对应的类别标签是否一致，若一致，则说明生成的第二候选动作序列是正确的，若不一致，则说明生成的第二候选动作序列是不正确的。确定动作类别与其所属标签不一致的第二候选动作序列为第三候选动作序列，进一步的，删除多个第二候选动作序列中的第三候选动作序列，从而更新多个第二候选动作序列。

作为一种可能的情况，可以根据预设的一致性损失函数对预设的预测网络进行训练，以使生成的多个第二候选动作序列对应的动作类别与其对应的候选预测动作对应的类别标签一致，其中，预设的一致性损失函数值的计算公式如下公式(3)所示：

L_co_n＝||R_Q,G,C-A_Q||₁＝||C{(S_t,G(S_t,A_Q))}-A_Q||₁ (3)

其中，L_con为一致性损失函数，R为第二候选动作序列对应的动作，A_Q为候选预测动作，C为全长度分类器，G为生成器网络，S_t为人体动作序列，{}为对第一候选动作序列与人体动作序列进行拼接的操作。

本申请实施例中，将更新后的多个第二候选动作序列的每个第二候选动作序列输入预设判别器网络，获取与每个第二候选动作序列对应的判别值，确定判别值满足预设值的目标动作序列为下一个周期的预测人体动作序列。

作为一种示例，将更新后的多个第二候选动作序列的每个第二候选动作序列输入预设判别器网络，获取与每个第二候选动作序列对应的概率，输出概率最高的第二候选动作序列作为目标动作序列，以作为下一个周期的预测人体动作序列。

本申请实施例的基于序列状态演进的行为预测方法，将每个第二候选动作序列输入全长度分类器，获取全长度分类器的输出结果，根据输出结果，确定动作类别与其所属标签不一致的第三候选动作序列，并根据第三候选动作序列更新多个第二候选动作序列，进一步的，将更新后的多个第二候选动作序列的每个第二候选动作序列输入预设判别器网络，获取与每个第二候选动作序列对应的判别值，确定判别值满足预设值的目标动作序列为下一个周期的预测人体动作序列。该方式使得生成的第二候选动作序列的动作类别与其对应的候选预测对应的动作类别一致，并将更新后的第二候选动作序列输入预设判别器网络，能够选取中最可能的动作作为预测结果，从而提高了行为预测的性能。

作为一种示例，参见图4，将人体骨架序列输入预测网络，得到多个预测动作的对应的多个置信度，例如预测动作为玩手机的置信度为0.35，预测动作为打电话的置信度为0.30，预测动作为撕纸的置信度为0.27。根据多个预测动作对应的置信度的大小对多个预测动作进行排序，确定置信度排名靠前的多个预测动作为多个指导动作，将多个指导动作中每个指导动作对应的类别标签和人体骨架序列输入长短记忆网络(Long Short-TermMemory,简称LSTM)生成器，生成与多个指导动作对应的多个生成序列，将多个生成序列分别拼接在人体骨架序列之后，生成多个拼接后的生成序列，进一步的，将多个拼接后的生成序列输入LSTM判别器，输出多个拼接后的生成序列对应的发生概率，将概率值最大的拼接后的生成序列对应的动作类别作为预测结果输出。

本示例中，得到多个拼接后的生成序列后，将多个拼接后的生成序列输入LSTM分类器，以确定拼接后的生成序列的动作类别与所属的指导动作的动作类别是否一致，若动作类别一致，说明生成序列是正确的，若动作不一致，说明生成序列不正确。

举例来说，若指导动作为打电话，将打电话的动作类别标签与人体骨架序列输入LSTM生成器，如果生成序列对应的动作类别为玩手机，此时，生成序列对应的动作类别与指导动作的动作类别不一致，说明生成序列不正确。如果生成序列对应的动作类别为打电话，此时，生成序列对应的动作类别与指导动作的动作类别一致，说明生成序列正确，从而实现了在指导动作的指导下生成指定的动作，以补全不完整的动作序列，实现行为预测。

为了实现上述实施例，本申请实施例还提出基于序列状态演进的行为预测装置。

图5为本申请实施例提供的一种基于序列状态演进的行为预测装置的结构示意图。

如图5所示，该行为预测装置包括：第一获取模块110、筛选模块120、第一生成模块130、第二生成模块140以及确定模块150。

第一获取模块110，用于获取当前周期的人体动作序列。

筛选模块120，用于将人体动作序列输入到预设的预测网络，得到与动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和多个置信度从多个预测动作中筛选出多个候选预测动作。

第一生成模块130，用于将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成与多个候选预测动作对应的多个第一候选动作序列。

第二生成模块140，用于将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成与多个第一候选动作序列对应的多个第二候选动作序列。

确定模块150，用于根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将符合与真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。

作为一种可能的实现方式，行为预测装置，还包括：

第二获取模块，用于将每个第二候选动作序列输入全长度分类器，获取全长度分类器的输出结果。

更新模块，用于根据输出结果，确定动作类别与其所属标签不一致的第三候选动作序列，并根据第三候选动作序列更新多个第二候选动作序列。

作为另一种可能的实现方式，确定模块150，具体用于：

将更新后的多个第二候选动作序列的每个第二候选动作序列输入预设判别器网络，获取与每个第二候选动作序列对应的判别值；确定判别值满足预设值的目标动作序列为下一个周期的预测人体动作序列。

作为另一种可能的实现方式，行为预测装置，还包括：

训练模块，用于根据预设的一致性损失函数对所述预设的预测网络进行训练；所述预设的一致性损失函数的计算公式如下：

L_con＝||R_Q,G,C-A_Q||₁＝||C{(S_t,G(S_t,A_Q))}-A_Q||₁

其中，L_co_n为所述一致性损失函数，R为所述第二候选动作序列对应的动作，A_Q为所述候选预测动作，C为所述全长度分类器，G为所述生成器网络，S_t为所述人体动作序列，{}为对所述第一候选动作序列与所述人体动作序列进行拼接的操作。

作为另一种可能的实现方式，筛选模块120，具体用于：

将所述人体动作序列输入计算公式得到所述多个候选预测动作，其中，所述计算公式为：

其中，Φ为所述预设的筛选策略，用于根据所述多个置信度从所述多个预测动作中筛选出多个候选预测动作，Q为所述预设的预测网络，S_t为所述人体动作序列，A_Q为所述多个候选预测动作。

需要说明的是，前述对基于序列状态演进的行为预测方法实施例的解释说明也适用于该实施例的基于序列状态演进的行为预测装置，此处不再赘述。

本申请实施例的基于序列状态演进的行为预测装置，通过获取当前周期的人体动作序列；将人体动作序列输入到预设的预测网络，得到多个预测动作的多个置信度，并从多个预测动作中筛选出多个候选预测动作；将多个候选预测动作中每个候选预测动作对应的类别标签和人体动作序列输入预设动作预测模型的生成器网络，生成多个第一候选动作序列；将每个候选预测动作对应的第一候选动作序列拼接在人体动作序列之后，生成多个第二候选动作序列；根据预设的真实度判断模型对多个第二候选动作序列的真实度进行判断，将目标动作序列确定为下一个周期的预测人体动作序列。该方法通过将多个候选预测动作作为指导，生成出指定的动作，从而实现行为预测，解决了现有技术中的行为预测方法部分动作的歧义性，从而导致在动作预测的过程中出现预测错误的技术问题，从而提升了行为预测的性能。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于序列状态演进的行为预测方法，其特征在于，所述方法包括以下步骤：

获取当前周期的人体动作序列；

将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；

将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；

将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；

根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。

2.如权利要求1所述的行为预测方法，其特征在于，在所述根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断之前，还包括：

将每个第二候选动作序列输入全长度分类器，获取所述全长度分类器的输出结果；

根据所述输出结果，确定动作类别与其所属标签不一致的第三候选动作序列，并根据所述第三候选动作序列更新所述多个第二候选动作序列。

3.如权利要求1所述的行为预测方法，其特征在于，所述根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列，包括：

将更新后的所述多个第二候选动作序列的每个第二候选动作序列输入预设判别器网络，获取与所述每个第二候选动作序列对应的判别值；

确定所述判别值满足预设值的目标动作序列为下一个周期的预测人体动作序列。

4.如权利要求2所述的行为预测方法，其特征在于，在所述确定动作类别与其所属标签不一致的第三候选动作序列之后，还包括：

根据预设的一致性损失函数对所述预设的预测网络进行训练；所述预设的一致性损失函数的计算公式如下：

L_con＝||R_Q,G,C-A_Q||₁＝||C{(S_t,G(S_t,A_Q))}-A_Q||₁

其中，L_con为所述一致性损失函数，R为所述第二候选动作序列对应的动作，A_Q为所述候选预测动作，C为所述全长度分类器，G为所述生成器网络，S_t为所述人体动作序列，{}为对所述第一候选动作序列与所述人体动作序列进行拼接的操作。

5.如权利要求1所述的行为预测方法，其特征在于，所述将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作包括：

将所述人体动作序列输入计算公式得到所述多个候选预测动作，其中，所述计算公式为：

其中，φ为所述预设的筛选策略，用于根据所述多个预测动作的多个置信度从所述多个预测动作中筛选出多个候选预测动作，Q为所述预设的预测网络，S_t为所述人体动作序列，A_Q为所述多个候选预测动作。

6.一种基于序列状态演进的行为预测装置，其特征在于，所述装置包括：

第一获取模块，用于获取当前周期的人体动作序列；

筛选模块，用于将所述人体动作序列输入到预设的预测网络，得到与所述动作序列对应的多个预测动作的多个置信度，并根据预设筛选策略和所述多个置信度从所述多个预测动作中筛选出多个候选预测动作；

第一生成模块，用于将所述多个候选预测动作中每个候选预测动作对应的类别标签和所述人体动作序列输入预设动作预测模型的生成器网络，生成与所述多个候选预测动作对应的多个第一候选动作序列；

第二生成模块，用于将所述每个候选预测动作对应的第一候选动作序列拼接在所述人体动作序列之后，生成与所述多个第一候选动作序列对应的多个第二候选动作序列；

确定模块，用于根据预设的真实度判断模型对所述多个第二候选动作序列的真实度进行判断，将符合与所述真实度判断模型对应的判断条件的目标动作序列确定为下一个周期的预测人体动作序列。

7.如权利要求6所述的行为预测装置，其特征在于，所述行为预测装置，还包括：

第二获取模块，用于将每个第二候选动作序列输入全长度分类器，获取所述全长度分类器的输出结果；

更新模块，用于根据所述输出结果，确定动作类别与其所属标签不一致的第三候选动作序列，并根据所述第三候选动作序列更新所述多个第二候选动作序列。

8.如权利要求6所述的行为预测装置，其特征在于，所述确定模块，具体用于：

将更新后的所述多个第二候选动作序列的每个第二候选动作序列输入预设判别器网络，获取与所述每个第二候选动作序列对应的判别值；

确定所述判别值满足预设值的目标动作序列为下一个周期的预测人体动作序列。

9.如权利要求7所述的行为预测装置，其特征在于，所述行为预测装置，还包括：

训练模块，用于根据预设的一致性损失函数对所述预设的预测网络进行训练；所述预设的一致性损失函数的计算公式如下：

L_con＝||R_Q,G,C-A_Q||₁＝||C{(S_t,G(S_t,A_Q))}-A_Q||₁

其中，L_con为所述一致性损失函数，R为所述第二候选动作序列对应的动作，A_Q为所述候选预测动作，C为所述全长度分类器，G为所述生成器网络，S_t为所述人体动作序列，{}为对所述第一候选动作序列与所述人体动作序列进行拼接的操作。

10.如权利要求6所述的行为预测装置，其特征在于，所述筛选模块，具体用于：

将所述人体动作序列输入计算公式得到所述多个候选预测动作，其中，所述计算公式为：

其中，φ为所述预设的筛选策略，用于根据所述多个置信度从所述多个预测动作中筛选出多个候选预测动作，Q为所述预设的预测网络，S_t为所述人体动作序列，A_Q为所述多个候选预测动作。

Images