CN111814588A - 行为检测方法以及相关设备、装置 - Google Patents

Abstract

本申请公开了一种行为检测方法以及相关设备、装置，其中，行为检测方法包括：对待测视频中与行人对应的目标区域进行人体关键点检测，得到目标区域的实际关键点信息；从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为待测序列；按照待测序列中目标区域在待测视频中的时序位置，将待测序列划分为第一子序列和第二子序列；对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息；利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果。上述方案，能够提高行为检测的准确性。

Description

行为检测方法以及相关设备、装置

技术领域

本申请涉及信息技术领域，特别是涉及一种行为检测方法以及相关设备、装置。

背景技术

一直以来，公共安全都是社会关注的热门话题之一，特别是在当今大交通时代的地铁、高铁等场所，以及金融时代的银行等场所。有鉴于此，有必要对行人进行行为检测。然而，现有的行为检测方式往往存在行为检测的准确率较低的问题。故此，如何提高行为检测的准确率成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种行为检测方法以及相关设备、装置，能够提高行为检测的准确率。

为了解决上述问题，本申请第一方面提供了一种行为检测方法，包括：对待测视频中与行人对应的目标区域进行人体关键点检测，得到目标区域的实际关键点信息；从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为待测序列；按照待测序列中目标区域在待测视频中的时序位置，将待测序列划分为第一子序列和第二子序列；对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息；利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果。

为了解决上述问题，本申请第二方面提供了一种行为检测设备，包括相互耦接的存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的行为检测方法。

为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于上述第一方面中的行为检测方法。

上述方案，通过对待测视频中与行人对应的目标区域进行人体关键点检测，得到目标区域的实际关键点信息，并从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为待测序列，以按照待测序列中目标区域在待测视频的时序位置，将待测序列划分为第一子序列和第二子序列，从而对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，进而利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果，故能够利用第一子序列的实际关键点信息预测得到与第一子序列不同时序位置的第二子序列的预测关键点信息，从而可以利用第二子序列在理论上的预测关键点信息和实际情况下的实际关键点信息之间的差异，进而能够有利于确定实际情况偏离理论预测的程度，故此，能够有利于提高行为检测的准确率。

附图说明

图1是本申请行为检测方法一实施例的流程示意图；

图2是行为检测一实施例的状态示意图；

图3是图1中步骤S14一实施例的流程示意图；

图4是本申请行为检测方法另一实施例的流程示意图；

图5是行为检测另一实施例的状态示意图；

图6是本申请行为检测装置一实施例的框架示意图；

图7是本申请行为检测设备一实施例的框架示意图；

图8是本申请存储装置一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请行为检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：对待测视频中与行人对应的目标区域进行人体关键点检测，得到目标区域的实际关键点信息。

待测视频可以是监控相机或者是手机、平板电脑等移动终端对检测场景拍摄得到的。例如，待测视频可以是对地铁站、高铁站、银行等检测场景拍摄得到的，具体可以根据实际应用需要进行设置，在此不做限定。

待测视频可以包括多个图像帧，例如，可以包括100个图像帧、200个图像帧、300个图像帧等等，在此不做限定。具体地，可以对待测视频的各图像帧中与行人对应的目标区域进行人体关键点检测，从而得到目标区域的实际关键点信息。在一个实施场景中，待测视频可以在线拍摄得到的，从而可以一边拍摄视频，一边对拍摄得到的待测视频进行行为检测，进而可以提高行为检测的实时性。

在一个实施场景中，可以利用行人检测模型对待测视频所包含的各图像帧进行目标检测，得到待测视频中与行人对应的目标区域，即得到待测视频的各图像帧中与行人对应的目标区域。在一个具体的实施场景中，行人检测模型可以包括但不限于：YOLO(YouOnly Look Once)、Faster RCNN(Faster Region with Convolution Neural Network)、SSD(Single Shot MultiBox Detector)，具体可以根据实际应用需要进行设置，在此不做限定。例如，为了提高对多尺度的行人进行检测，行人检测模型可以采用YOLO V3，其他情况可以视实际需要进行设置，在此不再一一举例。通过利用行人检测模型可以检测得到待测视频的各图像帧中与不同行人对应的目标区域，例如，可以检测得到图像帧1中行人A的目标区域、行人B的目标区域、行人C的目标区域；可以检测得到下一帧即图像帧2中行人A的目标区域、行人B的目标区域、行人C的目标区域，以此类推，在此不再一一举例。在另一个具体的实施场景中，可以采用标注有行人的实际区域的样本图像训练得到行人检测模型。具体地，可以采用行人检测模型对样本图像进行检测，得到行人的预测区域，再利用行人的实际区域和预测区域之间的差异，调整行人检测模型的网络参数，并重复采用行人检测模型对样本图像进行检测，得到行人的预测区域的步骤以及后续步骤，直至满足预设训练结束条件为止。具体地，预设训练结束条件可以包括训练次数达到一预设次数阈值，或者，预设训练结束条件还可以包括实际区域和预测区域的差异小于一预设差异阈值，在此不做限定。此外，还可以采用帧差法对待测视频的各图像帧进行检测，得到行人的目标区域。帧差法的基本原理就是在相邻图像帧间采用基于像素的时间差分通过闭值化提取出图像帧中的运动区域，以作为行人的目标区域，具体在此不再赘述。

在一个实施场景中，可以采用关键点检测模型对目标区域进行关键点检测，得到目标区域的实际关键点信息。在一个具体的实施场景中，关键点检测模型可以包括但不限于：Alpha Pose、Open Pose，在此不做限定，具体可以根据实际应用需要进行设置，在此不做限定。例如，为了提高关键点检测的速度和精度，可以采用Alpha Pose对目标区域进行关键点检测。目标区域的实际关键点信息包括目标区域中行人的五官(如眼、耳、口、鼻)、四肢(如腕部、肘部、肩部、髋部、膝盖、踝部)等关键点，从而根据关键点可以描述人体骨骼信息，例如，行人的关键点可以包括但不限于：头顶、五官、颈部、四肢等主要关节部位，从而通过连接头顶与颈部的关键点，可以描述人体颈椎骨骼信息，通过连接四肢关键点，可以描述人体手、腿、躯干等主要骨骼信息。故此，人体的关键点信息可以描述人体的行为动作，例如，正常行走的行人，髋部关键点和膝盖关键点连线所表示的大腿骨与膝盖关键点和踝部关键点连接所表示的小腿骨的夹角一般较大，而奔跑中的行人，由于大腿抬高，该夹角一般会变小；或者，正常行走的行人，手臂自然下垂，故腕部和肘部关键点连线所表示的小臂与肘部和肩膀关键点连线所表示的大臂的夹角一般较大，而打架斗殴的行人，由于存在挥拳等动作，该夹角一般较小，其他情况可以以此类推，在此不再一一举例。在另一个具体的实施场景中，可以采用标注有人体实际关键点的样本图像训练得到关键点检测模型。具体地，可以采用关键点检测模型对样本图像进行检测，得到预测关键点，再利用实际关键点和预测关键点之间的差异，调整关键点检测模型的网络参数，并重复执行采用关键点检测模型对样本图像进行检测的步骤以及后续步骤，直至满足预设训练结束条件为止。具体地，预设训练结束条件可以包括训练次数达到一预设次数阈值，或者，预设训练结束条件还可以包括实际关键点和预测关键点的差异小于一预设差异阈值，在此不做限定。

步骤S12：从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为待测序列。

待测视频的各图像帧中可能会包含不同行人，例如，在地铁、高铁等行人密集场所，待测视频的各帧图像中往往会包含不同行人，故此，为了对不同行人进行行为检测，可以从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为该行人的待测序列，且由于目标区域经过人体关键点检测，故待测序列中的每一目标区域还包括检测得到的实际关键点信息。例如，待测视频包含100帧图像，待测视频中包括行人A、行人B、行人C，则可以从待测视频的各图像帧中分别提取行人A对应的目标区域，即从第1帧图像中提取行人A对应的目标区域，从第2帧图像中提取行人A对应的目标区域，从第3帧图像中提取行人A对应的目标区域，以此类推，直至从第100帧中提取行人A对应的目标区域，得到行人A的待测序列，行人B和行人C的提取方式，可以以此类推，从而得到行人B的待测序列和行人C的待测序列。

在一个实施场景中，为了准确快速地确定与同一行人对应的目标区域，可以利用预设目标跟踪方式对各图像帧中的目标区域进行跟踪检测，确定与同一行人对应的目标区域，从而提取各图像帧中与同一行人对应的目标区域，作为待测序列。在一个具体的实施场景中，预设目标跟踪方式可以包括但不限于Meanshift(均值漂移)、Camshift(Continuously Adaptive Mean-Shift，连续自适应均值漂移)，在此不做限定。Meanshift是基于密度的非参数聚类算法，其基本思想是假设不同簇类的数据集符合不同的概率密度分布，找到任一样本点密度增大的最快方向，样本密度高的区域对应于该分布的最大值，这些样本点最终会在局部密度最大值收敛，且收敛到相同局部最大值的点被认为是同一簇类的成员。Camshift是对Meanshift的改进，Camshift的基本思想是将视频中的所有图像帧作Meanshift运算，并将上一帧的结果(即搜索框的中心和大小)作为下一帧Meanshift运算的搜索框的初始值，如此迭代。

步骤S13：按照待测序列中目标区域在待测视频中的时序位置，将待测序列划分为第一子序列和第二子序列。

具体地，可以将在待测视频中时序位置靠前的目标区域和在待测视频中时序位置靠后的目标区域分别划分，作为第一子序列和第二子序列。

在一个具体的实施场景中，可以将待测序列中的目标区域在待测视频中由先至后的顺序进行排序，并将位于前第一预设数量的目标区域的组合作为第一子序列，将位于后第一预设数量的目标区域的组合作为第二子序列。具体地，第一预设数量可以是待测序列中目标区域数量的一半。以待测视频包含32帧图像为例，行人A的待测序列包含32个目标区域，则可以将这32个目标区域按照其在待测视频中由先至后的顺序进行排序，从而可以将前16个目标区域的组合作为第一子序列，将后16个目标区域的组合作为第二子序列，其他情况可以以此类推，在此不再一一举例。

在另一个具体的实施场景中，在待测序列所包含的目标区域较多时，为了提高后续行为检测的速度和精度，还可以将待测序列中的目标区域在待测视频中由先至后的顺序进行排序，并将排序后的待测序列划分为至少一个子序列，且每个子序列包含第二预设数量个目标区域，第二预设数量大于第一预设数量，再将子序列中位于前第一预设数量的目标区域的组合作为第一子序列，将子序列中位于后第一预设数量的目标区域的组合作为第二子序列。以待测视频包含96帧图像为例，行人A的待测序列包括96个目标区域，则可以将待测序列划分为3个包含32个目标区域的子序列，并将每个子序列中前16个目标区域的组合作为第一子序列，后16个目标区域的组合作为第二子序列，从而可以得到3组第一子序列和第二子序列。在其他实施场景中，第一预设数量和第二预设数量也可以为其他数值，在此不做限定。故此，通过将待测序列进一步划分为至少一个子序列，从而将每个子序列划分为第一子序列和第二子序列，从而可以降低后续每次行为检测时所要检测的数据量，故可以提高行为检测的速度，且由于提高了待测视频的检测频率，故可以提高行为检测的精度。

步骤S14：对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息。

在一个实施场景中，为了降低样本收集难度，可以采集不存在异常行为的样本序列，例如，可以采集行人正常行走的样本序列。并对不存在异常行为的样本序列进行分析，得到不存在异常行为的行人的关键点在时序维度上的变化情况，从而可以利用该变化情况对第一子序列的实际关键点信息进行预测处理，得到理论上第二子序列的预测关键点信息。例如，该变化情况是不存在异常行为的行人的关键点在时序维度上的变化情况，则预测关键点信息是行人不存在异常时理论上的关键点信息。具体地，该变化情况可以包括：髋部关键点和膝盖关键点连线所表示的大腿骨与膝盖关键点和踝部关键点连接所表示的小腿骨的夹角在150度至180度的区间范围内变化，则可以利用该变化情况预测得到的第二子序列的预测关键点信息可以包括：髋部关键点和膝盖关键点连线所表示的大腿骨与膝盖关键点和踝部关键点连接所表示的小腿骨的夹角在150度至180度的区间范围内变化。

在另一个实施场景中，为了降低样本收集难度，并提高预测处理的效率，还可以利用行为检测模型对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，且行为检测模型时利用不存在异常行为的样本序列训练得到的。不存在异常行为的样本序列可以参阅前述实施场景中的相关描述，在此不再赘述。故此，通过利用行为检测模型进行关键点信息的预测处理，可以提高预测处理的效率，进而能够有利于提高行为检测的效率。

在一个实施场景中，当待测序列被划分为至少一个子序列，且每个子序列被划分为一组第一子序列和第二子序列时，可以对每组子序列中的第一子序列的实际关键点信息进行预测处理，得到对应组的第二子序列的预测关键点信息。例如，待测序列被划分为3个子序列，每个子序列被划分为一组第一子序列和第二子序列，则可以分别对每组子序列中的第一子序列的实际关键点信息进行预测处理，得到对应组的第二子序列的预测关键点信息。当待测序列被划分为其他数值个子序列时，可以以此类推，在此不再一一举例。

步骤S15：利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果。

请结合参阅图2，图2是行为检测一实施例的状态示意图。如图2所示，利用第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，并计算第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果。

在一个实施场景中，可以采用预设差异函数计算第二子序列的实际关键点信息和预测关键点信息的差异值，并判断差异值是否满足预设条件，若满足预设条件，则可以确定行为检测结果为待测序列所属行人存在异常行为。具体地，预设差异函数可以包括但不限于：欧氏距离函数、余弦距离函数等，从而可以利用预设差异函数可以度量预测关键点信息和实际关键点信息之间的差异，该差异值越小，说明第二子序列的预测关键点信息越接近于实际关键点信息，反之，该差异值越大，说明第二子序列的预测关键点信息越偏离于实际关键点信息。在一个具体的实施场景中，预设条件可以包括差异值大于预设阈值。此外，当差异值不满足预设条件时，可以确定行为检测结果为待测序列所属行人不存在异常行为。在另一个具体的实施场景中，上述预设阈值可以基于待测视频的拍摄场景设定。例如，在地铁、高铁等交通场景，由于存在行人赶时间而疾走等情况，从而导致第二子序列的预测关键点信息偏离于实际关键点信息，故此，可以将预设阈值设置得稍大一些；或者，在银行等金融场景，一般不存在疾走等情况，故第二子序列的预测关键点信息一般接近于实际关键点信息，故此，可以将预设阈值设置得稍小一些，具体可以根据实际应用需要进行设置，在此不再一一举例。

在一个实施场景中，当待测序列被划分为至少一个子序列，且每个子序列被划分为一组第一子序列和第二子序列时，可以利用每组第二子序列的预测关键点信息和实际关键点信息的差异，得到待测序列所属行人在每个子序列对应的时序的行为检测结果。例如，每个子序列分别对应于实际时间9点、9点01分、9点02分，则可以得到在实际时间9点、9点01分、9点02分时行人的行为检测结果，从而可以输出各个时刻的行为检测结果，进而能够有利于降低漏报率。在一个具体的实施场景中，还可以对待测序列所属行人在每个子序列对应的时序的行为检测结果进行分析，确定待测视频中行人的行为检测结果。仍以每个子序列分别对应于实际时间9点、9点01分、9点02分为例，若对应实际时间9点的检测结果为行人存在异常行为，而之后的9点01分、9点02分的检测结果均为行人不存在异常行为，则可以确定待测视频中行人的检测结果不存在异常行为，从而可以结合多个时刻的行为检测结果，确定行人的行为检测结果，进而能够有利于降低误报率。

上述方案，通过对待测视频中与行人对应的目标区域进行人体关键点检测，得到目标区域的实际关键点信息，并从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为待测序列，以按照待测序列中目标区域在待测视频的时序位置，将待测序列划分为第一子序列和第二子序列，从而对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，进而利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果，故能够利用第一子序列的实际关键点信息预测得到与第一子序列不同时序位置的第二子序列的预测关键点信息，从而可以利用第二子序列在理论上的预测关键点信息和实际情况下的实际关键点信息之间的差异，进而能够有利于确定实际情况偏离理论预测的程度，故此，能够有利于提高行为检测的准确率。

请参阅图3，图3是图1中步骤S14一实施例的流程示意图。具体地，图3是利用行为检测模型对第一子序列的实际关键点信息进行预测处理一实施例的流程示意图。行为检测模型可以包括编码器和解码器，预测处理具体可以包括如下步骤：

步骤S141：利用编码器对第一子序列的实际关键点信息进行编码处理，得到第一子序列的编码关键点信息。

在一个实施场景中，行为检测模型可以为一自编码器(Auto Encoder)，自编码器是一种能够通过无监督学习，学到输入数据高效表示的神经网络。

利用行为检测模型的编码器对第一子序列的实际关键点信息进行编码处理，能够得到第一子序列的编码关键点信息。

步骤S142：利用解码器对第一子序列的编码关键点信息进行解码处理，得到第一子序列的解码关键点信息。

在得到第一子序列的编码关键点信息之后，可以进一步采用行为检测模型的解码器对编码关键点信息进行解码处理，得到第一子序列的解码关键点信息。

在一个实施场景中，在利用行为检测模型进行预处理之前，还可以利用样本序列对行为检测模型进行训练。具体地，可以按照样本序列中各个样本图像的时序位置，将样本序列划分为第一样本序列和第二样本序列，且样本序列包含样本图像中行人的样本实际关键点信息，样本序列中行人不存在异常行为，从而可以利用行为检测模型对第一样本序列的样本实际关键点信息进行预测处理，得到第二样本序列的样本预测关键点信息，具体地，可以采用行为检测模型的编码器对第一样本序列的样本实际关键点信息进行编码处理，得到第一样本序列的样本编码关键点信息，并采用行为检测模型的解码器对第一样本序列的样本编码关键点信息进行解码处理，得到第一样本序列的样本解码关键点信息，从而将第一样本序列的样本解码关键点信息作为第二样本序列的样本预测关键点信息，并利用第二样本序列的样本实际关键点信息和样本预测关键点信息的差异，调整行为检测模型的网络参数，即调整行为检测模型的编码器和解码器的网络参数，并重复执行上述利用行为检测模型对第一样本序列的样本实际关键点信息进行预测处理的步骤以及后续步骤，直至满足预设训练结束条件为止。预设训练结束条件可以包括：训练次数达到预设次数阈值，或者，预设训练结束条件还可以包括：第二样本序列的样本实际关键点信息和样本预测关键点信息的差异小于预设阈值，从而使得行为检测模型能够利用第一子序列的实际关键点信息预测得到行人无异常行为时，理论上第二子序列的预测关键点信息。

步骤S143：将第一子序列的解码关键点信息，作为第二子序列的预测关键点信息。

在得到第一子序列的解码关键点信息后，将第一子序列的解码关键点信息作为第二子序列的预测关键点信息。

区别于前述实施例，行为检测模型包括编码器和解码器，从而利用编码器对第一子序列的实际关键点信息进行编码处理，得到第一子序列的编码关键点信息，并利用解码器对第一子序列的编码关键点信息进行解码处理，得到第一子序列的解码关键点信息，进而将第一子序列的解码关键点信息，作为第二子序列的预测关键点信息，能够有利于提高预测处理的准确性，进而能够有利于提高行为检测的准确性。

请参阅图4，图4是本申请行为检测方法另一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S41：利用行人检测模型对待测视频所包含的各图像帧进行目标检测，得到待测视频中与行人对应的目标区域。

请结合参阅图5，图5是行为检测另一实施例的状态示意图。如图5所示，在获取待测视频之后，可以利用行人检测模型对待测视频所包含的各图像帧进行目标检测，得到待测视频中与行人对应的目标区域。具体可以参阅前述实施例中的相关步骤，在此不再赘述。

步骤S42：利用预设目标跟踪方式对各图像帧中的目标区域进行跟踪检测，确定与同一行人对应的目标区域。

请继续结合参阅图5，在得到待测视频中与行人对应的目标区域之后，可以利用预设目标跟踪方式对各图像帧中的目标区域进行跟踪检测，确定与同一行人对应的目标区域。具体可以参阅前述实施例中的相关步骤，在此不再赘述。

步骤S43：利用关键点检测模型对目标区域进行关键点检测，得到目标区域的实际关键点信息。

请继续结合参阅图5，在确定与同一行人对应的目标区域之后，可以利用关键点检测模型对目标区域进行关键点检测，得到目标区域的实际关键点信息。具体可以参阅前述实施例中的相关步骤，在此不再赘述。

步骤S44：提取各图像帧中与同一行人对应的目标区域，作为待测序列。

请继续结合参阅图5，在得到目标区域的实际关键点信息之后，可以提取各图像帧中与同一行人对应的目标区域，作为待测序列。如图5所示，具体地，可以得到行人1的待测序列1、行人2的待测序列2、……、行人N的待测序列N，N的具体数值可以根据实际应用情况进行设置，在此不做限定。具体可以参阅前述实施例中的相关步骤，在此不再赘述。

步骤S45：按照待测序列中目标区域在待测视频中的时序位置，将待测序列划分为第一子序列和第二子序列。

具体可以参阅前述实施例中的相关步骤。

步骤S46：利用行为检测模型对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息。

具体可以参阅前述实施例中的相关步骤。

步骤S47：利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果。

具体可以参阅前述实施例中的相关步骤。

区别于前述实施例，利用行人检测模型对待测视频所包含的各图像帧进行目标检测，得到待测视频中与行人对应的目标区域，并利用预设目标跟踪方式对各图像帧中的目标区域进行跟踪检测，确定与同一行人对应的目标区域，从而利用关键点检测模型对目标区域进行关键点检测，得到目标区域的实际关键点信息，并提取各图像帧中与同一行人对应的目标区域，作为待测序列，按照待测序列中目标区域在待测视频中的时序位置，将待测序列划分为第一子序列和第二子序列，利用行为检测模型对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，进而利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果，能够提高行为检测的效率。

请参阅图6，图6是本申请行为检测装置60一实施例的框架示意图。行为检测装置60包括：关键点检测模块61、区域提取模块62、序列划分模块63、预测处理模块64和结果获取模块65，关键点检测模块61用于对待测视频中与行人对应的目标区域进行人体关键点检测，得到目标区域的实际关键点信息；区域提取模块62用于从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为待测序列；序列划分模块63用于按照待测序列中目标区域在待测视频中的时序位置，将待测序列划分为第一子序列和第二子序列；预测处理模块64用于对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息；结果获取模块65用于利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果。

上述方案，通过对待测视频中与行人对应的目标区域进行人体关键点检测，得到目标区域的实际关键点信息，并从待测视频的各图像帧中分别提取与同一行人对应的目标区域，作为待测序列，以按照待测序列中目标区域在待测视频的时序位置，将待测序列划分为第一子序列和第二子序列，从而对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，进而利用第二子序列的实际关键点信息和预测关键点信息的差异，得到待测序列所属行人的行为检测结果，故能够利用第一子序列的实际关键点信息预测得到与第一子序列不同时序位置的第二子序列的预测关键点信息，从而可以利用第二子序列在理论上的预测关键点信息和实际情况下的实际关键点信息之间的差异，进而能够有利于确定实际情况偏离理论预测的程度，故此，能够有利于提高行为检测的准确率。

在一些实施例中，预测处理模块64具体用于利用行为检测模型对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，行为检测模型是利用不存在异常行为的样本序列训练得到的。

区别于前述实施例，利用行为检测模型对第一子序列的实际关键点信息进行预测处理，得到第二子序列的预测关键点信息，能够提高预测处理的效率，且利用不存在异常行为的样本序列训练得到行为检测模型，能够免于收集包含异常行为的样本序列的麻烦，降低样本收集的难度。

在一些实施例中，行为检测模型包括一编码器和一解码器，预测处理模块64包括编码子模块，用于利用编码器对第一子序列的实际关键点信息进行编码处理，得到第一子序列的编码关键点信息，预测处理模块64包括解码子模块，用于利用解码器对第一子序列的编码关键点信息进行解码处理，得到第一子序列的解码关键点信息，预测处理模块64包括获取子模块，用于将第一子序列的解码关键点信息，作为第二子序列的预测关键点信息。

区别于前述实施例，行为检测模型包括编码器和解码器，从而利用编码器对第一子序列的实际关键点信息进行编码处理，得到第一子序列的编码关键点信息，并利用解码器对第一子序列的编码关键点信息进行解码处理，得到第一子序列的解码关键点信息，进而将第一子序列的解码关键点信息，作为第二子序列的预测关键点信息，能够有利于提高预测处理的准确性，进而能够有利于提高行为检测的准确性。

在一些实施例中，行为检测装置60还包括样本划分模块，用于按照样本序列中各个样本图像的时序位置，将样本序列划分为第一样本序列和第二样本序列，样本序列包含样本图像中行人的样本实际关键点信息，行为检测装置60还包括样本预测模块，用于利用行为检测模型对第一样本序列的样本实际关键点信息进行预测处理，得到第二样本序列的样本预测关键点信息，行为检测装置60还包括参数调整模块，用于利用第二样本序列的样本实际关键点信息和样本预测关键点信息的差异，调整行为检测模型的网络参数。

区别于前述实施例，按照样本序列中各个样本图像的时序位置，将样本序列划分为第一样本序列和第二样本序列，且样本序列包含样本图像中行人的样本实际关键点信息，并利用行为检测模型对第一样本序列的样本实际关键点信息进行预测处理，得到第二样本序列的样本预测关键点信息，从而利用第二样本序列的样本实际关键点信息和样本预测关键点信息的差异，调整行为检测模型的网络参数，能够提高行为检测模型的准确性。

在一些实施例中，结果获取模块65包括差异计算子模块，用于利用预设差异函数计算第二子序列的实际关键点信息和预测关键点信息的差异值，结果获取模块65包括异常确定子模块，用于在差异值满足预设条件，确定行为检测结果为待测序列所属行人存在异常行为。

区别于前述实施例，通过利用预设差异函数计算第二子序列的实际关键点信息和预测关键点信息的差异值，并在差异值满足预设条件时，确定行为检测结果为待测序列所属行人存在异常行为，能够提高确定异常行为的效率。

在一些实施例中，预设条件包括：异常值大于预设阈值，且预设阈值是基于待测视频的拍摄场景设定的。

区别于前述实施例，将预设条件设置为包括异常值大于预设阈值，并将预设阈值设置为是基于待测视频的拍摄场景设定的，能够有利于针对不同的拍摄场景设定不同的预设阈值，从而能够有利于提高行为检测的适用范围。

在一些实施例中，序列划分模块63包括排序子模块，用于将待测序列中目标区域在待测视频中由先至后的顺序进行排序，序列划分模块63包括第一划分子模块，用于将位于前第一预设数量的目标区域的组合作为第一子序列，并将位于后第一预设数量的目标区域的组合作为第二子序列。

区别于前述实施例，通过将待测序列中目标区域在待测视频中由先至后的顺序进行排序，并将位于前第一预设数量的目标区域的组合作为第一子序列，并将位于后第一预设数量的目标区域的组合作为第二子序列，能够将目标区域按照时序先后划分为第一子序列和第二子序列，故后续能够基于不同时序的子序列进行行为检测，从而能够有利于提高行为检测的准确性。

在一些实施例中，序列划分模块63还包括第二划分子模块，用于将排序后的待测序列划分为至少一个子序列，每个子序列包含第二预设数量个目标区域，且第二预设数量大于第一预设数量，第一划分子模块具体用于将子序列中位于前第一预设数量的目标区域的组合作为第一子序列，并将子序列中位于后第一预设数量的目标区域的组合作为第二子序列。

区别于前述实施例，通过将排序后的待测序列划分为至少一个子序列，每个子序列包含第二预设数量个目标区域，且第二预设数量大于第一预设数量，并将子序列中位于前第一预设数量的目标区域的组合作为第一子序列，并将子序列中位于后第一预设数量的目标区域的组合作为第二子序列，能够有利于在待测序列所包含的目标区域较多时，在时序维度上分时序进行行为检测，从而能够提高行为检测的效率和精度。

在一些实施例中，关键点检测模块61包括第一检测子模块，用于利用行人检测模型对待测视频所包含的各图像帧进行目标检测，得到待测视频中与行人对应的目标区域，关键点检测模块61包括第二检测子模块，用于利用关键点检测模型对目标区域进行关键点检测，得到目标区域的实际关键点信息。

区别于前述实施例，通过利用行人检测模型对待测视频所包含的各图像帧进行目标检测，得到待测视频中与行人对应的目标区域，并利用关键点检测模型对目标区域进行关键点检测，得到目标区域的实际关键点信息，能够有利于提高目标检测和关键点检测的效率。

在一些实施例中，区域提取模块62包括目标跟踪子模块，用于利用预设目标跟踪方式对各图像帧中的目标区域进行跟踪检测，确定与同一行人对应的目标区域，区域提取模块62包括区域提取子模块，用于提取各图像帧中与同一行人对应的目标区域，作为待测序列。

区别于前述实施例，通过利用预设目标跟踪方式对各图像帧中的目标区域进行跟踪检测，确定与同一行人对应的目标区域，并提取各图像帧中与同一行人对应的目标区域，作为待测序列，能够有利于提高获取待测序列的速度和准确性，从而能够有利于提高后续行为检测的准确性。

请参阅图7，图7是本申请行为检测设备70一实施例的框架示意图。行为检测设备70包括相互耦接的存储器71和处理器72，存储器71存储有程序指令，处理器72用于执行程序指令以实现上述任一行为检测方法实施例中的步骤。

具体而言，处理器72用于控制其自身以及存储器71以实现上述任一行为检测方法实施例中的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由多个集成电路芯片共同实现。

上述方案，能够提高行为检测的准确率。

请参阅图8，图8为本申请存储装置80一实施例的框架示意图。存储装置80存储有能够被处理器运行的程序指令801，程序指令801用于实现上述任一行为检测方法实施例中的步骤。

上述方案，能够提高行为检测的准确率。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种行为检测方法，其特征在于，包括：

对待测视频中与行人对应的目标区域进行人体关键点检测，得到所述目标区域的实际关键点信息；

从所述待测视频的各图像帧中分别提取与同一行人对应的所述目标区域，作为待测序列；

按照所述待测序列中所述目标区域在所述待测视频中的时序位置，将所述待测序列划分为第一子序列和第二子序列；

对所述第一子序列的实际关键点信息进行预测处理，得到所述第二子序列的预测关键点信息；

利用所述第二子序列的实际关键点信息和预测关键点信息的差异，得到所述待测序列所属行人的行为检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一子序列的实际关键点信息进行预测处理，得到所述第二子序列的预测关键点信息包括：

利用行为检测模型对所述第一子序列的实际关键点信息进行预测处理，得到所述第二子序列的预测关键点信息；

其中，所述行为检测模型是利用不存在异常行为的样本序列训练得到的。

3.根据权利要求2所述的方法，其特征在于，所述行为检测模型包括一编码器和一解码器；所述利用行为检测模型对所述第一子序列的实际关键点信息进行预测处理，得到所述第二子序列的预测关键点信息包括：

利用所述编码器对所述第一子序列的实际关键点信息进行编码处理，得到所述第一子序列的编码关键点信息；

利用所述解码器对所述第一子序列的编码关键点信息进行解码处理，得到所述第一子序列的解码关键点信息；

将所述第一子序列的解码关键点信息，作为所述第二子序列的预测关键点信息。

4.根据权利要求2所述的方法，其特征在于，所述利用行为检测模型对所述第一子序列的实际关键点信息进行预测处理，得到所述第二子序列的预测关键点信息之前，所述方法还包括：

按照所述样本序列中各个样本图像的时序位置，将所述样本序列划分为第一样本序列和第二样本序列；其中，所述样本序列包含所述样本图像中行人的样本实际关键点信息；

利用所述行为检测模型对所述第一样本序列的样本实际关键点信息进行预测处理，得到所述第二样本序列的样本预测关键点信息；

利用所述第二样本序列的样本实际关键点信息和样本预测关键点信息的差异，调整所述行为检测模型的网络参数。

5.根据权利要求1所述的方法，其特征在于，所述利用所述第二子序列的实际关键点信息和预测关键点信息的差异，得到所述待测序列所属行人的行为检测结果包括：

利用预设差异函数计算所述第二子序列的实际关键点信息和预测关键点信息的差异值；

若所述差异值满足预设条件，则确定所述行为检测结果为所述待测序列所属行人存在异常行为。

6.根据权利要求5所述的方法，其特征在于，所述预设条件包括：所述异常值大于预设阈值；

其中，所述预设阈值是基于所述待测视频的拍摄场景设定的。

7.根据权利要求1所述的方法，其特征在于，所述按照所述待测序列中所述目标区域在所述待测视频中的时序位置，将所述待测序列划分为第一子序列和第二子序列包括：

将所述待测序列中所述目标区域在所述待测视频中由先至后的顺序进行排序；

将位于前第一预设数量的所述目标区域的组合作为所述第一子序列，并将位于后所述第一预设数量的所述目标区域的组合作为所述第二子序列。

8.根据权利要求7所述的方法，其特征在于，所述将位于前第一预设数量的所述目标区域的组合作为所述第一子序列，并将位于后所述第一预设数量的所述目标区域的组合作为所述第二子序列之前，所述方法还包括：

将排序后的所述待测序列划分为至少一个子序列；其中，每个所述子序列包含第二预设数量个所述目标区域，且所述第二预设数量大于所述第一预设数量；

所述将位于前第一预设数量的所述目标区域的组合作为所述第一子序列，并将位于后所述第一预设数量的所述目标区域的组合作为所述第二子序列包括：

将所述子序列中位于前所述第一预设数量的所述目标区域的组合作为所述第一子序列，并将所述子序列中位于后所述第一预设数量的所述目标区域的组合作为所述第二子序列。

9.根据权利要求1所述的方法，其特征在于，所述对待测视频中与行人对应的目标区域进行人体关键点检测，得到所述目标区域的实际关键点信息包括：

利用行人检测模型对所述待测视频所包含的各图像帧进行目标检测，得到所述待测视频中与行人对应的所述目标区域；

利用关键点检测模型对所述目标区域进行关键点检测，得到所述目标区域的实际关键点信息。

10.根据权利要求1所述的方法，其特征在于，所述从所述待测视频的各图像帧中分别提取与同一行人对应的所述目标区域，作为待测序列包括：

利用预设目标跟踪方式对所述各图像帧中的所述目标区域进行跟踪检测，确定与同一行人对应的所述目标区域；

提取所述各图像帧中与同一行人对应的所述目标区域，作为所述待测序列。

11.一种行为检测设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至10任一项所述的行为检测方法。

12.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至10任一项所述的行为检测方法。

Images