CN114612810A - 一种动态自适应异常姿态识别方法及装置 - Google Patents

Abstract

本申请公开了一种动态自适应异常姿态识别方法及装置，用以解决目前的行为识别技术难以与行人的动作变化相适应，识别率较低，鲁棒性较差的问题。该方法采集训练数据，训练时空图卷积分类模型；对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，确定不同数据段长度的待识别视频段对应的姿态识别分类结果；基于贝叶斯推论，确定各分类结果的置信度；根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果。通过时空图卷积与贝叶斯估计相融合，提高了识别效率，提高了识别的准确率，增强了识别的鲁棒性。

Description

一种动态自适应异常姿态识别方法及装置

技术领域

本申请涉及姿态识别领域，尤其涉及一种动态自适应异常姿态识别方法及装置。

背景技术

行为识别技术是计算机视觉方向的研究重点，主要应用于人员密集场所和其他重要场所，通过对监控画面等视频图像进行智能分析来识别行人的行为，以保障社会安全。

目前，行为识别技术的研究大多使用深度学习的框架，对视频图像中行人的骨骼动作进行识别，通过骨骼动作序列来判断其对应的动作分类。

但是，视频图像容易受到无关因素(如天气、光线、背景变化)的影响，并且，行人的动作千变万化，在使用深度学习的方法进行研究时，难以与其变化性相适应，识别率较低，鲁棒性较差。

发明内容

本申请实施例提供一种动态自适应异常姿态识别方法及装置，用以解决目前的行为识别技术难以与行人的动作变化相适应，识别率较低，鲁棒性较差的问题。

本申请实施例提供的一种动态自适应异常姿态识别方法，包括：

采集训练数据，训练时空图卷积分类模型；

对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，确定不同数据段长度的待识别视频段对应的姿态识别分类结果；

基于贝叶斯推论，确定各分类结果的置信度；

根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果

在一个示例中，所述时空图卷积分类模型包括softmax分类器；训练时空图卷积分类模型，包括：确定各训练样本经过softmax分类器得到的softmax值，并将各softmax值划分为正确预测组与错误预测组；基于高斯核密度估计方法，确定对应的正确预测似然概率密度函数与错误预测似然概率密度函数。

在一个示例中，对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，包括：确定待识别视频段的初始数据段长度，并基于逐次递增的方式，依次增加待识别视频段的数据段长度，分别输入所述时空图卷积分类模型中。

在一个示例中，所述方法还包括：确定所述待识别视频段的数据段长度不大于预设长度阈值。

在一个示例中，基于贝叶斯推论，确定各分类结果的置信度，包括：针对各不同数据段长度的待识别视频段的分类结果，根据相应的softmax值，以及所述正确预测似然概率密度函数与错误预测似然概率密度函数，通过贝叶斯推论确定该分类结果的正确预测后验概率，作为置信度。

在一个示例中，通过贝叶斯推论确定该分类结果的正确预测后验概率，包括：通过

确定该分类结果的正确预测后验概率；其中，x表示数据段长度，H₀表示错误预测，H₁表示正确预测，P(d_m|H₁,x)表示正确预测似然概率密度函数，P(d_m|H₀,x)表示错误预测似然概率密度函数，P(H₁|x)表示正确预测先验概率，P(H₀|x)表示错误预测先验概率。

在一个示例中，根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果，包括：根据预设置信度阈值，确定待识别视频段的分类结果的置信度高于所述预设置信度阈值时，将所述分类结果对应的数据段长度作为标准数据段长度，并将所述分类结果作为待识别视频段对应的最终分类结果。

在一个示例中，根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果，包括：从若干所述不同数据段长度中，确定对应的分类结果的置信度最高的数据段长度，作为标准数据段长度；选择标准数据段长度对应的分类结果，作为通过时空图卷积分类模型识别出的待识别视频段对应的最终分类结果。

在一个示例中，所述方法还包括：确定所述视频段中存在异常姿态时，发出报警信息。

本申请实施例提供的一种动态自适应异常姿态识别装置，包括：

训练模块，采集训练数据，训练时空图卷积分类模型；

输入模块，对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，确定不同数据段长度的待识别视频段对应的姿态识别分类结果；

确定模块，基于贝叶斯推论，确定各分类结果的置信度；

选择模块，根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果。

本申请实施例提供一种动态自适应异常姿态识别方法及装置，至少包括以下有益效果：通过时空图卷积与贝叶斯估计相融合，识别行人的骨骼动作，并对分类结果进行置信度评估，确保模型预测分类的准确性。并且，通过动态自适应的调整待识别视频段的长度，确保每个待识别视频段均能以最优的标准数据段长度，输出预测分类准确率较高的分类结果，缩短了分析时间，提高了识别效率，提高了识别的准确率，增强了识别的鲁棒性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种动态自适应异常姿态识别方法流程图；

图2为本申请实施例提供的另一种动态自适应异常姿态识别方法流程图；

图3为本申请实施例提供的骨骼序列时空图；

图4为本申请实施例提供的空间结构划分示意图；

图5为本申请实施例提供的动态自适应异常姿态识别装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种动态自适应异常姿态识别方法流程图，具体包括以下步骤：

S101：采集训练数据，训练时空图卷积分类模型。

在本申请实施例中，服务器可通过园区、商场等场所中的监控摄像头等图像采集设备，采集大量包括行人动作画面的监控视频等图像数据，作为训练数据，并训练时空图卷积分类模型。

如图2所示，时空图卷积分类模型的训练主要包括以下步骤：

第一，选取训练数据段。

由于图像采集设备采集到的训练数据通常为大段的视频，时长较长，包含多种类型的行人动作。因此，服务器在获取到训练数据后，需要对训练数据进行处理，从训练数据中获取仅包含行人一种动作的部分，作为训练数据段，以便对模型进行训练。

第二，提取人体骨骼，建立骨骼序列时空图。

服务器可采用openpose模型算法，对训练数据段对应的视频图像内的人体骨骼进行提取，确定每个人体结构的18个骨骼关节序列。

之后，服务器可构造一个包含N个关节和T帧的骨架序列的无向时空图G＝(V，R)。其中，图节点集V＝{v_ti|t＝1,…,T,i＝1,…,N}，点集中包含了一个骨骼序列的所有关节点信息。如图3所示，对获取的关节点按人体骨架结构自然连接，并且按照同一关节点的不同帧顺序连接，建立坐标系得到各关节点的坐标，可构建得到各个关节点和多帧时间序列的时空图，作为时空图卷积网络的输入量。人体结构中骨骼点的坐标为R_m＝{v_tiv_tj|(i,j)∈H}，其中H为骨骼关节点的集合，点v_tj的邻点集合C(v_ti)划分为K个集合，每一个子集都有一个数字标签，标签映射函数为m_ti:c(v_ti)→{0,...,K-1}，它编码了邻域中的点如何映射到特定的子集中。

之后，服务器可根据空间结构，把节点的邻域分为3个子集，第一个子集为此节点本身，第二个为空间位置上比本节点更靠近整个骨架重心的邻节点集合，第三个则为更远离重心的邻节点集合。其中，重心坐标为所有骨骼点的平均坐标值。具体可通过公式

得到，其中，r_i表示骨骼点i到重心的距离。如图4所示，两组虚线内的三个点均分别被划分到3个子集中。

第三，建立时空图卷积分类模型，进行时空图卷积，通过softmax分类器，获得softmax值。

服务器可建立时空图卷积分类模型，识别视频图像中的骨骼特征，生成相应的特征图，并通过softmax分类器，确定特征图的softmax值。

具体的，服务器可先将骨架输入到批处理的归一化层来对数据进行归一化。整个时空图卷积网络一共包含10层，前四层卷积核个数为64，中间三层为128个，最后三层为256个。卷积的时间跨度为9，其中第五层和第八层的卷积步长为2，其余层为1。最后连接一个全局池化层后形成一个256维的向量输入到softmax分类器中。其中，网络的学习率初始设置为0.01，每10次迭代后缩小十倍。

所有时序卷积操作转为时空图的卷积操作，每一个卷积层的输出是一个时空图，图上每一个节点都有一个特征向量。整个模型采用端到端反向传播的方式进行训练。

并且，服务器可使用随机梯度下降的算法对神经网络参数的权重进行优化。通常，图像结构的训练数据被被转化为邻接矩阵的形式来进行矩阵变换，因此，对于时空图卷积来说，并不是每一个领域节点均对应一个独特的标签，而是通过将一个骨骼点的邻点集合划分成固定数量的K个子集来简化过程，其中每个子集都有一个数字标签。

服务器建立softmax分类器后，可利用标准的Softmax分类器，确定概率最大的类别为预测的动作类别，并将训练数据中的各个训练样本图像中人的行为分类到相应的类别中。softmax值的计算公式为

其中，Vi表示数组V中的第i个元素。

第四，将softmax值划分为正确预测组与错误预测组。

服务器可根据softmax值预测得到的分类结果，与各训练数据段的标注进行比较，确定模型预测是否正确，并基于预测结果的正确性，将训练数据得到的所有softmax值划分为正确预测组与错误预测组。

第五，基于高斯核密度估计方法，确定对应的正确预测似然概率密度函数与错误预测似然概率密度函数。

服务器可根据确定出的正确预测组与错误预测组，基于高斯核密度估计方法，建立softmax值的似然概率密度函数。在

中，S_m为最大的softmax值,H₁表示正确预测，H₀表示错误预测，似然概率密度函数P(d_m|H₁,x)和P(d_m|H₀,x)由高斯核密度估计得来，x代表测试数据长度。

S102：对待识别视频段的数据段长度进行调整，并分别输入时空图卷积分类模型中，确定不同数据段长度的待识别视频段对应的姿态识别分类结果。

在本申请实施例中，服务器可通过S101中训练完成的时空图卷积分类模型，对视频图像中行人的行为进行识别分类。如图2所示，在识别阶段，服务器首先需要选取待识别视频段，再通过时空图卷积分类模型对待识别视频段中行人的动作进行识别分类。

由于待识别视频段的数据段长度对行人行为识别的影响较大，数据段长度过短，可能无法形成一个完整的动作，缺乏预测依据，影响预测准确率，数据段长度过长，可能包含多个动作，导致预测结果存在不确定性，也影响预测准确率。因此，确定一个合适的数据段长度，是确保预测结果准确率的关键一步。

于是，本申请实施例中，服务器可对待识别视频段的数据段长度进行调整，并将不同数据段长度的待识别视频段分别输入时空图卷积分类模型中，提取骨骼关节点、建立骨骼时空图，通过时空图卷积以及softmax分类器，确定不同数据段长度的待识别视频段分别对应的softmax值以及识别预测出的行为分类，以便后续根据分类结果确定最终选择的数据段长度。

在一个实施例中，如图2所示，服务器在调整待识别视频段的数据段长度时，具体可确定待识别视频段的初始数据段长度，输入时空图卷积分类模型中，并基于逐次递增的方式，依次增加待识别视频段的数据段长度，分别循环输入时空图卷积分类模型中。例如，初始数据段长度为2帧，在每次分类完毕之后，将数据段长度增加1帧，再进行分类。其中，视频图像的数据段长度的单位可以是帧，也可以是秒，具体可根据需要设置，本申请对此不做限定。

在一个实施例中，如图2所示，服务器可确定预设长度阈值t_max，并确保待识别视频段的数据段长度不大于预设长度阈值。于是，当待识别视频段的数据段长度逐次增加，并大于预设长度阈值后，服务器可确定停止该待识别视频段的分类过程。其中，预设长度阈值具体可根据需要设置，本申请对此不做限定。

通过设置合理的预设长度阈值，能够将输入的待识别视频段的长度限制在合理的范围内，有利于模型快速处理数据，提高实时响应率，也有利于对人的动作进行合理的切分，帮助提高模型识别的准确率。

S103：基于贝叶斯推论，确定各分类结果的置信度。

在本申请实施例中，如图2所示，服务器可根据贝叶斯推论，对不同数据段长度的待识别视频段对应的softmax值、分类结果进行分析，以判断模型预测的不同数据段长度对应的分类结果的置信度。

其中，置信度的大小与分类结果预测的准确性成正相关关系，置信度越大，表示分类结果预测正确的可能性越高，置信度越小，表示分类结果预测正确的可能性越低。

在一个实施例中，针对不同数据段长度的待识别视频段的分类结果，服务器可根据相应的softmax值，以及S101中确定出的正确预测似然概率密度函数与错误预测似然概率密度函数，通过贝叶斯推论确定该softmax值对应的分类结果的正确预测后验概率，作为分类结果的置信度的估计值。

具体的，服务器在通过贝叶斯推论确定该分类结果的正确预测后验概率时，可通过

确定该分类结果的正确预测后验概率；其中，x表示数据段长度，H₀表示错误预测，H₁表示正确预测，P(d_m|H₁,x)表示正确预测似然概率密度函数，P(d_m|H₀,x)表示错误预测似然概率密度函数，P(H₁|x)表示正确预测先验概率，P(H₀|x)表示错误预测先验概率，先验概率是根据离线实验中不同测试数据片段下的分类正确率估计得出的。

S104：根据各置信度，从不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果。

在本申请实施例中，服务器可根据确定出的各个置信度，从不同数据段长度的待识别视频段中，确定一个标准数据段长度，作为待识别视频段中预测分类效果较好的数据段长度。并且，服务器可将该标准数据段长度对应的分类结果，作为该待识别视频段对应的最终分类结果。

于是，服务器可实时获取图像采集设备采集到的待识别视频，并根据上述方法，将待识别视频划分为若干具有不同标准数据段长度的视频段，对行人的行为进行识别分类。

在一种可能的实现方式中，如图2所示，服务器在对待识别视频段的数据段长度进行逐次递增的过程中，可根据预设置信度阈值P_thre，对不同数据段长度的待识别视频段的分类结果的置信度进行检验。

若待识别视频段的分类结果的置信度不大于预设置信度阈值，表示预测的该分类结果的准确率较低，对应的数据段长度可能不合理，则忽略该分类结果。若待识别视频段的分类结果的置信度大于预设置信度阈值，表示预测的该分类结果的准确率较高，对应的数据段长度较为合理，则可确定待识别视频段的标准数据段长度为该值，并将该数据段长度对应的分类结果输出，作为待识别视频段识别预测出的分类结果。其中，预设置信度阈值具体可根据需要设置，本申请对此不做限定。

在另一种可能的实现方式中，服务器可从若干不同数据段长度的待识别视频段中，确定分类结果的置信度最高的待识别视频段对应的数据段长度，该置信度最高的待识别视频段对应的分类结果的预测准确率最高，表示其对应的数据段长度是所有数据段长度中最合适的、最优的，于是服务器可将该数据段长度作为待识别视频段的标准数据段长度。

在本申请实施例中，服务器在实时获取待识别视频的过程中，以上一个待识别视频段的结尾作为下一个待识别视频段的开始，将待识别视频划分为具有不同标准数据段长度的若干待识别视频段，并对每个待识别视频段中行人的行为进行识别，判断行人是否存在异常姿态。其中，异常姿态可包括跌倒、爬窗等动作，具体可根据需要预先设置训练，本申请对此不做限定。

在一个实施例中，服务器在确定待识别视频段中存在异常姿态时，可通过在监控室的显示器中显示、发送提示短信等方式，发出报警信息，以提醒工作人员进行处理。

在本申请实施例中，通过时空图卷积与贝叶斯估计相融合，识别行人的骨骼动作，并对分类结果进行置信度评估，确保模型预测分类的准确性。并且，通过动态自适应的调整待识别视频段的长度，确保每个待识别视频段均能以最优的标准数据段长度，输出预测分类准确率较高的分类结果，缩短了分析时间，提高了识别效率，提高了识别的准确率，增强了识别的鲁棒性。

以上为本申请实施例提供的动态自适应异常姿态识别方法，基于同样的发明思路，本申请实施例还提供了相应的动态自适应异常姿态识别装置，如图5所示。

图5为本申请实施例提供的动态自适应异常姿态识别装置结构示意图，具体包括：

训练模块501，采集训练数据，训练时空图卷积分类模型；

输入模块502，对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，确定不同数据段长度的待识别视频段对应的姿态识别分类结果；

确定模块503，基于贝叶斯推论，确定各分类结果的置信度；

选择模块504，根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种动态自适应异常姿态识别方法，其特征在于，包括：

采集训练数据，训练时空图卷积分类模型；

对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，确定不同数据段长度的待识别视频段对应的姿态识别分类结果；

基于贝叶斯推论，确定各分类结果的置信度；

根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果。

2.根据权利要求1所述的方法，其特征在于，所述时空图卷积分类模型包括softmax分类器；

训练时空图卷积分类模型，包括：

确定各训练样本经过softmax分类器得到的softmax值，并将各softmax值划分为正确预测组与错误预测组；

基于高斯核密度估计方法，确定对应的正确预测似然概率密度函数与错误预测似然概率密度函数。

3.根据权利要求1所述的方法，其特征在于，对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，包括：

确定待识别视频段的初始数据段长度，并基于逐次递增的方式，依次增加待识别视频段的数据段长度，分别输入所述时空图卷积分类模型中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

确定所述待识别视频段的数据段长度不大于预设长度阈值。

5.根据权利要求2所述的方法，其特征在于，基于贝叶斯推论，确定各分类结果的置信度，包括：

针对各不同数据段长度的待识别视频段的分类结果，根据相应的softmax值，以及所述正确预测似然概率密度函数与错误预测似然概率密度函数，通过贝叶斯推论确定该分类结果的正确预测后验概率，作为置信度。

6.根据权利要求5所述的方法，其特征在于，通过贝叶斯推论确定该分类结果的正确预测后验概率，包括：

通过

确定该分类结果的正确预测后验概率；其中，x表示数据段长度，H₀表示错误预测，H₁表示正确预测，P(d_m|H₁,x)表示正确预测似然概率密度函数，P(d_m|H₀,x)表示错误预测似然概率密度函数，P(H₁|x)表示正确预测先验概率，P(H₀|x)表示错误预测先验概率。

7.根据权利要求1所述的方法，其特征在于，根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果，包括：

根据预设置信度阈值，确定待识别视频段的分类结果的置信度高于所述预设置信度阈值时，将所述分类结果对应的数据段长度作为标准数据段长度，并将所述分类结果作为待识别视频段对应的最终分类结果。

8.根据权利要求1所述的方法，其特征在于，根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果，包括：

从若干所述不同数据段长度中，确定对应的分类结果的置信度最高的数据段长度，作为标准数据段长度；

选择标准数据段长度对应的分类结果，作为通过时空图卷积分类模型识别出的待识别视频段对应的最终分类结果。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述视频段中存在异常姿态时，发出报警信息。

10.一种动态自适应异常姿态识别装置，其特征在于，包括：

训练模块，采集训练数据，训练时空图卷积分类模型；

输入模块，对待识别视频段的数据段长度进行调整，并分别输入所述时空图卷积分类模型中，确定不同数据段长度的待识别视频段对应的姿态识别分类结果；

确定模块，基于贝叶斯推论，确定各分类结果的置信度；

选择模块，根据各置信度，从所述不同数据段长度中，选择标准数据段长度对应的分类结果，作为待识别视频段对应的最终分类结果。

Images