CN113723203B - 一种面向边缘计算的人行为特征提取方法与系统 - Google Patents

Abstract

本申请提供了一种面向边缘计算的人行为特征提取方法及系统，方法包括：采集待识别视频数据，并将所述待识别视频数据传输至与其相连的第一边缘节点，根据所述待识别视频数据计算关节点坐标位置，确定待识别视频数据的骨架数据，多个第二边缘节点基于不同的约束强度对待识别视频数骨架数据进行处理，得到所述待识别视频数据的人行为识别结果并上传给云端服务器，云端服务器接收所上传的所述待识别视频数据的识别结果，并对所述人行为识别结果进行融合，得到最终的人行为识别结果。通过增加边缘节点的数量，获取更多尺度的特征，进而提升识别准确率。并且运动学特征提取与人行为识别均在边缘节点执行，缓解了网络拥堵，减轻了云端服务器的计算压力。

Description

一种面向边缘计算的人行为特征提取方法与系统

技术领域

本申请涉及人行为识别技术领域，特别是涉及一种面向边缘计算的人行为特征提取方法与系统。

背景技术

人行为识别在安防监控领域具有重要的意义和广泛的应用前景。监控视频中人的人行为识别对社会的安全与稳定有重要意义。人行为识别的主要任务是根据视觉传感器采集的数据推断人的行为动作。目前的人行为识别方法的可分为特征提取与构建分类模型两个步骤：首先从视觉传感器采集的视频数据中提取人行为特征，然后建构分类模型对特征进行分类。

相关技术中，视觉传感器采集的视频数据需要上传至云端服务器集中处理，一方面，随着视觉传感器的数量的增加，上传至云端服务器的数据量大幅增加，占用大量带宽；另一方面，人行为识别任务全部由云端服务器完成，计算资源无法动态调度，导致云端服务器的计算压力较大，限制了人行为识别方法在安防领域的大规模应用。

发明内容

本申请公开了一种面向边缘计算的人行为特征提取方法与系统，以解决上述问题或者至少部分地解决上述的问题。

第一方面，本发明实施例公开了一种面向边缘计算的人行为特征提取方法，所述方法包括：

视觉传感器采集待识别视频数据，并将所述待识别视频数据传输至与其相连的第一边缘节点；

所述第一边缘节点根据所述待识别视频数据计算关节点坐标位置，确定所述待识别视频数据的骨架数据，并将所述待识别视频数据的骨架数据分别传输给多个第二边缘节点；

所述多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值；

所述多个第二边缘节点将所述不同约束强度下的骨架位置特征值和骨架速度特征值，输入相应约束强度下的人行为识别模型，得到所述待识别视频数据的人行为识别结果；

所述云端服务器接收所述多个第二边缘节点各自上传的所述待识别视频数据的人行为识别结果，并对所述待识别视频数据的多个人行为识别结果进行融合，得到所述待识别视频数据的最终人行为识别结果。

可选地，在所述多个第二边缘节点将不同约束强度下的骨架位置特征值和骨架速度特征值，输入相应约束强度下的人行为识别模型之前，所述方法还包括：

采集样本视频数据，并将所述样本视频数据传输至与其相连的第一边缘节点；

所述第一边缘节点根据所述样本视频数据计算关节点坐标位置，确定所述样本视频数据的骨架数据，并将所述样本视频数据的骨架数据分别传输给多个第二边缘节点；

多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值样本和骨架速度特征值样本并上传给所述云端服务器；

所述云端服务器根据所述不同约束强度下的骨架位置特征值样本和骨架速度特征值样本，对预设模型进行训练，得到不同约束强度下的人行为识别模型并下发给相应的第二边缘节点。

可选地，所述多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值，包括：

所述多个第二边缘节点根据所述骨架数据，确定下一帧的人行为状态变量的预测值；

所述多个第二边缘节点根据下一帧的人行为状态变量的观测值，对所述下一帧的人行为状态变量的预测值进行不同约束强度的修正，确定不同约束强度下一帧的人行为状态变量的修正值；

根据所述不同约束强度下一帧的人行为状态变量的修正值，确定不同约束强度下的骨架位置特征值和骨架速度特征值。

可选地，所述多个第二边缘节点根据所述行视频数据的骨架数据，确定下一帧的人行为状态变量的预测值包括：

获取当前帧视频画面中每个关节的状态变量；

根据所述当前帧视频画面中每个关节的状态变量构建当前帧视频画面中所有关节的状态变量，即当前帧的人行为状态变量；

根据所述当前帧视频画面的人行为状态变量以及状态转移矩阵，确定下一帧视频画面的人行为状态变量的预测值。

可选地，所述每个关节的状态变量的计算公式为：

所述人行为状态变量计算公式为：

x_t＝[J_t,1 ^T,...,J_t,N ^T]^T (2)

所述状态转移矩阵的计算公式为：

所述当前帧的人行为状态变量的预测值的计算公式为：

其中，所述T为骨架数据对应的视频画面的总帧数，t为骨架数据对应的视频画面的第t帧，j为第j个关节点，t∈(1,2,...,T)，j∈(1,2,...,N)，N表示关节点的数量，x为关节点的横坐标，y为关节点的纵坐标，z为关节点的竖坐标，J_t,n为骨架数据对应的视频画面的第t帧中第n个关节的状态变量，x_t为所述所有关节的状态变量，Φ为状态转移矩阵，

为所有关节的状态变量的预测值。

可选地，所述多个第二边缘节点根据下一帧的人行为状态变量的观测值，对所述下一帧的人行为状态变量的预测值进行不同约束强度的修正，得到不同约束强度下的骨架位置特征值和骨架速度特征值，包括：

所述多个第二边缘节点获取下一帧视频画面中所有关节的状态变量的观测值；

所述多个第二边缘节点根据所述下一帧视频画面所有关节的状态变量的观测值，对所述下一帧视频画面中所有关节的状态变量的预测值进行不同约束强度的修正，得到不同约束强度下的骨架位置特征值和骨架速度特征值。

可选地，所述多个第二边缘节点根据下一帧的人行为状态变量的观测值，对所述下一帧的人行为状态变量的预测值进行不同约束强度的修正，确定不同约束强度下一帧的人行为状态变量的修正值包括：

所述多个第二边缘节点按照以下公式对根据下一帧的人行为状态变量的观测值，对所述下一帧的人行为状态变量的预测值进行不同约束强度的修正，确定不同约束强度下一帧的人行为状态变量的修正值；

z_t＝[j_t,1 ^T,...,j_t,N ^T]^T(j_t,n＝[x_t,n,y_t,n,z_t,n]^T) (5)

其中，z_t为所有关节的状态变量的观测值，

是预测过程误差的协方差的预测值，P是预测过程误差的协方差矩阵，Q为预测值的噪声方差，R为测量值的噪声的方差，Γ为噪声增益，ω为分段恒定的加速度，

用于描述测量值的噪声，K为卡尔曼增益，H为3N×6N的矩阵，表示为H＝diag(H₀,...,H₀)_3N×3N,(H₀＝[1 0])，I为单位矩阵，r为约束强度。

可选地，所述根据不同约束强度下一帧的人行为状态变量的修正值，确定不同约束强度下的骨架位置特征值和骨架速度特征值包括：

所述第二边缘节点按照以下公式，根据不同约束强度下一帧的人行为状态变量的修正值，确定不同约束强度下的骨架位置特征值和骨架速度特征值；

P＝[p₁,...,p_T]^T，p_t＝[c_t,1 ^T,...,c_t,N ^T]^T，c_t,n＝[x_t,n,y_t,n,z_t,n]^T (12)

其中，P为骨架位置特征，V为骨架速度特征。

第二方面，本发明实施例公开了一种面向边缘计算的人行为特征提取系统，所述系统包括：

视觉传感器，所述视觉传感器用于采集视频数据，并将所述视频数据传输至与其相连的第一边缘节点；

第一边缘节点，所述第一边缘节点用于接收所述视觉传感器传输的视频数据，根据所述视频数据计算关键点的空间位置，确定骨架数据，并将所述骨架数据传输至与其相连的多个第二边缘节点；

多个第二边缘节点，每个第二边缘节点用于接收骨架数据，所述第二边缘节点根据所述骨架数据确定不同约束强度下的骨架位置特征值和骨架速度特征值，所述第二边缘节点将所述不同约束强度下的骨架位置特征值和骨架速度特征值上传至云端服务器；以及，将所述不同约束强度下的骨架位置特征值和骨架速度特征值输入相应约束强度下的人行为识别模型，得到所述待识别视频数据的人行为识别结果，并将所述人行为识别结果上传至云端服务器；

云端服务器，所述云端服务器用于接收所述第二边缘节点上传的不同约束强度下的骨架位置特征值和骨架速度特征值，根据所述骨架位置特征值和骨架速度特征值构建不同约束强度下的人行为识别模型，并下发至对应的第二边缘节点；以及，接收所述多个第二边缘节点各自上传的所述待识别视频数据的识别结果，并对所述待识别视频数据的多个人行为识别结果进行融合，得到所述视频数据的最终人行为识别结果。

可选地，所述第一边缘节点和所述第二边缘节点部署在所述视觉传感器附近，实现特征提取和人行为识别过程的就近处理。

与现有技术相比，本申请包括以下优点：

本发明实施例中，采集视频数据，并将所述待识别视频数据传输至与其相连的第一边缘节点，所述第一边缘节点根据所述待识别视频数据计算关节点坐标位置，确定所述待识别视频数据的骨架数据，多个第二边缘节点基于不同的约束强度待识别视频数据对所述骨架数据进行处理，得到所述待识别视频数据的人行为识别结果并上传给云端服务器，云端服务器接收所述多个第二边缘节点各自上传的所述待识别视频数据的识别结果，并对所述待识别视频数据的多个人行为识别结果进行融合，得到所述待识别视频数据的最终人行为识别结果。

通过在采集视频数据的数据源(即视觉传感器)附近部署边缘节点分担计算和通信任务，实现特征提取和人行为识别的就近处理，能够满足视频数据处理的低延时需求。每个边缘节点的特征提取与识别任务彼此独立，可并行执行，充分利用了多个边缘节点的计算能力。边缘节点与云端服务器的通信可实现计算资源在边缘节点和云端服务器之间的动态调度，实现动态分配计算资源。边缘节点处理并存储的原始的视频数据且原始的视频数据无需再上传至云端服务器，减少了网络带宽的占用，实现了网络资源、计算资源和存储资源的动态高效利用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中一种面向边缘计算的人行为特征提取系统的示意图；

图2是本发明实施例中一种面向边缘计算的人行为特征提取方法的步骤流程图；

图3是本发明实施例中一种面向边缘计算的人行为识别方法流程示意图；

图4是本发明实施例中一种面向边缘计算的人行为特征提取方法的人体关键点运动学修正原理图；

图5是本发明实施例中一种面向边缘计算的人行为特征提取方法的多级运动学特征提取流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明提出一种面向边缘计算的人行为特征提取系统，所述系统包括：

视觉传感器，所述视觉传感器用于采集视频数据，并将所述视频数据传输至与其相连的第一边缘节点；

第一边缘节点，所述第一边缘节点用于接收所述视觉传感器传输的视频数据，根据所述视频数据计算关键点的空间位置，确定骨架数据，并将所述骨架数据传输至与其相连的多个第二边缘节点；

多个第二边缘节点，每个第二边缘节点用于接收骨架数据，所述第二边缘节点根据所述骨架数据确定不同约束强度下的骨架位置特征值和骨架速度特征值，所述第二边缘节点将所述不同约束强度下的骨架位置特征值和骨架速度特征值上传至云端服务器；以及，将所述不同约束强度下的骨架位置特征值和骨架速度特征值输入相应约束强度下的人行为识别模型，得到所述待识别视频数据的人行为识别结果，并将所述人行为识别结果上传至云端服务器；

云端服务器，所述云端服务器用于接收所述第二边缘节点上传的不同约束强度下的骨架位置特征值和骨架速度特征值，根据所述骨架位置特征值和骨架速度特征值构建不同约束强度下的人行为识别模型，并下发至对应的第二边缘节点；以及，接收所述多个第二边缘节点各自上传的所述待识别视频数据的识别结果，并对所述待识别视频数据的多个人行为识别结果进行融合，得到所述视频数据的最终人行为识别结果。

在本实施方式中，视觉传感器采用具有以太网接口并支持RTSP视频流协议的高清网络CCD，分辨率1920×1080，高清码率2Mbps。视觉传感器、第一边缘节点、第二边缘节点与云端服务器均采用千兆网线与接入交换机连接构成局域网。局域网IP地址由路由器统一分配。视觉传感器、第一边缘节点、第二边缘节点与云端服务器可通过IP地址访问。每个边缘节点对应一种约束强度，提取特定约束强度的位置和速度特征。多个边缘节点的骨架位置特征和速度特征提取过程彼此独立，可同时进行。根据当前帧画面的人行为状态变量预测下一帧画面的人行为状态变量，采用卡尔曼滤波实现对下一帧画面的人行为状态变量的预测值进行约束。滤波过程能够对关节点的轨迹进行不同程度的平滑，强约束能够使滤波后的关节轨迹更加靠近预测值，弱约束使滤波后的关节轨迹更加靠近观测值。不同的特征包含的信息不同，彼此互补，采用强约束程度获取的骨架数据削弱了细节信息，包含运动的全局信息；采用弱约束程度获取的骨架数据保留了细节信息，包含人行为的局部信息。从而获得包含不同信息的人行为特征。

在一种可行的实施方式中，所述第一边缘节点和所述第二边缘节点部署在所述视觉传感器附近，实现特征提取和人行为识别过程的就近处理。

在本实施方式中，通过在数据源附近部署边缘节点分担计算和通信任务，实现人行为识别特征提取和人行为识别过程的就近处理，能够满足视频数据处理的低延时需求。边缘节点与云端服务器的通信可实现计算资源在边缘云端和云之间的动态调度，动态分配计算资源。根据任务需要，由边缘节点处理并存储的原始视频数据以及原始的视频数据无需再上传至云端服务器，降低了网络带宽占用，实现了网络资源、计算资源和存储资源的动态高效利用。云端服务器仅执行训练与融合任务，减轻了云端服务器计算压力。

本发明实施例提供了一种面向边缘计算的人行为特征提取方法，该方法的实施环境可以是图1所示的一种面向边缘计算的人行为特征提取系统。参见图2，图2示出了本申请实施例一种面向边缘计算的人行为特征提取方法的步骤流程图，该方法包括以下步骤：

步骤S201：视觉传感器采集待识别视频数据，并将所述待识别视频数据传输至第一边缘节点。

视觉传感器可以为具备拍照或摄像功能的智能终端，例如手机、pad、笔记本电脑、安装有摄像头的台式机或一体机等，当所述视觉传感器采集完成待识别视频数据后，将采集的待识别视频数据传输至与其直接相连的第一边缘节点N₀。

步骤S202：所述第一边缘节点根据所述待识别视频数据计算关节点坐标位置，确定所述待识别视频数据的骨架数据，并将所述待识别视频数据的骨架数据分别传输给多个第二边缘节点。

第一边缘节点N₀接收到待识别视频数据后，执行姿态估计算法，采用已有的姿态估计工具箱根据原始待识别视频数据计算关键点的空间位置，关键点即人体的关节点，从而确定所述待识别视频数据的骨架数据，并将待识别视频数据的骨架数据分别传输至多个第二边缘计算节点，即边缘节点N₁至边缘节点N₅。

步骤S203：所述多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值。

边缘节点N₁至边缘节点N₅在接收到待识别视频数据的骨架数据后，在边缘节点N₁至边缘节点N₅上，分别采用约束强度r₁至约束强度r₅对待识别视频数据的骨架数据进行数据处理，确定该约束强度下的骨架位置特征值和骨架速度特征值，即实现了人行为识别的多级运动学特征提取。

步骤S204：所述多个第二边缘节点将所述不同约束强度下的骨架位置特征值和骨架速度特征值，输入相应约束强度下的人行为识别模型，得到所述待识别视频数据的人行为识别结果。

所述多个第二边缘节点部署在靠近数据源的一侧，通过将骨架位置特征值和骨架速度特征值输入到云端服务器下发的F_p和F_v模型中，得到人行为识别结果。将人行为识别任务在第二边缘节点上执行，只上传识别结果至云端服务器，实现特征提取和人行为识别的就近处理，能够满足视频数据处理的低延时需求。

步骤S205：所述云端服务器接收所述多个第二边缘节点各自上传的所述待识别视频数据的人行为识别结果，并对所述待识别视频数据的多个人行为识别结果进行融合，得到所述待识别视频数据的最终人行为识别结果。

云端服务器接收边缘节点N₁至边缘节点N₅各自上传的人行为识别结果后，云端服务器对上传的人行为识别人行为识别结果进行加权融合，得到最终的人行为识别结果。云端仅执行融合任务，减轻了云端服务器的计算压力。

在本实施方式中，如图3所示的人行为识别方法流程示意图，识别流程如上文所述。各个第二边缘节点的计算任务彼此独立，增加边缘节点的数量能够获取更多尺度的特征，提升识别准确率。边缘节点的数量可根据任务的需要动态调整，实现计算资源的动态分配。此外，根据任务需要，由边缘节点处理并存储的原始视频数据，无需再上传至云端服务器，降低了网络带宽占用，实现了网络资源、计算资源和存储资源的动态高效利用。

上述为人行为识别的待识别数据的处理流程，而样本数据的处理流程是类似的过程，只是在于针对的对象不同，以及后续的操作不同，而对样本数据的处理流程如下文所述。

在一种可行的实施方式中，在所述多个第二边缘节点将不同约束强度下的骨架位置特征值和骨架速度特征值，输入相应约束强度下的人行为识别模型之前，所述方法还包括步骤：

步骤S200-1：采集样本视频数据，并将所述样本视频数据传输至与其相连的第一边缘节点；

步骤S200-2：所述第一边缘节点根据所述样本视频数据计算关节点坐标位置，确定所述样本视频数据的骨架数据，并将所述样本视频数据的骨架数据分别传输给多个第二边缘节点；

步骤S200-3：多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值样本和骨架速度特征值样本并上传给所述云端服务器；

步骤S200-4：所述云端服务器根据所述不同约束强度下的骨架位置特征值样本和骨架速度特征值样本，对预设模型进行训练，得到不同约束强度下的人行为识别模型并下发给相应的第二边缘节点。

在本实施方式中，如图3所示的人行为识别方法流程示意图，训练的流程如下文所述。视觉传感器采集样本视频数据，并将所述样本视频数据传输至与其相连的第一边缘节点N₀，第一边缘节点N₀接收到样本视频数据后，执行姿态估计算法，根据样本视频数据计算关键点的空间位置，从而确定所述样本视频数据的骨架数据，并将待识别视频数据的骨架数据分别传输至多个第二边缘计算节点，即边缘节点N₁至边缘节点N₅，边缘节点N₁至边缘节点N₅在接收到样本视频数据的骨架数据后，在边缘节点N₁至边缘节点N₅上，分别采用约束强度r₁至约束强度r₅对样本视频数据的骨架数据进行数据处理，确定该约束强度下的人行为识别结果，并将边缘节点N₁至边缘节点N₅对应的约束强度r₁至约束强度r₅的人行为识别结果上传至云端服务器，云端服务器根据所述不同约束强度下的骨架位置特征值样本和骨架速度特征值样本，使用各组特征与对应的人行为识别类型对预设模型进行训练，得到不同约束强度下的识别模型F_p和F_v。人行为识别模型可采用目前已有的卷积神经网络(CNN)，递归神经网络(RNN)、时间卷积网络(TCN)以及图卷积网络(GCN)等模型。云端服务器训练完成后，将识别模型F_p和F_v下发至各个第二边缘节点。

在一种可行的实施方式中，所述步骤S202中，多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值，包括以下步骤：

步骤S202-1：所述多个第二边缘节点根据所述骨架数据，确定下一帧的人行为状态变量的预测值；

步骤S202-2：所述多个第二边缘节点根据下一帧的人行为状态变量的观测值，对所述下一帧的人行为状态变量的预测值进行不同约束强度的修正，确定不同约束强度下一帧的人行为状态变量的修正值；

步骤S202-3：根据所述不同约束强度下一帧的人行为状态变量的修正值，确定不同约束强度下的骨架位置特征值和骨架速度特征值。

在本实施方式中，如图4所示的人体关键点运动学修正原理图。骨架数据中包含了关节点的空间位置信息，关节点在相邻帧之间的运动符合匀速直线运动规律，将关节点的运动描述为一阶运动过程，关节点随时间变化在空间中运动形成一条轨迹。关节点每个帧的状态可用位置和速度表示，所有关节点的位置和速度构成人行为状态变量。根据一阶运动过程的运动规律构建运动方程，该方程能够限制相邻帧关节点的位置和速度，从而对关节点的运动轨迹施加约束。

在确定关节点的运动方程后，采用多变量的卡尔曼滤波器对所述轨迹进行滤波，所述滤波的过程分为预测过程以及修正过程，预测过程是指由骨架数据确定的当前帧人行为状态变量以及状态转移矩阵确定下一帧的人行为状态变量的预测值，修正过程是指根据下一帧的人行为状态观测值，对所述下一帧的人行为状态预测值进行修正，通过调节卡尔曼滤波器的参数。可以调节滤波器输出值相对预测值与观测值的距离，从而改变约束的强度。

在一种可行的实施方式中，所述步骤S202-1中，多个第二边缘节点根据所述行视频数据的骨架数据，确定下一帧的人行为状态变量的预测值包括：

步骤S202-1-1：获取当前帧视频画面中每个关节的状态变量；

步骤S202-1-2：根据所述当前帧视频画面中每个关节的状态变量构建当前帧视频画面中所有关节的状态变量，即当前帧的人行为状态变量；

步骤S202-1-3：根据所述当前帧视频画面的人行为状态变量以及状态转移矩阵，确定下一帧视频画面的人行为状态变量的预测值。

在本实施方式中，如图5所示的边缘计算环境下多级运动学特征提取流

程图。以单帧画面为例，获取长度为T帧的骨架序列的关节点的三维坐标，则第t帧中的第j个关节表示为c_t,j＝[x_t,j,y_t,j,z_t,j]^T，t∈(1,2,...,T)，j∈(1,2,...,N)，N表示关节点的数量，从而确定第t帧中的第n个关节的状态变量，则当前帧视频画面中每个关节的状态变量的计算公式为：

所述人行为状态变量计算公式为：

x_t＝[J_t,1 ^T,...,J_t,N ^T]^T (2)

所述状态转移矩阵的计算公式为：

所述当前帧的人行为状态变量的预测值的计算公式为：

其中，所述T为骨架数据对应的视频画面的总帧数，t为骨架数据对应的视频画面的第t帧，j为第j个关节点，t∈(1,2,...,T)，j∈(1,2,...,N)，N表示关节点的数量，x为关节点的横坐标，y为关节点的纵坐标，z为关节点的竖坐标，J_t,n为骨架数据对应的视频画面的第t帧中第n个关节的状态变量，x_t为所述所有关节的状态变量，Φ为状态转移矩阵，

为所有关节的状态变量的预测值。

在一种可行的实施方式中，所述步骤S102-2，多个第二边缘节点根据下一帧的人行为状态观测值，对所述下一帧的人行为状态预测值进行不同约束强度的修正，得到不同约束强度下的骨架位置特征值和骨架速度特征值，包括：

步骤S102-2-1：所述多个第二边缘节点获取下一帧视频画面中所有关节的状态变量的观测值；

步骤S202-2-2：所述多个第二边缘节点根据所述下一帧视频画面所有关节的状态变量的观测值，对所述下一帧视频画面中所有关节的状态变量的预测值进行不同约束强度的修正，得到不同约束强度下的骨架位置特征值和骨架速度特征值。

在本实施方式中，如图4所示的边缘计算环境下多级运动学特征提取流程图。第二边缘节点获取下一帧视频画面中所有关节的状态变量的观测值，其计算公式为：

z_t＝[j_t,1 ^T,...,j_t,N ^T]^T(j_t,n＝[x_t,n,y_t,n,z_t,n]^T) (5)

骨架数据的滤波过程转化为采用卡尔曼滤波实现的多目标跟踪过程。所有N个关节在三维空间中的位置受到状态变量和状态转移方程的约束。

人行为骨架数据的卡尔曼滤波的预测过程可表示为：

P是预测过程误差的协方差矩阵，

为预测过程误差的协方差矩阵的预测值，本发明假定状态变量间任意两个变量的预测误差间不存在相关性，因此协方差矩阵的非对角元素为0。对角元素显示状态变量中第i个元素预测误差的方差，显示了该变量在卡尔曼滤波预测过程中的可信度。将所有变量的方差设置为相同值，得到

Q用于描述状态转移过程中引入的随机噪声。关节坐标某一维度的运动可用带有分段白噪声的状态转移方程描述：

为噪声增益，ω为分段恒定的加速度，则该维度的随机噪声为

对具有N个关节(每个关节包含3个变量：(x,y,z))的骨架数据，将所有变量的方差设置为相同值

并假定不同变量的噪声彼此不相关，可得到噪声矩阵Q＝diag(Q₀,...,Q₀)_3N×3N，该参数由

唯一确定。

边缘节点的卡尔曼滤波修正过程如下：

用于描述测量值的噪声，K为卡尔曼增益，H为3N×6N的矩阵，表示为H＝diag(H₀,...,H₀)_3N×3N,(H₀＝[10])。将x的初始值设为第一帧的人行为状态变量的观测值，初始速度设为0。骨架序列的每一帧经过公式3和6的预测过程，以及公式8，9，10的修正过程，得到滤波后的人行为状态特征。滤波后的人行为状态变量的修正值，位于观测值与预测值之间，如图3所示。

每个边缘节点通过调节滤波过程的参数实现不同强度的约束。卡尔曼增益K决定了滤波器对预测值与测量值的信任程度，并且仅与Q和R的值有关，这两个变量由

和

唯一确定，定义约束强度r为：

r值增大，滤波器输出的人行为状态变量的修正值，接近预测值，可抑制噪声；r值减小，滤波器输出的人行为状态变量的修正值，接近测量值，可保留细节。通过调节r值，实现对原始骨架序列的多级轨迹约束，得到多组人行为状态特征。本发明采用的r值如表1所示(对所有的约束等级，

r₁表示无约束)：

表1边缘节点多级运动学约束强度

在计算出经过修正后的人行为状态特征后，第二边缘节点利用提取到的多级人行为状态特征，分别构建位置特征P与速度特征V。

P＝[p₁,...,p_T]^T，p_t＝[c_t,1 ^T,...,c_t,N ^T]^T，c_t,n＝[x_t,n,y_t,n,z_t,n]^T (12)

从而得到骨架数据的位置特征值和骨架数据的速度特征值，将特征值归一化至[-1,1]区间。以上r₁-r₅共5级约束，每级约束r_k分别在一个边缘节点上执行，可获得特征P_k与V_k，5级约束可获得共计10组特征。每组特征均分布在[-1,1]区间并且维度相同。

基于同一发明构思，本申请一实施例提供一种可读存储介质，存储介质存储面向边缘计算的人行为特征提取程序，面向边缘计算的人行为特征提取程序被处理器执行实现如本发明实施例第一方面提出的面向边缘计算的人行为特征提取方法的步骤。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种面向边缘计算的人行为特征提取方法与系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种面向边缘计算的人行为特征提取方法，其特征在于，所述方法包括：

视觉传感器采集待识别视频数据，并将所述待识别视频数据传输至与其相连的第一边缘节点；

所述第一边缘节点根据所述待识别视频数据计算关节点坐标位置，确定所述待识别视频数据的骨架数据，并将所述待识别视频数据的骨架数据分别传输给多个第二边缘节点；

所述多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值；

所述多个第二边缘节点将所述不同约束强度下的骨架位置特征值和骨架速度特征值，输入相应约束强度下的人行为识别模型，得到所述待识别视频数据的人行为识别结果；

云端服务器接收所述多个第二边缘节点各自上传的所述待识别视频数据的人行为识别结果，并对所述待识别视频数据的多个人行为识别结果进行融合，得到所述待识别视频数据的最终人行为识别结果；

所述多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值，包括：

所述多个第二边缘节点根据所述骨架数据，确定下一帧的人行为状态变量的预测值；

其中，所述多个第二边缘节点根据所述骨架数据，确定下一帧的人行为状态变量的预测值的步骤包括：

获取当前帧视频画面中每个关节的状态变量；

根据所述当前帧视频画面中每个关节的状态变量构建当前帧视频画面中所有关节的状态变量，即当前帧的人行为状态变量；

根据所述当前帧视频画面的人行为状态变量以及状态转移矩阵，确定下一帧视频画面的人行为状态变量的预测值。

2.根据权利要求1所述的方法，其特征在于，在所述多个第二边缘节点将不同约束强度下的骨架位置特征值和骨架速度特征值，输入相应约束强度下的人行为识别模型之前，所述方法还包括：

采集样本视频数据，并将所述样本视频数据传输至与其相连的第一边缘节点；

所述第一边缘节点根据所述样本视频数据计算关节点坐标位置，确定所述样本视频数据的骨架数据，并将所述样本视频数据的骨架数据分别传输给多个第二边缘节点；

多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值样本和骨架速度特征值样本，并上传给所述云端服务器；

所述云端服务器根据所述不同约束强度下的骨架位置特征值样本和骨架速度特征值样本，对预设模型进行训练，得到不同约束强度下的人行为识别模型并下发给相应的第二边缘节点。

3.根据权利要求1或2所述的方法，其特征在于，所述多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值，还包括：

所述多个第二边缘节点根据下一帧的人行为状态变量的观测值，对所述下一帧的人行为状态变量的预测值进行不同约束强度的修正，确定不同约束强度下一帧的人行为状态变量的修正值；

根据所述不同约束强度下一帧的人行为状态变量的修正值，确定不同约束强度下的骨架位置特征值和骨架速度特征值。

4.根据权利要求1所述的方法，其特征在于，所述每个关节的状态变量的计算公式为：

所述人行为状态变量计算公式为：

x_t＝[J_t,1 ^T,...,J_t,N ^T]^T (2)

所述状态转移矩阵的计算公式为：

所述当前帧的人行为状态变量的预测值的计算公式为：

其中，T为骨架数据对应的视频画面的总帧数，t为骨架数据对应的视频画面的第t帧，j为第j个关节点，t∈(1，2,...,T)，j∈(1，2,...,N)，N表示关节点的数量，x为关节点的横坐标，y为关节点的纵坐标，z为关节点的竖坐标，J_t,n为骨架数据对应的视频画面的第t帧中第n个关节的状态变量，x_t为所述所有关节的状态变量，Φ为状态转移矩阵，

为所有关节的状态变量的预测值。

5.根据权利要求3所述的方法，其特征在于，所述多个第二边缘节点根据下一帧的人行为状态变量的观测值，对所述下一帧的人行为状态变量的预测值进行不同约束强度的修正，得到不同约束强度下的骨架位置特征值和骨架速度特征值，包括：

所述多个第二边缘节点获取下一帧视频画面中所有关节的状态变量的观测值；

所述多个第二边缘节点根据所述下一帧视频画面所有关节的状态变量的观测值，对所述下一帧视频画面中所有关节的状态变量的预测值进行不同约束强度的修正，得到不同约束强度下的骨架位置特征值和骨架速度特征值。

6.一种面向边缘计算的人行为特征提取系统，其特征在于，所述系统包括：

视觉传感器，所述视觉传感器用于采集视频数据，并将所述视频数据传输至与其相连的第一边缘节点；

第一边缘节点，所述第一边缘节点用于接收所述视觉传感器传输的待识别视频数据，根据所述待识别视频数据计算关键点的空间位置，确定骨架数据，并将所述骨架数据传输至与其相连的多个第二边缘节点；

多个第二边缘节点，每个第二边缘节点用于接收骨架数据，所述第二边缘节点根据所述骨架数据确定不同约束强度下的骨架位置特征值和骨架速度特征值，所述第二边缘节点将所述不同约束强度下的骨架位置特征值和骨架速度特征值上传至云端服务器；以及，将所述不同约束强度下的骨架位置特征值和骨架速度特征值输入相应约束强度下的人行为识别模型，得到所述待识别视频数据的人行为识别结果，并将所述人行为识别结果上传至云端服务器；

云端服务器，所述云端服务器用于接收所述第二边缘节点上传的不同约束强度下的骨架位置特征值和骨架速度特征值，根据所述骨架位置特征值和骨架速度特征值构建不同约束强度下的人行为识别模型，并下发至对应的第二边缘节点；以及，接收所述多个第二边缘节点各自上传的所述待识别视频数据的识别结果，并对所述待识别视频数据的多个人行为识别结果进行融合，得到所述视频数据的最终人行为识别结果；

所述多个第二边缘节点基于不同的约束强度对所述骨架数据进行特征提取，得到不同约束强度下的骨架位置特征值和骨架速度特征值，包括：

所述多个第二边缘节点根据所述骨架数据，确定下一帧的人行为状态变量的预测值；

其中，所述多个第二边缘节点根据所述骨架数据，确定下一帧的人行为状态变量的预测值的步骤包括：

获取当前帧视频画面中每个关节的状态变量；

根据所述当前帧视频画面中每个关节的状态变量构建当前帧视频画面中所有关节的状态变量，即当前帧的人行为状态变量；

根据所述当前帧视频画面的人行为状态变量以及状态转移矩阵，确定下一帧视频画面的人行为状态变量的预测值。

7.根据权利要求6所述的系统，其特征在于，所述第一边缘节点和所述第二边缘节点部署在所述视觉传感器附近，实现特征提取和人行为识别过程的就近处理。

Images