CN115862136A - 基于骨骼关节的轻量级加油员行为识别方法及装置 - Google Patents

Abstract

基于骨骼关节的轻量级加油员行为识别方法及装置，该方法利用人体目标检测网络对预处理后的行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；遍历行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练人体目标检测网络；将人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；将人体运动轨迹检测框送入人体目标检测网络获得人体目标姿态信息，人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。本发明适合用在性价比更高且部署安装更为简单的深度学习嵌入式终端。

Description

基于骨骼关节的轻量级加油员行为识别方法及装置

技术领域

本发明属于图像视觉深度学习技术领域，具体涉及一种基于骨骼关节的轻量级加油员行为识别方法及装置。

背景技术

目前，机场行为监督主要采用人工监管或视频监控两种方式，人工监管实际处理起来耗时耗力，同时难以达到实时性、全天候的要求，对工作人员的行为监督工作也难以到位，可能会导致较大的安全隐患。

而在视频监控中，基于视频的行为识别算法主要分为传统算法和基于深度学习方法两大类，传统行为识别方法需要人工设计特征对行为进行表征，实现简单但易受经验影响，准确性和鲁棒性一般，而深度学习视频行为识别方法由于要提取时间和空间特征，算力消耗大，不适于部署到算力较弱的嵌入式设备上。

发明内容

为此，本发明提供一种基于骨骼关节的轻量级加油员行为识别方法及装置，解决传统基于深度学习方案对算力要求较高，算力消耗大，不适于部署到算力较弱的嵌入式设备上的问题。

为了实现上述目的，本发明提供如下技术方案：一种基于骨骼关节的轻量级加油员行为识别方法，包括：

采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；

构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；

遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；

将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；

将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，所述人体目标检测网络包括Block单元和SandGlass单元；

所述Block单元通过逐点卷积进行维度扩展，所述Block单元通过深度卷积提取通道特征；

所述SandGlass单元采用两次深度卷积和两层逐点卷积进行维度缩放。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，所述人体目标检测网络中引入空间金字塔池化结构，输入特征图分别经过三个预设尺寸的最大值池化层，并通过一条shortcut路径将输入特征图与三个池化输出进行维度拼接，再利用一个卷积层对四个不同尺度的特征信息进行融合学习。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，将重叠率大于等于35％的锚框判定为正样本，将重叠率小于35％的锚框判定为负样本，利用判定的正样本和负样本对所述人体目标检测网络进行训练。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，利用所述人体目标检测网络获取的前后两帧锚框a和锚框b计算重叠度IOU，重叠度IOU计算公式为：

IOU＝(Area(a)∩Area(b))/(Area(a)∪Area(b))

式中，Area(a)为锚框a所占区域的面积，Area(b)为锚框b所占区域的面积。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，跟踪人体目标得到人体运动轨迹检测框步骤包括：

针对当前帧检测集D_f，对于活跃的轨迹集合T_a中的每一轨迹t_i，选取最后加入轨迹的锚框信息，依次计算当前位置信息和当前帧检测集中所有检测框的重叠度IOU，如果满足最大的IOU(d_best,t_i)大于等于预设阈值，则判定当前检测框属于对应加入的轨迹，从当前帧检测集D_f中删去当前检测框。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，如果不满足最大的IOU(d_best,t_i)大于等于预设阈值，计算当前检测框和轨迹框彩色直方图之间的相似度S，若S大于预设值，则判定当前检测框属于对应加入的轨迹。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，将当前帧检测集D_f中所有剩余的检测框，作为新的轨迹的开始插入到活跃的轨迹集合T_a中；

当检测完成后，对于活跃的轨迹集合T_a中每个活跃轨迹t_i，判断是否满足跟踪完毕的条件，若满足跟踪完毕的条件，转移到跟踪结束的轨迹集合T_f中，将跟踪结束的轨迹集合T_f作为提取的人体运动轨迹检测框。

作为基于骨骼关节的轻量级加油员行为识别方法优选方案，利用相似度OKS度量人体骨骼关键点的相似程度，更新人体姿态和骨骼关键点信息；

更新过程中，对每帧中的人体检测框分配一个追踪ID，计算相邻两帧间人体骨骼关键点的相似度OKS，相似度OKS计算公式为：

式中，p表示人物的标号，i表示骨骼点的标号，

表示标注关节点和预测关节点的欧氏距离,/>

为标准差，/>

表示对第i个骨骼关键点的归一化因子；δ(v_pi＝1)表示第p个人体的第i个骨骼关键点可见。

本发明还提供一种基于骨骼关节的轻量级加油员行为识别装置，采用上述的基于骨骼关节的轻量级加油员行为识别方法，包括：

图像采集处理模块，用于采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；

模型构建处理模块，用于构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；

模型训练模块，用于遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；

人体目标跟踪模块，用于将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；

目标行为识别模块，用于将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。

本发明具有如下优点：通过采集待识别的行为图像，将行为图像进行解码，对解码后的行为图像进行尺寸预处理；构建人体目标检测网络，利用人体目标检测网络对预处理后的行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；遍历行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练人体目标检测网络；将人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；将人体运动轨迹检测框送入人体目标检测网络获得人体目标姿态信息，人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。本发明极大地缩减了深度学习模型训练和检测推理所需的时间，同时又保持了高精度性、较好的实时性等优良特质，适合应用在性价比更高且部署安装更为简单的深度学习嵌入式终端。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

图1为本发明实施例1提供的基于骨骼关节的轻量级加油员行为识别方法流程示意图；

图2为本发明实施例1提供的基于骨骼关节的轻量级加油员行为识别方法中人体目标检测网络结构示意图；

图3为本发明实施例1提供的基于骨骼关节的轻量级加油员行为识别方法中人体检测结果图；

图4为本发明实施例1提供的基于骨骼关节的轻量级加油员行为识别方法中应用场景行为识别结果图；

图5为本发明实施例1提供的基于骨骼关节的轻量级加油员行为识别方法中应用场景另一行为识别结果图；

图6为本发明实施例2提供的基于骨骼关节的轻量级加油员行为识别装置示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1和图2，本发明实施例1提供一种基于骨骼关节的轻量级加油员行为识别方法，包括以下步骤：

S1、采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；

S2、构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；

S3、遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；

S4、将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；

S5、将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。

本实施例中，步骤S1中通过摄像头采集待识别的行为图像，然后经过边缘设备解码，将解码得到的图像通过resize操作得到608×608预处理行为图像。其中，resize操作本身是OpenCV库中的一个函数，可以起到对图片进行缩放的作用。

本实施例中，步骤S2中，所述人体目标检测网络包括Block单元和SandGlass单元；所述Block单元通过逐点卷积进行维度扩展，所述Block单元通过深度卷积提取通道特征；所述SandGlass单元采用两次深度卷积和两层逐点卷积进行维度缩放。

由于嵌入式设备、边缘设备等算力及存储资源有限的终端上，难以做到实时性的目标检测并进行有效的部署。需要牺牲一部分的性能损耗来换取更快的推理速度。故对人体目标检测网络结构进行轻量化优化：

其中，人体目标检测网络的输入尺寸为608×608×3，之后经过卷积、批量归一化、ReLU激活后变为32通道的304×304的输出，接着经过若干由Block单元和SandGlass单元组成的特征提取网络来获取图像高维信息。

具体的，Block单元首先使用逐点卷积进行维度扩展，避免直接降维所造成的信息丢失；而后使用深度卷积提取各通道的特征；最后逐点卷积采用Linear激活函数，以减少使用ReLU激活函数所造成的信息丢失，通过使用逐点卷积和深度卷积来代替传统卷积减少了计算量。

具体的，SandGlass单元充分利用深度卷积轻量化的特点，首尾采用两次深度卷积，中间经两层逐点卷积进行维度的缩放，从而保留更多的空域信息，提升分类性能。最终得到图像在128通道数上的高维信息。

本实施例中，所述人体目标检测网络中引入空间金字塔池化结构，输入特征图分别经过三个预设尺寸的最大值池化层，并通过一条shortcut路径将输入特征图与三个池化输出进行维度拼接，再利用一个卷积层对四个不同尺度的特征信息进行融合学习。

具体的，为人体目标检测网络的输入尺寸固定，使用裁剪、缩放等方式处理原始行为图像的尺寸所造成图像畸变和特征信息失真，在人体目标检测网络的特征提取器之后引入空间金字塔池化结构，输入特征图分别经过三个尺寸为3、5、7最大值池化层，并通过一条short-cut路径将输入特征图与三个池化输出进行维度拼接，最后利用一个卷积层对四个不同尺度的特征信息进行融合、学习。

其中，考虑到人体目标较大且较为简单，为降低人体目标检测网络计算量，提高推理速度，仅对人体目标检测网络中端76×76×32与末端19×19×128的2层特征信息进行融合，高维度小尺寸图像信息自下而上通过上采样与低维度大尺寸图像信息进行拼接，而低维度大尺寸图像信息自上而下通过减采样与低高维度小尺寸图像信息进行拼接，使得多尺度特征反复融合、相互增强，充分理解特征提取网络的高层语义信息与低维度信息，提升网络表达能力。

本实施例中，将重叠率大于等于35％的锚框判定为正样本，将重叠率小于35％的锚框判定为负样本，利用判定的正样本和负样本对所述人体目标检测网络进行训练。

具体的，通过利用人体目标检测网络对预处理后的行为图像提取基础特征，并以卷积特征块上的每个像素点为中心构造6种尺度不同的锚框，遍历整张图像的所有像素点得到所有预测的锚框，计算预测锚框和真实人体锚框的重合部分，将重叠率大于等于35％的锚框判定为正样本，将重叠率小于35％的锚框判定为负样本，来训练人体目标检测网络。

本实施例中，步骤S4中，由于人体目标检测网络仅仅只能在每帧图像中找出人体的位置，故利用人体目标检测网络获取的前后两帧锚框a和锚框b计算重叠度IOU，重叠度IOU计算公式为：

IOU＝(Area(a)∩Area(b))/(Area(a)∪Area(b))

式中，Area(a)为锚框a所占区域的面积，Area(b)为锚框b所占区域的面积。

本实施例中，跟踪人体目标得到人体运动轨迹检测框步骤如下：

其中，令D₀，D₁.D_F-1分别代表第0，1，...，F-1帧检测图像，d₀，d₁.d_N-1分别代表每帧检测图像中N个人体目标；T_a代表处于活跃的轨迹集合，由还在跟踪的人体目标锚框组成；T_f代表已经追踪完的物体轨迹集合，由已跟踪完毕的人体目标框组成。

具体的，针对当前帧检测集D_f，对于活跃的轨迹集合T_a中的每一轨迹t_i，选取最后加入轨迹的锚框信息，依次计算当前位置信息和当前帧检测集中所有检测框的重叠度IOU，如果满足最大的IOU(d_best，t_i)大于等于预设阈值σ_IOU(0.25)，则判定当前检测框属于对应加入的轨迹，从当前帧检测集D_f中删去当前检测框。

由于，仅仅依靠重叠度IOU的大小并不能够很好的应对复杂的状况，为了避免设定固定阈值σ_IOU而出现漏检的情况：

如果不满足最大的IOU(d_best，t_i)大于等于预设阈值，计算当前检测框和轨迹框彩色直方图之间的相似度S，若S大于预设值0.3，则判定当前检测框属于对应加入的轨迹。

当以上两点都不满足时，则判断该轨迹中历史位置的最高分是否大于阈值σ_h以及该轨迹的出现时间是否大于t_min(跟踪完成的条件)，判定是否该物体已经跟踪完毕，若是，把该轨迹t_i从T_a移动到Tf中。

具体的，对于当前帧检测集D_f中所有剩余的检测框，作为新的轨迹的开始插入到活跃的轨迹集合T_a中；当所有检测完成后，对于活跃的轨迹集合T_a中每个活跃轨迹t_i，判断是否满足跟踪完毕的条件，若满足跟踪完毕的条件，转移到跟踪结束的轨迹集合T_f中，将跟踪结束的轨迹集合T_f作为提取的人体运动轨迹检测框。

本实施例中，对于提取出来的人体运动轨迹检测框T_f，需要送入一个轻量级人体目标检测网络获得姿态信息。人体目标检测网络采用自上向下的方法利用流光估计对人体检测框进行补充以减少漏检，然后通过将检测得到的人体目标区域裁剪后输入到姿态估计网络中进行二维的姿态估计，得到人体的骨骼关键点。

具体的，利用NMS方法统一人体跟踪输出的人体检测框和基于流光估计的人体检测框。然后对检测框进行适量的裁剪和Resize操作，使尽可能地保留较少的无关背景信息，之后进行姿态估计。

具体的，为了减少将不同人物的检测框归于同一轨迹，特别是当两个人体的运动路线发生交叉重叠时，这种错检就会发生。利用相似度OKS度量人体关键点的相似程度，不断更新人体姿态和骨骼关键点信息。

其中，更新策略采用的是，首先对每帧中的人体检查框分配一个特有id来方便追踪，计算相邻两帧间人体骨骼点的相似度OKS，相似度大的对应于同一id。OKS的定义如下：利用相似度OKS度量人体骨骼关键点的相似程度，更新人体姿态和骨骼关键点信息；

更新过程中，对每帧中的人体检测框分配一个追踪ID，计算相邻两帧间人体骨骼关键点的相似度OKS，相似度OKS计算公式为：

式中，p表示人物的标号，i表示骨骼点的标号，

表示标注关节点和预测关节点的欧氏距离,/>

为标准差，/>

表示对第i个骨骼关键点的归一化因子；δ(v_pi＝1)表示第p个人体的第i个骨骼关键点可见。

其中，σ越大表示该关键点越难标注，OKS处于[0,1]的范围，且越接近于1，两者越相似。

参见图3、图4和图5，本实施例中，人体目标检测网络主要负责提取人体双眼，鼻子，双耳，两肩，两手肘，两手腕，两股，两膝，两脚踝等17个关键点的位置信息。之后以10帧序列作为单位，输入到最终的分类网络，针对机场加油的指挥场景，把一系列动作分为三大类：手指，俯身和其他。以10帧为单位，将所有关节点的位置信息(x，y)张成一个一维的特征向量1*(10*17*2)，共340个特征F＝[f₁，f₂.f₃₄₀]，输入骨骼关键点全连接分类网络，进行维度放大，提取细节特征，最后分为手指、弯腰、其他三类。

综上所述，本发明通过采集待识别的行为图像，将行为图像进行解码，对解码后的行为图像进行尺寸预处理；构建人体目标检测网络，利用人体目标检测网络对预处理后的行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；遍历行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练人体目标检测网络；将人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；将人体运动轨迹检测框送入人体目标检测网络获得人体目标姿态信息，人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。针对当前帧检测集D_f，对于活跃的轨迹集合T_a中的每一轨迹t_i，选取最后加入轨迹的锚框信息，依次计算当前位置信息和当前帧检测集中所有检测框的重叠度IOU，如果满足最大的IOU(d_best，t_i)大于等于预设阈值σ_IOU(0.25)，则判定当前检测框属于对应加入的轨迹，从当前帧检测集D_f中删去当前检测框。为了避免设定固定阈值σ_IOU而出现漏检的情况：如果不满足最大的IOU(d_best，t_i)大于等于预设阈值，计算当前检测框和轨迹框彩色直方图之间的相似度S，若S大于预设值0.3，则判定当前检测框属于对应加入的轨迹。当以上两点都不满足时，则判断该轨迹中历史位置的最高分是否大于阈值σ_h以及该轨迹的出现时间是否大于t_min(跟踪完成的条件)，判定是否该物体已经跟踪完毕，若是，把该轨迹t_i从T_a移动到T_f中。对于当前帧检测集D_f中所有剩余的检测框，作为新的轨迹的开始插入到活跃的轨迹集合T_a中；当所有检测完成后，对于活跃的轨迹集合T_a中每个活跃轨迹t_i，判断是否满足跟踪完毕的条件，若满足跟踪完毕的条件，转移到跟踪结束的轨迹集合T_f中，将跟踪结束的轨迹集合T_f作为提取的人体运动轨迹检测框。为了减少将不同人物的检测框归于同一轨迹，特别是当两个人体的运动路线发生交叉重叠时，这种错检就会发生。利用相似度OKS度量人体关键点的相似程度，不断更新人体姿态和骨骼关键点信息。本发明极大地缩减了深度学习模型训练和检测推理所需的时间，同时又保持了高精度性、较好的实时性等优良特质，适合应用在性价比更高且部署安装更为简单的深度学习嵌入式终端。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

实施例2

参见图6，本发明实施例2还提供一种基于骨骼关节的轻量级加油员行为识别装置，采用上述实施例的基于骨骼关节的轻量级加油员行为识别方法，包括：

图像采集处理模块1，用于采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；

模型构建处理模块2，用于构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；

模型训练模块3，用于遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；

人体目标跟踪模块4，用于将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；

目标行为识别模块5，用于将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。

本实施例中，模型构建处理模块2中，所述人体目标检测网络包括Block单元和SandGlass单元；

所述Block单元通过逐点卷积进行维度扩展，所述Block单元通过深度卷积提取通道特征；

所述SandGlass单元采用两次深度卷积和两层逐点卷积进行维度缩放。

本实施例中，模型构建处理模块2中，所述人体目标检测网络中引入空间金字塔池化结构，输入特征图分别经过三个预设尺寸的最大值池化层，并通过一条shortcut路径将输入特征图与三个池化输出进行维度拼接，再利用一个卷积层对四个不同尺度的特征信息进行融合学习。

本实施例中，模型训练模块3中，将重叠率大于等于35％的锚框判定为正样本，将重叠率小于35％的锚框判定为负样本，利用判定的正样本和负样本对所述人体目标检测网络进行训练。

本实施例中，人体目标跟踪模块4中，利用所述人体目标检测网络获取的前后两帧锚框a和锚框b计算重叠度IOU，重叠度IOU计算公式为：

IOU＝(Area(a)∩Area(b))/(Area(a)∪Area(b))

式中，Area(a)为锚框a所占区域的面积，Area(b)为锚框b所占区域的面积。

本实施例中，人体目标跟踪模块4中，跟踪人体目标得到人体运动轨迹检测框包括：

针对当前帧检测集D_f，对于活跃的轨迹集合T_a中的每一轨迹t_i，选取最后加入轨迹的锚框信息，依次计算当前位置信息和当前帧检测集中所有检测框的重叠度IOU，如果满足最大的IOU(d_best，t_i)大于等于预设阈值，则判定当前检测框属于对应加入的轨迹，从当前帧检测集D_f中删去当前检测框。

如果不满足最大的IOU(d_best，t_i)大于等于预设阈值，计算当前检测框和轨迹框彩色直方图之间的相似度S，若S大于预设值，则判定当前检测框属于对应加入的轨迹。

将当前帧检测集D_f中所有剩余的检测框，作为新的轨迹的开始插入到活跃的轨迹集合T_a中；

当检测完成后，对于活跃的轨迹集合T_a中每个活跃轨迹t_i，判断是否满足跟踪完毕的条件，若满足跟踪完毕的条件，转移到跟踪结束的轨迹集合T_f中，将跟踪结束的轨迹集合T_f作为提取的人体运动轨迹检测框。

本实施例中，目标行为识别模块5中，利用相似度OKS度量人体骨骼关键点的相似程度，更新人体姿态和骨骼关键点信息；

更新过程中，对每帧中的人体检测框分配一个追踪ID，计算相邻两帧间人体骨骼关键点的相似度OKS，相似度OKS计算公式为：

式中，p表示人物的标号，i表示骨骼点的标号，

表示标注关节点和预测关节点的欧氏距离，/>

为标准差，/>

表示对第i个骨骼关键点的归一化因子；6(v_pi＝1)表示第p个人体的第i个骨骼关键点可见。

需要说明的是，上述装置各模块之间的信息交互、执行过程等内容，由于与本申请实施例1中的方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

实施例3

本发明实施例3提供一种非暂态计算机可读存储介质，所述计算机可读存储介质中存储有基于骨骼关节的轻量级加油员行为识别方法的程序代码，所述程序代码包括用于执行实施例1或其任意可能实现方式的基于骨骼关节的轻量级加油员行为识别方法的指令。

计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidState Disk、SSD))等。

实施例4

本发明实施例4提供一种电子设备，包括：存储器和处理器；

所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行实施例1或其任意可能实现方式的基于骨骼关节的轻量级加油员行为识别方法。

具体的，处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于所述处理器之外，独立存在。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.基于骨骼关节的轻量级加油员行为识别方法，其特征在于，包括：

采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；

构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；

遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；

将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；

将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。

2.根据权利要求1所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，所述人体目标检测网络包括Block单元和SandGlass单元；

所述Block单元通过逐点卷积进行维度扩展，所述Block单元通过深度卷积提取通道特征；

所述SandGlass单元采用两次深度卷积和两层逐点卷积进行维度缩放。

3.根据权利要求2所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，所述人体目标检测网络中引入空间金字塔池化结构，输入特征图分别经过三个预设尺寸的最大值池化层，并通过一条shortcut路径将输入特征图与三个池化输出进行维度拼接，再利用一个卷积层对四个不同尺度的特征信息进行融合学习。

4.根据权利要求1所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，将重叠率大于等于35％的锚框判定为正样本，将重叠率小于35％的锚框判定为负样本，利用判定的正样本和负样本对所述人体目标检测网络进行训练。

5.根据权利要求1所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，利用所述人体目标检测网络获取的前后两帧锚框a和锚框b计算重叠度IOU，重叠度IOU计算公式为：

IOU＝(Area(a)∩Area(b))/(Area(a)∪Area(b))

式中，Area(a)为锚框a所占区域的面积，Area(b)为锚框b所占区域的面积。

6.根据权利要求5所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，跟踪人体目标得到人体运动轨迹检测框步骤包括：

针对当前帧检测集D_f，对于活跃的轨迹集合T_a中的每一轨迹t_i，选取最后加入轨迹的锚框信息，依次计算当前位置信息和当前帧检测集中所有检测框的重叠度IOU，如果满足最大的IOU(d_best,t_i)大于等于预设阈值，则判定当前检测框属于对应加入的轨迹，从当前帧检测集D_f中删去当前检测框。

7.根据权利要求6所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，如果不满足最大的IOU(d_best,t_i)大于等于预设阈值，计算当前检测框和轨迹框彩色直方图之间的相似度S，若S大于预设值，则判定当前检测框属于对应加入的轨迹。

8.根据权利要求7所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，将当前帧检测集D_f中所有剩余的检测框，作为新的轨迹的开始插入到活跃的轨迹集合T_a中；

当检测完成后，对于活跃的轨迹集合T_a中每个活跃轨迹t_i，判断是否满足跟踪完毕的条件，若满足跟踪完毕的条件，转移到跟踪结束的轨迹集合T_f中，将跟踪结束的轨迹集合T_f作为提取的人体运动轨迹检测框。

9.根据权利要求8所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，利用相似度OKS度量人体骨骼关键点的相似程度，更新人体姿态和骨骼关键点信息；

更新过程中，对每帧中的人体检测框分配一个追踪ID，计算相邻两帧间人体骨骼关键点的相似度OKS，相似度OKS计算公式为：

式中，p表示人物的标号，i表示骨骼点的标号，

表示标注关节点和预测关节点的欧氏距离,/>

为标准差，/>

表示对第i个骨骼关键点的归一化因子；δ(v_pi＝1)表示第p个人体的第i个骨骼关键点可见。

10.基于骨骼关节的轻量级加油员行为识别装置，采用权利要求1至9任一项所述的基于骨骼关节的轻量级加油员行为识别方法，其特征在于，包括：

图像采集处理模块，用于采集待识别的行为图像，将所述行为图像进行解码，对解码后的所述行为图像进行尺寸预处理；

模型构建处理模块，用于构建人体目标检测网络，利用所述人体目标检测网络对预处理后的所述行为图像进行基础特征提取，并以卷积特征块上的每个像素点为中心构造预设尺度的锚框；

模型训练模块，用于遍历所述行为图像的像素点得到预测锚框，获取预测锚框和真实人体锚框的重合部分，根据重叠率判定样本类型，利用判定的样本类型训练所述人体目标检测网络；

人体目标跟踪模块，用于将所述人体目标检测网络获取的前后两帧对应的锚框进行检测目标关联，以跟踪人体目标得到人体运动轨迹检测框；

目标行为识别模块，用于将所述人体运动轨迹检测框送入所述人体目标检测网络获得人体目标姿态信息，所述人体目标姿态信息包括人体骨骼关键点，利用人体骨骼关键点进行加油员行为识别。

Images