CN112001347B - 一种基于人体骨架形态与检测目标的动作识别方法 - Google Patents

Abstract

本发明提供了一种基于人体骨架形态与目标检测技术结合的动作识别办法，首先对监控区域的视频流进行初步的预处理，将视频流的帧数、码率、分辨率进行调整；然后利用YOLOv4模型对行人和物品种类进行检测，将检测到的物品种类和行人的位置信息记录保存，接着使用OpenPose提取人体骨架信息，后将人体骨架信息根据所需检测动作制作成正负样本数据集并训练动作分类器模型；分类器输出的动作信息和物品信息进行关联度匹配后输出最终的动作置信度。将模型运用于监控视频流中，当检测到设定动作时，发送动作信息和行人坐标信息至后台管理处，从而提高监控的智能化水平。

Description

一种基于人体骨架形态与检测目标的动作识别方法

技术领域

本发明涉及属于计算机智能学习领域，具体地说，涉及一种基于 OpenPose和YOLOv4结合地人体动作识别方法。

背景技术

通过人工智能地方法来检测人们正在干的事或者检测人们的动 作含义是近年来的热点话题。在计算机智能学习领域中，通过人体姿 态来识别人体动作是目前的主流方法。人体姿态算法中CPN(Cascaded PyramidNetwork)检测速度过慢，实际运用中有滞后性，poseNet虽 然检测速度快但是准确率较低，只有OpenPose是速度与准确率二者兼得，所以本发明基于OpenPose来做人体的动作识别。

目前基于人体姿态识别动作的技术有很多，通过OpenPose将人 体骨架信息提取后用于动作识别模型是较为常见的一种方法， OpenPose不需要太高大上的硬件来支撑，相对于深度体感相机，如 Kinect有着较大的普适性。更容易受到更多人的使用，只需要简单的具有摄像功能的机器都可以运用到OpenPose。但是如今的视频流 大多是不是从理想角度拍摄得到，有时人体会太小或者角度不正而导 致精度的下降和误报率上升。单纯基于OpenPose的动作识别技术， 例如一种基于OpenPose的吃东西行为识别方法CN201911150648.6， 基于OpenPose的击剑动作获取方法及计算机存储介质CN201810338998.4等，上述两篇专利都是基于只基于OpenPose来提 取信息就完成了动作识别的模型训练，一方面采集动作姿态训练样本 要求过大，执行层面较为困难，另一方面在不同的运用环境模型的检测精度会有所下降，难以广泛运用。

因此一个可在多数场景可以被运用到的人体动作识别方法是非 常有市场且有必要的。本专利在不同的角度下都可以利用环境中的物 品信息和人体信息的双重检测来对人体动作进行更精确的识别，在提 高了检测的精度的同时，对检测端的硬件资源要求也不高，可运用范 围较广。

发明内容

本发明基于目前动作识别模型大多都是单调的OpenPose或者价 格高昂的深度学习相机并且还存在精确度不够等问题，提供了一种基 于人体骨架形态与目标检测技术结合的动作识别办法，在基于 OpenPose提取到人体骨架特征信息后，再加入YOLOv4的目标检测技 术，二者相互结合，不需要高昂的硬件设备也可以提高检测精度。

本发明具体内容如下：一种基于人体骨架形态与检测目标的动作 识别方法，包括了视频流的预处理、行人和物品检测、骨架信息提取 及其模型训练、置信度判断和决策警告五个步骤：

步骤S1：构建图像采集模块采集需监控区域的视频流，并进行 视频流预处理；

步骤S2：利用YOLOv4模型检测出监控区域视频流内的行人和物 体种类，并记录物体种类名称；

步骤S3：通过OpenPose将视频流内识别到的人体目标图像进行 人体骨架特征提取、正负样本制作和训练动作分类器模型；

步骤S4：训练好的动作分类器模型对视频流内的人体动作进行 初步识别，YOLOv4识别到的物体和所识别动作进行匹配，根据二者 的匹配相关度调整动作的置信度。

步骤S5：决策警告，当检测到所需检测动作时，将信息发送至 后台管理；

为了更好的实现本发明，进一步的，所述步骤S1，具体还包括 以下步骤：

步骤S1.1：为了满足动作检测的准确性和实时性，视频流的好坏 是第一步也是十分重要的一步，本发明需要用到YOLOv4和OpenPose 两个模型，这两个模型对视频流的要求都不低，所以需要将视频流进行统一的设定。本发明将视频流按照图1视频质量和码率、分辨率的 关系设定，将常见的几种分辨率做了如下设定：1920x1080分辨率的 序列需要约7000kbps的码率，640x480分辨率的序列需要约1900kbps 的码率，352x288分辨率的序列需要约800kbps的码率。

为了更好的实现本发明，进一步的，所述步骤S2，具体还包括 以下步骤：

步骤S2.1：物体数据集的建立：对需检测动作中所包含除人体 以外的物体数据集进行收集分类。如：将需识别的动作设为M，则和 动作M相关的物品设为M1、M2依次排列，可以从多种不同视频或图 片中收集物品M1、M2的信息，并将其制作成标准VOC数据集。

步骤S2.2：将上述步骤S2.1中制作好的物品VOC数据集输入到 标准的YOLOv4模型中进行训练。

在本专利使用的模型YOLOv4模型中，拥个卷积层个全连接层， 运用了卷积的级联结构，网络的输入层设计为448*448，卷积级联结 构用于图像的特征提取，全连接层用于预测类概率和边框。其中逻辑回归的代价函数为：

其中h_θ是sigmoid函数，作为激活函数在网络中。当物品检测的 准确率达到95％以上时，模型训练完毕，随即可以用于检测视频流中 的物品和行人信息并记录下来。

步骤S2.3：利用上述步骤S2.2训练好的YOLOv4模型对传入的 视频流进行检测，当检测到动作包含物体M1、M2时，将物体名称纪 录。

为了更好的实现本发明，进一步的，所述步骤S3，具体还包括 以下步骤：

步骤S3.1：收集所需检测动作的正负样本数据集，并用OpenPose 将正负样本数据集的骨架特征信息提取出来。在本专利中，骨架特征 通过前馈网络预测出图片中人体部位置信度S，同时预测出部位的亲 和力向量场L(人体骨骼各个关节的关系)，集合S＝(S1,S2,SJ)J 表示每个骨骼关节点有J个身体部位置信图。集合L(L1,L2,LC)每 个肢体有C个部位亲和力向量场。得到集合J和L后使用Greedy algorithm算法将人体骨骼关节点信息找出。在Greedy algorithm 算法将人体关节部位找出之后需要记录这些关节的信息，并将重复此 步骤湖，获取大量的信息以作为训练数据集。

步骤S3.2：使用步骤S3.1中制作的正负样本数据集训练基于 ResNet-56动作分类器模型。

步骤S3.3：利用训练好的动作识别分类模型对视频流进行检测。 当识别到有所需检测动作的时候，将动作名称记录下来，并将 ResNet-56动作分类器模型给出的动作置信度记录，设为X1。其中， ResNet-56的卷积层采用3*3的卷积核，步幅为2完成下采样。

为了更好的实现本发明，进一步的，所述步骤S4，具体还包括 以下步骤：

步骤S4.1：将步骤S3.3所记录的动作信息和步骤S2.3记录物 品信息进行关联度匹配，得到物品权重W_j最终输出的动作置信度为：其中x⁽ⁱ⁾是OpenPose输出的动作置信度，O_j是YOLOv4检测出的第j个物体，w_j ⁽ⁱ⁾是物品j所对应的权重。

步骤S4.2：当步骤S3.3检测处动作后，将X⁽ⁱ⁾传入所述步骤S4.1 的公式中，输出最终的动作识别置信度。

为了更好的实现本发明，进一步的，所述步骤S5，具体还包括 以下步骤：

步骤S5.1：设定一个置信度X和时间T为报警阈值，当步骤S4.2 输出的所识别动作置信度X达到阈值后，开始计时，如果连续时间超 过设定时间T，则将当前帧前后10帧图片进行保存。

本发明与现有技术相比有以下有点和有益效果：

1)：对检测端和数据采集端的硬件要求不高；

2)：可适应不同视频流大小并调整至最契合模型的视频码率；

3)：检测精度相对单调的OpenPose动作识别模型有所提高。

附图说明

图1为识别动作的整体流程图；

图2检测和所需识别动作相关物品的流程；

图3为OpenPose提取人体骨架信息流程

图4为基于OpenPose的动作识别流程图；

具体实施方式：

为了更清楚地说明本发明实施例的技术方案,下面将结合本发明 实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描 述,应当理解,所描述的实施例仅仅是本发明的一部分实施例,而不是 全部的实施例,因此不应被看作是对保护范围的限定。基于本发明中 的实施例,本领域普通技术工作人员在没有做出创造性劳动前提下所 获得的所有其他实施例,都属于本发明保护的范围。

实施例1：(以识别人在玩手机为例)

一种基于人体骨架形态与检测目标的动作识别方法，结合图1， 图2，图3，图4所示，包括了视频的预处理、行人和物品检测、骨 架信息提取及其模型训练和决策警告4个步骤：

步骤S1：将视频流按照图1视频质量和码率、分辨率的关系设 定，将常见的几种分辨率做了如下设定：1920x1080分辨率的序列需 要约7000kbps的码率，640x480分辨率的序列需要约1900kbps的码 率，352x288分辨率的序列需要约800kbps的码率。

步骤S2：对手机的各种不同远近角度和多种手机型号的图片收 集、同时联想到玩手机可能会戴上耳机，也对耳机的图像进行收集。 将手机和耳机分别设定为数据集M1和M2，后将其分别制作成标准的 VOC数据集。而后用制作好的数据集训练最新的YOLOv4模型，当模 型可以对手机和耳机的识别率达到95％的时候结束训练。

步骤S3：对人在玩手机的图片、视频进行收集并作为正样本， 相应的收集人没有玩手机的负样本。当样本收集完成后利用OpenPose 将正负样本数据集的骨架特征信息提取出来。如图4所示，输入一幅 数据集中的图像，经过卷积网络提取特征，得到一组特征图，然后分 成两个岔路，分别使用CNN网络提取Part Confidence Maps和Part AffinityFields；得到这两个信息后，使用Bipartite Matching(偶匹配)求出Part Association，将同一个人的关节点连接起来， 由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个 人的整体骨架，并得到人体骨架信息，整理成得到人体骨架信息数据集，将其传入ResNet-56模型中训练，当检测到人体在玩手机的准确 率到达较好程度之后训练结束；

步骤S4：将步骤S2和S3中训练好的模型一起用于需要监测的 视频中，当模型S3检测到视频中人玩手机但S2模型没有没有检测到 手机和耳机则直接输出S3的玩手机置信度，若S2检测到手机和耳机 且S3检测到人体玩手机则最终输出该动作的置信度为其中x⁽ⁱ⁾是OpenPose输出的玩手机置信度， O_j是YOLOv4检测出和玩手机相关的第j个物体，w_j ⁽ⁱ⁾是物品j所对 应的权重。

以本案例来看，若单独使用OpenPose来判断人体是否在玩手机 有可能会出现一定的误差，检测效果可能不太明显，当加入了相关物 品检测之后可以增加动作识别的准确率，在特定的场合，该检测方法 更加的精确、减少误报率。

Claims (2)

1.一种基于人体骨架形态与目标检测的动作识别方法，其特征在于，包括：

步骤S1：构建图像采集模块采集需监控区域的视频流，并进行视频流预处理，将视频流的比特率和帧率调整为契合所选深度学习模型的帧率，将分辨率做了如下设定：1920x1080分辨率的序列需要7000kbps的码率，640x480分辨率的序列需要1900kbps的码率，352x288分辨率的序列需要800kbps的码率；

步骤S2：利用YOLOv4模型检测出监控区域视频流内的行人和物体种类，并记录物体种类名称，具体步骤如下：

S2.1：物体数据集的建立：对需检测动作中所包含除人体以外的物体数据集进行收集分类；设定动作设为M，则和动作M相关的物体设为O_i ^M依次排列，并将物体信息将其制作成标准VOC数据集；

S2.2：将上述步骤S2.1中制作好的物体VOC数据集输入到标准的YOLOv4模型中进行训练；YOLOv4模型中，运用了卷积的级联结构，网络的输入层设计为448*448；在神经网络中逻辑回归的代价函数为：

其中h_θ是sigmoid函数，作为激活函数在网络中；当物体检测的准确率达到95％以上时，模型训练完毕；

S2.3：使用上述步骤S2.2训练好的YOLOv4模型对传入的视频流进行检测，当检测到步骤S2.1中物体时，将物体信息保存记录；

步骤S3：通过OpenPose将视频流内识别到的人体目标图像进行人体骨架特征提取、正负样本制作和训练动作分类器模型；

步骤S4：训练好的动作分类器模型对视频流内的人体动作进行检测，当识别到有设定检测动作的时候，将设定动作信息M、动作置信度x⁽ⁱ⁾保存记录，并与步骤S2.3记录的物体信息进行关联度匹配，得到物体权重W_j，最终输出的动作置信度为：其中x⁽ⁱ⁾是OpenPose输出的动作置信度，O_j是步骤S2.3里YOLOv4检测出的第j个物体，w_j ⁽ⁱ⁾是物体j所对应的权重；

步骤S5：决策警告，当检测到所需检测动作时，将信息发送至后台管理。

2.根据权利要求1所述的一种基于人体骨架形态与目标检测的动作识别方法，其主要特征在于步骤S3所述的人体骨架特征提取、正负样本制作和训练动作分类器模型方法，其具体步骤如下：

步骤S3.1：收集所需检测动作的正负样本数据集，并用OpenPose将正负样本数据集的骨架特征信息提取出来；骨架特征通过前馈网络预测出图片中人体部位置信度S，同时预测出部位的亲和力向量场L(人体骨骼各个关节的关系)，集合S＝(S1,S2,SJ)J表示每个骨骼关节点有J个身体部位置信图；集合L(L1,L2,LC)每个肢体有C个部位亲和力向量场，得到集合J和L后使用Greedyalgorithm算法将人体骨骼关节点信息找出；

步骤S3.2：使用步骤S3.1中制作的人体骨架特征数据集训练基于卷积神经网络的ResNet-56动作分类器模型，当正确识别率达到90％以上时，训练结束。