CN111079481B - 一种基于二维骨架信息的攻击性行为识别方法 - Google Patents

Abstract

本发明公开了一种基于二维骨架信息的攻击性行为识别方法，本发明属于计算机视觉和模式识别领域，所述方法针对双人交互式攻击性行为识别；使用OpenPose获取二维骨架信息序列，并对二维骨架信息序列的人体自遮挡和缺失值进行数据预处理；然后对人体行为进行特征向量构建，单人行为特征向量包括帧间人体重心位移变化和运动时骨骼旋转角变化，交互特征向量包括帧间人体重心位移变化、帧间人体旋转角变化和交互“安全距离”；采用w‑lightGBM算法对单人行为特征向量进行多分类，采用lightGBM算法对交互特征向量进行二分类并将结果显示；通过监控人体行为变化实现对视频中的目标的攻击性行为的识别，为社会治安及公共安全提供有效的视频分析方法。

Description

一种基于二维骨架信息的攻击性行为识别方法

技术领域

本发明属于计算机视觉和模式识别领域，具体涉及一种基于二维骨架信息的攻击性行为识别方法，所述方法能够根据人体运动时骨骼点之间的变化特征和人体位移特征对人体行为进行识别。

背景技术

计算机视觉的行为分析是图像处理、模式识别等领域的重要研究内容之一，在公共安全上有广泛的应用前景，但对某些特定事件的识别，如公共场暴力冲突等，研究相对较少。这些行为在监控场景中可能非常有用，比如公共场所、监狱。因此攻击性行为识别成为了计算机视觉研究领域内重点研究方向之一。

目前基于视频的攻击性行为的识别大致分为两类：基于硬件传感器的交互式行为识别和基于软件的人体特征提取的交互式行为识别。依赖于传感器的监控装置的价格较高，需要对监控器进行额外的设置，如微软三维体感摄像机Kinect。Kinect可以通过传感器获取空间三维人体骨架，实现了人体骨骼信息的跟踪，进而可以方便的进行人体动作特征提取。但是Kinect的应用还没有普及，很多公共场合都没有安装Kinect传感器监控摄像头。因此，采用软件的方式实现对普通摄像头获取的视频图像的行为分析将会拥有广泛的发展前景。随着计算机科学的不断发展，越来越多的技术能够实现从二维图像中识别出行人的骨架，2017年卡耐基梅隆大学的研究人员公开了二维人体骨架信息识别项目OpenPose，实现对监控视频下的目标人物的实时跟踪，并且在RGB视频中捕捉到COCO模型的人体关节点(Joints)信息。根据人类对他人行为感知结果表明，在进行攻击性行为识别中运动特征是至关重要的，而人体骨架信息能够很好的反应人体运动信息。

发明内容

针对现有攻击性行为识别研究较少，对摄像头的局限性的问题，本文发明了一种基于二维骨架信息的攻击性行为识别方法，采用普通摄像头中的视频流数据构建单人特征向量和交互特征向量实现对人体攻击性行为特征的识别。为此，需要解决的关键技术问题包括：获得完整的人体二维骨架信息；基于人体运动特征的单人特征向量和交互特征的构建，通过多人人体特征向量对人体攻击性行为进行分类和识别。为实现上述目的，本发明的具体技术方案如下：

1、一种基于二维骨架信息的攻击性行为识别方法，其特征在于，所述方法包括以下步骤：

步骤1：获取视频流中的二维骨架信息序列；

步骤2：对二维骨架信息序列进行数据预处理，具体为：

首先，对人体自遮挡进行人体对称处理，保证人体姿态特征完整；其次，对骨架缺失点进行预测，计算公式为(1-4)：

v_befor＝y_j(j＝0,1...,i-1) (2)

v_after＝y_j(j＝i+1,i+2,...,n) (3)

式(1)中，v_ave表示最近邻帧特征加权预测值；v_i(t)表示第t帧的第i个关节点，v_i(t)∈V,v表示每帧的关节点集合；t₁,t₂表示t最近临且v_i(t)不发生缺的两帧，满足t₁＜t＜t₂,且t_j∈T,T为视频流的总帧数；v_befor,v_after表示分段多项式的预测值；

步骤3：定义安全距离，作为发生交互行为的阈值D_inter，计算公式为(5-7)：

(v_i(t)表示第t帧右侧人颈部关节点和左侧人颈部关节点) (6)

式(6)中，d_inter表示视频帧中任意两个人之间的颈部关节点距离，v_j(t)表示第t帧中左侧人的颈部关节点，v_i(t)表示第t帧中右侧人的颈部关节点；

步骤4：构建单人特征向量P₁＝{ρ₀,ρ₁,ρ₂...ρ₁₀}，具体为：

人体运动中人体重心的计算公式为(8,9)，(x,y)表示人体重心坐标，P_m表示人

体第m环节的点总重心的概率和环节重心的坐标；

ρ₀＝∑P_mx_n (8)

ρ₁＝∑P_my_n (9)

人体运动时关节角度变化构建旋转角：人体跟右手的夹角、人体跟左手的夹角、右手大臂和小臂的夹角、左手大臂和小臂的夹角、右腿和身体的夹角、左腿和身体的夹角、右小腿和右大腿的夹角、左小腿和左大腿的夹角，计算公式为(10,11)：

式(10)中，E表示关节点集合E＝{e0,e1,...,e12}；

步骤5：构建交互特征向量P₂＝{β₀,β₁,β₂...β₂₀}，计算公式为(12-19)：

V_spine＝(x,y) (14)

ρ₂₂,ρ₂₃,ρ₂₄,ρ₂₅分别表示左手到被攻击者的身体中心的距离、右手到被攻击者的身体中心的距离、左脚到被攻击者的身体中心的距离、右脚到被攻击者的身体中心的距离；

步骤6：利用w-LightGBM和LightGBM对特征向量构建分类模型，具体为：

单人特征向量采用w-LightGBM算法对样本不平衡构建多分类模型权值计算公式(20-23)：

式(20,21)中，N表示样本种类，n_kind表示这类的样本数量，表示样本平均数；var表示样本标准差，α为经验值，一般为1.5；

对交互特征向量，直接采用LightGBM内置样本平衡变量进行样本数量的平衡，计算公式：

本发明的有益效果：本发明针对传统基于人体行为估计分析对摄像头性能的要求采用软件方式引入二维人体骨架信息，对于二维骨架存在人体自遮挡问体进行对称处理，保留人体的原始形态；采用缺失值预测，将人体骨架信息补充完整；通过完整的骨架信息进行运动特征向量的构建，采用旋转角作为运动特征避免了人体行为“因人而异”的难点，采用伐里农算法对二维人体骨架进行重心运动特征提取，完成运动特征向量的构建，攻击性行为向量在常用数据库上的识别率达到了90％以上。

附图说明

图1为本发明实施例中使用到的单人骨骼点信息；

图2为本发明实施例中使用到的双人交互骨骼点信息；

图3为本发明实施例中基于二维骨架信息的攻击性行为识别方法；

图4为本发明实施例中使用到的交互行为单帧骨架信息图；

图5为本发明实施例中使用到的攻击距离变化；

图6为本发明实施例中使用到的单人运动行为特征混淆矩阵；

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本实施例所述方法采用COCO人体骨架模型如图1所示包括18骨骼关键点：v₁-‘nose’、v₂-‘left_eye’、v₃-‘right_eye’、v₄-‘left_ear’、v₅-‘right_ear’、v₆-‘left_shoulder’、v₇-‘right_shoulder’、v₈-‘left_elbow’、v₉-‘right_elbow’、v₁₀-‘left_wrist’、v₁₁-‘right_wrist’、v₁₂-‘left_hip’、v₁₃-‘right_hip’、v₁₄-‘left_knee’v₁₅-‘right_knee’、v₁₆-‘left_ankle’、v₁₇-‘right_ankle’。根据单人骨骼信息将引入双人骨架信息模型如图2。让S＝(V,E)表示两个人体骨架信息，其中V＝{v₀,v₁,...,v₁₇}表示的是关节点的位置集合，E＝{e₀,e₁,...,e₁₂}表示刚性肢体向量的集合。

第一种描述子：关节位置(Joint positions-JP)，在第t帧视频中第j个关节点的位置可以定义为v_j(t)＝(x_tj,y_tj)，关节点i的位置定义为v_i(t)＝(x_tj,y_tj),其中i,j∈{0,1,…,17}。

第二种描述子：根据第一种描述子得到了关节点的位置信息，对肢体的有效部分进行肢体向量提取，表示方式为e_ij(t)，其中e_ij(t)＝v_j(t)-v_i(t)，其中i,j∈{0,1,…,17}。

如图3所示的是一种基于二维骨架信息的攻击性行为识别的过程，采用攻击性行为视频进行过程分析包括如下步骤：

步骤1：获取视频流中的骨骼序列信息。

将视频流输入到OpenPose中，OpenPose对视频流中每帧上的人物进行骨架识别，以图像左上角为原点，获取骨骼点的位置信息(位置信息包括骨骼点的二维信息和识别点的可信度(x,y,score))，形成一个骨骼序列如图4；

步骤2：对二维骨架信息序列进行数据预处理。

通过OpenPose获取到的人体骨骼点时，对于系统检测不到的位置默认添加(0，0，0)表示骨骼点的位置，这样处理会改变人体骨架形态，OpenPose检测不到点的原因有两种：1)环境的复杂性导致检测不到骨骼节点；2)人体发生自遮挡导致人体的部分骨骼点无法检测到。

首先对人体自遮挡进行处理，处理依据：人体中两个部件之间就发生了重合和人体自身存在左右对称关系。

根据人体部件间的重合性和人体自身的左右对称性，我们提出假设被遮挡部位与检测出其对称部位的位置相同。基于这个假设我们将被遮挡的部分根据检测出的对称部分进行数据填充，得到的人体骨架特征不会因为填充值的加入而发生姿态的改变。很好的保留了每帧视频图像中人体姿态特征。

其次，由于环境引起的骨架信息缺失，通过算法预测获得一个预估值；

在人体骨架提取中，数据的缺失是随机的甚至会发生在相邻的几帧中，而且视频流中骨架信息特征值是波动性较大的连续性变化型数据，用传统的缺失值预测算法进行填补会导致提取的特征精度大幅度下降，因此，我们引入了最近邻帧特征加权算法和分段多项式回归算法进行缺失值预测。最近邻帧特征加权法是利用缺失数据所属的单变量信息进行局部加权预测。分段多项式预测算法利用与缺失数据所属变量相关的其他多个变量信息对缺失值进行填补。两种算法利用属性的局部连续变化和样本中属性波动趋势特征对缺失值进行预测，保证视频流中骨架信息的连续性变化。

最近邻帧特征加权算法计算公式，

分段多项式回归预测算法计算公式，

通过最近邻帧特征加权算法和分段多项式回归预测算法对图4数据进行预处理，图4人体主要进行人体自对称处理。

步骤3：定义安全距离，以图4左侧人为例计算交互阈值D_inter，计算公式：

(v_i(t)表示第t帧右侧人颈部关节点和左侧人颈部关节点)

v₂(t)＝(110.9893,81.25394)、V₃(t)＝(114.2308,125.4545)、V₄(t)＝(133.5097,152.8368)

则D_inter＝77.81

步骤4：构建单人运动行为特征向量。

特征向量主要由两部分组成：人体的重心和人体运动角度变换。

伐里农定理(varignon’s theorem)：物体各部分相对于某轴力矩的代数和就等于该物体总重量对该轴的力矩。即：

P_x＝∑P_ix_i

P_y＝∑P_iy_i

采用据伐里农定理我们对图6左侧的人完成表1的人体重心的计算：

表1人体重心计算表

通过计算视频流中每帧视频上的人体旋转角变化构建特征向量。

根据人体运动时关节角度变化构建旋转角包括：人体跟右手的夹角、人体跟左手的夹角、右手大臂和小臂的夹角、左手大臂和小臂的夹角、右腿和身体的夹角、左腿和身体的夹角、右小腿和右大腿的夹角、左小腿和左大腿的夹角。在计算运动夹角时以人体运动方向为正方向，在计算夹角时以正方所在的区域为运动夹角。通过关节点变化方向计算运动方向。

最终得到人体运动特征向量，图5特征重要性f_i为第i个特征:

P₁＝{0.65,0.46,171.00,168.53,175.09,140.46,174.85,197.76,186.06,236.10}

步骤5：构建攻击性行为特征向量。

攻击性行为特征向量主要针对帧间人体形态变化进行构建，每个人包括13个特征向量元素：目标人物大臂和小臂夹角的角速度变化、目标人物大腿和小腿夹角的角速度变化、目标人物臀部中心到头部的向量与竖直方向向量的夹角、身体与手腕呈现的角速度、身体与脚腕呈现的角速度、计算攻击距离。图6为人体手部攻击距离距被攻击者的身体距离的变化趋势。

计算人体可能发生攻击行为的四个攻击距离表示为：

最终构成的攻击性行为特征向量：

P₂＝{2.70,11.62,-4.45,-5.93,2.63,-0.03,67.42,66.09,-0.87,11.06,9.34,10.72,12.53,1.04,-11.38,4.72,0.53,-2.10,69.95,3.61,-68.87,0.51,11.47,11.47,11.38,13.16}

步骤6：利用XGBoost对特征向量进行分类训练。

lightGBM方法是XGBoost算法的改进算法，采用树形结构对构建的两种向量进行分类，在进行分类时分为以下两种情况：

1)对单人运动行为特征向量进行多分类；

2)对攻击性行为特征向量进行二分类；

对于第一种情况，在训练模型时由于在采集数据时视频中人的动作数据的时长无法限定，因此采集的样本存在样本不平衡的问题，对此问题采用样本加权对样本特征的平衡性进行修正。lightGBM对二分类问题直接采用正负样本比值对样本进行加权平衡，但是对多分类算法则无法直接通过正负样本比值法进行加权计算，因此采用多分类样本加权算法w-lightGBM。构建原理如下：

对于第二种情况，直接采用lightGBM内置样本平衡变量进行样本数量的平衡：scale_pos_weight＝负样本数/正样本数。

通过对特征向量的训练，获取到了两个分类模型对视频流中的人体骨架特征进行预测，得到两个分类模型，将分类模型用于视频帧识别并将识别结果显示在视频界面上。

Claims (1)

1.一种基于二维骨架信息的攻击性行为识别方法，其特征在于，所述方法包括以下步骤：

步骤1：获取视频流中的二维骨架信息序列；

步骤2：对二维骨架信息序列进行数据预处理，具体为：

首先，对人体自遮挡进行人体对称处理，保证人体姿态特征完整；其次，对骨架缺失点进行预测，计算公式为(1-4)：

v_befor＝y_j(j＝0,1...,i-1) (2)

v_after＝y_j(j＝i+1,i+2,...,n) (3)

式(1)中，v_ave表示最近邻帧特征加权预测值；v_i(t)表示第t帧的第i个关节点，v_i(t)∈V,v表示每帧的关节点集合；t₁,t₂表示最近临且v_i(t)不发生缺的两帧，满足t₁＜t＜t₂,且t_j∈T,T为视频流的总帧数；v_befor,v_after表示分段多项式的预测值；

步骤3：定义安全距离，作为人与人之间发生交互行为的阈值D_inter，计算公式为(5-7)：

(v_i(t)表示第t帧右侧人颈部关节点和左侧人颈部关节点)(6)

式(6)中，d_inter表示视频帧中任意两个人之间的颈部关节点距离，v_i(t)表示第t帧中左侧人的颈部关节点，v_i(t)表示第t帧中右侧人的颈部关节点；

步骤4：构建单人特征向量P₁＝{ρ₀,ρ₁,ρ₂...ρ₁₀}，具体为：

人体运动中人体重心的计算公式为(8,9)，(x,y)表示人体重心坐标，P_num表示人体第num环节的点总重心的概率和环节重心的坐标；

ρ₀＝∑P_mx_n (8)

ρ₁＝Y＝∑P_my_n (9)

人体运动时关节角度变化构建旋转角：人体跟右手的夹角、人体跟左手的夹角、右手大臂和小臂的夹角、左手大臂和小臂的夹角、右腿和身体的夹角、左腿和身体的夹角、右小腿和右大腿的夹角、左小腿和左大腿的夹角，计算公式为(10,11)：

式(10)中，E表示关节点集合E＝{e0,e1,...,e12}；

步骤5：构建交互特征向量P₂＝{β₀,β₁,β₂...β₂₀}，计算公式为(12-19)：

V_spin＝(x,y) (14)

ρ₂₂,ρ₂₃,ρ₂₄,ρ₂₅分别表示左手到被攻击者的身体中心的距离、右手到被攻击者的身体中心的距离、左脚到被攻击者的身体中心的距离、右脚到被攻击者的身体中心的距离；

步骤6：利用w-LightGBM和LightGBM对特征向量构建分类模型，具体为：

单人特征向量采用w-LightGBM算法对样本不平衡构建多分类模型权值计算公式(20-23)：

式(20,21)中，N表示样本种类，n_kind表示这类的样本数量，表示样本平均数；var表示样本标准差，α为经验值，一般为1.5；

对交互特征向量，直接采用LightGBM内置样本平衡变量进行样本数量的平衡，计算公式：