CN111178216B - 一种基于姿态时空特征的考场异常行为识别方法 - Google Patents

Abstract

本发明属于姿态识别技术领域，尤其涉及一种基于姿态时空特征的考场异常行为识别方法。包括如下步骤：对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向；基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；将获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型。该方法识别效果好、识别效率高、可扩展性强。

Description

一种基于姿态时空特征的考场异常行为识别方法

技术领域

本发明属于姿态识别技术领域，尤其涉及一种基于姿态时空特征的考场异常行为识别方法。

背景技术

近年来，姿态识别技术愈加成熟，应用范围不断扩大到智能监控、人机交互、运动分析等领域。目前的姿态识别技术主要分为基于可穿戴设备的检测手段和基于计算机视觉的检测手段。

基于可穿戴设备传感器的检测手段，主要是依赖于其设备上的传感器所传回的数据信息，通过对这些数据进行分析，来判断被检测者的行为状态。鲁鹏威等人将惯性传感器安装在帕金森患者的足部、大腿、胸腔、手腕处，通过测量这些部位的加速度和角速度来检测患者的行为姿态。Lai等人通过将十四个三轴惯性传感器放置在身体的易受伤部位，创建了一个根据传感器数据来判断跌倒事故发生和其受伤程度的系统。但可穿戴设备的最大不足之处在于其受试者的体验不甚友好，因此难以得到大范围的应用。

基于计算机视觉的检测手段在近些年来不断运用于研究当中。许多研究者使用微软的Kinect相机得到了丰富的研究成果。Rajesh等人应用Kinect的“骨骼图像”项目得到了人类手臂的骨骼图像，并使用合适的算法处理识别了关节和角度。谢亮等人应用Kinect相机确认了多个关节点坐标，通过确定每个关节点之间的欧氏距离与角度总结得到判别特定姿势的方法。

目前，在教育领域中，基于计算机视觉的检测手段的应用还是比较少见的。传统的监考模式，即监控监考、流动监考、教室监考三级监考模式监考效率低、监考成本高的问题愈发突出，实现智能监考成为计算机视觉领域的研究热点。

发明内容

(一)要解决的技术问题

针对现有存在的技术问题，本发明提供一种基于姿态时空特征的考场异常行为识别方法，识别效果好、识别效率高、可扩展性强。

(二)技术方案

本发明提供一种基于姿态时空特征的考场异常行为识别方法，包括如下步骤：

步骤A1、对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；

步骤A2、对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；

步骤A3、将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向，或输出行为正常；

其中，单人原子行为识别模型为基于考生肢体行为图像和对应的行为类别抽象出的模型。

进一步地，还包括：

步骤A4、基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；

步骤A5、将步骤A4中获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型；

其中，双人协同行为识别模型为基于两名考生异常行为的类型、时间、位置和方向的模型。

进一步地，所述单人原子行为识别模型中包括异常行为：举手、伸手、转动和坐姿，分别以RH、RA、TN和SP表示。

进一步地，所述双人协同行为识别模型中包括异常行为：左右位置双人异常行为和前后位置双人坐姿异常行为；

所述左右位置双人异常行为包括左右位置双人伸手和左右位置双人互视。

进一步地，当单人原子行为识别模型中输出异常行为类型为举手时，满足下述条件：

或

其中：B_i为考生的关键点P_i的时空信息序列，B_i＝＜P,F＞，P＝{P|_ii∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，

为考生的关键点P_i在考生肢体行为图像中的纵坐标。

进一步地，当单人原子行为识别模型中输出异常行为类型为伸手时，满足下述条件：

或

其中：

为考生的关键点P_i在考生肢体行为图像中的横坐标，θ_n为考生肢体行为图像中考生大臂与小臂的实际角度，θ_r为考生大臂与小臂的预设角度，o(B_i)为B_i的方向，o(B_i)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方；

为考生的关键点P_i在考生肢体行为图像中的坐标，

d₁、d₂、d₃分别为P₃与P₅、P₅与P₇、P₃与P₇的距离；

分别为过直线P₅ P₇、直线P₆ P₈的斜率。

进一步地，当单人原子行为识别模型中输出异常行为类型为转动时，满足下述条件：

或

t_s为当前时刻，t₀为无异常行为时刻，r为预设比例系数，P₃、P₄分别为t_s时刻考生的关键点P₃、P₄，P₃'、P₄'分别为t₀时刻考生的关键点P₃、P₄，

分别为t_s时刻考生的关键点P₃、P₄的坐标，

分别为t₀时刻考生的关键点P₃、P₄的坐标。

进一步地，当单人原子行为识别模型中输出异常行为类型为坐姿时，满足下述条件：

或

其中：

θ_r为预设前倾角度值、θ_r'为预设后仰角度值。

进一步地，当双人协同行为识别模型中输出左右位置双人伸手时，满足下述条件：

其中：t_i+1、t_i分别为视频截帧时间点，t_set为预设的双人异常行为开始的最大时间差；

当双人协同行为识别模型中输出左右位置双人互视时，满足下述条件：

进一步地，当双人协同行为识别模型中输出前后位置双人坐姿异常行为时，满足下述条件：

(三)有益效果

本发明将姿态识别技术与教育产业结合，提出一种基于姿态时空特征的考场异常行为识别方法，实现智能识别考生单人异常行为与多人协同异常行为的新监考模式。该方法识别效果好、识别效率高、可扩展性强。

附图说明

图1为本发明中考场异常行为识别方法的流程图；

图2为本发明中考生的关键点示意图；

图3为本发明中异常行为方向划分示意图；

图4为本发明中举手行为示意图；

图5为本发明中伸手行为示意图；

图6为本发明中转动行为示意图；

图7为本发明中坐姿行为示意图；

图8为本发明中左右位置双人伸手行为示意图；

图9为本发明中左右位置双人伸手行为时序图；

图10为本发明中左右位置双人互视行为示意图；

图11为本发明中左右位置双人互视行为时序图；

图12为本发明中前后位置双人坐姿异常行为示意图；

图13为本发明中前后位置双人坐姿异常行为时序图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

如图1-13所示，本发明提供一种基于姿态时空特征的考场异常行为识别方法，包括如下步骤：

步骤A1、对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；

步骤A2、对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；

步骤A3、将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向，或输出行为正常；

其中，单人原子行为识别模型为基于考生肢体行为图像和对应的行为类别抽象出的模型；

步骤A4、基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；

步骤A5、将步骤A4中获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型；

其中，双人协同行为识别模型为基于两名考生异常行为的类型、时间、位置和方向的模型。

进一步地，在步骤A1之前包括以下步骤：

所述单人原子行为识别模型中包括异常行为：举手(Raising Hands)、伸手(Reaching Arm)、转动(Turning)和坐姿(Sitting Posture)，分别以RH、RA、TN和SP表示。

进一步地，在步骤A4之前包括以下步骤：

所述双人协同行为识别模型中包括异常行为：左右位置双人异常行为和前后位置双人坐姿异常行为；

所述左右位置双人异常行为包括左右位置双人伸手和左右位置双人互视。

当单人原子行为识别模型中输出异常行为类型为举手时，以考生举右手为例，即右腕关节点高于右肩侧，或右肘关节点高于右肩侧，满足下述条件：

或

其中：B_i为考生的关键点P_i的时空信息序列，考生的关键点P_i为考生肢体行为图像中对应的鼻部、颈部、右肩部、左肩部、右肘关节、左肘关节、右腕关节、左腕关节和髋骨中心的区域，分别表示为P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈和P₉，B_i＝＜P,F＞，P＝{P_ii∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，

为考生的关键点P_i在考生肢体行为图像中的纵坐标。

当单人原子行为识别模型中输出异常行为类型为伸手时，满足下述条件：

或

其中：o(B_i)表示B_i的方向，o(B_i)∈{L,U,D,R}，其中L、U、D、R分别表示左方、前方、后方和右方，

为考生的关键点P_i在考生肢体行为图像中的横坐标，θ_n为考生肢体行为图像中考生大臂与小臂的实际角度，θ_r为考生大臂与小臂的预设角度；

为考生的关键点P_i在考生肢体行为图像中的坐标，d₁、d₂、d₃分别为P₃与P₅、P₅与P₇、P₃与P₇的距离；

分别为过直线P₅P₇、直线P₆ P₈的斜率。

当单人原子行为识别模型中输出异常行为类型为转动时，满足下述条件：

或

其中：

t_s为当前时刻；t₀为无异常行为时刻；r为预设比例系数；P₃、P₄分别为t_s时刻考生的关键点P₃、P₄；P₃'、P₄'分别为t₀时刻考生的关键点P₃、P₄；

分别为t_s时刻考生的关键点P₃、P₄的坐标。

分别为t₀时刻考生的关键点P₃、P₄的坐标。

当单人原子行为识别模型中输出异常行为类型为坐姿时，满足下述条件：

或

其中：

θ_r预设前倾角度值、θ_r'为预设后仰角度值。

进一步地，如考生1、4、7、3、6、9与考生5有协同异常，则为左右协同异常关系，考生2、8与考生5有协同异常，则为前后协同异常关系。其中，双人协同异常行为包括左右位置双人伸手行为DRA(Double Reaching Arm)、左右位置双人互视行为DTN(Double Turning)、前后位置双人坐姿异常行为DSP(Double Sitting Posture)。

当双人协同行为识别模型中输出左右位置双人伸手时，如考生4右手向右伸，考生5左手向左伸，且时间接近，则考生4与考生5存在左右位置双人伸手异常行为，满足下述条件：

其中：t_i+1、t_i分别为视频截帧时间点；t_set为预设的双人异常行为开始的最大时间差。

当双人协同行为识别模型中输出左右位置双人互视时，如考生4向右转动，考生5向左转动，且时间接近，则考生4与考生5存在左右位置双人互视异常行为，满足下述条件：

当双人协同行为识别模型中输出前后位置双人坐姿异常行为时，如前侧考生2过度后倾，后方考生5过度前倾，则考生2与考生5存在前后位置双人坐姿异常行为，满足下述条件：

综上所述，本发明将考场异常行为分为单人异常行为与多人异常行为。针对单人异常行为，本发明利用人体鼻部、颈部、左右肩部、左右肘关节、左右腕关节、髋骨中心9个关键点的时空特征，抽象出识别举手、伸手、转动、坐姿四种原子行为的算法，并记录下单人异常行为发生的时间。

由于多人协同异常行为均可分解为双人协同异常行为，本发明在单人异常行为识别的基础上提出双人协同异常行为识别方法。双人协同异常行为有以下特点，即两人空间相邻，时间相近，行为对应。满足条件的考生即可被认为做出双人协同异常行为。

以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (7)

1.一种基于姿态时空特征的考场异常行为识别方法，其特征在于，包括如下步骤：

步骤A1、对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；

步骤A2、对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；

步骤A3、将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向，或输出行为正常；

其中，单人原子行为识别模型为基于考生肢体行为图像和对应的行为类别抽象出的模型；

步骤A4、基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；

步骤A5、将步骤A4中获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型；

其中，双人协同行为识别模型为基于两名考生异常行为的类型、时间、位置和方向的模型；

所述单人原子行为识别模型中包括异常行为：举手、伸手、转动和坐姿，分别以RH、RA、TN和SP表示；

当单人原子行为识别模型中输出异常行为类型为举手时，满足下述条件：

或

其中：B_i为考生的关键点P_i的时空信息序列，考生的关键点Pi为考生肢体行为图像中对应的鼻部、颈部、右肩部、左肩部、右肘关节、左肘关节、右腕关节、左腕关节和髋骨中心的区域，分别表示为P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈和P₉，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，

为考生的关键点P_i在考生肢体行为图像中的纵坐标。

2.根据权利要求1所述的考场异常行为识别方法，其特征在于，所述双人协同行为识别模型中包括异常行为：左右位置双人异常行为和前后位置双人坐姿异常行为；

所述左右位置双人异常行为包括左右位置双人伸手和左右位置双人互视。

3.根据权利要求1所述的考场异常行为识别方法，其特征在于，当单人原子行为识别模型中输出异常行为类型为伸手时，满足下述条件：

或

其中：B_i为考生的关键点P_i的时空信息序列，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，

为考生的关键点P_i在考生肢体行为图像中的横坐标，θ_n为考生肢体行为图像中考生大臂与小臂的实际角度，θ_r为考生大臂与小臂的预设角度，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，o(B_i)为B_i的方向，o(B_i)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方；

为考生的关键点P_i在考生肢体行为图像中的坐标，d₁、d₂、d₃分别为P₃与P₅、P₅与P₇、P₃与P₇的距离；

分别为过直线P₅ P₇、直线P₆ P₈的斜率。

4.根据权利要求1所述的考场异常行为识别方法，其特征在于，当单人原子行为识别模型中输出异常行为类型为转动时，满足下述条件：

或

其中：

B_i为考生的关键点P_i的时空信息序列，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，

为考生的关键点P_i在考生肢体行为图像中的横坐标，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，o(B_i)为B_i的方向，o(B_i)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方，t_s为当前时刻，t₀为无异常行为时刻，r为预设比例系数，P₃、P₄分别为t_s时刻考生的关键点P₃、P₄，P₃'、P₄'分别为t₀时刻考生的关键点P₃、P₄，

分别为t_s时刻考生的关键点P₃、P₄的坐标，

分别为t₀时刻考生的关键点P₃、P₄的坐标。

5.根据权利要求1所述的考场异常行为识别方法，其特征在于，当单人原子行为识别模型中输出异常行为类型为坐姿时，满足下述条件：

或

其中：B_i为考生的关键点P_i的时空信息序列，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，

为考生的关键点P_i在考生肢体行为图像中的横坐标，

θ_r为预设前倾角度值、θ_r'为预设后仰角度值，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，o(B_i)为B_i的方向，o(B_i)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方。

6.根据权利要求2所述的考场异常行为识别方法，其特征在于，当双人协同行为识别模型中输出左右位置双人伸手时，满足下述条件：

其中：t_i+1、t_i分别为视频截帧时间点，t_set为预设的双人异常行为开始的最大时间差，B_i为考生的关键点P_i的时空信息序列，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，o(B_i)为B_i的方向，o(B_i)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方；

当双人协同行为识别模型中输出左右位置双人互视时，满足下述条件：

7.根据权利要求2所述的考场异常行为识别方法，其特征在于，当双人协同行为识别模型中输出前后位置双人坐姿异常行为时，满足下述条件：

其中：t_i+1、t_i分别为视频截帧时间点，t_set为预设的双人异常行为开始的最大时间差，B_i为考生的关键点P_i的时空信息序列，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(B_i)表示B_i的异常行为类型，t(B_i)∈{RH,RA,TN,SP}，o(B_i)为B_i的方向，o(B_i)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方。

Images