CN111178216A - 一种基于姿态时空特征的考场异常行为识别方法 - Google Patents

一种基于姿态时空特征的考场异常行为识别方法 Download PDF

Info

Publication number
CN111178216A
CN111178216A CN201911339854.1A CN201911339854A CN111178216A CN 111178216 A CN111178216 A CN 111178216A CN 201911339854 A CN201911339854 A CN 201911339854A CN 111178216 A CN111178216 A CN 111178216A
Authority
CN
China
Prior art keywords
behavior
examinee
abnormal
abnormal behavior
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911339854.1A
Other languages
English (en)
Other versions
CN111178216B (zh
Inventor
周昊
刘畅
侯宝玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201911339854.1A priority Critical patent/CN111178216B/zh
Publication of CN111178216A publication Critical patent/CN111178216A/zh
Application granted granted Critical
Publication of CN111178216B publication Critical patent/CN111178216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于姿态识别技术领域，尤其涉及一种基于姿态时空特征的考场异常行为识别方法。包括如下步骤：对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向；基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；将获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型。该方法识别效果好、识别效率高、可扩展性强。

Description

一种基于姿态时空特征的考场异常行为识别方法
技术领域
本发明属于姿态识别技术领域，尤其涉及一种基于姿态时空特征的考场异常行为识别方法。
背景技术
近年来，姿态识别技术愈加成熟，应用范围不断扩大到智能监控、人机交互、运动分析等领域。目前的姿态识别技术主要分为基于可穿戴设备的检测手段和基于计算机视觉的检测手段。
基于可穿戴设备传感器的检测手段，主要是依赖于其设备上的传感器所传回的数据信息，通过对这些数据进行分析，来判断被检测者的行为状态。鲁鹏威等人将惯性传感器安装在帕金森患者的足部、大腿、胸腔、手腕处，通过测量这些部位的加速度和角速度来检测患者的行为姿态。Lai等人通过将十四个三轴惯性传感器放置在身体的易受伤部位，创建了一个根据传感器数据来判断跌倒事故发生和其受伤程度的系统。但可穿戴设备的最大不足之处在于其受试者的体验不甚友好，因此难以得到大范围的应用。
基于计算机视觉的检测手段在近些年来不断运用于研究当中。许多研究者使用微软的Kinect相机得到了丰富的研究成果。Rajesh等人应用Kinect的“骨骼图像”项目得到了人类手臂的骨骼图像，并使用合适的算法处理识别了关节和角度。谢亮等人应用Kinect相机确认了多个关节点坐标，通过确定每个关节点之间的欧氏距离与角度总结得到判别特定姿势的方法。
目前，在教育领域中，基于计算机视觉的检测手段的应用还是比较少见的。传统的监考模式，即监控监考、流动监考、教室监考三级监考模式监考效率低、监考成本高的问题愈发突出，实现智能监考成为计算机视觉领域的研究热点。
发明内容
(一)要解决的技术问题
针对现有存在的技术问题，本发明提供一种基于姿态时空特征的考场异常行为识别方法，识别效果好、识别效率高、可扩展性强。
(二)技术方案
本发明提供一种基于姿态时空特征的考场异常行为识别方法，包括如下步骤：
步骤A1、对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；
步骤A2、对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；
步骤A3、将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向，或输出行为正常；
其中，单人原子行为识别模型为基于考生肢体行为图像和对应的行为类别抽象出的模型。
进一步地，还包括：
步骤A4、基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；
步骤A5、将步骤A4中获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型；
其中，双人协同行为识别模型为基于两名考生异常行为的类型、时间、位置和方向的模型。
进一步地，所述单人原子行为识别模型中包括异常行为：举手、伸手、转动和坐姿，分别以RH、RA、TN和SP表示。
进一步地，所述双人协同行为识别模型中包括异常行为：左右位置双人异常行为和前后位置双人坐姿异常行为；
所述左右位置双人异常行为包括左右位置双人伸手和左右位置双人互视。
进一步地，当单人原子行为识别模型中输出异常行为类型为举手时，满足下述条件：
Figure BDA0002331963440000031
或
Figure BDA0002331963440000032
其中：Bi为考生的关键点Pi的时空信息序列，Bi＝＜P,F＞，P＝{P|ii∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，
Figure BDA0002331963440000036
为考生的关键点Pi在考生肢体行为图像中的纵坐标。
进一步地，当单人原子行为识别模型中输出异常行为类型为伸手时，满足下述条件：
Figure BDA0002331963440000033
或
Figure BDA0002331963440000034
其中：
Figure BDA0002331963440000035
为考生的关键点Pi在考生肢体行为图像中的横坐标，θn为考生肢体行为图像中考生大臂与小臂的实际角度，θr为考生大臂与小臂的预设角度，o(Bi)为Bi的方向，o(Bi)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方；
Figure BDA0002331963440000041
Figure BDA0002331963440000042
为考生的关键点Pi在考生肢体行为图像中的坐标，
Figure BDA0002331963440000043
d1、d2、d3分别为P3与P5、P5与P7、P3与P7的距离；
Figure BDA0002331963440000044
分别为过直线P5 P7、直线P6 P8的斜率。
进一步地，当单人原子行为识别模型中输出异常行为类型为转动时，满足下述条件：
Figure BDA0002331963440000045
或
Figure BDA0002331963440000046
Figure BDA0002331963440000047
ts为当前时刻，t0为无异常行为时刻，r为预设比例系数，P3、P4分别为ts时刻考生的关键点P3、P4，P3'、P4'分别为t0时刻考生的关键点P3、P4，
Figure BDA0002331963440000051
分别为ts时刻考生的关键点P3、P4的坐标，
Figure BDA0002331963440000052
分别为t0时刻考生的关键点P3、P4的坐标。
进一步地，当单人原子行为识别模型中输出异常行为类型为坐姿时，满足下述条件：
Figure BDA0002331963440000053
或
Figure BDA0002331963440000054
其中：
Figure BDA0002331963440000055
θr为预设前倾角度值、θr'为预设后仰角度值。
进一步地，当双人协同行为识别模型中输出左右位置双人伸手时，满足下述条件：
Figure BDA0002331963440000056
其中：ti+1、ti分别为视频截帧时间点，tset为预设的双人异常行为开始的最大时间差；
当双人协同行为识别模型中输出左右位置双人互视时，满足下述条件：
Figure BDA0002331963440000057
进一步地，当双人协同行为识别模型中输出前后位置双人坐姿异常行为时，满足下述条件：
Figure BDA0002331963440000061
(三)有益效果
本发明将姿态识别技术与教育产业结合，提出一种基于姿态时空特征的考场异常行为识别方法，实现智能识别考生单人异常行为与多人协同异常行为的新监考模式。该方法识别效果好、识别效率高、可扩展性强。
附图说明
图1为本发明中考场异常行为识别方法的流程图；
图2为本发明中考生的关键点示意图；
图3为本发明中异常行为方向划分示意图；
图4为本发明中举手行为示意图；
图5为本发明中伸手行为示意图；
图6为本发明中转动行为示意图；
图7为本发明中坐姿行为示意图；
图8为本发明中左右位置双人伸手行为示意图；
图9为本发明中左右位置双人伸手行为时序图；
图10为本发明中左右位置双人互视行为示意图；
图11为本发明中左右位置双人互视行为时序图；
图12为本发明中前后位置双人坐姿异常行为示意图；
图13为本发明中前后位置双人坐姿异常行为时序图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
如图1-13所示，本发明提供一种基于姿态时空特征的考场异常行为识别方法，包括如下步骤：
步骤A1、对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；
步骤A2、对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；
步骤A3、将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向，或输出行为正常；
其中，单人原子行为识别模型为基于考生肢体行为图像和对应的行为类别抽象出的模型；
步骤A4、基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；
步骤A5、将步骤A4中获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型；
其中，双人协同行为识别模型为基于两名考生异常行为的类型、时间、位置和方向的模型。
进一步地，在步骤A1之前包括以下步骤：
所述单人原子行为识别模型中包括异常行为：举手(Raising Hands)、伸手(Reaching Arm)、转动(Turning)和坐姿(Sitting Posture)，分别以RH、RA、TN和SP表示。
进一步地，在步骤A4之前包括以下步骤：
所述双人协同行为识别模型中包括异常行为：左右位置双人异常行为和前后位置双人坐姿异常行为；
所述左右位置双人异常行为包括左右位置双人伸手和左右位置双人互视。
当单人原子行为识别模型中输出异常行为类型为举手时，以考生举右手为例，即右腕关节点高于右肩侧，或右肘关节点高于右肩侧，满足下述条件：
Figure BDA0002331963440000081
或
Figure BDA0002331963440000082
其中：Bi为考生的关键点Pi的时空信息序列，考生的关键点Pi为考生肢体行为图像中对应的鼻部、颈部、右肩部、左肩部、右肘关节、左肘关节、右腕关节、左腕关节和髋骨中心的区域，分别表示为P1、P2、P3、P4、P5、P6、P7、P8和P9，Bi＝＜P,F＞，P＝{Pii∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，
Figure BDA0002331963440000085
为考生的关键点Pi在考生肢体行为图像中的纵坐标。
当单人原子行为识别模型中输出异常行为类型为伸手时，满足下述条件：
Figure BDA0002331963440000083
或
Figure BDA0002331963440000084
其中：o(Bi)表示Bi的方向，o(Bi)∈{L,U,D,R}，其中L、U、D、R分别表示左方、前方、后方和右方，
Figure BDA0002331963440000091
为考生的关键点Pi在考生肢体行为图像中的横坐标，θn为考生肢体行为图像中考生大臂与小臂的实际角度，θr为考生大臂与小臂的预设角度；
Figure BDA0002331963440000092
Figure BDA0002331963440000093
为考生的关键点Pi在考生肢体行为图像中的坐标，d1、d2、d3分别为P3与P5、P5与P7、P3与P7的距离；
Figure BDA0002331963440000094
分别为过直线P5P7、直线P6 P8的斜率。
当单人原子行为识别模型中输出异常行为类型为转动时，满足下述条件：
Figure BDA0002331963440000095
或
Figure BDA0002331963440000096
其中：
Figure BDA0002331963440000101
ts为当前时刻；t0为无异常行为时刻；r为预设比例系数；P3、P4分别为ts时刻考生的关键点P3、P4；P3'、P4'分别为t0时刻考生的关键点P3、P4；
Figure BDA0002331963440000102
分别为ts时刻考生的关键点P3、P4的坐标。
Figure BDA0002331963440000103
分别为t0时刻考生的关键点P3、P4的坐标。
当单人原子行为识别模型中输出异常行为类型为坐姿时，满足下述条件：
Figure BDA0002331963440000104
或
Figure BDA0002331963440000105
其中：
Figure BDA0002331963440000106
θr预设前倾角度值、θr'为预设后仰角度值。
进一步地，如考生1、4、7、3、6、9与考生5有协同异常，则为左右协同异常关系，考生2、8与考生5有协同异常，则为前后协同异常关系。其中，双人协同异常行为包括左右位置双人伸手行为DRA(Double Reaching Arm)、左右位置双人互视行为DTN(Double Turning)、前后位置双人坐姿异常行为DSP(Double Sitting Posture)。
当双人协同行为识别模型中输出左右位置双人伸手时，如考生4右手向右伸，考生5左手向左伸，且时间接近，则考生4与考生5存在左右位置双人伸手异常行为，满足下述条件：
Figure BDA0002331963440000111
其中：ti+1、ti分别为视频截帧时间点；tset为预设的双人异常行为开始的最大时间差。
当双人协同行为识别模型中输出左右位置双人互视时，如考生4向右转动，考生5向左转动，且时间接近，则考生4与考生5存在左右位置双人互视异常行为，满足下述条件：
Figure BDA0002331963440000112
当双人协同行为识别模型中输出前后位置双人坐姿异常行为时，如前侧考生2过度后倾，后方考生5过度前倾，则考生2与考生5存在前后位置双人坐姿异常行为，满足下述条件：
Figure BDA0002331963440000113
综上所述，本发明将考场异常行为分为单人异常行为与多人异常行为。针对单人异常行为，本发明利用人体鼻部、颈部、左右肩部、左右肘关节、左右腕关节、髋骨中心9个关键点的时空特征，抽象出识别举手、伸手、转动、坐姿四种原子行为的算法，并记录下单人异常行为发生的时间。
由于多人协同异常行为均可分解为双人协同异常行为，本发明在单人异常行为识别的基础上提出双人协同异常行为识别方法。双人协同异常行为有以下特点，即两人空间相邻，时间相近，行为对应。满足条件的考生即可被认为做出双人协同异常行为。
以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (10)

1.一种基于姿态时空特征的考场异常行为识别方法，其特征在于，包括如下步骤：
步骤A1、对考场监控视频进行截帧，获得连续多帧考生肢体行为图像，所述考场监控视频是由摄像头采集获得的；
步骤A2、对所述考生肢体行为图像进行预处理，提取考生肢体行为图像中考生的关键点的时空信息序列；
步骤A3、将所述时空信息序列输入单人原子行为识别模型，输出异常行为的类型、时间、位置和方向，或输出行为正常；
其中，单人原子行为识别模型为基于考生肢体行为图像和对应的行为类别抽象出的模型。
2.根据权利要求1所述的考场异常行为识别方法，其特征在于，还包括：
步骤A4、基于异常行为的类型、时间、位置和方向，筛选并提取出时间接近、位置相邻且异常行为的类型相对应的考生的关键点的时空信息序列；
步骤A5、将步骤A4中获取的时空信息序列输入双人协同行为识别模型，输出双人异常行为类型；
其中，双人协同行为识别模型为基于两名考生异常行为的类型、时间、位置和方向的模型。
3.根据权利要求2所述的考场异常行为识别方法，其特征在于，所述单人原子行为识别模型中包括异常行为：举手、伸手、转动和坐姿，分别以RH、RA、TN和SP表示。
4.根据权利要求3所述的考场异常行为识别方法，其特征在于，所述双人协同行为识别模型中包括异常行为：左右位置双人异常行为和前后位置双人坐姿异常行为；
所述左右位置双人异常行为包括左右位置双人伸手和左右位置双人互视。
5.根据权利要求3所述的考场异常行为识别方法，其特征在于，当单人原子行为识别模型中输出异常行为类型为举手时，满足下述条件：
Figure FDA0002331963430000021
或
Figure FDA0002331963430000022
其中：Bi为考生的关键点Pi的时空信息序列，Bi＝＜P,F＞，P＝{Pi|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，
Figure FDA0002331963430000023
为考生的关键点Pi在考生肢体行为图像中的纵坐标。
6.根据权利要求3所述的考场异常行为识别方法，其特征在于，当单人原子行为识别模型中输出异常行为类型为伸手时，满足下述条件：
Figure FDA0002331963430000024
或
Figure FDA0002331963430000025
其中：Bi为考生的关键点Pi的时空信息序列，Bi＝＜P,F＞，P＝{Pi|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，
Figure FDA0002331963430000031
为考生的关键点Pi在考生肢体行为图像中的横坐标，θn为考生肢体行为图像中考生大臂与小臂的实际角度，θr为考生大臂与小臂的预设角度，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，o(Bi)为Bi的方向，o(Bi)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方；
Figure FDA0002331963430000032
Figure FDA0002331963430000033
为考生的关键点Pi在考生肢体行为图像中的坐标，
Figure FDA0002331963430000034
d1、d2、d3分别为P3与P5、P5与P7、P3与P7的距离；
Figure FDA0002331963430000035
分别为过直线P5 P7、直线P6 P8的斜率。
7.根据权利要求3所述的考场异常行为识别方法，其特征在于，当单人原子行为识别模型中输出异常行为类型为转动时，满足下述条件：
Figure FDA0002331963430000036
或
Figure FDA0002331963430000037
其中：
Figure FDA0002331963430000041
Bi为考生的关键点Pi的时空信息序列，Bi＝＜P,F＞，P＝{Pi|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，
Figure FDA0002331963430000042
为考生的关键点Pi在考生肢体行为图像中的横坐标，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，o(Bi)为Bi的方向，o(Bi)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方，ts为当前时刻，t0为无异常行为时刻，r为预设比例系数，P3、P4分别为ts时刻考生的关键点P3、P4，P3'、P4'分别为t0时刻考生的关键点P3、P4，
Figure FDA0002331963430000043
分别为ts时刻考生的关键点P3、P4的坐标，
Figure FDA0002331963430000044
分别为t0时刻考生的关键点P3、P4的坐标。
8.根据权利要求3所述的考场异常行为识别方法，其特征在于，当单人原子行为识别模型中输出异常行为类型为坐姿时，满足下述条件：
Figure FDA0002331963430000045
或
Figure FDA0002331963430000046
其中：Bi为考生的关键点Pi的时空信息序列，Bi＝＜P,F＞，P＝{Pi|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，
Figure FDA0002331963430000047
为考生的关键点Pi在考生肢体行为图像中的横坐标，
Figure FDA0002331963430000048
θr为预设前倾角度值、θr'为预设后仰角度值，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，o(Bi)为Bi的方向，o(Bi)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方。
9.根据权利要求4所述的考场异常行为识别方法，其特征在于，当双人协同行为识别模型中输出左右位置双人伸手时，满足下述条件：
Figure FDA0002331963430000051
其中：ti+1、ti分别为视频截帧时间点，tset为预设的双人异常行为开始的最大时间差，Bi为考生的关键点Pi的时空信息序列，Bi＝＜P,F＞，P＝{Pi|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，o(Bi)为Bi的方向，o(Bi)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方；
当双人协同行为识别模型中输出左右位置双人互视时，满足下述条件：
Figure FDA0002331963430000052
10.根据权利要求4所述的考场异常行为识别方法，其特征在于，当双人协同行为识别模型中输出前后位置双人坐姿异常行为时，满足下述条件：
Figure FDA0002331963430000061
其中：ti+1、ti分别为视频截帧时间点，tset为预设的双人异常行为开始的最大时间差，Bi为考生的关键点Pi的时空信息序列，Bi＝＜P,F＞，P＝{Pi|i∈1,2,...,9}，P表示异常行为涉及到的关键点的集合，F表示异常行为涉及到的关键点满足的条件的集合，t(Bi)表示Bi的异常行为类型，t(Bi)∈{RH,RA,TN,SP}，o(Bi)为Bi的方向，o(Bi)∈{L,U,D,R}，L、U、D、R分别表示左方、前方、后方和右方。
CN201911339854.1A 2019-12-23 2019-12-23 一种基于姿态时空特征的考场异常行为识别方法 Active CN111178216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911339854.1A CN111178216B (zh) 2019-12-23 2019-12-23 一种基于姿态时空特征的考场异常行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911339854.1A CN111178216B (zh) 2019-12-23 2019-12-23 一种基于姿态时空特征的考场异常行为识别方法

Publications (2)

Publication Number Publication Date
CN111178216A true CN111178216A (zh) 2020-05-19
CN111178216B CN111178216B (zh) 2023-06-09

Family

ID=70653974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911339854.1A Active CN111178216B (zh) 2019-12-23 2019-12-23 一种基于姿态时空特征的考场异常行为识别方法

Country Status (1)

Country Link
CN (1) CN111178216B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883832A (zh) * 2021-01-29 2021-06-01 北京市商汤科技开发有限公司 应试人员行为管理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014128698A1 (en) * 2013-02-19 2014-08-28 Angel Sense Ltd. Method and system for identifying exceptions of people behavior
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 考试作弊检测方法和装置
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014128698A1 (en) * 2013-02-19 2014-08-28 Angel Sense Ltd. Method and system for identifying exceptions of people behavior
CN107491717A (zh) * 2016-06-13 2017-12-19 科大讯飞股份有限公司 考试作弊检测方法和装置
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
K.V.PREMA等: "Anomaly Detection in Surveillance Video Using Pose Estimation", 《ASIAN JOURNAL OF CONVERGENCE IN TECHNOLOGY》 *
夏利民;时晓亭;: "基于关键帧的复杂人体行为识别", 模式识别与人工智能 *
李春梅;邵新慧;刘玲;: "基于视频行为分析的智能监考辅助系统", 科技创新与应用 *
陈野 等: "基于BSN识别双人交互动作方法的研究", 《计算机工程与应用》 *
高大鹏;朱建刚;: "基于稀疏表达的原子3D立方体行为识别算法", 计算机工程 *
高大鹏;朱建刚;: "多维度自适应3D卷积神经网络原子行为识别", 计算机工程与应用 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883832A (zh) * 2021-01-29 2021-06-01 北京市商汤科技开发有限公司 应试人员行为管理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111178216B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
Jalal et al. A depth video-based human detection and activity recognition using multi-features and embedded hidden Markov models for health care monitoring systems
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN102749991B (zh) 一种适用于人机交互的非接触式自由空间视线跟踪方法
Chen et al. Robust activity recognition for aging society
Chen et al. Fall detection system based on real-time pose estimation and SVM
TW200933538A (en) Nursing system
Taati et al. Vision-based posture assessment to detect and categorize compensation during robotic rehabilitation therapy
CN111444879A (zh) 一种关节劳损自主康复动作识别方法及系统
CN111062356B (zh) 一种从监控视频自动识别人体动作异常的方法
JP2022510417A (ja) 関節のある身体姿勢を検出するシステムおよび方法
Fieraru et al. Learning complex 3D human self-contact
Alazrai et al. Fall detection for elderly using anatomical-plane-based representation
CN114601454A (zh) 一种病人卧床姿势的监控方法
Zhu et al. Realtime human daily activity recognition through fusion of motion and location data
CN111178216A (zh) 一种基于姿态时空特征的考场异常行为识别方法
CN111695520A (zh) 一种高精度的儿童坐姿检测与矫正方法及装置
Sun et al. Kinect-based intelligent monitoring and warning of students' sitting posture
Karthik et al. Automated Home-Based Physiotherapy
CN207888651U (zh) 一种基于动作融合的机器人示教系统
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
CN110674751A (zh) 一种基于单目摄像机检测头部姿态的装置及方法
CN116229507A (zh) 人体姿态检测方法及系统
Zhu Hand gesture and activity recognition in assisted living through wearable sensing and computing
CN112101094B (zh) 一种基于肢体语言的自杀风险评估方法
CN113408435A (zh) 一种安全监控方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant