CN110781763A - 一种基于姿态的人体张望动作检测方法 - Google Patents

一种基于姿态的人体张望动作检测方法 Download PDF

Info

Publication number
CN110781763A
CN110781763A CN201910937642.7A CN201910937642A CN110781763A CN 110781763 A CN110781763 A CN 110781763A CN 201910937642 A CN201910937642 A CN 201910937642A CN 110781763 A CN110781763 A CN 110781763A
Authority
CN
China
Prior art keywords
motion
head
nose key
examinee
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910937642.7A
Other languages
English (en)
Other versions
CN110781763B (zh
Inventor
石祥滨
代海龙
刘芳
李浩文
杨啸宇
王俊远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aerospace University
Original Assignee
Shenyang Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aerospace University filed Critical Shenyang Aerospace University
Priority to CN201910937642.7A priority Critical patent/CN110781763B/zh
Publication of CN110781763A publication Critical patent/CN110781763A/zh
Application granted granted Critical
Publication of CN110781763B publication Critical patent/CN110781763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于姿态的人体张望动作检测方法，包括如下步骤：S1：对考生头部运动进行编码：从考生视频的每一帧中提取考生姿态构成姿态序列，之后，根据该序列对鼻子关键点进行运动编码，以鼻子关键点的运动来衡量考生的头部运动；S2：头部运动检测：利用S1中的运动编码数据，检测考生的头部运动过程；S3：张望判定：计算头部运动过程中鼻子关键点的位移量dis2和鼻子关键点的方向变化量angle，并通过与预设阈值进行比较，判断该头部运动是否属于张望动作；S4：张望统计：遍历考生的头部运动过程，统计考生张望频次。该基于姿态的人体张望动作检测方法可以准确快速的实现多人张望动作检测并统计频次，且不需要额外的硬件设备。

Description

一种基于姿态的人体张望动作检测方法
技术领域
本发明属于计算机视觉和视频理解技术领域，特别提供了一种基于姿态的人体张望动作检测方法，通过对视频中人的姿态的变化情况检测人的张望动作，适用于各种视频中人的行为分析。
背景技术
为了分析考试中的考风问题，如考生作弊行为、监考老师不作为等，在高考，研究生考试、成人自考和学业水平测试等各类考试后，需要进行考试视频事后人工分析。考试视频分析任务需要大量的时时间和金钱成本，尤其是大型考试，需要大量的人力观看考试视频。因此提出一种能够自动分析考生行为的方法，用于分析考试中存在的问题，成为研究热点。
考生在考试过程中张望的频次对分析考生是否存在作弊行为有着至关重要的作用。因此，如何准确确定考生的张望动作并统计张望频次，成为人们亟待解决的问题。
发明内容
鉴于此，本发明的目的在于提供一种基于姿态的人体张望动作检测方法，以解决现有技术中考风分析过程中需要大量人力和财力的问题。
本发明提供的技术方案是：一种基于姿态的人体张望动作检测方法，包括如下步骤：
S1：对考生头部运动进行编码：从考生视频的每一帧中提取考生姿态构成姿态序列，之后，根据该序列对鼻子关键点进行运动编码，以鼻子关键点的运动来衡量考生的头部运动；
S2：头部运动检测：利用S1中的运动编码数据，检测考生的头部运动过程；
S3：张望判定：计算头部运动过程中鼻子关键点的位移量dis2和鼻子关键点的方向变化量angle，并通过与预设阈值进行比较，判断该头部运动是否属于张望动作；
S4：张望统计：遍历考生的头部运动过程，统计考生张望频次。
优选，S1具体包括如下步骤：
选取鼻子关键点的运动代表考生头部的运动，并通过公式(1)计算鼻子关键点在M帧内发生的位移dis：
Figure BDA0002222005970000021
式中，x，y分别为鼻子关键点横坐标和纵坐标，j为视频帧号，M为运动间隔预设值，如果dis<th1，则判定不存在运动，编码为0；如果dis>＝th1，则判定存在运动，并通过公式(2)计算运动方向direct：
Figure BDA0002222005970000022
式中，x，y分别为鼻子关键点横坐标和纵坐标，j为视频帧号，每45度划分一个方向，direct在区间(337.5,22.5]编码为1，每增大45度，编码加1，th1为预设的位移阈值。
进一步优选，S2的具体步骤如下：遍历考生头部运动编码数据，如果存在编码为2或3或4的连续编码区间且持续时间达到T帧，则判定头部存在运动，并记录这次头部运动过程，包括该次头部运动的开始时间Tstart和结束时间Tend，其中，T为预设的持续时间阈值。
进一步优选，S3具体包括如下步骤：
通过公式(3)计算头部运动过程中鼻子关键点的位移量dis2，
Figure BDA0002222005970000031
式中，
Figure BDA0002222005970000032
为所述头部运动过程结束时间点鼻子关键点的横坐标和纵坐标，
Figure BDA0002222005970000033
为所述头部运动过程开始时间点鼻子关键点的横坐标和纵坐标；
通过公式(4)计算鼻子关键点的方向变化量angle，
Figure BDA0002222005970000034
式中，
Figure BDA0002222005970000035
为所述头部运动过程结束时间点鼻子关键点的横坐标和纵坐标，
Figure BDA0002222005970000036
为所述头部运动过程开始时间点鼻子关键点的横坐标和纵坐标；
如果dis2>th2，同时angle>th3，则判定该次头部运动过程为一次张望，其中，th2为预设的位移阈值，th3为预设的角度变化阈值。
本发明提供的基于姿态的人体张望动作检测方法，使用人体姿态分析考生的运动规律，通过分析考生姿态数据，检测考生的张望动作，可统计考生在考试过程中张望的频次。
具体实施方式
下面将结合具体的实施方案对本发明进行进一步的解释，但并不局限本发明。
本发明提供了一种基于姿态的人体张望动作检测方法，包括如下步骤：
S1：对考生头部运动进行编码：从考生视频的每一帧中提取考生姿态构成姿态序列，之后，根据该序列对鼻子关键点进行运动编码，以鼻子关键点的运动来衡量考生的头部运动；
S1具体包括如下步骤：
选取鼻子关键点的运动代表考生头部的运动，并通过公式(1)计算鼻子关键点在M帧内发生的位移dis：
Figure BDA0002222005970000041
式中，x，y分别为鼻子关键点横坐标和纵坐标，j为视频帧号，M为运动间隔预设值，如果dis<th1，则判定不存在运动，编码为0；如果dis>＝th1，则判定存在运动，并通过公式(2)计算运动方向direct：
式中，x，y分别为鼻子关键点横坐标和纵坐标，j为视频帧号，每45度划分一个方向，direct在区间(337.5,22.5]编码为1，每增大45度，编码加1，th1为预设的位移阈值。
S2：头部运动检测：利用S1中的运动编码数据，检测考生的头部运动过程；
具体地：遍历考生头部运动编码数据，如果存在编码为2或3或4的连续编码区间且持续时间达到T帧，则判定头部存在运动，并记录这次头部运动过程，包括该次头部运动的开始时间Tstart和结束时间Tend，其中，T为预设的持续时间阈值；
S3：张望判定：计算头部运动过程中鼻子关键点的位移量dis2和鼻子关键点的方向变化量angle，并通过与预设阈值进行比较，判断该头部运动是否属于张望动作；
具体地：通过公式(3)计算头部运动过程中鼻子关键点的位移量dis2，
Figure BDA0002222005970000051
式中，为所述头部运动过程结束时间点鼻子关键点的横坐标和纵坐标，
Figure BDA0002222005970000053
为所述头部运动过程开始时间点鼻子关键点的横坐标和纵坐标；
通过公式(4)计算鼻子关键点的方向变化量angle，
Figure BDA0002222005970000054
式中，
Figure BDA0002222005970000055
为所述头部运动过程结束时间点鼻子关键点的横坐标和纵坐标，
Figure BDA0002222005970000056
为所述头部运动过程开始时间点鼻子关键点的横坐标和纵坐标；
如果dis2>th2，同时angle>th3，则判定该次头部运动过程为一次张望，其中，th2为预设的位移阈值，th3为预设的角度变化阈值。
该基于姿态的人体张望动作检测方法，使用人体姿态分析考生的运动规律，通过分析考生姿态数据，可检测考生的张望动作，还可以统计考生在考试过程中张望的频次。
本发明的具体实施方式是按照递进的方式进行撰写的，着重强调各个实施方案的不同之处，其相似部分可以相互参见。
上面对本发明的实施方式做了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于姿态的人体张望动作检测方法，其特征在于，包括如下步骤：
S1：对考生头部运动进行编码：从考生视频的每一帧中提取考生姿态构成姿态序列，之后，根据该序列对鼻子关键点进行运动编码，以鼻子关键点的运动来衡量考生的头部运动；
S2：头部运动检测：利用S1中的运动编码数据，检测考生的头部运动过程；
S3：张望判定：计算头部运动过程中鼻子关键点的位移量dis2和鼻子关键点的方向变化量angle，并通过与预设阈值进行比较，判断该头部运动是否属于张望动作；
S4：张望统计：遍历考生的头部运动过程，统计考生张望频次。
2.按照权利要求1所述基于姿态的人体张望动作检测方法，其特征在于：S1具体包括如下步骤：
选取鼻子关键点的运动代表考生头部的运动，并通过公式(1)计算鼻子关键点在M帧内发生的位移dis：
式中，x，y分别为鼻子关键点横坐标和纵坐标，j为视频帧号，M为运动间隔预设值，如果dis<th1，则判定不存在运动，编码为0；如果dis>＝th1，则判定存在运动，并通过公式(2)计算运动方向direct：
Figure FDA0002222005960000012
式中，x，y分别为鼻子关键点横坐标和纵坐标，j为视频帧号，每45度划分一个方向，direct在区间(337.5,22.5]编码为1，每增大45度，编码加1，th1为预设的位移阈值。
3.按照权利要求2所述基于姿态的人体张望动作检测方法，其特征在于：S2的具体步骤如下：遍历考生头部运动编码数据，如果存在编码为2或3或4的连续编码区间且持续时间达到T帧，则判定头部存在运动，并记录这次头部运动过程，包括该次头部运动的开始时间Tstart和结束时间Tend，其中，T为预设的持续时间阈值。
4.按照权利要求3所述基于姿态的人体张望动作检测方法，其特征在于：S3具体包括如下步骤：
通过公式(3)计算头部运动过程中鼻子关键点的位移量dis2，
Figure FDA0002222005960000021
式中，
Figure FDA0002222005960000022
为所述头部运动过程结束时间点鼻子关键点的横坐标和纵坐标，为所述头部运动过程开始时间点鼻子关键点的横坐标和纵坐标；
通过公式(4)计算鼻子关键点的方向变化量angle，
Figure FDA0002222005960000024
式中，
Figure FDA0002222005960000025
为所述头部运动过程结束时间点鼻子关键点的横坐标和纵坐标，
Figure FDA0002222005960000026
为所述头部运动过程开始时间点鼻子关键点的横坐标和纵坐标；
如果dis2>th2，同时angle>th3，则判定该次头部运动过程为一次张望，其中，th2为预设的位移阈值，th3为预设的角度变化阈值。
CN201910937642.7A 2019-09-30 2019-09-30 一种基于姿态的人体张望动作检测方法 Active CN110781763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910937642.7A CN110781763B (zh) 2019-09-30 2019-09-30 一种基于姿态的人体张望动作检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910937642.7A CN110781763B (zh) 2019-09-30 2019-09-30 一种基于姿态的人体张望动作检测方法

Publications (2)

Publication Number Publication Date
CN110781763A true CN110781763A (zh) 2020-02-11
CN110781763B CN110781763B (zh) 2022-06-17

Family

ID=69384850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910937642.7A Active CN110781763B (zh) 2019-09-30 2019-09-30 一种基于姿态的人体张望动作检测方法

Country Status (1)

Country Link
CN (1) CN110781763B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011009302A1 (zh) * 2009-07-22 2011-01-27 深圳泰山在线科技有限公司 一种基于多跟踪点的人体动作识别方法
CN106713856A (zh) * 2016-12-15 2017-05-24 重庆凯泽科技股份有限公司 一种智能考试监控系统和方法
CN109711263A (zh) * 2018-11-29 2019-05-03 国政通科技有限公司 考试系统及其处理方法
CN109858457A (zh) * 2019-02-18 2019-06-07 齐鲁工业大学 基于OpenPose的作弊动作辅助识别方法及系统
CN109871747A (zh) * 2018-12-30 2019-06-11 广州展讯信息科技有限公司 基于人脸检测的左右瞭望评判方法、装置及可读存储介质
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110135282A (zh) * 2019-04-25 2019-08-16 沈阳航空航天大学 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN110147736A (zh) * 2019-04-25 2019-08-20 沈阳航空航天大学 一种基于姿态的重复异常行为检测方法
CN110176025A (zh) * 2019-04-25 2019-08-27 沈阳航空航天大学 一种基于姿态的监考人跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011009302A1 (zh) * 2009-07-22 2011-01-27 深圳泰山在线科技有限公司 一种基于多跟踪点的人体动作识别方法
CN106713856A (zh) * 2016-12-15 2017-05-24 重庆凯泽科技股份有限公司 一种智能考试监控系统和方法
CN109711263A (zh) * 2018-11-29 2019-05-03 国政通科技有限公司 考试系统及其处理方法
CN109871747A (zh) * 2018-12-30 2019-06-11 广州展讯信息科技有限公司 基于人脸检测的左右瞭望评判方法、装置及可读存储介质
CN109858457A (zh) * 2019-02-18 2019-06-07 齐鲁工业大学 基于OpenPose的作弊动作辅助识别方法及系统
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110135282A (zh) * 2019-04-25 2019-08-16 沈阳航空航天大学 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN110147736A (zh) * 2019-04-25 2019-08-20 沈阳航空航天大学 一种基于姿态的重复异常行为检测方法
CN110176025A (zh) * 2019-04-25 2019-08-27 沈阳航空航天大学 一种基于姿态的监考人跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范子健 等: "基于多维度体感信息的在线考试异常行为监测", 《计算机工程与科学》 *

Also Published As

Publication number Publication date
CN110781763B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110152273B (zh) 一种基于智能目标识别的跳绳计数方法
CN108304793B (zh) 在线学习分析系统及方法
CN108596041B (zh) 一种基于视频的人脸活体检测方法
CN110781762B (zh) 一种基于姿态的考试作弊检测方法
CN101515199A (zh) 一种基于视线跟踪和p300脑电电位的字符输入装置
CN110909722A (zh) 基于目标动作检测的防作弊摄像头
CN105825189A (zh) 一种用于大学生到课率及上课专注度自动分析的装置
CN110598633B (zh) 一种摔倒行为识别方法、装置及系统
CN105869085A (zh) 一种成绩录入系统及图像处理的方法
CN111523444B (zh) 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN104077568A (zh) 一种高精度的驾驶员行为识别与监控方法及系统
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
CN110147736A (zh) 一种基于姿态的重复异常行为检测方法
CN113378804A (zh) 一种自助采样的检测方法、装置、终端设备和存储介质
CN110766580A (zh) 一种基于人脸特征的课堂质量监控系统
CN110660454A (zh) 一种癌痛实时评估仪及其评估方法
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN110781763B (zh) 一种基于姿态的人体张望动作检测方法
CN109308118A (zh) 基于eog的中文眼写信号识别系统及其识别方法
Huang et al. Virtual reality for training and fitness assessments for construction safety
CN117292288A (zh) 体育测试方法、系统、电子设备、芯片及存储介质
Simmatis et al. Reliability of automatic computer vision-based assessment of orofacial kinematics for telehealth applications
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
CN110738151B (zh) 一种采用运动编码的考场视频人体主姿态确定方法
Xiao et al. AttentiveLearner: adaptive mobile MOOC learning via implicit cognitive states inference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201105

Address after: Room d09-629, international software park, No. 863-9, shangshengou village, Hunnan District, Shenyang City, Liaoning Province

Applicant after: Shenyang Tuwei Technology Co., Ltd

Address before: 110136, Liaoning, Shenyang, Shenbei New Area moral South Avenue No. 37

Applicant before: SHENYANG AEROSPACE University

GR01 Patent grant
GR01 Patent grant