CN110751062A - 一种基于姿态投票的考生姿态序列生成方法 - Google Patents

一种基于姿态投票的考生姿态序列生成方法 Download PDF

Info

Publication number
CN110751062A
CN110751062A CN201910937633.8A CN201910937633A CN110751062A CN 110751062 A CN110751062 A CN 110751062A CN 201910937633 A CN201910937633 A CN 201910937633A CN 110751062 A CN110751062 A CN 110751062A
Authority
CN
China
Prior art keywords
examinee
bounding box
list
posture
centroid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910937633.8A
Other languages
English (en)
Other versions
CN110751062B (zh
Inventor
石祥滨
杨啸宇
刘芳
李浩文
代海龙
王俊远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aerospace University
Original Assignee
Shenyang Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aerospace University filed Critical Shenyang Aerospace University
Priority to CN201910937633.8A priority Critical patent/CN110751062B/zh
Publication of CN110751062A publication Critical patent/CN110751062A/zh
Application granted granted Critical
Publication of CN110751062B publication Critical patent/CN110751062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于姿态投票的考生姿态序列生成方法,包括如下步骤:S1:确定考生大致位置;S2:精确定位考生;S3:考生排序:根据所有考生的前后位置关系对每个考生生成一个邻接对,并对得到的邻接对做拟合直线,之后,根据纵坐标对拟合直线上的考生按列排序;S4:生成考生姿态序列:为每个考生生成一个容器,将每个考生的所有姿态,以时间轴为序收集到对应容器内,为考生动作行为分析提供姿态序列。该基于姿态投票的考生姿态序列生成方法只利用姿态数据即可准确定位考生位置,并形成考生姿态序列,可为后续处理每个考生的行为判断提供良好的基础。

Description

一种基于姿态投票的考生姿态序列生成方法
技术领域
本发明属于计算机视觉和视频理解技术领域,特别提供了一种基于姿态投票的考生姿态序列生成方法,根据人体姿态的统计数据准确定位考生位置并形成考生姿态序列,适用于各类考试的考场视频的事后行为动作分析。
背景技术
目前,在高考,研究生考试、自考和学业水平测试等各类考试后,需要大量的人力观看考试视频,以分析考试中的考风问题,如:考生作弊、监考老师不作为等。因此提出一种能够自动分析考生行为的方法,用于分析考试中存在的问题,成为研究热点。
在自动分析考生行为的过程中,如何对视频中的考生进行准确定位并生成考生姿态序列是首要解决的问题。
发明内容
鉴于此,本发明的目的在于提供一种基于姿态投票的考生姿态序列生成方法,以准确定位考生并生成考生姿态序列。
本发明提供的技术方案是:一种基于姿态投票的考生姿态序列生成方法,包括如下步骤:
S1:确定考生大致位置:
通过姿态估计模型提取考试视频正中间500帧图像中关节点的位置信息,并对缺失关节点的目标进行姿态补全,之后,以每一帧的每一个姿态中脖子关节点的位置为中心形成一个包围盒,然后,合并所有距离小于设定阈值的包围盒,最终获得的包围盒的位置信息代表考场中潜在考生的位置;
S2:精确定位考生:
取整段考试视频中间一个小时作为计数投票的样本,计算每一帧中检测到的考生姿态的脖子关节点位置落在S1中获得的潜在考生包围盒内的人数数量,对于没有落在任一包围盒的脖子关节点,以该点为中心形成新的包围盒,增加基础帧中遗漏的考生位置,之后,统计得到的包围盒中姿态出现的频率、离散度,通过比较离散度的大小分辨出监考员和考生,并得到所有考生的精确位置和活动范围;
S3:考生排序:
根据所有考生的前后位置关系对每个考生生成一个邻接对,并对得到的邻接对做拟合直线,之后,根据纵坐标对拟合直线上的考生按列排序;
S4:生成考生姿态序列:
为每个考生生成一个容器,将每个考生的所有姿态,以时间轴为序收集到对应容器内,为考生动作行为分析提供姿态序列。
优选,S1具体包括如下步骤:
S11:处理原始数据:
通过姿态估计得到视频中间500帧中所有人的眼睛、耳朵、鼻子、脖子、双肩这八个关节点的位置信息(x,y)以及对应的置信度score,之后,采用脖子关节点代表一个考生的质心位置,以平均肩长Li为半径作为该考生的活动范围,构成考生包围盒;
S12:姿态缺失处理:
如果当前帧中有考生的脖子关节点没有被检测到,对该考生的姿态进行补全,具体地:如果该考生姿态中左肩关节点(xα,yα)和右肩关节点(xβ,yβ)存在,脖子关节点位置被记作双肩位置的中点,即((xα+xβ)/2,(yα+yβ)/2);如果该考生姿态中的双肩关节点仅有一个点被检测到,脖子关节点位置被记作该肩点位置的横坐标加上或减去平均肩长Li,即(xα+Li,yα)或(xβ-Li,yβ);如果该考生姿态中的双肩关节点均未被识别,对面部所有关节点求外接矩形,设该外接矩形的左上角和右下角坐标分别为(xmin,ymin)和(xmax,ymax),则脖子关节点位置被记作((xmin+xmax)/2,ymax);
S13:连续采样确定考生位置:把第一帧获得的每个人的包围盒的质心和半径(x,y,L)记入到列表中,然后,检查以后每帧中每个包围盒的质心(xj,yj)是否满足表达式
Figure BDA0002222011680000031
如果满足,列表中包围盒i出现的次数加1,利用公式((x*a+xi)/(a+1),(y*a+yi)/(a+1))对该包围盒的质心位置累加求平均,并采用新的质心平均位置更新列表中对应包围盒的质心坐标,其中,a表示在这帧之前该包围盒出现的次数,如果包围盒质心位置不在当前列表任一包围盒范围内,则把当前包围盒的位置和活动范围更新到列表当中,最后将出现次数小于样本数10%的包围盒作为噪声点去除,剩余包围盒则为考场中考生的大致位置。
进一步优选,S2具体包括如下步骤:
S21:对基础帧投票:
取视频中间一小时数据对列表中已得到的包围盒进行投票,统计每帧每个姿态的脖子点位置是否存在于当前列表中包围盒的活动范围内,如果在,为该包围盒的票数加一;如果该脖子点不在当前列表中的任一包围盒的活动范围中,则将该点与其活动范围更新到列表中,最后将票数小于样本数10%的包围盒作为噪声点去除;
S22:统计离散度:统计当前列表中每个包围盒的票数和票数每次增加时的帧号,其中,帧号为样本帧列表中的序号,为步骤S21中获得的每个包围盒创建0、1集合,H={u1,u2,…,un},其中,n为样本总数,如果该包围盒在当前帧增加了票数,则该位置的值ui为1,否则为0,对每个集合进行处理,合并相邻的0与相邻的1,定义离散度的值为合并后集合中1的个数与样本总数的比值,保留列表中离散度大于等于0.125的元素,并去除集合H中连续合并0超过500次所对应的列表中的包围盒,此时列表集合中所剩余包围盒为所有考生的精确位置和活动范围。
进一步优选,S21中,在对包围盒投票前,对视频数据做降采样,获得样本帧。
进一步优选,S3具体包括如下步骤:
S31:寻找前邻接关系:
为当前列表中的每个包围盒寻找前邻接关系,所述前邻接关系为:列表中与该包围盒质心最近的元素,且其纵坐标大于该包围盒的纵坐标,除列表中纵坐标最大的元素之外,所有元素都会找到自己的前邻接关系,一共可以得到n-1个前邻接关系,每个前邻接关系表示为:(Pi,Pj),其中,n为包围盒的个数,Pi=(xi,yi),表示列表中包围盒i的质心坐标;
S32:寻找邻接子对:从n-1个前邻接关系中寻找所有邻接子对,如Pi的前邻接关系为Pj,Pj的前邻接关系为Pk,则元组(Pi,Pj,Pk)为邻接子对,最后得到若干邻接子对,对每一个邻接子对(Pi,Pj,Pk)计算(Pj,Pk)所在直线和(Pi,Pk)所在直线形成的夹角,保留夹角小于15°的邻接子对;
S33:合并邻接子对:将含有交集的邻接子对(Pi,Pj,Pk)和(Pk,Pl,Pm)合并为(Pi,Pj,Pk,Pl,Pm),判断合并后的邻接子对中的所有坐标点是否在Pi和Pm所形成的直线li上,如果在,保留所形成的直线li,否则取消合并;
S34:合并保留直线:判断任意两条直线li,lj是否存在交点及交点是否存在于视频的显示窗口内,如果交点存在于视频的显示窗口内,则合并直线li,lj,并取直线li,lj对应邻接子对(Pi…Pk)中含有最大纵坐标和最小纵坐标的两个元素Pi和Pj,保留两点所形成的直线;
S35:考生包围盒排序:对直线按照斜率由小到大进行排序;再对每条直线上的所有坐标点按纵坐标由大到小进行排序;最后,对不在任一直线上的其他点进行随机排序。
进一步优选,S4具体包括如下步骤:
S41:计算姿态质心:计算每帧图像中的所有姿态Zi的质心属于步骤S2中获得的包围盒列表中的哪个包围盒,其中,姿态质心的计算方法如下:取每个姿态中的鼻子,脖子,双肩四个关节点的坐标,对这四个坐标中的非零点求外接矩形,外接矩形质心即为姿态质心;
S42:生成姿态序列:将每一帧中的姿态质心集合表示为C=(C1,C2,…,CI),其中Ci∈Rw×h,i∈{1…I},I为考生人数,计算Ci与所有包围盒质心Pm的欧式距离,得到与Ci距离最小的位置Pk,以及距离Di,k,并将Ci对应的姿态Zi分配到Pk的姿态序列容器中,若存在Cj,与其最近的位置亦为Pk,则取Di,k和Dj,k较小值,并将其对应的姿态Z分配到包围盒Pk的姿态序列容器中,之后,按照步骤S3对包围盒的排序结果,对姿态容器进行排序,为考生动作行为分析提供姿态序列。
本发明提供的基于姿态投票的考生姿态序列生成方法,对环境要求比较简单,不需要使用额外的设备,只利用姿态数据即可准确定位考生位置,并形成考生姿态序列,可为后续处理每个考生的行为判断提供良好的基础。此方法在考试动作行为分析、大型活动出席人员统计等方面有广泛的应用前景。
具体实施方式
下面将结合具体的实施方案对本发明进行进一步的解释,但并不局限本发明。
本发明提供了一种基于姿态投票的考生姿态序列生成方法,包括如下步骤:
S1:确定考生大致位置:
通过姿态估计模型提取考试视频正中间500帧图像中关节点的位置信息,并对缺失关节点的目标进行姿态补全,之后,以每一帧的每一个姿态中脖子关节点的位置为中心形成一个包围盒,然后,合并所有距离小于设定阈值的包围盒,最终获得的包围盒的位置信息代表考场中潜在考生的位置;
S2:精确定位考生:
取整段考试视频中间一个小时作为计数投票的样本,计算每一帧中检测到的考生姿态的脖子关节点位置落在S1中获得的潜在考生包围盒内的人数数量,对于没有落在任一包围盒的脖子关节点,以该点为中心形成新的包围盒,增加基础帧中遗漏的考生位置,之后,统计得到的包围盒中姿态出现的频率、离散度,通过比较离散度的大小分辨出监考员和考生,并得到所有考生的精确位置和活动范围;
S3:考生排序:
根据所有考生的前后位置关系对每个考生生成一个邻接对,并对得到的邻接对做拟合直线,之后,根据纵坐标对拟合直线上的考生按列排序;
S4:生成考生姿态序列:
为每个考生生成一个容器,将每个考生的所有姿态,以时间轴为序收集到对应容器内,为考生动作行为分析提供姿态序列。
该基于姿态投票的考生姿态序列生成方法,通过分析人的部分关节点的位置信息来确定每个人在视频中的位置从而形成考生姿态序列,使用脖子关节点的位置代表一个人的位置,使用投票的方法确定每个考生的位置并去掉噪声点,通过使用比较离散度的方法排除监考员的位置对考生的位置的干扰,后续采用前邻接关系对所有考生进行排序,最后生成考生姿态序列。采用本发明的方法,可以准确的得到每个考生的姿态序列。一方面方便用于考试场景中,只需要用到考试的监控视频便可以得到关节点数据;另一方面,使用关节数据对设备的要求比较低,不需要额外的定位设备,极大的降低了去确定位置的费用。而且本发明只需要利用由视频得到的关节点数据便可以输出视频中考生的位置,不需要进行额外的操作。
其中,S1具体包括如下步骤:
S11:处理原始数据:
通过姿态估计得到视频中间500帧中所有人的眼睛、耳朵、鼻子、脖子、双肩这八个关节点的位置信息(x,y)以及对应的置信度score,之后,采用脖子关节点代表一个考生的质心位置,以平均肩长Li为半径作为该考生的活动范围,构成考生包围盒,由于脖子关节点的平均置信度较高,因此,本发明采用脖子关节点代表考生的质心位置;
S12:姿态缺失处理:
如果当前帧中有考生的脖子关节点没有被检测到,对该考生的姿态进行补全,具体地:如果该考生姿态中左肩关节点(xα,yα)和右肩关节点(xβ,yβ)存在,脖子关节点位置被记作双肩位置的中点,即((xα+xβ)/2,(yα+yβ)/2);如果该考生姿态中的双肩关节点仅有一个点被检测到,脖子关节点位置被记作该肩点位置的横坐标加上或减去平均肩长Li,即(xα+Li,yα)或(xβ-Li,yβ);如果该考生姿态中的双肩关节点均未被识别,对面部所有关节点求外接矩形,设该外接矩形的左上角和右下角坐标分别为(xmin,ymin)和(xmax,ymax),则脖子关节点位置被记作((xmin+xmax)/2,ymax);
S13:连续采样确定考生位置:把第一帧获得的每个人的包围盒的质心和半径(x,y,L)记入到列表中,然后,检查以后每帧中每个包围盒的质心(xj,yj)是否满足表达式如果满足,列表中包围盒i出现的次数加1,利用公式((x*a+xi)/(a+1),(y*a+yi)/(a+1))对该包围盒的质心位置累加求平均,并采用新的质心平均位置更新列表中对应包围盒的质心坐标,其中,a表示在这帧之前该包围盒出现的次数,如果包围盒质心位置不在当前列表任一包围盒范围内,则把当前包围盒的位置和活动范围更新到列表当中,最后将出现次数小于样本数10%的包围盒作为噪声点去除,剩余包围盒则为考场中考生的大致位置。
S2具体包括如下步骤:
S21:对基础帧投票:
取视频中间一小时数据对列表中已得到的包围盒进行投票,统计每帧每个姿态的脖子点位置是否存在于当前列表中包围盒的活动范围内,如果在,为该包围盒的票数加一;如果该脖子点不在当前列表中的任一包围盒的活动范围中,则将该点与其活动范围更新到列表中,最后将票数小于样本数10%的包围盒作为噪声点去除,其中,为了加快处理速度,在对包围盒投票前,对视频数据做降采样,获得样本帧;
S22:统计离散度:统计当前列表中每个包围盒的票数和票数每次增加时的帧号,其中,帧号为样本帧列表中的序号,为步骤S21中获得的每个包围盒创建0、1集合,H={u1,u2,…,un},其中,n为样本总数,如果该包围盒在当前帧增加了票数,则该位置的值ui为1,否则为0,对每个集合进行处理,合并相邻的0与相邻的1,定义离散度的值为合并后集合中1的个数与样本总数的比值,保留列表中离散度大于等于0.125的元素,并去除集合H中连续合并0超过500次所对应的列表中的包围盒,此时列表集合中所剩余包围盒为所有考生的精确位置和活动范围。
S3具体包括如下步骤:
S31:寻找前邻接关系:
为当前列表中的每个包围盒寻找前邻接关系,所述前邻接关系为:列表中与该包围盒质心最近的元素,且其纵坐标大于该包围盒的纵坐标,除列表中纵坐标最大的元素之外,所有元素都会找到自己的前邻接关系,一共可以得到n-1个前邻接关系,每个前邻接关系表示为:(Pi,Pj),其中,n为包围盒的个数,Pi=(xi,yi),表示列表中包围盒i的质心坐标;
S32:寻找邻接子对:从n-1个前邻接关系中寻找所有邻接子对,如Pi的前邻接关系为Pj,Pj的前邻接关系为Pk,则元组(Pi,Pj,Pk)为邻接子对,最后得到若干邻接子对,对每一个邻接子对(Pi,Pj,Pk)计算(Pj,Pk)所在直线和(Pi,Pk)所在直线形成的夹角,保留夹角小于15°的邻接子对;
S33:合并邻接子对:将含有交集的邻接子对(Pi,Pj,Pk)和(Pk,Pl,Pm)合并为(Pi,Pj,Pk,Pl,Pm),判断合并后的邻接子对中的所有坐标点是否在Pi和Pm所形成的直线li上,如果在,保留所形成的直线li,否则取消合并;
S34:合并保留直线:判断任意两条直线li,lj是否存在交点及交点是否存在于视频的显示窗口内,如果交点存在于视频的显示窗口内,则合并直线li,lj,并取直线li,lj对应邻接子对(Pi…Pk)中含有最大纵坐标和最小纵坐标的两个元素Pi和Pj,保留两点所形成的直线;
S35:考生包围盒排序:对直线按照斜率由小到大进行排序;再对每条直线上的所有坐标点按纵坐标由大到小进行排序;最后,对不在任一直线上的其他点进行随机排序。
S4具体包括如下步骤:
S41:计算姿态质心:计算每帧图像中的所有姿态Zi的质心属于步骤S2中获得的包围盒列表中的哪个包围盒,其中,姿态质心的计算方法如下:取每个姿态中的鼻子,脖子,双肩四个关节点的坐标,对这四个坐标中的非零点求外接矩形,外接矩形质心即为姿态质心;
S42:生成姿态序列:将每一帧中的姿态质心集合表示为C=(C1,C2,…,CI),其中Ci∈Rw×h,i∈{1…I},I为考生人数,计算Ci与所有包围盒质心Pm的欧式距离,得到与Ci距离最小的位置Pk,以及距离Di,k,并将Ci对应的姿态Zi分配到Pk的姿态序列容器中,若存在Cj,与其最近的位置亦为Pk,则取Di,k和Dj,k较小值,并将其对应的姿态Z分配到包围盒Pk的姿态序列容器中,之后,按照步骤S3对包围盒的排序结果,对姿态容器进行排序,为考生动作行为分析提供姿态序列。
上面对本发明的实施方式做了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种基于姿态投票的考生姿态序列生成方法,其特征在于,包括如下步骤:
S1:确定考生大致位置:
通过姿态估计模型提取考试视频正中间500帧图像中关节点的位置信息,并对缺失关节点的目标进行姿态补全,之后,以每一帧的每一个姿态中脖子关节点的位置为中心形成一个包围盒,然后,合并所有距离小于设定阈值的包围盒,最终获得的包围盒的位置信息代表考场中潜在考生的位置;
S2:精确定位考生:
取整段考试视频中间一个小时作为计数投票的样本,计算每一帧中检测到的考生姿态的脖子关节点位置落在S1中获得的潜在考生包围盒内的人数数量,对于没有落在任一包围盒的脖子关节点,以该点为中心形成新的包围盒,增加基础帧中遗漏的考生位置,之后,统计得到的包围盒中姿态出现的频率、离散度,通过比较离散度的大小分辨出监考员和考生,并得到所有考生的精确位置和活动范围;
S3:考生排序:
根据所有考生的前后位置关系对每个考生生成一个邻接对,并对得到的邻接对做拟合直线,之后,根据纵坐标对拟合直线上的考生按列排序;
S4:生成考生姿态序列:
为每个考生生成一个容器,将每个考生的所有姿态,以时间轴为序收集到对应容器内,为考生动作行为分析提供姿态序列。
2.按照权利要求1所述的基于姿态投票的考生姿态序列生成方法,其特征在于:S1具体包括如下步骤:
S11:处理原始数据:
通过姿态估计得到视频中间500帧中所有人的眼睛、耳朵、鼻子、脖子、双肩这八个关节点的位置信息(x,y)以及对应的置信度score,之后,采用脖子关节点代表一个考生的质心位置,以平均肩长Li为半径作为该考生的活动范围,构成考生包围盒;
S12:姿态缺失处理:
如果当前帧中有考生的脖子关节点没有被检测到,对该考生的姿态进行补全,具体地:如果该考生姿态中左肩关节点(xα,yα)和右肩关节点(xβ,yβ)存在,脖子关节点位置被记作双肩位置的中点,即((xα+xβ)/2,(yα+yβ)/2);如果该考生姿态中的双肩关节点仅有一个点被检测到,脖子关节点位置被记作该肩点位置的横坐标加上或减去平均肩长Li,即(xα+Li,yα)或(xβ-Li,yβ);如果该考生姿态中的双肩关节点均未被识别,对面部所有关节点求外接矩形,设该外接矩形的左上角和右下角坐标分别为(xmin,ymin)和(xmax,ymax),则脖子关节点位置被记作((xmin+xmax)/2,ymax);
S13:连续采样确定考生位置:把第一帧获得的每个人的包围盒的质心和半径(x,y,L)记入到列表中,然后,检查以后每帧中每个包围盒的质心(xj,yj)是否满足表达式
Figure FDA0002222011670000021
如果满足,列表中包围盒i出现的次数加1,利用公式((x*a+xi)/(a+1),(y*a+yi)/(a+1))对该包围盒的质心位置累加求平均,并采用新的质心平均位置更新列表中对应包围盒的质心坐标,其中,a表示在这帧之前该包围盒出现的次数,如果包围盒质心位置不在当前列表任一包围盒范围内,则把当前包围盒的位置和活动范围更新到列表当中,最后将出现次数小于样本数10%的包围盒作为噪声点去除,剩余包围盒则为考场中考生的大致位置。
3.按照权利要求2所述的基于姿态投票的考生姿态序列生成方法,其特征在于:S2具体包括如下步骤:
S21:对基础帧投票:
取视频中间一小时数据对列表中已得到的包围盒进行投票,统计每帧每个姿态的脖子点位置是否存在于当前列表中包围盒的活动范围内,如果在,为该包围盒的票数加一;如果该脖子点不在当前列表中的任一包围盒的活动范围中,则将该点与其活动范围更新到列表中,最后将票数小于样本数10%的包围盒作为噪声点去除;
S22:统计离散度:统计当前列表中每个包围盒的票数和票数每次增加时的帧号,其中,帧号为样本帧列表中的序号,为步骤S21中获得的每个包围盒创建0、1集合,H={u1,u2,…,un},其中,n为样本总数,如果该包围盒在当前帧增加了票数,则该位置的值ui为1,否则为0,对每个集合进行处理,合并相邻的0与相邻的1,定义离散度的值为合并后集合中1的个数与样本总数的比值,保留列表中离散度大于等于0.125的元素,并去除集合H中连续合并0超过500次所对应的列表中的包围盒,此时列表集合中所剩余包围盒为所有考生的精确位置和活动范围。
4.按照权利要求3所述的基于姿态投票的考生姿态序列生成方法,其特征在于:S21中,在对包围盒投票前,对视频数据做降采样,获得样本帧。
5.按照权利要求3所述的基于姿态投票的考生姿态序列生成方法,其特征在于:S3具体包括如下步骤:
S31:寻找前邻接关系:
为当前列表中的每个包围盒寻找前邻接关系,所述前邻接关系为:列表中与该包围盒质心最近的元素,且其纵坐标大于该包围盒的纵坐标,除列表中纵坐标最大的元素之外,所有元素都会找到自己的前邻接关系,一共可以得到n-1个前邻接关系,每个前邻接关系表示为:(Pi,Pj),其中,n为包围盒的个数,Pi=(xi,yi),表示列表中包围盒i的质心坐标;
S32:寻找邻接子对:从n-1个前邻接关系中寻找所有邻接子对,如Pi的前邻接关系为Pj,Pj的前邻接关系为Pk,则元组(Pi,Pj,Pk)为邻接子对,最后得到若干邻接子对,对每一个邻接子对(Pi,Pj,Pk)计算(Pj,Pk)所在直线和(Pi,Pk)所在直线形成的夹角,保留夹角小于15°的邻接子对;
S33:合并邻接子对:将含有交集的邻接子对(Pi,Pj,Pk)和(Pk,Pl,Pm)合并为(Pi,Pj,Pk,Pl,Pm),判断合并后的邻接子对中的所有坐标点是否在Pi和Pm所形成的直线li上,如果在,保留所形成的直线li,否则取消合并;
S34:合并保留直线:判断任意两条直线li,lj是否存在交点及交点是否存在于视频的显示窗口内,如果交点存在于视频的显示窗口内,则合并直线li,lj,并取直线li,lj对应邻接子对(Pi…Pk)中含有最大纵坐标和最小纵坐标的两个元素Pi和Pj,保留两点所形成的直线;
S35:考生包围盒排序:对直线按照斜率由小到大进行排序;再对每条直线上的所有坐标点按纵坐标由大到小进行排序;最后,对不在任一直线上的其他点进行随机排序。
6.按照权利要求5所述的基于姿态投票的考生姿态序列生成方法,其特征在于:S4具体包括如下步骤:
S41:计算姿态质心:计算每帧图像中的所有姿态Zi的质心属于步骤S2中获得的包围盒列表中的哪个包围盒,其中,姿态质心的计算方法如下:取每个姿态中的鼻子,脖子,双肩四个关节点的坐标,对这四个坐标中的非零点求外接矩形,外接矩形质心即为姿态质心;
S42:生成姿态序列:将每一帧中的姿态质心集合表示为C=(C1,C2,...,CI),其中Ci∈Rw ×h,i∈{1...I},I为考生人数,计算Ci与所有包围盒质心Pm的欧式距离,得到与Ci距离最小的位置Pk,以及距离Di,k,并将Ci对应的姿态Zi分配到Pk的姿态序列容器中,若存在Cj,与其最近的位置亦为Pk,则取Di,k和Dj,k较小值,并将其对应的姿态Z分配到包围盒Pk的姿态序列容器中,之后,按照步骤S3对包围盒的排序结果,对姿态容器进行排序,为考生动作行为分析提供姿态序列。
CN201910937633.8A 2019-09-30 2019-09-30 一种基于姿态投票的考生姿态序列生成方法 Active CN110751062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910937633.8A CN110751062B (zh) 2019-09-30 2019-09-30 一种基于姿态投票的考生姿态序列生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910937633.8A CN110751062B (zh) 2019-09-30 2019-09-30 一种基于姿态投票的考生姿态序列生成方法

Publications (2)

Publication Number Publication Date
CN110751062A true CN110751062A (zh) 2020-02-04
CN110751062B CN110751062B (zh) 2022-04-05

Family

ID=69277527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910937633.8A Active CN110751062B (zh) 2019-09-30 2019-09-30 一种基于姿态投票的考生姿态序列生成方法

Country Status (1)

Country Link
CN (1) CN110751062B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818796A (zh) * 2021-01-26 2021-05-18 厦门大学 一种适用于在线监考场景下的智能姿态判别方法和存储设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110147736A (zh) * 2019-04-25 2019-08-20 沈阳航空航天大学 一种基于姿态的重复异常行为检测方法
CN110163112A (zh) * 2019-04-25 2019-08-23 沈阳航空航天大学 一种考生姿态分割与平滑方法
CN110176025A (zh) * 2019-04-25 2019-08-27 沈阳航空航天大学 一种基于姿态的监考人跟踪方法
CN110175531A (zh) * 2019-05-05 2019-08-27 沈阳航空航天大学 一种基于姿态的考生位置定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032992A (zh) * 2019-04-25 2019-07-19 沈阳航空航天大学 一种基于姿态的考试作弊检测方法
CN110147736A (zh) * 2019-04-25 2019-08-20 沈阳航空航天大学 一种基于姿态的重复异常行为检测方法
CN110163112A (zh) * 2019-04-25 2019-08-23 沈阳航空航天大学 一种考生姿态分割与平滑方法
CN110176025A (zh) * 2019-04-25 2019-08-27 沈阳航空航天大学 一种基于姿态的监考人跟踪方法
CN110175531A (zh) * 2019-05-05 2019-08-27 沈阳航空航天大学 一种基于姿态的考生位置定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI LIANG 等: "Hough Forest With Optimized Leaves for Global Hand Pose Estimation With Arbitrary Postures", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
SONG-HAI ZHANG 等: "Pose2Seg: Detection Free Human Instance Segmentation", 《ARXIV》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818796A (zh) * 2021-01-26 2021-05-18 厦门大学 一种适用于在线监考场景下的智能姿态判别方法和存储设备
CN112818796B (zh) * 2021-01-26 2023-10-24 厦门大学 一种适用在线监考场景下的智能姿态判别方法和存储设备

Also Published As

Publication number Publication date
CN110751062B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110837784B (zh) 一种基于人体头部特征的考场偷窥作弊检测系统
Hu et al. Research on abnormal behavior detection of online examination based on image information
CN110135282B (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
US20140220527A1 (en) Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
CN104700090B (zh) 基于密度的眼动注视点测定方法及系统
CN106650619A (zh) 一种人体动作识别方法
JP2006524394A (ja) 画像における人体輪郭描写
CN105869085A (zh) 一种成绩录入系统及图像处理的方法
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN105224921A (zh) 一种人脸图像择优系统和处理方法
CN110176025B (zh) 一种基于姿态的监考人跟踪方法
CN110781762B (zh) 一种基于姿态的考试作弊检测方法
CN107358163A (zh) 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质
CN111444389A (zh) 一种基于目标检测的会议视频分析方法及系统
CN114783043B (zh) 一种儿童行为轨迹定位方法和系统
CN111523445B (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN111126143A (zh) 一种基于深度学习的运动评判指导方法及系统
CN110751062B (zh) 一种基于姿态投票的考生姿态序列生成方法
CN114898460A (zh) 一种基于图卷积神经网络的教师非言语行为检测方法
CN112102129A (zh) 一种基于学生端数据处理的智能考试作弊识别系统
CN111694980A (zh) 一种鲁棒的家庭儿童学习状态视觉监督方法及装置
CN115829234A (zh) 基于课堂检测的自动化督导系统及其工作方法
CN110175531B (zh) 一种基于姿态的考生位置定位方法
CN112766150A (zh) 基于大数据和人工智能的学校课堂学生学习行为跟踪分析方法及云管理平台
CN112880660B (zh) 一种智能建筑WiFi和红外热成像仪的融合定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201105

Address after: Room d09-629, international software park, No. 863-9, shangshengou village, Hunnan District, Shenyang City, Liaoning Province

Applicant after: Shenyang Tuwei Technology Co., Ltd

Address before: 110136, Liaoning, Shenyang, Shenbei New Area moral South Avenue No. 37

Applicant before: SHENYANG AEROSPACE University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant