CN106644090A - 一种基于kinect的求职仪态测试方法及其系统 - Google Patents

一种基于kinect的求职仪态测试方法及其系统 Download PDF

Info

Publication number
CN106644090A
CN106644090A CN201611245992.XA CN201611245992A CN106644090A CN 106644090 A CN106644090 A CN 106644090A CN 201611245992 A CN201611245992 A CN 201611245992A CN 106644090 A CN106644090 A CN 106644090A
Authority
CN
China
Prior art keywords
node
state
coordinate
hand
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611245992.XA
Other languages
English (en)
Other versions
CN106644090B (zh
Inventor
胡幽
蒋直平
于健昕
康天楠
方森然
党伟然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201611245992.XA priority Critical patent/CN106644090B/zh
Publication of CN106644090A publication Critical patent/CN106644090A/zh
Application granted granted Critical
Publication of CN106644090B publication Critical patent/CN106644090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Manipulator (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明目的在于提供一种基于kinect的求职仪态测试方法及其系统,以解决现有仪态检测存在主观性、随意性和局限性的现有技术问题。本发明提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值和鼻子信息特征值;根据采集的节点坐标计算平面内斜率来判断头部状态,根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态,通过左腿跟节点和右腿跟节点的坐标来判断双脚状态;根据眼部信息的特征值判断眼睛状态;综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。

Description

一种基于kinect的求职仪态测试方法及其系统
技术领域
本发明涉及动态识别领域,尤其涉及一种基于kinect的求职仪态测试方法及其系统。
背景技术
很多工作对求职者的仪态有很高的要求,传统的仪态测试一般由求职者本人或周围人根据书籍、网络或经验进行判断,其存在主观性、随意性和局限性等不足。kinect红外深度传感器提供的脸部识别和骨骼追踪等功能使得人机交互来训练或测试自身的仪态成为了可能。
发明内容
本发明目的在于提供一种基于kinect的求职仪态测试方法及其系统,以解决现有仪态检测存在主观性、随意性和局限性的现有技术问题。
为实现上述目的,本发明提供了一种基于kinect的求职仪态测试方法,包括以下步骤:
提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值和鼻子信息特征值;
根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态,根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态,根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态,通过左腿跟节点和右腿跟节点的坐标来判断双脚状态;
根据眼部信息的特征值和鼻子信息特征值判断眼睛状态;
综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。
依托上述方法,本发明还提供了一种基于kinect的求职仪态测试系统,包括:
采集模块:用于提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值;
第一决策模块:用于根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态,根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态,根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态,通过左腿跟节点和右腿跟节点的坐标来判断双脚状态;
第二决策模块:根据眼部信息的特征值判断眼睛状态;
输出模块:用于综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。
本发明具有以下有益效果:
采用kinect红外深度传感器通过人脸识别、空间定位和肢体识别采集人脸特征、骨架位置,通过采集的数据对人体仪态进行判断检测,其检测结果客观准确。
下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明优选实施例的一种基于kinect的求职仪态测试方法流程图;
图2是本发明优选实施例的人体骨架节点图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
本发明实施例首先公开一种基于kinect的求职仪态测试方法,该方法采集的数据为通过微软提供的SDK(Software Development Kit)的API(Application ProgrammingInterface)去读取驱动上面的kinect红外深度传感器从而获得所需的数据,其具体表现形式包括但不限于通过微软提供的SDK的API去读取驱动上面的kinect红外深度传感器。
如图1所示,一种基于kinect的求职仪态测试方法的流程包括:
步骤S1、提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值。通过微软提供的API读取kinect上层算法分析彩色和深度图像得到的骨骼点数据,具体表现为跟踪到的人的关节点的位置信息。通过人脸识别提取眼部信息特征值和鼻子信息特征值。
步骤S2、根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态,根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态,根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态,通过左腿跟节点和右腿跟节点的坐标来判断双脚状态。通过获取的骨骼点数据来判断上身是否挺直、头部是否摆正、头部是否乱动、行走时摆臂幅度、行走时步长和坐立时脚的位置状态。
步骤S3、根据眼部信息的特征值和鼻子信息的特征值判断眼睛状态。根据瞳孔与鼻子的位置来判断眼睛的状态。
步骤S4、综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。从坐姿,站姿,行姿3个方面对人体仪态进行分析。
进一步地,参见图2,空间定位信息还包括左手腕节点、左手肘节点、右手腕节点、右手肘节点、左臀节点、左膝盖节点、右臀节点和右膝盖节点。可以通过这些节点创建更多的仪态分析方法。
进一步地,判断上身状态的步骤为:
设定左肩节点坐标为(xA,yA,zA),右肩节点坐标为(xB,yB,zB),躯干节点坐标为(xC,yC,zC);
在XOZ坐标平面中,AC为一条直线,BC为一条直线,即斜率k=dz/dx;
若kAC≈kBC,即(ZA-ZC)/(XA-XC)≈(ZB-ZC)/(XB-XC),则上身是挺直的,反之上身没有挺直。
由左肩节点、右肩节点和躯干节点构成了一个平面,通过设定的坐标计算平面的斜率从而判断该平面是否垂直于地面,进而判断上身是否挺直。无论对于坐姿,站姿还是行姿,上身挺直都是重要的。
进一步地,判断头部状态的步骤为:
设定头部节点坐标为(xhead,yhead,zhead),颈部节点坐标为(xneck,yneck,zneck);
在XOZ坐标平面中,xhead≈xhead,yhead≈yneck,则头部是直的,反之头部不直。
通过头部节点和颈部节点的坐标来判断头部是否摆正,且可以通过一段时间对头部节点和颈部节点的采集来判断是否有头部晃动的情况。头部是否摆正,对于坐姿、站姿或行姿亦是非常重要的。
进一步地,判断手臂状态的步骤为:
设定左肩节点坐标为(xleft shoulde,yleft shoulde,zleft shoulde)、右肩节点坐标为(xright shoulder,yright shoulder,zright shoulder)、左手节点坐标为(xleft hand,yleft hand,zleft hand)和右手节点坐标为(xright hand,yright hand,zright hand);
向量l=(xleft hand-xleft shoulder,yleft hand-yleft shoulder,zleft hand-zleft shoulder),向量r=(xright hand-xright shoulder,yright hand-yright shoulder,zright hand-zright shoulder);
通过计算sinα=(l×r)/(|l|×|r|)的最大值,得到摆臂幅度l和r的夹角α。
通过左肩节点坐标、右肩节点坐标、左手节点坐标和右手节点坐标来判断手臂摆幅,在行走时,手臂幅度不应大于30°为宜。站立时应保持幅度为0°。
进一步地,判断腿部状态的步骤为:
设定左腿跟节点坐标为(xleft foot,yleft foot,zleft foot)和右腿跟节点坐标为(xright foot,yright foot,zright foot);
设人前行方向沿着向量a,left foot和right foot之间有一条从left foot指向right foot的向量b,left foot和right foot之间的距离为l,那么l=(a·b)/|a|;
设脚的长度是l’,若l=2*l’,则测试者的步间距是合理的,反之则不合理。
通过左腿跟节点坐标和右腿跟节点坐标来计算脚的状态,从而判断行走时的步幅是否合理,来判断人的行姿。当左腿跟节点和右腿跟节点几乎重合且都落在地面时,则判断为双脚靠拢平放于地面,来判断人的坐姿。
进一步地,判断眼部状态的步骤为:
以双瞳孔相对于鼻梁的位置作为量化标准,判断双瞳到鼻梁的距离是否存在明显偏差;
若无明显偏差则计算双瞳到眼角的距离,若偏差较大则定性为双目未能平视前方;
通过计算得到的双瞳到眼角的距离,判断是否发生双瞳同时贴着内眼角或外眼角的情况,若有此情况则定性为双目未能平视前方,若无此情况则定性为双目平视前方。
综合上身是否挺直、头部是否摆正或出现晃动情况、手臂摆幅、脚部步幅和眼部是否正视给出仪态分析结果。
综上,本实施例公开的一种基于kinect的求职仪态测试方法,采用kinect红外深度传感器通过人脸识别、空间定位和肢体识别采集人脸特征、骨架位置,通过采集的数据对上身状态、头部状态、手臂状态、脚部状态和眼部状态进行检测,其检测结果客观准确。
与上述方法实施例相对应的,下述实施例还公开一种用于执行上述方法的配套系统。
采集模块:用于提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值;
第一决策模块:用于根据左肩节点、右肩节点和躯干节点的坐标计算平面内斜率来判断上身状态,根据头部节点和颈部节点的坐标计算平面内斜率来判断头部状态,根据左手节点、右手节点、左肩节点和右肩节点的坐标来计算手臂状态,通过左腿跟节点和右腿跟节点的坐标来判断双脚状态;
第二决策模块:根据眼部信息的特征值判断眼睛状态;
输出模块:用于综合眼睛状态、上身状态、头部状态、手臂状态和双脚状态给出仪态测试结果。
综上,本实施例公开的一种基于kinect的求职仪态测试系统,采用kinect红外深度传感器通过人脸识别、空间定位和肢体识别采集人脸特征、骨架位置,通过采集的数据对上身状态、头部状态、手臂状态、脚部状态和眼部状态进行检测,其检测结果客观准确。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于kinect的求职仪态测试方法,其特征在于,包括以下步骤:
提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值和鼻子信息的特征值;
根据所述左肩节点、所述右肩节点和所述躯干节点的坐标计算平面内斜率来判断上身状态,根据所述头部节点和所述颈部节点的坐标计算平面内斜率来判断头部状态,根据所述左手节点、所述右手节点、所述左肩节点和所述右肩节点的坐标来计算手臂状态,通过所述左腿跟节点和所述右腿跟节点的坐标来判断双脚状态;
根据所述眼部信息的特征值判断眼睛状态;
综合所述眼睛状态、所述上身状态、所述头部状态、所述手臂状态和所述双脚状态给出仪态测试结果。
2.根据权利要求1所述的一种基于kinect的求职仪态测试方法,其特征在于,所述空间定位信息还包括左手腕节点、左手肘节点、右手腕节点、右手肘节点、左臀节点、左膝盖节点、右臀节点和右膝盖节点。
3.根据权利要求1所述的一种基于kinect的求职仪态测试方法,判断所述上身状态的步骤为:
设定所述左肩节点坐标为(xA,yA,zA),所述右肩节点坐标为(xB,yB,zB),所述躯干节点坐标为(xC,yC,zC);
在XOZ坐标平面中,AC为一条直线,BC为一条直线,即斜率k=dz/dx;
若kAC≈kBC,即(ZA-ZC)/(XA-XC)≈(ZB-ZC)/(XB-XC),则上身是挺直的,反之上身没有挺直。
4.根据权利要求1所述的一种基于kinect的求职仪态测试方法,判断所述头部状态的步骤为:
设定所述头部节点坐标为(xhead,yhead,zhead),所述颈部节点坐标为(xneck,yneck,zneck);
在XOZ坐标平面中,xhead≈xhead,yhead≈yneck,则头部是直的,反之头部不直。
5.根据权利要求1所述的一种基于kinect的求职仪态测试方法,判断所述手臂状态的步骤为:
设定所述左肩节点坐标为(xleft shoulde,yleft shoulde,zleft shoulde)、所述右肩节点坐标为(xright shoulder,yright shoulder,zright shoulder)、所述左手节点坐标为(xleft hand,yleft hand,zleft hand)和所述右手节点坐标为(xright hand,yright hand,zright hand);
向量l=(xleft hand-xleft shoulder,yleft hand-yleft shoulder,zleft hand-zleft shoulder),向量r=(xright hand-xright shoulder,yright hand-yright shoulder,zright hand-zright shoulder);
通过计算sinα=(l×r)/(|l|×|r|)的最大值,得到摆臂幅度l和r的夹角α。
6.根据权利要求1所述的一种基于kinect的求职仪态测试方法,判断所述腿部状态的步骤为:
设定所述左腿跟节点坐标为(xleft foot,yleft foot,zleft foot)和所述右腿跟节点坐标为(xright foot,yright foot,zright foot);
设人前行方向沿着向量a,left foot和right foot之间有一条从left foot指向rightfoot的向量b,left foot和right foot之间的距离为l,那么l=(a·b)/|a|;
设脚的长度是l’,若l=2*l’,则测试者的步间距是合理的,反之则不合理。
7.根据权利要求1所述的一种基于kinect的求职仪态测试方法,判断所述眼部状态的步骤为:
以双瞳孔相对于鼻梁的位置作为量化标准,判断双瞳到鼻梁的距离是否存在明显偏差;
若无明显偏差则计算双瞳到眼角的距离,若偏差较大则定性为双目未能平视前方;
通过计算得到的双瞳到眼角的距离,判断是否发生双瞳同时贴着内眼角或外眼角的情况,若有此情况则定性为双目未能平视前方,若无此情况则定性为双目平视前方。
8.一种基于kinect的求职仪态测试系统,其特征在于,包括:
采集模块:用于提取kinect采集空间定位信息中左肩节点、右肩节点、躯干节点、头部节点、颈部节点、左手节点、右手节点、左腿跟节点和右腿跟节点的坐标值以及人脸识别信息中眼部信息的特征值;
第一决策模块:用于根据所述左肩节点、所述右肩节点和所述躯干节点的坐标计算平面内斜率来判断上身状态,根据所述头部节点和所述颈部节点的坐标计算平面内斜率来判断头部状态,根据所述左手节点、所述右手节点、所述左肩节点和所述右肩节点的坐标来计算手臂状态,通过所述左腿跟节点和所述右腿跟节点的坐标来判断双脚状态;
第二决策模块:根据所述眼部信息的特征值判断眼睛状态;
输出模块:用于综合所述眼睛状态、所述上身状态、所述头部状态、所述手臂状态和所述双脚状态给出仪态测试结果。
CN201611245992.XA 2016-12-29 2016-12-29 一种基于kinect的求职仪态测试方法及其系统 Active CN106644090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611245992.XA CN106644090B (zh) 2016-12-29 2016-12-29 一种基于kinect的求职仪态测试方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611245992.XA CN106644090B (zh) 2016-12-29 2016-12-29 一种基于kinect的求职仪态测试方法及其系统

Publications (2)

Publication Number Publication Date
CN106644090A true CN106644090A (zh) 2017-05-10
CN106644090B CN106644090B (zh) 2020-05-22

Family

ID=58836217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611245992.XA Active CN106644090B (zh) 2016-12-29 2016-12-29 一种基于kinect的求职仪态测试方法及其系统

Country Status (1)

Country Link
CN (1) CN106644090B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632998A (zh) * 2017-07-24 2018-01-26 电子科技大学 一种基于人体形态的多维数据可视化方法
CN110059673A (zh) * 2019-05-05 2019-07-26 重庆中科云从科技有限公司 一种人脸识别终端自动化测试系统和方法
CN110109548A (zh) * 2019-01-18 2019-08-09 贵州黔驴科技有限公司 一种通过vr设备获取数据进行用户行为分析的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638653A (zh) * 2012-03-01 2012-08-15 北京航空航天大学 一种基于Kinect的自动面部追踪方法
CN102814814A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种双臂机器人基于Kinect的人机交互方法
CN104157107A (zh) * 2014-07-24 2014-11-19 燕山大学 一种基于Kinect传感器的人体姿势矫正装置
US20150154467A1 (en) * 2013-12-04 2015-06-04 Mitsubishi Electric Research Laboratories, Inc. Method for Extracting Planes from 3D Point Cloud Sensor Data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638653A (zh) * 2012-03-01 2012-08-15 北京航空航天大学 一种基于Kinect的自动面部追踪方法
CN102814814A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种双臂机器人基于Kinect的人机交互方法
US20150154467A1 (en) * 2013-12-04 2015-06-04 Mitsubishi Electric Research Laboratories, Inc. Method for Extracting Planes from 3D Point Cloud Sensor Data
CN104157107A (zh) * 2014-07-24 2014-11-19 燕山大学 一种基于Kinect传感器的人体姿势矫正装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632998A (zh) * 2017-07-24 2018-01-26 电子科技大学 一种基于人体形态的多维数据可视化方法
CN107632998B (zh) * 2017-07-24 2021-04-23 电子科技大学 一种基于人体形态的多维数据可视化方法
CN110109548A (zh) * 2019-01-18 2019-08-09 贵州黔驴科技有限公司 一种通过vr设备获取数据进行用户行为分析的方法
CN110059673A (zh) * 2019-05-05 2019-07-26 重庆中科云从科技有限公司 一种人脸识别终端自动化测试系统和方法

Also Published As

Publication number Publication date
CN106644090B (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN109758355B (zh) 一种基于人体穴位二维图像处理和三维立体定位方法
Zhang et al. Ergonomic posture recognition using 3D view-invariant features from single ordinary camera
CN102657532B (zh) 基于人体姿态识别的身高测量方法及装置
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN106644090A (zh) 一种基于kinect的求职仪态测试方法及其系统
CN105608467A (zh) 基于Kinect的无接触式学生体质测评方法
CN107767335A (zh) 一种基于人脸识别特征点定位的图像融合方法及系统
CN104598867A (zh) 一种人体动作自动评估方法及舞蹈评分系统
CN105740779A (zh) 人脸活体检测的方法和装置
CN105930795A (zh) 一种基于人体骨骼关节点间空间向量的行走状态识别方法
TW200414074A (en) Individual recognizing apparatus and individual recognizing method
CN111178280A (zh) 一种人体坐姿识别方法、装置、设备及存储介质
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
CN107016697A (zh) 一种高度测量方法及装置
CN111507306A (zh) 一种基于ai人脸距离检测的温度误差补偿方法
CN112364694A (zh) 一种基于关键点检测的人体坐姿识别方法
CN105046281A (zh) 一种基于Kinect的人体行为检测方法
CN101539989A (zh) 基于人脸检测的错误阅读姿势检测方法
CN110179192A (zh) 一种人体三维模型的测量系统及其测量方法
Bei et al. Sitting posture detection using adaptively fused 3D features
CN107463873A (zh) 一种基于rgbd深度传感器的实时手势分析与评价方法与系统
TWI591514B (zh) 手勢創建系統及方法
CN104887237B (zh) 一种基于人体运动模式监测的行人导航方法
DE112022000165T5 (de) Verfahren und System zum Erfassen der Sitzhaltung eines Kindes basierend auf der Gesichtserkennung eines Kindes
CN108836363A (zh) 一种应用眼动测控技术判断心理健康测评是否可靠的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant