CN105760832A - 基于Kinect传感器的逃犯识别方法 - Google Patents

基于Kinect传感器的逃犯识别方法 Download PDF

Info

Publication number
CN105760832A
CN105760832A CN201610084471.4A CN201610084471A CN105760832A CN 105760832 A CN105760832 A CN 105760832A CN 201610084471 A CN201610084471 A CN 201610084471A CN 105760832 A CN105760832 A CN 105760832A
Authority
CN
China
Prior art keywords
face
information
skeleton
recognition
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610084471.4A
Other languages
English (en)
Inventor
李景松
王晓超
苏杭
赵驰
易亚军
陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201610084471.4A priority Critical patent/CN105760832A/zh
Publication of CN105760832A publication Critical patent/CN105760832A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Kinect传感器的逃犯识别方法,通过Kinect传感器采集在押人员人体骨骼信息和人脸特征信息,建立在押人员特征信息数据库;当检测到监控范围内有人体存在时,自动进行骨骼跟踪,通过提取人体关节点信息分别计算被检测者人体骨骼信息,并以此为依据与在押人员特征信息数据库中人体骨骼信息进行匹配,若匹配成功,则进行人脸识别;若人脸识别结果为相匹配时,发出提示告警。本发明不同于以往的逃犯识别系统,采用Kinect传感器采集人体三维数据,综合骨架信息和三维人脸特征进行逃犯识别,提高了传统基于二维图像的逃犯识别系统的精度和适用性。

Description

基于Kinect传感器的逃犯识别方法
技术领域
本发明涉及计算机视觉和模式识别领域,特别涉及基于Kinect的人脸识别和骨骼识别的逃犯识别方法。
背景技术
随着经济的发展,国家安全已经越来越成为社会健康可持续发展的有力保障。如今仍有些违法犯罪分子出逃在外,尤其是多次犯罪分子的存在,严重威胁着人民生命和财产安全。因此对这些在逃犯实施有效的监控和识别显得尤为重要。
2009年6月1日,在E3游戏展上第一次公开发布的Kinect,它当时的名字叫ProjectNatal。Kinect集成了很多先进的视觉技术并且Kinect收到了学术界和游戏界的一致好评。Kinect传感器综合了声、光、电和机械学等多方面的先进技术。它集成了深度摄像头和彩色摄像头,不仅能采集场景的彩色信息,还能获取场景深度信息,这种基于三维信息的方法较传统的基于二维图像的识别方法明显提高了识别的准确率。国内外学者开展了基于Kinect的在三维场景重构、室内机器人和目标识别方面的研究工作。
2015年6月份,名为“面向未来”的人脸识别系统在广州地铁处进行试点运行,拥有着便捷的采集终端,高比对准确率以及丰富的接口。然而采用一般的摄像头进行人脸数据的采集受到了光照、遮挡、姿态、表情等变化的影响,尤其是在地铁站这种人流量很大的地方,人脸的部分遮挡成了必然存在的问题。而且单一模式的人脸识别在识别准确率上也是明显低于融合了包括人脸识别在内的多种模式识别方法。
发明内容
本发明的发明目的在于,提供一种可提高传统基于二维图像的逃犯识别系统的精度和适用性的基于Kinect传感器的逃犯识别方法。
本发明为达上述目的所采用的技术方案是:
提供一种基于Kinect传感器的逃犯识别方法,包括以下步骤:
通过Kinect传感器采集在押人员人体骨骼信息和人脸特征信息,建立在押人员特征信息数据库;
当检测到监控范围内有人体存在时,自动进行骨骼跟踪,通过提取人体关节点信息分别计算被检测者的身高、手臂长度、腿部长度、双肩宽度以及走路频率,并以此为依据与在押人员特征信息数据库中人体骨骼信息进行匹配,若匹配成功,则进行人脸识别;
调用人脸跟踪器进行人脸检测和跟踪,提取三维人脸特征点和特征向量;并与在押人员特征信息数据库进行匹配,当最终的识别结果为相匹配时,发出提示告警。
本发明所述的方法中,人体骨骼信息包括身高、臂长、腿长、双肩宽度和走路频率信息,人脸特征信息包括距离特征向量D、角度特征向量A和表面积特征向量S。
本发明所述的方法中,利用Kinect传感器采集在押人员的骨骼信息和人脸特征信息时,每组数据采集三到五次,计算平均值作为数据库的标准数据。
本发明所述的方法中,在进行人体骨骼信息匹配时,当身高、手臂长度和腿部长度的误差小于1cm,且走路频率误差小于3步/分钟时,识别为逃犯,再进行下一步的人脸识别。
本发明所述的方法中,在进行人脸识别时,根据最近邻分类器原理,找出与数据库中最相似的人脸信息,当相似度高于90%时,判定跟踪的人为逃犯,误差E的计算方法为
E = ( 0.4 × D - D 0 D + 0.3 × A - A 0 A + 0.3 × S - S 0 S ) × 100 %
其中D0为标准数据库中的距离特征向量,A0为标准数据库中的角度特征向量,S0为标准数据库中的表面积特征向量。
本发明所述的方法中,在进行人脸识别时,选取预设的多个特征点,包括:头上顶点P0、眼眉中心P3、鼻尖P5、下巴下顶点P10、左眼外角点P20、左眼内角点P23、右眼外角点P53、右眼内角点P56、嘴唇左角点P88,嘴唇右角点P89、鼻子左边缘点P25和鼻子右边缘点P58,通过这些特征点构造用于识别的特征向量,包括距离特征向量D、角度特征向量A和表面积特征向量S;其中距离特征向量D包括眼睛宽度d1、嘴巴宽度d2、左右眼外眼角间距d3、左右眼内眼角间距d4、鼻尖和眼眉中心距离d5、鼻子宽度d6、人脸长度d7和鼻尖与嘴中心的距离d8;角度特征向量A包括∠P20P0P53、∠P23P0P56、∠P20P5P53、∠P23P5P56、∠P88P5P89、∠P25P5P58、∠P88P3P89和∠P23P10P56;表面积特征向量S包括ΔP20P0P53、ΔP23P0P56、ΔP20P5P53、ΔP23P5P56、ΔP88P5P89、ΔP25P5P58、ΔP88P3P89和ΔP23P10P56
本发明还提供了一种基于Kinect传感器的逃犯识别系统,包括:
在押人员特征信息数据库模块,用于通过Kinect传感器采集在押人员人体骨骼信息和人脸特征信息,建立在押人员特征信息数据库;
人体骨骼信息匹配模块,用于当检测到监控范围内有人体存在时,自动进行骨骼跟踪,通过提取人体关节点信息分别计算被检测者的身高、手臂长度、腿部长度、双肩宽度以及走路频率,并以此为依据与在押人员特征信息数据库中人体骨骼信息进行匹配,若匹配成功,则进行人脸识别;
人脸识别模块,用于调用人脸跟踪器进行人脸检测和跟踪,提取三维人脸特征点和特征向量;并与在押人员特征信息数据库进行匹配,当最终的识别结果为相匹配时,发出提示告警。
本发明所述的系统中,人体骨骼信息包括身高、臂长、腿长、双肩宽度和走路频率信息,人脸特征信息包括距离特征向量D、角度特征向量A和表面积特征向量S。
本发明所述的系统中,利用Kinect传感器采集在押人员的骨骼信息和人脸特征信息时,每组数据采集三到五次,计算平均值作为数据库的标准数据。
本发明所述的系统中,所述人体骨骼信息匹配模块在进行人体骨骼信息匹配时,当身高、手臂长度和腿部长度的误差小于1cm,且走路频率误差小于3步/分钟时,识别为逃犯。
本发明产生的有益效果是:(1)传统的逃犯识别系统对采集设备要求较高,需要人工进行复杂操作,不适合大人流场合下的全面推广,本发明结合Kinect设备,通过建立在押人员特征信息数据库,在根据监测的图像提取人体关节点信息计算被检测者人体骨骼信息,并以此为依据与在押人员特征信息数据库中人体骨骼信息进行匹配,若匹配成功,则进行人脸识别;若人脸识别结果为相匹配时,发出提示告警。本发明拓展了Kinect的应用,降低了逃犯识别系统的复杂度,更适用于对各个角落的全面覆盖。
(2)以往基于图像的二维人脸识别技术在应用中受到了光照、姿态、表情等因素变化的限制,实用性不太理想。本发明利用Kinect设备,在人脸识别部分采用的是三维人脸识别技术,三维数据具有深度信息,由于三维数据的特性,在应对不同的姿势变化和光线强弱变化的影响方面,三维人脸数据具有较强的抗干扰性。
(3)由于Kinect价格低廉,功能强大,拥有很好的推广前景,本发明对于利用Kinect设备进行逃犯识别方法和系统设计都有促进作用。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为基于Kinect传感器的逃犯识别方法流程图;
图2为利用Kinect监控的彩色图像;
图3为利用Kinect采集的深度数据形成的深度图;
图4为利用Kinect骨骼跟踪引擎提取的人体骨架图;
图5为计算身高信息的流程图;
图6为三维人脸识别流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明的开发环境为VisualStudio2013,利用KinectforWindowsSDK1.8开发工具进行系统设计和开发。
图1为本发明设计的基于Kinect传感器的逃犯识别方法的流程图。
具体包括步骤:
S101、开启Kinect;
S102、通过Kinect进行监控;Kinect传感器可安装在需要监控的区域,捕获到的彩色图像和深度图像,如图2和图3所示。
S103、检测是否有人体存在;
S104、若检测到人体存在,则计算人体的骨骼特征信息;人体骨骼特征信息数据包括身高、臂长、腿长、双肩宽度和走路频率信息等。
S105、将计算的骨骼特征信息与数据库中的相应信息进行比较。可预先通过Kinect传感器采集在押人员人体骨骼信息和人脸特征信息,建立在押人员特征信息数据库。
S106、判断比较的误差结果是否小于预先设置的阈值;
S107、若误差小于预先设置的阈值,则继续检测是否存在人脸;
S108、若存在人脸,则计算人脸特征向量;
S109、将计算的人脸特征向量与数据库中的相应信息进行比较;
S110、判断计算的人脸特征向量与数据库中相应信息的比较的误差是否小于阈值;
S111、计算的人脸特征向量与数据库中相应信息的比较的误差小于阈值,则识别为逃犯,并给出提示。
步骤S105中,利用Kinect传感器,建立在押人员人体骨骼信息和人脸特征数据库。利用Kinect采集在押人员的骨骼信息和三维人脸信息,需要采集的信息包括人体骨骼信息和三维人脸特征信息。人体骨骼信息数据包括身高、臂长、腿长、双肩宽度和走路频率信息,三维人脸信息数据库包括距离特征向量D、角度特征向量A和表面积特征向量S。其中距离特征向量D包括眼睛宽度d1、嘴巴宽度d2、左右眼外眼角间距d3、左右眼内眼角间距d4、鼻尖和眼眉中心距离d5、鼻子宽度d6、人脸长度(头上顶点到下巴下顶点距离)d7和鼻尖与嘴中心的距离d8。角度特征向量A包括∠P20P0P53、∠P23P0P56、∠P20P5P53、∠P23P5P56、∠P88P5P89、∠P25P5P58、∠P88P3P89和∠P23P10P56。表面积特征向量S包括ΔP20P0P53、ΔP23P0P56、ΔP20P5P53、ΔP23P5P56、ΔP88P5P89、ΔP25P5P58、ΔP88P3P89和ΔP23P10P56。角度特征向量和表面积特征向量中的Pi的含义是利用Kinect选取的人脸特征点,包括头上顶点P0、眼眉中心P3、鼻尖P5、下巴下顶点P10、左眼外角点P20、左眼内角点P23、右眼外角点P53、右眼内角点P56、嘴唇左角点P88,嘴唇右角点P89、鼻子左边缘点P25、鼻子右边缘点P58。利用Kinect采集在押人员的骨骼信息和三维人脸信息,每组数据采集三到五次,计算平均值作为逃犯信息库的标准数据。
至此,在押人员数据库信息建立完成。
本发明的一个实施例中,把Kinect传感器放置在适合监控的位置,然后通过USB接口连接到装有开发环境和开发工具的PC上,接通Kinect独立电源。
通过PC控制并开启Kinect传感器的彩色摄像头、红外发射器和红外接收器,实施监控。其中彩色摄像头获取彩色图像,一旦确认有传回的图像,程序代码立即产生一个和传回图像大小相同的byte[]数组,并将内容复制到数组中,默认使用RGB640*480,30FPS格式。而红外发射器和红外接收器用来捕获场景的深度信息,深度信息是指Kinect传回的数据存储在一个short[]数组中,每一个深度图像数组元素中有13位用来表示该点与传感器的相对距离。深度图像格式为640*480,30FPS。最后把各个格式的数据传送到应用程序的Image控件的Source属性,用来显示彩色图像和深度图像。Kinect捕获到的彩色图像和深度图像分别如图2、图3所示。
当有人出现在Kinect视野范围内时,Kinect通过红外发射器和红外接收器形成一个深度场,生成深度图像,并且利用接受到的骨架数据流生成人体骨架图像,生成的人体骨架图像如图4所示。
根据得到的人体骨架图像计算身高信息的流程如图5所示,包括步骤:
S501、开启Kinect;
S502、通过Kinect进行监控;
S503、判断是否检测到人体存在;
S504、利用KinectSDK中骨骼追踪引擎跟踪;
S505、提取和存储被测人体的多个关节点以及坐标信息。
S506、计算关节点FootLeft和Head的距离;
S507、将头部坐标加上偏差值OffsetDis;
S508、根据距离公式以及偏差值计算身高信息;
本发明实施例中选择人体的20个关节点。本发明选取的特征关节点有Head,HandRight,HandLeft,ShoulderRight,ShoulderLeft,HipRight,HipLeft,FootRight,FootLeft,存储和纪录这些特征点的三维坐标信息,分别设这些点的坐标为P1(X1,Y1,Z1),P2(X2,Y2,Z2),…P9(X9,Y9,Z9),然后通过空间内两点间的距离公式
D i s = ( X 1 - X 2 ) 2 + ( Y 1 - Y 2 ) 2 + ( Z 1 - Z 2 ) 2
可以计算出被测量人的身高
H e i g h t = ( X 1 - X 9 ) 2 + ( Y 1 - Y 9 ) 2 + ( Z 1 - Z 9 ) 2
由于通过骨骼跟踪获取的头部坐标并不是头顶的坐标位置,因此需要加上预定义的偏差值OffsetDis,这里的偏差值一般取9cm~11cm。
手臂长度ArmLength、腿部长度LegLength、双肩宽度ShoulderWidth的计算方法大体一致,计算公式如下:
A r m L e n g t h = ( X 2 - X 4 ) 2 + ( Y 2 - Y 4 ) 2 + ( Z 2 - Z 4 ) 2
L e g L e n g t h = ( X 6 - X 8 ) 2 + ( Y 6 - Y 8 ) 2 + ( Z 6 - Z 8 ) 2
S h o u l d e r W i d t h = ( X 5 - X 4 ) 2 + ( Y 5 - Y 4 ) 2 + ( Z 5 - Z 4 ) 2
走路频率的测量方法为,利用骨骼跟踪引擎对关节点左脚和右脚进行跟踪,提取左脚和右脚的三维坐标信息,当左脚或右脚到达最低点时,也就是Y值达到最小时,即脚落地时,进行一次计数,一段时间内(如30S)左脚和右脚落地次数分别人M和N,那么此人在30S内一共走了M+N步,由此可得走路频率为2(M+N)步/分钟。
然后通过和在押人员数据库的相应信息进行比对,当身高、手臂长度和腿部长度的误差小于1cm,且走路频率误差小于3步/分钟时,识别为逃犯,进行下一步的识别工作,即人脸识别部分。
如图6所示,为人脸识别部分的流程图。具体包括以下步骤:
S601、开启Kinect;
S602、通过Kinect进行监控;
S603、判断是否检测到人脸;
S604、若检测到人脸,则调用KinectSDK中人脸跟踪引擎对Kinect视野范围内出现的人脸进行检测并跟踪;
S605、提取和存储三维人脸坐标信息;
S606、根据提取的三维人脸坐标信息计算人脸三维几何特征;
S607、将计算的人脸三维几何特征与数据库中的相应人脸信息进行比较;
S608、判断比较的误差是否小于阈值;
S609、若误差小于阈值,则判断为逃犯,可进行报警并标记逃犯。
在三维人脸识别部分,调用KinectSDK中人脸跟踪引擎,对Kinect视野范围内出现的人脸进行检测并跟踪。该引擎的作用是当检测到人脸时,自动跟踪,并且存储预先定义的121个人脸特征点。本发明在此基础上选取的特征点包括:头上顶点P0、眼眉中心P3、鼻尖P5、下巴下顶点P10、左眼外角点P20、左眼内角点P23、右眼外角点P53、右眼内角点P56、嘴唇左角点P88,嘴唇右角点P89、鼻子左边缘点P25、鼻子右边缘点P58。由这12个特征点可以构造用于识别的特征向量,包括距离特征向量D、角度特征向量A和表面积特征向量S。其中距离特征向量D包括眼睛宽度d1、嘴巴宽度d2、左右眼外眼角间距d3、左右眼内眼角间距d4、鼻尖和眼眉中心距离d5、鼻子宽度d6、人脸长度(头上顶点到下巴下顶点距离)d7和鼻尖与嘴中心的距离d8。角度特征向量A包括∠P20P0P53、∠P23P0P56、∠P20P5P53、∠P23P5P56、∠P88P5P89、∠P25P5P58、∠P88P3P89和∠P23P10P56。表面积特征向量S包括ΔP20P0P53、ΔP23P0P56、ΔP20P5P53、ΔP23P5P56、ΔP88P5P89、ΔP25P5P58、ΔP88P3P89和ΔP23P10P56
距离特征的计算方法为:
D i s = ( X 1 - X 2 ) 2 + ( Y 1 - Y 2 ) 2 + ( Z 1 - Z 2 ) 2
其中X1,Y1,Z1,X2,Y2,Z2分别人空间中两点的坐标P1(X1,Y1,Z1),P2(X2,Y2,Z2)。则距离特征向量D={d1,d2,d3,d4,d5,d6,d7,d8}。
角度特征的计算方法为:
∠P2P1P3=COS-1((P1P2 2+P1P3 2-P2P3 2)/(2*P1P2*P1P3)*180/PI)
其中P1P2、P1P3、P2P3分别为P1P2的距离P1P3的距离、P2P3的距离。PI=3.14。则角度特征向量A={∠P20P0P53,∠P23P0P56,∠P20P5P53,∠P23P5P56,∠P88P5P89,∠P25P5P58,∠P88P3P89,∠P23P10P56}。
表面积特征的计算方法为:
S Δ = s ( s - a ) ( s - b ) ( s - c ) ,
s = a + b + c 2
a = ( X 1 - X 2 ) 2 + ( Y 1 - Y 2 ) 2 + ( Z 1 - Z 2 ) 2
b = ( X 1 - X 3 ) 2 + ( Y 1 - Y 3 ) 2 + ( Z 1 - Z 3 ) 2
c = ( X 2 - X 3 ) 2 + ( Y 2 - Y 3 ) 2 + ( Z 2 - Z 3 ) 2
其中,a,b,c分别表示三角形三边的长度。则表面积特征向量为S={ΔP20P0P53,ΔP23P0P56,ΔP20P5P53,ΔP23P5P56,ΔP88P5P89,ΔP25P5P58,ΔP88P3P89,ΔP23P10P56}。
不同类型人脸特征向量在人脸识别中的作用不同,单一类型的特征向量包含的信息有限,具有局部性和局限性,因此融合不同类型的人脸特征向量信息能更准确的反应原始数据,因此本发明采取多种人脸特征信息的融合识别算法,即对距离特征向量、角度特征向量和表面积特征向量进行加权融合。本发明采取的加权系数分别为距离特征为0.4,角度特征为0.3,表面积特征为0.3。在分类决策步骤,根据最近邻分类器原理,找出数据库中最相似的人脸信息,当相似度高于90%时,即误差E小于10%时,判定Kinect跟踪的人为逃犯。误差的计算方法为
E = ( 0.4 × D - D 0 D + 0.3 × A - A 0 A + 0.3 × S - S 0 S ) × 100 %
其中D0为标准数据库中的距离特征向量,A0为角度特征向量,S0为表面积特征向量。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于Kinect传感器的逃犯识别方法,其特征在于,包括以下步骤:
通过Kinect传感器采集在押人员人体骨骼信息和人脸特征信息,建立在押人员特征信息数据库;
当检测到监控范围内有人体存在时,自动进行骨骼跟踪,通过提取人体关节点信息分别计算被检测者的身高、手臂长度、腿部长度、双肩宽度以及走路频率,并以此为依据与在押人员特征信息数据库中人体骨骼信息进行匹配,若匹配成功,则进行人脸识别;
调用人脸跟踪器进行人脸检测和跟踪,提取三维人脸特征点和特征向量;并与在押人员特征信息数据库进行匹配,当最终的识别结果为相匹配时,发出提示告警。
2.根据权利要求1所述的方法,其特征在于,人体骨骼信息包括身高、臂长、腿长、双肩宽度和走路频率信息,人脸特征信息包括距离特征向量D、角度特征向量A和表面积特征向量S。
3.根据权利要求1所述的方法,其特征在于,利用Kinect传感器采集在押人员的骨骼信息和人脸特征信息时,每组数据采集三到五次,计算平均值作为数据库的标准数据。
4.根据权利要求1所述的方法,其特征在于,在进行人体骨骼信息匹配时,当身高、手臂长度和腿部长度的误差小于1cm,且走路频率误差小于3步/分钟时,识别为逃犯,再进行下一步的人脸识别。
5.根据权利要求2所述的方法,其特征在于,在进行人脸识别时,根据最近邻分类器原理,找出与数据库中最相似的人脸信息,当相似度高于90%时,判定跟踪的人为逃犯,误差E的计算方法为
E = ( 0.4 × D - D 0 D + 0.3 × A - A 0 A + 0.3 × S - S 0 S ) × 100 %
其中D0为标准数据库中的距离特征向量,A0为标准数据库中的角度特征向量,S0为标准数据库中的表面积特征向量。
6.根据权利要求2所述的方法,其特征在于,在进行人脸识别时,选取预设的多个特征点,包括:头上顶点P0、眼眉中心P3、鼻尖P5、下巴下顶点P10、左眼外角点P20、左眼内角点P23、右眼外角点P53、右眼内角点P56、嘴唇左角点P88,嘴唇右角点P89、鼻子左边缘点P25和鼻子右边缘点P58,通过这些特征点构造用于识别的特征向量,包括距离特征向量D、角度特征向量A和表面积特征向量S;其中距离特征向量D包括眼睛宽度d1、嘴巴宽度d2、左右眼外眼角间距d3、左右眼内眼角间距d4、鼻尖和眼眉中心距离d5、鼻子宽度d6、人脸长度d7和鼻尖与嘴中心的距离d8;角度特征向量A包括∠P20P0P53、∠P23P0P56、∠P20P5P53、∠P23P5P56、∠P88P5P89、∠P25P5P58、∠P88P3P89和∠P23P10P56;表面积特征向量S包括ΔP20P0P53、ΔP23P0P56、ΔP20P5P53、ΔP23P5P56、ΔP88P5P89、ΔP25P5P58、ΔP88P3P89和ΔP23P10P56
7.一种基于Kinect传感器的逃犯识别系统,其特征在于,包括:
在押人员特征信息数据库模块,用于通过Kinect传感器采集在押人员人体骨骼信息和人脸特征信息,建立在押人员特征信息数据库;
人体骨骼信息匹配模块,用于当检测到监控范围内有人体存在时,自动进行骨骼跟踪,通过提取人体关节点信息分别计算被检测者的身高、手臂长度、腿部长度、双肩宽度以及走路频率,并以此为依据与在押人员特征信息数据库中人体骨骼信息进行匹配,若匹配成功,则进行人脸识别;
人脸识别模块,用于调用人脸跟踪器进行人脸检测和跟踪,提取三维人脸特征点和特征向量;并与在押人员特征信息数据库进行匹配,当最终的识别结果为相匹配时,发出提示告警。
8.根据权利要求7所述的系统,其特征在于,人体骨骼信息包括身高、臂长、腿长、双肩宽度和走路频率信息,人脸特征信息包括距离特征向量D、角度特征向量A和表面积特征向量S。
9.根据权利要求7所述的系统,其特征在于,利用Kinect传感器采集在押人员的骨骼信息和人脸特征信息时,每组数据采集三到五次,计算平均值作为数据库的标准数据。
10.根据权利要求7所述的系统,其特征在于,所述人体骨骼信息匹配模块在进行人体骨骼信息匹配时,当身高、手臂长度和腿部长度的误差小于1cm,且走路频率误差小于3步/分钟时,识别为逃犯。
CN201610084471.4A 2016-02-14 2016-02-14 基于Kinect传感器的逃犯识别方法 Pending CN105760832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610084471.4A CN105760832A (zh) 2016-02-14 2016-02-14 基于Kinect传感器的逃犯识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610084471.4A CN105760832A (zh) 2016-02-14 2016-02-14 基于Kinect传感器的逃犯识别方法

Publications (1)

Publication Number Publication Date
CN105760832A true CN105760832A (zh) 2016-07-13

Family

ID=56330007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610084471.4A Pending CN105760832A (zh) 2016-02-14 2016-02-14 基于Kinect传感器的逃犯识别方法

Country Status (1)

Country Link
CN (1) CN105760832A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534682A (zh) * 2016-11-10 2017-03-22 上海大学 便携式监测报警装置
CN106845405A (zh) * 2017-01-20 2017-06-13 武汉仟品网络科技有限公司 一种通过生物影像识别身份的方法、装置及电子设备
CN108229314A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 目标人物的搜索方法、装置和电子设备
CN108334863A (zh) * 2018-03-09 2018-07-27 百度在线网络技术(北京)有限公司 身份认证方法、系统、终端和计算机可读存储介质
CN108345868A (zh) * 2018-03-09 2018-07-31 广东万峯信息科技有限公司 基于人脸识别技术的公共交通工具追逃系统及其控制方法
CN109272347A (zh) * 2018-08-16 2019-01-25 苏宁易购集团股份有限公司 一种门店客流量的统计分析方法及系统
US20190114472A1 (en) * 2017-10-18 2019-04-18 Global Tel*Link Corporation High definition camera and image recognition system for criminal identification
CN109766755A (zh) * 2018-12-06 2019-05-17 深圳市天彦通信股份有限公司 人脸识别方法及相关产品
CN109948560A (zh) * 2019-03-25 2019-06-28 南开大学 融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统
WO2019144296A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置和可移动平台
CN110191317A (zh) * 2019-05-21 2019-08-30 重庆工程学院 一种基于图像识别的电子监控系统
CN111524309A (zh) * 2020-05-09 2020-08-11 南宁市第三中学 一种基于骨骼追踪的atm防暴报警方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
CN104992169A (zh) * 2015-07-31 2015-10-21 小米科技有限责任公司 人物的识别方法及装置
CN105551182A (zh) * 2015-11-26 2016-05-04 吉林大学 基于Kinect人体姿势识别的驾驶状态监测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
CN104992169A (zh) * 2015-07-31 2015-10-21 小米科技有限责任公司 人物的识别方法及装置
CN105551182A (zh) * 2015-11-26 2016-05-04 吉林大学 基于Kinect人体姿势识别的驾驶状态监测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李彬彬: "基于整体特征和局部特征的人脸识别方法的研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
李恒: "基于Kinect骨骼跟踪功能的骨骼识别系统研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
樊景超: "基于Kinect的果园定点防盗系统研究", 《安徽农业科学》 *
陆奎等: "Kinect 在家庭智能监控系统中的应用", 《微型机与应用》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534682A (zh) * 2016-11-10 2017-03-22 上海大学 便携式监测报警装置
CN106845405A (zh) * 2017-01-20 2017-06-13 武汉仟品网络科技有限公司 一种通过生物影像识别身份的方法、装置及电子设备
US20190114472A1 (en) * 2017-10-18 2019-04-18 Global Tel*Link Corporation High definition camera and image recognition system for criminal identification
US20200143155A1 (en) * 2017-10-18 2020-05-07 Global Tel*Link Corporation High Definition Camera and Image Recognition System for Criminal Identification
US10521651B2 (en) * 2017-10-18 2019-12-31 Global Tel*Link Corporation High definition camera and image recognition system for criminal identification
US11625936B2 (en) 2017-10-18 2023-04-11 Global Tel*Link Corporation High definition camera and image recognition system for criminal identification
CN110431560A (zh) * 2017-11-28 2019-11-08 深圳市商汤科技有限公司 目标人物的搜索方法和装置、设备、程序产品和介质
CN110431560B (zh) * 2017-11-28 2023-12-19 深圳市商汤科技有限公司 目标人物的搜索方法和装置、设备和介质
WO2019105163A1 (zh) * 2017-11-28 2019-06-06 深圳市商汤科技有限公司 目标人物的搜索方法和装置、设备、程序产品和介质
US10891465B2 (en) 2017-11-28 2021-01-12 Shenzhen Sensetime Technology Co., Ltd. Methods and apparatuses for searching for target person, devices, and media
CN108229314A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 目标人物的搜索方法、装置和电子设备
WO2019144296A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置和可移动平台
CN108345868A (zh) * 2018-03-09 2018-07-31 广东万峯信息科技有限公司 基于人脸识别技术的公共交通工具追逃系统及其控制方法
CN108334863B (zh) * 2018-03-09 2020-09-04 百度在线网络技术(北京)有限公司 身份认证方法、系统、终端和计算机可读存储介质
CN108334863A (zh) * 2018-03-09 2018-07-27 百度在线网络技术(北京)有限公司 身份认证方法、系统、终端和计算机可读存储介质
US10769423B2 (en) 2018-03-09 2020-09-08 Baidu Online Network Technology (Beijing) Co., Ltd. Method, system and terminal for identity authentication, and computer readable storage medium
CN109272347A (zh) * 2018-08-16 2019-01-25 苏宁易购集团股份有限公司 一种门店客流量的统计分析方法及系统
CN109766755B (zh) * 2018-12-06 2020-11-27 深圳市天彦通信股份有限公司 人脸识别方法及相关产品
CN109766755A (zh) * 2018-12-06 2019-05-17 深圳市天彦通信股份有限公司 人脸识别方法及相关产品
CN109948560B (zh) * 2019-03-25 2023-04-07 南开大学 融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统
CN109948560A (zh) * 2019-03-25 2019-06-28 南开大学 融合骨骼识别和IFace-TLD的移动机器人目标跟踪系统
CN110191317A (zh) * 2019-05-21 2019-08-30 重庆工程学院 一种基于图像识别的电子监控系统
CN111524309A (zh) * 2020-05-09 2020-08-11 南宁市第三中学 一种基于骨骼追踪的atm防暴报警方法

Similar Documents

Publication Publication Date Title
CN105760832A (zh) 基于Kinect传感器的逃犯识别方法
Parameswaran et al. View invariance for human action recognition
Lotfi et al. Supporting independent living for older adults; employing a visual based fall detection through analysing the motion and shape of the human body
Wang et al. Video analysis of human dynamics—a survey
Cedras et al. Motion-based recognition a survey
US10984146B2 (en) Tracking safety conditions of an area
CN103718175A (zh) 检测对象姿势的设备、方法和介质
Roche et al. A multimodal data processing system for LiDAR-based human activity recognition
CN103501389A (zh) 一种关闭闹钟的方法及终端
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
Ning et al. People tracking based on motion model and motion constraints with automatic initialization
CN110532948B (zh) 一种基于视频的高精度行人轨迹提取方法
CN113920326A (zh) 基于人体骨骼关键点检测的摔倒行为识别方法
Richarz et al. Visual recognition of 3D emblematic gestures in an HMM framework
Yamauchi et al. Recognition of walking humans in 3D: Initial results
CN104751513A (zh) 一种建立人体骨骼模型的方法及装置
Canton-Ferrer et al. Marker-based human motion capture in multiview sequences
Haker et al. Self-organizing maps for pose estimation with a time-of-flight camera
Saroja et al. Human pose estimation approaches for human activity recognition
Fan et al. Pose estimation of human body based on silhouette images
Frigola et al. Visual human machine interface by gestures
Yu et al. Automatic human body tracking and modeling from monocular video sequences
Yu et al. Connectivity Based Human Body Modeling from Monocular Camera.
CN112990060B (zh) 一种关节点分类和关节点推理的人体姿态估计分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160713

RJ01 Rejection of invention patent application after publication