CN107122718B - 一种新型基于Kinect的目标行人轨迹跟踪方法 - Google Patents

一种新型基于Kinect的目标行人轨迹跟踪方法 Download PDF

Info

Publication number
CN107122718B
CN107122718B CN201710215898.8A CN201710215898A CN107122718B CN 107122718 B CN107122718 B CN 107122718B CN 201710215898 A CN201710215898 A CN 201710215898A CN 107122718 B CN107122718 B CN 107122718B
Authority
CN
China
Prior art keywords
gait
target
tracking
data
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710215898.8A
Other languages
English (en)
Other versions
CN107122718A (zh
Inventor
邓正宏
黄一杰
马春苗
杨川
张琦玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710215898.8A priority Critical patent/CN107122718B/zh
Publication of CN107122718A publication Critical patent/CN107122718A/zh
Application granted granted Critical
Publication of CN107122718B publication Critical patent/CN107122718B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的是开发一种步态识别分类系统，旨在帮助安保部门从大量的监控视频当中识别出已经出现过的可疑人员，对目标行人进行轨迹跟踪，进而确定该人员的行动范围，为安保部门侦破案件提供线索。按照以下方式实现:建立步态数据库,开启SDK的骨骼跟踪功能，编写获取步态特征的WPF程序，获得步态特征的特征向量数据，输出这些数据到txt文本文档中，并且输出同一时间经过骨骼跟踪标定的彩色图像，以及同一时间的彩色视频流；开发步态识别分类系统,通过C++来开发分类识别系统，利用改进的最近临分类算法实现系统分类；对目标行人进行轨迹跟踪,根据识别出的同一时间的目标步态数据找到同一时间目标行人所在的视频段来实现。

Description

一种新型基于Kinect的目标行人轨迹跟踪方法
技术领域
本发明涉及人体识别智能监控系统设计，具体说来先建立人体步态数据库，再开发分类识别系统，进而查询到目标行人对其进行轨迹跟踪。
背景技术
通过对目标行人进行轨迹跟踪不但可以帮助安保部门从大量的监控视频当中识别出已经出现过的可疑人员，而且可以确定该人员的行动范围，为安保部门侦破案件提供线索。
然而现如今对于目标行人的轨迹跟踪大多是采用传统的直接对于视频的跟踪处理算法，大大增加了视频处理的复杂度，在实际应用当中往往不能及时地对目标行人进行轨迹跟踪。
发明内容
本发明的目的是开发一种步态识别分类系统，旨在帮助安保部门从大量的监控视频当中识别出已经出现过的可疑人员，对目标行人进行实时地轨迹跟踪，进而确定该人员的行动范围，为安保部门侦破案件提供线索。
本发明的目的是按以下方式实现的，首先建立步态数据库；然后开发步态识别分类系统；最后对目标行人进行轨迹跟踪。具体算法如下：
首先，建立步态数据库：开启SDK的骨骼跟踪功能，编写获取步态特征的WPF程序，获得步态特征的特征向量数据，输出这些数据到txt文本文档中，并且输出同一时间经过骨骼跟踪标定的彩色图像，以及同一时间的彩色视频流。
然后，开发步态识别分类系统：通过C++来开发分类识别系统，利用改进的最近临分类算法实现系统分类。
最后，对目标行人进行轨迹跟踪：根据识别出的同一时间的目标步态数据找到同一时间目标行人所在的视频段来实现。
本发明的优异效果如下：使用Kinect进行步态识别可以利用其骨骼跟踪功能实时获得20个骨骼点的三维坐标，获得人体的步态特征向量进而建立步态数据库，避免了传统图像处理的繁琐，降低了特征提取的难度，而且提取的步态特征向量数据非常精确；采用最近邻分类算法的步态识别系统不但具有非常高的识别率，而且计算简单，计算效率比较高；根据识别出的同一时间的目标步态数据找到同一时间目标行人所在的视频段来实现目标行人轨迹跟踪，与传统的直接对于视频的跟踪处理算法相比，大大降低了计算量和实现的复杂度。
附图说明
图1目标行人轨迹跟踪流程图
图2Kinect硬件结构分布图
图3获取步态数据库WPF程序运行界面
图4骨骼节点标定的目标行人的彩色图片
图5目标行人的标记过程
具体实施方式
参照说明书附图对本发明作以下详细地说明。
首先，建立步态数据库：开启SDK的骨骼跟踪功能，并且编写获取步态特征的WPF程序，获得步态特征的特征向量数据，输出这些数据到txt文本文档中，并且输出同一时间经过骨骼跟踪标定的彩色图像，以及同一时间的彩色视频流。
1)编写WPF程序获得步态特征向量数据
步态特征向量包括胳膊的长度、腿的长度、身高、步长、大臂和脊柱之间夹角、小臂和脊柱之间夹角、大臂和小臂之间的夹角、大腿和小腿之间的夹角、上身部位质心分别到左右胳膊质心的距离、上身部位质心分别到左右腿部质心的距离。利用空间向量法计算步态特征向量的具体方法如下：
利用空间向量法来计算关节之间的角度以及关节部位长度的步骤分为三步，第一步是先求得Kinect坐标系中各个关节点的三维坐标点，第二步利用两个相邻骨骼关节点坐标用向量来表示骨骼关节部位，第三步是通过余弦公式来计算两个关节部位之间的夹角，利用向量模值求得关节部位的长度。
利用空间向量法来计算身体某个部位的质心与质心之间的距离的步骤为：第一步是先求得Kinect坐标系中各个关节点的三维坐标点，第二步求得质心在Kinect坐标系中的坐标值，第三步用向量来连接两个质心，利用向量模值求得两个质心之间的距离。
获得步态特征向量数据步骤分为四步：第一步在MainWindows窗体上增加一系列Label控件，命名为相应的数据变量表示名称，例如lspine0、lspine1、lspine2分别表示脊柱部位关节点的x,y,z空间坐标值；第二步注册骨骼跟踪事件，按照上述计算步态特征值的方法获得相应的步态特征向量，第三步在MainWindows窗体上增加一个Button控件按钮；第四步注册Button_Click事件，使用StreamWriter类将通过数据处理部分计算得到的最近的60帧内的步态特征向量值以double类型的形式保存到文本文档中，并且通过Datetime类以计算机的当前时间格式命名文档名，进而将不同时刻采集到的数据保存在不同的文档中，以此来区分不同序列的数据。
2)编写WPF程序获得彩色视频流
第一步在MainWindows窗体上增加一个Image控件，命名为imageCamera；第二步注册彩色视频流事件，一般通过WriteableBitmap方法将将彩色视频流图像读取出来，并且将图片数据与imageCamera控件绑定，同时利用OpenCV计算机视觉库进行视频的录制，同样也通过Datetime类以计算机的当前时间格式命名视频文件，进而将不同时刻采集到的视频流数据保存在不同的AVI文件中，以此来区分不同序列的视频流数据。
3)编写WPF程序获得经过骨骼跟踪标定的彩色图像
获得经过骨骼跟踪标定的彩色图像步骤分为三步：第一步在MainWindows窗体上增加一个画布Canvas控件，命名为canas；第二步注册骨骼跟踪事件，对骨骼跟踪事件进行处理、将骨骼关节点坐标映射到彩色图像坐标中去，将Canvas控件叠加到Image控件中去进而在彩色视频流图像中显示出骨骼跟踪信息，视频中用红色圆点标定Kinect跟踪到的骨骼关节点，总共用20个红色圆点标定的位置来代表20个人体骨骼关节点的位置。第三步在前面获得步态特征向量数据部分注册的Button_Click事件的基础上继续编写触发事件，利用FileStream类将视频流数据以“.png”格式保存到图片中，并且也通过Datetime类以计算机的当前时间格式命名图片名，进而将不同时刻采集到的视频流数据保存在不同的png图片中，以此来区分不同序列的图片数据。
然后，开发步态识别分类系统：通过C++来开发分类识别系统，利用改进的最近临分类算法实现系统分类。
考虑到待分类数据的特点：步态特征向量数据库中总共有N个特征类别，每个类别包含M个样本，每一个样本向量的维数为10，每个特征分量值的大小的取值范围均为(0,2)。现在定义以下改进的最近邻公式用于计算待检测样本与数据库中数据之间的距离。
Figure BDA0001262234700000041
Figure BDA0001262234700000042
其中xi表示待检测样本数据的第i维特征值，μki表示数据库中的第k(k＝1,2,…,N)类数据的M个样本的第i维特征值的平均值。
分类步骤:
第一步，通过公式(2)逐一求出数据库中第k类数据的5个样本的第i维特征值的平均值μki。
第二步，通过公式(1)逐一求出待检测样本数据的第i维特征值xi与μki之间的差的平方，再对其求和开平方，进而逐一得到待检测样本与数据库中数据之间的N个距离L(k)。
第三步，对N个距离L(k)进行排序处理，找出最小的距离值，则将待检测样本数据归类到该最小距离值所属的类别中。
最后，对目标行人进行轨迹跟踪：根据识别出的同一时间的目标步态数据找到同一时间目标行人所在的视频段来实现。
研究表明：虽然Kinect传感器可以精确捕获到人体骨骼流数据的视场范围是有限的，但是足以利用有效的分类数据通过步态识别系统找到目标向量数据。此外通过Kinect可以采集到彩色视频流的范围是很广的。因此可以利用Kinect传感器的这一优势来实现目标行人的轨迹跟踪。
行人面向Kinect走来，当行人未走到骨骼追踪的范围内时，行人不会被标记，但是可以采集到彩色视频图像。
因此目标行人轨迹跟踪的步骤：
第一步，在小范围内通过分类识别系统找出待检测行人的目标步态数据；
第二步，根据该步态数据采集的时刻T找到T时刻的目标彩色图片；
第三步，根据目标彩色图片存储的时刻T找到T时刻的目标彩色视频流；
第四步，在包含有目标行人的整个彩色视频流中查询到大范围内的目标行人，进而确定目标行人的行动范围。
最后说明的是，以上所述仅为本发明的较佳实例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种新型基于Kinect的目标行人轨迹跟踪方法，其特征在于：
首先建立步态数据库，包括：编写WPF程序获得经过骨骼跟踪标定的彩色图像：获得经过骨骼跟踪标定的彩色图像步骤分为三步：第一步在MainWindows窗体上增加一个画布Canvas控件，命名为canas；第二步注册骨骼跟踪事件，对骨骼跟踪事件进行处理、将骨骼关节点坐标映射到彩色图像坐标中去，将Canvas控件叠加到Image控件中去进而在彩色视频流图像中显示出骨骼跟踪信息，视频中用红色圆点标定kinect跟踪到的骨骼关节点，总共用20个红色圆点标定的位置来代表20个人体骨骼关节点的位置；第三步在前面获得步态特征向量数据部分注册的Button_Click事件的基础上继续编写触发事件，利用FileStream类将视频流数据以“.png”格式保存到图片中，并且也通过Datetime类以计算机的当前时间格式命名图片名，进而将不同时刻采集到的视频流数据保存在不同的png图片中，以此来区分不同序列的图片数据；
然后开发步态识别分类系统，包括：通过C++来开发分类识别系统，利用改进的最近临分类算法实现系统分类；
考虑到待分类数据的特点：步态特征向量数据库中总共有N个特征类别，每个类别包含M个样本，每一个样本向量的维数为10，每个特征分量值的大小的取值范围均为(0,2)；现在定义以下改进的最近邻公式用于计算待检测样本与数据库中数据之间的距离：
Figure FDA0002424256240000011
Figure FDA0002424256240000012
最后对目标行人进行轨迹跟踪，包括：根据识别出的同一时间的目标步态数据找到同一时间目标行人所在的视频段来实现；
目标行人轨迹跟踪的步骤：
第一步，在小范围内通过分类识别系统找出待检测行人的目标步态数据；
第二步，根据该步态数据采集的时刻T找到T时刻的目标彩色图片；
第三步，根据目标彩色图片存储的时刻T找到T时刻的目标彩色视频流；
第四步，在包含有目标行人的整个彩色视频流中查询到大范围内的目标行人，进而确定目标行人的行动范围。
CN201710215898.8A 2017-04-05 2017-04-05 一种新型基于Kinect的目标行人轨迹跟踪方法 Expired - Fee Related CN107122718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710215898.8A CN107122718B (zh) 2017-04-05 2017-04-05 一种新型基于Kinect的目标行人轨迹跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710215898.8A CN107122718B (zh) 2017-04-05 2017-04-05 一种新型基于Kinect的目标行人轨迹跟踪方法

Publications (2)

Publication Number Publication Date
CN107122718A CN107122718A (zh) 2017-09-01
CN107122718B true CN107122718B (zh) 2020-05-26

Family

ID=59725564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710215898.8A Expired - Fee Related CN107122718B (zh) 2017-04-05 2017-04-05 一种新型基于Kinect的目标行人轨迹跟踪方法

Country Status (1)

Country Link
CN (1) CN107122718B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298238B (zh) * 2019-05-20 2023-06-30 平安科技（深圳）有限公司 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质
CN111027432B (zh) * 2019-12-02 2022-10-04 大连理工大学 基于步态特征的视觉跟随机器人方法
CN111046848B (zh) * 2019-12-30 2020-12-01 广东省实验动物监测所 一种基于动物跑台的步态监测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004099942A2 (en) * 2003-03-05 2004-11-18 The Arizona Board Of Regents Gait recognition system
CN102222215B (zh) * 2011-05-24 2012-11-28 北京工业大学 基于二级小波包分解和完全主成分分析的步态识别方法
CN103377366A (zh) * 2012-04-26 2013-10-30 哈尔滨工业大学深圳研究生院 一种步态识别方法和系统
CN105224912B (zh) * 2015-08-31 2018-10-16 电子科技大学 基于运动信息和轨迹关联的视频行人检测和跟踪方法
CN106056050B (zh) * 2016-05-23 2020-01-21 武汉盈力科技有限公司 一种基于自适应三维人体运动统计模型的多视角步态识别方法
CN106295544B (zh) * 2016-08-04 2019-05-28 山东师范大学 一种基于Kinect的视角不变性步态识别方法

Also Published As

Publication number Publication date
CN107122718A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
Zhang et al. Jointly modeling motion and appearance cues for robust RGB-T tracking
CN104881637B (zh) 基于传感信息及目标追踪的多模信息系统及其融合方法
US9330307B2 (en) Learning based estimation of hand and finger pose
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
US9898677B1 (en) Object-level grouping and identification for tracking objects in a video
CN109949341B (zh) 一种基于人体骨架结构化特征的行人目标跟踪方法
CN110517292A (zh) 目标跟踪方法、装置、系统和计算机可读存储介质
Nie et al. Single/cross-camera multiple-person tracking by graph matching
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和系统
CN106909890B (zh) 一种基于部位聚类特征的人体行为识别方法
CN107122718B (zh) 一种新型基于Kinect的目标行人轨迹跟踪方法
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN107194950B (zh) 一种基于慢特征分析的多人跟踪方法
Guo et al. Gesture recognition of traffic police based on static and dynamic descriptor fusion
Faisal et al. Depth estimation from video using computer vision and machine learning with hyperparameter optimization
Sun et al. When we first met: Visual-inertial person localization for co-robot rendezvous
Ahmed et al. Joint-triplet motion image and local binary pattern for 3d action recognition using kinect
CN112861808B (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
CN112560620B (zh) 一种基于目标检测和特征融合的目标跟踪方法及系统
JP6384167B2 (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
Polat et al. A nonparametric adaptive tracking algorithm based on multiple feature distributions
CN106023252A (zh) 一种基于oab算法的多摄像机人体跟踪方法
Tian et al. Wearable navigation system for the blind people in dynamic environments
JP2017097549A (ja) 画像処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200526