CN111310587B - 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 - Google Patents
一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 Download PDFInfo
- Publication number
- CN111310587B CN111310587B CN202010063082.XA CN202010063082A CN111310587B CN 111310587 B CN111310587 B CN 111310587B CN 202010063082 A CN202010063082 A CN 202010063082A CN 111310587 B CN111310587 B CN 111310587B
- Authority
- CN
- China
- Prior art keywords
- gait
- frame
- fading
- value
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 99
- 238000000605 extraction Methods 0.000 title claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 5
- 238000005562 fading Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003313 weakening effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于渐弱运动轨迹图的步态特征表示和特征提取方法，以每一帧为主，辅以后续的k‑1帧，共同构造一种特殊的轨迹图，其中第一帧权重最大，后续帧的权重逐步减少，这种权重的渐弱效果体现在目标轨迹图中对应于不同帧的灰度值递减上。该方法无需预先进行精确的步态周期分割，能够提取蕴含于序列图像之间的时序化步态特征，而且不会造成步态样本数量的锐减，相对于基于传统的步态能量图和步态轮廓图的步态特征表示和提取方法，识别准确率更高。
Description
技术领域
本发明涉及生物特征识别技术领域，尤其涉及一种基于渐弱运动轨迹图的步态特征表示和特征提取方法。
背景技术
在智能监控等领域中，远距离身份识别是一个具有广阔应用前景的研究方向。通过在学校、广场、城市道路、商场等公共场所大量架设视频监控设备，可以提高公共安全和加大对犯罪份子的威慑力，已经成为人们的共识。然而，这些设备采集的视频数据，目前大多仅仅应用于记录取证，主要技术原因在于难以有效地远距离对视频中人员进行身份识别。与其它的生物特征识别，如人脸识别、指纹识别和虹膜识别相比，步态识别技术更适用于远距离的人物识别。虹膜识别通常需要目标在30厘米以内，人脸识别需在5米以内，而步态识别在超高清摄像头下，识别距离可达50米。同时，即使在较低分辨率的视频环境下，步态识别也能达到较高的识别率，且具有非侵犯性和难于隐藏性等极大优势。但是，目前步态识别技术主要集中于基于步态能量图的方法，该类方法只有在固定视角等诸多限制条件下才可以取得较高的稳定识别率，这极大限制了步态识别的应用范围。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于渐弱运动轨迹图的步态特征表示和特征提取方法。
本发明的目的是通过以下技术方案来实现的：
一种基于渐弱运动轨迹图的步态特征表示和特征提取方法，其特征在于，该方法具体包括如下步骤：
S1：提取二值化步态轮廓图序列：从原始步态视频中提取所有帧的步态轮廓二值化图像，该图像中，在人体区域内部的像素值为1，其它部分像素值为0；
S2：生成权重序列：通过分析原始步态视频的帧率和行人步频，自适应选择跨度值k，并根据k生成一系列具有等比级数关系的权重值；其中，公比r小于1，且跨度值k的取值范围为：一个自然步态周期所包含的图像帧数<k<<原始步态视频的总帧数N；
S3：合成渐弱运动轨迹图：针对每个特定帧及其后续的k-1帧，分别使用S2中生成的权重值与该k帧图像进行加权融合，得到该k帧图像对应的渐弱运动轨迹图，该步骤共合成的减弱运动轨迹图数量为N-k+1幅，作为步态特征表示形式。
进一步地，所述的S3中，使用S2中生成的权重值与该k帧图像进行加权融合具体为灰度值的加权融合。
进一步地，所述的S2中的公比r的计算公式为：
其中，b为衰减系数，取值范围为(0,1]，表示后续k-1帧对当前帧的影响指数；a为人正常走路时，对应所述的原始步态视频中一个周期内的帧数，取值范围为[10，50]。
本发明的有益效果如下：
本发明通过分析不同步态视频中的采集频率和人的行走速度等内容，自适应地选择一个跨度值k，并在此基础上，将步态视频中的每一帧和其后续k-1帧中的步态特性编码为一个灰度差图像，即渐弱运动轨迹图，作为步态特征表示形式。编码后生成的渐弱运动轨迹图不仅包括了连续k帧之间的动态步态特性，还描述了在连续k帧运动过程中，人的位移属性，即运动轨迹。基于本发明提出的渐弱运动轨迹图，可以为后续的分类器训练和识别过程提供更加有区分能力的步态特征，从而降低了对视角变化和其它干扰因素的敏感性，可在跨视角等步态识别和分类应用中取得更好的效果。
附图说明
图1是本方法的实施流程；
图2是含位移信息的整幅轮廓图样例；
图3是渐弱运动轨迹图样例。
图4是采用CASIA步态数据库的Dataset B数据子集进行步态识别测试的结果；
图5是采用CASIA步态数据库的Dataset C数据子集进行步态识别测试的结果。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的基于渐弱运动轨迹图的步态特征表示和特征提取方法，包括四个具体步骤，
S1：提取二值化步态轮廓图序列：从原始步态视频中提取所有帧的步态轮廓二值化图像，该图像中，在人体区域内部的像素值为1，其它部分像素值为0。
该步骤中通过提取每一时刻的瞬间步态特性得到二值化轮廓图像，如图2所示，无需提取人体区域和步态周期分割。与目前主流的步态能量图作为步态特征的方案比较，该方法无需提取出人体区域以及后续的对齐操作，在有效地保留了步态位移信息的同时，减少了不必要的预处理操作。
S2：生成权重序列：通过分析原始步态视频的帧率和行人步频，自适应选择跨度值k，并根据k生成一系列具有等比级数关系的权重值；其中，公比r小于1，且跨度值k的取值范围为：一个自然步态周期所包含的图像帧数<k<<原始步态视频的总帧数N；
其中帧率是与硬件采集频率相关的特性，通过选取频率相关的k值，可以有效地平衡不同硬件采集设备对提取的步态特征质量的影响。人的行走速度分析的依据是步态轮廓水平方向的移动速度和加速度变化，是动态步态特征的重要组成部分，通过选取关联的k值，可以确保用于计算机轨迹图的步态图像序列包含适当多的步态周期数量。
作为其中一种实施方式，所述的等比数列的公比r的计算公式如下：
其中，b为衰减系数，取值范围为(0,1]，表示后续k-1帧对当前帧的影响指数；a为人正常走路时，对应所述的原始步态视频中一个周期内的帧数，取值范围为[10,50]，该参数为经验参数。
S3：合成渐弱运动轨迹图：针对每个特定帧及其后续的k-1帧，分别使用S2中生成的权重值与该k帧图像进行加权融合，得到该k帧图像对应的渐弱运动轨迹图，如图3所示，该步骤共合成的减弱运动轨迹图数量为N-k+1幅，作为步态特征表示形式。
下面将本发明的方法与现有的步态特征提取方法进行对比。
对比1：采用CASIA步态数据库的Dataset B数据子集进行步态识别的正确率测试。
CASIA Dataset B是一个大规模的多视角步态数据集。该数据集采集于2005年，共包含124个人的15004个步态视频。每个人的步态从11个视角(0，18，36，…,180度)进行采集，行走条件包括三种：普通条件、穿大衣和背包。本实施例将以本申请提出的渐弱运动轨迹图步态特征，与步态能量图(GEI,Individual Recognition Using Gait Energy Image,IEEE Transactions on Pattern Analysis and Machine Intelligence,2006)、逐帧步态能量图(ff-GEI，Human Gait Recognition Based on Frame-by-Frame Gait EnergyImages and Convolutional Long Short-Term Memory.X Wang,WQ Yan，InternationalJournal of Neural Systems,2019)，以及简单步态轮廓图步态特征进行比较，并使用支持向量机(SVM)作为分类器进行步态识别获得正确识别率实验结果。训练数据获取方法:随机选取正常状态下每个人90度视角的不同比例步态数据用于训练，剩余90度视角数据和其它视角数据用于身份识别测试。本申请提出的方法与三种现有方法的对比实验结果如图4所示，横轴为训练数据占90度视角步态数据的比例(从1％到100％)，纵轴为平均识别率。从图4可以看出，与现有基于步态数据的特征表示和提取方法比较，本发明的方法具有更高的平均识别率。
对比2：采用CASIA步态数据库的Dataset C数据子集进行步态识别的正确率测试
CASIA Dataset C是一个用红外摄像机采集的大规模步态数据集，针对夜间场景。该数据集采集于2005年，包含153个人的1583个步态视频。每个人的行走条件包括四种：正常行走、快走、慢走和带包走。本实施例将以本申请提出的渐弱运动轨迹图步态特征，与步态能量图(GEI,Individual Recognition Using Gait Energy Image,IEEE Transactionson Pattern Analysis and Machine Intelligence,2006)、逐帧步态能量图(ff-GEI，Human Gait Recognition Based on Frame-by-Frame Gait Energy Images andConvolutional Long Short-Term Memory.X Wang,WQ Yan，International Journal ofNeural Systems,2019)，以及简单步态轮廓图步态特征进行比较，并使用支持向量机(SVM)作为分类器进行步态识别获得正确识别率实验结果。本申请提出的方法与三种现有方法的对比实验结果如图5所示，横轴为训练数据占90度视角步态数据的比例(从1％到100％)，纵轴为平均识别率。从图5可以看出，与现有基于步态数据的特征表示和提取方法比较，本发明的方法在输入为红外视频数据时，平均正确识别率也具有显著的优势。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (1)
1.一种基于渐弱运动轨迹图的步态特征表示和特征提取方法，其特征在于，该方法具体包括如下步骤：
S1：提取二值化步态轮廓图序列：从原始步态视频中提取所有帧的步态轮廓二值化图像，该图像中，在人体区域内部的像素值为1，其它部分像素值为0；
S2：生成权重序列：通过分析原始步态视频的帧率和行人步频，自适应选择跨度值k，并根据k生成一系列具有等比数列关系的权重值；其中，公比r小于1，且跨度值k的取值范围为：一个自然步态周期所包含的图像帧数<k<<原始步态视频的总帧数N；
其中帧率是与硬件采集频率相关的特性，通过选取频率相关的k值，有效地平衡不同硬件采集设备对提取的步态特征质量的影响；人的行走速度分析的依据是步态轮廓水平方向的移动速度和加速度变化，是动态步态特征的重要组成部分，通过选取关联的k值，确保用于计算机轨迹图的步态图像序列包含适当多的步态周期数量；
所述的S2中的公比r的计算公式为：
；
其中，b为衰减系数，取值范围为(0,1]，表示后续k-1帧对当前帧的影响指数；a为人正常走路时，对应所述的原始步态视频中一个周期内的帧数，取值范围为[10，50]；
S3：合成渐弱运动轨迹图：针对k帧图像中的每个特定帧及其后续的k-1帧，分别使用S2中生成的权重值与对应的k帧图像的灰度值进行加权融合，得到k帧图像对应的渐弱运动轨迹图，该步骤共合成的减弱运动轨迹图数量为N-k+1幅，作为步态特征表示形式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010063082.XA CN111310587B (zh) | 2020-01-19 | 2020-01-19 | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010063082.XA CN111310587B (zh) | 2020-01-19 | 2020-01-19 | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111310587A CN111310587A (zh) | 2020-06-19 |
| CN111310587B true CN111310587B (zh) | 2023-04-28 |
Family
ID=71160416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010063082.XA Active CN111310587B (zh) | 2020-01-19 | 2020-01-19 | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310587B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673537B (zh) * | 2021-07-14 | 2023-08-18 | 南京邮电大学 | 一种基于步态序列视频的人物轮廓特征提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008005330A2 (en) * | 2006-06-30 | 2008-01-10 | Ossur Hf | Intelligent orthosis |
| CN110659586A (zh) * | 2019-08-31 | 2020-01-07 | 电子科技大学 | 一种基于身份保持循环式生成式对抗网络的跨视角步态识别方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103235928A (zh) * | 2013-01-08 | 2013-08-07 | 沈阳理工大学 | 一种具有监督机制的步态识别方法 |
| US9984284B2 (en) * | 2016-09-19 | 2018-05-29 | King Fahd University Of Petroleum And Minerals | Apparatus and method for gait recognition |
| CN106529499A (zh) * | 2016-11-24 | 2017-03-22 | 武汉理工大学 | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 |
| CN106803072A (zh) * | 2016-12-30 | 2017-06-06 | 中国计量大学 | 基于静动态特征融合的可变视角步态识别方法 |
| CN110443232B (zh) * | 2018-04-12 | 2022-03-25 | 腾讯科技（深圳）有限公司 | 视频处理方法及相关装置，图像处理方法及相关装置 |
| CN110705438B (zh) * | 2019-09-27 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 步态识别方法、装置、设备及存储介质 |
-
2020
- 2020-01-19 CN CN202010063082.XA patent/CN111310587B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008005330A2 (en) * | 2006-06-30 | 2008-01-10 | Ossur Hf | Intelligent orthosis |
| CN110659586A (zh) * | 2019-08-31 | 2020-01-07 | 电子科技大学 | 一种基于身份保持循环式生成式对抗网络的跨视角步态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111310587A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Object tracking with multi-view support vector machines | |
| CN104517104B (zh) | 一种基于监控场景下的人脸识别方法及系统 | |
| US10540544B2 (en) | Method for identifying a subject using gait analysis | |
| CN111505632B (zh) | 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法 | |
| KR101433472B1 (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| Ming et al. | Activity recognition from RGB-D camera with 3D local spatio-temporal features | |
| Ma et al. | A region histogram of oriented optical flow (RHOOF) feature for apex frame spotting in micro-expression | |
| CN103886305B (zh) | 面向基层治安、维稳及反恐的特异人脸搜索方法 | |
| CN109902565A (zh) | 多特征融合的人体行为识别方法 | |
| CN108280421A (zh) | 基于多特征深度运动图的人体行为识别方法 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| Song et al. | Feature extraction and target recognition of moving image sequences | |
| Arantes et al. | Human gait recognition using extraction and fusion of global motion features | |
| CN111310587B (zh) | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 | |
| Guo et al. | Small aerial target detection using trajectory hypothesis and verification | |
| CN112487926A (zh) | 一种基于时空图卷积网络的景区投喂行为识别方法 | |
| Venkatesan et al. | Real time implementation on moving object tracking and recognisation using Matlab | |
| CN114783054B (zh) | 一种基于无线和视频特征融合的步态识别方法 | |
| CN110674755B (zh) | 一种基于最适宜步态流型空间的步态识别方法 | |
| Xiao et al. | Gait recognition using Zernike moments and BP neural network | |
| CN115203663A (zh) | 小视角远距离视频步态精准识别身份认证系统 | |
| Almalki et al. | Characterizing scattered occlusions for effective dense-mode crowd counting | |
| Yan et al. | Foreground Extraction and Motion Recognition Technology for Intelligent Video Surveillance | |
| Mogan et al. | Gait recognition using histograms of temporal gradients | |
| Hbali et al. | Object detection based on HOG features: Faces and dual-eyes augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |