CN111144170A - 一种步态信息注册方法、系统及存储介质 - Google Patents
一种步态信息注册方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111144170A CN111144170A CN201811303317.7A CN201811303317A CN111144170A CN 111144170 A CN111144170 A CN 111144170A CN 201811303317 A CN201811303317 A CN 201811303317A CN 111144170 A CN111144170 A CN 111144170A
- Authority
- CN
- China
- Prior art keywords
- gait
- identification
- data
- energy
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 299
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 77
- 238000010586 diagram Methods 0.000 claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005260 corrosion Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000007373 indentation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000037149 energy metabolism Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种步态信息注册方法、系统及存储介质。注册方法包括:获取视频图像中人物行走的步态预处理数据;对步态预处理数据进行身份特征提取,得到步态能量图对应的身份特征数据;生成唯一身份标记,将身份标记与步态预处理数据对应进行存储。本发明实施例通过提取视频图像中人物行走的步态预处理数据,根据步态预处理数据提取相应的身份特征数据后,将身份特征数据与唯一身份标记对应进行存储,方便后续在进行步态识别后,根据步态预处理数据快速确认相应的用户身份。
Description
技术领域
本发明涉及生物识别技术领域,尤其涉及一种步态信息注册方法、系统及存储介质。
背景技术
随着各国对公共场合下安全水平提高的需要及视频监控技术的广泛推广,智能监控成为了计算机视觉中一个非常活跃的领域。在智能监控中,远距离识别监控场景中的人体身份是一个充满挑战且又很有应用前景的方向,因此,它同时具备了科研及商业价值,对其进行深入的研究具有理论及现实意义。
目前已有的步态识别算法,可以归为两大类,即基于模型的方法和基于非模型的方法。基于模型的方法通常需要依赖昂贵的硬件传感器提取步态信息,因此,很难应用在常规的安防监控场景,在最近的几年里,基于非模型的方法显示出优越的表现。基于非模型的方法是直接对人体步态视频图像序列进行分析而不需要预先假定任何特定的模型,其主要的方法有Radon变换、动态和静态的侧影轮廓模板及步态能量图识别方法。
通过步态识别算法可以得到相应的身份特征信息,但是步态特征数据并不能用于确认真实的身份,在得到身份特征信息后,若无法确认其真实的身份,该身份特征信息较容易丢失,后期有可能出现对同一个人重复进行步态识别,造成资源浪费。
发明内容
为了解决现有技术存在的问题,本发明的至少一个实施例提供了一种步态信息注册方法、系统及存储介质。
第一方面,本发明实施例提供了一种步态信息注册方法,所述注册方法包括:
获取视频图像中人物行走的步态预处理数据;
对所述步态预处理数据进行身份特征提取,得到所述步态预处理数据对应的身份特征数据;
生成唯一身份标记,将所述身份标记与所述身份特征数据对应进行存储。
基于上述技术方案,本发明实施例还可以做出如下改进。
结合第一方面,在第一方面的第一种实施例中,所述对所述步态预处理数据进行身份特征提取,得到所述步态能量图对应的身份特征数据,具体包括:
将所述步态预处理数据输入到识别模型中;
获取所述识别模型对所述步态预处理数据进行身份特征提取后,输出的所述身份特征数据。
结合第一方面的第一种实施例,在第一方面的第二种实施例中,所述识别模型的训练方法包括:
S11、获取任意视频图像中人物行走的第一步态预处理数据;
S12、获取所述任意视频图像中人物行走的第二步态预处理数据;
S13、将所述第二步态预处理数据和所述第一步态预处理数据输入识别模型分别进行身份识别和数据识别,根据身份识别结果和和数据识别结果对所述识别模型进行参数训练迭代,得到所述识别模型。
结合第一方面的第二种实施例,在第一方面的第三种实施例中,所述S13具体包括:
S21、根据所述第二步态预处理数据生成第二步态能量图,根据所述第一步态预处理数据生成第一步态能量图;
S22、将所述第二步态能量图和所述第一步态能量图进行混合得到多张不同动作姿态的识别步态能量图,将所述识别步态能量图输入所述识别模型进行身份识别和数据识别;
S23、分别得到每张所述识别步态能量图的身份识别概率分布,作为所述身份识别结果;
S24、确认所述识别模型对每张识别步态能量图属于第二步态能量图或第一步态能量图的识别是否准确,作为所述数据识别结果;
S25、根据每张所述识别步态能量图的所述身份识别结果计算身份识别损失;
S26、根据每张所述识别步态能量图的数据识别结果计算数据真假判别损失;
S27、判断所述身份识别损失和数据真假判别损失是否均满足预设条件;
若是,则输出所述识别模型;若否,则以损失反向传播方法对所述识别模型的预设参数进行更新,进行S21~S27。
结合第一方面的第三种实施例,在第一方面的第四种实施例中,
所述根据每张所述识别步态能量图的所述身份识别结果计算身份识别损失,具体包括:
通过如下计算方式计算所述身份识别损失:
lI为所述身份识别损失,n表示所述识别步态能量图的数量,为第i张所述识别步态能量图的身份识别损失,c表示对比身份的数量,exp为自然常数为底的指数函数,xi[j]为所述识别步态能量图的身份识别为第j个对比身份的身份识别概率,xi[yi]为所述识别步态能量图的身份识别为第yi个对比身份的身份识别概率,yi为所述视频图像对应的真实身份的编号;
所述根据每张所述识别步态能量图的数据识别结果计算数据真假判别损失,具体包括:
通过如下计算公式计算数据真假判别损失:
lD=-(mn×logkn+(1-mn)×log(1-kn));
lD为所述数据真假判别损失,当第n个所述识别步态能量图为第二步态能量图时,mn为1,当第n个所述识别步态能量图为第一步态能量图时,mn为0;
kn为第n个所述识别步态能量图为第二步态能量图的置信度,当kn大于预设阈值时,所述识别步态能量图为第二步态能量图,当kn小于或等于预设阈值时,所述识别步态能量图为第一步态能量图。
结合第一方面或第一方面的第一、第二、第三或第四种实施例,在第一方面的第五种实施例中,所述获取视频图像中人物行走的步态预处理数据,具体包括:
获取视频图像中的连续帧图像;
从连续帧图像中利用检测算法,检测出包含人形的图像区域;
提取出人形图像区域中的人形轮廓,生成人形轮廓分割图;
对每帧人形轮廓分割图的人形中心和图像中心进行对齐,生成初级步态剪影图像;
将每帧初级步态剪影图像中人形轮廓缩放至统一分辨率,生成步态剪影图像序列;
分别获取所述步态剪影图像序列中每帧步态剪影图像的剪影步态特征,组成剪影步态预处理数据;
计算所述剪影步态预处理数据中各帧剪影步态特征的相关性相似度;
将所述剪影步态特征根据相关性相似度进行加权融合,得到所述步态预处理数据。
结合第一方面的第五种实施例,在第一方面的第六种实施例中,所述将所述剪影步态特征根据相关性相似度进行加权融合,得到所述步态预处理数据,具体包括:
根据每个所述相关性相似度计算对应的剪影步态特征用于特征识别过程的等错误率;
根据每个所述等错误率分别计算对应的所述剪影步态特征的权重值;
将所有所述剪影步态特征按所述权重值进行加权融合,得到所述步态预处理数据。
结合第一方面的第六种实施例,在第一方面的第七种实施例中,所述根据每个所述等错误率分别计算对应的所述剪影步态特征的权重值,具体包括:
根据如下计算公式计算所述权重值:
其中,wn为第n个所述剪影步态特征的权重值,en为第n个所述剪影步态特征的等错误率,M为所述剪影步态特征的总个数。
第二方面,本发明实施例提供了一种步态信息注册系统,所述步态信息注册系统包括处理器、存储器;所述处理器用于执行所述存储器中存储的步态信息注册程序,以实现第一方面中任一所述的步态信息注册方法。
第三方面,本发明实施例提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任一项所述的步态信息注册方法。
本发明的上述技术方案与现有技术相比具有如下优点:本发明实施例通过提取视频图像中人物行走的步态预处理数据,从步态预处理数据中提取相应的身份特征数据后,将身份特征数据与唯一身份标记对应进行存储,方便后续在进行步态识别后,根据身份特征数据快速确认相应的用户身份。
附图说明
图1是本发明实施例提供的一种步态信息注册方法流程示意图;
图2是本发明另一实施例提供的一种步态信息注册方法流程示意图;
图3是本发明又一实施例提供的一种步态信息注册方法流程示意图其一;
图4是本发明又一实施例提供的一种步态信息注册方法流程示意图其二;
图5是本发明又一实施例提供的一种步态信息注册方法流程示意图其三;
图6是本发明又一实施例提供的一种步态信息注册系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供的一种步态信息注册方法,注册方法包括:
S11、获取视频图像中人物行走的步态预处理数据。
在本实施例中,获取视频图像的步态预处理数据,如根据人体轮廓线,得到的步态剪影图像,分别获取视频图像中每帧图像得到的步态剪影图像中的步态预处理数据。
如图2所示,在本实施例中,获取视频图像中人物行走的步态预处理数据,具体包括:
S21、获取视频图像中的连续帧图像。
单帧图像就是指一幅静止的画面,帧就是影像动画中最小单位的单幅影像画面,相当于电影胶片上的每一格镜头。单帧就是一幅静止的画面,连续的帧就形成动画,如电视图像等。在本步骤中,获取视频图像中的连续的帧图像。
S22、从连续帧图像中利用检测算法,检测出包含人形的图像区域。
比如,可以通过背景差分法,检测图像中的运动目标,并检测运动目标的轮廓确认人形的图像区域,还可以采用其他图像检测方法对连续帧图像进行检测,确认连续帧图像中的人形图像区域。
S23、提取出人形图像区域中的人形轮廓,生成人形轮廓分割图。
在本实施例中,针对每一帧图像中的人形图像区域均分别提取其中的人形轮廓,得到针对视频图像的连续的人形轮廓分割图,可通过对图像进行二值分割,然后通过膨胀滤波算子和腐蚀算子对二值分割后的图像进行处理,过滤图像中的噪声,并填充二值分割后的图像中的空洞,对处理后的图像进行边界跟踪,即可得到相应的人形轮廓。
具体的,S23的方法具体包括:基于中间值的方法获取帧图像的背景帧。根据背景帧使用背景差分法检测帧图像中的运动目标,并对帧图像进行二值分割。对二值分割后的帧图像使用腐蚀算子和膨胀滤波算子进行处理,并根据连通性分析对帧图像进行空洞填充;对帧图像进行边界跟踪得到人形轮廓,生成人形轮廓分割图。
S24、对每帧人形轮廓分割图的人形中心和图像中心进行对齐,生成初级步态剪影图像。
将人形轮廓分割图的人形中心和图像中心进行对齐,使得各个人形轮廓分割图按其行走的的视频图像进行调整,得到初级步态剪影图像。
S25、将每帧初级步态剪影图像中人形轮廓缩放至统一分辨率,生成步态剪影图像序列。
调整初级步态剪影图像的分辨率,使得各个初级步态剪影图像的分辨率一致,得到步态剪影图像序列。
S26、分别获取步态剪影图像序列中每帧步态剪影图像的剪影步态特征,组成剪影步态预处理数据。
获取每帧步态剪影图像的剪影步态特征,步态特征,是指足迹中反映的人行走时力的大小、方向和作用点的特征。是落脚、起脚和支撑摆动阶段人行走习惯的反映。一般包括:磕痕,踏痕、推痕、跄痕、坐痕、迫痕、压痕、拧痕、抬痕、蹬痕、挖痕、抠痕、挑痕、劐痕、划痕、扫痕、擦痕等。
S27、计算剪影步态预处理数据中各帧剪影步态特征的相关性相似度。
分别计算每个剪影步态特征与同一步态序列中其他帧剪影步态特征相关性相似度,在本实施例中,相关性相似度可以是两个步态特征的距离度量,比如各帧剪影步态特征的欧氏距离,欧氏距离的值越小,各帧剪影步态特征的相似性越大。
S28、将剪影步态特征根据相关性相似度进行加权融合,得到步态预处理数据。
如图3所示,将各个剪影步态特征按相关性相似度进行融合,得到相应的步态预处理数据的方法包括:
S31、根据每个相关性相似度计算对应的剪影步态特征用于特征识别过程的等错误率。
不同的步态特征在融合过程中的可信度是不一致的,一般衡量特征识别的准确与否可以用等错误率(EER,Equal Error Rate)表示。EER值越高说明特征的性能越差,在本步骤中等错误率越高表示该特征在融合过程中的可信度越低,在本步骤中,相关性相似度越大,表明剪影步态特征与真实步态特征越相似,则相关性相似度越大的步态特征其对应的等错误率就越低,在本实施例中,通过剪影步态特征和真实步态特征的欧氏距离计算相关性相似度,即欧氏距离越低相关性相似度越高,相应的等错误率就会越低。
S32、根据每个等错误率分别计算对应的剪影步态特征的权重值。
根据不同的剪影步态特征的等错误率分别计算相应的剪影步态特征的权重值的方法包括:
根据如下计算公式计算权重值:
其中,wn为第n个剪影步态特征的权重值,en为第n个剪影步态特征的等错误率,M为剪影步态特征的总个数。
S33、将所有剪影步态特征按相应的权重值进行加权融合,得到步态预处理数据。
将所有剪影步态特征按相应的权重值进行加权融合,使得权重值较小的剪影步态特征在融合过程中的加权比例更小,以降低最终步态预处理数据的误差,提高步态预处理数据的准确性。
S12、对步态预处理数据进行身份特征提取,得到步态预处理数据对应的身份特征数据。
在本实施例中,S12具体包括:
将生成的步态预处理数据输入到识别模型中。
通过识别模型对步态预处理数据进行身份识别,得到相应的身份特征数据。
获取识别模型对生成的步态特征数进行身份特征提取后,输出的身份特征数据。
S13、生成唯一身份标记,将身份标记与身份特征数据对应进行存储。
在本实施例中,生成身份标记,将身份标记与身份特征数据对应存储,以此来确认身份特征数据的身份,方便在获取到存储的身份特征数据时,可以快速确认身份特征数据对应的身份标记,便于对被识别的人物的身份确定。
如图4所示,本发明实施例还提供了一种步态信息注册方法,与图1步态信息注册方法相比,区别在于:
识别模型的训练方法包括:
S41、获取任意视频图像中人物行走的第一步态预处理数据。
在本实施例中,第一步态预处理数据可通过用户输入获取得到,或者其他已经已训练完成的生成模型对视频图像进行处理得到,当然也可以是根据视频图像中的人的行走特征进行扫描得到;还可以是通过现有技术中的步态特征提取技术从视频图像中获取的第一步态预处理数据。第一步态预处理数据是指人体步行时的姿态和行为特征,人体通过髋、膝、踝、足趾的一系列连续活动,使身体沿着一定方向移动的过程。步态涉及行为习惯、职业、教育、年龄及性别等因素,也受到多种疾病的影响。步行的控制十分复杂,包括中枢命令、身体平衡及协调控制,涉及下肢各关节和肌肉的协同运动,同时也与上肢和躯干的姿势有关。任何环节的失调都可能影响步态,而异常也有可能被代偿或掩盖。正常步态具有稳定性、周期性和节律性、方向性、协调性以及个体差异性,然而,当人们存在疾病时,这些步态特征将有明显的变化。步态分析就是研究步行规律的检查方法,旨在通过生物力学和运动学手段,揭示步态异常的关键环节及影响因素,从而指导康复评估和治疗,有助于临床诊断、疗效评估及机理研究等。步态分析中,常通过一些特殊参数来描述步态正常与否,这些步态参数通常包括以下几类:步态周期、运动学参数、动力学参数、肌电活动参数和能量代谢参数等。
S42、获取任意视频图像中人物行走的第二步态预处理数据。
在本实施例中,获取视频图像的第二步态预处理数据,如根据人体轮廓线,得到的步态剪影图像,分别获取视频图像中每帧图像得到的步态剪影图像中的验证步态数据,根据第二步态预处理数据生成相应的第二步态能量图。
在本步骤中,获取第二步态预处理数据的方法包括:
获取视频图像中的连续帧图像。
单帧图像就是指一幅静止的画面,帧就是影像动画中最小单位的单幅影像画面,相当于电影胶片上的每一格镜头。单帧就是一幅静止的画面,连续的帧就形成动画,如电视图像等。在本步骤中,获取视频图像中的连续的帧图像。
从连续帧图像中利用检测算法,检测出包含人形的图像区域。
比如,可以通过背景差分法,检测图像中的运动目标,并检测运动目标的轮廓确认人形的图像区域,还可以采用其他图像检测方法对连续帧图像进行检测,确认连续帧图像中的人形图像区域。
提取出人形图像区域中的人形轮廓,生成人形轮廓分割图。
在本实施例中,针对每一帧图像中的人形图像区域均分别提取其中的人形轮廓,得到针对视频图像的连续的人形轮廓分割图,可通过对图像进行二值分割,然后通过膨胀滤波算子和腐蚀算子对二值分割后的图像进行处理,过滤图像中的噪声,并填充二值分割后的图像中的空洞,对处理后的图像进行边界跟踪,即可得到相应的人形轮廓。
具体的,提取出人形图像区域中的人形轮廓,生成人形轮廓分割图的方法具体包括:基于中间值的方法获取帧图像的背景帧。根据背景帧使用背景差分法检测帧图像中的运动目标,并对帧图像进行二值分割。对二值分割后的帧图像使用腐蚀算子和膨胀滤波算子进行处理,并根据连通性分析对帧图像进行空洞填充;对帧图像进行边界跟踪得到人形轮廓,生成人形轮廓分割图。
在本实施例中,还可以通过语义分析算法提取出人形图像区域中的人形轮廓,生成人形轮廓分割图,具体的,通过神经网络对图片中的每个像素点进行二分类,然后再用一些后处理方法,比如边缘平滑、阈值过滤等方法来调整,最终生成分割图像。
对每帧人形轮廓分割图的人形中心和图像中心进行对齐,生成初级步态剪影图像。
将人形轮廓分割图的人形中心和图像中心进行对齐,使得各个人形轮廓分割图按其行走的的视频图像进行调整,得到初级步态剪影图像。
将每帧初级步态剪影图像中人形轮廓缩放至统一分辨率,生成步态剪影图像序列。
调整初级步态剪影图像的分辨率,使得各个初级步态剪影图像的分辨率一致,得到步态剪影图像序列。
分别获取步态剪影图像序列中每帧步态剪影图像的剪影步态特征,组成剪影步态预处理数据。
获取每帧步态剪影图像的剪影步态特征,步态特征,是指足迹中反映的人行走时力的大小、方向和作用点的特征。是落脚、起脚和支撑摆动阶段人行走习惯的反映。一般包括:磕痕,踏痕、推痕、跄痕、坐痕、迫痕、压痕、拧痕、抬痕、蹬痕、挖痕、抠痕、挑痕、劐痕、划痕、扫痕、擦痕等。
计算剪影步态预处理数据中各帧剪影步态特征的相关性相似度。
分别计算每个剪影步态特征与真实步态特征的相关性相似度,在本实施例中,相关性相似度可以是两个步态特征的距离度量,比如剪影步态特征与真实步态特征的欧氏距离,欧氏距离的值越小,剪影步态特征与真实步态特征的相似性越大。
将剪影步态特征根据相关性相似度进行加权融合,得到第二步态预处理数据。
通过上述步骤使得最终得到第二步态预处理数据更加符合第一步态预处理数据,提高通过该第二步态能量图进行步态识别的准确性。
S43、将第二步态预处理数据和第一步态预处理数据输入识别模型分别进行身份识别和数据识别,根据身份识别结果和和数据识别结果对识别模型进行参数训练迭代,得到识别模型。
如图5所示,在本实施例中,S43具体包括:
S51、根据所述第二步态预处理数据生成第二步态能量图,根据所述第一步态预处理数据生成第一步态能量图;
S52、将第二步态能量图和第一步态能量图进行混合得到多张不同动作姿态的识别步态能量图,将识别步态能量图输入识别模型进行身份识别和数据识别。
在本步骤中,将第二步态能量图和第一步态能量图分别进行拆分,得到每个步态能量图中的多张不同动作姿态的识别步态能量图,将所有识别步态能量图输入识别模型分别进行身份识别和数据识别。
比如,将所述第二步态能量图和所述第一步态能量图以1:1的比例进行混合,得到多张不同动作姿态的识别步态能量图。
S53、分别得到每张所述识别步态能量图的身份识别概率分布,作为所述身份识别结果。
针对每张识别步态能量图得到其对应不同人的识别概率,识别概率最大的人就是该识别步态能量图识别的结果,若最终大于预设阈值的识别步态能量图可以准确识别身份,则该识别模型的参数已训练准确,可以不再调整识别模型的模型参数,反之,则需调整识别模型的参数。
S54、确认识别模型对每张识别步态能量图属于第二步态能量图或第一步态能量图的识别是否准确,作为数据识别结果。
针对每张识别步态能量图的归属进行识别,确认识别模型是否可以准确识别步态能量图中的第二步态能量图或第一步态能量图,若识别模型可以准确进行分辨,则需要调整识别模型的参数重新生成第二步态预处理数据,反之,则不需调整识别模型。
S55、根据每张识别步态能量图的身份识别结果计算身份识别损失。
基于上述实施例中通过识别步态能量图分别进行身份识别,通过身份识别结果计算所有识别步态能量图的身份识别损失,比如,可以计算身份识别的准确率作为身份识别损失,身份识别损失越大,识别模型需要调整参数重新进行身份识别,比如,当身份识别准确率大于或等于百分之75,可以确认通过识别模型以第二步态能量图进行身份识别,可以准确识别出视频中的人的身份,当身份识别准确率低于百分之75,则需要对识别模型的参数进行调整,重新进行第二步态能量图的生成、数据识别和身份识别,身份识别准确率越低,识别模型的参数调整幅度越大。
比如,通过如下计算方式计算身份识别损失:
lI为身份识别损失,n表示识别步态能量图的数量,为第i张识别步态能量图的身份识别损失,c表示对比身份的数量,exp为自然常数为底的指数函数,xi[j]为识别步态能量图的身份识别为第j个对比身份的身份识别概率,xi[yi]为识别步态能量图的身份识别为第yi个对比身份的身份识别概率,yi为视频图像对应的真实身份的编号。
S56、根据每张识别步态能量图的数据识别结果计算数据真假判别损失。
判断每个识别步态能量图是第一步态能量图还是第二步态能量图,并根据识别结果计算真假判别损失,通过真假判别损失确认识别模型是否可以准确分辨识别步态能量图是第二步态能量图还是第一步态能量图。
比如,通过如下计算公式计算数据真假判别损失:
lD=-(mn×logkn+(1-mn)×log(1-kn));
lD为数据真假判别损失,当第n个识别步态能量图为第二步态能量图时,mn为1,当第n个识别步态能量图为第一步态能量图时,mn为0;
kn为第n个识别步态能量图为第二步态能量图的置信度,当kn大于预设阈值时,识别步态能量图为第二步态能量图,当kn小于或等于预设阈值时,识别步态能量图为第一步态能量图。
S57、判断身份识别损失和数据真假判别损失是否均满足预设条件。
比如,将身份识别损失与第一预设阈值范围进行比较,将数据真假判损失与第二预设阈值范围进行比较,判断身份识别损失是否符合第一预设阈值范围;判断数据真假判别损失是否符合第二预设阈值范围。
若是,输出识别模型;若否,以损失反向传播方法对识别模型的预设参数进行更新,进行S51~S57。
若身份识别结果准确量大于预设阈值,数据识别结果准确量小于预设阈值,则可以确认识别模型无法准确识别第二步态能量图和第一步态能量图,且通过第二步态能量图可以准确识别出视频对应的人的身份,此时的识别模型的参数均已训练完毕,可以输出相应的参数得到识别模型,反之,需要对识别模型的预设参数进行更新,可以通过随机梯度下降算法对识别模型中的参数进行更新,也可以采用损失反向传播方法对识别模型中的参数进行更新,重新进行S51~S57。
在本实施例中,还可以通过计算第二步态能量图和第一步态能量图的均方误差损失来确认第二步态能量图来确认第二步态能量图是否合格。
在本步骤中,计算第二步态能量图和第一步态能量图的均方误差损失,均方误差是各数据偏离真实值的距离平方和的平均数,通过计算第二步态能量图与第一步态能量图的均方误差损失,可以得到第二步态能量图与第一步态能量图的偏离程度,若第二步态能量图与第一步态能量图的偏离程度过大,则可以确认生成模型得到的第二步态能量图并不合格,所以,若均方误差损失过大,则需要对生成模型的参数进行调整,重新生成新的第二步态能量图。
比如,通过如下计算方式计算均方误差损失:
lg为均方误差损失,t为第二步态能量图的像素点个数或第一步态能量图的像素点个数,pxi为第二步态能量图中第i个像素点0均值归一化的灰度值,pyi为第一步态能量图中第i个像素点的0均值归一化的灰度值。
在一个具体的实施例中,本发明实施例提供了一种步态信息识别优化方法,具体包括:
S1:将步态剪影图像序列(多帧图像)p1,p2,…,pn依次输入生成网络的基础特征提取部分,分别得到特征序列f1,f2,…,fn。
S2:将多帧输入图像的特征f1,f2,…,fn输入生成网络的编码器网络部分,进行特征加权融合得到整体步态剪影图像序列的特征F。
S3:将整体步态剪影图像序列的特征F输入生成网络的解码网络部分,生成一帧和输入剪影图像分辨率相同的步态能量图GEIf。
S4:将GEIf和训练数据集合中的真实GEIr按1:1的比例混合然后输入判识网络。其中真实GEIr是从训练数据集合中选择那些和生成的GEIf属于同一目标且行走角度为54度、衣着为贴身着装的数据。
S5:判识网络对输入的GEIf和GEIr进行身份识别的同时判别输入数据中哪些数据属于生成数据,哪些数据属于真实数据。
S6:基于身份识别结果和数据真假的判别结,计算身份识别的损失loss_I和真假判别损失lossD。基于总的损失LD=α×loss_I+β×loss_D,利用随机梯度下降算法更新判识网络的参数。
S7:计算每一组同一身份目标的GEIf和GEIr的均方误差损失lossg.基于总损失LG=λ×lossg+μ×lossD,利用随机梯度下降算法更新生成网络的参数。
S8:重复S1—S7直到到达模型整体收敛条件,即判识网络能够几乎不再能区分GEIf和GEIr,同时能够正确的识别GEIf和GEIr所对应目标的身份,从而得到学习好的生成对抗模型M。
如图6所示,本发明实施例提供了一种步态信息注册系统,步态信息注册系统包括处理器、存储器;处理器用于执行存储器中存储的步态信息注册程序,以实现上述任一实施例的步态信息注册方法。
对上述实施例中的系统或装置提供用于记录可以实现上述实施例的功能的软件程序的程序代码的存储介质,并通过系统或装置的计算机(或CPU或MPU)读取并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读出的程序代码本身执行上述实施例的功能,而存储程序代码的存储介质构成本发明实施例。
作为用于提供程序代码的存储介质,例如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失存储卡、ROM、以及类似物都可以使用。
上述实施例的功能不仅可以通过由计算机执行读出的程序代码来实现,而且也可以通过在计算机上运行的OS(操作系统)根据程序代码的指令执行的一些或全部的实际处理操作来实现。
此外,本发明实施例还包括这样一种情况,即在从存储介质读出的程序代码被写入被插入计算机的功能扩展卡之后,或者被写入和计算机相连的功能扩展单元内提供的存储器之后,在功能扩展卡或功能扩展单元中包括的CPU或类似物按照程序代码的命令执行部分处理或全部处理,从而实现上述实施例的功能。
本发明实施例提供了一种存储介质,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述任一项实施例的步态信息注册方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种步态信息注册方法,其特征在于,所述注册方法包括:
获取视频图像中人物行走的步态预处理数据;
对所述步态预处理数据进行身份特征提取,得到所述步态预处理数据对应的身份特征数据;
生成唯一身份标记,将所述身份标记与所述身份特征数据对应进行存储。
2.根据权利要求1所述的步态信息注册方法,其特征在于,所述对所述步态预处理数据进行身份特征提取,得到对应的身份特征数据,具体包括:
将所述步态预处理数据输入到识别模型中;
获取所述识别模型对所述步态预处理数据进行身份特征提取后,输出的所述身份特征数据。
3.根据权利要求2所述的步态信息注册方法,其特征在于,所述识别模型的训练方法包括:
S11、获取任意视频图像中人物行走的第一步态预处理数据;
S12、获取所述任意视频图像中人物行走的第二步态预处理数据;
S13、将所述第二步态预处理数据和所述第一步态预处理数据输入识别模型分别进行身份识别和数据识别,根据身份识别结果和和数据识别结果对所述识别模型进行参数训练迭代,得到所述识别模型。
4.根据权利要求3所述的步态信息注册方法,其特征在于,所述S13具体包括:
S21、根据所述第二步态预处理数据生成第二步态能量图,根据所述第一步态预处理数据生成第一步态能量图;
S22、将所述第二步态能量图和所述第一步态能量图进行混合得到多张不同动作姿态的识别步态能量图,将所述识别步态能量图输入所述识别模型进行身份识别和数据识别;
S23、分别得到每张所述识别步态能量图的身份识别概率分布,作为所述身份识别结果;
S24、确认所述识别模型对每张识别步态能量图属于第二步态能量图或第一步态能量图的识别是否准确,作为所述数据识别结果;
S25、根据每张所述识别步态能量图的所述身份识别结果计算身份识别损失;
S26、根据每张所述识别步态能量图的数据识别结果计算数据真假判别损失;
S27、判断所述身份识别损失和数据真假判别损失是否均满足预设条件;
若是,则输出所述识别模型;若否,则以损失反向传播方法对所述识别模型的预设参数进行更新,进行S21~S27。
5.根据权利要求4所述的步态信息注册方法,其特征在于,
所述根据每张所述识别步态能量图的所述身份识别结果计算身份识别损失,具体包括:
通过如下计算方式计算所述身份识别损失:
lI为所述身份识别损失,n表示所述识别步态能量图的数量,为第i张所述识别步态能量图的身份识别损失,c表示对比身份的数量,exp为自然常数为底的指数函数,xi[j]为所述识别步态能量图的身份识别为第j个对比身份的身份识别概率,xi[yi]为所述识别步态能量图的身份识别为第yi个对比身份的身份识别概率,yi为所述视频图像对应的真实身份的编号;
所述根据每张所述识别步态能量图的数据识别结果计算数据真假判别损失,具体包括:
通过如下计算公式计算数据真假判别损失:
lD=-(mn×logkn+(1-mn)×log(1-kn));
lD为所述数据真假判别损失,当第n个所述识别步态能量图为第二步态能量图时,mn为1,当第n个所述识别步态能量图为第一步态能量图时,mn为0;
kn为第n个所述识别步态能量图为第二步态能量图的置信度,当kn大于预设阈值时,所述识别步态能量图为第二步态能量图,当kn小于或等于预设阈值时,所述识别步态能量图为第一步态能量图。
6.根据权利要求1~5中任一所述的步态信息注册方法,其特征在于,所述获取视频图像中人物行走的步态预处理数据,具体包括:
获取视频图像中的连续帧图像;
从连续帧图像中利用检测算法,检测出包含人形的图像区域;
提取出人形图像区域中的人形轮廓,生成人形轮廓分割图;
对每帧人形轮廓分割图的人形中心和图像中心进行对齐,生成初级步态剪影图像;
将每帧初级步态剪影图像中人形轮廓缩放至统一分辨率,生成步态剪影图像序列;
分别获取所述步态剪影图像序列中每帧步态剪影图像的剪影步态特征,组成剪影步态预处理数据;
计算所述剪影步态预处理数据中各帧剪影步态特征的相关性相似度;
将所述剪影步态特征根据相关性相似度进行加权融合,得到所述步态预处理数据。
7.根据权利要求6所述的步态信息注册方法,其特征在于,所述将所述剪影步态特征根据相关性相似度进行加权融合,得到所述步态预处理数据,具体包括:
根据每个所述相关性相似度计算对应的剪影步态特征用于特征识别过程的等错误率;
根据每个所述等错误率分别计算对应的所述剪影步态特征的权重值;
将所有所述剪影步态特征按所述权重值进行加权融合,得到所述步态预处理数据。
9.一种步态信息注册系统,其特征在于,所述步态信息注册系统包括处理器、存储器;所述处理器用于执行所述存储器中存储的步态信息注册程序,以实现权利要求1~8中任一所述的步态信息注册方法。
10.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1~8中任一项所述的步态信息注册方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811303317.7A CN111144170A (zh) | 2018-11-02 | 2018-11-02 | 一种步态信息注册方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811303317.7A CN111144170A (zh) | 2018-11-02 | 2018-11-02 | 一种步态信息注册方法、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111144170A true CN111144170A (zh) | 2020-05-12 |
Family
ID=70515274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811303317.7A Pending CN111144170A (zh) | 2018-11-02 | 2018-11-02 | 一种步态信息注册方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111144170A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024032026A1 (zh) * | 2022-08-10 | 2024-02-15 | 一汽奔腾轿车有限公司 | 后尾门自动开启的方法、系统、存储介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729614A (zh) * | 2012-10-16 | 2014-04-16 | 上海唐里信息技术有限公司 | 基于视频图像的人物识别方法及人物识别装置 |
CN106778546A (zh) * | 2016-11-29 | 2017-05-31 | 聚鑫智能科技(武汉)股份有限公司 | 一种基于可见光和非可见光的视觉识别方法及系统 |
CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
CN108224691A (zh) * | 2017-12-22 | 2018-06-29 | 银河水滴科技(北京)有限公司 | 一种空调系统控制方法和装置 |
-
2018
- 2018-11-02 CN CN201811303317.7A patent/CN111144170A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729614A (zh) * | 2012-10-16 | 2014-04-16 | 上海唐里信息技术有限公司 | 基于视频图像的人物识别方法及人物识别装置 |
CN106778546A (zh) * | 2016-11-29 | 2017-05-31 | 聚鑫智能科技(武汉)股份有限公司 | 一种基于可见光和非可见光的视觉识别方法及系统 |
CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
CN108224691A (zh) * | 2017-12-22 | 2018-06-29 | 银河水滴科技(北京)有限公司 | 一种空调系统控制方法和装置 |
Non-Patent Citations (1)
Title |
---|
杨路明 等: "基于特征融合的步态识别算法研究", 《计算机应用研究》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024032026A1 (zh) * | 2022-08-10 | 2024-02-15 | 一汽奔腾轿车有限公司 | 后尾门自动开启的方法、系统、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111144165B (zh) | 一种步态信息识别方法、系统及存储介质 | |
KR101815975B1 (ko) | 객체 자세 검색 장치 및 방법 | |
US7330566B2 (en) | Video-based gait recognition | |
CN106384093B (zh) | 一种基于降噪自动编码器和粒子滤波的人体动作识别方法 | |
Kusakunniran et al. | Gait recognition across various walking speeds using higher order shape configuration based on a differential composition model | |
CN114724241A (zh) | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 | |
CN101794372B (zh) | 基于频域分析的步态特征表示及识别方法 | |
US20060269145A1 (en) | Method and system for determining object pose from images | |
CN109190544B (zh) | 一种基于序列深度图像的人体身份识别方法 | |
CN109902565B (zh) | 多特征融合的人体行为识别方法 | |
CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
WO2021004361A1 (zh) | 一种人脸美丽等级预测方法、装置及存储介质 | |
CN108171201A (zh) | 基于灰度形态学的睫毛快速检测方法 | |
CN111144167A (zh) | 一种步态信息识别优化方法、系统及存储介质 | |
CN108960047A (zh) | 基于深度二次树的视频监控中人脸去重方法 | |
CN112989889B (zh) | 一种基于姿态指导的步态识别方法 | |
Vajdi et al. | Human gait database for normal walk collected by smartphone accelerometer | |
Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
US11854306B1 (en) | Fitness action recognition model, method of training model, and method of recognizing fitness action | |
CN111144170A (zh) | 一种步态信息注册方法、系统及存储介质 | |
Pathak et al. | Entropy based CNN for segmentation of noisy color eye images using color, texture and brightness contour features | |
Zhu et al. | Multi-target tracking via hierarchical association learning | |
CN111144171A (zh) | 一种异常人群信息识别方法、系统及存储介质 | |
CN111144166A (zh) | 一种异常人群信息库建立方法、系统及存储介质 | |
CN114360058B (zh) | 一种基于行走视角预测的跨视角步态识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210201 Address after: 315016 9-3, building 91, 16 Buzheng lane, Haishu District, Ningbo City, Zhejiang Province Applicant after: Yinhe shuidi Technology (Ningbo) Co.,Ltd. Address before: Room 501-1753, Development Zone office building, 8 Xingsheng South Road, Miyun District Economic Development Zone, Beijing Applicant before: Watrix Technology (Beijing) Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200512 |
|
RJ01 | Rejection of invention patent application after publication |