CN110659586B - 一种基于身份保持循环式生成式对抗网络的步态识别方法 - Google Patents
一种基于身份保持循环式生成式对抗网络的步态识别方法 Download PDFInfo
- Publication number
- CN110659586B CN110659586B CN201910820059.8A CN201910820059A CN110659586B CN 110659586 B CN110659586 B CN 110659586B CN 201910820059 A CN201910820059 A CN 201910820059A CN 110659586 B CN110659586 B CN 110659586B
- Authority
- CN
- China
- Prior art keywords
- gait
- domain
- target
- image
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Abstract
本发明公开了一种基于身份保持循环式生成式对抗网络的步态识别方法,包括如下步骤:利用高斯背景建模方法得到步态前景得到步态能量图;通过身份保持循环式生成式对抗网络,实现步态图像的状态转换;提取目标步态视角的步态能量图的特征向量,进行步态识别处理。本发明基于身份保持循环式生成式对抗网络的步态识别方法,可以实现对步态图像转化过程的更为细致更为准确的控制,以解决步态识别中受测者状态与数据库状态不匹配的问题,可以很大程度上扩展提高步态识别的准确率以及其应用范围。
Description
技术领域
本发明属于步态识别技术领域,具体涉及基于身份保持循环式生成式对抗网络的针对跨视角的步态图像识别方法。
背景技术
人身份识别是信息社会中安全问题的核心要素。传统的身份识别方式诸如身份证、验证码、智能卡片等识别手段,存在携带麻烦、容易丢失、易于伪造等特点。而基于生物特征的身份识别,可以很大程度上避免上述问题。而目前用于身份识别的有人脸、指纹、声纹等生物特征,而步态特征几乎是唯一可在远距离下仍有效果的识别方法,同时,步态特征还具有非侵入性、难以伪装、有效信息采集率高等特点,这使得步态识别有这非常重要的应用价值。
然后,步态识别在实际应用过程中,还面临诸多问题。比如,跨视角问题、携带物与衣着变化问题。其中,跨视角问题是最为常见的问题,而且,角度的轻微变化,会极大的影响步态识别的准确率,这极大的限制了步态识别的应用范围。
传统的基于机器学习的方法或者现有的基于深度学习的方法,一般是将某状态步态图像统一转化为包含最多步态信息的90°正常行走状态的步态图像。然而,一般比较缺乏对步态视角的判断以做更精细化的转化分析,也缺少不同状态的针对性转化。由于不同角度的步态图像,其差异非常明显,传统的转化方法,一般生成能力较弱,不能较好的实现步态图像的跨视角转化。因此,需要新的方法来解决更精细的步态图像转化问题。
发明内容
本发明的发明目的在于:为了解决现有技术的不足,针对多步态识别中不同视角、状态的转化方法,本发明提供了一种基于身份保持循环式生成式对抗网络的步态识别方法,包括如下步骤:
步骤1:提取步态视频的视频图像的人体轮廓,获取各视频图像的步态能量图:
基于高斯背景模型对步态视频序列进行背景建模,通过背景提取得到二值化的步态前景轮廓图;
并对步态前景图轮廓图进行范围归一化处理,将图像的灰度值归一化到[0,255]的区间范围内,并利用腐蚀与膨胀处理轮廓图;再对单位步态周期的二值化步态轮廓进行平均处理,得到步态能量图;
对步态能量图的步态视角进行识别,得到各步态能量图的步态视角;
步骤2:通过身份保持循环式生成式对抗网络,对步态能量图进行步态视角转换,得到目标步态视角的步态能量图:
构建身份保持循环式生成式对抗网络并基于对应的训练集进行网络训练,通过训练好的身份保持循环式生成式对抗网络对步态能量图进行步态视角转换,得到目标步态视角的步态能量图;
所述身份保持循环式生成式对抗网络包括两个生成器GS2T与GT2S,分别用于源域向目标域的转换,以及目标域至源域的转换;其中,源域对应步态视角转换前的步态能量图p 表示个体,Vs表示转换前的步态视角;目标域对应目标角度的步态能量图VT表示目标步态视角;
两个相似判别器,分别为DS2T与DT2S,分别用于源域向目标域的转换和目标域向源域的转换过程中像素的相似度判别;
其中,在源域向目标域的转换过程中,设置的损失函数如下:
其中,E表示期望输出,其中源域向目标域转换过程中的判别器DPS-S2T用于计算输入图像与目标域的相似度,GS2T表示源域向目标的转换生成过程;
其中,在目标域向源域转换的过程中,设置的损失函数如下:
类似的,E表示期望输出,目标域向源域转换过程中判别器DPS-T2S用于计算输入图像与目标域的相似度,GT2S表示目标域向源域的转换生成过程;
身份保持判别器,也分为源域向目标域转换过程的身份保持判别器与目标域向源域转换过程的判别器;
则源域向目标域转换过程中的判别器损失函数如下:
则目标域向源域转换过程中的判别器损失函数如下:
步骤3:提取目标步态视角的步态能量图的特征向量,进行步态识别处理。
进一步的,步骤3中,特征向量为:将步态视角转换过程中,得到的转换后的图像,进行向量化处理操作,并对其进行特征降维处理后,再进行步态识别处理。
其中,特征降维处理方式为PCA降维处理,从而得到更具有表征能力的低维特征。
进一步的步骤3中,采用步态识别处理具体为:
利用k近邻算法(k-nearest neighbor,KNN),对待分类的待识别的图像,从已有数据库中分类,最终得到待分类图像的身份信息。
综上所述,由于采用了上述技术方案,本发明的有益效果是:通过身份保持循环式生成式对抗网络,实现身份信息的保留的前提下实现视角转换,进而提高跨视角步态识别的准确率。
附图说明
图1:具体实施方式中,本发明识别流程示意图。
图2:身份保持循环式生成式对抗网络原理示意图。
图3:视角转化效果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
参见图1,本发明提出的一种基于身份保持循环式生成式对抗网络的步态识别方法的具体实现过程如下:
S1:图像预处理,利用高斯混合模型进行背景建模,进而提取人体轮廓得到步态能量图 (Gait Energy Image,GEI):
S11:对步态视频进行背景建模;
利用高斯混合模型对固定摄像头采集到的步态视频图像进行建模,检测出运动行人。
其中,用K个高斯混合模型进行背景建模的公式如下:
其中,
高斯混合模型的训练步骤如下:
初始化:将第一帧像素中第一个高斯分布进行初始化,均值设置为当前像素的值,权重为1。其余K-1个高斯分布均值、权重均初始化为零。
混合高斯模型参数更新原则如下:
对于检测出的K个高斯混合模型中至少有一个高斯分布与像素值xt匹配,如果该像素点不能找到其中一个高斯分布的均值与该像素值偏差在2.5个标准差之内,那么该像素点即是前景,不进行参数更新操作。
如果能找到其中一个高斯分布的均值与该像素值偏差在2.5个标准差之内,则为背景,进行参数更新,更新规则如下
对于匹配的高斯分布的均值和协方差更新如下:
μj,t=(1-p)·μj,t-1+p·xt;
∑j,t=(l-ρ)·∑j,t-1+p·diag[(xt-μj,t)T(xt-μj,t)];
其中,α表示预置的学习率,ωi,t表示时刻t混合高斯模型中第i个高斯分布的权值,其中不同的像素值对应不同的权系数估计值;
对于所有K个高斯混合模型中没有与像素值xt匹配高斯分布时,则权重最小的模型将被替换为均值为当前像素值、标准差为初识较大值、权重较小值。
从当前K个高斯混合模型中,选取前B个模式作为背景,并将其权值记为wk,k=1,…,B,基于预设的背景所占比例T。则应该满足以下条件:
S12:通过S12过程,得到步态视频的前景与背景,提取前景轮廓,得到二值图像。如下
S13:将得到的轮廓图,从彩色空间转换到灰度空间,本具体实施方式中,转换公式为;
Igrey=Ired*0.299+Igreen*0.587+Iblue*0.114
其中,Igrey代表转换之后的灰度值,Ired、Igreen与Iblue分别代表原始图像的RGB值。
S14:对二值图像进行相应的腐蚀膨胀操作,得到更为完整的步态轮廓图,并将该步态轮廓进行中心化处理。
S15:对单位步态周期的步态轮廓二值图进行平均处理,得到GEI图像。处理过程如下:
S2:视角转化,利用身份保持循环式生成式对抗网络进行视角转换;
本具体实施方式中,利用身份保持循环式生成式对抗网络中循环生成的源域、目标域与负域的设定,进行视角转化。
源域即是输入图像,目标域是要转化的目标图像所在域,而负域定义的图片与目标域角度相同但个体不同。为了实现高精度的转化,本发明的身份保持循环式生成式对抗网络包含两个生成器,分别为GS2T与GT2S,其作用分别是实现源域向目标域的转换,以及目标域至源域的转换。相应的,有两个相似判别器,分别为DS2T与DT2S,其目的分别为实现源域向目标域的转换和目标域至源域的转换过程中像素的相似度。两个身份保持信息判别器与其作用分别为实现源域向目标域的转换和目标域先源域的转换过程中保持身份信息的不变性,其网络结构如图2所示,
视角转换的具体实现过程如下:
S21:进行源域与目标域的相似相似度转换。将个体p、视角Vs的步态图片定义为源域,该个体对应的90°或其它转换需求的角度的图片定义为目标域,即完成以下转化过程:
S22:为了使源域至目标域转化过程中,保证相似的相似性,设置判别器DS2T,其损失函数如下:
其中,E表示期望输出,DPS-S2T为判别器,其功能是衡量图片与目标域的相似度。
表示如下:
S23:进行源域与目标域的相似相似度转换。将个体p、视角VT的步态图片定义为源域,该个体对应的源域所在的角度图片定义为目标域,即完成以下转化过程:
S23:为了使源域至目标域转化过程中,保证相似的相似性,设置判别器DT2S,其损失函数如下:
其中,E表示期望输出,DPS-T2S为判别器,其功能是衡量图片与目标域的相似度。
表示如下:
基于上述视角转换过程,可以得到如图3所示的视角转换的处理结果,实现身份保持的跨视角转化,进而提高步态识别的准确率。S3:特征降维,对身份保持循环式生成式对抗网络得到的转化之后的图像,进行向量化操作,利用主成分分析法进行降维以得到低维特征;
将通过身份保持循环式生成式对抗网络最终得到的统一状态的步态图像,进行向量化操作,将得到的特征向量表征该图片,利用主成分分析法对该特征向量进行降维处理,得到更具有表征能力的低维特征向量。
S4:图像分类,通过k近邻算法(k-nearest neighbor,KNN),得到分类结果。
即对经过PCA降维之后的特征,利用KNN,对待分类的待要识别的图像,从已有数据库中中分类,最终得到待分类图像的身份信息。
本发明中,通过身份保持循环式生成式对抗网络,可以在保持身份信息的前提下,实现较大角度的步态图像转化。其示意图如图2所示。该网络包含两个生成器和四个判别器。其中,两个生成器为GS2T与GT2S,其作用分别是实现源域向目标域的转换,以及目标域先源域的转换。两个像素域相似度判别器分别为DS2T与DT2S,其目的分别为实现源域向目标域的转换和目标域先源域的转换过程中像素的相似度。两个身份保持信息判别器与其作用分别为实现源域向目标域的转换和目标域先源域的转换过程中保持身份信息的不变性。
通过身份保持循环式生成式对抗网络的生成器和判别器的设置,即可实现身份保持的跨视角转化,进而提高步态识别的准确率。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
Claims (4)
1.一种基于身份保持循环式生成式对抗网络的步态识别方法,其特征在于,包括如下步骤:
步骤1:提取步态视频的视频图像的人体轮廓,获取各视频图像的步态能量图:
基于高斯背景模型对步态视频序列进行背景建模,通过背景提取得到二值化的步态前景轮廓图;
对步态前景轮廓图进行范围归一化处理,并利用腐蚀与膨胀处理轮廓图;再对单位步态周期的二值化步态轮廓进行平均处理,得到步态能量图;
对步态能量图的步态视角进行识别,得到各步态能量图的步态视角;
步骤2:通过身份保持循环式生成式对抗网络,对步态能量图进行步态视角转换,得到目标步态视角的步态能量图;
所述身份保持循环式生成式对抗网络包括两个生成器GS2T与GT2S,分别用于源域向目标域的转换、以及目标域向源域的转换的生成过程;其中,源域对应步态视角转换前的步态能量图p表示个体,Vs表示转换前的步态视角;目标域对应目标角度的步态能量图VT表示目标步态视角;
两个相似判别器,分别为DS2T与DT2S,分别用于源域向目标域的转换和目标域向源域的转换过程中像素的相似度判别;
其中,在源域向目标域的转换过程中,设置的损失函数如下:
其中,E表示期望输出,其中源域向目标域转换过程中的判别器DPS-S2T用于计算输入图像与目标域的相似度,GS2T表示源域向目标的转换生成过程;
其中,在目标域向源域转换的过程中,设置的损失函数为:
其中,目标域向源域转换过程中判别器DPS-T2S用于计算输入图像与目标域的相似度,GT2S表示目标域向源域的转换生成过程;
则源域向目标域转换过程中的判别器损失函数如下:
步骤3:提取目标步态视角的步态能量图的特征向量,进行步态识别处理。
2.如权利要求1所述的方法,其特征在于,步骤3中,提取目标步态视角的步态能量图的特征向量具体为:对目标步态视角的步态能量图进行向量化处理操作,并对其进行特征降维处理。
3.如权利要求2所述的方法,其特征在于,步骤3中采用主成分分析法进行特征降维处理。
4.如权利要求1、2或3所述的方法,其特征在于,步骤3中,采用步态识别处理具体为:
基于待分类的待识别的图像的目标步态视角的步态能量图,利用k近邻算法,对待分类的待识别的图像,从已有数据库中分类,最终得到待分类的待识别图像的身份信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910820059.8A CN110659586B (zh) | 2019-08-31 | 2019-08-31 | 一种基于身份保持循环式生成式对抗网络的步态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910820059.8A CN110659586B (zh) | 2019-08-31 | 2019-08-31 | 一种基于身份保持循环式生成式对抗网络的步态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110659586A CN110659586A (zh) | 2020-01-07 |
CN110659586B true CN110659586B (zh) | 2022-03-15 |
Family
ID=69037816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910820059.8A Active CN110659586B (zh) | 2019-08-31 | 2019-08-31 | 一种基于身份保持循环式生成式对抗网络的步态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110659586B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111310587B (zh) * | 2020-01-19 | 2023-04-28 | 中国计量大学 | 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法 |
CN111401303B (zh) * | 2020-04-08 | 2022-06-14 | 山东大学 | 一种身份与视角特征分离的跨视角步态识别方法 |
CN111652233B (zh) * | 2020-06-03 | 2023-04-25 | 哈尔滨工业大学(威海) | 一种针对复杂背景的文本验证码自动识别方法 |
CN112001254B (zh) * | 2020-07-23 | 2021-07-13 | 浙江大华技术股份有限公司 | 一种行人识别的方法及相关装置 |
CN113378714B (zh) * | 2021-06-10 | 2024-03-19 | 大连海事大学 | 一种跨场景不变和类别信息保持的步态表示方法及系统 |
CN115205903B (zh) * | 2022-07-27 | 2023-05-23 | 华中农业大学 | 一种基于身份迁移生成对抗网络的行人重识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
CN108596026A (zh) * | 2018-03-16 | 2018-09-28 | 中国科学院自动化研究所 | 基于双流生成对抗网络的跨视角步态识别装置及训练方法 |
CN109726654A (zh) * | 2018-12-19 | 2019-05-07 | 河海大学 | 一种基于生成对抗网络的步态识别方法 |
CN109753935A (zh) * | 2019-01-09 | 2019-05-14 | 中南大学 | 一种基于生成对抗图像补全网络的步态识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130201316A1 (en) * | 2012-01-09 | 2013-08-08 | May Patents Ltd. | System and method for server based control |
-
2019
- 2019-08-31 CN CN201910820059.8A patent/CN110659586B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107085716A (zh) * | 2017-05-24 | 2017-08-22 | 复旦大学 | 基于多任务生成对抗网络的跨视角步态识别方法 |
CN108596026A (zh) * | 2018-03-16 | 2018-09-28 | 中国科学院自动化研究所 | 基于双流生成对抗网络的跨视角步态识别装置及训练方法 |
CN109726654A (zh) * | 2018-12-19 | 2019-05-07 | 河海大学 | 一种基于生成对抗网络的步态识别方法 |
CN109753935A (zh) * | 2019-01-09 | 2019-05-14 | 中南大学 | 一种基于生成对抗图像补全网络的步态识别方法 |
Non-Patent Citations (2)
Title |
---|
"VN-GAN: Identity-preserved Variation Normalizing GAN for Gait Recognition";Zhang P;《 2019 International Joint Conference on Neural Networks (IJCNN)》;20190719;第1-8页 * |
"多视角步态识别综述";王科俊;《自动化学报》;20190531;第841-852页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110659586A (zh) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659586B (zh) | 一种基于身份保持循环式生成式对抗网络的步态识别方法 | |
US6292575B1 (en) | Real-time facial recognition and verification system | |
KR101185525B1 (ko) | 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별 | |
Lin | Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network | |
CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
CN104732200B (zh) | 一种皮肤类型和皮肤问题的识别方法 | |
Li et al. | Common feature discriminant analysis for matching infrared face images to optical face images | |
CN110991389A (zh) | 判断目标行人在非重叠相机视角中出现的匹配方法 | |
CN108960258A (zh) | 一种基于自学习深度特征的模板匹配方法 | |
CN111832405A (zh) | 一种基于hog和深度残差网络的人脸识别方法 | |
Kumar et al. | LBP based biometrie identification using the periocular region | |
CN109766748A (zh) | 一种基于投影变换与字典学习的行人再识别的方法 | |
Nuraisha et al. | Implementation of K-NN based on histogram at image recognition for pornography detection | |
Guo et al. | Person re-identification by weighted integration of sparse and collaborative representation | |
Taha et al. | Iris features extraction and recognition based on the local binary pattern technique | |
Huang et al. | Multi-cue semi-supervised color constancy with limited training samples | |
Achban et al. | Wrist hand vein recognition using local line binary pattern (LLBP) | |
Huang et al. | Regularized trace ratio discriminant analysis with patch distribution feature for human gait recognition | |
CN115203663A (zh) | 小视角远距离视频步态精准识别身份认证系统 | |
CN110222599B (zh) | 一种基于高斯映射的步态识别方法 | |
Hamandi et al. | Multi-spectral hybrid invariant moment fusion technique for face identification. | |
Li et al. | 3D face recognition by constructing deformation invariant image | |
Li et al. | Hand target extraction from infrared images with descriptor based on pixel temporal characteristics | |
Maken | An elementary study on various techniques involved in face recognition systems: a review | |
Du et al. | Gender recognition using fisherfaces and a fuzzy iterative self-organizing technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |