CN111931619B - 一种基于优化聚类算法的跨域步态重识别方法 - Google Patents

一种基于优化聚类算法的跨域步态重识别方法 Download PDF

Info

Publication number
CN111931619B
CN111931619B CN202010757753.2A CN202010757753A CN111931619B CN 111931619 B CN111931619 B CN 111931619B CN 202010757753 A CN202010757753 A CN 202010757753A CN 111931619 B CN111931619 B CN 111931619B
Authority
CN
China
Prior art keywords
gaitset
dbscan
network
gait
family
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010757753.2A
Other languages
English (en)
Other versions
CN111931619A (zh
Inventor
颜成钢
郑锦凯
陈利
巩鹏博
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010757753.2A priority Critical patent/CN111931619B/zh
Publication of CN111931619A publication Critical patent/CN111931619A/zh
Application granted granted Critical
Publication of CN111931619B publication Critical patent/CN111931619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于优化聚类算法的跨域步态重识别方法，首先使用有标签的源域训练集初始化GaitSet网络参数；然后利用训练好的GaitSet网络输出的特征，通过优化后的聚类算法，给无标签的目标域训练集聚类赋伪标签，获得带有伪标签的目标域训练集；最后通过带有伪标签yt的目标域训练集更新GaitSet网络参数，最终通过更新后的GaitSet网络进行跨域步态重识别。本发明方法解决了传统聚类算法，聚类结果不可靠和噪声大的问题，提高了聚类结果的可靠性，提升跨域场景下的识别精度。

Description

一种基于优化聚类算法的跨域步态重识别方法
技术领域
本发明涉及步态识别技术领域，尤其可以应用于跨域的步态识别方面，具体地说，提出了一种利用优化的聚类算法来提升跨域场景下的步态识别。
背景技术
首先介绍行人重识别技术，行人重识别是指输入一个目标行人图像或视频片段，在拍摄区域不重叠的多摄像头监控网络中搜索与目标行人身份相同的行人。十多年来，该领域的研究人员从手工制作的特征到深度卷积神经网络(CNN)或递归神经网络(RNN)，现有方法的性能得到了显著提高。
然而，这些方法只考虑在单个数据集上训练和测试模型，而忽略了跨域(交叉数据集)的情况，因此，研究人员也研究了无监督的跨域行人重识别任务，通常的做法是首先采用CNN对有标记的源域数据进行预训练，然后在未标记的目标域数据中提取特征。再利用K-means或DBSCAN等聚类方法应用于目标域数据生成伪标签。最后，利用带有伪标签的目标样本对CNN进行微调。
步态识别是行人重识别的一种特例。步态是一种极具潜质的生物特征，它反映了行人的行走模式。由于存在运动差异和体型差异，每个人的步态都是唯一的，利用步态可以唯一识别视频中的目标行人。现存的步态识别技术可分为传统步态识别和基于深度学习的步态识别两类：
传统的步态识别方法大致分为两类：基于模型的步态识别和基于外形的步态识别，前者是通过对人体肢体运动模式进行建模来刻画步态参数，如运动轨迹、肢体长度、肢体弯曲角度等，然后利用运动模式的差异辨别不同的行人，后者则是直接从捕获的步态序列中提取步态的空间信息和时序信息，然后通过计算特征之间的相似性来完成步态识别。
近些年，深度学习在图像、视频、语音等方面取得了突破性的进展，并展现了强大的特征学习能力。目前，最先进的基于深度学习的方法进行步态识别的工作是发表在AAAI2019上的GaitSet，它巧妙的将步态轮廓图当作没有时序关系的图像集，让深度神经网络自身优化去提取并利用步态轮廓图之间的时序关系，从而充分利用时间-空间信息，并取得了当前在单个步态数据集上最好的步态识别效果。
尽管深度学习对步态识别有了很大的改进，但现有的研究只考虑在单个步态数据集上进行模型的训练和测试，它们仍然忽略了一个更实用但更具挑战性的任务-跨域/数据集的步态识别。由于跨域会存在域间类别数不对等和数据风格不一致等问题，所以将一个步态数据集上训练的模型直接应用于其他步态数据集进行测试，通常会获得较差的结果。
发明内容
本发明针对跨域步态识别任务，提出了一种基于优化聚类算法的跨域步态重识别方法。为了从步态序列中学习到有效的特征，我们采用当前最先进的深度学习模型GaitSet作为本发明的主干网络。首先，我们在源域数据集上有监督的训练GaitSet网络，并将此作为目标域上的先验知识。接着，使用优化聚类方法，给无标签的目标域训练集生成伪标签。最后通过优化后的伪标签更新GaitSet网络参数，是其在无真实标签的目标域达到不错的重识别效果。总之，我们的方法通过优化聚类算法，使得伪标签越来越可靠，从而提升跨域步态识别的性能。
一种基于优化聚类算法的跨域步态重识别方法，步骤如下：
步骤1、使用有标签的源域训练集初始化GaitSet网络参数；
步骤2、利用训练好的GaitSet网络输出的特征，通过优化后的聚类算法，给无标签的目标域训练集聚类赋伪标签，获得带有伪标签的目标域训练集；
步骤3、利用步骤2获得的目标域训练集伪标签yt，进一步通过带有伪标签yt的目标域训练集更新GaitSet网络参数，最终通过更新后的GaitSet网络进行跨域步态重识别；
步骤1具体操作如下：
通过有标签的源域训练集训练GaitSet网络，并同时使用Triplet loss梯度反传更新GaitSet网络的参数。采用的Triplet loss的数学定义如下：
其中，F()代表GaitSet网络，N是训练集中步态序列的数量，是第i个步态序列，这里称之为锚样本anchor，/>和/>分别是锚样本anchor的正样本和负样本，m是控制两对距离疏远程度的阈值。
步骤2、具体操作如下：
采用3个DBSCAN：DBSCANoriginal、DBSCANloose和DBSCANtight来减轻错误聚类带来的风险。
DBSCAN是一种基于密度聚类的传统算法，其用到的主要参数有两个，一个族内半径，一个是族内样本数。本发明的3个DBSCAN均设置组内样本数为4，其次它们的族内半径分别设置如下：DBSCANoriginal的族内半径取值为0.6，DBSCANloose的族内半径取值为0.62和DBSCANtight的族内半径取值为0.58。
通过松散性Rindep和紧致性Rcomp来判别DBSCAN聚类后的族的可靠性，松散性Rindep的数学定义如下：
其中，f是经过GaitSet网络输出的特征，I(f)指DBSCANoriginal聚类的一个族，Iloose(f)指DBSCANloose聚类的一个族。
紧致性Rcomp的数学定义如下：
其中，f是经过GaitSet网络输出的特征，I(f)指DBSCANoriginal聚类的一个族，Icomp(f)指DBSCANtight聚类的一个族。
当Rindep和Rcomp都越接近于1，说明对应的族越可靠。通过设定松散性阈值α和紧致性阈值β来判断族的可靠性，当Rindep>α且Rcomp>β(α,β∈[0,1])时，即认定该族是可靠的，否则就丢弃该族。
最终3个DBSCAN通过松散性和紧致性判定获得可靠的目标域训练集伪标签yt。
步骤3、具体操作如下：
通过带有伪标签yt的目标域训练集再次采用步骤1的训练方式训练GaitSet网络，同样使用Triplet loss反传梯度，更新步骤1中得到的GaitSet网络参数，最终通过更新后的GaitSet网络进行跨域步态重识别，即在目标域的测试集进行步态的重识别测试。
本发明有益结果如下：
1、一定程度上，解决了传统聚类算法，聚类结果不可靠和噪声大的问题。
2、利用本发明介绍的紧致性、松散性和3个DBSCAN优化聚类过程，提高了聚类结果的可靠性。
3、将本发明介绍的优化聚类算法应用于跨域步态重识别场景，提升跨域场景下的识别精度。
附图说明
图1为本发明方法的整体框架流程图；
图2为本发明提出的好的松散性展示图；
图3为本发明提出的差的松散性展示图；
图4为本发明提出的好的紧致性展示图；
图5为本发明提出的差的紧致性展示图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步的详细说明。
本发明提出了一种基于优化聚类算法的跨域步态重识别方法。图1为本发明方法整体框架流程图；下面详细说明本发明的各个步骤：
步骤1、使用有标签的源域训练集初始化GaitSet网络参数；
目前在单数据集上的步态识别识别性能最好是GaitSet网络，该网络很好的利用步态序列的时空信息，取得了SOTA的步态识别性能。采用GaitSet网络作为主干模型，首先通过有标签的源域训练集训练GaitSet网络，并同时使用Triplet loss梯度反传更新GaitSet网络的参数。采用的Triplet loss的数学定义如下：
其中，F()代表GaitSet网络，N是训练集中步态序列的数量，是第i个步态序列，这里称之为锚样本anchor，/>和/>分别是锚样本anchor的正样本和负样本，m是控制两对距离疏远程度的阈值。
步骤2、利用训练好的GaitSet网络输出的特征，通过优化后的聚类算法，给无标签的目标域训练集聚类赋伪标签，获得带有伪标签的目标域训练集；
传统的聚类算法，如DBSCAN，聚类后的伪标签往往都是存在错误聚类的情况，这是跨域识别性能低下的重要原因之一，本发明采用3个DBSCAN：DBSCANoriginal、DBSCANloose和DBSCANtight来减轻错误聚类带来的风险。
DBSCAN是一种基于密度聚类的传统算法，其用到的主要参数有两个，一个族内半径，一个是族内样本数。本发明的3个DBSCAN均设置组内样本数为4，其次它们的族内半径分别设置如下：DBSCANoriginal的族内半径取值为0.6，DBSCANloose的族内半径取值为0.62和DBSCANtight的族内半径取值为0.58。
通过松散性Rindep和紧致性Rcomp来判别DBSCAN聚类后的族的可靠性，松散性Rindep的数学定义如下：
其中，f是经过GaitSet网络输出的特征，I(f)指DBSCANoriginal聚类的一个族，Iloose(f)指DBSCANloose聚类的一个族。
紧致性Rcomp的数学定义如下：
其中，f是经过GaitSet网络输出的特征，I(f)指DBSCANoriginal聚类的一个族，Icomp(f)指DBSCANtight聚类的一个族。
当Rindep和Rcomp都越接近于1，说明对应的族越可靠。通过设定松散性阈值α和紧致性阈值β来判断族的可靠性，当Rindep>α且Rcomp>β(α,β∈[0,1])时，即认定该族是可靠的，否则就丢弃该族。
最终3个DBSCAN通过松散性和紧致性判定获得可靠的目标域训练集伪标签yt。
图2为本发明提出的好的松散性展示图；
图3为本发明提出的差的松散性展示图；
图4为本发明提出的好的紧致性展示图；
图5为本发明提出的差的紧致性展示图。
步骤3、利用步骤2获得的目标域训练集伪标签yt，进一步通过带有伪标签yt的目标域训练集更新GaitSet网络参数，最终通过更新后的GaitSet网络进行跨域步态重识别；
通过带有伪标签yt的目标域训练集再次采用步骤1的训练方式训练GaitSet网络，同样使用Triplet loss反传梯度，更新步骤1中得到的GaitSet网络参数，最终通过更新后的GaitSet网络进行跨域步态重识别，即在目标域的测试集进行步态的重识别测试。

Claims (2)

1.一种基于优化聚类算法的跨域步态重识别方法，其特征在于，步骤如下：
步骤1、使用有标签的源域训练集初始化GaitSet网络参数；
步骤2、利用训练好的GaitSet网络输出的特征，通过优化后的聚类算法，给无标签的目标域训练集进行聚类，赋予伪标签，获得带有伪标签的目标域训练集；
步骤3、利用步骤2获得的目标域训练集伪标签yt，进一步通过带有伪标签yt的目标域训练集更新GaitSet网络参数，最终通过更新后的GaitSet网络进行跨域步态重识别；
步骤1具体操作如下：
通过有标签的源域训练集训练GaitSet网络，并同时使用Triplet loss梯度反传更新GaitSet网络的参数；采用的Triplet loss的数学定义如下：
其中，F()代表GaitSet网络，N是训练集中步态序列的数量，Xi a是第i个步态序列，这里称之为锚样本anchor，Xi p和Xi n分别是锚样本anchor的正样本和负样本，m是控制两对距离疏远程度的阈值；
步骤2具体操作如下：
采用3个DBSCAN：DBSCANoriginal、DBSCANloose和DBSCANtight；
DBSCAN是一种基于密度聚类的传统算法，其用到的参数包括，一个族内半径，一个是族内样本数；所述3个DBSCAN均设置组内样本数为4，其次它们的族内半径分别设置如下：DBSCANoriginal的族内半径取值为0.6，DBSCANloose的族内半径取值为0.62和DBSCANtight的族内半径取值为0.58；
通过松散性Rindep和紧致性Rcomp来判别DBSCAN聚类后的族的可靠性，松散性Rindep的数学定义如下：
其中，f是经过GaitSet网络输出的特征，I(f)指DBSCANoriginal聚类的一个族，Iloose(f)指DBSCANloose聚类的一个族；
紧致性Rcomp的数学定义如下：
其中，f是经过GaitSet网络输出的特征，I(f)指DBSCANoriginal聚类的一个族，Itight(f)指DBSCANtight聚类的一个族；
当Rindep和Rcomp都越接近于1，说明对应的族越可靠；通过设定松散性阈值α和紧致性阈值β来判断族的可靠性，当Rindep>α且Rcomp>β，α,β∈[0,1]时，即认定该族是可靠的，否则就丢弃该族；
最终所述3个DBSCAN通过松散性和紧致性判定获得可靠的目标域训练集伪标签yt。
2.根据权利要求1所述的一种基于优化聚类算法的跨域步态重识别方法，其特征在于，步骤3具体操作如下：
通过带有伪标签yt的目标域训练集再次采用步骤1的训练方式训练GaitSet网络，同样使用Tripletloss反传梯度，更新步骤1中得到的GaitSet网络参数，最终通过更新后的GaitSet网络进行跨域步态重识别，即在目标域的测试集进行步态的重识别测试。
CN202010757753.2A 2020-07-31 2020-07-31 一种基于优化聚类算法的跨域步态重识别方法 Active CN111931619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010757753.2A CN111931619B (zh) 2020-07-31 2020-07-31 一种基于优化聚类算法的跨域步态重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010757753.2A CN111931619B (zh) 2020-07-31 2020-07-31 一种基于优化聚类算法的跨域步态重识别方法

Publications (2)

Publication Number Publication Date
CN111931619A CN111931619A (zh) 2020-11-13
CN111931619B true CN111931619B (zh) 2024-04-05

Family

ID=73314973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010757753.2A Active CN111931619B (zh) 2020-07-31 2020-07-31 一种基于优化聚类算法的跨域步态重识别方法

Country Status (1)

Country Link
CN (1) CN111931619B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378714B (zh) * 2021-06-10 2024-03-19 大连海事大学 一种跨场景不变和类别信息保持的步态表示方法及系统
CN113792758B (zh) * 2021-08-18 2023-11-07 中国矿业大学 一种基于自监督学习和聚类的滚动轴承故障诊断方法
CN116246349B (zh) * 2023-05-06 2023-08-15 山东科技大学 一种基于渐进式子域挖掘的单源域领域泛化步态识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555390A (zh) * 2019-08-09 2019-12-10 厦门市美亚柏科信息股份有限公司 基于半监督训练方式的行人重识别方法、装置及介质
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555390A (zh) * 2019-08-09 2019-12-10 厦门市美亚柏科信息股份有限公司 基于半监督训练方式的行人重识别方法、装置及介质
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双流步态网络的跨视角步态识别;汪堃;雷一鸣;张军平;;模式识别与人工智能(第05期);全文 *

Also Published As

Publication number Publication date
CN111931619A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931619B (zh) 一种基于优化聚类算法的跨域步态重识别方法
Shen et al. Generative adversarial learning towards fast weakly supervised detection
CN106056628B (zh) 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN110929679B (zh) 一种基于gan的无监督自适应行人重识别方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN110942025A (zh) 一种基于聚类的无监督跨域行人重识别方法
CN111611847A (zh) 基于尺度注意力空洞卷积网络的视频动作检测方法
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN108805077A (zh) 一种基于三元组损失函数的深度学习网络的人脸识别系统
CN110188668B (zh) 一种面向小样本视频动作分类的方法
CN112989920B (zh) 一种基于帧级特征蒸馏神经网络的脑电情绪分类系统
CN112085055A (zh) 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN113642547A (zh) 一种基于密度聚类的无监督域适应人物重识别方法及系统
CN114239652A (zh) 基于聚类的对抗部分域适应跨被试eeg情绪识别方法
CN111291705B (zh) 一种跨多目标域行人重识别方法
Zhu et al. Unsupervised voice-face representation learning by cross-modal prototype contrast
CN115311605A (zh) 基于近邻一致性和对比学习的半监督视频分类方法及系统
CN114417975A (zh) 基于深度pu学习与类别先验估计的数据分类方法及系统
CN113449676A (zh) 一种基于双路互促进解纠缠学习的行人重识别方法
CN116821764A (zh) 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法
CN110046608B (zh) 基于半耦合鉴别字典学习的叶遮挡行人重识别方法及系统
CN115472182A (zh) 一种基于注意力特征融合的多通道自编码器的语音情感识别方法及装置
CN114936583A (zh) 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant