CN115100690B - 一种基于联合学习的图像特征提取方法 - Google Patents
一种基于联合学习的图像特征提取方法 Download PDFInfo
- Publication number
- CN115100690B CN115100690B CN202211015620.3A CN202211015620A CN115100690B CN 115100690 B CN115100690 B CN 115100690B CN 202211015620 A CN202211015620 A CN 202211015620A CN 115100690 B CN115100690 B CN 115100690B
- Authority
- CN
- China
- Prior art keywords
- feature
- sub
- networks
- value
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于联合学习的图像特征提取方法,在一个端到端的网络中同时实现了交叉图像特征提取和单图像特征提取,并采用分段聚类方法,通过离线精炼硬伪标签和在线精炼软伪标签的交替训练方式学习更好的特征,同时利用交叉图像特征的神经网络超参数优化单图像特征的提取,最终将单图像特征和交叉图像特征融合编码,作为无监督行人重识别的图像特征,有效提高了行人重识别准确率,减弱摄像头视野变化,背景变化等因素对无监督行人重识别的干扰。
Description
技术领域
本发明属于行人重识别领域,尤其是涉及一种基于联合学习的图像特征提取方法。
背景技术
行人重识别是计算机视觉技术的一个重要领域,是指在给定目标行人的图像序列,在拍摄区域不重叠的多摄像头监控网络中搜索与其身份相同的行人,能够在大规模监控网络中对目标人物进行快速、高效的识别和追踪,从而对视频安防监控起到十分重要的作用。
随着机器学习的快速发展,行人搜索中的多个研究问题都得到了十分有效的解决,但是由于受到监控环境中相机视角变化、人体姿态变化、光照变化、背景干扰和遮挡等因素的影响,我们通常无法获得高质量的行人图像或视频,传统的有监督行人重识别在实际应用中缺乏可扩展性和实用性,因此无监督域自适应行人重识别成为了重要的发展方向。
在无监督域自适应行人重识别中,模型在标记的源数据集中进行训练以生成预训练模型,然后在未标记的目标数据集中训练预训练模型以生成训练好的模型。但在现有技术条件下,在大多数无监督域自适应行人重识别方法中,只对单个图像进行特征提取,忽略了具有相同身份的交叉视图图像之间的差异以及每个图像之间的关系,导致现有的行人重识别准确率存在无法进一步提高的问题。
发明内容
有鉴于此,本发明旨在提出一种基于联合学习的图像特征提取方法,采用分段聚类方法,离线精炼硬伪标签和在线精炼软伪标签的交替训练方式学习更好的特征,通过单图像特征和交叉图像特征进行融合实现行人图片特征的高效优化提取,能够有效提高无监督行人重识别的准确度。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于联合学习的图像特征提取方法,包括:
步骤1:使用源数据集训练出两个具有不同初始化的相同深度神经网络;
步骤2:分别在两个深度神经网络中,把相应的深度神经网络截取成网络N_1和子网络N S _1,并建立一个与子网络N S _1结构完全相同的子网络N S _2,构建一个由共享的网络N_1和两个平行分支的子网络N S _1和子网络N S _2组成的整体网络模型;
步骤3:分别在两个深度神经网络中,输入以不同身份的行人排序,同一身份行人包括偶数张图片的行人图片数据集,使用对应的子网络N_1分别对行人图片进行特征提取,每张图片均得到feature_1特征值;进一步把偶数图片的feature_1特征值作为该张图片的feature_f特征值;奇数图片把该张图片的feature_1特征值与后一张相同身份图片的feature_1特征值拼接在一起,通过卷积降维得到与feature_1特征值长度相同的feature_f特征值作为该张图片的feature_f特征值;
步骤4:分别在两个深度神经网络中,把行人图片数据集的feature_1特征值继续对应输入到子网络N S _1中进行特征学习得到单图像特征feature_s值;把行人图片数据集的feature_f特征值继续对应输入到子网络N S _2中进行特征学习得到交叉图像特征feature_c值;
步骤5:分别在两个深度神经网络中,在预定的迭代次数内,对单图像特征feature_1进行聚类计算,生成对应伪标签;超出预定的迭代次数后,取对应行人图片的单图像特征feature_s值和交叉图像特征feature_c值的每一维特征的均值作为融合特征进行聚类计算,生成对应伪标签;
步骤6:分别在两个深度神经网络中,利用带有伪标签的行人图片更新行人图片数据集,然后返回步骤3,利用更新后行人图片数据集输入到整体网络模型进行训练,到达设定的迭代次数;在对两个整体网络模型进行训练时,使用相同网络损失函数L进行约束;
步骤7:当到达设定的迭代次数后,选择任一训练好的整体网络模型,输入需要提取特征的行人图片数据集,得到每张行人图片的单图像特征feature_s值以及交叉图像特征feature_c值,再把单图像特征feature_s值以及交叉图像特征feature_c值的每一维特征的均值或最大值作为最终的基于联合学习的图像特征提取feature_r值,完成基于联合学习的图像特征提取。
相对于现有技术,本发明公开的一种基于联合学习的图像特征提取方法,具有以下优势:
本发明公开的一种基于联合学习的图像特征提取方法,在一个端到端的网络中同时实现了交叉图像特征提取和单图像特征提取,并采用分段聚类方法,通过离线精炼硬伪标签和在线精炼软伪标签的交替训练方式学习更好的特征,同时利用交叉图像特征的神经网络超参数优化单图像特征的提取,最终将单图像特征和交叉图像特征融合编码,作为无监督行人重识别的图像特征,有效提高了行人重识别准确率,减弱摄像头视野变化,背景变化等因素对无监督行人重识别的干扰。
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
在附图中:
图1为本发明实施例所述的一种基于联合学习的图像特征提取方法结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示:步骤1:使用源数据集训练出两个具有不同初始化的相同深度神经网络;
步骤2:分别在两个深度神经网络中,把相应的深度神经网络截取成网络N_1和子网络N S _1,并建立一个与子网络N S _1结构完全相同的子网络N S _2,构建一个由共享的网络N_1和两个平行分支的子网络N S _1和子网络N S _2组成的整体网络模型;
步骤3:分别在两个深度神经网络中,输入以不同身份的行人排序,同一身份行人包括偶数张图片的行人图片数据集,使用对应的子网络N_1分别对行人图片进行特征提取,每张图片均得到feature_1特征值;进一步把偶数图片的feature_1特征值作为该张图片的feature_f特征值;奇数图片把该张图片的feature_1特征值与后一张相同身份图片的feature_1特征值拼接在一起,通过卷积降维得到与feature_1特征值长度相同的feature_f特征值作为该张图片的feature_f特征值;
在本实施例中,行人图片数据集一次输入8个身份的行人图片,同一身份的行人图片输入8张图像,即一次输入64张行人图片。
在本实施例中,每个feature_1特征值为1024维。
步骤4:分别在两个深度神经网络中,把行人图片数据集的feature_1特征值继续对应输入到子网络N S _1中进行特征学习得到单图像特征feature_s值;把行人图片数据集的feature_f特征值继续对应输入到子网络N S _2中进行特征学习得到交叉图像特征feature_c值;
步骤5:分别在两个深度神经网络中,在预定的迭代次数内,对单图像特征feature_1进行聚类计算,生成对应伪标签;在本实施例中,预定的迭代次数是20次,超出预定的迭代次数后,取对应行人图片的单图像特征feature_s值和交叉图像特征feature_c值的每一维特征的均值作为融合特征进行聚类计算,生成对应伪标签;
步骤6:分别在两个深度神经网络中,利用带有伪标签的行人图片更新行人图片数据集,然后返回步骤3,利用更新后行人图片数据集输入到整体网络模型进行训练,到达设定的迭代次数;在对两个整体网络模型进行训练时,使用相同网络损失函数L进行约束。在本实施例中,设定的迭代次数是80次。
步骤7:当到达设定的迭代次数后,选择任一训练好的整体网络模型,输入需要提取特征的行人图片数据集,得到每张行人图片的单图像特征feature_s值以及交叉图像特征feature_c值,再把单图像特征feature_s值以及交叉图像特征feature_c值的每一维特征的均值或最大值作为最终的基于联合学习的图像特征提取feature_r值,完成基于联合学习的图像特征提取。
进一步,在步骤1中,源数据集是DukeMTMC数据集,深度神经网络是Resnet50网络。
进一步,在步骤2中,在深度神经网络的conv4_x层的第4个Resblock输出节点处进行截取,将该节点前的Resnet50子网络作为N_1,将该节点后的Resnet50子网络作为N S _1。
在步骤6中,网络损失函数L如下:
其中:
行人图片数据集可以表示为,其中为行人图片数据集图片个数,每个行人图片可以用和表示;在两个深度神经网络中,子网络N S _1分支对应的特征转换函数是和,子网络N S _2对应的特征转换函数是和,为网络参数;指示为生成的伪标签,指示为生成的伪标签,两个子网络N S _1对应的可学习的目标域分类器分别为和,两个子网络N S _2对应的可学习的目标域分类器分别为和,两个子网络N S _1以及两个子网络N S _2的伪标签置信值预测为、、和;
在两个深度神经网络中,两个子网络N S _1分支以及两个子网络N S _2分支在当前迭代T的时间平均模型参数分别为、、以及,由两个时间平均模型生成的软伪标签是、、以及;以及分别表示在一个mini-batch中最不相似的正样本和最相似的负样本;是交叉熵损失,是二元交叉熵损失;= 0.5 , = 0.8。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于联合学习的图像特征提取方法,其特征在于:包括:
步骤1:使用源数据集训练出两个具有不同初始化的相同深度神经网络;
步骤2:分别在两个深度神经网络中,把相应的深度神经网络截取成网络N_1和子网络N S _1,并建立一个与子网络N S _1结构完全相同的子网络N S _2,构建一个由共享的网络N_1和两个平行分支的子网络N S _1和子网络N S _2组成的整体网络模型;
步骤3:分别在两个深度神经网络中,输入以不同身份的行人排序,同一身份行人包括偶数张图片的行人图片数据集,使用对应的子网络N_1分别对行人图片进行特征提取,每张图片均得到feature_1特征值;进一步把偶数图片的feature_1特征值作为该张图片的feature_f特征值;奇数图片把该张图片的feature_1特征值与后一张相同身份图片的feature_1特征值拼接在一起,通过卷积降维得到与feature_1特征值长度相同的feature_f特征值作为该张图片的feature_f特征值;
步骤4:分别在两个深度神经网络中,把行人图片数据集的feature_1特征值继续对应输入到子网络N S _1中进行特征学习得到单图像特征feature_s值;把行人图片数据集的feature_f特征值继续对应输入到子网络N S _2中进行特征学习得到交叉图像特征feature_c值;
步骤5:分别在两个深度神经网络中,在预定的迭代次数内,对单图像特征feature_1进行聚类计算,生成对应伪标签;超出预定的迭代次数后,取对应行人图片的单图像特征feature_s值和交叉图像特征feature_c值的每一维特征的均值作为融合特征进行聚类计算,生成对应伪标签;
步骤6:分别在两个深度神经网络中,利用带有伪标签的行人图片更新行人图片数据集,然后返回步骤3,利用更新后行人图片数据集输入到整体网络模型进行训练,到达设定的迭代次数;在对两个整体网络模型进行训练时,使用相同网络损失函数L进行约束;
步骤7:当到达设定的迭代次数后,选择任一训练好的整体网络模型,输入需要提取特征的行人图片数据集,得到每张行人图片的单图像特征feature_s值以及交叉图像特征feature_c值,再把单图像特征feature_s值以及交叉图像特征feature_c值的每一维特征的均值或最大值作为最终的基于联合学习的图像特征提取feature_r值,完成基于联合学习的图像特征提取。
2.根据权利要求1所述的一种基于联合学习的图像特征提取方法,其特征在于:在步骤1中,源数据集是DukeMTMC数据集,深度神经网络是Resnet50网络。
3.根据权利要求2所述的一种基于联合学习的图像特征提取方法,其特征在于:在步骤2中,在深度神经网络的conv4_x层的第4个Resblock输出节点处进行截取,将该节点前的Resnet50子网络作为N_1,将该节点后的Resnet50子网络作为N S _1。
4.根据权利要求1所述的一种基于联合学习的图像特征提取方法,其特征在于:在步骤6中,网络损失函数L如下:
其中:
行人图片数据集可以表示为,其中为行人图片数据集图片个数,每个行人图片可以用和表示;在两个深度神经网络中,子网络N S _1分支对应的特征转换函数是和,子网络N S _2对应的特征转换函数是和,为网络参数;指示为生成的伪标签,指示为生成的伪标签,两个子网络N S _1对应的可学习的目标域分类器分别为和,两个子网络N S _2对应的可学习的目标域分类器分别为和,两个子网络N S _1以及两个子网络N S _2的伪标签置信值预测为、、和;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211015620.3A CN115100690B (zh) | 2022-08-24 | 2022-08-24 | 一种基于联合学习的图像特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211015620.3A CN115100690B (zh) | 2022-08-24 | 2022-08-24 | 一种基于联合学习的图像特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115100690A CN115100690A (zh) | 2022-09-23 |
CN115100690B true CN115100690B (zh) | 2022-11-15 |
Family
ID=83301753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211015620.3A Active CN115100690B (zh) | 2022-08-24 | 2022-08-24 | 一种基于联合学习的图像特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115100690B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116309651B (zh) * | 2023-05-26 | 2023-08-11 | 电子科技大学 | 一种基于单图深度学习的内窥镜图像分割方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666851A (zh) * | 2020-05-28 | 2020-09-15 | 大连理工大学 | 一种基于多粒度标签的交叉域自适应行人重识别方法 |
CN112836675A (zh) * | 2021-03-01 | 2021-05-25 | 中山大学 | 一种基于聚类生成伪标签的无监督行人重识别方法及系统 |
CN113065409A (zh) * | 2021-03-09 | 2021-07-02 | 北京工业大学 | 一种基于摄像分头布差异对齐约束的无监督行人重识别方法 |
CN114332517A (zh) * | 2021-12-10 | 2022-04-12 | 河北工业大学 | 基于样本过滤与伪标签精炼的无监督行人重识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110088776A (zh) * | 2016-10-06 | 2019-08-02 | 西门子股份公司 | 用于训练深度神经网络的计算机设备 |
CN109784182A (zh) * | 2018-12-17 | 2019-05-21 | 北京飞搜科技有限公司 | 行人重识别方法和装置 |
CN112633417A (zh) * | 2021-01-18 | 2021-04-09 | 天津大学 | 一种用于行人重识别的将神经网络模块化的行人深度特征融合方法 |
CN114821629A (zh) * | 2021-01-27 | 2022-07-29 | 天津大学 | 一种基于神经网络并行训练架构进行交叉图像特征融合的行人重识别方法 |
CN113378632B (zh) * | 2021-04-28 | 2024-04-12 | 南京大学 | 一种基于伪标签优化的无监督域适应行人重识别方法 |
CN114882521A (zh) * | 2022-03-30 | 2022-08-09 | 河北工业大学 | 基于多分支网络的无监督行人重识别方法及装置 |
-
2022
- 2022-08-24 CN CN202211015620.3A patent/CN115100690B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666851A (zh) * | 2020-05-28 | 2020-09-15 | 大连理工大学 | 一种基于多粒度标签的交叉域自适应行人重识别方法 |
CN112836675A (zh) * | 2021-03-01 | 2021-05-25 | 中山大学 | 一种基于聚类生成伪标签的无监督行人重识别方法及系统 |
CN113065409A (zh) * | 2021-03-09 | 2021-07-02 | 北京工业大学 | 一种基于摄像分头布差异对齐约束的无监督行人重识别方法 |
CN114332517A (zh) * | 2021-12-10 | 2022-04-12 | 河北工业大学 | 基于样本过滤与伪标签精炼的无监督行人重识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115100690A (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860678B (zh) | 一种基于聚类的无监督跨域行人重识别方法 | |
Lv et al. | Unsupervised cross-dataset person re-identification by transfer learning of spatial-temporal patterns | |
CN107506712B (zh) | 一种基于3d深度卷积网络的人类行为识别的方法 | |
CN109961051B (zh) | 一种基于聚类和分块特征提取的行人重识别方法 | |
CN110942025A (zh) | 一种基于聚类的无监督跨域行人重识别方法 | |
Zhang et al. | Image-to-video person re-identification with temporally memorized similarity learning | |
CN110929679B (zh) | 一种基于gan的无监督自适应行人重识别方法 | |
US20190332935A1 (en) | System and method for siamese instance search tracker with a recurrent neural network | |
CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
CN111723645A (zh) | 用于同相机内有监督场景的多相机高精度行人重识别方法 | |
CN112819065B (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 | |
CN112906606B (zh) | 一种基于相互分歧学习的域自适应行人重识别方法 | |
CN107491782B (zh) | 利用语义空间信息的针对少量训练数据的图像分类方法 | |
JP6620882B2 (ja) | ドメイン適応を用いたパターン認識装置、方法およびプログラム | |
CN115100690B (zh) | 一种基于联合学习的图像特征提取方法 | |
Nehashree | Simulation and Performance Analysis of Feature Extraction and Matching Algorithms for Image Processing Applications | |
Jemilda et al. | Moving object detection and tracking using genetic algorithm enabled extreme learning machine | |
CN107967441B (zh) | 一种基于双通道3d-2d rbm模型的视频行为识别方法 | |
CN113239801A (zh) | 基于多尺度特征学习和多级域对齐的跨域动作识别方法 | |
CN112200110A (zh) | 一种基于深度干扰分离学习的人脸表情识别方法 | |
CN111695531A (zh) | 一种基于异构卷积网络的跨域行人再识别方法 | |
CN112861705B (zh) | 一种基于混合学习的跨域行人重识别方法 | |
Rahimpour et al. | Attention-based few-shot person re-identification using meta learning | |
Saif et al. | Aggressive action estimation: a comprehensive review on neural network based human segmentation and action recognition | |
CN111160115B (zh) | 一种基于孪生双流3d卷积神经网络的视频行人再识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |