CN115063604B - 特征提取模型训练、目标重识别方法及装置 - Google Patents
特征提取模型训练、目标重识别方法及装置 Download PDFInfo
- Publication number
- CN115063604B CN115063604B CN202210941799.9A CN202210941799A CN115063604B CN 115063604 B CN115063604 B CN 115063604B CN 202210941799 A CN202210941799 A CN 202210941799A CN 115063604 B CN115063604 B CN 115063604B
- Authority
- CN
- China
- Prior art keywords
- domain
- target domain
- feature
- feature extraction
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 213
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000009795 derivation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域,本发明提供一种特征提取模型训练、目标重识别方法及装置,所述训练方法包括:将源域图像以及目标域图像分别输入至特征提取模型的初始模型,得到源域特征以及目标域特征;将目标域特征以及源域特征分别输入至域分类器的初始模型,得到目标域图像相对于源域图像分布的梯度以及目标域预测标签;基于梯度对目标域特征进行特征增强,得到目标域增强特征;基于目标域特征与目标域增强特征之间的差异、目标域簇类特征与目标域特征之间的差异以及实际域标签与预测域标签之间的差异,对特征提取模型的初始模型进行参数迭代,得到特征提取模型。本发明提高了特征提取模型的泛化性能,且保证了在目标域下的特征提取精度。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种特征提取模型训练、目标重识别方法及装置。
背景技术
目标重识别任务的目标是在图像数据库中匹配来自跨摄像机视角下与查询图像具有相同域类别的目标图像。
目前,多通过无监督域自适应方法进行目标重识别,即首先使用有标签的源域数据训练特征提取模型,随后基于无标签的目标域数据进一步优化特征提取模型。然而,该方法由于缺少目标域以外的数据,容易在目标域上过拟合,导致特征提取模型所提取的特征对域偏移的鲁棒性较差,进而影响目标重识别的精度。
发明内容
本发明提供一种特征提取模型训练、目标重识别方法及装置,用以解决现有技术中特征提取模型所提取的特征对域偏移的鲁棒性较差,进而影响目标重识别的精度的缺陷。
本发明提供一种特征提取模型训练方法,包括:
将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;
将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;
基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;
基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征。
根据本发明提供的一种特征提取模型训练方法,所述基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型,包括:
基于所述目标域特征与所述目标域增强特征之间的差异,确定样本级损失;
基于所述目标域簇类特征与所述目标域特征之间的差异,确定簇类损失;
基于所述实际域标签与所述预测域标签之间的差异,确定对抗损失;
基于所述样本级损失,所述簇类损失以及所述对抗损失,确定模型损失,并基于所述模型损失对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型。
根据本发明提供的一种特征提取模型训练方法,所述样本级损失基于如下公式确定:
根据本发明提供的一种特征提取模型训练方法,所述簇类损失基于如下公式确定:
根据本发明提供的一种特征提取模型训练方法,所述目标域增强特征基于如下公式确定:
根据本发明提供的一种特征提取模型训练方法,所述目标域簇类特征基于如下步骤确定:
基于目标域特征,以及不同类别簇类特征,确定所述目标域特征与各类别簇类特征之间的相似度;
将最大相似度对应的类别簇类特征作为所述目标域簇类特征。
根据本发明提供的一种特征提取模型训练方法,所述将最大相似度对应的类别簇类特征作为所述目标域簇类特征,之后还包括:
基于所述目标域特征,更新所述目标域簇类特征。
本发明还提供一种目标重识别方法,包括:
确定查询图像和检索图像库中的多个检索图像;
将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;
将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;
基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果;
所述特征提取模型基于如上所述的特征提取模型训练方法训练得到。
本发明还提供一种特征提取模型训练装置,包括:
特征提取单元,用于将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;
标签预测单元,用于将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;
特征增强单元,用于基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;
模型训练单元,用于基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征。
本发明还提供一种目标重识别装置,包括:
图像确定单元,用于确定查询图像和检索图像库中的多个检索图像;
第一提取单元,用于将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;
第二提取单元,用于将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;
结果确定单元,用于基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果;
所述特征提取模型基于如上所述的特征提取模型训练方法训练得到。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述特征提取模型训练方法,和/或,所述处理器执行所述程序时实现如上述任一种所述目标重识别方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述特征提取模型训练方法,和/或,该计算机程序被处理器执行时实现如上述任一种所述目标重识别方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述特征提取模型训练方法,和/或,所述计算机程序被处理器执行时实现如上述任一种所述目标重识别方法。
本发明提供的特征提取模型训练、目标重识别方法及装置,基于目标域特征与目标域增强特征之间的差异以及实际域标签与预测域标签之间的差异,对特征提取模型的初始模型进行参数迭代,能够实现最小化目标域与源域之间的差异,使得特征提取模型尽可能忽略域信息,进而提高了特征提取模型的泛化性能。同时,基于目标域簇类特征与目标域特征之间的差异,对特征提取模型的初始模型进行参数迭代,能够保证特征提取模型在目标域下的特征提取精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的特征提取模型训练方法的流程示意图;
图2是本发明提供的又一特征提取模型训练方法的流程示意图;
图3是本发明提供的目标重识别方法的流程示意图;
图4是本发明提供的特征提取模型训练装置的结构示意图;
图5是本发明提供的目标重识别装置的结构示意图;
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,多通过无监督域自适应方法进行目标重识别,即首先使用有标签的源域数据训练特征提取模型,随后基于无标签的目标域数据进一步优化特征提取模型。然而,该方法由于缺少目标域以外的数据,容易在目标域上过拟合,导致特征提取模型所提取的特征对域偏移的鲁棒性较差,进而影响目标重识别的精度。
对此,本发明提供一种特征提取模型训练方法。图1是本发明提供的特征提取模型训练方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤110、将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由特征提取模型的初始模型分别对源域图像和目标域图像进行特征提取,得到源域特征以及目标域特征。
具体地,源域图像指有标签的图像,目标域图像指没有标签的图像。特征提取模型用于对图像进行特征提取,在将源域图像以及目标域图像分别输入至特征提取模型的初始模型后,由特征提取模型的初始模型分别对源域图像以及目标域图像进行特征提取,得到源域特征以及目标域特征。
步骤120、将目标域特征以及源域特征分别输入至域分类器的初始模型,由域分类器的初始模型对源域特征求偏导,得到目标域图像相对于源域图像分布的梯度,以及对目标域特征进行域标签预测,得到目标域图像的预测域标签。
具体地,域分类器可以理解为一个二分类器,用于判断图像的所属域。目标域图像相对于源域图像分布的梯度用于表征对域分类器损失改变最大的扰动方向,从而基于目标域图像相对于源域图像分布的梯度可以获知域分类器在进行分类识别时对识别精度影响最大的方向。
此外,域分类器能够用于判断图像的所属域,从而在将目标域特征输入至域分类器的初始模型后,域分类器的初始模型可以对目标域特征进行域标签预测,得到目标域图像的预测域标签。其中,预测域标签用于表征域分类器的初始模型对目标域特征进行域标签预测时得到的预测结果。
步骤130、基于梯度,对目标域特征进行特征增强,得到目标域增强特征。
具体地,梯度用于表征对域分类器损失改变最大的扰动方向,从而基于梯度可以获知域分类器在进行分类识别时对识别精度影响最大的方向。
通过梯度,源域图像可以为目标域图像在进行特征增强时提供一个扩增方向,即以源域图像作为参考,对目标域特征进行特征增强,使得目标域增强特征与源域特征之间的差异尽量小。
步骤140、基于目标域特征与目标域增强特征之间的差异、目标域簇类特征与目标域特征之间的差异以及目标域图像的实际域标签与预测域标签之间的差异,对特征提取模型的初始模型进行参数迭代,得到特征提取模型;目标域簇类特征指与目标域特征同类别的簇类特征。
具体地,目标域增强特征是以源域图像作为参考,对目标域特征进行特征增强后得到的,从而得到的目标域增强特征与源域特征之间的差异较小,进而基于目标域特征与目标域增强特征之间的差异,对特征提取模型的初始模型进行参数迭代时,可以最小化目标域与源域之间的差异,使得特征提取模型尽可能忽略域信息,进而提高了特征提取模型的泛化性能。
目标域簇类特征指与目标域特征同类别的簇类特征,其可以是根据与目标域图像具有相同域的多个图像特征确定的。例如,可以建立记忆词典,并在记忆词典中存储大量具有不同域的簇类特征,然后将目标域特征与记忆词典中各簇类特征进行相似度计算,相似度越高,表明对应簇类特征为目标域簇类特征的概率越大。基于目标域簇类特征与目标域特征之间的差异,对特征提取模型的初始模型进行参数迭代时,可以使得特征提取模型能够高精度对目标域下的图像进行特征提取,即保证目标域下的特征提取精度。
基于实际域标签与预测域标签之间的差异,对特征提取模型的初始模型进行参数迭代时,能够使得特征提取模型提取的目标域特征与源域特征之间的差异尽可能小,即使得域分类器无法区分目标域特征与源域特征,保证模型的泛化性能。
可以理解的是,域分类器与特征提取模型可以构成生成式对抗网络进行对抗学习,在对抗学习过程中,域分类器致力于最大化目标域特征与源域特征之间的差异,特征提取模型则致力于最小化目标域特征与源域特征之间的差异。
本发明实施例提供的特征提取模型训练方法,基于目标域特征与目标域增强特征之间的差异以及实际域标签与预测域标签之间的差异,对特征提取模型的初始模型进行参数迭代,能够实现最小化目标域与源域之间的差异,使得特征提取模型尽可能忽略域信息,进而提高了特征提取模型的泛化性能。同时,基于目标域簇类特征与目标域特征之间的差异,对特征提取模型的初始模型进行参数迭代,能够保证特征提取模型在目标域下的特征提取精度。
基于上述实施例,基于目标域特征与目标域增强特征之间的差异、目标域簇类特征与目标域特征之间的差异以及目标域图像的实际域标签与预测域标签之间的差异,对特征提取模型的初始模型进行参数迭代,得到特征提取模型,包括:
基于目标域特征与目标域增强特征之间的差异,确定样本级损失;
基于目标域簇类特征与目标域特征之间的差异,确定簇类损失;
基于实际域标签与预测域标签之间的差异,确定对抗损失;
基于样本级损失,簇类损失以及对抗损失,确定模型损失,并基于模型损失对特征提取模型的初始模型进行参数迭代,得到特征提取模型。
具体地,目标域特征与目标域增强特征之间的差异越小,样本级损失越小,也就是特征提取模型能够尽可能忽略域信息,提高特征提取模型的泛化性能。
目标域簇类特征与目标域特征之间的差异越小,簇类损失越小,也就是特征提取模型能够高精度对目标域下的图像进行特征提取,保证特征提取的精度。
实际域标签与预测域标签之间的差异越小,对抗损失越小,也就是特征提取模型提取的目标域特征与源域特征之间的差异越小,进一步提高了特征提取模型的泛化性能。其中,域分类器与特征提取模型可以构成生成式对抗网络,进而对抗损失可以基于生成式对抗网络中计算损失的方式确定。
由此可见,基于样本级损失,簇类损失以及对抗损失,确定模型损失,并基于模型损失对特征提取模型的初始模型进行参数迭代,不仅能够保证特征提取模型的泛化性能,而且能够保证特征提取模型在目标域下的特征提取精度。其中,模型损失可以是对样本级损失,簇类损失以及对抗损失进行权重相加确定的。
基于上述任一实施例,样本级损失基于如下公式确定:
具体地,目标域增强特征是以源域图像作为参考,对目标域特征进行特征增强后得到的,从而得到的目标域增强特征与源域特征之间的差异较小,进而基于目标域特征与目标域增强特征之间的差异,确定的样本级损失能够最小化目标域与源域之间的差异,使得特征提取模型尽可能忽略域信息,进而提高了特征提取模型的泛化性能。
基于上述任一实施例,簇类损失基于如下公式确定:
具体地,目标域簇类特征指与目标域特征同类别的簇类特征,其可以是根据与
目标域图像具有相同域的多个图像特征确定的。例如,可以建立记忆词典,并在记忆词典中
存储大量具有不同域的簇类特征,然后将目标域特征与记忆词典中各簇类特征进行相似度
计算,相似度越高,表明对应簇类特征为目标域簇类特征的概率越大。基于目标域簇类特征
与目标域特征之间的差异,对特征提取模型的初始模型进行参数迭代时,可以使得特征提
取模型能够高精度对目标域下的图像进行特征提取,即保证目标域下的特征提取精度。
可以理解的是,记忆词典中不同域的簇类特征可以是基于如下步骤确定的:对大量样本图像特征进行聚类后,得到每个簇类下的多个样本图像特征,然后基于各簇类下的样本图像特征确定对应的簇类特征。其中,可以采用具有噪声的基于密度的聚类方法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)对样本图像特征进行聚类,还可以采用其它聚类方法,本发明实施例对此不作具体限定。
基于上述任一实施例,目标域增强特征基于如下公式确定:
对于任意一个源域,通过使用对应的域分类器,将在域变化最大方向上扩增出的目标域特征的新特征,即目标域增强特征,该目标域增强特征视为目标域特征的正样本对,并基于两者之间的差异计算样本级损失,小从而可以增加特征提取模型对域变换的鲁棒性。
基于上述任一实施例,目标域簇类特征基于如下步骤确定:
基于目标域特征,以及不同类别簇类特征,确定目标域特征与各类别簇类特征之间的相似度;
将最大相似度对应的类别簇类特征作为目标域簇类特征。
具体地,不同类别簇类特征用于表征不同域的簇类信息,目标域特征与任一类别簇类特征之间的相似度越高,表明目标域特征对应的域类别与该类别簇类特征对应的域类别相同的概率越高,也即该类别簇类特征为目标域簇类特征的概率越高。
基于上述任一实施例,将最大相似度对应的类别簇类特征作为目标域簇类特征,之后还包括:
基于目标域特征,更新目标域簇类特征。
具体地,在确定目标域簇类特征之后,由于目标域特征与目标域簇类特征的域类别相同,因此本发明实施例基于目标域特征更新目标域簇类特征,使得更新后的目标域簇类特征中包含有目标域特征,从而使得更新后的目标域簇类特征能够更加准确表征目标域下的特征信息。
需要说明的是,本发明实施例是基于目标域特征对目标域簇类特征进行更新,而不是分别对目标域簇类特征对应的每个样本图像特征进行更新,从而能够保证同一簇类特征更新的一致性。
基于上述任一实施例,本发明还提供一种特征提取模型训练方法,如图2所示,该方法包括:
首先,将目标域图像和多个源域图像输入特征提取模型,提取得到源域特征和目标域特征。
接着,将源域特征和目标域特征输入域分类器去计算交叉墒损失对于特征的偏导,获得基于梯度引导的目标域增强特征,以及由域分类器对目标域特征进行域标签预测,得到目标域图像的预测域标签。
随即,基于目标域特征与目标域增强特征之间的差异(即样本级损失)、目标域簇类特征与目标域特征之间的差异(即簇类损失)以及目标域图像的实际域标签与预测域标签之间的差异(即对抗损失),对特征提取模型进行参数迭代,得到训练完成的特征提取模型。
其中,目标域簇类特征基于如下步骤确定:
基于目标域特征,以及不同类别簇类特征,确定目标域特征与各类别簇类特征之间的相似度;
将最大相似度对应的类别簇类特征作为目标域簇类特征。
可选地,不同类别簇类特征可以存储于记忆词典,在将最大相似度对应的类别簇类特征作为目标域簇类特征之后,可以基于目标域特征,更新目标域簇类特征。
基于上述任一实施例,本发明还提供一种目标重识别方法,如图3所示,该方法包括:
步骤310、确定查询图像和检索图像库中的多个检索图像;
步骤320、将查询图像输入至特征提取模型,得到特征提取模型输出的查询图像特征;
步骤330、将各检索图像输入至特征提取模型,得到特征提取模型输出的各检索图像特征;
步骤340、基于查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果;
特征提取模型基于如上任一实施例所述的特征提取模型训练方法训练得到。
此处,查询图像即需要进行目标重识别的图像,也就是需要在多个检索图像中搜索得到与查询图像域类别相同的检索图像。
对此,本发明实施例分别将查询图像和各检测图像输入至特征提取模型,从而准确提取得到查询图像特征和各检索图像特征。若查询图像特征与任一检索图像特征之间的相似度越高,表明对应检索图像与查询图像域类别相同的概率越高,进而可以输出该检索图像作为目标重识别结果。
需要说明的是,由于特征提取模型是基于如上任一实施例所述的特征提取模型训练方法训练得到的,从而特征提取模型能够高精度提取查询图像特征和各检索图像特征,进而能够准确获取目标重识别结果。
下面对本发明提供的特征提取模型训练装置进行描述,下文描述的特征提取模型训练装置与上文描述的特征提取模型训练方法可相互对应参照。
基于上述任一实施例,本发明还提供一种特征提取模型训练装置,如图4所示,该装置包括:
特征提取单元410,用于将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;
标签预测单元420,用于将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;
特征增强单元430,用于基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;
模型训练单元440,用于基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征。
基于上述任一实施例,所述模型训练单元440,包括:
样本损失确定单元,用于基于所述目标域特征与所述目标域增强特征之间的差异,确定样本级损失;
簇类损失确定单元,用于基于所述目标域簇类特征与所述目标域特征之间的差异,确定簇类损失;
对抗损失确定单元,用于基于所述实际域标签与所述预测域标签之间的差异,确定对抗损失;
参数迭代单元,用于基于所述样本级损失,所述簇类损失以及所述对抗损失,确定模型损失,并基于所述模型损失对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型。
基于上述任一实施例,所述样本级损失基于如下公式确定:
基于上述任一实施例,所述簇类损失基于如下公式确定:
基于上述任一实施例,所述目标域增强特征基于如下公式确定:
基于上述任一实施例,所述装置还包括:
相似度确定单元,用于基于目标域特征,以及不同类别簇类特征,确定所述目标域特征与各类别簇类特征之间的相似度;
簇类特征确定单元,用于将最大相似度对应的类别簇类特征作为所述目标域簇类特征。
基于上述任一实施例,所述装置还包括:
更新单元,用于将最大相似度对应的类别簇类特征作为所述目标域簇类特征之后,基于所述目标域特征,更新所述目标域簇类特征。
基于上述任一实施例,本发明还提供一种目标重识别装置,如图5所示,该装置包括:
图像确定单元510,用于确定查询图像和检索图像库中的多个检索图像;
第一提取单元520,用于将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;
第二提取单元530,用于将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;
结果确定单元540,用于基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果;
所述特征提取模型基于如上任一实施例所述的特征提取模型训练方法训练得到。
图6是本发明提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、存储器(memory)620、通信接口(Communications Interface)630和通信总线640,其中,处理器610,存储器620,通信接口630通过通信总线640完成相互间的通信。处理器610可以调用存储器620中的逻辑指令,以执行特征提取模型训练方法,该方法包括:将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征。
和/或,
以执行目标重识别方法,该方法包括:确定查询图像和检索图像库中的多个检索图像;将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果。
此外,上述的存储器620中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的特征提取模型训练方法,该方法包括:将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征。
和/或,
以执行目标重识别方法,该方法包括:确定查询图像和检索图像库中的多个检索图像;将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的特征提取模型训练方法,该方法包括:将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征。
和/或,
以执行目标重识别方法,该方法包括:确定查询图像和检索图像库中的多个检索图像;将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种特征提取模型训练方法,其特征在于,包括:
将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;
将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;
基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;
基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征;
所述基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型,包括:
基于所述目标域特征与所述目标域增强特征之间的差异,确定样本级损失;
基于所述目标域簇类特征与所述目标域特征之间的差异,确定簇类损失;
基于所述实际域标签与所述预测域标签之间的差异,确定对抗损失;
基于所述样本级损失,所述簇类损失以及所述对抗损失,确定模型损失,并基于所述模型损失对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型。
5.根据权利要求1至4任一项所述的特征提取模型训练方法,其特征在于,所述目标域簇类特征基于如下步骤确定:
基于目标域特征,以及不同类别簇类特征,确定所述目标域特征与各类别簇类特征之间的相似度;
将最大相似度对应的类别簇类特征作为所述目标域簇类特征。
6.根据权利要求5所述的特征提取模型训练方法,其特征在于,所述将最大相似度对应的类别簇类特征作为所述目标域簇类特征,之后还包括:
基于所述目标域特征,更新所述目标域簇类特征。
7.一种目标重识别方法,其特征在于,包括:
确定查询图像和检索图像库中的多个检索图像;
将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;
将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;
基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果;
所述特征提取模型基于权利要求1至6任一项所述的特征提取模型训练方法训练得到。
8.一种特征提取模型训练装置,其特征在于,包括:
特征提取单元,用于将源域图像以及目标域图像分别输入至特征提取模型的初始模型,由所述特征提取模型的初始模型分别对所述源域图像和所述目标域图像进行特征提取,得到源域特征以及目标域特征;
标签预测单元,用于将所述目标域特征以及所述源域特征分别输入至域分类器的初始模型,由所述域分类器的初始模型对所述源域特征求偏导,得到所述目标域图像相对于源域图像分布的梯度,以及对所述目标域特征进行域标签预测,得到所述目标域图像的预测域标签;
特征增强单元,用于基于所述梯度,对所述目标域特征进行特征增强,得到目标域增强特征;
模型训练单元,用于基于所述目标域特征与所述目标域增强特征之间的差异、目标域簇类特征与所述目标域特征之间的差异以及所述目标域图像的实际域标签与所述预测域标签之间的差异,对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型;所述目标域簇类特征指与所述目标域特征同类别的簇类特征;
所述模型训练单元,进一步用于:
基于所述目标域特征与所述目标域增强特征之间的差异,确定样本级损失;
基于所述目标域簇类特征与所述目标域特征之间的差异,确定簇类损失;
基于所述实际域标签与所述预测域标签之间的差异,确定对抗损失;
基于所述样本级损失,所述簇类损失以及所述对抗损失,确定模型损失,并基于所述模型损失对所述特征提取模型的初始模型进行参数迭代,得到所述特征提取模型。
9.一种目标重识别装置,其特征在于,包括:
图像确定单元,用于确定查询图像和检索图像库中的多个检索图像;
第一提取单元,用于将所述查询图像输入至特征提取模型,得到所述特征提取模型输出的查询图像特征;
第二提取单元,用于将各检索图像输入至特征提取模型,得到所述特征提取模型输出的各检索图像特征;
结果确定单元,用于基于所述查询图像特征与各检索图像特征之间的相似度,确定目标重识别结果;
所述特征提取模型基于权利要求1至6任一项所述的特征提取模型训练方法训练得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210941799.9A CN115063604B (zh) | 2022-08-08 | 2022-08-08 | 特征提取模型训练、目标重识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210941799.9A CN115063604B (zh) | 2022-08-08 | 2022-08-08 | 特征提取模型训练、目标重识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115063604A CN115063604A (zh) | 2022-09-16 |
CN115063604B true CN115063604B (zh) | 2022-11-04 |
Family
ID=83207314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210941799.9A Active CN115063604B (zh) | 2022-08-08 | 2022-08-08 | 特征提取模型训练、目标重识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063604B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116028821B (zh) * | 2023-03-29 | 2023-06-13 | 中电科大数据研究院有限公司 | 融合领域知识的预训练模型训练方法、数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564121A (zh) * | 2018-04-09 | 2018-09-21 | 南京邮电大学 | 一种基于自编码器的未知类别图像标签预测方法 |
CN108898218A (zh) * | 2018-05-24 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种神经网络模型的训练方法、装置、及计算机设备 |
CN114445775A (zh) * | 2022-01-18 | 2022-05-06 | 汇纳科技股份有限公司 | 训练方法、行人重识别方法、介质及电子设备 |
CN114462515A (zh) * | 2022-01-20 | 2022-05-10 | 厦门美图之家科技有限公司 | 模型训练方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11379695B2 (en) * | 2016-10-24 | 2022-07-05 | International Business Machines Corporation | Edge-based adaptive machine learning for object recognition |
-
2022
- 2022-08-08 CN CN202210941799.9A patent/CN115063604B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564121A (zh) * | 2018-04-09 | 2018-09-21 | 南京邮电大学 | 一种基于自编码器的未知类别图像标签预测方法 |
CN108898218A (zh) * | 2018-05-24 | 2018-11-27 | 阿里巴巴集团控股有限公司 | 一种神经网络模型的训练方法、装置、及计算机设备 |
CN114445775A (zh) * | 2022-01-18 | 2022-05-06 | 汇纳科技股份有限公司 | 训练方法、行人重识别方法、介质及电子设备 |
CN114462515A (zh) * | 2022-01-20 | 2022-05-10 | 厦门美图之家科技有限公司 | 模型训练方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115063604A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674881B (zh) | 商标图像检索模型训练方法、系统、存储介质及计算机设备 | |
CN111444320A (zh) | 文本检索方法、装置、计算机设备和存储介质 | |
CN110175851B (zh) | 一种作弊行为检测方法及装置 | |
CN111291165B (zh) | 训练词向量嵌入模型的方法及装置 | |
CN109508379A (zh) | 一种基于加权词向量表示和组合相似度的短文本聚类方法 | |
CN106202030B (zh) | 一种基于异构标注数据的快速序列标注方法及装置 | |
Akrim et al. | Classification of Tajweed Al-Qur'an on Images Applied Varying Normalized Distance Formulas | |
CN105930413A (zh) | 相似度模型参数的训练方法、搜索处理方法及对应装置 | |
CN110727766A (zh) | 敏感词的检测方法 | |
CN111191786A (zh) | 一种基于主动学习的迁移学习算法 | |
CN112613293A (zh) | 摘要生成方法、装置、电子设备及存储介质 | |
WO2021160822A1 (en) | A method for linking a cve with at least one synthetic cpe | |
CN115063604B (zh) | 特征提取模型训练、目标重识别方法及装置 | |
CN114022687B (zh) | 一种基于增强学习的图像描述对抗生成方法 | |
CN111125443A (zh) | 一种基于自动去重的试题题库在线更新方法 | |
CN112698977B (zh) | 服务器故障定位方法方法、装置、设备及介质 | |
CN111783088B (zh) | 一种恶意代码家族聚类方法、装置和计算机设备 | |
CN111460206B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN116977834A (zh) | 一种开放条件下分布内外图像识别方法 | |
CN116738971A (zh) | 基于改进粒子群优化算法的文本对抗样本生成方法及系统 | |
CN116935057A (zh) | 目标评价方法、电子设备和计算机可读存储介质 | |
CN115953584A (zh) | 一种具有可学习稀疏性的端到端目标检测方法及系统 | |
CN115730312A (zh) | 一种基于深度哈希的家族恶意软件检测方法 | |
CN113627522A (zh) | 基于关系网络的图像分类方法、装置、设备及存储介质 | |
CN112149566A (zh) | 一种图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |