CN111144466A - 一种图像样本自适应的深度度量学习方法 - Google Patents
一种图像样本自适应的深度度量学习方法 Download PDFInfo
- Publication number
- CN111144466A CN111144466A CN201911303796.7A CN201911303796A CN111144466A CN 111144466 A CN111144466 A CN 111144466A CN 201911303796 A CN201911303796 A CN 201911303796A CN 111144466 A CN111144466 A CN 111144466A
- Authority
- CN
- China
- Prior art keywords
- sample
- negative
- space
- negative sample
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉技术领域,公开了一种图像样本自适应的深度度量学习方法,获取锚点样本、正样本、第一负样本,利用度量学习构建样本的嵌入空间;在嵌入空间中计算第一负样本所在每个类数据群的类中心点坐标;生成第二负样本;构建解码器,通过解码器将第二负样本由嵌入空间映射至特征空间,生成第二负样本的特征向量;构建第二训练样本组;将第二训练样本组映射至嵌入空间。本发明解决了现有技术中训练数据规模不足,样本高区分度特征难以获取的问题,本发明可广泛推广适用于各类不同的度量学习方法,在不引入先验知识和额外数据的前提下,可以有效的提升原度量学习的辨识能力。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种图像样本自适应的深度度量学习方法。
背景技术
度量学习是一类常见的比较和衡量数据间相似度的机器学习方法,在计算机视觉中,如人脸识别、图像检索等重大领域中具有广泛的应用和极其重要的地位。因此,在不同的应用场景中,研究如何构建具有精准表达和鲁棒度量的度量学习方法具有重要的研究意义和实用价值。
受到深度学习相关技术和方法的影响与启发,与深度学习相关联的度量学习,由于其深层特征的高效表达与端对端的设计机构,逐渐成为相关领域的研究热点之一。深度度量学习的核心思路是把数据从深度特征空间(Deep feature space)映射至表达空间(Embedding space),使得同标签类数据间的距离尽可能缩小,不同标签类的数据间距离尽可能扩大。不同的取样方式和损失函数导致了不同类型的度量学习方法,如三元组损失函数,N-pair损失函数。对于任何一种度量学习,在训练样本时都可能存在以下问题:(1)为了学习到区分度更高的样本特征,很多度量学习方法选择区分困难样本组(如具有相似特征的不同类样本,或具有较大特征差异的同类样本组)进行优先训练,并赋予较高的权值。由于困难样本数据分布与整体样本分布存在差异,因此这种做法容易导致所得分类器难以就全局数据进行精准分类。(2)部分实际应用场景下,受自身数据规模的限制,训练样本集无法提供足够多的具有一定区分难度的样本组,这将导致最后得到的分类器的分辨能力受到很大程度的限制。
发明内容
本申请实施例通过提供一种图像样本自适应的深度度量学习方法,解决了现有技术中训练数据规模不足,样本高区分度特征难以获取的问题。
本申请实施例提供一种图像样本自适应的深度度量学习方法,包括以下步骤:
步骤S1、获取第一训练样本组,所述第一训练样本组包括锚点样本、正样本、第一负样本,利用度量学习构建样本的嵌入空间;
步骤S2、在所述嵌入空间中计算所述第一负样本所在每个类数据群的类中心点坐标;
步骤S3、根据所述第一负样本所在每个类数据群的类中心点坐标、所述锚点样本的坐标、所述第一负样本的坐标生成第二负样本;
步骤S4、构建解码器,通过所述解码器将所述第二负样本由所述嵌入空间映射至特征空间,生成第二负样本的特征向量;
步骤S5、构建第二训练样本组,所述第二训练样本组包括所述第二负样本的特征向量、所述锚点样本的特征向量、所述正样本的特征向量;
步骤S6、将所述第二训练样本组映射至所述嵌入空间,进行训练。
优选的,所述步骤1的具体实现方式为:
步骤S101、利用深度卷积网络获取所述第一训练样本组中图像样本的深度特征;
步骤S102、将所述第一训练样本组中的图像样本映射至特征空间;
步骤S103、将特征空间作为输入,利用度量学习损失函数将样本从特征空间映射至嵌入空间。
优选的,所述步骤S103中,使用欧几里得距离作为度量距离,利用所述度量学习损失函数扩大嵌入空间中,同标签样本点的距离,缩小异类标签样本点的距离。
优选的,所述步骤S2中,所述第一负样本所在每个类数据群的类中心点坐标的计算公式为:
其中,Pcen(I)为标签是I的数据类中心,NI为标签为I的样本总数,Pj为I类样本中第j个样本。
优选的,所述步骤S3的具体实现方式为:
在嵌入空间,利用所述第一负样本所在每个类数据群的类中心点坐标Pcen(I),结合所述锚点样本的坐标Panc与所述第一负样本的坐标Pneg,计算出中心点到锚点向量Vca,第一负样本点到锚点向量Vna;
优选的,所述步骤S4中构建的解码器满足以下条件:
所述解码器能够将嵌入空间的原始样本准确映射至特征空间;
所述第一负样本所在每个类数据群的类中心由所述解码器映射至特征空间后的标签保持与所述第一负样本的标签保持一致;
所述第二负样本由所述解码器映射至特征空间后标签与所述第一负样本的标签保持一致。
优选的,所述步骤S4中所述解码器的构建公式为:
fde=dis(Y,Y')+∑fsoft(Ycen,L)+∑fsoft(Yn'eg,L)
其中,fde是数据从嵌入空间到特征空间的解码器,dis(Y,Y')是原数据在特征空间的分布Y与解码后数据在特征空间的分布Y'之间的差异度量,Ycen是负样本类中心在特征空间的映射,Yn'eg是生成的负样本Pn'eg在特征空间的映射,L是各类负样本对应的标签。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
在本申请实施例中,获取第一训练样本组(包括锚点样本、正样本、第一负样本),利用度量学习构建样本的嵌入空间;在嵌入空间中计算第一负样本所在每个类数据群的类中心点坐标;根据第一负样本所在每个类数据群的类中心点坐标、锚点样本的坐标、第一负样本的坐标生成第二负样本;构建解码器,通过解码器将第二负样本由嵌入空间映射至特征空间,生成第二负样本的特征向量;构建第二训练样本组(包括第二负样本的特征向量、锚点样本的特征向量、正样本的特征向量);将第二训练样本组映射至嵌入空间,进行训练。即本发明根据样本组在表达空间的分布特征,学习负样本与锚点样本间的区分度渐变规律,在嵌入空间生成的与原负样本(记为第一负样本)标签相同,但与锚点样本辨别度更难的负样本点(记为第二负样本)。根据encode-decode映射原理,训练由嵌入空间到特征空间的解码器,将第二负样本点映射回特征空间,参与进一步的训练。通过上述样本自适应的训练框架,本发明可广泛推广适用于各类不同的度量学习方法,在不引入先验知识和额外数据的前提下,可以有效的提升原度量学习的辨识能力。
附图说明
为了更清楚地说明本实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像样本自适应的深度度量学习方法的流程图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供了一种图像样本自适应的深度度量学习方法,参见图1,包括以下步骤:
步骤1、嵌入空间的构建。
利用度量学习构建样本的嵌入向量空间,具体流程为:对于任意给定的度量学习损失函数fLoss,首先利用深度卷积网络(CNN)获取原始训练样本集中图像的深度特征,将原始图像映射至特征空间Fspace,得到图像的特征空间分布情况,然后将特征空间Fspace作为输入,利用度量学习损失函数fLoss扩大嵌入空间的同标签样本点的距离,缩小异类标签样本点的距离,最终将训练样本从特征空间Fspace映射至嵌入空间Espace。
其中,使用欧几里得距离L2作为度量距离。
步骤2、类中心点计算。
其中,Pcen(I)为标签是I的数据类中心,NI为标签为I的样本总数,Pj为I类样本中第j个样本。
步骤2中计算了所有标签类的类中心,包括正样本标签和负样本标签。由于负样本是相对于锚点样本而言的,在整个训练集中训练时,对于不同的锚点样本,不同的负样本基本涵盖了大部分的数据标签。
步骤3、负样本点定位。
度量学习中的训练样本都是以样本组的形式出现,训练样本组中通常包含三类数据:锚点样本、正样本(与锚点标签相同的样本数据)、第一负样本(与锚点标签不同的样本数据)。
对于任一训练样本组,本发明通过以下步骤来对第二负样本(即比原负样本点更靠近锚点,且与原负样本点标签相同的负样本)在嵌入空间中进行定位:
在嵌入空间,利用步骤2计算出第一负样本所在同类数据群的中心点坐标Pcen(I),结合锚点坐标Panc与第一负样本坐标Pneg,能够计算出第一负样本中心点到锚点向量Vca,第一负样本点到锚点向量Vna,进而根据向量投影公式能够计算出Vna在Vca方向上的投影向量:则生成的第二负样本的坐标Pn'eg计算公式可表示为:
步骤4、由嵌入空间到特征空间的解码器构建。
构建解码器fde,将步骤3中生成的第二负样本由嵌入空间映射至特征空间。
按照以下三点原则来构建解码器fde:
(1)fde能够将嵌入空间的原始样本准确映射至特征空间;
(2)第一负样本类中心由fde映射至特征空间后的标签保持与第一负样本标签一致;
(3)生成的第二负样本由fde映射至特征空间后标签与第一负样本标签保持一致。
根据上述三个约束条件,我们给出解码器的构建公式:
fde=dis(Y,Y')+∑fsoft(Ycen,L)+∑fsoft(Yn'eg,L)
其中,fde是数据从嵌入空间到特征空间的解码器,dis(Y,Y')是原数据在特征空间的分布Y与解码后数据在特征空间的分布Y'之间的差异度量,Ycen是第一负样本类中心在特征空间的映射,Yn'eg是第二负样本Pn'eg在特征空间的映射,L是各类负样本对应的标签。
步骤5、构成新的训练样本组。
根据步骤4中得到的解码器,将第二负样本Yn'eg投影至特征空间,生成第二负样本的特征向量(特征向量)利用锚点样本特征向量Yanc(Panc在特征空间中的投影),正样本特征向量Ypos(Ppos在特征空间中的投影)构成新的训练样本组。
步骤6、将新的训练样本组映射至嵌入空间。
利用步骤5得到新的训练样本组,并且新的样本组中第二负样本更具区分困难度,将得到新样本组作为训练样本,将样本映射至嵌入空间,进而得到新的嵌入空间。新的嵌入空间能够更有效的对样本间的差异进行度量,实现样本更准确的分类。
综上,本发明利用同标签样本在嵌入空间的分布特征和区分难度分布特征,结合锚点样本和负样本在嵌入空间的分布,获取新的更具类别识别特征的样本点—第二负样本,进而提升度原有度量学习方法的分类准确度。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照实例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种图像样本自适应的深度度量学习方法,其特征在于,包括以下步骤:
步骤S1、获取第一训练样本组,所述第一训练样本组包括锚点样本、正样本、第一负样本,利用度量学习构建样本的嵌入空间;
步骤S2、在所述嵌入空间中计算所述第一负样本所在每个类数据群的类中心点坐标;
步骤S3、根据所述第一负样本所在每个类数据群的类中心点坐标、所述锚点样本的坐标、所述第一负样本的坐标生成第二负样本;
步骤S4、构建解码器,通过所述解码器将所述第二负样本由所述嵌入空间映射至特征空间,生成第二负样本的特征向量;
步骤S5、构建第二训练样本组,所述第二训练样本组包括所述第二负样本的特征向量、所述锚点样本的特征向量、所述正样本的特征向量;
步骤S6、将所述第二训练样本组映射至所述嵌入空间,进行训练。
2.根据权利要求1所述的图像样本自适应的深度度量学习方法,其特征在于,所述步骤1的具体实现方式为:
步骤S101、利用深度卷积网络获取所述第一训练样本组中图像样本的深度特征;
步骤S102、将所述第一训练样本组中的图像样本映射至特征空间;
步骤S103、将特征空间作为输入,利用度量学习损失函数将样本从特征空间映射至嵌入空间。
3.根据权利要求2所述的图像样本自适应的深度度量学习方法,其特征在于,所述步骤S103中,使用欧几里得距离作为度量距离,利用所述度量学习损失函数扩大嵌入空间中,同标签样本点的距离,缩小异类标签样本点的距离。
6.根据权利要求1所述的图像样本自适应的深度度量学习方法,其特征在于,所述步骤S4中构建的解码器满足以下条件:
所述解码器能够将嵌入空间的原始样本准确映射至特征空间;
所述第一负样本所在每个类数据群的类中心由所述解码器映射至特征空间后的标签保持与所述第一负样本的标签保持一致;
所述第二负样本由所述解码器映射至特征空间后标签与所述第一负样本的标签保持一致。
7.根据权利要求1所述的图像样本自适应的深度度量学习方法,其特征在于,所述步骤S4中所述解码器的构建公式为:
fde=dis(Y,Y')+∑fsoft(Ycen,L)+∑fsoft(Y'neg,L)
其中,fde是数据从嵌入空间到特征空间的解码器,dis(Y,Y')是原数据在特征空间的分布Y与解码后数据在特征空间的分布Y'之间的差异度量,Ycen是负样本类中心在特征空间的映射,Y'neg是生成的负样本P'neg在特征空间的映射,L是各类负样本对应的标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911303796.7A CN111144466B (zh) | 2019-12-17 | 2019-12-17 | 一种图像样本自适应的深度度量学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911303796.7A CN111144466B (zh) | 2019-12-17 | 2019-12-17 | 一种图像样本自适应的深度度量学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111144466A true CN111144466A (zh) | 2020-05-12 |
CN111144466B CN111144466B (zh) | 2022-05-13 |
Family
ID=70518661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911303796.7A Active CN111144466B (zh) | 2019-12-17 | 2019-12-17 | 一种图像样本自适应的深度度量学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111144466B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112188487A (zh) * | 2020-12-01 | 2021-01-05 | 索信达(北京)数据技术有限公司 | 一种提高用户鉴权准确性的方法与系统 |
CN114386694A (zh) * | 2022-01-11 | 2022-04-22 | 平安科技(深圳)有限公司 | 基于对比学习的药物分子性质预测方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107122396A (zh) * | 2017-03-13 | 2017-09-01 | 西北大学 | 基于深度卷积神经网络的三维模型检索算法 |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
US20190065957A1 (en) * | 2017-08-30 | 2019-02-28 | Google Inc. | Distance Metric Learning Using Proxies |
CN110135459A (zh) * | 2019-04-15 | 2019-08-16 | 天津大学 | 一种基于双三元组深度度量学习网络的零样本分类方法 |
CN110378237A (zh) * | 2019-06-21 | 2019-10-25 | 浙江工商大学 | 基于深度度量融合网络的面部表情识别方法 |
-
2019
- 2019-12-17 CN CN201911303796.7A patent/CN111144466B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107122396A (zh) * | 2017-03-13 | 2017-09-01 | 西北大学 | 基于深度卷积神经网络的三维模型检索算法 |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
US20190065957A1 (en) * | 2017-08-30 | 2019-02-28 | Google Inc. | Distance Metric Learning Using Proxies |
CN110135459A (zh) * | 2019-04-15 | 2019-08-16 | 天津大学 | 一种基于双三元组深度度量学习网络的零样本分类方法 |
CN110378237A (zh) * | 2019-06-21 | 2019-10-25 | 浙江工商大学 | 基于深度度量融合网络的面部表情识别方法 |
Non-Patent Citations (2)
Title |
---|
YAIR MOVSHOVITZ-ATTIAS ET.AL: "No Fuss Distance Metric Learning Using Proxies", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
王中元 等: "基于图割的深度图去噪算法", 《计算机工程与设计》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112188487A (zh) * | 2020-12-01 | 2021-01-05 | 索信达(北京)数据技术有限公司 | 一种提高用户鉴权准确性的方法与系统 |
CN114386694A (zh) * | 2022-01-11 | 2022-04-22 | 平安科技(深圳)有限公司 | 基于对比学习的药物分子性质预测方法、装置及设备 |
CN114386694B (zh) * | 2022-01-11 | 2024-02-23 | 平安科技(深圳)有限公司 | 基于对比学习的药物分子性质预测方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111144466B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11670071B2 (en) | Fine-grained image recognition | |
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
WO2022089360A1 (zh) | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 | |
CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
CN108304835A (zh) | 文字检测方法和装置 | |
CN108960001A (zh) | 训练用于人脸识别的图像处理装置的方法和装置 | |
CN111967387A (zh) | 表单识别方法、装置、设备及计算机可读存储介质 | |
JP2014232533A (ja) | Ocr出力検証システム及び方法 | |
WO2021109775A1 (zh) | 训练样本生成、模型训练、字符识别方法及其装置 | |
CN106355607B (zh) | 一种宽基线彩色图像模板匹配方法 | |
CN111144466B (zh) | 一种图像样本自适应的深度度量学习方法 | |
CN113762269A (zh) | 基于神经网络的中文字符ocr识别方法、系统、介质及应用 | |
CN115546553A (zh) | 一种基于动态特征抽取和属性修正的零样本分类方法 | |
CN111739037A (zh) | 一种针对室内场景rgb-d图像的语义分割方法 | |
CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
Hou et al. | Robust dense registration of partial nonrigid shapes | |
CN113469091A (zh) | 人脸识别方法、训练方法、电子设备及存储介质 | |
CN103136536A (zh) | 对象检测系统和方法、图像的特征提取方法 | |
CN112200216A (zh) | 汉字识别方法、装置、计算机设备和存储介质 | |
CN114708462A (zh) | 多数据训练的检测模型生成方法、系统、设备及存储介质 | |
CN112699908B (zh) | 标注图片的方法、电子终端、计算机可读存储介质及设备 | |
CN114255381A (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
CN113780148A (zh) | 交通标志图像识别模型训练方法和交通标志图像识别方法 | |
CN115223050B (zh) | 一种极化卫星影像分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |