CN114743013A - 局部描述子生成方法、装置、电子设备和计算机程序产品 - Google Patents
局部描述子生成方法、装置、电子设备和计算机程序产品 Download PDFInfo
- Publication number
- CN114743013A CN114743013A CN202210307718.XA CN202210307718A CN114743013A CN 114743013 A CN114743013 A CN 114743013A CN 202210307718 A CN202210307718 A CN 202210307718A CN 114743013 A CN114743013 A CN 114743013A
- Authority
- CN
- China
- Prior art keywords
- domain
- descriptor
- loss
- level
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004590 computer program Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 48
- 238000010586 diagram Methods 0.000 claims description 32
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 5
- 238000013508 migration Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000004576 sand Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种局部描述子生成方法、装置、电子设备和计算机程序产品，所述方法包括：生成跨域数据集，跨域数据集包括多对图像对；根据跨域数据集的尺度特征图，获取特征级域自适应监督信息；根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；基于特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的结合，确定总损失，总损失用于网络的监督训练，获取局部描述子。本发明可增强局部描述子的不变性和鲁棒性，提高描述子在图像匹配任务上的精度。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种局部描述子生成方法、装置、电子设备和计算机程序产品。
背景技术
目前，提取准确高效的局部特征描述子是各种计算机视觉应用必不可少的处理步骤，例如移动视觉搜索、视觉跟踪、图像匹配，图像检索和视觉定位等计算机视觉应用。而在传统的手工特征提取方法中， SIFT在具有尺度不变性和旋转不变性的计算机视觉任务中起着至关重要的作用。深度学习的进步使得学习到的局部描述符与经典的方法相比有了很大的差距。近年来，联合学习关键点检测和描述子的模型在图像匹配和视觉定位方面取得了更好的表现。与基于补丁的特征描述子不同，这些方法改为使用全卷积神经网络来提取整个图像的密集特征描述符。对于基于深度学习的算法，为整幅图像提取密集的特征描述子成为近年来的趋势。一般来说，鲁棒的局部描述子要求不变性，即当相同关键点的光照或视点发生变化时，它们的描述子仍然可以成功匹配。
现有技术中，为了在各种应用场景中准确匹配，需要描述子尽可能多地捕捉不变性。然而，为包括昼夜变化和季节变化在内的复杂场景提取鲁棒性描述子极具挑战性，很容易造成误匹配。现有方法通过利用大型训练数据集和复杂的网络结构来增强描述子的鲁棒性，但不可避免地带来了大的计算量，也限制了描述子的应用。
发明内容
本发明提供一种局部描述子生成方法、装置、电子设备和计算机程序产品，用以解决现有技术中描述子的不变性和鲁棒性较低的缺陷，提高描述子在图像匹配任务上的精度。
本发明提供一种局部描述子生成方法，包括：
生成跨域数据集，所述跨域数据集包括多对图像对；
根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息；
根据所述特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
基于所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和所述描述子损失信息的结合，确定总损失，所述总损失用于网络的监督训练，获取局部描述子。
根据本发明提供的局部描述子生成方法，所述生成跨域数据集，包括：
根据数据集确定源域图像IS；
根据所述源域图像IS，获取对应的目标域图像IT，所述目标域图像IT和源域图像IS构成图像对；
根据所述目标域图像IT与所述源域图像IS的对应关系，获取所述网络的监督训练的标签，其中，所述跨域数据集包括图像对和网络的监督训练的标签，所述目标域图像IT与所述源域图像IS的对应关系包括风格迁移关系、Homomorphic变换关系和真实标注关系。
根据本发明提供的局部描述子生成方法，所述根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息，包括：
将所述图像对输入编码器，获取多个尺度特征图；
所述尺度特征图通过域分类器进行域对抗学习，提取全局域不变特征，其中，所述域分类器包括梯度反转层和至少一层全连接层；
根据所述尺度特征图计算特征级域损失函数，用于增强所述全局域不变特征的性能，其中，所述特征级域损失函数用于表征所述特征级域自适应监督信息。
根据本发明提供的局部描述子生成方法，所述尺度特征图通过域分类器进行域对抗学习，提取全局域不变特征，包括：
根据所述域分类器的隐藏层和分类层，计算源域分类损失值；
计算域分类损失值；
根据所述源域分类损失值和所述域分类损失值，计算梯度最大化损失函数，用于通过所述源域分类损失值最小化和所述域分类损失值最大化，提升所述域分类器的性能。
根据本发明提供的局部描述子生成方法，所述根据所述特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息，包括：
根据所述全局域不变特征和所述多个尺度特征图，通过解码器获取特征图；
根据所述特征图，获取密集描述子；
根据所述密集描述子确定均值特征图、最大特征图、正距离和负距离；
根据所述密集描述子的均值特征图和最大特征图，计算像素级跨域一致性损失函数，其中，所述像素级跨域一致性损失函数用于表征所述像素级跨域一致性监督信息；
根据所述密集描述子的正距离和负距离，计算三元组损失函数，其中，所述三元组损失函数用于表征所述描述子损失信息。
根据本发明提供的局部描述子生成方法，基于所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和所述描述子损失信息的结合，确定总损失，包括：
根据所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和描述子损失信息的加权和，确定总损失；
根据所述总损失进行网络训练，获取局部描述子，用于增强所述局部描述子的不变性，所述网络包括编码器-解码器网络。
本发明还提供一种局部描述子生成装置，包括：
生成模块，用于生成跨域数据集；
第一获取模块，用于根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息；
第二获取模块，用于根据所述特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
确定模块，用于基于所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和所述描述子损失信息的结合，确定总损失，所述总损失用于网络的监督训练，获取局部描述子。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述局部描述子生成方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述局部描述子生成方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述局部描述子生成方法。
本发明提供的局部描述子生成方法、装置、电子设备和计算机程序产品，通过跨域数据集，为网络训练快速构建多样化的域数据集；通过计算特征级域自适应损失，减少图像对的特征域之间的差异，提高描述子的鲁棒性；通过计算像素级跨域一致性损失，补偿对应于像素关键点的描述子之间的不一致性，进而增强描述子的不变性；结合特征级域自适应损失、像素级跨域一致性损失和描述子损失，确定总损失，并通过总损失来训练网络，获取局部描述子，在保证区分能力的前提下，增强局部描述子的不变性，进而提高局部描述子在图像匹配任务中的准确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的局部描述子生成方法的流程示意图之一；
图2是本发明提供的局部描述子生成方法的尺度特征图的网络结构示意图；
图3是本发明提供的局部描述子生成方法的流程示意图之二；
图4是本发明提供的局部描述子生成方法的特征级域自适应损失计算示意图；
图5是本发明提供的局部描述子生成方法的流程示意图之三；
图6是本发明提供的局部描述子生成方法的像素级跨域一致性损失计算示意图；
图7是本发明提供的局部描述子生成方法的流程示意图之四；
图8是本发明提供的局部描述子生成方法的总损失计算示意图；
图9是本发明提供的局部描述子生成装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图8描述本发明的局部描述子生成方法。
图1是本发明提供的局部描述子生成方法的流程示意图之一，如图1所示，该方法包括：
步骤110，生成跨域数据集，跨域数据集包括多对图像对。
可选地，生成跨域数据集，包括：
根据数据集确定源域图像IS。
可选地，选取图像匹配和视觉定位任务常用的Aachen-Day-Night 数据集和MegaDepth数据集，利用Aachen-Day-Night数据集的所有 4479张图像和在MegaDepth中选择的11800个图像对作为源域图像IS，以构建一个全面的跨域数据集进行训练。
根据源域图像IS，获取对应的目标域图像IT，目标域图像IT和源域图像IS构成图像对，即每个图像对包括一张源域图像IS和一张目标域图像IT。
根据目标域图像IT与源域图像IS的对应关系，获取网络的监督训练的标签，其中，跨域数据集包括图像对和网络的监督训练的标签，目标域图像IT与源域图像IS的对应关系包括风格迁移关系、 Homomorphic变换关系和真实标注关系。
可选地，使用风格迁移方法HIDM将源域图像IS分别经过风格转换为早上、中午、黄昏和晚上的图像域。同时，以一定的概率对所有风格转换后的图像进行Homomorphic变换，即单应性变换，以增加视点变化。使源域图像IS对应于Homomorphic变换处理的结果或对应于仅具有风格转换的图像。将所有这些IS对应的图像视为目标域图像IT，将目标域图像IT与源域图像IS之间的对应关系作为描述子监督需要的标签，并随机选择32558个图像对作为跨域训练数据集。
可选地，若源域图像IS来自MegaDepth数据集，源域图像IS也对应于具有真实标注对应关系的图像，其对应关系已经在数据集中给出。
可选地，若源域图像IS经过Homomorphic变换，将变换后的图像分成20×20个网格，每个网格随机均匀采样一个点，根据单应性变换，即根据Homomorphic变换得到对应点，将这些图像对之间的对应关系作为描述子监督需要的标注。
如图1所示，步骤120，根据跨域数据集的尺度特征图，获取特征级域自适应监督信息。
图2是本发明提供的局部描述子生成方法的尺度特征图的网络结构示意图，图3是本发明提供的局部描述子生成方法的流程示意图之二，图4是本发明提供的局部描述子生成方法的特征级域自适应损失计算示意图。
可选地，如图2所示，根据跨域数据集的尺度特征图，获取特征级域自适应监督信息，包括：
如图2所示，步骤210，将图像对输入编码器，获取多个尺度特征图。
可选地，对于每个输入图像，采用Resnet作为编码器提取全局域不变特征。Resnet编码器生成多个尺寸特征图，尺寸分别为64×64、 128×128、256×256和512×512。
如图2所示，步骤220，尺度特征图通过域分类器进行域对抗学习，提取全局域不变特征，其中，域分类器包括梯度反转层和至少一层全连接层。
如图3所示，可选地，对尺度为64×64的尺度特征图，应用梯度反转层来实现域对抗学习，即在前向传播中，梯度反转层的特征保持不变，而在反向传播中，梯度反转层返回的梯度最大化损失函数，将参数更新到负梯度方向，使得降低域适应神经网络DANN对目标域图像IT和源域图像IS的判别能力，使得图像对的两幅图像尽可能映射到同一个特征域，同时，也提升了域适应神经网络的性能。
如图3所示，可选地，尺度特征图通过域分类器进行域对抗学习，具体包括：
采用域适应神经网络DANN，在DANN的前馈模型中添加三层全连接层和一层梯度翻转层，用于获取全局域不变特征进行预测。其中，域适应神经网络DANN的目标函数包括：源域分类损失和域分类损失。
其中，给定一个示例(xi,yi)，通过隐藏层Gh和分类层Gy，计算源域分类损失，源域分类损失如式(1)所示：
域分类损失使域鉴别器难以区分目标域图像IT与源域图像IS，从而使源域图像IS和目标域图像IT在分布上对齐，域分类损失如式(2) 所示：
其中，bi为标签，若xi为源域时bi为0，若xi为目标域时bi为1，i 用于表征第i个像素点。
域适应神经网络DANN具体用于实现源域分类损失最小化和域分类损失最大化，因此，梯度最大化损失函数如式(3)所示：
如图4所示，步骤230，根据尺度特征图计算特征级域损失函数，用于增强全局域不变特征的性能，其中，特征级域损失函数用于表征特征级域自适应监督信息。
如图4所示，可选地，特征级域损失函数计算方法包括：
计算最小化目标样本预测的香农熵，使模型产生高置信度的预测，置信度如式(4)所示：
H(pi)＝(-pilog(pi)-(1-pi)log(1-pi)) (4)，
其中，pi是目标域图像IT的域预测分数。
根据香农熵计算经过tanh激活函数后的数值H，数值H如式(5) 所示：
H＝tanh(H(pi)) (5)；
计算交叉熵CE，交叉熵CE如式(6)所示：
其中，li是图像的域类别标签，li＝1表示目标域图像IT的标签， li＝0表示源域图像IS的标签；
计算特征级域自适应损失函数，特征级域自适应损失函数如式(7) 所示：
Lfeat(F(IS),F(IT))＝(CE+H)2 (7)，
其中，F(IS)和F(IT)分别表示输入的尺度为64×64的源域图像特征图和目标域图像特征图。
如图1所示，步骤130，根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息。
图5是本发明提供的局部描述子生成方法的流程示意图之三，图6是本发明提供的局部描述子生成方法的像素级跨域一致性损失计算示意图。如图5-图6所示，根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息，包括：
步骤310，根据全局域不变特征和多个尺度特征图，通过解码器获取特征图。
可选地，采用FPN的结构作为解码器，具体包括：
通过1×1卷积调整Resnet编码器输出的四个尺度特征图，即分别为64×64、128×128、256×256和512×512的尺度特征图的通道；将上述尺度特征图添加到低分辨率特征图的最近邻上采样结果中，得到最终的特征图。
步骤320，根据特征图，获取密集描述子。
可选地，根据最终的特征图，使用1×1卷积层来获得128维的密集描述子，具体包括：给定一个图像对(IS，IT),将源域图像IS和目标域图像IT输入编码器-解码器结构，最终得到密集描述子(DS,DT)。
步骤330，根据密集描述子确定均值特征图、最大特征图、正距离和负距离。
可选地，计算每个描述子的均值，使每个图像对可以得到一对描述子均值特征图
对第i个像素点的描述子均值特征图如式(8) 所示：
计算每个描述子的最大值，使每个图像对可以得到一对描述子的最大特征图((DS)max,(DT)max)，对第i个像素点的描述子最大特征图如式(9)所示：
di max＝(di S)max-(di T)max (9)；
可选地，图像对(IS，IT)对应的密集描述子在第i个像素点的描述子分别为
和
则正距离pi如式(10)所示：
pi＝||di S-di T||2 (10)，
负距离ni如式(11)所示：
步骤340，根据密集描述子的均值特征图和最大特征图，计算像素级跨域一致性损失函数，其中，像素级跨域一致性损失函数用于表征像素级跨域一致性监督信息。
可选地，使用采样描述子均值特征图和最大特征图作为像素级跨域一致性损失函数的输入进行监督。优选地，考虑到源域图像IS和目标域图像IT在外观或风格上可能不同，但两幅图像关键点对应的描述子足够接近，则像素级跨域一致性损失函数如式(12)所示：
其中，i为第i个像素点，
和di max为对于第i个像素点的描述子均值特征图和最大特征图，n为一幅图的像素总个数。
步骤350，根据密集描述子的正距离和负距离，计算三元组损失函数，其中，三元组损失函数用于表征描述子损失信息。
可选地，给定正距离pi和负距离ni，计算三元组损失函数，并将利于区分异常值的三元组损失函数作为描述子损失函数，三元组损失函数如式(13)所示：
Ldes＝max(0,pi-ni+1) (13)，
其中，三元组损失函数，即描述子损失函数的目标是使得相同标签(即正例)的描述子在空间位置上尽量靠近，同时，不同标签(即负例)的描述子在空间位置上尽量远离，因此，负例应该比正例的距离至少远1。
如图1所示，步骤140，基于特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的结合，确定总损失，总损失用于网络的监督训练，获取局部描述子。
图7是本发明提供的局部描述子生成方法的流程示意图之四，图 8是本发明提供的局部描述子生成方法的总损失计算示意图，如图7- 图8所示，基于特征级域自适应监督信息、像素级跨域一致性监督信息和三元组损失信息的结合，进行描述子监督处理，包括：
步骤410，根据特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的加权和，确定总损失。
结合上述三元组损失函数、特征级域自适应损失函数和像素级跨域一致性损失函数，计算总损失，总损失如式(14)所示：
Ltotal＝α·Lfeat+βLconsis+λ·Ldes (14)，
其中，权重α、β、λ均为1。
步骤420，根据总损失进行网络训练，获取局部描述子，用于增强局部描述子的不变性，网络包括编码器-解码器网络，即Resnet-FPN 网络。
可选地，根据总损失进行网络训练，得到基于域自适应的局部描述子，用于许多下游任务，如图像匹配、图像检索和视觉定位等。基于域自适应的局部描述子有极强的鲁棒性，可以得到精确的图像匹配结果，基于域自适应的局部描述子在图像匹配任务中具有优越性。
本发明提供的局部描述子生成方法，通过跨域数据集，为网络训练快速构建多样化的域数据集；通过计算特征级域自适应损失，减少图像对的特征域之间的差异，提高描述子的鲁棒性；通过计算像素级跨域一致性损失，补偿对应于像素关键点的描述子之间的不一致性，进而增强描述子的不变性；结合特征级域自适应损失、像素级跨域一致性损失和描述子损失，确定总损失，并通过总损失来训练网络，获取局部描述子，在保证区分能力的前提下，增强局部描述子的不变性，进而提高局部描述子在图像匹配任务中的准确度。
下面对本发明提供的局部描述子生成装置进行描述，下文描述的局部描述子生成装置与上文描述的局部描述子生成方法可相互对应参照。
本发明提供一种局部描述子生成装置，图9为本发明提供的局部描述子生成装置的结构示意图，如图9所示，局部描述子生成装置 500包括：构造模块501、第一获取模块502、第二获取模块503和计算模块504；其中，
构造模块501，用于生成跨域数据集；
第一获取模块502，用于根据跨域数据集的尺度特征图，获取特征级域自适应监督信息；
第二获取模块503，用于根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
计算模块504，用于基于特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的结合，确定总损失，总损失用于网络的监督训练，获取局部描述子。
本发明提供的局部描述子生成装置，通过跨域数据集，为网络训练快速构建多样化的域数据集；通过计算特征级域自适应损失，减少图像对的特征域之间的差异，提高描述子的鲁棒性；通过计算像素级跨域一致性损失，补偿对应于像素关键点的描述子之间的不一致性，进而增强描述子的不变性；结合特征级域自适应损失、像素级跨域一致性损失和描述子损失，确定总损失，并通过总损失来训练网络，获取局部描述子，在保证区分能力的前提下，增强局部描述子的不变性，进而提高局部描述子在图像匹配任务中的准确度。
可选地，构造模块501，具体用于：
根据数据集确定源域图像IS；
根据源域图像IS，获取对应的目标域图像IT，目标域图像IT和源域图像IS构成图像对；
根据目标域图像IT与源域图像IS的对应关系，获取网络的监督训练的标签，其中，跨域数据集包括图像对和网络的监督训练的标签，目标域图像IT与源域图像IS的对应关系包括风格迁移关系、 Homomorphic变换关系和真实标注关系。
可选地，第一获取模块502，具体用于：
将图像对输入编码器，获取多个尺度特征图；
尺度特征图通过域分类器进行域对抗学习，提取全局域不变特征，其中，域分类器包括梯度反转层和至少一层全连接层；
根据尺度特征图计算特征级域损失函数，用于增强全局域不变特征的性能，其中，特征级域损失函数用于表征特征级域自适应监督信息。
可选地，第一获取模块502，具体用于：
根据域分类器的隐藏层和分类层，计算源域分类损失值；
计算域分类损失值；
根据源域分类损失值和域分类损失值，计算梯度最大化损失函数，用于通过源域分类损失值最小化和域分类损失值最大化，提升域分类器的性能。
可选地，第二获取模块503，具体用于：
根据全局域不变特征和多个尺度特征图，通过解码器获取特征图；
根据特征图，获取密集描述子；
根据密集描述子确定均值特征图、最大特征图、正距离和负距离；
根据密集描述子的均值特征图和最大特征图，计算像素级跨域一致性损失函数，其中，像素级跨域一致性损失函数用于表征像素级跨域一致性监督信息；
根据密集描述子的正距离和负距离，计算三元组损失函数，其中，三元组损失函数用于表征描述子损失信息。
可选地，计算模块504，具体用于：
根据特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的加权和，确定总损失；
根据总损失进行网络训练，获取局部描述子，用于增强局部描述子的不变性，网络包括编码器-解码器网络。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备600可以包括：处理器(processor)610、通信接口 (Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行局部描述子生成方法，该方法包括：
生成跨域数据集，跨域数据集包括多对图像对；
根据跨域数据集的尺度特征图，获取特征级域自适应监督信息；
根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
基于特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的结合，确定总损失，总损失用于网络的监督训练，获取局部描述子。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的局部描述子生成方法，该方法包括：
生成跨域数据集，跨域数据集包括多对图像对；
根据跨域数据集的尺度特征图，获取特征级域自适应监督信息；
根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
基于特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的结合，确定总损失，总损失用于网络的监督训练，获取局部描述子。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的局部描述子生成方法，该方法包括：
生成跨域数据集，跨域数据集包括多对图像对；
根据跨域数据集的尺度特征图，获取特征级域自适应监督信息；
根据特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
基于特征级域自适应监督信息、像素级跨域一致性监督信息和描述子损失信息的结合，确定总损失，总损失用于网络的监督训练，获取局部描述子。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种局部描述子生成方法，其特征在于，包括：
生成跨域数据集，所述跨域数据集包括多对图像对；
根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息；
根据所述特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
基于所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和所述描述子损失信息的结合，确定总损失，所述总损失用于网络的监督训练，获取局部描述子。
2.根据权利要求1所述的局部描述子生成方法，其特征在于，所述生成跨域数据集，包括：
根据数据集确定源域图像IS；
根据所述源域图像IS，获取对应的目标域图像IT，所述目标域图像IT和源域图像IS构成图像对；
根据所述目标域图像IT与所述源域图像IS的对应关系，获取所述网络的监督训练的标签，其中，所述跨域数据集包括图像对和网络的监督训练的标签，所述目标域图像IT与所述源域图像IS的对应关系包括风格迁移关系、Homomorphic变换关系和真实标注关系。
3.根据权利要求1所述的局部描述子生成方法，其特征在于，所述根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息，包括：
将所述图像对输入编码器，获取多个尺度特征图；
所述尺度特征图通过域分类器进行域对抗学习，提取全局域不变特征，其中，所述域分类器包括梯度反转层和至少一层全连接层；
根据所述尺度特征图计算特征级域损失函数，用于增强所述全局域不变特征的性能，其中，所述特征级域损失函数用于表征所述特征级域自适应监督信息。
4.根据权利要求3所述的局部描述子生成方法，其特征在于，所述尺度特征图通过域分类器进行域对抗学习，提取全局域不变特征，包括：
根据所述域分类器的隐藏层和分类层，计算源域分类损失值；
计算域分类损失值；
根据所述源域分类损失值和所述域分类损失值，计算梯度最大化损失函数，用于通过所述源域分类损失值最小化和所述域分类损失值最大化，提升所述域分类器的性能。
5.根据权利要求3所述的局部描述子生成方法，其特征在于，所述根据所述特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息，包括：
根据所述全局域不变特征和所述多个尺度特征图，通过解码器获取特征图；
根据所述特征图，获取密集描述子；
根据所述密集描述子确定均值特征图、最大特征图、正距离和负距离；
根据所述密集描述子的均值特征图和最大特征图，计算像素级跨域一致性损失函数，其中，所述像素级跨域一致性损失函数用于表征所述像素级跨域一致性监督信息；
根据所述密集描述子的正距离和负距离，计算三元组损失函数，其中，所述三元组损失函数用于表征所述描述子损失信息。
6.根据权利要求1所述的局部描述子生成方法，其特征在于，基于所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和所述描述子损失信息的结合，确定总损失，包括：
根据所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和描述子损失信息的加权和，确定总损失；
根据所述总损失进行网络训练，获取局部描述子，用于增强所述局部描述子的不变性，所述网络包括编码器-解码器网络。
7.一种局部描述子生成装置，其特征在于，包括：
生成模块，用于生成跨域数据集；
第一获取模块，用于根据所述跨域数据集的尺度特征图，获取特征级域自适应监督信息；
第二获取模块，用于根据所述特征级域自适应监督信息的密集描述子，获取像素级跨域一致性监督信息和描述子损失信息；
确定模块，用于基于所述特征级域自适应监督信息、所述像素级跨域一致性监督信息和所述描述子损失信息的结合，确定总损失，所述总损失用于网络的监督训练，获取局部描述子。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述局部描述子生成方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述局部描述子生成方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述局部描述子生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210307718.XA CN114743013A (zh) | 2022-03-25 | 2022-03-25 | 局部描述子生成方法、装置、电子设备和计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210307718.XA CN114743013A (zh) | 2022-03-25 | 2022-03-25 | 局部描述子生成方法、装置、电子设备和计算机程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114743013A true CN114743013A (zh) | 2022-07-12 |
Family
ID=82276770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210307718.XA Pending CN114743013A (zh) | 2022-03-25 | 2022-03-25 | 局部描述子生成方法、装置、电子设备和计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114743013A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160253597A1 (en) * | 2015-02-27 | 2016-09-01 | Xerox Corporation | Content-aware domain adaptation for cross-domain classification |
| CN112446423A (zh) * | 2020-11-12 | 2021-03-05 | 昆明理工大学 | 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法 |
-
2022
- 2022-03-25 CN CN202210307718.XA patent/CN114743013A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160253597A1 (en) * | 2015-02-27 | 2016-09-01 | Xerox Corporation | Content-aware domain adaptation for cross-domain classification |
| CN112446423A (zh) * | 2020-11-12 | 2021-03-05 | 昆明理工大学 | 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法 |
Non-Patent Citations (4)
| Title |
|---|
| CHANGWEI WANG 等: "MTLDesc: Looking Wider to Describe Better", Retrieved from the Internet <URL:https://arxiv.org/abs/2203.07003> * |
| Y. RAO 等: "Deep Learning Local Descriptor for Image Splicing Detection and Localization", IEEE ACCESS, vol. 8, 31 January 2020 (2020-01-31), pages 25611 - 25625, XP011771240, DOI: 10.1109/ACCESS.2020.2970735 * |
| 李聪聪: "基于视觉特征的跨域图像检索算法的研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2019, 15 February 2019 (2019-02-15) * |
| 翁政魁: "基于机器学习视觉目标分类识别方法研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2021, 15 February 2021 (2021-02-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
| Zhang et al. | Cosaliency detection based on intrasaliency prior transfer and deep intersaliency mining | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| US20230021661A1 (en) | Forgery detection of face image | |
| GB2581374A (en) | 3D Face reconstruction system and method | |
| Wang et al. | Background-driven salient object detection | |
| CN109886121A (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
| CN113111716B (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN107862680B (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| Mao et al. | 3dg-stfm: 3d geometric guided student-teacher feature matching | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN112560710B (zh) | 一种用于构建指静脉识别系统的方法及指静脉识别系统 | |
| Fried et al. | Patch2vec: Globally consistent image patch representation | |
| CN116434033A (zh) | 面向rgb-d图像稠密预测任务的跨模态对比学习方法及系统 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| Liu et al. | Iris recognition in visible spectrum based on multi-layer analogous convolution and collaborative representation | |
| CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
| CN111144469B (zh) | 基于多维关联时序分类神经网络的端到端多序列文本识别方法 | |
| CN115862119B (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
| Soimart | Ingredients estimation and recommendation of Thai-foods | |
| CN116977265A (zh) | 缺陷检测模型的训练方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |