CN111612075A - 基于联合特征重组和特征混合的兴趣点、描述符提取方法 - Google Patents
基于联合特征重组和特征混合的兴趣点、描述符提取方法 Download PDFInfo
- Publication number
- CN111612075A CN111612075A CN202010444152.6A CN202010444152A CN111612075A CN 111612075 A CN111612075 A CN 111612075A CN 202010444152 A CN202010444152 A CN 202010444152A CN 111612075 A CN111612075 A CN 111612075A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- pixel
- descriptor
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 66
- 230000006798 recombination Effects 0.000 title claims abstract description 22
- 238000005215 recombination Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 17
- 230000008521 reorganization Effects 0.000 claims description 15
- 238000011426 transformation method Methods 0.000 claims description 8
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 15
- 230000001629 suppression Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域，具体涉及一种基于联合特征重组和特征混合的兴趣点、描述符提取方法、系统、装置，旨在解决现有的兴趣点、描述符提取方法检测提取精度较低的问题。本系统方法包括：获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；对各特征图进行像素重组，通过卷积、非线性映射，得到得分图，并通过非最大抑制得到兴趣点；对输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量进行连接，并通过连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符。本发明提高了兴趣点、描述符检测提取的精度。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种基于联合特征重组和特征混合的兴趣点、描述符提取方法、系统、装置。
背景技术
长期以来，利用图像兴趣点及其局部特征描述符来寻找图像之间的正确对应关系是许多基于视觉的应用的基础，如视觉定位和图像检索等。然而，随着行业的快速发展，这些应用需要处理更复杂和困难的场景。由于图像兴趣点检测和描述是这些高级算法的关键组成部分，因此迫切需要进一步提高其精度，这具有重要的意义。
在过去的二十年里，有很多优秀的算法被提出来解决上述问题。无论是传统的基于统计和基于滤波的方法，还是基于深度学习的方法，都取得了重大突破。特别是基于深度学习的算法，如SuperPoint、D2-net、R2D2极大地提高了兴趣点检测和局部特征描述的准确性。然而，以前的方法主要关注于更好的基于深度学习的范式来解决这个问题，而略忽略了网络架构设计。而在其他视觉应用中提出的比较优秀的网络架构，如分类、目标检测、分割等，都不适用于图像兴趣点检测或局部特征描述。因此，本发明提出了一种基于联合特征重组和特征混合的兴趣点、描述符提取方法、系统、装置。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的兴趣点、描述符提取方法检测提取精度较低的问题，本发明第一方面，提出了一种基于联合特征重组和特征混合的兴趣点、描述符提取方法，包括：
步骤S100，获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；
步骤S200，对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Scoremap；基于所述得分图，通过非最大抑制得到兴趣点；
步骤S300，对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
所述描述符其对应的提取网络的损失函数的构建方法为：
基于获取的样本图像，作为第一图像；通过预设的多种图像变换方法对所述第一图像进行复合变换，变换后合成新的图像作为第二图像；
在所述第一图像中均匀采样M个像素点，作为第一像素点，并采样各第一像素点在第二图像中对应的像素点，作为第二像素点；提取各第一像素点、第二像素点的描述符；
计算第一像素点与第二像素点的描述符的距离，作为第一距离；并计算各第一像素点与第三像素点的描述符的距离，作为第二距离；所述第三像素点为第二图像中除第二像素点之外，与第一像素点的描述符距离最小，与第二像素点距离小于设定的阈值的像素点；
结合所述第一距离、所述第二距离，构建描述符损失函数。
在一些优选的实施方式中，所述残差网络不包括最大池化层，其提取的多尺度特征图与输入图像的宽、高分别为：
h＝hm×2m
w＝wm×2m
其中，h表示输入图像的高，w表示输入图像的宽，hm表示第m次卷积的特征图的高，wm表示第m次卷积的特征图的宽，m表示卷积的次数。
在一些优选的实施方式中，所述输入图像中各像素点其在多尺度特征图中的相应位置的计算方法为：
p(m)＝p/2m＝[x/2m,y/2m]T
其中，p(m)表示第m次卷积的特征图中像素点的位置，T表示转置，x,y表示输入图像中像素点的坐标。
在一些优选的实施方式中，所述预设的多种图像变换方法包括平移变换、比例变换、平面内旋转变换以及在预先设定的范围内的对称透视变形。
在一些优选的实施方式中，所述描述符损失函数为：
其中，Ltriplet(D,D',V)表示第一图像、第二图像各像素点对应描述符总的损失，D表示第一图像各像素点对应描述符的集合，D'表示第二图像各像素点对应描述符的集合，V表示第二图像各像素点在进行变换时对应的掩码集合，
表示第一图像中像素点的描述符
对应的损失值，vi、vj表示V中的第i,j个掩码，n表示第二图像中像素点的个数，
表示第一距离，
表示第二距离。
在一些优选的实施方式中，所述兴趣点其对应的提取网络的损失函数为加权交叉熵损失函数，其损失值的计算方法为：
其中，S表示得分图，Y表示得分图对应标记的兴趣点，λ表示预设的比率，u、v表示样本图像中像素点的位置，Yu,v表示兴趣点的位置，Su,v表示像素点在得分图中的位置，Lbce(S,Y)表示加权交叉熵损失值。
本发明的第二方面，提出了一种基于联合特征重组和特征混合的兴趣点、描述符提取系统，该系统包括特征提取模块、兴趣点获取模块、描述符提取模块；
所述特征提取模块，配置为获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；
所述兴趣点获取模块，配置为对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Score map；基于所述得分图，通过非最大抑制得到兴趣点；
所述描述符提取模块，配置为对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
所述描述符其对应的提取网络的损失函数的构建方法为：
基于获取的样本图像，作为第一图像；通过预设的多种图像变换方法对所述第一图像进行复合变换，变换后合成新的图像作为第二图像；
在所述第一图像中均匀采样M个像素点，作为第一像素点，并采样各第一像素点在第二图像中对应的像素点，作为第二像素点；提取各第一像素点、第二像素点的描述符；
计算第一像素点与第二像素点的描述符的距离，作为第一距离；并计算各第一像素点与第三像素点的描述符的距离，作为第二距离；所述第三像素点为第二图像中除第二像素点之外，与第一像素点的描述符距离最小，与第二像素点距离小于设定的阈值的像素点；
结合所述第一距离、所述第二距离，构建描述符损失函数。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于联合特征重组和特征混合的兴趣点、描述符提取方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于联合特征重组和特征混合的兴趣点、描述符提取方法。
本发明的有益效果：
本发明提高了兴趣点、描述符检测提取的精度。本发明利用残差网络进行特征提取，提取特征后通过特征重组实现兴趣点检测，提高了兴趣点检测的鲁棒性。并对输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量进行连接，通过连接层对连接后的特征向量进行过滤并压缩，完成特征描述符的提取。
另外，在训练的过程中基于随机均匀采样来建立快速有效训练的监督信息，构建兴趣点检测与特征描述符的损失函数。基于构建的损失函数进行训练，提高了兴趣点检测、描述符提取的精度。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于联合特征重组和特征混合的兴趣点、描述符提取方法的流程示意图；
图2是本发明一种实施例的基于联合特征重组和特征混合的兴趣点、描述符提取系统的框架示意图；
图3是本发明一种实施例的基于联合特征重组和特征混合的兴趣点、描述符提取方法的详细框架示意图；
图4是本发明一种实施例的基于兴趣点、描述符进行特征匹配的结果的示意图；
图5是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于联合特征重组和特征混合的兴趣点、描述符提取方法，如图1所示，包括以下步骤：
步骤S100，获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；
步骤S200，对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Scoremap；基于所述得分图，通过非最大抑制得到兴趣点；
步骤S300，对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
所述描述符其对应的提取网络的损失函数的构建方法为：
基于获取的样本图像，作为第一图像；通过预设的多种图像变换方法对所述第一图像进行复合变换，变换后合成新的图像作为第二图像；
在所述第一图像中均匀采样M个像素点，作为第一像素点，并采样各第一像素点在第二图像中对应的像素点，作为第二像素点；提取各第一像素点、第二像素点的描述符；
计算第一像素点与第二像素点的描述符的距离，作为第一距离；并计算各第一像素点与第三像素点的描述符的距离，作为第二距离；所述第三像素点为第二图像中除第二像素点之外，与第一像素点的描述符距离最小，与第二像素点距离小于设定的阈值的像素点；
结合所述第一距离、所述第二距离，构建描述符损失函数。
为了更清晰地对本发明基于联合特征重组和特征混合的兴趣点、描述符提取方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S100，获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建。
在本发明中，基于联合特征重组和特征混合的兴趣点、描述符提取方法，其通过兴趣点检测器、描述符提取网络进行兴趣点、描述符的检测提取。在进行兴趣点检测、描述点提取时，先对获取的图像进行特征提取。
在本实施例中，通过基于残差网络构建的特征提取网络提取输入图像的多尺度特征。特征提取的过程是对主干残差网络的前馈计算，产生多个尺度的特征图，尺度步长为2。卷积层生成相同大小的输出映射，那么这些层属于相同的网络阶段。每个网络阶段只有最后一个单元的输出被其他模块使用。
本发明中，使用残差网络ResNet的特征提取网络，与原始的残差网络略有不同的是，将最大池化层从网络中移除，因为这会使顶部特征图的比例不适合特征重组。因此，在网络架构中分为四个阶段(即四次卷积)，如图3所示，Conv表示卷积层，7×7,、3×3表示卷积层卷积核的大小，考虑输入图像宽高为h、w，每个阶段提取的对应的特征图可以表示为
Cm表示第m次卷积获取的特征图，dm表示第m次卷积的特征图的深度，hm表示第m次卷积的特征图的高，wm表示第m次卷积的特征图的宽，其中m∈{1,2,3,4}并且d∈{64,128,256,512。此外，特征图Cm的大小和输入图像I的大小都满足如公式(1)(2)的约束：
h＝hm×2m (1)
w＝wm×2m (2)
步骤S200，对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Scoremap；基于所述得分图，通过非最大抑制得到兴趣点。
在本实施例中，对步骤S100提取的多尺度特征图进行重组，如图3中的特征重组模块(Feature Shuffle Module)，具体如下：
通过像素重组操作将每个特征图从
转换到
并且不增加额外的内存资源，
表示像素重组后的特征图，图3中的Shuffled表示重组处理。
将所有转换后的特征图作为一个整体进行处理，并将其输入到一个单独的3×3卷积层中加上Sigmoid激活函数生成得分图Score map，表示为S∈Rh×w。
整个过程可以抽象描述如公式(3)所示：
S＝FSM(C1,C2,C3,C4) (3)
FSM即Feature Shuffle Module，表示特征重组。
在推理过程中，首先将非最大抑制应用于预测的得分图S。然后，当S中某个像素的响应值超过一个固定的检测阈值α时，当前点被标记为一个兴趣点。
步骤S300，对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
在本实施例中，为了充分利用多层语义，本发明提出了一种新的特征融合，即图3中的特征混合生成模块(Feature Blend Module)，它能够从多层特征向量中提取最具鉴别性的信息来构造描述符。具体如下：
给出输入图像上一个像素点p＝[x,y]T，x,y表示坐标，T表示转置，它在每个特征图
中的位置，其计算方法如公式(4)所示：
p(m)＝p/2m＝[x/2m,y/2m]T (4)
其中，p(m)表示第m次卷积的特征图中像素点的位置，T表示转置。
各像素点对应的特征向量
可以从多尺度特征图双线性插值得到。在生成所有的特征向量都属于同一点之后，本发明的特征融合模块(FBM)将它们连接成一个单一的特征向量，表示如式(5)所示：
Ccat(p)＝Cat(C1(p(1)),C2(p(2)),C3(p(3)),C4(p(4))) (5)
其中，Cat表示连接，Ccat表示连接后的特征向量，P＝{p1,p2,...,pn}表示像素点。
然后利用两个全连通层过滤Ccat(p)中的无用信息，并压缩其余的有效语义以生成最终的描述符dp∈Rdim，其中dim＝128。上述整个过程可以概括如式(6)：
D＝FBM(C1,C2,C3,C4,P) (6)
其中，D＝{d1,d2,...,dn}表示提取的描述符结合，d1,d2,...,dn表示各像素点对应的描述符。
基于获取的兴趣点、描述符，可以进行特征匹配，匹配结果如图4所示。
另外，为了进一步提高兴趣点检测、描述符提取的精度，本发明基于随机均匀采样来建立快速有效训练的监督信息，并定义损失函数。具体如下：
为了训练描述符，我们需要图像对之间的对应关系作为监控信号。因此，我们提出了一种生成图像对及其对应关系的数据构造方法。具体来说，对于一个训练的样本图像I，首先对一系列简单的转换进行采样，包括平移、比例、平面内旋转和在预先确定的范围内的对称透视变形。然后，将这些简单的转换组合成一个复合转换T∈R3×3。将这个变换T应用到样本图像I上，一个新的图像I'被合成，并且构造了带有已知变换T的图像对I,I'。
通过图像对之间的变换T，可以发现无数的对应关系。但是，这样会耗费资源，并且不需要使用太多的对应来训练模型。相反，采用随机均匀采样策略来获得少量的无偏对应。具体来说，在原始图像I上均匀采样n个点p＝{p1,p2,...,pn}，然后在合成图像I'上基于变换T生成对应的点p’＝{p’1,p’2,...,p’n}。整个过程如公式(7)(8)所示：
P,T＝RandomSample(·) (7)
P',V＝Transform(P) (8)
其中，RandomSample表示随机均匀采样，Transform表示图像空间变换，V∈Bn是表示点p’＝{p’1,p’2,...,p’n}中每个变换点有效性的掩码，B表示掩码边界的集合，因为并不是所有的变换点都位于图像的边界上，这些边界外的点是无效的。
采样点P及其对应点P0可用于构造描述符损失函数。值得注意的是，可以选择小到足以不影响模型精度的采样数n，以加快训练过程。本发明将所有的实验都设为n＝400。
给定图像I中的像素点集p＝{p1,p2,...,pn}，得到在I'中的对应像素点集p’＝{p’1,p’2,...,p’n}，分别可以得到这些像素点的描述符D和D'。然后，对于描述符
其与对应像素点的描述符的距离，本发明简称为正样本距离，计算如公式(9)所示：
其中
是
的对应描述符，在I'中除p’i外的像素点进行筛选，计算筛选后的点对应的描述符与图像I中像素点的描述符
的距离，本发明中简称负样本距离，如公式(10)所示：
其中，
p'k表示I'中除p′i之外的像素点，即先获取I中像素点的描述符
与I'中像素点的描述符
距离最小且p'k与p′i的空间距离要大于一定的阈值且p'k在边界内的，满足这些要求的点，表示为p’k *。
本发明中，阈值θ＝16用于确保
和p'i之间的空间距离超过一定值。此外，所选的负样本
需要在图像边界内进行定位，否则是无效的。
给出
和
本发明将三元组距离描述符损失函数定义如公式(11)所示：
其中，
表示图像I中像素点的描述符
对应的损失值。
由描述符D和D'构造的总损失，如公式(12)所示：
其中，Ltriplet(D,D',V)表示I、I'中各像素点对应描述符总的损失，D表示I中各像素点对应描述符的集合，D'表示I'中各像素点对应描述符的集合，V表示I'中各像素点在进行变换时对应的掩码集合，
表示I中像素点的描述符
对应的损失值，vi、vj表示V中的第i,j个掩码，n表示I'中像素点的个数。
结合样本图像对应的预测得分图S及其对应的兴趣点标记Y，特征点检测的加权交叉熵损失如公式(13)所示：
其中，S表示得分图，Y表示得分图对应标记的兴趣点，u、v表示样本图像中像素点的位置，Yu,v表示兴趣点的位置，Su,v表示像素点在得分图中的位置，Lbce(S,Y)表示加权交叉熵损失值。λ表示预设的平衡正负样本之间的比率,因为正样本的数量远小于负样本的数量。本发明设置λ优选设置为200。
基于关键点检测器的损失函数、描述符对应提取网络的损失函数，得到总的损失函数，如公式(14)所示：
Ltotal(S,S',D,D'；Y,Y',V)＝Lbce(S,Y)+Lbce(S',Y')+Ltriplet(D,D',V) (14)
其中，S,S'分别为图像I,I'的得分图，Y,Y'为它们的兴趣点真值标签。值得注意的是从(I,Y)到(I’,Y’)的随机变换和图像对I,I'之间的随机对应采样与训练程序并行处理。
在兴趣点检测器、描述符提取网路的训练过程中，本发明使用亚当优化器进行优化，优化参数β1＝0.9β2＝0.999lr＝0.001和权重decay＝10-4。将训练图像大小设置为240×320，训练批量设置为32。整个训练过程通常在15个周期内完成。在模型评价过程中，非最大抑制半径设置为4像素，检测阈值α为0.9以生产可靠的兴趣点。
本发明第二实施例的一种基于联合特征重组和特征混合的兴趣点、描述符提取系统，如图2所示，包括：特征提取模块100、兴趣点获取模块200、描述符提取模块300；
所述特征提取模块100，配置为获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；
所述兴趣点获取模块200，配置为对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Score map；基于所述得分图，通过非最大抑制得到兴趣点；
所述描述符提取模块300，配置为对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
所述描述符其对应的提取网络的损失函数的构建方法为：
基于获取的样本图像，作为第一图像；通过预设的多种图像变换方法对所述第一图像进行复合变换，变换后合成新的图像作为第二图像；
在所述第一图像中均匀采样M个像素点，作为第一像素点，并采样各第一像素点在第二图像中对应的像素点，作为第二像素点；提取各第一像素点、第二像素点的描述符；
计算第一像素点与第二像素点的描述符的距离，作为第一距离；并计算各第一像素点与第三像素点的描述符的距离，作为第二距离；所述第三像素点为第二图像中除第二像素点之外，与第一像素点的描述符距离最小，与第二像素点距离小于设定的阈值的像素点；
结合所述第一距离、所述第二距离，构建描述符损失函数。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于联合特征重组和特征混合的兴趣点、描述符提取系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于联合特征重组和特征混合的兴趣点、描述符提取方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于联合特征重组和特征混合的兴趣点、描述符提取方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
下面参考图5，其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图5示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)501，其可以根据存储在只读存储器(ROM，Read Only Memory)502中的程序或者从存储部分508加载到随机访问存储器(RAM，Random Access Memory)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O，Input/Output)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口405。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，该方法包括：
步骤S100，获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；
步骤S200，对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Scoremap；基于所述得分图，通过非最大抑制得到兴趣点；
步骤S300，对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
所述描述符其对应的提取网络的损失函数的构建方法为：
基于获取的样本图像，作为第一图像；通过预设的多种图像变换方法对所述第一图像进行复合变换，变换后合成新的图像作为第二图像；
在所述第一图像中均匀采样M个像素点，作为第一像素点，并采样各第一像素点在第二图像中对应的像素点，作为第二像素点；提取各第一像素点、第二像素点的描述符；
计算第一像素点与第二像素点的描述符的距离，作为第一距离；并计算各第一像素点与第三像素点的描述符的距离，作为第二距离；所述第三像素点为第二图像中除第二像素点之外，与第一像素点的描述符距离最小，与第二像素点距离小于设定的阈值的像素点；
结合所述第一距离、所述第二距离，构建描述符损失函数。
2.根据权利要求1所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述残差网络不包括最大池化层，其提取的多尺度特征图与输入图像的宽、高分别为：
h＝hm×2m
w＝wm×2m
其中，h表示输入图像的高，w表示输入图像的宽，hm表示第m次卷积的特征图的高，wm表示第m次卷积的特征图的宽，m表示卷积的次数。
3.根据权利要求2所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述输入图像中各像素点其在多尺度特征图中的相应位置的计算方法为：
p(m)＝p/2m＝[x/2m,y/2m]T
其中，p(m)表示第m次卷积的特征图中像素点的位置，T表示转置，x,y表示输入图像中像素点的坐标。
4.根据权利要求1所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述预设的多种图像变换方法包括平移变换、比例变换、平面内旋转变换以及在预先设定的范围内的对称透视变形。
5.根据权利要求3所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述描述符损失函数为：
其中，Ltriplet(D,D',V)表示第一图像、第二图像各像素点对应描述符总的损失，D表示第一图像各像素点对应描述符的集合，D'表示第二图像各像素点对应描述符的集合，V表示第二图像各像素点在进行变换时对应的掩码集合，
表示第一图像中像素点的描述符
对应的损失值，vi、vj表示V中的第i,j个掩码，n表示第二图像中像素点的个数，
表示第一距离，
表示第二距离。
6.根据权利要求5所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法，其特征在于，所述兴趣点其对应的提取网络的损失函数为加权交叉熵损失函数，其损失值的计算方法为：
其中，S表示得分图，Y表示得分图对应标记的兴趣点，λ表示预设的比率，u、v表示样本图像中像素点的位置，Yu,v表示兴趣点的位置，Su,v表示像素点在得分图中的位置，Lbce(S,Y)表示加权交叉熵损失值。
7.一种基于联合特征重组和特征混合的兴趣点、描述符提取系统，其特征在于，该系统包括：特征提取模块、兴趣点获取模块、描述符提取模块；
所述特征提取模块，配置为获取待提取的图像，作为输入图像，并通过特征提取网络提取该图像的多尺度特征图；所述特征提取网络基于残差网络构建；
所述兴趣点获取模块，配置为对各特征图进行像素重组，并通过卷积、非线性映射，得到得分图Score map；基于所述得分图，通过非最大抑制得到兴趣点；
所述描述符提取模块，配置为对所述输入图像中各像素点，获取其在多尺度特征图相应位置的特征向量并进行连接；通过N个连接层对连接后的特征向量进行过滤并压缩，得到各像素点对应的描述符；其中，N为正整数；
所述描述符其对应的提取网络的损失函数的构建方法为：
基于获取的样本图像，作为第一图像；通过预设的多种图像变换方法对所述第一图像进行复合变换，变换后合成新的图像作为第二图像；
在所述第一图像中均匀采样M个像素点，作为第一像素点，并采样各第一像素点在第二图像中对应的像素点，作为第二像素点；提取各第一像素点、第二像素点的描述符；
计算第一像素点与第二像素点的描述符的距离，作为第一距离；并计算各第一像素点与第三像素点的描述符的距离，作为第二距离；所述第三像素点为第二图像中除第二像素点之外，与第一像素点的描述符距离最小，与第二像素点距离小于设定的阈值的像素点；
结合所述第一距离、所述第二距离，构建描述符损失函数。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-6任一项所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法。
9.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于联合特征重组和特征混合的兴趣点、描述符提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010444152.6A CN111612075A (zh) | 2020-05-22 | 2020-05-22 | 基于联合特征重组和特征混合的兴趣点、描述符提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010444152.6A CN111612075A (zh) | 2020-05-22 | 2020-05-22 | 基于联合特征重组和特征混合的兴趣点、描述符提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111612075A true CN111612075A (zh) | 2020-09-01 |
Family
ID=72205282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010444152.6A Withdrawn CN111612075A (zh) | 2020-05-22 | 2020-05-22 | 基于联合特征重组和特征混合的兴趣点、描述符提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612075A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232361A (zh) * | 2020-10-13 | 2021-01-15 | 国网电子商务有限公司 | 图像处理的方法及装置、电子设备及计算机可读存储介质 |
| CN113656698A (zh) * | 2021-08-24 | 2021-11-16 | 北京百度网讯科技有限公司 | 兴趣特征提取模型的训练方法、装置和电子设备 |
| CN114693940A (zh) * | 2022-03-22 | 2022-07-01 | 电子科技大学 | 基于深度学习的特征混合可分解性增强的图像描述方法 |
-
2020
- 2020-05-22 CN CN202010444152.6A patent/CN111612075A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232361A (zh) * | 2020-10-13 | 2021-01-15 | 国网电子商务有限公司 | 图像处理的方法及装置、电子设备及计算机可读存储介质 |
| CN112232361B (zh) * | 2020-10-13 | 2021-09-21 | 国网电子商务有限公司 | 图像处理的方法及装置、电子设备及计算机可读存储介质 |
| CN113656698A (zh) * | 2021-08-24 | 2021-11-16 | 北京百度网讯科技有限公司 | 兴趣特征提取模型的训练方法、装置和电子设备 |
| CN113656698B (zh) * | 2021-08-24 | 2024-04-09 | 北京百度网讯科技有限公司 | 兴趣特征提取模型的训练方法、装置和电子设备 |
| CN114693940A (zh) * | 2022-03-22 | 2022-07-01 | 电子科技大学 | 基于深度学习的特征混合可分解性增强的图像描述方法 |
| CN114693940B (zh) * | 2022-03-22 | 2023-04-28 | 电子科技大学 | 基于深度学习的特征混合可分解性增强的图像描述方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560876B (zh) | 解耦度量的单阶段小样本目标检测方法 | |
| CN110188765B (zh) | 图像语义分割模型生成方法、装置、设备及存储介质 | |
| US20200311871A1 (en) | Image reconstruction method and device | |
| CN111860573B (zh) | 模型训练方法、图像类别检测方法、装置和电子设备 | |
| CN111401516B (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
| CN108172213B (zh) | 娇喘音频识别方法、装置、设备及计算机可读介质 | |
| CN111612075A (zh) | 基于联合特征重组和特征混合的兴趣点、描述符提取方法 | |
| CN111612017A (zh) | 一种基于信息增强的目标检测方法 | |
| CN112598597A (zh) | 一种降噪模型的训练方法及相关装置 | |
| CN113191489B (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
| CN111444807B (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
| CN111091524A (zh) | 基于深度卷积神经网络的前列腺经直肠超声图像分割方法 | |
| CN113065997B (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
| CN112580720A (zh) | 一种模型训练方法及装置 | |
| CN114359289A (zh) | 一种图像处理方法及相关装置 | |
| WO2024027347A1 (zh) | 内容识别方法、装置、设备、存储介质及计算机程序产品 | |
| CN117094362A (zh) | 一种任务处理方法及相关装置 | |
| CN112884702A (zh) | 一种基于内窥镜图像的息肉识别系统和方法 | |
| CN109508582A (zh) | 遥感影像的识别方法及装置 | |
| CN113920208A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN111738069A (zh) | 人脸检测方法、装置、电子设备及存储介质 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN113688928B (zh) | 图像匹配方法、装置、电子设备和计算机可读介质 | |
| CN116958154A (zh) | 图像分割方法和装置、存储介质及电子设备 | |
| CN115623242A (zh) | 一种视频处理方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200901 |