CN113033576B - 图像局部特征提取、模型训练方法、设备及存储介质 - Google Patents
图像局部特征提取、模型训练方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113033576B CN113033576B CN201911357883.0A CN201911357883A CN113033576B CN 113033576 B CN113033576 B CN 113033576B CN 201911357883 A CN201911357883 A CN 201911357883A CN 113033576 B CN113033576 B CN 113033576B
- Authority
- CN
- China
- Prior art keywords
- feature
- point
- image
- descriptor
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 113
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 114
- 230000009466 transformation Effects 0.000 claims description 56
- 230000015654 memory Effects 0.000 claims description 30
- 230000001131 transforming effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像局部特征提取、模型训练方法、设备及存储介质。在图像局部特征提取方法中,将待处理图像输入图像处理模型,图像处理模型包括特征检测器和特征描述器;其中,训练特征检测器的真值,根据训练样本上的特征描述符稳定性大于设定阈值的目标特征点获取;特征描述符稳定性,根据特征描述器输出的训练样本上的特征点的特征描述符计算得到。将目标特征点作为特检测器的真值对特征检测器进行训练,可优化特征检测器的特征检测性能,提升图像局部特征提取效果。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像局部特征提取、模型训练方法、设备及存储介质。
背景技术
图像局部特征提取算法,是多种图像处理算法或应用的关键基础算法之一,该多种图像处理算法或应用可包括图像匹配、图像检索、图像拼接、基于图像的定位以及基于图像的场景三维重建等。图像局部特征提取算法的优劣一定程度上决定了图像处理算法的性能。
但是,现有技术提供的图像局部特征提取算法提取到的图像特征仍旧不理想。因此,有待提出一种新的解决方案。
发明内容
本申请的多个方面提供一种图像局部特征提取、模型训练方法、设备及存储介质,用以有利于有效地提升图像局部特征提取性能。
本申请实施例提供一种图像处理模型训练方法,包括:将第一图像输入图像处理模型;所述图像处理模型包含特征检测器和特征描述器,所述第一图像包括第一特征点;通过所述特征描述器,计算所述第一特征点的特征描述符;根据所述第一特征点的特征描述符,计算所述第一特征点的特征描述符稳定性;从所述第一特征点中,确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点;将所述目标特征点作为真值,对所述特征检测器进行训练。
本申请实施例还提供一种图像处理模型训练方法,包括:将第一图像和第二图像输入图像处理模型,所述第二图像根据所述第一图像变换得到;通过所述图像处理模型中的特征检测器,检测所述第一图像上的第一特征点和所述第二图像上的第二特征点;通过所述图像处理模型中的特征描述器,计算所述第一特征点和第二特征点的特征描述符;根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离,对所述特征描述器进行训练。
本申请实施例还提供一种图像局部特征提取方法,包括:将待处理图像输入图像处理模型;所述图像处理模型包括特征检测器和特征描述器;通过所述特征检测器检测所述待处理图像上的特征点,并通过所述特征描述器输出所述特征点的特征描述符;其中,训练所述特征检测器的真值,根据训练样本上的特征描述符稳定性大于设定阈值的特征点获取;所述特征描述符稳定性,根据所述特征描述器输出的所述训练样本上的特征点的特征描述符计算得到。
本申请实施例还提供一种图像处理模型训练方法,包括:将根据相同场景得到的图像和雷达点云数据输入图像处理模型;所述图像处理模型包括特征检测器;通过所述特征检测器,检测所述图像上的至少一个特征点;根据所述雷达点云数据,从所述至少一个特征点中筛选出稳定性满足设定条件的目标特征点;将所述目标特征点作为真值,对所述特征检测器进行训练。
本申请实施例还提供一种数据处理设备,包括:存储器和处理器;所述存储器用于存储一条或多条计算机指令;所述处理器用于执行所述一条或多条计算机指令以用于:执行本申请实施例提供的方法中的步骤。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现本申请实施例提供的方法中的步骤。
本申请实施例提供的图像局部特征提取方法中,将待处理图像输入图像处理模型,图像处理模型包括特征检测器和特征描述器;其中,训练特征检测器的真值,根据训练样本上的特征描述符稳定性大于设定阈值的目标特征点获取;特征描述符稳定性,根据特征描述器输出的训练样本上的特征点的特征描述符计算得到。将目标特征点作为特检测器的真值,一方面,在图像模型内部实现了特征描述器对特征检测器的有效促进。另一方面,目标特征点的特征描述符稳定性较高,可较为真实地反映输入图像上的特征,有利于优化训练目标,有效提升特征检测器的训练效率,优化特征检测器的特征检测性能,提升图像局部特征提取效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一示例性实施例提供的图像处理模型训练方法的流程示意图;
图2a为本申请另一示例性实施例提供的图像处理模型训练方法的流程示意图;
图2b为本申请一示例性实施例提供的图像处理模型训练方法的流程框架图;
图2c为本申请一示例性实施例提供的从图像上提取特征点的示意图;
图2d为本申请另一示例性实施例提供的存在对应关系的特征点的示意图;
图2e为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意图;
图3a为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意图;
图3b为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意图;
图3c为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意图;
图4a为本申请又一示例性实施例提供的图像局部特征提取方法的流程示意图;
图4b为本申请一应用场景实施例提供的图像局部特征提取方法的示意图;
图4c为本申请一示例性实施例提供的图像处理模型的结构示意图;
图5为本申请一示例性实施例提供的数据处理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对现有技术中,图像局部特征提取算法对图像特征的提取性能不理想的技术问题,在本申请一些实施例中,提供了一种解决方案,以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供的数据处理方法的流程示意图,如图1所示,该方法包括:
步骤101、将第一图像输入图像处理模型;图像处理模型包含特征检测器和特征描述器,第一图像包括第一特征点。
步骤102、通过特征描述器,计算第一图像上的第一特征点的特征描述符。
步骤103、根据第一特征点的特征描述符,计算第一特征点的特征描述符稳定性。
步骤104、从第一特征点中,确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点。
步骤105、将目标特征点作为真值,对特征检测器进行训练。
其中,图像处理模型,包括任意可用于执行图像处理操作的机器学习模型,本实施例并不限制图像处理模型的具体实现结构。
在一些实施例中,图像处理模型可实现为基于神经网络(Neural Networks,NN)的机器学习模型,例如,可实现为卷积神经网络(Convolutional Neural Networks,CNN)模型、深度神经网络(Deep Neural Network,DNN)、图卷积神经网络(Graph ConvolutionalNetworks,GCN)模型、循环神经网络(Recurrent Neural Network,RNN)模型以及长短期记忆神经网络(Long Short-Term Memory,LSTM)模型等等,本实施例包含但不限于此。
其中,图像处理模型包含特征检测器和特征描述器。特征检测器,主要用于根据特征点检测算法,在图像中确定各个特征点的位置。特征描述器,主要用于根据特征点描述算法,基于图像上各个特征点所在位置的局部图像区域,为每个特征点计算出对应的特征向量。通常,特征点对应的特征向量,也被称为特征点的特征描述符。
其中,第一图像,可以是任意的待处理或者待识别的图像,或者用于进行模型训练的样本图像,本实施例不做限制。
其中,图像处理模型在执行图像处理操作的过程中,可从输入的图像上提取局部图像特征。其中,局部图像特征是图像特征的局部表达,是多种图像处理操作(例如图像分析、图像识别)的基础。
通常,图像局部特征包含至少两种信息:特征所属以及特征描述符(FeatureDescriptiors)。其中,特征所属,指的是特征在图像中的位置,该位置通常可被视为图像中的一个像素点,该像素点被称为图像上的特征点。特征点的特征描述符可根据特征点的附近的图像上下文信息进行计算,因此提取局部图像特征(Local Feature)的过程,可视为检测图像上的特征点,并计算特征点的特征描述符的过程。
特征点,指的是能够在包含相同场景或相同目标的不同图像中,以一种相同或相似的不变形式来表示场景或目标的像素点。也就是说,针对同一个场景,从不同的角度采集多幅图像,若多幅图像上表现相同场景的像素点能够被识别出来是相同或者相似的,那么可认为这些表现相同场景的像素点具有一定的不变性,可被称为特征点。
为便于描述,将用于表示第一图像上的图像特征的点记为第一特征点。其中,第一特征点的数量可以是一个或者多个,视实际情况而定。其中,第一特征点可由图像处理模型中的特征检测器检测得到,或者,可由用户进行人工手动标注,或者,还可由图像处理模型或特征描述器对第一图像上的像素点进行随机选取得到,本实施例包含但不限于此。
本实施例中,提出了一种特征点评价方法,即:基于像素点的特征描述符稳定性,评价像素点是被检测为图像上的特征点的可靠性。其中,特征描述符稳定性的评价指标可包括:特征点的特征描述符的重复性和/或特征描述符的可区分性。
其中,第一特征点的特征描述符稳定性可根据第一特征点的特征描述符计算得到。根据第一特征点的特征描述符稳定性,可从第一特征点中确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点。目标特征点的特征描述符稳定性大于设定阈值时,可认为目标特征点可较为准确地表达第一图像上的局部特征,有利于后续的图像处理过程。因此,可将目标特征点作为特征检测器的真值(即:学习目标),对特征检测器进行训练。
对特征检测器的训练过程中,特征检测器可将目标特征点作为对第一图像进行特征检测的目标输出结果,进而不断地学习如何处理目标特征点与第一图像之间的关系。应当理解的是,本实施例提供的数据处理方法可循环迭代执行,以进一步提升图像处理模型的性能。
在本实施例中,根据特征描述器对输入图像上的特征点的特征描述符计算结果,可计算特征点特征描述符的稳定性;基于特征描述符稳定性可自动从输入图像上确定具有较高特征描述符稳定性的目标特征点。将目标特征点作为特检测器的真值,一方面,在图像模型内部实现了特征描述器对特征检测器的有效促进。另一方面,目标特征点的特征描述符稳定性较高,可较为真实地反映输入图像上的特征,有利于优化训练目标,有效提升特征检测器的训练效率,优化特征检测器的特征检测性能。
在上述实施例中,记载了特征描述符稳定性的评价指标可包括:特征点的特征描述符的重复性和/或特征描述符的可区分性。以下将进行进一步示例性说明。
可选地,特征描述符具有较好的重复性,可体现在:在多个不同的特征描述符计算过程中,同一特征点的多个特征描述符之间具有较高的特征描述符相似度,和/或,不同图像上存在对应关系的特征点之间,具有较高的特征描述符相似度。
可选地,特征描述符的可区分性可体现在:特征点的特征描述符与本图像上其他特征点的特征描述符的相似度较低,和/或,与其他图像上不存在对应关系的特征点特征描述符的相似度较低。其中,不同图像上存在对应关系的特征点,指的是不同图像上用于表达相同或者相似的场景、目标的特征点。
在本实施例中,为获取与第一特征点对应的特征点以及与第一特征点不对应的特征点,以计算第一特征点的重复性和可区分性,可进一步获取第二图像,并将第二图像输入了图像处理模型。其中,第二图像与第一图像存在对应的图像特征,以确保第二图像上存在与第一特征点对应的特征点。
可选地,获取第二图像的一种可选实施方式,可包括:对与第一图像展示的场景或者目标进行多次拍摄,得到第二图像;第二图像可以包括多张图像。
为进一步简化模型训练流程,在另一些可选地的实施例中,可通过对已有的第一图像进行变换,得到与第一图像存在对应的图像特征的第二图像。以下将进行示例性说明。
可选地,可根据第一变换参数,对第一图像进行变换,得到第二图像。其中,第一参数可以包含多种类型的变换参数。可选地,对第一图像可以执行多次变换,得到多张第二图像,本实施例不做限制。其中,采用“第一”、“第二”对图像进行限定,仅用于方便描述和区分,并不对其顺序、位置或者等级构成任何限制。
可选地,对第一图像进行变换的操作,包括:几何变换、色彩变换、对比度变换、亮度变换中的至少一种。其中,几何变换操作可基于仿射变换(affine transformation)实现,此处不做赘述。
以下将以第一图像和第二图像为例,对本申请实施例提供的数据处理方法进行进一步说明。
图2a为本申请另一示例性实施例提供的数据处理方法的流程示意图,如图2a所示,该方法包括:
步骤201、根据第一变换参数,对第一图像进行变换,得到第二图像,并将第一图像和第二图像输入图像处理模型。
步骤202、通过图像处理模型中的特征检测器,检测第一图像上的特征点,作为第一特征点,并根据第一变换参数,从第二图像上确定由第一特征点变换得到的第二特征点。
步骤203、通过图像处理模型中的特征描述器,计算第一特征点的特征描述符和第二特征点的特征描述符。
步骤204、根据第一特征点的特征描述符、第二特征点的特征描述符以及第一特征点和第二特征点的对应关系,计算第一特征点的特征描述符稳定性。
步骤205、将第一特征点中,特征描述符稳定性大于设定阈值的特征点,作为目标特征点。
步骤206、根据第二变换参数,对第一图像进行变换,得到第三图像,第三图像包含变换后的目标特征点。
步骤207、将目标特征点和变换后的目标特征点作为真值,通过第一图像和第三图像对特征检测器进行训练,直至特征检测器的损失函数小于设定的第一阈值。
在步骤201中,第一变换参数,用于表征第一图像和第二图像上的像素的映射关系。例如,对第一图像执行仿射变换得到第二图像时,第一变换参数可包含仿射变换采用的映射向量。又例如,对图像执行亮度调节操作时,第一变换参数可包含亮度调节增量或减量,不再赘述。
如图2b所示,若以I表示变换前的图像,以表示第一变换参数,以/>表示变换得到的图像,那么/>图2c示意了对第一图像进行仿射变换得到第二图像的效果。
可选地,为提升特征检测器的性能,在仿射变换后,还可进一步对第二图像进行色彩、亮度、饱和度等参数调节操作,本实施例不做限制。
值得说明的是,在一些其他可选的实施例中,可在将第一图像输入图像处理模型后,由图像处理模型执行将第一图像变换为第二图像的操作,本实施例不做限制。
在步骤202中,可选地,特征检测器可对第一图像进行特征概率检测,计算第一图像上的每个像素点为特征点的概率,并根据计算得到的概率从第一图像上的像素点中确定特征点。
可选地,为提升特征检测器输出的特征点的准确性,可进一步采用第二图像来辅助特征检测器对第一图像的特征点检测操作,即:根据第一图像上的像素点为特征点的概率和第二图像上的像素点为特征点的概率,从第一图像上获取第一特征点。以下将进行示例性说明。
可选地,可将第一图像和第二图像输入特征检测器,在特征检测器中,分别计算第一图像上的像素点为特征点的概率,以及第二图像上的像素点为特征点的概率。
本实施例为方便描述和区分,将第一图像上的像素点为特征点的概率描述为第一概率,将第二图像上的像素点为特征点的概率为第二概率。如图2b所示,第一概率可采用P标记,第二概率可采用标记。
应当理解,第二图像由第一图像变换得到,第一图像上的像素点和第二图像上的像素点存在对应关系,该对应关系表现为一种变换关系,即:变换前的像素点和变换后的像素点一一对对应。
例如,可将第一特征点记为:Q={Qi|Qi=(hi,wi)},其中,hi和wi分别为第一图像上第i个像素点的行、列坐标。以I表示第一图像,以表示第二图像时,第二特征点可记为:/>
根据第一图像上的像素点和第二图像上的像素点的变换关系,可将第一概率和第二概率进行融合,得到第一图像上的像素点为特征点的融合概率。接着,可基于该融合概率,从第一图像上像素中确定特征点,作为第一特征点。
可选地,在获取到融合概率后,可进一步寻找融合概率的局部极值,将局部极值点作为检测到的特征点。可选地,寻找局部极值的方法可以为非极大值抑制算法(Non-Maximum Suppression,NMS),本实施例包含但不限于此。
在上述过程中,融合概率根据从第一概率和第二概率计算得到,基于融合概率从第一图像上寻找特征点,充分利用了特征检测器的重复性,有利于提升特征检测器检测到的特征点与真实特征点的接近程度。
其中,特征检测器的重复性是指,对于包含相同场景的不同图像,例如,对于图像1和图像2,若特征检测器在图像1中检测出了特征点1,且特征点1表征的场景在图像2中可见,那么,特征检测器可在图像2中检测出与特征点1表示同一场景的特征点2。
在步骤203中,可选地,第一特征点和第二特征点输入特征描述器后,特征描述器可分别计算第一特征点的特征描述符和第二特征点的特征描述符。
在步骤204中,可选地,针对每一个特征点,其特征描述符稳定性包括:该特征点与存在对应关系的另一特征点的特征描述符接近度,和/或,该特征点与不存在对应关系的特征点的特征描述符可区分性。
基于上述,针对第一特征点而言,可根据第一特征点的特征描述符、第二特征点的特征描述符以及第一特征点和第二特征点的对应关系,计算第一特征点的特征描述符稳定性。第一特征点和第二特征点的对应关系表现为特征点之间的变换关系。以下将进行示例性说明。
可选地,以下为方便描述和区分,将第一特征点中的任一特征点标记为:特征点A,将第一特征点中除了特征点A之外的其他特征点标记为:特征点B;将第二特征点中,由特征点A变换得到的特征点标记为:特征点A`,将第二特征点中除了特征点A`之外的其他特征点标记为:特征点B`。其中,B和B`可分别包含多个特征点。
其中,在第二特征点中确定第二特征点A`的操作,可基于第一变换参数实现。例如,承接前述步骤,时,/>
基于上述,针对特征点A,可计算特征点A的特征描述符和特征点A`的特征描述符之间的第一距离,计算特征点A的特征描述符和所述第二特征点中的特征点B`的特征描述符之间的第二距离,以及计算特征点A`的特征描述符和特征点B的特征描述符之间的第三距离。
其中,特征描述符可实现为特征向量,计算特征点的特征描述符之间的距离,即为计算特征向量之间的距离,该距离可表征特征向量之间的相似度。可选地,计算特征向量之间的距离的方式,可采用余弦距离、欧式距离(Euclidean Distance,欧几里得距离)、曼哈顿距离(Manhattan Distance)、切比雪夫距离(ChebBshev distance)中的一种或多种,本实施例不做限制。以下将以欧式距离为例进行示例性说明。
可选地,第一距离可记为:DA,A`=||FA-FA`||2;第二距离可记为:
第三距离可记为:/>其中,F表示特征描述符。
为便于理解,可参考图2d的示意进行示例性说明。在图2d中,左侧图像3经仿射变换后得到右侧图像4。图像3包含特征点a、b,图像4包含由特征点a变换得到的特征点a`、以及由图像b变换得到的特征点b`。
基于上述记载,计算特征点a的特征描述符稳定性时,可计算特征点a的特征描述符和特征点a`的特征描述符之间的距离,为第一距离;计算特征点a的特征描述符和特征点b`的特征描述符之间的距离,为第二距离;计算特征点a`的特征描述符和特征点b的特征描述符之间的距离,为第三距离。同理,计算特征点b的特征描述符稳定性时,可计算特征点b的特征描述符和特征点b`的特征描述符之间的距离,为第一距离;计算特征点b的特征描述符和特征点a`的特征描述符之间的距离,为第二距离;计算特征点b`的特征描述符和特征点a的特征描述符之间的距离,为第三距离。
可选地,接下来,可根据第一距离、第二距离以及第三距离中的至少一种,计算特征点A的特征描述符稳定性。
根据特征描述符稳定性的定义,即特征点的特征描述符具有较好的重复性和可区分性,在一些实施例中,可将第二距离和第一距离的距离比值,作为特征点A的特征描述符稳定性。即,特征点A的特征描述符稳定性
在另一些实施例中,可将第三距离和第一距离的距离比值,作为特征点A的特征描述符稳定性。即,特征点A的特征描述符稳定性
在又一些实施例中,可将第二距离和第三距离的平均值和第一距离的距离比值,作为特征点A的特征描述符稳定性。即,特征点A的特征描述符稳定性
基于上述方式,可获取到第一特征点包含的每个特征点对应的距离比值,该距离比值可分别描述每个特征点的特征描述符稳定性。接着,可从第一特征点中,选取距离比值大于设定的比例阈值的特征点,作为目标特征点。
可选地,上述比例阈值可根据实际需求进行设定,本实施例不做限制。
在步骤206中,可根据第二变换参数,对第一图像进行变换,得到第三图像。接着,根据第二变换参数,从第三图像上确定与目标特征点对应的像素点,作为变换后的目标特征点。
可选地,第二变换参数和第一变换参数可以相同,也就是说,第三图像和第二图像可以相同。在一些实施例中,步骤206可实现为:根据第一变换参数,从第二图像上,确定与目标特征点对应的像素点,作为变换后的目标特征点,以进一步简化训练步骤。
在步骤207中,将目标特征点和变换后的目标特征点作为真值,通过第一图像和第三图像对特征检测器进行训练,直至特征检测器的损失函数小于设定的第一阈值。
可选地,特征检测器的损失函数可基于以下的实施方式进行构建:
根据特征检测器输出的第一图像上的特征检测概率与目标特征点之间的损失,以及特征检测器输出的第三图像上的特征检测概率与该变换后的目标特征点之间的损失,构建焦点损失函数(Focal Foss,FL)。
接着,根据特征检测器输出的第一特征点的特征检测概率和第三特征点的特征检测概率之间的距离,构建相对熵损失函数(Kullback-Leibler Divergence,KLD);其中,第三特征点为第三图像上与所述第一特征点对应的特征点;接着,根据焦点损失函数和相对熵损失函数,构建特征检测器的损失函数。
在一些可选的实施例中,特征检测器的损失函数可实现为:
其中,Y为目标特征点,为变换后的目标特征点,二者作为训练采用的真值;P为第一图像上的像素点被特征检测器检测为特征点的概率,/>为第三图像上的像素点被特征检测器检测为特征点的概率;/>表示第一图像上的特征点被特征检测器检测为特征点的概率;/>表示第三图像上的第三特征点被特征检测器检测为特征点的概率;λ为权重系数,i表示特征点的序号。
值得说明的是,在本实施例中,为使得训练特征检测器的操作,对特征描述器具有较小的影响,可在训练检测器的损失函数中,添加损失函数附加项,该损失函数附加项可确保特征描述器具有稳定的输出结果。
应当理解,训练特征检测器的前后,若特征描述器输出的同一特征点的特征描述符在设定的范围内产生较小变化,则可认为特征描述器具有稳定的输出结果。
基于此,可获取对特征检测器进行训练之前和训练之后,特征描述器输出的相同特征点的特征描述符的差值,根据该相同特征点的特征描述符的差值,构建损失函数附加项,并将该损失函数附加项添加到特征检测器的损失函数中。
可选地,一种典型的损失函数附加项可根据如下公式进行构造:
其中,MSE()为均方误差函数,F表示根据真值对特征检测器进行训练之前,特征描述器输出的第一图像上的特征点的特征描述符,F'表示根据真值对特征检测器进行训练之后,特征描述器输出的第一图像上的特征点的特征描述符;表示根据真值对特征检测器进行训练之前,特征描述器输出的第二图像或第三图像上的特征点的特征描述符,/>表示根据真值对特征检测器进行训练之后,特征描述器输出的第二图像或第三图像上的特征点的特征描述符。
在上添加/>之后,特征检测器的损失函数更新为如下的/>
其中,α为用于平衡和/>的权重系数。
在本实施例中,特征检测器从输入的图像上检测出特征点,特征描述器可对特征检测器检测到的特征点进行描述,基于特征描述器输出的特征点的特征描述符,可从特征检测器检测到的特征点中,确定具有较高特征描述符稳定性的目标特征点。该目标特征点较为准确地表征了输入图像上的图像特征,将目标特征点作为特检测器的真值,有利于优化训练目标,有效提升特征检测器的训练效率,优化特征检测器的特征检测性能。与此同时,在这种实施方式中,特征描述器的计算结果可以对特征检测器的训练过程形成较好的促进作用,实现了图像处理模型的自我进化,提升了图像处理模型的性能。
需要明的是,上述步骤201和步骤202可替换为如下的步骤,即:将第一图像输入图像处理模型,通过特征检测器,计算第一图像上的特征点,作为特征点。接着,根据变换参数,直接对第一特征点进行变换,得到第二特征点。其中,对特征点进行变换可理解为对特征点执行映射操作,即采用统一的映射关系,将第一特征点映射为第二特征点。第二特征点和第一特征点存在一一对应的关系,针对第一特征点中的任一特征点,可在第二特征点中,找到与该特征点对应的另一特征点。基于这种实施方式,可进一步简化图像变换操作,提升数据处理效率。
在上述各实施例的基础上,本申请实施例提供的图像处理模型训练方法中,在对特征检测器进行训练后,可进一步基于训练后的特征检测器的输出结果,对特征描述器进行训练,如图2e所示,还包括如下的步骤:
步骤208、通过训练后的特征检测器,检测第一图像和第二图像上的特征点,作为第四特征点和第五特征点。
步骤209、通过特征描述器,计算第四特征点的特征描述符和第五特征点的特征描述符。
步骤210、根据第四特征点的特征描述符和第五特征点的特征描述符,构建特征描述器的损失函数。
步骤211、根据特征描述器的损失函数,对特征描述器进行训练。
上述步骤208-步骤211可执行在步骤207之后。
应当理解,针对特征描述器而言,其性能的优异性可表现在:对包含相同场景的不同图像上存在对应关系的特征点,其计算出的特征描述符较为接近;对同一图像或者不同图像上不存在对应关系的特征点,其计算出的特征描述符存在较大差异。
基于此,可通过特征点与存在对应关系的另一特征点的特征描述符接近度,以及该特征点与不存在对应关系的特征点的特征描述符可区分性,来构建训练特征描述器的损失函数,进而实现对特征描述器进行优化。
在本实施例中,通过变换第一图像得到第二图像的方式,得到了不同图像上的特征点的对应关系(变换关系)。因此,可根据第一图像上的第四特征点的特征描述符合第二图像上的第五特征点的特征描述符,构建训练特征描述器的损失函数。
以下为方便描述和区分,将第四特征点中的任一特征点标记为:特征点N,将第四特征点中除了特征点N之外的其他特征点标记为:特征点M;将第五特征点中,由特征点N变换得到的特征点标记为:特征点N`,将第五特征点中除了特征点N`之外的其他特征点标记为:特征点M`。其中,M和M`可分别包含多个特征点。
基于上述,针对特征点N,可计算特征点N的特征描述符和特征点N`的特征描述符之间的距离1,计算特征点N的特征描述符和所述第五特征点中的特征点M`的特征描述符之间的距离2,以及计算特征点N`的特征描述符和特征点M的特征描述符之间的距离3。
其中,特征描述符可实现为特征向量,计算特征点的特征描述符之间的距离,即为计算特征向量之间的距离,该距离可表征特征向量之间的相似度。可选地,计算特征向量之间的距离的方式,可采用余弦距离、欧式距离、曼哈顿距离、切比雪夫距离中的一种或多种,本实施例不做限制。以下将以欧式距离为例进行示例性说明。
可选地,距离1可记为:DN,N`=||FN-FN`||2;距离2可记为:距离3可记为:/>其中,F表示特征描述符。
接着,可根据距离1、距离2和距离3,定义特征描述器的损失函数。
可选地,根据距离1、距离2和距离3,定义特征描述器的损失函数的可选实施方式,可包括:计算距离2和距离3中的最小值,构造距离1和该最小值的差值函数,作为特征描述器的损失函数。在根据特征描述器的损失函数对特征描述器进行训练时,随着特征描述器的模型参数不断更新的过程,计算特征描述器的损失函数的值,直至特征描述器的损失函数小于设定的第二阈值时,停止训练过程。
可选地,在一些实施例中,特征描述器的损失函数可实现为如下公式:
其中,n为特征点的总数量;m为间隔参数,即第二阈值;min()为求最小值函数,max()为求最大值函数。
基于上述公式可知,min(DN,M`,DN`,M)-DN,N`>m时,停止对特征描述器的训练操作,在此时,不存在对应关系的特征之间具有较大的可区分性,存在对应关系的特征之间具有较小的可区分性,使得特征描述器在计算特征点的描述时,具有较高的可靠性和重复性。
值得说明的是,在本实施例中,为使得训练特征描述器的操作,对特征检测器的影响较小,可在训练描述器的损失函数中,添加损失函数附加项,该损失函数附加项可确保特征检测器具有稳定的输出结果。
应当理解,训练特征描述器的前后,若特征检测器输出的同一像素点为特征点的概率在设定的范围内产生较小变化,则可认为特征检测器具有稳定的输出结果。
基于此,可获取对特征描述器进行训练之前和训练之后,特征检测器输出的相同像素点为特征点的概率的差值;根据该相同像素点为特征点的概率的差值,构建损失函数附加项,并将该损失函数附加项添加到特征描述器的损失函数中。
可选地,一种典型的损失函数附加项可根据如下公式进行构造:
其中,MSE()为均方误差函数,P表示对特描述器进行训练之前,特征检测器输出的第一图像上的像素为特征点的概率,P'对特描述器进行训练之后,特征检测器输出的第一图像上的像素为特征点的概率;表示对特描述器进行训练之前,特征检测器输出的第二图像或第三图像上的像素为特征点的概率,/>对特描述器进行训练之后,特征检测器输出的第二图像或第三图像上的像素为特征点的概率。
在上添加/>之后,特征描述器的损失函数更新为如下的/>
其中,β为用于平衡和/>的权重系数。
在本实施例中,特征描述器的计算结果可以对特征检测器的训练过程形成较好的促进作用,训练后的特征检测器的检测结果又可对特征描述器的训练过程形成较好的促进作用,特征检测器和特征描述器相互促进,进一步提升了图像处理模型的自我进化能力,提升了图像处理模型图像处理性能。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201至步骤204的执行主体可以为设备A;又比如,步骤201和202的执行主体可以为设备A,步骤203的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图3a为本申请又一示例性实施例提供的图像处理模型训练方法,如图3a所述,该方法包括:
步骤301a、将第一图像和第二图像输入图像处理模型,该第二图像根据该第一图像变换得到。
步骤302a、通过该图像处理模型中的特征检测器,检测该第一图像上的第一特征点和该第二图像上的第二特征点。
步骤303a、通过该图像处理模型中的特征描述器,计算该第一特征点和第二特征点的特征描述符。
步骤304a、根据该第一特征点的特征描述符和该第二特征点的特征描述符之间的距离,对该特征描述器进行训练。
在一些示例性实施例中,根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离,对所述特征描述器进行训练的一种方式,包括:根据所述第一特征点和所述第二特征点中,存在对应关系的特征点的特征描述符之间的距离,以及不存在对应关系的特征点的特征描述符之间的距离,构建所述特征描述器的损失函数;根据所述特征描述器的损失函数,对所述特征描述器进行训练。
在一些示例性实施例中,根据所述第一特征点和所述第二特征点中,存在对应关系的特征点的特征描述符之间的距离,以及不存在对应关系的特征点的特征描述符之间的距离,构建所述特征描述器的损失函数的一种方式,可包括:针对所述第一特征点中的任一特征点N,在所述第二特征点中确定由所述特征点N变换得到的特征点N`;所述第一特征点还包括特征点M,所述第二特征点包括由所述特征点M变换得到的特征点M`;获取所述特征点N的特征描述符和所述特征点N`的特征描述符之间的第一距离,所述特征点N的特征描述符和所述特征点M`的特征描述符之间的第二距离,以及所述特征点N`和所述特征点M的特征描述符之间的第三距离;根据所述第一距离、所述第二距离和第三距离,构建所述特征描述器的损失函数。
在一些示例性实施例中,根据所述第一距离、所述第二距离和第三距离,构建所述特征描述器的损失函数的一种方式,包括:计算所述第二距离和所述第三距离中的最小值;构造所述第一距离和所述最小值的差值函数,作为所述特征描述器的损失函数;根据所述特征描述器的损失函数,对所述特征描述器进行训练,包括:更新所述特征描述器的模型参数,直至所述特征描述器的损失函数小于设定的阈值。
相应地,如图3b所示,在对特征描述器进行训练后,还可执行如下的步骤以对特征检测器进行训练:
步骤305a、在特征描述器得到训练之后,获取特征描述器输出的第一特征点的新的特征描述符和第二特征点的新的特征描述符。
步骤306a、根据第一特征点的新的特征描述符和第二特征点的新的特征描述符,计算第一特征点的特征描述符稳定性。
步骤307a、从第一特征点中,确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点。
步骤308a、将目标特征点作为真值,对特征检测器进行训练。
在本实施例中,特征检测器的检测结果可对特征描述器的训练过程形成较好的促进作用,训练得到的特征描述器的计算结果可以反向作用于特征检测器的训练过程,进而实现了特征检测器和特征描述器相互促进,进一步提升了图像处理模型的自我进化能力,提升了图像处理模型图像处理性能。
图3c是本申请又一示例性实施例提供的图像处理模型训练方法的流程示意图,如图3c所示,该方法包括:
步骤301c、将根据相同场景得到的图像和雷达点云数据输入图像处理模型。
步骤302c、通过图像处理模型中的特征检测器,检测该图像上的至少一个特征点。
步骤303c、根据该雷达点云数据,从该至少一个特征点中筛选出稳定性满足设定条件的目标特征点。
步骤304c、将该目标特征点作为真值,对该特征检测器进行训练。
其中,图像处理模型进行图像处理时,可提取图像局部特征作为其他处理操作的基础。图像处理模型中的特征检测器用于从图像上提取特征点。
其中,雷达点云数据,可采用雷达探测系统获取。例如,可采用激光雷达探测系统发射激光,对场景中的物体进行三维扫描,得到点云数据。点云数据包括多个三维坐标,多个三维坐标可描述物体的外表面形状。基于点云数据,可获取到场景中的物体的特征。
其中,该图像和雷达点云数据根据相同场景得到,因此,该图像和雷达点云数据可表达相对应的物体特征。基于此,特征检测器从图像上检测到至少一个特征点后,可在雷达点云数据的辅助下,从该至少一个特征点中筛选出稳定性满足设定条件的特征点,作为目标特征点。
其中,特征点的稳定性满足设定条件,可包括:该特征点表征的场景,在雷达点云数据中存在对应的三维坐标。也就是说,该特征点能够较为准确地表达实际场景中的物体的特征。
基于上述,将目标特征点作真值对特征检测器进行训练,可向特征检测器提供更优的学习目标,有利于进一步优化特征检测的检测性能。
图4a是本申请一示例性实施例提供的图像局部特征提取方法的流程示意图,如图4a所示,该方法包括:
步骤401、将待处理图像输入图像处理模型;该图像处理模型包括特征检测器和特征描述器。
步骤402、通过该特征检测器检测该待处理图像上的特征点,并通过该特征描述器输出该特征点的特征描述符;其中,训练该特征检测器的真值,根据训练样本上的特征描述符稳定性大于设定阈值的特征点获取;该特征描述符稳定性,根据该特征描述器输出的该训练样本上的特征点的特征描述符计算得到。
可选地,特征描述器,根据多个特征点的特征描述符之间的距离训练得到,该多个特征点位于存在变换关系的训练样本上。
一种典型的图像局部特征提取场景可参考图4b的示意。其中,训练特征检测器和特征描述器的可选实施方式可参考前述各实施例的记载,此处不再赘述。
本实施例中,图像处理模型中的特征检测器的训练过程,可使得特征检测器具有较优的特征点检测性能。基于性能较优的特征检测器,可较为准确地检测到能够表达图像局部特征的特征点。
前述各实施例记载的图像处理模型,可实现为图4c所示的全卷积神经网络。该全卷积神经网络,以灰度图像为输入,分别输出特征点检测概率图/>和特征点特征描述符/>其中,H为输入图像的高度,W为输入图像的宽度,C为输出二维特征图的维度。
如图4c所示,全卷积神经网络的结构主要包括3个部分,其中第一部分为主干网络,第二部分为特征检测器网络分支,第三部分为特征描述器网络分支。主干网络包括1个卷积层和9个残差网络基本组成单元。用于提取图片的隐藏特征;其中,卷积层包括:执行卷积处理的计算层及其其前面的归一化层,和其后面的激活层。其中,9个基本组成单元分为3组,每组的输出特征图长宽分辨率依次分别为输入图像分辨率的1倍、1/2倍、1/4倍,将对应的特征图分别记为1F、
如图4c所示,特征检测器网络分支包括2个反卷积层和一个柔性最大值传输层(例如:softmax)。特征检测器网络包含两个跨层连接,分别通过加法操作连接对应分辨率的主干网络特征图。特征描述器包括1个残差网络基本组成单元和1个上采样层,上采样层将特征图的分辨率上采样为与输入图像一致。
其中,特征检测器网络和特征描述器网络可采用前述各实施例记载的数据处理方法进行训练,此处不再赘述。
图5是本申请一示例性实施例提供的数据处理设备的结构示意图,如图5所示,该数据处理设备包括:存储器501和处理器502。
存储器501,用于存储计算机程序,并可被配置为存储其它各种数据以支持在数据处理设备上的操作。这些数据的示例包括用于在数据处理设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器501,可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器502,与存储器501耦合,用于执行存储器501中的计算机程序,以用于:将第一图像输入图像处理模型;所述图像处理模型包含特征检测器和特征描述器,所述第一图像包括第一特征点;通过所述特征描述器,计算所述第一图像上的第一特征点的特征描述符;根据所述第一特征点的特征描述符,计算所述第一特征点的特征描述符稳定性;从所述第一特征点中,确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点;将所述目标特征点作为真值,对所述特征检测器进行训练。
进一步可选地,处理器502还用于:获取第二图像,所述第二图像和所述第一图像存在对应的图像特征;根据所述第一图像上的像素点为特征点的概率和所述第二图像上的像素点为特征点的概率,从所述第一图像上获取所述第一特征点。
进一步可选地,处理器502在根据所述第一图像上的像素点为特征点的概率和所述第二图像上的像素点为特征点的概率,从所述第一图像上获取所述第一特征点时,具体用于:通过所述特征检测器,计算所述第一图像上的像素点为特征点的第一概率以及所述第二图像上的像素点为特征点的第二概率;根据所述第一图像上的像素点和所述第二图像上的像素点的对应关系,将所述第一概率和所述第二概率进行融合,得到所述第一图像上的像素点为特征点的融合概率;根据所述融合概率,从所述第一图像上的像素中确定所述第一特征点。
进一步可选地,所述特征描述符稳定性包括:存在对应关系的特征点的特征描述符接近度,和/或,不存在对应关系的特征点的特征描述符可区分性。
进一步可选地,处理器502在根据所述第一特征点的特征描述符,计算所述第一特征点的特征描述符稳定性时,具体用于:获取第二图像以及所述第二图像上的第二特征点,所述第二特征点与所述第一特征点对应;通过所述特征描述器,计算所述第二特征点的特征描述符;根据所述第一特征点的特征描述符、所述第二特征点的特征描述符以及所述第一特征点和所述第二特征点的对应关系,计算所述第一特征点的特征描述符稳定性。
进一步可选地,处理器502在获取第二图像以及所述第二图像上的第二特征点时,具体用于:根据第一变换参数,对所述第一图像进行变换,得到所述第二图像;根据所述第一变换参数,从所述第二图像上的像素中确定由所述第一特征点变换得到的像素点,作为所述第二特征点。
进一步可选地,处理器502在根据所述第一特征点的特征描述符、所述第二特征点的特征描述符以及所述第一特征点和所述第二特征点的对应关系时,具体用于:针对所述第一特征点中的任一特征点A,在所述第二特征点中确定由所述特征点A变换得到的特征点A`;所述第一特征点还包括特征点B,所述第二特征点包括由所述特征点B变换得到的特征点B`;获取所述特征点A的特征描述符和所述特征点A`的特征描述符之间的第一距离,所述特征点A的特征描述符和所述特征点B`的特征描述符之间的第二距离,以及所述特征点A`的特征描述符和所述特征点B的特征描述符之间的第三距离;根据所述第一距离、所述第二距离以及所述第三距离中的至少一种,计算所述特征点A的特征描述符稳定性。
进一步可选地,处理器502在根据所述第一距离、所述第二距离以及所述第三距离中的至少一种,计算所述特征点A的特征描述符稳定性时,具体用于:将所述第二距离和所述第一距离的距离比值,作为所述特征点A的特征描述符稳定性;或者,将所述第三距离和所述第一距离的距离比值,作为所述特征点A的特征描述符稳定性;或者,将所述第二距离和所述第三距离的平均值和所述第一距离的距离比值,作为所述特征点A的特征描述符稳定性。
进一步可选地,所述特征描述符稳定性大于设定阈值,包括:所述距离比值,大于设定的比例阈值。
进一步可选地,处理器502在将所述目标特征点作为真值,对所述特征检测器进行训练时,具体用于:根据第二变换参数,对所述第一图像进行变换,得到第三图像;所述第三图像包含变换后的目标特征点;将所述目标特征点和所述变换后的目标特征点作为真值,通过所述第一图像和所述第三图像对所述特征检测器进行训练,直至所述特征检测器的损失函数小于设定的第一阈值。
进一步可选地,处理器502还用于:根据所述特征检测器输出的所述第一图像上的特征检测概率与所述目标特征点之间的损失,以及所述特征检测器输出的所述第三图像上的特征检测概率与所述变换后的目标特征点之间的损失,构建焦点损失函数;根据所述特征检测器输出的所述第一特征点的特征检测概率和第三特征点的特征检测概率之间的距离,构建相对熵损失函数;所述第三特征点为所述第三图像上与所述第一特征点对应的特征点;根据所述焦点损失函数和所述相对熵损失函数,构建所述特征检测器的损失函数。
进一步可选地,处理器502还用于:获取对所述特征检测器进行训练之前和训练之后,所述特征描述器输出的相同特征点的特征描述符的差值;根据所述相同特征点的特征描述符的差值,构建损失函数附加项;将所述损失函数附加项,添加至所述特征检测器的损失函数中。
进一步可选地,所述变换,包括几何变换、色彩变换、对比度变换、亮度变换中的至少一种。
进一步可选地,处理器502还用于:在所述特征检测器得到训练后,获取所述特征检测器从所述第一图像和所述第二图像上检测到的特征点,作为第四特征点和第五特征点;通过所述特征描述器,计算所述第四特征点的特征描述符和所述第五特征点的特征描述符;根据所述第四特征点的特征描述符和所述第五特征点的特征描述符,构建所述特征描述器的损失函数;根据所述特征描述器的损失函数,对所述特征描述器进行训练。
进一步可选地,处理器502在根据所述第四特征点的特征描述符和所述第五特征点的特征描述符,构建所述特征描述器的损失函数时,具体用于:针对所述第四特征点中的任一特征点N,在所述第五特征点中确定由所述特征点N变换得到的特征点N`;所述第四特征点还包括特征点M,所述第五特征点包括由所述特征点M变换得到的特征点M`;获取所述特征点N的特征描述符和所述特征点N`的特征描述符之间的第四距离,所述特征点N的特征描述符和所述特征点M`的特征描述符之间的第五距离,以及所述特征点N`和所述特征点M的特征描述符之间的第六距离;根据所述第四距离、所述第五距离和第六距离,构建所述特征描述器的损失函数。
进一步可选地,处理器502在根据所述第四距离、所述第五距离和第六距离,构建所述特征描述器的损失函数时,具体用于:计算所述第五距离和所述第六距离中的最小值;构造所述第四距离和所述最小值的差值函数,作为所述特征描述器的损失函数;相应地,处理器502在根据所述特征描述器的损失函数,对所述特征描述器进行训练时,具体用于:更新所述特征描述器的模型参数,直至所述特征描述器的损失函数小于设定的第二阈值。
进一步可选地,处理器502还用于:获取对所述特征描述器进行训练之前和训练之后,所述特征检测器输出的相同像素点为特征点的概率的差值;根据所述相同像素点为特征点的概率的差值,构建损失函数附加项;将所述损失函数附加项,添加至所述特征描述器的损失函数中。
进一步,如图5所示,该数据处理设备还包括:通信组件503、显示器504、电源组件505等其它组件。图5中仅示意性给出部分组件,并不意味着数据处理设备只包括图5所示组件。
其中,通信组件503被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G或5G,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。
其中,显示器504包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
其中,电源组件505,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本实施例,根据特征描述器对输入图像上的特征点的特征描述符计算结果,可计算特征点特征描述符的稳定性;基于特征描述符稳定性可自动从输入图像上确定具有较高特征描述符稳定性的目标特征点。将目标特征点作为特检测器的真值,一方面,在图像模型内部实现了特征描述器对特征检测器的有效促进。另一方面,目标特征点的特征描述符稳定性较高,可较为真实地反映输入图像上的特征,有利于优化训练目标,有效提升特征检测器的训练效率,优化特征检测器的特征检测性能。
除上述实施例记载的方法逻辑之外,图5所示的数据处理设备还可执行如下的方法逻辑:
处理器502可用于:将第一图像和第二图像输入图像处理模型,所述第二图像根据所述第一图像变换得到;通过所述图像处理模型中的特征检测器,检测所述第一图像上的第一特征点和所述第二图像上的第二特征点;通过所述图像处理模型中的特征描述器,计算所述第一特征点和第二特征点的特征描述符;根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离,对所述特征描述器进行训练。
进一步可选地,处理器502在根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离,对所述特征描述器进行训练时,具体用于:根据所述第一特征点和所述第二特征点中,存在对应关系的特征点的特征描述符之间的距离,以及不存在对应关系的特征点的特征描述符之间的距离,构建所述特征描述器的损失函数;根据所述特征描述器的损失函数,对所述特征描述器进行训练。
进一步可选地,处理器502在根据所述第一特征点和所述第二特征点中,存在对应关系的特征点的特征描述符之间的距离,以及不存在对应关系的特征点的特征描述符之间的距离,构建所述特征描述器的损失函数时,具体用于:针对所述第一特征点中的任一特征点N,在所述第二特征点中确定由所述特征点N变换得到的特征点N`;所述第一特征点还包括特征点M,所述第二特征点包括由所述特征点M变换得到的特征点M`;获取所述特征点N的特征描述符和所述特征点N`的特征描述符之间的第一距离,所述特征点N的特征描述符和所述特征点M`的特征描述符之间的第二距离,以及所述特征点N`和所述特征点M的特征描述符之间的第三距离;根据所述第一距离、所述第二距离和第三距离,构建所述特征描述器的损失函数。
进一步可选地,处理器502在根据所述第一距离、所述第二距离和第三距离,构建所述特征描述器的损失函数时,具体用于:计算所述第二距离和所述第三距离中的最小值;构造所述第一距离和所述最小值的差值函数,作为所述特征描述器的损失函数;相应地,处理器502在根据所述特征描述器的损失函数,对所述特征描述器进行训练时,具体用于:更新所述特征描述器的模型参数,直至所述特征描述器的损失函数小于设定的阈值。
进一步可选地,处理器502还用于:在所述特征描述器得到训练之后,获取所述特征描述器输出的所述第一特征点的新的特征描述符和所述第二特征点的新的特征描述符;根据所述第一特征点的新的特征描述符和所述第二特征点的新的特征描述符,计算所述第一特征点的特征描述符稳定性;从所述第一特征点中,确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点;将所述目标特征点作为真值,对所述特征检测器进行训练。
除上述实施例记载的方法逻辑之外,图5所示的数据处理设备还可执行如下的方法逻辑:
处理器502用于:将待处理图像输入图像处理模型;该图像处理模型包括特征检测器和特征描述器;通过该特征检测器检测该待处理图像上的特征点,并通过该特征描述器输出该特征点的特征描述符;其中训练该特征检测器的真值,根据训练样本上的特征描述符稳定性大于设定阈值的特征点获取;该特征描述符稳定性,根据该特征描述器输出的该训练样本上的特征点的特征描述符计算得到。
在这种方法逻辑中,图像处理模型中的特征检测器的训练过程,可使得特征检测器具有较优的特征点检测性能。基于性能较优的特征检测器,可较为准确地检测到能够表达图像局部特征的特征点。
除上述实施例记载的方法逻辑之外,图5所示的数据处理设备还可执行如下的方法逻辑:
处理器502用于:将根据相同场景得到的图像和雷达点云数据输入图像处理模型;所述图像处理模型包括特征检测器;通过所述特征检测器,检测所述图像上的至少一个特征点;根据所述雷达点云数据,从所述至少一个特征点中筛选出稳定性满足设定条件的目标特征点;将所述目标特征点作为真值,对所述特征检测器进行训练。
在这种方法逻辑中,将目标特征点作真值对特征检测器进行训练,可向特征检测器提供更优的学习目标,有利于进一步优化特征检测的检测性能。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由数据处理设备执行的各步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (27)
1.一种图像局部特征提取方法,其特征在于,包括:
将待处理图像输入图像处理模型;所述图像处理模型包括特征检测器和特征描述器;
通过所述特征检测器检测所述待处理图像上的特征点,并通过所述特征描述器输出所述特征点的特征描述符;
其中,训练所述特征检测器的真值,根据训练样本上的特征描述符稳定性大于设定阈值的目标特征点获取;所述特征描述符稳定性,根据所述特征描述器输出的所述训练样本上的特征点的特征描述符计算得到。
2.根据权利要求1所述的方法,其特征在于,所述特征描述器,根据多个特征点的特征描述符之间的距离训练得到,所述多个特征点位于存在变换关系的训练样本上。
3.一种图像处理模型训练方法,其特征在于,包括:
将第一图像输入图像处理模型;所述图像处理模型包含特征检测器和特征描述器,所述第一图像包括第一特征点;
通过所述特征描述器,计算所述第一特征点的特征描述符;
根据所述第一特征点的特征描述符,计算所述第一特征点的特征描述符稳定性;
从所述第一特征点中,确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点;
将所述目标特征点作为真值,对所述特征检测器进行训练。
4.根据权利要求3所述的方法,其特征在于,还包括:
获取第二图像,所述第二图像和所述第一图像存在对应的图像特征;
根据所述第一图像上的像素点为特征点的概率和所述第二图像上的像素点为特征点的概率,从所述第一图像上获取所述第一特征点。
5.根据权利要求4所述的方法,其特征在于,根据所述第一图像上的像素点为特征点的概率和所述第二图像上的像素点为特征点的概率,从所述第一图像上获取所述第一特征点,包括:
通过所述特征检测器,计算所述第一图像上的像素点为特征点的第一概率以及所述第二图像上的像素点为特征点的第二概率;
根据所述第一图像上的像素点和所述第二图像上的像素点的对应关系,将所述第一概率和所述第二概率进行融合,得到所述第一图像上的像素点为特征点的融合概率;
根据所述融合概率,从所述第一图像上的像素中确定所述第一特征点。
6.根据权利要求4所述的方法,其特征在于,所述特征描述符稳定性包括:存在对应关系的特征点的特征描述符接近度,和/或,不存在对应关系的特征点的特征描述符可区分性。
7.根据权利要求4所述的方法,其特征在于,根据所述第一特征点的特征描述符,计算所述第一特征点的特征描述符稳定性,包括:
获取第二图像以及所述第二图像上的第二特征点,所述第二特征点与所述第一特征点对应;
通过所述特征描述器,计算所述第二特征点的特征描述符;
根据所述第一特征点的特征描述符、所述第二特征点的特征描述符以及所述第一特征点和所述第二特征点的对应关系,计算所述第一特征点的特征描述符稳定性。
8.根据权利要求7所述的方法,其特征在于,获取第二图像以及所述第二图像上的第二特征点,包括:
根据第一变换参数,对所述第一图像进行变换,得到所述第二图像;
根据所述第一变换参数,从所述第二图像上的像素中确定由所述第一特征点变换得到的像素点,作为所述第二特征点。
9.根据权利要求7所述的方法,其特征在于,根据所述第一特征点的特征描述符、所述第二特征点的特征描述符以及所述第一特征点和所述第二特征点的对应关系,计算所述第一特征点的特征描述符稳定性,包括:
针对所述第一特征点中的任一特征点A,在所述第二特征点中确定由所述特征点A变换得到的特征点A`;所述第一特征点还包括特征点B,所述第二特征点包括由所述特征点B变换得到的特征点B`;
获取所述特征点A的特征描述符和所述特征点A`的特征描述符之间的第一距离,所述特征点A的特征描述符和所述特征点B`的特征描述符之间的第二距离,以及所述特征点A`的特征描述符和所述特征点B的特征描述符之间的第三距离;
根据所述第一距离、所述第二距离以及所述第三距离中的至少一种,计算所述特征点A的特征描述符稳定性。
10.根据权利要求9所述的方法,其特征在于,根据所述第一距离、所述第二距离以及所述第三距离中的至少一种,计算所述特征点A的特征描述符稳定性,包括:
将所述第二距离和所述第一距离的距离比值,作为所述特征点A的特征描述符稳定性;或者,
将所述第三距离和所述第一距离的距离比值,作为所述特征点A的特征描述符稳定性;或者,
将所述第二距离和所述第三距离的平均值和所述第一距离的距离比值,作为所述特征点A的特征描述符稳定性。
11.根据权利要求10所述的方法,其特征在于,所述特征描述符稳定性大于设定阈值,包括:所述距离比值,大于设定的比例阈值。
12.根据权利要求4-11任一项所述的方法,其特征在于,将所述目标特征点作为真值,对所述特征检测器进行训练,包括:
根据第二变换参数,对所述第一图像进行变换,得到第三图像;所述第三图像包含变换后的目标特征点;
将所述目标特征点和所述变换后的目标特征点作为真值,通过所述第一图像和所述第三图像对所述特征检测器进行训练,直至所述特征检测器的损失函数小于设定的第一阈值。
13.根据权利要求12所述的方法,其特征在于,还包括:
根据所述特征检测器输出的所述第一图像上的特征检测概率与所述目标特征点之间的损失,以及所述特征检测器输出的所述第三图像上的特征检测概率与所述变换后的目标特征点之间的损失,构建焦点损失函数;
根据所述特征检测器输出的所述第一特征点的特征检测概率和第三特征点的特征检测概率之间的距离,构建相对熵损失函数;所述第三特征点为所述第三图像上与所述第一特征点对应的特征点;
根据所述焦点损失函数和所述相对熵损失函数,构建所述特征检测器的损失函数。
14.根据权利要求12所述的方法,其特征在于,还包括:
获取对所述特征检测器进行训练之前和训练之后,所述特征描述器输出的相同特征点的特征描述符的差值;
根据所述相同特征点的特征描述符的差值,构建损失函数附加项;
将所述损失函数附加项,添加至所述特征检测器的损失函数中。
15.根据权利要求12所述的方法,其特征在于,所述变换,包括几何变换、色彩变换、对比度变换、亮度变换中的至少一种。
16.根据权利要求4-11任一项所述的方法,其特征在于,还包括:
在所述特征检测器得到训练后,获取所述特征检测器从所述第一图像和所述第二图像上检测到的特征点,作为第四特征点和第五特征点;
通过所述特征描述器,计算所述第四特征点的特征描述符和所述第五特征点的特征描述符;
根据所述第四特征点的特征描述符和所述第五特征点的特征描述符,构建所述特征描述器的损失函数;
根据所述特征描述器的损失函数,对所述特征描述器进行训练。
17.根据权利要求16所述的方法,其特征在于,根据所述第四特征点的特征描述符和所述第五特征点的特征描述符,构建所述特征描述器的损失函数,包括:
针对所述第四特征点中的任一特征点N,在所述第五特征点中确定由所述特征点N变换得到的特征点N`;所述第四特征点还包括特征点M,所述第五特征点包括由所述特征点M变换得到的特征点M`;
获取所述特征点N的特征描述符和所述特征点N`的特征描述符之间的第四距离,所述特征点N的特征描述符和所述特征点M`的特征描述符之间的第五距离,以及所述特征点N`和所述特征点M的特征描述符之间的第六距离;
根据所述第四距离、所述第五距离和第六距离,构建所述特征描述器的损失函数。
18.根据权利要求17所述的方法,其特征在于,根据所述第四距离、所述第五距离和第六距离,构建所述特征描述器的损失函数,包括:
计算所述第五距离和所述第六距离中的最小值;
构造所述第四距离和所述最小值的差值函数,作为所述特征描述器的损失函数;
根据所述特征描述器的损失函数,对所述特征描述器进行训练,包括:
更新所述特征描述器的模型参数,直至所述特征描述器的损失函数小于设定的第二阈值。
19.根据权利要求18所述的方法,其特征在于,还包括:
获取对所述特征描述器进行训练之前和训练之后,所述特征检测器输出的相同像素点为特征点的概率的差值;
根据所述相同像素点为特征点的概率的差值,构建损失函数附加项;
将所述损失函数附加项,添加至所述特征描述器的损失函数中。
20.一种图像处理模型训练方法,其特征在于,包括:
将第一图像和第二图像输入图像处理模型,所述第二图像根据所述第一图像变换得到;
通过所述图像处理模型中的特征检测器,检测所述第一图像上的第一特征点和所述第二图像上的第二特征点;
通过所述图像处理模型中的特征描述器,计算所述第一特征点和第二特征点的特征描述符;
根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离,对所述特征描述器进行训练。
21.根据权利要求20所述的方法,其特征在于,根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离,对所述特征描述器进行训练,包括:
根据所述第一特征点和所述第二特征点中,存在对应关系的特征点的特征描述符之间的距离,以及不存在对应关系的特征点的特征描述符之间的距离,构建所述特征描述器的损失函数;
根据所述特征描述器的损失函数,对所述特征描述器进行训练。
22.根据权利要求21所述的方法,其特征在于,根据所述第一特征点和所述第二特征点中,存在对应关系的特征点的特征描述符之间的距离,以及不存在对应关系的特征点的特征描述符之间的距离,构建所述特征描述器的损失函数,包括:
针对所述第一特征点中的任一特征点N,在所述第二特征点中确定由所述特征点N变换得到的特征点N`;所述第一特征点还包括特征点M,所述第二特征点包括由所述特征点M变换得到的特征点M`;
获取所述特征点N的特征描述符和所述特征点N`的特征描述符之间的第一距离,所述特征点N的特征描述符和所述特征点M`的特征描述符之间的第二距离,以及所述特征点N`和所述特征点M的特征描述符之间的第三距离;
根据所述第一距离、所述第二距离和第三距离,构建所述特征描述器的损失函数。
23.根据权利要求22所述的方法,其特征在于,根据所述第一距离、所述第二距离和第三距离,构建所述特征描述器的损失函数,包括:
计算所述第二距离和所述第三距离中的最小值;
构造所述第一距离和所述最小值的差值函数,作为所述特征描述器的损失函数;
根据所述特征描述器的损失函数,对所述特征描述器进行训练,包括:
更新所述特征描述器的模型参数,直至所述特征描述器的损失函数小于设定的阈值。
24.根据权利要求20-23任一项所述的方法,其特征在于,还包括:
在所述特征描述器得到训练之后,获取所述特征描述器输出的所述第一特征点的新的特征描述符和所述第二特征点的新的特征描述符;
根据所述第一特征点的新的特征描述符和所述第二特征点的新的特征描述符,计算所述第一特征点的特征描述符稳定性;
从所述第一特征点中,确定特征描述符稳定性大于设定阈值的特征点,作为目标特征点;
将所述目标特征点作为真值,对所述特征检测器进行训练。
25.一种图像处理模型训练方法,其特征在于,包括:
将根据相同场景得到的图像和雷达点云数据输入图像处理模型;所述图像处理模型包括特征检测器;
通过所述特征检测器,检测所述图像上的至少一个特征点;
根据所述雷达点云数据,从所述至少一个特征点中筛选出稳定性满足设定条件的目标特征点;
将所述目标特征点作为真值,对所述特征检测器进行训练。
26.一种数据处理设备,其特征在于,包括:存储器和处理器;
所述存储器用于存储一条或多条计算机指令;
所述处理器用于执行所述一条或多条计算机指令以用于:执行权利要求1-25任一项所述的方法中的步骤。
27.一种存储有计算机程序的计算机可读存储介质,其特征在于,计算机程序被执行时能够实现权利要求1-25任一项所述的方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911357883.0A CN113033576B (zh) | 2019-12-25 | 2019-12-25 | 图像局部特征提取、模型训练方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911357883.0A CN113033576B (zh) | 2019-12-25 | 2019-12-25 | 图像局部特征提取、模型训练方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113033576A CN113033576A (zh) | 2021-06-25 |
CN113033576B true CN113033576B (zh) | 2024-04-05 |
Family
ID=76458263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911357883.0A Active CN113033576B (zh) | 2019-12-25 | 2019-12-25 | 图像局部特征提取、模型训练方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113033576B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310734B (zh) * | 2023-04-25 | 2023-12-15 | 慧铁科技股份有限公司 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224582A (zh) * | 2014-07-03 | 2016-01-06 | 联想(北京)有限公司 | 信息处理方法和设备 |
CN109948624A (zh) * | 2019-02-18 | 2019-06-28 | 北京旷视科技有限公司 | 特征提取的方法、装置、电子设备和计算机存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7831094B2 (en) * | 2004-04-27 | 2010-11-09 | Honda Motor Co., Ltd. | Simultaneous localization and mapping using multiple view feature descriptors |
-
2019
- 2019-12-25 CN CN201911357883.0A patent/CN113033576B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224582A (zh) * | 2014-07-03 | 2016-01-06 | 联想(北京)有限公司 | 信息处理方法和设备 |
CN109948624A (zh) * | 2019-02-18 | 2019-06-28 | 北京旷视科技有限公司 | 特征提取的方法、装置、电子设备和计算机存储介质 |
Non-Patent Citations (1)
Title |
---|
基于FPGA并行处理SIFT算法特征点检测;薛顺瑞;高原;唐湘成;刘怡;黄自力;;电视技术(第23期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113033576A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111311684B (zh) | 一种进行slam初始化的方法与设备 | |
Hu et al. | A novel object tracking algorithm by fusing color and depth information based on single valued neutrosophic cross-entropy | |
CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
US9213899B2 (en) | Context-aware tracking of a video object using a sparse representation framework | |
Wu et al. | Online empirical evaluation of tracking algorithms | |
US10554957B2 (en) | Learning-based matching for active stereo systems | |
CN111062263B (zh) | 手部姿态估计的方法、设备、计算机设备和存储介质 | |
CN111161347B (zh) | 一种进行slam初始化的方法与设备 | |
JP2016110232A (ja) | 対象認識装置、対象認識方法、およびプログラム | |
Wang et al. | Deep learning for camera autofocus | |
US10339418B2 (en) | Computer-readable storage medium storing image processing program and image processing apparatus | |
CN108256567B (zh) | 一种基于深度学习的目标识别方法及系统 | |
WO2020092276A1 (en) | Video recognition using multiple modalities | |
US8989505B2 (en) | Distance metric for image comparison | |
CN117115571B (zh) | 一种细粒度智能商品识别方法、装置、设备及介质 | |
KR20220074782A (ko) | 동시적 위치추정 및 지도작성(slam) 방법 및 장치 | |
JP2021176243A (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP2019185787A (ja) | 地理的地域内のコンテナのリモート決定 | |
CN113033576B (zh) | 图像局部特征提取、模型训练方法、设备及存储介质 | |
JP2017010549A (ja) | ライトフィールドデータベースでのデータ取り出しのための方法及び装置 | |
KR101833943B1 (ko) | 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템 | |
Schreiberhuber et al. | Gigadepth: Learning depth from structured light with branching neural networks | |
CN114170425A (zh) | 模型训练、图像分类方法、服务器及存储介质 | |
Poggi et al. | Self-adapting confidence estimation for stereo | |
JP2018180879A (ja) | 物体認識装置、物体認識システム、及び物体認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |