CN113033576A - 图像局部特征提取、模型训练方法、设备及存储介质 - Google Patents
图像局部特征提取、模型训练方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113033576A CN113033576A CN201911357883.0A CN201911357883A CN113033576A CN 113033576 A CN113033576 A CN 113033576A CN 201911357883 A CN201911357883 A CN 201911357883A CN 113033576 A CN113033576 A CN 113033576A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- point
- descriptor
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000000605 extraction Methods 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 114
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 114
- 230000009466 transformation Effects 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 30
- 230000001131 transforming effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 claims 1
- 238000011105 stabilization Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像局部特征提取、模型训练方法、设备及存储介质。在图像局部特征提取方法中，将待处理图像输入图像处理模型，图像处理模型包括特征检测器和特征描述器；其中，训练特征检测器的真值，根据训练样本上的特征描述符稳定性大于设定阈值的目标特征点获取；特征描述符稳定性，根据特征描述器输出的训练样本上的特征点的特征描述符计算得到。将目标特征点作为特检测器的真值对特征检测器进行训练，可优化特征检测器的特征检测性能，提升图像局部特征提取效果。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像局部特征提取、模型训 练方法、设备及存储介质。
背景技术
图像局部特征提取算法，是多种图像处理算法或应用的关键基础算法之一， 该多种图像处理算法或应用可包括图像匹配、图像检索、图像拼接、基于图像 的定位以及基于图像的场景三维重建等。图像局部特征提取算法的优劣一定程 度上决定了图像处理算法的性能。
但是，现有技术提供的图像局部特征提取算法提取到的图像特征仍旧不理 想。因此，有待提出一种新的解决方案。
发明内容
本申请的多个方面提供一种图像局部特征提取、模型训练方法、设备及存 储介质，用以有利于有效地提升图像局部特征提取性能。
本申请实施例提供一种图像处理模型训练方法，包括：将第一图像输入 图像处理模型；所述图像处理模型包含特征检测器和特征描述器，所述第一 图像包括第一特征点；通过所述特征描述器，计算所述第一特征点的特征描 述符；根据所述第一特征点的特征描述符，计算所述第一特征点的特征描述 符稳定性；从所述第一特征点中，确定特征描述符稳定性大于设定阈值的特 征点，作为目标特征点；将所述目标特征点作为真值，对所述特征检测器进 行训练。
本申请实施例还提供一种图像处理模型训练方法，包括：将第一图像和 第二图像输入图像处理模型，所述第二图像根据所述第一图像变换得到；通 过所述图像处理模型中的特征检测器，检测所述第一图像上的第一特征点和 所述第二图像上的第二特征点；通过所述图像处理模型中的特征描述器，计 算所述第一特征点和第二特征点的特征描述符；根据所述第一特征点的特征 描述符和所述第二特征点的特征描述符之间的距离，对所述特征描述器进行 训练。
本申请实施例还提供一种图像局部特征提取方法，包括：将待处理图像 输入图像处理模型；所述图像处理模型包括特征检测器和特征描述器；通过 所述特征检测器检测所述待处理图像上的特征点，并通过所述特征描述器输 出所述特征点的特征描述符；其中，训练所述特征检测器的真值，根据训练 样本上的特征描述符稳定性大于设定阈值的特征点获取；所述特征描述符稳 定性，根据所述特征描述器输出的所述训练样本上的特征点的特征描述符计 算得到。
本申请实施例还提供一种图像处理模型训练方法，包括：将根据相同场 景得到的图像和雷达点云数据输入图像处理模型；所述图像处理模型包括特 征检测器；通过所述特征检测器，检测所述图像上的至少一个特征点；根据 所述雷达点云数据，从所述至少一个特征点中筛选出稳定性满足设定条件的 目标特征点；将所述目标特征点作为真值，对所述特征检测器进行训练。
本申请实施例还提供一种数据处理设备，包括：存储器和处理器；所述 存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多 条计算机指令以用于：执行本申请实施例提供的方法中的步骤。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计 算机程序被执行时能够实现本申请实施例提供的方法中的步骤。
本申请实施例提供的图像局部特征提取方法中，将待处理图像输入图像 处理模型，图像处理模型包括特征检测器和特征描述器；其中，训练特征检 测器的真值，根据训练样本上的特征描述符稳定性大于设定阈值的目标特征 点获取；特征描述符稳定性，根据特征描述器输出的训练样本上的特征点的 特征描述符计算得到。将目标特征点作为特检测器的真值，一方面，在图像模 型内部实现了特征描述器对特征检测器的有效促进。另一方面，目标特征点的 特征描述符稳定性较高，可较为真实地反映输入图像上的特征，有利于优化训 练目标，有效提升特征检测器的训练效率，优化特征检测器的特征检测性能， 提升图像局部特征提取效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分， 本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限 定。在附图中：
图1为本申请一示例性实施例提供的图像处理模型训练方法的流程示意图；
图2a为本申请另一示例性实施例提供的图像处理模型训练方法的流程示意 图；
图2b为本申请一示例性实施例提供的图像处理模型训练方法的流程框架 图；
图2c为本申请一示例性实施例提供的从图像上提取特征点的示意图；
图2d为本申请另一示例性实施例提供的存在对应关系的特征点的示意图；
图2e为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意 图；
图3a为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意 图；
图3b为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意 图；
图3c为本申请又一示例性实施例提供的图像处理模型训练方法的流程示意 图；
图4a为本申请又一示例性实施例提供的图像局部特征提取方法的流程示意 图；
图4b为本申请一应用场景实施例提供的图像局部特征提取方法的示意图；
图4c为本申请一示例性实施例提供的图像处理模型的结构示意图；
图5为本申请一示例性实施例提供的数据处理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实 施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的 实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施 例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本申请保护的范围。
针对现有技术中，图像局部特征提取算法对图像特征的提取性能不理想的 技术问题，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详 细说明本申请各实施例提供的技术方案。
图1为本申请一示例性实施例提供的数据处理方法的流程示意图，如图1 所示，该方法包括：
步骤101、将第一图像输入图像处理模型；图像处理模型包含特征检测 器和特征描述器，第一图像包括第一特征点。
步骤102、通过特征描述器，计算第一图像上的第一特征点的特征描述 符。
步骤103、根据第一特征点的特征描述符，计算第一特征点的特征描述 符稳定性。
步骤104、从第一特征点中，确定特征描述符稳定性大于设定阈值的特 征点，作为目标特征点。
步骤105、将目标特征点作为真值，对特征检测器进行训练。
其中，图像处理模型，包括任意可用于执行图像处理操作的机器学习模 型，本实施例并不限制图像处理模型的具体实现结构。
在一些实施例中，图像处理模型可实现为基于神经网络(Neural Networks,NN)的机器学习模型，例如，可实现为卷积神经网络 (Convolutional Neural Networks,CNN)模型、深度神经网络(Deep Neural Network，DNN)、图卷积神经网络(Graph ConvolutionalNetworks，GCN) 模型、循环神经网络(Recurrent Neural Network,RNN)模型以及长短期记忆神经网络(Long Short-Term Memory，LSTM)模型等等，本实施例包含但 不限于此。
其中，图像处理模型包含特征检测器和特征描述器。特征检测器，主要 用于根据特征点检测算法，在图像中确定各个特征点的位置。特征描述器， 主要用于根据特征点描述算法，基于图像上各个特征点所在位置的局部图像 区域，为每个特征点计算出对应的特征向量。通常，特征点对应的特征向量， 也被称为特征点的特征描述符。
其中，第一图像，可以是任意的待处理或者待识别的图像，或者用于进 行模型训练的样本图像，本实施例不做限制。
其中，图像处理模型在执行图像处理操作的过程中，可从输入的图像上 提取局部图像特征。其中，局部图像特征是图像特征的局部表达，是多种图 像处理操作(例如图像分析、图像识别)的基础。
通常，图像局部特征包含至少两种信息：特征所属以及特征描述符 (FeatureDescriptiors)。其中，特征所属，指的是特征在图像中的位置， 该位置通常可被视为图像中的一个像素点，该像素点被称为图像上的特征点。 特征点的特征描述符可根据特征点的附近的图像上下文信息进行计算，因此 提取局部图像特征(Local Feature)的过程，可视为检测图像上的特征点， 并计算特征点的特征描述符的过程。
特征点，指的是能够在包含相同场景或相同目标的不同图像中，以一种 相同或相似的不变形式来表示场景或目标的像素点。也就是说，针对同一个 场景，从不同的角度采集多幅图像，若多幅图像上表现相同场景的像素点能 够被识别出来是相同或者相似的，那么可认为这些表现相同场景的像素点具 有一定的不变性，可被称为特征点。
为便于描述，将用于表示第一图像上的图像特征的点记为第一特征点。 其中，第一特征点的数量可以是一个或者多个，视实际情况而定。其中，第 一特征点可由图像处理模型中的特征检测器检测得到，或者，可由用户进行 人工手动标注，或者，还可由图像处理模型或特征描述器对第一图像上的像 素点进行随机选取得到，本实施例包含但不限于此。
本实施例中，提出了一种特征点评价方法，即：基于像素点的特征描述 符稳定性，评价像素点是被检测为图像上的特征点的可靠性。其中，特征描 述符稳定性的评价指标可包括：特征点的特征描述符的重复性和/或特征描述 符的可区分性。
其中，第一特征点的特征描述符稳定性可根据第一特征点的特征描述符 计算得到。根据第一特征点的特征描述符稳定性，可从第一特征点中确定特 征描述符稳定性大于设定阈值的特征点，作为目标特征点。目标特征点的特 征描述符稳定性大于设定阈值时，可认为目标特征点可较为准确地表达第一 图像上的局部特征，有利于后续的图像处理过程。因此，可将目标特征点作 为特征检测器的真值(即：学习目标)，对特征检测器进行训练。
对特征检测器的训练过程中，特征检测器可将目标特征点作为对第一图 像进行特征检测的目标输出结果，进而不断地学习如何处理目标特征点与第 一图像之间的关系。应当理解的是，本实施例提供的数据处理方法可循环迭 代执行，以进一步提升图像处理模型的性能。
在本实施例中，根据特征描述器对输入图像上的特征点的特征描述符计 算结果，可计算特征点特征描述符的稳定性；基于特征描述符稳定性可自动 从输入图像上确定具有较高特征描述符稳定性的目标特征点。将目标特征点 作为特检测器的真值，一方面，在图像模型内部实现了特征描述器对特征检 测器的有效促进。另一方面，目标特征点的特征描述符稳定性较高，可较为 真实地反映输入图像上的特征，有利于优化训练目标，有效提升特征检测器 的训练效率，优化特征检测器的特征检测性能。
在上述实施例中，记载了特征描述符稳定性的评价指标可包括：特征点 的特征描述符的重复性和/或特征描述符的可区分性。以下将进行进一步示例 性说明。
可选地，特征描述符具有较好的重复性，可体现在：在多个不同的特征 描述符计算过程中，同一特征点的多个特征描述符之间具有较高的特征描述 符相似度，和/或，不同图像上存在对应关系的特征点之间，具有较高的特征 描述符相似度。
可选地，特征描述符的可区分性可体现在：特征点的特征描述符与本图 像上其他特征点的特征描述符的相似度较低，和/或，与其他图像上不存在对 应关系的特征点特征描述符的相似度较低。其中，不同图像上存在对应关系 的特征点，指的是不同图像上用于表达相同或者相似的场景、目标的特征点。
在本实施例中，为获取与第一特征点对应的特征点以及与第一特征点不 对应的特征点，以计算第一特征点的重复性和可区分性，可进一步获取第二 图像，并将第二图像输入了图像处理模型。其中，第二图像与第一图像存在 对应的图像特征，以确保第二图像上存在与第一特征点对应的特征点。
可选地，获取第二图像的一种可选实施方式，可包括：对与第一图像展 示的场景或者目标进行多次拍摄，得到第二图像；第二图像可以包括多张图 像。
为进一步简化模型训练流程，在另一些可选地的实施例中，可通过对已 有的第一图像进行变换，得到与第一图像存在对应的图像特征的第二图像。
以下将进行示例性说明。
可选地，可根据第一变换参数，对第一图像进行变换，得到第二图像。 其中，第一参数可以包含多种类型的变换参数。可选地，对第一图像可以执 行多次变换，得到多张第二图像，本实施例不做限制。其中，采用“第一”、 “第二”对图像进行限定，仅用于方便描述和区分，并不对其顺序、位置或 者等级构成任何限制。
可选地，对第一图像进行变换的操作，包括：几何变换、色彩变换、对 比度变换、亮度变换中的至少一种。其中，几何变换操作可基于仿射变换 (affine transformation)实现，此处不做赘述。
以下将以第一图像和第二图像为例，对本申请实施例提供的数据处理方 法进行进一步说明。
图2a为本申请另一示例性实施例提供的数据处理方法的流程示意图，如图 2a所示，该方法包括：
步骤201、根据第一变换参数，对第一图像进行变换，得到第二图像， 并将第一图像和第二图像输入图像处理模型。
步骤202、通过图像处理模型中的特征检测器，检测第一图像上的特征 点，作为第一特征点，并根据第一变换参数，从第二图像上确定由第一特征 点变换得到的第二特征点。
步骤203、通过图像处理模型中的特征描述器，计算第一特征点的特征 描述符和第二特征点的特征描述符。
步骤204、根据第一特征点的特征描述符、第二特征点的特征描述符以 及第一特征点和第二特征点的对应关系，计算第一特征点的特征描述符稳定 性。
步骤205、将第一特征点中，特征描述符稳定性大于设定阈值的特征点， 作为目标特征点。
步骤206、根据第二变换参数，对第一图像进行变换，得到第三图像， 第三图像包含变换后的目标特征点。
步骤207、将目标特征点和变换后的目标特征点作为真值，通过第一图 像和第三图像对特征检测器进行训练，直至特征检测器的损失函数小于设定 的第一阈值。
在步骤201中，第一变换参数，用于表征第一图像和第二图像上的像素 的映射关系。例如，对第一图像执行仿射变换得到第二图像时，第一变换参 数可包含仿射变换采用的映射向量。又例如，对图像执行亮度调节操作时， 第一变换参数可包含亮度调节增量或减量，不再赘述。
如图2b所示，若以I表示变换前的图像，以H()表示第一变换参数，以 
表示变换得到的图像，那么
图2c示意了对第一图像进行仿射变换 得到第二图像的效果。
可选地，为提升特征检测器的性能，在仿射变换后，还可进一步对第二 图像进行色彩、亮度、饱和度等参数调节操作，本实施例不做限制。
值得说明的是，在一些其他可选的实施例中，可在将第一图像输入图像 处理模型后，由图像处理模型执行将第一图像变换为第二图像的操作，本实 施例不做限制。
在步骤202中，可选地，特征检测器可对第一图像进行特征概率检测， 计算第一图像上的每个像素点为特征点的概率，并根据计算得到的概率从第 一图像上的像素点中确定特征点。
可选地，为提升特征检测器输出的特征点的准确性，可进一步采用第二 图像来辅助特征检测器对第一图像的特征点检测操作，即：根据第一图像上 的像素点为特征点的概率和第二图像上的像素点为特征点的概率，从第一图 像上获取第一特征点。以下将进行示例性说明。
可选地，可将第一图像和第二图像输入特征检测器，在特征检测器中， 分别计算第一图像上的像素点为特征点的概率，以及第二图像上的像素点为 特征点的概率。
本实施例为方便描述和区分，将第一图像上的像素点为特征点的概率描 述为第一概率，将第二图像上的像素点为特征点的概率为第二概率。如图2b 所示，第一概率可采用P标记，第二概率可采用
标记。
应当理解，第二图像由第一图像变换得到，第一图像上的像素点和第二 图像上的像素点存在对应关系，该对应关系表现为一种变换关系，即：变换 前的像素点和变换后的像素点一一对对应。
例如，可将第一特征点记为：Q＝{Qi|Qi＝(hi,wi)}，其中，hi和wi分别为第 一图像上第i个像素点的行、列坐标。以I表示第一图像，以
表示第 二图像时，第二特征点可记为：
根据第一图像上的像素点和第二图像上的像素点的变换关系，可将第一 概率和第二概率进行融合，得到第一图像上的像素点为特征点的融合概率。 接着，可基于该融合概率，从第一图像上像素中确定特征点，作为第一特征 点。
可选地，在获取到融合概率后，可进一步寻找融合概率的局部极值，将 局部极值点作为检测到的特征点。可选地，寻找局部极值的方法可以为非极 大值抑制算法(Non-Maximum Suppression，NMS)，本实施例包含但不限于 此。
在上述过程中，融合概率根据从第一概率和第二概率计算得到，基于融 合概率从第一图像上寻找特征点，充分利用了特征检测器的重复性，有利于 提升特征检测器检测到的特征点与真实特征点的接近程度。
其中，特征检测器的重复性是指，对于包含相同场景的不同图像，例如， 对于图像1和图像2，若特征检测器在图像1中检测出了特征点1，且特征点 1表征的场景在图像2中可见，那么，特征检测器可在图像2中检测出与特 征点1表示同一场景的特征点2。
在步骤203中，可选地，第一特征点和第二特征点输入特征描述器后，特 征描述器可分别计算第一特征点的特征描述符和第二特征点的特征描述符。
在步骤204中，可选地，针对每一个特征点，其特征描述符稳定性包括： 该特征点与存在对应关系的另一特征点的特征描述符接近度，和/或，该特征 点与不存在对应关系的特征点的特征描述符可区分性。
基于上述，针对第一特征点而言，可根据第一特征点的特征描述符、第 二特征点的特征描述符以及第一特征点和第二特征点的对应关系，计算第一 特征点的特征描述符稳定性。第一特征点和第二特征点的对应关系表现为特 征点之间的变换关系。以下将进行示例性说明。
可选地，以下为方便描述和区分，将第一特征点中的任一特征点标记为： 特征点A，将第一特征点中除了特征点A之外的其他特征点标记为：特征点B； 将第二特征点中，由特征点A变换得到的特征点标记为：特征点A`，将第二 特征点中除了特征点A`之外的其他特征点标记为：特征点B`。其中,B和B` 可分别包含多个特征点。
其中，在第二特征点中确定第二特征点A`的操作，可基于第一变换参数 实现。例如，承接前述步骤，
时，A`＝H(A)。
基于上述，针对特征点A，可计算特征点A的特征描述符和特征点A`的 特征描述符之间的第一距离，计算特征点A的特征描述符和所述第二特征点 中的特征点B`的特征描述符之间的第二距离，以及计算特征点A`的特征描述 符和特征点B的特征描述符之间的第三距离。
其中，特征描述符可实现为特征向量，计算特征点的特征描述符之间的 距离，即为计算特征向量之间的距离，该距离可表征特征向量之间的相似度。 可选地，计算特征向量之间的距离的方式，可采用余弦距离、欧式距离 (Euclidean Distance，欧几里得距离)、曼哈顿距离(Manhattan Distance)、 切比雪夫距离(ChebBshev distance)中的一种或多种，本实施例不做限制。 以下将以欧式距离为例进行示例性说明。
可选地，第一距离可记为：DA,A`＝||FA-FA`||2；第二距离可记为：
第三距离可记为：
其中，F表示特 征描述符。
为便于理解，可参考图2d的示意进行示例性说明。在图2d中，左侧图 像3经仿射变换后得到右侧图像4。图像3包含特征点a、b,图像4包含由特 征点a变换得到的特征点a`、以及由图像b变换得到的特征点b`。
基于上述记载，计算特征点a的特征描述符稳定性时，可计算特征点a 的特征描述符和特征点a`的特征描述符之间的距离，为第一距离；计算特征 点a的特征描述符和特征点b`的特征描述符之间的距离，为第二距离；计算 特征点a`的特征描述符和特征点b的特征描述符之间的距离，为第三距离。 同理，计算特征点b的特征描述符稳定性时，可计算特征点b的特征描述符 和特征点b`的特征描述符之间的距离，为第一距离；计算特征点b的特征描 述符和特征点a`的特征描述符之间的距离，为第二距离；计算特征点b`的特 征描述符和特征点a的特征描述符之间的距离，为第三距离。
可选地，接下来，可根据第一距离、第二距离以及第三距离中的至少一 种，计算特征点A的特征描述符稳定性。
根据特征描述符稳定性的定义，即特征点的特征描述符具有较好的重复 性和可区分性，在一些实施例中，可将第二距离和第一距离的距离比值，作 为特征点A的特征描述符稳定性。即，特征点A的特征描述符稳定性 
在另一些实施例中，可将第三距离和第一距离的距离比值，作为特征点 A的特征描述符稳定性。即，特征点A的特征描述符稳定性
在又一些实施例中，可将第二距离和第三距离的平均值和第一距离的距 离比值，作为特征点A的特征描述符稳定性。即，特征点A的特征描述符稳 定性
基于上述方式，可获取到第一特征点包含的每个特征点对应的距离比值， 该距离比值可分别描述每个特征点的特征描述符稳定性。接着，可从第一特 征点中，选取距离比值大于设定的比例阈值的特征点，作为目标特征点。
可选地，上述比例阈值可根据实际需求进行设定，本实施例不做限制。
在步骤206中，可根据第二变换参数，对第一图像进行变换，得到第三 图像。接着，根据第二变换参数，从第三图像上确定与目标特征点对应的像 素点，作为变换后的目标特征点。
可选地，第二变换参数和第一变换参数可以相同，也就是说，第三图像 和第二图像可以相同。在一些实施例中，步骤206可实现为：根据第一变换 参数，从第二图像上，确定与目标特征点对应的像素点，作为变换后的目标 特征点，以进一步简化训练步骤。
在步骤207中，将目标特征点和变换后的目标特征点作为真值，通过第 一图像和第三图像对特征检测器进行训练，直至特征检测器的损失函数小于 设定的第一阈值。
可选地，特征检测器的损失函数可基于以下的实施方式进行构建：
根据特征检测器输出的第一图像上的特征检测概率与目标特征点之间的 损失，以及特征检测器输出的第三图像上的特征检测概率与该变换后的目标 特征点之间的损失，构建焦点损失函数(Focal Foss,FL)。
接着，根据特征检测器输出的第一特征点的特征检测概率和第三特征点 的特征检测概率之间的距离，构建相对熵损失函数(Kullback-Leibler Divergence,KLD)；其中，第三特征点为第三图像上与所述第一特征点对应的 特征点；接着，根据焦点损失函数和相对熵损失函数，构建特征检测器的损 失函数。
在一些可选的实施例中，特征检测器的损失函数L1可实现为：
其中，Y为目标特征点，
为变换后的目标特征点，二者作为训练采用 的真值；P为第一图像上的像素点被特征检测器检测为特征点的概率，
为 第三图像上的像素点被特征检测器检测为特征点的概率；PQi表示第一图像上 的特征点被特征检测器检测为特征点的概率；
表示第三图像上的第三特征 点被特征检测器检测为特征点的概率；λ为权重系数，i表示特征点的序号。
值得说明的是，在本实施例中，为使得训练特征检测器的操作，对特征 描述器具有较小的影响，可在训练检测器的损失函数中，添加损失函数附加 项，该损失函数附加项可确保特征描述器具有稳定的输出结果。
应当理解，训练特征检测器的前后，若特征描述器输出的同一特征点的 特征描述符在设定的范围内产生较小变化，则可认为特征描述器具有稳定的 输出结果。
基于此，可获取对特征检测器进行训练之前和训练之后，特征描述器输 出的相同特征点的特征描述符的差值，根据该相同特征点的特征描述符的差 值，构建损失函数附加项，并将该损失函数附加项添加到特征检测器的损失 函数中。
可选地，一种典型的损失函数附加项L2可根据如下公式进行构造：
其中，MSE()为均方误差函数，F表示根据真值对特征检测器进行训练之 前，特征描述器输出的第一图像上的特征点的特征描述符，F'表示根据真值 对特征检测器进行训练之后，特征描述器输出的第一图像上的特征点的特征 描述符；
表示根据真值对特征检测器进行训练之前，特征描述器输出的第 二图像或第三图像上的特征点的特征描述符，
表示根据真值对特征检测器 进行训练之后，特征描述器输出的第二图像或第三图像上的特征点的特征描 述符。
在L1上添加L2之后，特征检测器的损失函数更新为如下的
其中，α为用于平衡L1和L2的权重系数。
在本实施例中，特征检测器从输入的图像上检测出特征点，特征描述器 可对特征检测器检测到的特征点进行描述，基于特征描述器输出的特征点的 特征描述符，可从特征检测器检测到的特征点中，确定具有较高特征描述符 稳定性的目标特征点。该目标特征点较为准确地表征了输入图像上的图像特 征，将目标特征点作为特检测器的真值，有利于优化训练目标，有效提升特 征检测器的训练效率，优化特征检测器的特征检测性能。与此同时，在这种 实施方式中，特征描述器的计算结果可以对特征检测器的训练过程形成较好的促进作用，实现了图像处理模型的自我进化，提升了图像处理模型的性能。
需要明的是，上述步骤201和步骤202可替换为如下的步骤，即：将第 一图像输入图像处理模型，通过特征检测器，计算第一图像上的特征点，作 为特征点。接着，根据变换参数，直接对第一特征点进行变换，得到第二特 征点。其中，对特征点进行变换可理解为对特征点执行映射操作，即采用统 一的映射关系，将第一特征点映射为第二特征点。第二特征点和第一特征点 存在一一对应的关系，针对第一特征点中的任一特征点，可在第二特征点中， 找到与该特征点对应的另一特征点。基于这种实施方式，可进一步简化图像 变换操作，提升数据处理效率。
在上述各实施例的基础上，本申请实施例提供的图像处理模型训练方法中， 在对特征检测器进行训练后，可进一步基于训练后的特征检测器的输出结果， 对特征描述器进行训练，如图2e所示，还包括如下的步骤：
步骤208、通过训练后的特征检测器，检测第一图像和第二图像上的特 征点，作为第四特征点和第五特征点。
步骤209、通过特征描述器，计算第四特征点的特征描述符和第五特征 点的特征描述符。
步骤210、根据第四特征点的特征描述符和第五特征点的特征描述符， 构建特征描述器的损失函数。
步骤211、根据特征描述器的损失函数，对特征描述器进行训练。
上述步骤208-步骤211可执行在步骤207之后。
应当理解，针对特征描述器而言，其性能的优异性可表现在：对包含相同 场景的不同图像上存在对应关系的特征点，其计算出的特征描述符较为接近； 对同一图像或者不同图像上不存在对应关系的特征点，其计算出的特征描述符 存在较大差异。
基于此，可通过特征点与存在对应关系的另一特征点的特征描述符接近 度，以及该特征点与不存在对应关系的特征点的特征描述符可区分性，来构 建训练特征描述器的损失函数，进而实现对特征描述器进行优化。
在本实施例中，通过变换第一图像得到第二图像的方式，得到了不同图像 上的特征点的对应关系(变换关系)。因此，可根据第一图像上的第四特征点的 特征描述符合第二图像上的第五特征点的特征描述符，构建训练特征描述器的 损失函数。
以下为方便描述和区分，将第四特征点中的任一特征点标记为：特征点 N，将第四特征点中除了特征点N之外的其他特征点标记为：特征点M；将第 五特征点中，由特征点N变换得到的特征点标记为：特征点N`，将第五特征 点中除了特征点N`之外的其他特征点标记为：特征点M`。其中,M和M`可分 别包含多个特征点。
基于上述，针对特征点N，可计算特征点N的特征描述符和特征点N`的 特征描述符之间的距离1，计算特征点N的特征描述符和所述第五特征点中 的特征点M`的特征描述符之间的距离2，以及计算特征点N`的特征描述符和 特征点M的特征描述符之间的距离3。
其中，特征描述符可实现为特征向量，计算特征点的特征描述符之间的 距离，即为计算特征向量之间的距离，该距离可表征特征向量之间的相似度。 可选地，计算特征向量之间的距离的方式，可采用余弦距离、欧式距离、曼 哈顿距离、切比雪夫距离中的一种或多种，本实施例不做限制。以下将以欧 式距离为例进行示例性说明。
可选地，距离1可记为：DN,N`＝||FN-FN`||2；距离2可记为：
距离3可记为：
其中，F表示特 征描述符。
接着，可根据距离1、距离2和距离3，定义特征描述器的损失函数。
可选地，根据距离1、距离2和距离3，定义特征描述器的损失函数的可 选实施方式，可包括：计算距离2和距离3中的最小值，构造距离1和该最 小值的差值函数，作为特征描述器的损失函数。在根据特征描述器的损失函 数对特征描述器进行训练时，随着特征描述器的模型参数不断更新的过程， 计算特征描述器的损失函数的值，直至特征描述器的损失函数小于设定的第 二阈值时，停止训练过程。
可选地，在一些实施例中，特征描述器的损失函数Ldes可实现为如下公式：
其中，n为特征点的总数量；m为间隔参数，即第二阈值；min()为求最 小值函数，max()为求最大值函数。
基于上述公式可知，min(DN,M`,DN`,M)-DN,N`＞m时，停止对特征描述器的训 练操作，在此时，不存在对应关系的特征之间具有较大的可区分性，存在对 应关系的特征之间具有较小的可区分性，使得特征描述器在计算特征点的描 述时，具有较高的可靠性和重复性。
值得说明的是，在本实施例中，为使得训练特征描述器的操作，对特征 检测器的影响较小，可在训练描述器的损失函数中，添加损失函数附加项， 该损失函数附加项可确保特征检测器具有稳定的输出结果。
应当理解，训练特征描述器的前后，若特征检测器输出的同一像素点为 特征点的概率在设定的范围内产生较小变化，则可认为特征检测器具有稳定 的输出结果。
基于此，可获取对特征描述器进行训练之前和训练之后，特征检测器输 出的相同像素点为特征点的概率的差值；根据该相同像素点为特征点的概率 的差值，构建损失函数附加项，并将该损失函数附加项添加到特征描述器的 损失函数中。
可选地，一种典型的损失函数附加项Ldes可根据如下公式进行构造：
其中，MSE()为均方误差函数，P表示对特描述器进行训练之前，特征检 测器输出的第一图像上的像素为特征点的概率，P'对特描述器进行训练之 后，特征检测器输出的第一图像上的像素为特征点的概率；
表示对特描述 器进行训练之前，特征检测器输出的第二图像或第三图像上的像素为特征点 的概率，
对特描述器进行训练之后，特征检测器输出的第二图像或第三图 像上的像素为特征点的概率。
在Ldet上添加Ldes之后，特征描述器的损失函数更新为如下的L`det：
其中，β为用于平衡Ldet和Ldes的权重系数。
在本实施例中，特征描述器的计算结果可以对特征检测器的训练过程形 成较好的促进作用，训练后的特征检测器的检测结果又可对特征描述器的训 练过程形成较好的促进作用，特征检测器和特征描述器相互促进，进一步提 升了图像处理模型的自我进化能力，提升了图像处理模型图像处理性能。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一 设备，或者，该方法也由不同设备作为执行主体。比如，步骤201至步骤204 的执行主体可以为设备A；又比如，步骤201和202的执行主体可以为设备A， 步骤203的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序 出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的 顺序来执行或并行执行，操作的序号如201、202等，仅仅是用于区分开各个不 同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或 更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文 中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不 代表先后顺序，也不限定“第一”和“第二”是不同的类型。
图3a为本申请又一示例性实施例提供的图像处理模型训练方法，如图 3a所述，该方法包括：
步骤301a、将第一图像和第二图像输入图像处理模型，该第二图像根据 该第一图像变换得到。
步骤302a、通过该图像处理模型中的特征检测器，检测该第一图像上的 第一特征点和该第二图像上的第二特征点。
步骤303a、通过该图像处理模型中的特征描述器，计算该第一特征点和 第二特征点的特征描述符。
步骤304a、根据该第一特征点的特征描述符和该第二特征点的特征描述 符之间的距离，对该特征描述器进行训练。
在一些示例性实施例中，根据所述第一特征点的特征描述符和所述第二 特征点的特征描述符之间的距离，对所述特征描述器进行训练的一种方式， 包括：根据所述第一特征点和所述第二特征点中，存在对应关系的特征点的 特征描述符之间的距离，以及不存在对应关系的特征点的特征描述符之间的 距离，构建所述特征描述器的损失函数；根据所述特征描述器的损失函数， 对所述特征描述器进行训练。
在一些示例性实施例中，根据所述第一特征点和所述第二特征点中，存 在对应关系的特征点的特征描述符之间的距离，以及不存在对应关系的特征 点的特征描述符之间的距离，构建所述特征描述器的损失函数的一种方式， 可包括：针对所述第一特征点中的任一特征点N，在所述第二特征点中确定 由所述特征点N变换得到的特征点N`；所述第一特征点还包括特征点M，所 述第二特征点包括由所述特征点M变换得到的特征点M`；获取所述特征点N 的特征描述符和所述特征点N`的特征描述符之间的第一距离，所述特征点N 的特征描述符和所述特征点M`的特征描述符之间的第二距离，以及所述特征 点N`和所述特征点M的特征描述符之间的第三距离；根据所述第一距离、所 述第二距离和第三距离，构建所述特征描述器的损失函数。
在一些示例性实施例中，根据所述第一距离、所述第二距离和第三距离， 构建所述特征描述器的损失函数的一种方式，包括：计算所述第二距离和所 述第三距离中的最小值；构造所述第一距离和所述最小值的差值函数，作为 所述特征描述器的损失函数；根据所述特征描述器的损失函数，对所述特征 描述器进行训练，包括：更新所述特征描述器的模型参数，直至所述特征描 述器的损失函数小于设定的阈值。
相应地，如图3b所示，在对特征描述器进行训练后，还可执行如下的步 骤以对特征检测器进行训练：
步骤305a、在特征描述器得到训练之后，获取特征描述器输出的第一特 征点的新的特征描述符和第二特征点的新的特征描述符。
步骤306a、根据第一特征点的新的特征描述符和第二特征点的新的特征 描述符，计算第一特征点的特征描述符稳定性。
步骤307a、从第一特征点中，确定特征描述符稳定性大于设定阈值的特 征点，作为目标特征点。
步骤308a、将目标特征点作为真值，对特征检测器进行训练。
在本实施例中，特征检测器的检测结果可对特征描述器的训练过程形成 较好的促进作用，训练得到的特征描述器的计算结果可以反向作用于特征检 测器的训练过程，进而实现了特征检测器和特征描述器相互促进，进一步提 升了图像处理模型的自我进化能力，提升了图像处理模型图像处理性能。
图3c是本申请又一示例性实施例提供的图像处理模型训练方法的流程 示意图，如图3c所示，该方法包括：
步骤301c、将根据相同场景得到的图像和雷达点云数据输入图像处理模 型。
步骤302c、通过图像处理模型中的特征检测器，检测该图像上的至少一 个特征点。
步骤303c、根据该雷达点云数据，从该至少一个特征点中筛选出稳定性 满足设定条件的目标特征点。
步骤304c、将该目标特征点作为真值，对该特征检测器进行训练。
其中，图像处理模型进行图像处理时，可提取图像局部特征作为其他处 理操作的基础。图像处理模型中的特征检测器用于从图像上提取特征点。
其中，雷达点云数据，可采用雷达探测系统获取。例如，可采用激光雷 达探测系统发射激光，对场景中的物体进行三维扫描，得到点云数据。点云 数据包括多个三维坐标，多个三维坐标可描述物体的外表面形状。基于点云 数据，可获取到场景中的物体的特征。
其中，该图像和雷达点云数据根据相同场景得到，因此，该图像和雷达 点云数据可表达相对应的物体特征。基于此，特征检测器从图像上检测到至 少一个特征点后，可在雷达点云数据的辅助下，从该至少一个特征点中筛选 出稳定性满足设定条件的特征点，作为目标特征点。
其中，特征点的稳定性满足设定条件，可包括：该特征点表征的场景， 在雷达点云数据中存在对应的三维坐标。也就是说，该特征点能够较为准确 地表达实际场景中的物体的特征。
基于上述，将目标特征点作真值对特征检测器进行训练，可向特征检测 器提供更优的学习目标，有利于进一步优化特征检测的检测性能。
图4a是本申请一示例性实施例提供的图像局部特征提取方法的流程示 意图，如图4a所示，该方法包括：
步骤401、将待处理图像输入图像处理模型；该图像处理模型包括特征 检测器和特征描述器。
步骤402、通过该特征检测器检测该待处理图像上的特征点，并通过该 特征描述器输出该特征点的特征描述符；其中，训练该特征检测器的真值， 根据训练样本上的特征描述符稳定性大于设定阈值的特征点获取；该特征描 述符稳定性，根据该特征描述器输出的该训练样本上的特征点的特征描述符 计算得到。
可选地，特征描述器，根据多个特征点的特征描述符之间的距离训练得 到，该多个特征点位于存在变换关系的训练样本上。
一种典型的图像局部特征提取场景可参考图4b的示意。其中，训练特征 检测器和特征描述器的可选实施方式可参考前述各实施例的记载，此处不再 赘述。
本实施例中，图像处理模型中的特征检测器的训练过程，可使得特征检 测器具有较优的特征点检测性能。基于性能较优的特征检测器，可较为准确 地检测到能够表达图像局部特征的特征点。
前述各实施例记载的图像处理模型，可实现为图4c所示的全卷积神经网 络。该全卷积神经网络，以灰度图像I∈RH×W为输入，分别输出特征点检测概 率图P∈R2×H×W和特征点特征描述符F∈RC×H×W。其中，H为输入图像的高度， W为输入图像的宽度，C为输出二维特征图的维度。
如图4c所示，全卷积神经网络的结构主要包括3个部分，其中第一部分 为主干网络，第二部分为特征检测器网络分支，第三部分为特征描述器网络 分支。主干网络包括1个卷积层和9个残差网络基本组成单元。用于提取图 片的隐藏特征；其中，卷积层包括：执行卷积处理的计算层及其其前面的归 一化层，和其后面的激活层。其中，9个基本组成单元分为3组，每组的输 出特征图长宽分辨率依次分别为输入图像分辨率的1倍、1/2倍、1/4倍，将对应的特征图分别记为1F、
如图4c所示，特征检测器网络分支包括2个反卷积层和一个柔性最大值 传输层(例如：softmax)。特征检测器网络包含两个跨层连接，分别通过加 法操作连接对应分辨率的主干网络特征图。特征描述器包括1个残差网络基 本组成单元和1个上采样层，上采样层将特征图的分辨率上采样为与输入图 像一致。
其中，特征检测器网络和特征描述器网络可采用前述各实施例记载的数 据处理方法进行训练，此处不再赘述。
图5是本申请一示例性实施例提供的数据处理设备的结构示意图，如图 5所示，该数据处理设备包括：存储器501和处理器502。
存储器501，用于存储计算机程序，并可被配置为存储其它各种数据以 支持在数据处理设备上的操作。这些数据的示例包括用于在数据处理设备上 操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图 片，视频等。
存储器501，可以由任何类型的易失性或非易失性存储设备或者它们的 组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器 (EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)， 只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器502，与存储器501耦合，用于执行存储器501中的计算机程 序，以用于：将第一图像输入图像处理模型；所述图像处理模型包含特征检 测器和特征描述器，所述第一图像包括第一特征点；通过所述特征描述器， 计算所述第一图像上的第一特征点的特征描述符；根据所述第一特征点的特 征描述符，计算所述第一特征点的特征描述符稳定性；从所述第一特征点中， 确定特征描述符稳定性大于设定阈值的特征点，作为目标特征点；将所述目 标特征点作为真值，对所述特征检测器进行训练。
进一步可选地，处理器502还用于：获取第二图像，所述第二图像和所 述第一图像存在对应的图像特征；根据所述第一图像上的像素点为特征点的 概率和所述第二图像上的像素点为特征点的概率，从所述第一图像上获取所 述第一特征点。
进一步可选地，处理器502在根据所述第一图像上的像素点为特征点的 概率和所述第二图像上的像素点为特征点的概率，从所述第一图像上获取所 述第一特征点时，具体用于：通过所述特征检测器，计算所述第一图像上的 像素点为特征点的第一概率以及所述第二图像上的像素点为特征点的第二概 率；根据所述第一图像上的像素点和所述第二图像上的像素点的对应关系， 将所述第一概率和所述第二概率进行融合，得到所述第一图像上的像素点为 特征点的融合概率；根据所述融合概率，从所述第一图像上的像素中确定所述第一特征点。
进一步可选地，所述特征描述符稳定性包括：存在对应关系的特征点的 特征描述符接近度，和/或，不存在对应关系的特征点的特征描述符可区分性。
进一步可选地，处理器502在根据所述第一特征点的特征描述符，计算 所述第一特征点的特征描述符稳定性时，具体用于：获取第二图像以及所述 第二图像上的第二特征点，所述第二特征点与所述第一特征点对应；通过所 述特征描述器，计算所述第二特征点的特征描述符；根据所述第一特征点的 特征描述符、所述第二特征点的特征描述符以及所述第一特征点和所述第二 特征点的对应关系，计算所述第一特征点的特征描述符稳定性。
进一步可选地，处理器502在获取第二图像以及所述第二图像上的第二 特征点时，具体用于：根据第一变换参数，对所述第一图像进行变换，得到 所述第二图像；根据所述第一变换参数，从所述第二图像上的像素中确定由 所述第一特征点变换得到的像素点，作为所述第二特征点。
进一步可选地，处理器502在根据所述第一特征点的特征描述符、所述 第二特征点的特征描述符以及所述第一特征点和所述第二特征点的对应关系 时，具体用于：针对所述第一特征点中的任一特征点A，在所述第二特征点 中确定由所述特征点A变换得到的特征点A`；所述第一特征点还包括特征点 B，所述第二特征点包括由所述特征点B变换得到的特征点B`；获取所述特 征点A的特征描述符和所述特征点A`的特征描述符之间的第一距离，所述特 征点A的特征描述符和所述特征点B`的特征描述符之间的第二距离，以及所 述特征点A`的特征描述符和所述特征点B的特征描述符之间的第三距离；根 据所述第一距离、所述第二距离以及所述第三距离中的至少一种，计算所述 特征点A的特征描述符稳定性。
进一步可选地，处理器502在根据所述第一距离、所述第二距离以及所 述第三距离中的至少一种，计算所述特征点A的特征描述符稳定性时，具体 用于：将所述第二距离和所述第一距离的距离比值，作为所述特征点A的特 征描述符稳定性；或者，将所述第三距离和所述第一距离的距离比值，作为 所述特征点A的特征描述符稳定性；或者，将所述第二距离和所述第三距离 的平均值和所述第一距离的距离比值，作为所述特征点A的特征描述符稳定 性。
进一步可选地，所述特征描述符稳定性大于设定阈值，包括：所述距离 比值，大于设定的比例阈值。
进一步可选地，处理器502在将所述目标特征点作为真值，对所述特征 检测器进行训练时，具体用于：根据第二变换参数，对所述第一图像进行变 换，得到第三图像；所述第三图像包含变换后的目标特征点；将所述目标特 征点和所述变换后的目标特征点作为真值，通过所述第一图像和所述第三图 像对所述特征检测器进行训练，直至所述特征检测器的损失函数小于设定的 第一阈值。
进一步可选地，处理器502还用于：根据所述特征检测器输出的所述第 一图像上的特征检测概率与所述目标特征点之间的损失，以及所述特征检测 器输出的所述第三图像上的特征检测概率与所述变换后的目标特征点之间的 损失，构建焦点损失函数；根据所述特征检测器输出的所述第一特征点的特 征检测概率和第三特征点的特征检测概率之间的距离，构建相对熵损失函数； 所述第三特征点为所述第三图像上与所述第一特征点对应的特征点；根据所 述焦点损失函数和所述相对熵损失函数，构建所述特征检测器的损失函数。
进一步可选地，处理器502还用于：获取对所述特征检测器进行训练之 前和训练之后，所述特征描述器输出的相同特征点的特征描述符的差值；根 据所述相同特征点的特征描述符的差值，构建损失函数附加项；将所述损失 函数附加项，添加至所述特征检测器的损失函数中。
进一步可选地，所述变换，包括几何变换、色彩变换、对比度变换、亮 度变换中的至少一种。
进一步可选地，处理器502还用于：在所述特征检测器得到训练后，获 取所述特征检测器从所述第一图像和所述第二图像上检测到的特征点，作为 第四特征点和第五特征点；通过所述特征描述器，计算所述第四特征点的特 征描述符和所述第五特征点的特征描述符；根据所述第四特征点的特征描述 符和所述第五特征点的特征描述符，构建所述特征描述器的损失函数；根据 所述特征描述器的损失函数，对所述特征描述器进行训练。
进一步可选地，处理器502在根据所述第四特征点的特征描述符和所述 第五特征点的特征描述符，构建所述特征描述器的损失函数时，具体用于： 针对所述第四特征点中的任一特征点N，在所述第五特征点中确定由所述特 征点N变换得到的特征点N`；所述第四特征点还包括特征点M，所述第五特 征点包括由所述特征点M变换得到的特征点M`；获取所述特征点N的特征描 述符和所述特征点N`的特征描述符之间的第四距离，所述特征点N的特征描 述符和所述特征点M`的特征描述符之间的第五距离，以及所述特征点N`和所 述特征点M的特征描述符之间的第六距离；根据所述第四距离、所述第五距 离和第六距离，构建所述特征描述器的损失函数。
进一步可选地，处理器502在根据所述第四距离、所述第五距离和第六 距离，构建所述特征描述器的损失函数时，具体用于：计算所述第五距离和 所述第六距离中的最小值；构造所述第四距离和所述最小值的差值函数，作 为所述特征描述器的损失函数；相应地，处理器502在根据所述特征描述器 的损失函数，对所述特征描述器进行训练时，具体用于：更新所述特征描述 器的模型参数，直至所述特征描述器的损失函数小于设定的第二阈值。
进一步可选地，处理器502还用于：获取对所述特征描述器进行训练之 前和训练之后，所述特征检测器输出的相同像素点为特征点的概率的差值； 根据所述相同像素点为特征点的概率的差值，构建损失函数附加项；将所述 损失函数附加项，添加至所述特征描述器的损失函数中。
进一步，如图5所示，该数据处理设备还包括：通信组件503、显示器504、 电源组件505等其它组件。图5中仅示意性给出部分组件，并不意味着数据处 理设备只包括图5所示组件。
其中，通信组件503被配置为便于通信组件所在设备和其他设备之间有线 或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如 WiFi，2G、3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件经 由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示 例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、 红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术 来实现。
其中，显示器504包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面 板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户 的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面 板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检 测与所述触摸或滑动操作相关的持续时间和压力。
其中，电源组件505，为电源组件所在设备的各种组件提供电力。电源组件 可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、 管理和分配电力相关联的组件。
本实施例，根据特征描述器对输入图像上的特征点的特征描述符计算结 果，可计算特征点特征描述符的稳定性；基于特征描述符稳定性可自动从输 入图像上确定具有较高特征描述符稳定性的目标特征点。将目标特征点作为 特检测器的真值，一方面，在图像模型内部实现了特征描述器对特征检测器 的有效促进。另一方面，目标特征点的特征描述符稳定性较高，可较为真实 地反映输入图像上的特征，有利于优化训练目标，有效提升特征检测器的训 练效率，优化特征检测器的特征检测性能。
除上述实施例记载的方法逻辑之外，图5所示的数据处理设备还可执行 如下的方法逻辑：
处理器502可用于：将第一图像和第二图像输入图像处理模型，所述第 二图像根据所述第一图像变换得到；通过所述图像处理模型中的特征检测器， 检测所述第一图像上的第一特征点和所述第二图像上的第二特征点；通过所 述图像处理模型中的特征描述器，计算所述第一特征点和第二特征点的特征 描述符；根据所述第一特征点的特征描述符和所述第二特征点的特征描述符 之间的距离，对所述特征描述器进行训练。
进一步可选地，处理器502在根据所述第一特征点的特征描述符和所述 第二特征点的特征描述符之间的距离，对所述特征描述器进行训练时，具体 用于：根据所述第一特征点和所述第二特征点中，存在对应关系的特征点的 特征描述符之间的距离，以及不存在对应关系的特征点的特征描述符之间的 距离，构建所述特征描述器的损失函数；根据所述特征描述器的损失函数， 对所述特征描述器进行训练。
进一步可选地，处理器502在根据所述第一特征点和所述第二特征点中， 存在对应关系的特征点的特征描述符之间的距离，以及不存在对应关系的特 征点的特征描述符之间的距离，构建所述特征描述器的损失函数时，具体用 于：针对所述第一特征点中的任一特征点N，在所述第二特征点中确定由所 述特征点N变换得到的特征点N`；所述第一特征点还包括特征点M，所述第 二特征点包括由所述特征点M变换得到的特征点M`；获取所述特征点N的特 征描述符和所述特征点N`的特征描述符之间的第一距离，所述特征点N的特 征描述符和所述特征点M`的特征描述符之间的第二距离，以及所述特征点N` 和所述特征点M的特征描述符之间的第三距离；根据所述第一距离、所述第 二距离和第三距离，构建所述特征描述器的损失函数。
进一步可选地，处理器502在根据所述第一距离、所述第二距离和第三 距离，构建所述特征描述器的损失函数时，具体用于：计算所述第二距离和 所述第三距离中的最小值；构造所述第一距离和所述最小值的差值函数，作 为所述特征描述器的损失函数；相应地，处理器502在根据所述特征描述器 的损失函数，对所述特征描述器进行训练时，具体用于：更新所述特征描述 器的模型参数，直至所述特征描述器的损失函数小于设定的阈值。
进一步可选地，处理器502还用于：在所述特征描述器得到训练之后， 获取所述特征描述器输出的所述第一特征点的新的特征描述符和所述第二特 征点的新的特征描述符；根据所述第一特征点的新的特征描述符和所述第二 特征点的新的特征描述符，计算所述第一特征点的特征描述符稳定性；从所 述第一特征点中，确定特征描述符稳定性大于设定阈值的特征点，作为目标 特征点；将所述目标特征点作为真值，对所述特征检测器进行训练。
除上述实施例记载的方法逻辑之外，图5所示的数据处理设备还可执行 如下的方法逻辑：
处理器502用于：将待处理图像输入图像处理模型；该图像处理模型包 括特征检测器和特征描述器；通过该特征检测器检测该待处理图像上的特征 点，并通过该特征描述器输出该特征点的特征描述符；其中训练该特征检测 器的真值，根据训练样本上的特征描述符稳定性大于设定阈值的特征点获取； 该特征描述符稳定性，根据该特征描述器输出的该训练样本上的特征点的特 征描述符计算得到。
在这种方法逻辑中，图像处理模型中的特征检测器的训练过程，可使得 特征检测器具有较优的特征点检测性能。基于性能较优的特征检测器，可较 为准确地检测到能够表达图像局部特征的特征点。
除上述实施例记载的方法逻辑之外，图5所示的数据处理设备还可执行 如下的方法逻辑：
处理器502用于：将根据相同场景得到的图像和雷达点云数据输入图像 处理模型；所述图像处理模型包括特征检测器；通过所述特征检测器，检测 所述图像上的至少一个特征点；根据所述雷达点云数据，从所述至少一个特 征点中筛选出稳定性满足设定条件的目标特征点；将所述目标特征点作为真 值，对所述特征检测器进行训练。
在这种方法逻辑中，将目标特征点作真值对特征检测器进行训练，可向 特征检测器提供更优的学习目标，有利于进一步优化特征检测的检测性能。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储 介质，计算机程序被执行时能够实现上述方法实施例中可由数据处理设备执 行的各步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计 算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或 方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式 处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机 或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流 程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出 接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是 计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任 何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序 的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、 静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机 存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、 快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或 任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的 界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技 术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所 作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (27)
1.一种图像局部特征提取方法，其特征在于，包括：
将待处理图像输入图像处理模型；所述图像处理模型包括特征检测器和特征描述器；
通过所述特征检测器检测所述待处理图像上的特征点，并通过所述特征描述器输出所述特征点的特征描述符；
其中，训练所述特征检测器的真值，根据训练样本上的特征描述符稳定性大于设定阈值的目标特征点获取；所述特征描述符稳定性，根据所述特征描述器输出的所述训练样本上的特征点的特征描述符计算得到。
2.根据权利要求1所述的方法，其特征在于，所述特征描述器，根据多个特征点的特征描述符之间的距离训练得到，所述多个特征点位于存在变换关系的训练样本上。
3.一种图像处理模型训练方法，其特征在于，包括：
将第一图像输入图像处理模型；所述图像处理模型包含特征检测器和特征描述器，所述第一图像包括第一特征点；
通过所述特征描述器，计算所述第一特征点的特征描述符；
根据所述第一特征点的特征描述符，计算所述第一特征点的特征描述符稳定性；
从所述第一特征点中，确定特征描述符稳定性大于设定阈值的特征点，作为目标特征点；
将所述目标特征点作为真值，对所述特征检测器进行训练。
4.根据权利要求3所述的方法，其特征在于，还包括：
获取第二图像，所述第二图像和所述第一图像存在对应的图像特征；
根据所述第一图像上的像素点为特征点的概率和所述第二图像上的像素点为特征点的概率，从所述第一图像上获取所述第一特征点。
5.根据权利要求4所述的方法，其特征在于，根据所述第一图像上的像素点为特征点的概率和所述第二图像上的像素点为特征点的概率，从所述第一图像上获取所述第一特征点，包括：
通过所述特征检测器，计算所述第一图像上的像素点为特征点的第一概率以及所述第二图像上的像素点为特征点的第二概率；
根据所述第一图像上的像素点和所述第二图像上的像素点的对应关系，将所述第一概率和所述第二概率进行融合，得到所述第一图像上的像素点为特征点的融合概率；
根据所述融合概率，从所述第一图像上的像素中确定所述第一特征点。
6.根据权利要求4所述的方法，其特征在于，所述特征描述符稳定性包括：存在对应关系的特征点的特征描述符接近度，和/或，不存在对应关系的特征点的特征描述符可区分性。
7.根据权利要求4所述的方法，其特征在于，根据所述第一特征点的特征描述符，计算所述第一特征点的特征描述符稳定性，包括：
获取第二图像以及所述第二图像上的第二特征点，所述第二特征点与所述第一特征点对应；
通过所述特征描述器，计算所述第二特征点的特征描述符；
根据所述第一特征点的特征描述符、所述第二特征点的特征描述符以及所述第一特征点和所述第二特征点的对应关系，计算所述第一特征点的特征描述符稳定性。
8.根据权利要求7所述的方法，其特征在于，获取第二图像以及所述第二图像上的第二特征点，包括：
根据第一变换参数，对所述第一图像进行变换，得到所述第二图像；
根据所述第一变换参数，从所述第二图像上的像素中确定由所述第一特征点变换得到的像素点，作为所述第二特征点。
9.根据权利要求7所述的方法，其特征在于，根据所述第一特征点的特征描述符、所述第二特征点的特征描述符以及所述第一特征点和所述第二特征点的对应关系，计算所述第一特征点的特征描述符稳定性，包括：
针对所述第一特征点中的任一特征点A，在所述第二特征点中确定由所述特征点A变换得到的特征点A`；所述第一特征点还包括特征点B，所述第二特征点包括由所述特征点B变换得到的特征点B`；
获取所述特征点A的特征描述符和所述特征点A`的特征描述符之间的第一距离，所述特征点A的特征描述符和所述特征点B`的特征描述符之间的第二距离，以及所述特征点A`的特征描述符和所述特征点B的特征描述符之间的第三距离；
根据所述第一距离、所述第二距离以及所述第三距离中的至少一种，计算所述特征点A的特征描述符稳定性。
10.根据权利要求9所述的方法，其特征在于，根据所述第一距离、所述第二距离以及所述第三距离中的至少一种，计算所述特征点A的特征描述符稳定性，包括：
将所述第二距离和所述第一距离的距离比值，作为所述特征点A的特征描述符稳定性；或者，
将所述第三距离和所述第一距离的距离比值，作为所述特征点A的特征描述符稳定性；或者，
将所述第二距离和所述第三距离的平均值和所述第一距离的距离比值，作为所述特征点A的特征描述符稳定性。
11.根据权利要求10所述的方法，其特征在于，所述特征描述符稳定性大于设定阈值，包括：所述距离比值，大于设定的比例阈值。
12.根据权利要求4-11任一项所述的方法，其特征在于，将所述目标特征点作为真值，对所述特征检测器进行训练，包括：
根据第二变换参数，对所述第一图像进行变换，得到第三图像；所述第三图像包含变换后的目标特征点；
将所述目标特征点和所述变换后的目标特征点作为真值，通过所述第一图像和所述第三图像对所述特征检测器进行训练，直至所述特征检测器的损失函数小于设定的第一阈值。
13.根据权利要求12所述的方法，其特征在于，还包括：
根据所述特征检测器输出的所述第一图像上的特征检测概率与所述目标特征点之间的损失，以及所述特征检测器输出的所述第三图像上的特征检测概率与所述变换后的目标特征点之间的损失，构建焦点损失函数；
根据所述特征检测器输出的所述第一特征点的特征检测概率和第三特征点的特征检测概率之间的距离，构建相对熵损失函数；所述第三特征点为所述第三图像上与所述第一特征点对应的特征点；
根据所述焦点损失函数和所述相对熵损失函数，构建所述特征检测器的损失函数。
14.根据权利要求12所述的方法，其特征在于，还包括：
获取对所述特征检测器进行训练之前和训练之后，所述特征描述器输出的相同特征点的特征描述符的差值；
根据所述相同特征点的特征描述符的差值，构建损失函数附加项；
将所述损失函数附加项，添加至所述特征检测器的损失函数中。
15.根据权利要求12所述的方法，其特征在于，所述变换，包括几何变换、色彩变换、对比度变换、亮度变换中的至少一种。
16.根据权利要求4-11任一项所述的方法，其特征在于，还包括：
在所述特征检测器得到训练后，获取所述特征检测器从所述第一图像和所述第二图像上检测到的特征点，作为第四特征点和第五特征点；
通过所述特征描述器，计算所述第四特征点的特征描述符和所述第五特征点的特征描述符；
根据所述第四特征点的特征描述符和所述第五特征点的特征描述符，构建所述特征描述器的损失函数；
根据所述特征描述器的损失函数，对所述特征描述器进行训练。
17.根据权利要求16所述的方法，其特征在于，根据所述第四特征点的特征描述符和所述第五特征点的特征描述符，构建所述特征描述器的损失函数，包括：
针对所述第四特征点中的任一特征点N，在所述第五特征点中确定由所述特征点N变换得到的特征点N`；所述第四特征点还包括特征点M，所述第五特征点包括由所述特征点M变换得到的特征点M`；
获取所述特征点N的特征描述符和所述特征点N`的特征描述符之间的第四距离，所述特征点N的特征描述符和所述特征点M`的特征描述符之间的第五距离，以及所述特征点N`和所述特征点M的特征描述符之间的第六距离；
根据所述第四距离、所述第五距离和第六距离，构建所述特征描述器的损失函数。
18.根据权利要求17所述的方法，其特征在于，根据所述第四距离、所述第五距离和第六距离，构建所述特征描述器的损失函数，包括：
计算所述第五距离和所述第六距离中的最小值；
构造所述第四距离和所述最小值的差值函数，作为所述特征描述器的损失函数；
根据所述特征描述器的损失函数，对所述特征描述器进行训练，包括：
更新所述特征描述器的模型参数，直至所述特征描述器的损失函数小于设定的第二阈值。
19.根据权利要求18所述的方法，其特征在于，还包括：
获取对所述特征描述器进行训练之前和训练之后，所述特征检测器输出的相同像素点为特征点的概率的差值；
根据所述相同像素点为特征点的概率的差值，构建损失函数附加项；
将所述损失函数附加项，添加至所述特征描述器的损失函数中。
20.一种图像处理模型训练方法，其特征在于，包括：
将第一图像和第二图像输入图像处理模型，所述第二图像根据所述第一图像变换得到；
通过所述图像处理模型中的特征检测器，检测所述第一图像上的第一特征点和所述第二图像上的第二特征点；
通过所述图像处理模型中的特征描述器，计算所述第一特征点和第二特征点的特征描述符；
根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离，对所述特征描述器进行训练。
21.根据权利要求20所述的方法，其特征在于，根据所述第一特征点的特征描述符和所述第二特征点的特征描述符之间的距离，对所述特征描述器进行训练，包括：
根据所述第一特征点和所述第二特征点中，存在对应关系的特征点的特征描述符之间的距离，以及不存在对应关系的特征点的特征描述符之间的距离，构建所述特征描述器的损失函数；
根据所述特征描述器的损失函数，对所述特征描述器进行训练。
22.根据权利要求21所述的方法，其特征在于，根据所述第一特征点和所述第二特征点中，存在对应关系的特征点的特征描述符之间的距离，以及不存在对应关系的特征点的特征描述符之间的距离，构建所述特征描述器的损失函数，包括：
针对所述第一特征点中的任一特征点N，在所述第二特征点中确定由所述特征点N变换得到的特征点N`；所述第一特征点还包括特征点M，所述第二特征点包括由所述特征点M变换得到的特征点M`；
获取所述特征点N的特征描述符和所述特征点N`的特征描述符之间的第一距离，所述特征点N的特征描述符和所述特征点M`的特征描述符之间的第二距离，以及所述特征点N`和所述特征点M的特征描述符之间的第三距离；
根据所述第一距离、所述第二距离和第三距离，构建所述特征描述器的损失函数。
23.根据权利要求22所述的方法，其特征在于，根据所述第一距离、所述第二距离和第三距离，构建所述特征描述器的损失函数，包括：
计算所述第二距离和所述第三距离中的最小值；
构造所述第一距离和所述最小值的差值函数，作为所述特征描述器的损失函数；
根据所述特征描述器的损失函数，对所述特征描述器进行训练，包括：
更新所述特征描述器的模型参数，直至所述特征描述器的损失函数小于设定的阈值。
24.根据权利要求20-23任一项所述的方法，其特征在于，还包括：
在所述特征描述器得到训练之后，获取所述特征描述器输出的所述第一特征点的新的特征描述符和所述第二特征点的新的特征描述符；
根据所述第一特征点的新的特征描述符和所述第二特征点的新的特征描述符，计算所述第一特征点的特征描述符稳定性；
从所述第一特征点中，确定特征描述符稳定性大于设定阈值的特征点，作为目标特征点；
将所述目标特征点作为真值，对所述特征检测器进行训练。
25.一种图像处理模型训练方法，其特征在于，包括：
将根据相同场景得到的图像和雷达点云数据输入图像处理模型；所述图像处理模型包括特征检测器；
通过所述特征检测器，检测所述图像上的至少一个特征点；
根据所述雷达点云数据，从所述至少一个特征点中筛选出稳定性满足设定条件的目标特征点；
将所述目标特征点作为真值，对所述特征检测器进行训练。
26.一种数据处理设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-25任一项所述的方法中的步骤。
27.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被执行时能够实现权利要求1-25任一项所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911357883.0A CN113033576B (zh) | 2019-12-25 | 2019-12-25 | 图像局部特征提取、模型训练方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911357883.0A CN113033576B (zh) | 2019-12-25 | 2019-12-25 | 图像局部特征提取、模型训练方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033576A true CN113033576A (zh) | 2021-06-25 |
| CN113033576B CN113033576B (zh) | 2024-04-05 |
Family
ID=76458263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911357883.0A Active CN113033576B (zh) | 2019-12-25 | 2019-12-25 | 图像局部特征提取、模型训练方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033576B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310734A (zh) * | 2023-04-25 | 2023-06-23 | 慧铁科技有限公司 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050238200A1 (en) * | 2004-04-27 | 2005-10-27 | Rakesh Gupta | Simultaneous localization and mapping using multiple view feature descriptors |
| CN105224582A (zh) * | 2014-07-03 | 2016-01-06 | 联想(北京)有限公司 | 信息处理方法和设备 |
| CN109948624A (zh) * | 2019-02-18 | 2019-06-28 | 北京旷视科技有限公司 | 特征提取的方法、装置、电子设备和计算机存储介质 |
-
2019
- 2019-12-25 CN CN201911357883.0A patent/CN113033576B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050238200A1 (en) * | 2004-04-27 | 2005-10-27 | Rakesh Gupta | Simultaneous localization and mapping using multiple view feature descriptors |
| CN105224582A (zh) * | 2014-07-03 | 2016-01-06 | 联想(北京)有限公司 | 信息处理方法和设备 |
| CN109948624A (zh) * | 2019-02-18 | 2019-06-28 | 北京旷视科技有限公司 | 特征提取的方法、装置、电子设备和计算机存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 薛顺瑞;高原;唐湘成;刘怡;黄自力;: "基于FPGA并行处理SIFT算法特征点检测", 电视技术, no. 23 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310734A (zh) * | 2023-04-25 | 2023-06-23 | 慧铁科技有限公司 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
| CN116310734B (zh) * | 2023-04-25 | 2023-12-15 | 慧铁科技股份有限公司 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033576B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lawin et al. | Deep projective 3D semantic segmentation | |
| US10440276B2 (en) | Generating image previews based on capture information | |
| EP3440428A1 (en) | Remote determination of quantity stored in containers in geographical region | |
| Esmaeili et al. | Fast-at: Fast automatic thumbnail generation using deep neural networks | |
| JP5563494B2 (ja) | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム | |
| CN104106078B (zh) | 光学字符辨识(ocr)高速缓冲存储器更新 | |
| CN109063549B (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
| CN117115571B (zh) | 一种细粒度智能商品识别方法、装置、设备及介质 | |
| Shen et al. | Vehicle detection in aerial images based on lightweight deep convolutional network | |
| JP2019185787A (ja) | 地理的地域内のコンテナのリモート決定 | |
| Mao et al. | 3dg-stfm: 3d geometric guided student-teacher feature matching | |
| KR101833943B1 (ko) | 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템 | |
| Wang et al. | SAR ship detection in complex background based on multi-feature fusion and non-local channel attention mechanism | |
| CN113033576B (zh) | 图像局部特征提取、模型训练方法、设备及存储介质 | |
| Poggi et al. | Self-adapting confidence estimation for stereo | |
| Schreiberhuber et al. | GigaDepth: Learning depth from structured light with branching neural networks | |
| JP2018180879A (ja) | 物体認識装置、物体認識システム、及び物体認識方法 | |
| US11899722B2 (en) | Search system, search method, and program | |
| CN111008294B (zh) | 交通图像处理、图像检索方法及装置 | |
| Tinchev et al. | $\mathbb {X} $ Resolution Correspondence Networks | |
| CN112925939A (zh) | 图片搜索方法、描述信息生成方法、设备及存储介质 | |
| CN113139540B (zh) | 背板检测方法及设备 | |
| CN115375742A (zh) | 生成深度图像的方法及系统 | |
| US20220245394A1 (en) | Methods and Systems for Generating Composite Image Descriptors | |
| Zhang et al. | Edge detection from RGB-D image based on structured forests |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |