CN110633711A - 训练特征点检测器的计算机装置、方法及特征点检测方法 - Google Patents

Abstract

本发明公开了一种训练特征点检测器的计算机装置、方法及图像特征点检测方法。其中，计算机装置包括用于基于图像变换操作集对原始图像进行随机采样变换得到变换图像的图像变换模块、特征点检测器和用于对各差分响应图进行全局批规范化操作，并利用无监督机器学习方法训练各差分响应图的模型训练模块；特征点检测器用于利用两个不同尺度的卷积核对输入图像进行处理得到各自相应的响应特征图，并对各卷积核输出响应特征图进行差分计算，得到原始图像和变换图像的差分响应图。本申请技术方案不仅数据处理流程简单，还对物体边缘更敏感，可有效缓解特征点密集选取现象，适用于小规模数据集应用场景。

Description

训练特征点检测器的计算机装置、方法及特征点检测方法

技术领域

本公开涉及图像处理技术领域，特别是涉及一种训练特征点检测器的计算机装置、方法及图像特征点检测方法。

背景技术

随着计算机视觉技术的快速发展，图像处理技术也面临严峻的挑战。图像特征点包含丰富的局部图像特征，并为后续图像处理任务提供有帮助的特殊点，例如物体边缘点、角点、纹理、斑点等类型。优秀图像特征能够帮助解决物体识别、图像匹配、视觉跟踪、三维重建等计算机视觉问题，因此，特征点检测过程为计算机视觉技术中的基础但关键的一环。

传统的特征点检测方法均为基于人工设计检测器方法，根据对于图像理解设计出能检测符合特定要求像素点的检测器。例如Moravec算法旨在寻找沿着各个方向移动局部图像块像素变换都很大的区域，并把其中心像素作为特征点；这个方法只具备弱旋转不变性，并且在实际应用中效果不佳。Harris算法计算局部方向导数的协方差矩阵以找到图像特征变换最大和最小的方向，根据评价这两个方向的梯度值来判别是否是无纹理区域的点、边缘点或角点。但是，Harris算法对于图像尺度较敏感，在实际应用中效果不佳。LoG和DoG算法寻找局部图像区域中变换最剧烈的点作为边缘点，而这些算法的平滑去噪和边缘定位精度之间存在矛盾，需根据具体问题进行适当取舍工作。

近几年来，随着机器学习与深度学习的持续发展，越来越多基于学习的特征点检测方法被提出。然而由于特征点的特殊性，并没有出现包含特征点的真实标签的数据集。因为单靠人工无法判断对于某种具体任务而言，何种像素点才是最优特征点。其次，对于密集特征点来说，人工标注不仅费时费力，还不易操作。这就使得很多基于学习的特征点检测器都依赖人工设计检测器来生成训练数据，或是将其作为部分网络一并参与训练。而人工设计检测器性能将限制其进一步发展。

为了摆脱对传统人工设计方法的依赖性，相关技术提出基于无监督学习来进行特征点检测的方法，具体使用简单线性滤波器作为特征点检测器，并利用随机采样图像块对特征点检测器进行训练。而随机采样图像块的训练模式需要对图像块进行随机选取、定位、裁剪等步骤，数据处理繁琐，且网络架构复杂；此外，简单线性滤波器易受尺度方面影响，物体边缘部分输出响应值过于接近，不仅使得真实边缘像素点的定位精度较差，甚至造成较为严重的特征点聚集。

发明内容

本公开实施例提供了一种训练特征点检测器的计算机装置、方法及图像特征点检测方法，不仅数据处理流程简单，易于实现，而且对物体边缘更敏感，可有效缓解特征点密集选取现象，还可适用于小规模数据集应用场景。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种训练特征点检测器的计算机装置，图像变换模块、特征点检测器和模型训练模块；

所述图像变换模块用于基于图像变换操作集对输入的原始图像进行随机采样变换，得到变换图像；

所述特征点检测器包括特征提取子模块和差分计算子模块；所述特征提取子模块包括两个不同尺度的卷积核，用于分别对输入图像进行处理得到相应的响应特征图；所述差分计算子模块用于对所述特征提取子模块的各卷积核输出的响应特征图进行差分计算，以得到所述原始图像和所述变换图像的差分响应图；

所述模型训练模块用于对各差分响应图进行全局批规范化操作，并利用无监督机器学习方法训练各差分响应图以得到所述特征点检测器的网络参数。

可选的，所述模型训练模块用于基于目标损失函数训练特征点检测器，使得各差分响应图的曼哈顿距离趋近于零，所述目标损失函数

为：

式中，ω为所述特征点检测器的权重参数，

为所述图像变换操作集，t为对所述原始图像使用的图像变化操作，λ_t为调整不同图像变换造成对损失函数贡献的超参数，I_i为所述原始图像，H(I_i|ω)为所述原始图像的差分响应图，t(I_i)为所述变换图像，H(t(I_i)|ω)为所述变化图像的差分响应图，BN为批规范化操作。

可选的，所述特征提取子模块包括第一卷积核和第二卷积核；所述差分计算子模块用于根据差分响应计算关系式对响应特征图进行差分计算，所述差分响应计算关系式H(i,j)为：

式中，I为输入图像，k、l为参考像素点坐标值，H₁(i,j)为所述第一卷积核C₁输出的响应特征图，H₂(i,j)为所述第二卷积核C₂输出的响应特征图，i、j为所述输入图像的像素点的坐标值。

可选的，还包括特征选择模块；

所述特征选择模块用于利用预先构建好的特征选择器，得到所述原始图像和所述变换图像的特征点；所述特征选择器用于计算输入差分响应图中各像素点的响应值；选取前N个响应值大的像素点和前M个响应值小的像素点，生成候选特征点集；基于t邻域非极大值抑制方法从所述候选特征点集中确定最终特征点。

可选的，还包括模型训练效果度量模块；所述模型训练效果度量模块用于利用可重复率计算关系式计算所述特征点检测器的特征点可重复率r(ξ)，以作为所述特征点检测器的定量分析标准；所述可重复率计算关系式为：

式中，ξ为像素误差阈值，

n_i为

的数量，

n_j为的数量；I_i为所述原始图像，I_j为所述变换图像，I_i为所述原始图像到所述变化图像的单应矩阵，I_j为所述变化图像到所述原始图像的单应矩阵，x_i为所述原始图像的特征点，x_j为所述变换图像的特征点，

为在所述原始图像中观测到所述原始图像和所述变化图像共有区域的特征点，

为在所述原始图像中观测到所述原始图像和所述变化图像共有区域的特征点。

可选的，还包括重新训练模块，所述重新训练模块用于在所述特征点检测器的特征点可重复率不大于预设标准阈值，则重新训练所述特征点检测器。

本发明实施例还提供了一种训练特征点检测器方法，包括：

基于图像变换操作集对输入的原始图像进行随机采样变换，得到变换图像；

将所述原始图像和所述变换图像输入特征点检测器得到各自相应的差分响应图；

对各差分响应图进行全局批规范化操作；

利用无监督机器学习方法训练各差分响应图以得到所述特征点检测器的网络参数；

其中，所述特征点检测器包括差分计算子模块和特征提取子模块；所述特征提取子模块包括两个不同尺度的卷积核，用于分别对输入图像进行处理得到相应的响应特征图；所述差分计算子模块用于对所述特征提取子模块的各卷积核输出的响应特征图进行差分计算，以得到所述原始图像和所述变换图像的差分响应图。

可选的，所述利用无监督机器学习方法训练各差分响应图以得到所述特征点检测器的网络参数包括：

基于目标损失函数训练特征点检测器，使得各差分响应图的曼哈顿距离趋近于零，所述目标损失函数

为：

式中，ω为所述特征点检测器的权重参数，为所述图像变换操作集，t为对所述原始图像使用的图像变化操作，λ_t为调整不同图像变换造成对损失函数贡献的超参数，I_i为所述原始图像，H(I_i|ω)为所述原始图像的差分响应图，t(I_i)为所述变换图像，H(t(I_i)|ω)为所述变化图像的差分响应图，BN为批规范化操作。

本发明实施例另一方面提供了一种图像特征点检测，包括：

获取待测图像；

将所述待测图像输入至预先训练好的特征点检测器中，得到所述待测图像的差分响应图，以用于表征所述待测图像的各像素点的响应值；

其中，所述特征点检测器为利用如上任一项所述训练特征点检测器的计算机装置进行训练所得。

可选的，所述得到所述待测图像的差分响应图之后，还包括：

计算所述差分响应图中各像素点的响应值；

选取前N个响应值大的像素点和前M个响应值小的像素点，生成候选特征点集；

基于t邻域非极大值抑制方法从所述候选特征点集中确定最终特征点。

本申请提供的技术方案的优点在于，利用图像变换模块对单幅图像施加特定变换来进行数据增强和训练模型，只要该单幅图像包含足够丰富的图像细节信息，并且能对图像进行合理变换，便可得到性能足够好的特征点检测器，摆脱对于大规模数据集的依赖性，能够适用于小规模数据集情况；模型训练模块由于加入整体间大小的约束使得包含相同三维场景的不同图像输出的响应图更具有趋同性；利用整幅图像进行训练省略图像块随机选取、定位、裁剪等步骤，有效简化了数据预处理过程；此外，将图像整体像素点的响应值进行批规范化能消除不同图像之间光照强度等因素影响，使得图像之间的定量运算成为可能；特征点检测器使用不同尺度下卷积核输出响应图的差分来表征每个像素点响应值，利用差分响应能有效弱化尺度因素对特征点检测器的影响程度，使得网络对于物体边缘更为敏感，提高边缘点定位的精度，并可有效缓解物体边缘选取特征点的聚集现象。

此外，本发明实施例还针对训练特征点检测器的计算机装置提供了相应的训练方法及特征点检测方法，进一步使得所述计算机装置更具有可行性，所述训练方法及特征点检测具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的训练特征点检测器的计算机装置的一种具体实施方式结构图；

图2为本发明实施例提供的训练特征点检测器的原理示意图；

图3为本发明实施例提供的训练特征点检测器的计算机装置的另一种具体实施方式结构图；

图4为本发明实施例提供的一种训练特征点检测器方法的流程示意图；

图5为本发明实施例提供的一种图像特征点检测方法的流程示意图；

图6为本发明实施例提供的一种图像特征点检测方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先，请参阅图1，图1为本发明实施例提供的训练特征点检测器的计算机装置在一种具体实施方式下的结构框架示意图，可包括下述内容：

训练特征点检测器的计算机装置可包括图像变换模块1、特征点检测器2和模型训练模块3。特征点检测器的训练原理可参阅图2所示，图2中的Loss为损失函数，区别原始图像分别和各变换图像的训练过程中使用的损失函数，后边加数字进行区别，如Loss1、Loss2。

其中，图像变换模块1用于基于图像变换操作集对输入的原始图像进行随机采样变换，得到变换图像。图像变换操作集中包含多种图像变换操作，图像变化操作例如可为光照强度变化、模糊变换等，经过图像变换操作，原始图像和变换图像为包含相同三维场景的不同图像。原始图像作为训练特征点检测器的训练样本，实验结果表明即便只选用单幅图像进行训练，但只要该图像包含足够丰富的图像细节信息，便可得到性能好的特征点检测器。对原始图像施加特定变换来进行数据增强和训练网络获得该对应变换的鲁棒性，还摆脱对于大规模数据集的依赖性，适用于小规模训练数据集的场景。

针对特征点检测任务，特征点可重复性为一项重要的评判编制。当图像经过一系列图像变换操作之后，真实三维物体对应特征点如果能在各个图像中重复检测到，则说明检测算法对这些图像变换操作具有鲁棒性。为了证实图像变换模块1的可行性，原始图像的像素点集合为X，变换图像的像素点集合为Y，若存在映射关系F与操作H，对于任意x,y(x∈X，y∈Y)，使得y＝F*x和H(x)＝H(y)均成立，则称操作H能匹配X,Y中任意一对具有F关系的元素。此处，映射关系为图像变换操作，操作H为特征点检测器。也就是说，若存在两幅图像包含相同三维场景不同图像I_i，I_j，其映射关系符合单应矩阵F_ij。若存在特征点检测器H，对于图像中任意像素点x∈X,y∈Y，检测器对两像素点的响应输出均相同，则说明该特征点检测器对特征点检测任务而言是完美的，检测出特征点的可重复率达到极限值。由于加入整体间大小的约束使得包含相同三维场景的不同图像输出的响应图更具有趋同性。不仅如此，使用随机采样图像块进行训练的模式，省略图像块随机选取、定位、裁剪等步骤，简化数据处理过程，提升特征点检测器的训练效率。

在本发明实施例中，特征点检测器2可包括特征提取子模块21和差分计算子模块22，特征提取子模块21可包括两个不同尺度的卷积核。原始图像或变换图像输入至特征点检测器2中，特征提取子模块21的每个卷积核对输入图像进行卷积处理，输出相应的响应特征图；差分计算子模块22用于对特征提取子模块的各卷积核输出的响应特征图进行差分计算，以得到原始图像和变换图像的差分响应图。特征点检测器2使用不同尺度下卷积核输出响应图的差分来表征每个像素点响应值，可以解决相关技术中采用简单线性滤波器由于物体边缘部分输出响应值过于接近使得真实边缘像素点的定位精度较差、特征点聚集的现象发生。

一种实施方式中，为了得到输入图像的每个像素点响应值，可将二维卷积公式

写为离散的二维卷积形式：

H₁＝I*C₁,H₂＝I*C₂；

选取特征响应图H₁与H₂的差分作为输出，那么差分计算子模块22可采用下述公式对响应特征图进行差分计算：

式中，I为输入图像，k、l为参考像素点坐标值，H₁(i,j)为第一卷积核C₁输出的响应特征图，H₂(i,j)为第二卷积核C₂输出的响应特征图，i、j为输入图像的像素点的坐标值，在根据上述公式计算得到每个像素点差分响应值后，可将特征点检测器输2出的差分响应图简记为H(I|ω)，ω为网络参数权重。

模型训练模块3用于对各差分响应图进行全局批规范化操作，并利用无监督机器学习方法训练各差分响应图以得到特征点检测器的网络参数。可使用任何一种无监督机器学习算法训练网络，例如可采用PyTorch深度学习框架来训练特征点检测器网络。

可以理解的是，由于相机参数和噪声等原因，让所有像素点都能正确匹配基本不可能实现。本申请考虑研究每个像素点在其图像中所处于的关系，试图辨别其在整体图像中的“大致重要性”。期望训练得到特征点检测器2，对每个由像素点为中心构成的图像块输出响应值来评判该像素点的“重要程度”，对于两幅包含相同三维场景的不同图像来说，要求匹配的点所输出响应值应是大小相近。而本申请所提出方法并不是直接要求匹配点输出的响应值相近，而是先对图像整体响应值做全局批规范化，使处理后的响应数据接近符合均值为0、方差为1的分布情况。该操作可消除整体光照强度等因素对单体图像影响，为不同图像能进行定量比较构建桥梁。如果对于包含同一场景的不同图像响应分布越相近，则说明这些图像之间包含变换关系对该特征点检测网络的干扰影响越小，代表特征点检测网络对于这些图像变换的鲁棒性越好。

在本发明实施例中，利用特征点检测器H2对两幅图像输出得到两幅差分响应图H(I_i|ω)和H(I_j|ω)。对于特征点检测任务，希望特征点检测器H2使得H(I_i|ω)与H(I_j|ω)的曼哈顿距离趋近于零。因此，训练特征点检测器H2的损失函数

可为：

式中，ω为特征点检测器的权重参数，为图像变换操作集，t为对原始图像使用的图像变化操作，λ_t为调整不同图像变换造成对损失函数贡献的超参数，I_i为原始图像，H(I_i|ω)为原始图像的差分响应图，t(I_i)为变换图像，H(t(I_i)|ω)为变化图像的差分响应图，BN为批规范化操作。可选的，全局批规范化操作可根据下述已有方法进行实现：

输入：X＝{x₁,...,x_m}，超参数γ,β；

1：

2：

3：

4：

输出：{y_i＝BN_γ,β(x_i)}。

需要说明的是，上述全局批规范化操作中涉及的各个步骤以及相应实现方法可参阅相关技术中记载的内容，此处便不再赘述。

可以理解的是，训练特征点检测器2的训练样本数据越多，本申请中训练样本数据为原始图像和变化图像，特征点检测器2的性能越好，相对的，训练时间越长。如图2所示，在模型训练模块3基于原始图像的差分响应图和变换图像的差分响应图训练特征点检测器的过程中，可仅仅使用一种变换图像，也可使用多种变换图像，为了兼顾特征点检测器2的性能和训练时间，本领域技术人员可根据实际应用场景进行确定，本申请对得到变换图像的变换操作和变换图像个数的选择均不做任何限定。

在本发明实施例提供的技术方案中，利用图像变换模块对单幅图像施加特定变换来进行数据增强和训练模型，只要该单幅图像包含足够丰富的图像细节信息，并且能对图像进行合理变换，便可得到性能足够好的特征点检测器，摆脱对于大规模数据集的依赖性，能够适用于小规模数据集情况；模型训练模块由于加入整体间大小的约束使得包含相同三维场景的不同图像输出的响应图更具有趋同性；利用整幅图像进行训练省略图像块随机选取、定位、裁剪等步骤，有效简化了数据预处理过程；此外，将图像整体像素点的响应值进行批规范化能消除不同图像之间光照强度等因素影响，使得图像之间的定量运算成为可能；特征点检测器使用不同尺度下卷积核输出响应图的差分来表征每个像素点响应值，利用差分响应能有效弱化尺度因素对特征点检测器的影响程度，使得网络对于物体边缘更为敏感，提高边缘点定位的精度，并可有效缓解物体边缘选取特征点的聚集现象。

在训练得到特征点检测器2之后，还可进一步对特征点进行提取，请参阅图3所示，所述装置例如还包括特征选择模块4。特征选择模块4可用于利用预先构建好的特征选择器，得到原始图像和变换图像的特征点；特征选择器用于计算输入差分响应图中各像素点的响应值；选取前N个响应值大的像素点和前M个响应值小的像素点，生成候选特征点集；基于t邻域非极大值抑制方法从候选特征点集中确定最终特征点。也就是说，在使用特征点检测器2生成输入图像的差分响应图后，可利用基于t邻域非极大值抑制方法的特征选择模块4为输入图像选择特征点，具体的，首先可对输入图像的每个像素点进行响应值计算，然后同时按照从大到小和从小到大的顺序依次选取响应图中N个响应值最高的点和N个响应值最低的点作为特征点。对于每个候选像素点，会迭代检查其附近t像素邻域内是否存在已选择特征点，若存在则舍弃该像素点。

作为一种优选的实施方式，本申请在训练好特征检测器2后，为了检验训练的特征检测器2的性能，基于上述实施例，所述计算机装置例如还可包括模型训练效果度量模块5。模型训练效果度量模块5可用于利用可重复率计算关系式计算特征点检测器的特征点可重复率r(ξ)，以作为特征点检测器的定量分析标准；可重复率计算关系式可为：

式中，ξ为像素误差阈值，

n_i为

的数量，

n_j为

的数量；I_i为原始图像，I_j为变换图像，I_i为原始图像到变化图像的单应矩阵，I_j为变化图像到原始图像的单应矩阵，x_i为原始图像的特征点，x_j为变换图像的特征点，

为在原始图像中观测到原始图像和变化图像共有区域的特征点，为在原始图像中观测到原始图像和变化图像共有区域的特征点。

还需要说明的是，只考虑重复率作为评判特征点检测器性能的标准也有不足之处。假设某些检测器对图像像素点的亮度敏感，从而使得选择的特征点聚集在一片黑暗或者明亮的区域，即便这些区域是图像中无纹理的地方。在这种情况下，特征点的重复率可以很高，然而选择出来的特征点对其他任务毫无意义。所以，本领域技术人员可根据实际应用场景确定特征点检测器性能的评判标准。

相应的，在利用模型训练效果度量模块5判断训练的特征点检测器2的性能不佳时，还可包括重新训练模块6，重新训练模块用于在特征点检测器的特征点可重复率不大于预设标准阈值，则重新训练特征点检测器。预设标准阈值可根据实际应用场景和用户需求精度进行确定，这均不影响本申请的实现，例如可为98％。

为了证实本申请提供的技术方案的有效性，本申请还进行了一系列的验证性实验，具体可包括下述内容：

本申请使用自于牛津大学的Oxford VGG数据库的LEUVEN数据集、TREES数据集和UBC数据集来进行模型的训练和测试分析，并采用特征点可重复率作为特征点检测的定量分析标准。每个数据集分别包含六张具有不同光照强度/模糊程度/压缩程度的图像，并提供了图像之间的单应性矩阵。由单应矩阵可计算出不同图像之间每个像素点的匹配关系，进而可以计算特征点的重复率指标。

本申请使用PyTorch深度学习框架来训练特征点检测网络。仅选取LEUVEN数据集中一张细节信息最完备的图像作为训练集。选取LEUVEN数据集、TREES数据集和UBC数据集的全部图像作为测试集。本申请选择常用DoG检测器和无监督的Quad-Network网络作为对比方法。然而Quad-Network的源代码未公开，为了公平比较，可使用Quad-Network的训练方式和损失函数替换本方法网络相对应的部分，并使用相同的训练数据、相同的图像变换和相同的数据增强操作。

在具体训练过程中，本发明实施例可使用Adam算法进行网络权重的优化，设置学习率为0.01，batch size为8，权重衰减系数为0.0001。使用5像素误差阈值来计算特征点的重复率，各实验的特征点可重复率数据可如表1所示：

根据表1，DoG算法、Quad-Network和本申请技术方案在LEUVEN数据集上选择的特征点和相应的候选点/响应图，所输出的响应图均归一化到0至255的范围并采用灰度图的方式进行可视化以及三种方法分别在TREES和UBC数据集上选择的特征点的结果可知，传统DoG方法只有在LEUVEN数据集上的定量性能要比Quad-Network和本申请效果要好。但DoG方法选择的特征点有很大部分聚集在树荫的区域。然而该区域中点的位置难以辨认与定位，该类型的像素点并非最优特征点，在特征点检测任务中被认为是难样本。这是由于DoG方法总是选择图像离散函数二阶导数为零的点，即局部变换最剧烈的点，但在全局中该类型的点可能并非最优特征点。在LEUVEN数据集中还存在着大量例如边缘点、角点等更容易定位与匹配的像素点，而DoG算法并没有优先选择该类像素点。Quad-Network方法对物体的边缘不够敏感，在边缘的响应值大小非常接近，出现特征点聚集的情况。这种情况在所测试的三个数据集上都存在。此外，Quad-Network输出的响应图模糊现象及边缘点的积聚现象较为严重。虽然Quad-Network在UBC数据集上取得最高的重复率，但是结合对特征响应图分析，Quad-Network可能会选取远离图像中复杂纹理的像素点并认为其与所处在复杂纹理的像素点具有相似的性能表现。这种特征点的选取策略可能会对后续任务的性能有所损害，例如图像描述子生成任务等。与DoG方法比较，本申请在TREES数据集和UBC数据集中取得的重复率均高于前者。虽然在LEUVEN数据集上的重复率指标与前者相比较低，但缓解了DoG方法优先选择难样本的问题。与Quad-Network方法相比，本申请所提出的方法在LEUVEN和TREES数据集上特征点的重复率均优于前者。由于使用了不同于Quad-Network的训练模式与损失函数，本申请不仅省去了随机采样和裁剪图像块的操作，使得训练时间更短，而且还生成了对物体边缘更为敏感，细节更为清晰的特征响应图。

综上，在分别对应光照强度变换、模糊变换和JPEG压缩变换的三个数据集的测试上，本申请技术方案在三种方法中表现出最优综合性能。本申请提出基于差分响应图的无监督特征点检测网络，与传统的特征点检测网络相比，使用了不同尺度的线性卷积核的差分响应而不是深度的卷积层来提取图像的特征。该方法能对物体的边缘更加敏感，并且缓解了特征点密集选取的问题。其次，本申请提出使用图像变换来生成匹配特征点的方法使得该网络的训练能够基于少部分图像进行，适用于小规模的数据集。验证性实验表明本申请是高效的特征点检测方法，在具体的数据集上有着很好的性能表现。

本发明实施例还针对训练特征点检测器的计算机装置提供了相应的实现方法，进一步使得所述计算机装置更具有可行性。下面对本发明实施例提供的训练特征点检测器方法进行介绍，下文描述的训练特征点检测器方法与上文描述的训练特征点检测器的计算机装置可相互对应参照。

首先参见图4，图4为本发明实施例提供的一种训练特征点检测器方法的流程示意图，本发明实施例可包括以下内容：

S401：基于图像变换操作集对输入的原始图像进行随机采样变换，得到变换图像。

S402：将原始图像和变换图像输入特征点检测器得到各自相应的差分响应图。

S403：对各差分响应图进行全局批规范化操作。

S404：利用无监督机器学习方法训练各差分响应图以得到特征点检测器的网络参数。

其中，特征点检测器包括差分计算子模块和特征提取子模块；特征提取子模块包括两个不同尺度的卷积核，用于分别对输入图像进行处理得到相应的响应特征图；差分计算子模块用于对特征提取子模块的各卷积核输出的响应特征图进行差分计算，以得到原始图像和变换图像的差分响应图。

可选的，利用无监督机器学习方法训练各差分响应图以得到特征点检测器的网络参数包括：

基于目标损失函数训练特征点检测器，使得各差分响应图的曼哈顿距离趋近于零，目标损失函数

为：

式中，ω为特征点检测器的权重参数，

为图像变换操作集，t为对原始图像使用的图像变化操作，λ_t为调整不同图像变换造成对损失函数贡献的超参数，I_i为原始图像，H(I_i|ω)为原始图像的差分响应图，t(I_i)为变换图像，H(t(I_i)|ω)为变化图像的差分响应图，BN为批规范化操作。

作为一种可选的实施方式，在S404之后，还可包括：

计算差分响应图中各像素点的响应值；

选取前N个响应值大的像素点和前M个响应值小的像素点，生成候选特征点集；

基于t邻域非极大值抑制方法从候选特征点集中确定最终特征点。

利用可重复率计算关系式计算特征点可重复率r(ξ)，以作为特征点检测器的定量分析标准；可重复率计算关系式为：

式中，ξ为像素误差阈值， n_i为

的数量，

n_j为

的数量；I_i为原始图像，I_j为变换图像，I_i为原始图像到变化图像的单应矩阵，I_j为变化图像到原始图像的单应矩阵，x_i为原始图像的特征点，x_j为变换图像的特征点，为在原始图像中观测到原始图像和变化图像共有区域的特征点，

为在原始图像中观测到原始图像和变化图像共有区域的特征点。

判断特征点检测器的特征点可重复率是否不大于预设标准阈值，若是，则重新训练特征点检测器。

由于本发明实施例与上述计算机装置内的各单元之间的信息交互、执行过程等内容基于同一构思，本发明实施例的各方法或步骤的具体内容可参见上述装置实施例中的叙述，此处，便不再赘述。

由上可知，本发明实施例不仅数据处理流程简单，易于实现，而且对物体边缘更敏感，可有效缓解特征点密集选取现象，还可适用于小规模数据集应用场景。

最后，本申请还提供一个实施例，请参阅图5，图5为本发明实施例提供的一种图像特征点检测方法的流程示意图，可包括：

S501：获取待测图像。

S502：将待测图像输入至预先训练好的特征点检测器中，得到待测图像的差分响应图，以用于表征待测图像的各像素点的响应值。

其中，特征点检测器为可利用如上任一个训练特征点检测器的计算机装置的实施例进行训练所得。

可选的，在本实施例的一些实施方式中，请参阅图6，在S502之后，还可将差分响应图输入至预先构建好的特征选择器，得到待测图像的特征点。其中，特征选择器具体可用于计算差分响应图中各像素点的响应值；选取前N个响应值大的像素点和前M个响应值小的像素点，生成候选特征点集；基于t邻域非极大值抑制方法从所述候选特征点集中确定最终特征点。

由于本发明实施例与上述计算机装置内的各单元之间的信息交互、执行过程等内容基于同一构思，本发明实施例的各方法或步骤的具体内容可参见上述装置实施例中的叙述，此处，便不再赘述。

由上可知，本发明实施例不仅数据处理流程简单，易于实现，而且对物体边缘更敏感，可有效缓解特征点密集选取现象，还可适用于小规模数据集应用场景。

本发明实施例还提供了一种图像特征点检测设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述图像特征点检测方法的步骤。

本发明实施例所述图像特征点检测设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本发明实施例还提供了一种计算机可读存储介质，存储有图像特征点检测程序，所述图像特征点检测程序被处理器执行时如上任意一实施例所述图像特征点检测方法的步骤。该存储介质可以为U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种训练特征点检测器的计算机装置、方法及图像特征点检测方法进行了详细介绍。本文中应用了具体个例对本公开原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本公开进行若干改进和修饰，这些改进和修饰也落入本公开权利要求的保护范围内。

Claims (10)

1.一种训练特征点检测器的计算机装置，其特征在于，包括图像变换模块、特征点检测器和模型训练模块；

所述图像变换模块用于基于图像变换操作集对输入的原始图像进行随机采样变换，得到变换图像；

所述特征点检测器包括特征提取子模块和差分计算子模块；所述特征提取子模块包括两个不同尺度的卷积核，用于分别对输入图像进行处理得到相应的响应特征图；所述差分计算子模块用于对所述特征提取子模块的各卷积核输出的响应特征图进行差分计算，以得到所述原始图像和所述变换图像的差分响应图；

所述模型训练模块用于对各差分响应图进行全局批规范化操作，并利用无监督机器学习方法训练各差分响应图以得到所述特征点检测器的网络参数。

2.根据权利要求1所述的训练特征点检测器的计算机装置，其特征在于，所述模型训练模块用于基于目标损失函数训练特征点检测器，使得各差分响应图的曼哈顿距离趋近于零，所述目标损失函数

为：

式中，ω为所述特征点检测器的权重参数，

为所述图像变换操作集，t为对所述原始图像使用的图像变化操作，λ_t为调整不同图像变换造成对损失函数贡献的超参数，I_i为所述原始图像，H(I_i|ω)为所述原始图像的差分响应图，t(I_i)为所述变换图像，H(t(I_i)|ω)为所述变化图像的差分响应图，BN为批规范化操作。

3.根据权利要求1所述的训练特征点检测器的计算机装置，其特征在于，所述特征提取子模块包括第一卷积核和第二卷积核；所述差分计算子模块用于根据差分响应计算关系式对响应特征图进行差分计算，所述差分响应计算关系式H(i,j)为：

式中，

I为输入图像，k、l为参考像素点坐标值，H₁(i,j)为所述第一卷积核C₁输出的响应特征图，H₂(i,j)为所述第二卷积核C₂输出的响应特征图，i、j为所述输入图像的像素点的坐标值。

4.根据权利要求1-3任意一项所述的训练特征点检测器的计算机装置，其特征在于，还包括特征选择模块；

所述特征选择模块用于利用预先构建好的特征选择器，得到所述原始图像和所述变换图像的特征点；所述特征选择器用于计算输入的差分响应图中各像素点的响应值；选取前N个响应值大的像素点和前M个响应值小的像素点，生成候选特征点集；基于t邻域非极大值抑制方法从所述候选特征点集中确定最终特征点。

5.根据权利要求4所述的训练特征点检测器的计算机装置，其特征在于，还包括模型训练效果度量模块；所述模型训练效果度量模块用于利用可重复率计算关系式计算所述特征点检测器的特征点可重复率r(ξ)，以作为所述特征点检测器的定量分析标准；所述可重复率计算关系式为：

式中，ξ为像素误差阈值，

n_i为

的数量，n_j为

的数量；I_i为所述原始图像，I_j为所述变换图像，I_i为所述原始图像到所述变化图像的单应矩阵，I_j为所述变化图像到所述原始图像的单应矩阵，x_i为所述原始图像的特征点，x_j为所述变换图像的特征点，

为在所述原始图像中观测到所述原始图像和所述变化图像共有区域的特征点，

为在所述原始图像中观测到所述原始图像和所述变化图像共有区域的特征点。

6.根据权利要求5所述的训练特征点检测器的计算机装置，其特征在于，还包括重新训练模块，所述重新训练模块用于在所述特征点检测器的特征点可重复率不大于预设标准阈值，则重新训练所述特征点检测器。

7.一种训练特征点检测器方法，其特征在于，包括：

基于图像变换操作集对输入的原始图像进行随机采样变换，得到变换图像；

将所述原始图像和所述变换图像输入特征点检测器中，得到各自相应的差分响应图；

对各差分响应图进行全局批规范化操作；

利用无监督机器学习方法训练各差分响应图以得到所述特征点检测器的网络参数；

其中，所述特征点检测器包括差分计算子模块和特征提取子模块；所述特征提取子模块包括两个不同尺度的卷积核，用于分别对输入图像进行处理得到相应的响应特征图；所述差分计算子模块用于对所述特征提取子模块的各卷积核输出的响应特征图进行差分计算，以得到所述原始图像和所述变换图像的差分响应图。

8.根据权利要求7所述的训练特征点检测器方法，其特征在于，所述利用无监督机器学习方法训练各差分响应图以得到所述特征点检测器的网络参数包括：

基于目标损失函数训练特征点检测器，使得各差分响应图的曼哈顿距离趋近于零，所述目标损失函数

为：

式中，ω为所述特征点检测器的权重参数，

为所述图像变换操作集，t为对所述原始图像使用的图像变化操作，λ_t为调整不同图像变换造成对损失函数贡献的超参数，I_i为所述原始图像，H(I_i|ω)为所述原始图像的差分响应图，t(I_i)为所述变换图像，H(t(I_i)|ω)为所述变化图像的差分响应图，BN为批规范化操作。

9.一种图像特征点检测方法，其特征在于，包括：

获取待测图像；

将所述待测图像输入至预先训练好的特征点检测器中，得到所述待测图像的差分响应图，以用于表征所述待测图像的各像素点的响应值；

其中，所述特征点检测器为利用如权利要求1至6任一项所述训练特征点检测器的计算机装置进行训练所得。

10.根据权利要求9所述的图像特征点检测方法，其特征在于，所述得到所述待测图像的差分响应图之后，还包括：

计算所述差分响应图中各像素点的响应值；

选取前N个响应值大的像素点和前M个响应值小的像素点，生成候选特征点集；

基于t邻域非极大值抑制方法从所述候选特征点集中确定最终特征点。

Images