CN113095333A - 无监督特征点检测方法及装置 - Google Patents

Abstract

本发明提供一种无监督特征点检测方法及装置，该方法包括：利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值；根据多次训练结果，得到损失函数最小时的编码器网络；基于训练后的编码器网络，确定待检测图像的K个特征点位置。该方法无需手工标注特征点位置来进行有监督学习，可有效避免人工标注的人力成本和人工标注带来的主观错误，同时能够提高检测效率。

Description

无监督特征点检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种无监督特征点检测方法及装置。

背景技术

在图像处理和与计算机视觉领域，兴趣点(interest points)，也被称作关键点(key points)、特征点(feature points)。它被大量用于解决物体识别、图像识别、图像匹配、视觉跟踪、三维重建等一系列的问题。我们不再观察整幅图，而是选择某些特殊的点，然后对它们进行局部有的放矢分析。

随着应用领域对特征检测算法实时性，精确性和鲁棒性要求的日益提高，传统的特征检测算法如以角点检测算子为主的Harris检测算子和SIFT等多尺度人工定义的特征以及无法满足应用需求。近年来，随着深度学习技术的发展，基于深度学习的特征点检测和匹配算法发展迅速。相对于传统算法中人工设计的特征算子，基于深度学习的方法可以更加直观、稳定地提取出图像中的有效信息，减少特征数量，提高特征鲁棒性。基于深度学习的特征点检测算法应用广泛，但是仍存在一些问题，如需要手工标注特征点位置来进行有监督学习，耗费大量人力。

发明内容

针对现有技术存在的问题，本发明提供一种无监督特征点检测方法及装置。

本发明提供一种无监督特征点检测方法，包括：利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值；根据多次训练结果，得到损失函数最小时的编码器网络；基于训练后的编码器网络，确定待检测图像的K个特征点位置。

根据本发明一个实施例的无监督特征点检测方法，所述对所述概率分布图求解质心，包括：

其中，

为空间归一化因子，W′，H′分别为概率分布图宽和高，d_k，i，j为概率分布图的特征值。

根据本发明一个实施例的无监督特征点检测方法，所述基于所述质心对概率分布图进行高斯重构，包括：

其中，δ为预设的标准差，x_k和y_k为质心坐标，u_k，i，j和v_k，i，j分别为概率分布图的坐标。

根据本发明一个实施例的无监督特征点检测方法，所述预设损失函数为：

L＝ω₁L_self+ω₁L_norm；

其中，ω₁和ω₁为两个约束函数之间调节的权重，I为输入编码器网络之前的图像，I′为解码器网络输出的图像。

根据本发明一个实施例的无监督特征点检测方法，所述编码器网络和所述解码器网络为对应的卷积神经网络。

根据本发明一个实施例的无监督特征点检测方法，所述方法还包括：根据所述特征点位置概率分布图和高斯重构后特征图，确定待检测图像的特征点检测置信度。

根据本发明一个实施例的无监督特征点检测方法，所述根据所述特征点位置概率分布图和高斯重构后特征图，确定待检测图像的特征点检测置信度，包括：

a_k＝exp(-ω₃||d_k-g_k||²；

其中，a_k为第k个特征点的置信度，ω₃为预设权重，d_k和g_k分别为特征点在概率分布图和高斯重构后特征图的特征值。

本发明还提供一种无监督特征点检测装置，包括：特征提取模块，用于利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；高斯重构模块，用于对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；无监督训练模块，用于将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值，根据多次训练结果，得到损失函数最小时的编码器网络；特征点检测模块，用于基于训练后的编码器网络，确定待检测图像的K个特征点位置。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述无监督特征点检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述无监督特征点检测方法的步骤。

本发明提供的无监督特征点检测方法及装置，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值，无需手工标注特征点位置来进行有监督学习，可有效避免人工标注的人力成本和人工标注带来的主观错误，同时能够提高检测效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的无监督特征点检测方法的流程示意图；

图2是本发明提供的无监督特征点检测装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一

无监督学习：根据目标未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

特征点：图像中感兴趣的点，通常是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)，如SIFT特征点，ORB特征点以及具有语义信息的结构点；

特征点检测：通过特定算法检测、提取图像中特征点的过程；

置信度：可靠程度，置信水平，表示某一参数的真实值落在预测值上的概率。

下面结合图1-图3描述本发明的无监督特征点检测方法及装置。图1是本发明提供的无监督特征点检测方法的流程示意图，如图1所示，本发明提供无监督特征点检测方法，包括：

101、利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图。

本发明中的训练图像为通过目标检测算法或已有数据集获得同一类别不同实例图像，裁剪到固定大小，并通过随机旋转和颜色变换进行数据增强以提高算法对旋转，光照变化的鲁棒性。编码器网络，即特征提取网络，不限于任何网络结构，可为全卷积网络。在本实施例中可采用减少网络参数的HR-Net提取特征。

处理后的输入图像

送入全卷积图像编码网络H，通过不同尺度，全局和局部的图像特征提取融合，最终生成K个通道的初始特征点位置概率分布图

其中K为预先设置的特征点数目，W′和H′分别为输出概率图的宽和长。由于单个特征点在图像上的位置分布概率总和应为1，则通过特征提取网络预测的初始概率分布图Q需要进行进一步的归一化得到最终特征点位置概率分布图

其中：

102、对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构。

该步骤通过预测的特征点位置概率分布图进行高斯重构，生成特征点位置的高斯概率分布图。该步骤主要为了去掉特征提取网络生成的位置概率分布图D中可能存在的颜色等外观信息，仅保留有效的位置信息。求解质心主要获得高斯重构中的目标中心位置，以使得重构的高斯概率分布与原始的特征点位置概率分布尽可能一致。由于最大值函数无法计算梯度，以进行反向传播训练，质心计算可作为最大值函数的有效近似。

103、将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值；根据多次训练结果，得到损失函数最小时的编码器网络。

将高斯重构后的概率分布图送入生成网络，通过自监督约束训练网络实现无监督特征点检测。解码器网络为生成网络，相应地生成网络可为全卷积神经网络，输入为高斯概率分布图G，输出为生成得到输出图像

生成网络结构没有明确要求，采用与图像编码网络对应结构的网络作为生成网络。

为了使得完整算法可以在无监督情况下端到端训练，预设置损失函数进行约束。可采用两个约束函数，一个根据输入图像和输出图像确定，另一个根据概率分布图和高斯重构后特征图确定，两个约束函数之间通过加权得到损失函数。在损失函数的约束下进行无监督训练，最终得到训练后的编码器网络。

104、基于训练后的编码器网络，确定待检测图像的K个特征点位置。

对于待检测图像，输入训练后的编码器网络，便可得到对应的K个通道的特征图，对每个特征图找出最大值，可得到对应的K个特征点位置。

本发明实施例的无监督特征点检测方法，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值，无需手工标注特征点位置来进行有监督学习，可有效避免人工标注的人力成本和人工标注带来的主观错误，同时能够提高检测效率。

在一个实施例中，所述对所述概率分布图求解质心，包括：

其中，

为空间归一化因子，W′，H′分别为概率分布图宽和高，d_k，i，j为概率分布图的特征值。

在一个实施例中，所述基于所述质心对概率分布图进行高斯重构，包括：

其中，δ为预设的标准差，x_k和y_k为质心坐标，u_k，i，j和v_k，i，j分别为概率分布图的坐标。

对于每个特征点位置概率分布的质心m_k，以该质心位置作为二维高斯函数的中心位置，构建标准差为δ的高斯概率分布函数

标准差δ值可手工设置，该值决定特征点分布的聚集程度和特征匹配的接受域大小。其中δ越小，特征点概率分布越聚集，越精确，但特征匹配的接受域越小，匹配的可靠性越低。可通过特征点数目以选择合适的δ值大小。

在一个实施例中，所述预设损失函数为：

L＝ω₁L_self+ω₁L_norm；

其中，ω₁和ω₁为两个约束函数之间调节的权重，I为输入编码器网络之前的图像，I′为解码器网络输出的图像。

两个约束函数，为自监督约束Loss函数L_self和正则化约束Loss函数L_norm。通过该两个约束函数共同约束网络训练，以完成合理的特征点检测和有效的特征点匹配目标。可更改图像编码网络和生成网络结构，如修改约束函数中的2-范式为1-范式等。

在一个实施例中，所述编码器网络和所述解码器网络为对应的卷积神经网络。本发明对解码器网络结构没有明确限定，可采用与图像编码网络相应结构的网络作为生成网络。例如，图像编码网络为输入W×H图像，输出W′×H′特征图的卷积网络，则解码器网络为输入W′×H′高斯重构后特征图，输出W×H图像的卷积网络。

在一个实施例中，所述方法还包括：根据所述特征点位置概率分布图和高斯重构后特征图，确定待检测图像的特征点检测置信度。

该步骤主要实现无监督特征点检测的置信度量化。在目前的无监督特征点检测中，由于没有训练目标，难以实现单个无监督检测特征点可靠性的评估。本发明提出一种置信求解方法，以实现无监督特征点检测的置信度量化。具体方法为：通过特征提取网络获得的特征点位置概率图D和进行高斯重构的概率图G之间相似性最终构建特征点检测置信度

在一个实施例中，所述根据所述特征点位置概率分布图和高斯重构后特征图，确定待检测图像的特征点检测置信度，包括：

a_k＝exp(-ω₃||d_k-g_k||²；

其中，a_k为第k个特征点的置信度，ω₃为预设权重，d_k和g_k分别为特征点在概率分布图和高斯重构后特征图的特征值。

经实验验证，对于语义特征或梯度特征明显位置的检测特征点，上述置信度越高，对于遮挡区域的特征点检测置信度更低。

特征点数目K可以手工设置，物体也可以为任何类别，即使在没有任何监督的情况下，检测到的特征点仍具有有效的语义信息，如眉毛，鼻子和嘴角，并能够有效实现跨实例一致性。

下面对本发明提供的无监督特征点检测装置进行描述，下文描述的无监督特征点检测装置与上文描述的无监督特征点检测方法可相互对应参照。

图2是本发明提供的无监督特征点检测装置的结构示意图，如图2所示，该无监督特征点检测装置包括：特征提取模块201、高斯重构模块202、无监督训练模块203和特征点检测模块204。其中，特征提取模块201用于利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；高斯重构模块202用于对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；无监督训练模块203用于将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值，根据多次训练结果，得到损失函数最小时的编码器网络；特征点检测模块204用于基于训练后的编码器网络，确定待检测图像的K个特征点位置。

本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。

本发明实施例提供的无监督特征点检测装置，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值，无需手工标注特征点位置来进行有监督学习，可有效避免人工标注的人力成本和人工标注带来的主观错误，同时能够提高检测效率。

图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行无监督特征点检测方法，该方法包括：利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值；根据多次训练结果，得到损失函数最小时的编码器网络；基于训练后的编码器网络，确定待检测图像的K个特征点位置。

此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的无监督特征点检测方法，该方法包括：利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值；根据多次训练结果，得到损失函数最小时的编码器网络；基于训练后的编码器网络，确定待检测图像的K个特征点位置。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的无监督特征点检测方法，该方法包括：利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值；根据多次训练结果，得到损失函数最小时的编码器网络；基于训练后的编码器网络，确定待检测图像的K个特征点位置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种无监督特征点检测方法，其特征在于，包括：

利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；

对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；

将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值；根据多次训练结果，得到损失函数最小时的编码器网络；

基于训练后的编码器网络，确定待检测图像的K个特征点位置。

2.根据权利要求1所述的无监督特征点检测方法，其特征在于，所述对所述概率分布图求解质心，包括：

其中，

为空间归一化因子，W′,H′分别为概率分布图宽和高，d_k,i,j为概率分布图的特征值。

3.根据权利要求1所述的无监督特征点检测方法，其特征在于，所述基于所述质心对概率分布图进行高斯重构，包括：

其中，δ为预设的标准差，x_k和y_k为质心坐标，u_k,i,j和v_k,i,j分别为概率分布图的坐标。

4.根据权利要求1所述的无监督特征点检测方法，其特征在于，所述预设损失函数为：

L＝ω₁L_self+ω₁L_norm；

其中，ω₁和ω₁为两个约束函数之间调节的权重，I为输入编码器网络之前的图像，I′为解码器网络输出的图像。

5.根据权利要求1所述的无监督特征点检测方法，其特征在于，所述编码器网络和所述解码器网络为对应的卷积神经网络。

6.根据权利要求1所述的无监督特征点检测方法，其特征在于，所述方法还包括：根据所述特征点位置概率分布图和高斯重构后特征图，确定待检测图像的特征点检测置信度。

7.根据权利要求6所述的无监督特征点检测方法，其特征在于，所述根据所述特征点位置概率分布图和高斯重构后特征图，确定待检测图像的特征点检测置信度，包括：

a_k＝exp(-ω₃‖d_k-g_k‖²；

其中，a_k为第k个特征点的置信度，ω₃为预设权重，d_k和g_k分别为特征点在概率分布图和高斯重构后特征图的特征值。

8.一种无监督特征点检测装置，其特征在于，包括：

特征提取模块，用于利用编码器网络对训练图像提取特征，得到K个通道的特征图，归一化后生成特征点位置概率分布图；

高斯重构模块，用于对所述概率分布图求解质心后，基于所述质心对概率分布图进行高斯重构；

无监督训练模块，用于将高斯重构后特征图，输入解码器网络得到输出图像，根据输入图像、输出图像、概率分布图和高斯重构后特征图，确定预设损失函数的损失值，根据多次训练结果，得到损失函数最小时的编码器网络；

特征点检测模块，用于基于训练后的编码器网络，确定待检测图像的K个特征点位置。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述无监督特征点检测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述无监督特征点检测方法的步骤。

Images