CN113688842B - 一种基于解耦合的局部图像特征提取方法 - Google Patents

Abstract

本发明涉及图像特征提取技术领域，特别是指一种基于解耦合的局部图像特征提取方法，方法包括：获取待提取图像；将图像输入到训练好的局部图像特征提取模型中，局部图像特征提取模型包括特征编码器网络FE和局部图像特征点和描述子提取网络E；基于图像以及特征编码器网络FE和局部图像特征点和描述子提取网络E，得到图像的特征点和描述子，完成对图像的特征提取。本发明是一种分解本质信息和外部环境因素特征的深度解耦合学习的局部图像特征提取与匹配的方法，从而在根本上解决复杂图像变化条件下的图像特征匹配问题。

Description

一种基于解耦合的局部图像特征提取方法

技术领域

本发明涉及图像特征提取技术领域，特别是指一种基于解耦合的局部图像特征提取方法。

背景技术

图像特征提取与匹配是计算机视觉和图像处理领域中的研究重点。在过去的几十年里，基于手工设计的图像特征提取与匹配方法取得了巨大的成功，在目标检测、图像匹配、三维重建、图像检索等任务中有着不错的表现，其中最具有代表性的是SIFT算法。SIFT算法通过引入尺度空间的信息，构建图像金字塔，并在该图像空间上进行特征点检测，然后在检测到的特征点的邻域空间内计算相应的描述子，从而使特征具备尺度不变性。在SIFT算法的基础上，涌现出了许多相应的改进算法，如ASIFT，SURF，BRIEF，ORB等，这些算法在传统的计算机视觉任务中也取得了不错的效果。以SIFT算法为代表的图像特征计算速度快、具备一定的尺度不变性和光照不变性，但是在剧烈光照变化和尺度变化下表现仍然差强人意。

近年来，基于深度学习的图像特征提取与匹配方法逐渐兴起，并在各种计算机视觉任务中超过了基于手工设计的方法。基于深度学习的图像特征提取与匹配方法主要分为基于块匹配的方法和检测描述子联合训练的方法，基于块匹配的方法如L2-Net、LF-Net、HardNet、SOSNet等沿袭基于手工设计的方法，在特征点的邻域范围内计算描述子；基于特征检测与描述联合训练的方法如LIFT、SuperPoint、D2-Net、R2D2、ASLFeat等，使用全卷积网络提取稠密特征描述子。目前这些基于深度学习的方法切实解决了很多计算机视觉中的问题，但是这些方法在处理复杂光照、图像变换等条件下的图像匹配问题时，不能获得高质量的特征点匹配，归根结底在于特征点检测和描述均从原始的图像出发，里面包含过多的由于成像条件引起的干扰因素，给后续的鲁棒特征提取带来了挑战。

发明内容

本发明实施例提供了一种基于解耦合的局部图像特征提取方法。所述技术方案如下：

获取待提取图像；

将所述图像输入到训练好的局部图像特征提取模型中，所述局部图像特征提取模型包括特征编码器网络FE和局部图像特征点和描述子提取网络E；

基于所述图像以及所述特征编码器网络FE和所述局部图像特征点和描述子提取网络E，得到所述图像的特征点和描述子，完成对所述图像的特征提取。

可选地，所述特征编码器网络FE和所述局部图像特征点和描述子提取网络E的训练过程包括：

S201、获取用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，根据所述深度图和内外参获得所述图像对I₁、I₂之间的像素对应关系C；

S202、根据所述图像对I₁、I₂，获得所述图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂；

S203、根据所述图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂，获得重构图像G₁₁、G₂₂；

S204、根据所述图像对的本质信息特征图A₁、A₂，获得所述图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，将所述特征分数大于0.5的位置标记为特征点；

S205、根据所述图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，设计图像特征提取与匹配损失函数L_m；

S206、根据所述图像对I₁、I₂和所述重构图像G₁₁、G₂₂，设计图像重建损失函数L_p；

S207、将所述图像特征提取与匹配损失函数L_m和所述图像重建损失函数L_p按不同权重λ结合，得到总体目标损失函数L_tot，给定初始学习率为1e-2，对所述总体目标损失函数L_tot进行训练，直到相邻两次迭代的差小于0.1时停止训练，得到训练好的局部图像特征提取模型。

可选地，所述获取用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，根据所述深度图和内外参获得所述图像对I₁、I₂之间的像素对应关系C包括：

获取MegaDepth数据集和基于三维重建的几何学习GL3D数据集，获取所述用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，使用所述内外参将图像I₂的点投影到图像I₁上，使用投影点的深度信息进行深度一致性检查，从而获得所述图像对I₁，I₂之间的像素对应关系C。

可选地，所述根据所述图像对I₁、I₂，获得所述图像对的本质信息特征图和外在环境特征图包括：

将图像I₁输入FE网络，将FE网络记为FE₁，获得所述图像I₁的解耦合的本质信息特征图A₁和外在环境特征图B₁；将图像I₂输入FE网络，将FE网络记为FE₂，获得所述图像I₂的解耦合的本质信息特征图A₂和外在环境特征图B₂；所述FE网络为U-Net特征编码器网络，所述FE₁和所述FE₂参数共享。

可选地，所述根据所述图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂，获得重构图像G₁₁、G₂₂包括：

将所述本质信息特征图A₁和外在环境特征图B₁输入FD网络，将FD网络记为FD₁，输出所述图像I₁的所述重构图像G₁₁；将所述本质信息特征图A₂和外在环境特征图B₂输入FD网络，将FD网络记为FD₂，输出所述图像I₂的重构图像G₂₂；

其中，所述FD网络为U-Net特征解码器网络，所述FD₁和所述FD₂参数共享。

可选地，根据所述图像对的本质信息特征图A₁、A₂，获得所述图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，将所述特征分数大于0.5的位置标记为特征点包括：

将所述本质信息特征图A₁输入到E网络中，将E网络记为E₁，输出所述图像I₁的所述描述子D⁽¹⁾∈R^h×w×k；将所述的本质信息特征图A₂输入到E网络中，将E网络记为E₂，输出所述图像I₂的所述描述子D⁽²⁾∈R^h×w×k；其中h、w为特征图的高、宽，k为描述子维度，R为实数集；所述E网络为L2-Net局部图像特征点和描述子提取网络，所述E₁和所述E₂参数共享；

对于所述本质信息特征图A_l,l＝1,2，所述本质信息特征图A_l上的任意像素点(i,j),i＝1,2,…,h，j＝1,2,…,w,计算特征分数为：

其中

获得所述本质信息特征图A_l的特征分数图，记为S^(l)；对于所述特征分数图S^(l)，将

大于0.5的位置标记为所述特征点。

可选地，根据所述图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，设计图像特征提取与匹配损失函数L_m为：

其中，

c、q为任两组所述像素对应关系C，p(c)表示所述图像对上对应点位置处描述子的距离，n(c)表示所述图像对上非对应位置处描述子距离的最小值，M为常数1。

可选地，所述根据所述图像对I₁、I₂，所述重构图像G₁₁、G₂₂，设计图像重建损失函数为：

L_p＝∑‖I₁(x,y)-G₁₁(x,y)‖₁+‖I₂(x,y)-G₂₂(x,y)‖₁ (3)

可选地，所述将所述图像特征提取与匹配损失函数L_m和所述图像重建损失函数L_p按不同权重λ结合，得到总体目标损失函数L_tot，给定初始学习率为1e-2，对所述总体目标损失函数L_tot进行训练，直到相邻两次迭代的差小于0.1时停止训练，得到训练好的局部图像特征提取模型包括：

将所述图像特征提取与匹配损失函数L_m和所述图像重建损失函数L_p按不同权重结合获得总体目标损失函数L_tot,

L_tot＝L_m+λ×L_p (4)

其中，λ为所述图像重建损失函数权重，设为0.1；

根据BP算法以及所述图像特征提取与匹配损失函数和所述图像重建损失函数，对所述特征编码器网络、所述特征解码器网络、所述局部图像特征点和描述子提取网络的网络参数进行学习，给定初始学习率为1e-2，训练所述总体目标损失函数L_tot至相邻两次迭代的差小于0.1时停止，训练得到可进行图像解耦合的特征编码器网络、特征解码器网络以及局部图像特征点和描述子提取网络。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明研究解耦合特征学习，通过深度神经网络强大的特征表达能力，将图像的特征表达分解为内在本质特征与外在环境特征两部分，通过在本质特征部分进行特征点检测和描述子构造，综合利用神经网络、特征提取、图像生成、风格迁移、深度解耦合等技术，以实现对各种复杂光谱变化鲁棒的图像获得高质量的特征点匹配。

本发明的方法精度高、适用范围广、推广性强，可广泛应用于图像配准、图像检索、视觉定位、三维重建、增强现实等系统中。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于解耦合的局部图像特征提取方法流程图；

图2是本发明实施例提供的一种局部图像特征提取模型训练流程图；

图3是本发明实施例提供的一种局部图像特征提取模型训练框架图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于解耦合的局部图像特征提取方法，如图1所示的基于解耦合的局部图像特征提取方法流程图，该方法的处理流程可以包括如下的步骤：

S101、获取待提取图像；

S102、将图像输入到训练好的局部图像特征提取模型中，局部图像特征提取模型包括特征编码器网络FE和局部图像特征点和描述子提取网络E；

S103、基于图像以及特征编码器网络FE和局部图像特征点和描述子提取网络E，得到图像的特征点和描述子，完成对图像的特征提取。

本发明研究解耦合特征学习，通过深度神经网络强大的特征表达能力，将图像的特征表达分解为内在本质特征与外在环境特征两部分，通过在本质特征部分进行特征点检测和描述子构造，综合利用神经网络、特征提取、图像生成、风格迁移、深度解耦合等技术，以实现对各种复杂光谱变化鲁棒的图像获得高质量的特征点匹配。

本发明的方法精度高、适用范围广、推广性强，可广泛应用于图像配准、图像检索、视觉定位、三维重建、增强现实等系统中。

本发明实施例提供了一种基于解耦合的局部图像特征提取方法，如图2所示的局部图像特征提取模型训练流程图，图3所示的局部图像特征提取模型训练框架图；

该方法的处理流程可以包括如下的步骤：

S201、获取用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，根据深度图和内外参获得图像对I₁、I₂之间的像素对应关系C；

可选地，获取用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，根据深度图和内外参获得图像对I₁、I₂之间的像素对应关系C包括：

获取MegaDepth数据集和基于三维重建的几何学习GL3D数据集，获取用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，使用内外参将图像I₂的点投影到图像I₁上，使用投影点的深度信息进行深度一致性检查，从而获得图像对I₁，I₂之间的像素对应关系C。

S202、根据图像对I₁、I₂，获得图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂；

可选地，根据图像对I₁、I₂，获得图像对的本质信息特征图和外在环境特征图包括：

将图像I₁输入FE网络，将FE网络记为FE₁，获得图像I₁的解耦合的本质信息特征图A₁和外在环境特征图B₁；将图像I₂输入FE网络，将FE网络记为FE₂，获得图像I₂的解耦合的本质信息特征图A₂和外在环境特征图B₂；FE网络为U-Net特征编码器网络，FE₁和FE₂参数共享。

S203、根据图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂，获得重构图像G₁₁、G₂₂；

可选地，根据图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂，获得重构图像G₁₁、G₂₂包括：

将本质信息特征图A₁和外在环境特征图B₁输入FD网络，将FD网络记为FD₁，输出图像I₁的重构图像G₁₁；将本质信息特征图A₂和外在环境特征图B₂输入FD网络，将FD网络记为FD₂，输出图像I₂的重构图像G₂₂；

其中，FD网络为U-Net特征解码器网络，FD₁和FD₂参数共享。

S204、根据图像对的本质信息特征图A₁、A₂，获得图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，将特征分数大于0.5的位置标记为特征点；

可选地，根据图像对的本质信息特征图A₁、A₂，获得图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，将特征分数大于0.5的位置标记为特征点包括：

将本质信息特征图A₁输入到E网络中，将E网络记为E₁，输出图像I₁的描述子D⁽¹⁾∈R^h×w×k；将的本质信息特征图A₂输入到E网络中，将E网络记为E₂，输出图像I₂的描述子D⁽²⁾∈R^h×w×k；其中h、w为特征图的高、宽，k为描述子维度，R为实数集；E网络为L2-Net局部图像特征点和描述子提取网络，E₁和E₂参数共享；

对于本质信息特征图A_l,l＝1,2，本质信息特征图A_l上的任意像素点(i,j),i＝1,2,…,h，j＝1,2,…,w,计算特征分数为：

其中

获得本质信息特征图A_l的特征分数图，记为S^(l)；对于特征分数图S^(l)，将

大于0.5的位置标记为特征点。

S205、根据图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，设计图像特征提取与匹配损失函数L_m；

可选地，根据图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，设计图像特征提取与匹配损失函数L_m为：

其中，

c、q为任两组像素对应关系C，p(c)表示图像对上对应点位置处描述子的距离，n(c)表示图像对上非对应位置处描述子距离的最小值，M为常数1。

一种可行的实施方式中，结合训练数据，根据图像对提取的特征点和描述子，构建图像特征提取与匹配学习误差。

S206、根据图像对I₁、I₂和重构图像G₁₁、G₂₂，设计图像重建损失函数L_p；

可选地，根据图像对I₁、I₂，重构图像G₁₁、G₂₂，设计图像重建损失函数为：

L_p＝∑‖I₁(x,y)-G₁₁(x,y)‖₁+‖I₂(x,y)-G₂₂(x,y)‖₁ (3)

一种可行的实施方式中，结合训练数据，根据图像对与图像对重构图像，构建图像重建学习误差。

S207、将图像特征提取与匹配损失函数L_m和图像重建损失函数L_p按不同权重λ结合，得到总体目标损失函数L_tot，给定初始学习率为1e-2，对总体目标损失函数L_tot进行训练，直到相邻两次迭代的差小于0.1时停止训练，得到训练好的局部图像特征提取模型。

可选地，将图像特征提取与匹配损失函数L_m和图像重建损失函数L_p按不同权重λ结合，得到总体目标损失函数L_tot，给定初始学习率为1e-2，对总体目标损失函数L_tot进行训练，直到相邻两次迭代的差小于0.1时停止训练，得到训练好的局部图像特征提取模型包括：

将图像特征提取与匹配损失函数L_m和图像重建损失函数L_p按不同权重结合获得总体目标损失函数L_tot,

L_tot＝L_m+λ×L_p (4)

其中，λ为图像重建损失函数权重，设为0.1；

根据BP算法以及图像特征提取与匹配损失函数和图像重建损失函数，对特征编码器网络、特征解码器网络、局部图像特征点和描述子提取网络的网络参数进行学习，给定初始学习率为1e-2，训练总体目标损失函数L_tot至相邻两次迭代的差小于0.1时停止，训练得到可进行图像解耦合的特征编码器网络、特征解码器网络以及局部图像特征点和描述子提取网络。

一种可行的实施方式中，根据图像特征提取与匹配损失函数和图像重建损失函数按照不同权重结合，对整个网络进行训练，得到特征编码器网络和局部图像特征点和描述子提取网络的网络参数，从而得到局部图像特征提取模型，根据本模型可得到图像特征点和描述子，进行图像特征点匹配相关应用。上述训练过程为现有技术，本发明此处不再赘述。

本发明研究解耦合特征学习，通过深度神经网络强大的特征表达能力，将图像的特征表达分解为内在本质特征与外在环境特征两部分，通过在本质特征部分进行特征点检测和描述子构造，综合利用神经网络、特征提取、图像生成、风格迁移、深度解耦合等技术，以实现对各种复杂光谱变化鲁棒的图像获得高质量的特征点匹配。

本发明的方法精度高、适用范围广、推广性强，可广泛应用于图像配准、图像检索、视觉定位、三维重建、增强现实等系统中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于解耦合的局部图像特征提取方法，其特征在于，所述方法包括：

获取待提取图像；

将所述图像输入到训练好的局部图像特征提取模型中，所述局部图像特征提取模型包括特征编码器网络FE和局部图像特征点和描述子提取网络E；

基于所述图像以及所述特征编码器网络FE和所述局部图像特征点和描述子提取网络E，得到所述图像的特征点和描述子，完成对所述图像的特征提取；

所述特征编码器网络FE和所述局部图像特征点和描述子提取网络E的训练过程包括：

S201、获取用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，根据所述深度图和内外参获得所述图像对I₁、I₂之间的像素对应关系C；

S202、根据所述图像对I₁、I₂，获得所述图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂；

将图像I₁输入FE网络，将FE网络记为FE₁，获得所述图像I₁的解耦合的本质信息特征图A₁和外在环境特征图B₁；将图像I₂输入FE网络，将FE网络记为FE₂，获得所述图像I₂的解耦合的本质信息特征图A₂和外在环境特征图B₂；所述FE网络为U-Net特征编码器网络，所述FE₁和所述FE₂参数共享；

S203、根据所述图像对的本质信息特征图A₁、A₂和外在环境特征图B₁、B₂，获得重构图像G₁₁、G₂₂；

将所述本质信息特征图A₁和外在环境特征图B₁输入FD网络，将FD网络记为FD₁，输出所述图像I₁的所述重构图像G₁₁；将所述本质信息特征图A₂和外在环境特征图B₂输入FD网络，将FD网络记为FD₂，输出所述图像I₂的重构图像G₂₂；

其中，所述FD网络为U-Net特征解码器网络，所述FD₁和所述FD₂参数共享；

S204、根据所述图像对的本质信息特征图A₁、A₂，获得所述图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，将所述特征分数大于0.5的位置标记为特征点；

将所述本质信息特征图A₁输入到E网络中，将E网络记为E₁，输出所述图像I₁的所述描述子D⁽¹⁾∈R^h×w×k；将所述的本质信息特征图A₂输入到E网络中，将E网络记为E₂，输出所述图像I₂的所述描述子D⁽²⁾∈R^h×w×k；其中h、w为特征图的高、宽，k为描述子维度，R为实数集；所述E网络为L2-Net局部图像特征点和描述子提取网络，所述E₁和所述E₂参数共享；

S205、根据所述图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，设计图像特征提取与匹配损失函数L_m；

S206、根据所述图像对I₁、I₂和所述重构图像G₁₁、G₂₂，设计图像重建损失函数L_p；

S207、将所述图像特征提取与匹配损失函数L_m和所述图像重建损失函数L_p按不同权重λ结合，得到总体目标损失函数L_tot，给定初始学习率为1e-2，对所述总体目标损失函数L_tot进行训练，直到相邻两次迭代的差小于0.1时停止训练，得到训练好的局部图像特征提取模型。

2.根据权利要求1所述的方法，其特征在于，所述获取用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，根据所述深度图和内外参获得所述图像对I₁、I₂之间的像素对应关系C包括：

获取MegaDepth数据集和基于三维重建的几何学习GL3D数据集，获取所述用于训练使用的图像对I₁、I₂及每幅图像的深度图和内外参，使用所述内外参将图像I₂的点投影到图像I₁上，使用投影点的深度信息进行深度一致性检查，从而获得所述图像对I₁，I₂之间的像素对应关系C。

3.根据权利要求1所述的方法，其特征在于，将所述特征分数大于0.5的位置标记为特征点包括：

对于所述本质信息特征图A_l,l＝1,2，所述本质信息特征图A_l上的任意像素点(i,j),i＝1,2,…,h，j＝1,2,…,w,计算特征分数为：

其中

获得所述本质信息特征图A_l的特征分数图，记为S^(l)；对于所述特征分数图S^(l)，将

大于0.5的位置标记为所述特征点。

4.根据权利要求3所述的方法，其特征在于，根据所述图像对的特征分数

和描述子D⁽¹⁾、D⁽²⁾，设计图像特征提取与匹配损失函数L_m为：

其中，

c、q为任两组所述像素对应关系C，p(c)表示所述图像对上对应点位置处描述子的距离，n(c)表示所述图像对上非对应位置处描述子距离的最小值，M为常数1。

5.根据权利要求4所述的方法，其特征在于，所述根据所述图像对I₁、I₂，所述重构图像G₁₁、G₂₂，设计图像重建损失函数为：

L_p＝∑||I₁(x,y)-G₁₁(x,y)||₁+||I₂(x,y)-G₂₂(x,y)||₁ (3)。

6.根据权利要求4和5任一所述的方法，其特征在于，所述将所述图像特征提取与匹配损失函数L_m和所述图像重建损失函数L_p按不同权重λ结合，得到总体目标损失函数L_tot，给定初始学习率为1e-2，对所述总体目标损失函数L_tot进行训练，直到相邻两次迭代的差小于0.1时停止训练，得到训练好的局部图像特征提取模型包括：

将所述图像特征提取与匹配损失函数L_m和所述图像重建损失函数L_p按不同权重结合获得总体目标损失函数L_tot,

L_tot＝L_m+λ×L_p (4)

其中，λ为所述图像重建损失函数权重，设为0.1；

根据BP算法以及所述图像特征提取与匹配损失函数和所述图像重建损失函数，对所述特征编码器网络、所述特征解码器网络、所述局部图像特征点和描述子提取网络的网络参数进行学习，给定初始学习率为1e-2，训练所述总体目标损失函数L_tot至相邻两次迭代的差小于0.1时停止，训练得到可进行图像解耦合的特征编码器网络、特征解码器网络以及局部图像特征点和描述子提取网络。

Images