CN110197254B - 基于深度迁移学习的线特征描述方法 - Google Patents

Abstract

本发明涉及一种基于深度迁移学习的线特征描述方法，包括：采集图像并进行预处理、利用已有技术提取图像中的直线、获取正确匹配直线对、确定直线对应的图像块；构建用于线特征描述的卷积神经网络；利用点特征描述网络的参数初始化线特征描述网络的参数；利用线匹配数据集对网络参数进行调整；利用步骤S4获取的网络参数更新CL2‑Net的参数值；重复参数更新步骤，直到参数更新达到指定的次数；获取输入直线的描述子。本发明提供的方法可获得具有较好辨别能力和鲁棒性的描述子。

Description

基于深度迁移学习的线特征描述方法

技术领域

本发明涉及图像特征描述的技术领域，特别是一种基于深度迁移学习的线特征描述方法。

背景技术

图像特征检测以及匹配一直都是计算机视觉中即重要又备受关注的问题之一，在计算机视觉的各个应用领域中有很多的应用。尤其是在三维重建、物体识别以及图像分类和检索等很多领域中都有非常重要的应用。过去的几年中对该问题的研究已经取得了一些突破性的发展，并且已经为宽基线点、线和区域匹配提出了各种方法。大多数此类的方法都是把局部区域描述成一个具有唯一性的特征描述子并且大多数都是手工设计的描述子，其中最经典和著名的就是shift描述子。所期望的描述子对于匹配块而言不会因为视角、光照、旋转、模糊和噪音等的变化而变化，而同时对于非匹配块而言却要保持不同图像块之间的区分性。

在最近几年中，由于手工设计描述子的蓬勃发展和深度学习在众多领域中的成功应用，以及文献中提供的大规模的点匹配数据集，因此点匹配中出现了基于学习的点特征描述子，其中有Tian等人提出了基于不带度量学习层的全卷积结构的CNN模型L2-net，L2-net的训练是建立在渐进式抽样策略和由三个误差项组成的损失函数之上，并且他们通过优化批次中描述子之间的相对距离来训练L2-net；以及Anastasiya Mishchuk等人受到Lowe的SIFT匹配标准的启发提出了将度量学习的损失应用于L2-net架构的一个名为HardNet的紧凑描述子。然而，直线特征也是最重要的图像特征之一，其在很多场合都有不可替代的作用，比如图像定位和三维重建等。但遗憾的是，与基于学习的点特征描述子相比，文献中还尚未出现基于学习的线特征描述子。原因之一是深度学习依赖于大量的具有标签的训练数据，但是，要构建大规模的高质量的线匹配数据集又需要大量的人力和财力。

发明内容

本发明针对文献中还尚未出现基于学习的线特征描述子、深度学习依赖于大量的具有标签的训练数据、以及构建大规模的高质量的线匹配数据集又需要大量的人力和财力等问题，目的是提供一种具有更强稳定性的基于学习的直线描述子。为了实现本目的，基于深度迁移学习的线特征描述方法，包括以下步骤：

步骤S1：构造线匹配数据集；

步骤S11：采集图像并进行预处理；

步骤S12：利用已有技术提取图像中的直线；

步骤S13：获取正确匹配直线对；

步骤S14：确定直线对应的图像块；

步骤S2：构建用于线特征描述的卷积神经网络；

步骤S3：利用点特征描述网络的参数初始化线特征描述网络的参数；

步骤S4：利用线匹配数据集对网络参数进行调整；

步骤S5：利用步骤S4获取的网络参数更新CL2-Net的参数值；

步骤S6：重复步骤S4、S5，直到参数更新达到指定的次数；

步骤S7：获取输入直线的描述子。

针对上述的问题，本发明提出一种基于深度迁移学习的线特征描述方法，通过首先构建线匹配数据集、然后利用迁移学习，将用大量点匹配数据训练好的具有七层卷积层的全卷积模型参数迁移到线特征描述网络模型中用以初始化线特征描述网络的模型参数，使得在该线匹配数据上获得具有更强辨别能力和鲁棒性的线特征描述子。本发明提供的方法能够克服上述的问题，具有更优的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的基于深度迁移学习的线特征描述方法的流程图；

图2为基于深度迁移学习的线特征描述方法的网络架构图。

具体实施方式

如图1所示为本发明基于深度迁移学习的线特征描述方法的流程图，该方法的主要步骤包括：采集图像并进行预处理、利用已有技术提取图像中的直线、获取正确匹配直线对、确定直线对应的图像块、构建用于线特征描述的卷积神经网络、利用点特征描述网络的参数初始化线特征描述网络的参数、利用线匹配数据集对网络参数进行调整、利用获取的网络参数更新CL2-Net的参数值、重复参数更新步骤，直到参数更新达到指定的次数，获取输入直线的描述子。各步骤的具体实施细节如下：

步骤S1：构造线匹配数据集，具体方式包括步骤S11、S12、S13、S14；

步骤S11：采集图像并进行预处理，具体方式为，采集不同场景且不同视角下的图像，然后对其做光照、模糊、噪音以及压缩等变化以形成同一场景不同变化的图像对；

步骤S12：利用已有技术提取图像中的直线；

步骤S13：获取正确匹配直线对，具体方式为，对于任一图像对，利用已有直线匹配技术获取图像对中的匹配直线对，然后人工剔除错误匹配，获得图像对中的正确匹配直线对集合{(L_j,L_j′),j＝1,2,...,N_L}，其中L_j表示图像对中第1幅图像中的直线，L_j′表示图像对中第2幅图像中与L_j正确匹配的直线，N_L为匹配直线对的个数；

步骤S14：确定直线对应的图像块，具体方式为，对于步骤S13获得的正确匹配直线对集合中的任一由Num(L)个点组成的直线L，记L上任一像素点为P_k，k＝1,2,...,Num(L)，将以P_k为中心、64为长和宽的方形区域定义为点P_k的支撑区域，点P_k支撑区域的亮度值矩阵记为I(P_k)，计算直线L的均值矩阵M(L)＝Mean(I(P₁),I(P₂),...,I(P_Num(L)))和标准差矩阵STD(L)＝Std(I(P₁),I(P₂),...,I(P_Num(L)))，其中Mean表示计算矩阵的均值，Std表示计算矩阵的标准差，记直线L对应的64×64×2的归一化矩阵为

其中A_L(:,:,1)＝M(L)，A_L(:,:,2)＝STD(L)；

步骤S2：构建用于线特征描述的卷积神经网络，卷积神经网络的结构如图2所示：具体方式为，搭建L2-Net卷积神经网络，将第一层卷积核的大小由3×3修改为3×3×2、最后一层卷积核的大小由为8×8修改为16×16，其他设置与L2-Net相同，获得用于线特征描述的卷积神经网络，记为CL2-Net；

步骤S3：利用点特征描述网络的参数初始化线特征描述网络的参数，具体方式为，对于步骤S2获得的CL2-Net，其前三层参数的初始值为训练好的L2-Net的前三层参数值，其中对于第一层2通道的3×3卷积核，任一通道3×3卷积核的值均等于L2-Net第一层3×3卷积核的值；CL2-Net后四层的参数值使用Pytorch中默认的初始化值；

步骤S4：利用线匹配数据集对网络参数进行调整，具体方式为，从步骤S1获得的线匹配数据集中随机选取n对匹配直线，将直线对应的归一化矩阵合并为

其中

为直线L_j对应的归一化矩阵，

为直线L_j′对应的归一化矩阵，直线L_j和L_j′为匹配直线对；计算大小为n×n的距离矩阵D，其中

a_i、b_j分别为

作为输入时CL2-Net输出的特征向量；计算三元组损失函数

其中

代表最接近a_i的非匹配描述子，j_min＝arg min_{j＝1...n,j≠i}d(a_i,b_j)，

代表最接近b_i的非匹配描述子，k_min＝arg min_{k＝1...n,k≠i}d(a_k,b_i)，根据Loss函数利用随机梯度下降法获取新的网络模型参数；

步骤S5：利用步骤S4获取的网络参数更新CL2-Net的参数值；

步骤S6：重复步骤S4、S5，直到参数更新达到指定的次数；

步骤S7：获取输入直线的描述子，具体方式为，对于给定的任一图像，将步骤S1获取的任一直线对应的矩阵输入到步骤S6获得的卷积神经网络中，即可输出该直线的描述子。

针对上述的问题，本发明提出一种基于深度迁移学习的线特征描述方法，通过首先构建线匹配数据集、然后利用迁移学习，将用大量点匹配数据训练好的具有七层卷积层的全卷积模型的参数迁移到线特征描述网络模型中用以初始化线特征描述网络的模型参数，使得在该线匹配数据上获得具有更强辨别能力和鲁棒性的线特征描述子。本发明提供的方法能够克服上述的问题，具有更优的性能。

Claims (1)

1.一种基于深度迁移学习的线特征描述方法，其特征在于，该方法具体包括以下步骤：

步骤S1：构造线匹配数据集，具体方式包括步骤S11、S12、S13、S14；

步骤S11：采集图像并进行预处理，具体方式为，采集不同场景且不同视角下的图像，然后对其做光照、模糊、噪音以及压缩等变化以形成同一场景不同变化的图像对；

步骤S12：利用已有技术提取图像中的直线；

步骤S13：获取正确匹配直线对，具体方式为，对于任一图像对，利用已有直线匹配技术获取图像对中的匹配直线对，然后人工剔除错误匹配，获得图像对中的正确匹配直线对集合{(L_j,L_j′),j＝1,2,...,N_L}，其中L_j表示图像对中第1幅图像中的直线，L_j′表示图像对中第2幅图像中与L_j正确匹配的直线，N_L为匹配直线对的个数；

步骤S14：确定直线对应的图像块，具体方式为，对于步骤S13获得的正确匹配直线对集合中的任一由Num(L)个点组成的直线L，记L上任一像素点为P_k，k＝1,2,...,Num(L)，将以P_k为中心、64为长和宽的方形区域定义为点P_k的支撑区域，点P_k支撑区域的亮度值矩阵记为I(P_k)，计算直线L的均值矩阵M(L)＝Mean(I(P₁),I(P₂),...,I(P_Num(L)))和标准差矩阵STD(L)＝Std(I(P₁),I(P₂),...,I(P_Num(L)))，其中Mean表示计算矩阵的均值，Std表示计算矩阵的标准差，记直线L对应的64×64×2的归一化矩阵为

其中A_L(:,:,1)＝M(L)，A_L(:,:,2)＝STD(L)；

步骤S2：构建用于线特征描述的卷积神经网络，具体方式为，搭建L2-Net卷积神经网络，将第一层卷积核的大小由3×3修改为3×3×2、最后一层卷积核的大小由为8×8修改为16×16，其他设置与L2-Net相同，获得用于线特征描述的卷积神经网络，记为CL2-Net；

步骤S3：利用点特征描述网络的参数初始化线特征描述网络的参数，具体方式为，对于步骤S2获得的CL2-Net，其前三层参数的初始值为训练好的L2-Net的前三层参数值，其中对于第一层2通道的3×3卷积核，任一通道3×3卷积核的值均等于L2-Net第一层3×3卷积核的值；CL2-Net后四层的参数值使用Pytorch中默认的初始化值；

步骤S4：利用线匹配数据集对网络参数进行调整，具体方式为，从步骤S1获得的线匹配数据集中随机选取n对匹配直线，将直线对应的归一化矩阵合并为

其中

为直线L_j对应的归一化矩阵，

为直线L_j′对应的归一化矩阵，直线L_j和L_j′为匹配直线对；计算大小为n×n的距离矩阵D，其中

a_i、b_j分别为

作为输入时CL2-Net输出的特征向量；计算三元组损失函数

，其中

代表最接近a_i的非匹配描述子，j_min＝arg min_{j＝1...n,j≠i}d(a_i,b_j)，

代表最接近b_i的非匹配描述子，k_min＝arg min_{k＝1...n,k≠i}d(a_k,b_i)，根据Loss函数利用随机梯度下降法获取新的网络模型参数；

步骤S5：利用步骤S4获取的网络参数更新CL2-Net的参数值；

步骤S6：重复步骤S4、S5，直到参数更新达到指定的次数；

步骤S7：获取输入直线的描述子，具体方式为，对于给定的任一图像，将步骤S1获取的任一直线对应的矩阵输入到步骤S6获得的卷积神经网络中，即可输出该直线的描述子。

Images