CN109711454B - 一种基于卷积神经网络的特征匹配方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的特征匹配方法，利用内窥镜初始视频序列获得训练数据，再利用训练数据构造用于后续帧特征点分类的卷积神经网络模型，并利用训练数据训练卷积神经网络模型，最后，后续帧特征通过网络输出分类结果实现特征匹配，具有简单、适用性好等特点，符合当前临床医疗发展的需要。

Description

一种基于卷积神经网络的特征匹配方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种基于卷积神经网络的特征匹配方法。

背景技术

随着机器人辅助微创手术在手术领域的普遍使用，内窥镜数据相关的处理技术得到了飞速的发展。这类手术通过对内窥镜获得的实时影像进行处理，从而辅助医生完成复杂的心脏手术操作。

特征匹配是图像处理中的经典问题，其目的在于寻找不同帧中的匹配特征点对，特征匹配效果的精确度对后续流程如主动运动补偿、三维重建等起着至关重要的影响。由于内窥镜影像像中存在大量的组织表面非刚性变形、画面模糊、高光反射等问题，传统的基于描述符的特征匹配方法难以在内窥镜图像处理中取得较好的鲁棒性和精确度。卷积神经网络相关算法具有在没有过多人工干预的情况下自动查找图像之间的关系和特征的性质，并在图像分类领域得到了广泛应用。Ahmad等在文献《Endoscopic image classificationand retrieval using clustered convolutional features》利用医学图像中的视觉特征来训练卷积神经网络模型，从而实现了对医学图像的分类和检索，Zhang等在文献《SIFTmatching with CNN evidences for particular object retrieval》中将传统的SIFT算法和卷积神经网络算法相结合，实现了更高精度的特定目标检索。但这些改进大多用于医学图像的分类和检索管理，卷积神经网络在医学图像的特征匹配方面一直没有较为有效的应用。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于卷积神经网络的特征匹配方法，利用卷积神经网络训练特征点的分类模型，然后对后续图像帧中特征点进行分类，完成特征匹配。

为实现上述发明目的，本发明一种基于卷积神经网络的特征匹配方法，其特征在于，包括以下步骤：

(1)、特征提取

将内窥镜获取的视频序列的前N+1帧依次标记为I₀,I₁,…,I_N，然后提取前N+1帧的特征点，记为F₀,F₁,…,F_N，其中，第i帧的特征点集合F_i＝[F_i1,F_i2,…,F_im,…,F_iM]，i＝0,1,2,…,N，m＝1,2,…,M，M表示特征点总数，F_im表示第i帧中第m个特征点的特征表述，具体形式为：F_im＝[F_im1 F_im2]，F_im1为第m个特征点的位置向量，F_im2为第m个特征点的描述向量；

(2)、利用特征点集合生成训练数据集

(2.1)、将第0帧的特征点集合分别与其后N帧的特征点集合做特征匹配，特征匹配结果分别记为M₁,M₂,…,M_i,…,M_N，i＝1,2,…,N；其中，第i帧与第0帧的特征匹配结果为M_i＝[M_i1,M_i2,…,M_in]，M_in为第n个匹配对，具体形式为：M_in＝[M_in1 M_in2]其中，M_in1为匹配对中的一个特征在第0帧中的特征，取值为该特征在第0帧特征总数中所处的特征序列；M_in2为匹配对中的一个特征在第i帧中的特征，取值为该特征在第i帧特征总数中所处的特征序列；

(2.2)、获取训练数据

设置集合D和L，D和L分别用于存放训练数据的特征点和特征点标签；

统计特征匹配结果中匹配对在第0帧中出现频率最高的m'种特征序列，将其视为m'个特征类别；然后将第0帧中这m'个特征类别的特征点及每个特征点在后面N帧中匹配的特征点存入至D中，并将相同特征点贴上相同标签存入至L中；

将L中特征点标签对应的特征点最少的类别记为L_min，然后以L_min为基准，将D和L中的所有特征类别中的特征点及对应的特征点标签进行随机删减，删减后分别记为D'和L'；

将D'中的所有特征点旋转180度，再加入到D'中，其对应标签也加入L'中，得到特征点和特征点标签的集合记为D”和L”；

在D”中随机抽取80％的特征点作为训练数据，记为D”_train，将抽取的特征点对应的特征点标签作为训练标签，记为L”_train，抽取后剩下的特征点和特征点标签分别作为验证数据和验证标签，记为D”_eval和L”_eval；

(3)、构建用于计算特征类别的卷积神经网络

构建一个包含两层卷积层和两层全连接层的卷积神经网络，每层后面接一个ReLU层，最后一层全连接层接一层m'个输出的Softmax层；卷积神经网络的输出为[C，P]，C，P表示输入特征的分类结果和对应概率；

(4)、训练卷积神经网络

将D”_train和L”_train中的每一组特征点及对应的特征点标签作为输入，输入至卷积神经网络进行训练，经过多次重复训练后，再利用D”_eval和L”_eval中的一组特征点及对应的特征点标签进行验证，当卷积神经网络的分类准确率高于90％时完成训练；

(5)、利用卷积神经网络对后续帧特征点进行分类

(5.1)、提取内窥镜视频后续帧中待匹配的两帧，记为I_t、I_q；

(5.2)、提取I_t、I_q中的特征点数据集合，分别记为D_t、D_q，其中，D_t＝[D_t1,D_t2,…,D_tλ,…D_tH]，D_q＝[D_q1,D_q2,…,D_qλ,…D_qH]，λ＝1,2,…,H，H特征点总数，D_tλ表示I_t中第λ个特征点的特征表述，D_qλ表示I_q中第λ个特征点的特征表述；

(5.3)、将I_t、I_q中的每个特征点分别输入至训练好的卷积神经网络，得到每个特征点的分类结果和对应概率，分类结果分别记为O_t、O_q，其中，O_t＝[O_t1,O_t2,…,O_tλ,…O_tH]，O_q＝[O_q1,O_q2,…,O_qλ,…O_qH]，O_tλ表示I_t中第λ个特征点的分类结果，O_qλ表示I_q中第λ个特征点的分类结果，O_tλ和O_qλ的具体形式为：O_tλ＝[C_tλ P_tλ]、O_qλ＝[C_qλ P_qλ]，C_tλ、C_qλ为第λ个特征点的分类类别，P_tλ、P_qλ为第λ个特征点的分类概率；

(6)、计算特征匹配结果

(6.1)、构建I_t、I_q两帧的匹配矩阵T_t、T_q，其中，

m'为特征类别，

表示第

个类别在I_t中特征点信息，

表示第

个类别在I_q中特征点信息，

和

的具体形式为：

表示第

个类别在I_t中特征点序列，

为其对应的分类概率，

表示第

个类别在I_q中特征点序列，

为其对应的分类概率，

的初值为-1，

的初值为0；

(6.2)、更新匹配矩阵

根据步骤(5.3)的分类结果更新I_t、I_q两帧的匹配矩阵，第λ个特征点的分类类别C_tλ、C_qλ满足：C_tλ、C_qλ∈1,2,…,m'；

更新过程为：在I_t帧的分类结果O_t中，如果O_tλ中的P_tλ的值大于T_t中类别为C_tλ的概率值

则令

在I_q帧的分类结果O_q中，如果O_qλ中的P_qλ的值大于T_q中类别为C_tλ的概率值

则令

(6.3)、计算特征匹配结果

构建I_t、I_q两帧的特征匹配结果矩阵M₀，M₀＝[M₀₁,M₀₂,…,M_0τ,…,M_0X]，τ＝1,2,…,X，X为匹配对总数，M_0τ为第τ个匹配对，M_0τ的具体形式为：M_0τ＝[M_0τt M_0τq]M_0τt表示第τ个匹配对中一个特征在I_t中的特征序列，M_0τq表示第τ个匹配对中一个特征在I_q中的特征序列；

在匹配矩阵T_t、T_q中，如果

中的

的初值不为-1，则将

所对应的两个特征点视为匹配，并将

存入至M₀中的M_0τ；当匹配矩阵T_t、T_q中所有的

比对完成后，得到最终的特征匹配结果。

本发明的发明目的是这样实现的：

本发明一种基于卷积神经网络的特征匹配方法，利用内窥镜初始视频序列获得训练数据，再利用训练数据构造用于后续帧特征点分类的卷积神经网络模型，并利用训练数据训练卷积神经网络模型，最后，后续帧特征通过网络输出分类结果实现特征匹配，具有简单、适用性好等特点，符合当前临床医疗发展的需要。

同时，本发明一种基于卷积神经网络的特征匹配方法还具有以下有益效果：

(1)、匹配鲁棒性好：引入卷积神经网络相关算法，对一定长度帧序列中的特征点进行分类后训练，对软组织表面的非刚性形变具有跟好的识别能力，因此具有更高的鲁棒性。

(2)、匹配精度更高：利用卷积神经网络自动学习的能力，大大降低了传统方法在计算描述符时带来的误差，其匹配性能相较传统特征匹配方法更好。

附图说明

图1是本发明基于卷积神经网络的特征匹配方法流程图；

图2是卷积神经网络框架示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于卷积神经网络的特征匹配方法流程图。

在本实施例中，如图1所示，本发明一种基于卷积神经网络的特征匹配方法，包括以下步骤：

S1、特征提取

将内窥镜获取的视频序列的前N+1帧依次标记为I₀,I₁,…,I_N，然后提取前N+1帧的特征点，记为F₀,F₁,…,F_N，其中，第i帧的特征点集合F_i＝[F_i1,F_i2,…,F_im,…,F_iM]，i＝0,1,2,…,N，m＝1,2,…,M，M表示特征点总数，F_im表示第i帧中第m个特征点的特征表述，具体形式为：F_im＝[F_im1 F_im2]，F_im1为第m个特征点的位置向量，F_im2为第m个特征点的描述向量；

S2、利用特征点集合生成训练数据集

S2.1、将第0帧的特征点集合分别与其后N帧的特征点集合做特征匹配，特征匹配结果分别记为M₁,M₂,…,M_i,…,M_N，i＝1,2,…,N；其中，第i帧与第0帧的特征匹配结果为M_i＝[M_i1,M_i2,…,M_in]，M_in为第n个匹配对，具体形式为：M_in＝[M_in1 M_in2]其中，M_in1为匹配对中的一个特征在第0帧中的特征，取值为该特征在第0帧特征总数中所处的特征序列；M_in2为匹配对中的一个特征在第i帧中的特征，取值为该特征在第i帧特征总数中所处的特征序列；

S2.2、获取训练数据

设置集合D和L，D和L分别用于存放训练数据的特征点和特征点标签；

统计特征匹配结果中匹配对在第0帧中出现频率最高的m'种特征序列，将其视为m'个特征类别；然后将第0帧中这m'个特征类别的特征点及每个特征点在后面N帧中匹配的特征点存入至D中，并将相同特征点贴上相同标签存入至L中；

其中，特征类别m'的确定方法为：

m'＝m₀×σ

其中，m₀为第0帧中特征点的总数；σ为特征类别的选取阈值，σ的取值范围为：σ＝10％～30％，本实施例中取20％；

将L中特征点标签对应的特征点最少的类别记为L_min，为了保证训练数据集上各个类别标签的均衡性，以L_min为基准，将D和L中的所有特征类别中的特征点及对应的特征点标签进行随机删减，删减后分别记为D'和L'；

将D'中的所有特征点旋转180度，再加入到D'中，其对应标签也加入L'中，得到特征点和特征点标签的集合记为D”和L”；

在D”中随机抽取80％的特征点作为训练数据，记为D”_train，将抽取的特征点对应的特征点标签作为训练标签，记为L”_train，抽取后剩下的特征点和特征点标签分别作为验证数据和验证标签，记为D”_eval和L”_eval；

S3、构建用于计算特征类别的卷积神经网络

如图2所示，构建一个包含两层卷积层和两层全连接层的卷积神经网络，每层后面接一个ReLU层，最后一层全连接层接一层m'个输出的Softmax层；卷积神经网络的输出为[C，P]，C，P表示输入特征的分类结果和对应概率；

本实施例中两层卷积层的卷积核都为3像素×3像素大小，第一层拥有64个卷积核，第二层有128个卷积核，第一层全连接层有1024个神经元，第二层全连接层拥有26个神经元。

S4、训练卷积神经网络

将D”_train和L”_train中的每一组特征点及对应的特征点标签作为输入，输入至卷积神经网络进行训练，经过多次重复训练后，再利用D”_eval和L”_eval中的一组特征点及对应的特征点标签进行验证，当卷积神经网络的分类准确率高于90％时完成训练；

S5、利用卷积神经网络对后续帧特征点进行分类

S5.1、提取内窥镜视频后续帧中待匹配的两帧，记为I_t、I_q；

S5.2、提取I_t、I_q中的特征点数据集合，分别记为D_t、D_q，其中，D_t＝[D_t1,D_t2,…,D_tλ,…D_tH]，D_q＝[D_q1,D_q2,…,D_qλ,…D_qH]，λ＝1,2,…,H，H特征点总数，D_tλ表示I_t中第λ个特征点的特征表述，D_qλ表示I_q中第λ个特征点的特征表述；

S5.3、将I_t、I_q中的每个特征点分别输入至训练好的卷积神经网络，得到每个特征点的分类结果和对应概率，分类结果分别记为O_t、O_q，其中，O_t＝[O_t1,O_t2,…,O_tλ,…O_tH]，O_q＝[O_q1,O_q2,…,O_qλ,…O_qH]，O_tλ表示I_t中第λ个特征点的分类结果，O_qλ表示I_q中第λ个特征点的分类结果，O_tλ和O_qλ的具体形式为：O_tλ＝[C_tλ P_tλ]、O_qλ＝[C_qλ P_qλ]，C_tλ、C_qλ为第λ个特征点的分类类别，P_tλ、P_qλ为第λ个特征点的分类概率；

S6、计算特征匹配结果

S6.1、构建I_t、I_q两帧的匹配矩阵T_t、T_q，其中，

m'为特征类别，

表示第

个类别在I_t中特征点信息，

表示第

个类别在I_q中特征点信息，

和

的具体形式为：

表示第

个类别在I_t中特征点序列，

为其对应的分类概率，

表示第

个类别在I_q中特征点序列，

为其对应的分类概率，

的初值为-1，

的初值为0；

S6.2、更新匹配矩阵

根据步骤(5.3)的分类结果更新I_t、I_q两帧的匹配矩阵，第λ个特征点的分类类别C_tλ、C_qλ满足：C_tλ、C_qλ∈1,2,…,m'；

根据步骤S6.1，分别计算出分类类别C_tλ、C_qλ在匹配矩阵T_t、T_q中分类概率值

然后进行更新过程：在I_t帧的分类结果O_t中，如果O_tλ中的P_tλ的值大于T_t中类别为C_tλ的概率值

则令

在I_q帧的分类结果O_q中，如果O_qλ中的P_qλ的值大于T_q中类别为C_tλ的概率值

则令

S6.3、计算特征匹配结果

构建I_t、I_q两帧的特征匹配结果矩阵M₀，M₀＝[M₀₁,M₀₂,…,M_0τ,…,M_0X]，τ＝1,2,…,X，X为匹配对总数，M_0τ为第τ个匹配对，M_0τ的具体形式为：M_0τ＝[M_0τt M_0τq]M_0τt表示第τ个匹配对中一个特征在I_t中的特征序列，M_0τq表示第τ个匹配对中一个特征在I_q中的特征序列；

在匹配矩阵T_t、T_q中，如果

中的

的初值不为-1，则将

所对应的两个特征点视为匹配，并将

存入至M₀中的M_0τ；当匹配矩阵T_t、T_q中所有的

比对完成后，得到最终的特征匹配结果。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于卷积神经网络的特征匹配方法，其特征在于，包括以下步骤：

(1)、特征提取

将内窥镜获取的视频序列的前N+1帧依次标记为I₀,I₁,…,I_N，然后提取前N+1帧的特征点，记为F₀,F₁,…,F_N，其中，第i帧的特征点集合F_i＝[F_i1,F_i2,…,F_im,…,F_iM]，i＝0,1,2,…,N，m＝1,2,…,M，M表示特征点总数，F_im表示第i帧中第m个特征点的特征表述，具体形式为：F_im＝[F_im1 F_im2]，F_im1为第m个特征点的位置向量，F_im2为第m个特征点的描述向量；

(2)、利用特征点集合生成训练数据集

(2.1)、将第0帧的特征点集合分别与其后N帧的特征点集合做特征匹配，特征匹配结果分别记为M₁,M₂,…,M_i,…,M_N，i＝1,2,…,N；其中，第i帧与第0帧的特征匹配结果为M_i＝[M_i1,M_i2,…,M_in]，M_in为第n个匹配对，具体形式为：M_in＝[M_in1 M_in2]其中，M_in1为匹配对中的一个特征在第0帧中的特征，取值为该特征在第0帧特征总数中所处的特征序列；M_in2为匹配对中的一个特征在第i帧中的特征，取值为该特征在第i帧特征总数中所处的特征序列；

(2.2)、获取训练数据

设置集合D和L，D和L分别用于存放训练数据的特征点和特征点标签；

统计特征匹配结果中匹配对在第0帧中出现频率最高的m'种特征序列，将其视为m'个特征类别；然后将第0帧中这m'个特征类别的特征点及每个特征点在后面N帧中匹配的特征点存入至D中，并将相同特征点贴上相同标签存入至L中；

将L中特征点标签对应的特征点最少的类别记为L_min，然后以L_min为基准，将D和L中的所有特征类别中的特征点及对应的特征点标签进行随机删减，删减后分别记为D'和L'；

将D'中的所有特征点旋转180度，再加入到D'中，其对应标签也加入L'中，得到特征点和特征点标签的集合记为D”和L”；

在D”中随机抽取80％的特征点作为训练数据，记为D”_train，将抽取的特征点对应的特征点标签作为训练标签，记为L”_train，抽取后剩下的特征点和特征点标签分别作为验证数据和验证标签，记为D”_eval和L”_eval；

(3)、构建用于计算特征类别的卷积神经网络

构建一个包含两层卷积层和两层全连接层的卷积神经网络，每层后面接一个ReLU层，最后一层全连接层接一层m'个输出的Softmax层；卷积神经网络的输出为[C，P]，C，P表示输入特征的分类结果和对应概率；

(4)、训练卷积神经网络

将D”_train和L”_train中的每一组特征点及对应的特征点标签作为输入，输入至卷积神经网络进行训练，经过多次重复训练后，再利用D”_eval和L”_eval中的一组特征点及对应的特征点标签进行验证，当卷积神经网络的分类准确率高于90％时完成训练；

(5)、利用卷积神经网络对后续帧特征点进行分类

(5.1)、提取内窥镜视频后续帧中待匹配的两帧，记为I_t、I_q；

(5.2)、提取I_t、I_q中的特征点数据集合，分别记为D_t、D_q，其中，D_t＝[D_t1,D_t2,…,D_tλ,…D_tH]，D_q＝[D_q1,D_q2,…,D_qλ,…D_qH]，λ＝1,2,…,H，H表示特征点总数，D_tλ表示I_t中第λ个特征点的特征表述，D_qλ表示I_q中第λ个特征点的特征表述；

(5.3)、将I_t、I_q中的每个特征点分别输入至训练好的卷积神经网络，得到每个特征点的分类结果和对应概率，分类结果分别记为O_t、O_q，其中，O_t＝[O_t1,O_t2,…,O_tλ,…O_tH]，O_q＝[O_q1,O_q2,…,O_qλ,…O_qH]，O_tλ表示I_t中第λ个特征点的分类结果，O_qλ表示I_q中第λ个特征点的分类结果，O_tλ和O_qλ的具体形式为：O_tλ＝[C_tλ P_tλ]、O_qλ＝[C_qλ P_qλ]，C_tλ、C_qλ为第λ个特征点的分类类别，P_tλ、P_qλ为第λ个特征点的分类概率；

(6)、计算特征匹配结果

(6.1)、构建I_t、I_q两帧的匹配矩阵T_t、T_q，其中，

m'为特征类别，

表示第

个类别在I_t中特征点信息，

表示第

个类别在I_q中特征点信息，

和

的具体形式为：

表示第

个类别在I_t中特征点序列，

为其对应的分类概率，

表示第

个类别在I_q中特征点序列，

为其对应的分类概率，

的初值为-1，

的初值为0；

(6.2)、更新匹配矩阵

根据步骤(5.3)的分类结果更新I_t、I_q两帧的匹配矩阵，第λ个特征点的分类类别C_tλ、C_qλ满足：C_tλ、C_qλ∈1,2,…,m'；

更新过程为：在I_t帧的分类结果O_t中，如果O_tλ中的P_tλ的值大于T_t中类别为C_tλ的概率值

则令

在I_q帧的分类结果O_q中，如果O_qλ中的P_qλ的值大于T_q中类别为C_tλ的概率值

则令

(6.3)、计算特征匹配结果

构建I_t、I_q两帧的特征匹配结果矩阵M₀，M₀＝[M₀₁,M₀₂,…,M_0τ,…,M_0X]，τ＝1,2,…,X，X为匹配对总数，M_0τ为第τ个匹配对，M_0τ的具体形式为：M_0τ＝[M_0τt M_0τq]，M_0τt表示第τ个匹配对中一个特征在I_t中的特征序列，M_0τq表示第τ个匹配对中一个特征在I_q中的特征序列；

在匹配矩阵T_t、T_q中，如果

中的

的初值不为-1，则将

所对应的两个特征点视为匹配，并将

存入至M₀中的M_0τ；当匹配矩阵T_t、T_q中所有的

比对完成后，得到最终的特征匹配结果。

2.根据权利要求1所述的基于卷积神经网络的特征匹配方法，其特征在于，所述特征类别m'的确定方法为：

m'＝m₀×σ

其中，m₀为第0帧中特征点的总数；σ为特征类别的选取阈值，σ的取值范围为：σ＝10％～30％。

Images