CN116797463B - 特征点对提取方法及图像拼接方法 - Google Patents

Abstract

本发明公开了一种特征点对提取方法及图像拼接方法，包括步骤：分别识别第一图像、第二图像中特征点，获取各特征点位置及特征；根据各特征点所述特征的相似性对第一图像中特征点和第二图像中特征点进行匹配，标记匹配成功的特征点对；根据图像采集装置的运动范围，和/或所述特征点对的分布对所述匹配成功的特征点对降噪；标记降噪后的特征点对为所提取特征点对。本发明通过多次筛选提取两张图像上的特征点对，可快速实现不同图段图像快速拼接，克服图像采集装置视野受限的问题，保证了图像间过渡的平滑性，提升了拼接图像视觉效果。

Description

特征点对提取方法及图像拼接方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种特征点对提取方法及采用该方法的图像拼接方法。

背景技术

随着医学图像设备的发展，医学图像在临床观察中起着至关重要的作用。根据应用场景不同，有些图像观察需要呈现较大区域的人体组织器官或骨骼，如脊柱图像的观察。移动C型臂X光机价格较低，体积小、便于移动，且辐射量也较小，是一种常见的医疗图像获取设备。但C型臂X光机由于受到FOV(视场角)的限制，在图像采集时并不能采集到全脊柱图像。

为解决上述问题，需要C型臂X光机分别采集不同骨段图像，再将不同骨段图像拼接得到完整脊柱的图像，人工拼接对医生的专业度、熟练度有较高要求，且拼接缓慢，费时耗力。自动拼接较为简便快速，但在拼接过程中需要识别两幅图中相似度较高的特征点组成特征点对，并基于特征点对进行图像匹配拼接。现有的匹配方法存在错配点较多的问题，导致图像匹配拼接准确性不高。

发明内容

发明目的：针对上述不足，本发明提供一种特征点对提取方法及采用该方法的图像拼接方法，可实现不同节段图像快速、精确拼接。

技术方案：

特征点对提取方法，包括步骤：

分别识别第一图像、第二图像中特征点，获取各特征点位置及特征；

根据各特征点所述特征的相似性对第一图像中特征点和第二图像中特征点进行匹配，标记匹配成功的特征点对；

根据图像采集装置的运动范围，和/或所述特征点对的分布对所述匹配成功的特征点对降噪；

标记降噪后的特征点对为所提取特征点对。

具体地，根据所述特征点对的分布对所述匹配成功的特征点对降噪包括：

获取各匹配成功的特征点对中对应两特征点的位置关系；

根据所述位置关系将各特征点对点化得到转化点；

对转化点进行聚类，识别并保留转化点数量最多的类别对应的特征点对。

更具体地，获取各匹配成功的特征点对中对应两特征点的位置关系包括：对匹配成功的特征点，计算其两点坐标在x、y方向的差值Δx、Δy。

更具体地，根据所述位置关系将特征点对点化得到转化点包括：将匹配成功的两特征点连线，用所述连线的x、y方向的分量Δx、Δy为点坐标标记特征点对，得到转化点。

具体地，采用SURF算法或SIFT算法识别第一图像、第二图像中特征点，获取各特征点的特征向量作为特征。

更具体地，所述特征的相似性通过计算特征向量间差异系数d_ij获得，计算公式为：

；

其中，b_iw和b_jw分别表示第一图像特征点特征向量和第二图像特征点特征向量的第w维特征，W表示特征点的特征向量的维度。

进一步地，所述匹配包括：将所述差异系数d_ij与设定阈值进行比较，根据比较结果判断是否匹配成功。

具体地，根据图像采集装置的运动范围，对所述匹配成功的特征点对降噪包括：

根据图像采集装置的移动规范及两图像的初始定位构建约束模型对所述特征点对进行筛选，所述约束模型为：

；

其中，(x_j,y_j)和(x_j′,y_j′)分别为匹配成功的特征点对的两特征点的坐标，r为图像的高度，c为图像的宽度；t₁、t₂为与图像采集装置的y向平移距离、平移稳定性相关的限制系数，t₃、t₄为与图像采集装置的x向平移距离、平移稳定性相关的系数；其中，图像采集装置的x向和y向分别与图像的x向和y向对应，其中0≤t₁<1，0≤t₃<1，0<t₂<0.5，0<t₄<0.5。

更具体地，其中0≤t₁<0.8，0≤t₃<0.8，0<t₂<0.3，0<t₄<0.3。

一种图像拼接方法，包括步骤：

（1）图像采集装置定向平移依次获取至少两张图像，相邻两张图像间具有重合部分；

（2）提取第q张图像、第q+1张图像至画布；

（3）采用前述特征点对提取方法对第q张和第q+1张图像进行特征点对提取；

（4）基于步骤（3）所提取的特征点对中两特征点的位置关系获取第q+1张拼至第q张图像上的位置变换关系H_q；

（5）根据上述位置变换关系H_q将第q+1张图像拼接在第q张图像上；

（6）重复步骤（2）~（5），直至所有图像拼接完成。

具体地，在提取第q+1张图像至画布时，使第q+1张图像位置与第q张重合。

更具体地，还包括步骤：

对相邻图像的重叠区域进行融合处理去除叠影，所述融合处理为对重叠部分进行灰度值平均处理。

更具体地，所述图像采集装置为移动式C臂X光机。

有益效果：本发明通过对两张图像上的特征点进行提取匹配得到特征点对，并辅以图像采集移位、特征点对分布等因素对特征点对多次校正，可以准确提取出两张图像中的特征点对，进而对于存在重叠的区域的图像实现快速拼接，可克服图像采集装置视野受限的问题。

附图说明

图1为特征点对提取方法的流程图；

图2为特征点匹配图；

图3为图像拼接流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

参照图1，本发明提供的特征点对提取方法包括步骤：

S1、提取第一图像，识别第一图像中的特征点并标记所述特征点。

具体地，提取第一图像A1至画布，识别第一图像中特征点，获取第一图像中各特征点p_i的位置a_i及特征向量b_i，所有被识别的特征点构成第一特征点集P1，特征点集P1中每一特征点p_i用p_i(a_i,b_i)做身份标记。

在一种示范性实施例中，通过SURF（Speeded Up Robust Features）算法识别第一图像A1的特征点，SURF算法会为每个特征点p_i创建一个64维的特征向量b_i作为各特征点p_i的特征，该算法所对应特征向量为64维向量。也可通过SIFT算法识别，其对应特征向量为128维向量。SURF算法的提取速度相较其他特征提取算法更快，且精度与SIFT算法相当。本发明也可采用其他特征点识别算法，并不限于上述两种算法。

在一种示范性实施例中，提取第一图像A1至画布后，以第一图像A1左上顶点为原点，长边、宽边分别为x、y轴建立画布坐标系，进而获取各特征点的位置，各特征点位置a_i用其在画布坐标系中坐标（x_i,y_i）表示。

S2、提取第二图像A2至画布，识别第二图像中的特征点并标记所述特征点。所述第一图像A1与第二图像A2具有重叠区域。

具体地，对第二图像A2做与第一图像A1同样的处理，得到第二特征点集P2。第二特征点集P2中每一特征点p_j用p_j(a_j,b_j)做身份标记, 各特征点位置a_j，用其在画布坐标系中坐标（x_j,y_j）表示。

在一种示范性实施例中，第二图像A2提取至画布的位置与第一图像A1提取至画布的位置重合，也即第二图像A2的长边、宽边与画布坐标系x、y轴重合，以使第一图像A1第二图像A2中特征点所处的坐标系统一，方便计算。

S3、根据所述特征向量相似度，将第一图像中特征点与第二图像中的特征点进行匹配，标记匹配成功的特征点对得到第一特征点对集Q1。

具体包括：

S31、计算第一图像中各特征点p_i和第二图像中各特征点p_j特征向量的差异系数d_ij，计算公式为：

；

其中，b_iw和b_jw分别表示第一组特征点集P1中一特征点和第二组特征点集P2中一特征点的第w维特征，W表示特征点的特征向量的维度。差异系数越小，两特征点的相似度越高。

S32、将上述差异系数d_ij与阈值进行比较，根据比较结果判断是否匹配成功，若小于阈值，则匹配成功，否则将该特征点对剔除，标记匹配成功的两特征点并获取其位置关系。

在一种示范性实施例中，获取匹配成功的两特征点的位置关系U包括：对匹配成功的特征点，获取其两点坐标差值Δx、Δy，更为具体的将匹配成功的两特征点连线，计算该连线的x、y方向分量Δx、Δy。匹配成功的两特征点构成特征点对，所有匹配成功的特征点对构成第一特征点对集Q, 第一特征点对集Q中每一特征点对U_k用U_k(Δx_k,Δy_k)做身份标记。

在一种示范性实施例中，所述阈值通过下述方法获得：将S31计算所得所有差异系数d_ij从小至大进行排序，获取最大差异系数D；以eD为所述阈值，e为比例系数，进一步地，e<0.6。

S4、根据图像采集装置的运动范围，对第一特征点对集Q1中的特征点对进行降噪得到第二特征点对集Q2。

具体包括为：

S41、根据图像采集装置的运动范围构建约束模型，所述约束模型为：

；

其中，Δy=y_j-y_j′，Δx=x_j-x_j′，(x_j,y_j)和(x_j′,y_j′)分别为匹配成功的特征点对的两特征点的坐标，r为图像的高度，c为图像的宽度；t₁、t₂为与图像采集装置的y向平移距离、平移稳定性相关的限制系数，t₃、t₄为与图像采集装置的x向平移距离、平移稳定性相关的系数；其中，图像采集装置的x向和y向分别与图像的x向和y向对应，其中0≤t₁<1，0≤t₃<1，0<t₂<0.5，0<t₄<0.5。

约束原理：根据图像采集装置的移动范围和两图像的初始定位，第一图像和第二图像中的对应匹配点对的位置关系会存在一定规律，因此可以根据两张图像中对应特征点的位置关系排除错误匹配的特征点对。特征点对能自动提取的前提是两张图像中有重复的部分，上述约束条件对特征点在图像坐标系的x、y轴的移动距离构成限制，不能超过图像本身的视野长度或宽度，否则没有重叠区域。进一步地，当移动距离大于0.8的图像视野长度或宽度时，将此法用于图像拼接会因两次重叠区域较小影响拼接准确性。进一步地，图像一般仅关注图像中间区域，如对图像采集装置y向正向移动获取图像的拼接，x向基本不会移动，常规图像采集装置移动稳定性造成的x向的偏移也小于0.3的图像视野宽度，此外，若x向实际的偏移大于0.3图像视野宽度，会导致所关注的图像中间区域部分缺失，从而失去图像拼接的意义。

在一种示范性实施例中，图像采集装置是沿图像y向正向移动获取图像，特征点对位置关系应满足上述模型（1）、（2）及Δy>0，其中t₁取值为0.5~0.8，t3取值为0，t₂、t₄取值均为0.1~0.3。进一步地，图像采集装置沿其y向正向移动步长0.8r获取的图像，图像视野的y轴方向的移动范围等于0.8r，y向的移动准确性有0.1r以内的偏差，x向不动，x向的维持有0.1c以内的偏差，其中t₁=0.8，t₂=0.1，t₃=0，t₄=0.1。

在另一种示范性实施例中，图像采集装置是沿图像x向负向移动获取图像，特征点对应满足上述模型（1）、（2）及Δx<0，t₁取值为0，t₃取值为0.5~0.8，t₂、t₄取值均为0.1~0.3。

S42、判断第一特征点对集Q1中所有特征点对是否满足步骤S41的约束条件，根据所述判断结果获取第二特征点对集Q2，也即标记满足该约束条件的特征点对U_k'组成第二特征点对集Q2，不满足所述约束条件的特征点认为是不合格特征点对，将其剔除。

在一种示范性实施例中，将第二特征点对集Q2中特征点对U_k'标记为最终特征点对。

在一种示范性实施例中，还包括：

S5、对第二特征点对集Q2中的所有特征点对U_k'进行聚类，标记特征点对数量最多的类别对应的特征点对U_k''得到第三特征点对集Q3。

具体包括：

S51、根据特征点对两特征点的位置关系，将第二特征点对集Q2中各特征点对U_k'点化，得到转化点Z_k'。具体为：根据特征点对身份标记U_k(Δx_k,Δy_k)，提取第二特征点对集Q2中各特征点对U_k'的位置关系(Δx_k',Δy_k')作为转化点Z_k'的坐标。

S52、根据上述转化点Z_k'绘制其直方分布图。具体地，将第二特征点对集Q2中的所有转化点Z_k'放入平面直角坐标系。其放入平面直角坐标系后会产生分布规律，转化点Z_k'位置相似的点对会在同一区域聚集。

S53、在上述直方分布图的平面直角坐标系中的转化点Z_k'中随机选取num个点作为各类别的初始中心。

进一步地，，其中N为第二特征点对集Q2中特征点对U_k'的数量，也即转化点Z_k'的数量，该选值时可有效进行分组，且对特征点对U_k'分类的准确性较高。

S54、根据各转化点Z_k'到各类当前中心的距离，对各转化点Z_k'进行分类，得到num个初始聚类，并获取各类的初始聚类因子T。

其中，所述对各转化点Z_k'进行分类分类为计算转化点Z_k'到当前各中心的距离，将该转化点Z_k'分配至与其距离L最小的中心，直到所有转化点Z_k'分配完毕得到初始聚类，对每一类别计算其初始聚类因子T，计算公式为：

；

其中，L_m为该类中第m个转化点到对应中心的距离，n为该类内转化点Z_k'的数量。

S55、根据当前num个聚类各类中转化点Z_k'的位置更新当前各类中心，获取当前各类中心（即本步更新后各类中心）对应的当前聚类因子T'。

其中，更新当前各类中心为根据当前各类中所有转化点Z_k'的位置确定当前各类中心。更为具体的为计算当前各类中所有转化点Z_k'坐标的平均坐标值，根据所述平均坐标值更新当前各类中心位置。

S56、计算初始聚类因子T与当前聚类因子T'的差值∆T，判断各类别的对应的差值∆T是否均小于设定阈值，否则返回步骤（54）；若是，则结束聚类。

S57、统计当前聚类结果中各类转化点Z_k'的数量，数量最多的类所对应的特征点对U_k''构成第三特征点对集Q3。

S58、将第三特征点对集Q3中特征点对标记为最终识别的特征点对。

聚类原理：由于图像采集装置是在一个方向上平移推动，这样的变换映射到图像中表现为特征点在x轴或y轴上的平行移动，并且在每个轴向上的移动距离应该分别具有一致性，因此，特征点对中两点之间的位置关系也是具有一致性的，基于此可对第二特征点对集Q2中的特征点进一步降噪。

本发明还提供了一种基于前述特征点对提取方法的图像拼接方法，如图3所示，包括如下步骤：

（1）图像采集装置定向平移依次获取至少两张图像，相邻两张图像间具有重合部分。在一种示范性实施例中，图像采集装置为移动式C臂X光机，图像为脊椎图像。

（2）提取第q张图像、第q+1张图像至画布。

（3）采用前述任一种特征点对提取方法对第q张和第q+1张图像进行特征点对提取。

（4）基于步骤（3）所提取的特征点对中两特征点的位置关系，获取第q+1张到第q张图像的位置变换关系H_q。

具体包括：构建两图像间的匹配关系模型 ，其中，r₁、r₂、r₃、r₄分别为表示与旋转相关的模型参数，t_x与t_y为表示平移相关的模型参数；

用步骤（3）所得各特征点对构建方程组：

；

……；

；

其中（x₁,y₁）、（x₁′,y₁′）为第一对特征点对中两特征点的坐标，（x_M,y_M）、（x_M′,y_M′）为第M对特征点对中两特征点的坐标。

通过SVD算法解上述方程组，计算得到模型参数r₁、r₂、r₃、r₄、t_x、t_y的确定值，进而得到图像匹配关系H_q。

（5）根据上述位置变换关系H_q将第q+1张图像拼接在第q张图像上。

（6）重复步骤（2）~（5）, 直至所有图像拼接完成。

（7）对相邻图像的重叠区域进行融合处理去除叠影，进而得到全景拼接图。在一种示范性实施例中，融合处理包括对重叠部分进行灰度值平均处理。

本发明通过对两张图像上所匹配的特征点对进行运动约束和/或聚类，大幅提高了特征点对的置信度，进而为图像准确拼接提供基础，加之对于图像重叠的区域融合处理，可快速实现不同图段图像快速、准确、自动拼接。如对多段具有重合区域的脊柱图像能进行智能自动拼接得到脊柱全景图像，以利于直观整体观察整根脊柱，克服图像采集装置视野受限的问题。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换（如数量、形状、位置等），这些等同变换均属于本发明的保护范围。

Claims (12)

1.特征点对提取方法，其特征在于，包括步骤：

分别识别第一图像、第二图像中特征点，获取各特征点位置及特征；

根据各特征点所述特征的相似性对第一图像中特征点和第二图像中特征点进行匹配，标记匹配成功的特征点对；

根据图像采集装置的运动范围和所述特征点对的分布对所述匹配成功的特征点对降噪；

根据图像采集装置的运动范围对所述匹配成功的特征点对降噪包括：

根据图像采集装置的移动规范及两图像的初始定位构建约束模型对所述特征点对进行筛选，所述约束模型为：

；

其中，(x_j,y_j)和(x_j′,y_j′)分别为匹配成功的特征点对的两特征点的坐标，r为图像的高度，c为图像的宽度；t₁、t₂为与图像采集装置的y向平移距离、平移稳定性相关的限制系数，t₃、t₄为与图像采集装置的x向平移距离、平移稳定性相关的系数；所述图像采集装置的x向和y向分别与图像的x向和y向对应；

根据所述特征点对的分布对所述匹配成功的特征点对降噪包括：

获取各匹配成功的特征点对中对应两特征点的位置关系；

根据所述位置关系将各特征点对点化得到转化点；

对转化点进行聚类，识别并保留转化点数量最多的类别对应的特征点对；

标记降噪后的特征点对为所提取特征点对。

2.根据权利要求1所述的特征点对提取方法，其特征在于，获取各匹配成功的特征点对中对应两特征点的位置关系包括：对匹配成功的特征点，计算其两点坐标在x、y方向的差值Δx、Δy。

3.根据权利要求1所述的特征点对提取方法，其特征在于，根据所述位置关系将特征点对点化得到转化点包括：将匹配成功的两特征点连线，用所述连线的x、y方向的分量Δx、Δy为点坐标标记特征点对，得到转化点。

4.根据权利要求1所述的特征点对提取方法，其特征在于，采用SURF算法或SIFT算法识别第一图像、第二图像中特征点，获取各特征点的特征向量作为特征。

5.根据权利要求4所述的特征点对提取方法，其特征在于，所述特征的相似性通过计算特征向量间差异系数d_ij获得，计算公式为：

；

其中，b_iw和b_jw分别表示第一图像特征点特征向量和第二图像特征点特征向量的第w维特征，W表示特征点的特征向量的维度。

6.根据权利要求5所述的特征点对提取方法，其特征在于，所述匹配包括：将所述差异系数d_ij与设定阈值进行比较，根据比较结果判断是否匹配成功。

7.根据权利要求1所述的特征点对提取方法，其特征在于，其中，0≤t₁<1，0≤t₃<1，0<t₂<0.5，0<t₄<0.5。

8.根据权利要求7所述的特征点对提取方法，其特征在于，其中，0≤t₁<0.8，0≤t₃<0.8，0<t₂<0.3，0<t₄<0.3。

9.一种图像拼接方法，其特征在于，包括步骤：

（1）图像采集装置定向平移依次获取至少两张图像，相邻两张图像间具有重合部分；

（2）提取第q张图像、第q+1张图像至画布；

（3）采用权利要求1~8任一种特征点对提取方法对第q张和第q+1张图像进行特征点对提取；

（4）基于步骤（3）所提取的特征点对中两特征点的位置关系获取第q+1张拼至第q张图像上的位置变换关系H_q；

（5）根据上述位置变换关系H_q将第q+1张图像拼接在第q张图像上；

（6）重复步骤（2）~（5），直至所有图像拼接完成。

10.根据权利要求9所述的图像拼接方法，其特征在于，在提取第q+1张图像至画布时，使第q+1张图像位置与第q张重合。

11.根据权利要求9所述的图像拼接方法，其特征在于，还包括步骤：

对相邻图像的重叠区域进行融合处理去除叠影，所述融合处理为对重叠部分进行灰度值平均处理。

12.根据权利要求9所述的图像拼接方法，其特征在于，所述图像采集装置为移动式C臂X光机。