CN107451610A

CN107451610A - 一种提高特征匹配精度的图像检测方法

Info

Publication number: CN107451610A
Application number: CN201710609110.1A
Authority: CN
Inventors: 郭树理; 韩丽娜; 郝晓亭; 司全金; 林辉; 陈启明; 刘宏斌; 刘宏伟; 刘丝雨
Original assignee: Chinese PLA General Hospital; Beijing Institute of Technology BIT
Current assignee: Chinese PLA General Hospital; Beijing Institute of Technology BIT
Priority date: 2016-12-29
Filing date: 2017-07-25
Publication date: 2017-12-08
Anticipated expiration: 2037-07-25
Also published as: CN107451610B

Abstract

本发明公开了一种提高特征匹配精度的图像检测方法，属于医学计算机技术领域。本发明对SIFT算法进行改进，利用图像Radon变换得到的值构成特征向量，利用此方法本发明将其从128维降到了24维，从而提高算法的实时性。与此同时，为了配合改进特征向量的匹配，于是本发明选用了两种剔除误匹配的方法，先用结构相似度对匹配点对进行粗剔除，再利用空间几何的分布情况以及对其进行的约束条件实现对匹配点的精剔除。本发明在不影响图像匹配效果的基础上，不仅能够提高配比速度，而且能够提高匹配精度，能实现实时性。

Description

一种提高特征匹配精度的图像检测方法

技术领域

本发明涉及一种提高特征匹配精度的图像检测方法，属于医学计算机技术领域。

背景技术

在20世纪之后，医学图像技术就有了日新月异的变化。医学图像依据其提供的信息可分为两种，一是解剖结构图像，如CT、MRI、B超等，这种图像的像素分辨率高，可以将解剖的细节信息显示的一目了然，但各个器官的功能信息及新陈代谢信息却无能为力；二是功能图像，如SPECT、PET等，这种图像可以完整的显示器官的相关信息，但像素分辨率比较低，对解剖的一些细节却无能为力。尽管这些对医学图像的研究已有了很大的帮助，但由于各自提供图像信息的局限性，使得医生在诊断时需要结合他们的经验和空间构想及揣摩去判断所需要的信息，这就存在主观性的影响，还可能忽略掉一些信息。为了解决这种问题，可以通过信息融合技术把这两种图像相结合，各取所长，这对病情的诊断起到了很大的帮助作用。然而图像融合的基础和关键就是图像匹配技术。而且，目前最热门的研究课题之一就是追求一种可以同时应用于医学图像、遥感图像以及计算机视觉中的图像匹配技术。因此，现在好多学者从图像配准中的关键技术入手，对已有算法进行改进或研究更好的图像配准算法去满足人们对图像处理的高要求。图像匹配算法的关键要素由四部分组成：特征空间、搜索空间、相似性度量和搜索策略。其中，特征空间由算法提取出的图像相关信息构成；搜索空间是统一两幅图像的空间分布；相似性度量是计算匹配点之间的相似程度；搜索策略是寻找最佳的匹配。

一般情况下我们将误匹配分两种情况进行考虑：①由定位错误的存在而造成的误匹配点，这种情况的产生源自于图像上的噪声以及采用的匹配算法影响；②由匹配点中存在的局部相似等现象带来的。SIFT算法的特征向量是从梯度方向直方图获取的，具有128维。在特征匹配时就需要花费很长的时间，从而影响SIFT算法的实时性。

发明内容

针对以上问题，本发明选用了Radon变换对SIFT算法进行改进，利用图像Radon变换得到的值构成特征向量，利用此方法本发明将SIFT算法从128维降到了24维，从而提高算法的实时性。与此同时，为了配合改进特征向量的匹配，本发明采用了两种剔除误匹配的方法，先用结构相似度对匹配点对进行粗剔除，再利用空间几何的分布情况以及对SIFT算法进行的约束条件从而实现对匹配点的精剔除。这样，本发明的改进算法在提高实时性的同时匹配精度也有很好的改善。

本发明提出了一种提高特征匹配精度的图像检测方法，包括：

步骤1、用Roberts算子对待检测图像I(x,y)进行滤波，生成高斯平滑图像；或者：选取不同的尺度因子σ，将二维高斯函数G(x,y,σ)与图像的每一个像素点进行卷积，生成高斯平滑图像；

步骤2、用高斯差分尺度空间函数计算所述高斯平滑图像，生成DOG图像；

步骤3、提取所述DOG图像的特征点，确定其位置和尺度；

步骤4、以SIFT算法获取的每个精确特征点为中心，用Radon变换得到不同角度直线上的一系列投影图，并计算其Radon变换值，得到图像的特征描述符，改进算法的特征描述符，生成特征向量；

步骤5、用结构相似度函数和空间几何关系约束的方法，删除不稳定的特征点，在此基础上进行特征向量匹配，用街区距离来度量实现特征点的匹配。

进一步地，步骤3具体为：

S3.1：采用拟合函数进行子像素插值，将离散空间中的极值点插值后变成一个连续曲线，精准定位特征点；

S3.2：采用DOG函数在尺度空间中的泰勒级数筛选高对比度特征点，去除低对比度的特征点，DOG函数泰勒展开式如下：

式中，X＝(x,y,σ)^T，D是选定的常数，上标T表示矩阵的转置运算。为了求解极值点就需要对公式(1)求导，并使其导数为零，则得到的极值点是并将其代入公式(1)中就得到了对应于特征点的值若|D(X)|≥0.03，则保留特征点；否则丢弃。

S3.3：使用Hessian矩阵求出极值点水平方向和垂直方向的主曲率，消除边缘响应。Hessian矩阵公式如下：

其中，矩阵中的四个元素分别是DOG函数对x的二阶偏导数，DOG函数对x，y的二阶混合偏导数及DOG函数对y的二阶偏导数。α和β是矩阵H的特征值，在这里又表示x和y方向的梯度值。则矩阵H的迹Tr(H)和行列式Det(H)分别为：

令特征值α>β，设α＝γβ，γ表示特征值α与β的数值倍数关系，则有：

在特征值α＝β时，(γ+1)²/γ取得最小值。若α≠β时，即γ≠1时，则表明在水平和垂直中的一个方向上的梯度值会很大，而另一个却很小，这也就是所谓的边缘特征点。通过设定阈值实现消除边缘响应点。

当上式成立时，就保留此特征点；反之剔除。一般取γ＝10。

进一步地，步骤4具体为：

S4.1在Radon变换的基础上加入乘积因子获得特征点的主方向y'，设主方向y'与坐标轴y的夹角为θ；积分函数如下：

S4.2以特征点为圆心，以主方向所在直线y'为0角度基准，以ω角度间隔旋转方式在整个坐标平面作其他d-1条直线l₁,l₂,…,l_d-1，相邻2条直线的夹角为ω＝2π/d，对图像I(x,y)在上述d条直线上进行Radon变换。作为优选，取d＝24，ω＝15°。

S4.3由Radon变换值得到d维特征描述符，表示为并对其长度进行归一化处理。

进一步地，步骤5具体为：

S5.1构建结构相似度函数,如下所示：

SSIM(I₁,I₂)＝[l(I₁,I₂)]^u[c(I₁,I₂)]^v[s(I₁,I₂)]^w (7)

式中，l(I₁,I₂)是亮度比较函数，c(I₁,I₂)是对比度比较函数，s(I₁,I₂)是结构比较函数，I₁,I₂分别表示两幅进行特征匹配的图像，u>0,v>0,w>0,这三个参量分别是用来调整这三个函数权重关系的。

S5.2通过对比两幅图像上匹配点的结构信息，通过对其相似度函数进行计算实现对初始匹配结果的粗检查，利用结构相似度函数粗剔除误匹配点；

S5.3对于粗检查遗留下的匹配点，考虑匹配点在图像上的空间几何分布情况，利用此特性进行精检查，利用空间几何关系约束精剔除误匹配点。

本发明提出了一种提高特征匹配精度的图像检测方法，与SIFT方法相比，本发明在不影响图像匹配效果的基础上，不仅能够提高配比速度，而且能够提高匹配精度，能实现实时性。

附图说明

图1是本发明的步骤流程图；

图2是由图像Radon变换生成的SIFT特征向量图，其中，图(a)是图形坐标及特征点方向示意图，图(b)是图像Radon变换示意图；

图3是在夹角变化时的特征描述符的匹配时间和匹配稳定性仿真结果；

图4是用结构相似度函数粗剔除误匹配点的SSIM值的计算示意图；

图5是用空间几何关系约束精剔除误匹配点的几何关系描述示意图；

图6是本发明剔除误匹配点的流程图；

具体实施方式

下面结合附图说明本发明的具体实施过程。

一种提高特征匹配精度的图像检测方法，其步骤流程图如图1所示。具体包括以下步骤。

步骤1、用Roberts算子对待检测图像I(x,y)进行滤波，生成高斯平滑图像；或者：选取不同的尺度因子σ，将二维高斯函数G(x,y,σ)与待检测图像I(x,y)的像素进行卷积，生成高斯平滑图像；

步骤2、用高斯差分尺度空间函数计算上步输出的高斯平滑图像，生成DOG图像；

步骤3、提取所述DOG图像特征点，确定其位置和尺度；

步骤4、以SIFT算法获取的每个精确特征点为中心用Radon变换得到不同角度直线上的一系列投影图，并计算其Radon变换值，得到图像的特征描述符，改进算法的特征描述符，生成特征向量，具体为：

S4.1在Radon变换的基础上加入乘积因子获得特征点的主方向y'，并与坐标轴y的夹角为θ，积分函数如下：

其中，S是以匹配点为中心的积分范围，等同于原算法统计像素点的图像区域。

如图2所示，图(a)是图像坐标及特征点主方向，图(b)是图像Radon变换的示意图。

S4.2以特征点为圆心，以主方向所在直线y'为0角度基准，以ω角度间隔旋转方式在整个坐标平面作其他d-1条直线l₁,l₂,…,l_d-1，相邻2条直线的夹角为ω＝2π/d，对图像I(x,y)在上述d条直线上进行Radon变换。图像I(x,y)在主方向直线y'上的Radon变换为：

同理，图像I(x,y)在直线l₁,l₂,…,l_d-1上的Radon变换为：

其中，表示(x,y)在以直线l_n为纵轴的新的坐标体系上的投影，ω_n＝θ+nω，n＝1,2,…,d-1。

S4.3选取适当的夹角ω，由Radon变换值得到d维特征描述符，表示为并对其长度进行归一化处理。

选取的夹角ω不同，图像生成的特征描述符维数也就不同，则图像匹配所用的时间和外界存在干扰时的匹配稳定性也是不同的。作为优选，取d＝24，ω＝15°。

如图3所示，本发明通过结合图像的匹配时间和匹配稳定性来综合考虑，故选择ω＝2π/24＝15°，即选择的d＝24，则通过计算特征点区域图像在主方向y'及直线l₁,l₂,…,l₁₁上的Radon变换值，可得到24维的特征描述符。

步骤5.用结构相似度函数和空间几何关系约束的方法，删除不稳定的特征点，在此基础上进行特征向量匹配，用街区距离来度量实现特征点的匹配。

令两幅匹配图像生成的d维特征向量分别为：

原算法的相似度量函数如下：

本发明使用街区距离来度量，即

比较公式(11)和公式(12)可以看出，d₂比d₁的计算量要少很多。为了降低计算的误差，设一个参数k，以kd₂代替d₁，即d₁＝kd₂，很明显，d₂只需要一次乘法运算，而d₁却需要24次的乘法运算以及一次的开平方运算。如果本发明生成的24维特征向量共有k个特征点，则每个特征点就会减少23k次的计算。可见，本发明的方法需要的运算时间明显要少好多，但其误匹配点就会增多，如果用SIFT算法的RANSAC剔除误匹配点，由于RANSAC的模型参数不固定，使其剔除的效果不佳。所以本发明选用图像的结构信息来比较图像的相似度。先计算匹配点邻域窗口的结构相似度，把结构相似度大于阈值的匹配点保留，结构相似度小于阈值的匹配点剔除；再根据匹配点的空间几何分布情况，对其进行约束，从而进一步剔除一些结构相似的误匹配点。

S5.1构建结构相似度函数

本发明构建的结构相似度函数如下：

SSIM(I₁,I₂)＝[l(I₁,I₂)]^u[c(I₁,I₂)]^v[s(I₁,I₂)]^w (15)

以下是对各个函数的相关定义：

(1)亮度比较函数

式中，分别是I₁,I₂的灰度均值，即：

C₁是常数，是为了函数分母不为零，保持函数稳定性的，其中C₁＝(K₁L)²，L是像素值的范围，K₁是一个非常小的常数，一般取0.01。

(2)对比度比较函数

式中，分别是I₁,I₂的灰度方差，即：

同样，C₂是常数，C₂＝(K₂L)²，是为了函数分母不为零，保持函数稳定性的，K₂是一个非常小的常数。

(3)结构比较函数

式中，是图像I₁、I₂的灰度协方差，一般取C₃＝C₂/2，其中协方差表示为：

当两幅图像相同时，即I₁＝I₂，则l(I₁,I₂)＝1，同样s(I₁,I₂)＝1，所以0≤l(I₁,I₂)≤1，0≤s(I₁,I₂)≤1。为了使图像的亮度和对比度是最佳，本发明取u＝v＝1。为了计算方便，取w＝1，C₃＝C₂/2，则结构相似度公式简化为：

函数SSIM(I₁,I₂)满足以下条件：

①对称性：SSIM(I₁,I₂)＝SSIM(I₂,I₁)，改变两幅图像的前后顺序，SSIM(I₁,I₂)值不变。

②有界限：0<SSIM(I₁,I₂)≤1，SSIM(I₁,I₂)值越接近1，说明两幅图像的相似程度越高；

③有唯一最大值：SSIM(I₁,I₂)＝1，当且仅当I₁＝I₂；即当两幅图像完全相同时，SSIM(I₁,I₂)值取的最大值1。

S5.2用结构相似度函数粗剔除误匹配点

本发明利用两幅图像上匹配点的结构信息，通过对其相似度函数进行计算来实现对初始匹配结果的粗检查。具体实现如图4所示，本发明分别以两幅图像上获取的初始匹配点为中心建立大小为a×a邻域窗口，再以a×a内的每个像素点为中心建立一个b×b的子窗口，计算其SSIM(I₁,I₂)值，并将该值作为每个像素点的SSIM(I₁,I₂)值；得到邻域窗口内每个像素点的SSIM(I₁,I₂)值，将其组成邻域窗口图像的结构相似度图，结构相似度图可以作为局域区域图像相似度的直观反映；利用公式(21)计算匹配点的结构相似度，即匹配点的结构相似度等于窗口内所有像素点的SSIM(I₁,I₂)值的平均值：

其中，M为匹配点所在的邻域窗口内像素点的总数目。

计算MSSIM(I₁,I₂)值，若MSSIM(I₁,I₂)≥T时，则匹配点为正确的；相反，若MSSIM(I₁,I₂)<T时，认为是误匹配点，则删除。结构相似度阈值设置为T(一般T取0.6≤T<1之间的数)。

S5.3利用空间几何关系约束精剔除误匹配点

对于那些经过结构相似度剔除仍然遗留下来的匹配点对，本发明将考虑匹配点在图像上的空间几何分布情况，利用这一特性进行进一步的精检查，剔除遗留下来的匹配点对。本发明依据两幅图像上的匹配点在空间上的分布情况基本上是相同的，在图像存在尺度、旋转等变化时也不会有很大的位置变化。所以，本发明用角度关系描述匹配点对在空间中的几何分布情况，从而进行判断匹配点是否正确。具体实现的步骤如下：

(1)如图5所示，本发明分别计算两幅图像中匹配点的算术平均值坐标，将算术平均值坐标作为所有匹配点的中心位置，令中心位置标为o；

(2)以中心位置o为原点，建立直角坐标系o-xy；将两幅图像上相对应的匹配点对P₁与P₂分别与各自的坐标原点o进行连线，得到与x轴正方向的夹角分别为θ₁、θ₂；

(3)计算|θ₁-θ₂|，若|θ₁-θ₂|≤90°，则留下匹配点；若|θ₁-θ₂|>90°，则删除匹配点；再计算cos(|θ₁-θ₂|)，若cos(|θ₁-θ₂|)≥T₀，则留下匹配点；若cos(|θ₁-θ₂|)<T₀，则删除匹配点。

(4)当两幅进行匹配的图像完全一样时，即θ₁＝θ₂，则cos(|θ₁-θ₂|)＝1。阈值T₀的设定是根据匹配图像的匹配点的实际空间几何分布情况来决定的，一般T₀取0.6≤T₀<1之间的数。最后，进行改进算法的特征匹配。

如图6所示，图中是剔除误匹配点的流程图。本发明通过采用结构相似度函数和空间几何关系约束进行由粗到精的删除错误匹配点，最后保留下正确的匹配点。

Claims

1.一种提高特征匹配精度的图像检测方法，包括步骤：

S1、用Roberts算子对待检测图像I(x,y)进行滤波，生成高斯平滑图像；或者：选取不同的尺度因子σ，将二维高斯函数G(x,y,σ)与待检测图像I(x,y)的每一个像素点进行卷积，生成高斯平滑图像；

S2、用高斯差分尺度空间函数计算所述高斯平滑图像，生成DOG图像；

S3、提取所述DOG图像的特征点，确定其位置和尺度；

S4、以SIFT算法获取的每个精确特征点为中心，用Radon变换得到不同角度直线上的一系列投影图，并计算其Radon变换值，得到图像的特征描述符，改进算法的特征描述符，生成特征向量；

S5、用结构相似度函数和空间几何关系约束的方法，删除不稳定的特征点，在此基础上进行特征向量匹配，用街区距离来度量实现特征点的匹配。

2.如权利要求1所述的图像检测方法，其特征在于，所述步骤S3包括：

S3.1：用拟合函数进行子像素插值，将离散空间中的极值点插值后变成一个连续曲线，精准定位特征点；

S3.2：用DOG函数在尺度空间中的泰勒级数筛选高对比度特征点，去除低对比度的特征点；

S3.3：用Hessian矩阵求出极值点水平方向和垂直方向的主曲率，消除边缘响应。

3.如权利要求2所述的图像检测方法，其特征在于，所述DOG函数泰勒展开式为：

其中，X＝(x,y,σ)^T，D是选定的常数，上标T表示矩阵的转置运算，得到的极值点是其对应于特征点的值为若|D(X)|≥0.03，则保留特征点；否则丢弃。

4.如权利要求2所述的图像检测方法，其特征在于，所述S3.3通过设定阈值实现，当满足时，就保留此特征点；反之剔除；其中，H是Hessian矩阵矩阵中的四个元素分别是DOG函数对x的二阶偏导数、DOG函数对x，y的二阶混合偏导数及DOG函数对y的二阶偏导数；Tr(H)是矩阵H的迹，Tr(H)＝D_xx+D_yy＝α+β；

Det(H)是矩阵H的行列式，Det(H)＝D_xxD_yy-(D_xy)²＝αβ，式中，α和β是矩阵H的特征值，也是x和y方向的梯度值；设特征值α>β，γ表示特征值α与β的数值倍数，α＝γβ。

5.如权利要求4所述的图像检测方法，其特征在于，所述γ＝10。

6.如权利要求1所述的图像检测方法，其特征在于，所述步骤S4包括：

S4.1：在Radon变换的基础上加入乘积因子获得特征点的主方向y'，设主方向y'与坐标轴y的夹角为θ；

S4.2：以特征点为圆心，以主方向所在直线y'为0角度基准，以ω角度间隔旋转方式在整个坐标平面作其他d-1条直线l₁,l₂,…,l_d-1，相邻2条直线的夹角为ω＝2π/d，对图像I(x,y)在上述d条直线上进行Radon变换：

<mrow> <msub> <mi>R</mi> <msub> <mi>&omega;</mi> <mi>n</mi> </msub> </msub> <mrow> <mo>(</mo> <msub> <mi>x</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Integral;</mo> <mi>s</mi> </munder> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <mrow> <mo>|</mo> <mrow> <msub> <mi>x</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <msub> <mi>cos&omega;</mi> <mi>n</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <msub> <mi>sin&omega;</mi> <mi>n</mi> </msub> </mrow> <mo>|</mo> </mrow> </mrow> </mfrac> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <msub> <mi>cos&omega;</mi> <mi>n</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <msub> <mi>sin&omega;</mi> <mi>n</mi> </msub> <mo>,</mo> <msub> <mi>x</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <msub> <mi>sin&omega;</mi> <mi>n</mi> </msub> <mo>+</mo> <msub> <mi>y</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <msub> <mi>cos&omega;</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>dy</mi> <msub> <mi>l</mi> <mi>n</mi> </msub> </msub> <mo>,</mo> </mrow>

其中，S是以匹配点为中心的积分范围，表示(x,y)在以直线l_n为纵轴的新的坐标体系上的投影，ω_n＝θ+nω，n＝0,1,…,d-1；

S4.3：由Radon变换值得到d维特征描述符，并对其长度进行归一化处理。

7.如权利要求6所述的图像检测方法，其特征在于，所述d＝24，α＝15o。

8.如权利要求1所述的图像检测方法，其特征在于，所述步骤S5包括：

S5.1：构建结构相似度函数SSIM(I₁,I₂)＝[l(I₁,I₂)]^u[c(I₁,I₂)]^v[s(I₁,I₂)]^w，其中，I₁,I₂分别表示两幅进行特征匹配的图像，l(I₁,I₂)是亮度比较函数，c(I₁,I₂)是对比度比较函数，s(I₁,I₂)是结构比较函数，上标u、v和w是用来调整函数权重关系的参量，u>0,v>0,w>0。

S5.2：根据结构相似度函数SSIM(I₁,I₂)在选定窗口的平均值MSSIM(I₁,I₂)与阈值T的关系粗剔除误匹配点：若MSSIM(I₁,I₂)≥T时，则保留；若MSSIM(I₁,I₂)<T时，则删除；

S5.3：在S5.2基础上，利用空间几何关系约束精剔除误匹配点：先计算|θ₁-θ₂|，若|θ₁-θ₂|≤90°，则留下匹配点；若|θ₁-θ₂|>90°，则删除匹配点；再计算cos(|θ₁-θ₂|)，若cos(|θ₁-θ₂|)≥T₀，则留下匹配点；若cos(|θ₁-θ₂|)<T₀，则删除匹配点；其中，θ₁和θ₂的求得过程为：先计算两幅图像I₁,I₂中匹配点的算术平均值坐标，将算术平均值坐标作为所有匹配点的中心位置o；以o为原点，建立直角坐标系o-xy；将两幅图像I₁,I₂上相对应的匹配点对P₁与P₂分别与各自的坐标原点o进行连线，得到与x轴正方向的夹角分别为θ₁、θ₂；最后，用街区距离来度量实现进行特征匹配。

9.如权利要求8所述的图像检测方法，其特征在于，所述亮度比较函数所述对比度比较函数所述结构比较函数其中，分别是I₁、I₂的灰度均值，分别是I₁、I₂的灰度方差，是图像I₁、I₂的灰度协方差，C₁、C₂是常数，C₃＝C₂/2。

10.如权利要求8所述的图像检测方法，其特征在于：0.6≤T<1，0.6≤T₀<1。