CN106548491A - 一种图像配准方法、其图像融合方法及其装置 - Google Patents

Abstract

本发明公开了一种图像配准方法、其图像融合方法及其装置。该配准方法包括：检测图像中的特征点；根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵；所述旋转不变矩阵随图像的旋转在垂直和水平方向上相应的移动；根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离；确定具有最小旋转不变距离的两个特征点为匹配特征点；根据预定的方法消除错误配对并获得变换模型的估计以配准图像。其通过使用旋转不变特征矩阵很好的对特征点的旋转不变特征进行了描述，据此计算获得旋转不变距离进行特征点的匹配，提高了匹配率和精确性。

Description

一种图像配准方法、其图像融合方法及其装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像配准方法、其图像融合方法及其装置。

背景技术

视网膜眼底图像是糖尿病、青光眼、高血压、冠心病等疾病诊断的重要依据，这些疾病发生后通常会导致视网膜血管形态发生变化，且视网膜病变特征与许多疾病的各期变化特征关联密切，因此研究视网膜眼底图像能为医务工作者诊断疾病提供重要依据。

目前，临床眼底检查应用最广泛的两类图像是无赤光图像和荧光素血管造影图像，其中，无赤光图像是在眼底照相机内插入无赤光滤光片，去除照明光束中的长波光线后得到的图像，无赤光图像中血管和背景的对比度高于传统全色图像，目前主要用于检查视网膜表层。血管造影图像是指静脉注射荧光素后，持续拍摄眼底血管中染料循环时发射出的荧光形态，以查看视网膜血液的循环功能，找出新生血管，渗漏等眼底无赤光图像不能获取的信息，无赤光图和造影图像携带的信息相互补充，是临床眼底病变诊断与治疗的非常重要的手段，而对这两种图像的配准与信息融合更是眼底检查的关键一环。

现有无赤光/造影图像配准方法主要包括两类：一是基于灰度的配准方法，二是基于特征的配准方法。其中，对于基于灰度的配准方法而言，由于眼底图像成像分辨率不高，灰度非线性差异大，会导致互信息等测度统计意义显著下降。另外，其受图像重叠区域的影响较大，当图像遇到遮挡，病理畸变等干扰时，该方法性能下降明显，且在全局优化计算时存在陷入局部极小值的风险。

鉴于以上原因，现有研究多采用基于特征的配准方法，根据使用的特征类型不同，可分为基于特征点，线和树结构的方法。基于线，树结构的配准方法高度依赖于血管分段，血管树的提取，而准确提取血管分段，血管树本身就是研究中的重要课题，特别是在病理，噪声，成像质量下降的情况，精确提取血管树更加困难。相比之下，采用特征点配准不依赖与精确血管树分割，并能有效处理图像重叠区域下降，局部遮挡等问题，从而能较好的控制配准的稳健性。

近年来，许多基于特征点的旋转不变配准方法被提出，比如SIFT(尺度不变特征变换)和GLOH(梯度直方图)。SIFT和GLOH方法均会为每个特征点计算一个主方向来建立一个旋转无关的特征向量用于配准。

但是，在多模态图像的灰度差异呈非线性，很难为特征点计算一个共同的主方向。如图1所示，为现有的PIFD方法(改进的SIFT)的多模态图像配准示意图，从图中可以看到，现有的基于特征点的多模态图像配准方法中，由于多模态图像间的非线性灰度差异，特征点的主方向难确定，图像旋转角度过大将会导致失配。

因此，现有技术还有待发展。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种图像配准方法、其图像融合方法及其装置，旨在解决现有技术中基于特征点的配准方法在旋转角度过大时导致失配，难以确定主方向的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种图像配准方法，其中，包括：

检测图像中的特征点；

根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵；所述旋转不变矩阵随图像的旋转在垂直和水平方向上相应的移动；

根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离；

确定具有最小旋转不变距离的两个特征点为匹配特征点；

根据预定的方法消除错误配对并获得变换模型的估计以配准图像。

所述的图像配准方法，其中，所述检测图像中具有几何显著性的特征点，具体包括：

通过Harries角点检测模型，检测图像中具有几何显著性的特征点。

所述的图像配准方法，其中，所述根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵，具体包括：

将特征点周围区域划分为具有第一半径的内圆和具有第二半径的外环；所述内圆和外环等分为若干个区域；

根据每个区域的梯度直方图获得所述内圆的第一特征向量和所述外环的第二特征向量；

将所述第一特征向量变形为第一特征矩阵，所述第二特征向量变形为第二特征矩阵；

将所述第一特征矩阵与第二特征矩阵相加，获得所述旋转不变特征矩阵。

所述的图像配准方法，其中，所述根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离，具体包括：

通过两个特征点的旋转不变特征矩阵间的循环卷积计算获得相关性矩阵；

根据所述相关性矩阵计算所述旋转不变距离。

所述的图像配准方法，其中，所述方法还包括：通过傅里叶变换优化所述循环卷积计算。

所述的图像配准方法，其中，所述旋转不变距离为两个特征点间最相关方向的特征描述子的欧式距离；所述特征描述子根据所述相关性矩阵获得。

所述的图像配准方法，其中，所述相关性矩阵通过如下算式表示：

其中，C为所述相关性矩阵，H和H′分别为第一特征点和第二特征点的旋转不变特征矩阵，H′_是H′水平和垂直方向的镜像；

c(i)＝C[mod(2i-1，N)][i]

其中，c(i)对应在旋转角度为时，旋转不变特征矩阵的相关性；

所述第一特征点和第二特征点之间的旋转不变距离通过如下算式表示：

RID(P，P′)＝D(V，cirshif(V′，[(mod(2*[(mod(2i*-1)，N)，i*]))

其中，P和P′分别为第一特征点和第二特征点；V是旋转不变特征矩阵H对应的特征向量；cirshif(V′，[a，b])函数包含两个步骤，首先将P'的内圆和外环对应的特征矩阵向右循环移动a和向下循环移动b，然后根据移动后内圆和外环对应的特征矩阵得到新的特征向量V′。

所述的图像配准方法，其中，所述根据预定的方法消除错误配对，具体包括：

使用双向欧式距离匹配和距离比筛选方法，生成粗匹配集合；

基于随机采样一致方法，使用仿射模型以消除误匹配点。

一种眼底无赤光图像及血管造影图像的图像融合方法，其中，包括：

应用如上所述的图像配准方法配准所述眼底无赤光图像及血管造影图像；

根据所述配准结果，融合图像信息；所述特征点为具有几何显著性的血管特征点；所述血管特征点包括：局部弯曲转向点，曲率极值点，血管交叉点，分支点。

一种图像配准装置，其中，包括：

检测模块，用于检测图像中的特征点；

矩阵构建模块，用于根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵；所述旋转不变矩阵随图像的旋转在垂直和水平方向上相应的移动；

计算模块，用于根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离；并确定具有最小旋转不变距离的两个特征点为匹配特征点；

配准模块，用于根据预定的方法消除错误配对并获得变换模型的估计以配准图像。

有益效果：本发明提供的一种图像配准方法、其图像融合方法及其装置，通过使用旋转不变特征矩阵很好的对特征点的旋转不变特征进行了描述，据此计算获得旋转不变距离进行特征点的匹配，提高了匹配率和精确性。该方法不需要确定主方向而是使用可跟随图像旋转的矩阵的方式进行描述，更便于应用。

附图说明

图1为现有的PIFD方法(改进的SIFT)的多模态图像配准示意图。

图2为本发明实施例提供的图像配准方法的方法流程图。

图3为本发明实施例提供的特征点周围区域的区域划分示意图。

图4为本发明实施例提供的图像融合方法的方法流程图。

图5为本发明实施例提供的图像配准装置的结构框图。

具体实施方式

本发明提供一种图像配准方法及其图像融合方法。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图2所示，为本发明实施例提供的一种图像配准方法的方法流程图。该方法包括如下步骤：

S101：检测图像中的特征点。该特征点可以是图像内一些具有代表性意义的，能够表示或者描述图像结构的特征点。具体可以使用任何合适的，或者根据实际需要选择特定的特征点方法进行特征点的检测。

在本发明实施例中，所述特征点为多模态眼底图像中具有几何显著性的血管特征点。所述血管特征点包括：局部弯曲转向点，曲率极值点，血管交叉点、分支点等。由于血管是眼底图像中最稳定，最固有的结构。因此，血管特征点能够能全面反映血管的局部弯曲，方向改变，分支等几何细节，并且这样的特征点数量多，分布稠密，不易受病理影响，能够很好的对眼底图像的结构进行描述或者表示。

具体的，可以使用Harries角点检测模型，通过对模型调节合适的参数，来检测具有几何显著性的血管特征点作为特征点。

S102：根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵；所述旋转不变矩阵随图像的旋转在垂直和水平方向上相应的移动。

在本步骤中，使用了旋转不变矩阵作为旋转不变特征的描述子。该选择不变矩阵能够随图像的旋转而变化，能够很好的表示图像中多个特征点之间的旋转特征，与惯常的确定主方向的方法相比，准确度和可靠性更好。

具体的，可以通过如下方式，根据特征点周围区域的梯度方向、大小以及坐标位置来建立所述特征点的旋转不变特征矩阵。

如图3所示，首先将特征点周围区域划分为具有第一半径R/2的内圆C1和具有第二半径R的外环C2。所述内圆和外环均被等分为n个区域，n为正整数(图中所示为4个)。

在划分区域完成后，可以根据每个区域的梯度直方图获得所述内圆的第一特征向量V1和所述外环的第二特征向量V2。V1和V2组合即能够形成用于描述特征点的旋转不变描述子。

进一步的，可以将所述第一特征向量V1变形为第一特征矩阵H1，所述第二特征向量V2变形为第二特征矩阵H2。

其中，

在获得矩阵H1和H2后，将所述第一特征矩阵H1与第二特征矩阵H2相加，即可获得所述旋转不变特征矩阵H。由此，可以建立随图像旋转而改变的旋转不变特征矩阵H。而且，图像的旋转对应旋转不变特征矩阵H的垂直和水平方向移动。

S103：根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离。

S104：确定具有最小旋转不变距离的两个特征点为匹配特征点。

匹配过程为寻找某一特征点在待匹配图像上具有最短旋转不变距离的待匹配特征点。两个特征点之间具有最短的旋转不变距离表示两个特征点之间的相关性较高，应当属于相互匹配的点。

在本发明实施例中，以其中一个特征点P为例，具体阐述其计算和匹配过程。

首先，对于特征点P而言，在图像旋转时，其旋转不变特征矩阵H也会随之改变(图像的旋转对应着旋转不变特征矩阵水平和垂直方向同时移动)。

设H和H'分别是特征点P和P'(待匹配图像中的其中一个特征点)的旋转不变特征矩阵。由此，特征点P与特征点P'旋转不同角度时周围区域的相关性矩阵C可以通过旋转不变特征矩阵H和H′_(H′_是H′垂直和水平方向的镜像)间的循环卷积得到。

在实际的卷积运算过程中，可以采用傅里叶变换优化了特征矩阵间的卷积计算，从而有效的减少工作时间。

其中，c(i)对应在旋转角度为时矩阵H和H′间的相关性，设V＝{V1，V2}，V′＝{V1′，V2′}分别是矩阵H和H'对应的特征向量，那么可以将特征点P和P'的旋转不变距离被定义为RID(P，P′)(使用欧式距离表示)。

结合以上描述，可以看出计算获得的旋转不变距离是一种与角度无关的最优距离，其可以为两个特征点间最相关方向的特征描述子的欧式距离。

由此，对于一幅图像中的每个特征点，在另一幅图像中和它的旋转不变距离最小的点可以被认为是匹配点。这样的匹配方式能够很好的提高匹配率和精确性。

具体的运算公式如下所示：

所述相关性矩阵通过如下算式表示：

其中，c为所述相关性矩阵，H和H′分别为第一特征点和第二特征点的旋转不变特征矩阵，H′_是H′水平和垂直方向的镜像；

c(i)＝C[mod(2i-1，N)][i]

其中，c(i)对应在旋转角度为时，旋转不变特征矩阵的相关性；

所述第一特征点和第二特征点之间的旋转不变距离通过如下算式表示：

RID(P，P′)＝D(V，cirshif(V′，[(mod(2*[mod(2i*-1)，N)，i*]))

其中，P和P'分别为第一特征点和第二特征点；V是旋转不变特征矩阵H对应的特征向量；cirshif(V′，[a，b])函数包含两个步骤，首先将P'的内圆和外环对应的特征矩阵向右循环移动a和向下循环移动b，然后根据移动后内圆和外环对应的特征矩阵得到新的特征向量V′。

S105：根据预定的方法消除错误配对并获得变换模型的估计以配准图像。一般地，在进行最终的配准前，可以对匹配结果进行一定的预处理。具体可以使用任何合适的误匹配消除方法，或者根据实际的情况选择合适的消除方法对匹配结果进行处理，消除误匹配结果以保证在误匹配率较高的匹配图像中，仍然能够估计正确的参数，例如，可以使用RANSAC(随机采样一致)方法进行误匹配的消除。

该方法主要包括：使用双向欧式距离匹配和距离比筛选方法，生成粗匹配集合以及基于随机采样一致方法，使用仿射模型进一步消除误匹配。

在变换模型估计中，具体可以使用任何合适的，能够反映待匹配图像的变换规律的变换模型。在本发明实施例中，可以使用仿射变换模型。

本发明实施例提供的图像配准方法具体可以应用于任何合适的场合中，用于通过该旋转不变矩阵来对图像特征点的旋转不变特征进行描述。在本发明实施例中，为陈述简便，以应用于眼底无赤光图像和眼底造影图像为例进行阐述。

如图4所示，为本发明实施例提供的一种眼底无赤光图像及血管造影图像的图像融合方法。该方法包括：

应用如上实施例所述的图像配准方法，首先检测所述眼底无赤光图像及血管造影图像的几何显著的血管关键点作为特征点(S10)，建立旋转不变特征矩阵(S20)。

然后，计算旋转不变距离并根据该最小旋转不变距离确定匹配的特征点(S30)。在获取匹配结果后，使用RANSAC方法消除误匹配点，并完成模型参数的估计(S40)。

最后，根据所述配准结果，融合图像信息(S50)。

本发明实施例还提供了一种图像配准装置。该图像配准装置包括：检测模块100，用于检测图像中的特征点；矩阵构建模块200，用于根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵；所述旋转不变矩阵随图像的旋转在垂直和水平方向上相应的移动；计算模块300，用于根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离；并确定具有最小旋转不变距离的两个特征点为匹配特征点；以及配准模块400，用于根据预定的方法消除错误配对并获得变换模型的估计以配准图像。应当说明的是，本发明实施例提供的模块100-400还可以进一步的用于执行上述方法实施例中提供的具体的方法步骤。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及本发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种图像配准方法，其特征在于，包括：

检测图像中的特征点；

根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵；所述旋转不变矩阵随图像的旋转在垂直和水平方向上相应的移动；

根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离；

确定具有最小旋转不变距离的两个特征点为匹配特征点；

根据预定的方法消除错误配对并获得变换模型的估计以配准图像。

2.根据权利要求1所述的图像配准方法，其特征在于，所述检测图像中具有几何显著性的特征点，具体包括：

通过Harries角点检测模型，检测图像中具有几何显著性的特征点。

3.根据权利要求1所述的图像配准方法，其特征在于，所述根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵，具体包括：

将特征点周围区域划分为具有第一半径的内圆和具有第二半径的外环；所述内圆和外环等分为若干个区域；

根据每个区域的梯度直方图获得所述内圆的第一特征向量和所述外环的第二特征向量；

将所述第一特征向量变形为第一特征矩阵，所述第二特征向量变形为第二特征矩阵；

将所述第一特征矩阵与第二特征矩阵相加，获得所述旋转不变特征矩阵。

4.根据权利要求1所述的图像配准方法，其特征在于，所述根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离，具体包括：

通过两个特征点的旋转不变特征矩阵间的循环卷积计算获得相关性矩阵；

根据所述相关性矩阵计算所述旋转不变距离。

5.根据权利要求4所述的图像配准方法，其特征在于，所述方法还包括：通过傅里叶变换优化所述循环卷积计算。

6.根据权利要求4所述的图像配准方法，其特征在于，所述旋转不变距离为两个特征点间最相关方向的特征描述子的欧式距离；所述特征描述子根据所述相关性矩阵获得。

7.根据权利要求4所述的图像配准方法，其特征在于，所述相关性矩阵通过如下算式表示：

其中，c为所述相关性矩阵，H和H'分别为第一特征点和第二特征点的旋转不变特征矩阵，H′_是H′水平和垂直方向的镜像；

c(i)＝C[mod(2i-1，N)][i]

其中，c(i)对应在旋转角度为时，旋转不变特征矩阵的相关性；

所述第一特征点和第二特征点之间的旋转不变距离通过如下算式表示：

RID(P，P′)＝D(V，cirshif(V′，[(mod(2*[(mod(2i′-1)，N)，i′]))

其中，P和P′分别为第一特征点和第二特征点；V是旋转不变特征矩阵H对应的特征向量；cirshif(V′，[a，b])函数包含两个步骤，首先将P′的内圆和外环对应的特征矩阵向右循环移动a和向下循环移动b，然后根据移动后内圆和外环对应的特征矩阵得到新的特征向量V′。

8.根据权利要求1所述的图像配准方法，其特征在于，所述根据预定的方法消除错误配对，具体包括：

使用双向欧式距离匹配和距离比筛选方法，生成粗匹配集合；

基于随机采样一致方法，使用仿射模型以消除误匹配点。

9.一种眼底无赤光图像及血管造影图像的图像融合方法，其特征在于，包括：

应用如权利要求1-8任一所述的图像配准方法配准所述眼底无赤光图像及血管造影图像；

根据所述配准结果，融合图像信息；

所述特征点为具有几何显著性的血管特征点；所述血管特征点包括：局部弯曲转向点，曲率极值点，血管交叉点，分支点。

10.一种图像配准装置，其特征在于，包括：

检测模块，用于检测图像中的特征点；

矩阵构建模块，用于根据特征点周围区域的梯度方向、大小以及坐标位置建立所述特征点的旋转不变特征矩阵；所述旋转不变矩阵随图像的旋转在垂直和水平方向上相应的移动；

计算模块，用于根据所述旋转不变特征矩阵，计算特征点之间的旋转不变距离；并确定具有最小旋转不变距离的两个特征点为匹配特征点；

配准模块，用于根据预定的方法消除错误配对并获得变换模型的估计以配准图像。