CN108876770A - 一种眼底多光谱图像联合配准方法及系统 - Google Patents

Abstract

本发明公开了一种眼底多光谱图像联合配准方法及系统，通过对眼底多光谱图像进行预处理，去除黑色边缘背景；对多光谱序列中的图像分别提取SIFT特征点；根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；对图像中的特征点进行编码表示，构造二次型优化模型；针对二次型模型执行投影幂迭代算法进行优化非凸求解；通过求得的特征点的对应关系，计算求得变换矩阵。本发明比传统两两图像配准考虑的信息更加全面，实践证明此方法允许两两配对关系的缺失并且对于错误的配对关系具有一定的纠错能力，保证了算法的鲁棒性，并且提高了配准精度。

Description

一种眼底多光谱图像联合配准方法及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种眼底多光谱图像联合配准方法及系统。

背景技术

医学图像配准是医学图像处理的一个重要研究分支，是目前医学图像处理中的热点，具有重要的临床诊断和治疗价值。医学图像配准就是对于两幅图像，寻求理想的几何变换，使两幅图像的对应点在空间结构和解剖结构上对应匹配，要求配准的结果能使两幅图像上所有解剖点，或至少是所有具有诊断意义以及手术区域的关注点达到匹配。

眼底多光谱图像是一种新颖的非侵入性检测技术，通过不同频率的波长照射眼底，获取眼底不同深度层的视网膜和脉络膜，可用于辅助诊断眼睛的早期疾病和预测相关的全身性疾病，如青光眼、白内障、糖尿病、高血压等疾病。由于眼底多光谱图像采集时眼球的移动会带来采集图像空间的错位，同时不同深度层眼底组织结构的差异与变化也会给配准带来一定的困难，解决这种空间错位，寻找空间位置关键点的匹配关系，有助于提高医生的诊断精度和速度，因此眼底多光谱图像的定量分析和自动评估越来越吸引着更多的研究人员。

针对眼底图像配准已经提出了很多方法，但没有一种配准方法能在速度和精度方面都达到理想效果。如基于轮廓匹配、稀疏学习、马尔科夫随机场、归一化互相关、互信息等的配准方法，此类方法仅应用于单模态图像配准，将此类方法应用于眼底多光谱图像配准时往往存在一定的局限性。一方面，这类方法依赖于传统两幅图像之间的配准，没有考虑多光谱序列图像之间的存在的关联信息；另一方面，由于眼底多光谱图像采集眼底不同深度层的图像之间结构存在差异，导致一些关键点缺失、计算得到的匹配损失存在较大的误差。

发明内容

本发明为了解决上述问题，提出了一种眼底多光谱图像联合配准方法及系统，本发明构建了同时考虑序列信息的联合配准二次型模型，采用光谱方法计算迭代初始值，幂迭代后在正交方向上向基准向量进行投影，能够解决二次型的离散配对问题，实现多光谱眼底序列图像的自动化或半自动化配准，增强配准的鲁棒性。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一目的是提供一种眼底多光谱图像联合配准方法，包括以下步骤：

对眼底多光谱图像进行预处理，去除黑色边缘背景；

对多光谱序列中的图像分别提取SIFT特征点；

根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

对图像中的特征点进行编码表示，构造二次型优化模型；

针对二次型模型执行投影幂迭代算法进行优化非凸求解；

通过求得的特征点的对应关系，计算求得变换矩阵；

根据变换矩阵，即可计算求得任一图像中任一像素点变换到另一幅图像中的坐标位置，即寻找到相对应的匹配点，完成图像间的配准，是后续图像融合、重叠等操作的有利基础。

进一步的，采集眼底多光谱序列图像，具体包括左眼和右眼图像，采集波长包括琥珀色光、绿色光、黄色光、4个波长的红色光和4个波长的红外色光。

进一步的，提取序列中随机幅图像进行联合配准，去除黑色边缘背景，即三通道像素值均为(0,0,0)所有像素点，进行均值滤波去除噪声。

进一步的，利用SIFT算法，从多幅图像中提取对尺度缩放、旋转和亮度变化无关的特征向量，首先构建不同尺度空间，在不同尺度检测极值点，获得具有尺度不变性的特征点，通过拟合精细模型来进一步筛选特征点。

更进一步的，对眼底多光谱序列中的每张图像中的每个SIFT特征点周围，取一设定大小的邻域，同时考虑特征点周围邻域内所有点的灰度变化和梯度变化信息，计算两个图像的不同特征点之间的匹配损失，将多幅图像中任意两幅图像之间匹配损失进行组合，构成矩阵。

进一步的，对图像中的特征点进行编码表示时，将图像中特征点通过彼此正交的基准特征向量进行表示，保证每一个特征点有唯一独立的表示方式，将序列图像中的一组特征点分别用基准向量，构成一个长向量，利用该长向量与行程的匹配损失矩阵，构建眼底多光谱图像二次型模型。

进一步的，利用投影幂迭代算法求解构造的眼底多光谱图像二次型优化模型时，计算匹配损失矩阵的最低m秩近似矩阵，进行幂乘、投影操作，依次迭代，直至收敛，去除配对成功的特征点，从剩余特征点中任意选取一个投影幂迭代，直至完成所有特征点的匹配。

进一步的，根据求得匹配点对之间的坐标，将所有特征点对带入到图像的变换矩阵，以对图像进行缩放、旋转、对称、错切、投影、平移或缩放变换中的一种或多种。

本发明的第二目的是提供一种眼底多光谱图像联合配准系统，运行于处理器或存储器上，被配置为执行以下指令：

对眼底多光谱图像进行预处理，去除黑色边缘背景；

对多光谱序列中的图像分别提取SIFT特征点；

根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

对图像中的特征点进行编码表示，构造二次型优化模型；

针对二次型模型执行投影幂迭代算法进行优化非凸求解；

通过求得的特征点的对应关系，计算求得变换矩阵。

本发明的第三目的是提供一种眼底多光谱图像联合配准系统，包括：

预处理模块，被配置为对眼底多光谱图像进行预处理，去除黑色边缘背景；

特征点提取模块，被配置为对多光谱序列中的图像分别提取SIFT特征点；

匹配损失计算模块，被配置为根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

优化模型模块，被配置为对图像中的特征点进行编码表示，构造二次型优化模型，针对二次型模型执行投影幂迭代算法进行优化非凸求解；

结果输出模块，被配置为通过求得的特征点的对应关系，计算求得变换矩阵。

与现有技术相比，本发明的有益效果为：

1.在处理效果上，本发明首次提出基于眼底多光谱联合匹配的配准方法，并结合非凸优化算法投影幂迭代方法进行求解。该模型能够自动完成对眼底图像的配准，并且同时考虑多光谱序列图像的信息，联合配准的同时能够对错误的匹配关系进行纠正，提高了最终配准结果的准确率。

2.在适用性和扩展性上，本发明建立的模型，能够提高图像的配准度，在用于眼底图像分析时，可以与眼底医生指出的匹配关系无缝连接，也允许医生人为经验的干预，模型可以自动或半自动执行。同时本方法具有一定的鲁棒性，对于匹配关系的缺失、错误，联合多光谱的序列信息能够进行一定程度上的弥补和纠正，进一步提高了配准的准确率。

3.在运算速度上，因本发明采用投影幂迭代方法，收敛速度较快，迭代次数少，因此计算速度较快。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明眼底多光谱图像联合配准方法流程图；

图2是高血压视网膜患者眼底多光谱图像原始数据图；

图3是投影幂迭代算法投影幂迭代操作在二维空间中计算过程示意图；

图4是本模型对图2序列中Red和Green色光预处理后部分示意图；

图5是提取到的眼底多光谱图像SIFT特征点示意图；

图6是本发明在高血压视网膜患者的多光谱图像上两两配准结果示意图；

图7是本发明在高血压视网膜患者的多光谱图像上联合配准结果示意图；

图8是本发明方法中与其他两种方法配准结果正确率统计比较；

图9展示了利用本发明以及其他两种方法配准结果图比较。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。

本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

一种基于眼底多光谱图像联合配准方法，包括以下步骤：

步骤1：对眼底多光谱图像进行预处理，去除黑色边缘背景。

步骤2：对多光谱序列中的图像分别提取SIFT特征点。

步骤3：根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵L。

步骤4：对图像中的特征点进行编码表示，构造二次型优化模型。

步骤5：针对二次型模型执行投影幂迭代算法进行优化非凸求解。

步骤6：通过求得的特征点的对应关系，计算求得变换矩阵T。

所述步骤1中的图像来自通过Annidis RHA(Annidis Health Systems Crop.)设备采集的来自9个病人和8个正常被试的28个眼底多光谱序列图像，包括左眼和有眼图像，设备采集波长包括琥珀色光、绿色光、黄色光、4个波长的红色光和4个波长的红外色光。提取序列中随机N幅图像进行联合配准，由于采集到的图像黑色边缘背景对特征点的选取会产生一定的影响，所以在预处理时选择去除黑色边缘背景，即三通道像素值均为(0,0,0)所有像素点，然后进行均值滤波去除噪声。

步骤2执行Lowe的SIFT算法，从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。该算法首先构建不同尺度空间，在不同尺度检测极值点，获得具有尺度不变性的特征点，然后通过拟合精细模型来进一步筛选特征点。

步骤3主要涉及匹配损失的计算，针对眼底图像设计了一种高鲁棒性的互相关匹配损失计算函数。步骤3中对眼底多光谱序列中的每张图像中的每个SIFT特征点周围，取一个15×15的邻域，同时考虑特征点周围邻域内所有点的灰度变化和梯度变化信息，对于图像I_i的第k特征点和和图像I_j的第l个特征点之间的匹配损失计算公式如下：

w是一个权重因子，用来调整像素信息和梯度信息影响的权重，I_i(k)和I_j(l)分别表示特征点周围的灰度信息，和分别表示特征点周围的梯度信息，γ(·,·)表示归一化互相关函数，ρ()是一个鲁棒性的Geman-McClure函数：

其中a是一个控制舍弃离群点的范围参数，这里我们a的取值为1。

然后将N幅图像中任意两幅图像之间的C_i，j通过如下公式共同组合成在一起，构成大矩阵C，保证联合配准时同时考虑各幅图像之间的关系，通过1－C矩阵构造矩阵L。

其中C₁₂表示图像序列中第1幅图像与第2幅图像之间的匹配损失值。

步骤4中，将图像中特征点通过彼此正交的基准特征向量进行表示，保证每一个特征点有唯一独立的表示方式，M表示单幅图像最大特征点数量为M：

然后，将序列图像中的一组特征点分别用基准向量e_i表示，i∈[1,…,N]，构成一个长向量z：

构造的眼底多光谱图像二次型模型如下：

subject to z_i∈{e₁,…,e_M}i∈[1,…,N]

步骤5，利用投影幂迭代算法求解构造的眼底多光谱图像二次型优化模型：

首先，计算矩阵L的最低m秩近似矩阵

从矩阵中任意选择一列，定义初始化z₀为其中P_Δ表示向量向基准特征向量e进行投影操作，使得z_i∈{e₁,…,e_M}，在二维空间中的投影操作示意图如图3所示。

然后，按照如下公式进行幂乘、投影操作，依次迭代，直至收敛。其中尺度因子μ用来控制投影过程的步长，μ越大步长越长，如图3所示。

z^(t+1)＝P_Δ(μ_tLz^(t))

每得到一组z值即表示序列图像中每一幅图像的一个特征点与其他图像中的某个特征点配对成功，然后本方法去除这些特征点，从剩余特征点中任意选取一个重复步骤5，直至完成所有特征点的匹配。

步骤6，根据求得匹配点对之间的坐标，通过如下公式，将所有特征点对带入下述公式计算变换矩阵T：

T＝A\B

其中，二维空间变换中T可以被表示为3×3的矩阵，可以对图像进行缩放、旋转、对称、错切等变换，表示投影变换，[l m]表示平移变换，[s]表示图像整体缩放变换。

本发明的第二目的是提供一种眼底多光谱图像联合配准系统，运行于处理器或存储器上，被配置为执行以下指令：

对眼底多光谱图像进行预处理，去除黑色边缘背景；

对多光谱序列中的图像分别提取SIFT特征点；

根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

对图像中的特征点进行编码表示，构造二次型优化模型；

针对二次型模型执行投影幂迭代算法进行优化非凸求解；

通过求得的特征点的对应关系，计算求得变换矩阵。

本发明的第三目的是提供一种眼底多光谱图像联合配准系统，包括：

预处理模块，被配置为对眼底多光谱图像进行预处理，去除黑色边缘背景；

特征点提取模块，被配置为对多光谱序列中的图像分别提取SIFT特征点；

匹配损失计算模块，被配置为根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

优化模型模块，被配置为对图像中的特征点进行编码表示，构造二次型优化模型，针对二次型模型执行投影幂迭代算法进行优化非凸求解；

结果输出模块，被配置为通过求得的特征点的对应关系，计算求得变换矩阵。

作为一种典型实施例，包括以下几个过程：

过程1：图像预处理

首先对同一被试的眼底多光谱序列原图像(如图2所示)进行裁剪，去除黑色背景边缘，这里选择裁剪成正方形方便结果展示。然后设置5×5个像素大小的正方形滑动窗口，对图像进行均值滤波，该窗口从图像左上角开始滑动，每次移动一个像素位置，计算窗口内25个像素值的均值，用该均值替换窗口中心点像素值，该步骤循环进行直到窗口经过图像上所有点。Red色光和Green色光的图像预处理结果如图4所示。

过程2：提取SIFT特征点。

执行SIFT算法，提取序列中每一张图像的特征点位置，SIFT算法定位特征点执行规则分为以下三个步骤：

第一步：通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以此作为特征向量，实现边缘、角点检测在不同分辨率上进行特征点的提取。

第二步：在图像空间和尺度空间上将每个像素点与其周围相邻点进行比较是否是局部极值点，初步探测特征点。

第三步：在每一个初步探测特征点位置，通过拟合一个精细的模型来去除部分在离散空间属于极值点但在连续空间不属于极值点的特征点，保证提取到特征点的稳定程度。

其中，在Red色光和Green色光上提取到的图像特征点如图5所示。

过程3：计算任意两对特征点之间的匹配损失，构造二次型优化模型。

寻找序列单幅图像中特征点数量的最大值M，构造基准向量空间e：

然后在每一幅中的每一个特征点用向量e_i分别进行表示。通过下述公式进行任意两幅图像任意两对特征点匹配损失值的计算，通过拼接构造大矩阵C，然后构造矩阵L＝1-C。

实践过程中，往往每一张图像采集到的SIFT特征点的数量是不一致的，本方法通过添加虚拟点的方式解决。定义虚拟点到其他任意点的匹配损失最大，即L矩阵中的值越小(通常设定为0)。

过程4：利用投影幂迭代方法进行二次型模型的求解。

第一步：初始化z₀，根据公式计算得到矩阵L的最低m秩矩阵 然后，从矩阵随机选取一列设置初始猜测根据经验初始化μ₀这里设置为10。

第二步：计算矩阵L的特征值Lamda，尺度因子μ可以表示为μ_t＝μ₀/Lamda(2)，然后向量z^(t)与矩阵L相乘，再乘以尺度因子μ_t得到中间向量，再将中间向量向基准向量空间e进行投影操作，得到z^(t+1)。依次迭代5至8次后z不再发生改变即为收敛。最终得到的z即为一组匹配结果。

接下来去除z中各个基准向量e_i所表示的对应图像中的特征点，在没幅图像剩余特征点中任意选择一个构成新的向量z，重复进行投影幂迭代操作，直至得到所有特征点的匹配关系。

最终得到的配准结果如图7所示，其中图6为直接利用本发明提出的损失函数计算得到的矩阵L，进行两两图像之间的配准结果图，可以明显看出联合序列图像同时进行配准结果优于两两配准。图8、图9展示了本发明方法与其他两种流行的配准方法正确率和结果图的比较，证明了本方法的优越性。

过程5：求变换矩阵T。

将上述过程求得所有配对特征点的坐标表示为[x y 1]的齐次坐标形式，对应依次排列构造矩阵A和矩阵B，代入计算公式，如下所示：

通过变形，计算矩阵除最终得到变换矩阵T。

本发明的技术方案保证了眼底多光谱图像配准的准确性。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种眼底多光谱图像联合配准方法，其特征是：包括以下步骤：

对眼底多光谱图像进行预处理，去除黑色边缘背景；

对多光谱序列中的图像分别提取SIFT特征点；

根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

对图像中的特征点进行编码表示，构造二次型优化模型；

针对二次型模型执行投影幂迭代算法进行优化非凸求解；

通过求得的特征点的对应关系，计算求得变换矩阵。

2.如权利要求1所述的一种眼底多光谱图像联合配准方法，其特征是：采集眼底多光谱序列图像，具体包括左眼和右眼图像，采集波长包括琥珀色光、绿色光、黄色光、4个波长的红色光和4个波长的红外色光。

3.如权利要求1所述的一种眼底多光谱图像联合配准方法，其特征是：提取序列中随机幅图像进行联合配准，去除黑色边缘背景，即三通道像素值均为(0,0,0)所有像素点，进行均值滤波去除噪声。

4.如权利要求1所述的一种眼底多光谱图像联合配准方法，其特征是：利用SIFT算法，从多幅图像中提取对尺度缩放、旋转和亮度变化无关的特征向量，首先构建不同尺度空间，在不同尺度检测极值点，获得具有尺度不变性的特征点，通过拟合精细模型来进一步筛选特征点。

5.如权利要求4所述的一种眼底多光谱图像联合配准方法，其特征是：对眼底多光谱序列中的每张图像中的每个SIFT特征点周围，取一设定大小的邻域，同时考虑特征点周围邻域内所有点的灰度变化和梯度变化信息，计算两个图像的不同特征点之间的匹配损失，将多幅图像中任意两幅图像之间匹配损失进行组合，构成矩阵。

6.如权利要求1所述的一种眼底多光谱图像联合配准方法，其特征是：对图像中的特征点进行编码表示时，将图像中特征点通过彼此正交的基准特征向量进行表示，保证每一个特征点有唯一独立的表示方式，将序列图像中的一组特征点分别用基准向量，构成一个长向量，利用该长向量与行程的匹配损失矩阵，构建眼底多光谱图像二次型模型。

7.如权利要求1所述的一种眼底多光谱图像联合配准方法，其特征是：利用投影幂迭代算法求解构造的眼底多光谱图像二次型优化模型时，计算匹配损失矩阵的最低m秩近似矩阵，进行幂乘、投影操作，依次迭代，直至收敛，去除配对成功的特征点，从剩余特征点中任意选取一个投影幂迭代，直至完成所有特征点的匹配。

8.如权利要求1所述的一种眼底多光谱图像联合配准方法，其特征是：根据求得匹配点对之间的坐标，将所有特征点对带入到图像的变换矩阵，以对图像进行缩放、旋转、对称、错切、投影、平移或缩放变换中的一种或多种。

9.一种眼底多光谱图像联合配准系统，其特征是：运行于处理器或存储器上，被配置为执行以下指令：

对眼底多光谱图像进行预处理，去除黑色边缘背景；

对多光谱序列中的图像分别提取SIFT特征点；

根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

对图像中的特征点进行编码表示，构造二次型优化模型；

针对二次型模型执行投影幂迭代算法进行优化非凸求解；

通过求得的特征点的对应关系，计算求得变换矩阵。

10.一种眼底多光谱图像联合配准系统，其特征是：包括：

预处理模块，被配置为对眼底多光谱图像进行预处理，去除黑色边缘背景；

特征点提取模块，被配置为对多光谱序列中的图像分别提取SIFT特征点；

匹配损失计算模块，被配置为根据提取到SIFT特征点的位置，通过匹配损失函数计算匹配损失，构造矩阵；

优化模型模块，被配置为对图像中的特征点进行编码表示，构造二次型优化模型，针对二次型模型执行投影幂迭代算法进行优化非凸求解；

结果输出模块，被配置为通过求得的特征点的对应关系，计算求得变换矩阵。