CN112819867A - 基于关键点匹配网络的眼底图像配准方法 - Google Patents
基于关键点匹配网络的眼底图像配准方法 Download PDFInfo
- Publication number
- CN112819867A CN112819867A CN202110167328.2A CN202110167328A CN112819867A CN 112819867 A CN112819867 A CN 112819867A CN 202110167328 A CN202110167328 A CN 202110167328A CN 112819867 A CN112819867 A CN 112819867A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- rigid
- fundus image
- affine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 claims abstract description 109
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 101
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013519 translation Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 239000007983 Tris buffer Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 239000013598 vector Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000006386 neutralization reaction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010234 longitudinal analysis Methods 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请公开了一种基于关键点匹配网络的眼底图像配准方法，方法包括：获取样本眼底图像，样本眼底图像包括n个图像对；将样本眼底图像输入至刚性配准网络，得到刚性变换矩阵；根据刚性变换矩阵对固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；采用空间变换层根据变换得到的关键点坐标生成浮动图像配准后的配准图像；训练刚性配准网络，得到训练后的刚性配准网络，训练后的刚性配准网络用于对眼底图像进行配准，训练仿射配准网络，得到训练后的仿射配准网络，训练后的仿射配准网络用于对眼底图像进行精细配准。解决了现有方案中非监督的配准方案配准效果较差的问题，达到了可以提高配准精度的效果。
Description
技术领域
本发明涉及基于关键点匹配网络的眼底图像配准方法，属于图像处理技术领域。
背景技术
眼底彩照是一种常见的用于眼底疾病诊断的医学影像。对于同一个病人在不同时间点拍摄的眼底彩照，医生可以通过影像学上的变化来确定病人病情的变化。这些图像是眼底图像纵向分析中的重要依据。然而，这些图像的拍摄角度、拍摄设备可能存在差异，导致图像之间并没有对齐。因此眼底图像配准是眼底图像纵向跟踪必不可少的一环。
目前已经有很多研究聚焦于眼底图像的配准问题。传统的眼底图像配准方法主要可以分为两类，一种是基于特征的配准方法，一种是基于灰度相似性测度的配准方法。传统的配准方法通常是先提取特征，比如关键点，血管等，然后将这些特征匹配，最后根据这些匹配好的特征信息去迭代优化变换参数。这种方法每配准一对图像都要迭代优化模型参数，因此配准速度很慢。配一对图像甚至需要十几分钟的时间。
随着深度学习的兴起，一些研究者提出了基于深度学习的医学影像配准方法。这些方法在训练阶段就已经训练好了配准模型，在测试阶段不再需要迭代优化的过程，直接送入图像就能通过前向传播得到配准后的图像，配准速度大大提升。然而，对于眼底图像配准，目前基于深度学习的配准方法很少。而常见的用于其它模态的方法并不适用于眼底图像。比如非监督的配准方法往往依赖于灰度相似性测度，而基于灰度相似性测度的方法在眼底图像上效果并不好。
发明内容
本发明的目的在于提供一种基于关键点匹配网络的眼底图像配准方法，用于解决现有技术中存在的问题。
为达到上述目的，本发明提供如下技术方案：
根据第一方面，本发明实施例提供了一种基于关键点匹配网络的眼底图像配准方法，所述方法包括：
获取样本眼底图像，所述样本眼底图像包括n个图像对，每个图像对包括固定图像和浮动图像，n为大于2的整数；
将所述样本眼底图像输入至刚性配准网络，得到刚性变换矩阵；
根据所述刚性变换矩阵对所述固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述浮动图像配准后的刚性配准眼底图像；
根据所述所述样本眼底图像和所述刚性配准眼底图像训练所述刚性配准网络，得到训练后的刚性配准网络，训练后的所述刚性配准网络用于对眼底图像进行初步配准；
根据所述刚性配准眼底图像和所述样本眼底图像训练所述仿射配准网络，得到训练后的仿射配准网络，训练后的所述仿射配准网络用于对眼底图像进行精细配准。
可选的，所述将所述样本眼底图像输入至刚性配准网络，得到刚性变换矩阵，包括：
将所述样本眼底图像输入至刚性配准网络，得到包括变换参数的所述刚性变换矩阵，所述变换参数包括绕中心(x0,y0)旋转的角度θ、横轴平移量tx以及纵轴平移量ty中的至少两种。
可选的，所述根据所述刚性变换矩阵对所述固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标，包括：
变换后的所述关键点坐标为：
其中，
为所述固定图像中的第j个关键点坐标，
为变换得到的第j个关键点坐标，j的最大值为关键点的个数，Tr为所述刚性变换矩阵。
可选的，所述刚性配准网络的损失函数为：
其中，
是浮动图像im上的第j个关键点坐标，
是所述配准图像中第j个关键点坐标，j的最大值为关键点的个数。
可选的，所述根据所述刚性配准眼底图像和所述样本眼底图像训练所述仿射配准网络，得到训练后的仿射配准网络，包括：
对于每个图像对，获取所述固定图像的掩膜Mf以及所述配准图像的掩膜MW；
根据所述固定图像的掩膜Mf和所述刚性配准图像确定所述固定图像和所述刚性配准图像的配准图像重叠部分Im；
根据所述刚性配准图像的掩膜MW和所述固定图像确定所述固定图像和所述刚性配准图像的固定图像重叠部分If；
根据所述Im和所述If训练所述仿射配准网络。
可选的，所述根据所述Im和所述If训练仿射配准网络，包括：
将所述Im和所述If输入至所述仿射配准网络，得到仿射变换矩阵；
根据所述仿射变换矩阵对所述If中的关键点坐标进行仿射变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述If配准后的仿射配准图像；
根据所述If以及所述仿射配准图像训练所述仿射配准网络，得到训练后的仿射配准网络。
可选的，所述根据所述固定图像的掩膜Mf和所述刚性配准图像确定所述固定图像和所述刚性配准图像的配准图像重叠部分Im，包括：
所述
其中，iw为所述配准图像；
所述根据所述刚性配准图像的掩膜MW和所述固定图像确定所述固定图像和所述刚性配准图像的固定图像重叠部分If，包括：
第二方面，提供了一种基于关键点匹配网络的眼底图像配准方法，所述方法包括：
获取目标固定眼底图像和目标浮动眼底图像；
将所述目标固定眼底图像和所述目标浮动眼底图像输入至训练后的刚性配准网络，得到刚性变换矩阵，训练后的所述刚性配准网络为通过如第一方面所述的训练方法训练得到；
根据所述刚性变换矩阵对所述目标固定眼底图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述目标浮动眼底图像配准后的目标刚性配准眼底图像；
根据所述目标刚性配准眼底图像、所述目标浮动眼底图像以及训练后的所述仿射配准网络，得到配准后的目标仿射配准眼底图像，训练后的仿射配准网络为通过如第一方面所述的训练方法训练得到。
可选的，所述根据所述目标刚性配准眼底图像、所述目标浮动眼底图像以及训练后的所述仿射配准网络，得到配准后的目标仿射配准眼底图像，包括：
获取所述目标固定眼底图像的掩膜Mf以及所述目标刚性配准眼底图像的掩膜MW；
根据所述目标固定眼底图像的掩膜Mf和所述目标刚性配准眼底图像确定所述目标固定眼底图像和所述目标刚性配准眼底图像的配准图像重叠部分Im；
根据所述目标刚性配准眼底图像的掩膜MW和所述目标固定眼底图像确定所述目标固定眼底图像和所述目标刚性配准眼底图像的固定图像重叠部分If；
将所述Im和所述If输入至训练后的仿射配准网络，得到仿射变换矩阵；
根据所述仿射变换矩阵对所述If中的关键点坐标进行仿射变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述If配准后的配准图像。
通过获取样本眼底图像，所述样本眼底图像包括n个图像对，每个图像对包括固定图像和浮动图像，n为大于2的整数；将所述样本眼底图像输入至刚性配准网络，得到刚性变换矩阵；根据所述刚性变换矩阵对所述固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；采用空间变换层根据变换得到的所述关键点坐标生成所述浮动图像配准后的刚性配准眼底图像；根据所述浮动图像以及所述刚性配准眼底图像训练所述刚性配准网络，得到训练后的刚性配准网络，训练后的所述刚性配准网络用于对眼底图像进行初步配准，并且此后训练仿射配准网络，训练后的仿射配准网络用于对眼底图像进行精细配准。也即提出了基于关键点匹配的刚性配准网络和仿射配准网络，通过刚性配准网络初步配准之后通过仿射配准网络精细配准，有效解决现有方案中非监督的配准方案配准效果较差的问题，达到了可以提高配准精度的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明一个实施例提供的基于关键点匹配网络的眼底图像配准方法的方法流程图；
图2为本发明一个实施例提供的眼底图像中标注的关键点的示意图；
图3为本发明一个实施例提供的刚性配准网络的一种可能的网络结构示意图；
图4为本发明一个实施例提供的刚性配准网络的一种可能的训练示意图；
图5为本发明一个实施例提供的训练刚性配准网络和仿射配准网络的训练示意图；
图6为本发明一个实施例提供的采集到的眼底图像的示意图；
图7为本发明一个实施例提供的基于关键点匹配网络的眼底图像配准方法的方法流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
请参考图1，其示出了本申请一个实施例提供的基于关键点匹配网络的眼底图像配准方法的方法流程图，如图1所示，所述方法包括：
步骤101，获取样本眼底图像，所述样本眼底图像包括n个图像对，每个图像对包括固定图像和浮动图像，n为大于2的整数；
本申请使用的样本眼底图像包含四种病人的眼底彩照，四种疾病分别是糖尿病视网膜病变、中央动脉阻塞、分支动脉阻塞、老年性黄斑病变。该数据集共包含来自165个病人的492对图像，原始图像尺寸是3046*2572。可选的，每张样本眼底图像中预先标注有m个关键点，m个关键点在每张图像中的分布均匀，m为大于2的整数。本申请以m＝3来举例，比如，请参考图2，其示出了一种可能的关键点分布图。其中，标注后的图像通过标注的关键点的坐标来表征。
可选的，在获取到样本眼底图像之后，可以对样本眼底图像进行预处理，预处理的步骤包括：提取绿色通道，再缩放到512*512的尺寸，经过限制对比度自适应直方图均衡化对灰度图像进行图像增强。可选的，可以采用albumentations数据增强库对图像进行数据扩增，具体采用可以为随机平移、随机旋转的方式。
步骤102，将所述样本眼底图像输入至刚性配准网络，得到刚性变换矩阵；
请参考图3，其示出了本申请实施例使用的刚性配准网络的一种可能的网络结构示意图，该刚性配准网络可以为ResNet18结构的回归网络。
刚性变换矩阵包括变换参数，变换参数包括绕中心(x0,y0)旋转的角度θ、横轴平移量tx以及纵轴平移量ty中的至少两种。并且，下述除特殊说明外，以变换参数同时包括上述三者来举例说明。
固定图像为if，浮动图像为im，请参考图4，本步骤将预处理后的固定图像if和浮动图像im在通道联合进而构成刚性配准网络的输入，之后，该输入经过四个残差块得到512维度的特征图，然后由全局平均池化层将特征图转化为512维的向量，再经过两个全连接层依次得到1024维和3维的向量。3维向量即为上述的3个变换参数，3个变换参数构成刚性变换矩阵Tr。
在一种可能的实施例中，Tr可以表示为：
步骤103，根据所述刚性变换矩阵对所述固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；
变换后的所述关键点坐标为：
其中，
为所述固定图像中的第j个关键点坐标，
为变换得到的第j个关键点坐标，j的最大值为关键点的个数，Tr为所述刚性变换矩阵。j＝1,2,3。
步骤104，采用空间变换层根据变换得到的所述关键点坐标生成所述浮动图像配准后的刚性配准眼底图像；
采用空间变换层去生成配准后的图像，也就是浮动图像im刚性变换之后的扭曲图像iw,iw上每一个位置的像素值都是在im上采样得到的。若空间变换层采用双线性插值算法，则iw上
的像素值是由im上
相邻的四个像素双线性插值得到。这也就是说，对于同一图像对，它们经过坐标变换后生成的扭曲后的坐标
就是在空间变换层中将要作用在浮动图像上的采样点。希望iw上关键点坐标
上的像素值刚好由im中与
匹配的关键点坐标
位置上的像素插值得到，如此iw才能和if对齐。
步骤105，根据所述浮动图像以及所述刚性配准眼底图像训练所述刚性配准网络，得到训练后的刚性配准网络，训练后的所述刚性配准网络用于对眼底图像进行初步配准。
刚性配准网络的损失函数采用配准图像iw的关键点
与浮动图像im的关键点
之间的均方根误差，也即可以表示为：
其中，
是浮动图像im上的第j个关键点坐标，
是所述配准图像中第j个关键点坐标，j的最大值为关键点的个数。
可选的，请参考图5，为了进一步提升配准精度，在训练刚性配准网络之后，还可以根据刚性配准眼底图像和所述样本眼底图像训练仿射配准网络，进而通过仿射配准网络对刚性配准网络配准后的刚性配准眼底图像继续配准。其中，仿射配准网络的训练方式如下：
第一，对于每个图像对，获取所述固定图像的掩膜Mf以及所述刚性配准眼底图像的掩膜MW；
请参考图6，待配准的两张图由于拍摄角度、眼球转动等差异配准后并不能完全重叠，边缘的非重叠区域可能会干扰到神经网络的学习，因此需要剔除掉这些区域。本步骤通过阈值化的方法生成原始待配准图像的掩膜用于提取眼底彩照部分的图像，固定图像的掩膜记作Mf,刚性配准生成图像的掩膜记作MW。
第二，根据所述固定图像的掩膜Mf和所述刚性配准眼底图像确定所述固定图像和所述刚性配准眼底图像的配准图像重叠部分Im；
将固定图像的掩膜Mf与刚性配准生成图像iw做乘法，记作
从而得到固定图像与刚性配准生成图像的刚性配准生成图像重叠部分Im。
第三，根据所述配准图像的掩膜MW和所述固定图像确定所述固定图像和所述刚性配准眼底图像的固定图像重叠部分If；
将刚性配准生成图像的掩膜MW与固定图像if做乘法，记作
从而得到固定图像与刚性配准生成图像的固定图像重叠部分If。
第四，根据所述Im和所述If训练仿射配准网络，训练后的所述仿射配准网络用于对所述刚性配准网络配准后的图像进行仿射配准。
仿射配准网络同样是如图3左边的回归网络，即是一个ResNet18结构的回归网络。
可选的，本步骤可以包括：
(1)、将所述Im和所述If输入至所述仿射配准网络，得到仿射变换矩阵；
与上述刚性配准网络的训练步骤类似，本步骤可以将Im,If在通道联合一起构成仿射配准网络的输入，然后该输入经过四个残差块得到512维度的特征图，然后由全局平均池化层将特征图转化为512维的向量，再经过两个全连接层依次得到1024维和6维的向量。6维的向量即为仿射变换矩阵。仿射变换矩阵Ta的6个参数可以表示为：
(2)、根据所述仿射变换矩阵对所述If中的关键点坐标进行仿射变换，得到变换后的关键点坐标；
通过仿射变换矩阵对固定图像If的三个关键点坐标
进行仿射变换,得到变换后的三个关键点坐标
变换后的关键点坐标为：
其中，j＝1,2,3表示第j个关键点坐标,其中
和
是仿射变换层生成的坐标，
和
是If上关键点的坐标。
(3)、采用空间变换层根据变换得到的所述关键点坐标生成所述If配准后的配准图像；
本步骤与上述步骤104类似。具体为：采用空间变换层去生成配准后的图像，也就是浮动图像Im仿射变换之后的扭曲图像Iw,Iw上每一个位置的像素值都是在Im上采样得到的。根据空间变换层的定义，若采用双线性插值算法，Iw上
的像素值是由Im上
相邻的四个像素双线性插值得到，而
就是公式(6)计算出来的。换句话说，对于同一对待配准的图像对，它们经过坐标变换层生成的扭曲后的坐标
就是在空间变换层中将要作用在浮动图像上的采样点。希望Iw上关键点坐标
上的像素值刚好由Im中与
匹配的关键点坐标
位置上的像素插值得到，如此Iw才能和If对齐。
(4)、根据所述If以及所述刚性配准眼底图像训练所述仿射配准网络，得到训练后的仿射配准网络，。
仿射配准网络的损失函数可以采用Iw的关键点
与Im的关键点
之间的均方根误差，损失函数loss可以定义为:
其中
是Im上的第j对关键点坐标，
是根据公式(6)由If第j对关键点坐标
做仿射变换Ta得到。
经过上述步骤之后，即可得到训练后的刚性配准网络和训练后的仿射配准网络。
综上所述，通过获取样本眼底图像，所述样本眼底图像包括n个图像对，每个图像对包括固定图像和浮动图像，n为大于2的整数；将所述样本眼底图像输入至刚性配准网络，得到刚性变换矩阵；根据所述刚性变换矩阵对所述固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；采用空间变换层根据变换得到的所述关键点坐标生成所述浮动图像配准后的刚性配准眼底图像；根据所述浮动图像以及所述刚性配准眼底图像训练所述刚性配准网络，得到训练后的刚性配准网络，训练后的所述刚性配准网络用于对眼底图像进行初步配准，并且此后训练仿射配准网络，训练后的仿射配准网络用于对眼底图像进行精细配准。也即提出了基于关键点匹配的刚性配准网络和仿射配准网络，通过刚性配准网络初步配准之后通过仿射配准网络精细配准，有效解决现有方案中非监督的配准方案配准效果较差的问题，达到了可以提高配准精度的效果。
请参考图7，其示出了本申请一个实施例提供的方法流程图，如图7所示，所述方法包括：
步骤701，获取目标固定眼底图像和目标浮动眼底图像；
在获取到待配准的目标固定眼底图像和目标浮动眼底图像之后，可以对目标固定眼底图像和目标浮动眼底图像进行预处理，预处理的步骤与上述实施例中的预处理方式类似，在此不再赘述。
步骤702，将所述目标固定眼底图像和所述目标浮动眼底图像输入至训练后的刚性配准网络，得到刚性变换矩阵；
本步骤与上述实施例中的步骤102类似，在此不再赘述。
步骤703，根据所述刚性变换矩阵对所述目标固定眼底图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；
本步骤与上述实施例中的步骤103类似，在此不再赘述。
步骤704，采用空间变换层根据变换得到的所述关键点坐标生成所述目标浮动眼底图像配准后的目标刚性配准眼底图像。
本步骤与上述实施例中的步骤104类似，在此不再赘述。
需要说明的是，根据所述目标刚性配准眼底图像、所述目标浮动眼底图像以及训练后的所述仿射配准网络，得到配准后的目标仿射配准眼底图像，训练后的仿射配准网络为通过上述实施例训练得到的网络。仿射配准的步骤可以包括：
第一，获取所述目标固定眼底图像的掩膜Mf以及所述目标刚性配准眼底图像的掩膜MW；
第二，根据所述目标固定眼底图像的掩膜Mf和所述目标刚性配准眼底图像确定所述目标固定眼底图像和所述目标刚性配准眼底图像的配准图像重叠部分Im；
第三，根据所述目标刚性配准眼底图像的掩膜MW和所述目标固定眼底图像确定所述目标固定眼底图像和所述目标刚性配准眼底图像的固定图像重叠部分If；
第四，将所述Im和所述If输入至训练后的仿射配准网络，得到仿射变换矩阵；
第五，根据所述仿射变换矩阵对所述If中的关键点坐标进行仿射变换，得到变换后的关键点坐标；
第六，采用空间变换层根据变换得到的所述关键点坐标生成所述If配准后的仿射配准眼底图像。
上述各个步骤与图1所示实施例中的具体实现类似，不同的是，上述实施例中使用的是样本固定眼底图像和样本浮动眼底图像，而本步骤中使用的是目标固定眼底图像和目标浮动眼底图像。
在本实施例中，使用的网络架构为图5中去除底色部分之后的网络架构。也即将图1所示实施例中训练后的刚性配准网络和训练后的仿射配准网络串联，在连接部分接入重叠区域的自动提取算法，就可以实现一个端到端的配准网络，将待配准的图像也即目标固定眼底图像if和目标浮动眼底图像im输入该网络，就能直接得到配准后的图像，这一过程可以表示为：
其中，Φr是刚性变换，Φa是仿射变换，
代表做空间变换。
为了定量评估本发明提出的方法的性能，根据下面两个指标对配准结果进行评估：RMSE(Root mean squared error)和AUC(Area under curve)。其中RMSE计算的是测试集10对关键点之间的均方根误差，AUC计算的是以RMSE作为配准成功的阈值，以整个测试集的配准成功率作为纵坐标画出的曲线的面积。
表1显示了本发明消融实验和对比实验的结果。前4行是对比了现有的两种基于深度学习的非监督配准方法，可以看到我们提出的目标函数相比现有的非监督学习方法能够大大提升配准精度；后面3行是消融实验，可以看出两步配准方案的有效性。
表1
综上所述，通过获取目标固定图像和目标浮动图像；将所述目标固定图像和所述目标浮动图像输入至训练后的刚性配准网络，得到刚性变换矩阵，训练后的所述刚性配准网络为通过以上实施例所述的训练方法训练得到；根据所述刚性变换矩阵对所述目标固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；采用空间变换层根据变换得到的所述关键点坐标生成所述目标浮动图像配准后的目标刚性配准图像，之后根据目标刚性配准眼底图像、所述目标浮动眼底图像以及训练后的所述仿射配准网络，得到配准后的目标仿射配准眼底图像。也即提出了基于关键点匹配的刚性配准网络和仿射配准网络，通过刚性配准网络初步配准之后通过仿射配准网络精细配准，有效解决现有方案中非监督的配准方案配准效果较差的问题，达到了可以提高配准精度的效果。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于关键点匹配网络的眼底图像配准方法，其特征在于，所述方法包括：
获取样本眼底图像，所述样本眼底图像包括n个图像对，每个图像对包括固定图像和浮动图像，n为大于2的整数；
将所述样本眼底图像输入至刚性配准网络，得到刚性变换矩阵；
根据所述刚性变换矩阵对所述固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述浮动图像配准后的刚性配准眼底图像；
根据所述所述样本眼底图像和所述刚性配准眼底图像训练所述刚性配准网络，得到训练后的刚性配准网络，训练后的所述刚性配准网络用于对眼底图像进行初步配准；
根据所述刚性配准眼底图像和所述样本眼底图像训练所述仿射配准网络，得到训练后的仿射配准网络，训练后的所述仿射配准网络用于对眼底图像进行精细配准。
2.根据权利要求1所述的方法，其特征在于，所述将所述样本眼底图像输入至刚性配准网络，得到刚性变换矩阵，包括：
将所述样本眼底图像输入至刚性配准网络，得到包括变换参数的所述刚性变换矩阵，所述变换参数包括绕中心(x0,y0)旋转的角度θ、横轴平移量tx以及纵轴平移量ty中的至少两种。
3.根据权利要求1所述的方法，其特征在于，所述根据所述刚性变换矩阵对所述固定图像中的关键点坐标做刚性变换，得到变换后的关键点坐标，包括：
变换后的所述关键点坐标为：
其中，
为所述固定图像中的第j个关键点坐标，
为变换得到的第j个关键点坐标，j的最大值为关键点的个数，Tr为所述刚性变换矩阵。
4.根据权利要求1所述的方法，其特征在于，所述刚性配准网络的损失函数为：
其中，
是浮动图像im上的第j个关键点坐标，
是所述配准图像中第j个关键点坐标，j的最大值为关键点的个数。
5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述刚性配准眼底图像和所述样本眼底图像训练所述仿射配准网络，得到训练后的仿射配准网络，包括：
对于每个图像对，获取所述固定图像的掩膜Mf以及所述配准图像的掩膜MW；
根据所述固定图像的掩膜Mf和所述刚性配准图像确定所述固定图像和所述刚性配准图像的配准图像重叠部分Im；
根据所述刚性配准图像的掩膜MW和所述固定图像确定所述固定图像和所述刚性配准图像的固定图像重叠部分If；
根据所述Im和所述If训练所述仿射配准网络。
6.根据权利要求5所述的方法，其特征在于，所述根据所述Im和所述If训练仿射配准网络，包括：
将所述Im和所述If输入至所述仿射配准网络，得到仿射变换矩阵；
根据所述仿射变换矩阵对所述If中的关键点坐标进行仿射变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述If配准后的仿射配准图像；
根据所述If以及所述仿射配准图像训练所述仿射配准网络，得到训练后的仿射配准网络。
7.根据权利要求5所述的方法，其特征在于，所述根据所述固定图像的掩膜Mf和所述刚性配准图像确定所述固定图像和所述刚性配准图像的配准图像重叠部分Im，包括：
所述
其中，iw为所述配准图像；
所述根据所述刚性配准图像的掩膜MW和所述固定图像确定所述固定图像和所述刚性配准图像的固定图像重叠部分If，包括：
8.一种基于关键点匹配网络的眼底图像配准方法，其特征在于，所述方法包括：
获取目标固定眼底图像和目标浮动眼底图像；
将所述目标固定眼底图像和所述目标浮动眼底图像输入至训练后的刚性配准网络，得到刚性变换矩阵，训练后的所述刚性配准网络为通过如权利要求1至7任一所述的训练方法训练得到；
根据所述刚性变换矩阵对所述目标固定眼底图像中的关键点坐标做刚性变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述目标浮动眼底图像配准后的目标刚性配准眼底图像；
根据所述目标刚性配准眼底图像、所述目标浮动眼底图像以及训练后的所述仿射配准网络，得到配准后的目标仿射配准眼底图像，训练后的仿射配准网络为通过如权利要求1至7任一所述的训练方法训练得到。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标刚性配准眼底图像、所述目标浮动眼底图像以及训练后的所述仿射配准网络，得到配准后的目标仿射配准眼底图像，包括：
获取所述目标固定眼底图像的掩膜Mf以及所述目标刚性配准眼底图像的掩膜MW；
根据所述目标固定眼底图像的掩膜Mf和所述目标刚性配准眼底图像确定所述目标固定眼底图像和所述目标刚性配准眼底图像的配准图像重叠部分Im；
根据所述目标刚性配准眼底图像的掩膜MW和所述目标固定眼底图像确定所述目标固定眼底图像和所述目标刚性配准眼底图像的固定图像重叠部分If；
将所述Im和所述If输入至训练后的仿射配准网络，得到仿射变换矩阵；
根据所述仿射变换矩阵对所述If中的关键点坐标进行仿射变换，得到变换后的关键点坐标；
采用空间变换层根据变换得到的所述关键点坐标生成所述If配准后的配准图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110167328.2A CN112819867A (zh) | 2021-02-05 | 2021-02-05 | 基于关键点匹配网络的眼底图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110167328.2A CN112819867A (zh) | 2021-02-05 | 2021-02-05 | 基于关键点匹配网络的眼底图像配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112819867A true CN112819867A (zh) | 2021-05-18 |
Family
ID=75862086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110167328.2A Pending CN112819867A (zh) | 2021-02-05 | 2021-02-05 | 基于关键点匹配网络的眼底图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819867A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564048A (zh) * | 2017-09-25 | 2018-01-09 | 南通大学 | 基于分叉点特征配准方法 |
| CN108876770A (zh) * | 2018-06-01 | 2018-11-23 | 山东师范大学 | 一种眼底多光谱图像联合配准方法及系统 |
| CN109345469A (zh) * | 2018-09-07 | 2019-02-15 | 苏州大学 | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 |
| CN110544274A (zh) * | 2019-07-18 | 2019-12-06 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| CN111161329A (zh) * | 2019-09-10 | 2020-05-15 | 沈阳工业大学 | 利用联合配准改善图像人脸个体配准性能方法及系统 |
| CN111260701A (zh) * | 2020-01-08 | 2020-06-09 | 华南理工大学 | 多模态视网膜眼底图像配准方法及装置 |
| CN111710012A (zh) * | 2020-06-12 | 2020-09-25 | 浙江大学 | 一种基于两维复合配准的octa成像方法与装置 |
-
2021
- 2021-02-05 CN CN202110167328.2A patent/CN112819867A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564048A (zh) * | 2017-09-25 | 2018-01-09 | 南通大学 | 基于分叉点特征配准方法 |
| CN108876770A (zh) * | 2018-06-01 | 2018-11-23 | 山东师范大学 | 一种眼底多光谱图像联合配准方法及系统 |
| CN109345469A (zh) * | 2018-09-07 | 2019-02-15 | 苏州大学 | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 |
| CN110544274A (zh) * | 2019-07-18 | 2019-12-06 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| CN111161329A (zh) * | 2019-09-10 | 2020-05-15 | 沈阳工业大学 | 利用联合配准改善图像人脸个体配准性能方法及系统 |
| CN111260701A (zh) * | 2020-01-08 | 2020-06-09 | 华南理工大学 | 多模态视网膜眼底图像配准方法及装置 |
| CN111710012A (zh) * | 2020-06-12 | 2020-09-25 | 浙江大学 | 一种基于两维复合配准的octa成像方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTO D OULIDIS STERGIOS ETAL: ""Linear and deformable image registration with 3d convolutional neural networks"", 《SPRINGER NATURE》, 31 December 2018 (2018-12-31), pages 1 - 13 * |
| 黄琳琳 等: ""新的眼底图像配准方法的研究"", 《计算机工程与应用》, 31 December 2011 (2011-12-31), pages 198 - 204 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shen | End-to-end training for whole image breast cancer diagnosis using an all convolutional design | |
| Ribeiro et al. | Colonic polyp classification with convolutional neural networks | |
| Reddy et al. | A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging | |
| EP3488381B1 (en) | Method and system for artificial intelligence based medical image segmentation | |
| US11776120B2 (en) | Method for predicting morphological changes of liver tumor after ablation based on deep learning | |
| Kumar et al. | Breast cancer classification of image using convolutional neural network | |
| WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| US20220157047A1 (en) | Feature Point Detection | |
| Gridach | PyDiNet: Pyramid dilated network for medical image segmentation | |
| CN113239755B (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
| Zhang et al. | Two-step registration on multi-modal retinal images via deep neural networks | |
| Oliveira et al. | Deep transfer learning for segmentation of anatomical structures in chest radiographs | |
| CN111488912B (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
| Patel | Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning | |
| CN115223193B (zh) | 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法 | |
| CN113450305B (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| CN114792326A (zh) | 一种基于结构光的手术导航点云分割与配准方法 | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| Guo et al. | CAFR-CNN: coarse-to-fine adaptive faster R-CNN for cross-domain joint optic disc and cup segmentation | |
| Jiang et al. | A hybrid enhanced attention transformer network for medical ultrasound image segmentation | |
| Rivas-Villar et al. | Joint keypoint detection and description network for color fundus image registration | |
| CN112767403A (zh) | 医学影像分割模型训练方法、医学影像分割方法及装置 | |
| CN109816665B (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| CN112819867A (zh) | 基于关键点匹配网络的眼底图像配准方法 | |
| CN111667469A (zh) | 肺部疾病分类方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |