CN110544274A - 一种基于多光谱的眼底图像配准方法及系统 - Google Patents
一种基于多光谱的眼底图像配准方法及系统 Download PDFInfo
- Publication number
- CN110544274A CN110544274A CN201910651097.5A CN201910651097A CN110544274A CN 110544274 A CN110544274 A CN 110544274A CN 201910651097 A CN201910651097 A CN 201910651097A CN 110544274 A CN110544274 A CN 110544274A
- Authority
- CN
- China
- Prior art keywords
- fundus image
- image
- fundus
- label
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 210000004204 blood vessel Anatomy 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 25
- 230000006870 function Effects 0.000 description 6
- 210000003161 choroid Anatomy 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本公开提供了一种基于多光谱眼底图像的配准方法。基于多光谱眼底图像的配准方法，包括：利用RHA获取多光谱眼底图像，选取模板眼底图像和待配准眼底图像；构造回归网络用于获得模板眼底图像与待配准眼底图像之间的形变场,并在回归网络中加入特征平衡层和金字塔结构；构造损失函数，包括血管标签图的相似度损失和形变场的平化约束；采取弱监督的方式训练网络，用处理后的眼底图像的分割图作为训练网络的标签。本公开以分割图作为指导采用弱监督的方式训练配准模型，实践证明此方法能有效的解决多光谱眼底图像配准的问题，可以达到很好的效果，并且弱监督的分割导向的配准方法可以扩展到更多的多模态图像配准问题。
Description
技术领域
本公开属于图像配准领域，尤其涉及一种基于多光谱的眼底图像配准方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
医学图像配准是医学图像处理中的一项基本的任务，是目前医学图像处理的一个热点，在临床诊断和疾病治疗方面有着非常重要的意义。医学图像配准就是在两幅图像之间寻找理想的空间变换，使得两幅图像的对应点在空间位置和解剖位置达到完全的匹配，或至少所有临床诊断的关注点到达匹配。
多光谱眼底图像是一种特殊的眼底成像，是利用不同的单色LED光源投射到眼底的不同组织中，根据眼底内不同组织吸收光谱的不同，每个单色光谱图像显示单层的结构和代谢信息，可获得眼底的视网膜和脉络膜结构，主要用于辅助诊断眼部的疾病和预测相关的全身性疾病，如白内障，青光眼，糖尿病等疾病。
多光谱眼底图像配准存在两个难点。首先，多光谱图像之间的强度存在差异。多光谱眼底分层成像系统RHA是使用不同波长的单色LED照明投射到眼底，获得多光谱图像，每一幅图像显示视网膜或脉络膜的一层，随着波长的增加，穿透率的增加，表现为神经纤维、神经节细胞层等，直至脉络膜。第二个难点是眼球的运动引起眼底的形变。这种眼球运动发生是因为两次拍摄之间的时间间隔大约是三秒，复杂的眼球运动在成像过程中给多光谱眼底图像的分析带来了巨大的挑战。
当前针对多光谱眼底图像配准的主要方法有两种，一是基于分割的配准方法,该方法需要精确的结构分割信息作为指导。但是，事实上获取精准的分割信息是非常昂贵的，需要相应的专家花费大量的精力进行标注。第二种是基于学习的配准方法，该方法需要预先对齐的图像对来训练多模态配准网络，但是很难得到精确的对齐图像对。
发明内容
针对上述挑战和现有技术中存在的不足，本公开提供一种基于多光谱的眼底图像配准方法，采取基于分割导向的弱监督的训练方法，其能利用卷积神经网络自动学习图像对特征，得到待配准眼底图像与模板眼底图像之间的空间变换矩阵，并且在训练后可以直接得到像素与像素之间的对应关系，而不需要标签图，能够有效的解决多光谱眼底图像的配准问题。
为了实现上述目的，本公开采用如下技术方案：
一种基于多光谱的眼底图像配准方法，包括：
(1)采集在不同光谱下的眼底图像，确定模板眼底图像和待配准眼底图像；
(2)基于特征平衡层和金字塔结构构建回归网络模型，获得模板眼底图像和待配准眼底图像之间的空间变换矩阵；
(3)采取弱监督的方法训练回归网络，以眼底图像的分割图作为标签，获得模板眼底图像和待配准眼底图像的血管标签图，使用高斯滤波器处理血管标签图，利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换，使回归网络模型输出近似平滑的结果；
(4)利用训练完成的回归网络模型，完成多光谱眼底图像配准。
进一步的，所述步骤(2)中，基于U-net网络构建回归网络模型，生成在不同尺度下的空间变换矩阵，调整U-net网络的结构，增加特征平衡层和金字塔结构；
进一步的，所述步骤(2)中还包括：
(2.1)所述回归网络模型由多层卷积层，池化层和反卷积层构建，在编码和解码操作之间加入间隙填充层，平衡低级特征和高级特征，卷积运算后，将低层特征与高层特征进行融合，增强低层特征与高层特征的互补性；
(2.2)增加金字塔结构，把原始眼底图像缩减为不同比例的图像，输入到回归网络模型中，相应的眼底血管图在相同规模的输出层指导网络训练，在不同尺度的眼底图像上进行配准。
所述(2.2)具体为，
(2.2.1)对细节较少的粗尺度图像进行配准，并将配准结果作为精细图像配准的初始值；
(2.2.2)运用插值算法把在粗尺度得到的形变场插值到精细尺度的形变场，在精细的尺度上细化空间变换矩阵，逐步得到最精细的空间变换矩阵。
进一步的，所述步骤(3)中，
使用高斯滤波器处理血管标签图，
其中，(x,y)为点坐标，σ是标准差。
进一步的，所述步骤(3)中，
对于配准过程中的损失函数，对给定的两幅图像{IT,IS}，Is待配准眼底图像，IT为模板眼底图像，
L＝LM+LR (3)
其中，L表示总的损失，LM表示血管标签图的相似性，LR表示形变场的平滑约束；
使用形变后的待配准眼底图像的标签图和模板眼底图像对应的标签图的空间对应关系来表示图像之间的对应关系，
LM(LT,LS,φ)＝M(LT,LS(φ))＝M(LT,L'S) (4)
其中，LM表示模板眼底图像的标签与待配准眼底图像的标签的相似度损失， LT为模板眼底图像的标签，LS为形变前的待配准眼底图像标签，L'S为形变后的待配准眼底图像标签，L'S＝Ls(φ)，M为相似度度量的方法，φ表示模板眼底图像与待配准眼底图像之间的一个形变场。
进一步的，所述步骤(3)中，
采用由粗到精的迭代算法，将粗尺度作为细尺度的初始值，细尺度上的损失函数为：
LFINE＝LM(LT,LS,φ)+λ1LR(φ)+λ2LF(φ,φ'coarse) (6)
其中，LFINE为细尺度上的损失，LM表示血管标签图的相似性，LT为模板眼底图像的标签，LS为形变前的待配准眼底图像标签，φ是形变场，λ1,λ2为调整后两项的权重，LR表示形变场的平滑约束，LF为粗尺度和细尺度之间的损失，φ'coarse为使用线性插值产生的尺寸较大的新的形变场；
其中，
φ'coarse＝Interpolation(φcoarse) (8)
LF为粗尺度和细尺度之间的欧几里得损失，N为血管标签图上的像素个数，φfine为细尺度上网络预测的形变场，φcoarse为粗尺度上网络预测的形变场。φ'coarse为使用线性插值产生的尺寸较大的新的形变场。
进一步的，所述步骤(3)中，
优化回归网络模型，使用Adam算法进行优化，使用随机梯度下降算法训练回归网络模型。
一种基于多光谱的眼底图像配准系统，包括：
图像采集模块，采集在不同光谱下的眼底图像，确定模板眼底图像和待配准眼底图像；
网络构建模块，基于特征平衡层和金字塔结构构建回归网络模型，获得模板眼底图像和待配准眼底图像之间的空间变换矩阵；
训练模块，采取弱监督的方法训练回归网络，以眼底图像的分割图作为标签，获得模板眼底图像和待配准眼底图像的血管标签图，使用高斯滤波器处理血管标签图，利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换，使回归网络模型输出近似平滑的结果；
配准模块，利用训练完成的回归网络模型，完成多光谱眼底图像配准。
与现有技术相比，本公开的有益效果为：
1、本公开基于分割导向的弱监督的多光谱眼底图像配准模型，由于待配准眼底图像与模眼底板图像之间的真实形变场很难获得，所以采取弱监督的训练方法，利用眼底图像血管的分割图作为网络训练的标签，同样可以纠正待配准眼底图像与模板眼底图像的空间变换，同时避免过拟合。
2、在网络模型中加入了特征平衡层和金字塔结构。特征平衡层用于平衡低级特征和高级特征，更好的融合低级特征和高级特征，以增强低级特证，使之可以与高级特征互补。使用金字塔结构在不同尺度的图像上执行配准操作，逐步细化得到最精确的空间变换关系，可以加速图像配准的速度和精度，避免陷入局部最小。
3、该网络在训练完成后，可以直接得到待配准眼底图像与模板眼底图像之间的空间对应关系，并且不需要对应的分割图作为指导，更不需要迭代。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实例提供的在不同光谱下的眼底图像；
图2是本公开实施提供的多光谱眼底图像配准的流程图；
图3是本公开实施提供的多光谱眼底图像配准的网络结构图；
图4(a)-(c)是本公开实施提供的训练网络的标签；
图a.带有血管标记的MSI-550；图b.使用一个大的高斯核平滑运算的结果；图c是使用小的高斯核经过多次平滑的结果图；
其中，1、输入和输出；2、复制；3、池化；4、线性差值；5、卷积和ReLU；6、相似度损失；7、反卷积。
具体实施方式：
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1：
本公开提供一种基于多光谱的眼底图像配准系统，该方法包括：
步骤(1)：采集在不同光谱下的眼底图像，确定模板眼底图像和待配准眼底图像；
步骤(2)：基于特征平衡层和金字塔结构构建回归网络模型，获得模板眼底图像和待配准眼底图像之间的空间变换矩阵；
步骤(3)：采取弱监督的方法训练回归网络，以眼底图像的分割图作为标签，获得模板眼底图像和待配准眼底图像的血管标签图，使用高斯滤波器处理血管标签图，利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换，使回归网络模型输出近似平滑的结果；
步骤(4)：利用训练完成的回归网络模型，完成多光谱眼底图像配准。
进一步优选地，所述步骤(1)中，利用RHA采取的视网膜及视网膜下层的高分辨率图像数据，这些数据分别来自8个健康人和2个有糖尿病视网膜病变的病人，获取其左眼和右眼的图像，每个序列有11幅不同的图片，来自11种不同的波长，分别是550nm，580nm，590nm，620nm，660nm，690nm，740nm，760nm， 780nm，810nm和850nm共220张眼底图像。
作为一种优选的实施例，本公开采用波长为550nm的图像作为模板眼底图像，其他波长的图像作为待配准眼底图像。
进一步优选地，所述步骤(2)中，本公开基于U-net网络构建回归网络模型，该网络模型包含编码器和解码器，且由多层卷积层、池化层和反卷积层构成，用于生成不同尺度的空间变换矩阵。为了达到更精准的配准效果，本公开在回归网络模型上做了如下两个调整，增加特征平衡层和金字塔结构，具体描述如下：
步骤2.1：特征平衡层
本公开的回归网络模型由多层构建，包括卷积层，池化层和反卷积层，如图3所示。在编码部分，图像每经过一次池化操作特征图的大小将减半，随着卷积的增加，网络提取了图像的高级特征；在解码部分，特征图通过反卷积恢复到原始图像的大小，然而，低级特征包含了许多细节信息，通过多次卷积操作形成的高级特征，就会丢失这些细节信息。本公开中加入间隙填充层，在编码器和解码器之间加入额外的卷积层用来平衡低级特征和高级特征，经过卷积运算后，将低层特征与高层特征进行融合，以增强低层特征与高层特征的互补性。
步骤2.2：金子塔结构
金字塔结构被广泛应用在图像配准中，在一定程度上可以加快深层网络的收敛速度，避免陷入局部最优解。
加入金字塔结构，把原始图像缩减为不同比例的图像，输入到回归网络模型中，相应的视网膜血管图在相同规模的输出层指导网络训练，在不同尺寸的眼底图像上进行配准。
首先对细节较少的粗尺度图像进行配准，并将配准结果作为精细图像配准的初始值；其次运用插值算法把在粗尺度得到的形变场插值到精细尺度的形变场，在精细的尺度上细化形变矩阵，逐步得到最精细的形变场。
进一步优选地，所述步骤(3)中，训练回归网络模型有一个难点就是没有真正的标签图，也就是待配准眼底图像与模板眼底图像之间的真实形变场，本公开使用弱监督的方法，即用眼底血管分割图来训练回归网络。
步骤3.1：为了更有效的利用血管的背景和边缘梯度，本公开中使用软标签而不是二进制标签来训练网络，使用二维的高斯滤波器处理二进制标签。
其中，(x,y)为点坐标，σ是标准差。
本公开中使用一个小的高斯核多次卷积二进制标签，每次卷积后再与原二进制标签结合，虽然这个计算过程是非常复杂的，但它可以适用于非常小的血管，如图4(a)-(c)所示。经比较，使用小的高斯核经过多次平滑的结果保留了血管标签的细节，特别是细小的血管。
步骤3.2：对于配准网络的损失函数，对给定的两幅图像{IT,IS}，Is待配准眼底图像，IT为模板眼底图像，优化的目标就是优化相似度损失和正则化损失:
其中，φ表示模板眼底图像与待配准眼底图像之间的一个形变场，R为形变场的正则化约束，λ为正则化参数，M为配准的相似度度量方法。
本公开所使用的损失函数与上述函数类似：
L＝LM+LR (3)
其中，L表示总的损失，LM表示血管标签图的相似性，LR表示形变场的平滑约束。
对于多光谱眼底图像，本公开使用形变后的待配准眼底图像的标签图和模板眼底图像对应的标签图的空间对应关系来表示图像之间的对应关系，
LM(LT,LS,φ)＝M(LT,LS(φ))＝M(LT,L'S) (4)
其中，LM表示模板眼底图像的标签与待配准眼底图像的标签的相似度损失， LT为模板眼底图像的标签，LS为形变前的待配准眼底图像标签，L'S为形变后的待配准眼底图像标签，L'S＝Ls(φ)，M为相似度度量的方法，φ表示模板眼底图像与待配准眼底图像之间的一个形变场。
步骤3.3：为了保证网络输出的形变场的平滑性，本公开采用正则化损失监督网络，
其中，LR表示形变场的平滑约束，表示拉普拉斯运算，φ是形变场，μ表示在血管标签图上的像素，N表示血管标签图上像素的个数，α，β是正则化参数。
在本公开中α＝1和β＝0.01，第一项得到的是图像的二阶导数，通过最小化图像的二阶导数得到图像平滑的空间变换；第二项是L2正则化，用于平衡网络的初始值。
步骤3.4：本公开采用由粗到精的迭代策略，将粗尺度作为细尺度的初始值，因此细尺度上的损失函数为：
LFINE＝LM(LT,LS,φ)+λ1LR(φ)+λ2LF(φ,φ'coarse) (6)
其中，LFINE为细尺度上的损失，LM表示血管标签图的相似性，LT为模板眼底图像的标签，LS为形变前的待配准眼底图像标签，φ是形变场，λ1,λ2为调整后两项的权重，LR表示形变场的平滑约束，LF为粗尺度和细尺度之间的损失，φ'coarse为使用线性插值产生的尺寸较大的新的形变场。
其中，
φ'coarse＝Interpolation(φcoarse) (8)
LF为粗尺度和细尺度之间的欧几里得损失，N为血管标签图上的像素个数，φfine为细尺度上网络预测的形变场，φcoarse为粗尺度上网络预测的形变场。φ'coarse为使用线性插值产生的尺寸较大的新的形变场。
步骤3.5：优化回归网络模型，使用Adam算法进行优化，使用随机梯度下降算法训练回归网络模型。
本公开提供一种基于多光谱的眼底图像配准系统，包括：
图像采集模块，采集在不同光谱下的眼底图像，确定模板眼底图像和待配准眼底图像；
网络构建模块，基于特征平衡层和金字塔结构构建回归网络模型，获得模板眼底图像和待配准眼底图像之间的空间变换矩阵；
训练模块，采取弱监督的方法训练回归网络，以眼底图像的分割图作为标签，获得模板眼底图像和待配准眼底图像的血管标签图，使用高斯滤波器处理血管标签图，利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换，使回归网络模型输出近似平滑的结果；
配准模块，利用训练完成的回归网络模型，完成多光谱眼底图像配准。
以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (9)
1.一种基于多光谱的眼底图像配准方法，其特征在于，包括：
(1)采集在不同光谱下的眼底图像，确定模板眼底图像和待配准眼底图像；
(2)基于特征平衡层和金字塔结构构建回归网络模型，获得模板眼底图像和待配准眼底图像之间的空间变换矩阵；
(3)采取弱监督的方法训练回归网络，以眼底图像的分割图作为标签，获得模板眼底图像和待配准眼底图像的血管标签图，使用高斯滤波器处理血管标签图，利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换，使回归网络模型输出近似平滑的结果；
(4)利用训练完成的回归网络模型，完成多光谱眼底图像配准。
2.如权利要求1所述的一种基于多光谱的眼底图像配准方法，其特征在于，
所述步骤(2)中，基于U-net网络构建回归网络模型，生成在不同尺度下的空间变换矩阵，调整U-net网络的结构，增加特征平衡层和金字塔结构。
3.如权利要求1所述的一种基于多光谱的眼底图像配准方法，其特征在于，
所述步骤(2)中还包括：
(2.1)所述回归网络模型由多层卷积层，池化层和反卷积层构建，在编码和解码操作之间加入间隙填充层，平衡低级特征和高级特征，卷积运算后，将低层特征与高层特征进行融合，增强低层特征与高层特征的互补性；
(2.2)增加金字塔结构，把原始眼底图像缩减为不同比例的图像，输入到回归网络模型中，相应的眼底血管图在相同规模的输出层指导网络训练，在不同尺度的眼底图像上进行配准。
4.如权利要求3所述的一种基于多光谱的眼底图像配准方法，其特征在于，
所述(2.2)具体为，
(2.2.1)对细节较少的粗尺度图像进行配准，并将配准结果作为精细图像配准的初始值；
(2.2.2)运用插值算法把在粗尺度得到的形变场插值到精细尺度的形变场，在精细的尺度上细化空间变换矩阵，逐步得到最精细的空间变换矩阵。
5.如权利要求1所述的一种基于多光谱的眼底图像配准方法，其特征在于，
所述步骤(3)中，
使用高斯滤波器处理血管标签图，
其中，(x,y)为点坐标，σ是标准差。
6.如权利要求1所述的一种基于多光谱的眼底图像配准方法，其特征在于，
所述步骤(3)中，
对于配准过程中的损失函数，对给定的两幅图像{IT,IS}，Is待配准眼底图像，IT为模板眼底图像，
L＝LM+LR (2)
其中，L表示总的损失，LM表示血管标签图的相似性，LR表示形变场的平滑约束；
使用形变后的待配准眼底图像的标签图和模板眼底图像对应的标签图的空间对应关系来表示图像之间的对应关系，
LM(LT,LS,φ)＝M(LT,LS(φ))＝M(LT,L'S) (3)
其中，LM表示模板眼底图像的标签与待配准眼底图像的标签的相似度损失，LT为模板眼底图像的标签，LS为形变前的待配准眼底图像标签，L'S为形变后的待配准眼底图像标签，L'S＝Ls(φ)，M为相似度度量的方法，φ表示模板眼底图像与待配准眼底图像之间的一个形变场。
7.如权利要求1所述的一种基于多光谱的眼底图像配准方法，其特征在于，
所述步骤(3)中，
采用由粗到精的迭代算法，将粗尺度作为细尺度的初始值，细尺度上的损失函数为：
LFINE＝LM(LT,LS,φ)+λ1LR(φ)+λ2LF(φ,φ'coarse) (4)
其中，LFINE为细尺度上的损失，LM表示血管标签图的相似性，LT为模板眼底图像的标签，LS为形变前的待配准眼底图像标签，φ是形变场，λ1,λ2为调整后两项的权重，LR表示形变场的平滑约束，LF为粗尺度和细尺度之间的损失，φ'coarse为使用线性插值产生的尺寸较大的新的形变场；
其中，
φ'coarse＝Interpolation(φcoarse) (6)
LF为粗尺度和细尺度之间的欧几里得损失，N为血管标签图上的像素个数，φfine为细尺度上网络预测的形变场，φcoarse为粗尺度上网络预测的形变场，φ'coarse为使用线性插值产生的尺寸较大的新的形变场。
8.如权利要求1所述的一种基于多光谱的眼底图像配准方法，其特征在于，
所述步骤(3)中，
优化回归网络模型，使用Adam算法进行优化，使用随机梯度下降算法训练回归网络模型。
9.一种基于多光谱的眼底图像配准系统，其特征在于，包括：
图像采集模块，采集在不同光谱下的眼底图像，确定模板眼底图像和待配准眼底图像；
网络构建模块，基于特征平衡层和金字塔结构构建回归网络模型,获得模板眼底图像和待配准眼底图像之间的空间变换矩阵；
训练模块，采取弱监督的方法训练回归网络，以眼底图像的分割图作为标签，获得模板眼底图像和待配准眼底图像的血管标签图，使用高斯滤波器处理血管标签图，利用处理后的血管标签图纠正模板眼底图像和待配准眼底图像的空间变换，使回归网络模型输出近似平滑的结果；
配准模块，利用训练完成的回归网络模型，完成多光谱眼底图像配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910651097.5A CN110544274B (zh) | 2019-07-18 | 2019-07-18 | 一种基于多光谱的眼底图像配准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910651097.5A CN110544274B (zh) | 2019-07-18 | 2019-07-18 | 一种基于多光谱的眼底图像配准方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110544274A true CN110544274A (zh) | 2019-12-06 |
| CN110544274B CN110544274B (zh) | 2022-03-29 |
Family
ID=68709960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910651097.5A Active CN110544274B (zh) | 2019-07-18 | 2019-07-18 | 一种基于多光谱的眼底图像配准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544274B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311652A (zh) * | 2020-01-19 | 2020-06-19 | 杭州电子科技大学 | 一种基于回归校正网络的声呐图像配准方法及系统 |
| CN111369598A (zh) * | 2020-03-02 | 2020-07-03 | 北京推想科技有限公司 | 深度学习模型的训练方法及装置、应用方法及装置 |
| CN111681271A (zh) * | 2020-08-11 | 2020-09-18 | 湖南大学 | 一种多通道多光谱相机配准方法、系统及介质 |
| CN112435281A (zh) * | 2020-09-23 | 2021-03-02 | 山东师范大学 | 一种基于对抗学习的多光谱眼底图像分析方法及系统 |
| CN112819867A (zh) * | 2021-02-05 | 2021-05-18 | 苏州大学 | 基于关键点匹配网络的眼底图像配准方法 |
| CN113160289A (zh) * | 2021-03-31 | 2021-07-23 | 哈尔滨工业大学（深圳） | 一种基于深度学习的工业印刷品图像配准方法及装置 |
| CN113240697A (zh) * | 2021-05-13 | 2021-08-10 | 安徽大学 | 一种生菜多光谱图像前景分割方法 |
| CN113298742A (zh) * | 2021-05-20 | 2021-08-24 | 广东省人民医院 | 基于图像配准的多模态视网膜图像融合方法及系统 |
| CN113724206A (zh) * | 2021-08-12 | 2021-11-30 | 武汉大学 | 一种基于自监督学习的眼底图像血管分割方法及系统 |
| CN114931436A (zh) * | 2022-07-27 | 2022-08-23 | 中国科学院宁波材料技术与工程研究所 | 一种白内障手术导航系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102908120A (zh) * | 2012-10-09 | 2013-02-06 | 北京大恒图像视觉有限公司 | 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法 |
| CN106447708A (zh) * | 2016-10-10 | 2017-02-22 | 吉林大学 | 一种oct眼底图像数据配准方法 |
| CN106651827A (zh) * | 2016-09-09 | 2017-05-10 | 浙江大学 | 一种基于sift特征的眼底图像配准方法 |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| CN107730542A (zh) * | 2017-08-29 | 2018-02-23 | 北京大学 | 锥束计算机断层扫描图像对应与配准方法 |
| CN108876770A (zh) * | 2018-06-01 | 2018-11-23 | 山东师范大学 | 一种眼底多光谱图像联合配准方法及系统 |
| CN109272443A (zh) * | 2018-09-30 | 2019-01-25 | 东北大学 | 一种基于全卷积神经网络的pet与ct图像配准方法 |
| CN109584283A (zh) * | 2018-11-29 | 2019-04-05 | 合肥中科离子医学技术装备有限公司 | 一种基于卷积神经网络的医学图像配准算法 |
| CN109767459A (zh) * | 2019-01-17 | 2019-05-17 | 中南大学 | 新型眼底图配准方法 |
| CN109872332A (zh) * | 2019-01-31 | 2019-06-11 | 广州瑞多思医疗科技有限公司 | 一种基于u-net神经网络的三维医学图像配准方法 |
| CN109993709A (zh) * | 2019-03-18 | 2019-07-09 | 绍兴文理学院 | 一种基于深度学习的图像配准误差校正方法 |
| CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及系统 |
-
2019
- 2019-07-18 CN CN201910651097.5A patent/CN110544274B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102908120A (zh) * | 2012-10-09 | 2013-02-06 | 北京大恒图像视觉有限公司 | 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法 |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| CN106651827A (zh) * | 2016-09-09 | 2017-05-10 | 浙江大学 | 一种基于sift特征的眼底图像配准方法 |
| CN106447708A (zh) * | 2016-10-10 | 2017-02-22 | 吉林大学 | 一种oct眼底图像数据配准方法 |
| CN107730542A (zh) * | 2017-08-29 | 2018-02-23 | 北京大学 | 锥束计算机断层扫描图像对应与配准方法 |
| CN108876770A (zh) * | 2018-06-01 | 2018-11-23 | 山东师范大学 | 一种眼底多光谱图像联合配准方法及系统 |
| CN109272443A (zh) * | 2018-09-30 | 2019-01-25 | 东北大学 | 一种基于全卷积神经网络的pet与ct图像配准方法 |
| CN109584283A (zh) * | 2018-11-29 | 2019-04-05 | 合肥中科离子医学技术装备有限公司 | 一种基于卷积神经网络的医学图像配准算法 |
| CN109767459A (zh) * | 2019-01-17 | 2019-05-17 | 中南大学 | 新型眼底图配准方法 |
| CN109872332A (zh) * | 2019-01-31 | 2019-06-11 | 广州瑞多思医疗科技有限公司 | 一种基于u-net神经网络的三维医学图像配准方法 |
| CN109993709A (zh) * | 2019-03-18 | 2019-07-09 | 绍兴文理学院 | 一种基于深度学习的图像配准误差校正方法 |
| CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| TONGTONG CHE 等: ""Deep Group-Wise Registration for Multi-Spectral Images From Fundus Images"", 《IEEE》 * |
| YUANJIE ZHENG 等: ""Joint alignment of multispectral images via semidefinite programming"", 《BIOMEDICAL OPTICS EXPRESS》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311652A (zh) * | 2020-01-19 | 2020-06-19 | 杭州电子科技大学 | 一种基于回归校正网络的声呐图像配准方法及系统 |
| CN111311652B (zh) * | 2020-01-19 | 2023-04-18 | 杭州电子科技大学 | 一种基于回归校正网络的声呐图像配准方法及系统 |
| CN111369598A (zh) * | 2020-03-02 | 2020-07-03 | 北京推想科技有限公司 | 深度学习模型的训练方法及装置、应用方法及装置 |
| CN111369598B (zh) * | 2020-03-02 | 2021-03-30 | 推想医疗科技股份有限公司 | 深度学习模型的训练方法及装置、应用方法及装置 |
| CN111681271A (zh) * | 2020-08-11 | 2020-09-18 | 湖南大学 | 一种多通道多光谱相机配准方法、系统及介质 |
| CN111681271B (zh) * | 2020-08-11 | 2020-10-30 | 湖南大学 | 一种多通道多光谱相机配准方法、系统及介质 |
| CN112435281A (zh) * | 2020-09-23 | 2021-03-02 | 山东师范大学 | 一种基于对抗学习的多光谱眼底图像分析方法及系统 |
| CN112819867A (zh) * | 2021-02-05 | 2021-05-18 | 苏州大学 | 基于关键点匹配网络的眼底图像配准方法 |
| CN113160289B (zh) * | 2021-03-31 | 2022-02-01 | 哈尔滨工业大学（深圳） | 一种基于深度学习的工业印刷品图像配准方法及装置 |
| CN113160289A (zh) * | 2021-03-31 | 2021-07-23 | 哈尔滨工业大学（深圳） | 一种基于深度学习的工业印刷品图像配准方法及装置 |
| CN113240697A (zh) * | 2021-05-13 | 2021-08-10 | 安徽大学 | 一种生菜多光谱图像前景分割方法 |
| CN113240697B (zh) * | 2021-05-13 | 2022-10-18 | 安徽大学 | 一种生菜多光谱图像前景分割方法 |
| CN113298742A (zh) * | 2021-05-20 | 2021-08-24 | 广东省人民医院 | 基于图像配准的多模态视网膜图像融合方法及系统 |
| CN113724206A (zh) * | 2021-08-12 | 2021-11-30 | 武汉大学 | 一种基于自监督学习的眼底图像血管分割方法及系统 |
| CN113724206B (zh) * | 2021-08-12 | 2023-08-18 | 武汉大学 | 一种基于自监督学习的眼底图像血管分割方法及系统 |
| CN114931436A (zh) * | 2022-07-27 | 2022-08-23 | 中国科学院宁波材料技术与工程研究所 | 一种白内障手术导航系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110544274B (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110544274B (zh) | 一种基于多光谱的眼底图像配准方法及系统 | |
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| Xiang et al. | Automatic segmentation of retinal layer in OCT images with choroidal neovascularization | |
| Mohammadian et al. | Comparative study of fine-tuning of pre-trained convolutional neural networks for diabetic retinopathy screening | |
| US20220028085A1 (en) | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ | |
| Imran et al. | Fundus image-based cataract classification using a hybrid convolutional and recurrent neural network | |
| WO2019001209A1 (zh) | 基于三维卷积神经网络的视网膜oct图像的分类算法 | |
| You et al. | Fundus image enhancement method based on CycleGAN | |
| CN113793348B (zh) | 一种视网膜血管分割方法和装置 | |
| Doshi et al. | DeepMRSeg: A convolutional deep neural network for anatomy and abnormality segmentation on MR images | |
| Khalil et al. | Classification of diabetic retinopathy types based on convolution neural network (CNN) | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| CN117315258A (zh) | 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法 | |
| CN115409764A (zh) | 一种基于域自适应的多模态眼底血管分割方法及装置 | |
| CN114943924A (zh) | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 | |
| Kim et al. | Web applicable computer-aided diagnosis of glaucoma using deep learning | |
| CN117593293B (zh) | 鼻骨骨折影像智能处理系统及方法 | |
| CN109035137B (zh) | 一种基于最优传输理论的多模态医学图像融合方法 | |
| CN117314935A (zh) | 基于扩散模型的低质量眼底图像的增强及分割方法及系统 | |
| Wang et al. | An efficient hierarchical optic disc and cup segmentation network combined with multi-task learning and adversarial learning | |
| CN111144331A (zh) | 手肘静脉图像肘正中静脉的识别方法及手肘图像采集装置 | |
| CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
| Baba et al. | Detection of diabetic retinopathy with retinal images using CNN | |
| Lu et al. | An Alzheimer's disease classification method based on ConvNeXt |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |