CN109767459A - 新型眼底图配准方法 - Google Patents
新型眼底图配准方法 Download PDFInfo
- Publication number
- CN109767459A CN109767459A CN201910044689.0A CN201910044689A CN109767459A CN 109767459 A CN109767459 A CN 109767459A CN 201910044689 A CN201910044689 A CN 201910044689A CN 109767459 A CN109767459 A CN 109767459A
- Authority
- CN
- China
- Prior art keywords
- image
- deformation field
- scale
- input
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 210000004204 blood vessel Anatomy 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims 4
- 238000004364 calculation method Methods 0.000 claims 1
- 230000007812 deficiency Effects 0.000 claims 1
- 238000009499 grossing Methods 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 15
- 238000013527 convolutional neural network Methods 0.000 abstract description 6
- 238000012549 training Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000306 recurrent effect Effects 0.000 description 10
- 230000002792 vascular Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 101100379079 Emericella variicolor andA gene Proteins 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 206010047115 Vasculitis Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种新型眼底图配准方法，包括对输入图像处理；将处理后的输入图像对输送到深度回归网络得到相应的变形场；对输入图像进行增强得到辅助图像；采用空间变换器对辅助图像进行扭曲得到变形图像；构建损失函数；对深度回归网络进行反复学习和训练得到最优配准模型；利用最优配准模型对待配准的眼底图像进行配准。本发明利用无监督的卷积神经网络，以一种端到端的方式执行眼底图配准，因此本发明极大地提高了眼底配准结果的准确性和鲁棒性，而且可靠性高、计算效率较高且配准结果准确。
Description
技术领域
本发明具体涉及一种新型眼底图配准方法。
背景技术
随着经济技术的发展，人工智能技术已经逐步开始应用于医疗领域，为医疗领域的诊断提供辅助和补充的技术信息。
在眼底图像分析和处理中，眼底图配准是一项重要的基础任务。眼底图配准在临床应用中能够提供补充信息以帮助诊断和跟踪许多眼科疾病，包括ARMD、糖尿病视网膜病变和血管炎等。眼科医生通常通过比较在不同时期拍摄的眼底图像来诊断眼科疾病以及评估疾病的发展阶段，进一步决定采取相应的医疗措施。为了确保这种比较和评估的客观性，研究开发一种自动化的眼底图配准方法是一项十分迫切而极具价值的任务。尽管有很多研究工作致力于解决眼底图像配准问题，但是眼底图配准仍然是一个具有挑战性的工作。现存的配准方法主要存在以下困难：(1)眼底图像的血管结构复杂，常常由于灰度差异和结构变化导致难以对齐血管结构；(2)传统的配准方法不断迭代优化损失函数，这通常严重限制了配准的速度；(3)收集大量准确的配准标签通常是困难的。
可变形配准在建立图像对之间的非刚性对应关系上具有很大的潜力。目前，有很多基于可变形配准的眼底图配准方法。传统的变形配准方法在各种数据集上取得了令人满意的成绩。然而，它们有一个不容忽视的问题。传统的配准方法对每一对配准图像都要从头开始迭代优化定义的损失函数来更新变换参数或变形场，这严重地限制了配准速度，而且需要非常仔细地调整参数。其中有部分是基于机器学习的方法，这类方法存在两个缺陷限制了其发展。其一，信息特征表示很难直接从学习和优化变形函数或相似性函数中获取；其二，与图像分类和分割不同的是，配准的标签是很难收集的。最近，深度学习在图像分类，分割和目标检测中表现出色，并且有少量的研究工作验证了深度学习特别是卷积神经网络在图像配准中的有效性。为了解决需要大量收集丰富而可靠的配准标签的问题，有少量的研究工作提出了基于无监督的深度学习的配准方法，而且受到研究人员的广泛青睐。不幸的是，当配准图像存在解剖差异或者灰度等变化时，这类方法的配准性能将会降低。
发明内容
本发明的目的在于提供一种可靠性高、计算效率较高且配准结果准确的新型眼底图配准方法。
本发明提供的这种新型眼底图配准方法，包括如下步骤：
S1.对输入图像对进行预处理；所述的图像包括固定图像和移动图像，且固定图像和对应的移动图像组成一个输入图像对；
S2.将步骤S1处理后的输入图像对输送到深度回归网络中，从而得到相应的变形场；
S3.对步骤S1的输入图像进行增强，从而得到辅助图像；
S4.采用空间变换器对步骤S3得到的辅助图像进行扭曲，从而得到变形图像；
S5.根据得到的输入图像对的变形场、辅助图像和变形图像，构建损失函数；
S6.根据步骤S5得到的损失函数，对深度回归网络进行反复学习和训练，从而得到最优配准模型；
S7.利用步骤S6得到的最优配准模型，对眼底图像对进行配准。
步骤S1所述的对输入图像进行预处理，具体为将固定图像和移动图像转换为灰度图像，并将得到的灰度图像合并成一个双通道的图谱作为深度回归网络的输入。
步骤S2所述的得到输入图像对的变形场，具体为采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场。
所述的采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场，具体为采用如下步骤得到变形场：
A.将输入数据输入到卷积层进行卷积运算；所述的卷积层采用K1×K1(比如3×3)的且步长为S1(比如1)个像素的卷积；
B.将步骤A的结果输入ReLu激活函数进行运算，从而增加数据的非线性并增强网络的建模能力；
C.将步骤B的结果输入池化层进行运算；所述的池化层采用的是K2×K2(比如2×2)且步长为S2(比如2)个像素最大池化操作。
D.将网络中若干个(比如3个)池化层输出的特征图谱，执行K3×K3(比如3×3)，步长为S3(比如1)个像素的卷积操作，从而得到最终的变形场。
步骤S3所述的对输入图像进行增强，具体为改进多尺度Hessian滤波，新的增强方法克服现有方法的不足并且该方法能够表现出较为理想的增强功能(如：可变的血管形态，病理学以及血流、造影剂引起的血管内外强度不均匀性等)。通过利用该方法能够增强配准图像的血管结构和边缘信息，从而得到辅助图像。具体步骤可以参见文献[Jerman,T.,F.,Likar,B.,&(2016).Enhancement of vascular structures in3D and 2D angiographic images.IEEE transactions on medical imaging,35(9),2107-2118.]；
步骤S4所述的采用空间变换器对得到的辅助图像进行扭曲，从而得到变形图像，具体为首先利用变形场将规则网格通过网格生成器转换为采样网格，然后采样器采用采样网格对增强后的移动图像进行扭曲，从而得到变形图像；所述的空间变换器包括网格生成器和采样器。
所述的利用变形场将规则网格通过网格生成器转换为采样网格，具体为采用如下算式进行转换：
式中为Dθ在i上的坐标，Dθ为变形场，Gi为常规网格，为Dθ中的位移向量，为G在i上的坐标。
所述的采样器采用采样网格对增强后的移动图像进行扭曲，具体为采用如下算式进行扭曲计算：
式中Vtrans为变形图像，i为Vtrans中像素的位置，c为通道，Vm为经过增强操作后的移动图像，H为Vm的高，W为Vm的宽，为Vm在c通道下坐标位置为(x,y)处的像素值，max()为取最大值操作，为Dθ在i上的坐标。
步骤S5所述的损失函数包括了惩罚项和正则项；惩罚项为通过计算固定图像的血管增强图与变形图像的相似性得到，用于惩罚图像的差异；正则项为通过对变形场施加平滑操作得到。
所述的惩罚项，具体为采用如下算式计算得到：
Lsim＝-αlowNCC(φlow,If,Im)-αmidNCC(φmid,If,Im)-αhighNCC(φhigh,If,Im)
式中αlow为低尺度上图像相似性的权重值，αmid为中尺度上图像相似性的权重值，αhigh为高尺度上图像相似性的权重值，NCC(φa,If,Im)为在a尺度上的相似性指标且式中a取值为low、mid或high，If为输入图像中的固定图像，Im为输入图像中的移动图像，xi为像素的空间坐标，φa为在尺度a下的变形场，为使用φa对Im中xi执行步骤S4后得到的变形后的空间坐标，为固定图像的平均值且 为固定图像的平均值且 为If中像素点的数量。
所述的正则项，具体为采用如下算式计算得到：
Lsmooth＝βlowLgrad(φlow)+βmidLgrad(φmid)+βhighLgrad(φhigh)
式中βlow为低维尺度上图像的正则参数；βmid为中维尺度上图像的正则参数；βhigh为高维尺度上图像的正则参数；φa为尺度为a的变形场，a取值为low、mid或high；Lgrad计算了变形场的梯度且Ω为φa的取值域，为φa梯度的L2范数的平方。
步骤S6所述的对深度回归网络进行反复学习和训练，具体为利用基于梯度下降的优化器优化损失函数，进而深度回归网络中的参数在神经网络向前反馈和向后传播的机制中得到更新。
本发明提供的这种新型眼底图配准方法，利用无监督的卷积神经网络，以一种端到端的方式执行眼底图配准；本发明使用无监督的卷积神经网络，减少配准过程对大量配准标签的依赖，并且以一种学习的方式避免每次配准图像都要从头迭代优化定义好的代价函数，从而减少了配准所需的时间；本发明使用空间变换器确保深度回归网络能够以一种端到端的方式进行训练，从而避免了配准任务割裂，难以提取最具描述性特征用于图像配准的情况；同时，本发明创新性地提出多尺度变形场的策略，增强网络自我监督的能力，从而提高配准结果的准确性和鲁棒性，最后，本发明创新性地提出血管引导的思想，通过将全局和局部信息相结合的方式，来帮助图像更好地对齐图像；因此，本发明极大地提高了眼底配准结果的准确性和鲁棒性，而且可靠性高、计算效率较高且配准结果准确。
附图说明
图1为本发明方法的方法流程图。
图2为本发明的对比实施例中五中方法的配准结果对比示意图。
具体实施方式
如图1所示为本发明方法的方法流程图：本发明提供的这种新型眼底图配准方法，包括如下步骤：
S1.对输入图像进行预处理；所述的图像包括固定图像和移动图像，且固定图像和对应的移动图像组成一个输入图像对；
在具体实施时，具体为将输入图像转换为灰度图像，并将灰度图像合并成一个双通道的图谱作为深度回归网络的输入；
S2.将步骤S1处理后的输入图像对输送到深度回归网络，从而得到相应的变形场；具体为采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场；
在具体实施时，采用如下步骤得到变形场：
A.将输入数据输入到卷积层进行卷积运算；所述的卷积层采用K1×K1(比如3×3)且步长为S1(比如1)个像素的卷积；
B.将步骤A的结果输入ReLu激活函数进行运算，从而增加数据的非线性并增强网络的建模能力；
C.将步骤B的结果输入池化层进行运算；所述的池化层采用的是K2×K2(比如2×2)且步长为S2(比如2)个像素最大池化操作。
D.将网络中若干个(比如3个)池化层输出的特征图谱，执行K3×K3(比如3×3)，步长为S3(比如1)个像素的卷积操作，从而得到最终的变形场；
S3.对步骤S1的配准图像进行增强，从而得到辅助图像；具体为定义一种新的增强方法改进多尺度Hessian滤波，克服现有方法的不足并且该方法能够表现出较为理想的增强功能(如：可变的血管形态，病理学以及血流、造影剂引起的血管内外强度不均匀性等)。通过利用该方法能够增强配准图像的血管结构和边缘信息，从而得到辅助图像；具体步骤可以参见文献[Jerman,T.,F.,Likar,B.,&(2016).Enhancement ofvascular structures in 3D and 2D angiographic images.IEEE transactions onmedical imaging,35(9),2107-2118.]；
S4.采用空间变换器对步骤S3得到的辅助图像进行扭曲，从而得到变形图像；具体为首先利用变形场将规则网格通过网格生成器转换为采样网格，然后采样器采用采样网格对增强后的移动图像进行扭曲，从而得到变形图像；所述的空间变换器包括网格生成器和采样器；
具体的，采用如下算式进行转换：
式中为Dθ在i上的坐标，Dθ为变形场，Gi为常规网格，为Dθ中的位移向量，为G在i上的坐标；
同时，采用如下算式进行扭曲计算：
式中Vtrans为变形图像，i为Vtrans中像素的位置，c为通道，Vm为经过增强操作后的移动图像，H为Vm的高，W为Vm的宽，为Vm在c通道下坐标位置为(x,y)处的像素值，max()为取最大值操作，为Dθ在i上的坐标；
S5.根据得到的配准图像对的变形场、辅助图像和变形图像，构建损失函数；损失函数包括了惩罚项和正则项；惩罚项为通过计算固定图像的血管增强图与变形图像的相似性得到，用于惩罚图像的差异；正则项为通过对变形场施加平滑操作得到；
在具体实施时，采用如下算式计算得到惩罚项：
Lsim＝-αlowNCC(φlow,If,Im)-αmidNCC(φmid,If,Im)-αhighNCC(φhigh,If,Im)
式中αlow为低尺度上图像相似性的权重值，αmid为中尺度上图像相似性的权重值，αhigh为高尺度上图像相似性的权重值，NCC(φa,If,Im)为在a尺度上的相似性指标且式中a取值为low、mid或high，If为输入图像中的固定图像，Im为输入图像中的移动图像，xi为像素的空间坐标，φa为在尺度a下的变形场，为使用φa对Im中xi执行步骤S4后得到的变形后的空间坐标，为固定图像的平均值且 为固定图像的平均值且 为If中像素点的数量。
采用如下算式计算得到正则项：
Lsmooth＝βlowLgrad(φlow)+βmidLgrad(φmid)+βhighLgrad(φhigh)
式中βlow为低维尺度上图像的正则参数；βmid为中维尺度上图像的正则参数；βhigh为高维尺度上图像的正则参数；φa为尺度为a的变形场，a取值为low、mid或high；Lgrad计算了变形场的梯度且Ω为φa的取值域，为φa梯度的L2范数的平方。
S6.根据步骤S5得到的损失函数，对深度回归网络进行反复学习和训练，从而得到最优配准模型；具体为利用基于梯度下降的优化器优化损失函数，进而深度回归网络中的参数在神经网络向前反馈和向后传播的机制中得到更新，从而得到最优配准模型；
S7.利用步骤S6得到的最优配准模型，对眼底图像对进行配准。
为了验证模型的有效性和准确性，本实施例在眼底图像上进行仿真实验，通过和当前先进的配准工具箱SimpleITK和SimpleElastix，以及另外一种基于卷积神经网络的无监督配准方法DIRNet进行对比。
—SimpleITK：是先进的图像处理工具ITK的简化接口，旨在促进其在快速原型，教育和解释语言中应用。参考文献[Lowekamp,B.C.,Chen,D.T.,L.,&Blezek,D.(2013).The design of SimpleITK.Frontiers in neuroinformatics,7,45.]。
—SimpleElastix：是一个模块化的高性能医学图像配准算法集合，SimpleElastix自动生成Python、Java、R、Ruby和C#等编程语言的绑定。这使得最新的图像配准可以在各种其他的编程环境中完成。参考文献[Marstal,K.,Berendsen,F.,Staring,M.,&Klein,S.(2016).SimpleElastix:A user-friendly,multi-lingual library formedical image registration.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition Workshops(pp.134-142).]。
—DIRNet：是一种端到端的图像配准方法，该方法采用无监督的卷积网络执行配准任务。参考文献[de Vos,B.D.,Berendsen,F.F.,Viergever,M.A.,Staring,M.,&I.(2017).End-to-end unsupervised deformable image registration with aconvolutional neural network.In Deep Learning in Medical Image Analysis andMultimodal Learning for Clinical Decision Support(pp.204-212).Springer,Cham.]。
实验通过DSC(Dice Similarity Coefficient)来衡量配准前后解剖结构的重叠情况。DSC的值越大，表示配准结果越准确。除此之外，通过PA(Pixel Accuracy)来衡量配准前后解剖结构中相同像素的比率，同样PA的值越大。通过图2((a)是固定图像，(b)是移动图像，(c)是配准之前的棋盘图，(d)是使用SimpleITK(Demons)后的配准结果，(e)是使用SimpleITK(BSplines)后的配准结果，(f)是使用SimpleElastix后的配准结果，(g)是使用DIRNet后的配准结果，(h)是使用本发明后的配准结果)展示的配准结果对比的例子可以看出，本发明相比其他方法可以生成最真实的血管变形，因此图像对齐的效果最佳。从图2可以看出，在固定图像和移动图像存在灰度变化和解剖差异时，本发明依然能表现出良好的配准性能。然而，其他方法却出现图像失真的情况，即预测出的血管形变不是图像对中真实的形变。从表1的具体实验指标对比可以看出，相对先进的配准工具和基于无监督学习的方法，本发明取得最高的DSC 0.753和PA0.750。这表明本发明相比上述方法配准性能更高。
表1不同方法的配准性能比较示意表
| 方法 | DSC | PA | Time(s) |
| SimpleITK(Demons) | 0.446 | 0.441 | 30.685 |
| SimpleITK(BSplines) | 0.526 | 0.522 | 14.451 |
| SimpleElastix | 0.599 | 0.594 | 71.005 |
| DIRNet | 0.575 | 0.567 | 0.006 |
| 本发明 | 0.753 | 0.750 | 0.020 |
除此之外，本发明能够在1秒之内配准一对图像，这也有效地解决了传统方法耗时的问题。
Claims (10)
1.一种新型眼底图配准方法，包括如下步骤：
S1.对输入图像对进行预处理；所述的图像包括固定图像和移动图像，且固定图像和对应的移动图像组成一个输入图像对；
S2.将步骤S1处理后的输入图像对输送到深度回归网络中，从而得到相应的变形场；
S3.对步骤S1的输入图像进行增强，从而得到辅助图像；
S4.采用空间变换器对步骤S3得到的辅助图像进行扭曲，从而得到变形图像；
S5.根据得到的输入图像对的变形场、辅助图像和变形图像，构建损失函数；
S6.根据步骤S5得到的损失函数，对深度回归网络进行反复学习和训练，从而得到最优配准模型；
S7.利用步骤S6得到的最优配准模型，对眼底图像对进行配准。
2.根据权利要求1所述的新型眼底图配准方法，其特征在于步骤S1所述的对输入图像进行预处理，具体为将固定图像和移动图像转换为灰度图像，并将得到的灰度图像合并成一个双通道的图谱作为深度回归网络的输入。
3.根据权利要求2所述的新型眼底图配准方法，其特征在于步骤S2所述的得到输入图像对的变形场，具体为采用如下步骤，采用多尺度变形场策略从三个尺度上预测出输入图像对的变形场：
A.将输入数据输入到卷积层进行卷积运算；所述的卷积层采用K1×K1且步长为S1个像素的卷积；
B.将步骤A的结果输入ReLu激活函数进行运算，从而增加数据的非线性并增强网络的建模能力；
C.将步骤B的结果输入池化层进行运算；所述的池化层采用的是K2×K2且步长为S2个像素最大池化操作；
D.将网络中若干个池化层输出的特征图谱，执行K3×K3，步长为S3个像素的卷积操作，从而得到最终的变形场。
4.根据权利要求3所述的新型眼底图配准方法，其特征在于步骤S3所述的对输入图像进行增强，具体为改进多尺度Hessian滤波，新的增强方法克服现有方法的不足并且该方法能够表现出较为理想的增强功能；通过利用该方法能够增强配准图像的血管结构和边缘信息，从而得到辅助图像。
5.根据权利要求4所述的新型眼底图配准方法，其特征在于步骤S4所述的采用空间变换器对得到的辅助图像进行扭曲，从而得到变形图像，具体为首先利用变形场将规则网格通过网格生成器转换为采样网格，然后采样器采用采样网格对增强后的移动图像进行扭曲，从而得到变形图像；所述的空间变换器包括网格生成器和采样器。
6.根据权利要求5所述的新型眼底图配准方法，其特征在于所述的利用变形场将规则网格通过网格生成器转换为采样网格，具体为采用如下算式进行转换：
式中为Dθ在i上的坐标，Dθ为变形场，Gi为常规网格，为Dθ中的位移向量，为G在i上的坐标。
7.根据权利要求6所述的新型眼底图配准方法，其特征在于所述的采样器采用采样网格对增强后的移动图像进行扭曲，具体为采用如下算式进行扭曲计算：
式中Vtrans为变形图像，i为Vtrans中像素的位置，c为通道，Vm为经过增强操作后的移动图像，H为Vm的高，W为Vm的宽，为Vm在c通道下坐标位置为(x,y)处的像素值，max()为取最大值操作，为Dθ在i上的坐标。
8.根据权利要求7所述的新型眼底图配准方法，其特征在于步骤S5所述的损失函数包括了惩罚项和正则项；惩罚项为通过计算固定图像的血管增强图与变形图像的相似性得到，用于惩罚图像的差异；正则项为通过对变形场施加平滑操作得到；步骤S6所述的对深度回归网络进行反复学习和训练，具体为利用基于梯度下降的优化器优化损失函数，进而深度回归网络中的参数在神经网络向前反馈和向后传播的机制中得到更新。
9.根据权利要求8所述的新型眼底图配准方法，其特征在于所述的惩罚项，具体为采用如下算式计算得到：
Lsim＝-αlowNCC(φlow,If,Im)-αmidNCC(φmid,If,Im)-αhighNCC(φhigh,If,Im)
式中αlow为低尺度上图像相似性的权重值，αmid为中尺度上图像相似性的权重值，αhigh为高尺度上图像相似性的权重值，NCC(φa,If,Im)为在a尺度上的相似性指标且式中a取值为low、mid或high，If为输入图像中的固定图像，Im为输入图像中的移动图像，xi为像素的空间坐标，φa为在尺度a下的变形场，为使用φa对Im中xi执行步骤S4后得到的变形后的空间坐标，为固定图像的平均值且 为固定图像的平均值且 为If中像素点的数量。
10.根据权利要求9所述的新型眼底图配准方法，其特征在于所述的正则项，具体为采用如下算式计算得到：
Lsmooth＝βlowLgrad(φlow)+βmidLgrad(φmid)+βhighLgrad(φhigh)
式中βlow为低维尺度上图像的正则参数；βmid为中维尺度上图像的正则参数；βhigh为高维尺度上图像的正则参数；φa为尺度为a的变形场，a取值为low、mid或high；Lgrad计算了变形场的梯度且Ω为φa的取值域，为φa梯度的L2范数的平方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044689.0A CN109767459B (zh) | 2019-01-17 | 2019-01-17 | 新型眼底图配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044689.0A CN109767459B (zh) | 2019-01-17 | 2019-01-17 | 新型眼底图配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109767459A true CN109767459A (zh) | 2019-05-17 |
| CN109767459B CN109767459B (zh) | 2022-12-27 |
Family
ID=66452406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910044689.0A Active CN109767459B (zh) | 2019-01-17 | 2019-01-17 | 新型眼底图配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109767459B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473196A (zh) * | 2019-08-14 | 2019-11-19 | 中南大学 | 一种基于深度学习的腹部ct图像目标器官配准方法 |
| CN110544274A (zh) * | 2019-07-18 | 2019-12-06 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| CN110599528A (zh) * | 2019-09-03 | 2019-12-20 | 济南大学 | 一种基于神经网络的无监督三维医学图像配准方法及系统 |
| CN111027508A (zh) * | 2019-12-23 | 2020-04-17 | 电子科技大学 | 一种基于深层神经网络的遥感图像覆被变化检测方法 |
| CN112348811A (zh) * | 2020-12-04 | 2021-02-09 | 深圳大学 | 深度学习图像的配准方法、装置、电子设备及存储介质 |
| CN112435281A (zh) * | 2020-09-23 | 2021-03-02 | 山东师范大学 | 一种基于对抗学习的多光谱眼底图像分析方法及系统 |
| CN112598718A (zh) * | 2020-12-31 | 2021-04-02 | 北京深睿博联科技有限责任公司 | 一种无监督多视角多模态智能眼镜图像配准方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102908120A (zh) * | 2012-10-09 | 2013-02-06 | 北京大恒图像视觉有限公司 | 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法 |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| US20170169596A1 (en) * | 2015-12-10 | 2017-06-15 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
-
2019
- 2019-01-17 CN CN201910044689.0A patent/CN109767459B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102908120A (zh) * | 2012-10-09 | 2013-02-06 | 北京大恒图像视觉有限公司 | 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法 |
| US20170169596A1 (en) * | 2015-12-10 | 2017-06-15 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544274A (zh) * | 2019-07-18 | 2019-12-06 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| CN110544274B (zh) * | 2019-07-18 | 2022-03-29 | 山东师范大学 | 一种基于多光谱的眼底图像配准方法及系统 |
| CN110473196A (zh) * | 2019-08-14 | 2019-11-19 | 中南大学 | 一种基于深度学习的腹部ct图像目标器官配准方法 |
| CN110599528A (zh) * | 2019-09-03 | 2019-12-20 | 济南大学 | 一种基于神经网络的无监督三维医学图像配准方法及系统 |
| CN110599528B (zh) * | 2019-09-03 | 2022-05-27 | 济南大学 | 一种基于神经网络的无监督三维医学图像配准方法及系统 |
| CN111027508A (zh) * | 2019-12-23 | 2020-04-17 | 电子科技大学 | 一种基于深层神经网络的遥感图像覆被变化检测方法 |
| CN111027508B (zh) * | 2019-12-23 | 2022-09-06 | 电子科技大学 | 一种基于深层神经网络的遥感图像覆被变化检测方法 |
| CN112435281A (zh) * | 2020-09-23 | 2021-03-02 | 山东师范大学 | 一种基于对抗学习的多光谱眼底图像分析方法及系统 |
| CN112348811A (zh) * | 2020-12-04 | 2021-02-09 | 深圳大学 | 深度学习图像的配准方法、装置、电子设备及存储介质 |
| CN112598718A (zh) * | 2020-12-31 | 2021-04-02 | 北京深睿博联科技有限责任公司 | 一种无监督多视角多模态智能眼镜图像配准方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109767459B (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109767459A (zh) | 新型眼底图配准方法 | |
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| CN110599528B (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN109977955B (zh) | 一种基于深度学习的宫颈癌前病变识别的方法 | |
| CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| CN101303767B (zh) | 基于块图像内容自适应分类的数字剪影图像配准方法 | |
| CN108776969A (zh) | 基于全卷积网络的乳腺超声图像肿瘤分割方法 | |
| CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN110033440A (zh) | 基于卷积神经网络与特征融合的生物细胞计数方法 | |
| CN114266939B (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
| CN111179275B (zh) | 一种医学超声图像分割方法 | |
| CN111951288A (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN113223005A (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN115457020B (zh) | 一种融合残差图像信息的2d医学图像配准方法 | |
| CN110288613A (zh) | 一种超高像素的组织病理图像分割方法 | |
| CN118447244A (zh) | 基于多尺度卷积和Mamba结构的脑肿瘤图像分割方法 | |
| CN102831614A (zh) | 基于交互式字典迁移的序列医学图像快速分割方法 | |
| CN110895815A (zh) | 一种基于深度学习的胸部x线气胸分割方法 | |
| CN116468655B (zh) | 基于胎儿磁共振成像的脑发育图谱与影像处理系统 | |
| CN114998362B (zh) | 基于双分割模型的医学图像分割方法 | |
| CN116596952A (zh) | 一种多层级病灶检出优化的病理切片图像分割检测方法 | |
| CN115908270A (zh) | Ct图像新冠肺炎区域分割方法及成像方法 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |