CN115205308A - 一种基于线状滤波和深度学习的眼底图像血管分割方法 - Google Patents

一种基于线状滤波和深度学习的眼底图像血管分割方法 Download PDF

Info

Publication number
CN115205308A
CN115205308A CN202210546837.0A CN202210546837A CN115205308A CN 115205308 A CN115205308 A CN 115205308A CN 202210546837 A CN202210546837 A CN 202210546837A CN 115205308 A CN115205308 A CN 115205308A
Authority
CN
China
Prior art keywords
segmentation
image
blood vessel
vsegnet
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210546837.0A
Other languages
English (en)
Inventor
周雨
余天
胡恩
周贺凯
袁慧
曹恩苓
刘姝杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210546837.0A priority Critical patent/CN115205308A/zh
Publication of CN115205308A publication Critical patent/CN115205308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于线状滤波和深度学习的眼底图像血管分割方法，属于医学图像处理领域。该方法包括：S1：输入眼底图像，使用基于Hessian矩阵的线状滤波算法增强血管区域；S2：采用MobileNetV3作为血管分割模型的基础模型，建立分割网络VSegNet，然后通过在分割网络VSegNet中加入基于递归模块的编码器进行下采样；S3：在分割网络VSegNet中加入解码器对编码器输出的特征图进行上采样和聚合；S4：训练分割网络VsegNet时，采用分割预测结果与分割真值图像的L1范数计算分割结果的损失值。本发明使得特征信息提取能力得到加强，从而使模型分割性能得到提高。

Description

一种基于线状滤波和深度学习的眼底图像血管分割方法
技术领域
本发明属于医学图像处理领域，涉及一种基于线状滤波和深度学习的眼底图像血管分割方法。
背景技术
眼底图像被广泛用于疾病的检测和诊断。在诊断过程中，眼底图像中的血管分析是识别动脉硬化、高血压和糖尿病视网膜病变等系统性疾病的重要途径。作为一种自动化和智能化的技术，图像处理发展迅速，并取得了巨大的成就。在图像处理中，基于特征的技术可以编码感兴趣的或各自的特征来完成自动图像分析任务。它们被成功应用于各个领域。例如，通过探索SIFT特征的全局上下文信息，提出了一个用于图像复制检测的全局上下文验证方案；通过使用全局特征和局部特征以及PageRank算法的从粗到细的聚类方法，为视觉传感器网络引入了一种近似重复的消除方法；通过开发CCMSL模型，从异质老化数据库中学习共同的特征空间并构建CRL模型，进行了跨异质数据库的年龄估计；一种基于指纹特征的多尺度局部相量和主成分分析的活度检测方法；还有一套基于四元小波变换的特征，为区分摄影图像和计算机生成的图像提供有价值的信息。利用基于血管特征的图像处理技术对眼底图像进行自动血管分析，可以帮助甚至改善疾病的诊断，特别是在分析患者群体的大量图像数据时非常有用。
血管分割是眼底图像血管分析重要的第一步。许多图像分割方法已经被用于研究眼底图像的血管分割，包括血管追踪，过滤，数学形态，可变形模型和机器学习；使用多尺度线追踪程序进行血管分割，选择一小群初始像素并进行后处理；采用Hessian矩阵对初始采集图像进行过滤并利用熵阈值处理来从背景中提取血管，还应用连接性约束来减少斑点型噪声；一种使用数学形态学和曲率评估的血管分割算法，它执行交叉曲率评价，在形态学操作后将血管与类似的背景图案区分开来；采用蛇模型和包括血管拓扑特性在内的特定领域知识进行血管分割；使用极端学习机方法开发了一种血管分割方法，该方法基于使用从预处理的视网膜图像获得的7维特征向量进行像素分类。在这些方法中，基于Hessian矩阵的预处理方法和引入VSegNet新网络结构提供了一种有效的监督分割算法来得到对血管分割更精确的网络模型，适合于视网膜图像的血管分割。然而，大多数基于Hessian的线性区域分割方法的性能在很大程度上与人工选择阈值有关，并且容易受到噪声的影响。
因此，亟需一种新的方法来实现自适应、高性能的眼底图像分割。
发明内容
有鉴于此，本发明的目的在于提供一种基于线状滤波和深度学习的眼底图像血管分割方法，可以自适应、高性能且能够进行有监督分割深度学习的图像。本发明使得特征信息提取能力得到加强，从而使模型分割性能得到提高。
为达到上述目的，本发明提供如下技术方案：
一种基于线状滤波和深度学习的眼底图像血管分割方法，包括以下步骤：
S1：输入眼底图像，使用基于Hessian矩阵的线状滤波算法增强血管区域；
S2：采用MobileNetV3作为血管分割模型的基础模型，建立分割网络VSegNet，然后通过在分割网络VSegNet中加入基于递归模块的编码器进行下采样，突出局部关键特征；
S3：在分割网络VSegNet中加入解码器对编码器输出的特征图进行上采样和聚合；
S4：训练分割网络VsegNet时，采用分割预测结果与分割真值图像的L1范数计算分割结果的损失值。
进一步，步骤S1中，Hessian矩阵是利用眼底图像中每个像素点的局部灰度变化的二阶结构即用二阶导数所表示的特性。
进一步，步骤S2中，所述编码器的第一层是步长为2的标准3×3卷积，并且第一层具有64个输出通道数；
分割网络VSegNet迭代使用递归模块生成多尺度特征图；所述递归模块由5个倒置残差块组成，其中，中间块的步长为2，其余块的步长为1，因此递归模块的每一次迭代都将使特征值的大小减半；通过将递归模块的输入和输出通道数设置为64，从而实现可重用性。在VSegNet系列的影响下，输入图像的特征分辨率与编码器部分的最终输出分辨率的比率即为编码器部分中被设置为32的输出步幅；因此，来自第一层的减半的特征地图将迭代通过递归模块四次，并且每次分割特征大小将减半。同时在递归模型中，通过将前三个倒置残差块的扩展比被设置为2，后两个块的扩展比被设置为4，减轻ReLU对特征图的破坏；为了提高性能，在不增加血管分割模型参数的情况下，采用压缩激发(Squeeze and Excitation，SE)块块对递归模块的特征映射进行正则化，在反向残差块内部的深度卷积和最后一点卷积之间放置SE块，并将SE模块中的全连接的缩减率被设置为16。
进一步，步骤S2中，倒置的残差块由ReLU6的1×1卷积、ReLU6和步长1或2的深度卷积、SE块和无任何非线性激活的卷积组成。
进一步，步骤S2中，SE块由全局池、两个全连接(FC)层、REU非线性、Sigmoid运算和通道相乘组成。
进一步，步骤S3中，上采样采用轻量级上采样块来实现，其中，轻量级上采样块由三个具有输入和输出之间的快捷连接残差DSconv块组成，即上采样、级联和Sigmoid运算；在第一卷积层和递归模块的输出分割真值将以级联的方式跳跃连接到相应的上采样块后，在级联操作下，除了第二个DSconv块之外，所有残差DSconv块都具有输入信道号；利用第三个残差DSconv块，然后进行Sigmoid运算，得到多尺度分割图Pt；为了提高预测精度，对多尺度分割图进行双线性插值，使其与预处理后的黑白图像具有相同的特征分辨率。
进一步，步骤S3中，多尺度分割图表示如下：
Dt＝1/(aPt+b)
其中，常数a和b被分别设置为10和0.01，以将预测的分割图Dt始终在有效范围内约束为正，最终使得分割网络VsegNet能在高深度预测精度和低模型参数之间取得平衡。
进一步，步骤S4中，训练分割网络VsegNet具体包括：通过分割网络VsegNet对已预处理的输入图像进行迭代通过递归模块四次，再从生成的新网络结构VSegNet中采用新的高效上采样块来对编码器输出的特征地图进行上采样和聚合，从而训练得到一个最优的眼底图像血管分割血管模型；并利用这个模型将所有的输入映射为相应的输出，对输出的分割真值图像进行绝对值偏差损失分析，使其具有了对眼底血管图像进行分割和预测的能力。
进一步，步骤S4中，训练分割网络VsegNet时，使用带反向传播学习规则的随机梯度下降法计算最小化损失；通过最小化预估分割真值图像和相应的分割预测结果之间的损失La，学习分割真值图像和相应预测结果之间的映射函数；
La＝||Is-Id′||1
其中，Is表示合成图像的分割真值图像，Id′表示合成图像的分割预测结果，||||1表示L1范数。使特征信息提取能力得到加强，从而使模型整体性能得到提高。
进一步，本发明的图像预处理通过使用线状滤波算法，其核心内容是Hessian矩阵线状区域增强与分割网络的结合，使得生成的眼底图像中的血管部分得到视觉增强效果，能够特征地完成对血管图像的采样，是完成后续整体图像分割的重要一步。
而在后续的图像分割算法中采用的是一种基于有监督分割深度学习的神经网络。深度神经网络目前具有非常广阔的应用前景，在语义分割、目标检测、图像分类等图像处理相关方面具有较为成熟的应用。此外，近几年的研究表明，深度学习通过端到端的方式能够使像素级的深度图从单张图像中恢复出来。目前的单目深度估计这项通用处理方式中，有非常多的神经网络模型已经证明了它们的有效性，例如递归神经网络、变分自动编码器、卷积神经网络和对抗神经网络。本发明所采用的VSegNet网络模型，在编码器部分和解码器部分都进行了优化处理。例如递归模块的引入，可以使编码器部分对数据的采集更加完整，能够从将数据的空间特征大小经过迭代处理，变得更为细致且易于分析。并且在上采样模块中采用有监督学习分割算法，将分割结果的特征值与真实分割结果的特征值进行L1范数计算，从而通过分割结果的损失值修正模型。深度网络在有监督学习深度推理，这也正是本发明的核心要素之一。
本发明是实现对眼底图像的分割，所以首先要保证分割的眼底图像的质量，针对各个分割阶段采用Hessian矩阵和有监督分割深度学习网络VSegNet作为提高眼底图像分割能力。
本发明的有益效果在于：本发明能够增强眼底图像中的血管区域，结合高效编码器和解码器网络设计在数据变化中寻找稳定信息，增强对特征信息的提取能力，从而使网络模型的性能得到提升，得到更为精确的血管分割图像。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为深层网络的编码器部分结构示意图；
图2为倒置残差块和SE块结构示意图；
图3为网络生成器模型架构图；
图4为上采样模块结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
血管分割是眼底图像处理的关键和难点，是进一步血管测量和诊断的前提和必要的第一步。针对眼底图像中血管的分割问题，提出了一种新的混合血管自动分割方法。该方法包括两个主要步骤：基于Hessian矩阵的线状滤波与有监督分割深度学习网络VSegNet进行血管分割。首先，通过采用基于Hessian矩阵的线状滤波使得血管区域得以增强；滤波后，将图像输入到VSegNet网络模型进行处理；然后通过由递归模块组成的编码器部分进行下采样，提高对特征信息的捕获能力；最后，通过更高效的上采样模块的解码器对编码器的输出特征图进行处理。相比与传统的网络分割模型，本发明的方法应用了有监督的算法模型，能够自动地得到更准确、完整的血管分割结果。
请参阅图1～图4，本发明所使用的算法模型主要包括以下几个步骤：
步骤一：通过结合线状滤波算法和分割网络实现血管分割，其核心内容是先通过Hessian矩阵增强眼底图像中的血管区域再结合分割方法实现血管分割；
步骤二：以MobileNetV3为基础模型，建立新的网络结构VSegNet，该网络编码器结构中加入递归模块组成新网络结构VSegNet；
步骤三：生成的新网络结构VSegNet中采用新的高效上采样块来对编码器输出的特征地图进行上采样和聚合；
步骤四：训练网络时，采用分割结果与真实分割结果L1范数计算分割结果的损失值。
步骤一中，基于Hessian的线性特征滤波。对于二维图像I，Hessian矩阵是用来描述各个像素点的各个方向上的二阶导数，表示为
Figure BDA0003649839300000051
其中，Ixx,Ixy,Iyx,Iyy表示二维图像I的二阶导数，QHessian在当Ixy等于Iyx时是一个对称矩阵。根据线性尺度理论，通过与高斯导数的卷积可以得到二阶导数，例如在一个像素点(x,y)处
Figure BDA0003649839300000052
其中，G为尺度σ的高斯函数。
Figure BDA0003649839300000053
从式(1)中的Hessian矩阵可以分解出两个特征值λ1和λ2(|λ1|≥|λ2|)，该特征值是举证的重要参数，以及和两个特征值相对应的特征向量。特征值λ1的最大绝对值|λ1|表示的是曲率的局部最大值，而每个像素都有主方向，我们将该方向定义为对应于其最大绝对特征值的特征向量的方向。如图3所示，在二维图像的背景下，线性区域内的像素通常沿着线性结构主方向的曲率小，垂直方向曲率大。因此，它可以用来表示|λ1|>>|λ2|≈0。线性滤波器被表示为
Figure BDA0003649839300000054
式(4)中RB＝(λ2/λ1)2以区分气泡状和线状结构而
Figure BDA0003649839300000061
以区分物体和背景。α和β是两个参数，其中α通常指线性滤波器，β通常指灵敏度。在这项工作中，α和β分别固定为0.5和15。图像中的线性结构通常大小不同，因此将线性结构的尺度因子σ扩展到多尺度，如公式(5)
Figure BDA0003649839300000062
当尺度因子σ与线性结构的半宽度相匹配时，ν(x,y；σ)最大。由于基于Hessian的特征滤波器被广泛应用于图像处理，包括二维图像中的线性滤波，三维图像中的管状滤波以及平面滤波。又在二维空间中，血管是线性结构。因此，我们决定在我们的研究中使用二维线性滤波。
步骤二中，加入递归模块组成的新网络结构VSegNet。来自第一卷积层和递归模块的输出特征映射将以级联的方式跳跃连接到相应的上采样块。深层网络迭代使用递归模块生成多尺度特征图，i和T分别表示迭代时间和总迭代次数。S表示卷积层的步幅数。多尺度分割预测将被双线性上采样到与预处理后的黑白图像相同的特征分辨率。如图1所示，深层网络的编码器部分由标准卷积层和递归模块组成。与MobileNetV3相同，本发明提出编码器部分的第一层是步长为2的标准3×3卷积，并且第一层具有64个输出通道数，然后激活RELU。本文的递归模块由5个倒置残差块组成，其中的中间块的步长为2，其余块的步长为1，因此递归模块的每一次迭代都将使特征值的大小减半。为了实现可重用性，递归模块的输入和输出通道有着相同的设计，即都是64。在VSegNet系列的影响下，输入图像特征分辨率与编码器部分的最终输出分辨率之比的值将作为编码器部分中被设置为32的输出步幅。因此，来自第一层的减半的特征地图将迭代通过递归模块四次，并且每次空间特征大小将减半。
递归模块建立在MobileNetV3的倒置残差块上，它具有倒置残差和线性瓶颈，以减轻ReLU对特征图的破坏。如图2(a)所示，倒置的残差块由ReLU6的1×1卷积、ReLU6和步长1或2的深度卷积、压缩激发(Squeeze and Excitation，SE)块和无任何非线性激活的卷积组成。如果有一个步长为1的深度卷积块，那么将以直接连接的方式连接输入和输出端。倒置残差块的扩展比设为2或4，即第一次逐点卷积的输出通道数与输入通道数之比。为了在模型参数和深度预测精度之间取得折中，在本文的递归模型中，前三个倒置残差块的扩展比被设置为2，后两个块的扩展比被设置为4。为了提高性能，在不增加模型参数的情况下，采用SE块对递归模块的特征映射进行正则化，如图2(b)所示，SE块由全局池、两个全连接(FC)层、REU非线性、Sigmoid运算和通道相乘组成。正如在MobileNetV3中所做的那样，SE块被放置在位于反向残差块内部的深度卷积和最后一点卷积之间。在SE模块中，全连接的缩减率被设置为16。
如图3所示。编码器结构是由多尺度残差块进行有机组合而成，并通过四个步长为2的卷积进行下采样。瓶颈包括六个残差密集块(RDB)。另一方面，解码器包括用于上采样的卷积以及跳连接层的串联，然后是卷积。最后一个解码器块的输出总结了从细化模块的特征映射，后跟卷积操作来实现和输入图像大小的尺寸。为了提高使生成器具有更好细节和边缘信息的图像的能力，连接从不同的非锐化掩膜获得的下采样图像。生成器架构由每个编码器层的多尺度残差块组成，瓶颈由六个残差密集块组成，解码器层由转置卷积和具有跳过连接层、细化模块和少量卷积层的串联以生成输入维度的图像。生成器GDS将通过输入特征图进行反锐化掩膜。
生成器GDS有助于生成合成眼底血管图像，并且网络的编码器层不包含从非锐化掩膜中获得的图像与输入特征图的连接。非锐化掩膜求出的锐化图像如下：
g(x,y)＝fsmooth(x，y) (6)
fsharp(x，y)＝f(x，y)+k×g(x，y) (7)
其中f(x,y)是输入图像，fsmooth(x,y)是通过卷积获得的平滑图像，g(x,y)是具有高频信息的图像。将此高频信息乘以数量k并添加到原始图像中，从而产生预期更清晰、包含更多细节和更好边缘信息的图像fsharp(x,y)。利用锐化掩膜图像提供的改善高频图像元素和图像整体对比度的功能，抑制了低对比度缓慢变化的眼底非血管部分。相对于前一层，编码器的每层已经下采样，锐化图像的尺寸与特定编码器层的尺寸保持一致，从而可以实现频道方向级联。用于生成锐化图像的内核尺寸为24、12、6和3，具有相对于原始图像的1、1/2、1/4、1/8维值的不同下采样图像。
本发明所使用的编码器通过在操作过程中的最大池化操作时记录会将最大值的位置，然后在解码时通过相对应的池化索引操作实现非线性的上采样。稀疏特征图通过上采样操作产生，然后得到稠密特征图，这一步中用到的是普通卷积，然后将上采样操作重复几次。最后使用激活函数生成独热编码分类结果。VSegNet主要是对FCN进行比较，我们知道FCN解码时具有与VSegNet不同的特性，FCN解码时特有的是反卷积操作，通过该操作可以获得特征图，再将与之对应的编码特征图相耦合，最终得到输出。VSegNet相比之下具有两大优势：其一在于不需要完整保存编码部分的特征图，只需对池化索引的结果进行保存，这样可以大大节约内部储存空间；其二在于不用反卷积操作，并且只在上采样完成后需要卷积学习，上采样阶段无需学习。
步骤三中，为了满足高精度和实时性的要求，生成的新网络结构VSegNet中采用新的高效上采样块来对编码器输出的特征地图进行上采样和聚合。如图4所示，来自第一卷积层和递归模块的输出特征映射将通过级联跳转连接到相应的上采样块。与PYD-Net不同的是，本发明采用的轻量级上采样块由三个残差DSconv块组成，即上采样、级联和Sigmoid运算。PYD-Net使用了一个带有一个去卷积和四个标准卷积的重型解码块。这些残差DSConv块是标准卷积的插件替代，标准卷积组成是深度和点卷积(即深度可分离卷积)两个部分，具有输入和输出之间的快捷连接。由于级联操作，除了具有2c的第二个DSconv块之外，所有残差DSconv块都具有输入信道号C。利用第三个残差DSconv块，然后进行Sigmoid运算，得到多尺度分割图Pt。为了提高预测精度，对多尺度分割图进行双线性插值，使之特征分辨率和预处理后的黑白图相同。多尺度分割真值图可以表示如下：
Dt＝1/(aPt+b) (8)
其中常数a和b被设置为10和0.01，以将预测的分割真值Dt始终在有效范围内约束为正。
解码器在完成上采样操作和卷积操作后，每个像素都会被送到softmax分类器中。在上采样期间，相对应的编码器层处的最大池化索引会被调用从而进行多次上采样。最后，还要预测每个像素的类别，这个过程用到的是K类softmax分类器。上采样模块的优点在于恢复特征图尺寸的同时，使分割的精度得到有效提升，同时降低计算的复杂程度，这可能的原因是：1)新的上采样模型能够大大提升图像的重构能力；2)解码器的上采样操作能够灵活对任意CNN解码器不同层特征的组合利用加以利用。通过上采样的使用，避免了解码器减少步长带来的计算量和内存占用的提升。
步骤四中，训练网络时，采用分割结果与真实分割结果L1范数计算分割结果的损失值，通过监督分割算法，实现深度学习，可以对网络模型进行优化并使分割网络模型更为精准。监督方法中是以分割图像的真实数据为监督信号，从而把图像分割数据估计看作一个回归问题。深度卷积神经网络利用预测的深度信息和真实的深度信息之间的差异来监督网络进行训练，可以有效地对单张图像进行深度估计。一般来说，监督学习的过程实际上是对下面函数的约束过程，即对目标函数的最小化过程。
w*＝rgminw∑iL(yi,(xi,w))+Ω(w) (9)
其中，第一项L(yi,f(xi；w))是用来描述分类问题或回归问题中对第i个样本的预测值f(xi；w)以及真实的标签yi之间产生的误差并以此来衡量。为了使模型更加契合训练样本的训练需求，所以我们要求这一项的值最小，也就是需要我们所采用的模型和训练数据拟合度高。为此，我们需要对参数w使用规则化函数Ω(w)来约束。
在本发明中，采用的是L1范数作为规则化项。如下公式所示，为分割真值图像和分割预估结果的绝对值偏差损失。通过最小化预估分割真值图像和相应的分割预测结果之间的损失，学习分割真值图像和相应预估图之间的映射函数。
La＝||Is-Id′||1(10)
其中Is表示合成图像的分割真值图像，Id′表示合成图像的分割预测结果，|| ||1表示L1范数。
再配合上监督学习分割算法，可以实现自动优化以及自动精确反馈的图像分割过程。
本发明的解码器十分高效且简便，用于处理图像的语义分割模块，该解码器主要使用了上下采样逐像素点的预测结果，CNN在计算高分辨率特征图时所产生的不良影响，如计算效率低的问题会被大大减少，并且待融合特征和最终输出的耦合作用得到解除，使得更加灵活的待融合特征选取。不仅如此，本发明提出的方法不会将上采样操作应用到低分辨率的深层特征，使得解码模块的计算量大大减少。在源图像采样端加入了基于Hessian矩阵线状滤波算法，进一步增强血管区域完成预处理，再由新的分割网络结构VSegNet对图像进行处理，最后由监督网络模型和L1范数优化，使眼底图像从最抽象的模型变成一个精确、有效、满足医疗需求的图像。能够解决许多医疗上的复杂问题，在很多不确定性情况下生成较为准确的图像。同时能够在一定程度上屏蔽干扰，降低噪声，自我调节，减小因数据变动或数据分布不均而产生的变化。
在今后的发展中，血管的量化和诊断都应该得到重视，从临床应用的角度来看，这是很重要的。本发明的基本原理是首先研究眼底图像中血管分割是否可行，然后再进行其他任务。这项工作的另一个限制是线性结构的连接和末端的分割问题，这是基于Hessian方法固有的问题。线性结构的节点和端点通常不是理想的线性结构，导致滤波结果小。因此，在结果中线状结构的连接和末端可能不会被检测为血管。它可能对较复杂的病例造成不良影响。也有许多研究人员提出了基于Hessian的线性滤波中结点检测和增强的方法，我们将在今后进一步研究这一点并对本发明的功能与用途进行完善。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于线状滤波和深度学习的眼底图像血管分割方法，其特征在于，该方法包括以下步骤：
S1：输入眼底图像，使用基于Hessian矩阵的线状滤波算法增强血管区域；
S2：采用MobileNetV3作为血管分割模型的基础模型，建立分割网络VSegNet，然后通过在分割网络VSegNet中加入基于递归模块的编码器进行下采样；
S3：在分割网络VSegNet中加入解码器对编码器输出的特征图进行上采样和聚合；
S4：训练分割网络VsegNet时，采用分割预测结果与分割真值图像的L1范数计算分割结果的损失值。
2.根据权利要求1所述的眼底图像血管分割方法，其特征在于，步骤S1中，Hessian矩阵是利用眼底图像中每个像素点的局部灰度变化的二阶结构即用二阶导数所表示的特性。
3.根据权利要求1所述的眼底图像血管分割方法，其特征在于，步骤S2中，所述编码器的第一层是步长为2的标准3×3卷积，并且第一层具有64个输出通道数；
分割网络VSegNet迭代使用递归模块生成多尺度特征图；所述递归模块由5个倒置残差块组成，其中，中间块的步长为2，其余块的步长为1，因此递归模块的每一次迭代都将使特征值的大小减半；输入图像的特征分辨率与编码器部分的最终输出分辨率的比率即为编码器部分中输出步幅；在不增加血管分割模型参数的情况下，采用压缩激发(Squeeze andExcitation，SE)块块对递归模块的特征映射进行正则化，在反向残差块内部的深度卷积和最后一点卷积之间放置SE块。
4.根据权利要求3所述的眼底图像血管分割方法，其特征在于，步骤S2中，倒置的残差块由ReLU6的1×1卷积、ReLU6和步长1或2的深度卷积、SE块和无任何非线性激活的卷积组成。
5.根据权利要求3或4所述的眼底图像血管分割方法，其特征在于，步骤S2中，SE块由全局池、两个全连接层、REU非线性、Sigmoid运算和通道相乘组成。
6.根据权利要求1所述的眼底图像血管分割方法，其特征在于，步骤S3中，上采样采用轻量级上采样块来实现，其中，轻量级上采样块由三个具有输入和输出之间的快捷连接残差DSconv块组成，即上采样、级联和Sigmoid运算；在第一卷积层和递归模块的输出分割真值将以级联的方式跳跃连接到相应的上采样块后，在级联操作下，除了第二个DSconv块之外，所有残差DSconv块都具有输入信道号；利用第三个残差DSconv块，然后进行Sigmoid运算，得到多尺度分割图Pt；对多尺度分割图进行双线性插值，使其与预处理后的黑白图像具有相同的特征分辨率。
7.根据权利要求6所述的眼底图像血管分割方法，其特征在于，步骤S3中，多尺度分割图表示如下：
Dt＝1/(aPt+b)
其中，常数a和b被分别设置为10和0.01，以将预测的分割图Dt始终在有效范围内约束为正，最终使得分割网络VsegNet能在高深度预测精度和低模型参数之间取得平衡。
8.根据权利要求1所述的眼底图像血管分割方法，其特征在于，步骤S4中，训练分割网络VsegNet具体包括：通过分割网络VsegNet对已预处理的输入图像进行迭代通过递归模块四次，再从生成的新网络结构VSegNet中采用新的高效上采样块来对编码器输出的特征地图进行上采样和聚合，从而训练得到一个最优的眼底图像血管分割血管模型；并利用这个模型将所有的输入映射为相应的输出，对输出的分割真值图像进行绝对值偏差损失分析，使其具有了对眼底血管图像进行分割和预测的能力。
9.根据权利要求8所述的眼底图像血管分割方法，其特征在于，步骤S4中，训练分割网络VsegNet时，使用带反向传播学习规则的随机梯度下降法计算最小化损失；通过最小化预估分割真值图像和相应的分割预测结果之间的损失La，学习分割真值图像和相应预测结果之间的映射函数；
La＝||Is-Id′||1
其中，Is表示合成图像的分割真值图像，Id′表示合成图像的分割预测结果，|| ||1表示L1范数。
CN202210546837.0A 2022-05-18 2022-05-18 一种基于线状滤波和深度学习的眼底图像血管分割方法 Pending CN115205308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210546837.0A CN115205308A (zh) 2022-05-18 2022-05-18 一种基于线状滤波和深度学习的眼底图像血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210546837.0A CN115205308A (zh) 2022-05-18 2022-05-18 一种基于线状滤波和深度学习的眼底图像血管分割方法

Publications (1)

Publication Number Publication Date
CN115205308A true CN115205308A (zh) 2022-10-18

Family

ID=83575234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210546837.0A Pending CN115205308A (zh) 2022-05-18 2022-05-18 一种基于线状滤波和深度学习的眼底图像血管分割方法

Country Status (1)

Country Link
CN (1) CN115205308A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437249A (zh) * 2023-12-21 2024-01-23 深圳大学 眼底血管图像的分割方法、终端设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437249A (zh) * 2023-12-21 2024-01-23 深圳大学 眼底血管图像的分割方法、终端设备及存储介质
CN117437249B (zh) * 2023-12-21 2024-03-22 深圳大学 眼底血管图像的分割方法、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN109086773B (zh) 基于全卷积神经网络的断层面识别方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
Gupta Nonsubsampled shearlet domain fusion techniques for CT–MR neurological images using improved biological inspired neural model
Lefkimmiatis et al. Nonlocal structure tensor functionals for image regularization
CN109118487B (zh) 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
CN111950406A (zh) 一种手指静脉识别方法、装置及存储介质
Tan et al. Multi-focus image fusion with geometrical sparse representation
CN114795178B (zh) 一种基于多注意力神经网络的大脑状态解码方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
Xiong et al. Gradient boosting for single image super-resolution
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN115205308A (zh) 一种基于线状滤波和深度学习的眼底图像血管分割方法
Dharejo et al. SwinWave-SR: Multi-scale lightweight underwater image super-resolution
Choudhary et al. Mathematical modeling and simulation of multi-focus image fusion techniques using the effect of image enhancement criteria: A systematic review and performance evaluation
Luo et al. Piecewise linear regression-based single image super-resolution via Hadamard transform
Ahmadian et al. Single image super-resolution with self-organization neural networks and image laplace gradient operator
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
Rashid et al. Single MR image super-resolution using generative adversarial network
Xiao et al. Feature-level image fusion
Ahmadian et al. Self-organized maps and high-frequency image detail for mri image enhancement
Jia et al. Single-image snow removal based on an attention mechanism and a generative adversarial network
Pande et al. Feedback convolution based autoencoder for dimensionality reduction in hyperspectral images
CN113887656A (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法
Chang et al. CUDA‐based acceleration and BPN‐assisted automation of bilateral filtering for brain MR image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination