CN115082500A - 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 - Google Patents

基于多尺度与局部特征引导网络的角膜神经纤维分割方法 Download PDF

Info

Publication number
CN115082500A
CN115082500A CN202210610029.6A CN202210610029A CN115082500A CN 115082500 A CN115082500 A CN 115082500A CN 202210610029 A CN202210610029 A CN 202210610029A CN 115082500 A CN115082500 A CN 115082500A
Authority
CN
China
Prior art keywords
feature
network
scale
decoder
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210610029.6A
Other languages
English (en)
Other versions
CN115082500B (zh
Inventor
朱伟芳
汤伟
陈新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210610029.6A priority Critical patent/CN115082500B/zh
Publication of CN115082500A publication Critical patent/CN115082500A/zh
Application granted granted Critical
Publication of CN115082500B publication Critical patent/CN115082500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法、装置、设备以及计算机可读存储介质包括：利用U型网络的编码器和解码器对医学样本图像进行特征提取；利用多尺度深度监督网络上采样每个解码器的输出，将每个解码器的输出与预设解码器的输出进行拼接，输出每个解码器对应的医学分割图像；计算每个解码器对应的医学分割图像与医学图像训练集标注区域的损失函数值；基于多个损失函数值对网络进行监督训练，本发明利用多个损失函数值优化每个解码器的输出，从而更好的加快网络的收敛速度，提升分割性能，提高医学图像分割的精确度。

Description

基于多尺度与局部特征引导网络的角膜神经纤维分割方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法、装置、设备以及计算机可读存储介质。
背景技术
医学图像的语义分割是医学图像分析的一个重要步骤，是辅助临床病变分析与诊断的重要前提。传统图像分割算法主要包括：基于阈值的分割方法，基于区域的分割方法，基于边缘检测的分割方法，等等。近几年来，随着卷积神经网络(Convolutional NeuralNetwork，CNN)在图像分割领域展现出卓越的性能，很多的图像分割研究工作逐渐转向采用基于深度学习的方法。U-Net采用了编解码器结构以及跳跃连接，在医学的图像分割上取得了较好的结果，后续很多医学图像分割研究工作借鉴了U-Net的编解码器结构。
U-Net由于采用了编解码器结构以及跳跃连接，大大提升了卷积神经网络在医学图像领域的分割结果。U-Net的简单编解码结构虽然有效，但是传统的U-Net在训练时只考虑最后输出分割图像与训练原图标注区域进行对比并计算损失函数，没有充分考虑到解码结构中不同阶段之间的多尺度信息，导致训练的网络模型能力低，最终导致医学图像分割精度差。
综上所述可以看出，如何提高医学图像分割精度是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法，解决了现有技术中，没有考虑解码结构中不同阶段直接的多尺度信息，导致医学图像分割精度差的弊端。
为解决上述技术问题，本发明提供一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法，包括：将医学图像训练集输入多尺度与局部特征引导网络进行训练，所述多尺度与局部特征引导网络包括U型网络和多尺度深度监督网络；
利用U型网络的编码器和解码器对医学样本图像进行特征提取；
利用所述多尺度深度监督网络对每个解码器输出的特征图，将上采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进行拼接，并通过卷积层对拼接后的特征图进行处理，输出每个解码器对应的医学分割图像；
计算所述每个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值；
基于多个损失函数值对所述多尺度与局部特征引导网络进行监督学习，得到完成训练的多尺度与局部特征引导网络。
优选地，所述多尺度与局部特征引导网络还包括：
多个多尺度特征渐进引导网络，其中，每个多尺度特征渐进引导网络采集所述多个编码器输出的特征图并进行融合，将融合后的特征图输入指定的解码器中。
优选地，所述每个多尺度特征渐进引导网络采集所述多个编码器输出的特征图并进行融合，将融合后的特征图输入指定的解码器中包括：
S31：采集每个编码器输出的特征图；
S32：将第i个编码器输出的特征图进行动态上采样处理，输出第i动态特征图；
S33：将所述第i动态特征图与第i-1个编码器输出的特征图进行拼接融合，进行动态上采样处理，输出第i-1动态特征图；
S34：令i＝i-1，重复步骤S33，直至i-1等于预设值，将所述第i-1动态特征图输入所述指定的解码器中。
优选地，所述多尺度与局部特征引导网络还包括：局部特征引导注意力网络；
将最后一层编码器输出的特征图输入所述局部引导注意力网络中；
利用所述局部引导注意力网络对所述最后一层编码器输出的特征图进行局部信息捕捉，输出局部注意力特征图；
将所述局部注意力特征图输入所述解码器中进行处理。
优选地，所述利用所述局部引导注意力网络对所述特征图进行局部信息捕捉，输出局部注意力特征图包括：
将所述最后一层编码器输出的特征图裁剪为多个小分块；
将每个小分块利用横条状池化层、竖条状池化层和点状池化层进行池化，得到横条状特征、竖条状特征和点状特征；
将所述横条状特征、所述竖条状特征和所述点状特征扩展为原图并进行拼接，得到空间特征；
将所述每个小分块利用三个卷积层进行处理，得到三个像素分支；
将所述三个像素分支进行拼接，得到像素特征；
将所述空间特征、所述像素特征和所述多个小分块相加重整，将输出的所述局部注意力特征图输入至第一层解码器中。
优选地，所述利用U型网络的编码器和解码器对医学样本图像进行特征提取包括：
利用所述U型网络中多个编码器对所述医学样本图像进行下采样特征提取，得到特征图；
将所述特征图输入所述U型网络中多个特征解码器中进行上采样处理，输出医学分割图像。
优选地，所述利用所述U型网络中多个编码器对所述医学样本图像进行下采样特征提取，得到特征图包括：
将所述医学样本图像输入第一卷积层中进行特征提取，输出第一特征图；
将所述第一特征图进行下采样，输入第二卷积层中进行特征提取，输出第二特征图；
将所述第二特征图进行下采样，输入第一ResNet层中进行特征提取，输出第三特征图；
将所述第三特征图进行下采样，输入第二ResNet层中进行特征提取，输出所述特征图。
本发明还提供了一种基于多尺度与局部特征引导网络的角膜神经纤维分割装置，包括：
输入模块，用于将医学图像训练集输入多尺度与局部特征引导网络进行训练，所述多尺度与局部特征引导网络包括U型网络和多尺度深度监督网络；
编码解码模块，用于利用U型网络的编码器和解码器对医学样本图像进行特征提取；
特征拼接模块，用于利用所述多尺度深度监督网络对每个解码器输出的特征图，将上采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进行拼接，并通过卷积层对拼接后的特征图进行处理，输出每个解码器对应的医学分割图像；
计算损失模块，用于计算所述每个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值；
监督训练模块，用于基于多个损失函数值对所述多尺度与局部特征引导网络进行监督学习，得到完成训练的多尺度与局部特征引导网络。
本发明还提供了一种基于多尺度与局部特征引导网络的角膜神经纤维分割设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的步骤。
本发明所提供的一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法，将医学图像输入多尺度与局部特征引导网络进行训练，通过U型网络多个编码器和多个解码器进行处理，得到医学分割图像，采用多尺度深度监督网络上采样每个解码器解码后的特征图，将每个解码器解码后的特征图与预设解码器解码后的特征图进行拼接，并经过卷积层进行处理，输出每个解码器对应的医学分割图像，通过多尺度深度监督网络，将不同解码器之间的特征进拼接，使得语义信息在深层和浅层特征之间实现了融合，然后计算每个医学分割图像与所述医学图像训练集标准区域的损失函数值，基于多个损失函数值对多尺度与局部特征引导网络进行深监督学习，优化网络训练。本发明采用多尺度深监督网络监督多尺度与局部特征引导网络进行训练，将深层特征信息和浅层特征信息进行拼接，使提取的特征信息更加全面，计算每个解码器损失函数值，利用多个损失函数值优化每个解码器的输出，从而更好的加快网络的收敛速度，提升分割性能，提高医学图像分割的精确度。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的第一种具体实施例的流程图；
图2为本发明所提供的多尺度深监督网络结构图；
图3为本发明实施例所提供的多尺度特征渐进引导网络的模型结构图；
图4为本发明实施例所提供的局部特征引导注意力网络的模型结构图；
图5为本发明实施例所提供的多尺度与局部特征引导网络的模型结构图；
图6为本发明与其他分割网络的对比结果图；
图7为本发明实施例提供的一种基于多尺度与局部特征引导网络的角膜神经纤维分割装置的结构框图。
具体实施方式
本发明的核心是提供一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法，采用多尺度深监督网络对多尺度与局部特征引导网络进行监督训练，采用多个损失函数值进行优化训练，从而更好的加快网络的收敛速度，提升分割性能，提高医学图像分割的精确度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1和图2，图1为本发明所提供的一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的第一种具体实施例的流程图，图2为本发明所提供的多尺度深监督网络结构图；具体操作步骤如下：
步骤S101：将医学图像训练集输入多尺度与局部特征引导网络进行训练，所述多尺度与局部特征引导网络包括U型网络和多尺度深度监督网络
步骤S102：利用U型网络的编码器和解码器对医学样本图像进行特征提取；
步骤S103：利用所述多尺度深度监督网络对每个解码器输出的特征图，将上采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进行拼接，并通过卷积层对拼接后的特征图进行处理，输出每个解码器对应的医学分割图像；
步骤S104：计算所述每个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值；
步骤S105：基于多个损失函数值对所述多尺度与局部特征引导网络进行监督学习，得到完成训练的多尺度与局部特征引导网络。
本实施例采用4层编码和解码的U型网络，其中，编码层采用了卷积层与ResNet34相结合的编码器设计，在编码器的前两层(层级1和层级2)采用了两个卷积层提取特征信息，保留更多的空间信息，每个卷积层包含两个连续的3x3卷积、批归一化(BatchNormalization)和ReLu激活函数。在编码器的后两层(层级3和层级4)采用了预训练的ResNet34作为特征提取器，可以加深网络，扩大感受野，获取丰富的语义信息。同时，ResNet采用的残差机制可以加快网络的收敛速度、避免梯度消失问题。每层编码器下采样一次、通道数增大一倍，共下采样3次，输出通道数分别为32、64、128、256。
其4层解码器的结构为，解码器的每个卷积层包含两个连续的3×3卷积、批归一化(Batch Normalization)和ReLu激活函数。每层解码器上采样一次，通道数缩小一半，共上采样四次，输出通道数分别为128、64、32。最后通过1×1卷积将通道数调整为1并输出结果。
在本实施例里采用多尺度深监督网络(MDS)监督模型训练，其中多尺度深监督网络的步骤为，分别将解码器的第三阶段Stage3、第二阶段Stage2特征图上采样至原始输入图像的大小。将上采样后的Stage3特征图通过1x1卷积得到边缘输出Side3。将上采样后的Stage3特征图与上采样后的Stage2特征图相拼接，1x1卷积得到边缘输出Side2。将上采样后的Stage3特征图、上采样后的Stage2特征图与第一阶段Stage1特征图相拼接，再通过1x1卷积得到边缘输出Side1。通过不同阶段特征之间的拼接操作，使得语义信息在深层和浅层特征之间实现融合，并通过基于交叉熵损失函数的辅助损失函数对边缘输出进行深监督学习，优化网络的训练。上述过程可由以下公式表述：
Side3＝ψ(Up[Stage3])
Figure BDA0003672898020000071
Figure BDA0003672898020000072
其中，ψ,
Figure BDA0003672898020000073
φ和Θ分别代表不同参数的1×1卷积,Up代表上采样,Concat代表拼接操作。
在本实施例中，利用多尺度深度监督网络采集每个解码器解码后的特征图，将解码器之间特征图拼接，并经过卷积层进行处理，输出每个解码器对应的医学分割图像，使得语义信息在深层和浅层特征之间实现了融合，然后计算每个医学分割图像与所述医学图像训练集标准区域的损失函数值，基于多个损失函数值对多尺度与局部特征引导网络进行深监督学习，优化网络训练。本发明采用多尺度深监督网络监督多尺度与局部特征引导网络进行训练，将深层特征信息和浅层特征信息进行拼接，使提取的特征信息更加全面，计算每个解码器损失函数值，利用多个损失函数值优化每个解码器的输出，从而更好的加快网络的收敛速度，提升分割性能，提高医学图像分割的精确度。
基于上述实施例，在本实施例中引入多个多尺度特征渐进引导网络(MFPG)，将编码层之间的特征融合到解码层中，本发明实施例中的多个多尺度特征渐进引导网络(MFPG)并非一种结构，可以根据需要进行改变，请参考图3，图3为本发明实施例所提供的多尺度特征渐进引导网络(MFPG)的模型结构图；具体操作步骤如下：
步骤S301：采集每个编码器输出的特征图；
步骤S302：将第i个编码器输出的特征图进行动态上采样处理，输出第i动态特征图；
步骤S303：将所述第i动态特征图与第i-1个编码器输出的特征图进行拼接融合，进行动态上采样处理，输出第i-1动态特征图；
步骤S304：令i＝i-1，重复步骤S33，直至i-1等于预设值，将所述第i-1动态特征图输入所述指定的解码器中。
本实施例的多尺度特征渐进引导网络(MFPG)为：其输入有3个：第一层级、第二层级和第三层级编码器的输出。对于第三层级编码器的输出特征X3，首先将X3送入编码器，以增加通道特征图的数目，编码器由3x3卷积、批归一化和ReLu激活组成。经过特征编码后的特征图为
Figure BDA0003672898020000081
采用亚像素卷积将
Figure BDA0003672898020000082
转化为
Figure BDA0003672898020000083
与X2进行拼接得到
Figure BDA0003672898020000084
使得
Figure BDA0003672898020000085
不仅包含来自本层级的特征信息，同时也包含了来自高一层级(第三层级)的特征信息。这里，采用可学习的亚像素卷积取代常规的双线性插值上采样操作。同样的对于
Figure BDA0003672898020000091
执行同样的特征编码和亚像素卷积操作，得到的
Figure BDA0003672898020000092
与X1拼接得到
Figure BDA0003672898020000093
经过一次1×1卷积得到的多尺度特征渐进引导网络(MFPG)的输出特征图Xout，Xout融合了第一层级、第二层级和第三层级的特征信息。
其中，多尺度特征渐进引导网络(MFPG)的工作过程公式表达式为：
Figure BDA0003672898020000094
Figure BDA0003672898020000095
Figure BDA0003672898020000096
其中，Sub_conv为亚像素卷积,∮为特征编码,Concat为拼接操作,Conv为1×1卷积，C1为第一通道，H1为第一高度，W1为第一宽度，C2为第二通道，H2为第二高度，W2为第二宽度，
Figure BDA0003672898020000097
为特征图符号。
在本实施例中引入多尺度特征渐进引导网络(MFPG)，将编码器之间的输出进行拼接融合，并进行处理，然后将输出的融合特征图输入对应的解码器中。本发明通过多尺度特征渐进引导网络(MFPG)将编码器之间的特征进行拼接融合，降低了解码过程中的弱化、高层特征与低层特征之间的隔阂，并且将融合后的特征图输入对应的解码器，增加了编码层与解码层之间特征信息的联系，提高了模型对图像分割的性能。
基于上述实施例，在本实施例中引入局部特征引导注意力网络(LFGA)，充分的捕捉整个特征图的信息，使局部特征更加完善，请参考图4，图4为本发明实施例所提供的局部特征引导注意力网络结构图；具体操作步骤如下：
步骤S401：将第四个编码器输出的特征图裁剪为多个小分块；
步骤S402：将每个小分块利用横条状池化层、竖条状池化层和点状池化层进行池化，得到横条状特征、竖条状特征和点状特征；
步骤S403：将所述横条状特征、所述竖条状特征和所述点状特征扩展并进行拼接，得到空间特征；
步骤S404：将所述每个小分块利用三个卷积层进行处理，得到三个像素分支；
步骤S405：将所述三个像素分支进行拼接，得到像素特征；
步骤S406：将所述空间特征、所述像素特征和所述多个小分块相加重整，输出局部注意力特征图；
步骤S407：将局部注意力特征图输入第一层解码器中。
首先将输入特征图
Figure BDA0003672898020000101
裁剪成k2个小分块
Figure BDA0003672898020000102
(H＝H0/k，W＝W0/k)，在每个小分块P上捕获长距离依赖关系和像素级相关性。在长距离依赖关系获取部分，分别采用横条状
Figure BDA0003672898020000103
Figure BDA0003672898020000104
竖条状
Figure BDA0003672898020000105
和点状
Figure BDA0003672898020000106
三种池化层，将特征图分别池化为横条状特征
Figure BDA0003672898020000107
竖条状特征
Figure BDA0003672898020000108
Figure BDA0003672898020000109
和点状特征
Figure BDA00036728980200001010
其次,将Px1,Px2,Py1和Py2扩展为原图大小并且拼接在一起，再用1×1卷积和sigmoid激活函数得到特征图P′xy,最终将Pz和Pxy相乘得到最终输出Pxyz，Pxyz不仅具有不同方向的空间维度上捕捉长条状的特征信息，还具有全局特征信息。在像素级相关性获取部分，我们原始特征图分别通过三个1×1的卷积来缩减通道，得到
Figure BDA00036728980200001011
和
Figure BDA00036728980200001012
(N＝H×W)三个分支，再将Q和K相乘得到一个大小为N×N的概率图E(x,y)，再将其与V相乘，得到输出
Figure BDA00036728980200001013
以捕获像素级相关性概率。最后将这些小块与原特征图相加重整为原特征图大小得到最终输出
Figure BDA00036728980200001014
Figure BDA00036728980200001015
其中，局部特征引导注意力网络(LFGA)工作过程公式表达式为：
Figure BDA00036728980200001016
Figure BDA00036728980200001017
Figure BDA00036728980200001018
Figure BDA0003672898020000111
Figure BDA0003672898020000112
Figure BDA0003672898020000113
其中，Concat为拼接操作，Mul为相乘，δ为sigmoid激活，
Figure BDA0003672898020000114
为重整操作，C为通道，H为高度，W为宽度，H0为初始高度，W0为初始宽度，N为高度和宽度的乘积。
在本实施例中在编码器和解码器之间设置局部特征引导注意力网络(LFGA)，首先对编码器输出的特征图进行裁剪为多个小分块，然后对每个小分块进行长距离依赖关系和像素级相关处理，不仅提取了长距离依赖关系的特征，还提取像素级相关的特征，最后将两者和之前的特征进行重整，使本发明提取的特征不仅具有不同方向的空间维度上捕捉成条状的特征信息，还具有全局特征信息，使最后输出的图具有局部注意力效果。
基于上述实施例，本实施例将多尺度特征渐进引导网络(MFPG)，局部特征引导注意力网络(LFGA)和多尺度深监督网络(MDS)组合构建完整的多尺度与局部特征引导网络(MLFGNet)，请参考图5，图5为本发明实施例所提供的多尺度与局部特征引导网络(MLFGNet)的整体结构图。具体详情如下：
步骤S501：将医学图像训练集输入多尺度与局部特征引导网络中进行训练；
步骤S502：利用U型网络中四层编码器对医学样本图像进行下采样特征提取，得到特征图；
步骤S503：利用多个多尺度特征渐进引导网络提取编码器之间的特性信息并进行拼接融合处理，输出特征融合图至对应的解码器中；
步骤S504：将特征图输入局部特征引导注意力网络中进行局部特征处理，输出局部注意力特征图；
步骤S505：将局部注意力特征图输入第一层解码器中进行解码，每个解码器将多尺度特征渐进引导网络输出的特征融合图与局部注意力特征图进行融合处理，输出解码特征图至下一个解码器中；
步骤S506：重复步骤S505，直至达到最后一层解码器输出医学分割图像；
步骤S507：利用所述多尺度深度监督网络对每个解码器输出的特征图，将上采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进行拼接，并通过卷积层对拼接后的特征图进行处理，输出每个解码器对应的医学分割图像；
步骤S508：计算所述每个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值，利用损失函数值监督训练多尺度与局部特征引导网络。
损失函数:数据分布不均衡问题是医学图像分割中面临的一个主要挑战，为了优化本发明的设计模型，有效克服数据不平衡问题，主损失函数
Figure BDA0003672898020000121
采用了Dice损失，辅助损失函数
Figure BDA0003672898020000122
使用了交叉熵损失函数。
Figure BDA0003672898020000123
Figure BDA0003672898020000124
其中，gi∈{0，1}表示第i个像素对应的金标准标签，pi∈[0，1]表示第i个像素预测为角膜神经纤维的概率。
在本实施例中，本发明设计了多尺度特征渐进引导网络(MFPG)、局部特征引导注意力网络(LFGA)和多尺度深监督网络(MDS)，并应用于U型编解码网络，首先多尺度特征渐进引导网络(MFPG)嵌入于跳跃连接中，多尺度特征渐进引导网络(MFPG)可以渐进地将高层特征与低层特征相融合，即每一层的跳跃连接不但包含本层特征的信息，还包含来自更高层特征的语义信息，从而消除高层特征与低层特征之间的信息隔阂，并抑制低层特征中的噪声，得到包含多尺度特征的特征图，并通过跳跃连接将多尺度特征传递给解码器。本发明提出的局部特征引导注意力网络(LFGA)嵌入于编码器模块的顶端，局部特征引导注意力网络(LFGA)将特征图分成k2个小分块，在每个小分块上获取像素级相关性和长距离依赖关系，使网络能够关注到局部特征信息，提升网络针对具有低对比度特点的前景目标的鉴别能力。本发明提出的多尺度深监督网络(MDS)将深层特征信息与浅层特征信息相融合，构造辅助损失函数来优化整体分割网络不同层次的输出，从而加快网络整体的收敛速度，提升分割性能。
在本实施例，关于使用不同网络设计的消融实验，还与其他分割网络进行对比，具体详情如下：
(1)数据集
采用3个角膜共聚焦显微图像数据集来验证与评估本设计提出角膜神经纤维分割网络MLFGNet的性能。数据集1来自中山眼科中心，包含90张二维角膜共聚焦显微图像，其中50张图像来自4只正常眼睛，40张图像来自4只患有糖尿病角膜病变的患眼。数据集2来自中国科学院慈溪生物医学工程研究所，包含114张角膜共聚焦显微图像，由眼科医生按照弯曲度等级由低到高将这些图像划分成4级，其中第一到第三级各包含30张，第四级包含24张。数据集3来自意大利帕多瓦大学，共30张角膜共聚焦显微图像，图像由眼科医生按照弯曲度等级由低到高划分成3级，每级有10张。三个数据集图像尺寸都为384×384，对应实际大小为400um×400um。分割图像的金标准均在眼科医生指导下进行手动标注。
(2)评价指标
采用Dice系数(Dice)、交并比(Intersection over Union，IoU)、敏感度(Sensitivity，Sen)和ROC曲线下面积(Area Under Curve，AUC)作为分割评价指标。为了评估本发明的性能提升是否具有统计显著性，在对比实验和消融实验中对本发明MLFGNet与其他方法的Dice系数指标进行了威尔科克森符号秩检验(Wilcoxon signed-rank test)。
(3)消融实验的结果
1)关于不同模块设计的消融实验
为了验证本发明所设计的多尺度特征渐进引导网络MFPG、局部特征引导注意力网络LFGA和多尺度深监督网络MDS的有效性，在数据集1和数据集2进行了相关模块设计的消融实验，结果如附表1和附表2所示。采用由前述编码器和解码器组成的U型网络作为基准网络，消融实验的策略包括：(a)将多尺度特征渐进引导网络(MFPG)、局部特征引导注意力网络(LFGA)和多尺度深监督网络(MDS)单独作用于基准网络；(b)将局部特征引导注意力网络(LFGA)和多尺度深监督网络(MDS)组合、多尺度特征渐进引导网络(MFPG)和多尺度深监督网络(MDS)组合、多尺度特征渐进引导网络(MFPG)和局部特征引导注意力网络(LFGA)组合，分别作用于基准网络；(c)将多尺度特征渐进引导网络(MFPG)、局部特征引导注意力网络(LFGA)和多尺度深监督网络(MDS)共同作用于基准网络，即本发明提出的MLFGNet网络。如附表1和附表2所示，对于数据集1和数据集2，相对于基准网络，随着多尺度特征渐进引导网络(MFPG)、局部特征引导注意力网络(LFGA)和多尺度深监督网络(MDS)的逐步加入，Dice系数、交并比IoU、敏感度Sen和ROC曲线下面积AUC等指标均有提升，当MFPG、LFGA和MDS三个模块共同作用于基准网络，即本发明提出的MLFGNet网络，上述所有指标均达到了最优。并对本发明MLFGNet与消融实验其他方法的Dice系数指标进行了威尔科克森符号秩检验，从附表1和附表2可以看出，p值均小于0.05，表明本发明方法的性能相比于消融实验其他方法均取得了显著改进。
附表1数据集1上有关不同模块的消融实验结果
Figure BDA0003672898020000141
Figure BDA0003672898020000151
附表2数据集2上有关不同模块的消融实验结果
Figure BDA0003672898020000152
2)关于不同编码器设计的消融实验
为了验证本发明所设计的编码器方案的有效性，在数据集1和数据集2进行了相关编码器设计的消融实验，附表3展示了不同编码器设计方案的消融实验结果。其中，“4个卷积层”表示编码器采用4层卷积层结构，“4个ResNet34”表示编码器采用4层预训练ResNet34结构，“2个卷积层+2个ResNet34”表示本发明MLFGNet采用的2个卷积层与2个预训练ResNet34相结合的编码器设计。如附表3所示，单纯采用“4个卷积层”构成编码器，由于网络深度不够，感受野不够大，不能较好地提取神经纤维的语义信息，导致神经纤维分割性能下降。单纯采用“4个ResNet34”构成编码器，虽然加深了网络深度、增大了感受野，但是由于缺少有关神经纤维的空间信息特征，同样会导致神经纤维分割性能下降。本发明设计的“2个卷积层+2个ResNet34”编码器方案，在第1和第2层次编码器中采用卷积层，保留更多的神经纤维空间信息，在第3和第4层中采用预训练的ResNet34，可以加深网络、扩大感受野，获取丰富的语义信息，因此，本发明设计的“2个卷积层+2个ResNet34”编码器方案，在特征提取过程中兼顾神经纤维的空间信息和语义信息，取得了最优分割性能表现。
附表3不同编码器设计方案的消融实验结果
Figure BDA0003672898020000161
(3)对比实验的结果
在对比实验中，将本发明MLFGNet方法与其他优秀的基于U型编解码结构的分割网络包括U-Net、U-Net++、U2-Net和注意力U-Net(Attention U-Net)进行了比较，并与近期提出的一种用于角膜共聚焦显微图像中神经纤维分割的多鉴别器卷积网络MDACN进行了比较。附表4、附表5和附表6分别展示了在数据集1、数据集2和数据集3上的对比实验结果。在对比实验中，本发明提出的MLFGNet的分割性能均优于其他网络。在数据集1上，Dice系数达到了89.32％,IoU系数达到了80.97％,Sen系数达到了88.73％，AUC系数达到了93.86％。在数据集2上,Dice系数达到了89.41％,IoU系数达到了81.05％,Sen系数达到了88.38％，AUC系数达到了93.69％。在数据集3上,Dice系数达到了88.29％,IoU系数达到了79.27％,Sen系数达到了87.43％，AUC系数达到了93.31％。说明本发明提出的多尺度特征引导网络在角膜神经纤维分割任务上的优越性。U-Net++由于在编解码结构中引入了密集跳跃连接，这使得在保留更多细节信息的同时也引入了许多背景噪声，导致最终分割结果变差。U2-Net在每层编解码中进行重复的下采样与上采样操作，去除了背景噪声的同时也破坏了神经纤维纤细的结构，因此分割性能并不高。Attention U-Net引入了注意力机制，使得网络更注重于分割纤维像素，因此分割性能有所提升。MDACN由于使用了优化的损失函数使得网络对于纤细纤维的分割效果更好，并且使用了两个不同感受野的鉴别器加强对神经纤维的鉴别能力从而达到了较好的分割效果。但是上述方法都没有充分利用到编解码结构中的多尺度特征和局部特征，而本发明充分利用了这些信息，从而达到了最优的分割效果。
为了反映正常眼和患眼之间或者不同病理等级患眼之间的差异，进行了分类指标计算。由附表4可见，患眼的各项指标均普遍低于正常眼，由附表5和附表6可见，病理弯曲度等级的增加，各项客观指标整体下降，表明弯曲度增加等病理性改变增加了神经纤维的分割难度。
附表4数据集1上采用不同方法的分割结果
Figure BDA0003672898020000171
Figure BDA0003672898020000181
附表5数据集2上采用不同方法的分割结果
Figure BDA0003672898020000182
Figure BDA0003672898020000191
附表6数据集3上采用不同方法的分割结果
Figure BDA0003672898020000192
Figure BDA0003672898020000201
附图6展示了不同网络的分割结果，(a)原始CCM图像；(b)局部放大图像；(c)金标准图像；(d)本发明MLFGNet方法的结果；(e)MDACN的结果；(f)Attention U-Net结果；(g)U-Net的结果；(h)U2-Net的结果。
可以发现本发明提出的MLFGNet网络的分割结果中假阳和假阴均较少，能更好地实现纤细和低对比度的角膜神经纤维，表明MLFGNet网络具有较好的多尺度特征与局部特征的提取与融合能力，有效提升了网络对于多形态、多尺度目标的特征提取能力，从而减少目标的误检和漏检。
请参考图7，图7为本发明实施例提供的一种基于多尺度与局部特征引导网络的角膜神经纤维分割装置的结构框图；具体装置可以包括：
输入模块100，用于将医学图像训练集输入多尺度与局部特征引导网络进行训练，所述多尺度与局部特征引导网络包括U型网络和多尺度深度监督网络；
编码解码模块200，用于利用U型网络的编码器和解码器对医学样本图像进行特征提取；
特征拼接模块300，用于利用所述多尺度深度监督网络对每个解码器输出的特征图，将上采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进行拼接，并通过卷积层对拼接后的特征图进行处理，输出每个解码器对应的医学分割图像；
计算损失模块400，用于计算所述每个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值；
监督训练模块500，用于基于多个损失函数值对所述多尺度与局部特征引导网络进行监督学习，得到完成训练的多尺度与局部特征引导网络。
本实施例的一种基于多尺度与局部特征引导网络的角膜神经纤维分割装置用于实现前述的一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法，因此一种基于多尺度与局部特征引导网络的角膜神经纤维分割装置中的具体实施方式可见前文中的一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的实施例部分，例如，输入模块100，编码解码模块200，特征拼接模块300，计算损失模块400，监督训练模块500，分别用于实现上述一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法中步骤S101，S102，S103、S104和S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于多尺度与局部特征引导网络的角膜神经纤维分割设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法，其特征在于，包括：
将医学图像训练集输入多尺度与局部特征引导网络进行训练，所述多尺度与局部特征引导网络包括U型网络和多尺度深度监督网络；
利用U型网络的编码器和解码器对医学样本图像进行特征提取；
利用所述多尺度深度监督网络对每个解码器输出的特征图，将上采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进行拼接，并通过卷积层对拼接后的特征图进行处理，输出每个解码器对应的医学分割图像；
计算所述每个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值；
基于多个损失函数值对所述多尺度与局部特征引导网络进行监督学习，得到完成训练的多尺度与局部特征引导网络。
2.如权利要求1所述的方法，其特征在于，所述多尺度与局部特征引导网络还包括：
多个多尺度特征渐进引导网络，其中，每个多尺度特征渐进引导网络采集所述多个编码器输出的特征图并进行融合，将融合后的特征图输入指定的解码器中。
3.如权利要求2所述的方法，其特征在于，所述每个多尺度特征渐进引导网络采集所述多个编码器输出的特征图并进行融合，将融合后的特征图输入指定的解码器中包括：
S31：采集每个编码器输出的特征图；
S32：将第i个编码器输出的特征图进行动态上采样处理，输出第i动态特征图；
S33：将所述第i动态特征图与第i-1个编码器输出的特征图进行拼接融合，进行动态上采样处理，输出第i-1动态特征图；
S34：令i＝i-1，重复步骤S33，直至i-1等于预设值，将所述第i-1动态特征图输入所述指定的解码器中。
4.如权利要求1所述的方法，其特征在于，所述多尺度与局部特征引导网络还包括：局部特征引导注意力网络；
将最后一层编码器输出的特征图输入所述局部引导注意力网络中；
利用所述局部引导注意力网络对所述最后一层编码器输出的特征图进行局部信息捕捉，输出局部注意力特征图；
将所述局部注意力特征图输入所述解码器中进行处理。
5.如权利要求4所述的方法，其特征在于，所述利用所述局部引导注意力网络对所述特征图进行局部信息捕捉，输出局部注意力特征图包括：
将所述最后一层编码器输出的特征图裁剪为多个小分块；
将每个小分块利用横条状池化层、竖条状池化层和点状池化层进行池化，得到横条状特征、竖条状特征和点状特征；
将所述横条状特征、所述竖条状特征和所述点状特征扩展并进行拼接，得到空间特征；
将所述每个小分块利用三个卷积层进行处理，得到三个像素分支；
将所述三个像素分支进行拼接，得到像素特征；
将所述空间特征、所述像素特征和所述多个小分块相加重整，将输出的所述局部注意力特征图输入至第一层解码器中。
6.如权利要求1所述的方法，其特征在于，所述利用U型网络的编码器和解码器对医学样本图像进行特征提取包括：
利用所述U型网络中多个编码器对所述医学样本图像进行下采样特征提取，得到特征图；
将所述特征图输入所述U型网络中多个特征解码器中进行上采样处理，输出医学分割图像。
7.如权利要求6所述的方法，其特征在于，所述利用所述U型网络中多个编码器对所述医学样本图像进行下采样特征提取，得到特征图包括：
将所述医学样本图像输入第一卷积层中进行特征提取，输出第一特征图；
将所述第一特征图进行下采样，输入第二卷积层中进行特征提取，输出第二特征图；
将所述第二特征图进行下采样，输入第一ResNet层中进行特征提取，输出第三特征图；
将所述第三特征图进行下采样，输入第二ResNet层中进行特征提取，输出所述特征图。
8.一种基于多尺度与局部特征引导网络的角膜神经纤维分割装置，其特征在于，包括：
输入模块，用于将医学图像训练集输入多尺度与局部特征引导网络进行训练，所述多尺度与局部特征引导网络包括U型网络和多尺度深度监督网络；
编码解码模块，用于利用U型网络的编码器和解码器对医学样本图像进行特征提取；
特征拼接模块，用于利用所述多尺度深度监督网络对每个解码器输出的特征图，将上采样处理后的每个解码器输出的特征图与预设解码器输出的特征图进行拼接，并通过卷积层对拼接后的特征图进行处理，输出每个解码器对应的医学分割图像；
计算损失模块，用于计算所述每个解码器对应的医学分割图像与所述样本图像的标注区域的损失函数值；
监督训练模块，用于基于多个损失函数值对所述多尺度与局部特征引导网络进行监督学习，得到完成训练的多尺度与局部特征引导网络。
9.一种基于多尺度与局部特征引导网络的角膜神经纤维分割设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种基于多尺度与局部特征引导网络的角膜神经纤维分割方法的步骤。
CN202210610029.6A 2022-05-31 2022-05-31 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 Active CN115082500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210610029.6A CN115082500B (zh) 2022-05-31 2022-05-31 基于多尺度与局部特征引导网络的角膜神经纤维分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210610029.6A CN115082500B (zh) 2022-05-31 2022-05-31 基于多尺度与局部特征引导网络的角膜神经纤维分割方法

Publications (2)

Publication Number Publication Date
CN115082500A true CN115082500A (zh) 2022-09-20
CN115082500B CN115082500B (zh) 2023-07-11

Family

ID=83250065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210610029.6A Active CN115082500B (zh) 2022-05-31 2022-05-31 基于多尺度与局部特征引导网络的角膜神经纤维分割方法

Country Status (1)

Country Link
CN (1) CN115082500B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258672A (zh) * 2022-12-26 2023-06-13 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN117649417A (zh) * 2024-01-30 2024-03-05 苏州慧恩齐家医疗科技有限公司 一种角膜神经纤维分割系统、方法、计算机设备及存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846314A (zh) * 2017-02-04 2017-06-13 苏州大学 一种基于术后角膜oct影像数据的图像分割方法
CN109658422A (zh) * 2018-12-04 2019-04-19 大连理工大学 一种基于多尺度深监督网络的视网膜图像血管分割方法
CN111325755A (zh) * 2020-01-21 2020-06-23 苏州大学 一种u型网络及角膜图像中神经纤维的分割方法
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN111373439A (zh) * 2020-02-10 2020-07-03 香港应用科技研究院有限公司 使用cnn进行图像分割的方法
US20200222018A1 (en) * 2019-01-11 2020-07-16 Pie Medical Imaging B.V. Methods and Systems for Dynamic Coronary Roadmapping
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
CN112308829A (zh) * 2020-10-27 2021-02-02 苏州大学 一种适用于视网膜光学相干断层扫描图像中高反射亮斑分割的自适应网络
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
US20210133966A1 (en) * 2019-10-02 2021-05-06 Memorial Sloan Kettering Cancer Center Deep multi-magnification networks for multi-class image segmentation
CN112784849A (zh) * 2021-02-05 2021-05-11 苏州大学 一种基于选择多尺度注意力的胰腺病理图像的腺体分割网络
CN112819798A (zh) * 2021-02-05 2021-05-18 苏州大学 一种适用于多种视网膜积液联合分割的上下文关注与融合网络
US20210211684A1 (en) * 2020-01-05 2021-07-08 Isize Limited Image data processing
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113592843A (zh) * 2021-08-09 2021-11-02 北京联合大学 基于改进的U-Net眼底视网膜血管图像分割方法及装置
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置
CN113781410A (zh) * 2021-08-25 2021-12-10 南京邮电大学 一种基于MEDU-Net+网络的医学图像分割方法和系统
US20210397943A1 (en) * 2020-06-18 2021-12-23 Nvidia Corporation Techniques for classification with neural networks
CN113920129A (zh) * 2021-09-16 2022-01-11 电子科技大学长三角研究院(衢州) 基于多尺度和全局上下文信息的医学图像分割方法和装置
CN114037714A (zh) * 2021-11-02 2022-02-11 大连理工大学人工智能大连研究院 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN114066905A (zh) * 2021-11-19 2022-02-18 安徽大学 一种基于深度学习的医学图像分割方法、系统、装置
CN114170244A (zh) * 2021-11-24 2022-03-11 北京航空航天大学 一种基于级联神经网络结构的脑胶质瘤分割方法
CN114359292A (zh) * 2021-12-10 2022-04-15 南昌大学 一种基于多尺度和注意力的医学图像分割方法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846314A (zh) * 2017-02-04 2017-06-13 苏州大学 一种基于术后角膜oct影像数据的图像分割方法
CN109658422A (zh) * 2018-12-04 2019-04-19 大连理工大学 一种基于多尺度深监督网络的视网膜图像血管分割方法
US20200222018A1 (en) * 2019-01-11 2020-07-16 Pie Medical Imaging B.V. Methods and Systems for Dynamic Coronary Roadmapping
US20210133966A1 (en) * 2019-10-02 2021-05-06 Memorial Sloan Kettering Cancer Center Deep multi-magnification networks for multi-class image segmentation
US20210211684A1 (en) * 2020-01-05 2021-07-08 Isize Limited Image data processing
CN111340828A (zh) * 2020-01-10 2020-06-26 南京航空航天大学 基于级联卷积神经网络的脑部胶质瘤分割
CN111325755A (zh) * 2020-01-21 2020-06-23 苏州大学 一种u型网络及角膜图像中神经纤维的分割方法
CN111373439A (zh) * 2020-02-10 2020-07-03 香港应用科技研究院有限公司 使用cnn进行图像分割的方法
US20210397943A1 (en) * 2020-06-18 2021-12-23 Nvidia Corporation Techniques for classification with neural networks
CN112308829A (zh) * 2020-10-27 2021-02-02 苏州大学 一种适用于视网膜光学相干断层扫描图像中高反射亮斑分割的自适应网络
CN112233135A (zh) * 2020-11-11 2021-01-15 清华大学深圳国际研究生院 眼底图像中视网膜血管分割方法及计算机可读存储介质
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN112784849A (zh) * 2021-02-05 2021-05-11 苏州大学 一种基于选择多尺度注意力的胰腺病理图像的腺体分割网络
CN112819798A (zh) * 2021-02-05 2021-05-18 苏州大学 一种适用于多种视网膜积液联合分割的上下文关注与融合网络
CN113393469A (zh) * 2021-07-09 2021-09-14 浙江工业大学 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置
CN113592843A (zh) * 2021-08-09 2021-11-02 北京联合大学 基于改进的U-Net眼底视网膜血管图像分割方法及装置
CN113781410A (zh) * 2021-08-25 2021-12-10 南京邮电大学 一种基于MEDU-Net+网络的医学图像分割方法和系统
CN113920129A (zh) * 2021-09-16 2022-01-11 电子科技大学长三角研究院(衢州) 基于多尺度和全局上下文信息的医学图像分割方法和装置
CN114037714A (zh) * 2021-11-02 2022-02-11 大连理工大学人工智能大连研究院 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN114066905A (zh) * 2021-11-19 2022-02-18 安徽大学 一种基于深度学习的医学图像分割方法、系统、装置
CN114170244A (zh) * 2021-11-24 2022-03-11 北京航空航天大学 一种基于级联神经网络结构的脑胶质瘤分割方法
CN114359292A (zh) * 2021-12-10 2022-04-15 南昌大学 一种基于多尺度和注意力的医学图像分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HUIYING XIE 等: "Multi-scale retinal vessel segmentation using encoder-decoder network with squeeze-and-excitation connection and atrous spatial pyramid pooling", 《APPLIED OPTICS》 *
WEI TANG 等: "Multi-class retinal fluid joint segmentation based on cascaded convolutional neural networks", 《PHYSICS IN MEDICINE & BIOLOGY》 *
廖轩: "基于多尺度互特征卷积神经网络的深度图像增强", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
牟磊: "眼科医学图像中的典型曲线结构体分割算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
邵凯: "基于深度神经网络的冠状动脉分割研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
郭静云: "基于SD-OCT图像的视网膜动脉阻塞的自动分类和分割", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258672A (zh) * 2022-12-26 2023-06-13 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN116258672B (zh) * 2022-12-26 2023-11-17 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN117649417A (zh) * 2024-01-30 2024-03-05 苏州慧恩齐家医疗科技有限公司 一种角膜神经纤维分割系统、方法、计算机设备及存储介质
CN117649417B (zh) * 2024-01-30 2024-04-26 苏州慧恩齐家医疗科技有限公司 一种角膜神经纤维分割系统、方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115082500B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN115082500A (zh) 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
CN108805889B (zh) 边缘引导的精细化显著性物体分割方法与系统、设备
CN109685768B (zh) 基于肺部ct序列的肺结节自动检测方法及系统
CN110580704A (zh) 基于卷积神经网络的et细胞图像自动分割方法及系统
CN112258488A (zh) 一种医疗影像病灶分割方法
CN114445430B (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN112651979A (zh) 肺部x光图像分割方法、系统、计算机设备及存储介质
CN113486890A (zh) 基于注意力特征融合和空洞残差特征增强的文本检测方法
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN111899259A (zh) 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
CN114140651A (zh) 胃部病灶识别模型训练方法、胃部病灶识别方法
CN115147315B (zh) 一种基于变压器模块的神经网络荧光显微图像去噪方法
CN111860248B (zh) 一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN114638836A (zh) 基于高度有效驱动与多层级特征融合的城市街景分割方法
CN117351487A (zh) 一种邻近区域与边缘信息融合的医学图像分割方法、系统
CN115393293A (zh) 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法
CN116091885A (zh) 一种基于rau-gan的肺结节数据增强方法
CN118470036A (zh) 一种HL-UNet图像分割模型及心脏动态磁共振成像分割方法
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
CN116310334B (zh) 一种图像分割方法、装置、设备及可读存储介质
CN117197470A (zh) 一种基于结肠镜图像的息肉分割方法、设备及介质
CN112489062A (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN115471901B (zh) 基于生成对抗网络的多姿态人脸正面化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant