CN112053363B - 视网膜血管分割方法、装置及模型构建方法 - Google Patents

视网膜血管分割方法、装置及模型构建方法 Download PDF

Info

Publication number
CN112053363B
CN112053363B CN202010839098.5A CN202010839098A CN112053363B CN 112053363 B CN112053363 B CN 112053363B CN 202010839098 A CN202010839098 A CN 202010839098A CN 112053363 B CN112053363 B CN 112053363B
Authority
CN
China
Prior art keywords
blood vessel
convolution
network
images
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010839098.5A
Other languages
English (en)
Other versions
CN112053363A (zh
Inventor
赵荔君
黄迪锋
谭启超
王建峰
王恩超
高原
张玲玲
梁波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Chaoyun Life Intelligence Industry Research Institute Co ltd
Original Assignee
Suzhou Chaoyun Life Intelligence Industry Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Chaoyun Life Intelligence Industry Research Institute Co ltd filed Critical Suzhou Chaoyun Life Intelligence Industry Research Institute Co ltd
Priority to CN202010839098.5A priority Critical patent/CN112053363B/zh
Publication of CN112053363A publication Critical patent/CN112053363A/zh
Application granted granted Critical
Publication of CN112053363B publication Critical patent/CN112053363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视网膜血管分割方法、装置、计算机设备、存储介质和模型构建方法，通过将待分割血管图像输入至对称网络；对称网络包括编码网络和解码网络，通过编码网络中的各个密集连接块对待分割血管图像进行特征提取，得到对应的血管特征图，并输入至解码网络；通过解码网络中的各卷积模块对编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；将解码网络中的各卷积模块输出的血管特征图与编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；通过对融合的血管特征图进行卷积处理，得到血管分割图。本申请能够高效地捕获血管的细粒度细节，提升血管精细部位分割结果准确性。

Description

视网膜血管分割方法、装置及模型构建方法
技术领域
本申请涉及图像分割技术领域，特别是涉及一种视网膜血管分割方法、装置、计算机设备、存储介质和模型构建方法。
背景技术
在视网膜眼底图像中，血管呈树状网络结构布满整个眼底图像，是眼底图像中可观察的最重要的结构。视网膜眼底图像是判断眼部疾病的重要依据，同时对糖尿病、高血压、动脉硬化等疾病的诊断具有重要作用。手动分割视网膜血管是一项非常繁琐的任务，并需要经验和技巧。基于计算机自动提取分割视网膜血管的辅助诊断系统，在医学诊断中有着重要的应用价值。
在传统技术中，采用基于U型网络或类似U型网络的方法实现眼底图像血管的端到端的分割，且这些方法中的跳转连接是将编码模块的特征图与解码模块的特征图直接连接，从而导致语义差别较大的特征图相组合。
然而，传统技术中在血管末梢等血管精细部位的分割结果仍不够准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够高效地捕获血管的细粒度细节，提升血管精细部位分割结果准确性的视网膜血管分割方法、装置、计算机设备、存储介质和模型构建方法。
一种视网膜血管分割方法，所述方法包括：将待分割血管图像输入至对称网络；所述对称网络包括编码网络和解码网络，所述编码网络与所述解码网络连接成对称结构，所述编码网络包括若干个依次连接的密集连接块；通过所述编码网络中的各个密集连接块对所述待分割血管图像进行特征提取，得到对应的血管特征图，并输入至所述解码网络；所述解码网络包括若干层次，各个所述层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；通过所述解码网络中的各卷积模块对所述编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；通过各所述卷积模块之间的跳转连接关系，将所述解码网络中的各卷积模块输出的血管特征图与所述编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；通过对所述融合的血管特征图进行卷积处理，得到血管分割图。
一种血管分割模型的构建方法，所述方法包括：构建训练样本集；所述训练样本集包括若干样本血管图像，所述样本血管图像具有对应的血管分割标签；将所述样本血管图像以及所述血管分割标签输入至搭建的血管分割模型，其中，所述血管分割模型采用对称网络，所述对称网络包括编码网络和解码网络，所述编码网络与所述解码网络连接成对称结构，所述编码网络包括若干个依次连接的密集连接块；通过所述编码网络中的各个密集连接块对所述样本血管图像进行特征提取，得到对应的样本血管特征图，并输入至所述解码网络；所述解码网络包括若干个层次，各个所述层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；通过所述解码网络中的各卷积模块对所述编码网络中的各个密集连接块输出的样本血管特征图进行特征提取，得到对应的样本血管特征图；将所述解码网络中的各卷积模块输出的样本血管特征图与所述编码网络中的各个密集连接块输出的样本血管特征图进行融合，得到融合的样本血管特征图；通过对所述融合的样本血管特征图进行卷积处理，得到预测概率图；根据所述预测概率图以及所述血管分割标签计算模型损失值，并反向传播优化所述血管分割模型的参数。
一种视网膜血管分割装置，所述装置包括：
输入模块，用于将待分割血管图像输入至对称网络；所述对称网络包括编码网络和解码网络，所述编码网络与所述解码网络连接成对称结构，所述编码网络包括若干个依次连接的密集连接块；第一特征提取模块，用于通过所述编码网络中的各个密集连接块对所述待分割血管图像进行特征提取，得到对应的血管特征图，并输入至所述解码网络；
所述解码网络包括若干个层次，各个所述层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；
第二特征提取模块，用于通过所述解码网络中的各卷积模块对所述编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；
特征图融合模块，用于通过各所述卷积模块之间的跳转连接关系，将所述解码网络中的各卷积模块输出的血管特征图与所述编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；
融合特征处理模块，用于通过对所述融合的血管特征图进行卷积处理，得到血管分割图。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中的方法步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中的方法步骤。
上述视网膜血管分割方法、装置、计算机设备、存储介质和模型构建方法，通过将待分割血管图像输入至对称网络；对称网络包括编码网络和解码网络，编码网络与解码网络连接成对称结构，编码网络包括若干个依次连接的密集连接块；通过编码网络中的各个密集连接块对待分割血管图像进行特征提取，得到对应的血管特征图，并输入至解码网络；解码网络包括若干个层次，各个层次包括若干个依次连接的卷积模块，且当前卷积模块与当前卷积模块之前的各卷积模块均具有跳转连接；通过解码网络中的各卷积模块对编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；通过各卷积模块之间的跳转连接关系，将解码网络中的各卷积模块输出的血管特征图与编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；通过对融合的血管特征图进行卷积处理，得到血管分割图。本实施例中的技术方案能够高效地捕获血管的细粒度细节，提升血管精细部位分割结果准确性。
附图说明
图1为一个实施例中视网膜血管分割方法的应用环境图；
图2为一个实施例中视网膜血管分割方法的流程示意图；
图3为一个实施例中S220步骤的流程示意图；
图4a为一个实施例中S310步骤的流程示意图；
图4b为一个实施例中密集连接块的框架示意图；
图5a为一个实施例中视网膜血管分割方法的流程示意图；
图5b为一个实施例中对称网络的框架示意图；
图6为一个实施例中对称网络模型的训练方式的流程示意图；
图7为一个实施例中构建训练样本集的流程示意图；
图8为一个实施例中视网膜血管分割方法的流程示意图；
图9a为一个实施例中血管分割模型的构建方法的流程示意图；
图9b为一个实施例中一个样例的示意图；
图9c为一个实施例中一个专家手动分割标签的示意图；
图9d为一个实施例中血管分割结果的示意图；
图10为一个实施例中视网膜血管分割装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的视网膜血管分割方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104搭建对称网络，并构建训练样本集；训练样本集包括若干样本血管图像，样本血管图像具有对应的血管分割标签；通过训练样本集对对称网络进行训练，根据预测概率图以及血管分割标签计算模型损失值，并反向传播优化对称网络的参数。当对称网络完成训练时，将对称网络发布在终端102上。
终端102部署有完成训练的对称网络，该对称网络用于血管分割。具体地，将待分割血管图像输入至对称网络；对称网络包括编码网络和解码网络，编码网络与解码网络连接成对称结构，编码网络包括若干个依次连接的密集连接块；通过编码网络中的各个密集连接块对待分割血管图像进行特征提取，得到对应的血管特征图，并输入至解码网络；解码网络包括若干个层次，各个层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；通过解码网络中的各卷积模块对编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；通过各卷积模块之间的跳转连接关系，将解码网络中的各卷积模块输出的血管特征图与编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；通过对融合的血管特征图进行卷积处理，得到血管分割图。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种视网膜血管分割方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S210、将待分割血管图像输入至对称网络。
其中，待分割血管图像可以是眼底图像。对称网络包括编码网络和解码网络，编码网络与解码网络连接成对称结构，示例性地，编码网络和解码网络可以连接成U型或者V型等对称的结构。对称网络具有若干层次，每层次对应不同的分辨率。编码网络包括若干个依次连接的密集连接块，且每个层次上的密集连接块对应的分辨率不同。密集连接块主要用于对输入(待分割血管图像或者上一层输出的血管特征图)进行卷积处理以进行特征提取。具体地，将预设尺寸的待分割血管图像输入至对称网络。
S220、通过编码网络中的各个密集连接块对待分割血管图像进行特征提取，得到对应的血管特征图，并输入至解码网络。
其中，解码网络包括若干个层次，各个层次对应不同的分辨率，且同一层次上编码网络中的密集连接块与解码网络中的卷积模块对应相同的分辨率。解码网络中的各个层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接。血管特征图可以用于表征血管在眼底图像中的位置。具体地，将待分割血管图像输入至编码网络，编码网络包括若干个依次连接的密集连接块，通过编码网络中的各个密集连接块依次对待分割血管图像进行卷积运算以提取图像特征，输出对应的血管特征图。编码网络与解码网络之间的跳转连接，将编码网络中各个密集连接块输出的血管特征图分别输入至解码网络中。
S230、通过解码网络中的各卷积模块对编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图。
具体地，解码网络包括若干个层次，各个层次包括若干个依次连接的卷积模块。将编码网络中各个密集连接块输出的血管特征图分别输入至解码网络中对应的层次中，利用该层次上的各卷积模块对密集连接块输出的血管特征图进行卷积运算以提取特征。
S240、通过各卷积模块之间的跳转连接关系，将解码网络中的各卷积模块输出的血管特征图与编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图。
具体地，针对该层次上的各卷积模块来说，除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接，这样，当前卷积模块之前的各卷积模块的输出与当前层次上的密集连接块的输出以及下一层次上的当前卷积模块之前的卷积模块的输出经上采样后的血管特征图在深度通道上进行拼接，即将解码网络中的各卷积模块输出的血管特征图与编码网络中该层次中密集连接块输出的血管特征图进行融合，得到融合的血管特征图。
S250、通过对融合的血管特征图进行卷积处理，得到血管分割图。
具体地，在解码网络中各层次中，利用该层次中的各卷积模块对融合的血管特征图进行卷积运算，重复以上步骤直至解码网络中第一层次的最后一个卷积模块，通过该最后一个卷积模块得到血管分割图。
上述视网膜血管分割方法中，通过将待分割血管图像输入至对称网络；对称网络包括编码网络和解码网络，编码网络与解码网络连接成对称结构，编码网络包括若干个依次连接的密集连接块；通过编码网络中的各个密集连接块对待分割血管图像进行特征提取，得到对应的血管特征图，并输入至解码网络；解码网络包括若干个层次，各个层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；通过解码网络中的各卷积模块对编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；通过各模块之间的跳转连接关系，将解码网络中的各卷积模块输出的血管特征图与编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；通过对融合的血管特征图进行卷积处理，得到血管分割图。本实施例中的技术方案能够高效地捕获血管的细粒度细节，提升血管精细部位分割结果准确性。
在一个实施例中，编码网络还包括一个卷积块，卷积块之后依次连接各密集连接块。如图3所示，通过编码网络中的各个密集连接块对待分割血管图像进行特征提取，得到对应的血管特征图，包括：
S310、通过编码网络中的卷积块对待分割血管图像进行卷积处理，得到对应的中间血管特征图；
S320、依次通过编码网络中的各个密集连接块对卷积块输出的中间血管特征图进行卷积处理，得到对应的血管特征图。
具体地，编码网络包括一个卷积块，编码网络中的各密集连接块依次连接在卷积块之后，可以理解的是，本实施例中的卷积块可以采用与解码网络中相同的卷积模块。将待分割血管图像输入至编码网络中的卷积块，通过该卷积块对待分割血管图像进行卷积处理，得到对应的中间血管特征图。将该卷积块输出的中间血管特征图进行下采样，将下采样后的中间血管特征图输入至与该卷积块连接的密集连接块，利用该密集连接块对该下采样后的中间血管特征图进行卷积处理，依次类推，直至编码网络中的最后一个密集连接块，通过最后一个密集连接块输出最低分辨率的血管特征图。
本实施例中，通过编码网络中的卷积块对待分割血管图像进行卷积处理，得到对应的中间血管特征图；依次通过编码网络中的各个密集连接块对卷积块输出的中间血管特征图进行卷积处理，得到对应的血管特征图，逐层提取具有高度表达力的特征。
在一个实施例中，密集连接块包括若干层的卷积层，示例性地，本实施例中的卷积层可以执行一个1*1的卷积和一个3*3的卷积两个操作。如图4a所示，通过编码网络中的各个密集连接块对卷积块输出的中间血管特征图进行卷积处理，包括：
S410、将卷积块输出的中间血管特征图输入密集连接块；
S420、针对任一个密集连接块中的各卷积层，将当前卷积层之前的各卷积层输出的中间血管特征图在深度通道上进行拼接，得到拼接特征图；
S430、将拼接特征图输入至当前卷积层，通过当前卷积层对拼接特征图进行卷积处理。
其中，编码网络可以使用密集连接块与下采样交替使用的结构。示例性的，下采样可以采用步幅为2的Pooling(池化)操作，则编码网络可以包括依次连接的卷积块(本实施例中的卷积块可以采用与解码网络中相同的卷积模块)、池化层、密集连接块、池化层、密集连接块。密集连接块包括若干层的卷积层，且每个密集连接块可以包括预设数量不等的卷积层，且各个密集连接块具有相似的结构。具体地，在编码网络中，卷积块输出的中间血管特征图经过下采样后，输入至密集连接块，密集连接块包括预设数量的卷积层，对下采样后的中间血管特征图进行卷积处理，且每次卷积后都使用批归一化函数和ReLU激活函数进行处理。针对任一个密集连接块中的各卷积层，将当前卷积层之前的各卷积层输出的中间血管特征图在深度通道上进行拼接，得到拼接特征图；将拼接特征图输入至当前卷积层，通过当前卷积层对拼接特征图进行卷积处理。进一步地，在下采样操作之前，也可以将用于下采样的池化层之前的各卷积层输出的中间血管特征图在深度通道上进行拼接后，将拼接后的中间血管特征图输入至池化层进行下采样操作。示例性地，如图4b所示，该密集连接块为一个6层的密集连接块，图4b中的Conv表示卷积操作。1*1、3*3表示卷积核的大小。卷积步幅可以设置为1，且每次卷积后使用批归一化函数和ReLU激活函数进行处理。
本实施例中，利用密集连接块中各卷积层之间的跳转连接，使得密集连接块内的每层的卷积层都会与其前面的卷积层在深度通道上拼接作为后续卷积层的输入，达到特征重用的目的，缓解了梯度消失的问题，加强了特征传播，并极大地减少了网络的参数数量。
在一个实施例中，如图5a所示，将解码网络中的各卷积模块输出的血管特征图与编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图，包括：
S510、针对解码网络中第一层次中的第一个卷积模块，对编码网络中当前层次中的卷积模块输出的血管特征图、下一层次密集连接块输出的血管特征图进行融合，得到融合的血管特征图。
具体地，在解码网络中，针对第一层次中的第一个卷积模块，对下一层次密集连接块输出的血管特征图进行上采样，将上采样后的血管特征图与当前层次上的当前卷积模块之前的卷积模块输出的血管特征图在深度通道上进行拼接，得到融合的血管特征图输入至该第一层次中的第一个卷积模块中。
S520、针对解码网络中除第一层次之外的其他层次中的第一个卷积模块，将当前层次密集连接块输出的血管特征图以及下一层次密集连接块输出的血管特征图进行融合，得到融合的血管特征图。
具体地，针对解码网络中除第一层次之外的当前层次上的第一个卷积模块，对下一层次密集连接块输出的血管特征图上采样处理之后，将上采样处理之后的血管特征图与编码网络中当前层次上的密集连接块输出的血管特征图在深度通道上进行拼接，得到融合的血管特征图输入至当前层次上的第一个卷积模块。从而实现将当前层次密集连接块输出的血管特征图以及下一层次密集连接块输出的血管特征图相拼接，并得到融合的血管特征图。
S530、针对解码网络中各层次中除第一个卷积模块之外的其他卷积模块，将当前层次密集连接块输出的血管特征图、当前层次中当前卷积模块之前的各卷积模块输出的血管特征图以及下一层次上的当前卷积模块之前的卷积模块输出的血管特征图进行融合，得到融合的血管特征图。
具体地，解码网络中各层次中具有多个卷积模块，针对除第一个之外的其他卷积模块，对下一层次上的当前卷积模块之前的卷积模块输出的血管特征图进行上采样操作，上采样后的血管特征图与当前层次上密集连接块输出的血管特征图、当前层次上当前卷积模块之前的各卷积模块输出的血管特征图在深度通道上进行拼接，得到融合后的血管特征图输入当前卷积模块。因此，将当前层次密集连接块输出的血管特征图、当前层次上的当前卷积模块之前的各卷积模块输出的血管特征图以及下一层次上的当前卷积模块之前的卷积模块输出的血管特征图进行拼接，得到融合的血管特征图；
通过对融合的血管特征图进行卷积处理，得到血管分割图，包括：
S540、将融合的血管特征图输入至解码网络中当前层次上的当前卷积模块；
S550、依次类推，通过解码网络中的最后一个卷积模块对融合的血管特征图进行卷积处理，得到血管分割图。
具体地，将融合的血管特征图输入至解码网络中当前层次上的当前卷积模块，经过卷积处理后输出至当前层次上的下一个卷积模块。重复执行上述对所述融合的血管特征图进行卷积处理的步骤，直至所述解码网络中的最后一个卷积模块，通过解码网络中的最后一个卷积模块对融合的血管特征图进行卷积处理，输出血管分割图。
示例性，如图5b所示，解码网络采用上采样、密集跳转连接、卷积操作结合使用的结构。上采样可以采用步幅为2的反卷积操作逐层扩大特征图的分辨率达到恢复输入图像分辨率的目的。将解码网络中各个卷积模块的输入记为xi,j；则可以通过以下公式表示各个卷积模块的输入：
其中，H(.)表示卷积和激活运算，u(.)表示上采样层的输出，[.]表示特征图在深度通道上相拼接。j＝1的模块(即密集连接块)仅接收来自编码路径中前一模块的输出经过下采样后作为输入。j>1的模块(即除卷积模块1-1之外的所有卷积模块)接受其他j个模块的输出作为输入，其中j-1个输入来自于该模块之前的相同分辨率的j-1个模块的输出(即虚线箭头表示的跳转连接)，另外一个来自于较低分辨率模块(密集连接模块或者卷积模块)经过上采样后的输出。这j个模块的输出在深度通道上进行拼接作为当前模块的输入，然后进行两次卷积和批归一化、激活运算(即卷积模块中所表示的Conv和BN(BatchNorm)、ReLU，Conv下方的数字表示卷积运算的输出通道数)，然后继续进行上采样操作得到输出作为后续模块的输入。
对于卷积神经网络来说，网络的前几层感受野比较小，所提取的特征只和局部相关；而网络最后几层的感受野比较大，所提取的是一些更抽象化的全局特征。本实施例中，通过使用密集跳转连接的方法将浅层局部特征的内容逐步丰富起来。这样，进行连接的特征图就具有更高程度的语义相似性，使整个网络的学习难度大大降低，从而更高效地捕获血管的细粒度细节，解决了传统技术中直接跳转连接将具有较大语义差异的浅层局部特征和深层全局特征相拼接，网络学习难度大的技术问题。
在一个实施例中，通过对融合的血管特征图进行卷积处理，得到血管分割图，包括：通过对融合的血管特征图进行卷积处理，得到预测概率图；根据预设阈值对预测概率图进行二值化处理，并根据二值化处理的结果，生成血管分割图。
具体地，通过对融合的血管特征图进行卷积处理，得到预测概率图，预测概率图中各元素表示对应位置为血管的概率。将预测概率图中各元素的数值与预设阈值进行比较，以对预测概率图进行二值化处理。比如，若预测概率图中元素的数值大于预设阈值，可以记为255，若预测概率矩阵中元素的数值小于预设阈值，可以记为0，从而根据二值化处理的结果，生成血管分割图。
在一个实施例中，如图6所示，对称网络的训练方式，包括：
S610、构建训练样本集。
其中，训练样本集包括若干样本血管图像，样本血管图像具有对应的血管分割标签。具体地，利用若干样本血管图像以及对应的血管分割标签构建训练样本集。
S620、通过训练样本集对对称网络进行训练，根据预测概率图以及血管分割标签计算模型损失值，并反向传播优化对称网络的参数。
具体地，将训练样本集中样本血管图像输入至对称网络进行预测，根据预测概率图以及血管分割标签计算模型损失值，并反向传播优化对称网络的参数。重复以上步骤，利用训练样本集中大量的样本血管图像对模型进行迭代训练，直至满足停止训练的条件，得到训练后的网络模型。
进一步地，根据预测概率图以及血管分割标签计算模型损失值，包括：通过预测概率图以及血管分割标签计算交叉熵损失值和Dice损失值；获取交叉熵损失值与预设的权重系数之间的乘积，将乘积与Dice损失值之和确定为模型损失值。
示例性地，可以使用Keras(由Python编写的开源人工神经网络库)深度学习框架搭建网络模型和进行网络训练。在训练的过程中，构建交叉熵损失和Dice损失相组合的损失函数，使网络更侧重于血管的分割正确性，减少背景像素点对损失函数的贡献，具体所构建的损失函数的表达式如下：
L＝aLcrosse_entropy+Ldice
其中，a为交叉熵损失函数的权重系数，Lcross_entropy表示交叉熵损失函数，Ldics表示Dice损失函数，p表示预测概率图，y代表标签，Ldics中*表示预测概率图中各元素值与标签中对应的像素点数值相乘。可以看出，Dice损失函数用于计算目标像素点的损失，本实施例中使用交叉熵损失和Dice损失相组合的损失函数，示例性地，交叉熵损失函数的权重系数为0.5，因此减少了背景像素点对损失函数的贡献，使网络学习更侧重于使血管分割精确的模型权重系数。
在一个实施例中，如图7所示，构建训练样本集，包括以下步骤：
S710、获取若干张原始图像以及原始图像对应的专家分割图像；
S720、对每张原始图像进行裁剪和灰度处理，得到若干张对应的灰度图像；
S730、按照血管分割模型的输入尺寸，从每张灰度图像中随机提取若干张图像块，并从专家分割图像中提取相对应的图像块，得到若干张对应的样本血管图像和血管分割标签；
S740、利用若干张样本血管图像以及血管分割标签构建训练样本集。
其中，本实施例中的原始图像为原始眼底图像。本实施例中所使用的原始图像是DRIVE(Digital Retinal Image for Vessel Extraction)公开数据集，该数据集有40张原始的眼底图像，从中选择预设数量的图像构建训练集(比如，其中训练集和测试集各占20张)，该数据集中的每张图像都对应一张专家分割图像。所述专家分割图像由专家对血管进行分割而得到。具体地，原始图像为眼底照相机拍摄的彩色图像，对原始图像进行一些处理，使血管目标与背景的区分度更高，便于后续血管的分割。首先，对原始图像进行裁剪，裁剪掉图像四周的黑边，减少无用信息的干扰。然后，将三通道的彩色图像转化为单通道的灰度图像。由于原图像的尺寸较大，需要将原始图像缩小尺寸以适合输入网络，因此，按照血管分割模型的输入尺寸，从每张灰度图像中随机提取若干张图像块，并从专家分割标签图像中提取相对应的图像块，得到若干张对应的样本血管图像和血管分割标签。最后，利用若干张样本血管图像以及血管分割标签构建训练样本集。
示例性地，设定符合网络输入尺寸的提取图像块的大小以及每张图像提取的块的数量，在原始图像上随机提取连续的图像块，共提取20000个图像块。为了使训练样本集中样本血管图像与血管分割标签一一对应，对专家分割图像也进行相同的处理。由于提取的随机性，提取的图像块可以出现在原始图像的任意位置，不仅可以扩增样本的数量，缓解过拟合问题，又避免了图像在缩小尺寸的过程中细节信息的丢失。
在一个实施例中，本申请提供一种视网膜血管分割方法，如图8所示，该方法包括以下步骤：
S802、获取若干张原始图像以及原始图像对应的专家分割图像；
S804、对每张原始图像进行裁剪和灰度处理，得到若干张对应的灰度图像；
S806、按照血管分割模型的输入尺寸，从每张灰度图像中随机提取若干张图像块，并从专家分割图像中提取相对应的图像块，得到若干张对应的样本血管图像和血管分割标签；
S808、利用若干张样本血管图像以及血管分割标签构建训练样本集。
S810、通过训练样本集对对称网络进行训练，根据预测概率图以及血管分割标签计算模型损失值，并反向传播优化对称网络的参数。
其中，对称网络包括编码网络和解码网络，编码网络与解码网络连接成对称结构，编码网络包括一个卷积块，卷积块之后依次连接各密集连接块。密集连接块包括若干层的卷积层。解码网络包括若干个层次，各个层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；
通过预测概率图以及血管分割标签计算交叉熵损失值和Dice损失值；获取交叉熵损失值与预设的权重系数之间的乘积，将乘积与Dice损失值之和确定为模型损失值。
S812、将待分割血管图像输入至对称网络；
S814、通过编码网络中的卷积块对待分割血管图像进行卷积处理，得到对应的中间血管特征图；
S816、将卷积块输出的中间血管特征图输入密集连接块；
S818、针对任一个密集连接块中的各卷积层，将当前卷积层之前的各卷积层输出的中间血管特征图在深度通道上进行拼接，得到拼接特征图；
S820、将拼接特征图输入至当前卷积层，通过当前卷积层对拼接特征图进行卷积处理，得到对应的血管特征图。
S822、将解码网络中的各卷积模块输出的血管特征图与编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；
其中，针对解码网络中第一层次上的第一个卷积模块，对编码网络中下一层次上的密集连接块输出的血管特征图进行卷积处理，输出对应的血管特征图；针对解码网络中除第一层次之外的其他各层次上的第一个卷积模块，将当前层次密集连接块输出的血管特征图以及下一层次密集连接块输出的血管特征图进行融合，得到融合的血管特征图；针对解码网络中各层次中除第一个卷积模块之外的其他卷积模块，将当前层次密集连接块输出的血管特征图、当前层次上的当前卷积模块之前的各卷积模块输出的血管特征图以及下一层次上的当前卷积模块之前的卷积模块输出的血管特征图进行融合，得到融合的血管特征图。
S824、将融合的血管特征图输入至解码网络中当前层次上的当前卷积模块；
S826、依次类推，通过解码网络中的最后一个卷积模块对融合的血管特征图进行卷积处理，得到预测概率图；
S828、根据预设阈值对预测概率图进行二值化处理，并根据二值化处理的结果，生成血管分割图。
本实施例中，采用密集跳转连接的方式，将来自编码网络的浅层局部特征图的内容逐渐丰富，再与来自解码网络的相应语义丰富的特征图相组合，使模型可以更高效地捕获前景目标的细粒度细节。同时结合密集连接块的结构达到特征重用的目的，缓解了梯度消失的问题，加强了特征传播，并极大地减少了网络的参数数量。同时使用交叉熵损失与Dice损失相组合的损失函数增大血管像素点对损失函数的贡献，使网络更侧重于血管像素点的正确分割。这些技术相结合，取得了优越的分割结果，克服了传统技术分割精度低，在血管末梢部位分割不精确的技术问题。
在一个实施例中，本申请提供一种血管分割模型的构建方法，如图9a所示，该方法包括以下步骤：
S910、构建训练样本集；训练样本集包括若干样本血管图像，样本血管图像具有对应的血管分割标签；
S920、将样本血管图像以及血管分割标签输入至搭建的血管分割模型，其中，血管分割模型采用对称网络，对称网络包括编码网络和解码网络，编码网络与解码网络连接成对称结构，编码网络包括若干个依次连接的密集连接块；
S930、通过编码网络中的各个密集连接块对样本血管图像进行特征提取，得到对应的样本血管特征图，并输入至解码网络；解码网络包括若个层次，各个层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；
S940、通过解码网络中的各卷积模块对编码网络中的各个密集连接块输出的样本血管特征图进行特征提取，得到对应的样本血管特征图；
S950、将解码网络中的各卷积模块输出的样本血管特征图与编码网络中的各个密集连接块输出的样本血管特征图进行融合，得到融合的样本血管特征图；
S960、通过对融合的样本血管特征图进行卷积处理，得到预测概率图；
S970、根据预测概率图以及血管分割标签计算模型损失值，并反向传播优化血管分割模型的参数。
进一步地，在模型完成训练后，可以对模型进行测试和评估。在测试的过程中将原图的宽和高先用0填充为512的倍数，剪切为左上、右上、左下、右下四部分分别输入训练好的模型，得到四个预测结果，将这四部分预测结果按顺序相拼接并裁剪掉所填充部分就得到了最终的分割结果。采用四个测度评价分割结果，分别为dice系数、准确率(Accuracy)、敏感性(Sensitivity)、特异性(Specificity),计算公式分别如下：
其中，TP表示真阳性(血管预测为血管)像素点的个数，TN表示真阴性(背景预测为背景)像素点的个数，FP表示假阳性(背景预测为血管)像素点的个数，FN表示假阴性(血管预测为背景)像素点的个数。Dice系数是一个综合的评价指标，也是医学图像分割领域最常用的评价测度。将按照本方法所得到的DRIVE测试集的预测结果上传至DRIVE网站，得到了94.46％平均Dice得分。另外，平均准确率为99.04％，平均敏感性为94.15％，平均特异性为99.52％，都超过了现存技术所报道的结果，证明本申请是有效的。图9b、图9c和图9d分别为DRIVE测试集中一个样例、专家手动分割标签及本申请的血管分割结果。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种视网膜血管分割装置1000，包括：输入模块1010、第一特征提取模块1020、第二特征提取模块1030、特征图融合模块1040和融合特征处理模块1050，其中：
输入模块1010，用于将待分割血管图像输入至对称网络；所述对称网络包括编码网络和解码网络，所述编码网络与所述解码网络连接成对称结构，所述编码网络包括若干个依次连接的密集连接块；
第一特征提取模块1020，用于通过所述编码网络中的各个密集连接块对所述待分割血管图像进行特征提取，得到对应的血管特征图，并输入至所述解码网络；所述解码网络包括若干个层次，各个所述层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；
第二特征提取模块1030，用于通过所述解码网络中的各卷积模块对所述编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；
特征图融合模块1040，用于通过各所述模块之间的跳转连接关系，将所述解码网络中的各卷积模块输出的血管特征图与所述编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；
融合特征处理模块1050，用于通过对所述融合的血管特征图进行卷积处理，得到血管分割图。
在一个实施例中，所述编码网络还包括一个卷积块，所述卷积块之后依次连接各所述密集连接块；第一特征提取模块1020，还用于通过所述编码网络中的卷积块对所述待分割血管图像进行卷积处理，得到对应的中间血管特征图；依次通过所述编码网络中的各个所述密集连接块对所述卷积块输出的中间血管特征图进行卷积处理，得到对应的血管特征图。
在一个实施例中，所述密集连接块包括若干层的卷积层；第一特征提取模块1020，还用于将所述卷积块输出的中间血管特征图输入所述密集连接块；针对任一个所述密集连接块中的各卷积层，将当前卷积层之前的各卷积层输出的中间血管特征图在深度通道上进行拼接，得到拼接特征图；将所述拼接特征图输入至所述当前卷积层，通过所述当前卷积层对所述拼接特征图进行卷积处理。
在一个实施例中，第二特征提取模块1030，还用于针对所述解码网络中第一层次上的第一个卷积模块，对所述编码网络中下一层次上的密集连接块输出的血管特征图进行卷积处理，输出对应的血管特征图；针对所述解码网络中除第一层次之外的其他各层次上的第一个卷积模块，将当前层次的密集连接块输出的血管特征图以及下一层次的密集连接块输出的血管特征图进行融合，得到融合的血管特征图；针对所述解码网络中各层次上的除第一个卷积模块之外的其他卷积模块，将当前层次上密集连接块输出的血管特征图、当前层次上的当前卷积模块之前的各卷积模块输出的血管特征图以及下一层次上的当前卷积模块之前的卷积模块输出的血管特征图进行融合，得到融合的血管特征图；
融合特征处理模块1050，还用于将所述融合的血管特征图输入至所述解码网络中当前层次中的当前卷积模块；依次类推，通过所述解码网络中的最后一个卷积模块对融合的血管特征图进行卷积处理，得到血管分割图。
在一个实施例中，融合特征处理模块1050，还用于通过对所述融合的血管特征图进行卷积处理，得到预测概率图；根据预设阈值对所述预测概率图进行二值化处理，并根据二值化处理的结果，生成所述血管分割图。
在一个实施例中，该装置还包括网络训练模块，该网络训练模块包括样本集构建单元和训练单元；其中：
样本集构建单元，用于构建训练样本集；所述训练样本集包括若干样本血管图像，所述样本血管图像具有对应的血管分割标签；
训练单元，用于通过所述训练样本集对所述对称网络进行训练，根据所述预测概率图以及所述血管分割标签计算模型损失值，并反向传播优化所述对称网络的参数。
在一个实施例中，样本集构建单元，还用于获取若干张原始图像以及所述原始图像对应的专家分割血管标签图像；对每张所述原始图像进行裁剪和灰度处理，得到若干张对应的灰度图像；按照所述血管分割模型的输入尺寸，从每张所述灰度图像中随机提取若干张图像块，并从所述专家分割标签图像中提取相对应的图像块，得到若干张对应的样本血管图像和血管分割标签；利用若干张所述样本血管图像以及所述血管分割标签构建所述训练样本集。
在一个实施例中，训练单元，还用于通过所述预测概率图以及所述血管分割标签计算交叉熵损失值和Dice损失值；获取所述交叉熵损失值与预设的权重系数之间的乘积，将所述乘积与所述Dice损失值之和确定为所述模型损失值。
关于视网膜血管分割装置的具体限定可以参见上文中对于视网膜血管分割方法的限定，在此不再赘述。上述视网膜血管分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视网膜血管分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的视网膜血管分割方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的视网膜血管分割方法的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的血管分割模型的构建方法的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的血管分割模型的构建方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种视网膜血管分割方法，其特征在于，所述方法包括：
将待分割血管图像输入至对称网络；所述对称网络包括编码网络和解码网络，所述编码网络与所述解码网络连接成对称结构，所述编码网络包括若干个依次连接的密集连接块；
通过所述编码网络中的各个密集连接块对所述待分割血管图像进行特征提取，得到对应的血管特征图，并输入至所述解码网络；所述解码网络包括若干个层次，各个所述层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接，所述编码网络还包括一个卷积块；
通过所述解码网络中的各卷积模块对所述编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；
通过各所述卷积模块之间的跳转连接关系，将所述解码网络中的各卷积模块输出的血管特征图与所述编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；
通过对所述融合的血管特征图进行卷积处理，得到血管分割图；
所述密集连接块包括若干层的卷积层；所述通过所述编码网络中的各个所述密集连接块对所述卷积块输出的中间血管特征图进行卷积处理，包括：
将所述卷积块输出的中间血管特征图输入所述密集连接块；
针对任一个所述密集连接块中的各卷积层，将当前卷积层之前的各卷积层输出的中间血管特征图在深度通道上进行拼接，得到拼接特征图；
将所述拼接特征图输入至所述当前卷积层，通过所述当前卷积层对所述拼接特征图进行卷积处理。
2.根据权利要求1所述的方法，其特征在于，所述卷积块之后依次连接各所述密集连接块；所述通过所述编码网络中的各个密集连接块对所述待分割血管图像进行特征提取，得到对应的血管特征图，包括：
通过所述编码网络中的卷积块对所述待分割血管图像进行卷积处理，得到对应的中间血管特征图；
依次通过所述编码网络中的各个所述密集连接块对所述卷积块输出的中间血管特征图进行卷积处理，得到对应的血管特征图。
3.根据权利要求1至2任一项所述的方法，其特征在于，所述将所述解码网络中的各卷积模块输出的血管特征图与所述编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图，包括：
针对所述解码网络中第一层次上的第一个卷积模块，对所述编码网络中当前层次上的当前卷积模块之前的卷积块输出的血管特征图、下一层次密集连接块的输出经上采样后的血管特征图进行融合，得到融合的血管特征图；
针对所述解码网络中除第一层次之外的其他各层次上的第一个卷积模块，将当前层次密集连接块输出的血管特征图以及下一层次密集连接块的输出经上采样后的血管特征图进行融合，得到融合的血管特征图；
针对所述解码网络中各层次上的除第一个之外的其他卷积模块，将当前层次密集连接块输出的血管特征图、当前层次上的当前卷积模块之前的各卷积模块输出的血管特征图以及下一层次上的当前卷积模块之前的卷积模块的输出经上采样后的血管特征图进行融合，得到融合的血管特征图；
所述通过对所述融合的血管特征图进行卷积处理，得到血管分割图，包括：
将所述融合的血管特征图输入至所述解码网络中当前层次上的当前卷积模块；
重复执行上述对所述融合的血管特征图进行卷积处理的步骤，直至所述解码网络中的最后一个卷积模块，通过所述解码网络中的最后一个卷积模块对融合的血管特征图进行卷积处理，得到血管分割图。
4.根据权利要求1所述的方法，其特征在于，所述通过对所述融合的血管特征图进行卷积处理，得到血管分割图，包括：
通过对所述融合的血管特征图进行卷积处理，得到预测概率图；
根据预设阈值对所述预测概率图进行二值化处理，并根据二值化处理的结果，生成所述血管分割图。
5.根据权利要求4所述的方法，其特征在于，所述对称网络的训练方式，包括：
构建训练样本集；所述训练样本集包括若干样本血管图像，所述样本血管图像具有对应的血管分割标签；
通过所述训练样本集对所述对称网络进行训练，根据所述预测概率图以及所述血管分割标签计算模型损失值，并反向传播优化所述对称网络的参数，所述模型损失值包括交叉熵损失值和Dice损失值。
6.根据权利要求5所述的方法，其特征在于，所述构建训练样本集，包括：
获取若干张原始图像以及所述原始图像对应的专家分割图像，所述专家分割图像由专家对血管进行分割而得到；
对每张所述原始图像进行裁剪和灰度处理，得到若干张对应的灰度图像；
按照血管分割模型的输入尺寸，从每张所述灰度图像中随机裁剪若干张图像块，并从所述专家分割图像中提取相对应的图像块，得到若干张对应的样本血管图像和血管分割标签；
利用若干张所述样本血管图像以及所述血管分割标签构建所述训练样本集。
7.根据权利要求5所述的方法，其特征在于，所述根据所述预测概率图以及所述血管分割标签计算模型损失值，包括：
通过所述预测概率图以及所述血管分割标签计算交叉熵损失值和Dice损失值；
获取所述交叉熵损失值与预设的权重系数之间的乘积，将所述乘积与所述Dice损失值之和确定为所述模型损失值。
8.一种血管分割模型的构建方法，其特征在于，所述方法包括：
构建训练样本集；所述训练样本集包括若干样本血管图像，所述样本血管图像具有对应的血管分割标签；
将所述样本血管图像以及所述血管分割标签输入至搭建的血管分割模型，其中，所述血管分割模型采用对称网络，所述对称网络包括编码网络和解码网络，所述编码网络与所述解码网络连接成对称结构，所述编码网络包括若干个依次连接的密集连接块；
通过所述编码网络中的各个密集连接块对所述样本血管图像进行特征提取，得到对应的样本血管特征图，并输入至所述解码网络；所述解码网络包括若干个层次，各个所述层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接；
通过所述解码网络中的各卷积模块对所述编码网络中的各个密集连接块输出的样本血管特征图进行特征提取，得到对应的样本血管特征图；
将所述解码网络中的各卷积模块输出的样本血管特征图与所述编码网络中的各个密集连接块输出的样本血管特征图进行融合，得到融合的样本血管特征图；
通过对所述融合的样本血管特征图进行卷积处理，得到预测概率图；
根据所述预测概率图以及所述血管分割标签计算模型损失值，并反向传播优化所述血管分割模型的参数，所述模型损失值包括交叉熵损失值和Dice损失值。
9.一种视网膜血管分割装置，其特征在于，所述装置包括：
输入模块，用于将待分割血管图像输入至对称网络；所述对称网络包括编码网络和解码网络，所述编码网络与所述解码网络连接成对称结构，所述编码网络包括若干个依次连接的密集连接块；
第一特征提取模块，用于通过所述编码网络中的各个密集连接块对所述待分割血管图像进行特征提取，得到对应的血管特征图，并输入至所述解码网络；所述解码网络包括若干个层次，各个所述层次包括若干个依次连接的卷积模块，且除第一个之外的其它卷积模块与之前的每个卷积模块均具有跳转连接，所述编码网络还包括一个卷积块；
第二特征提取模块，用于通过所述解码网络中的各卷积模块对所述编码网络中的各个密集连接块输出的血管特征图进行特征提取，得到对应的血管特征图；
特征图融合模块，用于通过各所述卷积模块之间的跳转连接关系，将所述解码网络中的各卷积模块输出的血管特征图与所述编码网络中的各个密集连接块输出的血管特征图进行融合，得到融合的血管特征图；
融合特征处理模块，用于通过对所述融合的血管特征图进行卷积处理，得到血管分割图；
所述密集连接块包括若干层的卷积层；第一特征提取模块1020，还用于将所述卷积块输出的中间血管特征图输入所述密集连接块；针对任一个所述密集连接块中的各卷积层，将当前卷积层之前的各卷积层输出的中间血管特征图在深度通道上进行拼接，得到拼接特征图；将所述拼接特征图输入至所述当前卷积层，通过所述当前卷积层对所述拼接特征图进行卷积处理。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202010839098.5A 2020-08-19 2020-08-19 视网膜血管分割方法、装置及模型构建方法 Active CN112053363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010839098.5A CN112053363B (zh) 2020-08-19 2020-08-19 视网膜血管分割方法、装置及模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010839098.5A CN112053363B (zh) 2020-08-19 2020-08-19 视网膜血管分割方法、装置及模型构建方法

Publications (2)

Publication Number Publication Date
CN112053363A CN112053363A (zh) 2020-12-08
CN112053363B true CN112053363B (zh) 2023-12-15

Family

ID=73599481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010839098.5A Active CN112053363B (zh) 2020-08-19 2020-08-19 视网膜血管分割方法、装置及模型构建方法

Country Status (1)

Country Link
CN (1) CN112053363B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686900B (zh) * 2020-12-31 2024-06-18 北京医智影科技有限公司 用于图像自动处理的方法、装置、电子设备和存储介质
CN113269756B (zh) * 2021-05-28 2024-02-27 长春大学 基于多尺度匹配滤波与粒子群优化视网膜血管分割方法、装置
CN113554665A (zh) * 2021-07-07 2021-10-26 杭州深睿博联科技有限公司 一种血管分割方法及装置
CN113850834B (zh) * 2021-09-03 2024-09-20 杭州迪英加科技有限公司 一种肿瘤区域微血管分割方法、装置
CN116630334B (zh) * 2023-04-23 2023-12-08 中国科学院自动化研究所 用于多分段血管实时自动分割方法、装置、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109345538A (zh) * 2018-08-30 2019-02-15 华南理工大学 一种基于卷积神经网络的视网膜血管分割方法
CN110097090A (zh) * 2019-04-10 2019-08-06 东南大学 一种基于多尺度特征融合的图像细粒度识别方法
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110971837A (zh) * 2018-09-30 2020-04-07 Tcl集团股份有限公司 基于ConvNets的暗光图像处理方法及终端设备
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
CN111127447A (zh) * 2019-12-26 2020-05-08 河南工业大学 基于生成式对抗网络的血管分割网络及方法
WO2020118618A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN111311629A (zh) * 2020-02-21 2020-06-19 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
WO2020138128A1 (ja) * 2018-12-26 2020-07-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN111462133A (zh) * 2020-03-31 2020-07-28 厦门亿联网络技术股份有限公司 一种实时视频人像分割的系统、方法、存储介质和设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109345538A (zh) * 2018-08-30 2019-02-15 华南理工大学 一种基于卷积神经网络的视网膜血管分割方法
CN110971837A (zh) * 2018-09-30 2020-04-07 Tcl集团股份有限公司 基于ConvNets的暗光图像处理方法及终端设备
WO2020093042A1 (en) * 2018-11-02 2020-05-07 Deep Lens, Inc. Neural networks for biomedical image analysis
WO2020118618A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
WO2020138128A1 (ja) * 2018-12-26 2020-07-02 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110097090A (zh) * 2019-04-10 2019-08-06 东南大学 一种基于多尺度特征融合的图像细粒度识别方法
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN111127447A (zh) * 2019-12-26 2020-05-08 河南工业大学 基于生成式对抗网络的血管分割网络及方法
CN111311629A (zh) * 2020-02-21 2020-06-19 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN111462133A (zh) * 2020-03-31 2020-07-28 厦门亿联网络技术股份有限公司 一种实时视频人像分割的系统、方法、存储介质和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
医学图像分析深度学习方法研究与挑战;田娟秀;刘国才;谷珊珊;鞠忠建;刘劲光;顾冬冬;;自动化学报(第03期);19-42 *
基于双注意力编码-解码器架构的视网膜血管分割;李天培;陈黎;;计算机科学(第05期);174-179 *
基于改进U-Net视网膜血管图像分割算法;李大湘;张振;;光学学报(第10期);64-72 *

Also Published As

Publication number Publication date
CN112053363A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112053363B (zh) 视网膜血管分割方法、装置及模型构建方法
US10726244B2 (en) Method and apparatus detecting a target
CN111368788B (zh) 图像识别模型的训练方法、装置及电子设备
WO2021164534A1 (zh) 图像处理方法、装置、设备及存储介质
CN108805131B (zh) 文本行检测方法、装置及系统
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
CN110163876B (zh) 基于多特征融合的左心室分割方法、系统、设备及介质
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Xu et al. Lightweight semantic segmentation of complex structural damage recognition for actual bridges
US20200012887A1 (en) Attribute recognition apparatus and method, and storage medium
CN112070781A (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
US11830187B2 (en) Automatic condition diagnosis using a segmentation-guided framework
Gonzalez-Castro et al. Reliability of an automatic classifier for brain enlarged perivascular spaces burden and comparison with human performance
CN113065551B (zh) 利用深度神经网络模型执行图像分割的方法
CN112132265A (zh) 模型训练方法、杯盘比确定方法、装置、设备及存储介质
JP2019153293A (ja) 人工ニューラルネットワークを用いたｏｃｒシステムのための、線認識最大−最小プーリングを用いたテキスト画像の処理
CN111445457A (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
WO2023280229A1 (zh) 图像处理方法、电子设备及存储介质
KR20230128182A (ko) 인공지능 기반 어깨 회전근 개 근육 지방 변성 질환 판독 방법, 장치 및 프로그램
CN114067099B (zh) 学生图像识别网络的训练方法及图像识别方法
CN114926479A (zh) 图像处理方法及装置
US11875898B2 (en) Automatic condition diagnosis using an attention-guided framework
Ding et al. RCAR-UNet: Retinal vessel segmentation network algorithm via novel rough attention mechanism
US11727592B2 (en) Detection apparatus and method and image processing apparatus and system, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant