CN113205537B - 基于深度学习的血管图像分割方法、装置、设备及介质 - Google Patents

基于深度学习的血管图像分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN113205537B
CN113205537B CN202110534264.5A CN202110534264A CN113205537B CN 113205537 B CN113205537 B CN 113205537B CN 202110534264 A CN202110534264 A CN 202110534264A CN 113205537 B CN113205537 B CN 113205537B
Authority
CN
China
Prior art keywords
blood vessel
image
segmentation
pixel point
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110534264.5A
Other languages
English (en)
Other versions
CN113205537A (zh
Inventor
彭凌西
肖鸿鑫
李动员
张一梵
彭绍湖
董志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110534264.5A priority Critical patent/CN113205537B/zh
Publication of CN113205537A publication Critical patent/CN113205537A/zh
Application granted granted Critical
Publication of CN113205537B publication Critical patent/CN113205537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的血管图像分割方法、装置、设备及介质,方法包括:获取血管分割数据集;对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;对所述待处理血管图像进行预处理,得到训练数据集;根据所述训练数据集,通过UNET网络构建血管分割模型;根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象。本发明能够提高血管边缘分割的清晰程度以及降低细血管漏检率,可广泛应用于人工智能技术领域。

Description

基于深度学习的血管图像分割方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域,尤其是基于深度学习的血管图像分割方法、装置、设备及介质。
背景技术
血管的形态与健康状况常与人体其他部位的健康状况以及一些潜在的疾病有关。如糖尿病等疾病会引起视网膜病变导致眼底血管出现形态异常等病理现象;心血管疾病(CVD)是全球主要的死亡原因。因此,血管图像分割技术在生物医学图像处理领域是已经成为一个十分关键且极具价值和挑战的研究方向。
然而,目前用于临床的血管图像大多是以人工分割为主,对操作人员的工作经验,操作技术等要求较高,在操作过程中容易出现劳动强度大,效率低等问题。相比之下,基于人工智能技术的血管自动分割方法则具有高效率、高精度、低成本等优点。
针对医学血管图像领域,国内外学者已经相继提出了各种血管分割算法。在深度学习研究热潮兴起前,血管分割算法以非监督学习为主,如匹配滤波器算法、形态学处理算法、血管追踪算法、基于模型的方法等,对简单的血管图像效果比较好,对复杂度较高的血管图像的实际效果并不理想。相比之下,基于深度学习的血管分割方法比其他非监督算法具有更高的精度。
近年来,随着深度学习研究热潮的兴起,一些医学研宄人员将深度神经网络引入到眼底血管分割任务中,提升了眼底血管分割的效果,其中,UNET算法已经广泛用于生物图像分割,如视网膜血管分割,肺部CT图像,冠状动脉血管图像等,并取得了良好的效果。该算法建立在全卷积网络(FCN)上,由一个编码器和一个解码器组成,网络的形状类似于“U”形,因此称为“UNET”。
现有的许多血管分割算法存在着细血管漏检和血管边缘分割模糊等问题。
发明内容
有鉴于此,本发明实施例提供基于深度学习的血管图像分割方法、装置、设备及介质,以提高血管边缘分割的清晰程度以及降低细血管漏检率。
本发明的第一方面提供了基于深度学习的血管图像分割方法,包括:
获取血管分割数据集;
对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;
对所述待处理血管图像进行预处理,得到训练数据集;
根据所述训练数据集,通过UNET网络构建血管分割模型;
根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象;
其中,所述UNET网络包括编码器和解码器,所述编码器采用VGG16编码器;所述VGG16 编码器包括反卷积模块,所述反卷积模块用于实现所述UNET网络的上采样步骤;所述解码器采用空间注意力机制和通道注意力机制实现所述UNET网络的解码步骤。
可选地,所述对所述血管分割数据集进行数据扩充处理,得到待处理血管图像,包括:
对所述血管分割数据集中的图像数据进行镜像操作和/或旋转操作,得到所述待处理血管图像;
其中,所述镜像操作包括一次水平镜像操作。
可选地,所述对所述待处理血管图像进行预处理,得到训练数据集,包括以下至少之一:
对所述待处理血管图像进行白化处理,去除所述待处理血管图像中外部环境亮度影响因素以及物体反射影响因素;
对所述待处理血管图像进行自适应直方图均衡化处理,提高所述待处理血管图像中的对比度;
对所述待处理血管图像进行伽马变换处理,使处理后的血管图像的灰度值与处理前图像的灰度值之间呈现非线性指数关系;
对所述待处理血管图像进行尺度调整。
可选地,所述UNET网络的编码器包括五层结构,其中,编码器的第一层结构包括两个卷积层和一个池化层,编码器的第二层结构包括两个卷积层和一个池化层,编码器的第三层结构包括三个卷积层和一个池化层,编码器的第四层结构包括三个卷积层和一个池化层,编码器的第五层结构包括三个卷积层和一个池化层;
所述编码器的第一层结构用于进行批量归一化处理和Relu激活处理,得到最大池化结果。
可选地,所述UNET网络的解码器包括五层结构,其中,解码器的第一层结构包括一个卷积层和一个反卷积单元,所述反卷积单元的输出内容输入至通道注意力机制和空间注意力机制中;
所述反卷积单元包括一个卷积层和一个反卷积层;
所述空间注意力机制用于接收来自跳跃连接的第一特征以及来自反卷积模块处理后的第二特征,将所述第一特征和所述第二特征进行卷积处理后得到的两个张量的元素相加,并对相加的结果再进行卷积,得到权重矩阵,最后将所述权重矩阵与所述第二特征相乘,得到目标特征;
所述通道注意力机制用于接收第一特征图,并对所述第一特征图进行全局平均池化处理得到目标通道,根据所述目标通道得到权重系数,将所述第一特征图与所述权重系数相乘得到目标特征图。
可选地,所述根据所述血管分割模型确定血管分割结果的评价结果,包括:
获取样本标注图像的目标对象的第一像素点,获取预测分割图像的目标对象的第二像素点;
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标;
获取预测分割图像中正样本预测为真的目标对象的第三像素点,获取预测分割图像中负样本预测为真的目标对象的第四像素点,获取正样本预测为假的目标对象的第五像素点;
根据所述第三像素点和所述第四像素点计算得到精密度评价指标;
根据所述第三像素点和所述第五像素点计算得到查全率评价指标;
根据所述精密度评价指标和所述查全率评价指标,计算得到均值评价指标。
本发明实施例的第二方面提供了一种基于深度学习的血管图像分割装置,包括:
第一模块,用于获取血管分割数据集;
第二模块,用于对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;
第三模块,用于对所述待处理血管图像进行预处理,得到训练数据集;
第四模块,用于根据所述训练数据集,通过UNET网络构建血管分割模型;
第五模块,用于根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象;
其中,所述UNET网络包括编码器和解码器,所述编码器采用VGG16编码器;所述VGG16 编码器包括反卷积模块,所述反卷积模块用于实现所述UNET网络的上采样步骤;所述解码器采用空间注意力机制和通道注意力机制实现所述UNET网络的解码步骤。
本发明实施例的第三方面提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
本发明的实施例获取血管分割数据集;对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;对所述待处理血管图像进行预处理,得到训练数据集;根据所述训练数据集,通过UNET网络构建血管分割模型;根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象;其中,所述 UNET网络包括编码器和解码器,所述编码器采用VGG16编码器;所述VGG16编码器包括反卷积模块,所述反卷积模块用于实现所述UNET网络的上采样步骤;所述解码器采用空间注意力机制和通道注意力机制实现所述UNET网络的解码步骤。相较于现有技术,本发明通过数据增强环节来扩充数据集,保证了训练数据的多样性,防止在网络训练中过拟合现象的发生;本发明采用VGG16的编码器,并提出新型的反卷积模块应用于上采样部位,在解码器部分增加了空间注意力机制和通道注意力机制,能够提高血管边缘分割的清晰程度以及降低细血管漏检率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的整体步骤流程图;
图2为本发明中血管图像分割卷积网络的结构示意图;
图3是本发明中血管图像分割卷积网络中反卷积单元的结构示意图;
图4是本发明中空间注意力模块的结构示意图;
图5是本发明中通道注意力模块的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
针对现有技术存在的问题,本发明实施例提供了基于深度学习的血管图像分割方法,包括:
获取血管分割数据集;
对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;
对所述待处理血管图像进行预处理,得到训练数据集;
根据所述训练数据集,通过UNET网络构建血管分割模型;
根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象;
其中,所述UNET网络包括编码器和解码器,所述编码器采用VGG16编码器;所述VGG16 编码器包括反卷积模块,所述反卷积模块用于实现所述UNET网络的上采样步骤;所述解码器采用空间注意力机制和通道注意力机制实现所述UNET网络的解码步骤。
可选地,所述对所述血管分割数据集进行数据扩充处理,得到待处理血管图像,包括:
对所述血管分割数据集中的图像数据进行镜像操作和/或旋转操作,得到所述待处理血管图像;
其中,所述镜像操作包括一次水平镜像操作。
可选地,所述对所述待处理血管图像进行预处理,得到训练数据集,包括以下至少之一:
对所述待处理血管图像进行白化处理,去除所述待处理血管图像中外部环境亮度影响因素以及物体反射影响因素;
对所述待处理血管图像进行自适应直方图均衡化处理,提高所述待处理血管图像中的对比度;
对所述待处理血管图像进行伽马变换处理,使处理后的血管图像的灰度值与处理前图像的灰度值之间呈现非线性指数关系;
对所述待处理血管图像进行尺度调整。
可选地,所述UNET网络的编码器包括五层结构,其中,编码器的第一层结构包括两个卷积层和一个池化层,编码器的第二层结构包括两个卷积层和一个池化层,编码器的第三层结构包括三个卷积层和一个池化层,编码器的第四层结构包括三个卷积层和一个池化层,编码器的第五层结构包括三个卷积层和一个池化层;
所述编码器的第一层结构用于进行批量归一化处理和Relu激活处理,得到最大池化结果。
可选地,所述UNET网络的解码器包括五层结构,其中,解码器的第一层结构包括一个卷积层和一个反卷积单元,所述反卷积单元的输出内容输入至通道注意力机制和空间注意力机制中;
所述反卷积单元包括一个卷积层和一个反卷积层;
所述空间注意力机制用于接收来自跳跃连接的第一特征以及来自反卷积模块处理后的第二特征,将所述第一特征和所述第二特征进行卷积处理后得到的两个张量的元素相加,并对相加的结果再进行卷积,得到权重矩阵,最后将所述权重矩阵与所述第二特征相乘,得到目标特征;
所述通道注意力机制用于接收第一特征图,并对所述第一特征图进行全局平均池化处理得到目标通道,根据所述目标通道得到权重系数,将所述第一特征图与所述权重系数相乘得到目标特征图。
可选地,所述根据所述血管分割模型确定血管分割结果的评价结果,包括:
获取样本标注图像的目标对象的第一像素点,获取预测分割图像的目标对象的第二像素点;
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标;
获取预测分割图像中正样本预测为真的目标对象的第三像素点,获取预测分割图像中负样本预测为真的目标对象的第四像素点,获取正样本预测为假的目标对象的第五像素点;
根据所述第三像素点和所述第四像素点计算得到精密度评价指标;
根据所述第三像素点和所述第五像素点计算得到查全率评价指标;
根据所述精密度评价指标和所述查全率评价指标,计算得到均值评价指标。
本发明实施例还提供了一种基于深度学习的血管图像分割装置,包括:
第一模块,用于获取血管分割数据集;
第二模块,用于对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;
第三模块,用于对所述待处理血管图像进行预处理,得到训练数据集;
第四模块,用于根据所述训练数据集,通过UNET网络构建血管分割模型;
第五模块,用于根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象;
其中,所述UNET网络包括编码器和解码器,所述编码器采用VGG16编码器;所述VGG16 编码器包括反卷积模块,所述反卷积模块用于实现所述UNET网络的上采样步骤;所述解码器采用空间注意力机制和通道注意力机制实现所述UNET网络的解码步骤。
本发明实施例还提供了一种电子设备,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
下面结合说明书附图,对本发明的血管图像分割方法的实现过程进行详细描述:
图1为本发明提供的一种血管分割方法的流程示意图,具体参见图1所示,该方法可以包括如下步骤:
步骤S1:获得血管分割数据集;
步骤S2、对采集的图像进行数据扩充处理;我们对图像进行镜像操作和旋转操作来增加数据量,镜像操作只需要做一次水平镜像即可,配合上旋转操作就可以得到尽可能多又不重复的样本图像,使得能够提供模型训练的样本数量大大增加。
步骤S3:对扩充处理后的血管图像进行预处理,将预处理后的图像调整为统一尺寸,获得尺寸调整后的图像,尺寸调整后的图像组成训练数据集;
上述步骤S3包括S3.1-S3.4:
步骤S3.1:对血管图像进行白化处理,白化处理可以解决外部环境亮度、物体反射等因素对图像的影响。经过白化处理后,血管图像可以得到比较明显的灰度拉伸。
在实现上,图像白化是将图像通过计算使最终的整体像素具有零均值和单位方差的特性。将按照以下公式对图像进行白化处理:
Figure BDA0003069031260000071
Figure BDA0003069031260000072
Figure BDA0003069031260000073
其中,W和H是图像的宽度和高度,μ和δ是整体像素的均值和方差,求出均值和方差后再对原始图像的每个像素pij进行转换计算得到新的像素值
Figure BDA0003069031260000074
最后得到白化处理后得图像。
步骤S3.2:自适应直方图均衡化处理(又名CLAHE操作),该操作将原图像的灰度直方图进行了一定的拉伸,提高了对比度。传统的直方图操作(HE)容易出现过度增强的问题,部分血管信息容易出现丢失的现象。因此相比当前许多血管预处理算法,自适应直方图均衡化操作能增强血管图像局部对比度来获取更多血管细节信息,同时也限制了局部较亮或较暗区域,防止了直方图均衡化操作出现信息丢失的情况。
步骤S3.3:对血管图像进行伽马变换,使处理后的血管图像的灰度值与处理前图像的灰度值之间呈现非线性指数关系,实现灰度拉伸。
伽马变换公式如下:
Iout=cIin y
其中,Iin为图像的输入值,输入灰度级取0到255,并对输入输出灰度级都做归一化为 0到1之间。Iout为经过伽马变换后的灰度输出值。c为灰度缩放系数,通常取1。γ为伽马因子大小。控制了整个变换的缩放程度。当γ较小时,图像的整体亮度得到非线性提高,当γ较大时,图像的整体亮度会被非线性降低。
步骤S3.4、对增强处理后的图像调整为统一尺寸512*512,获得尺寸调整后的图像,尺寸调整后的图像组成训练数据集;
步骤S4:建立血管分割模型,本发明所提出的卷积神经网络的结构如图2所示,是借鉴 UNET网络,采用U型架构,总体结构由一个编码器、一个解码器构成。
本发明的优点在于编码器部分使用了VGG16网络的编码器替代了传统UNET模型的编码器部分,还提出一种新型的反卷积模块应用于网络的上采样部分,相比传统unet网络,编码器部分可以采取到更多的有用信息。除此之外,解码器部分还增加了空间注意力(Attention) 机制和通道注意力机制,相比传统unet网络,抑制了许多不必要的特征,可以减少噪声干扰,提高血管分割的准确性和应用泛化性能,进而提高对血管成像的质量。
编码器总共有五层结构,第一层结构由两个卷积层和一个池化层组成。并且在每个卷积层后,执行批量归一化操作和Relu激活函数。将其最大池化层的结果作为第一层结构的输出结果。第二层结构与第一层结构完全相同。
第三层结构包含三个卷积层和一个池化层,它们是级联连接。第四层,第五层结构与第三层完全相同。
其中编码器的第一层到第五层采用的是步长为1,大小为3×3的卷积核,卷积核的数量依次为64,128,256,512,512。第一层到第五层的池化层均采用最大池化,采用的是步长为2,大小为2×2的卷积核。
解码器同编码器一样是五层结构,第一层的输入为编码器第五层所产生的输出。第一层的结构为一个卷积层和一个反卷积单元,后接连经过通道注意力机制B和空间注意力机制A,产生输出。
其中,反卷积单元的结构如图3所示,包含了一个卷积层与反卷积层,两个卷积层后均进行批量归一化以及通过Relu激活函数。
空间注意力机制A如图4所示,空间注意力模块接收一个来自跳跃连接的特征M与一个来自反卷积模块处理后的特征I,分别通过1×1卷积后,变成原来一半的通道数和大小完全相同的两个张量,再将两个张量的相应元素进行相加,.然后,进行卷积,卷积核为1×1,激活函数为Sigmoid,得到权重矩阵,最后,用反卷积模块处理后的特征I和得到的权重矩阵相乘即可得到新的特征。该模块可以帮助模型对输入图像的每个部分赋予不同的权重,提取关键信息并抑制其他无用信息,使模型做出更准确地判断,同时不会对模型的计算和存储带来较大耗费。
通道注意力机制B如图5所示,通道注意力模块输入是一个W*H*C的特征图,先对输入进行一个全局平均池化得到一个C*1*1的通道描述.接着,再将得到的通道送入一个两层的神经网络,第一层神经元个数为C/r,激活函数为Relu,第二层神经元个数为C.激活函数为Sigmoid,从而得到权重系数Mc.最后将用原来的特征图和得到的权重系数Mc相乘即可得到新的特征图.
第二层,第三层,第四层,均与第一层的结构相同。
第五层的结构与前面几层相似,在经过注意力机制处理后产生的输出,依次经过两个卷积层,得到最终的输出特征图。其中,两个卷积层的卷积核大小分别为3*3和1*1,步长均为1。
步骤4.1:建立好卷积神经网络后,进行血管分割模型的训练。其中设置训练数据Batchsize为6,设置网络学习率为0.0001,采用Adam优化器进行网络参数优化,,经过200次迭代训练后保存模型参数。
此外,本发明设计了一种新型加权交叉熵损失函数来代替传统的交叉熵损失函数,进而加快了血管分割模型的训练收敛速度和提高了精度.
所述新型的新型加权交叉熵损失函数的表达式为:
Figure BDA0003069031260000091
式中,a1与a2分别为0.01和0.99,Loss1为输出血管分割结果与人工标注的血管分割结果之间的交叉熵损失,pos和neg分别为背景的像素点和血管的像素点,pos_weight和neg_weight分别为背景的像素和血管的像素的相关系数。
步骤5:血管分割模型训练完成后,根据评价指标对血管分割结果进行评价。评价指标包括重叠度(IOU)、精密度(Precision)、查全率(Recall)和加权调和均值(F-Measure)。公式如下:
Figure BDA0003069031260000101
其中,Target是样本标注图像的目标对象的像素点,Prediction是预测分割图像的目标对象的像素点。
Figure BDA0003069031260000102
其中,TP是正样本预测为真的目标对象的像素点,FP是负样本预测为真的目标对象的像素点。
Figure BDA0003069031260000103
其中,TP是正样本预测为真的目标对象的像素点,FN是正样本预测为假的目标对象的像素点。
Figure BDA0003069031260000104
其中,
Figure BDA0003069031260000105
是权重。
综上所述,本发明将待分割的血管图像输入图像分割模型,获得图像分割结果。在喂入分割模型前,对血管图像进行数据扩充和增强,再将处理好的训练数据放入模型训练,生成血管分割结果图,实现血管分割任务。
相较于现有技术,本发明具有以下优点:
1、本发明采用数据增强环节来扩充数据集,保证了训练数据的多样性,防止在网络训练中过拟合现象的发生,此外,本发明在进行数据增强之后的输出,依然为整幅图像,并采用整幅图像作为深度学习网络的输入,有效避免了经典UNET采用图像切片的方式造成的血管图像结构特征和全局位置信息的丢失。
2、本发明通过设计了一套血管的预处理算法,充分利用血管的结构特性和优化网络结构的方式,有效提高血管分割精确度。
3、本发明所提出的卷积神经网络架构中,采用VGG16的编码器,并提出新型的反卷积模块应用于上采样部位,在解码器部分增加了空间注意力机制和通道注意力机制,除此之外,还设计了一种新型的损失函数,加快了血管分割模型的训练收敛速度和提高了精度,使得整个网络更加关注于细小血管的提取,有效地解决了小血管分割精度不高的问题。与此同时,对血管外的背景分割也更加准确,分割概率图清晰、血管连续。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器 (CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.基于深度学习的血管图像分割方法,其特征在于,包括:
获取血管分割数据集;
对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;
对所述待处理血管图像进行预处理,得到训练数据集;
根据所述训练数据集,通过UNET网络构建血管分割模型;
根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象;
其中,所述UNET网络包括编码器和解码器,所述编码器采用VGG16编码器;所述VGG16编码器包括反卷积模块,所述反卷积模块用于实现所述UNET网络的上采样步骤;所述解码器采用空间注意力机制和通道注意力机制实现所述UNET网络的解码步骤;
所述UNET网络的解码器包括五层结构,其中,解码器的第一层结构包括一个卷积层和一个反卷积单元,所述反卷积单元的输出内容输入至通道注意力机制和空间注意力机制中;
所述反卷积单元包括一个卷积层和一个反卷积层;
所述空间注意力机制用于接收来自跳跃连接的第一特征以及来自反卷积模块处理后的第二特征,将所述第一特征和所述第二特征进行卷积处理后得到的两个张量的元素相加,并对相加的结果再进行卷积,得到权重矩阵,最后将所述权重矩阵与所述第二特征相乘,得到目标特征;
所述通道注意力机制用于接收第一特征图,并对所述第一特征图进行全局平均池化处理得到目标通道,根据所述目标通道得到权重系数,将所述第一特征图与所述权重系数相乘得到目标特征图;
所述根据所述血管分割模型确定血管分割结果的评价结果,包括:
获取样本标注图像的目标对象的第一像素点,获取预测分割图像的目标对象的第二像素点;
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标;
获取预测分割图像中正样本预测为真的目标对象的第三像素点,获取预测分割图像中负样本预测为真的目标对象的第四像素点,获取正样本预测为假的目标对象的第五像素点;
根据所述第三像素点和所述第四像素点计算得到精密度评价指标;
根据所述第三像素点和所述第五像素点计算得到查全率评价指标;
根据所述精密度评价指标和所述查全率评价指标,计算得到均值评价指标。
2.根据权利要求1所述的基于深度学习的血管图像分割方法,其特征在于,所述对所述血管分割数据集进行数据扩充处理,得到待处理血管图像,包括:
对所述血管分割数据集中的图像数据进行镜像操作和/或旋转操作,得到所述待处理血管图像;
其中,所述镜像操作包括一次水平镜像操作。
3.根据权利要求1所述的基于深度学习的血管图像分割方法,其特征在于,所述对所述待处理血管图像进行预处理,得到训练数据集,包括以下至少之一:
对所述待处理血管图像进行白化处理,去除所述待处理血管图像中外部环境亮度影响因素以及物体反射影响因素;
对所述待处理血管图像进行自适应直方图均衡化处理,提高所述待处理血管图像中的对比度;
对所述待处理血管图像进行伽马变换处理,使处理后的血管图像的灰度值与处理前图像的灰度值之间呈现非线性指数关系;
对所述待处理血管图像进行尺度调整。
4.根据权利要求1所述的基于深度学习的血管图像分割方法,其特征在于,所述UNET网络的编码器包括五层结构,其中,编码器的第一层结构包括两个卷积层和一个池化层,编码器的第二层结构包括两个卷积层和一个池化层,编码器的第三层结构包括三个卷积层和一个池化层,编码器的第四层结构包括三个卷积层和一个池化层,编码器的第五层结构包括三个卷积层和一个池化层;
所述编码器的第一层结构用于进行批量归一化处理和Relu激活处理,得到最大池化结果。
5.基于深度学习的血管图像分割装置,其特征在于,包括:
第一模块,用于获取血管分割数据集;
第二模块,用于对所述血管分割数据集进行数据扩充处理,得到待处理血管图像;
第三模块,用于对所述待处理血管图像进行预处理,得到训练数据集;第四模块,用于根据所述训练数据集,通过UNET网络构建血管分割模型;第五模块,用于根据所述血管分割模型确定血管分割结果的评价结果,所述评价结果用于确定所述血管分割结果中预测正确的对象和预测错误的对象;
其中,所述UNET网络包括编码器和解码器,所述编码器采用VGG16编码器;所述VGG16编码器包括反卷积模块,所述反卷积模块用于实现所述UNET网络的上采样步骤;所述解码器采用空间注意力机制和通道注意力机制实现所述UNET网络的解码步骤;
其中,所述UNET网络的解码器包括五层结构,其中,解码器的第一层结构包括一个卷积层和一个反卷积单元,所述反卷积单元的输出内容输入至通道注意力机制和空间注意力机制中;
所述反卷积单元包括一个卷积层和一个反卷积层;
所述空间注意力机制用于接收来自跳跃连接的第一特征以及来自反卷积模块处理后的第二特征,将所述第一特征和所述第二特征进行卷积处理后得到的两个张量的元素相加,并对相加的结果再进行卷积,得到权重矩阵,最后将所述权重矩阵与所述第二特征相乘,得到目标特征;
所述通道注意力机制用于接收第一特征图,并对所述第一特征图进行全局平均池化处理得到目标通道,根据所述目标通道得到权重系数,将所述第一特征图与所述权重系数相乘得到目标特征图;
所述第五模块具体用于:
获取样本标注图像的目标对象的第一像素点,获取预测分割图像的目标对象的第二像素点;
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标;
获取预测分割图像中正样本预测为真的目标对象的第三像素点,获取预测分割图像中负样本预测为真的目标对象的第四像素点,获取正样本预测为假的目标对象的第五像素点;
根据所述第三像素点和所述第四像素点计算得到精密度评价指标;
根据所述第三像素点和所述第五像素点计算得到查全率评价指标;
根据所述精密度评价指标和所述查全率评价指标,计算得到均值评价指标。
6.一种电子设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1-4中任一项所述的方法。
CN202110534264.5A 2021-05-17 2021-05-17 基于深度学习的血管图像分割方法、装置、设备及介质 Active CN113205537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110534264.5A CN113205537B (zh) 2021-05-17 2021-05-17 基于深度学习的血管图像分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110534264.5A CN113205537B (zh) 2021-05-17 2021-05-17 基于深度学习的血管图像分割方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113205537A CN113205537A (zh) 2021-08-03
CN113205537B true CN113205537B (zh) 2023-07-07

Family

ID=77031546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110534264.5A Active CN113205537B (zh) 2021-05-17 2021-05-17 基于深度学习的血管图像分割方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113205537B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723418B (zh) * 2021-09-03 2023-08-04 乐普(北京)医疗器械股份有限公司 一种对造影图像进行优选的处理方法和装置
CN113902692B (zh) * 2021-09-26 2022-09-02 北京医准智能科技有限公司 一种血管分割的方法、装置及计算机可读介质
CN114359120B (zh) * 2022-03-21 2022-06-21 深圳市华付信息技术有限公司 遥感影像处理方法、装置、设备及存储介质
CN115393730B (zh) * 2022-07-15 2023-05-30 南京林业大学 一种火星陨石坑精确识别方法、电子设备及存储介质
CN115272679B (zh) * 2022-08-08 2024-03-19 北京理工大学 地热有利区的辨识方法、装置、终端及存储介质
CN116958552A (zh) * 2023-07-25 2023-10-27 强联智创(北京)科技有限公司 血管分割方法、电子设备及存储介质
CN116703948B (zh) * 2023-08-03 2023-11-14 杭州脉流科技有限公司 基于深度神经网络的颅内血管树分割方法和分割装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882566A (zh) * 2020-07-31 2020-11-03 华南理工大学 视网膜图像的血管分割方法、装置、设备及存储介质
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112580484A (zh) * 2020-12-14 2021-03-30 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882566A (zh) * 2020-07-31 2020-11-03 华南理工大学 视网膜图像的血管分割方法、装置、设备及存储介质
CN112102283A (zh) * 2020-09-14 2020-12-18 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112580484A (zh) * 2020-12-14 2021-03-30 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
全卷积网络电线识别方法;刘嘉玮;李元祥;龚政;刘心刚;周拥军;;中国图象图形学报(第05期);第1-2页 *
基于改进UNet孪生网络的遥感影像矿区变化检测;向阳;赵银娣;董霁红;;煤炭学报(第12期);第1-5页 *

Also Published As

Publication number Publication date
CN113205537A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN113205537B (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
US11295178B2 (en) Image classification method, server, and computer-readable storage medium
Uysal et al. Computer-aided retinal vessel segmentation in retinal images: convolutional neural networks
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN107292887A (zh) 一种基于深度学习自适应权重的视网膜血管分割方法
Saranya et al. Blood vessel segmentation in retinal fundus images for proliferative diabetic retinopathy screening using deep learning
CN113205538A (zh) 基于CRDNet的血管图像分割方法及装置
Li et al. TA-Net: Triple attention network for medical image segmentation
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
Du et al. UNet retinal blood vessel segmentation algorithm based on improved pyramid pooling method and attention mechanism
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN111583262A (zh) 一种血管分割方法与系统
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
Setiawan et al. Classification of neovascularization using convolutional neural network model
CN113838067A (zh) 肺结节的分割方法和装置、计算设备、可存储介质
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
Haider et al. Exploring deep feature-blending capabilities to assist glaucoma screening
CN117409030A (zh) 基于动态管状卷积的octa图像血管分割方法及其系统
CN113744171A (zh) 血管钙化图像分割方法、系统和可读存储介质
Xia et al. HRNet: A hierarchical recurrent convolution neural network for retinal vessel segmentation
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
Cui et al. Spatial multi-scale attention U-improved network for blood vessel segmentation
Arpacı et al. LUPU-Net: a new improvement proposal for encoder-decoder architecture
Bajaj et al. Diabetic retinopathy stage classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant