CN112348839B - 一种基于深度学习的图像分割方法及系统 - Google Patents

一种基于深度学习的图像分割方法及系统 Download PDF

Info

Publication number
CN112348839B
CN112348839B CN202011168588.3A CN202011168588A CN112348839B CN 112348839 B CN112348839 B CN 112348839B CN 202011168588 A CN202011168588 A CN 202011168588A CN 112348839 B CN112348839 B CN 112348839B
Authority
CN
China
Prior art keywords
convolution
processing block
image
image segmentation
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011168588.3A
Other languages
English (en)
Other versions
CN112348839A (zh
Inventor
文静
苟侠君
王翊
宁民权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202011168588.3A priority Critical patent/CN112348839B/zh
Publication of CN112348839A publication Critical patent/CN112348839A/zh
Application granted granted Critical
Publication of CN112348839B publication Critical patent/CN112348839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的图像分割方法及系统。该方法为：将待分割图像输入图像分割模型，获得图像分割结果；图像分割模型建立过程：S1，构建训练集和测试集；S2，构建图像分割卷积网络；图像分割卷积网络包括下采样链路、上采样链路、N个联接链路，下采样链路设有N个下采样处理块，上采样链路设有N个上采样处理块；第N下采样处理块与第N上采样处理块通过第N联接链路连接；第n下采样处理块与第n上采样处理块通过第n联接链路连接，在第n联接链路上设有k个卷积块，n∈[1,N‑1]；S3，利用训练集对图像分割卷积网络进行训练。在联接链路中设置k个卷积块，将原图进行k次卷积操作后再进行拼接，更全面补充信息，提升分割精确度和可靠性。

Description

一种基于深度学习的图像分割方法及系统
技术领域
本发明涉及一种图像分割方法，特别是涉及一种基于深度学习的图像分割方法及系统。
背景技术
随着医疗影像学设备的高速发展和全面普及，诸如磁共振成像(MR)、计算机断层扫描(CT)、超声扫描等成像技术成为了医疗行业诊断疾病、制定医疗计划、评估治疗结果等医疗步骤中不可或缺的技术。医学图像处理中图像分割是重要环节。
近年来，深度学习的迅速发展使得医学图像机器分割取得了显著的成就，能够对医学图像中的人体器官进行自动分割，相较于传统的手工分割，极大地提高了图像分割速度以及节省了人力，但是基于现有深度学习方法的图像分割方法获得的分割结果不够精细，存在着器官边界模糊，粘连等情况，以及由于CT图像等医学图像具有较多的噪点，对肝、胰、肾脏的分割存在可靠性差、分割效果不尽人意的问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于深度学习的图像分割方法及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于深度学习的图像分割方法，包括：将待分割图像输入图像分割模型，获得图像分割结果；所述图像分割模型的建立过程包括：步骤S1，获取多个样本图像并设置标签图，构建训练集和测试集；步骤S2，构建图像分割卷积网络；所述图像分割卷积网络包括下采样链路、上采样链路、以及N个联接链路，在所述下采样链路中沿图像数据传输方向依次设有第一下采样处理块、第二下采样处理块、…、第N－1上采样处理块和第N下采样处理块，在所述上采样链路中沿图像数据传输方向依次设有第N上采样处理块、第N－1上采样处理块、…、第二上采样处理块和第一上采样处理块；所述第N下采样处理块与第N上采样处理块通过第N联接链路连接；第n下采样处理块与第n上采样处理块通过第n联接链路连接，在所述第n联接链路上设有k个卷积块，所述n∈[1,N-1]，k为正整数，N为大于1的正整数；步骤S3，利用训练集对图像分割卷积网络进行训练，利用测试集对训练后的图像分割卷积网络进行验证：若验证通过，保存图像分割卷积网络的模型参数，获得图像分割模型；若验证不通过，继续利用训练集对当前训练后的图像分割卷积网络进行训练。
上述技术方案：本发明的图像分割卷积网络中在联接链路中设置k个卷积块，跳接时不再使用原图进行拼接，而是将原图进行k次卷积操作后再进行拼接，相对于U－Net网络的现有联接链路，能更全面的补充信息，有利于更深入得提取特征值并进行综合，提升分割精确度和可靠性。
在本发明的一种优选实施方式中，所述第一下采样处理块内依次设有2个卷积层和最大池化层，图像数据通过2个卷积层后分别进入第一联接链路和最大池化层，所述最大池化层与第二下采样处理块连接；所述第二下采样处理块内依次设有1个卷积残差块和3个恒等残差块，图像数据通过3个恒等残差块后分别进入第二联接链路和再通过1个卷积残差块后进入第三下采样处理块；所述第n'下采样处理块内设有3个恒等残差块，图像数据通过3个恒等残差块后分别进入第n'三联接链路和再通过1个卷积残差块后进入第n'+1下采样处理块，所述n'∈[3,N-1]；所述第N下采样处理块内设有3个恒等残差块，图像数据通过3个恒等残差块后通过第N联接链路传送至第N上采样处理块。
上述技术方案：下采样处理块内通过堆叠恒等残差块和卷积残差块，网络深度得到了巨大提升，进而提升了分割精确度，并且每一级尺度都形成了一个小型的残差网络，每经过一个残差块就多两条选择路径，这样若N为5的话，那么每一个尺度的图片有16条路径可走，所留下的特征图都是不一样的，相对于现有卷积网络结构可以获得图片更丰富的特征。在本发明的一种优选实施方式中，所述卷积残差块由卷积主路径的三重卷积和与所述卷积主路径并联的卷积Shoutcut路径的单卷积层构成；卷积主路径第一层卷积使用与上一层卷积相同数目的滤波器，卷积核的大小为1×1，卷积步长为2；卷积主路径第二层卷积使用和第一层卷积相同数目的滤波器，卷积核的大小为3×3；卷积主路径第三层卷积的滤波器数量为第二层卷积的两倍，卷积核的大小为1×1，卷积步长为1；卷积Shortcut路径中的卷积层的滤波器数目与主路径第三层卷积的滤波器数目一致，卷积核大小为1×1，步长为2。
上述技术方案：卷积残差块将上一层输入图片的特征以间隔1的形式提取出来，并且缩小图片尺寸为原来的一半，这样既完成了滤波也完成了池化层的提取图片特征的作用，省略了池化层，简化了结构；使得图片进入卷积残差块后可以得到多一倍的通道数并且自身被进一步提取特征，很好地执行了普通神经网络中的卷积池化操作，不同的是它的多路径到达的设计理念以及先提取特征再增加通道数的操作使得图片通过该结构被保留的有用信息更多，但是产生的参数更少，对网络的负荷也更小。
在本发明的一种优选实施方式中，所述恒等残差块由恒等主路径的三重卷积和与所述恒等主路径并联的恒等Shoutcut路径构成；恒等主路径第一层卷积的过滤器数目为输入所述恒等残差块的图像的通道数的一半，卷积核的大小为1×1，步长为1；恒等主路径第二层卷积的过滤器数目与恒等主路径第一层卷积的过滤器数目一致，卷积核的大小为3×3，步长为1；恒等主路径第三层卷积的滤波器数目为恒等主路径第二层卷积的过滤器数目的两倍，卷积核的大小为1×1，步长为1；恒等Shortcut路径不包含额外操作，只提供连接作用。
上述技术方案：恒等残差块的输入图片与输出图片的通道数一致，但是经过该模块的图片有的经过了主路径的一系列操作有了变化，有些则不经过加工直接输出，使得图片留下的特征信息更加丰富，并且降低了网络的负荷，提高了卷积效率。从功能的角度来说，该模块优化了多层卷积模块堆叠所带来的一系列问题，使得加深网络所带来的负面影响得到消除。
在本发明的一种优选实施方式中，所述第N上采样处理块包括反卷积层，图像数据通过反卷积层进入第N－1上采样处理块；所述第n”上采样处理块依次包括拼接层、2个卷积层和1个反卷积层，拼接层将第n”联接链路输出的图像与第n”－1上采样处理块输出的图像拼接，拼接后的图像经过第n”上采样处理块的2个卷积层和1个反卷积层处理后进入第n”上采样处理块，所述n”∈[2,N-1]；所述第一上采样处理块包括拼接层、2个卷积层和全连接层，拼接层将第一联接链路输出的图像与第二上采样处理块输出的图像拼接，拼接后的图像经过第一上采样处理块的2个卷积层和全连接层处理后输出。
上述技术方案：上采样链路各模块依次将各个尺度的图片进行反卷积操作，得到的图片与下采样链路中相对应尺度的图片经过联接链路的k个卷积后的图片进行合并，使通道数加倍，再经过两次卷积的筛选继续上采直到还原为原图的大小，然后通过一层卷积层将图片二分类获得最终结果。在本发明的一种优选实施方式中，在所述图像分割卷积网络中的全部或者部分卷积层后都设置BN层。
上述技术方案：通过BN(BatchNormal)层能够加速网络收敛。在本发明的一种优选实施方式中，在所述步骤S1中，所述训练集和测试集均包括多个样本图片以及与样本图片对应关联的标签图。
在本发明的一种优选实施方式中，在所述步骤S3中，利用测试集对训练后的图像分割卷积网络进行验证的过程包括：通过图像分割卷积网络输出的预测图像和输入图像对应的标签图计算DICE系数，所述DICE系数为：DICE＝2×comm(S1,S2)÷(S1+S2)，所述S1和S2分别表示图像分割卷积网络输出的预测图像和输入图像，comm(S1,S2)表示求图像S1和S2的交集；若DICE系数达到预设的DICE阈值，则验证通过；若DICE系数未达到DICE阈值，则验证不通过，则继续训练图像分割卷积网络，直到可以通过测试。
上述技术方案：DICE系数作为随时函数，图像分割的预测效果更好。
在本发明的一种优选实施方式中，在所述步骤S3中，利用训练样本对图像分割卷积网络进行多轮次训练，每一轮训练结束后保存之前训练轮次中DICE系数最高的图像分割卷积网络的模型参数，当经过早停函数设置的数值个轮次后，图像分割卷积网络的模型参数没有被更新，则训练结束，否则进行下一早停函数设置的数值个轮次训练。
上述技术方案：有效避免过拟合现象。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种图像分割系统，包括图片输入单元和处理器，所述处理器从图片输入单元获得待分割图片并按照本发明所述的基于深度学习的图像分割方法对待分割图片进行图像分割。
上述技术方案：该系统能够自动、快速且精准地对待分割图像进行分割，在U－Net基础架构上，对下采样过程采用残差块堆叠加深网络，并在每个卷积操作后添加BN层加速网络收敛，以及在5个尺度图像的拼接操作之前加入卷积层过滤图片特征等，建立了一种新的图像分割卷积网络，极大地提高了拟合效果、预测精确度。
附图说明
图1是本发明一具体实施方式中基于深度学习的图像分割方法流程示意图；
图2是本发明一具体实施方式中图像分割卷积网络的结构示意图；
图3是本发明一具体实施方式中卷积残差块的结构示意图；
图4是本发明一具体实施方式中恒等残差块的结构示意图；
图5是本发明一种应用场景中的分割结果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于深度学习的图像分割方法，在一种优选实施方式中，流程示意图如图1所示，该方法包括：将待分割图像输入图像分割模型，获得图像分割结果；图像分割模型的建立过程包括：
步骤S1，获取多个样本图像并设置标签图，构建训练集和测试集；
步骤S2，构建图像分割卷积网络；图像分割卷积网络的结构为：
图像分割卷积网络包括下采样链路、上采样链路、以及N个联接链路，在下采样链路中沿图像数据传输方向依次设有第一下采样处理块、第二下采样处理块、…、第N－1上采样处理块和第N下采样处理块，在上采样链路中沿图像数据传输方向依次设有第N上采样处理块、第N－1上采样处理块、…、第二上采样处理块和第一上采样处理块；第N下采样处理块与第N上采样处理块通过第N联接链路连接；第n下采样处理块与第n上采样处理块通过第n联接链路连接，在第n联接链路上设有k个卷积块，n∈[1,N-1]，k为正整数，N为大于1的正整数；k优选但不限于为2，N优选但不限于为5；
步骤S3，利用训练集对图像分割卷积网络进行训练，利用测试集对训练后的图像分割卷积网络进行验证：若验证通过，保存图像分割卷积网络的模型参数，获得图像分割模型；若验证不通过，继续利用训练集对当前训练后的图像分割卷积网络进行训练。
在本实施方式中，卷积操作可以过滤图像边缘的细节信息，而使用k个卷积块少量卷积层进行过滤可以留下大部分的边缘细节信息，但是经过卷积操作每个通道的图片都留下了不同的细节信息。由于拼接层的目的是补充原图的细节信息，经过卷积筛选后补充的信息会更全面。所以选择双层卷积(k为2时)作为图片拼接前的预处理。
在本实施方式中，样本图像优选但不限于医学MRI图像、CT图像，也可为植物图像(用于植物生长状态评估的果实、树叶分割)。标签图可通过在样本图像上手工标注获得。
在一种优选实施方式中，如图2所示，第一下采样处理块内依次设有2个卷积层和最大池化层，图像数据通过2个卷积层后分别进入第一联接链路和最大池化层，最大池化层与第二下采样处理块连接；
第二下采样处理块内依次设有1个卷积残差块和3个恒等残差块，图像数据通过3个恒等残差块后分别进入第二联接链路和再通过1个卷积残差块后进入第三下采样处理块；
第n'下采样处理块内设有3个恒等残差块，图像数据通过3个恒等残差块后分别进入第n'三联接链路和再通过1个卷积残差块后进入第n'+1下采样处理块，n'∈[3,N-1]；
第N下采样处理块内设有3个恒等残差块，图像数据通过3个恒等残差块后通过第N联接链路传送至第N上采样处理块。
在本实施方式中，如图2所示，优选的，第N上采样处理块包括反卷积层，图像数据通过反卷积层进入第N－1上采样处理块；
第n”上采样处理块依次包括拼接层、2个卷积层和1个反卷积层，拼接层将第n”联接链路输出的图像与第n”－1上采样处理块输出的图像拼接，拼接后的图像经过第n”上采样处理块的2个卷积层和1个反卷积层处理后进入第n”上采样处理块，n”∈[2,N-1]；
第一上采样处理块包括拼接层、2个卷积层和全连接层，拼接层将第一联接链路输出的图像与第二上采样处理块输出的图像拼接，拼接后的图像经过第一上采样处理块的2个卷积层和全连接层处理后输出。
在一种优选实施方式中，如图3所示，卷积残差块由卷积主路径的三重卷积和与卷积主路径并联的卷积Shoutcut路径的单卷积层构成；
卷积主路径第一层卷积使用与上一层卷积相同数目的滤波器，卷积核的大小为1×1，卷积步长为2；
卷积主路径第二层卷积使用和第一层卷积相同数目的滤波器，卷积核的大小为3×3；
卷积主路径第三层卷积的滤波器数量为第二层卷积的两倍，卷积核的大小为1×1，卷积步长为1；
卷积Shortcut路径中的卷积层的滤波器数目与主路径第三层卷积的滤波器数目一致，卷积核大小为1×1，步长为2。
在本实施方式中，如图3所示，卷积残差块由主路径的三重卷积和Shoutcut连接的单卷积层构成。主路径第一层卷积使用与上一层相同数目的滤波器，卷积核的大小为1×1，卷积步长为2，其作用是将上一层输入图片的特征以间隔1的形式提取出来，并且缩小图片尺寸为原来的一半，这样既完成了滤波也完成了池化层的提取图片特征的作用，所以省略了池化层。主路径第二层卷积使用和第一层卷积相同数目的滤波器，但是它的卷积核为3×3的大小，目的是进一步提取图片的特征。主路径第三层卷积将滤波器数量增加了一倍，同时设置卷积核的大小为1×1，卷积步长为也为1，目的是增加图片的通道数同时保持图片的尺寸不变。而在Shortcut路径中也设置了一个卷积层，滤波器数目与主路径第三层卷积一致，卷积核大小为1×1，但是步长变为了2，其作用是提供一条路径可以直接将输入的图片通道数加倍同时使用间隔1的方法提取出图片特征并且将其大小变为原来的一半。
在本实施方式中，卷积残差块的设计使得图片进入该残差块后可以得到多一倍的通道数并且自身被进一步提取特征，它很好地执行了普通神经网络中的卷积池化操作，不同的是它的多路径到达的设计理念以及先提取特征再增加通道数的操作使得图片通过该结构被保留的有用信息更多，但是产生的参数更少，对网络的负荷也更小。使用卷积残差块可以获得不同的图片尺寸是它区别于恒等残差块的原因。
在一种优选实施方式中，如图4所示，恒等残差块由恒等主路径的三重卷积和与恒等主路径并联的恒等Shoutcut路径构成；
恒等主路径第一层卷积的过滤器数目为输入恒等残差块的图像的通道数的一半，卷积核的大小为1×1，步长为1；
恒等主路径第二层卷积的过滤器数目与恒等主路径第一层卷积的过滤器数目一致，卷积核的大小为3×3，步长为1；
恒等主路径第三层卷积的滤波器数目为恒等主路径第二层卷积的过滤器数目的两倍，卷积核的大小为1×1，步长为1；
恒等Shortcut路径不包含额外操作，只提供连接作用。
在本实施方式中，恒等残差块由主路径的三重卷积和Shoutcut连接层构成。主路径第一层卷积的过滤器数目是输入图片的通道数的一半，卷积核为1×1的大小，步长为1，其作用是将图片的通道数减少，以便减少计算的参数，降低网络的负荷，以获得更高的效率和更好的卷积效果。主路径第二层卷积的卷积核变为了3×3的大小，其它参数与第一层一样，它是一个标准的神经网络卷积层，作用是通过卷积操作过滤图片信息。主路径第三层的滤波器数目变为前一层的一倍，与输入该模块的图片的通道数一致，采用1×1大小的卷积核，步长为1，作用是将过滤完的图片恢复到输入时的尺寸。Shortcut层没有任何操作，只是提供了一个连接，给通过该模块的图片提供了一条不经过主路径操作的路径。
在本实施方式中，恒等残差块的输入图片与输出图片的通道数一致，但是经过该模块的图片有的经过了主路径的一系列操作有了变化，有些则不经过加工直接输出，使得图片留下的特征信息更加丰富，并且降低了网络的负荷，提高了卷积效率。从功能的角度来说，该模块优化了多层卷积模块堆叠所带来的一系列问题，使得加深网络所带来的负面影响得到消除。
在一种优选实施方式中，在图像分割卷积网络中的全部或者部分卷积层后都设置BN层。
在本实施方式中，BN(Batchnormalisation)层通过一定规范化手段将每层输入数据值的分布强行归一化到该标准正太分布上，使得每一次反向传导更新模型的时候都有一定梯度，则模型可以不断收敛。
在本发明的一种应用场景中，N为5，k为2。如图2所示，图像在网络各层中的具体运算如下：
第一下采样处理块：输入512×512×1的图像，通过两个卷积层拓展图像通道为64，得到512×512×64的图像，此时有两条路径，一条是向右再经过第一联接链路的两次卷积处理等待拼接操作，另一条是通过一个最大池化层下采样图片使其变为256×256×128到达第二下采样处理块；
第二下采样处理块：图片通过一个卷积残差块和三个恒等残差块变换后有两条路径，一条向右通过第二联接链路的两次卷积等待拼接操作，另一条通过一个卷积残差块通向下一级的第三下采样处理块，此时图片的尺寸进一步变小，通道数进一步增加，变为128×128×256；
第三下采样处理块：图片通过三个恒等残差块后有两条路径，一条向右通过第三联接链路的两次卷积等待拼接操作，另一条通过一个卷积残差块通向下一级的第四下采样处理块，图片尺寸变为64×64×512；
第四下采样处理块：图片通过三个恒等残差块后有两条路径，一条向右通过第四联接链路的两次卷积等待拼接操作，另一条通过一个卷积残差块通向下一级的第五下采样处理块，图片尺寸变为32×32×1024；
第五下采样处理块：图片通过三个恒等残差块后通过第五联接链路进入上采样链路中的第五上采样处理块；
第五上采样处理块：图片通过反卷积层后进入下一级的第四上采样处理块，图片尺寸变为64×64×512；
第四上采样处理块：图片首先与第四联接链路的输出图像拼接，此时图像大小为64×64×1024，然后通过两个卷积层将空间收缩到64×64×512，然后通过一个反卷积层进入下一级的第三上采样处理块，图片尺寸变为128×128×256；
第三上采样处理块：图片首先与第三联接链路的输出图像拼接，此时图像大小为128×128×512，然后通过两个卷积层将空间收缩到128×128×256，然后通过一个反卷积层进入下一级的第二上采样处理块，图片尺寸变为256×256×128；
第二上采样处理块：图片首先与第二联接链路的输出图像拼接，此时图像大小为256×256×256，然后通过两个卷积层将空间收缩到256×256×128，然后通过一个反卷积层进入下一级的第一上采样处理块，图片尺寸变为512×512×64；
第一上采样处理块：图片首先与第一联接链路的输出图像拼接，此时图像大小为512×512×128，然后通过两个卷积层将空间收缩到512×512×64，最后通过一个卷积核大小为1×1全卷积层将通道数压缩到2，最终输出二分类的结果。
在应用场景中，将本发明提供的图像分割方法中的卷积网络结构(ResU－Net)与现有的卷积网络结构U－Net输出分割结果进行对比实验，最终结果如下表所示：
通过分析实验数据不难看出，本方法所提出的网络模型相比于目前的U－Net网络，在分割精度上有很大的提升，解决现有医学图像分割技术中，准确率低、可靠性差的问题。与当前的U－Net分割方法相比，本发明具有更好的分割准确度与可靠性。因为U－Net结构的下采样部分通过卷积池化变换将图片逐步采样为5个尺度，依次折半，所以在堆叠恒等块和卷积块的时候也遵循这5个尺度的变换。具体堆叠为一个卷积块后面跟3个恒等块，这样每个尺度的操作都相当于包含了12层卷积层，所以实际网络深度接近50层(算上每个卷积层后跟随的BN层远超此数值)，对比U－Net的实际层数只有不到20层，网络的深度得到了巨大的提升，随之而来的是分割精确度的提升，并且每一级尺度都形成了一个小型的残差网络，每经过一个残差块就多两条选择路径，这样每一个尺度的图片有16条路径可走，所留下的feature map都是不一样的，相对于当前网络可以获得图片更丰富的特征。
在一种优选实施方式中，在步骤S1中，训练集和测试集均包括多个样本图片以及与样本图片对应关联的标签图。
在一种优选实施方式中，在步骤S3中，利用测试集对训练后的图像分割卷积网络进行验证的过程包括：
通过图像分割卷积网络输出的预测图像和输入图像对应的标签图计算DICE系数，DICE系数为：DICE＝2×comm(S1,S2)÷(S1+S2)，S1和S2分别表示图像分割卷积网络输出的预测图像和输入图像，comm(S1,S2)表示求图像S1和S2的交集的像素点数；S1+S2表示图像S1和S2的并集的像素点数。
若DICE系数达到预设的DICE阈值，则验证通过；若DICE系数未达到DICE阈值，则验证不通过，则继续训练图像分割卷积网络，直到可以通过测试。
在一种优选实施方式中，在步骤S3中，利用训练样本对图像分割卷积网络进行多轮次训练，每一轮训练结束后保存之前训练轮次中DICE系数最高的图像分割卷积网络的模型参数，当经过早停函数设置的数值个轮次后，图像分割卷积网络的模型参数没有被更新，则训练结束，否则进行下一早停函数设置的数值个轮次训练。
在本实施方式中，模型每一轮训练结束后会保存效果最好的模型参数，当经过早停函数设置的数值(即检测值)个轮次后，模型参数都没有被更新，则认定模型训练结束。该函数可以有效预防模型过拟合，因为如果模型无止境训练下去或是设置的轮次太多很容易引发过拟合现象。
在本发明上述方法的一种应用场景中，输出的分割图形如图5所示，在本应用场景中，待分割图像为医学MRI或CT图像，为来自医院的真实病例MRI图像与CT图像数据，以及网络上公开的用于科研目的公开MRI图像与CT图像数据。
本发明还公开了一种图像分割系统，在一种优选实施方式中，该系统包括图片输入单元和处理器，处理器从图片输入单元获得待分割图片并按照上述基于深度学习的图像分割方法对待分割图片进行图像分割。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于深度学习的图像分割方法，其特征在于，包括：将待分割图像输入图像分割模型，获得图像分割结果；
所述图像分割模型的建立过程包括：
步骤S1，获取多个样本图像并设置标签图，构建训练集和测试集；
步骤S2，构建图像分割卷积网络；
所述图像分割卷积网络包括下采样链路、上采样链路、以及N个联接链路，在所述下采样链路中沿图像数据传输方向依次设有第一下采样处理块、第二下采样处理块、…、第N-1下采样处理块和第N下采样处理块，在所述上采样链路中沿图像数据传输方向依次设有第N上采样处理块、第N-1上采样处理块、…、第二上采样处理块和第一上采样处理块；所述第N下采样处理块与第N上采样处理块通过第N联接链路连接；
第n下采样处理块与第n上采样处理块通过第n联接链路连接,在所述第n联接链路上设有k个卷积块，所述n∈[1,N-1],k为正整数，N为大于1的正整数；
所述第一下采样处理块内依次设有2个卷积层和最大池化层，图像数据通过2个卷积层后分别进入第一联接链路和最大池化层，所述最大池化层与第二下采样处理块连接；
所述第二下采样处理块内依次设有1个卷积残差块和3个恒等残差块，图像数据通过3个恒等残差块后分别进入第二联接链路和再通过1个卷积残差块后进入第三下采样处理块；
第n'下采样处理块内设有3个恒等残差块，图像数据通过3个恒等残差块后分别进入第n'三联接链路和再通过1个卷积残差块后进入第n'+1下采样处理块，所述n'∈[3,N-1]；
所述第N下采样处理块内设有3个恒等残差块，图像数据通过3个恒等残差块后通过第N联接链路传送至第N上采样处理块；
所述卷积残差块由卷积主路径的三重卷积和与所述卷积主路径并联的卷积Shoutcut路径的单卷积层构成；
卷积主路径第一层卷积使用与上一层卷积相同数目的滤波器，卷积核的大小为1×1，卷积步长为2；
卷积主路径第二层卷积使用和第一层卷积相同数目的滤波器，卷积核的大小为3×3；
卷积主路径第三层卷积的滤波器数量为第二层卷积的两倍，卷积核的大小为1×1，卷积步长为1；
卷积Shortcut路径中的卷积层的滤波器数目与主路径第三层卷积的滤波器数目一致，卷积核大小为1×1，步长为2；
所述恒等残差块由恒等主路径的三重卷积和与所述恒等主路径并联的恒等Shoutcut路径构成；
恒等主路径第一层卷积的过滤器数目为输入所述恒等残差块的图像的通道数的一半，卷积核的大小为1×1，步长为1；
恒等主路径第二层卷积的过滤器数目与恒等主路径第一层卷积的过滤器数目一致，卷积核的大小为3×3，步长为1；
恒等主路径第三层卷积的滤波器数目为恒等主路径第二层卷积的过滤器数目的两倍，卷积核的大小为1×1，步长为1；
恒等Shortcut路径不包含额外操作，只提供连接作用；步骤S3，利用训练集对图像分割卷积网络进行训练，利用测试集对训练后的图像分割卷积网络进行验证：若验证通过，保存图像分割卷积网络的模型参数，获得图像分割模型；若验证不通过，继续利用训练集对当前训练后的图像分割卷积网络进行训练。
2.如权利要求1所述的基于深度学习的图像分割方法，其特征在于，所述第N上采样处理块包括反卷积层，图像数据通过反卷积层进入第N-1上采样处理块；
第n”上采样处理块依次包括拼接层、2个卷积层和1个反卷积层，拼接层将第n”联接链路输出的图像与第n”-1上采样处理块输出的图像拼接，拼接后的图像经过第n”上采样处理块的2个卷积层和1个反卷积层处理后进入第n”上采样处理块，所述n”∈[2,N-1]；
所述第一上采样处理块包括拼接层、2个卷积层和全连接层，拼接层将第一联接链路输出的图像与第二上采样处理块输出的图像拼接，拼接后的图像经过第一上采样处理块的2个卷积层和全连接层处理后输出。
3.如权利要求1-2之一所述的基于深度学习的图像分割方法，其特征在于，在所述图像分割卷积网络中的全部或者部分卷积层后都设置BN层。
4.如权利要求1所述的基于深度学习的图像分割方法，其特征在于，在所述步骤S1中，所述训练集和测试集均包括多个样本图片以及与样本图片对应关联的标签图。
5.如权利要求1所述的基于深度学习的图像分割方法，其特征在于，在所述步骤S3中，利用测试集对训练后的图像分割卷积网络进行验证的过程包括：
通过图像分割卷积网络输出的预测图像和输入图像对应的标签图计算DICE系数，所述DICE系数为：DICE＝2×comm(S1,S2)÷(S1+S2),所述S1和S2分别表示图像分割卷积网络输出的预测图像和输入图像，comm(S1,S2)表示求图像S1和S2的交集；
若DICE系数达到预设的DICE阈值，则验证通过；若DICE系数未达到DICE阈值，则验证不通过，则继续训练图像分割卷积网络，直到可以通过测试。
6.如权利要求1所述的基于深度学习的图像分割方法，其特征在于，在所述步骤S3中，利用训练样本对图像分割卷积网络进行多轮次训练，每一轮训练结束后保存之前训练轮次中DICE系数最高的图像分割卷积网络的模型参数，当经过早停函数设置的数值个轮次后，图像分割卷积网络的模型参数没有被更新，则训练结束，否则进行下一早停函数设置的数值个轮次训练。
7.一种图像分割系统，其特征在于，包括图片输入单元和处理器，所述处理器从图片输入单元获得待分割图片并按照权利要求1-6之一所述的基于深度学习的图像分割方法对待分割图片进行图像分割。
CN202011168588.3A 2020-10-27 2020-10-27 一种基于深度学习的图像分割方法及系统 Active CN112348839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011168588.3A CN112348839B (zh) 2020-10-27 2020-10-27 一种基于深度学习的图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011168588.3A CN112348839B (zh) 2020-10-27 2020-10-27 一种基于深度学习的图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN112348839A CN112348839A (zh) 2021-02-09
CN112348839B true CN112348839B (zh) 2024-03-15

Family

ID=74359269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011168588.3A Active CN112348839B (zh) 2020-10-27 2020-10-27 一种基于深度学习的图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN112348839B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344939A (zh) * 2021-05-07 2021-09-03 西安智诊智能科技有限公司 一种基于细节保持网络的图像分割方法
CN113255601B (zh) * 2021-06-29 2021-11-12 深圳市安软科技股份有限公司 一种车辆重识别模型的训练方法、系统及相关设备
CN116912489A (zh) * 2023-06-26 2023-10-20 天津师范大学 一种基于傅里叶先验知识的医学图像分割方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN110414674A (zh) * 2019-07-31 2019-11-05 浙江科技学院 一种基于残差网络及局部细化的单目深度估计方法
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
EP3620986A1 (en) * 2018-09-05 2020-03-11 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for analysis of cell images
EP3660785A1 (en) * 2018-11-30 2020-06-03 Laralab UG Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法
CN111598095A (zh) * 2020-03-09 2020-08-28 浙江工业大学 一种基于深度学习的城市道路场景语义分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629898A4 (en) * 2017-05-30 2021-01-20 Arterys Inc. AUTOMATED LESION DETECTION, SEGMENTATION AND LONGITUDINAL IDENTIFICATION
WO2020190821A1 (en) * 2019-03-15 2020-09-24 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620986A1 (en) * 2018-09-05 2020-03-11 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for analysis of cell images
EP3660785A1 (en) * 2018-11-30 2020-06-03 Laralab UG Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN110414674A (zh) * 2019-07-31 2019-11-05 浙江科技学院 一种基于残差网络及局部细化的单目深度估计方法
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法
CN111598095A (zh) * 2020-03-09 2020-08-28 浙江工业大学 一种基于深度学习的城市道路场景语义分割方法
CN111681252A (zh) * 2020-05-30 2020-09-18 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的脑MRI分割模型研究;接鑫;王瑶;郭丽红;;工业控制计算机;20200825(第08期);全文 *

Also Published As

Publication number Publication date
CN112348839A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112348839B (zh) 一种基于深度学习的图像分割方法及系统
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN107220980B (zh) 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN109886922B (zh) 基于SE-DenseNet深度学习框架和增强MR图像的肝细胞癌自动分级方法
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN110147763A (zh) 基于卷积神经网络的视频语义分割方法
CN106934418B (zh) 一种基于卷积递归网络的绝缘子红外诊断方法
CN110287777A (zh) 一种自然场景下的金丝猴躯体分割算法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN110738660A (zh) 基于改进U-net的脊椎CT图像分割方法及装置
CN110942464A (zh) 一种融合2维和3维模型的pet图像分割方法
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN111429510B (zh) 基于自适应特征金字塔的花粉检测方法
CN113989261A (zh) 基于Unet改进的无人机视角下红外图像光伏板边界分割方法
CN116012581A (zh) 一种基于双重注意力融合的图像分割方法
CN116757988A (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN107909565A (zh) 基于卷积神经网络的立体图像舒适度评价方法
CN107492085A (zh) 基于双树复小波变换的立体图像质量评价方法
CN111445445A (zh) 基于半监督异常检测的碳纤维复合芯导线损伤检测方法
CN116152199A (zh) 基于分割图引导与正则约束的手部姿势与形状估计方法
CN110084810A (zh) 一种肺结节图像检测方法、模型训练方法、装置及存储介质
CN113205078B (zh) 基于多分支递进强化注意力人群计数方法
CN111047597B (zh) 一种基于深度学习的多回波水脂分离方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant