CN116452614B - 基于深度学习的超声图像分割方法和系统 - Google Patents

基于深度学习的超声图像分割方法和系统 Download PDF

Info

Publication number
CN116452614B
CN116452614B CN202310708484.4A CN202310708484A CN116452614B CN 116452614 B CN116452614 B CN 116452614B CN 202310708484 A CN202310708484 A CN 202310708484A CN 116452614 B CN116452614 B CN 116452614B
Authority
CN
China
Prior art keywords
segmentation
image
ultrasonic image
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310708484.4A
Other languages
English (en)
Other versions
CN116452614A (zh
Inventor
罗家佳
左健为
耿京
张晨鑫
孙秀丽
王建六
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202310708484.4A priority Critical patent/CN116452614B/zh
Publication of CN116452614A publication Critical patent/CN116452614A/zh
Application granted granted Critical
Publication of CN116452614B publication Critical patent/CN116452614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种基于深度学习的超声图像分割方法和系统，主干网络对待分割超声图像进行粗分割，将多个器官从一个超声图像中分离，得到多个粗分割结果图像及其对应的器官标签，每个粗分割结果图像中只包括一个带有噪声的器官分割结果，为后续针对不同器官标签输入至不同的支路网络进行细分割提供良好的数据基础，降低支路网络细分割时的计算量，提升整体分割效率。每个支路网络根据器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，使得多个支路网络可以根据自身擅长分割的器官类型对匹配的粗分割结果图像进行细分割，剔除噪声部分，输出器官的精细分割结果，提升分割精准度，实现有效的分割。

Description

基于深度学习的超声图像分割方法和系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的超声图像分割方法和系统。
背景技术
超声波是一种高频声波，可以穿透人体组织，反射回来的声波被接收器接收后，通过计算机处理成图像，以便医生进行诊断。超声成像在医学领域中的应用非常广泛，针对妇科疾病，可以用于检查妇科肿瘤、子宫肌瘤、卵巢囊肿、子宫内膜增生、子宫内膜癌等疾病。超声波可以帮助医生确定病变的位置、大小和形态，以便制定合适的治疗方案。在心脏病诊断方面，主要用于检查心脏的结构和功能。超声波可以帮助医生确定心脏的大小、形态和运动情况，以便判断是否存在心脏病。超声波还可以检查心脏瓣膜的功能，以便判断是否存在瓣膜病变。在消化系统疾病诊断方面，主要用于检查肝、胆囊、胰腺、脾等器官。超声影像可以帮助医生确定器官的大小、形态和结构，以便判断是否存在疾病。超声还可以检查肝囊肿、胆囊结石等疾病，以便帮助医生制定合适的治疗方案。超声在女性盆底疾病检查中也应用广泛，例如超声可以帮助医生检查盆底肌肉和组织的结构和功能，以便判断是否存在盆底肌肉松弛、膀胱脱垂等疾病，还可以检查盆底肌肉的张力、位置和运动情况，以便制定合适的治疗方案。
当超声用于临床诊断时，通常需要将超声图像中的组织器官分割出来。所谓超声图像语义分割是指将超声图像中的不同组织和器官分割出来，以便医生更准确地诊断和治疗疾病。传统的超声图像分割方法主要是基于经典图像处理技术和机器学习算法，例如边缘检测算法，区域生长算法等。但这些方法往往需要手工提取特征和选择分类器，而且泛化性较差，对于复杂的超声图像分割效果不佳。因此为了保证分割的效果，医生通常需要手动分割器官，这既耗时又费力，极大浪费了临床医生宝贵的工作时间。
虽然利用深度学习的方法对超声图像进行语义分割已经得到了一定的成功，但仍存在一些不足之处。首先是数据量不足的问题，深度学习需要大量的数据来训练模型，但是在医学领域中获取大量的标注数据是非常困难的，对临床医生也形成了额外的负担，而数据量不足又会导致深度学习模型达不到很好的效果。因此，深度学习在超声语义分割中的应用受到了数据量的限制。其次由于超声图像的分辨率相较于其他的成像方法，例如磁共振成像、计算机断层扫描成像等，分辨率较低，特别是对于器官边缘轮廓的细节部分成像质量较差，因此对于超声下利用深度学习模型进行语义分割造成了额外的困难。此外，由于超声成像的质量会收到超声医师操作方式的影响，因此可能由于超声医师的技术不够熟练造成扫描的效果变差的情况，使得器官的成像效果更加模糊，因此如何克服以上的问题，在相对较低质量的超声影像中实现器官的分割是重要的挑战。对于一些特殊的器官，例如盆底的膀胱，子宫等，利用深度学习模型进行语义分割会更加困难。目前取得比较好分割效果的模型主要集中在乳腺，肝脏等器官，这些部位的器官形状相对比较规整，且不同人之间，不同时间段下形状都不会存在过大的差异。但是对于盆底的膀胱、子宫等器官，最大的特点是形状变化非常大。例如膀胱，不同人，不同扫描时间下残余尿量的不同会导致膀胱的大小出现非常大的差异；子宫也是同样如此，不同年龄的女性子宫的大小会有比较明显的变化，即使是经期和非经期都会让子宫的形状大小出现明显的变化，所以如何针对盆底的多个器官这样变化比较大部位实现超声下的语义分割也是尚未得到很好解决的问题。
发明内容
本发明提供一种基于深度学习的超声图像分割方法和系统，用以解决现有技术对包括多个器官的超声图像分割质量较差的缺陷，实现对于超声图像中多个器官自动、高精度地对进行有效的分割。
本发明提供一种基于深度学习的超声图像分割方法，包括：
获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；
将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；
其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；
所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；
每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述主干网络的预训练包括图像恢复预训练和分割预训练；
所述预训练的主干网络通过如下方式得到：
根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络；
根据预先获取的分割预训练超声图像数据集，对所述中间状态主干网络进行分割训练，得到预训练的主干网络。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络，包括：
获取图像恢复预训练超声图像数据集，所述图像恢复预训练超声图像数据集包括第一超声图像样本；
对所述第一超声图像样本进行随机区域遮盖，得到遮盖后的第一超声图像样本；
将所述遮盖后的第一超声图像样本输入预设的主干网络进行图像恢复，得到恢复超声图像样本；
根据所述第一超声图像样本和所述恢复超声图像样本确定相似度损失；
根据所述相似度损失优化所述主干网络的参数，并返回重新执行所述对所述第一超声图像样本进行随机区域遮盖的步骤；
在所述相似度损失满足预设阈值的情况下，完成图像恢复预训练，将所述主干网络确定为所述中间状态主干网络。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述根据预先获取的分割预训练超声图像数据集，对所述中间状态主干网络进行分割训练，得到预训练的主干网络：
获取分割预训练超声图像数据集；其中，所述分割预训练超声图像数据集包括第二超声图像样本以及对应的分割掩码，所述第二超声图像样本包括多个器官和噪声，所述分割掩码包括对应第二超声图像样本中多个器官各自对应的子分割掩码；
将所述第二超声图像样本输入所述中间状态主干网络，对所述第二超声图像样本进行粗分割，得到多个粗分割结果图像样本以及对应的多个器官标签；其中，每个所述粗分割结果图像样本中只包括一个带有噪声的器官分割结果；
根据所述粗分割结果图像样本和所述分割掩码，确定第一交叉熵损失和第一Dice损失；
根据所述第一交叉熵损失和所述第一Dice损失，优化所述中间状态主干网络的参数，返回重新执行所述将所述第二超声图像样本输入所述中间状态主干网络的步骤；
在所述第一交叉熵损失和所述第一Dice损失满足预设阈值的情况下，完成分割预训练，将所述中间状态主干网络确定为预训练的主干网络。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述获取分割预训练超声图像数据集，包括：
获取多个待处理超声图像样本，所述待处理超声图像样本包括多个器官和噪声；
对所述多个待处理超声图像样本进行分辨率归一化和灰度归一化，得到多个预处理超声图像样本；
对所述多个预处理超声图像样本进行边缘检测，得到对应的多个边缘检测超声图像样本；
将每个所述预处理超声图像样本和对应的所述边缘检测超声图像样本进行图像融合，得到所述第二超声图像样本；
获取与所述第二超声图像样本对应的分割掩码；
根据多个所述第二超声图像样本以及对应的分割掩码，生成所述分割预训练超声图像数据集。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述得到所述第二超声图像样本之后，还包括：
对所述第二超声图像样本进行旋转、平移、放缩和对比度拉伸中的至少一项处理，得到额外的第二超声图像样本。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述预训练的多个支路网络通过如下方式训练得到：
根据预设的器官标签与支路网络映射关系，在多个粗分割结果图像样本以及对应的多个子分割掩码中，确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码；
将所述目标粗分割结果图像样本，输入相匹配的预设的支路网络，输出目标分割结果图像样本，所述目标分割结果图像样本中只包括一个器官分割结果；
根据每个所述支路网络的所述目标分割结果图像样本和所述目标子分割掩码，确定每个所述支路网络的第二交叉熵损失和第二Dice损失；
根据每个所述支路网络的所述第二交叉熵损失和所述第二Dice损失，优化每个所述支路网络的参数，返回重新执行所述确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码的步骤；
在每个所述支路网络的所述第二交叉熵损失和第二Dice损失满足预设阈值的情况下，完成多个支路网络的预训练，将多个支路网络确定为预训练的多个支路网络。
本发明还提供一种基于深度学习的超声图像分割系统，包括：
获取单元，用于获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；
分割单元，用于将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；
其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；
所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；
每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习的超声图像分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的超声图像分割方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于深度学习的超声图像分割方法的步骤。
本发明提供的基于深度学习的超声图像分割方法和系统，待分割超声图像中包括多个器官和噪声。主干网络对待分割超声图像进行粗分割，将多个器官从一个超声图像中分离，得到多个粗分割结果图像及其对应的器官标签，每个粗分割结果图像中只包括一个带有噪声的器官分割结果，为后续针对不同对器官标签输入至不同的支路网络进行细分割提供良好的数据基础，降低支路网络细分割时的计算量，提升整体分割效率。每个支路网络根据器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，使得多个支路网络可以根据自身擅长分割的器官类型对匹配的粗分割结果图像进行细分割，剔除噪声部分，输出器官的精细分割结果，提升分割精准度，实现有效的分割。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于深度学习的超声图像分割方法的流程示意图之一；
图2是本发明提供的遮盖后的第一超声图像样本示意图；
图3是本发明提供的待处理超声图像样本示意图；
图4是本发明提供的边缘检测超声图像样本示意图；
图5是本发明提供的预训练的超声图像分割网络原理示意图；
图6是本发明提供的主干网络和支路网络的网络结构示意图
图7是本发明提供的技术方案和现有技术的技术方案的效果对比图；
图8是本发明提供的支路网络输出的分割结果与分割掩码的效果对比图；
图9是本发明提供的多个目标分割结果图像融合后的结果与分割掩码的效果对比图之一；
图10是本发明提供的多个目标分割结果图像融合后的结果与分割掩码的效果对比图之二；
图11是本发明提供的基于深度学习的超声图像分割系统的结构示意图；
图12是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为方便理解本发明，现对本发明的原理进行解释。
本发明的技术路线包括三个部分，一个是预处理部分，一个是图像分割部分，一个是后处理部分。
在预处理部分，首先对超声图像进行预处理，将图像分辨率和灰度进行归一化，使用边缘增强的算子对超声图像中器官的边界进行检测增强。同时，在预处理的部分，结合两种预训练的方法对超声图像分割网络中的主干网络进行预训练，对超声图像分割网络中的多个支路网络进行训练。让模型预先具备一定与超声图像相关的权重，存储部分超声相关“知识”。
在预处理模块后，接入图像分割部分。以女性盆底超声为例，由于女性盆底主要包括三个主要器官：膀胱，子宫和直肠，而三种器官都存在比较大的形态变化，因此在现有技术中单个深度学习模型难以实现同时对三种器官的良好分割，因此本发明首先将主干网络对盆底超声图像中三个器官进行粗分割，将主干网络的输出结果作为下一阶段更精细化分割的输入，将图像分割的过程分为两个阶段。第一个阶段里先用预训练的主干网络对超声图像进行粗分割，将原本包含多个器官和噪声的超声图像，粗分割得到多个仅包含一个带有噪声的器官分割结果的粗分割结果图像。第二步是针对不同的器官对粗分割结果图像用对应的支路网络进行更精细化分割，将粗分割结果图像中的噪声剔除，仅保留一个器官的精细无噪声的分割结果，得到目标分割结果图像。
最后是后处理部分，考虑到识别和分割产生的错误分割，将小部分噪声错认为器官从而分割的情况，可以只保留目标分割结果图像中较大面积的目标分割结果图像，对于一些杂散的小面积目标分割结果图像予以去除。
对超声图像分割网络中的主干网络和支路网络的预训练过程中，通过交叉熵损失和Dice损失被用于评估模型的性能。Dice损失由DSC (Dice Similarity Coefficient，Dice相似度系数)确定。交叉熵损失可以用于指导网络在进行分割时基于分割边界等分割的细节对网络的参数进行优化，Dice损失可以用于指导网络在进行分割时基于整体分割结果对网络的参数进行优化。
本发明提供一种基于深度学习的超声图像分割方法，如图1所示，包括：
S11、获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；
S12、将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；
其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；
所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；
每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果。
可选的，为增强分割效果，可以对待分割超声图像进行边缘增强：将待分割超声图像进行边缘检测，得到边缘检测后的待分割超声图像，将待分割超声图像和边缘检测后的待分割超声图像融合得到融合图像。将融合图像输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像。
本发明实施例中，待分割超声图像中包括多个器官和噪声。主干网络对待分割超声图像进行粗分割，将多个器官从一个超声图像中分离，得到多个粗分割结果图像及其对应的器官标签，每个粗分割结果图像中只包括一个带有噪声的器官分割结果，为后续针对不同对器官标签输入至不同的支路网络进行细分割提供良好的数据基础，降低支路网络细分割时的计算量，提升整体分割效率。每个支路网络根据器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，使得多个支路网络可以根据自身擅长分割的器官类型对匹配的粗分割结果图像进行细分割，剔除噪声部分，输出器官的精细分割结果，提升分割精准度，实现有效的分割。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述主干网络的预训练包括图像恢复预训练和分割预训练；
所述预训练的主干网络通过如下方式得到：
S21、根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络；
S22、根据预先获取的分割预训练超声图像数据集，对所述中间状态主干网络进行分割训练，得到预训练的主干网络。
具体地，通过图像恢复预训练可以让预设的主干网络学习超声图像的基本特征，增强主干网络对超声图像中各个器官部位的空间相对位置关系进行更多的关注，充分提取超声图像的基本特征信息，得到中间状态主干网络。通过分割预训练可以让中间状态主干网络学习如何按照器官对超声图像进行分割。
本发明实施例中，通过图像恢复预训练和分割预训练，增强了主干网络对超声图像中各个器官部位的空间相对位置关系进行更多的关注，充分提取超声图像的基本特征信息，并在此基础上学习对超声图像中的器官进行分割。
根据本发明提供的一种基于深度学习的超声图像分割方法，步骤S21包括：
S31、获取图像恢复预训练超声图像数据集，所述图像恢复预训练超声图像数据集包括第一超声图像样本；
S32、对所述第一超声图像样本进行随机区域遮盖，得到遮盖后的第一超声图像样本；
S33、将所述遮盖后的第一超声图像样本输入预设的主干网络进行图像恢复，得到恢复超声图像样本；
S34、根据所述第一超声图像样本和所述恢复超声图像样本确定相似度损失；
S35、根据所述相似度损失优化所述主干网络的参数，并返回重新执行所述对所述第一超声图像样本进行随机区域遮盖的步骤；
S36、在所述相似度损失满足预设阈值的情况下，完成图像恢复预训练，将所述主干网络确定为所述中间状态主干网络。
具体地，可以对图像恢复预训练超声图像数据集的第一超声图像样本进行随机区域遮盖，如图2所示，得到遮盖后的第一超声图像样本。将遮盖后的第一超声图像样本输入预设的主干网络进行图像恢复，得到恢复超声图像样本。根据第一超声图像样本和恢复超声图像样本确定相似度损失，优化主干网络的网络模型参数。
本发明实施例中，将超声图像的某些部分进行随机的遮盖，然后让主干网络恢复出原有的超声图像，可以让主干网络学习到超声图像相关的基本特征。此外由于遮盖具有随机性，可以让模型对超声图像中各个器官部位的空间相对位置关系进行更多的关注，充分提取超声图像的基本特征信息。
根据本发明提供的一种基于深度学习的超声图像分割方法，步骤S22包括：
S41、获取分割预训练超声图像数据集；其中，所述分割预训练超声图像数据集包括第二超声图像样本以及对应的分割掩码，所述第二超声图像样本包括多个器官和噪声，所述分割掩码包括对应第二超声图像样本中多个器官各自对应的子分割掩码；
S42、将所述第二超声图像样本输入所述中间状态主干网络，对所述第二超声图像样本进行粗分割，得到多个粗分割结果图像样本以及对应的多个器官标签；其中，每个所述粗分割结果图像样本中只包括一个带有噪声的器官分割结果；
S43、根据所述粗分割结果图像样本和所述分割掩码，确定第一交叉熵损失和第一Dice损失；
S44、根据所述第一交叉熵损失和所述第一Dice损失，优化所述中间状态主干网络的参数，返回重新执行所述将所述第二超声图像样本输入所述中间状态主干网络的步骤；
S45、在所述第一交叉熵损失和所述第一Dice损失满足预设阈值的情况下，完成分割预训练，将所述中间状态主干网络确定为预训练的主干网络。
具体地，通过中间状态主干网络，对第二超声图像样本进行粗分割，得到多个粗分割结果图像样本以及对应的多个器官标签。
粗分割结果图像样本、子分割掩码和器官标签为一一对应的关系。
一个示例中，第二超声图像样本以女性盆底超声为例，包括3个器官分别为膀胱、子宫和直肠。第二超声图像样本对应有一个分割掩码，分割掩码包括用于表示膀胱、子宫和直肠三个器官所在超声图像的位置的膀胱子分割掩码、子宫子分割掩码和直肠子分割掩码。将第二超声图像样本输入中间状态主干网络，可以得到3个粗分割结果图像样本分为A、B和C，以及与每个粗分割结果图像样本对应的器官标签。粗分割结果图像样本A中包括膀胱，粗分割结果图像样本A还对应有器官标签“膀胱”。粗分割结果图像样本B、C及其各自对应的器官标签的关系，与粗分割结果图像样本A及其对应的器官标签的关系相同，在此不再赘述。
第一交叉熵损失的原型见公式1：
（1）
第一Dice损失通过DSC(Dice Similarity Coefficient，Dice相似度系数)确定，第一Dice损失的原型见公式2和公式3：
（2）
（3）
其中，在计算第一交叉熵损失以及第一Dice损失的情况下，表示中间状态主干网络输出的粗分割结果图像样本，表示输入中间状态主干网络的分割掩码。
可选的，可以将第一交叉熵损失以及第一Dice损失按照预设权重进行组合，通过组合后的损失优化中间状态主干网络，优选地两种损失权重比值为1:1。
本发明实施例中，通过第一交叉熵损失和第一Dice损失优化中间状态主干网络，交叉熵损失可以用于指导对分割时基于分割边界等分割的细节进行优化，Dice损失可以用于指导对分割时基于整体分割结果进行优化，使预训练的主干网络对超声图像中的多个器官具有良好的分割能力。
根据本发明提供的一种基于深度学习的超声图像分割方法，步骤S41包括：
S51、获取多个待处理超声图像样本，所述待处理超声图像样本包括多个器官和噪声；
S52、对所述多个待处理超声图像样本进行分辨率归一化和灰度归一化，得到多个预处理超声图像样本；
S53、对所述多个预处理超声图像样本进行边缘检测，得到对应的多个边缘检测超声图像样本；
S54、将每个所述预处理超声图像样本和对应的所述边缘检测超声图像样本进行图像融合，得到所述第二超声图像样本；
S55、获取与所述第二超声图像样本对应的分割掩码；
S56、根据多个所述第二超声图像样本以及对应的分割掩码，生成所述分割预训练超声图像数据集。
具体地，一个示例中，采集了65个患者共792张超声影像作为待处理超声图像样本。每个待处理超声图像样本都是由超声医师经会阴部采集的处于标准正中矢状位的盆底超声，待处理超声图像样本如图3所示。
由于采集的超声影像来自于多个不同品牌和型号的超声机，因此采集得到的超声影像会有不同的尺寸，因此首先对来自不同设备的超声数据进行归一化处理，在包含所要分割器官的主体的情况下将图像的分辨率大小调整为640x800的大小，并在灰度数值上进行均值归一化处理，得到预处理超声图像样本。
为了进一步加强超声图像中器官模糊边界的特征，利用Sobel算子对预处理超声图像样本进行边缘检测，边缘检测超声图像样本如图4所示。
将每个预处理超声图像样本和对应的边缘检测超声图像样本进行图像融合，得到边缘增强后的第二超声图像样本，作为后续中间状态主干网络的一个输入。
与第二超声图像样本对应的分割掩码为在3D Slicer软件中进行手动的标注，标注的分割掩码会以“one-hot”编码的形式作为后续中间状态主干网络的一个输入。
根据多个第二超声图像样本以及对应的分割掩码，生成分割预训练超声图像数据集。
可选的，步骤S54之后还可以对所述第二超声图像样本进行旋转、平移、放缩和对比度拉伸中的至少一项处理，得到额外的第二超声图像样本。
通过旋转、平移、放缩和对比度拉伸，得到来自同一个数据分布但是与处理前的图像又有明显区别的新数据，可以人工扩大分割预训练超声图像数据集的样本数量，从而增强模型的泛化能力。
本发明实施例中，对原始采集的待处理超声图像样本进行分辨率归一化、灰度值归一化、边缘检测和边缘增强，得到的第二超声图像样本更加容易让中间状态主干网络学习和理解超声图像的特征，便于对超声图像中的多个器官进行分割。
根据本发明提供的一种基于深度学习的超声图像分割方法，所述预训练的多个支路网络通过如下方式训练得到：
S31、根据预设的器官标签与支路网络映射关系，在多个粗分割结果图像样本以及对应的多个子分割掩码中，确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码；
S32、将所述目标粗分割结果图像样本，输入相匹配的预设的支路网络，输出目标分割结果图像样本，所述目标分割结果图像样本中只包括一个器官分割结果；
S33、根据每个所述支路网络的所述目标分割结果图像样本和所述目标子分割掩码，确定每个所述支路网络的第二交叉熵损失和第二Dice损失；
S34、根据每个所述支路网络的所述第二交叉熵损失和所述第二Dice损失，优化每个所述支路网络的参数，返回重新执行所述确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码的步骤；
S35、在每个所述支路网络的所述第二交叉熵损失和第二Dice损失满足预设阈值的情况下，完成多个支路网络的预训练，将多个支路网络确定为预训练的多个支路网络。
具体地，对于不同的器官设置不同的支路网络，使得对不同器官对应的粗分割结果图像样本进行更加精细的分割，剔除其中的噪声得到只包含器官分割结果的目标分割结果图像样本。
根据器官的数量输入到多个支路针对每个器官进行单独精细化分割，这个过程中原有标注的经过“one-hot”编码处理后的分割掩码同样根据所分割器官的数量进行分离，通过子分割掩码指导对应器官支路的分割。
为此可以预先设定器官标签与支路网络映射关系，如器官标签“膀胱”对应膀胱支路网络，后续则可以在多个粗分割结果图像样本中确定器官标签为“膀胱”的目标粗分割结果图像样本以及对应的膀胱子分割掩码，将器官标签为“膀胱”的目标粗分割结果图像样本输入膀胱支路网络，从而准确精细地分割出膀胱超声图像样本。根据膀胱超声图像样本和膀胱子分割掩码计算第二交叉熵损失和第二Dice损失，从而优化膀胱支路网络。
对于其他与器官标签匹配的支路网络的优化过程与膀胱支路网络优化过程相同，在此不再赘述。
第二交叉熵损失的原型见公式1：
第二Dice损失通过DSC(Dice Similarity Coefficient，Dice相似度系数)确定，第二Dice损失的原型见公式2和公式3：
其中，在计算第二交叉熵损失以及第二Dice损失的情况下，表示支路网络输出的目标分割结果图像样本，表示输入支路网络的目标子分割掩码。
可选的，可以将第二交叉熵损失以及第二Dice损失按照预设权重进行组合，通过组合后的损失优化支路网络，优选地两种损失权重比值为1:1。
本发明实施例中，通过第二交叉熵损失和第二Dice损失优化支路网络，交叉熵损失可以用于指导对分割时基于分割边界等分割的细节进行优化，Dice损失可以用于指导对分割时基于整体分割结果进行优化，使预训练的支路网络对超声图像中的单个器官具有良好的分割能力。
基于上述各实施例的一个示例中，预训练的超声图像分割网络原理示意图如图5所示，其中实线箭头为超声图像分割网络的前向过程，即应用阶段的分割流程，虚线箭头为超声图像分割网络的监督过程，即训练阶段的训练流程。
前向过程（即应用过程）中，将超声图像和边缘检测后的超声图像的融合后的融合图像输入主干网络进行粗分割，得到粗分割结果，粗分割结果包括膀胱粗分割结果图像、子宫粗分割结果图像和直肠粗分割结果图像以及各自对应的器官标签（器官标签在图5中未示出），粗分割结果图像中除了器官分割结果还有部分噪声。按照预设的器官标签和支路网络映射关系，将膀胱粗分割结果图像输入对应的膀胱支路网络，将子宫粗分割结果图像输入对应的子宫支路网络，将直肠粗分割结果图像输入对应的直肠支路网络，剔除粗分割结果图像中的噪声，对粗分割结果图像中的器官进行细分割，得到只包括一个器官分割结果的膀胱分割结果图像、子宫分割结果图像和直肠分割结果图像。为方便查看以及与未进行超声图像分割时比对，将多个支路网络输出的目标分割结果图像进行融合，得到融合后的目标分割结果图像，融合后的目标分割结果图像只包括膀胱、子宫和直肠对应的分割结果，没有噪声。
监督过程（即训练过程）中，通过与输入主干网络的融合图像对应的分割掩码（包括膀胱分割掩码、子宫分割掩码和直肠分割掩码）以及粗分割结果图像（包括膀胱粗分割结果图像、子宫粗分割结果图像和直肠粗分割结果图像）计算交叉熵损失和Dice损失，优化主干网络。通过膀胱子分割掩码和膀胱支路网络输出的膀胱超声图像计算交叉熵损失和Dice损失，优化膀胱支路网络。通过子宫子分割掩码和子宫支路网络输出的子宫超声图像计算交叉熵损失和Dice损失，优化子宫支路网络。通过直肠子分割掩码和直肠支路网络输出的直肠的直肠分割结果图像计算交叉熵损失和Dice损失，优化直肠支路网络。
为了评估所提出的方法的有效性，标记的超声图像被分成三部分进行模型训练、验证和测试。其中49个病人，共392张图像用于上述网络的训练，9个病人共72张图像用于上述网络的验证，7个病人共56张图像用于上述网络以及整体流程的测试集。
在训练过程中，Adam优化器被用来在具有24GB计算内存的NVIDIA TITAN RTX显卡上进行训练。所有模型都训练了400轮，学习率为0.0002。
预设的主干网络和支路网络的网络结构采用类似U-Net的“编码器-解码器”结构，并在编码器和解码器之间的跳跃连接中引入注意力机制模块增强网络的学习能力，如图6所示，主干网络和支路网络的网络结构中包括卷积层、下采样层、上采样层、注意力模块和跳跃连接，其中，右箭头表示卷积层，下箭头表示下采样层，上箭头表示上采样层，虚线箭头表示跳跃连接，括号中的数字表示分辨率和通道数，例如（640，800，32）表示分辨率为640*800，通道数为32。
本发明技术方案和现有技术对于测试集图像中膀胱、子宫和直肠分割的效果对比如图7所示。与现有技术中通过单个U-Net对包括多个器官的超声图像进行分割相比，本发明提出的技术方案具有更好的性能。本发明提出的技术方案和单个U-Net的平均DSC（Dice相似度系数）值对于膀胱分别为0.812和0.785，对于子宫分别为0.468和0.394，对于直肠分别为0.573和0.515。可见，对于边界更模糊的器官，尤其对子宫和直肠进行分割，改善效果更加显著。
本发明提出的技术方案中支路网络输出的分割结果与超声医师手动分割的分割掩码效果对比如图8所示。图8中，（a）为膀胱分割掩码，（b）为膀胱支路网络输出的膀胱分割结果图像；（c）为子宫分割掩码，（d）为子宫支路网络输出的膀胱分割结果图像；（e）为直肠分割掩码，（f）为直肠支路网络输出的膀胱分割结果图像。可以看到本发明提出的技术方案中各个支路网络输出的分割结果接近于超声医师手动分割的分割掩码。
对于测试图像1和测试图像2进行多器官分割后，多个目标分割结果图像融合后的结果与超声医师手动分割的分割掩码效果对比如图9和图10所示。图9中，（a）为测试图像1，（b）为超声医师对测试图像1手动分割的分割掩码，（c）为测试图像1通过本发明的预训练的超声图像分割网络得到的多个目标分割结果图像融合后的结果。图10中，（a）为测试图像2，（b）为超声医师对测试图像2手动分割的分割掩码，（c）为测试图像2通过本发明的预训练的超声图像分割网络得到的多个目标分割结果图像融合后的结果。可以看到本发明提出的技术方案整体上对于多器官的超声图像进行分割的结果接近于超声医师手动分割的分割掩码。
下面对本发明提供的基于深度学习的超声图像分割系统进行描述，下文描述的基于深度学习的超声图像分割系统与上文描述的基于深度学习的超声图像分割方法可相互对应参照。
本发明还提供一种基于深度学习的超声图像分割系统，如图11所示，包括：
获取单元111，用于获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；
分割单元112，用于将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；
其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；
所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；
每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果。
本发明实施例中，待分割超声图像中包括多个器官和噪声。主干网络对待分割超声图像进行粗分割，将多个器官从一个超声图像中分离，得到多个粗分割结果图像及其对应的器官标签，每个粗分割结果图像中只包括一个带有噪声的器官分割结果，为后续针对不同对器官标签输入至不同的支路网络进行细分割提供良好的数据基础，降低支路网络细分割时的计算量，提升整体分割效率。每个支路网络根据器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，使得多个支路网络可以根据自身擅长分割的器官类型对匹配的粗分割结果图像进行细分割，剔除噪声部分，输出器官的精细分割结果，提升分割精准度，实现有效的分割。
根据本发明提供的一种基于深度学习的超声图像分割系统，所述主干网络的预训练包括图像恢复预训练和分割预训练；
所述预训练的主干网络通过如下方式得到：
根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络；
根据预先获取的分割预训练超声图像数据集，对所述中间状态主干网络进行分割训练，得到预训练的主干网络。
根据本发明提供的一种基于深度学习的超声图像分割系统，所述根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络，包括：
获取图像恢复预训练超声图像数据集，所述图像恢复预训练超声图像数据集包括第一超声图像样本；
对所述第一超声图像样本进行随机区域遮盖，得到遮盖后的第一超声图像样本；
将所述遮盖后的第一超声图像样本输入预设的主干网络进行图像恢复，得到恢复超声图像样本；
根据所述第一超声图像样本和所述恢复超声图像样本确定相似度损失；
根据所述相似度损失优化所述主干网络的参数，并返回重新执行所述对所述第一超声图像样本进行随机区域遮盖的步骤；
在所述相似度损失满足预设阈值的情况下，完成图像恢复预训练，将所述主干网络确定为所述中间状态主干网络。
根据本发明提供的一种基于深度学习的超声图像分割系统，所述根据预先获取的分割预训练超声图像数据集，对所述中间状态主干网络进行分割训练，得到预训练的主干网络：
获取分割预训练超声图像数据集；其中，所述分割预训练超声图像数据集包括第二超声图像样本以及对应的分割掩码，所述第二超声图像样本包括多个器官和噪声，所述分割掩码包括对应第二超声图像样本中多个器官各自对应的子分割掩码；
将所述第二超声图像样本输入所述中间状态主干网络，对所述第二超声图像样本进行粗分割，得到多个粗分割结果图像样本以及对应的多个器官标签；其中，每个所述粗分割结果图像样本中只包括一个带有噪声的器官分割结果；
根据所述粗分割结果图像样本和所述分割掩码，确定第一交叉熵损失和第一Dice损失；
根据所述第一交叉熵损失和所述第一Dice损失，优化所述中间状态主干网络的参数，返回重新执行所述将所述第二超声图像样本输入所述中间状态主干网络的步骤；
在所述第一交叉熵损失和所述第一Dice损失满足预设阈值的情况下，完成分割预训练，将所述中间状态主干网络确定为预训练的主干网络。
根据本发明提供的一种基于深度学习的超声图像分割系统，所述获取分割预训练超声图像数据集，包括：
获取多个待处理超声图像样本，所述待处理超声图像样本包括多个器官和噪声；
对所述多个待处理超声图像样本进行分辨率归一化和灰度归一化，得到多个预处理超声图像样本；
对所述多个预处理超声图像样本进行边缘检测，得到对应的多个边缘检测超声图像样本；
将每个所述预处理超声图像样本和对应的所述边缘检测超声图像样本进行图像融合，得到所述第二超声图像样本；
获取与所述第二超声图像样本对应的分割掩码；
根据多个所述第二超声图像样本以及对应的分割掩码，生成所述分割预训练超声图像数据集。
根据本发明提供的一种基于深度学习的超声图像分割系统，所述得到所述第二超声图像样本之后，还包括：
对所述第二超声图像样本进行旋转、平移、放缩和对比度拉伸中的至少一项处理，得到额外的第二超声图像样本。
根据本发明提供的一种基于深度学习的超声图像分割系统，所述预训练的多个支路网络通过如下方式训练得到：
根据预设的器官标签与支路网络映射关系，在多个粗分割结果图像样本以及对应的多个子分割掩码中，确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码；
将所述目标粗分割结果图像样本，输入相匹配的预设的支路网络，输出目标分割结果图像样本，所述目标分割结果图像样本中只包括一个器官分割结果；
根据每个所述支路网络的所述目标分割结果图像样本和所述目标子分割掩码，确定每个所述支路网络的第二交叉熵损失和第二Dice损失；
根据每个所述支路网络的所述第二交叉熵损失和所述第二Dice损失，优化每个所述支路网络的参数，返回重新执行所述确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码的步骤；
在每个所述支路网络的所述第二交叉熵损失和第二Dice损失满足预设阈值的情况下，完成多个支路网络的预训练，将多个支路网络确定为预训练的多个支路网络。
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行基于深度学习的超声图像分割方法，该方法包括：获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果。
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于深度学习的超声图像分割方法，该方法包括：获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习的超声图像分割方法，该方法包括：获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于深度学习的超声图像分割方法，其特征在于，包括：
获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；
将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；
其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；
所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；
每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果；
所述主干网络的预训练包括图像恢复预训练；
所述预训练的主干网络通过如下方式得到：
根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络；
所述根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络，包括：
获取图像恢复预训练超声图像数据集，所述图像恢复预训练超声图像数据集包括第一超声图像样本；
对所述第一超声图像样本进行随机区域遮盖，得到遮盖后的第一超声图像样本；
将所述遮盖后的第一超声图像样本输入预设的主干网络进行图像恢复，得到恢复超声图像样本；
根据所述第一超声图像样本和所述恢复超声图像样本确定相似度损失；
根据所述相似度损失优化所述主干网络的参数，并返回重新执行所述对所述第一超声图像样本进行随机区域遮盖的步骤；
在所述相似度损失满足预设阈值的情况下，完成图像恢复预训练，将所述主干网络确定为所述中间状态主干网络。
2.根据权利要求1所述的基于深度学习的超声图像分割方法，其特征在于，所述主干网络的预训练还包括分割预训练；
所述预训练的主干网络通过如下方式得到：
根据预先获取的分割预训练超声图像数据集，对所述中间状态主干网络进行分割训练，得到预训练的主干网络。
3.根据权利要求2所述的基于深度学习的超声图像分割方法，其特征在于，所述根据预先获取的分割预训练超声图像数据集，对所述中间状态主干网络进行分割训练，得到预训练的主干网络：
获取分割预训练超声图像数据集；其中，所述分割预训练超声图像数据集包括第二超声图像样本以及对应的分割掩码，所述第二超声图像样本包括多个器官和噪声，所述分割掩码包括对应第二超声图像样本中多个器官各自对应的子分割掩码；
将所述第二超声图像样本输入所述中间状态主干网络，对所述第二超声图像样本进行粗分割，得到多个粗分割结果图像样本以及对应的多个器官标签；其中，每个所述粗分割结果图像样本中只包括一个带有噪声的器官分割结果；
根据所述粗分割结果图像样本和所述分割掩码，确定第一交叉熵损失和第一Dice损失；
根据所述第一交叉熵损失和所述第一Dice损失，优化所述中间状态主干网络的参数，返回重新执行所述将所述分割预训练超声图像数据集输入所述中间状态主干网络的步骤；
在所述第一交叉熵损失和所述第一Dice损失满足预设阈值的情况下，完成分割预训练，将所述中间状态主干网络确定为预训练的主干网络。
4.根据权利要求3所述的基于深度学习的超声图像分割方法，其特征在于，所述获取分割预训练超声图像数据集，包括：
获取多个待处理超声图像样本，所述待处理超声图像样本包括多个器官和噪声；
对所述多个待处理超声图像样本进行分辨率归一化和灰度归一化，得到多个预处理超声图像样本；
对所述多个预处理超声图像样本进行边缘检测，得到对应的多个边缘检测超声图像样本；
将每个所述预处理超声图像样本和对应的所述边缘检测超声图像样本进行图像融合，得到所述第二超声图像样本；
获取与所述第二超声图像样本对应的分割掩码；
根据多个所述第二超声图像样本以及对应的分割掩码，生成所述分割预训练超声图像数据集。
5.根据权利要求4所述的基于深度学习的超声图像分割方法，其特征在于，所述得到所述第二超声图像样本之后，还包括：
对所述第二超声图像样本进行旋转、平移、放缩和对比度拉伸中的至少一项处理，得到额外的第二超声图像样本。
6.根据权利要求3所述的基于深度学习的超声图像分割方法，其特征在于，所述预训练的多个支路网络通过如下方式训练得到：
根据预设的器官标签与支路网络映射关系，在多个粗分割结果图像样本以及对应的多个子分割掩码中，确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码；
将所述目标粗分割结果图像样本，输入相匹配的预设的支路网络，输出目标分割结果图像样本，所述目标分割结果图像样本中只包括一个器官分割结果；
根据每个所述支路网络的所述目标分割结果图像样本和所述目标子分割掩码，确定每个所述支路网络的第二交叉熵损失和第二Dice损失；
根据每个所述支路网络的所述第二交叉熵损失和所述第二Dice损失，优化每个所述支路网络的参数，返回重新执行所述确定与每个支路网络相匹配的器官标签对应的目标粗分割结果图像样本以及对应的目标子分割掩码的步骤；
在每个所述支路网络的所述第二交叉熵损失和第二Dice损失满足预设阈值的情况下，完成多个支路网络的预训练，将多个支路网络确定为预训练的多个支路网络。
7.一种基于深度学习的超声图像分割系统，其特征在于，包括：
获取单元，用于获取待分割超声图像，所述待分割超声图像包括多个器官和噪声；
分割单元，用于将所述待分割超声图像，输入预训练的超声图像分割网络，得到多个器官各自对应的目标分割结果图像；
其中，所述超声图像分割网络包括预训练的主干网络和预训练的多个支路网络；
所述主干网络用于对所述待分割超声图像进行粗分割，输出多个粗分割结果图像以及对应的器官标签；其中，每个所述粗分割结果图像中只包括一个带有噪声的器官分割结果；
每个所述支路网络用于根据预设的器官标签与支路网络映射关系，对匹配的器官标签对应的粗分割结果图像进行细分割，输出目标分割结果图像；其中，每个所述目标分割结果图像中只包括一个器官分割结果；
所述主干网络的预训练包括图像恢复预训练；
所述预训练的主干网络通过如下方式得到：
根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络；
所述根据预先获取的图像恢复预训练超声图像数据集，对预设的主干网络进行图像恢复预训练，得到中间状态主干网络，包括：
获取图像恢复预训练超声图像数据集，所述图像恢复预训练超声图像数据集包括第一超声图像样本；
对所述第一超声图像样本进行随机区域遮盖，得到遮盖后的第一超声图像样本；
将所述遮盖后的第一超声图像样本输入预设的主干网络进行图像恢复，得到恢复超声图像样本；
根据所述第一超声图像样本和所述恢复超声图像样本确定相似度损失；
根据所述相似度损失优化所述主干网络的参数，并返回重新执行所述对所述第一超声图像样本进行随机区域遮盖的步骤；
在所述相似度损失满足预设阈值的情况下，完成图像恢复预训练，将所述主干网络确定为所述中间状态主干网络。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于深度学习的超声图像分割方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的超声图像分割方法的步骤。
CN202310708484.4A 2023-06-15 2023-06-15 基于深度学习的超声图像分割方法和系统 Active CN116452614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310708484.4A CN116452614B (zh) 2023-06-15 2023-06-15 基于深度学习的超声图像分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310708484.4A CN116452614B (zh) 2023-06-15 2023-06-15 基于深度学习的超声图像分割方法和系统

Publications (2)

Publication Number Publication Date
CN116452614A CN116452614A (zh) 2023-07-18
CN116452614B true CN116452614B (zh) 2023-09-01

Family

ID=87132474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310708484.4A Active CN116452614B (zh) 2023-06-15 2023-06-15 基于深度学习的超声图像分割方法和系统

Country Status (1)

Country Link
CN (1) CN116452614B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN113192062A (zh) * 2021-05-25 2021-07-30 湖北工业大学 一种基于图像复原的动脉斑块超声图像自监督分割方法
CN114612478A (zh) * 2022-03-21 2022-06-10 华南理工大学 一种基于深度学习的女性盆腔mri自动勾画系统
CN115661170A (zh) * 2022-11-07 2023-01-31 重庆邮电大学 一种腹部三维ct图像自动分割方法、设备及介质
CN116109822A (zh) * 2022-12-28 2023-05-12 复旦大学 一种基于多尺度多视图网络的器官图像分割方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308623B2 (en) * 2019-07-09 2022-04-19 The Johns Hopkins University System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma
CN115423736A (zh) * 2021-05-31 2022-12-02 通用电气精准医疗有限责任公司 成像系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN113192062A (zh) * 2021-05-25 2021-07-30 湖北工业大学 一种基于图像复原的动脉斑块超声图像自监督分割方法
CN114612478A (zh) * 2022-03-21 2022-06-10 华南理工大学 一种基于深度学习的女性盆腔mri自动勾画系统
CN115661170A (zh) * 2022-11-07 2023-01-31 重庆邮电大学 一种腹部三维ct图像自动分割方法、设备及介质
CN116109822A (zh) * 2022-12-28 2023-05-12 复旦大学 一种基于多尺度多视图网络的器官图像分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种两阶段的由粗到细的多模态脑肿瘤分割框架;陈浩;秦志光;丁熠;;电子科技大学学报(第04期);第112-118页 *

Also Published As

Publication number Publication date
CN116452614A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Elguindi et al. Deep learning-based auto-segmentation of targets and organs-at-risk for magnetic resonance imaging only planning of prostate radiotherapy
US10593035B2 (en) Image-based automated measurement model to predict pelvic organ prolapse
Kuang et al. Segmenting hemorrhagic and ischemic infarct simultaneously from follow-up non-contrast CT images in patients with acute ischemic stroke
WO2018227105A1 (en) Progressive and multi-path holistically nested networks for segmentation
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN110163809A (zh) 基于U-net生成对抗网络DSA成像方法及装置
Khan et al. Recent automatic segmentation algorithms of MRI prostate regions: a review
KR102176139B1 (ko) 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법
KR20200080626A (ko) 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
CN107506766B (zh) 图像分割方法及装置
CN110288698B (zh) 基于mri的半月板三维重建系统
Jarosik et al. Breast lesion classification based on ultrasonic radio-frequency signals using convolutional neural networks
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
Wu et al. Automatical segmentation of pelvic organs after hysterectomy by using dilated convolution u-net++
Dhivya et al. GAN based data augmentation for enhanced tumor classification
Panda et al. A 3D wide residual network with perceptual loss for brain MRI image denoising
Li et al. AttentionNet: Learning where to focus via attention mechanism for anatomical segmentation of whole breast ultrasound images
Kriti et al. A review of Segmentation Algorithms Applied to B-Mode breast ultrasound images: a characterization Approach
Tamilselvi et al. Segmentation of calculi from ultrasound kidney images by region indicator with contour segmentation method
Wang et al. Bowelnet: Joint semantic-geometric ensemble learning for bowel segmentation from both partially and fully labeled ct images
CN116452614B (zh) 基于深度学习的超声图像分割方法和系统
Torrents-Barrena et al. TTTS-STgan: stacked generative adversarial networks for TTTS fetal surgery planning based on 3D ultrasound
Benrabha et al. Automatic ROI detection and classification of the achilles tendon ultrasound images
Al-Oudat et al. An Interactive automation for human biliary tree diagnosis using computer vision
Mani Deep learning models for semantic multi-modal medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant