CN112241966A - 多任务多分类的胸部器官分割模型建立、分割方法及系统 - Google Patents

多任务多分类的胸部器官分割模型建立、分割方法及系统 Download PDF

Info

Publication number
CN112241966A
CN112241966A CN202010996399.9A CN202010996399A CN112241966A CN 112241966 A CN112241966 A CN 112241966A CN 202010996399 A CN202010996399 A CN 202010996399A CN 112241966 A CN112241966 A CN 112241966A
Authority
CN
China
Prior art keywords
segmentation
module
decoder
multitask
chest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010996399.9A
Other languages
English (en)
Other versions
CN112241966B (zh
Inventor
冯筠
谢祎霖
卜起荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202010996399.9A priority Critical patent/CN112241966B/zh
Publication of CN112241966A publication Critical patent/CN112241966A/zh
Application granted granted Critical
Publication of CN112241966B publication Critical patent/CN112241966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像分析技术领域，公开了一种多任务多分类的胸部器官分割模型建立、分割方法及系统。模型建立方法包括如下步骤：步骤1：获取医学影像图片集，并进行预处理，获得预处理图像集和不同器官的掩模图像；步骤2：建立分割网络，所述分割网络包括多尺度输入模块、编码器模块、特征增强模块、解码器模块和超列模块；步骤3：将预处理图像集和不同器官的掩模图像作为分割网络的输入，将不同器官的分割概率结果图作为分割网络的输出，训练分割网络，将训练好的分割网络作为多任务多分类的胸部器官分割模型。解决了现有方法中胸片多组织重叠造成的分多类骨骼分割方法以及多类器官分割方法存在的过分割和欠分割的问题。

Description

多任务多分类的胸部器官分割模型建立、分割方法及系统
技术领域
本发明属于医学图像分析技术领域，具体涉及一种多任务多分类的胸部器官分割模型建立、分割方法及系统。
背景技术
当今，世界上有各种重要的医学成像检查技术，例如胸部X光(CXR)、计算机断层扫描(CT)和磁共振成像(MRI)。对于疾病的诊断，CT和MRI可以达到很好的效果。但是，因其高昂的费用或高辐射剂量，MRI和CT在世界大多数地区的可用性有限。CXR由于具有非侵入性，易于获取，辐射剂量低以及成本降低等优点，CXR成为全球最常用的影像学检查，至少占放射科所有检查的三分之一。它也被当作健康监测以及肺部疾病筛查的重要工具，为肺部疾病诊断提供帮助，而其局限在于使用CXR诊断疾病需要大量的放射科医生参与，诊断工作量相当大。所以，基于胸部X射线的胸部器官分割系统成为了迫切的需求。
胸部X光片中通常包含背景以及人体的肋骨、锁骨、心脏等其他部位，骨骼与器官分割是精确定义肺部疾病诊断感兴趣区域的必要步骤，若以整幅胸部X光片作为诊断目标，不仅会存在很多冗余信息降低诊断任务的效率，而且其他部位也会干扰肺部特征提取工作，所以基于胸片的多任务分割在后续肺部疾病诊断中扮演着重要的作用。健康人的胸片都会因影像中各解剖学结构的互相重叠，导致影像的低对比度以及感兴趣区域的隐藏，而患病的胸片会因肺部疾病造成相关器官的变形，例如胸腔积液和粟粒性病变等，这些异常是与高强度像素的肺野区域重叠，造成了肺部结构的不确定，导致肺野区域及其边界之间的对比度降低、心脏区域遭受挤压变小等问题。即使是经验丰富且技术熟练的放射线医师也难以划分出相关解剖学结构边界以及诊断出相关疾病，这使得基于胸片的多任务分割成为一项复杂而艰巨的任务。
现有技术中解决多任务分割问题一般分为两种：一种是针对肋骨、锁骨多任务分割问题，另一种是针对肺部、心脏器官的多任务分割问题，分别如下：
针对胸部X光片的肋骨、锁骨多任务分割，M.Loog等人使用了一种基于像素的，受监督的迭代统计分类方法，称为迭代上文像素分类(IteratedContextualPixelClassification,ICPC)。该方法通过对像素分类获得初始肋骨分割，再通过基于原始特征以及将要重新分类的像素附近的像素的分类标签信息对每个像素进行重新分类来对其进行更新。Xuechen等人提出了一种基于图像处理和数据挖掘的肋骨自动识别方法。首先，采用多模板匹配和基于图的方法检测肋骨中心线；然后，利用支持向量机(SupportVectorMachine,SVM)建立肋骨相对位置模型，对误差识别结果进行识别；最后，利用决策树对中心线识别结果进行细化。CongLinet等提出了一种结合广义霍夫变换和双边动态规划算法的分割肋骨的方法。HaipingWuet等人提出了一种使用高斯滤波，多尺度小波分析和SVM算法对肋骨进行分割的方法。以上传统的肋骨分割方法，大多数都基于一些合理的假设。例如，假设每个肋骨的宽度几乎相同，但是实际上由于拍照角度等因素这种假设难以成立。另外，这些方法仅分割与肺重叠的相对清晰的后肋骨。而即使人眼也无法清晰分辨的前肋骨、未与肺部重叠的前肋骨和后肋骨没有被分割。但是，这些不清楚的骨骼阴影对肺部疾病的诊断准确性有更大的影响，因为与容易分割的骨骼相比，它们与病变更相似。
针对胸部X光片的肺部、心脏器官的多任务分割，Rabia Rashid于2018年使用基于U-net的方法从X光胸片中提取肺野区域,并使用后处理步骤来填充孔洞，将左、右肺分开。Johnatan等人于2019年提出了一种粗分割与精细化分割相结合的两阶段肺野分割方法。2019年，Cheng Chen等通过设计语义感知的生成对抗网络(GenerativeAdversarialNetworks，GAN)，提出了一种用于分段任务的新型无监督域自适应方法。他们将测试图像转换为源域的外观，并保留语义结构信息，这是通过在语义标签空间中实施嵌套对抗性学习来实现的。由于X光胸片的对比度低且各种组织的重叠，目前的方法在分割肺实质内部和边缘都存在分割不完整，有欠缺的问题。虽然腐蚀等一些后处理方法对这种现象有一定的改进效果。但是增加了额外步骤，且会涉及一些参数的设置。针对不同的图片需要设置不同的参数，无法使用相同的参数，处理全部的图片传统的方法并不能获得好的效果。并且其中的参数也无法适用于所有图片，这些方法分割出的器官都存在内部空洞、边缘不完整等问题。
发明内容
本发明的目的在于提供一种多任务多分类的胸部器官分割模型建立、分割方法及系统，用以解决现有技术中的现有基于胸部X光片分割算法任务单一、分割方法不具备鲁棒性、以及胸片多组织重叠造成的分多类骨骼分割方法以及多类器官分割方法存在的过分割和欠分割的问题。
为了实现上述任务，本发明采用以下技术方案：
多任务多分类的胸部器官分割模型建立方法，该方法包括如下步骤：
步骤1：获取医学影像图片集，并进行预处理，获得预处理图像集和不同器官的掩模图像；
步骤2：建立分割网络，所述分割网络包括多尺度输入模块、编码器模块、特征增强模块、解码器模块和超列模块；
所述多尺度输入模块包括多个下采样单元，每个下采样单元分别用于获取不同分辨率图像；
所述编码器模块包括多个编码器，每个编码器分别用于获取不同分辨率图像的语义特征图；
所述特征增强模块用于增强编码器模块输出的语义特征图和解码器模块输出的分割概率图，包括scSE单元、注意力门控单元和空洞卷积单元，所述scSE单元设置在编码器模块的每个编码器后以及解码器模块的每个解码器之后；所述注意力门控单元设置在解码器模块的每个解码器之后；所述空洞卷积单元设置在编码器模块和解码器模块之间；
所述解码器模块包括多个解码器，每个解码器用于获取不同分辨率的分割概率图；
所述超列模块用于获得解码器模块中输出的不同分辨率的分割概率图，对不同分辨率的分割概率图进行统一分辨率、拼接和卷积，获得分割概率结果图；
步骤3：将预处理图像集和不同器官的掩模图像作为分割网络的输入，将分割概率结果图作为分割网络的输出，训练分割网络，将训练好的分割网络作为多任务多分类的胸部器官分割模型。
进一步的，步骤3进行训练时，采用的损失函数为：
Figure BDA0002692736290000041
其中，C为分割的类别且C为正整数，γ表示比例系数且γ∈[1,3]，rln为类别l在第n个位置的真实像素类别，l∈C，n为正整数，pln为类别l在第n个位置的预测概率值，wl为类别l的权重参数。
进一步的，所述的多尺度输入模块由3个2×2的平均池化层组成；所述的编码器模块包含五个编码器，其中，前四个编码器为2个3×3的卷积连接一个2×2的最大池化，第五个编码器为一个3×3的卷积；所述的空洞卷积单元包含三个空洞卷积分别为，一个空洞率为1的3×3的空洞卷积、一个空洞率为2的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积；所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积；所述的超列模块包括一个是采样率为4的上采样单元块、一个是采样率为8的上采样单元以及一个3×3的卷积。
多任务多分类的胸部器官分割方法，该方法包括以下步骤：
步骤a：获取待处理的医学影像图片，并进行预处理，获得预处理图像和不同器官的掩模图像；
步骤b，将步骤a得到的预处理图像和不同器官的掩模图像输入到所述的任一种多任务多分类的胸部器官分割模型中，得到不同器官的分割概率结果图。
多任务多分类的胸部器官分割系统，包括图像预处理模块和多任务分割模块；
所述图像预处理模块用于获取待处理的医学影像图片，并进行预处理，获得预处理图像和不同器官的掩模图像；
所述多任务分割模块用于将图像预处理模块得到的预处理图像和不同器官的掩模图像输入到所述的任一种多任务多分类的胸部器官分割模型中，得到不同器官的分割概率结果图。
本发明与现有技术相比具有以下技术特点：
(1)本发明在每个最大池化层前为编码器层注入了输入图像金字塔。结合深度监督，将不同分辨率的分割结果进行融合，此方法可提高数据集的分割精度，并有助于网络学习有关分类目标的更多位置感知功能，提高分割效果。
(2)本发明提出加入通道特征增强模块可自适应重新校准特征图，以增强有意义的特征，同时抑制弱特征，且自动学习以专注于形状和大小不同的目标结构，抑制无关区域，突出显示显着特征，也避免了由于阈值选择不当而导致分割结果不理想的情况。进一步的提高模型对于多任务分割区域和背景的区分能力，缓解了胸部X光片图像分割中分割不完整造成的欠分割问题，可显著提高分割效果；
(3)本发明的分割网络利用空洞卷积融合模块，利用不同的空洞卷积来提取不同感受野的特征并对它们进行融合以增加上下文语义信息，解决了胸部X光片图像分割中边界的难分问题；
(4)本发明针对损失函数进行了优化，优化了通用DSC损失，当病灶分割有多个区域时，一般针对每一类都会有一个DICE，而Generalized Dice index将多个类别的dice进行整合，使用一个指标对分割结果进行量化。不仅考虑单个像素和整幅图片的分割精度，还考虑了多分割任务，能平衡病灶区域和Dice系数之间的平衡。且在其基础上进行优化，优化小目标分割，相较于使用单一的DSC和交叉熵损失，可以提高多任务分割效果。
(5)本发明采用了编码器和解码器构成的U型全卷积网络的架构，解决了医学影像数据样本少造成模型欠拟合和过拟合的问题，本发明在两个不同的数据集上验证，对于样本数量少的情况也不易过拟合，模型具有鲁棒性。
(6)本发明采用的超列模块，将同时本发明解码器模块实现了低级特征和高级特征的跳跃连接，将用于定位的深层特征和有助于精确分割浅层特征结合，将不同分辨率的分割结果进行融合，更适用于解决胸部X光片图像中多器官分割中边界模糊的问题。
附图说明
图1是多任务分割方法的整体流程图；
图2是实施例中的分割网络结构图；
图2(a)是实施例1中的分割网络结构图；
图2(b)是实施例2中的分割网络结构图；
图3是实施例1的分割结果示意图；
图4是实施例2的分割结果示意图。
具体实施方式
首先对本发明中出现的技术词语进行解释：
scSE：空间和通道的压缩和激励块，是空间压缩和信道激励块(cSE)和通道压缩和空间激励块(sSE)的组合。参考文献为：Abhijit Guha Roy,Nassir Navab and ChristianWachinger,“Concurrent Spatial and Channel Squeeze&Excitation in FullyConvolutional Networks,”arXiv preprint arXiv:1803.02579,2018。
注意力门控(AG)：用于从低级特征图中识别相关的空间信息，并将其传到解码阶段。参考文献为：Ozan Oktay,Jo Schlemper,Loic Le Folgoc,Matthew Lee,MattiasHeinrich,Kazunari Misawa,Kensaku Mori,Steven McDonagh,Nils Y Hammerla,Bernhard Kainz,et al.,“Attention u-net:Learning where to look for thepancreas,”arXiv preprint arXiv:1804.03999,2018。
FGDL：焦点GDL损失函数。
掩模图像(image mask)：是指用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。在本发明中不同器官的掩模图像是指不同器官形状的掩模，相当于不同器官形状的标签。
在X射线胸部，一些像素既是前肋骨又是后肋骨，这意味着这些像素具有多个标记。多标签对于分类和分割都是难题。考虑到在医学上的实际应用，本专利不再将所有骨骼标记在同一张掩模图上，而是将多标签的问题转化为多任务问题。即分别标记前肋骨，后肋骨和锁骨，然后获得三个掩模图像，这样每个像素就只有一个标签。即在一张掩模图像中，每个像素只有一个标签，这有效地避免了多个标签的问题。如图3所示，可以将多标签问题转变为多任务问题。而单分割任务变成了前肋骨分割，后肋骨分割，锁骨分割和所有骨骼(锁骨和肋骨)分割的四个任务。
但是，由于将单个分割任务转换为多个分割任务，因此需要为每个任务独立地训练一个模型。这意味着增加了时间成本。但是，值得注意的是，三个图像的分割对象都是骨骼，它们具有相似的特征。因此，为解决这个问题，本专利设计先使用骨干网络提取必要和充分的特征，再设计一个特征分离分支，通过任务之间的差异性来分离出与具体任务有关的特征。最终，设计了图2中特征分离网络的分支，用于特征分离。
在本实施例中公开了一种多任务多分类的胸部器官分割模型建立方法，包括如下步骤：
步骤1：获取医学影像图片集，并进行预处理，获得预处理图像集和掩模图像；
步骤2：建立分割网络，所述分割网络包括多尺度输入模块、编码器模块、特征增强模块、解码器模块和超列模块；
所述多尺度输入模块包括多个下采样单元，每个下采样单元分别用于获取不同分辨率图像；
所述编码器模块包括多个编码器，每个编码器分别用于获取不同分辨率图像的语义特征图；其分辨率会随着编码器模块中下采样层分辨率逐渐降低，但其特征的维度也会随其进一步的增加；
所述特征增强模块包括scSE单元、注意力门控单元和空洞卷积单元，所述scSE单元设置在编码器模块的每个编码器后以及解码器模块的每个解码器之后，分别沿信道和空间重新校准特征映射，然后结合输出，用于激发每个特征图在空间和渠道上的更多信息；所述注意力门控单元设置在解码器模块的每个解码器之后，自动学习专注于目标结构而无需额外的监督，突出显示对特定任务有用的显着特征，对上述模块提取出的语义特征信息进一步增强；所述空洞卷积单元设置在编码器模块和解码器模块之间，用于使用三个不同膨胀率的空洞卷积提取语义特征图中的上下文信息，采用的是不同分辨率语义特征图中分辨率最小的图作为提取的输入，然后将具有不同尺度上下文信息的特征图进行拼接得到高通道特征图，随后通过通道变换减少通道数量，将高通道特征图转换为低通道特征图，减少网络的计算量；
所述解码器模块包括多个解码器，每个解码器用于获取具有特征全局依赖关系的不同分辨率的分割概率图；第一个解码器输入的是空洞卷积融合模块中得到的具有特征全局依赖关系转换后的低通道特征图和通道特征增强模块得到的与该低通道特征图具有相同分辨率的语义特征图，之后的每个解码器输入的是前一个解码器输出的特征图经上采样后，和通道特征增强模块得到的与此输出特征图具有相同分辨率的语义特征图，每个解码器后连接着通道特征增强模块，其输出是与其输入具有相同分辨率的分割概率图；
所述超列模块用于根据上采样统一解码器模块中每个解码器输出的不同分辨率的分割概率图的分辨率并进行拼接和卷积，获得分割概率结果图；用于第一、第二个解码器后的通道特征增强模块得到的分割概率图分别经过不同上采样处理，将第四个编码器中未上采样部分的分割概率图以及上采样后的分割概率图提取出来，得到与编码器模块输入图片分辨率相同的四个不同分割概率图，将这些概率图进行拼接得到最后的分割概率图，将分割概率图进行卷积处理得到与步骤1.2具有相同通道的分割概率图；
步骤3：将预处理图像集和掩模图像作为分割网络的输入，将分割概率结果图作为分割网络的输出，训练分割网络，将训练好的分割网络作为多任务多分类的胸部器官分割模型。
具体的，所述预处理包括以下子步骤：
步骤1.1，对医学影像图片集进行格式转换以及直方图均衡化处理，得到预处理图像集；
步骤1.2，获取医学影像图片的掩模并进行格式转换以及图像重编码，得到重编码后的掩模图像。
具体的，所述的多尺度输入模块由3个2×2的平均池化层组成。
具体的，所述的编码器模块包含五个编码器，其中，前四个编码器均为2个3×3的卷积和一个2×2的最大池化，第五个编码器为一个3×3的卷积。
具体的，所述的空洞卷积单元包含三个空洞卷积，具体包括一个空洞率为1的3×3的空洞卷积，一个空洞率为2的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积。
具体的，所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积。
具体的，所述的超列模块包括2个上采样模块以及一个3×3的卷积，其中一个是采样率为4的上采样模块，一个是采样率为8的上采样模块。
为了发掘损失函数具有解决类别失衡的潜力，本发明在这项工作中比较损失函数，从中选择可以解决类别失衡问题的损失进行优化。所有损失函数都是在二进制分类(前景与背景)公式下进行分析的，因为它代表了允许类别不平衡量化的最简单设置。虽然，将这些损失函数中的一些描述为一类问题可以在一定程度上缓解不平衡问题，但结果不容易推广到多个类别，因此构建通用DSC评分(GDS)作为网络的目标函数，将GDL作为基础损失函数用于训练深度卷积神经网络，每个标签的贡献将通过其体积的倒数进行校正，从而减小了区域大小和Dice得分之间众所周知的相关性。就随机梯度下降的训练而言，求取梯度可以轻松扩展到两个以上的类，适用于多任务分割。在分割过程中，GDL的另一个问题是它很难对较小的ROI进行细分，因为较小的ROI对损失的贡献不大。为了解决这一问题，我们提出了焦点GDL损失函数(FGDL)，用于控制简单背景和困难ROI训练。焦点参数对交叉熵损失进行幂运算以集中于以较低概率检测到的困难类。本发明网络训练损失函数在GDL基础上进行最后的优化，最终步骤3进行训练时，采用的损失函数为：
Figure BDA0002692736290000111
其中，C为分割的类别且C为正整数，当将其应用于肋骨与锁骨分割时，C＝4分别是锁骨分割，前肋骨分割，后肋骨分割和所有肋骨(锁骨和肋骨)分割四个任务的损失。其应用于多器官分割时，C＝3分别是锁骨分割，心脏分割和肺部分割三个任务的损失。γ表示比例系数为一个可自定义的参数值，用于控制简单背景与难分割ROI的训练样本的比列且γ∈[1,3]，当γ＞1时，损失函数更多地集中在错误分类的不太准确的预测上。然而，当分类精度较高时，我们观察到FGDL的过度抑制，通常是因为模型接近收敛。我们用较高的γ值进行实验，在
Figure BDA0002692736290000121
时观察到最佳性能，因此用它训练所有实验。
其中rln表示类别l在第n个位置的真实像素类别，l∈C，n为正整数，而pln表示类别l在第n个位置的预测概率值,wl为类别l的权重参数用于为不同的标签集属性提供不变性，
Figure BDA0002692736290000122
且N为正整数。
本发明网络只需要训练一次而不是四次，理论上可以节省近3/4的网络训练的时间。另外，如果在实际应用中更多地关注分割的性能，可以在每次迭代后计算每个任务的准确性，并为每个任务保存最佳的分割模型。当然，若更加注重预测速度，可以保存一个总损失最低或平均精度最高的模型。
本实施方式中还公开了一种多任务多分类的胸部器官分割方法，该方法包括以下步骤：
步骤a：获取待处理的医学影像图片，并进行预处理，获得预处理图像和不同器官的掩模图像；
步骤b，将步骤a得到的预处理图像和不同器官的掩模图像输入到所述的任一种多任务多分类的胸部器官分割模型中，得到不同器官的分割概率结果图。
本实施方式中还公开了一种多任务多分类的胸部器官分割系统，包括图像预处理模块和多任务分割模块；
所述图像预处理模块用于获取待处理的医学影像图片，并进行预处理，获得预处理图像和不同器官的掩模图像；
所述多任务分割模块用于将图像预处理模块得到的预处理图像和不同器官的掩模图像输入到所述的任一种多任务多分类的胸部器官分割模型中，得到不同器官的分割概率结果图。
所述的分割概率结果图包括目标分割概率图(白色区域)和背景分割概率图(黑色区域)；比较每个像素点在不同目标分割概率图和背景分割概率图上的概率值大小，其标签为较大的概率值所代表的标签，得到不同分割任务的分割结果。
具体的，图像预处理模块包括对医学影像图片(包括X光片、计算机断层扫描(CT)和磁共振成像(MRI)，以下用胸部X光片举例说明)以及掩模的格式转换、直方图均衡化处理模块和掩模重编码模块，其中，格式转换是将胸部X光片的dicom格式转换为jpg，直方图均衡化处理模块用于对胸部X光片进行直方图均衡化处理，得到预处理后的图片；掩模重编码模块用于对胸部X光片的掩模图片进行重编码，得到重编码后的掩模图片。
实施例1
本发明具体实施例中使用的两个数据集均为从医院获得的X光胸片图像，两个数据集分别被随机划分为四份，采用四折交叉验证对网络进行评估，取四折的均值作为最终结果。其中，肋骨和锁骨分割胸部X光片数据集共包含88张正位胸部X光片，数据集中的每个样本都有原始的X光胸片以及对应的锁骨、前肋骨、后肋骨以及所有骨骼的4张掩膜图片。多器官分割胸部X光片数据集共包含246张正位胸部X光片，数据集中的每个样本都有原始的X光胸片以及对应的锁骨、心脏区域、肺部区域的3张掩膜图片。每张掩模图片与对应的原始X光胸片具有相同的分辨率，掩模图片中的每个像素点的值表示该像素点的标签。在每张掩膜图片上，若该像素点为目标区域，则该像素点的值为1，否则为0，每张掩模图片都是一张二值图。
在本实施例中公开了一种多任务多分类的胸部器官分割模型建立方法，针对锁骨、前肋骨、后肋骨以及所有骨骼进行分割，具体包括以下步骤：
步骤1，胸部X光片的预处理；如图3所述，其中第一列为X光胸片原图，第二列为ground truth，第三列U-Net的分割结果，第四列为预测的掩模图片；
步骤1.1，原始的胸部X光片为标准的DICOM医学格式的图片，在转换格式前需对其进行脱敏、窗宽和窗位调整，随后将其进行格式转换等操作转换为标准的jpg格式，由于设备的差异性，以及拍片的光照等情况，均会降低图片的对比度，使其整体偏暗或偏亮，所以通过将灰度值映射到0-255之间，将图片进行直方图均衡化处理改善对比度来解决相关问题，最后将其保存为PNG或JPG格式，通过该预处理后的图片作为分割网络训练过程中的输入；
步骤1.2，将胸部X光片的掩模图片重新编码，对于每个像素具有两个概率分别是属于前景或者背景的概率，通过比较这两个概率确定该像素属于前景还是背景，所以将掩模图像的像素值为0的点编码为01，像素值为1的点编码为10，以此来获取重编码后的掩模图片，使网络在学习到目标特征的同时也能学习到背景区域的特征。
步骤2，构建基于多尺度输入与特征融合的胸片多任务分割网络，所述的分割网络包括多尺度输入模块、编码器模块、通道特征增强模块、空洞卷积融合模块、解码器模块和超列模块，如图2所示，其中，
多尺度输入模块用于提取步骤1预处理后的图片转化为不同分辨率的图像作为每个编码器模块的输入。本实施例中，多尺度输入模块是包含3个2×2的平均池化层，步骤1预处理后的图片是第一个平均池化的输入，随后传送至第二个平均池化中，依次进行图像传送，最后将每个平均池化的输出图像传送至与图像分辨率相匹配的编码器中。
编码器模块用于通过2D卷积与最大池化操作提取多尺度输入模块处理后的图片中不同分辨率的语义特征信息。图像的分辨率会随编码器模块中下采样层逐渐降低但其特征维度会随其进一步的增加，其中语义特征图提取的数量与编码器数量相匹配，一个X光胸片对应多个语义特征图。本实施例中，编码器模块包含五个编码器，其中，前四个编码器均为2个3×3的卷积和一个2×2的最大池化组成，通过这样来确保不同粒度的语义信息都可以被每个编码器所提取；第五个编码器为一个3×3的卷积作为空洞卷积融合模块的输入图像。
通道特征增强模块使用空间和通道的压缩和激励模块(scSE)分别沿信道和空间重新校准特征映射，然后结合输出，用于激发每个特征图在空间和渠道上的更多信息。该模块被同时运用于编码器模块后以及解码器模块后，在编码器模块后使用时，又在上述模块基础上添加了注意力门控(AG)块，自动学习且专注于目标结构而无需额外的监督，突出显示对特定任务有用的显着特征，对上述模块提取出的语义特征信息进一步增强。本实施例运用空间和通道的压缩和激励模块自适应重新校准特征图，以增强有意义的特征，同时抑制弱特征。运用注意力门控块自动学习以专注于形状和大小不同的目标结构，抑制无关区域，突出显示显著特征。本实施例采用通道特征增强模块过程如图3、图4所示，具体过程包括：
空洞卷积融合模块用于使用三个不同膨胀率的空洞卷积提取语义特征图中的上下文信息，采用的是不同分辨率语义特征图中分辨率最小的图作为提取的输入，然后将具有不同尺度上下文信息的特征图进行拼接得到高通道特征图，随后通过通道变换减少通道数量，将高通道特征图转换为低通道特征图，减少网络的计算量。本实施例中，空洞卷积融合模块包含三个空洞卷积，具体包括一个空洞率为1的3×3的空洞卷积，一个空洞率为2的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积。从第五个编码器输出的特征图通过上述三个并行的空洞卷积，然后将其得到三个尺度的特征图进行拼接，随后使用一个1×1的卷积将通道转换，降低通道数。本实施例中变化通道后的低通道特征图的通道数与输入特征图的通道数量保持一致。本发明的可通过改变其空洞率获得不同的感受野，获得更多上下文信息，但优选本实施例的多尺度卷积模块。
解码器模块具有多个解码器，用于获取具有特征全局依赖关系的不同分辨率的分割概率图，第一个解码器输入的是空洞卷积融合模块中得到的具有特征全局依赖关系转换后的低通道特征图和通道特征增强模块得到的与该低通道特征图具有相同分辨率的语义特征图，之后的每个解码器输入的是前一个解码器输出的特征图经2×2上采样后，和通道特征增强模块得到的与此输出特征图具有相同分辨率的语义特征图，每个解码器后也连接着通道特征增强模块，其输出是与其输入具有相同分辨率的分割概率图。本实施例中，解码器模块包括4个解码器，每个解码器均为2个3×3的卷积。
超列模块用于第一、第二个解码器后的通道特征增强模块得到的分割概率图分别经过不同上采样处理，将第四个编码器中未上采样部分的分割概率图以及上采样后的分割概率图提取出来，得到与编码器模块输入图片分辨率相同的四个不同分割概率图，将这些概率图进行拼接得到最后的分割概率图，将分割概率图进行卷积处理得到与步骤1.2具有相同通道的分割概率图，本实施例中，超列模块包括2个上采样模块以及一个3×3的卷积，其中将第二个解码器进行采样率为4的上采样，第一个解码器进行采样率为8的上采样，与第四个编码器中未上采样部分的分割概率图以及上采样后的分割概率图相拼接得到超列块，随后将其进行3×3的卷积处理向后传送不同目标的分割概率图。
步骤3，将步骤1得到的胸部X光片图像和与其对应的掩模图像作为分割网络的输入，将经过步骤2得到的分割概率图作为分割网络的输出，训练步骤2得到的分割网络，得到训练好的分割模型。
实施例2
在实施例1的基础上，本实施例对锁骨、心脏区域、肺部区域进行分割。
本发明还对比了本发明方法与目前常用的5种不同方法之间的分割效果，如表1所示。
表1所示为本发明实施例中88例锁骨和肋骨胸部X光片分割数据样本，其中戴斯系数(Dice Similarity Coefficient，DSC)、像素精度(Pixel accuracy，PA)和Jaccard相似系数(Jaccard similarity coefficient)为实验结果的评价指标，
表1不同方法之间的效果对比
Figure BDA0002692736290000171
Figure BDA0002692736290000181
由表1可知，本发明中的提出的分割算法与分割模型在胸部X光片的多任务分割上具有最优的效果。
本发明还对比了本发明方法提出的5种不同模块以及优化的损失在多任务分割上的效果,如表2所示：
N1：胸部X光片进行步骤1的图像预处理，分割网络包括编码器模块、解码器模块、注意力门控块；采用端到端的方式训练U-Net模型，使用GDL作为损失函数,通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
N2：胸部X光片进行步骤1的图像预处理，分割网络包括编码器模块、解码器模块、通道特征增强模块模块；使用GDL作为损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
N3：胸部X光片进行步骤1的图像预处理，分割网络包括编码器模块、解码器模块、通道特征增强模块模块、空洞卷积融合模块；使用GDL作为损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
N4：胸部X光片进行步骤1的图像预处理，分割网络包括编码器模块、解码器模块、通道特征增强模块模块、空洞卷积融合模块、多尺度输入模块；使用GDL作为损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
N5：胸部X光片进行步骤1的图像预处理，分割网络包括编码器模块、解码器模块、通道特征增强模块模块、空洞卷积融合模块、多尺度输入模块、超列模块；使用GDL作为损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
N6：胸部X光片进行步骤1的图像预处理，分割网络包括编码器模块、解码器模块、通道特征增强模块模块、空洞卷积融合模块、多尺度输入模块、超列模块；使用FGDL作为损失函数，采用端到端的方式训练获得模型，通过训练好的模型获取分割概率图，选取0.5作为阈值，获取分割结果。
表2所示为本发明实施例中88例锁骨和肋骨胸部X光片分割数据样本的实验结果的均值，其中戴斯系数(Dice Similarity Coefficient，DSC)、像素精度(Pixel accuracy，PA)和频权交并比(Frequency Weighted Intersection over Union，FWIoU)为实验结果的评价指标，评价指标的取值范围为[0,1]，取值越高，代表分割性能越好。由表2可知，本发明中的各个部分均可以对最终的结果产生有利的影响，并最终得到一个较优的结果。
表2不同模块融合之间的效果对比
Figure BDA0002692736290000191
Figure BDA0002692736290000201

Claims (5)

1.多任务多分类的胸部器官分割模型建立方法，其特征在于，该方法包括如下步骤：
步骤1：获取医学影像图片集，并进行预处理，获得预处理图像集和不同器官的掩模图像；
步骤2：建立分割网络，所述分割网络包括多尺度输入模块、编码器模块、特征增强模块、解码器模块和超列模块；
所述多尺度输入模块包括多个下采样单元，每个下采样单元分别用于获取不同分辨率图像；
所述编码器模块包括多个编码器，每个编码器分别用于获取不同分辨率图像的语义特征图；
所述特征增强模块用于增强编码器模块输出的语义特征图和解码器模块输出的分割概率图，包括scSE单元、注意力门控单元和空洞卷积单元，所述scSE单元设置在编码器模块的每个编码器后以及解码器模块的每个解码器之后；所述注意力门控单元设置在解码器模块的每个解码器之后；所述空洞卷积单元设置在编码器模块和解码器模块之间；
所述解码器模块包括多个解码器，每个解码器用于获取不同分辨率的分割概率图；
所述超列模块用于获得解码器模块中输出的不同分辨率的分割概率图，对不同分辨率的分割概率图进行统一分辨率、拼接和卷积，获得分割概率结果图；
步骤3：将预处理图像集和不同器官的掩模图像作为分割网络的输入，将分割概率结果图作为分割网络的输出，训练分割网络，将训练好的分割网络作为多任务多分类的胸部器官分割模型。
2.如权利要求1所述的多任务多分类的胸部器官分割模型建立方法，其特征在于，步骤3进行训练时，采用的损失函数为：
Figure FDA0002692736280000021
其中，C为分割的类别且C为正整数，γ表示比例系数且γ∈[1,3]，rln为类别l在第n个位置的真实像素类别，l∈C，n为正整数，pln为类别l在第n个位置的预测概率值，wl为类别l的权重参数。
3.如权利要求1所述的多任务多分类的胸部器官分割模型建立方法，其特征在于，所述的多尺度输入模块由3个2×2的平均池化层组成；所述的编码器模块包含五个编码器，其中，前四个编码器为2个3×3的卷积连接一个2×2的最大池化，第五个编码器为一个3×3的卷积；所述的空洞卷积单元包含三个空洞卷积分别为，一个空洞率为1的3×3的空洞卷积、一个空洞率为2的3×3的空洞卷积以及一个空洞率为6的3×3的空洞卷积；所述的解码器模块包括4个解码器，每个解码器均包括2个3×3的卷积；所述的超列模块包括一个是采样率为4的上采样单元块、一个是采样率为8的上采样单元以及一个3×3的卷积。
4.多任务多分类的胸部器官分割方法，其特征在于，该方法包括以下步骤：
步骤a：获取待处理的医学影像图片，并进行预处理，获得预处理图像和不同器官的掩模图像；
步骤b，将步骤a得到的预处理图像和不同器官的掩模图像输入到如权利要求1-3所述的任一种多任务多分类的胸部器官分割模型中，得到不同器官的分割概率结果图。
5.多任务多分类的胸部器官分割系统，其特征在于，包括图像预处理模块和多任务分割模块；
所述图像预处理模块用于获取待处理的医学影像图片，并进行预处理，获得预处理图像和不同器官的掩模图像；
所述多任务分割模块用于将图像预处理模块得到的预处理图像和不同器官的掩模图像输入到如权利要求1-3所述的任一种多任务多分类的胸部器官分割模型中，得到不同器官的分割概率结果图。
CN202010996399.9A 2020-09-21 2020-09-21 多任务多分类的胸部器官分割模型建立、分割方法及系统 Active CN112241966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010996399.9A CN112241966B (zh) 2020-09-21 2020-09-21 多任务多分类的胸部器官分割模型建立、分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010996399.9A CN112241966B (zh) 2020-09-21 2020-09-21 多任务多分类的胸部器官分割模型建立、分割方法及系统

Publications (2)

Publication Number Publication Date
CN112241966A true CN112241966A (zh) 2021-01-19
CN112241966B CN112241966B (zh) 2022-11-04

Family

ID=74171126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010996399.9A Active CN112241966B (zh) 2020-09-21 2020-09-21 多任务多分类的胸部器官分割模型建立、分割方法及系统

Country Status (1)

Country Link
CN (1) CN112241966B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750131A (zh) * 2021-01-31 2021-05-04 南京信息工程大学 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN112819798A (zh) * 2021-02-05 2021-05-18 苏州大学 一种适用于多种视网膜积液联合分割的上下文关注与融合网络
CN113112454A (zh) * 2021-03-22 2021-07-13 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113256526A (zh) * 2021-05-25 2021-08-13 烟台艾睿光电科技有限公司 一种红外图像增强方法、装置、设备及存储介质
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN113538475A (zh) * 2021-07-19 2021-10-22 中国科学院自动化研究所 基于多任务算法的实时多器械分割方法和系统
CN113592819A (zh) * 2021-07-30 2021-11-02 上海皓桦科技股份有限公司 图像处理系统及方法
CN113947681A (zh) * 2021-10-18 2022-01-18 柏意慧心(杭州)网络科技有限公司 用于分割医学影像的方法、设备和介质
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统
CN114638828A (zh) * 2022-05-18 2022-06-17 数聚(山东)医疗科技有限公司 一种基于计算机视觉的放射影像智能分割方法
CN117274779A (zh) * 2023-11-21 2023-12-22 南开大学 一种基于模态自适应门控重编码网络的目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636802A (zh) * 2019-01-18 2019-04-16 天津工业大学 基于深度卷积神经网络的肺实质经ct图像分割方法
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN109636802A (zh) * 2019-01-18 2019-04-16 天津工业大学 基于深度卷积神经网络的肺实质经ct图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALYAA AMER: "ResDUnet: Residual Dilated UNet for Left Ventricle Segmentation from Echocardiographic Images", 《2020 42ND ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY 》 *
刘银星: "基于深度学习的地质图像盐层分割方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750131B (zh) * 2021-01-31 2023-07-21 南京信息工程大学 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN112750131A (zh) * 2021-01-31 2021-05-04 南京信息工程大学 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法
CN112819798B (zh) * 2021-02-05 2023-06-13 苏州大学 多种视网膜积液联合分割的上下文关注与融合网络系统
CN112819798A (zh) * 2021-02-05 2021-05-18 苏州大学 一种适用于多种视网膜积液联合分割的上下文关注与融合网络
CN113112454A (zh) * 2021-03-22 2021-07-13 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113112454B (zh) * 2021-03-22 2024-03-19 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113256526A (zh) * 2021-05-25 2021-08-13 烟台艾睿光电科技有限公司 一种红外图像增强方法、装置、设备及存储介质
CN113436173B (zh) * 2021-06-30 2023-06-27 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN113436173A (zh) * 2021-06-30 2021-09-24 陕西大智慧医疗科技股份有限公司 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN113538475A (zh) * 2021-07-19 2021-10-22 中国科学院自动化研究所 基于多任务算法的实时多器械分割方法和系统
CN113592819A (zh) * 2021-07-30 2021-11-02 上海皓桦科技股份有限公司 图像处理系统及方法
CN113947681A (zh) * 2021-10-18 2022-01-18 柏意慧心(杭州)网络科技有限公司 用于分割医学影像的方法、设备和介质
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统
CN114299072B (zh) * 2022-03-11 2022-06-07 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统
CN114638828A (zh) * 2022-05-18 2022-06-17 数聚(山东)医疗科技有限公司 一种基于计算机视觉的放射影像智能分割方法
CN117274779A (zh) * 2023-11-21 2023-12-22 南开大学 一种基于模态自适应门控重编码网络的目标检测方法

Also Published As

Publication number Publication date
CN112241966B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN112241966B (zh) 多任务多分类的胸部器官分割模型建立、分割方法及系统
US11379985B2 (en) System and computer-implemented method for segmenting an image
CN109584246B (zh) 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
Niyas et al. Medical image segmentation with 3D convolutional neural networks: A survey
EP3432263B1 (en) Semantic segmentation for cancer detection in digital breast tomosynthesis
Roth et al. Deeporgan: Multi-level deep convolutional networks for automated pancreas segmentation
Natarajan et al. Segmentation of nuclei in histopathology images using fully convolutional deep neural architecture
Jiang et al. Deep learning techniques for tumor segmentation: a review
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN111429473B (zh) 基于多尺度特征融合的胸片肺野分割模型建立及分割方法
CN113344951B (zh) 一种边界感知双重注意力引导的肝段分割方法
CN113947609B (zh) 深度学习网络结构及多标签主动脉夹层ct图像分割方法
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
US20230177678A1 (en) Method and system for domain knowledge augmented multi-head attention based robust universal lesion detection
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
Chen et al. A lung dense deep convolution neural network for robust lung parenchyma segmentation
CN115136189A (zh) 基于图像处理的肿瘤的自动化检测
Liu et al. Automatic segmentation algorithm of ultrasound heart image based on convolutional neural network and image saliency
CN112241961A (zh) 基于深度卷积神经网络的胸部x光片辅助诊断方法及系统
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN117392389A (zh) 基于mt-sass网络的肾癌mri图像分割分类方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Arulappan et al. Liver tumor segmentation using a new asymmetrical dilated convolutional semantic segmentation network in CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant