CN112489060B - 一种用于肺炎病灶分割的系统及方法 - Google Patents

一种用于肺炎病灶分割的系统及方法 Download PDF

Info

Publication number
CN112489060B
CN112489060B CN202011428553.9A CN202011428553A CN112489060B CN 112489060 B CN112489060 B CN 112489060B CN 202011428553 A CN202011428553 A CN 202011428553A CN 112489060 B CN112489060 B CN 112489060B
Authority
CN
China
Prior art keywords
pneumonia
focus
segmentation
detection
pneumonia focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011428553.9A
Other languages
English (en)
Other versions
CN112489060A (zh
Inventor
鄂有君
安南
张佳琦
王立威
胡阳
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Yizhun Intelligent Technology Co ltd
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Guangxi Yizhun Intelligent Technology Co ltd
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Yizhun Intelligent Technology Co ltd, Beijing Yizhun Medical AI Co Ltd filed Critical Guangxi Yizhun Intelligent Technology Co ltd
Priority to CN202011428553.9A priority Critical patent/CN112489060B/zh
Publication of CN112489060A publication Critical patent/CN112489060A/zh
Application granted granted Critical
Publication of CN112489060B publication Critical patent/CN112489060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种肺炎病灶分割的系统及方法，针对不同大小的肺炎病灶，基于图像语义分割模型和图像实例分割模型，并将二者进行融合，应用特征金字塔技术，直接在三维空间中对肺炎病灶进行检测分割，并基于先验知识进一步滤除假阳性病灶，有效地解决了临床肺炎病灶判别中，体积较大病灶与体积较小病灶检出性能不一致的问题，改善了现有方法中体积小的肺炎病灶易漏检，而体积大的肺炎病灶分割效果差的现状，提高了病灶检出结果的灵敏度与特异度。

Description

一种用于肺炎病灶分割的系统及方法
技术领域
本发明涉及影像处理技术领域，尤其涉及一种肺炎病灶分割的系统及方法等。
背景技术
肺炎是一种常见的呼吸系统疾病，在临床肺炎诊断中，CT影像诊断是一种常用的诊断方法，其检查方便、直观，尤其对于新冠肺炎，CT影像常被推荐为首选诊断方法。在临床上，通常由临床医生查看CT影像来进行诊断，耗时较长且具有一定的主观性。由于肺炎病程进展快，诊断周期长、错诊、漏诊都会对患者造成极大的影响，因此需要智能的诊断系统，协助医生检测肺炎病灶，在提升临床诊断效率的同时提高准确性。
在当前已有的一些诊断系统中，一方面，一些诊断系统仍基于传统的机器学习检测方法，结合影像组学等人工设计的特征来进行诊断。由于该方法训练模型所使用的数据量通常较少，且影像组学等人工设计的特征受图像背景变化的影响较大，因此该方法的诊断性能仍需进一步提升；另一方面，目前基于深度学习的诊断系统中，多采用基于2D Mask的模型，即分别在每一个CT影像层面上，实现对二维肺炎病灶的检测与分割，由于真实的病灶是三维的，需要将连续层面上的二维病灶轮廓进行拼接，在拼接时，不同层面的病灶轮廓往往不能在三维空间中吻合。此外，由于不同肺炎病灶之间的体积差异大，以往基于的深度学习检测方法中，多为仅采用一种卷积神经网络模型的方法，即仅采用传统的图像语义分割方法，或实例分割方法(专利：肺炎病灶分割方法和装置)，不能保证对不同尺寸的肺炎病灶的检出效果。
发明内容
鉴于此，本申请提供了一种肺炎病灶的分割方法和系统，解决了现有肺炎病灶分割方式中针对不同尺寸肺炎病灶检测的准确率低和效率低的问题。
本方法基于将传统语义分割方法与实例分割方法相结合，并应用特征金字塔技术，直接在三维空间中对肺炎病灶进行检测分割，保证了对不同尺度肺炎病灶检出的高灵敏度与高特异度，并基于先验知识进一步滤除假阳性病灶，实现了对肺炎病灶的精准诊断。
本发明提供一种用于肺炎病灶分割的方法，包括如下步骤：(1)影像数据预处理；(2)肺炎病灶检测分割处理；所述肺炎病灶检测分割处理包括肺炎病灶的首次检出，滤除假阳性肺炎病灶以及肺炎病灶融合。
优选的，所述肺炎病灶首次检出包括传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
优选的，所述图像语义分割用于体积较大的肺炎病灶，包括：在CT图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
优选的，所述实例分割用于体积较小的肺炎病灶，包括：采用two-stage思想，对肺炎病灶进行目标检测，得到肺炎病灶所在位置的三维检测框，接下来，对每一个识别的目标，即三维检测框内的肺炎病灶进行详细分类，并在每个肺炎病灶的检测目标中，在三维空间中进一步分割出肺炎病灶。
优选的，所述滤除假阳性肺炎病灶包括：滤除在肺部区域外所识别的假阳性病灶以及对剩余的肺炎病灶进行分类，区分真正的肺炎病灶和斑片影、纤维条索灶，进一步滤除检出结果中的假阳性病灶。
优选的，所述肺炎病灶融合包括：应用Adaboost方法，基于图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，以及肺炎病灶的真实分割结果，训练分类器来得到每个肺炎病灶最终的预测分数，得到最终的肺炎病灶分割结果。
本发明进一步公开了一种肺炎病灶分割系统，包括(1)影像数据预处理模块；(2)肺炎病灶检测分割处理模块；所述肺炎病灶检测分割处理模块包括肺炎病灶的首次检出模块，滤除假阳性肺炎病灶模块以及肺炎病灶融合模块。
优选的，所述肺炎病灶首次检出模块能够实施传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
更优选的所述图像语义分割用于体积较大的肺炎病灶，包括：在CT图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
本发明进一步公开了一种基于肺炎医学图像的病灶检测装置，包括：至少一个存储器，用于存储程序；至少一个处理器，用于加载所述程序以执行上述的方法。
本发明进一步公开了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现上述的方法。
本发明进一步请求保护所述的检测装置以及所述的存储介质在肺炎病灶分割中的应用。
本发明所提出的肺炎检测及病灶分割方法，主要包括CT影像获取、影像数据预处理模块与肺炎检测分割模块(如图1)。
其中，肺炎检测分割模块可分为三部分：肺炎病灶首次检出框架、滤除假阳性肺炎病灶框架以及，肺炎病灶融合框架。详细介绍如下：
(1)肺炎病灶首次检出框架：肺炎病灶首次检出框架包括传统图像语义分割方法与实例分割方法，旨在针对不同尺寸的肺炎病灶，均能保持良好的检出效果(如图2)。
其中，语义分割模型被用于对体积较大的肺炎病灶进行分割。语义分割模型可以在特征提取部分增加上采样结构，并分别在不同尺度下，对所提取的特征进行融合，因此适用于大尺寸图像的分割问题，并且可以实现精准的细节分割。图像语义分割模型的建立步骤介绍如下：在CT图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割。
对于不同尺度的肺炎病灶，由于在对体积较小的肺炎病灶进行分割时，前景目标尺寸过小，导致图像样本类别十分不均衡，并且在使用IoU(Intersection over Union)指标来衡量物体检测的准确性时，前景目标的损失函数值被背景目标的损失函数值所淹没，导致前景目标无法检出，即出现体积较小的肺炎病灶被漏检的情况。因此，针对体积较大的肺炎病灶，本发明采用图像语义分割方法对肺炎病灶进行检测与分割。当病灶体积较大时，前景目标尺寸较大，前景目标的损失函数值不会被背景目标的损失函数值所淹没，能够保证体积大的病灶被检出。另外，由于体积较大的病灶形状多变，很不规则，采用图像语义分割方法，根据临床数据的标注结果，对每一个体素进行分类，在这一过程中，仅区分体素是否属于肺炎病灶，而不区分体素所属的病灶的性质，分割结果不受病灶不规则形状的影响，在检出体积较大的肺炎病灶时具有高灵敏度。
本发明使用实例分割模型对体积较小的肺炎病灶进行分割。实例分割是一种灵活的图像分割框架，不仅可以用来检测图像上的目标物体，识别物体所在的感兴趣区域并得到物体的检测框，还可以对每一个检测框内的目标物体进行精准地分割。在本发明所提出的肺炎检测及病灶分割的智能方法中，本发明将实例分割方法扩展到三维空间中，区别于以往在二维空间中对图像上的目标物体进行检测与分割，本发明在三维空间中对三维病灶所在的区域进行检测及分割。图像实例分割模型的建立步骤如下：采用two-stage思想，首先对肺炎病灶进行目标检测，得到肺炎病灶所在位置的三维检测框，接下来，对每一个识别的目标，即三维检测框内的肺炎病灶进行详细分类，并在每个肺炎病灶的检测目标中，在三维空间中进一步分割出肺炎病灶。对于形状不规则、体积较大的肺炎病灶，该方法在目标检测与分类过程中，可能会将肺炎病灶误分类为其他目标，因此对大体积肺炎病灶的检测效果一般。在针对小体积肺炎病灶的检测、分割过程中，由于先对小体积病灶进行了检测，大部分的背景被剔除，再针对病灶检测框内的病灶进行分割，因此大大缓解了图像类别不均衡的问题，保证小体积病灶被正确分割。因此，针对体积较小的肺炎病灶，本发明采用实例分割的方法对肺炎病灶进行检测与分割，保证了检出小体积肺炎病灶的高灵敏度。
在分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，本发明将分割得到的结果进行合并，得到肺炎病灶首次检出结果。
(2)滤除假阳性肺炎病灶框架：在得到肺炎病灶首次检出结果后，本发明首先基于肺部的分割结果，滤除在肺部区域外所识别的假阳性病灶。接下来，本发明应用基于深度学习的分类模型，对剩余的肺炎病灶进行分类，区分真正的肺炎病灶和斑片影、纤维条索灶等，进一步滤除检出结果中的假阳性病灶，提高肺炎检测分割结果的特异度(如图3)。
(3)肺炎病灶融合框架：在滤除假阳性肺炎病灶后，本发明对剩余的肺炎病灶进行融合。首先，本发明应用Adaboost方法，基于图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，以及肺炎病灶的真实分割结果，训练分类器来得到每个肺炎病灶最终的预测分数。接下来，基于肺炎病灶的最终预测分数，应用NMS(Non-Maximum Suppression)方法，对肺炎病灶分割结果进行融合，滤除冗余的病灶，得到最终的肺炎病灶分割结果(如图4)。
本发明所提出的肺炎检测及病灶分割的智能方法，基于图像语义分割模型和图像实例分割模型，并将二者进行融合，有效地解决了临床肺炎病灶判别中，体积较大病灶与体积较小病灶检出性能不一致的问题，改善了现有方法中体积小的肺炎病灶易漏检，而体积大的肺炎病灶分割效果差的现状，提高了病灶检出结果的灵敏度。在应用图像语义分割模型与图像实例分割模型的过程中，应用了特征金字塔技术，不断提高输出结果的精度。此外，本发明还基于先验知识，滤除不同尺度下病灶检出结果中的假阳性病灶，进一步提高肺炎病灶检出结果的特异度。最后，本发明根据每个病灶的置信度，将不同尺度下检出的肺炎病灶进行了融合，得到最终肺炎病灶检出的高精度结果。具体可体现如下：
(1)检出不同尺度的肺炎病灶：对于体积较大的肺炎病灶，本发明采用图像语义分割模型，通过将所提取的不同尺度的特征进行融合后，提高了对体积较大且形状不规则的肺炎病灶的细节分割的精准度。此外，采用语义分割模型，避免了将体积较大的肺炎病灶误分类为其他目标的问题，保证了体积较大的肺炎病灶检出的灵敏度。对于体积较小的肺炎病灶，本发明采用图像实例分割模型，在对肺炎病灶进行目标检测的基础上，对每一个三维检测框内的肺炎病灶进行分割。在目标检测的过程中，由于部分背景区域已被剔除掉，在每一个检测框内，体积较小的肺炎病灶，即前景目标的损失函数值并不会被背景目标的损失函数值所淹没，保证了体积较小的肺炎病灶检出的灵敏度。
(2)滤除假阳性肺炎病灶：针对首次检出的肺炎病灶，首先基于肺部分割结果，滤除在肺部区域外所识别的假阳性病灶，再应用深度学习分类模型，对剩余病灶进行分类，滤除检出结果中的其他假阳性病灶，如斑片影和纤维条索灶等，提高了肺炎检测分割结果的特异度。
(3)不同尺寸检出肺炎病灶融合：首先，应用Adaboost方法，根据图像语义分割与图像实例分割中，获取的较大体积病灶及较小体积病灶的体素预测分数，结合肺炎病灶分割的真实结果，训练分类器来得到每个肺炎病灶最终的预测分数。在这个过程中，保证了较大体积病灶及较小体积病灶最终预测分数之间的可比性。基于最终的预测分数，应用NMS方法，对肺炎病灶分割结果进行融合，去除了冗余病灶，得到最终的肺炎病灶分割结果。
(4)三维空间病灶分割：本发明所提出的方法直接在三维空间中对肺炎病灶进行检出，采用3D网络可以结合不同层面图像之间的信息，确保了相邻层面病灶分割结果mask之间变化的连续性，使得不同层面的病灶轮廓在三维空间中可以吻合。
附图说明
图1.肺炎检测及病灶分割方法
图2.肺炎病灶首次检出框架
图3.滤除假阳性肺炎病灶框架示意图
图4.肺炎病灶融合框架示意图
图5.肺炎病灶首次检出示例
图6.不同体积肺炎病灶分割结果示例(左图：预处理后的CT影像；右图：肺炎病灶分割结果)
图7.滤除假阳性肺炎病灶框架
图8.肺炎病灶融合框架示意图
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
定义
除非在下文中另有定义，本文中所用的所有技术术语和科学术语的含义意图与本领域技术人员通常所理解的相同。提及本文中使用的技术意图指在本领域中通常所理解的技术，包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以下术语对于本领域技术人员很好理解，但仍然阐述以下定义以更好地解释本发明。
如本文中所使用，术语“包括”、“包含”、“具有”、“含有”或“涉及”及其在本文中的其它变体形式为包含性的(inclusive)或开放式的，且不排除其它未列举的元素或方法步骤。
在提及单数形式名词时使用的不定冠词或定冠词例如“一个”或“一种”，“所述”，包括该名词的复数形式。
本发明中的术语“大约”、“大体”表示本领域技术人员能够理解的仍可保证论及特征的技术效果的准确度区间。该术语通常表示偏离指示数值的±10％，优选±5％。
此外，说明书和权利要求书中的术语第一、第二、第三、(a)、(b)、(c)以及诸如此类，是用于区分相似的元素，不是描述顺序或时间次序必须的。应理解，如此应用的术语在适当的环境下可互换，并且本发明描述的实施方案能以不同于本发明描述或举例说明的其它顺序实施。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。在对CT影像数据进行HU值转换及肺窗处理等预处理后，本发明通过以下三个阶段来实现对肺炎病灶的检出。
实施例1肺炎病灶首次检出框架
此为第一阶段，经过预处理后的CT影像数据分别经过图像语义分割和图像实例分割处理，得到体积较大的肺炎病灶和体积较小的肺炎病灶的分割结果，图像语义分割与图像实例分割均直接在三维空间中对CT影像数据进行处理(如图5)。体积较大的肺炎病灶和体积较小的肺炎病灶的分割结果示例如图6所示。
在图像语义分割的过程中，由于CT图像的尺寸较大，本发明首先将预处理后的CT图像裁剪成固定大小的模块，并将每一个图像块分别放入语义分割模型中提取特征，在拼接不同尺度下所提取的特征并对每一个体素进行分割后，得到该图像块的肺炎病灶分割结果，即肺炎病灶的3D Mask。在训练语义分割模型的过程中，训练集的全部数据均由经验丰富的临床医生进行标注，未标记的像素点被设置为0。由图6第一行可见，语义分割模型可以实现对体积较大的肺炎病灶边界的精准分割。
在图像实例分割的过程中，首先对肺炎病灶进行目标检测，接下来，将感兴趣区域缩放至不同的尺度，分别在每个尺度下提取感兴趣区域的特征，构建特征金字塔，并实现对感兴趣区域的定位与分类。最后，对每个感兴趣区域内的肺炎病灶进行分割，生成肺炎病灶的3D Mask。由图6第二行可见，实例分割模型可以实现对体积较小的肺炎病灶边界的精准分割。
获取图像语义分割与实例分割的结果后，本发明将分割得到的肺炎病灶整合，得到肺炎病灶首次检出结果。
实施例2滤除假阳性肺炎病灶框架
此为第二阶段，首先，从CT影像中提取肺部的mask，将肺炎病灶首次检出结果中位于肺部mask之外的假阳性病灶滤除。接下来，将剩余的肺炎病灶作为输入，应用深度学习分类模型，对这些肺炎候选病灶进行多分类，区分真正的肺炎病灶和斑片影、纤维条索灶等，保留真正肺炎病灶的分割结果(如图7)。
实施例3肺炎病灶融合框架
此为第三阶段，滤除假阳性肺炎病灶后，本发明对剩余的肺炎病灶进行融合，根据图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，应用Adaboost方法，对所有候选肺炎病灶重新计算预测分数，应用NMS方法，首先将候选肺炎病灶根据重新计算的预测分数进行排序，选出预测分数最高的肺炎病灶并保留，计算其与其他病灶之间的重合率，并去除重合率超过一定阈值的候选对肺炎病灶。接下来，从剩余候选病灶中，选出预测分数最高的肺炎病灶并保留，重复上述过程，直到找到所有需要保留下来的肺炎病灶，完成肺炎病灶分割结果的融合，得到最终的肺炎病灶分割结果(如图8)。
本发明通过上述实施例来说明本发明的工艺方法，但本发明并不局限于上述工艺步骤，即不意味着本发明必须依赖上述工艺步骤才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明所选用原料的等效替换及辅助成分的添加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。

Claims (4)

1.一种用于肺炎病灶分割的方法，包括如下步骤：（1）影像数据预处理；（2）肺炎病灶检测分割处理；其特征在于，所述肺炎病灶检测分割处理包括肺炎病灶的首次检出，滤除假阳性肺炎病灶以及肺炎病灶融合；所述肺炎病灶首次检出包括传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果，其中，所述图像语义分割用于体积较大的肺炎病灶，包括：在CT图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割；其中，所述实例分割用于体积较小的肺炎病灶，包括：采用two-stage思想，对肺炎病灶进行目标检测，得到肺炎病灶所在位置的三维检测框，接下来，对每一个识别的目标，即三维检测框内的肺炎病灶进行详细分类，并在每个肺炎病灶的检测目标中，在三维空间中进一步分割出肺炎病灶；所述滤除假阳性肺炎病灶包括：滤除在肺部区域外所识别的假阳性病灶以及对剩余的肺炎病灶进行分类，区分真正的肺炎病灶和斑片影、纤维条索灶，进一步滤除检出结果中的假阳性病灶；所述肺炎病灶融合包括：应用Adaboost方法，基于图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，以及肺炎病灶的真实分割结果，训练分类器来得到每个肺炎病灶最终的预测分数，并基于预测分数，通过非极大值抑制方法对肺炎病灶分割结果进行融合，得到最终的肺炎病灶分割结果。
2.一种肺炎病灶分割系统，包括（1）影像数据预处理模块；（2）肺炎病灶检测分割处理模块；其特征在于，所述肺炎病灶检测分割处理模块包括肺炎病灶的首次检出模块，滤除假阳性肺炎病灶模块以及肺炎病灶融合模块；所述肺炎病灶首次检出模块能够实施传统图像语义分割与实例分割，分别应用图像语义分割与实例分割对体积较大和体积较小的肺炎病灶进行分割后，将分割得到的结果进行合并，得到肺炎病灶首次检出结果，其中，所述图像语义分割用于体积较大的肺炎病灶，包括：在CT图像空间中，用三维空间中的卷积操作来替代每一个二维空间的卷积操作，并利用特征金字塔技术，首先在多次下采样的过程中，不断提取图像的特征，再根据这些上游特征，经过多次上采样的过程，将多尺度特征多次进行融合，不断提高输出结果的精度，实现对肺炎病灶体素级别的精准分割，其中，所述实例分割用于体积较小的肺炎病灶，包括：采用two-stage思想，对肺炎病灶进行目标检测，得到肺炎病灶所在位置的三维检测框，接下来，对每一个识别的目标，即三维检测框内的肺炎病灶进行详细分类，并在每个肺炎病灶的检测目标中，在三维空间中进一步分割出肺炎病灶；所述滤除假阳性肺炎病灶包括：滤除在肺部区域外所识别的假阳性病灶以及对剩余的肺炎病灶进行分类，区分真正的肺炎病灶和斑片影、纤维条索灶，进一步滤除检出结果中的假阳性病灶；所述肺炎病灶融合包括：应用Adaboost方法，基于图像语义分割中获取的体积较大的肺炎病灶体素预测分数，与图像实例分割中获取的体积较小的肺炎病灶体素预测分数，以及肺炎病灶的真实分割结果，训练分类器来得到每个肺炎病灶最终的预测分数，并基于预测分数，通过非极大值抑制方法对肺炎病灶分割结果进行融合，得到最终的肺炎病灶分割结果。
3.一种基于肺炎医学图像的病灶检测装置，其特征在于，包括：至少一个存储器，用于存储程序； 至少一个处理器，用于加载所述程序以执行如权利要求1所述的方法。
4.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于实现如权利要求1所述的方法。
CN202011428553.9A 2020-12-07 2020-12-07 一种用于肺炎病灶分割的系统及方法 Active CN112489060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011428553.9A CN112489060B (zh) 2020-12-07 2020-12-07 一种用于肺炎病灶分割的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011428553.9A CN112489060B (zh) 2020-12-07 2020-12-07 一种用于肺炎病灶分割的系统及方法

Publications (2)

Publication Number Publication Date
CN112489060A CN112489060A (zh) 2021-03-12
CN112489060B true CN112489060B (zh) 2022-05-10

Family

ID=74940699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011428553.9A Active CN112489060B (zh) 2020-12-07 2020-12-07 一种用于肺炎病灶分割的系统及方法

Country Status (1)

Country Link
CN (1) CN112489060B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781440B (zh) * 2020-11-25 2022-07-29 北京医准智能科技有限公司 超声视频病灶检测方法及装置
CN113160208A (zh) * 2021-05-07 2021-07-23 西安智诊智能科技有限公司 一种基于级联混合网络的肝脏病变图像分割方法
CN113902692B (zh) * 2021-09-26 2022-09-02 北京医准智能科技有限公司 一种血管分割的方法、装置及计算机可读介质
CN115170802B (zh) * 2022-07-15 2023-03-28 四川大学 微小实性异生组织的分割方法、系统、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007078764A2 (en) * 2005-12-29 2007-07-12 Carestream Health, Inc. Cad detection system for multiple organ systems
WO2019154201A1 (zh) * 2018-02-09 2019-08-15 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
CN111047609A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 肺炎病灶分割方法和装置
CN111275707A (zh) * 2020-03-13 2020-06-12 北京深睿博联科技有限责任公司 肺炎病灶分割方法和装置
WO2020142077A1 (en) * 2018-12-31 2020-07-09 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
WO2020173297A1 (zh) * 2019-02-25 2020-09-03 腾讯科技（深圳）有限公司 点云分割方法、计算机可读存储介质和计算机设备
WO2020190821A1 (en) * 2019-03-15 2020-09-24 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography
WO2020216008A1 (zh) * 2019-04-25 2020-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
CN107301400A (zh) * 2017-06-23 2017-10-27 深圳市唯特视科技有限公司 一种语义导向的半监督视频对象分割方法
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN107704862A (zh) * 2017-11-06 2018-02-16 深圳市唯特视科技有限公司 一种基于语义实例分割算法的视频对象分割方法
CN107979764B (zh) * 2017-12-06 2020-03-31 中国石油大学(华东) 基于语义分割和多层注意力框架的视频字幕生成方法
CN108229550B (zh) * 2017-12-28 2022-02-18 南京信息工程大学 一种基于多粒度级联森林网络的云图分类方法
CN110349247B (zh) * 2018-04-08 2022-10-14 哈尔滨工业大学 一种基于语义理解的室内场景cad三维重建方法
CN110533048B (zh) * 2018-05-23 2023-08-04 上海交通大学 基于全景区域场景感知的组合语义层次连接模型的实现方法及系统
US10796201B2 (en) * 2018-09-07 2020-10-06 Toyota Research Institute, Inc. Fusing predictions for end-to-end panoptic segmentation
CN109636905B (zh) * 2018-12-07 2023-01-24 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109801307A (zh) * 2018-12-17 2019-05-24 中国科学院深圳先进技术研究院 一种全景分割方法、装置及设备
CN110008808B (zh) * 2018-12-29 2021-04-09 北京迈格威科技有限公司 全景分割方法、装置和系统及存储介质
CN110276765B (zh) * 2019-06-21 2021-04-23 北京交通大学 基于多任务学习深度神经网络的图像全景分割方法
CN110555464A (zh) * 2019-08-06 2019-12-10 高新兴科技集团股份有限公司 一种基于深度学习模型的车辆颜色识别方法
CN110674866B (zh) * 2019-09-23 2021-05-07 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111209915B (zh) * 2019-12-25 2023-09-15 上海航天控制技术研究所 一种基于深度学习的三维图像同步识别和分割方法
CN111507965A (zh) * 2020-04-17 2020-08-07 中山仰视科技有限公司 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN111582175B (zh) * 2020-05-09 2023-07-21 中南大学 一种共享多尺度对抗特征的高分遥感影像语义分割方法
CN111428726B (zh) * 2020-06-10 2020-09-11 中山大学 基于图神经网络的全景分割方法、系统、设备及存储介质
CN111932559B (zh) * 2020-08-26 2022-11-29 上海市公共卫生临床中心 基于深度学习的新冠肺炎肺部病灶区域分割系统
CN112017189B (zh) * 2020-10-26 2021-02-02 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007078764A2 (en) * 2005-12-29 2007-07-12 Carestream Health, Inc. Cad detection system for multiple organ systems
WO2019154201A1 (zh) * 2018-02-09 2019-08-15 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质
US10467500B1 (en) * 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
WO2020142077A1 (en) * 2018-12-31 2020-07-09 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
WO2020173297A1 (zh) * 2019-02-25 2020-09-03 腾讯科技（深圳）有限公司 点云分割方法、计算机可读存储介质和计算机设备
WO2020190821A1 (en) * 2019-03-15 2020-09-24 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography
WO2020216008A1 (zh) * 2019-04-25 2020-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN111047609A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 肺炎病灶分割方法和装置
CN111275707A (zh) * 2020-03-13 2020-06-12 北京深睿博联科技有限责任公司 肺炎病灶分割方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semantic segmentation of road profiles for efficient sensing in autonomous driving;Cheng G等;《2019 IEEE Intelligent Vehicles Symposium》;20191231;第564-569页 *
基于深度学习的口腔颌面外科疾病诊断;陈龙意;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20190715(第7期);第E074-32页 *

Also Published As

Publication number Publication date
CN112489060A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112489060B (zh) 一种用于肺炎病灶分割的系统及方法
Lee et al. Segmentation of overlapping cervical cells in microscopic images with superpixel partitioning and cell-wise contour refinement
CN108133476B (zh) 一种肺结节自动检测方法及系统
CN104978725B (zh) 一种冠状动脉分割方法和装置
CN111667456B (zh) 一种冠状动脉x光序列造影中血管狭窄检测方法及装置
CN111340130A (zh) 一种基于深度学习和影像组学的泌尿结石检测分类方法
JP2006252559A (ja) 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
Su et al. Junction detection for linear structures based on Hessian, correlation and shape information
WO2011093921A1 (en) Automated vascular region separation in medical imaging
CN111476774A (zh) 基于新型冠状病毒肺炎ct检测的智能征象识别装置
CN101403743A (zh) 一种x型交叠、粘连染色体自动分割方法
CN113034528A (zh) 基于影像组学的靶区及危及器官勾画轮廓准确性检验方法
CN113537357A (zh) 一种基于深度残差网络的甲状腺癌ct影像分类系统
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
CN111738992A (zh) 肺部病灶区域提取方法、装置、电子设备和存储介质
JP2006506163A (ja) 肺結節のコンピュータ支援検出
CN110288577A (zh) 一种3d实现多器官病灶整合的控制方法及控制装置
CN112712521A (zh) 一种基于全局梯度搜索的眼底视盘自动定位方法
CN109875595B (zh) 一种颅内血管状态检测方法及装置
CN111724356A (zh) 一种用于ct影像肺炎识别的图像处理方法和系统
KR101126223B1 (ko) Ｍｒ 영상을 이용한 자동 간 분할 방법
CN114742803A (zh) 一种结合深度学习与数字图像处理算法的血小板聚集检测方法
CN111210436B (zh) 晶状体分割方法、装置及存储介质
WO2022084286A1 (en) Method and system for segmenting and identifying at least one tubular structure in medical images
CN110533637B (zh) 一种检测对象的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Patentee after: Guangxi Yizhun Intelligent Technology Co.,Ltd.

Address before: 1106, 11 / F, Weishi building, No.39 Xueyuan Road, Haidian District, Beijing

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.

Patentee before: Guangxi Yizhun Intelligent Technology Co.,Ltd.