CN111738992B - 肺部病灶区域提取方法、装置、电子设备和存储介质 - Google Patents
肺部病灶区域提取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111738992B CN111738992B CN202010500226.3A CN202010500226A CN111738992B CN 111738992 B CN111738992 B CN 111738992B CN 202010500226 A CN202010500226 A CN 202010500226A CN 111738992 B CN111738992 B CN 111738992B
- Authority
- CN
- China
- Prior art keywords
- focus
- segmentation
- detection
- candidate
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 226
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 388
- 230000011218 segmentation Effects 0.000 claims abstract description 288
- 238000000605 extraction Methods 0.000 claims abstract description 103
- 230000003902 lesion Effects 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002685 pulmonary effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 206010035664 Pneumonia Diseases 0.000 description 8
- 208000019693 Lung disease Diseases 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种肺部病灶区域提取方法、装置、电子设备和存储介质，其中方法包括：确定肺部影像；将肺部影像输入至病灶检测模型，得到病灶检测模型输出的病灶检测结果；将肺部影像输入至病灶分割模型，得到病灶分割模型输出的病灶分割结果；基于病灶检测结果和病灶分割结果，确定肺部影像的病灶区域提取结果。本发明实施例提供的方法、装置、电子设备和存储介质，通过病灶检测模型得到病灶检测结果，通过病灶分割模型得到病灶分割结果，实现了自动化的病灶区域提取，在保证病灶区域提取效率的同时，通过结合病灶检测模型和病灶分割模型两个模型的优势，得到兼顾了区域提取准确性和提取精度的肺部影像的病灶区域提取结果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种肺部病灶区域提取方法、装置、电子设备和存储介质。
背景技术
在肺部疾病的临床诊断和治疗中，通常需要获取患者肺部影像从而实现肺部病变检出、性质判断、累及范围确定和诊疗评价等多方面用途。
目前，基于肺部影像的肺部病灶区域的定位、提取主要通过人工阅片实现，而人工阅片所得的病灶区域定位、提取结果的准确性极大程度上取决于阅片者自身知识储备和诊疗经验等因素，具有极强的不确定性，且人工阅片过程中极易出现细小病灶被遗漏的情况。此外，当累积有大量胸片影像时，人工阅片的肺部病灶区域提取效率极其低下。
发明内容
本发明实施例提供一种肺部病灶区域提取方法、装置、电子设备和存储介质，用以解决现有的肺部病灶区域提取可靠性低、效率差的问题。
第一方面，本发明实施例提供一种肺部病灶区域提取方法，包括：
确定肺部影像；
将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果；所述病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果训练得到的；
将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果；所述病灶分割模型是基于所述样本肺部影像及其对应的样本病灶分割结果训练得到的；
基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果。
优选地，所述基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果，具体包括：
基于所述病灶检测结果中每一病灶检出框和所述病灶分割结果中每一病灶区域，以及每一病灶检出框和每一病灶区域的外接边框之间的重合度，确定所述肺部影像的病灶区域提取结果。
优选地，所述基于所述病灶检测结果中每一病灶检出框和所述病灶分割结果中每一病灶区域，以及每一病灶检出框和每一病灶区域的外接边框之间的重合度，确定所述肺部影像的病灶区域提取结果，具体包括：
若任一病灶检出框和任一病灶区域的外接边框之间的重合度大于等于预设重合度阈值，则将所述任一病灶区域添加至所述病灶区域提取结果；
否则，将所述任一病灶检出框添加至所述病灶区域提取结果。
优选地，所述将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果，具体包括：
将所述肺部影像中的任一影像块输入至所述病灶检测模型的候选检测模型，得到所述候选检测模型基于所述任一影像块中每一像素点的影像特征输出的候选检测结果；
若所述候选检测结果中包含候选检出框，且所述候选检出框的候选检测得分大于预设候选检测得分阈值，则基于所述候选检出框从所述任一影像块中分割出候选检出影像块；
将任一候选检出影像块中每一像素点的影像特征输入至所述病灶检测模型的精细检测模型，得到所述精细检测模型输出的所述任一候选检出影像块的精细检测结果；所述病灶检测结果由每一候选检出影像块的精细检测结果构成。
优选地，所述将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果，具体包括：
将所述肺部影像中的任一影像块输入至所述病灶分割模型的候选分割模型，得到所述候选分割模型输出的任一影像块的候选分割结果；
若所述任一影像块的候选分割结果中包含候选病灶区域，且所述候选病灶区域的候选分割得分大于预设候选分割得分阈值，则基于所述候选病灶区域从所述任一影像块中分割出候选分割影像块；
将任一候选分割影像块输入至所述病灶分割模型的精细分割模型，得到所述精细分割模型输出的所述任一候选分割影像块的精细分割结果；所述病灶分割结果由每一候选分割影像块的精细分割结果构成。
优选地，所述肺部影像中的任一影像块的获取方法包括：
基于预先设定的滑动窗口尺寸和滑动窗口步长，对所述肺部影像进行滑动分割，得到所述肺部影像的若干个影像块；
其中，所述滑动窗口步长小于所述滑动窗口尺寸。
优选地，所述基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果，之前还包括：
基于预设检测得分阈值，以及所述病灶检测结果中每一病灶检出框的检测得分，对所述病灶检测结果进行虚警滤除；
和/或，基于预设分割得分阈值，以及所述病灶分割结果中每一病灶区域的分割得分，对所述病灶分割结果进行虚警滤除。
第二方面，本发明实施例提供一种肺部病灶区域提取装置，包括：
肺部影像确定单元，用于确定肺部影像；
病灶检测单元，用于将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果；所述病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果确定的；
病灶分割单元，用于将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果；所述病灶分割模型是基于所述样本肺部影像及其对应的样本病灶分割结果确定的；
病灶区域提取单元，用于基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种肺部病灶区域提取方法、装置、电子设备和存储介质，通过病灶检测模型得到病灶检测结果，通过病灶分割模型得到病灶分割结果，实现了自动化的病灶区域提取，在保证病灶区域提取效率的同时，通过结合病灶检测模型和病灶分割模型两个模型的优势，得到兼顾了区域提取准确性和提取精度的肺部影像的病灶区域提取结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的肺部病灶区域提取方法的流程示意图；
图2为本发明实施例提供的病灶检测方法的流程示意图；
图3为本发明实施例提供的候选检测模型的运行流程示意图；
图4为本发明实施例提供的候选检测模型的结构示意图；
图5为本发明实施例提供的病灶分割方法的流程示意图；
图6为本发明实施例提供的精细分割模型的结构示意图；
图7为本发明实施例提供的肺部病灶区域提取装置的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于人工阅片进行肺部病灶区域提取的方法，病灶区域提取结果的准确性极大程度上会受到阅片者自身专业知识水平、经验是否丰富、阅片时是否出现疲劳等多方面影响，且当累计有大量胸片影像时，人工阅片效率低下，阅片者工作负担极重。
对此，本发明实施例提供了一种肺部病灶区域提取方法。图1为本发明实施例提供的肺部病灶区域提取方法的流程示意图，如图1所示，该方法包括：
步骤110，确定肺部影像。
此处的肺部影像即需要进行肺部病灶区域提取的影像，具体可以是DR(DigitalRadiography，数字化X线成像)、CT(Computed Tomography，电子计算机断层扫描)或者其余形式的影像，本发明实施例对此不作具体限定。
步骤120，将肺部影像输入至病灶检测模型，得到病灶检测模型输出的病灶检测结果；病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果训练得到的。
具体地，病灶检测模型用于检测肺部影像中各个肺部病灶，并输出病灶检测结果。此处的病灶检测结果可以包含肺部影像中各个肺部病灶的病灶检出框的坐标信息，还可以包含各个病灶检出框的检测得分。其中，针对任一肺部病灶，其对应的病灶检出框即包围该肺部病灶的边界框，用于标识该肺部病灶的位置和大小等信息，病灶检出框的检测得分用于反映病灶检出框内存在肺部病灶的概率。
在执行步骤120之前，还可以预先训练得到病灶检测模型，具体可通过如下方式训练得到病灶检测模型：首先，收集大量样本肺部影像，并标注出样本肺部影像中各个肺部病灶对应病灶检出框的位置，作为样本肺部病灶检测结果。然后，基于样本肺部影像，以及样本肺部病灶检测结果对初始模型进行训练，从而得到病灶检测模型。
步骤130，将肺部影像输入至病灶分割模型，得到病灶分割模型输出的病灶分割结果；病灶分割模型是基于样本肺部影像及其对应的样本病灶分割结果训练得到的。
具体地，病灶分割模型用于检测并分割肺部影像中的各个肺部病灶，并输出病灶分割结果，此处的病灶分割结果可以包含肺部影像中各个肺部病灶的病灶区域，还可以包含各个病灶区域的分割得分。其中，针对任一肺部病灶，其对应的病灶区域用于表示该肺部病灶的位置和边缘等信息，病灶区域的分割得分用于反映病灶区域与病灶的位置、边缘一致的概率。
在执行步骤130之前，还可以预先训练得到病灶分割模型，具体可通过如下方式训练得到病灶分割模型：首先，收集大量样本肺部影像，并标注出样本肺部影像中各个肺部病灶的边缘轮廓，进而得到各个肺部病灶的二值掩模图作为样本肺部病灶分割结果。然后，基于样本肺部影像，以及样本肺部病灶分割结果对初始模型进行训练，从而得到病灶分割模型。
需要说明的是，本发明实施例不对步骤120和步骤130的执行顺序作具体限定，步骤120可以在步骤130之前或之后执行，也可以与步骤130同步执行。此外，当肺部影像为CT影像时，考虑到CT影像实际上是一种3D影像，为了提高病灶检测模型和病灶分割模型的分析能力，可以通过3D卷积网络作为基础单元实现上述模型的搭建。
步骤140，基于病灶检测结果和病灶分割结果，确定肺部影像的病灶区域提取结果。
具体地，步骤120得到的病灶检测结果中，病灶检出框中既包含了属于肺部病灶的像素点，也包含了不属于肺部病灶的像素点，而步骤130得到的病灶分割结果中，病灶区域理想状态下仅包含属于肺部病灶的像素点，不包含不属于肺部病灶的像素点。因此，在理想状态下，病灶分割的精度优于病灶检测的精度。
但是由于病灶本身是不规则形状，且可能存在病灶边缘十分模糊的情况，仅凭借病灶分割模型进行病灶分割，可能无法实现边缘模糊的病灶分割，导致病灶漏检。因此，步骤140中，在得到肺部影像的病灶检测结果和病灶分割结果后，可以将此两者进行融合，通过病灶分割结果弥补病灶检测结果精度较低的问题，同时通过病灶检测结果弥补病灶分割结果对于边缘模糊的病灶无法分割导致漏检的问题，进而得到兼顾了区域提取准确性和提取精度的肺部影像的病灶区域提取结果。
例如，在肺部影像的任一位置，存在病灶检测结果中的病灶检出框，但是不存在病灶分割结果分割得到的病灶区域，说明此处可能是病灶分割结果存在漏检，则在病灶区域提取结果中添加此位置的病灶检出框。又例如，在肺部影像的任一位置，同时存在病灶检测结果中的病灶检出框和病灶分割结果分割得到的病灶区域，可以仅在病灶区域提取结果中添加此位置的病灶区域。
此外，步骤120中的病灶检测模型和步骤130中的病灶分割模型不仅可以用于实现肺部病灶区域的分割提取，还可以具体用于实现某一预设类型的肺部病灶区域的分割提取，例如病灶检测模型用于检测新型冠状肺炎的病灶并输出新型冠状肺炎的病灶检出框，病灶分割模型用于分割新型冠状肺炎的病灶并输出新型冠状肺炎的病灶区域，由此得到的病灶区域提取结果仅提取肺部影像中的新型冠状肺炎的病灶区域。
本发明实施例提供的方法，通过病灶检测模型得到病灶检测结果，通过病灶分割模型得到病灶分割结果，实现了自动化的病灶区域提取，在保证病灶区域提取效率的同时，通过结合病灶检测模型和病灶分割模型两个模型的优势，得到兼顾了区域提取准确性和提取精度的肺部影像的病灶区域提取结果。
在此基础上，将病灶区域提取结果与医生在病历中对肺部病灶的描述相比对，能够快速检测病历的质量，判断是否存在误诊的问题；对同种肺部疾病的不同患者的病灶区域提取结果进行归纳分析，能够进一步得到该种肺部疾病体现在肺部影像中的肺部病灶特征，从而帮助人们了解该种肺部疾病；对比同一患者不同时期的肺部影像的病灶区域提取结果，能够跟踪肺部病灶在不同时期的演化状态，从而帮助人们了解肺部病灶的演化规律。
需要说明的是，本发明实施例提供的方法，是以肺部影像为对象，获取肺部影像的病灶区域提取结果，而非以患者本人为对象。并且，本发明实施例提供的方法，目的是对肺部影像中体现的肺部病灶进行定位分析，用于快速检测病历的质量、帮助人们了解肺部疾病病灶的特性、或者帮助人们了解肺部病灶的演化规律，而非以获得疾病诊断结果或健康状况为直接目的。因此，本发明实施例提供的方法，不属于疾病的诊断方法。
基于上述实施例，步骤140具体包括：基于病灶检测结果中每一病灶检出框和病灶分割结果中每一病灶区域，以及每一病灶检出框和每一病灶区域的外接边框之间的重合度，确定肺部影像的病灶区域提取结果。
具体地，病灶检测结果中可以包含若干个病灶检出框，病灶分割结果中可以包含若干个病灶区域，病灶检出框和病灶区域的数量、位置可能相同也可能不同。在将病灶检测结果和病灶分割结果进行融合，从而获取病灶区域提取结果的过程中，可以计算每一病灶检出框和每一病灶区域的外接边框之间的重合度，从而判断病灶检出框和病灶区域所表征是否是同一个病灶，进而避免病灶区域提取结果中针对同一个病灶进行重复标注提取的情况。此外，每一病灶检出框和每一病灶区域的外接边框之间的重合度，还可以作为病灶检测结果和病灶分割结果是否存在虚警或者漏检的判断依据，进而避免最终输出的病灶区域提取结果中存在虚警或者漏检的情况。
进一步地，任一病灶检出框和任一病灶区域的外接边框之间的重合度可以表示为交并比(Intersection-over-Union，IoU)，也可以表示为重合区域与病灶检出框或病灶区域的外接边框的体积之比，本发明实施例对此不作具体限定。
基于上述任一实施例，步骤140具体包括：若任一病灶检出框和任一病灶区域的外接边框之间的重合度大于预设重合度阈值，则将该病灶区域添加至所述病灶区域提取结果；否则，将该病灶检出框添加至所述病灶区域提取结果。
具体地，预设重合度阈值是预先设定的病灶检出框和病灶区域表征同一病灶时的重合度最小值。
若任一病灶检出框和任一病灶区域的外接边框之间的重合度大于等于预设重合度阈值，即可确定该病灶检出框和该病灶区域表征同一病灶，此时考虑到病灶分割的精度优于病灶检测的精度，可以应用该病灶区域表征该病灶的位置、形状等信息，并将该病灶区域添加到病灶区域提取结果中；
若任一病灶检出框和每一病灶区域的外接边框之间的重合度均小于预设重合度阈值，即可确定该病灶检出框和每一病灶区域均表征的是两个不同病灶，而病灶分割结果中不存在该病灶检出框所表征病灶的病灶区域的原因可能是该病灶区域的边缘模糊，导致病灶分割模型无法实现该病灶区域的分割，即病灶分割模型可能存在漏检，此时可以直接应用该病灶检出框表征对应病灶的位置、大小等信息，并将该病灶检出框添加到病灶区域提取结果中。
本发明实施例提供的方法，通过病灶检出框和病灶区域的外接边框之间的重合度，分析病灶分割模型是否存在漏检，进而得到兼顾了区域提取准确性和提取精度的肺部影像的病灶区域提取结果。
肺部病灶检测可以通过端到端的神经网络模型实现，但是由于肺部影像的数据量较大，而常用的端到端模型受到显存限制，均需要对原始的肺部影像进行降采样后再输入，然而这种处理方法会导致端到端模型难以捕捉细小病灶和非典型病灶的特征，整体召回率低，在肺部病灶检测时容易遗漏细小病灶和非典型病灶。对此，基于上述任一实施例，图2为本发明实施例提供的病灶检测方法的流程示意图，如图2所示，步骤120具体包括：
步骤121，将肺部影像中的任一影像块输入至病灶检测模型的候选检测模型，得到候选检测模型基于该影像块中每一像素点的影像特征输出的候选检测结果。
具体地，病灶检测模型包含两个阶段的模型，即候选检测模型和精细检测模型。其中，候选检测模型用于对肺部影像中的每个影像块进行初步检测，以实现较高召回率的病灶检测，尽量避免细小病灶和非典型病灶的漏检问题。
此处，肺部影像中的影像块可以通过直接对肺部影像进行划分或者滑窗分割等途径得到，影像块的体积大小可以是预先设定好的。
候选检测模型针对输入的任一影像块进行影像特征提取，得到影像块中每一像素点的影像特征，并针对每一像素点的影像特征进行病灶检测，分析该影像块中是否存在肺部病灶，若存在，则进一步分析肺部病灶的位置，并通过标注候选检出框的形式检出肺部病灶，并计算候选检出框对应的候选检测得分，作为候选病灶检测结果输出。
在执行步骤121之前，还可以预先训练得到候选检测模型，具体可通过如下方式训练得到候选检测模型：首先，收集大量样本肺部影像，并标注出样本肺部影像中各个肺部病灶对应病灶检出框的位置，在此基础上以各个肺部病灶为中心对样本肺部影像进行采样得到大量带有病灶检出框的样本影像块，基于带有病灶检出框的样本影像块对初始模型进行训练，从而得到候选检测模型。此处，用于构建候选检测模型的初始模型可以是Resnet18网络。
步骤122，若候选检测结果中包含候选检出框，且候选检出框的候选检测得分大于预设候选检测得分阈值，则基于候选检出框从该影像块中分割出候选检出影像块。
具体地，为了保证较高的召回率，候选检测模型输出的候选检测结果中，必然存在虚警的情况。为了滤除虚警，以减轻后续的精细检测模型的计算量，需要在候选检测结果中包含候选检出框的情况下，进一步将候选检测结果中包含的候选检测得分与预设候选检测得分阈值进行比较。
此处，预设候选检测得分阈值为发生虚警时候选检测得分的最大值，若候选检测得分小于等于预设候选检测得分阈值，说明候选检出框实际上是虚警，不再输入到后续的精细检测模型；
若候选检测得分大于预设候选检测得分阈值，则在候选检出框的基础上，对影像块进行分割，得到包含有候选检出框的候选检出影像块。例如，可以确定候选检出框的中心点，以候选检出框的中心点作为中心，从影像块中分割出预设尺寸的候选检出影像块。
步骤123，将任一候选检出影像块中每一像素点的影像特征输入至病灶检测模型的精细检测模型，得到精细检测模型输出的该候选检出影像块的精细检测结果；病灶检测结果由每一候选检出影像块的精细检测结果构成。
具体地，在确定候选检出影像块之后，可以基于候选检测模型提取的影像块中每一像素点的影像特征，确定候选检出影像块中每一像素点的影像特征，并以此作为精细检测模型的输入。精细检测模型在得到候选检出影像块中每一像素点的影像特征后，基于候选检出影像块中每一像素点的影像特征对候选检出影像块进行病灶检测，以矫正候选检测模型输出的候选检出框和候选检测得分，得到矫正后的病灶检出框和检测得分，作为该影像块的精细检测结果输出。
由于精细检测模型仅针对滤除虚警后的候选检出影像块进行检测，相对于需要对肺部影像整体进行病灶检测的方案，需要检测的数据量大大降低，从而减轻了精细检测模型的计算负担；此外，由于精细检测模型沿用候选检测模型编码的影像特征，无需再次进行特征编码采集，从检测环节上减少了计算量，从而提高了精细检测模型的检出效率。
在此基础上，针对于每个候选检出影像块，精细检测模型均会对应输出一个精细检测结果。将每个候选检测影像块的精细检测结果进行融合，即可得到针对于肺部影像整体的病灶检测结果。
在执行步骤123之前，还可以预先训练得到精细检测模型，具体可通过如下方式训练得到精细检测模型：首先，收集大量样本肺部影像，将样本肺部影像输入到候选检测模型中，得到候选检测模型输出的样本肺部影像的候选检测结果。将样本肺部影像的候选检测结果中候选检测得分大于预设候选检测得分阈值的候选病灶检出框的中心作为样本检出影像块的中心对样本肺部影像进行分割，进而得到大量样本检出影像块，基于大量样本检出影像块在候选检测模型中得到的每一像素点的影像特征，以及针对样本检出影像块预先标注的病灶检出框对初始模型进行训练，从而得到精细检测模型。
本发明实施例提供的方法，通过两阶段的检测模型实现了肺部影像的病灶检测，在避免漏检细小病灶和非典型病灶的同时，提高了病灶检测模型整体的检出效率和准确率，从而进一步提高了病灶区域提取结果的区域提取准确性。
基于上述任一实施例，图3为本发明实施例提供的候选检测模型的运行流程示意图，如图3所示，步骤121具体包括：
步骤1211，将任一影像块输入至候选检测模型的多尺度特征提取层，得到多尺度特征提取层输出的该影像块中每一像素点的影像特征；
步骤1212，将该影像块中每一像素点的影像特征输入至候选检测模型的检测输出层，得到检测输出层输出的该影像块的候选检测结果。
具体地，候选检测模型可以进一步划分为多尺度特征提取层和检测输出层。其中，多尺度特征提取层用于从多个不同的尺度对影像块进行特征提取，从而得到影像块中各个像素点的影像特征。检测输出层基于影像块中各个像素点的影像特征，对影像块进行病灶检测，并输出候选检测结果。
在此过程中，多尺度特征提取层从多个不同的尺度进行特征提取，可以使得各个像素点的影像特征具备更加丰富、更多层次的信息，从而提高后续的候选检测结果输出的准确性。
基于上述任一实施例，图4为本发明实施例提供的候选检测模型的结构示意图，如图4所示，候选检测模型包括多尺度特征提取层和检测输出层，其中多尺度特征提取层包括4个不同尺度的3D卷积单元(conv3d)，对应的图像行跨度stride分别是4、8、16、32，在通过3D卷积单元完成特征提取后，分别通过注意力机制得到对应尺度下的影像特征。图4中GAM表示全局注意力模块(Global Attention Module)，SAM表示自注意力模块(SelfAttention Module)。检测输出层分别基于不同尺度下的影像特征进行病灶检测，由此得到不同尺度下的各个像素点属于候选病灶检出框的概率，对应于图像行跨度4、8、16、32和64分别为P2、P3、P4、P5和P6。
基于上述任一实施例，对应于候选检测模型提取的每一像素点的影像特征均为多个不同尺度下的特征，输入至精细检测模型中的选检出影像块中每一像素点的影像特征也是多个不同尺度下的特征。精细检测模型分别基于各个尺度下的影像特征进行病灶检测，并将各个尺度下的检测结果进行融合，得到该影像块的精细检测结果。此处，精细检测模型的模型结构具体可以是R-CNN(Region-Convolutional Neural Networks)，也可以是FastR-CNN、R-FCN(Region based Fully Convolutional Network)等能够实现分类回归的模型结构，本发明实施例对此不作具体限定。
由于病灶本身是不规则形状，且可能存在病灶边缘十分模糊的情况，如果基于端到端的神经网络模型进行病灶分割，其分割结果的准确性无法得到保证。对此，基于上述任一实施例，图5为本发明实施例提供的病灶分割方法的流程示意图，如图5所示，步骤130具体包括：
步骤131，将肺部影像中的任一影像块输入至病灶分割模型的候选分割模型，得到候选分割模型输出的任一影像块的候选分割结果。
具体地，病灶分割模型包含两个阶段的模型，即候选分割模型和精细分割模型。其中，候选分割模型用于对肺部影像中的每个影像块进行初步的病灶分割，以实现较高召回率的病灶分割。
此处，肺部影像中的影像块可以通过直接对肺部影像进行划分或者滑窗分割等途径得到，影像块的体积大小可以是预先设定好的。
候选分割模型针对输入的任一影像块进行影像特征提取，并在此基础上进行病灶分割，分析该影像块中的每一像素点是否为病灶像素点，并计算反映候选病灶区域与实际病灶的位置、边缘一致的概率的候选病灶分割得分，将各个像素点是否为病灶像素点，以及候选病灶分割得分包含在候选病灶分割结果中输出。此外，还可以分析每一像素点为病灶像素点的概率，将每一像素点为病灶像素点的概率也包含在候选病灶分割结果中输出。此处，候选病灶分割得分可以通过每个病灶像素点的概率计算得到。
在执行步骤131之前，还可以预先训练得到候选分割模型，具体可通过如下方式训练得到候选分割模型：首先，收集大量样本肺部影像，并标注出样本肺部影像中各个肺部病灶的边缘轮廓，在此基础上以各个肺部病灶的中心点为中心对样本肺部影像进行采样，得到大量带有肺部病灶的边缘轮廓的样本影像块，将通过肺部病灶的边缘轮廓得到的二值掩模图作为样本影像块的样本病灶分割结果，基于样本影像块及其对应的样本病灶分割结果对初始模型进行训练，从而得到候选分割模型。此处，用于构建候选分割模型的初始模型可以是具有跳层连接的Unet网络。
步骤132，若该影像块的候选分割结果中包含候选病灶区域，且候选病灶区域的候选分割得分大于预设候选分割得分阈值，则基于候选病灶区域从该影像块中分割出候选分割影像块。
具体地，为了保证较高的召回率，候选分割模型输出的候选分割结果中，必然存在虚警的情况。为了滤除虚警，以减轻后续的精细分割模型的计算量，需要在候选分割结果中包含候选病灶区域的情况下，进一步将候选分割结果中包含的候选分割得分与预设候选分割得分阈值进行比较。
此处，预设候选分割得分阈值为发生虚警时候选分割得分的最大值，若候选分割得分小于等于预设分割检测得分阈值，说明候选病灶区域实际上是虚警，不再输入到后续的精细分割模型；
若候选分割得分大于预设候选分割得分阈值，则在候选病灶区域的基础上，对影像块进行分割，得到包含有候选病灶区域的候选分割影像块。例如，可以确定候选病灶区域的中心点，以候选病灶区域的中心点作为中心，从影像块中分割出预设尺寸的候选分割影像块。
步骤133，将任一候选分割影像块输入至病灶分割模型的精细分割模型，得到精细分割模型输出的该候选分割影像块的精细分割结果；病灶分割结果由每一候选分割影像块的精细分割结果构成。
具体地，由于肺部影像中可能存在一些边界不清、甚至不连续的病灶，还可能存在一些体积较小的病灶，由此导致候选分割模型输出的候选分割结果中，部分病灶的分割边界相对于真实病灶的边界存在些许差异。因此，本发明实施例中提出通过精细分割模型对候选分割影像块进行进一步的精细分割。
从模型结构层面上，可以将精细分割模型的模型结构设置得更加复杂，具体可以是相对于候选分割模型添加更多的卷积层和反卷积层，又或者是相对于候选分割模型采用更多融合手段，例如对更多不同尺度的特征进行融合分析；从模型输入层面上，精细分割模型的输入是基于候选病灶区域重新分割得到的候选分割影像块，相较于直接对肺部影像进行分割得到的影像块，候选分割影像块更加规整，从候选分割影像块中进行病灶分割的难度远小于从直接分割的影像块中的进行病灶分割的难度。通过模型结构层面和模型输入层面上的改进，使得精细分割模型具备比候选分割模型精度更高的分割能力。
在此基础上，针对于每个候选分割影像块，精细分割模型均会对应输出一个精细分割结果。将每个候选分割影像块的精细分割结果进行融合，即可得到针对于肺部影像整体的病灶分割结果。
尤其是在实现新型冠状肺炎病灶的分割时，由于新型冠状肺炎的病变影像中存在一些边界不清、甚至不连续的病灶，两阶段的病灶分割模型能够更好地避免由于边界模糊导致的病灶漏检以及分割结果与实际情况差异较大的问题。将两阶段的病灶分割模型中精细分割模型输出的每个候选分割影像块的精细分割结果作为病灶分割结果，与病灶检测模型输出的病灶检测结果进行融合，从而进一步提高针对于新型冠状肺炎的病变影像中病灶区域提取结果的区域提取准确性和提取精度。
在执行步骤133之前，还可以预先训练得到精细分割模型，具体可通过如下方式训练得到精细分割模型：首先，收集大量样本肺部影像，将样本肺部影像输入到候选分割模型中，得到候选分割模型输出的样本肺部影像的候选分割结果。将样本肺部影像的候选分割结果中候选分割得分大于预设候选分割得分阈值的候选病灶区域的中心作为样本分割影像块的中心对样本肺部影像进行分割，进而得到大量样本分割影像块，基于样本分割影像块及其对应的二值掩模图对初始模型进行训练，从而得到精细分割模型。
本发明实施例提供的方法，通过两阶段的分割模型实现了肺部影像的病灶分割，保证了病灶形状不规则和边缘模糊情况下病灶分割的分割精度，从而进一步提高了病灶区域提取结果的提取精度。
基于上述任一实施例，图6为本发明实施例提供的精细分割模型的结构示意图，如图6所示，精细分割模型可以划分为两个部分，图中的虚线左侧为编码部分，右侧为解码部分，编解码两部分构成Encoder-Decoder模型结构。其中，编码部分包括四种不同尺度的特征编码层，特征编码层的尺度从上到下依次减小，特征编码层的尺度越小，则编码得到的特征所具备的语义信息更高层、更丰富。例如，此处的四个特征编码层的尺度可以分别是32×32、16×16、8×8和4×4。对应地，解码部分包括三种不同尺度的特征解码层，特征解码层的尺度从下到上依次增加，每个尺度的特征解码层均是对上一尺度的特征解码层解码的特征以及对应尺度的特征编码层编码的特征进行融合后再解码，由此在解码的过程中，能够融合当前尺度以及比当前尺度更小的各个尺度的特征，从而保证最大尺度的特征解码层能够融合所有尺度的特征，所得最终输出的精细分割结果更加准确。例如，此处的三个特征解码层的尺度可以分别是8×8、16×16和32×32。
基于上述任一实施例，该方法中，肺部影像中的任一影像块的获取方法包括：基于预先设定的滑动窗口尺寸和滑动窗口步长，对肺部影像进行滑动分割，得到肺部影像的若干个影像块；其中，滑动窗口步长小于滑动窗口尺寸。
具体地，针对两阶段的病灶检测模型和病灶分割模型，其中候选检测模型和候选分割模型的输入均为肺部影像的影像块。为了避免在影像块的分割过程中，误将肺部影像中的单个肺部病灶分割到多个影像块中，导致各个影像块中均不存在针对该肺部病灶的完整表现，导致该肺部病灶无法被准确检出，或者该肺部病灶的轮廓不完整的情况，本发明实施例中通过滑窗方式实现肺部影像的影像块分割，且预先设置滑动窗口步长小于滑动窗口尺寸，从而使得分割后的各个影像块之间存在重叠，避免由于影像块的分割导致完整肺部病灶被一分为二，影响病灶区域提取效果。
基于上述任一实施例，步骤140之前还包括：基于预设检测得分阈值，以及病灶检测结果中每一病灶检出框的检测得分，对病灶检测结果进行虚警滤除；和/或，基于预设分割得分阈值，以及病灶分割结果中每一病灶区域的分割得分，对病灶分割结果进行虚警滤除。
具体地，在基于病灶检测结果和病灶分割结果确定病灶区域提取结果之前，可以将病灶检测结果中各个病灶检出框的检测得分分别与预设检测得分阈值进行比较，从而将检测得分低于预设检测得分阈值的病灶检出框作为病灶检测结果中虚警的部分进行滤除，仅将检测得分大于等于预设检测得分阈值的病灶检出框作为虚警滤除后的病灶检测结果，应用于病灶区域提取结果的确定。
此外，还可以将病灶分割结果中各个病灶区域的分割得分分别与预设分割得分阈值进行比较，从而将分割得分低于预设分割得分阈值的病灶区域作为病灶分割结果中虚警的部分进行滤除，仅将分割得分大于等于预设分割得分阈值的病灶区域作为虚警滤除后的病灶分割结果，应用于病灶区域提取结果的确定。
本发明实施例提供的方法，通过对病灶检测结果和/或病灶分割结果进行虚警滤除，进一步提高了肺部病灶区域提取的准确性。
基于上述任一实施例，图7为本发明实施例提供的肺部病灶区域提取装置的结构示意图，如图7所示，该装置包括肺部影像确定单元710、病灶检测单元720、病灶分割单元730和病灶区域提取单元740；
其中，肺部影像确定单元710用于确定肺部影像；
病灶检测单元720用于将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果；所述病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果确定的；
病灶分割单元730用于将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果；所述病灶分割模型是基于所述样本肺部影像及其对应的样本病灶分割结果确定的；
病灶区域提取单元740用于基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果。
本发明实施例提供的装置，通过病灶检测模型得到病灶检测结果，通过病灶分割模型得到病灶分割结果，实现了自动化的病灶区域提取，在保证病灶区域提取效率的同时，通过结合病灶检测模型和病灶分割模型两个模型的优势，得到兼顾了区域提取准确性和提取精度的肺部影像的病灶区域提取结果。
基于上述任一实施例，病灶区域提取单元740具体用于：
基于所述病灶检测结果中每一病灶检出框和所述病灶分割结果中每一病灶区域，以及每一病灶检出框和每一病灶区域的外接边框之间的重合度，确定所述肺部影像的病灶区域提取结果。
基于上述任一实施例，病灶区域提取单元740具体用于：
若任一病灶检出框和任一病灶区域的外接边框之间的重合度大于等于预设重合度阈值，则将所述任一病灶区域添加至所述病灶区域提取结果；
否则，将所述任一病灶检出框添加至所述病灶区域提取结果。
基于上述任一实施例，病灶检测单元720包括：
候选检测子单元，用于将所述肺部影像中的任一影像块输入至所述病灶检测模型的候选检测模型，得到所述候选检测模型基于所述任一影像块中每一像素点的影像特征输出的候选检测结果；
候选影像块确定子单元，用于若所述候选检测结果中包含候选检出框，且所述候选检出框的候选检测得分大于预设候选检测得分阈值，则基于所述候选检出框从所述任一影像块中分割出候选检出影像块；
精细检测子单元，用于将任一候选检出影像块中每一像素点的影像特征输入至所述病灶检测模型的精细检测模型，得到所述精细检测模型输出的所述任一候选检出影像块的精细检测结果；所述病灶检测结果由每一候选检出影像块的精细检测结果构成。
基于上述任一实施例，候选检测子单元具体用于：
将任一影像块输入至所述候选检测模型的多尺度特征提取层，得到所述多尺度特征提取层输出的所述任一影像块中每一像素点的影像特征；
将所述任一影像块中每一像素点的影像特征输入至所述候选检测模型的检测输出层，得到所述检测输出层输出的所述任一影像块的候选检测结果。
基于上述任一实施例，病灶分割单元730具体用于：
将所述肺部影像中的任一影像块输入至所述病灶分割模型的候选分割模型，得到所述候选分割模型输出的任一影像块的候选分割结果；
若所述任一影像块的候选分割结果中包含候选病灶区域，且所述候选病灶区域的候选分割得分大于预设候选分割得分阈值，则基于所述候选病灶区域从所述任一影像块中分割出候选分割影像块；
将任一候选分割影像块输入至所述病灶分割模型的精细分割模型，得到所述精细分割模型输出的所述任一候选分割影像块的精细分割结果；所述病灶分割结果由每一候选分割影像块的精细分割结果构成。
基于上述任一实施例，还包括影像块确定单元，影像块确定单元用于：
基于预先设定的滑动窗口尺寸和滑动窗口步长，对所述肺部影像进行滑动分割，得到所述肺部影像的若干个影像块；
其中，所述滑动窗口步长小于所述滑动窗口尺寸。
基于上述任一实施例，还包括虚警滤除单元，虚警滤除单元用于：
基于预设检测得分阈值，以及所述病灶检测结果中每一病灶检出框的检测得分，对所述病灶检测结果进行虚警滤除；
和/或，基于预设分割得分阈值，以及所述病灶分割结果中每一病灶区域的分割得分，对所述病灶分割结果进行虚警滤除。
图8为本发明实施例提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令，以执行如下方法：确定肺部影像；将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果；所述病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果训练得到的；将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果；所述病灶分割模型是基于所述样本肺部影像及其对应的样本病灶分割结果训练得到的；基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果。
此外，上述的存储器830中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定肺部影像；将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果；所述病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果训练得到的；将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果；所述病灶分割模型是基于所述样本肺部影像及其对应的样本病灶分割结果训练得到的；基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种肺部病灶区域提取方法，其特征在于，包括：
确定肺部影像；
将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果；所述病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果训练得到的；
将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果，所述病灶分割结果包括所述肺部影像中各个肺部病灶的病灶区域，所述病灶区域用于表示该肺部病灶的位置和边缘信息；所述病灶分割模型是基于所述样本肺部影像及其对应的样本病灶分割结果训练得到的；
基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果。
2.根据权利要求1所述的肺部病灶区域提取方法，其特征在于，所述基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果，具体包括：
基于所述病灶检测结果中每一病灶检出框和所述病灶分割结果中每一病灶区域，以及每一病灶检出框和每一病灶区域的外接边框之间的重合度，确定所述肺部影像的病灶区域提取结果。
3.根据权利要求2所述的肺部病灶区域提取方法，其特征在于，所述基于所述病灶检测结果中每一病灶检出框和所述病灶分割结果中每一病灶区域，以及每一病灶检出框和每一病灶区域的外接边框之间的重合度，确定所述肺部影像的病灶区域提取结果，具体包括：
若任一病灶检出框和任一病灶区域的外接边框之间的重合度大于等于预设重合度阈值，则将所述任一病灶区域添加至所述病灶区域提取结果；
否则，将所述任一病灶检出框添加至所述病灶区域提取结果。
4.根据权利要求1所述的肺部病灶区域提取方法，其特征在于，所述将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果，具体包括：
将所述肺部影像中的任一影像块输入至所述病灶检测模型的候选检测模型，得到所述候选检测模型基于所述任一影像块中每一像素点的影像特征输出的候选检测结果；
若所述候选检测结果中包含候选检出框，且所述候选检出框的候选检测得分大于预设候选检测得分阈值，则基于所述候选检出框从所述任一影像块中分割出候选检出影像块；
将任一候选检出影像块中每一像素点的影像特征输入至所述病灶检测模型的精细检测模型，得到所述精细检测模型输出的所述任一候选检出影像块的精细检测结果；所述病灶检测结果由每一候选检出影像块的精细检测结果构成。
5.根据权利要求1所述的肺部病灶区域提取方法，其特征在于，所述将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果，具体包括：
将所述肺部影像中的任一影像块输入至所述病灶分割模型的候选分割模型，得到所述候选分割模型输出的任一影像块的候选分割结果；
若所述任一影像块的候选分割结果中包含候选病灶区域，且所述候选病灶区域的候选分割得分大于预设候选分割得分阈值，则基于所述候选病灶区域从所述任一影像块中分割出候选分割影像块；
将任一候选分割影像块输入至所述病灶分割模型的精细分割模型，得到所述精细分割模型输出的所述任一候选分割影像块的精细分割结果；所述病灶分割结果由每一候选分割影像块的精细分割结果构成。
6.根据权利要求4或5所述的肺部病灶区域提取方法，其特征在于，所述肺部影像中的任一影像块的获取方法包括：
基于预先设定的滑动窗口尺寸和滑动窗口步长，对所述肺部影像进行滑动分割，得到所述肺部影像的若干个影像块；
其中，所述滑动窗口步长小于所述滑动窗口尺寸。
7.根据权利要求1至5中任一项所述的肺部病灶区域提取方法，其特征在于，所述基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果，之前还包括：
基于预设检测得分阈值，以及所述病灶检测结果中每一病灶检出框的检测得分，对所述病灶检测结果进行虚警滤除；
和/或，基于预设分割得分阈值，以及所述病灶分割结果中每一病灶区域的分割得分，对所述病灶分割结果进行虚警滤除。
8.一种肺部病灶区域提取装置，其特征在于，包括：
肺部影像确定单元，用于确定肺部影像；
病灶检测单元，用于将所述肺部影像输入至病灶检测模型，得到所述病灶检测模型输出的病灶检测结果；所述病灶检测模型是基于样本肺部影像及其对应的样本病灶检测结果确定的；
病灶分割单元，用于将所述肺部影像输入至病灶分割模型，得到所述病灶分割模型输出的病灶分割结果，所述病灶分割结果包括所述肺部影像中各个肺部病灶的病灶区域，所述病灶区域用于表示该肺部病灶的位置和边缘信息；所述病灶分割模型是基于所述样本肺部影像及其对应的样本病灶分割结果确定的；
病灶区域提取单元，用于基于所述病灶检测结果和所述病灶分割结果，确定所述肺部影像的病灶区域提取结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的肺部病灶区域提取方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的肺部病灶区域提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010500226.3A CN111738992B (zh) | 2020-06-04 | 2020-06-04 | 肺部病灶区域提取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010500226.3A CN111738992B (zh) | 2020-06-04 | 2020-06-04 | 肺部病灶区域提取方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738992A CN111738992A (zh) | 2020-10-02 |
| CN111738992B true CN111738992B (zh) | 2023-12-22 |
Family
ID=72649950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010500226.3A Active CN111738992B (zh) | 2020-06-04 | 2020-06-04 | 肺部病灶区域提取方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738992B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344854A (zh) * | 2021-05-10 | 2021-09-03 | 深圳瀚维智能医疗科技有限公司 | 基于乳腺超声视频的病灶检测方法、装置、设备及介质 |
| CN115311232B (zh) * | 2022-08-09 | 2023-09-12 | 北京医准智能科技有限公司 | 一种肺部病灶类型检测方法、装置、电子设备及存储介质 |
| CN117635519A (zh) * | 2022-08-29 | 2024-03-01 | 杭州堃博生物科技有限公司 | 基于ct图像的病灶检测方法、装置及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术（北京）有限公司 | 用于标注医学图像的方法和装置 |
| CN108171692A (zh) * | 2017-12-26 | 2018-06-15 | 安徽科大讯飞医疗信息技术有限公司 | 一种肺部影像检索方法及装置 |
| CN108717436A (zh) * | 2018-05-08 | 2018-10-30 | 大连理工大学 | 一种基于显著性检测的商品目标快速检索方法 |
| CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
| CN108898595A (zh) * | 2018-06-27 | 2018-11-27 | 慧影医疗科技（北京）有限公司 | 一种胸部疾病检测模型的构建方法及应用 |
| CN109035187A (zh) * | 2018-07-10 | 2018-12-18 | 杭州依图医疗技术有限公司 | 一种医学图像的标注方法及装置 |
| CN109801272A (zh) * | 2019-01-07 | 2019-05-24 | 华南师范大学 | 肝脏肿瘤自动分割定位方法、系统及存储介质 |
| CN109978880A (zh) * | 2019-04-08 | 2019-07-05 | 哈尔滨理工大学 | 采用高维特征选择对肺部肿瘤ct图像进行判别的方法 |
| CN111047609A (zh) * | 2020-03-13 | 2020-04-21 | 北京深睿博联科技有限责任公司 | 肺炎病灶分割方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9292933B2 (en) * | 2011-01-10 | 2016-03-22 | Anant Madabhushi | Method and apparatus for shape based deformable segmentation of multiple overlapping objects |
| WO2012096882A1 (en) * | 2011-01-11 | 2012-07-19 | Rutgers, The State University Of New Jersey | Method and apparatus for segmentation and registration of longitudinal images |
| EP2916738B1 (en) * | 2012-09-13 | 2018-07-11 | The Regents of the University of California | Lung, lobe, and fissure imaging systems and methods |
-
2020
- 2020-06-04 CN CN202010500226.3A patent/CN111738992B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术（北京）有限公司 | 用于标注医学图像的方法和装置 |
| CN108171692A (zh) * | 2017-12-26 | 2018-06-15 | 安徽科大讯飞医疗信息技术有限公司 | 一种肺部影像检索方法及装置 |
| CN108765369A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
| CN108717436A (zh) * | 2018-05-08 | 2018-10-30 | 大连理工大学 | 一种基于显著性检测的商品目标快速检索方法 |
| CN108898595A (zh) * | 2018-06-27 | 2018-11-27 | 慧影医疗科技（北京）有限公司 | 一种胸部疾病检测模型的构建方法及应用 |
| CN109035187A (zh) * | 2018-07-10 | 2018-12-18 | 杭州依图医疗技术有限公司 | 一种医学图像的标注方法及装置 |
| CN109801272A (zh) * | 2019-01-07 | 2019-05-24 | 华南师范大学 | 肝脏肿瘤自动分割定位方法、系统及存储介质 |
| CN109978880A (zh) * | 2019-04-08 | 2019-07-05 | 哈尔滨理工大学 | 采用高维特征选择对肺部肿瘤ct图像进行判别的方法 |
| CN111047609A (zh) * | 2020-03-13 | 2020-04-21 | 北京深睿博联科技有限责任公司 | 肺炎病灶分割方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 边子健 ; 覃文军 ; 刘积仁 ; 赵大哲 ; .肺部CT图像中的解剖结构分割方法综述.中国图象图形学报.2018,(10),全文. * |
| 陈彤 ; .基于改进深度学习的乳腺癌医学影像检测方法.现代计算机.2020,(14),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738992A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738992B (zh) | 肺部病灶区域提取方法、装置、电子设备和存储介质 | |
| CN110796613B (zh) | 一种图像伪影的自动识别方法及装置 | |
| CN108133476B (zh) | 一种肺结节自动检测方法及系统 | |
| WO2021003821A1 (zh) | 一种肾小球病理切片图像的细胞检测方法、装置及设备 | |
| CN111340789A (zh) | 眼底视网膜血管识别及量化方法、装置、设备及存储介质 | |
| CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| CN108629768B (zh) | 一种食管病理图像中上皮组织的分割方法 | |
| CN109685809B (zh) | 一种基于神经网络的肝包虫病灶分割方法及系统 | |
| US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| CN111667456A (zh) | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 | |
| CN111598853B (zh) | 针对肺炎的ct影像评分方法、装置及设备 | |
| CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| CN112862830A (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
| CN113658165A (zh) | 杯盘比确定方法、装置、设备及存储介质 | |
| CN112396605A (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN113379741B (zh) | 基于血管特征的视网膜血管分割方法、设备和存储介质 | |
| CN111612749B (zh) | 基于肺部影像的病灶检测方法和装置 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN114862865B (zh) | 基于多视角冠状动脉造影序列图像的血管分割方法及系统 | |
| CN113888663B (zh) | 重建模型训练方法、异常检测方法、装置、设备及介质 | |
| CN111210436B (zh) | 晶状体分割方法、装置及存储介质 | |
| CN111612755A (zh) | 肺部病灶分析方法、装置、电子设备和存储介质 | |
| CN109978861B (zh) | 骨髓灰质检测方法、装置、设备和计算机可读存储介质 | |
| CN116152278B (zh) | 医疗图像的分割方法及装置、非易失性存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201125 Address after: 230088 18 Floor, A5 Building, 666 Wangjiangxi Road, Hefei High-tech Zone, Anhui Province Applicant after: ANHUI IFLYTEK MEDICAL INFORMATION TECHNOLOGY Co.,Ltd. Address before: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666 Applicant before: IFLYTEK Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province Applicant after: Anhui Xunfei Medical Co.,Ltd. Address before: 230088 18th floor, building A5, NO.666, Wangjiang West Road, high tech Zone, Hefei City, Anhui Province Applicant before: ANHUI IFLYTEK MEDICAL INFORMATION TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province Applicant after: IFLYTEK Medical Technology Co.,Ltd. Address before: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province Applicant before: Anhui Xunfei Medical Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |