CN110910348B - 一种肺结节的位置分类方法、装置、设备及存储介质 - Google Patents
一种肺结节的位置分类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110910348B CN110910348B CN201911004977.XA CN201911004977A CN110910348B CN 110910348 B CN110910348 B CN 110910348B CN 201911004977 A CN201911004977 A CN 201911004977A CN 110910348 B CN110910348 B CN 110910348B
- Authority
- CN
- China
- Prior art keywords
- lung
- nodule
- image
- classification
- pleural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种肺结节的位置分类方法、装置、设备及存储介质,所述方法包括:获取待识别图像;对所述待识别图像进行肺结节图像检测,得到肺结节检测图像,所述肺结节检测图像包括一个或多个肺结节检测子图像;对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像;基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类。利用本申请提供的技术方案可以能够结合肺的形态特点,通过左右肺分割和肺叶分割来辅助进行肺结节的位置分类,能够提升分类速度,使得到的肺结节的位置结果更加直观明了,方便后续针对不同位置类型的肺结节进行筛查。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种肺结节的位置分类方法、装置、设备及存储介质。
背景技术
随着医疗水平的不断提高,人们在诊断过程中会使用各种医学图像来辅助诊断,计算机断层图像(CT)是最常用的一种技术,医生通常通过查看肺部CT图像数据进行诊断,但是肺结节分布位置不定,而且非常容易与其他组织连接,因此医生在诊断时工作量较大,容易出现误诊、漏诊。即使是有经验的医生,在大量影像数据的负担下,也难以一直客观准确地判断,最终导致病人贻误了最佳的治疗时间,因此利用图像处理技术辅助医生阅片显得十分重要。
胸膜结节是属于胸膜的一种病变表现,胸膜结节的病因较为多样,需根据不同的情况进行判断,叶间裂结节是位于肺叶间裂(分为横裂和斜裂)附近的肺结节,由于不同位置的肺结节重要性存在差异,针对不同患者情况医生有时仅需要对某些特定位置的肺结节进行诊断,有时则需要滤除某些位置的肺结节。
现有技术的研究中对肺结节的分类主要是针对肺结节的病灶类型进行分类,同时能够实现肺结节的定位功能,最终能够在报告上显示每个肺结节的具体位置,但这种方式在肺结节显示较多的情况下不够直观清晰,显示结果较为复杂,无法更好地帮助医生减轻工作量及筛查,因此需要提供更高效的方案。
发明内容
为了解决现有技术的问题,本发明提供了一种肺结节的位置分类方法、装置、计算机设备及存储介质。所述技术方案如下:
本申请一方面提供了一种肺结节的位置分类方法,所述方法包括:
获取待识别图像;
对所述待识别图像进行肺结节图像检测,得到肺结节检测图像,所述肺结节检测图像包括一个或多个肺结节检测子图像;
对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像;
基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类。
本申请另一方面提供了一种肺结节的位置分类装置,所述装置包括:
待识别图像获取模块,用于获取待识别图像;
肺结节图像检测模块,用于对所述待识别图像进行肺结节图像检测,得到肺结节检测图像,所述肺结节检测图像包括一个或多个肺结节检测子图像;
肺部图像分割模块,用于对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像;
肺结节的位置分类模块,用于基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类。
本申请另一方面提供了一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述肺结节的位置分类方法。
本申请另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述肺结节的位置分类方法。
本申请提供的肺结节的位置分类方法、装置、设备及存储介质,具有如下技术效果:
本申请通过获取待识别图像,对所述待识别图像进行肺结节图像检测,得到肺结节检测图像,能够准确快速地进行肺结节检测;对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像,能够结合肺的形态特点,通过肺分割和肺叶分割来辅助进行肺结节的位置分类;再基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类,能够方便快捷地得到肺结节的位置类型,使得到的肺结节的位置结果更加直观清晰,后续能够针对不同位置的肺结节进行保留或筛除,对于辅助医生阅片具有较高的实际意义,能够有效减轻医生的工作量,提升医生的诊断效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种肺结节的位置分类方法的流程图;
图2是本申请实施例提供的肺结节检测图像的示意图;
图3是本申请实施例提供的左右肺分割图像示意图;
图4是本申请实施例提供的肺叶分割图像示意图;
图5是本申请实施例提供的对每个所述肺结节检测子图像进行肺结节的位置分类的一个流程图;
图6是本申请实施例提供的胸膜结节的位置粗分类的一个流程图;
图7是本申请实施例提供的叶间裂结节的位置粗分类的一个流程图;
图8是本申请实施例提供的一种基于本申请的肺结节的位置分类方法对一个肺结节检测子图像进行肺结节位置分类识别过程的示意图;
图9是本申请实施例提供的图8中对一个肺结节检测子图像进行胸膜结节的位置分类的示意图;
图10是本申请实施例提供的图8中对一个肺结节检测子图像进行叶间裂结节的位置分类的示意图;
图11是本申请实施例提供的对每个所述肺结节检测子图像进行肺结节的位置分类的另一个流程图;
图12是本申请实施例提供的另一种基于本申请的肺结节的位置分类方法对一个肺结节检测子图像进行肺结节位置分类识别过程的示意图;
图13是本申请实施例提供的一种基于肺结节的位置分类方法获得的肺结节检测报告的示意图;
图14是本申请实施例提供的另一种基于肺结节的位置分类方法获得的肺结节检测报告的示意图;
图15是本申请实施例提供的一种肺结节的位置分类装置示意图;
图16是本申请实施例提供的一种肺结节的位置分类方法的客户端的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、自然语言处理技术以及机器学习/深度学习等几大方向。近年来,随着人工智能技术进步,人工智能技术在多个领域得到广泛应用,本申请实施例提供的方案涉及人工智能的机器学习/深度学习等技术,具体通过如下实施例进行说明:
图1是本申请实施例提供的肺结节的位置分类方法的流程图,请参照图1,本实施例提供的肺结节的位置分类方法包括如下步骤:
S101,获取待识别图像。
具体地,在实际应用中,所述待识别图像可以包括计算机断层图像(CT图像),计算机断层图像具有扫描时间快,图像清晰等特点,可用于多种疾病的检查,还可以包括但不限于磁共振图像、X光图像及B超图像。在本申请实施例中,所述待识别图像可以包括胸部CT图像。
S103,对所述待识别图像进行肺结节图像检测,得到肺结节检测图像。
具体地,所述肺结节检测图像可包含一个或多个肺结节检测子图像,所述肺结节检测子图像包括检测框及肺结节检测图像中与该检测框对应的子图像。
图2示出了肺结节检测图像的示意图,图中示出的白色边框即其中一个检测框在平面图像中的示意图,具体地,所述检测框具有表征该检测框的形状、位置和包含结节概率的属性信息,具体地,所述属性信息可以包括检测框的尺寸信息、中心点的世界坐标和包含结节的概率值。
在本申请实施例中,所述检测框在三维图像中的形状为立方体,每一所述检测框的属性信息可以包括一个七维向量(N1~N7),前三维(N1~N3)是检测框中心点的世界坐标,接下来三维(N4~N6)是检测框的长、宽及高的数值,最后一维(N7)是该检测框包含结节的概率值。
在本申请实施例中,对所述待识别图像进行肺结节图像检测可以包括基于肺结节检测模型对所述待识别图像进行肺结节检测。其中,所述肺结节检测模型是基于大量已经标注好的肺结节检测图像进行肺结节检测训练得到的。
具体地,所述方法包括:
1)获取标注有肺结节检测框的待识别样本图像;
2)基于所述标注有肺结节检测框的待识别样本图像对第三神经网络模型进行肺结节检测的训练;
3)基于第一损失函数计算所述第三神经网络模型输出的肺结节检测框与所述待识别样本图像中标注的肺结节检测框间的误差值;
4)判断所述误差值是否满足第一预设条件;
5)当判断的结果为否时,调整所述第三神经网络模型中的模型参数,重复上述肺结节检测至判断的步骤;
6)当判断的结果为是时,将当前的第三神经网络模型作为所述肺结节检测模型。
具体地,所述第一损失函数可以包括但不限于Dice损失函数和Focal损失函数。
本申请实施例中,所述肺结节检测模型使用的神经网络可以包括但不限于FPN检测网络。
S105,对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像。
具体地,所述对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像可以包括:
(1)基于左右肺分割模型对所述待识别图像进行左右肺分割处理,得到左右肺分割图像。
其中,所述左右肺分割模型是基于大量样本图像及其对应的左右肺标注图像进行左右肺分割训练得到的。
图3是本申请实施例提供的左右肺分割图像示意图,图中示出白色区域表示左右肺区域,黑色区域为非左右肺区域,即背景区域,此时左右肺分割图像中仅包含左右肺区域图像元素和非左右肺区域图像元素两部分,其中,所述非左右肺区域图像元素即背景图像元素,这样能方便快捷地提取出肺部区域,对肺部图像元素和非肺部图像元素进行区分,便于后续进行胸膜结节的位置分类。
以下介绍本申请左右肺分割模型的训练过程的实施例,具体地,可以包括:
1)获取待识别样本图像和对应的左右肺标注图像;
2)基于所述待识别样本图像对第四神经网络模型进行左右肺分割的训练;
3)基于第二损失函数计算所述第四神经网络模型输出的左右肺分割图像与所述待识别样本图像对应的左右肺标注图像间的误差值;
4)判断所述误差值是否满足第二预设条件;
5)当判断的结果为否时,调整所述第四神经网络模型中的模型参数,重复上述左右肺分割至判断的步骤;
6)当判断的结果为是时,将当前的第四神经网络模型作为所述左右肺分割模型。
具体地,所述第二损失函数可以包括但不限于Dice损失函数和Focal损失函数。
(2)基于肺叶分割模型对所述待识别图像进行肺叶分割处理,得到肺叶分割图像。
其中,所述肺叶分割模型是基于大量样本图像及其对应的肺叶标注图像进行肺叶分割训练得到的。
图4是本发明实施例提供的肺叶分割图像示意图,图中示出了对所述待识别图像进行分割处理后得到的肺叶分割结果,具体地,左肺分为上叶和下叶,右肺分为上叶、中叶和下叶,通过肺叶分割能够得到清楚的肺叶分割结果,将不同肺叶对应的图像元素进行区分。
以下介绍本申请肺叶分割模型的训练过程的实施例,具体地,可以包括:
1)获取待识别样本图像和对应的肺叶标注图像;
2)基于所述待识别样本图像对第五神经网络模型进行肺叶分割的训练;
3)基于第三损失函数计算所述第五神经网络模型输出的肺叶分割图像与所述待识别样本图像对应的肺叶标注图像间的误差值;
4)判断所述误差值是否满足第三预设条件;
5)当判断的结果为否时,调整所述第五神经网络模型中的模型参数,重复上述肺叶分割至判断的步骤;
6)当判断的结果为是时,将当前第五神经网络模型作为所述肺叶分割模型。
具体地,所述第三损失函数可以包括但不限于Dice损失函数和Focal损失函数。
具体地,所述左右肺分割模型和肺叶分割模型中使用的神经网络可以包括但不限于V-Net分割网络。
S107,基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类,确定所述待识别图像中肺结节检测子图像的位置信息。
具体地,对每个所述肺结节检测子图像进行肺结节的位置分类即可确定所述待识别图像中肺结节检测子图像的位置信息,所述位置信息可以是表征肺结节在肺部的具体位置的相关信息,具体地,所述位置信息可以包括胸膜附近,叶间裂附近和肺内。
具体地,所述肺结节的位置分类可以包括胸膜结节的位置分类和叶间裂结节的位置分类,所述胸膜结节的位置分类还包括胸膜结节的位置粗分类和胸膜结节的位置细分类,所述叶间裂结节的位置分类还包括叶间裂结节的位置粗分类和叶间裂结节的位置细分类。
具体的,请参照图5,所述基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类可以包括:
S501,基于每一肺结节检测子图像和所述左右肺分割图像,对所述肺结节检测图像中的每一肺结节检测子图像进行胸膜结节的位置粗分类。
具体地,如图6所示,所述基于每一肺结节检测子图像和所述左右肺分割图像,对所述肺结节检测图像中的每一肺结节检测子图像进行胸膜结节的位置粗分类可以包括:
S601,确定肺结节检测子图像的检测框。
S603,对所述肺结节检测子图像的检测框进行第一形状变化处理,得到第一变化检测框。
在本申请实施例中,对所述检测框进行第一形状变化处理可以包括维持所述检测框中心点的世界坐标不变,对所述检测框进行预设比例的放大处理。
在实际应用中,这里的预设比例可以结合大量胸膜结节样本图像中胸膜结节的与肺边界的相对位置信息进行归纳确定。通过对检测框进行预设比例的放大处理,能够保证检测框中的部分元素延伸到背景区域,从而便于进一步获得所述左右肺分割子图像中的左右肺区域图像元素与背景图像元素的占比数值。
S605,确定所述第一变化检测框的属性信息。
具体地,所述第一变化检测框的属性信息是表征该第一变化检测框的形状和位置的属性信息,具体的,所述属性信息可以包括第一变化检测框的尺寸信息和中心点的世界坐标。
S607,基于所述第一变化检测框的属性信息及所述左右肺分割图像,得到所述左右肺分割图像中与所述第一变化检测框对应的左右肺分割子图像。
具体地,基于放大后的检测框的属性信息和所述左右肺分割图像,可以得到所述第一变化检测框与所述左右肺分割图像对应的左右肺分割子图像,所述左右肺分割子图像即左右肺分割图像中与放大后的检测框对应的子图像,所述左右肺分割子图像的大小和中心点的世界坐标与所述放大后的检测框的大小和中心点的世界坐标相对应。
S609,确定所述左右肺分割子图像中包含的左右肺区域图像元素和非左右肺区域图像元素的第一占比数据。
本申请实施例中,所述非左右肺区域图像元素即背景图像元素,所述左右肺分割子图像中仅包含左右肺区域图像元素及背景图像元素。
S611,基于所述第一占比数据,对所述肺结节检测子图像进行胸膜结节的位置粗分类。
具体地,确定所述放大后的检测框与所述左右肺分割图像对应的左右肺分割子图像后,遍历所述放大后的检测框对应的左右肺分割子图像中的全部像素点,可以获得所述左右肺分割子图像中的左右肺区域图像元素与背景图像元素的占比数值,若满足下列判断条件1至3中的任意一个,则可以确定所述肺结节检测子图像的胸膜粗分类位置类型为备选胸膜结节,否则可以确定所述肺结节检测子图像的胸膜粗分类位置类型为非胸膜结节。
判断条件1:所述左右肺分割子图像中背景图像元素的占比数值大于第一预设阈值;
判断条件2:所述左右肺分割子图像中左右肺区域图像元素的占比数值小于第二预设阈值;
判断条件3:所述左右肺分割子图像中背景图像元素和左右肺区域图像元素的个数比例大于第三预设阈值。
在实际应用中,所述第一预设阈值是通过对大量胸膜结节样本图像对应的经过放大的左右肺分割样本子图像中背景图像元素的占比信息进行归纳确定的。所述第二预设阈值是通过对大量胸膜结节样本图像对应的经过放大的左右肺分割样本子图像中左右肺区域图像元素的占比信息进行归纳确定的。所述第三预设阈值是通过对大量胸膜结节样本图像对应的经过放大的左右肺分割样本子图像中背景图像元素和左右肺区域图像元素的个数比例的信息进行归纳确定的。
本申请实施例中,通过对检测框进行预设比例的放大处理,能够保证检测框中的部分元素延伸到背景区域,从而进一步获得所述左右肺分割子图像中的左右肺区域图像元素与背景图像元素的占比数值,再基于所述左右肺分割子图像中的左右肺区域图像元素与背景图像元素的占比数值确定肺结节检测子图像的胸膜粗分类位置类型。通过胸膜结节的位置粗分类能够通过检测框与肺边界的相对位置滤除明显远离胸膜位置的肺结节,仅留下靠近胸膜位置的肺结节,再通过后续的胸膜结节的位置细分类进行再次判断,能够明显提高分类精度,降低分类错误的可能性。
S503,基于双通道胸膜结节位置分类模型,对胸膜结节的位置粗分类结果对应的肺结节检测子图像进行胸膜结节的位置细分类。
在本申请实施例中,所述双通道胸膜结节位置分类模型是基于大量标注有胸膜结节的位置分类标签的肺结节检测样本子图像及对应的左右肺分割图像进行胸膜结节的位置分类训练得到的,所述胸膜结节的位置分类标签包括胸膜结节和非胸膜结节。
具体地,所述基于双通道胸膜结节位置分类模型,对胸膜结节的位置粗分类结果对应的肺结节检测子图像进行胸膜结节的位置细分类可以包括:
将所述胸膜结节的位置粗分类结果中胸膜粗分类位置类型为备选胸膜结节对应的肺结节检测子图像及左右肺分割图像输入所述双通道胸膜结节位置分类模型进行胸膜结节识别处理,确定所述肺结节检测子图像对应的胸膜细分类位置类型为胸膜结节或非胸膜结节。
基于双通道胸膜结节位置分类模型,胸膜结节的位置细分类能够对胸膜结节的位置粗分类结果中胸膜粗分类位置类型为备选胸膜结节对应的肺结节检测子图像进行再次判断,具有较高的准确率的同时提高了检测效率,通过胸膜结节的位置粗分类和胸膜结节的位置细分类,能够准确高效地识别所述肺结节检测子图像的位置类型是否为胸膜结节。
S505,基于胸膜结节的位置粗分类和细分类结果对应的肺结节检测子图像和所述肺叶分割图像,对所述胸膜结节的位置粗分类和细分类结果对应的肺结节检测子图像进行叶间裂结节的位置粗分类。
具体地,所述胸膜结节的位置粗分类和细分类结果对应的肺结节检测子图像包括胸膜粗分类位置类型为非胸膜结节对应的肺结节检测子图像和胸膜细分类位置类型为非胸膜结节对应的肺结节检测子图像。
具体地,如图7所示,所述基于胸膜结节的位置粗分类和细分类结果对应的肺结节检测子图像和所述肺叶分割图像,对所述胸膜结节的位置粗分类和细分类结果对应的肺结节检测子图像进行叶间裂结节的位置粗分类包括:
S701,确定所述肺结节检测子图像的检测框。
具体地,这里确定所述肺结节检测子图像的检测框即确定每一胸膜粗分类位置类型为非胸膜结节对应的肺结节检测子图像和胸膜细分类位置类型为非胸膜结节对应的肺结节检测子图像的检测框。
S703,对所述肺结节检测子图像的检测框进行第二形状变化处理,得到第二变化检测框。
在本申请实施例中,对所述检测框进行第二形状变化处理可以包括维持所述检测框中心点的世界坐标不变,对所述检测框进行预设比例的放大处理。
在实际应用中,这里的预设比例可以结合大量叶间裂结节样本图像中叶间裂结节的与肺叶间裂的相对位置信息进行归纳确定。通过对检测框进行预设比例的放大处理,能够保证检测框越过叶间裂,延伸到不同肺叶区域,从而便于进一步获得所述两个不同肺叶图像元素的占比数值。
S705,确定所述第二变化检测框的属性信息。
具体地,所述第二变化检测框的属性信息是表征该第二变化检测框的形状和位置的属性信息,具体的,所述属性信息可以包括第二变化检测框的尺寸信息和中心点的世界坐标。
S707,基于所述第二变化检测框的属性信息及所述肺叶分割图像,得到所述第二变化检测框与所述肺叶分割图像对应的肺叶分割子图像。
具体地,基于放大后的检测框的属性信息和所述肺叶分割图像,可以得到放大后的检测框与所述肺叶分割图像对应的肺叶分割子图像,所述肺叶分割子图像的大小和中心点的世界坐标与所述放大后的检测框的大小和中心点的世界坐标相对应。
S709,确定所述肺叶分割子图像中包含的两个不同肺叶图像元素的第二占比数据。
具体地,所述两个不同肺叶图像元素的第二占比数据可以包括:
左肺上叶图像元素和左肺下叶图像元素的占比数据、右肺上叶图像元素和右肺中叶图像元素的占比数据及右肺中叶图像元素和右肺下叶图像元素的占比数据。
S711,基于所述第二占比数据,对所述肺结节检测子图像进行叶间裂结节的位置粗分类。
具体地,确定所述放大后的检测框与所述肺叶分割图像对应的肺叶分割子图像后,遍历所述放大后的检测框对应的肺叶分割子图像中的全部像素点,可以获得所述肺叶分割子图像中的两个不同肺叶图像元素的占比数值,从而得到两个不同肺叶图像元素个数的比例,例如肺叶分割子图像中左肺上叶图像元素个数与左肺下叶图像元素个数的比例,若所述两个不同肺叶图像元素的比例在预设阈值范围内,则可以确定所述肺结节检测子图像对应的叶间裂粗分类位置类型为备选叶间裂结节,否则可以确定所述肺结节检测子图像对应的叶间裂粗分类位置类型为非叶间裂结节。
本申请实施例中,通过对检测框进行一定阈值范围内的比例的放大变化,能够保证检测框越过叶间裂,延伸到不同肺叶区域,从而进一步获得所述两个不同肺叶图像元素的占比数值,从而得到两个不同肺叶图像元素个数的比例,再基于所述两个不同肺叶图像元素个数的比例确定肺结节检测子图像的叶间裂粗分类位置类型。通过叶间裂结节的位置粗分类能够通过检测框与肺叶间裂的相对位置滤除明显远离叶间裂位置的肺结节,仅留下靠近叶间裂位置的肺结节,再通过后续的叶间裂结节的位置细分类进行再次判断,能够明显提高分类精度,降低分类错误的可能性。
S507,基于双通道叶间裂结节位置分类模型,对叶间裂结节的位置粗分类结果对应的肺结节检测子图像进行叶间裂结节的位置细分类。
在本申请实施例中,所述双通道叶间裂结节位置分类模型是基于大量标注有叶间裂结节的位置分类标签的肺结节检测样本图像及对应的肺叶分割图像进行叶间裂结节位置分类训练得到的,所述叶间裂结节的位置分类标签包括叶间裂结节和非叶间裂结节。
具体地,所述基于双通道叶间裂结节位置分类模型,对叶间裂结节的位置粗分类结果对应的肺结节检测子图像进行叶间裂结节的位置细分类可以包括:
将所述叶间裂结节的位置粗分类结果中叶间裂粗分类位置类型为备选叶间裂结节对应的肺结节检测子图像及肺叶分割图像输入所述双通道叶间裂结节位置分类模型进行叶间裂结节识别处理,确定所述肺结节检测子图像对应的叶间裂细分类位置类型为叶间裂结节或非叶间裂结节。
基于双通道叶间裂结节位置分类模型,叶间裂结节的位置细分类能够对叶间裂结节的位置粗分类结果中叶间裂粗分类位置类型为备选叶间裂结节对应的肺结节检测子图像进行再次判断,具有较高的准确率的同时提高了检测效率,通过叶间裂结节的位置粗分类和叶间裂结节的位置细分类,能够准确高效地识别所述肺结节检测子图像的位置类型是否为叶间裂结节。
在本申请实施例中,所述肺结节检测子图像的最终位置类型可以包括:
胸膜结节、叶间裂结节及肺内结节。所述肺内结节可以包括既非胸膜结节,也非叶间裂结节的肺结节。
所述最终位置类型能够作为最终分类结果进行输出。
此时经过步骤S507后确定的叶间裂细分类位置类型为非叶间裂结节对应的肺结节检测子图像的最终位置类型即肺内结节。
图8是一种基于本申请的肺结节的位置分类方法对一个肺结节检测子图像进行肺结节位置分类识别过程的示意图,请参照图8,所述肺结节的位置分类识别过程包括胸膜结节的位置分类和叶间裂结节的位置分类。
具体地,如图8所示,肺结节检测子图像是通过对所述待识别图像进行肺结节图像检测得到的,获取其中一个肺结节检测子图像后,通过胸膜结节的位置分类可以确定该肺结节检测子图像对应的胸膜分类位置类型为胸膜结节或非胸膜结节;具体地,若为胸膜结节,则确定该肺结节检测子图像对应的最终位置类型为胸膜结节;若为非胸膜结节,则继续通过叶间裂结节的位置分类确定该肺结节检测子图像对应的叶间裂分类位置类型为叶间裂结节或非叶间裂结节,具体地,若为叶间裂结节,则确定该肺结节检测子图像对应的最终位置类型为叶间裂结节,若为非叶间裂结节,则确定肺结节检测子图像对应的最终位置类型为肺内结节。
请参照图9,图8中所述的胸膜结节的位置分类中还包括胸膜结节的位置粗分类和胸膜结节的位置细分类。
具体地,获取一个肺结节检测子图像后,先通过胸膜结节的位置粗分类确定所述肺结节检测子图像对应的胸膜粗分类位置类型为备选胸膜结节或非胸膜结节,若为备选胸膜结节,则继续通过胸膜结节的位置细分类确定所述肺结节检测子图像对应的胸膜细分类位置类型为胸膜结节或非胸膜结节。
请参照图10,图8中所述的叶间裂结节的位置分类中还包括叶间裂结节的位置粗分类和叶间裂结节的位置细分类;具体地,获取一个肺结节检测子图像后,先通过叶间裂结节的位置粗分类确定所述肺结节检测子图像对应的叶间裂粗分类位置类型为备选叶间裂结节或非叶间裂结节,若为备选叶间裂结节,则通过叶间裂结节的位置细分类确定所述肺结节检测子图像对应的叶间裂细分类位置类型为叶间裂结节或非叶间裂结节。
通过胸膜结节的位置分类与叶间裂结节的位置分类,能够结合肺的形态特点,通过肺分割和肺叶分割的结果来辅助进行肺结节的位置分类,最终确定肺结节的位置类型为胸膜结节、叶间裂结节或肺内结节,对于胸膜结节的位置分类和叶间裂结节的位置分类,又分别包括位置粗分类和位置细分类,先通过位置粗分类确定大致位置滤除明显不属于胸膜附近或叶间裂附近的肺结节,再通过位置细分类,即双通道位置分类模型再次判断,这样能够明显提高分类精度,降低分类错误的可能性,通过深度学习分类模型,提高了分类效率和准确率。位置分类使得到的肺结节的位置结果更加直观明了,方便后续针对不同位置肺结节进行筛查,提升医生的诊断效率。
具体地,请参照图11,所述基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类还包括:
S1101,基于每一肺结节检测子图像和所述肺叶分割图像,对所述肺结节检测图像中的每一肺结节检测子图像进行叶间裂结节的位置粗分类。
步骤S1101的具体过程与S505类似,但此时是对全部肺结节检测子图像进行叶间裂结节的位置粗分类,可以确定所述每一肺结节检测子图像对应的叶间裂粗分类位置类型为备选叶间裂结节或非叶间裂结节,具体步骤可以参见上述步骤S505中的相关描述,在此不再赘述。
S1103,基于双通道叶间裂结节位置分类模型,对叶间裂结节的位置粗分类结果对应的肺结节检测子图像进行叶间裂结节的位置细分类。
在本申请实施例中,所述双通道叶间裂结节位置分类模型是基于标注有叶间裂结节的位置分类标签的肺结节检测样本图像及对应的肺叶分割图像进行叶间裂结节位置分类训练得到的,所述叶间裂结节的位置分类标签包括叶间裂结节和非叶间裂结节。
具体地,所述基于双通道叶间裂结节位置分类模型,对叶间裂结节的位置粗分类结果对应的肺结节检测子图像进行叶间裂结节的位置细分类可以包括:
将所述叶间裂结节的位置粗分类结果中叶间裂粗分类位置类型为备选叶间裂结节对应的肺结节检测子图像及肺叶分割图像输入所述双通道叶间裂结节位置分类模型进行识别处理,确定所述肺结节检测子图像对应的叶间裂细分类位置类型为叶间裂结节或非叶间裂结节。
S1105,基于叶间裂结节的位置粗分类和细分类结果对应的肺结节检测子图像和所述左右肺分割图像,对叶间裂结节的位置粗分类和细分类结果对应的肺结节检测子图像进行胸膜结节的位置粗分类。
步骤S1105的具体过程与S501类似,但此时是对所述叶间裂结节的位置粗分类和细分类结果对应的肺结节检测子图像进行胸膜结节的位置粗分类,所述叶间裂结节的位置粗分类和细分类结果对应的肺结节检测子图像包括叶间裂粗分类位置类型为非叶间裂结节对应的肺结节检测子图像和叶间裂细分类位置类型为非叶间裂结节对应的肺结节检测子图像。
通过胸膜结节的位置粗分类可以确定所述叶间裂结节的位置粗分类和细分类结果对应的肺结节检测子图像对应的胸膜粗分类位置类型为备选胸膜结节或非胸膜结节,具体步骤可以参见上述步骤S501中的相关描述,在此不再赘述。
S1107,基于双通道胸膜结节位置分类模型,对胸膜结节的位置粗分类结果对应的肺结节检测子图像进行胸膜结节的位置细分类。
在本申请实施例中,双通道胸膜结节位置分类模型是基于标注有胸膜结节的位置分类标签的肺结节检测样本子图像及对应的左右肺分割图像进行左右肺分割训练得到的,所述胸膜结节的位置分类标签包括胸膜结节和非胸膜结节。
具体地,所述基于双通道胸膜结节位置分类模型,对胸膜结节的位置粗分类结果对应的肺结节检测子图像进行胸膜结节的位置细分类可以包括:
将所述胸膜结节的位置粗分类结果中胸膜粗分类位置类型为备选胸膜结节对应的肺结节检测子图像及左右肺分割图像输入所述双通道胸膜结节位置分类模型进行识别处理,确定所述肺结节检测子图像对应的胸膜细分类位置类型为胸膜结节或非胸膜结节。
具体地,所述肺结节检测子图像的最终位置类型可以包括:
胸膜结节、叶间裂结节及肺内结节。所述肺内结节可以包括既非胸膜结节,也非叶间裂结节的肺结节。
所述最终位置类型能够作为最终分类结果进行输出。
此时经过步骤S1107后确定的胸膜细分类位置类型为非胸膜结节对应的肺结节检测子图像的最终位置类型即肺内结节。
图12是另一种基于本申请的肺结节的位置分类方法对一个肺结节检测子图像进行肺结节位置分类识别过程的示意图,请参照图12,所述肺结节位置分类识别过程包括叶间裂结节的位置分类和胸膜结节的位置分类。
具体地,如图12所示,肺结节检测子图像是通过对所述待识别图像进行肺结节图像检测得到的,获取其中一个肺结节检测子图像后,通过叶间裂结节的位置分类可以确定该肺结节检测子图像对应的叶间裂分类位置类型为叶间裂结节或非叶间裂结节;具体地,若为叶间裂结节,则确定该肺结节检测子图像对应的最终位置类型为叶间裂结节;若为非叶间裂结节,则继续通过胸膜结节的位置分类确定该肺结节检测子图像对应的胸膜分类位置类型为胸膜结节或非胸膜结节,具体地,若为胸膜结节,则确定该肺结节检测子图像对应的最终位置类型为胸膜结节,若为非胸膜结节,则确定肺结节检测子图像对应的最终位置类型为肺内结节。
图12中所述的胸膜结节的位置分类还包括胸膜结节的位置粗分类和胸膜结节的位置细分类,具体可以参见图9,所述叶间裂结节的位置分类中还包括叶间裂结节的位置粗分类和叶间裂结节的位置细分类,具体可以参见图10。
在实际应用中,经过上述肺结节的位置分类之后能够出具肺结节的检测报告,检测报告上能够清楚直观地显示图像中肺结节的位置分类信息,辅助医生阅片,图13是本申请实施例提供的一种基于肺结节的位置分类方法获得的肺结节检测报告的示意图,如图13所示,经上述肺结节位置分类之后可以确定该肺结节检测图像中包括两个胸膜结节(结节1和结节2)、一个叶间裂结节(结节3)和一个肺内结节(结节4),清晰直观地显示了每种位置类型下肺结节的数量和编号,同时在报告区显示文字描述,文字描述包括肺结节的位置信息具体内容,医生能够根据需要进行查阅。此外还可以根据不同需求对不同位置类型的肺结节进行显示或滤除,如图14所示,当医生仅需获得患者的肺内结节时,可以选择滤除胸膜结节(结节1和结节2)和叶间裂结节(结节3),仅留下肺内结节(结节4),此时检测报告仅对肺内结节进行显示,更加直观,方便针对不同个体的差异性进行不同的显示,辅助医生阅片,提升查看效率。
以下介绍本申请双通道胸膜结节位置分类模型的训练过程的实施例,具体的,可以包括:
(1)获取标注有胸膜结节的位置分类标签的肺结节检测样本图像及对应的左右肺分割样本图像。
(2)基于所述肺结节检测样本图像及对应的左右肺分割样本图像对第一神经网络模型进行胸膜结节的位置分类的训练,在胸膜结节的位置分类的训练中调整所述第一神经网络模型的模型参数至所述第一神经网络模型输出的胸膜结节的位置分类标签与输入的肺结节检测样本图像的胸膜结节的位置分类标签相匹配。
(3)将当前的第一神经网络模型作为所述双通道胸膜结节位置分类模型。
以下介绍本申请双通道叶间裂结节位置分类模型的训练过程的实施例,具体的,可以包括:
(1)获取标注有叶间裂结节的位置分类标签的肺结节检测样本图像及对应的肺叶分割样本图像;
(2)基于所述肺结节检测样本图像及对应的肺叶分割样本图像对第二神经网络模型进行叶间裂结节的位置分类的训练,在叶间裂结节的位置分类的训练中调整所述第二神经网络模型的模型参数至所述第二神经网络模型输出的叶间裂结节的位置分类标签与输入的肺结节检测样本图像的叶间裂结节的位置分类标签相匹配。
(3)将当前第二神经网络模型作为所述双通道叶间裂结节位置分类模型。
本申请实施例还提供了一种肺结节的位置分类装置,如图15所示,所述装置包括:
待识别图像获取模块1510,用于获取待识别图像;
肺结节图像检测模块1520,用于对所述待识别图像进行肺结节图像检测,得到肺结节检测图像;
肺部图像分割模块1530,用于对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像;
肺结节的位置分类模块1540,用于基于所述肺结节检测图像、左右肺分割图像及肺叶分割图像,对每个所述肺结节检测子图像进行肺结节的位置分类。
本申请实施例中,所述肺部图像分割模块1530还可以包括:
左右肺图像分割单元,用于基于左右肺分割模型对所述待识别图像进行左右肺分割处理,得到左右肺分割图像;
肺叶图像分割单元,用于基于肺叶分割模型对所述待识别图像进行肺叶分割处理,得到肺叶分割图像。
在一些实施例中,所述肺结节的位置分类模块1540可以包括:
第一胸膜结节的位置粗分类单元,用于基于每一肺结节检测子图像和所述左右肺分割图像,对所述肺结节检测图像中的每一肺结节检测子图像进行胸膜结节的位置粗分类;
第一胸膜结节的位置细分类单元,用于基于双通道胸膜结节位置分类模型,对胸膜结节的位置粗分类结果对应的肺结节检测子图像进行胸膜结节的位置细分类;
第一叶间裂结节的位置粗分类单元,用于基于胸膜结节的位置粗分类和细分类结果对应的肺结节检测子图像和所述肺叶分割图像,对所述胸膜结节的位置粗分类和细分类结果对应的肺结节检测子图像进行叶间裂结节的位置粗分类;
第一叶间裂结节的位置细分类单元,用于基于双通道叶间裂结节位置分类模型,对叶间裂结节的位置粗分类结果对应的肺结节检测子图像进行叶间裂结节的位置细分类。
在另一些实施例中,所述肺结节的位置分类模块1540还可以包括:
第二叶间裂结节的位置粗分类单元,用于基于每一肺结节检测子图像和所述肺叶分割图像,对所述肺结节检测图像中的每一肺结节检测子图像进行叶间裂结节的位置粗分类;
第二叶间裂结节的位置细分类单元,用于基于双通道叶间裂结节位置分类模型,对叶间裂结节的位置粗分类结果对应的肺结节检测子图像进行叶间裂结节的位置细分类;
第二胸膜结节的位置粗分类单元,用于基于叶间裂结节的位置粗分类和细分类结果对应的肺结节检测子图像和所述左右肺分割图像,对叶间裂结节的位置粗分类和细分类结果对应的肺结节检测子图像进行胸膜结节的位置粗分类;
第二胸膜结节的位置细分类单元,用于基于双通道胸膜结节位置分类模型,对胸膜结节的位置粗分类结果对应的肺结节检测子图像进行胸膜结节的位置细分类。
在本申请实施例中,第一胸膜结节的位置粗分类单元和第二胸膜结节的位置粗分类单元还可以包括:
第一检测框确定单元,用于确定所述肺结节检测子图像的检测框;
第一检测框形状变化单元,用于对所述肺结节检测子图像的检测框进行第一形状变化处理,得到第一变化检测框;
第一属性信息确定单元,用于确定所述第一变化检测框的属性信息;
左右肺分割子图像确定单元,用于基于所述第一变化检测框的属性信息及左右肺分割图像,得到所述左右肺分割图像中与所述第一变化检测框对应的左右肺分割子图像;
第一占比数据确定单元,用于确定所述左右肺分割子图像中包含的左右肺区域图像元素和非左右肺区域图像元素的第一占比数据;
胸膜结节位置粗分类确定单元,用于基于所述第一占比数据,对所述肺结节检测子图像进行胸膜结节的位置粗分类。
在本申请实施例中,第一叶间裂结节的位置粗分类单元和第二叶间裂结节的位置粗分类单元还可以包括:
第二检测框确定单元,用于确定所述肺结节检测子图像的检测框;
第二检测框形状变化单元,用于对所述肺结节检测子图像的检测框进行第二形状变化处理,得到第二变化检测框;
第二属性信息确定单元,用于确定所述第二变化检测框的属性信息;
肺叶分割子图像确定单元,用于基于所述第二变化检测框的属性信息及肺叶分割图像,得到所述第二变化检测框与所述肺叶分割图像对应的肺叶分割子图像;
第二占比数据确定单元,用于确定所述肺叶分割子图像中包含的两个不同肺叶图像元素的第二占比数据;
叶间裂结节位置粗分类确定单元,用于基于所述第二占比数据,对所述肺结节检测子图像进行叶间裂结节的位置粗分类。
在一些实施例中,所述肺结节的位置分类装置还包括:
第一样本图像获取模块,用于获取标注有胸膜结节的位置分类标签的肺结节检测样本图像及对应的左右肺分割样本图像;
第一训练模块,用于基于所述肺结节检测样本图像及对应的左右肺分割样本图像对第一神经网络模型进行胸膜结节的位置分类的训练,在胸膜结节的位置分类的训练中调整所述第一神经网络模型的模型参数至所述第一神经网络模型输出的胸膜结节的位置分类标签与输入的肺结节检测样本图像的胸膜结节的位置分类标签相匹配;
双通道胸膜结节位置分类模型确定模块,用于当所述第一神经网络模型输出的胸膜结节的位置分类标签与输入的肺结节检测样本图像的胸膜结节的位置分类标签相匹配时,将当前的第一神经网络模型作为所述双通道胸膜结节位置分类模型。
在一些实施例中,所述肺结节的位置分类装置还包括:
第二样本图像获取模块,用于获取标注有叶间裂结节的位置分类标签的肺结节检测样本图像及对应的肺叶分割样本图像;
第二训练模块,用于基于所述肺结节检测样本图像及对应的肺叶分割样本图像对第二神经网络模型进行叶间裂结节的位置分类的训练,在叶间裂结节的位置分类的训练中调整所述第二神经网络模型的模型参数至所述第二神经网络模型输出的叶间裂结节的位置分类标签与输入的肺结节检测样本图像的叶间裂结节的位置分类标签相匹配;
双通道叶间裂结节位置分类模型确定模块,用于当所述第二神经网络模型输出的叶间裂结节的位置分类标签与输入的肺结节检测样本图像的叶间裂结节的位置分类标签相匹配时,将当前的第二神经网络模型作为所述双通道叶间裂结节位置分类模型。
所述的装置实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例提供了一种肺结节的位置分类设备,该肺结节的位置分类设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的肺结节的位置分类方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的肺结节的位置分类方法实施例可以在客户端(移动终端、计算机终端)、服务器或者类似的运算装置中执行。以运行在客户端上为例,图16是本发明实施例提供的一种客户端的结构示意图,如图16所示,该客户端可以用于实施上述实施例中提供的肺结节的位置分类方法。具体来讲:
所述客户端可以包括RF(Radio Frequency,射频)电路1610、包括有一个或一个以上计算机可读存储介质的存储器1620、输入单元1630、显示单元1640、传感器1650、音频电路1660、WiFi(wireless fidelity,无线保真)模块1670、包括有一个或者一个以上处理核心的处理器1680、以及电源1690等部件。本领域技术人员可以理解,图16中示出的客户端结构并不构成对客户端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
存储器1620可用于存储软件程序以及模块,处理器1680通过运行存储在存储器1620的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述客户端的使用所创建的数据等。此外,存储器1620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1620还可以包括存储器控制器,以提供处理器1680和输入单元1630对存储器1620的访问。
输入单元1630可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1630可包括触敏表面1631以及其他输入设备1632。触敏表面1631,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1631上或在触敏表面1631附近的操作),并根据预先设定的程式驱动相应的连接装置。具体地,其他输入设备1632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1640可用于显示由用户输入的信息或提供给用户的信息以及所述客户端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1640可包括显示面板1641,可选的,可以采用LCD(Liquid CrystalDisplay,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板1641。进一步的,触敏表面1631可覆盖显示面板1641,当触敏表面1631检测到在其上或附近的触摸操作后,传送给处理器1680以确定触摸事件的类型,随后处理器1680根据触摸事件的类型在显示面板1641上提供相应的视觉输出。其中,触敏表面1631与显示面板1641可以两个独立的部件来实现输入和输入功能,但是在某些实施例中,也可以将触敏表面1631与显示面板1641集成而实现输入和输出功能。
处理器1680是所述客户端的控制中心,利用各种接口和线路连接整个客户端的各个部分,通过运行或执行存储在存储器1620内的软件程序和/或模块,以及调用存储在存储器1620内的数据,执行所述客户端的各种功能和处理数据,从而对客户端进行整体监控。可选的,处理器1680可包括一个或多个处理核心;优选的,处理器1680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1680中。
尽管未示出,所述客户端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,客户端的显示单元是触摸屏显示器,客户端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行本发明中方法实施例中的指令。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种肺结节的位置分类方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的肺结节的位置分类方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘等各种可以存储程序代码的介质。
由上述本申请提供的肺结节的位置分类方法、装置、服务器或存储介质的实施例可见,本申请中肺结节的位置分类方法可以先通过胸膜结节的位置分类确定所述肺结节检测子图像的胸膜分类位置类型为胸膜结节或非胸膜结节,再通过叶间裂结节的位置分类确定所述位置类型为非胸膜结节对应的肺结节检测子图像的叶间裂分类位置类型为叶间裂结节或非叶间裂结节,此时若为非叶间裂结节则该肺结节检测子图像对应的最终位置类型为肺内结节;也可以先通过叶间裂结节的位置分类确定所述肺结节检测子图像的叶间裂分类位置类型为叶间裂结节或非叶间裂结节,再通过胸膜结节的位置分类确定所述位置类型为非叶间裂结节对应的肺结节检测子图像的胸膜分类位置类型为胸膜结节或非胸膜结节,此时若为非胸膜结节则该肺结节检测子图像对应的最终位置类型为肺内结节;其中,胸膜结节的位置分类又包括胸膜结节的位置粗分类和胸膜结节的位置细分类;叶间裂结节的位置分类又包括叶间裂结节的位置粗分类和叶间裂结节的位置细分类;这种位置分类方法能够结合肺的形态特点,通过肺分割和肺叶分割的结果来辅助进行肺结节的位置分类,最终确定肺结节的位置类型为胸膜结节、叶间裂结节或肺内结节,先通过位置粗分类确定大致位置滤除明显不属于胸膜附近或叶间裂附近的肺结节,再通过双通道位置分类模型再次判断,这样能够明显提高分类精度,降低分类错误的可能性,通过深度学习分类模型,提高了分类效率和准确率。位置分类使得得到的肺结节的位置结果更加直观明了,方便后续针对不同位置肺结节进行筛查,提升医生的诊断效率。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (9)
1.一种肺结节的位置分类方法,其特征在于,所述方法包括:
获取待识别图像;
对所述待识别图像进行肺结节图像检测,得到肺结节检测图像,所述肺结节检测图像包括一个或多个肺结节检测子图像;
对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像;
基于所述肺结节检测图像中的每一肺结节检测子图像和所述左右肺分割图像,对所述每一肺结节检测子图像进行胸膜结节的位置分类,得到所述胸膜结节的位置分类结果,所述胸膜结节的位置分类结果包括:所述胸膜结节的位置粗分类结果和位置细分类结果;
基于所述胸膜结节的位置分类结果对应的肺结节检测子图像和所述肺叶分割图像,对所述胸膜结节的位置分类结果对应的肺结节检测子图像进行叶间裂结节的位置分类,得到所述叶间裂结节的位置分类结果,所述叶间裂结节的位置分类结果包括:所述叶间裂结节的位置粗分类结果和位置细分类结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述待识别图像分别进行左右肺分割处理和肺叶分割处理,分别得到左右肺分割图像和肺叶分割图像包括:
基于左右肺分割模型对所述待识别图像进行左右肺分割处理,得到所述左右肺分割图像;
基于肺叶分割模型对所述待识别图像进行肺叶分割处理,得到所述肺叶分割图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述肺结节检测图像中的每一肺结节检测子图像和所述左右肺分割图像,对所述每一肺结节检测子图像进行胸膜结节的位置分类,得到所述胸膜结节的位置分类结果包括:
基于所述每一肺结节检测子图像和所述左右肺分割图像,对所述每一肺结节检测子图像进行所述胸膜结节的位置粗分类,得到所述胸膜结节的位置粗分类结果;
基于双通道胸膜结节位置分类模型,对所述胸膜结节的位置粗分类结果对应的肺结节检测子图像进行所述胸膜结节的位置细分类,得到所述胸膜结节的位置细分类结果;
所述基于所述胸膜结节的位置分类结果对应的肺结节检测子图像和所述肺叶分割图像,对所述胸膜结节的位置分类结果对应的肺结节检测子图像进行叶间裂结节的位置分类,得到所述叶间裂结节的位置分类结果包括:
基于所述胸膜结节的位置分类结果对应的肺结节检测子图像和所述肺叶分割图像,对所述胸膜结节的位置分类结果对应的肺结节检测子图像进行叶间裂结节的位置粗分类,得到所述叶间裂结节的位置粗分类结果;
基于双通道叶间裂结节位置分类模型,对所述叶间裂结节的位置粗分类结果对应的肺结节检测子图像进行叶间裂结节的位置细分类,得到所述叶间裂结节的位置细分类结果。
4.根据权利要求3所述的方法,其特征在于,所述胸膜结节的位置粗分类包括:
确定所述肺结节检测子图像的检测框;
对所述肺结节检测子图像的检测框进行第一形状变化处理,得到第一变化检测框;
确定所述第一变化检测框的属性信息;
基于所述第一变化检测框的属性信息及左右肺分割图像,得到所述左右肺分割图像中与所述第一变化检测框对应的左右肺分割子图像;
确定所述左右肺分割子图像中包含的左右肺区域图像元素和非左右肺区域图像元素的第一占比数据;
基于所述第一占比数据,对所述肺结节检测子图像进行胸膜结节的位置粗分类。
5.根据权利要求3所述的方法,其特征在于,所述叶间裂结节的位置粗分类包括:
确定所述肺结节检测子图像的检测框;
对所述肺结节检测子图像的检测框进行第二形状变化处理,得到第二变化检测框;
确定所述第二变化检测框的属性信息;
基于所述第二变化检测框的属性信息及肺叶分割图像,得到所述第二变化检测框与所述肺叶分割图像对应的肺叶分割子图像;
确定所述肺叶分割子图像中包含的两个不同肺叶图像元素的第二占比数据;
基于所述第二占比数据,对所述肺结节检测子图像进行叶间裂结节的位置粗分类。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取标注有胸膜结节的位置分类标签的肺结节检测样本图像及对应的左右肺分割样本图像;
基于所述肺结节检测样本图像及对应的左右肺分割样本图像对第一神经网络模型进行胸膜结节的位置分类的训练,在胸膜结节的位置分类的训练中调整所述第一神经网络模型的模型参数至所述第一神经网络模型输出的胸膜结节的位置分类标签与输入的肺结节检测样本图像的胸膜结节的位置分类标签相匹配;
将当前的第一神经网络模型作为所述双通道胸膜结节位置分类模型。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取标注有叶间裂结节的位置分类标签的肺结节检测样本图像及对应的肺叶分割样本图像;
基于所述肺结节检测样本图像及对应的肺叶分割样本图像对第二神经网络模型进行叶间裂结节的位置分类的训练,在叶间裂结节的位置分类的训练中调整所述第二神经网络模型的模型参数至所述第二神经网络模型输出的叶间裂结节的位置分类标签与输入的肺结节检测样本图像的叶间裂结节的位置分类标签相匹配;
将当前的第二神经网络模型作为所述双通道叶间裂结节位置分类模型。
8.一种肺结节的位置分类设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的肺结节的位置分类方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的肺结节的位置分类方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911004977.XA CN110910348B (zh) | 2019-10-22 | 2019-10-22 | 一种肺结节的位置分类方法、装置、设备及存储介质 |
US17/072,180 US11605164B2 (en) | 2019-10-22 | 2020-10-16 | Systems and methods for lung nodule evaluation |
US18/157,068 US20230157659A1 (en) | 2019-10-22 | 2023-01-19 | Systems and methods for lung nodule evaluation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911004977.XA CN110910348B (zh) | 2019-10-22 | 2019-10-22 | 一种肺结节的位置分类方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110910348A CN110910348A (zh) | 2020-03-24 |
CN110910348B true CN110910348B (zh) | 2022-12-20 |
Family
ID=69814662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911004977.XA Active CN110910348B (zh) | 2019-10-22 | 2019-10-22 | 一种肺结节的位置分类方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110910348B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488821B (zh) * | 2020-04-08 | 2023-09-01 | 北京百度网讯科技有限公司 | 用于识别交通信号灯倒计时信息的方法及装置 |
CN112330624A (zh) * | 2020-11-02 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 医学图像处理方法和装置 |
CN112950554B (zh) * | 2021-02-05 | 2021-12-21 | 慧影医疗科技(北京)有限公司 | 一种基于肺分割的肺叶分割优化方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751178B (zh) * | 2015-03-31 | 2018-04-03 | 上海理工大学 | 基于形状模板匹配结合分类器的肺结节检测装置及方法 |
CN106821497B (zh) * | 2017-03-16 | 2023-10-31 | 上海市肺科医院 | 一种靶位点的精确定位及处置方法和辅助装置 |
CN107481215A (zh) * | 2016-06-07 | 2017-12-15 | 宁夏医科大学 | 基于空间分布的ct肺结节分割方法 |
CN109816667A (zh) * | 2019-01-21 | 2019-05-28 | 杭州英库医疗科技有限公司 | 一种基于ct影像的肺结节分割方法 |
-
2019
- 2019-10-22 CN CN201911004977.XA patent/CN110910348B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110910348A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11850021B2 (en) | Dynamic self-learning medical image method and system | |
CN110910348B (zh) | 一种肺结节的位置分类方法、装置、设备及存储介质 | |
KR101874348B1 (ko) | 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
EP2710958B1 (en) | Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading | |
US9760689B2 (en) | Computer-aided diagnosis method and apparatus | |
CN107274402A (zh) | 一种基于胸部ct影像的肺结节自动检测方法及系统 | |
WO2018104342A1 (en) | Learning annotation of objects in image | |
JP2018102916A (ja) | 制御方法、情報端末、及びプログラム | |
US10290101B1 (en) | Heat map based medical image diagnostic mechanism | |
JP2017515106A (ja) | 液体キャニスタ内の血液成分量の推定方法 | |
CN111445449A (zh) | 感兴趣区域的分类方法、装置、计算机设备和存储介质 | |
CN105167793A (zh) | 图像显示装置、显示控制装置及显示控制方法 | |
CN108648178A (zh) | 一种影像结节检测的方法及装置 | |
US9760993B2 (en) | Support apparatus for supporting a user in a diagnosis process | |
WO2020110774A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN116848588A (zh) | 医学图像中的健康状况特征的自动标注 | |
CN112561877A (zh) | 多尺度双通道卷积模型训练方法、图像处理方法及装置 | |
CN112074912A (zh) | 使用介入x射线图像和深度学习的交互式冠状动脉标记 | |
KR102628324B1 (ko) | 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법 | |
CN114170212A (zh) | 一种基于ct影像中肺小结节假阳检测方法及系统 | |
EP2199976A2 (en) | Image processing method, image processing apparatus and image processing program | |
CN105302433B (zh) | 医疗图像显示装置及其控制方法 | |
JP2021043881A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
US20240087304A1 (en) | System for medical data analysis | |
JP2010227215A (ja) | 医用画像処理装置、シェーマの作成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |