CN115620899A - 基于多视野的3d卷积神经网络集成模型肺结节诊断系统 - Google Patents

基于多视野的3d卷积神经网络集成模型肺结节诊断系统 Download PDF

Info

Publication number
CN115620899A
CN115620899A CN202211533528.6A CN202211533528A CN115620899A CN 115620899 A CN115620899 A CN 115620899A CN 202211533528 A CN202211533528 A CN 202211533528A CN 115620899 A CN115620899 A CN 115620899A
Authority
CN
China
Prior art keywords
task
unit
model
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211533528.6A
Other languages
English (en)
Other versions
CN115620899B (zh
Inventor
冀瑛
周静
胡滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin University of China
Beijing Chaoyang Hospital
Original Assignee
Renmin University of China
Beijing Chaoyang Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin University of China, Beijing Chaoyang Hospital filed Critical Renmin University of China
Priority to CN202211533528.6A priority Critical patent/CN115620899B/zh
Publication of CN115620899A publication Critical patent/CN115620899A/zh
Application granted granted Critical
Publication of CN115620899B publication Critical patent/CN115620899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了基于多视野的3D卷积神经网络集成模型肺结节诊断系统，涉及肺结节自动诊断技术领域，该系统包括前端模块、应用后端模块和计算中心模块；前端模块包括文件管理单元和计算交互单元；应用后端模块包括Nginx服务器、应用服务单元、任务中心单元、Redis存储单元、DICOM标准化管道单元和计算前置管道单元；计算中心模块包括任务管理单元、资源管理单元和计算服务单元。本发明用于肺结节病理亚型的诊断，通过前端模块上传一个病人的一整套CT，应用后端模块对其进行一系列标准化处理，然后通过计算中心模块进行相应的数据处理计算，并将结果反馈至前端模块进行展示，实现对肺结节病理亚型的自动诊断，且诊断预测结果精准度高。

Description

基于多视野的3D卷积神经网络集成模型肺结节诊断系统
技术领域
本发明涉及肺结节自动诊断技术领域，具体涉及基于多视野的3D卷积神经网络集成模型肺结节诊断系统。
背景技术
近几十年来，随着低剂量计算机断层扫描（LDCT）在肺癌筛查中的普及，越来越多的早期肺癌可以通过影像被检出。LDCT筛查被认为在降低肺癌相关死亡率方面具有重要作用，并已被循证医学证实。根据国际肺癌研究协会（IASLC）的分类，肺腺癌可分为两大类，浸润前腺癌和浸润性腺癌。浸润前腺癌包括不典型腺瘤样增生（AAH）、原位腺癌（AIS）和微小浸润型腺癌（MIA）。
此外，根据最新的IASLC分级系统，可以将浸润性腺癌进一步分为三个风险等级，并且基于该分级，可以显示出令人满意的生存能力分级评估。因此，利用CT影像特征区分良恶性结节，并进一步预测病理分级具有重要意义。这将有助于医生术前设计更合理的规划手术方式（肺叶切除或亚肺叶切除）。
然而，目前基于LDCT的肺癌筛查结果，不同医生可能会得出不同的结论。现有技术中肺结节诊断系统存在以下缺陷：
1、现有的基于CT影像进行肺结节的诊断（例如一些医疗大数据公司开发的结节诊断系统等），主要集中在良恶性诊断、浸润前和浸润性诊断两个任务，但是不能够对恶性结节的病理亚型进行分级，影响医生手术方式的选择。
2、现有的肺结节诊断技术还停留在“理论阶段”，例如很多基于AI的技术做了肺结节诊断，但是，基于AI技术的肺结节诊断技术，虽然能够自主做出诊断结果，然而使用的人并不清楚其做出诊断结果的缘由及过程，对于临床医生，其自主做出诊断的结果不透明，是不便于确定其可靠性，在临床上是不便于使用的。
3、现有的肺结节诊断技术大多依赖于国外公开的数据集，如数据集LUNA、LIDC和NLST，LIDC数据集是由美国国家癌症研究所(National Cancer Institute)发起收集的，目的是为了研究高危人群早期癌症检测，该数据集共包含1081个研究实例，共243958张CT，每个图像都由四名经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段，每位医师分别独立诊断并标注病灶位置，其中会标注三种类别：1) >=3mm的结节，2) <3mm的结节，3) >=3mm的非结节；在第二阶段，各医师独立复审其他医师的标注，并给出最终诊断结果。但是上述国外的公开数据集收集的人群通常是高风险人群（55-74岁，30年以上吸烟史，戒烟不超过15年），很少包含具有磨玻璃成分结节的病人，而含有磨玻璃成分的结节是我国早期肺癌患者典型的影像学表现，故而现有肺结节诊断技术缺乏对含有磨玻璃成分的结节的诊断。
因此，本发明旨在基于上述临床问题及挑战，提供一种基于多视野的3D卷积神经网络集成模型肺结节诊断系统，以解决上述问题。
发明内容
本发明的目的是为了解决上述问题，提供基于多视野的3D卷积神经网络集成模型肺结节诊断系统。
为了达到上述目的，本发明的技术方案如下：基于多视野的3D卷积神经网络集成模型肺结节诊断系统，所述系统基于多视野的3D卷积神经网络的集成模型实现肺结节病理亚型的诊断；
所述系统包括前端模块、应用后端模块和计算中心模块；所述前端模块包括文件管理单元和计算交互单元；所述应用后端模块包括Nginx服务器、应用服务单元、任务中心单元、Redis存储单元、DICOM标准化管道单元和计算前置管道单元；所述计算中心模块包括任务管理单元、资源管理单元和计算服务单元；
所述文件管理单元用于上传DICOM数据集，获取DICOM标准化管道单元处理后的数据，并在窗口内展示文件内容；
所述计算交互单元用于输入坐标点，按步提交计算请求并展示结果；
所述应用服务单元用于根据所需功能实现的各项接口；
所述Nginx服务器用于应用服务单元各接口的反向代理，配置域名及HTTPS服务；
所述任务中心单元用于桥接来自前端模块的计算需求和计算中心模块，并管理近期任务的执行状态；
所述Redis存储单元用于缓存来自任务中心单元的任务状态及结果；
所述DICOM标准化管道单元用于对应用服务单元所接收的DICOM文件进行一系列标准化处理；
所述计算前置管道单元对需要计算的DICOM文件集合和输入值进行前置处理，产出计算中心模块所需的最小资源包；
所述任务管理单元用于轮询应用服务单元获取任务分发给下游，并在任务完成后上报结果到应用服务单元；
所述资源管理单元根据任务管理单元产出的任务信息，从应用服务单元获取由计算前置管道单元产出的对应资源包；并根据预置生命周期，适时通知应用服务单元删除所有过期DICOM文件集合、关联资源包及各项任务状态；
所述计算服务单元依照任务管理单元的调度安排，使用资源管理单元获取的资源包进行计算并将结果上报至任务管理单元；
所述系统基于多视野的3D卷积神经网络的集成模型实现肺结节病理亚型的诊断包括以下三阶段任务，分别为：
任务一：良恶性判断；
任务二：浸润前病变与浸润性病变判断；
任务三：浸润性病变的病理分级判断；
所述多视野的3D卷积神经网络的集成模型分别采用3种3D CNN模型进行训练，三阶段任务的每个任务均有三个预测结果，且最终采取求三个预测概率的均值，并以约登指数为阈值计算得出最终的预测结果。
在本方案中，任务三中的浸润性病变的病理分级判断，具体分为高分化（Grade1）、中分化（Grade 2）和低分化（Grade 3）。按照最新IASLC 分级系统（2021）进行的病理亚型分化程度解释：高分化—附壁型为主的肿瘤，高级别亚型没有或少于20%（高级别亚型包括实体型、微乳头型或复杂腺体型）；中分化—腺泡型或乳头型为主的肿瘤，高级别亚型没有或少于20%；低分化—任何高级别亚型大于20%的肿瘤。
进一步地，所述多视野的3D卷积神经网络的集成模型分别采取3D ResNet、3DInception和3D VGG模型进行训练。
进一步地，三阶段任务中每个任务的输入均为一套病人的CT，对病人的CT进行数据预处理，截取不同视野的3D立体块，组成基于多视野的3D卷积神经网络集成模型的输入，进入后续的模型算法中。
进一步地，三阶段任务中每个任务均采用3种3D CNN模型进行训练，每个3D CNN模型的输入是3个不同视野的3D立体块。
进一步地，三阶段任务中每个任务的每个3D CNN模型输入的不同视野的3D立体块的大小采取多视野策略确定。
进一步地，采取多视野策略确定每个3D CNN模型输入的不同视野的3D立体块的大小具体方法为：
对于每个结节，截取若干个不同像素大小的3D立体块来代表不同的视野，3D立体块的大小为m×m×m，m的取值有5种，分别为20，40，60，80，100；
最终模型的输入只需3个不同的视野，即对每个任务中的每个3D CNN模型有10种组合输入，采取交叉验证的方式确定最优的组合，即选取在测试集上表现最优的模型输入作为视野的最优组合；
最后，将3个不同大小的视野的3D立体块通过线性插值的方式统一到相同的视野，作为模型的输入。
进一步地，所述的数据预处理包括：
统一层厚，通过线性插值法统一层厚到0.625mm；
体素归一化，采取最大最小值归一化方法；
肺窗调整，调整到适合查看肺部病变的窗宽和窗位。
进一步地，还包括采取数据增强技术对病人的CT进行处理，包括轴对换、每隔36度进行旋转、随机偏移、对于较小的结节进行随机放大。
进一步地，所述DICOM标准化管道单元对应用服务单元所接收的DICOM文件进行一系列标准化处理包括解压、补齐默认值和脱敏。
进一步地，所述任务一和任务二的主要评估指标为AUC 值、敏感度和特异度，所述任务三的评价指标为准确度（accuracy）。
与现有技术相比，本方案的有益效果：
1、本发明的系统能够实现肺结节病理亚型的诊断，通过前端模块上传一个病人的一整套CT，应用后端模块接收上传的该一整套CT并对其进行一系列标准化处理，然后通过计算中心模块进行相应的数据处理计算，并将结果反馈至前端模块进行展示，从而实现对肺结节病理亚型的自动诊断；
2、本发明的系统利用基于多视野的3D卷积神经网络的集成模型对不同大小的结节都具有识别预测作用，其考虑了不同视野下的结节特征，并且根据每个任务，选取最优视野大小组合成模型的多视野输入，这样能够有效提取不同大小结节的特征，增加模型的学习能力；
3、本发明实现对肺结节病理亚型的诊断包括三阶段任务，且每阶段的任务均采取了3种不同的3D CNN模型进行训练，并运用集成法综合各个模型预测结果，能够做到取长补短，最大程度避免由于单个模型预测失误而造成的预测结果错误；
4、本发明能够对恶性结节的病理亚型进行分级，尤其通过三阶段任务中的任务三，能够实现浸润性分级（即区分浸润后风险的分级），利于医生手术方式的选择。
附图说明
图1是本发明实施例中基于多视野的3D卷积神经网络集成模型肺结节诊断系统的框架图；
图2是本发明实施例中该系统的病人CT上传流程图；
图3是本发明实施例中该系统的计算流程图；
图4是本发明实施例中该系统的资源清理流程图；
图5为本发明实施例中基于多视野的3D卷积神经网络集成模型的原理流程图；
图6为本发明实施例中现有技术文献的精度；
图7为本发明实施例中基于多视野的3D卷积神经网络集成模型肺结节诊断系统平台网页中文版界面图；
图8为本发明实施例中数据预处理和数据增强的流程图；
图9为本发明实施例中模型的任务一和任务二的预测与评估结果图；
图10为本发明实施例中模型的任务三的预测与评估结果图；
图11是本发明实施例中模型训练过程中任务一的预测精度曲线；
图12是本发明实施例中模型训练过程中任务二的预测精度曲线；
图13是本发明实施例中模型训练过程中任务三的预测精度曲线。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明的实施例及附图，对本发明的技术方案进行进一步详细地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将结合实施例来详细说明本发明。
实施例：
本发明提供的技术方案为：基于多视野的3D卷积神经网络集成模型肺结节诊断系统，该系统基于多视野的3D卷积神经网络的集成模型实现肺结节病理亚型的诊断。
参见图1所示，其为本发明系统的总体框架图。系统包括前端模块、应用后端模块和计算中心模块；前端模块包括文件管理单元和计算交互单元；应用后端模块包括Nginx服务器、应用服务单元、任务中心单元、Redis存储单元、DICOM标准化管道单元和计算前置管道单元；计算中心模块包括任务管理单元、资源管理单元和计算服务单元；
文件管理单元用于上传DICOM数据集，获取DICOM标准化管道单元处理后的数据，并在窗口内展示文件内容；
计算交互单元用于输入坐标点，按步提交计算请求并展示结果；
应用服务单元用于根据所需功能实现的各项接口；
Nginx服务器用于应用服务单元各接口的反向代理，配置域名及HTTPS服务；
任务中心单元用于桥接来自前端模块的计算需求和计算中心模块，并管理近期任务的执行状态；
Redis存储单元用于缓存来自任务中心单元的任务状态及结果；
DICOM标准化管道单元用于对应用服务单元所接收的DICOM文件进行一系列标准化处理；
计算前置管道单元对需要计算的DICOM文件集合和输入值进行前置处理，产出计算中心模块所需的最小资源包；
任务管理单元用于轮询应用服务单元获取任务分发给下游，并在任务完成后上报结果到应用服务单元；
资源管理单元根据任务管理单元产出的任务信息，从应用服务单元获取由计算前置管道单元产出的对应资源包；并根据预置生命周期，适时通知应用服务单元删除所有过期DICOM文件集合、关联资源包及各项任务状态；
计算服务单元依照任务管理单元的调度安排，使用资源管理单元获取的资源包进行计算并将结果上报至任务管理单元；
系统基于多视野的3D卷积神经网络的集成模型实现肺结节病理亚型的诊断包括以下三阶段任务，分别为：
任务一：良恶性判断；
任务二：浸润前病变与浸润性病变判断；
任务三：浸润性病变的病理分级判断（浸润性病变的病理分级，具体划分为高分化（Grade 1）、中分化（Grade 2）和低分化（Grade 3）。按照最新IASLC 分级系统（2021）进行的病理亚型分化程度解释：高分化—附壁型为主的肿瘤，高级别亚型没有或少于20%（高级别亚型包括实体型、微乳头型或复杂腺体型）；中分化—腺泡型或乳头型为主的肿瘤，高级别亚型没有或少于20%；低分化—任何高级别亚型大于20%的肿瘤）。
多视野的3D卷积神经网络的集成模型分别采用3种3D CNN模型进行训练，三阶段任务的每个任务均有三个预测结果，且最终采取求三个预测概率的均值，并以约登指数为阈值计算得出最终的预测结果。
在发明实施方案中，多视野的3D卷积神经网络的集成模型分别采取3D ResNet、3DInception和3D VGG模型进行训练，三阶段任务的每个任务均采取以上3 种不同的3D CNN模型进行训练，并运用集成法综合各个模型预测结果，便于做到取长补短，最大程度避免由于单个模型预测失误而造成的预测结果错误，使得本发明的诊断预测结果精准度高。
三阶段任务的每个阶段的输入均为一套病人的CT，对病人的CT通过数据预处理（包括统一层厚、体素归一化和肺窗调整等），截取不同视野的3D立体块，组成基于多视野的3D卷积神经网络集成模型的输入，进入后续的模型算法中。
在本发明实施方案中，对于肺结节病理亚型的诊断共有3个任务，每个任务都是3个3D CNN模型，每个3D CNN模型的输入是3个不同视野的立体块。对于确定每个任务中的每个3D CNN模型的输入大小，采取的是多视野策略。具体为：对于每个结节，截取若干个3D立体块来代表不同的视野，所谓多视野策略即为截取不同像素大小的立体块，本发明实施方案中截取：100×100×100，80×80×80，60×60×60，40×40×40，20×20×20五种不同的立体块，由于最终模型的输入只需3个不同的视野即可，因此，对每个任务中的每个3D CNN模型就有10种组合，为了确定最优的组合，采取交叉验证的方法，选取在测试集上表现最优的模型对应的输入作为视野的最优组合，最终每个任务的每个3D CNN模型的输入视野策略详见下表1所示。具体地，视野大小组合“60-40-20”表示截取的3D立体块大小分别为60×60×60,40×40×40,20×20×20，统一视野大小“40-40-40”则表示把3个3D立体块都统一到了40×40×40的大小。
Figure 921719DEST_PATH_IMAGE001
最后，由于模型输入要求所有视野大小统一，最终会将3个不同大小的视野通过线性插值的办法统一到相同的视野（如表1的最后一列）。
在本发明实施方案中，为了避免过拟合以及提高模型的泛化能力，本发明还采取数据增强技术（包括轴对换、每隔36度进行旋转，随机偏移、对于较小的结节进行随机放大等）对病人的CT进行处理。
本发明的方案在结节分类任务中采用三阶段的方法。首先将结节分为良性和恶性两类（任务一），接着对于恶性结节，再次进行浸润前病变（包括AAH、AIS和MIA）和浸润性病变的二分类（任务二），最后，对浸润性病变进行浸润性的分级（任务三）。
以下为本发明方案的具体实施：
本发明实施过程中，用于模型训练的训练集（488人）来自医院A，用于对模型进行验证的验证集（139人）来自医院B和C，关于真实数据中训练集和验证集的情况如下表2所示。
Figure 229072DEST_PATH_IMAGE002
关于本发明方案实施过程中模型的数据预处理和数据增强：
如图8所示，其为数据预处理和数据增强的流程图。首先，将所有CT数据统一层厚到0.625mm，其次，调整CT图像的窗位和窗宽，将窗位和窗宽分别设置为-500HU和1800HU，并通过最大最小值法对CT值进行归一化处理。然后，为进一步提高模型的泛化能力，对于上述多视野裁剪的3D立体块进行数据增强操作，具体包括以下手段：分别对X，Y，Z三个方向上进行轴对换，每隔36度进行旋转；随机偏移、对于较小的结节（小于1.5厘米）进行随机放大。通过以上操作，训练集中原有的843个结节被扩充到28782个，其中用于任务一训练的结节有13635个，任务二有10158个，任务三有4989个。
关于本发明实施例中多视野3D CNN集成的结节分类模型的多视野的模型输入：
将多个视野大小不同的裁剪图像输入分类模型。小视野提供较为细粒度的信息，增强对小结节的关注；而大视野不仅可以减少大结节相关信息的丢失，还能够提供周围组织的信息。多视野策略一般有两种实现方式：多视野多网络和多视野单网络。前者对每个视野使用一个不同的网络，而后者的所有视野共同使用一个网络。本发明实施例结合两种方式，首先应用多视野单网络的策略，将多个不同视野大小的结节图像作为输入单个3D CNN模型的不同通道，接着训练多个独立的3D CNN，使用集成学习的思想做出最终决策。本发明实施方案采取的多视野策略如上所述。
关于本发明实施例方案中的模型结构：如图5所示，任务一对良性和恶性肺结节进行分类。任务二确定浸润前和浸润性恶性结节。任务三进一步评估浸润性肺腺癌的风险分层。值得注意的是，对于每个任务，三个3D CNN的输入形状都是不同的。每个任务的三个3DCNN的详细输入形状，如下表3-5所示。
Figure 900487DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
Figure 420330DEST_PATH_IMAGE005
关于本发明实施例方案的模型训练：所有模型均采用Adam优化算法进行训练，初始学习率为0.001。若预测精度在20个周期后没有提升时，学习率会降低到前一个周期的一半；批次的样本量对于训练集和验证集分别设置为30和20，每个模型总共进行200个周期；对于每个模型，选择在测试集上预测精度最优的周期作为最终的评估模型。在本实施方案中的模型的训练过程中，三个任务的训练精度曲线如图11至图13所示，图11中，为任务一中每个3D CNN模型的预测精度曲线，从左到右至下分别为：3D Inception、3D ResNet、3DVGG；图12中，为任务二中每个3D CNN模型的预测精度曲线；图13中，为任务三中每个3D CNN模型的预测精度曲线。
关于本发明实施例中模型预测与评估：
采用七个指标对EMV-3-CNN模型（本发明模型的英文简称）的性能进行综合评估：AUC、准确性、敏感性、特异性、PPV、NPV和F1评分。为了获得上述指标，必须为每个任务提供预测概率。为此，对于每个任务，首先计算三个3D CNN模型的平均预测概率，然后，将该值作为每个任务的最终预测概率值。具体来说，对于任务一和任务二，获得最终预测概率后，使用约登指数确定的阈值转换为二进制结果，任务一和任务二的阈值分别为0.747和0.562。由于任务三是一个多分类问题，直接选择对应于最大预测概率的标签作为预测结果。此外，还绘制了ROC曲线，并使用Python计算曲线下的面积（AUC）。AUC值的所有置信区间均采用Bootstrap法计算。一致性系数Cohen kappa值也使用Python计算。关于本实施例方案中模型的任务一及任务二的评估预测结果，如图9所示；关于本实施例方案中模型的任务三的评估预测结果，如图10所示。
本实施例方案中，任务一和任务二的主要评估指标为AUC 值、敏感度和特异度，任务三的评价指标为准确度（accuracy）。
任务一和任务二的AUC 值与现有文献的精度是可比的，甚至是高于现有文献。
对于本实施方案中的任务一：其AUC为91.3%，比现有技术1（Gong et al,2021）的精度（76%）要高，比现有技术2（Chen et al,2021）的精度（89.0%）也略高，现有技术中的上述文献仅仅利用的是影像组学特征，而且进入模型的变量十分有限，无法对每一个结节都做到无差异的预测。同时，将本发明提出的模型与人工阅片结果进行对比，本发明的结果也是高于人工阅片结果，如下表6所示。
对于本发明实施例中的任务二：其AUC值为92.5%。如图6所示，其为现有技术文献的精度，本发明的结果均比现有技术文献的要高。同时，将本发明提出的算法与人工阅片结果进行对比，本发明的结果也是高于人工阅片结果，如下表6所示。
Figure DEST_PATH_IMAGE006
Figure 657539DEST_PATH_IMAGE007
上述表6是任务一和任务二的模型与人工阅片结果的比较，表6中，D1到D6分别代表6个不同的医生的人工阅片结果，其中D1到D3是高年资医生，平均临床经验在13年左右，D4到D6是低年资医生，平均临床经验在3年左右。在表6中：AUC作为模型的评价标准指标，AUC越接近1.0，说明模型的预测效能越高；accuracy作为模型的精确度指标；sensitivity表示灵敏度,表示对正例的预测能力(越高越好)；specificity表示特异度，可以在一定程度上评估假阳性率；PPV,即阳性预测值,常称为精确度(Precision)或查准率，精确率针对的是预测的正样本,可以理解为被预测为阳性的样本中有多少是正确的；NPV为阴性预测值，表示所有识别为反例的样本中, 预测正确的比例；F1作为分类问题的一个衡量指标，目标是将精确率和召回率组合成一个指标，F1得分为精确率和召回率的调和平均值，F1分数能很好地处理不平衡的数据，其最大为1，最小为0；由表6数据可得知，本发明的任务一和任务二的模型与人工阅片结果的比较，本发明的结果是优于人工阅片结果的。
对于本发明实施例中的任务三（task3）模型，其accuracy值为77.6%，目前该值没有现有技术文献可以对比，因为该任务三是本发明首次提出来，其对比的基准（benchmark）就是人工阅片结果，本发明的结构也要显著高于人工阅片结果，如下表7所示。
Figure DEST_PATH_IMAGE008
Figure 779470DEST_PATH_IMAGE009
上述表7为是任务三（task3）模型与人工阅片结果的比较，表7中，D1到D6同样分别代表6个不同的医生的人工阅片结果，其中D1到D3是高年资医生，平均临床经验在13年左右，D4到D6是低年资医生，平均临床经验在3年左右。在表7中，尤其关注总体准确率（overall accuracy）这个指标即可，根据表7中本发明任务三模型和六个医生（D1-D6）的结果比较，D1-D3的平均总体准确率（overall accuracy）为66.2%，D4-D6的平均总体准确率（overall accuracy）为56.1%。因此，根据表7数据可明显得知，本发明的任务三的模型的精度比低年资医生的人工阅片结果的精度要高很多，本发明的任务三的模型的精度较高年资的医生的人工阅片结果的精度也要高。
由上所述，本发明实施例利用多视野和模型集成的策略，在真实数据集上训练了三个3D CNN模型用于结节分类。多视野指使用以结节为中心的不同大小的体积块组成神经网络模型输入的多个通道，可以给分类模型提供更多有关于结节尺寸、位置和背景的信息。模型集成是一种多模型融合策略，本文使用平均法集成三个3D CNN的预测结果，提高了模型的泛化能力。
并且，本发明不同于一般的二分类和三分类实现方式。本发明进行了三阶段的结节分类，首先将结节分为良性和恶性两类；接着，对于恶性结节，再分为浸润前病变与浸润性病变判断；再对浸润性病变的病理进行分级（三分类问题：Grade1，高分化；Grade2，中分化；Grade3，低分化）。三阶段任务的设计能够实现结节的精确诊断，既能辅助医生选择最佳治疗方案，又能在一定程度上防止过度诊断。
如图2所示，其为本发明该系统的病人CT上传流程图，通过前端模块选择文件夹，上传一整套CT（根据层厚不同，通常在几十张到几百张不等），然后应用后端模块接收CT文件，并按需进行解压该文件、将其标准化为Part 10、读取文件并脱敏、替换原件等处理，并在替换原件后反馈至前端模块接收该一整套CT。
本发明的该系统平台的网址为：https://seeyourlung.com.cn/。本发明的该系统平台网页中文版界面如图7所示。该系统平台主要用于辅助医生进行术前CT的诊断，医生点击【上传DICOM格式文件夹】或者直接【拖拽文件夹到此处】，可以上传一个病人的完整CT，上传后，可以在线浏览，通过滚动条进行滑动，观看不同层面的CT图像，然后将鼠标放到相应位置时可以看到相应的坐标，该坐标可以手动定位病灶的重心位置（即用XYZ表示的坐标点），然后输入右侧计算框中，点击【开始计算第一步】，可以计算该病灶：1、是恶性结节的概率；2、如果是恶性的，那么是浸润性病变的概率；3、如果是浸润性病变，那么具体的每个病理分级（1、2、3级）的概率。
如图3所示，其为本发明系统的计算流程图，通过前端模块发出请求计算指令，应用后端模块根据该请求计算指令生成任务ID，应用后端模块生成任务ID后，判断是否已有计算的缓存结果，若有，则获取Redis存储单元的缓存，并根据获取的Redis缓存反馈至前端模块展示结果；若判断无计算的缓存结果，应用后端模块则生成预置资源包，并派发任务，计算中心模块获取该派发的任务，并获取对应的资源包，然后根据获取的资源包进行计算，并将计算结果缓存至应用后端模块的Redis存储单元，然后前端模块根据缓存的计算结果进行结果展示。
如图4所示，其为本发明该系统的资源清理流程图，计算中心模块检测所有的资源包，若未触发TTL阈值，则短时等待后再次返回检查所有资源包；若触发TTL阈值，则删除并记录过期资源信息，然后反馈至应用后端模块删除过期资源，并进一步删除过期的CT文件集，并删除过期任务缓存，实现该系统的资源清理。
综上所述，通过本发明的上述实施例，利用本发明的该系统，医生只需要上传一套完整的病人CT，给出病灶的位置，本发明的该系统就会自动给出该结节的：1、恶性概率；2、如果高度怀疑恶性，会继续给出是浸润性病变的概率；3、如果高度怀疑浸润性病变，则会继续给出浸润性病变的病理亚型分级。
以上具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：所述系统基于多视野的3D卷积神经网络的集成模型实现肺结节病理亚型的诊断；
所述系统包括前端模块、应用后端模块和计算中心模块；所述前端模块包括文件管理单元和计算交互单元；所述应用后端模块包括Nginx服务器、应用服务单元、任务中心单元、Redis存储单元、DICOM标准化管道单元和计算前置管道单元；所述计算中心模块包括任务管理单元、资源管理单元和计算服务单元；
所述文件管理单元用于上传DICOM数据集，获取DICOM标准化管道单元处理后的数据，并在窗口内展示文件内容；
所述计算交互单元用于输入坐标点，按步提交计算请求并展示结果；
所述应用服务单元用于根据所需功能实现的各项接口；
所述Nginx服务器用于应用服务单元各接口的反向代理，配置域名及HTTPS服务；
所述任务中心单元用于桥接来自前端模块的计算需求和计算中心模块，并管理近期任务的执行状态；
所述Redis存储单元用于缓存来自任务中心单元的任务状态及结果；
所述DICOM标准化管道单元用于对应用服务单元所接收的DICOM文件进行一系列标准化处理；
所述计算前置管道单元对需要计算的DICOM文件集合和输入值进行前置处理，产出计算中心模块所需的最小资源包；
所述任务管理单元用于轮询应用服务单元获取任务分发给下游，并在任务完成后上报结果到应用服务单元；
所述资源管理单元根据任务管理单元产出的任务信息，从应用服务单元获取由计算前置管道单元产出的对应资源包；并根据预置生命周期，适时通知应用服务单元删除所有过期DICOM文件集合、关联资源包及各项任务状态；
所述计算服务单元依照任务管理单元的调度安排，使用资源管理单元获取的资源包进行计算并将结果上报至任务管理单元；
所述系统基于多视野的3D卷积神经网络的集成模型实现肺结节病理亚型的诊断包括以下三阶段任务，分别为：
任务一：良恶性判断；
任务二：浸润前病变与浸润性病变判断；
任务三：浸润性病变的病理分级判断；
所述多视野的3D卷积神经网络的集成模型分别采用3种3D CNN模型进行训练，三阶段任务的每个任务均有三个预测结果，且最终采取求三个预测概率的均值，并以约登指数为阈值计算得出最终的预测结果。
2.如权利要求1所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：所述多视野的3D卷积神经网络的集成模型分别采取3D ResNet、3D Inception和3DVGG模型进行训练。
3.如权利要求1所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：三阶段任务中每个任务的输入均为一套病人的CT，对病人的CT进行数据预处理，截取不同视野的3D立体块，组成基于多视野的3D卷积神经网络集成模型的输入，进入后续的模型算法中。
4.如权利要求3所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：三阶段任务中每个任务均采用3种3D CNN模型进行训练，每个3D CNN模型的输入是3个不同视野的3D立体块。
5.如权利要求4所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：三阶段任务中每个任务的每个3D CNN模型输入的不同视野的3D立体块的大小采取多视野策略确定。
6.如权利要求5所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：采取多视野策略确定每个3D CNN模型输入的不同视野的3D立体块的大小具体方法为：
对于每个结节，截取若干个不同体素大小的3D立体块来代表不同的视野，3D立体块的大小为m×m×m，m的取值有5种，分别为20，40，60，80，100；
最终模型的输入只需3个不同的视野，即对每个任务中的每个3D CNN模型有10种组合输入，采取交叉验证的方式确定最优的组合，即选取在测试集上表现最优的模型对应的输入作为视野的最优组合；
最后，将3个不同视野大小的3D立体块通过线性插值的方式统一到相同的视野，作为模型的输入。
7.如权利要求3所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：所述的数据预处理包括：
统一层厚，通过线性插值法统一层厚到0.625mm；
体素归一化，采取最大最小值归一化方法；
肺窗调整，调整到适合查看肺部病变的窗宽和窗位。
8.如权利要求3所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：还包括采取数据增强技术对病人的CT进行处理，包括轴对换、每隔36度进行旋转、随机偏移、对于较小的结节进行随机放大。
9.如权利要求1所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：所述DICOM标准化管道单元对应用服务单元所接收的DICOM文件进行一系列标准化处理包括解压、补齐默认值和脱敏。
10.如权利要求1所述的基于多视野的3D卷积神经网络集成模型肺结节诊断系统，其特征是：所述任务一和任务二的主要评估指标为AUC 值、敏感度和特异度，所述任务三的评价指标为准确度accuracy。
CN202211533528.6A 2022-12-01 2022-12-01 基于多视野的3d卷积神经网络集成模型肺结节诊断系统 Active CN115620899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211533528.6A CN115620899B (zh) 2022-12-01 2022-12-01 基于多视野的3d卷积神经网络集成模型肺结节诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211533528.6A CN115620899B (zh) 2022-12-01 2022-12-01 基于多视野的3d卷积神经网络集成模型肺结节诊断系统

Publications (2)

Publication Number Publication Date
CN115620899A true CN115620899A (zh) 2023-01-17
CN115620899B CN115620899B (zh) 2023-04-07

Family

ID=84881029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211533528.6A Active CN115620899B (zh) 2022-12-01 2022-12-01 基于多视野的3d卷积神经网络集成模型肺结节诊断系统

Country Status (1)

Country Link
CN (1) CN115620899B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107273925A (zh) * 2017-06-12 2017-10-20 太原理工大学 一种基于局部感受野和半监督深度自编码的肺结节诊断方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
CN109464120A (zh) * 2018-10-31 2019-03-15 深圳市第二人民医院 一种糖尿病视网膜病变筛查方法、装置及存储介质
KR20200082660A (ko) * 2018-12-31 2020-07-08 주식회사 메디픽셀 머신러닝 기반 병리 진단 방법 및 장치
US20200221990A1 (en) * 2019-01-11 2020-07-16 Quadrus Medical Technologies, Inc. Systems and methods for assessing and evaluating renal health diagnosis, staging, and therapy recommendation
CN112598086A (zh) * 2021-03-04 2021-04-02 四川大学 基于深度神经网络的常见结肠部疾病分类方法及辅助系统
CN112700461A (zh) * 2021-03-19 2021-04-23 浙江卡易智慧医疗科技有限公司 一种肺结节检测和表征类别识别的系统
CN115274094A (zh) * 2022-07-28 2022-11-01 首都医科大学附属北京朝阳医院 肝癌影像学联合afp诊断模型构建方法、系统及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107273925A (zh) * 2017-06-12 2017-10-20 太原理工大学 一种基于局部感受野和半监督深度自编码的肺结节诊断方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
CN109464120A (zh) * 2018-10-31 2019-03-15 深圳市第二人民医院 一种糖尿病视网膜病变筛查方法、装置及存储介质
KR20200082660A (ko) * 2018-12-31 2020-07-08 주식회사 메디픽셀 머신러닝 기반 병리 진단 방법 및 장치
US20200221990A1 (en) * 2019-01-11 2020-07-16 Quadrus Medical Technologies, Inc. Systems and methods for assessing and evaluating renal health diagnosis, staging, and therapy recommendation
CN112598086A (zh) * 2021-03-04 2021-04-02 四川大学 基于深度神经网络的常见结肠部疾病分类方法及辅助系统
CN112700461A (zh) * 2021-03-19 2021-04-23 浙江卡易智慧医疗科技有限公司 一种肺结节检测和表征类别识别的系统
CN115274094A (zh) * 2022-07-28 2022-11-01 首都医科大学附属北京朝阳医院 肝癌影像学联合afp诊断模型构建方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘奎: "基于神经网络的癌症筛查与诊断人工智能研究" *

Also Published As

Publication number Publication date
CN115620899B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Christe et al. Computer-aided diagnosis of pulmonary fibrosis using deep learning and CT images
Becker et al. Deep learning in mammography: diagnostic accuracy of a multipurpose image analysis software in the detection of breast cancer
Pan et al. Automatic opportunistic osteoporosis screening using low-dose chest computed tomography scans obtained for lung cancer screening
Chao et al. Deep learning predicts cardiovascular disease risks from lung cancer screening low dose computed tomography
Balagurunathan et al. Test–retest reproducibility analysis of lung CT image features
Ayer et al. Computer-aided diagnostic models in breast cancer screening
BRPI0618949A2 (pt) método e sistema para analisar uma pluralidade de dados de imagem médicos de uma região em uma anatomia, método para adquirir e analisar dados de imagem médicos mrs de uma região em uma anatomia e sistema para analisar dados de imagem médicos de uma região em uma anatomia
Alilou et al. Quantitative vessel tortuosity: A potential CT imaging biomarker for distinguishing lung granulomas from adenocarcinomas
JP6865678B2 (ja) 縦断的特徴に基づく関心組織の健康状態の分類
Regge et al. CAD: how it works, how to use it, performance
Dankerl et al. A retrieval-based computer-aided diagnosis system for the characterization of liver lesions in CT scans
CN110348477B (zh) 医疗图像处理方法、存储介质及计算机设备
Cai et al. The added value of computer-aided detection of small pulmonary nodules and missed lung cancers
Chiu et al. Automatic detect lung node with deep learning in segmentation and imbalance data labeling
Agarwal et al. By artificial intelligence algorithms and machine learning models to diagnosis cancer
Alsheh Ali et al. Detection of potential microcalcification clusters using multivendor for‐presentation digital mammograms for short‐term breast cancer risk estimation
Nam et al. Automatic pulmonary vessel segmentation on noncontrast chest CT: deep learning algorithm developed using spatiotemporally matched virtual noncontrast images and low-keV contrast-enhanced vessel maps
Bermejo-Peláez et al. Deep learning-based lesion subtyping and prediction of clinical outcomes in COVID-19 pneumonia using chest CT
Zeng et al. Development and validation of a predictive model combining clinical, radiomics, and deep transfer learning features for lymph node metastasis in early gastric cancer
Shah et al. An extensive review on lung cancer diagnosis using machine learning techniques on radiological data: state-of-the-art and perspectives
Rudolph et al. Clinically focused multi-cohort benchmarking as a tool for external validation of artificial intelligence algorithm performance in basic chest radiography analysis
Wang et al. Artificial intelligence–based prediction of cervical lymph node metastasis in papillary thyroid cancer with CT
Zhang et al. High-resolution CT image analysis based on 3D convolutional neural network can enhance the classification performance of radiologists in classifying pulmonary non-solid nodules
Zhou et al. An ensemble deep learning model for risk stratification of invasive lung adenocarcinoma using thin-slice CT
Wang et al. Can peritumoral regions increase the efficiency of machine-learning prediction of pathological invasiveness in lung adenocarcinoma manifesting as ground-glass nodules?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant