CN112786189B - 一种基于深度学习的新冠肺炎智能诊断系统 - Google Patents

一种基于深度学习的新冠肺炎智能诊断系统 Download PDF

Info

Publication number
CN112786189B
CN112786189B CN202110008504.8A CN202110008504A CN112786189B CN 112786189 B CN112786189 B CN 112786189B CN 202110008504 A CN202110008504 A CN 202110008504A CN 112786189 B CN112786189 B CN 112786189B
Authority
CN
China
Prior art keywords
layer
module
network
detection
lung
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110008504.8A
Other languages
English (en)
Other versions
CN112786189A (zh
Inventor
蔡林沁
代宇涵
黄宇婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boyi Intellectual Property Operation Co ltd
Wuhan Chengqi Medical Laboratory Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110008504.8A priority Critical patent/CN112786189B/zh
Publication of CN112786189A publication Critical patent/CN112786189A/zh
Application granted granted Critical
Publication of CN112786189B publication Critical patent/CN112786189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于深度学习的新冠肺炎智能诊断系统，属于医学图像处理领域，包括控制单元、智能检测与诊断单元、存储单元和三维显示单元，控制单元用于输入和修改系统数据；智能检测与诊断单元用于对新冠肺炎病例进行预测；智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块。本发明采用结合了检测+去假阳性+预测三部分相结合的深度学习网络诊断系统输出诊断结果，解决了病灶过小不易检测、单个局部病灶信息过少以及误诊率过高等问题，解决了医学样本数量过小的问题，大大提升了诊断效率，有助于提高患者的治疗效率以及积累临床资料。

Description

一种基于深度学习的新冠肺炎智能诊断系统
技术领域
本发明属于医学图像处理领域，涉及一种基于深度学习的新冠肺炎智能诊断系统。
背景技术
全球性质的新冠肺炎(COVID-19)传染病，因其传染性强、致病率高很快引起了医学专家们的广泛关注，而对患者准确地诊断有助于病情控制与恢复。目前检测新冠肺炎的方法主要有核酸检测与CT检测两种，但由于核酸检测存在试剂短缺、假阴性误诊率相对较高的问题，通常将CT检测作为主要诊断依据。而通常一个病例的CT包含200-500张断层扫描图像，传统的医生阅片方式往往费时费力，且有些病灶体积微小肉眼不易分辨从而存在漏诊、误诊的情况。因此计算机辅助检测系统应运而生，通过基于深度学习的模型对患者的CT进行检测与预判，能有效提高医生的阅片速度以及检测准确率。
发明内容
有鉴于此，本发明的目的在于提供一种包含了检测+去假阳性+预测三部分的深度学习的智能新冠肺炎检测系统，进一步提高新冠肺炎准确率与效率。
为达到上述目的，本发明提供如下技术方案：
一种基于深度学习的新冠肺炎智能诊断系统，包括控制单元、智能检测与诊断单元、存储单元和三维显示单元，所述控制单元用于输入和设定系统模式；所述智能检测与诊断单元用于对新冠肺炎病例进行预测；所述存储单元用于存储系统数据；所述三维显示单元用于显示预测到的病例数据以及系统设置数据；
所述智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块；
所述数据预处理模块用于对CT图像进行预处理，得到肺实质图像，并发送给病灶区检测模块；
所述病灶区检测模块用于通过引入注意力机制及位置参数的残差网络对肺实质图像进行特征提取，并通过分类网络输出候选区域的分类情况：COVID-19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；
所述去假阳性模块用于结合预测的病灶区域位置获取不同大小的病灶块，通过三维残差网络筛掉误判的病灶区；
所述病例预测模块用于出概率较高的候选区域及其概率通过优化法得到各类别的概率，并结合各类概率得出最终的病例预测。
进一步，所述数据预处理模块的运行步骤包括：
首先将CT图像灰度值转换成CT值，具体为：从DICOM文件中读取rescaleslope值和rescale intercept值，再通过CT值与像素之间的转换公式HU＝pixel_val*slope+intercept，得到对应的CT值，单位为HU；
然后进行像素重采样，将图像中的像素重采样到相同大小的体积；
最后通过阈值法提取Hu值在[-500,300]之间的肺部组织区域，接着对其进行膨胀、腐蚀、填充操作，获得三维肺实质图像，发送给病灶区检测模块。
进一步，病灶区检测模块运行步骤包括：
通过引入注意力机制及位置参数的残差网络ARN，以及金字塔网络结构的检测网络得到三维肺实质图像的对应特征图；
通过区域生成网络得到一系列的候选区域以及对应的置信度；再通过候选层选出置信度高的候选区域作为下一步输入；最后固定候选区域的特征图大小并通过感兴趣区域池化层得到固定大小的特征图输入；
通过分类网络输出候选区域的分类情况：COVID-19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；
对主干网络使用改良后的迁移学习解决小样本数据集的训练问题。
更进一步，所述引入注意力机制及位置参数的残差网络ARN包含两个分支：分支1为普通的卷积网络以获得特征图M(x)；分支2为软性掩膜分支，通过自下而上、自下而上的方式，先逐层提取高层特征并增大模型的感受野，同时对高层特征中的注意力区域进行激活，接着通过相同数量的上采样将特征图尺寸放大到原始输入尺寸，使注意力区域对应到每一个像素点上，得到注意力图F(x)；接着把两个分支的输出结合起来H(x)＝(1+M(x))*F(x)；注意力图F(x)中每一个像素点值相当于对于原始特征图上每一个像素点值的权重；
所述引入注意力机制及位置参数的残差网络ARN的主干网络结构包括：
取ARN网络三个层级的特征图，并对其操作后作为下一步骤的输入，分别为ARN输出的最高层级特征图3；特征图3上采样后与次高级特征图2相加后得到的特征图2；特征图2上采样后与低层级特征图1相加后得到的特征图1。
进一步，所述区域生成网络对于特征图上的每一个点都生成对应原图上的9个锚点，包括三种面积，每种面积又对应三种比例；再对锚点分类预测与bounding box回归：分类预测是由softmax输出置信度，b_box回归是对正锚点结合标注区域完成对候选区框的进一步修正，输出修正后的检测框信息；建议层先将对正锚点进行非极大值抑制NMS，并将得分较高的正锚点与对应的修正后的检测框信息综合起来，计算出精确的候选区，作为下一步骤的输入；采用池化层输出统一大小的候选区域。
进一步，引入一个参数：距离胸膜边缘的相对距离d’加入到分类分支的最后一层全连接层中，作为判断新冠肺炎的检测依据；具体算法为：首先取一个能够包括肺部的最小立方体，计算出其对角线长度x，接着取候选区中心点到胸膜的最短距离d，d’＝d/x，将参数d’作为位置注意力机制加入到第二个全连接层中。
进一步，分类网络的结构如下：第一层是全连接层，第二层是relu激活层，第三层是全连接层，第四层是一个relu激活层；
b_box回归框分支：全连接层输出修正后的预测边框信息；
分类分支：第一层是全连接层，接着softmax层输出分类概率结果。
进一步，所述对主干网络使用改良后的迁移学习解决小样本数据集的训练问题，具体包括：
采用在肺部CT数据集LUNA16以及Tianchi上预训练好的卷积神经网络再在医学图像数据集上进行微调的方法来解决小样本数据集的训练问题；针对普通肺部CT数据集图像与医学图像的部分差异性，首先优化改进预训练模型的全连接层结构，对预训练模型的全连接层进行改良，其中包含4层具有8个神经元的神经网络，并加入Dropout层以及L2正则化防止过拟合；
优化后的模型训练步骤包括：
冻结预训练模型的卷积层，支队重新构建的全连接层使用Adam进行迁移训练，保证模型在微调之前将全连接层的参数快速学习到最优权值而不会破坏预训练模型卷积层所学习到的特征；
对模型进行微调训练，使用随机梯度下降SGD进行微调使其能学习到新冠肺炎肺部图像与普通肺部疾病图像的差异特征；由于微调层数的选择会影响模型分类性能，依次微调预训练模型的后两个模块。
进一步，所述去假阳性模块通过预测得到的病灶区位置信息，取其三维病灶区域，设置24*24、46*36以及48*48三种大小的三维病灶区域，以保证检测到不同大小结节；
将病灶区域作为输入，利用三维残差网络进行假阳性筛查；
手动调整病灶区检测模块的检测阈值以及去假阳性模块的检测阈值，满足对病例诊断结果的不同要求。
进一步，所述病例预测模块采用去噪贝叶斯模型方法得到单个病例患病概率Px(x∈i，j)i、j分别代表患新冠肺炎与普通肺炎的类别；
Figure BDA0002884426760000041
n代表第n个候选区域，滤掉置信度低的候选区只保留top5；
得到对应的患病概率后，若Px均小于设定阈值，则该病例预测为无感染，否则，概率大的类别即为预测类别，从而得出总的预测结果。
进一步，存储单元模块包括：
完成预测结果以及对应CT图像的存储、删除、修改、查找功能。存储的信息包含：病例个人基础信息、CT图像以及预测的病灶信息。
进一步，所述控制单元模块运行步骤包括：
首先通过所述控制单元模块；对系统模式进行设置，可设定为“训练”或“预测”模式。训练模式下可选择存储单元的数据作为输入，训练和优化智能检测与诊断单元的算法；预测模式下可选择外部输入的病例数据或者存储单元的数据作为输入，经过智能检测与诊断单元完成预测。
进一步，所述三维显示单元模块运行步骤包括：
首先采用面绘制利用3D Slicer完成带有病灶掩膜肺部CT的三维重建，并且通过将三维模型导入至Unity，开发了一个用户界面并结合HoloLens创建了一个混合现实环境，将重建带有病灶掩膜的肺部模型进行全息可视化。在Unity界面添加了组件，并对脚本进行了更新和调整，以满足应用程序需要。这些组件包括交互手势、3D运动、方向拖拽及透明度可视化等。通过组件的开发及手势的交互，可将肺部及病灶区域放置在真实胸部位置，便于医生使用模型投影做外科手术的术前规划及术中指导。
本发明的有益效果在于：本方案采用结合了检测+去假阳性+预测三部分相结合的深度学习网络诊断系统输出诊断结果，采用高质量的标注CT作为数据集对其进行训练，解决了病灶过小不易检测、单个局部病灶信息过少以及误诊率过高等问题，同时在训练过程中采用了迁移学习，解决了医学样本数量过小的问题。能够作为医生阅片诊断的有效参考，大大提升诊断效率；集合了控制、检测、存储以及三维显示单元模块建立了一个功能较为完备的系统，有助于提高患者的治疗效率以及积累临床资料。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述诊断系统智能检测与诊断单元模块的结构示意图。
图2为本发明所述诊断系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图2所示，本发明提供一种基于深度学习的新冠肺炎智能检测系统，包括控制单元、智能检测与诊断单元、存储单元和三维显示单元，所述控制单元用于输入和设定系统模式；所述智能检测与诊断单元用于对新冠肺炎病例进行预测；所述存储单元用于存储系统数据；所述三维显示单元用于显示预测到的病例数据以及系统设置数据；所述智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块；
所述数据预处理模块用于对CT图像进行预处理，得到肺实质图像，并发送给病灶区检测模块。
在CT扫描图像上，不同的组织或成分对应不同的CT值，因此将灰度值转换成CT值有助于得到目标组织或区域。首先从DICOM文件中读取rescaleslope值和rescaleintercept值，再通过CT值(单位为HU)与像素之间的转换公式HU＝pixel_val*slope+intercept，得到对应的CT值。
由于扫描机器、操作等等因素会导致CT扫描面像素对应的实际尺寸大小不一，不利于后续操作，因此使用同构采样，将所有像素重采样为1mm*1mm*1mm大小。
通过阈值法提取Hu值在[-500,300]之间的肺部组织区域，接着对其进行膨胀、腐蚀、填充等等一系列操作获得肺实质。
所述病灶区检测模块用于通过引入注意力机制及位置参数的残差网络对肺实质图像进行特征提取，并通过分类网络输出候选区域的分类情况：COVID-19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置。
输入上述步骤所提取的三维肺实质图像，通过结合注意力残差网络(ARN)与特征金字塔网络结构的检测网络得到对应的特征图。
考虑到病灶区域(3-33mm)往往占整个CT图像很小的一部分，在图像检测时更希望利用一个很小的感受野去处理图像中重要部分的信息。因此引入注意力残差网络(ARN)，其主要包含两个分支：分支1为普通的卷积网络以获得特征图M(x)；分支2为软性掩膜分支，通过自下而上、自下而上的方式，先逐层提取高层特征并增大模型的感受野，同时对高层特征中的注意力区域进行激活，接着通过相同数量的上采样将特征图尺寸放大到原始输入尺寸，这样注意力区域就能对应到每一个像素点上，得到注意力图F(x)。接着把两个分支的输出结合起来，H(x)＝(1+M(x))*F(x)。注意力图F(x)中每一个像素点值相当于对于原始特征图上每一个像素点值的权重，从而有效增强有意义特征，抑制无意义的信息。类似的，采用特征金字塔网络结构可有利于处理检测物体中大小差异明显的问题，利用图像金字塔的方式构建不同尺度的特征金字塔，融合了低层级以及高层级的特征图信息进行预测。
进一步，主干网络结构如下：
取(ARN)网络三个层级的特征图，并对其操作后作为下一步骤的输入，分别为(ARN)输出的最高层级特征图3；特征图3上采样后与次高级特征图2相加后得到的特征图2；特征图2上采样后与低层级特征图1相加后得到的特征图1。
将不同特征图分别输入区域生成网络，该网络对于特征图上的每一个点都生成对应原图上的9个锚点(三种面积，每种面积又对应三种比例)，再对锚点分类预测与boundingbox回归：分类预测是由softmax输出置信度，b_box回归是对正锚点结合标注区域完成对候选区框的进一步修正，输出修正后的检测框信息.建议层先将对正锚点进行NMS(非极大值抑制)，并将得分较高的正锚点与对应的修正后的检测框信息综合起来，计算出精确的候选区，作为下一步骤的输入。由于锚点大小不同，所生成的候选区域大小也不相同，不利于后续分类操作，所以采用了池化层输出统一大小的候选区域。
由于新冠肺炎在CT图像上表现的特殊性，即：出现靠近胸膜病灶的病例患新冠肺炎的可能性更高。由此引入了一个参数：距离胸膜边缘的相对距离d'加入到分类分支的最后一层全连接层中，具体算法是：首先取一个能够包括肺部的最小立方体，计算出其对角线长度x，接着取候选区中心点到胸膜的最短距离d，d′＝d/x，将参数d'作为位置注意力机制加入到第二个全连接层中。
分类网络的结构如下：
第一层是全连接层，第二层是relu激活层，第三层是全连接层，第四层是一个relu激活层。
b_box回归框分支：全连接层输出修正后的预测边框信息。
分类分支：第一层是全连接层，接着softmax层输出分类概率结果。
针对以上模型采用优化后的迁移学习法
由于医疗图像的特殊性导致训练样本较少，因此采用在肺部CT数据集LUNA16以及Tianchi上预训练好的卷积神经网络再在医学图像数据集上进行微调的方法来实现。针对普通肺部CT数据集图像与医学图像的部分差异性，本方案首先优化改进了预训练模型的全连接层结构。对预训练模型的全连接层进行改良，其中包含了4层具有8个神经元的神经网络，并加入了Dropout层以及L2正则化防止过拟合，有效地减少计算参数以及加快了训练速度。
优化后的模型训练步骤分为2步：
冻结预训练模型的卷积层，支队重新构建的全连接层使用Adam进行迁移训练，保证模型在微调之前将全连接层的参数快速学习到最优权值而不会破坏预训练模型卷积层所学习到的特征。
对模型进行微调训练，使用随机梯度下降(SGD)进行微调使其能学习到新冠肺炎肺部图像与普通肺部疾病图像的差异特征。由于微调层数的选择会影响模型分类性能，本方案依次微调了预训练模型的后两个模块，本实施例中最终定为微调最后一个模块。
所述去假阳性模块用于结合预测的病灶区域位置获取不同大小的病灶块，通过三维残差网络筛掉误判的病灶区。
通过预测得到的病灶区位置信息，取其三维病灶区域。为了保证检测到不同大小结节，设置了24*24、46*36以及48*48三种大小。
将病灶区域作为输入，利用三维残差网络进行假阳性筛查，提高准确率。
特别地，为了满足医生对于病例诊断结果的不同要求，针对病灶区检测模块与去假阳性模块，采用了手动调整阈值法可达到理想效果。如：若想获得高灵敏度，则通过适当降低病灶区检测模块阈值、去假阳性模块阈值；若想获得高精度，则需要适当提高去假阳性模块阈值。在本实施例中，分别将其阈值设定为0.84与0.25可达到一个比较理想的效果。
所述病例预测模块用于出概率较高的候选区域及其概率通过优化法得到各类别的概率，并结合各类概率得出最终的病例预测。
考虑到一般预测结果会考虑到全局信息且单个病例可能会检测出多个病灶区域，因此为了进一步精确预测结果，本方案采用去噪贝叶斯模型方法得到单个病例患病概率Px(x∈i，j)i、j分别代表患新冠肺炎与普通肺炎的类别。对于某具体方法如下：
Figure BDA0002884426760000081
n代表第n个候选区域，此处滤掉置信度低的候选区只保留top5。
得到了对应的患病概率过后，需要对其进一步计算从而得出总的预测结果，方法如下：
若Px均小于设定阈值(0.5)，则该病例预测为无感染。否则，概率大的类别即为预测类别。
所述存储单元模块用于病例存储，完成预测结果以及对应CT图像的存储、删除、修改、查找功能。存储的信息包含：病例个人基础信息、CT图像以及预测的病灶信息。、
所述控制单元模块运行步骤包括：
首先通过所述控制单元模块；对系统模式进行设置，可设定为“训练”或“预测”模式。训练模式下可选择存储单元的数据作为输入，训练和优化智能检测与诊断单元的算法；预测模式下可选择外部输入的病例数据或者存储单元的数据作为输入，经过智能检测与诊断单元完成预测。
所述三维显示单元模块用于三维肺部及预测病灶展示，首先采用面绘制利用3DSlicer完成带有病灶掩膜肺部CT的三维重建，并且通过将三维模型导入至Unity，开发了一个用户界面并结合HoloLens创建了一个混合现实环境，将重建带有病灶掩膜的肺部模型进行全息可视化。在Unity界面添加了组件，并对脚本进行了更新和调整，以满足应用程序需要。这些组件包括交互手势、3D运动、方向拖拽及透明度可视化等。通过组件的开发及手势的交互，可将肺部及病灶区域放置在真实胸部位置，便于医生使用模型投影做外科手术的术前规划及术中指导。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于深度学习的新冠肺炎智能诊断系统，其特征在于：包括控制单元、智能检测与诊断单元、存储单元和三维显示单元，所述控制单元用于输入和设定系统模式；所述智能检测与诊断单元用于对新冠肺炎病例进行预测；所述存储单元用于存储系统数据；所述三维显示单元用于显示预测到的病例数据以及系统设置数据；
所述智能检测与诊断单元包括数据预处理模块、病灶区检测模块、去假阳性模块、病例预测模块；
所述数据预处理模块用于对CT图像进行预处理，得到肺实质图像，并发送给病灶区检测模块；所述数据预处理模块的运行步骤包括：首先将CT图像灰度值转换成CT值，具体为：从DICOM文件中读取rescaleslope值和rescale intercept值，再通过CT值与像素之间的转换公式HU＝pixel_val*slope+intercept，得到对应的CT值，单位为HU；然后进行像素重采样，将图像中的像素重采样到相同大小的体积；最后通过阈值法提取Hu值在[-500,300]之间的肺部组织区域，接着对其进行膨胀、腐蚀、填充操作，获得三维肺实质图像，发送给病灶区检测模块；
所述病灶区检测模块用于通过引入注意力机制及位置参数的残差网络对肺实质图像进行特征提取，并通过分类网络输出候选区域的分类情况：COVID-19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；所述病灶区检测模块运行步骤包括：通过引入注意力机制及位置参数的残差网络ARN，以及金字塔网络结构的检测网络得到三维肺实质图像的对应特征图；通过区域生成网络得到一系列的候选区域以及对应的置信度；再通过候选层选出置信度高的候选区域作为下一步输入；最后固定候选区域的特征图大小并通过感兴趣区域池化层得到固定大小的特征图输入；通过分类网络输出候选区域的分类情况：COVID-19、普通肺炎、无感染区三种类型的概率结果以及对应的病灶区域位置；对主干网络使用改良后的迁移学习解决小样本数据集的训练问题；
所述去假阳性模块用于结合预测的病灶区域位置获取不同大小的病灶块，通过三维残差网络筛掉误判的病灶区；所述去假阳性模块通过预测得到的病灶区位置信息，取其三维病灶区域，设置24*24、46*36以及48*48三种大小的三维病灶区域，以保证检测到不同大小结节；将病灶区域作为输入，利用三维残差网络进行假阳性筛查；手动调整病灶区检测模块的检测阈值以及去假阳性模块的检测阈值，满足对病例诊断结果的不同要求；
所述病例预测模块用于得出概率高的候选区域及其概率，通过优化法得到各类别的概率，并结合各类概率得出最终的病例预测；述病例预测模块采用去噪贝叶斯模型方法得到单个病例患病概率Px，x∈i，j，i、j分别代表患新冠肺炎与普通肺炎的类别；
Figure FDA0003652234230000011
n代表第n个候选区域，滤掉置信度低的候选区只保留top5；得到对应的患病概率后，若Px均小于设定阈值，则该病例预测为无感染，否则，概率大的类别即为预测类别，从而得出总的预测结果。
2.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述引入注意力机制及位置参数的残差网络ARN包含两个分支：分支1为普通的卷积网络以获得特征图M(x)；分支2为软性掩膜分支，通过自下而上、自下而上的方式，先逐层提取高层特征并增大模型的感受野，同时对高层特征中的注意力区域进行激活，接着通过相同数量的上采样将特征图尺寸放大到原始输入尺寸，使注意力区域对应到每一个像素点上，得到注意力图F(x)；接着把两个分支的输出结合起来H(x)＝(1+M(x))*F(x)；注意力图F(x)中每一个像素点值相当于对于原始特征图上每一个像素点值的权重；
所述引入注意力机制及位置参数的残差网络ARN的主干网络结构包括：
取ARN网络三个层级的特征图，并对其操作后作为下一步骤的输入，分别为ARN输出的最高层级特征图3；特征图3上采样后与次高级特征图2相加后得到的特征图2；特征图2上采样后与低层级特征图1相加后得到的特征图1。
3.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述区域生成网络对于特征图上的每一个点都生成对应原图上的9个锚点，包括三种面积，每种面积又对应三种比例；再对锚点分类预测与bounding box回归：分类预测是由softmax输出置信度，b_box回归是对正锚点结合标注区域完成对候选区框的进一步修正，输出修正后的检测框信息；建议层先将对正锚点进行非极大值抑制NMS，并将得分较高的正锚点与对应的修正后的检测框信息综合起来，计算出精确的候选区，作为下一步骤的输入；采用池化层输出统一大小的候选区域。
4.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：引入一个参数：距离胸膜边缘的相对距离d’加入到分类分支的最后一层全连接层中，作为判断新冠肺炎的检测依据；具体算法为：首先取一个能够包括肺部的最小立方体，计算出其对角线长度x，接着取候选区中心点到胸膜的最短距离d，d’＝d/x，将参数d’作为位置注意力机制加入到第二个全连接层中；
分类网络的结构如下：第一层是全连接层，第二层是relu激活层，第三层是全连接层，第四层是一个relu激活层；
b_box回归框分支：全连接层输出修正后的预测边框信息；
分类分支：第一层是全连接层，接着softmax层输出分类概率结果。
5.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：所述对主干网络使用改良后的迁移学习解决小样本数据集的训练问题，具体包括：
采用在肺部CT数据集LUNA16以及Tianchi上预训练好的卷积神经网络再在医学图像数据集上进行微调的方法来解决小样本数据集的训练问题；针对普通肺部CT数据集图像与医学图像的部分差异性，首先优化改进预训练模型的全连接层结构，对预训练模型的全连接层进行改良，其中包含4层具有8个神经元的神经网络，并加入Dropout层以及L2正则化防止过拟合；
优化后的模型训练步骤包括：
冻结预训练模型的卷积层，支队重新构建的全连接层使用Adam进行迁移训练，保证模型在微调之前将全连接层的参数快速学习到最优权值而不会破坏预训练模型卷积层所学习到的特征；
对模型进行微调训练，使用随机梯度下降SGD进行微调使其能学习到新冠肺炎肺部图像与普通肺部疾病图像的差异特征；由于微调层数的选择会影响模型分类性能，依次微调预训练模型的后两个模块。
6.根据权利要求1所述的基于深度学习的新冠肺炎智能诊断系统，其特征在于：
所述存储单元模块包括：
完成预测结果以及对应CT图像的存储、删除、修改、查找功能；存储的信息包含：病例个人基础信息、CT图像以及预测的病灶信息；
所述控制单元模块运行步骤包括：
首先对系统模式进行设置，设定为训练模式或预测模式；所述训练模式下选择存储单元的数据作为输入，训练和优化智能检测与诊断单元的算法；所述预测模式下选择外部输入的病例数据或者存储单元的数据作为输入，经过智能检测与诊断单元完成预测；
所述三维显示单元模块包括：
采用面绘制利用3D Slicer完成带有病灶掩膜肺部CT的三维重建，并且通过将三维模型导入至Unity，开发一个用户界面并结合HoloLens创建一个混合现实环境，将重建带有病灶掩膜的肺部模型进行全息可视化；在Unity界面添加组件，并对脚本进行更新和调整，所述组件包括交互手势、3D运动、方向拖拽及透明度可视化；通过组件的开发及手势的交互，将肺部及病灶区域放置在真实胸部位置。
CN202110008504.8A 2021-01-05 2021-01-05 一种基于深度学习的新冠肺炎智能诊断系统 Active CN112786189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110008504.8A CN112786189B (zh) 2021-01-05 2021-01-05 一种基于深度学习的新冠肺炎智能诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110008504.8A CN112786189B (zh) 2021-01-05 2021-01-05 一种基于深度学习的新冠肺炎智能诊断系统

Publications (2)

Publication Number Publication Date
CN112786189A CN112786189A (zh) 2021-05-11
CN112786189B true CN112786189B (zh) 2022-07-01

Family

ID=75755426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110008504.8A Active CN112786189B (zh) 2021-01-05 2021-01-05 一种基于深度学习的新冠肺炎智能诊断系统

Country Status (1)

Country Link
CN (1) CN112786189B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299392A (zh) * 2021-05-25 2021-08-24 河南八六三软件股份有限公司 新冠肺炎ct征象识别及快速诊断系统
CN113592809B (zh) * 2021-07-28 2024-05-14 中国海洋大学 一种基于通道注意力残差网络的肺炎图像检测系统及方法
CN113409825A (zh) * 2021-08-19 2021-09-17 南京裕隆生物医学发展有限公司 健康智能检测方法、装置、电子设备及可读存储介质
CN113571190B (zh) * 2021-08-26 2023-09-19 杭州师范大学 一种肺功能下降预测装置及其预测方法
CN113822861A (zh) * 2021-09-07 2021-12-21 中山大学中山眼科中心 一种眼表肿物的判断方法及装置
CN113823413A (zh) * 2021-10-22 2021-12-21 上海长征医院 肺部功能小气道疾病预测系统、方法、介质及电子设备
CN115240014B (zh) * 2022-09-21 2023-01-13 山东大学齐鲁医院 基于残差神经网络的医学图像分类系统
CN115578437B (zh) * 2022-12-01 2023-03-14 武汉楚精灵医疗科技有限公司 肠体病灶深度数据获取方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383759A (zh) * 2020-03-16 2020-07-07 郭红梅 一种肺炎自动诊断系统
CN111583199A (zh) * 2020-04-24 2020-08-25 上海联影智能医疗科技有限公司 样本图像标注方法、装置、计算机设备和存储介质
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111681219A (zh) * 2020-06-03 2020-09-18 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
CN111798991A (zh) * 2020-07-09 2020-10-20 重庆邮电大学 基于lstm的新冠肺炎疫情群体态势预测方法
CN111932559A (zh) * 2020-08-26 2020-11-13 上海市公共卫生临床中心 基于深度学习的新冠肺炎肺部病灶区域分割系统
CN112070755A (zh) * 2020-09-14 2020-12-11 内江师范学院 基于深度学习和迁移学习结合的新冠肺炎图像识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383759A (zh) * 2020-03-16 2020-07-07 郭红梅 一种肺炎自动诊断系统
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111583199A (zh) * 2020-04-24 2020-08-25 上海联影智能医疗科技有限公司 样本图像标注方法、装置、计算机设备和存储介质
CN111681219A (zh) * 2020-06-03 2020-09-18 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
CN111798991A (zh) * 2020-07-09 2020-10-20 重庆邮电大学 基于lstm的新冠肺炎疫情群体态势预测方法
CN111932559A (zh) * 2020-08-26 2020-11-13 上海市公共卫生临床中心 基于深度学习的新冠肺炎肺部病灶区域分割系统
CN112070755A (zh) * 2020-09-14 2020-12-11 内江师范学院 基于深度学习和迁移学习结合的新冠肺炎图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Deep Learning for Classification and Localization of COVID-19 Markers in Point-of-Care Lung Ultrasound";Subhankar Roy.etc;《IEEE Transactions on Medical Imaging》;20200514;第2676-2686页 *

Also Published As

Publication number Publication date
CN112786189A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112786189B (zh) 一种基于深度学习的新冠肺炎智能诊断系统
Nazir et al. Survey of explainable artificial intelligence techniques for biomedical imaging with deep neural networks
Monkam et al. Detection and classification of pulmonary nodules using convolutional neural networks: a survey
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN110459319B (zh) 基于人工智能的乳腺钼靶图像的辅助诊断系统
US6125194A (en) Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
US20230230241A1 (en) System and method for detecting lung abnormalities
CN111768382B (zh) 一种基于肺结节生长形态的交互式分割方法
CN111429407A (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
Chen et al. Unsupervised domain adaptation based COVID-19 CT infection segmentation network
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN112561869A (zh) 一种胰腺神经内分泌肿瘤术后复发风险预测方法
CN116664911A (zh) 一种基于可解释深度学习的乳腺肿瘤图像分类方法
CN115471701A (zh) 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法
CN113362360B (zh) 基于流体速度场的超声颈动脉斑块分割方法
Yang et al. Efficient catheter segmentation in 3D cardiac ultrasound using slice-based FCN with deep supervision and f-score loss
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN116883660A (zh) 基于类不平衡与多级降采样特征融合的蜂窝肺分割方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN113744215B (zh) 三维断层扫描图像中树状管腔结构中心线的提取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221228

Address after: 430000 floor 4, building 2, Wuhan Optical Valley International Biomedical enterprise accelerator, No. 388, Gaoxin Second Road, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee after: Wuhan Chengqi medical laboratory Co.,Ltd.

Address before: Room 502, building 1, No. 40, xiayuangang East Street, Tianhe District, Guangzhou City, Guangdong Province 510000

Patentee before: Guangzhou Boyi Intellectual Property Operation Co.,Ltd.

Effective date of registration: 20221228

Address after: Room 502, building 1, No. 40, xiayuangang East Street, Tianhe District, Guangzhou City, Guangdong Province 510000

Patentee after: Guangzhou Boyi Intellectual Property Operation Co.,Ltd.

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS