CN111986189A - 一种基于ct影像的多类别肺炎筛查深度学习装置 - Google Patents

一种基于ct影像的多类别肺炎筛查深度学习装置 Download PDF

Info

Publication number
CN111986189A
CN111986189A CN202010875028.5A CN202010875028A CN111986189A CN 111986189 A CN111986189 A CN 111986189A CN 202010875028 A CN202010875028 A CN 202010875028A CN 111986189 A CN111986189 A CN 111986189A
Authority
CN
China
Prior art keywords
pneumonia
slice
feature
classification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010875028.5A
Other languages
English (en)
Other versions
CN111986189B (zh
Inventor
单飞
薛向阳
史维雅
钱学林
张志勇
施裕新
付彦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI PUBLIC HEALTH CLINICAL CENTER
Fudan University
Original Assignee
SHANGHAI PUBLIC HEALTH CLINICAL CENTER
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI PUBLIC HEALTH CLINICAL CENTER, Fudan University filed Critical SHANGHAI PUBLIC HEALTH CLINICAL CENTER
Priority to CN202010875028.5A priority Critical patent/CN111986189B/zh
Publication of CN111986189A publication Critical patent/CN111986189A/zh
Application granted granted Critical
Publication of CN111986189B publication Critical patent/CN111986189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于CT影像的多类别肺炎筛查深度学习系统，包括：CT影像数据预处理部预处理CT影像得到预处理CT影像，切片级肺炎二分类部分析基础深度特征得到二分类结果，弱监督病灶定位部根据类别标签得到病灶位置图，切片级肺炎四分类部对四类别肺炎检测得到四类别肺炎分类任务结果；病例级肺炎分类部分析得到多类别肺炎分类任务结果；肺炎诊断综合评估部基于切片级四分类类别结果、病灶位置图以及病例级多类别肺炎分类任务结果输出肺炎诊断综合评估结果和病灶定位分布图。因此本实施例除了能够得到得出常见肺炎病症以外，能够在没有医护人员的前提下快速、准确地区分COVID‑19与其他肺炎病症，这对于关于COVID‑19疫情的筛查工作具有帮助。

Description

一种基于CT影像的多类别肺炎筛查深度学习装置
技术领域
本发明涉及一种基于CT影像的多类别肺炎筛查深度学习装置，属于医疗影像和计算机图像识别交叉领域。
背景技术
冠状病毒病(COVID-19)由新型冠状病毒(SARS-CoV-2，简称 2019-ncov)引起，具有高度传染性，严重时可导致急性呼吸窘迫或多器官衰竭，由此死亡的已有数十万例。因此，如何准确、高效地诊断 COVID-19，不仅对患者的及时治疗，而且对疫情期间医院资源的分配和管理至关重要。
目前，对新型冠状病毒的标准诊断方法是实时聚合酶链反应 (RT-PCR)，它从口咽拭子、鼻咽拭子、支气管肺泡灌洗或气管抽吸获得的标本中检测病毒核苷酸。早期采用的RT-PCR敏感性差异很大，从42％到71％不等，并且最初的RT-PCR阴性结果可能在4天后转化为阳性。最近的研究中才用的典型的COVID-19计算机断层扫描(CT) 表现包括双侧肺实质、磨玻璃影和实变性肺浑浊，并呈肺周围分布，并且胸部CT扫描在初始表现检测COVID-19的灵敏度约为56～98％。与RT-PCR相比，有助于纠正RT-PCR在疾病发展早期获得的假阴性。
在过去的几十年里，基于深度学习(DL)的人工智能技术在各种计算机视觉任务如目标检测、图像分类、实例分割和识别等方面取得了显著的进展。近年来，深度学习的优势使其在医学图像分析中得到了广泛的应用。目前的研究侧重于对不同疾病进行分类，例如自闭症谱系障碍或大脑中的阿尔茨海默病；乳腺癌；糖尿病性视网膜病变和青光眼；以及肺癌或肺炎等，与此同时研究工作还努力将医疗影像图像分割成不同的部分，例如病理组织、器官等。
尽管已有研究表明，应用深度学习技术进行COVID-19诊断具有良好的效果。但是作为先验研究，它们也表现出了一些局限性：首先，使用像素级别的标注进行分割任务学习[1]在实际应用中是不现实的，特别是在突发传染病的情况下；其次，由于一个病人的CT检查通常包含数百个切片，而逐一对每个切片的预测结果进行检查诊断或风险评估[2]使得临床医师的应用价值十分有限，虽然，目前所使用的3D 卷积神经网络(3D CNNs)[3]是解决这些弊端的一种选择，但其对硬件的高要求(如GPU)、大量的计算成本和训练时间，使其在实际应用中缺乏灵活性和普遍性。
[1]Fan,D.P.,Zhou,T.,Ji,G.P.,et al.,2020.Inf-Net:Automatic COVID-19Lung Infection Segmentation from CT Scans.IEEE Transactions on MedicalImaging.
[2]Yang,S.,Jiang,L.,Cao,Z.,et al.,2020.Deep learning for detectingcoronavirus disease 2019(COVID-19)on high-resolution computed tomography:apilot study.Annals of Translational Medicine.
[3]Wang,X.,Deng,X.,Fu,Q.,et al.,2020.A Weakly-supervised Frameworkfor COVID-19Classification and Lesion Localization from ChestCT.IEEETransactions on Medical Imaging.
发明内容
为解决上述问题，提供一种基于CT影像的多类别肺炎筛查深度学习装置，本发明采用了如下技术方案：
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，用于，其特征在于，包括：CT影像数据预处理部、切片级肺炎二分类部、切片级肺炎四分类部、病例级肺炎分类部、弱监督病灶定位部以及肺炎诊断评估部；其中，CT影像数据预处理部用于对得到的待分析CT影像进行数据预处理得到预处理CT影像；切片级肺炎二分类部在空间维度上对预处理CT影像提取出基础深度特征并根据该基础深度特征分析预处理CT影像得到是否包含病灶的二分类类别结果；弱监督病灶定位部根据类别标签检测基础深度特征从而定位得到病灶位置图；切片级肺炎四分类部根据基础深度特征、根据基础深度特征得到的特征绝对坐标位置图以及病灶位置图对多类别肺炎的可能性的检测得到四类别肺炎分类任务结果；病例级肺炎分类部将基础深度特征以及切片特征拼接得到切片深度特征，并在时间维度上对连续多层的切片深度特征进行精炼和融合得到影像片段特征集合，并根据多个影像片段特征集合得到影像特征从而分析得到病例级多类别肺炎分类任务结果；肺炎诊断综合评估部基于切片级四分类类别结果、病灶位置图以及病例级多类别肺炎分类任务结果输出对应于预处理CT影像的肺炎诊断综合评估结果和病灶定位分布图。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，CT影像数据预处理部中的预处理过程包括如下步骤：步骤S1-1，根据CT影像中的肺部区域边界框抠取出肺部区域图片并调整肺部区域图片的尺寸得到调整肺部区域图片；步骤 S1-2，采用多尺度调窗方法对调整肺部区域图片进行肺窗调窗处理，得到预处理CT影像，在步骤S1-1中抠取肺部区域边界框包含如下六个步骤：步骤S1-1-a，读取CT影像；步骤S1-1-b，根据HU值分布以及预先设定的阈值将调整CT影像中的肺部区域和其他组织进行分割得到肺部区域图片；步骤S1-1-c，通过形态学开处理来处理肺部区域图片，从而使得消除抠取肺部区域时CT影像设备中躺板对肺部区域的影响；步骤S1-1-d，利用八连通域标记方法搜索左右两肺的肺部区域来实现肺部区域和其他背景的分割；步骤S1-1-e，利用形态学开处理来消除肺部区域照片中由于分割肺部区域和其他背景所导致的噪声；步骤S1-1-f，根据分割好的肺部区域，计算最小矩形边界框，并进行抠取和调整尺寸处理得到调整肺部区域图片。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，切片级肺炎二分类部以及切片级肺炎四分类部通过一个包含四个残差模块的主干网络完成分类任务，切片级肺炎二分类部基于主干网络的前三个残差模块对预处理CT影像的每一层切片在空间维度上提取出基本深度特征，并通过一个全连接层得到二分类类别结果，其中将全连接层的2×D维度的权重作为两个分类类别的原型特征，二分类类别结果为对是否包含病灶的判断结果，切片级肺炎四分类部基于主干网络的最后一个残差模块根据基础深度特征、特征绝对坐标位置图以及病灶位置图得到四类别肺炎分类任务结果。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，切片级肺炎四分类部中的主干网络中的最后一个残差模块的第一个卷积层步长为1，基础深度特征的维度为H ×W×D，由弱监督病灶定位部得到的病灶位置图的维度为H×W×1，坐标位置概率图的维度为H×W×3，其中D表示特征的维度，H表示特征图的高，W表示特征图的宽，切片级肺炎四分类部对特征绝对坐标位置图进行差异性信息编码，差异性信息编码一共包含三层通道，前二层通道用于编码特征图x轴和y轴坐标信息，并分别将[0,W] 和[0,H]归一化处理到[-1,1]，最后一层通道用于编码各个像素点到中心点(0,0)的距离，即
Figure BDA0002652379720000051
通过拼接的方式将三层通道的特征进行融合从而使切片级肺炎四分类部更容易处理得到四类别肺炎分类任务。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，弱监督病灶定位部根据对应的原型特征进行病灶区域的检测定位处理从而得到病灶位置图。原型特征应用于弱监督病灶定位部并根据维度为H×W×D的基本深度特征来计算每一个像素点与“含有病灶”的1×D的原型特征的距离从而计算得到维度为H×W×1的病灶位置图。当某一像素点与原型特征的特征距离越近，则像素点映射在原图的感受区域含有病灶的概率更高，其中D 表示特征维度，H表示特征图的高，W表示特征图的宽。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，病例级肺炎分类部包括如下步骤：步骤 S2-1，按照时间维度对由基础深度特征以及切片特征得到的切片深度特征排序得到多层切片序列，根据不同时间尺度将切片序列划分为对应于不同尺度下的切片序列集合；步骤S2-2，根据每个尺度下的切片序列集合通过利用注意力机制在特征维度上对切片序列集合中的多层切片深度特征进行特征提炼得到精炼的切片深度特征；步骤S2-3，根据每个尺度下的切片序列集合在时间维度上将精炼的切片深度特征进行信息融合得到影像片段特征集合；步骤S2-4，结合多尺度学习机制由对所有尺度下的影像片段特征集合的进一步融合并进行降维处理得到影像特征并由此得到病例级多类别肺炎分类任务结果。在步骤S2-1中进行的多尺度切片序列集合划分时，具体为对于切片序列
Figure BDA0002652379720000061
以及多尺度划分集合S＝[s1,s2,…,sk]，给定任一尺度si，可将输入特征F均匀地划分为sj个切片序列，
Figure BDA0002652379720000062
Figure BDA0002652379720000063
并由此组成切片序列集合，其中的N表示一个病例中所有CT切片层的数量，D表示特征维度，
Figure BDA0002652379720000064
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，在步骤S2-2中利用注意力机制在特征维度上进行特征提炼的过程时，包含如下子步骤：步骤S2-2-a：将切片序列集合中每一个切片序列集合中每一个切片深度特征
Figure BDA0002652379720000065
都映射到三个不同的特征空间key,query和value分别得到：key空间的特征
Figure BDA0002652379720000071
query空间的特征
Figure BDA0002652379720000072
以及value空间的特征
Figure BDA0002652379720000073
Figure BDA0002652379720000075
Figure BDA0002652379720000076
Figure BDA0002652379720000077
式中，
Figure BDA0002652379720000078
表示n层预处理CT影像切片，
Figure BDA00026523797200000723
表示第i个参数为θi的全连接层，D′表示映射后特征空间的维度，h表示多头注意力机制中多头h的数量，步骤S2-2-b：使用来自key的特征
Figure BDA0002652379720000079
以及query空间的特征
Figure BDA00026523797200000710
计算在不同特征维度之间的相关性：
Figure BDA00026523797200000711
式中，
Figure BDA00026523797200000712
步骤 S2-2-c：利用不同特征维度之间的相关性，对来自value空间的特征
Figure BDA00026523797200000713
进行特征提炼得到
Figure BDA00026523797200000714
式中，
Figure BDA00026523797200000715
Figure BDA00026523797200000724
表示第i个参数为θi的全连接层，步骤S2-2-d：进一步引入短路连接机制，
Figure BDA00026523797200000716
得到精炼的切片深度特征。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，在步骤S2-3中对精炼后的特征信息进行信息融合的过程时，具体包含如下子步骤：步骤S2-3-a：将切片序列集合中每一个精炼的切片深度特征
Figure BDA00026523797200000717
都映射到query空间的特征
Figure BDA00026523797200000718
和value空间的特征
Figure BDA00026523797200000719
Figure BDA00026523797200000720
Figure BDA00026523797200000721
式中，
Figure BDA00026523797200000722
表示n层CT影像切片，
Figure BDA00026523797200000725
表示第i个参数为θi的全连接层，D′表示映射后特征空间的维度，步骤S2-3-b：计算query空间的特征
Figure BDA0002652379720000081
和一个可学习参数
Figure BDA0002652379720000088
在不同切片层之间的相关性：
Figure BDA0002652379720000082
式中，
Figure BDA0002652379720000087
为融合过程中一个可学习参数，
Figure BDA0002652379720000083
步骤S2-3-c：利用不同切片层之间的相关性，对来自value空间的特征
Figure BDA0002652379720000084
进行特征融合，即融合n层精炼的切片深度特征：
Figure BDA0002652379720000085
式中，
Figure BDA0002652379720000086
即为在尺度sj下第i 个切片序列在空间维度上进行层与层之间融合后得到影像片段特征。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，在步骤S2-4中进行最终病例级肺炎筛查过程，根据所有尺度下的影像片段特征集合，进一步进行拼接融合并利用一层全连接层进行降维处理得到影像特征从而得到病例级多类别肺炎分类任务结果。
根据本发明提供的一种基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：其中，肺炎诊断综合评估结果为病例级肺炎筛查结果以及切片级肺炎筛查结果。
发明作用与效果
根据本发明的一种基于CT影像的多类别肺炎筛查深度学习装置，由于将多类别肺炎筛查过程拆分为级联的切片级肺炎分类部和病例级肺炎分类部，因此本发明能够同时在空间维度上和时间维度上提取更具识别力的特征，这样不仅可以实现切片级肺炎筛查的功能，而且通过级联的方式对来自两个维度的特征进行互通学习，使得病例级的肺炎筛查更广泛、全面、仔细。切片级肺炎分类部中的多任务学习机制使得在输出肺炎筛查结果的同时能够通过无监督方式对每一层CT 影像切片中的病灶实现检测定位，这使辅助临床医生的肺炎诊断更具实用性和价值性。本发明的系统具有速度快、精确度高、鲁棒性好、可解释性、可扩展性等优点，非常适用于医疗影像和计算机科学相结合的各类实际应用。更重要的是，由于本发明提出的基于弱监督病灶检测定位部的CT影像病灶实现检测定位，使得临床医生接受到的输出除了概率数值还有病灶位置图，使本发明系统的输出对临床医生的辅助诊断更具实用性、可靠性、高效性等实际价值意义。
附图说明
图1是本发明实施例中的基于CT影像的多类别肺炎筛查深度学习装置的结构框图；
图2是本发明实施例中基于CT影像的多类别肺炎筛查深度学习装置的构成示意图；
图3是本发明实施例中CT影像数据预处理的流程示意图；
图4是本发明实施例中切片级肺炎二分类部以及切片级肺炎四分类部结构示意图；
图5是本发明实施例中病例级肺炎分类部结构示意图；
图6是本发明实施例中例中基于CT影像的多类别肺炎筛查深度学习装置的流程示意图；以及
图7是本发明实施例中例中基于CT影像的多类别肺炎筛查深度学习装置的流程框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于CT影像的多类别肺炎筛查深度学习装置作具体阐述。
<实施例>
图1是本发明实施例中的基于CT影像的多类别肺炎筛查深度学习装置的结构框图。
如图1所示，基于CT影像的多类别肺炎筛查深度学习装置100 包括CT影像数据预处理部101、切片级肺炎二分类部102、弱监督病灶检测定位部103、切片级肺炎四分类部104、病例级肺炎分类部 105、肺炎诊断评估部106、画面存储部107、输出显示部108、系统通信部109以及用于控制上述各部的系统控制部110。
图2是本发明实施例中的基于CT影像的多类别肺炎筛查深度学习装置的构成示意图。
本实施例中，如图2所示，基于CT影像的多类别肺炎筛查深度学习装置100由一个计算设备以及一个展示设备组成，用于对外部的媒体数据进行处理。其中，计算设备由处理器以及内存构成。其中，处理器是一个用于计算以及运行可执行代码的硬件处理器，常见的处理器有中央处理器CPU或是图形计算处理器GPU；内存作为一个非易失的存储器，用于存储可执行代码以及各类中间数据及参数从而使处理器执行相应的计算过程。内存中存储用于运行CT影像数据预处理部101、切片级肺炎二分类部102、弱监督病灶检测定位部103、切片级肺炎四分类部104、病例级肺炎分类部105以及肺炎诊断评估部106所构成的相关执行程序代码；展示设备包括画面存储部107以及输出显示部108。
CT影像数据预处理部101用于对得到的待分析CT影像进行数据预处理得到预处理CT影像。
在本实施例中，CT影像为DICOM中的三维数据，CT图像是现有待分析的某一病例通过医疗设备进行肺部扫描得到的影像资料。
其中，CT影像数据预处理部101中的预处理过程包括如下步骤：
步骤S1-1，根据CT影像中的肺部区域边界框抠取出肺部区域图片并调整肺部区域图片的尺寸得到调整肺部区域图片。
图3是本发明实施例中CT影像数据预处理部的流程示意图。
如图3所示，在步骤S1-1中抠取肺部区域边界框包含如下六个步骤：
步骤S1-1-a，读取调整CT影像。
步骤S1-1-b，根据HU值分布以及预先设定的阈值将调整CT影像中的肺部区域和其他组织进行分割得到肺部区域图片。
步骤S1-1-c，通过形态学开处理来处理肺部区域图片，从而使得消除抠取肺部区域时CT影像设备中躺板对肺部区域的影响。
步骤S1-1-d，利用八连通域标记方法搜索左右两肺区域来实现肺部区域和其他背景的分割。
步骤S1-1-e，利用形态学开处理来消除肺部区域照片中由于分割肺部区域和其他背景所导致的噪声。
步骤S1-1-f，根据分割好的肺部区域，计算最小矩形边界框，并进行抠取和调整尺寸处理得到调整肺部区域图片。
步骤S1-2，通过调节窗位和窗宽的多尺度调窗方法对调整肺部区域图片进行肺窗调窗处理，得到预处理CT影像。
在本实施例中，采用多尺度肺窗调节方法进行肺窗调窗处理，即通过调节窗位和窗宽调整肺窗。窗位取值选择采用在-700到-500之间的一个均匀分布；窗宽取值选择固定采用1200。多尺度的选择范围均在正常肺部区域HU值范围内。
切片级肺炎二分类部102在空间维度上对预处理CT影像提取出基础深度特征并根据该基础深度特征分析预处理CT影像得到是否包含病灶的二分类类别结果。
其中，二分类类别结果包含“包含病灶”和“不包含病灶”两个结果。
弱监督病灶定位部103根据类别标签检测基础深度特征从而定位得到病灶位置图。
切片级肺炎四分类部104根据基础深度特征、根据基础深度特征得到的特征绝对坐标位置图以及病灶位置图对多类别肺炎的可能性的检测得到四类别肺炎分类任务结果。
其中，四类别肺炎分类任务结果包含健康、COVID-19、H1N1 以及CAP这四个结果。
在本实施例中，切片级肺炎二分类部102以及切片级肺炎四分类部104通过一个包含四个残差模块的主干网络完成分类任务，所采用的主干网络为ResNet50。
图4是本发明实施例中切片级肺炎二分类部102以及切片级肺炎四分类部104结构示意图。
如图4所示，图4中病灶位置图下方的连线表达切片级肺炎四分类部104根据深度特征的特征信息来生成的病灶位置图的含义，由于弱监督定位部103生成特征绝对坐标位置图不需要任何特征信息，仅利用了基础深度特征的H、W维度信息即可生成，对应的图4中没有表达生成关系的连线。
切片级肺炎二分类部102基于主干网络的前三个残差模块对预处理CT影像的每一层切片在空间维度上提取出基本深度特征，并通过一个全连接层得到二分类类别结果，其中将全连接层的2×D维度的权重作为两个分类类别的原型特征，二分类类别结果为对是否包含病灶的判断结果。
其中，将全连接层的2×D维度的权重作为两个分类类别的原型特征，二分类类别结果为对是否包含病灶的判断结果。
切片级肺炎四分类部104中的主干网络中的最后一个残差模块的第一个卷积层步长为1，基础深度特征的维度为H×W×D，由弱监督病灶定位部得到的病灶位置图的维度为H×W×1，坐标位置概率图的维度为H×W×3，其中D表示特征的维度，H表示特征图2 维空间平面的高，W表示特征图2维空间平面的宽。
本实施例采用维度分别为H＝W＝32,D＝1024。
切片级肺炎四分类部中，考虑到不同类别的肺炎胸部CT病灶表现在位置分布上具有一定的差异性，通过差异性信息编码对仅根据基础深度特征中的的H、W维度计算得到的特征绝对坐标位置图进行处理从而帮助多类别肺炎分类。差异性信息编码一共包含三层通道 (三个通道对应于特征绝对坐标位置图的特征维度3)，前二层通道用于编码特征图x轴和y轴坐标信息，并分别将记录基础深度特征的每一个特征点的x轴坐标和y轴坐标分别记为[0,W]和[0,H]并归一化处理到[-1,1]，最后一层通道编码了各个像素点到中心点(0,0)的距离，即
Figure BDA0002652379720000141
通过拼接的方式将三层通道的特征融合，即得到了H×W×3的坐标位置概率图，从而使切片级肺炎四分类部更容易处理得到四类别肺炎分类任务。切片级肺炎四分类部将基础深度特征经过与二分类部中不同的全连接层处理得到切片特征。
弱监督病灶定位部103根据对应的原型特征进行病灶区域的检测定位处理从而得到病灶位置图。原型特征应用于，弱监督病灶定位部103根据维度为H×W×D的基本深度特征来计算每一个像素点与“含有病灶”的1×D的原型特征的距离从而计算得到维度为H×W×1的病灶位置图。当某一像素点与原型特征的特征距离越近，则该像素点映射在原图的感受区域含有病灶的概率更高。
病例级肺炎分类部105将切片级肺炎二分类部提取的基础深度特征以及切片级肺炎四分类部提取的切片特征拼接得到切片深度特征，并在时间维度上对连续多层的切片深度特征进行精炼和融合得到精炼的切片深度特征，并根据多个精炼的切片深度特征得到影像特征而分析得到病例级多类别肺炎分类任务结果。
图5是本发明实施例中病例级肺炎分类部105结构示意图。
如图5所示，在本实施例中的病例级肺炎分类部105包括如下步骤：
步骤S2-1，按照时间维度对由基础深度特征以及切片特征得到的切片深度特征排序得到多层切片序列，根据不同时间尺度将切片序列划分为对应于不同尺度下的切片序列集合。
在步骤S2-1中进行的多尺度切片序列集合划分时，具体为对于输入CT影像特征序列
Figure BDA0002652379720000151
以及多尺度划分集合 S＝[s1,s2,…,sk]，给定任一尺度si，可将输入特征F均匀地划分为sj个切片序列，
Figure BDA0002652379720000152
其中N表示一个病例中所有CT切片层的数量，D表示特征维度，
Figure BDA0002652379720000153
步骤S2-2，根据每个尺度下的CT影像切片序列集合通过利用注意力机制在特征维度上对切片深度特征进行特征提炼得到精炼的切片深度特征。
在步骤S2-2中利用注意力机制在特征维度上进行特征提炼的过程时，包含如下子步骤：
步骤S2-2-a：对于任一尺度下的sj个切片序列
Figure BDA0002652379720000154
Figure BDA0002652379720000155
将：切片序列集合中每一个切片深度特征
Figure BDA0002652379720000156
都映射到三个不同的特征空间key,query和value分别得到：key空间的特征
Figure BDA0002652379720000161
query空间的特征
Figure BDA0002652379720000162
以及value空间的特征
Figure BDA0002652379720000163
Figure BDA0002652379720000164
Figure BDA0002652379720000165
Figure BDA0002652379720000166
Figure BDA0002652379720000167
式中，
Figure BDA0002652379720000168
表示n层预处理CT影像切片，
Figure BDA00026523797200001618
表示第i个参数为θi的全连接层，D′表示映射后特征空间的维度，h表示多头注意力机制中多头h的数量。
步骤S2-2-b：使用来自key的特征
Figure BDA0002652379720000169
以及query空间的特征
Figure BDA00026523797200001610
计算在不同特征维度之间的相关性：
Figure BDA00026523797200001611
式中，
Figure BDA00026523797200001612
步骤S2-2-c：利用不同特征维度之间的相关性，对来自value空间的特征
Figure BDA00026523797200001613
进行特征提炼得到
Figure BDA00026523797200001614
Figure BDA00026523797200001615
式中，
Figure BDA00026523797200001616
Figure BDA00026523797200001619
表示第i个参数为θi的全连接层。
步骤S2-2-d：为了增强特征表达能力，进一步引入短路连接机制，
Figure BDA00026523797200001617
得到精炼的切片深度特征。
步骤S2-3，根据每个尺度下的CT影像切片序列集合在时间维度上将精炼的切片深度特征进行信息融合得到一个影像片段特征集合。
在步骤S2-3中对精炼后的特征信息进行信息融合的过程时，具体包含如下子步骤。
步骤S2-3-a：对于任一尺度下的精炼后的sj个切片序列
Figure BDA0002652379720000171
将精炼的切片深度特征
Figure BDA0002652379720000172
都映射到 query空间的特征
Figure BDA0002652379720000173
和value空间的特征
Figure BDA0002652379720000174
Figure BDA0002652379720000175
Figure BDA0002652379720000176
式中，
Figure BDA0002652379720000177
表示n层CT影像切片，
Figure BDA00026523797200001716
表示第i个参数为θi的全连接层，D′表示映射后特征空间的维度。
步骤S2-3-b：计算query空间的特征
Figure BDA0002652379720000178
和一个可学习参数
Figure BDA00026523797200001717
在不同切片层之间的相关性：
Figure BDA0002652379720000179
式中，
Figure BDA00026523797200001710
为融合过程中一个可学习参数，
Figure BDA00026523797200001711
Figure BDA00026523797200001712
步骤S2-3-c：利用不同切片层之间的相关性，对来自value空间的特征
Figure BDA00026523797200001713
进行特征融合，即融合n层精炼的切片深度特征 (即CT影像切片特征)：
Figure BDA00026523797200001714
式中，
Figure BDA00026523797200001715
即为在尺度sj下第i个片段序列在空间维度上进行层与层之间融合后得到影像片段特征。
步骤S2-4，结合多尺度学习机制由对影像片段特征集合的进一步融合得到影像特征。
具体地，在步骤S2-4中进行最终病例级肺炎筛查过程中，根据所有尺度下的影像片段特征集合进一步进行拼接融合，并利用一层全连接层进行降维处理得到最终的影像特征，从而将该影响特征用于病例级肺炎筛查得到病例级多类别肺炎分类任务结果。
在本实施例中，将步骤S2-4融合后的所有尺度下的所有
Figure BDA0002652379720000181
个影像片段特征进行拼接融合，并使用一个全连接层进行降维，将特征维度由
Figure BDA0002652379720000182
压缩至D。综上，对于病例级分类的输入CT影像特征序列
Figure BDA0002652379720000183
经过步骤S2-1至步骤S2-4，得到一个经由空间和时间维度上提炼和融合的特征
Figure BDA0002652379720000184
用于最终的基于病例级别的多类别肺炎筛查。
肺炎诊断综合评估部基于切片级四分类类别结果、病灶位置图以及病例级多类别肺炎分类任务结果输出对应于预处理CT影像的肺炎诊断综合评估结果和病灶定位分布图。
其中，肺炎诊断综合评估结果为病例级肺炎筛查结果以及切片级肺炎筛查结果。
画面存储部107用于存储分类输出结果的画面。
本实施例中，画面存储部107存储在肺炎诊断评估部106中输出的肺炎诊断综合评估结果以及病灶定位分布图以待后续统一输出给用户进行查看。
输出显示部108用于显示接受自系统通信部109的肺炎诊断综合评估结果以及病灶定位分布图，从而让用户通过这些画面完成相应的人机交互。
在本实施例中，画面存储部107以及输出显示部108为一个与计算设备相通信连接的展示设备，例如电脑、电视或者移动设备等。
系统通信部109将画面存储部107中存储的肺炎诊断综合评估结果和病灶定位分布图发送给输出显示部108。
图6是本发明实施例中例中基于CT影像的多类别肺炎筛查深度学习装置的流程示意图。
图7是本发明实施例中例中基于CT影像的多类别肺炎筛查深度学习装置的流程框图。
如图6和图7所示，基于CT影像的多类别肺炎筛查深度学习装置100的肺炎筛查过程包括步骤1至步骤7。
步骤1，CT影像数据预处理部101用于对得到的待分析的CT影像进行数据预处理得到预处理CT影像，然后进入步骤2。
步骤2，切片级肺炎二分类部102在空间维度上对预处理CT影像提取出基础深度特征并根据该基础深度特征分析预处理CT影像得到是否包含病灶的二类分类类别结果，然后进入步骤3。
步骤3，弱监督病灶定位部103根据类别标签检测基础深度特征从而定位得到病灶位置图，然后进入步骤4。
步骤4，切片级肺炎四分类部104根据基础深度特征、特征绝对坐标位置图以及病灶位置图对多类别肺炎的可能性的检测得到四类别肺炎分类任务结果，然后进入步骤5。
步骤5，病例级肺炎分类部105将基础深度特征以及切片特征拼接得到切片深度特征，并在时间维度上对连续多层的切片深度特征进行精炼和融合得到精炼的切片深度特征，并根据多个精炼的切片深度特征融合得到影像特征而分析得到病例级多类别肺炎分类任务结果；然后进入步骤6。
步骤6，肺炎诊断综合评估部106基于切片级四分类类别结果、病灶位置图以及病例级多类别肺炎分类任务结果输出对应于预处理 CT影像的肺炎诊断综合评估结果和病灶定位分布图，然后进入步骤 7。
步骤7，输出显示部107在画面中显示肺炎筛查分类结果和病灶定位分布图以供用户查看，然后进入结束状态。
实施例作用与效果
根据本实施例提供的一种基于CT影像的多类别肺炎筛查深度学习装置，由于将多类别肺炎筛查过程拆分为级联的切片级肺炎分类部和病例级肺炎分类部，因此本实施例能够同时在空间维度上和时间维度上提取更具识别力的特征表征，不仅实现切片级肺炎筛查的功能，而且通过级联的方式使两个维度的特征进行互通学习，使得病例级的肺炎筛查“看”得更广泛、全面、仔细。此外，通过切片级肺炎分类部中的多任务学习机制使得能够利用无监督方式对每一层CT影像切片中的病灶实现检测定位，详细准确的得出可能的多个结果，因此本实施例对于临床医生的肺炎辅助诊断更具实用性和价值性。
另外，在实施例中，本实施例能够准确得到有健康、COVID-19、 H1N1以及CAP这四个选项的结果以外，本实施例所提出的设备对于区分COVID-19与其他肺炎病症的筛查任务能够带来显著的帮助，能够在不额外需要医护人员的前提下，有效进行筛查工作，对于关于COVID-19疫情的筛查工作具有切实可行的帮助。
另外，在实施例中，考虑到一个病例的CT影像切片数量普遍在 200～300，CT影像数据预处理部对一个病例的所有CT切片影像特征集合进行多尺度划分使得当病例级肺炎分类部在时间维度上进行提炼和融合时避免了小病灶信息产生信息泄露的情况。此外，不同于通过额外利用像素级分割标签来训练一个分割网络从而进行肺部抠取的方法，本实施例涉及的方法具有计算复杂度低、不需要额外训练标签和时间、分割精度高等的优势。
另外，在实施例中，通过切片级肺炎分类所采用的多任务学习机制对CT影像切片进行分析的同时，额外引入病灶概率分布图和坐标位置信息，使得本实施例提出的切片级肺炎分类能够提取更具识别能力的特征，不仅能够对微小病灶和病灶位置更加敏感，而且对后续病例级肺炎分类的快速高效地训练和测试有着至关重要的作用。
另外，在实施例中，对比于采用过去的3D深度卷积神经网络方法，通过采用了将切片级肺炎分类部与病例级肺炎分类部级联的方法，本实施例能够在不丢失时间维度信息的基础上，具有更低的资源消耗，并且对于系统的输入输出具有更高的灵活性和适用性。
另外，在实施例中，弱监督病灶检测定位使得在不消耗额外标注资源的情况下能够同时实现对测试病例多类别肺炎诊断和完整CT影像切片病灶定位。此外，输出多类别肺炎诊断的同时输出病灶检测定位图，使临床医生在面对概率数值的同时能够同步分析各层CT影像中病灶的表现，使本实施例装置的输出更具可解释性，对临床医生的辅助诊断更具实用性、可靠性、高效性等实际价值意义。
另外，在实施例中，肺炎诊断综合评估部基于切片级肺炎四分类类别结果、病灶位置图以及病例级多类别肺炎分类任务输出对应于预处理CT影像的肺炎诊断综合评估结果和病灶定位分布图。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
上述实施例中，仅考虑目前世界上所常见的四种肺炎类别，在实际实现中不仅仅只有健康、COVID-19、H1N1以及CAP这四个分类，也可以将其他可以根据肺部CT影像来判断肺炎类别的其他病症纳入考虑情况范围内。

Claims (10)

1.一种基于CT影像的多类别肺炎筛查深度学习装置，用于，其特征在于，包括：
CT影像数据预处理部、切片级肺炎二分类部、切片级肺炎四分类部、病例级肺炎分类部、弱监督病灶定位部以及肺炎诊断评估部；
其中，所述CT影像数据预处理部用于对得到的待分析所述CT影像进行数据预处理得到预处理CT影像；
所述切片级肺炎二分类部在空间维度上对所述预处理CT影像提取出基础深度特征并根据该基础深度特征分析所述预处理CT影像得到是否包含病灶的二分类类别结果；
所述弱监督病灶定位部根据类别标签检测所述基础深度特征从而定位得到病灶位置图；
所述切片级肺炎四分类部根据所述基础深度特征、根据所述基础深度特征得到的特征绝对坐标位置图以及所述病灶位置图对多类别肺炎的可能性的检测得到四类别肺炎分类任务结果；
所述病例级肺炎分类部将所述基础深度特征以及所述切片特征拼接得到切片深度特征，并在时间维度上对连续多层的所述切片深度特征进行精炼和融合得到相应多个精炼的切片深度特征，并根据多个所述精炼的切片深度特征融合得到影像特征从而分析出病例级多类别肺炎分类任务结果；
所述肺炎诊断综合评估部基于所述切片级四分类类别结果、所述病灶位置图以及所述病例级多类别肺炎分类任务结果输出对应于所述预处理CT影像的肺炎诊断综合评估结果和病灶定位分布图。
2.根据权利要求1所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，所述CT影像数据预处理部中的预处理过程包括如下步骤：
步骤S1-1，根据所述CT影像中的肺部区域边界框抠取出肺部区域图片并调整所述肺部区域图片的尺寸得到调整肺部区域图片；
步骤S1-2，采用多尺度调窗方法对所述调整肺部区域图片进行肺窗调窗处理，得到预处理CT影像，
在所述步骤S1-1中抠取肺部区域边界框包含如下六个步骤：
步骤S1-1-a，读取所述CT影像；
步骤S1-1-b，根据HU值分布以及预先设定的阈值将所述调整CT影像中的肺部区域和其他组织进行分割得到所述肺部区域图片；
步骤S1-1-c，通过形态学开处理来处理所述肺部区域图片，从而使得消除抠取肺部区域时CT影像设备中躺板对肺部区域的影响；
步骤S1-1-d，利用八连通域标记方法搜索左右两肺的所述肺部区域来实现肺部区域和其他背景的分割；
步骤S1-1-e，利用形态学开处理来消除肺部区域照片中由于分割所述肺部区域和所述其他背景所导致的噪声；
步骤S1-1-f，根据分割好的所述肺部区域，计算最小矩形边界框，并进行抠取和调整尺寸处理得到所述调整肺部区域图片。
3.根据权利要求1所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，所述切片级肺炎二分类部以及所述切片级肺炎四分类部通过一个包含四个残差模块的主干网络完成分类任务，
所述切片级肺炎二分类部基于所述主干网络的前三个残差模块对所述预处理CT影像的每一层切片在空间维度上提取出所述基本深度特征，并通过一个全连接层得到所述二分类类别结果，其中将所述全连接层的2×D维度的权重作为两个分类类别的原型特征，所述二分类类别结果为对是否包含病灶的判断结果，
所述切片级肺炎四分类部基于所述主干网络的最后一个所述残差模块根据所述基础深度特征、所述特征绝对坐标位置图以及所述病灶位置图得到所述四类别肺炎分类任务结果。
4.根据权利要求1所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，所述切片级肺炎四分类部中的所述主干网络中的所述最后一个残差模块的第一个卷积层步长为1，所述基础深度特征的维度为H×W×D，由所述弱监督病灶定位部得到的所述病灶位置图的维度为H×W×1，所述坐标位置概率图的维度为H×W×3，其中D表示特征的维度，H表示特征图的高，W表示特征图的宽，
所述切片级肺炎四分类部对所述特征绝对坐标位置图进行差异性信息编码，所述差异性信息编码一共包含三层通道，前二层通道用于编码特征图x轴和y轴坐标信息，并分别将[0,W]和[0,H]归一化处理到[-1,1]，最后一层通道用于编码各个像素点到中心点(0,0)的距离，即
Figure FDA0002652379710000041
通过拼接的方式将三层通道的特征进行融合从而使切片级肺炎四分类部更容易处理得到所述四类别肺炎分类任务。
5.根据权利要求3所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，所述弱监督病灶定位部根据对应的所述原型特征进行病灶区域的检测定位处理从而得到所述病灶位置图。所述原型特征应用于所述弱监督病灶定位部并根据维度为H×W×D的所述基本深度特征来计算每一个像素点与“含有病灶”的1×D的所述原型特征的距离从而计算得到维度为H×W×1的所述病灶位置图。当某一所述像素点与所述原型特征的特征距离越近，则所述像素点映射在原图的感受区域含有病灶的概率更高，其中D表示特征维度，H表示特征图的高，W表示特征图的宽。
6.根据权利要求1所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，所述病例级肺炎分类部包括如下步骤：
步骤S2-1，按照时间维度对由所述基础深度特征以及所述切片特征得到的所述切片深度特征排序得到多层切片序列，根据不同时间尺度将所述切片序列划分为对应于不同尺度下的切片序列集合；
步骤S2-2，根据每个尺度下的所述切片序列集合通过利用注意力机制在特征维度上对所述切片序列集合中的多层所述切片深度特征进行特征提炼得到精炼的切片深度特征；
步骤S2-3，根据每个尺度下的所述切片序列集合在时间维度上将所述精炼的切片深度特征进行信息融合得到影像片段特征集合；
步骤S2-4，结合所述多尺度学习机制由对所有尺度下的所述影像片段特征集合的进一步融合并进行降维处理得到影像特征并由此得到所述病例级多类别肺炎分类任务结果，
在所述步骤S2-1中进行的多尺度切片序列集合划分时，具体为对于所述切片序列
Figure FDA0002652379710000051
以及多尺度划分集合S＝[s1,s2,…,sk]，给定任一尺度si，可将输入特征F均匀地划分为sj个切片序列，
Figure FDA0002652379710000052
并由此组成所述切片序列集合，其中的N表示一个病例中所有CT切片层的数量，D表示特征维度，
Figure FDA0002652379710000053
7.根据权利要求6所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，在所述步骤S2-2中利用注意力机制在特征维度上进行特征提炼的过程时，包含如下子步骤：
步骤S2-2-a：将切片序列集合中每一个所述切片序列集合中每一个所述切片深度特征
Figure FDA0002652379710000054
都映射到三个不同的特征空间key,query和value分别得到：key空间的特征
Figure FDA0002652379710000055
query空间的特征
Figure FDA0002652379710000056
以及value空间的特征
Figure FDA0002652379710000061
Figure FDA0002652379710000062
Figure FDA0002652379710000063
Figure FDA0002652379710000064
Figure FDA0002652379710000065
式中，
Figure FDA0002652379710000066
表示n层预处理CT影像切片，
Figure FDA0002652379710000067
表示第i个参数为θi的全连接层，D′表示映射后特征空间的维度，h表示多头注意力机制中多头h的数量，
步骤S2-2-b：使用来自key的特征
Figure FDA0002652379710000068
以及query空间的特征
Figure FDA0002652379710000069
计算在不同特征维度之间的相关性：
Figure FDA00026523797100000610
式中，
Figure FDA00026523797100000611
步骤S2-2-c：利用不同特征维度之间的相关性，对来自value空间的特征
Figure FDA00026523797100000612
进行特征提炼得到
Figure FDA00026523797100000613
Figure FDA00026523797100000614
式中，
Figure FDA00026523797100000615
Figure FDA00026523797100000616
表示第i个参数为θi的全连接层，
步骤S2-2-d：进一步引入短路连接机制，
Figure FDA00026523797100000617
得到所述精炼的切片深度特征。
8.根据权利要求6所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，在所述步骤S2-3中对精炼后的特征信息进行信息融合的过程时，具体包含如下子步骤：
步骤S2-3-a：将切片序列集合中每一个所述精炼的切片深度特征
Figure FDA0002652379710000071
都映射到query空间的特征
Figure FDA0002652379710000072
和value空间的特征
Figure FDA0002652379710000073
Figure FDA0002652379710000074
Figure FDA0002652379710000075
式中，
Figure FDA0002652379710000076
表示n层CT影像切片，
Figure FDA0002652379710000077
表示第i个参数为θi的全连接层，D′表示映射后特征空间的维度，
步骤S2-3-b：计算query空间的特征
Figure FDA0002652379710000078
和一个可学习参数
Figure FDA00026523797100000716
在不同切片层之间的相关性：
Figure FDA0002652379710000079
式中，
Figure FDA00026523797100000710
为融合过程中一个可学习参数，
Figure FDA00026523797100000711
Figure FDA00026523797100000712
步骤S2-3-c：利用不同切片层之间的相关性，对来自value空间的特征
Figure FDA00026523797100000713
进行特征融合，即融合n层精炼的切片深度特征：
Figure FDA00026523797100000714
式中，
Figure FDA00026523797100000715
即为在尺度sj下第i个所述切片序列在空间维度上进行层与层之间融合后得到所述影像片段特征集合。
9.根据权利要求6所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，在所述步骤S2-4中进行最终病例级肺炎筛查过程，根据所有尺度下的所述影像片段特征集合，进一步进行拼接融合并利用一层所述全连接层进行降维处理得到所述影像特征从而得到所述病例级多类别肺炎分类任务结果。
10.根据权利要求1所述的基于CT影像的多类别肺炎筛查深度学习装置，其特征在于：
其中，所述肺炎诊断综合评估结果为所述病例级肺炎筛查结果以及所述切片级肺炎筛查结果。
CN202010875028.5A 2020-08-27 2020-08-27 一种基于ct影像的多类别肺炎筛查深度学习装置 Active CN111986189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010875028.5A CN111986189B (zh) 2020-08-27 2020-08-27 一种基于ct影像的多类别肺炎筛查深度学习装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010875028.5A CN111986189B (zh) 2020-08-27 2020-08-27 一种基于ct影像的多类别肺炎筛查深度学习装置

Publications (2)

Publication Number Publication Date
CN111986189A true CN111986189A (zh) 2020-11-24
CN111986189B CN111986189B (zh) 2022-12-27

Family

ID=73441384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010875028.5A Active CN111986189B (zh) 2020-08-27 2020-08-27 一种基于ct影像的多类别肺炎筛查深度学习装置

Country Status (1)

Country Link
CN (1) CN111986189B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613517A (zh) * 2020-12-17 2021-04-06 深圳大学 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN112686343A (zh) * 2021-03-19 2021-04-20 慧影医疗科技（北京）有限公司 一种肺结节样本数据的分类方法、装置和电子设备
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
CN113269230A (zh) * 2021-04-23 2021-08-17 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN113989349A (zh) * 2021-10-25 2022-01-28 北京百度网讯科技有限公司 图像生成方法、图像处理模型的训练方法、图像处理方法
CN114387270A (zh) * 2022-03-22 2022-04-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447966A (zh) * 2018-10-26 2019-03-08 科大讯飞股份有限公司 医学图像的病灶定位识别方法、装置、设备及存储介质
CN110210519A (zh) * 2019-05-10 2019-09-06 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
EP3540692A1 (en) * 2018-03-16 2019-09-18 Infervision A computed tomography pulmonary nodule detection method based on deep learning
CN111415743A (zh) * 2020-03-17 2020-07-14 北京推想科技有限公司 肺炎分类方法、装置、介质及电子设备
CN111476774A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 基于新型冠状病毒肺炎ct检测的智能征象识别装置
CN111507965A (zh) * 2020-04-17 2020-08-07 中山仰视科技有限公司 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3540692A1 (en) * 2018-03-16 2019-09-18 Infervision A computed tomography pulmonary nodule detection method based on deep learning
CN109447966A (zh) * 2018-10-26 2019-03-08 科大讯飞股份有限公司 医学图像的病灶定位识别方法、装置、设备及存储介质
CN110210519A (zh) * 2019-05-10 2019-09-06 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111415743A (zh) * 2020-03-17 2020-07-14 北京推想科技有限公司 肺炎分类方法、装置、介质及电子设备
CN111476774A (zh) * 2020-04-07 2020-07-31 广州柏视医疗科技有限公司 基于新型冠状病毒肺炎ct检测的智能征象识别装置
CN111507965A (zh) * 2020-04-17 2020-08-07 中山仰视科技有限公司 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TULIN OZTURK ET AL: "Automated detection of COVID-19 cases using deep neural networks with X-ray images", 《COMPUTERS IN BIOLOGY AND MEDICINE》 *
X. WANG ET AL: "Non-local neural networks", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
郝兵: "基于深度学习的肺炎检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
US11357464B2 (en) 2020-08-07 2022-06-14 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
US11361440B2 (en) 2020-08-07 2022-06-14 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 disease progression using artificial intelligence
CN112613517A (zh) * 2020-12-17 2021-04-06 深圳大学 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN112613517B (zh) * 2020-12-17 2022-02-18 深圳大学 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN112686343A (zh) * 2021-03-19 2021-04-20 慧影医疗科技（北京）有限公司 一种肺结节样本数据的分类方法、装置和电子设备
CN112686343B (zh) * 2021-03-19 2021-06-01 慧影医疗科技（北京）有限公司 一种肺结节样本数据的分类方法、装置和电子设备
CN113269230A (zh) * 2021-04-23 2021-08-17 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN113269230B (zh) * 2021-04-23 2022-09-06 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN113989349A (zh) * 2021-10-25 2022-01-28 北京百度网讯科技有限公司 图像生成方法、图像处理模型的训练方法、图像处理方法
CN113989349B (zh) * 2021-10-25 2022-11-25 北京百度网讯科技有限公司 图像生成方法、图像处理模型的训练方法、图像处理方法
CN114387270A (zh) * 2022-03-22 2022-04-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111986189B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN111986189B (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
Fan et al. Inf-net: Automatic covid-19 lung infection segmentation from ct images
CN109886273B (zh) 一种cmr图像分割分类系统
Qian et al. M $^ 3$ Lung-Sys: A deep learning system for multi-class lung pneumonia screening from CT imaging
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
US20090097728A1 (en) System and Method for Detecting Tagged Material Using Alpha Matting
Shaukat et al. Computer-aided detection of lung nodules: a review
CN112150442A (zh) 基于深度卷积神经网络及多实例学习的新冠诊断系统
Lin et al. Deep dual attention network for precise diagnosis of COVID-19 from chest CT images
Fan et al. GFNet: Automatic segmentation of COVID-19 lung infection regions using CT images based on boundary features
CN110838114A (zh) 肺结节检测方法、装置及计算机存储介质
Yar et al. Lung nodule detection and classification using 2D and 3D convolution neural networks (CNNs)
Wang et al. Dual multiscale mean teacher network for semi-supervised infection segmentation in chest CT volume for COVID-19
Sadeghibakhi et al. Multiple sclerosis lesions segmentation using attention-based CNNs in FLAIR images
Tian et al. Radiomics and its clinical application: artificial intelligence and medical big data
Chen et al. Thorax disease classification based on pyramidal convolution shuffle attention neural network
Wen et al. ACSN: Attention capsule sampling network for diagnosing COVID-19 based on chest CT scans
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN116402756A (zh) 一种融合多层次特征的x光片肺部疾病筛查系统
Velmurugan et al. Efficiency of fuzzy c-means algorithm for brain tumor segmentation in MR brain images
Guo et al. The gap in the thickness: estimating effectiveness of pulmonary nodule detection in thick-and thin-section CT images with 3D deep neural networks
Khaniki et al. Hierarchical SegNet with Channel and Context Attention for Accurate Lung Segmentation in Chest X-ray Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant