CN113223704A - 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法 - Google Patents

基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法 Download PDF

Info

Publication number
CN113223704A
CN113223704A CN202110550042.2A CN202110550042A CN113223704A CN 113223704 A CN113223704 A CN 113223704A CN 202110550042 A CN202110550042 A CN 202110550042A CN 113223704 A CN113223704 A CN 113223704A
Authority
CN
China
Prior art keywords
data
scanning
diagnosis
auxiliary diagnosis
ags
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110550042.2A
Other languages
English (en)
Other versions
CN113223704B (zh
Inventor
黄萨
陈鹏
李佳明
刘威武
韩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110550042.2A priority Critical patent/CN113223704B/zh
Publication of CN113223704A publication Critical patent/CN113223704A/zh
Application granted granted Critical
Publication of CN113223704B publication Critical patent/CN113223704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于主动脉瘤辅助诊断技术领域,具体为基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法,包括步骤一:数据采集,首先从医院的院区中回顾性的收集了多份带有主动脉的普通CT扫描;步骤二:数据处理,将其分为三个数据集:训练集,内部测试集和外部测试集;步骤三:建立模型,然后利用Attention‑Unet卷积神经网络构建辅助诊断工具,使用其评估测试集中主动脉瘤风险,检测敏感度、特异度和准确度,其设计合理,对主动脉瘤具有良好的诊断能力。与放射科医生联合使用,该方法可以显著增强放射科医生的胶片读取和决策能力,提高影像科室的整体实力。这一先进技术的性能证明了这种无创、廉价、方便的方法具有临床试验的潜力。

Description

基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
技术领域
本发明涉及主动脉瘤辅助诊断技术领域,具体为基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法。
背景技术
主动脉是人体最大的动脉。由于主动脉在人身体内的重要地位,与其相关的疾病往往危及患者的生命。随着如计算机断层扫描(CT)等影像诊断设备的发展普及,近年来发现的主动脉瘤病例数量显著增加,引起了临床医生的关注。主动脉瘤主要包括腹主动脉瘤(AAA),局限在胸腔内的胸主动脉瘤,和胸腹主动脉瘤(TAAA),这些同时生长在胸腔和腹腔的动脉来占所有主动脉瘤的5%以下。据报道,50%的胸主动脉瘤与腹主动脉瘤融合。在发达国家,腹主动脉瘤(AAA)造成的死亡占65-85岁男子死亡总数的1.3%;在比利时,腹主动脉瘤(AAA)破裂是第十大死因(在2014年占所有死亡的0.32%).在美国,动脉瘤并发症(如破裂、夹层);腹主动脉瘤(AAA)破裂的并发症是导致死亡的第13位主要原因。
一个公认的共识是主动脉破裂的风险与主动脉宽度的增加呈正相关。具体来说,当主动脉扩张到正常值的1.5倍时,或胸主动脉大于50mm,腹主动脉大于30mm时,则认为患者患有主动脉瘤。当前主动脉瘤的主流诊断方法包括多普勒超声和计算机断层血管造影(CTA)。由于超声不能穿透肠壁,与多普勒超声相比,CT扫描可以更好的解决这一问题。CTA一般推荐使用在放射科已经接受过CT平扫的患者,放射科医生已经确定他们有患主动脉瘤的风险。然而,在临床实践中,如果检查不是针对心血管相关疾病,患者的主动脉情况可能不会被注意到,这就可能导致患者的主动脉疾病被忽视。在这些情况下,CT平扫成像的结果是初步筛查动脉瘤的关键。
人工智能(AI)揭示了对心血管疾病管理的新见解。尤其是深度学习技术在医学应用中展现出了先进的性能。在分类、分割和检测领域,深度学习技术已经达到了能够与人类相当的精度水平,并已经成功的应用在肺结节诊断、乳腺癌诊断以及视网膜图像分割。近年来,基于人工智能的辅助诊断在主动脉瘤类疾病上得到了广泛的研究。但是,这些研究主要集中在腹主动脉瘤(AAA),并且大多基于计算机断层血管造影(CTA),所得出的结论通常来自于单中心的小数据检查.除此之外,胸主动脉和腹主动脉是两个人为定义的概念。在现实中,它们是彼此紧密相连的一条大动脉。以往的的研究存在着忽略了胸主动脉和腹主动脉是一个整体的问题。进行计算机断层血管造影(CTA)的前提是高度怀疑患者患有主动脉疾病,而基于计算机断层血管造影(CTA)的半自动或全自动辅助诊断工具可以节省阅读图像的时间,同时不会显著降低漏诊率,减少放射科医生的重复劳动,提高放射科医生的诊断水平和疾病的检出率并降低漏检率。同时,在急诊处理流程管理方面,本研究进一步讨论了在急诊科应对疑似主动脉瘤患者给予更高的优先级,以避免在等待期间因主动脉瘤破裂而导致的住院死亡。
发明内容
本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
因此,本发明的目的是提供基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法,能够实现帮助放射科医生发现脑动脉瘤,而且可以降低忽略动脉瘤的风险。
为解决上述技术问题,根据本发明的一个方面,本发明提供了如下技术方案:
基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法,其包括如下步骤:
步骤一:数据采集,首先从医院的院区中回顾性的收集了多份带有主动脉的普通CT扫描,数据是连续采集的,包括影像诊断报告和检查,所有采集的图像均为DICOM格式,包括患者的年龄、性别和多个CT参数等信息,在临床工作流程中,主动脉支架的术后情况将由接诊科室进行特别标记,在这种情况下,放射科医生将会更加关注这些人群患主动脉疾病的风险,使得漏诊的可能性相对较小,为了确保所有研究对象的主动脉在CT扫描上清晰可见,以便更有效地评估辅助诊断工具的有效性,遂提出以下数据纳入和排除标准,首先,对所有数据采用相同的纳入和排除标准,纳入标准如下:
(A)检查项目为CT/CTA;
(B)包括胸主动脉或腹主动脉;
(C)出具明确诊断报告;
除此之外,排除标准如下:
(A)主动脉手术后;
(B)低信噪比和不清晰的图像;
(C)同一患者在不同时间的检查;
(D)CTA或其他增强CT;
步骤二:数据处理,将其分为三个数据集:训练集,内部测试集和外部测试集,使用CT平扫数据进行数据标注,其余的研究对象分为内部测试集和外部测试集,其中,内部测试集由来自吉林大学第二医院的数据组成,外部测试集包括来自各个院区的亚组和基于不同制造商的亚组,内部测试集用于测试单中心环境下工具的稳定性,而外部测试集用于测试多中心环境下工具的性能,所有扫描分为三个风险等级:阴性(0级),即未发现风险;诊断灰色区(1级),即发现风险,建议定期复查(放射科医生应在报告中提及);阳性(2级),符合主动脉瘤诊断标准,建议临床科室介入联合判断检查;
步骤三:建立模型,然后利用Attention-Unet卷积神经网络构建辅助诊断工具,使用其评估测试集中主动脉瘤风险,检测敏感度、特异度和准确度;
1)图像预处理
在预处理中,将所有得到的扫描图像厚度统一为数据集中的中位数5MM,所有CT扫描的尺寸统一为512×512;对所有的数据集应用相同的窗口宽度和窗口级别(窗口宽度=400,窗口级别=0);然后对每一层扫描使用0-1蒙片生成去背板图像,人体部位为1,其他位置为0(包括扫描床、体外腔等);在训练中不考虑体外部分,所有数据减去平均值除以标准差,为了提高网络的泛化能力,在训练过程中对数据进行随机增强,增强操作包括在[-15,15]的范围内随机旋转、左右翻转,以及弹性变形,为了适应不同扫描强度带来的影像强度分布差异,我们在训练过陈中每个EPOCH给每个CT加上一个符合期望为20,标准差为10的正态分布的随机数;
2)AttentionU-net
使用带有AGs的CNN模型可以用类似于FCN模型训练的标准方法从零开始训练,AGs可以自动学习聚焦于目标结构而无需额外的监督;在测试时,这些门会自动生成软区域建议,并突出对特定任务有用的显著特征;此外,它们不会引入大量的计算开销,也不像多模型框架那样需要大量的模型参数;反过来,提出的AGs通过抑制不相关区域的特征激活,提高了模型对密集标签预测的敏感性和准确性;这样,在保持较高的预测精度的同时,可以消除使用外部器官定位模型的必要性,AGs可用于基于CNN的标准图像分析模型,用于密集标签预测;特别是在图像分割的情况下,AGs对医学图像分析有着一定优势;
3)ATTENTIONGATE
输入特征通过在AG中计算的注意系数进行缩放;通过分析门控信号通过分析门控信号是从一个较粗的尺度收集的;利用三线性插值对注意系数进行网格重采样;AGs被合并到标准U-Net架构中,以突出通过跳跃连接的特征,在连接操作之前,为合并激活单元,要从粗尺度提取相关的信息用于门控,以消除跳跃连接中不相关和噪音产生的响应歧义;此外,AGs在向前传递和向后传递过程中会过滤神经元的激活,在逆向传递过程中,会降低来自背景区域的渐变的权重,这使得较浅层的模型参数主要基于与给定任务相关的空间区域进行更新;为了减少AGs的可训练参数数目和计算复杂度,在没有任何空间支持(1x1x1卷积)的情况下进行线性变换,并将输入特征映射降采样到选通信号的分辨率,相应的线性变换对特征映射进行解耦,并将其映射到低维空间进行选通操作,低级特征映射,即第一跳连接,不用于选通功能,因为它们不代表高维空间中的输入数据,Oktay使用深度监督来强制的使中间特征映射在每个图像尺度上具有语义上的区分;这个做法有助于确保在不同尺度的attentiongate能够影响大范围图像的前景内容的响应,这样可以防止通过跳跃连接的小子集重构预测;
4)CNN训练
训练阶段的输入是3层连续扫描数据和人体mask输出是中间层的分割结果,loss是系数和二元交叉熵的加权总和,忽略了人体外所有位置产生的损失,梯度下降法选择Adam,每100批调整一次学习速率,降低到之前的0.99倍;该网络是基于PaddlePaddle框架实现的,在CPU核心数为4,内存大小32G,GPU为TeslaV100的环境上进行训练,该环境batchsize为160,共进行了40次迭代;
5)检测血管直径
利用训练好的网络权值进行计算,得到各层的分割结果,并将其融合到三维空间中,得到分割标签,为了去除主动脉外的假阳性,我们只保留分割标签中最大的连通块作为分割结果;由于扫描主动脉的整个过程不一样,扫描时病人的姿势也不完全规范,因此,在CT扫描中,直径并非全部落在横截面上,所以,我们在三维空间中重建扫描标签,并在三维空间中测量管道直径,具体方法是对分段标签中的连接块进行扫描,得到标签中最大的连接块,进而去除一些小的假阳性块;利用Canny边缘检测算法得到所有连通块的边缘,并利用所有边缘像素进行三维重建;然后我们选取每张断层扫描片上血管处随机的一点上制作一个水平面,并使用梯度下降法来调整平面的法向量,即调整平面的方向,使平面与血管相交形成的近似圆形的多边形面积最小(在血管的两端,由于平面限制不能使血管旋转),我们把这个平面作为血管的切面,计算出相交后形成的多边形面积的直径;
步骤四;表现评估,测试辅助诊断方法得到的结果和放射科医生的诊断结果的一致性,首先,全部的测试集用于测试辅助诊疗系统的性能表现,其次,根据“不同中心”和“不同制造商”将其划分为不同的子集来测试所构建的辅助诊疗系统的表现从外部测试集中随机抽取100次检查,使用本系统对所样张进行评估,最后通过判断本系统和医师诊断的一致性来考察系统表现。
与现有技术相比,本发明的有益效果是:本文提出的基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法,对主动脉瘤具有良好的诊断能力。与放射科医生联合使用,该方法可以显著增强放射科医生的胶片读取和决策能力,提高影像科室的整体实力。这一先进技术的性能证明了这种无创、廉价、方便的方法具有临床试验的潜力。
附图说明
为了更清楚地说明本发明实施方式的技术方案,下面将结合附图和详细实施方式对本发明进行详细说明,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明步骤流程结构示意图;
图2为本发明AttentionU-Net分割模型的框图;
图3为本发明添加的attentiongate(AG)的缩略图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施方式的限制。
其次,本发明结合示意图进行详细描述,在详述本发明实施方式时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
实施例1
基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法包括如下步骤:步骤一:数据采集,首先从医院的院区中回顾性的收集了多份带有主动脉的普通CT扫描,数据是连续采集的,包括影像诊断报告和检查,所有采集的图像均为DICOM格式,包括患者的年龄、性别和多个CT参数等信息,在临床工作流程中,主动脉支架的术后情况将由接诊科室进行特别标记,在这种情况下,放射科医生将会更加关注这些人群患主动脉疾病的风险,使得漏诊的可能性相对较小,为了确保所有研究对象的主动脉在CT扫描上清晰可见,以便更有效地评估辅助诊断工具的有效性,遂提出以下数据纳入和排除标准,首先,对所有数据采用相同的纳入和排除标准,纳入标准如下:
(A)检查项目为CT/CTA;
(B)包括胸主动脉或腹主动脉;
(C)出具明确诊断报告;
除此之外,排除标准如下:
(A)主动脉手术后;
(B)低信噪比和不清晰的图像;
(C)同一患者在不同时间的检查;
(D)CTA或其他增强CT;
步骤二:数据处理,将其分为三个数据集:训练集,内部测试集和外部测试集,使用CT平扫数据进行数据标注,其余的研究对象分为内部测试集和外部测试集,其中,内部测试集由来自吉林大学第二医院的数据组成,外部测试集包括来自各个院区的亚组和基于不同制造商的亚组,内部测试集用于测试单中心环境下工具的稳定性,而外部测试集用于测试多中心环境下工具的性能,所有扫描分为三个风险等级:阴性(0级),即未发现风险;诊断灰色区(1级),即发现风险,建议定期复查(放射科医生应在报告中提及);阳性(2级),符合主动脉瘤诊断标准,建议临床科室介入联合判断检查;
步骤三:建立模型,然后利用Attention-Unet卷积神经网络构建辅助诊断工具,使用其评估测试集中主动脉瘤风险,检测敏感度、特异度和准确度;
1)图像预处理
在预处理中,将所有得到的扫描图像厚度统一为数据集中的中位数5MM,所有CT扫描的尺寸统一为512×512;对所有的数据集应用相同的窗口宽度和窗口级别(窗口宽度=400,窗口级别=0);然后对每一层扫描使用0-1蒙片生成去背板图像,人体部位为1,其他位置为0(包括扫描床、体外腔等);在训练中不考虑体外部分,所有数据减去平均值除以标准差,为了提高网络的泛化能力,在训练过程中对数据进行随机增强,增强操作包括在[-15,15]的范围内随机旋转、左右翻转,以及弹性变形,为了适应不同扫描强度带来的影像强度分布差异,我们在训练过陈中每个EPOCH给每个CT加上一个符合期望为20,标准差为10的正态分布的随机数;
2)AttentionU-net
使用带有AGs的CNN模型可以用类似于FCN模型训练的标准方法从零开始训练,AGs可以自动学习聚焦于目标结构而无需额外的监督;在测试时,这些门会自动生成软区域建议,并突出对特定任务有用的显著特征;此外,它们不会引入大量的计算开销,也不像多模型框架那样需要大量的模型参数;反过来,提出的AGs通过抑制不相关区域的特征激活,提高了模型对密集标签预测的敏感性和准确性;这样,在保持较高的预测精度的同时,可以消除使用外部器官定位模型的必要性,AGs可用于基于CNN的标准图像分析模型,用于密集标签预测;特别是在图像分割的情况下,AGs对医学图像分析有着一定优势;
3)ATTENTIONGATE
输入特征通过在AG中计算的注意系数进行缩放;通过分析门控信号通过分析门控信号是从一个较粗的尺度收集的;利用三线性插值对注意系数进行网格重采样;AGs被合并到标准U-Net架构中,以突出通过跳跃连接的特征,在连接操作之前,为合并激活单元,要从粗尺度提取相关的信息用于门控,以消除跳跃连接中不相关和噪音产生的响应歧义;此外,AGs在向前传递和向后传递过程中会过滤神经元的激活,在逆向传递过程中,会降低来自背景区域的渐变的权重,这使得较浅层的模型参数主要基于与给定任务相关的空间区域进行更新;为了减少AGs的可训练参数数目和计算复杂度,在没有任何空间支持(1x1x1卷积)的情况下进行线性变换,并将输入特征映射降采样到选通信号的分辨率,相应的线性变换对特征映射进行解耦,并将其映射到低维空间进行选通操作,低级特征映射,即第一跳连接,不用于选通功能,因为它们不代表高维空间中的输入数据,Oktay使用深度监督来强制的使中间特征映射在每个图像尺度上具有语义上的区分;这个做法有助于确保在不同尺度的attentiongate能够影响大范围图像的前景内容的响应,这样可以防止通过跳跃连接的小子集重构预测;
4)CNN训练
训练阶段的输入是3层连续扫描数据和人体mask输出是中间层的分割结果,loss是系数和二元交叉熵的加权总和,忽略了人体外所有位置产生的损失,梯度下降法选择Adam,每100批调整一次学习速率,降低到之前的0.99倍;该网络是基于PaddlePaddle框架实现的,在CPU核心数为4,内存大小32G,GPU为TeslaV100的环境上进行训练,该环境batchsize为160,共进行了40次迭代;
5)检测血管直径
利用训练好的网络权值进行计算,得到各层的分割结果,并将其融合到三维空间中,得到分割标签,为了去除主动脉外的假阳性,我们只保留分割标签中最大的连通块作为分割结果;由于扫描主动脉的整个过程不一样,扫描时病人的姿势也不完全规范,因此,在CT扫描中,直径并非全部落在横截面上,所以,我们在三维空间中重建扫描标签,并在三维空间中测量管道直径,具体方法是对分段标签中的连接块进行扫描,得到标签中最大的连接块,进而去除一些小的假阳性块;利用Canny边缘检测算法得到所有连通块的边缘,并利用所有边缘像素进行三维重建;然后我们选取每张断层扫描片上血管处随机的一点上制作一个水平面,并使用梯度下降法来调整平面的法向量,即调整平面的方向,使平面与血管相交形成的近似圆形的多边形面积最小(在血管的两端,由于平面限制不能使血管旋转),我们把这个平面作为血管的切面,计算出相交后形成的多边形面积的直径;
步骤四;表现评估,测试辅助诊断方法得到的结果和放射科医生的诊断结果的一致性,首先,全部的测试集用于测试辅助诊疗系统的性能表现,其次,根据“不同中心”和“不同制造商”将其划分为不同的子集来测试所构建的辅助诊疗系统的表现从外部测试集中随机抽取100次检查,使用本系统对所样张进行评估,最后通过判断本系统和医师诊断的一致性来考察系统表现。
虽然在上文中已经参考实施方式对本发明进行了描述,然而在不脱离本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是,只要不存在结构冲突,本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用,在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此,本发明并不局限于文中公开的特定实施方式,而是包括落入权利要求的范围内的所有技术方案。

Claims (1)

1.基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法,其特征在于,包括如下步骤:
步骤一:数据采集,首先从医院的院区中回顾性的收集了多份带有主动脉的普通CT扫描,数据是连续采集的,包括影像诊断报告和检查,所有采集的图像均为DICOM格式,包括患者的年龄、性别和多个CT参数等信息,在临床工作流程中,主动脉支架的术后情况将由接诊科室进行特别标记,在这种情况下,放射科医生将会更加关注这些人群患主动脉疾病的风险,使得漏诊的可能性相对较小,为了确保所有研究对象的主动脉在CT扫描上清晰可见,以便更有效地评估辅助诊断工具的有效性,遂提出以下数据纳入和排除标准,首先,对所有数据采用相同的纳入和排除标准,纳入标准如下:
(A)检查项目为CT/CTA;
(B)包括胸主动脉或腹主动脉;
(C)出具明确诊断报告;
除此之外,排除标准如下:
(A)主动脉手术后;
(B)低信噪比和不清晰的图像;
(C)同一患者在不同时间的检查;
(D)CTA或其他增强CT;
步骤二:数据处理,将其分为三个数据集:训练集,内部测试集和外部测试集,使用CT平扫数据进行数据标注,其余的研究对象分为内部测试集和外部测试集,其中,内部测试集由来自吉林大学第二医院的数据组成,外部测试集包括来自各个院区的亚组和基于不同制造商的亚组,内部测试集用于测试单中心环境下工具的稳定性,而外部测试集用于测试多中心环境下工具的性能,所有扫描分为三个风险等级:阴性(0级),即未发现风险;诊断灰色区(1级),即发现风险,建议定期复查(放射科医生应在报告中提及);阳性(2级),符合主动脉瘤诊断标准,建议临床科室介入联合判断检查;
步骤三:建立模型,然后利用Attention-Unet卷积神经网络构建辅助诊断工具,使用其评估测试集中主动脉瘤风险,检测敏感度、特异度和准确度;
1)图像预处理
在预处理中,将所有得到的扫描图像厚度统一为数据集中的中位数5MM,所有CT扫描的尺寸统一为512×512;对所有的数据集应用相同的窗口宽度和窗口级别(窗口宽度=400,窗口级别=0);然后对每一层扫描使用0-1蒙片生成去背板图像,人体部位为1,其他位置为0(包括扫描床、体外腔等);在训练中不考虑体外部分,所有数据减去平均值除以标准差,为了提高网络的泛化能力,在训练过程中对数据进行随机增强,增强操作包括在[-15,15]的范围内随机旋转、左右翻转,以及弹性变形,为了适应不同扫描强度带来的影像强度分布差异,我们在训练过陈中每个EPOCH给每个CT加上一个符合期望为20,标准差为10的正态分布的随机数;
2)AttentionU-net
使用带有AGs的CNN模型可以用类似于FCN模型训练的标准方法从零开始训练,AGs可以自动学习聚焦于目标结构而无需额外的监督;在测试时,这些门会自动生成软区域建议,并突出对特定任务有用的显著特征;此外,它们不会引入大量的计算开销,也不像多模型框架那样需要大量的模型参数;反过来,提出的AGs通过抑制不相关区域的特征激活,提高了模型对密集标签预测的敏感性和准确性;这样,在保持较高的预测精度的同时,可以消除使用外部器官定位模型的必要性,AGs可用于基于CNN的标准图像分析模型,用于密集标签预测;特别是在图像分割的情况下,AGs对医学图像分析有着一定优势;
3)ATTENTIONGATE
输入特征通过在AG中计算的注意系数进行缩放;通过分析门控信号通过分析门控信号是从一个较粗的尺度收集的;利用三线性插值对注意系数进行网格重采样;AGs被合并到标准U-Net架构中,以突出通过跳跃连接的特征,在连接操作之前,为合并激活单元,要从粗尺度提取相关的信息用于门控,以消除跳跃连接中不相关和噪音产生的响应歧义;此外,AGs在向前传递和向后传递过程中会过滤神经元的激活,在逆向传递过程中,会降低来自背景区域的渐变的权重,这使得较浅层的模型参数主要基于与给定任务相关的空间区域进行更新;为了减少AGs的可训练参数数目和计算复杂度,在没有任何空间支持(1x1x1卷积)的情况下进行线性变换,并将输入特征映射降采样到选通信号的分辨率,相应的线性变换对特征映射进行解耦,并将其映射到低维空间进行选通操作,低级特征映射,即第一跳连接,不用于选通功能,因为它们不代表高维空间中的输入数据,Oktay使用深度监督来强制的使中间特征映射在每个图像尺度上具有语义上的区分;这个做法有助于确保在不同尺度的attentiongate能够影响大范围图像的前景内容的响应,这样可以防止通过跳跃连接的小子集重构预测;
4)CNN训练
训练阶段的输入是3层连续扫描数据和人体mask输出是中间层的分割结果,loss是系数和二元交叉熵的加权总和,忽略了人体外所有位置产生的损失,梯度下降法选择Adam,每100批调整一次学习速率,降低到之前的0.99倍;该网络是基于PaddlePaddle框架实现的,在CPU核心数为4,内存大小32G,GPU为TeslaV100的环境上进行训练,该环境batchsize为160,共进行了40次迭代;
5)检测血管直径
利用训练好的网络权值进行计算,得到各层的分割结果,并将其融合到三维空间中,得到分割标签,为了去除主动脉外的假阳性,我们只保留分割标签中最大的连通块作为分割结果;由于扫描主动脉的整个过程不一样,扫描时病人的姿势也不完全规范,因此,在CT扫描中,直径并非全部落在横截面上,所以,我们在三维空间中重建扫描标签,并在三维空间中测量管道直径,具体方法是对分段标签中的连接块进行扫描,得到标签中最大的连接块,进而去除一些小的假阳性块;利用Canny边缘检测算法得到所有连通块的边缘,并利用所有边缘像素进行三维重建;然后我们选取每张断层扫描片上血管处随机的一点上制作一个水平面,并使用梯度下降法来调整平面的法向量,即调整平面的方向,使平面与血管相交形成的近似圆形的多边形面积最小(在血管的两端,由于平面限制不能使血管旋转),我们把这个平面作为血管的切面,计算出相交后形成的多边形面积的直径;
步骤四;表现评估,测试辅助诊断方法得到的结果和放射科医生的诊断结果的一致性,首先,全部的测试集用于测试辅助诊疗系统的性能表现,其次,根据“不同中心”和“不同制造商”将其划分为不同的子集来测试所构建的辅助诊疗系统的表现从外部测试集中随机抽取100次检查,使用本系统对所样张进行评估,最后通过判断本系统和医师诊断的一致性来考察系统表现。
CN202110550042.2A 2021-05-20 2021-05-20 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法 Active CN113223704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550042.2A CN113223704B (zh) 2021-05-20 2021-05-20 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550042.2A CN113223704B (zh) 2021-05-20 2021-05-20 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法

Publications (2)

Publication Number Publication Date
CN113223704A true CN113223704A (zh) 2021-08-06
CN113223704B CN113223704B (zh) 2022-07-26

Family

ID=77093628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550042.2A Active CN113223704B (zh) 2021-05-20 2021-05-20 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法

Country Status (1)

Country Link
CN (1) CN113223704B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538163B1 (en) 2022-01-06 2022-12-27 Rowan University Training a neural network for a predictive aortic aneurysm detection system

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143037A1 (en) * 2009-04-07 2012-06-07 Kayvan Najarian Accurate Pelvic Fracture Detection for X-Ray and CT Images
CN107610773A (zh) * 2017-09-12 2018-01-19 北京即刻叁维数据科技股份有限公司 一种基于主动脉医学影像的血管夹层辅助诊断方法
CN108335304A (zh) * 2018-02-07 2018-07-27 华侨大学 一种腹部ct扫描序列图像的主动脉瘤分割方法
CN109255354A (zh) * 2018-10-15 2019-01-22 天津大学 面向医用ct的计算机图像处理方法和装置
CN110265141A (zh) * 2019-05-13 2019-09-20 上海大学 一种肝脏肿瘤ct影像计算机辅助诊断方法
EP3631747A1 (en) * 2017-05-31 2020-04-08 Fondazione Ri.MED Method and system for the evaluation of the risk of aortic rupture or dissection in an individual with an ascending thoracic aortic aneurysm
CN111047589A (zh) * 2019-12-30 2020-04-21 北京航空航天大学 一种注意力增强的脑肿瘤辅助智能检测识别方法
CN111210401A (zh) * 2018-11-20 2020-05-29 西门子医疗有限公司 根据医学图像的主动脉自动检测和量化
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111557020A (zh) * 2018-02-07 2020-08-18 国际商业机器公司 基于完全卷积神经网络的心脏cta解剖结构分割系统
CN111986181A (zh) * 2020-08-24 2020-11-24 中国科学院自动化研究所 基于双注意力机制的血管内支架图像分割方法和系统
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及系统
WO2021038203A1 (en) * 2019-08-23 2021-03-04 Oxford University Innovation Limited Computerised tomography image processing
CN112750137A (zh) * 2021-01-14 2021-05-04 江南大学 基于深度学习的肝脏肿瘤分割方法及系统
CN112754511A (zh) * 2021-01-20 2021-05-07 武汉大学 一种基于深度学习的ct影像颅内血栓检测及性质分类方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143037A1 (en) * 2009-04-07 2012-06-07 Kayvan Najarian Accurate Pelvic Fracture Detection for X-Ray and CT Images
EP3631747A1 (en) * 2017-05-31 2020-04-08 Fondazione Ri.MED Method and system for the evaluation of the risk of aortic rupture or dissection in an individual with an ascending thoracic aortic aneurysm
CN107610773A (zh) * 2017-09-12 2018-01-19 北京即刻叁维数据科技股份有限公司 一种基于主动脉医学影像的血管夹层辅助诊断方法
CN108335304A (zh) * 2018-02-07 2018-07-27 华侨大学 一种腹部ct扫描序列图像的主动脉瘤分割方法
CN111557020A (zh) * 2018-02-07 2020-08-18 国际商业机器公司 基于完全卷积神经网络的心脏cta解剖结构分割系统
CN109255354A (zh) * 2018-10-15 2019-01-22 天津大学 面向医用ct的计算机图像处理方法和装置
CN111210401A (zh) * 2018-11-20 2020-05-29 西门子医疗有限公司 根据医学图像的主动脉自动检测和量化
CN110265141A (zh) * 2019-05-13 2019-09-20 上海大学 一种肝脏肿瘤ct影像计算机辅助诊断方法
WO2021038203A1 (en) * 2019-08-23 2021-03-04 Oxford University Innovation Limited Computerised tomography image processing
CN111047589A (zh) * 2019-12-30 2020-04-21 北京航空航天大学 一种注意力增强的脑肿瘤辅助智能检测识别方法
CN111445481A (zh) * 2020-03-23 2020-07-24 江南大学 一种基于尺度融合的腹部ct多器官的分割方法
CN111986181A (zh) * 2020-08-24 2020-11-24 中国科学院自动化研究所 基于双注意力机制的血管内支架图像分割方法和系统
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及系统
CN112750137A (zh) * 2021-01-14 2021-05-04 江南大学 基于深度学习的肝脏肿瘤分割方法及系统
CN112754511A (zh) * 2021-01-20 2021-05-07 武汉大学 一种基于深度学习的ct影像颅内血栓检测及性质分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAYANG ZHONG ETC.: "Segmentation of the thoracic aorta using an attention-gated U-Net", 《PROCEEDINGS VOLUME 11597, MEDICAL IMAGING 2021: COMPUTER-AIDED DIAGNOSIS; 115970M (2021) HTTPS://DOI.ORG/10.1117/12.2581947》 *
孙中杰 等: "深度学习在主动脉中膜变性病理图像分类中的应用", 《计算机应用》 *
隋晓丹: "基于深度学习算法的主动脉瘤CT影像分割技术研究", 《中国优秀硕士学位论文全文库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538163B1 (en) 2022-01-06 2022-12-27 Rowan University Training a neural network for a predictive aortic aneurysm detection system

Also Published As

Publication number Publication date
CN113223704B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
Su et al. Lung nodule detection based on faster R-CNN framework
US11576621B2 (en) Plaque vulnerability assessment in medical imaging
Wu et al. Automatic detection of coronary artery stenosis by convolutional neural network with temporal constraint
Candemir et al. Automated coronary artery atherosclerosis detection and weakly supervised localization on coronary CT angiography with a deep 3-dimensional convolutional neural network
Xu et al. DeepLN: a framework for automatic lung nodule detection using multi-resolution CT screening images
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
US20220284583A1 (en) Computerised tomography image processing
CN112785551A (zh) 一种基于深度学习的冠状动脉分割方法
Wei et al. Computerized detection of noncalcified plaques in coronary CT angiography: evaluation of topological soft gradient prescreening method and luminal analysis
Rueckel et al. Reduction of missed thoracic findings in emergency whole-body computed tomography using artificial intelligence assistance
CN114998292A (zh) 一种基于残差双注意力机制的心血管钙化斑块检测系统
CN113223704B (zh) 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
Alidoost et al. Model utility of a deep learning-based segmentation is not Dice coefficient dependent: A case study in volumetric brain blood vessel segmentation
KR101162599B1 (ko) 흉부 방사선 이미지 분석을 통한 심비대 자동탐지 방법 및 그 기록매체
Wang et al. AVDNet: Joint coronary artery and vein segmentation with topological consistency
Lee et al. Differentiation of urinary stone and vascular calcifications on non-contrast CT images: an initial experience using computer aided diagnosis
Xue et al. Region-of-interest aware 3D ResNet for classification of COVID-19 chest computerised tomography scans
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
Wu et al. Deep learning to estimate the physical proportion of infected region of lung for covid-19 pneumonia with ct image set
Gong et al. Hybrid-supervised bidirectional transfer networks for computer-aided diagnosis
CN113362332A (zh) Oct影像下冠状动脉管腔轮廓的深度网络分割方法
Zhao et al. Automated breast lesion segmentation from ultrasound images based on ppu-net
Gómez et al. A deep supervised cross-attention strategy for ischemic stroke segmentation in MRI studies
Chen et al. Ultrasound lmaging-vulnerable plaque diagnostics: Automatic carotid plaque segmentation based on deep learning
Chen et al. Deep learning based automatic Debakey classification of aortic dissection using CT plain scan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant