CN116402756A - 一种融合多层次特征的x光片肺部疾病筛查系统 - Google Patents

一种融合多层次特征的x光片肺部疾病筛查系统 Download PDF

Info

Publication number
CN116402756A
CN116402756A CN202310224278.6A CN202310224278A CN116402756A CN 116402756 A CN116402756 A CN 116402756A CN 202310224278 A CN202310224278 A CN 202310224278A CN 116402756 A CN116402756 A CN 116402756A
Authority
CN
China
Prior art keywords
module
lung
features
image
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310224278.6A
Other languages
English (en)
Inventor
张蕾
牛怡
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202310224278.6A priority Critical patent/CN116402756A/zh
Publication of CN116402756A publication Critical patent/CN116402756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0475Generative networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/094Adversarial learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种融合多层次特征的X光片肺部疾病筛查系统,包括肺实质分割模块、肺部疾病初筛模块、多层次特征构建模块、肺部疾病筛查模块;肺实质分割模块用于从完整胸部X光片中分割得到肺实质部分;肺部疾病初筛模块用于构造基于特征一致性变分自编码生成对抗网络并对其进行训练,采用训练好的生成对抗网络得到初筛异常分数;多层次特征构建模块用于提取不同语义层次的特征,包括底层视觉特征、中层深度特征和高层经验特征的提取;肺部疾病筛查模块用于采用多层次特征及肺部疾病初筛模块得到的异常分数构建肺部疾病筛查模型,得到最终的肺部疾病分类结果。本发明能够有效解决当前计算机辅助肺部疾病筛查领域研究难以应用于实际临床场景的问题。

Description

一种融合多层次特征的X光片肺部疾病筛查系统
技术领域
本发明属于智能医学影像分析技术领域,涉及一种融合多层次特征的X光片肺部疾病筛查系统。
背景技术
例如常见的肺炎、肺癌、肺结核、慢性阻塞性肺疾病等多种肺部疾病已成为全球性高发疾病,因此,对肺部疾病的高效筛查对于保障人民健康生活起着至关重要的作用。
当前,对于肺部疾病的诊断有诸如痰细胞检查、支气管镜检查、CT检查检查以及胸部X光片检查等多种检查手段。其中,胸部X光片以其易获取、低成本、低辐射、且可以观察到大部分的肺部病变等特点现已成为全球最常用的影像学检查手段之一和肺部疾病筛查的主要检查手段。随着医疗改革的发展以及体检需求量的不断增加,X光片作为体检必不可少的检查项目,其影像的产出量也成倍增加,影像科医生的工作负担也越来越重。而目前医生通过肉眼阅片受人的生理性疲劳或个人主观思想等因素干扰,仍然存在误诊漏诊率高、阅片速度有限等多种不足,且当前医学影像领域专业医生缺口也非常大。
当人力难以为继时,越来越多的研究者们尝试采用计算机手段辅助医生进行疾病筛查,进而引入计算机辅助检测或诊断(Computer-aided Detection/Diagnosis,CAD)系统来助力医疗服务。计算机以其强大的计算及存储能力可以对影像信息进行快速、全面且精确的计算,让医生从传统的依靠经验诊断变成依靠更佳精确的计算来进行诊断,在保证筛查结果准确率的情况下极大减轻医生工作负担。
当前计算机辅助肺部疾病筛查的主要研究思路是针对某几种类型疾病进行建模,寻求改类型疾病分类或检测模型的改进,进而完成疾病的分类。但现实生活中肺部疾病类别繁多难以穷尽且影像征象复杂多变,若测试过程中存在未知类型疾病极容易产生漏诊现象。并且,当前研究主要以追求筛查结果的准确率提升为目标,寻找敏感性与特异性的折中点,进一步给出疾病诊断结果。而影像科医生的阅片过程往往是一个繁复的过程,这种计算机直接给出的疾病诊断结果往往仍需医生再次复核,反而增加了疾病诊断时间。以上问题进一步导致了当前研究难以应用于实际临床场景中。
发明内容
针对当前计算机辅助肺部疾病筛查领域研究难以应用于实际临床场景的问题,本发明的目的是提供一种融合多层次特征的X光片肺部疾病筛查系统,该系统能够更好的适用于临床场景,发挥计算机辅助筛查的作用。
本发明认为,计算机辅助诊断的重点在于辅助,即为医生提供“第二参考意见”辅助医生的诊断决策,而非代替医生给出诊断结果。因此,本发明并不代替医生进行疾病类型的诊断,而是辅助医生在筛查过程中排除掉百分百正常的影像,将剩余有可能存在疾病的影像交由医生或者后续任务进行判断。这样在面对体检等大范围筛查场景中,本发明可以更好的在临床场景中与医生的阅片流程契合,进而可以极大减轻医生及后续任务的工作量。基于以上临床应用目的,本筛查系统的目标将总结为保证筛查结果的漏诊率为0的同时进一步降低筛查结果的误诊率。
为实现上述目标,本发明将融合不同语义层次特征的互补优势构建多层次特征,并仅针对正常影像的上述特征进行建模,进而达到辅助医生排除掉百分百正常的影像的目标。本发明将采用如下技术解决方案予以实现:
一种融合多层次特征的X光片肺部疾病筛查系统,包括肺实质分割模块、肺部疾病初筛模块、多层次特征构建模块、肺部疾病筛查模块;其中:
所述肺实质分割模块用于从完整胸部X光片中分割得到肺实质部分;
肺实质分割模块包括预处理子模块、肺实质分割模型训练子模块和分割子模块;
所述预处理子模块用于实现:分别对MontgomeryCXR数据集胸部X光片和与之对应的分割掩膜同时进行旋转、平移、裁剪以及水平翻转操作,得到预处理后的图片作为训练集;
所述肺实质分割模型训练子模块用于采用训练集训练Attention U-net模型,得到训练好的肺实质分割模型;
所述分割子模块用于将待分割的胸部X光片图像输入训练好的肺实质分割模型,得到其对应的分割掩膜二值图;
所述肺部疾病初筛模块用于构造生成对抗网络并对其进行训练,采用训练好的生成对抗网络得到初筛异常分数;
肺部异常初筛模块包括生成对抗网络构造子模块、生成对抗网络训练子模块和肺部疾病初筛子模块;
所述生成对抗网络构造子模块用于构造生成对抗网络;
所述生成对抗网络训练子模块用于实现如下功能:依据肺实质分割模块获取到的分割掩膜二值图,从原始胸部X光片裁剪出完整的肺部区域,即得到裁剪后的X光片;将裁剪后的X光片划分为训练集、验证集和测试集,其中,训练集中仅包含正常的X光片;使用训练集进行训练得到训练好的生成对抗网络;
所述肺部疾病初筛子模块用于将测试集输入训练好的生成对抗网络得到重构图像,计算重构前后差异得到初筛的异常分数;
所述多层次特征构建模块用于提取多层次特征,包括底层视觉特征、中层深度特征和高层经验特征的提取;
所述肺部疾病筛查模块用于采用多层次特征构建模块得到的多层次特征及肺部疾病初筛模块得到的异常分数构建肺部疾病筛查模型,得到最终的肺部疾病分类结果。
进一步的,所述肺实质分割模块还包括连通区域检测子模块,其用于实现对分割子模块输出的分割掩膜二值图进行连通区域检测,仅保留其中最大的两个联通区域即左、右肺区域,得到最终肺部区域的分割掩膜二值图。
进一步的,所述生成对抗网络包括两个编码器Enc、一个解码器Dec、一个鉴别器D以及隐层编码分类器C,且两个编码器权值共享。
进一步的,所述生成对抗网络训练子模块中,所述使用训练集进行训练得到训练好的生成对抗网络的具体操作如下:
首先,将训练集中的图像作为输入图像x,经编码器得到维度大小为128的隐层编码特征;
接着,从标准高斯分布中采样得到128维特征,将该采样特征与上述隐层编码特征一同送入隐层编码分类器中进行分类,在此二元交叉熵损失作为隐层编码对抗损失Ladv_code用于更新隐层编码分类器和编码器参数;
同时,将隐层编码特征送入解码器中得到输入图像x的重构图像
Figure SMS_1
将上述标准高斯分布中所得采样特征送入解码器中得到生成图像/>
Figure SMS_2
进一步将该生成图像/>
Figure SMS_3
重构图像
Figure SMS_4
以及输入图像x共同送入鉴别器中进行分类;在此,使用交叉熵损失作为图像对抗损失Ladv_img用于更新鉴别器及解码器参数;并使用L1损失作为图像重构损失Lrec用于更新编码器和解码器参数;
此外,将重构图像
Figure SMS_5
送入第二个编码器中,该编码器与第一个编码器权值共享;提取两个编码器第二个卷积层的特征fmp以及最后一层的编码特征code,其中fmp包含图像的浅层风格特征,code包含图像的深层语义特征;使用L2损失作为特征图一致性损失Lfmp以及L1损失作为编码一致性损失Lcode用于更新解码器参数;
最后,分别更新编码器参数
Figure SMS_6
解码器参数
Figure SMS_7
以及隐层编码分类器参数/>
Figure SMS_8
进一步的,超参数λ1123分别设置为4,10,4,2。
进一步的,所述肺部疾病初筛子模块中,根据图像重构损失Lrec与特征图一致性损失Lfmp计算得到测试集中每个测试样本的异常分数:
Figure SMS_9
进一步的,所述底层视觉特征包括几何形状特征、强度特征以及纹理特征;中层深度特征采用训练好的生成对抗网络中编码器所提取的图像编码特征;高层经验特征包括对肺实质分割模块输出的分割后的胸部X光片提取得到的左右肺高度差、肺部宽高比、心胸比、左右肺肋膈角以及上下纵隔宽度特征。
进一步的,所述肺部疾病筛查模块包括特征分组模块、特征选择及抽取模块、分类输出模块,其中:
所述特征分组模块用于将多层次特征特征依据左、右肺部区域划分及特征类别划分为高层经验特征、中层深度特征、几何形状特征、左肺强度特征、右肺强度特征、左肺纹理特征以及右肺纹理特征共七组;
所述特征选择及抽取模块用于对七组特征分别采用单变量分析方法和多变量分析方法进行特征选择及特征抽取,得到七组特征子集;
所述分类输出模块用于对七组特征子集分别构建OC-SVM基分类器,并进一步将七个OC-SVM基分类器所得异常分数以及肺部疾病初筛模块输出的初筛异常分数组合作为OC-SVM元分类模型的输入,得到最终肺部疾病分类结果。
进一步的,所述特征选择及抽取模块中,所述的单变量分析方法采用t-检验及互信息法,多变量分析方法采用因子分析方法;以验证集分类结果的AUC值作为评价准则选取得到最优的七组特征子集。
相较于现有技术,本发明的系统具有如下有益效果:
1、本发明并不代替医生进行疾病类型的诊断,而是辅助医生在筛查过程中排除掉百分百正常的影像。相比现有代替医生进行疾病分类的技术,本发明能够更好的在临床场景中与医生的阅片流程契合,进而可以极大减轻医生及后续任务的工作量。
2、本发明仅对正常胸部X光片的特征进行建模,并不对任何类型疾病特征进行建模,进而使所学习到的分类器在推理过程中可以正确识别正常的胸部X光片,对于其他类别X光片统一归为未知类别并暂定为异常类别。相比现有针对具体某几类疾病进行建模的方法,本发明可以有效降低因未知疾病误分所带来的漏诊现象。
3、本发明提出基于特征一致性的变分自编码生成对抗网络,该网络在传统变分自编码网络的基础上添加了一个与原始编码器权值共享的编码器用于对重构图像进行编码,并添加特征图一致性损失和编码一致性损失使得原始图像和重构图像在底层风格特征和深层语义特征上更加接近,进一步促进了图像的重构效果。该网络可以在只有正常图像参与模型训练的情况下,使得模型所学习到正常图像的特征与异常影像特征之间更具区分性,同时增强了本发明中肺部疾病的初筛效果。
4、本发明融合了不同语义层次特征的互补优势构建了多层次的特征集,相比现有大多数采用深度网络的计算机辅助筛查方法,补充了医生经验特征所带来的先验知识以及底层视觉特征所带来的图像细节特征,并且在一定程度上增强了筛查结果的可解释性。
附图说明
图1是本发明的融合多层次特征的X光片肺部疾病筛查系统的原理图;
图2是本发明中生成对抗网络的框架图。
图3是实施例中肺实质分割后图像上的肺部区域分区示例图。
图4是实施例中TCLD_CXR数据集分割结果可视化图。
具体实施方式
参照图1,本发明给出的融合多层次特征的X光片肺部疾病筛查系统,包括肺实质分割模块、肺部疾病初筛模块、多层次特征构建模块、肺部疾病筛查模块。
一、肺实质分割模块
肺实质分割模块用于从完整胸部X光片中分割得到肺实质部分,以减少肺部无关区域的冗余信息,消除该冗余信息对筛查结果的影响。肺实质分割模块包括预处理子模块、肺实质分割模型训练子模块和分割子模块,其中:
预处理子模块:为增强模型的泛化性能,分别对MontgomeryCXR数据集胸部X光片和与之对应的分割掩膜同时进行旋转、平移、裁剪以及水平翻转操作,得到预处理后的图片作为训练集,以进一步扩充训练样本多样性。
肺实质分割模型训练子模块:采用训练集训练Attention U-net模型,得到训练好的肺实质分割模型;Attention U-net作为U-net的改进模型,拥有同U-net一样适用于小样本数据训练的优点外,同时其soft-attention方法可有效抑制图像的无关区域并突出特定区域的显著特征,可进一步提高模型灵敏度和预测精度。
分割子模块:用于将待分割的胸部X光片图像输入训练好的肺实质分割模型,该模型能够对输入图像的每一个像素进行分类,得到其对应的分割掩膜二值图。
上述肺实质分割模块中,采用公开的MontgomeryCXR数据进行模型训练,实现对肺实质区域进行自动分割,无需医生进行手动勾勒,可节省大量工作负担。
优选的,为避免模型可能会将部分其他小的组织预测为肺部区域,肺实质分割模块中还设计有连通区域检测子模块,该子模块用于实现对分割子模块输出的分割掩膜二值图进行连通区域检测,仅保留其中最大的两个联通区域即左、右肺区域,进一步得到最终肺部区域的分割掩膜二值图。根据分割掩膜可以从原图中裁剪出肺部区域用于后续的特征提取部分。
二、肺部疾病初筛模块
用于构造基于特征一致性的变分自编码生成对抗网络并对其进行训练,采用训练好的生成对抗网络得到初筛异常分数。肺部异常初筛模块包括生成对抗网络构造子模块、生成对抗网络训练子模块和肺部疾病初筛子模块。
生成对抗网络构造子模块:用于构造生成对抗网络,其网络结构如图2所示,包括两个编码器Enc、一个解码器Dec、一个鉴别器D以及隐层编码分类器C,且两个编码器权值共享。
生成对抗网络训练子模块:用于实现如下功能:依据肺实质分割模块获取到的分割掩膜二值图,从原始胸部X光片裁剪出完整的肺部区域,即得到裁剪后的X光片;将裁剪后的X光片划分为训练集、验证集和测试集,其中,训练集中仅包含正常的X光片;使用训练集进行训练得到训练好的生成对抗网络。
其中,所述使用训练集进行训练得到训练好的生成对抗网络的具体操作如下:
首先,将训练集中的图像作为输入图像x,经编码器得到维度大小为128的隐层编码特征。
接着,从标准高斯分布中采样得到128维特征,将该采样特征与上述隐层编码特征一同送入隐层编码分类器中进行分类,在此二元交叉熵损失作为隐层编码对抗损失Ladv_code用于更新隐层编码分类器和编码器参数,使得隐层编码特征更接近标准高斯分布。
同时,将隐层编码特征送入解码器中得到输入图像x的重构图像
Figure SMS_10
将上述标准高斯分布中所得采样特征送入解码器中得到生成图像/>
Figure SMS_11
进一步将该生成图像/>
Figure SMS_12
重构图像
Figure SMS_13
以及输入图像x共同送入鉴别器中进行分类。在此,使用交叉熵损失作为图像对抗损失Ladv_img用于更新鉴别器及解码器参数,进一步促进解码器生成更高质量的图像。并使用L1损失作为图像重构损失Lrec用于更新编码器和解码器参数,使得输入图像x与所得重构图像
Figure SMS_14
尽可能地相似。
此外,将重构图像
Figure SMS_15
送入第二个编码器中,该编码器与第一个编码器权值共享。提取两个编码器第二个卷积层的特征fmp以及最后一层的编码特征code,其中fmp包含图像的浅层风格特征,code包含图像的深层语义特征。使用L2损失作为特征图一致性损失Lfmp以及L1损失作为编码一致性损失Lcode用于更新解码器参数,使得输入图像x与重构图像/>
Figure SMS_16
经过两个编码器编码所得特征图fmp以及编码特征code尽可能地相近,进一步增强正常X光片的重构效果。
最后,分别更新编码器参数
Figure SMS_17
解码器参数
Figure SMS_18
以及隐层编码分类器参数/>
Figure SMS_19
其中,超参数λ1123分别设置为4,10,4,2。
肺部疾病初筛子模块:由于前述模型训练阶段只学习过对正常X光片的重构,因此在测试阶段对正常样本具有比较好的重构效果,对未学习过的异常样本具有比较差的重构效果。因此,可以将测试集输入训练好的生成对抗网络得到重构图像,计算重构前后差异得到初筛的异常分数。优选的,利用下式,根据图像重构损失Lrec与特征图一致性损失Lfmp计算得到测试集中每个测试样本的异常分数:
Figure SMS_20
三、多层次特征构建模块
多层次特征构建模块用于提取不同语义层次特征,包括底层视觉特征、中层深度特征和高层经验特征。其中,底层特征包含如X光片中肺部形状、纹理等底层视觉特征,其所包含语义信息较少,但其特征粒度更细且描述目标准确;中层特征包含有深度神经网络所提取的深度特征,该特征语义抽象但缺乏可解释性;高层特征包含由医生经验指导的且能反应肺部疾病异常的一些手工特征,这部分特征更能被医生理解且能反应确切的疾病信息。这三层特征提取操作的具体设计如下:
底层视觉特征提取:从影像科专家的角度来看,异常的胸部X光片往往表现出例如形状不规则、大小或结构不寻常、纹理复杂或混浊等视觉异常的特征。因此,在本发明中共收集几何形状特征、强度特征以及纹理特征三类底层视觉特征。其中,几何形状特征包含影像组学特征中常见网格面、像素面、周长以及周长比等特征。此外,为了提取更细粒度样本强度特征,本发明对分割后的胸部X光片图像采用医学中常用的肺部分区方式,将其纵向分为内、中、外带,横向分为上、中、下野,并分别基于如图3中左、右肺部的10个分区以及完整的左、右肺部提取每个个体的一阶统计量特征(first-order statistics features,FOSF,即强度特征)。同时,分别基于0°、45°、90°、135°四个方向提取每个个体的左、右肺灰度共生矩阵特征(Gray Level Co-occurrence Matrix,GLCM,即纹理特征)。在此使用GLCM纹理特征的关键动机是它能够在不同的方向上捕获具有预定义灰度强度的像素对的空间关系和预定义距离,并且是医学图像分析领域广泛接受的纹理特征编码方式。
中层深度特征提取:由于前述生成对抗网络训练时强制正常样本的编码特征分布拟合标准高斯分布,因此在推理过程中正常样本的编码特征更符合标准高斯分布,而异常样本编码特征分布更离散。同时,经过编码器编码后所得特征包含的语义信息更强,因此将上述训练好的生成对抗网络中编码器所提取的图像编码特征作为图像中层深度学习特征。
高层经验特征提取:已有基于医生经验的研究表示,如弥漫性肺等异常会直接导致胸部X光片成像中肺部的宽度或高度出现异常;心脏肥大会导致心胸比的异常;胸腔积液会导致肋膈角变钝;以及纵隔的宽度在正常影像和患有肺结核疾病的影像中存在一定差异。因此,本发明对肺实质分割模块得到的分割后的胸部X光片图像提取左右肺高度差、肺部宽高比、心胸比、左右肺肋膈角以及上下纵隔宽度特征作为图像的高层特征。
如表1所示,本发明共综合收集了646个特征,其中包括底层视觉特征502个、中层深度特征128个、高层经验特征16个。
表1多层次特征汇总
Figure SMS_21
肺部疾病筛查模块:用于采用多层次特征构建模块得到的多层次特征及肺部疾病初筛模块得到的异常分数构建肺部疾病筛查模型,得到最终的肺部疾病分类结果。肺部疾病筛查模块包括特征分组子模块、特征选择及抽取子模块、分类输出子模块。其中:
特征分组子模块:将多层次特征特征依据左、右肺部区域划分及特征类别划分为高层经验特征、中层深度特征、几何形状特征、左肺强度特征、右肺强度特征、左肺纹理特征以及右肺纹理特征共七组。
特征选择及抽取子模块:用于对七组特征分别采用单变量分析方法和多变量分析方法进行特征选择及特征抽取,以尽可能剔除不相关或冗余特征,得到七组特征子集。
具体的,单变量分析采用t-检验及互信息法,筛去低于阈值的特征。需要说明的是,上述方法需要正常与异常两类样本对比评估,而本方法训练时只存在正常一个类别,因此上述特征选择方法均在验证集上完成。此外,考虑到可能存在多个特征共同作用影响分类结果,因此采用因子分析方法进行多变量分析,抽取多个特征的共因子进行分类。最后,以验证集分类结果的AUC值作为评价准则选取得到最优的七组特征子集。
分类输出子模块:用于对七组特征子集分别构建OC-SVM基分类器,并进一步将七个OC-SVM基分类器所得异常分数以及肺部疾病初筛模块输出的初筛异常分数组合作为OC-SVM元分类模型的输入,得到最终肺部疾病分类结果。
实施例1:
本实施例采用的胸部X光片数据TCLD_CXR数据集来源于国内某三甲医院,共采集5299张胸部正位X光片图像,其中2383张图像为不包含任何疾病的正常图像,2806张图像伴有多种肺结核疾病。采集图像格式为DICOM格式,图像分辨率在858×1004像素至3480×4240像素之间。数据的所有标注工作均有三名专业影像科医生完成,对于有异议的标注结果则由三人投票确定最终标注。此外,对所有的DICOM图像依次完成数据脱敏工作。并且将16位灰度值的DICOM图像映射至8位灰度值,并以无损压缩类型PNG格式保存图像。
在此对该数据集依次划分1200张正常图像作为训练集;500张正常图像及500张异常图像作为验证集;剩余图像均用作测试集。在测试过程中模拟体检数据集进行测试,在此共进行50组测试,每组测试随机从测试集中抽取500张正常样本以及25张异常样本进行测试,其中异常占比不到5%。
接着依照以下步骤进行实施:
肺实质分割模块:采用上述经公开的MontgomeryCXR数据集训练好Attention U-net模型对本数据集的肺实质区域进行自动分割,并对预测所得的分割掩膜进行连通区域检测,得到最终肺部区域的分割掩膜以及分割结果如附图4所示。
肺部疾病初筛模块:使用正常的X光片训练本发明所提出的基于特征一致性的变分自编码生成对抗网络。使用训练好的网络对测试X光片进行重构,并将图像重构损失Lrec与特征图一致性损失Lfmp共同作为测试样本的异常分数(AS),即
Figure SMS_22
在本实施例中,α1和α2分别设置为3和2。
多层次特征构建模块:从肺实质分割模块所获取到的分割后的胸部X光片上提取对应的底层视觉特征及高层经验特征。同时使用肺部疾病初筛模块所训练好的基于特征一致性的变分自编码生成对抗网络提取编码器隐层编码特征作为该X光片的中层深度特征。
肺部疾病筛查模块:将所构建的多层次特征划分为高层经验特征、中层深度特征、几何形状特征、左肺强度特征、右肺强度特征、左肺纹理特征以及右肺纹理特征共七组。分别使用t-检验、互信息法对特征进行重要性评估,筛去低于阈值的特征。同时,使用因子分析方法进行多变量分析,提取多个特征的共因子进行分类,以验证集分类结果的AUC值作为评价准则选取得到最优七组特征子集。最后,对所得七组特征集分别构建OC-SVM基分类器,进一步将七个基分类器所得异常分数以及初筛所得初筛异常分数共同构建OC-SVM元分类模型,进而得到最终分类结果。在本实施例中,OC-SVM核函数均采用高斯核函数,且内核系数gamma设置为‘scale’方式,即以1/(n_features*X.var())作为gamma值。每个基模型所允许的训练误差分数上限nu值分别设置为nu_shape=0.25,nu_left_fosf=0.08,nu_right_fosf=0.1,nu_left_glcm=0.15,nu_right_glcm=0.2,nu_exp=0.3,nu_deep=0.25。对于最后所集成的元模型所允许的训练误差分数上限依据验证集筛查结果漏诊率为0时的误诊率进行选择,最终设置nu_ensemble=0.25。
本实施例中生成对抗网络与现有的几种针对单类别分类的深度学习模型对比结果如表2所示。其中,衡量指标AUC用于表示分类器的优劣程度,取值范围为[0.5,1],且值越高表示分类器性能越好。假阳性率(False Positive Rate,FPR),表示误诊率;假阴性率(False Negative Rate,FNR),表示漏诊率。
通过表2可以看到虽然相比其他方法,本发明所提出的基于特征一致性的变分自编码生成对抗网络分类效果存在明显提升,但是仍然无法达到本文漏诊率为0的筛查目标。在此,我们认为深度学习模型缺乏医生经验的指导,当只有正常图像一个类别参与训练时难以学习到区别于患病的其他类别的区别性特征,尤其是当推理过程中患病图像与正常图像差异不大时更加难以区分。
表2与现有单类别分类的深度学习模型对比实验结果
Figure SMS_23
进一步,本实施例设置了如表3所示几组消融试验。可以看到本发明所提出的融合多层次特征的X光片肺部疾病筛查方法比单独使用医生经验特征和单独使用深度学习模型均有明显提升,且该方法能够保证漏诊率为0的前提下误诊率也得到了大幅度的降低。同时可以看到本方法的预测结果方差也有明显降低,证明了该方法在鲁棒性上具有明显提升。进一步证明了融合医生经验的有效性。
表3消融实验结果
Figure SMS_24
对比实施例2:
本实施例采用的公开数据集Chest X-ray14由美国国立卫生研究院提供的,共包含了30805名患者的112120个单独标注的14种不同肺部疾病的正面胸部X光片。研究人员对数据采用NLP方法对图像进行标注。该数据集是目前肺部疾病筛查领域较为广泛应用的数据集。
在此,本实施例主要用于对比目前比较先进的几种针对具体疾病建模的肺部疾病筛查技术。在实验实施过程中,其他几种技术只针对肺炎疾病进行筛查,其训练集包含800张正常X光片影像和800张肺炎疾病影像,验证集和测试集均包含200张正常影像和200张异常影像。其中,验证集和测试集-1的异常影像仅包含肺炎疾病,而测试集-2的异常影像中包含10%的其他疾病。而应用于本方法的训练集只包含800张正常X光片影像,验证集和测试集与上述的验证集和测试集-2采用同样的设置。在此,对比以上几种技术在测试过程中加入未知疾病时的漏诊情况。
其对比结果如表4所示,其中ResNet50、VGG19、DesNet121、Xception、MobileNet几个预训练的基本分类模型是目前X光片肺部疾病筛查领域比较常用的几个基本分类模型。从表4可以看到本发明的系统可以很好的对未知疾病进行分类,保证其筛查结果的漏诊率为0。而其他技术在测试过程中加入未知疾病后其漏诊率或多或少均有一定的提升,且分类器性能也存在一定的下降。其中,FPR值没有发生变化的原因是两组测试集的正常样本并没有发生变化,因此其分类结果也不会发生变化。基于此结果,可以看到本发可以很好的保证对未知疾病不误分不漏诊。
表4Chest X-ray14数据集对比实验结果
Figure SMS_25
/>

Claims (9)

1.一种融合多层次特征的X光片肺部疾病筛查系统,其特征在于,包括肺实质分割模块、肺部疾病初筛模块、多层次特征构建模块、肺部疾病筛查模块;其中:
所述肺实质分割模块用于从完整胸部X光片中分割得到肺实质部分;
肺实质分割模块包括预处理子模块、肺实质分割模型训练子模块和分割子模块;
所述预处理子模块用于实现:分别对MontgomeryCXR数据集胸部X光片和与之对应的分割掩膜同时进行旋转、平移、裁剪以及水平翻转操作,得到预处理后的图片作为训练集;
所述肺实质分割模型训练子模块用于采用训练集训练Attention U-net模型,得到训练好的肺实质分割模型;
所述分割子模块用于将待分割的胸部X光片图像输入训练好的肺实质分割模型,得到其对应的分割掩膜二值图,进一步依据分割掩膜二值图获取到分割后的肺部区域;
所述肺部疾病初筛模块用于构造基于特征一致性变分自编码生成对抗网络并对其进行训练,采用训练好的生成对抗网络得到初筛异常分数;
肺部异常初筛模块包括生成对抗网络构造子模块、生成对抗网络训练子模块和肺部疾病初筛子模块;
所述生成对抗网络构造子模块用于构造生成对抗网络;
所述生成对抗网络训练子模块用于实现如下功能:依据肺实质分割模块获取到的分割掩膜二值图,从原始胸部X光片裁剪出完整的肺部区域,即得到裁剪后的X光片;将裁剪后的X光片划分为训练集、验证集和测试集,其中,训练集中仅包含正常的X光片;使用训练集进行训练得到训练好的生成对抗网络;
所述肺部疾病初筛子模块用于将测试集输入训练好的生成对抗网络得到重构图像,计算重构前后差异得到初筛的异常分数;
所述多层次特征构建模块用于提取多层次特征,包括底层视觉特征、中层深度特征和高层经验特征的提取;
所述肺部疾病筛查模块用于采用多层次特征构建模块得到的多层次特征及肺部疾病初筛模块得到的异常分数构建肺部疾病筛查模型,得到最终的肺部疾病分类结果。
2.如权利要求1所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,所述肺实质分割模块还包括连通区域检测子模块,其用于实现对分割子模块输出的分割掩膜二值图进行连通区域检测,仅保留其中最大的两个联通区域即左、右肺区域,得到最终肺部区域的分割掩膜二值图。
3.如权利要求1所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,所述生成对抗网络包括两个编码器Enc、一个解码器Dec、一个鉴别器D以及隐层编码分类器C,且两个编码器权值共享。
4.如权利要求3所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,所述生成对抗网络训练子模块中,所述使用训练集进行训练得到训练好的生成对抗网络的具体操作如下:
首先,将训练集中的图像作为输入图像x,经编码器得到维度大小为128的隐层编码特征;
接着,从标准高斯分布中采样得到128维特征,将该采样特征与上述隐层编码特征一同送入隐层编码分类器中进行分类,在此二元交叉熵损失作为隐层编码对抗损失Ladv_code用于更新隐层编码分类器和编码器参数;
同时,将隐层编码特征送入解码器中得到输入图像x的重构图像
Figure FDA0004117993170000021
将上述标准高斯分布中所得采样特征送入解码器中得到生成图像/>
Figure FDA0004117993170000022
进一步将该生成图像/>
Figure FDA0004117993170000023
重构图像/>
Figure FDA0004117993170000024
以及输入图像x共同送入鉴别器中进行分类;在此,使用交叉熵损失作为图像对抗损失Ladv_img用于更新鉴别器及解码器参数;并使用L1损失作为图像重构损失Lrec用于更新编码器和解码器参数;
此外,将重构图像
Figure FDA0004117993170000031
送入第二个编码器中,该编码器与第一个编码器权值共享;提取两个编码器第二个卷积层的特征fmp以及最后一层的编码特征code,其中fmp包含图像的浅层风格特征,code包含图像的深层语义特征;使用L2损失作为特征图一致性损失Lfmp以及L1损失作为编码一致性损失Lcode用于更新解码器参数;
最后,分别更新编码器参数
Figure FDA0004117993170000032
解码器参数
Figure FDA0004117993170000033
以及隐层编码分类器参数/>
Figure FDA0004117993170000034
5.如权利要求4所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,超参数λ1123分别设置为4,10,4,2。
6.如权利要求4所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,所述肺部疾病初筛子模块中,根据图像重构损失Lrec与特征图一致性损失Lfmp计算得到测试集中每个测试样本的异常分数:
Figure FDA0004117993170000035
7.如权利要求4所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,所述底层视觉特征包括肺部区域的几何形状特征、强度特征以及纹理特征;中层深度特征采用训练好的生成对抗网络中编码器所提取的图像编码特征;高层经验特征包括对肺实质分割模块输出的分割后的胸部X光片提取得到的左右肺高度差、肺部宽高比、心胸比、左右肺肋膈角以及上下纵隔宽度特征。
8.如权利要求7所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,所述肺部疾病筛查模块包括特征分组模块、特征选择及抽取模块、分类输出模块,其中:
所述特征分组模块用于将多层次特征特征依据左、右肺部区域划分及特征类别划分为高层经验特征、中层深度特征、几何形状特征、左肺强度特征、右肺强度特征、左肺纹理特征以及右肺纹理特征共七组;
所述特征选择及抽取模块用于对七组特征分别采用单变量分析方法和多变量分析方法进行特征选择及特征抽取,得到七组特征子集;
所述分类输出模块用于对七组特征子集分别构建OC-SVM基分类器,并进一步将七个OC-SVM基分类器所得异常分数以及肺部疾病初筛模块输出的初筛异常分数组合作为OC-SVM元分类模型的输入,得到最终肺部疾病分类结果。
9.如权利要求8所述的融合多层次特征的X光片肺部疾病筛查系统,其特征在于,所述特征选择及抽取模块中,所述的单变量分析方法采用t-检验及互信息法,多变量分析方法采用因子分析方法;以验证集分类结果的AUC值作为评价准则选取得到最优的七组特征子集。
CN202310224278.6A 2023-03-09 2023-03-09 一种融合多层次特征的x光片肺部疾病筛查系统 Pending CN116402756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310224278.6A CN116402756A (zh) 2023-03-09 2023-03-09 一种融合多层次特征的x光片肺部疾病筛查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310224278.6A CN116402756A (zh) 2023-03-09 2023-03-09 一种融合多层次特征的x光片肺部疾病筛查系统

Publications (1)

Publication Number Publication Date
CN116402756A true CN116402756A (zh) 2023-07-07

Family

ID=87011452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310224278.6A Pending CN116402756A (zh) 2023-03-09 2023-03-09 一种融合多层次特征的x光片肺部疾病筛查系统

Country Status (1)

Country Link
CN (1) CN116402756A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117610080A (zh) * 2024-01-24 2024-02-27 山东省计算中心(国家超级计算济南中心) 一种基于信息瓶颈的医学图像脱敏方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117610080A (zh) * 2024-01-24 2024-02-27 山东省计算中心(国家超级计算济南中心) 一种基于信息瓶颈的医学图像脱敏方法
CN117610080B (zh) * 2024-01-24 2024-04-19 山东省计算中心(国家超级计算济南中心) 一种基于信息瓶颈的医学图像脱敏方法

Similar Documents

Publication Publication Date Title
Hu et al. Parallel deep learning algorithms with hybrid attention mechanism for image segmentation of lung tumors
CN106372390B (zh) 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN111429407B (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
CN107563383A (zh) 一种医学影像辅助诊断及半监督样本生成系统
CN110503630A (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
Yao et al. Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN
CN113706435A (zh) 基于传统影像组学的胸部增强ct图像处理方法
CN111986189A (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
CN111784638A (zh) 一种基于卷积神经网络的肺结节假阳性筛除方法及系统
Kumaraswamy et al. A review on cancer detection strategies with help of biomedical images using machine learning techniques
CN112508884A (zh) 一种癌变区域综合检测装置及方法
CN114038564A (zh) 一种糖尿病无创风险预测方法
CN116402756A (zh) 一种融合多层次特征的x光片肺部疾病筛查系统
CN114648663A (zh) 基于深度学习的肺癌ct图像亚型分类方法
CN115409815A (zh) 一种基于三维可变形transformer的肺结节检测方法
Yang et al. A multi-stage progressive learning strategy for COVID-19 diagnosis using chest computed tomography with imbalanced data
Li et al. Developing an image-based deep learning framework for automatic scoring of the pentagon drawing test
CN117727441A (zh) 基于临床-融合影像计算机模型预测肺癌免疫疗效方法
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN117237269A (zh) 基于多尺度裁剪和自监督重建的肺部ct异常检测方法
CN115526898A (zh) 一种医学影像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination