CN111798440A - 医学图像伪影自动识别方法、系统及存储介质 - Google Patents

医学图像伪影自动识别方法、系统及存储介质 Download PDF

Info

Publication number
CN111798440A
CN111798440A CN202010665256.XA CN202010665256A CN111798440A CN 111798440 A CN111798440 A CN 111798440A CN 202010665256 A CN202010665256 A CN 202010665256A CN 111798440 A CN111798440 A CN 111798440A
Authority
CN
China
Prior art keywords
artifact
medical image
model
detected
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010665256.XA
Other languages
English (en)
Inventor
孙箫宇
李雪
来关军
于丹
张宾
郭宝珠
马壮
王新琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Neusoft Education Technology Group Co ltd
Original Assignee
Dalian Neusoft Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Neusoft Education Technology Group Co ltd filed Critical Dalian Neusoft Education Technology Group Co ltd
Priority to CN202010665256.XA priority Critical patent/CN111798440A/zh
Publication of CN111798440A publication Critical patent/CN111798440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种医学图像伪影自动识别方法、系统及存储介质。该方法包括:获取待检测医学图像;对待检测医学图像进行伪影特征增强,得到经过伪影特征增强的图像;利用基于深度学习的医学图像伪影自动识别模型对经过伪影特征增强的图像进行伪影识别,得到待检测医学图像的类别信息,类别信息包括有伪影或无伪影;该医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到;基于类别信息,得出待检测医学图像的伪影识别预测结果。本发明提供的方案,基于医学图像伪影自动识别模型进行伪影自动识别,能够提供快速和相对精准的医疗辅助诊断,提高了临床诊断的精确性和效率。

Description

医学图像伪影自动识别方法、系统及存储介质
技术领域
本发明涉及图像处理技术领域,具体而言,尤其涉及医学图像伪影自动识别方法、系统及存储介质。
背景技术
随着医疗成像技术的飞速发展,医学图像以其直观准确性已成为医学诊断和治疗中的关键环节之一。然而,在医学图像获取、处理、传输和记录的过程中,由于成像系统、处理方法、传输介质和记录设备等不完善,加之物体运动、噪声污染等原因,不可避免地带来某些图像失真和降质。伪影(Artifacts)是指原本被扫描物体并不存在而在图像上却出现的各种形态的影像,伪影是造成医学图像质量降低的重要因素,甚至会极大影响医生对病变的分析诊断。因此,作为医学诊断依据,医学图像伪影识别至关重要。
传统伪影识别方法一般由放射科医生根据经验自主判断,主要存在两大痛点:第一,人工识别费时费力、实时性差。目前,医学图像伪影识别基本需要医生在事后进行人工判读,所需时间长、工作量大、实时性差,且二次图像采集有损患者身体健康;第二,人工评估结果误差大。不同医生对伪影评判的标准不统一,结果受主观因素影响较大。
发明内容
本发明提供一种基于深度学习的医学图像伪影自动识别方法、系统及存储介质,以实现医学图像伪影自动识别。此系统可嵌入医学图像采集设备中,根据输入图像实时自动输出伪影识别结果,对医学图像大数据进行智能化分析和判读,提供快速和相对精准的医疗辅助诊断,从而提高临床诊断的精确性和效率,解决了背景技术中所存在的痛点和问题。
本发明提供了如下技术方案:
一方面,本发明提供了一种医学图像伪影自动识别方法,所述方法包括:
获取待检测医学图像;
对所述待检测医学图像进行伪影特征增强,得到经过伪影特征增强的待检测医学图像;
利用训练好的基于深度学习的医学图像伪影自动识别模型对经过伪影特征增强的待检测医学图像进行伪影识别;所述医学图像伪影自动识别模型用于对医学图像进行分类,得到所述医学图像的类别信息,所述类别信息包括有伪影或无伪影;所述医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到;
基于所述类别信息,得出所述待检测医学图像的伪影识别预测结果。
优选地,所述伪影特征增强,包括:
对医学图像进行阈值范围缩减,得到第一图像;
对所述第一图像进行直方图均衡化,得到第二图像;
对所述第二图像进行数据增强,得到第三图像;
对所述第三图像进行归一化和标准化计算,得到第四图像;所述第四图像为经过伪影特征增强的图像。
优选地,训练基于深度学习的医学图像伪影自动识别模型,包括:
训练多个基于深度学习的分类器;每个分类器具有的网络结构不同;
集成多个分类器,得到医学图像伪影自动识别模型。
优选地,所述训练多个基于深度学习的分类器,包括:
获取包括有伪影医学图像和无伪影医学图像的数据集,对所述数据集中的医学图像进行伪影特征增强;并将所述数据集按预设比例划分为训练集、验证集和测试集;
获取多个具有不同网络结构的经过深度学习的预训练模型;
针对每个预训练模型,以迁移所述预训练模型作为初始化权重,调整全连接层网络结构和类别数,得到与所述预训练模型对应的分类器;
针对每个分类器,利用所述训练集对所述分类器进行微调,以重新训练所述分类器的网络参数;利用所述验证集调节所述分类器的超参数,并监控所述分类器是否过拟合,选取在所述验证集上表现最优的迭代次数所对应的权重作为所述分类器的最优参数。
优选地,所述集成多个分类器,得到医学图像伪影自动识别模型,包括:
获取各个分类器在所述验证集上的模型性能评价指标;
按照所述模型性能评价指标对所述分类器进行排序;
集成排名靠前的N个分类器,得到集成模型,将所述集成模型作为医学图像伪影自动识别模型,其中,N为大于1的正整数。
优选地,所述基于所述类别信息,得出所述待检测医学图像的伪影识别预测结果,包括:
获取所述集成模型中各个分类器得到的所述待检测医学图像的类别信息;根据各个分类器得到的所述待检测医学图像的类别信息进行投票,得出所述待检测医学图像的伪影识别预测结果。
优选地,所述得出所述待检测医学图像的伪影识别预测结果之后,还包括:
以逗号分隔值文件格式或可视化形式输出所述待检测医学图像的伪影识别预测结果。
另一方面,本发明还提供了一种医学图像伪影自动识别系统,所述系统包括:第一模块、第二模块、第三模块和第四模块;
所述第一模块为系统输入端,用于获取待检测医学图像;
所述第二模块为伪影增强模块,用于对医学图像进行伪影特征增强;包括阈值范围缩减子模块、直方图均衡化模块、数据增强子模块以及归一化和标准化子模块;
所述第三模块为模型构建模块,用于构建医学图像伪影自动识别模型,以利用训练好的基于深度学习的医学图像伪影自动识别模型对经过伪影特征增强的待检测医学图像进行伪影识别;所述医学图像伪影自动识别模型用于对待检测医学图像进行分类,得到所述待检测医学图像的类别信息,所述类别信息包括有伪影或无伪影;基于所述类别信息,得出所述待检测医学图像的伪影识别预测结果;所述医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到;所述模型构建模块包括数据预处理子模块、迁移学习训练模型子模块、集成模型子模块以及评估模型子模块;
所述第四模块为系统输出端,用于输出通过所述医学图像伪影自动识别模型得出的伪影预测结果。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有包括计算机程序,其中,所述计算机程序运行时,执行上述医学图像伪影自动识别方法。
本发明的有益效果在于:本发明提供的基于深度学习的医学图像伪影自动识别方法中,先对待检测的医学图像进行伪影特征增强,通过阈值范围缩减、直方图均衡、数据增强、归一化和标准化操作,加强伪影细节特征,提取感兴趣关键区域,增强了分类器的识别能力,然后利用医学图像伪影自动识别模型对经过伪影特征增强的待检测的医学图像进行伪影自动识别。本发明提出的伪影特征增强方法能加速训练的收敛速度,并提高分类器的性能评价指标。
本发明中提供的医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到,首先,划分数据集并对数据进行预处理;其次,将深度学习与迁移学习相结合来训练模型,选取多种网络结构,迁移预训练模型权重,用训练集微调(fine-tuning)来重新调整网络参数,得到多个分类器;最后,根据模型性能评价指标AUC(area under the curve,ROC曲线下面积)指标选取前N个分类器集成模型,按多数投票法得出最终预测结果,并评估模型效果。结果表明集成模型可弥补单分类器特征提取能力有限的弊端,集成后预测结果的各项评价指标均优于单模型的表现能力。对于伪影识别问题,本发明在测试集上的召回率和特异性均高于90%,说明模型的漏判率和误判率很低。同时模型具有较高的准确率,可以为医学影像大数据提供相对精确且实时的伪影判别辅助支持。
本发明提出的医学图像伪影自动识别模型具有良好的泛化性,可支持多源医学图像的伪影识别任务。即支持输入不同类型的医学图像,如CT、MRI等;支持采集图像来自不同医院设备;支持不同部位的伪影识别,如头部、脊柱、下肢等;支持不同伪影类型的识别,如运动伪影、金属伪影等。在实际使用过程中,本发明可解决多源医学图像的伪影识别任务,无需针对不同任务安装多个模型,从而降低操作的复杂性,为辅助医生诊断提供极大的便捷性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的一种医学图像伪影自动识别方法的流程图;
图2为本发明一个实施例提供的一种医学图像伪影特征增强方法的流程图;
图3为本发明一个实施例提供的伪影特征增强前后效果对比图;
图4为本发明一个实施例中基于深度学习的医学图像伪影自动识别模型总体框架图;
图5为本发明一个实施例中验证集在不同迭代次数的AUC变化曲线;
图6为本发明一个实施例中多个单分类器模型在验证集上的AUC指标对比图;
图7为本发明一个实施例中集成模型与单分类器均值的对比图;
图8为本发明一个实施例提供的csv格式输出结果;
图9为本发明一个实施例提供的可视化形式输出结果;
图10为发明一个实施例提供的一种医学图像伪影自动识别系统的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提供了一种基于深度学习的医学图像伪影自动识别方法、系统及存储介质,用于自动识别医学图像中的伪影。
参见图1,其示出了本发明实施例中的一种医学图像伪影自动识别方法的流程示意图,该方法包括:
S101、获取待检测医学图像。
其中,待检测医学图像可以是多源医学图像,即来自不同类型的医学图像,如CT、MRI等;或来自不同医院设备的医学图像。能够支持不同部位的伪影识别,如头部、脊柱、下肢等;支持不同伪影类型的识别,如运动伪影、金属伪影等。
S102、对待检测医学图像进行伪影特征增强,得到经过伪影特征增强的待检测医学图像。
待检测医学图像在进入医学图像伪影自动识别模型进行识别之前以及医学图像在进入医学图像伪影自动识别模型训练之前,对医学图像进行伪影特征增强,提取感兴趣的关键信息,能够增加分类器的识别效果。
参见图2,其示出了本发明实施例中的一种伪影特征增强方法的流程示意图。该方法包括:
S201、对医学图像进行阈值范围缩减,得到第一图像。
以CT图像为例,CT扫描测量的单元是“Hounsfield”(HU)。每个数值都代表了一种灰色阴影,可定量衡量组织对于X光的吸收率,在光谱两端有+1000白色和-1000黑色。
为了保留感兴趣的区域,去除骨骼等无关区域的影响,可以设定图像的最低限定值min_bound和最高限定max_bound值,经式(1)对原图阈值范围进行缩减。因此,输入图像经步骤S201操作可表示为:Iinput→Is=[min_bound,max_bound]。
Figure BDA0002580096720000071
S202、对第一图像进行直方图均衡化,得到第二图像;
设原始图像灰度级范围为[0,L],计算第k级灰度值rk在原始图像上的像素所占总体的比例Pr(rk),根据直方图概率的累加值
Figure BDA0002580096720000072
0≤rk≤1,k=0,1,...,L-1,通过非线性变换,将每个像素映射成新的像素,得到灰度直方图为均匀分布的新图像Ih,灰度范围为[0,255]。直方图均衡化可达到清晰图像的目的,进而伪影特征也能够得到加强。步骤S202可表示为Is→Ih
S203、对第二图像进行数据增强,得到第三图像。
数据增强可以提高深度学习模型的泛化能力。结合医学图像和伪影分布特征,可以通过对图像进行随机翻转、平移、缩放、拉伸、缩放等操作来扩充图像的多样性,数据增强后记作Id。步骤S203可表示为Ih→Id
S204、对第三图像进行归一化和标准化计算,得到第四图像;该第四图像为经过伪影特征增强的图像。
为了消除不同量纲的影响,通过min-max归一化将数据映射到[0,1]区间,即Id→In=(Id-min)/(max-min)∈[0,1],其中,In为归一化结果,max为最大灰度值,min为最小灰度值。计算训练集数据的均值μ和标准差σ,对归一化后的数据作Z-score标准化处理,In→Iz=(In-μ)/σ,其中,Iz为标准化结果。将训练集的均值μ和标准差σ应用于测试集中,加快梯度下降求解,进而提升模型的收敛速度。步骤S204可表示为Id→In→Iz
如表1所示,其示出了以图像尺寸为512*512,通道数为1,阈值范围为[-4000,4000]的输入图像为例,本发明实施例中的伪影特征增强方法的流程,其输出图像尺寸为224*224,通道数为1,阈值范围为[-1,1]。
表1
Figure BDA0002580096720000081
采用本发明实施例中的伪影特征增强方法对图像进行处理,处理前后效果对比如图3所示。其中(a)和(b)分别表示id=51图像,伪影特征增强前的原图和伪影特征增强后的图像;(c)和(d)分别表示id=126图像,伪影特征增强前的原图和伪影特征增强后的图像。结果表明该方法能有效提取伪影区域信息,同时弱化骨骼等无关区域信息,为深度学习算法在输入端提供质量保证。
S103、利用训练好的基于深度学习的医学图像伪影自动识别模型对获取到的待检测医学图像进行伪影识别;
其中,该医学图像伪影自动识别模型用于对待检测医学图像进行分类,得到待检测医学图像的类别信息,类别信息包括有伪影或无伪影,该医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到。
S104、基于得到的类别信息,得出该待检测医学图像的伪影识别预测结果。
本发明实施例中提供的基于深度学习的医学图像伪影自动识别方法中,先对待检测的医学图像进行伪影特征增强,通过阈值范围缩减、直方图均衡、数据增强、归一化和标准化操作,加强伪影细节特征,提取感兴趣关键区域,增强了分类器的识别能力。然后利用医学图像伪影自动识别模型对经过伪影特征增强的待检测的医学图像进行伪影自动识别,医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到,该集成模型可弥补单分类器特征提取能力有限的弊端,模型的漏判率和误判率很低,同时模型具有较高的准确率,可以为医学影像大数据提供相对精确且实时的伪影判别辅助支持。
为了证明本发明提出的伪影特征增强方法的有效性,将本发明方法与传统预处理方式(主要包括图像旋转、剪裁等)进行对比实验,表2表示在不同网络结构下,本发明方法相对传统预处理方法各项评价指标的增益率。本发明方法取得的有益效果如下:
1、显著加速模型的训练收敛速度,平均提升+51.95%。不同网络结构下的模型训练平均收敛速度提升+51.95%,证明伪影特征增强能加速深度学习模型的训练速度,提高算法的效率。
2、提高模型的有效性,AUC提升+1.67%,准确率提升+2.73%。通过伪影特征增强对图像进行预处理,可以提取有效区域,并增强伪影细节信息,并提升分类器的伪影识别能力。
3、增强对伪影图像的识别能力,灵敏度提升+17.86%,具有临床应用价值。对于放射科医生来说,最关心的指标算法的灵敏度,即实际有伪影的图像有多少比例能够被识别出来,本发明方法能显著提高伪影的识别率,这对于临床实际应用有重要意义。
表2
Figure BDA0002580096720000091
上述实施例中的医学图像伪影自动识别模型为集成模型。
参见图4,其示出了本发明实施例中基于深度学习的医学图像伪影自动识别模型总体框架图,包括:
(1)、数据预处理
将数据集Dataset按80%、10%、10%的比例划分为训练集(Training set)、验证集(Dev set)、测试集(Test set),同时保证每个数据集服从原数据正负样本比例分布特征,按本发明提出方法对伪影特征进行增强。
(2)、训练模型
本发明将深度学习与迁移学习相结合来训练模型,迁移深度学习的预训练模型作为初始化权重,调整全连接层网络结构和类别数,在此基础上,用训练集(Training set)数据微调(fine-tuning)来重新训练网络参数。迁移模型的网络结构可以是AlexNet、ZFNet、Clarifai、VGG、DenseNet、GoogleNet v1/v2/v3/v4、ResNet、RexNeXt、SENet等。通过验证集调节模型的超参数(学习率、迭代次数、权重衰减系数、批样本数量等),并监控模型是否过拟合,选取在验证集(Devset)上表现最优的迭代次数所对应的权重作为该模型的最优参数。
由于数据集正负样本比例不均衡,准确率(Accuracy)无法客观描述分类器效果,因此选择AUC(area under the curve,即ROC曲线下的面积)指标作为评价分类器效果的标准。
以其中一种网络结构为例,设置训练总迭代次数Epoch为200次。图5表示验证集在不同迭代次数的AUC变化曲线,为了防止过拟合,在验证集AUC最高点截断(图5虚线处,对应epoch=164),并选取该epoch所对应的权重作为最优模型参数。
本发明选择8种不同的网络结构,迁移模型后通过微调(fine-tuning)重新训练模型,建立8个分类器(表示为Classifier 1~Classifier 8),单分类器在验证集上的AUC指标,如图6所示。
(3)、集成模型
为了提高对医学图像伪影识别问题的泛化能力,本发明应用集成学习原理,综合考虑每个分类器对伪影特征的识别能力,通过集成的方式增加特征提取的多样性,虽然每个分类器均存在一定的误差,但通过组合策略可以降低总误差。根据单个模型在验证集上的AUC从大到小排序,筛选出前N个分类器作为集成模型(Ensemble model)。
本实施例中,选择AUC最大的前6个分类器构建集成模型,包含6个分类器Classifier 3~Classifier 8,最后通过投票的方式进行决策,获得多数投票的类别作为集成模型整体的输出结果。对于二分类问题,分类器输出类别ht(x)∈{-1,+1},集成模型的输出H(x)表示为:
Figure BDA0002580096720000111
Figure BDA0002580096720000112
其中,x表示给定输入向量,y表示预测类别的概率,t={1,2,...,T}表示T个子分类器的集合,ht(y|x)表示分类器t输出的判别结果,wt表示分类器t的权重(子分类器可以权重相同,也可以不同)。
(4)、评估模型
应用同一个测试集,分别评估单分类器和集成模型的性能和泛化能力。选择的评价指标有灵敏度(Sensitivity)、特异性(Specificity)、AUC和准确率(Accuracy)。对于伪影识别问题来说,最关心的指标是Sensitivity,即识别出的所有正例(伪影图像)占所有正例的比例。Sensitivity的值越大,说明“有伪影的被判断为有伪影的”越大,“漏检”(FN)越小。
针对单分类器模型:
单分类器模型测试结果如表3所示。最后一行“均值”表示8个分类器在每个指标下的平均结果,Sensitivity=0.8666,Specificity=0.9670,AUC=0.9168,Accuracy=0.9447。
表3
Figure BDA0002580096720000113
针对集成模型:
根据单个分类器在验证集上的AUC从大到小排序,筛选出前N个分类器作为集成模型(Ensemble model)。本实施例中,选择AUC最大的前6个分类器构建集成模型,包含6个分类器Classifier 3~Classifier 7。表4、表5为集成模型在测试集的评价指标以及各类别评价结果,其中标签bad表示预测图像有伪影,good表示预测图像无伪影。
表4
Figure BDA0002580096720000121
表5
Figure BDA0002580096720000122
通过集成模型中的各分类器投票决策,集成模型在测试集的实验结果为:Sensitivity=0.9128,Specificity=0.9833,AUC=0.9481,Accuracy=0.9688,说明集成模型在测试集泛化性非常高,证明本发明提出的方法对于伪影识别问题是有效的。
下面对集成模型与单分类器模型结果进行对比分析:
将表4与表5对比,表明集成模型的各项指标均优于每一个单分类器模型;图7为集成模型与单分类器均值的对比结果。折线gap_avg表示集成模型相对于单模型均值的优化率,对比结果表明,集成模型Sensitivity提升5.33%,Specificity提升1.69%,AUC提升3.42%,Accuracy提升2.55%。
综上,本发明提出的基于深度学习的医学图像伪影自动识别方法与系统对解决医学伪影识别问题是有效的。应用本发明提出的模型,伪影识别的准确率可达到96.88%,基本可弥补人工判别带来的误差;同时灵敏度达到91.28%,相对于其他方法优化了5.33%,说明大多数存在伪影的图像都能被系统自动识别出来,漏检率非常低。因此,本方法与系统的开发对于医疗影像大数据分析在临床上有重大意义。
在另一实施例中,在得出待检测医学图像的伪影识别预测结果之后,可以将该伪影识别预测结果输出。输出形式可以是逗号分隔值(csv)文件格式和可视化形式。如图8、图9所示,图8为csv格式输出结果,文件共有3列,其中“id”表示图像编号,“路径”表示图像存储路径,“预测结果”表示伪影识别结果,其中bad表示预测图像有伪影,good表示预测图像无伪影;图9为可视化输出结果,其中id表示待检测图像编号,predict为预测结果。
对应于本发明提供的医学图像伪影自动识别方法,本发明还提供了一种医学图像伪影自动识别系统。
参见图10,其示出了本发明实施例中一种医学图像伪影自动识别系统的结构框图,该系统包括以下4个模块:第一模块、第二模块、第三模块和第四模块;其中,
第一模块为系统输入端,用于获取待检测医学图像;
第二模块为伪影特征增强模块,用于对医学图像进行伪影特征增强;
这里的医学图像可以是第一模块获取的待检测医学图像,还可以是训练模型时数据集中的医学图像。
该第二模块具体包括阈值范围缩减子模块、直方图均衡化模块、数据增强子模块以及归一化和标准化子模块;
第三模块为模型构建模块,用于构建医学图像伪影自动识别模型,以利用训练好的基于深度学习的医学图像伪影自动识别模型对经过伪影特征增强的待检测医学图像进行伪影识别;医学图像伪影自动识别模型用于对待检测医学图像进行分类,得到待检测医学图像的类别信息,类别信息包括有伪影或无伪影;基于类别信息,得出待检测医学图像的伪影识别预测结果;所述医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到。
该第三模块具体包括数据预处理子模块、迁移学习训练模型子模块、集成模型子模块以及评估模型子模块;
第四模块为系统输出端,用于输出通过医学图像伪影自动识别模型得出的伪影预测结果。
对于本发明实施例的而言,由于其与上面实施例中的相对应,所以描述的比较简单,相关相似之处请参见上面实施例中部分的说明即可,此处不再详述。
本发明实施例中提供的基于深度学习的医学图像伪影自动识别系统中,包括对待检测的医学图像进行伪影特征增强的伪影特征增强模块,通过阈值范围缩减、直方图均衡、数据增强、归一化和标准化操作,加强伪影细节特征,提取感兴趣关键区域,增强了分类器的识别能力。还包括模型构建模块,通过迁移学习、集成模型,得到医学图像伪影自动识别模型,该集成模型可弥补单分类器特征提取能力有限的弊端,模型的漏判率和误判率很低,同时模型具有较高的准确率,可以为医学影像大数据提供相对精确且实时的伪影判别辅助支持。
本发明实施例还公开了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机指令集,计算机指令集被处理器执行时实现如上文任一实施例所提供的医学图像伪影自动识别方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种医学图像伪影自动识别方法,其特征在于,所述方法包括:
获取待检测医学图像;
对所述待检测医学图像进行伪影特征增强,得到经过伪影特征增强的待检测医学图像;
利用基于深度学习的医学图像伪影自动识别模型对所述经过伪影增强的待检测医学图像进行伪影识别;所述医学图像伪影自动识别模型用于对待检测医学图像进行分类,得到所述待检测医学图像的类别信息,所述类别信息包括有伪影或无伪影;所述医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到;
基于所述类别信息,得出所述待检测医学图像的伪影识别预测结果。
2.如权利要求1所述的方法,其特征在于,所述伪影特征增强,包括:
对医学图像进行阈值范围缩减,得到第一图像;
对所述第一图像进行直方图均衡化,得到第二图像;
对所述第二图像进行数据增强,得到第三图像;
对所述第三图像进行归一化和标准化计算,得到第四图像;所述第四图像为经过伪影特征增强的图像。
3.如权利要求1所述的方法,其特征在于,训练基于深度学习的医学图像伪影自动识别模型,包括:
训练多个基于深度学习的分类器;每个分类器具有的网络结构不同;
集成多个分类器,得到医学图像伪影自动识别模型。
4.如权利要求3所述的方法,其特征在于,所述训练多个基于深度学习的分类器,包括:
获取包括有伪影医学图像和无伪影医学图像的数据集,对所述数据集中的医学图像进行伪影特征增强;并将所述数据集按预设比例划分为训练集、验证集和测试集;
获取多个具有不同网络结构的经过深度学习的预训练模型;
针对每个预训练模型,以迁移所述预训练模型作为初始化权重,调整全连接层网络结构和类别数,得到与所述预训练模型对应的分类器;
针对每个分类器,利用所述训练集对所述分类器进行微调,以重新训练所述分类器的网络参数;利用所述验证集调节所述分类器的超参数,并监控所述分类器是否过拟合,选取在所述验证集上表现最优的迭代次数所对应的权重作为所述分类器的最优参数。
5.如权利要求3所述的方法,其特征在于,所述集成多个分类器,得到医学图像伪影自动识别模型,包括:
获取各个分类器在所述验证集上的模型性能评价指标;
按照所述模型性能评价指标对所述分类器进行排序;
集成排名靠前的N个分类器,得到集成模型,将所述集成模型作为医学图像伪影自动识别模型,其中,N为大于1的正整数。
6.如权利要求5所述的方法,其特征在于,所述基于所述类别信息,得出所述待检测医学图像的伪影识别预测结果,包括:
获取所述集成模型中各个分类器得到的所述待检测医学图像的类别信息;根据各个分类器得到的所述待检测医学图像的类别信息进行投票,得出所述待检测医学图像的伪影识别预测结果。
7.如权利要求1所述的方法,其特征在于,所述得出所述待检测医学图像的伪影识别预测结果之后,还包括:
以逗号分隔值文件格式或可视化形式输出所述待检测医学图像的伪影识别预测结果。
8.一种医学图像伪影自动识别系统,其特征在于,所述系统包括:第一模块、第二模块、第三模块和第四模块;
所述第一模块为系统输入端,用于获取待检测医学图像;
所述第二模块为伪影特征增强模块,用于对医学图像进行伪影特征增强;包括阈值范围缩减子模块、直方图均衡化模块、数据增强子模块以及归一化和标准化子模块;
所述第三模块为模型构建模块,用于构建医学图像伪影自动识别模型,以利用训练好的基于深度学习的医学图像伪影自动识别模型对经过伪影特征增强的待检测医学图像进行伪影识别;所述医学图像伪影自动识别模型用于对待检测医学图像进行分类,得到所述待检测医学图像的类别信息,所述类别信息包括有伪影或无伪影;基于所述类别信息,得出所述待检测医学图像的伪影识别预测结果;所述医学图像伪影自动识别模型通过集成多个基于深度学习的模型得到;所述模型构建模块包括数据预处理子模块、迁移学习训练模型子模块、集成模型子模块以及评估模型子模块;
所述第四模块为系统输出端,用于输出通过所述医学图像伪影自动识别模型得出的伪影预测结果。
9.一种计算机可读存储介质,所述计算机可读存储介质中存储有包括计算机程序,其中,所述计算机程序运行时,执行所述权利要求1-7任一项所述的医学图像伪影自动识别方法。
CN202010665256.XA 2020-07-11 2020-07-11 医学图像伪影自动识别方法、系统及存储介质 Pending CN111798440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010665256.XA CN111798440A (zh) 2020-07-11 2020-07-11 医学图像伪影自动识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010665256.XA CN111798440A (zh) 2020-07-11 2020-07-11 医学图像伪影自动识别方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN111798440A true CN111798440A (zh) 2020-10-20

Family

ID=72808225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010665256.XA Pending CN111798440A (zh) 2020-07-11 2020-07-11 医学图像伪影自动识别方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111798440A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256529A (zh) * 2021-06-09 2021-08-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN113538613A (zh) * 2021-06-25 2021-10-22 李懋 推荐扫描方案的同时动态提示mr扫描伪影的方法及系统
CN114202524A (zh) * 2021-12-10 2022-03-18 中国人民解放军陆军特色医学中心 多模态医学图像的性能评价方法与系统
CN115063641A (zh) * 2022-08-19 2022-09-16 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置
CN116012452A (zh) * 2023-03-28 2023-04-25 天津舞影猫科技有限公司 一种基于超声图像定位靶目标的穿刺导航系统及方法
CN116167984A (zh) * 2023-01-13 2023-05-26 北京医准智能科技有限公司 用于抑制运动伪影的骨折假阳检出的方法、装置及设备
CN116188294A (zh) * 2022-12-22 2023-05-30 东莞理工学院 用于医学图像的数据增强方法、系统、智能终端及介质
CN117808718A (zh) * 2024-02-29 2024-04-02 江西科技学院 基于互联网的提升医学影像数据质量的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659468A (zh) * 2014-05-30 2017-05-10 深圳迈瑞生物医疗电子股份有限公司 选择性增强图像中感兴趣区域的系统和方法
CN110751637A (zh) * 2019-10-14 2020-02-04 北京至真互联网技术有限公司 糖尿病视网膜病变检测系统、方法、设备和训练系统
CN110796613A (zh) * 2019-10-10 2020-02-14 东软医疗系统股份有限公司 一种图像伪影的自动识别方法及装置
CN110866880A (zh) * 2019-11-14 2020-03-06 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质
CN111027590A (zh) * 2019-11-11 2020-04-17 郑州大学第一附属医院 一种结合深度网络特征和机器学习模型的乳腺癌数据分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659468A (zh) * 2014-05-30 2017-05-10 深圳迈瑞生物医疗电子股份有限公司 选择性增强图像中感兴趣区域的系统和方法
CN110796613A (zh) * 2019-10-10 2020-02-14 东软医疗系统股份有限公司 一种图像伪影的自动识别方法及装置
CN110751637A (zh) * 2019-10-14 2020-02-04 北京至真互联网技术有限公司 糖尿病视网膜病变检测系统、方法、设备和训练系统
CN111027590A (zh) * 2019-11-11 2020-04-17 郑州大学第一附属医院 一种结合深度网络特征和机器学习模型的乳腺癌数据分类方法
CN110866880A (zh) * 2019-11-14 2020-03-06 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
VIKASH CHOUHAN等: "A Novel Transfer Learning Based Approach for Pneumonia Detection in Chest X-ray Images", 《APPLIED SCIENCES》, pages 1 - 17 *
孙福权;丛成龙;张琨;孔超然;姜玉山;多允慧;: "基于多模型卷积神经网络的乳腺癌病理医疗图像良恶性诊断", 小型微型计算机系统, no. 04 *
文金玉: "基于深度学习的肺结节检测算法", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, pages 072 - 224 *
王洪洋;张颖;朱海波;高碧海;: "基于肺部CT图像的计算机辅助诊断系统构建", 中国医学装备, no. 10 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256529A (zh) * 2021-06-09 2021-08-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备及存储介质
CN113538613A (zh) * 2021-06-25 2021-10-22 李懋 推荐扫描方案的同时动态提示mr扫描伪影的方法及系统
CN114202524A (zh) * 2021-12-10 2022-03-18 中国人民解放军陆军特色医学中心 多模态医学图像的性能评价方法与系统
CN115063641A (zh) * 2022-08-19 2022-09-16 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置
CN115063641B (zh) * 2022-08-19 2022-11-29 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置
CN116188294A (zh) * 2022-12-22 2023-05-30 东莞理工学院 用于医学图像的数据增强方法、系统、智能终端及介质
CN116188294B (zh) * 2022-12-22 2023-09-19 东莞理工学院 用于医学图像的数据增强方法、系统、智能终端及介质
CN116167984A (zh) * 2023-01-13 2023-05-26 北京医准智能科技有限公司 用于抑制运动伪影的骨折假阳检出的方法、装置及设备
CN116167984B (zh) * 2023-01-13 2023-11-24 浙江医准智能科技有限公司 用于抑制运动伪影的骨折假阳检出的方法、装置及设备
CN116012452A (zh) * 2023-03-28 2023-04-25 天津舞影猫科技有限公司 一种基于超声图像定位靶目标的穿刺导航系统及方法
CN117808718A (zh) * 2024-02-29 2024-04-02 江西科技学院 基于互联网的提升医学影像数据质量的方法及系统

Similar Documents

Publication Publication Date Title
CN111798440A (zh) 医学图像伪影自动识别方法、系统及存储介质
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN109461495B (zh) 一种医学图像的识别方法、模型训练的方法及服务器
WO2021139258A1 (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Desiani et al. Bi-path Architecture of CNN Segmentation and Classification Method for Cervical Cancer Disorders Based on Pap-smear Images.
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
JP2022551683A (ja) 人工知能(ai)モデルを使用した非侵襲的遺伝子検査を行う方法及びシステム
Wu et al. U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN104636580A (zh) 一种基于人脸的健康监控手机
CN111127387B (zh) 无参考图像的质量的评价方法
US20230368381A1 (en) System and method for detecting and classifying abnormal cells
CN110853009A (zh) 基于机器学习的视网膜病理图像分析系统
Xie et al. Application-driven no-reference quality assessment for dermoscopy images with multiple distortions
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN111369523A (zh) 显微图像中细胞堆叠的检测方法、系统、设备及介质
CN116109558A (zh) 基于颈部半透明厚度测量值筛查胎儿染色体异常的方法
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
Zhao et al. Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation
CN115272647A (zh) 一种肺部图像的识别处理方法及系统
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN115359066B (zh) 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN113011340B (zh) 一种基于视网膜图像的心血管手术指标风险分类方法及系统
CN115311491A (zh) 一种基于课程学习及空间注意力的骨折假阳性筛除方法
CN114926396A (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant after: Neusoft Education Technology Group Co.,Ltd.

Address before: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant before: Dalian Neusoft Education Technology Group Co.,Ltd.

CB02 Change of applicant information