CN113935969B - 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统 - Google Patents

一种基于领域知识引导的新冠肺炎特异性病例的诊断系统 Download PDF

Info

Publication number
CN113935969B
CN113935969B CN202111208713.3A CN202111208713A CN113935969B CN 113935969 B CN113935969 B CN 113935969B CN 202111208713 A CN202111208713 A CN 202111208713A CN 113935969 B CN113935969 B CN 113935969B
Authority
CN
China
Prior art keywords
image
discriminator
generator
domain knowledge
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111208713.3A
Other languages
English (en)
Other versions
CN113935969A (zh
Inventor
张娅楠
王子剑
徐佳正
杨文开
强彦
赵涓涓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202111208713.3A priority Critical patent/CN113935969B/zh
Publication of CN113935969A publication Critical patent/CN113935969A/zh
Application granted granted Critical
Publication of CN113935969B publication Critical patent/CN113935969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于领域知识引导的新冠肺炎特异性病例的诊断系统,包括以下模块:数据预处理模块;数据增强模块;领域知识存储模块;分类模块:将鉴别器网络保存为特征提取网络,并将倒数第二个全连通层的输出信息表示作为输入,通过S3VM分类器进行新冠肺炎筛检和分类;本发明基于DK进行半监督学习,并开发DScGANS和S3VM模型来诊断新冠肺炎病例。DScGANS以新冠肺炎病例图像作为输入,在领域知识的约束下,通过DScGANS模型提取特征并将提取到的特征用作S3VM的输入,DK将作为约束S3VM进行新冠肺炎分类的条件,从而优化该系统的分类精度。本发明能够在较短的处理时间下,提供稳定和先进的诊断性能,达到较高的检测率与较低的误检率,可应用于新冠肺炎的筛检。

Description

一种基于领域知识引导的新冠肺炎特异性病例的诊断系统
技术领域
本发明涉及图像处理中新冠肺炎算法领域,具体是一种领域知识引导的生成对抗机制下的新冠肺炎特异性病例的精准诊断系统。
背景技术
随着计算机技术的飞速发展,数字图像处理技术在医学领域得到了广泛应用,包括器官分割和图像增强修复,为后续的医学诊断提供了支持。卷积神经网络(CNN)等具有较强非线性建模能力的深度学习技术在医学图像处理中也有着广泛的应用。国内外研究者在肺结节的诊断、良性和恶性肿瘤的分型、肺结核的分析和疾病预测等方面开展了大量研究。
发明内容
本发明公开了一种基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断系统,结合领域知识中的关键指标,引入生成对抗模型来解决复杂无比的无监督学习模型,具有良好的鲁棒性。
为实现上述目的,采用如下技术方案:
一种基于领域知识引导的新冠肺炎特异性病例的诊断系统,包括以下模块:
数据预处理模块;数据增强模块;
领域知识存储模块:获取并存储相关的领域知识,提取新冠肺炎患者的特异性特征;
DScGANS生成器与鉴别器模块:在高斯分布中随机采样生成随机向量,并将随机向量输入至生成器网络中,得到仿真图像,将真实图像以及仿真图像按批次输入鉴别器网络中;借助导入的真实图像以及仿真图像,结合获取的领域知识(Domain Knowledge,DK),利用Adam梯度下降法不断调整生成器以及鉴别器的参数;生成器主要用来结合领域知识学习真实图像分布从而让自身生成的图像更加真实,以“骗”过鉴别器。鉴别器则需要对接收的图片进行真假鉴别;在整个过程中,生成器努力地让生成的图像更加真实,而鉴别器则努力地去识别出图像的真假,这个过程相当于一个动态博弈,随着时间的推移和不断迭代,生成器和鉴别器在不断地进行对抗,最终两个网络达到了一个动态均衡;
分类模块:将鉴别器网络保存为特征提取网络,并将倒数第二个全连通层的输出信息表示作为输入,通过S3VM分类器进行新冠肺炎筛检和分类;倒数第二个全连通层的输出信息包括深度特征和DK。
所述的诊断系统,所述数据预处理模块:采用阈值分割的方法从肺部CT图像中提取感染部分,得到感兴趣部分即ROI,并裁剪成相同大小的结节图像存入样本数据库;将患者的CT影像数据按照7:2:1的比例随机划分为训练集、验证集、测试集;将图像大小统一为128x128像素。
所述的诊断系统,所述的数据增强模块:对每个类别的训练集图片进行旋转和翻转操作,以期望训练得到的生成模型具有生成旋转图像的泛化能力并尽量避免GAN发生模式崩溃,如此使图片增加到原来的16倍,这些图片直接作为GAN的训练集。
所述的诊断系统,领域知识存储模块:提取了新冠肺炎患者的以下特异性特征:CRP值、咯血量、节段性肺不张、多发肺气囊。
所述的诊断系统,DScGANS生成器与鉴别器模块包括:生成器单元、鉴别器单元、交替训练单元、更新单元;
生成器单元,生成图像;
生成器单元用G表示,G使用这种方法来生成图像G((z,DK);θg),它由一个全连接层和五个反卷积层组成,参数为θg,每一个输入的随机噪声向量z有一个对应的领域知识DK作为支撑,这种随机噪声向量是从真实图像对应的假图像中获得的;
鉴别器单元,鉴别图像
鉴别器单元使用参数D表示,它包含六个卷积层,一个特征降维层(fdr)、一个联合学习网络(jln)以及和一个全连接层(fc);参数是θd;特征降维层是一种含有16个神经元的全连接层,它用来连接领域知识和深度特征,并在此之前降低深度特征的维度;将领域特征与深度特征串联后,他们都会被送入联合学习网络;联合学习网络由两个全连接层组成,这两个全连接层用于学习已标记数据的领域知识、深度特征和类别标签之间的关联信息;假设真实的图像patch有k类,将G生成的图像patch定义为第k+1类;因此,最后一个全连接层有k+1个神经元,其中前k个都为Softmax神经元,第k+1类为sigmoid神经元;真实的输入图像块可能来自于一个带有标签data(x,y)的真实图像、一个没有标签data(x)的真实图像或者一个生成的虚假图像G((z,DK);θg);
使用前k个神经元来计算服从I~data(x,y)的图像属于第j类的概率类别:
PD(y=j|(I,Dk))=D(j)((I,Dk);θd)
y是输入图像I的类别标签;
使用第k+1个神经元来计算输入图像I是属于真实图像data(x)或者生成图像G((z,DK);θg)的概率,定义第k+1个神经元的输出是Dk+1((I,Dk);θd),即
PD(l=0|(I,Dk))=D(k+1)((I,Dk);θd)
如果I来自一个虚假图像,变量I的值为0,否则为1;
交替训练单元:交替训练生成器与鉴别器
过程中首先初始化生成器和鉴别器,在每一次的迭代中:
首先固定生成器,更新鉴别器参数。鉴别器的学习目标是,如果判断输入是来自于真实数据集,则给高分;如果是生成器产生的数据,则给低分,损失越小,更容易给低分;
接下来,固定鉴别器的参数,更新生成器;将一个噪声输入生成器,得到生成图片,将生成图片输入鉴别器,然后会得到一个分数,这一阶段鉴别器的参数已经被固定,生成器需要调整参数使得这个生成图片的分数越大越好,损失越小生成质量越高;
为了训练DScGANS组件,在训练过程中使用了各种损失函数,对于输入随机噪声向量z,生成器损失函数为:
鉴别器的损失函数由两部分组成:监督损失函数和无监督损失函数,用LD_su区分输入I是来自真假图像的损失,用LD_un区分输入I是否属于j类的损失。给定输入I,鉴别器的损失函数为:
LD=LD_su+LD_un
LD_su=-EI~data(x,y)log{PD(y=j|(I,Dk))}
更新单元:利用Adam算法对生成器与鉴别器参数进行更新
Adam算法过程如下:
mt=β1mt-1(1-β1)gt
其中,gt表示梯度,mt表示均值,即梯度的一阶距,vt表示方差,即梯度的二阶距,β1表示一阶矩的指数衰减率,β2表示二阶矩的指数衰减率;然后计算校正误差的一阶矩以及二阶矩:
从而获得Adam的更新公式:
其中,η表示学习率,来控制权重的更新比率;学习率的大小会直接影响训练模型的性能,较大的学习率会使得加快模型的初始学习速率,而较小的学习率可一定程度上提高模型训练的收敛性;
所述的诊断系统,分类模块:将训练完成后的鉴别器网络保存为特征提取模块,并将倒数第二个全连接层的输出信息作为输入,输入到S3VM进行新冠肺炎分类;定义了Fα、Fβ为倒数第二个全连接网络的输出,它包含深度特征以及领域知识;将Fα和Fβ结合,并定义他们为特征向量Fα*β,因此DK常被当做在S3VM分类期间未标注数据的一种条件限制;
假定代表Fα*β的第i个向量,/>代表标记数据集,ym是良性或者恶性标签,/>表示未标记数据集,/>是一种鉴别超平面,ω是超平面的常规向量,b是一种偏移项,/>从输入空间到高维再生核希尔伯特空间的变换函数;
S3VM的优化问题如下所示:
此时,H(t)是标记数据的合页损失函数,未标记数据的对称合页损失函数,C是一种正则化参数,而且C*是一种未标记数据的一种惩罚参数。
本发明的有益效果是:
本发明方法采用领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断,结合上一步领域知识中的关键指标,引入生成对抗模型来解决复杂无比的无监督学习模型。然后将新冠肺炎病例的特异性特征作为条件约束S3VM进行新冠肺炎结节分类,进而得出准确的诊断结果,从而为医师诊疗评估提供决策支持。本发明具有较好的快速性,在较短的处理时间下,具有较高的检测率与较低的误检率。
本发明提出的检测系统,不仅执行快速,同时可以保证较高的检测率与较低的误检率,更重要的是可以在复杂的检测环境下保持良好的鲁棒性,可以应用于新冠肺炎的诊断中。
附图说明
图1为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断系统中生成对抗网络的流程图。
图2为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断系统中生成对抗网络的流程图。
图3为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断系统中训练时带有早期标签的图像。
图4为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断系统中训练时带有中期标签的图像。
图5为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断系统中训练时带有晚期标签的图像。
图6是本发明有无领域知识的对比实验。
图7是本发明使用网格搜索策略所获得的两个核函数以及最优参数。
图8是本发明中使用不同维度的深度特征和领域知识下DScGANS模型的ROC曲线和AUC曲线。
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
一种基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断系统,包括:
A1.数据预处理模块
为了让卷积神经网络学到更加真实一致的特征,在深度学习时一般需要对图像进行预处理裁剪,但是大部分的裁剪会导致提取到的ROI区损伤变形,而形状轮廓信息是鉴别病变的重要依据。本发明采用阈值分割的方法从肺部CT图像中提取感染部分,得到感兴趣部分即ROI,并裁剪成相同大小的结节图像存入样本数据库。本发明将患者的CT影像数据按照7:2:1的比例随机划分为训练集、验证集、测试集。实验综合考虑计算成本与图像信息,将图像大小统一为128x128像素。
A2.数据增强模块
使用各个类别图片训练DScGANS来生成相应类别图片来扩充数据集。对于CT图像的生成和分类识别来说,要求模型具有对于旋转图像的泛化能力。因为卷积本身不具有旋转不变性,所以它无法自行得到旋转和翻转的泛化能力。最大值池化也只有小范围的扭曲和旋转不变性。所以本发明对每个类别的训练集图片进行旋转和翻转操作,以期望训练得到的生成模型具有生成旋转图像的泛化能力并尽量避免GAN发生模式崩溃。如此使图片增加到原来的16倍,这些图片直接作为GAN的训练集。
A3.领域知识存储模块:获取并存储相关的领域知识,提取新冠肺炎患者的特异性特征。
鉴于新冠肺炎普遍性病例与特异性病例的肺部病灶医学影像表现存在差异,在与有经验的新冠肺炎专家商讨之后,本发明着重提取了新冠肺炎患者的以下特异性特征:
1、CRP值:
C-反应蛋白(C-reactive protein,CRP)是一种在血浆中发现的肝源性急性蛋白,结构为环状五聚体。肝脏对巨噬细胞和脂肪细胞释放的因子产生应答后可合成CRP,其生理作用是与死细胞或濒死细胞(和某些类型的细菌)表面的溶血磷脂胆碱结合,通过复合物来激活补体系统。它与C-肽(胰岛素)或蛋白C(血凝)不相关。CRP通常作为炎症标志物,当机体受到炎症感染时,CRP水平会急剧上升。
2、咯血量
新型冠状肺炎的患者出现的咳嗽症状多是持续性的,而且是较为剧烈的干咳,如果出现了咳血的情况,证明患者的病情已经比较严重了,及时去当地定点医院进行隔离,并进行对症治疗。
新型冠状肺炎的患者出现咳血的症状时,往往还会伴随着呼吸困难的情况。轻微的呼吸困难并没有什么大的问题,若是呼吸困难的情况比较严重,建议及时去医院进行吸氧治疗,才能够避免病情进一步发展。
3、节段性肺不张
肺不张指一个或多个肺段或肺叶的容量或含气量减少,由于肺泡内的气体吸收,肺不张通常伴有受累区域的透光度降低,邻近结构向不张的区域聚集。有时可见到肺泡腔实变,其他肺组织代偿性气肿。
肺分为几个小段右肺分为三个肺段,左肺分为两个分段,如果是哪一个区域,哪一个肺段出现了阻塞,可以出现节段性肺不张。肺不张分为先天性和后天性两种,一般在临床上常见有以下疾病导致多有肺部炎症和肿瘤。气管异物等患者可以出现咳嗽,咳痰痰中带有血丝,呼吸受限等情况。
4、多发肺气囊
肺气囊,是由于肺组织过度膨胀,肺泡间隔破裂,肺泡相互融合形成空腔,内可见残留的血管和肺泡间隔,肺气囊属于空腔性病变,肺气囊多,是由于先天性发育异常所引起可分为单发性和多发性两种临床现象上会出现胸闷、胸痛、呼吸困难等现象。
A4.DScGANS生成器与鉴别器模块:将预处理后的图片与获取的领域知识输入DScGANS进行特征学习
为了对新冠肺炎图像进行精准分类,我们提出了一种基于领域知识的DScGANS网络,基于领域知识的DScGANS主要包括了两个部分,即生成器与鉴别器。首先在高斯分布中随机采样生成随机向量,并将随机向量输入至生成器,得到仿真图像。其次,将真实图像以及仿真图像按批次输入鉴别器中;借助导入的真实图像以及仿真图像,结合获取的领域背景知识,利用Adam梯度下降法不断调整生成器以及鉴别器的参数。
生成器主要用来结合领域知识学习真实图像分布从而让自身生成的图像更加真实,以“骗”过鉴别器。鉴别器则需要对接收的图片进行真假鉴别。在整个过程中,生成器努力地让生成的图像更加真实,而鉴别器则努力地去识别出图像的真假,这个过程相当于一个动态博弈,随着时间的推移和不断迭代,生成器和鉴别器在不断地进行对抗,最终两个网络达到了一个动态均衡:生成器生成的图像接近于真实图像分布,而鉴别器识别不出真假图像,对于给定图像的预测为真的概率基本接近0.5(相当于随机猜测类别)。
DScGANS生成器与鉴别器模块:具体包括:
A41.建生成器单元,生成图像
参考图2,生成器:我们用G表示,G可以使用这种方法来生成图像G((z,DK);θg),它由一个全连接层和五个反卷积层组成,参数为θg,每一个输入的随机噪声向量z有一个对应的领域知识DK作为支撑,这种随机噪声向量是从真实图像对应的假图像中获得的。
A42.鉴别器单元,鉴别图像
鉴别器:我们使用参数D表示,它包含六个卷积层,一个特征降维层(fdr)、一个联合学习网络(jln)以及和一个全连接层(fc);参数是θd。特征降维层是一种含有16个神经元的全连接层,它用来在连接领域知识和深度特征,并在此之前降低深度特征的维度。实验结果表明,如果将高维深度特征与低维深度特征直接连接,将会压倒低维领域知识。但是将领域特征与深度特征串联后,他们都会被送入联合学习网络。联合学习网络由两个全连接层组成,这两个全连接层用于学习已标记数据的领域知识、深度特征和类别标签之间的关联信息。假设真实的图像patch有k类,我们将G生成的图像patch定义为第k+1类。因此,最后一个全连接层有k+1个神经元,其中前k个都为Softmax神经元,第k+1类为sigmoid神经元。真实的输入图像块可能来自于一个带有标签data(x,y)的真实图像、一个没有标签data(x)的真实图像或者一个生成的虚假图像G((z,DK);θg)。
我们使用前k个神经元来计算服从I~data(x,y)的图像属于第j类的概率类别:
PD(y=j|(I,Dk))=D(j)((I,Dk);θd)
y是输入图像I的类别标签。
我们使用第k+1个神经元来计算输入图像I是属于真实图像data(x)或者生成图像G((z,DK);θg)的概率。我们定义第k+1个神经元的输出是Dk+1((I,Dk);θd),即
PD(l=0|(I,Dk))=D(k+1)((I,Dk);θd)
如果I来自一个虚假图像,变量I的值为0,否则为1。
A43.交替训练单元:交替训练生成器与鉴别器
过程中首先初始化生成器和鉴别器,在每一次的迭代中:
首先固定生成器,更新鉴别器参数。鉴别器的学习目标是,如果判断输入是来自于真实数据集,则给高分;如果是生成器产生的数据,则给低分(损失越小,更容易给低分);接下来,固定鉴别器的参数,更新生成器。将一个噪声输入生成器,得到生成图片,将生成图片输入鉴别器,然后会得到一个分数,这一阶段鉴别器的参数已经被固定,生成器需要调整参数使得这个生成图片的分数越大越好(损失越小生成质量越高)。
为了训练DScGANS组件,我们在训练过程中使用了各种损失函数。对于输入随机噪声向量z,生成器损失函数为:
鉴别器的损失函数由两部分组成:监督损失函数和无监督损失函数。我们用LD_su区分输入I是来自真假图像的损失,用LD_un区分输入I是否属于j类的损失。给定输入I,鉴别器的损失函数为:
LD=LD_su+LD_un
LD_su=-EI~data(x,y)log{PD(y=j|(I,Dk))}
A44.更新单元:利用Adam算法对生成器与鉴别器参数进行更新
其算法推理过程如下:
mt=β1mt-1(1-β1)gt
其中,gt表示梯度,mt表示均值,即梯度的一阶距,vt表示方差,即梯度的二阶距,β1表示一阶矩的指数衰减率,通常默认选为0.9,β2表示二阶矩的指数衰减率,通常默认选为0.999。然后计算校正误差的一阶矩以及二阶矩:
从而获得Adam的更新公式:
其中,η表示学习率,来控制权重的更新比率。学习率的大小会直接影响训练模型的性能,较大的学习率会使得加快模型的初始学习速率,而较小的学习率可一定程度上提高模型训练的收敛性,因此初始学习速率一般可设为0.001。
A5.分类模块:将训练完成后的鉴别器网络保存为特征提取模块,并将倒数第二个全连接层的输出信息(输出结果包括深度特征和DK)作为输入,输入到S3VM进行新冠肺炎分类。
我们定义了Fα、Fβ为倒数第二个全连接网络的输出,它包含我们的深度特征以及领域知识。我们将Fα和Fβ结合,并定义他们为特征向量Fα*β。因此DK常被当做在S3VM分类期间未标注数据的一种条件限制。
假定代表Fα*β的第i个向量,/>代表标记数据集,ym是良性或者恶性标签,/>表示未标记数据集,/>是一种鉴别超平面(discriminating hyperplane)。ω是超平面的常规向量,b是一种偏移项,是从输入空间到高维再生核希尔伯特空间的变换函数(transformation function froman input space to a high-dimensional reproducing kernel Hilbert space)S3VM的优化问题如下所示:
此时,H(t)是标记数据的合页损失函数,未标记数据的对称合页损失函数,C是一种正则化参数,而且C*是一种未标记数据的一种惩罚参数。
图6是本发明中在本网络中将领域知识添加前后所做的对比实验。实验研究发现,将领域知识添加到网络中后,实验结果有明显提升。
图7是本发明使用网格搜索策略所获得的两个核函数以及最优参数。
图8是本发明中使用不同维度的深度特征和领域知识下DScGANS模型的ROC曲线和AUC曲线。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于领域知识引导的新冠肺炎特异性病例的诊断系统,其特征在于,包括以下模块:
数据预处理模块;所述数据预处理模块:采用阈值分割的方法从肺部CT图像中提取感染部分,得到感兴趣部分即ROI,并裁剪成相同大小的结节图像存入样本数据库;将患者的CT影像数据按照7:2:1的比例随机划分为训练集、验证集、测试集;将图像大小统一为128x128像素;
数据增强模块;所述的数据增强模块:对每个类别的训练集图片进行旋转和翻转操作,以期望训练得到的生成模型具有生成旋转图像的泛化能力并尽量避免GAN发生模式崩溃,如此使图片增加到原来的16倍,这些图片直接作为GAN的训练集;
领域知识存储模块:获取并存储相关的领域知识,提取新冠肺炎患者的特异性特征;所述领域知识存储模块提取了新冠肺炎患者的以下特异性特征:CRP值、咯血量、节段性肺不张、多发肺气囊;
DScGANS生成器与鉴别器模块:在高斯分布中随机采样生成随机向量,并将随机向量输入至生成器网络中,得到仿真图像,将真实图像以及仿真图像按批次输入鉴别器网络中;借助导入的真实图像以及仿真图像,结合获取的领域知识(Domain Knowledge,DK),利用Adam梯度下降法不断调整生成器以及鉴别器的参数;生成器主要用来结合领域知识学习真实图像分布从而让自身生成的图像更加真实,以“骗”过鉴别器;鉴别器则需要对接收的图片进行真假鉴别;在整个过程中,生成器努力地让生成的图像更加真实,而鉴别器则努力地去识别出图像的真假,这个过程相当于一个动态博弈,随着时间的推移和不断迭代,生成器和鉴别器在不断地进行对抗,最终两个网络达到了一个动态均衡;
所述DScGANS生成器与鉴别器模块包括:生成器单元、鉴别器单元、交替训练单元、更新单元;
生成器单元,生成图像;
生成器单元用G表示,G使用这种方法来生成图像G((z,DK);θg),它由一个全连接层和五个反卷积层组成,参数为θg,每一个输入的随机噪声向量z有一个对应的领域知识DK作为支撑,这种随机噪声向量是从真实图像对应的假图像中获得的;
鉴别器单元,鉴别图像;
鉴别器单元使用参数D表示,它包含六个卷积层,一个特征降维层(fdr)、一个联合学习网络(jln)以及和一个全连接层(fc);参数是θd;特征降维层是一种含有16个神经元的全连接层,它用来连接领域知识和深度特征,并在此之前降低深度特征的维度;将领域特征与深度特征串联后,他们都会被送入联合学习网络;联合学习网络由两个全连接层组成,这两个全连接层用于学习已标记数据的领域知识、深度特征和类别标签之间的关联信息;假设真实的图像patch有k类,将G生成的图像patch定义为第k+1类;因此,最后一个全连接层有k+1个神经元,其中前k个都为Softmax神经元,第k+1类为sigmoid神经元;真实的输入图像块可能来自于一个带有标签data(x,y)的真实图像、一个没有标签data(x)的真实图像或者一个生成的虚假图像G((z,DK);θg);
使用前k个神经元来计算服从I~data(x,y)的图像属于第j类的概率类别:
PD(y=j|(I,Dk))=D(j)((I,Dk);θd)
y是输入图像I的类别标签;
使用第k+1个神经元来计算输入图像I是属于真实图像data(x)或者生成图像G((z,DK);θg)的概率,定义第k+1个神经元的输出是Dk+1((I,Dk);θd),即
PD(l=0|(I,Dk))=D(k+1)((I,Dk);θd)
如果I来自一个虚假图像,变量I的值为0,否则为1;
交替训练单元:交替训练生成器与鉴别器;
过程中首先初始化生成器和鉴别器,在每一次的迭代中:
首先固定生成器,更新鉴别器参数;鉴别器的学习目标是,如果判断输入是来自于真实数据集,则给高分;如果是生成器产生的数据,则给低分,损失越小,更容易给低分;
接下来,固定鉴别器的参数,更新生成器;将一个噪声输入生成器,得到生成图片,将生成图片输入鉴别器,然后会得到一个分数,这一阶段鉴别器的参数已经被固定,生成器需要调整参数使得这个生成图片的分数越大越好,损失越小生成质量越高;
为了训练DScGANS组件,在训练过程中使用了各种损失函数,对于输入随机噪声向量z,生成器损失函数为:
鉴别器的损失函数由两部分组成:监督损失函数和无监督损失函数,用LD_su区分输入I是来自真假图像的损失,用LD_un区分输入I是否属于j类的损失;给定输入I,鉴别器的损失函数为:
LD=LD_su+LD_un
LD_su=-EI~data(x,y)log{PD(y=j|(I,Dk))}
更新单元:利用Adam算法对生成器与鉴别器参数进行更新;
Adam算法过程如下:
mt=β1mt-1(1-β1)gt
其中,gt表示梯度,mt表示均值,即梯度的一阶距,vt表示方差,即梯度的二阶距,β1表示一阶矩的指数衰减率,β2表示二阶矩的指数衰减率;然后计算校正误差的一阶矩以及二阶矩:
从而获得Adam的更新公式:
其中,η表示学习率,来控制权重的更新比率;学习率的大小会直接影响训练模型的性能,较大的学习率会使得加快模型的初始学习速率,而较小的学习率可一定程度上提高模型训练的收敛性;
分类模块:将鉴别器网络保存为特征提取网络,并将倒数第二个全连通层的输出信息表示作为输入,通过S3VM分类器进行新冠肺炎筛检和分类;倒数第二个全连通层的输出信息包括深度特征和DK。
2.根据权利要求1所述的诊断系统,其特征在于,分类模块:将训练完成后的鉴别器网络保存为特征提取模块,并将倒数第二个全连接层的输出信息作为输入,输入到S3VM进行新冠肺炎分类;定义了Fα、Fβ为倒数第二个全连接网络的输出,它包含深度特征以及领域知识;将Fα和Fβ结合,并定义他们为特征向量Fα*β,因此DK常被当做在S3VM分类期间未标注数据的一种条件限制;
假定代表Fα*β的第i个向量,/>代表标记数据集,ym是良性或者恶性标签,/>表示未标记数据集,/>是一种鉴别超平面,ω是超平面的常规向量,b是一种偏移项,/>从输入空间到高维再生核希尔伯特空间的变换函数;
S3VM的优化问题如下所示:
此时,H(t)是标记数据的合页损失函数,未标记数据的对称合页损失函数,C是一种正则化参数,而且C*是一种未标记数据的一种惩罚参数。
CN202111208713.3A 2021-10-18 2021-10-18 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统 Active CN113935969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111208713.3A CN113935969B (zh) 2021-10-18 2021-10-18 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111208713.3A CN113935969B (zh) 2021-10-18 2021-10-18 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统

Publications (2)

Publication Number Publication Date
CN113935969A CN113935969A (zh) 2022-01-14
CN113935969B true CN113935969B (zh) 2024-04-12

Family

ID=79280237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111208713.3A Active CN113935969B (zh) 2021-10-18 2021-10-18 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统

Country Status (1)

Country Link
CN (1) CN113935969B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631386B (zh) * 2022-12-19 2023-03-10 天津医之本医疗科技有限公司 一种基于机器学习的病理图像分类方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681219A (zh) * 2020-06-03 2020-09-18 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
WO2021097675A1 (zh) * 2019-11-19 2021-05-27 中国科学院深圳先进技术研究院 一种基于医学图像的智能辅助诊断方法及终端
CN113409300A (zh) * 2021-07-12 2021-09-17 上海市第一人民医院 基于人工智能技术的新冠肺炎数据处理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021097675A1 (zh) * 2019-11-19 2021-05-27 中国科学院深圳先进技术研究院 一种基于医学图像的智能辅助诊断方法及终端
CN111681219A (zh) * 2020-06-03 2020-09-18 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
CN113409300A (zh) * 2021-07-12 2021-09-17 上海市第一人民医院 基于人工智能技术的新冠肺炎数据处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
超级计算支撑的新冠肺炎CT影像综合分析辅助系统应用;康波;郭佳;王帅;徐波;孟祥飞;;中国图象图形学报;20201016(10);全文 *

Also Published As

Publication number Publication date
CN113935969A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
Wang et al. Prior-attention residual learning for more discriminative COVID-19 screening in CT images
Pereira et al. COVID-19 identification in chest X-ray images on flat and hierarchical classification scenarios
CN108171232B (zh) 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
Lee et al. Deep learning in medical imaging: general overview
Agrawal et al. Segmentation and classification on chest radiography: a systematic survey
Yadav et al. Lung-GANs: unsupervised representation learning for lung disease classification using chest CT and X-ray images
Zheng et al. Alleviating class-wise gradient imbalance for pulmonary airway segmentation
Lv et al. A cascade network for detecting covid-19 using chest x-rays
Cao et al. A multi-kernel based framework for heterogeneous feature selection and over-sampling for computer-aided detection of pulmonary nodules
Mao et al. Feature representation using deep autoencoder for lung nodule image classification
Kaheel et al. AI-based image processing for COVID-19 detection in chest CT scan images
Zhang et al. Triplet attention and dual-pool contrastive learning for clinic-driven multi-label medical image classification
Majid et al. COVID19 classification using CT images via ensembles of deep learning models.
Tian et al. Deep multi‐instance transfer learning for pneumothorax classification in chest X‐ray images
Xie et al. Optic disc and cup image segmentation utilizing contour-based transformation and sequence labeling networks
El-Shafai et al. Automated COVID-19 detection based on single-image super-resolution and CNN models
CN113935969B (zh) 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统
Dinsdale et al. STAMP: Simultaneous Training and Model Pruning for low data regimes in medical image segmentation
Fang et al. COVID-RDNet: A novel coronavirus pneumonia classification model using the mixed dataset by CT and X-rays images
CN115147640A (zh) 一种基于改进胶囊网络的脑肿瘤图像分类方法
Ali et al. Pneumonia detection in chest X-ray images: Handling class imbalance
Tang et al. NSCGCN: A novel deep GCN model to diagnosis COVID-19
Sayyed et al. CovMUNET: a multiple loss approach towards detection of COVID-19 from chest X-ray
Wang et al. A Novel Automated Classification and Segmentation for COVID-19 using 3D CT Scans
Pujol Vila A semi-supervised statistical framework and generative snakes for IVUS analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant