CN112862089B - 一种具有可解释性的医学图像深度学习方法 - Google Patents

一种具有可解释性的医学图像深度学习方法 Download PDF

Info

Publication number
CN112862089B
CN112862089B CN202110075543.XA CN202110075543A CN112862089B CN 112862089 B CN112862089 B CN 112862089B CN 202110075543 A CN202110075543 A CN 202110075543A CN 112862089 B CN112862089 B CN 112862089B
Authority
CN
China
Prior art keywords
image
network
features
images
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110075543.XA
Other languages
English (en)
Other versions
CN112862089A (zh
Inventor
王好谦
孙中治
杨芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110075543.XA priority Critical patent/CN112862089B/zh
Publication of CN112862089A publication Critical patent/CN112862089A/zh
Application granted granted Critical
Publication of CN112862089B publication Critical patent/CN112862089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种具有可解释性的医学图像深度学习方法，包括如下步骤：1)获取原始医学图像，对原始医学图像进行图像增强并增加图像数量，作为输入图像输入到网络之中；2)对所述输入图像利用VGG‑16网络提取图像特征，得到符合中间临床特征的医学预测图；3)将获得的预测图与标准中间临床特征相对比，计算二者的交叉熵损失Lossx，y，调整VGG‑16网络参数，使计算的交叉熵损失小于设定的阈值，从而完成网络的学习，使VGG‑16网络得到的预测图符合关于比对结果的要求。由本发明得到的网络具有更好的检测精度，同时具有更好的可解释性，方便根据需求进行后续网络优化。

Description

一种具有可解释性的医学图像深度学习方法
技术领域
本发明涉及计算机图像领域，特别是涉及一种具有可解释性的医学图像深度学习方法。
背景技术
在腺体癌症的诊断过程中，能够自动识别病理区域，并将其准确地划分出来是非常重要的一件事。在传统医学领域中，此过程一般由人工完成。但由于图像切片后数量较多，且由于腺体覆盖面积较为广泛、由于病人生理特征的不同其表现形式多种多样，经验不丰富的医生常常会发生漏诊或误诊的情况。因此，能够预先进行准确的腺体癌症检测和病例区域划分十分重要。其中，准确的划分医学腺体图像癌症检测的深度学习神经网络以在很大程度上确定病情的当前阶段，帮助医生进行合理的诊疗。
然而，一方面，在局部病理组织的观察上，各类病理情况在肉眼看来区别较小，与此同时，在整体病理情况上看，因为病人生理特征的不同，往往不同人之间差别较大，因此凭经验的判断往往在详细的病理情况的诊断上存在或多或少的偏差；另一方面，腺体图像每次呈现的图片较多，而真正能体现病理情况的图像却占极少数，在能够体现病理情况的图像之中，能够准确判断病灶的不同区域的更是占极少数。因此，基于医生经验或是传统模式识别方法的病理检测对病情的判断难以达到理想的检测效果。
近年来，深度学习理论被广泛应用在医学图像领域。但由于深度学习网络缺乏理论知识，常常需要靠经验来调整最终的网络参数，导致网络调整时间较长，且易出现调整结果最终不符合实际需求的问题。因此，能增加网络的可解释性，提升网络的可调解性，使网络运行过程中更能可视化，是当下亟需解决的一个重要问题。
在众多深度学习算法中，U-Net、ResNet以及VGG等神经网络在图像分割任务中表现出色；近年来藉由三维CNN可以提取出3D图像的高层次复杂特征，有利于应用在医学图像任务当中。但是，经典的ResNet网络、CNN等网络在数据量不足时容易出现过拟合问题，并且当供训练的正反样本数量差异较大时，容易导致模型过多地学习一种样本的特征并忽略另一方的特征(即不平衡学习现象)，从而影响模型的泛化性能。而与之相比，VGG网络通道更多、特征提取更宽，有效避免了在图像数量过少以及高级特征对预测图贡献较大时产生的过拟合问题。同时，对腺体癌症检测与分割所能应用的图像由于对病人隐私的保护以及发病人数的比例极小，其能够拿来进行训练和检验的数量更是极少；不同病人发病情况不同，边界像素较为模糊，与周围正常生理特征易发生混淆，发生病灶区域漏诊或是误诊的状况。
需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的主要目的在于克服上述背景技术存在的问题，提供一种具有可解释性的医学图像深度学习方法。
为实现上述目的，本发明采用以下技术方案：
一种具有可解释性的医学图像深度学习方法，包括如下步骤：
1)获取原始医学图像，对原始医学图像进行图像增强并增加图像数量，作为输入图像输入到网络之中；
2)对所述输入图像利用VGG-16网络提取图像特征，得到符合中间临床特征的医学预测图；
3)将获得的预测图与标准中间临床特征相对比，计算二者的交叉熵损失Lossx，y，调整VGG-16网络参数，使计算的交叉熵损失小于设定的阈值，，从而完成网络的学习，使VGG-16网络得到的预测图符合关于比对结果的要求。
进一步地：
步骤1)中，所述进行图像增强并增加图像数量包括反转、旋转和随机通道偏移三种方法；步骤2)中，将输入图像统一剪裁(crop)为256*256大小，同时将每8张二维图像设置为一组，并编号为0-7，同时将8张图片作为一组输入网络之中，避免学习梯度的反复跳动并加快网络特征学习收敛的速率。
步骤2)中，对于输入的图像，采用VGG-16网络的下采样层，生成对应五层卷积即五种尺寸的特征提取图，将第一层卷积得到的特征图舍去，取其中后四层作为上采样利用的特征提取层，其中第二层作为边界分割的特征提取层，后三层作为整体图像结构的特征提取层；优选地，将输入图片的256尺寸，分别采样为128、56、28、14、7。
步骤2)具体包括以下步骤：
2.1)对于得到的特征图，首先利用Position Sensitive ROI-Pooling结构对感兴趣目标区域标出目标检测框，并将目标检测框设定为各通道中检测框最大的尺寸；
2.2)使用卷积结构提取整体图像特征和边界特征；
2.3)对提取的整体图像特征和边界特征进行归一化，而后将二者特征值相结合；
2.4)将通过不同尺寸的特征图经过上采样得到的预测图按照人为确定的比例concat在一起；优选地，所述比例对应于各层分别为0.1、0.05、0.25、0.6。
步骤2.2)中，每一层采用如下处理：
对于整体图像特征的提取，其loss函数取Dice Loss，其公式定义如下：
Figure GDA0004189662470000031
其中|X∩Y|是X和Y之间的交集，|X|和|Y|分表表示X和Y的元素的个数，其中，分子的系数为2；i代表选取的第i层特征图；
对边界特征的提取采用对距离特征学习的方式，即对内部点到边界的距离进行学习，而后运用Hausdorff loss函数进行优化，其公式如下：
HausdorffLoss(i)＝dH(X,Y)＝max{dXY,dYX}
其中dH(*)指的是括号中两集合之间的特征点差距大小，X,Y即为比较的两集合，dXY与dYX分别指X中特征点到集合Y的最小距离与Y中特征点到X中的最小距离。
步骤2.3)中，将边界距离特征以及整体像素特征分别进行归一化，而后按照二者在总面积上所占的概率进行结合，其公式如下：
Loss(i)＝αDiceloss(i)+(1-α)HausdorffLoss(i)
其中，α代表非边界像素在总体像素中所占的比例；
总体Loss函数也为二者按权重相加之和：
Figure GDA0004189662470000032
其中，y-，y+分别代表在边界和不在边界的像素集合；P(ypre,j＝0)以及P(ypre,j＝1)代表表示预测像素类别在groudtruth像素j处的概率。
步骤2.4)中，多层的总体Loss函数为各分支Loss函数的按权重相加。
步骤3)中，使用多分类交叉熵损失：
Figure GDA0004189662470000041
其中，L指多种类交叉熵损失的总损失函数值；Li指第i层特征提取层的交叉熵损失函数的值；N指特征提取层的总数；M指整体集合中不同标签的子集合数量；yic指第i个样本预测为第c个标签值的值；pic指第i个样本预测为第c个标签值的概率。
还包括步骤4)：将步骤3)得到的合格图像作为输入图像输入后续ResNext-50网络中，检测其医学腺体图像对应病症的种类。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现所述的方法。
本发明的有益效果主要有：
本发明提供一种具有可解释性的图像检测方法，其中对于输入的原始图像首先将其进行图像增强扩充后运用到VGG网络，得出带有中间临床特征的预测图，可将医生使用的传统标有临床特征的医学图像与通过VGG网络卷积得到的预测图相对比，计算二者的交叉熵损失，由此判断出得到的预测图其所提取特征是否符合预期，调整VGG-16网络参数，从而完成网络的学习，使VGG-16网络得到的预测图能够满足实际使用的要求。在实际医学应用时，可使用由本发明的方法建立的VGG-16网络得到的符合预期的特征图，输入ResNext网络，从而分类出图像所对应病人患病状况。本发明的优点在于：1)通过新型网络优化了传统卷积网络直接由原始图像得到最终结果的黑盒流程，使整个卷积过程更具有可解释性，更易按照现实需求进行调整结构和参数；2)将传统卷积网络改为：先将VGG所得的预测图与临床图像对比，学习其是否符合临床现象，在此基础上再将所得预测图进行病理类型检测；3)在VGG网络中针对边界检测以及整体目标检测采用不同种类的特征学习方式以及loss判定，同时对于不同尺寸的上采样输出的特征图像根据人为定义权重进行结合，以便使边界特征能够得到更大程度的保留，解决了图像范围划分不清，不易辨认的缺陷。相比于其他常用的腺体癌症检测网络，由本发明得到的检测网络由于优点1)与优点3)使结果具有更好的检测精度，同时由于优点2)使网络具有更好的可解释性，方便根据需求进行后续网络优化。
附图说明
图1本发明一种实施例的深度学习神经网络流程图；
图2本发明一种实施例的医学腺体中间临床特征转换的VGG网络结构图；
图3本发明一种实施例的边界距离特征及整体图像特征提取网络结构图；
图4本发明一种实施例的用于医学腺体图像癌症检测的深度学习ResNext-50网络具体结构图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参阅图1至图4，下文以用于医学腺体图像癌症检测的深度学习神经网络为例描述本发明的具体实施例，其可包括如下步骤：
步骤1)：
获取腺体癌症检测原始图像，对原始图像进行图像增强，增加图像数量，将所有图像共同作为输入图像输入到网络之中。
医学腺体癌症检测公开数据集所包含图像数量较少，很多图像都是与其他相邻图片重叠较多，其特征提取变化很小，易发生过拟合。本实施例采用图像增强方法，采取反转、旋转和随机通道偏移三种方法，将图像数量扩展为原来的4倍。
本步骤在获取医学腺体癌症检测原始图像的同时应用图像增强，增加图像数量，减小卷积过程过拟合的概率。首先，根据医学图像的特点以及最终的目标，舍去加噪声(noise)、剪切(shear)等操作，最终采用反转、旋转、随机通道偏移三种方法进行实现。
优选地，将输入图像统一剪裁(crop)为256*256大小，同时将每8张二维图像设置为一组，并编号为0-7，同时将8张图片作为一组输入网络之中，避免学习梯度的反复跳动并加快网络特征学习收敛的速率。
步骤2)：
对步骤1)中的输入图像利用VGG-16网络提取图像特征，得出符合中间临床特征的医学腺体预测图。
对于VGG-16网络的下采样部分，共生成五种尺寸的特征提取图。由于第一层距离原始图像过近，提取特征过于初级，本发明将其舍弃不用。取后四层作为上采样利用的特征提取层，其中第二层(后四层的第一层)作为边界分割的特征提取层，后三层作为整体图像结构的特征提取层。
对于输入的图像，采用VGG-16网络的下采样层，将输入图片的256尺寸，分别采样为128、56、28、14、7。由于尺寸为128的特征图距离原始图片最近，其特征最为原始，难以提取到有助于图片分割的特征，将第一层卷积得到的特征图舍去，不加入到后续特征提取过程，能够最大程度地减小不必要的计算。
对于下采样得到的四个图片尺寸的特征图，每一个按照相同的方法进行下一步处理。接下来只针对某一层进行说明。
对于得到的特征图，首先利用位置敏感特征提取(Position Sensitive ROI-Pooling)结构对感兴趣目标区域标出目标检测框。位置敏感特征提取(PositionSensitive ROI-Pooling)结构是RPN网络结构的优化结构，由于RPN网络结构在深层卷积时会造成对物体的位置信息的敏感度下降，检测准确度降低。因此位置敏感特征提取(Position Sensitive ROI-Pooling)结构对此加以改善，其主要思想是：在特征聚集时人工引入位置信息，从而有效改善较深的神经网络对物体位置信息的敏感程度。
在对目标感兴趣区域标出目标检测框后，由于图片的不同通道，很大概率各通道其目标检测框大小不一致。通过将目标检测框设定为各通道中检测框最大的尺寸，最大程度地减小不必要的误差损失。
对于边界划分以及图像整体的转换，运用卷积结构提取其整体特征形式，其卷积结构如图3所示。
对于整体图像的像素特征提取，其loss函数取Dice Loss，其公式定义如下：
Figure GDA0004189662470000061
其中|X∩Y|是X和Y之间的交集，|X|和|Y|分表表示X和Y的元素的个数，其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因；i代表选取的第i层特征图(i可取为2，3,4,5)，下同。
对边界特征的提取采用对距离特征学习的方式，即对内部点到边界的距离进行学习，而后运用Hausdorff loss函数进行优化，其公式如下：
HausdorffLoss(i)＝dH(X,Y)＝max{dXY,dYX}
其中dH(*)指的是括号中两集合之间的特征点差距大小，X,Y即为比较的两集合。dXY与dYX分别指X中特征点到集合Y的最小距离与Y中特征点到X中的最小距离。
在二者提取相应特征后，将二者在concat之前分别进行归一化，而后再将二者特征值相结合，这可以避免二者特征提取数值范围相差较大的问题。
具体地，将边界距离特征以及整体像素特征分别进行归一化，而后按照二者在总面积上所占的概率进行结合，其公式如下：
Loss(i)＝αDiceloss(i)+(1-α)HausdorffLoss(i)
其中，α代表非边界像素在总体像素中所占的比例。
总体Loss函数也为二者按权重相加之和，其公式如下：
Figure GDA0004189662470000071
其中，y-，y+分别代表在边界和不在边界的像素集合；P(ypre,j＝0)以及P(ypre,j＝1)代表表示预测像素类别在groudtruth像素j处的概率。
将通过不同尺寸的特征图经过上采样得到的预测图按照人为确定的比例进行concat在一起。优选的比例为0.1,0.05,0.25，0.6。此时，在总体准确率不发生下降的同时，边界划分的准确率能够得到明显的提升。
总Loss为四个分支Loss的按权重相加总和，即：
Figure GDA0004189662470000072
最终得到医学中间临床特征的预测图像，为下一步做好准备。
步骤3)：
将上述步骤中获得的预测图与传统医学中间临床特征相对比，计算二者的交叉熵损失Lossx，y，设置相应阈值，调整VGG-16网络参数，使VGG-16网络输出的预测图符合医学使用要求。
本步骤中，将VGG-16网络得到的预测图与医生标注的标准医学传统中间特征图相比较，计算二者的交叉熵损失，通过调整VGG-16网络参数使图像交叉熵损失小于阈值。，从而完成网络的学习，使VGG-16网络得到的预测图符合关于比对结果的要求。可使用VGG-16网络的预测图作为输入图像输入到下一层ResNext-50网络之中。
本步骤使整体检测网络具有更强的可解释性，根据转换而来的中间临床特征医学图像进行比较可以初步判断网络的功能是否符合需求，对后续应用的检测功能的实现进行校准。
为实现检测过程中可解释性的增强，本发明实施例中先使用VGG-16网络获得医生传统使用的中间临床特征图像预测图，将其与标准图像(groundtruth)计算交叉熵损失，以此获得网络的符合预期程度。
对于交叉熵损失，由于本网络提取特征从低级到高级种类较多，故使用多分类交叉熵损失。具体形式如下：
Figure GDA0004189662470000081
其中，L指多种类交叉熵损失的总损失函数值；Li指第i层特征提取层的交叉熵损失函数的值；N指特征提取层的总数，本实施例中其值取为4；M指整体集合中不同标签的子集合数量；yic指第i个样本预测为第c个标签值的值；pic指第i个样本预测为第c个标签值的概率。
将交叉熵损失小于阈值的图像设为符合实际需求的图像，调整VGG-16网络参数，使预期符合率达到95％以上，此时可认为VGG-16网络基本符合医生使用的实际需要，网络学习到了实际需要的特征，可以进行下一步检测。交叉熵损失的阈值优选设为5.7。
在使用本发明时，还可以进一步执行如下步骤：
步骤4)：
将通过VGG-16网络获取的合格图像作为输入图像输入后续ResNext-50网络中，检测其医学腺体图像对应病症的种类。
将VGG-16网络输出的图像输入到ResNext-50网络中，可检测腺体癌症的种类，并将结果提供给医生作为参考，帮助医生进行诊断和后续的治疗。具体地，将VGG-16网络提取的中间临床特征医学图像，在ResNext-50网络中进行检测，对特征图中所划分区域检测其是否属于腺体癌症，为医生提供其分类，帮助诊断的顺利进行。
本发明实施例针对医学腺体癌症图像图像数据量不足、边界划分清晰度不够高以及医学图像深度学习网络可解释性不高等实际特点，对经典算法进行了改进，使用DiceLoss和Hausdorff Loss设计了新的基于VGG多分辨率下采样的网络；而后在和标准中间临床特征图像进行比较，计算交叉熵损失并调整好前值网络后，将图像输入到ResNext-50中进行检测，输出最终诊断结果，达到了较为理想的检测效果。
实例
以下通过实例对本发明具体操作过程作进一步说明。实例使用了2018年和2019年ISIC腺体癌症检测挑战赛的数据集。
在所用数据集中，2018年的数据集共有训练图像2594张，测试数据1000张，附带有标准数据图像(groundtruth)；2019年的数据集共有训练数据图像2531张，测试数据图像823张，同样附带有标准数据图像(groundtruth)。在训练阶段，设置学习率为0.005，一次训练的样本数(batch size)为2000，迭代次数为100。
定义精度(Precision)和查全率(Recall)作为模型的评价指标，即
Figure GDA0004189662470000091
Figure GDA0004189662470000092
式中，TP代表正确检测(True Positive)个数，FP代表虚警(False Positive)个数，FN代表漏检(False Negative)个数。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (11)

1.一种具有可解释性的医学图像深度学习方法，其特征在于，包括如下步骤：
1)对获取的原始医学图像进行图像增强，增加图像数量，作为输入图像输入到网络之中；
2)对所述输入图像利用VGG-16网络提取图像特征，得到符合中间临床特征的医学预测图；对于输入的图像，采用VGG-16网络的下采样层，生成对应五层卷积即五种尺寸的特征提取图，将第一层卷积得到的特征图舍去，取其中后四层作为上采样利用的特征提取层，其中第二层作为边界分割的特征提取层，后三层作为整体图像结构的特征提取层；
3)将获得的预测图与标准中间临床特征相对比，计算二者的交叉熵损失Lossx，y，调整VGG-16网络参数，使计算的交叉熵损失小于设定的阈值，从而完成网络的学习，使VGG-16网络得到的预测图符合关于比对结果的要求。
2.如权利要求1所述的医学图像深度学习方法，其特征在于，步骤1)中，所述进行图像增强并增加图像数量包括反转、旋转和随机通道偏移三种方法；将输入图像统一剪裁为256*256大小，同时将每8张二维图像设置为一组，并编号为0-7，同时将8张图片作为一组输入网络之中，避免学习梯度的反复跳动并加快网络特征学习收敛的速率。
3.如权利要求1所述的医学图像深度学习方法，其特征在于，步骤2)中，将输入图片的256尺寸，分别采样为128、56、28、14、7。
4.如权利要求1至3任一项所述的医学图像深度学习方法，其特征在于，步骤2)具体包括以下步骤：
2.1)对于得到的特征图，首先利用位置敏感特征提取结构对感兴趣目标区域标出目标检测框，并将目标检测框设定为各通道中检测框最大的尺寸；
2.2)使用卷积结构提取整体图像特征和边界特征；
2.3)对提取的整体图像特征和边界特征进行归一化，而后将二者特征值相结合；
2.4)将通过不同尺寸的特征图经过上采样得到的预测图按照人为确定的比例concat在一起。
5.如权利要求4所述的医学图像深度学习方法，其特征在于，所述比例对应于第二层至第五层分别为0.1、0.05、0.25、0.6。
6.如权利要求4所述的医学图像深度学习方法，其特征在于，步骤2.2)中，每一层采用如下处理：
对于整体图像特征的提取，其loss函数取Dice Loss，其公式定义如下：
Figure FDA0004189662460000021
其中|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数，其中，分子的系数为2；i代表选取的第i层特征图；
对边界特征的提取采用对距离特征学习的方式，即对内部点到边界的距离进行学习，而后运用Hausdorff loss函数进行优化，其公式如下：
HausdorffLoss(i)＝dH(X,Y)＝max{dXY,dYX}
其中dH(*)指的是括号中两集合之间的特征点差距大小，X,Y即为比较的两集合，dXY与dYX分别指X中特征点到集合Y的最小距离与Y中特征点到X中的最小距离。
7.如权利要求6所述的医学图像深度学习方法，其特征在于，步骤2.3)中，将边界距离特征以及整体像素特征分别进行归一化，而后按照二者在总面积上所占的概率进行结合，其公式如下：
Loss(i)＝αDiceloss(i)+(1-α)HausdorffLoss(i)
其中，α代表非边界像素在总体像素中所占的比例；
总体Loss函数也为二者按权重相加之和：
Figure FDA0004189662460000022
其中，y-，y+分别代表在边界和不在边界的像素集合；P(ypre,j＝0)以及P(ypre,j＝1)代表表示预测像素类别在groudtruth像素j处的概率。
8.如权利要求6所述的医学图像深度学习方法，其特征在于，步骤2.4)中，多层的总体Loss函数为各分支Loss函数的按权重相加。
9.如权利要求1至3任一项所述的医学图像深度学习方法，其特征在于，步骤3)中，使用多分类交叉熵损失：
Figure FDA0004189662460000031
其中，L指多种类交叉熵损失的总损失函数值；Li指第i层特征提取层的交叉熵损失函数的值；N指特征提取层的总数；M指整体集合中不同标签的子集合数量；yic指第i个样本预测为第c个标签值的值；pic指第i个样本预测为第c个标签值的概率。
10.如权利要求1至3任一项所述的医学图像深度学习方法，其特征在于，还包括步骤4)：将步骤3)得到的合格图像作为输入图像输入后续ResNext-50网络中，检测其医学腺体图像对应病症的种类。
11.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-10任一项所述的方法。
CN202110075543.XA 2021-01-20 2021-01-20 一种具有可解释性的医学图像深度学习方法 Active CN112862089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110075543.XA CN112862089B (zh) 2021-01-20 2021-01-20 一种具有可解释性的医学图像深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110075543.XA CN112862089B (zh) 2021-01-20 2021-01-20 一种具有可解释性的医学图像深度学习方法

Publications (2)

Publication Number Publication Date
CN112862089A CN112862089A (zh) 2021-05-28
CN112862089B true CN112862089B (zh) 2023-05-23

Family

ID=76007690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110075543.XA Active CN112862089B (zh) 2021-01-20 2021-01-20 一种具有可解释性的医学图像深度学习方法

Country Status (1)

Country Link
CN (1) CN112862089B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116936103B (zh) * 2023-09-12 2023-12-15 神州医疗科技股份有限公司 一种基于同向网络的用户健康预测管理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545571A (zh) * 2017-09-22 2018-01-05 深圳天琴医疗科技有限公司 一种图像检测方法及装置
CN110738207A (zh) * 2019-09-10 2020-01-31 西南交通大学 一种融合文字图像中文字区域边缘信息的文字检测方法
CN111292338A (zh) * 2020-01-22 2020-06-16 苏州大学 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111402310A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于深度估计网络的单目图像深度估计方法及系统
CN111476315A (zh) * 2020-04-27 2020-07-31 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN111539469A (zh) * 2020-04-20 2020-08-14 东南大学 一种基于视觉自注意力机制的弱监督细粒度图像识别方法
CN111784671A (zh) * 2020-06-30 2020-10-16 天津大学 基于多尺度深度学习的病理图像病灶区域检测方法
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545571A (zh) * 2017-09-22 2018-01-05 深圳天琴医疗科技有限公司 一种图像检测方法及装置
CN110738207A (zh) * 2019-09-10 2020-01-31 西南交通大学 一种融合文字图像中文字区域边缘信息的文字检测方法
CN111292338A (zh) * 2020-01-22 2020-06-16 苏州大学 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN111402310A (zh) * 2020-02-29 2020-07-10 同济大学 一种基于深度估计网络的单目图像深度估计方法及系统
CN111311592A (zh) * 2020-03-13 2020-06-19 中南大学 一种基于深度学习的三维医学图像自动分割方法
CN111539469A (zh) * 2020-04-20 2020-08-14 东南大学 一种基于视觉自注意力机制的弱监督细粒度图像识别方法
CN111476315A (zh) * 2020-04-27 2020-07-31 中国科学院合肥物质科学研究院 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN111784671A (zh) * 2020-06-30 2020-10-16 天津大学 基于多尺度深度学习的病理图像病灶区域检测方法
CN112016634A (zh) * 2020-09-30 2020-12-01 北京百度网讯科技有限公司 医学图像识别方法、装置、设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Swati Hira等.An automatic approach based on CNN architecture to detect Covid-19 disease from chest X-ray images.《Springer》.2020,第1-26页. *
周涛 ; 霍兵强 ; 陆惠玲 ; 师宏斌 ; .医学影像疾病诊断的残差神经网络优化算法研究进展.《中国图象图形学报》.2020,第25卷(第10期),第2079-2092页. *

Also Published As

Publication number Publication date
CN112862089A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN112017198B (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN107492071A (zh) 医学图像处理方法及设备
Fang et al. Globally guided progressive fusion network for 3D pancreas segmentation
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN114332462B (zh) 一种针对大脑病变融入注意力机制的mri分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN114202545A (zh) 一种基于UNet++的低级别胶质瘤图像分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
FR et al. Segmentation of mammography by applying extreme learning machine in tumor detection
CN113052228A (zh) 一种基于SE-Inception的肝癌病理切片分类方法
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN116884623B (zh) 基于激光扫描成像的医疗康复预测系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN113538458A (zh) 基于FTL损失函数和注意力的U-Net图像分割方法
CN112036298A (zh) 一种基于双段区块卷积神经网络的细胞检测方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备
CN112862089B (zh) 一种具有可解释性的医学图像深度学习方法
CN111768420A (zh) 一种细胞图像分割模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant