CN113298830A - 一种基于自监督的急性颅内ich区域图像分割方法 - Google Patents

一种基于自监督的急性颅内ich区域图像分割方法 Download PDF

Info

Publication number
CN113298830A
CN113298830A CN202110689924.7A CN202110689924A CN113298830A CN 113298830 A CN113298830 A CN 113298830A CN 202110689924 A CN202110689924 A CN 202110689924A CN 113298830 A CN113298830 A CN 113298830A
Authority
CN
China
Prior art keywords
network
cognitive
ich
segmentation
intracranial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110689924.7A
Other languages
English (en)
Other versions
CN113298830B (zh
Inventor
陈善雄
谢鹏
朱世宇
李琦
杨文松
沈逸青
谭朵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Chongqing Medical University
Original Assignee
Southwest University
Chongqing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University, Chongqing Medical University filed Critical Southwest University
Priority to CN202110689924.7A priority Critical patent/CN113298830B/zh
Publication of CN113298830A publication Critical patent/CN113298830A/zh
Application granted granted Critical
Publication of CN113298830B publication Critical patent/CN113298830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自监督的急性颅内ICH区域图像分割方法，包括将出血部位图A1送入认知网络，由认知网络学习生成颅内ICH区域图；将颅内ICH区域图和一张CT扫描图送入分割网络，由分割网络生成ICH区域定位图；比较ICH区域定位图与CT扫描图，判断ICH区域定位图与CT扫描图的出血区域一致性，并不断循环训练。本发明结合无监督的思想，基于知识约束生成式对抗网络的图像分割技术，实现医学影像中颅内ICH区域的自动分割。在生成式对抗网络的思想上对生成器进行改造，变形为分割网络。利用生成式对抗网络的特性，模型优化不再依靠精细标注样本，保证了分割准确性。

Description

一种基于自监督的急性颅内ICH区域图像分割方法
技术领域
本发明涉及一种颅内ICH区域识别技术，具体地说，是一种基于自监督的急性颅内ICH区域图像分割方法。
背景技术
颅内出血(Intracerebral hemorrhage，ICH)，是指脑中的血管破裂引起出血，因此由血管获得血液的脑细胞受到破坏的同时，由于出血压迫周围的神经组织而引起障碍。颅内出血是一种相对常见的疾病，其病因包括创伤、中风、动脉瘤、血管畸形、高血压、非法药物和凝血障碍等。它也叫脑出血、脑溢血、出血性中风/卒中，占全部脑卒中的20％～30％，急性期病死率为30％～40％。颅内出血，是一种会威胁到患者生命安全的严重疾病，需要进行迅速且复杂的医学治疗。
颅内出血过程中，从头痛到死亡，根据出血的大小、类型和部位，对神经系统的影响也大不相同。在临床诊断中，放射科医生需要对ICH区域进行手工测量，从而进一步判断患者的治疗方案。颅内ICH区域手工分割过程复杂、耗时，并且需要极高的专业水平和丰富的临床经验。该分割结果也极易受人的主观意识所影响。基于CT(computed tomography)医学影像研究的自动颅内ICH区域分割对指导临床诊断治疗有着重要的价值。可以简化诊断流程，显著减少诊断时间，让患者的治疗更及时，降低急性颅内出血导致的发病率和死亡率。在缺少放射科医生的偏远地区，自动分割还能够辅助医生进行决策。然而，一幅典型的医学影像十分复杂，可能包含了许多的器官和组织。准确地分割感兴趣区域要掌握医学影像的成像原理，熟悉成像特点，还需具备丰富的脑科知识。不管是CT还是MRI(magneticresonance imaging)，在成像过程中由于成像设备和人为因素等影响还会包含干扰信息，造成边界模糊。通常情况下，边界是通过医务人员相互之间协商来完成，可见医学影像中颅内出血自动精确的分割是一个极大的挑战。
近年来，深度学习技术在医学影像任务中不断取得重大突破，包括检测、分割和定位影像学异常，去量化病情。目前深度学习已经成为医学图像分割的主流技术。1995年，卷积神经网络(convolutional neural network,CNN)被应用于医学影像分析领域。因为CNN是基于像素分类的分割思路，无法有效地提取全局结构特征，后来逐渐被全卷积网络(fully convolutional network,FCN)所代替。全卷积的问题，2015年提出的U-Net在医学图像分割上展现出更好的效果，该结构在编码器上逐渐减少池化层的空间维度，同时在解码器层逐步修复物体的细节和空间维度。后来更多类似的网络出现，如郝晓宇等人提出的融合双注意力机制的肺肿瘤分割等。2019年，Xu等人对CT或MRI这样的多层切片成像，将扫描方向看作时间轴方向，使用循环神经网络(recurrent neural network,RNN)对脑肿瘤进行分割。
此外，网络的框架也有新的变化。使用生成式对抗网络(generative adversarialnetwork,GAN)进行医学图像的分割，已成为一个研究热点。Yang等人基于GAN还提出一种专门用于医学图像分割的框架模型。后面不断出现GAN网络的改进，2019年，Rezaei等人提出了条件生成细化网络，该网络由生成网络、判别网络和细化网络这3部分组成，其中细化网络处理误分类成本。同年，Xia等人提出了一种基于DeepLabv3基本框架的改进模型，并引入Pix2pix网络作为生成对抗模型，实现深度特征与多尺度语义特征相结合的分割框架，减少了空间结构的不一致性。
上述研究为颅内ICH区域自动分割奠定了基础，但要满足放射学高灵敏度和高特异性的需求，除了设计合适的模型架构，还需要精确标记的样本，用来训练模型。并且只有当样本数量足够多，差异性足够大时，模型才具有一定的泛化性，有可能推广到临床应用。由于颅内出血样本稀少，且标注困难，训练优化ICH区域分割模型难以理想化。同时，过度依赖手动标记，会存在泛化错误、虚假相关性和对抗性攻击等问题。
发明内容
为解决上述问题，本发明提出了一种基于自监督的急性颅内ICH区域图像分割方法。利用生成式对抗网络的特性，我们的模型优化不再依靠精细标注样本，提高分割准确性。
为达到上述目的，本发明表述一种基于自监督的急性颅内ICH区域图像分割方法，其主要是：
步骤一、获取Q1张已经被医生勾勒出颅内出血区域CT图片，即出血部位图，获取Q2张完整的有颅内出血的CT扫描图；
步骤二、将第一张出血部位图A1送入认知网络，由认知网络学习生成颅内ICH区域图；
步骤三、将颅内ICH区域图和一张CT扫描图送入分割网络，由分割网络生成ICH区域定位图；
步骤四、比较ICH区域定位图与步骤三中的CT扫描图，判断二者展现出的出血区域的轮廓是否趋于完全接近，如果趋于完全接近，则确定当前认知网络和分割网络是一个合格的ICH区域图像分割模型；如果不是趋于完全接近，则进入步骤五；
最直接的比较是通过肉眼对比，虽然有一定的主观性，但效果最直接。也可以通过像素点重叠量的百分占比进行对比，设置一个阈值作为比较门槛，在此不再赘述。
步骤五、将第二张出血部位图A2和步骤四中的ICH区域定位图送入所述认知网络，再由认知网络学习生成新的颅内ICH区域图；
重复步骤三、四、五，直到步骤四判断出ICH区域定位图与步骤三中的CT扫描图的出血区域的轮廓趋于完全接近。
GAN最初是作为一种自监督学习框架被提出，通常由两个网络组成，分别为生成器和判别器。GAN被提出之初，生成器完成图像生成，判别器完成图像鉴别。通过不断发展，GAN有了很多衍生应用和变化，有些任务因为目的不同，并没有保留自监督的特性。将GAN应用于图像分割。在这些应用中，GAN更多去充当一个概率分布的学习网络，没充分发挥其自监督的特点。本发明在上述研究之上，以GAN的架构为基础，结合颅内ICH区域的特性，建立认知网络和分割网络，设计出KC-GAN模型，充分发挥出GAN自监督的特点，实现无像素标注的图像分割。
将判别器重构为一个认知网络，将颅内ICH区域的所有特性转化为网络的参数，作为先验知识。再将生成器重构为一个分割网络，对脑CT扫描数据进行处理，将其中颅内ICH区域分割出来。认知网络在学习颅内ICH区域特性的同时，利用其获取的先验知识代替像素标注，去约束分割网络。
将血部位图的图像送入认知网络，结合其损失函数获得lossd。通过lossd，优化认知网络，认知网络就会产生关于颅内ICH区域的先验知识。但这样无法达到对抗的效果，认知网络可能会陷入某一个局部最优或没有泛化性。本发明将分割网络输出的ICH区域定位图，分次送入认知网络，获得lossg。lossg有2个作用，既可以提高认知网络对于颅内ICH区域的学习能力，又能对分割网络进行指导。因为lossg是认知网络对输入图像关于颅内ICH区域的评价，所以从另一个角度上，lossg也代表分割网络的分割效果。原来样本经过像素标注后，与分割预测对比，得到一个损失值，以此优化分割模型。我们的lossg就替代该损失值，去优化分割网络，从而不再依赖像素标注的样本。在分割网络优化的之后，分割能力变强，分割效果更佳，lossg又可以对认知网络进一步优化。循环往复，认知网络和分割网络完成对抗式训练，当认知网络的优化程度提高时，关于颅内ICH区域的认知就更为准确，对分割网络分割的指导效果就会更好，从而促进分割网络优化。分割网络优化后，其分割结果会更为准确，就促进认知网络进一步去提炼关于颅内ICH区域的特性。形成两个网络间的相互博弈，实现自监督学习，摆脱数据标注的束缚。
所述认知网络的模型结构为依次连接的：第一认知卷积层“conv2d”，第一认知逐元素相加单元“elementwise_add”、第一认知批正则化层“batch_norm”、第一认知激活函数“relu”、第一认知池化层“pool2d”、第二认知卷积层“conv2d”、第二认知逐元素相加单元“elementwise_add”、第二认知批正则化层“batch_norm”、第二认知激活函数“relu”、第二认知池化层“pool2d”、第二认知全连接层“matmul”、第三认知逐元素相加单元“elementwise_add”。
所述分割网络的模型结构为依次连接的：第一分割卷积层“conv2d”，第一分割逐元素相加单元“elementwise_add”、第一分割批正则化层“batch_norm”、第一分割激活函数“relu”、第一分割池化层“pool2d”、第二分割卷积层“conv2d”、第二分割逐元素相加单元“elementwise_add”、第二分割批正则化层“batch_norm”、第二分割激活函数“relu”、第二分割池化层“pool2d”、第三分割卷积层“conv2d_transpose”、第三分割逐元素相加单元“elementwise_add”。
将Unet网络的思想和注意力机制相融合，设计出ICH区域分割网络，并用它代替生成器。经典的Unet网络由编码和解码两部分构成，重要思想在于，它将编码模型的中间数据传输到解码模型，避免图像细节的丢失。在相关研究中也提到，由于器官本身结构固定和语义信息不是特别丰富，高级语义信息和低级特征都特别重要，所以经典的Unet网络在医学图像分割中有很好的表现。我们没有直接沿用经典的Unet网络，首先它是一种有监督模型，其次我们设计的是一种注意力机制，而非图像生成。
视觉注意力机制：视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。在卷积神经网络中，视觉注意力通常可分为通道注意力和空间注意力两种形式。可参阅张筱竼《卷积神经网络中的注意力机制》。
如果通过Unet网络直接生成ICH区域，因为ICH区域形状的多变和特征的复杂，要生成这样的图像，要求生成模型有很高的复杂度。这样的复杂模型不仅存在计算成本高的问题，并且小样本数据难以支撑模型完成训练，找到最优点。我们从减轻模型复杂度考虑，将ICH区域分割网络分成2个阶段实现，1阶段是通过注意力机制生成热力图，2阶段则是将原始的CT扫描图与热力图相结合获取ICH区域。这样与直接生成ICH区域相比，大大降低模型复杂度。
所述步骤二中，采用5x5窗口作为滤波器对出血部位图进行卷积，将ICH区域的特征进行抽取并转化为特征矩阵，对每个输入X，采用公式8：
Out＝σ(W*X+b) (8)
其中X为出血部位图，W为滤波器，*为卷积操作，b为偏移量，σ为激活函数，Out为输出值；
然后，通过认知全连接层对输出值Out的特征进行分析，输出值Out中所有像素被归一化处理，从而生成仅由255和0两种色度值组成颅内ICH区域图。
所述步骤三中，采用第一、第二分割卷积层将CT扫描图转化为高纬度的矩阵向量，实现CT扫描图中各部位的特征抽象，然后再通过注意力机制对抽象出的特征进行筛选，根据筛选保留下的特征信息，同步生成出新的热力图，将新的热力图与输入的CT扫描图图像进行矩阵点乘，分割出所述ICH区域定位图，如公式9所示：
m＝c*z (9)
其中Z为真实的脑CT扫描图，C为的热力图像；m为ICH区域定位图。
在知识约束生成式对抗网络中，设计认知网络去学习颅内ICH区域的影像特征，通过建立对ICH区域特征的认知，将其作为分割网络的优化约束。对采集到的颅内ICH区域图像进行分析，通过设计损失函数去限制认知网络学习的知识范围，让它尽可能只学习与ICH区域相关的知识，并且在约束分割网络时，通过损失函数进行引导。在训练过程中，每一次优化，认知网络会进行2次正向传播，分别求出两个损失值，所述认知网络采用损失函数自学习获得lossd；
所述分割网络采用损失函数，自学习获得lossg，并分次返给认知网络采用损失函数学习，生成新的lossg；
认知网络求出两个损失值，如公式1和公式2所示：
D:y＝d(x,θD) (1)
Figure BDA0003126244250000061
其中D表示ICH区域认知网络，x为出血部位图，
Figure BDA0003126244250000063
为分割网络输出的ICH区域定位图，θD为认知网络参数；y和
Figure BDA0003126244250000064
为认知网络的输出结果out，认知网络的损失函数将x识别为真，将
Figure BDA0003126244250000065
识别为假，如公式3所示：
Figure BDA0003126244250000062
公式3的物理意义为，通过将所有ICH区域图像判断为真，使得模型学习到ICH区域的特征；通过将分割网络的输出判断为假，让分割网络不断促进认知网络优化，形成与分割网络的对抗学习。
分割网络帮助认知网络获得损失值lossd和lossg的同时，也获得分割网络的损失值，对自身进行优化，分割网络也获取认知网络赋予的损失值进行学习，由认知网络对分割网络进行约束，数学表达式如公式4所示：
G:m＝g(z,θG) (4)
其中G表示分割网络；z为脑CT扫描图，θG为分割网络参数，m为分割网络的输出，即分割出的ICH区域定位图，其损失函数如公式5所示：
lossg＝min{∑log(1-d(m,θD))} (5)。
公式5的物理意义为，分割网络的分割效果不再由训练数据的标签决定，也不需要人工去判定。而是由认知网络去判定。认知网络通过对ICH区域的认知，去约束分割网络，让其输出的结果朝认知网络期望的方向发展。联合公式3，认知网络也因为分割网络分割效果的提升，也进一步提高自身对ICH区域的认知能力，形成对抗式学习。
因为颅内ICH区域是由淤血堆积而成，随时间改变，流出的血液颜色会由浅变深。反映在CT扫描图上，即为ICH区域内部的CT值并不均匀，而是呈一个渐变趋势。我们对出颅内血部位的CT值转换为0～255的像素值，将其转换为直方图进行分析。
ICH区域服从偏态分布。我们通过公式6计算测试样本中的偏度系数，基于偏度和峰度进行正态性检验，去判定ICH区域CT值的分布的不对称程度以及方向，计算结果如表1所示。
Figure BDA0003126244250000071
表1偏态测试数据
Figure BDA0003126244250000072
通过表1可以得出，ICH区域是服从偏态分布的，将偏度的约束加入到分割网络的损失函数中，如公式7所示，其中α为Skew()的权重系数，m为分割网络输出的结果，
lossg＝min{∑log(1-d(m,θD)+α·(1-Skew(m)))} (7)。
本发明的有益效果是：本发明结合无监督的思想，基于知识约束生成式对抗网络(knowledge constraint generative adversarial network,KC-GAN)的图像分割技术，提出了一种基于自监督的急性颅内ICH区域图像分割方法。实现医学影像中颅内ICH区域的自动分割。在生成式对抗网络的思想上对生成器进行改造，变形为分割网络。没有延用经典的生成器和判别器的网络结构，而是依据FCN的思想进行改造和蒸馏。针对颅内ICH区域的位置，形状和与其他影像学特征，对判别器的损失函数进行重新设计，使判别器对ICH区域的判定更为准确，能够更好地帮助分割网络优化。利用生成式对抗网络的特性，模型优化不再依靠精细标注样本，保证了分割准确性。
附图说明
图1是部分脑CT扫描样本图
图2是认知网络的模型结构；
图3是分割网络的模型结构；
图4模型训练流程图；
图5训练过程中loss的变化过程图；
图6训练过程中聚焦变化过程图；
图7左侧脑扫描图与右侧ICH区域直方图对比图；
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
实验数据由重庆医科大学附属医院提供。我们收集了500例急性颅内患者的脑CT扫描图，切片轴向平面大小为512x512，2000张图像，样本如图1所示。300名患者用于训练KC-GAN，200名患者用于验证所提出的KC-GAN模型。我们还收集了200例急性颅内患者的脑CT扫描图，由专业影像科医按矩形区域分割ICH区域，得到ICH区域图用于训练。我们将脑CT扫描图和ICH区域矩形图转化为256x256大小的灰度图，每个像素点用0～255灰度值表示。
一种基于自监督的急性颅内ICH区域图像分割方法，具体步骤为：
步骤一、获取Q1张已经被医生勾勒出颅内出血区域CT图片，即出血部位图，获取Q2张完整的有颅内出血的CT扫描图；
步骤二、将第一张出血部位图A1送入认知网络，由认知网络学习生成颅内ICH区域图；
步骤三、将颅内ICH区域图和一张CT扫描图送入分割网络，由分割网络生成ICH区域定位图；
步骤四、比较ICH区域定位图与步骤三中的CT扫描图，判断二者展现出的出血区域的轮廓是否趋于完全接近，如果趋于完全接近，则确定当前认知网络和分割网络是一个合格的ICH区域图像分割模型；如果不是趋于完全接近，则进入步骤五；
步骤五、将第二张出血部位图A2和步骤四中的ICH区域定位图送入所述认知网络，再由认知网络学习生成新的颅内ICH区域图；
重复步骤三、四、五，直到步骤四判断出ICH区域定位图与步骤三中的CT扫描图的出血区域的轮廓趋于完全接近。
如图2所示：所述认知网络的模型结构为依次连接的：第一认知卷积层“conv2d”，第一认知逐元素相加单元“elementwise_add”、第一认知批正则化层“batch_norm”、第一认知激活函数“relu”、第一认知池化层“pool2d”、第二认知卷积层“conv2d”、第二认知逐元素相加单元“elementwise_add”、第二认知批正则化层“batch_norm”、第二认知激活函数“relu”、第二认知池化层“pool2d”、第二认知全连接层“matmul”、第三认知逐元素相加单元“elementwise_add”。
如图3所示：所述分割网络的模型结构为依次连接的：第一分割卷积层“conv2d”，第一分割逐元素相加单元“elementwise_add”、第一分割批正则化层“batch_norm”、第一分割激活函数“relu”、第一分割池化层“pool2d”、第二分割卷积层“conv2d”、第二分割逐元素相加单元“elementwise_add”、第二分割批正则化层“batch_norm”、第二分割激活函数“relu”、第二分割池化层“pool2d”、第三分割卷积层“conv2d_transpose”、第三分割逐元素相加单元“elementwise_add”。
所述步骤二中，采用5x5窗口作为滤波器对出血部位图进行卷积，将ICH区域的特征进行抽取并转化为特征矩阵，对每个输入X，采用公式8：
Out＝σ(W*X+b) (8)
其中X为出血部位图，W为滤波器，*为卷积操作，b为偏移量，σ为激活函数，Out为输出值；
然后，通过认知全连接层对输出值Out的特征进行分析，输出值Out中所有像素被归一化处理，从而生成仅由255和0两种色度值组成颅内ICH区域图。
所述步骤三中，采用第一、第二分割卷积层将CT扫描图转化为高纬度的矩阵向量，实现CT扫描图中各部位的特征抽象，然后再通过注意力机制对抽象出的特征进行筛选，根据筛选保留下的特征信息，同步生成出新的热力图，将新的热力图与输入的CT扫描图图像进行矩阵点乘，分割出所述ICH区域定位图，如公式9所示：
m＝c*z (9)
其中Z为真实的脑CT扫描图，C为的热力图像；m为ICH区域定位图。
所述认知网络采用损失函数自学习获得lossd；
所述分割网络采用损失函数，自学习获得lossg，并分次返给认知网络采用损失函数学习，生成新的lossg；
认知网络求出两个损失值，如公式1和公式2所示：
D:y＝d(x,θD) (1)
Figure BDA0003126244250000101
其中D表示ICH区域认知网络，x为出血部位图，
Figure BDA0003126244250000103
为分割网络输出的ICH区域定位图，θD为认知网络参数；y和
Figure BDA0003126244250000104
为认知网络的输出结果out，认知网络的损失函数将x识别为真，将
Figure BDA0003126244250000105
识别为假，如公式3所示：
Figure BDA0003126244250000102
分割网络帮助认知网络获得损失值lossd和lossg的同时，也获得分割网络的损失值，对自身进行优化，分割网络也获取认知网络赋予的损失值进行学习，由认知网络对分割网络进行约束，数学表达式如公式4所示：
G:m＝g(z,θG) (4)
其中G表示分割网络；z为脑CT扫描图，θG为分割网络参数，m为分割网络的输出，即分割出的ICH区域定位图，其损失函数如公式5所示：
lossg＝min{∑log(1-d(m,θD))} (5)。
如图4所示：认知网络与分割网络组成的训练模型分为三个自学习训练阶段：
第一个阶段：对认知网络进行训练。将真实的血部位图输入认知网络，同时对认知网络进行训练，输出颅内ICH区域图；
第二个阶段：对分割网络进行对抗训练。将颅内ICH区域图，以及完整CT扫描图输入分割网络，在分割网络中正向传播后，将网络最后输出的热力图与完整脑CT扫描图相乘，同时对分割网络进行训练，得到聚焦区域对应的ICH区域定位图，
第三个阶段：对认知网络与分割网络进行训练，输入ICH区域定位图和新的血部位图给认知网络，再次对认知网络进行训练，新的CT扫描图输入到分割网络进行训练，在网络中正向传播后，形成ICH区域定位图。
因为希望分割网络能够对真正的ICH区域区域更为敏感，使得在脑CT扫描图中分割的区域为真正的ICH区域区域，所以希望认知网络判断的结果为“真”，所以期望值为1。将lossg代入经典梯度下降算法Adam，在认知网络中进行反向传播，对ICH区域分割网络参数进行优化。
三个阶段不停循环，实现模型的训练，其流程图如图3所示。
训练过程中lossd和lossg的变化如图5所示，认知网络中的聚焦图变化如图6所示。
因为颅内ICH区域是由淤血堆积而成，随时间改变，流出的血液颜色会由浅变深。反映在CT扫描图上，即为ICH区域内部的CT值并不均匀，而是呈一个渐变趋势。我们对出颅内血部位的CT值转换为0～255的像素值，将其转换为直方图进行分析，如图7所示。
将偏度的约束加入到分割网络的损失函数中，如公式7所示，其中α为Skew()的权重系数，m为分割网络输出的结果，
lossg＝min{∑log(1-d(m,θD)+α·(1-Skew(m)))} (7)。
本发明采用百度飞浆框架paddlepaddle来实现我们的模型，编程语言为python，使用固定学习率为0.0002、β1为0.4的Adam优化器对定义的鉴别器和生成器损失函数进行优化。在所有的实验中，我们设置最大迭代为10k，批大小为25。所有实验均在Linux64位操作系统上完成，使用4核心CPU和16GB显存的NVIDIATeslaV100GPU。
采用混淆矩阵验证本发明的技术效果：
表1混淆矩阵
The confusion matrix
Figure BDA0003126244250000121
如表2所示：混淆矩阵通常用于预测结果的分析，该矩阵可以直接判断真实标签和预测值之间的对应关系。在表2中，TN定义为true标签为0，预测标签为0。FP为实际标签为0，但预测标签为1。如果实际标签为1而预测标签为0，则为TN。被定义为FN。如果实际标签和预测标签均为1，则将其定义为TP。为了从不同方面评估分割方法的性能，评估系统中需要考虑许多因素。在发明为了全面评估提议的ED-Net，使用了五个指标，包括骰子得分(Dice)，灵敏度(Sen)，特异性(Spe)，精度(Pre)和Jaccard指数(Jac)。所有指标定义如下：
Figure BDA0003126244250000122
Figure BDA0003126244250000123
Figure BDA0003126244250000124
Figure BDA0003126244250000125
Figure BDA0003126244250000126
在分割任务中，Dice和Jac是评估预测值和真实值之间相似性的最常用指标。Sen是指正确预测出血的分割结果中的像素数与实际出血中的像素数之比。Spe是在分割结果中正确检测到的感兴趣区域之外的像素的百分比。Pre是指在分割中正确分类的目标像素的比例。所有指标都是分数越接近1，则分割结果越好。
我们将提出的KC-GAN与以下10个最先进的深度神经网络在测试集上进行了比较：(1)SegNet(Badrinarayanan，Kendall，&Cipolla，2017)，一种用于语义像素分割。(2)U-Net(Ronneberger，Fischer和Brox，2015年)，2015年ISBI细胞跟踪挑战赛的获胜者，也是最受欢迎的生物医学图像分割深度学习模型。(3)DeepLabv3(Chen，Papandreou，Schroff，&Adam，2017)，提出了Atrous空间金字塔池(ASPP)模块来提取多尺度特征并利用全局内容信息来改善模型性能。(4)PSPNet(Zhao，Shi，Qi，Wang，&Jia，2017)，提出了金字塔池模块来聚合上下文来自不同地区的信息。(5)X-Net(Qi等人，2019)，提出了深度可分离卷积并设计了一个非本地操作，即特征相似模块(FSM)以捕获远程依赖关系。(6)CLCI-Net(Yang等人，2019)，提出了跨级别特征融合(CLF)策略，以融合不同级别的不同尺度特征。(7)双重FCN(Cho等人，2019)，双重双重卷积网络，用于描绘病灶。(8)PatchFCN(Kuo等人，2019)，它使用Dilated ResNet38作为主干，然后将反卷积应用于顶级特征以解码像素预测。(9)MultiResUNet(Ibtehaz&Rahman，2020)，一种经典的U-net体系结构，使用残差路径来减少语义鸿沟。(10)ED-Net一种新型端到端网络体系结构，其中包含编码器部分和解码器部分。编码器可以有效地提取高级和低级语义特征，而解码器可以集成多尺度特征以形成ICH区域的统一特征表示。因为这些模型都是有监督训练方式，我们用测试数据集中标注好的一半数据对其进行训练，用剩下的一半数据进行对比。
表2中显示了不同方法的比较结果。从表2中我们可以发现，与其他方法相比，我们的方法具有最佳的Dice和Jac值。此外，我们方法的波动范围要比其他方法更集中在高值范围内。这表明我们的方法在各种临床数据中比其他方法更有效。这主要是因为这些方法基于自监督方法训练，受数据标注所限，当面对各种不平衡的临床数据时，或小样本数据时，这些模型的性能并不理想。
表2测试集上不同方法性能比较
Performance comparison of different methods on the test set
Method Year Dice Pre Jac Sen Spe
SegNet 2015 0.8577 0.8376 0.7667 0.9007 0.9999
U-Net 2015 0.7952 0.7768 0.6807 0.8868 0.9999
DeepLabv3 2017 0.7956 0.8909 0.6882 0.7681 0.9999
PSPNet 2017 0.8053 0.8579 0.7076 0.8109 0.9999
X-Net 2019 0.7089 0.7173 0.5717 0.7716 0.9999
CLCI-Net 2019 0.7658 0.6865 0.6550 0.9463 0.9999
Dual FCNs 2019 0.7939 0.8000 0.6751 0.8334 0.9999
PatchFCN 2019 0.7657 0.8445 0.6514 0.7480 0.9999
MultiResUNet 2020 0.8591 0.8335 0.7701 0.9145 0.9999
ED-Net 2020 0.8807 0.8857 0.7989 0.8947 0.9999
Our(未加入偏态约束) - 0.8259±0.0412 0.8384 0.9999
Our(加入偏态约束) - 0.7923±0.0844 0.7819 0.9999

Claims (7)

1.一种基于自监督的急性颅内ICH区域图像分割方法，其特征在于：
步骤一、获取Q1张已经被医生勾勒出颅内出血区域CT图片，即出血部位图，获取Q2张完整的有颅内出血的CT扫描图；
步骤二、将第一张出血部位图A1送入认知网络，由认知网络学习生成颅内ICH区域图；
步骤三、将颅内ICH区域图和一张CT扫描图送入分割网络，由分割网络生成ICH区域定位图；
步骤四、比较ICH区域定位图与步骤三中的CT扫描图，判断二者展现出的出血区域的轮廓是否趋于完全接近，如果趋于完全接近，则确定当前认知网络和分割网络是一个合格的ICH区域图像分割模型；如果不是趋于完全接近，则进入步骤五；
步骤五、将第二张出血部位图A2和步骤四中的ICH区域定位图送入所述认知网络，再由认知网络学习生成新的颅内ICH区域图；
重复步骤三、四、五，直到步骤四判断出ICH区域定位图与步骤三中的CT扫描图的出血区域的轮廓趋于完全接近。
2.根据权利要求1所述的一种基于自监督的急性颅内ICH区域图像分割方法，其特征在于：
所述认知网络的模型结构为依次连接的：第一认知卷积层“conv2d”，第一认知逐元素相加单元“elementwise_add”、第一认知批正则化层“batch_norm”、第一认知激活函数“relu”、第一认知池化层“pool2d”、第二认知卷积层“conv2d”、第二认知逐元素相加单元“elementwise_add”、第二认知批正则化层“batch_norm”、第二认知激活函数“relu”、第二认知池化层“pool2d”、第二认知全连接层“matmul”、第三认知逐元素相加单元“elementwise_add”。
3.根据权利要求1所述的一种基于自监督的急性颅内ICH区域图像分割方法，其特征在于：
所述分割网络的模型结构为依次连接的：第一分割卷积层“conv2d”，第一分割逐元素相加单元“elementwise_add”、第一分割批正则化层“batch_norm”、第一分割激活函数“relu”、第一分割池化层“pool2d”、第二分割卷积层“conv2d”、第二分割逐元素相加单元“elementwise_add”、第二分割批正则化层“batch_norm”、第二分割激活函数“relu”、第二分割池化层“pool2d”、第三分割卷积层“conv2d_transpose”、第三分割逐元素相加单元“elementwise_add”。
4.根据权利要求2所述的一种基于自监督的急性颅内ICH区域图像分割方法，其特征在于：所述步骤二中，采用5x5窗口作为滤波器对出血部位图进行卷积，将ICH区域的特征进行抽取并转化为特征矩阵，对每个输入X，采用公式8：
Out＝σ(W*X+b) (8)
其中X为出血部位图，W为滤波器，*为卷积操作，b为偏移量，σ为激活函数，Out为输出值；
然后，通过认知全连接层对输出值Out的特征进行分析，输出值Out中所有像素被归一化处理，从而生成仅由255和0两种色度值组成颅内ICH区域图。
5.根据权利要求3所述的一种基于自监督的急性颅内ICH区域图像分割方法，其特征在于：所述步骤三中，采用第一、第二分割卷积层将CT扫描图转化为高纬度的矩阵向量，实现CT扫描图中各部位的特征抽象，然后再通过注意力机制对抽象出的特征进行筛选，根据筛选保留下的特征信息，同步生成出新的热力图，将新的热力图与输入的CT扫描图图像进行矩阵点乘，分割出所述ICH区域定位图，如公式9所示：
m＝c*z (9)
其中Z为真实的脑CT扫描图，C为的热力图像；m为ICH区域定位图。
6.根据权利要求1或2或3所述的一种基于自监督的急性颅内ICH区域图像分割方法，其特征在于：所述认知网络采用损失函数自学习获得lossd；
所述分割网络采用损失函数，自学习获得lossg，并分次返给认知网络采用损失函数学习，生成新的lossg；
认知网络求出两个损失值，如公式1和公式2所示：
D:y＝d(x,θD) (1)
Figure FDA0003126244240000031
其中D表示ICH区域认知网络，x为出血部位图，
Figure FDA0003126244240000032
为分割网络输出的ICH区域定位图，θD为认知网络参数；y和
Figure FDA0003126244240000033
为认知网络的输出结果out，认知网络的损失函数将x识别为真，将
Figure FDA0003126244240000034
识别为假，如公式3所示：
Figure FDA0003126244240000035
分割网络帮助认知网络获得损失值lossd和lossg的同时，也获得分割网络的损失值，对自身进行优化，分割网络也获取认知网络赋予的损失值进行学习，由认知网络对分割网络进行约束，数学表达式如公式4所示：
G:m＝g(z,θG) (4)
其中G表示分割网络；z为脑CT扫描图，θG为分割网络参数，m为分割网络的输出，即分割出的ICH区域定位图，其损失函数如公式5所示：
lossg＝min{∑log(1-d(m,θD))} (5)。
7.根据权利要求6所述的一种基于自监督的急性颅内ICH区域图像分割方法，其特征在于：将偏度的约束加入到分割网络的损失函数中，如公式7所示，其中α为Skew()的权重系数，m为分割网络输出的结果，
lossg＝min{∑log(1-d(m,θD)+α·(1-Skew(m)))} (7)。
CN202110689924.7A 2021-06-22 2021-06-22 一种基于自监督的急性颅内ich区域图像分割方法 Active CN113298830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689924.7A CN113298830B (zh) 2021-06-22 2021-06-22 一种基于自监督的急性颅内ich区域图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689924.7A CN113298830B (zh) 2021-06-22 2021-06-22 一种基于自监督的急性颅内ich区域图像分割方法

Publications (2)

Publication Number Publication Date
CN113298830A true CN113298830A (zh) 2021-08-24
CN113298830B CN113298830B (zh) 2022-07-15

Family

ID=77329134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689924.7A Active CN113298830B (zh) 2021-06-22 2021-06-22 一种基于自监督的急性颅内ich区域图像分割方法

Country Status (1)

Country Link
CN (1) CN113298830B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092446A (zh) * 2021-11-23 2022-02-25 中国人民解放军总医院 基于自监督学习与M-Net的颅内出血参数获取方法及装置
CN114240950A (zh) * 2021-11-23 2022-03-25 电子科技大学 一种基于深度神经网络的脑部肿瘤图像生成和分割方法
CN114998362A (zh) * 2022-06-15 2022-09-02 西安电子科技大学 基于双分割模型的医学图像分割方法
CN116344042A (zh) * 2023-05-31 2023-06-27 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN117911705A (zh) * 2024-03-19 2024-04-19 成都理工大学 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060208731A1 (en) * 2005-02-28 2006-09-21 Wang Jian M Magnetic resonance parallel imaging method with K-space sensitivity encoding
CN101466311A (zh) * 2006-06-13 2009-06-24 Ge医疗系统环球技术有限公司 用于脑出血分割的方法和设备
CN102289496A (zh) * 2011-08-22 2011-12-21 北京航空航天大学 一种基于贝叶斯网络的无线认知网络知识库构建方法
CN105719295A (zh) * 2016-01-21 2016-06-29 浙江大学 一种基于三维超体素的颅内出血区域分割方法及系统
CN106127794A (zh) * 2016-07-29 2016-11-16 天津大学 基于可能性fcm算法mri肿瘤图像分割方法和系统
CN106296653A (zh) * 2016-07-25 2017-01-04 浙江大学 基于半监督学习的脑部ct图像出血区域分割方法及系统
CN109345585A (zh) * 2018-10-26 2019-02-15 强联智创（北京）科技有限公司 一种颅内动脉瘤图像的形态学参数的测量方法及系统
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质
CN111325727A (zh) * 2020-02-19 2020-06-23 重庆邮电大学 一种基于局部熵和水平集算法的颅内出血区域三维分割方法
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN111557020A (zh) * 2018-02-07 2020-08-18 国际商业机器公司 基于完全卷积神经网络的心脏cta解剖结构分割系统
CN111724397A (zh) * 2020-06-18 2020-09-29 上海应用技术大学 一种颅脑ct图像出血区域自动分割方法
CN112749618A (zh) * 2019-10-31 2021-05-04 辉达公司 使用一个或更多个神经网络确定注视
CN112749736A (zh) * 2020-12-30 2021-05-04 华南师范大学 图像识别方法、控制装置及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060208731A1 (en) * 2005-02-28 2006-09-21 Wang Jian M Magnetic resonance parallel imaging method with K-space sensitivity encoding
CN101466311A (zh) * 2006-06-13 2009-06-24 Ge医疗系统环球技术有限公司 用于脑出血分割的方法和设备
CN102289496A (zh) * 2011-08-22 2011-12-21 北京航空航天大学 一种基于贝叶斯网络的无线认知网络知识库构建方法
CN105719295A (zh) * 2016-01-21 2016-06-29 浙江大学 一种基于三维超体素的颅内出血区域分割方法及系统
CN106296653A (zh) * 2016-07-25 2017-01-04 浙江大学 基于半监督学习的脑部ct图像出血区域分割方法及系统
CN106127794A (zh) * 2016-07-29 2016-11-16 天津大学 基于可能性fcm算法mri肿瘤图像分割方法和系统
CN111557020A (zh) * 2018-02-07 2020-08-18 国际商业机器公司 基于完全卷积神经网络的心脏cta解剖结构分割系统
CN109345585A (zh) * 2018-10-26 2019-02-15 强联智创（北京）科技有限公司 一种颅内动脉瘤图像的形态学参数的测量方法及系统
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质
CN112749618A (zh) * 2019-10-31 2021-05-04 辉达公司 使用一个或更多个神经网络确定注视
CN111325727A (zh) * 2020-02-19 2020-06-23 重庆邮电大学 一种基于局部熵和水平集算法的颅内出血区域三维分割方法
CN111401247A (zh) * 2020-03-17 2020-07-10 杭州趣维科技有限公司 一种基于级联卷积神经网络的人像分割方法
CN111724397A (zh) * 2020-06-18 2020-09-29 上海应用技术大学 一种颅脑ct图像出血区域自动分割方法
CN112749736A (zh) * 2020-12-30 2021-05-04 华南师范大学 图像识别方法、控制装置及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092446A (zh) * 2021-11-23 2022-02-25 中国人民解放军总医院 基于自监督学习与M-Net的颅内出血参数获取方法及装置
CN114240950A (zh) * 2021-11-23 2022-03-25 电子科技大学 一种基于深度神经网络的脑部肿瘤图像生成和分割方法
CN114240950B (zh) * 2021-11-23 2023-04-07 电子科技大学 一种基于深度神经网络的脑部肿瘤图像生成和分割方法
CN114998362A (zh) * 2022-06-15 2022-09-02 西安电子科技大学 基于双分割模型的医学图像分割方法
CN116344042A (zh) * 2023-05-31 2023-06-27 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN116344042B (zh) * 2023-05-31 2023-12-01 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN117911705A (zh) * 2024-03-19 2024-04-19 成都理工大学 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法
CN117911705B (zh) * 2024-03-19 2024-05-28 成都理工大学 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法

Also Published As

Publication number Publication date
CN113298830B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
Yan et al. Attention-guided deep neural network with multi-scale feature fusion for liver vessel segmentation
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
Tong et al. 3D deeply-supervised U-net based whole heart segmentation
EP4014201A1 (en) Three dimensional object segmentation of medical images localized with object detection
US7876938B2 (en) System and method for whole body landmark detection, segmentation and change quantification in digital images
Xiao et al. Efficient combination of CNN and transformer for dual-teacher uncertainty-guided semi-supervised medical image segmentation
Mu et al. An attention residual u-net with differential preprocessing and geometric postprocessing: Learning how to segment vasculature including intracranial aneurysms
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN111667478A (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
Chen et al. Computer-aided diagnosis and decision-making system for medical data analysis: A case study on prostate MR images
Lu et al. PKRT-Net: prior knowledge-based relation transformer network for optic cup and disc segmentation
Awasthi et al. LVNet: Lightweight model for left ventricle segmentation for short axis views in echocardiographic imaging
Nurmaini et al. An improved semantic segmentation with region proposal network for cardiac defect interpretation
CN114332910A (zh) 一种面向远红外图像的相似特征计算的人体部位分割方法
Mahapatra Registration of histopathogy images using structural information from fine grained feature maps
CN118230038A (zh) 基于影像分析的眼眶淋巴增生病分类鉴别方法及系统
Rivas-Villar et al. Joint keypoint detection and description network for color fundus image registration
CN117635625A (zh) 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法
CN117876690A (zh) 一种基于异构UNet的超声影像多组织分割方法和系统
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Guo et al. Modeling annotator variation and annotator preference for multiple annotations medical image segmentation
Salini et al. Deepfakes on retinal images using GAN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant