CN115205306A - 一种基于图卷积的医疗图像分割方法 - Google Patents
一种基于图卷积的医疗图像分割方法 Download PDFInfo
- Publication number
- CN115205306A CN115205306A CN202210922193.0A CN202210922193A CN115205306A CN 115205306 A CN115205306 A CN 115205306A CN 202210922193 A CN202210922193 A CN 202210922193A CN 115205306 A CN115205306 A CN 115205306A
- Authority
- CN
- China
- Prior art keywords
- network
- graph
- convolution
- hyperbolic
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003709 image segmentation Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 34
- 230000000694 effects Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 22
- 238000010276 construction Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 20
- 210000000481 breast Anatomy 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000002679 ablation Methods 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 5
- 230000003211 malignant effect Effects 0.000 description 5
- 238000000059 patterning Methods 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000009607 mammography Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010006272 Breast mass Diseases 0.000 description 1
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241000321453 Paranthias colonus Species 0.000 description 1
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 229910052711 selenium Inorganic materials 0.000 description 1
- 239000011669 selenium Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图卷积的医疗图像分割方法，包括以下步骤：对于监督学习，使用图卷积网络配合卷积神经网络分割框架；先利用全卷积网络提取出医学图像的深层次特征，对提取出来的特征构建图的三元组信息，最后使用图卷积网络进行训练，弥补卷积网络带来的局部位置信息的损失；对于无监督域适应学习，使用双曲图卷积网络融合，对抗学习域适应网络框架。本发明有监督是情况下，通过使用U‑Net网络提取医学图像的特征信息，通过高斯核或朴素方式构建图信息，送入图卷积网络进行训练；无监督情况下，选择使用双曲图卷积模型替代图卷积网络。使用图卷积网络和双曲图卷积网络可以扩大感受范围，提高了分割精度，便捷实用。
Description
技术领域
本发明属于医疗图像分割处理方法技术领域，具体涉及一种基于图卷积的医疗图像分割方法。
背景技术
现代医学疾病诊断大多依赖于医学图像。通过CT、核磁共振和X射线等方法，对身体某部位成像，然后医生通过对图像进行分析，诊断出相应病情。例如乳腺癌是全球女性人群中最常见的恶性肿瘤。对于乳腺癌的检测，乳房X摄影是最优和最直接的方法之一。在临床实践中，医生可以通过观察X光片来判断乳房是否有异常。但是由于乳房结构复杂和乳腺癌早期结构不明显等原因，容易造成医生误诊。另一方面，中国医患比已经达到1：1000-2000。这样的情况下，给医生准确诊断病情带来了更大的挑战，导致一些癌症没有及时发现。近年来，随着深度学习的发展，基于深度学习的医学分割系统已经应用于各大医院，协助医生分析病情，提高医学诊断的准确性。
过去几年中，深度学习已经成为人工智能方向的研究热门。特别是在全卷积神经网络的提出之后，传统的图像分割方法逐渐被深度学习方法所取代。对于自然图像，利用深度学习进行图像进行语义分割的准确率大幅提升，但是基于深度学习的医学图像分割技术起初几年进展缓慢。主要的原因是医学图像不同于自然图像，具有噪声分布不平衡和待分割病变组织复杂等特点。这就导致了利用全卷积网络提取特征医学图像特征时，由于感受野范围的限制会损失病变组织的局部信息，造成分割精度降低。
基于此，提出了一种基于图卷积的医疗图像分割方法。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足，提供一种基于图卷积的医疗图像分割方法，以解决上述背景技术中提出的问题。
为解决上述技术问题，本发明采用的技术方案是：一种基于图卷积的医疗图像分割方法，包括以下步骤：
对于监督学习，使用图卷积网络配合卷积神经网络分割框架；首先，利用全卷积网络提取出医学图像的深层次特征，然后对提取出来的特征构建图的三元组信息，最后使用图卷积网络进行训练，扩大感受野，弥补卷积网络带来的局部位置信息的损失；
对于无监督域适应学习，使用双曲图卷积网络融合，对抗学习域适应网络框架。
进一步的，对于监督学习，具体的先通过图像输入特征提取网络得到图像的特征图，利用U-Net网络作为特征提取网络；
U-Net的下采样过程可提取到图像的深层次特征，为了扩大感受野范围，保留像素的位置信息；经过上采样层后对输出的特征图使用图构建方法，将特征图上的每个点当作图节点并计算出特征图的邻接矩阵，然后送入图卷积网络进行训练；
对于图卷积网络，用2层卷积模型训练，然后通过1个卷积层恢复图像的分辨率；
最后，选择交叉熵函数作为目标函数，评价网络模型分割的效果：
其中yi表示样本i的标签类别。pi表示样本i预测分类为正样本的概率。
进一步的，所述图构建方法是高斯核函数构图法和朴素构图法；
其中朴素构图法就是构建图的邻接矩阵，在特征提取网络提取出特征图X后，基于节点之间特征值相似度构建邻接矩阵，直接通过下面公式计算出节点相似性：
Sij＝xi Txj
其中xi T表示样本i的特征转置矩阵，xj表示样本j的特征矩阵；
之后，对节点连边权值进行归一化计算得到邻接矩阵：
高斯核函数构图法中高斯核函数用于定义两点之间的欧式距离，计算两点之间相似度，使用特征值作为高斯核函数样本值，计算两点之间的相似程度当作边的权值，高斯核函数表达式如下：
x表示样本特征值；
为了使得图结构能得到训练，本文在邻接矩阵基础上添加补全矩阵Kr，通过使用余弦相似度函数定义强调节点的相似性：
其中A，B表示不同节点的特征向量；
上式结果取值范围在[-1,1]之间，当两个向量相似程度越高，取值越逼近1；相反，如果两者的相似性低，甚至相反，值标表现为负值，以充分降低权重，基于此得到可学习的图邻接矩阵：
其中α为可学习参数。
进一步的，所述双曲图卷积操作是图卷积网络在欧式空间的线性传播公式，具体如下：
其中Θ是参数矩阵，
是输入特征信号；
为在双曲空间中进行特征映射，使用指数模型将从欧式空间中提取到的特征映射到双曲空间[50,51]：
其中V代表切向量，X属于双曲面上一点，
可以通过
计算得到，-1/k为双曲面模型的负曲率；
由于双曲空间没有向量空间的概念，在双曲空间捕获消息传递后的结果之后，无法进行特征转换，所以需要使用对数映射将双曲空间再次进行转换为欧式空间：
其中y代表双曲面特征点；
在给定欧式空间下的线性映射函数后，根据欧式空间图卷积公式定义规则得到双曲空间图卷积的特征映射公式：
进一步的，网络框架是首先源域和目标域通过一个U-Net特征提取网络图像特征；然后通过图构建方法，计算出特征差异分数和双曲映射下的距离构建出紧密连接图，将构建出的图送入双曲卷积网络中进行训练，在每层映射结束后，加入补全矩阵，使图结构能够得到训练；最后将分割网络和双曲图卷积得到的特征张量进行均值。
进一步的，在扩张路径上，将得到的低层特征进行上采样过程；在上采用的过程中，每次都将压缩过程的特征拼接到相应尺寸的扩张路径上；最终得到的结果：源域预测一方面与标记集比较，计算分割损失，为了使目标域预测接近源域预测，另一方面与目标预测一并送入域判别器区分输入来自源域还是目标域，通过计算对抗损失，反向作用于分割网络中。
进一步的，所述网络框架采用对抗学习模型，主要有生成器、域判别器和分割预测器组成；
生成器的主要作用是从源域和目标域提取出图像的特征，从生成器中提取的特征送入判别器；
判别器判别送入特征来自于哪个域，通过两者博弈，在训练过程中，生成器和判别器不断得到优化；
最终使得源域和目标域提取的特征非常接近，判别器不能准确区分特征所属域。
进一步的，所述生成器由两个部分组成，U-Net网络和双曲图卷积网络。使用U-Net网络提取到源域和目标域的上下文特征信息，进行压缩，双曲图卷积网络进一步对提取到的特征在结构特性上缩小两者差异。
进一步的，目标函数是使用Dice+Focal函数作为分割损失函数：
其中G表示生成器，λ是平衡参数，Ys是真实样本；
C为分割目标区域数目合，对于对抗损失，判别器D来欺骗生成器G，使两个在训练过程中达到平衡，域判别器D接受生成器G产生的数据后，通过对齐对抗损失对参数进行调优：
其中Xs表示源域特征，Xt表示目标域特征；
为了训练结构特性，通过特征提取网络提取出来的源域和目标域特征后，送入双曲图卷积网络进行训练，使用交叉熵函数优化网络。
本发明与现有技术相比具有以下优点：
1、本发明使用U-Net网络作为分割模型的特征提取网络，U-Net网络使用跳跃结构连接上采样层和下采样层，充分保留上下文信息，能够很好的结合医学图像的低层特征信息和高层次特征信息。所以通过使用U-Net提取构建图信息之前的特征图可以更好地保留图像特征，为图卷积训练提供良好的基础。
2、本发明在U-Net特征网络上采样过程中，引入图卷积网络训练特征特征信息。为了构建图结构信息，使用了2种方法：高斯核构图法和朴素构图法。之后使用切比雪夫多项式图卷积模型对输入的图结构进行训练。通过采用2层图卷积结构，达到扩大感受野范围效果。另一方面，通过建立的邻接矩阵，在训练过程中，节点相互传递消息，最终进行聚合，有效的保留的局部位置信息，提高分割精度。
3、本发明对于无监督域适应情况，通过使用双曲图卷积网络训练源域和目标域的结构特性。在模型中，引入对抗学习使源域和目标域生成特征相似。最后在损失函数上，充分考虑了带分割目标占比小情况，采用Dice指标作为分割目标函数之一，保证训练稳定性。
附图说明
图1是本发明实施例中U-Net架构示意图；
图2是本发明实施例中基于图卷积网络分割框架示意图；
图3是本发明实施例中基于双曲图卷积的无监督域适应分割框架示意图；
图4是本发明实验例中INbreast数据集实例图；
图5是本发明实验例中DDSM数据集示例图；
图6是本发明实验例中DDSM数据集可视化分割结果图；
图7是本发明实验例中INbreast数据集可视化分割结果图；
图8是本发明实验例中INbreast数据集作为目标域可视化分割结果图；
图9是本发明实验例中消融实验BoxPlot图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例，如图1-3所示，本发明提供一种技术方案：一种基于图卷积的医疗图像分割方法，其特征在于，包括以下步骤：
对于监督学习，使用图卷积网络配合卷积神经网络分割框架；首先，利用全卷积网络提取出医学图像的深层次特征，然后对提取出来的特征构建图的三元组信息，最后使用图卷积网络进行训练，扩大感受野，弥补卷积网络带来的局部位置信息的损失；
对于监督学习，具体的先通过图像输入特征提取网络得到图像的特征图，利用U-Net网络作为特征提取网络；U-Net架构示意图具体如图1所示；压缩过程是由几组卷积层和池化层组成的一系列下采样操作。每次特征提取过程是由2个卷积层、归一化层和1个池化层组成。其中在卷积层使用了尺寸卷积核进行卷积运算。对于池化层，池化核尺寸被设置为。经过这样一组下采样操作之后，特征通道将扩大一倍、尺寸收缩已被。此外，在每次卷积操作之后，紧跟了一个归一化层，防止训练过程中出现的梯度爆炸和梯度消失情况。
扩展过程即是上采样过程。通过使用反卷积操作恢复特征图尺寸大小，经过4组上采样操作恢复特征图尺寸。
U-Net网络为了充分保留上下文信息，采用了拼接结构。在扩张阶段，U-Net将与下采样相对应的特征图进行融合，保留了图像特征的各个层次的特征信息，正是由于拼接结构的设计，使得U-Net适合医学图像分割。
U-Net的下采样过程可提取到图像的深层次特征，为了扩大感受野范围，保留像素的位置信息；经过上采样层后对输出的特征图使用图构建方法，将特征图上的每个点当作图节点并计算出特征图的邻接矩阵，然后送入图卷积网络进行训练；
对于图卷积网络，用2层卷积模型训练，然后通过1个卷积层恢复图像的分辨率；
最后，选择交叉熵函数作为目标函数，评价网络模型分割的效果：
其中yi表示样本i的标签类别。pi表示样本i预测分类为正样本的概率，基于图卷积网络分割框架具体如图2所示。
图卷积网络能够逐层传递消息，任意一层的卷积层都可以表达：
Hl+1＝f(Hl，A)
上式中，Hl代表l层的输出特征结果。
对于第一层的输入，令H0＝X，X代表特征输入矩阵。A为邻接矩阵。所以，可以看出实现网络模型，主要在于怎么实现f函数。下面将主要介绍集中主要的实现方式。
由于图结构丢失了平移不变性，所以在实现之前，需要给出基于图谱的卷积定理的图卷积。
通过傅里叶变换公式，得到图上的傅里叶变换公式：
其中UT表示拉普拉斯特征向量转置矩阵，x为节点信息。通过傅里叶逆变换将上式转化为：
上面公式是两个因子乘积。利用傅里叶变换和逆变换，定义了图卷积：
x*y＝U((UTx)⊙(UTy))
其中⊙代表两个矩阵对应元素乘积。
因而可以使用一个对角矩阵代表UTy，最终得到图卷积公式：
gθ*x＝UgθUTx
gθ是一个可以训练的卷积核，基于上式，实现了多种图卷积模型。
因为，图卷积是逐层进行消息传递，所以一种对f的实现：
f(Hl，A)＝σ(AHlWl)
其中，A为邻接矩阵，σ为激活函数，H为特征输入，W为l层可学习参数权重。上式表达的意思很清楚，根据图卷积消息传递的特点，直接将图信息、特征值和权重做内积，得到下一层的结构。虽然，本公式已经表现出了很强大的建模能力。但是仍存在一些局限性：
因为A是邻接矩阵，所以A的对角矩阵都是0。这样通过上式做乘积的时候，只对与节点相关节点进行了计算，而节点自身的乘积为0，丢失了节点自身的特征。
邻接矩阵A本身没有经过归一化操作，这样再和特征矩阵做乘积操作后，会出现某些节点影响过大的情况。
U代表拉普拉斯矩阵特征向量。图的一种拉普拉斯矩阵算子可以表示为:
其中
拉普拉斯矩阵算子L的特征向量的组成了对角矩阵Λ。求拉普拉斯矩阵的特征向量存在巨大的计算量。
将UTg当作拉普拉斯特征函数gθ(Λ)，通过切比雪夫多项式进行优化：
其中，TK是切比雪夫多项式，θ为切比雪夫多项式系数向量。将上式带入到卷积定义公式中得到：
其中，
将上式简化为K＝1的模型，另一方面再GCN中进一步让λmax＝2。就得到了图卷积的线性模型:
再通过归一化操作，令
其中
可以看到，通过归一化操作，邻接矩阵仍加上了自环，有效的解决了丢失自身特征信息的局限。最终，在上式中加上激活函数得到快速卷积公式：
上式算法代表了图卷积的主流形式，也是使用的图卷积模型，将上式进一步推广到多维特征形式：
其中Θ是参数矩阵，
是输入特征信号。也就是本文中，特征矩阵的多通道特征值。
为了使用图卷积网络，需要构建图的邻接矩阵，计算边权值。因为U-Net网络的跳跃结构特性充分结合了图像的底层和高层特征信息，可有效保留上下文信息，所以构建图的特征数据使用U-Net上采样输出特征图作为样本构建图，采用了基于高斯核函数和朴素构图两种构图方式，并在后续实验中对构图方式进行了消融实验分析。
所述图构建方法是高斯核函数构图法和朴素构图法；
其中朴素构图法就是构建图的邻接矩阵，在特征提取网络提取出特征图X后，基于节点之间特征值相似度构建邻接矩阵，直接通过下面公式计算出节点相似性：
Sij＝xi Txj
其中xi T表示样本i的特征转置矩阵，xj表示样本j的特征矩阵；
之后，对节点连边权值进行归一化计算得到邻接矩阵：
高斯核函数构图法中高斯核函数用于定义两点之间的欧式距离，计算两点之间相似度，使用特征值作为高斯核函数样本值，计算两点之间的相似程度当作边的权值，高斯核函数表达式如下：
x表示样本特征值；
为了使得图结构能得到训练，本文在邻接矩阵基础上添加补全矩阵Kr，通过使用余弦相似度函数定义强调节点的相似性：
其中A，B表示不同节点的特征向量；
上式结果取值范围在[-1,1]之间，当两个向量相似程度越高，取值越逼近1；相反，如果两者的相似性低，甚至相反，值标表现为负值，以充分降低权重，基于此得到可学习的图邻接矩阵：
其中α为可学习参数。
对于无监督域适应学习，使用双曲图卷积网络融合，对抗学习域适应网络框架。
所述双曲图卷积操作是图卷积网络在欧式空间的线性传播公式，具体如下：
其中Θ是参数矩阵，
是输入特征信号；
为在双曲空间中进行特征映射，使用指数模型将从欧式空间中提取到的特征映射到双曲空间[50,51]：
其中V代表切向量，X属于双曲面上一点，
可以通过
计算得到，-1/k为双曲面模型的负曲率；
由于双曲空间没有向量空间的概念，在双曲空间捕获消息传递后的结果之后，无法进行特征转换，所以需要使用对数映射将双曲空间再次进行转换为欧式空间：
其中y代表双曲面特征点；
在给定欧式空间下的线性映射函数后，根据欧式空间图卷积公式定义规则得到双曲空间图卷积的特征映射公式：
网络框架是首先源域和目标域通过一个U-Net特征提取网络图像特征；然后通过图构建方法，计算出特征差异分数和双曲映射下的距离构建出紧密连接图，将构建出的图送入双曲卷积网络中进行训练，在每层映射结束后，加入补全矩阵，使图结构能够得到训练；最后将分割网络和双曲图卷积得到的特征张量进行均值，基于双曲图卷积的无监督域适应分割框架示意图具体如图3所示。
在扩张路径上，将得到的低层特征进行上采样过程；在上采用的过程中，每次都将压缩过程的特征拼接到相应尺寸的扩张路径上；最终得到的结果：源域预测一方面与标记集比较，计算分割损失，为了使目标域预测接近源域预测，另一方面与目标预测一并送入域判别器区分输入来自源域还是目标域，通过计算对抗损失，反向作用于分割网络中。
所述网络框架采用对抗学习模型，主要有生成器、域判别器和分割预测器组成；
生成器的主要作用是从源域和目标域提取出图像的特征，从生成器中提取的特征送入判别器；
判别器判别送入特征来自于哪个域，通过两者博弈，在训练过程中，生成器和判别器不断得到优化；
最终使得源域和目标域提取的特征非常接近，判别器不能准确区分特征所属域。
所述生成器由两个部分组成，U-Net网络和双曲图卷积网络。使用U-Net网络提取到源域和目标域的上下文特征信息，进行压缩，双曲图卷积网络进一步对提取到的特征在结构特性上缩小两者差异。
目标函数是使用Dice+Focal函数作为分割损失函数：
其中G表示生成器，λ是平衡参数，Ys是真实样本；
C为分割目标区域数目合，对于对抗损失，判别器D来欺骗生成器G，使两个在训练过程中达到平衡，域判别器D接受生成器G产生的数据后，通过对齐对抗损失对参数进行调优：
其中Xs表示源域特征，Xt表示目标域特征；
为了训练结构特性，通过特征提取网络提取出来的源域和目标域特征后，送入双曲图卷积网络进行训练，使用交叉熵函数优化网络。
实验例，在两个乳房公开数据集上运行对于监督学习，使用图卷积网络配合卷积神经网络分割框架以及对于无监督域适应学习，使用双曲图卷积网络融合，对抗学习域适应网络框架，从而评估效果，这两个模型分别是：INbreast和DDSM；
INbreast数据集是一个乳房X线摄影数据库，其图像是从葡萄牙波尔图圣若昂医院的乳房中心通过使用不定形硒固态检测器进行全方位数字乳房X射线采集得到的。数据集中包含90组女性双乳图像、25例乳房切除患者图像，共115组图像。其中90组中提供了每组包含4副乳房图像，分别为左右CC位和MLO位乳房X摄影图像；25组中每组包含2副乳房图像。数据集总计410副图像，包含了肿块、不对称和扭曲等病变类型。为了方便研究使用，医学专家为数据集每个病例都进行了精确标注，具体如图4所示。
DDSM数据集是通过X射线拍摄的乳腺钼靶筛查数据集，它是美国乳腺癌研究资助项目，主要用于帮助计算机辅助算法开发的研究和提供医学教学资源。数据集由南弗罗里达大学、马萨诸塞州综合医院和桑迪亚国家实验室合作完成。除了从上述机构获取病例外，华盛顿大学医学院也提供了部分病例。
DDSM数据集图像被分为“案例”和“卷”两中方式。其中“案例”是通过对一名患者进行X射线拍摄得到乳腺图像和相关患者信息的集合。“卷”是为了方便研究而将相同病例的分为一组的合集。
DDSM数据集总共收集了2620个病例，每个病例包含了4副乳房X摄影图像。这4副图像被分位2组，每组是对参与X摄影人员的每个乳房的双侧视图，分别是MLO和CC位。“卷”被分为3类，分别是正常病例(695例)、恶行病例(914例)和良性病例(1011)。正常病例是被检人员通过乳房X射线所获取的图像，不需要再进行进一步的检查。恶行病例是患者通过X摄影之后，被确定位癌症的乳房图像。良性病例包含了2类情况：良性病例和良性无回调病例。良性病例是指X摄影图像上发现了不正常东西，但是被确定位不是恶行癌症。相反良性无回调是图像上也出现了可疑东西，这些可疑范围被标记出来了，但是由于没有进行进一步的活检或者其他检查来判断是恶行。
DDSM数据集病例包括四种格式文件，分别是ICS、LJPEG、OVERLAY和16_PGM。ICS描述了案例的基本信息，比如X摄影日期和患者信息等等。OVERLAY给出了异常病例的病变类型和异常轮廓等信息。LJPEG和16_PGM是X摄影图像信息。其中16_PGM是16位灰度图像格式。LJPEG是压缩过后的图像文件，每个文件提供了原始像素值。由于16_PGM显示的图像可能有差别，图像质量存在很差的情况。所以，本实验采用LJPEG格式的图像。通过使用官方提供的转换工具将LJPEG格式转位PNG格式。
实验中，我们随机选取良性病例、恶行病例和正常病例的80％作为训练集使用、20％作为测试集使用。为了让图像适应U-Net网络输入，我们还在实验前，对图像进行了预处理，将图像分辨率改为512*512。具体如图5所示。
为了验证本文提出的基于图卷积网络的医学图像语义分割的分割效果，为了更准确和直观的展示分割效果，使用Dice指标、召回率、特异度和准确率四个指标来评估网络模型。
下面我们介绍一下四个指标的意义和公式。
TP(True Positive)表示正样本被预测为正的数量；
TN(True Negative)代表负样本被预测为负的数量；
FP(False Positive)和FN(False Negative)分别和TN和TP表示意义相反。其中FP表示负样本被错误预测为正的数量，FN表示正样本被错误预测为负的数量。对于召回率，它代表的含义是真实样本为正的像素被分割网络预测为正像素的占比。通过召回率的指标可以看出网络架构对正样本的分割效果。召回率越高，代表预测的正样本数量比例越大。与召回率相反，特异度描述了分割网络识别出来的负样本在所有真实图像中负样本的占比。
Dice相似系数是一种判断两个集合相似程度的指标。Dice范围值在0～1之间，数值越高，代表分割效果越好。准确率的意义是：在被分割网络分割正确样本在所有的样本的占比。它代表了我们预测总体正确程度。虽然在某些正负样本比例失衡的情况下，准确率会出现失效的可能。但是本实验中，采用的DDSM数据集和INbreast样本表现平衡，不会导致准确率失效。此外，又使用了召回率指标来验证实验效果，进一步保证准确率的有效性。
首先，在DDSM数据集上运行模型的结果如表1所示。
表1 DDSM数据集实验结果
在表1中，可以看到该模型与其他经典语义分割分割指标对比。使用FCN-8S模型在Dice指数上只达到了0.6887，而DeepLab网络框架的分割结果在Dice指标数值上比FCN-8S增加了0.0307，这很大原因是因为DeepLab网络通过修改网络结构的卷积算法，扩大感受野范围。另一方面，DeepLab由于在输出之后又添加了条件随机场算法，在准确率上DeepLab网络也比FCN-8S有所提升。U-Net网络在各项数据上保持了不错的效果，特别是在召回率上，比DeepLab和FCN-8S指标提升明显。而的模型在DDSM数据集上Dice指数高于其他模型，这表明模型的预测结果与真实结果有更大相似度。这一点从准确度指标上也可以得到证实。使用图卷积的语义分割模型在DDSM数据集上准确率比U-Net高出了0.0105。另一方面值得注意的是，提出的模型在召回率指标上比DeepLab和U-Net模型分别高出了0.0904和0.0886。说明了模型对正样本的识别能力更强。推断这是很大程度上由于加上了图卷积网络后，考虑到了特征的位置信息。在定量对比之外，对DDSM数据集分割结果做了可视化，如图6所示；
从图上也进一步印证了通过使用图卷积网络的模型能够更好的控制噪声。与其他3个模型相比，提出的网络模型精确度更高，图像更加真实，噪声小。
在INbreast数据集上运行的实验之前，为了减少数据集本身数据量过小，而导致正负样本不平衡，进而影响实验指标，对INbreast数据集进行了预处理。通过对图像进行旋转和平移等操作扩充数据集。另一方面，这样做可以防止实验过程中出现欠拟合问题。同样也做了不同方法定量测试。如表2所示：
表2 INbreast数据集实验结果
在INbreast数据集上的各网络框架或多或少分割结果不如DDSM。
各模型在Dice指数上相比DDSM数据集的数值都有所下降。推测原因可能是尽管做了样本扩充操作，但是仍然没有足够样本特征进行训练。尽管定量指标有所下降，但是的模型在像素准确率上仍然达到了0.9949，高于其他模型。和DDSM运行相似，在召回率指标上，的模型仍具有较高的数值。这也再次印证了，本实验模型对正样本识别正确率高。
同样，也对INbreast数据集的分割结果做了可视化。从分割效果可视化图如图7所示；
上可以看出，在Inbreast数据的分割效果和在DDSM数据集上由稍微差别。但是，相比其他模型，的模型分割效果仍然能够分割出乳房肿块的轮廓。例如:图7中第2行展示的可视化分割效果图中，在FCN-8S的分割结果出现了较大噪声、U-Net网络模型边缘分割效果较差的情况下，使用U-Net配合图卷积网络模型仍然能够提取到肿块的轮廓。这展示了模型的有效性。
基于双曲图卷积的无监督域适应图像分割实验分析，由于DDSM数据集样本案例数量大，包含特征全。实验设置DDSM数据集和INbreast数据集分别作为源域和目标域来探究模型的分割效果。此外，为了进一步探究本文模型分割效果，实验选择CycaDa和CycleGan模型进行比较；实验结果如表3所示；
表3无监督域适应情况下，INbreast作为目标域的实验结果
当实验使用CycaDa模型和CycleGan模型进行分割，结果显示Dice指标分别达到了0.624和0.674。
INbreast数据集作为目标域可视化分割结果具体如图8所示。从左到右分别为：输入图像、真实标注图像、HGCN模型、CycaDa和CycleGab分割结果。
然而模型在这项指标上更加优越达到了0.732。这是因为对于前两者模型训练要求源域和目标域的结构相似性，但是在网络并没有进行两者结构关系的训练。由于本文模型在生成器中添加双曲图卷积网络，去训练源域和目标域提取的结构特征，缩小两者差异，使得生成器能够产生更加相似的特征，使得域判别器无法区分，让最终博弈效果达到最大化。此外，本文采用U-Net网络作为特征提取网络，获取底层特征信息，极大的提取到了源域的特征。和有监督学习情况一样，本模型在构图过程中添加了补全矩阵，使得在Specificity指标上相比其它两者也有不同程度的领先。可视化结果上可以看到，其他两种模型分割目标区域较大，对于负样本的识别率相比本文模型较低。
为了进一步验证基于图卷积的医学语义分割模型的有效性，还做了消融实验。图9是消融实验BoxPlot图。其中A代表高斯核构图法模型、B代表朴素构图法模型、C代表不使用图卷积的U-Net网络模型
由于DDSM数据集样本平衡性高、样本数量大，所以选择在DDSM数据集上进行的消融实验。为了证明图卷积对分割效果的影响，设置了3组实验。第一组实验图卷积算法使用切比雪夫多项式模型，利用高斯核构建图结构。第二组实验设置为图卷积算法和第一组一样，但是使用朴素构图方式构建图结构。第三组实验设置为不使用图卷积模型，单独使用U-Net网络进行图像分割。
为了验证两种构图方式对正负样本预测结果和分割效果的影响，绘制了指标和Dice指标的boxPlot图。
从图9中可以看出，在specificity指标中，在中位数和上限表现上两者差距不是很大，都高于U-Net模型，说明使用两种构图方式下，对负样本的识别能力都表现出了不错的效果。但是，从图上可以直观看出，朴素构图模型波动范围较大，下边缘和上边缘差距较大。反观，高斯核构图模型保持较为稳定。另外，在Dice指标上，两者表现出了一定差距。这说明使用高斯核计算节点之间的相似度更加平滑，模型分割结果与真实结果更加接近。另一方面，这还得益于增加了补全矩阵，使得训练中可以重复学习图结构。虽然使用朴素构图方式的网络模型相比于高斯核构图模型在Dice指标有所下降，但是从boxPlot图中可以看出，和不使用图卷积网络模型相比较，该模型仍具有优越性。可以看到使用图卷积模型能够充分结合上下文信息，提高节点之间的相互影响因子，提高分割精度。
综上实验表明，使用高斯核算法构建图结构信息的图卷积网络模型更具有优越性，在Dice指标和特异性指标上都有领先。
本方法针对医学图像具有噪声比、识别目标尺寸、位置等信息变化大等问题，具体做法如下：
1、由于医学图像和自然图像存在成像特点和分割目标存在区别，为了更好的提取医学图像的特征图，使用U-Net网络作为分割模型的特征提取网络。U-Net网络使用跳跃结构连接上采样层和下采样层，充分保留上下文信息，能够很好的结合医学图像的低层特征信息和高层次特征信息。所以通过使用U-Net提取构建图信息之前的特征图可以更好地保留图像特征，为图卷积训练提供良好的基础。
2、在U-Net特征网络上采样过程中，引入图卷积网络训练特征特征信息。为了构建图结构信息，使用了2种方法：高斯核构图法和朴素构图法。之后使用切比雪夫多项式图卷积模型对输入的图结构进行训练。通过采用2层图卷积结构，达到扩大感受野范围效果。另一方面，通过建立的邻接矩阵，在训练过程中，节点相互传递消息，最终进行聚合，有效的保留的局部位置信息，提高分割精度。
3、对于无监督域适应情况，通过使用双曲图卷积网络训练源域和目标域的结构特性。在模型中，引入对抗学习使源域和目标域生成特征相似。最后在损失函数上，充分考虑了带分割目标占比小情况，采用Dice指标作为分割目标函数之一，保证训练稳定性。
为了验证本文模型的有效性，最后在两个公开的数据集上进行了实验，并对实验进行了相关分析。首先，选取了经典的语义分割框架和本文的网络模型进行对比。从定量数据和可视化分割结果两个方面可以看出，本文研究的模型相比较其他几种语义分割框架具有更好的分割结果。然后，又进行了一组消融实验，观察使用不同的构图方式对分割结果的影响。此外，还设置了一组不使用图卷积网络的分割模型来验证图卷积对分割效果的影响。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于图卷积的医疗图像分割方法，其特征在于，包括以下步骤：
对于监督学习，使用图卷积网络配合卷积神经网络分割框架；首先，利用全卷积网络提取出医学图像的深层次特征，然后对提取出来的特征构建图的三元组信息，最后使用图卷积网络进行训练，扩大感受野，弥补卷积网络带来的局部位置信息的损失；
对于无监督域适应学习，使用双曲图卷积网络融合，对抗学习域适应网络框架。
2.根据权利要求1所述的一种基于图卷积的医疗图像分割方法，其特征在于，对于监督学习，具体的先通过图像输入特征提取网络得到图像的特征图，利用U-Net网络作为特征提取网络；
U-Net的下采样过程可提取到图像的深层次特征，为了扩大感受野范围，保留像素的位置信息；经过上采样层后对输出的特征图使用图构建方法，将特征图上的每个点当作图节点并计算出特征图的邻接矩阵，然后送入图卷积网络进行训练；
对于图卷积网络，用2层卷积模型训练，然后通过1个卷积层恢复图像的分辨率；
最后，选择交叉熵函数作为目标函数，评价网络模型分割的效果：
其中yi表示样本i的标签类别。pi表示样本i预测分类为正样本的概率。
3.根据权利要求2所述的一种基于图卷积的医疗图像分割方法，其特征在于，所述图构建方法是高斯核函数构图法和朴素构图法；
其中朴素构图法就是构建图的邻接矩阵，在特征提取网络提取出特征图X后，基于节点之间特征值相似度构建邻接矩阵，直接通过下面公式计算出节点相似性：
Sij＝xi Txj
其中xi T表示样本i的特征转置矩阵，xj表示样本j的特征矩阵；
之后，对节点连边权值进行归一化计算得到邻接矩阵：
高斯核函数构图法中高斯核函数用于定义两点之间的欧式距离，计算两点之间相似度，使用特征值作为高斯核函数样本值，计算两点之间的相似程度当作边的权值，高斯核函数表达式如下：
x表示样本特征值；
为了使得图结构能得到训练，本文在邻接矩阵基础上添加补全矩阵Kr，通过使用余弦相似度函数定义强调节点的相似性：
其中A，B表示不同节点的特征向量；
上式结果取值范围在[-1,1]之间，当两个向量相似程度越高，取值越逼近1；相反，如果两者的相似性低，甚至相反，值标表现为负值，以充分降低权重，基于此得到可学习的图邻接矩阵：
其中α为可学习参数。
4.根据权利要求1所述的一种基于图卷积的医疗图像分割方法，其特征在于，所述双曲图卷积操作是图卷积网络在欧式空间的线性传播公式，具体如下：
其中Θ是参数矩阵，
是输入特征信号；
为在双曲空间中进行特征映射，使用指数模型将从欧式空间中提取到的特征映射到双曲空间[50,51]：
其中V代表切向量，X属于双曲面上一点，
可以通过
计算得到，-1/k为双曲面模型的负曲率；
由于双曲空间没有向量空间的概念，在双曲空间捕获消息传递后的结果之后，无法进行特征转换，所以需要使用对数映射将双曲空间再次进行转换为欧式空间：
其中y代表双曲面特征点；
在给定欧式空间下的线性映射函数后，根据欧式空间图卷积公式定义规则得到双曲空间图卷积的特征映射公式：
5.根据权利要求4所述的一种基于图卷积的医疗图像分割方法，其特征在于，网络框架是首先源域和目标域通过一个U-Net特征提取网络图像特征；然后通过图构建方法，计算出特征差异分数和双曲映射下的距离构建出紧密连接图，将构建出的图送入双曲卷积网络中进行训练，在每层映射结束后，加入补全矩阵，使图结构能够得到训练；最后将分割网络和双曲图卷积得到的特征张量进行均值。
6.根据权利要求5所述的一种基于图卷积的医疗图像分割方法，其特征在于，在扩张路径上，将得到的低层特征进行上采样过程；在上采用的过程中，每次都将压缩过程的特征拼接到相应尺寸的扩张路径上；最终得到的结果：源域预测一方面与标记集比较，计算分割损失，为了使目标域预测接近源域预测，另一方面与目标预测一并送入域判别器区分输入来自源域还是目标域，通过计算对抗损失，反向作用于分割网络中。
7.根据权利要求6所述的一种基于图卷积的医疗图像分割方法，其特征在于，所述网络框架采用对抗学习模型，主要有生成器、域判别器和分割预测器组成；
生成器的主要作用是从源域和目标域提取出图像的特征，从生成器中提取的特征送入判别器；
判别器判别送入特征来自于哪个域，通过两者博弈，在训练过程中，生成器和判别器不断得到优化；
最终使得源域和目标域提取的特征非常接近，判别器不能准确区分特征所属域。
8.根据权利要求7所述的一种基于图卷积的医疗图像分割方法，其特征在于，所述生成器由两个部分组成，U-Net网络和双曲图卷积网络。使用U-Net网络提取到源域和目标域的上下文特征信息，进行压缩，双曲图卷积网络进一步对提取到的特征在结构特性上缩小两者差异。
9.根据权利要求2所述的一种基于图卷积的医疗图像分割方法，其特征在于，目标函数是使用Dice+Focal函数作为分割损失函数：
其中G表示生成器，λ是平衡参数，Ys是真实样本；
C为分割目标区域数目合，对于对抗损失，判别器D来欺骗生成器G，使两个在训练过程中达到平衡，域判别器D接受生成器G产生的数据后，通过对齐对抗损失对参数进行调优：
其中Xs表示源域特征，Xt表示目标域特征；
为了训练结构特性，通过特征提取网络提取出来的源域和目标域特征后，送入双曲图卷积网络进行训练，使用交叉熵函数优化网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210922193.0A CN115205306A (zh) | 2022-08-02 | 2022-08-02 | 一种基于图卷积的医疗图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210922193.0A CN115205306A (zh) | 2022-08-02 | 2022-08-02 | 一种基于图卷积的医疗图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205306A true CN115205306A (zh) | 2022-10-18 |
Family
ID=83586670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210922193.0A Pending CN115205306A (zh) | 2022-08-02 | 2022-08-02 | 一种基于图卷积的医疗图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205306A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030308A (zh) * | 2023-02-17 | 2023-04-28 | 齐鲁工业大学(山东省科学院) | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
| CN116933141A (zh) * | 2023-09-15 | 2023-10-24 | 昆明理工大学 | 一种基于多核图学习的多光谱激光雷达点云分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259836A (zh) * | 2020-01-20 | 2020-06-09 | 浙江大学 | 一种基于动态图卷积表征的视频行人重识别方法 |
| CN111695460A (zh) * | 2020-05-29 | 2020-09-22 | 天津师范大学 | 一种基于局部图卷积网络的行人再识别方法 |
| CN112766280A (zh) * | 2021-01-16 | 2021-05-07 | 北京工业大学 | 一种基于图卷积的遥感图像道路提取方法 |
| CN113869424A (zh) * | 2021-09-29 | 2021-12-31 | 重庆理工大学 | 基于双通道图卷积网络的半监督节点分类方法 |
| CN114220271A (zh) * | 2021-12-21 | 2022-03-22 | 南京理工大学 | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 |
| CN114330516A (zh) * | 2021-12-15 | 2022-04-12 | 安徽大学 | 基于多图引导神经网络模型的小样本徽景图像分类 |
-
2022
- 2022-08-02 CN CN202210922193.0A patent/CN115205306A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259836A (zh) * | 2020-01-20 | 2020-06-09 | 浙江大学 | 一种基于动态图卷积表征的视频行人重识别方法 |
| CN111695460A (zh) * | 2020-05-29 | 2020-09-22 | 天津师范大学 | 一种基于局部图卷积网络的行人再识别方法 |
| CN112766280A (zh) * | 2021-01-16 | 2021-05-07 | 北京工业大学 | 一种基于图卷积的遥感图像道路提取方法 |
| CN113869424A (zh) * | 2021-09-29 | 2021-12-31 | 重庆理工大学 | 基于双通道图卷积网络的半监督节点分类方法 |
| CN114330516A (zh) * | 2021-12-15 | 2022-04-12 | 安徽大学 | 基于多图引导神经网络模型的小样本徽景图像分类 |
| CN114220271A (zh) * | 2021-12-21 | 2022-03-22 | 南京理工大学 | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| KAI BI等: "Unsupervised domain adaptation with hyperbolic graph convolution network for segmentation of X-ray breast mass", 《JOURNAL OF INTELLIGENT & FUZZY SYSTEMS: APPLICATIONS IN ENGINEERING AND TECHNOLOGY》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030308A (zh) * | 2023-02-17 | 2023-04-28 | 齐鲁工业大学(山东省科学院) | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
| CN116030308B (zh) * | 2023-02-17 | 2023-06-09 | 齐鲁工业大学(山东省科学院) | 基于图卷积神经网络的多模态医学图像分类方法及系统 |
| CN116933141A (zh) * | 2023-09-15 | 2023-10-24 | 昆明理工大学 | 一种基于多核图学习的多光谱激光雷达点云分类方法 |
| CN116933141B (zh) * | 2023-09-15 | 2023-11-17 | 昆明理工大学 | 一种基于多核图学习的多光谱激光雷达点云分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| Huang et al. | Two-stage CNNs for computerized BI-RADS categorization in breast ultrasound images | |
| Li et al. | Multi-view mammographic density classification by dilated and attention-guided residual learning | |
| US20170249739A1 (en) | Computer analysis of mammograms | |
| Ayer et al. | Computer-aided diagnostic models in breast cancer screening | |
| CN115205306A (zh) | 一种基于图卷积的医疗图像分割方法 | |
| Hizukuri et al. | Computer-aided diagnosis scheme for distinguishing between benign and malignant masses on breast DCE-MRI images using deep convolutional neural network with Bayesian optimization | |
| Qian et al. | A combined ultrasonic B-mode and color Doppler system for the classification of breast masses using neural network | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
| Yu et al. | Deep learning–assisted diagnosis of benign and malignant parotid tumors based on contrast-enhanced CT: a multicenter study | |
| Chen et al. | Breast ultrasound image classification and physiological assessment based on GoogLeNet | |
| Yadav et al. | Deep learning-based CAD system design for thyroid tumor characterization using ultrasound images | |
| CN116630680B (zh) | 一种x线摄影联合超声的双模态影像分类方法及系统 | |
| AU2016201298A1 (en) | Computer analysis of mammograms | |
| Bandaru et al. | A review on advanced methodologies to identify the breast cancer classification using the deep learning techniques | |
| US20230162353A1 (en) | Multistream fusion encoder for prostate lesion segmentation and classification | |
| Ahmed et al. | Detection of uterine fibroids in medical images using deep neural networks | |
| Ocal et al. | Prostate segmentation via dynamic fusion model | |
| Angayarkanni | Hybrid convolution neural network in classification of cancer in histopathology images | |
| Dheeba et al. | Computer aided intelligent breast cancer detection: second opinion for radiologists—a prospective study | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Qu et al. | Deep learning on digital mammography for expert-level diagnosis accuracy in breast cancer detection | |
| Li et al. | CIABNet: Category imbalance attention block network for the classification of multi‐differentiated types of esophageal cancer | |
| Jia et al. | Multi-parametric MRIs based assessment of hepatocellular carcinoma differentiation with multi-scale ResNet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221018 |