CN113673451A - 一种用于组织细胞学病理片图像特征抽取的图卷积模块 - Google Patents
一种用于组织细胞学病理片图像特征抽取的图卷积模块 Download PDFInfo
- Publication number
- CN113673451A CN113673451A CN202110979940.XA CN202110979940A CN113673451A CN 113673451 A CN113673451 A CN 113673451A CN 202110979940 A CN202110979940 A CN 202110979940A CN 113673451 A CN113673451 A CN 113673451A
- Authority
- CN
- China
- Prior art keywords
- graph
- convolution
- layer
- convolution module
- pooling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007170 pathology Effects 0.000 title claims abstract description 9
- 238000011176 pooling Methods 0.000 claims abstract description 22
- 230000004913 activation Effects 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 6
- 230000001575 pathological effect Effects 0.000 abstract description 16
- 238000013528 artificial neural network Methods 0.000 abstract description 7
- 239000007787 solid Substances 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 2
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003701 histiocyte Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了医学图像分析技术领域的一种用于组织细胞学病理片图像特征抽取的图卷积模块。所述图卷积模块按顺序由图卷积层、非线性激活函数层和图池化层组成1个图卷积模块，Graph图像输入图卷积层，图卷积层采用图注意力卷积，图注意力卷积设有多头注意力机制；非线性激活函数层采用ReLU、Leaky ReLU或PReLU为非线性激活函数；图池化层采用EdgePool作为图池化分类。本发明具有很强的特征提取能力和识别能力，有效降低病理图片的数据量，为高效的病理图识别的图神经网络Graph构建打下了坚实基础。
Description
技术领域
本发明涉及医学图像分析技术领域的一种用于组织细胞学病理片图像特征抽取的图卷积模块。
背景技术
组织细胞学病理检查是肿瘤诊断的金标准，病理图像是显微镜对病理组织细胞切片成像，图像是一张巨图(一般都在5万x5万像素以上,甚至数十万x数十万像素)。病理医生对整个病理片子下分类诊断结论，需要综合微观特征和宏观特征。采用人工智能来辅助诊断，基于深度学习对病理片子识别分类，对病理片子图像的特征提取是非常重要的前提，只有提取到了有效可靠特征后，例如后面的分类器才能实现准确分类，虽然人工智能来辅助诊断取得了部分良好结果，但在思路上对整个病理图像从微观到宏观的建模的考虑很不充分，因此其模型预测效果和病理医生的期望往往相差甚远。
发明内容
本发明针对上述现有技术中存在的问题，提出一种采用图神经网络来实现高效提取病理片子特征的用于组织细胞学病理片图像特征抽取的图卷积模块。
本发明是通过如下技术方案实现的：
一种用于组织细胞学病理片图像特征抽取的图卷积模块，其特征在于：所述图卷积模块按顺序由图卷积层、非线性激活函数层和图池化层组成1个图卷积模块，Graph图像输入图卷积层，图卷积层采用图注意力卷积，图注意力卷积设有多头注意力机制；非线性激活函数层采用ReLU、Leaky ReLU或PReLU为非线性激活函数；图池化层采用EdgePool作为图池化分类；对上述技术方案做进一步的说明：所述多头注意力机制采用1或2或4个head；对上述技术方案做进一步的说明：所述图池化分类采用边收缩的图池化EdgePool，该方法迭代式地对每条边上的节点进行两两归并形成一个新的节点,同时保留合并前两个节点的连接关系到新节点上；对上述技术方案做进一步的说明：所述合并之后的节点特征使用求和方式为:
hij＝s(hi+hj),s＝max(sij,sji)
其中hij表示vi与vj节点合并后的新节点的特征向量。
相较于现有技术，本发明具有很强的特征提取能力和识别能力，有效降低病理图片的数据量，为高效的病理图识别的图神经网络Graph构建打下了坚实基础。
附图说明
图1为图卷积模块结构图；
图2为多头注意力机制图卷积示意图；
图3为图池化EdgePool节点数降维原理图。
具体实施方式
下面结合附图和实施方式对本发明的内容作进一步说明：
本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
图1为图卷积模块结构图，按顺序由图卷积层、非线性激活函数层和图池化层组成1个图卷积模块，它的输入为中间隐藏层特征(首层为Graph)，经过图卷积层来聚合1阶领域内的节点特征、图池化层来对节点重新聚类达到节点数降维的目的，最后输出抽取的相邻接的局部图像交互特征。例如在整个病理片图像分类中，抽取病理片巨图的整图特征的图神经网络可由1至3层图卷积模块按顺序串联构成，理论上来说图卷积模块使用越多可获得更大的感受野，但层数多时(如超过3层以上)时容易过平滑，导致后面预测效果反而更差。一般来说当训练数据样本数更多和病灶区域相关性范围更大(需要结合考虑更大图像范围病理医生才能下诊断结论)时，可采用较多一些图卷积模块，根据实践测试来验证比较后使用。
根据组织细胞学病理片图像的特征，在图卷积模块中，图卷积采用图注意力卷积，非线性激活函数可采用ReLU等，图池化采用EdgePool，经过我们在甲状腺病理专有数据集上测试验证其可以达到最佳预测效果。各部分详述如下：
1.图卷积：
病理医生在诊断时，注意力集中到可疑病灶小块，往往还需参考其旁边区域(不同的邻接区域影响是不一样的)，那么图注意力卷积就能较好地建模此类关系。图注意力卷积对于相邻节点给予不同的关注度，能区别化对待每个空间上的邻居节点关系影响，重点关注有关联的邻居节点，而轻视掉不相关不重要的部分。为了更进一步提升注意力层的表达能力，引入多头注意力机制，每个head捕获不同方面的信息，一般采用1、2、4个head。
采用多头注意力机制图卷积，如图2所示：
假设中心节点为vi,我们设邻居节点vj到vi的权重系数为:eij＝a(Whi，Whj)。
是该层节点特征变换的权重参数。a(·)是计算两个节点相关度的函数,我们将其限制在一阶邻居内。定义成一种带参的神经网络层,W为要学习的权重参数。
eij＝Leaky ReLU(aT[Whi||Whj])
其邻接点的注意力权重参数
激活函数设计为LeakyReLU。分配权重，使用softmax来归一化为：
注意力机制加权求和，节点vi新的特征向量为：
加入多头注意力机制,也即对上式调用K组相互独立的注意力机制,将输出结果拼接在一起:
其中||表示拼接操作，
是第k组注意力机制计算出的权重系数,W(k)是对应的学习参数。
2.非线性激活函数：
可采用ReLU/Leaky ReLU/PReLU等作为非线性激活函数，以增加模型的算法非线性。
3.图池化：
图池化用于节点数降维，用于重新聚类划分族形成新的节点，比如说对于正常的组织细胞相邻节点归并在一起为同一族，可疑的相邻节点也归并为同一族，对每个族重新计算其特征后形成一个节点，经过图池化后节点数逐渐下降，这有利于导出最后的整图分类结论。在病理图分类识图神经网络上，图卷积模块中分别使用不同类型的图池化层(SAGPool、TopK、DIFFPOOL、EigenPooling、EdgePool)测试，发现在图卷积模块中采用EdgePool作为图池化分类效果最佳。
采用边收缩的图池化EdgePool，该方法迭代式地对每条边上的节点进行两两归并形成一个新的节点,同时保留合并前两个节点的连接关系到新节点上。EdgePool对每条边设计了一个分数,依据该分数进行非重复式的挑选与合并。对每条边,计算原始分数r:
rij＝WT[hi||hj]+b
每个节点选择哪条边,需要从其局部邻居出发进行考虑,对原始分数沿邻居节点进行归一化:
Sij＝softmaxj(rij)
得到上述分数之后,接下来对所有的sij进行排序,依次选择该分数最高的且未被选中的两个节点进行收缩操作,细节如图3所示。
合并之后的节点特征,可以使用求和的方式表示:
hij＝s(hi+hj),s＝max(sij,sji)
其中hij表示vi与vj节点合并后的新节点的特征向量。
上述实施例提供的用于组织细胞学病理片图像特征抽取的图卷积模块，可以适应卷积神经网络特性，具有良好的实用性和扩展性，为组织细胞病理图像诊断系统打下了坚实基础。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。
Claims (4)
1.一种用于组织细胞学病理片图像特征抽取的图卷积模块，其特征在于：所述图卷积模块按顺序由图卷积层、非线性激活函数层和图池化层组成1个图卷积模块，Graph图像输入图卷积层，图卷积层采用图注意力卷积，图注意力卷积设有多头注意力机制；非线性激活函数层采用ReLU、Leaky ReLU或PReLU为非线性激活函数；图池化层采用EdgePool作为图池化分类。
2.根据权利要求1所述一种用于组织细胞学病理片图像特征抽取的图卷积模块，其特征在于：所述多头注意力机制采用1或2或4个head。
3.根据权利要求1所述一种用于组织细胞学病理片图像特征抽取的图卷积模块，其特征在于：所述图池化分类采用边收缩的图池化EdgePool，该方法迭代式地对每条边上的节点进行两两归并形成一个新的节点,同时保留合并前两个节点的连接关系到新节点上。
4.根据权利要求3所述一种用于组织细胞学病理片图像特征抽取的图卷积模块，其特征在于：所述合并之后的节点特征使用求和方式为:
hij＝s(hi+hj),s＝max(sij,sji)
其中hij表示vi与vj节点合并后的新节点的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110979940.XA CN113673451A (zh) | 2021-08-25 | 2021-08-25 | 一种用于组织细胞学病理片图像特征抽取的图卷积模块 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110979940.XA CN113673451A (zh) | 2021-08-25 | 2021-08-25 | 一种用于组织细胞学病理片图像特征抽取的图卷积模块 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673451A true CN113673451A (zh) | 2021-11-19 |
Family
ID=78545989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110979940.XA Pending CN113673451A (zh) | 2021-08-25 | 2021-08-25 | 一种用于组织细胞学病理片图像特征抽取的图卷积模块 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673451A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152574A (zh) * | 2023-04-17 | 2023-05-23 | 厦门大学 | 一种基于多阶段信息抽取和记忆的病理图像分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709233A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 基于多注意力卷积神经网络的智能导诊方法及系统 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112464792A (zh) * | 2020-11-25 | 2021-03-09 | 北京航空航天大学 | 一种基于动态卷积的遥感图像舰船目标细粒度分类方法 |
| CN112598080A (zh) * | 2020-12-30 | 2021-04-02 | 广州大学华软软件学院 | 一种基于注意力的宽度图卷积神经网络模型及其训练方法 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN113239981A (zh) * | 2021-04-23 | 2021-08-10 | 中国科学院大学 | 局部特征耦合全局表征的图像分类方法 |
-
2021
- 2021-08-25 CN CN202110979940.XA patent/CN113673451A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN111709233A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 基于多注意力卷积神经网络的智能导诊方法及系统 |
| CN112464792A (zh) * | 2020-11-25 | 2021-03-09 | 北京航空航天大学 | 一种基于动态卷积的遥感图像舰船目标细粒度分类方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112598080A (zh) * | 2020-12-30 | 2021-04-02 | 广州大学华软软件学院 | 一种基于注意力的宽度图卷积神经网络模型及其训练方法 |
| CN113239981A (zh) * | 2021-04-23 | 2021-08-10 | 中国科学院大学 | 局部特征耦合全局表征的图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘忠雨 等: "《深入浅出图神经网络：GNN原理解析》", vol. 1, 31 January 2020, 机械工业出版社, pages: 168 - 169 * |
| 陈琳琳 等: "基于卷积神经网络的多尺度注意力图像分类模型", 《南京理工大学学报》, vol. 44, no. 6, 31 December 2020 (2020-12-31), pages 669 - 674 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152574A (zh) * | 2023-04-17 | 2023-05-23 | 厦门大学 | 一种基于多阶段信息抽取和记忆的病理图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345508B (zh) | 一种基于两阶段神经网络的骨龄评价方法 | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN106778687B (zh) | 基于局部评估和全局优化的注视点检测方法 | |
| CN110647875B (zh) | 一种血细胞分割、识别模型构造的方法及血细胞识别方法 | |
| CN111583285B (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| Gu et al. | Blind image quality assessment via vector regression and object oriented pooling | |
| CN113674252A (zh) | 一种基于图神经网络的组织细胞病理图像诊断系统 | |
| Zhao et al. | Center attention network for hyperspectral image classification | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| Zhu et al. | Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks | |
| CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
| Li et al. | Adversarial domain adaptation via category transfer | |
| CN116563410A (zh) | 基于两级生成对抗网络的电气设备电火花图像生成方法 | |
| CN113673451A (zh) | 一种用于组织细胞学病理片图像特征抽取的图卷积模块 | |
| CN102298775B (zh) | 以样本为基础的人脸超分辨率重建方法与系统 | |
| CN113642596A (zh) | 一种基于社区检测和双路自编码的脑网络分类方法 | |
| CN113222887A (zh) | 基于深度学习的纳米铁标记神经干细胞示踪的方法 | |
| Balaaditya et al. | Analysis of the Effect of Adversarial Training in Defending EfficientNet-B0 Model from DeepFool Attack | |
| Pillai et al. | A Deep Learning Approach for Detection and Classification of Ten Species of Monkeys | |
| CN112183332A (zh) | 一种基于迁移学习的牦牛脸识别方法 | |
| Araki et al. | Patch-based cervical cancer segmentation using distance from boundary of tissue | |
| Jeffreys | Support vector machine and parametric wavelet-based texture classification of stem cell images | |
| León et al. | Learning a triplet embedding distance to represent gleason patterns | |
| Jumanov et al. | Detection of Distorted Points on Images of Micro-Objects Based on The Properties and Peculiarities of the Wavelet-Transformation | |
| Yang et al. | Statistical attention localization (SAL): Methodology and application to object classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |