CN113673610A - 一种用于组织细胞病理图像诊断系统的图像预处理方法 - Google Patents
一种用于组织细胞病理图像诊断系统的图像预处理方法 Download PDFInfo
- Publication number
- CN113673610A CN113673610A CN202110979874.6A CN202110979874A CN113673610A CN 113673610 A CN113673610 A CN 113673610A CN 202110979874 A CN202110979874 A CN 202110979874A CN 113673610 A CN113673610 A CN 113673610A
- Authority
- CN
- China
- Prior art keywords
- graph
- patch
- pathological
- image
- diagnosis system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 49
- 238000007781 pre-processing Methods 0.000 title claims abstract description 17
- 238000003745 diagnosis Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000007170 pathology Effects 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 6
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 abstract description 6
- 238000010276 construction Methods 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 239000013598 vector Substances 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000010261 cell growth Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了医学图像分析技术领域的一种用于组织细胞病理图像诊断系统的图像预处理方法，采用一个固定尺寸把病理巨图分割成N行×M列的系列图块patch，再采用卷积神经网络对patch图像提取特征值(特征向量F∈Rn,n为特征长度)，每个patch作为1个节点，再根据其空间关系是否直接相邻来创建一张Graph，将病理片子构建成图神经网络模型能处理的输入Graph病理图片。本发明的用于组织细胞病理图像诊断系统的图像预处理方法有效降低病理图片的数据量，为高效的病理图识别的图神经网络Graph构建提供基础。
Description
技术领域
本发明属于医学图像所述分析技术领域，涉及一种用于组织细胞病理图像诊断系统的图像预处理方法。
背景技术
组织细胞学病理检查是肿瘤诊断的金标准，病理图像是显微镜对病理组织细胞切片成像，图像是一张数据量超大的巨图(一般都在5万x5万像素以上,甚至数十万x数十万像素)。病理医生对整个病理片子下分类结论，既要根据高分辨率上的微观状态下细胞核形态，又要根据低分辨率上的宏观状态下细胞长势等。随着计算机技术的发展，卷积神经网络在图片分类识别上取得了非常优秀的效果，假如单使用常规的卷积神经网络来分类,则需要一次性加载整张病理图片，由于整张病理图片的数据量巨大，普通GPU物理显存远远不足，在工程上根本没法实现，假如把整个病理片的图像分割成一张张小的图块patch，卷积神经网络又无法从宏观上来建模patch系列之间的空间关系。
发明内容
本发明的目的在于克服现有技术的不足，提供一种用于组织细胞病理图像诊断系统的图像预处理方法。
本发明是通过以下技术方案实现的：
一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：图像预处理包括以下步骤：
步骤一、病理片子切割
通过OpenSlide库接口对显微镜成像的svs格式的病理图片进行分割，病理图片分割成N行×M列的patch图块单元；
步骤二、用卷积神经基础网络抽取patch特征，使用卷积神经基础网络对每张patch单元图片提取特征，输出patch的卷积特征值；
步骤三、对病理图片样本集进行预处理
创建面向图神经网络模型的病理片的Graph数据图，Graph为无向图，其数据结构格式由节点、无相边、邻接矩阵组成，每个patch单元为1个节点，patch的卷积特征值作为该节点的特征值，根据每个patch单元在空间上是否直接相邻组成Graph的邻接矩阵；对上述技术方案做进一步说明：所述病理图片分割的patch图块尺寸大小全部一样；Graph的邻接矩阵在构建时，每个patch单元作为自我的中心节点，在其空间上直接相邻的patch块作为邻接点，包括直接patch图块在空间上边直接邻接的4个方向的patch块和4个斜向邻接的patch块；对上述技术方案做进一步说明：所述卷积神经基础网络为ResNet或SE-ResNet卷积神经基础网络。
本发明的用于组织细胞病理图像诊断系统的图像预处理方法有效降低病理图片的数据量，为高效的病理图识别的图神经网络Graph构建提供基础。
附图说明
图1为病理片分类预测流程图；
图2为病理分割图；
图3为1个节点和它相邻节点表示图；
图4为从1张病理片图像构建的节点邻接矩阵图。
具体实施方式
以下结合附图和实例对本发明的内容做进一步的说明：
组织细胞病理图像诊断系统是通过构建一个算法模型(神经网络)，把病理片图像转换成模型能够理解的数据格式，用病理片图像(带有疾病分类标签)样本大数据训练这个神经网络算法模型，这个训练好的算法模型保存好作为以后疾病预测分类算法，图像预处理是对整张数据量巨大的病理图片进行特征提取处理，降低病理图片的数据量，生成适用于组织细胞病理图像诊断系统能处理的Graph数据图片。
首先将显微镜扫描生成的svs格式病理图片，如图2所示分割成一系列patch小图块的病理分割图，再用卷积神经网络提取patch的特征，然后根据patch特征值和patch空间邻接矩阵构建1张Graph病理图片，最后训练病理图分类的图神经网络模型。
通过以下步骤顺序,为病理片子构建图神经网络模型能处理的输入Graph病理图片：
1.病理片子切割
用显微镜扫描病理切片，生成病理图片，将病理片巨图按照固定的图片尺寸大小(如512x512、1024x1024、2048x2048...)切割成N行×M列的(边缘多出的少许部分扔掉不影响总体分类结果)，可通过OpenSlide库接口来对svs格式病理图分割；
2.用卷积神经基础网络抽取patch特征
可使用公开的ResNet、DenseNet等卷积神经基础网络对分割的每张patch图片来提取特征，例如采用ResNet50(把最后1层全连接层后的层全部去掉)输出的特征向量值F∈R2048。
3.构造邻接矩阵
经过上述两步后，将得到M×N个patch，每个patch对应1个节点，也就是共有M×N个节点，再根据每个节点的空间邻接关系，构造1个二值(0/1)无向图，得到1个NM行×NM列的邻接矩阵A，所有节点的连接关系采用邻接矩阵来表示：
Ai,j值为0或1，1表示节点Vi和节点Vj相邻接，0表示不邻接；
4.构建Graph
病理片子的Graph为无向图，其数据结构格式由节点、邻接矩阵组成，每patch作1个节点，patch的卷积特征值作为该节点的特征值，图神经网络Graph数据结构组成
如下：
节点：由所有的分割的patch图块组成，每个patch对应1个节点，按照从第1行第1列开始往下数的顺序给每个patch编1个顺序号码，代表其节点编码。
节点属性：用卷积神经网络抽取的patch图块的特征作为该节点的属性,见步骤2。
Graph邻接矩阵：根据所有patch节点编号和各自的空间相邻接关系构造邻接矩阵A。
把病理图片经过预处理后得到图神经网络能识别的Graph数据，把Graph数据喂给分类图神经网络进行特征抽取和预测，图神经网络输出属于每种疾病分类的概率值，取最大值就得到相应的算法最终预测分类结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域的技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：图像预处理包括以下步骤：
步骤一、病理片子切割
通过OpenSlide库接口对显微镜成像的svs格式的病理图片进行分割，病理图片分割成N行×M列的patch图块单元；
步骤二、用卷积神经基础网络抽取patch特征，使用卷积神经基础网络对每张patch单元图片提取特征，输出patch的卷积特征值；
步骤三、对病理图片样本集进行预处理
创建面向图神经网络模型的病理片的Graph数据图，Graph为无向图，其数据结构格式由节点、无相边、邻接矩阵组成，每个patch单元为1个节点，patch的卷积特征值作为该节点的特征值，根据每个patch单元在空间上是否直接相邻组成Graph的邻接矩阵。
2.根据权利要求1所述的一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：所述病理图片分割的patch图块尺寸大小全部一样；Graph的邻接矩阵在构建时，每个patch单元作为自我的中心节点，在其空间上直接相邻的patch块作为邻接点，包括直接patch图块在空间上边直接邻接的4个方向的patch块和4个斜向邻接的patch块。
3.根据权利要求1所述的一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：所述卷积神经基础网络为ResNet或SE-ResNet卷积神经基础网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110979874.6A CN113673610A (zh) | 2021-08-25 | 2021-08-25 | 一种用于组织细胞病理图像诊断系统的图像预处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110979874.6A CN113673610A (zh) | 2021-08-25 | 2021-08-25 | 一种用于组织细胞病理图像诊断系统的图像预处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673610A true CN113673610A (zh) | 2021-11-19 |
Family
ID=78545978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110979874.6A Pending CN113673610A (zh) | 2021-08-25 | 2021-08-25 | 一种用于组织细胞病理图像诊断系统的图像预处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673610A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033738A (zh) * | 2018-07-09 | 2018-12-18 | 湖南大学 | 一种基于深度学习的药物活性预测方法 |
| CN110934587A (zh) * | 2019-12-13 | 2020-03-31 | 深圳龙岗智能视听研究院 | 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法 |
| CN111738318A (zh) * | 2020-06-11 | 2020-10-02 | 大连理工大学 | 一种基于图神经网络的超大图像分类方法 |
| CN111783748A (zh) * | 2020-08-12 | 2020-10-16 | 汉王科技股份有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112446881A (zh) * | 2021-02-01 | 2021-03-05 | 北京小白世纪网络科技有限公司 | 一种病理图像分割的系统及方法 |
| WO2021062904A1 (zh) * | 2019-09-30 | 2021-04-08 | 中国科学院计算技术研究所 | 基于病理图像的tmb分类方法、系统及tmb分析装置 |
| CN113160177A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于超像素和图卷积网络的平面分割方法 |
-
2021
- 2021-08-25 CN CN202110979874.6A patent/CN113673610A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033738A (zh) * | 2018-07-09 | 2018-12-18 | 湖南大学 | 一种基于深度学习的药物活性预测方法 |
| WO2021062904A1 (zh) * | 2019-09-30 | 2021-04-08 | 中国科学院计算技术研究所 | 基于病理图像的tmb分类方法、系统及tmb分析装置 |
| CN110934587A (zh) * | 2019-12-13 | 2020-03-31 | 深圳龙岗智能视听研究院 | 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法 |
| CN111738318A (zh) * | 2020-06-11 | 2020-10-02 | 大连理工大学 | 一种基于图神经网络的超大图像分类方法 |
| CN111783748A (zh) * | 2020-08-12 | 2020-10-16 | 汉王科技股份有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112446881A (zh) * | 2021-02-01 | 2021-03-05 | 北京小白世纪网络科技有限公司 | 一种病理图像分割的系统及方法 |
| CN113160177A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于超像素和图卷积网络的平面分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
| CN113313164B (zh) | 一种基于超像素分割与图卷积的数字病理图像分类方法及系统 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN110415250B (zh) | 一种基于深度学习的重叠染色体分割方法及装置 | |
| CN116312782B (zh) | 一种融合影像基因数据的空间转录组spot区域聚类方法 | |
| CN113436211A (zh) | 一种基于深度学习的医学图像活动轮廓分割方法 | |
| CN112132145B (zh) | 一种基于模型扩展卷积神经网络的图像分类方法及系统 | |
| CN112036454B (zh) | 一种基于多核密集连接网络的图像分类方法 | |
| CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
| CN108596240B (zh) | 一种基于判别特征网络的图像语义分割方法 | |
| CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| CN115775226B (zh) | 基于Transformer的医学图像分类方法 | |
| CN112085017A (zh) | 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法 | |
| CN112801904A (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN111681165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN108491863A (zh) | 基于非负矩阵分解和卷积神经网络的彩色图像处理方法 | |
| CN110084136A (zh) | 基于超像素crf模型的上下文优化室内场景语义标注方法 | |
| CN111429468A (zh) | 细胞核分割方法、装置、设备及存储介质 | |
| CN111199237A (zh) | 一种基于注意力的卷积神经网络分频特征提取方法 | |
| CN115867933A (zh) | 用于处理图像的计算机实现的方法、计算机程序产品以及系统 | |
| CN115908363B (zh) | 肿瘤细胞统计方法、装置、设备和存储介质 | |
| CN113673610A (zh) | 一种用于组织细胞病理图像诊断系统的图像预处理方法 | |
| Liu et al. | Second-order attention network for magnification-arbitrary single image super-resolution | |
| CN114708591A (zh) | 基于单字连接的文档图像中文字符检测方法 | |
| CN114708274A (zh) | 基于实时选择机制的T-CutMix数据增强与三维卷积神经网络的图像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |