CN114972849A - 胶质瘤的类型识别方法、模型训练方法、装置、设备 - Google Patents

胶质瘤的类型识别方法、模型训练方法、装置、设备 Download PDF

Info

Publication number
CN114972849A
CN114972849A CN202210505393.6A CN202210505393A CN114972849A CN 114972849 A CN114972849 A CN 114972849A CN 202210505393 A CN202210505393 A CN 202210505393A CN 114972849 A CN114972849 A CN 114972849A
Authority
CN
China
Prior art keywords
type
glioma
vector
classification information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210505393.6A
Other languages
English (en)
Inventor
江瑞
丁锦瑞
杨鹏帅
张学工
闾海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210505393.6A priority Critical patent/CN114972849A/zh
Publication of CN114972849A publication Critical patent/CN114972849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供的一种胶质瘤的类型识别方法、模型训练方法、装置、设备,涉及图像处理技术,包括:获取胶质瘤的组织病理图像;将组织病理图像输入预设识别模型,提取胶质瘤中各目标图块的各特征向量,基于第一通道对各特征向量进行处理,得到与每种类型对应的第一分类信息以及目标向量,基于第二通道对目标向量进行处理,得到与每种类型对应的第二分类信息;对第一分类信息和第二分类信息进行处理,得到目标分类结果。本方案中,可以通过第一通道得到每种类型对应的第一分类信息以及目标向量;通过第二通道对目标向量进行处理,得到每种类型对应的第二分类信息;根据第一、第二分类信息,得到分类结果。可在一定程度上提高分型的准确率。

Description

胶质瘤的类型识别方法、模型训练方法、装置、设备
技术领域
本公开涉及图像处理技术,尤其涉及一种胶质瘤的类型识别方法、模型训练方法、装置、设备。
背景技术
胶质瘤是最常见的原发性脑肿瘤,也是颅内最常见的恶性肿瘤。根据其组织学形态特征,胶质瘤被划分为星形细胞瘤、少突胶质细胞瘤和室管膜瘤三种类型。胶质瘤的准确分型十分重要。
现有技术中,对胶质瘤的分型主要依靠病理科医生观察组织病理图像,通过组织学形态特征来确认分型。
但是,人工方式对胶质瘤分型的准确率有待提高。
发明内容
本公开提供了一种胶质瘤的类型识别方法、模型训练方法、装置、设备,可以在一定程度上提高对胶质瘤分型的准确率。
根据本公开第一方面,提供了一种胶质瘤的类型识别方法,所述方法包括:
获取胶质瘤的组织病理图像;
将所述组织病理图像输入至预设的识别模型中,基于所述识别模型中的特征提取模块提取所述胶质瘤中各目标图块的各特征向量,基于所述识别模型中的第一通道对各所述特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,基于所述识别模型中的第二通道对所述目标向量进行处理,得到与每种类型对应的第二分类信息;基于所述识别模型中的整合模块对所述第一分类信息和所述第二分类信息进行处理,得到所述组织病理图像中的胶质瘤的目标分类结果;
其中,所述识别模型是使用训练数据集训练得到的,所述训练数据集中包括多组训练数据,所述训练数据包括胶质瘤的组织病理图像,以及所述组织病理图像中胶质瘤的标注类型。
根据本公开第二方面,提供了一种模型训练方法,所述方法包括:
获取训练数据集;其中,所述训练数据集中包括多组训练数据,所述训练数据包括胶质瘤的组织病理图像,以及所述胶质瘤的标注类型;
将所述胶质瘤的组织病理图像输入至预设模型中,得到所述组织病理图像中的胶质瘤的预测类型;根据所述胶质瘤的标注类型和预测类型,优化所述预设模型中的参数,得到识别模型;其中,所述识别模型用于识别胶质瘤的类型。
根据本公开第三方面,提供了一种胶质瘤的类型识别装置,所述装置包括:
获取单元,用于获取胶质瘤的组织病理图像;
识别单元,用于将所述组织病理图像输入至预设的识别模型中,基于所述识别模型中的特征提取模块提取所述胶质瘤中各目标图块的各特征向量,基于所述识别模型中的第一通道对各所述特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,基于所述识别模型中的第二通道对所述目标向量进行处理,得到与每种类型对应的第二分类信息;基于所述识别模型中的整合模块对所述第一分类信息和所述第二分类信息进行处理,得到所述组织病理图像中的胶质瘤的目标分类结果;
其中,所述识别模型是使用训练数据集训练得到的,所述训练数据集中包括多组训练数据,所述训练数据包括胶质瘤的组织病理图像,以及所述组织病理图像中胶质瘤的标注类型。
根据本公开第四方面,提供了一种模型训练装置,所述装置包括:
获取单元,用于获取训练数据集;其中,所述训练数据集中包括多组训练数据,所述训练数据包括胶质瘤的组织病理图像,以及所述胶质瘤的标注类型;
训练单元,用于将所述胶质瘤的组织病理图像输入至预设模型中,得到所述组织病理图像中的胶质瘤的预测类型;根据所述胶质瘤的标注类型和预测类型,优化所述预设模型中的参数,得到识别模型;其中,所述识别模型用于识别胶质瘤的类型。
根据本公开第五方面,提供了一种电子设备,包括存储器和处理器;其中,
所述存储器,用于存储计算机程序;
所述处理器,用于读取所述存储器存储的计算机程序,并根据所述存储器中的计算机程序执行如第一方面、第二方面所述的方法。
根据本公开第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如第一方面、第二方面所述的方法。
根据本公开第七方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,实现如第一方面、第二方面所述的方法。
本公开提供的胶质瘤的类型识别方法、模型训练方法、装置、设备,包括:获取胶质瘤的组织病理图像;将组织病理图像输入至预设的识别模型中,基于识别模型中的特征提取模块提取胶质瘤中各目标图块的各特征向量,基于识别模型中的第一通道对各特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,基于识别模型中的第二通道对目标向量进行处理,得到与每种类型对应的第二分类信息;基于识别模型中的整合模块对第一分类信息和第二分类信息进行处理,得到组织病理图像中的胶质瘤的目标分类结果;其中,识别模型是使用训练数据集训练得到的,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及组织病理图像中胶质瘤的标注类型。本方案中,可以通过识别模型中的第一通道得到每种类型对应的第一分类信息以及与每种类型对应的目标向量;通过第二通道对目标向量进行处理,得到每种类型对应的第二分类信息;并根据第一分类信息和第二分类信息,得到分类结果。可以在一定程度上提高对胶质瘤分型的准确率。
附图说明
图1为本公开一示例性实施例示出的胶质瘤的类型识别方法的流程示意图;
图2为本公开另一示例性实施例示出的胶质瘤的类型识别方法的流程示意图;
图3为本公开一示例性实施例示出的特征向量的融合过程的示意图;
图4为本公开一示例性实施例示出的模型训练方法的流程示意图;
图5为本公开一示例性实施例示出的胶质瘤的类型识别过程示意图;
图6为本公开一示例性实施例示出的胶质瘤的类型识别装置的结构图;
图7为本公开一示例性实施例示出的模型训练装置的结构图;
图8为本公开一示例性实施例示出的电子设备的结构图。
具体实施方式
胶质瘤是最常见的原发性脑肿瘤,也是颅内最常见的恶性肿瘤。胶质瘤约占所有脑和中枢神经系统肿瘤的30%,占所有恶性脑肿瘤的80%。根据其组织学形态特征,胶质瘤被划分为星形细胞瘤、少突胶质细胞瘤和室管膜瘤三种类型。胶质瘤的准确分型十分重要。现有技术中,对胶质瘤的分型主要依靠病理科医生观察组织病理图像,通过组织学形态特征来确认分型。
但是,现有技术仍然存在以下问题:1)胶质瘤不同类型之间存在一定的相似性,人工方式具有较强的主观性、且准确率有待提高;2)对于少突胶质细胞瘤的分型判断依赖异柠檬酸脱氢酶(Isocitrate dehydrogenase,IDH)基因突变状态和染色体1p/19q共缺失状态,通过基因测序获得;成本高且效率较低。
为了解决上述技术问题,本公开提供的方案中,可以通过识别模型中的第一通道得到每种类型对应的第一分类信息以及与每种类型对应的目标向量;通过第二通道对目标向量进行处理,得到每种类型对应的第二分类信息;并根据第一分类信息和第二分类信息,得到分类结果。可以在一定程度上提高对胶质瘤分型的准确率和效率,且无需通过基因测序获取IDH基因突变状态等分子信息也可获得较高的准确率。
图1为本公开一示例性实施例示出的胶质瘤的类型识别方法的流程示意图。
如图1所示,本实施例提供的胶质瘤的类型识别方法包括:
步骤101,获取胶质瘤的组织病理图像。
其中,本公开提供的方法可以由具备计算能力的电子设备来执行,比如可以是计算机等设备。该电子设备能够获取胶质瘤的组织病理图像。
其中,胶质瘤的组织病理图像为胶质瘤组织病理全扫描图像。具体的,可以通过扫描仪扫描胶质瘤的组织切片,得到质瘤的组织切片在扫描仪下的图像,将该图像数字化后,得到胶质瘤的组织病理图像。其中,扫描仪可以为光学显微镜。
步骤102,将组织病理图像输入至预设的识别模型中,基于识别模型中的特征提取模块提取胶质瘤中各目标图块的各特征向量,基于识别模型中的第一通道对各特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,基于识别模型中的第二通道对目标向量进行处理,得到与每种类型对应的第二分类信息;基于识别模型中的整合模块对第一分类信息和第二分类信息进行处理,得到组织病理图像中的胶质瘤的目标分类结果;其中,识别模型是使用训练数据集训练得到的,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及组织病理图像中胶质瘤的标注类型。
具体的,可以先将输入至预设的识别模型中的组织病理图像划分成大小相等的多块目标图块;并利用识别模型中的特征提取模块提取胶质瘤中各目标图块的各特征向量。具体的,可以采用卷积神经网络(Convolutional Neural Networks,CNN),提取各目标图块的各特征向量。
具体的,利用识别模型中的第一通道,对各特征向量进行处理,得到每种类型对应的第一分类信息以及与每种类型对应的目标向量。其中,识别模型可以识别多种类型,第一通道对各特征向量进行处理后,可以得到每种类型对应的第一分类信息。其中,第一分类信息可以表征胶质瘤所属类型的概率。具体的,可以将与每种类型的第一分类信息对应的特征向量确定为目标向量;目标向量可以有多个。
具体的,可以将与每种类型对应的目标向量输入至第二通道中,基于第二通道对目标向量进行处理,得到与每种类型对应的第二分类信息。其中,第二分类信息可以表征胶质瘤所属类型的概率。
具体的,整合模块可以基于与每种类型对应的第一分类信息和第二分类信息,得到胶质瘤的目标分类结果。
进一步的,识别模型为预先使用训练数据集训练得到的。其中,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及组织病理图像中胶质瘤的标注类型。
具体的,通过标注类别训练得到的识别模型,能够识别的类型与标注类别中包括的类型相同。具体的,标注类型可以包括多种类型,比如,可以包括星形细胞瘤、少突胶质细胞瘤和室管膜瘤。
本公开提供的胶质瘤的类型识别方法,包括:获取胶质瘤的组织病理图像;将组织病理图像输入至预设的识别模型中,基于识别模型中的特征提取模块提取胶质瘤中各目标图块的各特征向量,基于识别模型中的第一通道对各特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,基于识别模型中的第二通道对目标向量进行处理,得到与每种类型对应的第二分类信息;基于识别模型中的整合模块对第一分类信息和第二分类信息进行处理,得到组织病理图像中的胶质瘤的目标分类结果;其中,识别模型是使用训练数据集训练得到的,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及组织病理图像中胶质瘤的标注类型。本公开采用的方法中,可以通过识别模型中的第一通道得到每种类型对应的第一分类信息以及与每种类型对应的目标向量;通过第二通道对目标向量进行处理,得到每种类型对应的第二分类信息;并根据第一分类信息和第二分类信息,得到分类结果。可以在一定程度上提高对胶质瘤分型的准确率和效率,且无需通过基因测序获取IDH基因突变状态等分子信息也可获得较高的准确率。
图2为本公开另一示例性实施例示出的胶质瘤的类型识别方法的流程示意图。
如图2所示,本实施例提供的胶质瘤的类型识别方法包括:
步骤201,获取胶质瘤的组织病理图像。
具体的,步骤201与步骤101的原理、实现方式类似,不再赘述。
步骤202,将组织病理图像输入至预设的识别模型中,对组织病理图像进行预处理,得到胶质瘤的第一图像;其中,识别模型是使用训练数据集训练得到的,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及组织病理图像中胶质瘤的标注类型。
具体的,由于完整的胶质瘤组织病理全扫描图像分辨率极高,可以达到1011像素级别,受计算量的限制,直接将这类图像作为神经网络的输入是不现实的。因此,本方案可以先将组织病理图像切分成固定大小的图块,再对这些图块进行分析处理。
考虑到病理切片中存在大量的空白部分和被切碎的零散组织,这些区域对于类型识别意义不大。为了进一步降低计算量,本方案可以先提取出组织病理图像中主干组织部分,再在主干组织部分中提取图块,这样可以降低无意义样本对模型的干扰。
具体的,识别模型为预先使用训练数据集训练得到的。其中,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及组织病理图像中胶质瘤的标注类型。
具体的,通过标注类别训练得到的识别模型,能够识别的类型与标注类别中包括的类型相同。具体的,标注类型可以包括多种类型,比如,可以包括星形细胞瘤、少突胶质细胞瘤和室管膜瘤。
在一种可实现方式中,根据预设比例值,压缩组织病理图像,得到压缩后的组织病理图像。
具体的,预设比例值比如可以为1/16。具体的,可以将组织病理图像压缩为原来的1/16,得到压缩后的组织病理图像。
根据压缩后的组织病理图像,以及预设的色相值、预设的饱和度值,确定胶质瘤的第二图像。
具体的,组织病理图像可以为基于苏木精-伊红染色的组织病理切片得到的图像。基于苏木精-伊红染色的组织病理切片呈现出细胞核染色为蓝紫色、细胞质染色为不同程度的红色的特点,本实施例中可以将压缩后的组织病理图像从RGB空间转换到HSV空间,以便通过色相和饱和度实现对被染色的组织区域的筛选。
其中,预设的色相值的范围可以为[0,20]或[160,360];预设的饱和度值可以为30。在HSV空间中,可以以色相值处于[0,20]或[160,360]范围内、饱和度值在30以上为标准,只保留符合标准的像素,得到胶质瘤的第二图像。
其中,RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。
其中,HSV(Hue Saturation Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是:色调(Hue,H),饱和度(Saturation,S),明度(Value,V)。
对第二图像进行二值化处理,得到二值化处理后的图像;并对二值化处理后的图像进行中值滤波,得到第一图像。
其中,图像二值化就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果。
具体的,对二值化处理后的图像进行中值滤波,可以去除孤立噪声点,实现对细碎组织的剔除。
步骤203,根据第一图像、预设滑动窗口,确定胶质瘤的中的各目标图块。
具体的,可以利用预设滑动窗口在第一图像上滑动,来确定胶质瘤的中的各目标图块。
在一种可实现方式中,利用预设滑动窗口在第一图像上进行滑动,得到多个第一待选图块。
具体的,预设滑动窗口为根据实际情况预先设置的。其中,预设滑动窗口包括预设的滑动窗口尺寸和预设的步长。其中,预设的滑动窗口尺寸可以为64*64;预设的步长可以为64。
若第一待选图块的像素值大于预设像素值,则确定第一待选图块为第二待选图块。
其中,预设像素值为根据实际情况预设设置的像素值。
可选的,可以将第二图像为掩模,利用预设滑动窗口在该掩模上进行滑动,得到多个第一待选图块,若第一待选图块的像素值大于预设的像素值,则确定该第一待选图块为第二待选图块。
具体的,第二待选图块即为筛选出的胶质瘤的主干组织部分。
将与第二待选图块对应的组织病理图像中的区域,确定为目标图块。
具体的,将第二待选图块在第二图像中的位置映射回组织病理图像,得到与第二待选图块对应的组织病理图像中的区域,该区域组成的图块,即为目标图块。
步骤204,利用特征提取模块提取目标图块的特征,得到目标图块的特征向量。
具体的,可以使用ImageNet预训练的CNN网络提取每个目标图块的特征向量。
其中,ImageNet是一个计算机视觉系统识别项目名称,是图像识别数据库。是模拟人类的识别系统建立的。
步骤205,将特征向量输入至第一通道中与每种类型对应的全连接层中,得到特征向量与每种类型对应的中间分类信息。
其中,识别模型可以为基于CNN创建的模型。其中,识别模型包括的第一通道中,可以包括多个全连接层。其中,全连接层可以对输入的每个特征向量进行处理得到特征向量与类型对应的中间分类信息。
其中,中间分类信息可以表征胶质瘤所属类型的概率。
具体的,胶质瘤可以包括多种类型,因此每个特征向量可以对应多个中间分类信息。
步骤206,在与类型对应的中间分类信息中确定与类型对应的第一分类信息。
具体的,在多个与类型对应的中间分类信息中,可以提取最具代表性的一个作为与该类型对应的第一分类信息。比如,可以将表征该类型最大概率的中间分类信息确定为第一分类信息。
在一种可实现方式中,类型的中间分类信息用于表征胶质瘤属于类型的概率值;将用于表征胶质瘤属于类型概率最大的概率值确定为类型的第一分类信息。
具体的,若类型的中间分类信息表征胶质瘤属于类型的概率值;则将用于表征胶质瘤属于类型概率最大的概率值确定为类型的第一分类信息。
步骤207,将与第一分类信息对应的特征向量,确定为与类型对应的目标向量。
具体的,将与作为第一分类信息的中间分类信息对应的特征向量,确定为与类型对应的目标向量。
具体的,每种类型都有对应的目标向量,且每种类型对应的目标向量可以不同。
步骤208,融合第一特征向量和各第二特征向量,得到第一特征向量对应的第一融合向量;其中,第二特征向量是与第一特征向量相邻的特征向量。
具体的,可以通过预设滑动窗口得到多个图块,可以根据图块获取的时间顺序给多个图块排序。每个图块对应一个特征向量。可以按照图块的顺序给特征向量排序。每个特征向量与其前一个和后一个特征向量相邻。第一个特征向量与第二个和最后一个特征向量相邻。最后一个特征向量与第一个和倒数第二个特征向量相邻。
在一种可实现方式中,根据第一特征向量和各第二特征向量,确定第一特征向量与自身的第一注意力权重,以及第一特征向量与各第二特征向量之间的各第二注意力权重。
具体的,第二通道中可以包括三个全连接层,每个特征向量分别通过这三个全连接层,得到三个向量;可以通过每个特征向量对应的这三个向量,确定第一注意力权重和第二注意力权重。
具体的,第一注意力权重的公式如下:
Figure BDA0003637301270000101
Q0=x0*WQ
K0=x0*WK
其中,WQ,WK,分别为第二通道包括的两个全连接层,可以令WQ,WK∈R1024*256;x0为第一特征向量,为d维向量,可以令d=1024;dk为超参数,可以令dk=64;T表示转置;Q0为x0通过WQ得到的向量,可以令Q0∈R256;K0为x0通过WK得到的向量,可以令K0∈R256
第二注意力权重的公式如下:
Figure BDA0003637301270000102
Q0=x0*WQ
K1=x1*WK其中,WQ,WK,分别为第二通道包括的两个全连接层,可以令WQ,WK∈R1024 *256;x0为第一特征向量,为d维向量;x1为第二特征向量,为d维向量,可以令d=1024;dk为超参数,可以令dk=64;T表示转置;Q0为x0通过WQ得到的向量,可以令Q0∈R256;K1为x1通过WK得到的向量,可以令K1∈R256
根据第一特征向量和第一注意力权重确定第一乘积,根据第二特征向量和与第二特征向量对应的第二注意力权重,确定第二乘积;将第一乘积和各第二乘积之和确定为第一特征向量的第一融合向量。
具体的,第一融合向量的公式如下所示:
Figure BDA0003637301270000111
Q0=x0*WQ;Q1=x1*WQ;Q2=x2*WQ
K0=x0*WK;K1=x1*WK;K2=x2*WK
V0=x0*WV;V1=x1*WV;V2=x2*WV
其中,WQ,WK,WV分别为第二通道包括的三个全连接层可以令WQ,WK,WV∈R1024*256;x0为第一特征向量,为d维向量;x1和x2第二特征向量,都为d维向量,可以令d=1024;dk为超参数,可以令dk=64;T表示转置;softmax表示归一算法;Q0为x0通过WQ得到的向量,可以令Q0∈R256;K0为x0通过WK得到的向量,可以令K0∈R256;V0为x0通过WV得到的向量,可以令V0∈R256;Q1为x1通过WQ得到的向量,可以令Q1∈R256;K1为x1通过WK得到的向量,可以令K1∈R256;V1为x1通过WV得到的向量,可以令V0∈R256;Q2为x2通过WQ得到的向量,可以令Q2∈R256;K2为x2通过WK得到的向量,可以令K2∈R256;V2为x2通过WV得到的向量,可以令V2∈R256
步骤209,融合目标向量和各第一融合向量,得到与目标向量对应的第二融合向量。
具体的,每个类型对应一个目标向量,将每个目标向量与各第一融合向量进行融合,得到与该目标向量对应的第二融合向量。
在一种可实现方式中,根据目标向量和各第一融合向量,确定目标向量与各第一融合向量之间的各第三注意力权重。
具体的,第三注意力权重的公式如下所示:
Figure BDA0003637301270000121
Q4=x4*WQ
K5=x5*WK
其中,WQ,WK,分别为第二通道包括的两个全连接层,可以令WQ,WK∈R1024*256;x4为目标向量,为d维向量;x5为第一融合向量,为d维向量,可以令d=1024;dk为超参数,可以令dk=64;T表示转置;Q4为x4通过WQ得到的向量,可以令Q0∈R256;K5为x5通过WK得到的向量,可以令K5∈R256
根据第一融合向量和与第一融合向量对应的第三注意力权重,确定第三乘积;将各第三乘积之和确定为目标向量的第二融合向量。
具体的,第二融合向量的公式如下所示:
Figure BDA0003637301270000122
Q4=x4*WQ;Km=xm*WK;Vm=xm*WV
其中,WQ,WK,WV分别为第二通道包括的三个全连接层,可以令WQ,WK,WV∈R1024*256;x4为目标向量,为d维向量;xm表示第m个第一融合向量,为d维向量,可以令d=1024;dk为超参数,可以令dk=64;n表示第一融合向量的总个数;T表示转置;softmax表示归一算法;Q4为x4通过WQ得到的向量,可以令Q4∈R256;Km为xm通过WK得到的向量,可以令Km∈R256;Vm为xm通过WV得到的向量,可以令Vm∈R256
具体的,本实施例中提供的特征向量融合方式如图3所示,其中,外圈中的圆表示特征向量,圆心处的圆表示目标向量。每个特征向量首先与相邻的两个特征向量进行融合得到第一融合向量;目标向量再与所有的第一融合向量进行融合,得到第二融合向量。
步骤210,根据各目标向量对应的各第二融合向量,确定与每种类型对应的第二分类信息。
具体的,每种类型都有对应的目标向量,每个目标向量都对应一个第二融合向量,因此每种类型都有对应的第二融合向量。利用与类型对应的第二融合向量可以确定该类型的第二分类信息。
其中,第二分类信息可以用于表征胶质瘤所属类型的概率。
步骤211,第一分类信息为第一概率值,第二分类信息为第二概率值;根据与各类型对应的第一概率值、第二概率值,确定与各类型对应的总概率。
具体的,与各类型对应的总概率公式如下所示:
Figure BDA0003637301270000131
其中,i表示第i个类型;K表示类型总数;
Figure BDA0003637301270000132
表示第i种类型的第一概率值;
Figure BDA0003637301270000133
表示第i种类型的第二概率值;ci表示第i种类型的总概率值。
步骤212,根据各类型的总概率,在各类型中确定目标分类结果。
具体的,将各类型中总概率最大的类型,确定为目标分类结果。
图4为本公开一示例性实施例示出的模型训练方法的流程示意图。
如图4所示,本实施例提供的模型训练方法包括:
步骤401,获取训练数据集;其中,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及胶质瘤的标注类型。
具体的,训练数据集可以为X医院的历史胶质瘤组织病理图像。
步骤402,将胶质瘤的组织病理图像输入至预设模型中,得到组织病理图像中的胶质瘤的预测类型;根据胶质瘤的标注类型和预测类型,优化预设模型中的参数,得到识别模型;其中,识别模型用于识别胶质瘤的类型。
具体的,通过标注类别训练得到的识别模型,能够识别的类型与标注类别中包括的类型相同。具体的,标注类型可以包括多种类型,比如,可以包括星形细胞瘤、少突胶质细胞瘤和室管膜瘤。
图5为本公开一示例性实施例示出的胶质瘤的类型识别过程示意图。
如图5所示,可以通过扫描仪扫描胶质瘤的组织切片获得胶质瘤的组织病理图像,接着从胶质瘤的组织病理图像中提取多个图块;利用CNN方法将图块转化为特征向量;
利用第一通道处理各特征向量并进行类型预测,得到与各类型对应的第一分类信息以及与各类型对应的目标向量;
利用第二通道处理各特征向量,将每个特征向量与其相邻的两个特征向量进行融合,得到与每个特征向量对应的第一融合向量;
利用第二通道将目标向量与多个第一融合向量进行融合,得到第二融合向量;根据多个第二融合向量确定与各类型对应的第二分类信息;
根据第一分类信息和第二分类信息确定各类型对应的总概率;并根据各类型的总概率,在各类型中确定目标分类结果。
图6为本公开一示例性实施例示出的胶质瘤的类型识别装置的结构图。
如图6所示,本公开提供的胶质瘤的类型识别装置600,包括:
获取单元610,用于获取胶质瘤的组织病理图像;
识别单元620,用于将组织病理图像输入至预设的识别模型中,基于识别模型中的特征提取模块提取胶质瘤中各目标图块的各特征向量,基于识别模型中的第一通道对各特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,基于识别模型中的第二通道对目标向量进行处理,得到与每种类型对应的第二分类信息;基于识别模型中的整合模块对第一分类信息和第二分类信息进行处理,得到组织病理图像中的胶质瘤的目标分类结果;
其中,识别模型是使用训练数据集训练得到的,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及组织病理图像中胶质瘤的标注类型。
识别单元620,具体用于将特征向量输入至第一通道中与每种类型对应的全连接层中,得到特征向量与每种类型对应的中间分类信息;
在与类型对应的中间分类信息中确定与类型对应的第一分类信息;
将与第一分类信息对应的特征向量,确定为与类型对应的目标向量。
识别单元620,具体用于类型的中间分类信息用于表征胶质瘤属于类型的概率值;将用于表征胶质瘤属于类型概率最大的概率值确定为类型的第一分类信息。
识别单元620,具体用于融合第一特征向量和各第二特征向量,得到第一特征向量对应的第一融合向量;其中,第二特征向量是与第一特征向量相邻的特征向量;
融合目标向量和各第一融合向量,得到与目标向量对应的第二融合向量;
根据各目标向量对应的各第二融合向量,确定与每种类型对应的第二分类信息。
识别单元620,具体用于根据第一特征向量和各第二特征向量,确定第一特征向量与自身的第一注意力权重,以及第一特征向量与各第二特征向量之间的各第二注意力权重;
根据第一特征向量和第一注意力权重确定第一乘积,根据第二特征向量和与第二特征向量对应的第二注意力权重,确定第二乘积;将第一乘积和各第二乘积之和确定为第一特征向量的第一融合向量。
识别单元620,具体用于根据目标向量和各第一融合向量,确定目标向量与自身的第三注意力权重,以及目标向量与各第一融合向量之间的各第四注意力权重;
根据目标向量和第三注意力权重确定第三乘积,根据第一融合向量和与第一融合向量对应的第四注意力权重,确定第四乘积;将第三乘积和各第四乘积之和确定为目标向量的第二融合向量。
识别单元620,具体用于第一分类信息为第一概率值,第二分类信息为第二概率值;根据与各类型对应的第一概率值、第二概率值,确定与各类型对应的总概率;
根据各类型的总概率,在各类型中确定目标分类结果。
识别单元620,具体用于对组织病理图像进行预处理,得到胶质瘤的第一图像;
根据第一图像、预设滑动窗口,确定胶质瘤的中的各目标图块;
利用特征提取模块提取目标图块的特征,得到目标图块的特征向量。
识别单元620,具体用于根据预设比例值,压缩组织病理图像,得到压缩后的组织病理图像;
根据压缩后的组织病理图像,以及预设的色相值、预设的饱和度值,确定胶质瘤的第二图像;
对第二图像进行二值化处理,得到二值化处理后的图像;并对二值化处理后的图像进行中值滤波,得到第一图像。
识别单元620,具体用于利用预设滑动窗口在第一图像上进行滑动,得到多个第一待选图块;
若待选图块的像素值大于预设像素值,则确定第一待选图块为第二待选图块;
将与第二待选图块对应的组织病理图像中的区域,确定为目标图块。
图7为本公开一示例性实施例示出的模型训练装置的结构图。
如图7所示,本公开提供的模型训练装置700,包括:
获取单元710,用于获取训练数据集;其中,训练数据集中包括多组训练数据,训练数据包括胶质瘤的组织病理图像,以及胶质瘤的标注类型;
训练单元720,用于将胶质瘤的组织病理图像输入至预设模型中,得到组织病理图像中的胶质瘤的预测类型;根据胶质瘤的标注类型和预测类型,优化预设模型中的参数,得到识别模型;其中,识别模型用于识别胶质瘤的类型。
图8为本公开一示例性实施例示出的电子设备的结构图。
如图8所示,本实施例提供的电子设备包括:
存储器801;
处理器802;以及
计算机程序;
其中,计算机程序存储在存储器801中,并配置为由处理器802执行以实现如上的任一种方法。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现如上的任一种方法。
本实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,实现上述任一种方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种胶质瘤的类型识别方法,其特征在于,所述方法包括:
获取胶质瘤的组织病理图像;
将所述组织病理图像输入至预设的识别模型中,基于所述识别模型中的特征提取模块提取所述胶质瘤中各目标图块的各特征向量,基于所述识别模型中的第一通道对各所述特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,基于所述识别模型中的第二通道对所述目标向量进行处理,得到与每种类型对应的第二分类信息;基于所述识别模型中的整合模块对所述第一分类信息和所述第二分类信息进行处理,得到所述组织病理图像中的胶质瘤的目标分类结果;
其中,所述识别模型是使用训练数据集训练得到的,所述训练数据集中包括多组训练数据,所述训练数据包括胶质瘤的组织病理图像,以及所述组织病理图像中胶质瘤的标注类型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述识别模型中的第一通道对各所述特征向量进行处理,得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量,包括:
将所述特征向量输入至所述第一通道中与每种类型对应的全连接层中,得到所述特征向量与每种类型对应的中间分类信息;
在与所述类型对应的中间分类信息中确定与所述类型对应的第一分类信息;
将与所述第一分类信息对应的特征向量,确定为与所述类型对应的目标向量。
3.根据权利要求2所述的方法,其特征在于,所述类型的中间分类信息用于表征胶质瘤属于所述类型的概率值;
所述在与所述类型对应的中间分类信息中确定与所述类型对应的第一分类信息,包括:
将用于表征胶质瘤属于所述类型概率最大的概率值确定为所述类型的第一分类信息。
4.根据权利要求1所述的方法,其特征在于,所述基于所述识别模型中的第二通道对所述目标向量进行处理,得到与每种类型对应的第二分类信息,包括:
融合第一特征向量和各第二特征向量,得到所述第一特征向量对应的第一融合向量;其中,所述第二特征向量是与所述第一特征向量相邻的特征向量;
融合所述目标向量和各所述第一融合向量,得到与所述目标向量对应的第二融合向量;
根据各所述目标向量对应的各所述第二融合向量,确定与每种类型对应的第二分类信息。
5.根据权利要求4所述的方法,其他特征在于,所述融合第一特征向量和各第二特征向量,得到所述第一特征向量对应的第一融合向量,包括:
根据所述第一特征向量和各所述第二特征向量,确定所述第一特征向量与自身的第一注意力权重,以及所述第一特征向量与各所述第二特征向量之间的各第二注意力权重;
根据所述第一特征向量和所述第一注意力权重确定第一乘积,根据所述第二特征向量和与所述第二特征向量对应的第二注意力权重,确定第二乘积;将所述第一乘积和各所述第二乘积之和确定为所述第一特征向量的第一融合向量。
6.根据权利要求4所述的方法,其特征在于,所述融合所述目标向量和各所述第一融合向量,得到与所述目标向量对应的第二融合向量,包括:
根据所述目标向量和各所述第一融合向量,确定所述目标向量与各所述第一融合向量之间的各第三注意力权重;
根据所述第一融合向量和与所述第一融合向量对应的第三注意力权重,确定第三乘积;将各所述第三乘积之和确定为所述目标向量的第二融合向量。
7.根据权利要求1所述的方法,其特征在于,其中,所述第一分类信息为第一概率值,所述第二分类信息为第二概率值;
所述基于所述识别模型中的整合模块对所述第一分类信息和所述第二分类信息进行处理,得到所述组织病理图像中的胶质瘤的目标分类结果,包括:
根据与各所述类型对应的所述第一概率值、所述第二概率值,确定与各所述类型对应的总概率;
根据各所述类型的总概率,在各所述类型中确定所述目标分类结果。
8.一种模型训练方法,其特征在于,所述方法包括:
获取训练数据集;其中,所述训练数据集中包括多组训练数据,所述训练数据包括胶质瘤的组织病理图像,以及所述胶质瘤的标注类型;
将所述胶质瘤的组织病理图像输入至预设模型中,得到所述组织病理图像中的胶质瘤的预测类型;根据所述胶质瘤的标注类型和预测类型,优化所述预设模型中的参数,得到识别模型;其中,所述识别模型用于识别胶质瘤的类型。
9.一种电子设备,其特征在于,包括存储器和处理器;其中,
所述存储器,用于存储计算机程序;
所述处理器,用于读取所述存储器存储的计算机程序,并根据所述存储器中的计算机程序执行上述权利要求1-7或8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现上述权利要求1-7或8任一项所述的方法。
CN202210505393.6A 2022-05-10 2022-05-10 胶质瘤的类型识别方法、模型训练方法、装置、设备 Pending CN114972849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210505393.6A CN114972849A (zh) 2022-05-10 2022-05-10 胶质瘤的类型识别方法、模型训练方法、装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210505393.6A CN114972849A (zh) 2022-05-10 2022-05-10 胶质瘤的类型识别方法、模型训练方法、装置、设备

Publications (1)

Publication Number Publication Date
CN114972849A true CN114972849A (zh) 2022-08-30

Family

ID=82982095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210505393.6A Pending CN114972849A (zh) 2022-05-10 2022-05-10 胶质瘤的类型识别方法、模型训练方法、装置、设备

Country Status (1)

Country Link
CN (1) CN114972849A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170571A (zh) * 2022-09-07 2022-10-11 赛维森(广州)医疗科技服务有限公司 胸腹水细胞病理图像识别方法、图像识别装置、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
WO2021062904A1 (zh) * 2019-09-30 2021-04-08 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN113744251A (zh) * 2021-09-07 2021-12-03 上海桐树生物科技有限公司 基于自注意力机制从病理图片预测微卫星不稳定性的方法
CN114004838A (zh) * 2022-01-04 2022-02-01 深圳比特微电子科技有限公司 目标类别识别方法、训练方法及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
WO2021062904A1 (zh) * 2019-09-30 2021-04-08 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN113744251A (zh) * 2021-09-07 2021-12-03 上海桐树生物科技有限公司 基于自注意力机制从病理图片预测微卫星不稳定性的方法
CN114004838A (zh) * 2022-01-04 2022-02-01 深圳比特微电子科技有限公司 目标类别识别方法、训练方法及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170571A (zh) * 2022-09-07 2022-10-11 赛维森(广州)医疗科技服务有限公司 胸腹水细胞病理图像识别方法、图像识别装置、介质

Similar Documents

Publication Publication Date Title
CN110110799B (zh) 细胞分类方法、装置、计算机设备和存储介质
US7949181B2 (en) Segmentation of tissue images using color and texture
CN106529380B (zh) 图像的识别方法及装置
EP2302583B1 (en) Image segmentation
US6721448B2 (en) Color clustering and segmentation using sigma filtering
US8295637B2 (en) Method of classifying red-eye objects using feature extraction and classifiers
Almogdady et al. A flower recognition system based on image processing and neural networks
CN108090511B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN108305253B (zh) 一种基于多倍率深度学习的病理图像分类方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
JPH1153525A (ja) 顔器官検出装置及び媒体
CN107169508B (zh) 一种基于融合特征的旗袍图像情感语义识别方法
CN112464942A (zh) 基于计算机视觉的重叠烟叶智能化分级方法
Benazzouz et al. Microscopic image segmentation based on pixel classification and dimensionality reduction
CN110991434B (zh) 自助终端证件识别方法及装置
CN112509026A (zh) 一种绝缘子裂缝长度识别方法
CN114972849A (zh) 胶质瘤的类型识别方法、模型训练方法、装置、设备
Ticay-Rivas et al. Pollen classification based on geometrical, descriptors and colour features using decorrelation stretching method
CN111709305A (zh) 一种基于局部图像块的人脸年龄识别方法
CN113077405A (zh) 二分割分块的颜色传递及其质量评价体系
CN113065404A (zh) 基于等宽文字片段的火车票内容检测方法与系统
CN109886325B (zh) 一种非线性颜色空间分类的模板选择与加速匹配方法
CN111401485A (zh) 实用的纹理分类方法
Matsui et al. Feature selection by genetic algorithm for MRI segmentation
Rahman et al. An automatic face detection and gender identification from color images using logistic regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination