CN112071430B - 一种病理指标的智能预测系统 - Google Patents

一种病理指标的智能预测系统 Download PDF

Info

Publication number
CN112071430B
CN112071430B CN202010930704.4A CN202010930704A CN112071430B CN 112071430 B CN112071430 B CN 112071430B CN 202010930704 A CN202010930704 A CN 202010930704A CN 112071430 B CN112071430 B CN 112071430B
Authority
CN
China
Prior art keywords
pathological
predictor
index
pathological index
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010930704.4A
Other languages
English (en)
Other versions
CN112071430A (zh
Inventor
马旭
蔡家铭
赵琦乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010930704.4A priority Critical patent/CN112071430B/zh
Publication of CN112071430A publication Critical patent/CN112071430A/zh
Application granted granted Critical
Publication of CN112071430B publication Critical patent/CN112071430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种病理指标的智能预测系统，首先对各图像块中的图案所属的形状类别进行分类，然后输入不同形状类别对应的病理指标预测器，得到各病理指标预测器的归类结果，最后根据各病理指标类别与形状类别形成的不同组合下包含图像块数量与各病理指标预测器的权重计算某个病理切片图像属于各病理指标类别的评分，将评分最大值对应的病理指标类别作为该病理切片图像的最终的病理指标预测结果；因此，本发明通过对图像块进行更细致的分类，并对各种形状类别的图像块进行有效性分析，能够明显提高图像块级预测数据和预测器的有效性和患者级预测结果的准确性。

Description

一种病理指标的智能预测系统
技术领域
本发明属于智能医疗设备技术领域，尤其涉及一种病理指标的智能预测系统。
背景技术
医学影像病理指标预测技术是智能医疗领域的关键技术之一。目前，医疗领域已经可以采用深度学习技术来对医学影像进行分析，提高预测结果的准确性。2019年德国国家癌症中心提出的病理切片微卫星不稳定性(Microsatellite instability，简称MSI)预测方法，是其中的一项代表性技术。该技术将整体病理切片图像切分成较小的图像块，用深度学习模型对切分出的图像块进行MSI预测，得出图像块级的预测结果，最后通过投票的方式得出患者级的预测结果，从而提高预测结果的准确率。为了提高参与预测的病理切片图像块的有效性，研究人员提出了一种肿瘤检测技术。该技术基于已有数据集训练肿瘤检测器，之后采用肿瘤检测器从众多病理切片图像块中筛选出包含肿瘤组织的图像块(简称有效图像块)，从而提高了图像块级预测数据的有效性。但是，这种方法仅根据是否包含肿瘤组织来筛选图像块，筛选的方式过于简单，其所得出的图像块级预测精度有待进一步提高。因此，如何进一步提高图像块级预测数据的有效性是病理指标智能预测技术发展中必须解决的一个重要问题。
另外，该技术在训练用于MSI预测的深度学习模型时，直接对经过筛选的一类图像块采用了ResNet18作为模型的网络结构，没有进行网络结构上的进一步挑选，然而目前的深度学习网络结构众多，选用更为合适的网络结构将有可能进一步预测性能和预测结果的准确率。同时，对图像块筛选机制与后续的深度神经网络模型的匹配问题做进一步的研究与探索，也有利于提高预测结果的准确率。因此，如何寻找更适合这个预测问题的深度神经网络框架也是病理指标智能预测技术发展中必须解决的一个问题。
综上，现有病理切片MSI预测方法在提高图像块级预测数据有效性和模型网络结构选取，以及整体预测框架设计等方面，均有待进一步改善和提高。
发明内容
为解决上述问题，本发明提供一种病理指标的智能预测系统，能够明显提高图像块级预测数据和预测器的有效性，从而提高患者级预测结果的准确性。
一种病理指标的智能预测系统，包括数据集获取模块、颜色规定化模块、特定结构筛选器、病理指标预测器以及加权模块；
所述数据集获取模块用于根据设定的病理指标对病理切片图像进行分类，然后将各类别的病理切片图像分别切分为设定大小的图像块，得到图像块原始数据集，其中，将所述图像块原始数据集包含的病理指标类别数量记为K类；
所述颜色规定化模块用于将图像块原始数据集中各图像块的颜色和纹理按照设定规则转换为标准的颜色和纹理，得到颜色规定化后的图像块；
所述特定结构筛选器用于将颜色规定化后的图像块作为输入，输出各图像块中的图案所属的形状类别；其中，各图像块中的图案所属的形状类别数量记为H类，且每个形状类别对应一个病理指标预测器；
与特定结构筛选器输出的形状类别对应的各病理指标预测器分别获取各自对应的颜色规定化前的图像块，并将与自身形状类别对应的颜色规定化前的图像块作为输入，输出各种形状类别的图像块对应的病理指标类别；
所述加权模块用于将准确率小于设定阈值的病理指标预测器对应的权重设置为0，同时为准确率不小于设定阈值的病理指标预测器分配权重，其中，准确率越高，权重越大；所述加权模块还用于获取各病理指标类别的评分Si：
Figure BDA0002670110900000031
其中，i＝1,2,…,K，j＝1,2,..,H，Nij为被各病理指标预测器归类为第i个病理指标类别且属于第j个形状类别的图像块数量，ωj为第j个病理指标预测器的权重；
所述加权模块还用于将评分Si最大值对应的病理指标类别作为病理切片图像的病理指标预测结果。
进一步地，一种病理指标的智能预测系统，还包括特定结构筛选器获取模块与病理指标预测器获取模块；
所述特定结构筛选器获取模块用于将颜色规定化后的图像块作为输入，各图像块中的图案所属的形状类别作为输出，对不同的预训练模型进行训练，得到不同的特定结构筛选器，然后还根据各特定结构筛选器的筛选准确率以及筛选结果的AUC值选出最优的特定结构筛选器作为最终的特定结构筛选器，其中，各图像块中的图案所属的形状类别数量记为H类；
所述病理指标预测器获取模块用于获取最优的特定结构筛选器筛选得到的各形状类别的图像块，然后分别将每种形状类别对应的颜色规定化前的图像块作为输入，各种形状类别的图像块对应的病理指标类别作为输出，对H个待训练的病理指标预测器进行训练，得到各形状类别对应的病理指标预测器。
进一步地，所述病理指标预测器获取模块训练各病理指标预测器的具体为：分别将病理指标预测器作为当前病理指标预测器执行以下步骤：
为当前病理指标预测器匹配不同的预训练模型；
将当前病理指标预测器对应的当前形状类别的且在颜色规定化前的图像块作为当前病理指标预测器匹配的各预训练模型的输入，当前形状类别的图像块对应的病理指标类别作为当前病理指标预测器匹配的各预训练模型的输出，对各预训练模型进行训练，得到不同的备选病理指标预测器；
根据各备选病理指标预测器的预测准确率以及预测结果的AUC值选出最优的病理指标预测器。
进一步地，所述图像块的大小与特定结构筛选器获取模块所采用的预训练模型需要输入的图像大小相同。
进一步地，所述形状类别可包括正常腺体、变异腺体以及背景腺体，其中，变异腺体根据变异程度进行分级，包括两级以上的变异腺体。
进一步地，所述病理指标类别包括肿瘤分级与MSI预测。
有益效果：
本发明提供一种病理指标的智能预测系统，首先对各图像块中的图案所属的形状类别进行分类，然后输入不同形状类别对应的病理指标预测器，得到各病理指标预测器的归类结果，最后根据各病理指标类别与形状类别形成的不同组合下包含图像块数量与各病理指标预测器的权重计算某个病理切片图像属于各病理指标类别的评分，将评分最大值对应的病理指标类别作为该病理切片图像的最终的病理指标预测结果；由此可见，本发明通过对图像块进行更细致的分类，并对各种形状类别的图像块进行有效性分析，模拟了医生在实际诊断过程中从不同方面判断某个病理切片图像属于何种病理指标的可能性，最后再综合各方面的可能性得到最终的诊断结果的“分-合”过程，能够明显提高图像块级预测数据和预测器的有效性，从而提高患者级预测结果的准确性；
其次，本发明通过对病理切片图像进行颜色规定化，基本消除了病理切片图像中同种结构在颜色上的差异，为特定结构筛选器提供了输入数据在颜色空间中的均一化方法，提高了特定结构筛选器分析过程的有效性，从而提高特定结构筛选器的性能；
再者，本发明实质为将颜色规定化模块、特定结构筛选器以及病理指标预测器进行级联深度学习的病理指标预测系统，通过模型择优方法和加权预测方法，对数据集和模型网络结构进行优化，能够根据任务的需要，训练出性能较好的深度学习模型；除此之外，本发明运用迁移学习的方法，可以将另一领域中具有共性知识，包括特征、实例知识以及模型的参数等，迁移至本领域，因此可以极大地简化深度学习网络的训练过程，缩短训练时间，提高学习后的网络预测性能，同时也可以缓解因数据体量和数据代表性不足所导致的训练误差或训练失败。
附图说明
图1为本发明实施例提供的一种病理指标的智能预测系统的原理框图；
图2为图像块级病理切片原始数据集的准备过程示意图；
图3为本发明实施例构建的CycleGan的生成器的网络结构图；
图4为本发明实施例构建的CycleGan的判别器的网络结构图；
图5为本发明实施例训练CycleGan时所用到的部分训练数据；
图6为本发明实施例训练的颜色规定化网络实现的颜色规定化效果；
图7为用于训练特定结构筛选器的数据集的准备过程示意图；
图8为本发明涉及的基于预训练模型所构建的特定结构筛选器和病理指标预测器模型的网络结构示意图；
图9用于训练病理指标预测器的数据集的准备过程示意图；
图10为本发明实施例用于训练和测试特定结构筛选器的多类图像块及其数量。
图11为本发明实施例使用两种方法筛选某种结构类型的图像块的测试结果对比图。
图12为本发明实施例筛选出的某类有效的图像块在训练和测试病理指标预测器时的部分图像块及其数量。
图13为本发明实施例用两种方法训练同种网络结构的病理指标预测器的前20轮迭代训练过程的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，一种病理指标的智能预测系统，包括数据集获取模块、颜色规定化模块、特定结构筛选器、病理指标预测器以及加权模块。
所述数据集获取模块用于根据设定的病理指标对病理切片图像进行分类，然后将各类别的病理切片图像分别切分为设定大小的图像块，得到图像块原始数据集，其中，将所述图像块原始数据集包含的病理指标类别数量记为K类。
所述颜色规定化模块用于将图像块原始数据集中各图像块的颜色和纹理按照设定规则转换为标准的颜色和纹理，得到颜色规定化后的图像块。
所述特定结构筛选器用于将颜色规定化后的图像块作为输入，输出各图像块中的图案所属的形状类别；其中，各图像块中的图案所属的形状类别数量记为H类，且每个形状类别对应一个病理指标预测器。
与特定结构筛选器输出的形状类别对应的各病理指标预测器分别获取各自对应的颜色规定化前的图像块，并将与自身形状类别对应的颜色规定化前的图像块作为输入，输出各种形状类别的图像块对应的病理指标类别。
例如，假设形状类别A对应病理指标预测器Ⅰ，形状类别B对应病理指标预测器Ⅱ，形状类别C对应病理指标预测器Ⅲ；特定结构筛选器输出各图像块中的图案所属的形状类别分别为A类和C类，则病理指标预测器Ⅰ获取被划分为A类的图像块原始数据，也即颜色规定化前的图像块，再将这些被划分为A类且在颜色规定化前的图像块作为病理指标预测器Ⅰ的输入，由病理指标预测器Ⅰ输出这些图像块对应的病理指标类别；同时，病理指标预测器Ⅲ获取被划分为C类的图像块原始数据，也即颜色规定化前的图像块，再将这些被划分为C类且在颜色规定化前的图像块作为病理指标预测器Ⅲ的输入，由病理指标预测器Ⅲ输出这些图像块对应的病理指标类别。
所述加权模块用于将准确率小于设定阈值的病理指标预测器对应的权重设置为0，同时为准确率不小于设定阈值的病理指标预测器分配权重，其中，准确率越高，权重越大；然后，所述加权模块还用于获取各病理指标类别的评分Si：
Figure BDA0002670110900000071
其中，i＝1,2,…,K，j＝1,2,..,H，Nij为被各病理指标预测器归类为第i个病理指标类别且属于第j个形状类别的图像块数量，ωj为第j个病理指标预测器的权重。
所述加权模块还用于将评分Si最大值对应的病理指标类别作为病理切片图像的病理指标预测结果。
进一步地，一种病理指标的智能预测系统还包括特定结构筛选器获取模块与病理指标预测器获取模块；
所述特定结构筛选器获取模块用于将颜色规定化后的图像块作为输入，各图像块中的图案所属的形状类别作为输出，对不同的预训练模型进行训练，得到不同的特定结构筛选器，然后还根据各特定结构筛选器的筛选准确率以及筛选结果的AUC值(Area UnderCurve，ROC曲线下方的面积大小)选出最优的特定结构筛选器作为最终的特定结构筛选器，其中，各图像块中的图案所属的形状类别数量记为H类。
所述病理指标预测器获取模块用于获取最优的特定结构筛选器筛选得到的各形状类别的图像块，然后分别将每种形状类别对应的颜色规定化前的图像块作为输入，各种形状类别的图像块对应的病理指标类别作为输出，对H个待训练的病理指标预测器进行训练，得到各形状类别对应的病理指标预测器。
需要说明的是，数据集获取模块目的是对原始数据进行预处理，方便后续数据集准备工作的开展。请参考图2，图2示出了本发明实施例提供的一种图像块级病理切片原始数据集的准备流程。在本发明实施例中，可以采用如下具体步骤实现：
步骤101、令所要预测的特定病理指标有K种取值，患者级病理切片全图数据集为M1。根据所要预测的病理指标的类别不同，将M1分为K类数据子集，记为D1～DK。
其中，病理指标包括正常腺体、变异腺体以及背景，其中，变异腺体根据变异程度进行分级，包括两级以上的变异腺体，例如一级变异腺体、二级变异腺体等。
步骤102、将M1中的所有病理切片全换灯图切分成固定分辨率M×N的图像块，其中，M和N为整数，且应与特定结构筛选器获取模块所采用的预训练模型的输入大小相对应。
步骤103、将切分后的M×N分辨率的图像块按切分前的病理切片全图所属类型，归为K类数据子集，记为D'1～D'K，构成图像块级病理切片原始数据集M1'。其中，所要预测的特定病理指标有K种类别，分别对应上述K类数据子集。
进一步地，颜色规定化模块目的是要训练出一个颜色规定化网络来对病理切片图像块进行颜色规定化。需要说明的是，本发明的颜色规定化模块是基于CycleGan网络来构建、训练颜色规定化网络，再由颜色规定化网络进行各图像块的颜色、纹理替换等任务；其中，CycleGan是一种生成式对抗网络，其输入数据为由病理切片全图切分成的固定大小的原始图像块，输出数据为进行颜色规定化后的图像块。
请参考图3、图4、图5、和图6，图3示出了本发明实施例构建的CycleGan的生成器的网络结构示意图，图4示出了本发明实施例构建的CycleGan的判别器的网络结构示意图，图5示出了本发明实施例训练CycleGan时用到的部分训练数据，图6示出了本发明实施例训练的颜色规定化网络实现的颜色规定化效果。
在本发明实施例中，可以采用如下具体步骤实现：
步骤104、从数据集M1'中选取多张颜色相近、包含结构类型不同的图像块作为B类数据，另外选取多张颜色不同、包含结构类型不同的图像块作为A类数据，构成用于训练颜色规定化网络的数据集MAB。其中，令A类数据处于颜色域A，令B类数据处于颜色域B。
步骤105、构建CycleGan中的两个生成器GAB、GBA和一个判别器B(或两个判别器A和B)。生成器GAB可以将颜色域A中的图片转换为颜色域B中的图片，生成器GBA可以将颜色域B中的图片转换为颜色域A中的图片。判别器B可以判别生成的颜色域B中的图片是否为真实图片，由此构成生成式对抗网络。(如使用两个判别器，则判别器A的作用是判别生成的颜色域A中的图片是否为真实图片)
CycleGan中的生成器的结构为：生成器的初始输入为M×N×3的三维数据立方体，通过卷积层和池化层进行下采样后，用反卷积层和卷积层配合进行上采样，最终输出为重构的图像。
CycleGan中的判别器的结构为：判别器的初始输入为M×N×3的三维数据立方体，通过卷积层和池化层进行下采样后，经过全连接层，最终输出为判别结果(1代表真，0代表假)。
步骤106、构建CycleGan中的损失函数。
损失函数包括生成器和判别器的损失两部分。判别器B的损失要求属于B类数据的判别结果越接近1越好，A类数据通过生成器GAB生成的图像判别结果越接近0越好；生成器的损失要求A类数据通过生成器GAB生成的图像在判别器上的判别结果越接近1越好，同时还要求A类数据依次通过生成器GAB、GBA后的生成的图像与原图像之间的均方误差(L2-loss)越小越好，B类数据依次通过生成器GBA、GAB后的生成的图像与原图像之间的均方误差(L2-loss)越小越好。(如添加判别器A，则需添加如下损失：判别器A的损失要求属于A类数据的判别结果越接近1越好，B类数据通过生成器GAB生成的图像判别结果越接近0越好，同时还要求生成器添加一条损失，即B类数据通过生成器GBA生成的图像在判别器上的判别结果越接近1越好。)
步骤107、对生成器GAB、GBA和判别器进行如下训练：使用步骤104中准备好的数据集，计算损失函数与网络参数之间的梯度，采用随机梯度下降法(SGD)对网络参数进行优化。训练完成的生成器GAB即为颜色规定化网络。
需要说明的是，特定结构筛选器获取模块的目的是训练并挑选出性能较好的特定结构筛选器。请参考图7和图8，图7示出了本发明实施例提供的一种用于训练特定结构筛选器的数据集的准备过程，图8示出了本发明涉及的基于预训练模型所构建的特定结构筛选器和病理指标预测器模型的网络结构。在本发明实施例中，可以采用如下具体步骤实现：
步骤108、将图像块级病理切片原始数据集M1'中的图像块，按其所包含的归为H类数据D1～DH(不需要使用M1'中的全部数据，数量满足特定结构筛选器的训练需求即可)。
步骤109、使用步骤107中准备好的颜色规定化网络GAB对数据D1～DH进行统一处理，获得数据D1～DH，构成用于训练特定结构筛选器的数据集M2，并按一定比例划分为训练数据集，验证数据集和测试数据集。
步骤110、基于选用的深度学习框架提供的P个深度学习预训练模型，构建P个不同网络结构的特定结构筛选器E1～EP。
其中，预训练模型是指在ImageNet数据集上或特殊数据集(如各类医学图像数据集)上进行了大批次训练的深度学习模型，不同的预训练模型有着不同的网络结构。
特定结构筛选器的结构为：特定结构筛选器的初始输入为N×N×3的颜色规定化后的图像块的三维数据立方体，通过预训练模型中由卷积层、池化层等结构构成的特征提取部分和重构的全连接层，最终输出为图像块所属的形状类别。
步骤111、对特定结构筛选器E1～EP分别进行如下训练：使用步骤109中准备好的数据集M2中的训练数据和验证数据，选用合适的损失函数和优化函数，优化特定结构筛选器中的各项网络参数，使得特定结构筛选器输出的图像块结构类型与标定的图像块结构类型之间的误差最小化。
步骤112、使用步骤109中准备好的数据集M2中的测试数据对特定结构筛选器E1～EP分别进行特定结构筛选的性能测试，选取其中性能最好，也即筛选准确率最高以及筛选结果的AUC值最大的一个作为最终使用的特定结构筛选器E。
进一步地，病理指标预测器获取模块的目的是训练并挑选出性能较好的病理指标筛选器，并对各结构类型的图像块进行有效性分析。请参考图8和图9，图8示出了本发明涉及的基于预训练模型所构建的特定结构筛选器和病理指标预测器模型的网络结构，图9示出了本发明实施例提供的一种用于训练病理指标预测器的数据集的准备过程。在本发明实施例中，可以采用如下具体步骤实现：
步骤113、用步骤107中准备好的颜色规定化网络GAB和步骤112中准备好的特定结构筛选器E，对步骤103中准备好的数据集M1'中的K类数据D'1～D'K分别进行结构上的分类，并按分类结果归类为数据子集D'i1～D'iH，(1≤i≤K)。
分类时，应先将图像块输入颜色规定化网络GAB，输出重构后的图像。之后将重构后的图像输入特定结构筛选器E，输出图像块所属的结构类型。
步骤114、将步骤108中分类好的数据，按所属的结构类型，归为数据子集Z1～ZH，ZH中包含步骤108中的数据类型D'1H、D'2H～D'kH。每个数据集都按一定比例划分为训练数据集，验证数据集和测试数据集。
步骤115、对步骤114中准备好的数据子集Z1～ZH，都基于选用的深度学习框架提供的Q个预训练模型，构建Q个不同网络结构的病理指标预测器Fj1～Fj Q，(1≤j≤H)。
病理指标预测器的结构为：病理指标预测器的初始输入为N×N×3的三维数据立方体，通过预训练模型中由卷积层、池化层等结构构成的特征提取部分和重构的全连接层，最终输出为图像块对应的图像块级病理指标预测结果。
步骤116、对病理指标预测器Fj1～Fj Q(1≤j≤H)分别进行如下训练：使用步骤114中准备好的数据集Zj(1≤j≤H)中的训练数据和验证数据，选用合适的损失函数和优化函数，优化病理指标预测器中的各项网络参数，使得病理指标预测器输出的图像块级病理指标预测结果，与标定的病理指标取值之间的误差最小化。
步骤117、使用步骤114中准备好的数据集Zj(1≤j≤H)中的测试数据对病理指标预测器Fj1～FjQ(1≤j≤H)分别进行病理指标预测的性能测试，选取其中性能最好，也即筛选准确率最高以及筛选结果的AUC值最大的一个作为最终使用的病理指标预测器Fj(1≤j≤H)。
进一步地，加权模块的目的是对各种结构类型的图像块进行有效性分析，并分配各种结构类型的图像块在参与患者级预测时拥有的权重，具体包括如下步骤：
步骤118、根据步骤117中病理指标预测器F1～Fh(1≤j≤H)的测试结果，将病理指标预测器按是否具有分辨能力(测试时预测的准确率高于一定阈值则视为有分辨能力。测试时预测的准确率越高，则分辨能力越好)，分为两类。其中有分辨能力的病理指标预测器，其所对应的结构类型的图像块为有效图像块，而无分辨能力的病理指标预测器，其所对应的结构类型的图像块为无效图像块。
步骤119、对于各种结构类型的有效图像块，根据其对应的病理指标预测器分辨能力的高低，分配其参与患者级预测时拥有的权重。其中，分辨能力越高的图像块类型分配的权重越大。
步骤S6的目的是利用病理切片全幻灯图对未知患者进行病理学上某些病理指标的预测。
步骤120、将待预测的病理切片全图切分成指定大小的图像块，输入颜色规定化网络后，再输入至训练后的特定结构筛选器，获得图像块所属的形状类型。
步骤121、根据步骤118中图像块有效性分析的结果，将无效图像块舍弃，将有效图像块按所属结构类型，输入至相应的训练后的病理指标预测器，获得各有效图像块对应的图像块级的病理指标预测结果。
步骤122、所要预测的指标取值有K种，根据步骤121中得出的图像块级病理指标预测结果和步骤119中得出的各图像块参与患者级预测时所拥有的权重，计算K种病理指标取值所对应的患者级评分。
第i种(1≤i≤K)指标取值的患者级评分的计算方法如下：
令为被各病理指标预测器归类为第i个病理指标类别的图像块数量为Ni，其中，第j(1≤j≤H)种结构类型的图像块数量为Nij(1≤i≤K,1≤j≤H，
Figure BDA0002670110900000141
则：
第i种指标取值的患者级评分
Figure BDA0002670110900000151
评分最高的指标取值即为待预测的病理切片全图对应的患者级的病理指标预测结果。
下面参考图10～图13针对本发明实施例提供的一种病理指标的智能预测方法进行说明：
图10为用于训练和测试特定结构筛选器的多类图像块及其数量。本发明实施例以深度学习框架Tensorflow为例，通过对该深度学习框架提供的预训练模型的挑选，最终采用VGG19预训练模型作为特定结构筛选器所使用的预训练模型。经过测试，训练出的特定结构筛选器分类的平均准确率在0.87左右。其中数据量较少的2、3、5类分类效果较差，而数据量较多的1、4、6类分类效果较好，平均准确率在0.9以上。
图11为本发明实施例使用两种方法筛选某种结构类型的图像块的测试结果对比图。该图中的平均查准率是5次测试结果的平均值。其中，查准率是针对某种结构类型的类图像块，筛选正确的的数量占筛选为该类的数量的比值。从测试结果中可以看出，相比直接进行筛选，先进行颜色规定化再进行筛选，可以提高筛选的查准率。而在特定结构筛选任务中，查准率关系着筛选出的图像块的有效程度，这与设定特定结构筛选步骤的目的息息相关，因此本发明很关心查准率。所以本发明实施例提供的基于CyclcGan颜色规定化方法，通过对病理切片图像进行颜色规定化，基本消除了病理切片图像中同种结构在颜色上的差异，为特定结构筛选器提供了输入数据在颜色空间中的均一化方法，提高了特定结构筛选器分析过程的有效性，能够在一定程度上提高特定结构筛选器的性能。
本发明实施例以MSI预测问题为例，对本发明的图像块级病理指标预测性能进行测试。其中，该问题所要预测的指标有两类，分别是MSI和MSS。图12为筛选出的某类有效的图像块在训练和测试病理指标预测器时的两类图像块及其数量。本发明实施例以深度学习框架Tensorflow为例，通过对该深度学习框架提供的预训练模型的挑选，本发明实施例最终采用VGG16预训练模型作为病理指标预测器所使用的预训练模型。经过测试，训练出的病理指标预测器分类的平均准确率在0.85左右，相比前文提到的德国国家癌症中心在图像块级预测上的准确率有了明显的提高。
图13为本发明实施例用两种不同方法训练同种网络结构的病理指标预测器的前20轮迭代训练过程的示意图。其中，方法1为直接训练方法(即搭建网络结构并随机初始化网络参数，然后进行训练)，方法2为本发明提出的基于预训练模型的训练方法。可以看出，基于预训练模型进行训练可以极大地简化深度学习网络的训练过程，缩短训练时间，提高学习后的网络的预测性能。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种病理指标的智能预测系统，其特征在于，包括数据集获取模块、颜色规定化模块、特定结构筛选器、病理指标预测器以及加权模块；
所述数据集获取模块用于根据设定的病理指标对病理切片图像进行分类，然后将各类别的病理切片图像分别切分为设定大小的图像块，得到图像块原始数据集，其中，将所述图像块原始数据集包含的病理指标类别数量记为K类；
所述颜色规定化模块用于将图像块原始数据集中各图像块的颜色和纹理按照设定规则转换为标准的颜色和纹理，得到颜色规定化后的图像块；
所述特定结构筛选器用于将颜色规定化后的图像块作为输入，输出各图像块中的图案所属的形状类别；其中，各图像块中的图案所属的形状类别数量记为H类，且每个形状类别对应一个病理指标预测器；
与特定结构筛选器输出的形状类别对应的各病理指标预测器分别获取各自对应的颜色规定化前的图像块，并将与自身形状类别对应的颜色规定化前的图像块作为输入，输出各种形状类别的图像块对应的病理指标类别；
所述加权模块用于将准确率小于设定阈值的病理指标预测器对应的权重设置为0，同时为准确率不小于设定阈值的病理指标预测器分配权重，其中，准确率越高，权重越大；所述加权模块还用于获取各病理指标类别的评分Si：
Figure FDA0002670110890000011
其中，i＝1,2,…,K，j＝1,2,..,H，Nij为被各病理指标预测器归类为第i个病理指标类别且属于第j个形状类别的图像块数量，ωj为第j个病理指标预测器的权重；
所述加权模块还用于将评分Si最大值对应的病理指标类别作为病理切片图像的病理指标预测结果。
2.如权利要求1所述的一种病理指标的智能预测系统，其特征在于，还包括特定结构筛选器获取模块与病理指标预测器获取模块；
所述特定结构筛选器获取模块用于将颜色规定化后的图像块作为输入，各图像块中的图案所属的形状类别作为输出，对不同的预训练模型进行训练，得到不同的特定结构筛选器，然后还根据各特定结构筛选器的筛选准确率以及筛选结果的AUC值选出最优的特定结构筛选器作为最终的特定结构筛选器，其中，各图像块中的图案所属的形状类别数量记为H类；
所述病理指标预测器获取模块用于获取最优的特定结构筛选器筛选得到的各形状类别的图像块，然后分别将每种形状类别对应的颜色规定化前的图像块作为输入，各种形状类别的图像块对应的病理指标类别作为输出，对H个待训练的病理指标预测器进行训练，得到各形状类别对应的病理指标预测器。
3.如权利要求2所述的一种病理指标的智能预测系统，其特征在于，所述病理指标预测器获取模块训练各病理指标预测器的具体为：分别将病理指标预测器作为当前病理指标预测器执行以下步骤：
为当前病理指标预测器匹配不同的预训练模型；
将当前病理指标预测器对应的当前形状类别的且在颜色规定化前的图像块作为当前病理指标预测器匹配的各预训练模型的输入，当前形状类别的图像块对应的病理指标类别作为当前病理指标预测器匹配的各预训练模型的输出，对各预训练模型进行训练，得到不同的备选病理指标预测器；
根据各备选病理指标预测器的预测准确率以及预测结果的AUC值选出最优的病理指标预测器。
4.如权利要求2所述的一种病理指标的智能预测系统，其特征在于，所述图像块的大小与特定结构筛选器获取模块所采用的预训练模型需要输入的图像大小相同。
5.如权利要求1所述的一种病理指标的智能预测系统，其特征在于，所述形状类别包括正常腺体、变异腺体以及背景，其中，变异腺体根据变异程度进行分级，包括两级以上的变异腺体。
6.如权利要求1所述的一种病理指标的智能预测系统，其特征在于，所述病理指标类别包括肿瘤分级与MSI预测。
CN202010930704.4A 2020-09-07 2020-09-07 一种病理指标的智能预测系统 Active CN112071430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010930704.4A CN112071430B (zh) 2020-09-07 2020-09-07 一种病理指标的智能预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010930704.4A CN112071430B (zh) 2020-09-07 2020-09-07 一种病理指标的智能预测系统

Publications (2)

Publication Number Publication Date
CN112071430A CN112071430A (zh) 2020-12-11
CN112071430B true CN112071430B (zh) 2022-09-13

Family

ID=73664019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010930704.4A Active CN112071430B (zh) 2020-09-07 2020-09-07 一种病理指标的智能预测系统

Country Status (1)

Country Link
CN (1) CN112071430B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361580A (zh) * 2021-05-31 2021-09-07 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种结直肠癌错配修复功能的预测方法及装置
CN113570619B (zh) * 2021-07-13 2024-05-14 清影医疗科技（深圳）有限公司 基于人工智能的计算机辅助胰腺病理图像诊断系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874687A (zh) * 2017-03-03 2017-06-20 深圳大学 病理切片图像智能分类方法及装置
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN111369576A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055551B2 (en) * 2013-10-10 2018-08-21 Board Of Regents Of The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874687A (zh) * 2017-03-03 2017-06-20 深圳大学 病理切片图像智能分类方法及装置
CN110866893A (zh) * 2019-09-30 2020-03-06 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN111369576A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
含瘤周移行带影像组学模型预测肺腺癌病理分级;陈欢 等;《放射学实践》;20200408;第35卷(第4期);第478-483页 *

Also Published As

Publication number Publication date
CN112071430A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN110070935B (zh) 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN110503630B (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN104751178B (zh) 基于形状模板匹配结合分类器的肺结节检测装置及方法
CN109558896B (zh) 基于超声组学和深度学习的疾病智能化分析方法及系统
Deng et al. Classification of breast density categories based on SE-Attention neural networks
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN106683081A (zh) 基于影像组学的脑胶质瘤分子标记物无损预测方法和预测系统
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN112071430B (zh) 一种病理指标的智能预测系统
CN104573742B (zh) 医学图像分类方法和系统
CN113571203A (zh) 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
CN113616184A (zh) 基于多模态磁共振图像的脑网络建模与个体预测方法
JP2022507861A (ja) 脳機能地図のサル－ヒト種間移行に基づいて精神疾患の個別的予測を行う方法およびシステム
Li et al. Classification of breast mass in two‐view mammograms via deep learning
CN115578404B (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
Zhou et al. Breast cancer classification from histopathological images using resolution adaptive network
CN113191390A (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN112949654A (zh) 图像检测方法及相关装置、设备
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN116386853A (zh) 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法
CN116740435A (zh) 基于多模态深度学习影像组学的乳腺癌超声图像分类方法
CN114581701A (zh) 一种t2加权影像特征生成动态增强影像特征的方法
CN117095815A (zh) 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统
Kovalev et al. Biomedical image recognition in pulmonology and oncology with the use of deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant