CN113657479B - 一种新型多尺度深宽结合的病理图片分类方法、系统及介质 - Google Patents

Abstract

本发明公开了一种新型多尺度深宽结合的病理图片分类方法、系统及介质，方法包括：多尺度病理切片采样，得到包含子图的样本组；将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵；将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点；根据特征矩阵和宽度增强节点进行病理分型推理。本发明结合深度和宽度两种机器学习方法，提出一种新的模型以达到两者优势互补的作用，既预训练后的深度学习特征提取器提取深度语义特征、深度语义特征转化为宽度特征节点利用宽度学习架构快速拟合特征与输出标签的映射关系，在较短时间内获得更多的特征信息，从而达到病理图片分类的目的。

Description

一种新型多尺度深宽结合的病理图片分类方法、系统及介质

技术领域

本发明属于病理图片处理的技术领域，具体涉及一种新型多尺度深宽结合的病理图片分类方法、系统及介质。

背景技术

组织病理学是疾病诊断的金标准，尤其针对癌症的诊断是任何别的检查项目所无法替代的；医生可以通过全视野切片对肿瘤的良恶性进行判断并确定诊疗方案。然而，病理学分析十分依赖于医生的专业知识以及临床经验，这导致不同的医生通过分析得到的结果会有很大的差距。为了解决这个问题，机器学习算法被应用去辅助病理医生进行全视野切片全分析；但是，全视野切片(whole slide images)病理图片的智能分析还面临着数据量巨大的挑战，导致无法直接应用常规的深度模型直接进行智能分析任务。近年内，科研工作者研发了一系列计算机辅助的全视野切片智能分析模型以面对这个挑战。

在过去的十年，解决WSI病理图片自动化分析的方案一般都是基于深度学习的图片块分类策略，这种策略的基本步骤包括：(1)先通过掩码的方式把病理图片的组织区域和不同病变区域提取出来；(2)在掩码中随机取点作为中心点取特定分辨率下图片块；(3)图片块根据掩码的类别得到一个图片块的分类标签；(4)搭建一个深度卷积网络并随机初始化；(5)采样获得的数据集送入网络进行迭代训练；(6)训练完成一个分类模型的学习即可输入测试图片块得到分类标签；以上是现有处理全视野切片数据的一般步骤。基于该策略又衍生出了各种基于深度卷积网络的处理全视野切片的模型，由于现有的方法都是完全依赖于深度卷积的迭代训练，这使得深度学习系统的耗时问题一直存在整个模型的训练过程中。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种新型多尺度深宽结合的病理图片分类方法、系统及介质，该方法结合深度网络和宽度网络的优点，达到了优势互补的作用，深度卷积网络作为特征提取器弥补了宽度学习系统原始架构对图像特征提取能力不足的缺点，而宽度学习架构以极小的时间代价提升了深度卷积网络的拟合程度，节省了大量的训练时间。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面公开了一种新型多尺度深宽结合的病理图片分类方法，包括下述步骤：

多尺度病理切片采样，得到包含子图的样本组；

将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵；

将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点；

根据特征矩阵和宽度增强节点进行病理分型推理。

作为优选的技术方案，所述多尺度病理切片采样，得到包含子图的样本组，具体步骤为：

利用颜色相关性算法生成组织掩码，利用区域标注生成不同癌变区域的掩码；

利用组织掩码和癌变区域掩码生成非癌变区域掩码；

在癌变区域掩码和非癌变区域掩码中生成采样中心点；

利用采样中心点在全视野切片不同的放大倍率下，采集同样大小的图片块作为样本组。

作为优选的技术方案，所述在全视野切片不同的放大倍率下采集的图片块具备不同的感受野；

将同一个采样中心点下采集的不同放大倍率的图片块作为一个样本组，表示为：

一个样本组X_i对应一个分类标签Yi_i，即{X_i,Y_i}，其中一个样本组包含P个从不同放大倍率下获取的子图，i表示样本组序号，

表示第i个样本组中的子图，P为子图序号，n为样本数量。

作为优选的技术方案，所述预训练好的深度卷积模型提前在不同尺度的单子图样本中进行预训练，训练后的模型在此作为特征提取器不再需要进行参数更新。

作为优选的技术方案，所述将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵，具体步骤为：

对于输入的一个子图x，经过深度卷积模型的映射，在不同的卷积阶段中得到多张不同尺度的特征图，公式为：

f₁,f₂,……,f_k＝f_CNN(x)

其中，f₁,f₂,……,_k为深度卷积模型每个卷积阶段输出的中间层特征图，总的卷积阶段数量为k，f_CNN()表示特征提取器，即预训练好的深度卷积模型；

不同深度的特征图含有不同的通道数量，经过一个全局平均池化的特征压缩过程使每个通道获得一个凝练的特征点，公式为：

其中，e_k表示第k个特征图的特征点，f_squeeze()表示全局平均池化，把多通道特征图压缩为一个特征向量，即每张单通道特征图得到一个全局平均值，h_k,w_k分别代表第k个特征图的高和宽，f_k(l,m)为第k个特征图，其中l，m为该特征图每个值的索引；

并联所有深度特征点为一个宽度特征向量，表示为：

z＝[e₁,e₂,……,e_k]

其中，z为输入的子图x对应的宽度特征子向量，每个宽度特征节点为k个通道级别特征向量e组成；

对于n个输入样本组中n×P个子图的宽度特征子向量进行整合，提取总的特征矩阵Z_total，其表示为：

其中，n为样本组数量，P为每个样本组中所包含的子图个数，n×d为总的特征矩阵的维度，d为所有样本组得到的特征维度。

作为优选的技术方案，所述将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点，具体为：

将特征矩阵中的特征节点通过一个随机全连接激活过程获得宽度增量节点，计算公式为：

H＝f(Z_totalW_enhance+β_enhance)

其中，Z_total为所述特征矩阵，W_enhance和β_enhance分别是随机全连接激活的权重和阈值，是宽度学习中特殊的增强节点，其在初始化时随机生成，生成后固定并且不需要更新，f()为非线性激活函数sigmoid。

作为优选的技术方案，所述根据特征矩阵和宽度增强节点进行病理分型推理，具体为：

根据特征矩阵中的宽度特征节点和宽度增强节点映射输出节点；

把所有节点进行并联，得到总节点矩阵A，公式为：

A＝[Z_total,H]

其中，Z_total为所述特征矩阵，H为宽度增强节点；

所述总节点矩阵A的维度为R^n×d，即样本组数量n并联每组输入的样本提取的特征d及增量节点后的维度；

将总节点矩阵输入所述预训练好的深度卷积模型中的最后一个全连接层，推理样本组的病理分型得到推理结果。

作为优选的技术方案，所述推理样本组病理分型得到推理结果，具体为：

将所述总节点矩阵划分为训练样本组A_train和测试样本集A_test；

根据伪逆值算法更新权重参数W_bls，计算训练样本集总节点矩阵的伪逆特征矩阵

其中，I为单位矩阵，λ为伪逆值算法常数值，

为A_train的转置；

根据宽度学习系统伪逆值求解法计算输出层权重

其中Y_train为对应输入训练样本集的标签；

求得病理分型的推理结果Y_test，公式为：

Y_test＝A_testW_bls

其中，A_test为测试集样本组所提取的特征矩阵。

本发明另一方提供了一种新型多尺度深宽结合的病理切片分类系统，应用于所述的一种新型多尺度深宽结合的病理图片分类方法，包括采样模块、特征提取模块、节点映射模块、推理模块；

所述采样模块，用于多尺度病理切片采样，得到包含子图的样本组；

所述特征提取模块，用于将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵；

所述节点映射模块，用于将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点；

所述推理模块，用于根据特征矩阵和宽度增强节点进行病理分型推理。

本发明又一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的一种新型多尺度深宽结合的病理切片分类方法。

本发明与现有技术相比，具有如下优点和有益效果：

1、现有技术使用卷积神经网络，都是仅仅利用其最后一层最深处的语义特征进行全连接层后得到分类结果，但是本发明利用预训练好的深度卷积模型作为深度特征提取器，并摊平深度网络以宽度的形式提取中间层深度特征，化深度特征为宽度特征，并利用多个深度模型分别提取其对应尺度的深度特征，能得到更多的特征信息；

2、传统深度结构是增加中间层以增加模型拟合能力，而原始宽度学习系统是横向映射特征节点组和增量节点组增加最后输出全连接层的拟合能力。本发明结合深度网络和宽度网络的优点，达到了优势互补的作用，深度卷积网络作为特征提取器弥补了宽度学习系统原始架构对图像特征提取能力不足的缺点，而宽度学习架构以极小的时间代价提升了深度卷积网络的拟合程度，节省了大量的训练时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种新型多尺度深宽结合的病理图片分类方法的流程图；

图2为本发明实施例一种新型多尺度深宽结合的病理图片分类方法的结构图；

图3为本发明实施例宽度特征提取的示意图；

图4为本发明实施例一种新型多尺度深宽结合的病理图片分类系统的方框图；

图5为本发明实施例计算机可读存储介质的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

如图1、图2所示，本实施例提供的一种新型多尺度深宽结合的病理图片分类方法，包括以下步骤：

S1、多尺度病理切片采样，得到包含子图的样本组，具体为：

S101、利用颜色相关性算法生成组织掩码，利用区域标注生成不同癌变区域的掩码；

S102、利用组织掩码和癌变区域掩码生成非癌变区域掩码；

S103、在癌变区域掩码和非癌变区域掩码中生成采样中心点；

S104、利用采样中心点在全视野切片不同的放大倍率下，采集同样大小的图片块作为样本组；

更具体的，在全视野切片不同的放大倍率下采集的图片块具备不同的感受野；将同一个采样中心点下采集的不同放大倍率的图片块作为一个样本组，表示为：

一个样本组X_i对应一个分类标签Y_i，即{X_i,Y_i}，其中一个样本组包含P个从不同放大倍率下获取的子图，X_i表示第i个样本组，i表示样本组序号，

表示第i个样本组中的子图，P为子图序号，n为样本数量，P是可选择的，通常使用最大的三个倍率下的尺度便可；

本实施例中采集同一个采样中心点三个放大倍率下的224×224分辨率图片块作为一个样本组，分别取得40×、20×、10×放大倍率下的图像块作为样本组子图。

S2、将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵，如图3所示，具体步骤为：

S201、对于输入的一个子图x，经过深度卷积模型的映射，在不同的卷积阶段中得到多张不同尺度的特征图，公式为：

f₁,f₂,……,f_k＝f_CNN(x)

其中，f₁,f₂,……,f_k为深度卷积模型每个卷积阶段输出的中间层特征图，总的卷积阶段数量为k，f_CNN()表示特征提取器，即预训练好的深度卷积模型，本模型提前在不同尺度的单子图样本中进行预训练，训练后作为特征提取器不需要进行参数更新；

S202、不同深度的特征图含有不同的通道数量，经过一个全局平均池化的特征压缩过程使每个通道获得一个凝练的特征点，公式为：

其中，e_k表示第k个特征图的特征点，f_squeeze()表示全局平均池化，把输入的多通道特征图压缩为一个特征向量，即每张单通道特征图得到一个全局平均值，由于多通道特征图中，每个通道含有一个二维的图，每个图被全局池化为一个值，所以最后这个特征向量的维度即为通道的数量；h_k,w_k分别代表第k个特征图的高和宽，f_k(l,m)为第k个特征图，其中l，m为该特征图每个值的索引；

S203、并联所有深度特征点为一个宽度特征向量，表示为：

z＝[e₁,e₂,……,e_k]

其中，z为输入的子图x对应的宽度特征子向量，每个宽度特征节点为k个通道级别特征向量e组成；

S204、对于n个输入样本组中n×P个子图的宽度特征子向量进行整合，提取总的特征矩阵Z_total，其表示为：

其中，n为样本组数量，P为每个样本组中所包含的子图个数，n×d为总的特征矩阵的维度，d为所有样本组得到的特征维度。

本实施例中使用的预训练好的深度卷积模型是提前预训练好的ResNet18模型，其作为特征提取器进行宽度特征提取；将每一个样本组包含的三个子图分别送入ResNet18中通过上述特征提取方法计算得到z₁、z₂和z₃分别对应40×、20×和10×放大倍率子图的宽度特征节点；由于ResNet18拥有四个卷积阶段并且通道数量分别是64、128、256、512，因此每张子图对应的宽度特征节点的维度都是960维度，于是所有样本组可得到特征矩阵：

其中，n指的是样本组的数量。

S3、将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点，具体步骤为：

将特征矩阵中的特征节点通过一个随机全连接激活过程获得宽度增量节点，计算公式为：

H＝f(Z_totalW_enhance+β_enhance)

其中，Z_total为步骤S2中得到的特征矩阵，W_enhance和β_enhance分别是随机全连接激活的权重和阈值，是宽度学习中特殊的增强节点，其在初始化时随机生成，生成后固定并且不需要更新，f()为非线性激活函数sigmoid。

本实施例由特征矩阵指定映射210维的增量节点H。

S4、根据特征矩阵和宽度增强节点进行病理分型推理，具体为：

根据特征矩阵中的宽度特征节点和宽度增强节点映射输出节点；

把所有节点进行并联，得到总节点矩阵A，公式为：

A＝[Z_total,H]

其中，Z_total为特征矩阵，H为宽度增强节点；

总节点矩阵A的维度为R^n×d，即样本组数量n并联每组输入的样本提取的特征d及增量节点后的维度；本实施例中的总节点矩阵的维度为n×(2880+210)，也就是n×3090的维度；

将总节点矩阵输入所述预训练好的深度卷积模型中的最后一个全连接层，推理样本组的病理分型得到推理结果；

更具体的，将总节点矩阵划分为训练样本组A_train和测试样本集A_test；

根据伪逆值算法更新权重参数W_bls，计算训练样本集总节点矩阵的伪逆特征矩阵

其中，I为单位矩阵，λ为伪逆值算法常数值，

为A_train的转置；

根据宽度学习系统伪逆值求解法计算输出层权重

其中Y_train为对应输入训练样本集的标签；

求得病理分型的推理结果Y_test，公式为：

Y_test＝A_testW_bls

其中，A_test为测试集样本组所提取的特征矩阵。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的一种新型多尺度深宽结合的病理图片分类方法相同的思想，本发明还提供一种新型多尺度深宽结合的病理切片分类系统，该系统可用于执行上述一种新型多尺度深宽结合的病理切片分类方法。为了便于说明，一种新型多尺度深宽结合的病理切片分类系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图4所示，在本申请的另一个实施例中，提供了一种新型多尺度深宽结合的病理切片分类系统100，该系统包括采样模块101、特征提取模块102、节点映射模块103、推理模块104；

采样模块101，用于多尺度病理切片采样，得到包含子图的样本组；

特征提取模块102，用于将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵；

节点映射模块103，用于将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点；

推理模块104，用于根据特征矩阵和宽度增强节点进行病理分型推理。

需要说明的是，本发明的一种新型多尺度深宽结合的病理切片分类系统与本发明的一种新型多尺度深宽结合的病理切片分类方法一一对应，在上述一种新型多尺度深宽结合的病理切片分类方法的实施例阐述的技术特征及其有益效果均适用于一种新型多尺度深宽结合的病理切片分类系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述实施例的一种新型多尺度深宽结合的病理切片分类系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述一种新型多尺度深宽结合的病理切片分类系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

如图5所示，在一个实施例中，提供了一种计算机可读存储介质200，存储有程序于存储器201中，所述程序被处理器202执行时，实现所述的一种新型多尺度深宽结合的病理切片分类方法，具体为：

多尺度病理切片采样，得到包含子图的样本组；

将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵；

将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点；

根据特征矩阵和宽度增强节点进行病理分型推理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种新型多尺度深宽结合的病理图片分类方法，其特征在于，包括下述步骤：

多尺度病理切片采样，得到包含子图的样本组，具体步骤为：

利用颜色相关性算法生成组织掩码，利用区域标注生成不同癌变区域的掩码；

利用组织掩码和癌变区域掩码生成非癌变区域掩码；

在癌变区域掩码和非癌变区域掩码中生成采样中心点；

利用采样中心点在全视野切片不同的放大倍率下，采集同样大小的图片块作为样本组；

述在全视野切片不同的放大倍率下采集的图片块具备不同的感受野；

将同一个采样中心点下采集的不同放大倍率的图片块作为一个样本组，表示为：

一个样本组X _i 对应一个分类标签Y _i ，即{X _i ，Y _i }，其中一个样本组包含P个从不同放大倍率下获取的子图，i表示样本组序号，

表示第i个样本组中的子图，P为子图数量，n为样本数量；

将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵，具体步骤为：

对于输入的一个子图x，经过深度卷积模型的映射，在不同的卷积阶段中得到多张不同尺度的特征图，公式为：

其中，

为深度卷积模型每个卷积阶段输出的中间层特征图，总的卷积阶段数量为k，

表示特征提取器，即预训练好的深度卷积模型；

不同深度的特征图含有不同的通道数量，经过一个全局平均池化的特征压缩过程使每个通道获得一个凝练的特征点，公式为：

其中，

表示第k个特征图的特征点，

表示全局平均池化，把多通道特征图压缩为一个特征向量，即每张单通道特征图得到一个全局平均值，

分别代表第k个特征图的高和宽，

为第k个特征图，其中l，m为该特征图每个值的索引；

并联所有深度特征点为一个宽度特征向量，表示为：

其中，z为输入的子图x对应的宽度特征子向量，每个宽度特征节点为k个通道级别特征向量e组成；

对于n个输入样本组中

个子图的宽度特征子向量进行整合，提取总的特征矩阵

，其表示为：

其中，n为样本组数量，P为每个样本组中所包含的子图个数，

为总的特征矩阵的维度，d为所有样本组得到的特征维度；

将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点；

根据特征矩阵和宽度增强节点进行病理分型推理，具体为：

根据特征矩阵中的宽度特征节点和宽度增强节点映射输出节点；

把所有节点进行并联，得到总节点矩阵A，公式为：

其中，

为所述特征矩阵，H为宽度增强节点；

所述总节点矩阵A的维度为R^n×d，即样本组数量n并联每组输入的样本提取的特征d及增量节点后的维度；

将总节点矩阵输入所述预训练好的深度卷积模型中的最后一个全连接层，推理样本组的病理分型得到推理结果；

所述推理样本组病理分型得到推理结果，具体为：

将所述总节点矩阵划分为训练样本组A _train 和测试样本集A _test ；

根据伪逆值算法更新权重参数W _bls ，计算训练样本集总节点矩阵的伪逆特征矩阵

：

其中，I为单位矩阵，λ为伪逆值算法常数值，

为A _train 的转置；

根据宽度学习系统伪逆值求解法计算输出层权重

，其中

为对应输入训练样本集的标签；

求得病理分型的推理结果

，公式为：

其中，A _test 为测试集样本组所提取的特征矩阵。

2.根据权利要求1所述一种新型多尺度深宽结合的病理图片分类方法，其特征在于，所述预训练好的深度卷积模型提前在不同尺度的单子图样本中进行预训练，训练后的模型在此作为特征提取器不再需要进行参数更新。

3.根据权利要求1所述一种新型多尺度深宽结合的病理图片分类方法，其特征在于，所述将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点，具体为：

将特征矩阵中的特征节点通过一个随机全连接激活过程获得宽度增量节点，计算公式为：

其中，

为所述特征矩阵，

和

分别是随机全连接激活的权重和阈值，是宽度学习中特殊的增强节点，其在初始化时随机生成，生成后固定并且不需要更新，

为非线性激活函数sigmoid。

4.一种新型多尺度深宽结合的病理切片分类系统，其特征在于，应用于权利要求1-3中任一项所述的一种新型多尺度深宽结合的病理图片分类方法，包括采样模块、特征提取模块、节点映射模块、推理模块；

所述采样模块，用于多尺度病理切片采样，得到包含子图的样本组，具体为：利用颜色相关性算法生成组织掩码，利用区域标注生成不同癌变区域的掩码；利用组织掩码和癌变区域掩码生成非癌变区域掩码；在癌变区域掩码和非癌变区域掩码中生成采样中心点；利用采样中心点在全视野切片不同的放大倍率下，采集同样大小的图片块作为样本组；述在全视野切片不同的放大倍率下采集的图片块具备不同的感受野；将同一个采样中心点下采集的不同放大倍率的图片块作为一个样本组，表示为：

一个样本组X _i 对应一个分类标签Y _i ，即{X _i ，Y _i }，其中一个样本组包含P个从不同放大倍率下获取的子图，i表示样本组序号，

表示第i个样本组中的子图，P为子图数量，n为样本数量；

所述特征提取模块，用于将样本组中的每个子图分别输入预训练好的深度卷积模型，进行宽度特征提取，得到特征矩阵，具体步骤为：

对于输入的一个子图x，经过深度卷积模型的映射，在不同的卷积阶段中得到多张不同尺度的特征图，公式为：

其中，

为深度卷积模型每个卷积阶段输出的中间层特征图，总的卷积阶段数量为k，

表示特征提取器，即预训练好的深度卷积模型；

不同深度的特征图含有不同的通道数量，经过一个全局平均池化的特征压缩过程使每个通道获得一个凝练的特征点，公式为：

其中，

表示第k个特征图的特征点，

表示全局平均池化，把多通道特征图压缩为一个特征向量，即每张单通道特征图得到一个全局平均值，

分别代表第k个特征图的高和宽，

为第k个特征图，其中l，m为该特征图每个值的索引；

并联所有深度特征点为一个宽度特征向量，表示为：

其中，z为输入的子图x对应的宽度特征子向量，每个宽度特征节点为k个通道级别特征向量e组成；

对于n个输入样本组中

个子图的宽度特征子向量进行整合，提取总的特征矩阵

，其表示为：

其中，n为样本组数量，P为每个样本组中所包含的子图个数，

为总的特征矩阵的维度，d为所有样本组得到的特征维度；

所述节点映射模块，用于将特征矩阵通过随机全连接激活过程进行增量节点映射，得到宽度增强节点；

所述推理模块，用于根据特征矩阵和宽度增强节点进行病理分型推理，具体为：

根据特征矩阵中的宽度特征节点和宽度增强节点映射输出节点；

把所有节点进行并联，得到总节点矩阵A，公式为：

其中，

为所述特征矩阵，H为宽度增强节点；

所述总节点矩阵A的维度为R^n×d，即样本组数量n并联每组输入的样本提取的特征d及增量节点后的维度；

将总节点矩阵输入所述预训练好的深度卷积模型中的最后一个全连接层，推理样本组的病理分型得到推理结果；

所述推理样本组病理分型得到推理结果，具体为：

将所述总节点矩阵划分为训练样本组A _train 和测试样本集A _test ；

根据伪逆值算法更新权重参数W _bls ，计算训练样本集总节点矩阵的伪逆特征矩阵

：

其中，I为单位矩阵，λ为伪逆值算法常数值，

为A _train 的转置；

根据宽度学习系统伪逆值求解法计算输出层权重

，其中

为对应输入训练样本集的标签；

求得病理分型的推理结果

，公式为：

其中，A _test 为测试集样本组所提取的特征矩阵。

5.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-3任一项所述的一种新型多尺度深宽结合的病理切片分类方法。

Images