CN111191660A - 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法 - Google Patents

Abstract

一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法，利用胶囊网络的动态路由机制构建网络模型，在特征提取层利用多输入特征融合方式进行图片的特征提取，并在胶囊层并行多个通道来加速训练，然后利用margin loss损失函数对模型进行训练。本发明有效的克服了传统卷积神经网络技术在训练过程中空间信息丢失、不具有旋转、平移不变性等问题，并利用特征融合提高了模型的泛化能力，胶囊层允许通道间协同合作加速训练，能够有效的节约时间成本，减少网络的参数，使网络训练更加的高效的网络。

Description

一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法

技术领域

本发明涉及深度学习、医学影像处理和计算机辅助治疗领域，尤其涉及一种基于多通道协同胶囊网络的直肠癌组织病理学图像分类方法。

背景技术

随着医疗科技的快速发展，医学影像得到了海量的扩充，科学利用医学图像分析对组织和细胞影像进行高效、准确的分类，可以有助于医生更好探索癌症治疗途径。医疗影像分析是最近几十年以来最基础应用，最活跃的研究领域之一。通过细胞水平上对肿瘤组织进行分类可以更好的了解肿瘤的特征，从而帮助他们病人更好的选择治疗癌症的手段。由于细胞不限于形状、强度、纹理特征等异质性，从结肠癌图像中对组织和细胞进行分类是一项具有挑战性的任务。

目前，医疗影像在病理学图像分类主要集中在两个方面，一方面是人工特征提取与传统机器学习算法相结合的的病理学图像分类，另外一个方面就是基于深度学习的病理学图像分类。

传统医学图像分类最早通过图像检索分类，即给图像加上特定标签，利用这些标签进行检索分类。传统上的手工提取特特征是通过人工选择图像感兴趣的区域(Region ofinterest，ROI)，然后利用数学方法对ROI进行提取边缘、形态、几何等特征，最后综合这些特征对医学图像进行分类。其中灰度共生矩阵与局部二值模式(LBP)等统计纹理特征提取方法的提出提供了理论的支持。手工提取特征不仅需要具有专业的知识的特定人群耗费大量的时间与精力来完成，同时通过人工构建的特征也是不稳定的，不一定能代表图像的基本纹理结构，降低了模型的可靠性和适应性。

基于深度学习的图像分类可以自动的从已标注的图像数据集中学习到复杂、更高层次的纹理特征，避免了手工设计、提取特征带来的局限性与复杂性。自2012年，AlexNet发表以来，以及后VGG、GooleNet、ResNet和DenseNet等对算法的优化与改进，使得深度学习算法在自然图像分类挑战赛的远胜于其它分类的算法。医疗图像方面，Bychkov等人提出了一种结合卷积和递归神经网络结构的分类器用于结直肠癌分类也获得的不错的精度，可以说卷积神经网络在图像识别有着不错的识别精度。

近几年来，深度卷积神经网络在图像分类方面取得了非常不错的表现，但是卷积神经网络存在以下几个缺点：

1)模型的构建需要大量的训练数据；

2)池化操作损失了很多重要信息；

3)没有考虑对象之间的重要空间层次关系，模型不具有平移、旋转不变性。

为应对卷积神经网络的缺点，Hinton等人在2017年提出了胶囊网络(CapsNet)，CapsNet是一种对图像的特征性质和空间关系进行编码的新型结构，是一种更有效的图像识别算法。在医学图像处理领域，Afshar等人在脑部核磁共振图像上使用胶囊神经网络对脑肿瘤类型进行分类，获得了比卷积神经网络更高的预测准确率。尽管如此，CapsNet仍然是一个年轻并不完善的网络，从实践角度来看，CapsNet显然是太慢了。由于复合函数的使用使得梯度计算更加复杂，让计算量暴增。

基于以上分析，本发明提出了基于多通道协同胶囊网络(MC-CapsNet)结肠癌病理学图像分类方法，将网络分成多个通道，构建一个可分离、并行多通道协同处理的胶囊网络，允许通道间协同合作加速训练，能够有效的节约时间成本，减少网络的参数，使网络训练更加的高效。MC-CapsNet应用到医疗领域，可以提高医学图像的识别率，达到更高的临床标准。

发明内容

本发明为克服现有技术的上述不足之处，提供了一种基于多通道协同胶囊网络(MC-CapsNet)的结肠癌病理学图像分类方法。

本发明利用胶囊网络的动态路由机制构建网络模型，在特征提取层利用多输入特征融合方式进行图片的特征提取，并在胶囊层并行多个通道来加速训练，然后利用marginloss损失函数对模型进行训练，最终在模型预测阶段，根据召回率(Recall)、精准率(Precision)、F1-分数(F1-Score)等评价指标来评判模型的优劣。本发明有效的克服了传统卷积神经网络技术在训练过程中空间信息丢失、不具有旋转、平移不变性等问题，并利用特征融合提高了模型的泛化能力，胶囊层允许通道间协同合作加速训练，提高了胶囊网络在结肠癌病理学分类的准确性和降低模型的训练时间。

一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法，包括如下步骤：

(1)收集医疗图像领域不同类别的结肠癌病理学图像数据，并对不同类别数据进行预处理，得到训练数据。具体步骤如下：

(1.1)收集数据：收集医疗图像领域不同类别的结肠癌病理学图像，有结肠癌组织的间质、脂肪、复合体、空腔、粘膜、碎片、淋巴，肿瘤等分类，如图3所示。

(1.2)对图像进行尺寸归一化：对图像进行处理分析，评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理。采用Min-Max Normalization方法进行标准化，使结果值映射到[0，1]之间，使得数据的泛化能力更好，转换函数如下：

(1.3)图像类别标签化:这里我们深度学习数据标签处理One-Hot Encoder，而不采用Label Encoder。因为One-Hot编码，主要是采用N位状态寄存器来对N个状态进行编码，使得每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。一定程度解决了分类器不好处理属性数据的问题，也起到了扩充特征的作用。

(1.4)将图像进行数据扩充处理：医疗数据由于标注数据的昂贵性，往往采用数据扩充的方式对增加训练数据从而增加数据的鲁棒性和泛化能力。包括对图像的旋转/反射变换(Rotation/reflection)、翻转变换(flip)、缩放变换(zoom)、平移变换(shift)、尺度变换(scale)等。

(1.5)划分数据集：将收集到的结肠癌病理学图像数据按照留出法划分为训练集样本A1、验证集样本A2以及测试集样本A3。

(2)胶囊网络的动态路由机制构建网络模型，在特征提取层利用多输入特征融合方式进行图片的特征提取，同时在胶囊层并行多个通道，即在通道中引入DropCircuit用来促进通道之间的独立性来增强泛化来加速训练，然后利用margin loss损失函数对模型进行训练，用来计算预测值与真实值的差距，利用动态路由算法(Dynamic routingalgorithm)不断进行迭代优化，得到一个最佳的模型并保存。具体步骤如下：

(2.1)权重自调节特征融合：考虑到卷积网络在对图片特征提取方面的实用性和高效性，本实例采用多输入的特征融合层作为特征提取器，特征提取层输入(1)中预处理的图像来用于特征提取。利用特征融合可以除去冗余信息和无关特征，来达到特征的选择与合并的效果，从而达到提高模型泛化能力，组合的特征更加突出。特征融合方式可分为多数表决和加权多数表决。加权多数表决是对多数表决的进一步优化，分类器在给某些特征加上权重之后，分类器的表现会表现的更好，将会赋予其更大的权重。在这里我们将样本空间设为Rⁿ，通过两种不同方式来进行特征提取，得到两组特征空间A和B，在样本空间中存在任一样本x∈Rⁿ都有两特征α∈A，β∈B，其中α是n维向量，β是m维向量。

(i)特征融合串行方式可以表示为：

则融合后的特征向量δ为n+m维。

(ii)特征融合并行方式可以表示为δ＝α+iβ，式子中i表示虚数单位，若n≠m，则维数低的那一方用0补齐。特征维度以维度高的为准。

采用以上方法可以兼顾多种特征，可是对于多种特征提取无法保证无法保证维度与数值上的差异，往往数值和维度大的特征对融合结果比较大。

对于不均衡特征向量α、β，增加权重方式来平衡特征：

1)将初始特征α,β转为单位向量，

2)根据特征向量的维度调整权重。设权重为

加权重后特征融合串行方式可以表示为

并行方式可以表示为δ＝α+iθβ。这种方式虽然可以调整不同特征之间的差异，但如何获得权重仍是一个待解决的难题。设

θ根据经验一般取值为κ～κ²。

在MC-CapsNet特征提取层，采用并行加权特征融合方式融合，根据每个特征自身长度自动调节特征权重，增加了模型的泛化能力。

(2.2)引入胶囊网络：胶囊网络的胶囊层结构为主胶囊层(PrimaryCaps Layer)、数字胶囊层(DigitCaps Layer)和类别输出层(outputLayer)。

对于胶囊网络，胶囊的输出向量由两部分表示:其方向表示对象的图形属性(如形状、位置、方颜色等)。其长度表示实例(如对象、或者其部分)出现的概率。

CapsNet通过动态路由将信息从一层路由到另外一层，即通过较低级别的胶囊预测较高级别的胶囊的结果。只有在这些预测结果一致的情况下，较高级别的胶囊才会被激活，胶囊网络原理如图4所示。

将u_ij作为较低级别胶囊i的输出，通过矩阵变换来对较高水平的胶囊j进行预测，矩阵变换的公式如下：

其中W_ij为低层特征和高层特征的空间关系，是可以通过反向传播来学习的权值矩阵，如果预测与高级别胶囊实际输出一致，则两个胶囊之间的耦合系数c_ij增大。可以利用下面的softmax函数计算耦合系数，公式如下：

其中b_ij为胶囊i和胶囊j之间的连接概率，初始值为0，则高层l+1胶囊j的输出向量s_j计算公式如下：

输出向量的长度可以代表存在的可能性，下面是一个非线性激活函数(Squash)，这个函数使得v_j长度不超过1，同时又保证了v_j和s_j保持了同一个方向，防止了输出的向量超过一个，公式如下：

s_j和v_j分别代表胶囊j的输入向量和输出向量。通过对较低级别i胶囊与较高级别j胶囊之间连接概率b_ij进行更新，用于下一次路由，连接概率b_ij公式如下：

如前所述，式(2)-(6)构成了计算v_j的一个完整的路由过程。

胶囊网络损失函数(margin loss)，用来计算预测值与真实值之间的误差marginloss公式如下：

l_k＝T_kmax(0,m⁺-||ν_k||)²+λ(1-T_Kmax(0,||ν_k||-m^-))² (7)

在T_K为1则表示类k存在，其中m^-＝0.9，m^-＝0.1和λ＝0.5作为超参数参与训练。总损耗就是最后一层所有输出胶囊损耗的总和。

(2.3)引入多通道：原胶囊网络(CapsNet)胶囊有两个主要类型,即主胶囊层(PrimaryCaps Layer)和数字胶囊层(DigitCaps Layer)。PrimaryCaps Layer获得特征融合层传递过来的输出向量作为其输输入向量。然后使用动态路由协议将PrimaryCapsLayer的输出路由到下一个DigitCaps Layer。在这里我们将CapsNet重建，从初级胶囊开始，即特征融合层后面建立多个通道，每个通道上都有一个PrimaryCaps Layer，叫做多通道主胶囊层(MC-PrimaryCaps Layer)，Phan等人在2018年的实验中使用了一种称为DropCircuit的drop技术来增强泛化。DropCircuit是dropout对多通道架构的一种适应，在这种架构中，不同通道中在训练中被drop，通过促进多通道之间的独立性来增强泛化，让网络结构可以并行的进行训练，通过并协作方式分解学习，加速网络的训练。

动态路由是PrimaryCaps路由到DigitCaps的机制，这样PrimaryCaps的通过类似投票方式对目标DigitCaps的作出贡献。Sabour等人在论文中使用的动态路由算法基于输出v_j代表投票的预测向量之间的相似性来更新投票的贡献，并使用点积作为相似性的度量，计算公式为(2.2)中的公式(4)，式中c_ij则两个胶囊之间的耦合系数，b_ij为连接概率。本实例对路由方式进行了修改，将所有来自PrimaryCaps对DigitCaps胶囊的贡献进行权重归一化，其总和为1.0，归一化公式如下：

式中，b_ij ^(mc)为每个通道上低级胶囊到高级胶囊的连接概率，c_ij ^(total)为总通道上的耦合系数。

MC-CapsNet计算精度损失与原胶囊网络相同，采用marginloss作为损失函数，其模型结构如图5所示。

(2.4)在训练过程中，利用胶囊网络损失函数marginloss神经网络模型预测值，计算与实际值的差距，利用多通道动态路由算法不断的优化函数，不断的进行迭代优化，得到一个最佳的模型M_A1并保存。

(3)在模型测试阶段，采用召回率(Recall)、精准率(Precision)和F1分数(F1-Score)用来对算法进行分类性能的评估。具体步骤如下：

(3.1)设置测试验证评估模式，利用测试数据集A3作为测试数据，然后将利用步骤(2.4)训练得到的最佳模型M_A1。使用A3作为测试数据进行验证。

(3.2)使用Recall、Precision)和F1-Score用来对算法进行分类性能的评估。其中召回率和精准率公式如下：

式中TP代表真正例样本数，FP代表假正例样本数，FN代表假负例样本数，TN代表真负例样本数。

F1-Score公式如下：

其中F1可以表示为衡量分类模型精度的一个指标，表示召回率和精确率的调和平均数，取值范围0-1之间，分数越高则代表分类能力越强，用于综合反应整体指标。

作为优选，步骤(2.4)中训练模型的方法为：

(i)设置超参数，利用Adam优化函数进行优化训练。

(ii)设置为训练模式，然后模型将会使用训练集样本A1作为训练数据并开始训练，初步确定超参数。由于模型数据数据量比较大，这里可以设置较小的batch_size与epochs进行模型的预训练与调参，这样可以在模型训练的早期阶段确定部分超参数，减少后面的调参工作量。

(iii)经过验证集样本A2验证，为了得到较好数据集分类效果，需要在训练期间根据评价指标优化超参数。在本实施例的训练过程中，通过逐步调整通道的数n，调节网络模型，同时根据评价指标调节学习率，迭代次数等参数细化模型超参数。调节参数时，需要中断训练进程，设置参数后再重新启动作业。

(iv)设置测试验证评估模式，然后模型将会测试集样本A3作为验证数据对正在训练的模型进行验证，并记录损失值。评估模式将保存到目前为止在验证数据上获得最低损失值的模型，通过不断的迭代训练，即可保存一个最佳模型M_A1。

优选地，步骤(1.5)按照8:1:1的比例将收集到的结肠癌病理学图像数据分为训练集样本A1、验证集样本A2以及测试集样本A3。

本发明的有益效果是：

(1)在特征提取阶段利用权重自调节特征融合技术，提高了模型泛化能力。

(2)引入胶囊网络克服了传统卷积神经网络技术在训练过程中空间信息丢失、不具有旋转、平移不变性等问题。

(3)在胶囊层加入多通道，在通道中引入DropCircuit用来促进通道之间的独立性来加速模型训练，优化了路由方式，将所有来自PrimaryCaps对DigitCaps胶囊的贡献进行权重归一化。

(4)通过利用MC-CapsNet，在结肠癌病理学分类可以以较低的代价获得不错的精度。

附图说明

图1是本发明的系统结构示意图

图2是本发明的技术方案流程示意图

图3是本发明的技术方案流程示意图

图4是本发明的胶囊网络原理结构图

图5是本发明的MC-CapsNet模型结构图

具体实施方式

下面结合具体的实施实例对本发明进行详细说明，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施案例系统的主要结构包括：图像数据采集模块、图像数据预处理模块、图像特征提取模块、网络训练模块、测试评估模块；所述的图像数据采集模块用于爬取收集结肠癌病理学图像，并对数据进行结构化处理；图像数据预处理模块包括利用Min-Max Normalization对数据进行归一化，利用One-Hot Encoder对图像类别标签化，利用数据扩充技术增强数据的鲁棒性和泛化性；图像特征提取模块，利用权重自调节特征融合技术，提取图像特征；网络训练模块，利用胶囊网络对输入的数据进行训练，同时在胶囊层并行多个通道，在通道中引入DropCircuit用来促进通道之间的独立性来增强泛化来加速训练，利用归一化改进了路由过程；测试评估模块，利用召回率(Recall)、精准率(Precision)和F1分数(F1-Score)用来对算法进行分类性能的评估。

如图2所示，一种多通道协同胶囊网络的结肠癌病理学图像分类方法包括如下步骤：

(1)数据收集和预处理

(1.1)收集数据：本实例共收集近5000张结肠癌数据集，其中包括间质、脂肪、复合体、空腔、粘膜、碎片、淋巴，肿瘤等八个分类，如图3所示，每种类型包含625张图片，数据集图像为RGB图像，包含三个通道，像素大小为150x 150x 3。

(1.2)数据初步预处理：采用Min-Max Normalization方法进行标准化，将步骤(1.1)中收集的数据图像长和高为150像素大小的数据集映射到[0，1]之间；利用One-HotEncoder，对数据进行标签化处理，一定程度解决了分类器不好处理属性数据的问题，也起到了扩充特征的作用；从原始图像(150,150,3)中，随机的crop出一些图像(148,148,3)，再通过padding再resize为原来的尺寸，通过rotate方式让图片从负5度到正5度进行旋转，通过对主成分做一个(0,0.1)的高斯扰动等方式对图像来对图像进行数据扩充。

(1.3)数据分割：将步骤(1.2)预处理的结肠癌病理学图像数据按照留出法划分为三个部分，按照8:1:1的比例将其分为训练集样本A1、验证集样本A2以及测试集样本A3。

(2)采用多通道协同胶囊网络作为网络训练模型，特征提取模块采用权重自调节特征融合技术对数据进行特征提取

(2.1)权重自调节特征融合：本实例在特征提取网络中间层增加了两个辅助分类器，通过在中间网络层增加一个辅助分类器，来增强反向传播的梯度信号，其中两个分类器的输出维度为1024个，此时可以看做三个特征提取器，输出特征为1024。对于训练样本A1中任意样本都有x∈Aⁿ，此时训练时分类器分为D₁,D₂,D₃,把他们看作三个不同的特征提取器，其输出为

其表达式为：

针对不同的特征提取的特征维数为1024，采用并行特征融合，可以得到输出的特征融合向量v，公式如下：

考虑到维度较大在进行下一步分类之前，通过加入变量θ_k，则加入后特征融合向量可以用如下表达式表示：

对特征值进行放大与缩小，得到融合后的特征向量。

(2.2)多通道协同胶囊网络作为网络训练：将(2.1)中特征融合输出端作为胶囊层的输入端。在这里我们将CapsNet重建，从初级胶囊开始，即特征融合层后面建立多个通道，每个通道上都有一个PrimaryCaps Layer，使用DropCircuit的drop技术来增强泛化。DropCircuit是dropout对多通道架构的一种适应，在这种架构中，不同通道中在训练中被drop，通过促进多通道之间的独立性来增强泛化，让网络结构可以并行的进行训练，通过并协作方式分解学习，加速网络的训练。将所有来自PrimaryCaps对DigitCaps胶囊的贡献进行权重归一化，其总和为1.0。这里将通道数初始值设置为2。

本实例中多通道协同胶囊网络损失函数仍然选取公式(7)作为损失函数，用来计算预测值与真实值之间的误差。其中在T_K为1则表示类k存在，其它超参数分别选m^-＝0.9，m^-＝0.1和λ＝0.5参与训练训练。

(2.3)本实例输入的图像大小设置为150x150x3，学习率初始值设为0.0001，batch_size初始值为16，迭代次数(epoch)初始值设置为100。利用Adam梯度下降法进行优化训练，学习率lr初始值为0.02，初始累加器值为0.1。其中特征提取层中卷积网络使用relu作为激活函数，多通道协同胶囊网络层激活函数为Squash。

(2.4)设置为训练模式，然后模型将会使用训练集样本A1作为训练数据并开始训练，初步确定超参数。由于模型数据数据量比较大，这里可以设置较小batch_size与epochs进行模型的预训练与调参，这样可以在模型训练的早期阶段确定部分超参数，减少后面的调参工作量。

(2.5)经过验证集样本A2验证，为了得到较好数据集分类效果，需要在训练期间根据评价指标优化超参数。在本实施例的训练过程中，通过逐步调整通道的数n，调节网络模型，同时根据评价指标调节学习率，迭代次数等参数细化模型超参数。调节参数时，需要中断训练进程，设置参数后再重新启动作业。

(2.6)设置测试验证评估模式，然后模型将会测试集样本A3作为验证数据对正在训练的模型进行验证，并记录损失值。评估模式将保存到目前为止在验证数据上获得最低损失值的模型，通过不断的迭代训练，即可保存一个最佳模型M_A1。

(3)根据公式(9)、公式(10)和公式(11)计算模型分类的精准率(P值)、召回率(R值)以及F1值对其进行评估。

本发明利用胶囊网络的动态路由机制构建网络模型，在特征提取层利用多输入特征融合方式进行图片的特征提取，并在胶囊层并行多个通道来加速训练，然后利用marginloss损失函数对模型进行训练。本发明有效的克服了传统卷积神经网络技术在训练过程中空间信息丢失、不具有旋转、平移不变性等问题，并利用特征融合提高了模型的泛化能力，胶囊层允许通道间协同合作加速训练，能够有效的节约时间成本，减少网络的参数，使网络训练更加的高效的网络。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法，包括如下步骤：

(1)收集医疗图像领域不同类别的结肠癌病理学图像数据，并对不同类别数据进行预处理，得到训练数据；具体步骤如下：

(1.1)收集数据：收集医疗图像领域不同类别的结肠癌病理学图像，包括结肠癌组织的间质、脂肪、复合体、空腔、粘膜、碎片、淋巴，肿瘤的分类；

(1.2)对图像进行尺寸归一化：对图像进行处理分析，评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理；利用Min-Max Normalization方法进行标准化，使结果值映射到[0，1]之间，使得数据的泛化能力更好，转换函数如下：

(1.3)图像类别标签化:这里我们深度学习数据标签处理One-Hot Encoder，而不采用Label Encoder；因为One-Hot编码，主要是采用N位状态寄存器来对N个状态进行编码，使得每个状态都由他独立的寄存器位，并且在任意时候只有一位有效；一定程度解决了分类器不好处理属性数据的问题，也起到了扩充特征的作用；

(1.4)将图像进行数据扩充处理：医疗数据由于标注数据的昂贵性，往往采用数据扩充的方式对增加训练数据从而增加数据的鲁棒性和泛化能力；包括对图像的旋转/反射变换(Rotation/reflection)、翻转变换(flip)、缩放变换(zoom)、平移变换(shift)、尺度变换(scale)；

(1.5)划分数据集：将收集到的结肠癌病理学图像数据按照留出法划分为训练集样本A1、验证集样本A2以及测试集样本A3；

(2)胶囊网络的动态路由机制构建网络模型，在特征提取层利用多输入特征融合方式进行图片的特征提取，同时在胶囊层并行多个通道，即在通道中引入DropCircuit用来促进通道之间的独立性来增强泛化来加速训练，然后利用margin loss损失函数对模型进行训练，用来计算预测值与真实值的差距，利用动态路由算法(Dynamicrouting algorithm)不断进行迭代优化，得到一个最佳的模型并保存；具体步骤如下：

(2.1)权重自调节特征融合：考虑到卷积网络在对图片特征提取方面的实用性和高效性，采用多输入的特征融合层作为特征提取器，特征提取层输入式(1)中预处理的图像来用于特征提取；利用特征融合可以除去冗余信息和无关特征，来达到特征的选择与合并的效果，从而达到提高模型泛化能力，组合的特征更加突出；特征融合方式可分为多数表决和加权多数表决；加权多数表决是对多数表决的进一步优化，分类器在给某些特征加上权重之后，分类器的表现会表现的更好，将会赋予其更大的权重；在这里将样本空间设为Rⁿ，通过两种不同方式来进行特征提取，得到两组特征空间A和B，在样本空间中存在任一样本x∈Rⁿ都有两特征α∈A，β∈B，其中α是n维向量，β是m维向量；

(i)特征融合串行方式可以表示为：

则融合后的特征向量δ为n+m维；

(ii)特征融合并行方式可以表示为δ＝α+iβ，式子中i表示虚数单位，若n≠m，则维数低的那一方用0补齐；特征维度以维度高的为准；

采用以上方法可以兼顾多种特征，可是对于多种特征提取无法保证维度与数值上的差异，往往数值和维度大的特征对融合结果比较大；

对于不均衡特征向量α、β，增加权重方式来平衡特征：

1)将初始特征α,β转为单位向量，

2)根据特征向量的维度调整权重；设权重为

加权重后特征融合串行方式可以表示为

并行方式可以表示为δ＝α+iθβ；这种方式虽然可以调整不同特征之间的差异，但如何获得权重仍是一个待解决的难题；设

θ根据经验一般取值为κ～κ²；

在MC-CapsNet特征提取层，采用并行加权特征融合方式融合，根据每个特征自身长度自动调节特征权重，增加了模型的泛化能力；

(2.2)引入胶囊网络：胶囊网络的胶囊层结构为主胶囊层(PrimaryCaps Layer)、数字胶囊层(DigitCaps Layer)和类别输出层(output Layer)；

对于胶囊网络，胶囊的输出向量由两部分表示:其方向表示对象的图形属性；其长度表示实例出现的概率；

CapsNet通过动态路由将信息从一层路由到另外一层，即通过较低级别的胶囊预测较高级别的胶囊的结果；只有在这些预测结果一致的情况下，较高级别的胶囊才会被激活；

将u_ij作为较低级别胶囊i的输出，通过矩阵变换来对较高水平的胶囊j进行预测，矩阵变换的公式如下：

其中W_ij为低层特征和高层特征的空间关系，是可以通过反向传播来学习的权值矩阵，如果预测与高级别胶囊实际输出一致，则两个胶囊之间的耦合系数c_ij增大；可以利用下面的softmax函数计算耦合系数，公式如下：

其中b_ij为胶囊i和胶囊j之间的连接概率，初始值为0，则高层l+1胶囊j的输出向量s_j计算公式如下：

输出向量的长度可以代表存在的可能性，下面是一个非线性激活函数(Squash)，这个函数使得v_j长度不超过1，同时又保证了v_j和s_j保持了同一个方向，防止了输出的向量超过一个，公式如下：

s_j和v_j分别代表胶囊j的输入向量和输出向量；通过对较低级别i胶囊与较高级别j胶囊之间连接概率b_ij进行更新，用于下一次路由，连接概率b_ij公式如下：

如前所述，式(2)-(6)构成了计算v_j的一个完整的路由过程；

胶囊网络损失函数(margin loss)，用来计算预测值与真实值之间的误差margin loss公式如下：

l_k＝T_kmax(0,m⁺-||ν_k||)²+λ(1-T_Kmax(0,||ν_k||-m^-))² (7)

在T_K为1则表示类k存在，其中m^-＝0.9，m^-＝0.1和λ＝0.5作为超参数参与训练；总损耗就是最后一层所有输出胶囊损耗的总和；

(2.3)引入多通道：原胶囊网络(CapsNet)胶囊有两个主要类型,即主胶囊层(PrimaryCaps Layer)和数字胶囊层(DigitCaps Layer)；PrimaryCaps Layer获得特征融合层传递过来的输出向量作为其输输入向量；然后使用动态路由协议将PrimaryCapsLayer的输出路由到下一个DigitCaps Layer；在这里将CapsNet重建，从初级胶囊开始，即特征融合层后面建立多个通道，每个通道上都有一个PrimaryCaps Layer，叫做多通道主胶囊层(MC-PrimaryCaps Layer)，Phan等人在2018年的实验中使用了一种称为DropCircuit的drop技术来增强泛化；DropCircuit是dropout对多通道架构的一种适应，在这种架构中，不同通道中在训练中被drop，通过促进多通道之间的独立性来增强泛化，让网络结构可以并行的进行训练，通过并行协作方式分解学习，加速网络的训练；

动态路由是PrimaryCaps路由到DigitCaps的机制，这样PrimaryCaps的通过类似投票方式对目标DigitCaps的作出贡献；Sabour等人在论文中使用的动态路由算法基于输出v_j代表投票的预测向量之间的相似性来更新投票的贡献，并使用点积作为相似性的度量，计算公式为(2.2)中的公式(4)，式中c_ij则两个胶囊之间的耦合系数，b_ij为连接概率；对路由方式进行了修改，将所有来自PrimaryCaps对DigitCaps胶囊的贡献进行权重归一化，其总和为1.0，归一化公式如下：

式中，b_ij ^(mc)为每个通道上低级胶囊到高级胶囊的连接概率，c_ij ^(total)为总通道上的耦合系数；

MC-CapsNet计算精度损失与原胶囊网络相同，采用margin loss作为损失函数；

(2.4)在训练过程中，利用胶囊网络损失函数margin loss神经网络模型预测值，计算与实际值的差距，利用多通道动态路由算法不断的优化函数，不断的进行迭代优化，得到一个最佳的模型M_A1并保存；

(3)在模型测试阶段，采用召回率(Recall)、精准率(Precision)和F1分数(F1-Score)用来对算法进行分类性能的评估；具体步骤如下：

(3.1)设置测试验证评估模式，利用测试数据集A3作为测试数据，然后将利用步骤(2.4)训练得到的最佳模型M_A1；使用A3作为测试数据进行验证；

(3.2)使用Recall、Precision)和F1-Score用来对算法进行分类性能的评估；其中召回率和精准率公式如下：

式中TP代表真正例样本数，FP代表假正例样本数，FN代表假负例样本数，TN代表真负例样本数；

F1-Score公式如下：

其中F1可以表示为衡量分类模型精度的一个指标，表示召回率和精确率的调和平均数，取值范围0-1之间，分数越高则代表分类能力越强，用于综合反应整体指标。

2.如权利要求1所述的一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法，其特征在于：步骤(2.4)中训练模型的方法为：

(i)设置超参数，利用Adam优化函数进行优化训练；

(ii)设置为训练模式，然后模型将会使用训练集样本A1作为训练数据并开始训练，初步确定超参数；由于模型数据数据量比较大，这里可以设置较小的batch_size与epochs进行模型的预训练与调参，这样可以在模型训练的早期阶段确定部分超参数，减少后面的调参工作量；

(iii)经过验证集样本A2验证，为了得到较好数据集分类效果，需要在训练期间根据评价指标优化超参数。在本实施例的训练过程中，通过逐步调整通道的数n，调节网络模型，同时根据评价指标调节学习率，迭代次数等参数细化模型超参数；调节参数时，需要中断训练进程，设置参数后再重新启动作业；

(iv)设置测试验证评估模式，然后模型将会测试集样本A3作为验证数据对正在训练的模型进行验证，并记录损失值；评估模式将保存到目前为止在验证数据上获得最低损失值的模型，通过不断的迭代训练，即可保存一个最佳模型M_A1。

3.如权利要求1所述的一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法，其特征在于：步骤(1.5)按照8:1:1的比例将收集到的结肠癌病理学图像数据分为训练集样本A1、验证集样本A2以及测试集样本A3。

Images