CN105447569A - 一种基于深度学习的乳腺癌细胞特征分析系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的乳腺癌细胞特征分析系统，该系统以深度学习为基础，构建多层次的卷积神经网络，实现了多级特征提取，这样可以达到更高分析准确度；本发明中模型的激活函数使用的是非饱和的ReLU函数，其具有更快的收敛特性；本发明中的池化层采用了有重叠的池化操作，通过交叉验证可以证明，与传统的非重叠的池化层相比，有重叠的池化可以进一步提高分析准确度；本发明采用了稀疏自编码器预训练+Dropout微调的训练模式，有效降低了模型的过拟合，增强了训练后所得模型的泛化能力，从而可以进一步提高分析准确度。

Description

一种基于深度学习的乳腺癌细胞特征分析系统

技术领域

本发明涉及细胞特征分析技术领域，尤其涉及一种基于深度学习的乳腺癌细胞特征分析系统。

背景技术

深度学习是目前机器学习中的热点技术，概念起源于人工神经网络的研究，其核心思想是使用无监督的逐层预训练，有效防止了梯度弥散问题，使得神经网络在拥有更多层的时候也可以进行有效的训练。而更多的层就意味着网络可以表达更加复杂的函数，可以学习到更加高级的特征。从而实现更好的识别性能。

其本质上是构建含有多隐层的架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息，从而对样本进行分类和预测，提高分类和预测的精度。深度学习高精度的分类和预测在语音识别、对象识别和自然语言处理等领域有很好的表现。而且也有研究者将深度学习用于识别乳腺癌组织学图像中处于有丝分裂阶段的细胞。但目前用基于非结构化数据的端到端技术对乳腺癌细胞进行分析识别，还不能做到很好地识别效果。所以需要从细胞组织切片中提取相关的细胞学特征，将数据组织成结构化的数据，并利用这些结构化的数据去训练一个深度神经网络，可以达到更好的分析正确率。

现有技术中，还没有进行乳腺癌细胞特征分析的相关方案，因此，有必要研发一套可自动对乳腺癌细胞的特征进行分析的设备。

发明内容

本发明的目的是提供一种基于深度学习的乳腺癌细胞特征分析系统，不仅实现了深度学习用于处理有结构的数据，还可以实现乳腺癌细胞特征的自动分析。

本发明的目的是通过以下技术方案实现的：

一种基于深度学习的乳腺癌细胞特征分析系统，包括：

数据集构建模块，用于从历史数据库中调用历史数据来构建带有标签的数据集；

乳腺癌细胞分析模型构建模块，用于对所述数据集中所有数据进行归一化处理，并建立卷积神经网络模型，所建立的卷积神经网络模型包含相互交替的卷积层与池化层、全连接层及Logistic分类器；对所述卷积层与全连接层进行无监督的预训练，基于数据集的标签对Logistic分类器进行有监督的预训练，获得训练后的乳腺癌细胞分析模型；

分析模块，用于基于所述训练后的乳腺癌细胞分析模型实现乳腺癌细胞的特征分析。

进一步的，所述乳腺癌细胞分析模型构建模块还用于，在获得训练后的乳腺癌细胞分析模型之后对整个乳腺癌细胞分析模型的参数进行微调，以及利用交叉验证技术来选择使得模型泛化性能最好的超参。

进一步的，所述数据集构建模块，用于从历史数据库中调用历史数据来构建带有标签的数据集包括：

所述历史数据包括：乳腺细胞组织的切片样本，以及对应的分析结果；

对所述切片样本进行特征提取，每一切片样本均提取n个特征，然后对每一个特征均计算其平均值、标准误差和三个最大值的平均值，则对于每一切片样本而言提取出3n个特征；若用x_ij表示第j个切片样本的第i个特征的特征向量，则一个切片样本的特征向量为一个3n维的向量，表示为：

X_j＝(x_1j,x_2j,…x_(3n)j)^T；

如果收集了m个切片样本，则整个数据集用矩阵X表示：

X＝(X₁,X₂,…X_m)＝(x_ij)_3n×m；

其中，矩阵X的每一列代表一个切片样本的数据；

再将对应的分析结果作为标签，对应到矩阵X的每一列，从而获得带有标签的数据集。

进一步的，所述对所述数据集中所有数据进行归一化处理包括：

对数据集中每个元素按照如下公式进行归一化：

${\hat{x}}_{ij}=\frac{x_{ij}-mean\left(x_{i*}\right)}{std\left(x_{i*}\right)};$

其中，表示第j个切片样本的第i个特征的特征向量x_ij的归一化结果；mean(x_i*)表示对数据集第i行所有元素求平均值；std(x_i*)表示对数据集第i行所有元素求标准差。

进一步的，所建立的卷积神经网络模型包括：

卷积层1、池化层1、卷积层2、池化层2、全连接层及Logistic分类器；

第一层为卷基层1，其表达式为：

$z_i^{\left(1\right)}=X*{\ker }_i^{\left(1\right)};$

$a_i^{\left(1\right)}=\mathrm{Re}LU\left(z_i^{\left(1\right)}\right);$

其中，X为数据集，表示第1层第i个特征向量的输入，表示第1层第i个卷积核，*表示卷积运算，表示第1层第i个特征向量的激活值，ReLU为卷积层的激活函数；

第二层为池化层1，其表达式为：

$z_i^{\left(2\right)}=a_i^{\left(2\right)}=Pooling\left(a_i^{\left(1\right)}\right);$

其中，表示第2层第i个特征向量的输入，表示第2层第i个特征向量的激活值，Pooling为池化运算；

第三层为卷基层2，其表达式为：

$z_j^{\left(3\right)}=\underset{i}{\Σ}{a}_i^{\left(2\right)}*{\ker }_j^{\left(3\right)};$

$a_j^{\left(3\right)}=\mathrm{Re}LU\left(L_j^{\left(3\right)}\right);$

其中，表示第3层第j个特征向量的输入，表示第3层第j个卷积核，表示第3层第j个特征向量的激活值；

第四层为池化层2，其表达式为：

$a_j^{\left(4\right)}=z_j^{\left(4\right)}=Pooling\left(a_j^{\left(3\right)}\right);$

其中，表示第4层第i个特征向量的激活值，表示第4层第i个特征向量的输入；

第五层为串联层，其将前述四层所有的特征向量串联起来：

$a^{\left(5\right)}=z^{\left(5\right)}=\underset{j}{concatenate}\left(a_j^{\left(4\right)}\right);$

其中，concatenate表示串联操作，z⁽⁵⁾表示第5层特征向量的输入，a⁽⁵⁾表示第5层特征向量的激活值；

第六层为全连接层，其表达式为：

z⁽⁶⁾＝Wa⁽⁵⁾；

a⁽⁶⁾＝ReLU(z⁽⁶⁾)；

其中，z⁽⁶⁾表示第6层特征向量的输入，a⁽⁶⁾表示第6层特征向量的激活值，W表示第五层到第六层的权重矩阵；

全连接层输出的a⁽⁶⁾则为Logistic分类器的输入。

进一步的，所述对所述卷积层与全连接层进行无监督的预训练包括：

从数据集中选取一部分数据作为训练集；

对于卷积层1，每次选取训练集中相邻的ks1维特征向量，作为稀疏自编码器的输入进行预训练，其中，稀疏自编码器的隐藏层节点个数是nf1，该节点个数nf1对应于卷积层1中特征向量的总个数，所选取特征向量的维数ks1对应于卷积层1的卷积核长度；用预训练后的权重初始化卷积层1的卷积核，训练样本通过卷积层1后得到之后通过池化层1做平均池化得到

卷积层2以为输入，每次选取训练集中所有的ks2维特征向量，作为稀疏自编码器的输入进行预训练，其中，稀疏自编码器的隐藏层节点个数是nf2该节点个数nf2对应于卷积层2中特征向量的总个数，所选取特征向量的维数ks2对应于卷积层2的卷积核长度；用预训练后的权重初始化卷积层2的卷积核，训练样本通过卷积层2后得到之后通过池化层2做平均池化得到

将所有的池化层2的输出串联成一个特征向量，并以此为输入对全连接层进行预训练，全连接层节点个数由交叉验证最终确定。

进一步的，所述基于数据集的标签对Logistic分类器进行有监督的预训练包括：

以全连接层输出的特征向量，及特征向量对应的标签，构成带有标签的训练集；

对于给定的输入x＝a⁽⁶⁾，用一个假设函数针对切片分析结果进行估算；Logistic分类器的假设函数为Sigmoid函数：

$Sigmoid\left(x\right)=\frac{1}{1+e^{-{\mathrm{\θ}}^{T}x}}$

其代价函数为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[y^{\left(i\right)}{\mathrm{logh}}_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)+(1-y^{\left(i\right)})\left(\log \right(1-h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)\left)\right)\]+\frac{\mathrm{\λ}}{2}\left|\right|\mathrm{\θ}|{|}^2;$

其中，m表示切片样本的个数，y⁽ⁱ⁾表示第i个切片样本的标签，x⁽ⁱ⁾表示第i个切片样本，h_θ(x⁽ⁱ⁾)表示第i个切片样本的输出值，θ表示Logistic分类器的权重，λ表示权重衰减参数，是权重衰减项；

Logistic按如下公式计算代价函数J(θ)对于权重参数的梯度：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[(y^{\left(i\right)}-h_{\mathrm{\θ}}(x^{\left(i\right)}\left)\right)x_j^{\left(i\right)}\]+{\mathrm{\λ\θ}}_j;$

通过最小化代价函数J(θ)，得到权重θ，将得到的θ代入Logistic分类器，即实现了Logistic分类器的预训练。

进一步的，所述在获得训练后的乳腺癌细胞分析模型之后对整个乳腺癌细胞分析模型的参数进行微调包括：

通过BP与Dropout相结合的方法进行参数微调，其步骤为：将每N个切片样本为一个批次做梯度下降，每次梯度下降的时候每个全连接层的隐藏节点以概率s随机忽略，每个串联层节点以概率q随机忽略，每次的权重更新只更新保留下来的节点所对应的权重，每次权重更新的过程都要从所有的节点中随机选择，更新也是在上次更新后的基础之上进行更新，从而得到最终的微调后的参数。

进一步的，所述利用交叉验证技术来选择使得模型泛化性能最好的超参包括：

在模型训练的过程中预先确定若干个参数，将这若干个参数作为超参；

再交叉验证技术选择使得模型泛化性能最好的超参，其步骤为：

首先，固定超参，再将训练集随机等分为P份，将第1份做为验证集，剩下的P-1份作为训练集，对模型进行训练；将验证集数据输入到训练后的模型里，得到模型的诊断准确率；

然后，将第2份最为验证集，剩下的P-1份作为训练集，对模型进行训练，将验证集数据输入到训练后的模型里面，得到模型的诊断准确率；

重复上述步骤，直至获得P个诊断准确率，对这P个准确率进行平均，得到在这组超参下所训练出来的模型的准确率；然后更换一组超参，重复上述步骤，选出使得准确率最高的超参组合作为最终对于超参的设定。

进一步的，所述分析模块，用于基于所述训练后的乳腺癌细胞分析模型实现乳腺癌细胞的特征分析包括：

对待检测的数据进行特征提取，再进行归一化处理后；

将归一化处理后的结果作为训练后的乳腺癌细胞分析模型的输入，从而获得乳腺癌细胞的特征分析结果。

由上述本发明提供的技术方案可以看出，以深度学习为基础，构建多层次的卷积神经网络，实现了多级特征提取，这样可以达到更高分析准确度；本发明中模型的激活函数使用的是非饱和的ReLU函数，其具有更快的收敛特性；本发明中的池化层采用了有重叠的池化操作，通过交叉验证可以证明，与传统的非重叠的池化层相比，有重叠的池化可以进一步提高分析准确度；本发明采用了稀疏自编码器预训练+Dropout微调的训练模式，有效降低了模型的过拟合，增强了训练后所得模型的泛化能力，从而可以进一步提高分析准确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于深度学习的乳腺癌细胞特征分析系统结构示意图；

图2为本发明实施例提供的深度学习中卷积神经网络的构架示意图；

图3为本发明实施例提供的稀疏自编码器的原理示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于深度学习的乳腺癌细胞特征分析系统，其结构如图1所示，主要包括：数据集构建模块、乳腺癌细胞分析模型构建模块及分析模块；其中：

数据集构建模块，用于从历史数据库中调用历史数据来构建带有标签的数据集；

乳腺癌细胞分析模型构建模块，用于对所述数据集中所有数据进行归一化处理，并建立卷积神经网络模型，所建立的卷积神经网络模型包含相互交替的卷积层与池化层、全连接层及Logistic分类器；对所述卷积层与全连接层进行无监督的预训练，基于数据集的标签对Logistic分类器进行有监督的预训练，获得训练后的乳腺癌细胞分析模型；

分析模块，用于基于所述训练后的乳腺癌细胞分析模型实现乳腺癌细胞的特征分析。

需要强调的是，本发明实施例所要求保护的系统为一套整体硬件结构，除了前述必要的三个硬件结构外，还可以根据实际情况来搭配选择其他硬件结构，比如，用于移动或固定上述三个硬件结构的装置，或者用于将分析结果向外传输的通信模块或通信接口等。

为了便于理解，下面针对上述三个硬件结构做详细的说明。

一、数据集构建模块

其用于从历史数据库(设置在一存储介质中)中调用历史数据来构建带有标签的数据集，具体步骤包括：

所述历史数据包括：乳腺细胞组织的切片样本，以及对应的分析结果；

对所述切片样本进行特征提取，每一切片样本均提取n个特征，然后对每一个特征均计算其平均值、标准误差和三个最大值的平均值，则对于每一切片样本而言提取出3n个特征；若用x_ij表示第j个切片样本的第i个特征的特征向量，则一个切片样本的特征向量为一个3n维的向量，表示为：

X_j＝(x_1j,x_2j,…x_(3n)j)^T；

如果收集了m个切片样本，则整个数据集用矩阵X表示：

X＝(X₁,X₂,…X_m)＝(x_ij)_3n×m；

其中，矩阵X的每一列代表一个切片样本的数据；

再将对应的分析结果作为标签，对应到矩阵X的每一列，从而获得带有标签的数据集。

二、乳腺癌细胞分析模型构建模块。

本发明实施例中，乳腺癌细胞分析模型构建模块中的归一化处理、构建卷积神经网络模型、以及对模型进行训练的具体过程如下：

1、对所述数据集中所有数据进行归一化处理，其包括：

对数据集中每个元素按照如下公式进行归一化：

${\hat{x}}_{ij}=\frac{x_{ij}-mean\left(x_{i*}\right)}{std\left(x_{i*}\right)};$

其中，表示第j个切片样本的第i个特征的特征向量x_ij的归一化结果；mean(x_i*)表示对数据集第i行所有元素求平均值；std(x_i*)表示对数据集第i行所有元素求标准差。

2、建立卷积神经网络模型

如图2所示，主要包括：卷积层1、池化层1、卷积层2、池化层2、全连接层及Logistic分类器；

第一层为卷基层1，其表达式为：

$z_i^{\left(1\right)}=X*{\ker }_i^{\left(1\right)};$

$a_i^{\left(1\right)}=\mathrm{Re}LU\left(z_i^{\left(1\right)}\right);$

其中，X为数据集，表示第1层第i个特征向量的输入，表示第1层第i个卷积核(最合适的卷积核长度需要通过交叉验证来确定)，*表示卷积运算，表示第1层第i个特征向量的激活值；ReLU为卷积层的激活函数，这种非饱和的激活函与传统的sigmoid激活函数相比收敛速度更快。其解析式是：ReLU(x)＝max(x,0)；

第二层为池化层1，其表达式为：

$a_i^{\left(2\right)}=z_i^{\left(2\right)}=Pooling\left(a_i^{\left(1\right)}\right);$

其中，表示第2层第i个特征向量的输入，表示第2层第i个特征向量的激活值，Pooling为池化运算，本发明实施例中，采用平均池化；

第三层为卷基层2，其表达式为：

$z_j^{\left(3\right)}=\underset{i}{\Σ}{a}_i^{\left(2\right)}*{\ker }_j^{\left(3\right)};$

$a_j^{\left(3\right)}=\mathrm{Re}LU\left(z_j^{\left(3\right)}\right);$

其中，表示第3层第j个特征向量的输入，表示第3层第j个卷积核，表示第3层第j个特征向量的激活值；参数i对应的是卷积层1中的第i个特征向量，参数j对应的是卷积层2的第j个特征向量(卷积层1和卷积层2中的特征向量个数不同，所以分别用i和j来表示，加以区分)；

第四层为池化层2，其表达式为：

$a_j^{\left(4\right)}=z_j^{\left(4\right)}=Pooling\left(a_j^{\left(3\right)}\right);$

其中，表示第4层第j个特征向量的激活值，表示第4层第j个特征向量的输入；

第五层为串联层，其将前述四层所有的特征向量串联起来：

$a^{\left(5\right)}=z^{\left(5\right)}=\underset{j}{concatenate}\left(a_j^{\left(4\right)}\right);$

其中，concatenate表示串联操作，z⁽⁵⁾表示第5层特征向量的输入，a⁽⁵⁾表示第5层特征向量的激活值；

第六层为全连接层，其表达式为：

z⁽⁶⁾＝Wa⁽⁵⁾；

a⁽⁶⁾＝ReLU(z⁽⁶⁾)；

其中，z⁽⁶⁾表示第6层特征向量的输入，a⁽⁶⁾表示第6层特征向量的激活值，W表示第五层到第六层的权重矩阵；

全连接层输出的a⁽⁶⁾则为Logistic分类器的输入。

3、对模型进行训练。

1)对所述卷积层与全连接层进行无监督的预训练，其包括：

从数据集中选取一部分数据作为训练集；

对于卷积层1，每次选取训练集中相邻的ks1维特征向量(ks1为卷积层1的卷积核长度)，作为稀疏自编码器(如图3所示)的输入进行预训练，其中图3中的稀疏自编码器的隐藏层节点个数是nf1(对应于卷积层1中特征向量的总个数)；用预训练后的权重初始化卷积层1的卷积核；训练样本通过卷积层1后得到之后通过池化层1做平均池化得到

卷积层2是以为输入，每次选取训练集中相邻的ks2维特征向量(ks2为卷积层2的卷积核长度)作为稀疏自编码器(如图3所示)的输入进行预训练，此时图3中的稀疏自编码器的隐藏层节点个数是nf2(对应于卷积层2中特征向量的总个数)，用预训练后的权重初始化卷积层2的卷积核；训练样本通过卷积层2后得到之后通过池化层2做平均池化得到

将所有的池化层2的输出串联成一个特征向量，并以此为输入对全连接层进行预训练，全连接层节点个数由交叉验证最终确定；

其中，所述稀疏自编码器为一种无监督学习算法，所述稀疏自编码器使用了反向传播算法，并让目标值等于输入值，同时对隐藏层加上了“稀疏性”限制。

若用a_j(x)表示在输入为x情况下，稀疏自编码器的隐藏层神经元j的激活度，则：

${\widehat{\mathrm{\ρ}}}_j=\frac{1}{m}\underset{j}{\Σ}\[a_j\left(x\right)\]$

表示隐藏层神经元j的平均活跃度，对其加入“稀疏性”限制：

${\widehat{\mathrm{\ρ}}}_j=\mathrm{\ρ}$

其中ρ是稀疏性参数，通常是一个接近于0的较小的值(比如ρ＝0.05)。

稀疏自编码器的代价函数可以表示为：

$J_{spare}(W,b)=J(W,b)+\mathrm{\β}\underset{j=1}{\overset{s}{\Σ}}KL\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_j\right)$

其中， $KL\left(\mathrm{\ρ}\right|\left|{\widehat{\mathrm{\ρ}}}_j\right)=\underset{j}{\Σ}\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{{\widehat{\mathrm{\ρ}}}_j}+(1-\mathrm{\ρ})log\frac{1-\mathrm{\ρ}}{1-{\widehat{\mathrm{\ρ}}}_j},$ 这一项使得大部分激活值接近于0，达到了稀疏性的目的。J(W,b)是反向传播算法的整体代价函数。

3)基于数据集的标签对Logistic分类器进行有监督的预训练，其包括：

以全连接层输出的特征向量，及特征向量对应的标签，构成带有标签的训练集；

对于给定的输入x＝a⁽⁶⁾，用一个假设函数针对切片分析结果进行估算；Logistic分类器的假设函数为Sigmoid函数：

$Sigmoid\left(x\right)=\frac{1}{1+e^{-{\mathrm{\θ}}^{T}x}}$

其代价函数为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[y^{\left(i\right)}{\mathrm{logh}}_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)+(1-y^{\left(i\right)})\left(\log \right(1-h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)\left)\right)\]+\frac{\mathrm{\λ}}{2}\left|\right|\mathrm{\θ}|{|}^2;$

其中，m表示切片样本的个数，y⁽ⁱ⁾表示第i个切片样本的标签，x⁽ⁱ⁾表示第i个切片样本，h_θ(x⁽ⁱ⁾)表示第i个切片样本的输出值，θ表示Logistic分类器的权重，λ表示权重衰减参数。是权重衰减项，使代价函数成为严格的凸函数，能够保证其得到唯一解。

Logistic按如下公式计算代价函数J(θ)对于权重参数的梯度：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[(y^{\left(i\right)}-h_{\mathrm{\θ}}(x^{\left(i\right)}\left)\right)x_j^{\left(i\right)}\]+{\mathrm{\λ\θ}}_j;$

通过最小化代价函数J(θ)，得到权重θ，将得到的θ代入Logistic分类器(整个模型的最后一层)，即实现了Logistic分类器的预训练。

优选的，所述乳腺癌细胞分析模型构建模块还用于，在获得训练后的乳腺癌细胞分析模型之后对整个乳腺癌细胞分析模型的参数进行微调，以及利用交叉验证技术来选择使得模型泛化性能最好的超参。具体过程如下：

1)对整个乳腺癌细胞分析模型的参数进行微调。

对整个乳腺癌细胞分析模型的参数进行微调，降低训练误差。在这个步骤中，除了采用传统的BP方法进行微调，在最后一个全连接层还采用了Dropout方法进行微调。

本发明实施例中，通过BP与Dropout相结合的方法进行参数微调，其步骤为：将每N个切片样本为一个批次做梯度下降，每次梯度下降的时候每个全连接层的隐藏节点以概率s随机忽略，每个串联层节点以概率q随机忽略，每次的权重更新只更新保留下来的节点所对应的权重，每次权重更新的过程都要从所有的节点中随机选择，更新也是在上次更新后的基础之上进行更新，从而得到最终的微调后的参数。

在测试的时候，串联层与全连接层之间的权重乘以w，其他所有的权重乘以c。

本发明实施例中，所述的N、s、q、w、c的具体数值可根据实际情况来设定。示例性的，可设置N＝50，s＝0.5，q＝0.2，w＝0.8，c＝0.5。

2)利用交叉验证技术来选择使得模型泛化性能最好的超参。

其步骤如下：

在模型训练的过程中预先确定若干个参数，将这若干个参数作为超参；

再交叉验证技术选择使得模型泛化性能最好的超参，其步骤为：

首先，固定超参，再将训练集随机等分为P份，将第1份做为验证集，剩下的P-1份作为训练集，对模型进行训练；将验证集数据输入到训练后的模型里，得到模型的诊断准确率；

然后，将第2份最为验证集，剩下的P-1份作为训练集，对模型进行训练，将验证集数据输入到训练后的模型里面，得到模型的诊断准确率；

重复上述步骤，直至获得P个诊断准确率，对这P个准确率进行平均，得到在这组超参下所训练出来的模型的准确率；然后更换一组超参，重复上述步骤，选出使得准确率最高的超参组合作为最终对于超参的设定。

本发明实施例中，所述P的具体数值可根据实际情况来设定。示例性的，可设置P＝10，则交叉验证技术为10折交叉验证技术。

三、分析模块

所述分析模块，用于基于所述训练后的乳腺癌细胞分析模型实现乳腺癌细胞的特征分析，其步骤包括：

对待检测的数据进行特征提取，再进行归一化处理后；所述待检测的数据存储在一存储介质中，特征提取与归一化处理的过程与前文一致，不在赘述。

将归一化处理后的结果作为训练后的乳腺癌细胞分析模型的输入，从而获得乳腺癌细胞的特征分析结果。

本发明的上述方案以深度学习为基础，构建多层次的卷积神经网络，实现了多级特征提取，这样可以达到更高分析准确度；本发明中模型的激活函数使用的是非饱和的ReLU函数，其具有更快的收敛特性；本发明中的池化层采用了有重叠的池化操作，通过交叉验证可以证明，与传统的非重叠的池化层相比，有重叠的池化可以进一步提高分析准确度；本发明采用了稀疏自编码器预训练+Dropout微调的训练模式，有效降低了模型的过拟合，增强了训练后所得模型的泛化能力，从而可以进一步提高分析准确度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于深度学习的乳腺癌细胞特征分析系统，其特征在于，包括：

数据集构建模块，用于从历史数据库中调用历史数据来构建带有标签的数据集；

乳腺癌细胞分析模型构建模块，用于对所述数据集中所有数据进行归一化处理，并建立卷积神经网络模型，所建立的卷积神经网络模型包含相互交替的卷积层与池化层、全连接层及Logistic分类器；对所述卷积层与全连接层进行无监督的预训练，基于数据集的标签对Logistic分类器进行有监督的预训练，获得训练后的乳腺癌细胞分析模型；

分析模块，用于基于所述训练后的乳腺癌细胞分析模型实现乳腺癌细胞的特征分析。

2.根据权利要求1所述的系统，其特征在于，所述乳腺癌细胞分析模型构建模块还用于，在获得训练后的乳腺癌细胞分析模型之后对整个乳腺癌细胞分析模型的参数进行微调，以及利用交叉验证技术来选择使得模型泛化性能最好的超参。

3.根据权利要求1所述的系统，其特征在于，所述数据集构建模块，用于从历史数据库中调用历史数据来构建带有标签的数据集包括：

所述历史数据包括：乳腺细胞组织的切片样本，以及对应的分析结果；

对所述切片样本进行特征提取，每一切片样本均提取n个特征，然后对每一个特征均计算其平均值、标准误差和三个最大值的平均值，则对于每一切片样本而言提取出3n个特征；若用x_ij表示第j个切片样本的第i个特征的特征向量，则一个切片样本的特征向量为一个3n维的向量，表示为：

X_j＝(x_1j,x_2j,…x_(3n)j)^T；

如果收集了m个切片样本，则整个数据集用矩阵X表示：

X＝(X₁,X₂,…X_m)＝(x_ij)_3n×m；

其中，矩阵X的每一列代表一个切片样本的数据；

再将对应的分析结果作为标签，对应到矩阵X的每一列，从而获得带有标签的数据集。

4.根据权利要求1所述的系统，其特征在于，所述对所述数据集中所有数据进行归一化处理包括：

对数据集中每个元素按照如下公式进行归一化：

${\hat{x}}_{ij}=\frac{x_{ij}-mean\left(x_{i*}\right)}{std\left(x_{i*}\right)};$

其中，表示第j个切片样本的第i个特征的特征向量x_ij的归一化结果；mean(x_i*)表示对数据集第i行所有元素求平均值；std(x_i*)表示对数据集第i行所有元素求标准差。

5.根据权利要求1或2所述的系统，其特征在于，所建立的卷积神经网络模型包括：

卷积层1、池化层1、卷积层2、池化层2、全连接层及Logistic分类器；

第一层为卷基层1，其表达式为：

$z_i^{\left(1\right)}=X*{\ker }_i^{\left(1\right)};$

$a_i^{\left(1\right)}=\mathrm{Re}LU\left(z_i^{\left(1\right)}\right);$

其中，X为数据集，表示第1层第i个特征向量的输入，表示第1层第i个卷积核，*表示卷积运算，表示第1层第i个特征向量的激活值，ReLU为卷积层的激活函数；

第二层为池化层1，其表达式为：

$z_i^{\left(2\right)}=a_i^{\left(2\right)}=Pooling\left(a_i^{\left(1\right)}\right);$

其中，表示第2层第i个特征向量的输入，表示第2层第i个特征向量的激活值，Pooling为池化运算；

第三层为卷基层2，其表达式为：

$z_j^{\left(3\right)}=\underset{i}{\Σ}{a}_i^{\left(2\right)}*{\ker }_j^{\left(3\right)};$

$a_j^{\left(3\right)}=\mathrm{Re}LU\left(z_j^{\left(3\right)}\right);$

其中，表示第3层第j个特征向量的输入，表示第3层第j个卷积核，表示第3层第j个特征向量的激活值；

第四层为池化层2，其表达式为：

$a_j^{\left(4\right)}=z_j^{\left(4\right)}=Pooling\left(a_j^{\left(3\right)}\right);$

其中，表示第4层第i个特征向量的激活值，表示第4层第i个特征向量的输入；

第五层为串联层，其将前述四层所有的特征向量串联起来：

$a^{\left(5\right)}=z^{\left(5\right)}=\underset{j}{concatenate}\left(a_j^{\left(4\right)}\right);$

其中，concatenate表示串联操作，z⁽⁵⁾表示第5层特征向量的输入，a⁽⁵⁾表示第5层特征向量的激活值；

第六层为全连接层，其表达式为：

z⁽⁶⁾＝Wa⁽⁵⁾；

a⁽⁶⁾＝ReLU(z⁽⁶⁾)；

其中，z⁽⁶⁾表示第6层特征向量的输入，a⁽⁶⁾表示第6层特征向量的激活值，W表示第五层到第六层的权重矩阵；

全连接层输出的a⁽⁶⁾则为Logistic分类器的输入。

6.根据权利要求5所述的系统，其特征在于，所述对所述卷积层与全连接层进行无监督的预训练包括：

从数据集中选取一部分数据作为训练集；

对于卷积层1，每次选取训练集中相邻的ks1维特征向量，作为稀疏自编码器的输入进行预训练，其中，稀疏自编码器的隐藏层节点个数是nf1，该节点个数nf1对应于卷积层1中特征向量的总个数，所选取特征向量的维数ks1对应于卷积层1的卷积核长度；用预训练后的权重初始化卷积层1的卷积核，训练样本通过卷积层1后得到之后通过池化层1做平均池化得到

卷积层2以为输入，每次选取训练集中所有的ks2维特征向量，作为稀疏自编码器的输入进行预训练，其中，稀疏自编码器的隐藏层节点个数是nf2该节点个数nf2对应于卷积层2中特征向量的总个数，所选取特征向量的维数ks2对应于卷积层2的卷积核长度；用预训练后的权重初始化卷积层2的卷积核，训练样本通过卷积层2后得到之后通过池化层2做平均池化得到

将所有的池化层2的输出串联成一个特征向量，并以此为输入对全连接层进行预训练，全连接层节点个数由交叉验证最终确定。

7.根据权利要求5所述的系统，其特征在于，所述基于数据集的标签对Logistic分类器进行有监督的预训练包括：

以全连接层输出的特征向量，及特征向量对应的标签，构成带有标签的训练集；

对于给定的输入x＝a⁽⁶⁾，用一个假设函数针对切片分析结果进行估算；Logistic分类器的假设函数为Sigmoid函数：

$Sigmoid\left(x\right)=\frac{1}{1+e^{-{\mathrm{\θ}}^{T}x}}$

其代价函数为：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[y^{\left(i\right)}{\mathrm{logh}}_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)+(1-y^{\left(i\right)})\left(\log \right(1-h_{\mathrm{\θ}}\left(x^{\left(i\right)}\right)\left)\right)\]+\frac{\mathrm{\λ}}{2}\left|\right|\mathrm{\θ}|{|}^2;$

其中，m表示切片样本的个数，y⁽ⁱ⁾表示第i个切片样本的标签，x⁽ⁱ⁾表示第i个切片样本，h_θ(x⁽ⁱ⁾)表示第i个切片样本的输出值，θ表示Logistic分类器的权重，λ表示权重衰减参数，是权重衰减项；

Logistic按如下公式计算代价函数J(θ)对于权重参数的梯度：

${\▿}_{{\mathrm{\θ}}_j}J\left(\mathrm{\θ}\right)=-\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\[(y^{\left(i\right)}-h_{\mathrm{\θ}}(x^{\left(i\right)}\left)\right)x_j^{\left(i\right)}\]+{\mathrm{\λ\θ}}_j;$

通过最小化代价函数J(θ)，得到权重θ，将得到的θ代入Logistic分类器，即实现了Logistic分类器的预训练。

8.根据权利要求5所述的系统，其特征在于，所述在获得训练后的乳腺癌细胞分析模型之后对整个乳腺癌细胞分析模型的参数进行微调包括：

通过BP与Dropout相结合的方法进行参数微调，其步骤为：将每N个切片样本为一个批次做梯度下降，每次梯度下降的时候每个全连接层的隐藏节点以概率s随机忽略，每个串联层节点以概率q随机忽略，每次的权重更新只更新保留下来的节点所对应的权重，每次权重更新的过程都要从所有的节点中随机选择，更新也是在上次更新后的基础之上进行更新，从而得到最终的微调后的参数。

9.根据权利要求5所述的系统，其特征在于，所述利用交叉验证技术来选择使得模型泛化性能最好的超参包括：

在模型训练的过程中预先确定若干个参数，将这若干个参数作为超参；

再交叉验证技术选择使得模型泛化性能最好的超参，其步骤为：

首先，固定超参，再将训练集随机等分为P份，将第1份做为验证集，剩下的P-1份作为训练集，对模型进行训练；将验证集数据输入到训练后的模型里，得到模型的诊断准确率；

然后，将第2份最为验证集，剩下的P-1份作为训练集，对模型进行训练，将验证集数据输入到训练后的模型里面，得到模型的诊断准确率；

重复上述步骤，直至获得P个诊断准确率，对这P个准确率进行平均，得到在这组超参下所训练出来的模型的准确率；然后更换一组超参，重复上述步骤，选出使得准确率最高的超参组合作为最终对于超参的设定。

10.根据权利要求1或2或3或4或6或7或8或9所述的系统，其特征在于，所述分析模块，用于基于所述训练后的乳腺癌细胞分析模型实现乳腺癌细胞的特征分析包括：

对待检测的数据进行特征提取，再进行归一化处理后；

将归一化处理后的结果作为训练后的乳腺癌细胞分析模型的输入，从而获得乳腺癌细胞的特征分析结果。