CN108510004B - 一种基于深度残差网络的细胞分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度残差网络的细胞分类方法及系统，所述方法包括：获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集；采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络；将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果。本发明利用残差网络对数据集进行训练，并结合迁移学习的方法，创建了可自动分类的网络结构，有效解决了生物医学图像数据集偏小的问题，避免了过拟合情况的发生，不但减少了工作量，提高了工作效率，而且有效提高了细胞自动分类的正确率。

Description

一种基于深度残差网络的细胞分类方法及系统

技术领域

本发明涉及医疗图像处理技术领域，具体涉及一种基于深度残差网络的细胞分类方法、存储介质及终端。

背景技术

HEp-2细胞的间接免疫荧光(IIF)探测技术主要用于核抗体(ANA)的分析，是源于人类表皮细胞，用于一些重要的自身免疫性疾病的诊断和治疗。例如，系统性风湿性疾病、多发性硬化症、药物性红斑狼疮，系统性红斑狼疮和糖尿病等。由于HEp-2细胞具有很高的分裂能力，产生大量的抗原。专家通常使用荧光显微镜进行人工核抗体检查，需要进行评价和估计荧光强度和染色模式。

目前，基于计算机辅助诊断(CAD)系统可以自动检查HEp-2细胞类型，减少工作负载，但是由于评估标准的不确定性、研究人员的可变性以及照片噪声的影响等问题，严重影响了细胞分类的分类性能以及准确性。

虽然，现有技术中也有利用深度卷积神经网络（DCNN）来对细胞进行分类，但是由于传统的DCNN算法对于特征学习过于直观，在浅层网络一些特征表达具有一定程度不透明度，这对于HEp-2细胞分类没有足够的区分度。并且由于DCNN分类器的性能严重依赖于训练数据集的大小，容易导致过拟合情况的发生，从而使得细胞分类的准确性降低。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于深度残差网络的细胞分类方法及系统，旨在解决现有技术中的细胞分类方法准确度不高，且利用DCNN对细胞进行分类的方法中容易出现过拟合的现象，影响分类准确度等问题。

本发明解决技术问题所采用的技术方案如下：

一种基于深度残差网络的细胞分类方法，其中，所述方法包括：

获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集；

采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络；

将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果。

所述的基于深度残差网络的细胞分类方法，其中，所述第一数据集为细胞图像的三通道的RGB图集；所述第二数据集为细胞图像的单通道的灰度图集；所述细胞图像为人类上表皮细胞图像。

所述的基于深度残差网络的细胞分类方法，其中，所述采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络具体包括：

利用深度残差网络对所述第一数据集进行训练，得到训练后的网络结构，并对所述网络结构进行性能分析；

将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络，并对所述目标网络进行测试分析，输出分析结果；

根据所述分析结果，对所述目标网络进行参数调节与设置。

所述的基于深度残差网络的细胞分类方法，其中，所述将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练之前还包括：

对所述第二数据集中的单通道的灰度图集进行逆彩化处理，以放大图像的特征值。

所述的基于深度残差网络的细胞分类方法，其中，所述将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果具体包括：

将待分类的人类上表皮细胞图像输入至目标网络中，得到用于对细胞图像进行分类的特征图；

对所述特征图进行筛选，从中获取目标网络中输出层的特征图；

将输出层的特征图输入至softmax函数中进行分析与测试，输出细胞图像的分类结果。

所述的基于深度残差网络的细胞分类方法，其中，所述对所述特征图进行筛选，从中获取目标网络中输出层的特征图还包括：

获取目标网络中低层以及中间层的特征图，所述低层以及中间层的特征图用来作额外的反卷积层。

一种基于深度残差网络的细胞分类系统，其中，所述系统包括：

数据集获取模块，用于获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集；

数据集训练模块，用于采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络；

细胞图像分类模块，用于将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果；

所述第一数据集为细胞图像的三通道的RGB图集；所述第二数据集为细胞图像的单通道的灰度图集；所述细胞图像为人类上表皮细胞图像。

所述的基于深度残差网络的细胞分类系统，其中，所述数据集训练模块具体包括：

第一数据集训练单元，用于利用深度残差网络对所述第一数据集进行训练，得到训练后的网络结构，并对所述网络结构进行性能分析；

第二数据集训练单元，用于将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络，并对所述目标网络进行测试分析，输出分析结果；

参数调节设置单元，用于根据所述分析结果，对所述目标网络进行参数调节与设置。

所述的基于深度残差网络的细胞分类系统，其中，所述数据集训练模块还包括：

逆彩化处理单元，用于对所述第二数据集中的单通道的灰度图集进行逆彩化处理，以放大图像的特征值。

所述的基于深度残差网络的细胞分类系统，其中，所述细胞图像分类模块具体包括：

图像输入单元，用于将待分类的人类上表皮细胞图像输入至目标网络中，得到用于对细胞图像进行分类的特征图；

特征图筛选单元，用于对所述特征图进行筛选，从中获取目标网络中输出层的特征图；

分析与测试单元，用于将输出层的特征图输入至softmax函数中进行分析与测试，输出细胞图像的分类结果；

所述特征图筛选单元具体还包括：获取目标网络中低层以及中间层的特征图，所述低层以及中间层的特征图用来作额外的反卷积层。

本发明的有益效果：本发明利用残差网络对数据集进行训练，并结合迁移学习的方法，创建了可自动分类的网络结构，有效解决了生物医学图像数据集偏小的问题，避免了过拟合情况的发生，不但减少了工作量，提高了工作效率，而且有效提高了细胞自动分类的正确率。

附图说明

图1是本发明基于深度残差网络的细胞分类方法的较佳实施例的流程图。

图2是本发明基于深度残差网络的细胞分类方法的具体流程图。

图3是本发明基于深度残差网络的细胞分类系统的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

HEp-2细胞的间接免疫荧光(IIF)探测技术主要用于核抗体(ANA)的分析, 是源于人类表皮细胞，用于一些重要的自身免疫性疾病的诊断和治疗。例如，系统性风湿性疾病、多发性硬化症、药物性红斑狼疮，系统性红斑狼疮和糖尿病等。由于HEp-2细胞具有很高的分裂能力，产生大量的抗原。专家通常使用荧光显微镜进行人工核抗体检查，但是大规模的检测和分析是非常繁琐，严重影响了工作效率。目前，出现的各种细胞自动分类系统虽然可以对细胞进行分类，但是其准确度还有待提高。为了解决上述问题，本发明提供一种基于深度残差网络的细胞分类方法，如图1所示，图1是本发明基于深度残差网络的细胞分类方法的较佳实施例的流程图。所述基于深度残差网络的细胞分类方法包括以下步骤：

步骤S100、获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集。

具体实施时，本发明主要实现的是对HEp-2细胞进行分类，HEp-2细胞为人类上表皮细胞，因此，为了提高HEp-2细胞分类的准确率，本发明需要构建自动对细胞进行分类的网络结构，以实现准确的细胞分类。本发明选取两种细胞图像的数据集进行训练，两种数据均来自ICPR会议竞赛的数据集，分别为第一数据集（ICPR2012）和第二数据集（ICPR2016）。所述第一数据集为细胞图像的三通道的RGB图集；所述第二数据集为细胞图像的单通道的灰度图集。因为两组数据集都是6类，分类类别上有很大相似性，有助于细胞的分类。

进一步地，步骤S200、采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络。

较佳的，所述步骤S200具体包括：

利用深度残差网络对所述第一数据集进行训练，得到训练后的网络结构，并对所述网络结构进行性能分析；

将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络，并对所述目标网络进行测试分析，输出分析结果；

根据所述分析结果，对所述目标网络进行参数调节与设置。

具体实施时，为了提高细胞的分类性能，从而提高细胞的准确性，本发明选取深度卷积网络（DCNN），DCNN通过多层端对端的网络具有很强的特征表达能力。因此，相对于传统的机器学习方法中的手工提取特征，DCNN因其强大的特征表达能力能够明显的提高分类性能。

但是由传统的DCNN算法对于特征学习过于直观。另外，在浅层网络一些特征表达具有一定程度不透明度，这对于HEp-2细胞分类没有足够的区分度，并且随着网络层的增加，梯度退化的问题难以消除。因此，本发明采用50层的深度残差网络对数据集进行训练，由于所述深度残差网络属于深度卷积网络，同样具有强大的特征表达能力。作为残差网络的主体结构，残差连接可以有效地解决退化问题。本发明采用残差网络并不是重叠每一层，而是开发一个剩余映射，通过直接使用这些层来显式拟合所需的底层映射。因为优化残余映射比优化原始映射更容易。如果一个恒等映射是最优的，那么将残差推到零比通过一堆非线性层拟合得到一个恒等映射要容易得多，这样就可以有下解决过拟合和梯度退化的问题。

具体地，本发明利用深度残差网络对所述第一数据集（ICPR2012）进行训练，得到训练后的网络结构，并对所述网络结构进行性能分析。然后将训练后的网络结构的不同网络差的权重迁移至第二数据集（ICPR2016）中继续进行训练，得到目标网络。而对于第二数据集（ICPR2016）来说，因为第二数数据集是单通道的灰度图，而在对第一数据集训练之后的网络结构需要输入的是三通道的图像，因此在对所述第二数据集进行训练之前需要对第二数据集中的单通道的灰度图集进行逆彩化处理，以放大图像的特征值。通过上述预处理，可以有效消除细胞图像中的噪声，对于细胞图像分类的增益效果会很明显。

当对第二数据集训练之后得到目标网络，本发明还需对所述目标网络进行测试分析，输出分析结果；根据所述分析结果，对所述目标网络进行参数调节与设置，以提高所述目标网络的分类性能，提高所述目标网络对于细胞分类的准确度。

进一步地，步骤S300、将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果。

具体实施时，本发明将待分类的人类上表皮细胞图像输入至目标网络中，得到用于对细胞图像进行分类的特征图；然后对所述特征图进行筛选，从中获取目标网络中输出层的特征图；将输出层的特征图输入至softmax函数中进行分析与测试，从而输出细胞图像的分类结果。通过本发明所创建的目标网络，有效减少了工作量，提高了工作效率，避免人为因素的误诊和检测人员的主观的差异，使得所述细胞图像分类更加准确。

基于上述实施例，本发明还提供了所述基于深度残差网络的细胞分类方法的具体流程图。如图2所示。从图2中可以看到整个算法的具体步骤。具体地，首先，利用生成对抗网络（Generative Adversarial Nets，GAN）联合迁移学习的策略进行数据集增强，解决生物医学细胞图像数据集偏小的问题。接着，利用迁移学习策略预先对ICPR2016数据集进行预处理，然后将经过ICPR2012数据集训练的参数和网络层转移到ICPR2016数据集中训练得到目标网络。目标网络的剩余层用随机加权初始化，并对目标数据进行训练。最后，在训练隐藏的50层深度残差网络中进行监督学习。如果所需特征隐藏在深层网络层中，那么这些隐藏层中的特征映射就会受到不同的训练。通过在网络的每个隐藏层适当地使用这个特性反馈，隐藏层的权重或过滤器会被直接更新。因此，可以利用此来鉴别特征图。将输出层的特征图用于最终分类。低层和中间层特征图被用作额外的反卷积层，全尺寸功能特征图被输入到softmax函数中进行预测，最终得到分类结果。

基于上述实施例，本发明还公开了一种基于深度残差网络的细胞分类系统，如图3所示，所述系统包括：

数据集获取模块100，用于获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集；具体如上所述。

数据集训练模块200，用于采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络；具体如上所述。

细胞图像分类模块300，用于将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果；具体如上所述。

所述第一数据集为细胞图像的三通道的RGB图集；所述第二数据集为细胞图像的单通道的灰度图集；所述细胞图像为人类上表皮细胞图像。

所述数据集训练模块200具体包括：

第一数据集训练单元，用于利用深度残差网络对所述第一数据集进行训练，得到训练后的网络结构，并对所述网络结构进行性能分析；具体如上所述。

第二数据集训练单元，用于将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络，并对所述目标网络进行测试分析，输出分析结果；具体如上所述。

参数调节设置单元，用于根据所述分析结果，对所述目标网络进行参数调节与设置；具体如上所述。

所述数据集训练模块200还包括：

逆彩化处理单元，用于对所述第二数据集中的单通道的灰度图集进行逆彩化处理，以放大图像的特征值；具体如上所述。

所述细胞图像分类模块300具体包括：

图像输入单元，用于将待分类的人类上表皮细胞图像输入至目标网络中，得到用于对细胞图像进行分类的特征图；具体如上所述。

特征图筛选单元，用于对所述特征图进行筛选，从中获取目标网络中输出层的特征图；具体如上所述。

分析与测试单元，用于将输出层的特征图输入至softmax函数中进行分析与测试，输出细胞图像的分类结果；具体如上所述。

所述特征图筛选单元具体还包括：获取目标网络中低层以及中间层的特征图，所述低层以及中间层的特征图用来作额外的反卷积层；具体如上所述。

综上所述，本发明提供的基于深度残差网络的细胞分类方法及系统，所述方法包括：获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集；采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络；将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果。本发明利用残差网络对数据集进行训练，并结合迁移学习的方法，创建了可自动分类的网络结构，有效解决了生物医学图像数据集偏小的问题，避免了过拟合情况的发生，不但减少了工作量，提高了工作效率，而且有效提高了细胞自动分类的正确率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于深度残差网络的细胞分类方法，其特征在于，所述方法包括：

获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集；其中，所述第一数据集为细胞图像的三通道的RGB图集；所述第二数据集为细胞图像的单通道的灰度图集；所述细胞图像为人类上表皮细胞图像；所述第一数据集和所述第二数据集的类别数量相同；所述数据集利用生成对抗网络联合迁移学习的策略进行增强；

采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络；所述采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络具体包括：

利用深度残差网络对所述第一数据集进行训练，得到训练后的网络结构，并对所述网络结构进行性能分析；

将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络，并对所述目标网络进行测试分析，输出分析结果；其中，所述将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络具体为将经过第一数据集训练的参数和网络层转移到第二数据集中训练，得到目标网络；

根据所述分析结果，对所述目标网络进行参数调节与设置；

所述深度残差网络的层数为50层；残差网络的每一层不重叠，开发有剩余映射；所述将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练之前还包括：

对所述第二数据集中的单通道的灰度图集进行逆彩化处理，以放大图像的特征值；将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果。

2.根据权利要求1中所述的基于深度残差网络的细胞分类方法，其特征在于，所述将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果具体包括：

将待分类的人类上表皮细胞图像输入至目标网络中，得到用于对细胞图像进行分类的特征图；

对所述特征图进行筛选，从中获取目标网络中输出层的特征图；

将输出层的特征图输入至softmax函数中进行分析与测试，输出细胞图像的分类结果。

3.根据权利要求2中所述的基于深度残差网络的细胞分类方法，其特征在于，所述对所述特征图进行筛选，从中获取目标网络中输出层的特征图还包括：

获取目标网络中低层以及中间层的特征图，所述低层以及中间层的特征图用来作额外的反卷积层。

4.一种基于深度残差网络的细胞分类系统，其特征在于，所述系统包括：

数据集获取模块，用于获取细胞图像的数据集，所述数据集包括第一数据集与第二数据集；其中，所述第一数据集为细胞图像的三通道的RGB图集；所述第二数据集为细胞图像的单通道的灰度图集；所述细胞图像为人类上表皮细胞图像；所述第一数据集和所述第二数据集的类别数量相同；所述数据集利用生成对抗网络联合迁移学习的策略进行增强；

数据集训练模块，用于采用深度残差网络对所述第一数据集进行训练，并将经训练后的网络迁移至所述第二数据集进行训练，得到目标网络；

其中，所述数据集训练模块具体包括：

第一数据集训练单元，用于利用深度残差网络对所述第一数据集进行训练，得到训练后的网络结构，并对所述网络结构进行性能分析；

第二数据集训练单元，用于将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络，并对所述目标网络进行测试分析，输出分析结果；其中，所述将训练后的网络结构的不同网络差的权重迁移至第二数据集中继续进行训练，得到目标网络具体为将经过第一数据集训练的参数和网络层转移到第二数据集中训练，得到目标网络；

参数调节设置单元，用于根据所述分析结果，对所述目标网络进行参数调节与设置；

所述数据集训练模块还包括：

逆彩化处理单元，用于对所述第二数据集中的单通道的灰度图集进行逆彩化处理，以放大图像的特征值；

细胞图像分类模块，用于将待分类的细胞图像输入至所述目标网络中，得到特征图，并对所述特征图进行分析，输出细胞图像的分类结果；

所述第一数据集为细胞图像的三通道的RGB图集；所述第二数据集为细胞图像的单通道的灰度图集；所述细胞图像为人类上表皮细胞图像；

所述深度残差网络的层数为50层；残差网络的每一层不重叠，开发有剩余映射。

5.根据权利要求4中所述的基于深度残差网络的细胞分类系统，其特征在于，所述细胞图像分类模块具体包括：

图像输入单元，用于将待分类的人类上表皮细胞图像输入至目标网络中，得到用于对细胞图像进行分类的特征图；

特征图筛选单元，用于对所述特征图进行筛选，从中获取目标网络中输出层的特征图；

分析与测试单元，用于将输出层的特征图输入至softmax函数中进行分析与测试，输出细胞图像的分类结果；

所述特征图筛选单元具体还包括：获取目标网络中低层以及中间层的特征图，所述低层以及中间层的特征图用来作额外的反卷积层。

Images