CN107977682B - 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 - Google Patents

Abstract

本发明公开了一种基于极坐标变换数据增强的淋巴类细胞分类方法及其装置，属于计算机视觉领域。分类方法包括：S1获取细胞图像；S2计算图像的R通道与G通道的比值矩阵；S3对比值矩阵进行直方图统计并二值化；S4对二值图像做形态学处理；S5提取细胞的边缘像素点并分割细胞；S6选取细胞边缘像素点为极点，建立极坐标系，把图片用极坐标变换映射到直角坐标系中；S7遍历边缘像素点，得到变换后的细胞图像；S8用ResNet训练细胞图像，并测试分类结果。本发明提出了一种新的数据增强方法，可以用极少的标记数据进行分类，而且有效地分开了难以识别的大颗粒淋巴细胞与异型淋巴细胞。

Description

基于极坐标变换数据增强的淋巴类细胞分类方法及其装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于极坐标变换数据增强的淋巴类细胞分类方法及其装置。

背景技术

近年来，随着深度学习在各个领域的迅猛发展，在医学病理检测中，如何用深度学习的方法检测并分类各种细胞成为一个广泛关注的热点问题。基于显微图像的细胞检测和分类过程如下：首先获取细胞的显微图像，再运用一系列算法，将细胞与背景分割开，放入网络中训练。在训练过程中，为了出现过拟合的现象，需要输入充足的数据量，即要做数据增强。

目前，深度学习中常用的数据增强方法大致有四种：

第一种方法是对颜色的数据增强，包括调整色彩的饱和度、亮度和对比度等方面。具体操作方法为，在图像的HSV颜色空间，改变饱和度S和亮度V分量，保持色调H不变。对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间),增加光照变化。

第二类是PCA Jittering，最早是由Alex在他2012年赢得ImageNet竞赛的那篇NIPS中提出来的。首先按照RGB三个颜色通道计算均值和标准差，对网络的输入数据做normalization，随后在整个训练集上计算了协方差矩阵，进行特征分解，得到特征向量和特征值，用来做PCA Jittering。

第三类是Random Crop，该方法采用随机图像差值方式，对图像进行裁剪、缩放。包括Scale Jittering方法(VGG及ResNet模型使用)或者尺度和长宽比增强变换。缩放(zoom)就是按照一定的比例放大或缩小图像。翻转(flip)是沿着水平或者垂直方向翻转图像。旋转(rotation)是随机旋转图像一定角度。

第四类方法是噪声扰动。对图像的每个像素点RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声。

在以上这些算法中，最常用的数据增强算法是对图像进行缩放、翻转和旋转。但是该方法至少具有以下缺点：在处理医学细胞图像时，普通的旋转、翻转和缩放并不能提高网络的泛化能力，而裁剪和特征分解等方法，在没有人工干预的条件下，很难准确找到细胞之间的差异部分，从而有效判断细胞分类。另外，由于人体血液中各类细胞的含量不同，已有的大颗粒淋巴细胞数据量不到异型淋巴数据量的十分之一，在极大的数据量差别下，上述的几种方法都不能准确分类。

发明内容

针对上述现有技术中存在的缺陷，为了增加淋巴类细胞分类的准确度，本发明的目的是提供一种基于极坐标变换的数据增强方法，能准确高效地针对细胞间的差异做数据增强，并且能够处理数据量相差非常大的情况。本发明的另外一个目的是提供实现该方法的装置。

为了实现上述发明目的，本发明方法采用的技术方案如下：

基于极坐标变换数据增强的淋巴类细胞分类方法，包括如下步骤：

S1，获取染色血细胞的原始图像；

S2，分离原始图像的RGB通道，计算R通道与G通道的比值矩阵；

S3，根据R通道与G通道的比值绘制比值矩阵的直方图，根据阈值范围将原始图像二值化，得到淋巴细胞和异型淋巴细胞的二值图像；

S4，将二值图像进行一系列的形态学处理；

S5，用连通域的方法提取经形态学处理后的细胞图像的边缘像素点，找到细胞上下左右的边缘像素点，然后分割细胞；

S6，取细胞边缘的任一像素点为极点，建立极坐标系，将所有像素点用极坐标变换一一映射到直角坐标系中；

S7，遍历细胞的边缘像素点，每个像素点产生一张变换后的图像；

S8，将步骤S7得到的变换后的图像作为神经网络的输入，训练网络，测试分类结果，分出淋巴细胞和异型淋巴细胞。

本发明装置采用的技术方案如下：

基于极坐标变换数据增强的淋巴类细胞分类装置，包括：显微图像获取模块，用于获取淋巴类细胞的显微图像；图像预处理模块，用于选取血细胞显微图像中的淋巴类细胞；细胞分割模块，用于把淋巴类细胞从背景中分割出来，去除周围的红细胞，保留细胞浆和细胞核；细胞边缘提取模块，用于根据淋巴细胞和异型淋巴细胞的特征，提取淋巴类细胞的边缘像素点信息；图像数据增强模块，用于增大训练样本数，放大细胞的边缘特征，平衡已标记细胞的数据量；神经网络训练模块，用于学习已标记样本的特征；淋巴类细胞分类模块，用于对新的淋巴类细胞数据做分类。

本发明提出了一种新的数据增强方法，通过极坐标变换做数据增强，将淋巴类细胞的边缘像素点投射到极坐标系上，再用神经网络训练后分类。该方法不仅可以用极少的标记数据进行分类，而且有效地分开了难以识别的大颗粒淋巴细胞与异型淋巴细胞，把原本需要用非线性分类器分类的细胞，简单地用线性分类器就能分出良好的效果，减少了过拟合现象，在各类数据量相差极大的情况下，大大增加了细胞分类的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的劳动前提下，还可以根据这些附图获得其他的附图。

图1是根据极坐标变换推导出对应空间点坐标的示意图。

图2是极坐标变换实现数据增强的具体算法流程表。

图3是进行基于极坐标数据增强前后细胞图片对比图，左图为数据增强前，右图为数据增强后。

图4是本发明极坐标变换数据增强方法的流程图。

图5是本发明淋巴细胞分类装置的结构示意图。

具体实施方式

为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。

实施例1

本实施例提供了一种基于极坐标变换数据增强的淋巴细胞检测与分类方法，参见图4，具体包括：

S1：对原始图像分离通道，计算R通道与G通道数值比矩阵。

将样本血液染色后制作成血涂片。在显微镜下观看，血涂片中包含白细胞、红细胞和血小板等。经过染色，白细胞核与血小板呈紫色，白细胞浆呈淡紫色，红细胞呈淡粉色。用DP27相机拍摄血细胞图片传到计算机中，获取原始图像。

每张原始图像中有若干个白细胞和无数红细胞。为了提取白细胞，分离原始图像的RGB三通道，并绘制三个通道的直方图。计算R通道与G通道的比值。

S2：绘制矩阵的直方图，根据直方图信息确定阈值范围，得到二值化的图像。

其中，淋巴类细胞属于白细胞，为前景。其余细胞为背景。根据直方图，找到分离背景与前景的临界点为1.19。用for循环遍历矩阵中的每一个像素，访问像素值，大于1.19的区域为细胞浆和细胞核，将像素值设为255；小于1.19的为背景区域，即红细胞和其他背景，将像素值设为0。由此得到淋巴类细胞的二值图像。

S3：对上述图像进行一系列形态学运算，提取细胞边缘像素坐标信息。

具体地，先对淋巴类二值图像进行用imfill函数进行填充运算，填补漏洞。然后用10×10的模板对图像进行闭运算处理。在血涂片的制作和染色过程中，由于人工操作的失误，会将一些细胞弄破，或是染色不均衡，这对上述步骤S2中的二值化结果产生影响。用闭运算处理可以将一些染色不当的背景区域滤除。最后，因为血小板和细胞核的染色结果一样，去除连通区域像素点小于1000的区域就可以去除血小板，得到淋巴类细胞。

S4：对上述图像进行分割，得到带有边缘红细胞的细胞图像，图像大小为n*n。

具体地，淋巴类细胞分为大颗粒淋巴细胞、淋巴细胞、异型淋巴细胞。在这三种细胞中，大颗粒淋巴细胞和异型淋巴细胞最难区分，目前的血液分析仪等检测器不能有效分类这两种淋巴类细胞，造成很大误诊率，需要医生的人工判断。而上述两种细胞的差别在于细胞浆与红细胞的接触边缘有无变形和颜色加深。因此，单纯分割出淋巴类细胞并不能进行有效分类。本方法保留淋巴类细胞和红细胞接触的边缘区域。

用连通域的方法提取处理后的细胞图像的边缘像素点，找到细胞上下左右的边缘像素点，分割细胞，这里采用8邻域连通。

首先从上往下、从左往右对图像进行扫描，找到连通区域的第一个目标段，标记该段并且压入堆栈，作为“区域增长”的种子段。检查当前段的上下两行是否有重叠且未标记的目标段。如果不存在重叠的目标段就把当前段弹出堆栈；如果存在重叠且未标记的目标段，则标记该段并且压入堆栈，作为新的“种子段”。后续操作不断从堆栈中取出种子段，重复上述操作直到堆栈为空(标记完一个连通区域)。接着搜索图像中下一个未标记的连通区域，重复上述操作直到图像中所有的连通区域标记完毕。

本行目标段(X_s1,X_e1)和上下两行目标段(X_s2,X_e2)重叠的准则是：

X_s1-1≤X_e2并且X_e1+1≥X_s2

其中，X_s1表示本行目标段的起始坐标，X_e1表示本行目标段的结束坐标。X_s2表示上下两行目标段的起始坐标，X_e2表示上下两行目标段的结束坐标。

设连通区域总数为num，则对每一个区域inum，找出行的最小值与最大值：x1，x2，找出列的最小值与最大值：y1，y2。考虑到神经网络的输入，将图片大小统一设置成224×224。这样既能保留边缘的红细胞信息，又能利于网络的计算。

S5：取细胞边缘任一坐标点为极点，建立极坐标系，将其余像素点通过极坐标变换得到直角坐标，得到新图像。

在一张M×N大小的图像I中，取直角坐标系中细胞边缘的任一像素点(m,n)为极点，建立极坐标系。用M条射线将2π划分成M个角度，单位角度为2π/M。比如，在一张M×N＝224×224的图像I中，选取(90,100)这个点为极点，则图像I以(90,100)为中心，被224条射线划分成224个单位角度。那么在极坐标射线上的每个像素都可以用直角坐标表示为(90+x,100+y)，也可以用极坐标表示为(θ_u,v)。其中，

x＝v·cos(θ_u)

y＝v·sin(θ_u)

设变换后的图像为

如果满足条件0≤m+x＜M且0≤n+y＜V，即确保点(m+x,n+y)落在图像I内，则

即可得到变换后的新图像

作为数据增强的结果。

S6：顺着边缘移动像素点，以新像素点为极点再次将图像映射到直角坐标系中。循环此步骤，直到遍历整个细胞边缘。

S7：将所有变换后的图片作为ResNet的输入，经过网络的训练及测试，得到分类的淋巴细胞与异型淋巴细胞。

具体地，本方法采用的神经网络为深度残差网络，即ResNet。这个网络的优点是，随着层数的增加，网络的精度不断上升，不会出现梯度爆炸和梯度弥散的现象。采用残差作为网络的输出，加快了收敛速度，对细胞间微小的差异更加敏感。

将所有原始细胞数据(大颗粒淋巴细胞、淋巴细胞和异型淋巴细胞)随机分为两类，一类为训练数据，占总数据的2/3，一类为测试数据，占总数据的1/3。其中大颗粒淋巴数据量为异型淋巴数据量的十分之一。将训练数据做极坐标数据增强，得到所有的训练数据。把所有训练数据输入ResNet中，经过网络的学习，得到checkpoint文件，该文件存储了网络模型的各类参数。用测试图片进行测试，得到分类准确率。

实施例2

参见图5，本发明实施例提供了一种基于极坐标变换数据增强的淋巴类细胞检测与分类的装置，包括：

显微图像获取模块201，用于获取淋巴类细胞的原始图像；

显微图像采集工具可以包括普通相机、扫片机等可以拍摄图像的工具。在医学检验科，最好的细胞拍摄仪器为扫片机，该仪器带有电动载物台，可以自动锁定白细胞并聚焦拍摄。拍摄效果清晰。其次可用显微镜和相机组合拍摄，该方法需要人工对焦和移动载玻片。为节省成本，本装置采用显微镜和相机的组合获取原始图像。

图像预处理模块202，对图像做一系列形态学运算，分离背景和前景；

具体地，以400倍显微镜拍摄的血涂片为例，一张图片有数个白细胞和无数红细胞。对图像做二值化、填充、开运算、去除小块等运算，定位淋巴类细胞。

细胞分割模块203，用于从原图中分割出淋巴类细胞，将无用的背景和其他细胞剔除，并保留对分类结果有影响的边缘红细胞；

细胞边缘提取模块204，用于保留淋巴类细胞的细胞浆与红细胞接触的边缘像素点，这些像素点的值对大颗粒淋巴细胞和异型淋巴细胞的分类至关重要；

图像数据增强模块205，将所有图像对应的深度图转化为数据矩阵，具体方法为：

遍历保留的每一个边缘像素点，以该像素点为极点，做极坐标变换，将图像投射到极坐标系中，由于极坐标变换的特点，靠近极点的区域过采样，远离极点的区域欠采样。这样放大了细胞边缘的特征。

神经网络训练模块206，用于学习细胞分类的各种参数。

具体地，本实例采用深度残差网络ResNet进行学习。将输入图片向量化，每张图片默认大小为224×224，输入50层的ResNet中，迭代次数为1000次，初始学习率为0.001。网络末端用softmax分类器连接。训练参数保存在checkpoint文件中。

淋巴类细胞分类模块207，将未标记的淋巴类细胞输入网络中，网络用test对淋巴类细胞分类。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。

Claims (8)

1.基于极坐标变换数据增强的淋巴类细胞分类方法，其特征在于，包括如下步骤：

S1，获取染色血细胞的原始图像；

S2，分离原始图像的RGB通道，计算R通道与G通道的比值矩阵；

S3，根据R通道与G通道的比值绘制比值矩阵的直方图，根据阈值范围将原始图像二值化，得到淋巴细胞和异型淋巴细胞的二值图像；

S4，将二值图像进行一系列的形态学处理；

S5，用连通域的方法提取经形态学处理后的细胞图像的边缘像素点，找到细胞上下左右的边缘像素点，然后分割细胞；

S6，取细胞边缘的任一像素点为极点，建立极坐标系，将其余像素点用极坐标变换一一映射到直角坐标系中；

S7，遍历细胞的边缘像素点，以新像素点为极点再次将图像映射到直角坐标系中，因此每个边缘像素点作为极点都能产生一张变换后的图像；

S8，将步骤S7得到的变换后的图像作为神经网络的输入，训练网络，测试分类结果，分出淋巴细胞和异型淋巴细胞。

2.根据权利要求1所述的基于极坐标变换数据增强的淋巴类细胞分类方法，其特征在于，所述步骤S3中，阈值范围的确定方法具体为：淋巴类细胞属于白细胞为前景，其余细胞为背景，找到分离背景与前景的临界点为1.19，大于1.19的区域为细胞浆和细胞核，将像素值设为255；小于1.19的区域为背景区域，将像素值设为0。

3.根据权利要求1所述的基于极坐标变换数据增强的淋巴类细胞分类方法，其特征在于，所述步骤S4中，形态学处理的方法为：先对二值图像进行填充运算，填补漏洞；然后用10×10的模板进行闭运算处理，将一些颜色较深的背景细胞滤除；最后去除连通区域像素点小于1000的区域。

4.根据权利要求1所述的基于极坐标变换数据增强的淋巴类细胞分类方法，其特征在于，所述步骤S5中，连通域的方法采用8邻域连通，具体为：

(1)首先从上往下、从左往右对图像进行扫描，找到连通区域的第一个目标段，标记该段并且压入堆栈，作为“区域增长”的种子段；

(2)检查当前段的上下两行是否有重叠且未标记的目标段；如果不存在重叠的目标段，则把当前段弹出堆栈；如果存在重叠且未标记的目标段，则标记该段并且压入堆栈，作为新的“种子段”；本行目标段(X_s1,X_e1)和上下两行目标段(X_s2,X_e2)重叠的准则是：

X_s1-1≤X_e2并且X_e1+1≥X_s2；

其中，X_s1表示本行目标段的起始坐标，X_e1表示本行目标段的结束坐标；X_s2表示上下两行目标段的起始坐标，X_e2表示上下两行目标段的结束坐标；

(3)后续操作不断从堆栈中取出种子段，重复步骤(2)直到堆栈为空，即标记完一个连通区域；

(4)接着搜索图像中下一个未标记的连通区域，重复上述步骤(1)-(3)直到图像中所有的连通区域标记完毕。

5.根据权利要求1所述的基于极坐标变换数据增强的淋巴类细胞分类方法，其特征在于，所述步骤S6中，具体实现方法为：在一张M×N大小的图像I中，取直角坐标系中细胞边缘的任一像素点(m,n)为极点，建立极坐标系，其中M、N为像素点个数；用M条射线将2π划分成M个角度，单位角度为2π/M；那么在极坐标射线上的每个像素都可以用直角坐标表示为(m+x，n+y)，也可以用极坐标表示为(θ_u,v)，其中，v表示极坐标系中像素点的极径，θ_u表示极坐标系中像素点的极角：

x＝v·cos(θ_u)

y＝v·sin(θ_u)

设变换后的图像为

如果满足条件0≤m+x＜M且0≤n+y＜N，即确保点(m+x,n+y)落在图像I内，则

即可得到变换后的图像

作为数据增强的结果。

6.根据权利要求1所述的基于极坐标变换数据增强的淋巴类细胞分类方法，其特征在于，所述步骤S7中，具体实现方法为：存储每个细胞边缘像素点的坐标，以这些坐标为极点，建立极坐标系，重复步骤S6，直到所有边缘像素都被变换；如果有n个像素点，就会产生n张变换的图像。

7.根据权利要求1所述的基于极坐标变换数据增强的淋巴类细胞分类方法，其特征在于，所述步骤S8中，具体实现方法为：将所有原始细胞数据，包括淋巴细胞和异型淋巴细胞，随机分为两类：一类为训练数据，占总数据的2/3；一类为测试数据，占总数据的1/3；将训练数据做极坐标数据增强，得到所有的训练数据；然后把所有训练数据输入深度残差网络中，经过网络的学习，得到checkpoint文件，该文件存储了网络模型的各类参数；用测试图片进行测试，得到分类准确率。

8.基于极坐标变换数据增强的淋巴类细胞分类装置，其特征在于，所述装置包括：

显微图像获取模块，用于获取淋巴类细胞的显微图像；

图像预处理模块，用于选取血细胞显微图像中的淋巴类细胞；

细胞分割模块，用于把淋巴类细胞从背景中分割出来，去除周围的红细胞，保留细胞浆和细胞核；

细胞边缘提取模块，用于根据淋巴细胞和异型淋巴细胞的特征，提取淋巴类细胞的边缘像素点信息；

图像数据增强模块，用于增大训练样本数，放大细胞的边缘特征，平衡已标记细胞的数据量；其中，放大细胞的边缘特征具体为：取细胞边缘的任一像素点为极点，建立极坐标系，将其余像素点用极坐标变换一一映射到直角坐标系中；遍历细胞的边缘像素点，以新像素点为极点再次将图像映射到直角坐标系中，因此每个边缘像素点作为极点都能产生一张变换后的图像；

神经网络训练模块，用于学习经图像数据增强模块变换后的图像的特征；

淋巴类细胞分类模块，用于对新的淋巴类细胞数据做分类。

Images