CN114862765B - 一种细胞分层图像处理方法 - Google Patents

Abstract

本发明公开了一种细胞分层图像处理方法，先对图像进行霍夫直线检测，找出其近似直线的分层线，再利用基于梯度变化的方法找到剩余的分层线，包括以下步骤：S1从采集的细胞分层图像中提取有效区域并去噪；S2采取阈值分割操作；S3进行形态学的膨胀操作以去除毛刺；S4进行取反操作；S5对图像进行霍夫直线检测；S6用基于梯度的方法找到剩余分层线。本发明的细胞分层图像处理方法，采用基于霍夫直线检测和梯度变化的方法对离心后的图像进行分层，整个算法流程不涉及对亮度和颜色的判别，避免了光照等外界因素对图像的影响，且使用机器视觉的方法对图像进行相应的处理来实现分层，计算量少，运算速度快。

Description

一种细胞分层图像处理方法

技术领域

本发明涉及医学图像处理技术领域，具体涉及一种细胞分层图像处理方法。

背景技术

当前随着人口老龄化严重和严重疾病的困扰，全世界范围内都在进行积极的推行细胞疗法，免疫细胞与干细胞等细胞产品对人类大健康有着举足轻重的现实意义。目前为止，细胞制备技术得到了一定的发展，不再需要过多的人工干预或干涉，整个制备过程都实现了自动化和智能化生产。在细胞制备过程中，主要包括功能模块，分别是细胞分离、细胞培养。以上这些功能模块都是智能化操作，其中，基于图像处理的细胞分层方法属于细胞分离模块，其主要目的是分离出白细胞，以分离标准判定分离的阶段及决定是否终止细胞分离操作，从而采取一系列的终止分离操作。

随着时代发展和科技进步，图像处理技术在培养细胞分层方面应用越来越广泛。现阶段对培养血细胞经过离心后的图像分层方法主要包括人工的方法和基于机器视觉的方法，现有基于图像处理的图像分层方法，大都是采用分割的方法。

传统的人工方法主要利用相关的工具去手工测量分层线，效率低、测量的误差还很大。现阶段利用机器视觉的方法去测量细胞分层线虽然省去了人工，提升了效率，但仍然面临易找不到分层线的问题。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种细胞分层图像处理方法，效率高、分层准确率高、误差小。

为解决上述技术问题，本发明提出的技术方案为：

一种细胞分层图像处理方法，先对图像进行霍夫直线检测，找出其近似直线的分层线，再利用基于梯度变化的方法找到剩余的分层线，包括以下步骤：

S1，从采集的细胞分层图像中提取有效区域并去噪；

S2，对经过去噪后的图像采取阈值分割操作；

S3，对分割后对图像进行形态学的膨胀操作以去除毛刺；

S4，对膨胀和去除毛刺之后的图像进行取反操作；

S5，经过对图像取反后，对图像进行霍夫直线检测；

经过取反处理后的图，横坐标为x轴，纵坐标为y轴，x轴上的每一个像素对应y轴像素和，统计y轴像素分布情况，像素分布情况可表示如下：

在式中，w为图像的宽，h为图像的高，f(x,y)表示在(x,y)坐标下的像素，f_y(x,y)表示当前x轴坐标对应的y轴像素和，像素分布情况与分层线一一对应；

S6，用基于梯度的方法找到剩余分层线；

对步骤S5得到的前两条分层线之间的图像区域以x轴为横坐标，像素在x轴上的梯度变化为纵坐标y轴，统计梯度变化；梯度变化最大值或最小值超过了预设的阈值，图像里最大值或最小值所对应的x轴坐标表示图像对应的剩余的分层线的x坐标，利用分层线的x轴坐标画出剩余分层线。

作为上述技术方案的进一步改进：

优选地，所述步骤S1中，具体包括如下方法：

步骤S11，使用的图像为RGB三通道，数字图像中每一个通道数的像素值均为0～255，原图转换为灰度图，转换公式如下：

Grey＝0.299×R+0.587×G+0.114×B

转换后的灰度图为单通道图，灰度图的灰度值在0～255变化；

步骤S12，为了得到图像在水平方向上的梯度边缘信息，对步骤S11得到的灰度图使用Sobel算子进行处理；只求取水平方向的边缘检测图像；

步骤S13，对得到的边缘检测图像进行高斯滤波的减噪过程。

优选地，所述步骤S2中，设定一个阈值，用阈值将图像的数据分成两部分：大于阈值的像素群和小于阈值的像素群，表达式如下：

其中，src(x,y)为滤波后的图像在坐标(x,y)下的像素值，dst(x,y)为阈值分割后生成的二值图的对应像素值，在参数选取上thresh为23，maxVal为255，经过阈值分割后的图像每个像素值为0或255。

优选地，所述步骤S3中，膨胀操作的表达式为：

该公式表示用B来对图像A进行膨胀处理，其中B是结构元素，A表示阈值分割后的图像，通过B与图像A进行卷积计算，计算B覆盖区域的像素点最大值，并用该值替换图像A的像素值实现膨胀，经过膨胀运算后的图像分层区域光滑且排除了背景的干扰。

优选地，所述步骤S4中，取反操作的运算式为：

dst(x,y)＝1-f(x,y)

其中，dst(x,y)表示取反后的图像的像素点，f(x,y)表示膨胀后的图像对应的像素点，经过取反后，产生的图像像素点与膨胀后的图相反。

优选地，所述步骤S5中，具体如下：

S51，利用霍夫直线检测检测出的每一条直线都由向量(x₁,y₁,x₂,y₂)组成，每一条分层线都可以用坐标(x₁,y₁)和(x₂,y₂)来表示；由于分层线是垂直于横轴的，故x₁＝x₂，利用x₁坐标表示分层线；

S52，经过步骤S4处理后的图像，以x轴为横坐标，x轴上的每一个像素对应的y轴像素和为纵坐标，统计y轴像素分布情况，像素分布情况如下：

在式中，w为图像的宽，h为图像的高，f(x,y)表示在(x,y)坐标下的像素，f_y(x,y)表示当前x轴坐标对应的y轴像素和，像素分布情况与分层线一一对应；

S53，对步骤S52中y轴像素和大于阈值的x坐标进行统计，与步骤S51中霍夫直线检测得到的x1坐标构成一个整体，得到的x轴坐标即区分像素变化明显的分层线。

优选地，所述步骤S6中，具体如下：

S61，对步骤S5得到的前两条分层线之间的图像区域以x轴为横坐标，像素在x轴上的梯度变化为纵坐标，统计梯度变化，梯度变化表示如下：

式中，f_y(x+a,y)表示当前x+a轴坐标对应的y轴像素和，a表示步长，步长随图像的变化而改变，表示如下：

其中，(x₁-x₀)表示前两条分层线对应的x轴位置差；

S62，对梯度变化做可视化图，图像像素变化能用梯度表示；

S63，若梯度变化最大值或最小值超过了预设的阈值，则图像里最大值或最小值所对应的x轴坐标即表示图像对应的剩余的分层线的x坐标，利用分层线的x轴坐标画出剩余分层线。

本发明提供的细胞分层图像处理方法，与现有技术相比有以下优点：

本发明的细胞分层图像处理方法，采用基于霍夫直线检测和梯度变化的方法对离心后的图像进行分层，整个算法流程不涉及对亮度和颜色的判别，且进行了一定的预处理，避免了光照等外界因素对图像的影响。整个算法的流程包括灰度化、Sobel算子、高斯滤波、阈值分割、膨胀、取反、霍夫直线检测、求取梯度、绘制像素和梯度可视化图以及绘制分界线。整个算法流程不直接对血细胞和细胞液进行处理，而是巧妙的利用不同层之间的像素和霍夫直线检测的方法，并结合像素的梯度变化来提取层与层之间的分层线，保证了分层的准确率。本发明使用机器视觉的方法对图像进行相应的处理来实现分层，计算量少，运算速度快，计算机每秒钟处理的图像达到10张，相比于人工识别的方法具有很大速度的优势。

附图说明

图1是本发明实施例提供的细胞分层图像处理方法中原始细胞分层图像。

图2是图1经过Sobel算子处理后的图；

图3是图2经过高斯滤波处理后的图；

图4是图3经过阈值分割处理后的图；

图5是图4经过膨胀处理后的图；

图6是图5经过取反处理后的图；

图7是图6像素分布情况图；

图8是图7像素变化明显的分层划线图；

图9是图8像素梯度变化示意图；

图10是图9最终分层效果图。

具体实施方式

以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如附图1至图10所示，本发明提供一种细胞分层图像处理方法，包括以下步骤：

采集的原始的细胞分层图像参见图1，通过高速相机采集一定时间内盛放在培养器内的细胞液在高速离心状态下的图像——细胞分层图像，图1中，从左到右的层分分别为空气层、培养液层、悬浮白细胞层、培养液层、沉淀白细胞层、杯壁，其分层的顺序按照细胞密度的大小排列；在处理前需要去除非培养液成像区域。

分层的主要目的是将所给的培养细胞经过离心后的图像进行分层，找出悬浮白细胞层、培养液、沉淀白细胞层、空气等的边界。

观察到图像在x轴上像素变化明显的区域需要分层的线近似为一条直线，如图1所示。先对图像进行霍夫直线检测(Hough Line Detection)，找出其近似直线的分层线，再利用基于梯度变化(Gradient Change)的方法找到剩余的分层线。

步骤S1，从采集的细胞分层图像中提取区域并去噪。

参见图1，图像两边是不涉及细胞分层的无效区域，因此只提取有效区域。如图1中，有效区域为悬浮白细胞、培养液及沉淀白细胞附近的区域。具体实现方法如下所示：

步骤S11，本发明使用的图像为RGB三通道，分辨率大小为1280×60的数字图像，其中，数字图像中每一个通道数的像素值均为0～255。为了平衡不同图像间的亮度差异，首先将原图，即图1，转换为灰度图，转换公式如下：

Grey＝0.299×R+0.587×G+0.114×B (1)

如式1，图像的灰度值由三个通道的像素值加权求和得到，转换后的灰度图为单通道图，灰度图的灰度值在0～255变化。

步骤S12，为了得到图像在水平方向上的梯度边缘信息，对步骤S11得到的灰度图使用Sobel算子进行处理。

Sobel算子主要用于边缘检测，根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘，对噪声具有平滑作用，提供较为精确的边缘方向信息，是一种较为常用的边缘检测方法，其计算公式如下：

其中，A表示灰度图，式中的两组3×3矩阵为Sobel算子在水平方向和垂直方向的模板矩阵，将两组模板矩阵分别与灰度图做平面卷积，即可得到水平方向和垂直方向的边缘检测图像G_x，G_y。在本发明中，由于图像在水平方向上的梯度变化显著，垂直方向梯度变化较小，故只求取水平方向的边缘检测图像G_x，边缘检测图像G_x如图2所示。

步骤S13，从图2中可以看出，灰度图的水平梯度边缘信息提取的较充分，但在图像其他区域仍有少许的干扰噪声，为了解决该问题，进而对得到的边缘检测图像G_x进行高斯滤波。

高斯滤波(Gaussian Filtering)是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。本发明利用高斯滤波来提高边缘检测图像G_x的信噪比，降低高斯噪声。使用高斯滤波的具体操作为：用一个指定的高斯滤波器模板(或称卷积、掩膜)扫描图像G_x的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。本发明使用的高斯滤波器模板服从二维高斯分布，大小为3×3，高斯分布表达式如下：

其中，(x,y)为模板内任一点的坐标，(ux,uy)为模板内中心点的坐标，可认为是整数，σ是标准差，高斯滤波后的图像如图3所示。

步骤S2，经过滤波后，需要对滤波后的图像采取阈值分割操作(ThresholdSegmentation)，便于后续直线检测。

图像阈值分割是一种基于区域的图像分割技术，原理是把图像像素点分为若干类，是一种传统的最常用的图像分割方法，其实现简单、计算量小、性能较稳定，是最基本和应用最广泛的分割技术，适用于目标和背景占据不同灰度级范围的图像。此外，它不仅可以极大的压缩数据量，而且也大大简化了分析和处理步骤，是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。本发明采用的阈值分割为简单阈值分割，即设定一个阈值，用阈值将图像的数据分成两部分：大于阈值的像素群和小于阈值的像素群，表达式如下：

其中，src(x,y)为滤波后的图像在坐标(x,y)下的像素值，dst(x,y)为阈值分割后生成的二值图的对应像素值，在参数选取上thresh为23，maxVal为255，经过阈值分割后的图像每个像素值为0或255，如图4所示。

步骤S3，从图4能注意到阈值分割后的图像仍然存在少许背景噪声，同时在分层线附近存在毛刺，因此对分割后对图像进行形态学的膨胀操作以去除毛刺，消除噪声。

膨胀操作属于形态学运算的一种，其实质就是用结构元素去扫描整个图像，将结构元素的中心和图像的目标像素点进行重合，然后将结构元素和目标像素点邻域相对应的元素值进行相乘，然后将最大值赋值给目标像素点作为值。膨胀操作的表达式为：

如式5所示，该公式表示用B来对图像A进行膨胀处理，其中B是结构元素，其形状可以为正方形或圆形，A表示阈值分割后的图像，通过B与图像A进行卷积计算，扫描图像中的每一个像素点，用结构元素与二值图像元素做“与”运算，如果都为0，那么目标像素点为0，否则为1。从而计算B覆盖区域的像素点最大值，并用该值替换图像A的像素值实现膨胀。在本发明中，结构元素的类型为矩形，大小为5×25，经过膨胀运算后生成的图像如图5所示，可以观察到图5的图像分层区域较光滑且排除了背景的干扰，利于后续的处理。

步骤S4，随后对图像进行取反操作。

取反操作的运算式为：

dst(x,y)＝1-f(x,y) (6)

其中，dst(x,y)表示取反后的图像的像素点，f(x,y)表示膨胀后的图像对应的像素点，膨胀后的图像像素点为0或1，经过取反后，产生的图像像素点与膨胀后的图相反，即0→1，1→0，取反后生成的图像如图6所示。

步骤S5，经过对图像取反后，对图像进行霍夫直线检测。

霍夫直线检测就是把图像空间中的直线变换到参数空间中的点，通过统计特性来解决检测问题。举例来说，若图6中的像素构成一条直线，那么这些像素坐标值(x,y)在参数空间对应的曲线一定相交于一个点，所以只需要将图像中的所有像素点(坐标值)变换成参数空间的曲线，并在参数空间检测曲线交点就可以确定直线。利用霍夫直线检测检测出的每一条直线都由向量(x₁,y₁,x₂,y₂)组成，每一条分层线都可以用坐标(x₁,y₁)和(x₂,y₂)来表示。由于分层线是垂直于横轴的，故x₁＝x₂，利用x₁坐标即可表示分层线。

同时，通过图6可以明显看出，白色像素集中于分层线附近区域，黑色像素分布于其他非分层区域，因此，为了避免图6分层区域像素分布不均匀造成的划线误差，对图6的图像以x轴为横坐标，x轴上的每一个像素对应的y轴像素和为纵坐标，统计其y轴像素分布情况，像素分布情况可表示如下：

在式中，w为图像的宽，即w＝1280，h为图像的高，即h＝60，f(x,y)表示在(x,y)坐标下的像素，f_y(x,y)表示当前x轴坐标对应的y轴像素和，f_y(x,y)分布情况如图7所示。从图7可以明显看出其像素分布情况与分层线一一对应。对图7中的y轴像素和大于阈值1000的x坐标进行统计，与前面霍夫直线检测得到的x₁坐标构成一个整体。通过以上步骤得到的x轴坐标即可以区分像素变化明显的分层线，像素变化明显的分层线划线图如图8所示。

步骤S6，用基于梯度的方法找到剩余分层线。

对于像素变化较平缓的中间区域，通过以上步骤不易检测出分层线，需要用基于梯度的方法找到剩余分层线，具体实施过程如下：对步骤S5得到的前两条分层线之间的图像区域以x轴为横坐标，像素在x轴上的梯度变化为纵坐标，统计梯度变化(剩余潜在的分层线一般都在前两条分层线之间)，梯度变化可表示如下：

如式所示，f_y(x+a,y)表示当前x+a轴坐标对应的y轴像素和，a表示步长，在本方法中，步长随图像的变化而改变，可表示如下：

其中，(x₁-x₀)表示前两条分层线对应的x轴位置差。对式8的梯度变化做可视化图，如图9所示，可以观察到图像像素变化能用梯度明显的表示出来。

若图9里面的梯度变化最大值/最小值超过了经验法设置的阈值(本方法最大值取80，最小值取-80)，图像里最大值/最小值所对应的x轴坐标即可以表示图像对应的剩余的分层线的x坐标，利用分层线的x轴坐标即可以画出剩余分层线。最终的分层效果如图10所示。

上述实施案例只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (1)

1.一种细胞分层图像处理方法，其特征在于，先对图像进行霍夫直线检测，找出其近似直线的分层线，再利用基于梯度变化的方法找到剩余的分层线，包括以下步骤：

S1，从采集的细胞分层图像中提取有效区域并去噪；

S2，对经过去噪后的图像采取阈值分割操作；

S3，对分割后对图像进行形态学的膨胀操作以去除毛刺；

S4，对膨胀和去除毛刺之后的图像进行取反操作；

S5，经过对图像取反后，对图像进行霍夫直线检测；

经过取反处理后的图，横坐标为x轴，纵坐标为y轴，x轴上的每一个像素对应y轴像素和，统计y轴像素分布情况，像素分布情况可表示如下：

在式中，w为图像的宽，h为图像的高，f(x,y)表示在(x,y)坐标下的像素，f_y(x,y)表示当前x轴坐标对应的y轴像素和，像素分布情况与分层线一一对应；

S6，用基于梯度的方法找到剩余分层线；

对步骤S5得到的前两条分层线之间的图像区域以x轴为横坐标，像素在x轴上的梯度变化为纵坐标y轴，统计梯度变化；梯度变化最大值或最小值超过了预设的阈值，图像里最大值或最小值所对应的x轴坐标表示图像对应的剩余的分层线的x坐标，利用分层线的x轴坐标画出剩余分层线；

所述步骤S1中，具体包括如下方法：

步骤S11，使用的图像为RGB三通道，数字图像中每一个通道数的像素值均为0～255，原图转换为灰度图，转换公式如下：

Grey＝0.299×R+0.587×G+0.114×B

转换后的灰度图为单通道图，灰度图的灰度值在0～255变化；

步骤S12，为了得到图像在水平方向上的梯度边缘信息，对步骤S11得到的灰度图使用Sobel算子进行处理；只求取水平方向的边缘检测图像；

步骤S13，对得到的边缘检测图像进行高斯滤波的减噪过程；

所述步骤S2中，设定一个阈值，用阈值将图像的数据分成两部分：大于阈值的像素群和小于阈值的像素群，表达式如下：

其中，src(x,y)为滤波后的图像在坐标(x,y)下的像素值，dst(x,y)为阈值分割后生成的二值图的对应像素值，在参数选取上thresh为23，maxVal为255，经过阈值分割后的图像每个像素值为0或255；

所述步骤S3中，膨胀操作的表达式为：

该公式(5)表示用B来对图像A进行膨胀处理，其中B是结构元素，A表示阈值分割后的图像，通过B与图像A进行卷积计算，计算B覆盖区域的像素点最大值，并用该最大值替换图像A的像素值实现膨胀，经过膨胀运算后的图像分层区域光滑且排除了背景的干扰；

所述步骤S4中，取反操作的运算式为：

dst(x,y)＝1-f(x,y)

其中，dst(x,y)表示取反后的图像的像素点，f(x,y)表示膨胀后的图像对应的像素点，经过取反后，产生的图像像素点与膨胀后的图相反；

所述步骤S5中，具体如下：

S51，利用霍夫直线检测检测出的每一条直线都由向量(x₁,y₁,x₂,y₂)组成，每一条分层线都用坐标(x₁,y₁)和(x₂,y₂)来表示；由于分层线是垂直于横轴的，故x₁＝x₂，利用x₁坐标表示分层线；

S52，经过步骤S4处理后的图像，以x轴为横坐标，x轴上的每一个像素对应的y轴像素和为纵坐标，统计y轴像素分布情况，像素分布情况如下：

在式中，w为图像的宽，h为图像的高，f(x,y)表示在(x,y)坐标下的像素，f_y(x,y)表示当前x轴坐标对应的y轴像素和，像素分布情况与分层线一一对应；

S53，对步骤S52中y轴像素和大于阈值的x坐标进行统计，与步骤S51中霍夫直线检测得到的x₁坐标构成一个整体，得到的x轴坐标即区分像素变化明显的分层线；

所述步骤S6中，具体如下：

S61，对步骤S5得到的前两条分层线之间的图像区域以x轴为横坐标，像素在x轴上的梯度变化为纵坐标，统计梯度变化，梯度变化表示如下：

式中，f_y(x+a,y)表示当前x+a轴坐标对应的y轴像素和，a表示步长，步长随图像的变化而改变，表示如下：

其中，(x₁-x₀)表示前两条分层线对应的x轴位置差；

S62，对梯度变化做可视化图，图像像素变化能用梯度表示；

S63，若梯度变化最大值或最小值超过了预设的阈值，则图像里最大值或最小值所对应的x轴坐标即表示图像对应的剩余的分层线的x坐标，利用分层线的x轴坐标画出剩余分层线。