CN109182081B - 一种基于图像处理模型的单细胞分选系统 - Google Patents

Abstract

本发明公开了一种基于图像处理模型的单细胞分选装置和方法，该装置包括控制器、样品芯片、工控机和显微镜等，不需要对目标细胞进行繁琐反复的手动调整选取，而是利用图像处理算法配合高精度的运动系统完成细胞的精准定位，避免了手动定位的误差、时间消耗以及污染，可以一次性定位多个单细胞，快速、高通量。该方法将采集样品芯片上的细胞样品图像作为输入数据传递给工控机，工控机利用图像处理模型得到图像上每个单独细胞的图像位置信息，再将图像位置信息转换为电动载物台的运动位置信息，实现由细胞群图像到细胞群定位的快速批量转换，不需要对细胞进行标记，避免了其他分选方式对细胞造成的损害或者状态改变，可以获得细胞的真实信息。

Description

一种基于图像处理模型的单细胞分选系统

技术领域

本发明涉及单细胞分选技术领域，尤其涉及一种基于图像处理模型的单细胞分选系统。

背景技术

细胞是生命体结构和生命活动的基本单元，以往采用的对细胞群体的分析技术有诸多弊端与局限性。对细胞群体或细胞组的分析只能得到细胞群体的平均信号，但是单个细胞间有较大差异，对细胞群体的分析将掩盖单细胞间的个体差异，造成医学、生物学以及其他学科研究的障碍。只有对单细胞研究，才能掌握全面准确的细胞信息。高通量、自动化单细胞分选技术已经成为单细胞研究的重点。

目前常用的单细胞分选技术主要包括荧光激活细胞分选与激光捕获显微切割。激光捕获显微切割一般用于大面积细胞分离，精准度较低，难以实现高通量，而且在切割时易对细胞造成机械损伤。而荧光激活细胞分选虽然可作为分离细胞的有效手段，但由于该方法需要对细胞外加荧光标记，改变了细胞的原位状态，有时影响细胞活性。因此，高通量、高精度、无标记的单细胞分选方法正成为单细胞研究领域中各国研发解决的重点。

发明内容

本发明的目的是提供一种基于图像处理模型的单细胞分选系统，包括利用图像处理算法以及运动平台实现单细胞分选的装置与方法。该装置与方法可以实现高通量、自动化、无标记的单细胞分选，采用此装置与方法不再需要操作人员逐一辨识显微细胞图像，将操作人员从重复、繁重的工作中解脱出来，同时避免了人工操作带来的污染。同时，该方法不需要对细胞进行标记，更能反映细胞的真实信息。

为了实现上述目的，本发明提供如下技术方案：

一种基于图像处理模型的单细胞分选装置，包括控制器、样品芯片、工控机和显微镜，所述显微镜的物镜上方安装有相机，位于物镜的下方所述显微镜还设有电动载物台，样品芯片放置在电动载物台上，所述相机与工控机通讯连接，将采集到的图像传递给工控机，所述控制器分别与电动载物台和工控机电连接。

进一步地，所述显微镜采用正置显微镜或者倒置显微镜。

进一步地，所述相机采用彩色相机。

一种基于图像处理模型的单细胞分选方法，采用上述的基于图像处理模型的单细胞分选装置，具体步骤为：相机采集到样品芯片上的细胞样品图像，将图像作为输入数据传递给工控机，工控机利用图像处理模型得到图像上每个单独细胞的图像位置信息，再将图像位置信息转换为电动载物台的运动位置信息，实现由细胞群图像到细胞群定位的快速批量转换。

进一步地，所述图像处理模型实现方法包括如下步骤：

(1)用户设定好待识别目标的尺寸参数P、圆度参数R、对比度参数C，灰度参数T；

(2)将输入的彩色图像转换为灰度图像，转换成灰度图像时，Gray[i]＝(77 ×Scr[i]+151×Scr[i+1]+28×Src[i+2])>>8，

其中i代表像素个数索引，Scr代表原始图像数据，Gray代表转换后的灰度数据；全部图像数据的高度是Height，宽度是Width，用K进行图像行的索引(0≤K<Height)，用h进行图像列的索引(0≤h<Width)，则i＝K×Width+h；

(3)对灰度图像进行滤波，以去除图像中的噪声，令滤波的窗口大小为WinSize，令平滑系数inv＝(1＜＜16)/((WinSize+1)×(Winsize+1)，则

Smooth[i]＝(sum*inv)＞＞16，sum是窗口范围内的像素和，也就是

其中i代表像素个数索引，j代表窗口内数据索引，Smooth代表平滑后的图像数据，Gray代表灰度数据；

(4)图像的二值化：if(Smooth[i]>T)Threshold[i]＝255，

其中i代表像素个数索引，Smooth代表平滑后的图像数据，T是用户输入的灰度阈值参数，Threshold代表二值化数据；

(5)去除图像数据中的干扰，由于图像数据中具有杂点与划痕等，采用卷积的方法，令卷积核分别为，g_x[8]＝{1,1,0,0,-1,-1,0,1}，用于水平方向的卷积，g_y[8]＝{0,-1,-1,0,0,0,1,1}，用于垂直方向的卷积，

Fun[i]＝Threshold[i]×g_x+Threshold[i]×g_y，

其中i代表像素个数索引，Threshold代表二值化的图像数据，Fun代表去干扰后的图像数据；

(6)对图像进行边缘提取，提取出成封闭区域的细胞群或细胞个体，利用连通扫描算法追踪相邻的边缘像素，通过检测每个像素和其邻域的状态形成图像的线条，利用链表表示图像的线条；

(7)通过链表得到封闭的图像线条，再计算每个封闭区域的尺寸、圆度、对比度，当尺寸、圆度、对比度在用户设定的参数范围内，则该区域为符合条件的区域；

(8)计算符合条件的所有区域的中心；

(9)将区域的中心坐标作为图像处理方法的输出数据传递给工控机的位置转换模块中；位置转换模块用于将图像坐标转换成载物台的运动坐标，从而对每个细胞进行定位。

进一步地，步骤(6)所述链表的建立步骤为：

S1、设置边缘追踪起始方向；

S2、计算8邻域的像素点；

S3、搜索方向是否是终止方向，“是”进入步骤S5，“否”进入步骤S4；

S4、记录当前点并作为下次搜索起点；

S5、当前点是否与初始点数值与方向相等？“是”终止，“否”返回步骤S2。

与现有技术相比，本发明的有益效果为：

本发明提供的基于图像处理模型的单细胞分选系统，包括基于图像处理模型的单细胞分选装置和方法，基于图像处理模型的单细胞分选装置不再需要对目标细胞进行繁琐反复的手动调整选取，而是利用图像处理算法配合高精度的运动系统完成细胞的精准定位，避免了手动定位细胞带来的位置误差与时间消耗，以及人为操作带来的污染。同时，模型可以一次性定位多个单细胞，快速、高通量。方法不需要对细胞进行标记，避免了其他分选方式对细胞造成的损害或者状态改变，可以获得细胞的真实信息，从而为医学、生物学、病理学和临床医学等方面的研究提供有力的工具。

本发明提供的基于图像处理模型的单细胞分选系统，不仅可用于单细胞分选中，对于其他需要对微小目标或者多个微小目标同时定位提取的各个领域，也具有广泛的应用价值。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于图像处理模型的单细胞分选装置的示意图；

图2是本发明实施例提供的滤波窗口示意图；

图3是本发明实施例提供的链表建立的流程图。

附图标记说明：

1、相机；2、物镜；3、电动载物台；4、控制器；5、样品芯片；6、工控机；7、显微镜。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

参见图1～3所示；

本发明公开了一种基于图像处理模型的单细胞分选装置，如图1所示，包括控制器4、样品芯片5、工控机6和显微镜7，所述显微镜的物镜2上方安装有相机1，位于物镜2的下方所述显微镜7还设有电动载物台3，样品芯片5放置在电动载物台3上，所述相机1与工控机6通讯连接，将采集到的图像传递给工控机6，所述控制器4分别与电动载物台3和工控机6电连接。所述显微镜7采用正置显微镜或者倒置显微镜。

本发明还公开的一种基于图像处理模型的单细胞分选方法，采用上述的基于图像处理模型的单细胞分选装置，具体步骤为：相机1采集到样品芯片 5上的细胞样品图像，将图像作为输入数据传递给工控机6，工控机6利用图像处理模型得到图像上每个单独细胞的图像位置信息，再将图像位置信息转换为电动载物台3的运动位置信息，实现由细胞群图像到细胞群定位的快速批量转换。该图像处理方法一次性将图像上所有满足设置条件的细胞全部提取出来，快速准确，配合高精度的电动载物台3实现了自动化、高通量的细胞分选。工控机6中获得的图像数据是一维数组，数组的长度由相机分辨率决定，对于30万像素黑白相机其分辨率是640×480，则工控机6中图像数据的长度就是640×480，则图像数据是Src[640×480]，对于彩色相机由于每个像素需要由多个表示颜色的字节组成，则图像数据是Src[640×480×M]， M是用于表示颜色的字节个数。

作为优选的实施例，本发明采用彩色相机。以便于获得丰富的图像信息，令图像数据是Src[N×M]，N是相机的分辨率，M是用于表示每个像素颜色信息的字节个数。

采用的图像处理模型实现方式如下：

(1)用户设定好待识别目标的尺寸参数P、圆度参数R、对比度C参数，

灰度参数T；

(2)将输入的彩色图像转换为灰度图像，转换成灰度图像时

Gray[i]＝(77*Scr[i]+151*Scr[i+1]+28*Src[i+2])>>8，其中i是像素个数索引，Scr代表原始图像数据，Gray代表转换后的灰度数据。全部图像数据的高度是Height，宽度是Width，用k进行图像行的索引(0≤k＜Height)，用h进行图像列的索引(0≤h＜Width)，则i＝K*Width+h；

(3)对灰度图像进行滤波，以去除图像中的噪声，令滤波的窗口大小为 WinSize，令平滑系数inv＝(1＜＜16)/((WinSize+1)×(Winsize+1))，则

Smooth[i]＝(sum*inv)＞＞16，sum是窗口范围内的像素和，也就是

其中i代表像素个数索引，j代表窗口内数据索引，Smooth代表平滑后的图像数据，Gray代表灰度数据。滤波窗口示意图如图2所示，其中黑色矩形代表滤波窗口，如图方框表示第i个像素，滤波窗口大小Winsize＝3；

(4)图像的二值化：if(Smooth[i]>T)Threshold[i]＝255，

其中i代表像素个数索引，Smooth代表平滑后的图像数据，T是用户输入的灰度阈值参数，Threshold代表二值化数据；

(5)去除图像数据中的干扰，由于图像数据中具有杂点与划痕等，采用卷积的方法，令卷积核分别为，gx[8]＝{1,1,0,0,-1,-1,0,1}，用于水平方向的卷积，g_y[8]＝{0,-1,-1,0,0,0,1,1}，用于垂直方向的卷积，

Fun[i]＝Threshold[i]×g_x+Threshold[i]×g_y，

其中i代表像素个数索引，Threshold代表二值化的图像数据，Fun代表去干扰后的图像数据；

(6)对图像进行边缘提取，提取出成封闭区域的细胞群或细胞个体，利用连通扫描算法追踪相邻的边缘像素，通过检测每个像素和其邻域的状态形成图像的线条，利用链表表示图像的线条；

(7)通过链表得到封闭的图像线条，再计算每个封闭区域的尺寸、圆度、对比度，当尺寸、圆度、对比度在用户设定的参数范围内，则该区域为符合条件的区域；

(8)计算符合条件的所有区域的中心；

(9)将区域的中心坐标作为图像处理方法的输出数据传递给工控机的位置转换模块中；位置转换模块用于将图像坐标转换成载物台的运动坐标，从而对每个细胞进行定位。

其中，如图3所示，步骤(6)所述链表的建立步骤为：

S1、设置边缘追踪起始方向；

S2、计算8邻域的像素点；

S3、搜索方向是否是终止方向，“是”进入步骤S5，“否”进入步骤S4；

S4、记录当前点并作为下次搜索起点；

S5、当前点是否与初始点数值与方向相等？“是”终止，“否”返回步骤S2。

具体地，在工作时，首先确定工控机中的位置转换模块的数据处理方法，也即图像坐标与电动载物台的运动位置的转换：

1、确定运动位置与图像坐标的比例系数K，K的含义是每个像素代表的位移量。计算方法如下：

(1)将一个带有图形标记的样品芯片放入电动载物台[3]中，移动电动载物台将图形标记的中心移动到相机的视野中心位置，通过模板匹配算法计算出准确的图形中心的图像坐标(X₀，Y₀)；

(2)通过工控机[6]发送指令，使得载物台[3]向单侧移动50微米，再次识别图形标记的中心(X₁，Y₁)，则

K＝50/| X₀-X₁|

2、用户设定待识别目标的尺寸参数P、圆度参数R、对比度C参数，灰度参数T；

3、将带有分选细胞的样品芯片放入电动载物台上，工控机发出指令移动电动载物台，使得样品芯片移动至相机视野中，通过相机在工控机上清晰成像，将此时的图像数据作为输入数据传递给工控机中的图像处理模型中；

4、图像处理模型一次性计算出所有符合步骤2所设参数的细胞的图像坐标；

5、将图像坐标传递给位置转换模块，计算出每个细胞在当前运动坐标系下的位置；

6、根据位置转换模块的输出，移动电动载物台，将细胞送入待分选位置，从而实现单细胞的精确定位。

在上述技术方案中，本发明提供的基于图像处理模型的单细胞分选系统，不再需要对目标细胞进行繁琐反复的手动调整选取，而是利用图像处理算法配合高精度的运动系统完成细胞的精准定位，避免了手动定位细胞带来的位置误差与时间消耗，以及人为操作带来的污染。同时，模型可以一次性定位多个单细胞，快速、高通量；不需要对细胞进行标记，避免了其他分选方式对细胞造成的损害或者状态改变，可以获得细胞的真实信息，从而为医学、生物学、病理学和临床医学等方面的研究提供有力的工具。

综上所述，本发明提供的基于图像处理模型的单细胞分选系统，不仅可用于单细胞分选中，对于其他需要对微小目标或者多个微小目标同时定位提取的各个领域，也具有广泛的应用价值。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (2)

1.一种基于图像处理模型的单细胞分选方法，其特征在于，采用基于图像处理模型的单细胞分选装置，基于图像处理模型的单细胞分选装置包括控制器、样品芯片、工控机和显微镜，所述显微镜的物镜上方安装有相机，位于物镜的下方所述显微镜还设有电动载物台，样品芯片放置在电动载物台上，所述相机与工控机通讯连接，将采集到的图像传递给工控机，所述控制器分别与电动载物台和工控机电连接；

具体步骤为：相机采集到样品芯片上的细胞样品图像，将图像作为输入数据传递给工控机，工控机利用图像处理模型得到图像上每个单独细胞的图像位置信息，再利用位置转换模块将图像位置信息转换为电动载物台的运动位置信息，实现由细胞群图像到细胞群定位的快速批量转换；

所述图像处理模型实现方法包括如下步骤：

S101用户设定好待识别目标的尺寸参数P、圆度参数R、对比度参数C，灰度参数T；

S102将输入的彩色图像转换为灰度图像，转换成灰度图像时，Gray[i] = (77×Scr[i]+ 151×Scr[i+1] + 28×Src[i+2])>>8，

其中i代表像素个数索引，Scr代表原始图像数据，Gray代表转换后的灰度数据；全部图像数据的高度是Height，宽度是Width，用K进行图像行的索引，0≤K <Height，用h进行图像列的索引，0≤h<Width，则i=K×Width+h；

S103对灰度图像进行滤波，以去除图像中的噪声，令滤波的窗口大小为WinSize，令平滑系数

，则

，sum是窗口范围内的像素和，也就是

，

其中i代表像素个数索引，j代表窗口内数据索引，Smooth代表平滑后的图像数据，Gray代表灰度数据；

S104图像的二值化：if (Smooth[i]>T) Threshold[i] = 255，

其中i代表像素个数索引，Smooth代表平滑后的图像数据，T是用户输入的灰度阈值参数，Threshold代表二值化数据；

S105去除图像数据中的干扰，由于图像数据中具有杂点与划痕，采用卷积的方法，令卷积核分别为，g_x[8] = {1, 1, 0, 0,-1,-1, 0, 1}，用于水平方向的卷积，g_y[8] = {0,-1,-1,0, 0, 0, 1, 1}，用于垂直方向的卷积，

Fun[i] = Threshold [i]×g_x+Threshold[i]×g_y，

其中i代表像素个数索引，Threshold代表二值化的图像数据，Fun代表去干扰后的图像数据；

S106对图像进行边缘提取，提取出成封闭区域的细胞群或细胞个体，利用连通扫描算法追踪相邻的边缘像素，通过检测每个像素和其邻域的状态形成图像的线条，利用链表表示图像的线条；

S107通过链表得到封闭的图像线条，再计算每个封闭区域的尺寸、圆度、对比度，当尺寸、圆度、对比度在用户设定的参数范围内，则该区域为符合条件的区域；

S108计算符合条件的所有区域的中心；

S109将区域的中心坐标作为图像处理方法的输出数据传递给工控机的位置转换模块中；位置转换模块用于将图像坐标转换成载物台的运动坐标，从而对每个细胞进行定位；

位置转换模块的数据处理方法包括以下步骤：

S201确定运动位置与图像坐标的比例系数K，K的含义是每个像素代表的位移量，计算方法如下：

将一个带有图形标记的样品芯片放入电动载物台中，移动电动载物台将图形标记的中心移动到相机的视野中心位置，通过模板匹配算法计算出准确的图形中心的图像坐标

；通过工控机发送指令，使得载物台向单侧移动50微米，再次识别图形标记的中心

，则

；

S202用户设定待识别目标的尺寸参数P、圆度参数R、对比度C参数，灰度参数T；

S203将带有分选细胞的样品芯片放入电动载物台上，工控机发出指令移动电动载物台，使得样品芯片移动至相机视野中，通过相机在工控机上清晰成像，将此时的图像数据作为输入数据传递给工控机中的图像处理模型中；

S204图像处理模型一次性计算出所有符合步骤202所设参数的细胞的图像坐标；

S205将图像坐标传递给位置转换模块，计算出每个细胞在当前运动坐标系下的位置；

S206根据位置转换模块的输出，移动电动载物台，将细胞送入待分选位置，从而实现单细胞的精确定位。

2.根据权利要求1所述的基于图像处理模型的单细胞分选方法，其特征在于，步骤S106所述链表的建立步骤为：

S1、设置边缘追踪起始方向；

S2、计算8邻域的像素点；

S3、搜索方向是否是终止方向，“是”进入步骤S5，“否”进入步骤S4；

S4、记录当前点并作为下次搜索起点；

S5、当前点是否与初始点数值与方向相等，“是”终止，“否”返回步骤S2。

Images