CN101294953A - 一种运动细胞实时跟踪系统及实时跟踪方法 - Google Patents

Abstract

本发明公开了一种运动细胞实时跟踪系统，包括：光学显微镜；图像采集装置，安装在光学显微镜的目镜上，通过图像采集卡与控制装置连接；二维精密电动平台，位于光学显微镜下方，与运动控制器连接；样本观察室，设置在二维精密电动平台上表面中央；运动控制器，与控制装置连接；控制装置，用于根据所述图像信息，通过运动控制器控制二维精密电动平台进行相应的运动，从而对所述运动细胞进行实时跟踪。本发明对于快速运动的细胞，跟踪系统将自动跟踪目标，同时记录细胞运动过程中的特性参数，大大扩展了传统显微镜的工作视场，使研究者可以方便地实时获取细胞长时间的动态特性，有助于揭示细胞的运动行为。

Description

一种运动细胞实时跟踪系统及实时跟踪方法

技术领域

本发明涉及生物微机电领域，特别是涉及一种对运动细胞进行实时跟踪的系统及进行实时跟踪的方法，该系统可对光学显微镜下的运动细胞，尤其是微生物细胞，进行连续实时跟踪，并对跟踪目标进行运动分析。

背景技术

对运动细胞尤其是趋向性细胞进行连续观测对了解其运动行为和趋向性机理具有重要的意义。显微图像技术由于其精确、快速、非接触的特点，已经成为生物学检测中的重要手段。但传统的光学显微镜成像系统视场有限，限制了其对运动细胞进行连续的观测，并且，显微镜放大倍率越大，视场越小，难以在高分辨率下获得细胞运动的详细动态行为。目前，为了连续观测快速运动的细胞，必须对其固定或减慢其运动速度，并且降低放大倍率，以便在视场中能更长时间的观测细胞。而这样做将不能准确详细地观测细胞的运动行为。因此，运动细胞的连续跟踪是许多学者致力于解决的问题之一，它使得在实验室内就可以连续观察自然环境中自由游动的细胞，而不需要对其固定或减慢其运动速度。

国内外对运动细胞自动跟踪的研究取得了一定进展。Berg等(Berg HC，Brown DA.Chemotaxis in Escherichia coli analyzed bythree-dimensional tracking.Nature，1972，239：500-504)利用光纤、光电倍增管和安装在载物台上的自动移动样本室，实现了细菌的自动跟踪，并记录了大肠杆菌的三维轨迹，但由于细胞信息是通过人工获取的，并不适合实时控制应用。Ogawa等(Ogawa N，Oku H，HashimotoK，et al.Microrobotic visual control of motile cells using high-speedtracking system.IEEE Trans Robot，2005，21(4)：704-712)建立的草履虫自动跟踪系统，使用特制的高速视觉装置，具有较好的跟踪性，但所使用的硬件复杂，价格昂贵，难以推广应用。

发明内容

本发明的目的是解决在光学显微镜下对快速运动的生物细胞不能连续观测的问题，提供一种用于显微镜下运动细胞的自动跟踪系统及一种进行实时跟踪的方法，采用显微视觉伺服控制，可对视场中指定细胞进行连续跟踪，同时检测细胞的运动特性，不受显微镜视场大小的限制。

为达到上述目的，一方面，本发明的技术方案提供一种运动细胞实时跟踪系统，包括：光学显微镜；图像采集装置，安装在所述光学显微镜的目镜上，通过图像采集卡与控制装置连接，用于通过所述光学显微镜采集运动细胞的图像，并将图像信息传输给所述控制装置；二维精密电动平台，位于所述光学显微镜下方，与运动控制器连接；样本观察室，设置在所述二维精密电动平台的上表面中央，用于盛放细胞，所述细胞在所述样本观察室内自由游动；运动控制器，与控制装置连接；控制装置，用于根据所述图像信息计算所述二维精密电动平台的运动参数，然后将所述二维精密电动平台的运动参数发送给所述运动控制器，由所述运动控制器控制所述二维精密电动平台进行相应的运动，从而对所述运动细胞进行实时跟踪。

其中，所述光学显微镜为正置三目生物显微镜，所述图像采集装置安装在所述光学显微镜的第三目镜上。

其中，所述正置三目生物显微镜的物镜放大倍数包括10倍、40倍和100倍。

其中，所述正置三目生物显微镜能够实现明场成像、暗场成像、和相衬成像三种成像方法。

其中，所述图像采集装置为采集帧速大于50帧/秒的摄像机。

其中，所述二维精密电动平台包括基座、中间层和顶层三层结构，所述基座设置有研磨丝杠和交叉滚柱导轨，所述顶层和中间层分别设置有步进电机，所述两个步进电机分别带动所述顶层和中间层在平行于所述基座位于的平面的二维方向上作直线运动。

其中，所述运动控制器包括DSP运动控制卡、步进电机驱动器，其中，数字信号处理DSP运动控制卡与控制装置连接，步进电机驱动器分别与所述两个步进电机连接。

其中，所述样本观察室包括：载玻片，位于最底端，聚二甲基硅氧烷PDMS基质，位于所述载玻片上方，细胞腔体，设置在所述PDMS基质上，用于盛放所述运动细胞，盖玻片，位于所述PDMS基质上方，所述盖玻片上设置有两个孔，用于细胞溶液的进出。

一方面，本发明的技术方案提供一种制作样本观察室的方法，包括以下步骤：绘制细胞腔体图案，根据所述细胞腔体图案制作腔体模具；将所述腔体模具在硅烷试剂中处理15分钟后，放置在平板玻璃上；在所述腔体模具上倾倒已经脱气的聚二甲基硅氧烷PDMS预聚物；用一表面平整的载玻片放在倒有PDMS的模具上，均匀施加压力，挤出多余的PDMS；将所述腔体模具和PDMS一起转移到80℃的烘箱中热处理1小时；将所述腔体模具从PDMS上剥离，即得到PDMS细胞腔体和载玻片的结合体；在盖玻片上打孔，覆盖在PDMS细胞腔体上，即得到所述样本观察室。

再一方面，本发明的技术方案提供一种运动细胞实时跟踪方法，包括以下步骤：

S1、将包含有运动细胞的细胞溶液从样本观察室的溶液进口倒入样本观察室，然后获取运动细胞的图像；

S2、控制装置根据所述运动细胞的图像提取运动细胞；

S3、从所述运动细胞中选定跟踪目标，及确定所述跟踪目标在光学显微镜视场内的运动范围；

S4、以跟踪目标的细胞质心为中心，以目标在帧间运动距离为边长，在当前帧图像中构建一方形窗口；

S5、对于下一帧图像，在方形窗口内搜索跟踪目标质心新的位置；

S6、再以跟踪目标细胞质心当前位置为中心重构窗口；

S7、判断跟踪目标中心位置是否超出设定运动范围；

S8、若跟踪目标的中心位置超出所述设定运动范围，控制装置将目标位置与设定范围X、Y方向的偏差值发送到运动控制器；若跟踪目标的中心位置没有超出设定运动范围，则控制二维精密电动平台不运动，对于下一帧图像，跳转步骤S5；

S9、控制器控制二维精密电动平台分别在X、Y方向上反向运动相应距离；

S10、重复步骤S5-S9，即可将跟踪目标锁定在设定范围内并得到细胞的运动轨迹。

上述技术方案仅是本发明的一个优选技术方案，具有如下优点：通过采用光学显微镜、图像采集装置、和二维精密电动平台，对于快速运动的细胞，只需操作者确定跟踪目标，跟踪系统将自动跟踪目标，同时记录细胞运动过程中的特性参数，大大扩展了传统显微镜的工作视场，将研究者从费时枯燥的人工操作显微镜工作中解放出来，使研究者可以方便地实时获取细胞长时间的动态特性，有助于揭示细胞的运动行为。另外，本发明中的运动细胞实时跟踪系统还具有较好的通用性，可对不同成像方式(明场、暗场和相衬成像)和多种放大倍率(40倍、60倍、100倍)下的运动细胞实现较好的实时跟踪。对于本发明中的样本观察室，细胞腔体既保证了细胞无固定的自由游动，又避免了细胞在游动中脱离显微镜焦平面，方便细胞图像采集。

附图说明

图1是本发明实施例的一种运动细胞实时跟踪系统结构示意图；

图2是本发明实施例的一种运动细胞实时跟踪系统的样本观察室结构示意图；

图3是本发明实施例的一种利用运动细胞实时跟踪系统对运动细胞进行实时跟踪的方法的流程图。

其中，1.摄像机；2.光学显微镜；3.样本观察室；4.二维精密电动平台；5.运动控制器；6.细胞图像；7.控制装置；31.盖玻片；32.PDMS基质；33.载玻片；34.细胞腔体；35.溶液进口；36.溶液出口。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

参见图1，本发明实施例的运动细胞实时跟踪系统由光学显微镜2、图像采集装置、二维精密电动平台4、运动控制器5和样本观察室3组成。细胞在样本观察室3内自由游动，样本观察室3放置在二维精密电动平台4中央。图像采集装置采集运动细胞图像6，并通过控制装置7实时加以处理，得到细胞的形态参数、运动参数等，控制装置7将细胞的位置信息发送到运动控制器5，运动控制器5控制二维精密电动平台4向细胞运动的反方向运动，使细胞始终保持在显微镜视场中央运动，达到对运动细胞进行连续实时观测的目的。本实施例中的控制装置7可以为个人计算机、服务器，也可以为其它具有控制和数据处理的装置。本实施例采用计算机进行控制。

上述的光学显微镜2采用重庆光电仪器有限公司的正置三目生物显微镜XSZ-HS3，可提供足够的物镜放大倍率，包括10倍、40倍、100倍，且具有多种成像方法，如明场成像、暗场成像和相衬成像等。

图像采集装置为采集帧速大于50帧/秒的摄像机1。摄像机1，通过图像采集卡与计算机连接，摄像机1采用德国Basler 602fc CMOS摄像机，安装在上述显微镜第三目镜上，此摄像机具有较高的采集帧速，最大可达100帧/秒。图像采集卡采用加拿大Matrox Meteor-II/1394采集卡，它将摄像机1采集的RGB(RGB是指图象颜色的三基色，即红、绿、蓝，red、green、blue，简称为RGB)彩色细胞图像输送到计算机中，由计算机进行图像处理。

二维精密电动平台4包括基座、中间层和顶层，基座采用高精度研磨丝杠和交叉滚柱导轨，两个步进电机分别驱动顶层和中间层在X、Y方向上作直线运动(X、Y方向是指平行于基座平面的平面上的两个相互垂直的方向，即在平面内的二维方向)，高精度是指运动分辨率在0.25微米以上。二维精密电动平台4安装在光学显微镜2上，代替传统的手动载物台，中间为一方形孔，安装有样本台，并且不影响光学显微镜2透射照明。

上述的运动控制器5包括DSP(Digital Signal Processing，数字信号处理)运动控制卡、步进电机驱动器，其中，DSP运动控制卡与控制装置连接，通过DSP运动控制程序，进行控制，步进电机驱动器分别与两个所述步进电机连接。运动控制器5与计算机之间采用串行通信。上述DSP运动控制卡采用北京瑞泰创新科技有限责任公司F2812评估板，其内核采用TI公司TMS320 F2812芯片。计算机将处理得到的二维精密电动平台4运动参数发送给运动控制器5，由其控制二维精密电动平台4运动相应的距离。

参见图2，上述的样本观察室3包括：载玻片33、盖玻片31、聚二甲基硅氧烷PDMS(polydimethysiloxane，PDMS)基质32的细胞腔体34，载玻片33，位于最底端，聚二甲基硅氧烷PDMS基质32，位于载玻片33上方，细胞腔体34，设置在聚二甲基硅氧烷PDMS基质32上，用于盛放运动细胞，盖玻片31，位于聚二甲基硅氧烷PDMS基质32上方，盖玻片31上设置有两个孔，用于细胞溶液的进出。

样本观察室3的制作方法如下：

使用软件绘制细胞腔体图案，采用印刷电路板技术制作腔体模具；

将腔体模具在硅烷试剂中处理15分钟后，放置在平板玻璃上；

在腔体模具上轻轻倾倒已经脱气的PDMS预聚物；

用一表面平整的载玻片放在倒有PDMS的腔体模具上，均匀施加压力，挤出多余的PDMS；

将腔体模具和PDMS一起转移到80℃的烘箱中热处理1小时；

将腔体模具小心从PDMS上剥离，即得到PDMS细胞腔体和载玻片的结合体；

在一盖玻片上对应位置打两个孔，为溶液进出口，覆盖在PDMS细胞腔体上，即得到样本观察室。

采用上述方法制作的样本观察室3的细胞腔体34厚度根据莱茵衣藻细胞大小，设计为30μm，保证在莱茵衣藻细胞自由游动的同时不脱离显微镜焦平面，便于视觉系统采集细胞图像。使用时将细胞溶液经溶液进出口35、36缓慢注入样本观察室3，然后用胶布密封溶液进出口35、36，防止细胞溶液蒸发。样本观察室3被固定在二维精密电动平台4中央的样本台上。

上述莱茵衣藻细胞为本实施例中的细胞跟踪对象，是一种单细胞双鞭毛光合绿藻，近似球形，直径约10μm，细胞体上生长有单侧眼，由位于叶绿体上的可见眼点和覆盖在原生质膜上的视紫红质感光器层组成，具有趋光性。它利用一对鞭毛作蛙泳式击打向前运动，能在与光源方向垂直的平面内控制朝向光源(正趋光性)或远离光源(负趋光性)。其运动速度可达100-200μm/s，运动轨迹呈螺旋形。

采用上述运动细胞实时跟踪系统对运动细胞进行实时跟踪的方法(参见图3)，其具体步骤为：

S1、将包含有运动细胞的细胞溶液从样本观察室的溶液进口倒入样本观察室，然后通过光学显微镜、图像采集装置及控制装置获取运动细胞的RGB彩色图像。

S2、控制装置进行R通道图像信息提取，采用阈值分割方法提取运动细胞。

S3、从运动细胞中选定跟踪目标，及确定跟踪目标在光学显微镜视场内的运动范围。

S4、以目标细胞质心为中心，以目标在帧间运动距离为边长，在当前帧图像中构建一方形窗口，窗口尽量小但要确保下一帧图像中目标仍在窗口内。

S5、对于下一帧图像，仅在窗口内进行细胞分割与提取，搜索目标质心新的位置。

S6、再以目标细胞质心当前位置为中心重构窗口；

S7、判断跟踪目标中心位置是否超出设定运动范围；

S8、若跟踪目标中心位置超出设定运动范围，控制装置将目标位置与设定范围X、Y方向的偏差值发送到运动控制器；若跟踪目标的中心位置没有超出设定运动范围，则控制二维精密电动平台不运动，对于下一帧图像，跳转步骤S。

S9、控制器控制二维精密电动平台分别在X、Y方向上反向运动相应距离；

S10、重复步骤S5-S9，即可将跟踪目标锁定在设定范围内并得到细胞的运动轨迹。

采用上述技术方案的一种运动细胞实时跟踪系统，同时可以实时测量和记录运动细胞的形状、大小、瞬时运动速度和运动角度。细胞形状通过对实时图像进行细胞分割与提取获得；细胞大小定义为提取细胞的像素个数；细胞瞬时运动速度v_n和运动角度θ_n可通过相邻两帧的细胞位置根据下列关系式计算得到：

$v_n=\frac{\sqrt{{(x_n-x_{n-1})}^2+{(y_n-y_{n-1})}^2}}{t}$

${\mathrm{\θ}}_n=\arctan \frac{y_n-y_{n-1}}{x_n-x_{n-1}}$

其中，(xn，yn)为目标细胞在第i(i＝1，2，…，N)帧图像中的的中心坐标，N为采集图像的总帧数，两帧间隔时间为t。

对于不同的显微镜成像方式，视觉系统提取目标细胞的方法也不同。明场成像的背景明亮，目标较暗；暗场成像的背景较暗，目标明亮，这两种成像方式物体与背景亮度反差较大，直接采用单一固定阈值分割的方法就可将目标分割提取出来。而对于相衬成像，由于光线相位变化，目标周围容易出现亮环，并且目标和背景亮度相近，单一阈值难以将目标从背景中分割出来，可采用多阈值分割的方法。单一固定阈值分割是指在一些简单的图像中，背景和目标在图像的灰度直方图上各自形成一个波峰，选择两个波峰间低谷处所对应的灰度值作为阈值将两个区域分离。同样道理，对于一幅图像的直方图若有多个波峰，则可用多个阈值将图像分割成不同区域，即是多阈值分割。

由以上实施例可以看出，本发明实施例通过采用光学显微镜、图像采集装置、和二维精密电动平台，对于快速运动的细胞，只需操作者确定跟踪目标，跟踪系统将自动跟踪目标，同时记录细胞运动过程中的特性参数，大大扩展了传统显微镜的工作视场，将研究者从费时枯燥的人工操作显微镜工作中解放出来，使研究者可以方便地实时获取细胞长时间的动态特性，有助于揭示细胞的运动行为。另外，本发明中的运动细胞实时跟踪系统还具有较好的通用性，可对不同成像方式(明场、暗场和相衬成像)和多种放大倍率(40倍、60倍、100倍)下的运动细胞实现较好的实时跟踪。对于本发明中的样本观察室，细胞腔体既保证了细胞无固定的自由游动，又避免了细胞在游动中脱离显微镜焦平面，方便细胞图像采集。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1、一种运动细胞实时跟踪系统，其特征在于，包括：

光学显微镜；

图像采集装置，安装在所述光学显微镜的目镜上，通过图像采集卡与控制装置连接，用于通过所述光学显微镜采集运动细胞的图像，并将图像信息传输给所述控制装置；

二维精密电动平台，位于所述光学显微镜下方，与运动控制器连接；

样本观察室，设置在所述二维精密电动平台上表面的中央，用于盛放细胞，所述细胞在所述样本观察室内自由游动；

运动控制器，与控制装置连接；

控制装置，用于根据所述图像信息计算所述二维精密电动平台的运动参数，然后将所述二维精密电动平台的运动参数发送给所述运动控制器，由所述运动控制器控制所述二维精密电动平台进行相应的运动，从而对所述运动细胞进行实时跟踪。

2、如权利要求1所述的运动细胞实时跟踪系统，其特征在于，所述光学显微镜为正置三目生物显微镜，所述图像采集装置安装在所述光学显微镜的第三目镜上。

3、如权利要求2所述的运动细胞实时跟踪系统，其特征在于，所述正置三目生物显微镜的物镜放大倍数包括10倍、40倍和100倍。

4、如权利要求3所述的运动细胞实时跟踪系统，其特征在于，所述正置三目生物显微镜能够实现明场成像、暗场成像、和相衬成像三种成像方法。

5、如权利要求1～4任一项所述的运动细胞实时跟踪系统，其特征在于，所述图像采集装置为采集帧速大于50帧/秒的摄像机。

6、如权利要求5所述的运动细胞实时跟踪系统，其特征在于，所述二维精密电动平台包括基座、中间层和顶层三层结构，所述基座设置有研磨丝杠和交叉滚柱导轨，所述顶层和中间层分别设置有步进电机，两个所述步进电机分别带动所述顶层和中间层在平行于所述基座位于的平面的二维方向上作直线运动。

7、如权利要求6所述的运动细胞实时跟踪系统，其特征在于，所述运动控制器包括数字信号处理DSP运动控制卡和步进电机驱动器，其中，数字信号处理DSP运动控制卡与控制装置连接，步进电机驱动器分别与所述两个步进电机连接。

8、如权利要求7所述的运动细胞实时跟踪系统，其特征在于，所述样本观察室包括：

载玻片，位于最底端，

聚二甲基硅氧烷PDMS基质，位于所述载玻片上方，

细胞腔体，设置在所述PDMS基质上，用于盛放所述运动细胞，

盖玻片，位于所述PDMS基质上方，所述盖玻片上设置有两个孔，用于细胞溶液的进出。

9、一种制作权利要求1中的样本观察室的方法，其特征在于，包括以下步骤：

绘制细胞腔体图案，根据所述细胞腔体图案制作腔体模具；

将所述腔体模具在硅烷试剂中处理15分钟后，放置在平板玻璃上；

在所述腔体模具上倾倒已经脱气的聚二甲基硅氧烷PDMS预聚物；

用一表面平整的载玻片放在倒有PDMS的模具上，均匀施加压力，挤出多余的PDMS；

将所述腔体模具和PDMS一起转移到80℃的烘箱中热处理1小时；

将所述腔体模具从PDMS上剥离，即得到PDMS细胞腔体和载玻片的结合体；

在盖玻片上打孔，覆盖在PDMS细胞腔体上，即得到所述样本观察室。

10、一种运动细胞实时跟踪方法，其特征在于，包括以下步骤：

S1、将包含有运动细胞的细胞溶液从样本观察室的溶液进口倒入样本观察室，然后获取运动细胞的图像；

S2、控制装置根据所述运动细胞的图像提取运动细胞；

S3、从所述运动细胞中选定跟踪目标，及确定所述跟踪目标在光学显微镜视场内的运动范围；

S4、以跟踪目标的细胞质心为中心，以目标在帧间运动距离为边长，在当前帧图像中构建一方形窗口；

S5、对于下一帧图像，在方形窗口内搜索跟踪目标质心新的位置；

S6、再以跟踪目标细胞质心当前位置为中心重构窗口；

S7、判断跟踪目标中心位置是否超出设定运动范围；

S8、若跟踪目标的中心位置超出所述设定运动范围，控制装置将目标位置与设定范围X、Y方向的偏差值发送到运动控制器；若跟踪目标的中心位置没有超出设定运动范围，则控制二维精密电动平台不运动，对于下一帧图像，跳转步骤S5；

S9、控制器控制二维精密电动平台分别在X、Y方向上反向运动相应距离；

S10、重复步骤S5-S9，即可将跟踪目标锁定在设定范围内并得到细胞的运动轨迹。

Images