CN102492763A - 一种微操作机器人系统批量细胞重定位方法 - Google Patents

Abstract

一种微操作机器人系统批量细胞重定位方法。该方法针对培养前后细胞相对位置保持不变的情况，考察批量细胞在多分辨率层次上的匹配情况。首先随机选择细胞作为中心目标，并通过中心目标的邻近目标构型匹配一组邻近细胞；之后，将一组邻近细胞作为一个整体，考察多组细胞间的位置关系；接下来，在多个分辨率层次上进行整体匹配，直到形成多分辨率的细胞网状结构，实现细胞的重定位。该方法具有匹配有效性和全局有效性，可同时为批量细胞建立对应关系。将该方法应用于微操作机器人系统，可提高批量微操作的便捷性，拓展了微操作机器人的使用范围。

Description

一种微操作机器人系统批量细胞重定位方法

技术领域

本发明属于微操作机器人技术领域，是机器人技术的一种，特别涉及一种微操作机器人系统批量细胞重定位方法。

背景技术

微操作机器人系统是机器人技术在微细操作领域的延伸^[1]，微操作是指对微小物体的整体或部分进行的操作和处理，它处理问题的尺度一般在几微米到几百微米之间^[2，3]。近年来，随着微操作研究的不断深入，面向单目标的微操作技术日趋完善和成熟，多目标操作和批量目标操作已逐渐成为微操作的研究重点。

在利用微操作机器人系统进行如批量细胞显微注射的生物实验时，通常需要在操作完成后，将细胞培养一段时间，再拿回显微镜下观察。由于批量细胞分布广泛且数量众多，当培养皿再次置于显微镜下时，很难在显微视野中将培养前后的细胞一一对应起来，无法具有针对性地观察操作结果，对于实验结果的定量统计与分析也无从展开。因此，当生物微操作进入批量操作阶段后，批量细胞的重定位成为一个非常重要的问题。

目前，与生物微操作相关的定位研究大都集中于细胞定位，主要工作为使用各种图像处理方法或人工辅助方法实现批量细胞自动、半自动的定位，从而加大微操作的自动化程度。例如，文献[4]实现了一种果蝇胚胎的自动注射系统，操作目标置于特制的玻璃滑块上，每次注射前，需要对整个滑块进行扫描，获取批量胚胎的全局位置。在该系统进行全局定位时，首先对图像进行二值化，获取果蝇胚胎所在的候选区域，接下来，计算候选区域面积，如果该面积与果蝇胚胎大小匹配，则认为该区域为果蝇胚胎。文献[5]提出了一种用于自动显微注射的卵母细胞定位方法，该方法选择一个卵母细胞的图像作为模板，并通过计算模板与对应图像的差方和，获取图像中卵母细胞的位置。文献[6]利用微操作机器人系统进行了半自动的批量贴壁细胞注射，在注射过程中，首先需要操作者通过鼠标点击的方式定位出当前视野中的所有注射目标，接下来，系统根据最短路径算法自动计算出目标的操作顺序，然后依次完成细胞注射。当前视野范围内的目标注射完毕后，系统控制平台自动移动到下一个待操作的视野范围，重复上述过程。

另一方面，对于一些体积较大的悬浮细胞，如胚胎或卵细胞等，可通过专用的细胞固定设备使细胞的分布具有结构化特征。例如，文献[7]采用的胚胎固定设备如附图1所示，该设备上均匀分布着小孔，每个小孔内固定一枚胚胎。实验中，微操作机器人系统驱动胚胎固定设备运动，沿最优序列完成胚胎注射。这样，在细胞培养后观察实验结果时，也可同样借助这些专用固定设备实现批量细胞的重定位。

然而，对于绝大多数的细胞，如贴壁细胞或体积较小的悬浮细胞，它们随机分布在培养液中，无法形成结构化的操作空间，此时只能依靠人观察实验结果并进行粗略地对比，很难针对某些特定细胞分析操作结果。因此，如何充分利用微操作机器人系统的特点，快速准确的实现批量细胞的重定位是现今微操作中亟需解决的问题。

发明内容

本发明的目的是解决生物微操作中的批量细胞重定位问题，针对培养前后细胞相对位置保持不变的情况，提出一种基于邻近目标构型的多分辨率微操作机器人系统批量细胞重定位方法，该方法为利用微操作机器人系统分析生物实验结果提供了前提条件。

本发明提供的微操作机器人系统批量细胞重定位方法，所述细胞主要考虑细胞自身位置基本不动的情况(例如具有粘着性质的悬浮细胞或绝大多数贴壁细胞等)，在细胞培养前和培养后的两次观察中，考虑到一些细胞会在培养过程中由于死亡而消失，将培养前的视野定义为初始视野，将培养后的视野定义为当前视野，从当前视野中选取细胞，在初始视野中寻找其对应细胞，这些细胞必然存在于初始视野中；考虑到众多细胞相对位置的复杂性，以及定位误差的影响，本发明将批量细胞重定位方法分为以下两步：

第1、邻近细胞的局部匹配：

在当前视野中随机选择一个细胞作为中心目标，寻找邻近中心目标的一组细胞，通过邻近目标构型在初始视野中匹配一组邻近细胞；邻近目标构型如附图2所示，它是由相对位置固定的一组细胞构成的几何图形，本发明设定邻近目标构型由三部分决定：中心目标、中心目标与其它目标的间距、各目标与中心目标连线间的逆时针转角。为了提高后续全局匹配的成功率，邻近细胞的局部匹配应尽可能保证不丢失正确的匹配，匹配结果可能不唯一，对于一组邻近细胞得到多个候选邻近细胞组。通过邻近目标构型在初始视野中匹配当前视野的一组邻近细胞，匹配思路为：首先在邻近细胞中选择一个细胞，与中心目标构成第一分支，并根据分支长度在初始视野中进行匹配；之后依次选取其它细胞与中心目标构成分支，计算分支距离、该分支到其它分支的逆时针转角，逐渐缩小匹配范围，直到该组细胞全部处理完。

从上述思路可以看出，第一分支的选择与细胞匹配顺序非常重要，为了降低这些因素对匹配结果的影响，本发明不断轮换第一分支，并在分支轮换后重新设定其它细胞的匹配顺序。另外，为了尽可能不丢失正确的匹配，本发明允许部分分支匹配，并通过预先设定的分支匹配率，判断匹配结果的可用性。附图3给出了细胞组匹配的流程，具体步骤如下：

第11、在当前视野中确定中心目标c和其m个最邻近细胞：c₁，c₂，L，c_m，设已处理的细胞序列为B＝{b₁，b₂，L}，用NB表示序列中的元素个数；

第1.2、设定邻近细胞的初始顺序为c₁，c₂，L，c_m，初始化变量k＝1(k表示细胞编号)；

第1.3、选择第k个细胞c_k与中心目标c构成第一分支cc_k，初始化已处理序列B＝φ，并对其它细胞随机排序，排序结果记为c_{k_1}，c_{k_2}，L，c_{k_(m-1})；

第1.4、在初始视野中搜索距离满足d_k＝|cc_k|的候选细胞对；

第1.5、若搜索成功，将细胞c_k加入序列B，初始化变量p＝1，q＝1(p表示随机排序后细胞序列的细胞编号，q表示已处理序列B中细胞的编号)，继续执行，否则转到第1.11步；

第1.6、在第1.3步随机排序后的细胞中取出第p个细胞c_{k_p}，与中心细胞形成分支cc_{k_p}，在已处理的细胞序列B中取出第q个细胞b_q，计算距离d_{k_p}＝|cc_{k_p}|，以及cb_q到cc_{k_p}的逆时针转角θ，基于之前匹配结果，在初始视野中搜索满足d_{k_p}和θ的细胞；

第1.7、若搜索成功，将细胞c_{k_p}加入序列B，转到第1.9步，否则继续执行；

第1.8、令q＝q+1，若q≤NB，转到第1.6步，考察分支cc_{k_p}与其它分支的夹角，否则，在初始视野中找不到细胞c_{k_p}的对应细胞，转到第1.9步；

第1.9、令p＝p+1，q＝1，若p≤m-1，则转到第1.6步，处理下一个细胞，否则继续执行；

第1.10、计算分支匹配率NB/m，若匹配率大于设定阈值，匹配成功，保留候选邻近细胞组，否则匹配不成功，继续执行；

第1.11、令k＝k+1，若k≤m，则转到第1.3步，处理下一个第一分支；否则处理完毕，保存候选邻近细胞组。

第2、批量细胞的全局重定位：

在重定位方法中引入多分辨率的思想，设定原始的初始视野和当前视野的分辨率层次为0；将邻近细胞组作为一个整体，分辨率层次为1，通过邻近目标构型考察各中心目标间的位置关系，此时只需针对候选邻近细胞组的中心目标进行匹配，匹配结果有助于去除匹配错误的候选邻近细胞组；接下来，将层次1中的中心目标再次作为一个整体继续上述过程，分辨率层次为2；不断在下一个分辨率层次中进行上一层次中心目标的匹配，直到构成细胞网状结构，实现细胞的全局重定位。附图4给出了细胞网状结构的示意图，图中包括2个分辨率层次：在层次0中，每个圆圈代表一组邻近细胞，在层次1中，只考察邻近细胞组的中心目标的位置关系，图中填充圆圈为本层新的中心目标，取其4个最近邻中心目标构成细胞网状结构。具体步骤如下：

第2.1、初始化分辨率级别L＝0；

第2.2、在当前视野中随机选择n个细胞，作为最高分辨率层次L＝0的中心目标。为了尽可能代表细胞的全局信息，中心目标应广泛分布，规定任意两个中心目标间的距离必须大于d₀；

第2.3、寻找所有中心目标的m个邻近细胞，在初始视野中分别进行细胞组匹配，得到候选邻近细胞组，如果找不到候选目标组，则删除该中心目标；

第2.4、令L＝L+1；

第2.5、在L级分辨率层次中，将上次参与匹配的中心目标作为当前视野和初始视野的新目标；

第2.6、在新目标中随机选择n_L个细胞，作为L级分辨率层次中的中心目标，任意两个中心目标间的距离必须大于d_L；

第2.7、寻找所有中心目标的m_L个邻近细胞，在初始视野中进行细胞组匹配；

第2.8、将L级分辨率层次中的构型关系反作用于(L-1)级匹配结果，删除那些匹配错误的中心目标；

第2.9、若得到唯一的匹配结果，则构成全局细胞的网状结构，结束处理，否则，转到第2.4步。

本发明的优点和积极效果：

本发明提出并实现了一种基于邻近目标构型的多分辨率重定位方法，该方法可快速、准确地将生物实验中培养前后的细胞对应起来，为定量统计生物实验结果提供了可能。将该方法应用于微操作机器人系统中，可提高批量微操作的便捷性，拓展了微操作机器人的使用范围。

附图说明

图1是参考文献[7]中使用的胚胎固定设备；

图2是细胞邻近目标构型的示意；

图3是邻近细胞局部匹配的流程；

图4是细胞网状结构的示意；

图5是通过微操作机器人系统采集到的批量细胞初始视野，已完成细胞的全局定位；

图6是通过微操作机器人系统采集到的批量细胞当前视野，和附图5的初始视野有一定重合，已完成细胞的全局定位；

图7是对应表2中细胞的邻近目标构型，A当前视野，B初始视野；

图8当前视野和初始视野中的全局细胞网状结构，A当前视野，B初始视野；

图9是通过微操作机器人系统采集到的批量细胞当前视野，和附图5的初始视野没有重合，已完成细胞的全局定位；

图10是成功匹配的细胞组的邻近目标构型，A当前视野，B初始视野。

具体实施方式

发明实验装置

在实施例中，使用的实验系统是NKTYMR微操作机器人系统，该系统通过电动操作平台(参见ZL2003101066313号专利)带动被观察目标沿X、Y方向运动，移动精度2μm，运动范围为10cm×10cm，最快的移动速度为1500μm/s。系统配备Olympus CK40显微镜，其物镜包括4倍、10倍、20倍、40倍四种，局部显微图像的象素尺寸为768×576。

本发明以人体血细胞切片作为实验对象进行重定位实验，实验在40倍显微物镜下完成，通过微操作机器人采集局部显微图像并进行拼接，获得含有批量血细胞的全局视野图像(参见CN101596715号专利)。下面针对相同视野(可以匹配成功)和不同视野(无法匹配成功)两种情况，给出批量细胞重定位的处理过程。

实施例1：针对相同视野的批量细胞重定位

针对相同视野的批量细胞重定位步骤如下：

1.将人体血细胞切片置于微操作机器人的电动操作平台上，通过微操作机器人系统采集全局图像作为初始视野，如附图5所示，通过3×3个显微视野拼接而成，全局图像的尺寸为1600pixel×1111pixel。

2.对初始视野图像使用文献[8]的方法进行细胞的全局定位，附图5用白色圆圈标出了定位结果，共定位出细胞166个。

3.小范围随机移动人体血细胞切片，保证移动前后的显微视野具有一定的重合，以模拟同一培养皿培养前后的情形；采集全局图像作为当前视野，如附图6所示，通过3×3个显微视野拼接而成，全局图像的尺寸为1588pixel×1180pixel。

4.对当前视野图像进行细胞的全局定位，附图6用白色圆圈标出了定位结果，共定位出177个细胞。

5.在分辨率层次L＝0中，对当前视野和初始视野中的批量细胞进行邻近细胞的局部匹配。随机选择附图6中的45个细胞作为中心目标，确保中心目标间距大于d₀＝150pixel；设定寻找中心目标的5个最近邻细胞，分支匹配率为0.8，通过邻近细胞构型在附图5中分别进行细胞组匹配。在附图6中，设定坐标位置为(20 31)的细胞为1号中心目标，下面以该细胞为例，说明细胞组匹配的详细过程。

a)在附图6中，寻找1号中心目标的5个最近邻细胞，坐标分别为：(74 101)、(179 6)、(153165)、(221 108)、(82 252)，设定此顺序为邻近细胞的初始顺序。

b)选择细胞(74 101)与中心目标构成第一分支，根据分支长度d₁＝|cc₁|＝88.4，在附图5中搜索满足距离的候选细胞对，共得到278个候选细胞对，将细胞(74 101)加入序列B。

c)选择细胞(179 6)(p＝1，q＝1)，与中心目标形成分支cc_{1_1}，根据分支长度d_{1_1}＝|cc_{1_1}|＝161.0与转角θ＝6.2，在附图5中继续搜索，可在附图5中找到31个对应细胞，将细胞(179 6)加入序列B。

d)同理，依次选择(153 165)(p＝2，q＝1)、(221 108)(p＝3，q＝1)、(82 252)(p＝4，q＝1)等细胞，根据相应的分支长度和转角在附图5中进行搜索，分别得到27、38、32个对应细胞。

e)综合上述搜索结果，分支匹配率大于0.8的细胞组共有3个，分别为：

(912 392)(897 305)(0 0)(843 220)(765 237)(902 170)

(971 1045)(1034 983)(918 901)(1087 907)(0 0)(1190 987)

(1190 987)(1164 907)(1034 983)(1077 826)(1002 895)(0 0)

其中，坐标(0 0)表示没有搜索到该分支的对应细胞。

依次处理所有中心目标，匹配结果如表1所示，在45个中心目标中，有28个匹配成功。

表2分别给出了编号为1、11、21、31、41号中心细胞的详细匹配结果，附图7给出了这些中心目标的邻近细胞构型。从表和图中可以看出，分辨率层次L＝0的匹配结果不唯一。

表1细胞组匹配结果(L＝0)

表2具体匹配结果(L＝0)

6.在分辨率层次L＝1中，将L＝0层次中成功匹配的28个中心目标作为当前视野和初始视野的新目标，继续进行匹配。随机选择当前视野(L＝1)中的18个细胞作为中心目标，确保中心目标间距大于d₁＝150pixel；寻找所有中心目标的5个最近邻细胞，在初始视野(L＝1)中分别进行细胞组匹配。设分支匹配率为0.6，匹配结果如表3所示，可成功匹配出7组目标，此时的匹配结果是唯一的，可认为初始视野和当前视野是同一视野，批量细胞重定位成功，附图8给出了两个视野下的全局细胞的网状结构。

表3细胞组匹配结果(L＝1)

实施例2：针对不同视野的批量细胞重定位

针对不同视野的批量细胞重定位步骤如下：

1.将人体血细胞切片置于微操作机器人的电动操作平台上，通过微操作机器人系统采集全局图像作为初始视野并完成细胞的全局定位，仍以附图5举例。

2.大范围随机移动人体血细胞切片，保证移动前后的显微视野完全不重合，以模拟不同培养皿的情形；采集全局图像作为当前视野，如附图9所示，通过3×3个显微视野拼接而成，全局图像的尺寸为1548pixel×1152pixel。

3.对当前视野图像进行细胞的全局定位，附图9用白色圆圈标出了定位结果，共定位出细胞183个。

4.在分辨率层次L＝0中，对当前视野和初始视野中的批量细胞进行邻近细胞的局部匹配。随机选择附图9中的39个细胞作为中心目标，确保中心目标间距大于d₀＝150pixel；寻找所有中心目标的5个最近邻细胞，通过邻近细胞构型在附图5中分别进行细胞组匹配。设分支匹配率为0.8，匹配结果如表4所示，在39个中心目标中，有17个匹配成功，附图10给出了这些中心目标的邻近细胞构型。从表和图中可以看出，分辨率层次L＝0的匹配结果不唯一。

表4细胞组匹配结果(L＝0)

5.在分辨率层次L＝1中，将L＝0层次中成功匹配的17个中心目标作为当前视野和初始视野的新目标，继续进行匹配。选择当前视野(L＝1)中全部17个细胞作为中心目标，寻找所有中心目标的5个最近邻细胞，在初始视野(L＝1)中分别进行细胞组匹配。设分支匹配率为0.6，无法匹配出目标组，可认为初始视野和当前视野并非同一视野，无法进行批量细胞重定位。

参考文献

[1]江泽民；徐德；王麟昆；谭民，微操作机器人的研究现状与发展趋势.机器人，2003.25(6)：pp.554-559.

[2]孙立宁；孙绍云；荣伟彬；蔡鹤皋.微操作机器人的发展现状.机器人，2002.24(2)：pp.184-187.

[3]毕树生；宗光华；赵玮；李旭东；于靖军.微操作技术的最新研究进展.中国科学基金，2001(3)：p.513-517.

[4]Zappe S，Fish M，Scott M P，et al.Automated MEMS-based drosophila embryo injection system for high-throughputRNAi screens[J].Lab on a Chip，2006，6：1012-1019.

[5]Wang Z，Yang M，Almansa A，et al.Object localization with subpixel accuracy for automated microinjection[C].Proceedings of International Conference on Mechatronics and Automation，2007.428-433.

[6]Wang W H，Sun Y，Zhang M，et al.A microrobotic adherent cell injection system for investigating intracellularbehavior of quantum dots[C].Proceedings of IEEE International Conference on Robotics and Automation，Pasadena，CA，2008.407-412.

[7]Wang W H，Liu X，Sun Y.Autonomous zebrafish embryo injection using a microrobotic system[C].Proceedings ofIEEE International Conference on Automation Science and Engineering Automation Science and Engineering，Scottsdale，2007.363-368.

[8]Sun C，Zhao X，Sun M Z，et al.Research on positioning large quantities of cells[C].World Congress on IntelligentControl and Automation，China，2010.6331-6336.

Claims (1)

1.一种微操作机器人系统批量细胞重定位方法，其特征在于所述细胞主要考虑细胞自身位置基本不动的情况，在细胞培养前和培养后的两次观察中，将培养前的视野定义为初始视野，将培养后的视野定义为当前视野，从当前视野中选取细胞，在初始视野中寻找其对应细胞，这些细胞必然存在于初始视野中；批量细胞重定位方法具体分为以下两步：

第1、邻近细胞的局部匹配：

在当前视野中随机选择一个细胞作为中心目标，寻找邻近中心目标的一组细胞，通过邻近目标构型在初始视野中匹配一组邻近细胞；邻近细胞是由相对位置固定的一组细胞构成的几何图形，本发明设定邻近目标构型由三部分决定：中心目标、中心目标与其它目标的间距、各目标与中心目标连线间的逆时针转角；为了提高后续全局匹配的成功率，邻近细胞的局部匹配应尽可能保证不丢失正确的匹配，匹配结果可能不唯一，对于一组邻近细胞得到多个候选邻近细胞组；通过邻近目标构型在初始视野中匹配当前视野的一组邻近细胞，匹配思路为：首先在邻近细胞中选择一个细胞，与中心目标构成第一分支，并根据分支长度在初始视野中进行匹配；之后依次选取其它细胞与中心目标构成分支，计算分支距离、该分支到其它分支的逆时针转角，逐渐缩小匹配范围，直到该组细胞全部处理完；具体步骤如下：

第11、在当前视野中确定中心目标c和其m个最邻近细胞：c₁，c₂，L，c_m，设已处理的细胞序列为B＝{b₁，b₂，L}，用NB表示序列中的元素个数；

第1.2、设定邻近细胞的初始顺序为c₁，c₂，L，c_m，初始化变量k＝1，k表示细胞编号；

第1.3、选择第k个细胞c_k与中心目标c构成第一分支cc_k，初始化已处理序列B＝φ，并对其它细胞随机排序，排序结果记为c_{k_1}，c_{k_2}，L，c_{k_(m-1)}；

第1.4、在初始视野中搜索距离满足d_k＝|cc_k|的候选细胞对；

第1.5、若搜索成功，将细胞c_k加入序列B，初始化变量p＝1，q＝1，p表示随机排序后细胞序列的细胞编号，q表示已处理序列B中细胞的编号，继续执行，否则转到第1.11步；

第1.6、在第1.3步随机排序后的细胞中取出第p个细胞c_{k_p}，与中心细胞形成分支cc_{k_p}，在已处理的细胞序列B中取出第q个细胞b_q，计算距离d_{k_p}＝|cc_{k_p}|，以及cb_q到cc_{k_p}的逆时针转角θ，基于之前匹配结果，在初始视野中搜索满足d_{k_p}和θ的细胞；

第1.7、若搜索成功，将细胞c_{k_p}加入序列B，转到第1.9步，否则继续执行；

第1.8、令q＝q+1，若q≤NB，转到第1.6步，考察分支cc_{k_p}与其它分支的夹角，否则，在初始视野中找不到细胞c_{k_p}的对应细胞，转到第1.9步；

第1.9、令p＝p+1，q＝1，若p≤m-1，则转到第1.6步，处理下一个细胞，否则继续执行；

第1.10、计算分支匹配率NB/m，若匹配率大于设定阈值，匹配成功，保留候选邻近细胞组，否则匹配不成功，继续执行；

第1.11、令k＝k+1，若k≤m，则转到第1.3步，处理下一个第一分支；否则处理完毕，保存候选邻近细胞组；

第2、批量细胞的全局重定位：

在重定位方法中引入多分辨率的思想，设定原始的初始视野和当前视野的分辨率层次为0；将邻近细胞组作为一个整体，分辨率层次为1，通过邻近目标构型考察各中心目标间的位置关系，此时只需针对候选邻近细胞组的中心目标进行匹配，匹配结果有助于去除匹配错误的候选邻近细胞组；接下来，将层次1中的中心目标再次作为一个整体继续上述过程，分辨率层次为2；不断在下一个分辨率层次中进行上一层次中心目标的匹配，直到构成细胞网状结构，实现细胞的全局重定位；具体步骤如下：

第2.1、初始化分辨率级别L＝0；

第2.2、在当前视野中随机选择n个细胞，作为最高分辨率层次L＝0的中心目标；为了尽可能代表细胞的全局信息，中心目标应广泛分布，规定任意两个中心目标间的距离必须大于d₀；

第2.3、寻找所有中心目标的m个邻近细胞，在初始视野中分别进行细胞组匹配，得到候选邻近细胞组，如果找不到候选目标组，则删除该中心目标；

第2.4、令L＝L+1；

第2.5、在L级分辨率层次中，将上次参与匹配的中心目标作为当前视野和初始视野的新目标；

第2.6、在新目标中随机选择n_L个细胞，作为L级分辨率层次中的中心目标，任意两个中心目标间的距离必须大于d_L；

第2.7、寻找所有中心目标的m_L个邻近细胞，在初始视野中进行细胞组匹配；

第2.8、将L级分辨率层次中的构型关系反作用于(L-1)级匹配结果，删除那些匹配错误的中心目标；

第2.9、若得到唯一的匹配结果，则构成全局细胞的网状结构，结束处理，否则，转到第2.4步。

Images