CN113337371A - 一种用于贴壁细胞的自动化显微注射系统及注射方法 - Google Patents

一种用于贴壁细胞的自动化显微注射系统及注射方法 Download PDF

Info

Publication number
CN113337371A
CN113337371A CN202110663870.7A CN202110663870A CN113337371A CN 113337371 A CN113337371 A CN 113337371A CN 202110663870 A CN202110663870 A CN 202110663870A CN 113337371 A CN113337371 A CN 113337371A
Authority
CN
China
Prior art keywords
adherent cells
micropipette
cells
injection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110663870.7A
Other languages
English (en)
Inventor
贾捷
朱一昕
杜鹏
樊启高
毕恺韬
张林峰
朱高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Ruishijing Technology Co ltd
Original Assignee
Wuxi Ruishijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Ruishijing Technology Co ltd filed Critical Wuxi Ruishijing Technology Co ltd
Priority to CN202110663870.7A priority Critical patent/CN113337371A/zh
Publication of CN113337371A publication Critical patent/CN113337371A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12NMICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N15/00Mutation or genetic engineering; DNA or RNA concerning genetic engineering, vectors, e.g. plasmids, or their isolation, preparation or purification; Use of hosts therefor
    • C12N15/09Recombinant DNA-technology
    • C12N15/87Introduction of foreign genetic material using processes not otherwise provided for, e.g. co-transformation
    • C12N15/89Introduction of foreign genetic material using processes not otherwise provided for, e.g. co-transformation using microinjection

Abstract

本发明公开了一种用于贴壁细胞的自动化显微注射系统及注射方法,载物台,带贴壁细胞再X、Y方向移动,将贴壁细胞移至显微镜视野内;显微镜,倒置在载物台正上方,用来监控贴壁细胞注射的整个流程;多自由度机器人,与微量移液器连接,并将微量移液器运送至指定位置;微量移液器与注射泵连接,将待注射液体注入到贴壁细胞内;图像采集器,用于采集载物台上的图像数据,送入到上位机中,为系统提供视觉反馈。通过上述方式,本发明能够对贴壁细胞进行高精度显微注射;可以实现细胞的快速精确分割;可以获取移液器与贴壁细胞表面的垂直高度,避免了在注射过程中损伤移液器尖端;可以实现对移液器的注射路径进行优化,大大节省了注射时间。

Description

一种用于贴壁细胞的自动化显微注射系统及注射方法
技术领域
本发明涉及显微注射系统领域,特别是涉及一种用于贴壁细胞的自动化显微注射系统及注射方法。
背景技术
显微注射指的是在微观领域,通过移液器把化学物质注入到生物中,该技术的主要优点在于能够在不影响实验物体对象的前提下,将大量化学物质输入到实验对象内。细胞是显微注射中常见的操作对象,当前细胞显微注射正广泛的应用于基因治疗、细胞重组和其他用于生产转基因动物技术。
大多数哺乳动物的细胞都是黏附在培养皿表面进行培养,不同于大型悬浮细胞,贴壁细胞的细胞的尺寸更小,形态高度不规则,难以对其进行准确分割,而且在实验中通常利用蛋白质涂层将细胞粘附在培养皿表面,移液器下降过程会将移液器末端插入到蛋白质涂层中,造成移液器末端的损坏,所以有必要准确获得移液器与细胞的垂直高度,在细胞显微注射中往往需要对多个细胞进行注射,有必要对移液器的注射路径进行优化。
所以当前迫切需要一种贴壁细胞自动化注射系统,能够获取移液器与细胞的垂直高度,以及解决图像中贴壁细胞的分割和移液器注射路径优化的问题(注射路径最短)。
发明内容
本发明主要解决的技术问题是提供一种用于贴壁细胞的自动化显微注射系统及注射方法,能够实现对贴壁细胞的自动化显微注射,解决了在自动化显微注射过程中,贴壁细胞的分割,移液器与细胞之间垂直高度获取、移液器注射器路径优化的问题。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种用于贴壁细胞的自动化显微注射系统,包括:
载物台,带贴壁细胞再X、Y方向移动,将贴壁细胞移至显微镜视野内;
显微镜,倒置在载物台正上方,用来监控贴壁细胞注射的整个流程;
多自由度机器人,与微量移液器连接,并将微量移液器运送至指定位置;微量移液器与注射泵连接,将待注射液体注入到贴壁细胞内;
图像采集器,用于采集载物台上的图像数据,送入到上位机中,为系统提供视觉反馈。
在本发明一个较佳实施例中,多自由度机器人采用视觉伺服将微量移液器运送到指定位置。
在本发明一个较佳实施例中,所述贴壁细胞是使用胶原蛋白将细胞固定在培养皿表面。
在本发明一个较佳实施例中,多自由度机器人包括三自由度、四自由度、五自由度或六自由度机器人。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种用于贴壁细胞的自动化显微注射系统的注射方法,包括以下步骤:
步骤1)将待注射细胞放置在载物台上,移到显微镜视野内,将通过多自由度机器人将微量移液器到指定位置完成系统初始化;
步骤2)分割出图像中的细胞,并储存细胞位置;
步骤3)使微量移液器落在焦平面内,调整焦平面位置,并用图像采集器获取的图像与存储的移液器模板图像进行对比,当匹配相似度达到最大时即认为微量移液器落在了焦平面内;
步骤4)用运动历史图像MHI算法计算出微量移液器的与细胞的垂直距离H微米;
步骤5)使用贪心算法求出最短注射路径;
步骤6)使用光流法跟踪微量移液器末端,将其运送到指定的注射位置;
步骤7)将微量移液器沿z轴下降H+h微米,其中h为微量移液器的注射深度,使用注射泵将液体注入到细胞内;
步骤8)将微量移液器抬升到初始高度,根据求出的注射路径,重复步骤6和7直到视野内所有细胞都注射完毕。
在本发明一个较佳实施例中,步骤2)中使用segnet语义分割模型对显微镜视野内的细胞进行分割。
在本发明一个较佳实施例中,步骤3)中采用模板匹配算法监控显微镜焦平面的运动,使微量移液器落在焦平面内。
在本发明一个较佳实施例中,步骤4)中用MHI算法计算方法包括:把运动历史图像中所有像素强度之和记为S(H), u为移液器n次实验中未接触细胞时S(H)的平均值,当S(H)大于u时即移液器与细胞接触,记录此时移液器的z轴数值,将其与初始位置作差,即得移液器与细胞之间的垂直距离H。
在本发明一个较佳实施例中,步骤5)中,贪心算法引入的数组为D[n][n]用于存储两个细胞之间的欧式距离,将数组D赋值为
Figure 100002_DEST_PATH_IMAGE001
(1)
其中(x i ,y i )表示第i个细胞图像位置,(x i+1,y i+1)表示第i+1个细胞的图像位置。
在本发明一个较佳实施例中,图像采集器包括CCD相机,以每秒30~50帧的速率采集图像信息。
本发明的有益效果是:本发明基于视觉伺服的机器人贴壁细胞自动化显微注射系统及注射方法能够对贴壁细胞进行高精度显微注射;可以实现细胞的快速精确分割;可以获取移液器与贴壁细胞表面的垂直高度,避免了在注射过程中损伤移液器尖端;可以实现对移液器的注射路径进行优化,大大节省了注射时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1是本发明基于视觉伺服的机器人贴壁细胞自动化显微注射系统一较佳实施例的结构示意图;
图2所示是本发明的机器人坐标系与图像坐标系相对位置示意图;
图3所示是本发明在获取移液器与细胞表面垂直距离的过程中,移液器接触细胞前和接触细胞后的细胞形态;
图4为本发明基于注射系统的注射方法的工艺流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之上或之下可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征之上、上方和上面包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征之下、下方和下面包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
本发明实施例包括一种用于贴壁细胞的自动化显微注射系统,其中,贴壁细胞是使用胶原蛋白将细胞固定在培养皿8表面。
如图1所示,自动化显微注射系统,包括:
载物台1,优选电动载物台,带贴壁细胞2再X、Y方向移动,将贴壁细胞2移至显微镜3视野内。
显微镜3,倒置在载物台1正上方,其放大倍数为20倍以上,用来监控贴壁细胞注射的整个流程。
多自由度机器人4,与微量移液器5连接,采用视觉伺服将微量移液器5运送至指定位置;微量移液器5与注射泵6连接,将待注射液体注入到贴壁细胞内;
多自由度机器人4包括三自由度、四自由度、五自由度或六自由度机器人,本发明优选三自由度机器人。
图像采集器7,用于采集载物台1上的图像数据,送入到上位机中,为系统提供视觉反馈,本发明优选图像采集器包括CCD相机,以每秒30~50帧的速率采集图像信息。
如图2所示,机器人人坐标系与图像坐标系并不一致,在使用视觉伺服控制移液器运动时,需要将CCD相机采集到的移液器末端的图像坐标,转化为机器人坐标,输入到上位机中进行处理,输出机器人控制信号。
本发明还涉及一种用于贴壁细胞的自动化显微注射系统的注射方法,如图4所示,包括以下步骤:
步骤1)将待注射细胞放置在载物台1上,移到显微镜3视野内,将通过多自由度机器人将微量移液器到指定位置完成系统初始化;
步骤2)使用segnet语义分割模型分割出图像中的细胞,并储存细胞位置;
步骤3)采用模板匹配算法监控显微镜焦平面的运动,使微量移液器落在焦平面内,调整焦平面位置,并用图像采集器获取的图像与存储的移液器模板图像进行对比,当匹配相似度达到最大时即认为微量移液器落在了焦平面内;
步骤4)用运动历史图像MHI算法计算出微量移液器的与细胞的垂直距离H微米;
MHI算法计算方法包括:把运动历史图像中所有像素强度之和记为S(H), u为移液器n次实验中未接触细胞时S(H)的平均值,当S(H)大于u时即移液器与细胞接触,记录此时移液器的z轴数值,将其与初始位置作差,即得移液器与细胞之间的垂直距离H。
如图3所示,在移液器向下运动过程中,当移液器接触到细胞表面后,细胞会产生形变运动,从而引起图像像素点强度的变化。使用MHI(运动历史图像)检测细胞的形变运动,当检测到细胞形变时,记录此时移液器的z轴坐标,将其与初始的z轴坐标作差,即得移液器末端与细胞表面的垂直高度。
步骤5)使用贪心算法求出最短注射路径;
引入的数组为D[n][n]用于存储两个细胞之间的欧式距离,将数组D赋值为
Figure DEST_PATH_IMAGE002
(1)
其中(x i ,y i )表示第i个细胞图像位置,(x i+1,y i+1)表示第i+1个细胞的图像位置。
步骤6)使用光流法跟踪微量移液器末端,将其运送到指定的注射位置;
步骤7)将微量移液器沿z轴下降H+h微米,其中h为微量移液器的注射深度,优先2微米,使用注射泵将液体注入到细胞内;
步骤8)将微量移液器抬升到初始高度,根据求出的注射路径,重复步骤6和7直到视野内所有细胞都注射完毕。
注射结束后通过分析可知,系统的注射成功率为95.2%,细胞成活率为97.5%,注射速率为12.3cells/min。
本发明基于视觉伺服的机器人贴壁细胞自动化显微注射系统及注射方法能够对贴壁细胞进行高精度显微注射;可以实现细胞的快速精确分割;可以获取移液器与贴壁细胞表面的垂直高度,避免了在注射过程中损伤移液器尖端;可以实现对移液器的注射路径进行优化,大大节省了注射时间。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种用于贴壁细胞的自动化显微注射系统,其特征在于,包括:
载物台,带贴壁细胞再X、Y方向移动,将贴壁细胞移至显微镜视野内;
显微镜,倒置在载物台正上方,用来监控贴壁细胞注射的整个流程;
多自由度机器人,与微量移液器连接,并将微量移液器运送至指定位置;微量移液器与注射泵连接,将待注射液体注入到贴壁细胞内;
图像采集器,用于采集载物台上的图像数据,送入到上位机中,为系统提供视觉反馈。
2.根据权利要求1所述的用于贴壁细胞的自动化显微注射系统,其特征在于,多自由度机器人采用视觉伺服将微量移液器运送到指定位置。
3.根据权利要求1所述的用于贴壁细胞的自动化显微注射系统,其特征在于,所述贴壁细胞是使用胶原蛋白将细胞固定在培养皿表面。
4.根据权利要求1所述的用于贴壁细胞的自动化显微注射系统,其特征在于,多自由度机器人包括三自由度、四自由度、五自由度或六自由度机器人。
5.根据权利要求1-4任一所述的用于贴壁细胞的自动化显微注射系统的注射方法,其特征在于,包括以下步骤:
步骤1)将待注射细胞放置在载物台上,移到显微镜视野内,将通过多自由度机器人将微量移液器到指定位置完成系统初始化;
步骤2)分割出图像中的细胞,并储存细胞位置;
步骤3)使微量移液器落在焦平面内,调整焦平面位置,并用图像采集器获取的图像与存储的移液器模板图像进行对比,当匹配相似度达到最大时即认为微量移液器落在了焦平面内;
步骤4)用运动历史图像MHI算法计算出微量移液器的与细胞的垂直距离H微米;
步骤5)使用贪心算法求出最短注射路径;
步骤6)使用光流法跟踪微量移液器末端,将其运送到指定的注射位置;
步骤7)将微量移液器沿z轴下降H+h微米,其中h为微量移液器的注射深度,使用注射泵将液体注入到细胞内;
步骤8)将微量移液器抬升到初始高度,根据求出的注射路径,重复步骤6和7直到视野内所有细胞都注射完毕。
6.根据权利要求5所述的用于贴壁细胞的自动化显微注射系统的注射方法,其特征在于,步骤2)中使用segnet语义分割模型对显微镜视野内的细胞进行分割。
7.根据权利要求5所述的用于贴壁细胞的自动化显微注射系统的注射方法,其特征在于,步骤3)中采用模板匹配算法监控显微镜焦平面的运动,使微量移液器落在焦平面内。
8.根据权利要求5所述的用于贴壁细胞的自动化显微注射系统的注射方法,其特征在于,步骤4)中用MHI算法计算方法包括:把运动历史图像中所有像素强度之和记为S(H), u为移液器n次实验中未接触细胞时S(H)的平均值,当S(H)大于u时即移液器与细胞接触,记录此时移液器的z轴数值,将其与初始位置作差,即得移液器与细胞之间的垂直距离H。
9.根据权利要求5所述的用于贴壁细胞的自动化显微注射系统的注射方法,其特征在于,步骤5)中,贪心算法引入的数组为D[n][n]用于存储两个细胞之间的欧式距离,将数组D赋值为
Figure DEST_PATH_IMAGE001
(1)
其中(x i ,y i )表示第i个细胞图像位置,(x i+1,y i+1)表示第i+1个细胞的图像位置。
10.根据权利要求5所述的用于贴壁细胞的自动化显微注射系统的注射方法,其特征在于,图像采集器包括CCD相机,以每秒30~50帧的速率采集图像信息。
CN202110663870.7A 2021-06-16 2021-06-16 一种用于贴壁细胞的自动化显微注射系统及注射方法 Pending CN113337371A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110663870.7A CN113337371A (zh) 2021-06-16 2021-06-16 一种用于贴壁细胞的自动化显微注射系统及注射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110663870.7A CN113337371A (zh) 2021-06-16 2021-06-16 一种用于贴壁细胞的自动化显微注射系统及注射方法

Publications (1)

Publication Number Publication Date
CN113337371A true CN113337371A (zh) 2021-09-03

Family

ID=77477310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110663870.7A Pending CN113337371A (zh) 2021-06-16 2021-06-16 一种用于贴壁细胞的自动化显微注射系统及注射方法

Country Status (1)

Country Link
CN (1) CN113337371A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258413A (ja) * 2004-02-10 2005-09-22 Olympus Corp マイクロマニピュレーションシステム
US20080077329A1 (en) * 2006-09-21 2008-03-27 Yu Sun High-throughput automated cellular injection system and method
US20080126051A1 (en) * 2006-07-28 2008-05-29 Fujitsu Limited Microinjection apparatus and microinjection method
US20110027885A1 (en) * 2008-03-19 2011-02-03 University Of Toronto System and method for micromanipulating samples
CN106998675A (zh) * 2014-07-30 2017-08-01 多伦多大学董事局 用于生物材料的自动玻璃化的系统和方法
CN112433355A (zh) * 2020-11-13 2021-03-02 江苏集萃微纳自动化系统与装备技术研究所有限公司 一种误差自动校正的显微操作系统
CN215828733U (zh) * 2021-06-16 2022-02-15 无锡瑞视晶科技有限公司 一种用于贴壁细胞的自动化显微注射系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258413A (ja) * 2004-02-10 2005-09-22 Olympus Corp マイクロマニピュレーションシステム
US20080126051A1 (en) * 2006-07-28 2008-05-29 Fujitsu Limited Microinjection apparatus and microinjection method
US20080077329A1 (en) * 2006-09-21 2008-03-27 Yu Sun High-throughput automated cellular injection system and method
US20110027885A1 (en) * 2008-03-19 2011-02-03 University Of Toronto System and method for micromanipulating samples
CN102016687A (zh) * 2008-03-19 2011-04-13 多伦多大学管理委员会 显微操作样品的系统和方法
CN106998675A (zh) * 2014-07-30 2017-08-01 多伦多大学董事局 用于生物材料的自动玻璃化的系统和方法
CN112433355A (zh) * 2020-11-13 2021-03-02 江苏集萃微纳自动化系统与装备技术研究所有限公司 一种误差自动校正的显微操作系统
CN215828733U (zh) * 2021-06-16 2022-02-15 无锡瑞视晶科技有限公司 一种用于贴壁细胞的自动化显微注射系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁浩月: "基于视觉的微操作自动化系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 第01期, 15 January 2021 (2021-01-15), pages 14 - 53 *
钟辉;郭阿全;席文明;: "视觉伺服控制微机械手的细胞注射研究", 装备制造技术, no. 04, 15 April 2007 (2007-04-15), pages 21 - 26 *

Similar Documents

Publication Publication Date Title
CN215828733U (zh) 一种用于贴壁细胞的自动化显微注射系统
CN106998675B (zh) 用于生物材料的自动玻璃化的系统和方法
CN103249829B (zh) 用于自动化精子操作的系统和方法
US8990023B2 (en) High-throughput automated cellular injection system and method
US8846379B2 (en) Vision based method for micromanipulating biological samples
Wang et al. Automated assembly of vascular-like microtube with repetitive single-step contact manipulation
Liu et al. Automated vitrification of embryos: A robotics approach
WO2017110005A1 (ja) 対象物のピックアップ方法
Liu et al. Automated robotic measurement of 3-D cell morphologies
CN113526125B (zh) 一种基于多标签定位的细胞标本样片搬运系统及方法
Mattos et al. Blastocyst microinjection automation
US11525995B2 (en) Imaging system
Gong et al. Automatic cell rotation based on real-time detection and tracking
Zhuang et al. Microinjection in biomedical applications: an effortless autonomous omnidirectional microinjection system
CN113337371A (zh) 一种用于贴壁细胞的自动化显微注射系统及注射方法
Ghanbari et al. Cell image recognition and visual servo control for automated cell injection
CN211497657U (zh) 一种自动化处理系统
Karimirad et al. Vision-based robot-assisted biological cell micromanipulation
CN111655836A (zh) 生体对象物的移动方法以及移动装置
Wang et al. Automatic somatic cell operating process for nuclear transplantation
CN109844090A (zh) 细胞移动装置
CN109324619B (zh) 液态金属电致驱动小车及其运动控制方法
EP3730598B1 (en) Apparatus for treating biological material
JP2018063187A (ja) 容器構造体及びこれを用いた撮像システム
Zhu et al. Study of robotic system for automated oocyte manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination