CN110016431A - 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法 - Google Patents

一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法 Download PDF

Info

Publication number
CN110016431A
CN110016431A CN201910308046.2A CN201910308046A CN110016431A CN 110016431 A CN110016431 A CN 110016431A CN 201910308046 A CN201910308046 A CN 201910308046A CN 110016431 A CN110016431 A CN 110016431A
Authority
CN
China
Prior art keywords
zebrafish embryo
injection
embryo
axle robert
heart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910308046.2A
Other languages
English (en)
Other versions
CN110016431B (zh
Inventor
樊启高
张海
朱一昕
谢林柏
李岳阳
罗海驰
徐骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201910308046.2A priority Critical patent/CN110016431B/zh
Publication of CN110016431A publication Critical patent/CN110016431A/zh
Application granted granted Critical
Publication of CN110016431B publication Critical patent/CN110016431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12NMICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N15/00Mutation or genetic engineering; DNA or RNA concerning genetic engineering, vectors, e.g. plasmids, or their isolation, preparation or purification; Use of hosts therefor
    • C12N15/09Recombinant DNA-technology
    • C12N15/87Introduction of foreign genetic material using processes not otherwise provided for, e.g. co-transformation
    • C12N15/89Introduction of foreign genetic material using processes not otherwise provided for, e.g. co-transformation using microinjection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection

Abstract

本发明公开了一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法,涉及显微注射领域,包括立体显微镜、CCD相机、上位机、三轴机械手、旋转操纵器、微量移液管、泵;CCD相机位于立体显微镜上方,用于采集图像传送至上位机进行处理;上位机分别与三轴机械手和旋转操纵器连接,根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置,向三轴机械手和旋转操纵器发送控制信号控制三轴机械手的方向和速度以及旋转操纵器的旋转角度;三轴机械手夹持住对应的微量移液管将尖端移动到目标位置;旋转操纵器夹持住对应的微量移液管旋转斑马鱼胚胎;泵提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。系统结构简单,精度高,稳定性好。

Description

一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法
技术领域
本发明涉及显微注射领域,尤其是一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法。
背景技术
显微注射技术作为将外源物质引入活体细胞或生物幼体特定部位的通用方法,在现代生物工程试验中得到了大量应用,随着机器视觉和自动化技术的快速发展,基于视觉的自动显微操作技术由于其精度高、可靠性高、可大批量等优势备受关注。斑马鱼作为常见的模式动物,性成熟时间短,性成熟后的雌鱼每周可产卵一次,产卵数量多达300枚,其繁殖的快速性为试验研究节省了时间成本。同时,斑马鱼是体外发育,其胚胎通体透明,是进行胚胎发育过程和基因组学研究的绝佳材料。最重要的是,斑马鱼与人类具有高度相似的基因组,使得其成为研究生理和病理过程最佳的模式动物。
传统的斑马鱼显微注射通常是由技术娴熟的操作者在显微仪器辅助下使用一些柔性末端,例如动物超细睫毛或头发,轻轻接触幼虫来调整幼虫的姿势。幼虫体围绕其体轴及显微镜光轴旋转,直到幼虫心脏处于最佳的注射角度以方便后期的显微注射。这种反复姿态调整很大程度上取决于操作员的经验,而专业的操作员通常需要花费数年的时间成本。同时,人工显微操作的可重复性还不能得到保证,而且人工操作还会引入外界污染,导致实验失败。
发明内容
本发明针对上述问题及技术需求,提出了一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法。
本发明的技术方案如下:
第一方面,一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统,包括:立体显微镜、CCD相机、上位机、三轴机械手、旋转操纵器、微量移液管、泵;
所述立体显微镜用于操作人员对旋转和注射过程的全程监控;
所述CCD相机位于所述立体显微镜上方,所述CCD相机与所述上位机的输入连接,所述CCD相机用于采集所述立体显微镜视野下的图像,将采集的图像传送至上位机进行处理;
所述上位机的输出分别与所述三轴机械手和所述旋转操纵器连接,所述上位机根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置,向所述三轴机械手和所述旋转操纵器发送控制信号,用于控制所述三轴机械手的方向和速度,以及控制所述旋转操纵器的旋转角度;
所述三轴机械手夹持住对应的微量移液管,所述三轴机械手用于将所述微量移液管的尖端移动到目标位置;
所述旋转操纵器夹持住对应的微量移液管,所述旋转操纵器用于旋转斑马鱼胚胎;
所述泵用于提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。
其进一步的技术方案为:所述微量移液管包括接触移液管、注射移液管和旋转移液管;所述泵包括注射泵和维持泵;所述三轴机械手包括第一三轴机械手和第二三轴机械手;
所述第一三轴机械手用于抓持所述注射移液管,所述第二三轴机械手用于抓持所述接触移液管,所述旋转操纵器用于抓持所述旋转移液管;
所述接触移液管用于戳动斑马鱼胚胎使得斑马鱼胚胎围绕光轴旋转;
所述注射泵与所述注射移液管连接,所述维持泵与所述旋转移液管连接;
所述旋转移液管依靠所述维持泵吸持住斑马鱼胚胎的尾巴来使斑马鱼胚胎进行体轴旋转,使斑马鱼胚胎的心脏旋转到最佳姿态;
所述注射移液管依靠所述注射泵的推力将外来物质注射进斑马鱼胚胎的心脏。
其进一步的技术方案为:所述第一三轴机械手包括第一三轴电机和第一抓持器,所述第二三轴机械手包括第二三轴电机和第二抓持器;
所述第一三轴电机用于控制所述第一三轴机械手的运动,所述第一抓持器安装在所述第一三轴机械手的末端,所述第一三轴电机带动所述第一抓持器移动;
所述第二三轴电机用于控制所述第二三轴机械手的运动,所述第二抓持器安装在所述第二三轴机械手的末端,所述第二三轴电机带动所述第二抓持器移动。
第二方面,一种视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,应用于第一方面所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统中,所述方法包括:
将斑马鱼胚胎心脏注射系统的电源开关打开,点击上位机中的复位按钮,将三轴机械手和旋转操纵器进行初始化;
利用MS-222对斑马鱼胚胎进行麻醉,将待处理的斑马鱼胚胎放置在工作台中,静置预定时长;
通过上位机选择待处理的斑马鱼胚胎,点击开始按钮;
在所述斑马鱼胚胎心脏注射系统开始工作后,在上位机中通过立体显微镜和CCD相机获取图像,观察整个注射过程中三轴机械手和旋转操纵器的运动;
运动结束后关闭斑马鱼胚胎心脏注射系统的电源开关;
通过上述步骤对预定个数的斑马鱼胚胎执行注射操作,通过分析设定斑马鱼胚胎心脏位姿和实际位姿的偏差可得到斑马鱼胚胎心脏注射系统的旋转控制精确度,计算注射成功率。
其进一步的技术方案为:所述在上位机中通过立体显微镜和CCD相机获取图像,观察整个注射过程中三轴机械手和旋转操纵器的运动,包括:
通过上位机中的Gabor滤波器运用减除运算将采集的图像中的微量移液管和斑马鱼胚胎从背景中分离出来;
通过上位机中的主动轮廓模型实时跟踪定位微量移液管尖端;
确定斑马鱼胚胎的坐标位置;
在斑马鱼胚胎移动过程中通过区域重建方法跟踪斑马鱼胚胎;
通过闭环控制第二三轴机械手带动接触移液管移动,将斑马鱼胚胎的身体区域分成预定数量的状态,根据切换控制策略,利用接触移液管施加不同的力戳动斑马鱼胚胎身上2个特定点以产生力矩,使斑马鱼胚胎围绕立体显微镜的光轴旋转;
利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转,确定最佳注射位置和朝向;
控制第一三轴机械手带动注射移液管移动,对斑马鱼胚胎心脏进行注射。
其进一步的技术方案为:所述确定斑马鱼胚胎的坐标位置,包括:
采用鱼鳔位置和胚胎身体倾角将胚胎表示为(xSB,ySBlf);将鱼鳔位置记为SB(xSB,ySB),将眼睛重心记为Eye(xEye,yEye);θl是图像坐标系中胚胎身体与图像横向边界U轴之间的夹角,θf为SB和Eye的连接线与U轴之间的夹角;则斑马鱼胚胎位姿表示为(xSB,ySBlf)。
7、根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,其特征在于,所述区域重建方法为:θl,k=θl,0+Δθ,其中,下标k表示第k个采样时刻;Δθ=θf,kf,0,θl,k表示在第k采样时刻胚胎身体与U轴的夹角,θf,k表示鱼鳔重心和最大域的连接线与U轴之间的夹角;
假设点固定在胚胎体上,则点P的实时坐标通过下式获得:
其中,W是图像宽度,H是图像高度。
其进一步的技术方案为:所述通过闭环控制第二三轴机械手带动接触移液管移动,包括:
通过第一闭环控制对三轴机械手进行YL轴的位置控制,使微量移液管尖端从k时刻的移动到接触点则在k时刻的增量式PD控制器为:其中是控制增益,
通过第二闭环控制对三轴机械手进行XL轴的位置控制,使微量移液管尖端从k时刻的移动到接触点则在k时刻的增量式PD控制器为:其中是控制增益,
其进一步的技术方案为:所述利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转,包括:
以斑马鱼胚胎眼睛、鱼鳔和不规则色素沉着的二元图像的区域面积R作为旋转角度测量值;当面积R最大时,当前胚胎心脏向上,当面积R最小时,当前胚胎心脏向左或向右;
设置面积R的上限通过判断去除局部最小值;
获得最小面积后,通过斑马鱼胚胎体的弯曲方向判断心脏向左或向右;
获得斑马鱼胚胎体的最外轮廓,将胚胎体每个横截面的中点连接在一起构建中线;
应用二次曲线通过线性最小二乘法拟合中线,拟合曲线的参数表示斑马鱼胚胎的特定姿势。
本发明的有益技术效果是:
通过视觉伺服三维旋转控制斑马鱼胚胎的心脏位置,解决了胚胎心脏定位不精确的问题以及传统旋转控制下调整胚胎姿态繁琐、不稳健的问题,能够对斑马鱼胚胎实现三维旋转控制,提供了一种自动的显微注射系统,成本相对较低,系统结构简单,操作简单,精度高,稳定性好,能够对旋转斑马鱼胚胎进行精确稳定的三维旋转控制。通过上位机软件操作,能够实时监测注射器件的运动,采用的控制算法,能够快速定位斑马鱼胚胎的位置,计算出使胚胎心脏达到最佳注射姿态的旋转角度。
附图说明
图1是本发明一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统的示意图。
图2是本发明一个实施例提供的滚动斑马鱼胚胎的示意图。
图3是本发明一个实施例提供的旋转操纵器的示意图。
图4是本发明一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法的流程图。
图5是本发明一个实施例提供的胚胎旋转操作顺序的流程图。
图6是本发明另一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
图1是本发明一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统的示意图,如图1所示,该系统包括:立体显微镜1、CCD相机2、上位机、三轴机械手、旋转操纵器3、微量移液管、泵。
立体显微镜1用于操作人员对旋转和注射过程的全程监控。
本实施例中使用具有7:1变焦比的立体显微镜。立体显微镜1上当具有灯光,照射显微镜的观察视野便于观察。
CCD相机2位于立体显微镜1上方,CCD相机2与上位机的输入连接,CCD相机2用于采集立体显微镜1视野下的图像,将采集的图像传送至上位机进行处理。
装有斑马鱼胚胎的培养皿置于立体显微镜1的观察视野下,放置在操作平台上,操作人员可以通过立体显微镜1直接观察斑马鱼胚胎,同时CCD相机2将采集的图像通过接线发送至上位机,操作人员也可以通过上位机的显示屏观察斑马鱼胚胎。
可选的,CCD相机以12帧/秒的速度捕获图像。
上位机的输出分别与三轴机械手和旋转操纵器3连接,上位机根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置,向三轴机械手和旋转操纵器3发送控制信号,用于控制三轴机械手的方向和速度,以及控制旋转操纵器3的旋转角度。
三轴机械手夹持住对应的微量移液管,三轴机械手用于将微量移液管的尖端移动到目标位置。
旋转操纵器3夹持住对应的微量移液管,旋转操纵器3用于旋转斑马鱼胚胎,使胚胎的心脏旋转到最佳注射姿态方便注射。旋转操纵器3使用视觉伺服,可以三维旋转斑马鱼胚胎以达到最佳注射角度,满足斑马鱼胚胎围绕体轴旋转的要求。
泵用于提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。
可选的,微量移液管包括接触移液管4、注射移液管5和旋转移液管6;泵包括注射泵7和维持泵8;三轴机械手包括第一三轴机械手和第二三轴机械手。
接触移液管4、注射移液管5和旋转移液管6都是微量移液管,末端的直径不同。
第一三轴机械手用于抓持注射移液管5,第二三轴机械手用于抓持接触移液管4,旋转操纵器3用于抓持旋转移液管6;接触移液管4用于戳动斑马鱼胚胎使得斑马鱼胚胎围绕光轴旋转;注射泵7与注射移液管5连接,维持泵8与旋转移液管6连接;旋转移液管6依靠维持泵8吸持住斑马鱼胚胎的尾巴来使斑马鱼胚胎进行体轴旋转,使斑马鱼胚胎的心脏旋转到最佳姿态;注射移液管5依靠注射泵7的推力将外来物质注射进斑马鱼胚胎的心脏。
结合参考图2,其示出了滚动斑马鱼胚胎的示意图,系统识别出旋转移液管6的尖端和斑马鱼胚胎的尾巴,然后驱动旋转移液管6的尖端靠近斑马鱼胚胎的尾部与之对齐,通过维持泵8抽吸固定部分斑马鱼胚胎的尾巴,最后通过旋转操纵器3控制移液管固定器带动旋转移液管6带动斑马鱼胚胎绕体轴滚动。
结合参考图3,其示出了旋转操纵器3的示意图,旋转操纵器包括两个步进电机,由步进电机驱动器驱动,实现水平运动,还包括一个直流伺服电机,直流伺服电机控制移液管固定器的旋转。另外,尽管图中未示出,移液管固定器与直流伺服电机的连接处(末端圆柱体)内部还封装有比例为17:1的减速器、128线编码器和一个齿数为50和14的同步带,减速器用于减速传动,编码器用于测量旋转位移,同步带用于连接直流伺服电机和移液管固定器。运动控制器同时控制这三个电机以满足旋转操纵器的要求。可选的,硬件在Keil 5上开发,软件在Visual Studio 2010上开发。旋转操纵器3的手臂与水平面之间的夹角范围为0°到60°,旋转操纵器3的平移运动范围为20mm×20mm,位置分辨率为1μm,旋转操纵器3的旋转速度高达360°/s,旋转位置分辨率为0.1°。
可选的,第一三轴机械手包括第一三轴电机9和第一抓持器10,第二三轴机械手包括第二三轴电机11和第二抓持器12;第一三轴电机9用于控制第一三轴机械手的运动,第一抓持器10安装在第一三轴机械手的末端,第一三轴电机9带动第一抓持器10移动;第二三轴电机11用于控制第二三轴机械手的运动,第二抓持器12安装在第二三轴机械手的末端,第二三轴电机11带动第二抓持器12移动。
可选的,在实际应用中,本发明实施例中的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统置于防振台上。
本发明实施例还提供了一种视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,应用于图1所示的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统中,如图4所示,该方法可以包括:
步骤S1,将斑马鱼胚胎心脏注射系统的电源开关打开,点击上位机中的复位按钮,将三轴机械手和旋转操纵器进行初始化。
步骤S2,利用MS-222对斑马鱼胚胎进行麻醉,将待处理的斑马鱼胚胎放置在工作台中,静置预定时长。
MS-222是一种化学物质,分子式是C10H15NO5S,用于水产品的实验室研究领域,是一种很好的试验用鱼手术麻醉剂。
静置预定时长用于麻醉斑马鱼胚胎,比如静置5秒。
步骤S3,通过上位机选择待处理的斑马鱼胚胎,点击开始按钮。
培养基中有多个待处理的斑马鱼胚胎,可以人为选择一个胚胎作为首个操作对象。
步骤S4,在斑马鱼胚胎心脏注射系统开始工作后,在上位机中通过立体显微镜和CCD相机获取图像,观察整个注射过程中三轴机械手和旋转操纵器的运动。
可选的,步骤S4可以包括:
第一步,通过上位机中的Gabor滤波器运用减除运算将采集的图像中的微量移液管和斑马鱼胚胎从背景中分离出来。
第二步,通过上位机中的主动轮廓模型实时跟踪定位微量移液管尖端。
主动轮廓模型可以对微量移液管的尖端进行识别并跟踪定位。针对旋转移液管存在端部相对光滑的问题,使用二次曲线来拟合端部附近的点。
第三步,确定斑马鱼胚胎的坐标位置。
采用鱼鳔位置和胚胎身体倾角将胚胎表示为(xSB,ySBlf);将鱼鳔位置记为SB(xSB,ySB),将眼睛重心记为Eye(xEye,yEye);θl是图像坐标系中胚胎身体与图像横向边界U轴之间的夹角,θf为SB和Eye的连接线与U轴之间的夹角;则斑马鱼胚胎位姿表示为(xSB,ySBlf)。
第四步,在斑马鱼胚胎移动过程中通过区域重建方法跟踪斑马鱼胚胎。
为了防止斑马鱼胚胎由于移动、旋转超出图像边界,因此提出一种胚胎身体区域(LBR)的区域重建方法来跟踪胚胎。
区域重建方法为:θl,k=θl,0+Δθ,其中,下标k表示第k个采样时刻;Δθ=θf,kf,0,θl,k表示在第k采样时刻胚胎身体与U轴的夹角,θf,k表示鱼鳔重心和最大域的连接线与U轴之间的夹角;
假设点固定在胚胎体上,则点P的实时坐标通过下式获得:
其中,W是图像宽度,H是图像高度。
第五步,通过闭环控制第二三轴机械手带动接触移液管移动,将斑马鱼胚胎的身体区域分成预定数量的状态,根据切换控制策略,利用接触移液管施加不同的力戳动斑马鱼胚胎身上2个特定点以产生力矩,使斑马鱼胚胎围绕立体显微镜的光轴旋转。
通过第一闭环控制对三轴机械手进行YL轴的位置控制,使微量移液管尖端从k时刻的移动到接触点则在k时刻的增量式PD控制器为:其中是控制增益,
通过第二闭环控制对三轴机械手进行XL轴的位置控制,使微量移液管尖端从k时刻的移动到接触点则在k时刻的增量式PD控制器为:其中是控制增益,
第六步,利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转,确定最佳注射位置和朝向。
以斑马鱼胚胎眼睛、鱼鳔和不规则色素沉着的二元图像的区域面积R作为旋转角度测量值;当面积R最大时,当前胚胎心脏向上,当面积R最小时,当前胚胎心脏向左或向右;设置面积R的上限通过判断去除局部最小值;获得最小面积后,通过斑马鱼胚胎体的弯曲方向判断心脏向左或向右;获得斑马鱼胚胎体的最外轮廓,将胚胎体每个横截面的中点连接在一起构建中线;应用二次曲线通过线性最小二乘法拟合中线,拟合曲线的参数表示斑马鱼胚胎的特定姿势。
由于色度沉着是不规则的,在最大R附近可能存在局部最小值,通过设置面积R的上限考虑可以避免这些局部最小值。
第七步,控制第一三轴机械手带动注射移液管移动,对斑马鱼胚胎心脏进行注射。
为了使斑马鱼胚胎围绕显微镜光轴(z轴)旋转,使用两个移液管戳胚胎身体上的特定点以产生适当的扭矩,将显微镜视野分成四个象限以调节旋转方案,在不同的子区域内,通过切换控制策略,以保证斑马鱼胚胎身体根据LBR状态进行特定序列旋转与旋转移液管平行。当LBR与旋转移液管的夹角收敛于0时,旋转操纵器带动旋转移液管移动接近并吸住胚胎的尾巴,之后计算二值化LBR的面积,如果面积达到局部最小值,则利用二次方曲线拟合胚胎的中线,拟合曲线的参数表示胚胎的方向,否则,旋转操纵器继续滚动,直到达到最小值。结合参考图5,其示出了胚胎旋转操作顺序的流程图,首先,物体识别;然后,斑马鱼胚胎和移液管尖端定位;然后,移动和旋转过程中的物体跟踪;然后,获得斑马鱼胚胎和移液管的倾斜角;然后判断斑马鱼与移液管是否平行,若不平行,利用开关策略在z轴旋转胚胎,继续判断斑马鱼与移液管是否平行,若平行,则移动旋转移液管来吸住胚胎尾巴;然后,计算二值化斑马鱼胚胎面积;然后判断是否达到局部最小值,若没有达到局部最小值,则旋转斑马鱼胚胎,重新计算二值化斑马鱼胚胎面积,若达到局部最小值,则拟合斑马鱼胚胎的中线;然后,判断方向是否最佳,若不是,则旋转斑马鱼胚胎,重新计算二值化斑马鱼胚胎面积,若方向最佳,则结束流程。
步骤S5,运动结束后关闭斑马鱼胚胎心脏注射系统的电源开关。
步骤S6,通过上述步骤对预定个数的斑马鱼胚胎执行注射操作,通过分析设定斑马鱼胚胎心脏位姿和实际位姿的偏差可得到斑马鱼胚胎心脏注射系统的旋转控制精确度,计算注射成功率。
在实际应用中,重复以上步骤S1至S5十次,分析设定斑马鱼心脏位姿与实际位姿的偏差可得出该系统的旋转控制精确度,计算注射成功率。注射结束后通过观察分析斑马鱼胚胎心脏的实际与期望位姿,可知z轴的平均旋转成功率为90%,x轴的平均旋转成功率为100%。同时,该显微注射系统处理单个斑马鱼胚胎的平均时间为44s。
对于本发明实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,还可以表示为图6所示的流程图,如图6所示,首先,打开电源开关,点击“复位”按钮;然后判断观察是否复位成功,若没有成功,则继续观察复位是否成功;若成功,则利用MS-222麻醉斑马鱼胚胎,移至平台,静置5s;然后在上位机中选择待处理的个体,点击开始按钮,然后在上位机中实时观察整个旋转注射过程;然后判断注射是否结束,若没有结束,则继续观察注射是否结束,若结束,则关闭电源开关,结束流程。
以上所述的仅是本发明的优先实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统,其特征在于,包括:立体显微镜、CCD相机、上位机、三轴机械手、旋转操纵器、微量移液管、泵;
所述立体显微镜用于操作人员对旋转和注射过程的全程监控;
所述CCD相机位于所述立体显微镜上方,所述CCD相机与所述上位机的输入连接,所述CCD相机用于采集所述立体显微镜视野下的图像,将采集的图像传送至上位机进行处理;
所述上位机的输出分别与所述三轴机械手和所述旋转操纵器连接,所述上位机根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置,向所述三轴机械手和所述旋转操纵器发送控制信号,用于控制所述三轴机械手的方向和速度,以及控制所述旋转操纵器的旋转角度;
所述三轴机械手夹持住对应的微量移液管,所述三轴机械手用于将所述微量移液管的尖端移动到目标位置;
所述旋转操纵器夹持住对应的微量移液管,所述旋转操纵器用于旋转斑马鱼胚胎;
所述泵用于提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。
2.根据权利要求1所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统,其特征在于,所述微量移液管包括接触移液管、注射移液管和旋转移液管;所述泵包括注射泵和维持泵;所述三轴机械手包括第一三轴机械手和第二三轴机械手;
所述第一三轴机械手用于抓持所述注射移液管,所述第二三轴机械手用于抓持所述接触移液管,所述旋转操纵器用于抓持所述旋转移液管;
所述接触移液管用于戳动斑马鱼胚胎使得斑马鱼胚胎围绕光轴旋转;
所述注射泵与所述注射移液管连接,所述维持泵与所述旋转移液管连接;
所述旋转移液管依靠所述维持泵吸持住斑马鱼胚胎的尾巴来使斑马鱼胚胎进行体轴旋转,使斑马鱼胚胎的心脏旋转到最佳姿态;
所述注射移液管依靠所述注射泵的推力将外来物质注射进斑马鱼胚胎的心脏。
3.根据权利要求2所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统,其特征在于,所述第一三轴机械手包括第一三轴电机和第一抓持器,所述第二三轴机械手包括第二三轴电机和第二抓持器;
所述第一三轴电机用于控制所述第一三轴机械手的运动,所述第一抓持器安装在所述第一三轴机械手的末端,所述第一三轴电机带动所述第一抓持器移动;
所述第二三轴电机用于控制所述第二三轴机械手的运动,所述第二抓持器安装在所述第二三轴机械手的末端,所述第二三轴电机带动所述第二抓持器移动。
4.一种视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,其特征在于,应用于如权利要求1至3任一所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统中,所述方法包括:
将斑马鱼胚胎心脏注射系统的电源开关打开,点击上位机中的复位按钮,将三轴机械手和旋转操纵器进行初始化;
利用MS-222对斑马鱼胚胎进行麻醉,将待处理的斑马鱼胚胎放置在工作台中,静置预定时长;
通过上位机选择待处理的斑马鱼胚胎,点击开始按钮;
在所述斑马鱼胚胎心脏注射系统开始工作后,在上位机中通过立体显微镜和CCD相机获取图像,观察整个注射过程中三轴机械手和旋转操纵器的运动;
运动结束后关闭斑马鱼胚胎心脏注射系统的电源开关;
通过上述步骤对预定个数的斑马鱼胚胎执行注射操作,通过分析设定斑马鱼胚胎心脏位姿和实际位姿的偏差可得到斑马鱼胚胎心脏注射系统的旋转控制精确度,计算注射成功率。
5.根据权利要求4所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,其特征在于,所述在上位机中通过立体显微镜和CCD相机获取图像,观察整个注射过程中三轴机械手和旋转操纵器的运动,包括:
通过上位机中的Gabor滤波器运用减除运算将采集的图像中的微量移液管和斑马鱼胚胎从背景中分离出来;
通过上位机中的主动轮廓模型实时跟踪定位微量移液管尖端;
确定斑马鱼胚胎的坐标位置;
在斑马鱼胚胎移动过程中通过区域重建方法跟踪斑马鱼胚胎;
通过闭环控制第二三轴机械手带动接触移液管移动,将斑马鱼胚胎的身体区域分成预定数量的状态,根据切换控制策略,利用接触移液管施加不同的力戳动斑马鱼胚胎身上2个特定点以产生力矩,使斑马鱼胚胎围绕立体显微镜的光轴旋转;
利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转,确定最佳注射位置和朝向;
控制第一三轴机械手带动注射移液管移动,对斑马鱼胚胎心脏进行注射。
6.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,其特征在于,所述确定斑马鱼胚胎的坐标位置,包括:
采用鱼鳔位置和胚胎身体倾角将胚胎表示为(xSB,ySBlf);将鱼鳔位置记为SB(xSB,ySB),将眼睛重心记为Eye(xEye,yEye);θl是图像坐标系中胚胎身体与图像横向边界U轴之间的夹角,θf为SB和Eye的连接线与U轴之间的夹角;则斑马鱼胚胎位姿表示为(xSB,ySBlf)。
7.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,其特征在于,所述区域重建方法为:θl,k=θl,0+Δθ,其中,下标k表示第k个采样时刻;Δθ=θf,kf,0,θl,k表示在第k采样时刻胚胎身体与U轴的夹角,θf,k表示鱼鳔重心和最大域的连接线与U轴之间的夹角;
假设点固定在胚胎体上,则点P的实时坐标通过下式获得:
其中,W是图像宽度,H是图像高度。
8.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,其特征在于,所述通过闭环控制第二三轴机械手带动接触移液管移动,包括:
通过第一闭环控制对三轴机械手进行YL轴的位置控制,使微量移液管尖端从k时刻的移动到接触点则在k时刻的增量式PD控制器为:其中是控制增益,
通过第二闭环控制对三轴机械手进行XL轴的位置控制,使微量移液管尖端从k时刻的移动到接触点则在k时刻的增量式PD控制器为:其中是控制增益,
9.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法,其特征在于,所述利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转,包括:
以斑马鱼胚胎眼睛、鱼鳔和不规则色素沉着的二元图像的区域面积R作为旋转角度测量值;当面积R最大时,当前胚胎心脏向上,当面积R最小时,当前胚胎心脏向左或向右;
设置面积R的上限通过判断去除局部最小值;
获得最小面积后,通过斑马鱼胚胎体的弯曲方向判断心脏向左或向右;
获得斑马鱼胚胎体的最外轮廓,将胚胎体每个横截面的中点连接在一起构建中线;
应用二次曲线通过线性最小二乘法拟合中线,拟合曲线的参数表示斑马鱼胚胎的特定姿势。
CN201910308046.2A 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法 Active CN110016431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910308046.2A CN110016431B (zh) 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910308046.2A CN110016431B (zh) 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法

Publications (2)

Publication Number Publication Date
CN110016431A true CN110016431A (zh) 2019-07-16
CN110016431B CN110016431B (zh) 2020-12-01

Family

ID=67191658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910308046.2A Active CN110016431B (zh) 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法

Country Status (1)

Country Link
CN (1) CN110016431B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496779A (zh) * 2020-03-09 2020-08-07 哈尔滨工业大学 一种基于机器视觉的智能显微操作系统
CN111597914A (zh) * 2020-04-23 2020-08-28 于兴虎 一种斑马鱼幼鱼尾部吸持损伤评估方法及系统
CN111611844A (zh) * 2020-03-30 2020-09-01 于兴虎 一种斑马鱼幼鱼吸持运动过程中吸持状态确定方法及系统
CN112716650A (zh) * 2021-01-25 2021-04-30 南开大学 一种机器人化的斑马鱼主静脉显微注射方法
CN113509288A (zh) * 2021-07-09 2021-10-19 浙江大学 针对鲆鲽鱼类的疫苗自动注射机
CN113528583A (zh) * 2021-07-15 2021-10-22 澳门大学 自动化显微注射方法、装置、系统、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077329A1 (en) * 2006-09-21 2008-03-27 Yu Sun High-throughput automated cellular injection system and method
CN107047396A (zh) * 2017-06-23 2017-08-18 哈尔滨工业大学 一种视觉伺服斑马鱼心脏注射方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077329A1 (en) * 2006-09-21 2008-03-27 Yu Sun High-throughput automated cellular injection system and method
CN107047396A (zh) * 2017-06-23 2017-08-18 哈尔滨工业大学 一种视觉伺服斑马鱼心脏注射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张安: "基于视觉定位的斑马鱼幼鱼心脏全自动显微注射系统", 《中国优秀硕士学位论文全文数据库》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496779A (zh) * 2020-03-09 2020-08-07 哈尔滨工业大学 一种基于机器视觉的智能显微操作系统
CN111496779B (zh) * 2020-03-09 2021-04-02 哈尔滨工业大学 一种基于机器视觉的智能显微操作系统
CN111611844A (zh) * 2020-03-30 2020-09-01 于兴虎 一种斑马鱼幼鱼吸持运动过程中吸持状态确定方法及系统
CN111611844B (zh) * 2020-03-30 2023-06-13 于兴虎 一种斑马鱼幼鱼吸持运动过程中吸持状态确定方法及系统
CN111597914A (zh) * 2020-04-23 2020-08-28 于兴虎 一种斑马鱼幼鱼尾部吸持损伤评估方法及系统
CN112716650A (zh) * 2021-01-25 2021-04-30 南开大学 一种机器人化的斑马鱼主静脉显微注射方法
CN112716650B (zh) * 2021-01-25 2023-03-03 南开大学 一种机器人化的斑马鱼主静脉显微注射方法
CN113509288A (zh) * 2021-07-09 2021-10-19 浙江大学 针对鲆鲽鱼类的疫苗自动注射机
CN113528583A (zh) * 2021-07-15 2021-10-22 澳门大学 自动化显微注射方法、装置、系统、设备及存储介质

Also Published As

Publication number Publication date
CN110016431B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN110016431A (zh) 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法
CN106596550B (zh) 一种微小昆虫标本图像采集系统
CN106802300A (zh) 一种基于视觉反馈的生物显微操作装置
CN102657512A (zh) 一种应用于角膜地形图仪中的图像采集设备
CN108544531A (zh) 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法
Sakaki et al. Development of an autonomous biological cell manipulator with single-cell electroporation and visual servoing capabilities
CN207918864U (zh) 细胞培养的自动换液装置及该装置的细胞拉伸装置
CN106706642A (zh) 一种医学检验多功能测试装置
CN108051361A (zh) 一种细胞多生物物理特性的检测装置及方法
CN105199495B (zh) 陶质文物彩绘层微米级裂缝显微动态监测装置与修复方法
CN107186701A (zh) 一种三自由度并联机构的示教机械臂参数标定装置及方法
CN110124763A (zh) 一种干细胞溶液全自动分装方法
CN109091104A (zh) 一种全自动一体式验光仪设备及其验光方法
CN212364582U (zh) 一种植物表型组学信息获取系统
CN105441306B (zh) 一种细胞冷冻前细胞换液自动化一体机
CN208224289U (zh) 一种穿刺取卵术间卵泡液传递装置
CN209404745U (zh) 一种全自动一体式验光仪设备
WO2011146018A9 (en) An apparatus for guiding a surgical instrument
CN105861279A (zh) 一种用于植入前遗传学诊断的全自动单细胞装管操作系统
CN216284568U (zh) 一种临床医学检验用涂片装置
CN108535500A (zh) 一种穿刺取卵术间卵泡液传递装置
JP2596897Y2 (ja) マニピュレータ付き顕微鏡
CN106725340A (zh) 全自动动物脊髓损伤斜板实验评测装置
CN200975981Y (zh) 细胞形态自动识别装置
CN214732613U (zh) 一种基于高精度步进电机的自动取送片机构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant