CN110016431B - 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法 - Google Patents

一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法 Download PDF

Info

Publication number
CN110016431B
CN110016431B CN201910308046.2A CN201910308046A CN110016431B CN 110016431 B CN110016431 B CN 110016431B CN 201910308046 A CN201910308046 A CN 201910308046A CN 110016431 B CN110016431 B CN 110016431B
Authority
CN
China
Prior art keywords
embryo
zebra fish
axis
manipulator
fish embryo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910308046.2A
Other languages
English (en)
Other versions
CN110016431A (zh
Inventor
樊启高
张海
朱一昕
谢林柏
李岳阳
罗海驰
徐骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201910308046.2A priority Critical patent/CN110016431B/zh
Publication of CN110016431A publication Critical patent/CN110016431A/zh
Application granted granted Critical
Publication of CN110016431B publication Critical patent/CN110016431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
    • C12N15/00—Mutation or genetic engineering; DNA or RNA concerning genetic engineering, vectors, e.g. plasmids, or their isolation, preparation or purification; Use of hosts therefor
    • C12N15/09—Recombinant DNA-technology
    • C12N15/87—Introduction of foreign genetic material using processes not otherwise provided for, e.g. co-transformation
    • C12N15/89—Introduction of foreign genetic material using processes not otherwise provided for, e.g. co-transformation using microinjection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biotechnology (AREA)
  • Biomedical Technology (AREA)
  • Wood Science & Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biochemistry (AREA)
  • Plant Pathology (AREA)
  • Molecular Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Microbiology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本发明公开了一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法，涉及显微注射领域，包括立体显微镜、CCD相机、上位机、三轴机械手、旋转操纵器、微量移液管、泵；CCD相机位于立体显微镜上方，用于采集图像传送至上位机进行处理；上位机分别与三轴机械手和旋转操纵器连接，根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置，向三轴机械手和旋转操纵器发送控制信号控制三轴机械手的方向和速度以及旋转操纵器的旋转角度；三轴机械手夹持住对应的微量移液管将尖端移动到目标位置；旋转操纵器夹持住对应的微量移液管旋转斑马鱼胚胎；泵提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。系统结构简单，精度高，稳定性好。

Description

一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法
技术领域
本发明涉及显微注射领域，尤其是一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法。
背景技术
显微注射技术作为将外源物质引入活体细胞或生物幼体特定部位的通用方法，在现代生物工程试验中得到了大量应用，随着机器视觉和自动化技术的快速发展，基于视觉的自动显微操作技术由于其精度高、可靠性高、可大批量等优势备受关注。斑马鱼作为常见的模式动物，性成熟时间短，性成熟后的雌鱼每周可产卵一次，产卵数量多达300枚，其繁殖的快速性为试验研究节省了时间成本。同时，斑马鱼是体外发育，其胚胎通体透明，是进行胚胎发育过程和基因组学研究的绝佳材料。最重要的是，斑马鱼与人类具有高度相似的基因组，使得其成为研究生理和病理过程最佳的模式动物。
传统的斑马鱼显微注射通常是由技术娴熟的操作者在显微仪器辅助下使用一些柔性末端，例如动物超细睫毛或头发，轻轻接触幼虫来调整幼虫的姿势。幼虫体围绕其体轴及显微镜光轴旋转，直到幼虫心脏处于最佳的注射角度以方便后期的显微注射。这种反复姿态调整很大程度上取决于操作员的经验，而专业的操作员通常需要花费数年的时间成本。同时，人工显微操作的可重复性还不能得到保证，而且人工操作还会引入外界污染，导致实验失败。
发明内容
本发明针对上述问题及技术需求，提出了一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法。
本发明的技术方案如下：
第一方面，一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统，包括：立体显微镜、CCD相机、上位机、三轴机械手、旋转操纵器、微量移液管、泵；
所述立体显微镜用于操作人员对旋转和注射过程的全程监控；
所述CCD相机位于所述立体显微镜上方，所述CCD相机与所述上位机的输入连接，所述CCD相机用于采集所述立体显微镜视野下的图像，将采集的图像传送至上位机进行处理；
所述上位机的输出分别与所述三轴机械手和所述旋转操纵器连接，所述上位机根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置，向所述三轴机械手和所述旋转操纵器发送控制信号，用于控制所述三轴机械手的方向和速度，以及控制所述旋转操纵器的旋转角度；
所述三轴机械手夹持住对应的微量移液管，所述三轴机械手用于将所述微量移液管的尖端移动到目标位置；
所述旋转操纵器夹持住对应的微量移液管，所述旋转操纵器用于旋转斑马鱼胚胎；
所述泵用于提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。
其进一步的技术方案为：所述微量移液管包括接触移液管、注射移液管和旋转移液管；所述泵包括注射泵和维持泵；所述三轴机械手包括第一三轴机械手和第二三轴机械手；
所述第一三轴机械手用于抓持所述注射移液管，所述第二三轴机械手用于抓持所述接触移液管，所述旋转操纵器用于抓持所述旋转移液管；
所述接触移液管用于戳动斑马鱼胚胎使得斑马鱼胚胎围绕光轴旋转；
所述注射泵与所述注射移液管连接，所述维持泵与所述旋转移液管连接；
所述旋转移液管依靠所述维持泵吸持住斑马鱼胚胎的尾巴来使斑马鱼胚胎进行体轴旋转，使斑马鱼胚胎的心脏旋转到最佳姿态；
所述注射移液管依靠所述注射泵的推力将外来物质注射进斑马鱼胚胎的心脏。
其进一步的技术方案为：所述第一三轴机械手包括第一三轴电机和第一抓持器，所述第二三轴机械手包括第二三轴电机和第二抓持器；
所述第一三轴电机用于控制所述第一三轴机械手的运动，所述第一抓持器安装在所述第一三轴机械手的末端，所述第一三轴电机带动所述第一抓持器移动；
所述第二三轴电机用于控制所述第二三轴机械手的运动，所述第二抓持器安装在所述第二三轴机械手的末端，所述第二三轴电机带动所述第二抓持器移动。
第二方面，一种视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，应用于第一方面所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统中，所述方法包括：
将斑马鱼胚胎心脏注射系统的电源开关打开，点击上位机中的复位按钮，将三轴机械手和旋转操纵器进行初始化；
利用MS-222对斑马鱼胚胎进行麻醉，将待处理的斑马鱼胚胎放置在工作台中，静置预定时长；
通过上位机选择待处理的斑马鱼胚胎，点击开始按钮；
在所述斑马鱼胚胎心脏注射系统开始工作后，在上位机中通过立体显微镜和CCD相机获取图像，观察整个注射过程中三轴机械手和旋转操纵器的运动；
运动结束后关闭斑马鱼胚胎心脏注射系统的电源开关；
通过上述步骤对预定个数的斑马鱼胚胎执行注射操作，通过分析设定斑马鱼胚胎心脏位姿和实际位姿的偏差可得到斑马鱼胚胎心脏注射系统的旋转控制精确度，计算注射成功率。
其进一步的技术方案为：所述在上位机中通过立体显微镜和CCD相机获取图像，观察整个注射过程中三轴机械手和旋转操纵器的运动，包括：
通过上位机中的Gabor滤波器运用减除运算将采集的图像中的微量移液管和斑马鱼胚胎从背景中分离出来；
通过上位机中的主动轮廓模型实时跟踪定位微量移液管尖端；
确定斑马鱼胚胎的坐标位置；
在斑马鱼胚胎移动过程中通过区域重建方法跟踪斑马鱼胚胎；
通过闭环控制第二三轴机械手带动接触移液管移动，将斑马鱼胚胎的身体区域分成预定数量的状态，根据切换控制策略，利用接触移液管施加不同的力戳动斑马鱼胚胎身上2个特定点以产生力矩，使斑马鱼胚胎围绕立体显微镜的光轴旋转；
利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转，确定最佳注射位置和朝向；
控制第一三轴机械手带动注射移液管移动，对斑马鱼胚胎心脏进行注射。
其进一步的技术方案为：所述确定斑马鱼胚胎的坐标位置，包括：
采用鱼鳔位置和胚胎身体倾角将胚胎表示为(xSB,ySB,θl,θf)；将鱼鳔位置记为SB(xSB,ySB)，将眼睛重心记为Eye(xEye,yEye)；θl是图像坐标系中胚胎身体与图像横向边界U轴之间的夹角，θf为SB和Eye的连接线与U轴之间的夹角；则斑马鱼胚胎位姿表示为(xSB,ySB,θl,θf)。
7、根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，其特征在于，所述区域重建方法为：θl,k＝θl,0+Δθ，其中，下标k表示第k个采样时刻；Δθ＝θf,k-θf,0，θl,k表示在第k采样时刻胚胎身体与U轴的夹角，θf,k表示鱼鳔重心和最大域的连接线与U轴之间的夹角；
假设点
Figure BDA0002030483070000041
固定在胚胎体上，则点P的实时坐标
Figure BDA0002030483070000042
通过下式获得：
Figure BDA0002030483070000043
Figure BDA0002030483070000044
其进一步的技术方案为：所述通过闭环控制第二三轴机械手带动接触移液管移动，包括：
通过第一闭环控制对三轴机械手进行YL轴的位置控制，使微量移液管尖端从k时刻的
Figure BDA0002030483070000045
移动到接触点
Figure BDA0002030483070000046
则在k时刻的增量式PD控制器为：
Figure BDA0002030483070000047
其中
Figure BDA0002030483070000048
和
Figure BDA0002030483070000049
是控制增益，
Figure BDA00020304830700000410
通过第二闭环控制对三轴机械手进行XL轴的位置控制，使微量移液管尖端从k时刻的
Figure BDA00020304830700000411
移动到接触点
Figure BDA00020304830700000412
则在k时刻的增量式PD控制器为：
Figure BDA00020304830700000413
其中
Figure BDA00020304830700000414
和
Figure BDA00020304830700000415
是控制增益，
Figure BDA00020304830700000416
其进一步的技术方案为：所述利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转，包括：
以斑马鱼胚胎眼睛、鱼鳔和不规则色素沉着的二元图像的区域面积R作为旋转角度测量值；当面积R最大时，当前胚胎心脏向上，当面积R最小时，当前胚胎心脏向左或向右；
设置面积R的上限
Figure BDA0002030483070000051
通过判断
Figure BDA0002030483070000052
去除局部最小值；
获得最小面积后，通过斑马鱼胚胎体的弯曲方向判断心脏向左或向右；
获得斑马鱼胚胎体的最外轮廓，将胚胎体每个横截面的中点连接在一起构建中线；
应用二次曲线通过线性最小二乘法拟合中线，拟合曲线的参数表示斑马鱼胚胎的特定姿势。
本发明的有益技术效果是：
通过视觉伺服三维旋转控制斑马鱼胚胎的心脏位置，解决了胚胎心脏定位不精确的问题以及传统旋转控制下调整胚胎姿态繁琐、不稳健的问题，能够对斑马鱼胚胎实现三维旋转控制，提供了一种自动的显微注射系统，成本相对较低，系统结构简单，操作简单，精度高，稳定性好，能够对旋转斑马鱼胚胎进行精确稳定的三维旋转控制。通过上位机软件操作，能够实时监测注射器件的运动，采用的控制算法，能够快速定位斑马鱼胚胎的位置，计算出使胚胎心脏达到最佳注射姿态的旋转角度。
附图说明
图1是本发明一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统的示意图。
图2是本发明一个实施例提供的滚动斑马鱼胚胎的示意图。
图3是本发明一个实施例提供的旋转操纵器的示意图。
图4是本发明一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法的流程图。
图5是本发明一个实施例提供的胚胎旋转操作顺序的流程图。
图6是本发明另一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
图1是本发明一个实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统的示意图，如图1所示，该系统包括：立体显微镜1、CCD相机2、上位机、三轴机械手、旋转操纵器3、微量移液管、泵。
立体显微镜1用于操作人员对旋转和注射过程的全程监控。
本实施例中使用具有7:1变焦比的立体显微镜。立体显微镜1上当具有灯光，照射显微镜的观察视野便于观察。
CCD相机2位于立体显微镜1上方，CCD相机2与上位机的输入连接，CCD相机2用于采集立体显微镜1视野下的图像，将采集的图像传送至上位机进行处理。
装有斑马鱼胚胎的培养皿置于立体显微镜1的观察视野下，放置在操作平台上，操作人员可以通过立体显微镜1直接观察斑马鱼胚胎，同时CCD相机2将采集的图像通过接线发送至上位机，操作人员也可以通过上位机的显示屏观察斑马鱼胚胎。
可选的，CCD相机以12帧/秒的速度捕获图像。
上位机的输出分别与三轴机械手和旋转操纵器3连接，上位机根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置，向三轴机械手和旋转操纵器3发送控制信号，用于控制三轴机械手的方向和速度，以及控制旋转操纵器3的旋转角度。
三轴机械手夹持住对应的微量移液管，三轴机械手用于将微量移液管的尖端移动到目标位置。
旋转操纵器3夹持住对应的微量移液管，旋转操纵器3用于旋转斑马鱼胚胎，使胚胎的心脏旋转到最佳注射姿态方便注射。旋转操纵器3使用视觉伺服，可以三维旋转斑马鱼胚胎以达到最佳注射角度，满足斑马鱼胚胎围绕体轴旋转的要求。
泵用于提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。
可选的，微量移液管包括接触移液管4、注射移液管5和旋转移液管6；泵包括注射泵7和维持泵8；三轴机械手包括第一三轴机械手和第二三轴机械手。
接触移液管4、注射移液管5和旋转移液管6都是微量移液管，末端的直径不同。
第一三轴机械手用于抓持注射移液管5，第二三轴机械手用于抓持接触移液管4，旋转操纵器3用于抓持旋转移液管6；接触移液管4用于戳动斑马鱼胚胎使得斑马鱼胚胎围绕光轴旋转；注射泵7与注射移液管5连接，维持泵8与旋转移液管6连接；旋转移液管6依靠维持泵8吸持住斑马鱼胚胎的尾巴来使斑马鱼胚胎进行体轴旋转，使斑马鱼胚胎的心脏旋转到最佳姿态；注射移液管5依靠注射泵7的推力将外来物质注射进斑马鱼胚胎的心脏。
结合参考图2，其示出了滚动斑马鱼胚胎的示意图，系统识别出旋转移液管6的尖端和斑马鱼胚胎的尾巴，然后驱动旋转移液管6的尖端靠近斑马鱼胚胎的尾部与之对齐，通过维持泵8抽吸固定部分斑马鱼胚胎的尾巴，最后通过旋转操纵器3控制移液管固定器带动旋转移液管6带动斑马鱼胚胎绕体轴滚动。
结合参考图3，其示出了旋转操纵器3的示意图，旋转操纵器包括两个步进电机，由步进电机驱动器驱动，实现水平运动，还包括一个直流伺服电机，直流伺服电机控制移液管固定器的旋转。另外，尽管图中未示出，移液管固定器与直流伺服电机的连接处(末端圆柱体)内部还封装有比例为17:1的减速器、128线编码器和一个齿数为50和14的同步带，减速器用于减速传动，编码器用于测量旋转位移，同步带用于连接直流伺服电机和移液管固定器。运动控制器同时控制这三个电机以满足旋转操纵器的要求。可选的，硬件在Keil 5上开发，软件在Visual Studio 2010上开发。旋转操纵器3的手臂与水平面之间的夹角范围为0°到60°，旋转操纵器3的平移运动范围为20mm×20mm，位置分辨率为1μm，旋转操纵器3的旋转速度高达360°/s，旋转位置分辨率为0.1°。
可选的，第一三轴机械手包括第一三轴电机9和第一抓持器10，第二三轴机械手包括第二三轴电机11和第二抓持器12；第一三轴电机9用于控制第一三轴机械手的运动，第一抓持器10安装在第一三轴机械手的末端，第一三轴电机9带动第一抓持器10移动；第二三轴电机11用于控制第二三轴机械手的运动，第二抓持器12安装在第二三轴机械手的末端，第二三轴电机11带动第二抓持器12移动。
可选的，在实际应用中，本发明实施例中的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统置于防振台上。
本发明实施例还提供了一种视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，应用于图1所示的视觉伺服三维旋转的斑马鱼胚胎心脏注射系统中，如图4所示，该方法可以包括：
步骤S1，将斑马鱼胚胎心脏注射系统的电源开关打开，点击上位机中的复位按钮，将三轴机械手和旋转操纵器进行初始化。
步骤S2，利用MS-222对斑马鱼胚胎进行麻醉，将待处理的斑马鱼胚胎放置在工作台中，静置预定时长。
MS-222是一种化学物质，分子式是C10H15NO5S，用于水产品的实验室研究领域，是一种很好的试验用鱼手术麻醉剂。
静置预定时长用于麻醉斑马鱼胚胎，比如静置5秒。
步骤S3，通过上位机选择待处理的斑马鱼胚胎，点击开始按钮。
培养基中有多个待处理的斑马鱼胚胎，可以人为选择一个胚胎作为首个操作对象。
步骤S4，在斑马鱼胚胎心脏注射系统开始工作后，在上位机中通过立体显微镜和CCD相机获取图像，观察整个注射过程中三轴机械手和旋转操纵器的运动。
可选的，步骤S4可以包括：
第一步，通过上位机中的Gabor滤波器运用减除运算将采集的图像中的微量移液管和斑马鱼胚胎从背景中分离出来。
第二步，通过上位机中的主动轮廓模型实时跟踪定位微量移液管尖端。
主动轮廓模型可以对微量移液管的尖端进行识别并跟踪定位。针对旋转移液管存在端部相对光滑的问题，使用二次曲线来拟合端部附近的点。
第三步，确定斑马鱼胚胎的坐标位置。
采用鱼鳔位置和胚胎身体倾角将胚胎表示为(xSB,ySB,θl,θf)；将鱼鳔位置记为SB(xSB,ySB)，将眼睛重心记为Eye(xEye,yEye)；θl是图像坐标系中胚胎身体与图像横向边界U轴之间的夹角，θf为SB和Eye的连接线与U轴之间的夹角；则斑马鱼胚胎位姿表示为(xSB,ySB,θl,θf)。
第四步，在斑马鱼胚胎移动过程中通过区域重建方法跟踪斑马鱼胚胎。
为了防止斑马鱼胚胎由于移动、旋转超出图像边界，因此提出一种胚胎身体区域(LBR)的区域重建方法来跟踪胚胎。
区域重建方法为：θl,k＝θl,0+Δθ，其中，下标k表示第k个采样时刻；Δθ＝θf,k-θf,0，θl,k表示在第k采样时刻胚胎身体与U轴的夹角，θf,k表示鱼鳔重心和最大域的连接线与U轴之间的夹角；
假设点
Figure BDA0002030483070000091
固定在胚胎体上，则点P的实时坐标
Figure BDA0002030483070000092
通过下式获得：
Figure BDA0002030483070000093
Figure BDA0002030483070000094
其中，
Figure BDA0002030483070000095
W是图像宽度，H是图像高度。
第五步，通过闭环控制第二三轴机械手带动接触移液管移动，将斑马鱼胚胎的身体区域分成预定数量的状态，根据切换控制策略，利用接触移液管施加不同的力戳动斑马鱼胚胎身上2个特定点以产生力矩，使斑马鱼胚胎围绕立体显微镜的光轴旋转。
通过第一闭环控制对三轴机械手进行YL轴的位置控制，使微量移液管尖端从k时刻的
Figure BDA0002030483070000096
移动到接触点
Figure BDA0002030483070000097
则在k时刻的增量式PD控制器为：
Figure BDA0002030483070000098
其中
Figure BDA0002030483070000099
和
Figure BDA00020304830700000910
是控制增益，
Figure BDA00020304830700000911
通过第二闭环控制对三轴机械手进行XL轴的位置控制，使微量移液管尖端从k时刻的
Figure BDA00020304830700000912
移动到接触点
Figure BDA00020304830700000913
则在k时刻的增量式PD控制器为：
Figure BDA0002030483070000101
其中
Figure BDA0002030483070000102
和
Figure BDA0002030483070000103
是控制增益，
Figure BDA0002030483070000104
第六步，利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转，确定最佳注射位置和朝向。
以斑马鱼胚胎眼睛、鱼鳔和不规则色素沉着的二元图像的区域面积R作为旋转角度测量值；当面积R最大时，当前胚胎心脏向上，当面积R最小时，当前胚胎心脏向左或向右；设置面积R的上限
Figure BDA0002030483070000105
通过判断
Figure BDA0002030483070000106
去除局部最小值；获得最小面积后，通过斑马鱼胚胎体的弯曲方向判断心脏向左或向右；获得斑马鱼胚胎体的最外轮廓，将胚胎体每个横截面的中点连接在一起构建中线；应用二次曲线通过线性最小二乘法拟合中线，拟合曲线的参数表示斑马鱼胚胎的特定姿势。
由于色度沉着是不规则的，在最大R附近可能存在局部最小值，通过设置面积R的上限
Figure BDA0002030483070000107
考虑
Figure BDA0002030483070000108
可以避免这些局部最小值。
第七步，控制第一三轴机械手带动注射移液管移动，对斑马鱼胚胎心脏进行注射。
为了使斑马鱼胚胎围绕显微镜光轴(z轴)旋转，使用两个移液管戳胚胎身体上的特定点以产生适当的扭矩，将显微镜视野分成四个象限以调节旋转方案，在不同的子区域内，通过切换控制策略，以保证斑马鱼胚胎身体根据LBR状态进行特定序列旋转与旋转移液管平行。当LBR与旋转移液管的夹角收敛于0时，旋转操纵器带动旋转移液管移动接近并吸住胚胎的尾巴，之后计算二值化LBR的面积，如果面积达到局部最小值，则利用二次方曲线拟合胚胎的中线，拟合曲线的参数表示胚胎的方向，否则，旋转操纵器继续滚动，直到达到最小值。结合参考图5，其示出了胚胎旋转操作顺序的流程图，首先，物体识别；然后，斑马鱼胚胎和移液管尖端定位；然后，移动和旋转过程中的物体跟踪；然后，获得斑马鱼胚胎和移液管的倾斜角；然后判断斑马鱼与移液管是否平行，若不平行，利用开关策略在z轴旋转胚胎，继续判断斑马鱼与移液管是否平行，若平行，则移动旋转移液管来吸住胚胎尾巴；然后，计算二值化斑马鱼胚胎面积；然后判断是否达到局部最小值，若没有达到局部最小值，则旋转斑马鱼胚胎，重新计算二值化斑马鱼胚胎面积，若达到局部最小值，则拟合斑马鱼胚胎的中线；然后，判断方向是否最佳，若不是，则旋转斑马鱼胚胎，重新计算二值化斑马鱼胚胎面积，若方向最佳，则结束流程。
步骤S5，运动结束后关闭斑马鱼胚胎心脏注射系统的电源开关。
步骤S6，通过上述步骤对预定个数的斑马鱼胚胎执行注射操作，通过分析设定斑马鱼胚胎心脏位姿和实际位姿的偏差可得到斑马鱼胚胎心脏注射系统的旋转控制精确度，计算注射成功率。
在实际应用中，重复以上步骤S1至S5十次，分析设定斑马鱼心脏位姿与实际位姿的偏差可得出该系统的旋转控制精确度，计算注射成功率。注射结束后通过观察分析斑马鱼胚胎心脏的实际与期望位姿，可知z轴的平均旋转成功率为90％，x轴的平均旋转成功率为100％。同时，该显微注射系统处理单个斑马鱼胚胎的平均时间为44s。
对于本发明实施例提供的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，还可以表示为图6所示的流程图，如图6所示，首先，打开电源开关，点击“复位”按钮；然后判断观察是否复位成功，若没有成功，则继续观察复位是否成功；若成功，则利用MS-222麻醉斑马鱼胚胎，移至平台，静置5s；然后在上位机中选择待处理的个体，点击开始按钮，然后在上位机中实时观察整个旋转注射过程；然后判断注射是否结束，若没有结束，则继续观察注射是否结束，若结束，则关闭电源开关，结束流程。
以上所述的仅是本发明的优先实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种视觉伺服三维旋转的斑马鱼胚胎心脏注射装置，其特征在于，包括：立体显微镜、CCD相机、上位机、三轴机械手、旋转操纵器、微量移液管、泵；
所述立体显微镜用于操作人员对旋转和注射过程的全程监控；
所述CCD相机位于所述立体显微镜上方，所述CCD相机与所述上位机的输入连接，所述CCD相机用于采集所述立体显微镜视野下的图像，将采集的图像传送至上位机进行处理，采用鱼鳔位置和胚胎身体倾角将胚胎表示为(xSB,ySB,θl,θf)；将鱼鳔位置记为SB(xSB,ySB)，将眼睛重心记为Eye(xEye,yEye)；θl是图像坐标系中胚胎身体与图像横向边界U轴之间的夹角，θf为SB和Eye的连接线与U轴之间的夹角；则斑马鱼胚胎位姿表示为(xSB,ySB,θl,θf)；
在斑马鱼胚胎移动过程中通过区域重建方法跟踪斑马鱼胚胎；所述区域重建方法为：θl,k＝θl,0+Δθ，其中，下标k表示第k个采样时刻；Δθ＝θf,k-θf,0，θl,k表示在第k采样时刻胚胎身体与U轴的夹角，θf,k表示鱼鳔重心和最大域的连接线与U轴之间的夹角；假设点
Figure FDA0002723808570000011
固定在胚胎体上，则点P的实时坐标
Figure FDA0002723808570000012
通过下式获得：
Figure FDA0002723808570000013
Figure FDA0002723808570000014
其中，
Figure FDA0002723808570000015
W是图像宽度，H是图像高度；
所述上位机的输出分别与所述三轴机械手和所述旋转操纵器连接，所述上位机根据采集的图像分析斑马鱼胚胎的实时位置和姿态、微量移液管的尖端位置，向所述三轴机械手和所述旋转操纵器发送控制信号，用于控制所述三轴机械手的方向和速度，以及控制所述旋转操纵器的旋转角度；
所述三轴机械手夹持住对应的微量移液管，所述三轴机械手用于将所述微量移液管的尖端移动到目标位置；
所述旋转操纵器夹持住对应的微量移液管，所述旋转操纵器用于旋转斑马鱼胚胎；
所述泵用于提供吸持斑马鱼胚胎的吸力和推出外来物质的推力。
2.根据权利要求1所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射装置，其特征在于，所述微量移液管包括接触移液管、注射移液管和旋转移液管；所述泵包括注射泵和维持泵；所述三轴机械手包括第一三轴机械手和第二三轴机械手；
所述第一三轴机械手用于抓持所述注射移液管，所述第二三轴机械手用于抓持所述接触移液管，所述旋转操纵器用于抓持所述旋转移液管；
所述接触移液管用于戳动斑马鱼胚胎使得斑马鱼胚胎围绕光轴旋转；
所述注射泵与所述注射移液管连接，所述维持泵与所述旋转移液管连接；
所述旋转移液管依靠所述维持泵吸持住斑马鱼胚胎的尾巴来使斑马鱼胚胎进行体轴旋转，使斑马鱼胚胎的心脏旋转到最佳姿态；
所述注射移液管依靠所述注射泵的推力将外来物质注射进斑马鱼胚胎的心脏。
3.根据权利要求2所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射装置，其特征在于，所述第一三轴机械手包括第一三轴电机和第一抓持器，所述第二三轴机械手包括第二三轴电机和第二抓持器；
所述第一三轴电机用于控制所述第一三轴机械手的运动，所述第一抓持器安装在所述第一三轴机械手的末端，所述第一三轴电机带动所述第一抓持器移动；
所述第二三轴电机用于控制所述第二三轴机械手的运动，所述第二抓持器安装在所述第二三轴机械手的末端，所述第二三轴电机带动所述第二抓持器移动。
4.一种视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，其特征在于，应用于如权利要求1至3任一所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射装置中，所述方法包括：
将斑马鱼胚胎心脏注射装置的电源开关打开，点击上位机中的复位按钮，将三轴机械手和旋转操纵器进行初始化；
利用MS-222对斑马鱼胚胎进行麻醉，将待处理的斑马鱼胚胎放置在工作台中，静置预定时长；
通过上位机选择待处理的斑马鱼胚胎，点击开始按钮；
在所述斑马鱼胚胎心脏注射装置开始工作后，在上位机中通过立体显微镜和CCD相机获取图像，观察整个注射过程中三轴机械手和旋转操纵器的运动；
运动结束后关闭斑马鱼胚胎心脏注射装置的电源开关；
通过上述步骤对预定个数的斑马鱼胚胎执行注射操作，通过分析设定斑马鱼胚胎心脏位姿和实际位姿的偏差可得到斑马鱼胚胎心脏注射装置的旋转控制精确度，计算注射成功率。
5.根据权利要求4所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，其特征在于，所述在上位机中通过立体显微镜和CCD相机获取图像，观察整个注射过程中三轴机械手和旋转操纵器的运动，包括：
通过上位机中的Gabor滤波器运用减除运算将采集的图像中的微量移液管和斑马鱼胚胎从背景中分离出来；
通过上位机中的主动轮廓模型实时跟踪定位微量移液管尖端；
确定斑马鱼胚胎的坐标位置；
在斑马鱼胚胎移动过程中通过区域重建方法跟踪斑马鱼胚胎；
通过闭环控制第二三轴机械手带动接触移液管移动，将斑马鱼胚胎的身体区域分成预定数量的状态，根据切换控制策略，利用接触移液管施加不同的力戳动斑马鱼胚胎身上2个特定点以产生力矩，使斑马鱼胚胎围绕立体显微镜的光轴旋转；
利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转，确定最佳注射位置和朝向；
控制第一三轴机械手带动注射移液管移动，对斑马鱼胚胎心脏进行注射。
6.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，其特征在于，所述确定斑马鱼胚胎的坐标位置，包括：
采用鱼鳔位置和胚胎身体倾角将胚胎表示为(xSB,ySB,θl,θf)；将鱼鳔位置记为SB(xSB,ySB)，将眼睛重心记为Eye(xEye,yEye)；θl是图像坐标系中胚胎身体与图像横向边界U轴之间的夹角，θf为SB和Eye的连接线与U轴之间的夹角；则斑马鱼胚胎位姿表示为(xSB,ySB,θl,θf)。
7.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，其特征在于，所述区域重建方法为：θl,k＝θl,0+Δθ，其中，下标k表示第k个采样时刻；Δθ＝θf,k-θf,0，θl,k表示在第k采样时刻胚胎身体与U轴的夹角，θf,k表示鱼鳔重心和最大域的连接线与U轴之间的夹角；
假设点
Figure FDA0002723808570000041
固定在胚胎体上，则点P的实时坐标
Figure FDA0002723808570000042
通过下式获得：
Figure FDA0002723808570000043
Figure FDA0002723808570000044
其中，
Figure FDA0002723808570000045
W是图像宽度，H是图像高度。
8.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，其特征在于，所述通过闭环控制第二三轴机械手带动接触移液管移动，包括：
通过第一闭环控制对三轴机械手进行YL轴的位置控制，使微量移液管尖端从k时刻的
Figure FDA0002723808570000046
移动到接触点
Figure FDA0002723808570000047
则在k时刻的增量式PD控制器为：
Figure FDA0002723808570000048
其中
Figure FDA0002723808570000049
和
Figure FDA00027238085700000410
是控制增益，
Figure FDA00027238085700000411
通过第二闭环控制对三轴机械手进行XL轴的位置控制，使微量移液管尖端从k时刻的
Figure FDA00027238085700000412
移动到接触点
Figure FDA00027238085700000413
则在k时刻的增量式PD控制器为：
Figure FDA00027238085700000414
其中
Figure FDA00027238085700000415
和
Figure FDA00027238085700000416
是控制增益，
Figure FDA00027238085700000417
9.根据权利要求5所述的视觉伺服三维旋转的斑马鱼胚胎心脏注射方法，其特征在于，所述利用二元图像面积作为测量值控制斑马鱼胚胎绕体轴旋转，包括：
以斑马鱼胚胎眼睛、鱼鳔和不规则色素沉着的二元图像的区域面积R作为旋转角度测量值；当面积R最大时，当前胚胎心脏向上，当面积R最小时，当前胚胎心脏向左或向右；
设置面积R的上限
Figure FDA0002723808570000051
通过判断
Figure FDA0002723808570000052
去除局部最小值；
获得最小面积后，通过斑马鱼胚胎体的弯曲方向判断心脏向左或向右；
获得斑马鱼胚胎体的最外轮廓，将胚胎体每个横截面的中点连接在一起构建中线；
应用二次曲线通过线性最小二乘法拟合中线，拟合曲线的参数表示斑马鱼胚胎的特定姿势。
CN201910308046.2A 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法 Active CN110016431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910308046.2A CN110016431B (zh) 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910308046.2A CN110016431B (zh) 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法

Publications (2)

Publication Number Publication Date
CN110016431A CN110016431A (zh) 2019-07-16
CN110016431B true CN110016431B (zh) 2020-12-01

Family

ID=67191658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910308046.2A Active CN110016431B (zh) 2019-04-17 2019-04-17 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法

Country Status (1)

Country Link
CN (1) CN110016431B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496779B (zh) * 2020-03-09 2021-04-02 哈尔滨工业大学 一种基于机器视觉的智能显微操作系统
CN111611844B (zh) * 2020-03-30 2023-06-13 于兴虎 一种斑马鱼幼鱼吸持运动过程中吸持状态确定方法及系统
CN111597914B (zh) * 2020-04-23 2023-05-30 于兴虎 一种斑马鱼幼鱼尾部吸持损伤评估方法及系统
CN112716650B (zh) * 2021-01-25 2023-03-03 南开大学 一种机器人化的斑马鱼主静脉显微注射方法
CN113509288A (zh) * 2021-07-09 2021-10-19 浙江大学 针对鲆鲽鱼类的疫苗自动注射机
CN113528583A (zh) * 2021-07-15 2021-10-22 澳门大学 自动化显微注射方法、装置、系统、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2560352A1 (en) * 2006-09-21 2008-03-21 Yu Sun High-throughput automated cellular injection system and method
CN107047396A (zh) * 2017-06-23 2017-08-18 哈尔滨工业大学 一种视觉伺服斑马鱼心脏注射方法

Also Published As

Publication number Publication date
CN110016431A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110016431B (zh) 一种视觉伺服三维旋转的斑马鱼胚胎心脏注射系统及方法
Zhuang et al. Visual servoed three-dimensional rotation control in zebrafish larva heart microinjection system
Wang et al. High-throughput automated injection of individual biological cells
CN106802300B (zh) 一种基于视觉反馈的生物显微操作装置
US9409291B2 (en) Robot system, method for inspection, and method for producing inspection object
Zhang et al. An automated force-controlled robotic micromanipulation system for mechanotransduction studies of drosophila larvae
CN113150970B (zh) 菌落自动挑选装置
CN104493825B (zh) 微纳米操作机器人协同操作装置及其用于显微注射的操作方法
CN108670305B (zh) 乳房自动扫查装置
CN108544531B (zh) 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法
JP2011120582A (ja) 細胞など微小域観察を伴った成分捕獲と注入および分子分析自動化装置
Mattos et al. Blastocyst microinjection automation
Dong et al. Automated robotic microinjection of the nematode worm Caenorhabditis elegans
Sakaki et al. Development of an autonomous biological cell manipulator with single-cell electroporation and visual servoing capabilities
Chi et al. Design and development of an automatic microinjection system for high-throughput injection of zebrafish larvae
US11813759B2 (en) Intelligent micromanipulation system based on machine vision
Chi et al. Design of a high-throughput robotic batch microinjection system for zebrafish larvae-based on image potential energy
Karimirad et al. Vision-based robot-assisted biological cell micromanipulation
CN111679421A (zh) 基于3d成像技术的智能显微操作系统
WO2009079474A1 (en) Methods, systems, and computer readable media for facilitating automation of blastocyst microinjection
Lu et al. Automated cell manipulation: Robotic ICSI
CN212364582U (zh) 一种植物表型组学信息获取系统
CN114795289A (zh) 一种血管超声图像视觉伺服的机器人扫描方法及装置
CN108538138B (zh) 一种采集穿刺实验数据信息的运动控制系统及其使用方法
Sakaki et al. Development of a five degree-of-freedom biomanipulator for autonomous single cell electroporation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant