CN111496779A - 一种基于机器视觉的智能显微操作系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的智能显微操作系统，包括底座，所述底座上设置有显微镜、旋转台和两个升降台，所述显微镜位于所述旋转台的正上方，两个所述升降台分别位于所述旋转台的两侧，每个所述升降台上均设置有一个机械臂，两个所述机械臂上分别设置有一个末端夹持器，所述机械臂能够驱动对应的所述末端夹持器进行x、y、z方向的微调，一个所述末端夹持器夹持有吸持针，所述吸持针与吸持泵连通，另一个所述末端夹持器夹持有注射针，所述注射针与注射泵连通；所述旋转台包括托盘、转动机构和驱动装置，所述驱动装置能够通过所述转动机构驱动所述托盘转动。本发明能够方便地对不规则形状对象的进行显微操作。

Description

一种基于机器视觉的智能显微操作系统

技术领域

本发明涉及显微操作设备技术领域，特别是涉及一种基于机器视觉的智能显微操作系统。

背景技术

显微操作技术是指通过视觉、力等反馈方式，利用具有微纳米运动精度的执行器，针对生物、材料、化学分子等被控对象，完成特定实验任务的一种操作手段。传统的显微操作技术都是手工完成的，一般由经过半年及以上专业培训的有经验的实验人员操作，比如卵胞浆内单精子注射、细胞核移植等。常用的设备配置中包含显微镜、微动操作手、载物台，而实验人员坐在显微镜前用眼睛观察工作空间的情况，根据自己的经验操作微动操作手完成实验。可以看出，这一过程是费时费力的，同时又很依赖于操作人员个人的经验，很难保证所有操作过程的一致性，这样得到的结果在生命科学高通量统计意义上的置信度较低。

为了解决以上问题，国内外众多科研机构相继研制和开发了多款显微操作系统。但是目前的显微操作系统主要是将显微镜、载物台、微操作机械手组合在一起，以人工半自动操作为主，缺少具有闭环反馈的自动化控制方法。

自动化的微操作系统需要能够建立精确的图像坐标系和微机械手坐标系之间的关系。然而，体视显微镜的相机采集图像时由于目镜光路与物镜光路不同轴，因此存在一定的视线倾角。因此，对于一些需要浸在水中的微型生物观察对象(如胚胎、斑马鱼幼鱼、线虫等)，连续的操作过程中的投放、吸持等操作会导致水面高度微小的变化，体视显微镜的视线倾斜特性使得水面高度的变化不容忽视。而由于水面高度变化，同时会造成每次焦平面的变化，因此需实现显微镜的自动聚焦。

发明内容

本发明的目的是提供一种基于机器视觉的智能显微操作系统，以解决上述现有技术存在的问题，实现对生物研究中常用的微小实验对象的精准显微操作。

为实现上述目的，本发明提供了如下方案：本发明提供了一种基于机器视觉的智能显微操作系统，包括底座，所述底座上设置有显微镜、旋转台和两个升降台，所述显微镜位于所述旋转台的正上方，两个所述升降台分别位于所述旋转台的两侧，每个所述升降台上均设置有一个机械臂，两个所述机械臂上分别设置有一个末端夹持器，所述机械臂能够驱动对应的所述末端夹持器进行x、y、z方向的微调，一个所述末端夹持器夹持有吸持针，所述吸持针与吸持泵连通，另一个所述末端夹持器夹持有注射针，所述注射针与注射泵连通；所述旋转台包括托盘、转动机构和驱动装置，所述驱动装置能够通过所述转动机构驱动所述托盘转动。优选的，所述旋转台还包括旋转支撑台，所述驱动装置为步进电机，所述驱动装置安装在固设于所述旋转支撑台下方的固定座上。

优选的，所述转动机构包括托盘套筒、第一带轮、同步带和第二带轮，所述第一带轮固设于所述驱动装置的输出轴上，所述同步带绕在所述第一带轮和所述第二带轮上，所述第二带轮与所述托盘套筒固连，所述旋转支撑台通过轨道固定装置滑动设置在所述底座上，所述旋转托盘安装在所述托盘套筒上；所述轨道固定装置包括设置在所述底座上的两个滑轨，两个所述滑轨分别位于所述旋转支撑台的两侧，且两个所述滑轨分别与所述旋转支撑台的端部滑动配合。

优选的，所述轴承通过所述轴承的轴承盖轴定位于所述旋转支撑台内，所述轴承的外圈与所述旋转支撑台相接触，所述轴承的内圈与所述托盘套筒相接触，所述轴承为深沟球轴承。

优选的，还包括安装在所述显微镜上方且正对所述显微镜的目镜的摄像头，所述摄像头与上位机信号连接。

优选的，还包括安装在所述底座下方的LED光源，且所述LED光源位于所述旋转台的正下方。

优选的，所述LED光源上覆设有一层增光薄膜。

优选的，所述底座上还设置有针尖定位板。

优选的，所述注射针针尖能实现自动定位，而且针对液面高度变化能够进行自适应调整以确保自动操作的精度。

优选的，所述显微镜能根据获取图像的信息实现对观察操作对象的自动聚焦。

优选的，基于扰动极值搜索算法来不断调整显微镜位置高度，以实现所述自动对焦。

本发明还提供一种应用于上述基于机器视觉的智能显微操作系统中的基于针孔模型的针尖定位方法：首先获取机械臂位置坐标，然后基于所述机械臂位置坐标根据设定的坐标变换矩阵得到机械臂像素位置坐标，然后计算所述机械臂像素位置坐标与摄像机中采集的图像像素坐标之间的变换矩阵，最后获得机械臂的位置坐标与摄像机中采集的图像像素坐标之间的变换矩阵及成像系统中固有参数；在进行下一次操作时，将根据在同一位置，机械臂末端的像素坐标相对于上一次的像素坐标变换而计算出水面高度的变化，进而更新坐标变换矩阵。

优选的，将所述机械臂像素位置坐标与所述图像像素坐标的差作为损失函数，并采用梯度下降法来计算所述机械臂像素位置坐标与所述图像像素坐标的变换矩阵及成像系统中固有参数。

优选的，所述所述机械臂位置坐标与所述图像像素坐标的关系为：

其中u，v分别为所述图像像素坐标下的坐标；x_m,y_m,z_m为在机械臂坐标系下的坐标；{m_ij}为坐标变换矩阵的参数。

本发明相对于现有技术取得了以下技术效果：

本发明的基于机器视觉的智能显微操作系统能够方便地对不规则形状对象的进行显微操作。本发明显微操作系统能快速地调整目标物的姿态，吸持住目标物并进行注射，无需手动操作，减少了实验时间，提高了目标物幼鱼的注射效率；本发明显微操作系统通过注射泵能够实现快速高通量的实现目标物注射。本发明显微操作系统不仅可以一致地旋转目标物幼鱼到预定的姿态，并且还能提供一个可控的吸持压强来最小化固定损伤。本发明显微操作系统目标物的水平面投影和空间高度可以被微米级定位，并对其进行精确的注射。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于机器视觉的智能显微操作系统的结构示意图；

图2为本发明基于机器视觉的智能显微操作系统中旋转台的结构示意图；

图3为本发明基于机器视觉的智能显微操作系统中增光薄膜的结构示意图；

图4为采用本发明基于机器视觉的智能显微操作系统对斑马鱼幼鱼器官注射的示意图；

图5为采用本发明基于机器视觉的智能显微操作系统对斑马鱼幼鱼器官注射的流程图；

图6为本发明基于针孔模型的针尖定位方法中针孔模型的示意图一；

图7为本发明基于针孔模型的针尖定位方法中针孔模型的示意图二；

图8为本发明中基于极值搜索算法的自动聚焦原理图；

其中：1-摄像头，2-显微镜，3-机械臂，4-注射泵，5-底座，6-旋转台， 601-旋转支撑台，602-托盘套筒，603-旋转托盘，604-第一带轮，605-固定座，606-步进电机，607-第二带轮，608-轴承盖，609-同步带，610-轴承， 7-LED光源，8-针尖定位板，9-轨道固定装置，10-升降台，11-吸持泵，12- 末端夹持器，13-增光薄膜，14-吸持针，15-注射针，16-待注射器官。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于机器视觉的智能显微操作系统，以解决上述现有技术存在的问题，实现对不规则形状对象的显微操作。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1至图5所示：本实施例基于机器视觉的智能显微操作系统包括底座5，底座5上设置有显微镜2、旋转台和两个升降台10，显微镜2的型号为Nikon-SMZ25，显微镜2位于旋转台的正上方，两个升降台10分别位于旋转台的两侧，每个升降台10上均设置有一个机械臂3，升降台10 能够进行手动调节从而调节机械臂3的高度，机械臂3的型号为sutter MP-285，两个机械臂3上分别设置有一个末端夹持器12，机械臂3能够驱动对应的末端夹持器12进行x、y、z方向的微调，一个末端夹持器12夹持有吸持针14，吸持针14与吸持泵11连通，吸持泵11的型号为CellTranm AirEppendorf，另一个末端夹持器12夹持有注射针15，注射针15与注射泵4连通，注射泵4的型号为FemtoJet，Eppendorf；

旋转台包括旋转支撑台601、托盘、转动机构和驱动装置，驱动装置能够通过转动机构驱动托盘转动；驱动装置为步进电机606，驱动装置安装在固设于旋转支撑台601下方的固定座605上；转动机构包括托盘套筒602、第一带轮604、同步带609和第二带轮607，第一带轮604固设于驱动装置的输出轴上，同步带609绕在第一带轮604和第二带轮607上，第二带轮 607与托盘套筒602固连，旋转支撑台601通过轨道固定装置9滑动设置在底座5上，旋转托盘603安装在托盘套筒602上；轨道固定装置9包括设置在底座5上的两个滑轨，两个滑轨分别位于旋转支撑台601的两侧，且两个滑轨分别与旋转支撑台601的端部滑动配合。轴承610通过轴承610 的轴承610轴承610盖608轴定位于旋转支撑台601内，轴承610的外圈与旋转支撑台601相接触，轴承610的内圈与托盘套筒602相接触，轴承 610为深沟球轴承610。

显微镜2上方安装有正对显微镜2的目镜的摄像头1，摄像头1的型号为GO-5000C-USB，底座5下方的LED光源7，且LED光源7位于旋转台的正下方。在本实施例中，LED光源7上覆设有一层增光薄膜13，增光薄膜13的表面具有三角形条纹(参照图3)，增光薄膜13用于改变垂直光线为倾斜光线(参照图3)，以增强旋转台处的光线，提高摄像头1的成像亮度更均匀，针尖成像更加清晰。摄像头1、升降台10、步进电机606、LED 光源7、注射泵4、吸持泵11及两个机械臂3分别与上位机信号连接，上位机能够控制上述各个零件的开启、运行和关闭。

底座5上还设置有针尖定位板8，定位板用于吸持针14和注射针15 安装时，辅助确定两者的安装位置，以免针尖安装过低造成针尖容易折断，同时也能够保证每次安装高度基本相同，方便使用。

以斑马鱼幼鱼为操作对象，本实施例基于机器视觉的智能显微操作系统的使用过程如下：

将装置安装后将上位机、摄像头1和LED光源7均打开，首先完成系统标定，系统标定包括吸持针14的触底检测，注射针15的主动聚焦，注射针15和吸持针14的手眼标定以及旋转托盘603的特征提取，吸持针14 的触底检测为在开机后控制吸持针14垂直匀速下移，当吸持针14触碰到底面时，吸持针14的针尖将产生变形，在显微镜2下将看见吸持针14的针尖产生水平面的位移，将此时吸持针14的位置作为高度的零点；注射针 15和吸持针14的手眼标定即得出注射针15的针尖和吸持针14的针尖移动相应像素大小与对应的实际距离的关系；选择注射器官，之后对注射针15 和吸持针14进行定位，将注射针15和吸持针14移动到摄像机视野边缘处，所有参数置零。当斑马鱼幼鱼放入旋转托盘603后，摄像机将获取幼鱼当前姿态，经上位机处理后，上位机通过步进电机606控制旋转托盘603转动，使斑马鱼幼鱼处于目标姿态。之后检测捕获部位，吸持机械臂3(吸持针14所在的机械臂3)驱动吸持针14移动到斑马鱼幼鱼附近，打开吸持泵 11，根据斑马鱼幼鱼表皮的形变，控制吸持力大小，吸住斑马鱼幼鱼，并保持。吸住斑马鱼幼小鱼后，吸持机械臂3和注射机械臂3(注射针15所在的机械臂3)同时移动到切换点，之后，上位机控制显微镜2增放大倍率，通过摄像机获取当前斑马鱼幼鱼图像，经上位机判断该图像是否聚焦，若未聚焦则控制显微镜2升降进行对焦，对斑马鱼幼鱼重新聚焦。之后摄像机获取注射针15图像，经上位机处理后，控制机械臂3移动，实现注射针 15主动聚焦，摄像机获取斑马鱼幼鱼图像，上位机中的图像处理软件能够根据摄像头1拍摄的斑马鱼幼鱼的表皮图像计算出斑马鱼幼鱼的表皮被吸入吸持针14中的长度，再根据该长度与压强的关系，获得幼鱼表皮的受力大小；该图像处理软件为在VS20010上采用MFC编写；对不同器官进行检测，并获取其位置信息，再将注射针15运动到相应位置处，并通过图相处理使其刚好接触到幼鱼表皮，注射前斑马鱼幼鱼姿态及吸持针14，注射针15位置如图4所示，接触到表皮后，注射针15将穿刺进入待注射器官 16中，并打开注射泵4，完成注射。之后吸持泵11释放压力，使斑马鱼幼鱼脱离吸持针14，并控制吸持机械臂3和注射机械臂3返回原点，显微镜 2镜头变为初始的倍率，等待下一轮注射。

针对连续的操作过程中水面高度的微小变化，从而体视显微镜2的视线倾斜特性使得水面高度的变化造成的注射针位置精度降低。本发明在将整个成像系统看做传统的针孔模型基础上，考虑了水面折射的影响，将由机械臂3反馈给上位机的位置坐标，通过坐标变换矩阵后计算出的像素坐标位置，与反馈给上位机的摄像头1中采集的图像获得的坐标位置的差作为损失函数，并采用梯度下降法来计算针孔模型中的所有参数。可以在水面高度变化时自动对坐标变换矩阵进行调整，实现多个操作对象的连续高精度操作。参照图6和图7，具体操作过程如下：

O_i-UV是像素坐标系，其中O_i表示图像左上角的原点。O_r-X_rY_r是图像坐标系，其中O_r表示光轴与图像平面之间的交点。O_m-X_mY_mZ_m是机械臂3 坐标系，其中O_m表示机械臂3坐标设置为零时的针尖位置。O_c-X_cY_cZ_c是摄像头1坐标系，其中O_c表示摄像头1的光学中心。O_w-X_wY_wZ_w是世界坐标系，∝为光轴与相机焦平面夹角。

对于整个系统，经机械臂3反馈给上位机的微操作机械臂3位置坐标系与摄像头1反馈给上位机的像素坐标系的关系为：

其中u，v分别为在像素坐标系下的坐标；x_m,y_m,z_m为在机械臂3坐标系下的坐标。{m_ij}为坐标变换矩阵的参数，其中各个元素值的获取方法见下一段。目标物体的像素坐标由摄像头1采集后传输给上位机，机械臂3 自身坐标将实时反馈到上位机中。

上位机操作机械臂3移动，机械臂3末端针尖将移动到在摄像头1视野范围内由程序设定的3*3*3网格上的27个点上，分别记录对应的机械臂 3坐标和针尖在摄像头1捕捉到的图像中的坐标。将由机械臂3反馈的位置坐标，经坐标变换矩阵后，计算出其对应的像素坐标下的位置，将其与摄像头1中采集的图像获得的坐标位置的差作为损失函数，由梯度下降法(一种公开的数学方法)可以得到上式中变换矩阵

的所有元素，并由此可计算出该针孔模型中的各个参数。

当水面高度变化时，水面以下物体位置在像素坐标系中发生的变化只有平移，不存在放大或缩小。因此，上文坐标变换矩阵中变化的只有m₁₄和 m₂₄。对比水面变化前后同一机械臂3坐标对应的图像位置即可得到新的m₁₄和m₂₄，而其他元素均保持不变。而通过对比同一位置水面变化前后，像素坐标的变化，就可以计算出水面高度的变化进而获得新的坐标变换矩阵，即可更精准的使得机械臂3移动到像素坐标下的的目标位置。

随水面变化更新变换矩阵保证了操作的精度。根据坐标变换矩阵操作机械臂3到达指定位置的具体实现方式是，根据图像中的目标位置坐标u 和v，以及预先设定的高度z_m，解如下二元一次方程组即可得到系统中机械臂3应当设置的坐标。

针对水平面的变化和视野的变化带来的观察对象的焦平面变化，采用了基于扰动极值搜索算法的自动聚焦方法。

初始状态下，显微镜2受上位机控制首先移动到设定高度位置θ，并通过摄像头1所采集的图像，确定观察对象位置，针对目标对象ROI区域采用方差法(计算该ROI区域灰度值方差大小)计算得到观测对象图像的清晰度y。获得新的清晰度y后，再根据极值搜索算法计算得到新的估计位置

进行下一轮计算，不断调整显微镜2位置高度θ，直到得到目标清晰度 y。其具体过程参见图8，图8所示为基于极值搜索算法的自动聚焦原理图，其原理如下：其中

为显微镜2估计位置，与激励信号a sin ωt相加，得到“试探性”显微镜2位置θ，经上位机控制显微镜2到该位置后，计算观察对象ROI区域清晰度y，再经过高通滤波

(该式为其频域表示，ω_h为频域下转折频率；其具体计算过程见后)和解调信号sin ωt的共同作用下，得到系统的近似梯度ζ，最后通过积分环节

(该式为其频域表示，k为积分参数；其具体计算过程见后)估计新的显微镜2估计位置

并经上位机控制显微镜2到该位置。不断迭代以上计算过程，直到ROI区域达到最清晰的位置。

其中高通滤波为去除干扰，其采用如下公式

y_i+1为本次的清晰度，y_i为上次获得的清晰度，H_i+1为经过高通滤波获得的清晰度，H_i为上次经过高通滤波获得的清晰度，T为采样间隔时间。

积分环节采用双线性变换：

其中

为本次获得的显微镜2估计高度位置，

为上次获得的显微镜 2估计高度位置，k为积分参数。由于基于方差法的清晰度评价标准中，方差越大，清晰度越好。则清晰度与位置的关系可局部近似为开口向下二阶连续函数，则积分参数k由f"决定，当f"＞0时取k>0，当f"＜0时，对于该系统，取k<0。

在本发明的描述中，需要说明的是，术语“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“笫二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本说明书中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种基于机器视觉的智能显微操作系统，其特征在于：包括底座，所述底座上设置有显微镜、旋转台和两个升降台，所述显微镜位于所述旋转台的正上方，两个所述升降台分别位于所述旋转台的两侧，每个所述升降台上均设置有一个机械臂，两个所述机械臂上分别设置有一个末端夹持器，所述机械臂能够驱动对应的所述末端夹持器进行x、y、z方向的微调，一个所述末端夹持器夹持有吸持针，所述吸持针与吸持泵连通，另一个所述末端夹持器夹持有注射针，所述注射针与注射泵连通；所述旋转台包括托盘、转动机构和驱动装置，所述驱动装置能够通过所述转动机构驱动所述托盘转动。

2.根据权利要求1所述的基于机器视觉的智能显微操作系统，其特征在于：所述旋转台还包括旋转支撑台，所述驱动装置为步进电机，所述驱动装置安装在固设于所述旋转支撑台下方的固定座上。

3.根据权利要求2所述的基于机器视觉的智能显微操作系统，其特征在于：所述转动机构包括托盘套筒、第一带轮、同步带和第二带轮，所述第一带轮固设于所述驱动装置的输出轴上，所述同步带绕在所述第一带轮和所述第二带轮上，所述第二带轮与所述托盘套筒固连，所述托盘套筒还通过轴承与所述旋转支撑台转动配合，所述旋转支撑台通过轨道固定装置滑动设置在所述底座上，所述旋转托盘安装在所述托盘套筒上；所述轨道固定装置包括设置在所述底座上的两个滑轨，两个所述滑轨分别位于所述旋转支撑台的两侧，且两个所述滑轨分别与所述旋转支撑台的端部滑动配合。

4.根据权利要求3所述的基于机器视觉的智能显微操作系统，其特征在于：所述轴承通过所述轴承的轴承盖轴定位于所述旋转支撑台内，所述轴承的外圈与所述旋转支撑台相接触，所述轴承的内圈与所述托盘套筒相接触，所述轴承为深沟球轴承。

5.根据权利要求1所述的基于机器视觉的智能显微操作系统，其特征在于：还包括安装在所述显微镜上方且正对所述显微镜的目镜的摄像头，所述摄像头与上位机连接。

6.根据权利要求5所述的基于机器视觉的智能显微操作系统，其特征在于：还包括安装在所述底座下方的LED光源，且所述LED光源位于所述旋转台的正下方。

7.根据权利要求6所述的基于机器视觉的智能显微操作系统，其特征在于：所述LED光源上覆设有一层增光薄膜。

8.根据权利要求1所述的基于机器视觉的智能显微操作系统，其特征在于：所述底座上还设置有针尖定位板。

9.根据权利要求1所述的基于机器视觉的智能显微操作系统，其特征在于：所述注射针针尖能实现自动定位，而且针对液面高度变化能够进行自适应调整以确保自动操作的精度。

10.根据权利要求1所述的基于机器视觉的智能显微操作系统，其特征在于：所述显微镜能根据获取图像的信息实现对观察操作对象的自动聚焦。

11.根据权利要求10所述的基于机器视觉的智能显微操作系统，其特征在于：基于扰动极值搜索算法来不断调整显微镜位置高度，以实现所述自动对焦。

12.一种应用于权利要求1-11任意一项所述的基于机器视觉的智能显微操作系统中的基于针孔模型的针尖定位方法，其特征在于：首先获取机械臂位置坐标，然后基于所述机械臂位置坐标根据设定的坐标变换矩阵得到机械臂像素位置坐标，然后计算所述机械臂像素位置坐标与摄像机中采集的图像像素坐标之间的变换矩阵，最后获得机械臂的位置坐标与摄像机中采集的图像像素坐标之间的变换矩阵及成像系统中固有参数；在进行下一次操作时，将根据在同一位置，机械臂末端的像素坐标相对于上一次的像素坐标变换而计算出水面高度的变化，进而更新坐标变换矩阵。

13.根据权利要求12所述的基于针孔模型的针尖定位方法，其特征在于：将所述机械臂像素位置坐标与所述图像像素坐标的差作为损失函数，并采用梯度下降法来计算所述机械臂像素位置坐标与所述图像像素坐标的变换矩阵及成像系统中固有参数。

14.根据权利要求13所述的基于针孔模型的针尖定位方法，其特征在于，所述机械臂位置坐标与所述图像像素坐标的关系为：

其中u，v分别为所述图像像素坐标下的坐标；x_m,y_m,z_m为在机械臂坐标系下的坐标；{m_ij}为坐标变换矩阵的参数。

Images