CN102477396A - 一种显微视觉伺服控制的微操作机器人系统 - Google Patents
一种显微视觉伺服控制的微操作机器人系统 Download PDFInfo
- Publication number
- CN102477396A CN102477396A CN 201010553551 CN201010553551A CN102477396A CN 102477396 A CN102477396 A CN 102477396A CN 201010553551 CN201010553551 CN 201010553551 CN 201010553551 A CN201010553551 A CN 201010553551A CN 102477396 A CN102477396 A CN 102477396A
- Authority
- CN
- China
- Prior art keywords
- micro
- right sides
- hand
- operation hand
- computingmachine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/48—Automatic or computerized control
Landscapes
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Organic Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Sustainable Development (AREA)
- Microbiology (AREA)
- Biotechnology (AREA)
- Biochemistry (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Genetics & Genomics (AREA)
- Computer Hardware Design (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种显微视觉伺服控制的微操作机器人系统，该系统包括左右操作工具分别安装在左右微操作手上，左右微操作手由左右伺服控制器控制，并与计算机连接，构成微操作机器人；摄像头装于显微镜上，通过图像处理卡与计算机连接，并向计算机输入操作现场图像信息，计算机根据输入的图像信息计算出左右操作工具及被操作对象之间的相对位置关系，从而解算出左右微操作手的控制指令，并通过伺服控制器分别对左、右微操作手进行运动规划和实时控制。本发明的特点是：实现了生物医学工程中显微操作的自动化、智能化。系统具有自动避障功能，定位精度高，工作空间大，操作效率高，人机交互界面友好等特点。
Description
技术领域
本发明属于特种机器人领域，具体的是涉及一种显微视觉伺服控制的微操作机器人系统。
背景技术
在生物医学工程领域中，存在着大量涉及对细胞、染色体等的显微操作，如细胞的分离、捡取、融合、显微注射，染色体的切割等。对于这类微操作，不但要求定位准确、操作精度高、一致性好，而且要做到操作时间短、效率高，目前，微操作都是人工通过显微操作仪来完成的。在众多的显微操作仪中，较有代表性的，较为先进的显微操作仪有日本 11iko11 公司的 11T-88 微操作仪、德国 Eppe11dorf 公司的 5171 微操作仪等，这种显微操作仪大都包括以下几部分：隔振台、显微镜、左微操作臂、右微操作臂、细胞吸附及基因注射装置、左遥控操纵手柄、右遥控操纵手柄等。操作人员通过显微镜的目镜观察和感知细胞及微操作臂的位姿信息，通过手柄控制左右微操作臂，将人手的动作按照一定的缩放比例传递到微操作臂的操作工具（左操作臂上安装有微吸管，右操作臂上安装微注射针），使之对细胞进行操作。左操作臂完成被操作对象的捕捉与固定，右操作臂对被固定住的操作对象进行微细操作（如基因注射、染色体切割等）。其操作方式是由操作人员根据显微监视目镜输出的图像通过遥控操纵手柄来遥控微操作臂的运动，操作人员的大脑、手、遥控手柄、微操作臂、显微镜及操作者的眼睛等构成了一个大的“控制闭环”，即由操作人员去感知和处理信息，通过显微镜、遥控手柄及微操作臂来传递与放大位移与力。这种显微操作仪只有一个位比（位移缩放比例）的传递，没有任何控制器、没有任何传感器（显微镜除外），没有任何“智能”。作业质量易受操纵者个人技术、精神状态及心理、情绪的影响。作业时间长、效率低成本高，精度一致性差，细胞成活率低。
国内外对自动化程度较高的微操作机器人系统的研究也取得了一定的进展。南开大学张建勋等发明了一种微操作机器人（专利号：97121702.5 ) ，该发明提出了一种由计算机规划与管理的、计算机视觉图象辅助控制的微操作机器人。该微操作系统的显微视觉没有形成伺服，显微图象处理及微操作过程不同步。也就是说，由于细胞在培养液里不是固定不动的，显微视觉部分提供的细胞的位置不是实时的，微操作手所要操作细胞的位置可能与显微视觉提供的细胞位置不一致；微操作机器人没有自动避障功能，左右微操作工具易碰撞致碎；左右微操作手均采用传统的电机驱动丝杠及导轨方式，精度难以保证。
发明内容
本发明针对上述现有技术的不足，提供一种基于显微视觉伺服控制的，具有自动避障功能的、自动化程度更高的高精度微操作机器人系统。
本发明的技术解决方案如下：一种面向生物医学的微操作机器人系统包括显微镜、左微操作手、右微操作手、左操作工具、右操作工具、左手伺服控制器、右手伺服控制器、摄像头、图象处理卡、计算机、细胞吸附装置、基因注射装置、隔振平台，左右操作工具分别安装在左右微操作手上，左右微操作手由左右伺服控制器控制，并与计算机连接构成微操作机器人。摄像头装于显微镜上，通过图像处理卡与计算机连接，向计算机输入操作现场图像信息，计算机根据输入的图像信息计算出左右操作工具及被操作对象之间的相对位置关系，从而解算出左右微操作手的控制指令，并通过伺服控制器分别对左、右微操作手进行运动规划和实时控制。
所述的微操作机器人系统，左微操作手由微型直流伺服直线电机驱动，右微操作手由压电陶瓷驱动。
所述的微操作机器人系统，由显微镜、摄像头、图象处理卡、主控计算机及左右手伺服控制器构成显微视觉伺服闭环控制系统。
所述的微操作机器人系统，计算机也与细胞吸附装置及基因注射装置连接，控制左右操作工具自动完成对细胞的吸附、固定、注射操作。
所述的微操作机器人系统，现场操作图像信息经由显微镜、摄像头、图像处理卡，实时显示在计算机的监视器上，并同时存储在计算机的硬盘上。计算机在规划和控制左右微操作手的运动时，运用自动避障功能确保左右微操作手不碰撞。
本发明的微操作机器人系统有如下特点：
1 、本发明将显微视觉作为反馈控制源参与伺服控制，形成视觉伺服反馈全局闭环控制系统。
2 、本发明可将细胞操作过程的动态图像实时再现在计算机的监视器上，而且同时将整个操作过程或静态图片存储在计算机的硬盘上。
3 、本系统具有自动避障功能，不会造成微吸管、微玻璃针及细胞间的碰撞，因而对细胞损伤小，消耗品成本降低。
4 、操作员通过监视屏、键盘和鼠标便可完成对微操作机器人系统的监视、干预、被操作细胞的选取及操作位置的确定等，无须直接输入操作参数。操作员既可以用鼠标遥控微操作机器人，也可以通过机器人运动操纵按钮手动完成细胞的显微操作。
附图说明
附图是本发明的结构框图；
附图标注：隔振平台1，显微镜2 ，左微操作手3，细胞吸附装置4，右微操作手5，基因注射装置6，左手伺服控制器7，摄像头8，右手伺服控制器9，图像处理卡10，计算机11，左操作工具12，右操作工具13。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
请参见图 1 所示，本发明的一种面向生物医学的微操作机器人系统包括显微镜 2 、左微操作手 3 、右微操作手 5 ，左操作工具 12 （微吸管）、右操作工具 13 （微注射针）、左手伺服控制器 7 、右手伺服控制器 9 、摄像头 8 、图象处理卡 10 、计算机 11 、细胞吸附装置 4 及基因注射装置 6 、隔振平台 1 等组成。可完成细胞的切割、融合、注射，染色体的切割、捡取等显微操作。
左右操作工具 12 、 13 分别安装在左右微操作手 3 、 5 上，左微操作手 3 、 5 是由微型直流伺服直线电机驱动的三自由度直角坐标式运动平台，右微操作手 5 是由压电陶瓷驱动的柔性铰链并联机构。左右微操作手 3 、 5 由左右伺服控制器 7 、 9 控制，两伺服控制器不但能对微操作手发送控制命令，还可以通过微操作手上的位移传感器接受它们的运动位移信息。两伺服控制器 7 、 9 还与计算机11连接；摄像头 8 装于显微镜 2 上，通过图像处理卡 10 与计算机11连接，向计算机11输入操作现场图像信息，计算机11根据输入的图像信息计算出左操作工具 12 、右操作工具 13 及被操作对象之间的相对位置关系，从而解算出左右微操作手 3 、 5 的控制指令，并通过伺服控制器分别对左、右微操作手 3 、 5 进行运动规划和实时控制。计算机的作用包括实时显示显微操作图像信息、存储动静态图像、对微操作手进行轨迹规划和运动规划、与操作人员进行交互等。
本发明的微操作系统采取了视觉大闭环、驱动器加传感器局部反馈的策略，来对左微操作手 3 、右微操作手 5 及细胞的相对位姿进行控制。即在操作过程中，显微镜 2 下的场景（细胞、吸管 12 、注射针 13 及其它景象）通过摄像头 8 和图像采集卡 10 进入主控计算机 11 ，并在计算机11的监视器上显示。操作员根据监视器上观察到的景象，利用鼠标选定被操作细胞及注射针 13 最终的操作位置。图像处理卡 10 及计算机 11 对采集到的图像进行处理，实时计算出被选定细胞、吸管 12 、注射针 13 的相对位姿信息，由主控计算机11解算出左微操作手 3 、右微操作手 5 的各关节的关节控制参数，对左右微操作手 3 和 5 进行轨迹规划和任务规划。并将控制指令传送给左微操作手控制器 7 和右微操作手控制器 9 ，从而实现对细胞的显微操作。一旦可实施细胞吸附及基因显微注射操作，主控计算机11将控制细胞吸附装置 4 和基因注射装置 6 ，自动完成细胞的吸附固定及基因注射。
本发明的微操作机器人系统，实现了生物医学工程中显微操作的自动化、智能化。系统具有自动避障功能，定位精度高，工作空间大，操作效率高，人机交互界面友好等特点。
Claims (1)
1.一种显微视觉伺服控制的微操作机器人系统，其特征在于：该系统包括显微镜、左微操作手、右微操作手、左操作工具、右操作工具、左手伺服控制器、右手伺服控制器、摄像头、图象处理卡、计算机、细胞吸附装置、基因注射装置、隔振平台；其中
（1）左右操作工具分别安装在左右微操作手上，左右微操作手由左右伺服控制器控制，并与计算机连接，构成微操作机器人；摄像头装于显微镜上，通过图像处理卡与计算机连接，向计算机输入操作现场图像信息，计算机根据输入的图像信息计算出左右操作工具及被操作对象之间的相对位置关系，从而解算出左右微操作手的控制指令，并通过伺服控制器分别对左、右微操作手进行运动规划和实时控制；
（2）左微操作手由微型直流伺服直线电机驱动，右微操作手由压电陶瓷驱动；
（3）由显微镜、摄像头、图象处理卡、主控计算机及左右手伺服控制器构成显微视觉伺服闭环控制系统；
（4）计算机也与细胞吸附装置及基因注射装置连接，控制左右操作工具自动完成对细胞的吸附、固定、注射操作；
（5）计算机在规划和控制左右微操作手的运动时，运用自动避障功能确保左右微操作手不碰撞。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010553551 CN102477396A (zh) | 2010-11-22 | 2010-11-22 | 一种显微视觉伺服控制的微操作机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010553551 CN102477396A (zh) | 2010-11-22 | 2010-11-22 | 一种显微视觉伺服控制的微操作机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102477396A true CN102477396A (zh) | 2012-05-30 |
Family
ID=46090180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010553551 Pending CN102477396A (zh) | 2010-11-22 | 2010-11-22 | 一种显微视觉伺服控制的微操作机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102477396A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102350694A (zh) * | 2011-09-20 | 2012-02-15 | 浙江大学 | 基于显微视觉伺服的柔性超声辐射力夹 |
| CN102880062A (zh) * | 2012-09-04 | 2013-01-16 | 北京化工大学 | 基于非线性模型预测的智能小车2.5维视觉伺服控制方法 |
| CN105303180A (zh) * | 2015-10-28 | 2016-02-03 | 清华大学 | 线虫捕捉系统及线虫捕捉方法 |
| CN106381264A (zh) * | 2016-11-25 | 2017-02-08 | 哈尔滨工业大学 | 机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法 |
| CN106730106A (zh) * | 2016-11-25 | 2017-05-31 | 哈尔滨工业大学 | 机器人辅助的显微注射系统的坐标标定方法 |
| CN107047396A (zh) * | 2017-06-23 | 2017-08-18 | 哈尔滨工业大学 | 一种视觉伺服斑马鱼心脏注射方法 |
| CN110202541A (zh) * | 2019-05-10 | 2019-09-06 | 合肥市第二人民医院 | 用于生物医学工程的微操作机器人 |
| CN116092571A (zh) * | 2022-12-15 | 2023-05-09 | 齐鲁工业大学 | 一种三自由度柔性并联运动平台及系统 |
| CN117030710A (zh) * | 2023-10-10 | 2023-11-10 | 季华实验室 | 显微操作系统及其操作方法 |
| US11926065B2 (en) | 2018-02-01 | 2024-03-12 | Abb Schweiz Ag | Vision-based operation for robot |
-
2010
- 2010-11-22 CN CN 201010553551 patent/CN102477396A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102350694A (zh) * | 2011-09-20 | 2012-02-15 | 浙江大学 | 基于显微视觉伺服的柔性超声辐射力夹 |
| CN102880062A (zh) * | 2012-09-04 | 2013-01-16 | 北京化工大学 | 基于非线性模型预测的智能小车2.5维视觉伺服控制方法 |
| CN102880062B (zh) * | 2012-09-04 | 2014-12-31 | 北京化工大学 | 基于非线性模型预测的智能小车2.5维视觉伺服控制方法 |
| CN105303180B (zh) * | 2015-10-28 | 2019-01-25 | 清华大学 | 线虫捕捉系统及线虫捕捉方法 |
| CN105303180A (zh) * | 2015-10-28 | 2016-02-03 | 清华大学 | 线虫捕捉系统及线虫捕捉方法 |
| CN106730106B (zh) * | 2016-11-25 | 2019-10-08 | 哈尔滨工业大学 | 机器人辅助的显微注射系统的坐标标定方法 |
| CN106730106A (zh) * | 2016-11-25 | 2017-05-31 | 哈尔滨工业大学 | 机器人辅助的显微注射系统的坐标标定方法 |
| CN106381264A (zh) * | 2016-11-25 | 2017-02-08 | 哈尔滨工业大学 | 机器人辅助的显微注射系统中微量吸液管针尖的大范围自动定位方法 |
| CN107047396A (zh) * | 2017-06-23 | 2017-08-18 | 哈尔滨工业大学 | 一种视觉伺服斑马鱼心脏注射方法 |
| US11926065B2 (en) | 2018-02-01 | 2024-03-12 | Abb Schweiz Ag | Vision-based operation for robot |
| CN110202541A (zh) * | 2019-05-10 | 2019-09-06 | 合肥市第二人民医院 | 用于生物医学工程的微操作机器人 |
| CN116092571A (zh) * | 2022-12-15 | 2023-05-09 | 齐鲁工业大学 | 一种三自由度柔性并联运动平台及系统 |
| CN116092571B (zh) * | 2022-12-15 | 2024-03-26 | 齐鲁工业大学 | 一种三自由度柔性并联运动平台及系统 |
| CN117030710A (zh) * | 2023-10-10 | 2023-11-10 | 季华实验室 | 显微操作系统及其操作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102477396A (zh) | 一种显微视觉伺服控制的微操作机器人系统 | |
| CN101791750B (zh) | 用于远程焊接的机器人遥控焊接系统及方法 | |
| Yu et al. | Microrobotic cell injection | |
| CN105033520B (zh) | 一种改进粒子群算法的多台焊接机器人协同控制系统 | |
| CN204366962U (zh) | 六轴重载机器人控制系统 | |
| CN105751211A (zh) | 一种柔性杆驱动的曲率连续变化机器人及其控制方法 | |
| CN104298244A (zh) | 一种工业机器人三维实时高精度定位装置及方法 | |
| CN105500345A (zh) | 分离式机器人拖动示教手柄及其示教方法 | |
| Ghanbari et al. | Haptic guidance for microrobotic intracellular injection | |
| CN1418761A (zh) | 面向生物医学工程的微操作机器人系统 | |
| Senft et al. | A Method For Automated Drone Viewpoints to Support Remote Robot Manipulation | |
| CN103895008A (zh) | 一种仅含转动副的空间三平动并联机器人机构 | |
| CN103978324A (zh) | 一种双核五轴焊接机器人控制系统 | |
| CN105302031A (zh) | 码垛搬运机器人的控制装置及其控制方法 | |
| Zhao et al. | Aspirating Cell Into Orifice of Micropipette for Precise Cell Transportation Using Micropipette | |
| CN203228236U (zh) | 一种远程监控的机械手定位控制系统 | |
| CN201544232U (zh) | 用于电动机械手的控制系统 | |
| Feng et al. | Design and Development of a Teleoperated Telepresence Robot System With High-Fidelity Haptic Feedback Assistance | |
| CN1047750C (zh) | 用于生物医学工程的微操作机器人 | |
| Goto et al. | Teleoperation System of Robot arms combined with remote control and visual servo control | |
| Herdocia et al. | Unimodal asymmetric interface for teleoperation of mobile manipulators: A user study | |
| Kunt et al. | Design and development of workstation for microparts manipulation and assembly | |
| CN111203893A (zh) | 一种智能化的剪切机器人 | |
| CN104002295A (zh) | 一种实现大行程六自由度细微操作平台 | |
| Shan et al. | Motion planning for mobile manipulator to pick up an object while base robot's moving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120530 |