CN108544531B - 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 - Google Patents
一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 Download PDFInfo
- Publication number
- CN108544531B CN108544531B CN201810324420.3A CN201810324420A CN108544531B CN 108544531 B CN108544531 B CN 108544531B CN 201810324420 A CN201810324420 A CN 201810324420A CN 108544531 B CN108544531 B CN 108544531B
- Authority
- CN
- China
- Prior art keywords
- test tube
- mechanical arm
- camera
- servo motor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 55
- 239000000126 substance Substances 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 40
- 238000012360 testing method Methods 0.000 claims abstract description 190
- 239000012636 effector Substances 0.000 claims abstract description 36
- 239000007788 liquid Substances 0.000 claims abstract description 5
- 238000003556 assay Methods 0.000 claims description 23
- 230000004438 eyesight Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012850 discrimination method Methods 0.000 claims description 4
- 239000012530 fluid Substances 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 239000003153 chemical reaction reagent Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000001792 White test Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉标定的自动化验机械臂装置，包括控制系统、机械臂主体、末端执行器、气泵、试管架；机械臂主体包括固定在支撑平台的第一伺服电机、与第一伺服电机相邻的第二伺服电机、与第二伺服电机相连的大臂，与大臂相连的第三伺服电机、与第三伺服电机相连的小臂；所述的机械臂主体通过L型工件与末端执行器相连；末端执行器包括注射器和摄像头；所述的摄像头的轴线垂直于试管架的上平面。气泵位于机械臂主体后方，注射器通过软管与气泵相连；气泵用于驱动注射器吸入或者排出液体；本发明可实现自动化验，抗干扰性强、重复性好、效率高。
Description
技术领域
本发明属于自动化验机械臂技术领域，涉及一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法。
背景技术
目前在医院、科研等单位使用的化验分析仪器中使用的进样方式多为手工操作模式，如试管插放式和整排推入式等，既耗费人力，又因操作人员的不同而带来后期处理的差异性。伴随着科技的进步，使得自动化验机械臂的出现成为可能。若使机械臂定位到目标试管，首先就要确定目标试管的位置。视觉系统作为整个系统的“眼睛”，用于目标试管的识别和定位，能否准确、快速地识别出目标试管，直接影响着自动化验机械臂的可靠性和稳定性。
论文“一种用于智慧工厂化学检测的机械臂设计”(《智慧工厂》，2017年第7期)，公开了一种嵌入式系统驱动机械臂，其采样装置固定在机械臂末端由气泵驱动，试管架相对于机械臂固定的放置在操作平面。该技术的不足主要表现为：
(1)工作过程中处于开环控制状态，在机械臂运动的过程中没有任何反馈信息，无法确定机械臂运动的实际状况。
(2)不能自主地消除外界干扰。机械臂的底座固定在操作平面，而试管架是经常需要人为放置的，包括化验前的添加样品，化验结束后的取走反应结果。人为的放置或多或少都会有误差，而上述系统没有反馈装置，不能反馈误差。误差小则不能精确定位，误差过大就会导致系统不能正常工作。
(3)不能满足快速视觉伺服控制的要求。自动化验机械臂的工作环境相对复杂，自动化验机械臂视觉系统的精准、快速识别试管架上的目标试管，仍是研究的难点和重点。为了提高自动化验机械臂识别目标试管的位置的精度，满足自动化验机械臂精确性的需求，需加入优化识别算法。
(4)定位准确率不高。外界和自身产生的干扰会使得后续试管的识别定位准确率下降，并且无法采取有效措施修正，这些干扰累积下来将会使整个系统定位试管的准确率大大下降。
发明内容
本发明的目的在于针对现有技术的不足之处，提供一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法，可以实现自动化验，系统自动识别并定位试管架以及试管位置，自动消除偏差抗干扰性强、提高操作的准确率、增强自动化水平，具有较好的抗干扰性，精度高、重复性好、效率高。
为解决上述技术问题，本发明采用以下技术方案。
本发明的一种基于视觉标定的自动化验机械臂装置，其特征在于，包括控制系统、机械臂主体、末端执行器、气泵、试管架；
机械臂主体包括固定在支撑平台的第一伺服电机、与第一伺服电机相邻的第二伺服电机、与第二伺服电机相连的大臂，与大臂相连的第三伺服电机、与第三伺服电机相连的小臂；所述的第一伺服电机控制机械臂的左右转动，第二伺服电机控制机械臂的前后转动，第三伺服电机控制末端执行器的上下运动，该三个伺服电机整体联动下实现末端执行器在操作空间中的移动；
机械臂主体通过L型工件与末端执行器相连；
末端执行器包括注射器和摄像头；所述的摄像头的轴线垂直于试管架的上平面。
气泵位于机械臂主体后方，注射器通过软管与气泵相连；气泵用于驱动注射器吸入或者排出液体；
试管架设置于机械臂主体前方，多个规格大小一致的试管矩阵式排列在试管架上，并按照从左至右、从上至下的顺序进行标号。
优选地，所述的摄像头为线性摄像头。
本发明的一种基于视觉标定的自动化验机械臂装置控制系统，其特征在于，包括视觉系统、机械臂控制系统、气泵控制系统和上位机控制系统；
视觉系统用于实现目标试管的识别和定位；
机械臂控制系统用于带动设置于机械臂主体末端的末端执行器在空间内移动；通过第一伺服电机控制机械臂左右转动，第二伺服电机控制机械臂前后转动，第三伺服电机控制末端执行器上下运动，整体联动实现末端执行器在工作空间中移动；末端执行器是化验机械臂的关键执行部件，是实现吸取和排除化验试剂的装置；
气泵控制系统用于驱动注射器吸取和排出化验试剂的装置；
上位机控制系统用于分析图像信息并结合用户的命令控制机械臂控制系统和气泵控制系统。
本发明的一种基于视觉标定的自动化验机械臂装置控制方法，其特征在于，首先建立自动化验机械臂装置以及试管架在空间中的三维模型，然后，进行以下步骤：
步骤1.判断机械臂是否处于抬升高度，如果是则进行下一步，如果不是则使机械臂抬升至抬升高度再进行下一步；
步骤2.通过视觉处理确定目标试管位置；所述视觉处理包含：目标试管图像坐标的获取与处理、目标试管图像坐标变换为机械臂的动作坐标；
步骤3.机械臂带动注射器到达目标试管口；
步骤4.机械臂再带动注射器下降进入目标试管；
步骤5.气泵驱动注射器对目标试管进行操作；
步骤6.结束后机械臂抬升返回抬升高度。
所述步骤2包括：
2.1.将图像灰度化：即是将彩色图像转化为黑白图；
2.2.采用阈值判别法将图像二值化；
2.3.试管架边缘的检测、轮廓的提取以及图像轮廓中心点的提取；
2.4.将像素坐标转换为物理坐标；
2.5.计算试管架相对于摄像头的旋转角θ；
2.6.计算试管架相对于摄像头的偏移量；
2.7.计算目标试管在试管架平面坐标的位置；
2.8.计算目标试管在摄像头坐标系的位置。
与传统设备相比具有以下优点和有益效果：
①应用视觉标定控制方法，能够识别不同情况下各试管的编号以及位置，抗干扰性更强。
②提高了试管架及试管识别定位的准确性和实时性，获取目标试管位置的误差大幅减少。
③改进了视觉伺服控制方法，视觉系统的控制更加快速准确。
④自动消除偏差、抗干扰性强、提高操作的准确率以及作业的效率。
附图说明
图l是本发明的基于视觉标定的自动化验机械臂装置的一种实施例的结构示意图。
图2是本发明的基于视觉标定的自动化验机械臂装置控制系统的一种实施例的关系图。
图3是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的工作流程图。
图4是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的摄像头坐标系与世界坐标系示意图。
图5是本发明的基于视觉标定的自动化验机械臂装置的一种实施例的试管架平面示意图。
图6是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的直角坐标系uv和XO1Y的关系图。
图7是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的摄像头采集图像二值化示意图。
图8是本发明的基于视觉标定的自动化验机械臂装置的一种实施例的标号后的试管架图像。
图9是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的目标试管坐标由试管架平面坐标系变换到摄像头坐标系的示意图。
图10是本发明的一个实施例的实验示意图。
其中，1机械臂主体，2末端执行器，3气泵，4试管架，5第一伺服电机，6第二伺服电机，7大臂，8第三伺服电机，9小臂，10L型工件，11注射器，12摄像头。
具体实施方式
本发明的一种新型基于视觉标定的自动化验机械臂装置、控制系统及其控制方法，通过视觉系统自动识别并定位试管以及试管架位置，进而实现自动化验，有助于减少误差、提高化验效率、增强自动化水平。采用单目视觉标定，首先，建立了自动化验机械臂以及试管架在空间中的三维模型。然后，通过视觉识别试管架的位置并定位排布在试管架上的各个试管。进而，控制机械臂的在操作空间内的运动，使机械臂带动挂载在机械臂末端执行器的注射器移动到目标试管的试管口。最后由气泵驱动注射器实现对目标试管中样品的吸取或者排出。
本发明的自动化验机械臂装置包括控制系统、机械臂主体1、末端执行器2、气泵3、试管架4。
控制系统包括视觉系统、机械臂控制系统、气泵控制系统和上位机控制系统。视觉系统采集视觉信息传给上位机控制系统，上位机控制系统分析图像信息并结合用户的命令控制机械臂控制系统和气泵控制系统。
其中视觉系统用于实现目标试管的识别和定位；
机械臂控制系统用于控制整个控制系统的运动，其带动挂载在机械臂末端的末端执行器在空间内移动；其中第一伺服电机控制机械臂左右转动，第二伺服电机控制机械臂前后转动，第三伺服电机控制末端执行器上下运动，整体联动实现末端执行器在工作空间中移动；末端执行器是化验机械臂的关键执行部件，是实现吸取和排除化验试剂的装置；
气泵控制系统是自动化验机械臂的关键执行部件，是驱动注射器吸取和排出化验试剂的装置；
上位机控制系统用于对整个系统的控制；整个机械臂装置的化验速度以及效率与上述各部分工作性能密切相关。本发明采用标准化、模块化硬件构成自动化验机械臂的控制系统，可适应开放式控制系统的要求。
下面结合附图对本发明做进一步详细说明。
图l是本发明的基于视觉标定的自动化验机械臂装置的一种实施例的结构示意图。如图1所示，该实施例装置包括控制系统、机械臂主体1，挂载在机械臂末端的末端执行器2，与末端执行器通过软管相连的气泵3，位于机械臂前方操作空间的试管架4。该操作空间是指机械臂在三维空间中的工作范围。
机械臂主体1包括固定在支撑平台的第一伺服电机5、与第一伺服电机5相邻的第二伺服电机6、与第二伺服电机6相连的大臂7，与大臂7相连的第三伺服电机8、与第三伺服电机8相连的小臂9，其中第一伺服电机控制机械臂的左右转动，第二伺服电机控制机械臂前后转动，第三伺服电机控制末端执行器上下运动，整体联动实现末端执行器在工作空间中移动。
末端执行器2与机械臂主体1通过L型工件10相连，末端执行器2包括注射器11和摄像头12末端执行器2具有视觉感知能力，能够处理目标试管位置不确定的物理特性。视觉传感器采用Eye-in-hand安装方式，摄像头12自上而下俯视整个试管架4，采集试管架4的图像。
气泵3位于机械臂后方，注射器11通过软管与气泵3相连。气泵3的吸气或者出气，驱动注射器11吸入或者排出液体。若试管吸入或排出液体的体积为V，气泵工作时长为t，则满足：V＝k*t，k表示固定系数。
试管架4位于机械臂主体1前方的可操作范围内，其上矩阵式地排列有规格大小一致的多个试管，并按照从左至右，从上至下的顺序进行标号。
本发明采用线性摄像头，所采集的图像无畸变。得到目标试管P在摄像头坐标系中的相对位置后，机械臂即可对目标试管P进行处理。
图2是本发明的基于视觉标定的自动化验机械臂装置控制系统的一种实施例的关系图。如图2所示，控制系统包括视觉系统、机械臂控制系统、气泵控制系统和上位机控制系统。视觉系统采集视觉信息传给上位机控制系统，上位机控制系统分析图像信息并结合用户的命令控制机械臂控制系统和气泵控制系统。
其中视觉系统是基础，主要用于实现目标试管的识别和定位；机械臂控制系统是整个系统的运动核心，其带动挂载在末端的执行器在空间内移动；气泵控制系统是自动化验机械臂的关键执行部件，是驱动注射器吸取和排出化验试剂的装置；上位机控制系统主要用于对整个系统的控制；整个机器人的化验速度以及效率与上述各部分工作性能密切相关。本发明采用标准化、模块化硬件构成自动化验机械臂装置的控制系统。
若让机械臂对目标试管进行操作，首先要确定目标试管的位置。单目视觉标定的目的即是为了确定目标物体的位置。为了减少系统处理信息的负担，本发明仅需某几个时间点(在机械臂处于抬升高度寻找下一个目标试管的位置时)处理摄像头返回的视觉信息。
本发明采用规格一致的试管，统一摆放在试管架上，从而使机械臂在带动注射器进入不同位置的试管和抬升离开试管时可以有相同的高度，即深入高度和抬升高度。
本发明的一种基于视觉标定的自动化验机械臂装置的控制方法，通过视觉系统自动识别并定位试管以及试管架位置，进而实现自动化验，有助于减少误差、提高化验效率、增强自动化水平。它采用单目视觉标定，首先，建立了自动化验机械臂以及试管架在空间中的三维模型。然后，通过视觉识别试管架的位置并定位排布在试管架上的各个试管。进而，控制机械臂的在空间内的运动，使机械臂带动挂载在机械臂末端执行器的注射器移动到目标试管的试管口。最后由气泵驱动注射器实现对目标试管中样品的吸取或者排出。
图3是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的工作流程图。如图3所示，本实施例方法，首先，建立自动化验机械臂以及试管架在空间中的三维模型，然后，进行以下步骤：
步骤1.判断机械臂是否处于抬升高度，如果是则进行下一步，如果不是则使机械臂抬升至抬升高度再进行下一步。
步骤2.通过视觉处理确定目标试管位置；
步骤3.机械臂带动注射器到达目标试管口。
步骤4.机械臂再带动注射器下降进入目标试管。
步骤5.气泵驱动注射器对目标试管进行操作。
步骤6.结束后机械臂抬升返回抬升高度。
其中，步骤2又包括以下步骤：
2.1.图像的灰度化：图像的灰度化就是将彩色图像转化为黑白图像。
2.2.图像的二值化：采用阈值判别法将图像二值化。
2.3.边缘的检测、轮廓的提取以及图像轮廓中心点的提取。
2.4.将像素坐标转换为物理坐标。
2.5.计算试管架相对于摄像头的旋转角θ。
2.6.试管架相对于摄像头的偏移量。
2.7.计算目标试管在试管架平面坐标的位置。
2.8.计算目标试管在摄像头坐标系的位置。
图3是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的工作流程图。如图3所示，控制系统在一个工作周期开始时先判断机械臂是否处于抬升高度，如果是则通过视觉处理确定目标试管位置，如果不是则使机械臂抬升至抬升高度再通过视觉处理确定目标试管位置。确定好目标试管的位置后，则使机械臂带动注射器到达目标试管口，接着机械臂再带动注射器下降进入目标试管，然后气泵驱动目标试管进行操作，结束后机械臂再抬升返回抬升高度，整个工作周期结束。
在进入试管和抬升离开试管的过程中机械臂线性竖直下降或者抬升，因此在这个过程中并不需要摄像头的参与，在注射器对相应试管进行吸取或者排出液体的操作时也不需要摄像头的参与，而在注射器完成一个工作周期回到抬升平面寻找下一个操作试管时，视觉系统需要处理来自摄像头的图像信息以便确定下一个试管的位置。
视觉处理包含：目标物体图像坐标的获取与处理和目标物体图像坐标变换为机械臂的动作坐标。图4是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的摄像头坐标系与世界坐标系示意图。如图4所示，所涉及的两个坐标系为世界坐标系和摄像头坐标系。
世界坐标系(XW，YW，ZW)是在外部环境中选择的一个基准坐标系，用来描述目标物体的位置，可以根据描述和计算的方便等原则自由选取，在机器人视觉标定中，将世界坐标系设为机器人的基座标系。其中的任一点都用(xw，yw，zw)表示。这样对于选取线性摄像机模型，选择机器人基坐标系为摄像机标定的世界坐标系可以大大简化数学表达式和简化标定操作。
摄像头坐标系(XC，YC，ZC)是将坐标原点设在摄像头镜头光心上，两个坐标轴XC、YC轴平行于图像平面，另一个轴ZC轴则垂直于图像平面。与图像平面的交点在图像坐标系上的坐标为(u0，v0)即摄像头的主点。摄像头的主点一般位于图像平面的中心处。对于图像中的任一点，就用(u，v)表示。图像坐标系(u，v)则是定义在二维图像上的一个直角坐标系，分为以像素为单位和以物理长度(如毫米)为单位两种表示方式，分别用(u，v)和(x，y)表示，在图像坐标系中，以像素为单位的坐标系的原点定义在图像的左上角，以物理长度为单位的坐标系的原点定义在图像的中心。
通常在机器人系统中，首先要计算出目标P在世界坐标系中的相对位置，再计算摄像头在世界坐标系中的位置，最后得出目标P在摄像头坐标系中的相对位置。
单帧图像的获取是由摄像头采集传输给上位机控制系统，其数字图像在系统中是以二维数组M×N的形式进行存储。M表示图像在水平方向上的像素点个数，N表示图像在垂直方向上的像素点个数。M×N是该单帧图像像素的大小。
图像处理包含以下步骤：图像的灰度化、图像的二值化、图像轮廓的提取以及中心点的生成。图像的灰度化就是将彩色图像转化为黑白图像。因为转化为黑白图像后，方便于对所采集的数字图像进行后续的处理和运算，所以在视觉图像处理中系统先把采集到的彩色图像转化成灰度图像。在实现了图像的灰度化操作之后，系统对图像进行二值化操作。图5是本发明的基于视觉标定的自动化验机械臂装置的一种实施例的试管架平面示意图。如图5所示，为了简化视觉处理的复杂程度，使参照物易于被标定，本发明的试管架周围粘贴一圈矩形的黑色的标线，易于与白色的试管架和透明的试管区分开来。本发明采用阈值判别法将图像二值化。实现了图像的二值化后，就要对图像进行分析运算，进行边缘的检测、轮廓的提取以及图像轮廓中心点的提取。
摄像头的标定，用于确定摄像头的内外参数。摄像头标定的途径就是根据确定的摄像头模型，通过已知若干特征点的图像坐标和该这些特征点的世界坐标这两组坐标值来求解摄像头的内外参数。本发明中试管架平面与安装的摄像头的位置关系是：摄像头的轴心垂直于试管架平面。
摄像头模型是光学成像几何关系的简化，其中最简单的模型是线性模型(或称针孔模型)。线性模型成像关系为线性，是最常用的理想模型。摄像头采集的图像通过以数字信号的形式输入到上位机控制系统，每一个数字图像在上位机控制系统内都是以一个M×N数组的形式存储起来，数组中的每一个元素就代表一个像素，每一个元素的数值就是图像点的亮度，也称为灰度。
图6是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的直角坐标系uv和XO1Y的关系图。如图6所示，在图像上定义了一个以像素为单位的直角坐标系uv，每一像素的坐标(u，v)分别代表该像素在数组中的列数与行数。(u，v)是以象素为单位的图像坐标系的坐标。由于(u，v)只表示象素位于数组中的列数与行数，而无法用物理单位表示出该象素在图像中的位置。因此，再建立一个以物理单位来表示图像点位置的图像坐标系XO1Y。这个坐标系的原点定义在摄像头中心轴与图像平面的交点上，在摄像头的标定过程中，假设坐标系的原点在图像的中心。两个坐标轴x轴、y轴分别与u轴、v轴平行。在图像坐标系中，设O1在u，v坐标系中的坐标为(u0，v0)，每一个像素在x轴与y轴方向上的物理尺寸为dx，dy，则图像中任意一个象素在两个坐标系下的坐标有如下关系:
x＝(u-u0)dx
y＝-(v-v0)dy
或者：
本发明采用平面视觉，涉及平面视觉相关的二维坐标变换的公式和坐标变换的相关特性。在机械臂的移动过程中，摄像头的轴线始终垂直于试管架平面，因此摄像头采集的图像坐标系与世界坐标系相平行，而二维坐标的变换仅有旋转和平移。通过对摄像头采集的二值化后的图像进行处理可以得到试管架相对于摄像头的旋转量和偏移量。
图7是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的摄像头采集图像二值化示意图。如图7所示，A’B’C’D’是摄像头采集图像的外边框，O’是其中点，ABCD是图像二值化后的试管架边界，O是其中点。试管架相对于摄像头的旋转角θ可以通过计算线AB的斜率或者线CD的斜率得出。
设A点的坐标为(xa，ya)，B点的坐标为(xb，yb)，C点的坐标为(xc，yc)，D点的坐标为(xd，yd)，线AB的斜率kAB，线CD的斜率kCD，线AB相对于A’B’的倾斜角θAB，线CD相对于C’D’的倾斜角θCD则:
θAB＝arctankAB
θCD＝arctankCD
若θAB与θCD相差不大，则取：
至此可以求出试管架相对于摄像头的旋转角θ，而试管架相对于摄像头的偏移量即试管架的中点O相对于摄像头中点O’的位置，由于O’点是坐标系XO1Y的原点，因此O点相对于O’点的位置即O点坐标(xo，yo)。
图8是本发明的基于视觉标定的自动化验机械臂装置的一种实施例的标号后的试管架图像。如图8所示，本实施例的试管矩阵式地排列在试管架上，按照从左至右，从上至下的顺序对试管进行标号。若想对某个试管进行操作，则可以通过该试管标号确定该试管相对于试管架的位置，再结合试管架相对于摄像头的位置，则可以确定该试管相对于摄像头的位置。
在试管架的平面图像中以中心的第18号试管的中心点为原点建立直角坐标系，试管间的横向间距和纵向间距都为Δ，设d号试管在试管架上的第a行(最上面一行为第0行)第b列(最左边一列为第0列)，设a，b都为整型，则
b＝d-7*a
由此可得d号试管的位置P：
P＝((b-3)*Δ,(2-a)*Δ)
然后，将该点的坐标由试管架平面坐标系变换到摄像头坐标系。图9是本发明的基于视觉标定的自动化验机械臂装置控制方法的一种实施例的目标试管坐标由试管架平面坐标系变换到摄像头坐标系的示意图。如图9所示，首先由试管架相对于摄像头的旋转角θ引入旋转矩阵R：
将坐标P经过旋转之后得到P’：
然后在加上试管架相对于摄像头的旋转量和偏移量(xo，yo)，得到最终P在摄像头坐标中的坐标P”：
这样机械臂根据目标试管在摄像头坐标系中的位置线性移动就可以到达该试管上方。
本发明的技术方案经过实验验证，其示意图如图10所示，自动化验机械臂的末端执行器位于28号试管上方，机械臂在实际运动过程中会有以下几种情况：
1)系统开机时，末端执行器正好位于第28号试管上方；
2)上一个工作周期结束后末端执行器停止于第28号试管上方；
3)人为改变了试管架的位置，使末端执行器正好位于第28号试管上方。
要求系统对1号试管操作，分别在上述情况下进行实验测试。结果显示本发明的控制系统在达到稳定状态后与1号试管的中心误差极小。可以看出采用视觉标定的控制方法，机械臂较好地实现了视觉定位试管位置，说明本发明抗干扰性能较好。
Claims (2)
1.一种基于视觉标定的自动化验机械臂装置，包括控制系统、机械臂主体(1)、末端执行器(2)、气泵(3)、试管架(4)；
机械臂主体(1)包括固定在支撑平台的第一伺服电机(5)、与第一伺服电机(5)相邻的第二伺服电机(6)、与第二伺服电机(6)相连的大臂(7)，与大臂(7)相连的第三伺服电机(8)、与第三伺服电机(8)相连的小臂(9)；所述的第一伺服电机(5)控制机械臂的左右转动，第二伺服电机(6)控制机械臂的前后转动，第三伺服电机(8)控制末端执行器(2)的上下运动，该三个伺服电机(5、6、8)整体联动下实现末端执行器(2)在操作空间中的移动；
机械臂主体(1)通过L型工件(10)与末端执行器(2)相连；
末端执行器(2)包括注射器(11)和摄像头(12)；
气泵(3)位于机械臂主体(1)后方，注射器(11)通过软管与气泵(3)相连；气泵(3)用于驱动注射器(11)吸入或者排出液体；
试管架(4)设置于机械臂主体(1)前方，多个试管矩阵式排列在试管架(4)上；
所述的多个试管的规格大小一致，按照从左至右、从上至下的顺序进行标号；
所述的摄像头(12)的轴线垂直于试管架(4)的上平面；
所述的摄像头(12)为线性摄像头；
其特征在于，
在进入试管和抬升离开试管的过程中机械臂线性竖直下降或者抬升，因此在这个过程中并不需要摄像头的参与，在注射器对相应试管进行吸取或者排出液体的操作时也不需要摄像头的参与，而在注射器完成一个工作周期回到抬升平面寻找下一个操作试管时，视觉系统需要处理来自摄像头的图像信息以便确定下一个试管的位置。
2.一种基于视觉标定的自动化验机械臂装置控制方法，其特征在于，首先建立自动化验机械臂装置以及试管架在空间中的三维模型，然后，进行以下步骤：
步骤1.判断机械臂是否处于抬升高度，如果是则进行下一步，如果不是则使机械臂抬升至抬升高度再进行下一步；
步骤2.通过视觉处理确定目标试管位置；所述视觉处理包含：目标试管图像坐标的获取与处理、目标试管图像坐标变换为机械臂的动作坐标；
步骤3.机械臂带动注射器到达目标试管口；
步骤4.机械臂再带动注射器下降进入目标试管；
步骤5.气泵驱动注射器对目标试管进行操作；
步骤6.结束后机械臂抬升返回抬升高度；
所述步骤2包括：
2.1.将图像灰度化：即是将彩色图像转化为黑白图；
2.2.采用阈值判别法将图像二值化；
2.3.试管架边缘的检测、轮廓的提取以及图像轮廓中心点的提取；
2.4.将像素坐标转换为物理坐标；
2.5.计算试管架相对于摄像头的旋转角θ；
2.6.计算试管架相对于摄像头的偏移量；
2.7.计算目标试管在试管架平面坐标的位置；
2.8.计算目标试管在摄像头坐标系的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810324420.3A CN108544531B (zh) | 2018-04-12 | 2018-04-12 | 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810324420.3A CN108544531B (zh) | 2018-04-12 | 2018-04-12 | 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108544531A CN108544531A (zh) | 2018-09-18 |
| CN108544531B true CN108544531B (zh) | 2020-11-10 |
Family
ID=63514694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810324420.3A Active CN108544531B (zh) | 2018-04-12 | 2018-04-12 | 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108544531B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109318234B (zh) * | 2018-11-09 | 2021-03-12 | 哈尔滨工业大学 | 一种适用于视觉伺服插拔作业的标定方法 |
| CN110275037A (zh) * | 2019-06-14 | 2019-09-24 | 齐鲁工业大学 | 一种用于制作细胞学病理检验样本的无人生产流水线及方法 |
| CN110842919B (zh) * | 2019-11-05 | 2021-01-22 | 四川长虹智能制造技术有限公司 | 一种机器人打螺钉的视觉引导方法 |
| CN112474391B (zh) * | 2020-11-16 | 2021-10-29 | 基点生物科技(成都)有限公司 | 一种基于视觉辅助验证的冻存管挑选方法 |
| CN113601500A (zh) * | 2021-07-12 | 2021-11-05 | 广东工业大学 | 一种单目视觉机器人及应用其的三维匹配定位方法 |
| CN113580147B (zh) * | 2021-09-02 | 2023-04-14 | 乐聚(深圳)机器人技术有限公司 | 一种机器人控制方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101370622A (zh) * | 2006-01-18 | 2009-02-18 | 阿戈斯治疗公司 | 用于处理封闭容器中的样品的系统和方法以及相关装置 |
| CN102662399A (zh) * | 2012-05-09 | 2012-09-12 | 江苏科技大学 | 一种面向多目标的水果采摘机器人的路径优化方法 |
| CN103282781A (zh) * | 2010-11-23 | 2013-09-04 | 安德鲁联合有限公司 | 用于移液管的可编程操纵的设备和方法 |
| CN106625697A (zh) * | 2016-11-15 | 2017-05-10 | 同济大学 | 一种基于机器视觉技术的智能桌面式机械臂系统 |
-
2018
- 2018-04-12 CN CN201810324420.3A patent/CN108544531B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101370622A (zh) * | 2006-01-18 | 2009-02-18 | 阿戈斯治疗公司 | 用于处理封闭容器中的样品的系统和方法以及相关装置 |
| CN103282781A (zh) * | 2010-11-23 | 2013-09-04 | 安德鲁联合有限公司 | 用于移液管的可编程操纵的设备和方法 |
| CN102662399A (zh) * | 2012-05-09 | 2012-09-12 | 江苏科技大学 | 一种面向多目标的水果采摘机器人的路径优化方法 |
| CN106625697A (zh) * | 2016-11-15 | 2017-05-10 | 同济大学 | 一种基于机器视觉技术的智能桌面式机械臂系统 |
Non-Patent Citations (2)
| Title |
|---|
| 一种用于智慧工厂化学检测的机械臂设计;于洋 等;《智慧工厂》;20170731(第7期);第66-69页 * |
| 一种面向智慧船厂的六自由度机械臂模型设计及实现;于洋 等;《智能机器人》;20170630(第3期);第47-50页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108544531A (zh) | 2018-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108544531B (zh) | 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 | |
| CN110370286B (zh) | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 | |
| US9517468B2 (en) | Methods and systems for calibration of a positional orientation between a sample container and nozzle tip | |
| US7982201B2 (en) | System and method for detection of liquid level in a vessel | |
| US20150142171A1 (en) | Methods and apparatus to calibrate an orientation between a robot gripper and a camera | |
| CN111027409B (zh) | 移液工作台及利用移液工作台实现耗材识别和监测的方法 | |
| KR20150067163A (ko) | 카메라 기반 자동 정렬을 위한 시스템 및 방법 | |
| EP2729060A2 (en) | Calibration and transformation of a camera system's coordinate system | |
| CN109211110A (zh) | 一种基于机器视觉的平板类工件尺寸检测系统及方法 | |
| CN110133312B (zh) | 阴道分泌物检测装置及方法 | |
| CN113155047B (zh) | 长距离孔距测量装置、方法、存储介质、设备及轨道车辆 | |
| CN108652678B (zh) | 一种自动跟踪尿液的方法及装置 | |
| CN109352646B (zh) | 纱线自动装卸方法及系统 | |
| CN112037281B (zh) | 一种用于引导自动化毛囊采集机器的视觉系统 | |
| JP2024506649A (ja) | 単一の画像取込みデバイスを使用して検体容器の３ｄ中心位置を識別するように適用された方法および装置 | |
| CN210090484U (zh) | 阴道分泌物检测装置 | |
| CN110244071B (zh) | 一种基于智能控制系统的自动化验装置 | |
| CN112858106A (zh) | 一种液滴接触角的测量系统及方法 | |
| CN114950587A (zh) | 一种基于机器视觉的微流控芯片自动加样采样系统 | |
| CN109211222B (zh) | 基于机器视觉的高精度定位系统及方法 | |
| CN210109126U (zh) | 一种耗材监控装置 | |
| CN116972973B (zh) | 发光物体的空间光谱全自动测量装置及方法 | |
| KR102665372B1 (ko) | 겐트리 탑재형 3d 형상 스캐닝 장치 및 이를 이용한 스캐닝 방법 | |
| CN118304171A (zh) | 基于图像识别的配液方法 | |
| Al-Fandi et al. | A real time vision feedback system for automation of a nano-assembly manipulator inside scanning electron microscope |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Chen Wei Inventor after: Yu Yang Inventor before: Yu Yang Inventor before: Chen Wei |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230410 Address after: 212028 No. 78, Changxiang East Avenue, Dantu District, Zhenjiang City, Jiangsu Province Patentee after: JIANGSU TAIHANG INFORMATION TECHNOLOGY Co.,Ltd. Address before: 212003, No. 2, Mengxi Road, Zhenjiang, Jiangsu Patentee before: JIANGSU University OF SCIENCE AND TECHNOLOGY |
|
| TR01 | Transfer of patent right |