CN116038701B - 一种四轴机械臂的手眼标定方法及装置 - Google Patents
一种四轴机械臂的手眼标定方法及装置 Download PDFInfo
- Publication number
- CN116038701B CN116038701B CN202211725752.5A CN202211725752A CN116038701B CN 116038701 B CN116038701 B CN 116038701B CN 202211725752 A CN202211725752 A CN 202211725752A CN 116038701 B CN116038701 B CN 116038701B
- Authority
- CN
- China
- Prior art keywords
- calibration
- mechanical arm
- coordinate
- axis mechanical
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 230000033001 locomotion Effects 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 238000003860 storage Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000000758 substrate Substances 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种四轴机械臂的手眼标定方法及装置，涉及机器人视觉技术领域，主要目的在于提高四轴机械臂的手眼标定效率。本发明主要的技术方案为：在四轴机械臂坐标系下随机确定多个标定坐标；针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标；根据所述多个标定坐标及其对应的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵；利用所述转换矩阵标定所述四轴机械臂的相机。本发明用于四轴机械臂的手眼标定。
Description
技术领域
本发明涉及机器人视觉技术领域，尤其涉及一种四轴机械臂的手眼标定方法及装置。
背景技术
随着科技的不断发展，人们的生产生活越来越智能化和机械化，例如在农业生产中，可以通过机器采摘来代替人为采摘，但在通过机器人进行工作之前，需要先进行机器的手眼标定工作，其是确定机器人与机器人视觉系统的位置关系，将机器人和机器人的视觉传感器统一到一个标准的坐标系中，也可以理解为确定相机识别坐标系和机械臂坐标系的坐标转化关系，手眼标定的精度直接影响着后续工作的开展。
现有的机械臂手眼标定方法通常是将采集相机固定安装到独立于机械臂的部件上，再人工设置采样点，最后相机识别安装于机械臂上且跟随机械臂移动到各个采样点的标定板中心点，然后确定中心点在相机识别坐标系下的坐标以及机械臂坐标系下机械臂末端坐标以完成标定，但该方法的问题在于需要人工设置采样点，而对于不同的机械臂需要根据采集相机的视野范围进行独立设置，这极大影响了标定效率。
发明内容
鉴于上述问题，本发明提供一种四轴机械臂的手眼标定方法及装置，主要目的是为了提高四轴机械臂的手眼标定效率。
为解决上述技术问题，本发明提出以下方案：
第一方面，本发明提供了一种四轴机械臂的手眼标定方法，所述四轴机械臂上设置有相机与标定板，所述标定板随四轴机械臂的移动范围在所述相机视野范围之内，所述方法包括：
在四轴机械臂坐标系下随机确定多个标定坐标；
针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标；
根据所述多个标定坐标及其对应的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵；
利用所述转换矩阵标定所述四轴机械臂的相机。
第二方面，本发明提供了一种四轴机械臂的手眼标定装置，所述四轴机械臂上设置有相机与标定板，所述标定板随四轴机械臂的移动范围在所述相机视野范围之内，所述装置包括：
确定单元，用于在四轴机械臂坐标系下随机确定多个标定坐标；
获取单元，用于针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标；
计算单元，用于根据所述多个标定坐标及其对应的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵；
标定单元，用于利用所述转换矩阵标定所述四轴机械臂的相机。
为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面的四轴机械臂的手眼标定方法。
为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述第一方面的四轴机械臂的手眼标定方法。
借由上述技术方案，本发明提供的一种四轴机械臂的手眼标定方法及装置，可以自动在所述四轴机械臂坐标系下随机确定多个标定坐标，这样无需再人工对于不同的机械臂根据采集相机的视野范围进行独立设置采样点(即本申请中的标定坐标)，节省人力的同时提高了所述四轴机械臂的标定效率，进而，可以针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标，以便于后续完成标定，然后可以根据标定坐标以及获取到的标定坐标对应的相机识别坐标计算出所述相机识别坐标系到四轴机械臂坐标系的转换矩阵，进而可以保存该矩阵以完成所述四轴机械臂的手眼标定。这样，通过随机在四轴机械臂下设定多个标定坐标，无需人工再对于不同的机械臂根据采集相机的视野范围进行独立设置采样点，节省了大量设置采样点的时间，因此，可以在此基础上提高对所述四轴机械臂的手眼标定效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种四轴机械臂的立体结构示意图；
图2示出了本发明实施例提供的一种四轴机械臂的手眼标定方法流程图；
图3示出了本发明实施例提供的另一种四轴机械臂的手眼标定方法流程图；
图4示出了本发明实施例提供的一种四轴机械臂的手眼标定方法的组成框图；
图5示出了本发明实施例提供的另一种四轴机械臂的手眼标定方法的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
随着科技的发展，农业机器人的广泛应用的同时，手眼标定方法也是在机器人应用之前必不可少的一环，其是确定机器人与机器人视觉系统的位置关系(即相机安装于机器人上的相机)，从而将机器人和视觉系统统一到一个标准坐标系中，从而后续可以在眼(即相机)识别到某个东西时，手(即机械臂)可以知道其位于自身坐标系中的哪个位置，进而可以根据该位置去抓取，因此手眼标定的精度直接影响后续工作的开展。
现有的机械臂手眼标定方法通常是将采集相机固定安装到独立于机械臂的部件上，再人工设置采样点，最后相机识别安装于机械臂上且跟随机械臂移动到各个采样点的标定板中心点，然后确定中心点在相机识别坐标系下的坐标以及机械臂坐标系下机械臂末端坐标以完成标定，但该方法一方面由于相机安装位置固定，因此相机视角不足，且另一方面需要人工设置采样点，而对于不同的机械臂需要根据采集相机的视野范围进行独立设置，这极大影响了标定效率。为此，本发明实施例提供了一种四轴机械臂的手眼标定方法，可以提高四轴机械臂的手眼标定效率。
在此需要说明的是，本发明实现在实际场景中依托于四轴机械臂，下面以执行主体为四轴机械臂为例对本发明实施例提供的四轴机械臂的手眼标定方法加以说明。
请参阅图1，图1为本发明实施例提供一种四轴机械臂的结构示意图。如图1中所示，在实际应用场景中，包括有总控模块，初始化模块、机械臂运动控制模块、四轴机械臂第一关节基底4、相机5与标定板6、视觉特征分析模块以及手眼标定模块，其中，所述总控模块，初始化模块、机械臂运动控制模块、视觉特征分析模块以及手眼标定模块均为软件控制，其通过在机械臂工控机2内部控制所述四轴机械臂，其中，7为所述标定板的图像示例，且根据图1中相机与标定板的位置可以知道，所述相机5和标定板6分别安装于机械臂的第一运动关节和第三运动关节处，均可以通过四轴机械臂带动其进行移动，在实际工作时，所述总控模块负责对各模块进行调用以实现整体的标定方法，后续不再进行说明，默认所有执行步骤的主体均为所述总控模块，在标定方法开始之前，所述初始化模块可以进行系统初始化自检，包括四轴机械臂自检、机械臂锁定状态解除、相机5内部的图像传感器自检、相机5异常检查以及驱使四轴机械臂移动至初始位置，进而，所述机械臂运动控制模块可以在四轴机械臂坐标系下随机确定多个标定坐标，然后所述机械臂运动控制模块可以控制所述四轴机械臂第三运动关节带动所述标定板6移动到各个标定坐标处，这时，相机5可以对在各个标定坐标处的所述标定板6进行拍摄，获得带有所述标定板6的图像以及图像的图像深度信息，进而所述视觉特征分析模块可以对图像进行分析，确定出所述标定坐标对应的相机识别坐标，最终所述手眼标定模块可以根据所述相机识别坐标以及标定坐标获得从相机识别坐标系到四轴机械臂坐标系的变换矩阵，进而保存该矩阵完成四轴机械臂的手眼标定方法。
请同时参阅图2，图2为本发明实施例提供的一种四轴机械臂的手眼标定方法流程图：
201、在四轴机械臂坐标系下随机确定多个标定坐标。
该步骤中，总控模块可以先调用初始化模块进行系统初始化，检测系统中各部分是否存在异常，若不存在，则将四轴机械臂第三运动关节(可以同时参阅图1，即本实施例中标定板的安装位置处)运行至初始位点，在以上工作都已完成之后，所述总控模块可以控制机械臂运动模块在四轴机械臂坐标系下随机确定多个标定坐标。
具体的，在确定多个标定坐标时，可以是随机设定，也可以是按照一定密度进行设定，在按照一定密度进行设定时，示例性的，先确定出符合要求的坐标空间，然后再确定出所述坐标空间中的一个初始坐标点X，然后可以确定出在所述坐标空间中需要采集的图像数量以及X的指定范围，若所述指定范围为在X的0-1000mm内，需要采集20张图像，则需要在坐标空间内以X为基准，每个50mm设置一个标定坐标。
其中，所述标定坐标为四轴机械臂的第三运动关节，即标定板所在位置处的机械臂所要移动到的位置。
其中，所述标定坐标的数量可以为多个，其具体数量根据实际情况而定。
202、针对每个标定坐标移动四轴机械臂，获取标定坐标对应的相机识别坐标。
其中，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标。
该步骤中，在确定出多个标定坐标之后，总控模块可以控制所述机械臂运动模块针对每个标定坐标移动所述四轴机械臂，具体的，在将所述四轴机械臂每移动到一个标定坐标处时，可以获取到该标定坐标对应的相机识别坐标。
具体的，可以是在将所述四轴机械臂每移动到一个标定坐标处时，可以先通过相机采集标定板在每个标定坐标处的图像，然后基于特征的方法，还可以通过基于深度学习的方法确定出每个标定坐标对应的相机识别坐标。
其中，所述相机可以是选取具有深度感知能力的深度(RGBD)相机或双目相机。
其中，所述相机采集的图像以及图像的深度信息其数据形式可以分别为RGB的三通道的彩色图像和单通道的深度图像，且其图像为实时图像。
203、根据多个标定坐标及其对应的相机识别坐标计算相机识别坐标系与四轴机械臂坐标系的转换矩阵。
该步骤中，在确定出多个标定坐标以及对应的相机识别坐标以后，可以通过点云匹配的算法，还可以通过以四轴机械臂坐标系建立世界坐标系，然后计算所述世界坐标系中的某一坐标在相机识别坐标系中的坐标，以得到世界坐标系到相机识别坐标系的平移向量，进而可以计算相机识别坐标系与四轴机械臂坐标系的转换矩阵。
204、利用转换矩阵标定四轴机械臂的相机。
该步骤中，在得到所述相机识别坐标系与四轴机械臂坐标系的转换矩阵之后，可以对该矩阵进行保存，以完成四轴机械臂的手眼标定。
基于上述图2的实现方式可以看出，本发明提供的一种四轴机械臂的手眼标定方法，可以自动在所述四轴机械臂坐标系下随机确定多个标定坐标，这样无需再人工对于不同的机械臂根据采集相机的视野范围进行独立设置采样点(即本申请中的标定坐标)，节省人力的同时提高了所述四轴机械臂的标定效率，进而，可以针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标，并且，相机是安装在机械臂第一运动关节处，可以通过机械臂带动起上下移动，视角范围较广，然后可以根据标定坐标以及获取到的标定坐标对应的相机识别坐标计算出所述相机识别坐标系到四轴机械臂坐标系的转换矩阵，进而可以保存该矩阵以完成所述四轴机械臂的手眼标定。这样，通过随机在四轴机械臂下设定多个标定坐标，无需人工再对于不同的机械臂根据采集相机的视野范围进行独立设置采样点，节省了大量设置采样点的时间，因此，可以在此基础上提高对所述四轴机械臂的手眼标定效率。
进一步的，作为对图2所示实施例的细化及扩展，本发明实施例还提供了另一种四轴机械臂的手眼标定方法，如图3所示，其具体步骤如下：
301、确定四轴机械臂的工作空间以及相机的视野范围。
该步骤中，在初始化模块运行结束以后，总控模块可以先控制所述机械臂运动模块确定四轴机械臂的工作空间以及相机的视野范围，这样，由于结合了相机的视野范围，所以在后续进行标定时，不会存在相机视野外的情况，因此，有利于提高后续的标定精度。
302、根据工作空间以及视野范围的空间交集在四轴机械臂坐标系下随机确定多个标定坐标。
该步骤中，在确定出所述工作空间以及视野范围以后，所述机械臂运动模块可以确定出所述机械臂的工作空间与所述相机视野范围之间的交集，即取工作空间与所述相机视野范围之间的共同范围，进而可以基于所述空间交集，在四轴机械臂下随机确定出多个标定坐标，这样，可以即保证标定时不会超出相机以及机械臂工作空间的范围，在一定程度上保证了后续进行标定时的精度。
示例性的，若以初始位点为基础点，所述机械臂的工作空间为世界坐标系下基础点的所有方向的40-1000mm范围,所述相机的视野范围为世界坐标系下基础点的所有方向的30-800mm范围，则所述多个标定坐标则可以在基础点所有方向的40-800mm范围内设定。
303、针对每个标定坐标移动四轴机械臂，获取标定坐标对应的相机识别坐标。
在该步骤中，提供了一种区别于步骤202的更优的实施方式，在本步实施例中，机械臂运动控制模块可以控制所述四轴机械臂，将所述四轴机械臂的第三运动关节带动所述标定板移动到每个标定坐标处，在移动到每个标定坐标处时，安装于四轴机械臂第一运动关节上表面的相机可以对安装于四轴机械臂第三运动关节上表面的标定板进行采集，获得带有所述标定板的标定图像以及标定图像的深度信息，在此需要说明的是，采集到的标定板的标定图像中带有所述标定板的中心点，在这之后，总控模块可以控制所述视觉特征分析模块结合所述标定图像确定出所述标定板的中心点在标定图像中的像素坐标以及结合所述标定图像的深度信息确定出所述标定板的中心点的深度值，最终，可以结合相机参数确定出所述标定板中心点的相机识别坐标，其中，所述标定板的中心点对应于每个标定坐标的坐标点，所以，也确定出其标定坐标对应的相机识别坐标，这样，由于每个标定坐标在设定时均结合了相机视野范围与机械臂的工作空间，因此，无论所述四轴机械臂第三运动关节移动到哪个标定坐标处，其都不会超出相机的视野范围，也都会有对应的相机识别坐标，因此不会存在个别标定坐标没有对应的相机识别坐标而造成的标定结果不精确的情况出现，有利于提高后续标定精度。
示例性的，若将所述标定板的中心点的像素坐标记为u,深度值记为s,相机内参分别为Cx、Cy、fx、fy，则所述该标定坐标处采集到的标定板的中心点对应的相机识别坐标系下的相机识别坐标X为s(u-Cx)/fx,Y为s(u-Cy)/fy，Z为s。
其中，所述标定板可以为棋盘格图案，也可以为其他具有明显规则中心点的图案，在此不做任何限定。
304、根据多个标定坐标及其对应的相机识别坐标计算相机识别坐标系与四轴机械臂坐标系的转换矩阵。
在该步骤中，提出了一种区别于步骤203的更优的实施方式，具体的，在确定出每个标定坐标对应的相机识别坐标以后，可以通过点云匹配算法计算标定坐标及其对应的相机识别坐标，得到相机识别坐标系与四轴机械臂坐标系的转换矩阵，但在此需要说明的是，在实际应用时，四轴机械臂的第一运动关节基底处(即z轴处，可以参考图1中4的位置)也是在进行动作的，也可以认为是整个四轴机械臂的移动导航，因此，在使用时，为了提高标定精度，也可以再确定出所述四轴机械臂第一关节基底的实时坐标，并将所述实时坐标转化为矩阵，进而，可以将所述相机识别坐标系和四轴机械臂坐标系的转换矩阵与四轴机械臂基底在四轴机械臂坐标系下的实时坐标矩阵进行乘积，得到更为精准的目标转换矩阵，以便于利用所述目标转换矩阵标定所述四轴机械臂。这样，可以大大增加标定的精度。
示例性的，在利用点云匹配算法计算多个标定坐标及其对应的相机识别坐标，得到所述相机识别坐标系与四轴机械臂坐标系的转换矩阵时，可以将相机识别坐标记为点云P，将标定坐标记为点云Q，各有k个数据(为各自的坐标点个数，在本实施例中，所述相机识别坐标点个数与所述标定坐标点个数应该为一致且一一对应的)。
第一步，可以计算点云P与点云Q的质心坐标具体计算公式如下：
第二步，可以计算点云P与点云Q的去质心坐标P’、Q’,具体计算公式如下：
第三步，可以通过点云P和点云Q的去质心坐标P’、Q’，构建协方差矩阵H，具体计算公式如下：
H＝P’T·Q’(公式五)
第四步，可以使用SVD法分解矩阵H，具体计算公式如下：
H＝UΛVT(公式六)
第五步，可以获得从相机识别坐标系到机械臂坐标系的旋转矩阵R以及平移向量t，具体计算公式如下：
R＝V·UT(公式七)
第六步，构建从相机识别坐标系到四周机械臂坐标系的转换矩阵T，具体计算公式如下：
305、利用转换矩阵标定四轴机械臂的相机。
其中，该步骤可以参照步骤204的描述，并且可以达到相同的技术效果和解决相同的技术问题，在此不再赘述。
在一些可能的实施方式中，在获取相机采集随四轴机械臂移动到每个标定坐标处的标定板的标定图像以及标定图像的深度信息之后，所述方法还包括：
分析每次采集的标定图像中是否存在标定板的中心点；
若否，则确定当前标定坐标处环境光照过强，控制相机采集下一标定坐标处的标定板的标定图像以及标定图像的深度信息，直至分析出的标定板中心点数量到达指定数量。
该步骤中，由于相机在识别标定板时可能会存在许多客观因素，比如光照，可能会导致采集到的标定板模糊，因此存在采集到的标定图像中识别不到标定板的中心点的情况，进而还需要在获取相机采集随四轴机械臂移动到每个标定坐标处的标定板的标定图像之后，控制所述视觉特征分析模块结合所述标定图像，判断在每个标定坐标处采集到的标定图像中是否存在所述标定板的中心点，若不存在，则确定可能是由于当前环境光照过强导致的，因此，可以控制四轴机械臂带动所述标定板到当前所在的标定坐标处的下一标定坐标处，进而可以控制相机采集在下一标定坐标处的标定图像以及图像深度信息，直至分析出的标定板中心点数量到达指定数量。这样，可以极大的避免在一个坐标处由于识别不到所述标定板的中心点因此反复进行识别，降低标定效率的情况出现。
进一步的，作为对上述图2所示方法的实现，本发明实施例还提供了一种四轴机械臂的手眼标定装置，用于对上述图1所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图4所示，该装置包括：
确定单元401，用于在四轴机械臂坐标系下随机确定多个标定坐标；
获取单元402，用于针对所述确定单元401确定的每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标；
计算单元403，用于根据所述确定单元401确定的多个标定坐标及其对应的所述获取单元402获取的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵；
标定单元404，用于利用所述计算单元403计算出的转换矩阵标定所述四轴机械臂的相机。
进一步的，作为对上述图2所示方法的实现，本发明实施例还提供了另一种四轴机械臂的手眼标定装置，用于对上述图2所示的方法进行实现。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图5所示，该装置包括：
确定单元401，用于在四轴机械臂坐标系下随机确定多个标定坐标；
获取单元402，用于针对所述确定单元401确定的每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标；
计算单元403，用于根据所述确定单元401确定的多个标定坐标及其对应的所述获取单元402获取的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵；
标定单元404，用于利用所述计算单元403计算出的转换矩阵标定所述四轴机械臂的相机。
一种可选的实施方式中，所述确定单元401包括：
第一确定模块4011，用于确定所述四轴机械臂的工作空间以及相机的视野范围；
第二确定模块4012，用于根据所述第一确定模块4011确定的工作空间以及所述视野范围的空间交集在四轴机械臂坐标系下随机确定多个标定坐标。
一种可选的实施方式中，所述获取单元402包括：
获取模块4021，用于针对每个标定坐标移动所述四轴机械臂，并获取相机采集随四轴机械臂移动到每个标定坐标处的标定板的标定图像以及标定图像的深度信息；
第三确定模块4022，用于基于所述获取模块4021获取的标定图像的深度信息确定每个标定坐标处标定板的中心点在相机识别坐标系下的相机识别坐标，所述标定板的中心点对应于每个标定坐标的坐标点。
一种可选的实施方式中，所述计算单元403包括：
第一计算模块4031，用于利用点云匹配算法计算多个标定坐标及其对应的相机识别坐标，得到所述相机识别坐标系与四轴机械臂坐标系的转换矩阵；
第四确定模块4032，用于确定所述四轴机械臂基底在四轴机械臂坐标系下的实时坐标矩阵；
第二计算模块4033，用于将所述第一计算模块4031计算出的转换矩阵与所述第四确定模块4032确定出的实时坐标矩阵进行乘积，得到所述相机识别坐标系与四轴机械臂坐标系之间的目标转换矩阵，以利用所述目标转换矩阵标定所述四轴机械臂。
一种可选的实施方式中，在获取单元402中的获取模块4021获取相机采集随四轴机械臂移动到每个标定坐标处的标定板的标定图像以及标定图像的深度信息之后，所述获取单元402还包括：
分析模块4023，用于分析每次采集的标定图像中是否存在标定板的中心点；
控制模块4024，用于若所述分析模块4023分析出否，则确定当前标定坐标处环境光照过强，控制相机采集下一标定坐标处的标定板的标定图像以及标定图像的深度信息，直至分析出的标定板中心点数量到达指定数量。
进一步的，本发明实施例还提供一种存储介质，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述图2-3中所述的四轴机械臂的手眼标定方法。
进一步的，本发明实施例还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述图2-3中所述的四轴机械臂的手眼标定方法。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种四轴机械臂的手眼标定方法，其特征在于，所述四轴机械臂上设置有相机与标定板，所述标定板随四轴机械臂的移动范围在所述相机视野范围之内，所述相机和标定板分别安装于机械臂的第一运动关节和第三运动关节处，所述方法包括：
在四轴机械臂坐标系下随机确定多个标定坐标；
针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下标定板随四轴机械臂移动而改变的位置坐标；
根据所述多个标定坐标及其对应的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵，包括：确定四轴机械臂基底在四轴机械臂坐标系下的实时坐标矩阵；
将所述转换矩阵与所述实时坐标矩阵进行乘积，得到所述相机识别坐标系与四轴机械臂坐标系之间的目标转换矩阵，以利用所述目标转换矩阵标定所述四轴机械臂；
利用所述转换矩阵标定所述四轴机械臂的相机。
2.根据权利要求1所述的方法，其特征在于，所述在四轴机械臂坐标系下随机确定多个标定坐标，包括：
确定所述四轴机械臂的工作空间以及相机的视野范围；
根据所述工作空间以及所述视野范围的空间交集在四轴机械臂坐标系下随机确定多个标定坐标。
3.根据权利要求1所述的方法，其特征在于，针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，包括：
针对每个标定坐标移动所述四轴机械臂，并获取相机采集随四轴机械臂移动到每个标定坐标处的标定板的标定图像以及标定图像的深度信息；
基于所述标定图像的深度信息确定每个标定坐标处标定板的中心点在相机识别坐标系下的相机识别坐标，所述标定板的中心点对应于每个标定坐标的坐标点。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多个标定坐标及其对应的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵，包括：
利用点云匹配算法计算多个标定坐标及其对应的相机识别坐标，得到所述相机识别坐标系与四轴机械臂坐标系的转换矩阵。
5.根据权利要求3所述的方法，其特征在于，在获取相机采集随四轴机械臂移动到每个标定坐标处的标定板的标定图像以及标定图像的深度信息之后，所述方法还包括：
分析每次采集的标定图像中是否存在标定板的中心点；
若否，则确定当前标定坐标处环境光照过强，控制相机采集下一标定坐标处的标定板的标定图像以及标定图像的深度信息，直至分析出的标定板中心点数量到达指定数量。
6.一种四轴机械臂的手眼标定装置，其特征在于，所述四轴机械臂上设置有相机与标定板，所述标定板随四轴机械臂的移动范围在所述相机视野范围之内，所述相机和标定板分别安装于机械臂的第一运动关节和第三运动关节处，所述装置包括：
确定单元，用于在四轴机械臂坐标系下随机确定多个标定坐标；
获取单元，用于针对每个标定坐标移动所述四轴机械臂，获取所述标定坐标对应的相机识别坐标，所述相机识别坐标是在相机识别坐标系下 标定板随四轴机械臂移动而改变的位置坐标；
计算单元，用于根据所述多个标定坐标及其对应的相机识别坐标计算所述相机识别坐标系与四轴机械臂坐标系的转换矩阵，包括：第四确定模块，用于确定四轴机械臂基底在四轴机械臂坐标系下的实时坐标矩阵；
第二计算模块，用于将所述转换矩阵与所述第四确定模块确定出的实时坐标矩阵进行乘积，得到所述相机识别坐标系与四轴机械臂坐标系之间的目标转换矩阵，以利用所述目标转换矩阵标定所述四轴机械臂；
标定单元，用于利用所述转换矩阵标定所述四轴机械臂的相机。
7.根据权利要求6所述的装置，其特征在于，所述确定单元包括：
第一确定模块，用于确定所述四轴机械臂的工作空间以及相机的视野范围；
第二确定模块，用于根据所述工作空间以及所述视野范围的空间交集在四轴机械臂坐标系下随机确定多个标定坐标。
8.根据权利要求6所述的装置，其特征在于，所述获取单元包括：
获取模块，用于针对每个标定坐标移动所述四轴机械臂，并获取相机采集随四轴机械臂移动到每个标定坐标处的标定板的标定图像以及标定图像的深度信息；
第三确定模块，用于基于所述标定图像的深度信息确定每个标定坐标处标定板的中心点在相机识别坐标系下的相机识别坐标，所述标定板的中心点对应于每个标定坐标的坐标点。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至权利要求5中任意一项所述的四轴机械臂的手眼标定方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至权利要求5中任意一项所述的四轴机械臂的手眼标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211725752.5A CN116038701B (zh) | 2022-12-30 | 2022-12-30 | 一种四轴机械臂的手眼标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211725752.5A CN116038701B (zh) | 2022-12-30 | 2022-12-30 | 一种四轴机械臂的手眼标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116038701A CN116038701A (zh) | 2023-05-02 |
| CN116038701B true CN116038701B (zh) | 2023-12-05 |
Family
ID=86123101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211725752.5A Active CN116038701B (zh) | 2022-12-30 | 2022-12-30 | 一种四轴机械臂的手眼标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116038701B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116652970B (zh) * | 2023-07-28 | 2023-10-31 | 上海仙工智能科技有限公司 | 一种四轴机械臂2d手眼标定方法及系统、存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097300A (zh) * | 2016-05-27 | 2016-11-09 | 西安交通大学 | 一种基于高精度运动平台的多相机标定方法 |
| CN107498558A (zh) * | 2017-09-19 | 2017-12-22 | 北京阿丘科技有限公司 | 全自动手眼标定方法及装置 |
| CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
| CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和系统 |
| CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
| DE102020105655A1 (de) * | 2019-03-07 | 2020-09-10 | Mujin, Inc. | Verfahren und system zum durchführen einer automatischen kamerakalibrierung zur roboterseuerung |
| CN112045682A (zh) * | 2020-09-02 | 2020-12-08 | 亿嘉和科技股份有限公司 | 一种固态面阵激光安装的标定方法 |
| WO2021012124A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人手眼标定方法、装置、计算设备、介质以及产品 |
| CN115115704A (zh) * | 2022-06-24 | 2022-09-27 | 合众新能源汽车有限公司 | 确定汽车位姿信息的方法及装置 |
| KR20220159895A (ko) * | 2021-05-26 | 2022-12-05 | 엠브이테크 소프트웨어 게엠베하 | 카메라 가이드된 기구의 핸드-아이 캘리브레이션 방법 |
| CN115861445A (zh) * | 2022-12-23 | 2023-03-28 | 广东工业大学 | 一种基于标定板三维点云的手眼标定方法 |
-
2022
- 2022-12-30 CN CN202211725752.5A patent/CN116038701B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106097300A (zh) * | 2016-05-27 | 2016-11-09 | 西安交通大学 | 一种基于高精度运动平台的多相机标定方法 |
| CN107498558A (zh) * | 2017-09-19 | 2017-12-22 | 北京阿丘科技有限公司 | 全自动手眼标定方法及装置 |
| CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
| CN109658460A (zh) * | 2018-12-11 | 2019-04-19 | 北京无线电测量研究所 | 一种机械臂末端相机手眼标定方法和系统 |
| DE102020105655A1 (de) * | 2019-03-07 | 2020-09-10 | Mujin, Inc. | Verfahren und system zum durchführen einer automatischen kamerakalibrierung zur roboterseuerung |
| WO2021012124A1 (zh) * | 2019-07-19 | 2021-01-28 | 西门子（中国）有限公司 | 机器人手眼标定方法、装置、计算设备、介质以及产品 |
| CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
| CN112045682A (zh) * | 2020-09-02 | 2020-12-08 | 亿嘉和科技股份有限公司 | 一种固态面阵激光安装的标定方法 |
| KR20220159895A (ko) * | 2021-05-26 | 2022-12-05 | 엠브이테크 소프트웨어 게엠베하 | 카메라 가이드된 기구의 핸드-아이 캘리브레이션 방법 |
| CN115115704A (zh) * | 2022-06-24 | 2022-09-27 | 合众新能源汽车有限公司 | 确定汽车位姿信息的方法及装置 |
| CN115861445A (zh) * | 2022-12-23 | 2023-03-28 | 广东工业大学 | 一种基于标定板三维点云的手眼标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| Xujie Liu ; Huimin Xu ; Feng Chen.Research on vision and trajectory planning system for tomato picking robots.《2020 5th International Conference on Mechanical, Control and Computer Engineering (ICMCCE)》.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116038701A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599541B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN107687855B (zh) | 机器人定位方法、装置及机器人 | |
| CN108717715A (zh) | 一种用于弧焊机器人的线结构光视觉系统自动标定方法 | |
| CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| Boochs et al. | Increasing the accuracy of untaught robot positions by means of a multi-camera system | |
| CN102374860B (zh) | 三维视觉定位方法及系统 | |
| CN111515950B (zh) | 机器人坐标系变换关系确定方法、装置、设备和存储介质 | |
| CN116038701B (zh) | 一种四轴机械臂的手眼标定方法及装置 | |
| CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN109872355B (zh) | 一种基于深度相机的最短距离获取方法及装置 | |
| CN113674345A (zh) | 一种二维像素级三维定位系统及定位方法 | |
| CN111590593B (zh) | 机械臂的标定方法、装置、系统及存储介质 | |
| CN114310880B (zh) | 一种机械臂标定方法及装置 | |
| CN114310901B (zh) | 用于机器人的坐标系标定方法、装置、系统以及介质 | |
| CN111982012A (zh) | 一种构件表面三维测量方法、装置及系统 | |
| CN109952176A (zh) | 一种机器人标定方法、系统、机器人及存储介质 | |
| CN112809668A (zh) | 一种机械臂自动手眼标定的方法及系统、终端 | |
| CN114347015A (zh) | 一种机器人抓取控制方法、系统、装置及介质 | |
| JP2730457B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN111971529A (zh) | 用于管理机器人系统的方法和装置 | |
| CN114677429B (zh) | 一种机械手的定位方法、装置、计算机设备和存储介质 | |
| CN215701709U (zh) | 一种可配置的手眼标定装置 | |
| CN115741666A (zh) | 机器人手眼标定方法、机器人及机器人作业方法 | |
| CN115488878A (zh) | 机器人视觉系统的手眼标定方法、系统、终端及介质 | |
| CN114833825A (zh) | 协作机器人控制方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |