CN116572253B - 一种试管的抓取控制方法及装置 - Google Patents
一种试管的抓取控制方法及装置 Download PDFInfo
- Publication number
- CN116572253B CN116572253B CN202310793442.5A CN202310793442A CN116572253B CN 116572253 B CN116572253 B CN 116572253B CN 202310793442 A CN202310793442 A CN 202310793442A CN 116572253 B CN116572253 B CN 116572253B
- Authority
- CN
- China
- Prior art keywords
- test tube
- target
- rack
- posture
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 709
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims 1
- 230000036544 posture Effects 0.000 description 89
- 238000001514 detection method Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 239000012636 effector Substances 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 206010029412 Nightmare Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/30—Nuclear fission reactors
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种试管的抓取控制方法，所述方法包括：获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。本发明根据目标试管的试管姿态信息调整夹爪的当前姿态，根据试管架信息和试管位置信息进行路径规划，提高了抓取试管的通用性和效率。
Description
技术领域
本发明涉及计算机视觉和机器人控制领域，尤其涉及的是一种试管的抓取控制方法及装置。
背景技术
随着制药、化学和生物领域的快速发展，急需试管操作装置对试管进行操作来取代人工试管操作。
目前，试管操作装置在进行试管抓取时，需要进行位姿估计和抓取推理。现有的试管操作装置在物体检测上通常结合模板进行匹配，模板中存储试管架和垂直放置的试管位置信息，当试管架或试管的位置发生改变时，模板因为不匹配将无法进行物体检测，从而无法进行试管抓取，此种方法通用性较低；在抓取推理方面，现有的试管操作装置使用几何推理来确定可能的抓取姿态，对于每个可能的抓取姿态进行评估，根据评估结果选择最佳的抓取姿态，并将其作为下一次迭代的初始姿态，其抓取试管的效率较低。
因此，现有技术存在缺陷，有待改进与发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种试管的抓取控制方法及装置，旨在解决现有技术中的试管操作装置进行试管抓取的通用性较低，抓取效率较低的问题。
本发明解决技术问题所采用的技术方案如下：
一种试管的抓取控制方法，所述方法包括：
获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；
获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；
控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。
在一种实现方式中，所述获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态之前，还包括：
获取深度图像；
对所述深度图像进行处理，将所述目标试管架作为目标试管架，得到目标试管架内各个试管对应的试管盖点云，对各个所述试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息；
其中，所述深度图像由深度相机拍摄所述目标试管架所得。
在一种实现方式中，所述对所述深度图像进行处理，将所述目标试管架作为目标试管架，得到所述目标试管架内各个试管对应的试管盖点云，对各个所述试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息，包括：
采用深度滤波器对所述深度图像进行提取，得到所述目标试管架对应的顶层深度图像，将所述顶层深度图像保存为RGB格式，得到所述目标试管架对应的第一图像，对所述深度图像和所述第一图像进行处理，得到所述目标试管架对应的第一点云，对所述第一点云进行筛选和聚类，得到所述目标试管架内各个试管对应的试管盖点云，获取各个所述试管盖点云中的外环点云，对各个所述外环点云进行拟合平面，得到各个试管对应的平面点云；
获取各个试管对应的平面点云质心的坐标，计算各个试管对应的所述平面点云中全部点到所述平面点云质心的向量，将各个试管对应的所述向量以矩阵形式保存，得到各个试管对应的原始矩阵，分别对各个所述原始矩阵进行处理，得到各个试管对应的试管姿态矩阵，将各个所述试管姿态矩阵存储为各个试管对应的试管姿态信息；
根据各个所述平面点云质心的坐标得到各个试管在相机坐标系下对应的试管初始坐标，将各个所述试管初始坐标进行世界坐标转化，得到各个试管的试管位置信息；
其中，每个试管的所述试管初始坐标的横坐标为所述试管对应的平面点云质心的横坐标，每个试管的所述试管初始坐标的纵坐标为所述试管对应的平面点云质心的纵坐标。
在一种实现方式中，所述根据所述试管姿态信息调整夹爪的当前姿态，包括：
将所述试管姿态矩阵和预设外参矩阵相乘，得到夹爪姿态矩阵；
根据所述夹爪姿态矩阵调整夹爪的当前姿态。
在一种实现方式中，所述方法还包括：
对所述深度图像进行处理，得到目标试管架顶层对应的顶层深度图像，对所述顶层深度图像进行处理，得到所述目标试管架的试管架轮廓，对所述试管架轮廓进行处理，得到试管架轮廓内各个试管孔角点的坐标；
根据全部所述试管孔角点的坐标得到试管架信息。
在一种实现方式中，所述根据全部所述试管孔角点的坐标得到试管架信息，包括：
计算全部所述试管孔角点中任意两个试管孔角点之间的距离，当所述距离在预设范围内时，将所述距离对应的两个试管孔角点作为所述试管孔的对角点；
当全部试管孔角点中任意两个试管孔角点之间的距离计算完成后，得到相机坐标系下各个所述试管孔的初始坐标；
根据各个所述试管孔的初始坐标，得到目标试管架的初始坐标；
对各个所述试管孔的初始坐标进行世界坐标转化，得到各个试管孔的最终坐标，对所述目标试管架的初始坐标进行世界坐标转化，得到目标试管架的最终坐标，将所述目标试管架的最终坐标和各个所述试管孔的最终坐标保存为试管架信息。
在一种实现方式中，所述根据各个所述试管孔的初始坐标，得到目标试管架的初始坐标，包括：
根据各个所述试管孔的初始坐标，将所述目标试管架中全部所述试管孔进行位置编号，得到各个所述试管孔的位置序号；
将所述位置序号中排序在第一位的试管孔作为第一试管孔，将位置序号中排序在最后一位的试管孔作为第二试管孔，获取所述第一试管孔的初始坐标和所述第二试管孔的初始坐标；
根据所述第一试管孔的初始坐标和所述第二试管孔的初始坐标，得到所述目标试管架的初始坐标；
其中，所述第一试管孔和所述第二试管孔为所述目标试管架的对角点。
本发明还提供一种试管的抓取控制装置，所述装置包括：
姿态调整模块，用于获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；
路径生成模块，用于获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；
试管抓取模块，用于控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。
本发明还提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的试管的抓取控制程序，所述试管的抓取控制程序被所述处理器执行时实现如上所述的试管的抓取控制方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的试管的抓取控制方法的步骤。
本发明提供一种试管的抓取控制方法，所述方法包括：获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。本发明根据目标试管的试管姿态信息调整夹爪的当前姿态，根据试管架信息和试管位置信息进行路径规划，提高了抓取试管的通用性和效率。
附图说明
图1是本发明中试管的抓取控制方法较佳实施例的流程图。
图2是本发明中未经拟合平面处理的试管盖点云示意图。
图3是本发明中经拟合后的平面点云示意图。
图4是本发明中对所述深度图像进行处理后得到的试管架示意图。
图5是本发明中试管的抓取控制装置较佳实施例的功能原理框图。
图6是本发明中终端的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
当前，制药和化工行业的快速发展，导致试管操作的需求激增。然而，分拣如此大量的试管对工人来说是一场噩梦。为了解决这一问题，目前亟需一种用于抓取试管的装置以替代人工操作。
目前已经提出了许多机器人操作系统，这些系统可以对不同的对象进行排序，有些系统甚至可以分析对象的可供性。然而，对于大多数机器人操作系统来说，试管的分拣是一个尚未探索的问题。
目前试管抓取装置主要涉及物体检测和抓取推理。物体检测包括了试管的实例分割和姿态估计。在实例分割方面，目前流行的方法包括使用框进行对象分割，然后进行物体包围盒分割。此方式通常需要预先设定目标的尺寸和形状，限制了应用的范围；为了检测物体包围盒，可以使用了滑动窗口技术和基于区域的技术，此方式需要对图像中的每个窗口或区域进行分类和回归，这可能会导致检测速度较慢。依赖于卷积神经网络的方法在复杂实例分割挑战中已经展现了有前途的结果，但其对训练数据和计算资源要求高，对小物体的检测不佳。
在位姿估计方面，基于深度学习的方法使用卷积神经网络(CNN)生成六自由度(6DoF)位姿，并可以将位姿分为三类；基于视点的方法通过匹配3D或投影2D模板来预测六自由度位姿；上述两种基于深度学习的方法由于需要充分的预训练，深度学习方法的泛化性和效率都会受到影响，所以该方法对于试管抓取并不适用。基于关键点的方法通过检测指定物体关键点并应用透视-n-点问题(PnP)进行最终姿态估计，此方法对于遮挡和复杂背景敏感，对小物体的检测效果不佳；基于投票的方法通过投票生成靠近物体中心的新点，这些点可以被分组和聚合以生成位姿，此种方法对于复杂的物体形状和纹理无法较好的形成新点。同时，模板匹配也是一种常见的位姿估计方法，而模板匹配对微小的环境干扰非常敏感，这导致了泛化性的缺失并限制了该方法的应用范围。
在抓取推理方面，基于深度学习的方法从图像数据中提取丰富的特征，并用一组训练物体学习从特征集到抓取质量的映射。部分基于深度学习的方法采用了基于一组2D图像特征(边缘和颜色)的合成数据进行抓取假设的学习。部分基于深度学习的方法使用边缘、纹理特征或基于形状的逼近来学习抓取。但是，基于深度学习的方法通常需要大量的标注数据进行训练，以获得准确的映射模型，需要大量的时间和人力资源来收集和标注数据，即使模型在训练数据上表现良好，但在新的未见过的数据上表现较差，无法适应新的抓取场景。除了深度学习外，强化学习也已经被应用于抓取推理。部分强化学习方法提出了基于强化学习(Q-learning)的抓取框架，部分强化学习方法提出了自监督抓取系统。然而，大多数基于强化学习的方法专注于学习单个任务，缺乏广泛的适用性。基于几何推理的方法来确定抓取也已经提出，该方法使用迭代的方法来搜索抓取姿态，这实际上是一种信息利用率比较低的暴力搜索方法。
本发明主要聚焦在目标检测和抓取推理这两个方面。目标检测包括检测目标试管所在的试管架位置和所述试管架内全部试管孔的位置。抓取推理包括目标试管的姿态估计和夹爪姿态的推理。在目标检测中，提出了一种结合视觉和深度的角点定位方法，用于计算试管架及其孔的位置。首先，采用深度滤波器从深度图像中提取试管架的顶层，并将其保存为RGB图像，然后采用霍夫变换算法(Hough)检测RGB图像中的直线。接着，用Harris角点检测方法(Harris Corner)获得这些线的交点，然后使用基于密度的聚类算法(DBSCAN)去除异常值。此外，试管架及试管孔的位置是通过每个试管孔的对角点来计算的。本发明分别计算了目标试管、目标试管所在的试管架及全部试管孔的位置。在抓取推理中，提出了一种由姿态估计辅助的零搜索空间推理方法，以显著加快抓取推理以及自适应调整夹爪的姿态。首先，使用随机抽样一致性算法(RANSAC)拟合存在于试管帽外围的点云平面。接下来，通过主成分分析(PCA)技术来估计平面中点云的法线，这种方法适用于垂直和随机放置试管的姿态估计。然后，根据试管的姿态，夹爪自适应地调整姿态来抓取和摆放试管，在抓取时，夹爪的轴向与目标试管的轴向相同，从而自动将抓取推理的搜索空间缩小到特定的姿态，提高了本方法的通用性和工作效率。此外，在运动规划和执行中，机械臂将带动夹爪沿着目标试管的轴向接近和离开目标试管。
针对现有技术的上述缺陷，本发明提供一种试管的抓取控制方法，所述方法包括：获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。本发明根据目标试管的试管姿态信息调整夹爪的当前姿态，根据试管架信息和试管位置信息进行路径规划，提高了抓取试管的通用性和效率。
请参见图1，本发明实施例所述的试管的抓取控制方法包括如下步骤：
步骤S100、获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态。
具体地，所述目标试管所在的试管架上放置了多个试管，所述试管以各种姿态任意摆放。确定目标试管后，获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态。本发明根据试管姿态信息调整夹爪的当前姿态，可使夹爪精准的对任意姿态的试管进行抓取，避免了模板的限制性，有效提高了抓取试管的通用性。
在一种实现方式中，在步骤S100之前，还包括如下步骤：
步骤A1、获取深度图像；
步骤A2、对所述深度图像进行处理，将所述目标试管架作为目标试管架，得到目标试管架内各个试管对应的试管盖点云，对各个所述试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息；
其中，所述深度图像由深度相机拍摄所述目标试管架所得。
具体地，本发明利用深度相机对所述目标试管架进行拍摄，得到深度图像，所述深度相机位置保持不变。本发明通过对各个所示试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息，方便了后续对试管进行抓取。
在一种实现方式中，所述步骤A2包括如下步骤：
步骤B1、采用深度滤波器对所述深度图像进行提取，得到所述目标试管架对应的顶层深度图像，将所述顶层深度图像保存为RGB格式，得到所述目标试管架对应的第一图像，对所述深度图像和所述第一图像进行处理，得到所述目标试管架对应的第一点云，对所述第一点云进行筛选和聚类，得到所述目标试管架内各个试管对应的试管盖点云，获取各个所述试管盖点云中的外环点云，对各个所述外环点云进行拟合平面，得到各个试管对应的平面点云；
步骤B2、获取各个试管对应的平面点云质心的坐标，计算各个试管对应的所述平面点云中全部点到所述平面点云质心的向量，将各个试管对应的所述向量以矩阵形式保存，得到各个试管对应的原始矩阵，分别对各个所述原始矩阵进行处理，得到各个试管对应的试管姿态矩阵，将各个所述试管姿态矩阵存储为各个试管对应的试管姿态信息；
步骤B3、根据各个所述平面点云质心的坐标得到各个试管在相机坐标系下对应的试管初始坐标，将各个所述试管初始坐标进行世界坐标转化，得到各个试管的试管位置信息；
其中，每个试管的所述试管初始坐标的横坐标为所述试管对应的平面点云质心的横坐标，每个试管的所述试管初始坐标的纵坐标为所述试管对应的平面点云质心的纵坐标。
具体地，所述对所述第一点云进行筛选和聚类，得到所述目标试管架内各个试管对应的试管盖点云，包括：利用直通滤波器根据预设深度信息对所述第一点云进行筛选，得到第二点云；利用半径滤波对所述第二点云去除噪声，得到第三点云；利用基于密度的聚类算法(DBSCAN)对所述第三点云进行聚类，得到所述目标试管架内各个试管对应的试管盖点云；其中，所述第二点云为移除试管架后的点云。所述目标试管架内各个试管对应的试管盖点云可表示为{D1,D2,D3,…,DL}，其中，Dl代表每根试管的点云。
未经拟合平面处理的试管盖点云如图2所示，由于试管盖点云中心部分的结构无法描述试管的姿态，因此采用基于密度的聚类算法(DBSCAN)将试管盖点云分为外环点云和内环点云，获取各个所述试管盖点云中的外环点云，使用随机抽样一致性算法(RANSAC算法)对各个所述外环点云进行拟合平面，得到各个试管对应的平面点云。所述平面点云如图3所示，经拟合后的平面点云中各个点的法向量方向都一致。
平面点云中任意一点的在相机坐标系下坐标包括横坐标，纵坐标和垂直坐标。计算各个试管对应的平面点云质心的坐标，包括：对各个试管对应的所述平面点云中全部点的横坐标求平均值，得到所述试管对应的平面点云质心的横坐标；对各个试管对应的所述平面点云中全部点的纵坐标求平均值，得到所述试管对应的平面点云质心的纵坐标；对各个试管对应的所述平面点云中全部点的垂直坐标求平均值，得到所述试管对应的平面点云质心的垂直坐标。所述平面点云的质心坐标为相机坐标系下的坐标。
平面点云的质心坐标可表示为
；其中，m是平面点云的质心坐标，pi∈R3是平面点云中的任意一点，N是平面点云中点的个数。
将所述平面点云中全部点到所述平面点云质心的向量以矩阵形式保存，得到各个试管对应的原始矩阵。所述原始矩阵表示为
V＝[v1 v2…vN]；
其中，vi表示平面点云中任一点到所述平面点云质心的向量。
所述分别对各个所述原始矩阵进行处理，得到各个试管对应的试管姿态矩阵，包括：
分别对各个所述原始矩阵进行奇异值分解，得到各个试管对应的第一矩阵；
计算各个所述第一矩阵的特征值，选取所述特征值中的最小特征值，计算所述最小特征值对应的特征向量，将所述特征向量作为所述试管对应的平面点云法向量；
根据各个所述平面点云法向量，得到各个试管的倾斜角度和方向；
对各个试管的所述倾斜角度和所述方向进行计算并以矩阵形式保存，得到各个试管的试管姿态矩阵。
具体地，对所述原始矩阵进行奇异值分解后，原始矩阵表示为
V＝UΣWT；
其中，U∈R3×k，WT∈Rk×n表示正交矩阵，Σ∈Rk×k表示一个矩形对角矩阵。所述第一矩阵为U。平面点云法向量是与U的最小特征值相对应的特征向量。将各个所述平面点云法向量的方向作为各个试管的轴向。
在一种实现方式中，用于估计平面点云法向量的点云来自于第III-B节的试管检测。
得到平面点云法向量后，需要进行姿态估计。姿态估计包括试管的倾斜角度θ∈R，试管的方向γ∈R以及姿态矩阵可根据平面点云法向量得到试管的倾斜角度，试管的方向及姿态矩阵。
具体地，所述平面点云法向量表示为
；
所述试管的倾斜角度θ表示为：
所述试管的方向γ表示为所述试管姿态矩阵/>表示为
各个所述试管在相机坐标系下的试管初始坐标表示为(Xt,Yt)；其中，Xt为所述试管对应的平面点云质心的横坐标，Yt为所述试管对应的平面点云质心的纵坐标。将各个所述试管初始坐标转换为世界坐标，得到各个试管的试管坐标将各个所述试管坐标存储为各个试管位置信息。
在一种实现方式中，所述根据所述试管姿态信息调整夹爪的当前姿态，包括：
将所述试管姿态矩阵和预设外参矩阵相乘，得到夹爪姿态矩阵；
根据所述夹爪姿态矩阵调整夹爪的当前姿态。
具体地，所述试管姿态矩阵是在相机坐标系下的矩阵，需要转换成世界坐标系下的矩阵来调整夹爪的当前姿态。将试管姿态矩阵和预设的相机外参矩阵相乘，得到了夹爪姿态矩阵。所述夹爪姿态矩阵的公式为
其中，所述是相机的预设参矩阵，用于将试管姿态矩阵从相机坐标转换为世界坐标。本发明通过根据试管的姿态信息调整夹爪的当前姿态，将抓取推理的搜索空间缩小到特定的姿态，提高了抓取试管的通用性和工作效率。
在一种实现方式中，所述根据所述试管姿态信息调整夹爪的当前姿态之前，还包括：
获取夹爪的预设初始姿态，以所述预设初始姿态作为夹爪的当前姿态。
具体地，以所述预设初始姿态作为夹爪的当前姿态，后续获取到所述夹爪姿态矩阵后，对夹爪的当前姿态进行调整，以和试管的姿态相匹配。
在一种实现方式中，所述根据所述试管姿态信息调整夹爪的当前姿态之后，还包括：
根据所述夹爪姿态矩阵、目标试管坐标、夹爪长度矩阵得到末端执行器在世界坐标系下的齐次矩阵；
根据所述齐次矩阵调整末端执行器的当前姿态。
具体地，所述齐次矩阵的表示为
其中，所述Lgripper为夹爪长度矩阵，表示为Lgripper＝[0 0l]，l为夹爪的长度。
在一种实现方式中，所述试管的抓取控制方法还包括如下步骤：
步骤C1、对所述深度图像进行处理，得到目标试管架顶层对应的顶层深度图像，对所述顶层深度图像进行处理，得到所述目标试管架的试管架轮廓，对所述试管架轮廓进行处理，得到试管架轮廓内各个试管孔角点的坐标；
步骤C2、根据全部所述试管孔角点的坐标得到试管架信息。
具体地，利用直通滤波器对所述深度图像进行处理，得到目标试管架顶层对应的顶层深度图像，利用中值滤波器对所述顶层深度图像去除椒盐噪声，得到第二顶层深度图像；利用坎尼边缘检测(Canny)对所述第二顶层深度图像进行轮廓识别，得到所述目标试管架的试管架轮廓。
所述对所述试管架轮廓进行处理，得到试管架轮廓内各个试管孔角点的坐标，包括：
利用霍夫变换算法(Hough)对所述试管架轮廓中的直线进行检测，得到试管架轮廓内各个试管孔边缘对应的多条直线；利用Harris角点检测方法(Harris Corner)提取全部所述直线之间的交点；利用基于密度的聚类算法(DBSCAN)对全部所述交点进行聚类，得到每个试管孔对应的四个聚类簇；其中，所述聚类簇表示为计算每个聚类簇中全部点的坐标平均值，可得到每个聚类簇的聚类簇中心坐标/>将所述聚类簇中心作为所述试管孔的角点。
请参考图4，图4是对所述深度图像进行处理后得到的试管架示意图。由于每个试管孔边缘提取了多条直线，多条直线之间有多个交点，利用基于密度的聚类算法对全部所述交点进行聚类，得到每个试管孔对应的四个聚类簇，将每个聚类簇中心作为所述试管孔的试管孔角点。
本发明通过对深度图像进行处理，得到了每个试管孔对应的四个聚类簇，既每个试管孔对应的四个角点，可精准的用于后续的试管架信息估计，提高了试管抓取的精确性，进一步提高了试管抓取的效率。
在一种实现方式中，所述根据全部所述试管孔角点的坐标得到试管架信息，包括：
计算全部所述试管孔角点中任意两个试管孔角点之间的距离，当所述距离在预设范围内时，将所述距离对应的两个试管孔角点作为所述试管孔的对角点；
当全部试管孔角点中任意两个试管孔角点之间的距离计算完成后，得到相机坐标系下各个所述试管孔的初始坐标；
根据各个所述试管孔的初始坐标，得到目标试管架的初始坐标；
对各个所述试管孔的初始坐标进行世界坐标转化，得到各个试管孔的最终坐标，对所述目标试管架的初始坐标进行世界坐标转化，得到目标试管架的最终坐标，将所述目标试管架的最终坐标和各个所述试管孔的最终坐标保存为试管架信息。
具体地，计算全部试管孔角点中任意两个试管孔角点之间的距离，所述距离的公式为：
；其中，和/>分别是任意角点Cp的坐标和任意角点Cq的坐标。
对各个所述试管孔的初始坐标进行世界坐标转化，得到各个试管孔的最终坐标将所述目标试管架的初始坐标转换为世界坐标，得到目标试管架的最终坐标/>
本发明中根据所述全部试管孔角点坐标得到所述目标试管架的试管架信息，使得无论试管架不受位置的限制，只要在深度相机下方，即可计算出目标试管架的位置和试管架内各个试管孔的位置，提高了试管抓取的通用性，同时使用聚类簇中心坐标(即试管孔角点坐标)可精准的得到目标试管架的试管架信息，提高了试管抓取的精度，进而进一步提升了试管抓取的效率。
各个所述试管孔的在相机坐标系下的坐标表示为其中，
和/>是任意一个试管孔的对角点坐标。
试管孔的初始坐标包括横坐标和纵坐标。由对所述试管孔对应的对角点的横坐标求平均值，以及对所述试管孔对应的对角点的横坐标求平均值，得到所述试管孔的初始坐标。
在一种实现方式中，所述根据各个所述试管孔的初始坐标，得到目标试管架的初始坐标，包括：
根据各个所述试管孔的初始坐标，将所述目标试管架中全部所述试管孔进行位置编号，得到各个所述试管孔的位置序号；
将所述位置序号中排序在第一位的试管孔作为第一试管孔，将位置序号中排序在最后一位的试管孔作为第二试管孔，获取所述第一试管孔的初始坐标和所述第二试管孔的初始坐标；
根据所述第一试管孔的初始坐标和所述第二试管孔的初始坐标，得到所述目标试管架的初始坐标；
其中，所述第一试管孔和所述第二试管孔为所述目标试管架的对角点。
具体地，所述目标试管架的初始坐标表示为(Xr,Yr)，其中，(u1,v1)为第一试管孔的坐标，(u-1,v-1)为第二试管孔的坐标。
目标试管架的初始坐标包括横坐标和纵坐标。由对所述第一试管孔的横坐标和所述第二试管孔的横坐标求平均值，以及对所述第一试管孔的纵坐标和所述第二试管孔的纵坐标求平均值，得到目标试管架的初始坐标。
本发明通过各个所述试管孔的初始坐标，得到目标试管架的坐标，使得试管架的位置不受模板的限制，无论放置在何种位置都可以计算得到目标试管架的坐标，提高了抓取试管的通用性，方便了后续的路径规划。由于本发明中的夹爪可以根据试管的姿态信息和试管的位置信息调整当前姿态，故可以准确的抓取任意姿态的试管，提高了试管抓取的效率和通用性。
如图1所示，所述试管的抓取控制方法还包括如下步骤：
步骤S200、获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径。
具体地，获取目标试管的试管坐标和所述目标试管所在的试管架的坐标，根据世界坐标系下的所述试管坐标和所述试管架坐标进行路径规划，得到目标路径。本发明根据试管坐标和试管架坐标进行路径规划，可有效的对试管进行精准的抓取，提高了试管抓取的效率。
在一种实现方式中，所述目标路径由所述试管坐标、所述试管架坐标和预设的目标试管孔坐标所得。
具体地，预设的目标试管孔用于抓取试管后进行放置。
如图1所示，所述试管的抓取控制方法还包括如下步骤：
步骤S300、控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。
具体地，本发明中进行抓取的机械设备包括夹爪和机械臂；所述机械臂包含了末端执行器，所述末端执行器位于所述机械臂末端，所述夹爪和所述末端执行器相连。控制机械臂上的夹爪沿所述目标路径移动，维持末端执行器的当前姿态，并以夹爪的所述当前姿态对所述目标试管进行抓取，其中，所述夹爪的轴向和目标试管的轴向一致。本发明通过控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取，使得可精准的抓取试管，提高了抓取试管的效率。
在一种实现方式中，对所述目标试管抓取之后沿着目标路径移动，将所述目标试管垂直放置于预设的目标试管孔内。
为了验证本发明中试管的抓取控制方法的通用性和高效率，选取了现有技术中的试管抓取装置作为对比装置进行比对，用两个实验说明本发明装置和对比装置试管抓取的成功率和不同模块的执行时间。
在本次比对中，本发明在一个基于视觉的机器人操作系统中进行，该系统由一根UR3e机械臂、一套两指平行夹爪(Robotiq)、一台1920×1200分辨率的3D相机(Mech EyeLOG M Industrial)和一台带有Ubuntu 20.04LTS的PC(CPU：Intel Core i911900K，内存：32GB)组成。所述3D相机位于固定位置，置于机械臂和试管架上方，且与所述PC相连接。所述机械臂连接于所述PC，所述机械臂包含末端执行器，所述末端执行器位于机械臂末端，所述夹爪位于所述末端执行器上。
首先，定义机器人若可以拿起目标试管并将其放入目标试管架中的目标试管孔内，则试管分拣任务成功完成。然后，将试管分别以垂直和随机姿态分布在试管架上。本发明装置可对任意姿态的试管进行抓取。
当准备工作完成后，本发明装置和对比装置分别进行试管分拣任务，在通用性的比对中，如表1所示，一共进行了35次垂直姿态试管分拣任务，本发明装置成功率为100％，对比装置成功率为91.4％。一共进行了多次随机姿态的试管分拣任务，本发明装置成功率为96.6％，对比装置为0％。因为对比装置使用模板匹配来获得试管的姿态，其假设真实试管的姿态与预存模板相同，但现实情况下随机姿态的试管和预存模板并不相同。显然，本发明的系统在分拣试管的任务中更通用。
| 装置 | 垂直姿态 | 随机姿态 |
| 本发明装置 | 100％ | 96.6％ |
| 对比装置 | 91.4％ | 0％ |
表1
在抓取试管效率的比对中，对本发明装置和对比装置在感知和抓取推理所花费的时间上进行了10次评估。检测试管架上的目标试管孔的时间从获取深度图像的时刻开始计算直到获得目标试管孔的位置。姿态估计的时间是从获得全部试管的点云开始到获得目标试管的姿态结束来进行评估的。同样，推理所需的时间是从获得目标试管姿态的时间到获得夹爪最终姿态的时间进行计算的。10次评估各系统时间的平均值如表2所示。本发明装置只需5.39秒即可完成目标试管孔的检测，花费3.62秒即可完成目标试管姿态的估计。因为夹爪的姿态是根据估计的试管姿态自适应调整的，因此不需花费任何时间进行抓取推理。但对比装置由于存在巨大的搜索空间，它需要6.38秒进行目标试管孔的检测以及需要8.26秒进行抓取推理。对比装置的试管分类网络尚未公布，因此对比装置在姿态估计上的时间成本不进行评估。
| 装置 | 定位目标试管孔位置时间 | 姿态估计时间 | 抓取推理时间 |
| 本发明装置 | 5.39 | 3.62 | 0 |
| 对比装置 | 6.38 | × | 8.26 |
表2
总的来说，在10次操作中，本发明装置在感知和抓取推理所花费的时间平均为9.01秒，而对比装置平均花费了14.64秒，本发明装置在感知和抓取推理上效率提高了38.46％。
本发明利用几何原理提高试管抓取的通用性和效率，提出了一种结合视觉和深度的角点定位方法来检测所述目标试管架的位置和所述目标试管架上全部试管孔的位置；对于抓取推理，末端执行器的姿态和夹爪姿态可以通过估计的试管姿态进行自适应调整，有效提高了试管抓取的通用性和效率。
在一种实现方式中，如图5所示，基于上述试管的抓取控制方法，本发明还相应提供了一种试管的抓取控制装置，包括：
姿态调整模块100，用于获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；
路径生成模块200，用于获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；
试管抓取模块300，用于控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。
在一种实现方式中，本发明还相应提供了一种终端，如图6所示，包括：存储器20、处理器10及存储在所述存储器20上并可在所述处理器10上运行的试管的抓取控制程序30，所述试管的抓取控制程序30被所述处理器10执行时实现如上所述的试管的抓取控制方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的试管的抓取控制方法的步骤。
综上所述，本发明提供一种试管的抓取控制方法，所述方法包括：获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。本发明根据目标试管的试管姿态信息调整夹爪的当前姿态，根据试管架信息和试管位置信息进行路径规划，提高了抓取试管的通用性和效率。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种试管的抓取控制方法，其特征在于，所述方法包括：
获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；
获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；
控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取；
所述获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态之前，还包括：
获取深度图像；
对所述深度图像进行处理，将所述试管架作为目标试管架，得到目标试管架内各个试管对应的试管盖点云，对各个所述试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息；
其中，所述深度图像由深度相机拍摄所述目标试管架所得；
所述对所述深度图像进行处理，将所述试管架作为目标试管架，得到所述目标试管架内各个试管对应的试管盖点云，对各个所述试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息，包括：
采用深度滤波器对所述深度图像进行提取，得到所述目标试管架对应的顶层深度图像，将所述顶层深度图像保存为RGB格式，得到所述目标试管架对应的第一图像，对所述深度图像和所述第一图像进行处理，得到所述目标试管架对应的第一点云，对所述第一点云进行筛选和聚类，得到所述目标试管架内各个试管对应的试管盖点云，获取各个所述试管盖点云中的外环点云，对各个所述外环点云进行拟合平面，得到各个试管对应的平面点云；
获取各个试管对应的平面点云质心的坐标，计算各个试管对应的所述平面点云中全部点到所述平面点云质心的向量，将各个试管对应的所述向量以矩阵形式保存，得到各个试管对应的原始矩阵，分别对各个所述原始矩阵进行处理，得到各个试管对应的试管姿态矩阵，将各个所述试管姿态矩阵存储为各个试管对应的试管姿态信息；
根据各个所述平面点云质心的坐标得到各个试管在相机坐标系下对应的试管初始坐标，将各个所述试管初始坐标进行世界坐标转化，得到各个试管的试管位置信息；
其中，每个试管的所述试管初始坐标的横坐标为所述试管对应的平面点云质心的横坐标，每个试管的所述试管初始坐标的纵坐标为所述试管对应的平面点云质心的纵坐标。
2.根据权利要求1所述的试管的抓取控制方法，其特征在于，所述根据所述试管姿态信息调整夹爪的当前姿态，包括：
将所述试管姿态矩阵和预设外参矩阵相乘，得到夹爪姿态矩阵；
根据所述夹爪姿态矩阵调整夹爪的当前姿态。
3.根据权利要求1所述的试管的抓取控制方法，其特征在于，所述方法还包括：
对所述深度图像进行处理，得到目标试管架顶层对应的顶层深度图像，对所述顶层深度图像进行处理，得到所述目标试管架的试管架轮廓，对所述试管架轮廓进行处理，得到试管架轮廓内各个试管孔角点的坐标；
根据全部所述试管孔角点的坐标得到试管架信息。
4.根据权利要求3所述的试管的抓取控制方法，其特征在于，所述根据全部所述试管孔角点的坐标得到试管架信息，包括：
计算全部所述试管孔角点中任意两个试管孔角点之间的距离，当所述距离在预设范围内时，将所述距离对应的两个试管孔角点作为所述试管孔的对角点；
当全部试管孔角点中任意两个试管孔角点之间的距离计算完成后，得到相机坐标系下各个所述试管孔的初始坐标；
根据各个所述试管孔的初始坐标，得到目标试管架的初始坐标；
对各个所述试管孔的初始坐标进行世界坐标转化，得到各个试管孔的最终坐标，对所述目标试管架的初始坐标进行世界坐标转化，得到目标试管架的最终坐标，将所述目标试管架的最终坐标和各个所述试管孔的最终坐标保存为试管架信息。
5.根据权利要求4所述的试管的抓取控制方法，其特征在于，所述根据各个所述试管孔的初始坐标，得到目标试管架的初始坐标，包括：
根据各个所述试管孔的初始坐标，将所述目标试管架中全部所述试管孔进行位置编号，得到各个所述试管孔的位置序号；
将所述位置序号中排序在第一位的试管孔作为第一试管孔，将位置序号中排序在最后一位的试管孔作为第二试管孔，获取所述第一试管孔的初始坐标和所述第二试管孔的初始坐标；
根据所述第一试管孔的初始坐标和所述第二试管孔的初始坐标，得到所述目标试管架的初始坐标；
其中，所述第一试管孔和所述第二试管孔为所述目标试管架的对角点。
6.一种试管的抓取控制装置，其特征在于，包括：
姿态调整模块，用于获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态；
所述获取目标试管的试管姿态信息，根据所述试管姿态信息调整夹爪的当前姿态之前的步骤，还包括：
获取深度图像；
对所述深度图像进行处理，将所述试管架作为目标试管架，得到目标试管架内各个试管对应的试管盖点云，对各个所述试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息；
其中，所述深度图像由深度相机拍摄所述目标试管架所得；
所述对所述深度图像进行处理，将所述试管架作为目标试管架，得到所述目标试管架内各个试管对应的试管盖点云，对各个所述试管盖点云进行处理，得到各个试管对应的试管姿态信息和试管位置信息的步骤，包括：
采用深度滤波器对所述深度图像进行提取，得到所述目标试管架对应的顶层深度图像，将所述顶层深度图像保存为RGB格式，得到所述目标试管架对应的第一图像，对所述深度图像和所述第一图像进行处理，得到所述目标试管架对应的第一点云，对所述第一点云进行筛选和聚类，得到所述目标试管架内各个试管对应的试管盖点云，获取各个所述试管盖点云中的外环点云，对各个所述外环点云进行拟合平面，得到各个试管对应的平面点云；
获取各个试管对应的平面点云质心的坐标，计算各个试管对应的所述平面点云中全部点到所述平面点云质心的向量，将各个试管对应的所述向量以矩阵形式保存，得到各个试管对应的原始矩阵，分别对各个所述原始矩阵进行处理，得到各个试管对应的试管姿态矩阵，将各个所述试管姿态矩阵存储为各个试管对应的试管姿态信息；
根据各个所述平面点云质心的坐标得到各个试管在相机坐标系下对应的试管初始坐标，将各个所述试管初始坐标进行世界坐标转化，得到各个试管的试管位置信息；
其中，每个试管的所述试管初始坐标的横坐标为所述试管对应的平面点云质心的横坐标，每个试管的所述试管初始坐标的纵坐标为所述试管对应的平面点云质心的纵坐标；
路径生成模块，用于获取目标试管的试管位置信息以及所述目标试管所在的试管架对应的试管架信息，根据所述试管位置信息和所述试管架信息进行路径规划，得到目标路径；
试管抓取模块，用于控制夹爪沿所述目标路径移动，并以夹爪的所述当前姿态对所述目标试管进行抓取。
7.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的试管的抓取控制程序，所述的试管的抓取控制程序被所述处理器执行时实现如权利要求1～5任意一项所述的试管的抓取控制方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1～5任意一项所述的试管的抓取控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310793442.5A CN116572253B (zh) | 2023-06-29 | 2023-06-29 | 一种试管的抓取控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310793442.5A CN116572253B (zh) | 2023-06-29 | 2023-06-29 | 一种试管的抓取控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116572253A CN116572253A (zh) | 2023-08-11 |
| CN116572253B true CN116572253B (zh) | 2024-02-20 |
Family
ID=87545544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310793442.5A Active CN116572253B (zh) | 2023-06-29 | 2023-06-29 | 一种试管的抓取控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116572253B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902781A (zh) * | 2021-10-18 | 2022-01-07 | 深圳追一科技有限公司 | 三维人脸重建方法、装置、设备及介质 |
| CN115446837A (zh) * | 2022-09-21 | 2022-12-09 | 中国电子口岸数据中心北京分中心 | 面向海关采样工作的机器人双机械臂协同工作方法和装置 |
| CN115511935A (zh) * | 2022-10-27 | 2022-12-23 | 南昌大学 | 基于迭代离散化与线性插值的正态分布变换点云配准方法 |
| CN115861999A (zh) * | 2022-09-30 | 2023-03-28 | 西北工业大学 | 一种基于多模态视觉信息融合的机器人抓取检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7508350B2 (ja) * | 2020-12-04 | 2024-07-01 | 株式会社日立製作所 | キャリブレーション装置およびキャリブレーション方法 |
-
2023
- 2023-06-29 CN CN202310793442.5A patent/CN116572253B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902781A (zh) * | 2021-10-18 | 2022-01-07 | 深圳追一科技有限公司 | 三维人脸重建方法、装置、设备及介质 |
| CN115446837A (zh) * | 2022-09-21 | 2022-12-09 | 中国电子口岸数据中心北京分中心 | 面向海关采样工作的机器人双机械臂协同工作方法和装置 |
| CN115861999A (zh) * | 2022-09-30 | 2023-03-28 | 西北工业大学 | 一种基于多模态视觉信息融合的机器人抓取检测方法 |
| CN115511935A (zh) * | 2022-10-27 | 2022-12-23 | 南昌大学 | 基于迭代离散化与线性插值的正态分布变换点云配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116572253A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246127A (zh) | 基于深度相机的工件识别与定位方法和系统、分拣系统 | |
| CN111775152A (zh) | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 | |
| CN110378325B (zh) | 一种机器人抓取过程中的目标位姿识别方法 | |
| CN111251295A (zh) | 一种应用于参数化零件的视觉机械臂抓取方法及装置 | |
| CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
| CN112509063A (zh) | 一种基于边缘特征匹配的机械臂抓取系统及方法 | |
| CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
| CN110796700B (zh) | 基于卷积神经网络的多物体抓取区域定位方法 | |
| CN113496525A (zh) | 通过2d相机的3d姿态估计 | |
| CN116061187B (zh) | 一种复合机器人对货架商品识别、定位和抓取方法 | |
| CN113269723A (zh) | 三维视觉定位与机械手协同工作的零部件无序抓取系统 | |
| CN115070781B (zh) | 一种物体抓取方法及双机械臂协作系统 | |
| Lambrecht | Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection | |
| Ma et al. | Binocular vision object positioning method for robots based on coarse-fine stereo matching | |
| Sun et al. | Robotic grasping using semantic segmentation and primitive geometric model based 3D pose estimation | |
| CN111681268A (zh) | 光学标记点序号误识别检测方法、装置、设备及存储介质 | |
| CN114092428A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| CN114037595A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| CN113496526A (zh) | 通过多个2d相机的3d姿态检测 | |
| CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
| CN113538576A (zh) | 基于双臂机器人的抓取方法、装置及双臂机器人 | |
| CN113496524A (zh) | 通过深度学习和矢量场估计的特征检测 | |
| CN116572253B (zh) | 一种试管的抓取控制方法及装置 | |
| CN116188540A (zh) | 一种基于点云信息的目标识别和位姿估计方法 | |
| CN115319739A (zh) | 一种基于视觉机械臂抓取工件方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |