CN113084808B - 一种基于单目视觉的移动机械臂2d平面抓取方法 - Google Patents
一种基于单目视觉的移动机械臂2d平面抓取方法 Download PDFInfo
- Publication number
- CN113084808B CN113084808B CN202110360859.3A CN202110360859A CN113084808B CN 113084808 B CN113084808 B CN 113084808B CN 202110360859 A CN202110360859 A CN 202110360859A CN 113084808 B CN113084808 B CN 113084808B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- mechanical arm
- pose
- marker
- image coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000003550 marker Substances 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000013519 translation Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 39
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Abstract
本发明公开了基于单目视觉的移动机械臂2D平面抓取方法，该方法包括以下步骤：标定相机内参；标定手眼关系；建立机械臂的标准拍照位姿和标准抓取位姿；使用基于形状的模板匹配方法识别标志物；通过视觉伺服原理求解AGV的旋转角度；计算AGV移动后机械臂的新抓取位姿。该系统的装置包括AGV移动机器人、安装在AGV上的6自由度机械臂、安装在机械臂末端的单目相机和夹爪、位置固定的待抓取物体、设置在待抓取物旁的标志物。本发明通过识别与定位标志物来计算抓取位姿，识别精度高，稳定性强，可适用于不同形状和纹理的工件；同时，本发明将三维场景退化为二维，简化了问题的复杂度和计算过程。
Description
技术领域
本发明涉及移动机械臂工件抓取领域，尤其涉及一种基于单目视觉的移动机械臂2D平面抓取方法。
背景技术
移动机械臂结合了自动导航小车的大范围行动能力和机械臂的高效作业能力，打破了固有的流水线作业方式，提升了生产线的柔性，被广泛应用于抓取、焊接、救援、搬运等工作。但由于自动导航小车定位精度低，给机械臂的抓取任务引入了偏差，因此研究一种基于机器视觉技术的移动机械臂抓取方法具有重要意义。
在移动机械臂研究方面，将自动导航小车与工业机器人结合是设计移动机械臂的一种便捷方式。VENATOR E等人将ABB的电动轮椅和ABB的工业机器人集成，设计了一款用于抓取、搬运的移动机械臂，MADSEN O等将移动平台与KUKA机器人集成，设计了一款用于装配转子的移动机械臂。在视觉定位方面，传统方法直接对抓取目标进行识别与定位。ANH和SONG基于SURF算法在图像特定区域检测特征点，在杂乱环境下能够准确抓取物体。YANG Y等用基于SIFT特征点匹配的目标识别法实现了机械手的目标物体抓取。GUO Q等通过检测边缘与角点实现了长方形工件的识别与定位。总体来说，直接对抓取目标进行识别与定位的方法，易受环境影响产生误匹配，稳定性差；受抓取物形状、颜色和体积等限制；匹配难度大，计算时间长。
本发明通过对标志物进行模板匹配来间接定位抓取物，计算量小，稳定性强，可抓取多种类型的物体。本发明将三维场景退化为二维，简化了问题的复杂度和计算过程。同时使用了视觉伺服的原理多次旋转机械臂末端，有效提高了模板匹配的精度。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的问题是自主导航小车定位精度低，使用视觉识别定位难度大、稳定性差、受工件形状、颜色等因素限制的问题。
为实现上述目的，本发明提供了一种基于单目视觉的移动机械臂2D平面抓取方法，包括如下步骤：
步骤1、标定相机内参，标定手眼关系；
步骤2、建立机械臂的标准抓取位姿；
步骤3、保持机械臂末端坐标系的z轴与基坐标系的z轴平行，建立机械臂的标准拍照位姿；
步骤4、在标准拍照位姿下获取一幅图片，针对标志物创建ROI，采用Canny边缘检测算法对ROI进行边缘提取，制作匹配的模板；
步骤5、AGV位置固定不动，机械臂的末端沿基坐标系的x轴或y轴平移一定距离后重新获取一幅图片，计算图像坐标系下标志物的平移量；
步骤6、计算步骤5中所述标志物的真实平移量和标志物在图像中投影的平移量的比值；
步骤7、根据步骤1中的所述相机内参和手眼关系及步骤3中所述机械臂的标准拍照位姿，求解拍照时图像坐标系到基坐标系的位姿变换矩阵；
步骤8、根据步骤2中所述机械臂的标准抓取位姿和步骤7中所述图像坐标系到基坐标系的位姿变换矩阵，求解抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵；
步骤9、机械臂保持标准拍照位姿，移动AGV到新的位置后重新获取一幅图片，结合步骤4中所述模板进行模板匹配，根据步骤6中的所述比值计算标志物相对于模板的平移量旋转角度；
步骤10、根据步骤9的计算结果，将机械臂基座沿z轴旋转步骤9中所述平移量旋转角度相同的角度，拍摄一幅图片，重新计算标志物相对于模板的旋转角度；
步骤11、若步骤10计算出的所述旋转角度的绝对值小于阈值，计算总的旋转角度，并结合步骤9中图像坐标系下标志物的平移量，得到图像坐标系的位姿变换矩阵；若步骤10计算出的所述旋转角度的绝对值大于阈值，则将绝对值大于阈值的所述旋转角度代替步骤9中的所述平移量旋转角度，重复步骤10；
步骤12、根据步骤7中所述拍照时图像坐标系到基坐标系的位姿变换矩阵、步骤8中所述抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵和步骤11中所述图像坐标系的位姿变换矩阵，求解机械臂新的抓取位姿；
步骤13、方法验证。
进一步地，步骤1中采用张正友标定方法，标定板为圆点标定板，获得所述相机内参如下：
式中f是工业相机焦距，dx是像素横向比例，dy是像素纵向比例，u0、v0是图像的主点坐标；
图像坐标系到像素坐标系的坐标变换矩阵如下：
相机坐标系到图像坐标系的坐标变换矩阵如下：
进一步地，步骤5中通过基于形状的模板匹配方法，得到标志物中心点的平移量，并将其变换在图像坐标系中，得到所述图像坐标系下标志物的平移量：
式中Δu＝u-u0，Δv＝v-v0，[u0,v0]为所述模板位置所述标志物中心点的像素坐标，[u,v]为所述机械臂末端平移后所述标志物中心点的像素坐标，Δx、Δy为所述图像坐标系下标志物中心点的平移量。
进一步地，步骤6中所述标志物的真实平移量和所述标志物在图像中投影的平移量的比值计算公式如下：
式中Δl为所述机械臂末端在所述基坐标系下的平移量。
进一步地，步骤7中计算得到的所述拍照时图像坐标系到基坐标系的位姿变换矩阵如下：
式中，为拍照时机械臂末端坐标系到所述基坐标系的坐标变换矩阵；/>通过手眼标定获得。
进一步地，步骤8中计算所述抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵如下：
式中，为抓取时机械臂末端坐标系到基坐标系的坐标变换矩阵；/>为未知量。
进一步地，步骤11中所述图像坐标系下标志物的平移量如下：
式中Δu1＝u1-u0，Δv1＝v1-v0，[u0,v0]为模板位置标志物中心点的像素坐标，[u1,v1]为AGV移动后标志物中心点的像素坐标，Δx1，Δy1为图像坐标系下标志物中心点的平移量。
进一步地，步骤11中所述图像坐标系的平移量如下：
所述图像坐标系的旋转量如下：
θ＝-(θ1+θ2+…+θm)；
式中θi表示步骤10中所述机械臂第i次旋转的旋转角度，m表示所述机械臂的旋转次数；
所述图像坐标系的位姿变换矩阵如下：
进一步地，步骤12中所述机械臂新的抓取位姿如下：
进一步地，所述相机和夹爪固定在所述机械臂末端，故所述图像坐标系和所述基坐标系，TCP(夹爪)坐标系和所述机械臂末端坐标系的相对位置关系保持不变，即步骤12中所述机械臂新的抓取位姿化简为如下形式：
与现有技术相比，本发明至少具有如下有益技术效果：
(1)本发明提出的基于单目视觉的移动机械臂2D平面抓取方法，将机械臂固定在AGV(Automated Guided Vehicle)上、相机固定在机械臂末端，结合了自动导航小车的大范围行动能力和机械臂的高效作业能力，可以提升生产线的柔性和自主性。相比于直接在桌面上平移标志物，平移机械臂末端操作简便、平移量易控制，同时避免了由于桌面不水平造成相机光心到标志物中心垂直高度变化而引入误差的问题。
(2)本发明提出的基于单目视觉的移动机械臂2D平面抓取方法，建立了AGV的位移计算模型，并使用视觉伺服原理准确计算AGV相对于基准位姿的旋转量，实现高精度的AGV视觉定位。同时，使用视觉伺服原理多次旋转机械臂末端，直到标志物相对于模板的旋转角度满足阈值要求，有效减小了模板匹配的误差。
(3)本发明提出的基于单目视觉的移动机械臂2D平面抓取方法，通过定位标志物间接定位待抓取物体，计算量小，稳定性强，可适用不同类型的物体。
(4)本发明提出的基于单目视觉的移动机械臂2D平面抓取方法，将三维模型简化为二维，简化了问题的复杂度。
以下将结合附图对本发明地构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明一个较佳实施例的流程图；
图2是本发明一个较佳实施例的标志物图片；
图3是本发明一个较佳实施例的整体结构示意图；
图4是本发明一个较佳实施例的机械臂标准拍照位姿和标准抓取位姿示意图；
图5是本发明一个较佳实施例的匹配模板示意图；
图6是本发明一个较佳实施例的平移机械臂末端的位姿变化示意图；
图7是本发明一个较佳实施例的标志物位移计算模型示意图；
图8是本发明一个较佳实施例的AGV及机械臂位姿变化示意图。
其中，1-AGV移动机器人，2-机械臂；3-单目工业相机；4-夹爪；5-待抓取物体；6-标志物；OB为基坐标系原点；OF为机械臂在标准拍照姿势的末端坐标系原点；OC为相机坐标系原点；OF0为机械臂在标准抓取姿势的末端坐标系原点；OT0为机械臂在标准抓取姿势的TCP夹爪坐标系原点；OP拍照时图像坐标系原点。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图3所示，本实施例包括AGV移动机器人1、安装在AGV移动机器人1上的6自由度机械臂2、安装在机械臂2末端的单目工业相机3和夹爪4，以及位置固定的待抓取物体5和设置在待抓取物旁的标志物6。
如图1所示，本实施例包括如下步骤：
步骤一，使用张正友标定方法，保持圆点标定板不动，改变AGV移动机器人1位形采集15～20副标定板图像；得到单目工业相机3的内部参数：
式中f是单目工业相机3的焦距，dx是像素横向比例，dy是像素纵向比例，u0、v0是图像的主点坐标。
图像坐标系到像素坐标系的坐标变换矩阵如下：
相机坐标系到图像坐标系的坐标变换矩阵如下：
手眼关系的标定结果如下所示：
步骤二，如图4所示，建立机械臂2的标准抓取位姿，结果如下所示：
步骤三，如图4所示，保持机械臂2末端坐标系的z轴与基坐标系的z轴平行，建立机械臂2的标准拍照位姿：
步骤四，在标准拍照位姿下获取一幅图片，针对标志物创建ROI(Region OfInterest)，采用Canny边缘检测算法对ROI进行边缘提取，制作如图5所示的模板。
步骤五，如图6所示，AGV位置固定不动，机械臂2末端沿基坐标的x轴或y轴平移一定距离，重新获取一幅图片。结合步骤四获得的图片，通过基于形状的模板匹配方法得到像素坐标系下标志物中心点的平移量，将其变换在图像坐标系中，得到图像坐标系下标志物的平移量
步骤六，根据图7所示的计算模型，计算步骤五中标志物真实平移量和标志物在图像中投影的平移量/>的比值：
步骤七，根据步骤一中相机坐标系到图像坐标系的坐标变换矩阵、手眼关系和步骤三中机械臂2的标准拍照位姿，求解拍照时图像坐标系到基坐标系的位姿变换矩阵:
步骤八，根据步骤二中机械臂2的标准抓取位姿和步骤七中拍照时图像坐标系到基坐标系的位姿变换矩阵，求解抓取时机械臂2末端坐标系到拍照时的图像坐标系的位姿变换矩阵：
步骤九，机械臂2保持标准拍照位姿，移动AGV到新的位置后重新获取一幅图片，结合步骤四中的模板进行模板匹配，根据步骤六中的比值0.06903，计算标志物6相对于模板的旋转角度θ1为4.13°；
步骤十，根据步骤九的计算结果，将机械臂2基座沿z轴旋转相同角度即4.13°，拍摄一幅图片，重新计算标志物6的旋转角度θ2为0.11°；
步骤十一，若步骤十计算出的旋转角度的绝对值小于阈值，计算总的旋转角度，并结合步骤九中图像坐标系下标志物的平移量得到图像坐标系间的位姿变换矩阵；若旋转角度的绝对值大于阈值，则将绝对值大于阈值的所述旋转角度代替步骤九中的所述平移量旋转角度，重复步骤十。在本实施例中，角度的阈值设置为0.05°，机械臂共旋转2次，如图8所示，图像坐标系的平移量/>计算结果如下：
图像坐标系的旋转量如下：
图像坐标系的位姿变换矩阵如下：
步骤十二，根据步骤七中所述图像坐标系到基坐标系到的位姿变换矩阵、步骤八中所述机械臂2末端坐标系到拍照时图像坐标系的位姿变换矩阵、步骤十一中所述图像坐标系的位姿变换矩阵，求解机械臂2新的抓取位姿。
步骤十三，为了评价和验证本发明的2D平面抓取方法的精度，将AGV平移到10个不同的位置，以计算出的机械臂2抓取位姿为实际位姿，以示教方式精确抓取物体的位姿为理论位姿，计算XY方向的误差，其结果如表1所示。
表1：机械臂2抓取的理论位姿与实际位姿XY方向的误差对比
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (9)
1.一种基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，包括如下步骤：
步骤1、标定相机内参，标定手眼关系；
步骤2、建立机械臂的标准抓取位姿；
步骤3、保持机械臂末端坐标系的z轴与基坐标系的z轴平行，建立机械臂的标准拍照位姿；
步骤4、在标准拍照位姿下获取一幅图片，针对标志物创建ROI，采用Canny边缘检测算法对ROI进行边缘提取，制作匹配的模板；
步骤5、AGV位置固定不动，机械臂的末端沿基坐标系的x轴或y轴平移一定距离后重新获取一幅图片，计算图像坐标系下标志物的平移量；
步骤6、计算步骤5中所述标志物的真实平移量和标志物在图像中投影的平移量的比值；
步骤7、根据步骤1中的所述相机内参和手眼关系及步骤3中所述机械臂的标准拍照位姿，求解拍照时图像坐标系到基坐标系的位姿变换矩阵；
步骤8、根据步骤2中所述机械臂的标准抓取位姿和步骤7中所述图像坐标系到基坐标系的位姿变换矩阵，求解抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵；
步骤9、机械臂保持标准拍照位姿，移动AGV到新的位置后重新获取一幅图片，结合步骤4中所述模板进行模板匹配，根据步骤6中的所述比值计算标志物相对于模板的平移量旋转角度；
步骤10、根据步骤9的计算结果，将机械臂基座沿z轴旋转步骤9中所述平移量旋转角度相同的角度，拍摄一幅图片，重新计算标志物相对于模板的旋转角度；
步骤11、若步骤10计算出的所述旋转角度的绝对值小于阈值，计算总的旋转角度，并结合步骤9中图像坐标系下标志物的平移量，得到图像坐标系的位姿变换矩阵；若步骤10计算出的所述旋转角度的绝对值大于阈值，则将绝对值大于阈值的所述旋转角度代替步骤9中的所述平移量旋转角度，重复步骤10；
步骤12、根据步骤7中所述拍照时图像坐标系到基坐标系的位姿变换矩阵、步骤8中所述抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵和步骤11中所述图像坐标系的位姿变换矩阵，求解机械臂新的抓取位姿；
步骤13、方法验证。
2.如权利要求1所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤1中采用张正友标定方法，标定板为圆点标定板，获得所述相机内参如下：
式中f是工业相机焦距，dx是像素横向比例，dy是像素纵向比例，u0、v0是图像的主点坐标；
图像坐标系到像素坐标系的坐标变换矩阵如下：
相机坐标系到图像坐标系的坐标变换矩阵如下：
3.如权利要求2所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤5中通过基于形状的模板匹配方法，得到标志物中心点的平移量，并将其变换在图像坐标系中，得到所述图像坐标系下标志物的平移量：
式中Δu＝u-u0，Δv＝v-v0，[u0,v0]为所述模板位置所述标志物中心点的像素坐标，[u,v]为所述机械臂末端平移后所述标志物中心点的像素坐标，Δx、Δy为所述图像坐标系下标志物中心点的平移量。
4.如权利要求3所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤6中所述标志物的真实平移量和所述标志物在图像中投影的平移量的比值计算公式如下：
式中Δl为所述机械臂末端在所述基坐标系下的平移量。
5.如权利要求4所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤7中计算得到的所述拍照时图像坐标系到基坐标系的位姿变换矩阵如下：
式中，为拍照时机械臂末端坐标系到所述基坐标系的坐标变换矩阵；/>通过手眼标定获得。
6.如权利要求5所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤8中计算所述抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵如下：
式中，为抓取时机械臂末端坐标系到基坐标系的坐标变换矩阵；/>为未知量。
7.如权利要求6所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤11中所述图像坐标系下标志物的平移量如下：
式中Δu1＝u1-u0，Δv1＝v1-v0，[u0,v0]为模板位置标志物中心点的像素坐标，[u1,v1]为AGV移动后标志物中心点的像素坐标，Δx1，Δy1为图像坐标系下标志物中心点的平移量。
8.如权利要求7所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤11中所述图像坐标系的平移量如下：
所述图像坐标系的旋转量如下：
θ＝-(θ1+θ2+…+θm)；
式中θi表示步骤10中所述机械臂第i次旋转的旋转角度，m表示所述机械臂的旋转次数；
所述图像坐标系的位姿变换矩阵如下：
9.根据权利要求8所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤12中所述机械臂新的抓取位姿如下：
所述相机和夹爪固定在所述机械臂末端，所述图像坐标系和所述基坐标系，TCP夹爪坐标系和所述机械臂末端坐标系的相对位置关系保持不变，即步骤12中所述机械臂新的抓取位姿化简为如下形式：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110360859.3A CN113084808B (zh) | 2021-04-02 | 2021-04-02 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110360859.3A CN113084808B (zh) | 2021-04-02 | 2021-04-02 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113084808A CN113084808A (zh) | 2021-07-09 |
| CN113084808B true CN113084808B (zh) | 2023-09-22 |
Family
ID=76673853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110360859.3A Active CN113084808B (zh) | 2021-04-02 | 2021-04-02 | 一种基于单目视觉的移动机械臂2d平面抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113084808B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113526125B (zh) * | 2021-07-28 | 2022-11-22 | 齐鲁工业大学 | 一种基于多标签定位的细胞标本样片搬运系统及方法 |
| CN113643380A (zh) * | 2021-08-16 | 2021-11-12 | 安徽元古纪智能科技有限公司 | 一种基于单目相机视觉标靶定位的机械臂引导方法 |
| CN113653504A (zh) * | 2021-08-18 | 2021-11-16 | 中铁隧道局集团有限公司 | 用于隧道内的中隔墙、其安装设备和安装方法 |
| CN113601158B (zh) * | 2021-08-23 | 2023-06-02 | 深圳职业技术学院 | 基于视觉定位的螺栓上料预拧紧系统及控制方法 |
| CN113800270B (zh) * | 2021-09-17 | 2023-04-28 | 知行高科（北京）科技有限公司 | 一种用于物流拆垛的机器人控制方法及系统 |
| CN114054167B (zh) * | 2021-10-11 | 2023-05-16 | 深圳市中金岭南有色金属股份有限公司凡口铅锌矿 | 一种研磨体的自动添加方法及系统、终端设备 |
| CN114012731B (zh) * | 2021-11-23 | 2023-03-31 | 深圳市如本科技有限公司 | 手眼标定方法、装置、计算机设备和存储介质 |
| CN114378822B (zh) * | 2022-01-19 | 2023-09-01 | 合肥工业大学 | 一种基于视觉的机器人机械臂末端位姿的调整方法 |
| CN114155242B (zh) * | 2022-02-08 | 2022-05-24 | 天津聚芯光禾科技有限公司 | 自动识别方法以及基于该自动识别方法的定位方法 |
| CN114339058B (zh) * | 2022-03-16 | 2022-05-27 | 珞石（北京）科技有限公司 | 一种基于视觉标志的机械臂飞拍定位方法 |
| CN114782533B (zh) * | 2022-04-19 | 2023-05-23 | 常州机电职业技术学院 | 一种基于单目视觉的线缆盘轴位姿确定方法 |
| CN114734444B (zh) * | 2022-04-27 | 2023-06-27 | 博众精工科技股份有限公司 | 一种目标定位方法、装置、电子设备及存储介质 |
| CN114939891B (zh) * | 2022-06-28 | 2024-03-19 | 上海仙工智能科技有限公司 | 一种基于物体平面特征的复合机器人3d抓取方法及系统 |
| CN115319737B (zh) * | 2022-07-12 | 2023-06-27 | 广州里工实业有限公司 | 一种自动化上下料控制方法、系统、装置及存储介质 |
| CN115609591B (zh) * | 2022-11-17 | 2023-04-28 | 上海仙工智能科技有限公司 | 一种基于2D Marker的视觉定位方法和系统、复合机器人 |
| CN115648224A (zh) * | 2022-12-22 | 2023-01-31 | 北京钢铁侠科技有限公司 | 一种基于双深度相机识别定位的机械臂抓取方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450376A (zh) * | 2017-09-09 | 2017-12-08 | 北京工业大学 | 一种基于智能移动平台的服务机械臂抓取姿态角计算方法 |
| CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
| CN111055281A (zh) * | 2019-12-19 | 2020-04-24 | 杭州电子科技大学 | 一种基于ros的自主移动抓取系统与方法 |
| CN111203849A (zh) * | 2020-01-08 | 2020-05-29 | 浙江大学 | 一种移动机器人抓取作业系统及控制方法 |
| CN111300422A (zh) * | 2020-03-17 | 2020-06-19 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
| CN111775146A (zh) * | 2020-06-08 | 2020-10-16 | 南京航空航天大学 | 一种工业机械臂多工位作业下的视觉对准方法 |
| CN112008696A (zh) * | 2020-09-07 | 2020-12-01 | 菲尼克斯(南京)智能制造技术工程有限公司 | 一种基于视觉的工业机器人系统 |
| CN112372641A (zh) * | 2020-08-06 | 2021-02-19 | 北京航空航天大学 | 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法 |
| JP2021024053A (ja) * | 2019-08-07 | 2021-02-22 | 上銀科技股▲分▼有限公司 | 視覚誘導ロボットアームの補正方法 |
-
2021
- 2021-04-02 CN CN202110360859.3A patent/CN113084808B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450376A (zh) * | 2017-09-09 | 2017-12-08 | 北京工业大学 | 一种基于智能移动平台的服务机械臂抓取姿态角计算方法 |
| JP2021024053A (ja) * | 2019-08-07 | 2021-02-22 | 上銀科技股▲分▼有限公司 | 視覚誘導ロボットアームの補正方法 |
| CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
| CN111055281A (zh) * | 2019-12-19 | 2020-04-24 | 杭州电子科技大学 | 一种基于ros的自主移动抓取系统与方法 |
| CN111203849A (zh) * | 2020-01-08 | 2020-05-29 | 浙江大学 | 一种移动机器人抓取作业系统及控制方法 |
| CN111300422A (zh) * | 2020-03-17 | 2020-06-19 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
| CN111775146A (zh) * | 2020-06-08 | 2020-10-16 | 南京航空航天大学 | 一种工业机械臂多工位作业下的视觉对准方法 |
| CN112372641A (zh) * | 2020-08-06 | 2021-02-19 | 北京航空航天大学 | 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法 |
| CN112008696A (zh) * | 2020-09-07 | 2020-12-01 | 菲尼克斯(南京)智能制造技术工程有限公司 | 一种基于视觉的工业机器人系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113084808A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113084808B (zh) | 一种基于单目视觉的移动机械臂2d平面抓取方法 | |
| CN111791227B (zh) | 机器人手眼标定方法、装置及机器人 | |
| CN107160380B (zh) | 一种基于scara机械手的相机标定和坐标变换的方法 | |
| US8095237B2 (en) | Method and apparatus for single image 3D vision guided robotics | |
| CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
| CN108098762A (zh) | 一种基于新型视觉引导的机器人定位装置及方法 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN109794963A (zh) | 一种面向曲面构件的机器人快速定位方法 | |
| CN110148187A (zh) | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 | |
| CN112109072B (zh) | 一种大型稀疏特征托盘精确6d位姿测量和抓取方法 | |
| Lee et al. | High precision hand-eye self-calibration for industrial robots | |
| CN115042175A (zh) | 一种机器人机械臂末端姿态的调整方法 | |
| Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
| CN112598752B (zh) | 基于视觉识别的标定方法及作业方法 | |
| Qi et al. | Hand-eye calibration method of gantry robot based on 3D vision sensor | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| CN113500593B (zh) | 一种抓取轴类工件指定部位进行上料的方法 | |
| CN115409878A (zh) | 一种工件整理归位的ai算法 | |
| JPH02110788A (ja) | ３次元物体の形状認識方法 | |
| Qingda et al. | Workpiece posture measurement and intelligent robot grasping based on monocular vision | |
| US11826919B2 (en) | Work coordinate generation device | |
| Ngo et al. | Development of a Color Object Classification and Measurement System Using Machine Vision. | |
| Wang et al. | Robotic assembly system guided by multiple vision and laser sensors for large scale components | |
| CN116100562B (zh) | 多机器人协同上下料的视觉引导方法及系统 | |
| Shi et al. | Monocular Vision Based Grasping Approach for a Mobile Manipulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210709 Assignee: Shanghai Yingshi Digital Technology Co.,Ltd. Assignor: SHANGHAI INTELLIGENT MANUFACTURING FUNCTION PLATFORM Co.,Ltd. Contract record no.: X2023310000169 Denomination of invention: A 2D plane grasping method for mobile robotic arms based on monocular vision Granted publication date: 20230922 License type: Common License Record date: 20231208 |