CN107767423A - 一种基于双目视觉的机械臂目标定位抓取方法 - Google Patents

一种基于双目视觉的机械臂目标定位抓取方法 Download PDF

Info

Publication number
CN107767423A
CN107767423A CN201710936467.0A CN201710936467A CN107767423A CN 107767423 A CN107767423 A CN 107767423A CN 201710936467 A CN201710936467 A CN 201710936467A CN 107767423 A CN107767423 A CN 107767423A
Authority
CN
China
Prior art keywords
binocular vision
mechanical arm
target object
vision camera
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710936467.0A
Other languages
English (en)
Other versions
CN107767423B (zh
Inventor
王东
贾未
连捷
王振宇
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201710936467.0A priority Critical patent/CN107767423B/zh
Publication of CN107767423A publication Critical patent/CN107767423A/zh
Application granted granted Critical
Publication of CN107767423B publication Critical patent/CN107767423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

本发明涉及机械臂和计算机视觉技术领域，一种基于双目视觉的机械臂目标定位抓取方法，包括以下步骤：(1)安装双目视觉相机和机械臂，(2)矫正双目视觉相机内参，(3)获取目标物体的深度信息，(4)建立图像平面坐标系和双目视觉相机坐标系，(5)计算目标物体在机械臂坐标中的空间位置，(6)计算机械手的抓取姿态，(7)发送控制信息。与已有技术相比，本发明具有以下优点：一、识别物体方法简单，计算量相对较少，满足对实时抓取的时间要求；二、可避免出现像传统机械臂所采用的示教系统，当目标物体的姿态与理想姿态存在细微差别时，机械臂系统无法正常工作的问题。

Description

一种基于双目视觉的机械臂目标定位抓取方法
技术领域
本发明涉及一种基于双目视觉的机械臂目标定位抓取方法，属于机械臂和计算机视觉技术领域。
背景技术
十九世纪五十年代末随着世界第一台工业机器人的诞生，人们采用机器人代替人类繁重劳动的梦想就没有停止过。其中自主抓取能力成为机器人智能化程度高低的标准，而机器人视觉则以低成本、高可靠性成为机器人获取外界信息主要途径。
在现代化工业生产中，机械臂的抓取多采用示教系统，但是工业环境复杂，实际抓取目标位姿与理想位姿可能存在较大误差，使得示教系统无法正常工作。针对这种问题，市面已有一种Eye-in-Hand模型，该模型将双目视觉传感器固定在机械手末端，使用基于特征的识别技术，但是当机械手与目标位置过近时，由于深度信息的丢失会导致控制系统和伺服操作无法正常工作。为了避免出现这种问题，因此，有必要对采用视觉系统下机械臂目标物体定位及抓取开展深入的研究。
发明内容
为了克服现有技术中存在的不足，本发明目的是提供一种基于双目视觉的机械臂目标定位抓取方法。该方法克服现有机械臂系统无法根据复杂的现场环境自主抓取和对于Eye-in-Hand深度信息的丢失而导致控制系统和伺服操作无法正常工作的问题。
为了实现上述发明目的，解决已有技术中所存在的问题，本发明采取的技术方案是：一种基于双目视觉的机械臂目标定位抓取方法，包括以下步骤：
步骤1、安装双目视觉相机和机械臂，其中双目视觉相机水平放置，并确保双目视觉相机与机械臂底座处在同一水平面上，水平拍摄物体，识别区域为机械臂工作半径范围，要求双目视觉相机位置与识别区域的距离为0.8-20.0米并确保识别区域不被遮挡；
步骤2、矫正双目视觉相机内参，双目视觉相机内参是与双目视觉相机自身特性有关的参数，可以此确定其焦距和像素大小，根据双目视觉相机提供的校准程序得到双目视觉相机中左、右摄像机的左、右内参，通过式(1)进行描述，
其中，表示左摄像机图像横轴方向上以像素为单位的焦距，为左摄像机图像纵轴方向上以像素为单位的焦距，为左摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为左摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，为右摄像机图像横轴方向上以像素为单位的焦距，为右摄像机图像纵轴方向上以像素为单位的焦距，为右摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为右摄像机光轴与图像中心在纵轴方向上以像素为单位的差距；
步骤3、获取目标物体的深度信息，运行双目视觉相机，根据颜色的直观特性在由A.R.Smith在1978年创建的HSV颜色空间中对图像进行预处理，利用目标物体的颜色特征根据其在饱和度区间和色调区间的阈值来分割图像，同时将识别到的目标区域位置与深度图像进行匹配获得目标区域的深度信息，并通过公式(2)计算目标物体距离双目视觉相机的深度信息d，
其中，n表示识别区域像素点个数，di表示识别区域每个像素点的深度信息；
步骤4、建立图像平面坐标系和双目视觉相机坐标系，获取目标物体在双目视觉相机坐标系中的空间位置，目标物体在双目视觉相机坐标系中的三维空间坐标为(X,Y,Z)，在图像坐标系中的图像物理坐标系(x,y)和图像像素坐标系(u,v)，通过公式(3)计算得到，
其中，dx表示每个像素在x轴上的物理尺寸，dy表示每个像素在y轴上的物理尺寸，由式(3)得到从图像物理坐标到图像像素坐标变换的矩阵形式，通过公式(4)进行描述，
根据双目视觉相机成像原理得到，
其中，f表示摄像机焦距，可根据双目视觉相机内参得知，由式(4)和(5)得到图像坐标系与双目视觉相机坐标系三维空间坐标转换的矩阵形式，通过公式(6)进行描述，
其中，Z表示由步骤3获得的目标物体距离双目视觉相机的深度信息d，最终获得目标物体在双目视觉相机坐标系中的三维空间坐标为(X,Y,Z)；
步骤5、计算目标物体在机械臂坐标中的空间位置，在步骤1中，安装双目视觉相机时，它相对于机械臂的位置关系是确定的，其中机械臂基座的坐标系与基于双目视觉相机的坐标系x轴相互平行但方向相对，y轴相互平行但方向相向，z轴相互平行且方向一致，已知基于双目视觉相机的坐标系原点在机械臂基座坐标系的笛卡尔坐标为(x1,y1,z1)，目标物体在双目视觉相机坐标系的坐标为(X,Y,Z),则目标物体在相对于机械臂基座的三维坐标(x2,y2,z2)，通过公式(7)进行描述，
其中，θ表示机械臂基座坐标系相对于双目视觉相机坐标系在z轴上的旋转角，根据已知双目视觉相机与机械臂的安装位置关系，可得θ＝π；
步骤6、计算机械手的抓取姿态，具体包括以下子步骤：
(a)计算目标物体在机械臂基座坐标系中的方位角α，方位角表示从x轴正方向开始，逆时针方向旋转与目标物体到坐标原点连线之间的夹角，其中机械臂基座指向双目视觉相机方向为x轴正方向，x轴正方向逆时针旋转90度为机械臂基座y轴正方向，
若目标物体位于第一象限，
若目标物体位于第二象限，
若目标物体位于第三象限，
若目标物体位于第四象限，
若x＝0,y>0时，α＝π/2，x＝0,y<0时，α＝3π/2，
若y＝0,x>0时，α＝0，y＝0,x<0时，α＝π；
(b)计算极角β和机械臂末端旋转角ω，极角β表示正z轴到目标物体矢量的角度，它表示物体的倾斜程度，旋转角ω表示机械手抓取物体时旋转的角度，由于目标物体竖直放置，则：
β＝π/2 (12)
ω＝π/2 (13)
(c)欧拉角到四元数的转换，由于机械臂系统末端姿态控制参数为四元数和三维坐标点，其中三维坐标点为目标物体在相对于机械臂基座的三维坐标(x2,y2,z2)，而四元数需要根据计算得到的欧拉角转换得到，上述计算得到的方位角、极角、机械臂末端旋转角的欧拉旋转方式为ZYZ，因此转换后的四元数q(x′,y′,z′,w′)，通过公式(14)进行描述，
其中，ψ＝β/2,ξ＝ω/2,φ＝α/2；
步骤7、发送控制信息，将目标物体的三维空间坐标及抓取时机械臂系统末端的姿态作为控制信息发送至机械臂控制器，同时通过返回机械臂末端的状态信息，来判断是否完成对目标物体的抓取。
本发明有益效果是：一种基于双目视觉的机械臂目标定位抓取方法，包括以下步骤：(1)安装双目视觉相机和机械臂，(2)矫正双目视觉相机内参，(3)获取目标物体的深度信息，(4)建立图像平面坐标系和双目视觉相机坐标系，(5)计算目标物体在机械臂坐标中的空间位置，(6)计算机械手的抓取姿态，(7)发送控制信息。与已有技术相比，本发明具有以下优点：一、识别物体方法简单，计算量相对较少，满足对实时抓取的时间要求；二、可避免出现像传统机械臂所采用的示教系统，当目标物体的姿态与理想姿态存在细微差别时，机械臂系统无法正常工作的问题。三、可避免出现在Eye-in-Hand结构中，当机械手距离目标物体过近时，深度信息的丢失而导致复杂控制策略的问题。
附图说明
图1是本发明方法步骤流程图。
图2是双目视觉相机和机械臂安装效果示意图。
图3是双目视觉相机内参矫正示意图。
图4是目标物体识别效果图。
图5是目标物体三维定位示意图。
图6是抓取效果示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种基于双目视觉的机械臂目标定位抓取方法，包括以下步骤：
步骤1、安装双目视觉相机和机械臂，其中双目视觉相机水平放置，并确保双目视觉相机与机械臂底座处在同一水平面上，水平拍摄物体，识别区域为机械臂工作半径范围，要求双目视觉相机位置与识别区域的距离为0.8-20.0米并确保识别区域不被遮挡；
步骤2、矫正双目视觉相机内参，双目视觉相机内参是与双目视觉相机自身特性有关的参数，可以此确定其焦距和像素大小，根据双目视觉相机提供的校准程序得到双目视觉相机中左、右摄像机的左、右内参，通过式(1)进行描述，
其中，表示左摄像机图像横轴方向上以像素为单位的焦距，为左摄像机图像纵轴方向上以像素为单位的焦距，为左摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为左摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，为右摄像机图像横轴方向上以像素为单位的焦距，为右摄像机图像纵轴方向上以像素为单位的焦距，为右摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为右摄像机光轴与图像中心在纵轴方向上以像素为单位的差距；
步骤3、获取目标物体的深度信息，运行双目视觉相机，如图4所示，具体包括以下子步骤：
(a)图像预处理，将RGB色彩空间的图像转换为HSV色彩空间(Hue,Saturation,Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，该子步骤可采用OpenCV库中提供的cvtColor函数完成色彩空间的转换；
(b)图像阈值分割，根据特定颜色在HSV色调区间的色调、饱和度、亮度的阈值，对目标物体做简单的图像分割，对目标物体和背景做二值化处理；
(c)形态学处理与边缘提取，对子步骤(b)得到的二值化图像进行闭操作，去除较小黑色区域，同时利用OpenCV库中findContours函数提取黑色区域的外轮廓，通过对外轮廓进行遍历求得最大外轮廓，即为目标物体的外轮廓；将识别到的目标物体的外轮廓与深度图像进行匹配获得目标区域的深度信息，并通过公式(2)计算目标物体距离双目视觉相机的深度信息d，
其中，n表示识别区域像素点个数，di表示识别区域每个像素点的深度信息；
步骤4、建立图像平面坐标系和双目视觉相机坐标系，如图5所示，获取目标物体在双目视觉相机坐标系中的空间位置，目标物体在双目视觉相机坐标系中的三维空间坐标为(X,Y,Z)，在图像坐标系中的图像物理坐标系(x,y)和图像像素坐标系(u,v)，通过公式(3)计算得到，
其中，dx表示每个像素在x轴上的物理尺寸，dy表示每个像素在y轴上的物理尺寸，由式(3)得到从图像物理坐标系到图像像素坐标系变换的矩阵形式，通过公式(4)进行描述，
根据双目视觉相机成像原理得到，
其中，f表示摄像机焦距，可根据相机内参得知，由式(4)和(5)得到图像坐标与双目视觉相机坐标三维空间坐标转换的矩阵形式，通过公式(6)进行描述，
其中，Z表示由步骤3获得的目标物体距离双目视觉相机的深度信息d，最终获得目标物体在双目视觉相机坐标系中的三维空间坐标为(X,Y,Z)；
步骤5、计算目标物体在机械臂坐标中的空间位置，在步骤1中，安装双目视觉相机时，它相对于机械臂的位置关系是确定的，其中机械臂基座的坐标系与基于双目视觉相机的坐标系x轴相互平行但方向相对，y轴相互平行但方向相向，z轴相互平行且方向一致，已知基于双目视觉相机的坐标系原点在机械臂基座坐标系的笛卡尔坐标为(x1,y1,z1)，目标物体在双目视觉相机坐标系的坐标为(X,Y,Z),则目标物体在相对于机械臂基座的三维坐标(x2,y2,z2)，通过公式(7)进行描述，
其中，θ表示机械臂基座坐标系相对于双目视觉相机坐标系在z轴上的旋转角，根据已知双目视觉相机与机械臂的安装位置关系，可得θ＝π；
步骤6、计算机械手的抓取姿态，具体包括以下子步骤：
(a)计算目标物体在机械臂基座坐标系中的方位角α，方位角表示从x轴正方向开始，逆时针方向旋转与目标物体到坐标原点连线之间的夹角，其中机械臂基座指向双目视觉相机方向为x轴正方向，x轴正方向逆时针旋转90度为机械臂基座y轴正方向，
若目标物体位于第一象限，
若目标物体位于第二象限，
若目标物体位于第三象限，
若目标物体位于第四象限，
若x＝0,y>0时，α＝π/2，x＝0,y<0时，α＝3π/2，
若y＝0,x>0时，α＝0，y＝0,x<0时，α＝π；
(b)计算极角β和机械臂末端旋转角ω，极角β表示正z轴到目标物体矢量的角度，它表示物体的倾斜程度，旋转角ω表示机械手抓取物体时旋转的角度，由于目标物体竖直放置，则：
β＝π/2 (12)
ω＝π/2 (13)
(c)欧拉角到四元数的转换，由于机械臂系统末端姿态控制参数为四元数和三维坐标点，其中三维坐标点为目标物体在相对于机械臂基座的三维坐标(x2,y2,z2)，而四元数需要根据计算得到的欧拉角转换得到，上述计算得到的方位角、极角、机械臂末端旋转角的欧拉旋转方式为ZYZ，因此转换后的四元数q(x′,y′,z′,w′)，通过公式(14)进行描述，
其中，ψ＝β/2,ξ＝ω/2,φ＝α/2；
步骤7、发送控制信息，将目标物体的三维空间坐标及抓取时机械臂系统末端的姿态作为控制信息发送至机械臂控制器，同时通过返回机械臂末端的状态信息，来判断是否完成对目标物体的抓取，完成抓取时效果如图6所示。

Claims (1)

1.一种基于双目视觉的机械臂目标定位抓取方法，其特征在于包括以下步骤：
步骤1、安装双目视觉相机和机械臂，其中双目视觉相机水平放置，并确保双目视觉相机与机械臂底座处在同一水平面上，水平拍摄物体，识别区域为机械臂工作半径范围，要求双目视觉相机位置与识别区域的距离为0.8-20.0米并确保识别区域不被遮挡；
步骤2、矫正双目视觉相机内参，双目视觉相机内参是与双目视觉相机自身特性有关的参数，可以此确定其焦距和像素大小，根据双目视觉相机提供的校准程序得到双目视觉相机中左、右摄像机的左、右内参，通过式(1)进行描述，
左内参：右内参：
其中，表示左摄像机图像横轴方向上以像素为单位的焦距，为左摄像机图像纵轴方向上以像素为单位的焦距，为左摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为左摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，为右摄像机图像横轴方向上以像素为单位的焦距，为右摄像机图像纵轴方向上以像素为单位的焦距，为右摄像机光轴与图像中心在横轴方向上以像素为单位的差距，为右摄像机光轴与图像中心在纵轴方向上以像素为单位的差距；
步骤3、获取目标物体的深度信息，运行双目视觉相机，根据颜色的直观特性在由A.R.Smith在1978年创建的HSV颜色空间中对图像进行预处理，利用目标物体的颜色特征根据其在饱和度区间和色调区间的阈值来分割图像，同时将识别到的目标区域位置与深度图像进行匹配获得目标区域的深度信息，并通过公式(2)计算目标物体距离双目视觉相机的深度信息d，
<mrow> <mi>d</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，n表示识别区域像素点个数，di表示识别区域每个像素点的深度信息；
步骤4、建立图像平面坐标系和双目视觉相机坐标系，获取目标物体在双目视觉相机坐标系中的空间位置，目标物体在双目视觉相机坐标系中的三维空间坐标为(X,Y,Z)，在图像坐标系中的图像物理坐标系(x,y)和图像像素坐标系(u,v)，通过公式(3)计算得到，
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>u</mi> <mo>=</mo> <mfrac> <mi>x</mi> <msub> <mi>d</mi> <mi>x</mi> </msub> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>v</mi> <mo>=</mo> <mfrac> <mi>y</mi> <msub> <mi>d</mi> <mi>y</mi> </msub> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，dx表示每个像素在x轴上的物理尺寸，dy表示每个像素在y轴上的物理尺寸，由式(3)得到从图像物理坐标到图像像素坐标变换的矩阵形式，通过公式(4)进行描述，
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mfrac> <mn>1</mn> <msub> <mi>d</mi> <mi>x</mi> </msub> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mfrac> <mn>1</mn> <msub> <mi>d</mi> <mi>y</mi> </msub> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
根据双目视觉相机成像原理得到，
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>x</mi> <mo>=</mo> <mi>f</mi> <mfrac> <mi>X</mi> <mi>Z</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>y</mi> <mo>=</mo> <mi>f</mi> <mfrac> <mi>Y</mi> <mi>Z</mi> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，f表示摄像机焦距，可根据双目视觉相机内参得知，由式(4)和(5)得到图像坐标系与双目视觉相机坐标系三维空间坐标转换的矩阵形式，通过公式(6)进行描述，
<mrow> <mi>Z</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>f</mi> <mi>x</mi> </msub> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <msub> <mi>f</mi> <mi>y</mi> </msub> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，Z表示由步骤3获得的目标物体距离双目视觉相机的深度信息d，最终获得目标物体在双目视觉相机坐标系中的三维空间坐标为(X,Y,Z)；
步骤5、计算目标物体在机械臂坐标中的空间位置，在步骤1中，安装双目视觉相机时，它相对于机械臂的位置关系是确定的，其中机械臂基座的坐标系与基于双目视觉相机的坐标系x轴相互平行但方向相对，y轴相互平行但方向相向，z轴相互平行且方向一致，已知基于双目视觉相机的坐标系原点在机械臂基座坐标系的笛卡尔坐标为(x1,y1,z1)，目标物体在双目视觉相机坐标系的坐标为(X,Y,Z),则目标物体在相对于机械臂基座的三维坐标(x2,y2,z2)，通过公式(7)进行描述，
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mn>2</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mn>2</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mn>2</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mn>1</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，θ表示机械臂基座坐标系相对于双目视觉相机坐标系在z轴上的旋转角，根据已知双目视觉相机与机械臂的安装位置关系，可得θ＝π；
步骤6、计算机械手的抓取姿态，具体包括以下子步骤：
(a)计算目标物体在机械臂基座坐标系中的方位角α，方位角表示从x轴正方向开始，逆时针方向旋转与目标物体到坐标原点连线之间的夹角，其中机械臂基座指向双目视觉相机方向为x轴正方向，x轴正方向逆时针旋转90度为机械臂基座y轴正方向，
若目标物体位于第一象限，
<mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mi>y</mi> <mi>x</mi> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
若目标物体位于第二象限，
<mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mi>y</mi> <mi>x</mi> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;pi;</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
若目标物体位于第三象限，
<mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mi>y</mi> <mi>x</mi> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;pi;</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
若目标物体位于第四象限，
<mrow> <mi>&amp;alpha;</mi> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mi>y</mi> <mi>x</mi> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
若x＝0,y>0时，α＝π/2，x＝0,y<0时，α＝3π/2，
若y＝0,x>0时，α＝0，y＝0,x<0时，α＝π；
(b)计算极角β和机械臂末端旋转角ω，极角β表示正z轴到目标物体矢量的角度，它表示物体的倾斜程度，旋转角ω表示机械手抓取物体时旋转的角度，由于目标物体竖直放置，则：
β＝π/2 (12)
ω＝π/2 (13)
(c)欧拉角到四元数的转换，由于机械臂系统末端姿态控制参数为四元数和三维坐标点，其中三维坐标点为目标物体在相对于机械臂基座的三维坐标(x2,y2,z2)，而四元数需要根据计算得到的欧拉角转换得到，上述计算得到的方位角、极角、机械臂末端旋转角的欧拉旋转方式为ZYZ，因此转换后的四元数q(x′,y′,z′,w′)，通过公式(14)进行描述，
<mrow> <mi>q</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>w</mi> <mo>&amp;prime;</mo> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> <mo>+</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mi>sin</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> <mo>+</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mi>cos</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> <mo>-</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>c</mi> <mi>O</mi> <mi>S</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mi>cos</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> <mo>-</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> <mi>sin</mi> <mo>(</mo> <mi>&amp;xi;</mi> <mo>)</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
其中，ψ＝β/2,ξ＝ω/2,φ＝α/2；
步骤7、发送控制信息，将目标物体的三维空间坐标及抓取时机械臂系统末端的姿态作为控制信息发送至机械臂控制器，同时通过返回机械臂末端的状态信息，来判断是否完成对目标物体的抓取。
CN201710936467.0A 2017-10-10 2017-10-10 一种基于双目视觉的机械臂目标定位抓取方法 Active CN107767423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710936467.0A CN107767423B (zh) 2017-10-10 2017-10-10 一种基于双目视觉的机械臂目标定位抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710936467.0A CN107767423B (zh) 2017-10-10 2017-10-10 一种基于双目视觉的机械臂目标定位抓取方法

Publications (2)

Publication Number Publication Date
CN107767423A true CN107767423A (zh) 2018-03-06
CN107767423B CN107767423B (zh) 2019-12-06

Family

ID=61267099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710936467.0A Active CN107767423B (zh) 2017-10-10 2017-10-10 一种基于双目视觉的机械臂目标定位抓取方法

Country Status (1)

Country Link
CN (1) CN107767423B (zh)

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108527878A (zh) * 2018-04-08 2018-09-14 青岛元汇丰企业管理咨询服务有限公司 一种无针线多布片熔贴合工艺用全自动流水线
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN108717713A (zh) * 2018-05-23 2018-10-30 南京理工大学 一种基于双目视觉的复杂背景下横担姿态测量方法
CN108748149A (zh) * 2018-06-04 2018-11-06 上海理工大学 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN108834576A (zh) * 2018-06-07 2018-11-20 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN108942929A (zh) * 2018-07-10 2018-12-07 广州供电局有限公司 基于双目立体视觉的机械臂定位抓取的方法及装置
CN109035200A (zh) * 2018-06-21 2018-12-18 北京工业大学 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN109087343A (zh) * 2018-09-07 2018-12-25 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN109333549A (zh) * 2018-10-25 2019-02-15 湖南大学 一种基于机器视觉的乒乓球拾取移动机器人及控制方法
CN109678057A (zh) * 2019-02-18 2019-04-26 上海应用技术大学 基于立体视觉的桥式吊车的摆角测量方法
CN109773798A (zh) * 2019-03-28 2019-05-21 大连理工大学 一种基于双目视觉的双机械臂协作控制方法
CN109920006A (zh) * 2019-01-21 2019-06-21 上海大学 一种青饲机自动抛送系统位姿变换矩阵的标定方法
CN110017852A (zh) * 2019-04-25 2019-07-16 广东省智能机器人研究院 一种导航定位误差测量方法
CN110065074A (zh) * 2019-05-29 2019-07-30 北京禾泽方圆智能科技有限公司 一种采摘机器人的视觉伺服激光定位系统及方法
CN110176041A (zh) * 2019-05-29 2019-08-27 西南交通大学 一种基于双目视觉算法的新型列车辅助装配方法
CN110211180A (zh) * 2019-05-16 2019-09-06 西安理工大学 一种基于深度学习的机械臂自主抓取方法
CN110223350A (zh) * 2019-05-23 2019-09-10 汕头大学 一种基于双目视觉的积木自动分拣方法及系统
CN110378956A (zh) * 2019-07-23 2019-10-25 招商局重庆交通科研设计院有限公司 用于隧道灯清洁的隧道灯具定位方法及系统
CN110433467A (zh) * 2019-08-13 2019-11-12 南京邮电大学 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110744541A (zh) * 2019-10-08 2020-02-04 哈尔滨工程大学 一种视觉引导的水下机械臂控制方法
CN110900606A (zh) * 2019-12-03 2020-03-24 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法
CN111028231A (zh) * 2019-12-27 2020-04-17 易思维（杭州）科技有限公司 基于arm和fpga的工件位置获取系统
CN111127554A (zh) * 2019-11-21 2020-05-08 杭州晶一智能科技有限公司 全向云台双目立体摄像机的目标物体位置计算方法
CN111267094A (zh) * 2019-12-31 2020-06-12 芜湖哈特机器人产业技术研究院有限公司 一种基于双目视觉的工件定位与抓取方法
CN111266315A (zh) * 2020-02-20 2020-06-12 南京工程学院 基于视觉分析的矿石物料在线分拣系统及其方法
CN111346829A (zh) * 2020-02-28 2020-06-30 西安电子科技大学 一种基于pynq的双目摄像机三维分拣系统及方法
CN111347411A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN111360821A (zh) * 2020-02-21 2020-07-03 海南大学 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN111388089A (zh) * 2020-03-19 2020-07-10 京东方科技集团股份有限公司 治疗设备及其配准方法、配准装置
CN111482961A (zh) * 2020-03-31 2020-08-04 广州富港万嘉智能科技有限公司 机械手移动的定位控制方法、计算机可读存储介质及带机械手的设备
CN111743628A (zh) * 2020-07-18 2020-10-09 纽智医疗科技(苏州)有限公司 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
CN111768449A (zh) * 2019-03-30 2020-10-13 北京伟景智能科技有限公司 一种双目视觉结合深度学习的物体抓取方法
CN111906767A (zh) * 2020-07-03 2020-11-10 深圳了然视觉科技有限公司 基于双目结构光的视觉纠偏机械臂及纠偏方法
CN112045681A (zh) * 2020-09-02 2020-12-08 苏州三仲信息科技有限公司 获取安装孔位置的方法和安装牌照的方法、对应的装置
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN112164112A (zh) * 2020-09-14 2021-01-01 北京如影智能科技有限公司 一种获取机械臂位姿信息的方法及装置
CN112288815A (zh) * 2020-11-06 2021-01-29 山东产研信息与人工智能融合研究院有限公司 一种目标模位置测量方法、系统、存储介质及设备
CN112907586A (zh) * 2021-03-30 2021-06-04 贵州大学 基于视觉的机械臂控制方法、装置、系统和计算机设备
CN113211439A (zh) * 2021-05-10 2021-08-06 淮阴工学院 一种基于bm匹配机械臂控制系统和方法
CN113499094A (zh) * 2021-07-08 2021-10-15 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
CN113601510A (zh) * 2021-08-17 2021-11-05 广东电网有限责任公司 基于双目视觉的机器人移动控制方法、装置、系统及设备
CN113781558A (zh) * 2021-08-31 2021-12-10 华中科技大学 一种姿态与位置解耦的机器人视觉寻位方法
CN114029997A (zh) * 2021-12-16 2022-02-11 广州城市理工学院 一种机械臂的工作方法
WO2022073427A1 (zh) * 2020-10-10 2022-04-14 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN114378822A (zh) * 2022-01-19 2022-04-22 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114638883A (zh) * 2022-03-09 2022-06-17 西南交通大学 一种绝缘子水冲洗机器人视觉受限重定位目标方法
CN115115711A (zh) * 2022-06-15 2022-09-27 深圳市罗湖医院集团 鼻咽拭子采样中的视觉标定方法及相关设备
CN115229803A (zh) * 2022-09-19 2022-10-25 国网浙江宁波市鄞州区供电有限公司 基于视觉识别的集成化机械臂末端执行件及其操控方法
CN116019564A (zh) * 2023-03-28 2023-04-28 北京壹点灵动科技有限公司 膝关节手术机器人和控制方法
CN116902559A (zh) * 2023-08-23 2023-10-20 中科微至科技股份有限公司 传送片状物的视觉定位矫正方法
CN117649449A (zh) * 2024-01-30 2024-03-05 鲁东大学 一种基于计算机视觉的机械臂抓取定位系统
CN117649449B (zh) * 2024-01-30 2024-05-03 鲁东大学 一种基于计算机视觉的机械臂抓取定位系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285723A1 (en) * 2005-06-16 2006-12-21 Vassilios Morellas Object tracking system
US20090326556A1 (en) * 2008-06-27 2009-12-31 Intuitive Surgical, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN106570904A (zh) * 2016-10-25 2017-04-19 大连理工大学 一种基于Xtion摄像头的多目标相对位姿识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285723A1 (en) * 2005-06-16 2006-12-21 Vassilios Morellas Object tracking system
US20090326556A1 (en) * 2008-06-27 2009-12-31 Intuitive Surgical, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN106570904A (zh) * 2016-10-25 2017-04-19 大连理工大学 一种基于Xtion摄像头的多目标相对位姿识别方法

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN108656107B (zh) * 2018-04-04 2020-06-26 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN108527878A (zh) * 2018-04-08 2018-09-14 青岛元汇丰企业管理咨询服务有限公司 一种无针线多布片熔贴合工艺用全自动流水线
CN108717713A (zh) * 2018-05-23 2018-10-30 南京理工大学 一种基于双目视觉的复杂背景下横担姿态测量方法
CN108717713B (zh) * 2018-05-23 2021-11-30 南京理工大学 一种基于双目视觉的复杂背景下横担姿态测量方法
CN108748149A (zh) * 2018-06-04 2018-11-06 上海理工大学 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN108748149B (zh) * 2018-06-04 2021-05-28 上海理工大学 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN108834576B (zh) * 2018-06-07 2021-03-26 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN108834576A (zh) * 2018-06-07 2018-11-20 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN109035200A (zh) * 2018-06-21 2018-12-18 北京工业大学 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN109035200B (zh) * 2018-06-21 2022-06-07 北京工业大学 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN108942929A (zh) * 2018-07-10 2018-12-07 广州供电局有限公司 基于双目立体视觉的机械臂定位抓取的方法及装置
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN109087343A (zh) * 2018-09-07 2018-12-25 中科新松有限公司 一种工件抓取模板的生成方法及系统
CN109333549B (zh) * 2018-10-25 2022-05-27 湖南大学 一种基于机器视觉的乒乓球拾取移动机器人及控制方法
CN109333549A (zh) * 2018-10-25 2019-02-15 湖南大学 一种基于机器视觉的乒乓球拾取移动机器人及控制方法
CN111347411A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN111347411B (zh) * 2018-12-20 2023-01-24 中国科学院沈阳自动化研究所 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN109920006B (zh) * 2019-01-21 2023-06-20 上海大学 一种青饲机自动抛送系统位姿变换矩阵的标定方法
CN109920006A (zh) * 2019-01-21 2019-06-21 上海大学 一种青饲机自动抛送系统位姿变换矩阵的标定方法
CN109678057A (zh) * 2019-02-18 2019-04-26 上海应用技术大学 基于立体视觉的桥式吊车的摆角测量方法
CN109773798A (zh) * 2019-03-28 2019-05-21 大连理工大学 一种基于双目视觉的双机械臂协作控制方法
CN111768449A (zh) * 2019-03-30 2020-10-13 北京伟景智能科技有限公司 一种双目视觉结合深度学习的物体抓取方法
CN110017852A (zh) * 2019-04-25 2019-07-16 广东省智能机器人研究院 一种导航定位误差测量方法
CN110211180A (zh) * 2019-05-16 2019-09-06 西安理工大学 一种基于深度学习的机械臂自主抓取方法
CN110223350A (zh) * 2019-05-23 2019-09-10 汕头大学 一种基于双目视觉的积木自动分拣方法及系统
CN110176041B (zh) * 2019-05-29 2021-05-11 西南交通大学 一种基于双目视觉算法的新型列车辅助装配方法
CN110176041A (zh) * 2019-05-29 2019-08-27 西南交通大学 一种基于双目视觉算法的新型列车辅助装配方法
CN110065074A (zh) * 2019-05-29 2019-07-30 北京禾泽方圆智能科技有限公司 一种采摘机器人的视觉伺服激光定位系统及方法
CN110378956A (zh) * 2019-07-23 2019-10-25 招商局重庆交通科研设计院有限公司 用于隧道灯清洁的隧道灯具定位方法及系统
CN110433467B (zh) * 2019-08-13 2021-02-12 南京邮电大学 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备
CN110433467A (zh) * 2019-08-13 2019-11-12 南京邮电大学 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法
CN110744541A (zh) * 2019-10-08 2020-02-04 哈尔滨工程大学 一种视觉引导的水下机械臂控制方法
CN111127554A (zh) * 2019-11-21 2020-05-08 杭州晶一智能科技有限公司 全向云台双目立体摄像机的目标物体位置计算方法
CN111127554B (zh) * 2019-11-21 2021-08-24 金华精研机电股份有限公司 全向云台双目立体摄像机的目标物体位置计算方法
CN110900606B (zh) * 2019-12-03 2022-08-09 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法
CN110900606A (zh) * 2019-12-03 2020-03-24 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法
CN111028231A (zh) * 2019-12-27 2020-04-17 易思维（杭州）科技有限公司 基于arm和fpga的工件位置获取系统
CN111267094A (zh) * 2019-12-31 2020-06-12 芜湖哈特机器人产业技术研究院有限公司 一种基于双目视觉的工件定位与抓取方法
CN111266315A (zh) * 2020-02-20 2020-06-12 南京工程学院 基于视觉分析的矿石物料在线分拣系统及其方法
CN111360821A (zh) * 2020-02-21 2020-07-03 海南大学 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN111346829A (zh) * 2020-02-28 2020-06-30 西安电子科技大学 一种基于pynq的双目摄像机三维分拣系统及方法
CN111388089A (zh) * 2020-03-19 2020-07-10 京东方科技集团股份有限公司 治疗设备及其配准方法、配准装置
CN111388089B (zh) * 2020-03-19 2022-05-20 京东方科技集团股份有限公司 治疗设备及其配准方法、配准装置
CN111482961A (zh) * 2020-03-31 2020-08-04 广州富港万嘉智能科技有限公司 机械手移动的定位控制方法、计算机可读存储介质及带机械手的设备
CN111906767A (zh) * 2020-07-03 2020-11-10 深圳了然视觉科技有限公司 基于双目结构光的视觉纠偏机械臂及纠偏方法
CN111743628A (zh) * 2020-07-18 2020-10-09 纽智医疗科技(苏州)有限公司 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
CN112045681A (zh) * 2020-09-02 2020-12-08 苏州三仲信息科技有限公司 获取安装孔位置的方法和安装牌照的方法、对应的装置
CN112132894A (zh) * 2020-09-08 2020-12-25 大连理工大学 一种基于双目视觉引导的机械臂实时跟踪方法
CN112164112A (zh) * 2020-09-14 2021-01-01 北京如影智能科技有限公司 一种获取机械臂位姿信息的方法及装置
WO2022073427A1 (zh) * 2020-10-10 2022-04-14 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112288815A (zh) * 2020-11-06 2021-01-29 山东产研信息与人工智能融合研究院有限公司 一种目标模位置测量方法、系统、存储介质及设备
CN112288815B (zh) * 2020-11-06 2023-10-17 山东产研信息与人工智能融合研究院有限公司 一种目标模位置测量方法、系统、存储介质及设备
CN112907586B (zh) * 2021-03-30 2024-02-02 贵州大学 基于视觉的机械臂控制方法、装置、系统和计算机设备
CN112907586A (zh) * 2021-03-30 2021-06-04 贵州大学 基于视觉的机械臂控制方法、装置、系统和计算机设备
CN113211439A (zh) * 2021-05-10 2021-08-06 淮阴工学院 一种基于bm匹配机械臂控制系统和方法
CN113499094A (zh) * 2021-07-08 2021-10-15 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
CN113499094B (zh) * 2021-07-08 2023-07-25 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
CN113601510A (zh) * 2021-08-17 2021-11-05 广东电网有限责任公司 基于双目视觉的机器人移动控制方法、装置、系统及设备
CN113781558B (zh) * 2021-08-31 2024-03-19 华中科技大学 一种姿态与位置解耦的机器人视觉寻位方法
CN113781558A (zh) * 2021-08-31 2021-12-10 华中科技大学 一种姿态与位置解耦的机器人视觉寻位方法
CN114029997A (zh) * 2021-12-16 2022-02-11 广州城市理工学院 一种机械臂的工作方法
CN114378822A (zh) * 2022-01-19 2022-04-22 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114378822B (zh) * 2022-01-19 2023-09-01 合肥工业大学 一种基于视觉的机器人机械臂末端位姿的调整方法
CN114638883A (zh) * 2022-03-09 2022-06-17 西南交通大学 一种绝缘子水冲洗机器人视觉受限重定位目标方法
CN115115711A (zh) * 2022-06-15 2022-09-27 深圳市罗湖医院集团 鼻咽拭子采样中的视觉标定方法及相关设备
CN115229803B (zh) * 2022-09-19 2023-02-28 国网浙江宁波市鄞州区供电有限公司 基于视觉识别的集成化机械臂末端执行件及其操控方法
CN115229803A (zh) * 2022-09-19 2022-10-25 国网浙江宁波市鄞州区供电有限公司 基于视觉识别的集成化机械臂末端执行件及其操控方法
CN116019564A (zh) * 2023-03-28 2023-04-28 北京壹点灵动科技有限公司 膝关节手术机器人和控制方法
CN116902559A (zh) * 2023-08-23 2023-10-20 中科微至科技股份有限公司 传送片状物的视觉定位矫正方法
CN116902559B (zh) * 2023-08-23 2024-03-26 中科微至科技股份有限公司 传送片状物的视觉定位矫正方法
CN117649449A (zh) * 2024-01-30 2024-03-05 鲁东大学 一种基于计算机视觉的机械臂抓取定位系统
CN117649449B (zh) * 2024-01-30 2024-05-03 鲁东大学 一种基于计算机视觉的机械臂抓取定位系统

Also Published As

Publication number Publication date
CN107767423B (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN107914272B (zh) 一种七自由度机械臂组件抓取目标物体的方法
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
WO2020034872A1 (zh) 目标获取方法、设备和计算机可读存储介质
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN110443199B (zh) 一种基于二维几何轮廓的点云姿态识别方法
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN111267095B (zh) 一种基于双目视觉的机械臂抓取控制方法
WO2020151454A1 (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
CN111360821A (zh) 一种采摘控制方法、装置、设备及计算机刻度存储介质
CN112132874A (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
US20230041378A1 (en) Systems and methods for object detection
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN114022551A (zh) 一种燃油车加油盖精确识别与位姿估计的方法
CN115205286A (zh) 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
CN111993422A (zh) 基于无标定视觉的机器人轴孔对准控制方法
CN114463244A (zh) 一种视觉机器人抓取系统及其控制方法
CN111080685A (zh) 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统
CN113240751B (zh) 一种机器人末端相机的标定方法
CN115157286A (zh) 基于光视觉的自动挂摘接地线机器人及其远程控制方法
CN116012442A (zh) 一种机械臂末端位姿自动回正的视觉伺服方法
CN114998573A (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant