CN111267094A - 一种基于双目视觉的工件定位与抓取方法 - Google Patents

一种基于双目视觉的工件定位与抓取方法 Download PDF

Info

Publication number
CN111267094A
CN111267094A CN201911403295.6A CN201911403295A CN111267094A CN 111267094 A CN111267094 A CN 111267094A CN 201911403295 A CN201911403295 A CN 201911403295A CN 111267094 A CN111267094 A CN 111267094A
Authority
CN
China
Prior art keywords
workpiece
center
camera
robot
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911403295.6A
Other languages
English (en)
Inventor
张星宇
陈健
刘志恒
高云峰
曹雏清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Hit Robot Technology Research Institute Co Ltd
Original Assignee
Wuhu Hit Robot Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Hit Robot Technology Research Institute Co Ltd filed Critical Wuhu Hit Robot Technology Research Institute Co Ltd
Priority to CN201911403295.6A priority Critical patent/CN111267094A/zh
Publication of CN111267094A publication Critical patent/CN111267094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明公开了一种基于双目视觉的工件定位与抓取方法，通过双目相机采集的左、右两张工件图片，进行特征检测，根据特征提取工件抓取位姿信息，将工件的位置及姿态发送给机器人，引导机器人末端夹具抓取工件并搬运至仓储区，提高生产的自动化程度，替代人工操作，提高生产效率，减少工人劳动强度。

Description

一种基于双目视觉的工件定位与抓取方法
技术领域
本发明属于工件搬运领域，尤其涉及一种基于双目视觉的工件定位与抓取 方法。
背景技术
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
工厂内工件一般需要人工进行搬运，这些工作重复度高，工作环境恶劣， 同时工人劳动强度较大，导致生产效率较低。现有技术为人工搬运，工人劳动 强度大，生产效率低；基于单目视觉的定位丧失了部分空间信息，对于高度定 位精度低。
发明内容
本发明所要解决的技术问题是提供一种基于视觉搬运系统，实现工件卸车 后的自动仓储及过筛时工件的自动供料，提高生产的自动化程度，替代人工操 作，提高生产效率，减少工人劳动强度的基于双目视觉的工件定位与抓取方法
为了解决上述技术问题，本发明所采用的技术方案是：一种基于双目视觉 的工件定位与抓取方法，包括如下步骤：
1)工件抓取位姿检测：抓取位置为矩形工件中心所在位置，抓取位姿为矩 形工件旋转角度的修正值；工件模型中标记点为定制标准圆，其圆心连接成的 轮廓中心与矩形工件中心重合，因此对矩形工件的中心提取可转换为对标记点 圆心连接成的轮廓中心提取；
1.1)使用最小圆拟合对标记点进行圆心提取；
1.2)将4个圆心坐标连接成一个轮廓特征；
1.3)对轮廓拟合最小旋转矩形；
1.4)提取旋转矩形中心坐标(x，y)和旋转角度α；
2)姿态示教：
将工件任意放置，相机采集工件图片，使用步骤1)算法进行中心坐标及旋 转角度检测，此时旋转角度为αr；示教机器人位姿，使其末端夹具工件凹槽内， 记录此时机器人的姿态角度u，此时工件旋转角度αr对应机器人姿态角度u；
3)双目视觉模型求解工件抓取高度z：
4)引导机器人抓取工件；
5)将工件搬运至仓储区。
所述步骤3)包括如下步骤：
3.1)提取左相机中图像标记圆的中心像素坐标(xl,yl)，提取右相机中图像标 记圆的中心像素坐标(xr,yr)；
3.2)计算左右相机的视差d；d＝xl-xr；
3.3)根据双目模型计算工件在相机坐标系下的高度z；
Figure BDA0002347984450000021
其中f为 相机焦距，左右相机的焦距相差较小，默认为相等，则左相机焦距等于右相机 焦距f＝f左＝f右。
所述第4)步包括如下步骤：
4.1)重新任意放置工件，使用步骤1算法检测并提取工件中心坐标(x，y) 及旋转姿态β；
4.2)提取到的像素坐标系下的工件中心坐标(x，y)和工件在相机坐标系下 的高度z通过转换矩阵H转换到机器人基坐标系下坐标(xb,yb,zb)；此处H矩阵 为相机坐标系与机器人基坐标系的转换矩阵，通过手眼标定可得到；
4.3)计算此时工件旋转角度β与示教工件旋转角度αr的角度差：
Δangle＝β-αr；
则机器人的姿态角度修正值为u+Δangle；
4.4)将求得的机器人基坐标系下的位置坐标(xb,yb,zb)及姿态u+Δangle发送给机器人，机器人到达该位置，驱动气缸打开夹爪，完成抓取。
所述第5)步中，机器人搬运工件到达已示教的仓储区位置。
上述技术方案中的一个技术方案具有如下优点或有益效果，基于视觉搬运 系统，实现工件卸车后的自动仓储及过筛时工件的自动供料，提高生产的自动 化程度，替代人工操作，提高生产效率，减少工人劳动强度。
附图说明
图1为本发明实施例中提供的基于双目视觉的工件定位与抓取方法的矩形 工件的结构示意图；
图2为图1的基于双目视觉的工件定位与抓取方法的原理图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明 实施方式作进一步地详细描述。
参见图1-2，一种基于双目视觉的工件定位与抓取方法，包括如下步骤：
1、工件抓取位姿检测
图1为工件模型和末端夹具，末端夹具需与工件凹槽铆合才能进行抓取，因 此抓取位置为矩形工件中心所在位置，抓取位姿为矩形工件旋转角度的修正值。
工件模型中Mark点为定制标准圆，其圆心连接成的轮廓中心与矩形工件中 心重合，因此对矩形工件的中心提取可转换为对Mark点圆心连接成的轮廓中心 提取即可。
(1)使用最小圆拟合对Mark点进行圆心提取；
(2)将4个圆心坐标连接成一个轮廓特征；
(3)对轮廓拟合最小旋转矩形；
(4)提取旋转矩形中心坐标(x，y)和旋转角度α。
2、姿态示教
将工件任意放置，相机采集工件图片，使用步骤1算法进行中心坐标及旋转 角度检测，此时旋转角度为αr；示教机器人位姿，使其末端夹具工件凹槽内， 记录此时机器人的姿态角度u，此时工件旋转角度αr对应机器人姿态角度u。
3、双目视觉模型求解工件抓取高度z
(1)提取左相机中图像Mark圆一的中心像素坐标(xl,yl)，提取右相机中图 像Mark圆一的中心像素坐标(xr,yr)；
(2)计算左右相机的视差d；
d＝xl-xr
(3)根据双目模型计算工件在相机坐标系下的高度z；
Figure BDA0002347984450000041
其中f为相机焦距，左右相机的焦距相差较小，默认为相等，则左相机焦距 等于右相机焦距f＝f左＝f右
b为两相机中心的距离，此距离为相机内参标定时得到的；
4、引导机器人抓取工件
(1)重新任意放置工件，使用步骤1算法检测并提取工件中心坐标(x，y) 及旋转姿态β；
(2)将提取到的像素坐标系下的工件中心坐标(x，y)和工件在相机坐标系下 的高度z通过转换矩阵H转换到机器人基坐标系下坐标(xb,yb,zb)。此处H矩阵 为相机坐标系与机器人基坐标系的转换矩阵，通过手眼标定可得到；
(3)计算此时工件旋转角度β与示教工件旋转角度αr的角度差：
Δangle＝β-αr
则机器人的姿态角度修正值为u+Δangle；
(4)将求得的机器人基坐标系下的位置坐标(xb,yb,zb)及姿态u+Δangle发送给机器人，机器人到达该位置，驱动气缸打开夹爪，完成抓取。
5、搬运至仓储区
机器人搬运工件到达已示教的仓储区位置；
能快速检测抓取位姿，并且在大范围视觉检测时x，y方向精度可达0.5mm， z精度可达0.5mm，旋转角度精度小于0.5°。
采用上述的方案后，基于视觉搬运系统，实现工件卸车后的自动仓储及过 筛时工件的自动供料，提高生产的自动化程度，替代人工操作，提高生产效率， 减少工人劳动强度。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上 述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性 的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在 本发明的保护范围之内。

Claims (4)

1.一种基于双目视觉的工件定位与抓取方法，其特征在于，包括如下步骤：
1)工件抓取位姿检测：抓取位置为矩形工件中心所在位置，抓取位姿为矩形工件旋转角度的修正值；工件模型中标记点为定制标准圆，其圆心连接成的轮廓中心与矩形工件中心重合，因此对矩形工件的中心提取可转换为对标记点圆心连接成的轮廓中心提取；
1.1)使用最小圆拟合对标记点进行圆心提取；
1.2)将4个圆心坐标连接成一个轮廓特征；
1.3)对轮廓拟合最小旋转矩形；
1.4)提取旋转矩形中心坐标(x，y)和旋转角度α；
2)姿态示教：
将工件任意放置，相机采集工件图片，使用步骤1)算法进行中心坐标及旋转角度检测，此时旋转角度为αr；示教机器人位姿，使其末端夹具工件凹槽内，记录此时机器人的姿态角度u，此时工件旋转角度αr对应机器人姿态角度u；
3)双目视觉模型求解工件抓取高度z：
4)引导机器人抓取工件；
5)将工件搬运至仓储区。
2.如权利要求1所述的基于双目视觉的工件定位与抓取方法，其特征在于，所述步骤3)包括如下步骤：
3.1)提取左相机中图像标记圆的中心像素坐标(xl,yl)，提取右相机中图像标记圆的中心像素坐标(xr,yr)；
3.2)计算左右相机的视差d；d＝xl-xr；
3.3)根据双目模型计算工件在相机坐标系下的高度z；
Figure FDA0002347984440000011
其中f为相机焦距，左右相机的焦距相差较小，默认为相等，则左相机焦距等于右相机焦距f＝f左＝f右。
3.如权利要求2所述的基于双目视觉的工件定位与抓取方法，其特征在于，所述第4)步包括如下步骤：
4.1)重新任意放置工件，使用步骤1算法检测并提取工件中心坐标(x，y)及旋转姿态β；
4.2)提取到的像素坐标系下的工件中心坐标(x，y)和工件在相机坐标系下的高度z通过转换矩阵H转换到机器人基坐标系下坐标(xb,yb,zb)；此处H矩阵为相机坐标系与机器人基坐标系的转换矩阵，通过手眼标定可得到；
4.3)计算此时工件旋转角度β与示教工件旋转角度αr的角度差：
Δangle＝β-αr；
则机器人的姿态角度修正值为u+Δangle；
4.4)将求得的机器人基坐标系下的位置坐标(xb,yb,zb)及姿态u+Δangle发送给机器人，机器人到达该位置，驱动气缸打开夹爪，完成抓取。
4.如权利要求3所述的基于双目视觉的工件定位与抓取方法，其特征在于，所述第5)步中，机器人搬运工件到达已示教的仓储区位置。
CN201911403295.6A 2019-12-31 2019-12-31 一种基于双目视觉的工件定位与抓取方法 Pending CN111267094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403295.6A CN111267094A (zh) 2019-12-31 2019-12-31 一种基于双目视觉的工件定位与抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403295.6A CN111267094A (zh) 2019-12-31 2019-12-31 一种基于双目视觉的工件定位与抓取方法

Publications (1)

Publication Number Publication Date
CN111267094A true CN111267094A (zh) 2020-06-12

Family

ID=70993873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403295.6A Pending CN111267094A (zh) 2019-12-31 2019-12-31 一种基于双目视觉的工件定位与抓取方法

Country Status (1)

Country Link
CN (1) CN111267094A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112408281A (zh) * 2020-09-28 2021-02-26 亿嘉和科技股份有限公司 一种基于视觉跟踪的斗臂车调斗作业引导方法
CN113822810A (zh) * 2021-08-29 2021-12-21 北京工业大学 一种基于机器视觉的三维空间中工件的定位方法
CN114986522A (zh) * 2022-08-01 2022-09-02 季华实验室 一种机械臂的定位方法、抓取方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743393A (zh) * 2013-12-20 2014-04-23 西安交通大学 一种圆柱状目标的位姿测量方法
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
JP2018144160A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103743393A (zh) * 2013-12-20 2014-04-23 西安交通大学 一种圆柱状目标的位姿测量方法
JP2018144160A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN110509281A (zh) * 2019-09-16 2019-11-29 中国计量大学 基于双目视觉的位姿识别与抓取的装置与方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘保朝: "基于双目视觉的六自由度工业机器人控制系统研究", 《工业仪表与自动化装置》 *
徐昌源等: "改进最小二乘法双目视觉位姿测量技术研究与测试", 《中国测试》 *
江士雄等: "面向机器人抓取的双目视觉系统标定与目标位姿估计算法", 《仪表技术与传感器》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112408281A (zh) * 2020-09-28 2021-02-26 亿嘉和科技股份有限公司 一种基于视觉跟踪的斗臂车调斗作业引导方法
CN113822810A (zh) * 2021-08-29 2021-12-21 北京工业大学 一种基于机器视觉的三维空间中工件的定位方法
CN114986522A (zh) * 2022-08-01 2022-09-02 季华实验室 一种机械臂的定位方法、抓取方法、电子设备及存储介质
CN114986522B (zh) * 2022-08-01 2022-11-08 季华实验室 一种机械臂的定位方法、抓取方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN111267094A (zh) 一种基于双目视觉的工件定位与抓取方法
CN107590835B (zh) 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN110293559B (zh) 一种自动识别定位对准的安装方法
CN105499953B (zh) 基于工业机器人的汽车发动机活塞、缸体装配系统及方法
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN111347411B (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN108942918B (zh) 一种基于线结构光的立体定位方法
CN111145272A (zh) 一种机械手与相机手眼标定装置和方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN111069073A (zh) 胶圈分拣设备
CN113460716A (zh) 一种搬砖夹具及基于视觉识别的智能码砖机器人
CN111452038B (zh) 一种高精度工件组件及高精度工件组件的装配方法
CN111702755A (zh) 一种基于多目立体视觉的机械臂智能控制系统
CN109604468B (zh) 一种基于机器视觉的工件冲压系统及其控制方法
CN114074331A (zh) 一种基于视觉的无序抓取方法及机器人
CN106097323B (zh) 一种基于机器视觉的发动机气缸体铸件的定位方法
CN105945953A (zh) 一种机器人的视觉识别系统
CN114055501A (zh) 一种机器人抓取系统及其控制方法
CN114260903A (zh) 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法
CN111397509B (zh) 一种蜡烛芯校正方法和系统
CN111906767A (zh) 基于双目结构光的视觉纠偏机械臂及纠偏方法
CN113878576A (zh) 一种机器人视觉分拣工艺程序编制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612