CN114782533B - 一种基于单目视觉的线缆盘轴位姿确定方法 - Google Patents

一种基于单目视觉的线缆盘轴位姿确定方法 Download PDF

Info

Publication number
CN114782533B
CN114782533B CN202210408570.9A CN202210408570A CN114782533B CN 114782533 B CN114782533 B CN 114782533B CN 202210408570 A CN202210408570 A CN 202210408570A CN 114782533 B CN114782533 B CN 114782533B
Authority
CN
China
Prior art keywords
shaft
assembly
chassis
camera
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210408570.9A
Other languages
English (en)
Other versions
CN114782533A (zh
Inventor
谢小敏
蒋庆斌
周斌
王斌
许文稼
王风光
刘凯
吴梅
吴玲玲
马永骋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Vocational Institute of Mechatronic Technology
Original Assignee
Changzhou Vocational Institute of Mechatronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Vocational Institute of Mechatronic Technology filed Critical Changzhou Vocational Institute of Mechatronic Technology
Priority to CN202210408570.9A priority Critical patent/CN114782533B/zh
Publication of CN114782533A publication Critical patent/CN114782533A/zh
Application granted granted Critical
Publication of CN114782533B publication Critical patent/CN114782533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明涉及位姿检测技术领域，尤其涉及一种基于单目视觉的线缆盘轴位姿确定方法，包括S1、将相机安装至机器人工具末端，离线完成相机标定和eyein hand手眼标定；S2、利用相机采集图像，完成装配轴底盘目标位置的检测，调整机器臂使相机运动至装配轴底盘；S3、再次拍照获取装配轴端面圆心和底盘圆心几何信息，计算线盘轴所在柜体的偏转角度；S4、调整机械臂末端手爪位姿与柜体的偏转角度平行，将线盘装配至目标轴。本发明利用单目视觉进行线缆盘轴位姿的检测，可以引导机器人完成自主装配任务。

Description

一种基于单目视觉的线缆盘轴位姿确定方法
技术领域
本发明涉及位姿检测技术领域，尤其涉及一种基于单目视觉的线缆盘轴位姿确定方法。
背景技术
线缆盘的装配任务主要是由车间工作人员手动将线缆盘抬起，装配至装有轴的控制柜上，进而完成后续的工作任务；线缆盘重可达几十公斤，长时间高强度的工作易引起操作人员的疲劳，进而影响工厂的运行效率。利用机器人完成线缆盘的装配可以有效的节省人力，提高工厂的自动化程度。典型的机器人装配工作大多服务于批量任务，现场操作人员利用示教方法通过设定的轨迹来实现工件的装配任务。此类方法需要预先设定待装配工件的位姿且固定不变，但线缆盘轴所在的柜体容易出现水平方向的偏移及绕竖直方向的偏转，因而相关产线缺乏柔性和通用性，难以满足现代工业定制化的需求。近年来，运用视觉技术进行目标检测识别和空间位姿的获取，进而引导机器人自主装配已经成为工业生产中的一大趋势。机器视觉技术使得机器人更好地适应多变的装配环境，生产线变得更加智能化。本发明利用单目视觉技术进行线缆盘轴位姿的检测，进而引导机器人完成装配任务，提高生产效率。
发明内容
针对现有算法的不足，本发明利用单目视觉进行线缆盘轴位姿的检测，可以引导机器人完成自主装配任务。
本发明所采用的技术方案是：一种基于单目视觉的线缆盘轴位姿确定方法包括以下步骤：
S1、将相机安装至机器人工具末端，离线完成相机标定和eye in hand手眼标定；
通过相机标定将相机的像素坐标转换到世界坐标系中；
通过eye in hand手眼标定实现校准对象(CalObjInBasePose)的坐标系中机器人基座的姿态，以及相机在工具中心点坐标系中的姿态；
进一步的，保持相机位姿固定，移动标定板使得其出现在图像平面的各个位置，采集标定板图像，灰度化处理后进行相机标定，获取相机标定参数；保持标定板固定，操作末端执行器运动，采集不同位姿下标定板图像并记录末端执行器位姿信息，并进行手眼标定，获取相机和末端执行器的位姿变换矩阵；
S2、利用相机采集图像，完成装配轴底盘目标位置的检测，调整机器臂使相机运动至装配轴底盘；
进一步的，根据装配轴底盘轮廓信息采用halcon中create_shape_model算子构建形状模型，记此时模板中心坐标，利用halcon中image_points_to_world_plane算子将模板中心像素坐标转换至实际世界中物理坐标，记为装配标准位置P0；机械臂定点抓取线缆盘后运动至装配标准位置，启动相机获取当前装配轴所在柜体图像并灰度化处理；利用形状模板匹配方法检测当前图像中装配轴底盘目标，根据find_shape_model算子获取装配轴底盘的中心像素坐标，利用image_points_to_world_plane算子将装配轴底盘的中心像素坐标转换至实际世界中物理坐标P1；通过公式
Figure BDA0003603139520000021
计算得到当前位置与标准位置在水平方向的实际偏差距离，其中，P0x,P0y,P1x,P1y分别表示P0和P1的横纵坐标；
S3、再次拍照获取装配轴端面圆心和底盘圆心几何信息，计算线盘轴所在柜体的偏转角度；
进一步的，启动相机获取装配轴图像并灰度化处理，根据装配轴所在高度信息，建立ROI区域；运用Canny算子提取目标边缘后，根据轮廓的长度信息筛选去除噪声信息，再利用圆拟合fit_circle_contour_xld算子检测装配轴端面圆和底盘圆特征，获取轴端面圆像素半径R，计算轴端面圆心和底盘圆心像素偏差△d，
Figure BDA0003603139520000031
其中，坐标(p0′x,p0′y)为轴端面圆心像素坐标，坐标(p1′x,p1′y)为底盘圆心像素坐标；根据端面圆实际物理半径r及装配轴实际物理尺寸L，计算所在柜体的偏转角度，记/>
Figure BDA0003603139520000032
根据像素偏差△d的符号判断旋转方向；
S4、调整机械臂末端手爪位姿与柜体的偏转θ后平行，将线盘装配至目标轴。
本发明的有益效果是：
通过建立eye in hand手眼模型，利用视觉完成装配轴底盘目标位置的检测，根据装配轴端面和底盘几何信息获取线盘轴所在柜体的偏转角度，引导机器人完成线缆盘的装配；
利用单目视觉完成目标位姿的检测，有利于机器人实现自动化和柔性装配，降低人工及硬件成本，本发明的位姿确定算法适用于视觉引导机器人完成其它工件的装配任务。
附图说明
图1是本发明的基于单目视觉的线缆盘轴位姿确定方法流程图；
图2是本发明装配轴所在柜体偏转角度检测示意图；
图2中1、柜体；2、底盘；3、装配轴。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，一种基于单目视觉的线缆盘轴位姿确定方法，包括以下步骤：
S1、将相机安装至机器人工具末端，离线完成相机标定和eye in hand手眼标定；
保持相机位姿固定，移动标定板使得其出现在图像平面的各个位置，采集标定板图像，灰度化处理后进行相机标定，获取相机参数模型['area_scan_division',0.00402935,-4690.98,4.79754e-006,4.8e-006,642.842,507.017,1280,1024]；保持标定板固定，操作末端执行器运动，采集不同位姿下标定板图像并记录末端执行器位姿信息，进行手眼标定，获取相机及末端执行器的位姿变换矩阵ToolInCAMPose＝[0.108737,-0.0374802,-0.0642094,359.643,359.465,179.725,0]；
S2、使用时利用相机采集图像，利用装配轴底盘轮廓信息及相机标定参数计算获取水平位置偏差信息-47mm，调整机器臂末端水平方向移动47mm使相机对准装配轴底盘；
如图2所示，S3、已知装配轴端面半径物理尺寸r＝17mm，物理尺寸轴长L＝400mm，再次拍照获取装配轴端面圆心和底盘圆心几何信息，以此计算线盘轴所在柜体的偏转弧度θ′，转换为角度信息：θ＝θ′*180/3.14；
S4、调整机械臂末端手爪使得相机与柜体的偏转角度θ后平行，根据手眼标定矩阵中的位置和旋转角度信息操作末端执行器使得线盘装配至目标轴。
本发明通过建立eye in hand手眼模型，利用视觉完成装配轴底盘目标位置的检测，根据装配轴端面和底盘几何信息获取线盘轴所在柜体的偏转角度，引导机器人完成线缆盘的装配；利用单目视觉完成目标位姿的检测，有利于机器人实现自动化和柔性装配，降低人工及硬件成本，本发明的位姿确定算法适用于视觉引导机器人完成其它工件的装配任务。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于单目视觉的线缆盘轴位姿确定方法，其特征在于，包括以下步骤：
S1、将相机安装至机器人工具末端，离线完成相机标定和eye in hand手眼标定；
S2、利用相机采集图像，完成装配轴底盘目标位置的检测，调整机器臂使相机运动至装配轴底盘；
S3、再次拍照获取装配轴端面圆心和底盘圆心几何信息，以此计算线盘轴所在柜体的偏转角度；
所述步骤S3包括：启动相机获取装配轴图像并灰度化处理，根据装配轴所在高度信息，建立ROI区域；运用Canny算子提取目标边缘后，根据轮廓的长度信息筛选去除噪声信息；再利用圆拟合方法检测装配轴端面圆和底盘圆特征，获取轴端面圆像素半径R；
所述计算线盘轴所在柜体的偏转角度的公式为：
Figure QLYQS_1
；
其中，△d是轴端面圆心和底盘圆心像素偏差，r是端面圆实际物理半径，L是装配轴实际物理尺寸，R是轴端面圆像素半径；
S4、调整机械臂末端手爪位姿与柜体的偏转角度平行，将线盘装配至目标轴。
2.根据权利要求1所述的基于单目视觉的线缆盘轴位姿确定方法，其特征在于，所述步骤S2包括：根据装配轴底盘轮廓构建形状模型，获得模板中心坐标，将模板中心像素坐标转换至实际世界中物理坐标P0；机械臂定点抓取线缆盘后运动至装配标准位置，启动相机获取当前装配轴所在柜体图像并灰度化处理；利用形状模板匹配方法检测当前图像中装配轴底盘目标，获取装配轴底盘的中心像素坐标，将装配轴底盘的中心像素坐标转换至实际世界中物理坐标P1，计算得到当前位置与标准位置在水平方向的实际偏差距离。
3.根据权利要求2所述的基于单目视觉的线缆盘轴位姿确定方法，其特征在于，所述计算得到当前位置与标准位置在水平方向的实际偏差距离的公式为：
Figure QLYQS_2
；
其中，
Figure QLYQS_3
分别表示P0和P1的横纵坐标。/>
CN202210408570.9A 2022-04-19 2022-04-19 一种基于单目视觉的线缆盘轴位姿确定方法 Active CN114782533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210408570.9A CN114782533B (zh) 2022-04-19 2022-04-19 一种基于单目视觉的线缆盘轴位姿确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210408570.9A CN114782533B (zh) 2022-04-19 2022-04-19 一种基于单目视觉的线缆盘轴位姿确定方法

Publications (2)

Publication Number Publication Date
CN114782533A CN114782533A (zh) 2022-07-22
CN114782533B true CN114782533B (zh) 2023-05-23

Family

ID=82431028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210408570.9A Active CN114782533B (zh) 2022-04-19 2022-04-19 一种基于单目视觉的线缆盘轴位姿确定方法

Country Status (1)

Country Link
CN (1) CN114782533B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103341863A (zh) * 2013-07-10 2013-10-09 哈尔滨工业大学 一种实现空间机械臂自爬行与载荷操作的末端执行器
CN206633018U (zh) * 2017-02-17 2017-11-14 菱创智能科技（常熟）有限公司 针对轴孔配合的柔性在线测量装配一体化装置
WO2021003869A1 (zh) * 2019-07-05 2021-01-14 清华大学 大尺寸轴孔工件装配的螺旋插装方法
CN113084808A (zh) * 2021-04-02 2021-07-09 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法
CN113146620A (zh) * 2021-03-16 2021-07-23 南京工程学院 基于双目视觉的双臂协作机器人系统和控制方法
WO2021217976A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 一种基于单目视觉定位的机械臂控制方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380764B2 (en) * 2013-12-18 2019-08-13 Cognex Corporation System and method for performing vision system planar hand-eye calibration from straight line features
CN110036162B (zh) * 2016-09-30 2021-04-02 新加坡-Eth研究中心 用于将物体放置在表面上的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103341863A (zh) * 2013-07-10 2013-10-09 哈尔滨工业大学 一种实现空间机械臂自爬行与载荷操作的末端执行器
CN206633018U (zh) * 2017-02-17 2017-11-14 菱创智能科技（常熟）有限公司 针对轴孔配合的柔性在线测量装配一体化装置
WO2021003869A1 (zh) * 2019-07-05 2021-01-14 清华大学 大尺寸轴孔工件装配的螺旋插装方法
WO2021217976A1 (zh) * 2020-04-28 2021-11-04 平安科技（深圳）有限公司 一种基于单目视觉定位的机械臂控制方法及装置
CN113146620A (zh) * 2021-03-16 2021-07-23 南京工程学院 基于双目视觉的双臂协作机器人系统和控制方法
CN113084808A (zh) * 2021-04-02 2021-07-09 上海智能制造功能平台有限公司 一种基于单目视觉的移动机械臂2d平面抓取方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A measurement method for robot peg-in-hole prealignment based on combined two-level visual sensors;Tao Jiang 等;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;1-12 *
Development of human–robot cooperation for assembly using image processing techniques;Anh‑Tuan Dang 等;《TheInternationalJournalofAdvancedManufacturingTechnology》;3135-3154 *
基于模型控制的并联机构机器人腿简化建模与辨识方法研究;史琼艳、谢小敏;《中国工程机械学报》;495-500 *
智能物料搬运机器人教学实验平台设计与开发;马少华 等;《实验技术与管理》;第38卷(第3期);120-125 *
石琪 等.《电子工业专业设备》.2019,70-77. *

Also Published As

Publication number Publication date
CN114782533A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN110539109B (zh) 一种基于单双目视觉的机器人自动焊接系统及方法
CN110509300B (zh) 基于三维视觉引导的钢箍加工上料控制系统及控制方法
CN107214703B (zh) 一种基于视觉辅助定位的机器人自标定方法
CN113771045B (zh) 视觉引导的直角机器人手机中框高适应定位抓取方法
CN109781164B (zh) 一种线激光传感器的静态标定方法
CN112223293A (zh) 焊缝磨抛机器人在线打磨方法
CN112497219B (zh) 一种基于目标检测和机器视觉的柱状工件分类定位方法
CN109693140B (zh) 一种智能化柔性生产线及其工作方法
CN113333998A (zh) 一种基于协作机器人的自动化焊接系统及方法
CN111993422A (zh) 基于无标定视觉的机器人轴孔对准控制方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN116275411A (zh) 基于图纸导入和视觉引导机器人的自动螺柱焊方法及系统
CN114782533B (zh) 一种基于单目视觉的线缆盘轴位姿确定方法
CN114474001A (zh) 一种机器人系统和控制方法
CN111452038A (zh) 一种高精度工件组件及高精度工件组件的装配方法
CN212886706U (zh) 一种基于机器视觉的铸造件智能精确打磨加工装置
CN113334380A (zh) 基于双目视觉的机器人视觉标定方法、控制系统及装置
CN113664826A (zh) 一种未知环境中的机器人抓取方法及系统
CN113554713A (zh) 飞机蒙皮移动机器人制孔视觉定位及检测方法
EP3895855A1 (en) Robot control system and robot control method
CN112720449A (zh) 一种机器人定位装置及其控制系统
CN115164752B (zh) 一种大型部件对缝间隙与阶差的自适应测量装备与方法
CN114535825B (zh) 一种基于机械手的激光打刻车辆识别代码系统
CN114800551B (zh) 一种针对复杂曲面的机器人力控磨抛装置及控制方法
CN114660579A (zh) 一种全自动激光雷达与相机标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant