CN115629066A - 一种基于视觉引导的面向自动配线的方法及装置 - Google Patents

一种基于视觉引导的面向自动配线的方法及装置 Download PDF

Info

Publication number
CN115629066A
CN115629066A CN202211083707.4A CN202211083707A CN115629066A CN 115629066 A CN115629066 A CN 115629066A CN 202211083707 A CN202211083707 A CN 202211083707A CN 115629066 A CN115629066 A CN 115629066A
Authority
CN
China
Prior art keywords
cable
image
cable terminal
robot
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211083707.4A
Other languages
English (en)
Inventor
蔡鑫垚
胡广华
李嘉兴
唐辉雄
欧美彤
韦文斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202211083707.4A priority Critical patent/CN115629066A/zh
Publication of CN115629066A publication Critical patent/CN115629066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉引导的面向自动配线的方法及装置，装置包括配线作业执行部分、视觉检测部分及驱动控制部分；所述配线作业执行部分包括二维运动平台、旋转辅助机构、一台六自由度的工业机器人和安装在工业机器人末端的夹持器；所述视觉检测部分包括两个工业相机、一个微型相机和图像采集卡；所述驱动控制部分运动控制卡和机器人控制器。本发明采用视觉引导技术实现工业机器人的自动化配线作业，智能化和柔性化程度高，线缆端子的定位和线孔装配的成功率高、灵活性强，可用于线缆自动插接的柔性装配等工业应用场景。

Description

一种基于视觉引导的面向自动配线的方法及装置
技术领域
本发明涉及自动化配线领域，特别涉及一种基于视觉引导的面向自动配线的方法及装置。
背景技术
现在生产制造厂商中，生产设备几乎都离不开电路器件的连接。传统的电路连接一般是依靠人工在插线板上进行插接，这种作业方式需要耗费许多人力资本进行低效重复的工作。步入智能化时代后，许多工厂开始寻求人机结合或是完全由机器人或其它设备来替代老旧的手工插线方式，例如一些面向光纤的自动配线设备的开发。
但是，由机器代替人工去完成配线的过程主要存在三个问题。首先，线缆是软体结构，形态不固定因此存在抓取困难；其次，线缆端子结构复杂，且上料时姿态各异需要进行姿态调整；最后，将线缆端子与连接器进行插接时，由于两者的配合间隙非常小，因此需要较高的定位精度。
自动配线的作业情况复杂，单纯依靠机构操作很难完成整套线孔插接的流程。工业生产中面对一些复杂作业，常常引入工业机器人搭配工业相机进行视觉引导操作，如拾取、码垛等。System Robot Automation公司设计的SYNDY系统，主要应用在电器设备中导线的连接，通过机械手可以实现端到端的布线作业。但该设备的末端执行器结构较大，这使其无法完成大量线缆、高密度布线的配线任务。Kyongmo Koo等人开发的基于视觉的配线系统将汽车的线束组装到车身中。通过激光传感器，获取点云模型，寻找孔的位置和插入的方向，引导机器人完成轴孔配对工作，但由于该系统使用的设备较多且成本较高，难以被广泛应用。
而在配线作业中相关的视觉算法研究中，有学者提出使用CNN算法识别线缆端子，也有学者采用颜色分隔提取线缆，前者在识别精度上需要提升同时该方法无法识别线缆线体，后者存在的缺陷是无法区分不同端子的线缆。在线孔插配方面，许多相似或相关的研究工作中，都是以立体视觉为引导，通过深度相机或双目立体视觉等设备获得目标物体的三维位姿，最后进行装配引导。
因此，目前在配线作业中相关的研究仍然存在以下不足：第一，对于线缆端子的识别算法需要进一步提升检测的准确率和精度；第二，不同端子的线缆分割问题；第三，对于线缆端子的姿态估计与调整缺少相关研究，由于线缆端子尺寸较小，因此这对其三维图像信息的提取造成困难，不易于通过三维信息对其姿态进行估计，容易造成估算偏差大从而导致配线失败；第四，目前更多的是通过立体视觉的方式引导执行机构插线，但是对于柔性线缆，插线过程中没有得到实时闭环控制容易降低成功率。
发明内容
为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于视觉引导的面向自动配线的方法及装置。
本发明的目的通过以下技术方案实现：
一种基于视觉引导的面向自动配线的方法，其特征在于，包括如下步骤：
建立机器人与相机的坐标系关系；
移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆；
获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度；
对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特征，然后将该图像特征作为该视觉映射模型的输入，该模型的输出为预测目标机器人位姿，调整机器人位姿，完成线孔装配。
进一步，所述移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆，具体为：
采集上料区中线缆的图像，通过使用基于改进的YOLOv5算法对图像中的线缆端子进行目标识别和定位；
线缆端子进行目标识别和定位后，截取图像中目标线缆端子的ROI图像，通过二值化处理和形态学处理，提取线缆端子的轮廓边缘和最小外包围矩形框，然后获得线缆端子的中轴线；
对采集线缆的原始图像进行颜色阈值分割，对线缆线体部位进行初步的图像分割，获得候选的目标区域；
获得线缆端子的中轴线及候选的目标区域进行与运算，将保留的像素点作为种子像素点，使用8连通域生长算法对图像进行线缆线体的二次分割，获得最终的目标线缆线体区域；
根据目标线缆线体区域，对其使用细化算法进行处理，获得线体中心线，在中心线上进行采样，通过双目相机三角测距算法，获得采样点的三维坐标，对采样点进行直线拟合即可获得线缆的拾取位姿，驱动机器人移动到拾取位置，通过控制气动夹爪完成线缆拾取。
进一步，所述获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度，具体为：
拉直线缆线体，使线缆端子和线体处于同一直线上，同时对线缆进行夹紧和限位使其保留一个自由度，即只能绕着以自身线体为轴进行旋转；
采集线缆端子的侧面图像，对图像中的线缆端子的局部ROI进行截取，并使用KCF算法对其进行跟踪，提取该局部ROI图像的颜色直方图，并使用大津法分割出前景区域的颜色直方图作为图像特征数据；
通过构建并离线训练一个线缆端子的角度预测模型，将获得图像特征数据作为输入，模型预测输出对应的线缆端子的目标角度，根据目标角度，驱动线缆端子绕着自身线体旋转，从而实现线缆端子角度调整，直到线缆端子调整到正确角度，则调整完毕，进行后续的线孔插接作业。
进一步，所述对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特征，然后将该图像特征作为该视觉映射模型的输入，该模型的输出为预测目标机器人位姿，调整机器人位姿，完成线孔装配，具体为：
将姿态调整后的线缆重新拾取，并将机器人移动至连接器的目标孔位附近的插线位置，采集连接器和夹持状态下线缆端子的图像；
对图像中的连接器和线缆端子识别定位，然后分别对连接器ROI图像和线缆端子ROI图像进行二值化处理并提取连接的最小外包围矩形框和线缆端子顶部的中心像素点，最后，计算线缆端子顶部中心点到连接器最小外包围矩形框的图像距离，并以此作为它们的图像位置特征数据；
通过构建并离线训练一个基于支持向量回归的视觉映射模型，所计算的图像特征数据作为输入，模型输出预测的机器人位置，通过驱动机器人到达预测的位置，重新采集当前位置下连接器和线缆端子的图像，再次预测目标位置然后再次移动机器人，直至图像位置误差小于期望误差，从而实现了闭环视觉的插线引导。
进一步，采用基于图像灰度相关性的模版匹配进行连接器和线缆端子的识别定位。
进一步，所述改进的YOLOv5算法包括输入端、骨干网络、Neck网络、强化上下文模块ECM结构及输出端。
进一步，所述强化上下文模块ECM结构具体：
以感受野模块模型为基础，对其分支结构进行调整，将原本的卷积块替换成双空洞卷积结构，同时，均采用单条3×3卷积分支。
一种实现所述的方法的装置，包括配线作业执行部分、视觉检测部分及驱动控制部分；
所述配线作业执行部分包括一台二维运动平台、一台旋转辅助机构、一台六自由度机器人及安装在机器人末端的夹持器；
所述旋转辅助机构安装在二维运动平台的移动端，随着二维运动平台在竖直方向和水平方向移动，旋转辅助机构用于实现线缆端子的姿态调整，所述夹持器安装在机器人的末端，随机器人末端的移动而移动，用于夹取上料区中的待插接线缆；
所述视觉检测部分包括两个工业相机、一个微型相机及辅助光源，所述两个工业相机安装在机器人末端的夹持器，用于采集线缆和连接器的图像；微型相机安装在夹持器上，用于采集孔装配作业时夹持状态下线缆端子与目标插接孔位的图像；所述辅助光源安六自由度工业机器人末端的夹持器，用于调节光照强度调整图像采集区域周围的环境光；
所述驱动控制部分用于驱动二维运动平台移动及旋转辅助机构内部的齿轮进行旋转及驱动六自由度工业机器人移动到目标位置。
进一步，所述旋转辅助机构包括一个金属底座及旋转辅助机构本体，所述旋转辅助机构本体包括三个完全齿轮、一个不完全齿轮、限位机构和夹紧机构，限位机构和夹紧机构将待插接线缆线体拉成平直的状态，通过齿轮的旋转带动置于其中的线缆端子以自身线体为轴进行旋转，实现线缆端子的姿态调整。
进一步，所述夹持器包括气动夹爪和金属连接器，所述工业相机安装在六自由工业机器人末端的夹持器上；微型相机安装在夹持器上且与气动夹爪相邻。
与现有技术相比，本发明具有以下优点和有益效果：
(1)根据自动化配线任务，提出了一种基于改进YOLOv5的网络模型，并用于提高对端子的检测能力，提出一种结合端子ROI信息和颜色信息的线缆线体分割算法并通过双目相机实现对线缆拾取位姿的估计；
(2)针对线缆端子姿态调整问题，采用一种基于多视图特征学习的回归判别模型用于估算端子角度并进行调整；
(3)通过设计并提取图像空间中的插座轮廓和端子的图像信息作为特征，与机械臂位姿进行映射模型的训练，实现基于支持向量回归的无标定插线视觉引导。
附图说明
图1是本发明实施例1一种基于视觉引导的面向自动配线的装置的总体结构示意图；
图2是本发明实施例2一种基于视觉引导的面向自动配线的方法的步骤流程图；
图3是本发明实施例2中小孔成像模型原理示意图；
图4是本发明实施例2中双目相机原理示意图；
图5是本发明实施例2中强化上下文模块(ECM)结构示意图；
图6是本发明实施例2中双空洞卷积结构示意图；
图7是本发明实施例2中改进型YOLOv5的网络模型示意图；
图8是本发明实施例2中闭环视觉引导的插线作业流程图。
具体实施方式
下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1
如图1所示，一种基于视觉引导的面向自动配线的装置，包括配线作业执行部分、视觉检测部分及驱动控制部分。
所述配线作业执行部分包括一台二维运动平台2、一台旋转辅助机构3、一台六自由度工业机器人1和安装在工业机器人末端的夹持器7。
所述旋转辅助机构3包括一个金属底座和旋转辅助机构本体，安装在二维运动平台2的移动端上，可以随着二维运动平台2在竖直方向和水平方向移动，所述二维运动平台2通过支撑架8规定在实验台上。旋转辅助机构本体主要由三个完全齿轮、一个不完全齿轮、限位机构和夹紧机构组成，限位机构和夹紧机构将待插接线缆线体拉成平直的状态，通过齿轮的旋转带动置于其中的线缆端子以自身线体为轴进行旋转，实现线缆端子的姿态调整。
所述夹持器7安装在六自由度工业机器人的末端，可以随机器人末端的移动而移动，所述夹持器7由气动夹爪和金属连接器组成，用于夹取上料区中的待插接线缆。
所述视觉检测部分包括两个工业相机5、一个微型相机6、辅助光源和图像采集卡11，所述两个工业相机5安装在六自由度工业机器人1末端的夹持器7上，用于采集线缆和连接器9的图像，微型相机6安装在夹持器7上且与气动夹爪相邻，用于采集孔装配作业时夹持状态下线缆端子与目标插接孔位的图像，两个工业相机5和微型相机6均可以跟随机器人末端的移动而移动，所述辅助光源4安装机器人末端的夹持器7上且与两个工业相机5相邻，通过调节光照强度调整图像采集区域周围的环境光；所述的工业相机5与微型相机6通过图像采集卡11与计算机13进行连接，实现图像的采集和传输控制。
所述的驱动控制部分包括运动控制卡10和机器人控制器12；
所述的运动控制卡10与计算机13相互连接，通过数字信号驱动多台步进电机工作，进而驱动二维运动平台2移动及旋转辅助机构3内部的齿轮进行旋转，所述的机器人控制器12通过网线和计算机13相互连接，计算机13通过执行已编写的机器人程序可以向机器人控制器12发送位置信号，从而驱动六自由度工业机器人1移动到目标位置。
实施例2
如图2所示，一种基于视觉引导的面向自动配线的方法，主要包括建立坐标系、拾取线缆、调整线缆端子姿态及引导线缆插接到连接器步骤，具体如下：
步骤S1：对安装在机器人末端夹持器上的两个工业相机，获取相机坐标系与机器人坐标系的转换关系；
步骤S2：移动机器人到上料区，获取上料区的线缆图像，结合目标识别算法、图像分割算法和双目测距方法对线缆的拾取位姿进行计算，然后驱动机器人夹取线缆；
步骤S3：夹持线缆到旋转辅助机构上，采集线缆端子的侧面图像，通过构建一个线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，并驱动旋转辅助机构进行线缆端子的姿态调整，直到线缆端子姿态调整到预设的正确角度；
步骤S4：将姿态调整完毕后的线缆端子重新夹取，并移动机器人到插线位置，通过安装在夹持器上的微型相机对目标连接器进行图像采集，通过构建一个基于支持向量回归的视觉映射模型，提取图像中连接器和线缆端子之间的位置关系作为图像特征输入，输出预测的目标机械臂位姿，从而驱动机器人末端移动，进行实时位姿调整，直到机械臂位置调整到期望的图像特征误差以内，即可完成线孔装配。
更进一步地，如图3及图4所示，步骤S1中，包括如下具体步骤：
首先，对安装在机器人末端夹持器上的两个工业相机进行相机内参标定；然后，构建双目相机三角测距模型，获得相机坐标系到图像坐标系之间的转换关系；最后对工业相机和机器人进行手眼标定，获得机器人坐标系到相机坐标系之间的转换关系。
进一步地，所述的相机的内参可根据小孔成像模型获得，如图3所示，空间中的一点Pw(Xw,Yw,Zw)与其图像投影点p(u,v)的关系式为：
Figure BDA0003834541410000071
其中，fx和fy分别表示图像坐标系中竖直方向和水平方向上的焦距，u0和v0为像素坐标系原点在成像平面上的偏移量，由于它们的取值只与相机构造有关，因此它们均为为相机内参；而R与P表示世界坐标系和相机坐标系之间的变换关系，是相机的外参。其中，相机内参可通过张正友标定方法获得。
由于双目相机是安装于机械臂末端夹持工具上的随动相机，因此，相机与机械臂末端存在固定的位置关系：
Figure BDA0003834541410000081
其中，
Figure BDA0003834541410000082
为工具坐标系到相机坐标系的变换矩阵，可通过手眼标定来确定；
Figure BDA0003834541410000083
为工具坐标系与基坐标系之间的变换矩阵，因此，M为相机的外参矩阵。
进一步地，参见图4，所述的双目相机测距原理，可通过三角关系推导得：
Figure BDA0003834541410000084
其中，T为两个相机光心(相机坐标系原点)之间的距离，xl和xr分别为左右相机的横向像素坐标值，Z为的相机坐标系中的深度距离。进一步可推导出：
Figure BDA0003834541410000085
式中，X,Y,Z分别为左相机的相机坐标系(镜头光心为原点)下的三个坐标值。
步骤S2过程具体如下：
S21、采集上料区中线缆的图像，通过使用基于改进的YOLOv5算法对图像中的线缆端子进行目标识别和定位；
S22、通过线缆端子的目标检测定位后，截取图像中目标线缆端子的ROI图像，通过二值化处理和形态学处理，提取线缆端子的轮廓边缘和最小外包围矩形框，然后获得线缆端子的中轴线；
S23、对采集的原始图像进行颜色阈值分割，对线缆线体部位进行初步的图像分割，获得候选的目标区域；
S24、结合S22和S23的处理结果，对获得的目标线缆端子的中轴线和候选的线缆线体区域进行与运算，将保留的像素点作为种子像素点，使用8连通域生长算法对图像进行线缆线体的二次分割，获得最终的目标线缆线体区域；
S25、对获得的目标线缆线体区域进行细化算法处理，可以获得线体中心线，然后在中心线上进行采样，通过双目相机三角测距算法，获得采样点的三维坐标，对这些三维点进行直线拟合即可获得线缆的拾取位姿，驱动机器人移动到拾取位置，通过控制气动夹爪完成线缆拾取；
进一步地，针对S21中线缆端子的目标识别和定位方法，本发明采用基于改进的YOLOv5目标检测算法，YOLOv5的网络结构包括：输入端、骨干网络、Neck、Head；其中，骨干网络为CSPDarknet53，其包含了Focus、CBL、SPP、BottleNeckCSP模块；Neck部分采用了FPN+PAN的网络结构。
针对YOLOv5模型对小目标缺陷检测效果差的问题进行改进，建立适合线缆端子小目标图像检测的改进型YOLOv5模型；增加一个扩大感受野的强化上下文模块(ECM结构)，将其嵌入到Neck模块和Head模块之间，参见图7。
其中，如图5所示为强化上下文模块ECM的结构简图，以感受野模块(ReceptiveField Block，RFB)模型为基础，对其分支结构进行调整，将原本的卷积块替换成双空洞卷积结构，同时，均采用单条3×3卷积分支。双空洞卷积结构如图6所示，为了模拟人眼视觉系统中的群感受野机制，设置采样率b>a。因此双空洞卷积结构具有较大的有效感受野，和RFB中原本的分支结构相比，具有更强的上下文信息提取能力。
双空洞卷积结构的理论感受野的计算如下：
Figure BDA0003834541410000091
其中，R为感受野大小；s为步长；f为卷积核的大小，f′为空洞卷积实际有效的卷积核大小。将ECM模块置于Head预测层之前，这可以将经过多尺度特征融合后的高层信息进一步扩大其感受野的范围。
进一步地，对于改进后的YOLOv5网络模型的训练方法如下：
1)对线缆端子进行多尺度采样、各种倾斜角度下的图像采集，包括将各种与线缆端子相似的干扰物置于背景中、调整不同强度的环境光和采集不同尺度下的线缆端子。数据集总共为968张，通过8：1：1的比例将其分为训练集、验证集和测试集；
2)数据集制造完成后，通过labelimg软件对其数据进行标注并保存；
3)基于Pytorch深度学习框架以Python环境实现YOLOv5运行环境的搭建，并使用COCO数据集预训练权重做为模型的初始化权重参数，设置迭代次数300进行模型训练。
进一步地，针对步骤S22～S24中，所述的对于不同线缆端子目标线缆线体区域的分割提取方法如下：
1)首先，由于线缆线体是有固定的颜色的，因此可以通过颜色分离进行初步的分隔提取，因此把输入的RGB通道的图像转换成HSV通道的图像，同
时对HSV图像进行阈值分割，它的三个通道均分别单独提取出来并进行双阈值分割，即：
Figure BDA0003834541410000101
其中，[H1,H2]、[S1,S2]和[V1,V2]分别表示三个通道的高低阈值，可通过读取HSV图像中线缆部位的像素的三个通道h(x,y)、s(x,y)和v(x,y)的值来拟定阈值范围。
2)其次，使用步骤S21中所述的改进的YOLOv5检测模型对采集图像中线缆端子进行识别定位，提取目标端子的ROI图像，进行二值化的阈值分割，并进行形态学处理，为了进一步准确的提取端子区域的信息，对二值化后的端子图像进行轮廓检测并提取最小外包围矩形框。通过最小外包围矩形框，更进一步地计算出线缆端子的中轴线。
3)最后，将通过颜色阈值初步分割的线体区域与提取的线缆端子中轴线在线体连接部位进行与运算，可以获得线缆端子与线体连接部位的局部像素点，以这些局部像素点作为种子点，通过8连通的区域生长算法对目标线缆线体区域进行精确分割。对于上料区中不同端子的线缆线体分割效果。
进一步地，在使用双目进行测距时需要对左右相机图像进行立体校正，具体包括：
1)首先，通过双目标定获得双目相机之间的位置关系矩阵
Figure BDA0003834541410000102
2)然后，根据
Figure BDA0003834541410000103
中的旋转矩阵
Figure BDA0003834541410000104
对两幅图像各平均旋转一半，使左右相机重投影误差减少；
3)最后，构造修正矩阵，对旋转后的两幅图像进行修正。
完成立体校正后，可以得到左相机坐标系和像素坐标系的关系为：
式中，d为视差，Q为重投影矩阵：
Figure BDA0003834541410000111
式中，Tx为基线距，f为左相机的焦距，c'x是右相机图像原点的横坐标，cx和cy分别是左相机图像原点的横纵坐标。使用所述方法对采集后的左右相机图像进行立体校正，可将左右图像调整到行对齐降低左右相似点匹配的难度。
进一步地，步骤S25中，所述的线缆抓取位姿的计算方法包括：
首先，对双目采集的线缆图像进行立体校正；
然后，对左右图像进行目标线缆区域分隔提取，获得目标线缆线体的二值图像；
对二值图像进行细化处理提取线体的中轴线，在中轴线上进行均匀采样；
通过双目测距方法对整条线缆线体上的采样点进行三维坐标计算，估算出整条线体的位姿，截取线缆端子与线体连接部位的部分采样点坐标拟合成直线，最后估算出线缆的拾取位姿。
步骤S3的过程具体如下：
S31、先将线缆夹持到旋转辅助机构上，拉直线缆线体，使线缆端子和线体处于同一直线上，同时通过夹紧机构和限位机构，使线缆只保留一个自由度即只能绕着以自身线体为轴进行旋转，如此可以进行后续线缆端子的姿态调整作业。
S32、通过双目相机采集线缆端子的侧面图像，对图像中的线缆端子的局部ROI进行截取，并使用KCF算法对其进行跟踪，提取该局部ROI图像的颜色直方图，并使用大津法分割出前景区域的颜色直方图作为图像特征数据。
S33、通过构建并离线训练一个基于多视图特征学习的回归判别模型，将S32获得图像特征数据作为输入，模型预测输出对应的线缆端子的目标角度，并通过计算机驱动旋转辅助机构进行旋转，带动线缆端子绕着自身线体旋转，从而实现线缆端子角度(姿态)调整；
S34、重复进行步骤S32、步骤S33，直到线缆端子的角度调整到预设的正确角度时，则调整完毕，即可进行后续的线孔插接作业；
进一步地，步骤S32中，所述的对线缆端子进行局部区域的图像特征提取方法如下：
首先，将机械臂移动到预设的拍照位置，对线缆端子的侧面图像进行采集，根据目标识别定位后的线缆端子区域，通过预设的偏移值截取局部ROI，使用KCF算法对该局部区域进行实时跟踪定位；
对截取的线缆端子局部图像，进行颜色直方图计算，并使用大津法(Otsu)对ROI图像的颜色直方图进行阈值分隔，提取出前景(线缆端子)和背景(非目标区域)，通过阈值筛选保留前景区域；
将前景区域的直方图数据进行如下处理：
Figure BDA0003834541410000121
式中，hist(K)为直方图数据，M表示为ROI图像的行数，通过上诉方法可以稳定的获取到关于线缆端子局部直方图的图像特征数据。
进一步地，S33中，所述的构建基于多视图特征的回归判别模型，实现对线缆端子角度调整的方法，具体包括：
1)通过旋转线缆端子实现在360°范围内离散地、均匀地对线缆端子的侧面图像进行采集；
2)对采集的左右相机图像分别对线缆端子ROI进行图像特征数据计算并记录相对应的线缆端子角度；
3)由于输入的图像特征数据为2维数据，而输出的角度值为1维数据，因此本发明使用二次曲面方程函数作为目标回归函数：
a0+a1x+a2y+a3x2+a4xy+a5y2＝z
4)该回归判别模型中的参数，可以通过离线采集多组不同的数据，对其进行最小二乘法求解。
将经过参数化训练后的判别模型用于在线线缆端子姿态调整时，将双目相机实时获得端子的侧面图像特征数据数据作为输入，通过模型可以获得预测角度值，并进行线缆端子的旋转调整，直至预测角度为预期范围内即为调整完毕。
步骤S4的过程具体如下：
S41、将姿态调整完毕后的线缆重新拾取，并将机器人移动至连接器的目标孔位附近的插线位置，通过安装在夹持器上的微型相机采集连接器和夹持状态下线缆端子的图像；
S42、对图像中的连接器和线缆端子采用基于图像灰度相关性的模板匹配算法，对它们进行识别定位，然后分别对连接器ROI图像和线缆端子ROI图像进行二值化处理并提取连接的最小外包围矩形框和线缆端子顶部的中心像素点，最后，计算线缆端子顶部中心点到连接器最小外包围矩形框的图像距离，并以此作为它们的图像位置特征数据；
S43、通过构建并离线训练一个基于支持向量回归的图像-位置视觉映射模型，将S42所计算的图像特征数据作为输入，模型输出预测的机器人位置，通过驱动机器人到达预测的位置，重新采集当前位置下连接器和线缆端子的图像，从而进行实时插线引导；
S44、重复步骤S42和步骤S43，直到目标图像特征到达预设期望误差以内，即完成了插线位置的闭环视觉引导，实现了最终线孔装配作业。
进一步地，S42中，所述的通过微型相机采集的连接器图像，计算图像中的连接器和线缆端子的图像位置关系的方法，具体包括：
1)首先，在机械臂末端微型相机采集到的图像中，通过基于图像灰度的模板匹配方法识别定位出连接器和线缆端子的区域；
2)其次，对识别到的连接器区域，进行阈值分隔将其转化为二值图像，同时对其进行形态学开闭运算处理，并提取其最小外包围矩形框；
3)然后，对识别到的线缆端子区域，同样进行阈值分隔和形态学处理，并截取出端子尖端部位ROI，根据中心矩计算出该部位的质心像素点；
4)最后，以线缆端子尖端部位的质心像素点为圆心，在上半圆的扇形区域内发出n条射线，计算每条射线上圆心到连接器最小外包围矩形框边缘的距离设为xi。通过上述方法可以获得图像特征向量X＝(x1,x2,...,xn)，本实施实例中，n＝3。
进一步地，S43中，所述的构建一个基于支持向量回归的视觉映射模型如下：
Figure BDA0003834541410000131
其中，K为核函数，s为支持向量数目，输入数据x为机械臂末端工具上微型相机采集的连接器和线缆端子之间的图像位置特征向量X＝(x1,x2,...,xn)，而输出数据f(x)则是对应的机器人位姿。
对于基于支持向量回归的视觉映射模型，其模型参数训练步骤如下：
1)样本数据制作，首先，设置好微型相机的工作距离为3.5cm～4.5cm，然后设置不同采样密度的范围，越靠近目标孔位采样密度越大，最后，在采样过程设置机械臂以固定步长移动方便样本数据的标注；
2)模型训练过程，对获得的数据样本及标注信息进行处理，对每份图像样本进行图像特征向量提取，同时保存其对应的机械臂位姿信息；
3)将获得的图像特征向量及其对应机械臂位姿数据进行读入并进行矩阵化以获得训练的数据和所需的格式
4)基于OpenCV4.1中的SVM框架搭建所设计的视觉映射模型，训练模型选择的SVM类型中的SVR模型，并选用高斯核函数。设置好相应的参数后，开始自动化训练直至误差小于预设范围或是到达预设迭代次数。
进一步地，本实施实例对所述的训练完毕的基于支持向量回归的视觉映射模型及闭环视觉引导方法进行验证，如图8所示，闭环视觉引导的插线作业流程具体包括：
将调整完姿态后的线缆端子重新夹持，移动机械臂到线孔装配区域的预设位置；通过微型相机实时采集连接器和线缆端子的图像，并实时计算它们的图像特征向量；将图像特征数据输入到支持向量回归模型中，输出预测的机械臂位姿，并进行位姿调整，实现闭环视觉引导控制直至图像特征与目标特征误差在期望值以内，机械臂位姿调整即可完毕；最后，以调整完毕的机械臂位姿进行线孔插接，完成装配引导作业。
如表1所示，为本实施实例多次对闭环视觉引导于开环的双目立体视觉引导的插线作业对比结果。
表1闭环视觉引导与开环视觉引导下线孔插配的实验结果
Figure BDA0003834541410000141
表1中，平均调整位置次数，是指闭环视觉引导过程中，位置调整的次数，本次实验中将终止迭代次数设为4。引导过程的时间是从机器人将线缆从旋转辅助机构中拾取后开始计时到插线入孔为止。而成功率的计算，则通过判断端子是否会触碰目标孔位边缘来进行判别，避免通过损坏孔位或者线缆端子结构而造成成功入孔的情况。通过表1的实验结果表明，在闭环视觉的引导下虽然消耗时间会更多，但成功率却可以高出很多。由于插线入孔为配线作业中的最后一个步骤，因此在实际的配线任务中，使用闭环视觉引导将具有更高的成功率和效率。
综上所述，本实施例相对于现有技术，具有如下优点及有益效果：
(1)根据自动化配线任务，提出了一种基于改进YOLOv5的网络模型，并用于提高对端子的检测能力，提出一种结合端子ROI信息和颜色信息的线缆线体分割算法并通过双目相机实现对线缆拾取位姿的估计；
(2)针对线缆端子姿态调整问题，采用一种基于多视图特征学习的回归判别模型用于估算端子角度并进行调整，解决了线缆端子角度调整的问题；
(3)通过设计并提取图像空间中的插座轮廓和端子的图像信息作为特征，与机械臂位姿进行映射模型的训练，实现基于支持向量回归的无标定插线视觉引导，提高了插线作业中线孔装配的成功率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉引导的面向自动配线的方法，其特征在于，包括如下步骤：
建立机器人与相机的坐标系关系；
移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆；
获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度；
对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特征，然后将该图像特征作为该视觉映射模型的输入，该模型的输出为预测目标机器人位姿，调整机器人位姿，完成线孔装配。
2.根据权利要求1所述的方法，其特征在于，所述移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆，具体为：
采集上料区中线缆的图像，通过使用基于改进的YOLOv5算法对图像中的线缆端子进行目标识别和定位；
线缆端子进行目标识别和定位后，截取图像中目标线缆端子的ROI图像，通过二值化处理和形态学处理，提取线缆端子的轮廓边缘和最小外包围矩形框，然后获得线缆端子的中轴线；
对采集线缆的原始图像进行颜色阈值分割，对线缆线体部位进行初步的图像分割，获得候选的目标区域；
获得线缆端子的中轴线及候选的目标区域进行与运算，将保留的像素点作为种子像素点，使用8连通域生长算法对图像进行线缆线体的二次分割，获得最终的目标线缆线体区域；
根据目标线缆线体区域，对其使用细化算法进行处理，获得线体中心线，在中心线上进行采样，通过双目相机三角测距算法，获得采样点的三维坐标，对采样点进行直线拟合即可获得线缆的拾取位姿，驱动机器人移动到拾取位置，通过控制气动夹爪完成线缆拾取。
3.根据权利要求1所述的方法，其特征在于，所述获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度，具体为：
拉直线缆线体，使线缆端子和线体处于同一直线上，同时对线缆进行夹紧和限位使其保留一个自由度，即只能绕着以自身线体为轴进行旋转；
采集线缆端子的侧面图像，对图像中的线缆端子的局部ROI进行截取，并使用KCF算法对其进行跟踪，提取该局部ROI图像的颜色直方图，并使用大津法分割出前景区域的颜色直方图作为图像特征数据；
通过构建并离线训练一个线缆端子的角度预测模型，将获得图像特征数据作为输入，模型预测输出对应的线缆端子的目标角度，根据目标角度，驱动线缆端子绕着自身线体旋转，从而实现线缆端子角度调整，直到线缆端子调整到正确角度，则调整完毕，进行后续的线孔插接作业。
4.根据权利要求1所述的方法，其特征在于，所述对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特征，然后将该图像特征作为该视觉映射模型的输入，该模型的输出为预测目标机器人位姿，调整机器人位姿，完成线孔装配，具体为：
将姿态调整后的线缆重新拾取，并将机器人移动至连接器的目标孔位附近的插线位置，采集连接器和夹持状态下线缆端子的图像；
对图像中的连接器和线缆端子识别定位，然后分别对连接器ROI图像和线缆端子ROI图像进行二值化处理并提取连接的最小外包围矩形框和线缆端子顶部的中心像素点，最后，计算线缆端子顶部中心点到连接器最小外包围矩形框的图像距离，并以此作为它们的图像位置特征数据；
通过构建并离线训练一个基于支持向量回归的视觉映射模型，所计算的图像特征数据作为输入，模型输出预测的机器人位置，通过驱动机器人到达预测的位置，重新采集当前位置下连接器和线缆端子的图像，再次预测目标位置然后再次移动机器人，直至图像位置误差小于期望误差，从而实现了闭环视觉的插线引导。
5.根据权利要求4所述的方法，其特征在于，采用基于图像灰度相关性的模版匹配进行连接器和线缆端子的识别定位。
6.根据权利要求2所述的方法，其特征在于，所述改进的YOLOv5算法包括输入端、骨干网络、Neck网络、强化上下文模块ECM结构及输出端。
7.根据权利要求6所述的方法，其特征在于，所述强化上下文模块ECM结构具体：
以感受野模块模型为基础，对其分支结构进行调整，将原本的卷积块替换成双空洞卷积结构，同时，均采用单条3×3卷积分支。
8.一种实现权利要求1-7任一项所述的方法的装置，其特征在于，包括配线作业执行部分、视觉检测部分及驱动控制部分；
所述配线作业执行部分包括一台二维运动平台、一台旋转辅助机构、一台六自由度机器人及安装在机器人末端的夹持器；
所述旋转辅助机构安装在二维运动平台的移动端，随着二维运动平台在竖直方向和水平方向移动，旋转辅助机构用于实现线缆端子的姿态调整，所述夹持器安装在机器人的末端，随机器人末端的移动而移动，用于夹取上料区中的待插接线缆；
所述视觉检测部分包括两个工业相机、一个微型相机及辅助光源，所述两个工业相机安装在机器人末端的夹持器，用于采集线缆和连接器的图像；微型相机安装在夹持器上，用于采集孔装配作业时夹持状态下线缆端子与目标插接孔位的图像；所述辅助光源安六自由度工业机器人末端的夹持器，用于调节光照强度调整图像采集区域周围的环境光；
所述驱动控制部分用于驱动二维运动平台移动及旋转辅助机构内部的齿轮进行旋转及驱动六自由度工业机器人移动到目标位置。
9.根据权利要求8所述的装置，其特征在于，所述旋转辅助机构包括一个金属底座及旋转辅助机构本体，所述旋转辅助机构本体包括三个完全齿轮、一个不完全齿轮、限位机构和夹紧机构，限位机构和夹紧机构将待插接线缆线体拉成平直的状态，通过齿轮的旋转带动置于其中的线缆端子以自身线体为轴进行旋转，实现线缆端子的姿态调整。
10.根据权利要求8所述的装置，其特征在于，所述夹持器包括气动夹爪和金属连接器，所述工业相机安装在六自由工业机器人末端的夹持器上；微型相机安装在夹持器上且与气动夹爪相邻。
CN202211083707.4A 2022-09-06 2022-09-06 一种基于视觉引导的面向自动配线的方法及装置 Pending CN115629066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211083707.4A CN115629066A (zh) 2022-09-06 2022-09-06 一种基于视觉引导的面向自动配线的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211083707.4A CN115629066A (zh) 2022-09-06 2022-09-06 一种基于视觉引导的面向自动配线的方法及装置

Publications (1)

Publication Number Publication Date
CN115629066A true CN115629066A (zh) 2023-01-20

Family

ID=84902401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211083707.4A Pending CN115629066A (zh) 2022-09-06 2022-09-06 一种基于视觉引导的面向自动配线的方法及装置

Country Status (1)

Country Link
CN (1) CN115629066A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188468A (zh) * 2023-04-27 2023-05-30 济宁市长荣电器科技有限公司 一种hdmi线缆传输分拣智能控制系统
CN116652988A (zh) * 2023-07-28 2023-08-29 江苏泽宇智能电力股份有限公司 智能光纤配线机器人及其控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188468A (zh) * 2023-04-27 2023-05-30 济宁市长荣电器科技有限公司 一种hdmi线缆传输分拣智能控制系统
CN116652988A (zh) * 2023-07-28 2023-08-29 江苏泽宇智能电力股份有限公司 智能光纤配线机器人及其控制方法
CN116652988B (zh) * 2023-07-28 2023-10-27 江苏泽宇智能电力股份有限公司 智能光纤配线机器人及其控制方法

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN111775146A (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN109297413B (zh) 一种大型筒体结构视觉测量方法
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN105729468A (zh) 一种基于多深度摄像机增强的机器人工作台
CN111347411B (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
EP1477934A2 (en) Image processing apparatus
CN111923053A (zh) 基于深度视觉的工业机器人物件抓取示教系统及方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN110298885B (zh) 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
CN112775959A (zh) 机械手的抓取位姿确定方法及系统、存储介质
CN113103235B (zh) 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
CN113500593B (zh) 一种抓取轴类工件指定部位进行上料的方法
CN113334380A (zh) 基于双目视觉的机器人视觉标定方法、控制系统及装置
CN114434123A (zh) 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
CN116984269A (zh) 一种基于图像识别的煤矸石抓取方法及系统
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
US20220234208A1 (en) Image-Based Guidance for Robotic Wire Pickup

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination