CN114800494A - 一种基于单目视觉的搬箱机械手 - Google Patents

一种基于单目视觉的搬箱机械手 Download PDF

Info

Publication number
CN114800494A
CN114800494A CN202210386972.3A CN202210386972A CN114800494A CN 114800494 A CN114800494 A CN 114800494A CN 202210386972 A CN202210386972 A CN 202210386972A CN 114800494 A CN114800494 A CN 114800494A
Authority
CN
China
Prior art keywords
box
image
carrying
manipulator
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210386972.3A
Other languages
English (en)
Inventor
孙巧妍
张德军
林春梅
高长旭
裴进涛
张洋
姚绪强
刘金海
衣玉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Nanshan University
Original Assignee
Yantai Nanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Nanshan University filed Critical Yantai Nanshan University
Priority to CN202210386972.3A priority Critical patent/CN114800494A/zh
Publication of CN114800494A publication Critical patent/CN114800494A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明是一种基于单目视觉的搬箱机械手，包括计算机，3轴机械手，安装在搬运场地上方、与计算机相连的单目摄像头和超声波传感器，按照如下步骤执行：S1，单目摄像头对场地内的箱子进行俯视采集图像；S2，计算机对单目摄像头采集的箱子的图像进行处理和识别，得到一个适合搬运的箱子；S3，计算机根据箱子的图像，确定待搬运箱子的平面质心坐标（
Figure DEST_PATH_IMAGE002
）；S4，计算机控制3轴搬运机械手到达待搬运箱子的平面质心正上方；S5，超声波传感器对待搬运箱子的顶面进行距离测量，计算机计算出机械手下降的距离；S6，3轴机械手搬运该箱子；重复步骤S1‑S5，直至搬运完所有的箱子。本发明方法独特，造价低廉，但能够达到搬运要求。

Description

一种基于单目视觉的搬箱机械手
技术领域
本发明涉及自动化设备，具体是一种基于单目视觉的搬箱机械手。
背景技术
箱式散货搬运工作是很多企业的生产过程中会遇到的工作任务，由运货车送来的箱式货物散乱堆放于地上，需要运送到传送带上以便进入后续工序流程。虽然很多大型企业已经定制了适用本企业工作情况的智能机械手辅助完成工作以节省人力，但对于很多中小企业而言，定制专门的智能机械手成本过高，不少企业仍旧利用固定工作模式的机械手和人工辅助工作。工人将货物搬运至机械手下方固定位置，再由机械手搬运至传动带上。甚至很多企业仍旧采用完全人工搬运的方式。因此，需要研究一种经济实用的方法，将固定位置机械手进行改造，利用视觉识别系统自动的识别货物所在位置，然后自主的抓取货物放到传送带上。
现有技术通过双目摄像头结合一定的算法能够还原出箱子的三维轮廓，再控制搬箱机械手进行抓取和搬运。但这种方式需要高清摄像头和强大的算力才能实现，将导致整个机械手造价不菲，一般中小微企业难以企及。
发明内容
为克服现有技术的缺陷或缺陷之一，本发明提供一种基于单目视觉的搬箱机械手，所采取的技术方案是：
一种基于单目视觉的箱式货物搬运机械手，包括计算机，3轴机械手，其特征在于，还包括安装在搬运场地上方、与计算机相连的单目摄像头和超声波传感器，按照如下步骤执行：
S1，机械手初始位置坐标记定义为(0,0)，单目摄像头对场地内的箱子进行俯视采集图像；
S2，计算机对单目摄像头采集的箱子的图像进行处理和识别，得到一个适合搬运的箱子；
S3，计算机根据第一个箱子的图像，确定待搬运箱子的平面质心坐标(xc,yc)；
S4，计算机控制3轴搬运机械手到达待搬运箱子的平面质心正上方；
S5，超声波传感器对待搬运箱子的顶面进行距离测量，计算机计算出机械手下降的距离；
S6，3轴机械手搬运该箱子；
重复步骤S1-S5，直至搬运完所有的箱子。
与现有技术相比，本发明方法独特，造价低廉，但能够达到搬运要求，非常适合中国国情，让普通企业也能实现自动化。
附图说明
图1是本发明具体实施例中第一组图片经图像处理的分步效果图。
图2本发明具体实施例中第二组图片经图像处理后得到的质心效果图。
图3是3轴机械臂求逆解模型示意图。
具体实施方式
下面通过具体实施例对本发明作详细说明。
1.系统整体设计思路
实际工作中，箱式货物散乱堆放在地面上，箱子表面不光滑，颜色可能不均匀甚至混杂。机械手搬运时应优先搬运位置在上的或者单独散落在旁边不与其他货物交叠的箱子。因此，在图像识别时，应识别出具有完整轮廓的箱子，然后进行搬运。一轮搬运完毕后机械手回到箱子堆上方初始位置再次采集图像，重新选择合适搬运的箱子，直至搬完。由于使用单目视觉只能通过图像识别算法识别出平面图像中箱子的质心坐标，无法识别出所要搬运箱子在垂直高度方向上的数据，因此本系统采用超声波模块辅助测试箱子的高度。
机械手初始位置坐标记为(0,0)，摄像头安装于场地上方，拍摄俯视角度的图像。将图像传送至控制器或PC机，然后在控制器或PC机上通过图像算法识别图像。如果图像中已无箱子，则程序结束，否则识别出当前图像中一个具有完整轮廓的箱子，确定该箱子的水平面位置坐标(x，y)。将该坐标传送至机械手驱动控制器，由控制器控制机器手做平行水平地面的运动移至(x，y)位置正上方，然后利用超声波传感器模块检测机械手距离箱子顶面的距离，根据距离驱动机械手下降至适合位置处抓取箱子搬运至传送带。该箱子搬运完毕后机械手再次回到箱子堆上方采集图像，进入下一轮循环。
2.图像识别处理算法
2.1图像二值化
考虑到不论地面颜色、箱子颜色、光照情况如何，算法都应普遍适用，因此采用颜色识别算法是不适宜的，需要将采集到的RGB三维图像二值化。本算法不使用常规的计算阈值的方法，即将灰度图像的所有的灰度值绘制成一个直方图，两个波峰之间的波谷的横坐标就是阈值，再按照阈值分割处理的方法。而是采用将RGB三维数据按照一定权值折算处理。经实验验证，采用下述权值设置效果较好。
Figure BDA0003595288620000021
2.2边缘检测
二值化后，为了将待识别的箱子灰度部分突出出来，再将0.2到0.6之间的灰度扩展到0到1整个范围。使用边缘检测算法目标是识别出无规律散落在地上的箱子中一个完整箱子的边缘外形。分别使用edge函数Sobel、Prewitt、Roberts、Canny四种不同的边缘检测算子提取原始图像的边缘，发现差别不大。因此本算法使edge函数默认的Sobel算子进行边缘检测。
2.3降噪滤波
在用摄像头拍摄图像时，因为环境影响，使提取到的图像或多或少都会有一些噪声干扰，图像的质量也会因噪声干扰而出现模糊不清楚的情况，从而图像的某些关键特征被掩盖掉。用5×5的方形结构元对上一步处理后的图像进行2次腐蚀操作，使边界点向内收缩，消除小且无意义的杂点，使箱子边界更加清晰。
2.4寻找完整图像
将上一步处理后的图像依次进行以下操作，可以找到本次适宜搬运的箱子集合。
(1)将上一步处理后的图像进行“填孔洞”操作。只有没有被遮挡的箱子才会有完整清晰的边界，执行填孔洞操作时会有变化。被遮挡的箱子对应的边缘图像无孔可填。
(2)将上一步处理后的图像和处理之前的图像进行减法操作，剔除部分被遮挡的箱子图像，达到降噪目的。
(3)计算上一步图像的面积，再用bwareaopen函数从上一步处理后的图像中移除所有面积小于阈值的连通图像，进一步将噪声图像和部分被遮挡的箱子图像剔除。阈值应根据摄像头安装高度和箱子最小侧面面积大小确定，且应考虑箱子表面污损和有图案等因素。
2.5得到搬运目标
将上一步处理后的图像先标记连通区域，然后计算每个连通区域的面积，取所有面积中最小的那个面积作为本次搬运目标。
2.6提取质心
确定了搬运目标后，需要提取目标的质心。本算法采用的是普通质心算法，该算法的定义为
Figure BDA0003595288620000031
其中(xc,yc)为光斑的中心坐标，Iij为二维图像上每个像素点所接收到的光强，将识别出的质心在采集到的原图上做出标识。
2.7实验验证
为了验证算法的可行性，实验模拟采集了不同颜色不同场地背景的两组图片。本次实验采集的图片使用的拍摄工具是Vivo s7手机的摄像头，帧数30fps，编码H.265。仿真软件是MATLAB 2019a版本。所用的电脑处理器参数是11th Gen Intel(R)Core(TM)i5-1135G7@2.40GHz，内存容量是16GB。实验中取阈值为28000。图1是按照上述算法处理实验第一组图片后各步骤处理完成后的图像。图2是使用算法处理第二组图片得到箱子的平面质心效果图。
实验结果说明该算法不依赖于箱子颜色、底面颜色和光照条件，对此类实际工程需求普遍适用。从实验结果看出，获取的质心坐标会有误差，且误差大小会因箱子表面粗糙程度、光照条件等因素影响而变化。实际工作中，可以通过调整机械手抓张开角度的余量来弥补，以确保识别出的箱子能够可靠地被抓取。
3机械臂逆解运算
利用图像识别算法识别出待搬运箱子的(x,y)坐标后，将坐标数据无线传送给处于下位机的单片机。使用STC-ISP(V6.87K)串口助手即可实现PC与单片机的串口通信。下位机通过求逆解得出各数字舵机转动控制参数，然后控制机械手进行目标抓取并搬运。
如果要使机械臂完成搬运箱子的动作，需要进行逆解建模，通过建模计算得出的数据调整各数字舵机的角度，控制机械臂动作完成动作，这里采用几何逆解建模。如图3所示，3轴机械手，已知机械臂尺寸l1、l2、l3。从末端A点开始逆推θ1、θ2和θ3，已知A点坐标(xA,yA)和角γ。A点坐标即是由图像处理算法得到的数据。
α，β角定义如图所示。过程如下。
第一步，求B点坐标。
Figure BDA0003595288620000041
第二步，求出理想的θ1。
根据余弦定理，
Figure BDA0003595288620000042
Figure BDA0003595288620000051
Figure BDA0003595288620000052
所以得出θ1＝α+β。
第三步，求出理想的θ2。
根据三角函数关系和余弦定理，
Figure BDA0003595288620000053
Figure BDA0003595288620000054
第四步，求出θ3。
通过γ＝θ1+θ2+θ3，求出θ3＝γ-θ1-θ2。
至此，逆解的角度值全部计算完毕。该计算过程由下位机完成，并根据计算结果驱动舵机执行。
4纵向距离的获取
机械臂移动至待搬运的箱子上方后，需要用超声波模块检测箱子顶端距离机械手的距离。超声波模块可采用现成的HC-SR04超声波模块，该模块可提供2cm-400cm的非接触式距离感测功能，测距精度可达高到3mm。模块包括超声波发射器、接收器与控制电路。基本工作原理是采用IO口TRIG触发测距，给至少10us的高电平信号。模块自动发送8个40khz的方波自动检测是否有信号返回。有信号返回，通过IO口ECHO输出一个高电平，高电平持续的时间就是超声波从发射到返回的时间。根据该模块的特性，可根据下述公式计算出机械手距离待搬取箱子的距离。
d＝(ton×v声音)/2
v声音取340m/s。ton为高电平时间。计算完成后，再根据数据通过求逆解驱动机械臂的各个舵机，完成机械手下降至对应位置抓取箱子的控制。本发明未说明或未详细说明的部分为本领域的现有技术或公知常识。

Claims (5)

1.一种基于单目视觉的箱式货物搬运机械手，包括计算机，3轴机械手，其特征在于，还包括安装在搬运场地上方、与计算机相连的单目摄像头和超声波传感器，按照如下步骤执行：
S1，机械手初始位置坐标记定义为(0,0)，单目摄像头对场地内的箱子进行俯视采集图像；
S2，计算机对单目摄像头采集的箱子的图像进行处理和识别，得到一个适合搬运的箱子；
S3，计算机根据第一个箱子的图像，确定待搬运箱子的平面质心坐标(xc,yc)；
S4，计算机控制3轴搬运机械手到达待搬运箱子的平面质心正上方；
S5，超声波传感器对待搬运箱子的顶面进行距离测量，计算机计算出机械手下降的距离；
S6，3轴机械手搬运该箱子；
重复步骤S1-S5，直至搬运完所有的箱子。
2.根据权利要求1所述的一种基于单目视觉的箱式货物搬运机械手，其特征在于，在步骤S2中，对图像识别和处理包括如下步骤：
S21，二值化处理，将采集图像的RGB三色数据按照下述权值折算处理：
Figure FDA0003595288610000011
S22，边缘检测，使用edge函数默认的Sobel算子，将0.2到0.6之间的灰度扩展到0到1整个范围；
S23，降噪滤波，用5×5的方形结构元对上一步处理后的图像进行2次腐蚀操作，使边界点向内收缩，消除小且无意义的杂点；
S24，寻找完整图像，首先上步的图像进行“填孔洞”操作，只有没有被遮挡的箱子才会有完整清晰的边界，执行填孔洞操作时会有变化，被遮挡的箱子对应的边缘图像无孔可填；再对图像进行减法操作，剔除部分被遮挡的箱子图像，计算剩余图像的面积；最后用bwareaopen函数从上一步处理后的图像中移除所有面积小于阈值的连通图像，进一步将噪声图像和部分被遮挡的箱子图像剔除；
S25，得到搬运目标，将上一步处理后的图像先标记连通区域，然后计算每个连通区域的面积，取所有面积中最小的那个面积作为本次搬运目标。
3.根据权利要求1所述的一种基于单目视觉的箱式货物搬运机械手，其特征在于，在步骤S3中，箱子的平面质心按照如下算法：
Figure FDA0003595288610000021
其中(xc,yc)为光斑的中心坐标，Iij为二维图像上每个像素点所接收到的光强，将识别出的质心在采集到的原图上做出标识。
4.根据权利要求1所述的一种基于单目视觉的箱式货物搬运机械手，其特征在于，在步骤S4中，3轴搬运机械手对目标抓取并搬运，采用逆解建模，通过建模计算得出的数据调整各数字舵机的角度，控制机械臂动作完成动作，逆解过程包括：
S51，求B点坐标，根据下式
Figure FDA0003595288610000022
S52，求出理想的θ1，根据余弦定理
Figure FDA0003595288610000023
Figure FDA0003595288610000024
Figure FDA0003595288610000025
所以得出θ1＝α+β；
S53，求出理想的θ2，根据三角函数关系和余弦定理，
Figure FDA0003595288610000026
Figure FDA0003595288610000027
第四步，求出θ3
通过γ＝θ1+θ2+θ3，求出θ3＝γ-θ1-θ2；
其中，l1、l2、l3分别为第一、第二、第三机械臂的尺寸；xA,yA为A点坐标，即是由图像处理算法得到的数据；γ为第三机械臂与水平面的夹角；α为第一机械臂与水平面的夹角；β为第三机械臂外端与水平面的夹角；θ1、θ2和θ3分别为第一机械臂与水平面的夹角、第二机械臂与第一机械臂延长线的夹角和第三机械臂与第二机械臂延长线的夹角。
5.根据权利要求1所述的一种基于单目视觉的箱式货物搬运机械手，其特征在于，在步骤S5中，机械手下降的距离根据下式计算：
d＝(ton×v声音)/2
式中，v声音取340m/s，ton为高电平时间。
CN202210386972.3A 2022-04-14 2022-04-14 一种基于单目视觉的搬箱机械手 Withdrawn CN114800494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210386972.3A CN114800494A (zh) 2022-04-14 2022-04-14 一种基于单目视觉的搬箱机械手

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210386972.3A CN114800494A (zh) 2022-04-14 2022-04-14 一种基于单目视觉的搬箱机械手

Publications (1)

Publication Number Publication Date
CN114800494A true CN114800494A (zh) 2022-07-29

Family

ID=82537497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210386972.3A Withdrawn CN114800494A (zh) 2022-04-14 2022-04-14 一种基于单目视觉的搬箱机械手

Country Status (1)

Country Link
CN (1) CN114800494A (zh)

Similar Documents

Publication Publication Date Title
CN113643280B (zh) 一种基于计算机视觉的板材分拣系统及方法
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN107945192B (zh) 一种托盘纸箱垛型实时检测方法
CN111461107A (zh) 用于识别感兴趣区的材料搬运方法、装置和系统
CN107315410B (zh) 一种机器人自动排障方法
CN106809730A (zh) 一种基于视觉的集装箱自动对接起吊系统及起吊方法
CN105217324A (zh) 一种新型的拆垛方法和系统
CN113666028B (zh) 一种基于激光雷达和相机融合的垃圾桶检测抓取方法
CN105690393A (zh) 一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN112850186A (zh) 一种基于3d视觉的混合拆码垛方法
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
CN109579698B (zh) 一种智能货物检测系统及其检测方法
CN117132655B (zh) 基于机器视觉的灌装桶口位置测量方法
CN112338898B (zh) 物体分选系统的图像处理方法、装置及物体分选系统
CN111805533B (zh) 用于工件下料的装置、基于视觉定位的工件下料的方法
Gao et al. An automatic assembling system for sealing rings based on machine vision
CN114800494A (zh) 一种基于单目视觉的搬箱机械手
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
CN205552536U (zh) 一种基于机器视觉的四轴并联机器人分拣系统
CN107316302A (zh) 基于双目视觉的行车自动定位装置及其对应的定位方法
CN112233176A (zh) 一种基于标定物的目标位姿测量方法
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
Jia et al. Pallet detection based on Halcon for warehouse robots
CN109448057B (zh) 一种基于三维点云的安全定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220729