CN118145318B - 基于机器视觉技术的机器人自动上下料系统及方法 - Google Patents

基于机器视觉技术的机器人自动上下料系统及方法 Download PDF

Info

Publication number
CN118145318B
CN118145318B CN202410590628.5A CN202410590628A CN118145318B CN 118145318 B CN118145318 B CN 118145318B CN 202410590628 A CN202410590628 A CN 202410590628A CN 118145318 B CN118145318 B CN 118145318B
Authority
CN
China
Prior art keywords
module
robot
feeding
target
discharging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410590628.5A
Other languages
English (en)
Other versions
CN118145318A (zh
Inventor
赵士礼
杨杰
余泽超
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinzhili Intelligent Technology Changzhou Co ltd
Original Assignee
Xinzhili Intelligent Technology Changzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinzhili Intelligent Technology Changzhou Co ltd filed Critical Xinzhili Intelligent Technology Changzhou Co ltd
Priority to CN202410590628.5A priority Critical patent/CN118145318B/zh
Publication of CN118145318A publication Critical patent/CN118145318A/zh
Application granted granted Critical
Publication of CN118145318B publication Critical patent/CN118145318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/905Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G15/00Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
    • B65G15/30Belts or like endless load-carriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于机器视觉技术的机器人自动上下料系统及方法,包括:机器人,用于执行操作物料上下料动作的执行机构;所述机器人包含有机械臂,所述机械臂上安装有对物料吸取的吸盘,所述机械臂的底部安装有固定于地面的电动滑轨,所述机械臂的两侧分别设置有物料输送带与加工设备;电动滑轨上滑动安装有滑块,所述机械臂通过螺栓固定安装于滑块上。本发明中,根据机器人的上下料工作环境,适应性规划出合适的转运路线,保证上下料的稳定运行与精确性;连接加工设备,合理选择上料与下料步骤,同时在上下料过程中对周围进行实时检测,避免碰撞或减少碰撞损失,提高机器人上下料系统的使用安全性。

Description

基于机器视觉技术的机器人自动上下料系统及方法
技术领域
本发明涉及自动化机械技术领域,更具体地说,涉及基于机器视觉技术的机器人自动上下料系统及方法。
背景技术
机器人自动上下料是一种自动化技术,通常用于工厂和生产线中。这项技术利用机器人系统来执行物料的上料和下料任务,以提高生产效率、降低成本并减少人力需求。
但是机器人的启动夹爪或吸盘大多被编程为执行特定的动作,这就导致了物料的上下料位置需要明确固定,出现一点偏差就会导致机器人对物料的夹取失败,但是如果物料、工件或目标工位的位置发生变化,固定的编程动作无法满足上下料需求,且上下料区域的障碍可能会发生变化,在机器人上下料过程中需要规避新增障碍或者在障碍减少时进一步优化路径选择,提高上下料效率与准确性。
发明内容
针对现有技术中存在的问题,本发明的目的在于提供一种基于机器视觉技术的机器人自动上下料系统及方法,以解决背景技术问题。
为实现上述目的,本发明采用如下的技术方案;
基于机器视觉技术的机器人自动上下料系统,包括:
机器人,用于执行操作物料上下料动作的执行机构;
所述机器人包含有机械臂,所述机械臂上安装有对物料吸取的吸盘,所述机械臂的底部安装有固定于地面的电动滑轨,所述机械臂的两侧分别设置有物料输送带与加工设备。
电动滑轨上滑动安装有滑块,所述机械臂通过螺栓固定安装于滑块上,所述滑块上穿插有位于机械臂底座四角的定位柱,所述定位柱与滑块之间固定安装有弹簧,所述滑块上嵌设有均匀分布的且位于机械臂底座底部的滚珠。
所述物料输送带上安装有引导隔板,所述物料输送带的两侧被引导隔板分隔为上料区与下料区,所述物料输送带靠近机械臂的一侧固定安装有上料暂存区与下料暂存区,所述加工设备匹配一个或一个以上的目标工位。
机器视觉系统,用于获取机器人所要操作物料与目标工位的图像数据并对图像数据进行处理分析,对图像中的物料与目标工位进行特征提取分析。
所述机器视觉系统包含有安装于机械臂夹爪部分的机器摄像头,用于采集物料与目标工位的图像数据;图像处理模块,用于对机器摄像头采集的图像数据进行预处理,处理操作包括去噪、增强与图像变换;特征提取模块,用于从经过图像处理模块处理的图像数据中提取物料与目标工位的特征;目标识别模块,用于对特征提取模块提取到的特征进行识别,确定目标;目标跟踪模块,根据目标识别模块识别的目标,保持图像数据中目标的持续识别与追踪。
控制执行系统,用于根据机器视觉系统所处理的物料与目标工位图像中的位置数据,对路径进行规划分析,并做出决策,控制机器人操作物料的移动路径。
控制执行系统包含有安装于上下料工作区域上方的空间摄像头,所述空间摄像头用于从上向下拍摄采集物料的移动区域与目标工位的加工设备图像数据;空间建模模块,所述空间建模模块根据空间摄像头所拍摄的图像数据构建对应的三维模型,并为每个模型中的每个区域赋予一个代价值;路径分析模块,用于对机器人、物料与目标工位的位置进行分析,选择在三维模型代价最小的路径;控制执行模块,根据路径分析模块所分析选择的路径对机器人进行控制,完成对物料的上下料操作。
作为上述技术方案的进一步描述:
所述上料暂存区上固定安装有限制边框,所述限制边框,所述限制边框远离物料输送带一边的内侧固定安装有压力传感器,所述压力传感器与物料输送带的控制器电性连接,所述下料暂存区向物料输送带方向向下倾斜。
作为上述技术方案的进一步描述:
所述空间摄像头所采集的图像数据与加工作业中所使用的加工设备体积参数共同存储于建模数据库中,其中加工设备中的每个加工工位均明确标注于空间建模模块中的三维模型内。
作为上述技术方案的进一步描述:
还包括上下料抉择模块,所述上下料抉择模块与每个加工设备数据连接,获取加工设备的工作状态,加工设备的工作状态分为:无物料空闲状态、加工中状态与加工完成待下料状态;
所述控制执行系统所规划的路径的目标工位为无物料空闲状态与加工完成待下料状态,当目标工位为无物料空闲状态则执行上料操作,当目标工位为加工完成待下料状态时则执行下料操作。
作为上述技术方案的进一步描述:
所述特征提取模块对图像数据中的提取的特征分为工件特征与工位特征,工件特征为形状特征,工位特征为形状特征与颜色特征。
作为上述技术方案的进一步描述:
所述路径分析模块的路径规划分为两种情景,具体如下:
机器人上下料工作区域为封闭状态,且物料放置区域与加工设备数量、位置与结构保持不变,路径分析模块采用A-star algorithm算法,其对于三维模型内代价值计算公式如下:
f(n)=g(n)+h(n);
其中f(n)为总代价值,g(n)表示从起始区域节点到区域节点n的实际代价,h(n)表示从区域节点n到目标区域节点的估计代价启发式函数;
机器人上下料工作区域为开放状态,或物料放置区域与加工设备数量、位置与结构保持其一或一种以上前提发生变化,路径分析模块采用D*-Lite algorithm算法,其对于三维模型内代价值的计算公式如下:
f(n)=g(n)+rhs(n);
其中f(n)为总代价值,g(n)表示从起始区域节点到区域节点n的实际代价,rhs(n)代表从节点n到目标节点的最小预估代价。
作为上述技术方案的进一步描述:
包含有碰撞检测模块,所述碰撞检测模块包含有距离传感器、震动传感器与检测模块,其中所述距离传感器与震动传感器用于对机器人与工件的碰撞或即将发生的碰撞进行识别,所述检测模块分析距离传感器与震动传感器的监测数据,所述检测模块与控制执行模块信号连接。
作为上述技术方案的进一步描述:
还包含有报警模块,用于对机器人上下料系统的故障进行声光提示,并终止机器人的动作。
本发明还提供了:
基于机器视觉技术的机器人自动上下料方法,适用于基于机器视觉技术的机器人自动上下料系统的上下料方法,具体步骤如下:
S1、物料输送带输送物料,经过引导隔板引导至上料暂存区,通过机器人上安装的机器摄像头获取上料暂存区中存放所要夹取物料或加工设备已加工完成物料的图像数据,并通过图像处理模块对所拍摄的物料图像数据进行预处理;
S2、特征提取模块对处理后的图像数据进行特征提取,并通过目标识别模块与目标跟踪模块确定目标并实时跟踪;
S3、然后空间摄像头采集上下料工作区域的图像数据,空间建模模块根据上下料工作区域的图像数据对上下料工作区域进行三维建模;
S4、路径分析模块对物料位置与目标工位位置以及机器人位置进行分析,通过赋予三维建模中每块区域的代价值进行选择代价最小的路径;
S5、控制执行模块根据目标识别模块与目标跟踪模块的识别信息,以及路径分析模块所选择的路径,控制机械臂,将物料抓取、移动与放置,完成上料或者下料步骤。
相比于现有技术,本发明的优点在于:
(1)本方案,通过将物料输送带的上料区域与下料区域进行划分,限定了机器人上料夹取物料范围,方便机械臂上安装的机器摄像头获取视觉图像,减少夹取动作的数据处理步骤,从而提高上下料的工作效率,适应一工件对多工位,或多工件对多工位等复杂工作环境。
(2)本方案,通过机器视觉技术对机器人的目标物料与目标工位进行识别,方便进行抓取放置,并通过控制执行系统规划周转路线,根据机器人的上下料工作环境,适应性规划出合适的转运路线,保证上下料的稳定运行与精确性。
(3)本方案,针对多设备多工位,连接加工设备,合理选择上料与下料步骤,同时在上下料过程中对周围进行实时检测,避免碰撞或减少碰撞损失,提高机器人上下料系统的使用安全性。
附图说明
图1为本发明的俯视结构示意图;
图2为本发明机械臂与电动滑轨的连接结构示意图;
图3为本发明的原理示意图;
图4为本发明机器视觉系统的原理示意图;
图5为本发明控制执行系统的原理示意图;
图6为本发明的工作流程示意图。
图中标号说明:
100、机器人;110、机械臂;120、电动滑轨;121、滑块;122、定位柱;123、弹簧;124、滚珠;130、物料输送带;131、引导隔板;132、上料区;133、下料区;134、上料暂存区;135、下料暂存区;136、限制边框;137、压力传感器;140、加工设备;200、机器视觉系统;210、机器摄像头;220、图像处理模块;230、特征提取模块;240、目标识别模块;250、目标跟踪模块;300、控制执行系统;310、空间摄像头;320、空间建模模块;330、路径分析模块;340、控制执行模块;350、建模数据库;400、上下料抉择模块;500、碰撞检测模块;510、距离传感器;520、震动传感器;530、检测模块;600、报警模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图1-6,本发明提供了实施例1:
基于机器视觉技术的机器人自动上下料系统,包括:
机器人100,用于执行操作物料上下料动作的执行机构;
机器人100包含有机械臂110,机械臂110上安装有对物料吸取的吸盘,机械臂110的底部安装有固定于地面的电动滑轨120,机械臂110的两侧分别设置有物料输送带130与加工设备140。
电动滑轨120上滑动安装有滑块121,机械臂110通过螺栓固定安装于滑块121上,滑块121上穿插有位于机械臂110底座四角的定位柱122,定位柱122与滑块121之间固定安装有弹簧123,滑块121上嵌设有均匀分布的且位于机械臂110底座底部的滚珠124。
通过滚珠124方便安装机械臂110时,机械臂110能够在滑块121上滑动,移动到位后,代表定位柱122顶部无阻挡,则定位柱122弹出限制机械臂110的滑动,完成定位,然后通过螺栓固定安装,保证机械臂110安装定位的准确性,方便控制执行系统300中对机械臂110初始位置的获取设定。
物料输送带130上安装有引导隔板131,物料输送带130的两侧被引导隔板131分隔为上料区132与下料区133,物料输送带130靠近机械臂110的一侧固定安装有上料暂存区134与下料暂存区135,加工设备140匹配一个或一个以上的目标工位。
通过上料暂存区134能够将未加工多余物料工件进行存放,并通过引导隔板131持续引导,而下料暂存区135则存放完成下料步骤的物料工件的存放传输。
其中,上料暂存区134上固定安装有限制边框136,限制边框136远离物料输送带130一边的内侧固定安装有压力传感器137,压力传感器137与物料输送带130的控制器电性连接,下料暂存区135向物料输送带130方向向下倾斜。
其中限制边框136能够避免工件互相推挤导致物料工件从上料暂存区134中掉落,当上料暂存区134中物料工件堆满时,则表示其中物料工件触碰到压力传感器137,压力传感器137将检测数据上传物料输送带130控制器,并通过控制器控制物料输送带130的停运,避免进一步持续上料造成物料工件堆积或过度挤压,而倾斜下料暂存区135在机械臂110下料后,物料工件放置在下料暂存区135后滑落至物料输送带130输出。
机器视觉系统200,用于获取机器人100所要操作物料与目标工位的图像数据并对图像数据进行处理分析,对图像中的物料与目标工位进行特征提取分析。
机器视觉系统200包含有安装于机械臂110夹爪部分的机器摄像头210,用于采集物料与目标工位的图像数据;图像处理模块220,用于对机器摄像头210采集的图像数据进行预处理,处理操作包括去噪、增强与图像变换;特征提取模块230,用于从经过图像处理模块220处理的图像数据中提取物料与目标工位的特征;目标识别模块240,用于对特征提取模块230提取到的特征进行识别,确定目标;目标跟踪模块250,根据目标识别模块240识别的目标,保持图像数据中目标的持续识别与追踪。
通过机器视觉系统200对机器人所要夹取的物料进行识别,并确定物料边框,从而给予机器人100夹爪夹取视野与夹取范围方式,提高机器人100对于物料的夹取稳定性,同时获取目标工位图像,能够准确的将物料进行放置,完成上料或下料操作。
控制执行系统300,用于根据机器视觉系统200所处理的物料与目标工位图像中的位置数据,对路径进行规划分析,并做出决策,控制机器人100操作物料的移动路径。
控制执行系统300包含有安装于上下料工作区域上方的空间摄像头310,空间摄像头310用于从上向下拍摄采集物料的移动区域与目标工位的加工设备140图像数据;空间建模模块320,空间建模模块320根据空间摄像头310所拍摄的图像数据构建对应的三维模型,并为每个模型中的每个区域赋予一个代价值;路径分析模块330,用于对机器人100、物料与目标工位的位置进行分析,选择在三维模型代价最小的路径;控制执行模块340,根据路径分析模块330所分析选择的路径对机器人100进行控制,完成对物料的上下料操作。
通过控制执行系统300对机器人100的工作环境进行拍摄扫描,从而形成三维模型,将加工设备140的结构在模型内形成模拟实体,并对所拍摄的区域进行划分并赋予代价值,从而选择代价地图算法,选择代价最小的路径,让机器人100与物料在该路径内运动,完成周转动作,同时完成避障工作,能够高效准确的上下料,且避免碰撞。
其中,特征提取模块230对图像数据中的提取的特征分为工件特征与工位特征,工件特征为形状特征,工位特征为形状特征与颜色特征。
机器人100的上下料的总结是从原位置转移至目标位置,而原位置即为物料初始位置,目标位置为目标工位下料位置,由于机器人100需要对物料进行夹取,所以需要获取物料的形状以及形状边框,故识别主要方向为形状特征,而工位特征可以在目标工作涂装标识颜色来方便机器视觉系统200的识别,提高识别效率与准确性,所以在形状特征的基础上增加颜色特征,来辅助识别,提高识别准确率。
路径分析模块330的路径规划分为两种情景,具体如下:
机器人上下料工作区域为封闭状态,且物料放置区域与加工设备140数量、位置与结构保持不变;
机器人上下料工作区域为开放状态,或物料放置区域与加工设备140数量、位置与结构保持其一或一种以上前提发生变化。
路径分析模块330在以上两种情景所选择的代价地图算法是有区别的,在第一种情况下,代表了上下料工作区域中的障碍设置在机器人100工作时是固定不变的,故而路径的选择仅需在该固定障碍内进行,采用A-star algorithm算法,其对于三维模型内代价值计算公式如下:
f(n)=g(n)+h(n);
其中f(n)为总代价值,g(n)表示从起始区域节点到区域节点n的实际代价,h(n)表示从区域节点n到目标区域节点的估计代价启发式函数。
在第二种情况下,代表上下料工作区域中的障碍可能会发生变化,并通过空间摄像头310实时拍摄扫描障碍位置与物料目标工位的变化,再由空间建模模块320对三维模型进行更新,路径分析模块330的选择在动态环境路径规划更佳的D*-Lite algorithm算法,其对于三维模型内代价值的计算公式如下:
f(n)=g(n)+rhs(n);
其中f(n)为总代价值,g(n)表示从起始区域节点到区域节点n的实际代价,rhs(n)代表从节点n到目标节点的最小预估代价。
第二种情况相对于第一种情况,区别在于:每次选择的区域节点不存在或者区域节点代价值大于目标节点总代价值则废弃该区域节点,并重新选择其他区域节点。
能够在复杂环境中完成对物料的上下料操作过程,满足机器视觉技术的识别与路径规划选择,保障机器人100的工作状态。
在传统物料输送带上的物料往往需要重复启停,并保证每次启停物料的停止位置均处于机器人100的抓取区域,一旦发生偏差过大,就会导致机器人无法识别或者夹取不牢靠,影响上下料效率。
请参阅图5,本发明在实施例1的基础上还提供了实施例2:
空间摄像头310所采集的图像数据与加工作业中所使用的加工设备140体积参数共同存储于建模数据库350中,其中加工设备140中的每个加工工位均明确标注于空间建模模块320中的三维模型内。
由于加工设备140的部分边框边缘也可能对机器人100的上下料造成影响,故而将加工设备140的体积参数存储于建模数据库350中,空间建模模块320综合空间摄像头310的图像数据与建模数据库350内存储的设备参数构建三维模型,从而充分考虑设备体积碰撞问题,同时减少空间摄像头310的拍摄死角,保证机器人100上下料路径过程的通畅。
还包括上下料抉择模块400,上下料抉择模块400与每个加工设备140数据连接,获取加工设备140的工作状态,加工设备140的工作状态分为:无物料空闲状态、加工中状态与加工完成待下料状态。
在多设备及多工位的时候,需要充分考虑工位选择,通过上下料抉择模块400对接加工设备140,获取工位状态,并根据工作状态进行上下料选择操作,避免重复上料,在多工位情境中,能够更为高效准确的进行上下料工作。
控制执行系统300所规划的路径的目标工位为无物料空闲状态与加工完成待下料状态,当目标工位为无物料空闲状态则执行上料操作,当目标工位为加工完成待下料状态时则执行下料操作。
本发明中,还包含有碰撞检测模块500,碰撞检测模块500包含有距离传感器510、震动传感器520与检测模块530,其中距离传感器510与震动传感器520用于对机器人100与工件的碰撞或即将发生的碰撞进行识别,检测模块530分析距离传感器510与震动传感器520的监测数据,检测模块530与控制执行模块340信号连接。
本发明中,还包含有报警模块600,用于对机器人100上下料系统的故障进行声光提示,并终止机器人100的动作。
通过在机器人100上安装距离传感器510与震动传感器520对机器人100与障碍的距离以及震动进行实时检测,并通过检测模块530来分析判断机器人100是否即将发生碰撞或已经发生碰撞,并将分析结果上传至控制执行模块340,控制执行模块340接收信号后停止机器人100运行,避免机器人100继续运动导致发生碰撞或导致碰撞程度进一步加深,同时报警模块600能够对碰撞信息进行报警,使用安全性更高。
请参阅图1-6,本发明在实施例1与实施例2的基础上还提供了实施例3:
基于机器视觉技术的机器人自动上下料方法,适用于基于机器视觉技术的机器人自动上下料系统的上下料方法,具体步骤如下:
S1、物料输送带130输送物料,经过引导隔板131引导至上料暂存区134,通过机器人100上安装的机器摄像头210获取上料暂存区134中存放所要夹取物料或加工设备140已加工完成物料的图像数据,并通过图像处理模块220对所拍摄的物料图像数据进行预处理;
S2、特征提取模块230对处理后的图像数据进行特征提取,并通过目标识别模块240与目标跟踪模块250确定目标并实时跟踪;
S3、然后空间摄像头310采集上下料工作区域的图像数据,空间建模模块320根据上下料工作区域的图像数据对上下料工作区域进行三维建模;
S4、路径分析模块330对物料位置与目标工位位置以及机器人位置进行分析,通过赋予三维建模中每块区域的代价值进行选择代价最小的路径;
S5、控制执行模块340根据目标识别模块240与目标跟踪模块250的识别信息,以及路径分析模块330所选择的路径,控制机械臂110,将物料抓取、移动与放置,完成上料或者下料步骤。
以上所述,仅为本发明较佳的具体实施方式;但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其改进构思加以等同替换或改变,都应涵盖在本发明的保护范围内。

Claims (9)

1.基于机器视觉技术的机器人自动上下料系统,其特征在于,包括:
机器人(100),用于执行操作物料上下料动作的执行机构;
所述机器人(100)包含有机械臂(110),所述机械臂(110)上安装有对物料吸取的吸盘,所述机械臂(110)的底部安装有固定于地面的电动滑轨(120),所述机械臂(110)的两侧分别设置有物料输送带(130)与加工设备(140);
电动滑轨(120)上滑动安装有滑块(121),所述机械臂(110)通过螺栓固定安装于滑块(121)上,所述滑块(121)上穿插有位于机械臂(110)底座四角的定位柱(122),所述定位柱(122)与滑块(121)之间固定安装有弹簧(123),所述滑块(121)上嵌设有均匀分布的且位于机械臂(110)底座底部的滚珠(124);
所述物料输送带(130)上安装有引导隔板(131),所述物料输送带(130)的两侧被引导隔板(131)分隔为上料区(132)与下料区(133),所述物料输送带(130)靠近机械臂(110)的一侧固定安装有上料暂存区(134)与下料暂存区(135),所述加工设备(140)匹配一个或一个以上的目标工位;
机器视觉系统(200),用于获取机器人(100)所要操作物料与目标工位的图像数据并对图像数据进行处理分析,对图像中的物料与目标工位进行特征提取分析;
所述机器视觉系统(200)包含有安装于机械臂(110)夹爪部分的机器摄像头(210),用于采集物料与目标工位的图像数据;图像处理模块(220),用于对机器摄像头(210)采集的图像数据进行预处理,处理操作包括去噪、增强与图像变换;特征提取模块(230),用于从经过图像处理模块(220)处理的图像数据中提取物料与目标工位的特征;目标识别模块(240),用于对特征提取模块(230)提取到的特征进行识别,确定目标;目标跟踪模块(250),根据目标识别模块(240)识别的目标,保持图像数据中目标的持续识别与追踪;
控制执行系统(300),用于根据机器视觉系统(200)所处理的物料与目标工位图像中的位置数据,对路径进行规划分析,并做出决策,控制机器人(100)操作物料的移动路径;
控制执行系统(300)包含有安装于上下料工作区域上方的空间摄像头(310),所述空间摄像头(310)用于从上向下拍摄采集物料的移动区域与目标工位的加工设备(140)图像数据;
空间建模模块(320),所述空间建模模块(320)根据空间摄像头(310)所拍摄的图像数据构建对应的三维模型,并为每个模型中的每个区域赋予一个代价值;
路径分析模块(330),用于对机器人(100)、物料与目标工位的位置进行分析,选择在三维模型代价最小的路径;
控制执行模块(340),根据路径分析模块(330)所分析选择的路径对机器人(100)进行控制,完成对物料的上下料操作。
2.根据权利要求1所述的基于机器视觉技术的机器人自动上下料系统,其特征在于:所述上料暂存区(134)上固定安装有限制边框(136),所述限制边框(136)远离物料输送带(130)一边的内侧固定安装有压力传感器(137),所述压力传感器(137)与物料输送带(130)的控制器电性连接,所述下料暂存区(135)向物料输送带(130)方向向下倾斜。
3.根据权利要求1所述的基于机器视觉技术的机器人自动上下料系统,其特征在于:所述空间摄像头(310)所采集的图像数据与加工作业中所使用的加工设备(140)体积参数共同存储于建模数据库(350)中,其中加工设备(140)中的每个加工工位均明确标注于空间建模模块(320)中的三维模型内。
4.根据权利要求1所述的基于机器视觉技术的机器人自动上下料系统,其特征在于:还包括上下料抉择模块(400),所述上下料抉择模块(400)与每个加工设备(140)数据连接,获取加工设备(140)的工作状态,加工设备(140)的工作状态分为:无物料空闲状态、加工中状态与加工完成待下料状态;
所述控制执行系统(300)所规划的路径的目标工位为无物料空闲状态与加工完成待下料状态,当目标工位为无物料空闲状态则执行上料操作,当目标工位为加工完成待下料状态时则执行下料操作。
5.根据权利要求1所述的基于机器视觉技术的机器人自动上下料系统,其特征在于:所述特征提取模块(230)对图像数据中的提取的特征分为工件特征与工位特征,工件特征为形状特征,工位特征为形状特征与颜色特征。
6.根据权利要求1所述的基于机器视觉技术的机器人自动上下料系统,其特征在于:所述路径分析模块(330)的路径规划分为两种情景,具体如下:
机器人上下料工作区域为封闭状态,且物料放置区域与加工设备(140)数量、位置与结构保持不变,路径分析模块(330)采用A-star algorithm算法,其对于三维模型内代价值计算公式如下:
f(n)=g(n)+h(n);
其中f(n)为总代价值,g(n)表示从起始区域节点到区域节点n的实际代价,h(n)表示从区域节点n到目标区域节点的估计代价启发式函数;
机器人上下料工作区域为开放状态,或物料放置区域与加工设备(140)数量、位置与结构保持其一或一种以上前提发生变化,路径分析模块(330)采用D*-Lite algorithm算法,其对于三维模型内代价值的计算公式如下:
f(n)=g(n)+rhs(n);
其中f(n)为总代价值,g(n)表示从起始区域节点到区域节点n的实际代价,rhs(n)代表从节点n到目标节点的最小预估代价。
7.根据权利要求1所述的基于机器视觉技术的机器人自动上下料系统,其特征在于:还包含有碰撞检测模块(500),所述碰撞检测模块(500)包含有距离传感器(510)、震动传感器(520)与检测模块(530),其中所述距离传感器(510)与震动传感器(520)用于对机器人(100)与工件的碰撞或即将发生的碰撞进行识别,所述检测模块(530)分析距离传感器(510)与震动传感器(520)的监测数据,所述检测模块(530)与控制执行模块(340)信号连接。
8.根据权利要求1所述的基于机器视觉技术的机器人自动上下料系统,其特征在于:还包含有报警模块(600),用于对机器人(100)上下料系统的故障进行声光提示,并终止机器人(100)的动作。
9.如权利要求1-8任一所述的基于机器视觉技术的机器人自动上下料系统的上下料方法,具体步骤如下:
S1、物料输送带(130)输送物料,经过引导隔板(131)引导至上料暂存区(134),通过机器人(100)上安装的机器摄像头(210)获取上料暂存区(134)中存放所要夹取物料或加工设备(140)已加工完成物料的图像数据,并通过图像处理模块(220)对所拍摄的物料图像数据进行预处理;
S2、特征提取模块(230)对处理后的图像数据进行特征提取,并通过目标识别模块(240)与目标跟踪模块(250)确定目标并实时跟踪;
S3、然后空间摄像头(310)采集上下料工作区域的图像数据,空间建模模块(320)根据上下料工作区域的图像数据对上下料工作区域进行三维建模;
S4、路径分析模块(330)对物料位置与目标工位位置以及机器人位置进行分析,通过赋予三维建模中每块区域的代价值进行选择代价最小的路径;
S5、控制执行模块(340)根据目标识别模块(240)与目标跟踪模块(250)的识别信息,以及路径分析模块(330)所选择的路径,控制机械臂(110),将物料抓取、移动与放置,完成上料或者下料步骤。
CN202410590628.5A 2024-05-13 2024-05-13 基于机器视觉技术的机器人自动上下料系统及方法 Active CN118145318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410590628.5A CN118145318B (zh) 2024-05-13 2024-05-13 基于机器视觉技术的机器人自动上下料系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410590628.5A CN118145318B (zh) 2024-05-13 2024-05-13 基于机器视觉技术的机器人自动上下料系统及方法

Publications (2)

Publication Number Publication Date
CN118145318A CN118145318A (zh) 2024-06-07
CN118145318B true CN118145318B (zh) 2024-07-05

Family

ID=91285563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410590628.5A Active CN118145318B (zh) 2024-05-13 2024-05-13 基于机器视觉技术的机器人自动上下料系统及方法

Country Status (1)

Country Link
CN (1) CN118145318B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118372259A (zh) * 2024-06-21 2024-07-23 深圳市亚博智能科技有限公司 一种基于视觉定位的机械臂智能控制方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112010024A (zh) * 2020-08-21 2020-12-01 南京理工大学 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
CN117841041A (zh) * 2024-02-05 2024-04-09 北京新雨华祺科技有限公司 基于多臂协同的机械臂组合装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN214732579U (zh) * 2021-01-22 2021-11-16 无锡先导智能装备股份有限公司 一种转移载具、自动上料装置及自动下料装置
CN112896924A (zh) * 2021-03-29 2021-06-04 河南中烟工业有限责任公司 一种烟梗包视觉识别系统及方法
US20230286165A1 (en) * 2022-03-08 2023-09-14 Mujin, Inc. Systems and methods for robotic system with object handling
CN115145387A (zh) * 2022-03-09 2022-10-04 上海大学 一种基于机器视觉的脑控移动抓取机器人系统及控制方法
CN116986306B (zh) * 2023-09-12 2024-04-19 上海宝柏新材料股份有限公司 一种自动化产线物料搬运控制系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112010024A (zh) * 2020-08-21 2020-12-01 南京理工大学 一种基于激光和视觉融合检测的货箱自动抓取方法及系统
CN117841041A (zh) * 2024-02-05 2024-04-09 北京新雨华祺科技有限公司 基于多臂协同的机械臂组合装置

Also Published As

Publication number Publication date
CN118145318A (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN118145318B (zh) 基于机器视觉技术的机器人自动上下料系统及方法
US20080181485A1 (en) System and method of identifying objects
CN109926817B (zh) 基于机器视觉的变压器自动装配方法
CN107618030A (zh) 基于视觉的机器人动态跟踪抓取方法及系统
CN105817422A (zh) 基于机器人的自动采集随机摆放快递包裹信息系统及其方法
CN102514002A (zh) 一种数控车床单目视觉上下料机器人系统及方法
CN107263468A (zh) 一种利用数字图像处理技术的scara机器人装配方法
CN112621765B (zh) 一种基于机械手的设备自动组装控制方法及装置
CN109760058A (zh) 一种乘梯机器人及其乘梯机器人按键控制方法
CN104923593A (zh) 一种基于视觉的顶层折弯板材定位方法
CN114405866B (zh) 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统
CN109454004B (zh) 机器人扫描分拣系统及方法
US9361695B2 (en) Method of recognizing a position of a workpiece from a photographed image
CN117086519B (zh) 基于工业互联网的联网设备数据分析及评估系统、方法
CN116749233A (zh) 基于视觉伺服的机械臂抓取系统及方法
CN113284178A (zh) 物体码垛方法、装置、计算设备及计算机存储介质
US20230410362A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN110181518B (zh) 模组的安装方法、存储介质
KR20240005367A (ko) 공장내 위치 추적 시스템 및 그 방법
CN112000094A (zh) 一种单双目结合的高压输电线路金具在线识别定位系统及方法
CN108972556B (zh) 微特电机生产线上复杂光照环境下的导线抓取系统及方法
CN210546403U (zh) 一种三自由度的视觉检测平台
CN116297452A (zh) 一种基于机器视觉技术的工件测试方法及系统
CN115464651A (zh) 一种六组机器人物体抓取系统
EP4144494A1 (en) Image processing method, image processing device, robot mounted-type conveyance device, and system

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant