CN112091925A - 一种基于机器视觉的物料搬运系统及搬运方法 - Google Patents

一种基于机器视觉的物料搬运系统及搬运方法 Download PDF

Info

Publication number
CN112091925A
CN112091925A CN202010825854.9A CN202010825854A CN112091925A CN 112091925 A CN112091925 A CN 112091925A CN 202010825854 A CN202010825854 A CN 202010825854A CN 112091925 A CN112091925 A CN 112091925A
Authority
CN
China
Prior art keywords
module
camera
materials
control module
openmv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010825854.9A
Other languages
English (en)
Inventor
李安
宋县锋
罗久云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202010825854.9A priority Critical patent/CN112091925A/zh
Publication of CN112091925A publication Critical patent/CN112091925A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本发明提供了一种基于机器视觉的物料搬运系统及搬运方法，所述搬运系统包括STM32核心控制模块、电源电路模块、运动控制模块、超声波模块、OpenMV摄像头模块、机械臂模块、QTI寻迹模块、临时仓库以及光电传感器。所述STM32核心控制模块完成任务调度所述，超声波模块完成避障，OpenMV摄像头模块识别物料的距离、颜色与形状，机械臂模块完成物料的夹取，QTI寻迹模块与运动控制模块控制并限制系统的运动范围，临时仓库存放选取的物料。本发明基于机器视觉，在搬运系统中添加各模块算法，完成了智能搬运系统在行驶过程中的自动避障、自动定位与选取指定颜色与形状的物料、将物料存放到目的仓库等功能，实现了智能仓库搬运系统对物料快速、便捷、稳定的搬运。

Description

一种基于机器视觉的物料搬运系统及搬运方法
技术领域
本发明涉及智能搬运机械电子技术领域，具体涉及一种基于机器视觉的物料搬运系统及搬运方法。
背景技术
随着经济全球化和工厂自动化，物流行业迈入了快速发展的阶段，机械化、自动化、标准化生产的发展趋势日益明显，传统的人工搬运模式的速度远远无法满足实际需求。在高速发展的信息化时代，机器人在人们的生活中扮演着越来越重要的地位，搬运机器人的到来将颠覆传统的人工搬运模式，逐渐由人工搬运走向智能搬运。
搬运机器人是一项新兴且高速发展的高新技术，涉及到力学、自动控制学、传感器技术等多学科领域。为满足现代物流快速、精准的要求，搬运机器人至少需要具备自主移动、自动避障、物料识别与筛选、物料抓取与搬运等功能。随着工业生产自动化程度的提高和生产规模的扩大，物流速度越来越快，越来越精准，对物料搬运技术提出了更高的要求。
现有的搬运机器人，未使用机器视觉的物料搬运系统，只能简单判断有无物料存在，无法对物料进行颜色、形状等特征的筛选。且部分搬运系统是固定位置，不能根据路线自动运动，灵活性较差。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于机器视觉的物料搬运系统及搬运方法，用于加快智能搬运系统物料搬运速度，减少系统一次搬运所需的时间。
为实现上述目的，本发明采用如下技术方案：
一种基于机器视觉的物料搬运系统，包括麦克纳姆轮运动控制模块、STM32核心控制模块、机械臂模块、HC-SR04超声波测距模块、QTI寻迹模块、OpenMV摄像头模块、临时仓库和光电传感器。
所述STM32核心控制模块通过STM32F103VCT6芯片来组成单片机的最小控制系统并提供相应接口，完成对整个搬运系统的控制与调度；
所述机械臂模块由铝合金架构成，机械臂可抓取物料跟随系统移动，所述机械臂模块与OpenMV摄像头模块相连，并受其控制；
所述HC-SR04超声波测距模块用于判断前方是否有障碍物，该模块与STM32核心控制模块上的PC12和PC13接口连接，其中PC13用于触发超声波检测，PC12用于计算回波时间，从而计算出与目标点间的距离；
所述QTI寻迹模块用于指定搬运系统的可移动区域，QTI寻迹模块与STM32核心控制模块上的PE0、PE1、PE2、PE3接口连接；
所述OpenMV摄像头模块用于从众多不同颜色、不同形状的物料中，选取指定形状与颜色的物料；OpenMV摄像头模块采用OpenMV M7摄像头，该模块与STM32核心控制模块上的PE4、PE5接口连接；当OpenMV摄像头模块识别成功后，通过输出模块的高低电平反馈给STM32核心控制模块；所述OpenMV摄像头模块与HC-SR04超声波测距模块相配合，判断搬运系统与物料之间的距离与方位，并将数据传递至机械臂模块进行准确抓取；
所述临时仓库用于存放需要搬运的物料；
所述光电传感器与STM32核心控制模块上的PE6接口连接，用于判断搬运系统是否到达指定的分拣点或卸货点。
一种基于机器视觉的物料搬运方法，包括以下步骤：
S1.启动前，搬运系统位于起点位置，机械臂处于收起状态；启动后，搬运系统通过QTI寻迹模块和麦克纳姆轮运动控制模块移动到分拣点，当光电传感器检测到电平变化时，即表示到达了分拣点，系统停车，在上述运动过程中，HC-SR04超声波测距模块始终运行以判断前方是否有障碍物并自动避障；
S2.所述分拣点处有一个运行中的传送带，传送带上有众多不同颜色、不同形状的物料，到达分拣点后，STM32核心控制模块通过改变PE5接口处的引脚电平，命令OpenMV摄像头模块开始搬运工作；
S3.OpenMV摄像头模块接收命令后，首先控制机械臂模块展开，对准传送带，再对传送带上的物料进行识别；
S4.当OpenMV摄像头模块识别到目标物料后，OpenMV摄像头模块控制机械臂模块进行抓取，并投放到临时仓库；
S5.抓取和投放操作完成后，机械臂模块收缩，OpenMV摄像头模块控制PE4接口处的电平将下一步指令传递给STM32核心控制模块；
S6.STM32核心控制模块接收来自OpenMV摄像头模块的指令后，通过QTI寻迹模块和麦克纳姆轮运动控制模块移动到卸货点，当光电传感器检测到电平变化时，即表示到达了卸货点，系统停车，HC-SR04超声波测距模块始终运行以判断前方是否有障碍物并自动避障；
S7.到达卸货点后，所述STM32核心控制模块控制机械臂模块将临时仓库中的物料卸下；
S8.重复步骤S1～S7，直至操作员手动停止搬运系统运行。
步骤S1和步骤S6中所述HC-SR04超声波测距模块始终运行以判断前方是否有障碍物并自动避障包括以下内容：
S11.HC-SR04超声波测距模块循环测距；
S12.改变HC-SR04超声波测距模块输出模块电平以发出超声波；
S13.等待超声回波，计算时间间隔；
S14.
Figure BDA0002636131460000031
S15.若距离小于设定值，则表示前方有障碍物，需要避障；
S16.搬运系统在原地向右旋转的同时检测前方是否通畅，当通畅时偏离当前路线往前走；
S17.行走一段距离后左转，判断是否已过障碍物；
S18.若未越过障碍物，则重复步骤S15～S17；
S19.当判定前方无障碍物时，则左转回到之前的行进线路上继续执行搬运任务。
步骤S2中所述STM32核心控制模块通过改变PE5接口处的引脚电平，命令OpenMV摄像头模块开始搬运工作；所述OpenMV摄像头模块的具体工作过程如下：
S21.OpenMV摄像头模块接收来自PE5引脚的电平变化；
S22.控制机械臂模块展开，使其对准传送带；
S23.对传送带上的物料进行颜色与形状匹配，找出目标物料并进行定位；
S24.控制机械臂模块对目标物料进行抓取，并将其放到临时仓库；
S25.控制机械臂模块收缩为初始状态；
S26.改变PE4引脚电平，通知STM32核心控制模块搬运工作已完成；
S27.重复步骤S21～S26，实现对物料的持续搬运。
步骤S23中所述对传送带上的物料进行颜色与形状匹配，找出目标物料并进行定位；具体过程如下：
1)颜色匹配
S31.初始化摄像头，设置像素模式为RGB56，帧大小为320×240，关闭白平衡；
S32.读取一帧图像，存入帧缓冲存储区；
S33.进行镜头畸变校正，去除镜头造成的图像鱼眼效果；
S34.设定颜色阈值，根据颜色范围对物料进行筛选；
S35.在保留边缘的条件下，在图像上运行中值滤波；
S36.查找图像中指定颜色的所有色块，返回一个包括每个色块的色块对象列表；
S37.依次对列表中的色块进行颜色匹配，从中找出与目标物料颜色相匹配的物料；
2)形状匹配
S41.将包含目标物料特征点的图片提前存入OpenMV摄像头的SD卡中；
S42.设置摄像头，关闭白平衡，设置相机图像对比度为1,设置相机图像增益上限为16，关闭自动增益并固定为100；
S43.设置特征匹配参数，设置特征点提取数目120，设置特征匹配阈值为30，匹配比例因子为1:2；
S44.读取一帧图像，将图像转为灰度图；
S45.使用Canny边缘检测算法过滤背景，仅将边缘保留为白色像素；
S46.使用AGAST算法进行特征提取，与目标物料的形状特征进行比对；
S47.当检测到与目标物料特征相似的特征物料，使用FREAK进一步匹配特征物料与目标物料特征的相似度，比较两组的关键点，获取匹配距离；
S48.步骤S47中，匹配距离越接近0，LBPF特征点匹配结果越准确，当匹配距离小于设定值时，即认为匹配成功；
3)物料定位
S51.根据公式
Figure BDA0002636131460000041
可知，参照物与摄像头之间的实际距离和成像在摄像头中的参照物的直径像素值成反比，比例常数设定为K；
式中，Lm表示摄像头与参照物的真实距离，Bpix为成像在摄像头中的参照物的直径所占的像素值，Rm为参照物的实际半径，Apix为摄像头的镜头直径像素值，α为拍摄视角的一半。因此可得到常数值
Figure BDA0002636131460000042
合并等式(a)(b)可得实际距离公式为
Figure BDA0002636131460000043
特别地，Apix和α仅与摄像头本身有关，因此对于Rm相同的物料，K值可以通用。而对于Rm不同的物料，需要分别测量。在实际使用时，可通过前述的形状匹配算法自动根据不同的形状选取对应的K值。
S52.先测定K值。以已知尺寸的参照物为基准，使参照物距离摄像头Lm＝10cm，在OpenMV摄像头中读取参照物的长、宽像素值，得出参照物的直径Bpix，将Bpix与距离值10cm相乘得到常数K；
S53.实际使用时，从摄像头中读取一帧图像，读取图像中物料的长、宽像素值，计算物料的平均直径
Figure BDA0002636131460000051
S54.根据上述计算结果可得，摄像头与物料之间的真实距离
Figure BDA0002636131460000052
本发明的有益效果在于：
1.本发明通过颜色识别算法、边缘检测算法、特征点形状匹配算法等图像处理技术，提高了摄像头对物料的检测、识别和筛选的准确度，减小在物料搬运过程中由于物料匹配错误而导致的误拣、漏拣问题。
2.通过单目摄像头完成摄像头与物料之间的测距，再控制机械臂根据测定距离完成物料抓取，因此物料的抓取更精准，且适应了高度不同的物料传送带的环境，而无需改动程序，更符合实际需求。
3.使用超声波测距和高效的避障算法实现自主避障，符合实际场景下多机器人共同独立工作且互不干扰的情况。此外，通过QTI寻迹，可以指定允许机器人运动的范围，合理规划空间。同时QTI寻迹与自主避障的结合，完成了搬运机器人的路径规划和自主移动。
4.通过四路电机分别控制四个轮子，可以实现全方向的移动和原地旋转，大大提高了搬运机器人的灵活性和可拓展性。
5.本发明实现了智能搬运系统对物料快速、准确、便捷、稳定的搬运。
附图说明
图1为一种基于机器视觉的物料搬运系统的结构示意图；
图2为一种基于机器视觉的物料搬运系统各模块的连接示意图；
图3为HC-SR04超声波模块测距与自动避障流程图；
图4为OpenMV摄像头模块颜色匹配流程图；
图5为OpenMV摄像头模块形状匹配流程图；
图6为OpenMV摄像头模块测距原理图；
图中：10、麦克纳姆轮运动控制模块；11、STM32核心控制模块；12、机械臂模块；13、超声波测距模块；14、QTI寻迹模块；15、OpenMV摄像头模块；16、临时仓库；17、光电传感器。
具体实施方式
下面结合实施例和附图对本发明作进一步的说明。
实施例：参见图1-6。
如图1所示，一种基于机器视觉的物料搬运系统，包括麦克纳姆轮运动控制模块10、STM32核心控制模块控制模块11、机械臂模块12、HC-SR04超声波测距模块13、QTI寻迹模块14、OpenMV摄像头模块15、临时仓库16和光电传感器17，各模块间的连接如图2所示。
所述STM32核心控制模块11通过STM32F103VCT6芯片来组成单片机的最小控制系统并提供相应接口，完成对整个搬运系统的控制与调度；
所述机械臂模块12由铝合金架构成，机械臂可抓取物料跟随系统移动，所述机械臂模块12与OpenMV摄像头模块15相连，并受其控制；
如图3所示，所述HC-SR04超声波测距模块13用于判断前方是否有障碍物，该模块与STM32核心控制模块11上的PC12和PC13接口连接，其中PC13用于触发超声波检测，PC12用于计算回波时间，从而计算出与目标点间的距离；
所述QTI寻迹模块14用于指定搬运系统的可移动区域，QTI寻迹模块14与STM32核心控制模块11上的PE0、PE1、PE2、PE3接口连接；
如图4-6所示，所述OpenMV摄像头模块15用于从众多不同颜色、不同形状的物料中，选取指定形状与颜色的物料；OpenMV摄像头模块15采用OpenMV M7摄像头，该模块与STM32核心控制模块11上的PE4、PE5接口连接；当OpenMV摄像头模块15识别成功后，通过输出模块的高低电平反馈给STM32核心控制模块11；所述OpenMV摄像头模块15与HC-SR04超声波测距模块13相配合，判断搬运系统与物料之间的距离与方位，并将数据传递至机械臂模块12进行准确抓取；
所述临时仓库16用于存放需要搬运的物料；
所述光电传感器17与STM32核心控制模块11上的PE6接口连接，用于判断搬运系统是否到达指定的分拣点或卸货点。
一种基于机器视觉的物料搬运方法，包括以下步骤：
S1.启动前，搬运系统位于起点位置，机械臂处于收起状态；启动后，搬运系统通过QTI寻迹模块14和麦克纳姆轮运动控制模块10移动到分拣点，当光电传感器17检测到电平变化时，即表示到达了分拣点，系统停车，在上述运动过程中，HC-SR04超声波测距模块13始终运行以判断前方是否有障碍物并自动避障；
S2.所述分拣点处有一个运行中的传送带，传送带上有众多不同颜色、不同形状的物料，到达分拣点后，STM32核心控制模块11通过改变PE5接口处的引脚电平，命令OpenMV摄像头模块15开始搬运工作；
S3.OpenMV摄像头模块15接收命令后，首先控制机械臂模块12展开，对准传送带，再对传送带上的物料进行识别；
S4.当OpenMV摄像头模块15识别到目标物料后，OpenMV摄像头模块15控制机械臂模块12进行抓取，并投放到临时仓库16；
S5.抓取和投放操作完成后，机械臂模块12收缩，OpenMV摄像头模块15控制PE4接口处的电平将下一步指令传递给STM32核心控制模块11；
S6.STM32核心控制模块11接收来自OpenMV摄像头模块15的指令后，通过QTI寻迹模块14和麦克纳姆轮运动控制模块10移动到卸货点，当光电传感器17检测到电平变化时，即表示到达了卸货点，系统停车，HC-SR04超声波测距模块13始终运行以判断前方是否有障碍物并自动避障；
S7.到达卸货点后，所述STM32核心控制模块11控制机械臂模块12将临时仓库16中的物料卸下；
S8.重复步骤S1～S7，直至操作员手动停止搬运系统运行。
步骤S1和步骤S6中所述HC-SR04超声波测距模块13始终运行以判断前方是否有障碍物并自动避障包括以下内容：
S11.HC-SR04超声波测距模块13循环测距；
S12.改变HC-SR04超声波测距模块13输出模块电平以发出超声波；
S13.等待超声回波，计算时间间隔；
S14.
Figure BDA0002636131460000071
S15.若距离小于设定值，则表示前方有障碍物，需要避障；
S16.搬运系统在原地向右旋转的同时检测前方是否通畅，当通畅时偏离当前路线往前走；
S17.行走一段距离后左转，判断是否已过障碍物；
S18.若未越过障碍物，则重复步骤S15～S17；
S19.当判定前方无障碍物时，则左转回到之前的行进线路上继续执行搬运任务。
步骤S2中所述STM32核心控制模块11通过改变PE5接口处的引脚电平，命令OpenMV摄像头模块15开始搬运工作；所述OpenMV摄像头模块15的具体工作过程如下：
S21.OpenMV摄像头模块15接收来自PE5引脚的电平变化；
S22.控制机械臂模块12展开，使其对准传送带；
S23.对传送带上的物料进行颜色与形状匹配，找出目标物料并进行定位；
S24.控制机械臂模块12对目标物料进行抓取，并将其放到临时仓库16；
S25.控制机械臂模块12收缩为初始状态；
S26.改变PE4引脚电平，通知STM32核心控制模块搬运工作已完成；
S27.重复步骤S21～S26，实现对物料的持续搬运。
步骤S23中所述对传送带上的物料进行颜色与形状匹配，找出目标物料并进行定位；具体过程如下：
1颜色匹配
S31.初始化摄像头，设置像素模式为RGB56，帧大小为320×240，关闭白平衡；
S32.读取一帧图像，存入帧缓冲存储区；
S33.进行镜头畸变校正，去除镜头造成的图像鱼眼效果；
S34.设定颜色阈值，根据颜色范围对物料进行筛选；
S35.在保留边缘的条件下，在图像上运行中值滤波；
S36.查找图像中指定颜色的所有色块，返回一个包括每个色块的色块对象列表；
S37.依次对列表中的色块进行颜色匹配，从中找出与目标物料颜色相匹配的物料；
2形状匹配
S41.将包含目标物料特征点的图片提前存入OpenMV摄像头的SD卡中；
S42.设置摄像头，关闭白平衡，设置相机图像对比度为1,设置相机图像增益上限为16，关闭自动增益并固定为100；
S43.设置特征匹配参数，设置特征点提取数目120，设置特征匹配阈值为30，匹配比例因子为1:2；
S44.读取一帧图像，将图像转为灰度图；
S45.使用Canny边缘检测算法过滤背景，仅将边缘保留为白色像素；
S46.使用AGAST算法进行特征提取，与目标物料的形状特征进行比对；
S47.当检测到与目标物料特征相似的特征物料，使用FREAK进一步匹配特征物料与目标物料特征的相似度，比较两组的关键点，获取匹配距离；
S48.步骤S47中，匹配距离越接近0，LBPF特征点匹配结果越准确，当匹配距离小于设定值时，即认为匹配成功；
3物料定位
S51.根据公式
Figure BDA0002636131460000091
可知，参照物与摄像头之间的实际距离和成像在摄像头中的参照物的直径像素值成反比，比例常数设定为K；
式中，Lm表示摄像头与参照物的真实距离，Bpix为成像在摄像头中的参照物的直径所占的像素值，Rm为参照物的实际半径，Apix为摄像头的镜头直径像素值，α为拍摄视角的一半。因此可得到常数值
Figure BDA0002636131460000092
合并等式(a)(b)可得实际距离公式为
Figure BDA0002636131460000093
特别地，Apix和α仅与摄像头本身有关，因此对于Rm相同的物料，K值可以通用。而对于Rm不同的物料，需要分别测量。在实际使用时，可通过前述的形状匹配算法自动根据不同的形状选取对应的K值。
S52.先测定K值。以已知尺寸的参照物为基准，使参照物距离摄像头Lm＝10cm，在OpenMV摄像头中读取参照物的长、宽像素值，得出参照物的直径Bpix，将Bpix与距离值10cm相乘得到常数K；
S53.实际使用时，从摄像头中读取一帧图像，读取图像中物料的长、宽像素值，计算物料的平均直径
Figure BDA0002636131460000094
S54.根据上述计算结果可得，摄像头与物料之间的真实距离
Figure BDA0002636131460000095
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明结构和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于机器视觉的物料搬运系统，包括麦克纳姆轮运动控制模块(10)、STM32核心控制模块(11)、机械臂模块(12)、HC-SR04超声波测距模块(13)、QTI寻迹模块(14)、OpenMV摄像头模块(15)、临时仓库(16)和光电传感器(17)，其特征在于：
所述STM32核心控制模块(11)通过STM32F103VCT6芯片来组成单片机的最小控制系统并提供相应接口，完成对整个搬运系统的控制与调度；
所述机械臂模块(12)由铝合金架构成，机械臂可抓取物料跟随系统移动，所述机械臂模块(12)与OpenMV摄像头模块(15)相连，并受其控制；
所述HC-SR04超声波测距模块(13)用于判断前方是否有障碍物，该模块与STM32核心控制模块(11)上的PC12和PC13接口连接，其中PC13用于触发超声波检测，PC12用于计算回波时间，从而计算出与目标点间的距离；
所述QTI寻迹模块(14)用于指定搬运系统的可移动区域，QTI寻迹模块(14)与STM32核心控制模块(11)上的PE0、PE1、PE2、PE3接口连接；
所述OpenMV摄像头模块(15)用于从众多不同颜色、不同形状的物料中，选取指定形状与颜色的物料；OpenMV摄像头模块(15)采用OpenMV M7摄像头，该模块与STM32核心控制模块(11)上的PE4、PE5接口连接；当OpenMV摄像头模块(15)识别成功后，通过输出模块的高低电平反馈给STM32核心控制模块(11)；所述OpenMV摄像头模块(15)与HC-SR04超声波测距模块(13)相配合，判断搬运系统与物料之间的距离与方位，并将数据传递至机械臂模块(12)进行准确抓取；
所述临时仓库(16)用于存放需要搬运的物料；
所述光电传感器(17)与STM32核心控制模块(11)上的PE6接口连接，用于判断搬运系统是否到达指定的分拣点或卸货点。
2.一种基于机器视觉的物料搬运方法，其特征在于，包括以下步骤：
S1.启动前，搬运系统位于起点位置，机械臂处于收起状态；启动后，搬运系统通过QTI寻迹模块(14)和麦克纳姆轮运动控制模块(10)移动到分拣点，当光电传感器(17)检测到电平变化时，即表示到达了分拣点，系统停车，在上述运动过程中，HC-SR04超声波测距模块(13)始终运行以判断前方是否有障碍物并自动避障；
S2.所述分拣点处有一个运行中的传送带，传送带上有众多不同颜色、不同形状的物料，到达分拣点后，STM32核心控制模块(11)通过改变PE5接口处的引脚电平，命令OpenMV摄像头模块(15)开始搬运工作；
S3.OpenMV摄像头模块(15)接收命令后，首先控制机械臂模块(12)展开，对准传送带，再对传送带上的物料进行识别；
S4.当OpenMV摄像头模块(15)识别到目标物料后，OpenMV摄像头模块(15)控制机械臂模块(12)进行抓取，并投放到临时仓库(16)；
S5.抓取和投放操作完成后，机械臂模块(12)收缩，OpenMV摄像头模块(15)控制PE4接口处的电平将下一步指令传递给STM32核心控制模块(11)；
S6.STM32核心控制模块(11)接收来自OpenMV摄像头模块(15)的指令后，通过QTI寻迹模块(14)和麦克纳姆轮运动控制模块(10)移动到卸货点，当光电传感器(17)检测到电平变化时，即表示到达了卸货点，系统停车，HC-SR04超声波测距模块(13)始终运行以判断前方是否有障碍物并自动避障；
S7.到达卸货点后，所述STM32核心控制模块(11)控制机械臂模块(12)将临时仓库(16)中的物料卸下；
S8.重复步骤S1～S7，直至操作员手动停止搬运系统运行。
3.根据权利要求2中所述的一种基于机器视觉的物料搬运方法，其特征在于，步骤S1和步骤S6中所述HC-SR04超声波测距模块(13)始终运行以判断前方是否有障碍物并自动避障包括以下内容：
S11.HC-SR04超声波测距模块(13)循环测距；
S12.改变HC-SR04超声波测距模块(13)输出模块电平以发出超声波；
S13.等待超声回波，计算时间间隔；
S14.
Figure FDA0002636131450000021
S15.若距离小于设定值，则表示前方有障碍物，需要避障；
S16.搬运系统在原地向右旋转的同时检测前方是否通畅，当通畅时偏离当前路线往前走；
S17.行走一段距离后左转，判断是否已过障碍物；
S18.若未越过障碍物，则重复步骤S15～S17；
S19.当判定前方无障碍物时，则左转回到之前的行进线路上继续执行搬运任务。
4.根据权利要求2中所述的一种基于机器视觉的物料搬运方法，其特征在于，步骤S2中所述STM32核心控制模块(11)通过改变PE5接口处的引脚电平，命令OpenMV摄像头模块(15)开始搬运工作；所述OpenMV摄像头模块(15)的具体工作过程如下：
S21.OpenMV摄像头模块(15)接收来自PE5引脚的电平变化；
S22.控制机械臂模块(12)展开，使其对准传送带；
S23.对传送带上的物料进行颜色与形状匹配，找出目标物料并进行定位；
S24.控制机械臂模块(12)对目标物料进行抓取，并将其放到临时仓库(16)；
S25.控制机械臂模块(12)收缩为初始状态；
S26.改变PE4引脚电平，通知STM32核心控制模块搬运工作已完成；
S27.重复步骤S21～S26，实现对物料的持续搬运。
5.根据权利要求4中所述的一种基于机器视觉的物料搬运方法，其特征在于，步骤S23中所述对传送带上的物料进行颜色与形状匹配，找出目标物料并进行定位；具体过程如下：
1)颜色匹配
S31.初始化摄像头，设置像素模式为RGB56，帧大小为320×240，关闭白平衡；
S32.读取一帧图像，存入帧缓冲存储区；
S33.进行镜头畸变校正，去除镜头造成的图像鱼眼效果；
S34.设定颜色阈值，根据颜色范围对物料进行筛选；
S35.在保留边缘的条件下，在图像上运行中值滤波；
S36.查找图像中指定颜色的所有色块，返回一个包括每个色块的色块对象列表；
S37.依次对列表中的色块进行颜色匹配，从中找出与目标物料颜色相匹配的物料；
2)形状匹配
S41.将包含目标物料特征点的图片提前存入OpenMV摄像头的SD卡中；
S42.设置摄像头，关闭白平衡，设置相机图像对比度为1,设置相机图像增益上限为16，关闭自动增益并固定为100；
S43.设置特征匹配参数，设置特征点提取数目120，设置特征匹配阈值为30，匹配比例因子为1:2；
S44.读取一帧图像，将图像转为灰度图；
S45.使用Canny边缘检测算法过滤背景，仅将边缘保留为白色像素；
S46.使用AGAST算法进行特征提取，与目标物料的形状特征进行比对；
S47.当检测到与目标物料特征相似的特征物料，使用FREAK进一步匹配特征物料与目标物料特征的相似度，比较两组的关键点，获取匹配距离；
S48.步骤S47中，匹配距离越接近0，LBPF特征点匹配结果越准确，当匹配距离小于设定值时，即认为匹配成功；
3)物料定位
S51.根据公式
Figure FDA0002636131450000041
可知，参照物与摄像头之间的实际距离和成像在摄像头中的参照物的直径像素值成反比，比例常数设定为K；
式中，Lm表示摄像头与参照物的真实距离，Bpix为成像在摄像头中的参照物的直径所占的像素值，Rm为参照物的实际半径，Apix为摄像头的镜头直径像素值，α为拍摄视角的一半；因此可得到常数值
Figure FDA0002636131450000042
合并等式(a)(b)可得实际距离公式为
Figure FDA0002636131450000043
特别地，Apix和α仅与摄像头本身有关，因此对于Rm相同的物料，K值可以通用；而对于Rm不同的物料，需要分别测量；在实际使用时，可通过前述的形状匹配算法自动根据不同的形状选取对应的K值。
S52.先测定K值。以已知尺寸的参照物为基准，使参照物距离摄像头Lm＝10cm，在OpenMV摄像头中读取参照物的长、宽像素值，得出参照物的直径Bpix，将Bpix与距离值10cm相乘得到常数K；
S53.实际使用时，从摄像头中读取一帧图像，读取图像中物料的长、宽像素值，计算物料的平均直径
Figure FDA0002636131450000044
S54.根据上述计算结果可得，摄像头与物料之间的真实距离
Figure FDA0002636131450000045
CN202010825854.9A 2020-08-17 2020-08-17 一种基于机器视觉的物料搬运系统及搬运方法 Pending CN112091925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010825854.9A CN112091925A (zh) 2020-08-17 2020-08-17 一种基于机器视觉的物料搬运系统及搬运方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825854.9A CN112091925A (zh) 2020-08-17 2020-08-17 一种基于机器视觉的物料搬运系统及搬运方法

Publications (1)

Publication Number Publication Date
CN112091925A true CN112091925A (zh) 2020-12-18

Family

ID=73753227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825854.9A Pending CN112091925A (zh) 2020-08-17 2020-08-17 一种基于机器视觉的物料搬运系统及搬运方法

Country Status (1)

Country Link
CN (1) CN112091925A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
CN112720432A (zh) * 2021-01-18 2021-04-30 石家庄铁道大学 一种物流机器人及其抓取方法
CN113511455A (zh) * 2021-06-02 2021-10-19 李冬菊 一种仓储货物自动化搬运装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403219A (zh) * 2017-08-07 2017-11-28 南昌大学 一种用于atm钞箱的防碰撞电子标签
CN107932528A (zh) * 2017-11-10 2018-04-20 徐州工程学院 一种用于智能仓储装卸设备的控制系统及控制方法
CN110045739A (zh) * 2019-05-10 2019-07-23 湖北汽车工业学院 一种智能仓储物料机器人、控制系统及控制方法
US20200130170A1 (en) * 2018-03-19 2020-04-30 Boe Technology Group Co., Ltd. Smart grabbing device and method for controlling the same and terminal
CN111098313A (zh) * 2019-12-31 2020-05-05 大连民族大学 一种代购机器人及控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403219A (zh) * 2017-08-07 2017-11-28 南昌大学 一种用于atm钞箱的防碰撞电子标签
CN107932528A (zh) * 2017-11-10 2018-04-20 徐州工程学院 一种用于智能仓储装卸设备的控制系统及控制方法
US20200130170A1 (en) * 2018-03-19 2020-04-30 Boe Technology Group Co., Ltd. Smart grabbing device and method for controlling the same and terminal
CN110045739A (zh) * 2019-05-10 2019-07-23 湖北汽车工业学院 一种智能仓储物料机器人、控制系统及控制方法
CN111098313A (zh) * 2019-12-31 2020-05-05 大连民族大学 一种代购机器人及控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘文胜著: "《实用电路分析与设计》", 31 August 2017, 华南理工大学出版社 *
段连飞等著: "《无人机载SAR图像信息提取技术》", 30 April 2016, 西北工业大学出版社 *
蒋百川编著: "《几何光学与视觉光学》", 30 November 2016, 复旦大学出版社 *
郝丽娜主编: "《工业机器人控制技术》", 30 November 2018, 华中科技大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112720432A (zh) * 2021-01-18 2021-04-30 石家庄铁道大学 一种物流机器人及其抓取方法
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
CN113511455A (zh) * 2021-06-02 2021-10-19 李冬菊 一种仓储货物自动化搬运装置

Similar Documents

Publication Publication Date Title
CN112091925A (zh) 一种基于机器视觉的物料搬运系统及搬运方法
CN109160452B (zh) 基于激光定位和立体视觉的无人转运叉车及导航方法
CN110450129B (zh) 一种应用于搬运机器人的搬运行进方法及其搬运机器人
US20210233277A1 (en) Method and system for calibrating multiple cameras
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN110560373B (zh) 一种多机器人协作分拣运输方法及系统
CN108873904B (zh) 矿用车辆无人驾驶停靠方法、设备及可读存储介质
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN108327815B (zh) 基于视觉控制的工厂无人运料搬运车
JPH11333770A (ja) 積荷位置姿勢認識装置
CN113284178B (zh) 物体码垛方法、装置、计算设备及计算机存储介质
CN112605993B (zh) 基于双目视觉引导的自动抓取档案机器人控制系统及方法
JPH11272328A (ja) 色標識，移動ロボットおよび移動ロボットの誘導方法
US9734429B2 (en) Method, system and computer program product for detecting an obstacle with a camera
CN114581368B (zh) 一种基于双目视觉的棒材焊牌方法及装置
CN113601501B (zh) 机器人柔性作业方法、装置及机器人
Fontana et al. A comparative assessment of parcel box detection algorithms for industrial applications
CN111380535A (zh) 基于视觉标签的导航方法、装置、移动式机器及可读介质
JP2007171018A (ja) 物体位置認識方法及び物体位置認識装置
CN115709331A (zh) 基于目标检测的焊接机器人全自主视觉引导方法及系统
CN116863453A (zh) 一种激光切割件的自动分拣装置
CN114378832A (zh) 基于视觉的三工位轮式搬运机器人全自动控制系统及方法
Marny et al. Configuration and programming of the fanuc irvision vision system for applications in the dynamic environment of manipulated elements
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质
Xu et al. Tracking steel coils using CV algorithm based on deep learning and Kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201218