CN116038714A - 一种基于3d相机的无序分拣方法及系统 - Google Patents
一种基于3d相机的无序分拣方法及系统 Download PDFInfo
- Publication number
- CN116038714A CN116038714A CN202310139000.9A CN202310139000A CN116038714A CN 116038714 A CN116038714 A CN 116038714A CN 202310139000 A CN202310139000 A CN 202310139000A CN 116038714 A CN116038714 A CN 116038714A
- Authority
- CN
- China
- Prior art keywords
- robot
- camera
- industrial robot
- sorting
- box body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000000463 material Substances 0.000 claims abstract description 48
- 238000003466 welding Methods 0.000 claims description 49
- 238000005516 engineering process Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 239000011265 semifinished product Substances 0.000 claims description 7
- 239000000047 product Substances 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000004092 self-diagnosis Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 238000013135 deep learning Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000002787 reinforcement Effects 0.000 description 8
- 238000009434 installation Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
- B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
- B23P19/06—Screw or nut setting or loosening machines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Manipulator (AREA)
Abstract
本发明提出了一种基于3D相机的无序分拣方法及系统，涉及分拣方法领域。包括平台扫描物料台获取工件信息入库工业机器人将物料盒移动至分拣及装配工作站3D相机侧，将螺钉倒入物料盒中，通过3D智能相机进行拍照获取工件位姿；移动机器人将箱体移动至分拣及装配工作站铆接机侧，将箱体放置于铆接机工作台上；工业机器人切换夹具后，从物料台抓取螺母后放置于箱体的待安装位置后铆接；工业机器人切换夹具后，抓取上盖板，并装配至箱体上；工业机器人切换夹具后，从物料盒抓取螺钉，并放置于二次定位装置上；工业机器人切换螺钉锁付夹具后，从二次定位装置上抓取螺钉，将其锁付于箱体。本发明可避免碰撞，保证了产线的稳定性。
Description
技术领域
本发明涉及分拣方法领域，具体而言，涉及一种基于3D相机的无序分拣方法及系统。
背景技术
人工智能发展日新月异，伴随着风口而来的是AI领域人才需求激增。数据显示，2017年前10个月内，AI人才需求量已经达到了2016年的近两倍，2015年的5.3倍，人才需求直线上升复合增长率超过200％。为了解决人才紧缺问题再常规工业机器人教学设备上加入3D视觉进行集成。而在对焊接箱体进行装配时，在实际生产过程中，由于机器人对工件的抓取角度或位置不当，容易发生碰撞，造成生产效率降低和安装质量的问题，对生产过程带来了很大影响。
发明内容
本发明的目的在于提供一种基于3D相机的无序分拣方法，其能够通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
本发明的另一目的在于提供一种基于3D相机的无序分拣系统，其能够通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供一种基于3D相机的无序分拣方法，其包括如下步骤，S1、平台扫描物料台获取工件信息入库，工件包括螺母、螺钉和焊接箱体，其中螺母用于铆接于上述焊接箱体，螺钉用于锁紧于上述焊接箱体；S2、工业机器人将物料盒移动至分拣及装配工作站3D相机侧，将多个螺钉倒入3D智能相机视野下的物料盒中，通过3D智能相机进行拍照获取工件位姿以供上述工业机器人抓取螺钉；S3、移动机器人将上述焊接箱体移动至分拣及装配工作站铆接机侧，将上述焊接箱体放置于铆接机工作台上；工业机器人切换快换夹具后，从物料台抓取螺母后放置于上述焊接箱体的待安装位置上，并由铆压机进行铆接；S4、上述工业机器人切换快换夹具后，抓取待安装的上盖板，并装配至上述焊接箱体的铆接螺母上；上述工业机器人切换快换夹具后，从上述物料盒抓取螺钉，并放置于二次定位装置上，以供上述工业机器人抓取螺钉；S5、上述工业机器人切换螺钉锁付夹具后，从上述二次定位装置上抓取螺钉，将其锁付于铆接螺母上以将上述上盖板装配于上述焊接箱体；S6、上述移动机器人运送装配后的上述焊接箱体；S7、利用上述工业机器人内置/外置的传感器完成多项感知数据的采集，并进行预处理操作，包括对上述3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，及智能机器人的语音对话数据标注；S8、导入上述3D智能相机采集的训练集数据，设置训练参数，训练工件位姿识别模型；部署训练后的模型，对工件进行位姿识别测试，根据多次识别的精度进行评分；利用图形化编程软件编写机器人程序，根据精度评分控制上述工业机器人完成螺钉的抓取及放置过程的位姿规整；利用图形化编程软件，编写机器人程序，结合上述3D智能相机的识别结果，控制上述工业机器人完成对上述物料盒中散乱螺钉的分拣操作；S9、对平台的机器人进行编程和规划，实现机器人自动决策、运动完成规定动作和任务、人机协同应用、机器人自我诊断和远程智能维护；S10、融合人工智能模型学习和训练的结果，以及结合机器人的自主规划功能，应用机器人人工智能应用技术，调用平台的相应功能组件，操作、编程并调试，在平台上实现典型工业场景完整任务。
在本发明的一些实施例中，上述步骤S2中，上述工业机器人将上述物料盒移动至分拣及装配工作站3D相机侧之前，还包括如下步骤，上述工业机器人就近移动至螺钉螺母物料台的待抓取位置上，利用头部双目相机获取上述物料盒位姿后抓取上述物料盒。
在本发明的一些实施例中，上述步骤S3中，上述移动机器人将上述焊接箱体移动至分拣及装配工作站铆接机侧之前，还包括如下步骤，上述移动机器人就近移动至箱体物料台的待抓取位置，上述移动机器人通过2D末端相机获取上述焊接箱体位姿后抓取上述焊接箱体。
在本发明的一些实施例中，上述步骤S7具体包括如下步骤，利用上述3D智能相机采集指定数量的图像，并完成标注；控制上述移动机器人在作业场景中全空间移动，生成移动机器人专用的作业场景平面地图模型；控制上述工业机器人在作业场景中全空间移动，生成上述工业机器人专用的作业场景平面地图模型；利用上述工业机器人的麦克风阵列采集操作人员的语音数据，设置上述工业机器人的语音对话提示词，实现操作人员与上述工业机器人的智能交互。
在本发明的一些实施例中，上述步骤S9具体包括如下步骤，对上述移动机器人进行编程，设置作业点、自动充电点，实现上述移动机器人自主运动规划，以及完成对箱体工件的定位及抓取；通过对2D末端相机进行编程，实现对箱体的识别；根据实际场景，在平面地图中设置上述移动机器人的作业点、自动巡检线路，及通过语音控制执行巡逻作业；对上述工业机器人进行编程，实现对上述物料盒的位姿识别与抓取。
在本发明的一些实施例中，上述步骤S10具体包括如下步骤，利用图形化编程软件，编写机器人程序，结合3D智能相机识别结果，控制工业机器人实现完整的分拣、铆接和锁螺钉流程；编写主控程序，实现各设备的联机通讯以及对各设备的控制；融合人工智能和机器人自主规划技术，实现完整的典型工业场景任务：a)通过语音启动完整流程，上述移动机器人为分拣及装配工作台运送半成品箱体，上述工业机器人为分拣及装配工作台运送螺钉工件；b)上述工业机器人执行分拣、铆接、锁螺钉任务，上述移动机器人自动返回充电桩位置执行充电任务以及自动巡检任务；c)上述移动机器人结束充电后，运送半成品箱体，同时将成品箱体搬运至立体仓库，工业机器人继续执行分拣、铆接和锁螺钉任务。
第二方面，本申请实施例提供一种基于3D相机的无序分拣系统，其基于第一方面任一项上述的一种基于3D相机的无序分拣方法实现。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
针对第一方面～第二方面：本申请基于仿真场景下机器人智能路径规划算法实现，机器人利用特定的快换夹具，将铆接螺母准确放置于焊接箱体上，并锚固于焊接箱体孔位中。然后，基于3D智能相机识别散乱放置的螺钉位姿，机器人利用特定的快换夹具将螺钉放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至箱体的铆接螺母中。涉及的人工智能技术包括了，基于深度学习技术的图像语义分割技术，应用了面向二维图像的深度学习技术；基于3D点云信息的物体位姿估计技术，应用了面向点云的端到端深度学习技术；面向高维空间的机器人智能路径规划技术，应用了强化学习技术。本发明通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例1基于3D相机的无序分拣方法的流程图一；
图2为本发明实施例1基于3D相机的无序分拣方法的流程图二；
图3为本发明实施例1中步骤S7的流程图；
图4为本发明实施例1中步骤S9的流程图；
图5为本发明实施例1中步骤S10的流程图；
图6为本发明实施例2电子设备的原理示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
实施例1
请参阅图1～图5，图1～图5所示为本申请实施例提供的基于3D相机的无序分拣方法的示意图。基于3D相机的无序分拣方法，其包括如下步骤，S1、平台扫描物料台获取工件信息入库，工件包括螺母、螺钉和焊接箱体，其中螺母用于铆接于上述焊接箱体，螺钉用于锁紧于上述焊接箱体；S2、工业机器人将物料盒移动至分拣及装配工作站3D相机侧，将多个螺钉倒入3D智能相机视野下的物料盒中，通过3D智能相机进行拍照获取工件位姿以供上述工业机器人抓取螺钉；S3、移动机器人将上述焊接箱体移动至分拣及装配工作站铆接机侧，将上述焊接箱体放置于铆接机工作台上；工业机器人切换快换夹具后，从物料台抓取螺母后放置于上述焊接箱体的待安装位置上，并由铆压机进行铆接；S4、上述工业机器人切换快换夹具后，抓取待安装的上盖板，并装配至上述焊接箱体的铆接螺母上；上述工业机器人切换快换夹具后，从上述物料盒抓取螺钉，并放置于二次定位装置上，以供上述工业机器人抓取螺钉；S5、上述工业机器人切换螺钉锁付夹具后，从上述二次定位装置上抓取螺钉，将其锁付于铆接螺母上以将上述上盖板装配于上述焊接箱体；S6、上述移动机器人运送装配后的上述焊接箱体；S7、利用上述工业机器人内置/外置的传感器完成多项感知数据的采集，并进行预处理操作，包括对上述3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，及智能机器人的语音对话数据标注；S8、导入上述3D智能相机采集的训练集数据，设置训练参数，训练工件位姿识别模型；部署训练后的模型，对工件进行位姿识别测试，根据多次识别的精度进行评分；利用图形化编程软件编写机器人程序，根据精度评分控制上述工业机器人完成螺钉的抓取及放置过程的位姿规整；利用图形化编程软件，编写机器人程序，结合上述3D智能相机的识别结果，控制上述工业机器人完成对上述物料盒中散乱螺钉的分拣操作；S9、对平台的机器人进行编程和规划，实现机器人自动决策、运动完成规定动作和任务、人机协同应用、机器人自我诊断和远程智能维护；S10、融合人工智能模型学习和训练的结果，以及结合机器人的自主规划功能，应用机器人人工智能应用技术，调用操作平台的相应功能组件，操作、编程并调试，在操作平台上实现典型工业场景完整任务。
本申请基于仿真场景下机器人智能路径规划算法实现，机器人利用特定的快换夹具，将铆接螺母准确放置于焊接箱体上，并锚固于焊接箱体孔位中。然后，基于3D智能相机识别散乱放置的螺钉位姿，机器人利用特定的快换夹具将螺钉放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至箱体的铆接螺母中。涉及的人工智能技术包括了，基于深度学习技术的图像语义分割技术，应用了面向二维图像的深度学习技术；基于3D点云信息的物体位姿估计技术，应用了面向点云的端到端深度学习技术；面向高维空间的机器人智能路径规划技术，应用了强化学习技术。本发明通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
移动机器人将焊接箱体从箱体物料台上搬运至分拣及装配工作台，当完成箱体上的螺母铆接和螺钉锁付后，将箱体成品搬运至立体仓库。其中，涉及的人工智能技术是基于深度学习技术的物体检测技术，具体为融合物体分类(classification)与定位(localization)的深度学习技术。其中，立体仓库分螺钉螺母取料区和装配盒取放区，螺钉取料区分上下两层，上层有多个仓位，每个仓位放置不同的螺钉盒，下层为工业机器人取料平台，可根据要求，人工选择不同螺钉盒随机放置到取料平台的不同位置，工业机器人可以通过视觉识别技术把所需螺钉盒取走。装配盒取放区可以分为上下两层，上层为成品放置区，下层为半成品放置区。
步骤S7中，根据任务要求，利用机器人内置/外置传感器完成机器人感知数据的采集，并进行预处理操作，包括对3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，智能机器人的语音对话数据标注等，实现多传感器数据融合处理和分析。步骤S8中，根据任务要求，选择给定的卷积神经网络训练模型，设置训练参数，将训练数据集输入到模型进行训练，输出训练效果及模型文件，利用训练的模型和技术平台提供的工件，编写图形化机器人程序，并可视化学习结果。步骤S9中，根据任务要求，对平台的机器人进行编程和规划，实现机器人自动决策、运动完成规定动作和任务、人机协同应用、机器人自我诊断和远程智能维护。步骤S10中，根据任务要求，融合人工智能模型学习和训练的结果，以及结合机器人的自主规划功能，应用机器人人工智能应用技术，调用相应功能组件，操作、编程并调试，在操作平台上实现典型工业场景完整任务。
在本发明的一些实施例中，上述步骤S1具体包括如下步骤，依次检测螺钉螺母物料台以及箱体物料台的工件信息。通过检测螺钉、螺母和焊接箱体，便于机器人抓取并根据各类工件进行工艺分析和匹配。
在本发明的一些实施例中，上述步骤S2中，上述工业机器人将上述物料盒移动至分拣及装配工作站3D相机侧之前，还包括如下步骤，上述工业机器人就近移动至螺钉螺母物料台的待抓取位置上，利用头部双目相机获取上述物料盒位姿后抓取上述物料盒。通过将物料盒移动到分拣及装配工作站的3D相机侧，其中工业机器人可利用头部双目相机识别物料盒位姿，获取物体及路径信息，从而实现物料盒的抓取，以将螺钉无序放入物料盒进行抽取。上述步骤S1中，螺母螺钉的工件信息可以通过头部双目相机采集后进行识别。
在本发明的一些实施例中，上述步骤S3中，上述移动机器人将上述焊接箱体移动至分拣及装配工作站铆接机侧之前，还包括如下步骤，上述移动机器人就近移动至箱体物料台的待抓取位置，上述移动机器人通过2D末端相机获取上述焊接箱体位姿后抓取上述焊接箱体。通过将焊接箱体移动至铆接机前，从而供焊接箱体进行螺母铆接。通过移动机器人为移动操作臂，在机械臂末端安装相机以识别焊接箱体位姿后进行抓取。上述步骤S1中，焊接箱体的工件信息可以通过2D末端相机采集后进行识别。
在本发明的一些实施例中，上述步骤S7具体包括如下步骤，利用上述3D智能相机采集指定数量的图像，并完成标注；控制上述移动机器人在作业场景中全空间移动，生成移动机器人专用的作业场景平面地图模型；控制上述工业机器人在作业场景中全空间移动，生成上述工业机器人专用的作业场景平面地图模型；利用上述工业机器人的麦克风阵列采集操作人员的语音数据，设置上述工业机器人的语音对话提示词，实现操作人员与上述工业机器人的智能交互。
在本发明的一些实施例中，上述步骤S9具体包括如下步骤，对上述移动机器人进行编程，设置作业点、自动充电点，实现上述移动机器人自主运动规划，以及完成对箱体工件的定位及抓取；通过对2D末端相机进行编程，实现对箱体的识别；根据实际场景，在平面地图中设置上述移动机器人的作业点、自动巡检线路，及通过语音控制执行巡逻作业；对上述工业机器人进行编程，实现对上述物料盒的位姿识别与抓取。
在本发明的一些实施例中，上述步骤S10具体包括如下步骤，利用图形化编程软件，编写机器人程序，结合3D智能相机识别结果，控制工业机器人实现完整的分拣、铆接和锁螺钉流程；编写主控程序，实现各设备的联机通讯以及对各设备的控制；融合人工智能和机器人自主规划技术，实现完整的典型工业场景任务：a)通过语音启动完整流程，上述移动机器人为分拣及装配工作台运送半成品箱体，上述工业机器人为分拣及装配工作台运送螺钉工件；b)上述工业机器人执行分拣、铆接、锁螺钉任务，上述移动机器人自动返回充电桩位置执行充电任务以及自动巡检任务；c)上述移动机器人结束充电后，运送半成品箱体，同时将成品箱体搬运至立体仓库，工业机器人继续执行分拣、铆接和锁螺钉任务。
实施例2
请参阅图6，图6为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例1所提供的实现基于3D相机的无序分拣方法对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的一种基于3D相机的无序分拣方法及系统：
本申请基于仿真场景下机器人智能路径规划算法实现，机器人利用特定的快换夹具，将铆接螺母准确放置于焊接箱体上，并锚固于焊接箱体孔位中。然后，基于3D智能相机识别散乱放置的螺钉位姿，机器人利用特定的快换夹具将螺钉放置于二次定位装置，并切换螺钉锁付夹具，将螺钉锁紧至箱体的铆接螺母中。涉及的人工智能技术包括了，基于深度学习技术的图像语义分割技术，应用了面向二维图像的深度学习技术；基于3D点云信息的物体位姿估计技术，应用了面向点云的端到端深度学习技术；面向高维空间的机器人智能路径规划技术，应用了强化学习技术。本发明通过基于强化学习的运动规划算法，在机器人进行抓取时，可自动选取合适的抓取角度和位置，避免碰撞，解决了生产效率降低和安装质量的问题，保证产线的稳定性。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种基于3D相机的无序分拣方法，其特征在于，包括如下步骤，
S1、操作平台扫描物料台获取工件信息入库，工件包括螺母、螺钉和焊接箱体，其中螺母用于铆接于所述焊接箱体，螺钉用于锁紧于所述焊接箱体；
S2、工业机器人将物料盒移动至分拣及装配工作站3D相机侧，将多个螺钉倒入3D智能相机视野下的物料盒中，通过3D智能相机进行拍照获取工件位姿以供所述工业机器人抓取螺钉；
S3、移动机器人将所述焊接箱体移动至分拣及装配工作站铆接机侧，将所述焊接箱体放置于铆接机工作台上；工业机器人切换快换夹具后，从物料台抓取螺母后放置于所述焊接箱体的待安装位置上，并由铆压机进行铆接；
S4、所述工业机器人切换快换夹具后，抓取待安装的上盖板，并装配至所述焊接箱体的铆接螺母上；所述工业机器人切换快换夹具后，从所述物料盒抓取螺钉，并放置于二次定位装置上，以供所述工业机器人抓取螺钉；
S5、所述工业机器人切换螺钉锁付夹具后，从所述二次定位装置上抓取螺钉，将其锁付于铆接螺母上以将所述上盖板装配于所述焊接箱体；
S6、所述移动机器人运送装配后的所述焊接箱体；
S7、利用所述工业机器人内置/外置的传感器完成多项感知数据的采集，并进行预处理操作，包括对所述3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，及智能机器人的语音对话数据标注；包括对所述3D智能相机采集的工件数据进行标注，分别构建面向移动机器人和智能机器人的作业场景地图，及智能机器人的语音对话数据标注；
S8、导入所述3D智能相机采集的训练集数据，设置训练参数，训练工件位姿识别模型；部署训练后的模型，对工件进行位姿识别测试，根据多次识别的精度进行评分；利用图形化编程软件编写机器人程序，根据精度评分控制所述工业机器人完成螺钉的抓取及放置过程的位姿规整；利用图形化编程软件，编写机器人程序，结合所述3D智能相机的识别结果，控制所述工业机器人完成对所述物料盒中散乱螺钉的分拣操作；
S9、对操作平台的机器人进行编程和规划，实现机器人自动决策、运动完成规定动作和任务、人机协同应用、机器人自我诊断和远程智能维护；
S10、融合人工智能模型学习和训练的结果，以及结合机器人的自主规划功能，应用机器人人工智能应用技术，调用操作平台的相应功能组件，操作、编程并调试，在操作平台上实现典型工业场景完整任务。
2.如权利要求1所述的一种基于3D相机的无序分拣方法，其特征在于，步骤S2中，所述工业机器人将所述物料盒移动至分拣及装配工作站3D相机侧之前，还包括如下步骤，所述工业机器人就近移动至螺钉螺母物料台的待抓取位置上，利用头部双目相机获取所述物料盒位姿后抓取所述物料盒。
3.如权利要求1所述的一种基于3D相机的无序分拣方法，其特征在于，步骤S3中，所述移动机器人将所述焊接箱体移动至分拣及装配工作站铆接机侧之前，还包括如下步骤，所述移动机器人就近移动至箱体物料台的待抓取位置，所述移动机器人通过2D末端相机获取所述焊接箱体位姿后抓取所述焊接箱体。
4.如权利要求1所述的一种基于3D相机的无序分拣方法，其特征在于，步骤S7具体包括如下步骤，利用所述3D智能相机采集指定数量的图像，并完成标注；控制所述移动机器人在作业场景中全空间移动，生成移动机器人专用的作业场景平面地图模型；控制所述工业机器人在作业场景中全空间移动，生成所述工业机器人专用的作业场景平面地图模型；利用所述工业机器人的麦克风阵列采集操作人员的语音数据，设置所述工业机器人的语音对话提示词，实现操作人员与所述工业机器人的智能交互。
5.如权利要求1所述的一种基于3D相机的无序分拣方法，其特征在于，步骤S9具体包括如下步骤，对所述移动机器人进行编程，设置作业点、自动充电点，实现所述移动机器人自主运动规划，以及完成对箱体工件的定位及抓取；通过对2D末端相机进行编程，实现对箱体的识别；根据实际场景，在平面地图中设置所述移动机器人的作业点、自动巡检线路，及通过语音控制执行巡逻作业；对所述工业机器人进行编程，实现对所述物料盒的位姿识别与抓取。
6.如权利要求1所述的一种基于3D相机的无序分拣方法，其特征在于，步骤S10具体包括如下步骤，利用图形化编程软件，编写机器人程序，结合3D智能相机识别结果，控制工业机器人实现完整的分拣、铆接和锁螺钉流程；编写主控程序，实现各设备的联机通讯以及对各设备的控制；融合人工智能和机器人自主规划技术，实现完整的典型工业场景任务：a)通过语音启动完整流程，所述移动机器人为分拣及装配工作台运送半成品箱体，所述工业机器人为分拣及装配工作台运送螺钉工件；b)所述工业机器人执行分拣、铆接、锁螺钉任务，所述移动机器人自动返回充电桩位置执行充电任务以及自动巡检任务；c)所述移动机器人结束充电后，运送半成品箱体，同时将成品箱体搬运至立体仓库，工业机器人继续执行分拣、铆接和锁螺钉任务。
7.一种基于3D相机的无序分拣系统，其特征在于，基于权利要求1～6任一项所述的一种基于3D相机的无序分拣方法实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310139000.9A CN116038714A (zh) | 2023-02-20 | 2023-02-20 | 一种基于3d相机的无序分拣方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310139000.9A CN116038714A (zh) | 2023-02-20 | 2023-02-20 | 一种基于3d相机的无序分拣方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116038714A true CN116038714A (zh) | 2023-05-02 |
Family
ID=86133189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310139000.9A Withdrawn CN116038714A (zh) | 2023-02-20 | 2023-02-20 | 一种基于3d相机的无序分拣方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116038714A (zh) |
-
2023
- 2023-02-20 CN CN202310139000.9A patent/CN116038714A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112476434B (zh) | 一种基于协作机器人的视觉3d取放方法及系统 | |
| DE102014102943B4 (de) | Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste | |
| DE102016009030A1 (de) | Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs | |
| CN109407603B (zh) | 一种控制机械臂抓取物体的方法及装置 | |
| CN112837371A (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
| CN112621765B (zh) | 一种基于机械手的设备自动组装控制方法及装置 | |
| DE102019124810A1 (de) | Bildverarbeitungsgerät und Bildverarbeitungsverfahren | |
| DE102020130520A1 (de) | Verfahren zum steuern eines roboters in gegenwart menschlicher bediener | |
| JP7230873B2 (ja) | 異物検出装置、異物除去装置および異物検出方法 | |
| Konstantinidis et al. | A technology maturity assessment framework for industry 5.0 machine vision systems based on systematic literature review in automotive manufacturing | |
| CN109955242A (zh) | 巡维机器人控制方法、装置、计算机设备以及存储介质 | |
| CN116976721A (zh) | 一种配电作业行为规范性评价方法、系统、计算设备 | |
| CN110914021A (zh) | 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序 | |
| DE112020004852T5 (de) | Steuerungsverfahren, steuerungsvorrichtung, robotersystem, programm und aufzeichnungsmedium | |
| CN116038714A (zh) | 一种基于3d相机的无序分拣方法及系统 | |
| Othman et al. | Comparison on cloud image classification for thrash collecting LEGO mindstorms EV3 robot | |
| CN108957384A (zh) | 一种周转箱及电能计量设备方向判别方法与装置 | |
| CN116100551A (zh) | 一种基于ai视觉技术的机器人虚拟仿真应用方法及系统 | |
| Lin et al. | Inference of 6-DOF robot grasps using point cloud data | |
| Allevato | An object recognition and pose estimation library for intelligent industrial automation | |
| Diaz et al. | Path planning based on an artificial vision system and optical character recognition (OCR) | |
| Wang | K-Decision Tree Control Method of Welding Robots based on Machine Vision | |
| CN116619374A (zh) | 机器人控制方法、装置和机器人 | |
| Ling et al. | Enhancing digital manufacturing with affordable vision systems: exploring low-cost applications | |
| Kajan et al. | Robotic Vision Inspection of Weld Quality Using Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230502 |
|
| WW01 | Invention patent application withdrawn after publication |