CN113731860B - 一种容器内堆积物件自动分拣系统及方法 - Google Patents
一种容器内堆积物件自动分拣系统及方法 Download PDFInfo
- Publication number
- CN113731860B CN113731860B CN202111034497.5A CN202111034497A CN113731860B CN 113731860 B CN113731860 B CN 113731860B CN 202111034497 A CN202111034497 A CN 202111034497A CN 113731860 B CN113731860 B CN 113731860B
- Authority
- CN
- China
- Prior art keywords
- container
- included angle
- sucked
- image
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006698 induction Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 24
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000010365 information processing Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
- B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/36—Sorting apparatus characterised by the means used for distribution
- B07C5/361—Processing or control devices therefor, e.g. escort memory
- B07C5/362—Separating or distributor mechanisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
- B07C2501/0063—Using robots
Abstract
本发明公开了一种容器内堆积物件自动分拣系统及方法，属于人工智能与机器人技术领域，包括图像采集模块、控制单元和视觉机器人，控制单元包括图像信息处理模块和定位模块，采用堆积物件识别定位算法对采集到的图像进行处理，获取待吸取物件的位置信息。将获取到的待吸取物件的位置信息发送给视觉机器人，由视觉机器人进行吸取。本发明充分体现了机器人智能自动化的概念，视觉机器人可自主智能识别处于容器内最上方的物件，将其吸取，实现对物件的自动分拣。视觉机器人代替人类的眼睛识别定位容器内的物件，机械臂下方的磁感执行器代替人类的手在真实环境中分拣物件。系统抗环境干扰能力强，适用于各种工作环境。
Description
技术领域
本发明属于人工智能与机器人技术领域，涉及一种容器内堆积物件自动分拣系统及方法。
背景技术
自动化是指机器或装置在无人干预的情况下按规定的程序或指令自动地进行操作或运行，以及模拟人的智能活动。自动化技术广泛应用于工业、农业、国防、交通运输等各方面。自动化技术不仅可以把人从枯燥繁重的体力劳动中解放出来，还可以避免人在高危环境下进行工作，因此推进工业智能自动化成为了当前的重要任务。
目前的物料分拣机器人已经实现在平面上分拣抓取目标物体，以及将目标物体放至传送带上，或从传送带上将目标物体抓取放至目标位置。但这些物料分拣机器人仅仅是实现对于固定高度平台上的物件进行抓取，属于简单场景下的物料分拣抓取，该类视觉机器人抓取的目标物体与其所处背景有明显差异。即现有的物料分拣机器人难以实现不同高度位置、不同复杂场景下物件的吸取。
发明内容
本发明的目的在于克服上述现有技术中，现有的物料分拣机器人难以实现不同高度位置、不同复杂场景下物件吸取的缺点，提供一种容器内堆积物件自动分拣系统及方法。
为了达到上述目的，本发明采用以下技术方案予以实现：
一种容器内堆积物件自动分拣系统，包括：
图像采集模块，用于采集容器内堆积物件的图像信息；
控制单元，包括图像信息处理模块和定位模块，图像信息处理模块与图像采集模块相交互，用于对获取的图像信息进行处理，得到训练样本，之后对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；定位模块与图像信息处理模块相交互，基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系；
视觉机器人，包括分别与定位模块相交互的移动模块和磁感执行器，移动模块基于待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系信息，计算得到视觉机器人的运动坐标关系，基于运动坐标关系进行移动；磁感执行器基于待吸取物件吸取点的像素坐标对待吸取物件进行吸取和放置操作。
优选地，系统还包括快换架，用于在容器内堆积物件自动分拣系统停止工作时放置闲置的磁感执行器。
优选地，图像采集模块通过安装在视觉机器人上的深度相机完成。
一种容器内堆积物件自动分拣方法，包括如下步骤：
步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。
优选地，步骤1)中，训练样本为标注的保留完好的物件图片；
实例分割过程是：
基于训练样本建立实例分割网络；
将新采集的容器内堆积物件图像输送至实例分割网络中，得到分割后的最上方物件图像及该图像的边界框。
优选地，步骤2)的具体过程为：
基于步骤1)获得的最上方物件图像，对该图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框；
计算上述最小外接矩形框的对角线中心点坐标，该对角线中心点坐标即为待吸取物件吸取点的像素坐标。
优选地，步骤3)的具体操作为：
基于步骤1)得到的最上方物件图像的边界框，计算边界框内两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正向，以左对角线与左侧高之间的夹角为第一夹角，以右对角线与右侧高之间的夹角为第二夹角；
计算最小外接矩形框中左上角与右下角对角线与左上角顶点向下方垂线的夹角作为测试夹角；
分别比较测试夹角与第一夹角、第二夹角之间的关系：
若测试夹角与第一夹角同号，则取第一夹角为物件最终旋转角度；
若测试夹角与第二夹角同号，则取第二夹角为物件最终旋转角度。
优选地，步骤4)的过程包括：
步骤41)记录视觉机器人的初始位置，使机器人移动直至末端磁感执行器刚好接触容器底部；
步骤42)以磁感执行器前端中心位置作为定位原点，之后在定位原点的x,y方向分别移动100毫米处，得到两个标记点；
步骤43)将视觉机器人移动至拍照位置对底板进行拍照，记录定位原点和标记点的像素坐标，基于机器人运动真实距离与像素坐标的变化大小，计算得到x,y方向任意一个像素点对应的真实距离，进一步计算得到固定拍照高度平面上任意一个点的像素坐标与机器人运动坐标的对应关系。
与现有技术相比，本发明具有以下有益效果：
本发明提供了一种容器内堆积物件自动分拣系统，包括图像采集模块、控制单元和视觉机器人，控制单元包括图像信息处理模块和定位模块，采用堆积物件识别定位算法对采集到的图像进行处理，获取待吸取物件的位置信息。将获取到的待吸取物件的位置信息发送给视觉机器人，由视觉机器人进行吸取。本发明充分体现了机器人智能自动化的概念，视觉机器人可自主智能识别处于容器内最上方的物件，将其吸取，实现对物件的自动分拣。视觉机器人代替人类的眼睛识别定位容器内的物件，机械臂下方的磁感执行器代替人类的手在真实环境中分拣物件。系统抗环境干扰能力强，适用于各种工作环境。解决了人力分拣耗时耗力的问题，将人工智能与机器人技术相结合解决了工业实际需求问题。为进一步研究机器人的智能自动化系统作业奠定了基础。本发明打破了现有的大部分物件分拣机器人只能实现二维环境下的物件分拣的局面，本系统可以对处于任意高度的物件进行分拣。
本发明还公开了一种容器内堆积物件自动分拣方法，是基于上述系统完成的，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、吸取时的旋转角度及待吸取物件与目标位置之间的距离关系，并将距离关系转换成视觉机器人运动坐标，基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。本发明方法中提出的堆积物件识别定位算法速度快，仅需0.7秒即可完成对物件的识别定位，分拣机仅需3秒即可完成对物件的吸取以及放置。准确率高，对堆积物件识别定位的准确率达到97.8％。鲁棒性强，在不同光照下，不同场景中，对各类堆积物件均能实现快速且准确地识别。本发明一改以往简单场景下的物件分拣，解决了在严重遮挡场景下的物件分拣问题。
附图说明
图1为本发明系统工作时的爆炸图；
图2为本发明堆积物件智动化分拣机的逻辑原理图。
图3为本发明堆积物件智动化分拣机运行过程流程图。
图4为本发明堆积物件识别定位算法流程图。
其中：1-监控计算机；2-视觉机器人；3-深度相机；4-磁感执行器；5-盛放堆积物件的容器；6-吸取物件后的放置容器；7-快换架。
具体实施方式
下面结合附图对本发明做进一步详细描述：
实施例1
一种容器内堆积物件自动分拣系统，包括：
图像采集模块，用于采集容器内堆积物件的图像信息；
控制单元，包括图像信息处理模块和定位模块，图像信息处理模块与图像采集模块相交互，用于对获取的图像信息进行处理，得到训练样本，之后对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；定位模块与图像信息处理模块相交互，基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系；
视觉机器人，包括分别与定位模块相交互的移动模块和磁感执行器，移动模块基于待吸取物件吸取点的像素坐标、待吸取物件在吸取时的旋转角度及待吸取物件与目标位置之间的距离关系信息，计算得到视觉机器人的运动坐标关系，基于运动坐标关系进行移动；磁感执行器基于待吸取物件吸取点的像素坐标对待吸取物件进行吸取和放置操作。
需要说明的是，本发明系统是通过模识智能化软件、控制器、磁感执行器、机械臂和快换器完成的。快换器中设有快换架，快换架由四片金属片构成，两片长度较长，两片长度较短。其中，较长的两片分别作为顶和底，较短的两片在两侧作为高，在顶部与底部之间通过螺丝连接，形成支架起到支撑作用。快换架的作用是在容器内堆积物件自动分拣系统停止工作时放置闲置的磁感执行器。
实施例2
一种容器内堆积物件自动分拣方法，包括如下步骤：
步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。
实施例3
一种容器内堆积物件自动分拣方法，包括如下步骤：
步骤1)采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
训练样本为标注的保留完好的物件图片；
实例分割过程是：
基于训练样本建立实例分割网络；
将新采集的容器内堆积物件图像输送至实例分割网络中，得到分割后的最上方物件图像及该图像的边界框。
步骤2)基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
具体为：
基于步骤1)获得的最上方物件图像，对该图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框；
计算上述最小外接矩形框的对角线中心点坐标，该对角线中心点坐标即为待吸取物件吸取点的像素坐标。
步骤3)基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
具体为：
基于步骤1)得到的最上方物件图像的边界框，计算边界框内两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正向，以左对角线与左侧高之间的夹角为第一夹角，以右对角线与右侧高之间的夹角为第二夹角；
计算最小外接矩形框中左上角与右下角对角线与左上角顶点向下方垂线的夹角作为测试夹角；
分别比较测试夹角与第一夹角、第二夹角之间的关系：
若测试夹角与第一夹角同号，则取第一夹角为物件最终旋转角度；
若测试夹角与第二夹角同号，则取第二夹角为物件最终旋转角度。
步骤4)基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
步骤5)基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置。
实施例4
如图1所示，本发明的容器内堆积物件自动分拣系统，运行逻辑如图2所示，包括模识智能化软件，控制单元，视觉机器人2、监控计算机1，机械臂，快换器7及磁感执行器4。
如图3所示，本发明容器内堆积物件自动分拣系统的运行过程为：
步骤1)启动，完成各单元的初始化工作，主要是视觉机器人2的初始化；
步骤2)视觉机器人2移动至盛放堆积物件的容器5上方的拍照位置。
步骤3)对盛放堆积物件的容器5内堆积物件的图像进行采集，即利用视觉机器人2上安装的深度相机3进行对堆积物件进行拍照。
步骤4)控制单元中的图像信息处理模块利用堆积物件识别定位算法对采集到的图像进行处理。
步骤5)视觉机器人2沿着拍照高度移动至待吸取物件的x,y位置，同时将第六轴(即视觉机器人末端)旋转至待吸取物件时的旋转角度。
步骤6)视觉机器人2向下方移动至距离待吸取物件3厘米处。
步骤7)打开磁感执行器4。
步骤8)视觉机器人2向下方移动至磁感执行器4接触待吸取物件，对待吸取物件进行吸取。
步骤9)视觉机器人2由此位置垂直向上运动至拍照高度，与此同时将第六轴恢复为初始旋转角度。
步骤10)视觉机器人2移动至吸取物件后的放置容器6的上方。
步骤11)视觉机器人2移动至放置待吸取物件的目标位置。
步骤12)关闭磁感执行器4的IO口，将待吸取物件放下。
步骤13)判断吸取物件后的放置容器6内是否存在物件，若存在，机器人则运动至拍照位置，重复执行上述步骤直至物件吸取完毕。若无物件，则直接停止运行。
实施例5
除以下内容外，其余内容与实施例4相同。
如图4所示，本发明方法中，堆积物件识别定位算法的具体流程为：
1、对系统各部件进行初始化，利用视觉机器人对堆积物件图像进行采集，将深度相机固定于视觉机器人第6轴下方，选取合适的拍照位置，对容器内杂乱无章的物件进行拍摄，同时不断改变容器内堆积物件的摆放位置获取大量图片。
利用labelme图像标注软件对获取到的图片进行标注，每次标注出容器内最上方无遮挡，保留完好的物件。使用这些图片作为训练样本，训练yolact实例分割网络。
将新采集的堆积物件图像送至训练完成后的yolact实例分割网络，由此网络输出分割后的最上方物件图像以及该物件图像的边界框。
2、对分割后的最上方物件图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框。计算此最小外接矩形框的对角线中心点坐标，此点坐标即为堆积物件吸取点的像素坐标。
3、计算由堆积物件识别算法生成分割后物件图像的边界框两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正。记左方为a1，右方为a2。
4、计算最小外接矩形框左上角与右下角对角线与左上角顶点向下方垂线的夹角，记作b。
5、若a1与b同号，则取a1作为最终物件的旋转角度。
6、若a2与b同号，则取a2作为最终物件的旋转角度。
本发明提出的堆积物件识别定位算法引入人工智能中的深度学习方法，速度快，仅需0.7秒即可完成对物件的识别定位，分拣机仅需3秒即可完成对物件的吸取以及放置。准确率高，对堆积物件识别定位的准确率达到97.8％。鲁棒性强，在不同光照下，不同场景中，对各类堆积物件均能实现快速且准确地识别。
综上所述，本发明系统可自主智能作业对堆积物件进行分拣，解决了由于工业上一些枯燥乏味的重复性劳动导致大量消耗人力的问题，同时为进一步研究机器人的智能自动化系统作业奠定了基础，具有很高的智能水平，是人工智能技术与机器人技术结合的一个典型应用。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (4)
1.一种容器内堆积物件自动分拣方法，其特征在于，包括如下步骤：
步骤1）采集容器内堆积物件的图像信息，对获取的图像信息进行处理，得到训练样本，对训练样本进行实例分割，得到堆积物件的最上方物件图像及该图像的边界框；
步骤2）基于容器内堆积物件的最上方物件图像，计算后得到待吸取物件吸取点的像素坐标；
步骤3）基于容器内堆积物件的最上方物件图像，计算堆积物件中待吸取物件在吸取时的旋转角度；
步骤4）基于容器内堆积物件的最上方物件图像，得到待吸取物件与目标位置之间的距离关系，将距离关系转换成视觉机器人运动坐标；
步骤5）基于待吸取物件在吸取时的旋转角度及视觉机器人运动坐标，视觉机器人进行移动，并通过磁感执行器吸取待吸取物件，并将待吸取物件移动至目标位置，再通过磁感执行器将待吸取物件放置在目标位置；
步骤3）的具体操作为：
基于步骤1）得到的最上方物件图像的边界框，计算边界框内两条对角线与两侧高的夹角，取垂直方向为0度，并以左对角线偏离左侧高方向为正向，以左对角线与左侧高之间的夹角为第一夹角，以右对角线与右侧高之间的夹角为第二夹角；
计算最小外接矩形框中左上角与右下角对角线与左上角顶点向下方垂线的夹角作为测试夹角；
分别比较测试夹角与第一夹角、第二夹角之间的关系：
若测试夹角与第一夹角同号，则取第一夹角为物件最终旋转角度；
若测试夹角与第二夹角同号，则取第二夹角为物件最终旋转角度；
上述方法中，堆积物件识别定位算法的具体流程为：
利用视觉机器人对堆积物件图像进行采集，将深度相机固定于视觉机器人第6轴下方，选取合适的拍照位置，对容器内杂乱无章的物件进行拍摄，同时不断改变容器内堆积物件的摆放位置获取大量图片；
利用labelme图像标注软件对获取到的图片进行标注，每次标注出容器内最上方无遮挡，保留完好的物件，使用这些图片作为训练样本，训练yolact实例分割网络；
将新采集的堆积物件图像送至训练完成后的yolact实例分割网络，由此网络输出分割后的最上方物件图像以及该物件图像的边界框；
对分割后的最上方物件图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框，计算此最小外接矩形框的对角线中心点坐标，此点坐标即为堆积物件吸取点的像素坐标。
2.根据权利要求1所述的堆积物件自动分拣方法，其特征在于，步骤1）中，训练样本为标注的保留完好的物件图片；
实例分割过程是：
基于训练样本建立实例分割网络；
将新采集的容器内堆积物件图像输送至实例分割网络中，得到分割后的最上方物件图像及该图像的边界框。
3.根据权利要求1所述的堆积物件自动分拣方法，其特征在于，步骤2）的具体过程为：
基于步骤1）获得的最上方物件图像，对该图像进行最小外接矩形框生成，得到分割后物件图像的最小外接矩形框；
计算上述最小外接矩形框的对角线中心点坐标，该对角线中心点坐标即为待吸取物件吸取点的像素坐标。
4.根据权利要求1所述的堆积物件自动分拣方法，其特征在于，步骤4）的过程包括：
步骤41）记录视觉机器人的初始位置，使机器人移动直至末端磁感执行器刚好接触容器底部；
步骤42）以磁感执行器前端中心位置作为定位原点，之后在定位原点的x,y方向分别移动100毫米处，得到两个标记点；
步骤43）将视觉机器人移动至拍照位置对底板进行拍照，记录定位原点和标记点的像素坐标，基于机器人运动真实距离与像素坐标的变化大小，计算得到x,y方向任意一个像素点对应的真实距离，进一步计算得到固定拍照高度平面上任意一个点的像素坐标与机器人运动坐标的对应关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111034497.5A CN113731860B (zh) | 2021-09-03 | 2021-09-03 | 一种容器内堆积物件自动分拣系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111034497.5A CN113731860B (zh) | 2021-09-03 | 2021-09-03 | 一种容器内堆积物件自动分拣系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113731860A CN113731860A (zh) | 2021-12-03 |
| CN113731860B true CN113731860B (zh) | 2023-10-24 |
Family
ID=78735698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111034497.5A Active CN113731860B (zh) | 2021-09-03 | 2021-09-03 | 一种容器内堆积物件自动分拣系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113731860B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559341A (zh) * | 2017-09-27 | 2019-04-02 | 北京猎户星空科技有限公司 | 一种机械臂抓取方案的生成方法及装置 |
| CN109754362A (zh) * | 2018-12-24 | 2019-05-14 | 哈尔滨工程大学 | 一种用可旋转的边界框标注海参目标检测结果的方法 |
| CN110315525A (zh) * | 2018-03-29 | 2019-10-11 | 天津工业大学 | 一种基于视觉引导的机器人工件抓取方法 |
| CN111325684A (zh) * | 2020-02-01 | 2020-06-23 | 武汉大学 | 一种半自动高空间分辨率遥感影像不同形状建筑物提取方法 |
| CN111754515A (zh) * | 2019-12-17 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 堆叠物品的顺序抓取方法和装置 |
| CN111923053A (zh) * | 2020-04-21 | 2020-11-13 | 广州里工实业有限公司 | 基于深度视觉的工业机器人物件抓取示教系统及方法 |
| CN112001841A (zh) * | 2020-07-14 | 2020-11-27 | 歌尔股份有限公司 | 图像待检测区域提取方法、装置和产品缺陷检测系统 |
| CN112560675A (zh) * | 2020-12-15 | 2021-03-26 | 三峡大学 | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 |
| CN113284179A (zh) * | 2021-05-26 | 2021-08-20 | 吉林大学 | 一种基于深度学习的机器人多物体分拣方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6846950B2 (ja) * | 2017-03-03 | 2021-03-24 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
-
2021
- 2021-09-03 CN CN202111034497.5A patent/CN113731860B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559341A (zh) * | 2017-09-27 | 2019-04-02 | 北京猎户星空科技有限公司 | 一种机械臂抓取方案的生成方法及装置 |
| CN110315525A (zh) * | 2018-03-29 | 2019-10-11 | 天津工业大学 | 一种基于视觉引导的机器人工件抓取方法 |
| CN109754362A (zh) * | 2018-12-24 | 2019-05-14 | 哈尔滨工程大学 | 一种用可旋转的边界框标注海参目标检测结果的方法 |
| CN111754515A (zh) * | 2019-12-17 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 堆叠物品的顺序抓取方法和装置 |
| CN111325684A (zh) * | 2020-02-01 | 2020-06-23 | 武汉大学 | 一种半自动高空间分辨率遥感影像不同形状建筑物提取方法 |
| CN111923053A (zh) * | 2020-04-21 | 2020-11-13 | 广州里工实业有限公司 | 基于深度视觉的工业机器人物件抓取示教系统及方法 |
| CN112001841A (zh) * | 2020-07-14 | 2020-11-27 | 歌尔股份有限公司 | 图像待检测区域提取方法、装置和产品缺陷检测系统 |
| CN112560675A (zh) * | 2020-12-15 | 2021-03-26 | 三峡大学 | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 |
| CN113284179A (zh) * | 2021-05-26 | 2021-08-20 | 吉林大学 | 一种基于深度学习的机器人多物体分拣方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周向 ; 何伟 ; 何涛 ; 熊健 ; .一种基于机器视觉的瓷砖定位分割方法.中国陶瓷.2016,(第07期),第43-48页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113731860A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
| CN109785317B (zh) | 自动码垛桁架机器人的视觉系统 | |
| CN108229665A (zh) | 一种以深度卷积神经网络为基础的零件分拣系统 | |
| CN113643280B (zh) | 一种基于计算机视觉的板材分拣系统及方法 | |
| CN113245235B (zh) | 一种基于3d视觉的商品分类方法及装置 | |
| CN113666028B (zh) | 一种基于激光雷达和相机融合的垃圾桶检测抓取方法 | |
| CN113580149B (zh) | 基于关键点预测网络的无序混叠工件抓取方法和系统 | |
| CN208092786U (zh) | 一种以深度卷积神经网络为基础的零件分拣系统 | |
| CN113715012B (zh) | 一种遥控器零件自动装配方法和系统 | |
| CN115582827A (zh) | 一种基于2d和3d视觉定位的卸货机器人抓取方法 | |
| CN113602799B (zh) | 一种航空港行李箱搬运系统及其控制方法 | |
| CN111761575A (zh) | 工件及其抓取方法和生产线 | |
| CN113731860B (zh) | 一种容器内堆积物件自动分拣系统及方法 | |
| Lin et al. | Vision based object grasping of industrial manipulator | |
| CN110533717A (zh) | 一种基于双目视觉的目标抓取方法及装置 | |
| CN116175542B (zh) | 确定夹具抓取顺序的方法、装置、电子设备和存储介质 | |
| CN205552536U (zh) | 一种基于机器视觉的四轴并联机器人分拣系统 | |
| CN111062387B (zh) | 一种传送带上物品的识别方法、抓取方法及相关设备 | |
| Qian et al. | The autonomous detection of sheet metal parts using imageprocessing | |
| CN115393696A (zh) | 具有旋转补偿的对象料箱拾取 | |
| CN211100232U (zh) | 基于视觉及深度学习的垃圾分选系统 | |
| CN107316302A (zh) | 基于双目视觉的行车自动定位装置及其对应的定位方法 | |
| CN207115499U (zh) | 基于双目视觉的行车自动定位装置 | |
| Sansoni et al. | Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance | |
| Zheng et al. | Research on Robot Object Localization and Grabbing Based on Concontour Matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |