CN106364903A - 单目立体视觉堆叠工件分拣方法 - Google Patents

单目立体视觉堆叠工件分拣方法 Download PDF

Info

Publication number
CN106364903A
CN106364903A CN201610688567.1A CN201610688567A CN106364903A CN 106364903 A CN106364903 A CN 106364903A CN 201610688567 A CN201610688567 A CN 201610688567A CN 106364903 A CN106364903 A CN 106364903A
Authority
CN
China
Prior art keywords
workpiece
sorting
stereo vision
single eye
crawl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610688567.1A
Other languages
English (en)
Inventor
顾城歌
周志宇
徐晓坤
杨青
朱统帅
莫锦秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610688567.1A priority Critical patent/CN106364903A/zh
Publication of CN106364903A publication Critical patent/CN106364903A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种单目立体视觉堆叠工件分拣方法，包括通过分拣相机获取堆叠工件的原始图像；识别可见工件；从可见工件中确定待抓取工件；确定是否存在会与所述待抓取工件的抓取工装相干涉的干涉工件；令抓取工装对所述待抓取工件进行抓取。本发明是一种应用于分拣堆叠的立体工件的单目立体视觉解决方法，采用单目立体视觉，对立体堆叠的工件堆中顶层的工件进行识别和定位，进而确定其空间分布情况，以进行干涉分析，再逐次将可拾取工件分拣出来。

Description

单目立体视觉堆叠工件分拣方法
技术领域
本发明涉及视觉处理领域，具体地，涉及单目立体视觉堆叠工件分拣方法。尤其是一种可用于机器视觉与执行机构相结合的装置中，能适用于立体堆叠工件的分拣的技术方案。
背景技术
随着工业生产中自动化程度不断提高，机器视觉的应用越来越多。在生产过程中，经常需要将工件从物料箱中分拣出来以进行其他操作。
目前，较为成熟的工件分拣是利用平面视觉将分离平放的工件从传送带上分拣出来。堆叠工件的分拣主要则利用立体视觉技术，如Vision++计算机视觉公司开发的binpicking++技术使用三角结构光扫描技术，获取堆叠工件的3维空间位姿信息，实现机器人的自动分拣功能；FANUC公司研发的3D Area Sensor视觉方案，使用1个投影仪和2个相机组成一个区域检测视觉系统，通过投射条纹光，获取一个大范围空间的3D点云数据；论文“Flexible 3D Local ization of Planar Objects for Industrial Bin_Picking withMonocamera Vision System”中基于先验知识使用单目立体视觉技术定位堆叠的平面工件，对平面工件进行空间定位并实现抓取。上述采用立体视觉技术实现杂乱工件分拣的系统中，采用了较为成熟的激光立体视觉技术，这种方法稳定性好，但成本也较高。使用单目立体视觉方法仅应用于平面工件，不需要考虑工件的干涉问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种单目立体视觉堆叠工件分拣方法。
根据本发明提供的一种单目立体视觉堆叠工件分拣方法，包括：
步骤1：通过分拣相机获取堆叠工件的原始图像；
步骤2：对所述原始图像进行预处理，得到预处理后图像；
步骤3：在所述预处理后图像中识别可见工件；
步骤4：从可见工件中确定待抓取工件；
步骤5：在预处理后图像中进行识别，以确定是否存在会与所述待抓取工件的抓取工装相干涉的干涉工件；若存在，则返回步骤4继续执行，以重新确定不同的待抓取工件；若不存在，则进入步骤6继续执行；
步骤6：令抓取工装对所述待抓取工件进行抓取。
优选地，所述识别，是基于工件模型使用单目立体视觉技术识别定位视场中的可见工件。
优选地，在所述步骤4中，按照抓取难易程度对可见工件进行排序，将最易或次易抓取的可见工件定义为待抓取工件。
优选地，在所述步骤5中，基于工件模型使用单目立体视觉技术识别定位待抓取工件周围存在工件，并分析抓取工装在抓取位置是否会与这些周围存在工件发生干涉。
优选地，所述周围，是指与待抓取工件的最近距离小于设定阈值。
优选地，分拣相机为单目工业相机。
优选地，在所述识别的过程中，基于工件模型的单目立体视觉技术确定工件的空间分布及空间姿态。
优选地，在所述步骤4中，根据抓取平面的角度和抓取区域面积的大小对可见工件进行排序，其中，抓取平面的角度越大则认为抓取越难，抓取区域面积越大则认为抓取越容易。
优选地，在所述步骤5中，根据几何体间的最短距离进行干涉分析。
优选地，分拣相机固定于物料箱上方，堆叠工件位于物料箱内。
与现有技术相比，本发明具有如下的有益效果：
本发明是一种应用于分拣堆叠的立体工件的单目立体视觉解决方法，采用单目立体视觉，对立体堆叠的工件堆中顶层的工件进行识别和定位，进而确定其空间分布情况，以进行干涉分析，再逐次将可拾取工件分拣出来。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程及原理示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种单目立体视觉堆叠工件分拣方法，包括：
步骤1：通过分拣相机获取堆叠工件的原始图像；
步骤2：对所述原始图像进行预处理，得到预处理后图像；
步骤3：在所述预处理后图像中识别可见工件；
步骤4：从可见工件中确定待抓取工件；
步骤5：在预处理后图像中进行识别，以确定是否存在会与所述待抓取工件的抓取工装相干涉的干涉工件；若存在，则返回步骤4继续执行，以重新确定不同的待抓取工件；若不存在，则进入步骤6继续执行；
步骤6：令抓取工装对所述待抓取工件进行抓取。
所述识别，是基于工件模型使用单目立体视觉技术识别定位视场中的可见工件。
在所述步骤4中，按照抓取难易程度对可见工件进行排序，将最易或次易抓取的可见工件定义为待抓取工件。
在所述步骤5中，基于工件模型使用单目立体视觉技术识别定位待抓取工件周围存在工件，并分析抓取工装在抓取位置是否会与这些周围存在工件发生干涉。
所述周围，是指与待抓取工件的最近距离小于设定阈值。
分拣相机为单目工业相机。
在所述识别的过程中，基于工件模型的单目立体视觉技术确定工件的空间分布及空间姿态。
在所述步骤4中，根据抓取平面的角度和抓取区域面积的大小对可见工件进行排序，其中，抓取平面的角度越大则认为抓取越难，抓取区域面积越大则认为抓取越容易。
在所述步骤5中，根据几何体间的最短距离进行干涉分析。
分拣相机固定于物料箱上方，堆叠工件位于物料箱内。
下面对本发明进行更为具体的说明。
本发明提供的方法能够利用系统实现，该系统包括分拣相机和视觉处理系统，分拣相机连接在视觉处理器上。分拣相机固定于物料箱上方，获取物料箱内工件的空间分布及其3维空间位姿。视觉处理系统包括图像采集模块、图像预处理模块、识别定位模块和干涉分析模块四部分。图像采集模块控制分拣相机获取堆叠工件的图像后，由图像预处理模块进行图像的前期处理，识别定位模块利用基于工件模型的单目立体视觉技术在处理后的图像中确定待抓取工件及该工件的空间姿态信息，最后由干涉分析模块分析待抓取工件周围的顶层工件空间分布及其姿态信息，进而对抓取过程中是否会发生干涉进行分析。
在一个优选例中，本发明提供的方法包括以下操作步骤：
步骤A：图像采集模块控制分拣相机获取堆叠工件的图像。
步骤B：图像预处理模块对获取的图像进行前期处理。
步骤C：识别定位模块在预处理后的图像中基于工件模型使用单目立体视觉技术识别定位视场中的可见工件，并且按照抓取难易程度对可见工件进行排序，将最易抓取工件定义为待抓取工件。
步骤D：干涉分析模块在与处理后的图像中基于工件模型使用单目立体视觉技术识别定位带抓取工件周围可能存在的工件，并分析抓取工装在抓取位置是否会与这些工件发生干涉。
步骤E：如无干涉，执行系统抓取待抓取工件，如有干涉，取次易抓取工件为待抓取工件，重复C步骤。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种单目立体视觉堆叠工件分拣方法，其特征在于，包括：
步骤1：通过分拣相机获取堆叠工件的原始图像；
步骤2：对所述原始图像进行预处理，得到预处理后图像；
步骤3：在所述预处理后图像中识别可见工件；
步骤4：从可见工件中确定待抓取工件；
步骤5：在预处理后图像中进行识别，以确定是否存在会与所述待抓取工件的抓取工装相干涉的干涉工件；若存在，则返回步骤4继续执行，以重新确定不同的待抓取工件；若不存在，则进入步骤6继续执行；
步骤6：令抓取工装对所述待抓取工件进行抓取。
2.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，所述识别，是基于工件模型使用单目立体视觉技术识别定位视场中的可见工件。
3.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，在所述步骤4中，按照抓取难易程度对可见工件进行排序，将最易或次易抓取的可见工件定义为待抓取工件。
4.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，在所述步骤5中，基于工件模型使用单目立体视觉技术识别定位待抓取工件周围存在工件，并分析抓取工装在抓取位置是否会与这些周围存在工件发生干涉。
5.根据权利要求4所述的单目立体视觉堆叠工件分拣方法，其特征在于，所述周围，是指与待抓取工件的最近距离小于设定阈值。
6.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，分拣相机为单目工业相机。
7.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，在所述识别的过程中，基于工件模型的单目立体视觉技术确定工件的空间分布及空间姿态。
8.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，在所述步骤4中，根据抓取平面的角度和抓取区域面积的大小对可见工件进行排序，其中，抓取平面的角度越大则认为抓取越难，抓取区域面积越大则认为抓取越容易。
9.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，在所述步骤5中，根据几何体间的最短距离进行干涉分析。
10.根据权利要求1所述的单目立体视觉堆叠工件分拣方法，其特征在于，分拣相机固定于物料箱上方，堆叠工件位于物料箱内。
CN201610688567.1A 2016-08-18 2016-08-18 单目立体视觉堆叠工件分拣方法 Pending CN106364903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610688567.1A CN106364903A (zh) 2016-08-18 2016-08-18 单目立体视觉堆叠工件分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610688567.1A CN106364903A (zh) 2016-08-18 2016-08-18 单目立体视觉堆叠工件分拣方法

Publications (1)

Publication Number Publication Date
CN106364903A true CN106364903A (zh) 2017-02-01

Family

ID=57878142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610688567.1A Pending CN106364903A (zh) 2016-08-18 2016-08-18 单目立体视觉堆叠工件分拣方法

Country Status (1)

Country Link
CN (1) CN106364903A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508014A (zh) * 2019-01-31 2020-08-07 上银科技股份有限公司 排除随机堆叠的多个工件的干涉的系统
CN112192577A (zh) * 2020-12-03 2021-01-08 佛山隆深机器人有限公司 一种应用于机器人抓取场景的一拍多抓方法
TWI823858B (zh) * 2017-07-17 2023-12-01 加拿大商辛波提克加拿大公司 用來建立棧板荷重之設備及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1518648A2 (en) * 2003-09-29 2005-03-30 Fanuc Ltd Robot system capable of reproducing a situation of alarm
CN103464383A (zh) * 2013-09-27 2013-12-25 沈阳工业大学 工业机器人分拣系统及方法
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN104057459A (zh) * 2014-06-25 2014-09-24 上海发那科机器人有限公司 一种机器人智能分拣工件的装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1518648A2 (en) * 2003-09-29 2005-03-30 Fanuc Ltd Robot system capable of reproducing a situation of alarm
CN103464383A (zh) * 2013-09-27 2013-12-25 沈阳工业大学 工业机器人分拣系统及方法
CN103706571A (zh) * 2013-12-27 2014-04-09 西安航天精密机电研究所 一种视觉定位分拣方法
CN104057459A (zh) * 2014-06-25 2014-09-24 上海发那科机器人有限公司 一种机器人智能分拣工件的装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王企远: "机器视觉在工件识别和干涉检测中的应用", 《上海电气技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823858B (zh) * 2017-07-17 2023-12-01 加拿大商辛波提克加拿大公司 用來建立棧板荷重之設備及方法
CN111508014A (zh) * 2019-01-31 2020-08-07 上银科技股份有限公司 排除随机堆叠的多个工件的干涉的系统
CN111508014B (zh) * 2019-01-31 2023-06-09 上银科技股份有限公司 排除随机堆叠的多个工件的干涉的系统
CN112192577A (zh) * 2020-12-03 2021-01-08 佛山隆深机器人有限公司 一种应用于机器人抓取场景的一拍多抓方法

Similar Documents

Publication Publication Date Title
CN106000904B (zh) 一种生活垃圾自动分拣系统
CN109785317B (zh) 自动码垛桁架机器人的视觉系统
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN112318485B (zh) 物体分选系统及其图像处理方法、装置
CN105217324A (zh) 一种新型的拆垛方法和系统
CN106364903A (zh) 单目立体视觉堆叠工件分拣方法
CN105690393A (zh) 一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法
CN112828892B (zh) 一种工件抓取方法、装置、计算机设备及存储介质
CN103934211A (zh) 基于立体视觉的产品三维尺寸分拣系统
CN113284178B (zh) 物体码垛方法、装置、计算设备及计算机存储介质
CN112847375B (zh) 一种工件抓取方法、装置、计算机设备及存储介质
CN115330819A (zh) 一种软包分割定位方法、工控机和机器人抓取系统
CN115321090A (zh) 机场行李自动接取方法、装置、设备、系统及介质
CN113538459B (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN108555902B (zh) 一种机器人分拣物品的方法、装置及机器人
CN113246130B (zh) 一种工件抓取和拨动干预方法及系统
Dolezel et al. Memory efficient grasping point detection of nontrivial objects
JP6041710B2 (ja) 画像認識方法
Tan et al. Integrating Vision System to a Pick and Place Cartesian Robot
CN114092428A (zh) 图像数据处理方法、装置、电子设备和存储介质
CN205552536U (zh) 一种基于机器视觉的四轴并联机器人分拣系统
Shi et al. A fast workpiece detection method based on multi-feature fused SSD
CN114310892A (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
Kai et al. Cob angle recognition algorithm based on machine vision
EP1569776A1 (en) Method and arrangement to avoid collision between a robot and its surroundings while picking details including a sensorsystem

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201