CN110516570A - 一种基于视觉的垃圾分类识别方法和装置 - Google Patents

一种基于视觉的垃圾分类识别方法和装置 Download PDF

Info

Publication number
CN110516570A
CN110516570A CN201910755108.4A CN201910755108A CN110516570A CN 110516570 A CN110516570 A CN 110516570A CN 201910755108 A CN201910755108 A CN 201910755108A CN 110516570 A CN110516570 A CN 110516570A
Authority
CN
China
Prior art keywords
rubbish
sorted
profile
garbage classification
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910755108.4A
Other languages
English (en)
Other versions
CN110516570B (zh
Inventor
莫卓亚
刘涛
刘元路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Gongye Interconnection Technology Co Ltd
Original Assignee
Dongguan Gongye Interconnection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Gongye Interconnection Technology Co Ltd filed Critical Dongguan Gongye Interconnection Technology Co Ltd
Priority to CN201910755108.4A priority Critical patent/CN110516570B/zh
Publication of CN110516570A publication Critical patent/CN110516570A/zh
Application granted granted Critical
Publication of CN110516570B publication Critical patent/CN110516570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及垃圾分类技术领域，尤其是指一种基于视觉的垃圾分类识别方法和装置，通过识别机构采集垃圾的图像信息，然后传输至总控单元，利用总控单元来识别出图像信息内的垃圾并进行分类，最后控制拾取机构拾取垃圾并放入对应类别的位置，从而在减少了人工干预的前提下，实现了自动化识别和分类垃圾的效果，有利于提升垃圾分类的效率。

Description

一种基于视觉的垃圾分类识别方法和装置
技术领域
本发明涉及垃圾分类技术领域，尤其是指一种基于视觉的垃圾分类识别方法和装置。
背景技术
日常生活中产生的垃圾至少分为可回收垃圾和不可回收垃圾，为了提升资源的利用率，目前很多地区已经开始实施垃圾分类，通过垃圾分类来把垃圾按类别进行分放，从而便于回收或者处理。传统的垃圾分类是通过人工的方式来实现的，这种方式具有效率低、工作环境差以及对人体产生不良影响等等后果，因此随着科技的发展，目前已经出现了采用机械实现垃圾分类的方法，如专利号为“201910287785.8”的发明申请专利，其公开了一种通过人工进行识别，然后通过机械手抓取和分类垃圾的技术方案，即通过相机拍摄垃圾的图片后发给工作人员识别，然后工作人员把垃圾进行类别选定以后，由机械手进行垃圾的抓取和分类。
但是，这个方案依然存在一下技术问题：需要人工参与，因而对于垃圾分类的效率还没有达到最高。
发明内容
本发明针对现有技术的问题提供一种基于视觉的垃圾分类识别方法和装置，能够进一步减少人工的干预，从而提升垃圾分类的效率。
为了解决上述技术问题，本发明采用如下技术方案：
本发明提供的一种基于视觉的垃圾分类识别方法，包括以下步骤：
a.通过识别机构对待分类垃圾进行拍照获得图像；
b.分析图像信息，并获得图像中的待分类垃圾的轮廓，确定待分类垃圾的所属类别以及抓取位置；
c.根据所确定的待分类垃圾的类别和抓取位置，驱动拾取机构抓取待分类垃圾并进行分类。
进一步的，所述识别机构包括高光谱相机，在步骤b中，具体为：
b1.通过高光谱相机采集待分类垃圾的光谱图像集；
b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；
b3.从图像特征子集合中选取主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；
b4.对轮廓内的主成分图像进行光谱特征识别，判断待分类垃圾的材质类型。
更进一步的，所述识别机构包括2D相机，在步骤b中，包括：
b’.2D相机拍摄待分类垃圾并生成RGB图片；
b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；
b”’.根据待分类的垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置。
优选的，在步骤b和步骤c之间，还包括：结合光谱分析和RGB图片分析的结果，对待分类垃圾的轮廓和材质类型进行综合判断。
优选的，在步骤b和步骤c之间，还包括：
c1.通过3D相机采集待分类垃圾的点云数据；
c2.通过识别机构获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；
c3.分析轮廓范围内的点云并判断最优空间抓取点；
c4.把最优空间抓取点传输至拾取机构。
优选的，在步骤b和步骤c之间，还包括：
bc1.通过3D相机获取待分类垃圾的点云数据；
bc2.结合RGB图片与点云数据，获得待分类垃圾的RGBD信息；
bc3.根据新的RGBD信息来识别待分类垃圾的材质类型和轮廓，并根据判断结果来控制拾取机构进行拾取。
本发明还提供了一种垃圾分类装置，包括
总控单元，所述总控单元设置有深度神经网络模型；
传输机构，用于传输待分类垃圾；
沿着所述传输机构的传输方向，依次设置有
识别机构，用于获取待分类垃圾的图像信息，并把图像信息传输至所述总控单元；
拾取机构，用于根据总控单元的判断结果，拾取待分类垃圾并进行分类。
进一步的，还包括位于所述识别机构和所述拾取机构之间的3D相机，所述3D用于获取待分类垃圾的点云数据，并传输至所述总控单元。
进一步的，所述拾取机构包括沿着所述传输机构的传输方向依次设置的至少一个用于拾取所述传输机构所承载的垃圾的拾取机器人，拾取机器人的两侧分别设置有至少一个料框，料框用于承载分选出来的垃圾。
更进一步的，拾取机器人包括安装架、拾取组件、用于驱动所述拾取组件升降的升降机构、用于驱动所述升降机构沿着X方向移动的第一平移机构以及用于驱动所述升降机构沿着Y方向移动的第二平移机构，所述安装架位于所述传输机构的上方，所述第一平移机构和所述第二平移机构均装设于所述安装架，所述拾取组件装设于所述升降机构。
本发明的有益效果：本发明通过引入深度神经网络模型来对机构所拍摄的图片中的待分类垃圾进行识别，然后驱动拾取机构抓取该待分类垃圾进行分类，从而在减少了人工干预的前提下实现了自动识别并分类垃圾的效果，提升了垃圾分类的效率。
附图说明
图1为实施例1的工作流程图。
图2为实施例1的高光谱相机的工作流程图。
图3为实施例1的2D相机的工作流程图。
图4为实施例1的高光谱相机和2D相机配合的工作流程图。
图5为实施例2的示意图。
图6为实施例2中拾取机构的俯视图。
附图标记：1—传输机构，2—识别机构，3—拾取机构，4—3D相机，31—拾取机器人，32—料框，33—安装架，34—拾取组件，35—升降机构，36—第一平移机构，37—第二平移机构。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。以下结合附图对本发明进行详细的描述。
实施例1
如图1至图4所示，本实施例提供了一种基于视觉的垃圾分类识别方法，包括以下步骤：
a.通过识别机构2对待分类垃圾进行拍照获得图像；
b.分析图像信息，并获得图像信息中的待分类垃圾的轮廓，然后确定待分类垃圾的所属类别；
c.根据所确定的待分类垃圾的所属类别，驱动拾取机构3抓取待分类垃圾并进行分类。
本发明通过一个总控单元对识别机构2所拍摄的图像信息中的待分类垃圾进行识别，然后驱动拾取机构3抓取该待分类垃圾进行分类，从而在减少了人工干预的前提下实现了自动识别并分类垃圾的效果，提升了垃圾分类的效率。同时，若本发明遇上无法准确识别图像信息上的垃圾的情况时，总控单元会把该图像信息上传时云端，并把垃圾归入“未识别”的一类中；工作人员定期自云端下载图像信息并进行分类，然后对该图像信息和分类结果进行数据上的更新，从而不断地让增加云端数据库中垃圾的图像信息以及所属类别，使得本发明对于垃圾的识别率越来越高。
在本实施例中，所述识别机构2可为高光谱相机，因此步骤b具体为：
b1.通过高光谱相机采集待分类垃圾的光谱图像集；
b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；
b3.从图像特征子集合中选取合适的主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；同时对轮廓内的主成分图像进行光谱特征识别，判断材质类型。具体的，对于成分图像的算法，包括但不仅限于神经网络、随机森林、极限学习机以及K均值聚类等。
即本发明通过高光谱相机来拍摄待分类垃圾来获得该待分类垃圾的高光谱图集，然后由总控单元对该高光谱图集进行自动分析和判断垃圾类型，从而实现了减少人工干预的垃圾识别和分类效果。该方式对于垃圾的识别率高，存在无法判断的概率较低；若依然出现无法识别的垃圾，则依然可上传至云端由工作人员进行分类。
此外，本发明除了采用高光谱相机作为识别机构2以外，还可以采用其他的相机，例如作为本实施例的另一实施方式，所述识别机构2还可以为2D相机，因此步骤b包括：
b’.2D相机拍摄待分类垃圾并生成RGB图片；
b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；
b”’.根据待分类垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置，从而便于驱动拾取机构3进行垃圾的拾取以及分类。
优选的，为了进一步提升垃圾识别的准确度，作为本实施例的又一实施方式，本发明可以采用2D相机和高光谱相机两者配合以实现垃圾的识别，即同时通过2D相机和高光谱相机分别对垃圾拍照，同时通过上述的步骤b1-b4和步骤b’-b”’来对垃圾的材质以及轮廓中心进行判断；在分别判断完成以后，结合高光谱相机的判断结果和2D相机(即深度神经网络模型)的判断结果，识别出待分类垃圾的所属类别以及抓取中心，并驱动拾取机构3拾取待分类垃圾进行分类，从而保证了垃圾分类结果的精度和准确性。当然，这种方式虽然成本更高，但是对于垃圾分类的精确度更高，适用于需要把垃圾进行多类别细分的场合之中。
优选的，由于高光谱相机和2D相机均只能够判断图片中待分类垃圾的平面轮廓，这对于高度不规则的垃圾来说，轮廓中心不一定是最佳抓取点，即拾取机构3还是会存在拾取起垃圾后垃圾掉落的问题。为了解决这种问题，在本实施例中的步骤b和步骤c之间，还包括：
c1.通过3D相机4采集待分类垃圾的点云数据；
c2.通过识别机构2获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；
c3.分析轮廓范围内的点云并判断最优抓取点，具体为在高光谱相机拍摄的高光谱图集或者2D相机拍摄的RGB图片中，把每一个平面坐标(x，y)所对应的点云数据均表示出来，从而汇集成一个立体图形，以此来判断最佳的抓取位置；
c4.把最优抓取点传输至拾取机构3，保证了拾取机构3能够稳定地进行垃圾拾取。
优选的，在步骤b和步骤c之间，还包括：
bc1.通过3D相机4获取待分类垃圾的点云数据；
bc2.结合RGB图片与点云数据，获得待分类垃圾的RGBD信息；
bc3.利用RGBD信息对深度神经网络模型进行训练；
bc4.根据新的RGBD模型来识别待分类垃圾的材质类型和轮廓，并根据判断结果来控制拾取机构3进行拾取。由于在模型中加入了高度信息，因此能够有效提高垃圾黏连或重叠时的识别准确率，从而保证遇上黏连垃圾或者重叠垃圾时，拾取机构3能够分开多次进行拾取而不是只拾取一次以后把剩余的垃圾留在传输机构1上。
实施例2
如图5和图6所示，本实施例提供了一种垃圾分类装置，该装置应用了实施例1所述的方法，具体结构包括
总控单元(图中未显示)，所述总控单元设置有深度神经网络模型；
传输机构1，用于传输待分类垃圾，该传输机构1优选为传输带；
沿着所述传输机构1的传输方向，依次设置有
识别机构2，用于获取待分类垃圾的图像信息，并把图像信息传输至所述总控单元；
拾取机构3，用于根据总控单元的判断结果，拾取待分类垃圾并进行分类。
即装置是通过传输机构1通过传输带把垃圾传输至识别机构2进行拍照，识别机构2拍摄的图片传输至总控单元，由总控单元的深度神经网络模型进行深度学习识别，从而判断出垃圾的类型并控制拾取机构3拾取垃圾，与此同时传输机构1会把垃圾传输至拾取机构3，由拾取机构3进行垃圾拾取和分类，达到了自动化实现垃圾识别和分类的效果。具体的，该识别机构2为高光谱相机或者2D相机，又或者为高光谱相机和2D相机组合而成，识别机构2的类型根据实际使用情况而进行选定。
在本实施例中，本发明还包括位于所述识别机构2和所述拾取机构3之间的3D相机4，所述3D用于获取待分类垃圾的点云数据，并传输至所述总控单元；
所述总控单元还内置有光谱分析算法和3D点云识别算法，即总控单元结合所述识别机构2的判断结果和所述3D相机4的点云信息，确定待分类垃圾的轮廓、类型以及抓取中心，然后控制所述拾取机构3拾取待分类垃圾并进行分类。
在本实施例中，所述拾取机构3包括沿着所述传输机构1的传输方向依次设置的至少一个用于拾取所述传输机构1所承载的垃圾的拾取机器人31，拾取机器人31的两侧分别设置有至少一个料框32，料框32用于承载分选出来的垃圾。当然，该拾取机器人31的数量可为两个以上，即通过设置有至少两个拾取机器人31，能够保证在一个拾取机器人31无法跟上识别节奏时，通过另一个拾取机器人31来把漏掉的垃圾进行拾取分类，避免有垃圾进行遗漏的现象发生。
优选的，拾取机器人31包括安装架33、拾取组件34、用于驱动所述拾取组件34升降的升降机构35、用于驱动所述升降机构35沿着X方向移动的第一平移机构36以及用于驱动所述升降机构35沿着Y方向移动的第二平移机构37，所述安装架33位于所述传输机构1的上方，所述第一平移机构36和所述第二平移机构37均装设于所述安装架33，所述拾取组件34装设于所述升降机构35。该拾取组件34优选为夹爪，夹爪包括两个夹持部，夹持部的形状可与铲斗的结构相似。通过第一平移机构36、第二平移机构37和升降机构35三者配合，实现对于拾取组件34的移动控制，让拾取组件34能够顺利而高效地进行垃圾拾取，然后把垃圾投入到对应的料框32之内。
以上所述，仅是本发明较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明以较佳实施例公开如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当利用上述揭示的技术内容作出些许变更或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明技术是指对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种基于视觉的垃圾分类识别方法，其特征在于：包括以下步骤：
a.通过识别机构对待分类垃圾进行拍照获得图像；
b.分析图像信息，并获得图像中的待分类垃圾的轮廓，确定待分类垃圾的所属类别以及抓取位置；
c.根据所确定的待分类垃圾的类别和抓取位置，驱动拾取机构抓取待分类垃圾并进行分类。
2.根据权利要求1所述的基于视觉的垃圾分类识别方法，其特征在于：所述识别机构包括高光谱相机，在步骤b中，具体为：
b1.通过高光谱相机采集待分类垃圾的光谱图像集；
b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；
b3.从图像特征子集合中选取主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；
b4.对轮廓内的主成分图像进行光谱特征识别，判断待分类垃圾的材质类型。
3.根据权利要求1或2所述的基于视觉的垃圾分类识别方法，其特征在于：所述识别机构包括2D相机，在步骤b中，包括：
b’.2D相机拍摄待分类垃圾并生成RGB图片；
b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；
b”’.根据待分类垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置。
4.根据权利要求3所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：结合光谱分析和RGB图片分析的结果，对待分类垃圾的轮廓和材质类型进行综合判断。
5.根据权利要求1任意一项所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：
c1.通过3D相机采集待分类垃圾的点云数据；
c2.通过识别机构获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；
c3.分析轮廓范围内的点云并判断最优空间抓取点；
c4.把最优空间抓取点传输至拾取机构。
6.根据权利要求3所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：
bc1.通过3D相机获取待分类垃圾的点云数据；
bc2.结合RGB图片与点云数据，获得待分类垃圾的RGBD信息；
bc3.根据新的RGBD信息来识别待分类垃圾的材质类型和轮廓，并根据判断结果来控制拾取机构进行拾取。
7.一种垃圾分类装置，其特征在于：包括
总控单元，所述总控单元设置有深度神经网络模型；
传输机构，用于传输待分类垃圾；
沿着所述传输机构的传输方向，依次设置有：
识别机构，用于获取待分类垃圾的图像信息，并把图像信息传输至所述总控单元；
拾取机构，用于根据总控单元的判断结果，拾取待分类垃圾并进行分类。
8.根据权利要求7所述的垃圾分类装置，其特征在于：还包括位于所述识别机构和所述拾取机构之间的3D相机，所述3D用于获取待分类垃圾的点云数据，并传输至所述总控单元。
9.根据权利要求7所述的垃圾分类装置，其特征在于：所述拾取机构包括沿着所述传输机构的传输方向依次设置的至少一个用于拾取所述传输机构所承载的垃圾的拾取机器人，拾取机器人的两侧分别设置有至少一个料框，料框用于承载分选出来的垃圾。
10.根据权利要求9所述的垃圾分类装置，其特征在于：拾取机器人包括安装架、拾取组件、用于驱动所述拾取组件升降的升降机构、用于驱动所述升降机构沿着X方向移动的第一平移机构以及用于驱动所述升降机构沿着Y方向移动的第二平移机构，所述安装架位于所述传输机构的上方，所述第一平移机构和所述第二平移机构均装设于所述安装架，所述拾取组件装设于所述升降机构。
CN201910755108.4A 2019-08-15 2019-08-15 一种基于视觉的垃圾分类识别方法和装置 Active CN110516570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910755108.4A CN110516570B (zh) 2019-08-15 2019-08-15 一种基于视觉的垃圾分类识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910755108.4A CN110516570B (zh) 2019-08-15 2019-08-15 一种基于视觉的垃圾分类识别方法和装置

Publications (2)

Publication Number Publication Date
CN110516570A true CN110516570A (zh) 2019-11-29
CN110516570B CN110516570B (zh) 2022-09-23

Family

ID=68626078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910755108.4A Active CN110516570B (zh) 2019-08-15 2019-08-15 一种基于视觉的垃圾分类识别方法和装置

Country Status (1)

Country Link
CN (1) CN110516570B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086821A (zh) * 2018-07-31 2018-12-25 太原理工大学 机器人的物体抓取判别方法
CN110743818A (zh) * 2019-11-29 2020-02-04 苏州嘉诺环境工程有限公司 基于视觉及深度学习的垃圾分选系统、垃圾分选方法
CN111027639A (zh) * 2019-12-24 2020-04-17 北华大学 一种基于云的垃圾分拣系统、方法、信息处理终端及存储介质
CN111067428A (zh) * 2019-12-23 2020-04-28 珠海格力电器股份有限公司 一种清洁方法、存储介质以及清洁设备
CN111299187A (zh) * 2020-04-03 2020-06-19 广东弓叶科技有限公司 建筑垃圾识别方法及建筑垃圾分选设备
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN111915721A (zh) * 2020-07-28 2020-11-10 广州中科智巡科技有限公司 一种基于激光点云的输电线路走廊建筑物平断面快速提取方法及系统
CN112024424A (zh) * 2020-08-19 2020-12-04 中物智建(武汉)科技有限公司 一种人机协作式垃圾分选系统
CN112090782A (zh) * 2020-08-19 2020-12-18 中物智建(武汉)科技有限公司 一种人机协同式垃圾分拣系统及方法
CN112613413A (zh) * 2020-12-25 2021-04-06 平安国际智慧城市科技股份有限公司 易腐垃圾分类质量判定方法、装置及计算机可读存储介质
CN112605006A (zh) * 2020-11-27 2021-04-06 广东弓叶科技有限公司 垃圾分类方法及其分类系统
CN113435514A (zh) * 2021-06-29 2021-09-24 同济大学 一种基于元深度学习的建筑垃圾精细分类方法、装置
CN113926734A (zh) * 2021-11-01 2022-01-14 天津商业大学 一种排序式垃圾分类方法
CN114049556A (zh) * 2021-11-10 2022-02-15 中国天楹股份有限公司 一种svm与目标检测算法融合的垃圾分类方法
CN114119959A (zh) * 2021-11-09 2022-03-01 盛视科技股份有限公司 一种基于视觉的垃圾桶满溢检测方法及装置
CN114260193A (zh) * 2021-12-22 2022-04-01 广东德济环境发展有限公司 一种垃圾土的大石块筛分方法
US20230138374A1 (en) * 2021-11-01 2023-05-04 Tianjin University Of Commerce Sorting-based garbage classification method and device
CN116616045A (zh) * 2023-06-07 2023-08-22 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006130911A1 (en) * 2005-06-08 2006-12-14 Majek Automation Pty. Ltd. A sorting apparatus
CN107999399A (zh) * 2017-12-27 2018-05-08 华侨大学 基于点阵高光谱检测的建筑垃圾在线分拣系统和方法
CN108031703A (zh) * 2018-01-04 2018-05-15 中国恩菲工程技术有限公司 用于垃圾处理的方法、系统、电子设备及计算机可读介质
CN108940920A (zh) * 2018-07-20 2018-12-07 华侨大学 一种基于应力波检测实现物料分拣的装置
CN109368079A (zh) * 2018-12-10 2019-02-22 浙江梧斯源通信科技股份有限公司 一种垃圾自动分类系统及方法
CN109675827A (zh) * 2018-12-19 2019-04-26 福建南方路面机械有限公司 一种建筑垃圾识别分拣设备、识别方法及其抓取方法
CN109916826A (zh) * 2019-02-20 2019-06-21 福建南方路面机械有限公司 一种基于高光谱检测的固废在线识别系统及识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006130911A1 (en) * 2005-06-08 2006-12-14 Majek Automation Pty. Ltd. A sorting apparatus
CN107999399A (zh) * 2017-12-27 2018-05-08 华侨大学 基于点阵高光谱检测的建筑垃圾在线分拣系统和方法
CN108031703A (zh) * 2018-01-04 2018-05-15 中国恩菲工程技术有限公司 用于垃圾处理的方法、系统、电子设备及计算机可读介质
CN108940920A (zh) * 2018-07-20 2018-12-07 华侨大学 一种基于应力波检测实现物料分拣的装置
CN109368079A (zh) * 2018-12-10 2019-02-22 浙江梧斯源通信科技股份有限公司 一种垃圾自动分类系统及方法
CN109675827A (zh) * 2018-12-19 2019-04-26 福建南方路面机械有限公司 一种建筑垃圾识别分拣设备、识别方法及其抓取方法
CN109916826A (zh) * 2019-02-20 2019-06-21 福建南方路面机械有限公司 一种基于高光谱检测的固废在线识别系统及识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HOLLSTEIN F: "Identification and Sorting oI Plastic Film Waster by NIR-Hyperspectral-Imaging", 《PROCEEDINGS OF THE ICNIRS 2015》 *
张剑华: "多模态深度神经网络的固废对象分割", 《图像分析和识别》 *
赵冬娥: "高光谱成像的垃圾分类识别研究", 《光谱学与光谱分析》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086821A (zh) * 2018-07-31 2018-12-25 太原理工大学 机器人的物体抓取判别方法
CN110743818A (zh) * 2019-11-29 2020-02-04 苏州嘉诺环境工程有限公司 基于视觉及深度学习的垃圾分选系统、垃圾分选方法
CN111067428A (zh) * 2019-12-23 2020-04-28 珠海格力电器股份有限公司 一种清洁方法、存储介质以及清洁设备
CN111027639A (zh) * 2019-12-24 2020-04-17 北华大学 一种基于云的垃圾分拣系统、方法、信息处理终端及存储介质
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN111445368B (zh) * 2020-03-16 2023-03-17 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN111299187B (zh) * 2020-04-03 2021-11-12 广东弓叶科技有限公司 建筑垃圾识别方法及建筑垃圾分选设备
CN111299187A (zh) * 2020-04-03 2020-06-19 广东弓叶科技有限公司 建筑垃圾识别方法及建筑垃圾分选设备
CN111915721A (zh) * 2020-07-28 2020-11-10 广州中科智巡科技有限公司 一种基于激光点云的输电线路走廊建筑物平断面快速提取方法及系统
CN111915721B (zh) * 2020-07-28 2024-01-26 广州中科智巡科技有限公司 一种基于激光点云的输电线路走廊建筑物平断面提取方法及系统
CN112024424B (zh) * 2020-08-19 2022-05-20 中物智建(武汉)科技有限公司 一种人机协作式垃圾分选系统
CN112024424A (zh) * 2020-08-19 2020-12-04 中物智建(武汉)科技有限公司 一种人机协作式垃圾分选系统
CN112090782A (zh) * 2020-08-19 2020-12-18 中物智建(武汉)科技有限公司 一种人机协同式垃圾分拣系统及方法
CN112605006B (zh) * 2020-11-27 2022-12-09 广东弓叶科技有限公司 垃圾分类方法及其分类系统
CN112605006A (zh) * 2020-11-27 2021-04-06 广东弓叶科技有限公司 垃圾分类方法及其分类系统
CN112613413A (zh) * 2020-12-25 2021-04-06 平安国际智慧城市科技股份有限公司 易腐垃圾分类质量判定方法、装置及计算机可读存储介质
CN113435514A (zh) * 2021-06-29 2021-09-24 同济大学 一种基于元深度学习的建筑垃圾精细分类方法、装置
CN113926734A (zh) * 2021-11-01 2022-01-14 天津商业大学 一种排序式垃圾分类方法
US20230138374A1 (en) * 2021-11-01 2023-05-04 Tianjin University Of Commerce Sorting-based garbage classification method and device
CN114119959A (zh) * 2021-11-09 2022-03-01 盛视科技股份有限公司 一种基于视觉的垃圾桶满溢检测方法及装置
CN114049556A (zh) * 2021-11-10 2022-02-15 中国天楹股份有限公司 一种svm与目标检测算法融合的垃圾分类方法
CN114260193A (zh) * 2021-12-22 2022-04-01 广东德济环境发展有限公司 一种垃圾土的大石块筛分方法
CN116616045A (zh) * 2023-06-07 2023-08-22 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统
CN116616045B (zh) * 2023-06-07 2023-11-24 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统

Also Published As

Publication number Publication date
CN110516570B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN110516570A (zh) 一种基于视觉的垃圾分类识别方法和装置
CN112047113B (zh) 一种基于人工智能技术的3d视觉码垛系统及方法
CN106020227B (zh) 无人机的控制方法、装置
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
Sarig Robotics of fruit harvesting: A state-of-the-art review
CN108280856A (zh) 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN107856039A (zh) 一种养老陪护服务机器人系统及养老陪护方法
CN111015662A (zh) 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
CN110694921A (zh) 蔬菜分拣系统及其控制方法
CN108438833A (zh) 物料姿态校正投放装置及圆柱形物料特征属性的识别方法
CN109018777A (zh) 一种垃圾分类方法
CN107219849A (zh) 一种多途径的捡球和发球机器人控制系统
CN112772145A (zh) 一种农业果树采摘分拣智能机器人
CN110404803A (zh) 一种基于视觉的并联机器人分拣系统及分拣方法
CN109453500A (zh) 捡球机器人
CN113319013A (zh) 一种基于机器视觉的苹果智能分拣的方法
CN113714149A (zh) 一种并联臂智能蚕茧分拣机器人及蚕茧分拣方法
CN212306526U (zh) 一种基于ai视觉识别的活鱼分拣机
WO2024067006A1 (zh) 无序线材分拣方法、装置及系统
CN108669600A (zh) 一种全自动香菇分离装置
CN107350173A (zh) 一种板栗自动分拣装置和分拣方法
CN113524172B (zh) 机器人及其物品抓取方法、计算机可读存储介质
CN214682976U (zh) 一种垃圾识别和自动分选装置
CN213079170U (zh) 翻转式产品筛选设备
CN212724028U (zh) 视觉机器人抓取系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523000 room 325, building 15, No. 1, Xuefu Road, Songshanhu Park, Dongguan City, Guangdong Province

Applicant after: Guangdong Gongye Technology Co.,Ltd.

Address before: 523808 room 123, room 124, room 125, room 126, room 127, room 128, building 1, No. 1 Rd. 5, Songshanhu Park, Dongguan City, Guangdong Province

Applicant before: Dongguan Gongye Interconnection Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant