CN115272778A - 基于rpa和计算机视觉的可回收垃圾分类方法及系统 - Google Patents

基于rpa和计算机视觉的可回收垃圾分类方法及系统 Download PDF

Info

Publication number
CN115272778A
CN115272778A CN202211186439.9A CN202211186439A CN115272778A CN 115272778 A CN115272778 A CN 115272778A CN 202211186439 A CN202211186439 A CN 202211186439A CN 115272778 A CN115272778 A CN 115272778A
Authority
CN
China
Prior art keywords
pixel
pixel point
distance
point
seed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211186439.9A
Other languages
English (en)
Inventor
苟晓勇
朱欣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Qiansheng Information Technology Co ltd
Original Assignee
Nantong Qiansheng Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Qiansheng Information Technology Co ltd filed Critical Nantong Qiansheng Information Technology Co ltd
Priority to CN202211186439.9A priority Critical patent/CN115272778A/zh
Publication of CN115272778A publication Critical patent/CN115272778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据识别技术领域，具体涉及一种基于RPA和计算机视觉的可回收垃圾分类方法及系统，该方法包括：通过识别图形获取可回收垃圾图像，根据像素点的特征计算像素点的边缘概率；结合像素点的边缘概率计算像素点的种子优异度，选择初始种子点；计算像素点到初始种子点的空间距离和颜色距离，结合边缘概率设置距离度量权重，得到像素点到初始种子点的综合距离；根据所述综合距离对图像进行超像素分割得到超像素图像；对超像素图像进行分类识别，并根据识别结果对可回收垃圾进行分拣工作。本发明对可回收图像的分割精度较高，进而对图像分类识别的准确率高，提高了对可回收垃圾的分拣效率。

Description

基于RPA和计算机视觉的可回收垃圾分类方法及系统
技术领域
本发明涉及数据识别技术领域，具体涉及一种基于RPA和计算机视觉的可回收垃圾分类方法及系统。
背景技术
机器人流程自动化(Robotic Process Automation，RPA)是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。人工智能(ArtificialIntelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。目前，基于人工智能和计算机视觉的应用愈发普遍。
随着环保理念的发展，越来越多的城市推行垃圾分类。对于可回收种类的垃圾，在垃圾场还需要人工进一步分拣，将可回收物分为不同的种类送往不同的处理中心，经过处理之后进行可回收物再利用。但由于可回收物种类众多，同时每天产生的可回收垃圾数量庞大，通过人工分拣效率低下。现有技术中通过对可回收垃圾图像中不同种类的可回收物进行分割并进行识别后，对可回收垃圾进行分拣工作。使用常用的图像分割进行可回收垃圾识别的方法对可回收垃圾图像中不同种类的可回收物的分割效果较差，进而影响后续可回收物识别结果的准确率，导致分拣效率低下，出现误分拣等问题。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于RPA和计算机视觉的可回收垃圾分类方法，所采用的技术方案具体如下：
基于RPA进行识别得到可回收垃圾颜色图像和可回收垃圾灰度图像；计算可回收垃圾灰度图像上各像素点对应的灰度共生矩阵，根据灰度共生矩阵中灰度组合的概率计算像素点的边缘概率；
针对可回收垃圾灰度图像上任一像素点，在过该像素点的设定方向的直线上，获取该像素点两侧边缘概率局部最大值对应的像素点，记为第一标志像素点和第二标志像素点；根据第一标志像素点和第二标志像素点分别到所述任一像素点的距离、以及边缘概率，计算所述任一像素点的种子优异度；
计算可回收垃圾灰度图像上所有像素点的种子优异度，获取种子优异度的局部最大值对应的像素点位置，将可回收垃圾灰度图像上所述像素点位置在可回收垃圾颜色图像上对应的像素点作为初始种子点；
根据可回收垃圾颜色图像上像素点和初始种子点的坐标以及颜色特征，分别计算像素点到初始种子点的空间距离和颜色距离；对所述空间距离和颜色距离进行加权求和得到像素点到初始种子点的综合距离；根据所述综合距离划分超像素得到超像素图像；
根据超像素图像进行可回收垃圾种类的分类，根据分类结果完成可回收垃圾的分拣工作。
优选地，所述像素点的边缘概率的获取方法具体为：
以可回收垃圾灰度图像上每个像素点为中心，构建一个大小为n×n的窗口，计算每个窗口在各设定方向的灰度共生矩阵，得到窗口中心像素点的灰度共生矩阵；
计算在设定方向的灰度共生矩阵下该窗口中心像素点的边缘概率，用公式表示为：
Figure 915893DEST_PATH_IMAGE001
其中，
Figure 75347DEST_PATH_IMAGE002
表示在设定方向为
Figure 610365DEST_PATH_IMAGE003
时像素点的边缘概率，
Figure 631411DEST_PATH_IMAGE004
表示灰度共生矩阵中第i行第j列的值，即第i个灰度级与第j个灰度级构成的组合在设定方向为
Figure 798300DEST_PATH_IMAGE003
时出现的概率，
Figure 879388DEST_PATH_IMAGE005
表示灰度级的差值，k表示灰度级的种类数量，
Figure 901702DEST_PATH_IMAGE006
表示归一化系数；
计算窗口在所有设定方向的灰度共生矩阵下中心像素点的边缘概率，并获取其中的最大值作为该像素点的边缘概率。
优选地，所述种子优异度的获取方法具体为：
Figure 975706DEST_PATH_IMAGE007
其中，
Figure 16344DEST_PATH_IMAGE008
表示第u个像素点的种子优异度，
Figure 753487DEST_PATH_IMAGE009
表示第u个像素点的边缘概率，
Figure 764561DEST_PATH_IMAGE010
表示第一标志像素点到第u个像素点在设定方向为
Figure 392989DEST_PATH_IMAGE003
时的距离，
Figure 507706DEST_PATH_IMAGE011
表示第二标志像素点到第u个像素点在设定方向为
Figure 665018DEST_PATH_IMAGE003
时的距离，S为所有设定方向构成的序列。
优选地，所述空间距离的获取方法具体为：
Figure 160459DEST_PATH_IMAGE012
其中，
Figure 592578DEST_PATH_IMAGE013
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的空间距离，
Figure 30643DEST_PATH_IMAGE014
为第v个像素点的坐标，
Figure 890015DEST_PATH_IMAGE015
为第g个初始种子点的坐标。
优选地，所述颜色距离的获取方法具体为：
Figure 627681DEST_PATH_IMAGE016
其中，
Figure 614223DEST_PATH_IMAGE017
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的颜色距离，
Figure 421642DEST_PATH_IMAGE018
为第v个像素点的LAB颜色特征，
Figure 701182DEST_PATH_IMAGE019
为第g个初始种子点的LAB颜色特征。
优选地，所述对所述空间距离和颜色距离进行加权求和具体为：
其中，空间距离对应的权重的获取方法具体为：
将可回收垃圾颜色图像上不属于初始种子点的像素点记为非种子像素点；针对任意一个非种子像素点，获取在非种子像素点的所有设定方向上与该非种子像素点距离最近的初始种子点；将各初始种子点到该非种子像素点的距离构成像素距离集合；
判断各初始种子点到该非种子像素点之间是否存在其他非种子像素点的边缘概率大于该非种子像素点的边缘概率；若存在，将初始种子点到该非种子像素点之间边缘概率最大的像素点称为截断点，并利用该非种子点到截断点的距离替换像素距离集合中该非种子像素点到对应初始种子点的距离，得到更新后的像素距离集合，获取更新后的像素距离序列中最大值元素对应的取值作为空间距离对应的权重；若不存在，则将像素距离集合中最大值元素对应的取值作为空间距离对应的权重；
获取可回收垃圾灰度图像上所有像素点的灰度值对应的灰度等级的种类数量，将255与所述种类数量的比值作为颜色距离对应的权重；利用所述空间距离对应的权重和颜色距离对应的权重对空间距离和颜色距离进行加权求和。
优选地，所述初始种子点的综合距离的获取方法具体为：
Figure 859631DEST_PATH_IMAGE020
其中，
Figure 181022DEST_PATH_IMAGE021
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的综合距离，
Figure 842947DEST_PATH_IMAGE013
表示第v个像素点与第g个初始种子点的空间距离，
Figure 93057DEST_PATH_IMAGE017
表示第v个像素点与第g个初始种子点的颜色距离，
Figure 489534DEST_PATH_IMAGE022
为所述空间距离对应的权重，
Figure 535987DEST_PATH_IMAGE023
为所述颜色距离对应的权重。
优选地，所述根据所述综合距离划分超像素得到超像素图像具体为：
计算可回收垃圾颜色图像上每个像素点到各初始种子点的综合距离，选择综合距离最小的初始种子点作为该像素点的聚类中心，每个聚类即为一个超像素；根据像素点的坐标获取每个超像素的重心，将重心作为超像素的新种子点的位置，通过不断迭代直到误差收敛，最终得到超像素图像。
优选地，所述根据超像素图像进行可回收垃圾种类的分类具体为：利用DNN语义分割神经网络对超像素图像中的可回收物种类进行分类。
本发明还提供了一种基于RPA和计算机视觉的可回收垃圾分类系统，该系统包括：
数据获取模块，用于基于RPA进行识别得到可回收垃圾颜色图像和可回收垃圾灰度图像；计算可回收垃圾灰度图像上各像素点对应的灰度共生矩阵，根据灰度共生矩阵中灰度组合的概率计算像素点的边缘概率；
数据处理模块，用于针对可回收垃圾灰度图像上任一像素点，在过该像素点的设定方向的直线上，获取该像素点两侧边缘概率局部最大值对应的像素点，记为第一标志像素点和第二标志像素点；根据第一标志像素点和第二标志像素点分别到所述任一像素点的距离、以及边缘概率，计算所述任一像素点的种子优异度；
数据分析模块，用于计算可回收垃圾灰度图像上所有像素点的种子优异度，获取种子优异度的局部最大值对应的像素点位置，将可回收垃圾灰度图像上所述像素点位置在可回收垃圾颜色图像上对应的像素点作为初始种子点；
根据可回收垃圾颜色图像上像素点和初始种子点的坐标以及颜色特征，分别计算像素点到初始种子点的空间距离和颜色距离；对所述空间距离和颜色距离进行加权求和得到像素点到初始种子点的综合距离；根据所述综合距离划分超像素得到超像素图像；根据超像素图像进行可回收垃圾种类的分类，根据分类结果完成可回收垃圾的分拣工作。
本发明实施例至少具有如下有益效果：
本发明基于RPA进行识别得到可回收垃圾的图像，并基于图像进行数据处理，分析像素点的特征，计算每个像素点的边缘概率，结合像素点的边缘概率，计算像素点种子优异度，选择初始种子点。并结合边缘概率设置距离度量权重进行超像素分割。本发明根据特征选择局部最优异的种子点，可减少超像素分割的迭代次数，同时可避免种子点落在边缘，影响分割效果。本发明得到的超像素大小不一，很好地适应了可回收物目标的大小，使得在对可回收垃圾图像进行分类识别时准确率更高，进而提高了可回收垃圾的分拣效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明的一种基于RPA和计算机视觉的可回收垃圾分类方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于RPA和计算机视觉的可回收垃圾分类方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于RPA和计算机视觉的可回收垃圾分类方法及系统的具体方案。
本发明所针对的具体场景为：利用计算机视觉，识别可回收垃圾图像中的可回收物的种类并进行分拣工作，实现可回收物的再利用。
实施例1：
请参阅图1，其示出了本发明一个实施例提供的一种基于RPA和计算机视觉的可回收垃圾分类方法的方法流程图，该方法包括以下步骤：
步骤一，基于RPA进行识别得到可回收垃圾颜色图像和可回收垃圾灰度图像；计算可回收垃圾灰度图像上各像素点对应的灰度共生矩阵，根据灰度共生矩阵中灰度组合的概率计算像素点的边缘概率。
具体地，基于RPA进行识别，并自动执行获取操作得到可回收垃圾颜色图像和可回收垃圾灰度图像。具体地，在实施例中是基于RPA自动执行获取相机拍摄的传送带上可回收垃圾RGB图像的操作，并将可回收垃圾RGB图像转换为LAB图像，记为可回收垃圾颜色图像，同时为了便于分析图像中的特征，将可回收垃圾RGB图像进行灰度化处理，得到可回收垃圾灰度图像。
对可回收垃圾灰度图像上所有像素点的灰度值进行灰度等级的划分，并获取灰度等级的种类数量。具体地，以灰度值为样本数据，利用K-means聚类算法将灰度值分为多个类别，每个类别对应一个灰度等级。其中，类别数量为k个，即灰度等级的种类数量为k个。同时，实施者可以根据实际情况选择其他更加合适的方法进行灰度等级的划分。
以可回收垃圾灰度图像上每个像素点为中心，构建一个大小为
Figure 832845DEST_PATH_IMAGE024
的窗口，计算每个窗口在设定方向的灰度共生矩阵，得到窗口中心像素点的灰度共生矩阵。其中，在本实施例中，n的取值为5，所述设定方向分别为0°、45°、90°和135°方向。结合一个窗口在设定方向的灰度共生矩阵，计算在设定方向的灰度共生矩阵下该窗口中心像素点的边缘概率，用公式表示为：
Figure 1659DEST_PATH_IMAGE001
其中，
Figure 885432DEST_PATH_IMAGE002
表示在设定方向为
Figure 1156DEST_PATH_IMAGE003
时像素点的边缘概率，
Figure 884011DEST_PATH_IMAGE004
表示灰度共生矩阵中第i行第j列的值，即第i个灰度级与第j个灰度级构成的组合在设定方向为
Figure 426988DEST_PATH_IMAGE003
时出现的概率，
Figure 329216DEST_PATH_IMAGE005
表示灰度级的差值，k表示灰度级的种类数量，
Figure 451893DEST_PATH_IMAGE006
表示归一化系数，
Figure 254502DEST_PATH_IMAGE025
为归一化函数。
Figure 719112DEST_PATH_IMAGE003
的取值为0°、45°、90°和135°。当概率较大，且灰度级差异较大时，表示该窗口内存在多个像素点对灰度等级变化，则此时窗中存在可回收垃圾边缘的可能性较大，即窗口中心像素点的边缘概率较大。
在本实施例中，计算
Figure 826745DEST_PATH_IMAGE026
时对应的归一化系数
Figure 270890DEST_PATH_IMAGE006
的取值为n－1。若窗口中心像素点为可回收物的边缘像素点，由于选取的窗口较小，可认为可回收物的边缘线在窗口内近似为一条直线，此时存在一条过窗口中心像素点的直线，该直线上所有像素点均为可回收物的边缘像素点，即为n个。若边缘不明显，则垂直边缘方向上相邻两个像素点的灰度级别差异较小，本实施例认为边缘线上最小的灰度级差异为1。那么在灰度级别差异为1的两个像素点在0°方向上相邻的概率为
Figure 881999DEST_PATH_IMAGE027
，因此以
Figure 579828DEST_PATH_IMAGE028
作为归一化系数；边缘概率越大，窗口中心像素点为边缘的概率越大。
计算窗口在所有设定方向的灰度共生矩阵下中心像素点的边缘概率，并获取其中的最大值作为该像素点的边缘概率。
需要说明的是，本实施例利用超像素分割对图像进行处理，超像素是指将具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。超像素分割利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素点来表达图片特征，可以很大程度上降低图像后处理的复杂度。
故需要先选取一定数量的种子点，若种子点选取不当，会导致后续分割效果不佳。本发明首先考虑像素点的边缘概率，所述像素点的边缘概率是指像素点为可回收物的边缘像素点的概率，因此选取的种子点对应的像素点的边缘概率越小越好，使得尽可能的选取各可回收物构成的区域较为靠近中心点的位置处像素点。若选取的初始种子点距离各可回收物边缘线较近，则根据该种子点进行超像素分割时，容易将本属于不同可回收物区域的部分划分在同一个超像素内，进而导致分割效果不佳。
步骤二，针对可回收垃圾灰度图像上任一像素点，在过该像素点的设定方向的直线上，获取该像素点两侧边缘概率局部最大值对应的像素点，记为第一标志像素点和第二标志像素点；根据第一标志像素点和第二标志像素点分别到所述任一像素点的距离、以及边缘概率，计算所述任一像素点的种子优异度。
具体地，为选择合适的超像素分割的种子点，结合像素点的边缘概率计算像素点的种子优异度，用公式表示为：
Figure 643599DEST_PATH_IMAGE029
其中，
Figure 154084DEST_PATH_IMAGE008
表示第u个像素点的种子优异度，
Figure 167170DEST_PATH_IMAGE009
表示第u个像素点的边缘概率，
Figure 691692DEST_PATH_IMAGE010
表示第一标志像素点到第u个像素点在设定方向为
Figure 508339DEST_PATH_IMAGE003
时的距离，
Figure 554005DEST_PATH_IMAGE011
表示第二标志像素点到第u个像素点在设定方向为
Figure 139708DEST_PATH_IMAGE003
时的距离，S为所有设定方向构成的序列，在本实施例中该序列具体为
Figure 382601DEST_PATH_IMAGE030
。
Figure 420964DEST_PATH_IMAGE031
为
Figure 273252DEST_PATH_IMAGE009
的负相关映射，像素点的边缘概率越大，像素点越可能为可回收物边缘线上的像素点，若选择边缘概率大的像素点作为种子点，通过超像素分割可能将属于不同可回收物的区域分割到同一个超像素中，因此当像素点的边缘概率越小，像素点的种子优异度越大。
获取第u个像素点在水平方向的直线上位于第u个像素点左右两侧且距离第u个像素点最近的边缘概率局部最大值对应的像素点，将左右两侧的两个像素点分别记为第一标志像素点
Figure 979039DEST_PATH_IMAGE032
和第二标志像素点
Figure 127255DEST_PATH_IMAGE033
，分别计算第一标志像素点和第二标志像素点到第u个像素点的距离，记为
Figure 918494DEST_PATH_IMAGE034
和
Figure 311822DEST_PATH_IMAGE035
。其中，所述在水平方向的直线上指的是设定方向为0°时，即与水平方向的直线夹角为0°的直线上。其中，局部最大值的获取方法为公知技术，在此不再过多赘述。同时，在图像上计算像素点与像素点之前的距离，实施者可以根据实际情况选择合适的方法进行计算。
按照上述相同的方法，获取在所有方向上像素点对应的第一标志像素点和第二标志像素点。在本实施例中在过第u个像素点在所有方向的直线上分别获取，其中方向对应的角度取值为0°、45°、90°和135°，表示过该像素点的直线分别与水平线的夹角为0°、45°、90°和135°，且一个方向的直线上对应一个第一标志像素点和一个第二标志像素点，进而计算相应的距离。
若像素点距离可回收物所在区域的边缘线越近，在超像素的分割过程中，可能会将不属于该可回收物所在区域的部分分割到同一个超像素中，因此需要让种子点在各个方向上距离可回收物所在区域的边缘都较远。
通过计算
Figure 419587DEST_PATH_IMAGE036
和
Figure 987971DEST_PATH_IMAGE035
的差值与均值的比例，比例越小，说明第u个像素点越靠近像素点
Figure 250194DEST_PATH_IMAGE032
和
Figure 195016DEST_PATH_IMAGE037
的中间位置，距离像素点
Figure 360550DEST_PATH_IMAGE032
和
Figure 365415DEST_PATH_IMAGE033
都较远。反之，当比例越大时，说明第u个像素点偏向像素点
Figure 112004DEST_PATH_IMAGE032
和
Figure 594938DEST_PATH_IMAGE033
其中的一个像素点，可能距离可回收物所在区域的边缘线较近，综合所有方向的结果，当该值越小，像素点的种子优异度越大。
步骤三，计算可回收垃圾灰度图像上所有像素点的种子优异度，获取种子优异度的局部最大值对应的像素点位置，将可回收垃圾灰度图像上所述像素点位置在可回收垃圾颜色图像上对应的像素点作为初始种子点；根据可回收垃圾颜色图像上像素点和初始种子点的坐标以及颜色特征，分别计算像素点到初始种子点的空间距离和颜色距离；对所述空间距离和颜色距离进行加权求和得到像素点到初始种子点的综合距离；根据所述综合距离划分超像素得到超像素图像。
首先，按照上述步骤二的方法计算可回收垃圾灰度图像上所有像素点的种子优异度，获取种子优异度的局部最大值对应的像素点的位置，将这些像素点作为超像素分割的初始种子点。本发明结合种子优异度选取的种子点，可以降低后续超像素分割的误差收敛速度，减少迭代次数，提高分割效率。同时可以避免种子点落在可回收物所在区域的边缘附近，影响分割效果。
为了获取准确的分割结果，需要对可回收垃圾颜色图像进行超像素分割。上述步骤基于可回收垃圾灰度图像获取了种子点，需要获取种子点在可回收垃圾颜色图像上对应位置处的像素点作为初始种子点，对可回收垃圾颜色图像进行超像素分割。
然后，将可回收垃圾颜色图像上不属于初始种子点的像素点记为非种子像素点，计算非种子像素点到初始种子点的空间距离，用公式表示为：
Figure 880557DEST_PATH_IMAGE012
其中，
Figure 790744DEST_PATH_IMAGE013
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的空间距离，即第v个非种子像素点与第g个初始种子点的空间距离，
Figure 27559DEST_PATH_IMAGE014
为第v个像素点的坐标，即第v个非种子像素点的坐标，
Figure 579763DEST_PATH_IMAGE015
为第g个初始种子点的坐标。
计算非种子像素点到初始种子点的颜色距离，用公式表示为：
Figure 719889DEST_PATH_IMAGE016
其中，
Figure 66557DEST_PATH_IMAGE017
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的颜色距离，即第v个非种子像素点与第g个初始种子点的颜色距离，
Figure 793598DEST_PATH_IMAGE018
为第v个像素点的LAB颜色特征，即第v个非种子像素点的LAB颜色特征，
Figure 821596DEST_PATH_IMAGE019
为第g个初始种子点的LAB颜色特征。
进一步的，在超像素分割距离度量过程中，为计算得到的非种子像素点的空间距离和颜色距离设置不同的权重，结合非种子像素点到初始种子点的空间距离和颜色距离，选择合适的初始种子点作为非种子像素点的聚类中心。所有非种子像素点的空间距离对应的权重相同，颜色距离对应的权重也相同。
计算非种子像素点到初始种子点的综合距离，用公式表示为：
Figure 65496DEST_PATH_IMAGE038
其中，
Figure 130535DEST_PATH_IMAGE039
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的综合距离，即第v个非种子像素点与第g个初始种子点的综合距离，
Figure 341942DEST_PATH_IMAGE013
表示第v个像素点与第g个初始种子点的空间距离，
Figure 970370DEST_PATH_IMAGE017
表示第v个像素点与第g个初始种子点的颜色距离，
Figure 553929DEST_PATH_IMAGE022
为所述空间距离对应的权重，
Figure 242399DEST_PATH_IMAGE023
为所述颜色距离对应的权重。
颜色距离对应的权重获取方法为：获取可回收垃圾灰度图像上所有像素点的灰度值对应的灰度等级的种类数量，将255与所述种类数量的比值作为颜色距离对应的权重。具体地，步骤一中对可回收垃圾灰度图像上所有像素点的灰度值进行灰度等级的划分，并获取灰度等级的种类数量k，则在理想情况下，每类灰度值的范围大小为
Figure 961611DEST_PATH_IMAGE040
，则将
Figure 128150DEST_PATH_IMAGE040
作为颜色距离对应的权重。当颜色距离小于
Figure 362953DEST_PATH_IMAGE040
时，颜色距离对于综合距离的计算贡献较小，此时更关注空间距离，当颜色距离大于
Figure 956746DEST_PATH_IMAGE041
时，颜色距离对于综合距离的计算贡献较大。
空间距离对应的权重获取方法为：针对任意一个非种子像素点，获取在非种子像素点的所有设定方向上与该非种子像素点距离最近的初始种子点；将各初始种子点到该非种子像素点的距离构成像素距离集合；判断各初始种子点到该非种子像素点之间是否存在其他非种子像素点的边缘概率大于该非种子像素点的边缘概率；若存在，将初始种子点到该非种子像素点之间边缘概率最大的像素点称为截断点，并利用该非种子点到截断点的距离替换像素距离集合中该非种子像素点到对应初始种子点的距离，得到更新后的像素距离序列，获取更新后的像素距离集合中最大值元素对应的取值作为空间距离对应的权重；若不存在，则将像素距离集合中最大值元素对应的取值作为空间距离对应的权重。
具体地，获取在第v个非种子像素点所有设定方向上距离第v个非种子像素点最近的初始种子点，一个方向对应一个最近的初始种子点，得到t个初始种子点，计算第v个非种子像素点到所述t个初始种子点的距离，构建像素距离集合
Figure 877166DEST_PATH_IMAGE042
。
判断第v个非种子像素点到所述t个初始种子点之间是否存在其他非种子像素点的边缘概率大于第v个非种子像素点的边缘概率；若不存在，则将像素距离集合中最大值元素对应的取值作为空间距离对应的权重，即
Figure 112975DEST_PATH_IMAGE043
。
若存在，则将第v个非种子像素点到对应初始种子点之间边缘概率最大的像素点称为截断点，表示第v个非种子像素点和对应初始种子点之间可能存在边缘将其截断，此时利用第v个非种子像素点到截断点的距离替换像素距离集合
Figure 936706DEST_PATH_IMAGE042
中第v个非种子像素点到对应初始种子点的距离，得到更新后的像素距离集合
Figure 232558DEST_PATH_IMAGE044
，则第v个非种子像素点到初始种子点的空间距离对应的权重为
Figure 377625DEST_PATH_IMAGE045
。
当空间距离小于权重
Figure 885967DEST_PATH_IMAGE022
时，空间距离对于综合距离的计算贡献较小，此时更关注颜色距离，当空间距离大于权重
Figure 95362DEST_PATH_IMAGE022
时，空间距离对于综合距离的计算贡献较大。由于可回收物大小不一，通过空间距离和颜色距离对应的权重的设置，可以使得最终分割的超像素大小适应不同可回收物的大小，避免将较小的可回收物与其他可回收物或背景分割到同一个超像素内。
最后，计算可回收垃圾颜色图像上每个非种子像素点到各初始种子点的综合距离，选择综合距离最小的初始种子点作为该非种子像素点的聚类中心，每个聚类即为一个超像素；根据非种子像素点的坐标获取每个超像素的重心，将重心作为超像素的新种子点的位置，通过不断迭代直到误差收敛，最终完成可回收垃圾颜色图像的超像素分割得到超像素图像。
步骤四，根据超像素图像进行可回收垃圾种类的分类，根据分类结果完成可回收垃圾的分拣工作。
具体地，根据超像素图像对图像中的可回收物进行分类识别，本实施例采用DNN语义分割的方式来识别超像素图像中的目标。利用超像素图像可减少训练集中的标签标注量，同时可降低网络的复杂度，加快可回收物分类识别速度，提高可回收物分类识别的准确率。
其中，DNN网络的相关内容包括：
网络的输入为超像素图像，输出为每个超像素对应的可回收物的类别；使用的数据集为超像素图像数据集；需要分割的超像素共分为6类，即训练集对应标签标注过程为：单通道的语义标签，对应位置超像素属于废纸类可回收物的标注为1，属于塑料类可回收物的标注为2，属于玻璃类可回收物的标注为3，属于金属类可回收物的标注为4，属于布料类可回收物的标注为5，不属于可回收物的垃圾及背景标注为0。网络的任务是分类，所使用的损失函数为交叉熵损失函数。
根据网络的分类结果基于RPA将可回收物分拣至对应类别的传送带。以便后续将不同种类的可回收物运送到不同的处理中心，在处理中心经过处理之后实现可回收物的再利用。
实施例2：
本实施例提供了一种基于RPA和计算机视觉的可回收垃圾分类系统，该系统包括：
数据获取模块，用于基于RPA进行识别得到可回收垃圾颜色图像和可回收垃圾灰度图像；计算可回收垃圾灰度图像上各像素点对应的灰度共生矩阵，根据灰度共生矩阵中灰度组合的概率计算像素点的边缘概率；
数据处理模块，用于针对可回收垃圾灰度图像上任一像素点，在过该像素点的设定方向的直线上，获取该像素点两侧边缘概率局部最大值对应的像素点，记为第一标志像素点和第二标志像素点；根据第一标志像素点和第二标志像素点分别到所述任一像素点的距离、以及边缘概率，计算所述任一像素点的种子优异度；
数据分析模块，用于计算可回收垃圾灰度图像上所有像素点的种子优异度，获取种子优异度的局部最大值对应的像素点位置，将可回收垃圾灰度图像上所述像素点位置在可回收垃圾颜色图像上对应的像素点作为初始种子点；
根据可回收垃圾颜色图像上像素点和初始种子点的坐标以及颜色特征，分别计算像素点到初始种子点的空间距离和颜色距离；对所述空间距离和颜色距离进行加权求和得到像素点到初始种子点的综合距离；根据所述综合距离划分超像素得到超像素图像；根据超像素图像进行可回收垃圾种类的分类，根据分类结果完成可回收垃圾的分拣工作。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，该方法包括以下步骤：
基于RPA进行识别得到可回收垃圾颜色图像和可回收垃圾灰度图像；计算可回收垃圾灰度图像上各像素点对应的灰度共生矩阵，根据灰度共生矩阵中灰度组合的概率计算像素点的边缘概率；
针对可回收垃圾灰度图像上任一像素点，在过该像素点的设定方向的直线上，获取该像素点两侧边缘概率局部最大值对应的像素点，记为第一标志像素点和第二标志像素点；根据第一标志像素点和第二标志像素点分别到所述任一像素点的距离、以及边缘概率，计算所述任一像素点的种子优异度；
计算可回收垃圾灰度图像上所有像素点的种子优异度，获取种子优异度的局部最大值对应的像素点位置，将可回收垃圾灰度图像上所述像素点位置在可回收垃圾颜色图像上对应的像素点作为初始种子点；
根据可回收垃圾颜色图像上像素点和初始种子点的坐标以及颜色特征，分别计算像素点到初始种子点的空间距离和颜色距离；对所述空间距离和颜色距离进行加权求和得到像素点到初始种子点的综合距离；根据所述综合距离划分超像素得到超像素图像；
根据超像素图像进行可回收垃圾种类的分类，根据分类结果完成可回收垃圾的分拣工作。
2.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述像素点的边缘概率的获取方法具体为：
以可回收垃圾灰度图像上每个像素点为中心，构建一个大小为n×n的窗口，计算每个窗口在各设定方向的灰度共生矩阵，得到窗口中心像素点的灰度共生矩阵；
计算在设定方向的灰度共生矩阵下该窗口中心像素点的边缘概率，用公式表示为：
Figure 107189DEST_PATH_IMAGE001
其中，
Figure 86647DEST_PATH_IMAGE002
表示在设定方向为
Figure 476171DEST_PATH_IMAGE003
时像素点的边缘概率，
Figure 920315DEST_PATH_IMAGE004
表示灰度共生矩阵中第i行第j列的值，即第i个灰度级与第j个灰度级构成的组合在设定方向为
Figure 797004DEST_PATH_IMAGE003
时出现的概率，
Figure 432516DEST_PATH_IMAGE005
表示灰度级的差值，k表示灰度级的种类数量，
Figure 558604DEST_PATH_IMAGE006
表示归一化系数；
计算窗口在所有设定方向的灰度共生矩阵下中心像素点的边缘概率，并获取其中的最大值作为该像素点的边缘概率。
3.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述种子优异度的获取方法具体为：
Figure 69088DEST_PATH_IMAGE007
其中，
Figure 82175DEST_PATH_IMAGE008
表示第u个像素点的种子优异度，
Figure 137856DEST_PATH_IMAGE009
表示第u个像素点的边缘概率，
Figure 935261DEST_PATH_IMAGE010
表示第一标志像素点到第u个像素点在设定方向为
Figure 531327DEST_PATH_IMAGE003
时的距离，
Figure 867762DEST_PATH_IMAGE011
表示第二标志像素点到第u个像素点在设定方向为
Figure 94344DEST_PATH_IMAGE003
时的距离，S为所有设定方向构成的序列。
4.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述空间距离的获取方法具体为：
Figure 444291DEST_PATH_IMAGE012
其中，
Figure 266885DEST_PATH_IMAGE013
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的空间距离，
Figure 972673DEST_PATH_IMAGE014
为第v个像素点的坐标，
Figure 153512DEST_PATH_IMAGE015
为第g个初始种子点的坐标。
5.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述颜色距离的获取方法具体为：
Figure 492220DEST_PATH_IMAGE016
其中，
Figure 164510DEST_PATH_IMAGE017
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的颜色距离，
Figure 974072DEST_PATH_IMAGE018
为第v个像素点的LAB颜色特征，
Figure 89927DEST_PATH_IMAGE019
为第g个初始种子点的LAB颜色特征。
6.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述对所述空间距离和颜色距离进行加权求和具体为：
其中，空间距离对应的权重的获取方法具体为：
将可回收垃圾颜色图像上不属于初始种子点的像素点记为非种子像素点；针对任意一个非种子像素点，获取在非种子像素点的所有设定方向上与该非种子像素点距离最近的初始种子点；将各初始种子点到该非种子像素点的距离构成像素距离集合；
判断各初始种子点到该非种子像素点之间是否存在其他非种子像素点的边缘概率大于该非种子像素点的边缘概率；若存在，将初始种子点到该非种子像素点之间边缘概率最大的像素点称为截断点，并利用该非种子点到截断点的距离替换像素距离集合中该非种子像素点到对应初始种子点的距离，得到更新后的像素距离集合，获取更新后的像素距离序列中最大值元素对应的取值作为空间距离对应的权重；若不存在，则将像素距离集合中最大值元素对应的取值作为空间距离对应的权重；
获取可回收垃圾灰度图像上所有像素点的灰度值对应的灰度等级的种类数量，将255与所述种类数量的比值作为颜色距离对应的权重；
利用所述空间距离对应的权重和颜色距离对应的权重对空间距离和颜色距离进行加权求和。
7.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述初始种子点的综合距离的获取方法具体为：
Figure 102882DEST_PATH_IMAGE020
其中，
Figure 51900DEST_PATH_IMAGE021
表示可回收垃圾颜色图像上第v个像素点与第g个初始种子点的综合距离，
Figure 263439DEST_PATH_IMAGE013
表示第v个像素点与第g个初始种子点的空间距离，
Figure 19036DEST_PATH_IMAGE017
表示第v个像素点与第g个初始种子点的颜色距离，
Figure 253709DEST_PATH_IMAGE022
为所述空间距离对应的权重，
Figure 985910DEST_PATH_IMAGE023
为所述颜色距离对应的权重。
8.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述根据所述综合距离划分超像素得到超像素图像具体为：
计算可回收垃圾颜色图像上每个像素点到各初始种子点的综合距离，选择综合距离最小的初始种子点作为该像素点的聚类中心，每个聚类即为一个超像素；根据像素点的坐标获取每个超像素的重心，将重心作为超像素的新种子点的位置，通过不断迭代直到误差收敛，最终得到超像素图像。
9.根据权利要求1所述的一种基于RPA和计算机视觉的可回收垃圾分类方法，其特征在于，所述根据超像素图像进行可回收垃圾种类的分类具体为：利用DNN语义分割神经网络对超像素图像中的可回收物种类进行分类。
10.一种基于RPA和计算机视觉的可回收垃圾分类系统，其特征在于，该系统包括：
数据获取模块，用于基于RPA进行识别得到可回收垃圾颜色图像和可回收垃圾灰度图像；计算可回收垃圾灰度图像上各像素点对应的灰度共生矩阵，根据灰度共生矩阵中灰度组合的概率计算像素点的边缘概率；
数据处理模块，用于针对可回收垃圾灰度图像上任一像素点，在过该像素点的设定方向的直线上，获取该像素点两侧边缘概率局部最大值对应的像素点，记为第一标志像素点和第二标志像素点；根据第一标志像素点和第二标志像素点分别到所述任一像素点的距离、以及边缘概率，计算所述任一像素点的种子优异度；
数据分析模块，用于计算可回收垃圾灰度图像上所有像素点的种子优异度，获取种子优异度的局部最大值对应的像素点位置，将可回收垃圾灰度图像上所述像素点位置在可回收垃圾颜色图像上对应的像素点作为初始种子点；
根据可回收垃圾颜色图像上像素点和初始种子点的坐标以及颜色特征，分别计算像素点到初始种子点的空间距离和颜色距离；对所述空间距离和颜色距离进行加权求和得到像素点到初始种子点的综合距离；根据所述综合距离划分超像素得到超像素图像；根据超像素图像进行可回收垃圾种类的分类，根据分类结果完成可回收垃圾的分拣工作。
CN202211186439.9A 2022-09-28 2022-09-28 基于rpa和计算机视觉的可回收垃圾分类方法及系统 Pending CN115272778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211186439.9A CN115272778A (zh) 2022-09-28 2022-09-28 基于rpa和计算机视觉的可回收垃圾分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211186439.9A CN115272778A (zh) 2022-09-28 2022-09-28 基于rpa和计算机视觉的可回收垃圾分类方法及系统

Publications (1)

Publication Number Publication Date
CN115272778A true CN115272778A (zh) 2022-11-01

Family

ID=83757492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211186439.9A Pending CN115272778A (zh) 2022-09-28 2022-09-28 基于rpa和计算机视觉的可回收垃圾分类方法及系统

Country Status (1)

Country Link
CN (1) CN115272778A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641327A (zh) * 2022-11-09 2023-01-24 浙江天律工程管理有限公司 一种基于大数据的建筑工程质量监理和预警系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635809A (zh) * 2018-11-02 2019-04-16 浙江工业大学 一种面向视觉退化图像的超像素分割方法
CN113658132A (zh) * 2021-08-16 2021-11-16 沭阳九鼎钢铁有限公司 基于计算机视觉的结构件焊缝检测方法
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635809A (zh) * 2018-11-02 2019-04-16 浙江工业大学 一种面向视觉退化图像的超像素分割方法
CN113658132A (zh) * 2021-08-16 2021-11-16 沭阳九鼎钢铁有限公司 基于计算机视觉的结构件焊缝检测方法
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴健等: "基于计算机视觉的废物垃圾分析与识别研究", 《信息技术与信息化》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641327A (zh) * 2022-11-09 2023-01-24 浙江天律工程管理有限公司 一种基于大数据的建筑工程质量监理和预警系统

Similar Documents

Publication Publication Date Title
CN111191732B (zh) 一种基于全自动学习的目标检测方法
CN108830188B (zh) 基于深度学习的车辆检测方法
Olgun et al. Wheat grain classification by using dense SIFT features with SVM classifier
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN109740603A (zh) 基于cnn卷积神经网络下的车辆字符识别方法
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
CN114092389A (zh) 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN103366367A (zh) 基于像素数聚类的模糊c-均值灰度图像分割方法
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN108154158B (zh) 一种面向增强现实应用的建筑物图像分割方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN113205026B (zh) 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN111242046B (zh) 一种基于图像检索的地面交通标志识别方法
CN112580647A (zh) 一种面向堆叠物体的识别方法及系统
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN111798447A (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN111259893A (zh) 一种基于深度学习的智能工具管理方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN115272778A (zh) 基于rpa和计算机视觉的可回收垃圾分类方法及系统
CN114882011A (zh) 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法
CN105894035B (zh) 基于sar-sift和dbn的sar图像分类方法
CN108664968B (zh) 一种基于文本选取模型的无监督文本定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination