CN117392465B - 一种基于视觉的垃圾分类数字化管理方法 - Google Patents

一种基于视觉的垃圾分类数字化管理方法 Download PDF

Info

Publication number
CN117392465B
CN117392465B CN202311675348.6A CN202311675348A CN117392465B CN 117392465 B CN117392465 B CN 117392465B CN 202311675348 A CN202311675348 A CN 202311675348A CN 117392465 B CN117392465 B CN 117392465B
Authority
CN
China
Prior art keywords
point
area
category
mutation
garbage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311675348.6A
Other languages
English (en)
Other versions
CN117392465A (zh
Inventor
王惠
张金柯
李海亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juzhenbao Shandong Technology Co ltd
Original Assignee
Juzhenbao Shandong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juzhenbao Shandong Technology Co ltd filed Critical Juzhenbao Shandong Technology Co ltd
Priority to CN202311675348.6A priority Critical patent/CN117392465B/zh
Publication of CN117392465A publication Critical patent/CN117392465A/zh
Application granted granted Critical
Publication of CN117392465B publication Critical patent/CN117392465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于视觉的垃圾分类数字化管理方法，包括：对垃圾图像进行分割获得所有前景区域；根据边界像素点的突变概率判断边界像素点是否为突变点，根据前景区域是否存在突变点判断前景区域是否存在边界遮挡；根据第三类别和第四类别的相似度判断前景区域是否存在内部遮挡；对存在内部遮挡和边界遮挡的前景区域进行预测，获得完整垃圾区域；通过垃圾分类神经网络对垃圾区域进行分类识别，完成垃圾分类数字化管理。本发明通过对垃圾区域特征进行分析，完成垃圾区域是否存在遮挡的判断，提高了判断精度，并对遮挡区域进行预测，获取精确垃圾区域，提高了垃圾分类的精度与效率。

Description

一种基于视觉的垃圾分类数字化管理方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于视觉的垃圾分类数字化管理方法。
背景技术
随着生活水平的逐步提高，人们产生的垃圾的种类和数量也在逐年递增。垃圾的无序堆放，不仅挤占有效市容空间还会对城市环境造成污染。当然。垃圾也并非全部为废弃物，合理的处理方式不仅能够使得资源再利用，还能避免对环境造成更多的污染，故对垃圾进行分类进行回收不仅提高了垃圾处理效率，也提高了资源利用率，利用意义重大。
在垃圾图像中，垃圾区域轮廓特征包含了目标垃圾的大致形状描述和尺寸大小，在垃圾分类中可作为分割不同垃圾区域的依据，且当垃圾区域之间存在部分遮挡的时候，垃圾分类的效果较差，因此，通过对垃圾图像进行图像处理分析，提高判断垃圾区域的遮挡情况的精确度，进而提高后续垃圾分类的识别精度。
发明内容
为了解决上述问题，本发明提供一种基于视觉的垃圾分类数字化管理方法，所述方法包括：
采集垃圾图像，对垃圾图像进行分割获得所有前景区域；
对于任意一个前景区域，获得前景区域的所有边界像素点，结合距离度量对边界像素点的邻域进行聚类获得第一类别和第二类别，根据第一类别和第二类别的相似度计算边界像素点的突变概率，根据边界像素点的突变概率判断边界像素点是否为突变点，根据前景区域是否存在突变点判断前景区域是否存在边界遮挡；
对于任意一个不存在边界遮挡的前景区域，结合距离度量对边界像素点的邻域进行聚类获得第三类别和第四类别，根据第三类别和第四类别的相似度判断前景区域是否存在内部遮挡；
对存在内部遮挡的前景区域进行预测，获得完整垃圾区域；
对存在边界遮挡的前景区域，根据优选度确定所有的突变点对以及子区域，对不完整的子区域，计算子区域的第二类别的所有像素点的角度差异特征值和灰度差异特征值，计算预测像素点与突变点的角度差异值和灰度差异值，实现对预测像素点的灰度值的预测，获得完整子区域；
通过垃圾分类神经网络对垃圾区域进行分类识别，完成垃圾分类数字化管理。
进一步地，所述对垃圾图像进行分割获得所有前景区域的步骤包括：
S1：对图像进行分割获得多个前景区域和一个背景区域，将所有前景区域组成的集合记为前景集合；
S2：通过对背景区域进行聚类获得第一子区域和第二子区域，计算第一子区域和第二子区域的相似度，如果相似度小于阈值，则将第一区域作为一个前景区域并加入到前景集合中，将第二子区域作为新的背景区域；
重复S1、S2步骤，对新的背景区域进行聚类获得第一子区域和第二子区域，直至第一子区域和第二子区域的相似度大于第一阈值。
进一步地，所述结合距离度量对边界像素点的邻域进行聚类获得第一类别和第二类别的步骤包括：
对于前景区域中的任意一个边界像素点，获取邻域内的所有边界像素点，计算邻域内的所有边界像素点与聚类中心点的距离度量，邻域内的第w个边界像素点与第i个聚类中心点的距离度量的计算公式为：
式中，表示第w个边界像素点与第i个聚类中心点的距离，/>表示以自然常数为底的指数函数，/>表示第w个边界像素点与第i个聚类中心点的欧式距离，/>为第w个边界像素点的灰度值，/>表示第i个聚类中心点的灰度值，/>表示取最大值；
结合距离度量通过聚类算法将邻域内的所有边界像素点划分为第一类别和第二类别。
进一步地，所述根据第一类别和第二类别的相似度计算边界像素点的突变概率的步骤包括：
第一类别和第二类别的相似度的计算公式为：
式中，R表示第一类别和第二类别的相似度，exp()表示以自然常数为底的指数函数，表示第一类别中所有像素点的灰度值的平均值，/>表示第二类别中所有像素点的灰度值的平均值，/>表示取绝对值；
将边界像素点对应的第一类别和第二类别的相似度的倒数的归一化结果记为边界像素点的突变概率。
进一步地，所述对存在内部遮挡的前景区域进行预测的步骤包括：
对于存在内部遮挡的前景区域，将前景区域中分割出第三区域后的空白区域记录为遮挡区域，获取遮挡区域的中心点Z，所述中心点Z为遮挡区域中与遮挡区域的所有边缘像素点的欧式距离之和最小的像素点；
过中心点Z做直线L，直线L与遮挡区域的两个交点，分别记为交点和交点/>，直线L与第四区域/>的两个交点，分别记为交点/>和交点/>；
对于中心点Z与交点之间的第j个像素点的预测值的计算公式为：
式中，表示第j个像素点的预测值，/>表示交点/>与交点/>之间像素点的数量，/>交点/>与交点/>之间第k个的像素点的灰度值，/>表示第j个像素点与交点/>与交点/>之间第k个的像素点的欧式距离，M表示第j个像素点与交点/>与交点/>之间所有像素点的欧式距离的最大值；
对遮挡区域中的所有像素点的灰度值进行预测，直至完成对遮挡区域的所有像素点的预测，预测后的遮挡区域与第四区域组成的区域作为完整垃圾区域。
进一步地，所述根据优选度确定所有的突变点对以及子区域的步骤包括：
对于前景区域中的任意两个突变点，计算两个突变点的优选度，第m个突变点和第n个突变点的优选度具体计算公式为：
式中，表示第m个突变点和第n个突变点的优选度，exp()表示以自然常数为底的指数函数，/>表示第m个突变点的第一类别中所有像素点的灰度值的平均值，/>表示第n个突变点的第一类别中所有像素点的灰度值的平均值，/>表示第m个突变点的第二类别中所有像素点的灰度值的平均值，/>表示第n个突变点的第二类别中所有像素点的灰度值的平均值，/>表示第m个突变点的灰度值，/>表示第n个突变点的灰度值；
对于前景区域中的任意突变点，计算其他所有突变点与该突变点的优选度，将优选度最大的突变点与该突变点组成一个突变点对，同理，获得前景区域中的所有突变点对应的突变点对；
任意一个突变点对对应的两个突变点之间的所有边界像素点组成一个边界，根据边界将前景区域划分为多个子区域。
进一步地，所述计算子区域的第二类别的所有像素点的角度差异特征值和灰度差异特征值的步骤包括：
对于第二类别的所有像素点，按照像素点和突变点的欧式距离，从大到小进行排序获得第一序列，对于第一序列中任意第b个像素点，计算该像素点的角度差异特征值，其中，/>表示第b个像素点的坐标，/>表示第b+1个像素点的坐标，/>表示第b+2个像素点的坐标，arctan()表示正切函数，以及灰度差异特征值/>，/>表示第b个像素点的灰度值，/>表示第b+1个像素点的灰度值；根据上述方法，计算第一序列中所有像素点的角度差异特征值和灰度差异特征值。
进一步地，所述计算预测像素点与突变点的角度差异值和灰度差异值的步骤包括：
依次对所有预测像素点的灰度值进行预测，对于第f个预测像素点，计算第f个预测像素点与第p个突变点的灰度差异值和角度差异值，计算公式为：
式中，表示第f个预测像素点与第p个突变点的灰度差异值，/>表示第二类别中像素点的数量，/>表示第二类别中第b个像素点与第p个突变点的欧氏距离，/>表示第二类别中第b个像素点灰度差异特征值；/>表示第f个预测像素点与第p个突变点的角度差异值，表示第二类别中第b个像素点角度差异特征值。
本发明上述方法至少具有如下有益效果：
1、本发明通过对垃圾图像进行处理和分析，将垃圾图像的前景区域的垃圾划分为三种：存在边界遮挡的垃圾区域、存在内部遮挡的垃圾区域、完整垃圾区域，完成垃圾区域是否存在遮挡的判断，并对遮挡区域进行预测，获取精确且完整的垃圾区域，通过垃圾分类神经网络对精确且完整的垃圾区域进行分类，提高了垃圾分类的精度与效率。
2、本发明考虑到存在边界遮挡的垃圾区域中，两个垃圾区域的边界处的像素点周围的邻域包含了两个垃圾区域的特征，因此，结合上述特征计算边界像素点的突变概率，进而判断边界像素点是否为突变点并判断前景区域是否存在边界遮挡，提高了判断前景区域是否存在遮挡的准确性，进而提高了垃圾处理的效率与精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于视觉的垃圾分类数字化管理方法的步骤流程图；
图2为本发明一个实施例提供的一个存在边界遮挡的前景区域的图像；
图3为本发明一个实施例提供的一个存在内部遮挡的前景区域的图像。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉的垃圾分类数字化管理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于视觉的垃圾分类数字化管理方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于视觉的垃圾分类数字化管理方法的步骤流程图，该方法包括以下步骤：
S001，采集垃圾图像，对垃圾图像进行分割获得所有前景区域。
1、采集垃圾图像。
本发明通过工业相机，固定光源采集传送带上的垃圾图像，采集的图像为RGB图像，本发明中使用加权灰度化的方法对垃圾RGB图像进行灰度化处理，得到垃圾图像。
2、对垃圾图像进行分割获得所有前景区域。
需要说明的是，直接使用canny算子对垃圾图像进行图像分割时，由于每个垃圾自身往往存在纹理特征，会对canny算子检测的结果造成干扰，使检测出边缘中的干扰边缘过多，影响检测。
在本实施例中，首先通过大津阈值分割法，获得背景区域和多个前景区域，其中背景区域包括传送带和与传送带颜色接近的垃圾，且每个前景区域可能包括多个垃圾对应的区域。
在使用大津阈值分割算法，将传送带作为背景进行分割时，并不能分割出颜色与传送带接近的垃圾，因此背景区域包括传送带和与传送带颜色接近的垃圾，故本发明再对分割后的背景区域使用K-Means聚类算法进行分割，具体步骤包括：
（1）将所有前景区域组成的集合记为前景集合。
（2）通过K-Means聚类算法对背景区域进行聚类，获得两个类别；分别获得两个类别中所有像素点组成的两个区域，将两个区域中面积较小的区域记为第一子区域，将两个区域中面积较大的区域记为第二子区域。
（3）以第一子区域为模板，利用该模板通过模板匹配算法与第二子区域进行匹配，获得第一子区域和第二子区域的相似度，如果相似度小于第一阈值，则将第一子区域作为一个前景区域并加入到前景集合中，将第二子区域作为新的背景区域；在本实施例中，第一阈值为0.8，在其他实施例中，实施人员可根据需要设置第一阈值。
（4）重复步骤（2）和（3），对新的背景区域进行聚类获得第一子区域和第二子区域，直至第一子区域和第二子区域的相似度大于第一阈值。
S002，获得前景区域的所有边界像素点，结合距离度量对边界像素点的邻域进行聚类获得第一类别和第二类别，根据第一类别和第二类别的相似度计算边界像素点的突变概率，根据边界像素点的突变概率判断边界像素点是否为突变点，根据前景区域是否存在突变点判断前景区域是否存在边界遮挡。
需要说明的是，根据先验知识可知，整体垃圾区域可能存在多个垃圾，对上述步骤获取的所有前景区域，每个前景区域可能包括多个垃圾对应的区域，并且重叠在一起，因此，前景区域中存在三个类别的前景区域，分别为：存在边界遮挡的前景区域、存在内部遮挡的前景区域、不存在遮挡的前景区域。如图2所示为存在边界遮挡的前景区域，其中，区域和/>区域为两个垃圾对于的区域，/>区域将/>区域遮挡了一部分，上述得到的前景区域为图像中的/>区域和/>区域组合起来的区域。
1、在本实施例中，对前景区域进行连通域分析获得前景区域的所有边界像素点，对于前景区域中的任意一个边界像素点，获取该边界像素点8邻域内的所有边界像素点；设置两个初始聚类中心，结合邻域内的所有边界像素点与初始聚类中心的距离度量，通过K-Means聚类算法将邻域内的所有边界像素点划分为第一类别和第二类别。其中，两个初始聚类中心在K-Means聚类算法的迭代过程中不断更新。
第w个边界像素点与第i个初始聚类中心点的距离度量的计算公式为：
式中，表示第w个边界像素点与第i个聚类中心点的距离，/>表示以自然常数为底的指数函数，/>表示第w个边界像素点与第i个聚类中心点的欧式距离，/>为第w个边界像素点的灰度值，/>表示第i个聚类中心点的灰度值，/>表示取最大值；/>越小，边界像素点与初始聚类中心的差异越小，说明两者越相似，距离/>越小。
结合距离度量通过聚类算法将邻域内的所有边界像素点划分为第一类别和第二类别，对于出现遮挡的垃圾区域，第一类别对应的边界像素点和第二类别对应的边界像素点分别表征了不同垃圾区域的边界像素点，对于被遮挡的垃圾区域，第一类别对应的边界像素点和第二类别对应的边界像素点表征了同一垃圾区域的边界像素点。
2、计算第一类别和第二类别的相似度。第一类别和第二类别的相似度的计算公式为：
式中，R表示第一类别和第二类别的相似度，exp()表示以自然常数为底的指数函数，表示第一类别中所有像素点的灰度值的平均值，/>表示第二类别中所有像素点的灰度值的平均值，/>表示取绝对值，/>越小，第一类别和第二类别的差异越小，第一类别和第二类别的相似度越大。第一类别和第二类别的相似度越大，则说明该边界像素点的8邻域内的其他边界像素点越表征同一个垃圾区域的边界信息，垃圾区域出现的遮挡的可能性越小，反之，第一类别和第二类别的相似度越小，则说明垃圾区域出现遮挡的可能性越大。
3、根据相似度计算边界像素点的突变概率。具体方法为：考虑到边界像素点对应的两个类别的相似度越大，说明边界像素点为突变点的概率越小，因此，本实施例将边界像素点对应的第一类别和第二类别的相似度的倒数记为边界像素点的突变概率；对所有边界像素点的突变概率进行归一化处理，如果边界像素点的突变概率大于第二阈值，则边界像素点为突变点，否则边界像素点不是突变点。
在本实施例中，第二阈值为0.9，在其他实施例中，实施人员可根据需要设置第二阈值。
突变点表征了两个存在遮挡的垃圾区域的交界点，突变概率越大，则说明两个垃圾区域存在遮挡的概率越大。因此，如果前景区域的所有边界像素点存在至少一个突变点，则前景区域存在边界遮挡，否则，前景区域不存在边界遮挡。
S003，对于不存在边界遮挡的前景区域，结合距离度量对边界像素点的邻域进行聚类获得第三类别和第四类别，根据第三类别和第四类别的相似度判断前景区域是否存在内部遮挡。
需要说明的是，如图3所示为存在内部遮挡的前景区域，其中，区域和/>区域为两个垃圾区域，/>区域将/>区域遮挡了一部分，上述得到的前景区域为图像中的/>区域和/>区域组合起来的区域。
设置两个新的初始聚类中心，对于任意一个不存在边界遮挡的前景区域，计算前景区域内的所有像素点与新的初始聚类中心的距离度量，结合距离度量通过K-Means聚类算法将前景区域的所有边界像素点划分为两个类别，分别记为第三类别和第四类别，计算第三类别和第四类别的相似度，如果前景区域的相似度大于第三阈值，则前景区域存在内部遮挡，否则，前景区域不存在内部遮挡。在本实施例中，第三阈值为0.8，在其他实施例中，实施人员可根据需要设置第三阈值。
S004，对存在内部遮挡的前景区域进行预测，获得完整垃圾区域。
1、对于存在内部遮挡的前景区域，前景区域的第三类别对应的区域记录为第三区域，将前景区域的第四类别对应的区域记录为第四区域；第三区域为完整的垃圾区域，不需要进行预测，将第三区域从前景区域分割出来，将分割出来的第三区域作为完整垃圾区域，将前景区域中分割出第三区域后的空白区域记录为遮挡区域。
对遮挡区域进行预测，获取前景区域的遮挡区域的中心点Z，该中心点Z为遮挡区域中与遮挡区域的所有边缘像素点的欧式距离之和最小的像素点；由于遮挡区域通常为封闭区域，故对遮挡区域预测时，过中心点Z做任意一条直线L，直线L与遮挡区域的两个交点，分别记为交点和交点/>，直线L与第四区域/>的两个交点，分别记为交点/>和交点/>。
2、根据交点与交点/>之间的像素点，对中心点Z与交点/>之间的像素点进行预测，对于中心点Z与交点/>之间的第j个像素点的预测值的计算公式为：
式中，表示第j个像素点的预测值，/>表示交点/>与交点/>之间像素点的数量，/>交点/>与交点/>之间第k个的像素点的灰度值，/>表示第j个像素点与交点/>与交点/>之间第k个的像素点的欧式距离，M表示第j个像素点与交点/>与交点/>之间所有像素点的欧式距离的最大值。
通过预测的方式获得了遮挡区域的所有像素点的灰度值，预测后的遮挡区域与第四区域组成的区域作为完整垃圾区域，获取了完整的垃圾区域，达到了获取精确垃圾区域的目的，从而提高了垃圾分类的效果。
S005，对存在边界遮挡的前景区域，根据优选度确定所有的突变点对以及子区域，对不完整的子区域，计算子区域的第二类别的所有像素点的角度差异特征值和灰度差异特征值，计算预测像素点与突变点的角度差异值和灰度差异值，实现对预测像素点的灰度值的预测，获得完整子区域。
需要说明的是，对于存在边界遮挡的前景区域，前景区域存在多个突变点，根据先验知识可知，两封闭物体出现边界遮挡时，遮挡的边界处会存在两个突变边界点组成突变点对，每个突变点对对应一个分割。
1、根据上述步骤S002可知，每个边界像素点对应一个第一类别和一个第二类别，突变点属于边界像素点，因此，一个突变点对应一个第一类别和一个第二类别。对于前景区域中的任意两个突变点，计算两个突变点的优选度，第m个突变点和第n个突变点的优选度具体计算公式为：
式中，表示第m个突变点和第n个突变点的优选度，exp()表示以自然常数为底的指数函数，/>表示第m个突变点的第一类别中所有像素点的灰度值的平均值，/>表示第n个突变点的第一类别中所有像素点的灰度值的平均值，/>表示第m个突变点的第二类别中所有像素点的灰度值的平均值，/>表示第n个突变点的第二类别中所有像素点的灰度值的平均值，/>表示第m个突变点的灰度值，/>表示第n个突变点的灰度值。
本发明中根据优选度选择突变点的对应突变点，优选度表征了两突变点的灰度信息及邻域信息的相似程度，获取了两突变点的优选度也就相当于获得了两个突变点的相似程度，从而将相似程度大的两个突变点作为一个突变点对，同时，任意一个突变点对之间的所有边界像素点组成的边缘表征了某个垃圾区域的边界。
对于前景区域中的任意突变点，计算其他所有突变点与该突变点的优选度，将优选度最大的突变点与该突变点组成一个突变点对，同理，获得前景区域中的所有突变点对应的突变点对。
任意一个突变点对对应的两个突变点之间的所有边界像素点组成一个边界，根据边界将前景区域划分为多个子区域，前景区域中突变点对的数量加1即为前景区域划分后的子区域的数量。
2、对于任意一个子区域，对于子区域中的突变点p，获取突变点p的8邻域内属于突变点p对应的第一类别的所有像素点，对于所有像素点中的第q个像素点，获取突变点p与第q个像素点的直线。
获取直线上属于第一类别且与突变点p相邻的像素点u，计算像素点u的灰度值与第一类别中所有像素点的灰度值的平均值之间的差值的绝对值/>，同理，计算像素点u的灰度值与第二类别中所有像素点的灰度值的平均值之间的差值的绝对值/>，如果/>，若说明像素点u属于第一类别，进而说明第一类别对应的垃圾区域在上方遮挡了第二类别对应的垃圾区域，第一类别对应的垃圾区域作为完整垃圾区域。
此时，说明第二类别对应的垃圾区域是被遮挡的，因此，第二类别对应的垃圾区域不完整，需要进行分析预测处第二类别对应的垃圾区域的被遮挡区域。
3、对不完整的子区域进行分析预测，对第二类别对应的垃圾区域的被遮挡区域进行预测，具体步骤为：
（1）对于第二类别的所有像素点，按照像素点和突变点的欧式距离，从大到小进行排序获得第一序列。
（2）对于第一序列中任意第b个像素点，计算该像素点的角度差异特征值，其中，/>表示第b个像素点的坐标，/>表示第b+1个像素点的坐标，/>表示第b+2个像素点的坐标，arctan()表示正切函数。角度差异特征值表示了某一垃圾区域的边界像素点的角度变化规律，根据角度变化规律对该垃圾区域被遮挡部分的边界像素点的位置进行预测，提高预测精确度，达到了获取精确垃圾区域的目的，从而提高了垃圾分类的效果。
（3）对于第一序列中任意第b个像素点，计算该像素点的灰度差异特征值，/>表示第b个像素点的灰度值，/>表示第b+1个像素点的灰度值。灰度差异特征值表示了某一垃圾区域的边界像素点的灰度值变化规律，根据灰度值变化规律对该垃圾区域被遮挡部分的边界像素点的灰度值进行预测，提高预测精确度，达到了获取精确垃圾区域的目的，从而提高了垃圾分类的效果。
（4）根据上述步骤（2）和步骤(3)，计算第一序列中所有像素点的角度差异特征值和灰度差异特征值。
4、依次对所有预测像素点的灰度值进行预测，对于第f个预测像素点，计算第f个预测像素点与第p个突变点的灰度差异值和角度差异值，计算公式为：
式中，表示第f个预测像素点与第p个突变点的灰度差异值，/>表示第二类别中像素点的数量，/>表示第二类别中第b个像素点与第p个突变点的欧氏距离，/>表示第二类别中第b个像素点灰度差异特征值；/>表示第f个预测像素点与第p个突变点的角度差异值，表示第二类别中第b个像素点角度差异特征值。
根据第f个预测像素点与第p个突变点的角度差异值获得第f个预测像素点的坐标，根据第f个预测像素点与第p个突变点的灰度差异值获得第f个预测像素点的灰度值，第f个预测像素点的灰度值的计算公式为：/>，其中，/>表示第p个突变点的灰度值，由于第f个预测像素点的灰度值与第p个突变点的灰度值的绝对值等于灰度差异值，因此，根据上述公式求解第f个预测像素点的灰度值有两种结果，统计距离第f个预测像素点最近的s个像素点的灰度变化值，具体包含了s-1个第二类别的像素点及第p个突变点相邻的灰度差异变化值之和，此处在计算灰度差异时不进行取绝对值操作，计算出的变化值含有正负号，若为正，则说明/>，若为负，则说明/>，若为0，则可多统计一个第二类别的像素点。将预测后的第f个预测像素点加入到第二类别中。
重复上述步骤，直至获取到第p个突变点对应的突变点对中的另一个突变点为止，或者所有预测像素点的数量达到阈值为止，此时第二类别对应的垃圾区域作为完整垃圾区域。
5、通过垃圾分类神经网络对垃圾区域进行分类识别。
根据上述步骤，获取了所有完整垃圾区域，将完整垃圾区域输入到垃圾分类神经网络中，输出为垃圾的类别，损失函数为交叉熵损失函数，网络的训练过程为公知技术，此处不再赘述。
S006，完成垃圾分类数字化管理。
根据上述步骤，采集了垃圾图像，并对垃圾图像进行初步分割，获取初步垃圾区域，再对初步垃圾区域进行边界判定，同时对垃圾区域内部进行进一步分割，提高垃圾区域的获取精度，再将垃圾区域输入到垃圾分类神经网络中，获取垃圾的类别。根据垃圾的类别进行不同的处理方式，例如，电池、灯泡等不可回收垃圾进行单独回收或填埋处理，对厨余垃圾（剩菜剩饭等）经生物技术就地处理堆肥，对可回收垃圾（废纸、塑料、玻璃等）进行回收再利用。
综上所述，本发明对垃圾图像进行分割获得所有前景区域；根据边界像素点的突变概率判断边界像素点是否为突变点，根据前景区域是否存在突变点判断前景区域是否存在边界遮挡；根据第三类别和第四类别的相似度判断前景区域是否存在内部遮挡；对存在内部遮挡和边界遮挡的前景区域进行预测，获得完整垃圾区域；通过垃圾分类神经网络对垃圾区域进行分类识别，完成垃圾分类数字化管理。本发明通过对垃圾区域特征进行分析，完成垃圾区域是否存在遮挡的判断，提高了判断精度，并对遮挡区域进行预测，获取精确垃圾区域，提高了垃圾分类的精度与效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视觉的垃圾分类数字化管理方法，其特征在于，所述方法包括：
采集垃圾图像，对垃圾图像进行分割获得所有前景区域；
对于任意一个前景区域，获得前景区域的所有边界像素点，结合距离度量对边界像素点的邻域进行聚类获得第一类别和第二类别，根据第一类别和第二类别的相似度计算边界像素点的突变概率，根据边界像素点的突变概率判断边界像素点是否为突变点，根据前景区域是否存在突变点判断前景区域是否存在边界遮挡；
对于任意一个不存在边界遮挡的前景区域，结合距离度量对边界像素点的邻域进行聚类获得第三类别和第四类别，根据第三类别和第四类别的相似度判断前景区域是否存在内部遮挡；
对存在内部遮挡的前景区域进行预测，获得完整垃圾区域；
对存在边界遮挡的前景区域，根据优选度确定所有的突变点对以及子区域，对不完整的子区域，计算子区域的第二类别的所有像素点的角度差异特征值和灰度差异特征值，计算预测像素点与突变点的角度差异值和灰度差异值，实现对预测像素点的灰度值的预测，获得完整子区域；
通过垃圾分类神经网络对垃圾区域进行分类识别，完成垃圾分类数字化管理；
所述对存在内部遮挡的前景区域进行预测的步骤包括：
对于存在内部遮挡的前景区域，将前景区域中分割出第三区域后的空白区域记录为遮挡区域，获取遮挡区域的中心点Z，所述中心点Z为遮挡区域中与遮挡区域的所有边缘像素点的欧式距离之和最小的像素点；
过中心点Z做直线L，直线L与遮挡区域的两个交点，分别记为交点和交点/>，直线L与第四区域/>的两个交点，分别记为交点/>和交点/>；
对于中心点Z与交点之间的第j个像素点的预测值的计算公式为：
式中，表示第j个像素点的预测值，/>表示交点/>与交点/>之间像素点的数量，/>交点与交点/>之间第k个的像素点的灰度值，/>表示第j个像素点与交点/>与交点/>之间第k个的像素点的欧式距离，M表示第j个像素点与交点/>与交点/>之间所有像素点的欧式距离的最大值；
对遮挡区域中的所有像素点的灰度值进行预测，直至完成对遮挡区域的所有像素点的预测，预测后的遮挡区域与第四区域组成的区域作为完整垃圾区域；
所述根据优选度确定所有的突变点对以及子区域的步骤包括：
对于前景区域中的任意两个突变点，计算两个突变点的优选度，第m个突变点和第n个突变点的优选度具体计算公式为：
式中，表示第m个突变点和第n个突变点的优选度，exp()表示以自然常数为底的指数函数，/>表示第m个突变点的第一类别中所有像素点的灰度值的平均值，/>表示第n个突变点的第一类别中所有像素点的灰度值的平均值，/>表示第m个突变点的第二类别中所有像素点的灰度值的平均值，/>表示第n个突变点的第二类别中所有像素点的灰度值的平均值，/>表示第m个突变点的灰度值，/>表示第n个突变点的灰度值；
对于前景区域中的任意突变点，计算其他所有突变点与该突变点的优选度，将优选度最大的突变点与该突变点组成一个突变点对，同理，获得前景区域中的所有突变点对应的突变点对；
任意一个突变点对对应的两个突变点之间的所有边界像素点组成一个边界，根据边界将前景区域划分为多个子区域。
2.根据权利要求1所述的一种基于视觉的垃圾分类数字化管理方法，其特征在于，所述对垃圾图像进行分割获得所有前景区域的步骤包括：
S1：对图像进行分割获得多个前景区域和一个背景区域，将所有前景区域组成的集合记为前景集合；
S2：通过对背景区域进行聚类获得第一子区域和第二子区域，计算第一子区域和第二子区域的相似度，如果相似度小于阈值，则将第一区域作为一个前景区域并加入到前景集合中，将第二子区域作为新的背景区域；
重复S1、S2步骤，对新的背景区域进行聚类获得第一子区域和第二子区域，直至第一子区域和第二子区域的相似度大于第一阈值。
3.根据权利要求1所述的一种基于视觉的垃圾分类数字化管理方法，其特征在于，所述结合距离度量对边界像素点的邻域进行聚类获得第一类别和第二类别的步骤包括：
对于前景区域中的任意一个边界像素点，获取邻域内的所有边界像素点，计算邻域内的所有边界像素点与聚类中心点的距离度量，邻域内的第w个边界像素点与第i个聚类中心点的距离度量的计算公式为：
式中，表示第w个边界像素点与第i个聚类中心点的距离，/>表示以自然常数为底的指数函数，/>表示第w个边界像素点与第i个聚类中心点的欧式距离，/>为第w个边界像素点的灰度值，/>表示第i个聚类中心点的灰度值，/>表示取最大值；
结合距离度量通过聚类算法将邻域内的所有边界像素点划分为第一类别和第二类别。
4.根据权利要求1所述的一种基于视觉的垃圾分类数字化管理方法，其特征在于，所述根据第一类别和第二类别的相似度计算边界像素点的突变概率的步骤包括：
第一类别和第二类别的相似度的计算公式为：
式中，R表示第一类别和第二类别的相似度，exp()表示以自然常数为底的指数函数，表示第一类别中所有像素点的灰度值的平均值，/>表示第二类别中所有像素点的灰度值的平均值，/>表示取绝对值；
将边界像素点对应的第一类别和第二类别的相似度的倒数的归一化结果记为边界像素点的突变概率。
5.根据权利要求1所述的一种基于视觉的垃圾分类数字化管理方法，其特征在于，所述计算子区域的第二类别的所有像素点的角度差异特征值和灰度差异特征值的步骤包括：
对于第二类别的所有像素点，按照像素点和突变点的欧式距离，从大到小进行排序获得第一序列，对于第一序列中任意第b个像素点，计算该像素点的角度差异特征值，其中，/>表示第b个像素点的坐标，/>表示第b+1个像素点的坐标，/>表示第b+2个像素点的坐标，arctan()表示正切函数，以及灰度差异特征值/>，/>表示第b个像素点的灰度值，/>表示第b+1个像素点的灰度值；根据上述方法，计算第一序列中所有像素点的角度差异特征值和灰度差异特征值。
6.根据权利要求1所述的一种基于视觉的垃圾分类数字化管理方法，其特征在于，所述计算预测像素点与突变点的角度差异值和灰度差异值的步骤包括：
依次对所有预测像素点的灰度值进行预测，对于第f个预测像素点，计算第f个预测像素点与第p个突变点的灰度差异值和角度差异值，计算公式为：
式中，表示第f个预测像素点与第p个突变点的灰度差异值，/>表示第二类别中像素点的数量，/>表示第二类别中第b个像素点与第p个突变点的欧氏距离，/>表示第二类别中第b个像素点灰度差异特征值；/>表示第f个预测像素点与第p个突变点的角度差异值，/>表示第二类别中第b个像素点角度差异特征值。
CN202311675348.6A 2023-12-08 2023-12-08 一种基于视觉的垃圾分类数字化管理方法 Active CN117392465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311675348.6A CN117392465B (zh) 2023-12-08 2023-12-08 一种基于视觉的垃圾分类数字化管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311675348.6A CN117392465B (zh) 2023-12-08 2023-12-08 一种基于视觉的垃圾分类数字化管理方法

Publications (2)

Publication Number Publication Date
CN117392465A CN117392465A (zh) 2024-01-12
CN117392465B true CN117392465B (zh) 2024-03-22

Family

ID=89466921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311675348.6A Active CN117392465B (zh) 2023-12-08 2023-12-08 一种基于视觉的垃圾分类数字化管理方法

Country Status (1)

Country Link
CN (1) CN117392465B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118485667B (zh) * 2024-07-15 2024-10-18 南充市中心医院 基于超声影像智能化的辅助诊断方法和系统
CN118608880A (zh) * 2024-08-08 2024-09-06 北京慧萌信安软件技术有限公司 一种智能垃圾识别分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068330A1 (zh) * 2019-10-12 2021-04-15 平安科技（深圳）有限公司 智能图像分割及分类方法、装置及计算机可读存储介质
WO2021142902A1 (zh) * 2020-01-17 2021-07-22 五邑大学 基于DANet的无人机海岸线漂浮垃圾巡检系统
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN115588128A (zh) * 2022-10-28 2023-01-10 西安建筑科技大学 一种多路径聚合的建筑垃圾检测方法
CN115797813A (zh) * 2023-02-10 2023-03-14 山东汇蓝环保科技有限公司 基于航拍图像的水环境污染检测方法
CN116092013A (zh) * 2023-03-06 2023-05-09 广东汇通信息科技股份有限公司 一种用于智慧监控的危险路况识别方法
CN116681998A (zh) * 2023-06-25 2023-09-01 浙江净禾智慧科技有限公司 一种用于识别易腐垃圾桶是否存在违规投放的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153591B1 (ko) * 2018-05-08 2020-09-09 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068330A1 (zh) * 2019-10-12 2021-04-15 平安科技（深圳）有限公司 智能图像分割及分类方法、装置及计算机可读存储介质
WO2021142902A1 (zh) * 2020-01-17 2021-07-22 五邑大学 基于DANet的无人机海岸线漂浮垃圾巡检系统
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN115588128A (zh) * 2022-10-28 2023-01-10 西安建筑科技大学 一种多路径聚合的建筑垃圾检测方法
CN115797813A (zh) * 2023-02-10 2023-03-14 山东汇蓝环保科技有限公司 基于航拍图像的水环境污染检测方法
CN116092013A (zh) * 2023-03-06 2023-05-09 广东汇通信息科技股份有限公司 一种用于智慧监控的危险路况识别方法
CN116681998A (zh) * 2023-06-25 2023-09-01 浙江净禾智慧科技有限公司 一种用于识别易腐垃圾桶是否存在违规投放的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种粗糙不确定的图像分割方法;饶梦;苗夺谦;罗晟;;计算机科学;20201231(第02期);全文 *
基于突变理论的图像匹配;邹建成;赵占军;;北方工业大学学报;20100315(第01期);全文 *
改进卷积神经网络算法在水面漂浮垃圾检测中的应用;汤伟;高涵;;中国科技论文;20191115(第11期);全文 *

Also Published As

Publication number Publication date
CN117392465A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN117392465B (zh) 一种基于视觉的垃圾分类数字化管理方法
CN110796186A (zh) 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN110543837A (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN114937179B (zh) 垃圾图像分类方法、装置、电子设备及存储介质
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
CN108520278A (zh) 一种基于随机森林的路面裂缝检测方法及其评价方法
Taher et al. Bayesian classification and artificial neural network methods for lung cancer early diagnosis
CN112991269A (zh) 一种肺部ct图像的识别分类方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN115631472B (zh) 一种高速公路行人闯入智能检测方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN116309577B (zh) 一种高强传送带物料智能检测方法及系统
Zeng et al. Steel sheet defect detection based on deep learning method
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN111241987B (zh) 基于代价敏感的三支决策的多目标模型视觉追踪方法
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN112749747A (zh) 垃圾分类质量评估方法及系统
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN108765426A (zh) 自动图像分割方法及装置
CN112861871A (zh) 一种基于目标边界定位的红外目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant