CN114708464B - 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法 - Google Patents

一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法 Download PDF

Info

Publication number
CN114708464B
CN114708464B CN202210611041.9A CN202210611041A CN114708464B CN 114708464 B CN114708464 B CN 114708464B CN 202210611041 A CN202210611041 A CN 202210611041A CN 114708464 B CN114708464 B CN 114708464B
Authority
CN
China
Prior art keywords
garbage
pixel
area
points
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210611041.9A
Other languages
English (en)
Other versions
CN114708464A (zh
Inventor
陈树良
钟雪玲
韦荣枝
张祖耿
吴汉初
梁健辉
林雪贞
黄千珊
范滨锋
黄洪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yilin Greening Engineering Co ltd
Original Assignee
Guangdong Yilin Greening Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Yilin Greening Engineering Co ltd filed Critical Guangdong Yilin Greening Engineering Co ltd
Priority to CN202210611041.9A priority Critical patent/CN114708464B/zh
Publication of CN114708464A publication Critical patent/CN114708464A/zh
Application granted granted Critical
Publication of CN114708464B publication Critical patent/CN114708464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法。该方法根据垃圾类别识别神经网络识别出的类别概率大小确定道路垃圾图像中的遮挡区域。对遮挡区域进行超像素分割，获得多个超像素块。将超像素块的边界线进行扩充，获得边缘分析区域。获得边缘分析区域中的多条候选边界线，并根据候选边界线的分割能力和像素值分布均匀程度获得置信度，以置信度最大的作为分割边缘线，获得单个垃圾图像，重新利用神经网络进行分析，实现垃圾的准确分类，根据垃圾类别控制清扫垃圾车进行针对性的清扫。本发明通过对垃圾的准确分类，根据分类结果控制清扫垃圾车进行针对性的清扫，增加了清扫效率的同时减少了功耗。

Description

一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
技术领域
本发明涉及图像数据处理技术领域，具体涉及一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法。
背景技术
目前城市环保主要采用人工顶起巡查清扫或者利用清扫垃圾车进行自动清扫。其中利用清扫垃圾车自动清扫可节省人力成本且能够符合自动化智慧化的城市建设目的。
为了保证清扫垃圾车的效率最大化和成本最低化，针对道路上的垃圾需要根据垃圾清理的难易程度进行特定的清扫模式。因此需要对道路上的垃圾进行准确识别。在现有技术中，会利用神经网络处理道路上的图像，从而实现垃圾分类的目的，但是因为道路垃圾分布复杂，容易出现垃圾互相遮挡的情况，这就导致了神经网络在进行分类任务时无法对存在遮挡的垃圾进行准确识别，进而达不到效率最大化和成本最低化的目的。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，所采用的技术方案具体如下：
本发明提出一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，所述方法包括：
采集道路垃圾图像；将所述道路垃圾图像送入预先训练好的垃圾类别识别神经网络中，获得多个垃圾区域及对应的类别概率；以在预设区间内的所述类别概率对应的所述垃圾区域作为遮挡区域；
对所述遮挡区域进行超像素分割，获得多个初始超像素块；将像素值相似和色调值相似的两个相邻所述初始超像素块不断合并，获得多个超像素块；
将所述超像素块的边界线根据预设扩充区域进行扩充，获得边缘分析区域；在所述边缘分析区域中任选多个像素点作为生长起始点，将相邻且像素值相似的像素点作为生长点不断生长，获得多条候选边缘线；根据所述候选边缘线围成区域内的像素值获得质心点；所述候选边缘线将所述边缘分析区域分为第一区域和第二区域；所述第一区域为所述候选边缘线围成区域的子区域；获得所述第一区域与所述质心点第一像素差异，获得所述第二区域与所述质心点的第二像素差异；以所述第一像素差异和所述第二像素差异的差异绝对值作为第一评价指标；根据所述第一评价指标和所述候选边缘线上像素值的波动性获得置信度；选用最大置信度对应的所述候选边缘线作为分割边缘线；
根据所述遮挡区域中所有的所述分割边缘线将所述遮挡区域分为多个单个垃圾图像；将所有所述单个垃圾图像输入所述垃圾类别识别神经网络中，获得所述遮挡区域中所有的垃圾类别；统计所述道路垃圾图像中所有的所述垃圾类别；获得易清扫区域和难清扫区域，控制清扫垃圾车分别对所述易清扫区域和所述难清扫区域进行针对性的清扫。
进一步地，所述将所述道路垃圾图像送入预先训练好的垃圾类别识别神经网络中，获得多个垃圾区域及对应的类别概率包括：
所述垃圾类别识别网络中包含所有所述垃圾类别的模板向量，所述垃圾类别识别神经网络处理所述道路垃圾图像，获得多个所述垃圾区域，每个所述垃圾区域包含所有所述垃圾类别的初始概率，以最大初始概率作为所述类别概率，对应的所述垃圾类别作为识别类别。
进一步地，所述将像素值相似和色调值相似的两个相邻所述初始超像素块不断合并，获得多个超像素块包括：
根据相似性公式获得相邻所述初始超像素块的相似性，所述相似性公式包括：
Figure 100002_DEST_PATH_IMAGE001
其中，
Figure 73254DEST_PATH_IMAGE002
为所述相似性，
Figure 459236DEST_PATH_IMAGE003
为初始超像素块2中的像素点数量，
Figure 832448DEST_PATH_IMAGE004
为初始超像素块2中第
Figure 962078DEST_PATH_IMAGE005
个像素点的像素值，
Figure 120658DEST_PATH_IMAGE006
为初始超像素块1中的像素点数量，
Figure 411962DEST_PATH_IMAGE007
为初始超像素块1中第
Figure 272471DEST_PATH_IMAGE008
个像素点的像素值，
Figure 940213DEST_PATH_IMAGE009
为初始超像素块2中第
Figure 343512DEST_PATH_IMAGE005
个像素点的色调值，
Figure 179619DEST_PATH_IMAGE010
为初始超像素块1中第
Figure 402790DEST_PATH_IMAGE008
个像素点的色调值。
进一步地，所述在所述边缘分析区域中任选多个像素点作为生长起始点，将相邻且像素值相似的像素点作为生长点不断生长，获得多条候选边缘线包括：
获得所述生长起始点与顺时针方向上相邻的其他像素点的像素值差异，将所述像素值差异大于预设差异阈值的所述其他像素点作为新的生长点并继续生长，直至无法生长，获得多条生长线；以闭合的所述生长线作为所述候选边缘线。
进一步地，所述根据所述候选边缘线围成区域内的像素值获得质心点包括：
在所述候选边缘线围成的区域内随机选取一个滑动点，在所述候选边缘线上随机选择多个采样点；在所述候选边缘线上选取与所述滑动点共线的所述采样点，构成滑动直线，在所述滑动直线上进行截取，获得滑动线段，所述滑动线段的两个端点在所述候选边缘线上；所述滑动点将所述滑动线段分为第一线段区域和第二线段区域；获得所述第一线段区域上像素点的第一像素值和，获得所述第二线段区域上像素点的第二像素值和；在所述滑动线段上滑动所述滑动点，获得所述第一像素值和与所述第二像素值和的差异，更新所述滑动点的位置，直至更新后的所述滑动点在所有所述滑动线段上满足所述第一像素值和与所述第二像素值和的差异最小，获得所述质心点的位置。
进一步地，所述获得所述第一区域与所述质心点第一像素差异包括：
根据第一像素差异公式获得所述第一像素差异，所述第一像素差异公式包括：
Figure 733277DEST_PATH_IMAGE011
其中，
Figure 725504DEST_PATH_IMAGE012
为所述第一像素差异，
Figure 499556DEST_PATH_IMAGE013
为所述第一区域内的像素点数量，
Figure 210023DEST_PATH_IMAGE014
为所述质心点的像素值，
Figure 344201DEST_PATH_IMAGE015
为所述第一区域内第
Figure 456514DEST_PATH_IMAGE008
个像素点的像素值。
进一步地，所述根据所述第一评价指标和所述候选边缘线上像素值的波动性获得置信度包括：
以所述候选边缘线上像素值的方差作为所述波动性，利用置信度公式获得所述置信度，所述置信度公式包括：
Figure 631493DEST_PATH_IMAGE016
其中，
Figure 829256DEST_PATH_IMAGE017
为所述置信度，
Figure 501546DEST_PATH_IMAGE018
为第一评价指标，
Figure 468365DEST_PATH_IMAGE019
为所述方差，
Figure 974433DEST_PATH_IMAGE020
为第一拟合权重，
Figure 269279DEST_PATH_IMAGE021
为第二拟合权重。
进一步地，所述将所有所述单个垃圾图像输入所述垃圾类别识别神经网络中，获得所述遮挡区域中所有的垃圾类别包括：
所述垃圾类别识别神经网络处理所述单个垃圾图像，获得单个垃圾特征向量；获得所述单个垃圾特征向量与所有所述模板向量的向量相似性；将所述向量相似性与对应所述垃圾类别的所述初始概率相乘，获得调节概率；以最大调节概率对应的所述垃圾类别作为所述单个垃圾图像的所述垃圾类别。
本发明具有如下有益效果：
本发明实施例通过对超像素分割方法的优化，在原始超像素块边界线邻域的边界区域内重新选取一条分割边缘线。选取分割边缘线的置信度考虑到了分割后两侧区域的像素值差异和边缘线上的像素值波动性，最终选取一条分割效果明显且具有统一像素值分布的最优分割边缘线。利用分割边缘线可将遮挡区域中互相遮挡的垃圾分割出来，进而单独的利用网络分析，实现对垃圾的准确分类。针对分类结果可选用特定的清扫方式清理路面，以实现清扫垃圾车的效率最大化和成本最低化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法流程图，该方法包括：
步骤S1：采集道路垃圾图像；将道路垃圾图像送入预先训练好的垃圾类别识别神经网络中，获得多个垃圾区域及对应的类别概率；以在预设区间内的类别概率对应的垃圾区域作为遮挡区域。
本发明实施例利用清扫垃圾车上部署的摄像头，采集道路表面的图像，获得道路垃圾图像。需要说明的是，图像采集过程中可利用透视变换等变换方法将采集到的图像变换为俯视视角，方便后续分析。
在本发明实施例中，为了方便后续的区域分割，将道路垃圾图像转换为灰度图像，即灰度图像上每个像素点的像素值为对应的灰度值。将摄像头采集到的包含RGB信息的道路垃圾图像转化到HSV颜色空间中，获得对应位置的色调信息。
将道路垃圾图像送入预先训练好的垃圾类别识别神经网络中，获得多个垃圾区域及对应的类别概率。需要说明的是，对于一些特征明显，无遮挡的单个垃圾，神经网络容易较为准确的获得该垃圾对应的特征向量，从而实现准确识别，即其对应的类别概率较大，均在1附近，对于存在遮挡的垃圾，例如两个垃圾叠加在一起时，两个垃圾共同构成一个垃圾区域，神经网络在处理该垃圾区域时，提取的特征向量较为异常，因此在获得类别概率时，该垃圾区域对应的类别概率较小以至于无法准确识别出对应类别。因此将在预设区间内的类别概率对应的垃圾区域作为遮挡区域。
在本发明实施例中，预设区间设置为[0.2，0.7]，将小于0.3的类别概率对应的垃圾区域作为误识别区域，将大于0.7的类别概率对应的垃圾区域作为准确识别的区域。
具体的，垃圾类别识别神经网络获得垃圾区域对应的类别概率包括：
垃圾类别识别网络中包含所有垃圾类别的模板向量，垃圾类别识别神经网络处理道路垃圾图像，获得多个垃圾区域，每个垃圾区域包含所有垃圾类别的初始概率，以最大初始概率作为类别概率，对应的垃圾类别作为识别类别。
在本发明实施例中，垃圾类别识别神经网络结构采用编码-全连接结构，编码器用于提取图像的特征向量，全连接层根据模板向量对特征向量进行分类，获得每个垃圾类别下的初始概率。采用交叉熵损失函数作为网络损失函数。
步骤S2：对所述遮挡区域进行超像素分割，获得多个初始超像素块；将像素值相似和色调值相似的两个相邻所述初始超像素块不断合并，获得多个超像素块。
常规的道路垃圾都包含明显的颜色差异，例如树叶、瓶子、石块等。超像素块分割算法基于颜色和距离的相似性对图像进行分割，超像素块分割能够产生大小均匀形状规则的超像素，且算法简单容易实现，因此可利用超像素块分割算法对遮挡区域进行超像素分割，目的在于将两种不同类的垃圾分割出来。但是超像素分割存在边缘划分不清晰的缺点，因此仅根据超像素分割对遮挡区域分割，会造成分割出的单个垃圾图像信息缺失，导致后续无法准确分析其垃圾类别。因此需要对超像素分割算法进行改进优化。
需要说明的是，本发明实施例采用简单线性迭代聚类(Simple linear iterativecluster,SLIC)算法进行超像素块分割，SLIC算法的过程简述为：随机选取K个种子点，使种子点均匀的分布在遮挡区域内，然后在种子点的3*3领域内重新选取种子点防止种子点落在梯度较大的轮廓边界上，以免影响后续聚类。根据搜索到的像素点与种子点的颜色距离和空间距离进行聚类，得到K个初始超像素块。
因为图像成像原理和光照影响，单个垃圾上相同色调的区域可能会出现不同的明暗分布，导致超像素分割时会出现大量的初始超像素块。因此需要结合色调和像素值将初始超像素块进行进一步的融合，将像素值相似和色调值相似的两个相邻所述初始超像素块不断合并，获得多个超像素块，具体包括：
根据相似性公式获得相邻所述初始超像素块的相似性，所述相似性公式包括：
Figure 886205DEST_PATH_IMAGE001
其中，
Figure 832164DEST_PATH_IMAGE002
为所述相似性，
Figure 243554DEST_PATH_IMAGE003
为初始超像素块2中的像素点数量，
Figure 524232DEST_PATH_IMAGE004
为初始超像素块2中第
Figure 413690DEST_PATH_IMAGE005
个像素点的像素值，
Figure 479735DEST_PATH_IMAGE006
为初始超像素块1中的像素点数量，
Figure 62026DEST_PATH_IMAGE007
为初始超像素块1中第
Figure 721678DEST_PATH_IMAGE008
个像素点的像素值，
Figure 290194DEST_PATH_IMAGE009
为初始超像素块2中第
Figure 86111DEST_PATH_IMAGE005
个像素点的色调值，
Figure 963937DEST_PATH_IMAGE010
为初始超像素块1中第
Figure 845306DEST_PATH_IMAGE008
个像素点的色调值。
相似性越大则说明两个超像素块的像素值和色调信息均相似，当相似性大于预设相似性阈值时将两个初始超像素块进行融合。在本发明实施例中，将相似性归一化后，设置像素值阈值为0.8。
步骤S3：将超像素块的边界线根据预设扩充区域进行扩充，获得边缘分析区域；在边缘分析区域中任选多个像素点作为生长起始点，将相邻且像素值相似的像素点作为生长点不断生长，获得多条候选边缘线；根据候选边缘线围成区域内的像素值获得质心点；候选边缘线将边缘分析区域分为第一区域和第二区域；第一区域为候选边缘线围成区域的子区域；获得第一区域与质心点第一像素差异，获得第二区域与质心点的第二像素差异；以第一像素差异和第二像素差异的差异绝对值作为第一评价指标；根据第一评价指标和候选边缘线上像素值的波动性获得置信度；选用最大置信度对应的候选边缘线作为分割边缘线。
经过步骤S2对初始超像素块的融合，可认为最终获得的超像素块数量就是遮挡区域中的垃圾数量，以两个垃圾存在遮挡为例，最终可在遮挡区域中分割出两个超像素块区域。但是因为超像素块之间的边界并非为两个垃圾之间的边界，因此不能直接对遮挡区域进行分割。
为了修正遮挡区域内垃圾之间的分割边界，将超像素块的边界线根据预设扩充区域进行扩充，获得边缘分析区域。在本发明实施例中，扩充区域设置为每个分割边界上像素点的5*5大小的邻域，即所有分割边界上像素点的5*5大小的邻域范围内为边缘分析区域。
因为边缘分析区域是基于超像素块边界进行扩充，因此遮挡区域内垃圾之间的真实边界一定在边缘分析区域中。因此在边缘分析区域中任选多个像素点作为生长起始点，将相邻且像素值相似的像素点作为生长点不断进行生长，获得多条候选边缘线。需要在多个候选边缘线中寻找出最优一条能够将两个垃圾区域有效分割出来的分割边缘线。获得候选边缘线的具体方法包括：
获得生长起始点与顺时针方向上相邻的其他像素点的像素值差异，将像素值差异大于预设差异阈值的其他像素点作为新的生长点并继续生长，直至无法生长，获得多条生长线。因为候选边缘线的目的在于找出一条像素值分布均匀且能够将两个区域分割开来的边缘线，因此候选边缘线需为闭合曲线，以闭合的生长线作为候选边缘线。
每个闭合的候选边缘线都能够围成一个区域，且在这个区域内包含的原始超像素块信息最多，每个候选边缘线都将边缘分析区域分为了第一区域和第二区域，第一区域为候选边缘线围成区域的子区域。
根据候选边缘线围成区域内的像素值可获得该区域的质心点，具体包括：
在候选边缘线围成的区域内随机选取一个滑动点，在候选边缘线上随机选择多个采样点。在候选边缘线上选取与滑动点共线的采样点，构成滑动直线，在滑动直线上进行截取，获得滑动线段，滑动线段的两个端点在候选边缘线上。滑动点将滑动线段分为第一线段区域和第二线段区域。获得第一线段区域上像素点的第一像素值和，获得第二线段区域上像素点的第二像素值和。在滑动线段上滑动该滑动点，获得第一像素值和与第二像素值和的差异，更新滑动点的位置，直至更新后的滑动点在所有滑动线段上满足第一像素值和与第二像素值和的差异最小，获得质心点的位置。即质心点与所有候选边缘线上像素点的连线上的像素值累加和都相似，因此可将质心点作为候选边缘线围成区域的代表点。
因为良好的分割边缘线需要将两个垃圾区域明显的区分开来，因此在边缘分析区域中，第一区域和第二区域之间的像素值差异需要尽可能的大，且第一区域应与分割边缘线围成的区域内的像素值特征尽可能的相似，因此以质心点的像素值作为基准，获得第一区域与质心点第一像素差异，获得第二区域与质心点的第二像素差异。以第一像素差异和第二像素差异的差异绝对值作为第一评价指标。进一步考虑到分割边缘线上像素值的分布应尽可能的均匀，因此结合第一评价指标和候选边缘线上像素值的波动性获得每个候选边缘线的置信度，具体包括：
以候选边缘线上像素值的方差作为波动性，利用置信度公式获得置信度，置信度公式包括：
Figure 607725DEST_PATH_IMAGE016
其中，
Figure 634981DEST_PATH_IMAGE017
为置信度，
Figure 293495DEST_PATH_IMAGE018
为第一评价指标，
Figure 786793DEST_PATH_IMAGE019
为方差，
Figure 87325DEST_PATH_IMAGE020
为第一拟合权重，
Figure 733201DEST_PATH_IMAGE021
为第二拟合权重。
第一评价指标越大，说明候选边缘线分割效果好，置信度越大；方差越小，说明候选边缘线上的像素值分布均匀，置信度越大。根据置信度，选择最大置信度对应的候选边缘线作为分割边缘线。
优选的，第一像素差异获取方法包括：
根据第一像素差异公式获得第一像素差异，第一像素差异公式包括：
Figure 562616DEST_PATH_IMAGE022
其中，
Figure 543211DEST_PATH_IMAGE012
为第一像素差异，
Figure 647433DEST_PATH_IMAGE013
为第一区域内的像素点数量，
Figure 6870DEST_PATH_IMAGE014
为质心点的像素值，
Figure 646668DEST_PATH_IMAGE015
为第一区域内第
Figure 724345DEST_PATH_IMAGE008
个像素点的像素值。
需要说明的是，第二像素差异与第一像素差异获取方法相似，将第一像素差异公式中的第一区域信息变化为第二区域信息即可，在此不做赘述。
步骤S4：根据遮挡区域中所有的分割边缘线将遮挡区域分为多个单个垃圾图像；将所有单个垃圾图像输入垃圾类别识别神经网络中，获得遮挡区域中所有的垃圾类别；统计道路垃圾图像中所有的垃圾类别。获得易清扫区域和难清扫区域，控制清扫垃圾车分别对易清扫区域和难清扫区域进行针对性的清扫。
根据遮挡区域内所有的分割边缘线将遮挡区域可分为多个单个垃圾图像。单个垃圾图像的数量代表了当前遮挡区域中存在多少类垃圾。将单个垃圾图像重新输入垃圾类别识别神经网络中，垃圾类别识别神经网络处理单个垃圾图像，获得单个垃圾特征向量。获得单个垃圾特征向量与所有模板向量的向量相似性。将向量相似性与对应垃圾类别的初始概率相乘，获得调节概率。以最大调节概率对应的垃圾类别作为单个垃圾图像的垃圾类别。
根据向量相似性调整初始概率能够防止神经网络仅分析单个垃圾图像造成的误判，如果存在多个单个图像的最大初始概率与最大调节概率对应的垃圾类别相同的情况，则说明在图像分割过程中存在将一个垃圾中不同的色调区域分割开来，但是并不影响最终遮挡区域内垃圾类别的判断，因此通过上述步骤的分割能够增加神经网络处理图像过程的准确性，且表面过拟合的现象，能够将遮挡区域内不同的垃圾类别有效区分出来。
统计道路垃圾图像内所有的垃圾类别，判断当前垃圾类别的分布，将容易清扫的垃圾，例如树叶、纸片等垃圾所在的区域作为易清扫区域；将石块、建筑垃圾等难请扫的垃圾所在的区域作为难清扫区域。控制清扫垃圾车分别对易清扫区域和难清扫区域进行针对性的清扫，例如对于易清扫区域可选用毛刷转速较小、吸力较小的档位进行清扫；对于难清扫的区域可选用毛刷转速较大，吸力较大的档位进行清扫。实现了对垃圾清扫车的准确控制，增加了清扫效率的同时降低了功耗。
需要说明的是，如果道路垃圾图像中一个区域内同时存在难清扫的垃圾和容易清扫的垃圾，则将该区域作为难清扫区域。将仅包含容易清扫的垃圾的区域作为易清扫区域。易清扫区域和难清扫区域的划分可根据具体清扫垃圾车的设备清扫范围进行设置，即清扫区域和难清扫区域应与清扫垃圾车的设备清扫范围相同。
综上所述，本发明实施例根据垃圾类别识别神经网络识别出的类别概率大小确定道路垃圾图像中的遮挡区域。对遮挡区域进行超像素分割，获得多个超像素块。将超像素块的边界线进行扩充，获得边缘分析区域。获得边缘分析区域中的多条候选边界线，并根据候选边界线的分割能力和像素值分布均匀程度获得置信度，以置信度最大的作为分割边缘线，获得单个垃圾图像，进而重新利用神经网络进行分析，实现垃圾的准确分类，并根据垃圾类别控制清扫垃圾车进行针对性的清扫。本发明实施例通过对垃圾的准确分类，根据分类结果控制清扫垃圾车进行针对性的清扫，增加了清扫效率的同时减少了功耗。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述方法包括：
采集道路垃圾图像；将所述道路垃圾图像送入预先训练好的垃圾类别识别神经网络中，获得多个垃圾区域及对应的类别概率；以在预设区间内的所述类别概率对应的所述垃圾区域作为遮挡区域；
对所述遮挡区域进行超像素分割，获得多个初始超像素块；将像素值相似和色调值相似的两个相邻所述初始超像素块不断合并，获得多个超像素块；
将所述超像素块的边界线根据预设扩充区域进行扩充，获得边缘分析区域；在所述边缘分析区域中任选多个像素点作为生长起始点，将相邻且像素值相似的像素点作为生长点不断生长，获得多条候选边缘线；根据所述候选边缘线围成区域内的像素值获得质心点；所述候选边缘线将所述边缘分析区域分为第一区域和第二区域；所述第一区域为所述候选边缘线围成区域的子区域；获得所述第一区域与所述质心点第一像素差异，获得所述第二区域与所述质心点的第二像素差异；以所述第一像素差异和所述第二像素差异的差异绝对值作为第一评价指标；根据所述第一评价指标和所述候选边缘线上像素值的波动性获得置信度；选用最大置信度对应的所述候选边缘线作为分割边缘线；
根据所述遮挡区域中所有的所述分割边缘线将所述遮挡区域分为多个单个垃圾图像；将所有所述单个垃圾图像输入所述垃圾类别识别神经网络中，获得所述遮挡区域中所有的垃圾类别；统计所述道路垃圾图像中所有的所述垃圾类别；获得易清扫区域和难清扫区域，控制清扫垃圾车分别对所述易清扫区域和所述难清扫区域进行针对性的清扫。
2.根据权利要求1所述的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述将所述道路垃圾图像送入预先训练好的垃圾类别识别神经网络中，获得多个垃圾区域及对应的类别概率包括：
所述垃圾类别识别神经 网络中包含所有所述垃圾类别的模板向量，所述垃圾类别识别神经网络处理所述道路垃圾图像，获得多个所述垃圾区域，每个所述垃圾区域包含所有所述垃圾类别的初始概率，以最大初始概率作为所述类别概率，对应的所述垃圾类别作为识别类别。
3.根据权利要求1所述的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述将像素值相似和色调值相似的两个相邻所述初始超像素块不断合并，获得多个超像素块包括：
根据相似性公式获得相邻所述初始超像素块的相似性，所述相似性公式包括：
Figure DEST_PATH_IMAGE001
其中，
Figure 527904DEST_PATH_IMAGE002
为所述相似性，
Figure 136256DEST_PATH_IMAGE003
为初始超像素块2中的像素点数量，
Figure 838633DEST_PATH_IMAGE004
为初始超像素块2中第
Figure 997082DEST_PATH_IMAGE005
个像素点的像素值，
Figure 52894DEST_PATH_IMAGE006
为初始超像素块1中的像素点数量，
Figure 386923DEST_PATH_IMAGE007
为初始超像素块1中第
Figure 119256DEST_PATH_IMAGE008
个像素点的像素值，
Figure 279848DEST_PATH_IMAGE009
为初始超像素块2中第
Figure 998405DEST_PATH_IMAGE005
个像素点的色调值，
Figure 577154DEST_PATH_IMAGE010
为初始超像素块1中第
Figure 60481DEST_PATH_IMAGE008
个像素点的色调值。
4.根据权利要求1所述的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述在所述边缘分析区域中任选多个像素点作为生长起始点，将相邻且像素值相似的像素点作为生长点不断生长，获得多条候选边缘线包括：
获得所述生长起始点与顺时针方向上相邻的其他像素点的像素值差异，将所述像素值差异大于预设差异阈值的所述其他像素点作为新的生长点并继续生长，直至无法生长，获得多条生长线；以闭合的所述生长线作为所述候选边缘线。
5.根据权利要求1所述的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述根据所述候选边缘线围成区域内的像素值获得质心点包括：
在所述候选边缘线围成的区域内随机选取一个滑动点，在所述候选边缘线上随机选择多个采样点；在所述候选边缘线上选取与所述滑动点共线的所述采样点，构成滑动直线，在所述滑动直线上进行截取，获得滑动线段，所述滑动线段的两个端点在所述候选边缘线上；所述滑动点将所述滑动线段分为第一线段区域和第二线段区域；获得所述第一线段区域上像素点的第一像素值和，获得所述第二线段区域上像素点的第二像素值和；在所述滑动线段上滑动所述滑动点，获得所述第一像素值和与所述第二像素值和的差异，更新所述滑动点的位置，直至更新后的所述滑动点在所有所述滑动线段上满足所述第一像素值和与所述第二像素值和的差异最小，获得所述质心点的位置。
6.根据权利要求1所述的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述获得所述第一区域与所述质心点第一像素差异包括：
根据第一像素差异公式获得所述第一像素差异，所述第一像素差异公式包括：
Figure 600047DEST_PATH_IMAGE011
其中，
Figure 246929DEST_PATH_IMAGE012
为所述第一像素差异，
Figure 555551DEST_PATH_IMAGE013
为所述第一区域内的像素点数量，
Figure 380418DEST_PATH_IMAGE014
为所述质心点的像素值，
Figure 512672DEST_PATH_IMAGE015
为所述第一区域内第
Figure 212513DEST_PATH_IMAGE008
个像素点的像素值。
7.根据权利要求1所述的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述根据所述第一评价指标和所述候选边缘线上像素值的波动性获得置信度包括：
以所述候选边缘线上像素值的方差作为所述波动性，利用置信度公式获得所述置信度，所述置信度公式包括：
Figure 375641DEST_PATH_IMAGE016
其中，
Figure 105831DEST_PATH_IMAGE017
为所述置信度，
Figure 121454DEST_PATH_IMAGE018
为第一评价指标，
Figure 985504DEST_PATH_IMAGE019
为所述方差，
Figure 878505DEST_PATH_IMAGE020
为第一拟合权重，
Figure 28864DEST_PATH_IMAGE021
为第二拟合权重。
8.根据权利要求2所述的一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法，其特征在于，所述将所有所述单个垃圾图像输入所述垃圾类别识别神经网络中，获得所述遮挡区域中所有的垃圾类别包括：
所述垃圾类别识别神经网络处理所述单个垃圾图像，获得单个垃圾特征向量；获得所述单个垃圾特征向量与所有所述模板向量的向量相似性；将所述向量相似性与对应所述垃圾类别的所述初始概率相乘，获得调节概率；以最大调节概率对应的所述垃圾类别作为所述单个垃圾图像的所述垃圾类别。
CN202210611041.9A 2022-06-01 2022-06-01 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法 Active CN114708464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210611041.9A CN114708464B (zh) 2022-06-01 2022-06-01 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210611041.9A CN114708464B (zh) 2022-06-01 2022-06-01 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Publications (2)

Publication Number Publication Date
CN114708464A CN114708464A (zh) 2022-07-05
CN114708464B true CN114708464B (zh) 2022-08-30

Family

ID=82175901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611041.9A Active CN114708464B (zh) 2022-06-01 2022-06-01 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法

Country Status (1)

Country Link
CN (1) CN114708464B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882468B (zh) * 2022-07-13 2022-09-23 山东施卫普环保科技有限公司 清扫车清扫刷角度自适应调整方法
CN115147703B (zh) * 2022-07-28 2023-11-03 广东小白龙环保科技有限公司 一种基于GinTrans网络的垃圾分割方法及系统
CN115147733B (zh) * 2022-09-05 2022-11-25 山东东盛澜渔业有限公司 一种基于人工智能的海洋垃圾识别回收方法
CN115272778A (zh) * 2022-09-28 2022-11-01 南通乾升信息科技有限公司 基于rpa和计算机视觉的可回收垃圾分类方法及系统
CN117292147B (zh) * 2023-11-22 2024-02-09 江苏鹰创科技有限公司 基于图像特征的包裹边缘位置快速定位方法
CN117392465B (zh) * 2023-12-08 2024-03-22 聚真宝(山东)技术有限公司 一种基于视觉的垃圾分类数字化管理方法
CN117745622B (zh) * 2024-02-21 2024-05-07 深圳市盘古环保科技有限公司 一种垃圾渗滤液膜浓缩液催化氧化装置
CN118397022B (zh) * 2024-06-25 2024-09-10 广东恒电信息科技股份有限公司 基于3D-Unet的肩关节医学图像分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置
CN109409376A (zh) * 2018-11-05 2019-03-01 昆山紫东智能科技有限公司 针对固废对象的图像分割方法、计算机终端及存储介质
CN111985317A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 用于道路智能清扫的路面清洁度评估方法
AU2020103026A4 (en) * 2020-10-27 2020-12-24 Nanjing Forestry University A Single Tree Crown Segmentation Algorithm Based on Super-pixels and Topological Features in Aerial Images
CN112749747A (zh) * 2021-01-13 2021-05-04 上海交通大学 垃圾分类质量评估方法及系统
US11276177B1 (en) * 2020-10-05 2022-03-15 Qualcomm Incorporated Segmentation for image effects

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014071060A2 (en) * 2012-10-31 2014-05-08 Environmental Systems Research Institute Scale-invariant superpixel region edges

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置
CN109409376A (zh) * 2018-11-05 2019-03-01 昆山紫东智能科技有限公司 针对固废对象的图像分割方法、计算机终端及存储介质
CN111985317A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 用于道路智能清扫的路面清洁度评估方法
US11276177B1 (en) * 2020-10-05 2022-03-15 Qualcomm Incorporated Segmentation for image effects
AU2020103026A4 (en) * 2020-10-27 2020-12-24 Nanjing Forestry University A Single Tree Crown Segmentation Algorithm Based on Super-pixels and Topological Features in Aerial Images
CN112749747A (zh) * 2021-01-13 2021-05-04 上海交通大学 垃圾分类质量评估方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hierarchical Graph-based Segmentation for Extracting Road;Rasha Alshehhi.et al;《Elsevier》;20161109;第1-24页 *
基于多特征融合的树干快速分割算法;刘慧等;《农业机械学报》;20200131;第51卷(第1期);第221-229页 *

Also Published As

Publication number Publication date
CN114708464A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN114708464B (zh) 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN115457041B (zh) 一种道路质量识别检测方法
CN111079611B (zh) 一种道路面及其标志线的自动提取方法
CN104792792B (zh) 一种逐步求精的路面裂缝检测方法
CN114882468B (zh) 清扫车清扫刷角度自适应调整方法
CN109145848B (zh) 一种麦穗计数方法
CN110503637B (zh) 一种基于卷积神经网络的道路裂缝自动检测方法
CN111027446A (zh) 一种高分辨率影像的海岸线自动提取方法
CN114511770A (zh) 道路标识标牌识别方法
CN109871900A (zh) 一种基于图像处理的复杂背景下苹果的识别定位方法
CN113378659A (zh) 一种占道经营识别方法
CN114842262A (zh) 融合线路通道正射影像的激光点云地物自动识别方法
CN115018801A (zh) 一种道路清洁度检测方法以及智能清扫方法
CN114708208A (zh) 一种基于机器视觉的名优茶嫩芽识别与采摘点定位方法
CN117292137B (zh) 一种航拍遥感影像优化分割处理方法
CN110853000B (zh) 一种车辙的检测方法
CN116188990A (zh) 一种基于无人机遥感的地表植被识别方法及系统
CN114913438B (zh) 一种基于锚框最优聚类的YOLOv5园林异常目标识别方法
GB2399629A (en) Automatic thresholding algorithm method and apparatus
CN106886609B (zh) 街区式农村居民地遥感快速标注方法
CN115187770A (zh) 基于边界缓冲深度学习的地块精细识别方法及系统
CN115100613A (zh) 一种基于激光雷达点云信息的车道线检测方法
CN109308468B (zh) 一种车道线检测方法
Rizvi et al. Object-based analysis of WorldView-2 imagery of urban areas
Zeng et al. Improved color region growing point cloud segmentation algorithm based on octree

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant