CN112560863B - 垃圾回收站地面清洁度的检测方法、系统、装置及介质 - Google Patents

垃圾回收站地面清洁度的检测方法、系统、装置及介质 Download PDF

Info

Publication number
CN112560863B
CN112560863B CN202011518722.8A CN202011518722A CN112560863B CN 112560863 B CN112560863 B CN 112560863B CN 202011518722 A CN202011518722 A CN 202011518722A CN 112560863 B CN112560863 B CN 112560863B
Authority
CN
China
Prior art keywords
image
garbage
ground
detection
exists
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011518722.8A
Other languages
English (en)
Other versions
CN112560863A (zh
Inventor
胡海峰
陈弟虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xindun Microelectronics Technology Co ltd
Original Assignee
Guangdong Xindun Microelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xindun Microelectronics Technology Co ltd filed Critical Guangdong Xindun Microelectronics Technology Co ltd
Priority to CN202011518722.8A priority Critical patent/CN112560863B/zh
Publication of CN112560863A publication Critical patent/CN112560863A/zh
Application granted granted Critical
Publication of CN112560863B publication Critical patent/CN112560863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种垃圾回收站地面清洁度的检测方法、系统、装置及介质，其中方法包括：获取地面图像，将地面图像输入垃圾检测网络进行检测，判断图像中是否存有与训练数据库内同类别的垃圾；分割出地面图像中的地面部分，获得图像块；对图像块进行边缘检测，得到边缘图像，对边缘图像进行形态学闭操作，得到二值图像；获取二值图像中的各个连通域，计算连通域的面积占地面图像的面积的比例，根据占比大小判断是否存在垃圾，结束检测并输出第二结论。本发明采用深度学习的检测方法检测常见简单垃圾，结合图像处理的检测方法检测少见复杂垃圾，能够保证垃圾检测准确率的同时，提升垃圾检测的速度，可广泛应用于计算机视觉与图像处理领域。

Description

垃圾回收站地面清洁度的检测方法、系统、装置及介质
技术领域
本发明涉及计算机视觉与图像处理领域，尤其涉及一种垃圾回收站地面清洁度的检测方法、系统、装置及介质。
背景技术
垃圾检测是目标检测的一种重要的应用场景，具有重要的现实意义。地面垃圾检测是指利用图像处理与识别算法检测图像场景中是否存在垃圾。由于图像中场景以及场景中垃圾种类形态的多样性，垃圾目标检测算法往往难以检测出种类多样的垃圾，从而造成垃圾检测算法的下降。
当前主流的垃圾检测方法主要分为图像处理方法、机器学习方法以及深度学习方法。传统的图像处理方法主要是利用形态学处理的方式获取图像中与场景不连贯的垃圾部分，从而根据处理后的图像判断是否存在垃圾。这类方法判断方式较为简单，对复杂场景的判断往往存在较多漏检与误检。传统的机器学习方法的处理流程则往往是先对图像进行预处理，然后提取图像中的特征，最后利用支持向量机等分类器来判断图像中是否存在垃圾。这类方法的缺点是垃圾判断的准确率不高。深度学习方法在计算机视觉领域取得了较大的进展，基于深度学习的垃圾检测方法则利用现有的垃圾数据训练一个目标检测网络。这类方法检测准确率较高，并且能够区分出垃圾的种类，但是，这类方法对数据集的完备性要求较高，对于数据集中未出现的垃圾种类基本无法检测识别。
综上所述，现有的垃圾检测算法在小区地面垃圾检测等实际应用场景中存在局限性，垃圾检测的准确性还有待提升。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种垃圾回收站地面清洁度的检测方法、系统、装置及介质。
本发明所采用的技术方案是：
一种垃圾回收站地面清洁度的检测方法，包括以下步骤：
构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；
获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；
采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；
对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；
获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论。
进一步，所述构建训练数据库，包括：
获取垃圾检测数据集，从所述垃圾检测数据集中获取包含各类垃圾的图像作为垃圾正样本训练数据；
获取不包含垃圾的场景图片像作为垃圾负样本训练数据；
根据所述正样本训练数据和所述负样本训练数据获得训练数据库。
进一步，所述垃圾检测网络采用Resnet18网络作为主体结构，并在所述Resnet18网络的最后一层的后端增加一个sigmoid函数激活的单神经元全连接层，采用交叉熵损失函数作为训练过程中的损失函数。
进一步，所述交叉熵损失函数的表达式为：
其中，y为训练图像的标签，为网络预测图像的标签；
所述判断图像中是否存有与所述训练数据库内同类别的垃圾，包括：
若所述垃圾检测网络输出标签则判断图像中存在垃圾；反之，判断图像中不存在垃圾。
进一步，所述采用地面分割算法分割出所述地面图像中的地面部分，获得图像块，包括：
对所述地面图像进行灰度化处理，根据灰度值获取原始地面区域；
以原始地面区域为1，其他区域为0，对所述地面图像进行二值化处理，获得原始地面掩膜图像；
对所述原始地面掩膜图像进行形态学膨胀操作，获得最终地面掩膜图像；
在所述地面图像中获取与最终地面掩膜图像对应的区域，作为地面部分的图像块。
进一步，所述对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像，包括：
对所述图像块进行灰度化处理，采用canny算子对经过灰度化处理的图像块进行边缘检测，获得包含边缘信息的边缘图像；
对所述边缘图像进行预设次数形态学闭操作，得到地面部分的二值图像。
进一步，所述根据计算获得的占比大小判断是否存在垃圾，包括：
当存在第i个连通域的面积Si占地面图像的面积S的占比Ri处于预设范围[Rmin，Rmax]区间内时，判断图像中存在垃圾；反之，判断图像中不存在垃圾；
所述占比Ri的计算方法为统计第i个连通域中的像素点个数除以地面图像总像素点个数。
本发明所采用的另一技术方案是：
一种垃圾回收站地面清洁度的检测系统，包括：
模型训练模块，用于构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；
模型识别模块，用于获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；
图像处理模块，用于采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；
对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；
图像识别模块，用于获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论。
本发明所采用的另一技术方案是：
一种垃圾回收站地面清洁度的检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明采用深度学习的检测方法检测常见简单垃圾，以及结合图像处理的检测方法检测少见复杂垃圾，能够保证垃圾检测准确率的同时，提升垃圾检测的速度。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种垃圾回收站地面清洁度的检测方法的流程图；
图2是本发明实施例中一种垃圾回收站地面清洁度的检测方法的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1和图2所示，本实施例提供一种垃圾回收站地面清洁度的检测方法，包括但不限于以下步骤：
S1：收集常见的垃圾图片数据，构成垃圾检测数据集，并利用该数据集训练一个垃圾检测网络ND。
S2：将待检测的地面图像输入到垃圾检测网络ND中，检测图像中是否存在训练数据库内同类别的垃圾。若判断图像中存在训练库内同类别的垃圾，则直接输出图中存在垃圾的结论，即判断地面清洁度低(即第一结论)。
S3：若S2中未检测出垃圾，则进一步利用地面分割算法分割出图像中的地面部分，得到地面对应的图像块Igro。
S4：对S3中得到的地面图像块Igro进行边缘检测，并对得到的边缘图像连续进行3次形态学闭操作，得到地面部分的二值图像Ibin。
S5：检测S4中获得的地面部分二值图像中的各个连通域，并计算各个连通域的面积占图像面积的比例。根据连通域面积占比大小判断是否存在垃圾，并给出地面是否清洁的判断(即第二结论)。
其中，步骤S1具体过程如下：垃圾检测数据集的构建方法是：收集公开的垃圾检测数据集，选定包含各类垃圾的图像作为垃圾正样本训练数据，其类标签设为1；收集不包含垃圾的场景图像作为垃圾负样本训练数据，其类标签设为0。利用所构建的垃圾检测数据集训练垃圾检测网络ND。其中，垃圾检测网络ND采用Resnet18网络作为主体结构，模型在Resnet18最后一层增加一个sigmoid函数激活的单神经元全连接层。采用交叉熵作为检测网络ND训练的损失函数，具体地，垃圾检测网络训练的损失函数表达式为：
式中，y为训练图像的标签，为网络预测图像的标签。
步骤S2具体过程如下：将待检测的图像缩放到网络输入大小后，输入到训练好的垃圾检测网络ND中，网络ND输出是否存在垃圾的预测结果当/>即判断图像中存在垃圾时，直接输出地面不清洁的结论，并不再进行后续处理，直到有新的待检测图像输入再重新进行判断。
步骤S3具体过程如下：当S2中网络ND输出的预测结果即在图像中未检测出垃圾时，则进一步利用地面分割算法分割出图像中的地面部分。地面分割算法的具体做法是，对原始图像Iori灰度化以后进行直方图统计，选取最多的灰度值及其前后7个灰度值所对应的图像区域为原始地面区域Rori。以原始地面区域Rori为1，其他区域为0对原图Iori进行二值化操作，获得原始地面掩膜图像Mori。对原始地面掩膜图像Mori进行2次形态学膨胀操作获得最终地面掩膜图像Mfin。选取最终地面掩膜图像Mfin对应的原始图像区域，即获得分割后的地面图像块Igro。具体的，地面图像块Igro获取的方法为原始图像Iori与最终地面掩膜图像Mfin对应位置像素相乘，即：
Igro＝Iori⊙Mfin (2)
式中，⊙表示图像对应位置像素相乘。
步骤S4具体过程如下：在对地面图像块Igro进行灰度化以后，采用canny算子对地面图像块进行边缘检测，以获得包含图像中垃圾边缘信息的边缘图像Iedge。对边缘图像连续进行3次形态学闭操作，得到地面部分的二值图像Ibin。具体地，二值图像Ibin的获取方式可以表示为：
Ibin＝close(close(close(Iedge))) (3)
其中，闭操作close的表达式为：
式中，分别表示图像形态学腐蚀和膨胀操作，se为5×5的方形结构元素。通过上述形态学操作，模型可以将边缘图像Iedge中的垃圾边缘转化为二值图像Ibin中的垃圾连通域。
S5具体过程如下：计算地面部分二值图像Ibin中的各个连通域面积。当存在第i个连通域的面积大小Si占图像总面积S的比例Ri在垃圾占比大小的范围[Rmin，Rmax]区间内时，判断图像中存在垃圾，即判断地面清洁度低。否则判断图像中不存在垃圾，即地面清洁度高。其中，连通域面积占比Ri大小的计算方法是统计第i个连通域中的像素点个数再除以图像总像素点个数。模型中垃圾占比大小的范围[Rmin，Rmax]取为[0.002，0.05]。其中，i为大于等于0的整数。
综上所述，本实施例的方法相对于现有技术，至少具有如下有益效果：
(1)、本实施例根据构建的数据库中垃圾图像的数量将垃圾分为常见的简单垃圾和少见的复杂垃圾。对于训练数据足够的常见简单垃圾，采用深度学习的检测方法，对于训练数据不足的少见复杂垃圾，采用传统图像处理的检测方法。两个模块相结合，能够更好地将各类垃圾都检测出来。
(2)、模型在深度垃圾检测模块检测到简单垃圾后直接输出检测结果，无需进行进一步复杂垃圾的检测，因此本实施例在保证垃圾检测准确率的同时，能够提升垃圾检测的速度。
(3)、由于复杂垃圾检测模块采用了传统图像处理方法，能够检测出训练数据库中不存在的复杂垃圾，因此本实施例克服了基于深度学习的垃圾检测方法对训练数据库完备性要求较高的难题。
本实施例还提供一种垃圾回收站地面清洁度的检测系统，包括：
模型训练模块，用于构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；
模型识别模块，用于获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；
图像处理模块，用于采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；
对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；
图像识别模块，用于获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论。
本实施例的一种垃圾回收站地面清洁度的检测系统，可执行本发明方法实施例所提供的一种垃圾回收站地面清洁度的检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种垃圾回收站地面清洁度的检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示的方法。
本实施例的一种垃圾回收站地面清洁度的检测装置，可执行本发明方法实施例所提供的一种垃圾回收站地面清洁度的检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种垃圾回收站地面清洁度的检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种垃圾回收站地面清洁度的检测方法，其特征在于，包括以下步骤：
构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；
获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；
采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；
对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；
获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论；
所述垃圾检测网络采用Resnet18网络作为主体结构，并在所述Resnet18网络的最后一层的后端增加一个sigmoid函数激活的单神经元全连接层，采用交叉熵损失函数作为训练过程中的损失函数；
所述交叉熵损失函数的表达式为：
其中，y为训练图像的标签，为网络预测图像的标签；
所述判断图像中是否存有与所述训练数据库内同类别的垃圾，包括：
若所述垃圾检测网络输出标签则判断图像中存在垃圾；反之，判断图像中不存在垃圾。
2.根据权利要求1所述的一种垃圾回收站地面清洁度的检测方法，其特征在于，所述构建训练数据库，包括：
获取垃圾检测数据集，从所述垃圾检测数据集中获取包含各类垃圾的图像作为垃圾正样本训练数据；
获取不包含垃圾的场景图片像作为垃圾负样本训练数据；
根据所述正样本训练数据和所述负样本训练数据获得训练数据库。
3.根据权利要求1所述的一种垃圾回收站地面清洁度的检测方法，其特征在于，所述采用地面分割算法分割出所述地面图像中的地面部分，获得图像块，包括：
对所述地面图像进行灰度化处理，根据灰度值获取原始地面区域；
以原始地面区域为1，其他区域为0，对所述地面图像进行二值化处理，获得原始地面掩膜图像；
对所述原始地面掩膜图像进行形态学膨胀操作，获得最终地面掩膜图像；
在所述地面图像中获取与最终地面掩膜图像对应的区域，作为地面部分的图像块。
4.根据权利要求1所述的一种垃圾回收站地面清洁度的检测方法，其特征在于，所述对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像，包括：
对所述图像块进行灰度化处理，采用canny算子对经过灰度化处理的图像块进行边缘检测，获得包含边缘信息的边缘图像；
对所述边缘图像进行预设次数形态学闭操作，得到地面部分的二值图像。
5.根据权利要求1所述的一种垃圾回收站地面清洁度的检测方法，其特征在于，所述根据计算获得的占比大小判断是否存在垃圾，包括：
当存在第i个连通域的面积Si占地面图像的面积S的占比Ri处于预设范围[Rmin,Rmax]区间内时，判断图像中存在垃圾；反之，判断图像中不存在垃圾；
所述占比Ri的计算方法为统计第i个连通域中的像素点个数除以地面图像总像素点个数。
6.一种垃圾回收站地面清洁度的检测系统，其特征在于，包括：
模型训练模块，用于构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；
模型识别模块，用于获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；
图像处理模块，用于采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；
图像识别模块，用于获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论；
所述垃圾检测网络采用Resnet18网络作为主体结构，并在所述Resnet18网络的最后一层的后端增加一个sigmoid函数激活的单神经元全连接层，采用交叉熵损失函数作为训练过程中的损失函数；
所述交叉熵损失函数的表达式为：
其中，y为训练图像的标签，为网络预测图像的标签；
所述判断图像中是否存有与所述训练数据库内同类别的垃圾，包括：
若所述垃圾检测网络输出标签则判断图像中存在垃圾；反之，判断图像中不存在垃圾。
7.一种垃圾回收站地面清洁度的检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-5任一项所述的一种垃圾回收站地面清洁度的检测方法。
8.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述方法。
CN202011518722.8A 2020-12-21 2020-12-21 垃圾回收站地面清洁度的检测方法、系统、装置及介质 Active CN112560863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011518722.8A CN112560863B (zh) 2020-12-21 2020-12-21 垃圾回收站地面清洁度的检测方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011518722.8A CN112560863B (zh) 2020-12-21 2020-12-21 垃圾回收站地面清洁度的检测方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN112560863A CN112560863A (zh) 2021-03-26
CN112560863B true CN112560863B (zh) 2024-04-09

Family

ID=75032070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011518722.8A Active CN112560863B (zh) 2020-12-21 2020-12-21 垃圾回收站地面清洁度的检测方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN112560863B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036285A (zh) * 2014-05-12 2014-09-10 新浪网技术(中国)有限公司 垃圾图片识别方法及系统
CN106845408A (zh) * 2017-01-21 2017-06-13 浙江联运知慧科技有限公司 一种复杂环境下的街道垃圾识别方法
CN110321972A (zh) * 2019-07-22 2019-10-11 上海五赫自动化科技中心 一种湿垃圾分类合格检验方法及其实现装置
CN110723433A (zh) * 2019-12-16 2020-01-24 清华大学 垃圾分类回收方法及系统
CN111368895A (zh) * 2020-02-28 2020-07-03 上海海事大学 一种湿垃圾中垃圾袋目标检测方法及检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036285A (zh) * 2014-05-12 2014-09-10 新浪网技术(中国)有限公司 垃圾图片识别方法及系统
CN106845408A (zh) * 2017-01-21 2017-06-13 浙江联运知慧科技有限公司 一种复杂环境下的街道垃圾识别方法
CN110321972A (zh) * 2019-07-22 2019-10-11 上海五赫自动化科技中心 一种湿垃圾分类合格检验方法及其实现装置
CN110723433A (zh) * 2019-12-16 2020-01-24 清华大学 垃圾分类回收方法及系统
CN111368895A (zh) * 2020-02-28 2020-07-03 上海海事大学 一种湿垃圾中垃圾袋目标检测方法及检测系统

Also Published As

Publication number Publication date
CN112560863A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN106845408B (zh) 一种复杂环境下的街道垃圾识别方法
CN109003390B (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN110533950A (zh) 车位使用状况的检测方法、装置、电子设备及存储介质
CN111145209A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN110334760B (zh) 一种基于resUnet的光学元器件损伤检测方法及系统
CN111179263B (zh) 一种工业图像表面缺陷检测模型、方法、系统及装置
Ibrahim et al. License plate recognition (LPR): a review with experiments for Malaysia case study
CN112707058B (zh) 一种厨余垃圾规范动作的检测方法、系统、装置及介质
CN111968095A (zh) 一种产品表面缺陷检测方法及系统及装置及介质
Azad et al. New method for optimization of license plate recognition system with use of edge detection and connected component
CN111986183A (zh) 一种染色体散型图像自动分割识别系统及装置
CN112329702A (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN114332776B (zh) 非机动车占用人行道检测方法、系统、设备及存储介质
CN113610774A (zh) 一种玻璃划痕缺陷检测方法、系统、装置及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
Warif et al. CMF-iteMS: An automatic threshold selection for detection of copy-move forgery
CN112560863B (zh) 垃圾回收站地面清洁度的检测方法、系统、装置及介质
CN111199228B (zh) 一种车牌定位的方法及装置
CN112380986B (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质
CN114973300B (zh) 一种构件类别识别方法、装置、电子设备及存储介质
CN115496716A (zh) 基于深度学习的单双微核细胞图像检测方法及相关设备
CN115063679A (zh) 一种基于深度学习的路面质量评估方法
CN111932515B (zh) 产品残留类缺陷的短路检测方法及系统及缺陷分类系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant