CN113450401A - 垃圾桶满溢度确定方法、装置、设备及垃圾桶 - Google Patents
垃圾桶满溢度确定方法、装置、设备及垃圾桶 Download PDFInfo
- Publication number
- CN113450401A CN113450401A CN202110813020.0A CN202110813020A CN113450401A CN 113450401 A CN113450401 A CN 113450401A CN 202110813020 A CN202110813020 A CN 202110813020A CN 113450401 A CN113450401 A CN 113450401A
- Authority
- CN
- China
- Prior art keywords
- garbage
- visible light
- light image
- area
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 314
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 55
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明涉及一种垃圾桶满溢度确定方法、装置、设备及垃圾桶，属于垃圾处理技术领域，该方法、装置、设备及垃圾桶通过获取目标垃圾桶桶内的可见光图像；根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像；确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；根据垃圾区域面积与垃圾桶满时的前景区域面积，计算目标垃圾桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对目标垃圾桶进行垃圾处理。本发放通过可见光设备相机来实现垃圾图像的获取，方便、快捷，节约了成本；通过实时获取垃圾满溢度，可以使得调度车辆根据需求及时对垃圾进行处理。
Description
技术领域
本发明属于垃圾处理技术领域，具体涉及一种垃圾桶满溢度确定方法、装置、设备及垃圾桶。
背景技术
垃圾桶是人们生活中不可或缺的一环，其垃圾的满溢关系到居民环境，园区环境，以及市容市貌。在气温较高的天气，若垃圾桶溢出会导致区域范围内气味重，且后续投放垃圾不规范等一系列的问题。在倡导垃圾分类大环境下，实时检测垃圾桶的满溢程度，调度有关运输车及时清运垃圾显得尤其重要。
在相关技术中，通常通过红外测距仪、深度相机和超声波传感器、神经网络分类等得到垃圾满溢度的结果。但是，单一红外测距仪无法准确分析垃圾桶满溢状态，而多个红外测距仪需要耗费较高成本；采用深度相机和超声波传感器进行双重垃圾桶满溢程度检测需要设置复杂的检测结构，且耗费成本较高；采用神经网络进行分类时，只能得到少量的的状态，在垃圾桶内已满时，无法使得调度车及时进行清理。
因此，如何在控制成本的基础上，对垃圾桶满溢度进行及时检测和调度，成为现有技术中亟待解决的问题。
发明内容
本发明提供了一种垃圾桶满溢度确定方法、装置、设备及垃圾桶，以解决现有技术中垃圾满溢度监测成本高、垃圾处理不及时的技术问题。
本发明提供的技术方案如下：
一方面，一种垃圾桶满溢度确定方法，包括：
获取目标垃圾桶桶内的可见光图像；
根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
根据垃圾区域面积与垃圾桶满时的前景区域面积，计算所述目标垃圾桶的垃圾满溢度，以使调度车辆根据所述垃圾满溢度对所述目标垃圾桶进行垃圾处理。
可选的，所述预设深度学习网络模型，包括预先构建的图像分类网络模型；所述根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像，包括：
将所述可见光图像输入预先构建的图像分类网络模型中，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图；
根据GRAD-CAM技术和所述多维特征图，获取所述多维融合可见光图像。
可选的，所述根据GRAD-CAM技术和所述多维特征图，获取所述多维融合可见光图像，包括：
确定所述多维特征图中每维特征图的权重值；
根据所述权重值和对应的每维特征图，基于GRAD-CAM技术确定所述多维融合可见光图像。
可选的，所述多维融合可见光图像，包括：多维融合特征热图图像；所述确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积，包括：
提取所述多维融合特征热图图像中的红色像素点；
根据所述红色像素点的区域，计算所述垃圾区域面积。
可选的，所述将所述可见光图像输入预先构建的图像分类网络模型中，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图，包括：
通过所述预先构建的图像分类网络模型，获取所述可见光图像是否包含垃圾的分类结果；
在所述分类结果为目标垃圾桶内包含垃圾时，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图。
可选的，所述预先构建的图像分类网络模型的构建规则，包括：
采集前景图像，构建数据集；所述数据集包括：训练集和测试集；
对所述前景图像进行二分类，设定标签分别为垃圾桶内无垃圾和垃圾桶内有垃圾；
基于训练集内的数据，对预设分类网络进行训练；
在所述预设分类网络迭代预设次数的训练后，基于测试集对所述预设分类网络进行测试，在测试分类结果精度到达精度阈值后，保存预设分类模型；
确定所述预设分类模型为预先构建的图像分类分类模型。
又一方面，一种垃圾桶满溢度确定装置，包括：获取模块、确定模块、第一计算模块和第二计算模块；
所述获取模块，用于获取目标垃圾桶桶内的可见光图像；
所述确定模块，用于根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
所述第一计算模块，用于确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
所述第二计算模块，用于根据垃圾区域面积与垃圾桶满时的前景区域面积，计算所述目标垃圾桶的垃圾满溢度，以使调度车辆根据所述垃圾满溢度对所述目标垃圾桶进行垃圾处理。
可选的，所述预设深度学习网络模型，包括预先构建的图像分类网络模型；所述确定模块，用于将所述可见光图像输入预先构建的图像分类网络模型中，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图；根据GRAD-CAM技术和所述多维特征图，获取所述多维融合可见光图像。
又一方面，一种垃圾桶，包括：垃圾存放桶、可见光设备相机和处理模块；所述可见光设备相机和所述处理模块相连；所述可见光设备相机设置在所述垃圾存放桶的正上方，以采集所述垃圾存放桶内的可见光图像；
所述处理模块，用于获取所述可见光图像，根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
根据垃圾区域面积与垃圾桶满时的前景区域面积，计算所述垃圾存放桶的垃圾满溢度，以使调度车辆根据所述垃圾满溢度对所述垃圾桶进行垃圾处理。
又一方面，一种垃圾桶满溢度确定设备，包括：处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述任一项所述的垃圾桶满溢度确定方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
本发明的有益效果为：
本发明实施例提供的垃圾桶满溢度确定方法、装置、设备及垃圾桶，通过获取目标垃圾桶桶内的可见光图像；根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像；确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；根据垃圾区域面积与垃圾桶满时的前景区域面积，计算目标垃圾桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对目标垃圾桶进行垃圾处理。本发放通过可见光设备相机来实现垃圾图像的获取，方便、快捷，节约了成本；通过实时获取垃圾满溢度，可以使得调度车辆根据需求及时对垃圾进行处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种垃圾桶满溢度确定方法的流程示意图；
图2为本发明实施例提供的一种垃圾桶结构示意图；
图3为本发明实施例提供的一种神经网络热图示意图；
图4为本发明实施例提供的一种垃圾桶满溢度确定装置的结构示意图；
图5为本发明实施例提供的一种垃圾桶满溢度确定设备结构示意图。
附图标记：21-圾存放桶；22-可见光设备相机；41-获取模块；42-确定模块；43-第一计算模块；44-第二计算模块；51-处理器；52-存储器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
为了至少解决本发明中提出的技术问题，本发明实施例提供一种垃圾桶满溢度确定方法。
图1为本发明实施例提供的一种垃圾桶满溢度确定方法流程示意图，参阅图1，本发明实施例提供的方法，可以包括以下步骤：
S11、获取目标垃圾桶桶内的可见光图像。
图2为本发明实施例提供的一种垃圾桶结构示意图，参阅图2，在一个具体的实现过程中，可以定义任意一个垃圾桶为目标垃圾桶，目标垃圾桶可以包括垃圾存放桶21和可见光设备相机22以及处理模块，可见光设备相机22和处理模块相连，可见光设备相机设置在垃圾存放桶的正上方，以采集垃圾存放桶内的可见光图像。其中，处理模块可以根据需求进行设置，此处不做具体限定。处理模块用于执行本申请提供的垃圾桶满溢度确定方法，对目标垃圾桶的垃圾满溢度进行计算。
例如，可以通过可见光设备相机采集目标垃圾桶桶内的可见光图像。
S12、根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像。
例如，在获取到目标垃圾桶桶内的可见光图像后，将可见光图像输入到预设深度学习网络模型中，得到多维融合可见光图像。
在一些实施例中，可选的，预设深度学习网络模型，包括预先构建的图像分类网络模型；根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像，包括：
将可见光图像输入预先构建的图像分类网络模型中，通过预先构建的图像分类网络模型的特征图层，获取目标垃圾桶桶内可见光图像的多维特征图；
根据GRAD-CAM技术和多维特征图，获取多维融合可见光图像。
例如，可以选择预设深度学习网络模型为预先构建的图像分类网络模型，将可见光图像输入到预先构建的图像分类网络模型中，预先构建的图像分类网络模型为神经网络模型，在特征图层，获取可见光图像的多维特征图，此处的多维特征图为高维特征图。在获取到高维特征图后，将高维特征图与GRAD-CAM技术相结合，获取多维融合可见光图像。
在一些实施例中，可选的，根据GRAD-CAM技术和多维特征图，获取多维融合可见光图像，包括：
确定多维特征图中每维特征图的权重值；
根据权重值和对应的每维特征图，基于GRAD-CAM技术确定多维融合可见光图像。
例如，在获取到多维特征图后，可以根据需求设定每维特征图的权重值，按照权重值的比例，将多维特征图通过GRAD-CAM技术融合为一张多诶融合可见光图像。
在一些实施例中，可选的，将可见光图像输入预先构建的图像分类网络模型中，通过预先构建的图像分类网络模型的特征图层，获取目标垃圾桶桶内可见光图像的多维特征图，包括：
通过预先构建的图像分类网络模型，获取可见光图像是否包含垃圾的分类结果；
在分类结果为目标垃圾桶内包含垃圾时，通过预先构建的图像分类网络模型的特征图层，获取目标垃圾桶桶内可见光图像的多维特征图。
例如，在将可见光图像输入预先构建的图像分类网络模型中后，可以输出可见光图片中是否包含垃圾的分类结果，当分类结果是目标垃圾桶桶内包含垃圾时，可以通过模型的特征图层，得到目标垃圾桶桶内可见光图像的多维特征图。
在一些实施例中，可选的，预先构建的图像分类网络模型的构建规则，包括：
采集前景图像，构建数据集；数据集包括：训练集和测试集；
对前景图像进行二分类，设定标签分别为垃圾桶内无垃圾和垃圾桶内有垃圾；
基于训练集内的数据，对预设分类网络进行训练；
在预设分类网络迭代预设次数的训练后，基于测试集对预设分类网络进行测试，在测试分类结果精度到达精度阈值后，保存预设分类模型；
确定预设分类模型为预先构建的图像分类分类模型。
例如，在预先对图像分类网络模型进行构建时，可以预设任一神经网络，如VGG19、ResNet50等分类网络为预设分类网络，此处不做具体限定。在模型构建时，可以首先采集前景图像，来构建数据集，数据集可以设置为训练集和测试集，利用训练集的数据来对预设分类网络进行训练，用测试集的数据来对预设分类网络进行测试。在训练集中，对图像进行2分类，标签设定为[0，1]，0表示垃圾桶内无垃圾，1表示垃圾桶内有垃圾。训练集训练迭代200次训练集后，测试集反馈分类是否有垃圾的分类结果精度达到99％以上，保存分类模型。具体训练及测试过程请参阅现有技术，此处不做具体限定。
S13、确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积。
例如，在得到多维融合可见光图像后，确定多维融合可见光图像中的垃圾区域面积。
在一些实施例中，可选的，多维融合可见光图像，包括：多维融合特征热图图像；确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积，包括：
提取多维融合特征热图图像中的红色像素点；
根据红色像素点的区域，计算垃圾区域面积。
例如，参阅图3，图3为本发明实施例提供的一种神经网络热图示意图，可以设定多维融合可见光图像为多维融合特征热图图像，通过提取多维融合特征热图图像中的红丝像素点，作为垃圾区域，计算垃圾区域面积。
S14、根据垃圾区域面积与垃圾桶满时的前景区域面积，计算目标垃圾桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对目标垃圾桶进行垃圾处理。
例如，在计算得到垃圾区域面积后，根据垃圾满溢度计算公式计算垃圾满溢度X：
其中，Roi为垃圾区域面积，Full为当垃圾箱满时，前景区域面积。最终获取当前满溢度百分比：X。
在获取到当前目标垃圾桶的垃圾满溢度后，使得调度车辆根据垃圾满溢度对垃圾桶内的垃圾进行处理。例如，可以根据调度车辆与垃圾桶的距离，以及垃圾桶的垃圾满溢度，来调遣调度车辆对垃圾进行处理。如，当调度车辆距离垃圾桶距离较远时，则在垃圾桶的垃圾满溢度为75％时则调遣调度车辆前往目标垃圾桶处；当调度车辆距离垃圾桶距离很近时，则在垃圾桶的垃圾满溢度为95％时调遣调度车辆前往目标垃圾桶处。其中，75％和95％是对本发明中垃圾满溢度的列举，并不是限定，可以根据调度车辆的荷载能力、垃圾桶的垃圾承载能力以及调度车的车速等条件进行设置。
在本申请中，采用可见光设备相机对可见光图像进行采集，相机外壳做过防水处理，且有LED灯，可以在黑暗场景中，依然清晰的得到垃圾图片。
本发明实施例提供的垃圾桶满溢度确定方法，通过获取目标垃圾桶桶内的可见光图像；根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像；确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；根据垃圾区域面积与垃圾桶满时的前景区域面积，计算目标垃圾桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对目标垃圾桶进行垃圾处理。本发放通过可见光设备相机来实现垃圾图像的获取，方便、快捷，节约了成本；通过实时获取垃圾满溢度，可以使得调度车辆根据需求及时对垃圾进行处理。
基于一个总的发明构思，本发明实施例还提供一种垃圾桶满溢度确定装置。
图4为本发明实施例提供的一种垃圾桶满溢度确定装置的结构示意图，参阅图4，本发明实施例提供的装置，可以包括以下结构：获取模块41、确定模块42、第一计算模块43和第二计算模块44。
其中，获取模块41，用于获取目标垃圾桶桶内的可见光图像；
确定模块42，用于根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
第一计算模块43，用于确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
第二计算模块44，用于根据垃圾区域面积与垃圾桶满时的前景区域面积，计算目标垃圾桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对目标垃圾桶进行垃圾处理。
在一些实施例中，可选的，预设深度学习网络模型，包括预先构建的图像分类网络模型；确定模块42，用于将可见光图像输入预先构建的图像分类网络模型中，通过预先构建的图像分类网络模型的特征图层，获取目标垃圾桶桶内可见光图像的多维特征图；根据GRAD-CAM技术和多维特征图，获取多维融合可见光图像。
在一些实施例中，可选的，确定模块42，用于确定多维特征图中每维特征图的权重值；根据权重值和对应的每维特征图，基于GRAD-CAM技术确定多维融合可见光图像。
在一些实施例中，可选的，第一计算模块43，用于提取多维融合特征热图图像中的红色像素点；根据红色像素点的区域，计算垃圾区域面积。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供的垃圾桶满溢度确定装置，通过获取目标垃圾桶桶内的可见光图像；根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像；确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；根据垃圾区域面积与垃圾桶满时的前景区域面积，计算目标垃圾桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对目标垃圾桶进行垃圾处理。本发放通过可见光设备相机来实现垃圾图像的获取，方便、快捷，节约了成本；通过实时获取垃圾满溢度，可以使得调度车辆根据需求及时对垃圾进行处理。
基于一个总的发明构思，本发明实施例还提供一种垃圾桶。
参阅图2，本发明实施例提供的种垃圾桶，包括：垃圾存放桶、可见光设备相机和处理模块；可见光设备相机和处理模块相连；可见光设备相机设置在垃圾存放桶的正上方，以采集垃圾存放桶内的可见光图像；
处理模块，用于获取可见光图像，根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
根据垃圾区域面积与垃圾桶满时的前景区域面积，计算垃圾存放桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对垃圾桶进行垃圾处理。
其中，处理模块，用于执行上述任一实施例记载的垃圾桶满溢度确定方法。
本发明实施例提供的垃圾桶，通过获取目标垃圾桶桶内的可见光图像；根据可见光图像和预设深度学习网络模型，得到多维融合可见光图像；确定多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；根据垃圾区域面积与垃圾桶满时的前景区域面积，计算目标垃圾桶的垃圾满溢度，以使调度车辆根据垃圾满溢度对目标垃圾桶进行垃圾处理。本发放通过可见光设备相机来实现垃圾图像的获取，方便、快捷，节约了成本；通过实时获取垃圾满溢度，可以使得调度车辆根据需求及时对垃圾进行处理。
基于一个总的发明构思，本发明实施例还提供一种垃圾桶满溢度确定设备。
图5为本发明实施例提供的一种垃圾桶满溢度确定设备结构示意图，请参阅图5，本发明实施例提供的一种垃圾桶满溢度确定设备，包括：处理器51，以及与处理器相连接的存储器52。
存储器52用于存储计算机程序，计算机程序至少用于上述任一实施例记载的垃圾桶满溢度确定设备方法；
处理器51用于调用并执行存储器中的计算机程序。
基于一个总的发明构思，本发明实施例还提供一种存储介质。
一种存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，实现上述的垃圾桶满溢度确定方法中各个步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种垃圾桶满溢度确定方法，其特征在于，包括：
获取目标垃圾桶桶内的可见光图像；
根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
根据垃圾区域面积与垃圾桶满时的前景区域面积，计算所述目标垃圾桶的垃圾满溢度，以使调度车辆根据所述垃圾满溢度对所述目标垃圾桶进行垃圾处理。
2.根据权利要求1所述的方法，其特征在于，所述预设深度学习网络模型，包括预先构建的图像分类网络模型；所述根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像，包括：
将所述可见光图像输入预先构建的图像分类网络模型中，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图；
根据GRAD-CAM技术和所述多维特征图，获取所述多维融合可见光图像。
3.根据权利要求2所述的方法，其特征在于，所述根据GRAD-CAM技术和所述多维特征图，获取所述多维融合可见光图像，包括：
确定所述多维特征图中每维特征图的权重值；
根据所述权重值和对应的每维特征图，基于GRAD-CAM技术确定所述多维融合可见光图像。
4.根据权利要求2所述的方法，其特征在于，所述多维融合可见光图像，包括：多维融合特征热图图像；所述确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积，包括：
提取所述多维融合特征热图图像中的红色像素点；
根据所述红色像素点的区域，计算所述垃圾区域面积。
5.根据权利要求2所述的方法，其特征在于，所述将所述可见光图像输入预先构建的图像分类网络模型中，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图，包括：
通过所述预先构建的图像分类网络模型，获取所述可见光图像是否包含垃圾的分类结果；
在所述分类结果为目标垃圾桶内包含垃圾时，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图。
6.根据权利要求2所述的方法，其特征在于，所述预先构建的图像分类网络模型的构建规则，包括：
采集前景图像，构建数据集；所述数据集包括：训练集和测试集；
对所述前景图像进行二分类，设定标签分别为垃圾桶内无垃圾和垃圾桶内有垃圾；
基于训练集内的数据，对预设分类网络进行训练；
在所述预设分类网络迭代预设次数的训练后，基于测试集对所述预设分类网络进行测试，在测试分类结果精度到达精度阈值后，保存预设分类模型；
确定所述预设分类模型为预先构建的图像分类分类模型。
7.一种垃圾桶满溢度确定装置，其特征在于，包括：获取模块、确定模块、第一计算模块和第二计算模块；
所述获取模块，用于获取目标垃圾桶桶内的可见光图像；
所述确定模块，用于根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
所述第一计算模块，用于确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
所述第二计算模块，用于根据垃圾区域面积与垃圾桶满时的前景区域面积，计算所述目标垃圾桶的垃圾满溢度，以使调度车辆根据所述垃圾满溢度对所述目标垃圾桶进行垃圾处理。
8.根据权利要求7所述的装置，其特征在于，所述预设深度学习网络模型，包括预先构建的图像分类网络模型；所述确定模块，用于将所述可见光图像输入预先构建的图像分类网络模型中，通过所述预先构建的图像分类网络模型的特征图层，获取所述目标垃圾桶桶内可见光图像的多维特征图；根据GRAD-CAM技术和所述多维特征图，获取所述多维融合可见光图像。
9.一种垃圾桶，其特征在于，包括：垃圾存放桶、可见光设备相机和处理模块；所述可见光设备相机和所述处理模块相连；所述可见光设备相机设置在所述垃圾存放桶的正上方，以采集所述垃圾存放桶内的可见光图像；
所述处理模块，用于获取所述可见光图像，根据所述可见光图像和预设深度学习网络模型，得到多维融合可见光图像；
确定所述多维融合可见光图像中的垃圾区域，并计算垃圾区域面积；
根据垃圾区域面积与垃圾桶满时的前景区域面积，计算所述垃圾存放桶的垃圾满溢度，以使调度车辆根据所述垃圾满溢度对所述垃圾桶进行垃圾处理。
10.一种垃圾桶满溢度确定设备，其特征在于，包括：处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1～6任一项所述的垃圾桶满溢度确定方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110813020.0A CN113450401A (zh) | 2021-07-19 | 2021-07-19 | 垃圾桶满溢度确定方法、装置、设备及垃圾桶 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110813020.0A CN113450401A (zh) | 2021-07-19 | 2021-07-19 | 垃圾桶满溢度确定方法、装置、设备及垃圾桶 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113450401A true CN113450401A (zh) | 2021-09-28 |
Family
ID=77816599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110813020.0A Pending CN113450401A (zh) | 2021-07-19 | 2021-07-19 | 垃圾桶满溢度确定方法、装置、设备及垃圾桶 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113450401A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283387A (zh) * | 2022-03-08 | 2022-04-05 | 深圳市万物云科技有限公司 | 一种垃圾点保洁工单智能生成方法、装置及相关介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105947476A (zh) * | 2016-05-04 | 2016-09-21 | 重庆特斯联智慧科技股份有限公司 | 基于图像识别的垃圾桶智能监护方法 |
| CN109460028A (zh) * | 2018-11-23 | 2019-03-12 | 珠海格力电器股份有限公司 | 一种智能垃圾桶的控制装置及其方法与智能垃圾桶 |
| CN109704234A (zh) * | 2019-02-25 | 2019-05-03 | 齐鲁工业大学 | 一种医疗垃圾桶识别判断抓取系统及方法 |
| CN110893956A (zh) * | 2019-11-18 | 2020-03-20 | 山东科技大学 | 垃圾智能分类与管理系统及垃圾分类识别方法及自检方法 |
| CN110956104A (zh) * | 2019-11-20 | 2020-04-03 | 河南华衍智能科技有限公司 | 一种检测垃圾桶溢出的方法、装置及系统 |
| CN111353330A (zh) * | 2018-12-20 | 2020-06-30 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN211309681U (zh) * | 2019-08-06 | 2020-08-21 | 江苏智来物业管理有限公司 | 可以检测垃圾箱满溢度的感应装置及应用该装置的垃圾箱 |
| CN111611948A (zh) * | 2020-05-25 | 2020-09-01 | 陈金山 | 基于cim与区块链的城市垃圾桶满溢检测方法 |
| CN112016845A (zh) * | 2020-09-05 | 2020-12-01 | 鲁腊福 | 基于dnn与cim的区域经济效益评估方法与系统 |
| CN112241679A (zh) * | 2020-09-14 | 2021-01-19 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| CN112364727A (zh) * | 2020-10-28 | 2021-02-12 | 中标慧安信息技术股份有限公司 | 一种基于图像识别的垃圾信息采集系统 |
| CN112883921A (zh) * | 2021-03-22 | 2021-06-01 | 北京易华录信息技术股份有限公司 | 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法 |
-
2021
- 2021-07-19 CN CN202110813020.0A patent/CN113450401A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105947476A (zh) * | 2016-05-04 | 2016-09-21 | 重庆特斯联智慧科技股份有限公司 | 基于图像识别的垃圾桶智能监护方法 |
| CN109460028A (zh) * | 2018-11-23 | 2019-03-12 | 珠海格力电器股份有限公司 | 一种智能垃圾桶的控制装置及其方法与智能垃圾桶 |
| CN111353330A (zh) * | 2018-12-20 | 2020-06-30 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN109704234A (zh) * | 2019-02-25 | 2019-05-03 | 齐鲁工业大学 | 一种医疗垃圾桶识别判断抓取系统及方法 |
| CN211309681U (zh) * | 2019-08-06 | 2020-08-21 | 江苏智来物业管理有限公司 | 可以检测垃圾箱满溢度的感应装置及应用该装置的垃圾箱 |
| CN110893956A (zh) * | 2019-11-18 | 2020-03-20 | 山东科技大学 | 垃圾智能分类与管理系统及垃圾分类识别方法及自检方法 |
| CN110956104A (zh) * | 2019-11-20 | 2020-04-03 | 河南华衍智能科技有限公司 | 一种检测垃圾桶溢出的方法、装置及系统 |
| CN111611948A (zh) * | 2020-05-25 | 2020-09-01 | 陈金山 | 基于cim与区块链的城市垃圾桶满溢检测方法 |
| CN112016845A (zh) * | 2020-09-05 | 2020-12-01 | 鲁腊福 | 基于dnn与cim的区域经济效益评估方法与系统 |
| CN112241679A (zh) * | 2020-09-14 | 2021-01-19 | 浙江理工大学 | 一种垃圾自动分类的方法 |
| CN112364727A (zh) * | 2020-10-28 | 2021-02-12 | 中标慧安信息技术股份有限公司 | 一种基于图像识别的垃圾信息采集系统 |
| CN112883921A (zh) * | 2021-03-22 | 2021-06-01 | 北京易华录信息技术股份有限公司 | 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114283387A (zh) * | 2022-03-08 | 2022-04-05 | 深圳市万物云科技有限公司 | 一种垃圾点保洁工单智能生成方法、装置及相关介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899227A (zh) | 基于无人机作业的铁路扣件缺陷自动采集辨识方法 | |
| CN108932510A (zh) | 一种垃圾检测方法及装置 | |
| Chen et al. | Bottom-up image detection of water channel slope damages based on superpixel segmentation and support vector machine | |
| CN101447082A (zh) | 一种运动目标实时检测方法 | |
| CN114596555B (zh) | 障碍物点云数据筛选方法、装置、电子设备及存储介质 | |
| CN110659659A (zh) | 一种智能识别和预警害虫的方法及系统 | |
| CN111274886B (zh) | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 | |
| Geng et al. | An improved helmet detection method for YOLOv3 on an unbalanced dataset | |
| CN105139374A (zh) | 一种输电线路跟踪方法及系统 | |
| WO2019076951A1 (en) | METHODS AND DEVICES FOR INTRUSION DETECTION | |
| CN113450401A (zh) | 垃圾桶满溢度确定方法、装置、设备及垃圾桶 | |
| CN107809559A (zh) | 一种图像自学习增强方法和系统 | |
| CN104050674A (zh) | 一种显著性区域检测方法及装置 | |
| CN108846364A (zh) | 一种基于fpga的视频特征检测方法和系统 | |
| CN104637062A (zh) | 融合颜色与surf特征的基于粒子滤波的目标追踪方法 | |
| He et al. | Real-time pedestrian warning system on highway using deep learning methods | |
| CN110738208A (zh) | 一种高效的尺度规范化目标检测训练方法 | |
| Gan et al. | Water Level Classification for Flood Monitoring System Using Convolutional Neural Network | |
| CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| Mazloumian et al. | Deep learning for classifying food waste | |
| CN113869401A (zh) | Ai厨余垃圾桶满溢度确定方法、装置、设备及垃圾桶 | |
| Mago et al. | Optimized outdoor parking system for smart cities using advanced saliency detection method and hybrid features extraction model | |
| Chirgaiya et al. | Tiny object detection model based on competitive multi-layer neural network (TOD-CMLNN) | |
| CN113473076B (zh) | 社区报警方法及服务器 | |
| CN116486635A (zh) | 路面团雾检测预警方法、系统、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |