CN115409993A - 环境垃圾的检测方法、电子设备、计算机可读介质 - Google Patents

环境垃圾的检测方法、电子设备、计算机可读介质 Download PDF

Info

Publication number
CN115409993A
CN115409993A CN202210967581.0A CN202210967581A CN115409993A CN 115409993 A CN115409993 A CN 115409993A CN 202210967581 A CN202210967581 A CN 202210967581A CN 115409993 A CN115409993 A CN 115409993A
Authority
CN
China
Prior art keywords
feature extraction
garbage
extraction layer
detection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210967581.0A
Other languages
English (en)
Inventor
罗静
敦建征
张培
张赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRSC Institute of Smart City Research and Design Co Ltd
Original Assignee
CRSC Institute of Smart City Research and Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Institute of Smart City Research and Design Co Ltd filed Critical CRSC Institute of Smart City Research and Design Co Ltd
Priority to CN202210967581.0A priority Critical patent/CN115409993A/zh
Publication of CN115409993A publication Critical patent/CN115409993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种环境垃圾的检测方法，包括：采集目标场景的待检测图像；将所述待检测图像输入环境垃圾检测模型，对所述目标场景中的垃圾进行检测；其中，所述环境垃圾检测模型包括三个特征提取层，所述特征提取层基于深度可分离卷积提取特征图参数，所述特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸；根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息。本公开还提供一种电子设备、一种计算机可读介质。

Description

环境垃圾的检测方法、电子设备、计算机可读介质
技术领域
本公开涉及计算机视觉技术领域，特别涉及一种环境垃圾的检测方法、一种电子设备、一种计算机可读介质。
背景技术
目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。目标检测还可以用于环境垃圾的检测，相比于依赖环卫工人人工排查，检测效率更高，有助于环境垃圾高效及时的清理。
但是，利用传统的大型网络模型进行环境垃圾的目标检测，虽然检测精度能够满足检测标准，但是由于大型网络模型计算量大、内存消耗高，会导致目标检测的效率低下，无法满足及时性要求。
发明内容
本公开实施例提供一种环境垃圾的检测方法、一种电子设备、一种计算机可读介质。
第一方面，本公开实施例提供一种环境垃圾的检测方法，包括：
采集目标场景的待检测图像；
将所述待检测图像输入环境垃圾检测模型，对所述目标场景中的垃圾进行检测；其中，所述环境垃圾检测模型包括三个特征提取层，所述特征提取层基于深度可分离卷积提取特征图参数，所述特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸；
根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息。
在一些实施例中，所述环境垃圾检测模型的三个特征提取层包括第一特征提取层、第二特征提取层、第三特征提取层；所述环境垃圾检测模型还包括SPPNet层和PANet层，所述PANet层对应第一分支、第二分支、第三分支；其中，
所述第一特征提取层的输出作为所述第二特征提取层的输入；
所述第二特征提取层的输出与所述第一特征提取层的输出的和，作为所述第三特征提取层的输入和所述第二分支的输入；
所述第三特征提取层的输出作为所述SPPNet层的输入和所述第三分支的输入；
所述SPPNet层的输出作为所述第一分支的输入。
在一些实施例中，所述第一特征提取层包括MobileNetV1网络，所述MobileNetV1网络包括第一深度可分离卷积子层。
在一些实施例中，所述第二特征提取层包括MobileNetV2网络，所述MobileNetV2网络包括第一残差块，所述第一残差块的步距为1，所述第一残差块包括第二深度可分离卷积子层。
在一些实施例中，所述第三特征提取层包括两个并列的第二残差块，所述第二残差块的步距为2，所述第二残差块包括第三深度可分离卷积子层。
在一些实施例中，根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息，包括：
根据所述检测结果按照预设划分标准进行统计，确定汇总结果。
在一些实施例中，根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息，还包括：
根据所述汇总结果生成清理路线规划信息和清理人员规划信息。
在一些实施例中，所述检测方法还包括：
采集多个样本图像；
为所述样本图像添加标签，得到训练样本集，其中，所述标签用于对所述样本图像中垃圾进行标识；
利用所述训练样本集对所述环境垃圾检测模型进行训练。
第二方面，本公开实施例提供一种电子设备，其包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例第一方面所述的环境垃圾的检测方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开实施例第一方面所述的环境垃圾的检测方法。
本公开实施例中，构建了用于对目标场景中的垃圾进行检测的环境垃圾检测模型，环境垃圾检测模型包括三个特征提取层，特征提取层基于深度可分离卷积进行特征提取，能够减少网络模型的参数和网络模型的计算量；而特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸，能够减少内存消耗，从而提高了环境垃圾检测模型的运行效率，有利于提升环境垃圾的目标检测的效率以满足及时性要求。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。
在附图中：
图1是本公开实施例中一种环境垃圾的检测方法的流程图；
图2是一种传统YOLOV4网络模型
图3是本公开实施例中一种环境垃圾检测模型的结构示意图；
图4是本公开实施例中一种第一特征提取层的结构示意图；
图5是本公开实施例中一种第二特征提取层的结构示意图；
图6是本公开实施例中一种第一残差块的结构示意图；
图7是本公开实施例中一种第三特征提取层的结构示意图；
图8是本公开实施例中一种第二残差块的结构示意图；
图9是本公开实施例中一种电子设备的组成框图；
图10是本公开实施例中一种计算机可读介质的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的环境垃圾的检测方法、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
第一方面，参照图1，本公开实施例提供一种环境垃圾的检测方法，包括：
S1、采集目标场景的待检测图像；
S2、将所述待检测图像输入环境垃圾检测模型，对所述目标场景中的垃圾进行检测；其中，所述环境垃圾检测模型包括三个特征提取层，所述特征提取层基于深度可分离卷积提取特征图参数，所述特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸；
S3、根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息。
在本公开实施例中，环境垃圾检测模型是基于YOLOV4网络构建的模型。与传统YOLOV4网络模型中采用传统卷积(Traditional Convolution)进行特征提取不同，本公开实施例中的环境垃圾检测模型包括三个特征提取层，每一个特征提取层都基于深度可分离卷积提取特征图参数。
深度可分离卷积主要分为逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)两个过程。其中，逐通道卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，这个过程产生的特征图的通道数等于输入特征图的通道数；逐点卷积的卷积核的尺寸为1×1×M，M为上一层的特征图通道数。逐点卷积会将上一步的特征图在深度方向进行加权组合，起到打通各特征通道关联的作用。
假设输入的特征图尺寸为Df×Df，通道数为M，卷积核尺寸为Dk×Dk，卷积核数量为N，取填充的
Figure BDA0003795387080000051
保证输出特征图尺寸也为Df×Df，输出通道数为N，其中，Df,M,Dk,N为正整数。
以一次卷积为例：
传统卷积一次卷积的计算量TC为：
TC＝Dk·Dk·M·Df·Df·N；
深度可分离卷卷积一次卷积的计算量DP为：
DP＝Dk·Dk·Df·Df·M+1×1×M·Df·Df·N；
将传统卷积一次卷积的计算量TC与深度可分离卷卷积一次卷积的计算量DP进行比较：
Figure BDA0003795387080000052
即当N≥3,Dk≥3时，随着N,Dk的不断增大，
Figure BDA0003795387080000053
之比将越来越小，也就是说，深度可分离卷积的计算量小于传统卷积的计算量。
因此，在本公开实施例中，基于YOLOV4网络构建的环境垃圾检测模型中，用深度可分离卷积替换传统YOLOV4网络模型中的传统卷积，能够减少网络模型的参数和网络模型的计算量，从而提高环境垃圾检测模型的运行效率，有利于提升环境垃圾的目标检测的效率以满足及时性要求。
在本公开实施例中，特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸，即特征提取层在计算过程中，特征图的尺寸保持不变。在特征图的尺寸保持不变的情况下，特征图的长宽保持不变，特征图的通道数也保持一致。
假设有一个1×1的卷积，输入通道数为Cin，输出通道数为Cout，特征图尺寸长宽分别为h,w，得到卷积的每秒浮点运算次数(FLOPs，floating point operations persecond)可以表示为：
B＝hwCinCout；
假设有足够大的储存器储存完整的特征图，则内存消耗(MAC，Memory AccessCost)可以表示为：
MAC＝hw(Cin+Cout)+CinCout；
运用中值定理可得：
Figure BDA0003795387080000061
当Cin＝Cout时，MAC取最小值。
因此，在本公开实施例中，特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸，即特征提取层在计算过程中特征图的通道数保持一致，能够减少内存消耗，有利于提高环境垃圾检测模型的运行效率，从而提升环境垃圾的目标检测的效率以满足及时性要求。
本公开实施例提供的环境垃圾的检测方法中，构建了用于对目标场景中的垃圾进行检测的环境垃圾检测模型，环境垃圾检测模型包括三个特征提取层，特征提取层基于深度可分离卷积进行特征提取，能够减少网络模型的参数和网络模型的计算量；而特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸，能够减少内存消耗，从而提高了环境垃圾检测模型的运行效率，有利于提升环境垃圾的目标检测的效率以满足及时性要求。
传统YOLOV4网络模型如图2所示。传统YOLOV4网络模型包括CSPDarknet53层、卷积层(Conv×3)、空间金字塔池化(SPP，Spatial Pyramid Pooling)层、连接与卷积层(Concat+Conv×3)、路径聚合网络(PANet，Path Aggregation Network)层以及YOLO Head。传统YOLOV4网络模型中的连接关系如图2所示。
在一些实施例中，在基于YOLOV4网络构建环境垃圾检测模型时，用三个特征提取层替换如图2所示的YOLOV4网络模型中的CSPDarknet53层，代替CSPDarknet53层输出图2所示的分支1、分支2、分支3所需的特征图参数。
相应地，在一些实施例中，环境垃圾检测模型的结构如图3所示。所述环境垃圾检测模型的三个特征提取层包括第一特征提取层、第二特征提取层、第三特征提取层；所述环境垃圾检测模型还包括SPPNet层和PANet层，所述PANet层对应第一分支、第二分支、第三分支；其中，所述第一特征提取层的输出作为所述第二特征提取层的输入；所述第二特征提取层的输出与所述第一特征提取层的输出的和，作为所述第三特征提取层的输入和所述第二分支的输入；所述第三特征提取层的输出作为所述SPPNet层的输入和所述第三分支的输入；所述SPPNet层的输出作为所述第一分支的输入。
需要说明的是，在图3、图4、图5、图7中，分支一对应第一分支，分支二对应第二分支，分支三对应第三分支。
如图3所示，SPPNet层包括卷积层(Conv)、最大池化(Maxpooling)(5×5)层、Maxpooling(9×9)层、Maxpooling(13×13)层、连接(Concat)层，SPPNet层中的连接关系如图3所示。PANet层包括连接与卷积层(Concat+Conv×5)、卷积与上采样层(ConvUpSampling)、下采样层(DownSampling)，PANet中的连接关系如图3所示。
在一些实施例中，参照图3、图4，所述第一特征提取层包括改进后的移动端深度学习网络(MobileNet-V1)，改进后的MobileNet-V1包括第一深度可分离卷积子层(深度可分离卷积×3)。
在一些实施例中，参照图3、图5、图6，所述第二特征提取层包括改进后的移动端深度学习网络(MobileNet-V2)，改进后的MobileNet-V2网络包括第一残差块，所述第一残差块的步距为1，所述第一残差块包括第二深度可分离卷积子层。
在一些实施例中，步距为1的第一残差块如图6所示，包括：非线性卷积层(Conv 1×1,Relu6)、第二深度可分离卷积子层(Depthwise 3×3,Relu6)、线性卷积层(Conv 1×1,Linear)、加法器(Add)。第一残差块中的连接关系如图6所示。
在一些实施例中，参照图3、图7、图8所述第三特征提取层包括改进后的ShuffleNet网络，改进后的ShuffleNet网络包括两个并列的第二残差块，所述第二残差块的步距为2，所述第二残差块包括第三深度可分离卷积子层。
在一些实施例中，步距为2的第二残差块如图8所示，包括：非线性卷积层(Conv 1×1,Relu6)、第三深度可分离卷积子层(Depthwise 3×3,stride＝2,Relu6)、线性卷积层(Conv 1×1,Linear)。第二残差块中的连接关系如图8所示。
如图7所示，第三特征提取层的两个并列的第二残差块中，还包括分线性批量标准化层(BN-ReLU)以及批量标准化层(BN，Batch Normalization)。第三特征提取层中的连接关系如图7所示。
本公开实施例对于根据检测结果生成的反馈信息不做特殊限定。
在一些实施例中，根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息，包括：根据所述检测结果按照预设划分标准进行统计，确定汇总结果。
在一些实施例中，根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息，还包括：根据所述汇总结果生成清理路线规划信息和清理人员规划信息。
在本公开实施例中，还可以对环境垃圾检测模型进行训练，以提高环境垃圾检测模型的检测精度。
在一些实施例中，所述检测方法还包括：采集多个样本图像；为所述样本图像添加标签，得到训练样本集，其中，所述标签用于对所述样本图像中垃圾进行标识；利用所述训练样本集对所述环境垃圾检测模型进行训练。
第二方面，参照图9，本公开实施例提供一种电子设备，其包括：
一个或多个处理器101；
存储器102，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本公开实施例第一方面所述的环境垃圾的检测方法；
一个或多个I/O接口103，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。
第三方面，参照图10，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本公开实施例第一方面所述的环境垃圾的检测方法。
为了使本领域技术人员能够更清楚地理解本公开实施例提供的技术方案，下面通过具体的实施例，对本公开实施例提供的技术方案进行详细说明。
实施例
在本实施例中，环境垃圾的检测过程包括：
数据采集。采集目标场景的图像数据，保证足够多的数据集，并尽可能的提高采集图像数据的清晰度。
模型构建。将如图4、图5、图7所示的第一特征提取层、第二特征提取层、第三特征提取层，分别与YOLOV4网络模型所需的三个分支层进行输入对接，保证传入的特征数量与YOLO-V4模型所需特征层一致。
数据标定。将采集的图像数据进行标定。可选地，使用LableImg标签工具进行数据信息的标定，并将训练图像和标签放到对应的文件夹中，保证程序对图片的正常读取。
模型训练。根据需要检测的目标数量修改训练参数，执行模型训练程序，得到训练后的模型，例如，可以得到一个最佳(best)模型为验证集准确率最高模型、一个最终(last)模型为最终训练的模型。
模型问题记录。将已训练完成的模型进行实际场景的应用，并进行相应的问题记录。
模型优化。根据实际场景的检测效果，进行模型超参数的调整与数据集的补充，补充数据集为检测准确率不高的图像情况；调整网络模型的超参数包括深度卷积网络的超参数、学习率等。
模型储存。
环境垃圾检测。将模型部署到嵌入式设备中，对实际场景的环境垃圾进行检测，根据垃圾检测结果进行合理化统计，以街道为划分标准得到汇总结果，根据垃圾数量和紧急处理程度等因素，进行清理路线规划与清理人员规划，实现对环境垃圾准确、迅速的处理效果，逐步实现城市环境卫生的智慧化管理模式。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (10)

1.一种环境垃圾的检测方法，包括：
采集目标场景的待检测图像；
将所述待检测图像输入环境垃圾检测模型，对所述目标场景中的垃圾进行检测；其中，所述环境垃圾检测模型包括三个特征提取层，所述特征提取层基于深度可分离卷积提取特征图参数，所述特征提取层的输入特征矩阵的尺寸等于输出特征矩阵的尺寸；
根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息。
2.根据权利要求1所述的检测方法，其中，所述环境垃圾检测模型的三个特征提取层包括第一特征提取层、第二特征提取层、第三特征提取层；所述环境垃圾检测模型还包括SPPNet层和PANet层，所述PANet层对应第一分支、第二分支、第三分支；其中，
所述第一特征提取层的输出作为所述第二特征提取层的输入；
所述第二特征提取层的输出与所述第一特征提取层的输出的和，作为所述第三特征提取层的输入和所述第二分支的输入；
所述第三特征提取层的输出作为所述SPPNet层的输入和所述第三分支的输入；
所述SPPNet层的输出作为所述第一分支的输入。
3.根据权利要求2所述的检测方法，其中，所述第一特征提取层包括MobileNetV1网络，所述MobileNetV1网络包括第一深度可分离卷积子层。
4.根据权利要求2所述的检测方法，其中，所述第二特征提取层包括MobileNetV2网络，所述MobileNetV2网络包括第一残差块，所述第一残差块的步距为1，所述第一残差块包括第二深度可分离卷积子层。
5.根据权利要求2所述的检测方法，其中，所述第三特征提取层包括两个并列的第二残差块，所述第二残差块的步距为2，所述第二残差块包括第三深度可分离卷积子层。
6.根据权利要求1至5中任意一项所述的检测方法，其中，根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息，包括：
根据所述检测结果按照预设划分标准进行统计，确定汇总结果。
7.根据权利要求6所述的检测方法，其中，根据对所述目标场景中的垃圾进行检测的检测结果生成反馈信息，还包括：
根据所述汇总结果生成清理路线规划信息和清理人员规划信息。
8.根据权利要求1至5中任意一项所述的检测方法，其中，所述检测方法还包括：
采集多个样本图像；
为所述样本图像添加标签，得到训练样本集，其中，所述标签用于对所述样本图像中垃圾进行标识；
利用所述训练样本集对所述环境垃圾检测模型进行训练。
9.一种电子设备，其包括：
一个或多个处理器；
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至8中任意一项所述的环境垃圾的检测方法；
一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
10.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至8中任意一项所述的环境垃圾的检测方法。
CN202210967581.0A 2022-08-12 2022-08-12 环境垃圾的检测方法、电子设备、计算机可读介质 Pending CN115409993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210967581.0A CN115409993A (zh) 2022-08-12 2022-08-12 环境垃圾的检测方法、电子设备、计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210967581.0A CN115409993A (zh) 2022-08-12 2022-08-12 环境垃圾的检测方法、电子设备、计算机可读介质

Publications (1)

Publication Number Publication Date
CN115409993A true CN115409993A (zh) 2022-11-29

Family

ID=84159452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210967581.0A Pending CN115409993A (zh) 2022-08-12 2022-08-12 环境垃圾的检测方法、电子设备、计算机可读介质

Country Status (1)

Country Link
CN (1) CN115409993A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709477A (zh) * 2020-06-16 2020-09-25 浪潮集团有限公司 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN113076924A (zh) * 2021-04-21 2021-07-06 西交利物浦大学 基于无人船的河面垃圾实时检测方法、装置及存储介质
CN113076992A (zh) * 2021-03-31 2021-07-06 武汉理工大学 一种生活垃圾检测方法及装置
CN113408394A (zh) * 2021-06-11 2021-09-17 通号智慧城市研究设计院有限公司 一种基于深度学习模型的安全帽佩戴检测方法及系统
CN113469264A (zh) * 2021-07-14 2021-10-01 南通通琦自动化科技有限公司 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709477A (zh) * 2020-06-16 2020-09-25 浪潮集团有限公司 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN113076992A (zh) * 2021-03-31 2021-07-06 武汉理工大学 一种生活垃圾检测方法及装置
CN113076924A (zh) * 2021-04-21 2021-07-06 西交利物浦大学 基于无人船的河面垃圾实时检测方法、装置及存储介质
CN113408394A (zh) * 2021-06-11 2021-09-17 通号智慧城市研究设计院有限公司 一种基于深度学习模型的安全帽佩戴检测方法及系统
CN113469264A (zh) * 2021-07-14 2021-10-01 南通通琦自动化科技有限公司 一种垃圾自动分类模型的构建方法、垃圾分拣方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙其功: "《深度神经网络FPGA设计与实现》", 西安电子科技大学出版社, pages: 198 *

Similar Documents

Publication Publication Date Title
US10963632B2 (en) Method, apparatus, device for table extraction based on a richly formatted document and medium
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
US20200117906A1 (en) Space-time memory network for locating target object in video content
CN107103326B (zh) 基于超像素聚类的协同显著性检测方法
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN110163889A (zh) 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN110309856A (zh) 图像分类方法、神经网络的训练方法及装置
KR20190048073A (ko) 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치
CN112801169B (zh) 一种基于改进yolo算法的伪装目标检测方法、系统、装置及存储介质
CN112215332B (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN110738235B (zh) 肺结核判定方法、装置、计算机设备及存储介质
KR102165273B1 (ko) 소형 뉴럴 네트워크의 채널 프루닝(pruning) 방법 및 시스템
Zeng et al. A novel tensor decomposition-based efficient detector for low-altitude aerial objects with knowledge distillation scheme
CN111242127A (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
US11568212B2 (en) Techniques for understanding how trained neural networks operate
CN115457364A (zh) 一种目标检测知识蒸馏方法、装置、终端设备和存储介质
CN111179212B (zh) 集成蒸馏策略和反卷积的微小目标检测片上实现方法
CN109410246A (zh) 基于相关滤波的视觉跟踪的方法及装置
US20230401427A1 (en) Training neural network with budding ensemble architecture based on diversity loss
CN113807354A (zh) 图像语义分割方法、装置、设备和存储介质
US11694074B2 (en) Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network device
CN113762231B (zh) 端对端的多行人姿态跟踪方法、装置及电子设备
CN110969138A (zh) 人体姿态估计方法及设备
CN116958718A (zh) 向量确定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221129