CN111767822B - 垃圾检测方法以及相关设备、装置 - Google Patents

垃圾检测方法以及相关设备、装置 Download PDF

Info

Publication number
CN111767822B
CN111767822B CN202010584231.7A CN202010584231A CN111767822B CN 111767822 B CN111767822 B CN 111767822B CN 202010584231 A CN202010584231 A CN 202010584231A CN 111767822 B CN111767822 B CN 111767822B
Authority
CN
China
Prior art keywords
original image
detection
area
garbage
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010584231.7A
Other languages
English (en)
Other versions
CN111767822A (zh
Inventor
李保坤
王枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010584231.7A priority Critical patent/CN111767822B/zh
Publication of CN111767822A publication Critical patent/CN111767822A/zh
Application granted granted Critical
Publication of CN111767822B publication Critical patent/CN111767822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Abstract

本申请公开了一种垃圾检测方法以及相关设备、装置，其中，垃圾检测方法包括：获取对待测场景拍摄得到的原始图像；对原始图像进行区域检测，得到原始图像中的目标区域，其中，目标区域与待测场景中垃圾区域对应；对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。上述方案，能够提高垃圾检测的效率。

Description

垃圾检测方法以及相关设备、装置
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种垃圾检测方法以及相关设备、装置。
背景技术
近年来，我国各地针对环保的工作力度逐渐增强，其中，水面、小区、景区等场景下的垃圾治理是环保工作的重要环节之一。
为了提升垃圾治理成效，不仅要加大环保宣传力度，以提升公民环保意识，而且对诸多场景进行垃圾检测，以辅助工作人员进行垃圾治理，也是提升垃圾治理效率的有效手段之一。有鉴于此，如何提高垃圾检测的效率成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种垃圾检测方法以及相关设备、装置，能够提高垃圾检测的效率。
为了解决上述问题，本申请第一方面提供了一种垃圾检测方法，包括：获取对待测场景拍摄得到的原始图像；对原始图像进行区域检测，得到原始图像中的目标区域，其中，目标区域与待测场景中垃圾区域对应；对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。
为了解决上述问题，本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的垃圾检测方法。
为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的垃圾检测方法。
上述方案，通过获取对待测场景拍摄得到的原始图像，并对原始图像进行区域检测，得到原始图像中的目标区域，且目标区域与待测场景中垃圾区域对应，从而对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息，故能够仅对与垃圾区域对应的目标区域进行目标检测，而无需对原始图像的全图进行检测，从而能够降低计算量，提高垃圾检测的效率。
附图说明
图1是本申请垃圾检测方法一实施例的流程示意图；
图2是对原始图像进行区域检测一实施例的示意图；
图3是本申请垃圾检测方法另一实施例的流程示意图；
图4是将原始图像划分为至少一个第二候选区域一实施例的示意图；
图5是本申请垃圾检测装置一实施例的框架示意图；
图6是本申请电子设备一实施例的框架示意图；
图7是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请垃圾检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取对待测场景拍摄得到的原始图像。
待测场景可以根据具体应用场景而进行设置。例如，当对水面垃圾进行检测时，待测场景可以包括但不限于：河道、湖面、江面等；或者，当对小区垃圾进行检测时，待测场景可以包括但不限于：小区花园、楼道、内部道路等；或者，当对景区垃圾进行检测时，待测场景可以包括但不限于：景区花园、草坪、景观湖等，其他应用场景可以以此类推，在此不再一一举例。
在一个实施场景中，原始图像可以是由监控相机、无人机、移动终端等设备拍摄得到的，在此不做限定。例如，当对水面进行垃圾检测时，可以利用手机、平板电脑等移动终端对水面进行拍摄，得到原始图像，或者，还可以利用无人机对水面进行拍摄，得到原始图像，在此不做限定；或者，当对小区、景区等进行垃圾检测时，可以利用小区、景区内安装的监控相机拍摄得到原始图像；或者，还可以利用手机、平板电脑、无人机等拍摄得到原始图像，在此不做限定。
步骤S12：对原始图像进行区域检测，得到原始图像中的目标区域，其中，目标区域与待测场景中垃圾区域对应。
在一个实施场景中，待测场景中的垃圾可以包括但不限于：生活垃圾、建筑垃圾。例如，当对水面、景区、小区进行垃圾检测时，可以包括：塑料袋、纸箱、纸袋、塑料瓶、厨余等生活垃圾；此外，在对小区进行垃圾检测时，还可以包括：砂石、砖块、木料等建筑垃圾，其他场景可以以此类推，在此不再一一举例。
在一个实施场景中，待测场景中垃圾区域可以是包含密集垃圾的区域。例如，水面上密集分布的垃圾区域、小区内成片的建筑垃圾区域等等，在此不做限定。
在一个实施场景中，为了进一步提高垃圾检测的效率，还可以判断目标区域的区域面积是否满足预设检测条件，若满足，则执行下述对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息的步骤，从而在目标区域的区域面积较小的情况下，免去后续目标检测步骤，进而能够降低计算量，提高垃圾检测的效率。在一个具体的实施场景中，预设检测条件包括：区域面积大于第一预设面积阈值。具体地，区域面积可以通过统计区域内所包含的像素点数量来确定，在此不做限定。
在一个实施场景中，为了进一步提高垃圾检测的效率，在对原始图像进行区域检测，得到原始图像中的目标区域之前，还可以将原始图像的原始图像尺寸调整至一预设图像尺寸，例如，将原始图像尺寸为2048*2048的原始图像调整至512*512，从而对调整后的原始图像进行区域检测，得到调整后的原始图像中的目标区域，并按照原始图像尺寸与预设图像尺寸之间的尺寸比例，对调整后的原始图像中的目标区域进行调整，从而得到原始图像中的目标区域，从而能够降低区域检测时的计算量，进而能够有利于提高垃圾检测的效率，仍以将原始图像尺寸为2048*2048的原始图像调整至512*512为例，可以将调整后的原始图像中的目标区域按照2048:512的尺寸比例进行调整。
在一个实施场景中，可以利用经训练的垃圾分割模型对原始图像进行检测，得到至少一个第一候选区域，并选取至少一个第一候选区域中区域面积满足预设面积条件的第一候选区域，作为原始图像中的目标区域。
在一个具体的实施场景中，预设面积条件可以包括：区域面积大于第二预设面积阈值，具体地，区域面积可以通过统计区域内所包含的像素点数量来确定，在此不做限定，通过选取至少一个第一候选区域中区域面积满足预设面积条件的第一候选区域，作为原始图像中的目标区域，能够有效排除噪点等干扰，从而能够有利于提高后续目标检测的效率和准确性。
在另一个具体的实施场景中，垃圾分割模型可以采用D-link net、Unet等网络模型，在此不做限定。
在又一个具体的实施场景中，可以通过执行如下步骤来获得经训练的垃圾分割模型：获取样本图像，且样本图像中标注有真实垃圾区域，具体地，可以采用多边形标注样本图像中成片的垃圾，采用垃圾分割模型对样本图像进行检测，得到预测垃圾区域，并利用预测垃圾区域和真实垃圾区域，确定垃圾分割模型的损失值，从而利用损失值调整垃圾分割模型的网络参数，具体地，还可以设置一训练结束条件，在满足训练结束条件时，可以结束对垃圾分割模型的训练，训练结束条件可以包括以下任一者：当前训练次数到达预设训练次数(如，500次、1000次等)，损失值小于一预设损失阈值，在此不做限定。故此，可以利用经训练的垃圾分割模型对原始图像进行像素级别的分类，从而确定原始图像中的至少一个候选区域。具体地，可以采用随机梯度下降(Stochastic Gradient Descent，SGD)、批量梯度下降(Batch Gradient Descent，BGD)、小批量梯度下降(Mini-Batch Gradient Descent，MBGD)等方式，利用损失值对垃圾分割模型的网络参数进行调整，其中，批量梯度下降是指在每一次迭代时，使用所有样本来进行参数更新；随机梯度下降是指在每一次迭代时，使用一个样本来进行参数更新；小批量梯度下降是指在每一次迭代时，使用一批样本来进行参数更新，在此不再赘述。
在又一个具体的实施场景中，请结合参阅图2，图2是对原始图像进行区域检测一实施例的示意图。在训练过程中，可以采用多边形标注样本图像中无垃圾区域作为前景，剩余的区域作为真实垃圾区域。以水面垃圾检测为例，可以采用多边形标注样本图像中干净水面区域作为前景，剩余部分作为真实垃圾区域，从而利用经训练的垃圾分割模型对原始图像进行区域检测，能够得到与目标区域对应的区域分割掩码图，区域分割掩码图可以为二值化图像，其中黑色区域可以表示目标区域，白色区域可以表示干净区域，如图2所示，水面垃圾检测场景下的原始图像经垃圾分割模型进行区域检测之后，所得到的区域分割掩码图中，黑色区域表示目标区域，白色区域表示干净水面。
步骤S13：对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。
在一个实施场景中，可以利用经训练的目标检测模型对目标区域进行目标检测，得到原始图像中的垃圾的位置信息和/或种类信息。
在一个具体的实施场景中，位置信息可以包括垃圾对应的矩形区域的中心位置、区域尺寸。在另一个具体的实施场景中，种类信息可以包括但不限于：瓶罐、塑料袋、其他。在又一个具体的实施场景中，目标检测模型可以采用YOLO、Faster RCNN等，在此不做限定。
在又一个具体的实施场景中，还可以在原始图像中以不同的标记形式对不同种类的垃圾进行标记，例如，对于瓶罐，可以采用红色矩形框进行标记，对于塑料袋可以采用黄色矩形框进行标记，具体可以根据实际应用而进行设置，在此不做限定。
在又一个具体的实施场景中，可以通过如下步骤训练得到目标检测模型，具体可以包括如下步骤：获取样本图像，且样本图像标注有垃圾的真实位置和/或真实种类，具体地，可以采用矩形框标注样本图像中的垃圾，在此不做限定，从而采用目标检测模型对样本图像进行目标检测，得到样本图像中垃圾的预测位置和/或预测种类，并利用预测位置及真实位置，和/或，预测种类及真实种类，确定目标检测模型的损失值，进而利用损失值调整目标检测模型的网络参数。具体地，还可以设置一训练结束条件，在满足训练结束条件时，可以结束对目标检测模型的训练，训练结束条件可以包括以下任一者：当前训练次数到达预设训练次数(如，500次、1000次等)，损失值小于一预设损失阈值，在此不做限定。故此，可以利用经训练的目标检测模型对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。具体地，可以采用随机梯度下降(Stochastic Gradient Descent，SGD)、批量梯度下降(Batch Gradient Descent，BGD)、小批量梯度下降(Mini-Batch GradientDescent，MBGD)等方式，利用损失值对目标检测模型的网络参数进行调整，其中，批量梯度下降是指在每一次迭代时，使用所有样本来进行参数更新；随机梯度下降是指在每一次迭代时，使用一个样本来进行参数更新；小批量梯度下降是指在每一次迭代时，使用一批样本来进行参数更新，在此不再赘述。
在一个实施场景中，在检测得到原始图像中垃圾的位置信息和/或种类信息时，可以对原始图像中的垃圾进行统计，以提高用户体验。例如，可以统计得到原始图像中的垃圾总数，在此基础上，可以在垃圾总数大于一预设数量阈值时，输出提示消息，以提示管理人员待测场景当前垃圾总数较多，需要及时清理；或者，还可以统计得到原始图像中各个种类的垃圾的数量分布，并根据该数量分布，输出垃圾管理建议，例如，统计得到景区中某一待测场景的食品包装袋较其他种类垃圾而言较多，则可以认为游客在该待测场景下进行进食的可能性较大，则可以输出“在当前待测场景中增设垃圾桶或增设禁止在此进食的警示牌”；或者，还可以统计得到某一待测场景的垃圾总数随时间的变化情况，并根据该变化情况，输出垃圾管理建议，例如，统计得到景区中某一待测场景中，垃圾总数在节假日通常激增，则可以认为节假日游客大概率在该待测场景下乱扔垃圾，则可以输出“在当前待测场景中增设垃圾桶或增设禁止乱扔垃圾的警示牌”垃圾管理建议，其他应用可以此类推，在此不再一一举例。
上述方案，通过获取对待测场景拍摄得到的原始图像，并对原始图像进行区域检测，得到原始图像中的目标区域，且目标区域与待测场景中垃圾区域对应，从而对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息，故能够仅对与垃圾区域对应的目标区域进行目标检测，而无需对原始图像的全图进行检测，从而能够降低计算量，提高垃圾检测的效率。
请参阅图3，图3是本申请垃圾检测方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S31：获取对待测场景拍摄得到的原始图像。
具体可以参阅前述实施例中的相关步骤。
步骤S32：对原始图像进行区域检测，得到原始图像中的目标区域，其中，目标区域与待测场景中垃圾区域对应。
具体可以参阅前述实施例中的相关步骤。
步骤S33：将原始图像划分为至少一个第二候选区域。
在一个实施场景中，每一第二候选区域的区域尺寸相同，具体地，可以采用预设尺寸的矩形框将原始图像划分为至少一个第二候选区域。在一个具体的实施场景中，预设尺寸可以根据原始图像的原始图像尺寸进行设置，以原始图像尺寸为2048*2048为例，预设尺寸可以设置在400*400至800*800范围之内，从而至少一个第二候选区域可以恰好覆盖原始图像全图，在此不做限定。
请结合参阅图4，图4是将原始图像划分为至少一个第二候选区域一实施例的示意图。如图4所示，原始图像是对水面垃圾场景进行拍摄得到的，可以将原始图像等分为4*4个第二候选区域。
在一个实施场景中，上述步骤S32和步骤S33可以按照先后顺序执行，例如，先执行步骤S32，后执行步骤S33；或者，先执行步骤S33，后执行步骤S32，此外，上述步骤S32和步骤S33也可以同时执行，在此不做限定。
步骤S34：选取至少一个第二候选区域中与目标区域的重合区域满足预设重合条件的第二候选区域，作为检测区域。
具体地，可以统计每一第二候选区域与目标区域的重合区域，并判断重合区域是否满足预设重合条件，将满足预设重合条件的第二候选区域作为后续进行目标检测的检测区域。在一个具体的实施场景中，预设重合条件可以包括：重合区域占第二候选区域的比例大于或等于一预设比例阈值(例如，10％)，预设比例阈值的具体数值可以根据实际应用场景进行设置，在此不做具体限定。在另一个具体的实施场景中，可以采用如图2所示的区域分割掩码图对每一第二候选区域进行数据处理，具体地，可以计算区域分割掩码图中黑色区域在每一第二候选区域中所占的比例，若计算得到的比例大于或等于一预设比例阈值(例如，10％等)，则可以将其作为后续目标检测的检测区域。请结合参阅图2和图4，利用图2中的区域分割掩码图对图4进行数据处理，可以确定位于图4中第一行第一列的第二候选区域不满足预设重合条件，位于图4中第二行第三列的第二候选区域不满足预设重合条件，故可以将剩余的第二候选区域作为后续目标检测的检测区域。其他场景可以以此类推，在此不再一一举例。
在一个实施场景中，为了节约计算资源，同时确保后续目标检测能力适应于待测场景，以保证垃圾检测的效果，还可以将原始图像的原始图像尺寸调整至一预设图像尺寸，例如，将原始图像尺寸为2048*2048的原始图像调整至512*512，从而对调整后的原始图像进行区域检测，得到调整后的原始图像中的目标区域，为了便于描述，将区域检测后所得到的图像称之为区域分割掩码图，并按照原始图像划分第二候选区域的方式，将区域分割掩码图划分为至少一个第三候选区域，并统计每一第三候选区域与区域分割掩码图中的目标区域的重合区域，并判断重合区域是否满足预设重合条件，将满足预设重合条件的第三候选区域在原始图像对应位置处的第二候选区域，作为后续进行目标检测的检测区域，从而既能够在目标检测之前排除干净区域，降低目标检测整体的计算负荷，又能够在目标检测时无需对原始图像缩放而分别检测每一检测区域，故在确保检测效果的同时，又能够在存在大面积垃圾的情况下，特别是垃圾密集堆积的情况下，使得每次需要检测的目标数量不会目标检测能力，故此，能够节约计算资源，并保证垃圾检测的效果。
步骤S35：分别对每一检测区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。
具体地，可以采用经训练的目标检测模型分别对每一检测区域进行目标检测，得到每一检测区域中垃圾的位置信息和/或种类信息，具体可以参阅前述实施例中的相关步骤，在此不再赘述。在此基础上可以利用每一检测区域在原始图像中的位置和每一检测区域中垃圾的位置信息和/或种类信息，确定原始图像中的垃圾的位置信息和/或种类信息。具体地，可以确定检测区域在原始图像中的行数m和列数n，从而可以利用下式，根据检测区域中垃圾的位置信息确定其在原始图像中的位置信息：
i′＝(m-1)×h+i
j′＝(n-1)×w+j
上式中，(i,j)表示垃圾在检测区域中的位置信息(即垃圾对应的矩形区域的中心位置为检测区域中第i行第j列个像素点)，(i′,j′)表示垃圾在原始图像中的位置信息(即垃圾对应的矩形区域的中心位置为原始图像中的第i’行第j’列个像素点)，m和n分别表示垃圾所在的检测区域在原始图像中的第m行第n列，w和h分别表示检测区域的宽度和高度，当采用平均划分方式划分时，检测区域的宽度w可以由原始图像的宽度W和划分的总列数N相除得到，检测区域的高度h可以由原始图像的高度H和划分的总行数M相除得到。此外，垃圾的位置信息还可以包括垃圾对应的矩形区域的尺寸，在一个具体的实施场景中，检测区域中垃圾对应的矩形区域的尺寸，及其在原始图像中对应的矩形区域的尺寸可以相同。在另一个具体的实施场景中，检测区域中垃圾的种类信息，及其在原始图像中的种类信息相同，在此不再赘述。
区别于前述实施例，在对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息之前，将原始图像划分为至少一个第二候选区域，并选取至少一个第二候选区域中与目标区域的重合区域满足预设重合条件的第二候选区域，作为检测区域，从而分别对每一检测区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息，能够有利于使目标检测能力适应于密集型的垃圾检测，进而能够在节约计算资源的同时，确保检测效果。
请参阅图5，图5是本申请垃圾检测装置50一实施例的框架示意图。垃圾检测装置50包括图像获取模块51、区域检测模块52和目标检测模块53，图像获取模块51用于获取对待测场景拍摄得到的原始图像；区域检测模块52用于对原始图像进行区域检测，得到原始图像中的目标区域，其中，目标区域与待测场景中垃圾区域对应；目标检测模块53用于对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。
上述方案，通过获取对待测场景拍摄得到的原始图像，并对原始图像进行区域检测，得到原始图像中的目标区域，且目标区域与待测场景中垃圾区域对应，从而对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息，故能够仅对与垃圾区域对应的目标区域进行目标检测，而无需对原始图像的全图进行检测，从而能够降低计算量，提高垃圾检测的效率。
在一些实施例中，垃圾检测装置50还包括条件判断模块，用于判断目标区域的区域面积是否满足预设检测条件，目标检测模块53具体用于在目标区域的区域面积满足预设检测条件时，执行对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息的步骤。
区别于前述实施例，通过判断目标区域的区域面积是否满足预设检测条件，并在目标区域的区域面积满足预设检测条件时，执行对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息的步骤，故能够在目标区域的区域面积不满足预设检测条件的情况下，免去后续目标检测步骤，进而能够降低计算量，提高垃圾检测的效率。
在一些实施例中，预设检测条件包括：区域面积大于第一预设面积阈值。
区别于前述实施例，将预设检测条件设置为包括：区域面积大于第一预设面积阈值，故能够在目标区域的区域面积较小的情况下，免去后续目标检测步骤，进而能够降低计算量，提高垃圾检测的效率。
在一些实施例中，垃圾检测装置50还包括尺寸调整模块，用于将原始图像的原始图像尺寸调整至一预设图像尺寸，区域检测模块52包括区域检测子模块，用于对调整后的原始图像进行区域检测，得到调整后的原始图像中的目标区域，区域检测模块52包括区域调整子模块，用于按照原始图像尺寸与预设图像尺寸之间的尺寸比例，对调整后的原始图像中的目标区域进行调整，得到原始图像中的目标区域。
区别于前述实施例，通过将原始图像的原始图像尺寸调整至一预设图像尺寸，从而对调整后的原始图像进行区域检测，得到调整后的原始图像中的目标区域，并按照原始图像尺寸与预设图像尺寸之间的尺寸比例，对调整后的原始图像中的目标区域进行调整，得到原始图像中的目标区域，故能够降低区域检测时的计算量，进而能够有利于提高垃圾检测的效率。
在一些实施例中，区域检测模块52还包括第一候选区域获取子模块，用于利用经训练的垃圾分割模型对原始图像进行检测，得到至少一个第一候选区域，区域检测模块52还包括目标区域获取子模块，用于选取至少一个第一候选区域中区域面积满足预设面积条件的第一候选区域，作为原始图像中的目标区域。
区别于前述实施例，利用经训练的垃圾分割模型对原始图像进行检测，得到至少一个第一候选区域，并选取至少一个第一候选区域中区域面积满足预设面积条件的第一候选区域，作为原始图像中的目标区域，能够有效排除噪点等干扰，从而能够有利于提高后续目标检测的效率和准确性。
在一些实施例中，预设面积条件包括：区域面积大于第二预设面积阈值。
区别于前述实施例，将预设面积条件设置为包括：区域面积大于第二预设面积阈值，从而能够将区域面积较大的第一候选区域作为后续目标检测的目标区域，故能够排除噪点等干扰，从而能够有利于提高后续目标检测的效率和准确性。
在一些实施例中，垃圾检测装置50还包括图像划分模块，用于将原始图像划分为至少一个第二候选区域，垃圾检测装置50还包括区域选取模块，用于选取至少一个第二候选区域中与目标区域的重合区域满足预设重合条件的第二候选区域，作为检测区域，目标检测模块53具体用于分别对每一检测区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。
区别于前述实施例，在对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息之前，将原始图像划分为至少一个第二候选区域，并选取至少一个第二候选区域中与目标区域的重合区域满足预设重合条件的第二候选区域，作为检测区域，从而分别对每一检测区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息，能够有利于使目标检测能力适应于密集型的垃圾检测，进而能够在节约计算资源的同时，确保检测效果。
在一些实施例中，预设重合条件包括：重合区域占第二候选区域的比例大于或等于一预设比例阈值。
区别于前述实施例，将预设重合条件设置为包括：重合区域占第二候选区域的比例大于或等于一预设比例阈值，故能够排除至少一个第二候选区域中的非垃圾区域，从而能够降低后续目标检测的计算量，进而能够有利于提高垃圾检测的效率。
在一些实施例中，目标检测模块53包括目标检测子模块，用于利用经训练的目标检测模型分别对每一检测区域进行目标检测，得到每一检测区域中垃圾的位置信息和/或种类信息，目标检测模块53还包括信息确定子模块，用于利用每一检测区域在原始图像中的位置和每一检测区域中垃圾的位置信息和/或种类信息，确定原始图像中垃圾的位置信息和/或种类信息。
区别于前述实施例，利用经训练的目标检测模型分别对每一检测区域进行目标检测，得到每一检测区域中垃圾的位置信息和/或种类信息，并利用每一检测区域在原始图像中的位置和每一检测区域中垃圾的位置信息和/或种类信息，确定原始图像中垃圾的位置信息和/或种类信息，从而能够基于对每一检测区域的目标检测结果，得到原始图像的目标检测结果，故能够有利于使目标检测能力适应于密集型的垃圾检测。
请参阅图6，图6是本申请垃圾检测设备60一实施例的框架示意图。垃圾检测设备60包括相互耦接的存储器61和处理器62，存储器61存储有程序指令，处理器62用于执行程序指令以实现上述任一垃圾检测方法实施例中的步骤。
具体而言，处理器62用于控制其自身以及存储器61以实现上述任一垃圾检测方法实施例中的步骤。处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器62可以由多个集成电路芯片共同实现。
本实施例中，处理器62用于获取对待测场景拍摄得到的原始图像；处理器62用于对原始图像进行区域检测，得到原始图像中的目标区域，其中，目标区域与待测场景中垃圾区域对应；处理器62用于对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。
上述方案，通过获取对待测场景拍摄得到的原始图像，并对原始图像进行区域检测，得到原始图像中的目标区域，且目标区域与待测场景中垃圾区域对应，从而对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息，故能够仅对与垃圾区域对应的目标区域进行目标检测，而无需对原始图像的全图进行检测，从而能够降低计算量，提高垃圾检测的效率。
在一些实施例中，处理器62用于判断目标区域的区域面积是否满足预设检测条件，处理器62用于在目标区域的区域面积满足预设检测条件时，执行对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息的步骤。
区别于前述实施例，通过判断目标区域的区域面积是否满足预设检测条件，并在目标区域的区域面积满足预设检测条件时，执行对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息的步骤，故能够在目标区域的区域面积不满足预设检测条件的情况下，免去后续目标检测步骤，进而能够降低计算量，提高垃圾检测的效率。
在一些实施例中，预设检测条件包括：区域面积大于第一预设面积阈值。
区别于前述实施例，将预设检测条件设置为包括：区域面积大于第一预设面积阈值，故能够在目标区域的区域面积较小的情况下，免去后续目标检测步骤，进而能够降低计算量，提高垃圾检测的效率。
在一些实施例中，处理器62用于将原始图像的原始图像尺寸调整至一预设图像尺寸，处理器62用于对调整后的原始图像进行区域检测，得到调整后的原始图像中的目标区域，处理器62用于按照原始图像尺寸与预设图像尺寸之间的尺寸比例，对调整后的原始图像中的目标区域进行调整，得到原始图像中的目标区域。
区别于前述实施例，通过将原始图像的原始图像尺寸调整至一预设图像尺寸，从而对调整后的原始图像进行区域检测，得到调整后的原始图像中的目标区域，并按照原始图像尺寸与预设图像尺寸之间的尺寸比例，对调整后的原始图像中的目标区域进行调整，得到原始图像中的目标区域，故能够降低区域检测时的计算量，进而能够有利于提高垃圾检测的效率。
在一些实施例中，处理器62用于利用经训练的垃圾分割模型对原始图像进行检测，得到至少一个第一候选区域，处理器62用于选取至少一个第一候选区域中区域面积满足预设面积条件的第一候选区域，作为原始图像中的目标区域。
区别于前述实施例，利用经训练的垃圾分割模型对原始图像进行检测，得到至少一个第一候选区域，并选取至少一个第一候选区域中区域面积满足预设面积条件的第一候选区域，作为原始图像中的目标区域，能够有效排除噪点等干扰，从而能够有利于提高后续目标检测的效率和准确性。
在一些实施例中，预设面积条件包括：区域面积大于第二预设面积阈值。
区别于前述实施例，将预设面积条件设置为包括：区域面积大于第二预设面积阈值，从而能够将区域面积较大的第一候选区域作为后续目标检测的目标区域，故能够排除噪点等干扰，从而能够有利于提高后续目标检测的效率和准确性。
在一些实施例中，处理器62用于将原始图像划分为至少一个第二候选区域，处理器62用于选取至少一个第二候选区域中与目标区域的重合区域满足预设重合条件的第二候选区域，作为检测区域，处理器62用于分别对每一检测区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息。
区别于前述实施例，在对目标区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息之前，将原始图像划分为至少一个第二候选区域，并选取至少一个第二候选区域中与目标区域的重合区域满足预设重合条件的第二候选区域，作为检测区域，从而分别对每一检测区域进行目标检测，得到原始图像中垃圾的位置信息和/或种类信息，能够有利于使目标检测能力适应于密集型的垃圾检测，进而能够在节约计算资源的同时，确保检测效果。
在一些实施例中，预设重合条件包括：重合区域占第二候选区域的比例大于或等于一预设比例阈值。
区别于前述实施例，将预设重合条件设置为包括：重合区域占第二候选区域的比例大于或等于一预设比例阈值，故能够排除至少一个第二候选区域中的非垃圾区域，从而能够降低后续目标检测的计算量，进而能够有利于提高垃圾检测的效率。
在一些实施例中，处理器62用于利用经训练的目标检测模型分别对每一检测区域进行目标检测，得到每一检测区域中垃圾的位置信息和/或种类信息，处理器62用于利用每一检测区域在原始图像中的位置和每一检测区域中垃圾的位置信息和/或种类信息，确定原始图像中垃圾的位置信息和/或种类信息。
区别于前述实施例，利用经训练的目标检测模型分别对每一检测区域进行目标检测，得到每一检测区域中垃圾的位置信息和/或种类信息，并利用每一检测区域在原始图像中的位置和每一检测区域中垃圾的位置信息和/或种类信息，确定原始图像中垃圾的位置信息和/或种类信息，从而能够基于对每一检测区域的目标检测结果，得到原始图像的目标检测结果，故能够有利于使目标检测能力适应于密集型的垃圾检测。
请参阅图7，图7为本申请存储装置70一实施例的框架示意图。存储装置70存储有能够被处理器运行的程序指令701，程序指令701用于实现上述任一垃圾检测方法实施例中的步骤。
上述方案，能够仅对与垃圾区域对应的目标区域进行目标检测，而无需对原始图像的全图进行检测，从而能够降低计算量，提高垃圾检测的效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种垃圾检测方法，其特征在于，包括：
获取对待测场景拍摄得到的原始图像；
对所述原始图像进行区域检测，得到所述原始图像中的目标区域，其中，所述目标区域与所述待测场景中垃圾区域对应；
将所述原始图像划分为至少一个第二候选区域；
选取所述至少一个第二候选区域中与所述目标区域的重合区域满足预设重合条件的第二候选区域，作为检测区域；
分别对每一所述检测区域进行目标检测，得到所述原始图像中垃圾的位置信息和/或种类信息。
2.根据权利要求1所述的垃圾检测方法，其特征在于，所述将所述原始图像划分为至少一个第二候选区域之前，所述垃圾检测方法还包括：
判断所述目标区域的区域面积是否满足预设检测条件；
若是，则执行所述将所述原始图像划分为至少一个第二候选区域的步骤及其后续步骤，直至得到所述原始图像中垃圾的位置信息和/或种类信息。
3.根据权利要求2所述的垃圾检测方法，其特征在于，所述预设检测条件包括：所述区域面积大于第一预设面积阈值。
4.根据权利要求1所述的垃圾检测方法，其特征在于，所述对所述原始图像进行区域检测，得到所述原始图像中的目标区域之前，所述垃圾检测方法还包括：
将所述原始图像的原始图像尺寸调整至一预设图像尺寸；
所述对所述原始图像进行区域检测，得到所述原始图像中的目标区域包括：
对调整后的所述原始图像进行区域检测，得到调整后的所述原始图像中的目标区域；
按照所述原始图像尺寸与所述预设图像尺寸之间的尺寸比例，对调整后的所述原始图像中的目标区域进行调整，得到所述原始图像中的目标区域。
5.根据权利要求1所述的垃圾检测方法，其特征在于，所述对所述原始图像进行区域检测，得到所述原始图像中的目标区域包括：
利用经训练的垃圾分割模型对所述原始图像进行检测，得到至少一个第一候选区域；
选取所述至少一个第一候选区域中区域面积满足预设面积条件的第一候选区域，作为所述原始图像中的目标区域。
6.根据权利要求5所述的垃圾检测方法，其特征在于，所述预设面积条件包括：所述区域面积大于第二预设面积阈值。
7.根据权利要求1所述的垃圾检测方法，其特征在于，所述预设重合条件包括：所述重合区域占所述第二候选区域的比例大于或等于一预设比例阈值。
8.根据权利要求1所述的垃圾检测方法，其特征在于，所述分别对每一所述检测区域进行目标检测，得到所述原始图像中垃圾的位置信息和/或种类信息包括：
利用经训练的目标检测模型分别对每一所述检测区域进行目标检测，得到每一所述检测区域中垃圾的位置信息和/或种类信息；
利用每一所述检测区域在所述原始图像中的位置和每一所述检测区域中垃圾的位置信息和/或种类信息，确定所述原始图像中垃圾的位置信息和/或种类信息。
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至8任一项所述的垃圾检测方法。
10.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至8任一项所述的垃圾检测方法。
CN202010584231.7A 2020-06-23 2020-06-23 垃圾检测方法以及相关设备、装置 Active CN111767822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010584231.7A CN111767822B (zh) 2020-06-23 2020-06-23 垃圾检测方法以及相关设备、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010584231.7A CN111767822B (zh) 2020-06-23 2020-06-23 垃圾检测方法以及相关设备、装置

Publications (2)

Publication Number Publication Date
CN111767822A CN111767822A (zh) 2020-10-13
CN111767822B true CN111767822B (zh) 2023-04-25

Family

ID=72722091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010584231.7A Active CN111767822B (zh) 2020-06-23 2020-06-23 垃圾检测方法以及相关设备、装置

Country Status (1)

Country Link
CN (1) CN111767822B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270686B (zh) * 2020-12-24 2021-03-16 北京达佳互联信息技术有限公司 图像分割模型训练、图像分割方法、装置及电子设备
CN113506313A (zh) * 2021-07-07 2021-10-15 上海商汤智能科技有限公司 图像处理方法及相关装置和电子设备、存储介质
CN115240094A (zh) * 2021-09-30 2022-10-25 上海仙途智能科技有限公司 一种垃圾检测方法和装置
CN114494304B (zh) * 2022-04-18 2022-07-01 山东施卫普环保科技有限公司 一种智能的干洗车厢内部物料快速疏导方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944731A2 (en) * 2007-01-12 2008-07-16 Seiko Epson Corporation Method and apparatus for detecting objects in an image
CN106845408A (zh) * 2017-01-21 2017-06-13 浙江联运知慧科技有限公司 一种复杂环境下的街道垃圾识别方法
CN108932510A (zh) * 2018-08-20 2018-12-04 贵州宜行智通科技有限公司 一种垃圾检测方法及装置
CN109472200A (zh) * 2018-09-29 2019-03-15 深圳市锦润防务科技有限公司 一种智能的海面垃圾检测方法、系统和存储介质
CN111186656A (zh) * 2020-01-10 2020-05-22 上海电力大学 一种目标垃圾分类方法及智能垃圾桶

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944731A2 (en) * 2007-01-12 2008-07-16 Seiko Epson Corporation Method and apparatus for detecting objects in an image
CN106845408A (zh) * 2017-01-21 2017-06-13 浙江联运知慧科技有限公司 一种复杂环境下的街道垃圾识别方法
CN108932510A (zh) * 2018-08-20 2018-12-04 贵州宜行智通科技有限公司 一种垃圾检测方法及装置
CN109472200A (zh) * 2018-09-29 2019-03-15 深圳市锦润防务科技有限公司 一种智能的海面垃圾检测方法、系统和存储介质
CN111186656A (zh) * 2020-01-10 2020-05-22 上海电力大学 一种目标垃圾分类方法及智能垃圾桶

Also Published As

Publication number Publication date
CN111767822A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111767822B (zh) 垃圾检测方法以及相关设备、装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109087510B (zh) 交通监测方法及装置
CN106600977B (zh) 基于多特征识别的违停检测方法及系统
CN111126252A (zh) 摆摊行为检测方法以及相关装置
CN111210399B (zh) 一种成像质量评价方法、装置及设备
CN105631418A (zh) 一种人数统计的方法和装置
Gauci et al. Automating the characterisation of beach microplastics through the application of image analyses
CN113658192B (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
CN113536935A (zh) 一种工程现场的安全监测方法及设备
CN112766069A (zh) 基于深度学习的车辆违停检测方法、装置及电子设备
Zhang et al. Counting vehicles in urban traffic scenes using foreground time‐spatial images
CN112052878A (zh) 一种雷达的遮挡识别的方法、装置及存储介质
CN113989626B (zh) 一种基于目标检测模型的多类别垃圾场景区分方法
CN115171034A (zh) 道路异物检测方法、场景中异物检测方法及装置
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN113505643A (zh) 违章目标物检测方法及相关装置
CN111079744B (zh) 适用于复杂光照环境的车辆车牌智能识别方法及装置
CN111027560B (zh) 文本检测方法以及相关装置
CN116110030A (zh) 目标检测方法、装置、电子设备及存储介质
CN111178153A (zh) 一种交通标志检测方法及系统
CN113221724B (zh) 车辆抛洒物检测方法及系统
CN114913488A (zh) 抛洒物检测方法、装置、电子设备及存储介质
CN110751618B (zh) 一种漂浮物检测方法、装置及电子设备
CN112101148B (zh) 一种运动目标检测方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant