CN113255804A - 基于图像变化检测的垃圾溯源方法、装置 - Google Patents

基于图像变化检测的垃圾溯源方法、装置 Download PDF

Info

Publication number
CN113255804A
CN113255804A CN202110617410.0A CN202110617410A CN113255804A CN 113255804 A CN113255804 A CN 113255804A CN 202110617410 A CN202110617410 A CN 202110617410A CN 113255804 A CN113255804 A CN 113255804A
Authority
CN
China
Prior art keywords
garbage
image
attention
change detection
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110617410.0A
Other languages
English (en)
Inventor
龙利民
李强
徐克�
胡勇超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuling Artificial Intelligence Institute Nanjing Co ltd
Original Assignee
Tuling Artificial Intelligence Institute Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuling Artificial Intelligence Institute Nanjing Co ltd filed Critical Tuling Artificial Intelligence Institute Nanjing Co ltd
Priority to CN202110617410.0A priority Critical patent/CN113255804A/zh
Publication of CN113255804A publication Critical patent/CN113255804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像变化检测的垃圾溯源方法、装置，包括：垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。上述技术方案，采用注意力模块构建的图像变化检测模型，以及图像特征提取过程中的优化过程，可以准确有效识别新增垃圾，为后续的垃圾类型识别和垃圾溯源提供基础。

Description

基于图像变化检测的垃圾溯源方法、装置
技术领域
本发明涉及垃圾分类领域，尤其涉及基于图像变化检测的垃圾溯源方法、装置。
背景技术
如今，垃圾分类开始普及，但垃圾分类的执行却存在一定的难度，主要反映在多数人不主动进行垃圾分类，或者不主动根据垃圾桶对应的垃圾类型投放垃圾。
为了督促人们执行垃圾分类，提出的应对方案包括有派遣专人在垃圾桶旁监督，但该方案十分耗费人力，并且实际效果不佳。因此又提出了垃圾溯源方案，利用电子系统，将垃圾与投放垃圾的人进行关联，以此实现垃圾溯源，但存在的问题是，通过电子系统难以准确的实现人与垃圾之间的关联，常常容易出现关联错误等情形。
其中具体的原因在于，现有技术中通常采用图像识别模型对单张垃圾图像进行识别或分类，就垃圾图像识别结果而言，由于垃圾的外观形状多种多样，没有显著的特征，是难以通过单张图像识别得到其中垃圾图像的部分，通常会将其他不相关的图像部分作为垃圾图像，因此该方案在实际中可行性不强；就垃圾图像分类结果而言，首先面临上述关于垃圾图像识别的问题，识别确定的图像部分中可能不存在所要投放的垃圾，其次，由于垃圾的种类繁多，生活中各种各样的物品都有被作为垃圾的可能，对于需要海量数据训练的模型而言，精准识别每一种垃圾种类，再进行垃圾类型对应，在实际中同样可行性不强。例如专利CN2019106902859公开的技术方案，获取包含待识别垃圾的待识别垃圾图像，输入分类模型进行垃圾类型分类，根据类型结果进行后续关联。其中存在的问题包括：（1）鲜有用户会主动按照特定姿势或角度进行图像拍摄，获取的待识别垃圾图像受到清晰度较低、模糊、拍摄位置以及光线变化等干扰，对图像识别和分类本身就是一种极大的挑战，实际可行性不强；（2）上述垃圾图像识别问题；（3）上述垃圾图像分类问题。
发明内容
发明目的：本发明提供一种基于图像变化检测的垃圾溯源方法、装置，旨在建立人与垃圾之间准确的关联关系，实现垃圾有效溯源。
技术方案：本发明提供一种基于图像变化检测的垃圾溯源方法，包括：
垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
具体的，用户向放置特定类型垃圾的垃圾桶发出启动请求，设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
具体的，采用全卷积网络Unet对初始特征图进行图像分割；当特征提取器为全卷积网络Unet时，原始图像和变化图像分别经过Unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络Unet通过对抗学习进行训练。
具体的，将初始特征图划分为不同尺寸的子特征图，将各幅子特征图输入基本时空注意力模块，对各个基本时空注意力模块的输出进行拼接，拼接后的特征图经过卷积层还原为与初始特征图相同的通道数和尺寸，再与初始特征图相加，得到注意力特征图。
具体的，计算注意力特征图之间像素级的欧氏距离图，通过设定的阈值计算欧式距离图之中大于阈值的图像部分，将变化图像中对应的部分作为区别部分。
具体的，在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
本发明还提供一种基于图像变化检测的垃圾溯源装置，包括：图像获取单元、变化检测单元和溯源单元，其中：
所述图像获取单元，用于垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
所述变化检测单元，用于应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
所述溯源单元，用于将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
具体的，所述图像获取单元，用于用户向放置特定类型垃圾的垃圾桶发出启动请求，控制设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
具体的，所述变化检测单元，用于在初始特征图输入注意力模块之前，采用全卷积网络Unet对初始特征图进行图像分割；当特征提取器为全卷积网络Unet时，原始图像和变化图像分别经过Unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络Unet通过对抗学习进行训练。
具体的，所述溯源单元，用于在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
有益效果：与现有技术相比，本发明具有如下显著优点：采用注意力模块构建的图像变化检测模型，以及图像特征提取过程中的针对噪音干扰的优化过程，进一步避免了拍摄位置、光线以及垃圾袋形状发生变化等因素的干扰，可以准确有效识别新增垃圾图像，为后续的垃圾类型识别和垃圾溯源提供基础。
附图说明
图1为本发明实施例提供的垃圾溯源方法的流程示意图；
图2为本发明实施例提供的金字塔时空注意力模块的结构示意图；
图3为本发明实施例提供的图像变化检测模型的结构示意图;
图4为本发明实施例提供的优化的图像变化检测模型的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明实施例提供的垃圾溯源方法的流程示意图，其中包括具体流程步骤。
步骤1，垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像。
本发明实施例中，用户向放置特定类型垃圾的垃圾桶发出启动请求，设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
在具体实施中，用户进入垃圾投放区域后，用户可以利用多种方式进行身份的确认和识别，包括通过RFID进行身份确认，或者通过智能移动设备上的应用程序与垃圾桶的监管平台建立通信等方式。在确认用户身份之后，用户可以根据自己所要投放的垃圾的类型，确定对应的垃圾桶（例如可回收物、有害垃圾和厨余垃圾等），向用于放置相应类型垃圾的垃圾桶发出启动请求。对应的垃圾桶在接收到启动请求之后，设置于垃圾桶桶盖内侧的图像获取装置（摄像装置等）和补光装置开始进行工作，获取在未投放新垃圾之前垃圾桶内的垃圾情况，即原始图像。
在具体实施中，在获取原始图像之后，可以开启垃圾桶的桶盖，此时用户可以投放垃圾。在用户完成垃圾投放之后，垃圾桶的桶盖关闭，桶盖内侧的图像获取装置和补光装置再次进行工作，获取在投放新垃圾之后垃圾桶内的垃圾情况，即变化图像。
步骤2，应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像。
在具体实施中，垃圾溯源的应用场景下，对于图像识别存在的问题和挑战包括：摄像头前后拍摄的两张照片容易受到闪光灯的影响，光线上存在差异；摄像头拍摄的位置会因为桶盖的移动，拍摄位置发生变化；垃圾桶中存在塑料袋，塑料袋在受到外部因素影响后容易产生形状上的变化；实际只需关注用户投放的垃圾，其他不相关因素的变化并不关注。因此，在存在以上问题的情况下，现有技术中的解决方案，实际上的应用效果比较差。
为了解决以上存在的诸多问题，本发明实施例中提出应用包括时空注意力模块的图像变化检测模型。变化检测数据（输入变化检测模型的两张图像）是由时间维度和空间维度的光谱向量组成的，开发不同时空位置之间的关系可以提升变化检测方法的效果，因此提出了时空自注意力机制。由于变化物体（新增垃圾）可能具有不同的大小，从一个合适的范围内提取特征可以更好地表示一定尺度的对象，因此将输入的图像分割成了多尺度的子区域，并在每个子区域中引入了自注意力机制，对从不同大小区域提取得到的特征结合，获得不同尺度的特征，进一步提升识别结果准确度。
基于自注意力时空变化模型，对图像信息边缘、光照、关注物体变化具有一定的鲁棒性，对外部环境引起的误配差异或误差有很好的兼容，十分契合本发明实施例的应用场景，垃圾投放前后拍摄的两张照片，虽然可能存在一定的光线变化、拍摄位置变化以及垃圾袋外形变化等干扰因素的影响，但由于实际应用场景下（在垃圾桶内进行图像拍摄）的外界条件相对稳定，以上干扰因素的影响程度有限，结合自注意力时空变化模型，可以进一步克服以上干扰因素的影响，准确识别其中的新增垃圾图像。
参阅图2和图3（图3中的注意力模块部分和图2中的相应部分一致，故略去其中的文字说明），分别为本发明实施例提供的金字塔时空注意力模块的结构示意图，和本发明实施例提供的图像变化检测模型的结构示意图。
本发明实施例中，图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：特征提取器分别提取原始图像（I(1)）和变化图像（I(2)）的初始特征图（X(1)和X(2)）后，输入嵌有基本时空注意力模块（Basic spatial–temporal attention module，BAM）的金字塔时空注意力模块（Pyramid spatial–temporal attention module，PAM）中，输出相应的注意力特征图；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像。
在具体实施中，变化检测数据是由时间维度和空间维度的光谱向量组成的，开发不同时空位置之间的关系可以提升变化检测的效果，由于变化物体可能具有不同的大小，从一个合适的范围内提取特征可以更好地表示一定尺寸的对象，由此提出了时空自注意力机制。可以通过从不同尺寸的区域提取得到的特征进行结合，以获得不同尺寸的特征。因此将图像分割成了多尺寸的子区域，并在每个子区域中引入自注意力机制。
在具体实施中，BAM计算两张特征图中任意两个位置之间的时空注意力权重，并通过时空中所有位置特征的加权和计算每个位置的响应。PAM可以将BAM嵌入，得到金字塔结构以产生多尺寸的注意力表示。
本发明实施例中，特征提取器可以采用ResNet18（Residual Network，ResNet），并去掉全局池化和全连接层。原始的ResNet是为图像分类任务设计的，在网络最后的全局池化和全连接层将特征图映射到1000维的向量（分类类别数），而变化检测任务是密集的分类任务，需要将每个像素点分类成和原图尺寸相同的类别结果图。CNN的高级特征语义准确但位置粗糙，低级特征细节精细但缺乏语义信息。因此，可以将高级语义信息和低级空间信息融合起来，以产生更精细的表示。
本发明实施例中，参阅图4（图4中的图像变化检测模型部分和图2、图3中的相应部分一致，故略去其中的文字说明），可以采用全卷积网络Unet对初始特征图进行图像分割；当特征提取器为全卷积网络Unet时，原始图像和变化图像分别经过Unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络Unet通过对抗学习进行训练。
在具体实施中，在实际的环境下，得到的图像存在偏暗或者偏亮的情况，对于图片的区别识别会造成一定的影响，因此可以在特征提取之后对进行增强处理。采用全卷积网络，特别是Unet，Unet通过对抗学习的训练之后可以增强物体分割后的清晰度，实现对初始特征图的图像分割和图像增强，将Unet作为特征提取器，或者在特征提取器提取得到初始特征图后应用Unet，以便于后续注意力模块的处理，提升最终识别结果的准确度。Unet通常应用于医学领域的图像分割，应用于垃圾的图像分割效果也十分出色。
本发明实施例中，注意力模块的工作流程包括：将初始特征图划分为不同尺寸的子特征图，将各幅子特征图输入基本时空注意力模块，对各个基本时空注意力模块的输出进行拼接，拼接后的特征图经过卷积层还原为与初始特征图相同的通道数和尺寸，再与初始特征图相加，得到注意力特征图。
在具体实施中，在BAM中，特征图（可以是已经经过全卷积网络Unet）首先通过三个不同的1×1 卷积层，分别得到三个特征Q、K 和V，分别表示查询、键和值。然后分别改变K和Q的尺寸，对K还进行转置，将转置后的K与Q相乘，对乘积结果进行softmax操作，将softmax结果与改变尺寸后的V相乘得到Y，再将Y改变成与原图相同的尺寸，最后将输入的特征图与特征图Y相加，得到最终的特征图。
在具体实施中，PAM可以有4个分支，将特征图划分为不同尺寸的子区域，并在每个子区域中应用BAM，将4个分支的输出进行拼接，拼接结果经过1×1卷积层得到特征图Y ，Y与输入的特征图X相加，得到最终的注意力特征图（Z(1)和Z(2)）。
在C×H×W中，C是图的通道数，H和W分别是图的高和宽。
本发明实施例中，原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，包括：计算注意力特征图之间像素级的欧氏距离图P，通过设定的阈值计算欧式距离图之中大于阈值的图像部分，将变化图像中对应的部分作为区别部分。
在具体实施中，欧氏距离大于预先设定的阈值，表明该部分产生了变化，可以确定是新投放的垃圾。在训练阶段，度量模块可以应用损失函数。
在具体实施中，图像变化检测模型在训练阶段，可以使用打上标签的图像作为训练集进行训练，其中训练图像可以根据垃圾桶的垃圾类型确定范围，在缩小训练范围的情况下，可以显著提高变化检测结果的准确度。
在具体实施中，图像变化检测模型整体上是经过优化的STANet（STANet，Spatial–Temporal Attention Neural Network）。
在具体实施中，现有技术中的识别算法（例如cv2.findContours，算法本身比对像素点之间的差异，两张图像对外部的拍摄环境要求比较高，容易受到光线和拍摄角度影响）应用在垃圾图像识别中，识别准确率通过数据测算大概是30%，本发明中的变化检测算法识别准确率是70%以上。准确识别图像中的新增垃圾图像部分，并与使用用户建立准确的关联关系，由此建立的垃圾溯源机制，避免将错误的垃圾图像或者不准确的垃圾图像与用户进行关联。
本发明实施例中，在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
在具体实施中，新增垃圾图像是新投放的垃圾的图像部分。在确定新增垃圾图像后，如果新投放垃圾不是由垃圾袋包装，或者包装垃圾袋是透明的，还可以对其进行图像识别分类，可以确定新投放的垃圾的类型，进而判断与垃圾桶的垃圾类型是否对应，也包括新投放的垃圾中是否存在部分垃圾的类型与垃圾桶的垃圾类型不对应。
在具体实施中，对新增垃圾图像进行图像识别和分类的优势在于，由于确定了垃圾类型，因此分类识别对象的范围可以缩小，有效降低前期训练的复杂度、提升识别结果的准确度，同时新增垃圾图像不包括其他干扰图像识别的因素，完全展现的是所要识别的对象，由此也可以大大提升识别结果的准确度。
在具体实施中，在用户违反垃圾分类规则进行垃圾投放时，可以通过智能移动设备的应用程序对用户发出提醒，并且通知监管平台，实现溯源。
步骤3，将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
在具体实施中，在已经确认了用户身份后，可以通过将用户所有投放的垃圾与用户建立关联关系，可以是将新增垃圾图像与使用用户建立关联关系，也可以是在对新增垃圾图像进行图像识别后，将识别结果与使用用户建立关联关系，由此在排查垃圾或者监管时，准确追踪到垃圾投放人，实现垃圾溯源和有效监管。
本发明还提供一种基于图像变化检测的垃圾溯源装置，包括：图像获取单元、变化检测单元和溯源单元，其中：
所述图像获取单元，用于垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
所述变化检测单元，用于应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
所述溯源单元，用于将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
本发明实施例中，所述图像获取单元，用于用户向放置特定类型垃圾的垃圾桶发出启动请求，控制设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
本发明实施例中，所述变化检测单元，用于在初始特征图输入注意力模块之前，采用全卷积网络Unet对初始特征图进行图像分割；当特征提取器为全卷积网络Unet时，原始图像和变化图像分别经过Unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络Unet通过对抗学习进行训练。
本发明实施例中，所述变化检测单元，用于将初始特征图划分为不同尺寸的子特征图，将各幅子特征图输入基本时空注意力模块，对各个基本时空注意力模块的输出进行拼接，拼接后的特征图经过卷积层还原为与初始特征图相同的通道数和尺寸，再与初始特征图相加，得到注意力特征图。
本发明实施例中，所述变化检测单元，用于计算注意力特征图之间像素级的欧氏距离图，通过设定的阈值计算欧式距离图之中大于阈值的图像部分，将变化图像中对应的部分作为区别部分。
本发明实施例中，所述溯源单元，用于在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。

Claims (10)

1.一种基于图像变化检测的垃圾溯源方法，其特征在于，包括：
垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
2.根据权利要求1所述的基于图像变化检测的垃圾溯源方法，其特征在于，所述于垃圾桶内获取垃圾的原始图像，包括：
用户向放置特定类型垃圾的垃圾桶发出启动请求，设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
3.根据权利要求2所述的基于图像变化检测的垃圾溯源方法，其特征在于，所述初始特征图输入注意力模块，之前还包括：
采用全卷积网络Unet对初始特征图进行图像分割；当特征提取器为全卷积网络Unet时，原始图像和变化图像分别经过Unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络Unet通过对抗学习进行训练。
4.根据权利要求3所述的基于图像变化检测的垃圾溯源方法，其特征在于，所述输入嵌有基本时空注意力模块的金字塔时空注意力模块中，输出注意力特征图，包括：
将初始特征图划分为不同尺寸的子特征图，将各幅子特征图输入基本时空注意力模块，对各个基本时空注意力模块的输出进行拼接，拼接后的特征图经过卷积层还原为与初始特征图相同的通道数和尺寸，再与初始特征图相加，得到注意力特征图。
5.根据权利要求4所述的基于图像变化检测的垃圾溯源方法，其特征在于，所述识别其中的区别部分，包括：
计算注意力特征图之间像素级的欧氏距离图，通过设定的阈值计算欧式距离图之中大于阈值的图像部分，将变化图像中对应的部分作为区别部分。
6.根据权利要求5所述的基于图像变化检测的垃圾溯源方法，其特征在于，所述作为新增垃圾图像，之后还包括：
在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
7.一种基于图像变化检测的垃圾溯源装置，其特征在于，包括：图像获取单元、变化检测单元和溯源单元，其中：
所述图像获取单元，用于垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
所述变化检测单元，用于应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
所述溯源单元，用于将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
8.根据权利要求7所述的基于图像变化检测的垃圾溯源装置，其特征在于，所述图像获取单元，用于用户向放置特定类型垃圾的垃圾桶发出启动请求，控制设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
9.根据权利要求8所述的基于图像变化检测的垃圾溯源装置，其特征在于，所述变化检测单元，用于在初始特征图输入注意力模块之前，采用全卷积网络Unet对初始特征图进行图像分割；当特征提取器为全卷积网络Unet时，原始图像和变化图像分别经过Unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络Unet通过对抗学习进行训练。
10.根据权利要求9所述的基于图像变化检测的垃圾溯源装置，其特征在于，所述溯源单元，用于在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
CN202110617410.0A 2021-06-03 2021-06-03 基于图像变化检测的垃圾溯源方法、装置 Pending CN113255804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617410.0A CN113255804A (zh) 2021-06-03 2021-06-03 基于图像变化检测的垃圾溯源方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617410.0A CN113255804A (zh) 2021-06-03 2021-06-03 基于图像变化检测的垃圾溯源方法、装置

Publications (1)

Publication Number Publication Date
CN113255804A true CN113255804A (zh) 2021-08-13

Family

ID=77186309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617410.0A Pending CN113255804A (zh) 2021-06-03 2021-06-03 基于图像变化检测的垃圾溯源方法、装置

Country Status (1)

Country Link
CN (1) CN113255804A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077877A (zh) * 2022-01-19 2022-02-22 人民中科(济南)智能技术有限公司 一种新增垃圾识别方法、装置、计算机设备及存储介质
CN114120136A (zh) * 2022-01-27 2022-03-01 人民中科(济南)智能技术有限公司 对垃圾进行分类的方法、装置以及存储介质
CN115641479A (zh) * 2022-12-23 2023-01-24 图灵人工智能研究院（南京）有限公司 基于注意力机制的智能垃圾分类变化检测方法
CN115830545A (zh) * 2022-12-13 2023-03-21 苏州市伏泰信息科技股份有限公司 面向垃圾分类的智能督导方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190128500A (ko) * 2018-05-08 2019-11-18 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
CN110503008A (zh) * 2019-08-05 2019-11-26 上海资汇信息科技有限公司 基于深度学习的智能人脸识别与垃圾分类系统
CN112298844A (zh) * 2019-07-29 2021-02-02 杭州海康威视数字技术股份有限公司 一种垃圾分类监督方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190128500A (ko) * 2018-05-08 2019-11-18 한국전자통신연구원 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
CN112298844A (zh) * 2019-07-29 2021-02-02 杭州海康威视数字技术股份有限公司 一种垃圾分类监督方法及装置
CN110503008A (zh) * 2019-08-05 2019-11-26 上海资汇信息科技有限公司 基于深度学习的智能人脸识别与垃圾分类系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AMBERRR-L: "Amberrr-L", 《HTTPS://BLOG.CSDN.NET/QQ_41647438/ARTICLE/DETAILS/108344141》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077877A (zh) * 2022-01-19 2022-02-22 人民中科(济南)智能技术有限公司 一种新增垃圾识别方法、装置、计算机设备及存储介质
CN114077877B (zh) * 2022-01-19 2022-05-13 人民中科(北京)智能技术有限公司 一种新增垃圾识别方法、装置、计算机设备及存储介质
CN114120136A (zh) * 2022-01-27 2022-03-01 人民中科(济南)智能技术有限公司 对垃圾进行分类的方法、装置以及存储介质
CN115830545A (zh) * 2022-12-13 2023-03-21 苏州市伏泰信息科技股份有限公司 面向垃圾分类的智能督导方法及系统
CN115830545B (zh) * 2022-12-13 2023-10-03 苏州市伏泰信息科技股份有限公司 面向垃圾分类的智能督导方法及系统
CN115641479A (zh) * 2022-12-23 2023-01-24 图灵人工智能研究院（南京）有限公司 基于注意力机制的智能垃圾分类变化检测方法
CN115641479B (zh) * 2022-12-23 2023-08-15 图灵人工智能研究院（南京）有限公司 基于注意力机制的智能垃圾分类变化检测方法

Similar Documents

Publication Publication Date Title
CN113255804A (zh) 基于图像变化检测的垃圾溯源方法、装置
St-Charles et al. A self-adjusting approach to change detection based on background word consensus
CN105745687B (zh) 情景感知移动目标检测
CN105574550A (zh) 一种车辆识别方法及装置
CN109003390A (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN110991435A (zh) 一种基于深度学习的快递运单关键信息定位方法和装置
CN105224947B (zh) 分类器训练方法和系统
CN107833221A (zh) 一种基于多通道特征融合和机器学习的漏水监测方法
CN106022231A (zh) 一种基于多特征融合的行人快速检测的技术方法
CN103617432A (zh) 一种场景识别方法及装置
CN111612002A (zh) 一种基于神经网络的多目标物体运动追踪方法
CN110723432A (zh) 垃圾分类的方法及增强现实设备
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN111611970A (zh) 一种基于城管监控视频的乱扔垃圾行为检测方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN106682092A (zh) 一种目标检索方法及终端
CN110751226A (zh) 人群计数模型的训练方法、装置和存储介质
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
CN111488940A (zh) 一种基于深度卷积神经网络的航标图像智能分类方法
CN112686180A (zh) 一种封闭空间人员数量计算方法
CN111652242B (zh) 图像处理方法、装置、电子设备及存储介质
CN113269038A (zh) 一种基于多尺度的行人检测方法
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination