CN112036500A - 基于深度图像及多光谱图像融合的垃圾分类方法及装置 - Google Patents
基于深度图像及多光谱图像融合的垃圾分类方法及装置 Download PDFInfo
- Publication number
- CN112036500A CN112036500A CN202010921001.5A CN202010921001A CN112036500A CN 112036500 A CN112036500 A CN 112036500A CN 202010921001 A CN202010921001 A CN 202010921001A CN 112036500 A CN112036500 A CN 112036500A
- Authority
- CN
- China
- Prior art keywords
- image
- garbage
- multispectral
- classified
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 320
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000002372 labelling Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 11
- 239000002699 waste material Substances 0.000 description 11
- 239000002184 metal Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于垃圾分类技术领域，尤其涉及一种基于深度图像及多光谱图像融合的垃圾分类方法及装置，所述方法包括：获取待分类垃圾的垃圾图像数据集；垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；将待分类垃圾深度图像和待分类垃圾多光谱图像作图像配准处理；对配准后垃圾深度图像和配准后垃圾多光谱图像作分类标注处理；将标注后垃圾深度图像和标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；根据最优神经网络模型生成分选结果。本发明实现了对垃圾实现自动评分以及自动分类，输出一个最大概率的类别标签，进而实现对垃圾的高精准度和高效率分类，满足垃圾分类的生产需求。
Description
技术领域
本发明属于垃圾分类技术领域，尤其涉及一种基于深度图像及多光谱图像 融合的垃圾分类方法及装置。
背景技术
垃圾分类，是指将性质相同或相近的垃圾分类，按照指定时间、种类，将 该项垃圾放置于指定地点，由垃圾车予以收取，或投入适当回收系统。我国建 筑行业对建筑垃圾的分类问题未引起足够的重视，处理方式多为统一堆放填埋， 分类都较为粗糙，未真正做到建筑垃圾的合理分类和循环回收利用。
目前，对建筑垃圾分类多采用人工分类，因建筑施工垃圾的材质和形状大 多数极为相似，通过人工分类，虽然可以达到90％以上的分类效果，但是人工分 类的速度极为受限，难以保证连续以及长期的工作时间。同时对于现有的计算 机的自动分类器来说，大多数的分类方案都是选择提取图像的RGB像素特征来 进行图像分类，虽然可以在普通的自然图像达到一定的分类效果，但还是存在 对垃圾分类精准度低和效率低的问题。因此，实有必要设计一种基于深度图像 及多光谱图像融合的垃圾分类方法及装置。
发明内容
发明目的在于提供一种基于深度图像及多光谱图像融合的垃圾分类方法及 装置，旨在解决现有技术中对垃圾分类精准度低和效率低的技术问题。
为实现上述目的，本发明实施例提供一种基于深度图像及多光谱图像融合 的垃圾分类方法，所述方法包括：
获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾 深度图像和待分类垃圾多光谱图像；
将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处 理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；
对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处 理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后 垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；
将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于 Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；
根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框 和分类类别。
可选地，所述待分类垃圾多光谱图像包括紫外光图像、近红外图像和RGB 图像；
所述将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准 处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像的步骤，具体包括：
将所述待分类垃圾深度图像与所述紫外光图像、所述近红外图像和所述RGB 图像一一配准，以获取配准后垃圾深度图像和配准后垃圾多光谱图像；其中， 所述配准后垃圾多光谱图像包括配准后紫外光图像、配准后近红外图像和配准 后RGB图像。
可选地，所述对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作 分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像的步骤， 具体包括：
对所述配准后垃圾深度图像、所述配准后紫外光图像、所述配准后近红外 图像和所述配准后RGB图像作分类标注处理，并获取所述标注后垃圾深度图像 和所述标注后垃圾多光谱图像；所述标注后垃圾多光谱图像包括标注后紫外光 图像、标注后近红外图像和标注后RGB图像。
可选地，所述将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加 载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络 模型的步骤，具体包括：
根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红 外图像生成第一特征向量；
根据所述标注后RGB图像生成第二特征向量；
将所述第一特征向量和所述第二特征向量进行特征连接后得到向量融合特 征；
扩大所述向量融合特征的向量维度，并得到输出向量特征信息；
将所述输出向量特征信息与所述分类标注信息作对比，并生成对比结果； 所述对比结果包括交并比和非极大抑制值；
调整所述交并比和所述非极大抑制值，并基于回归方法生成最优神经网络 模型。
可选地，所述根据所述标注后垃圾深度图像、所述标注后紫外光图像和所 述标注后近红外图像生成第一特征向量的步骤，具体包括：
将所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外 图像作为三通道图像输入至YOLOv4神经网络中的一个CSPDarknet53中；
根据所述CSPDarknet53提取所述标注后垃圾深度图像、所述标注后紫外光 图像和所述标注后近红外图像的光谱图像特征信息；所述光谱图像特征信息包 括光谱图像特征和光谱图像关联特征；
对所述光谱图像特征和所述光谱图像关联特征作卷积核处理后得到不同尺 度的光谱特征图；
将不同尺度的所述光谱特征图作交叉尺度融合后生成融合后光谱特征图；
将所述融合后光谱特征图作金字塔池化并生成所述第一特征向量。
可选地，所述根据所述标注后RGB图像生成第二特征向量的步骤，具体包 括：
将所述标注后RGB图像输入至YOLOv4神经网络中的另一个CSPDarknet53 中；
根据所述CSPDarknet53提取所述标注后RGB图像的RGB图像特征信息；所 述RGB图像特征信息包括RGB图像特征和RGB图像关联特征；
对所述RGB图像特征和所述RGB图像关联特征作卷积核处理后得到不同尺 度的RGB图像特征图；
根据不同尺度的所述RGB图像特征图作交叉尺度融合后生成融合后RGB图 像特征图；
将所述融合后RGB图像特征图作金字塔池化并生成所述第二特征向量。
可选地，所述获取待分类垃圾的垃圾图像数据集的步骤之后，还包括：
对所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作降噪处理。
本发明实施例还提供一种基于深度图像及多光谱图像融合的垃圾分类装 置，所述装置包括：
垃圾图像数据集获取模块，用于获取待分类垃圾的垃圾图像数据集；所述 垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；
图像配准处理模块，用于将所述待分类垃圾深度图像和所述待分类垃圾多 光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图 像；
图像分类标注处理模块，用于对所述配准后垃圾深度图像和所述配准后垃 圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光 谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括 对应的分类标注信息；
神经网络模型生成模块，用于将所述标注后垃圾深度图像和所述标注后垃 圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生 成最优神经网络模型；
分选结果生成模块，用于根据所述最优神经网络模型生成分选结果；所述 分选结果包括目标检测框和分类类别。
可选地，本发明还提供一种计算机设备，包括存储器和处理器，所述存储 器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
可选地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序， 所述计算机程序被处理器执行时实现上述的方法的步骤。
本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类方法及装 置中的上述一个或多个技术方案至少具有如下技术效果之一：
本发明首先通过获取待分类垃圾深度图像和待分类垃圾多光谱图像，并将 待分类垃圾深度图像和待分类垃圾多光谱图像分别作配准处理和分类标注处 理，接着通过将标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于 Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型，如 此，先通过多光谱图像与深度图像的融合，再通过基于Pytorch框架的YOLOv4 神经网络的模型训练，可以对垃圾实现自动评分以及自动分类，输出一个最大 概率的类别标签，进而实现对垃圾的高精准度和高效率分类，满足垃圾分类的 生产需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是发明一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性 的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类方 法的应用场景图；
图2为本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类方 法的流程图；
图3为本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类方 法中步骤S410-步骤S460的流程图；
图4为本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类方 法中步骤S411-步骤S415的流程图；
图5为本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类方 法中步骤S421-步骤S425的流程图；
图6为本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类装 置的结构框图；
图7为本发明实施例提供的基于深度图像及多光谱图像融合的垃圾分类装 置中神经网络模型生成模块的结构框图；
图8为本发明实施例提供的计算机设备的结构框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术 之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当 清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中， 省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节 妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括” 指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个 或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是 指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这 些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以 依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。 类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下 文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或 事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第 二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着 在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特 点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一 些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必 然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除 非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的 变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在发明一个实施例中，如图1所示，提供本发明所述基于深度图像及多光 谱图像融合的垃圾分类方法的应用场景图。该应用环境包括垃圾处理设备800。 本申请所述基于深度图像及多光谱图像融合的垃圾分类方法应用于所述垃圾处 理设备800中，所述垃圾处理设备800可以获取待分类垃圾的垃圾图像数据集； 将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并 获取配准后垃圾深度图像和配准后垃圾多光谱图像；对所述配准后垃圾深度图 像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像 和标注后垃圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾 多光谱图像均包括对应的分类标注信息；将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训 练，并生成最优神经网络模型；根据所述最优神经网络模型生成分选结果；所 述分选结果包括目标检测框和分类类别。
在发明一个实施例中，如图2所示，提供一种基于深度图像及多光谱图像 融合的垃圾分类方法，所述方法包括：
步骤S100：获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括 待分类垃圾深度图像和待分类垃圾多光谱图像；
本实施例中，所述待分类垃圾可以针对建筑垃圾。当然也可以针对其他类 型垃圾。
本步骤中，获取所述待分类垃圾的垃圾图像数据集，即为获取所述待分类 垃圾深度图像和所述待分类垃圾多光谱图像。其中，所述待分类垃圾深度图像 具有深度图像信息。深度图像信息有助于对重叠物体的边缘检测，解决重叠物 体之间的分割难题。
进一步地，在预设的特定深度及多光谱采集系统中，当建筑垃圾经过移动 传输带时，经过CCD相机以及特定照明系统的采集区域，通过使不同波段的光 照照射在建筑垃圾表面，同时CCD相机迅速采集成像信息。最后，获取所述待 分类垃圾多光谱图像，以及通过深度摄像头采集后获取所述待分类垃圾深度图 像。
步骤S200：将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图 像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；
本步骤中，因为获取的所述待分类垃圾深度图像和所述待分类垃圾多光谱 图像由于相机间的捕获时间不同，会造成物体在图像上的位置存在细微差异， 所以需要作配准处理。通过将所述待分类垃圾深度图像和所述待分类垃圾多光 谱图像作图像配准处理，使所述配准后垃圾深度图像和所述配准后垃圾多光谱 图像实现像素间的一一对应，进而保证目标所在位置的一致性。
步骤S300：对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分 类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所 述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信 息；
步骤S400：将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载 至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模 型；
本步骤中，基于Pytorch框架的YOLOv4神经网络，是目前在单阶段深度学 习网络中性能最好的网络之一，通过采用YOLOv4进行模型的推理训练，使通过 YOLOv4实现速度快且准确的推理，即能够实现同时追求网络精度也能够追求网 络速度，同时YOLOv4在此基础上还能够降低硬件要求，降低了训练成本，可以 使得在较低端硬件设备上依然能跑出准确度高的模型，进而实现对垃圾的高精 准度和高效率分类，满足垃圾分类的生产需求，具有广阔的应用前景。
步骤S500：根据所述最优神经网络模型生成分选结果；所述分选结果包括 目标检测框和分类类别。
本步骤中，通过通过训练好的所述最优神经网络模型来进行图像预测，可 以快速的完成自动评分以及自动分类，输出一个最大概率的类别标签，实现输 出目标检测框和分类类别，以实现对建筑垃圾的快速分选。
本发明首先通过获取待分类垃圾深度图像和待分类垃圾多光谱图像，并将 待分类垃圾深度图像和待分类垃圾多光谱图像分别作配准处理和分类标注处 理，接着通过将标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于 Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型，如 此，先通过多光谱图像与深度图像的融合，再通过基于Pytorch框架的YOLOv4 神经网络的模型训练，可以对垃圾实现自动评分以及自动分类，输出一个最大 概率的类别标签，进而实现对垃圾的高精准度和高效率分类，满足垃圾分类的 生产需求。
在发明另一个实施例中，所述待分类垃圾多光谱图像包括紫外光图像、近 红外图像和RGB图像。
所述将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准 处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像的步骤，具体包括：
将所述待分类垃圾深度图像与所述紫外光图像、所述近红外图像和所述RGB 图像一一配准，以获取配准后垃圾深度图像和配准后垃圾多光谱图像；其中， 所述配准后垃圾多光谱图像包括配准后紫外光图像、配准后近红外图像和配准 后RGB图像。
具体地，本实施例中，所述RGB图像为可见光图像，所述紫外光图像、近 红外图像为不可见光图像。通过可见光图像和不可见光图像的结合，以解决特 定的建筑垃圾物体识别率不高的问题。
其中，通过所述RGB图像提供一定的颜色纹理信息，通过所述紫外光图像、 近红外图像提供材质和缺陷信息，从而提高物体的识别率，进而满足实际的工 业垃圾分类识别需求。
进一步地，在移动传输带的持续工作下，各种类别的建筑垃圾经过特定区 域的可调节照明环境中，照明系统根据特定的时序分别快速照365nm射紫外光、 常用的照明光以及790nm近红外光至经过的建筑垃圾表面，同时CCD摄像机高 速获取不同照明波段光谱的建筑垃圾图像，进而获取所述紫外光图像、所述近 红外图像和所述RGB图像。
继而，对待分类垃圾深度图像与所述紫外光图像、所述近红外图像和所述 RGB图像一一配准，即使待分类垃圾深度图像与所述紫外光图像、所述近红外图 像和所述RGB图像之间，两两相互对应，实现一一配准。
具体地，波段365nm的紫外光能提供较强的穿透，可以穿透大部分透明的 玻璃以及塑料，并记录玻璃和塑料的光谱特征数据。如此，通过获取所述紫外 光图像可以利用该光谱特征来区分出玻璃、塑料这类物体与其他类别物体，可 以为解决塑料及玻璃类垃圾的识别问题提供思路。
进一步地，以对一个表面覆盖混泥土的金属块的检测为例，通过获取该金 属块的RGB图像可以检测到该金属块的表面混泥土图像，通过获取该金属块的 紫外光图像可以检测混泥土覆盖下的金属块的表面纹理信息，通过获取该金属 块的近红外图像可以检测该金属块的更多的金属深层信息，如此，通过紫外光 图像、所述近红外图像和所述RGB图像的组合，使一个摄像头可以检测金属不 同深度的特征信息，进而通过三者结合判断材质，可以很好地解决塑料及玻璃 类垃圾的识别问题，提高垃圾识别的准确性。
在发明另一个实施例中，所述对所述配准后垃圾深度图像和所述配准后垃 圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光 谱图像的步骤，具体包括：
对所述配准后垃圾深度图像、所述配准后紫外光图像、所述配准后近红外 图像和所述配准后RGB图像作分类标注处理，并获取所述标注后垃圾深度图像 和所述标注后垃圾多光谱图像；所述标注后垃圾多光谱图像包括标注后紫外光 图像、标注后近红外图像和标注后RGB图像。
在发明另一个实施例中，如图3所示，所述将所述标注后垃圾深度图像和 所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模 型训练，并生成最优神经网络模型的步骤，具体包括：
步骤S410：根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述 标注后近红外图像生成第一特征向量；
具体地，所述标注后紫外光图像和所述标注后近红外图像为不可见光图像， 所述标注后垃圾深度图像则反映深度图像数据，故三者结合后获取的所述第一 特征向量，表征不可见光和深度图像的特征结合。
步骤S420：根据所述标注后RGB图像生成第二特征向量；
本步骤中，RGB图像为可见光图像，所述第二特征向量表征可见光的图像特 征数据。
步骤S430：将所述第一特征向量和所述第二特征向量进行特征连接后得到 向量融合特征；
本步骤中，通过将所述第一特征向量和所述第二特征向量进行特征连接， 实现了不同光谱图像与深度图像的特征融合，提升垃圾分类的准确性。
具体地，通过特征连接层实现特征连接，进而得到所述向量融合特征。
步骤S440：扩大所述向量融合特征的向量维度，并得到输出向量特征信息；
本步骤中，通过扩大向量维度，从而提高垃圾分类预测时的准确度，提升 垃圾分类的准确性与高效性。具体地，通过一个由YOLOv3组成的“head”部分 将向量融合特征的向量维度扩大，从而提高垃圾分类预测时的准确度。
步骤S450：将所述输出向量特征信息与所述分类标注信息作对比，并生成 对比结果；所述对比结果包括交并比和非极大抑制值；
步骤S460：调整所述交并比和所述非极大抑制值，并基于回归方法生成最 优神经网络模型。
本步骤中，在进行垃圾分类预测时，会预测出一系列的候选框，这时候会 用非极大抑制值来移除一些多余的候选框，即移除一些交并比值大于某个阈值 的框，接着，在剩下的候选框中，分别计算与ground truth的交并比值，通常 会规定当候选框和groundtruth的交并比值大于特定的值时，认为检测正确。 此为调整所述交并比和所述非极大抑制值。
接着，基于回归方法生成最优神经网络模型。
在发明另一个实施例中，如图4所示，所述根据所述标注后垃圾深度图像、 所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量的步骤，具 体包括：
步骤S411：将所述标注后垃圾深度图像、所述标注后紫外光图像和所述标 注后近红外图像作为三通道图像输入至YOLOv4神经网络中的一个CSPDarknet53 中；
步骤S412：根据所述CSPDarknet53提取所述标注后垃圾深度图像、所述标 注后紫外光图像和所述标注后近红外图像的光谱图像特征信息；所述光谱图像 特征信息包括光谱图像特征和光谱图像关联特征；
本步骤中，CSPDarknet53中提取的光谱图像特征信息不仅包括所述标注后 垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像三者各自的光 谱图像特征，还包括三者之间的关联特征，即所述光谱图像关联特征。如此， 通过上述两个特征的提取，提升垃圾分类的准确率。
步骤S413：对所述光谱图像特征和所述光谱图像关联特征作卷积核处理后 得到不同尺度的光谱特征图；
本步骤中，通过CSPDarknet53网络中不同尺度的卷积核处理后得到不同尺 度的所述光谱特征图。所述光谱特征图为CNN中的feature map。
步骤S414：将不同尺度的所述光谱特征图作交叉尺度融合后生成融合后光 谱特征图；
本步骤中，将不同尺度的所述光谱特征图输入至PAN(Path AggregationNetwork)模块中，利用PAN模块的交叉尺度融合完成对不同尺度的光谱特征图 的特征信息融合工作，并获取所述融合后光谱特征图。
步骤S415：将所述融合后光谱特征图作金字塔池化并生成所述第一特征向 量。
本步骤中，将所述融合后光谱特征图输入SPP结构中并作金字塔池化，进 而生成所述第一特征向量。
在本发明的另一实施例中，如图5所示，所述根据所述标注后RGB图像生 成第二特征向量的步骤，具体包括：
步骤S421：将所述标注后RGB图像输入至YOLOv4神经网络中的另一个CSPDarknet53中；
本步骤中，通过将所述标注后RGB图像输入至YOLOv4神经网络中的另一个CSPDarknet53中，实现对可见光的RGB图像的单独特征提取。
步骤S422：根据所述CSPDarknet53提取所述标注后RGB图像的RGB图像特 征信息；所述RGB图像特征信息包括RGB图像特征和RGB图像关联特征；
具体地，所述RGB图像特征和所述RGB图像关联特征均为
步骤S423：对所述RGB图像特征和所述RGB图像关联特征作卷积核处理后 得到不同尺度的RGB图像特征图；
步骤S424：根据不同尺度的所述RGB图像特征图作交叉尺度融合后生成融 合后RGB图像特征图；
步骤S425：将所述融合后RGB图像特征图作金字塔池化并生成所述第二特 征向量。
进一步地，通过采用深度图像以及多光谱图像的特征提取，使获取到的图 像具有在不同光谱下采取到的特征信息，可以更好地为该网络提供更多不同通 道的图像特征信息，在训练网络模型和测试图像时，以便获取更好的分类效果， 同时，随着深度图像的补充，即使在垃圾分类过程中捕获物体图像时出现了遮 掩、形变以及角度变化等一系列极端的物理变化下，依然可以通过深度、颜色 以及空间亲和力等完成图像分割以及分类的工作。
在发明另一个实施例中，所述获取待分类垃圾的垃圾图像数据集的步骤之 后，还包括：
对所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作降噪处理。
本步骤中，通过对所述待分类垃圾深度图像与所述紫外光图像、所述近红 外图像和所述RGB图像作降噪处理，实现降低图像噪声来提高图像质量的目的， 进而实现后续垃圾分选的准确性与高效率。
在发明另一个实施例中，如图6所示，本发明还提供一种基于深度图像及 多光谱图像融合的垃圾分类装置，所述装置包括垃圾图像数据集获取模块10、 图像配准处理模块20、图像分类标注处理模块30、神经网络模型生成模块40 和分选结果生成模块50。
其中，所述垃圾图像数据集获取模块10，用于获取待分类垃圾的垃圾图像 数据集；所述垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图 像；
所述图像配准处理模块20，用于将所述待分类垃圾深度图像和所述待分类 垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多 光谱图像；
所述图像分类标注处理模块30，用于对所述配准后垃圾深度图像和所述配 准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃 圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像 均包括对应的分类标注信息；
所述神经网络模型生成模块40，用于将所述标注后垃圾深度图像和所述标 注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训 练，并生成最优神经网络模型；
所述分选结果生成模块50，用于根据所述最优神经网络模型生成分选结果； 所述分选结果包括目标检测框和分类类别。
在发明另一个实施例中，所述图像配准处理模块20还用于将所述待分类垃 圾深度图像与所述紫外光图像、所述近红外图像和所述RGB图像一一配准，以 获取配准后垃圾深度图像和配准后垃圾多光谱图像；其中，所述配准后垃圾多 光谱图像包括配准后紫外光图像、配准后近红外图像和配准后RGB图像。
在发明另一个实施例中，所述图像分类标注处理模块30还用于对所述配准 后垃圾深度图像、所述配准后紫外光图像、所述配准后近红外图像和所述配准 后RGB图像作分类标注处理，并获取所述标注后垃圾深度图像和所述标注后垃 圾多光谱图像；所述标注后垃圾多光谱图像包括标注后紫外光图像、标注后近 红外图像和标注后RGB图像。
在发明另一个实施例中，所述垃圾图像数据集获取模块10还用于对所述待 分类垃圾深度图像和所述待分类垃圾多光谱图像作降噪处理。
在发明另一个实施例中，如图7所示，所述神经网络模型生成模块40还包 括第一特征向量生成模块41、第二特征向量生成模块42、融合特征获取模块43、 向量特征输出模块44、对比结果生成模块45和模型生成调整模块46。
其中，所述第一特征向量生成模块41，用于根据所述标注后垃圾深度图像、 所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量；
所述第二特征向量生成模块42，用于据所述标注后垃圾深度图像生成第二 特征向量；
所述融合特征获取模块43，用于将所述第一特征向量和所述第二特征向量 进行特征连接后得到向量融合特征；
所述向量特征输出模块44，用于扩大所述向量融合特征的向量维度，并得 到输出向量特征信息；
所述对比结果生成模块45，用于将所述输出向量特征信息与所述分类标注 信息作对比，并生成对比结果；所述对比结果包括交并比和非极大抑制值；
所述模型生成调整模块46，用于调整所述交并比和所述非极大抑制值，并 基于回归方法生成最优神经网络模型。
在发明另一个实施例中，所述第一特征向量生成模块41，还用于执行以下 步骤：
将所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外 图像作为三通道图像输入至YOLOv4神经网络中的一个CSPDarknet53中；
根据所述CSPDarknet53提取所述标注后垃圾深度图像、所述标注后紫外光 图像和所述标注后近红外图像的光谱图像特征信息；所述光谱图像特征信息包 括光谱图像特征和光谱图像关联特征；
对所述光谱图像特征和所述光谱图像关联特征作卷积核处理后得到不同尺 度的光谱特征图；
将不同尺度的所述光谱特征图作交叉尺度融合后生成融合后光谱特征图；
将所述融合后光谱特征图作金字塔池化并生成所述第一特征向量。
在发明另一个实施例中，所述第二特征向量生成模块42还用于执行以下步 骤：
将所述标注后RGB图像输入至YOLOv4神经网络中的另一个CSPDarknet53 中；
根据所述CSPDarknet53提取所述标注后RGB图像的RGB图像特征信息；所 述RGB图像特征信息包括RGB图像特征和RGB图像关联特征；
对所述RGB图像特征和所述RGB图像关联特征作卷积核处理后得到不同尺 度的RGB图像特征图；
根据不同尺度的所述RGB图像特征图作交叉尺度融合后生成融合后RGB图 像特征图；
将所述融合后RGB图像特征图作金字塔池化并生成所述第二特征向量。
在发明另一个实施例中，如图8所示，本发明还提供一种计算机设备，包 括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述基于 深度图像及多光谱图像融合的垃圾分类方法的步骤。
关于基于深度图像及多光谱图像融合的垃圾分类装置的具体限定可以参见 上文中对于基于深度图像及多光谱图像融合的垃圾分类方法的限定，在此不再 赘述。上述基于深度图像及多光谱图像融合的垃圾分类装置中的各个模块可全 部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或 独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存 储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，所述计算机设备可以是终端，其内部结构图可以如图8 所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显 示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该 计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质 存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统 和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通 过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度图像及多 光谱图像融合的垃圾分类方法。该计算机设备的显示屏可以是液晶显示屏或者 电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也 可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、 触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关 的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件， 或者具有不同的部件布置。
在发明另一个实施例中，本发明还提供一种计算机可读存储介质，其上存 储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度图像及多 光谱图像融合的垃圾分类方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、 存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。 非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机 存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、 双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线 动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述仅为发明较佳实施例而已，并不用以限制本发明，凡在发明精神 和原则之内所作的任何修改、等同替换和改进等，均应包含在发明保护范围之 内。
Claims (10)
1.一种基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述方法包括：
获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；
将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；
对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；
将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；
根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框和分类类别。
2.根据权利要求1所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述待分类垃圾多光谱图像包括紫外光图像、近红外图像和RGB图像；
所述将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像的步骤，具体包括：
将所述待分类垃圾深度图像与所述紫外光图像、所述近红外图像和所述RGB图像一一配准，以获取配准后垃圾深度图像和配准后垃圾多光谱图像；其中，所述配准后垃圾多光谱图像包括配准后紫外光图像、配准后近红外图像和配准后RGB图像。
3.根据权利要求2所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像的步骤，具体包括：
对所述配准后垃圾深度图像、所述配准后紫外光图像、所述配准后近红外图像和所述配准后RGB图像作分类标注处理，并获取所述标注后垃圾深度图像和所述标注后垃圾多光谱图像；所述标注后垃圾多光谱图像包括标注后紫外光图像、标注后近红外图像和标注后RGB图像。
4.根据权利要求3所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型的步骤，具体包括：
根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量；
根据所述标注后RGB图像生成第二特征向量；
将所述第一特征向量和所述第二特征向量进行特征连接后得到向量融合特征；
扩大所述向量融合特征的向量维度，并得到输出向量特征信息；
将所述输出向量特征信息与所述分类标注信息作对比，并生成对比结果；所述对比结果包括交并比和非极大抑制值；
调整所述交并比和所述非极大抑制值，并基于回归方法生成最优神经网络模型。
5.根据权利要求4所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述根据所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像生成第一特征向量的步骤，具体包括：
将所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像作为三通道图像输入至YOLOv4神经网络中的一个CSPDarknet53中；
步骤S412：根据所述CSPDarknet53提取所述标注后垃圾深度图像、所述标注后紫外光图像和所述标注后近红外图像的光谱图像特征信息；所述光谱图像特征信息包括光谱图像特征和光谱图像关联特征；
对所述光谱图像特征和所述光谱图像关联特征作卷积核处理后得到不同尺度的光谱特征图；
将不同尺度的所述光谱特征图作交叉尺度融合后生成融合后光谱特征图；
将所述融合后光谱特征图作金字塔池化并生成所述第一特征向量。
6.根据权利要求4所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述根据所述标注后RGB图像生成第二特征向量的步骤，具体包括：
将所述标注后RGB图像输入至YOLOv4神经网络中的另一个CSPDarknet53中；
根据所述CSPDarknet53提取所述标注后RGB图像的RGB图像特征信息；所述RGB图像特征信息包括RGB图像特征和RGB图像关联特征；
对所述RGB图像特征和所述RGB图像关联特征作卷积核处理后得到不同尺度的RGB图像特征图；
根据不同尺度的所述RGB图像特征图作交叉尺度融合后生成融合后RGB图像特征图；
将所述融合后RGB图像特征图作金字塔池化并生成所述第二特征向量。
7.根据权利要求1-6任一项所述的基于深度图像及多光谱图像融合的垃圾分类方法，其特征在于，所述获取待分类垃圾的垃圾图像数据集的步骤之后，还包括：
对所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作降噪处理。
8.一种基于深度图像及多光谱图像融合的垃圾分类装置，其特征在于，所述装置包括：
垃圾图像数据集获取模块，用于获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；
图像配准处理模块，用于将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；
图像分类标注处理模块，用于对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；
神经网络模型生成模块，用于将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；
分选结果生成模块，用于根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框和分类类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010921001.5A CN112036500A (zh) | 2020-09-04 | 2020-09-04 | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010921001.5A CN112036500A (zh) | 2020-09-04 | 2020-09-04 | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112036500A true CN112036500A (zh) | 2020-12-04 |
Family
ID=73591460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010921001.5A Pending CN112036500A (zh) | 2020-09-04 | 2020-09-04 | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036500A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112613413A (zh) * | 2020-12-25 | 2021-04-06 | 平安国际智慧城市科技股份有限公司 | 易腐垃圾分类质量判定方法、装置及计算机可读存储介质 |
| CN112651994A (zh) * | 2020-12-18 | 2021-04-13 | 零八一电子集团有限公司 | 地面多目标跟踪方法 |
| CN112802068A (zh) * | 2020-12-24 | 2021-05-14 | 奥比中光科技集团股份有限公司 | 一种同步获取深度、彩色与光谱图像的装置及识别系统 |
| CN112883921A (zh) * | 2021-03-22 | 2021-06-01 | 北京易华录信息技术股份有限公司 | 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法 |
| CN113850324A (zh) * | 2021-09-24 | 2021-12-28 | 郑州大学 | 一种基于Yolov4的多光谱目标检测方法 |
| CN113989618A (zh) * | 2021-11-03 | 2022-01-28 | 深圳黑蚂蚁环保科技有限公司 | 可回收物品分类识别方法 |
| CN114022756A (zh) * | 2021-09-24 | 2022-02-08 | 惠州学院 | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 |
| CN114049556A (zh) * | 2021-11-10 | 2022-02-15 | 中国天楹股份有限公司 | 一种svm与目标检测算法融合的垃圾分类方法 |
| CN114067488A (zh) * | 2021-11-03 | 2022-02-18 | 深圳黑蚂蚁环保科技有限公司 | 回收系统 |
| CN114022756B (zh) * | 2021-09-24 | 2024-06-25 | 惠州学院 | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344894A (zh) * | 2018-09-28 | 2019-02-15 | 广州大学 | 基于多传感器融合和深度学习的垃圾分类识别方法及装置 |
| US10452947B1 (en) * | 2018-06-08 | 2019-10-22 | Microsoft Technology Licensing, Llc | Object recognition using depth and multi-spectral camera |
| CN111498331A (zh) * | 2020-04-30 | 2020-08-07 | 昆明理工大学 | 基于深度学习的垃圾视觉识别方法、装置及分类回收装置 |
-
2020
- 2020-09-04 CN CN202010921001.5A patent/CN112036500A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10452947B1 (en) * | 2018-06-08 | 2019-10-22 | Microsoft Technology Licensing, Llc | Object recognition using depth and multi-spectral camera |
| CN109344894A (zh) * | 2018-09-28 | 2019-02-15 | 广州大学 | 基于多传感器融合和深度学习的垃圾分类识别方法及装置 |
| CN111498331A (zh) * | 2020-04-30 | 2020-08-07 | 昆明理工大学 | 基于深度学习的垃圾视觉识别方法、装置及分类回收装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112651994A (zh) * | 2020-12-18 | 2021-04-13 | 零八一电子集团有限公司 | 地面多目标跟踪方法 |
| CN112802068A (zh) * | 2020-12-24 | 2021-05-14 | 奥比中光科技集团股份有限公司 | 一种同步获取深度、彩色与光谱图像的装置及识别系统 |
| CN112613413A (zh) * | 2020-12-25 | 2021-04-06 | 平安国际智慧城市科技股份有限公司 | 易腐垃圾分类质量判定方法、装置及计算机可读存储介质 |
| CN112883921A (zh) * | 2021-03-22 | 2021-06-01 | 北京易华录信息技术股份有限公司 | 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法 |
| CN113850324A (zh) * | 2021-09-24 | 2021-12-28 | 郑州大学 | 一种基于Yolov4的多光谱目标检测方法 |
| CN114022756A (zh) * | 2021-09-24 | 2022-02-08 | 惠州学院 | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 |
| CN114022756B (zh) * | 2021-09-24 | 2024-06-25 | 惠州学院 | 排水盖周边垃圾的视觉识别方法、电子设备及存储介质 |
| CN113989618A (zh) * | 2021-11-03 | 2022-01-28 | 深圳黑蚂蚁环保科技有限公司 | 可回收物品分类识别方法 |
| CN114067488A (zh) * | 2021-11-03 | 2022-02-18 | 深圳黑蚂蚁环保科技有限公司 | 回收系统 |
| CN114067488B (zh) * | 2021-11-03 | 2024-06-11 | 深圳黑蚂蚁环保科技有限公司 | 回收系统 |
| CN114049556A (zh) * | 2021-11-10 | 2022-02-15 | 中国天楹股份有限公司 | 一种svm与目标检测算法融合的垃圾分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112036500A (zh) | 基于深度图像及多光谱图像融合的垃圾分类方法及装置 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| Pereira et al. | A deep learning-based approach for road pothole detection in timor leste | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN111753692B (zh) | 目标对象提取方法、产品检测方法、装置、计算机和介质 | |
| CN110929756B (zh) | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 | |
| CN110770752A (zh) | 多尺度特征融合网络结合定位模型的害虫自动计数方法 | |
| Ali et al. | Window detection in facades | |
| CN110678901A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN110008909B (zh) | 一种基于ai的实名制业务实时稽核系统 | |
| CN103824091B (zh) | 一种用于智能交通系统的车牌识别方法 | |
| CN109670383B (zh) | 视频遮蔽区域选取方法、装置、电子设备及系统 | |
| CN106022231A (zh) | 一种基于多特征融合的行人快速检测的技术方法 | |
| CN114897816A (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN109087286A (zh) | 一种基于计算机图像处理和模式识别的检测方法及应用 | |
| WO2019033570A1 (zh) | 嘴唇动作分析方法、装置及存储介质 | |
| CN114862845B (zh) | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 | |
| CN112419261B (zh) | 具有异常点去除功能的视觉采集方法及装置 | |
| Patki et al. | Cotton leaf disease detection & classification using multi SVM | |
| CN111340796A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN111191535A (zh) | 基于深度学习的行人检测模型构建方法及行人检测方法 | |
| CN115761773A (zh) | 基于深度学习的图像内表格识别方法及系统 | |
| Sureshkumar et al. | Deep learning framework for component identification | |
| Gil-Jiménez et al. | Shape classification algorithm using support vector machines for traffic sign recognition | |
| CN107545565B (zh) | 一种太阳能网版检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |