CN112560576B - 一种ai识图的垃圾分类与智能回收方法 - Google Patents

一种ai识图的垃圾分类与智能回收方法 Download PDF

Info

Publication number
CN112560576B
CN112560576B CN202011238157.XA CN202011238157A CN112560576B CN 112560576 B CN112560576 B CN 112560576B CN 202011238157 A CN202011238157 A CN 202011238157A CN 112560576 B CN112560576 B CN 112560576B
Authority
CN
China
Prior art keywords
garbage
recovery
loss
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011238157.XA
Other languages
English (en)
Other versions
CN112560576A (zh
Inventor
包世泰
沈玉冰
苏芷漩
曾锦添
姚策益
黄展鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202011238157.XA priority Critical patent/CN112560576B/zh
Publication of CN112560576A publication Critical patent/CN112560576A/zh
Application granted granted Critical
Publication of CN112560576B publication Critical patent/CN112560576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Automation & Control Theory (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Refuse Collection And Transfer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种AI识图的垃圾分类与智能回收方法，包括：对待识别的垃圾进行拍照，通过对拍照得到的垃圾图片进行标注并建立含有垃圾目标边界框、体积、种类的垃圾图像数据集；构建基于空洞卷积的改进YOLOv3网络模型，结合对垃圾进行拍照时相机的拍照角度与距离的关系，以及YOLOv3网络模型的边框预测机制，重新设计网络模型的损失函数，并利用所述垃圾图像数据集对网络模型进行训练，得到预测模型；对从垃圾点获取的待检测垃圾图像中的垃圾进行种类、数量和体积估计；通过设定置信度阈值以及非极大值抑制，得到最终的垃圾分类预测结果；基于待回收的所有垃圾点的垃圾分类预测结果，结合在线地图的路径规划功能进行回收车辆的垃圾回收订单派送。

Description

一种AI识图的垃圾分类与智能回收方法
技术领域
本发明涉及图像处理和人工智能领域，具体涉及一种AI识图的垃圾分类与智能回收方法。
背景技术
现阶段随着城镇化进程加快，城镇人口迅速增加，城市每天产生的垃圾数量激增；不少城市出现垃圾堆积的现象。目前针对垃圾分类的方法主要是对垃圾进行人工分类与检测，而人工分类检测存在效率低、成本高、识别率受主观因素影响等缺陷，不能满足日益增长的垃圾分类与回收需求；当前一些图像识别算法虽然在一些应用场景下具有不错的使用效果，但由于垃圾识别分类过程中需要综合考虑垃圾体积、垃圾数量、类型等特征，而现有的算法不能满足垃圾识别分类过程中的实际使用需求。
发明内容
本发明的目的是提供一种AI识图的垃圾分类与智能回收方法，采用目标检测技术与分类算法，能有效解决垃圾类型、数量和体积识别预测的问题，对垃圾进行分类识别与智能回收，从而解决现有技术存在的效率低、识别率不理想的问题。
为了实现上述任务，本发明采用以下技术方案：
一种AI识图的垃圾分类与智能回收方法，包括以下步骤：
对待识别的垃圾进行拍照，通过对拍照得到的垃圾图片进行标注并建立含有垃圾目标边界框、体积、种类的垃圾图像数据集；
构建改进YOLOv3网络模型，所述网络模型以YOLOv3网络模型作为基础，将DarkNet-53网络作为提取主干网络，并将空洞卷积池化金字塔结构作为网络模型的检测头；
结合对垃圾进行拍照时相机的拍照角度与距离的关系，以及YOLOv3网络模型的边框预测机制，重新设计网络模型的损失函数，并利用所述垃圾图像数据集对网络模型进行训练，得到垃圾种类、数量和体积的预测模型；
利用训练得到的预测模型，对从垃圾点获取的待检测垃圾图像中的垃圾进行种类、数量和体积估计；通过设定置信度阈值以及非极大值抑制，得到最终的垃圾分类预测结果；
基于待回收的所有垃圾点的垃圾分类预测结果，建立每个垃圾点的属性表，并结合在线地图的路径规划功能进行回收车辆的垃圾回收订单派送。
进一步地，所述结合对垃圾进行拍照时相机的拍照角度与距离的关系，以及YOLOv3网络模型的边框预测机制，重新设计网络模型的损失函数，其中损失函数表示为：
Loss＝Loss(v)+Loss(center)+Loss(w,h)+Loss(confidence)+Loss(p)
其中Loss(center)是中心坐标损失，Loss(w,h)是检测框的宽度和高度损失，Loss(confidence)是置信度损失，Loss(p)是类型损失，Loss(v)是YOLOv3网络的体积损失函数，表示为：
Figure GDA0003797065220000021
其中
Figure GDA0003797065220000022
为目标物检测边框，B为每个
Figure GDA0003797065220000023
上的检验物体的锚点框，如果anchor中存在物体则1obj为1，否则为0；vi为垃圾的真实体积，
Figure GDA0003797065220000024
是对其预测的体积。
进一步地，所述体积损失函数的预测机制为：
将垃圾抽象为体块的最小外接长方体，则预测的垃圾体积为长方体的体积Vr乘上系数β；
根据垃圾照片预测其体积时，利用面积特征值，结合神经网络来预测长方体的体积；先假设预测的目标为球体，那么体积Vr与目标的距离有关，距离越远它在照片中的面积越小，距离越近它在照片中的面积越大，因此让神经网络学习一个关于距离d和面积
Figure GDA0003797065220000025
的函数func；若预测目标是一个长方体，那么长方体在照片里的面积
Figure GDA0003797065220000026
和拍照的角度和距离都有关系，即：
Figure GDA0003797065220000027
其中，θ为相机和地面的夹角；由于长方体在x,y,z三个方向投影面积差异巨大，因此需要引入一个参数：
δ＝∑(αx+αy+αz)
其中，{αx,αy,αz}分别为长方体与x,y,z坐标轴的夹角，则函数表示为：
Figure GDA0003797065220000031
通过训练损失网络的体积损失函数Loss(v)，来进行学习d,θ,δ和
Figure GDA0003797065220000032
的关系。
进一步地，所述基于待回收的所有垃圾点的垃圾分类预测结果，建立每个垃圾点的属性表，包括：
基于垃圾分类预测结果，得到垃圾的种类、各种类别的垃圾数量，计算垃圾重量，设定收集成本，建立垃圾点的属性表。
进一步地，所述结合在线地图的路径规划功能进行回收车辆的垃圾回收订单派送，包括：
根据识别的垃圾种类判断垃圾点是否具有回收价值，若垃圾点的识别出的垃圾类别具有回收价值，则进行后续步骤，否则将该垃圾点的垃圾类别归类为生活垃圾；
判断所述垃圾点中识别出的垃圾种类数量，若数量小于3，则将该垃圾点中的垃圾分别加入相应种类的一级订单池；否则取数量最多的垃圾类别作为该垃圾点的种类属性并加入该种类的一级订单池，其余类别的垃圾归类为生活垃圾；
根据参与回收垃圾的企业、回收商以及其回收能力，设定对应的二级订单池，并根据回收能力将垃圾点划分到不同的二级订单池中；
选择回收车辆，根据回收车辆所运送垃圾的类型以及该回收车辆的所属，在对应的二级订单池中，筛选具有该回收车辆所运送垃圾类型的垃圾点，将所有筛选出的垃圾点加入集合S；
根据回收车辆的回收半径R将S中垃圾点分为落在回收半径范围内的垃圾点集合S1以及落在回收半径范围外的垃圾点集合S2；对于S1中的垃圾点，根据回收车辆的最大载荷量M将集合S1中的点分为小于最大载荷量的集合S1 1和大于最大载荷量的集合S1 2；集合S1 1中的垃圾点将作为该回收车的潜在订单，进行后续的路径规划。
进一步地，所述集合S1 1中的垃圾点将作为该回收车的潜在订单，进行后续的路径规划，包括：
在集合S1 1中寻找与回收车辆出发点A距离最接近回收半径R的垃圾点作为回收路径的终点D，进行回收路径的规划：
以A为起点，D为终点利用在线地图软件进行路径初始规划，得到多条初始规划路径；针对于每条初始规划路径，在该初始规划路径设定的半径范围内查找垃圾点集合I(I∈S1 1)，根据垃圾点集合中沿所规划的路径方向的垃圾点的顺序进行方向匹配，依次规划从起点至终点间的所有垃圾点之间的路径，得到最终规划路径；
针对于每一条最终规划路径所对应的集合I，将集合I中的每一个垃圾点，根据垃圾点中所回收类型垃圾的收集成本、数量，计算每个垃圾点的回收总成本，选择回收总成本最小且集合I中所有垃圾点中与回收车辆类型对应的垃圾的总重量小于回收车辆最大载荷量M的最终规划路径作为去程的规划路径。
进一步地，所述进行回收路径的规划之后，还包括：
将去程的规划路径上的垃圾点的订单属性修改为不可派单，并从对应的二级订单池中删除；将去程的规划路径通知到回收车辆，本次派单完成；接到垃圾回收订单的回收车辆按照规划路径依次前往垃圾点，收集所派垃圾回收订单指定的种类的垃圾；回收车辆司机按照所规划的路线行驶，到达指定垃圾点后，回收车辆的随车工作人员挑选出所派订单指定的种类的垃圾并进行装车；若垃圾种类为“生活垃圾”，则由回收车辆随车工作人员不作细分进行装车运回。
进一步地，所述落在回收半径范围外的垃圾点集合S2和大于最大载荷量的集合S1 2中的垃圾点，当前回收车辆不予处理，将集合中的垃圾点加回到对应的二级订单池，等待后续分配给其他回收车辆。
一种计算机，包括处理器、存储器以及存储在所述存储器中的计算机程序，处理器执行计算机程序时，实现所述AI识图的垃圾分类与智能回收方法的步骤。
一种计算机可读存储介质，所述存储介质中存储有计算机程序，计算机程序被处理器执行时，实现所述AI识图的垃圾分类与智能回收方法的步骤。
与现有技术相比，本发明具有以下技术特点：
本发明中构造了基于空洞卷积的改进YOLOv3网络模型，并结合相机拍照角度和距离的关系，以及YOLOv3的边框预测机制，考虑垃圾体积、数量、类型等多重特征的实际预测需求，针对性地设计了网络的损失函数，从而使得网络模型准确地识别和目标的类型同时，实现对目标物体积的估计；同时，本发明中结合网络模型识别结果，设计了垃圾分类的派单回收规划算法，能在识别出垃圾种类、数量的同时，实现垃圾的分类派单回收，对于现实应用具有重要意义。
附图说明
图1是图像识别的具体流程图；
图2是垃圾订单池建立流程图；
图3是根据图像识别结果判断垃圾是否为可回收垃圾流程图；
图4是根据垃圾种类数量加入订单池流程图；
图5是根据数量添加回收方向流程图；
图6是修改最大派单数属性流程图；
图7是根据回收车辆信息生成属性表流程图；
图8是随机选取200张图片其中所含垃圾类型长宽比的分布；
图9是利用k均值聚类算法所获得的候选anchor(锚点框)；
图10是改进版YOLOv3模型的缩略图；
图11是根据图片识别结果生成的垃圾点属性表格式图；
图12是YOLOv3物体预测原理图。
具体实施方式
本发明公开了一种AI识图的垃圾分类与智能回收方法，结合附图，对本发明的具体步骤说明如下：
步骤1，对待识别的垃圾进行拍照，通过拍照得到的大量垃圾图片，标注并建立含有垃圾目标边界框、体积、种类的垃圾图像数据集并划分为训练集和验证集。
该步骤中，对获取的垃圾图片进行标注，包括垃圾目标边界框、体积、种类，然后将标注后的垃圾图像数据制作成Pascal VOC数据集格式，再将图像数据集按照一定比例划分成训练集和验证集。本实施例中，垃圾图像数据集重点关注四种垃圾目标类别(即塑料袋、塑料瓶、易拉罐、纸箱)，将图像数据集按照8∶2比例划分为训练数据集和验证数据集。
步骤2，构建基于多分支预测和空洞卷积池化金字塔结构(ASPP)的改进YOLOv3网络模型，用以获取全局上下文信息和多尺度特征；所述改进YOLOv3网络模型以YOLOv3网络模型作为基础，将DarkNet-53网络作为提取主干网络，并将空洞卷积池化金字塔结构作为网络模型的检测头。
具体的，所述YOLOv3网络模型以DarkNet-53(作为特征提取主干网络，同时引入空洞卷积池化金字塔结构构建检测头，增强模型全局上下文信息和多尺度特征的表征能力。所述特征提取主干网络Darknet-53如图10所示，其采用含有5个残差块的Darknet-53，并且在Darknet-53的主干网络后使用特征融合来获取垃圾信息。
步骤3，结合对垃圾进行拍照时相机的拍照角度与距离的关系，以及YOLOv3网络模型的边框预测机制，重新设计网络模型的损失函数。
在该步骤中，利用相机拍照角度和距离的关系结合YOLOv3边框预测机制，重新设计损失函数，利用深度神经网络学习
Figure GDA0003797065220000061
使得模型准确地识别和目标的类型同时，实现对目标物体积的估计。
YOLOv3网络原有的边框预测机制公式如下：
centerx＝σ(px)+Cx
centery＝σ(py)+Cy
centerw＝δ(pw)
centerh＝δ(ph)
其中，(centerx,centery)是预测的中心坐标，centerw是预测的宽度，centerh是预测的高度，px,py,pw,ph是网络输出的坐标位置及宽度、高度参数，Cx,Cy是网格的左上角坐标，δ(*)为反归一化函数。
本发明中新增加了一个体积损失函数，公式如下：
Figure GDA0003797065220000062
其中
Figure GDA0003797065220000063
为目标物检测边框，如图12的(a)所示，数量一般为13*13、26*26、52*52，B为每个
Figure GDA0003797065220000064
上的检验物体的锚点框(anchor)，如果这anchor中存在物体则1obj为1，否则为0；vi为垃圾的真实体积，
Figure GDA0003797065220000065
是对其预测的体积。图12的(a)中的矩形方框为预测的物体框，其中(w,h)分别与centerw,centerh对应，(x,y)分别与centerx,centery对应。
其中体积预测机制如下：
垃圾在三维空间中表现为具有一定体积的体块，本发明把垃圾抽象为体块的最小外接长方体(下面称作长方体)，预测的垃圾体积为长方体的体积Vr乘上设定的系数β，即：
Figure GDA0003797065220000071
根据垃圾照片预测其体积时，利用面积
Figure GDA0003797065220000072
特征值，结合神经网络YOLOv3去预测长方体的体积。过程如下：先假设预测的目标为球体，那么体积Vr与目标的距离有关，距离越远它在照片中的面积越小，距离越近它在照片中的面积越大，所以可以让神经网络学习一个关于距离d和面积
Figure GDA0003797065220000073
的函数func，如下所示:
Figure GDA0003797065220000074
若预测目标是一个长方体，那么长方体在照片里的面积
Figure GDA0003797065220000075
和拍照的角度和距离都有关系，即：
Figure GDA0003797065220000076
其中，θ为相机和地面的夹角。
由于长方体在x,y,z三个方向投影面积差异巨大，因此需要引入一个参数：
δ＝∑(αx+αy+αz)
其中，{αx,αy,αz}分别为长方体与x,y,z坐标轴的夹角，则函数表示为：
Figure GDA0003797065220000077
通过训练损失网络的体积损失函数Loss(v)，来进行学习d,θ,δ和
Figure GDA0003797065220000078
的关系；最终的损失函数如下：
Loss＝Loss(v)+Loss(center)+Loss(w,h)+Loss(confidence)+Loss(p)
其中Loss(center)是中心坐标损失，Loss(w,h)是框的宽度和高度损失，Loss(confidence)是置信度损失，Loss(p)是类型损失，其中1obj代表网格是否有目标，有目标为1，否则为0。Loss是新设计的体积预测函数。
步骤4，利用训练集对改进YOLOv3网络模型进行训练，并利用验证集对网络模型的训练效果进行检验和超参数调整，最后训练得到一个泛化能力强的垃圾种类、数量和体积的预测模型。
对于垃圾目标图像数据集的目标候选框进行聚类分析，设计出更符合的预选框初始值，重新确定anchor(锚点框)的个数和宽高；对所有的卷积层的权重进行初始化，采用随机梯度下降法更新网络的参数，总共训练若干个epoch(批次)，采用cosine decay(余弦学习率衰减策略)从0.001到0.0001，权值衰减系数为0.0005，动量项设置为0.95。
具体的，确定anchor大小需要根据数据具体的特征分布来设置初始值，随机挑选200张图片，计算图片中物体的长宽比，如图8所示；可以看出，大部分物体的长宽比在0.8-1.2之间，并且大致符合正态分布。所以可以使用k-means clustering algorithm(k均值聚类算法)来获取anchor的具体大小，k-means算法中使用的距离是IOU(真实anchor和预测anchor交集面积和并集面积的大小)的大小，通过这个算法可以得到anchor的最优取值，如图9所示。
步骤5，利用训练得到的预测模型，对从待回收的所有垃圾点获取的待检测垃圾图像中的垃圾进行种类、数量和体积估计；通过对置信度设定阈值，过滤掉得分低的预测框，然后通过对剩下的预测框执行非极大值抑制，得到最终的垃圾分类预测结果；
基于垃圾分类预测结果，得到垃圾的种类、各种类别的垃圾数量EM，计算垃圾重量，设定收集成本，建立垃圾点的属性表。
该步骤中，利用训练好的目标检测和估计模型对垃圾点实时通过相机采集的待检测垃圾图像中的垃圾进行分类，统计当前垃圾点中垃圾的类别，每一种类别垃圾的数量，根据预设的每一种类别的垃圾密度计算垃圾重量，并设定收集成本(针对于每吨或每千克)，建立垃圾点的属性表，如图11所示。
步骤6，根据识别的垃圾种类判断所述垃圾点是否具有回收价值，若垃圾点识别出的垃圾类别为金属、纸张等有回收价值的类别，则进行步骤7，否则归类为生活垃圾。
该步骤通过读取属性表中垃圾种类字段数据，根据垃圾种类进行模糊化分类，得到“可回收”和“生活垃圾”属性。
步骤7，判断所述垃圾点中识别出的垃圾种类数量，若数量小于3，则将该垃圾点中的垃圾分别加入相应种类的一级订单池，否则进行步骤8；
步骤8，若识别出的垃圾种类的数量大于3，则取数量最多的垃圾类别作为该垃圾点的种类属性并加入该种类的一级订单池，其余类别的垃圾归类为生活垃圾，并将生活垃圾加入专属订单池。
读取属性表的垃圾种类数量属性字段，判断垃圾数量值大于等于3时，将垃圾种类按数量降序排列，取数量最多的种类作为该垃圾点垃圾种类属性值，将除数量最大值之外的垃圾种类字段复写为“生活垃圾”。
步骤9，根据参与回收垃圾的企业、回收商以及其回收能力，设定对应的二级订单池，并根据回收能力将垃圾点划分到不同的二级订单池中，具体为：
判断一级订单池中每个垃圾点的垃圾的重量是否处于设定的区间B，是则将该垃圾点加入“企业”二级订单池，进行步骤10，否则将该垃圾点加入“小型回收商”二级订单池；
结合具体项目中参与的回收企业、小型回收商派出回收车辆的载荷量、容量制定区间B数值。例：项目中回收企业可供外派的回收车辆是载荷量为750Kg的中型货车或载荷量为2500Kg的大型货车，小型回收商可供外派的回收车辆是载荷量为200Kg的电动三轮车，可将区间B设定为100-500Kg，即垃圾重量为100-500Kg的垃圾点都将加入“企业”二级订单池。
步骤10，断“企业”二级订单池中每个垃圾点的垃圾重量是否大于阈值C，是则将最大派单次数设置为3，表示可进行回收处理，否则不进行操作。
结合具体项目中参与的回收企业派出回收车辆的载荷量、容量制定阈值C数值。例：项目中回收企业可供外派的回收车辆是载荷量为750Kg的中型货车或载荷量为2500Kg的大型货车，小型回收商可供外派的回收车辆是载荷量为200Kg的电动三轮车，可将阈值C设定为500Kg，即重量超过500Kg的垃圾点都将“最大派单次数”字段数值设置为“3”。
步骤11，选择回收车辆，根据回收车辆所运送垃圾的类型，以及该回收车辆的所属，在对应的“企业”二级订单池或“小型回收商”二级订单池中，筛选具有该回收车辆所运送垃圾类型的垃圾点，将所有筛选出的垃圾点加入集合S。
该步骤中，例如对于所属于企业的一辆回收车辆，该回收车辆所能运送的垃圾类型为“纸张”，则在“企业”二级订单池中，筛选所有包含“纸张”类别的垃圾点，将这些垃圾点加入到一个集合S中。
步骤12，根据回收车辆的回收半径R将S中垃圾点分为落在回收半径范围内的垃圾点集合S1以及落在回收半径范围外的垃圾点集合S2；对于S1中的垃圾点将继续执行后续步骤13，对于集合S2，则当前回收车辆不予处理，将集合中的垃圾点加回到对应的二级订单池，等待后续分配给其他回收车辆。
步骤13，根据回收车辆的最大载荷量M将集合S1中的点分为小于最大载荷量的集合S1 1和大于最大载荷量的集合S1 2；集合S1 1中的垃圾点将作为该回收车的潜在订单继续执行后续步骤14，集合S1 2则当前回收车辆不予处理，等待后续分配给其他回收车辆。
步骤14，在集合S1 1中寻找与回收车辆出发点A距离最接近回收半径R的垃圾点作为回收路径的终点D，进行回收路径的规划。
进一步地，可根据回收车辆的最大载荷量M判断路径规划的方式：若M大于设定阈值X，则进行来回双程的垃圾收集路线规划；否则进行去程垃圾收集路线规划加回程单纯最短路径规划。
步骤15，以A为起点，D为终点利用在线地图软件(例如高德地图、百度地图、谷歌地图等)进行路径初始规划，得到多条初始规划路径。
针对于每条初始规划路径，在该初始规划路径设定的半径范围(例如1km)内查找垃圾点集合I(I∈S1 1)，根据垃圾点集合中沿所规划的路径方向的垃圾点的顺序进行方向匹配，依次规划从起点至终点间的所有垃圾点之间的路径，得到最终规划路径。
针对于每一条最终规划路径所对应的集合I，将集合I中的每一个垃圾点，根据垃圾点中所回收类型垃圾的收集成本、数量(重量)，计算每个垃圾点的回收总成本，选择回收总成本最小且集合I中所有垃圾点中与回收车辆类型对应的垃圾的总重量小于回收车辆最大载荷量M的最终规划路径作为去程的规划路径。
步骤16，将去程的规划路径上的垃圾点的订单属性修改为不可派单，并从对应的二级订单池中删除；将去程的规划路径通知到回收车辆，本次派单完成。接到垃圾回收订单的回收车辆按照规划路径依次前往垃圾点，收集所派垃圾回收订单指定的种类的垃圾。
回收车辆司机按照系统所规划的路线行驶，到达指定垃圾点后，回收车辆的随车工作人员挑选出所派订单指定的种类的垃圾并进行装车；若垃圾种类为“生活垃圾”，则由回收车辆随车工作人员不作细分进行装车运回。
若用户因回收车容量等因素无法完成指定派单，将垃圾点重新加入二级订单池，修改垃圾点的订单属性为“允许派单”，重新进行步骤11。
对于回收车辆的最大载荷量M大于设定阈值X的情况，以D为起点，A为终点，按照步骤15相同的方法进行回程的路径规划。

Claims (7)

1.一种AI识图的垃圾分类与智能回收方法，其特征在于，包括以下步骤：
对待识别的垃圾进行拍照，通过对拍照得到的垃圾图片进行标注并建立含有垃圾目标边界框、体积、种类的垃圾图像数据集；
构建改进YOLOv3网络模型，所述网络模型以YOLOv3网络模型作为基础，将DarkNet-53网络作为提取主干网络，并将空洞卷积池化金字塔结构作为网络模型的检测头；
结合对垃圾进行拍照时相机的拍照角度与距离的关系，以及YOLOv3网络模型的边框预测机制，重新设计网络模型的损失函数，并利用所述垃圾图像数据集对网络模型进行训练，得到垃圾种类、数量和体积的预测模型；
利用训练得到的预测模型，对从垃圾点获取的待检测垃圾图像中的垃圾进行种类、数量和体积估计；通过设定置信度阈值以及非极大值抑制，得到最终的垃圾分类预测结果；
基于待回收的所有垃圾点的垃圾分类预测结果，建立每个垃圾点的属性表，并结合在线地图的路径规划功能进行回收车辆的垃圾回收订单派送；
所述结合对垃圾进行拍照时相机的拍照角度与距离的关系，以及YOLOv3网络模型的边框预测机制，重新设计网络模型的损失函数，其中损失函数表示为：Loss＝Loss(v)+Loss(center)+Loss(w，h)+Loss(confidence)+Loss(p)
其中Loss(center)是中心坐标损失，Loss(w，h)是检测框的宽度和高度损失，Loss(confidence)是置信度损失，Loss(p)是类型损失，Loss(v)是YOLOv3网络的体积损失函数，表示为：
Figure FDA0003797065210000011
其中
Figure FDA0003797065210000012
为目标物检测边框，B为每个
Figure FDA0003797065210000013
上的检验物体的锚点框，如果anchor中存在物体则1obj为1，否则为0；vi为垃圾的真实体积，
Figure FDA0003797065210000014
是对其预测的体积；
所述体积损失函数的预测机制为：
将垃圾抽象为体块的最小外接长方体，则预测的垃圾体积为长方体的体积Vr乘上系数β；
根据垃圾照片预测其体积时，利用面积特征值，结合神经网络来预测长方体的体积；先假设预测的目标为球体，那么体积Vr与目标的距离有关，距离越远它在照片中的面积越小，距离越近它在照片中的面积越大，因此让神经网络学习一个关于距离d和面积
Figure FDA0003797065210000021
的函数func；若预测目标是一个长方体，那么长方体在照片里的面积
Figure FDA0003797065210000022
和拍照的角度和距离都有关系，即：
Figure FDA0003797065210000023
其中，θ为相机和地面的夹角；由于长方体在x，y，z三个方向投影面积差异巨大，因此需要引入一个参数：
δ＝∑(αx+αy+αz)
其中，{αx，αy，αz}分别为长方体与x，y，z坐标轴的夹角，则函数表示为：
Figure FDA0003797065210000024
通过训练损失网络的体积损失函数Loss(v)，来进行学习d，θ，δ和
Figure FDA0003797065210000025
的关系；
所述结合在线地图的路径规划功能进行回收车辆的垃圾回收订单派送，包括：
根据识别的垃圾种类判断垃圾点是否具有回收价值，若垃圾点的识别出的垃圾类别具有回收价值，则进行后续步骤，否则将该垃圾点的垃圾类别归类为生活垃圾；
判断所述垃圾点中识别出的垃圾种类数量，若数量小于3，则将该垃圾点中的垃圾分别加入相应种类的一级订单池；否则取数量最多的垃圾类别作为该垃圾点的种类属性并加入该种类的一级订单池，其余类别的垃圾归类为生活垃圾；
根据参与回收垃圾的企业、回收商以及其回收能力，设定对应的二级订单池，并根据回收能力将垃圾点划分到不同的二级订单池中；
选择回收车辆，根据回收车辆所运送垃圾的类型以及该回收车辆的所属，在对应的二级订单池中，筛选具有该回收车辆所运送垃圾类型的垃圾点，将所有筛选出的垃圾点加入集合S；
根据回收车辆的回收半径R将S中垃圾点分为落在回收半径范围内的垃圾点集合S1以及落在回收半径范围外的垃圾点集合S2；对于S1中的垃圾点，根据回收车辆的最大载荷量M将集合S1中的点分为小于最大载荷量的集合S1 1和大于最大载荷量的集合S1 2；集合S1 1中的垃圾点将作为该回收车的潜在订单，进行后续的路径规划。
2.根据权利要求1所述的AI识图的垃圾分类与智能回收方法，其特征在于，所述基于待回收的所有垃圾点的垃圾分类预测结果，建立每个垃圾点的属性表，包括：
基于垃圾分类预测结果，得到垃圾的种类、各种类别的垃圾数量，计算垃圾重量，设定收集成本，建立垃圾点的属性表。
3.根据权利要求1所述的AI识图的垃圾分类与智能回收方法，其特征在于，所述集合S1 1中的垃圾点将作为该回收车的潜在订单，进行后续的路径规划，包括：
在集合S1 1中寻找与回收车辆出发点A距离最接近回收半径R的垃圾点作为回收路径的终点D，进行回收路径的规划：
以A为起点，D为终点利用在线地图软件进行路径初始规划，得到多条初始规划路径；针对于每条初始规划路径，在该初始规划路径设定的半径范围内查找垃圾点集合I(I∈S1 1)，根据垃圾点集合中沿所规划的路径方向的垃圾点的顺序进行方向匹配，依次规划从起点至终点间的所有垃圾点之间的路径，得到最终规划路径；
针对于每一条最终规划路径所对应的集合I，将集合I中的每一个垃圾点，根据垃圾点中所回收类型垃圾的收集成本、数量，计算每个垃圾点的回收总成本，选择回收总成本最小且集合I中所有垃圾点中与回收车辆类型对应的垃圾的总重量小于回收车辆最大载荷量M的最终规划路径作为去程的规划路径。
4.根据权利要求3所述的AI识图的垃圾分类与智能回收方法，其特征在于，所述进行回收路径的规划之后，还包括：
将去程的规划路径上的垃圾点的订单属性修改为不可派单，并从对应的二级订单池中删除；将去程的规划路径通知到回收车辆，本次派单完成；接到垃圾回收订单的回收车辆按照规划路径依次前往垃圾点，收集所派垃圾回收订单指定的种类的垃圾；回收车辆司机按照所规划的路线行驶，到达指定垃圾点后，回收车辆的随车工作人员挑选出所派订单指定的种类的垃圾并进行装车；若垃圾种类为“生活垃圾”，则由回收车辆随车工作人员不作细分进行装车运回。
5.根据权利要求1所述的AI识图的垃圾分类与智能回收方法，其特征在于，所述落在回收半径范围外的垃圾点集合S2和大于最大载荷量的集合S1 2中的垃圾点，当前回收车辆不予处理，将集合中的垃圾点加回到对应的二级订单池，等待后续分配给其他回收车辆。
6.一种计算机，包括处理器、存储器以及存储在所述存储器中的计算机程序，其特征在于，处理器执行计算机程序时，实现所述权利要求1至5中任一权利要求所述的AI识图的垃圾分类与智能回收方法的步骤。
7.一种计算机可读存储介质，所述存储介质中存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现所述权利要求1至5中任一权利要求所述的AI识图的垃圾分类与智能回收方法的步骤。
CN202011238157.XA 2020-11-09 2020-11-09 一种ai识图的垃圾分类与智能回收方法 Active CN112560576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011238157.XA CN112560576B (zh) 2020-11-09 2020-11-09 一种ai识图的垃圾分类与智能回收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011238157.XA CN112560576B (zh) 2020-11-09 2020-11-09 一种ai识图的垃圾分类与智能回收方法

Publications (2)

Publication Number Publication Date
CN112560576A CN112560576A (zh) 2021-03-26
CN112560576B true CN112560576B (zh) 2022-09-16

Family

ID=75042995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011238157.XA Active CN112560576B (zh) 2020-11-09 2020-11-09 一种ai识图的垃圾分类与智能回收方法

Country Status (1)

Country Link
CN (1) CN112560576B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053684A1 (ja) * 2021-09-28 2023-04-06 株式会社Ｎｔｔドコモ ゴミ収集システムおよび学習済みモデル
CN114170293A (zh) * 2021-11-17 2022-03-11 华南农业大学 一种基于多属性标准标签的快递箱体积测量方法
CN114399104A (zh) * 2022-01-11 2022-04-26 北京林业大学 垃圾回收调度方法
CN116329237B (zh) * 2023-04-06 2023-11-03 广州拓源电子科技有限公司 基于视觉识别的智能回收系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960402A (en) * 1992-06-09 1999-09-28 Hitachi, Ltd. Information management apparatus dealing with waste and waste recycle planning supporting apparatus
JP2003167980A (ja) * 2001-12-03 2003-06-13 Nkk Corp 廃棄物中継施設の計画装置及び計画方法
CN107248014A (zh) * 2017-06-27 2017-10-13 安徽师范大学 基于量子布谷鸟搜索算法的智能垃圾回收路径规划方法
CN110781896A (zh) * 2019-10-17 2020-02-11 暨南大学 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统
CN111695641A (zh) * 2020-06-22 2020-09-22 中国银行股份有限公司 一种垃圾分类的方法及装置
CN111709477A (zh) * 2020-06-16 2020-09-25 浪潮集团有限公司 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN111833322A (zh) * 2020-07-08 2020-10-27 昆明理工大学 一种基于改进YOLOv3的垃圾多目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110466911A (zh) * 2019-04-08 2019-11-19 江西理工大学 自动分类垃圾桶及分类方法
CN110210635A (zh) * 2019-06-05 2019-09-06 周皓冉 一种能识别废弃物的智能分类回收系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960402A (en) * 1992-06-09 1999-09-28 Hitachi, Ltd. Information management apparatus dealing with waste and waste recycle planning supporting apparatus
JP2003167980A (ja) * 2001-12-03 2003-06-13 Nkk Corp 廃棄物中継施設の計画装置及び計画方法
CN107248014A (zh) * 2017-06-27 2017-10-13 安徽师范大学 基于量子布谷鸟搜索算法的智能垃圾回收路径规划方法
CN110781896A (zh) * 2019-10-17 2020-02-11 暨南大学 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111445368A (zh) * 2020-03-16 2020-07-24 五邑大学 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统
CN111709477A (zh) * 2020-06-16 2020-09-25 浪潮集团有限公司 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN111695641A (zh) * 2020-06-22 2020-09-22 中国银行股份有限公司 一种垃圾分类的方法及装置
CN111833322A (zh) * 2020-07-08 2020-10-27 昆明理工大学 一种基于改进YOLOv3的垃圾多目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Computer Vision System to Localize and Classify Wastes on the Streets;Mohammad Saeed Rad等;《ICVS 2017: Computer Vision Systems》;20171011;第195-204页 *
A modified YOLOv3 detection method for vision-based water surface garbage capture robot;Xiali Li等;《International Journal of Advanced Robotic Systems》;20200629;第17卷(第3期);第1-11页 *
基于卷积神经网络的固定视角道路垃圾检测;余希鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315;第I138-918页 *
基于改进Faster R-CNN的垃圾检测与分类;马雯等;《计算机工程》;20200729;第1-7页 *
基于改进YOLOv3算法在垃圾检测上的应用;许伟等;《光电子.激光》;20200915;第31卷(第9期);第928-938页 *
基于物联网和图像识别的垃圾分类回收系统;张怀予;《物联网与无线通信-2018年全国物联网技术与应用大会论文集》;20181129;第143-144页 *

Also Published As

Publication number Publication date
CN112560576A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112560576B (zh) 一种ai识图的垃圾分类与智能回收方法
Nowakowski et al. Application of deep learning object classifier to improve e-waste collection planning
CN110059554B (zh) 一种基于交通场景的多支路目标检测方法
Liu et al. Robust graph mode seeking by graph shift
CN110807385A (zh) 目标检测方法、装置、电子设备及存储介质
CN106133756A (zh) 用于过滤、分割并且识别无约束环境中的对象的系统
CN111611970B (zh) 一种基于城管监控视频的乱扔垃圾行为检测方法
CN112070713A (zh) 一种引入attention机制的多尺度目标检测方法
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
CN112257799A (zh) 一种生活垃圾目标检测的方法、系统及装置
CN114937179B (zh) 垃圾图像分类方法、装置、电子设备及存储介质
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN114049572A (zh) 识别小目标的检测方法
CN109919145A (zh) 一种基于3d点云深度学习的矿卡检测方法及系统
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN103093247A (zh) 一种植物图片的自动分类方法
CN105574545A (zh) 环境图像多视角语义切割方法及装置
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN112560799B (zh) 基于自适应目标区域搜索和博弈的无人机智能车辆目标检测方法和应用
CN112748732B (zh) 基于改进Kstar算法和深度学习的实时路径规划方法
CN113887649A (zh) 一种基于深层特征和浅层特征融合的目标检测方法
CN112200248A (zh) 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质
CN116109047A (zh) 一种基于三维智能检测的智能调度方法
CN113408546B (zh) 基于相互全局上下文注意力机制的单样本目标检测方法
CN114639084A (zh) 一种基于ssd改进算法的路侧端车辆感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant