CN113627481A - 一种面向智慧园林的多模型组合的无人机垃圾分类方法 - Google Patents

一种面向智慧园林的多模型组合的无人机垃圾分类方法 Download PDF

Info

Publication number
CN113627481A
CN113627481A CN202110776388.4A CN202110776388A CN113627481A CN 113627481 A CN113627481 A CN 113627481A CN 202110776388 A CN202110776388 A CN 202110776388A CN 113627481 A CN113627481 A CN 113627481A
Authority
CN
China
Prior art keywords
garbage
classification
model
sample image
primary model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110776388.4A
Other languages
English (en)
Inventor
张晖
马博文
赵海涛
孙雁飞
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110776388.4A priority Critical patent/CN113627481A/zh
Publication of CN113627481A publication Critical patent/CN113627481A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向智慧园林的多模型组合的无人机垃圾分类方法，收集预设数量个垃圾样本图像，构建垃圾样本图像集合，基于垃圾样本图像集合，提取垃圾样本图像中各个垃圾对象的特征信息，并确认各个垃圾对象分别所对应的预设垃圾分类结果，构建以各个垃圾对象的特征信息为输入，以各个垃圾对象分别所对应的组合预测分类结果为输出的待训练组合模型，并进行训练，得到垃圾分类模型，应用垃圾分类模型对待分类垃圾图像进行分类。通过本发明的方法应用垃圾分类模型更好的提取到不同种类的垃圾数据特征，并通过模型改进以及多模型组合预测的方法，集合各种检测模型的优势，极大提高无人机场景下垃圾分类的准确性。

Description

一种面向智慧园林的多模型组合的无人机垃圾分类方法
技术领域
本发明涉及人工智能目标识别技术领域，具体而言涉及一种面向智慧园林的多模型组合的无人机垃圾分类方法。
背景技术
垃圾分类在智慧园林领域有着重要价值，在构建智慧绿色城市和保证市民生活质量方面发挥重要作用。无人机遥感属于低空遥感技术，与各种高分辨率卫星相比，无人机在获取影像过程中受大气因素的干扰较小，在小区域遥感应用方面有着良好的前景。利用无人机获取超高空间分辨率的影像为提取垃圾的特征信息提供了新的手段。
现有的用于提高无人机影像垃圾分类方法多是通过传统机器学习及添加手工特征变量的方式，不同的特征变量会导致获得的分类效果不同，手工添加特征变量往往依靠经验，具有一定的盲目性。深度学习是人工智能的重要进展之一，颠覆了传统算法的设计思路，能够自动从数据中学习特征，避免了传统算法中人工设计、提取特征的复杂性和局限性，在没有人为干预的情况下，具有极大的特征学习潜力。在遥感领域中，深度学习，特别是卷积神经网络(CNN)，已经被广泛应用于遥感图像的分类、提取、识别和检索，全面超越了传统方法。
目前用于垃圾分类的深度学习算法有两种，分别为one-stage方法和two-stage方法。one-stage方法，比如YOlO和SSD。主要思路是均匀的在图片的不同位置上密集抽样，抽样时可以采用不同的比例和长宽比，然后用CNN提取特征后直接分类与回归，整个过程只需要一步，所以优点是速度快。但是均匀的密集采样的缺点是训练困难，主要是因为正样本与负样本(背景)及其不均衡，导致模型准确度较低。two-stage方法，比如R-CNN系算法。主要思路是先通过启发式方法或者CNN网络产生一系列稀疏的候选框，然后对这些候选框进行分类和回归，但是R-CNN对于小目标识别并没有SSD精准，在垃圾分类中实用性不算高。
发明内容
本发明的目的在于提供一种面向智慧园林的多模型组合的无人机垃圾分类方法，以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
收集预设数量、分别包含已知实际垃圾分类结果的垃圾对象区域各幅垃圾样本图像，构建垃圾样本图像集合，通过以下步骤A至步骤C训练并获得垃圾分类模型，通过以下步骤D，应用垃圾分类模型，确定待处理垃圾图像中各个垃圾对象的垃圾分类结果：
步骤A、基于垃圾样本图像集合，提取垃圾样本图像中各个垃圾对象分别所对应的预设各属性类型的特征信息，将样本图像集合中的各个垃圾样本图像按照预设比例分为用于训练垃圾分类模型的训练集、以及用于测试垃圾分类模型的测试集，随后进入步骤B；
步骤B、分别针对各个垃圾分类待训练模型，根据训练集中的各个垃圾样本图像，以垃圾样本图像中各个垃圾对象区域分别所对应预设各属性类型的特征信息为输入，以该各个垃圾对象区域分别对应的垃圾分类结果为输出，结合预设损失函数，对垃圾分类待训练模型进行训练，获得该垃圾分类待训练模型对应的分类初级模型，进而获得训练后用于识别各个垃圾对象区域对应的垃圾分类结果的各个分类初级模型，随后进入步骤C；
步骤C、分别针对测试集中的各个垃圾样本图像中的各个垃圾对象区域，根据垃圾对象区域分别所对应预设各属性类型特征信息的数据，分别应用各个分类初级模型，获得该垃圾对象区域分别对应各分类初级模型的预估分类结果，并计算各个分类初级模型的性能指标，利用性能指标，确定最优分类初级模型，作为垃圾分类模型；
步骤D、针对各个待处理垃圾图像，通过垃圾对象识别模型确定各个垃圾对象区域，分别针对确定的各个垃圾对象区域提取对应的预设各属性类型特征信息的数据，分别针对各个垃圾对象区域，结合其对应的预设各属性类型特征信息数据，应用垃圾分类模型，得到待处理图象中各个垃圾对象区域分别所对应的垃圾分类结果。
进一步地，前述的步骤A中，在通过候选框选择提取垃圾样本图像中各个垃圾对象的特征信息时，对各个垃圾样本图像中模糊或损失的细节特征进行增强或恢复，具体包括：
步骤A1、基于Laplacian变换法对垃圾样本图像进行增强处理，并提取垃圾样本图像中的细节特征信息；
步骤A2、基于Lsotropic Sobel梯度法算法对垃圾样本图像进行锐化处理，并获得垃圾样本图像的边缘特征信息；
步骤A3、将垃圾样本图像按照预设算法分割成块，分别针对每块垃圾样本图像，基于所述步骤A1、步骤A2获得的垃圾样本图像中对应该块垃圾样本图像的细节特征信息、以及垃圾样本图像中对应该块垃圾样本图像的边缘特征信息进行乘积运算，获得每块垃圾样本图像对应的增强图像，利用增强图像对其分别所对应的垃圾样本图像进行更新，获得更新后的垃圾样本图像。
进一步地，前述的步骤B中的垃圾分类待训练模型中包括Faster RCNN分类初级模型；
垃圾样本图像输入至所述Faster RCNN分类初级模型中，首先通过双线性插值法将垃圾样本图像按照预设比例进行缩放，并对垃圾样本图像上的垃圾对象区域进行扫描，获得各个垃圾对象分别对应的候选框、以及各个候选框的四维向量(x,y,w,h)，其中，x为候选框中心点对应的横坐标，y为候选框中心点对应的纵坐标，w为候选框的宽度，h为候选框的高度，分别针对各个候选框，使用回归变量dx(A),dy(A),dw(A),dh(A)分别对各个候选框的四维向量进行回归并修正，根据公式：
F(A)＝G
获得垃圾样本图像对应的目标框，其中，F为变换关系，A为候选框(Ax,Ay,Aw,Ah)，G为目标框(Gx,Gy,Gw,Gh)，Gx＝Ax+Aw·dx(A)，Gy＝Ay+Ah·dy(A)，Gw＝Aw+exp(dw(A))，Gh＝Ah+exp(dh(A))。
进一步地，前述的步骤B中的垃圾分类待训练模型中还包括SSD分类初级模型，并利用center loss损失函数与交叉熵损失函数相结合的损失函数对SSD分类初级模型中的交叉熵损失函数进行改进，所述损失函数L为：
Figure BDA0003155497620000031
其中，Ls为交叉熵损失函数，Lc为center loss损失函数，λ为加权系数，n为分类子模型中候选框的总数，i为当前候选框，W为i个候选框中特征信息通过迭代更新后的权重系数，xi为第i个候选框提取的特征，yi为第i个候选框中垃圾对象的类别，bi为第i个候选框对应的默认偏置值，
Figure BDA0003155497620000032
为第i个候选框中垃圾对象所对应类别下所有垃圾对象的平均特征信息；
垃圾样本图像输入至所述SSD分类初级模型中，首先按照预设算法将垃圾样本图像进行分割，得到对应的各个大小相同的特征图，分别针对各个特征图，根据公式：
Figure BDA0003155497620000041
得到每个特征图对应的默认框的大小，其中，Sk为当前第k个特征图的默认框的面积，Smax为最大的默认框面积，Smin为最小默认框的面积，m为特征图数量；
分别针对各个特征图所对应的面积，按照预设比例，获得不同的宽高比，各个默认框宽高比公式如下：
Figure BDA0003155497620000042
其中，W为宽度，a为当前宽高比值，H为高度，ar为SSD模型中不同的宽高比组
Figure BDA0003155497620000043
进一步地，分别针对Faster RCNN分类初级模型、以及SSD分类初级模型获得的候选框，结合候选框中垃圾对象区域预设各属性类型的特征信息，按照预设的非极大值抑制算法对垃圾对象区域进行分类预测，得到垃圾对象区域的预估分类结果。
进一步地，前述的步骤B中的垃圾分类待训练模型中还包括YOLO分类初级模型，并对YOLO分类初级模型中的IoU损失函数进行改进，获得修正后的IoU损失函数LIoU：
Figure BDA0003155497620000044
其中，IoU为原YOLO模型中的IoU损失函数，b、bgt分别为垃圾样本图像中预测候选框和真实候选框的中心点，ρ为两个中心点间的欧氏距离，c为能够同时包含预测框和真实框的最小闭包区域的对角线距离，α为权重函数，ν为用来度量长宽比的相似性，其中，
Figure BDA0003155497620000045
进一步地，所述步骤C分别针对各个分类初级模型，执行如下步骤C1-C5，获得各个分类初级模型的性能指标：
步骤C1、根据公式：
Figure BDA0003155497620000046
分别计算分类初级模型对垃圾对象区域分类结果的相对误差，其中，erj为第r个分类初级模型对第j个垃圾对象区域的分类结果的相对误差，Xrj为第r个分类初级模型对第j个垃圾对象区域的实际垃圾分类结果值，Yrj为第r个分类初级模型对第j个垃圾对象区域的预估分类结果值，r为分类初级模型的序号，R为分类初级模型的总数，j为测试集中所有垃圾样本图像中对应的所有垃圾对象区域的序号，N为测试集中所有垃圾样本图像中对应的所有垃圾对象区域的总数；
步骤C2、对误差数据进行归一化处理，根据公式：
Figure BDA0003155497620000051
其中，prj为第r个分类初级模型中对第j个垃圾对象区域的分类结果的相对误差与第r个分类初级模型中所有垃圾对象区域分类结果相对误差的总和的比值；
步骤C3、计算组合模型中各个分类初级模型的相对误差的熵值，进一步获得相应分类初级模型的冗余度，根据公式：
Figure BDA0003155497620000052
其中，Er为第r个分类初级模型相对误差的熵值，进一步获得第r个分类初级模型的冗余度dr＝1-Er，并且
Figure BDA0003155497620000053
q为系数；
步骤C4、利用分类初级模型冗余度，计算对应分类初级模型的权重，并更新自适应权重，根据公式：
Figure BDA0003155497620000054
Figure BDA0003155497620000055
其中，zr为第r个分类初级模型的权重，
Figure BDA0003155497620000056
为第r个分类初级模型更新后的自适应权重；
步骤C5、根据步骤C3所获该分类初级模型相对误差的熵值、分类初级模型的权重、以及自适应权重构成了该分类初级模型所对应的性能指标。
进一步地，分别针对各个分类初级模型所对应的各个性能指标，将各个性能指标结果分别与其对应的预设性能指标进行误差比较，将误差值均最小的分类初级模型确定为最优分类初级模型，作为垃圾分类模型进行应用。
进一步地，基于预设数量、分别包含垃圾对象区域的各幅垃圾样本图像，结合垃圾对象区域对应预设各属性类型的特征信息，以垃圾样本图像为输入，以垃圾样本图像中的各个垃圾对象区域为输出，构建步骤D中所述垃圾对象识别模型，针对待处理垃圾图像应用垃圾对象识别模型，确认待处理垃圾图像中的各个垃圾对象区域。
本发明所述一种面向智慧园林的多模型组合的无人机垃圾分类方法，采用以上技术方案与现有技术相比，具有以下技术效果：
1、与传统的数据增强方法相比，本专利提出两种算法融合的图像增强方法能够更好对无人机拍摄小目标进行细节增强，方便检测模型提取泛化的不同种类的垃圾所具有的特征表示，突出特征之间的可区分度，使垃圾类识别准确度显著提高。
2、通过修正YOLO模型的IoU函数和SSD模型的损失函数，极大的减少了混叠效应给小目标特征提取带来的影响以及同种类别提取到的特征间距过大导致分类不理想的的问题。
3、通过采取组合预测的方法，完美发挥了三种目标检测模型的优势，使得垃圾检测的场景使用范围得到极大扩展，极大提高了垃圾分类的准确性，也为无人机在多场景下执行任务提供了便利。
附图说明
图1为本发明示例性实施例的垃圾分类方法流程图；
图2为本发明示例性实施例垃圾样本图像增强或恢复的流程图；
图3为本发明示例性实施例SSD分类子模型的结构示意图；
图4为本发明示例性实施例YOLO分类子模型的结构示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
结合图1至图4所示的本发明示例性实施例，本发明提供一种面向智慧园林的多模型组合的无人机垃圾分类方法，针对智慧园林无人机航拍场景下，检测目标较小且图像模糊的问题，通过对海量的垃圾数据集进行数据增强，提高原始图中小目标的纹理特征，使得模型更好的提取到不同种类的垃圾数据特征，并通过模型改进以及多模型组合预测的方法，集合各种检测模型的优势，极大提高无人机场景下垃圾分类的准确性，该方法通过收集预设数量、分别包含已知实际垃圾分类结果的垃圾对象区域所对应的各幅垃圾样本图像，构建垃圾样本图像集合，通过以下步骤A至步骤C训练并获得垃圾分类模型，通过以下步骤D，应用垃圾分类模型，确定待处理垃圾图像中各个垃圾对象的垃圾分类结果：
步骤A、基于垃圾样本图像集合，提取垃圾样本图像中各个垃圾对象分别所对应的预设各属性类型的特征信息，将样本图像集合中的各个垃圾样本图像按照预设比例分为用于训练垃圾分类模型的训练集、以及用于测试垃圾分类模型的测试集，随后进入步骤B；
步骤B、分别针对各个垃圾分类待训练模型，根据训练集中的各个垃圾样本图像，以垃圾样本图像中各个垃圾对象区域分别所对应预设各属性类型的特征信息为输入，以该各个垃圾对象区域分别对应的垃圾分类结果为输出，结合预设损失函数，对垃圾分类待训练模型进行训练，获得该垃圾分类待训练模型对应的分类初级模型，进而获得训练后用于识别各个垃圾对象区域对应的垃圾分类结果的各个分类初级模型，随后进入步骤C；
步骤C、分别针对测试集中的各个垃圾样本图像中的各个垃圾对象区域，根据垃圾对象区域分别所对应预设各属性类型特征信息的数据，分别应用各个分类初级模型，获得该垃圾对象区域分别对应各分类初级模型的预估分类结果，并计算各个分类初级模型的性能指标，利用性能指标，确定最优分类初级模型，作为垃圾分类模型；
步骤D、针对各个待处理垃圾图像，通过垃圾对象识别模型确定各个垃圾对象区域，分别针对确定的各个垃圾对象区域提取对应的预设各属性类型特征信息的数据，分别针对各个垃圾对象区域，结合其对应的预设各属性类型特征信息数据，应用垃圾分类模型，得到待处理图象中各个垃圾对象区域分别所对应的垃圾分类结果。
作为优选方案，步骤A在通过候选框选择提取垃圾样本图像中各个垃圾对象的特征信息时，对各个垃圾样本图像中模糊或损失的细节特征如图2所示进行增强或恢复，具体包括：
步骤A1、基于Laplacian变换法对垃圾样本图像进行增强处理，并提取垃圾样本图像中的细节特征信息；
二阶微分能够实现对图像的锐化处理，并提取图像的细节信息。传统的Laplacian只考虑正交方向上的数值，其他方向的图像灰度值并没有考虑，因此在图像增强的过程中会忽略一些重要的细节特征。为了弥补这一问题，除了对x和y方向取二阶微分外，还增加45°和135°方向的二阶微分。
步骤A2、基于Lsotropic Sobel梯度法算法对垃圾样本图像进行锐化处理，并获得垃圾样本图像的边缘特征信息；
一阶微分能实现非线性的图像锐化，并捕获图像边缘特征信息，使图像灰度值达到增强的目的，离散型Sobel算子并没有考虑到各项同向性，会对边缘信息进行过度修正，为了避免这一缺陷，采用Lsotropic Sobel算子。
步骤A3、将垃圾样本图像按照预设算法分割成块，分别针对每块垃圾样本图像，根据相关性原则，从图像的第一个像素点开始，以该像素为中心选取改像素的5*5的像素值矩阵，基于步骤A1、步骤A2获得的垃圾样本图像中对应该块垃圾样本图像的细节特征信息、以及垃圾样本图像中对应该块垃圾样本图像的边缘特征信息进行乘积运算，获得每块垃圾样本图像对应的增强图像，利用增强图像对其分别所对应的垃圾样本图像进行更新，获得更新后的垃圾样本图像。
作为优选方案，步骤B中的待训练组合模型中包括Faster RCNN分类初级模型；
垃圾样本图像输入至所述Faster RCNN分类初级模型，首先通过双线性插值法将垃圾样本图像按照预设比例缩放为224×224，特征提取模块输出特征图维度为13×13，采用16种anchors对垃圾样本图像上的垃圾对象区域进行扫描，即一共可以得到13×13×16＝2704个候选框，以及各个候选框的四维向量(x,y,w,h)，其中，x为候选框中心点对应的横坐标，y为候选框中心点对应的纵坐标，w为候选框的宽度，h为候选框的高度，分别针对各个候选框，使用回归变量dx(A),dy(A),dw(A),dh(A)分别对各个候选框的四维向量进行回归并修正，根据公式：
F(A)＝G
获得垃圾样本图像对应的目标框，其中，F为变换关系，A为候选框(Ax,Ay,Aw,Ah)，G为目标框(Gx,Gy,Gw,Gh)，Gx＝Ax+Aw·dx(A)，Gy＝Ay+Ah·dy(A)，Gw＝Aw+exp(dw(A))，Gh＝Ah+exp(dh(A))。
作为优选方案，步骤B中的待训练组合模型中还包括SSD分类初级模型，SSD分类初级模型主要有两部分组成，第一部分为基础的特征提取网络，第二部分为特征金字塔网络。其中第一部分的基础图像特征提取网络结构是基于VGG16网络结构数据，第二部分是将VGG16最后的两个全连接层(FC6和FC7)改成卷积层(Conv6和Conv7),并随后增加了4个卷积层来构建网络结构，从而构建特征金字塔部分，具体结构如图3所示。
由于SSD模型在小目标检测过程中原始的交叉熵损失函数无法保证提取的特征具有识别度的缺点，利用center loss损失函数与交叉熵损失函数相结合的损失函数对SSD分类子模型中的交叉熵损失函数进行改进，所述损失函数L为：
Figure BDA0003155497620000091
其中，Ls为交叉熵损失函数，Lc为center loss损失函数，λ为加权系数，n为分类子模型中候选框的总数，i为当前候选框，W为i个候选框中特征信息通过迭代更新后的权重系数，xi为第i个候选框提取的特征，yi为第i个候选框中垃圾对象的类别，bi为第i个候选框对应的默认偏置值，
Figure BDA0003155497620000092
为第i个候选框中垃圾对象所对应类别下所有垃圾对象的平均特征信息；
在对垃圾识别的过程中，特征金字塔网络部分提取图像的特征，特征金字塔的默认框从6层卷积层输出的特征图中产生，分别为Conv4_3，Conv7(FC7)，Conv8_2，Conv9_2，Conv10_2，Conv11_2，这6个特征层产生的特征图的大小分别为38×38，19×19，10×10，5×5，3×3，1×1。在垃圾识别算法中，每个特征图上的每个点生成对应一组默认框，每个默认框对应一个边界框输出一组检测结果，检测结果包括置信度(即属于某一类的得分)和位置值。在这6个特征图中Conv4_3层作为第一个特征图。剩下的5个卷积层的特征图分别用2个不同的3×3的卷积核进行卷积，其中一个卷积结果输出每个边界框中各个类别的置信度，另外一个卷积结果输出每个边界框的位置值。
垃圾样本图像输入至所述SSD分类初级模型中，首先按照预设算法将垃圾样本图像进行分割，得到对应的各个大小相同的特征图，分别针对各个特征图，根据公式：
Figure BDA0003155497620000093
得到每个特征图对应的默认框的大小，其中，Sk为当前第k个特征图的默认框的面积，Smax为最大的默认框面积，Smin为最小默认框的面积，m为特征图数量；
分别针对各个特征图所对应的面积，按照预设比例，获得不同的宽高比，各个默认框宽高比公式如下：
Figure BDA0003155497620000094
其中，W为宽度，a为当前宽高比值，H为高度，ar为SSD模型中不同的宽高比组
Figure BDA0003155497620000095
对于宽高度比为1的情况，还添加了一个缩放的
Figure BDA0003155497620000096
默认框使得每个特征图的每个点上有6个默认框，对于Conv4_3,Conv10_2和Conv11_2只是使用了4个默认框。
作为优选方案，分别针对Faster RCNN分类初级模型、以及SSD分类初级模型获得的候选框，结合候选框中垃圾对象区域预设各属性类型的特征信息，按照预设的非极大值抑制算法对垃圾对象区域进行分类预测，得到垃圾对象区域的预估分类结果；
预测过程中是根据每个预测框所生成的检测结果中的置信度来预测的物体所属类别，低于置信度阈值0.5的预测框将会被筛除，所述预测框包括目标框和默认框。对于剩下的预测框由置信度值的大小进行从小到大排列，保留前Top-N个预测框，最后使用非极大抑制法。该方法对于有相交的预测框，根据检测结果的置信度和位置，从中找到置信度比较高的预测框，筛除重叠度较大的预测框，对于没有相交的就直接保留下来，作为最后的结果，这样极大缩减处理时间。
作为优选方案，步骤B中的待训练组合模型中还包括YOLO分类初级模型，YOLO(YouOnly Look Once)是一种基于深度神经网络的对象识别和定位算法，是深度学习的一个分支，最大的特点是运行速度很快，可以用于实时系统，本文采取其V3版本。YOLOv3整体网络架构分为两部分，第一部分为下图灰色矩阵区域，包含75个卷积层的Darknet53特征提取层，利用该特征提取层提取图片特征。第二部分部分为第75-105层的YOLO特征融合层，具体的模型结构如图4所示。
对YOLO分类子模型中的IoU损失函数进行改进，获得修正后的IoU损失函数LIoU：
Figure BDA0003155497620000101
其中，IoU为原YOLO模型中的IoU损失函数，b、bgt分别为垃圾样本图像中预测候选框和真实候选框的中心点，ρ为两个中心点间的欧氏距离，c为能够同时包含预测框和真实框的最小闭包区域的对角线距离，α为权重函数，ν为用来度量长宽比的相似性，其中，
Figure BDA0003155497620000102
作为优选方案，步骤C分别针对各个分类初级模型，获得各个分类初级模型的性能指标，包括以下步骤：
步骤C1、根据公式：
Figure BDA0003155497620000103
计算该分类初级模型对垃圾对象区域分类结果的相对误差，其中，erj为第r个分类初级模型对第j个垃圾对象区域的分类结果的相对误差，Xrj为第r个分类初级模型对第j个垃圾对象区域的实际垃圾分类结果值，Yrj为第r个分类初级模型对第j个垃圾对象区域的预估分类结果值，r为分类初级模型的序号，R为分类初级模型的总数，j为测试集中所有垃圾样本图像中对应的所有垃圾对象区域的序号，N为测试集中所有垃圾样本图像中对应的所有垃圾对象区域的总数；
步骤C2、对误差数据进行归一化处理，根据公式：
Figure BDA0003155497620000111
其中，prj为第r个分类初级模型中对第j个垃圾对象区域的分类结果的相对误差与第r个分类初级模型中所有垃圾对象区域分类结果相对误差的总和的比值；
步骤C3、计算组合模型中各个分类初级模型的相对误差的熵值，进一步获得相应分类初级模型的冗余度，根据公式：
Figure BDA0003155497620000112
其中，Er为第r个分类初级模型相对误差的熵值，进一步获得第r个分类初级模型的冗余度dr＝1-Er，并且
Figure BDA0003155497620000113
q为系数；
步骤C4、利用分类初级模型冗余度，计算对应分类初级模型的权重，并更新自适应权重，根据公式：
Figure BDA0003155497620000114
Figure BDA0003155497620000115
其中，zr为第r个分类初级模型的权重，
Figure BDA0003155497620000116
为第r个分类初级模型更新后的自适应权重；
步骤C5、根据步骤C1至步骤C4所获第r个分类初级模型相对误差的熵值、分类初级模型的权重、以及自适应权重构成了该分类初级模型所对应的性能指标。
分别针对各个分类初级模型所对应的各个性能指标，将各个性能指标结果分别与其对应的预设性能指标进行误差比较，将误差值均最小的分类初级模型确定为最优分类初级模型，作为垃圾分类模型进行应用。
基于预设数量、分别包含垃圾对象区域的各幅垃圾样本图像，结合垃圾对象区域对应预设各属性类型的特征信息，以垃圾样本图像为输入，以垃圾样本图像中的各个垃圾对象区域为输出，构建步骤D中所述垃圾对象识别模型，针对待处理垃圾图像应用垃圾对象识别模型，确认待处理垃圾图像中的各个垃圾对象区域。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (9)

1.一种面向智慧园林的多模型组合的无人机垃圾分类方法，其特征在于，收集预设数量、分别包含已知实际垃圾分类结果的垃圾对象区域各幅垃圾样本图像，构建垃圾样本图像集合，通过以下步骤A至步骤C训练并获得垃圾分类模型，通过以下步骤D，应用垃圾分类模型，确定待处理垃圾图像中各个垃圾对象的垃圾分类结果：
步骤A、基于垃圾样本图像集合，提取垃圾样本图像中各个垃圾对象分别所对应的预设各属性类型的特征信息，将样本图像集合中的各个垃圾样本图像按照预设比例分为用于训练垃圾分类模型的训练集、以及用于测试垃圾分类模型的测试集，随后进入步骤B；
步骤B、分别针对各个垃圾分类待训练模型，根据训练集中的各个垃圾样本图像，以垃圾样本图像中各个垃圾对象区域分别所对应预设各属性类型的特征信息为输入，以该各个垃圾对象区域分别对应的垃圾分类结果为输出，结合预设损失函数，对垃圾分类待训练模型进行训练，获得该垃圾分类待训练模型对应的分类初级模型，进而获得训练后用于识别各个垃圾对象区域对应的垃圾分类结果的各个分类初级模型，随后进入步骤C；
步骤C、分别针对测试集中的各个垃圾样本图像中的各个垃圾对象区域，根据垃圾对象区域分别所对应预设各属性类型特征信息的数据，分别应用各个分类初级模型，获得该垃圾对象区域分别对应各分类初级模型的预估分类结果，并计算各个分类初级模型的性能指标，利用性能指标，确定最优分类初级模型，作为垃圾分类模型；
步骤D、针对各个待处理垃圾图像，通过垃圾对象识别模型确定各个垃圾对象区域，分别针对确定的各个垃圾对象区域提取对应的预设各属性类型特征信息的数据，分别针对各个垃圾对象区域，结合其对应的预设各属性类型特征信息数据，应用垃圾分类模型，得到待处理图象中各个垃圾对象区域分别所对应的垃圾分类结果。
2.根据权利要求1所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，所述步骤A中，在通过候选框选择提取垃圾样本图像中各个垃圾对象的特征信息时，对各个垃圾样本图像中模糊或损失的细节特征进行增强或恢复，具体包括：
步骤A1、基于Laplacian变换法对垃圾样本图像进行增强处理，并提取垃圾样本图像中的细节特征信息；
步骤A2、基于Lsotropic Sobel梯度法算法对垃圾样本图像进行锐化处理，并获得垃圾样本图像的边缘特征信息；
步骤A3、将垃圾样本图像按照预设算法分割成块，分别针对每块垃圾样本图像，基于所述步骤A1、步骤A2获得的垃圾样本图像中对应该块垃圾样本图像的细节特征信息、以及垃圾样本图像中对应该块垃圾样本图像的边缘特征信息进行乘积运算，获得每块垃圾样本图像对应的增强图像，利用增强图像对其分别所对应的垃圾样本图像进行更新，获得更新后的垃圾样本图像。
3.根据权利要求1所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，所述步骤B中的垃圾分类待训练模型中包括Faster RCNN分类初级模型；
垃圾样本图像输入至所述Faster RCNN分类初级模型中，首先通过双线性插值法将垃圾样本图像按照预设比例进行缩放，并对垃圾样本图像上的垃圾对象区域进行扫描，获得各个垃圾对象分别对应的候选框、以及各个候选框的四维向量(x，y，w，h)，其中，x为候选框中心点对应的横坐标，y为候选框中心点对应的纵坐标，w为候选框的宽度，h为候选框的高度，分别针对各个候选框，使用回归变量dx(A)，dy(A)，dw(A)，dh(A)分别对各个候选框的四维向量进行回归并修正，根据公式：
F(A)＝G
获得垃圾样本图像对应的目标框，其中，F为变换关系，A为候选框(Ax，Ay，Aw，Ah)，G为目标框(Gx，Gy，Gw，Gh)，Gx＝Ax+Aw·dx(A)，Gy＝Ay+Ah·dy(A)，Gw＝Aw+exp(dw(A))，Gh＝Ah+exp(dh(A))。
4.根据权利要求1所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，所述步骤B中的垃圾分类待训练模型中还包括SSD分类初级模型，并利用centerloss损失函数与交叉熵损失函数相结合的损失函数对SSD分类初级模型中的交叉熵损失函数进行改进，所述损失函数L为：
Figure FDA0003155497610000021
其中，Ls为交叉熵损失函数，Lc为center loss损失函数，λ为加权系数，n为分类子模型中候选框的总数，i为当前候选框，W为i个候选框中特征信息通过迭代更新后的权重系数，xi为第i个候选框提取的特征，yi为第i个候选框中垃圾对象的类别，bi为第i个候选框对应的默认偏置值，
Figure FDA0003155497610000022
为第i个候选框中垃圾对象所对应类别下所有垃圾对象的平均特征信息；
垃圾样本图像输入至所述SSD分类初级模型中，首先按照预设算法将垃圾样本图像进行分割，得到对应的各个大小相同的特征图，分别针对各个特征图，根据公式：
Figure FDA0003155497610000031
得到每个特征图对应的默认框的大小，其中，Sk为当前第k个特征图的默认框的面积，Smax为最大的默认框面积，Smin为最小默认框的面积，m为特征图数量；
分别针对各个特征图所对应的面积，按照预设比例，获得不同的宽高比，各个默认框宽高比公式如下：
Figure FDA0003155497610000032
其中，W为宽度，a为当前宽高比值，H为高度，ar为SSD模型中不同的宽高比组
Figure FDA0003155497610000033
5.根据权利要求3或4任意一项所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，分别针对Faster RCNN分类初级模型、以及SSD分类初级模型获得的候选框，结合候选框中垃圾对象区域预设各属性类型的特征信息，按照预设的非极大值抑制算法对垃圾对象区域进行分类预测，得到垃圾对象区域的预估分类结果。
6.根据权利要求1所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，所述步骤B中的垃圾分类待训练模型中还包括YOLO分类初级模型，并对YOLO分类初级模型中的IoU损失函数进行改进，获得修正后的IoU损失函数LIoU：
Figure FDA0003155497610000034
其中，IoU为原YOLO模型中的IoU损失函数，b、bgt分别为垃圾样本图像中预测候选框和真实候选框的中心点，ρ为两个中心点间的欧氏距离，c为能够同时包含预测框和真实框的最小闭包区域的对角线距离，α为权重函数，v为用来度量长宽比的相似性，其中，
Figure FDA0003155497610000035
7.根据权利要求1所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，所述步骤C分别针对各个分类初级模型，执行如下步骤C1-C5，获得各个分类初级模型的性能指标：
步骤C1、根据公式：
Figure FDA0003155497610000036
计算分类初级模型对垃圾对象区域分类结果的相对误差，其中，erj为第r个分类初级模型对第j个垃圾对象区域的分类结果的相对误差，Xrj为第r个分类初级模型对第j个垃圾对象区域的实际垃圾分类结果值，Yrj为第r个分类初级模型对第j个垃圾对象区域的预估分类结果值，r为分类初级模型的序号，R为分类初级模型的总数，j为测试集中所有垃圾样本图像中对应的所有垃圾对象区域的序号，N为测试集中所有垃圾样本图像中对应的所有垃圾对象区域的总数；
步骤C2、对误差数据进行归一化处理，根据公式：
Figure FDA0003155497610000041
其中，prj为第r个分类初级模型中对第j个垃圾对象区域的分类结果的相对误差与第r个分类初级模型中所有垃圾对象区域分类结果相对误差的总和的比值；
步骤C3、计算组合模型中各个分类初级模型的相对误差的熵值，进一步获得相应分类初级模型的冗余度，根据公式：
Figure FDA0003155497610000042
其中，Er为第r个分类初级模型相对误差的熵值，进一步获得第r个分类初级模型的冗余度dr＝1-Er，并且
Figure FDA0003155497610000043
q为系数；
步骤C4、利用分类初级模型冗余度，计算对应分类初级模型的权重，并更新自适应权重，根据公式：
Figure FDA0003155497610000044
其中，zr为第r个分类初级模型的权重，
Figure FDA0003155497610000045
为第r个分类初级模型更新后的自适应权重；
步骤C5、根据步骤C3所获该分类初级模型相对误差的熵值、分类初级模型的权重、以及自适应权重构成了该分类初级模型所对应的性能指标。
8.根据权利要求1或7任意一项所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，分别针对各个分类初级模型所对应的各个性能指标，将各个性能指标结果分别与其对应的预设性能指标进行误差比较，将误差值均最小的分类初级模型确定为最优分类初级模型，作为垃圾分类模型进行应用。
9.根据权利要求1所述的一种面向智慧园林的多模型组合的无人垃圾分类方法，其特征在于，基于预设数量、分别包含垃圾对象区域的各幅垃圾样本图像，结合垃圾对象区域对应预设各属性类型的特征信息，以垃圾样本图像为输入，以垃圾样本图像中的各个垃圾对象区域为输出，构建步骤D中所述垃圾对象识别模型，针对待处理垃圾图像应用垃圾对象识别模型，确认待处理垃圾图像中的各个垃圾对象区域。
CN202110776388.4A 2021-07-09 2021-07-09 一种面向智慧园林的多模型组合的无人机垃圾分类方法 Pending CN113627481A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110776388.4A CN113627481A (zh) 2021-07-09 2021-07-09 一种面向智慧园林的多模型组合的无人机垃圾分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110776388.4A CN113627481A (zh) 2021-07-09 2021-07-09 一种面向智慧园林的多模型组合的无人机垃圾分类方法

Publications (1)

Publication Number Publication Date
CN113627481A true CN113627481A (zh) 2021-11-09

Family

ID=78379461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110776388.4A Pending CN113627481A (zh) 2021-07-09 2021-07-09 一种面向智慧园林的多模型组合的无人机垃圾分类方法

Country Status (1)

Country Link
CN (1) CN113627481A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114260193A (zh) * 2021-12-22 2022-04-01 广东德济环境发展有限公司 一种垃圾土的大石块筛分方法
CN114723999A (zh) * 2022-05-24 2022-07-08 航天宏图信息技术股份有限公司 一种基于无人机正射影像的垃圾识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108199951A (zh) * 2018-01-04 2018-06-22 焦点科技股份有限公司 一种基于多算法融合模型的垃圾邮件过滤方法
US20200043475A1 (en) * 2018-08-02 2020-02-06 Veritone, Inc. System and method for neural network orchestration
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111079639A (zh) * 2019-12-13 2020-04-28 中国平安财产保险股份有限公司 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN111368895A (zh) * 2020-02-28 2020-07-03 上海海事大学 一种湿垃圾中垃圾袋目标检测方法及检测系统
CN111783841A (zh) * 2020-06-09 2020-10-16 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN112149533A (zh) * 2020-09-10 2020-12-29 上海电力大学 一种基于改进ssd模型的目标检测方法
CN112487938A (zh) * 2020-11-26 2021-03-12 南京大学 一种利用深度学习算法实现垃圾分类的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108199951A (zh) * 2018-01-04 2018-06-22 焦点科技股份有限公司 一种基于多算法融合模型的垃圾邮件过滤方法
US20200043475A1 (en) * 2018-08-02 2020-02-06 Veritone, Inc. System and method for neural network orchestration
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111079639A (zh) * 2019-12-13 2020-04-28 中国平安财产保险股份有限公司 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN111368895A (zh) * 2020-02-28 2020-07-03 上海海事大学 一种湿垃圾中垃圾袋目标检测方法及检测系统
CN111783841A (zh) * 2020-06-09 2020-10-16 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN112149533A (zh) * 2020-09-10 2020-12-29 上海电力大学 一种基于改进ssd模型的目标检测方法
CN112487938A (zh) * 2020-11-26 2021-03-12 南京大学 一种利用深度学习算法实现垃圾分类的方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
巨刚等: "多算法融合的自适应图像增强方法", 《光子学报》 *
彭昕昀等: "基于SSD算法的垃圾识别分类研究", 《韶关学院学报•自然科学》 *
王继霞: "基于卷积神经网络的瓶状垃圾检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑(月刊)》 *
薛腾等: "一种新颖的组合模型在粮食产量预测中的应用", 《创业与经济发展》 *
许伟等: "基于改进YOLOv3算法在垃圾检测上的应用", 《光电子•激光》 *
郑健等: "一种基于深度学习的改进人脸识别算法", 《计算机与现代化》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114260193A (zh) * 2021-12-22 2022-04-01 广东德济环境发展有限公司 一种垃圾土的大石块筛分方法
CN114723999A (zh) * 2022-05-24 2022-07-08 航天宏图信息技术股份有限公司 一种基于无人机正射影像的垃圾识别方法及装置
CN114723999B (zh) * 2022-05-24 2022-08-23 航天宏图信息技术股份有限公司 一种基于无人机正射影像的垃圾识别方法及装置

Similar Documents

Publication Publication Date Title
CN111723860B (zh) 一种目标检测方法及装置
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
WO2022111219A1 (zh) 一种域自适应设备运检系统和方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN108573276A (zh) 一种基于高分辨率遥感影像的变化检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN111931686B (zh) 一种基于背景知识增强的视频卫星目标跟踪方法
CN108280460A (zh) 基于改进卷积神经网络的sar车辆目标识别方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN113052184B (zh) 一种基于两阶段局部特征对齐的目标检测方法
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN111931572B (zh) 一种遥感影像的目标检测方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN109376641A (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
CN117765363A (zh) 一种基于轻量型记忆库的图像异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211109