CN114723999B - 一种基于无人机正射影像的垃圾识别方法及装置 - Google Patents

一种基于无人机正射影像的垃圾识别方法及装置 Download PDF

Info

Publication number
CN114723999B
CN114723999B CN202210565793.6A CN202210565793A CN114723999B CN 114723999 B CN114723999 B CN 114723999B CN 202210565793 A CN202210565793 A CN 202210565793A CN 114723999 B CN114723999 B CN 114723999B
Authority
CN
China
Prior art keywords
garbage
pixel
result
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210565793.6A
Other languages
English (en)
Other versions
CN114723999A (zh
Inventor
颜秋宇
王宇翔
陈强
房松松
陈法融
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hongtu Information Technology Co Ltd filed Critical Aerospace Hongtu Information Technology Co Ltd
Priority to CN202210565793.6A priority Critical patent/CN114723999B/zh
Publication of CN114723999A publication Critical patent/CN114723999A/zh
Application granted granted Critical
Publication of CN114723999B publication Critical patent/CN114723999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于无人机正射影像的垃圾识别方法及装置，涉及图像处理技术领域，具体为：将待识别的无人机正射影像分割为预设大小的子影像；利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，垃圾场景分类结果包括农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；基于子影像的垃圾场景分类结果对子影像各像元的垃圾识别结果向量进行进一步判识，得到子影像各像元的垃圾类型识别结果。本申请提高了无人机正射影像的垃圾识别准确度。

Description

一种基于无人机正射影像的垃圾识别方法及装置
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种基于无人机正射影像的垃圾识别方法及装置。
背景技术
目前的遥感垃圾识别多为基于遥感影像进行自动解译提取或目标检测，其具体流程大多是获取遥感影像后进行配准校正，再对数据集进行扩充和增强，最后直接利用神经网络进行识别和分类。
在现有技术中，用神经网络结构进行识别和分类，由于垃圾的图像特征，尤其是对于高分辨率的遥感影像，在识别上会存在欠拟合或者过拟合的状态，导致最终神经网络模型的泛化能力和鲁棒性并不好，影响识别的精度和正确率。
发明内容
有鉴于此，本申请提供了一种基于无人机正射影像的垃圾识别方法及装置，以解决上述技术问题。
第一方面，本申请实施例提供了一种基于无人机正射影像的垃圾识别方法，包括：
获取待识别的无人机正射影像，将无人机正射影像分割为预设大小的子影像；
利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，所述垃圾场景分类结果包括农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；
利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；
基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果，所述垃圾类型识别结果为农业生产废弃物、水体漂浮物、废弃杂物或乱搭乱建乱占垃圾，所述乱搭乱建乱占垃圾包括乱搭乱建垃圾以及乱占道路。
进一步，所述垃圾场景分类模型采用深度残差网络ResNet，所述垃圾场景分类模型的训练步骤包括：
获取多个无人机正射影像样本，对每个无人机正射影像样本进行标注，标注类型为：农业生产废弃物场景、水体环境场景、废弃杂物场景或乱搭乱建乱占场景；
从每个标注的无人机正射影像样本中分割出预设大小的像素区域，作为垃圾图斑，构建垃圾图斑数据集；
将每个垃圾图斑输入所述垃圾场景分类模型，得到每个垃圾图斑的垃圾场景分类预测结果；
基于每个垃圾图斑的垃圾场景分类预测结果和标注结果，确定损失函数值；其中，若标注的无人机正射影像样本的标注类型为农业生产废弃物场景，则所述垃圾场景分类模型的标注结果为(1,0,0,0);若标注的无人机正射影像样本的标注类型为水体环境场景，则所述垃圾场景分类模型的标注结果为(0,1,0,0);若标注的无人机正射影像样本的标注类型为废弃杂物场景，则所述垃圾场景分类模型的标注结果为(0,0,1,0);若标注的无人机正射影像样本的标注类型为乱搭乱建乱场景，则所述垃圾场景分类模型的标注结果为(0,0,0,1);
基于损失函数值，更新垃圾场景分类模型的模型参数。
进一步，所述垃圾识别模型包括四个并行处理的模型：农业生产废弃物识别模型、水体漂浮物识别模型、废弃杂物识别模型和乱搭乱建乱占垃圾识别模型；这四个模型均采用Unet++神经网络，其中，Unet++的编码器的backbone使用efficientnet-b7结构，这四个模型的输出值均为0或1，0代表非垃圾，1代表垃圾；每个子影像的像元的垃圾识别结果向量包括4个分量：第一个分量为农业生产废弃物识别模型的输出值；第二个分量为水体漂浮物识别模型的输出值；第三个分量为废弃杂物识别模型的输出值；第四个分量为乱搭乱建乱占垃圾识别模型的输出值。
进一步，所述垃圾识别模型的训练过程包括：
根据标注类型将垃圾图斑数据集分为农业生产废弃物数据集、水体环境数据集、废弃杂物数据集和乱搭乱建乱占数据集；
利用农业生产废弃物数据集对所述农业生产废弃物识别模型进行训练；
利用水体环境数据集对所述水体漂浮物识别模型进行训练；
利用废弃杂物数据集对废弃杂物识别模型进行训练；
利用乱搭乱建乱占数据集对乱搭乱建乱占垃圾识别模型进行训练。
进一步，基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果；包括：
对于所述子影像的每个像元：
若所述像元的垃圾识别结果向量只有1个分量为1，则所述像元的垃圾类型识别结果为取值为1的分量对应的垃圾类型；
若所述像元的垃圾识别结果向量至少有两个分量为1，则从垃圾场景分类结果中获取概率值最大的垃圾场景类型，则所述像元的垃圾类型识别结果为概率值最大的垃圾场景类型。
进一步，所述方法还包括：
利用预先建立的地理知识图谱的地理信息，对每个子影像进行推理解译，得到各像元的垃圾类型推理结果；
当一个像元的垃圾类型识别结果不是水体漂浮物，但是垃圾类型推理结果为水体漂浮物，则将该像元的垃圾类型识别结果修正为水体漂浮物；
当一个像元的垃圾类型识别结果不是乱占道路，但是垃圾类型推理结果为乱占道路，则将该像元的垃圾类型识别结果修正为乱占道路。
进一步，所述地理知识图谱根据现实场景构建，利用预先建立的地理知识图谱的地理信息，对无人机正射影像的每个像元进行推理解译，得到垃圾类型推理结果；包括：
利用预先建立的地理知识图谱的地理信息获取所述像元的下垫面，当下垫面为水体区域，则该像元的垃圾类型推理结果为水体漂浮物；当下垫面临近道路，则该像元的垃圾类型推理结果为乱占道路。
第二方面，本申请实施例提供了一种基于无人机正射影像的垃圾识别装置，包括：
影像分割单元，用于将待识别的无人机正射影像分割为预设大小的子影像；
垃圾场景分类单元，用于利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，所述垃圾场景分类结果包括农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；
垃圾分类单元，用于利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果，所述垃圾类型识别结果为农业生产废弃物、水体漂浮物、废弃杂物或乱搭乱建乱占垃圾，所述乱搭乱建乱占垃圾包括乱搭乱建垃圾以及乱占道路。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的基于无人机正射影像的垃圾识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的基于无人机正射影像的垃圾识别方法。
本申请使用垃圾场景分类模型和垃圾识别模型对无人机正射影像进行垃圾分类，能够极大贴合现实使用场景，提高模型泛化能力和实用性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于无人机正射影像的垃圾识别方法的流程图；
图2为本申请实施例提供的地理知识图谱的示意图；
图3为本申请实施例提供的基于无人机正射影像的垃圾识别装置的功能结构图；
图4为本申请实施例提供的电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请实施例的设计思想进行简单介绍。
为了提高无人机正射影像的垃圾类别识别精度，本申请提供了一种基于无人机正射影像的垃圾识别方法，通过：获取待识别的无人机正射影像，将无人机正射影像分割为预设大小的子影像；利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，所述垃圾场景分类结果包括每个子影像为农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果，所述垃圾类型识别结果为农业生产废弃物、水体漂浮物、废弃杂物或乱搭乱建乱占垃圾，所述乱搭乱建乱占垃圾包括乱搭乱建垃圾以及乱占道路。从而提高了垃圾类型识别的精度。
与传统的垃圾识别提取方法相比，本申请具有快速准确的优点；与简单的深度学习语义分割方法相比，本申请根据现实场景的复杂性，引入了场景分类方法，将常规的单模型解决方案变为多场景的多模型集成判识，能够更好的增加解决方案的适用性；现有的垃圾的多类别分类由于其类间的高相似性，用神经网络直接分类较难，本申请引入地理知识图谱辅助类别判识，通过地理信息关系能够极大解决垃圾难分类的问题。
在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。
如图1所示，本申请实施例提供了一种基于无人机正射影像的垃圾识别方法，所述方法：
步骤101：将待识别的无人机正射影像分割为预设大小的子影像；
通常情况下，子影像为1024*1024像素的图像。
步骤102：利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，所述垃圾场景分类结果包括农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；
本实施例中，垃圾场景的类型包括：农业生产废弃物场景（含农业生产废弃物）、水体环境场景（含水体漂浮物）、废弃杂物场景（含废弃杂物）和乱搭乱建乱占场景（含乱搭乱建乱占垃圾）。
其中，农业生产废弃物指的是农药废弃包装物、废旧农膜等；水体漂浮物指的是沟渠、池塘、湖泊、河道、溪沟等各类水体障碍物、漂浮物、堆积物等；废弃杂物指的是人们在日常生活中或者为日常生活提供服务的活动中产生的固体废物等；乱搭乱建乱占垃圾指的是重违反村庄规划的建筑物、构筑物，严重影响村容村貌的彩钢棚、构筑物、棚房，影响道路通行的建筑物、构筑物、台阶、围墙等。
所述垃圾场景分类模型采用深度残差网络ResNet，其中，ResNet由输入层，输出层和中间卷积层构成，考虑到精度和实效性，使用的是ResNet50，其特殊的残差单元公式如下所示：
Figure P_220523173002067_067059001
从而，从浅层
Figure M_220523173002113_113958001
到深层L的学习特征为：
Figure P_220523173002129_129579001
其中，
Figure M_220523173002176_176445001
和
Figure M_220523173002211_211076002
分别表示的是第
Figure M_220523173002242_242842003
个残差单元的输入和输出。F是残差函数，表示学习到的残差，而
Figure M_220523173002258_258494004
表示恒等映射，f是ReLU激活函数，
Figure M_220523173002305_305338005
是权重参数。
本实施例中，所述垃圾场景分类模型的训练步骤包括：
获取多个无人机正射影像样本，对每个无人机正射影像样本进行标注，标注类型为：农业生产废弃物场景、水体环境场景、废弃杂物场景或乱搭乱建乱占场景；
从每个标注的无人机正射影像样本中分割出预设大小的像素区域，作为垃圾图斑，构建垃圾图斑数据集；
将每个垃圾图斑输入所述垃圾场景分类模型，得到每个垃圾图斑的垃圾场景分类预测结果；
基于每个垃圾图斑的垃圾场景分类预测结果和标注结果，确定损失函数值；其中，若标注的无人机正射影像样本的标注类型为农业生产废弃物场景，则所述垃圾场景分类模型的标注结果为(1,0,0,0);若标注的无人机正射影像样本的标注类型为水体环境场景，则所述垃圾场景分类模型的标注结果为(0,1,0,0);若标注的无人机正射影像样本的标注类型为废弃杂物场景，则所述垃圾场景分类模型的标注结果为(0,0,1,0);若标注的无人机正射影像样本的标注类型为乱搭乱建乱场景，则所述垃圾场景分类模型的标注结果为(0,0,0,1);
基于损失函数值，更新垃圾场景分类模型的模型参数。
其中，农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值的总和为1；则最大概率值对应的垃圾场景类型为子影像的垃圾场景类型。
步骤103：利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；
其中，所述垃圾识别模型包括四个并行处理的模型：农业生产废弃物识别模型、水体漂浮物识别模型、废弃杂物识别模型和乱搭乱建乱占垃圾识别模型；这四个模型均采用Unet++神经网络，其中，为了提高识别效率，Unet++的编码器的backbone使用efficientnet-b7结构，这四个模型的输出值均为0或1，0代表非垃圾，1代表垃圾；每个子影像的像元的垃圾识别结果向量包括4个分量：第一个分量为农业生产废弃物识别模型的输出值；第二个分量为水体漂浮物识别模型的输出值；第三个分量为废弃杂物识别模型的输出值；第四个分量为乱搭乱建乱占垃圾识别模型的输出值。
本实施例中，所述垃圾识别模型的训练过程包括：
根据标注类型将垃圾图斑数据集分为农业生产废弃物数据集、水体环境数据集、废弃杂物数据集和乱搭乱建乱占数据集；
利用农业生产废弃物数据集对所述农业生产废弃物识别模型进行训练；
利用水体环境数据集对所述水体漂浮物识别模型进行训练；
利用废弃杂物数据集对废弃杂物识别模型进行训练；
利用乱搭乱建乱占数据集对乱搭乱建乱占垃圾识别模型进行训练。
可以看到，垃圾场景分类模型用于得到影像的垃圾场景分类结果，而垃圾识别模型是对影像的每个像元进行垃圾分类识别。
步骤104：基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果。
本实施例中，基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果；包括：
对于所述子影像的每个像元：
若所述像元的垃圾识别结果向量只有1个分量为1，则所述像元的垃圾类型识别结果为取值为1的分量对应的垃圾类型；
若所述像元的垃圾识别结果向量至少有两个分量为1，则从垃圾场景分类结果中获取概率值最大的垃圾场景类型，则所述像元的垃圾类型识别结果为概率值最大的垃圾场景类型。
所述垃圾类型识别结果为农业生产废弃物、水体漂浮物、废弃杂物或乱搭乱建乱占垃圾，所述乱搭乱建乱占垃圾包括乱搭乱建垃圾以及乱占道路。
为了进一步提高识别的准确度，本申请建立地理知识图谱，对垃圾场景分类结果进行修正，具体包括：
利用预先建立的地理知识图谱的地理信息，对每个子影像进行推理解译，得到各像元的垃圾类型推理结果；
当一个像元的垃圾类型识别结果不是水体漂浮物，但是垃圾类型推理结果为水体漂浮物，则将该像元的垃圾类型识别结果修正为水体漂浮物；
当一个像元的垃圾类型识别结果不是乱占道路，但是垃圾类型推理结果为乱占道路，则将该像元的垃圾类型识别结果修正为乱占道路。
其中，利用预先建立的地理知识图谱的地理信息，对无人机正射影像的每个像元进行推理解译，得到垃圾类型推理结果；包括：
根据现实场景构建地理知识图谱，如图2所示；
利用地理知识图谱的地理信息获取所述像元的下垫面，当下垫面为水体区域，则该像元的垃圾类型推理结果为水体漂浮物；当下垫面临近道路，则该像元的垃圾类型推理结果为乱占道路。
基于上述实施例，本申请实施例提供了一种无人机正射影像的垃圾识别装置，参阅图3所示，本申请实施例提供的一种无人机正射影像的垃圾识别装置200至少包括：
影像分割单元201，用于将待识别的无人机正射影像分割为预设大小的子影像；
垃圾场景分类单元202，用于利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，所述垃圾场景分类结果包括农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；
垃圾分类单元203，用于利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果，所述垃圾类型识别结果为农业生产废弃物、水体漂浮物、废弃杂物或乱搭乱建乱占垃圾，所述乱搭乱建乱占垃圾包括乱搭乱建垃圾以及乱占道路。
需要说明的是，本申请实施例提供的无人机正射影像的垃圾识别装置200解决技术问题的原理与本申请实施例提供的无人机正射影像的垃圾识别方法相似，因此，本申请实施例提供的无人机正射影像的垃圾识别装置200的实施可以参见本申请实施例提供的无人机正射影像的垃圾识别方法的实施，重复之处不再赘述。
如图4所示，本申请实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本申请实施例提供的无人机正射影像的垃圾识别方法。
本申请实施例提供的电子设备300还可以包括连接不同组件（包括处理器301和存储器302）的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
存储器302可以包括易失性存储器形式的可读介质，例如随机存储器（RandomAccess Memory，RAM）3021和/或高速缓存存储器3022，还可以进一步包括只读存储器（ReadOnly Memory，ROM）3023。
存储器302还可以包括具有一组（至少一个）程序模块3025的程序工具3024，程序模块3025包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备300也可以与一个或多个外部设备304（例如键盘、遥控器等）通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信（例如手机、电脑等），和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备（例如路由器、调制解调器等）通信。这种通信可以通过输入/输出（Input /Output，I/O）接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络（例如局域网（Local AreaNetwork，LAN），广域网（Wide Area Network，WAN）和/或公共网络，例如因特网）通信。如图4所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图4中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列（Redundant Arrays of IndependentDisks，RAID）子系统、磁带驱动器以及数据备份存储子系统等。
需要说明的是，图4所示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的无人机正射影像的垃圾识别方法。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (8)

1.一种基于无人机正射影像的垃圾识别方法，其特征在于，包括：
将待识别的无人机正射影像分割为预设大小的子影像；
利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，所述垃圾场景分类结果包括农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；
利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；
基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果，所述垃圾类型识别结果为农业生产废弃物、水体漂浮物、废弃杂物或乱搭乱建乱占垃圾，所述乱搭乱建乱占垃圾包括乱搭乱建垃圾以及乱占道路；
所述方法还包括：
利用预先建立的地理知识图谱的地理信息，对每个子影像进行推理解译，得到各像元的垃圾类型推理结果；
当一个像元的垃圾类型识别结果不是水体漂浮物，但是垃圾类型推理结果为水体漂浮物，则将该像元的垃圾类型识别结果修正为水体漂浮物；
当一个像元的垃圾类型识别结果不是乱占道路，但是垃圾类型推理结果为乱占道路，则将该像元的垃圾类型识别结果修正为乱占道路；
所述地理知识图谱根据现实场景构建，利用预先建立的地理知识图谱的地理信息，对无人机正射影像的每个像元进行推理解译，得到垃圾类型推理结果；包括：
利用预先建立的地理知识图谱的地理信息获取所述像元的下垫面，当下垫面为水体区域，则该像元的垃圾类型推理结果为水体漂浮物；当下垫面临近道路，则该像元的垃圾类型推理结果为乱占道路。
2.根据权利要求1所述的基于无人机正射影像的垃圾识别方法，其特征在于，所述垃圾场景分类模型采用深度残差网络ResNet，所述垃圾场景分类模型的训练步骤包括：
获取多个无人机正射影像样本，对每个无人机正射影像样本进行标注，标注类型为：农业生产废弃物场景、水体环境场景、废弃杂物场景或乱搭乱建乱占场景；
从每个标注的无人机正射影像样本中分割出预设大小的像素区域，作为垃圾图斑，构建垃圾图斑数据集；
将每个垃圾图斑输入所述垃圾场景分类模型，得到每个垃圾图斑的垃圾场景分类预测结果；
基于每个垃圾图斑的垃圾场景分类预测结果和标注结果，确定损失函数值；其中，若标注的无人机正射影像样本的标注类型为农业生产废弃物场景，则所述垃圾场景分类模型的标注结果为(1,0,0,0);若标注的无人机正射影像样本的标注类型为水体环境场景，则所述垃圾场景分类模型的标注结果为(0,1,0,0);若标注的无人机正射影像样本的标注类型为废弃杂物场景，则所述垃圾场景分类模型的标注结果为(0,0,1,0);若标注的无人机正射影像样本的标注类型为乱搭乱建乱场景，则所述垃圾场景分类模型的标注结果为(0,0,0,1);
基于损失函数值，更新垃圾场景分类模型的模型参数。
3.根据权利要求2所述的基于无人机正射影像的垃圾识别方法，其特征在于，所述垃圾识别模型包括四个并行处理的模型：农业生产废弃物识别模型、水体漂浮物识别模型、废弃杂物识别模型和乱搭乱建乱占垃圾识别模型；这四个模型均采用Unet++神经网络，其中，Unet++的编码器的backbone使用efficientnet-b7结构，这四个模型的输出值均为0或1，0代表非垃圾，1代表垃圾；每个子影像的像元的垃圾识别结果向量包括4个分量：第一个分量为农业生产废弃物识别模型的输出值；第二个分量为水体漂浮物识别模型的输出值；第三个分量为废弃杂物识别模型的输出值；第四个分量为乱搭乱建乱占垃圾识别模型的输出值。
4.根据权利要求3所述的基于无人机正射影像的垃圾识别方法，其特征在于，所述垃圾识别模型的训练过程包括：
根据标注类型将垃圾图斑数据集分为农业生产废弃物数据集、水体环境数据集、废弃杂物数据集和乱搭乱建乱占数据集；
利用农业生产废弃物数据集对所述农业生产废弃物识别模型进行训练；
利用水体环境数据集对所述水体漂浮物识别模型进行训练；
利用废弃杂物数据集对废弃杂物识别模型进行训练；
利用乱搭乱建乱占数据集对乱搭乱建乱占垃圾识别模型进行训练。
5.根据权利要求3所述的基于无人机正射影像的垃圾识别方法，其特征在于，基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果；包括：
对于所述子影像的每个像元：
若所述像元的垃圾识别结果向量只有1个分量为1，则所述像元的垃圾类型识别结果为取值为1的分量对应的垃圾类型；
若所述像元的垃圾识别结果向量至少有两个分量为1，则从垃圾场景分类结果中获取概率值最大的垃圾场景类型，则所述像元的垃圾类型识别结果为概率值最大的垃圾场景类型。
6.一种基于无人机正射影像的垃圾识别装置，其特征在于，包括：
影像分割单元，用于将待识别的无人机正射影像分割为预设大小的子影像；
垃圾场景分类单元，用于利用预先训练完成的垃圾场景分类模型对每个子影像进行处理，得到每个子影像的垃圾场景分类结果，所述垃圾场景分类结果包括农业生产废弃物场景的概率值、水体环境场景的概率值、废弃杂物场景的概率值和乱搭乱建乱占场景的概率值；
垃圾分类单元，用于利用预先训练完成的垃圾识别模型对每个子影像进行处理，得到每个子影像各像元的垃圾识别结果向量；基于所述子影像的垃圾场景分类结果对所述子影像各像元的垃圾识别结果向量进行进一步判识，得到所述子影像各像元的垃圾类型识别结果，所述垃圾类型识别结果为农业生产废弃物、水体漂浮物、废弃杂物或乱搭乱建乱占垃圾，所述乱搭乱建乱占垃圾包括乱搭乱建垃圾以及乱占道路；
所述装置还用于：
利用预先建立的地理知识图谱的地理信息，对每个子影像进行推理解译，得到各像元的垃圾类型推理结果；
当一个像元的垃圾类型识别结果不是水体漂浮物，但是垃圾类型推理结果为水体漂浮物，则将该像元的垃圾类型识别结果修正为水体漂浮物；
当一个像元的垃圾类型识别结果不是乱占道路，但是垃圾类型推理结果为乱占道路，则将该像元的垃圾类型识别结果修正为乱占道路；
所述地理知识图谱根据现实场景构建，利用预先建立的地理知识图谱的地理信息，对无人机正射影像的每个像元进行推理解译，得到垃圾类型推理结果；包括：
利用预先建立的地理知识图谱的地理信息获取所述像元的下垫面，当下垫面为水体区域，则该像元的垃圾类型推理结果为水体漂浮物；当下垫面临近道路，则该像元的垃圾类型推理结果为乱占道路。
7.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的基于无人机正射影像的垃圾识别方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-5任一项所述的基于无人机正射影像的垃圾识别方法。
CN202210565793.6A 2022-05-24 2022-05-24 一种基于无人机正射影像的垃圾识别方法及装置 Active CN114723999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210565793.6A CN114723999B (zh) 2022-05-24 2022-05-24 一种基于无人机正射影像的垃圾识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210565793.6A CN114723999B (zh) 2022-05-24 2022-05-24 一种基于无人机正射影像的垃圾识别方法及装置

Publications (2)

Publication Number Publication Date
CN114723999A CN114723999A (zh) 2022-07-08
CN114723999B true CN114723999B (zh) 2022-08-23

Family

ID=82232291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210565793.6A Active CN114723999B (zh) 2022-05-24 2022-05-24 一种基于无人机正射影像的垃圾识别方法及装置

Country Status (1)

Country Link
CN (1) CN114723999B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187870B (zh) * 2022-09-13 2023-01-03 浙江蓝景科技有限公司杭州分公司 海洋塑料垃圾材质识别方法、系统、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259977A (zh) * 2020-01-22 2020-06-09 浙江工业大学 一种基于深度学习的垃圾分类装置
CN113052247A (zh) * 2021-03-31 2021-06-29 清华苏州环境创新研究院 基于多标签图像识别的垃圾分类方法及垃圾分类器
CN113627481A (zh) * 2021-07-09 2021-11-09 南京邮电大学 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN113780076A (zh) * 2021-08-05 2021-12-10 北京市测绘设计研究院 建筑垃圾的图像识别方法及装置
CN113989626A (zh) * 2021-12-27 2022-01-28 北京文安智能技术股份有限公司 一种基于目标检测模型的多类别垃圾场景区分方法
CN114219963A (zh) * 2021-12-31 2022-03-22 武汉大学 地学知识引导的多尺度胶囊网络遥感地物分类方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109201514B (zh) * 2017-06-30 2019-11-08 京东方科技集团股份有限公司 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259977A (zh) * 2020-01-22 2020-06-09 浙江工业大学 一种基于深度学习的垃圾分类装置
CN113052247A (zh) * 2021-03-31 2021-06-29 清华苏州环境创新研究院 基于多标签图像识别的垃圾分类方法及垃圾分类器
CN113627481A (zh) * 2021-07-09 2021-11-09 南京邮电大学 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN113780076A (zh) * 2021-08-05 2021-12-10 北京市测绘设计研究院 建筑垃圾的图像识别方法及装置
CN113989626A (zh) * 2021-12-27 2022-01-28 北京文安智能技术股份有限公司 一种基于目标检测模型的多类别垃圾场景区分方法
CN114219963A (zh) * 2021-12-31 2022-03-22 武汉大学 地学知识引导的多尺度胶囊网络遥感地物分类方法及系统

Also Published As

Publication number Publication date
CN114723999A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Máttyus et al. Deeproadmapper: Extracting road topology from aerial images
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
Martinis et al. Unsupervised extraction of flood-induced backscatter changes in SAR data using Markov image modeling on irregular graphs
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
EP3686780B1 (en) Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating hd maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN108877267B (zh) 一种基于车载单目相机的交叉路口检测方法
CN111488879B (zh) 利用双嵌入构成的用于提高分割性能的方法及装置
CN111259827B (zh) 一种面向城市河道监管的水面漂浮物自动检测方法及装置
US10796206B2 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN109741340B (zh) 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法
CN111582218A (zh) 一种基于深度学习的遥感影像岛礁提取方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
Abid et al. UCL: Unsupervised Curriculum Learning for water body classification from remote sensing imagery
CN113298815A (zh) 一种半监督遥感图像语义分割方法、装置和计算机设备
CN114723999B (zh) 一种基于无人机正射影像的垃圾识别方法及装置
CN110210493A (zh) 基于非经典感受野调制神经网络的轮廓检测方法及系统
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112884802A (zh) 一种基于生成的对抗攻击方法
Liu et al. An ensemble of classifiers based on positive and unlabeled data in one-class remote sensing classification
Kaur et al. A review on natural disaster detection in social media and satellite imagery using machine learning and deep learning
CN114463624A (zh) 一种应用于城市管理监督的违章建筑物检测方法及装置
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
Asyraf et al. CNN-based YOLOv3 comparison for underwater object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant