CN116052027B - 基于无人机的漂浮垃圾种类识别方法、系统及云平台 - Google Patents

Abstract

本发明涉及图像处理与无人机技术领域，特别涉及一种基于无人机的漂浮垃圾种类识别方法、系统及云平台。本发明实施例提供的基于无人机的漂浮垃圾种类识别方法、系统及云平台，能够在考虑漂浮垃圾航测图像之间相关的图像细节的前提下，侧重于分析漂浮垃圾类别与漂浮垃圾航测图像的特征联系，从而保障相关的图像描述子和类别表征信息的特征识别度，这样可以确保图像描述子和类别表征信息的细节丰富程度，进而实现对漂浮垃圾航测图像中的漂浮垃圾类别的准确识别。

Description

基于无人机的漂浮垃圾种类识别方法、系统及云平台

技术领域

本发明涉及图像处理与无人机技术领域，特别涉及一种基于无人机的漂浮垃圾种类识别方法、系统及云平台。

背景技术

在全球范围内，漂浮垃圾都是一个严重的问题。漂浮垃圾在被微生物降解时会释放大量的有毒有害物质，被吞食的垃圾在鱼类体内也会释放出部分的有毒物质，有害物质会随着食物链富集，对人类和生态系统产生持久的负面影响。不仅如此，漂浮垃圾还会间接影响旅游业、渔业等民生行业。可见，针对漂浮垃圾的治理刻不容缓。当下，通过利用无人机技术能够实现漂浮垃圾的远程拾取和清理，但是不同类型的漂浮垃圾的拾取/清理方式存在差异，而如何对这些漂浮垃圾进行准确可靠的类别区分成为了一项重要任务。

发明内容

为改善相关技术中存在的技术问题，本发明提供了一种基于无人机的漂浮垃圾种类识别方法、系统及云平台。

第一方面，本发明实施例提供了一种基于无人机的漂浮垃圾种类识别方法，应用于无人机航测图像处理系统，所述方法包括：

获取漂浮垃圾航测图像以及待关联漂浮垃圾类别，其中，所述漂浮垃圾航测图像包括不少于两个视角航测图片，所述待关联漂浮垃圾类别包括至少一个漂浮物污染种类；

结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；

结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，其中，所述图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及所述视角航测图片与所述漂浮物污染种类之间的图像识别评价向量；

结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；

结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，其中，所述目标漂浮垃圾类别包括至少一个漂浮物污染种类。

在一些可选的实施例中，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；所述图像识别评价向量序列还包括所述漂浮物污染种类之间的图像识别评价向量。

在一些可选的实施例中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：

结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，其中，多模态漂浮垃圾航测图像集包括所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列；

对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列。

在一些可选的实施例中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，包括：

对所述漂浮垃圾航测图像进行拆解操作，得到所述漂浮垃圾航测图像的图像队列；

对所述待关联漂浮垃圾类别进行拆解操作，得到所述待关联漂浮垃圾类别的类别队列；

对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行组合操作，得到所述多模态漂浮垃圾航测图像集。

在一些可选的实施例中，所述对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：

对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行特征提取，得到每个视角航测图片所对应的图片描述子以及每个漂浮物污染种类所对应的类别表征项；

利用每个视角航测图片所对应的图片描述子生成所述漂浮垃圾航测图像的图像描述子序列；

利用每个漂浮物污染种类所对应的类别表征项生成所述待关联漂浮垃圾类别的类别表征信息序列。

在一些可选的实施例中，所述结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，包括：

结合所述图像识别评价向量序列获取聚焦置信特征序列，其中，所述聚焦置信特征序列包括不少于两个聚焦置信特征，所述聚焦置信特征与所述视角航测图片具有一对一配对关系，所述聚焦置信特征反映所述视角航测图片在所述漂浮垃圾航测图像中与所述漂浮物污染种类存在关联的置信度；

结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列；

结合所述漂浮垃圾图像编码特征序列与所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。

在一些可选的实施例中，所述结合所述图像识别评价向量序列获取聚焦置信特征序列，包括：对所述图像识别评价向量序列进行滑动平均操作，获取所述聚焦置信特征序列；

所述结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列，包括：对所述漂浮垃圾航测图像以及所述聚焦置信特征序列进行处理，获取所述漂浮垃圾图像编码特征序列。

在一些可选的实施例中，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：

将所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性大于第一决策评分的至少一个可能性确定为目标可能性；

将所述目标可能性对应的漂浮物污染种类确定为所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

在一些可选的实施例中，所述待关联漂浮垃圾类别为单一漂浮物污染种类；

所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：当所述漂浮垃圾航测图像属于漂浮物污染种类的可能性大于第二决策评分时，则将所述待关联漂浮垃圾类别确定为所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

在一些可选的实施例中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，通过图像识别网络的第一图像编码子网获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；

所述结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，包括：结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，通过图像识别网络的第二图像编码子网获取所述图像识别评价向量序列；

所述结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，包括：结合所述图像识别评价向量序列，通过图像识别网络的滑动平均子网获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；

所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，通过所述图像识别网络的漂浮垃圾识别子网确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

在一些可选的实施例中，所述方法还包括：

获取漂浮垃圾航测图像示例序列，待关联漂浮垃圾类别示例以及先验类别序列，其中，所述漂浮垃圾航测图像示例序列包括不少于两个漂浮垃圾航测图像示例，所述漂浮垃圾航测图像示例包括不少于两个视角航测图片，所述待关联漂浮垃圾类别示例包括至少一个漂浮物污染种类；

结合所述漂浮垃圾航测图像示例序列以及所述待关联漂浮垃圾类别示例，通过拟调试图像识别网络的第一图像编码子网获取所述漂浮垃圾航测图像示例序列的图像描述子示例序列以及所述待关联漂浮垃圾类别示例的类别表征信息示例序列；

结合所述漂浮垃圾航测图像示例序列的图像描述子示例序列以及所述待关联漂浮垃圾类别示例的类别表征信息示例序列，通过所述拟调试图像识别网络的第二图像编码子网获取图像识别评价向量示例序列，其中，所述图像识别评价向量示例序列包括每个漂浮垃圾航测图像示例的视角航测图片之间的图像识别评价向量以及每个漂浮垃圾航测图像示例的视角航测图片与每个待关联漂浮垃圾类别示例的漂浮物污染种类之间的图像识别评价向量；

结合所述图像识别评价向量示例序列，通过所述拟调试图像识别网络的滑动平均子网获取每个漂浮垃圾航测图像示例的视角航测图片分别属于每个漂浮物污染种类的可能性序列；

结合所述每个漂浮垃圾航测图像示例的视角航测图片分别属于每个漂浮物污染种类的可能性序列，通过所述拟调试图像识别网络的漂浮垃圾识别子网获取所述漂浮垃圾航测图像示例序列所对应的回归分析类别序列，其中，回归分析类别序列包括多个回归分析类别，每个回归分析类别包括至少一个所述漂浮物污染种类；

结合所述回归分析类别序列以及所述先验类别序列，对所述拟调试图像识别网络进行调试，得到所述图像识别网络。

在一些可选的实施例中，所述结合所述回归分析类别序列以及所述先验类别序列，对所述拟调试图像识别网络进行调试，得到所述图像识别网络，包括：结合所述回归分析类别序列以及所述先验类别序列，根据目标网络调试代价修正所述拟调试图像识别网络的网络变量，以得到所述图像识别网络。

第二方面，本发明还提供了一种无人机航测图像处理系统，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述的方法。

第三方面，本发明还提供了一种云平台，包括有计算机可读存储介质，所述计算机可读存储介质存储有程序，该程序被处理器执行时实现上述的方法。

本发明实施例中，提供了一种基于无人机的漂浮垃圾种类识别方法，先获取漂浮垃圾航测图像以及待关联漂浮垃圾类别，该漂浮垃圾航测图像包括不少于两个视角航测图片，且待关联漂浮垃圾类别包括至少一个漂浮物污染种类，然后根据漂浮垃圾航测图像以及待关联漂浮垃圾类别，获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，并且根据漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，该图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及视角航测图片与漂浮物污染种类之间的图像识别评价向量，进而根据图像识别评价向量序列获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，最后根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别，该目标漂浮垃圾类别包括至少一个漂浮物污染种类。如此设计，能够在考虑漂浮垃圾航测图像之间相关的图像细节的前提下，侧重于分析漂浮垃圾类别与漂浮垃圾航测图像的特征联系，从而保障相关的图像描述子和类别表征信息的特征识别度，这样可以确保图像描述子和类别表征信息的细节丰富程度，进而实现对漂浮垃圾航测图像中的漂浮垃圾类别的准确识别。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是本发明实施例提供的一种基于无人机的漂浮垃圾种类识别方法的流程示意图。

实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本发明实施例所提供的方法实施例可以在无人机航测图像处理系统、计算机设备或者类似的运算装置中执行。以运行在无人机航测图像处理系统上为例，无人机航测图像处理系统可以包括一个或多个处理器（处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器，可选地，上述无人机航测图像处理系统还可以包括用于通信功能的传输装置。本领域普通技术人员可以理解，上述结构仅为示意，其并不对上述无人机航测图像处理系统的结构造成限定。例如，无人机航测图像处理系统还可包括比上述所示更多或者更少的组件，或者具有与上述所示不同的配置。

存储器可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种基于无人机的漂浮垃圾种类识别方法对应的计算机程序，处理器通过运行存储在存储器内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至无人机航测图像处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括无人机航测图像处理系统的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

基于此，请参阅图1，图1是本发明实施例所提供的一种基于无人机的漂浮垃圾种类识别方法的流程示意图，该方法应用于无人机航测图像处理系统，进一步可以包括步骤101-步骤105描述的技术方案。

步骤101、获取漂浮垃圾航测图像以及待关联漂浮垃圾类别。

其中，漂浮垃圾航测图像包括不少于两个视角航测图片，待关联漂浮垃圾类别包括不少于两个漂浮物污染种类。

在本发明实施例中，获取漂浮垃圾航测图像以及待关联漂浮垃圾类别，该漂浮垃圾航测图像包括不少于两个视角航测图片，待关联漂浮垃圾类别包括不少于两个漂浮物污染种类。上述视角航测图片可以为无人机在不同拍摄视角下针对河流、湖泊等区域拍摄得到的图片。

进一步地，漂浮物污染种类可以为水体污染种类，空气污染种类，生物污染种类等。且漂浮物污染种类可以为一个或者多个。举例而言，若漂浮物污染种类为水体污染种类，那么漂浮物污染种类可以包括但不限于“泡沫垃圾”，“可溶于水的有毒垃圾”等。若漂浮物污染种类为生物污染种类，那么漂浮物污染种类可以包括但不限于“动物残骸”等。

其中，待关联漂浮垃圾类别可以通过共享的数据库获取，在此不做限定。

步骤102、根据漂浮垃圾航测图像以及待关联漂浮垃圾类别，获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列。

在本发明实施例中，根据步骤101所获取的漂浮垃圾航测图像以及待关联漂浮垃圾类别，能够获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列。示例性的，能够根据漂浮垃圾航测图像以及待关联漂浮垃圾类别生成漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列，然后对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取，从而得到漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列。

其中，漂浮垃圾航测图像的图像描述子序列可以理解为漂浮垃圾航测图像的图像特征序列，待关联漂浮垃圾类别的类别表征信息序列可以理解为待关联漂浮垃圾类别的类别特征序列。

步骤103、根据漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列。

其中，图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及视角航测图片与漂浮物污染种类之间的图像识别评价向量。

在本发明实施例中，根据步骤102所获取的漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，该图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及视角航测图片与漂浮物污染种类之间的图像识别评价向量。进一步地，图像识别评价向量可以理解为相关性评价向量/相关性评价特征。

示例性的，对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取后，漂浮垃圾航测图像中的每个视角航测图片都可以输出对应的细节特征，此时每个视角航测图片对应的细节特征即构成一个漂浮垃圾航测图像的图像描述子列表（即漂浮垃圾航测图像的图像描述子序列），类似地，待关联漂浮垃圾类别的每个漂浮物污染种类都可以输出对应的细节特征，此时每个漂浮物污染种类对应的细节特征即构成一个待关联漂浮垃圾类别的类别表征信息列表（即待关联漂浮垃圾类别的类别表征信息序列）。这样，将漂浮垃圾航测图像的图像描述子列表乘以待关联漂浮垃圾类别的类别表征信息列表，由此能够得到垃圾识别决策评分列表（即图像识别评价向量序列），此时垃圾识别决策评分列表中能够包括每个视角航测图片之间的图像识别评价向量以及视角航测图片与漂浮物污染种类之间的图像识别评价向量。

步骤104、根据图像识别评价向量序列获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。

在本发明实施例中，根据步骤103得到的图像识别评价向量序列，获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。示例性的，若待关联漂浮垃圾类别为单一漂浮物污染种类，那么此时获取到的可能性为“1”或者“0”。其次，若待关联漂浮垃圾类别为多个漂浮物污染种类，且包括漂浮物污染种类classification_Classification_A，漂浮物污染种类classification_Classification_B以及漂浮物污染种类classification_C，那么能够获取到的漂浮垃圾航测图像属于漂浮物污染种类classification_Classification_A的可能性probability_A，漂浮垃圾航测图像属于漂浮物污染种类classification_Classification_B的可能性probability_B以及漂浮垃圾航测图像属于漂浮物污染种类classification_C的可能性probability_C。并且对可能性probability_A，可能性probability_B以及可能性probability_C进行去量纲简化后，去量纲简化后得到的可能性probability_A，去量纲简化后得到的可能性probability_B以及去量纲简化后得到的可能性probability_C之和为1。

步骤105、根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

其中，目标漂浮垃圾类别包括至少一个漂浮物污染种类。

在本发明实施例中，根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别，该目标漂浮垃圾类别包括至少一个漂浮物污染种类。

可以理解的是，目标漂浮垃圾类别所包括的漂浮物污染种类的数目应不超过待关联漂浮垃圾类别所包括的漂浮物污染种类的数目，比如，若待关联漂浮垃圾类别所包括的漂浮物污染种类的数目为10，那么目标漂浮垃圾类别所包括的漂浮物污染种类的数目可以为0至10之间的数目，若待关联漂浮垃圾类别所包括的漂浮物污染种类的数目为1，那么目标漂浮垃圾类别所包括的漂浮物污染种类的数目可以为0或1，在目标漂浮垃圾类别所包括的漂浮物污染种类的数目为0的基础上，则说明漂浮垃圾航测图像无法实现漂浮垃圾的类别识别。

示例性的，若待关联漂浮垃圾类别为单一漂浮物污染种类，即所获取到的可能性为“1”或者“0”，可能性为“1”则能够确定漂浮垃圾航测图像属于该漂浮物污染种类，即单一漂浮物污染种类的基础上，所获取到的可能性为“1”时，可直接将该漂浮物污染种类确定为目标漂浮垃圾类别，反之，则不属于，即此次难以确定漂浮垃圾航测图像的漂浮垃圾类别。其次，若待关联漂浮垃圾类别为多个漂浮物污染种类，那么需要在待关联漂浮垃圾类别所包括的多个漂浮物污染种类中确定目标漂浮垃圾类别。

可见，在本发明实施例中，提供了一种基于无人机的漂浮垃圾种类识别方法，先获取漂浮垃圾航测图像以及待关联漂浮垃圾类别，该漂浮垃圾航测图像包括不少于两个视角航测图片，且待关联漂浮垃圾类别包括至少一个漂浮物污染种类，然后根据漂浮垃圾航测图像以及待关联漂浮垃圾类别，获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，并且根据漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，该图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及视角航测图片与漂浮物污染种类之间的图像识别评价向量，进而根据图像识别评价向量序列获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，最后根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别，该目标漂浮垃圾类别包括至少一个漂浮物污染种类。如此设计，能够在考虑漂浮垃圾航测图像之间相关的图像细节的前提下，侧重于分析漂浮垃圾类别与漂浮垃圾航测图像的特征联系，从而保障相关的图像描述子和类别表征信息的特征识别度，这样可以确保图像描述子和类别表征信息的细节丰富程度，进而实现对漂浮垃圾航测图像中的漂浮垃圾类别的准确识别。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；图像识别评价向量序列还包括漂浮物污染种类之间的图像识别评价向量。

在本发明实施例中，由于待关联漂浮垃圾类别能够包括一个或多个漂浮物污染种类，在待关联漂浮垃圾类别包括不少于两个漂浮物污染种类的基础上，图像识别评价向量序列还包括漂浮物污染种类之间的图像识别评价向量。

示例性的，基于步骤102，对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取后，漂浮垃圾航测图像中的每个视角航测图片都可以输出对应的细节特征，此时每个视角航测图片对应的细节特征即构成一个漂浮垃圾航测图像的图像描述子列表（即漂浮垃圾航测图像的图像描述子序列），类似地，待关联漂浮垃圾类别的每个漂浮物污染种类都可以输出对应的细节特征，此时每个漂浮物污染种类对应的细节特征即构成一个待关联漂浮垃圾类别的类别表征信息列表（即待关联漂浮垃圾类别的类别表征信息序列）。这样，将漂浮垃圾航测图像的图像描述子列表乘以待关联漂浮垃圾类别的类别表征信息列表，由此能够得到垃圾识别决策评分列表（即图像识别评价向量序列），而垃圾识别决策评分列表中不仅可以包括每个视角航测图片之间的图像识别评价向量以及视角航测图片与漂浮物污染种类之间的图像识别评价向量，还可以包括漂浮物污染种类之间的图像识别评价向量。

本发明实施例中，提供了另一种基于无人机的漂浮垃圾种类识别方法，如此设计，能够在考虑漂浮垃圾航测图像之间相关的图像细节以及漂浮垃圾航测图像与漂浮垃圾类别之间的相关性的前提下，进行一步实现图像特征和类别特征的挖掘提炼，从而保障漂浮垃圾识别的精度和可信度。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，根据漂浮垃圾航测图像以及待关联漂浮垃圾类别，获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，可以包括如下内容：根据漂浮垃圾航测图像以及待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，其中，多模态漂浮垃圾航测图像集包括漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列；对多模态漂浮垃圾航测图像集进行特征提取，得到漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列。

在本发明实施例中，能够根据漂浮垃圾航测图像以及待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，该多模态漂浮垃圾航测图像集包括漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列。本发明实施例不对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列在多模态漂浮垃圾航测图像集中的先后进行限制。

本发明实施例中漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列可以融合成多模态漂浮垃圾航测图像集，从而可以为后续的联合特征挖掘提供数据基础。

进一步地，再对多模态漂浮垃圾航测图像集进行特征提取，得到漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列。示例性的，通过将漂浮垃圾航测图像中的每个视角航测图片以及待关联漂浮垃圾类别中的每个漂浮物污染种类的对应分布特征（位置特征）输出作为对应的细节特征，这个细节特征是基于整体对漂浮垃圾航测图像中的每个视角航测图片以及待关联漂浮垃圾类别中的每个漂浮物污染种类进行联合特征挖掘得到的，这样使得各视角航测图片的细节特征以及各漂浮物污染种类的细节特征能够充分挖掘到视角航测图片与视角航测图片之间的图像识别评价向量，视角航测图片与漂浮物污染种类之间的图像识别评价向量，以及漂浮物污染种类与漂浮物污染种类之间的图像识别评价向量。

这样，经过联合特征挖掘后，漂浮垃圾航测图像的每个视角航测图片都可以输出对应的细节特征，每个视角航测图片对应的细节特征即构成一个漂浮垃圾航测图像的图像描述子列表LIST1（即漂浮垃圾航测图像的图像描述子序列）。其次，待关联漂浮垃圾类别的每个漂浮物污染种类都可以输出对应的细节特征，此时每个漂浮物污染种类对应的细节特征即构成一个待关联漂浮垃圾类别的类别表征信息列表LIST2（即待关联漂浮垃圾类别的类别表征信息序列）。然后将漂浮垃圾航测图像的图像描述子列表乘以待关联漂浮垃圾类别的类别表征信息列表，由此能够得到垃圾识别决策评分列表（即图像识别评价向量序列），此时垃圾识别决策评分列表中能够包括每个视角航测图片之间的图像识别评价向量LIST1*LIST1，视角航测图片与漂浮物污染种类之间的图像识别评价向量LIST1*LIST2以及漂浮物污染种类与漂浮物污染种类之间的图像识别评价向量LIST2*LIST2。

本发明实施例中，提供了一种细节特征序列（特征向量序列）的获取方法，如此设计，能够由于细节特征能够尽可能精准地表征多模态漂浮垃圾航测图像集所包括的漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列之间的联系，由此提升细节特征的丰富程度，从而提高漂浮垃圾识别的精度。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，根据漂浮垃圾航测图像以及待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，可以包括如下内容：对漂浮垃圾航测图像进行拆解操作，得到漂浮垃圾航测图像的图像队列；对待关联漂浮垃圾类别进行拆解操作，得到待关联漂浮垃圾类别的类别队列；对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行组合操作，得到多模态漂浮垃圾航测图像集。

在本发明实施例中，对漂浮垃圾航测图像进行拆解操作，得到漂浮垃圾航测图像的图像队列，再对待关联漂浮垃圾类别进行拆解操作，得到待关联漂浮垃圾类别的类别队列，这样，最后对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行组合操作，以得到多模态漂浮垃圾航测图像集。本发明实施例不对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列在多模态漂浮垃圾航测图像集中的先后进行限制。

本发明实施例中，提供了一种通过组合操作生成多模态漂浮垃圾航测图像集的方法，如此设计，通过拆解操作能够结合图像块细节进行图像拆解和类别拆解，并通过实现图像队列和类别队列的组合操作，可以保障多模态漂浮垃圾航测图像集的内容丰富程度，从而提升获取之后的联合特征的精度。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，对多模态漂浮垃圾航测图像集进行特征提取，得到漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，示例性可以包括如下内容：对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取，得到每个视角航测图片所对应的图片描述子（图片特征）以及每个漂浮物污染种类所对应的类别表征项（类别特征）；利用每个视角航测图片所对应的图片描述子生成漂浮垃圾航测图像的图像描述子序列；利用每个漂浮物污染种类所对应的类别表征项生成待关联漂浮垃圾类别的类别表征信息序列。

在本发明实施例中，用过对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取，得到每个视角航测图片所对应的图片描述子以及每个漂浮物污染种类所对应的类别表征项，然后利用每个视角航测图片所对应的图片描述子生成漂浮垃圾航测图像的图像描述子序列，并且利用每个漂浮物污染种类所对应的类别表征项生成待关联漂浮垃圾类别的类别表征信息序列，既能够得到多模态漂浮垃圾航测图像集的细节特征序列。示例性的，每个视角航测图片所对应的图片描述子以及每个漂浮物污染种类所对应的类别表征项是基于整体对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行联合特征挖掘得到的，这样使得各视角航测图片的细节特征以及各漂浮物污染种类的细节特征能够充分挖掘出视角航测图片与视角航测图片之间的图像识别评价向量，视角航测图片与漂浮物污染种类之间的图像识别评价向量，以及漂浮物污染种类与漂浮物污染种类之间的图像识别评价向量。

在一些示例下，{P1}至{PN}组成漂浮垃圾航测图像的图像队列，N指示漂浮垃圾航测图像的图像队列的队列长，而{Q1}至{QJ}组成待关联漂浮垃圾类别的类别队列，J指示待关联漂浮垃圾类别的类别队列的队列长。这样，对{P1}至{PN}以及{Q1}至{QJ}进行特征提取，特征提取的每个分布特征会对应生成一个细节特征，即输出每个视角航测图片所对应的图片描述子，比如，{P1}对应生成{V1（1）}，{P2}对应生成{V2（1）}，等等，{PN}对应生成{VN（1）}。其次，特征提取的每个分布特征还能够输出每个漂浮物污染种类所对应的类别表征项，比如，{Q1}对应生成{V1（2）}，{Q2}对应生成{V2（2）}，等等，{QJ}对应生成{VJ（2）}。

进一地，利用每个视角航测图片所对应的图片描述子{V1（1）}，{V2（1）}，至{VN（1）}可以组成一个细节特征列表，该细节特征列表即为漂浮垃圾航测图像的图像描述子序列。类似地，利用每个漂浮物污染种类所对应的类别表征项{V1（2）}，{V2（2）}至{VJ（2）}可以组成一个细节特征列表，该细节特征列表即为待关联漂浮垃圾类别的类别表征信息序列。

本发明实施例中，提供了一种多模态漂浮垃圾航测图像集的细节特征序列的获取方法，如此设计，由于是基于整体对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取，使得各视角航测图片的细节特征以及各漂浮物污染种类的细节特征能够充分挖掘出视角航测图片和/或漂浮物污染种类的图像识别评价向量，因此所获取到的多模态漂浮垃圾航测图像集的细节特征序列能够考虑到多个视角航测图片和/或漂浮物污染种类之间的尽可能多的关联细节，这样可以确保细节特征序列的丰富程度。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，根据图像识别评价向量序列获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，示例性可以包括如下内容：根据图像识别评价向量序列获取聚焦置信特征序列，其中，聚焦置信特征序列包括不少于两个聚焦置信特征，聚焦置信特征与视角航测图片具有一对一配对关系，聚焦置信特征表示视角航测图片在漂浮垃圾航测图像中与漂浮物污染种类存在关联的置信度；根据漂浮垃圾航测图像以及聚焦置信特征序列，获取漂浮垃圾图像编码特征序列；根据漂浮垃圾图像编码特征序列与待关联漂浮垃圾类别，获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。

在本发明实施例中，先根据图像识别评价向量序列获取聚焦置信特征序列，该聚焦置信特征序列包括不少于两个聚焦置信特征，聚焦置信特征与视角航测图片具有一对一配对关系，聚焦置信特征表示视角航测图片在漂浮垃圾航测图像中与漂浮物污染种类存在关联的置信度，然后根据漂浮垃圾航测图像以及聚焦置信特征序列，获取漂浮垃圾图像编码特征序列，再根据漂浮垃圾图像编码特征序列与待关联漂浮垃圾类别，获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。

示例性的，本发明实施例中测量漂浮垃圾航测图像的视角航测图片和待关联漂浮垃圾类别的漂浮物污染种类之间关联度的方法是将漂浮垃圾航测图像的图像描述子列表乘以待关联漂浮垃圾类别的类别表征信息列表，即通过上述实施例所描述的得到垃圾识别决策评分列表（即图像识别评价向量序列），这里用U指示图像识别评价向量序列，且该图像识别评价向量序列的维度表示为N*J，N指示漂浮垃圾航测图像的图像队列的队列长，J指示待关联漂浮垃圾类别的类别队列的队列长。然后根据漂浮垃圾航测图像以及聚焦置信特征序列，获取漂浮垃圾图像编码特征序列此时聚焦置信特征序列的序列长为N（即漂浮垃圾航测图像的图像队列的队列长）。再根据漂浮垃圾航测图像以及聚焦置信特征序列，获取漂浮垃圾图像编码特征序列，具体利用聚焦置信特征序列乘以漂浮垃圾航测图像中每个视角航测图片能够获得图像联合特征序列（即漂浮垃圾图像编码特征序列）。

进一步地，本发明实施例可以调用漂浮垃圾识别子网对漂浮垃圾图像编码特征序列进行处理，进而能够估测与漂浮垃圾航测图像的相关类别有哪些，即可以获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。

在一些示例下，本发明实施例获取聚焦置信特征序列的一个实施例如下所示。

首先基于整体对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取，得到漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，这样，具体通过漂浮垃圾航测图像的图像描述子序列乘以待关联漂浮垃圾类别的类别表征信息序列，能够得到图像识别评价向量序列array1，由于对漂浮垃圾航测图像的图像队列的队列长为N，且待关联漂浮垃圾类别的类别队列的队列长为J，可以得到图像识别评价向量序列array1的维度为N*J。进一步地，通过卷积核优化图像识别评价向量序列中的局部特征后，对优化后的图像识别评价向量序列array1进行下采样，即可以得到聚焦置信特征序列array2，此时聚焦置信特征序列array2的序列长为J。进一步地，将漂浮垃圾航测图像的每个视角航测图片乘以聚焦置信特征序列，这样可以获取漂浮垃圾图像编码特征序列array3，最后根据漂浮垃圾图像编码特征序列array3与待关联漂浮垃圾类别，输出漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，根据图像识别评价向量序列获取聚焦置信特征序列，示例性可以包括：对图像识别评价向量序列进行滑动平均操作，获取聚焦置信特征序列。进一步地，根据漂浮垃圾航测图像以及聚焦置信特征序列，获取漂浮垃圾图像编码特征序列，包括：对漂浮垃圾航测图像以及聚焦置信特征序列进行处理，获取漂浮垃圾图像编码特征序列。

在本发明实施例中，对图像识别评价向量序列进行滑动平均操作，获取聚焦置信特征序列，即通过卷积核对图像识别评价向量序列进行滑动平均操作，以优化图像识别评价向量序列中的局部特征后，再对优化后的图像识别评价向量序列进行下采样，将获得的下采样结构进行去量纲简化（归一化）后即可获得聚焦置信特征序列。聚焦置信特征序列的序列长为N（即漂浮垃圾航测图像的图像队列的队列长）。

进一步地，还需要对漂浮垃圾航测图像以及聚焦置信特征序列进行处理，获取漂浮垃圾图像编码特征序列。即利用聚焦置信特征序列乘以漂浮垃圾航测图像中每个视角航测图片能够获得优化的图像联合特征序列（即漂浮垃圾图像编码特征序列），该图像联合特征序列能够挖掘出聚焦置信特征序列与每个视角航测图片的联系特征，对更相关的视角航测图片进行贡献值配置。

本发明实施例中，提供了另一种基于无人机的漂浮垃圾种类识别方法，如此设计，能够通过卷积核优化图像识别评价向量序列中的局部特征，这样可以实现特征强化，从而提升聚焦置信特征序列的精度和完整性，其次，由于在滑动平均操作后还进行了下采样，因此降低聚焦置信特征序列占用的算力开销，提升对聚焦置信特征序列进行处理的时效性。再次，由于漂浮垃圾图像编码特征序列能够挖掘出聚焦置信特征序列与每个视角航测图片的联系特征，因此将更相关的视角航测图片进行贡献值配置，由此使得漂浮垃圾图像编码特征序列能够更为精准地反映视角航测图片之间的像素关联，以及与待关联漂浮垃圾类别的相关性，从而使得后续获取的类别可能性尽可能精准。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别，可以包括如下内容：将漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性大于第一决策评分的至少一个可能性确定为目标可能性；将目标可能性对应的漂浮物污染种类确定为漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

在本发明实施例中，待关联漂浮垃圾类别包括不少于两个漂浮物污染种类。这样，将漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性大于第一决策评分的至少一个可能性确定为目标可能性，并且将目标可能性对应的漂浮物污染种类确定为漂浮垃圾航测图像所对应包括不少于两个漂浮物污染种类的目标漂浮垃圾类别。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，待关联漂浮垃圾类别为单一漂浮物污染种类；根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别，具体包括：当漂浮垃圾航测图像属于漂浮物污染种类的可能性大于第二决策评分时，则将待关联漂浮垃圾类别确定为漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

在本发明实施例中，待关联漂浮垃圾类别为单一漂浮物污染种类。这样，当漂浮垃圾航测图像属于漂浮物污染种类的可能性大于第二决策评分时，则将待关联漂浮垃圾类别确定为漂浮垃圾航测图像所对应的目标漂浮垃圾类别。可以理解的是，待关联漂浮垃圾类别为单一漂浮物污染种类，即漂浮垃圾航测图像属于漂浮物污染种类的可能性为可以为“1”或者“0”，因此第二决策评分可以为0.0001，0.0002以及0.9999等，具体第二决策评分可以根据实际情况进行选择。若漂浮垃圾航测图像属于漂浮物污染种类的可能性小于第二决策评分（即漂浮垃圾航测图像属于漂浮物污染种类的可能性为“0”），那么此时将不确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别，若大于第二决策评分（即漂浮垃圾航测图像属于漂浮物污染种类的可能性为“1”），目标漂浮垃圾类别为单一类别，此时待关联漂浮垃圾类别为目标漂浮垃圾类别。

举例而言，以漂浮垃圾航测图像为“河流航测图像”，且待关联漂浮垃圾类别包括“泡沫垃圾”，且第二类别可能性为0.0001作为示例说明，若得到漂浮垃圾航测图像属于“泡沫垃圾”的可能性为“1”，那么可以待关联漂浮垃圾类别确定为漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

本发明实施例中，提供了另一种基于无人机的漂浮垃圾种类识别方法，如此设计，在待关联漂浮垃圾类别为多个漂浮物污染种类或单一漂浮物污染种类时，能够通过不同思路确定漂浮垃圾航测图像的漂浮物污染种类，从而提高漂浮垃圾识别的智能化程度。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，根据漂浮垃圾航测图像以及待关联漂浮垃圾类别，获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，可以包括如下内容：基于漂浮垃圾航测图像以及待关联漂浮垃圾类别，通过图像识别网络的第一图像编码子网获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列。进一步地，根据漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，具体包括：基于漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，通过图像识别网络的第二图像编码子网获取图像识别评价向量序列。此外，根据图像识别评价向量序列获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，具体包括：基于图像识别评价向量序列，通过图像识别网络的滑动平均子网获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；更近一步地，根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别，具体包括：基于漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，通过图像识别网络的漂浮垃圾识别子网确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

在本发明实施例中，先基于漂浮垃圾航测图像以及待关联漂浮垃圾类别，通过图像识别网络的第一图像编码子网获取漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，再基于漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，通过图像识别网络的第二图像编码子网获取图像识别评价向量序列，进而基于图像识别评价向量序列，通过图像识别网络的滑动平均子网获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，最后基于漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，通过图像识别网络的漂浮垃圾识别子网确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

比如，在图像识别网络的第一图像编码子网中，先分别对漂浮垃圾航测图像以及待关联漂浮垃圾类别进行拆解操作，得到漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列，然后进行组合操作得到多模态漂浮垃圾航测图像集，接着对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取，得到每个视角航测图片所对应的图片描述子以及每个漂浮物污染种类所对应的类别表征项，再生成漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列。这样，图像识别网络的第一图像编码子网向第二图像编码子网输出漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，图像识别网络的第二图像编码子网根据漂浮垃圾航测图像的图像描述子序列以及待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列。

进一步地，图像识别网络的第二图像编码子网向滑动平均子网输出图像识别评价向量序列，图像识别网络的滑动平均子网对图像识别评价向量序列进行滑动平均操作，获取聚焦置信特征序列，并对漂浮垃圾航测图像以及聚焦置信特征序列进行处理，获取漂浮垃圾图像编码特征序列，由此能够根据漂浮垃圾图像编码特征序列与待关联漂浮垃圾类别，获取漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。最后图像识别网络的滑动平均子网向漂浮垃圾识别子网输出漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，漂浮垃圾识别子网能够根据漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

本发明实施例中，提供了另一种基于无人机的漂浮垃圾种类识别方法，如此设计，能够通过图像识别网络中的各图像编码子网，滑动平均子网以及漂浮垃圾识别子网输出漂浮垃圾航测图像所对应的目标漂浮垃圾类别，通过图像编码子网能够尽可能获取漂浮垃圾航测图像以及待关联漂浮垃圾类别所包括的类别描述特征，而滑动平均子网能够更为准确的确定每个视角航测图片在漂浮垃圾航测图像中的类别描述特征与待关联漂浮垃圾类别的联系，由此计算得到更为准确的类别可能性，由此通过漂浮垃圾识别子网所生成的目标漂浮垃圾类别能够更够接近先验类别，从而提高漂浮垃圾种类识别的精度。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，基于无人机的漂浮垃圾种类识别方法还可以包括如下内容：获取漂浮垃圾航测图像示例序列，待关联漂浮垃圾类别示例以及先验类别序列，其中，漂浮垃圾航测图像示例序列包括不少于两个漂浮垃圾航测图像示例，漂浮垃圾航测图像示例包括不少于两个视角航测图片，待关联漂浮垃圾类别示例包括至少一个漂浮物污染种类；基于漂浮垃圾航测图像示例序列以及待关联漂浮垃圾类别示例，通过拟调试图像识别网络的第一图像编码子网获取漂浮垃圾航测图像示例序列的图像描述子示例序列以及待关联漂浮垃圾类别示例的类别表征信息示例序列；基于漂浮垃圾航测图像示例序列的图像描述子示例序列以及待关联漂浮垃圾类别示例的类别表征信息示例序列，通过拟调试图像识别网络的第二图像编码子网获取图像识别评价向量示例序列，其中，图像识别评价向量示例序列包括每个漂浮垃圾航测图像示例的视角航测图片之间的图像识别评价向量以及每个漂浮垃圾航测图像示例的视角航测图片与每个待关联漂浮垃圾类别示例的漂浮物污染种类之间的图像识别评价向量；基于图像识别评价向量示例序列，通过拟调试图像识别网络的滑动平均子网获取每个漂浮垃圾航测图像示例的视角航测图片分别属于每个漂浮物污染种类的可能性序列；基于每个漂浮垃圾航测图像示例的视角航测图片分别属于每个漂浮物污染种类的可能性序列，通过拟调试图像识别网络的漂浮垃圾识别子网获取漂浮垃圾航测图像示例序列所对应的回归分析类别序列，其中，回归分析类别序列包括多个回归分析类别，每个回归分析类别包括至少一个漂浮物污染种类；基于回归分析类别序列以及先验类别序列，对拟调试图像识别网络进行调试，得到图像识别网络。

其中，上述的相关示例，比如漂浮垃圾航测图像示例可以理解为漂浮垃圾航测图像样本或者漂浮垃圾航测图像样例，其他示例作类似理解，在此不作赘述。

在本发明实施例中，首先获取已经过注释的先验类别序列，然后基于先验类别序列与所得到的回归分析类别序列对拟调试图像识别网络的网络变量进行修正。示例性的，需要将漂浮垃圾航测图像示例序列以及待关联漂浮垃圾类别示例作为拟调试图像识别网络的第一图像编码子网的原料，从而生成漂浮垃圾航测图像示例序列的图像描述子示例序列以及待关联漂浮垃圾类别示例的类别表征信息示例序列。进而将漂浮垃圾航测图像示例序列的图像描述子示例序列以及待关联漂浮垃圾类别示例的类别表征信息示例序列作为拟调试图像识别网络的第二图像编码子网的原料，从而生成获取图像识别评价向量示例序列，再将图像识别评价向量示例序列作为拟调试图像识别网络的滑动平均子网的原料，从而生成每个漂浮垃圾航测图像示例的视角航测图片分别属于每个漂浮物污染种类的可能性序列，最后将所得到的可能性序列作为拟调试图像识别网络的漂浮垃圾识别子网的原料，即可输出漂浮垃圾航测图像示例序列所对应的回归分析类别序列。

本发明实施例提供的基于无人机的漂浮垃圾种类识别方法的一个示例性设计思路下，基于回归分析类别序列以及先验类别序列，对拟调试图像识别网络进行调试，得到图像识别网络，具体包括：基于回归分析类别序列以及先验类别序列，根据目标网络调试代价修正拟调试图像识别网络的网络变量，以得到图像识别网络。

在本发明实施例中，基于回归分析类别序列以及先验类别序列，根据目标网络调试代价修正拟调试图像识别网络的网络变量，以得到图像识别网络。示例性的，此时可以根据回归分析类别序列以及与之对应的先验类别序列之间的差别确定目标网络调试代价的代价变量，根据目标网络调试代价的代价变量判断目标网络调试代价是否达到稳定性要求，若未达到稳定性要求，则利用目标网络调试代价的代价变量修正拟调试图像识别网络的网络变量。在拟调试图像识别网络每得到漂浮垃圾航测图像示例序列中每个漂浮垃圾航测图像示例所对应的回归分析类别后，确定目标网络调试代价的代价变量，直至目标网络调试代价达到稳定性要求，则根据最后一次对网络变量进行修正后获得的网络变量生成图像识别网络。其中，目标网络调试代价可以是交叉熵损失，也可以是其他类型的损失函数，在此不作限定。

如此设计，能够基于待关联漂浮垃圾类别示例以及先验类别序列，对拟调试图像识别网络进行调试，得到图像识别网络，保证所得到图像识别网络的性能。其次，在目标网络调试代价达到稳定时完成对拟调试图像识别网络的网络变量的修正，从而完成对拟调试图像识别网络调试，从而得到能够用于进行图像中的漂浮垃圾种类识别的图像识别网络，使得上述基于无人机的漂浮垃圾种类识别方法可以在AI技术的支持下进行实施，提高整体方案的易用性。

可以理解，无人机航测图像处理系统在确定出漂浮垃圾航测图像所对应的目标漂浮垃圾类别之后，可以控制无人机采取对应的垃圾拾取和清理方式进行漂浮垃圾治理，从而实现针对不同类型的漂浮垃圾的针对性治理。

基于上述相同或相似的发明构思，还提供了一种基于无人机的漂浮垃圾种类识别方法的应用环境的架构示意图，包括互相之间通信的无人机航测图像处理系统和无人机，无人机航测图像处理系统和无人机在运行时实现或者部分实现上述方法实施例所描述的技术方案。

进一步地，还提供了一种云平台，包括有计算机可读存储介质，所述计算机可读存储介质存储有程序，该程序被处理器执行时实现上述的方法。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人机的漂浮垃圾种类识别方法，其特征在于，应用于无人机航测图像处理系统，所述方法包括：

获取漂浮垃圾航测图像以及待关联漂浮垃圾类别，其中，所述漂浮垃圾航测图像包括不少于两个视角航测图片，所述待关联漂浮垃圾类别包括至少一个漂浮物污染种类；

结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；

结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，其中，所述图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及所述视角航测图片与所述漂浮物污染种类之间的图像识别评价向量；

结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；

结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，其中，所述目标漂浮垃圾类别包括至少一个漂浮物污染种类；

其中，根据图像描述子序列和类别表征信息序列获取图像识别评价向量序列的方式包括：

对漂浮垃圾航测图像的图像队列以及待关联漂浮垃圾类别的类别队列进行特征提取后，漂浮垃圾航测图像中的每个视角航测图片皆输出对应的细节特征，每个视角航测图片对应的细节特征构成一个漂浮垃圾航测图像的图像描述子列表；待关联漂浮垃圾类别的每个漂浮物污染种类皆输出对应的细节特征，每个漂浮物污染种类对应的细节特征即构成一个待关联漂浮垃圾类别的类别表征信息列表；将漂浮垃圾航测图像的图像描述子列表乘以待关联漂浮垃圾类别的类别表征信息列表，得到垃圾识别决策评分列表，垃圾识别决策评分列表中包括每个视角航测图片之间的图像识别评价向量以及视角航测图片与漂浮物污染种类之间的图像识别评价向量；其中，所述漂浮垃圾航测图像的图像描述子列表为所述漂浮垃圾航测图像的图像描述子序列；所述待关联漂浮垃圾类别的类别表征信息列表为所述待关联漂浮垃圾类别的类别表征信息序列；所述垃圾识别决策评分列表为所述图像识别评价向量序列。

2.根据权利要求1所述的方法，其特征在于，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；所述图像识别评价向量序列还包括所述漂浮物污染种类之间的图像识别评价向量。

3.根据权利要求1所述的方法，其特征在于，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：

结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，其中，多模态漂浮垃圾航测图像集包括所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列；

对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；

其中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，包括：对所述漂浮垃圾航测图像进行拆解操作，得到所述漂浮垃圾航测图像的图像队列；对所述待关联漂浮垃圾类别进行拆解操作，得到所述待关联漂浮垃圾类别的类别队列；对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行组合操作，得到所述多模态漂浮垃圾航测图像集；

其中，所述对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行特征提取，得到每个视角航测图片所对应的图片描述子以及每个漂浮物污染种类所对应的类别表征项；利用每个视角航测图片所对应的图片描述子生成所述漂浮垃圾航测图像的图像描述子序列；利用每个漂浮物污染种类所对应的类别表征项生成所述待关联漂浮垃圾类别的类别表征信息序列。

4.根据权利要求1所述的方法，其特征在于，所述结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，包括：结合所述图像识别评价向量序列获取聚焦置信特征序列，其中，所述聚焦置信特征序列包括不少于两个聚焦置信特征，所述聚焦置信特征与所述视角航测图片具有一对一配对关系，所述聚焦置信特征反映所述视角航测图片在所述漂浮垃圾航测图像中与所述漂浮物污染种类存在关联的置信度；结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列；结合所述漂浮垃圾图像编码特征序列与所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；

其中，所述结合所述图像识别评价向量序列获取聚焦置信特征序列，包括：对所述图像识别评价向量序列进行滑动平均操作，获取所述聚焦置信特征序列；所述结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列，包括：对所述漂浮垃圾航测图像以及所述聚焦置信特征序列进行处理，获取所述漂浮垃圾图像编码特征序列。

5.根据权利要求1所述的方法，其特征在于，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：

将所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性大于第一决策评分的至少一个可能性确定为目标可能性；

将所述目标可能性对应的漂浮物污染种类确定为所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

6.根据权利要求1所述的方法，其特征在于，所述待关联漂浮垃圾类别为单一漂浮物污染种类；所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：当所述漂浮垃圾航测图像属于漂浮物污染种类的可能性大于第二决策评分时，则将所述待关联漂浮垃圾类别确定为所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

7.根据权利要求1所述的方法，其特征在于，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，通过图像识别网络的第一图像编码子网获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；

所述结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，包括：结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，通过图像识别网络的第二图像编码子网获取所述图像识别评价向量序列；

所述结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，包括：结合所述图像识别评价向量序列，通过图像识别网络的滑动平均子网获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；

所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，通过所述图像识别网络的漂浮垃圾识别子网确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取漂浮垃圾航测图像示例序列，待关联漂浮垃圾类别示例以及先验类别序列，其中，所述漂浮垃圾航测图像示例序列包括不少于两个漂浮垃圾航测图像示例，所述漂浮垃圾航测图像示例包括不少于两个视角航测图片，所述待关联漂浮垃圾类别示例包括至少一个漂浮物污染种类；

结合所述漂浮垃圾航测图像示例序列以及所述待关联漂浮垃圾类别示例，通过拟调试图像识别网络的第一图像编码子网获取所述漂浮垃圾航测图像示例序列的图像描述子示例序列以及所述待关联漂浮垃圾类别示例的类别表征信息示例序列；

结合所述漂浮垃圾航测图像示例序列的图像描述子示例序列以及所述待关联漂浮垃圾类别示例的类别表征信息示例序列，通过所述拟调试图像识别网络的第二图像编码子网获取图像识别评价向量示例序列，其中，所述图像识别评价向量示例序列包括每个漂浮垃圾航测图像示例的视角航测图片之间的图像识别评价向量以及每个漂浮垃圾航测图像示例的视角航测图片与每个待关联漂浮垃圾类别示例的漂浮物污染种类之间的图像识别评价向量；

结合所述图像识别评价向量示例序列，通过所述拟调试图像识别网络的滑动平均子网获取每个漂浮垃圾航测图像示例的视角航测图片分别属于每个漂浮物污染种类的可能性序列；

结合所述每个漂浮垃圾航测图像示例的视角航测图片分别属于每个漂浮物污染种类的可能性序列，通过所述拟调试图像识别网络的漂浮垃圾识别子网获取所述漂浮垃圾航测图像示例序列所对应的回归分析类别序列，其中，回归分析类别序列包括多个回归分析类别，每个回归分析类别包括至少一个所述漂浮物污染种类；

结合所述回归分析类别序列以及所述先验类别序列，对所述拟调试图像识别网络进行调试，得到所述图像识别网络；

其中，所述结合所述回归分析类别序列以及所述先验类别序列，对所述拟调试图像识别网络进行调试，得到所述图像识别网络，包括：结合所述回归分析类别序列以及所述先验类别序列，根据目标网络调试代价修正所述拟调试图像识别网络的网络变量，以得到所述图像识别网络。

9.一种无人机航测图像处理系统，其特征在于，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现权利要求1-8任一项所述的方法。

10.一种云平台，其特征在于，包括有计算机可读存储介质，所述计算机可读存储介质存储有程序，该程序被处理器执行时实现权利要求1-8任一项所述的方法。

Images