CN115588145B - 基于无人机的河道垃圾漂浮识别方法及系统 - Google Patents

Abstract

本发明公开了基于无人机的河道垃圾漂浮识别方法及系统，包括：首先从无人机采集数据中获取河道运作状态特征和待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到聚合分组；最后根据河道运作状态特征、聚合分组以及与无人机采集数据匹配的关系数据库，识别聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果，如此设计，通过关联河道运作状态特征和聚合分组，相较于现有技术中基于单一标准的识别手段，能够对河道中的漂浮垃圾识别结果进行快速准确地确定。

Description

基于无人机的河道垃圾漂浮识别方法及系统

技术领域

本发明涉及河道巡检技术领域，具体而言，涉及一种基于无人机的河道垃圾漂浮识别方法及系统。

背景技术

目前，针对河道垃圾漂浮问题的处理，一般由无人机进行图像采集，然后回传至专业技术人员处，对图像中出现的异物进行是否为漂浮垃圾，以及该漂浮垃圾会对河道造成何种影响，经过确定后才能确定最佳的处理方案。而在一些特殊场景，例如洪涝、暴雨；又或是一些特殊区域，例如大、中型河流中，垃圾漂浮问题不仅会造成环境污染、生态破坏等问题，还可能会发生引发堰塞等更加严重的自然灾害，而采用上述传统的垃圾漂浮识别方案，效率低下，已经无法满足用户需求。

发明内容

本发明的目的在于提供一种基于无人机的河道垃圾漂浮识别方法及系统。

第一方面，本发明实施例提供一种基于无人机的河道垃圾漂浮识别方法，包括：

从无人机采集数据的河道视频数据中获取河道运作状态特征；河道运作状态特征用于指示河道视频数据中的河道异常运作视频段对应的第一数量个漂浮垃圾归属类别；

确定无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组；第二数量个待识别漂浮垃圾图片是对无人机采集数据中的初始无人机拍摄河道图片进行特征识别以及图像切割处理后所得到的；一个聚合分组对应一个漂浮垃圾归属类别；

根据河道运作状态特征、第一数量个聚合分组以及与无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果；第三数量不超过第一数量；关系数据库包括与已知漂浮垃圾归属类别具有映射关系的漂浮垃圾识别结果；已知漂浮垃圾归属类别与第一数量个漂浮垃圾归属类别之间存在第三数量个相同的漂浮垃圾归属类别。

在一种可能的实施方式中，从无人机采集数据的河道视频数据中获取河道运作状态特征，包括：

从无人机采集数据中获取河道视频数据；

对河道视频数据中的关键河道区域进行视频分段，得到河道视频数据对应的河道异常运作视频段；河道异常运作视频段包括第四数量个河道异常运作视频帧；第四数量不低于第一数量；

获取第四数量个河道异常运作视频帧中的第一河道异常运作视频帧，对第一河道异常运作视频帧进行特征提取，得到第一河道异常运作视频帧对应的第一河道异常运作图片特征；

从与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库中，确定与第一河道异常运作图片特征相匹配的参考漂浮垃圾归属特征，将匹配到的参考漂浮垃圾归属特征对应的预置漂浮垃圾归属类别作为第一河道异常运作视频帧对应的漂浮垃圾归属类别；

根据获取到的河道异常运作视频帧分别对应的漂浮垃圾归属类别，确定河道视频数据对应的河道运作状态特征。

在一种可能的实施方式中，对河道视频数据中的关键河道区域进行视频分段，得到河道视频数据对应的河道异常运作视频段，包括：

对河道视频数据中的关键河道区域进行识别，确定关键河道区域在河道视频数据中的坐标信息；

根据坐标信息，在河道视频数据中切割关键河道区域，得到第四数量个包含关键河道区域的河道异常运作视频帧，将第四数量个河道异常运作视频帧作为河道视频数据对应的河道异常运作视频段。

在一种可能的实施方式中，从与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库中，确定与第一河道异常运作图片特征相匹配的参考漂浮垃圾归属特征，将匹配到的参考漂浮垃圾归属特征对应的预置漂浮垃圾归属类别作为第一河道异常运作视频帧对应的漂浮垃圾归属类别，包括：

获取与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库；河道异常状态与漂浮垃圾对应关系库用于存储第五数量个预置漂浮垃圾归属类别分别对应的参考漂浮垃圾归属特征；第五数量不低于第一数量；

分别确定第一河道异常运作图片特征与第五数量个参考漂浮垃圾归属特征中的每个参考漂浮垃圾归属特征之间的特征相似度，得到第五数量个特征相似度；

从第五数量个特征相似度中获取达到预设相似度阈值的最大特征相似度，确定最大特征相似度对应的参考漂浮垃圾归属特征所对应的预置漂浮垃圾归属类别，将确定的预置漂浮垃圾归属类别作为第一河道异常运作视频帧对应的漂浮垃圾归属类别。

在一种可能的实施方式中，确定无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组，包括：

从无人机采集数据中获取初始无人机拍摄河道图片，对初始无人机拍摄河道图片进行特征识别以及图像切割处理，得到第二数量个待识别漂浮垃圾图片；

对第二数量个待识别漂浮垃圾图片中的每个待识别漂浮垃圾图片进行向量化处理，得到每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量；

根据第一数量确定出聚合中心数量，根据聚合中心数量，对获取到的每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组。

在一种可能的实施方式中，从无人机采集数据中获取初始无人机拍摄河道图片，对初始无人机拍摄河道图片进行特征识别以及图像切割处理，得到第二数量个待识别漂浮垃圾图片，包括：

从无人机采集数据中获取初始无人机拍摄河道图片；

将初始无人机拍摄河道图片输入至模糊切割模型，通过模糊切割模型生成初始无人机拍摄河道图片对应的像素信息；模糊切割模型包括初始分割架构和进阶分割架构；

将像素信息分别输入初始分割架构以及进阶分割架构，通过初始分割架构生成像素信息对应的初始像素特征，通过进阶分割架构生成像素信息对应的进阶像素特征；

对初始像素特征和进阶像素特征进行加权平均，得到初始像素特征对应的mask参量；

根据mask参量与像素信息，生成目标河道切割图片，将目标河道切割图片作为模糊切割模型所输出的针对漂浮垃圾归属类别的待处理漂浮垃圾图片；

根据用于异物检测的预置检测模型，对待处理漂浮垃圾图片中的多个区域进行精确切割，得到第二数量个待识别漂浮垃圾图片。

在一种可能的实施方式中，根据河道运作状态特征、第一数量个聚合分组以及与无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果，包括：

从第一数量个聚合分组中获取目标聚合分组，提取目标聚合分组在无人机采集数据中的第一时间戳；

从与无人机采集数据匹配的关系数据库的已知漂浮垃圾归属类别中，获取与第一数量个漂浮垃圾归属类别之间存在相同的第三数量个漂浮垃圾归属类别，根据河道运作状态特征，提取第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别在无人机采集数据中的第二时间戳；

分别确定目标聚合分组的第一时间戳与每个第二时间戳之间的匹配程度，将具有最高匹配程度的第二时间戳所对应的漂浮垃圾归属类别作为目标聚合分组对应的漂浮垃圾归属类别；

从关系数据库中，获取目标聚合分组对应的漂浮垃圾归属类别所对应的漂浮垃圾识别结果，将获取到的漂浮垃圾识别结果作为目标聚合分组对应的漂浮垃圾识别结果。

在一种可能的实施方式中，方法还包括：

根据第三数量个聚合分组分别在无人机采集数据中的第一时间戳以及第三数量个聚合分组分别对应的漂浮垃圾归属类别在无人机采集数据中的第二时间戳，确定第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别在无人机采集数据中的关键时间戳；

根据第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别对应的关键时间戳，从无人机采集数据中获取第三数量个漂浮垃圾归属类别分别对应的重点识别数据集；重点识别数据集包括与对应漂浮垃圾归属类别匹配的漂浮垃圾图片以及与对应漂浮垃圾归属类别匹配的河道视频数据；

无人机采集数据包括第一无人机采集数据和第二无人机采集数据；第一无人机采集数据与第二无人机采集数据均包括紧急漂浮垃圾归属类别；紧急漂浮垃圾归属类别属于第三数量个漂浮垃圾归属类别；

方法还包括：

根据与第一无人机采集数据匹配的关系数据库，获取紧急漂浮垃圾归属类别对应的第一目标漂浮垃圾识别结果，从第一无人机采集数据中获取与第一目标漂浮垃圾识别结果匹配的第一重点识别数据集；第一重点识别数据集是根据紧急漂浮垃圾归属类别在第一无人机采集数据中的关键时间戳所确定的；

根据与第二无人机采集数据匹配的关系数据库，获取紧急漂浮垃圾归属类别对应的第二目标漂浮垃圾识别结果，从第二无人机采集数据中获取与第二目标漂浮垃圾识别结果匹配的第二重点识别数据集；第二重点识别数据集是根据紧急漂浮垃圾归属类别在第二无人机采集数据中的关键时间戳所确定的；

对第一重点识别数据集和第二重点识别数据集进行组合去重，得到紧急漂浮垃圾归属类别对应的紧急关联信息集合。

第二方面，本发明实施例提供一种基于无人机的河道垃圾漂浮识别系统，包括：

获取模块，用于从无人机采集数据的河道视频数据中获取河道运作状态特征；河道运作状态特征用于指示河道视频数据中的河道异常运作视频段对应的第一数量个漂浮垃圾归属类别；

确定模块，用于确定无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组；第二数量个待识别漂浮垃圾图片是对无人机采集数据中的初始无人机拍摄河道图片进行特征识别以及图像切割处理后所得到的；一个聚合分组对应一个漂浮垃圾归属类别；

识别模块，用于根据河道运作状态特征、第一数量个聚合分组以及与无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果；第三数量不超过第一数量；关系数据库包括与已知漂浮垃圾归属类别具有映射关系的漂浮垃圾识别结果；已知漂浮垃圾归属类别与第一数量个漂浮垃圾归属类别之间存在第三数量个相同的漂浮垃圾归属类别。

在一种可能的实施方式中，获取模块具体用于：

从无人机采集数据中获取河道视频数据；对河道视频数据中的关键河道区域进行视频分段，得到河道视频数据对应的河道异常运作视频段；河道异常运作视频段包括第四数量个河道异常运作视频帧；第四数量不低于第一数量；获取第四数量个河道异常运作视频帧中的第一河道异常运作视频帧，对第一河道异常运作视频帧进行特征提取，得到第一河道异常运作视频帧对应的第一河道异常运作图片特征；从与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库中，确定与第一河道异常运作图片特征相匹配的参考漂浮垃圾归属特征，将匹配到的参考漂浮垃圾归属特征对应的预置漂浮垃圾归属类别作为第一河道异常运作视频帧对应的漂浮垃圾归属类别；根据获取到的河道异常运作视频帧分别对应的漂浮垃圾归属类别，确定河道视频数据对应的河道运作状态特征。

相比现有技术，本发明提供的有益效果包括：本发明公开了基于无人机的河道垃圾漂浮识别方法及系统，包括：首先从无人机采集数据中获取河道运作状态特征和待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到聚合分组；最后根据河道运作状态特征、聚合分组以及与无人机采集数据匹配的关系数据库，识别聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果，如此设计，通过关联河道运作状态特征和聚合分组，相较于现有技术中基于单一标准的识别手段，能够对河道中的漂浮垃圾识别结果进行快速准确地确定。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于无人机的河道垃圾漂浮识别方法的步骤流程示意图；

图2为本发明实施例提供的基于无人机的河道垃圾漂浮识别系统的结构示意框图；

图3为本发明实施例提供的计算机设备的结构示意图。

实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

进一步地，请参见图1，图1是本申请实施例提供的一种基于无人机的河道垃圾漂浮识别方法的步骤流程示意图，该方法至少可以包括以下步骤S101-步骤S103：

步骤S101，从无人机采集数据的河道视频数据中获取河道运作状态特征。

其中，这里的河道运作状态特征可以用于指示河道视频数据中的河道异常运作视频段对应的第一数量个漂浮垃圾归属类别，例如，可以分别确定出河道堵塞、改道、水位异常等运作状态特征对应的漂浮垃圾归属类别。具体地，该计算机设备可以从无人机采集数据中获取河道视频数据，进而可以对河道视频数据中的关键河道区域进行视频分段，以得到河道视频数据对应的河道异常运作视频段。其中，这里的河道异常运作视频段可以包括第四数量个河道异常运作视频帧；第四数量不低于第一数量。进一步地，该计算机设备可以获取第四数量个河道异常运作视频帧中的第一河道异常运作视频帧，对第一河道异常运作视频帧进行特征提取，以得到第一河道异常运作视频帧对应的第一河道异常运作图片特征。此时，该计算机设备可以从与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库中，确定与第一河道异常运作图片特征相匹配的参考漂浮垃圾归属特征，并将匹配到的参考漂浮垃圾归属特征对应的预置漂浮垃圾归属类别作为第一河道异常运作视频帧对应的漂浮垃圾归属类别。进一步地，该计算机设备可以根据获取到的河道异常运作视频帧分别对应的漂浮垃圾归属类别，确定河道视频数据对应的河道运作状态特征。

其中，该计算机设备对河道视频数据中的关键河道区域进行检测识别时的图片识别系统，可以采用检测子模块与识别子模块所共同组成的，也可以是对关键河道区域进行检测和识别的一体化检测识别网络，这里将不对其进行限定。

比如，该计算机设备在确定河道视频数据对应的河道异常运作视频段时，可以对河道视频数据中的关键河道区域进行识别，从而确定关键河道区域在河道视频数据中的坐标信息。进一步地，该计算机设备可以根据坐标信息，在河道视频数据中切割关键河道区域，得到第四数量个包含关键河道区域的河道异常运作视频帧，将第四数量个河道异常运作视频帧作为河道视频数据对应的河道异常运作视频段。然后，该计算机设备可以获取第四数量个河道异常运作视频帧中的第一河道异常运作视频帧，对第一河道异常运作视频帧进行特征提取，以得到第一河道异常运作视频帧对应的第一河道异常运作图片特征。此时，该计算机设备可以获取与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库，以查找与第一河道异常运作图片特征具有匹配关系的预置漂浮垃圾归属类别。其中，这里的河道异常状态与漂浮垃圾对应关系库可以用于存储第五数量个预置漂浮垃圾归属类别分别对应的参考漂浮垃圾归属特征；第五数量不低于第一数量。

可以理解的是，该计算机设备在获取到河道异常状态与漂浮垃圾对应关系库时，可以直接从该河道异常状态与漂浮垃圾对应关系库中查找与第一河道异常运作图片特征具有匹配关系的预置漂浮垃圾归属类别。其中，该计算机设备可以分别确定第一河道异常运作图片特征与第五数量个参考漂浮垃圾归属特征中的每个参考漂浮垃圾归属特征之间的特征相似度，得到第五数量个特征相似度，进而可以从第五数量个特征相似度中获取达到预设相似度阈值的最大特征相似度，确定最大特征相似度对应的参考漂浮垃圾归属特征所对应的预置漂浮垃圾归属类别，并将确定的预置漂浮垃圾归属类别作为第一河道异常运作视频帧对应的漂浮垃圾归属类别。其中，这里的距离阈值是该计算机设备事先设置的一个用于确保查找到的预置漂浮垃圾归属类别与河道异常运作视频帧具有匹配关系的数值，可以根据实际情况进行动态调整，这里将不对其进行限定。

可选的，为了提高匹配效率，该计算机设备可以获取与无人机采集数据匹配的关系数据库，通过关系数据库以及河道异常状态与漂浮垃圾对应关系库，查找与第一河道异常运作图片特征具有匹配关系的预置漂浮垃圾归属类别。

可以理解的是，该计算机设备可以从河道异常状态与漂浮垃圾对应关系库中筛选出该关系数据库中的已知漂浮垃圾归属类别对应的参考漂浮垃圾归属特征，例如，漂浮垃圾归属类别a的参考漂浮垃圾归属特征、漂浮垃圾归属类别b的参考漂浮垃圾归属特征以及漂浮垃圾归属类别c的参考漂浮垃圾归属特征。进一步地，该计算机设备可以分别确定第一河道异常运作图片特征与所筛选的这3个参考漂浮垃圾归属特征中的每个参考漂浮垃圾归属特征之间的特征相似度，进而可以从3个特征相似度中获取达到预设相似度阈值的最大特征相似度，确定最大特征相似度对应的参考漂浮垃圾归属特征所对应的预置漂浮垃圾归属类别，并将确定的预置漂浮垃圾归属类别作为第一河道异常运作视频帧对应的漂浮垃圾归属类别。由此可见，该计算机设备在匹配预置漂浮垃圾归属类别时，无需确定与河道异常状态与漂浮垃圾对应关系库中的每个参考漂浮垃圾归属特征之间的特征相似度，而是通过关系数据库的筛选，极大的减少了匹配时间，从而提高了从河道异常状态与漂浮垃圾对应关系库中查找到具有匹配关系的预置漂浮垃圾归属类别的匹配效率。

本申请实施例中的计算机设备在对河道视频数据进行图像识别时，可以将该河道视频数据输入至关键河道区域检测模型，通过该关键河道区域检测模型，对该河道视频数据中的关键河道区域进行识别，以确定该关键河道区域在河道视频数据中的坐标信息。进一步地，该计算机设备可以根据在区域中标记的坐标信息，在河道视频数据中切割该关键河道区域，得到包括关键河道区域的河道异常运作视频帧。

其中，关键河道区域检测模型可以是一种用于对关键河道区域进行识别的网络结构。为便于理解，进一步地，本申请实施例提供一种关键河道区域检测模型的模型架构，本申请实施例中的关键河道区域检测模型可以为前述所对应实施例中的关键河道区域检测模型，该关键河道区域检测模型可以用于对河道视频数据进行关键河道区域检测。该关键河道区域检测模型可以包括三个网络层，具体可以包括筛选网络层、精调网络层以及输出网络层。

应当理解，本申请实施例中的计算机设备在获取到河道视频数据时，可以对河道视频数据进行图片尺寸调整，从而可以得到该河道视频数据对应的图片金字塔。比如，该计算机设备可以获取尺寸调整系数(例如，0.7)，根据尺寸调整系数对河道视频数据进行多次调整，直到调整后的河道视频数据的图片尺寸与筛选网络层所关联的图片尺寸阈值相匹配，此时，该计算机设备可以根据多次调整后具有不同图片尺寸的河道视频数据，组成该河道视频数据对应的图片金字塔。其中，这里的尺寸调整系数可以是该计算机设备根据关键河道区域在河道视频数据中所处位置的分布情况所动态调整的，尺寸调整系数设置过大，容易延长识别的时间，尺寸调整系数设置过小，将会漏掉河道视频数据中分布面积较小的关键河道区域，根据此，本申请实施例中的尺寸调整系数可以设置在0.7-0.8之间。其中，这里的图片金字塔可以包括原始图片(从河道视频数据中后期)、第一调整图片(即对河道视频数据进行图片尺寸调整后所得到的图片)、第二调整图片(即对第一调整图片进行图片尺寸调整后所得到的图片)、…、第N调整图片(即对第N-1调整图片进行图片尺寸调整后所得到的图片)。其中，这里的第N调整图片的图片尺寸可以为筛选网络层所关联的图片尺寸阈值。

进一步地，该计算机设备可以通过输出网络层，准确输出关键河道区域在河道视频数据中的坐标信息，即边界框的坐标信息以及转折点的坐标信息。其中，该计算机设备在输出网络层中，经过分类筛选、边界框调整后的非极大值抑制筛选，不仅输出边界框的坐标信息，还输出了转折点的坐标信息，从而得到了关键河道区域在河道视频数据中的坐标信息，以便后续在河道视频数据中切割该关键河道区域，从而得到包括该关键河道区域的图片。

进一步地，该计算机设备可以将河道异常运作视频帧输入至图片编码模型，通过该图片编码模型，对河道异常运作视频帧进行特征提取，从而可以得到该河道异常运作视频帧对应的河道异常运作图片特征。

进一步地，该计算机设备可以获取与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库。其中，这里的河道异常状态与漂浮垃圾对应关系库可以用于存储第五数量个预置漂浮垃圾归属类别分别对应的参考漂浮垃圾归属特征；第五数量不低于第一数量。其中，这河道异常状态与漂浮垃圾对应关系库中的每个参考漂浮垃圾归属特征可以为该计算机设备采用与河道异常运作视频帧相同的特征提取方式所提取到的，一个参考漂浮垃圾归属特征可以用于表征一个预置漂浮垃圾归属类别对应的关键河道区域标识。此时，该计算机设备可以分别确定河道异常运作视频帧对应的河道异常运作图片特征与这第五数量个参考漂浮垃圾归属特征中的每个参考漂浮垃圾归属特征之间的特征相似度，从而可以得到第五数量个特征相似度，进一步地，为了有效确保该计算机设备能够从河道异常状态与漂浮垃圾对应关系库中准确匹配到对应的预置漂浮垃圾归属类别，该计算机设备可以预先设置一个距离阈值，若计算机设备确定出的最大特征相似度大于该距离阈值，则可以认为该计算机设备在河道异常状态与漂浮垃圾对应关系库中未匹配到河道异常运作视频帧所对应的参考漂浮垃圾归属特征，即未匹配到该河道异常运作视频帧对应的漂浮垃圾归属类别。可选的，若计算机设备确定出的最大特征相似度小于或者等于该距离阈值，则可以认为该计算机设备能够在河道异常状态与漂浮垃圾对应关系库中匹配到河道异常运作视频帧所对应的参考漂浮垃圾归属特征，即可以成功匹配到该河道异常运作视频帧对应的漂浮垃圾归属类别。

因此，该计算机设备在从第五数量个特征相似度中获取达到预设相似度阈值的最大特征相似度时，可以确定最大特征相似度对应的参考漂浮垃圾归属特征所对应的预置漂浮垃圾归属类别，进而可以将确定的预置漂浮垃圾归属类别作为河道异常运作视频帧对应的漂浮垃圾归属类别。其中，可以理解的是，计算机设备对无人机采集数据中的每个河道视频数据进行图像识别时，均可以参考前述对该河道视频数据进行关键河道区域识别的具体实施方式，以得到第四数量个包含关键河道区域的漂浮垃圾识别结果关键图片，这里将不再继续进行赘述。其中，若一个河道视频数据中包括多个不同关键河道区域，则该计算机设备可以从该河道视频数据中切割出对应数量的关键河道区域。进一步地，该计算机设备可以参考前述所对应实施例中对河道异常运作视频帧对应进行漂浮垃圾归属类别匹配的具体实施方式，对第四数量个河道异常运作视频帧中的每个河道异常运作视频帧均进行漂浮垃圾归属类别匹配，进而可以根据获取到的河道异常运作视频帧分别对应的漂浮垃圾归属类别，确定无人机采集数据中的河道视频数据对应的河道运作状态特征。

步骤S102，确定无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组。

其中，第二数量个待识别漂浮垃圾图片是计算机设备对无人机采集数据中的初始无人机拍摄河道图片进行特征识别以及图像切割处理后所得到的；一个聚合分组可以对应一个漂浮垃圾归属类别。具体地，该计算机设备可以从无人机采集数据中获取初始无人机拍摄河道图片，进而可以对初始无人机拍摄河道图片进行特征识别以及图像切割处理，以得到第二数量个待识别漂浮垃圾图片。进一步地，该计算机设备可以对第二数量个待识别漂浮垃圾图片中的每个待识别漂浮垃圾图片进行向量化处理，得到每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量。此时，该计算机设备可以根据第一数量确定出聚合中心数量，根据聚合中心数量，对获取到的每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，从而可以得到第一数量个聚合分组。

本申请实施例在聚类过程中，创新性的使用河道运作状态特征所指示的漂浮垃圾归属类别的第一数量作为聚合中心数量的选择，这种使用河道运作状态特征作为先验知识，的方式，能够提醒系统在该无人机采集数据中的漂浮垃圾归属类别的数量，从而能够给到图片聚类一个簇心数据的先验设定，能够自动的设置聚合中心数量，以至于提高了整个系统收敛的速度以及整体识别性能。

本申请实施例中的架构示意图可以包括三个流程，分别是局部图片切割流程、图片向量化处理流程以及归类聚合流程。其中，在计算机设备处于局部图片切割流程时，计算机设备可以从无人机采集数据中获取初始无人机拍摄河道图片，以对初始无人机拍摄河道图片进行模糊切割，从而得到针对漂浮垃圾归属类别的待处理漂浮垃圾图片。进一步地，该计算机设备可以根据用于异物检测的预置检测模型，对待处理漂浮垃圾图片中的多个区域进行精确切割，从而可以得到第二数量个待识别漂浮垃圾图片。其中，模糊切割是将明显不属于待处理漂浮垃圾的局部图像进行粗略裁剪的操作。例如，从初始无人机拍摄河道图片中提取针对漂浮垃圾归属类别的待处理漂浮垃圾图片。

进一步地，计算机设备在处于归类聚合流程时，可以将河道运作状态特征所指示的河道视频数据中的河道异常运作视频段对应的漂浮垃圾归属类别的第一数量作为先验信息，即根据第一数量确定出聚合中心数量，进而可以根据该聚合中心数量，对获取到的每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，从而可以得到第一数量个聚合分组。其中，本申请实施例中用于进行归类聚合的聚类策略可以为k均值聚类算法(k-means算法)，其中，该k均值聚类算法是一种迭代求解的聚类分析算法，比如，该计算机设备可以预先将第二数量个待识别漂浮垃圾图片向量分为第一数量个初始聚类簇，进而可以随机选择第一数量个待识别漂浮垃圾图片向量作为每个初始聚类簇的初始的簇心，然后，针对待识别漂浮垃圾图片向量集中除被选作簇心的第一数量个待识别漂浮垃圾图片向量之外的每个待识别漂浮垃圾图片向量(即待归属向量)而言，该计算机设备可以确定每个待归属向量与各个初始聚类簇的簇心之间的特征相似度，并将该待归属向量划分至具有最大特征相似度的初始聚类簇中，此时，该计算机设备可以更新已划分的初始聚类簇的簇心，以此类推，该计算机设备可以确定出第一数量个聚合分组，这第一数量个聚合分组具体可以包括第一聚合分组、第二聚合分组、…、以及第N聚合分组。

应当理解，该计算机设备在将初始无人机拍摄河道图片输入至模糊切割模型时，可以通过模糊切割模型，生成初始无人机拍摄河道图片对应的像素信息。比如，该计算机设备可以对初始无人机拍摄河道图片的图像通道分析，生成初始无人机拍摄河道图片对应的像素信息。进一步地，该计算机设备可以将像素信息分别输入初始分割架构以及进阶分割架构，以通过初始分割架构生成像素信息对应的初始像素特征，通过进阶分割架构生成像素信息对应的进阶像素特征。

进一步地，该计算机设备可以对初始像素特征和进阶像素特征进行加权平均，得到初始像素特征对应的mask参量(即第一掩码图)，进而可以根据mask参量与像素信息，生成目标河道切割图片，将目标河道切割图片作为模糊切割模型所输出的针对漂浮垃圾归属类别的待处理漂浮垃圾图片。比如，该计算机设备在生成初始像素特征和进阶像素特征时，可以对初始像素特征和进阶像素特征进行拼接处理，得到拼接类型特征，进而对拼接类型特征分别进行两种类型的掩码计算，从而可以得到初始像素特征对应的第一掩码图，以及进阶像素特征对应的第二掩码图。进一步地，该计算机设备可以对第一掩码图与初始无人机拍摄河道图片对应的像素信息进行对应位置计算，生成第一类型漂浮垃圾图片。与此同时，该计算机设备还可以对第二掩码图与初始无人机拍摄河道图片对应的像素信息进行对应位置计算，生成第二类型漂浮垃圾图片。

在本发明实施例中，该计算机设备可以通过调用漂浮垃圾图片向量化模型，能够快速对第二数量个待识别漂浮垃圾图片中的每个待识别漂浮垃圾图片进行图片向量化处理，以更加快速准确的得到每个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量。值得说明的是，在本发明实施例中，河道视频数据与待识别漂浮垃圾图片可以是不同无人机分别进行获取的，也可以是由同一无人机分多次或者一次获取的，在此对河道视频数据与待识别漂浮垃圾图片的来源不做限制。

步骤S103，根据河道运作状态特征、第一数量个聚合分组以及与无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果。

其中，关系数据库可以包括与已知漂浮垃圾归属类别具有映射关系的漂浮垃圾识别结果，且该已知漂浮垃圾归属类别与第一数量个漂浮垃圾归属类别之间存在第三数量个相同的漂浮垃圾归属类别。具体地，该计算机设备可以从第一数量个聚合分组中获取目标聚合分组，进而可以提取目标聚合分组在无人机采集数据中的第一时间戳。进一步地，该计算机设备可以从与无人机采集数据匹配的关系数据库的已知漂浮垃圾归属类别中，获取与第一数量个漂浮垃圾归属类别之间存在相同的第三数量个漂浮垃圾归属类别，进而可以根据河道运作状态特征，提取第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别在无人机采集数据中的第二时间戳。此时，该计算机设备可以分别确定目标聚合分组的第一时间戳与每个第二时间戳之间的匹配程度，进而可以将具有最高匹配程度的第二时间戳所对应的漂浮垃圾归属类别作为目标聚合分组对应的漂浮垃圾归属类别。进一步地，该计算机设备可以从关系数据库中，获取目标聚合分组对应的漂浮垃圾归属类别所对应的漂浮垃圾识别结果，将获取到的漂浮垃圾识别结果作为目标聚合分组对应的漂浮垃圾识别结果。

为便于理解，计算机设备在执行步骤S101后，通过第一模块识别的图像特征信息可以用于指示无人机采集数据的河道视频数据中的河道异常运作视频段对应的漂浮垃圾归属类别的第一数量可以以3个为例，具体可以包括漂浮垃圾归属类别a、漂浮垃圾归属类别b以及漂浮垃圾归属类别c。该计算机设备在执行步骤S102后，通过第二模块聚类的处理结果可以包括3个聚合分组，具体可以包括第一聚合分组、第二聚合分组以及第三聚合分组。

其中，本申请实施例中的第二数量个待识别漂浮垃圾图片可以包括待处理漂浮垃圾图片a、待处理漂浮垃圾图片b、待处理漂浮垃圾图片c、待处理漂浮垃圾图片d、待处理漂浮垃圾图片e以及待处理漂浮垃圾图片f。其中，这6个待处理漂浮垃圾图片中的每个待处理漂浮垃圾图片均是按照时间戳所排列的。可以理解的是，第一聚合分组对应的待识别漂浮垃圾图片可以包括待处理漂浮垃圾图片a和待处理漂浮垃圾图片c，第二聚合分组对应的待识别漂浮垃圾图片可以包括待处理漂浮垃圾图片b、待处理漂浮垃圾图片d以及待处理漂浮垃圾图片f，第三聚合分组对应的待识别漂浮垃圾图片可以包括待处理漂浮垃圾图片e。

可以理解的是，该计算机设备可以从上述关系数据库的已知漂浮垃圾归属类别中，获取与该计算机设备在第一模块得到的第一数量个漂浮垃圾归属类别之间存在相同的漂浮垃圾归属类别。比如，上述已知漂浮垃圾归属类别可以包括漂浮垃圾归属类别a、漂浮垃圾归属类别b、漂浮垃圾归属类别c以及漂浮垃圾归属类别d这4个漂浮垃圾归属类别，而本申请实施例中的计算机设备获取到的第一数量个漂浮垃圾归属类别可以包括漂浮垃圾归属类别a、漂浮垃圾归属类别b以及漂浮垃圾归属类别c这3个漂浮垃圾归属类别，因此，该计算机设备可以获取存在相同的漂浮垃圾归属类别的漂浮垃圾归属类别数量为3，即漂浮垃圾归属类别a、漂浮垃圾归属类别b和漂浮垃圾归属类别c。此时，该计算机设备可以根据河道运作状态特征，提取这3个存在相同的漂浮垃圾归属类别中的每个漂浮垃圾归属类别在无人机采集数据中的时间戳(即第二时间戳)。

例如，漂浮垃圾归属类别a在无人机采集数据中的第二时间戳为时间戳T1(例如，08:00:00-08:10:00)以及时间戳T3(例如，09:30:45-09:38:00)；漂浮垃圾归属类别b在无人机采集数据中的第二时间戳为时间戳T2(例如，10:10:05-10:28:33)，时间戳T4(例如，14:40:05-14:55:39)以及时间戳T6(例如，15:44:03-15:57:57)；漂浮垃圾归属类别c在无人机采集数据中的第二时间戳为时间戳T5(例如，19:30:30-19:38:50)。

应当理解，该计算机设备可以从这3个聚合分组中获取第一聚合分组，进而可以提取第一聚合分组在无人机采集数据中的时间戳(即第一聚合分组的第一时间戳)。其中，该第一聚合分组在无人机采集数据中的第一时间戳可以包括待处理漂浮垃圾图片a对应的时间戳t1(例如，08:00:30-08:10:10)和待处理漂浮垃圾图片c对应的时间戳t3(例如，08:35:08-08:40:52)。此时，该计算机设备可以分别确定第一聚合分组与每个漂浮垃圾归属类别对应的第二时间戳之间的匹配程度。例如，第一聚合分组的第一时间戳与漂浮垃圾归属类别a的第二时间戳之间的匹配程度为98%，与漂浮垃圾归属类别b的第二时间戳之间的匹配程度为5%，与漂浮垃圾归属类别c的第二时间戳之间的匹配程度为1%。然后，该计算机设备可以从这3个匹配程度中确定具有最高匹配程度的第二时间戳，即漂浮垃圾归属类别a的第二时间戳，进一步地，该计算机设备可以将漂浮垃圾归属类别a作为第一聚合分组对应的漂浮垃圾归属类别，且获取与漂浮垃圾归属类别a具有映射关系的漂浮垃圾识别结果作为该第一聚合分组对应的漂浮垃圾识别结果。

以此类推，该计算机设备可以参见第一聚合分组对应的漂浮垃圾识别结果的识别方式，确定第二聚合分组对应的漂浮垃圾识别结果可以为与漂浮垃圾归属类别b具有映射关系的漂浮垃圾识别结果3，第三聚合分组对应的漂浮垃圾识别结果可以为与漂浮垃圾归属类别c具有映射关系的漂浮垃圾识别结果4。

在本发明实施例中，还提供以下示例。

步骤S201，从无人机采集数据的河道视频数据中获取河道运作状态特征。

步骤S202，确定无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组。

步骤S203，根据河道运作状态特征、第一数量个聚合分组以及与无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果。

其中，该步骤S201-步骤S203的具体实施方式可参考前述所对应实施例中对步骤S101-步骤S103的描述，这里将不再赘述。

步骤S204，根据第三数量个聚合分组分别在无人机采集数据中的第一时间戳以及第三数量个聚合分组分别对应的漂浮垃圾归属类别在无人机采集数据中的第二时间戳，确定第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别在无人机采集数据中的关键时间戳。

具体地，该计算机设备可以从第三数量个聚合分组中获取目标聚合分组，进而可以确定该目标聚合分组在无人机采集数据中的第一时间戳，以及该目标聚合分组对应的漂浮垃圾归属类别在无人机采集数据中的第二时间戳。进一步地，该计算机设备可以确定目标聚合分组的第一时间戳与第二时间戳的时间交集或时间并集，进而可以将确定出的时间交集或时间并集，作为该目标聚合分组对应的漂浮垃圾归属类别在无人机采集数据中的关键时间戳，直到得到第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别在无人机采集数据中的关键时间戳。

第一聚合分组在无人机采集数据中的第一时间戳可以包括待处理漂浮垃圾图片a对应的时间戳t1(例如，08:00:30-08:10:10)和待处理漂浮垃圾图片c对应的时间戳t3(例如，08:35:08-08:40:52)。第一聚合分组对应的漂浮垃圾归属类别(例如，漂浮垃圾归属类别a)在无人机采集数据中的第二时间戳为时间戳T1(例如，08:00:00-08:10:00)以及时间戳T3(例如，08:30:45-08:38:00)。若该计算机设备采用时间交集的方式确定关键时间戳，则该计算机设备确定的漂浮垃圾归属类别a的关键时间戳可以为08:00:30-08:10:00以及08:35:08-08:38:00。可选的，若该计算机设备采用时间并集的方式确定关键时间戳，则该计算机设备确定的漂浮垃圾归属类别a的关键时间戳可以为08:00:00-08:10:10以及08:30:45-08:40:52。

步骤S205，根据第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别对应的关键时间戳，从无人机采集数据中获取第三数量个漂浮垃圾归属类别分别对应的重点识别数据集。

其中，这里的重点识别数据集可以包括与对应漂浮垃圾归属类别匹配的漂浮垃圾图片以及与对应漂浮垃圾归属类别匹配的河道视频数据。

该计算机设备在获取到漂浮垃圾归属类别a的关键时间戳、漂浮垃圾归属类别b的关键时间戳以及漂浮垃圾归属类别c的关键时间戳时，可以分别获取这3个漂浮垃圾归属类别分别对应的重点识别数据集。比如，该计算机设备可以从无人机采集数据中获取与漂浮垃圾归属类别a的关键时间戳相匹配的重点识别数据集，以作为该漂浮垃圾归属类别a对应的重点识别数据集(例如，重点识别数据集1)。同理，该计算机设备可以获取与漂浮垃圾归属类别b的关键时间戳相匹配的重点识别数据集，作为该漂浮垃圾归属类别b对应的重点识别数据集(例如，重点识别数据集2)；获取与漂浮垃圾归属类别c的关键时间戳相匹配的重点识别数据集，作为该漂浮垃圾归属类别c对应的重点识别数据集(例如，重点识别数据集3)。

可选的，进一步地，该计算机设备在获取到每个漂浮垃圾归属类别分别对应的重点识别数据集时，还可以将其应用在后续统计的场景中，即通过对无人机采集数据中的数据进行归类，分辨出每一数据对应的漂浮垃圾识别结果，整理整个无人机采集数据中每个漂浮垃圾识别结果对应的聚合分组，以供后续使用。

其中，可以理解的是，这里的无人机采集数据可以包括第一无人机采集数据和第二无人机采集数据；且该第一无人机采集数据与第二无人机采集数据均包括紧急漂浮垃圾归属类别；这里的紧急漂浮垃圾归属类别属于计算机设备进行漂浮垃圾识别结果识别出所得到的第三数量个漂浮垃圾归属类别。

该计算机设备可以根据与第一无人机采集数据匹配的关系数据库，获取紧急漂浮垃圾归属类别对应的第一目标漂浮垃圾识别结果，进而可以从第一无人机采集数据中获取与第一目标漂浮垃圾识别结果匹配的第一重点识别数据集。其中，这里的第一重点识别数据集是该计算机设备根据紧急漂浮垃圾归属类别在第一无人机采集数据中的关键时间戳所确定的。同理，该计算机设备还可以根据与第二无人机采集数据匹配的关系数据库，获取紧急漂浮垃圾归属类别对应的第二目标漂浮垃圾识别结果，从第二无人机采集数据中获取与第二目标漂浮垃圾识别结果匹配的第二重点识别数据集。其中，这里的第二重点识别数据集可以是计算机设备根据紧急漂浮垃圾归属类别在第二无人机采集数据中的关键时间戳所确定的。此时，该计算机设备可以对第一重点识别数据集和第二重点识别数据集进行组合去重，得到紧急漂浮垃圾归属类别对应的紧急关联信息集合，这里的紧急关联信息集合可以用于上传至客户端所在的应急业务数据平台，以使访问该客户端的用户能够在对应终端设备上进行查阅。

在本申请实施例中，具有漂浮垃圾识别结果识别功能的计算机设备可以通过结合从河道视频数据中自动识别出的河道运作状态特征以及自适应聚类的第一数量个聚合分组，将垃圾漂浮对河道造成的异常影响与垃圾漂浮类别进行关联识别，从而可以准确识别出与关系数据库匹配的第三数量个聚合分组分别对应的漂浮垃圾识别结果。本申请实施例提供的漂浮垃圾识别结果识别过程，不仅可以减少消耗的人力时间，还能够提高识别的精确度以及效率，与此同时使得整个漂浮垃圾识别结果识别系统更具通用性，可适用不同无人机采集数据中漂浮垃圾归属类别不同的场景，从而有效提高了识别的适用性。

请结合参阅图2，图2为本发明实施例提供的基于无人机的河道垃圾漂浮识别系统110的结构示意框图，包括：

获取模块1101，用于从无人机采集数据的河道视频数据中获取河道运作状态特征；河道运作状态特征用于指示河道视频数据中的河道异常运作视频段对应的第一数量个漂浮垃圾归属类别。

确定模块1102，用于确定无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组；第二数量个待识别漂浮垃圾图片是对无人机采集数据中的初始无人机拍摄河道图片进行特征识别以及图像切割处理后所得到的；一个聚合分组对应一个漂浮垃圾归属类别。

识别模块1103，用于根据河道运作状态特征、第一数量个聚合分组以及与无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果；第三数量不超过第一数量；关系数据库包括与已知漂浮垃圾归属类别具有映射关系的漂浮垃圾识别结果；已知漂浮垃圾归属类别与第一数量个漂浮垃圾归属类别之间存在第三数量个相同的漂浮垃圾归属类别。

需要说明的是，前述基于无人机的河道垃圾漂浮识别系统110的实现原理可以参考前述基于无人机的河道垃圾漂浮识别方法的实现原理，在此不再赘述。应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块1101可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上获取模块1101具体的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

本发明实施例提供一种计算机设备100，计算机设备100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，计算机设备100执行前述的基于无人机的河道垃圾漂浮识别系统110。如图3所示，图3为本发明实施例提供的计算机设备100的结构框图。计算机设备100包括基于无人机的河道垃圾漂浮识别系统110、存储器111、处理器112及通信单元113。

为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。例如，可通过一条或多条通讯总线或信号线实现这些元件相互之间电性连接。基于无人机的河道垃圾漂浮识别系统110包括至少一个可以软件或固件（firmware）的形式存储于存储器111中或固化在计算机设备100的操作系统（operatingsystem，OS）中的软件功能模块。处理器112用于执行存储器111中存储的基于无人机的河道垃圾漂浮识别系统110，例如基于无人机的河道垃圾漂浮识别系统110所包括的软件功能模块及计算机程序等。

本发明实施例提供一种可读存储介质，可读存储介质包括计算机程序，计算机程序运行时控制可读存储介质所在计算机设备执行前述的基于无人机的河道垃圾漂浮识别方法。

出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。

Claims (9)

1.基于无人机的河道垃圾漂浮识别方法，其特征在于，包括：

从无人机采集数据的河道视频数据中获取河道运作状态特征；所述河道运作状态特征用于指示所述河道视频数据中的河道异常运作视频段对应的第一数量个漂浮垃圾归属类别；

确定所述无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组；所述第二数量个待识别漂浮垃圾图片是对所述无人机采集数据中的初始无人机拍摄河道图片进行特征识别以及图像切割处理后所得到的；一个聚合分组对应一个漂浮垃圾归属类别；

根据所述河道运作状态特征、所述第一数量个聚合分组以及与所述无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果；所述第三数量不超过所述第一数量；所述关系数据库包括与已知漂浮垃圾归属类别具有映射关系的漂浮垃圾识别结果；所述已知漂浮垃圾归属类别与所述第一数量个漂浮垃圾归属类别之间存在第三数量个相同的漂浮垃圾归属类别。

2.根据权利要求1所述的方法，其特征在于，所述从无人机采集数据的河道视频数据中获取河道运作状态特征，包括：

从无人机采集数据中获取河道视频数据；

对所述河道视频数据中的关键河道区域进行视频分段，得到所述河道视频数据对应的河道异常运作视频段；所述河道异常运作视频段包括第四数量个河道异常运作视频帧；所述第四数量不低于所述第一数量；

获取所述第四数量个河道异常运作视频帧中的第一河道异常运作视频帧，对所述第一河道异常运作视频帧进行特征提取，得到所述第一河道异常运作视频帧对应的第一河道异常运作图片特征；

从与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库中，确定与所述第一河道异常运作图片特征相匹配的参考漂浮垃圾归属特征，将匹配到的参考漂浮垃圾归属特征对应的预置漂浮垃圾归属类别作为所述第一河道异常运作视频帧对应的漂浮垃圾归属类别；

根据获取到的河道异常运作视频帧分别对应的漂浮垃圾归属类别，确定所述河道视频数据对应的河道运作状态特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述河道视频数据中的关键河道区域进行视频分段，得到所述河道视频数据对应的河道异常运作视频段，包括：

对所述河道视频数据中的关键河道区域进行识别，确定所述关键河道区域在所述河道视频数据中的坐标信息；

根据所述坐标信息，在所述河道视频数据中切割所述关键河道区域，得到第四数量个包含所述关键河道区域的河道异常运作视频帧，将第四数量个河道异常运作视频帧作为所述河道视频数据对应的河道异常运作视频段。

4.根据权利要求2所述的方法，其特征在于，所述从与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库中，确定与所述第一河道异常运作图片特征相匹配的参考漂浮垃圾归属特征，将匹配到的参考漂浮垃圾归属特征对应的预置漂浮垃圾归属类别作为所述第一河道异常运作视频帧对应的漂浮垃圾归属类别，包括：

获取与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库；所述河道异常状态与漂浮垃圾对应关系库用于存储第五数量个预置漂浮垃圾归属类别分别对应的参考漂浮垃圾归属特征；所述第五数量不低于所述第一数量；

分别确定所述第一河道异常运作图片特征与第五数量个参考漂浮垃圾归属特征中的每个参考漂浮垃圾归属特征之间的特征相似度，得到第五数量个特征相似度；

从所述第五数量个特征相似度中获取达到预设相似度阈值的最大特征相似度，确定所述最大特征相似度对应的参考漂浮垃圾归属特征所对应的预置漂浮垃圾归属类别，将确定的预置漂浮垃圾归属类别作为所述第一河道异常运作视频帧对应的漂浮垃圾归属类别。

5.根据权利要求1所述的方法，其特征在于，所述确定所述无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组，包括：

从所述无人机采集数据中获取初始无人机拍摄河道图片，对所述初始无人机拍摄河道图片进行特征识别以及图像切割处理，得到第二数量个待识别漂浮垃圾图片；

对所述第二数量个待识别漂浮垃圾图片中的每个待识别漂浮垃圾图片进行向量化处理，得到所述每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量；

根据所述第一数量确定出聚合中心数量，根据所述聚合中心数量，对获取到的每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组。

6.根据权利要求5所述的方法，其特征在于，所述从所述无人机采集数据中获取初始无人机拍摄河道图片，对所述初始无人机拍摄河道图片进行特征识别以及图像切割处理，得到第二数量个待识别漂浮垃圾图片，包括：

从所述无人机采集数据中获取初始无人机拍摄河道图片；

将所述初始无人机拍摄河道图片输入至模糊切割模型，通过所述模糊切割模型生成所述初始无人机拍摄河道图片对应的像素信息；所述模糊切割模型包括初始分割架构和进阶分割架构；

将所述像素信息分别输入所述初始分割架构以及所述进阶分割架构，通过所述初始分割架构生成所述像素信息对应的初始像素特征，通过所述进阶分割架构生成所述像素信息对应的进阶像素特征；

对所述初始像素特征和所述进阶像素特征进行加权平均，得到所述初始像素特征对应的第一掩码图；

根据所述第一掩码图与所述像素信息，生成目标河道切割图片，将所述目标河道切割图片作为所述模糊切割模型所输出的针对所述漂浮垃圾归属类别的待处理漂浮垃圾图片；

根据用于异物检测的预置检测模型，对所述待处理漂浮垃圾图片中的多个区域进行精确切割，得到第二数量个待识别漂浮垃圾图片。

7.根据权利要求1所述的方法，其特征在于，所述根据所述河道运作状态特征、所述第一数量个聚合分组以及与所述无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果，包括：

从所述第一数量个聚合分组中获取目标聚合分组，提取所述目标聚合分组在所述无人机采集数据中的第一时间戳；

从与所述无人机采集数据匹配的关系数据库的已知漂浮垃圾归属类别中，获取与第一数量个漂浮垃圾归属类别之间存在相同的第三数量个漂浮垃圾归属类别，根据所述河道运作状态特征，提取所述第三数量个漂浮垃圾归属类别中的每个漂浮垃圾归属类别在所述无人机采集数据中的第二时间戳；

分别确定所述目标聚合分组的第一时间戳与每个所述第二时间戳之间的匹配程度，将具有最高匹配程度的第二时间戳所对应的漂浮垃圾归属类别作为所述目标聚合分组对应的漂浮垃圾归属类别；

从所述关系数据库中，获取所述目标聚合分组对应的漂浮垃圾归属类别所对应的漂浮垃圾识别结果，将获取到的漂浮垃圾识别结果作为所述目标聚合分组对应的漂浮垃圾识别结果。

8.基于无人机的河道垃圾漂浮识别系统，其特征在于，包括：

获取模块，用于从无人机采集数据的河道视频数据中获取河道运作状态特征；所述河道运作状态特征用于指示所述河道视频数据中的河道异常运作视频段对应的第一数量个漂浮垃圾归属类别；

确定模块，用于确定所述无人机采集数据中的第二数量个待识别漂浮垃圾图片分别对应的待识别漂浮垃圾图片向量，对每个待识别漂浮垃圾图片对应的待识别漂浮垃圾图片向量进行归类聚合，得到第一数量个聚合分组；所述第二数量个待识别漂浮垃圾图片是对所述无人机采集数据中的初始无人机拍摄河道图片进行特征识别以及图像切割处理后所得到的；一个聚合分组对应一个漂浮垃圾归属类别；

识别模块，用于根据所述河道运作状态特征、所述第一数量个聚合分组以及与所述无人机采集数据匹配的关系数据库，识别第三数量个聚合分组中的每个聚合分组分别对应的漂浮垃圾识别结果；所述第三数量不超过所述第一数量；所述关系数据库包括与已知漂浮垃圾归属类别具有映射关系的漂浮垃圾识别结果；所述已知漂浮垃圾归属类别与所述第一数量个漂浮垃圾归属类别之间存在第三数量个相同的漂浮垃圾归属类别。

9.根据权利要求8所述的系统，其特征在于，所述获取模块具体用于：

从无人机采集数据中获取河道视频数据；对所述河道视频数据中的关键河道区域进行视频分段，得到所述河道视频数据对应的河道异常运作视频段；所述河道异常运作视频段包括第四数量个河道异常运作视频帧；所述第四数量不低于所述第一数量；获取所述第四数量个河道异常运作视频帧中的第一河道异常运作视频帧，对所述第一河道异常运作视频帧进行特征提取，得到所述第一河道异常运作视频帧对应的第一河道异常运作图片特征；从与预置漂浮垃圾归属类别匹配的河道异常状态与漂浮垃圾对应关系库中，确定与所述第一河道异常运作图片特征相匹配的参考漂浮垃圾归属特征，将匹配到的参考漂浮垃圾归属特征对应的预置漂浮垃圾归属类别作为所述第一河道异常运作视频帧对应的漂浮垃圾归属类别；根据获取到的河道异常运作视频帧分别对应的漂浮垃圾归属类别，确定所述河道视频数据对应的河道运作状态特征。

Images