CN115880598B - 一种基于无人机的地面图像检测方法及相关装置 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种基于无人机的地面图像检测方法及相关装置，用于实现无人机对地面进行检测并且提高地面图像的分析和检测准确率。方法包括：调用无人机集群对待检测的目标地面区域进行地面图像采集，得到地面图像数据；对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域，对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；若是，则对原始火情区域进行火情区域告警并生成火情处置方案；若否，则对原始火情区域进行火情预测，得到预测火情区域。

Description

一种基于无人机的地面图像检测方法及相关装置

技术领域

本发明涉及图像处理领域，尤其涉及一种基于无人机的地面图像检测方法及相关装置。

背景技术

随着无人机技术的发展，无人机在许多领域都扮演着日益重要的角色，无人机在地面检测领域已经非常成熟。

但是无人机地面检测用于火情检测方面仍未实现，目前的火情检测通常是由人工端进行实时观看，进而得出火情监控的结果，这种方式往往取决于人工经验，而导致火情检测的准确率较低。

发明内容

本发明提供了一种基于无人机的地面图像检测方法及相关装置，用于实现无人机对地面进行检测并且提高地面图像的分析和检测准确率。

本发明第一方面提供了一种基于无人机的地面图像检测方法，所述基于无人机的地面图像检测方法包括：调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据；对所述地面图像数据进行火情检测，得到火情检测结果，并根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；根据所述火情检测结果对所述目标地面区域进行火情区域识别，得到原始火情区域；根据所述目标地形地貌特征对所述目标地面区域进行火情危险区域等级划分，并判断所述原始火情区域是否在危险区域内；若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案；若否，则获取所述目标地面区域的环境参数，并根据所述环境参数对所述原始火情区域进行火情预测，得到预测火情区域。

可选的，在本发明第一方面的第一种实现方式中，所述调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据，包括：对待检测的目标地面区域进行区域分割，得到多个子区域，并对所述多个子区域进行区域信息标注，得到区域标识信息；调用预置的无人机集群对所述多个子区域进行地面图像采集，得到每个子区域的地面图像数据；根据所述区域标识信息对每个子区域的地面图像数据进行图像数据融合，得到所述目标地面区域的地面图像数据。

可选的，在本发明第一方面的第二种实现方式中，所述对所述地面图像数据进行火情检测，得到火情检测结果，并根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征，包括：将所述地面图像数据输入预置的火情检测模型，其中，所述火情检测模型包括：第一卷积网络、第二卷积网络、全连接网络和输出层；将所述地面图像数据分别输入所述第一卷积网络和所述第二卷积网络进行特征提取，得到第一图像特征和第二图像特征；对所述第一图像特征和所述第二图像特征进行特征融合，得到融合图像特征；将所述融合图像特征输入所述全连接网络进行特征处理，得到目标特征；通过所述输出层根据所述目标特征输出火情检测结果；根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征。

可选的，在本发明第一方面的第三种实现方式中，所述根据所述火情检测结果对所述目标地面区域进行火情区域识别，得到原始火情区域，包括：若所述火情检测结果为无火情异常，则调用所述无人机集群对所述目标地面区域进行多轮巡检；若所述火情检测结果为有火情异常，则对所述目标地面区域进行火情区域识别和区域选取，得到初始火情区域；通过所述无人机集群对所述初始火情区域进行火情跟踪，得到原始火情区域。

可选的，在本发明第一方面的第四种实现方式中，所述根据所述目标地形地貌特征对所述目标地面区域进行火情危险区域等级划分，并判断所述原始火情区域是否在危险区域内，包括：根据所述目标地形地貌特征对所述目标地面区域进行区域易燃程度计算，得到所述目标地面区域的火势预测数据；根据预置的危险等级映射关系和所述目标地面区域的火势预测数据生成所述目标地面区域的火情危险区域等级；根据所述目标地面区域的火情危险区域等级判断所述原始火情区域是否在危险区域内。

可选的，在本发明第一方面的第五种实现方式中，所述若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案，包括：若是，则根据所述原始火情区域生成火情告警信息；根据所述火情告警信息对所述原始火情区域进行火情区域告警；根据所述目标地形地貌特征从预置的数据库中匹配火情处置方案。

可选的，在本发明第一方面的第六种实现方式中，所述若否，则获取所述目标地面区域的环境参数，并根据所述环境参数对所述原始火情区域进行火情预测，得到预测火情区域，包括：若否，则从所述数据库中获取所述目标地面区域的环境参数，其中，所述环境参数包括：风力参数和天气参数；将所述原始火情区域和所述环境参数输入预置的火情预测模型进行火情预测，得到预测火情区域，其中，所述预测火情区域用于指示所述目标地面区域的火势发展趋势。

本发明第二方面提供了一种基于无人机的地面图像检测装置，所述基于无人机的地面图像检测装置包括：采集模块，用于调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据；检测模块，用于对所述地面图像数据进行火情检测，得到火情检测结果，并根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；识别模块，用于根据所述火情检测结果对所述目标地面区域进行火情区域识别，得到原始火情区域；判断模块，用于根据所述目标地形地貌特征对所述目标地面区域进行火情危险区域等级划分，并判断所述原始火情区域是否在危险区域内；生成模块，用于若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案；预测模块，用于若否，则获取所述目标地面区域的环境参数，并根据所述环境参数对所述原始火情区域进行火情预测，得到预测火情区域。

可选的，在本发明第二方面的第一种实现方式中，所述采集模块具体用于：对待检测的目标地面区域进行区域分割，得到多个子区域，并对所述多个子区域进行区域信息标注，得到区域标识信息；调用预置的无人机集群对所述多个子区域进行地面图像采集，得到每个子区域的地面图像数据；根据所述区域标识信息对每个子区域的地面图像数据进行图像数据融合，得到所述目标地面区域的地面图像数据。

可选的，在本发明第二方面的第二种实现方式中，所述检测模块具体用于：将所述地面图像数据输入预置的火情检测模型，其中，所述火情检测模型包括：第一卷积网络、第二卷积网络、全连接网络和输出层；将所述地面图像数据分别输入所述第一卷积网络和所述第二卷积网络进行特征提取，得到第一图像特征和第二图像特征；对所述第一图像特征和所述第二图像特征进行特征融合，得到融合图像特征；将所述融合图像特征输入所述全连接网络进行特征处理，得到目标特征；通过所述输出层根据所述目标特征输出火情检测结果；根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征。

可选的，在本发明第二方面的第三种实现方式中，所述识别模块具体用于：若所述火情检测结果为无火情异常，则调用所述无人机集群对所述目标地面区域进行多轮巡检；若所述火情检测结果为有火情异常，则对所述目标地面区域进行火情区域识别和区域选取，得到初始火情区域；通过所述无人机集群对所述初始火情区域进行火情跟踪，得到原始火情区域。

可选的，在本发明第二方面的第四种实现方式中，所述判断模块具体用于：根据所述目标地形地貌特征对所述目标地面区域进行区域易燃程度计算，得到所述目标地面区域的火势预测数据；根据预置的危险等级映射关系和所述目标地面区域的火势预测数据生成所述目标地面区域的火情危险区域等级；根据所述目标地面区域的火情危险区域等级判断所述原始火情区域是否在危险区域内。

可选的，在本发明第二方面的第五种实现方式中，所述生成模块具体用于：若是，则根据所述原始火情区域生成火情告警信息；根据所述火情告警信息对所述原始火情区域进行火情区域告警；根据所述目标地形地貌特征从预置的数据库中匹配火情处置方案。

可选的，在本发明第二方面的第六种实现方式中，所述预测模块还包括：获取单元，用于若否，则从所述数据库中获取所述目标地面区域的环境参数，其中，所述环境参数包括：风力参数和天气参数；预测单元，用于将所述原始火情区域和所述环境参数输入预置的火情预测模型进行火情预测，得到预测火情区域，其中，所述预测火情区域用于指示所述目标地面区域的火势发展趋势。

本发明第三方面提供了一种基于无人机的地面图像检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于无人机的地面图像检测设备执行上述的基于无人机的地面图像检测方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于无人机的地面图像检测方法。

本发明提供的技术方案中，调用无人机集群对待检测的目标地面区域进行地面图像采集，得到目标地面区域的地面图像数据；对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域；根据目标地形地貌特征对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；若是，则对原始火情区域进行火情区域告警并生成火情处置方案；若否，则对原始火情区域进行火情预测，得到预测火情区域。本发明采用人工智能识别的方式对目标地面区域进行火情检测，并且结合无人机技术对目标地面区域进行巡检，提高了火情检测的准确率，进而提高了无人机地面检测的准确率。

附图说明

图1为本发明实施例中基于无人机的地面图像检测方法的一个实施例示意图；

图2为本发明实施例中基于无人机的地面图像检测方法的另一个实施例示意图；

图3为本发明实施例中基于无人机的地面图像检测装置的一个实施例示意图；

图4为本发明实施例中基于无人机的地面图像检测装置的另一个实施例示意图；

图5为本发明实施例中基于无人机的地面图像检测设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于无人机的地面图像检测方法及相关装置，用于实现无人机对地面进行检测并且提高地面图像的分析和检测准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于无人机的地面图像检测方法的一个实施例包括：

S101、调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到目标地面区域的地面图像数据；

可以理解的是，本发明的执行主体可以为基于无人机的地面图像检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，服务器调用预置的无人机集群采集无人机周围环境的原始全景图像和无人机跟踪的待检测的目标地面区域原始目标图像，在进行地面图像采集时，服务器是通过无人机机身上的固定摄像头采集无人机周围环境的全景图像，通过挂在无人机机身的云台上的运动相机或红外摄像机采集无人机跟踪目标的地面图像数据。

S102、对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；

具体的，服务器获取地面图像数据，根据地面图像数据进行火情检测，得到火情检测结果，进而服务器根据火情检测结果获取视频和图片中的烟火信息，获取至少一个已知模板类型区域的网格离散化地形高度数据，根据网格离散化地形高度数据获取已知模板类型区域的高度数据矩阵，根据已知模板类型区域的高度数据矩阵获取已知模板区域的典型空间分布特征，获取待识别区域的地形高度数据，并根据待识别区域的地形高度数据获取待识别区域的高度数据矩阵，根据待识别区域的高度数据矩阵对模板区域初步筛选，根据初步识别模板区域的高度数据矩阵和已知模板类型区域的典型空间分布特征比对，对初步识别模板区域进行再次识别，最终得到目标地形地貌特征。

S103、根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域；

具体的，服务器控制红外和可见光相机采集实时图像，服务器对图像进行自动识别处理，检测是否有可疑烟雾或火光，如在图像中检测出烟雾或火光，服务器控制跟踪转台停止运转，进一步烟雾和火灾确认识别，如确实为烟雾和火光，服务器向远程控制中心发出报警信息，跟踪转台继续运转，将得到原始火情区域。

S104、根据目标地形地貌特征对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；

具体的，将目标地面区域划分成若干评估子区域，对任一评估子区域进行火情危险区域等级评估，火情危险区域等级为一至四级，对任一评估子区域进行区域重点等级评估，区域重点等级为一至四级，本发明实施例中，服务器通过火情危险区域等级、区域重点等级、预警等级确定任一评估子区域的火情危险区域等级，并判断原始火情区域是否在危险区域内。

S105、若是，则对原始火情区域进行火情区域告警并生成火情处置方案；

具体的，服务器采集原始火情区域内的环境状态数据，将环境状态数据传输至预置的火情数据库中，进而服务器根据环境状态数据确定目标地面区域内火情类型，并在确定原始火情区域内火情类型的情况下，将火情的详情信息存储至火情数据库中，最终服务器在获取到火情的详情信息之后，发出告警信息并生成火情处置方案，可以及时对该火情进行处理。

S106、若否，则获取目标地面区域的环境参数，并根据环境参数对原始火情区域进行火情预测，得到预测火情区域。

具体的，若否，则服务器获取目标地面区域的环境参数，具体包括目标地面区域的环境数据以及对应地区的气相数据，为火情预测提供数据支持，其中，服务器对数据进行处理，并结合大数据进行对比分析，从而对火情进行预测，并将预测结果传输至服务器，在进行火情预测时，服务器通过接收火情预警信号，并根据区域定位模块定位确定火情预测地点，通过多方式巡检确定预测火情区域并排出。

本发明实施例中，调用无人机集群对待检测的目标地面区域进行地面图像采集，得到目标地面区域的地面图像数据；对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域；根据目标地形地貌特征对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；若是，则对原始火情区域进行火情区域告警并生成火情处置方案；若否，则对原始火情区域进行火情预测，得到预测火情区域。本发明采用人工智能识别的方式对目标地面区域进行火情检测，并且结合无人机技术对目标地面区域进行巡检，提高了火情检测的准确率，进而提高了无人机地面检测的准确率。

请参阅图2，本发明实施例中基于无人机的地面图像检测方法的另一个实施例包括：

S201、调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到目标地面区域的地面图像数据；

具体的，对待检测的目标地面区域进行区域分割，得到多个子区域，并对多个子区域进行区域信息标注，得到区域标识信息；调用预置的无人机集群对多个子区域进行地面图像采集，得到每个子区域的地面图像数据；根据区域标识信息对每个子区域的地面图像数据进行图像数据融合，得到目标地面区域的地面图像数据。

其中，服务器对检测的目标地面区域依次进行数学形态学预处理和图像分割，以得到多个图像区域，获得区域图像在激光探测器视场范围内的图像边缘，并根据图像边缘标记得到多个边缘分割区域，对激光图像依次进行预处理和区域提取，以得到多个激光图像区域，并对多个子区域进行区域信息标注，得到区域标识信息，调用预置的无人机集群对多个子区域进行地面图像采集，得到每个子区域的地面图像数据，进而服务器对图像区域、边缘分割区域以及激光图像区域进行数据融合，以得到得到目标地面区域的地面图像数据，可选的，服务器还可以提取各子区域的区域特征，并将所提取的区域特征与目标地面区域特征进行匹配，从而从子区域中识别建筑物目标所在的目标地面区域。

S202、对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；

具体的，将地面图像数据输入预置的火情检测模型，其中，火情检测模型包括：第一卷积网络、第二卷积网络、全连接网络和输出层；将地面图像数据分别输入第一卷积网络和第二卷积网络进行特征提取，得到第一图像特征和第二图像特征；对第一图像特征和第二图像特征进行特征融合，得到融合图像特征；将融合图像特征输入全连接网络进行特征处理，得到目标特征；通过输出层根据目标特征输出火情检测结果；根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征。

可选的，在将地面图像数据输入预置的火情检测模型之前，还包括：服务器采集并从图像中提取烟雾火情图像和负样本，将获取的烟雾火情图像和负样本进行预处理，使之成为训练数据，将训练数据输入给内卷残差深度神经网络，以设置网络参数进行若干次训练，并保存训练好的检测模型，采集图像并转换到模型输入格式，再输入给训练好的检测模型，判断监控区域内是否发生烟雾火情，通过对烟雾火情特征进行有效提取，使得网络的检测率更高，模型的泛化性能更好。

S203、根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域；

具体的，若火情检测结果为无火情异常，则调用无人机集群对目标地面区域进行多轮巡检；若火情检测结果为有火情异常，则对目标地面区域进行火情区域识别和区域选取，得到初始火情区域；通过无人机集群对初始火情区域进行火情跟踪，得到原始火情区域。

其中，若火情检测结果为无火情异常，则调用无人机集群对目标地面区域进行多轮巡检，若火情检测结果为有火情异常，采用预设的摄像头对指定区域进行连续图像采集处理，以得到连续的两帧火情图像，并对指定帧火情图像进行像素点解析处理，并获取所有的色块，在指定帧火情图像中绘制路径，再获取路径的长度，若路径的长度大于长度阈值，则将指定帧火情图像输入烟火规模识别模型中，得到烟火规模数值，若烟火规模数值大于烟火规模阈值，则计算指定烟火规模增长数值，获取指定预警策略，将指定预警策略发送进行火情区域识别和区域选取，得到初始火情区域，通过无人机集群对初始火情区域进行火情跟踪，得到原始火情区域。

S204、根据目标地形地貌特征对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；

具体的，根据目标地形地貌特征对目标地面区域进行区域易燃程度计算，得到目标地面区域的火势预测数据；根据预置的危险等级映射关系和目标地面区域的火势预测数据生成目标地面区域的火情危险区域等级；根据目标地面区域的火情危险区域等级判断原始火情区域是否在危险区域内。

其中，通过获取目标地面区域的地形特征，并对目标地面区域的地形特征进行分析，判断目标地面区域内是否存在易燃物目标，若判断目标地面区域内存在易燃物目标，获取易燃物目标的坐标，并根据易燃物目标的坐标确定危险区域的坐标，根据预置的危险等级映射关系和目标地面区域的火势预测数据生成目标地面区域的火情危险区域等级；根据目标地面区域的火情危险区域等级判断原始火情区域是否在危险区域内。本发明能自动识别危险区域，并判断危险区域内是否在原始火情区域，能减少安全监管的人力成本，提高监测效率。

S205、若是，则对原始火情区域进行火情区域告警并生成火情处置方案；

具体的，若是，则根据原始火情区域生成火情告警信息；根据火情告警信息对原始火情区域进行火情区域告警；根据目标地形地貌特征从预置的数据库中匹配火情处置方案。

其中，接收原始火情区域内的火情详细信息，进而服务器根据预先设置的标准配置方法和输入信息对火情详细信息进行告警配置，获取目标策略的告警配置信息的告警阈值，以及与告警阈值对应的实际监测值，比较告警阈值和实际监测值，根据告警阈值和实际监测值的关系，判断实际监测值是否满足告警条件，如果是，则生成与实际监测值对应的告警信息，并根据火情告警信息对原始火情区域进行火情区域告警，根据目标地形地貌特征从预置的数据库中匹配火情处置方案。

S206、若否，则从数据库中获取目标地面区域的环境参数，其中，环境参数包括：风力参数和天气参数；

S207、将原始火情区域和环境参数输入预置的火情预测模型进行火情预测，得到预测火情区域，其中，预测火情区域用于指示目标地面区域的火势发展趋势。

具体的，服务器以预设的时间间隔为单位实时提取环境数据，传回后缓存入数据库，利用无人机进行实时火情监测，结合山火发展趋势模拟算法进行走廊周边山火趋势预测，得到预测火情区域，其中，预测火情区域用于指示目标地面区域的火势发展趋势。

本发明实施例中，调用无人机集群对待检测的目标地面区域进行地面图像采集，得到目标地面区域的地面图像数据；对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域；根据目标地形地貌特征对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；若是，则对原始火情区域进行火情区域告警并生成火情处置方案；若否，则对原始火情区域进行火情预测，得到预测火情区域。本发明采用人工智能识别的方式对目标地面区域进行火情检测，并且结合无人机技术对目标地面区域进行巡检，提高了火情检测的准确率，进而提高了无人机地面检测的准确率。

上面对本发明实施例中基于无人机的地面图像检测方法进行了描述，下面对本发明实施例中基于无人机的地面图像检测装置进行描述，请参阅图3，本发明实施例中基于无人机的地面图像检测装置一个实施例包括：

采集模块301，用于调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据；

检测模块302，用于对所述地面图像数据进行火情检测，得到火情检测结果，并根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；

识别模块303，用于根据所述火情检测结果对所述目标地面区域进行火情区域识别，得到原始火情区域；

判断模块304，用于根据所述目标地形地貌特征对所述目标地面区域进行火情危险区域等级划分，并判断所述原始火情区域是否在危险区域内；

生成模块305，用于若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案；

预测模块306，用于若否，则获取所述目标地面区域的环境参数，并根据所述环境参数对所述原始火情区域进行火情预测，得到预测火情区域。

本发明实施例中，调用无人机集群对待检测的目标地面区域进行地面图像采集，得到目标地面区域的地面图像数据；对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域；根据目标地形地貌特征对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；若是，则对原始火情区域进行火情区域告警并生成火情处置方案；若否，则对原始火情区域进行火情预测，得到预测火情区域。本发明采用人工智能识别的方式对目标地面区域进行火情检测，并且结合无人机技术对目标地面区域进行巡检，提高了火情检测的准确率，进而提高了无人机地面检测的准确率。

请参阅图4，本发明实施例中基于无人机的地面图像检测装置另一个实施例包括：

采集模块301，用于调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据；

检测模块302，用于对所述地面图像数据进行火情检测，得到火情检测结果，并根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；

识别模块303，用于根据所述火情检测结果对所述目标地面区域进行火情区域识别，得到原始火情区域；

判断模块304，用于根据所述目标地形地貌特征对所述目标地面区域进行火情危险区域等级划分，并判断所述原始火情区域是否在危险区域内；

生成模块305，用于若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案；

预测模块306，用于若否，则获取所述目标地面区域的环境参数，并根据所述环境参数对所述原始火情区域进行火情预测，得到预测火情区域。

可选的，所述采集模块301具体用于：

对待检测的目标地面区域进行区域分割，得到多个子区域，并对所述多个子区域进行区域信息标注，得到区域标识信息；调用预置的无人机集群对所述多个子区域进行地面图像采集，得到每个子区域的地面图像数据；根据所述区域标识信息对每个子区域的地面图像数据进行图像数据融合，得到所述目标地面区域的地面图像数据。

可选的，所述检测模块302具体用于：

将所述地面图像数据输入预置的火情检测模型，其中，所述火情检测模型包括：第一卷积网络、第二卷积网络、全连接网络和输出层；将所述地面图像数据分别输入所述第一卷积网络和所述第二卷积网络进行特征提取，得到第一图像特征和第二图像特征；对所述第一图像特征和所述第二图像特征进行特征融合，得到融合图像特征；将所述融合图像特征输入所述全连接网络进行特征处理，得到目标特征；通过所述输出层根据所述目标特征输出火情检测结果；根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征。

可选的，所述识别模块303具体用于：

若所述火情检测结果为无火情异常，则调用所述无人机集群对所述目标地面区域进行多轮巡检；若所述火情检测结果为有火情异常，则对所述目标地面区域进行火情区域识别和区域选取，得到初始火情区域；通过所述无人机集群对所述初始火情区域进行火情跟踪，得到原始火情区域。

可选的，所述判断模块304具体用于：

根据所述目标地形地貌特征对所述目标地面区域进行区域易燃程度计算，得到所述目标地面区域的火势预测数据；根据预置的危险等级映射关系和所述目标地面区域的火势预测数据生成所述目标地面区域的火情危险区域等级；根据所述目标地面区域的火情危险区域等级判断所述原始火情区域是否在危险区域内。

可选的，所述生成模块305具体用于：

若是，则根据所述原始火情区域生成火情告警信息；根据所述火情告警信息对所述原始火情区域进行火情区域告警；根据所述目标地形地貌特征从预置的数据库中匹配火情处置方案。

可选的，所述预测模块306还包括：

获取单元3061，用于若否，则从所述数据库中获取所述目标地面区域的环境参数，其中，所述环境参数包括：风力参数和天气参数；

预测单元3062，用于将所述原始火情区域和所述环境参数输入预置的火情预测模型进行火情预测，得到预测火情区域，其中，所述预测火情区域用于指示所述目标地面区域的火势发展趋势。

本发明实施例中，调用无人机集群对待检测的目标地面区域进行地面图像采集，得到目标地面区域的地面图像数据；对地面图像数据进行火情检测，得到火情检测结果，并根据地面图像数据对目标地面区域进行地形地貌识别，得到目标地形地貌特征；根据火情检测结果对目标地面区域进行火情区域识别，得到原始火情区域；根据目标地形地貌特征对目标地面区域进行火情危险区域等级划分，并判断原始火情区域是否在危险区域内；若是，则对原始火情区域进行火情区域告警并生成火情处置方案；若否，则对原始火情区域进行火情预测，得到预测火情区域。本发明采用人工智能识别的方式对目标地面区域进行火情检测，并且结合无人机技术对目标地面区域进行巡检，提高了火情检测的准确率，进而提高了无人机地面检测的准确率。

上面图3和图4从模块化功能实体的角度对本发明实施例中的基于无人机的地面图像检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于无人机的地面图像检测设备进行详细描述。

图5是本发明实施例提供的一种基于无人机的地面图像检测设备的结构示意图，该基于无人机的地面图像检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于无人机的地面图像检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于无人机的地面图像检测设备500上执行存储介质530中的一系列指令操作。

基于无人机的地面图像检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于无人机的地面图像检测设备结构并不构成对基于无人机的地面图像检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种基于无人机的地面图像检测设备，所述基于无人机的地面图像检测设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于无人机的地面图像检测方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于无人机的地面图像检测方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于无人机的地面图像检测方法，其特征在于，所述基于无人机的地面图像检测方法包括：

调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据；

对所述地面图像数据进行火情检测，得到火情检测结果，并根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；其中，将所述地面图像数据输入预置的火情检测模型，其中，所述火情检测模型包括：第一卷积网络、第二卷积网络、全连接网络和输出层；将所述地面图像数据分别输入所述第一卷积网络和所述第二卷积网络进行特征提取，得到第一图像特征和第二图像特征；对所述第一图像特征和所述第二图像特征进行特征融合，得到融合图像特征；将所述融合图像特征输入所述全连接网络进行特征处理，得到目标特征；通过所述输出层根据所述目标特征输出火情检测结果；根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；具体的，获取地面图像数据，根据地面图像数据进行火情检测，得到火情检测结果，根据火情检测结果获取视频和图片中的烟火信息，获取至少一个已知模板类型区域的网格离散化地形高度数据，根据网格离散化地形高度数据获取已知模板类型区域的高度数据矩阵，根据已知模板类型区域的高度数据矩阵获取已知模板区域的典型空间分布特征，获取待识别区域的地形高度数据，并根据待识别区域的地形高度数据获取待识别区域的高度数据矩阵，根据待识别区域的高度数据矩阵对模板区域初步筛选，根据初步识别模板区域的高度数据矩阵和已知模板类型区域的典型空间分布特征比对，对初步识别模板区域进行再次识别，得到目标地形地貌特征；

根据所述火情检测结果对所述目标地面区域进行火情区域识别，得到原始火情区域；其中，若所述火情检测结果为无火情异常，则调用所述无人机集群对所述目标地面区域进行多轮巡检；若所述火情检测结果为有火情异常，则对所述目标地面区域进行火情区域识别和区域选取，得到初始火情区域；通过所述无人机集群对所述初始火情区域进行火情跟踪，得到原始火情区域；具体的，若火情检测结果为无火情异常，则调用无人机集群对目标地面区域进行多轮巡检，若火情检测结果为有火情异常，采用预设的摄像头对指定区域进行连续图像采集处理，得到连续的两帧火情图像，并对指定帧火情图像进行像素点解析处理，并获取所有的色块，在指定帧火情图像中绘制路径，再获取路径的长度，若路径的长度大于长度阈值，则将指定帧火情图像输入烟火规模识别模型中，得到烟火规模数值，若烟火规模数值大于烟火规模阈值，则计算指定烟火规模增长数值，获取指定预警策略，将指定预警策略发送进行火情区域识别和区域选取，得到初始火情区域，通过无人机集群对初始火情区域进行火情跟踪，得到原始火情区域；

根据所述目标地形地貌特征对所述目标地面区域进行火情危险区域等级划分，并判断所述原始火情区域是否在危险区域内；其中，根据所述目标地形地貌特征对所述目标地面区域进行区域易燃程度计算，得到所述目标地面区域的火势预测数据；根据预置的危险等级映射关系和所述目标地面区域的火势预测数据生成所述目标地面区域的火情危险区域等级；根据所述目标地面区域的火情危险区域等级判断所述原始火情区域是否在危险区域内；具体的，通过获取目标地面区域的地形特征，并对目标地面区域的地形特征进行分析，判断目标地面区域内是否存在易燃物目标，若目标地面区域内存在易燃物目标，则获取易燃物目标的坐标，并根据易燃物目标的坐标确定危险区域的坐标，根据预置的危险等级映射关系和目标地面区域的火势预测数据生成目标地面区域的火情危险区域等级；根据目标地面区域的火情危险区域等级判断原始火情区域是否在危险区域内；

若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案；

若否，则获取所述目标地面区域的环境参数，并根据所述环境参数对所述原始火情区域进行火情预测，得到预测火情区域；其中，若否，则从数据库中获取所述目标地面区域的环境参数，其中，所述环境参数包括：风力参数和天气参数；将所述原始火情区域和所述环境参数输入预置的火情预测模型进行火情预测，得到预测火情区域，其中，所述预测火情区域用于指示所述目标地面区域的火势发展趋势；具体的，以预设的时间间隔为单位实时提取环境数据，传回后缓存入数据库，利用无人机进行实时火情监测，结合山火发展趋势模拟算法进行山火趋势预测，得到预测火情区域，其中，预测火情区域用于指示目标地面区域的火势发展趋势。

2.根据权利要求1所述的基于无人机的地面图像检测方法，其特征在于，所述调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据，包括：

对待检测的目标地面区域进行区域分割，得到多个子区域，并对所述多个子区域进行区域信息标注，得到区域标识信息；

调用预置的无人机集群对所述多个子区域进行地面图像采集，得到每个子区域的地面图像数据；

根据所述区域标识信息对每个子区域的地面图像数据进行图像数据融合，得到所述目标地面区域的地面图像数据。

3.根据权利要求1所述的基于无人机的地面图像检测方法，其特征在于，所述若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案，包括：

若是，则根据所述原始火情区域生成火情告警信息；

根据所述火情告警信息对所述原始火情区域进行火情区域告警；

根据所述目标地形地貌特征从预置的数据库中匹配火情处置方案。

4.一种基于无人机的地面图像检测装置，其特征在于，所述基于无人机的地面图像检测装置包括：

采集模块，用于调用预置的无人机集群对待检测的目标地面区域进行地面图像采集，得到所述目标地面区域的地面图像数据；

检测模块，用于对所述地面图像数据进行火情检测，得到火情检测结果，并根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；其中，将所述地面图像数据输入预置的火情检测模型，其中，所述火情检测模型包括：第一卷积网络、第二卷积网络、全连接网络和输出层；将所述地面图像数据分别输入所述第一卷积网络和所述第二卷积网络进行特征提取，得到第一图像特征和第二图像特征；对所述第一图像特征和所述第二图像特征进行特征融合，得到融合图像特征；将所述融合图像特征输入所述全连接网络进行特征处理，得到目标特征；通过所述输出层根据所述目标特征输出火情检测结果；根据所述地面图像数据对所述目标地面区域进行地形地貌识别，得到目标地形地貌特征；具体的，获取地面图像数据，根据地面图像数据进行火情检测，得到火情检测结果，根据火情检测结果获取视频和图片中的烟火信息，获取至少一个已知模板类型区域的网格离散化地形高度数据，根据网格离散化地形高度数据获取已知模板类型区域的高度数据矩阵，根据已知模板类型区域的高度数据矩阵获取已知模板区域的典型空间分布特征，获取待识别区域的地形高度数据，并根据待识别区域的地形高度数据获取待识别区域的高度数据矩阵，根据待识别区域的高度数据矩阵对模板区域初步筛选，根据初步识别模板区域的高度数据矩阵和已知模板类型区域的典型空间分布特征比对，对初步识别模板区域进行再次识别，得到目标地形地貌特征；

识别模块，用于根据所述火情检测结果对所述目标地面区域进行火情区域识别，得到原始火情区域；其中，若所述火情检测结果为无火情异常，则调用所述无人机集群对所述目标地面区域进行多轮巡检；若所述火情检测结果为有火情异常，则对所述目标地面区域进行火情区域识别和区域选取，得到初始火情区域；通过所述无人机集群对所述初始火情区域进行火情跟踪，得到原始火情区域；具体的，若火情检测结果为无火情异常，则调用无人机集群对目标地面区域进行多轮巡检，若火情检测结果为有火情异常，采用预设的摄像头对指定区域进行连续图像采集处理，得到连续的两帧火情图像，并对指定帧火情图像进行像素点解析处理，并获取所有的色块，在指定帧火情图像中绘制路径，再获取路径的长度，若路径的长度大于长度阈值，则将指定帧火情图像输入烟火规模识别模型中，得到烟火规模数值，若烟火规模数值大于烟火规模阈值，则计算指定烟火规模增长数值，获取指定预警策略，将指定预警策略发送进行火情区域识别和区域选取，得到初始火情区域，通过无人机集群对初始火情区域进行火情跟踪，得到原始火情区域；

判断模块，用于根据所述目标地形地貌特征对所述目标地面区域进行火情危险区域等级划分，并判断所述原始火情区域是否在危险区域内；其中，根据所述目标地形地貌特征对所述目标地面区域进行区域易燃程度计算，得到所述目标地面区域的火势预测数据；根据预置的危险等级映射关系和所述目标地面区域的火势预测数据生成所述目标地面区域的火情危险区域等级；根据所述目标地面区域的火情危险区域等级判断所述原始火情区域是否在危险区域内；具体的，通过获取目标地面区域的地形特征，并对目标地面区域的地形特征进行分析，判断目标地面区域内是否存在易燃物目标，若目标地面区域内存在易燃物目标，则获取易燃物目标的坐标，并根据易燃物目标的坐标确定危险区域的坐标，根据预置的危险等级映射关系和目标地面区域的火势预测数据生成目标地面区域的火情危险区域等级；根据目标地面区域的火情危险区域等级判断原始火情区域是否在危险区域内；

生成模块，用于若是，则对所述原始火情区域进行火情区域告警并生成火情处置方案；

预测模块，用于若否，则获取所述目标地面区域的环境参数，并根据所述环境参数对所述原始火情区域进行火情预测，得到预测火情区域；其中，若否，则从数据库中获取所述目标地面区域的环境参数，其中，所述环境参数包括：风力参数和天气参数；将所述原始火情区域和所述环境参数输入预置的火情预测模型进行火情预测，得到预测火情区域，其中，所述预测火情区域用于指示所述目标地面区域的火势发展趋势；具体的，以预设的时间间隔为单位实时提取环境数据，传回后缓存入数据库，利用无人机进行实时火情监测，结合山火发展趋势模拟算法进行山火趋势预测，得到预测火情区域，其中，预测火情区域用于指示目标地面区域的火势发展趋势。

5.一种基于无人机的地面图像检测设备，其特征在于，所述基于无人机的地面图像检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于无人机的地面图像检测设备执行如权利要求1-3中任一项所述的基于无人机的地面图像检测方法。

6.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-3中任一项所述的基于无人机的地面图像检测方法。

Images