CN115407800A - 一种农产品仓储保鲜库内无人机巡检系统及巡检方法 - Google Patents

Abstract

本发明公开了一种农产品仓储保鲜库内无人机巡检系统，涉及人工智能技术领域。本发明包括图像信息采集模块、模型训练模块、实时检测模块、数据处理模块、终端显示模块和无人机警报模块，所述图像信息采集模块与实时检测模块连接，所述实时检测模块分别与模型训练模块和数据处理模块连接，所述数据处理模块与终端显示模块连接，所述终端显示模块与无人机警报模块连接；本发明还包括一种农产品仓储保鲜库内无人机巡检方法。本发明有效解决了人工巡检存在工作危险性高、工作强度大的问题，能够做到全天候、全时段巡检。

Description

一种农产品仓储保鲜库内无人机巡检系统及巡检方法

技术领域

本发明属于人工智能技术领域，特别是涉及一种农产品仓储保鲜库内无人机巡检系统及巡检方法。

背景技术

在农业生产中，仓储保鲜库作为保证农产品供应的重要基础设施，负责农产品的贮藏保鲜工作，是农产品冷链物流的枢纽环节。需要定期对农产品仓储保鲜库内货物进行巡检，以防止因贮藏方式不当而导致的品质下降、贮藏时间缩短等问题，保证出库时可达到最高经济效益。

通常保鲜库内为氮气环境，传统的巡检方式由技术人员穿戴特殊装备进入保鲜库进行巡检。但是保鲜库内货物种类繁多、环境复杂。人工巡检存在工作危险性高、工作强度大的问题。同时，巡检要保证及时发现货物异常情况，就需要做到全天候、全时段巡检，单凭人工巡检，巡检成本高昂。

而伴随着无人机技术及计算机技术的逐渐发展成熟，同时为了解决人工巡检存在的弊端，可开发专用的农产品仓储保鲜库巡检无人机来替代人工对保鲜库进行巡检，在发现货物异常摆放等情况时发出警报提醒。为了精准、实时的完成巡检任务，需要将深度学习目标检测模型部署在巡检无人机上，由于无人机上处理器计算能力与功耗有限，需要在保证检测精度的条件下，设计轻量化深度学习目标检测模型。但是，目前没有专门针对农产品仓储保鲜库内无人机巡检设计的检测算法及系统。

发明内容

本发明的目的在于提供一种农产品仓储保鲜库内无人机巡检系统及巡检方法，通过图像信息采集模块、模型训练模块、实时检测模块、数据处理模块，终端显示模块和无人机警报模块的设计以及巡检方法的设计，解决了上述背景技术中的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种农产品仓储保鲜库内无人机巡检系统，包括无人机检测系统和输出执行系统；所述无人机检测系统包括图像信息采集模块、模型训练模块、实时检测模块和数据处理模块，所述输出执行系统包括终端显示模块和无人机警报模块；

所述图像信息采集模块与实时检测模块连接，所述实时检测模块分别与模型训练模块和数据处理模块连接，所述数据处理模块与终端显示模块连接，所述终端显示模块与无人机警报模块连接；

所述图像信息采集模块用于获取农产品仓储保鲜库内指定检测位置处的图像信息，并将可见光图像信息输入至实时检测模块；所述模型训练模块对深度学习目标检测模型进行训练，得到部署在无人机上的轻量化目标检测模型；所述实时检测模块利用模型训练模块得到的目标检测模型对农产品仓储保鲜库内可见光图像信息进行检测，标注出货物异常摆放部分在图像中位置并输出种类和概率信息；所述数据处理模块根据实时检测模块输出信息对图像进行处理，然后发送至终端显示模块；所述终端显示模块对检测结果进行可视化展示，所述无人机警报模块用于对货物异常摆放状况发出警报；所述无人机警报模块发出警报的形式包括文字、图像和声音中的一种或多种。

一种农产品仓储保鲜库内无人机巡检方法，包括如下步骤：

步骤1、按照无人机上设定好的路径规划指导无人机到达指定检测位置；

步骤2、通过图像信息采集模块获取农产品仓储保鲜库内指定检测位置处的图像信息，然后将图像信息输入至实时检测模块；

步骤3、针对农产品仓储保鲜库内可见光图像信息训练深度学习轻量化目标检测模型，并将模型部署在无人机上；

步骤4、实时检测模块通过目标检测模型对可见光图像信息进行实时目标检测，并将检测结果输出至数据处理模块；

步骤5、数据处理模块根据实时检测模块输出信息对图像进行处理，然后发送至终端显示模块。

作为本发明一种优选技术方案，所述步骤2中的图像信息采集模块包括相机。

作为本发明一种优选技术方案，所述步骤3具体包括如下步骤：

步骤3.1、获取多幅农产品仓储保鲜库内环境的可见光图像信息；

步骤3.2、针对农产品仓储保鲜库中不同的货物异常摆放类型，对可见光图像进行标注；

步骤3.3、将已标注的可见光传感器图像随机分组，分为训练组和验证组，并保证两组无重叠；

步骤3.4、将训练组数据依次输入深度学习目标检测网络模型，利用随机梯度下降法在服务器上进行训练，得到针对农产品仓储保鲜库内环境的深度学习目标检测模型，通过验证组对训练得到的模型进行评估，达到预期要求后即可得到农产品仓储保鲜库环境的深度学习目标检测模型；

步骤3.5、将训练好的目标检测模型部署在无人机上。

作为本发明一种优选技术方案，所述步骤3.2包括如下步骤：

步骤3.2.1、根据图像中异常摆放的货物数量占总货物数量的比例，定义货物异常摆放的三种类型：轻微异常摆放、一般异常摆放和严重异常摆放，若比例≤0.25，则认为是轻微异常摆放，若0.25≤比例＜0.75，则认为是一般异常摆放，若比例≥0.75，则认为是严重异常摆放；

步骤3.2.2、对图像进行标注，标注出货物异常摆放位置信息和种类信息；

步骤3.2.3、通过数据增强操作扩大数据集数量。

作为本发明一种优选技术方案，所述步骤3.4包括如下步骤：

步骤3.4.1、选择YOLOv5深度学习目标检测网络为基本框架；

步骤3.4.2、选择Ghost卷积模块作为主干特征提取网络，并加入卷积块注意力模块(Convolutional Block Attention Module,CBAM)；

步骤3.4.3、通过验证组对训练得到的模型进行评估，评估标准为：各类别AP的平均值(mean Average Precision，mAP)值不低于95％，其中，AP为平均检准率(AveragePrecision，AP)。

作为本发明一种优选技术方案，所述步骤4包括如下步骤：

步骤4.1、将可见光图像输入至目标检测模型；

步骤4.2、模型对可见光图像进行检测，输出异常摆放货物在图像中的位置信息、种类信息和概率信息；

步骤4.3、用矩形框将异常摆放货物在图像中位置进行标注。

本发明具有以下有益效果：

1、本发明有效解决了人工巡检存在工作危险性高、工作强度大的问题，能够做到全天候、全时段巡检。

2、本发明通过图像信息采集模块采集图像信息，经过深度学习目标检测模型后输出检测结果，包括货物异常摆放种类信息和概率信息，检测结果和图像信息发送至数据处理模块，经过处理后，输出到终端显示模块。可以使得巡检无人机实时识别货物异常摆放情况并分类，根据严重程度做出不同的警告决策，提高识别精度与工作速度。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的系统结构图。

图2是本发明的方法逻辑图。

图3是本发明的深度学习目标检测结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明一种农产品仓储保鲜库内无人机巡检系统，包括无人机检测系统和输出执行系统；所述无人机检测系统包括图像信息采集模块、模型训练模块、实时检测模块和数据处理模块，所述输出执行系统包括终端显示模块和无人机警报模块；

所述图像信息采集模块与实时检测模块连接，所述实时检测模块分别与模型训练模块和数据处理模块连接，所述数据处理模块与终端显示模块连接，所述终端显示模块与无人机警报模块连接；

所述图像信息采集模块用于获取农产品仓储保鲜库内指定检测位置处的图像信息，并将可见光图像信息输入至实时检测模块；所述模型训练模块对深度学习目标检测模型进行训练，得到部署在无人机上的轻量化目标检测模型；所述实时检测模块利用模型训练模块得到的目标检测模型对农产品仓储保鲜库内可见光图像信息进行检测，标注出货物异常摆放部分在图像中位置并输出种类和概率信息；所述数据处理模块根据实时检测模块输出信息对图像进行处理，然后发送至终端显示模块；所述终端显示模块对检测结果进行可视化展示，所述无人机警报模块用于对货物异常摆放状况发出警报；所述无人机警报模块发出警报的形式包括文字、图像和声音中的一种或多种。

实施例二

如图2所示，本发明一种农产品仓储保鲜库内无人机巡检方法，包括如下步骤：

步骤1、按照无人机上设定好的路径规划指导无人机到达指定检测位置；

步骤2、通过图像信息采集模块获取农产品仓储保鲜库内指定检测位置处的图像信息，然后将图像信息输入至实时检测模块；

步骤3、针对农产品仓储保鲜库内可见光图像信息训练深度学习轻量化目标检测模型，并将模型部署在无人机上；该步骤具体包括：

步骤3.1、获取多幅农产品仓储保鲜库内环境的可见光图像信息；

步骤3.2、针对农产品仓储保鲜库中不同的货物异常摆放类型，对可见光图像进行标注；该步骤主要包括：

步骤3.2.1、根据图像中异常摆放的货物数量占总货物数量的比例，定义货物异常摆放的三种类型：轻微异常摆放、一般异常摆放和严重异常摆放，若比例≤0.25，则认为是轻微异常摆放，若0.25≤比例＜0.75，则认为是一般异常摆放，若比例≥0.75，则认为是严重异常摆放；

步骤3.2.2、对图像进行标注，标注出货物异常摆放位置信息和种类信息；

步骤3.2.3、通过数据增强操作扩大数据集数量；

步骤3.3、将已标注的可见光传感器图像随机分组，分为训练组和验证组，并保证两组无重叠；

步骤3.4、将训练组数据依次输入深度学习目标检测网络模型，利用随机梯度下降法在服务器上进行训练，得到针对农产品仓储保鲜库内环境的深度学习目标检测模型，通过验证组对训练得到的模型进行评估，达到预期要求后即可得到农产品仓储保鲜库环境的深度学习目标检测模型；该步骤主要包括：

步骤3.4.1、选择YOLOv5深度学习目标检测网络为基本框架；

步骤3.4.2、选择Ghost卷积模块作为主干特征提取网络，并加入CBAM注意力机制；

步骤3.4.3、通过验证组对训练得到的模型进行评估，评估标准为：mAP值不低于95％。

步骤3.5、将训练好的目标检测模型部署在无人机上

步骤4、实时检测模块通过目标检测模型对可见光图像信息进行实时目标检测，并将检测结果输出至数据处理模块；该步骤主要包括：

步骤4.1、将可见光图像输入至目标检测模型；

步骤4.2、模型对可见光图像进行检测，输出异常摆放货物在图像中的位置信息、种类信息和概率信息；

步骤4.3、用矩形框将异常摆放货物在图像中位置进行标注；

步骤5、数据处理模块根据实时检测模块输出信息对图像进行处理，然后发送至终端显示模块。

具体的，所述步骤2中的图像信息采集模块包括相机。

实施例三

本发明的较佳实施例，提供了一种农产品仓储保鲜库内无人机巡检方法，该实施例的一种农产品仓储保鲜库内无人机巡检方法包括：传感器、处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如一种农产品仓储保鲜库内无人机巡检方法的程序，所述方法包括以下步骤：

步骤1：通过环境信息采集模块获取农产品仓储保鲜库的环境信息；

步骤2：针对农产品仓储保鲜库环境信息中的可见光图像信息训练深度学习目标检测模型；

步骤2.1：获取多幅农产品仓储保鲜库环境的可见光传感器图像信息；

步骤2.2：针对农产品仓储保鲜库中不同的环境，对可见光传感器图像进行标注；

步骤2.3：将已标注的可见光传感器图像随机分组，分为训练组和验证组，并保证两组无重叠。所述随机分组按照一定比例进行，当照片样本集合的照片数量不超过5000张时，按9:1的比例随机抽取待训练照片样本集合和验证照片样本集合，且随机抽取中尽量覆盖各个照片类别，当照片样本集合的照片数量超过5000张时，可根据实际情况适当增加比例；

步骤2.4：将训练组数据依次输入深度学习目标检测网络模型，利用随机梯度下降法进行训练，得到农产品仓储保鲜库环境的深度学习目标检测模型，通过验证组对训练得到的模型进行评估，达到预期要求后即可得到农产品仓储保鲜库环境的深度学习目标检测模型。所述目标检测模型可以使用YOLO系列目标检测模型。

步骤3：通过模型对可见光图像信息进行实时目标检测，并将检测结果输出；

步骤4：无人机物联网主控模块根据实时检测模块输出信息以及货物位置信息对无人机路径进行规划并将检测信息显示在终端显示模块。

示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述农产品仓储保鲜库巡检无人机检测货物异常摆放情况中的执行过程。例如，所述计算机程序可以被分割成环境信息采集模块、模型训练模块、实时检测模块、无人机物联网主控模块；各模块具体功能如下：

所述环境信息采集模块获取农产品仓储保鲜库环境信息，将其中的可见光传感器数据输入模型训练模块；

所述模型训练模块对深度学习目标检测模型进行训练，得到农产品仓储保鲜库环境目标检测模型；

所述实时检测模块利用模型训练模块得到的目标检测模型对农产品仓储保鲜库可见光图像信息进行检测，输出异常摆放情况种类和概率信息；

所述无人机物联网主控模块根据实时检测模块输出信息和货物位置信息指导无人机完成导航，并将检测信息显示在终端显示模块。

所述一种农产品仓储保鲜库内无人机巡检方法可包括，但不仅限于传感器、处理器、存储器。本领域技术人员可以理解，本实施例仅仅是对一种农产品仓储保鲜库内无人机巡检方法的示例，并不构成对所述一种农产品仓储保鲜库内无人机巡检方法的限定，可以包括比本实施例所述更多或更少的部件，或者组合某些部件，或者不同的部件。

所述传感器可以是二维激光雷达传感器、三维激光雷达传感器、毫米波雷达传感器、结构光传感器、深度传感器、超声波传感器、红外线测距传感器、可见光传感器、惯性测量单元传感器及陀螺仪。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述农产品仓储保鲜库内无人机巡检的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据装置的使用所创建的数据。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例提供的一种农产品仓储保鲜库内无人机巡检方法，通过传感器采集保鲜库环境信息，其中可见光图像信息经过深度学习目标检测模型识别后输出检测结果，包括货物异常摆放的种类信息和概率信息，经过无人机物联网主控模块处理后输出到终端显示模块，可以构建出货物异常摆放情况的可视化界面。可以使得巡检无人机实时识别货物异常摆放种类，根据严重程度做出不同的警告决策，提高识别精度与工作速度。

实施四

本实施例提供了一种农产品仓储保鲜库内无人机巡检系统，包括电子装置，所述电子装置与农产品仓储保鲜库内无人机终端设备连接，其特征在于：所述电子装置包括环境信息采集模块、模型训练模块、实时检测模块、无人机物联网主控模块；

所述环境信息采集模块获取农产品仓储保鲜库环境信息，将其中的可见光传感器数据输入模型训练模块；

所述模型训练模块对深度学习目标检测模型进行训练，得到农产品仓储保鲜库环境目标检测模型；

所述实时检测模块利用模型训练模块得到的目标检测模型对农产品仓储保鲜库可见光图像信息进行检测，输出异常摆放情况种类和概率信息；

所述无人机物联网主控模块根据实时检测模块输出信息和货物位置信息指导无人机完成导航，并将检测信息显示在终端显示模块。

所述电子装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序驱动相关的硬件完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本实施例提供的一种农产品仓储保鲜库内无人机巡检系统，通过传感器采集保鲜库环境信息，其中可见光图像信息经过深度学习目标检测模型识别后输出检测结果，包括货物异常摆放的种类信息和概率信息，经过无人机物联网主控模块处理后输出到终端显示模块，可以构建出货物异常摆放情况的可视化界面。可以使得巡检无人机实时识别货物异常摆放种类，根据严重程度做出不同的警告决策，提高识别精度与工作速度。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种农产品仓储保鲜库内无人机巡检系统，其特征在于，包括无人机检测系统和输出执行系统；所述无人机检测系统包括图像信息采集模块、模型训练模块、实时检测模块和数据处理模块，所述输出执行系统包括终端显示模块和无人机警报模块；

所述图像信息采集模块与实时检测模块连接，所述实时检测模块分别与模型训练模块和数据处理模块连接，所述数据处理模块与终端显示模块连接，所述终端显示模块与无人机警报模块连接；

所述图像信息采集模块用于获取农产品仓储保鲜库内指定检测位置处的图像信息，并将可见光图像信息输入至实时检测模块；所述模型训练模块对深度学习目标检测模型进行训练，得到部署在无人机上的轻量化目标检测模型；所述实时检测模块利用模型训练模块得到的目标检测模型对农产品仓储保鲜库内可见光图像信息进行检测，标注出货物异常摆放部分在图像中位置并输出种类和概率信息；所述数据处理模块根据实时检测模块输出信息对图像进行处理，然后发送至终端显示模块；所述终端显示模块对检测结果进行可视化展示，所述无人机警报模块用于对货物异常摆放状况发出警报。

2.根据权利要求1所述的一种农产品仓储保鲜库内无人机巡检系统，其特征在于，所述无人机警报模块发出警报的形式包括文字、图像和声音中的一种或多种。

3.一种农产品仓储保鲜库内无人机巡检方法，其特征在于，包括如下步骤：

步骤1、按照无人机上设定好的路径规划指导无人机到达指定检测位置；

步骤2、通过图像信息采集模块获取农产品仓储保鲜库内指定检测位置处的图像信息，然后将图像信息输入至实时检测模块；

步骤3、针对农产品仓储保鲜库内可见光图像信息训练深度学习轻量化目标检测模型，并将模型部署在无人机上；

步骤4、实时检测模块通过目标检测模型对可见光图像信息进行实时目标检测，并将检测结果输出至数据处理模块；

步骤5、数据处理模块根据实时检测模块输出信息对图像进行处理，然后发送至终端显示模块。

4.根据权利要求3所述的一种农产品仓储保鲜库内无人机巡检方法，其特征在于，所述步骤2中的图像信息采集模块包括相机。

5.根据权利要求3所述的一种农产品仓储保鲜库内无人机巡检方法，其特征在于，所述步骤3具体包括如下步骤：

步骤3.1、获取多幅农产品仓储保鲜库内环境的可见光图像信息；

步骤3.2、针对农产品仓储保鲜库中不同的货物异常摆放类型，对可见光图像进行标注；

步骤3.3、将已标注的可见光传感器图像随机分组，分为训练组和验证组，并保证两组无重叠；

步骤3.4、将训练组数据依次输入深度学习目标检测网络模型，利用随机梯度下降法在服务器上进行训练，得到针对农产品仓储保鲜库内环境的深度学习目标检测模型，通过验证组对训练得到的模型进行评估，达到预期要求后即可得到农产品仓储保鲜库环境的深度学习目标检测模型；

步骤3.5、将训练好的目标检测模型部署在无人机上。

6.根据权利要求5所述的一种农产品仓储保鲜库内无人机巡检方法，其特征在于，所述步骤3.2包括如下步骤：

步骤3.2.1、根据图像中异常摆放的货物数量占总货物数量的比例，定义货物异常摆放的三种类型：轻微异常摆放、一般异常摆放和严重异常摆放，若比例≤0.25，则认为是轻微异常摆放，若0.25≤比例＜0.75，则认为是一般异常摆放，若比例≥0.75，则认为是严重异常摆放；

步骤3.2.2、对图像进行标注，标注出货物异常摆放位置信息和种类信息；

步骤3.2.3、通过数据增强操作扩大数据集数量。

7.根据权利要求5所述的一种农产品仓储保鲜库内无人机巡检方法，其特征在于，所述步骤3.4包括如下步骤：

步骤3.4.1、选择YOLOv5深度学习目标检测网络为基本框架；

步骤3.4.2、选择Ghost卷积模块作为主干特征提取网络，并加入卷积块注意力模块；

步骤3.4.3、通过验证组对训练得到的模型进行评估，评估标准为：各类别平均检准率的平均值不低于95％。

8.根据权利要求3所述的一种农产品仓储保鲜库内无人机巡检方法，其特征在于，所述步骤4包括如下步骤：

步骤4.1、将可见光图像输入至目标检测模型；

步骤4.2、模型对可见光图像进行检测，输出异常摆放货物在图像中的位置信息、种类信息和概率信息；

步骤4.3、用矩形框将异常摆放货物在图像中位置进行标注。

Images