CN114115296A - 一种重点区域智能巡检与预警系统及方法 - Google Patents

Abstract

本发明公开了一种重点区域智能巡检与预警系统及方法，平台包括无人巡检车、智能预警平台、远程监控系统；无人巡检车通过导航定位模块和控制模块实现路径规划并完成自动巡检；智能预警平台中图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，将可见光与红外图像作为模型输入，进行目标的检测与识别；驱动伺服云台偏转使智能预警平台稳定跟踪目标；远程监控系统通过加解密通讯模块接收智能预警平台发送的预警信息，显示智能预警平台采集到的双光谱图像，并负责发送指令控制扬声喇叭报警与喊话，操纵智能预警平台的伺服云台对目标进行自动或手动跟踪。本发明实现了全天候复杂环境下对多目标的检测和识别，并能够对危险目标进行跟踪与预警。

Description

一种重点区域智能巡检与预警系统及方法

技术领域

本发明涉及安防技术领域，特别是一种重点区域智能巡检与预警系统及方法。

背景技术

安防人员为各行各业的从业人员带来了基本保障，安防行业也为国家经济发展提供了坚实基础。但长久以来，一些国家重点区域，如国家边境、机场禁飞区和石油石化高危作业区等，这些区域需要安防人员全天候把守，人工巡检效率低下，且巡检人员的安全也得不到保障。

随着科技的进步与发展，安防领域逐渐从传统的人力巡检的方式转变为机器自动化巡检，自动化巡检的引入极大程度上降低了安防人员的工作强度，同时提高了安保系统巡检效率，因此对重点区域部署智能巡查与预警系统具有重要意义。

目前已有的智能巡检方式主要包括无人机巡检、卫星遥感监测巡检和无人车巡检。专利CN113379941A公开了一种基于能源自治的无人机巡检系统及其巡检方法，但无人机巡检的续航时间受温度影响大，且在极端天气情况下无法保证无人机安全起飞与悬停；专利CN210534352U公开了一种基于卫星遥感图像的自然灾害风险监测装置，提供了一种卫星遥感监测方法，但该方法易受天气影响，且适用场景局限于开阔区域；专利CN113375019A公开了一种智能无人巡检车，提供了无人车巡检方式，但该设备配备固定式可见光摄像头，夜晚巡检较弱，且在巡逻作业时视野较局限，在目标出现时无法进行有效的跟踪与预警。王志翔的硕士学位论文“变电站智能巡检车的设计”（王志翔;变电站智能巡检车的设计[D];青岛大学;2019年）中设计了一种基于射频识别与超声波避障的无人巡检车，但该巡检车的云台设备仅存在上下平动和定轴旋转两个自由度的运动，实际场景中无法实现危险目标的有效跟踪。

发明内容

本发明的目的在于提供一种重点区域智能巡检与预警系统及方法，实现全天候复杂环境下对多目标的检测和识别，并对危险目标进行跟踪与预警。

实现本发明目的的技术解决方案为：一种重点区域智能巡检与预警系统，包括无人巡检车、智能预警平台、远程监控系统，其中：

所述无人巡检车，通过导航定位模块和控制模块实现路径规划并完成自动巡检，在低电量模式下触发自动充电模块完成自动充电；

所述智能预警平台，安装于无人巡检车上，且智能预警平台包括伺服云台、红外相机、可见光相机、激光测距仪、数据采集器、图像处理模块；可见光相机与红外相机获取的双光谱图像通过数据采集器传输至图像处理模块，图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，将可见光与红外图像作为模型输入，提取可见光与红外图像特征，进行危险目标的检测与识别；驱动伺服云台偏转使智能预警平台跟踪目标，实现对多目标的检测与识别；在发现危险目标后生成预警信息并发送至远程监控系统；

所述轻量化卷积神经网络模型由9个CBL模块、3个CSP单元、3个池化层组成；CBL模块由卷积层、批归一化层和Leaky-ReLU激活函数组成，批归一化层用于加快训练的收敛速度，Leaky-ReLU激活函数用于避免梯度消失的现象；

基于深度学习框架Pytorch搭建目标检测模型，使用coco数据集进行预训练，使用经过预训练的目标检测模型并结合自建图像数据集进行迭代训练，目标检测模型综合使用多个不同尺度的特征图进行预测，实现对不同尺度目标的检测与识别；

所述远程监控系统，通过加解密通讯模块接收智能预警平台发送的预警信息，显示智能预警平台采集到的双光谱图像，并负责发送指令控制扬声喇叭报警与喊话，操纵智能预警平台的伺服云台对目标进行自动或手动跟踪。

一种重点区域智能巡检与预警方法，基于所述的重点区域智能巡检与预警系统，具体包括以下步骤：

步骤1、操作人员根据实际需要，设定无人巡检车的巡检轨迹；无人巡检车在设定轨迹上进行往返移动，期间智能预警平台各设备保持上电运行，检测危险目标；

步骤2、智能预警平台通过20帧/秒的采集速率，将可见光相机与红外相机获取的双光谱图像通过数据采集器传输至图像处理模块，图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，进行危险目标的检测与识别，并获取目标类别与坐标；

步骤3、智能预警平台通过多目标跟踪算法预测危险目标位置，实现多目标跟踪，并通过跟踪算法获取目标编号，通过激光测距仪获取目标距离，并将目标类别、坐标、编号、距离等目标信息和图像通过第一加解密通讯模块发送至远程监控系统的第二加解密通讯模块；判断目标为危险目标且连续20帧存在于监控视野内后，图像处理模块向扬声喇叭发送预警指令，进行现场告警；

步骤4、操作人员在远程监控模块上对目标信息进行确认，如发生虚警则控制扬声喇叭解除告警，如确认为危险目标则通过远程监控模块控制智能预警平台进行自动或手动跟踪，保证目标在视场中心；

步骤5、若无人巡检车在巡检过程中电池电量低于20%，则触发无人巡检车的自动充电模块，无人巡检车自主行驶至最近充电桩处，完成自动充电。

本发明与现有技术相比，其显著优点为：（1）巡检平台通过设置路径规划以完成自主巡检功能，并运用平台上搭载的智能预警平台，将可见光和红外相机提供的图像进行优势互补，在全天候复杂环境下实现对多目标的检测、识别，并对危险目标进行跟踪与预警；（2）巡检车通过控制模块进行路径规划，由自动充电模块完成低电量模式下自动寻路充电，并由导航定位系统实现自主导航；（3）智能预警平台中的寒武纪图像处理模块，采用轻量化卷积神经网络模型作为目标检测器，将可见光与红外图像作为模型输入，同时提取可见光与红外图像特征，能够适应全时段及多种天气环境，实现对火灾场景、空中的小型无人机、地面车辆和行人等多类别目标的精确识别，并具有较好的实时性。

附图说明

图1为本发明重点区域智能巡检与预警系统的系统组成框图。

图2为本发明中的目标检测神经网络结构图。

图3为本发明中的目标跟踪算法结构图。

图4为本发明中智能预警平台主视图。

图5为智能预警平台伺服云台部分侧视图。

图6为智能预警平台监控设备部分正视图。

图7为本发明中的巡检车的正视图。

图8为本发明中的巡检车主视图。

图9为本发明中巡检车的俯视图。

图10为本发明中巡检车的侧视图。

图11为本发明中目标检测与跟踪示意图。

具体实施方式

结合图1~图11，本发明一种重点区域智能巡检与预警系统，包括无人巡检车、智能预警平台、远程监控系统，其中：

所述无人巡检车，通过导航定位模块和控制模块实现路径规划并完成自动巡检，在低电量模式下触发自动充电模块完成自动充电；

所述智能预警平台，安装于无人巡检车上，且智能预警平台包括伺服云台、红外相机、可见光相机、激光测距仪、数据采集器、图像处理模块；可见光相机与红外相机获取的双光谱图像通过数据采集器传输至图像处理模块，图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，将可见光与红外图像作为模型输入，提取可见光与红外图像特征，进行危险目标的检测与识别；驱动伺服云台偏转使智能预警平台跟踪目标，实现对多目标的检测与识别；在发现危险目标后生成预警信息并发送至远程监控系统；

所述轻量化卷积神经网络模型由9个CBL模块、3个CSP单元、3个池化层组成；CBL模块由卷积层、批归一化层和Leaky-ReLU激活函数组成，批归一化层用于加快训练的收敛速度，Leaky-ReLU激活函数用于避免梯度消失的现象；

基于深度学习框架Pytorch搭建目标检测模型，使用coco数据集进行预训练，使用经过预训练的目标检测模型并结合自建图像数据集进行迭代训练，目标检测模型综合使用多个不同尺度的特征图进行预测，实现对不同尺度目标的检测与识别；

所述远程监控系统，通过加解密通讯模块接收智能预警平台发送的预警信息，显示智能预警平台采集到的双光谱图像，并负责发送指令控制扬声喇叭报警与喊话，操纵智能预警平台的伺服云台对目标进行自动或手动跟踪。

作为一种具体实施例，所述无人巡检车包括供电模块、控制模块、自动充电模块和导航定位模块；无人巡检车的导航定位模块采用北斗差分导航精准定位，并通过控制模块进行路径规划，自定义路径进行自动巡检；在发现危险目标时及时调整车体朝向并停止行进，由智能预警平台进行危险目标跟踪任务；巡检车处于低电量模式时，触发自动充电模块，导航至最近充电装置处完成自动充电。

作为一种具体实施例，所述智能预警平台还包括第一加解密通讯模块和扬声喇叭；

所述数据采集器通过以太网口采集红外相机输出的红外图像数据、可见光相机输出的可见光图像数据，通过RS485串口采集激光测距仪输出的激光测距信息，并通过RS422串口采集伺服云台输出的伺服转台参数；

数据采集器将图像数据通过以太网口发送至图像处理模块，所述图像处理模块具体为国产寒武纪1H8嵌入式智能处理器；将激光测距信息通过RS422串口、伺服转台参数通过RS485串口分别发送至第一加解密通讯模块；

扬声喇叭通过内嵌式处理板进行信号接收、报警通知和现场语音，在接收到图像处理模块与远程监控系统发出的指令后发出或解除警报。

作为一种具体实施例，所述轻量化卷积神经网络模型，具体如下：

待检测图像作为第一标准卷积层的输入，第二标准卷积层、第一残差单元、第一池化层、第二残差单元、第二池化层、第三残差单元、第一连接层、第三池化层、第三标准卷积层、第四标准卷积层、第五标准卷积层、第六标准卷积层、第一卷积层、第一反卷积层、第二连接层、第七标准卷积层、第八标准卷积层、第二卷积层、第二反卷积层、第三连接层、第九标准卷积层、第三卷积层依次级联后输出特征图，用于预测目标位置、大小信息；

作为一种具体实施例，所述目标检测模型综合使用3个不同尺度的特征图进行预测，实现对不同尺度目标的检测与识别，3个特征图尺寸分别设置为13×13、26×26、52×52。

作为一种具体实施例，所述远程监控系统包括第二加解密通讯模块和远程监控模块，所述远程监控模块包括双光谱图像显示界面、扬声喇叭控制界面、云台设备控制界面和目标跟踪控制界面，远程监控模块负责显示智能预警平台采集到的双光谱图像，并发送指令控制扬声喇叭报警与喊话，操纵智能预警平台的伺服云台对目标进行自动或手动跟踪；远程监控模块采用多线程并行处理各设备需要交互的数据，并实现前端设备信息与远程操作人员在监控界面上的可视化实时交互。

本发明一种重点区域智能巡检与预警方法，基于所述的重点区域智能巡检与预警系统，具体包括以下步骤：

步骤1、操作人员根据实际需要，设定无人巡检车的巡检轨迹；无人巡检车在设定轨迹上进行往返移动，期间智能预警平台各设备保持上电运行，检测危险目标；

步骤2、智能预警平台通过20帧/秒的采集速率，将可见光相机与红外相机获取的双光谱图像通过数据采集器传输至图像处理模块，图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，进行危险目标的检测与识别，并获取目标类别与坐标；

步骤3、智能预警平台通过多目标跟踪算法预测危险目标位置，实现多目标跟踪，并通过跟踪算法获取目标编号，通过激光测距仪获取目标距离，并将目标类别、坐标、编号、距离等目标信息和图像通过第一加解密通讯模块发送至远程监控系统的第二加解密通讯模块；判断目标为危险目标且连续20帧存在于监控视野内后，图像处理模块向扬声喇叭发送预警指令，进行现场告警；

步骤4、操作人员在远程监控模块上对目标信息进行确认，如发生虚警则控制扬声喇叭解除告警，如确认为危险目标则通过远程监控模块控制智能预警平台进行自动或手动跟踪，保证目标在视场中心；

步骤5、若无人巡检车在巡检过程中电池电量低于20%，则触发无人巡检车的自动充电模块，无人巡检车自主行驶至最近充电桩处，完成自动充电。

作为一种具体实施例，步骤2中所述图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，进行危险目标的检测与识别，具体为：

步骤2.1、搭建轻量化卷积神经网络模型，该模型由9个CBL模块、3个CSP单元、3个池化层组成；CBL模块由卷积层、批归一化层和Leaky-ReLU激活函数组成，批归一化层用于加快训练的收敛速度，Leaky-ReLU激活函数用于避免梯度消失的现象；

将待检测图像作为第一标准卷积层的输入，第二标准卷积层、第一残差单元、第一池化层、第二残差单元、第二池化层、第三残差单元、第一连接层、第三池化层、第三标准卷积层、第四标准卷积层、第五标准卷积层、第六标准卷积层、第一卷积层、第一反卷积层、第二连接层、第七标准卷积层、第八标准卷积层、第二卷积层、第二反卷积层、第三连接层、第九标准卷积层、第三卷积层依次级联后输出特征图，用于预测目标位置、大小信息；

步骤2.2、基于深度学习框架Pytorch搭建目标检测模型，使用coco数据集进行预训练，使用经过预训练的目标检测模型并结合自建图像数据集进行迭代训练，目标检测模型综合使用3个不同尺度的特征图进行预测，实现对不同尺度目标的检测与识别，3个特征图尺寸分别设置为13×13、26×26、52×52。

作为一种具体实施例，步骤3所述智能预警平台通过多目标跟踪算法预测危险目标位置，实现多目标跟踪，具体为图像处理模块采用deepsort算法进行目标跟踪并进行预警指令的发出，具体如下：

步骤3.1、输入步骤2得到的检测与识别结果，同时进行卡尔曼滤波预测，生成跟踪框；

步骤3.2、运用匈牙利算法将卡尔曼滤波预测后的跟踪框和当前帧中的检测框进行匹配，包括级联匹配和IOU匹配；

步骤3.3、运用卡尔曼滤波对预测结果进行更新，生成新的跟踪框；

步骤3.4、重复步骤3.2和步骤3.3，进行多目标跟踪。

作为一种具体实施例，所述第一加解密通讯模块、第二加解密通讯模块，对数据进行捕获、过滤、加密和标记，识别出伪造、被篡改、被破坏或不完整的数据包，对通信前端输出节点的数据进行加密，对通信后端节点的数据进行解密，确保数据在整个通信过程中均为加密状态；

第一加解密通讯模块、第二加解密通讯模块支持RS422和RS485串口通讯、以太网通讯和无线网络通讯形式；

第一加解密通讯模块用于图像数据、激光测距信息、伺服转台参数和云台控制指令的传输，通过以太网接收图像数据，通过RS485和RS422串口接收激光测距信息和伺服转台参数，并将这些数据通过无线网络加密后发送到远程监控系统的第二加解密通讯模块，将远程监控模块生成的云台控制指令发送到伺服云台。

作为一种具体实施例，所述远程监控模块包括双光谱图像显示界面、扬声喇叭控制界面、云台设备控制界面和目标跟踪控制界面；

所述云台设备控制界面设置以下两种控制指令：

1）通过监控软件直接手动控制伺服转台，包括向上、向下、向左、向右、左上、左下、右上、右下八种指令；

2）根据所跟踪目标的位置，设置伺服转台的俯仰角和偏航角参数自动控制云台转动；

所述目标跟踪控制界面设置以下两种控制命令：

1）开启手动跟踪指令，操作人员在双光谱图像显示界面中手动框选目标，在识别出框中目标后发送云台控制指令控制云台进行跟踪；

2）开启自动跟踪指令，通过计算选择视野中威胁度最高的目标，发送指令控制伺服云台进行跟踪。

下面结合附图及具体实施例对本发明做进一步详细说明。

实施例

本实施例一种重点区域智能巡检与预警系统，

所述无人巡检车包括供电模块、控制模块、自动充电模块和导航定位模块。巡检车通过控制模块进行路径规划，由自动充电模块完成低电量模式下自动寻路充电，并由导航定位系统实现自主导航。图4为本发明中智能预警平台主视图，图5为智能预警平台伺服云台部分侧视图，图6为智能预警平台监控设备部分正视图。

所述智能预警平台包括伺服转台、激光测距传感器、红外相机和可见光相机、云台控制软件；其中，可见光与红外相机负责捕获图像数据，激光测距传感器负责获取目标距离信息。图7为本发明中的巡检车的正视图，图8为本发明中的巡检车主视图，图9为本发明中巡检车的俯视图，图10为本发明中巡检车的侧视图。

进一步的，所述数据采集模块通过以太网口采集红外图像数据与可见光图像数据，通过RS485串口采集激光测距信息，通过RS422串口采集伺服转台参数；

进一步的，所述图像处理模块采用轻量化卷积神经网络结构作为目标检测器，将可见光与红外图像作为模型输入，同时提取可见光与红外图像特征，以适应全时段及多种天气环境，目标检测模型的结构图如图2所示，具体为下：

步骤一、搭建轻量化卷积神经网络模型。该模型由拥有9个CBL模块、3个CSP单元、3个池化层组成。CBL模块由卷积层、批归一化层和Leaky-ReLU激活函数组成。批归一化层可以加快训练的收敛速度，而Leaky-ReLU的激活函数可以避免梯度消失的现象，进一步提升网络性能。Leaky-ReLU激活函数如下式所示:

步骤二、将待检测图像作为第一层标准卷积层的输入，第二标准卷积层、第一残差单元、第一池化层、第二残差单元、第二池化层、第三残差单元、第一连接层、第三池化层、第三标准卷积层、第四标准卷积层、第五标准卷积层、第六标准卷积层、第一卷积层、第一反卷积层、第二连接层、第七标准卷积层、第八标准卷积层、第二卷积层、第二反卷积层、第三连接层、第九标准卷积层、第三卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小信息。

步骤三、基于深度学习框架Pytorch按步骤一所述网络结构搭建目标检测模型，使用coco数据集进行预训练，使用经过预训练的模型并结合自建图像数据集进行迭代训练，模型综合使用3个不同尺度的特征图进行预测，以实现对不同尺度目标的检测与识别，3个特征图尺寸分别设置为13×13、26×26、52×52。

表1 轻量化目标检测与识别模型对比

表1为本发明改进后的目标检测网络与传统网络性能的对比，所设计的multi-YOLO网络在COCO数据集上的精度相比其他模型大幅度提升，当模型的输入尺寸为320×320时，multi-YOLO在NVIDIA 1080Ti GPU中的推理速度为250帧每秒(Frames Per Second,FPS)，在寒武纪1H8嵌入式智能处理器上的推理速度为41FPS。

本发明针对空中的小型无人机、地面车辆和行人等目标构建了自定义数据集进行模型训练，为进一步增强对小目标的识别能力，本发明将multi-YOLO模型的输入大小调整为416×416，调整后模型在自定义数据集上的均值AP为81.7%，在寒武纪1H8嵌入式智能处理器上的推理速度为25FPS，满足实时性要求。

进一步的，寒武纪图像处理模块采用deepsort算法进行目标跟踪并进行预警指令的发出，目标跟踪模型的结构图如图3所示，主要分为以下步骤：

步骤一、输入检测结果，同时进行卡尔曼滤波预测，生成跟踪框；

步骤二、运用匈牙利算法将卡尔曼滤波预测后的跟踪框和当前帧中的检测框进行匹配，包括级联匹配和IOU匹配；

步骤三、运用卡尔曼滤波对预测结果进行更新，生成新的跟踪框；

步骤四、重复步骤二和步骤三，进行多目标跟踪。

进一步的、将寒武纪图像处理模块处理后获得的目标信息、伺服转台参数与激光测距信息通过加密通讯模块加密后传输至远程监控系统；

进一步的、数据通过解密通讯模块解密后传至远程监控软件，软件界面展示信息，包括显示红外与可见光图像、目标情报信息和伺服转台的设备参数，并进行可视化交互。

进一步的、根据操作人员选择的目标跟踪方式，进行手动或自动跟踪；

进一步的、根据监控软件发送的指令，控制伺服转台转动，具体为下：

1）通过监控软件直接手动控制伺服转台，包括向上、向下、向左、向右、左上、左下、右上、右下八种指令；

2）根据所跟踪目标的位置，设置伺服转台的俯仰角和偏航角参数自动控制云台转动。图6为本发明中目标检测与跟踪示意图，设备对场景内目标进行实时检测与测距，如发现危险目标且测距距离低于各类目标安全距离的阈值，则将该目标标记为危险目标于监控界面中显示，同时向扬声喇叭发送预警指令。

进一步的、根据监控软件发出的预警指令，控制扬声喇叭发出警报与远程喊话警戒。

综上所述，本发明巡检平台通过设置路径规划以完成自主巡检功能，并运用平台上搭载的智能预警平台，将可见光和红外相机提供的图像进行优势互补，在全天候复杂环境下实现对多目标的检测、识别，并对危险目标进行跟踪与预警；巡检车通过控制模块进行路径规划，由自动充电模块完成低电量模式下自动寻路充电，并由导航定位系统实现自主导航；智能预警平台中的寒武纪图像处理模块，采用轻量化卷积神经网络模型作为目标检测器，将可见光与红外图像作为模型输入，同时提取可见光与红外图像特征，能够适应全时段及多种天气环境，实现对火灾场景、空中的小型无人机、地面车辆和行人等多类别目标的精确识别，并具有较好的实时性。

Claims (10)

1.一种重点区域智能巡检与预警系统，其特征在于，包括无人巡检车、智能预警平台、远程监控系统，其中：

所述无人巡检车，通过导航定位模块和控制模块实现路径规划并完成自动巡检，在低电量模式下触发自动充电模块完成自动充电；

所述智能预警平台，安装于无人巡检车上，且智能预警平台包括伺服云台、红外相机、可见光相机、激光测距仪、数据采集器、图像处理模块；可见光相机与红外相机获取的双光谱图像通过数据采集器传输至图像处理模块，图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，将可见光与红外图像作为模型输入，提取可见光与红外图像特征，进行危险目标的检测与识别；驱动伺服云台偏转使智能预警平台跟踪目标，实现对多目标的检测与识别；在发现危险目标后生成预警信息并发送至远程监控系统；

所述轻量化卷积神经网络模型由9个CBL模块、3个CSP单元、3个池化层组成；CBL模块由卷积层、批归一化层和Leaky-ReLU激活函数组成，批归一化层用于加快训练的收敛速度，Leaky-ReLU激活函数用于避免梯度消失的现象；

基于深度学习框架Pytorch搭建目标检测模型，使用coco数据集进行预训练，使用经过预训练的目标检测模型并结合自建图像数据集进行迭代训练，目标检测模型综合使用多个不同尺度的特征图进行预测，实现对不同尺度目标的检测与识别；

所述远程监控系统，通过加解密通讯模块接收智能预警平台发送的预警信息，显示智能预警平台采集到的双光谱图像，并负责发送指令控制扬声喇叭报警与喊话，操纵智能预警平台的伺服云台对目标进行自动或手动跟踪。

2.根据权利要求1所述的重点区域智能巡检与预警系统，其特征在于，所述无人巡检车包括供电模块、控制模块、自动充电模块和导航定位模块；无人巡检车的导航定位模块采用北斗差分导航精准定位，并通过控制模块进行路径规划，自定义路径进行自动巡检；在发现危险目标时及时调整车体朝向并停止行进，由智能预警平台进行危险目标跟踪任务；巡检车处于低电量模式时，触发自动充电模块，导航至最近充电装置处完成自动充电。

3.根据权利要求1所述的重点区域智能巡检与预警系统，其特征在于，所述智能预警平台还包括第一加解密通讯模块和扬声喇叭；

所述数据采集器通过以太网口采集红外相机输出的红外图像数据、可见光相机输出的可见光图像数据，通过RS485串口采集激光测距仪输出的激光测距信息，并通过RS422串口采集伺服云台输出的伺服转台参数；

数据采集器将图像数据通过以太网口发送至图像处理模块，所述图像处理模块具体为嵌入式智能处理器；将激光测距信息通过RS422串口、伺服转台参数通过RS485串口分别发送至第一加解密通讯模块；

扬声喇叭通过内嵌式处理板进行信号接收、报警通知和现场语音，在接收到图像处理模块与远程监控系统发出的指令后发出或解除警报。

4.根据权利要求1所述的重点区域智能巡检与预警系统，其特征在于，所述轻量化卷积神经网络模型，具体为：

待检测图像作为第一标准卷积层的输入，第二标准卷积层、第一残差单元、第一池化层、第二残差单元、第二池化层、第三残差单元、第一连接层、第三池化层、第三标准卷积层、第四标准卷积层、第五标准卷积层、第六标准卷积层、第一卷积层、第一反卷积层、第二连接层、第七标准卷积层、第八标准卷积层、第二卷积层、第二反卷积层、第三连接层、第九标准卷积层、第三卷积层依次级联后输出特征图，用于预测目标位置、大小信息。

5.根据权利要求3所述的重点区域智能巡检与预警系统，其特征在于，所述远程监控系统包括第二加解密通讯模块和远程监控模块，所述远程监控模块包括双光谱图像显示界面、扬声喇叭控制界面、云台设备控制界面和目标跟踪控制界面，远程监控模块负责显示智能预警平台采集到的双光谱图像，并发送指令控制扬声喇叭报警与喊话，操纵智能预警平台的伺服云台对目标进行自动或手动跟踪；远程监控模块采用多线程并行处理各设备需要交互的数据，并实现前端设备信息与远程操作人员在监控界面上的可视化实时交互。

6.一种重点区域智能巡检与预警方法，其特征在于，基于权利要求1~5任一项所述的重点区域智能巡检与预警系统，具体包括以下步骤：

步骤1、操作人员根据实际需要，设定无人巡检车的巡检轨迹；无人巡检车在设定轨迹上进行往返移动，期间智能预警平台各设备保持上电运行，检测危险目标；

步骤2、智能预警平台通过20帧/秒的采集速率，将可见光相机与红外相机获取的双光谱图像通过数据采集器传输至图像处理模块，图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，进行危险目标的检测与识别，并获取目标类别与坐标；

步骤3、智能预警平台通过多目标跟踪算法预测危险目标位置，实现多目标跟踪，并通过跟踪算法获取目标编号，通过激光测距仪获取目标距离，并将目标类别、坐标、编号、距离等目标信息和图像通过第一加解密通讯模块发送至远程监控系统的第二加解密通讯模块；判断目标为危险目标且连续20帧存在于监控视野内后，图像处理模块向扬声喇叭发送预警指令，进行现场告警；

步骤4、操作人员在远程监控模块上对目标信息进行确认，如发生虚警则控制扬声喇叭解除告警，如确认为危险目标则通过远程监控模块控制智能预警平台进行自动或手动跟踪，保证目标在视场中心；

步骤5、若无人巡检车在巡检过程中电池电量低于20%，则触发无人巡检车的自动充电模块，无人巡检车自主行驶至最近充电桩处，完成自动充电。

7.根据权利要求6所述的重点区域智能巡检与预警方法，其特征在于，步骤2中所述图像处理模块采用轻量化卷积神经网络模型作为目标检测模型，进行危险目标的检测与识别，具体为：

步骤2.1、搭建轻量化卷积神经网络模型，该模型由9个CBL模块、3个CSP单元、3个池化层组成；CBL模块由卷积层、批归一化层和Leaky-ReLU激活函数组成，批归一化层用于加快训练的收敛速度，Leaky-ReLU激活函数用于避免梯度消失的现象；

将待检测图像作为第一标准卷积层的输入，第二标准卷积层、第一残差单元、第一池化层、第二残差单元、第二池化层、第三残差单元、第一连接层、第三池化层、第三标准卷积层、第四标准卷积层、第五标准卷积层、第六标准卷积层、第一卷积层、第一反卷积层、第二连接层、第七标准卷积层、第八标准卷积层、第二卷积层、第二反卷积层、第三连接层、第九标准卷积层、第三卷积层依次级联后输出特征图，用于预测目标位置、大小信息；

步骤2.2、基于深度学习框架Pytorch搭建目标检测模型，使用coco数据集进行预训练，使用经过预训练的目标检测模型并结合自建图像数据集进行迭代训练，目标检测模型综合使用3个不同尺度的特征图进行预测，实现对不同尺度目标的检测与识别，3个特征图尺寸分别设置为13×13、26×26、52×52。

8.根据权利要求6所述的重点区域智能巡检与预警方法，其特征在于，步骤3所述智能预警平台通过多目标跟踪算法预测危险目标位置，实现多目标跟踪，具体为图像处理模块采用deepsort算法进行目标跟踪并进行预警指令的发出，具体如下：

步骤3.1、输入步骤2得到的检测与识别结果，同时进行卡尔曼滤波预测，生成跟踪框；

步骤3.2、运用匈牙利算法将卡尔曼滤波预测后的跟踪框和当前帧中的检测框进行匹配，包括级联匹配和IOU匹配；

步骤3.3、运用卡尔曼滤波对预测结果进行更新，生成新的跟踪框；

步骤3.4、重复步骤3.2和步骤3.3，进行多目标跟踪。

9.根据权利要求6所述的重点区域智能巡检与预警方法，其特征在于，所述第一加解密通讯模块、第二加解密通讯模块，对数据进行捕获、过滤、加密和标记，识别出伪造、被篡改、被破坏或不完整的数据包，对通信前端输出节点的数据进行加密，对通信后端节点的数据进行解密，确保数据在整个通信过程中均为加密状态；

第一加解密通讯模块、第二加解密通讯模块支持RS422和RS485串口通讯、以太网通讯和无线网络通讯形式；

第一加解密通讯模块用于图像数据、激光测距信息、伺服转台参数和云台控制指令的传输，通过以太网接收图像数据，通过RS485和RS422串口接收激光测距信息和伺服转台参数，并将这些数据通过无线网络加密后发送到远程监控系统的第二加解密通讯模块，将远程监控模块生成的云台控制指令发送到伺服云台。

10.根据权利要求6所述的重点区域智能巡检与预警方法，其特征在于，所述远程监控模块包括双光谱图像显示界面、扬声喇叭控制界面、云台设备控制界面和目标跟踪控制界面；

所述云台设备控制界面设置以下两种控制指令：

1）通过监控软件直接手动控制伺服转台，包括向上、向下、向左、向右、左上、左下、右上、右下八种指令；

2）根据所跟踪目标的位置，设置伺服转台的俯仰角和偏航角参数自动控制云台转动；

所述目标跟踪控制界面设置以下两种控制命令：

1）开启手动跟踪指令，操作人员在双光谱图像显示界面中手动框选目标，在识别出框中目标后发送云台控制指令控制云台进行跟踪；

2）开启自动跟踪指令，通过计算选择视野中威胁度最高的目标，发送指令控制伺服云台进行跟踪。

Images