CN113409484A - 一种智能勘灾系统 - Google Patents

Abstract

本发明实施例提供了一种智能勘灾系统，应用于巡检技术领域，智能勘灾系统包括智能勘灾装置、图像采集装置以及外接显示屏，智能勘灾装置包括外设接口、通信模块、储存模块、供电模块以及计算模块，智能勘灾装置通过外设接口与图像采集装置连接，图像采集装置包括无人机以及车载摄像头，图像采集装置用于采集待勘灾位置的视频图像，并将视频图像发送至智能勘灾装置，智能勘灾装置用于通过计算模块，在待勘灾位置的视频图像中，通过预先存储的目标图像检测出待检测目标，在待勘灾位置的视频图像中标记待检测目标，生成标记后的视频图像，向用户展示标记后的视频图像。本申请公开的智能勘灾装置功能强大、用途广泛、应用灵活性强。

Description

一种智能勘灾系统

技术领域

本发明涉及巡检技术领域，特别是涉及一种智能勘灾系统。

背景技术

电力传输依赖大规模线路网络，当发生自然灾害时，电网容易受影响而导致停电事故。灾后，高效、快速地进行灾情勘测对抢修复电以及保障电网的安全稳定运行极其重要。

随着无人机、车载摄像头等多种前端采集工具的普及，将前端采集到的图像数据回传至后端平台进行精细化智能分析的模式，成为了电力线路日常巡检的主要方式。但该模式高度依赖通信条件，在灾后现场通信条件差的情况下明显不适用。

针对这个问题，市面上出现了无人机机载的前端微型图像处理装置，但受限于装置硬件的算力资源，绝大部分仅仅能对图片进行简单的预识别，无法进行更精细化的图像分析，也无法自动整理数据；而且该类设备需要挂载在特定型号的无人机之上，增加无人机的重量，制约无人机飞控性能，影响续航能力，更无法与车载摄像头等其他前端采集设备像搭配使用，用途单一。

发明内容

本发明实施例提供一种智能勘灾系统，以解决现有的前端图像处理装置功能弱小、用途单一、应用灵活性低下的问题，本发明包括：

一种智能勘灾系统，所述智能勘灾系统包括智能勘灾装置、图像采集装置以及外接显示屏，所述智能勘灾装置包括外设接口、通信模块、储存模块、供电模块以及计算模块，所述计算模块分别与所述外设接口、通信模块、储存模块以及供电模块连接，所述智能勘灾装置通过所述外设接口与所述图像采集装置连接；

所述图像采集装置用于采集待勘灾位置的视频图像，并将所述视频图像发送至所述智能勘灾装置；

所述智能勘灾装置用于通过所述计算模块，在所述待勘灾位置的视频图像中，通过预先存储的目标图像检测出待检测目标；在所述待勘灾位置的视频图像中标记所述待检测目标，生成标记后的视频图像；通过外接显示屏向用户展示所述标记后的视频图像。

可选地，所述计算模块包括中央处理器以及用于深度学习的加速卡；

所述中央处理器用于对所述待勘灾位置的视频图像进行解码取帧，并得到多个帧图像，通过目标检测模型分别对所述多个帧图像进行目标检测，当检测到目标对象时用方框和编号标记目标对象，并运行状态识别模型，对所述目标对象的状态进行逻辑判断，生成包含状态判断结果的勘灾结果数据，并将所述勘灾结果数据通过所述外设接口输出到显示屏；

所述加速卡用于对所述目标检测模型和状态识别模型的神经网络进行加速计算。

可选地，所述外设接口包括高清多媒体接口。

可选地，所述图像采集装置为无人机上的图像采集装置，所述无人机与无人机遥控装置通过无线方式连接，所述智能勘灾装置与无人机遥控装置连接，所述无人机遥控装置通过所述高清多媒体接口连接所述智能勘灾装置。

可选地，所述外设接口还包括通用串行总线接口、视频图像阵列接口、柔性扁平线缆接口。

可选地，所述图像采集装置包括车载摄像头，所述车载摄像头通过所述通用串行总线接口连接所述智能勘灾装置。

可选地，所述供电模块上设有电源接口，外部电源可通过通用串行总线接口转接所述电源接口，为所述智能勘灾装置提供5V直流电压输入。

可选地，所述智能勘灾装置还包括存储模块，在统计所述待检测目标以及所述待检测目标的状态成文件格式的勘灾结果数据后，所述存储模块用于存储所述勘灾结果数据。

可选地，所述存储模块还包括可插入的安全数码卡。

可选地，所述智能勘灾装置还包括通信模块。

本发明具有以下优点：

1、本发明不涉及对于前端图像采集工具的任何改造，即插即用，成本低廉；

2、本发明配备了高性能的计算模块，计算模块内搭载了高准确度的目标检测模型以及状态判断模型，可在现场实时、快速地识别、判断目标对象的受灾情况；

3、本发明可实现在勘灾现场实时生成勘灾结果数据，而无需将图像数据回传到后台分析，适用于灾后通信条件较差的情景，提高了勘灾效率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种智能勘灾系统的结构示意图；

图2是本发明一实施例提供的一种智能勘灾装置搭配无人机的结构示意图；

图3是本发明一实施例提供的一种智能勘灾装置搭配车载的结构示意图；

图4是本发明一实施例提供的一种智能勘灾装置勘灾过程的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

电力传输依赖大规模线路网络，当发生自然灾害时，电网容易受影响而导致停电事故。灾后，高效、快速地进行灾情勘测对抢修复电以及保障电网的安全稳定运行极其重要。随着无人机技术的发展和普及，利用无人机进行输电线路的巡检勘测已经成为替代人工巡检的有效方案，而传统无人机巡检的工作模式高度依赖人工操作巡检和整理数据，难以满足勘灾现场保证应急响应的快速性要求。

最近相似方案：《一种基于边缘计算的无人机巡检系统及其巡检方法》申请号202010197746.1，公布号为CN111522355A。

此方案中，无人机通过实时传输系统与地面站实时连接，无人机底部固定有微型图像处理装置，摄像头固定在无人机底部且与无人机的控制系统电性连接，微型图像处理装置包括壳体，壳体内设有GPU图像处理器和数据储存模块。通过搭载微型图像处理装备的无人机可以降低图片无线传输带来的时间损耗，通过GPU图像处理器对图片故障的预识别可以降低地面站图像处理的压力，正常的图像无需传输至地面服务站，解决了现有的无人机巡检系统频次过大和图片传输耗时较久的问题。

但是，无人机机载微型图像处理装置仅仅能对图片进行预识别，更精细化的图像分析仍然需要回传到地面端进行处理，无法自动整理数据；无人机机载前端图像处理装置会制约无人机飞控性能，影响续航能力，提高造价；前端图像的智能识别高度依赖无人机厂商的定制化产品，不具备多种应用模式。

为了解决上述问题，参照图1，示出了本发明一实施例提供的一种智能勘灾系统的结构示意图，该智能勘灾系统包括智能勘灾装置、图像采集装置以及外接显示屏，该智能勘灾装置包括外设接口、通信模块、储存模块、供电模块以及计算模块，所述计算模块分别与所述外设接口、通信模块、储存模块以及供电模块连接，所述智能勘灾装置通过所述外设接口与图像采集装置连接；

所述图像采集装置用于采集待勘灾位置的视频图像，并将所述视频图像发送至所述智能勘灾装置；

所述智能勘灾装置用于通过所述计算模块，在所述待勘灾位置的视频图像中，通过预先存储的目标图像检测出待检测目标；在所述待勘灾位置的视频图像中标记所述待检测目标，生成标记后的视频图像；通过外接显示屏向用户展示所述标记后的视频图像。

在本申请一实施例中，所述计算模块包括中央处理器以及用于深度学习的加速卡；

所述图像采集装置通过所述外设接口将采集的待勘灾位置的视频图像发送至所述计算模块，所述中央处理器对所述待勘灾位置的视频图像进行解码取帧，并得到多个帧图像，通过目标检测模型分别对所述多个帧图像进行目标检测，当检测到目标对象时用方框和编号标记目标对象，并运行状态识别模型，对所述目标对象的状态进行逻辑判断，生成包含状态判断结果的勘灾结果数据，并将所述勘灾结果数据通过所述外设接口输出到所述显示屏，同时以文件格式保存至所述存储模块；

所述计算模块集成了基于深度学习的目标检测和自动识别算法，对外界输入的视频流进行图像处理、目标检测、编号跟踪、状态识别，输出勘灾结果，进而完成勘灾数据的自动整理和统计。

所述加速卡用于对所述目标检测模型和状态识别模型的神经网络进行加速计算，进而满足勘灾应用场景高性能、低功耗、低延时的需求，在对无人机或车载摄像头等图像采集工具采集的视频流进行数据处理时，通过加速卡，可以支持处理高至1080p的视频流，具有50帧/秒的处理能力，最小能对60×60像素的目标进行检测和识别。

在本申请一实施例中，外设接口包括高清多媒体接口，不限于高清多媒体接口，目前市面上普遍使用的物理接口为HDMI(High Definition Multimedia Interface)，即高清晰度多媒体接口，外设接口包括高清多媒体接口适用于目前市面上普遍使用的图像采集装置。例如，目前市面上普遍使用的无人机，无论工业级无人机还是消费级无人机，其遥控器上常用的物理接口为HDMI，本申请的一种智能勘灾装置只需通过高清多媒体接口即可从无人机遥控装置中获取无人机采集的视频图像，无需再做其它格式的转换，适用于目前市面上普遍使用的无人机类型。

参照图2，示出了本发明一实施例提供的一种智能勘灾装置搭配无人机的结构示意图，图像采集装置为无人机上的图像采集装置，无人机与无人机遥控装置通过无线方式连接，智能勘灾装置与无人机遥控装置连接，无人机遥控装置通过高清多媒体接口连接智能勘灾装置。

在本申请一实施例中，所述外设接口还包括但不限于通用串行总线接口、视频图像阵列接口、柔性扁平线缆接口、以太网口，方便智能勘灾装置与不同的装置设备进行连接，进而使得智能勘灾装置的应用灵活性强。如，外接摄像头通过FFC软排线或USB接口连接智能勘灾装置，进行视频数据采集；外接显示屏，通过HDMI或VGA线连接勘灾设备，实时显示标记和编号后的目标对象及其状态判断等现场勘灾结果。

参照图3，示出了本发明一实施例提供的一种智能勘灾装置搭配车载的结构示意图，图像采集装置包括车载摄像头，车载摄像头通用串行总线接口连接所述智能勘灾装置。

在本申请一实施例中，所述智能勘灾装置还包括供电模块，所述供电模块上设有电源接口，外部电源可通过通用串行总线接口转接所述电源接口，为该智能勘灾装置提供5V直流电压输入。如，车辆提供USB接口，通过USB转DC5V线给智能勘灾装置供电。

在本申请一实施例中，所述智能勘灾装置还包括存储模块，可插入的安全数码卡，用于存储勘灾过程所统计的检测目标个数、编号、状态、图片等勘灾结果数据，并比形成可读取和拷贝的文件格式。

在本申请一实施例中，所述智能勘灾装置还包括通信模块，可第一时间发送所述勘灾结果数据至应急指挥中心，以便专家快速做出灾情评估和上级部门调度资源开展应急抢修工作。

参照图4，示出了本发明一实施例提供的一种智能勘灾系统勘灾过程的流程示意图，所述智能勘灾系统勘灾过程包括以下步骤：

步骤SS01，前端图像采集工具采集勘灾现场视频流；

当使用无人机作为前端图像采集工具时，启动无人机飞往目标勘灾现场，无人机机载云台相机采集现场视频图像，通过无人机图传系统传回无人机遥控装置；当使用车载摄像头作为前端图像采集工具时，启动车辆在勘灾现场沿路行驶，安装在车辆顶端车载摄像头采集现场视频图像；

步骤SS02，智能勘灾装置通过外设接口获取视频流；

当使用无人机作为前端图像采集工具时，智能勘灾装置利用HDMI线从无人机遥控装置获取无人机航拍返回的视频流；当使用车载摄像头作为前端图像采集工具时，智能勘灾装置利用FFC软排线直接连接车载摄像头，获取勘灾现场视频流；

步骤SS03，计算模块解码取帧，获取图像；

智能勘灾装置通过外设接口取得勘灾现场视频流后，通过计算模块将视频流解码成图片帧，方便后续运行目标检测模型和状态识别模型进行勘灾目标的检测与识别；

步骤SS04，图像预处理；

为方便目标检测模型和状态识别模型的有效运行，对每一帧图像进行预处理操作，包括：图像大小调整，比例缩放，裁剪填充等，使得输入图像满足目标检测模型和状态识别模型的输入要求；

步骤SS05，深度学习目标检测；

经预处理后的单帧图像输入目标检测模型，加速卡对目标检测模型的神经网络进行并行计算从而加速整个目标检测过程，判断是否存在目标对象，若是则用方框和编号标记目标对象，若否则检测下一帧图像，直到视频流中的每帧图像全部检测完毕；

步骤SS06，目标状态判断；

经标记后的单帧图像提取出目标对象区域，输入状态识别模型，加速卡对状态识别模型的神经网络进行并行计算从而加速整个状态识别过程，判断目标对象的状态类型，如正常、受损或故障，将目标图像保存，并继续下一帧图像的状态识别；

步骤SS07，统计目标总体情况，输出勘灾结果。

当检测完视频流中的所有帧图像后，根据目标检测和状态识别结果，统计目标对象的总个数和目标对象各状态类型的个数，输出统计结果数据成文件格式，保存至存储模块，智能勘灾设备通过外设接口连接外部显示屏显示整个勘灾结果。

综上，本申请公开了一种智能勘灾系统，包括外设接口、通信模块、储存模块、供电模块以及计算模块，可灵活搭配无人机、车载摄像头等多种前端图像采集工具使用，并将勘灾结果数据输出到显示屏展示。智能勘灾系统通过外设接口连接前端图像采集工具和外部显示设备，前端图像采集工具用于采集待勘灾位置的视频图像，将待勘灾位置的视频图像通过外设接口发送至计算模块，计算模块用于在待勘灾位置的视频图像中，通过目标检测模型进行目标检测，生成标记后的视频图像，通过状态识别模型对目标对象的状态进行逻辑判断，生成包含状态判断结果的勘灾结果数据，并将标记后的视频图像和勘灾结果数据通过外设接口输出到显示屏。本申请公开的智能勘灾系统功能强大、用途广泛、应用灵活性强。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种智能勘灾系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种智能勘灾系统，其特征在于，所述智能勘灾系统包括智能勘灾装置、图像采集装置以及外接显示屏，所述智能勘灾装置包括外设接口、通信模块、储存模块、供电模块以及计算模块，所述计算模块分别与所述外设接口、通信模块、储存模块以及供电模块连接，所述智能勘灾装置通过所述外设接口与所述图像采集装置连接；

所述图像采集装置用于采集待勘灾位置的视频图像，并将所述视频图像发送至所述智能勘灾装置；

所述智能勘灾装置用于通过所述计算模块，在所述待勘灾位置的视频图像中，通过预先存储的目标图像检测出待检测目标；在所述待勘灾位置的视频图像中标记所述待检测目标，生成标记后的视频图像；通过外接显示屏向用户展示所述标记后的视频图像。

2.根据权利要求1所述的智能勘灾系统，其特征在于，所述计算模块包括中央处理器以及用于深度学习的加速卡；

所述中央处理器用于对所述待勘灾位置的视频图像进行解码取帧，并得到多个帧图像，通过目标检测模型分别对所述多个帧图像进行目标检测，当检测到目标对象时用方框和编号标记目标对象，并运行状态识别模型，对所述目标对象的状态进行逻辑判断，生成包含状态判断结果的勘灾结果数据，并将所述勘灾结果数据通过所述外设接口输出到显示屏；

所述加速卡用于对所述目标检测模型和状态识别模型的神经网络进行加速计算。

3.根据权利要求1所述的智能勘灾系统，其特征在于，所述外设接口包括高清多媒体接口。

4.根据权利要求3所述的智能勘灾系统，其特征在于，所述图像采集装置为无人机上的图像采集装置，所述无人机与无人机遥控装置通过无线方式连接，所述智能勘灾装置与无人机遥控装置连接，所述无人机遥控装置通过所述高清多媒体接口连接所述智能勘灾装置。

5.根据权利要求1所述的智能勘灾系统，其特征在于，所述外设接口还包括通用串行总线接口、视频图像阵列接口、柔性扁平线缆接口。

6.根据权利要求5所述的智能勘灾系统，其特征在于，所述图像采集装置包括车载摄像头，所述车载摄像头通过所述通用串行总线接口连接所述智能勘灾装置。

7.根据权利要求1所述的智能勘灾系统，其特征在于，所述供电模块上设有电源接口，外部电源可通过通用串行总线接口转接所述电源接口，为所述智能勘灾装置提供5V直流电压输入。

8.根据权利要求1所述的智能勘灾系统，其特征在于，所述智能勘灾装置还包括存储模块，在统计所述待检测目标以及所述待检测目标的状态成文件格式的勘灾结果数据后，所述存储模块用于存储所述勘灾结果数据。

9.根据权利要求8所述的智能勘灾系统，其特征在于，所述存储模块还包括可插入的安全数码卡。

10.根据权利要求1所述的智能勘灾系统，其特征在于，所述智能勘灾装置还包括通信模块。

Images