CN117423017A - 一种基于无人机的巡检处理方法、系统、设备及介质 - Google Patents
一种基于无人机的巡检处理方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117423017A CN117423017A CN202311479013.7A CN202311479013A CN117423017A CN 117423017 A CN117423017 A CN 117423017A CN 202311479013 A CN202311479013 A CN 202311479013A CN 117423017 A CN117423017 A CN 117423017A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- inspection
- vehicle
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 182
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 230000006399 behavior Effects 0.000 claims abstract description 81
- 238000004458 analytical method Methods 0.000 claims abstract description 49
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000009471 action Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 14
- 239000003795 chemical substances by application Substances 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 5
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 239000007921 spray Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 239000000779 smoke Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种基于无人机的巡检处理方法、系统、设备及介质，其方法包括：无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；在交通视频录像中获取到人像图像时，对人像图像进行行为分析，得到对应的人员行为分析结果；将人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；在人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。本申请具有从交通视频图像中发现高速公路上的异常行为，并对异常状况进行及时处理，有利于提高无人机在巡检时出现异常行为的处理效率的效果。
Description
技术领域
本申请涉及无人机技术领域，尤其是涉及一种基于无人机的巡检任务处理方法、系统、设备及介质。
背景技术
随着道路建设技术的不断发展，道路的建设也越来越复杂，为保证道路交通安全，会将无人机应用到对道路进行交通巡检等的道路巡检管养作业任务中，通过在无人机上安装摄像装置等任务载荷以获取道路的交通信息；特别是在全封闭设计的高速公路中，需要对道路设施、道路车流动态、事件行为等进行监测。
但相关技术中，无人机巡检可以实现巡检作业中巡检范围内的交通视频图像采集，然后再通过网络或通信将采集的交通视频图像传输至后台管理端，通过巡检负责人对交通视频图像中存在的道路设施的保养情况、车流是否出现拥堵等交通情况进行事后的交通规划和采集相应的应急处理方案。
但上述技术存在有一些缺陷：巡检人员在后台管理端进行监控，由于人的眼力和精力有限，难以及时发现高速公路上的道路设施被人为损坏或发现一些车辆是否存在人员在高速公路上下车等的异常行为，对于道路状况的处理存在滞后性，不利于对高速公路的道路状况进行侦查，因此存在改进的空间。
发明内容
为了及时从交通视频图像中发现高速公路上的异常行为，本申请提供一种基于无人机的巡检处理方法、系统、设备及介质。
本申请的发明目的一采用如下技术方案实现：
一种基于无人机的巡检处理方法，包括：
无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；
在所述交通视频录像中获取到人像图像时，对所述人像图像进行行为分析，得到对应的人员行为分析结果；
将所述人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；
在所述人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
通过采用上述技术方案，通过无人机在执行巡检任务时采集的实时的交通视频录像，在获取到人像图像时对交通视频录像进行人员行为分析以得到人员行为分析结果，即得到交通视频录像中人员的具体的行为，且通过预设的异常行为预测模型能够快速得到对应的人员行为判定数据，在人员行为判定数据符合预警阈值即人员行为出现异常时进行预警提示，无人机和巡检监管平台基于应急处理方案对高速公路现场的异常状况进行处理，便于及时从交通视频图像中发现高速公路上的异常行为，并对异常状况进行及时处理，有利于提高无人机在巡检时出现异常行为的处理效率。
本申请在一较佳示例中：所述交通视频录像包括车像图像；所述无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像之后，包括：
在所述交通视频录像中获取到车像图像时，对所述交通视频录像进行分帧处理，并从第一帧的所述车像图像开始，逐帧比较相邻两帧之间的同一车辆的位置差异数据；
若同一车辆的所述位置差异数据小于预设的位置阈值，则将对应车辆的所述车像图像合并，记录合并的帧数，从合并的帧数确定该车辆的停留时间；
无人机获取车辆的部位信息，并根据车辆的部位信息获取车辆的停留时间超过预设的停留阈值的车牌图像；将所述车牌图像和所述车辆的停留时间发送至预设的巡检监管平台进行展示。
通过采用上述技术方案，对实时获取的交通视频录像进行分帧处理得到每一帧的车像图像，从而能够对每一帧的车像图像进行分析，再比较相邻两帧中的车辆位置差异数据（以判断车辆是否在移动），若同一车辆的位置差异数据小于预设的位置阈值，则该车辆的移动距离过短，通过合并的帧数计算出该车辆的停留时间，对于在高速公路上逗留的车辆，无人机根据车辆的部位信息移动至该车辆的车牌位置并拍摄该车辆的车牌图像，将该车辆的车牌图像和车辆的停留时间发送给巡检监管平台，以便于巡检人员及时发现道路上出现的非法占用盲道、行人在高速路上下车等的异常状况。
本申请在一较佳示例中：所述在所述交通视频录像中获取到人像图像时，对所述人像图像进行行为分析，得到对应的人员行为分析结果；具体包括：
在所述交通视频录像中获取到人像图像时，对所述交通视频录像进行分帧处理，从第一帧的所述人像图像开始，逐帧比较所述人像图像之间的动作差异信息；
获取人体部位信息，并根据人体部位信息从所述人像图像中获取每一人体部位信息对应的动作差异信息；
根据每一人体部位信息的所述动作差异信息组成人员动作信息，将所述人员动作信息作为行为分析结果。
通过采用上述技术方案，对每一帧的人像图像中得到的人员行为进行分帧分析，根据相邻两帧之间人体部位的动作差异信息，预判出人员的行为分析结果，以对可疑人员的可疑行为如非法盗窃道路设施等进行预判和处理。
本申请在一较佳示例中：所述无人机设置有多个，分别布设于道路路线的不同区域；所述无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像之前，包括：
预设在道路上的固定摄像装置采集现场交通图像，在所述现场交通图像中获取到人像影像时，对所述人像影像进行追踪采集，并计算出人物驻足时间；
在所述人物驻足时间超过预设的时长阈值时，获取人物所在位置信息，基于人物所在位置信息匹配对应的无人机；
基于无人机的定位信息规划无人机巡检航线；
将所述人物所在位置信息、无人机的定位信息、无人机巡检航线打包发送至预设的巡检监管平台；预设的巡检监管平台基于所述无人机巡检航线生成巡检任务并发送给至少一个所述无人机。
通过采用上述技术方案，无人机沿道路的路线方向的不同区域布设有多个无人机；无人机除了能够完成正常的巡检任务之外，还可基于道路上的固定摄像装置发现的异常状况进行临时巡检任务；具体地，道路上用于拍摄违法驾驶行为的固定摄像装置在获取到人像影像时，还可对人像影像进行跟踪拍摄，计算人员在同一地点的任务驻足时间，当人员的驻足时间过长时，有可能是人员在为了盗窃道路设施而在踩点等的驻足观察行为；此时根据该人员的逗留地点匹配进行临时巡检任务的无人机，并基于此无人机的当前的停留位置规划无人机巡检路线；巡检监管平台基于实际的巡检需求给至少一个无人机发送巡检任务，无人机基于获取到的巡检任务进行临时巡检；从而便于在道路上出现可疑逗留人员等异常道路状况时，通过无人机及时到现场抓拍现场图像以对道路状况进行及时判定。
本申请在一较佳示例中：所述基于无人机的定位信息规划无人机巡检航线之后，包括：
基于无人机的定位信息，获取若干无人机巡检航线并按距离大小的优先级将无人机进行排布，生成无人机巡检列表；
将所述无人机巡检列表发送至预设的巡检监管平台。
通过采用上述技术方案，无人机巡检列表是基于无人机的位置信息标示有多个无人机与可疑人物驻足地点的距离和对应巡检航线的列表；巡检人员可基于所述列表调遣执行临时巡检任务的无人机进行巡检，以便于在多个地点同时发生可疑人员驻留或高速路口人员抛锚等异常状况时，通过抓拍个别搭载有任务载荷的无人机完成高效率的临时巡检任务。
本申请的发明目的二采用如下技术方案实现：
一种基于无人机的巡检处理系统，包括：用于执行如上所述的一种基于无人机的巡检处理方法，包括：
无人机，用于基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；
在所述交通视频录像中获取到人像图像时，对所述人像图像进行行为分析，得到对应的人员行为分析结果；
将所述人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；
巡检监管平台，用于在所述人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
通过采用上述技术方案，通过无人机在执行巡检任务时采集的实时的交通视频录像，在获取到人像图像时对交通视频录像进行人员行为分析以得到人员行为分析结果，即得到交通视频录像中人员的具体的行为，且通过预设的异常行为预测模型能够快速得到对应的人员行为判定数据，在人员行为判定数据符合预警阈值即人员行为出现异常时预警，无人机和巡检监管平台基于应急处理方案对高速公路现场的异常状况进行处理，便于及时从交通视频图像中发现高速公路上的异常行为，并对异常状况进行及时处理，有利于提高无人机在巡检时出现异常行为的处理效率。
本申请在一较佳示例中：所述无人机安装有能够检测火点的烟火检测摄像机，所述巡检监管平台连接有可执行灭火任务的协作无人机，包括：
所述无人机在巡检中检测到疑似火点时向所述巡检监管平台发送火点预警信号和火点位置信息，并向所述巡检监管平台发送协作灭火请求；
所述巡检监管平台基于所述火点位置信息和所述协作无人机的定位规划飞行航线，并基于所述飞行航线和获取的协作灭火指令生成应急巡检任务发送给所述协作无人机。
所述协作无人机响应于所述协作灭火指令到达着火现场，并基于获取的远程控制指令对着火位置喷洒灭火剂。
通过采用上述技术方案，无人机在巡检过程中发现高速公路上有火点时，立即向巡检监管平台发送火点预警信号和火点位置信息，并实时发送着火点位置的交通视频录像给巡检监管平台，巡检人员在接收到火点预警信号后通过无人机的交通视频录像确认是否着火后，通过巡检监管平台获取协作无人机的定位位置和火点位置规划生成飞行航线并发送给协作无人机，协作无人机上配置有灭火剂，协作无人机基于获得协作灭火指令按照对话的飞行航线移动至着火点位置后，巡检人员给协作无人机发送远程控制指令，控制协作无人机开始灭火作业；协作无人机充当灭火资源协作的作用，从而便于在无人机巡检时发现着火现象时，及时进行着火预警，确认着火后立即进行灭火作业。
本申请的发明目的三采用如下技术方案实现：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于无人机的巡检处理方法的步骤。
本申请的发明目的四采用如下技术方案实现：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于无人机的巡检处理方法的步骤。
综上所述，本申请包括以下至少一种有益技术效果：
1. 通过无人机在执行巡检任务时采取的实时的交通视频录像，在获取到人像图像时对交通视频录像进行人员行为分析以得到人员行为分析结果，即得到交通视频录像中人员的具体的行为，且通过预设的异常行为预测模型能够快速得到对应的人员行为判定数据，在人员行为判定数据符合预警阈值即人员行为出现异常时预警，无人机和巡检监管平台基于应急处理方案对高速公路现场的异常状况进行处理，便于及时从交通视频图像中发现高速公路上的异常行为，并对异常状况进行及时处理，有利于提高无人机在巡检时出现异常行为的处理效率；
2. 通过无人机在执行巡检任务时采取的实时的交通视频录像，在获取到人像图像时对交通视频录像进行人员行为分析以得到人员行为分析结果，即得到交通视频录像中人员的具体的行为，且通过预设的异常行为预测模型能够快速得到对应的人员行为判定数据，在人员行为判定数据符合预警阈值即人员行为出现异常时预警，无人机和巡检监管平台基于应急处理方案对高速公路现场的异常状况进行处理，便于及时从交通视频图像中发现高速公路上的异常行为，并对异常状况进行及时处理，有利于提高无人机在巡检时出现异常行为的处理效率；
3. 无人机在巡检过程中发现高速公路上有火点时，立即向巡检监管平台发送火点预警信号和火点位置信息，并实时发送着火点位置的交通视频录像给巡检监管平台，巡检人员在接收到火点预警信号后通过无人机的交通视频录像确认是否着火后，通过巡检监管平台获取协作无人机的定位位置和火点位置规划生成飞行航线并发送给协作无人机，协作无人机上配置有灭火剂，协作无人机基于获得协作灭火指令按照对话的飞行航线移动至着火点位置后，巡检人员给协作无人机发送远程控制指令，控制协作无人机开始灭火作业；协作无人机充当灭火资源协作的作用，从而便于在无人机巡检时发现着火现象时，及时进行着火预警，确认着火后立即进行灭火作业。
附图说明
图1是本申请一实施例中一种基于无人机的巡检处理方法的一流程图；
图2是本申请一实施例中一种基于无人机的巡检处理方法中步骤S1之后的流程图；
图3是本申请一实施例中一种基于无人机的巡检处理方法中步骤S2的流程图；
图4是本申请一实施例中一种基于无人机的巡检处理方法中的另一流程图；
图5是本申请一实施例中一种基于无人机的巡检处理方法中步骤S113之后的流程图；
图6是本申请一实施例中的设备示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
在一实施例中，如图1所示，本申请公开了一种基于无人机的巡检处理方法，具体包括如下步骤：
S1：无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像。
在本实施例中，无人机与巡检监管平台通信连接，巡检人员通过巡检监管平台给无人机发送巡检任务；无人机上设有可用于采集交通视频录像的摄像装置。
具体地，无人机具有自动巡检模式和人工遥控巡检模式，两种巡检模块可自由切换；自动巡检模式是指无人机基于获取的巡检任务可自动完成巡检工作；人工遥控巡检模式是指无人机还可连接无人机遥控器，此时巡检人员可通过无人机遥控器对无人机进行远程遥控控制；进一步地，无人机在进行自动巡检的过程中，巡检人员还可通过无人机遥控器将无人机的巡检模式切换至人工遥控控制的模式，操作较便捷。
具体地，无人机在巡检过程中实时拍摄交通视频录像并将交通视频录像回传至巡检监管平台。
S2：在交通视频录像中获取到人像图像时，对人像图像进行行为分析，得到对应的人员行为分析结果。
在本实施例中，人像图像是指在交通视频录像中出现人员的图像；无人机上设有能够应用人像识别技术的任务载荷，通过人像识别技术识别人像。
具体地，在追踪拍摄的多帧人像图像中，根据多帧人像图像中人体的四肢、头部动作的姿态差异连成该人员的连贯动作，将得到的行为动作作为人员行为分析结果。
S3：将人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据。
在本实施例中，异常行为预测模型是预先设置的，用于判定人员的行为是否异常的行为预测模型。
具体地，异常行为预测模型从历史的交通视频录像中的人员作出的异常行为数据组成，异常行为包括：盗窃、高速路下车、在应急车道招手、人员奔跑、车道拥堵时踢球等等不规范的异常行为；对历史可疑动作信息进行分类训练，基于人体部位信息获取人体部位的动作的共性，从而训练得到该异常行为预测模型。
具体地，人员行为判定数据是指判定得到的该人员的行为的类型数据。
S4：在人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
在本实施例中，人员行为判定数据符合预设的预警阈值时，则该人员的行为的类型数据属于预警范围内，判定该人员的行为存在异常。
具体地，无人机发送预警信号至巡检监管平台，巡检监管平台连接巡检人员，巡检人员基于人员行为判定数据确定应急处理方案以处理道路上的异常状况；应急处理方案包括但不限于：对应急车道占用违法行为进行抓拍，并对车牌和违章人员进行记录；对占用应急车道的车辆抓拍车牌图像并回传至巡检监管平台；对因车辆故障等停留应急车道的人员则通过无人机上配备的无人机任务载荷实现远程语音喊话和现场指挥等等。
在一实施例中，如图2所示，在步骤S1之后，基于无人机的巡检处理方法还包括：
S101：在交通视频录像中获取到车像图像时，对交通视频录像进行分帧处理，并从第一帧的车像图像开始，逐帧比较相邻两帧之间的同一车辆的位置差异数据。
在本实施例，车像图像是指在交通视频录像中出现车辆的图像；道路旁设置有用于计算车辆车速的超声波测速仪，超声波测速仪与巡检监管平台通信连接。
具体地，在超声波测速仪检测到高速道路上某一辆车的车速过慢，如明显低于60km/h的时速时，巡检监管平台基于该车辆的位置信息给无人机发送巡检跟踪指令以对该位置区域内的车辆进行跟踪巡检。
无人机再通过任务载荷对获取的车像图像进行分帧处理，并从第一帧的车像图像开始，逐帧比对相邻两帧之间的同一车辆的车辆位置差异数据，以判断车辆是否存在移动过慢甚至停留的异常情况。
S102：若同一车辆的位置差异数据小于预设的位置阈值，则将对应车辆的车像图像合并，记录合并的帧数，从合并的帧数确定该车辆的停留时间。
在本实施例中，车辆的停留时间是指车辆停留或静止的时间；若同一车辆的位置差异数据小于预设的位置阈值，则该车辆的移动距离过短，通过合并的帧数计算出该车辆的停留时间。
具体地，将合并的帧数的总数量与每一帧所占用的时长的乘积，作为该车辆的停留时间。
S103：无人机获取车辆的部位信息，并根据车辆的部位信息获取车辆的停留时间超过预设的停留阈值的车牌图像；将车牌图像和车辆的停留时间发送至预设的巡检监管平台进行展示。
在本实施例中，车牌图像是指车辆设置车牌的区域图像。
具体地，对于在高速公路上逗留时间较长（即停留时间超过停留阈值时间）的车辆，无人机根据车辆的部位信息判定车辆的车牌位置并移动至摄像装置朝向车牌的附近区域后，拍摄车辆的车牌图像；将该车辆的车牌图像和车辆的停留时间发送给巡检监管平台，以便于巡检人员及时发现道路上出现的非法占用盲道、行人在高速路上下车等的异常状况。
在一实施例中，如图3所示，在步骤S2中，在交通视频录像中获取到人像图像时，对人像图像进行行为分析，得到对应的人员行为分析结果，具体包括：
S21：在交通视频录像中获取到人像图像时，对交通视频录像进行分帧处理，从第一帧的人像图像开始，逐帧比较人像图像之间的动作差异信息。
具体地，对交通视频录像进行分帧处理后，逐帧比较相同人员的动作差异信息。
S22：获取人体部位信息，并根据人体部位信息从人像图像中获取每一人体部位信息对应的动作差异信息。
具体地，通过人员的不同部位，例如四肢、躯干和头部等，获取不同部位的姿势；从而通过比对相邻帧之间的人像图像的人员姿势的身体部位的差异，例如四肢、躯干在人像图像中的位置、转动角度等数据，作为该人员的动作差异信息。
S23：根据每一人体部位信息的动作差异信息组成人员动作信息，将人员动作信息作为行为分析结果。
在本实施例中，行为分析结果是指人员的动作行为的类型信息，如招手、奔跑等。
具体地，将统计得到的人体的各个部位的动作差异信息，判定人员的人像动作信息，如根据人体腿部的动作差异信息，判定出人员是否处于驻足、缓慢步行还是奔跑的状况，根据人体手部的工作差异信息判定人员伸手，则将人员驻足、伸手的动作信息作为行为分析结果。
在一实施例中，如图4所示，在步骤S1之前，基于无人机的巡检处理方法还包括：
S111：预设在道路上的固定摄像装置采集现场交通图像，在现场交通图像中获取到人像影像时，对人像影像进行追踪采集，并计算出人物驻足时间。
在本实施例中，布设在道路上的固定摄像装置均与巡检监管平台通信连接；无人机设置有多个，分别布设于道路路线的不同区域。
具体地，道路上的固定摄像装置通常用于抓拍司机在车内的抽烟、打电话等不合规驾驶行为；同时，如固定摄像装置拍摄到人员在高速公路下车、应急车道滞留等的异常行为时，则对该人员进行追踪采集拍摄图像。
S112：在人物驻足时间超过预设的时长阈值时，获取人物所在位置信息，基于人物所在位置信息匹配对应的无人机。
在本实施例中，人物驻足时间是指人物仍停留在当前摄像头的抓拍范围内，是在小范围的地点范围内不动，而无需人员站立固定不动，基于摄像头的定位位置，对该人员进行跟踪抓拍后，如人员在一段时间内（如10分钟内）仍被同一摄像头抓拍到，则累计计算该人员的任务驻足时间。
具体地，无人机在完成正常的巡检任务之外，还可基于道路上的固定摄像装置发现的异常状况进行临时巡检任务；在人员的驻足时间过长时，有可能是人员在为了盗窃道路设施而在踩点等的驻足观察行为，为加强巡检管理效果，则此时需要派遣无人机进行应急巡检或临时巡检，以确定当前人员逗留在高速公路上的原因以便于采取处理措施。
S113：基于无人机的定位信息规划无人机巡检航线。
具体地，无人机设置有多个，基于多个无人机的具体布设的定位分别一一对应规划无人机巡检航线；无人机基于规划后的无人机巡检航线在获取到巡检任务后进行巡检。
S114：将人物所在位置信息、无人机的定位信息、无人机巡检航线打包发送至预设的巡检监管平台；预设的巡检监管平台基于无人机巡检航线生成巡检任务并发送给至少一个无人机。
具体地，巡检监管平台基于实际的巡检需求给至少一个无人机发送巡检任务，无人机基于获取到的巡检任务进行临时巡检；从而便于在道路上出现可疑逗留人员等异常道路状况时，通过无人机及时到现场抓拍现场图像以对道路状况进行及时判定，或通过无人机任务载荷进行远程语音指挥和语音喊话。
在一实施例中，如图5所示，在步骤S113之后，基于无人机的巡检处理方法还包括：
S115：基于无人机的定位信息，获取若干无人机巡检航线并按距离大小的优先级将无人机进行排布，生成无人机巡检列表。
S116：将无人机巡检列表发送至预设的巡检监管平台。
具体地，无人机在获取到巡检任务后，以该巡检中的无人机的定位为中心，在巡检过程中按照距离大小的优先级实时更新无人机巡检列表；列表上标注其余的各个无人机距离该无人机的直线距离、无人机巡检航线距离、无人机是否为搭载有任务载荷的无人机，还包括无人机本体的电池续航数据、环境模型和状态参数等的信息。
具体地，巡检人员可基于列表调派执行临时巡检任务的无人机进行巡检，以便于在多个地点同时发生可疑人员驻留或高速路口车辆抛锚以致人员滞留等异常状况时，通过抓拍个别搭载有任务载荷的无人机完成高效率的临时巡检任务。
具体地，巡检监管平台实时显示无人机的巡检任务、在巡检过程中无人机的巡检航线。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种基于无人机的巡检处理系统，该基于无人机的巡检处理系统与上述实施例中一种基于无人机的巡检处理方法相对应。
一种基于无人机的巡检处理系统，包括搭载有任务载荷的无人机和巡检监管平台。各功能模块的详细说明如下：
无人机，用于基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；
在交通视频录像中获取到人像图像时，对人像图像进行行为分析，得到对应的人员行为分析结果；
将人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；
巡检监管平台，用于在人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
可选的，无人机安装有能够检测火点的烟火检测摄像机，巡检监管平台连接有可执行灭火任务的协作无人机，包括：
无人机在巡检中检测到疑似火点时向巡检监管平台发送火点预警信号和火点位置信息，并向巡检监管平台发送协作灭火请求；
巡检监管平台基于火点位置信息和协作无人机的定位规划飞行航线，并基于飞行航线和获取的协作灭火指令生成应急巡检任务发送给协作无人机。
协作无人机响应于协作灭火指令到达着火现场，并基于获取的远程控制指令对着火位置喷洒灭火剂。
在本实施例中，协作无人机上配置有灭火剂，协作无人机通过控制开关开启或关闭的方式进行喷洒灭火剂的灭火作业。
具体地，无人机中的烟火检测摄像机在检测到高速公路上或火点时，立即向巡检监管平台发送火点预警信号和火点位置信息，并实时发送着火点位置的交通视频录像给巡检监管平台，巡检人员在接收到火点预警信号后通过无人机的交通视频录像确认是否着火；如确认着火则向协作无人机发送协作灭火指令；通过巡检监管平台获取协作无人机的定位位置和火点位置规划生成飞行航线并发送给协作无人机，协作无人机基于获得的协作灭火指令按照对话的飞行航线移动至着火点位置后，巡检人员通过无人机遥控给协作无人机发送远程控制指令，以控制协作无人机开始在着火点位置喷洒灭火剂以进行灭火作业；本实施例的协作无人机充当灭火资源协作的作用，从而便于在无人机巡检时发现着火现象时，及时进行着火预警，确认着火后立即驱动协作无人机前往着火点进行灭火作业。
关于基于无人机的巡检处理系统的具体限定可以参见上文中对于基于无人机的巡检处理方法的限定，在此不再赘述；上述基于无人机的巡检处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现；上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以是以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储无人机的任务荷载、异常行为预测模型和采集的交通视频录像和车像图像等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于无人机的巡检处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
S1：无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；
S2：在交通视频录像中获取到人像图像时，对人像图像进行行为分析，得到对应的人员行为分析结果；
S3：将人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；
S4：在人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
S1：无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；
S2：在交通视频录像中获取到人像图像时，对人像图像进行行为分析，得到对应的人员行为分析结果；
S3：将人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；
S4：在人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于无人机的巡检处理方法，其特征在于，包括：
无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；
在所述交通视频录像中获取到人像图像时，对所述人像图像进行行为分析，得到对应的人员行为分析结果；
将所述人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；
在所述人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
2.根据权利要求1所述的一种基于无人机的巡检处理方法，其特征在于，所述交通视频录像包括车像图像；所述无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像之后，包括：
在所述交通视频录像中获取到车像图像时，对所述交通视频录像进行分帧处理，并从第一帧的所述车像图像开始，逐帧比较相邻两帧之间的同一车辆的位置差异数据；
若同一车辆的所述位置差异数据小于预设的位置阈值，则将对应车辆的所述车像图像合并，记录合并的帧数，从合并的帧数确定该车辆的停留时间；
无人机获取车辆的部位信息，并根据车辆的部位信息获取车辆的停留时间超过预设的停留阈值的车牌图像；将所述车牌图像和所述车辆的停留时间发送至预设的巡检监管平台进行展示。
3.根据权利要求1所述的一种基于无人机的巡检处理方法，其特征在于，所述在所述交通视频录像中获取到人像图像时，对所述人像图像进行行为分析，得到对应的人员行为分析结果；具体包括：
在所述交通视频录像中获取到人像图像时，对所述交通视频录像进行分帧处理，从第一帧的所述人像图像开始，逐帧比较所述人像图像之间的动作差异信息；
获取人体部位信息，并根据人体部位信息从所述人像图像中获取每一人体部位信息对应的动作差异信息；
根据每一人体部位信息的所述动作差异信息组成人员动作信息，将所述人员动作信息作为行为分析结果。
4.根据权利要求1所述的一种基于无人机的巡检处理方法，其特征在于，所述无人机设置有多个，分别布设于道路路线的不同区域；所述无人机基于获取的巡检任务对道路状况进行巡检并采集交通视频录像之前，包括：
预设在道路上的固定摄像装置采集现场交通图像，在所述现场交通图像中获取到人像影像时，对所述人像影像进行追踪采集，并计算出人物驻足时间；
在所述人物驻足时间超过预设的时长阈值时，获取人物所在位置信息，基于人物所在位置信息匹配对应的无人机；
基于无人机的定位信息规划无人机巡检航线；
将所述人物所在位置信息、无人机的定位信息、无人机巡检航线打包发送至预设的巡检监管平台；预设的巡检监管平台基于所述无人机巡检航线生成巡检任务并发送给至少一个所述无人机。
5.根据权利要求4所述的一种基于无人机的巡检处理方法，其特征在于，所述基于无人机的定位信息规划无人机巡检航线之后，包括：
基于无人机的定位信息，获取若干无人机巡检航线并按距离大小的优先级将无人机进行排布，生成无人机巡检列表；
将所述无人机巡检列表发送至预设的巡检监管平台。
6.一种基于无人机的巡检处理系统，其特征在于，用于执行如权利要求1-5任一项所述的一种基于无人机的巡检处理方法，包括：
无人机，用于基于获取的巡检任务对道路状况进行巡检并采集交通视频录像；
在所述交通视频录像中获取到人像图像时，对所述人像图像进行行为分析，得到对应的人员行为分析结果；
将所述人员行为分析结果输入预设的异常行为预测模型，得到对应的人员行为判定数据；
巡检监管平台，用于在所述人员行为判定数据符合预设的预警阈值时进行预警，并确定应急处理方案以对异常状况进行处理。
7.根据权利要求6所述的一种基于无人机的巡检处理系统，其特征在于，所述无人机安装有能够检测火点的烟火检测摄像机，所述巡检监管平台连接有可执行灭火任务的协作无人机，包括：
所述无人机在巡检中检测到疑似火点时向所述巡检监管平台发送火点预警信号和火点位置信息，并向所述巡检监管平台发送协作灭火请求；
所述巡检监管平台基于所述火点位置信息和所述协作无人机的定位规划飞行航线，并基于所述飞行航线和获取的协作灭火指令生成应急巡检任务发送给所述协作无人机。
8.所述协作无人机响应于所述协作灭火指令到达着火现场，并基于获取的远程控制指令对着火位置喷洒灭火剂。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述用于基于无人机的巡检处理方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述用于基于无人机的巡检处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311479013.7A CN117423017A (zh) | 2023-11-07 | 2023-11-07 | 一种基于无人机的巡检处理方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311479013.7A CN117423017A (zh) | 2023-11-07 | 2023-11-07 | 一种基于无人机的巡检处理方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117423017A true CN117423017A (zh) | 2024-01-19 |
Family
ID=89522738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311479013.7A Pending CN117423017A (zh) | 2023-11-07 | 2023-11-07 | 一种基于无人机的巡检处理方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117423017A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109050916A (zh) * | 2018-08-30 | 2018-12-21 | 深圳市研本品牌设计有限公司 | 一种巡航无人机及存储介质 |
| CN110444019A (zh) * | 2019-08-01 | 2019-11-12 | 安徽科力信息产业有限责任公司 | 基于车载停车警示牌的车辆异常停车成因检测方法及系统 |
| CN111443716A (zh) * | 2020-04-23 | 2020-07-24 | 西安智文琛软件有限公司 | 一种无人机巡检控制方法、系统、存储介质、程序、终端 |
| CN111582179A (zh) * | 2020-05-09 | 2020-08-25 | 广州市炬盾科技发展有限公司 | 监控视频分析方法、装置、计算机设备以及存储介质 |
| CN114489122A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 一种基于uav及配套机场的高速公路自动巡检方法及系统 |
| CN116301029A (zh) * | 2023-02-16 | 2023-06-23 | 国网青海省电力公司果洛供电公司 | 无人机自主巡检抓拍方法 |
| CN116421908A (zh) * | 2023-04-07 | 2023-07-14 | 应急管理部沈阳消防研究所 | 一种固移结合的森林火灾防控方法和系统 |
-
2023
- 2023-11-07 CN CN202311479013.7A patent/CN117423017A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109050916A (zh) * | 2018-08-30 | 2018-12-21 | 深圳市研本品牌设计有限公司 | 一种巡航无人机及存储介质 |
| CN110444019A (zh) * | 2019-08-01 | 2019-11-12 | 安徽科力信息产业有限责任公司 | 基于车载停车警示牌的车辆异常停车成因检测方法及系统 |
| CN111443716A (zh) * | 2020-04-23 | 2020-07-24 | 西安智文琛软件有限公司 | 一种无人机巡检控制方法、系统、存储介质、程序、终端 |
| CN111582179A (zh) * | 2020-05-09 | 2020-08-25 | 广州市炬盾科技发展有限公司 | 监控视频分析方法、装置、计算机设备以及存储介质 |
| CN114489122A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 一种基于uav及配套机场的高速公路自动巡检方法及系统 |
| CN116301029A (zh) * | 2023-02-16 | 2023-06-23 | 国网青海省电力公司果洛供电公司 | 无人机自主巡检抓拍方法 |
| CN116421908A (zh) * | 2023-04-07 | 2023-07-14 | 应急管理部沈阳消防研究所 | 一种固移结合的森林火灾防控方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109686031B (zh) | 基于安防的识别跟随方法 | |
| US11713060B2 (en) | Systems and methods for remote monitoring of a vehicle, robot or drone | |
| US11475671B2 (en) | Multiple robots assisted surveillance system | |
| CN104952122A (zh) | 可自动进行违章取证的行车记录仪及系统 | |
| CN109740462B (zh) | 目标的识别跟随方法 | |
| CN104583051A (zh) | 对铁路线路的监视 | |
| CN107464416B (zh) | 巴士的半自动驾驶方法及系统 | |
| US20230138112A1 (en) | Artificial intelligence methods and systems for remote monitoring and control of autonomous vehicles | |
| CN109740461B (zh) | 目标跟随后的处理方法 | |
| CN112804489B (zh) | 基于互联网+的智慧工地管理系统及方法 | |
| CN114394100B (zh) | 一种无人巡逻车控制系统及无人车 | |
| CN113676702A (zh) | 基于视频流的目标追踪监测方法、系统、装置及存储介质 | |
| CN108156406A (zh) | 行车记录仪的信息处理方法和装置 | |
| CN114494998B (zh) | 一种车辆数据智能分析方法及系统 | |
| US20220351515A1 (en) | Method for perceiving event tagging-based situation and system for same | |
| CN114758297A (zh) | 基于雷达与视频相融合的交通事件检测方法及系统 | |
| CN112562407A (zh) | Odd状态预判的方法、装置及自主代客泊车系统 | |
| US11450153B2 (en) | Information processing method and information processing system | |
| CN114187676A (zh) | 一种巡检方法、装置、设备、系统和存储介质 | |
| CN111932889B (zh) | 一种基于车路协同的交通疏导系统 | |
| CN117423017A (zh) | 一种基于无人机的巡检处理方法、系统、设备及介质 | |
| CN108122414A (zh) | 公路上客车上下客的检测方法及装置 | |
| CN111598054A (zh) | 车辆检测方法、装置、计算机设备及存储介质 | |
| CN110647884A (zh) | 一种鸣笛抓拍方法和相关装置 | |
| US20230260301A1 (en) | Biometric task network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |