CN117590863A - 一种5g安防救援网联的无人机云边端协同控制系统 - Google Patents
一种5g安防救援网联的无人机云边端协同控制系统 Download PDFInfo
- Publication number
- CN117590863A CN117590863A CN202410071099.8A CN202410071099A CN117590863A CN 117590863 A CN117590863 A CN 117590863A CN 202410071099 A CN202410071099 A CN 202410071099A CN 117590863 A CN117590863 A CN 117590863A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- inspection
- road section
- edge end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 claims abstract description 108
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 230000006399 behavior Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000005496 tempering Methods 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种5G安防救援网联的无人机云边端协同控制系统，涉及无人机技术领域，该系统包括相互协同运作的无人机端、边缘端以及云端，无人机端包括若干搭载摄像头的无人机，且同一路段上的无人机至少为两台；其技术要点为：依据巡检指导系数计算得出巡检频率离散系数Dcif，保证后续得出指导巡检频率预估值Ygz的准确性，经过分析计算处理后，使得无人机的巡检操作能够根据实际巡检道路的情况进行自动设定巡检频率，在同一路段利用两组无人机进行交替巡航，既保证了无人机的巡航性，也能够针对路段的实际情况进行巡检操作，将无人机与5G技术相结合，则能够为城市道路的安防提供有效预警和管理。
Description
技术领域
本发明涉及无人机技术领域，具体为一种5G安防救援网联的无人机云边端协同控制系统。
背景技术
无人机也被称为无人机或遥控无人机，是一种没有乘员搭乘的飞行器，它可以通过遥控或自主飞行进行操作和控制，无人机以其灵活、高效、多功能等特点，在多个领域得到广泛应用，无人机通常由机身、电池、电机、舵机、传感器、控制系统和相机等组件组成，根据不同的用途和需求，无人机的形状、大小和配置也各不相同，有些无人机只能进行简单的上下左右飞行，而其他高级无人机具备更复杂的飞行功能，如自动悬停、自动避障、定点悬停等，对于城市安防救援时也会使用到无人机进行作业。
现有授权公告号为CN112581590B，公告日为2021.06.08，名称为一种5G安防救援网联的无人机云边端协同控制方法的专利中指出的技术方案包括：图像采集步骤为：单片机对检测传感器采集的数据进行姿态解算，得到图像数据；稀疏路标地图构建步骤为：控制平台对图像数据执行前端特征点匹配、局部建图与优化、回环检测和帧解算，然后生成稀疏路标地图；三维稠密地图构建步骤为：边缘云根据所述稀疏路标地图的关键帧位姿和关键帧帧观测数据生成三维稠密地图；高精度语义地图构建步骤得到高精度语义地图；无人机运动步骤为：驱动机构根据三维稠密地图或高精度语义地图调整无人机的位姿，采用上述方案虽然能够通过部署无人机来完成安防操作，并利用通信技术降低数据输送的延迟，但其并未考虑到无人机的续航性，一般高性能的无人机的最大续航时间为一至两个小时，在无人机去充电的真空区间，则会存在安防漏洞。
结合上述专利和现有技术，在对城市道路的安防预警过程中，对于每个路段均需要配备无人机，从而在整个城市中形成了无人机组，由于无人机均在高空进行飞行，虽然其能够无死角的完成对道路违规行为或是事故点进行监测，但其收到续航限制，需要及时进行充电，同时对于不同的道路而言，其发生事故或是违规行为的频率也大不相同，而在进行城市安防操作过程中通常是人为制定无人机的巡检频率，这样就会存在巡检频率制定的不合理情况，对于一些事故高发路段，则需要频繁的进行巡检，而对于一些不存在或是极少存在事故的路段，则不需要频繁巡，故对于无人机控制系统管理的实用性有待提高。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种5G安防救援网联的无人机云边端协同控制系统，依据巡检指导系数计算得出巡检频率离散系数Dcif，保证后续得出指导巡检频率预估值Ygz的准确性，经过分析计算处理后，使得无人机的巡检操作能够根据实际巡检道路的情况进行自动设定巡检频率，在同一路段利用两组无人机进行交替巡航，既保证了无人机的巡航性，也能够针对路段的实际情况进行巡检操作，将无人机与5G技术相结合，则能够为城市道路的安防提供有效预警和管理，解决了背景技术中提出的问题。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种5G安防救援网联的无人机云边端协同控制系统，该系统包括相互协同运作的无人机端、边缘端以及云端，其特征在于：
无人机端包括若干搭载摄像头的无人机，且同一路段上的无人机至少为两台，各个摄像头均内置数据采集模块，用于采集实时图像数据、实时位置数据以及巡检道路数据；
边缘端包括图像处理模块、巡航计算模块以及事故检测模块，边缘端设置于各个路段的道路交叉口位置处，且边缘端与处于同一路段上的无人机实现5G通讯连接；
图像处理模块，对采集的实时图像数据进行预处理；
巡航计算模块，提取巡检道路数据作为指导参数，并对指导参数进行无量钢化处理，搭建数据分析模型，生成巡检频率离散系数Dcif，并依据巡检频率离散系数Dcif计算指导巡检频率预估值Ygz；
事故检测模块，在同一路段上无人机进行巡检操作的条件下，根据该无人机采集到的实时图像数据，利用图像处理技术识别该路段是否发生事故，若是，则将事故图像数据和无人机的实时位置数据传输至云端；若不是，则继续进行巡检操作；
云端包括轨迹分析模块和异常预警模块，轨迹分析模块根据接收经过边缘端传输的图像数据完成对运动物体的检测分析，并通过异常预警模块依据检测分析结果完成异常报警处理，若存在异常，则发出一级预警信号，若不存在异常，则不做响应，且异常预警模块还接收事故图像数据和无人机的实时位置数据，并发出二级预警信号。
进一步的，巡检道路数据包括巡检路段的车流量、行人密度、路段实际长度以及路段事故发生频率，其中在同一路段上的任一定点位置处，车辆在一小时内通过的数量，即为车流量，在同一路段上的任一定点位置处，每小时通过行人的数量除以路段实际长度得到的即是行人密度，路段事故发生频率为上个月该路段发生事故的次数除以天数得到的。
进一步的，在图像处理模块中，对采集的实时图像数据进行预处理，预处理的内容包括图像去噪、图像增强以及图像校正。
进一步的，在巡航计算模块中，生成巡检频率离散系数Dcif的过程如下：
S101、依据指导参数，获取巡检指导系数，所依据的公式如下：
式中，/>为巡检路段的车流量，/>为巡检路段的行人密度，/>为巡检路段的实际长度，/>为巡检路段事故发生频率，分别为巡检路段的车流量、巡检路段的行人密度、巡检路段的实际长度、巡检路段事故发生频率的预设比例系数，且/>，t=/>，/>表示巡检指导系数集合内巡检指导系数/>的数量，/>为正整数；
S102、依据巡检指导系数，计算巡检频率离散系数Dcif，公式如下：
式中，/>为巡检指导系数集合中所有巡检指导系数的平均值。
进一步的，依据巡检频率离散系数Dcif计算指导巡检频率预估值Ygz，公式如下：
式中，/>为常数修正系数，int为取整函数。
进一步的，无人机端中同一路段的两个无人机进行巡检操作的具体过程为：在计算得到指导巡检频率预估值Ygz后，对同一路段的两个无人机发送巡航指令，使处于工作状态下的无人机按照指导巡检频率预估值Ygz，从初始位置开始进行巡检操作，该无人机按照预定的巡检轨迹，往复巡检同一路段两次后进入边缘端内置的充电口，在该无人机开始巡检操作的同一时刻，原先位于充电口内的另一无人机进入到上一无人机的初始位置。
进一步的，轨迹分析模块对运动物体检测分析的具体过程为：进行运动物体的检测，将目标定位，根据目标物体身上提取的有效特征进行跟踪，且有效特征至少包括目标物体的行进速度、方向、行动路径以及停留时间；在静态背景下，运用背景差分算法分离物体与背景，在动态背景下利用基于块的补偿和运动估算算法，提取目标的有效特征后，对目标物体进行下一步定位跟踪；在取得预定量的有效特征数据后，采用智能跟踪算法进行分析，结合地面的红绿灯、实地三维模型和机器学习算法，识别目标物体的违规行为。
进一步的，智能跟踪算法采用的是卡尔曼滤波器，机器学习算法采用监督学习算法，且监督学习算法采用支持向量机、决策树、随机森林以及深度神经网络中的任一种。
（三）有益效果
本发明提供了一种5G安防救援网联的无人机云边端协同控制系统，具备以下有益效果：
1、在边缘端内设计巡航计算模块，综合考虑了各个巡检道路数据作为参考因素，确保生成的巡检指导系数的有效性，并依据巡检指导系数/>计算得出巡检频率离散系数Dcif，保证后续得出指导巡检频率预估值Ygz的准确性，经过分析计算处理后，使得无人机的巡检操作能够根据实际巡检道路的情况进行自动设定巡检频率，在同一路段利用两组无人机进行交替巡航，既保证了无人机的巡航性，也能够避免因无人机需要充电，而导致充电时间内无法兼顾安防监测操作的问题；
2、利用云端中的异常预警模块，不仅能够通过对行为轨迹分析，对违规行为进行预警，还能对巡检操作过程中出现的事故点进行预警，体现了该协同控制系统的全面性和实用性；
3、将无人机和5G技术相结合，并将应用于城市道路安防系统，通过无人机技术解决了人力资源的配比和无法全天候巡逻的问题，可及时发现道路异常问题并快速取证，通过5G技术配合边缘端进行使用，不仅扩大了无人机的控制范围与控制精度，利用边缘端作为通信过渡结构，保证了数据传输的稳定性，整个控制系统协同作业，能够为城市道路的安防提供有效预警和管理。
附图说明
图1为本发明5G安防救援网联的无人机云边端协同控制系统的通讯传输方向示意图；
图2为本发明5G安防救援网联的无人机云边端协同控制系统在实际运行过程中无人机巡航轨迹示意图；
图3为本发明5G安防救援网联的无人机云边端协同控制系统的模块化结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：请参阅图1-图3，本发明提供一种5G安防救援网联的无人机云边端协同控制系统，该系统包括相互协同运作的无人机端、边缘端以及云端；
无人机端包括若干搭载摄像头的无人机，且同一路段上的无人机至少为两台，同一路段上具体使用的数量为两台，方便后续完成充电、巡检以及持续监控的一体化作业，各个摄像头均内置数据采集模块，用于采集实时图像数据、实时位置数据以及巡检道路数据；
实时图像数据通过摄像头获取即可；
实时位置数据通过无人机搭载的GPS模块实时获取；
巡检道路数据包括巡检路段的车流量、行人密度、路段实际长度以及路段事故发生频率，其中的巡检路段的车流量和行人密度是在巡检路段上设置车流量检测器和行人计数器获取的，车流量检测器和行人计数器将获取的数据通过5G网络传输至数据采集模块，车流量检测器是通过使用交通监控摄像头、地磁感应器或车辆识别设备来实时测量在同一路段上的任一定点位置处，车辆在一小时内通过的数量，即为车流量，行人计数器是通过使用红外传感器或摄像头来测量在同一路段上的任一定点位置处，每小时通过行人的数量除以路段实际长度得到的即是行人密度，而路段实际长度则是提前通过测量工具，例如测距仪，完成实际测量得到的；路段事故发生频率为上个月该路段发生事故的次数除以上个月的天数得到的，上个月该路段发生事故的次数则是通过边缘端访问交通管理部门的交通安全数据库得到的。
边缘端包括图像处理模块、巡航计算模块以及事故检测模块，且边缘端设置于各个路段的道路交叉口位置处，该位置即为大型四岔或多岔的重要路口，也可以理解为交通事故频发的路口，边缘端与处于同一路段上的无人机实现短距离的5G通讯连接；
其中，图像处理模块，对采集的实时图像数据进行预处理，预处理的内容包括图像去噪、图像增强以及图像校正；图像去噪：使用滤波算法，例如高斯滤波器、中值滤波器，对图像进行去噪处理，以减少图像中的噪声和干扰，使图像更清晰；图像增强：应用图像增强算法，例如直方图均衡化、对比度调整以及锐化，对图像进行增强，以提升图像的视觉质量、对比度和细节；图像校正：对图像进行畸变校正，例如几何校正、透视校正，以消除由于摄像头镜头和无人机运动引起的图像畸变；
巡航计算模块，提取巡检道路数据作为指导参数，并对指导参数进行无量钢化处理，以去除各个数据的单位，方便后续进行计算，搭建数据分析模型，生成巡检频率离散系数Dcif，并依据巡检频率离散系数Dcif计算指导巡检频率预估值Ygz；
其中，计算指导巡检频率预估值Ygz的过程如下：
首先，依据指导参数，获取巡检指导系数，所依据的公式如下：
式中，/>为巡检路段的车流量，/>为巡检路段的行人密度，/>为巡检路段的实际长度，/>为巡检路段事故发生频率，分别为巡检路段的车流量、巡检路段的行人密度、巡检路段的实际长度、巡检路段事故发生频率的预设比例系数，且/>，t=/>，/>表示巡检指导系数集合内巡检指导系数/>的数量，/>为正整数；
需要说明的是，公式中对巡检路段的车流量，巡检路段的行人密度，巡检路段事故发生频率做出了加权平均计算，所得的值与累加，该处的/>作为修正值，e为一个自然常数，因巡检路段的实际长度对巡检指导系数/>的影响因素最小，故对应的预设比例系数最小，同时其为一个固定值，则需要与其他指导参数分开计算，各个指导参数均与巡检指导系数/>呈正相关，对于t的说明，举例而言，t表示每小时的编号，一般n的取值为一天中对应的24；
本领域技术人员采集多组样本数据并对每一组样本数据设定对应的预设比例系数；将设定的预设比例系数，可以是预设比例系数和采集的样本数据代入公式，任意三个公式构成三元一次方程组，将计算得到的系数进行筛选并取均值，得到的取值；系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的预设比例系数，也可说是根据实际进行预设规定的，只要不影响参数与量化后数值的比例关系即可，对于其他公式中说明的预设比例系数、常数修正系数中，也同样采取上述的说明；
其次，依据巡检指导系数，计算巡检频率离散系数Dcif，公式如下：
式中，/>为巡检指导系数集合中所有巡检指导系数的平均值；
最后，依据巡检频率离散系数Dcif计算指导巡检频率预估值Ygz，公式如下：
式中，/>为常数修正系数，其具体值可由用户调整设置，或者由分析函数拟合生成，int为取整函数，确保所得到的指导巡检频率预估值Ygz为整数，该处指导巡检频率预估值Ygz表示预估的每个月所需的巡检次数，例如：若指导巡检频率预估值Ygz为48，则一天内，每隔半个小时就需要进行巡检操作一次，该处的指导巡检频率预估值Ygz通常最小值均为50左右，故无需考虑无人机的续航性；
通过采用上述技术方案：在边缘端内设计巡航计算模块，综合考虑了各个巡检道路数据作为参考因素，确保生成的巡检指导系数的有效性，并依据巡检指导系数/>计算得出巡检频率离散系数Dcif，保证后续得出指导巡检频率预估值Ygz的准确性，经过分析计算处理后，使得无人机的巡检操作能够根据实际巡检道路的情况进行自动设定巡检频率，在同一路段利用两组无人机进行交替巡航，既保证了无人机的巡航性，也能够避免因无人机需要充电，而导致充电时间内无法兼顾安防监测操作的问题。
上述无人机端中的同一路段的两个无人机进行巡检操作的具体过程为：
在计算得到指导巡检频率预估值Ygz后，对同一路段的两个无人机发送巡航指令，使处于工作状态下的无人机按照指导巡检频率预估值Ygz，从初始位置开始进行巡检操作，该无人机按照预定的巡检轨迹，往复巡检同一路段两次后进入边缘端内置的充电口，实现充电操作，在该无人机开始巡检操作的同一时刻，原先位于充电口内的无人机进入到上一无人机的初始位置，确保初始位置，即对应路段的道路交叉口位置处始终留有无人机，持续不间断的完成数据采集工作；
事故检测模块，在同一路段上无人机进行巡检操作的条件下，根据该无人机采集到的实时图像数据，利用图像处理技术识别该路段是否发生事故，若是，则将事故图像数据和无人机的实时位置数据传输至云端；若不是，则继续进行巡检操作。
上述的图像处理技术为图像分类算法，可识别道路图像中可能存在的事故场景，例如，检测图像中的碰撞车辆、翻车、火灾或人员伤亡特征，以判断是否发生事故，根据图像分析的结果，进行事故判断，如果分析结果表明图像中存在事故场景，则表示该路段是发生事故，此时无人机的实时位置数据表示的为事故点的大致范围。
云端包括轨迹分析模块和异常预警模块，轨迹分析模块根据接收经过边缘端长距离传输的图像数据完成对运动物体的检测分析，并通过异常预警模块依据检测分析结果完成异常报警处理，若存在异常，则发出一级预警信号，若不存在异常，则不做响应，且异常预警模块还接收事故图像数据和无人机的实时位置数据，并发出二级预警信号，以通知相关工作人员；
通过采用上述技术方案：利用云端中的异常预警模块，不仅能够通过对行为轨迹分析，对违规行为进行预警，还能对巡检操作过程中出现的事故点进行预警，体现了该协同控制系统的全面性和实用性。
其中，轨迹分析模块对运动物体检测分析的具体过程为：
首先，进行运动物体的检测，将目标定位，根据目标物体身上提取的有效特征进行跟踪，且有效特征至少包括目标物体的行进速度、方向、行动路径以及停留时间；
在静态背景下，运用背景差分算法分离物体与背景，在动态背景下利用基于块的补偿和运动估算算法，提取目标的有效特征后，便于对目标物体进行下一步定位跟踪；
在取得预定量的有效特征数据后，采用智能跟踪算法进行分析，结合地面的红绿灯、实地三维模型和机器学习算法，识别目标物体的违规行为，即可疑或违法行为，如交通违规、人员滞留、闯红灯等方面；
上述的智能跟踪算法采用的是卡尔曼滤波器，卡尔曼滤波器是一种基于状态估计的滤波算法，适用于连续动态的目标跟踪，它通过不断更新目标的状态估计，结合观测信息，实现准确的目标定位和轨迹预测；机器学习算法则为监督学习，监督学习需要标注的训练数据，以指导模型进行学习；在这种情况下，使用带有标签的训练数据，如包含行为标签（如违规、正常）的图像数据或视频数据；
监督学习算法包括支持向量机（SVM）、决策树、随机森林以及深度神经网络，具体过程为，数据收集：收集包含可疑或违法行为标签的大量图像或视频数据；特征提取：从图像或视频数据中提取相关的特征，即有效特征，这些特征将作为输入提供给监督学习算法；数据标注：为收集到的数据进行标注，指定每个样本的行为标签（正常、违规）；模型训练：利用带有标签的数据，使用监督学习算法训练模型，通过优化模型参数，使其能够准确地预测图像或视频中的行为标签；模型评估和调优：使用验证集或交叉验证方法评估训练得到的模型的性能，根据评估结果，对模型进行调优，如调整模型结构、改变超参数；其中，上述对于行为标签（如违规、正常）的图像数据或视频数据而言，需要提前搭建规则引擎进行区分，预先定义一系列可疑或违法，即违规行为的规则；例如，对于交通违规行为，定义闯红灯、逆行以及超速规则；对于人员滞留行为，定义在禁止区域滞留、聚众滞留的规则，该部分的规则是借助历史数据分析和统计方法来确定得到的；若是存在可疑或违法行为，则表示存在异常，反之，则不存在异常；
在异常预警模块中，无论是发出一级预警信号还是二级预警信号，工作人员均需要进行确认后完成处理和干预操作，例如：接收一级预警信号后，确认对应路段存在可疑或违法行为，则远程呼叫交警前往存在可疑或违法行为的制定地点进行安防管制或救援工作。
需要说明的是，云端用于接收从各个边缘端发送的长距离数据，该处的云端可以看作为一个数据中心，且云端和各个边缘端均保持位置固定，不同于直接接收移动状态下的无人机端传输的数据，通常在进行数据长距离传输时利用的5G通信模块功率较大，耗电量以及通信模块本身的规格也较大，故采用边缘端进行过渡，在一定程度上保证了数据在长距离传输时的稳定性，同时也降低了无人机的能耗和搭载负重。
通过采用上述技术方案：本发明将无人机和5G技术相结合，并将应用于城市道路安防系统，通过无人机技术解决了人力资源的配比和无法全天候巡逻的问题，可及时发现道路异常问题并快速取证，通过5G技术配合边缘端进行使用，不仅扩大了无人机的控制范围与控制精度，利用边缘端作为通信过渡结构，保证了数据传输的稳定性，整个控制系统协同作业，能够为城市道路的安防提供有效预警和管理。
在申请中，所述涉及到的若干个公式均是去量纲后取其数值计算，而所述公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件，或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (8)
1.一种5G安防救援网联的无人机云边端协同控制系统，该系统包括相互协同运作的无人机端、边缘端以及云端，其特征在于：
无人机端包括若干搭载摄像头的无人机，且同一路段上的无人机至少为两台，各个摄像头均内置数据采集模块，用于采集实时图像数据、实时位置数据以及巡检道路数据；
边缘端包括图像处理模块、巡航计算模块以及事故检测模块，边缘端设置于各个路段的道路交叉口位置处，且边缘端与处于同一路段上的无人机实现5G通讯连接；
图像处理模块，对采集的实时图像数据进行预处理；
巡航计算模块，提取巡检道路数据作为指导参数，并对指导参数进行无量钢化处理，搭建数据分析模型，生成巡检频率离散系数Dcif，并依据巡检频率离散系数Dcif计算指导巡检频率预估值Ygz；
事故检测模块，在同一路段上无人机进行巡检操作的条件下，根据该无人机采集到的实时图像数据，利用图像处理技术识别该路段是否发生事故，若是，则将事故图像数据和无人机的实时位置数据传输至云端；若不是，则继续进行巡检操作；
云端包括轨迹分析模块和异常预警模块，轨迹分析模块根据接收经过边缘端传输的图像数据完成对运动物体的检测分析，并通过异常预警模块依据检测分析结果完成异常报警处理，若存在异常，则发出一级预警信号，若不存在异常，则不做响应，且异常预警模块还接收事故图像数据和无人机的实时位置数据，并发出二级预警信号。
2.根据权利要求1所述的一种5G安防救援网联的无人机云边端协同控制系统，其特征在于：巡检道路数据包括巡检路段的车流量、行人密度、路段实际长度以及路段事故发生频率，其中在同一路段上的任一定点位置处，车辆在一小时内通过的数量，即为车流量，在同一路段上的任一定点位置处，每小时通过行人的数量除以路段实际长度得到的即是行人密度，路段事故发生频率为上个月该路段发生事故的次数除以天数得到的。
3.根据权利要求2所述的一种5G安防救援网联的无人机云边端协同控制系统，其特征在于：在图像处理模块中，对采集的实时图像数据进行预处理，预处理的内容包括图像去噪、图像增强以及图像校正。
4.根据权利要求3所述的一种5G安防救援网联的无人机云边端协同控制系统，其特征在于：在巡航计算模块中，生成巡检频率离散系数Dcif的过程如下：
S101、依据指导参数，获取巡检指导系数，所依据的公式如下：
式中，/>为巡检路段的车流量，/>为巡检路段的行人密度，/>为巡检路段的实际长度，/>为巡检路段事故发生频率，/>分别为巡检路段的车流量、巡检路段的行人密度、巡检路段的实际长度、巡检路段事故发生频率的预设比例系数，且/>，t=/>，/>表示巡检指导系数集合内巡检指导系数/>的数量，/>为正整数；
S102、依据巡检指导系数，计算巡检频率离散系数Dcif，公式如下：
式中，/>为巡检指导系数集合中所有巡检指导系数/>的平均值。
5.根据权利要求4所述的一种5G安防救援网联的无人机云边端协同控制系统，其特征在于：依据巡检频率离散系数Dcif计算指导巡检频率预估值Ygz，公式如下：
式中，/>为常数修正系数，int为取整函数。
6.根据权利要求5所述的一种5G安防救援网联的无人机云边端协同控制系统，其特征在于：无人机端中同一路段的两个无人机进行巡检操作的具体过程为：在计算得到指导巡检频率预估值Ygz后，对同一路段的两个无人机发送巡航指令，使处于工作状态下的无人机按照指导巡检频率预估值Ygz，从初始位置开始进行巡检操作，该无人机按照预定的巡检轨迹，往复巡检同一路段两次后进入边缘端内置的充电口，在该无人机开始巡检操作的同一时刻，原先位于充电口内的另一无人机进入到上一无人机的初始位置。
7.根据权利要求6所述的一种5G安防救援网联的无人机云边端协同控制系统，其特征在于：轨迹分析模块对运动物体检测分析的具体过程为：进行运动物体的检测，将目标定位，根据目标物体身上提取的有效特征进行跟踪，且有效特征至少包括目标物体的行进速度、方向、行动路径以及停留时间；在静态背景下，运用背景差分算法分离物体与背景，在动态背景下利用基于块的补偿和运动估算算法，提取目标的有效特征后，对目标物体进行下一步定位跟踪；在取得预定量的有效特征数据后，采用智能跟踪算法进行分析，结合地面的红绿灯、实地三维模型和机器学习算法，识别目标物体的违规行为。
8.根据权利要求7所述的一种5G安防救援网联的无人机云边端协同控制系统，其特征在于：智能跟踪算法采用的是卡尔曼滤波器，机器学习算法采用监督学习算法，且监督学习算法采用支持向量机、决策树、随机森林以及深度神经网络中的任一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410071099.8A CN117590863B (zh) | 2024-01-18 | 2024-01-18 | 一种5g安防救援网联的无人机云边端协同控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410071099.8A CN117590863B (zh) | 2024-01-18 | 2024-01-18 | 一种5g安防救援网联的无人机云边端协同控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117590863A true CN117590863A (zh) | 2024-02-23 |
| CN117590863B CN117590863B (zh) | 2024-04-05 |
Family
ID=89910263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410071099.8A Active CN117590863B (zh) | 2024-01-18 | 2024-01-18 | 一种5g安防救援网联的无人机云边端协同控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117590863B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104332053A (zh) * | 2014-11-13 | 2015-02-04 | 深圳大学 | 一种基于小型无人机的道路交通巡检系统及其巡检方法 |
| CN105389988A (zh) * | 2015-12-07 | 2016-03-09 | 北京航空航天大学 | 一种多无人机协同的高速公路智能巡检系统 |
| CN110619276A (zh) * | 2019-08-15 | 2019-12-27 | 杭州电子科技大学 | 基于无人机移动监控的异常及暴力检测系统和方法 |
| JP2020004200A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社トラジェクトリー | 無人飛行体の制御方法 |
| CN112141336A (zh) * | 2020-10-28 | 2020-12-29 | 南京拓恒无人系统研究院有限公司 | 一种道路安全巡检无人机 |
| CN112581590A (zh) * | 2020-12-28 | 2021-03-30 | 广东工业大学 | 一种5g安防救援网联的无人机云边端协同控制方法 |
| CN115100623A (zh) * | 2022-05-16 | 2022-09-23 | 重庆大学 | 一种基于端-边-云协同的无人机辅助车联网盲区行人检测系统 |
| CN115410325A (zh) * | 2022-11-01 | 2022-11-29 | 湖南文宏电子科技有限公司 | 一种基于无人机的安防巡防系统 |
-
2024
- 2024-01-18 CN CN202410071099.8A patent/CN117590863B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104332053A (zh) * | 2014-11-13 | 2015-02-04 | 深圳大学 | 一种基于小型无人机的道路交通巡检系统及其巡检方法 |
| CN105389988A (zh) * | 2015-12-07 | 2016-03-09 | 北京航空航天大学 | 一种多无人机协同的高速公路智能巡检系统 |
| JP2020004200A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社トラジェクトリー | 無人飛行体の制御方法 |
| CN110619276A (zh) * | 2019-08-15 | 2019-12-27 | 杭州电子科技大学 | 基于无人机移动监控的异常及暴力检测系统和方法 |
| CN112141336A (zh) * | 2020-10-28 | 2020-12-29 | 南京拓恒无人系统研究院有限公司 | 一种道路安全巡检无人机 |
| CN112581590A (zh) * | 2020-12-28 | 2021-03-30 | 广东工业大学 | 一种5g安防救援网联的无人机云边端协同控制方法 |
| CN115100623A (zh) * | 2022-05-16 | 2022-09-23 | 重庆大学 | 一种基于端-边-云协同的无人机辅助车联网盲区行人检测系统 |
| CN115410325A (zh) * | 2022-11-01 | 2022-11-29 | 湖南文宏电子科技有限公司 | 一种基于无人机的安防巡防系统 |
Non-Patent Citations (1)
| Title |
|---|
| 熊勇良 等: "5G无人机与远程控制系统应用分析", 《工程技术研究》, 31 December 2020 (2020-12-31), pages 246 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117590863B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Al-qaness et al. | An improved YOLO-based road traffic monitoring system | |
| CN108345822B (zh) | 一种点云数据处理方法及装置 | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN110602449A (zh) | 一种基于视觉的大场景下施工安全智能监控系统方法 | |
| CN113378741B (zh) | 一种基于多源传感器的飞机牵引车辅助感知方法及其系统 | |
| CN115205796B (zh) | 轨道线路异物侵限监测与风险预警方法及系统 | |
| CN113658427A (zh) | 基于视觉与雷达的路况监控方法及系统、设备 | |
| CN114842643B (zh) | 视频车辆检测模型在线更新方法、装置及雷视融合系统 | |
| Cheng et al. | Moving Target Detection Technology Based on UAV Vision | |
| Lu et al. | Improved situation awareness for autonomous taxiing through self-learning | |
| Katrojwar et al. | Design of Image based Analysis and Classification using Unmanned Aerial Vehicle | |
| CN114137526A (zh) | 基于标签的车载毫米波雷达多目标检测方法和系统 | |
| CN116647651B (zh) | 一种基于北斗卫星的无人机施工监控方法及系统 | |
| CN117590863B (zh) | 一种5g安防救援网联的无人机云边端协同控制系统 | |
| Detzer et al. | Analysis of traffic safety for cyclists: The automatic detection of critical traffic situations for cyclists | |
| CN113256014B (zh) | 一种5g通信工程智能检测系统 | |
| CN114581863A (zh) | 车辆危险状态识别方法及系统 | |
| CN112861701A (zh) | 违章停车识别方法、装置、电子设备以及计算机可读介质 | |
| Rangkuti et al. | Optimization of Vehicle Object Detection Based on UAV Dataset: CNN Model and Darknet Algorithm | |
| Maity et al. | Maximising highway safety through ai-enabled detection of pedestrians and animals in v2x environments | |
| Pavlove et al. | Efficient Deep Learning Methods for Automated Visibility Estimation at Airports | |
| Kisingo et al. | Multi-Vehicle Speed Estimation Algorithm Based on Real-Time Inter-Frame Tracking Technique | |
| Pradeep et al. | Automatic railway detection and tracking inspecting system | |
| CN117274862B (zh) | 基于卷积神经网络的机场地勤车辆状态检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |