CN112581590B - 一种5g安防救援网联的无人机云边端协同控制方法 - Google Patents

一种5g安防救援网联的无人机云边端协同控制方法 Download PDF

Info

Publication number
CN112581590B
CN112581590B CN202011587981.6A CN202011587981A CN112581590B CN 112581590 B CN112581590 B CN 112581590B CN 202011587981 A CN202011587981 A CN 202011587981A CN 112581590 B CN112581590 B CN 112581590B
Authority
CN
China
Prior art keywords
map
frame
unmanned aerial
aerial vehicle
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011587981.6A
Other languages
English (en)
Other versions
CN112581590A (zh
Inventor
鲁仁全
郭裕如
邝野
林明
徐雍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011587981.6A priority Critical patent/CN112581590B/zh
Publication of CN112581590A publication Critical patent/CN112581590A/zh
Application granted granted Critical
Publication of CN112581590B publication Critical patent/CN112581590B/zh
Priority to US17/563,356 priority patent/US11670070B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种5G安防救援网联的无人机云边端协同控制方法，图像采集步骤为：单片机对检测传感器采集的数据进行姿态解算，得到图像数据；稀疏路标地图构建步骤为：控制平台对图像数据执行前端特征点匹配、局部建图与优化、回环检测和帧解算，然后生成稀疏路标地图；三维稠密地图构建步骤为：边缘云根据所述稀疏路标地图的关键帧位姿和关键帧帧观测数据生成三维稠密地图；高精度语义地图构建步骤得到高精度语义地图；无人机运动步骤为：驱动机构根据三维稠密地图或高精度语义地图调整无人机的位姿。所述5G安防救援网联的无人机云边端协同控制方法，其降低了无人机的能耗，还能降低数据输送的延迟。

Description

一种5G安防救援网联的无人机云边端协同控制方法
技术领域
本发明涉及无人机技术领域，特别是一种5G安防救援网联的无人机云边端协同控制方法。
背景技术
目前安防救援领域使用的无人机以人为手动控制为主，使用遥控器进行操控，且无人机数传和图传系统大多使用2.4G/5.8G无线频段或第四代的移动信息技术(4G)进行通信。存在控制距离受限的问题，很大程度上约束了无人机飞行范围，降低了无人机执行远距离探测或救援任务的成功率。
针对安防救援任务，无人机视频回传清晰度是非常重要的辅助，因此存在大量的智能视频分析、路径规划、地图构建等需要十分快速、准确计算能力的业务需求。同时目前主流GPS定位精度控制在米级，在一些复杂地形、着火点探测、物资精准投放等实际应用中，这样的精准度并不能最大程度贴合用户需求。同时slam(定位与地图构建)是无人机定位、导航、建图的重要技术，但市面上的方案都是在无人机上搭载高性能的嵌入式芯片来完成slam算法计算的整个步骤，价格昂贵并且功耗很大。如果在无人机端进行视频分析或数据计算，会大量消耗无人机端的算力，并且需要无人机搭载昂贵的高性能计算平台且增加了无人机的功耗。如果将计算全部放在云端，无人机要跟部署在公网上的应用服务器进行通信，必须经过无人机-无线通讯-基站-核心网-互联网-应用服务器这样的线路。因为从基站到核心网到互联网，还是传统的光纤基础设施。所以这条通信线路中基站到互联网这一段会存在较大的时延，时延在从几十毫秒到几百毫毛不等，对于处于飞行状态的无人机来说，这个延迟会影响控制和导航的实时性和精度，并且还会面临昂贵的数据传输成本。
发明内容
针对上述缺陷，本发明的目的在于提出一种5G安防救援网联的无人机云边端协同控制方法，其降低了无人机的能耗，还能降低数据输送的延迟。
为达此目的，本发明采用以下技术方案：一种5G安防救援网联的无人机云边端协同控制方法，包括图像采集步骤、稀疏路标地图构建步骤、三维稠密地图构建步骤、无人机运动步骤和高精度语义地图构建步骤；
其中，无人机包括单片机、检测传感器、控制平台和驱动机构，所述控制平台通过5G通信与边缘云双向通讯连接，所述边缘云通过5G通讯与所述核心云双向通讯连接；
所述图像采集步骤为：所述单片机对检测传感器采集的数据进行姿态解算，得到图像数据；
所述稀疏路标地图构建步骤为：所述控制平台对所述图像数据同步执行前端特征点匹配、局部建图与优化、回环检测和帧解算，然后生成稀疏路标地图；
所述三维稠密地图构建步骤为：所述边缘云根据所述稀疏路标地图的关键帧位姿和关键帧帧观测数据，得到每一个像素点的深度信息，然后执行深度信息恢复，生成三维稠密地图；
所述高精度语义地图构建步骤为：所述核心云根据所述三维稠密地图基于深度学习MASK-RCNN框架进行语义分割，得到高精度语义地图；
所述无人机运动步骤为：所述驱动机构根据所述三维稠密地图或高精度语义地图调整所述无人机的位姿。
例如，还包括4K直播流媒体步骤，其中，无人机还包括视频采集组件；
所述4K直播流媒体步骤为：首先，所述视频采集组件对实时画面进行采集后、编码和封装后生成初步视频并推流到所述边缘云；
然后所述边缘云对所述实时视频进行预处理后生成预处理视频并传输到所述核心云；
最后，所述核心云通过大数据分析和深度学习算法提取出紧急和关键的视频，并传输到灾情远程指挥终端；所述核心云还对所述预处理视频进行转码和分发，并传输到视频直播输出终端。
值得说明的是，在所述稀疏路标地图构建步骤中，所述前端特征点匹配为：
首先，从所述图像数据中提取ORB特征点；
然后，计算所述图像数据的当前帧的所有ORB特征点的BOW特征向量，设置特征点阈值对当前帧和上一帧间对应节点的所有ORB特征点进行匹配，得到前端匹配对；
最后，利用RANSAC优化所述前端匹配对，剔除不满足优化的ORB特征点；还利用所述前端匹配对进行PNP算法，计算当前帧的位姿，当无人机跟踪丢失时，根据所述当前帧的位姿进行重新定位。
可选地，在所述稀疏路标地图构建步骤中，所述局部建图与优化包括局部优化和局部建图；
所述局部优化为：当有足够所述ORB特征点时，跟踪局部地图，更新局部关键帧和ORB特征点；
然后，在局部地图中为所述当前帧找到局部匹配对，利用位姿图优化对所述当前帧进行优化，更新地图点的统计数据；
最后，进行关键帧筛选，插入关键帧为所述局部建图提供关键帧。
具体地，在所述稀疏路标地图构建步骤中，所述局部建图为：
首先，将局部关键帧插入地图；
然后，剔除掉所述地图中不满足观测要求的关键帧；
然后，执行局部Bundle Adjustment优化地图；
最后，对当前关键帧的局部共视图的关键帧进行检查并剔除冗余的局部关键帧。
优选的，在所述局部建图中，当前地图点中不满足观测要求的关键帧为：当前地图点被所有关键帧观测到的比例低于0.25时的关键帧，或当前地图点被观测次数超过连续两帧未观测到时的关键帧，或当前地图点在被观测到后连续三帧内未被继续观测到时的关键帧。
例如，在所述稀疏路标地图构建步骤中，所述回环检测为：
首先，利用共视图的关键帧与当前关键帧计算出MIN_S作为参考值，从数据库中检测满足MIN_S的候选帧，然后对所有候选帧进行几何验证；
其中，MIN_S为BOW最低的匹配分数；
然后，计算当前关键帧与候选帧的特征匹配关系，对满足局部匹配对的阈值条件的当前关键帧设为候选帧并设置对应的求解帧；
最后，对求解帧进行迭代求解相对运动，根据迭代求解相对运动关系进行重投影匹配，当匹配数量满足重投影匹配的阈值条件时，将所述候选帧设为回环帧。
值得说明的是，在所述稀疏路标地图构建步骤中，所述帧解算为：
首先，终止Bundle Adjustment优化地图，更新当前帧对应的共视图的关键帧；
然后，利用回环帧估算的当前帧的姿态，更新共视图的关键帧的姿态；
然后，根据更新后的关键帧的姿态信息矫正当前帧及该当前帧对应的共视图的关键帧对应的地图点，更新当前帧对应的共视图的关键帧；
最后，优化Essential Graph本质图，并再次启动Bundle Adjustment优化地图，更新所有关键帧的位姿，利用优化后的关键帧的位姿不断更新所有地图点，生成稀疏路标地图。
可选地，在所述三维稠密地图构建步骤中，所述深度信息恢复具体为：
A：当有新的关键帧的位姿产生时，通过极线搜索和块匹配确定投影点位置；
B：根据几何关系计算所述投影点位置三角化后的深度及不确定性；
C:将B的结果融合进上一次所述深度信息恢复的结果得到恢复后的深度信息，当恢复后的深度信息收敛时停止计算，当恢复后的深度信息不收敛时返回B。
具体地，在所述高精度语义地图构建步骤中，所述语义分割具体为：
首先，将所述三维稠密地图输入到预训练好的神经网络中，获得feature map；
然后，对feature map中每一点预设ROI,并送入RPN网络进行二值分类和BB回归，过滤掉一部分候选ROI，得到目标ROI；
然后，将所述三维稠密地图和feature map的pixel对应起来，再将feature map和固定的feature对应起来；
最后，对目标ROI进行N类别分类、BB回归和MASK生成。
本发明的有益效果：所述5G安防救援网联的无人机云边端协同控制方法，把实时性要求较高且计算较为简单的定位和轨迹姿态部分放在无人机本体，降低无人机端的算力负担；将需要GPU加速的稠密深度估计的部分放在边缘云进行计算，将带物体标签的语义地图构建放在核心云来进行，结合5G网络切片大带宽、低延时的特性，实现上述过程的数据的交互。
所述5G安防救援网联的无人机云边端协同控制方法，将slam算法中计算量较小的稀疏路标点地图构建放在无人机运行，然后将得到的稀疏路标地图的轨迹和路标点通过5G网络传输到距离最近的边缘云(5G微基站)，边缘云结合稀疏路标地图的轨迹和路标点，利用极线搜索和块匹配技术还原每个像素的深度，进而得到三维稠密地图。
另外，采用基于视觉slam算法进行三维地图的重建，将视频分析和数据计算放到边缘云运行，能够在对传感器依赖比较小、成本比较低的前提下，最大限度利用获取到的图像信息，在运动的过程中实现定位与地图构建，同时帮助无人机进行精准的自主导航和路径规划，大大降低人力成本。
无人机远程控制时，采用云边端协同的控制方法，如果安防救援的现场需要超低时延的控制，完成一些对控制时延要求比较高的操作，可以采用用户到边缘云到无人机的控制方法，这种方式可以将延迟降低到几ms左右。如果需要实现超视距的传感器数据回传以及飞行计划下发，则通过无人机-边缘云-核心云这样的回路通信，在5G覆盖的条件下就可以不受距离限制的远距离控制无人机。
导航、定位与建图中无人机将图像信息传输到边缘云，在边缘云部署slam算法的三维稠密地图构建部分，将处理结果通过5G回传给无人机的控制平台，从而将slam算法中计算复杂的部分部署在边缘云，节省无人机的算力以及功耗，利用5G低延时的特性，结合边缘计算，将slam算法需要的传感器信息传输到边缘云进行处理，边缘云可以部署高性能的嵌入式处理器，这样可以节约成本，同一个边缘云还可以承担多台无人机的计算需求。
附图说明
图1是本发明的一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
如图1所示，一种5G安防救援网联的无人机云边端协同控制方法，包括图像采集步骤、稀疏路标地图构建步骤、三维稠密地图构建步骤、无人机运动步骤和高精度语义地图构建步骤；
其中，无人机包括单片机、检测传感器、控制平台和驱动机构，所述控制平台通过5G通信与边缘云双向通讯连接，所述边缘云通过5G通讯与所述核心云双向通讯连接；
所述图像采集步骤为：所述单片机对检测传感器采集的数据进行姿态解算，得到图像数据；
所述稀疏路标地图构建步骤为：所述控制平台对所述图像数据同步执行前端特征点匹配、局部建图与优化、回环检测和帧解算，然后生成稀疏路标地图；
所述三维稠密地图构建步骤为：所述边缘云根据所述稀疏路标地图的关键帧位姿和关键帧帧观测数据，得到每一个像素点的深度信息，然后执行深度信息恢复，生成三维稠密地图；
所述高精度语义地图构建步骤为：所述核心云根据所述三维稠密地图基于深度学习MASK-RCNN框架进行语义分割，得到高精度语义地图；
所述无人机运动步骤为：所述驱动机构根据所述三维稠密地图或高精度语义地图调整所述无人机的位姿。
所述5G安防救援网联的无人机云边端协同控制方法，把实时性要求较高且计算较为简单的定位和轨迹姿态部分放在无人机本体，降低无人机端的算力负担，；将需要GPU加速的稠密深度估计的部分放在边缘云进行计算，将带物体标签的语义地图构建放在核心云来进行，结合5G网络切片大带宽、低延时的特性，实现上述过程的数据的交互。
所述5G安防救援网联的无人机云边端协同控制方法，将slam算法中计算量较小的稀疏路标点地图构建放在无人机运行，然后将得到的稀疏路标地图的轨迹和路标点通过5G网络传输到距离最近的边缘云(5G微基站)，边缘云结合稀疏路标地图的轨迹和路标点，利用极线搜索和块匹配技术还原每个像素的深度，进而得到三维稠密地图。
另外，采用基于视觉slam算法进行三维地图的重建，将视频分析和数据计算放到边缘云运行，能够在对传感器依赖比较小、成本比较低的前提下，最大限度利用获取到的图像信息，在运动的过程中实现定位与地图构建，同时帮助无人机进行精准的自主导航和路径规划，大大降低人力成本。
无人机远程控制时，采用云边端协同的控制方法，如果安防救援的现场需要超低时延的控制，完成一些对控制时延要求比较高的操作，可以采用用户到边缘云到无人机的控制方法，这种方式可以将延迟降低到几ms左右。如果需要实现超视距的传感器数据回传以及飞行计划下发，则通过无人机-边缘云-核心云这样的回路通信，在5G覆盖的条件下就可以不受距离限制的远距离控制无人机。
导航、定位与建图中无人机将图像信息传输到边缘云，在边缘云部署slam算法的三维稠密地图构建部分，将处理结果通过5G回传给无人机的控制平台，从而将slam算法中计算复杂的部分部署在边缘云，节省无人机的算力以及功耗，利用5G低延时的特性，结合边缘计算，将slam算法需要的传感器信息传输到边缘云进行处理，边缘云可以部署高性能的嵌入式处理器，这样可以节约成本，同一个边缘云还可以承担多台无人机的计算需求。
所述单片机作为飞行管理系统的核心，采用PID、ADRC、LQR、MPC或滑模控制控制飞机的稳定，所述单片机优选为STM32；所述检测传感器包括气压计、GPS、罗盘、惯性测量单元和高度计。所述控制平台作为音视频编码的核心，包括海思的hi3519A和SIM82005G模组，搭载SIM82005G模组,能实现5G通信的功能。
本设计使用了云-边-端协同的设计思路，利用边缘计算拓宽了云计算的边界，实现了超视距的控制。与传统的遥控器控制相比，本控制方法是将飞行管理系统的数据通过无人机通讯协议传输到海思的hi3519A嵌入式板上，基于MQTT协议将hi3519A中的数据上传到边缘云中的物联网平台。用户可以根据需要选择通过客户端-边缘云-无人机或客户端-核心云-边缘云-无人机两种不同的数据交互方式。
另外，在hi3519A上通过DroneKit创建python应用，基于DroneKit-python实现飞行管理系统与hi3519A的数据交互，完成对无人机状态和参数信息的编程访问，并对无人机运行和操作进行直接控制。基于paho.mqtt和MQTT协议实现hi3519A与边缘云平台通信，在hi3519A端基于Paho建立客户端，通过5G模组完成与MQTT云服务器数据交互。
具体为：首先调用client.connect()函数，连接到边缘云中的物联网平台服务器；然后通过使用client.loop_start()函数在单独的线程上读取、写入接收缓存区的数据或者发送缓冲区中的数据，并调用对应的回调函数；然后调用mavutil.mavlink_connection()函数，通过串行端口与hi3519A建立mavlink协议连接；然后调用master.recv_match()函数，设置指定类型(姿态、位置、imu、加速度计等)的消息接收，并且在尝试解析该消息之前检查该消息是否有效；重复上述流程，实时将飞行管理系统的数据上传到边缘云中的物联网平台，实时接收边缘云的下行控制指令及飞行计划。
MAVLink是一种用于飞行器上的轻量级成熟通信协议，可以通过现成的配置工具，可直接生成MSG代码。由于MQTT(Message Queuing Telemetry Transport，消息队列遥测传输协议)，是一种基于发布/订阅模式的轻量级通讯协议，该协议构建于TCP/IP协议上。MQTT作为通信协议可以以极少的代码和有限的带宽，为无人机提供实时可靠的消息服务,再加上5G的低延时特性。能够有效的提高控制的精度和实时性。作为一种低开销、低带宽占用的即时通讯协议，MQTT协议运行于TCP之上，属于应用层协议，因此只要是支持TCP/IP协议栈的地方，都可以使用MQTT。5G边缘计算云节点只需简单的配置就可以实现与无人机进行数据交互。同理，边缘云与核心云的通信也可以通过MQTT协议实现，即在有5G信号覆盖的环境下，用户可以不受距离限制实现对无人机的控制，从而有效提高救援的效率，让更多有经验的控制人员能够超远程控制飞机完成物资投放等救援任务。
上述云边端中，端是无人机，主要任务是采集视频数据；边是边缘云，边缘云可以部署在距离无人机最近的5G微基站，由高性能的嵌入式器件(arm架构)或工作站(X86架构)组成，5G微基站是轻量化，是可以快速部署的，灾区救援时可以现场部署5G微基站，边缘云的作用是便于灾区现场控制无人机，这种延迟很低，在同一个基站覆盖范围内，两个设备交流不用经过核心云；云是核心云，是指核心网，边缘云经过核心网才能实现在全国任意一个地方控制无人机，优选为阿里云，核心云是用于数据储存和进行更进一步的数据处理。
在构建稀疏路标地图的步骤中，会从图像数据中筛选出关键帧，然后从关键帧中通过特征点的几何约束，得到位姿信息和特征点数据，位姿信息就是稀疏路标地图的关键帧位姿，特征点数据就是稀疏路标地图的关键帧帧观测数据，关键帧的筛选的策略具体为：距离上一次关键帧插入至少间隔20帧；局部建图线程空闲，或者距离上一次加入关键帧过去了20帧,，如果需要关键帧插入(过了20帧)而局部建图线程忙，则发送信号给局部建图线程，停止局部地图优化，使得新的关键帧可以被及时处理；当前帧跟踪至少50个点，确保了跟踪定位的精确度；当前帧跟踪到局部建图中参考帧的地图点数量少于90％，确保关键帧之间有明显的视觉变化。
一些实施例中，还包括4K直播流媒体步骤，其中，无人机还包括视频采集组件；
所述4K直播流媒体步骤为：首先，所述视频采集组件对实时画面进行采集后、编码和封装后生成初步视频并推流到所述边缘云；
然后所述边缘云对所述实时视频进行预处理后生成预处理视频并传输到所述核心云；
最后，所述核心云通过大数据分析和深度学习算法提取出紧急和关键的视频，并传输到灾情远程指挥终端；所述核心云还对所述预处理视频进行转码和分发，并传输到视频直播输出终端。
上述步骤结合5G大带宽和4K流媒体技术，结合hi3519A芯片硬件编码模块和流媒体服务器实现远距离4K视频直播。4K直播流媒体步骤主要利用5G大带宽的特性，结合编解码、封装、流媒体协议等技术，通过边缘云做预处理，减轻核心云的压力。
边缘云对视频进行快速的预处理，删除掉一些冗余的视频数据，将相对有价值的视频数据传输到核心云；灾情远程指挥中心人员通过所述灾情远程指挥终端查看紧急和关键的视频；关心地震灾情的人能够通过手机或pc上的视频直播输出终端查看灾区的实时4K视频直播。
上述的边缘云的选择可以是多样化的，可以是距离灾区最近的未被破坏的5G基站中相对固定的边缘云，也可以是由救援车辆或人员携带的小型的可移动的具备5G通信功能的高性能嵌入式设备组成的移动的边缘云。由于地震发生的地区通常是很难预测的，这样的移动边缘云能够就近为灾区救援提供所需要的服务和云端计算功能，从而创造出一个高性能、低延时、高带宽的网络服务环境，在4K视频直播系统中，可以通过边缘计算服务器将无人机采集的视频信息推流至最优节点，保证救援人员访问的都是最佳的上行网络，减少因上行传输带来的延时问题，同时减少核心云的计算压力。
采集为视频采集组件的镜头光信号投射到sensor的感光区域后，sensor向3A算法和ISP注册回调函数，3A算法向ISP注册回调函数，ISP控制单元调度ISP基础算法库和3A算法库，实时计算并进行相应控制，输出RGB空间域的图像给视频采集组件的采集单元。
编码是将原始的视频、音频数据进行压缩编码以减少视频的体积，编码是最核心的环节之一,也是最考验设备性能的环节，上述步骤使用hi3519A上的硬件解码器加速。上述步骤采用的是H264的压缩编码方式，主要采用帧内预测压缩、帧间预测压缩、整数离散余弦变换(DCT)、CABAC压缩等方法对视频进行压缩，剔除空域和时域的冗余数据，经过压缩后的帧主要分为I帧、P帧和B帧，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法，在H.264基准类中，仅使用I帧和P帧以实现低延时。
封装的作用主要是将压缩后的编码数据转化为符合特定格式规范的数据，上述步骤将H.264编码的视频码流和AAC编码的音频码流封装成FLV格式数据。FLV包括文件头(FlvHeader)和文件体(Flv Body)两部分，其中文件体由一系列的Tag及Tag Size对组成。Tag又可以分成三类:audio、video和script，分别代表音频流、视频流和脚本流。还需将FLV格式数据转为符合特定流媒体协议规范的数据，上述步骤将FLV格式数据转化为RTMP，将视频数据以RTMP格式发送到边缘云的流媒体服务器上，然后灾区的救援人员通过访问流媒体服务器就可以收看实时流。
例如，在所述稀疏路标地图构建步骤中，所述前端特征点匹配为：
首先，从所述图像数据中提取ORB特征点；
然后，计算所述图像数据的当前帧的所有ORB特征点的BOW特征向量，设置特征点阈值对当前帧和上一帧间对应节点的所有ORB特征点进行匹配，得到前端匹配对；
最后，利用RANSAC优化所述前端匹配对，剔除不满足优化的ORB特征点；还利用所述前端匹配对进行PNP算法，计算当前帧的位姿，当无人机跟踪丢失时，根据所述当前帧的位姿进行重新定位。
所述特征点阈值为两个描述子的汉明距离小于最小距离的两倍。RANSAC是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC算法用于计算机视觉中。PnP求解算法是指通过多对3D与2D匹配点,在已知或者未知相机内参的情况下,利用最小化重投影误差来求解相机外参的算法。
值得说明的是，在所述稀疏路标地图构建步骤中，所述局部建图与优化包括局部优化和局部建图；
所述局部优化为：当有足够所述ORB特征点时，跟踪局部地图，更新局部关键帧和ORB特征点；
然后，在局部地图中为所述当前帧找到局部匹配对，利用位姿图优化对所述当前帧进行优化，更新地图点的统计数据；
最后，进行关键帧筛选，插入关键帧为所述局部建图提供关键帧。
所述ORB特征点多于50个时，代表有足够的所述ORB特征点。
所述地图点是由ORB特征点构成的地图。局部地图由所述局部建图得到，关键帧是从当前帧中选出的，局部关键帧中包含可能共视图的关键帧，共视图的关键帧指看到同一路标点的关键帧。
可选地，在所述稀疏路标地图构建步骤中，所述局部建图为：
首先，将局部关键帧插入地图；
然后，剔除掉所述地图中不满足观测要求的关键帧；
然后，执行局部Bundle Adjustment优化地图；
最后，对当前关键帧的局部共视图的关键帧进行检查并剔除冗余的局部关键帧。
Bundle Adjustment即光束法平差，它通过将相机的姿态和测量点的三维坐标作为未知参数，将影像上探测到的用于前方交会的特征点坐标作为观测数据从而进行平差得到最优的相机参数和世界点坐标。
所述局部共视图为反映帧与帧之间联系关系的一种图。在建立局部共视图时，只有帧和关键点之间有联系。所述局部共视图会记录下与每个关键帧共同地图点最多的关键帧。
当地图点的局部关键帧在其他至少三帧中重复率超过90％时，就会认为该局部关键帧为冗余的局部关键帧，然后对其进行剔除。
具体地，在所述局部建图中，当前地图点中不满足观测要求的关键帧为：当前地图点被所有关键帧观测到的比例低于0.25时的关键帧，或当前地图点被观测次数超过连续两帧未观测到时的关键帧，或当前地图点在被观测到后连续三帧内未被继续观测到时的关键帧。
当达到上述三种情况中的其中一种即可对其对应的局部关键帧进行剔除。
优选的，在所述稀疏路标地图构建步骤中，所述回环检测为：
首先，利用共视图的关键帧与当前关键帧计算出MIN_S作为参考值，从数据库中检测满足MIN_S的候选帧，然后对所有候选帧进行几何验证；
其中，MIN_S为BOW最低的匹配分数；
然后，计算当前关键帧与候选帧的特征匹配关系，对满足局部匹配对的阈值条件的当前关键帧设为候选帧并设置对应的求解帧；
最后，对求解帧进行迭代求解相对运动，根据迭代求解相对运动关系进行重投影匹配，当匹配数量满足重投影匹配的阈值条件时，将所述候选帧设为回环帧。
所述局部匹配对的阈值条件为当前关键帧和候选帧的匹配点大于40个。上述步骤进行重投影匹配的目的是找到更好的匹配对，所述重投影匹配的阈值为一个像素。
一些实施例中，在所述稀疏路标地图构建步骤中，所述帧解算为：
首先，终止Bundle Adjustment优化地图，更新当前帧对应的共视图的关键帧；
然后，利用回环帧估算的当前帧的姿态，更新共视图的关键帧的姿态；
然后，根据更新后的关键帧的姿态信息矫正当前帧及该当前帧对应的共视图的关键帧对应的地图点，更新当前帧对应的共视图的关键帧；
最后，优化Essential Graph本质图，并再次启动Bundle Adjustment优化地图，更新所有关键帧的位姿，利用优化后的关键帧的位姿不断更新所有地图点，生成稀疏路标地图。
上述步骤根据更新后的关键帧的姿态信息矫正当前帧及其共视图的关键帧对应地图点，更新当前帧和共视图关键帧，能确保当前帧与回环帧建立联系。
例如，在所述三维稠密地图构建步骤中，所述深度信息恢复具体为：
A：当有新的关键帧的位姿产生时，通过极线搜索和块匹配确定投影点位置；
B：根据几何关系计算所述投影点位置三角化后的深度及不确定性；
C:将B的结果融合进上一次所述深度信息恢复的结果得到恢复后的深度信息，当恢复后的深度信息收敛时停止计算，当恢复后的深度信息不收敛时返回B。
当恢复后的深度信息的最小方差小于0.1，代表收敛。
值得说明的是，在所述高精度语义地图构建步骤中，所述语义分割具体为：
首先，将所述三维稠密地图输入到预训练好的神经网络中，获得feature map；
然后，对feature map中每一点预设ROI,并送入RPN网络进行二值分类和BB回归，过滤掉一部分候选ROI，得到目标ROI；
然后，将所述三维稠密地图和feature map的pixel对应起来，再将feature map和固定的feature对应起来；
最后，对目标ROI进行N类别分类、BB回归和MASK生成。
所述N类别分类是深度学习中一种多分类方法；所述BB回归是自变量和因变量之间回归分析的一种方法；所述MASK是掩膜，为语义分割的结果。在需要语义分割的场景下，边缘云将得到的三维稠密地图上传到核心云，核心云结合语义分析和前述的slam结果，使无人机不仅获得环境中的几何结构信息，同时可以识别环境中独立个体，获取其位置、姿态和功能属性等语义信息，以应对复杂场景及完成更加智能的任务。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。

Claims (10)

1.一种5G安防救援网联的无人机云边端协同控制方法，其特征在于：包括图像采集步骤、稀疏路标地图构建步骤、三维稠密地图构建步骤、无人机运动步骤和高精度语义地图构建步骤；
其中，无人机包括单片机、检测传感器、控制平台和驱动机构，所述控制平台通过5G通信与边缘云双向通讯连接，所述边缘云通过5G通讯与核心云双向通讯连接；
所述图像采集步骤为：所述单片机对检测传感器采集的数据进行姿态解算，得到图像数据；
所述稀疏路标地图构建步骤为：所述控制平台对所述图像数据同步执行前端特征点匹配、局部建图与优化、回环检测和帧解算，然后生成稀疏路标地图；
所述三维稠密地图构建步骤为：所述边缘云根据所述稀疏路标地图的关键帧位姿和关键帧帧观测数据，得到每一个像素点的深度信息，然后执行深度信息恢复，生成三维稠密地图；
所述高精度语义地图构建步骤为：所述核心云根据所述三维稠密地图基于深度学习MASK-RCNN框架进行语义分割，得到高精度语义地图；
所述无人机运动步骤为：所述驱动机构根据所述三维稠密地图或高精度语义地图调整所述无人机的位姿。
2.根据权利要求1所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于：还包括4K直播流媒体步骤，其中，无人机还包括视频采集组件；
所述4K直播流媒体步骤为：首先，所述视频采集组件对实时画面进行采集后、编码和封装后生成初步视频并推流到所述边缘云；
然后所述边缘云对所述实时视频进行预处理后生成预处理视频并传输到所述核心云；
最后，所述核心云通过大数据分析和深度学习算法提取出紧急和关键的视频，并传输到灾情远程指挥终端；所述核心云还对所述预处理视频进行转码和分发，并传输到视频直播输出终端。
3.根据权利要求2所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于：在所述稀疏路标地图构建步骤中，所述前端特征点匹配为：
首先，从所述图像数据中提取ORB特征点；
然后，计算所述图像数据的当前帧的所有ORB特征点的BOW特征向量，设置特征点阈值对当前帧和上一帧间对应节点的所有ORB特征点进行匹配，得到前端匹配对；
最后，利用RANSAC优化所述前端匹配对，剔除不满足优化的ORB特征点；还利用所述前端匹配对进行PNP算法，计算当前帧的位姿，当无人机跟踪丢失时，根据所述当前帧的位姿进行重新定位。
4.根据权利要求3所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于：在所述稀疏路标地图构建步骤中，所述局部建图与优化包括局部优化和局部建图；
所述局部优化为：当有足够所述ORB特征点时，跟踪局部地图，更新局部关键帧和ORB特征点；
然后，在局部地图中为所述当前帧找到局部匹配对，利用位姿图优化对所述当前帧进行优化，更新地图点的统计数据；
最后，进行关键帧筛选，插入关键帧为所述局部建图提供关键帧。
5.根据权利要求4所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于，在所述稀疏路标地图构建步骤中，所述局部建图为：
首先，将局部关键帧插入地图；
然后，剔除掉所述地图中不满足观测要求的关键帧；
然后，执行局部Bundle Adjustment优化地图；
最后，对当前关键帧的局部共视图的关键帧进行检查并剔除冗余的局部关键帧。
6.根据权利要求5所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于：在所述局部建图中，当前地图点中不满足观测要求的关键帧为：当前地图点被所有关键帧观测到的比例低于0.25时的关键帧，或当前地图点被观测次数超过连续两帧未观测到时的关键帧，或当前地图点在被观测到后连续三帧内未被继续观测到时的关键帧。
7.根据权利要求6所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于：在所述稀疏路标地图构建步骤中，所述回环检测为：
首先，利用共视图的关键帧与当前关键帧计算出MIN_S作为参考值，从数据库中检测满足MIN_S的候选帧，然后对所有候选帧进行几何验证；
其中，MIN_S为BOW最低的匹配分数；
然后，计算当前关键帧与候选帧的特征匹配关系，对满足局部匹配对的阈值条件的当前关键帧设为候选帧并设置对应的求解帧；
最后，对求解帧进行迭代求解相对运动，根据迭代求解相对运动关系进行重投影匹配，当匹配数量满足重投影匹配的阈值条件时，将所述候选帧设为回环帧。
8.根据权利要求7所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于：在所述稀疏路标地图构建步骤中，所述帧解算为：
首先，终止Bundle Adjustment优化地图，更新当前帧对应的共视图的关键帧；
然后，利用回环帧估算的当前帧的姿态，更新共视图的关键帧的姿态；
然后，根据更新后的关键帧的姿态信息矫正当前帧及该当前帧对应的共视图的关键帧对应的地图点，更新当前帧对应的共视图的关键帧；
最后，优化Essential Graph本质图，并再次启动Bundle Adjustment优化地图，更新所有关键帧的位姿，利用优化后的关键帧的位姿不断更新所有地图点，生成稀疏路标地图。
9.根据权利要求8所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于，在所述三维稠密地图构建步骤中，所述深度信息恢复具体为：
A：当有新的关键帧的位姿产生时，通过极线搜索和块匹配确定投影点位置；
B：根据几何关系计算所述投影点位置三角化后的深度及不确定性；
C:将B的结果融合进上一次所述深度信息恢复的结果得到恢复后的深度信息，当恢复后的深度信息收敛时停止计算，当恢复后的深度信息不收敛时返回B。
10.根据权利要求9所述的一种5G安防救援网联的无人机云边端协同控制方法，其特征在于，在所述高精度语义地图构建步骤中，所述语义分割具体为：
首先，将所述三维稠密地图输入到预训练好的神经网络中，获得featuremap；
然后，对feature map中每一点预设ROI,并送入RPN网络进行二值分类和BB回归，过滤掉一部分候选ROI，得到目标ROI；
然后，将所述三维稠密地图和feature map的pixel对应起来，再将featuremap和固定的feature对应起来；
最后，对目标ROI进行N类别分类、BB回归和MASK生成。
CN202011587981.6A 2020-12-28 2020-12-28 一种5g安防救援网联的无人机云边端协同控制方法 Active CN112581590B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011587981.6A CN112581590B (zh) 2020-12-28 2020-12-28 一种5g安防救援网联的无人机云边端协同控制方法
US17/563,356 US11670070B2 (en) 2020-12-28 2021-12-28 Cloud-edge-end cooperative control method of 5G networked unmanned aerial vehicle for security rescue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011587981.6A CN112581590B (zh) 2020-12-28 2020-12-28 一种5g安防救援网联的无人机云边端协同控制方法

Publications (2)

Publication Number Publication Date
CN112581590A CN112581590A (zh) 2021-03-30
CN112581590B true CN112581590B (zh) 2021-06-08

Family

ID=75143831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011587981.6A Active CN112581590B (zh) 2020-12-28 2020-12-28 一种5g安防救援网联的无人机云边端协同控制方法

Country Status (2)

Country Link
US (1) US11670070B2 (zh)
CN (1) CN112581590B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220197893A1 (en) * 2020-12-23 2022-06-23 Here Global B.V. Aerial vehicle and edge device collaboration for visual positioning image database management and updating
US11907888B2 (en) 2020-12-23 2024-02-20 Here Global B.V. Aerial vehicle and computing device interaction for validating aerial vehicle activity
CN113701742B (zh) * 2021-08-24 2024-04-26 江苏海事职业技术学院 一种基于云端与边端融合计算的移动机器人slam方法
CN113985475B (zh) * 2021-10-28 2023-09-05 北京石油化工学院 一种基于物联网端边云协同的微地震监测数据传输方法
WO2023082257A1 (zh) * 2021-11-15 2023-05-19 深圳市大疆创新科技有限公司 无人机的控制方法、控制装置、无人机及存储介质
CN115129082B (zh) * 2022-07-13 2023-09-29 安徽大学 一种用于污染源搜索的感知探测无人机集群协同控制方法
CN115170745B (zh) * 2022-09-07 2022-12-06 武汉图科智能科技有限公司 一种基于立体视觉的无人机测距方法
CN115842823B (zh) * 2023-02-20 2023-04-28 广州机智云物联网科技有限公司 一种基于云原生的云边协同管理方法
CN116483210B (zh) * 2023-06-25 2023-09-08 安徽大学 一种基于深度学习和滑模控制的脑控无人机方法及系统
CN117037158B (zh) * 2023-10-09 2024-01-09 之江实验室 基于视频语义驱动的城市大脑云边协同计算方法及装置
CN117459178B (zh) * 2023-12-22 2024-03-26 武汉阿内塔科技有限公司 一种基于语义导向的无人机通信干扰方法和系统
CN117826141A (zh) * 2023-12-29 2024-04-05 广东工业大学 一种复杂环境下分布式无人机群的协同定位方法
CN117590863B (zh) * 2024-01-18 2024-04-05 苏州朗捷通智能科技有限公司 一种5g安防救援网联的无人机云边端协同控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108366118A (zh) * 2018-02-11 2018-08-03 苏州光之翼智能科技有限公司 一种基于云计算的分布式无人机实时测绘系统
CN108520554A (zh) * 2018-04-12 2018-09-11 无锡信捷电气股份有限公司 一种基于orb-slam2的双目三维稠密建图方法
CN110599545A (zh) * 2019-09-06 2019-12-20 电子科技大学中山学院 一种基于特征的构建稠密地图的系统
CN111599001A (zh) * 2020-05-14 2020-08-28 星际（重庆）智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018278323A1 (en) * 2017-05-31 2019-12-05 Geomni, Inc. System and method for mission planning and flight automation for unmanned aircraft
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
US20220067838A1 (en) * 2017-09-06 2022-03-03 State Farm Mutual Automobile Insurance Company Technology for Analyzing Previous Vehicle Usage to Identify Customer Opportunities
US11227435B2 (en) * 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US10909392B1 (en) * 2019-12-27 2021-02-02 Lyft, Inc. Systems and methods for computer-based labeling of sensor data captured by a vehicle
US20210117697A1 (en) * 2020-12-26 2021-04-22 Francesc Guim Bernat Edge automatic and adaptive processing activations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108366118A (zh) * 2018-02-11 2018-08-03 苏州光之翼智能科技有限公司 一种基于云计算的分布式无人机实时测绘系统
CN108520554A (zh) * 2018-04-12 2018-09-11 无锡信捷电气股份有限公司 一种基于orb-slam2的双目三维稠密建图方法
CN110599545A (zh) * 2019-09-06 2019-12-20 电子科技大学中山学院 一种基于特征的构建稠密地图的系统
CN111599001A (zh) * 2020-05-14 2020-08-28 星际（重庆）智能装备技术研究院有限公司 基于图像三维重建技术的无人机导航地图构建系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
5G新空口技术在网联无人机的应用研究;陈洪亮 等;《信息通信》;20200915(第9期);第222-223页 *
The Tactile Internet for the flight control of UAV flocks;Fabio D"Ursol 等;《2018 4th IEEE Conference on Network Softwarization and Workshops (NetSoft)》;20180913;第470-475页 *

Also Published As

Publication number Publication date
US11670070B2 (en) 2023-06-06
US20220207855A1 (en) 2022-06-30
CN112581590A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112581590B (zh) 一种5g安防救援网联的无人机云边端协同控制方法
Geraldes et al. UAV-based situational awareness system using deep learning
Wang et al. Enabling edge-cloud video analytics for robotics applications
CN105516604A (zh) 一种航拍视频分享方法和系统
CN112330664B (zh) 路面病害检测方法、装置、电子设备及存储介质
CN103595974A (zh) 一种面向城域的视频地理信息系统及方法
CN110087041B (zh) 基于5g基站的视频数据处理及传输方法和系统
CN112309068B (zh) 一种基于深度学习的森林火灾预警方法
CN110636255A (zh) 一种基于4g网络的无人机图像、视频传输分发系统及方法
CN111510774A (zh) 一种结合边缘计算与深度学习的智能终端图像压缩算法
Xia et al. WiserVR: Semantic communication enabled wireless virtual reality delivery
CN111695541A (zh) 基于机器视觉的无人机森林防火系统及方法
CN112286666B (zh) 基于回调机制的细粒度数据流可靠卸载方法
KR20240058858A (ko) 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템
CN112218051A (zh) 一种基于gis的无人机海域监测方法
CN111656356B (zh) 利用分布式神经网络的对象识别系统
CN113984037A (zh) 一种基于任意方向目标候选框的语义地图构建方法
Sun et al. Elasticedge: An intelligent elastic edge framework for live video analytics
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
CN116824480A (zh) 基于DeepStream的监控视频分析方法及系统
CN116797716A (zh) 测绘模型的实时获取方法、装置及系统
CN114170545A (zh) 一种数据处理方法、装置、存储介质及电子装置
Wang et al. Aprus: An airborne altitude-adaptive purpose-related uav system for object detection
CN103561230A (zh) 一种摄像机信息处理设备及其处理方法
Alamouri et al. The joint research project ANKOMMEN–Exploration using automated UAV and UGV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant