CN113992636B - 一种基于5g的无人机多路视频传输与拼接系统 - Google Patents

一种基于5g的无人机多路视频传输与拼接系统 Download PDF

Info

Publication number
CN113992636B
CN113992636B CN202111260703.4A CN202111260703A CN113992636B CN 113992636 B CN113992636 B CN 113992636B CN 202111260703 A CN202111260703 A CN 202111260703A CN 113992636 B CN113992636 B CN 113992636B
Authority
CN
China
Prior art keywords
video data
unit
video
data
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111260703.4A
Other languages
English (en)
Other versions
CN113992636A (zh
Inventor
周强
王龙杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111260703.4A priority Critical patent/CN113992636B/zh
Publication of CN113992636A publication Critical patent/CN113992636A/zh
Application granted granted Critical
Publication of CN113992636B publication Critical patent/CN113992636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于5G的无人机多路视频传输与拼接系统，其包括4个子系统：无人机视频数据采集传输子系统，5G公网通信子系统，服务器子系统与用户子系统；本发明实现了构建无人机多路视频实时传输与视频拼接技术结合的系统整体架构，利用5G技术高速率、大带宽、低时延的特点，实现对多路视频数据的高实时性传输，并于服务器端实现高质量的视频拼接技术，解决了无人机视频传输业务在4G通信条件下存在的发射设备功率受限、功耗大、续航时间受限、通信链路带宽受限等问题，为用户提供无人机视频采集业务的新的解决方案，实现多路视频流的实时视频拼接，并为日后无人机视频采集业务的发展提供支撑。

Description

一种基于5G的无人机多路视频传输与拼接系统
技术领域
本发明涉及航空通信技术领域，针对在无人机多路视频数据采集与拼接的应用场景中目前存在的问题，提出了一种基于5G的无人机多路视频传输与拼接系统设计方案。
背景技术
无人机由于其体积小、机动性强等特点，无人机在视频探测领域的应用拥有可靠的应用前景与广阔的商业投资价值。但同时，在4G通信条件下，无人机视频传输具有以下几点问题：(1)无人机承重有限，视频采集设备首先考虑重量问题；(2)发射设备功率受限，当承载本地分组网络数据包时，有较大的延迟，会对于指令下发与无人机控制造成干扰；(3)无人机功耗较大，续航时间受限制；(4)无人机视频传输对通信速率与带宽有着相当高的要求，4G网络情况下无人机传输1080P高清图像会出现延时、卡顿、数据丢失等问题。
5G技术因其技术本身的优势，能较好地解决现有的无人机视频传输系统中诸多方面的问题。它打破了传统技术的限制，大大提高了传输速率，有效降低了时延，使得利用无人机进行高清视频图像的实时传输成为可能。同时利用5G网络能让无人机更加节约电力资源，可有效延长了无人机的续航时间。另外，由于5G网络广连接的特性，无人机的视频图像传输距离也可进一步增大。
目前国内涌现许多对5G环境下的无人机视频传输业务的研究，其中关于无人机视频传输与视频拼接技术结合研究越来越多。然而其中缺少对5G环境下无人机多路视频实时传输与视频拼接技术结合的系统整体架构研究。
总之，目前在4G通信条件下，无人机视频传输存在着承载有限、发射设备功率受限、功耗大、续航时间受限、通信链路带宽受限等问题。5G技术的出现可以较好解决上述问题，而目前国内缺少对5G环境下无人机多路视频实时传输与视频拼接技术结合的系统整体架构研究。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于5G的无人机多路视频传输与拼接系统，该系统实现了构建无人机多路视频实时传输与视频拼接技术结合的系统整体架构，利用5G技术高速率、大带宽、低时延的特点，实现对多路视频数据的高实时性传输，并于服务器端实现高质量的视频拼接技术，解决了无人机视频传输业务在4G通信条件下存在的发射设备功率受限、功耗大、续航时间受限、通信链路带宽受限等问题，为用户提供无人机视频采集业务的新的解决方案，实现多路视频流的实时视频拼接，并为日后无人机视频采集业务的发展提供支撑。
本发明技术解决方案：一种基于5G的无人机多路视频传输与拼接系统，包括4个子系统：无人机视频数据采集传输子系统，5G公网通信子系统，服务器子系统与用户子系统。
所述的无人机视频数据采集传输子系统包括十二个单元：视频数据采集单元A、视频数据采集单元B、视频数据采集单元C、视频数据采集单元D、帧同步管理单元、视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D、视频数据整流单元、RTMP协议处理单元与5G通信信号输出接口单元；
所述的视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D，共四路视频数据采集单元，在同一摄影环境的四个不同角度，实现将环境转换为原始视频数据，并分别将原始视频数据传送至视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，所述的摄影环境定义为可被摄像机进行影像记录的环境；
所述的帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的管理。在系统上电时，帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的初始化。当四路视频数据采集单元均完成初始化工作时，帧同步管理单元控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据。此操作便于服务器子系统中视频拼接单元的功能实现；
所述的视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，共四路视频数据编码单元，采用H.265编码方式，将各自接收到的来自对应视频数据采集单元的源视频数据进行视频图像编码，并分别将编码后的视频数据传送至视频数据整流单元；
所述的视频数据整流单元，实现对来自四路视频数据编码单元的编码视频数据进行整流处理，整合为一路数据，并将数据转发至RTMP协议处理单元；
所述的RTMP协议处理单元按照RTMP协议，实现对来自视频数据整流单元的数据进行分包，加帧处理，将数据转换成RTMP协议数据流并传送至5G通信信号输出接口单元；
所述的5G通信信号输出接口单元实现对来自RTMP协议处理单元的数据进行信源/信道编码、调制与上变频等处理，将RTMP协议数据流转换成可用于5G通信的射频信号，并将信号辐射至5G公网通信子系统；
所述的5G公网通信子系统包括五个单元：5G公网通信基站单元A，5G公网通信核心网单元，5G终端远程控制单元，5G公网通信基站单元B与5G公网通信交换机单元；
所述的5G公网通信基站单元A实现接收来自无人机视频数据采集传输子系统的5G通信信号输出接口单元辐射的可用于5G通信的射频信号，通过低噪声放大，下变频，模数转换等处理，将可用于5G通信的射频信号转换为RTMP协议数据流并传送至5G公网通信核心网单元；
所述的5G公网通信核心网单元实现接收来自5G公网通信基站单元A的RTMP协议数据流并传送至5G公网通信交换机单元；
所述的5G终端远程控制单元通过发送控制指令，依次经过5G公网通信基站单元B，5G公网通信核心网单元与5G公网通信基站单元A，最终到达无人机视频数据采集传输子系统从而实现对无人机视频数据采集传输子系统的控制；
所述的5G公网通信交换机单元实现接收来自5G公网通信核心网单元的RTMP协议数据流并传送至服务器子系统的交换机接口单元；
所述的服务器子系统包括二十个单元：交换机接口单元、RTMP协议解析单元、视频数据分流单元、视频数据解码单元A、视频数据解码单元B、视频数据解码单元C、视频数据解码单元D、视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D、视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D、视频拼接单元、拼接视频编码单元、拼接视频封装单元、存储器单元与用户接口单元；
所述的交换机接口单元实现接收来自5G公网通信子系统的RTMP协议数据流并传送至RTMP协议解析单元；
所述的RTMP协议解析单元对RTMP协议数据流进行解帧，组包处理，得到经过视频数据整流单元整合得到的一路数据并传送至视频数据分流单元；
所述的视频数据分流单元实现对来自RTMP协议解析单元的一路数据进行数据分流处理，得到四路经H.265编码处理的视频数据，并分别将四路数据传送至视频数据解码单元A、视频数据解码单元B、视频数据解码单元C与视频数据解码单元D；
所述的视频数据解码单元A、视频数据解码单元B、视频数据解码单元C与视频数据解码单元D实现将四路来自视频数据分流单元，经H.265编码处理的视频数据进行解码处理，得到四路YUV格式的视频数据并传送至视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D；
所述的视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D实现将来自四路视频数据解码单元的YUV格式视频数据进行格式转换，得到四路RGB格式的视频数据，并分别传送至视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D；
所述的视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D实现将来自四路视频数据格式转换单元的RGB格式视频数据置入缓冲区，为视频拼接单元提供拼接数据源，平滑视频拼接单元与视频数据分流单元的数据处理速度差，防止视频数据丢失；
所述的视频拼接单元按照视频拼接算法，实现对四路存储在视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C与视频数据缓冲区单元D的RGB格式视频数据进行拼接处理，得到一路拼接视频数据，并传送至拼接视频编码单元；
所述的视频拼接算法包括以下几个步骤：
步骤1：利用视频拼接子算法，分别对A路视频数据与B路视频数据，C路视频数据与D路视频数据进行拼接处理，分别得到中间视频拼接数据A，中间视频拼接数据B；
步骤2：利用视频拼接子算法，对中间视频拼接数据A，中间视频拼接数据B进行拼接处理，得到一路拼接后的拼接视频数据。
所述的视频拼接子算法包括以下几个部分：
第一部分为实现视频数据A与视频数据B的首帧视频图像数据拼接，步骤如下：
步骤1：灰度图转换
将视频数据A与视频数据B的首帧视频图像数据的RGB图像格式转换为灰度图格式，得到经过灰度图转换后的视频数据A与视频数据B的首帧视频图像数据；
步骤2：特征点提取
利用SURF算法对步骤1得到的经过灰度图转换后的视频数据A与视频数据B的首帧视频图像数据进行特征点的提取，得到视频数据A与视频数据B的首帧视频图像数据中的特征点数据。根据待拼接的视频的具体情况，包括分辨率、重叠区域范围，调整Hessian矩阵的阈值，以在提取足够多数量的特征点同时，减少计算时间；
步骤3：特征点粗匹配
对步骤2利用SURF算法得到的视频数据A与视频数据B中的首帧视频图像数据的特征点数据进行粗匹配，得到首帧视频图像数据的特征点粗匹配数据；
步骤4：Lowe’s算法筛选匹配
Lowe’s算法为使用最近邻距离与次近邻距离的比值来选取匹配点对，对错误的匹配而言，该比值较大，则通过设置该比值的阈值实现对匹配对的筛选。通过采用Lowe’s算法，筛选步骤3中得到的首帧视频图像数据的特征点粗匹配数据，通过设置最近邻距离与次近邻距离的比值的阈值，实现对错误的匹配对的剔除，得到经过匹配对初步筛选后的首帧视频图像数据的特征点匹配对数据；
步骤5：PROSAC算法剔除误匹配
PROSAC算法采用半随机方法，对所有点对进行质量评价计算Q值，然后根据Q值降序排列，每次只在高质量点对中经验模型假设与验证，从而大大降低了计算量。通过采用PROSAC算法，再次筛选步骤4中经过匹配对初步筛选后的首帧视频图像数据的特征点匹配对数据，实现对错误的匹配对的再次剔除，得到经过匹配对再次筛选后的首帧视频图像数据的特征点匹配对数据；
步骤6：坐标变换
计算出步骤5中得到的经过匹配对再次筛选后的首帧视频图像数据的特征点匹配对数据的单应性矩阵H，再利用单应性矩阵H，计算出经过单应性变换后的图像的四个角点的坐标，再对图像做整体的变换，即完成将一幅图像映射到另一幅图像的空间的变换操作；再将变换后的图像拷贝到该空间，从而完成图像的配准，得到经过坐标变换后的首帧视频图像数据；
步骤7：图像融合
(1)寻找最佳缝合线进行融合
对步骤6得到的经过坐标变换后的首帧视频图像数据，计算各点的P值，并挑选最佳的缝合线。最佳缝合线的定义由颜色和几何结构两个方面展开，在颜色上，两块重叠区域在缝合线处颜色的像素值之差应该达到最小；在几何结构上，两块重叠区域在缝合线处的几何结构应该最为相近，其中用灰度图像的梯度来表征几何结构，使用Sobel算子来计算灰度图像的梯度；最后基于重叠区域两点像素值之差以及灰度图梯度之差作为判断标准，记为该点的P值；
最佳缝合线的挑选从图像重叠区域第一行开始，由该行各点作为各条缝合线的起点，然后向下一行拓展缝合线，取下一行中与该点相邻的三个点中P值最小的点作为拓展点，将该点加入到当前缝合线中，并将该点的P值加入到当前缝合线的总P值中；在遇到重叠区域边界时，则做相应的修改，从下一行相邻的两个点中做选择；当各条缝合线拓展到最后一行时，取各条缝合线中总P值最小的那条作为最终选取的最佳缝合线；
(2)对图像过渡区域的亮度进行调整
在完成最佳融合线的选择后，采用加权平均法对两图像在重叠部分的像素值按照设定的权重相加，用相加后的像素值替代原像素值，从而得到首帧视频图像数据的拼接图像数据；
(3)获取拼接图像数据的分辨率信息
在得到首帧视频图像数据的拼接图像数据后，获取拼接图像数据的分辨率信息，并用于第二部分的步骤1中。
第二部分为实现视频数据A与视频数据B的后续帧视频图像数据拼接，步骤如下：
步骤1：后续帧拼接
对于视频数据A与视频数据B的首帧视频图像数据的拼接按照步骤1至步骤7进行后已经完成，在此时已经能得到图像参数，所述图像参数的定义为步骤7中所得到的拼接图像数据的分辨率信息，以及融合时用的最佳缝合线信息；之后直接使用图像参数对后续各帧图像进行拼接。
所述的拼接视频编码单元实现将来自视频拼接单元的拼接视频数据进行H.265编码处理，并将编码处理后的拼接视频数据传送至拼接视频封装单元；
所述的拼接视频封装单元实现将经编码处理后的拼接视频数据进行MP4/FLV格式封装，并将封装后的视频数据传送至存储器单元；
所述的存储器单元实现将来自拼接视频封装单元的视频数据存储与存储器中。当用户子系统通过RTMP拉流申请调用视频数据时，存储器单元中的MP4/FLV格式视频数据将传送至用户接口单元，等待调用；
所述的用户接口单元提供RTMP协议接口，实现与用户子系统之间的信息传输。当用户子系统通过RTMP拉流申请调用视频数据时，用户接口单元将存储器单元转发的MP4/FLV格式视频数据传送至用户子系统；
所述的用户子系统包括三个单元：RTMP协议拉流接口单元、拼接视频播放器单元与拼接视频缓存区单元；
所述的RTMP协议拉流接口单元提供RTMP协议接口，实现与服务器子系统之间的信息传输。当用户子系统通过RTMP拉流申请调用视频数据时，RTMP协议拉流接口单元与服务器子系统的用户接口单元建立连接，传达请求并获取来自用户接口单元的MP4/FLV格式视频数据，并将其传送至拼接视频播放器单元；
所述的拼接视频播放器单元实现将来自RTMP协议拉流接口单元的MP4/FLV格式视频数据进行解码，播放拼接视频，并将拼接视频数据传送至拼接视频缓存区；
所述的拼接视频缓存区单元实现对来自拼接视频播放器单元的拼接视频数据的缓存。缓存的视频数据时长可根据缓存区的设置进行变化。
本发明与现有技术相比的优点在于：
(1)本发明提供的基于5G的无人机多路视频传输与拼接系统，其通过5G公网通信子系统，实现对多路视频数据在5G通信条件下的高实时性传输，该系统不再受图传电台的限制，可实现只要有5G信号覆盖就能传输的目标，极大地延长了传输距离。
(2)本发明提供的基于5G的无人机多路视频传输与拼接系统，其通过服务器子系统中的视频拼接单元，结合本发明提供的视频拼接算法，实现对多路视频数据的高速传输与拼接，便于用户实现对无人机视频采集业务的高实时性，高可靠性监测观察，为用户提供了新的无人机视频传输解决方案。
(3)本发明提供的基于5G的无人机多路视频传输与拼接系统，其通过帧同步管理单元、视频数据整流单元与视频数据分流单元，实现对多路视频数据的初始帧采集时间与视频数据通道分类进行控制，滤除了因初始帧采集时间差带来的视频拼接问题，以及简化了视频拼接后续帧工作的进行。
附图说明
图1为本发明提供的基于5G的无人机多路视频传输与拼接系统功能结构图；
图2为本发明无人机视频数据采集传输子系统功能结构图；
图3为本发明5G公网通信子系统功能结构图；
图4为本发明服务器子系统功能结构图
图5为本发明视频拼接算法流程图；
图6为本发明视频拼接子算法流程图；
图7为本发明用户子系统功能结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明一种基于5G的无人机多路视频传输与拼接系统实现了构建无人机多路视频实时传输与视频拼接技术结合的系统整体架构，利用5G技术高速率、大带宽、低时延的特点，实现对多路视频数据的高实时性传输，并于服务器端实现高质量的视频拼接技术，解决了无人机视频传输业务在4G通信条件下存在的发射设备功率受限、功耗大、续航时间受限、通信链路带宽受限等问题，为用户提供无人机视频采集业务的新的解决方案，实现多路视频流的实时视频拼接，并为日后无人机视频采集业务的发展提供支撑。
如图1所示，本发明一种基于5G的无人机多路视频传输与拼接系统包括4个子系统：无人机视频数据采集传输子系统1，5G公网通信子系统2，服务器子系统3与用户子系统4。
无人机视频数据采集传输子系统1的功能为：1)视频数据采集：实现采集同一环境的四个不同角度的视频数据。2)视频数据处理：对采集得到的多路视频数据进行H.265编码，对编码后的多路视频数据整合为一路视频流，并通过RTMP协议处理将一路视频流转换为RTMP协议数据流。3)视频数据传输：实现将RTMP协议数据流通过5G通信信号输出接口单元16转换为可用于5G通信的射频信号，并传输至5G公网通信子系统2。4)帧同步管理：在系统上电时，实现对视频数据采集单元A5、视频数据采集单元B6、视频数据采集单元C7与视频数据采集单元D8的初始化。当四路视频数据采集单元均完成初始化工作时，帧同步管理单元9控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据。便于服务器子系统3中视频拼接单元37的功能实现。
无人机视频数据采集传输子系统1实现采集多路视频数据，并通过5G公网通信子系统2，服务器子系统3，实现对多路视频数据的高实时性传输与拼接，为无人机视频传输应用场景提供了新的解决方案。并且无人机视频数据采集传输子系统1通过帧同步管理单元、视频数据整流单元与视频数据分流单元，实现对多路视频数据的初始帧采集时间与视频数据通道分类进行控制，滤除了因初始帧采集时间差带来的视频拼接问题，以及简化了视频拼接后续帧工作的进行。
如图2所示，无人机视频数据采集传输子系统1包括十二个单元：视频数据采集单元A5、视频数据采集单元B6、视频数据采集单元C7、视频数据采集单元D8、帧同步管理单元9、视频数据编码单元A10、视频数据编码单元B11、视频数据编码单元C12、视频数据编码单元D13、视频数据整流单元14、RTMP协议处理单元15与5G通信信号输出接口单元16。
所述的视频数据采集单元A5、视频数据采集单元B6、视频数据采集单元C7与视频数据采集单元D8，共四路视频数据采集单元，在同一摄影环境的四个不同角度，实现将环境转换为原始视频数据，并分别将原始视频数据传送至视频数据编码单元A10、视频数据编码单元B11、视频数据编码单元C12、视频数据编码单元D13，所述的摄影环境定义为可被摄像机进行影像记录的环境；
所述帧同步管理单元9实现对视频数据采集单元A5、视频数据采集单元B6、视频数据采集单元C7与视频数据采集单元D8的管理。在系统上电时，帧同步管理单元9实现对视频数据采集单元A5、视频数据采集单元B6、视频数据采集单元C7与视频数据采集单元D8的初始化。当四路视频数据采集单元均完成初始化工作时，帧同步管理单元9控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据。此操作便于服务器子系统3中视频拼接单元37的功能实现；
所述视频数据编码单元A10、视频数据编码单元B11、视频数据编码单元C12、视频数据编码单元D13，共四路视频数据编码单元，采用H.265编码方式，将各自接收到的来自对应视频数据采集单元的源视频数据进行视频图像编码，并分别将编码后的视频数据传送至视频数据整流单元14；
所述视频数据整流单元14，实现对来自四路视频数据编码单元的编码视频数据进行整流处理，整合为一路数据，并将数据转发至RTMP协议处理单元15；
所述RTMP协议处理单元15按照RTMP协议，实现对来自视频数据整流单元14的数据进行分包，加帧处理，将数据转换成RTMP协议数据流并传送至5G通信信号输出接口单元16；
所述5G通信信号输出接口单元16实现对来自RTMP协议处理单元15的数据进行信源/信道编码、调制与上变频等处理，将RTMP协议数据流转换成可用于5G通信的射频信号，并将信号辐射至5G公网通信子系统2。
5G公网通信子系统2的功能为：1)数据转发：实现接收来自无人机视频数据采集传输子系统1的可用于5G通信的射频信号，将其转换为RTMP协议数据流，并通过5G公网通信核心网单元18，5G公网通信交换机单元21将数据转发至服务器子系统3。2)子系统控制：通过5G终端远程控制单元19发送控制指令，依次经过5G公网通信基站单元B20，5G公网通信核心网单元18与5G公网通信基站单元A17，最终到达无人机视频数据采集传输子系统1从而实现对无人机视频数据采集传输子系统1的控制。
5G公网通信子系统2利用5G公网通信技术，实现对多路视频数据在5G通信条件下的高实时性传输，该系统不再受图传电台的限制，可实现只要有5G信号覆盖就能传输的目标，极大地延长了传输距离。
如图3所示，所述5G公网通信子系统2包括五个单元：5G公网通信基站单元A17，5G公网通信核心网单元18，5G终端远程控制单元19，5G公网通信基站单元B20与5G公网通信交换机单元21。
所述的5G公网通信基站单元A17实现接收来自无人机视频数据采集传输子系统1的5G通信信号输出接口单元16辐射的可用于5G通信的射频信号，通过低噪声放大，下变频，模数转换等处理，将可用于5G通信的射频信号转换为RTMP协议数据流并传送至5G公网通信核心网单元18；
所述的5G公网通信核心网单元18实现接收来自5G公网通信基站单元A17的RTMP协议数据流并传送至5G公网通信交换机单元21。
所述的5G终端远程控制单元19通过发送控制指令，依次经过5G公网通信基站单元B20，5G公网通信核心网单元18与5G公网通信基站单元A17，最终到达无人机视频数据采集传输子系统1从而实现对无人机视频数据采集传输子系统1的控制。
所述的5G公网通信交换机单元21实现接收来自5G公网通信核心网单元18的RTMP协议数据流并传送至服务器子系统3的交换机接口单元22。
服务器子系统3的功能为：1)视频数据处理：服务器子系统3实现接收来自5G公网通信子系统的RTMP协议数据流，通过RTMP协议解析，视频分流，H.265解码，视频格式转换，将RTMP协议数据流转换为四路RGB格式视频数据，并存储于视频数据缓冲区单元A33、视频数据缓冲区单元B34、视频数据缓冲区单元C35、视频数据缓冲区单元D36中。2)视频拼接：服务器子系统3结合视频拼接算法，实现对四路存储在视频数据缓冲区单元A33、视频数据缓冲区单元B34、视频数据缓冲区单元C35与视频数据缓冲区单元D36的RGB格式视频数据进行拼接处理，得到一路拼接视频数据。3)视频数据传输：服务器子系统3通过拼接视频编码单元38与拼接视频封装单元39，将一路拼接视频数据转换为MP4/FLV格式视频数据，存储于存储器单元40，等待用户子系统4通过用户接口单元41进行调用。
服务器子系统3结合本发明提供的视频拼接算法，实现对多路视频数据的高速传输与拼接，便于用户实现对无人机视频采集业务的高实时性，高可靠性监测观察，为用户提供了新的无人机视频传输解决方案。
如图4所示，所述服务器子系统3，包括二十个单元：交换机接口单元22、RTMP协议解析单元23、视频数据分流单元24、视频数据解码单元A25、视频数据解码单元B26、视频数据解码单元C27、视频数据解码单元D28、视频数据格式转换单元A29、视频数据格式转换单元B30、视频数据格式转换单元C31、视频数据格式转换单元D32、视频数据缓冲区单元A33、视频数据缓冲区单元B34、视频数据缓冲区单元C35、视频数据缓冲区单元D36、视频拼接单元37、拼接视频编码单元38、拼接视频封装单元39、存储器单元40与用户接口单元41。
所述的交换机接口单元22实现接收来自5G公网通信子系统2的RTMP协议数据流并传送至RTMP协议解析单元23；
所述的RTMP协议解析单元23对RTMP协议数据流进行解帧，组包处理，得到经过视频数据整流单元14整合得到的一路数据并传送至视频数据分流单元24。
所述的视频数据分流单元24实现对来自RTMP协议解析单元23的一路数据进行数据分流处理，得到四路经H.265编码处理的视频数据，并分别将四路数据传送至视频数据解码单元A25、视频数据解码单元B26、视频数据解码单元C27与视频数据解码单元D28。
所述的视频数据解码单元A25、视频数据解码单元B26、视频数据解码单元C27与视频数据解码单元D28实现将四路来自视频数据分流单元24，经H.265编码处理的视频数据进行解码处理，得到四路YUV格式的视频数据并传送至视频数据格式转换单元A29、视频数据格式转换单元B30、视频数据格式转换单元C31、视频数据格式转换单元D32；
所述的视频数据格式转换单元A29、视频数据格式转换单元B30、视频数据格式转换单元C31、视频数据格式转换单元D32实现将来自四路视频数据解码单元的YUV格式视频数据进行格式转换，得到四路RGB格式的视频数据，并分别传送至视频数据缓冲区单元A33、视频数据缓冲区单元B34、视频数据缓冲区单元C35、视频数据缓冲区单元D36；
所述的视频数据缓冲区单元A33、视频数据缓冲区单元B34、视频数据缓冲区单元C35、视频数据缓冲区单元D36实现将来自四路视频数据格式转换单元的RGB格式视频数据置入缓冲区，为视频拼接单元37提供拼接数据源，平滑视频拼接单元37与视频数据分流单元24的数据处理速度差，防止视频数据丢失；
所述的视频拼接单元37按照视频拼接算法，实现对四路存储在视频数据缓冲区单元A33、视频数据缓冲区单元B34、视频数据缓冲区单元C35与视频数据缓冲区单元D36的RGB格式视频数据进行拼接处理，得到一路拼接视频数据，并传送至拼接视频编码单元38；
所述的视频拼接算法，如图5所示，包括以下几个步骤：
步骤1：利用视频拼接子算法，分别对A路视频数据与B路视频数据，C路视频数据与D路视频数据进行拼接处理，分别得到中间视频拼接数据A，中间视频拼接数据B；
步骤2：利用视频拼接子算法，对中间视频拼接数据A，中间视频拼接数据B进行拼接处理，得到一路拼接后的拼接视频数据。
如图6所示，所述视频拼接核心子算法包括以下几个部分：
第一部分为实现视频数据A与视频数据B的首帧视频图像数据拼接，步骤如下：
步骤1：灰度图转换
将视频数据A与视频数据B的首帧视频图像数据的RGB图像格式转换为灰度图格式，得到经过灰度图转换后的视频数据A与视频数据B的首帧视频图像数据。
步骤2：特征点提取
利用SURF算法对步骤1得到的经过灰度图转换后的视频数据A与视频数据B的首帧视频图像数据进行特征点的提取，得到视频数据A与视频数据B的首帧视频图像数据中的特征点数据。根据待拼接的视频的具体情况，包括分辨率、重叠区域范围，调整Hessian矩阵的阈值，以在提取足够多数量的特征点同时，减少计算时间；
步骤3：特征点粗匹配
对步骤2利用SURF算法得到的视频数据A与视频数据B中的首帧视频图像数据的特征点数据进行粗匹配，得到首帧视频图像数据的特征点粗匹配数据。
步骤4：Lowe’s算法筛选匹配
Lowe’s算法为使用最近邻距离与次近邻距离的比值来选取匹配点对，对错误的匹配而言，该比值较大，则通过设置该比值的阈值实现对匹配对的筛选。通过采用Lowe’s算法，筛选步骤3中得到的首帧视频图像数据的特征点粗匹配数据，通过设置最近邻距离与次近邻距离的比值的阈值，实现对错误的匹配对的剔除，得到经过匹配对初步筛选后的首帧视频图像数据的特征点匹配对数据。
步骤5：PROSAC算法剔除误匹配
PROSAC算法采用半随机方法，对所有点对进行质量评价计算Q值，然后根据Q值降序排列，每次只在高质量点对中经验模型假设与验证，从而大大降低了计算量。通过采用PROSAC算法，再次筛选步骤4中经过匹配对初步筛选后的首帧视频图像数据的特征点匹配对数据，实现对错误的匹配对的再次剔除，得到经过匹配对再次筛选后的首帧视频图像数据的特征点匹配对数据。
步骤6：坐标变换
坐标变换是基于单应性变换实现的。对图像做单应性变换，即将图像中各点从一个空间映射到另一个空间，见式(1)：
Figure BDA0003325433650000121
其中H为单应性矩阵，为一个3×3的矩阵，即
Figure BDA0003325433650000122
hij(1≤i≤3,1≤j≤3)为单应性矩阵第i行第j列的元素，/>
Figure BDA0003325433650000123
为坐标变换后的坐标点，/>
Figure BDA0003325433650000124
为坐标变换前的坐标点。
对于一个二维的点来说，其坐标为(x,y,1)T，那么由公式(1)可以得到：
x'＝h11x+h12y+h13 (2)
y′＝h21x+h22y+h23 (3)
1＝h31x+h32y+h33 (4)
将公式(2)与公式(3)各除以公式(4)，可以得到：
Figure BDA0003325433650000131
Figure BDA0003325433650000132
对公式(5)和(6)两式右边的分子分母各乘以常数k，得到：
Figure BDA0003325433650000133
Figure BDA0003325433650000134
令：
h′ij＝khij (9)
那么此时也就可以得到一个新的单应性矩阵。由此可知，单应性矩阵并没有9个自由度，仅有8个自由度。此时可以用事先固定1个自由度的方式来实现。此处有(10)式：
h33＝1 (10)
将公式(10)带入公式(7)与公式(8)可以得到：
h11x+h12y+h13-h31xx′-h32yx′-h33x′＝0 (11)
h21x+h22y+h23-h31xy′-h32yy′-h33y′＝0 (12)
令：
h＝(h11，h12，h13，h21，h22，h23，h31，h32，1)T (13)
将公式(13)带入公式(11)与公式(12)，可以得到：
Figure BDA0003325433650000135
基于上式，计算出步骤5中得到的经过匹配对再次筛选后的首帧视频图像数据的特征点匹配对数据的单应性矩阵H，再利用单应性矩阵H，由式(1)可以计算出经过单应性变换后的图像的四个角点的坐标，再对图像做整体的变换，即完成了将一幅图像映射到另一幅图像的空间的变换操作。再将变换后的图像拷贝到该空间从而完成图像的配准，得到经过坐标变换后的首帧视频图像数据；
步骤7：图像融合
(1)寻找最佳缝合线进行融合
对步骤6得到的经过坐标变换后的首帧视频图像数据，计算各点的P值，并挑选最佳的缝合线。最佳缝合线的定义由颜色和几何结构两个方面展开。在颜色上，两块重叠区域在缝合线处颜色的像素值之差应该达到最小；在几何结构上，两块重叠区域在缝合线处的几何结构应该最为相近，其中用灰度图像的梯度来表征几何结构，使用Sobel算子来计算灰度图像的梯度。最后基于重叠区域两点像素值之差以及灰度图梯度之差来作为判断标准，记为该点的P值。以重叠点O1(x，y)和O2(x，y)为例，可以得到以下式子：
Dcolor(x，y)＝|O1(x，y)-O2(x，y)| (15)
Figure BDA0003325433650000141
Figure BDA0003325433650000142
式(15)、(16)与(17)中Dcolor(x，y)为重叠区域两点像素值之差，Dgradient(x，y)为灰度图梯度之差，
Figure BDA0003325433650000143
为重叠点O1(x，y)和O2(x，y)在x方向上的梯度，
Figure BDA0003325433650000144
为重叠点O1(x，y)和O2(x，y)在y方向上的梯度。
最佳缝合线的挑选从图像重叠区域第一行开始，由该行各点作为各条缝合线的起点，然后向下一行拓展缝合线，取下一行中与该点相邻的三个点中P值最小的点作为拓展点，将该点加入到当前缝合线中，并将该点的P值加入到当前缝合线的总P值中。在遇到重叠区域边界时，则做相应的修改，从下一行相邻的两个点中做选择。当各条缝合线拓展到最后一行时，取各条缝合线中总P值最小的那条作为最终选取的最佳缝合线。
(2)对图像过渡区域的亮度进行调整
在完成最佳融合线的选择后，采用加权平均法对两图像在重叠部分的像素值按照设定的权重相加，用相加后的像素值替代原像素值，从而得到首帧视频图像数据的拼接图像数据；其中，图像的权重是根据图像中当前点到重叠区域左端的距离与重叠区域总宽的比来定义的，见式(18)与式(19)。
Figure BDA0003325433650000145
β＝1-α (19)
式(18)、(19)中，α为视频数据A的首帧视频图像数据的权重，β为视频数据B的首帧视频图像数据的权重，pw为该点所在行的重叠区域的宽度，j为当前列位置，s为该行重叠区域最左端位置。
在重叠区域一点的像素值由式(20)得到。
pv＝α×pl+β×pr (20)
式(20)中，pv为该点的最终像素值，pl为视频数据A的首帧视频图像数据的像素值，pr为视频数据B的首帧视频图像数据的像素值。
(3)获取拼接图像数据的分辨率信息
在得到首帧视频图像数据的拼接图像数据后，获取拼接图像数据的分辨率信息，并用于第二部分的步骤1中。
第二部分为实现视频数据A与视频数据B的后续帧视频图像数据拼接，步骤如下：
步骤1：后续帧拼接
对于视频数据A与视频数据B的首帧视频图像数据的拼接按照步骤1至步骤7进行后已经完成，在此时已经能得到图像参数，所述图像参数的定义为步骤7中所得到的拼接图像数据的分辨率信息，以及融合时用的最佳缝合线信息；之后直接使用图像参数对后续各帧图像进行拼接。
所述的拼接视频编码单元38实现将来自视频拼接单元37的拼接视频数据进行H.265编码处理，并将编码处理后的拼接视频数据传送至拼接视频封装单元39；
所述的拼接视频封装单元39实现将经编码处理后的拼接视频数据进行MP4/FLV格式封装，得到MP4/FLV格式视频数据，并将封装后的视频数据传送至存储器单元40；
所述的存储器单元40实现将来自拼接视频封装单元39的视频数据存储与存储器中。当用户子系统4通过RTMP拉流申请调用视频数据时，存储器单元40中的MP4/FLV格式视频数据将传送至用户接口单元41，等待调用；
所述的用户接口单元41提供RTMP协议接口，实现与用户子系统4之间的信息传输。当用户子系统4通过RTMP拉流申请调用视频数据时，用户接口单元41将存储器单元40转发的MP4/FLV格式视频数据传送至用户子系统4。
用户子系统实现调用存储位于服务器子系统3的存储器单元40的MP4/FLV格式视频数据，并实现对拼接视频数据的播放与缓存。
如图7所示，用户子系统4包括三个单元：RTMP协议拉流接口单元42、拼接视频播放器单元43与拼接视频缓存区单元44。
所述的RTMP协议拉流接口单元42提供RTMP协议接口，实现与服务器子系统3之间的信息传输。当用户子系统4通过RTMP拉流申请调用视频数据时，RTMP协议拉流接口单元42与服务器子系统3的用户接口单元41建立连接，传达请求并获取来自用户接口单元41的MP4/FLV格式视频数据，并将其传送至拼接视频播放器单元43；
所述的拼接视频播放器单元43实现将来自RTMP协议拉流接口单元42的MP4/FLV格式视频数据进行解码，播放拼接视频，并将拼接视频数据传送至拼接视频缓存区；
所述的拼接视频缓存区单元44实现对来自拼接视频播放器单元43的拼接视频数据的缓存。缓存的视频数据时长可根据缓存区的设置进行变化。
实施例：
本实施例基于5G的无人机多路视频传输与拼接系统，其中无人机视频数据采集传输子系统1处，视频数据采集单元A5、视频数据采集单元B6、视频数据采集单元C7、视频数据采集单元D8通过四台4k摄像头设备实现；帧同步管理单元9通过微控制器设备实现；视频数据编码单元A10、视频数据编码单元B11、视频数据编码单元C12、视频数据编码单元D13、视频数据整流单元14、RTMP协议处理单元15通过高清推流设备实现；5G通信信号输出接口单元16通过5G设备与5G天线实现；服务器子系统3通过一台高性能服务器实现，其中服务器内部移植Linux系统，并基于ffmpeg与openCV实现视频数据编解码、推拉流、视频拼接等处理；用户子系统34可根据用户需求灵活变换，通常以计算机，智能手机等形式实现。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围之内。

Claims (7)

1.一种基于5G的无人机多路视频传输与拼接系统，其特征在于：包括4个子系统，无人机视频数据采集传输子系统，5G公网通信子系统，服务器子系统与用户子系统；
无人机视频数据采集传输子系统的功能为：1）视频数据采集：实现采集同一环境的四个不同角度的视频数据；2）视频数据处理：对采集得到的多路视频数据进行H.265编码，对编码后的多路视频数据整合为一路视频流，并通过RTMP协议处理将一路视频流转换为RTMP协议数据流；3）视频数据传输：实现将RTMP协议数据流通过5G通信信号输出接口单元转换为可用于5G通信的射频信号，并传输至5G公网通信子系统；4）帧同步管理：在系统上电时，实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的初始化；当四路视频数据采集单元均完成初始化工作时，帧同步管理单元控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据，便于服务器子系统中视频拼接单元的功能实现；
5G公网通信子系统的功能为：1）数据转发：实现接收来自无人机视频数据采集传输子系统的可用于5G通信的射频信号，将其转换为RTMP协议数据流，并通过5G公网通信核心网单元，5G公网通信交换机单元将数据转发至服务器子系统；2）子系统控制：通过5G终端远程控制单元发送控制指令，依次经过5G公网通信基站单元B，5G公网通信核心网单元与5G公网通信基站单元A，最终到达无人机视频数据采集传输子系统从而实现对无人机视频数据采集传输子系统的控制；
服务器子系统的功能为：1）视频数据处理：服务器子系统实现接收来自5G公网通信子系统的RTMP协议数据流，通过RTMP协议解析，视频分流，H.265解码，视频格式转换，将RTMP协议数据流转换为四路RGB格式视频数据，并存储于视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D中；2）视频拼接：服务器子系统结合视频拼接算法，实现对四路存储在视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C与视频数据缓冲区单元D的RGB格式视频数据进行拼接处理，得到一路拼接视频数据；3）视频数据传输：服务器子系统通过拼接视频编码单元与拼接视频封装单元，将一路拼接视频数据转换为MP4/FLV格式视频数据，存储于存储器单元，等待用户子系统通过用户接口单元进行调用；
用户子系统实现调用存储位于服务器子系统的存储器单元的MP4/FLV格式视频数据，并实现对拼接视频数据的播放与缓存。
2.根据权利要求1所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述无人机视频数据采集传输子系统包括十二个单元：视频数据采集单元A、视频数据采集单元B、视频数据采集单元C、视频数据采集单元D、帧同步管理单元、视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D、视频数据整流单元、RTMP协议处理单元与5G通信信号输出接口单元；
所述视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D，共四路视频数据采集单元，在同一摄影环境的四个不同角度，实现将环境转换为原始视频数据，并分别将原始视频数据传送至视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，所述的摄影环境定义为可被摄像机进行影像记录的环境；
所述帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的管理；在系统上电时，帧同步管理单元实现对视频数据采集单元A、视频数据采集单元B、视频数据采集单元C与视频数据采集单元D的初始化；当四路视频数据采集单元均完成初始化工作时，帧同步管理单元控制四路视频数据采集单元实现原始视频数据的采集，并且控制四路视频数据采集单元的初始帧采集时间的时间差控制在10毫秒以内，初始帧的定义为每一路视频数据采集单元采集并传送至视频数据编码单元的第一帧图片数据，此操作便于服务器子系统中视频拼接单元的功能实现；
所述视频数据编码单元A、视频数据编码单元B、视频数据编码单元C、视频数据编码单元D，共四路视频数据编码单元，采用H.265编码方式，将各自接收到的来自对应视频数据采集单元的源视频数据进行视频图像编码，并分别将编码后的视频数据传送至视频数据整流单元；
所述视频数据整流单元，实现对来自四路视频数据编码单元的编码视频数据进行整流处理，整合为一路数据，并将数据转发至RTMP协议处理单元；
所述RTMP协议处理单元按照RTMP协议，实现对来自视频数据整流单元的数据进行分包，加帧处理，将数据转换成RTMP协议数据流并传送至5G通信信号输出接口单元；
所述的5G通信信号输出接口单元实现对来自RTMP协议处理单元的数据进行信源/信道编码、调制与上变频处理，将RTMP协议数据流转换成用于5G通信的射频信号，并将信号辐射至5G公网通信子系统。
3.根据权利要求1所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述5G公网通信子系统包括五个单元：5G公网通信基站单元A、5G公网通信核心网单元、5G终端远程控制单元、5G公网通信基站单元B与5G公网通信交换机单元；
所述5G公网通信基站单元A实现接收来自无人机视频数据采集传输子系统的5G通信信号输出接口单元辐射的5G通信信号，通过低噪声放大，下变频，模数转换等处理，将5G通信信号转换为RTMP协议数据流并传送至5G公网通信核心网单元；
所述5G公网通信核心网单元实现接收来自5G公网通信基站单元A的RTMP协议数据流并传送至5G公网通信交换机单元；
所述5G终端远程控制单元通过发送控制指令，依次经过5G公网通信基站单元B，5G公网通信核心网单元与5G公网通信基站单元A，最终到达无人机视频数据采集传输子系统从而实现对无人机视频数据采集传输子系统的控制；
所述5G公网通信交换机单元实现接收来自5G公网通信核心网单元的RTMP协议数据流并传送至服务器子系统的交换机接口单元。
4.根据权利要求1所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述服务器子系统包括二十个单元：交换机接口单元、RTMP协议解析单元、视频数据分流单元、视频数据解码单元A、视频数据解码单元B、视频数据解码单元C、视频数据解码单元D、视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D、视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D、视频拼接单元、拼接视频编码单元、拼接视频封装单元、存储器单元与用户接口单元；
所述交换机接口单元实现接收来自5G公网通信子系统的RTMP协议数据流并传送至RTMP协议解析单元；
所述RTMP协议解析单元对RTMP协议数据流进行解帧，组包处理，得到经过视频数据整流单元整合得到的一路数据并传送至视频数据分流单元；
所述视频数据分流单元实现对来自RTMP协议解析单元的一路数据进行数据分流处理，得到四路经H.265编码处理的视频数据，并分别将四路数据传送至视频数据解码单元A、视频数据解码单元B、视频数据解码单元C与视频数据解码单元D；
所述视频数据解码单元A、视频数据解码单元B、视频数据解码单元C与视频数据解码单元D实现将四路来自视频数据分流单元，经H.265编码处理的视频数据进行解码处理，得到四路YUV格式的视频数据并传送至视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D；
所述视频数据格式转换单元A、视频数据格式转换单元B、视频数据格式转换单元C、视频数据格式转换单元D实现将来自四路视频数据解码单元的YUV格式视频数据进行格式转换，得到四路RGB格式的视频数据，并分别传送至视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D；
所述视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C、视频数据缓冲区单元D实现将来自四路视频数据格式转换单元的RGB格式视频数据置入缓冲区，为视频拼接单元提供拼接数据源，平滑视频拼接单元与视频数据分流单元的数据处理速度差，防止视频数据丢失；
所述视频拼接单元按照视频拼接算法，实现对四路存储在视频数据缓冲区单元A、视频数据缓冲区单元B、视频数据缓冲区单元C与视频数据缓冲区单元D的RGB格式视频数据进行拼接处理，得到一路拼接视频数据，并传送至拼接视频编码单元；
所述拼接视频编码单元实现将来自视频拼接单元的拼接视频数据进行H.265编码处理，并将编码处理后的拼接视频数据传送至拼接视频封装单元；
所述拼接视频封装单元实现将经编码处理后的拼接视频数据进行MP4/FLV格式封装，并将封装后的视频数据传送至存储器单元；
所述存储器单元实现将来自拼接视频封装单元的视频数据存储与存储器中，当用户子系统通过RTMP拉流申请调用视频数据时，存储器单元中的MP4/FLV格式视频数据将传送至用户接口单元，等待调用；
所述用户接口单元提供RTMP协议接口，实现与用户子系统之间的信息传输，当用户子系统通过RTMP拉流申请调用视频数据时，用户接口单元将存储器单元转发的MP4/FLV格式视频数据传送至用户子系统。
5.根据权利要求4所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述视频拼接算法包括以下几个步骤：
步骤1：利用视频拼接子算法，分别对A路视频数据与B路视频数据，C路视频数据与D路视频数据进行拼接处理，分别得到中间视频拼接数据A，中间视频拼接数据B；
步骤2：利用视频拼接子算法，对中间视频拼接数据A，中间视频拼接数据B进行拼接处理，得到一路拼接后的拼接视频数据。
6.根据权利要求5所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述视频拼接子算法包括以下几个部分：
第一部分为实现视频数据A与视频数据B的首帧视频图像数据拼接，步骤如下：
步骤1：灰度图转换
将视频数据A与视频数据B的首帧视频图像数据的RGB图像格式转换为灰度图格式，得到经过灰度图转换后的视频数据A与视频数据B的首帧视频图像数据；
步骤2：特征点提取
利用SURF算法对步骤1得到的经过灰度图转换后的视频数据A与视频数据B的首帧视频图像数据进行特征点的提取，得到视频数据A与视频数据B的首帧视频图像数据中的特征点数据，根据待拼接的视频的具体情况，包括分辨率、重叠区域范围，调整Hessian矩阵的阈值，以在提取足够多数量的特征点同时，减少计算时间；
步骤3：特征点粗匹配
对步骤2利用SURF算法得到的视频数据A与视频数据B中的首帧视频图像数据的特征点数据进行粗匹配，得到首帧视频图像数据的特征点粗匹配数据；
步骤4：Lowe’s算法筛选匹配
Lowe’s算法为使用最近邻距离与次近邻距离的比值来选取匹配点对，对错误的匹配而言，该比值较大，则通过设置该比值的阈值实现对匹配对的筛选，通过采用Lowe’s算法，筛选步骤3中得到的首帧视频图像数据的特征点粗匹配数据，通过设置最近邻距离与次近邻距离的比值的阈值，实现对错误的匹配对的剔除，得到经过匹配对初步筛选后的首帧视频图像数据的特征点匹配对数据；
步骤5：PROSAC算法剔除误匹配
PROSAC算法采用半随机方法，对所有点对进行质量评价计算Q值，然后根据Q值降序排列，每次只在高质量点对中经验模型假设与验证，降低计算量；通过采用PROSAC算法，再次筛选步骤4中经过匹配对初步筛选后的首帧视频图像数据的特征点匹配对数据，实现对错误的匹配对的再次剔除，得到经过匹配对再次筛选后的首帧视频图像数据的特征点匹配对数据；
步骤6：坐标变换
计算出步骤5中得到的经过匹配对再次筛选后的首帧视频图像数据的特征点匹配对数据的单应性矩阵H，再利用单应性矩阵H，计算出经过单应性变换后的图像的四个角点的坐标，再对图像做整体的变换，即完成将一幅图像映射到另一幅图像的空间的变换操作；再将变换后的图像拷贝到该空间，从而完成图像的配准，得到经过坐标变换后的首帧视频图像数据；
步骤7：图像融合
（1）寻找最佳缝合线进行融合
对步骤6得到的经过坐标变换后的首帧视频图像数据，计算各点的P值，并挑选最佳的缝合线，最佳缝合线的定义由颜色和几何结构两个方面展开，在颜色上，两块重叠区域在缝合线处颜色的像素值之差应该达到最小；在几何结构上，两块重叠区域在缝合线处的几何结构应该最为相近，其中用灰度图像的梯度来表征几何结构，使用Sobel算子来计算灰度图像的梯度；最后基于重叠区域两点像素值之差以及灰度图梯度之差作为判断标准，记为该点的P值；
最佳缝合线的挑选从图像重叠区域第一行开始，由该行各点作为各条缝合线的起点，然后向下一行拓展缝合线，取下一行中与该点相邻的三个点中P值最小的点作为拓展点，将该点加入到当前缝合线中，并将该点的P值加入到当前缝合线的总P值中；在遇到重叠区域边界时，则做相应的修改，从下一行相邻的两个点中做选择；当各条缝合线拓展到最后一行时，取各条缝合线中总P值最小的那条作为最终选取的最佳缝合线；
（2）对图像过渡区域的亮度进行调整
在完成最佳融合线的选择后，采用加权平均法对两图像在重叠部分的像素值按照设定的权重相加，用相加后的像素值替代原像素值，得到首帧视频图像数据的拼接图像数据；
（3）获取拼接图像数据的分辨率信息
在得到首帧视频图像数据的拼接图像数据后，获取拼接图像数据的分辨率信息，并用于第二部分的步骤1中；
第二部分为实现视频数据A与视频数据B的后续帧视频图像数据拼接，步骤如下：
步骤1：后续帧拼接
对于视频数据A与视频数据B的首帧视频图像数据的拼接按照步骤1至步骤7进行后已经完成，在此时已经能得到图像参数，所述图像参数的定义为步骤7中所得到的拼接图像数据的分辨率信息及融合时用的最佳缝合线信息；之后直接使用图像参数对后续各帧图像进行拼接。
7.根据权利要求4所述的基于5G的无人机多路视频传输与拼接系统，其特征在于：所述用户子系统包括三个单元：RTMP协议拉流接口单元、拼接视频播放器单元与拼接视频缓存区单元；
所述的RTMP协议拉流接口单元提供RTMP协议接口，实现与服务器子系统之间的信息传输；当用户子系统通过RTMP拉流申请调用视频数据时，RTMP协议拉流接口单元与服务器子系统的用户接口单元建立连接，传达请求并获取来自用户接口单元的MP4/FLV格式视频数据，并将其传送至拼接视频播放器单元；
所述拼接视频播放器单元实现将来自RTMP协议拉流接口单元的MP4/FLV格式视频数据进行解码，播放拼接视频，并将拼接视频数据传送至拼接视频缓存区；
所述拼接视频缓存区单元实现对来自拼接视频播放器单元的拼接视频数据的缓存，缓存的视频数据时长根据缓存区的设置进行变化。
CN202111260703.4A 2021-10-28 2021-10-28 一种基于5g的无人机多路视频传输与拼接系统 Active CN113992636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111260703.4A CN113992636B (zh) 2021-10-28 2021-10-28 一种基于5g的无人机多路视频传输与拼接系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111260703.4A CN113992636B (zh) 2021-10-28 2021-10-28 一种基于5g的无人机多路视频传输与拼接系统

Publications (2)

Publication Number Publication Date
CN113992636A CN113992636A (zh) 2022-01-28
CN113992636B true CN113992636B (zh) 2023-07-07

Family

ID=79743153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111260703.4A Active CN113992636B (zh) 2021-10-28 2021-10-28 一种基于5g的无人机多路视频传输与拼接系统

Country Status (1)

Country Link
CN (1) CN113992636B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117939134B (zh) * 2024-03-22 2024-05-31 鹰驾科技（深圳）有限公司 一种无线视频通信方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN108200394A (zh) * 2018-01-04 2018-06-22 广东容祺智能科技有限公司 一种支持多路图像传输的无人机系统
CN112714281A (zh) * 2020-12-19 2021-04-27 西南交通大学 一种基于5g网络的无人机机载vr视频采集传输装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616621B2 (en) * 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
WO2021010495A1 (ko) * 2019-07-12 2021-01-21 엘지전자 주식회사 항공 제어 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN108200394A (zh) * 2018-01-04 2018-06-22 广东容祺智能科技有限公司 一种支持多路图像传输的无人机系统
CN112714281A (zh) * 2020-12-19 2021-04-27 西南交通大学 一种基于5g网络的无人机机载vr视频采集传输装置

Also Published As

Publication number Publication date
CN113992636A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US11330265B2 (en) Encoder, decoder, encoding method, and decoding method
US20100238264A1 (en) Three dimensional video communication terminal, system, and method
EP3404913B1 (en) A system comprising a video camera and a client device and a method performed by the same
US11677975B2 (en) Encoder, decoder, encoding method, and decoding method
CN101640784A (zh) 一种在视频会议系统中控制多画面复合的控制装置及方法
US10742977B2 (en) Encoder, encoding method, decoder, and decoding method
US11800093B2 (en) Encoder, encoding method, decoder, and decoding method
US9036707B2 (en) Method and apparatus for finding a motion vector
CN113992636B (zh) 一种基于5g的无人机多路视频传输与拼接系统
US11457240B2 (en) Encoder, decoder, encoding method, and decoding method
CN111343455B (zh) 编码方式确定方法及装置
WO2019109955A1 (zh) 帧间预测方法、装置及终端设备
US11297329B2 (en) Image encoding method, transmission method, and image encoder
US20230169767A1 (en) Wireless transmission system and transmitting control device
US20110074923A1 (en) Image transmission system of network-based robot and method thereof
CN109889792A (zh) 一种基于v2x的车载视频直传方法
CN116320465A (zh) 一种视频压缩与传输方法、装置、网关及存储介质
US20080144950A1 (en) Image Encoding Method and Associated Image Decoding Method, Encoding Device, and Decoding Device
CN113727073A (zh) 一种基于云计算实现车载视频监控的方法及系统
US11716470B2 (en) Encoder, decoder, encoding method, and decoding method
CN219018898U (zh) 一种便携式超高清视频编码装置
JP2002344925A (ja) 動画像配信装置、動画像配信方法、動画像配信プログラム、動画像配信プログラム格納媒体、画像指定装置、画像指定方法、画像指定プログラム及び画像指定プログラム格納媒体及び動画像提供システム
US20240223793A1 (en) Encoder, decoder, encoding method, and decoding method
JP2001218206A (ja) 画像符号化装置及び方法、媒体
CN114051095A (zh) 视频流数据的远程处理方法以及拍摄系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant