CN110730335A - 无人机视频实时预览方法及其系统 - Google Patents

无人机视频实时预览方法及其系统 Download PDF

Info

Publication number
CN110730335A
CN110730335A CN201911111970.8A CN201911111970A CN110730335A CN 110730335 A CN110730335 A CN 110730335A CN 201911111970 A CN201911111970 A CN 201911111970A CN 110730335 A CN110730335 A CN 110730335A
Authority
CN
China
Prior art keywords
video
aerial vehicle
unmanned aerial
packet
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911111970.8A
Other languages
English (en)
Inventor
李晨亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN CITY GAOJU INNOVATION TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
SHENZHEN CITY GAOJU INNOVATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN CITY GAOJU INNOVATION TECHNOLOGY DEVELOPMENT Co Ltd filed Critical SHENZHEN CITY GAOJU INNOVATION TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201911111970.8A priority Critical patent/CN110730335A/zh
Publication of CN110730335A publication Critical patent/CN110730335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种无人机视频实时预览方法及其系统，方法包括：无人机采集视频流信息；对采集到的视频流信息进行封装，得到H264视频；对所述H264视频进行RTP分包处理，得到分包视频；将所述分包视频通过UDP传输至移动终端；移动终端对接收到的分包视频进行GPU解码，得到视频帧；对所述视频帧进行OpenGL离屏渲染，得到渲染视频；对所述渲染视频进行显示。采用RTP分包策略，可以很好地降低UDP传输过程中的丢包率，保证视频图像传输质量；采用GPU解码可以保证整个系统稳定、高效运行；用OpenGL进行离屏渲染，在保证实时性的前提下，对视频帧进行渲染处理，能呈现更清晰的视频效果。

Description

无人机视频实时预览方法及其系统
技术领域
本发明涉及视频处理技术领域，尤其涉及一种无人机视频实时预览方法及其系统。
背景技术
近年来，随着无人机行业的迅猛发展，无人机应用于航拍领域也日臻完善，无人机航拍影像具有高清晰、大比例尺、小面积、高现势性的优点，因而受到越来越多航拍爱好者的喜爱。在使用无人机进行航拍的过程中，无人机拍摄图像的实时预览直接影响用户体验，因此，高清晰度的实时预览方式显得十分重要。
发明内容
本发明所要解决的技术问题是：提供一种无人机视频实时预览方法及其系统，具有延时低、清晰度高的特点。
为了解决上述技术问题，本发明采用的技术方案为：
一种无人机视频实时预览方法，包括：
无人机采集视频流信息；
对采集到的视频流信息进行封装，得到H264视频；
对所述H264视频进行RTP分包处理，得到分包视频；
将所述分包视频通过UDP传输至移动终端；
移动终端对接收到的分包视频进行GPU解码，得到视频帧；
对所述视频帧进行OpenGL离屏渲染，得到渲染视频；
对所述渲染视频进行显示。
本发明采用的另一技术方案为：
一种无人机视频实时预览系统，包括：
无人机；
移动终端；
视频实时预览程序，所述视频实时预览程序在运行时实现以下步骤：
无人机采集视频流信息；
对采集到的视频流信息进行封装，得到H264视频；
对所述H264视频进行RTP分包处理，得到分包视频；
将所述分包视频通过UDP传输至移动终端；
移动终端对接收到的分包视频进行GPU解码，得到视频帧；
对所述视频帧进行OpenGL离屏渲染，得到渲染视频；
对所述渲染视频进行显示。
本发明的有益效果在于：采用RTP分包策略，可以很好地降低UDP传输过程中的丢包率，保证视频图像传输质量；采用GPU解码可以保证整个系统稳定、高效运行；用OpenGL进行离屏渲染，在保证实时性的前提下，对视频帧进行渲染处理，能呈现更清晰的视频效果。
附图说明
图1为本发明实施例一的无人机视频实时预览方法的流程图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于：UDP传输与RTP分包策略相结合，具有传输速度快，且能很好地降低传输过程中的丢包率，保证视频图像传输的质量。
请参照图1，一种无人机视频实时预览方法，包括：
无人机采集视频流信息；
对采集到的视频流信息进行封装，得到H264视频；
对所述H264视频进行RTP分包处理，得到分包视频；
将所述分包视频通过UDP传输至移动终端；
移动终端对接收到的分包视频进行GPU解码，得到视频帧；
对所述视频帧进行OpenGL离屏渲染，得到渲染视频；
对所述渲染视频进行显示。
从上述描述可知，本发明的有益效果在于：采用RTP分包策略，可以很好地降低UDP传输过程中的丢包率，保证视频图像传输质量；采用GPU解码可以保证整个系统稳定、高效运行；用OpenGL进行离屏渲染，在保证实时性的前提下，对视频帧进行渲染处理，能呈现更清晰的视频效果。
进一步的，所述无人机采集视频流信息之前还包括：无人机接收移动终端发送的视频采集指令。
进一步的，所述移动终端对接收到的分包视频进行GPU解码，得到视频帧之前还包括：移动终端对接收到的分包视频进行缓存处理。
进一步的，所述对所述视频帧进行OpenGL离屏渲染，得到渲染视频之前还包括：对所述视频帧进行缓存处理。
本发明涉及的另一技术方案为：
一种无人机视频实时预览系统，包括：
无人机；
移动终端；
视频实时预览程序，所述视频实时预览程序在运行时实现以下步骤：
无人机采集视频流信息；
对采集到的视频流信息进行封装，得到H264视频；
对所述H264视频进行RTP分包处理，得到分包视频；
将所述分包视频通过UDP传输至移动终端；
移动终端对接收到的分包视频进行GPU解码，得到视频帧；
对所述视频帧进行OpenGL离屏渲染，得到渲染视频；
对所述渲染视频进行显示。
进一步的，所述视频实时预览程序在运行时还实现以下步骤：
所述无人机采集视频流信息之前还包括：无人机接收移动终端发送的视频采集指令。
进一步的，所述视频实时预览程序在运行时还实现以下步骤：
所述移动终端对接收到的分包视频进行GPU解码，得到视频帧之前还包括：移动终端对接收到的分包视频进行缓存处理。
进一步的，所述视频实时预览程序在运行时还实现以下步骤：
所述对所述视频帧进行OpenGL离屏渲染，得到渲染视频之前还包括：对所述视频帧进行缓存处理。
请参照图1，本发明的实施例一为：
一种无人机视频实时预览方法，包括如下步骤：
S1、无人机采集视频流信息。步骤S1之前还包括：无人机接收移动终端发送的视频采集指令。
S2、对采集到的视频流信息进行封装，得到H264视频。
S3、对所述H264视频进行RTP分包处理，得到分包视频。
S4、将所述分包视频通过UDP传输至移动终端。UDP为面向非连接的传输层协议，具有传输速度快但数据传输不可靠等特点。在视频数据传输过程中能达到实时性的要求，但是数据不可靠，丢包会造成画面模糊失真等情况，故采用RTP分包策略相结合，该方式能很好地降低传输过程中的丢包率，保证图像传输的质量。
S5、移动终端对接收到的分包视频进行GPU解码，得到视频帧。软解码是在软件层面编写解码算法，利用CPU通用计算处理形式达到解码目的，这个过程中需要大量调用CPU寄存器，CPU要进行取指令、翻译指令，过程比较繁琐，在对高清视频流解码的过程中，需要消耗大量的CPU资源，会造成整个系统处理效率不高，发热死机等情况。GPU中存在大量专用视频解码电路，可以支持调用硬件解码器，将解码层面放到CPU中，CPU的负担为0，可以保证整个系统稳定高效地运行。步骤S5之前还包括：移动终端对接收到的分包视频进行缓存处理。
S6、对所述视频帧进行OpenGL离屏渲染，得到渲染视频。摄像头采集的视频流是真实的场景，但是画面的清晰程度取决于摄像头的像素、光照强度和环境等因素。像素低的摄像头和在复杂的环境下视频会变得模糊，这时候就需要对视频流的帧进行渲染处理。用OpenGL进行离屏渲染，在保证实时性的前提下，对视频帧进行渲染处理，能呈现更清晰的视频效果。步骤S6之前还包括：对所述视频帧进行缓存处理。
S7、对所述渲染视频进行显示。最终在移动终端上进行视频预览。
本发明的实施例二为：
一种无人机视频实时预览系统，与实施例一的方法相对应，一种无人机视频实时预览系统，包括：
无人机；
移动终端；
视频实时预览程序，所述视频实时预览程序在运行时实现以下步骤：
无人机采集视频流信息；
对采集到的视频流信息进行封装，得到H264视频；
对所述H264视频进行RTP分包处理，得到分包视频；
将所述分包视频通过UDP传输至移动终端；
移动终端对接收到的分包视频进行GPU解码，得到视频帧；
对所述视频帧进行OpenGL离屏渲染，得到渲染视频；
对所述渲染视频进行显示。
进一步的，所述视频实时预览程序在运行时还实现以下步骤：
所述无人机采集视频流信息之前还包括：无人机接收移动终端发送的视频采集指令。
进一步的，所述视频实时预览程序在运行时还实现以下步骤：
所述移动终端对接收到的分包视频进行GPU解码，得到视频帧之前还包括：移动终端对接收到的分包视频进行缓存处理。
进一步的，所述视频实时预览程序在运行时还实现以下步骤：
所述对所述视频帧进行OpenGL离屏渲染，得到渲染视频之前还包括：对所述视频帧进行缓存处理。
综上所述，本发明提供的一种无人机视频实时预览方法及其系统，可以进行图像的高速传输，且丢包率低；在保证实时性的前提下，可以得到更清晰的视频效果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种无人机视频实时预览方法，其特征在于，包括：
无人机采集视频流信息；
对采集到的视频流信息进行封装，得到H264视频；
对所述H264视频进行RTP分包处理，得到分包视频；
将所述分包视频通过UDP传输至移动终端；
移动终端对接收到的分包视频进行GPU解码，得到视频帧；
对所述视频帧进行OpenGL离屏渲染，得到渲染视频；
对所述渲染视频进行显示。
2.根据权利要求1所述的无人机视频实时预览方法，其特征在于，所述无人机采集视频流信息之前还包括：无人机接收移动终端发送的视频采集指令。
3.根据权利要求1所述的无人机视频实时预览方法，其特征在于，所述移动终端对接收到的分包视频进行GPU解码，得到视频帧之前还包括：移动终端对接收到的分包视频进行缓存处理。
4.根据权利要求1所述的无人机视频实时预览方法，其特征在于，所述对所述视频帧进行OpenGL离屏渲染，得到渲染视频之前还包括：对所述视频帧进行缓存处理。
5.一种无人机视频实时预览系统，其特征在于，包括：
无人机；
移动终端；
视频实时预览程序，所述视频实时预览程序在运行时实现以下步骤：
无人机采集视频流信息；
对采集到的视频流信息进行封装，得到H264视频；
对所述H264视频进行RTP分包处理，得到分包视频；
将所述分包视频通过UDP传输至移动终端；
移动终端对接收到的分包视频进行GPU解码，得到视频帧；
对所述视频帧进行OpenGL离屏渲染，得到渲染视频；
对所述渲染视频进行显示。
6.根据权利要求5所述的无人机视频实时预览系统，其特征在于，所述视频实时预览程序在运行时还实现以下步骤：
所述无人机采集视频流信息之前还包括：无人机接收移动终端发送的视频采集指令。
7.根据权利要求5所述的无人机视频实时预览系统，其特征在于，所述视频实时预览程序在运行时还实现以下步骤：
所述移动终端对接收到的分包视频进行GPU解码，得到视频帧之前还包括：移动终端对接收到的分包视频进行缓存处理。
8.根据权利要求5所述的无人机视频实时预览系统，其特征在于，所述视频实时预览程序在运行时还实现以下步骤：
所述对所述视频帧进行OpenGL离屏渲染，得到渲染视频之前还包括：对所述视频帧进行缓存处理。
CN201911111970.8A 2019-11-14 2019-11-14 无人机视频实时预览方法及其系统 Pending CN110730335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911111970.8A CN110730335A (zh) 2019-11-14 2019-11-14 无人机视频实时预览方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911111970.8A CN110730335A (zh) 2019-11-14 2019-11-14 无人机视频实时预览方法及其系统

Publications (1)

Publication Number Publication Date
CN110730335A true CN110730335A (zh) 2020-01-24

Family

ID=69224167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911111970.8A Pending CN110730335A (zh) 2019-11-14 2019-11-14 无人机视频实时预览方法及其系统

Country Status (1)

Country Link
CN (1) CN110730335A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073363A (zh) * 2020-07-08 2020-12-11 北京兰亭数字科技有限公司 一种云渲染低延迟高保障传输协议操作方法
CN112565919A (zh) * 2021-02-18 2021-03-26 北京远度互联科技有限公司 数据发送处理方法、接收处理方法及装置、无人机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051978A (zh) * 2012-12-16 2013-04-17 华南理工大学 一种基于h264的实时移动视频服务控制方法
US20150339911A1 (en) * 2014-05-22 2015-11-26 West Corporation System and method for monitoring, detecting and reporting emergency conditions using sensors belonging to multiple organizations
CN105357545A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于流媒体方式的无线同屏方法及装置
CN106688016A (zh) * 2016-11-30 2017-05-17 深圳市大疆创新科技有限公司 处理视频流的方法和终端
CN109379625A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051978A (zh) * 2012-12-16 2013-04-17 华南理工大学 一种基于h264的实时移动视频服务控制方法
US20150339911A1 (en) * 2014-05-22 2015-11-26 West Corporation System and method for monitoring, detecting and reporting emergency conditions using sensors belonging to multiple organizations
CN105357545A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于流媒体方式的无线同屏方法及装置
CN106688016A (zh) * 2016-11-30 2017-05-17 深圳市大疆创新科技有限公司 处理视频流的方法和终端
CN109379625A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王宝昌主编: "《无人机航拍技术》", 31 January 2017, 西北工业大学出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073363A (zh) * 2020-07-08 2020-12-11 北京兰亭数字科技有限公司 一种云渲染低延迟高保障传输协议操作方法
CN112565919A (zh) * 2021-02-18 2021-03-26 北京远度互联科技有限公司 数据发送处理方法、接收处理方法及装置、无人机

Similar Documents

Publication Publication Date Title
CN110086967B (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
WO2021147657A1 (zh) 插帧处理方法及相关产品
US8463020B1 (en) Centralized immersive image rendering for thin client
US11800238B2 (en) Local tone mapping
US20140111670A1 (en) System and method for enhanced image capture
CN106851386B (zh) 基于Android系统的电视终端中增强现实的实现方法及装置
JP5087548B2 (ja) 動きベクトル場リタイマー
WO2023005140A1 (zh) 视频数据处理方法、装置、设备以及存储介质
NZ553345A (en) Real-time image stabilization
CN113473126B (zh) 视频流的处理方法、装置、电子设备及计算机可读介质
US9826171B2 (en) Apparatus and method for reconstructing high dynamic range video
CN110730335A (zh) 无人机视频实时预览方法及其系统
CN110012336B (zh) 直播界面的图片配置方法、终端及装置
CN112686810A (zh) 一种图像处理的方法及装置
JP2022000751A5 (zh)
WO2022111717A1 (zh) 图像处理方法、装置及电子设备
CN116248955A (zh) 一种基于ai抽帧补帧的vr云渲染图像增强方法
CN111757087A (zh) Vr视频的处理方法、装置和电子设备
CN111147801A (zh) 一种视联网终端的视频数据处理方法和装置
CN110913118B (zh) 视频处理方法、装置及存储介质
CN113014817B (zh) 高清高帧视频的获取方法、装置及电子设备
WO2023055075A1 (en) Standard dynamic range (sdr) / hybrid log-gamma (hlg) with high dynamic range (hdr) 10+
Zeng et al. A new architecture of 8k vr fov video end-to-end technology
CN103139524B (zh) 视频优化方法以及信息处理设备
WO2021018223A1 (zh) 视频的缓存方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124

RJ01 Rejection of invention patent application after publication