CN111294648A - 一种无人机空地视频传输方法 - Google Patents

一种无人机空地视频传输方法 Download PDF

Info

Publication number
CN111294648A
CN111294648A CN202010104083.4A CN202010104083A CN111294648A CN 111294648 A CN111294648 A CN 111294648A CN 202010104083 A CN202010104083 A CN 202010104083A CN 111294648 A CN111294648 A CN 111294648A
Authority
CN
China
Prior art keywords
video
image
code stream
data
compression code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010104083.4A
Other languages
English (en)
Inventor
雷明
曹治锦
孙婷婷
刘夯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jouav Automation Technology Co ltd
Original Assignee
Chengdu Jouav Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jouav Automation Technology Co ltd filed Critical Chengdu Jouav Automation Technology Co ltd
Priority to CN202010104083.4A priority Critical patent/CN111294648A/zh
Publication of CN111294648A publication Critical patent/CN111294648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种无人机空地视频传输方法，包括：对自定义数据进行预处理；获取图像压缩码流；将预处理后的自定义数据封装到图像压缩码流的预设字段，获得新的图像压缩码流；将新的图像压缩码流封装到流媒体视频数据中；将封装后的流媒体视频数据传输至接收端；对流媒体视频数据进行解析，获得图像压缩码流；对图像压缩码流进行解析，得到预设字段中的自定义数据；对图像压缩码流进行解码，得到原始视频图像；对原始视频画面进行处理得到新的视频图像。本方法将自定义数据嵌入视频码流，不影响视频解码并且自定义数据完全无损的技术方案。通过本方法保留了视频画面的纯净性、同步变得简单、减少了延迟、减少了性能消耗。

Description

一种无人机空地视频传输方法
技术领域
本发明涉及无人机空地数据传输领域，具体地，涉及一种无人机空地视频传输方法。
背景技术
无人机空地视频传输目前主要依靠图传数据链，而对于大多数数据链来说，它们使用广播电视的技术方案，它只支持符合视音频封装格式的数据传输，比如将视频流封装到MPEGTS中进行传输，而在无人机的视频应用中，我们在地面看到的，不只是视频，还有诸如飞机状态，飞机飞行时的各种数据参数等等，以前的方案是在空中的视频处理设备中将这些数据实时的以字幕的方式绘制到视频画面上，然后进行编码封装传输，在地面收到视频数据后解码播放出来，即可在视频画面中看到这些数据，而这样的方案存在问题，那就是在地面要对这些视频图像进行计算机视觉算法的处理，这些视频画面由于已经不是原始的纯净的画面(叠加了很多字幕)，导致处理效果很差，并且绘制到字幕的这些重要数据也会模糊不清，并且重新编码对性能消耗以及延迟造成很大影响，所以，需要寻求其他的解决方案，来解决这些问题，现有技术中的方案为：将自定义数据进行处理，封装成音频编码数据或者封装成视频编码数据，和真实的视频编码数据一起复用到MPEGTS包中，传到地面分别解析出来；但是该方案增加了复杂性，造成数据难以同步，并且这样的封装，会造成延迟大大增加。
综上所述，本申请发明人在实现本申请发明技术方案的过程中，发现上述技术至少存在如下技术问题：
现有技术中的方案为：将自定义数据绘制到视频画面上再进行编码封装传输。现有技术中的方案破坏了视频画面的纯净，对后期图像处理算法的效果产生极大的负面影响；并且绘制需要解码并且重新编码，对延迟以及性能消耗造成极大的影响。
发明内容
为解决上述技术问题，本发明提供了一种无人机空地视频传输方法，本方法将自定义数据嵌入视频码流，不影响视频解码并且自定义数据完全无损的技术方案。通过本方法保留了视频画面的纯净性、同步变得简单、减少了延迟、减少了性能消耗。
为实现上述发明目的，本发明提供了一种无人机空地视频传输方法，所述方法包括：
对自定义数据进行预处理；
获取图像压缩码流；
将预处理后的自定义数据封装到图像压缩码流的预设字段，获得新的图像压缩码流；
将新的图像压缩码流封装到流媒体视频数据中；
利用发送端将封装后的流媒体视频数据传输至接收端；
接收端对流媒体视频数据进行解析，获得图像压缩码流；
接收端对图像压缩码流进行解析，得到预设字段中的自定义数据；
接收端对图像压缩码流进行解码，得到原始视频图像；
对原始视频画面进行处理得到新的视频图像。
发明人研究发现，在H264的编码标准中，有自定义数据这一字段，称为SEI字段，这个字段可以封装自定义数据，并且视频解码器在解析数据时会忽略这个字段的数据，而不会影响视频的正常解码。这样处理降低了复杂性，也不存在同步的问题，也不存在延迟问题。
优选的，所述方法还包括：将新的视频图像以及自定义数据两者进行同步；将新的视频图像面渲染并将自定义数据绘制到视频图像中。
优选的，所述方法还包括：将新的视频图像面渲染并将自定义数据绘制到视频图像中后，将视频图像在显示单元中进行显示。
优选的，对自定义数据进行预处理包括：对自定义数据进行加密，对加密后的自定义数据进行进行压缩。
优选的，从无人机上的图像采集设备或图像存储设备中获取图像压缩码流。
优选的，图像压缩码流为H264压缩码流，预处理后的的自定义数据封装到H264帧的SEI字段。
优选的，流媒体视频数据为MPEGTS流媒体视频数据。
优选的，对原始视频画面进行图像算法处理，得到新的视频图像，视频传输到地面后解码成原始数据后对其进行图像算法处理，其中用到的算法包括：
1、基于光流的视频稳像算法，功能与作用：因为无人机在飞行过程中机身抖动，所拍摄视频画面抖动，影响观感，稳像算法是对其进行处理，去掉抖动，使其看起来更加稳定；
2、基于暗通道的视频去雾算法，功能与作用：因为天气原因或者摄像头技术原因，画面模糊，看起来不够清晰，去雾算法就是去掉模糊，让画面更加清晰。
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
本方法将自定义数据嵌入视频码流，不影响视频解码并且自定义数据完全无损的技术方案。通过本方法保留了视频画面的纯净性、同步变得简单、减少了延迟、减少了性能消耗。
本方法将自定义数据嵌入到视频流中进行传输并且不影响视频解码，不破坏视频画面的解决方案，有以下有益的效果：
很多图传数据链只支持视频封装格式的数据；在空中不用进行视频的解码以及重新编码，减少了延迟以及性能消耗；不破坏视频画面的原始性；使实现更加简单。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；
图1是本申请中一种无人机空地视频传输方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
请参考图1，本发明实施例提供了一种无人机空地视频传输方法，本方法主要解决几个问题：图传不能支持自定义数据的问题；空中绘制字幕破坏原始视频画面的问题；空中绘制字幕需要解码并重新编码造成的性能以及功耗问题。
本方法的整体流程描述为：
对自定义数据进行加密，压缩；从摄像机获取H264压缩码流；将处理好的自定义数据封装到H264帧的SEI字段；将新的添加了SEI字段的H264码流封装到MPEGTS流中；交给图传进行传输；地面收到MPEGTS视频流；对MPEGTS流进行解析；得到H264码流；对H264帧进行解析，得到SEI字段中的自定义数据；对自定义数据进行解压以及解密；对H264码流进行解码，得到原始视频画面；对视频图像进行图像算法处理，得到新的视频图像；将画面以及自定义数据两者进行同步；将视频画面渲染并将自定义数据绘制到画面中；呈现给用户。
本方法介绍一种能够将自定义数据嵌入到H264视频流中的方案。其主要特点在于，不影响视频正常解码记忆不破坏视频画面，较少消耗以及延迟，可用于现有的大部分的图传数据链的传输。
本方法方案的技术关键点和保护点一是封装后的数据仍然是标准的视频码流，支持现有大部分图传数据链。
本方法的技术关键点和保护点二是通过嵌入到SEI字段，不破坏视频画面以及不破坏码流解码。
本方法的技术关键点和保护点三是不再在空中进行重新编码以及绘制，减少延迟与设备但愿消耗。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种无人机空地视频传输方法，其特征在于，所述方法包括：
对自定义数据进行预处理；
获取图像压缩码流；
将预处理后的自定义数据封装到图像压缩码流的预设字段，获得新的图像压缩码流；
将新的图像压缩码流封装到流媒体视频数据中；
利用发送端将封装后的流媒体视频数据传输至接收端；
接收端对流媒体视频数据进行解析，获得图像压缩码流；
接收端对图像压缩码流进行解析，得到预设字段中的自定义数据；
接收端对图像压缩码流进行解码，得到原始视频图像；
对原始视频画面进行处理得到新的视频图像。
2.根据权利要求1所述的无人机空地视频传输方法，其特征在于，所述方法还包括：将新的视频图像以及自定义数据两者进行同步；将新的视频图像面渲染并将自定义数据绘制到视频图像中。
3.根据权利要求1所述的无人机空地视频传输方法，其特征在于，所述方法还包括：将新的视频图像面渲染并将自定义数据绘制到视频图像中后，将视频图像在显示单元中进行显示。
4.根据权利要求1所述的无人机空地视频传输方法，其特征在于，对自定义数据进行预处理包括：对自定义数据进行加密，对加密后的自定义数据进行进行压缩。
5.根据权利要求1所述的无人机空地视频传输方法，其特征在于，从无人机上的图像采集设备或图像存储设备中获取图像压缩码流。
6.根据权利要求1所述的无人机空地视频传输方法，其特征在于，图像压缩码流为H264压缩码流，预处理后的的自定义数据封装到H264帧的SEI字段。
7.根据权利要求1所述的无人机空地视频传输方法，其特征在于，流媒体视频数据为MPEGTS流媒体视频数据。
8.根据权利要求1所述的无人机空地视频传输方法，其特征在于，对原始视频画面进行图像算法处理，得到新的视频图像，所述图像算法包括：基于光流的视频稳像算法和基于暗通道的视频去雾算法。
CN202010104083.4A 2020-02-20 2020-02-20 一种无人机空地视频传输方法 Pending CN111294648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010104083.4A CN111294648A (zh) 2020-02-20 2020-02-20 一种无人机空地视频传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010104083.4A CN111294648A (zh) 2020-02-20 2020-02-20 一种无人机空地视频传输方法

Publications (1)

Publication Number Publication Date
CN111294648A true CN111294648A (zh) 2020-06-16

Family

ID=71025393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010104083.4A Pending CN111294648A (zh) 2020-02-20 2020-02-20 一种无人机空地视频传输方法

Country Status (1)

Country Link
CN (1) CN111294648A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029712A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种数据传输、解析方法及数据传输系统
WO2023029567A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种传感器采集的多种数据的可视化方法及其系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469402A (zh) * 2014-12-13 2015-03-25 深圳国微技术有限公司 在压缩视频流中叠加应用数据的方法、装置及条件接收器
CN105765969A (zh) * 2015-03-27 2016-07-13 深圳市大疆创新科技有限公司 影像处理方法、装置和设备及影像拍摄系统
CN106713909A (zh) * 2016-11-16 2017-05-24 广州弘度信息科技有限公司 一种视频编码方法、装置及系统
US20180164593A1 (en) * 2016-12-14 2018-06-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
CN108886616A (zh) * 2017-12-27 2018-11-23 深圳市大疆创新科技有限公司 视频编码的方法、装置和计算机系统
CN109327700A (zh) * 2018-11-23 2019-02-12 中国电子科技集团公司第五十四研究所 一种基于sei传输的图像编解码时延测试方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469402A (zh) * 2014-12-13 2015-03-25 深圳国微技术有限公司 在压缩视频流中叠加应用数据的方法、装置及条件接收器
CN105765969A (zh) * 2015-03-27 2016-07-13 深圳市大疆创新科技有限公司 影像处理方法、装置和设备及影像拍摄系统
CN106713909A (zh) * 2016-11-16 2017-05-24 广州弘度信息科技有限公司 一种视频编码方法、装置及系统
US20180164593A1 (en) * 2016-12-14 2018-06-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
CN110036636A (zh) * 2016-12-14 2019-07-19 高通股份有限公司 用于360度视频的视口感知质量度量
CN108886616A (zh) * 2017-12-27 2018-11-23 深圳市大疆创新科技有限公司 视频编码的方法、装置和计算机系统
CN109327700A (zh) * 2018-11-23 2019-02-12 中国电子科技集团公司第五十四研究所 一种基于sei传输的图像编解码时延测试方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029712A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种数据传输、解析方法及数据传输系统
WO2023029567A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种传感器采集的多种数据的可视化方法及其系统

Similar Documents

Publication Publication Date Title
US10728552B2 (en) Image processing apparatus and method
US7305036B2 (en) System and method for entropy code preprocessing
US7469012B2 (en) System and method for transcoding entropy-coded bitstreams
US9398296B2 (en) Digital closed caption transport in standalone stream
EP2615836B1 (en) Image signal decoding method and apparatus
KR100803594B1 (ko) 압축된 비디오 이미지들에서의 압축 잡음을 제거하기 위하여 압축률 정보를 생성하는 방법 및 장치
JP2007013436A (ja) 符号化ストリーム再生装置
US20040022319A1 (en) Methods for reduced cost insertion of video subwindows into compressed video
CN111294648A (zh) 一种无人机空地视频传输方法
EP4072132B1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN106657113A (zh) 一种广播网络复用协议的转换方法及系统
GB2512658A (en) Transmitting and receiving a composite image
WO2017167576A1 (en) Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
MXPA01006991A (es) Envio de secuencias de video progresivo para mpeg y otros formatos adecuados de datos.
US10944994B2 (en) Indicating bit stream subsets
EP2526689B1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
CN110036646B (zh) 解码器、编码器、计算机程序及方法
US20180027237A1 (en) Framework for embedding data in encoded video
WO2017144993A1 (en) Framework for embedding data in encoded video
JP2006020349A (ja) 圧縮されていないクローズド・キャプションのようなデータを含んでいるデータ・フィールドを有する、圧縮されたビデオ・コンポーネントを含んでいるデータストリームを受像機内で処理する方法
JPH09233455A (ja) 画像スクランブル処理システムおよび方法
KR20120070839A (ko) 비주얼 리듬 정보 추출 방법 및 장치
TW364268B (en) Image pixel block parameter formatting system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616

RJ01 Rejection of invention patent application after publication