CN106572353A - 用于虚拟现实的无线传输方法、装置、终端和头显设备 - Google Patents

用于虚拟现实的无线传输方法、装置、终端和头显设备 Download PDF

Info

Publication number
CN106572353A
CN106572353A CN201610920024.8A CN201610920024A CN106572353A CN 106572353 A CN106572353 A CN 106572353A CN 201610920024 A CN201610920024 A CN 201610920024A CN 106572353 A CN106572353 A CN 106572353A
Authority
CN
China
Prior art keywords
picture
coding
radio transmitting
many pictures
picture coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610920024.8A
Other languages
English (en)
Inventor
陈玉琨
黄柴铭
田巍
于成龙
许欢
包九龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haining Sinuo Robot Co., Ltd.
Original Assignee
Shanghai Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mdt Infotech Ltd filed Critical Shanghai Mdt Infotech Ltd
Priority to CN201610920024.8A priority Critical patent/CN106572353A/zh
Priority to PCT/CN2016/113832 priority patent/WO2018072337A1/zh
Priority to CA2974439A priority patent/CA2974439A1/en
Priority to US15/549,326 priority patent/US20190246127A1/en
Publication of CN106572353A publication Critical patent/CN106572353A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于虚拟现实的无线传输方法、装置、终端和头显设备，用于虚拟现实的无线传输方法包括：将每帧待传输图像划分为多片图像；将所有待传输图像划分得到的多片图像逐片进行图像编码；将图像编码后的每片图像与音频数据分别发送并接收、解压、显示。本发明技术方案显著提高了虚拟现实场景中无线传输效率。

Description

用于虚拟现实的无线传输方法、装置、终端和头显设备
技术领域
本发明涉及虚拟现实技术，尤其涉及一种用于虚拟现实的无线传输方法、装置、终端和头显设备。
背景技术
目前基于个人计算机(Personal Computer,PC)端的虚拟现实设备常用的连接方案为利用高清晰度多媒体接口(High Definition Multimedia Interface,HDMI)线连接头戴显示器和电脑主机。但此方法存在的缺陷是：使用者的活动范围受限，头部可能被HDMI线缠绕并受到伤害。为解决此问题，需采用无线传输方式，同时达到用HDMI线时同样的低延时。
在现有技术的虚拟现实无线传输方式中，常用的方案是在虚拟现实头盔端中设置接收模块，PC端设置发送模块；对每帧图像，发送模块采用60GHZ信道来传输图像，最高可支持分辨率为1080p的显示及频率为120HZ的刷新率。此方法的优点在于能有效控制延时，例如控制延时在1帧之内。
但是，上述方法中在实际应用中仍然存在诸多缺点，如：发送端和接收端的接收角都是120度，超出这个范围就会出现丢帧现象；当头显与主机距离较大时，信号会有衰减，且此方法信号无法有效穿透障碍物，稍有阻挡就会丢失数据。这些缺点限制了此无线传输方法在虚拟现实(Virtual Reality，VR)领域的应用，原因在于需定位的VR应用系统通常在至少5×5m的空间中使用，VR头盔和PC端的角度和距离无法固定在某个范围。而且，涉及到多人对战的场景，相互的遮挡是不可避免的，无法穿透遮挡物的缺点也导致此方法无法多设备使用。
发明内容
本发明解决的技术问题是如何提高虚拟现实场景中无线传输效率。
为解决上述技术问题，本发明实施例提供一种用于虚拟现实的无线传输方法，用于虚拟现实的无线传输方法包括：将每帧待传输图像划分为多片图像；将所有待传输图像划分得到的多片图像逐片进行图像编码；将图像编码后的每片图像与音频数据分别发送出去。
可选的，所述将图像编码后的每片图像与音频数据分别发送出去包括：将图像编码后的所述每片图像与音频数据分别通过5G信道发送出去。
可选的，所述将所述所有待传输图像的所述多片图像逐片进行图像编码包括：对每片图像添加包头后进行图像编码，所述包头包括帧号和片号。
可选的，所述将所述所有待传输图像的所述多片图像逐片进行图像编码包括：将所述所有待传输图像的所述多片图像按照设定格式逐片进行图像编码。
可选的，所述设定格式包括以下一种或多种图像编码格式：H.264、H.265和VP9。
为解决上述技术问题，本发明实施例还公开了另一种用于虚拟现实的无线传输方法，用于虚拟现实的无线传输方法包括：接收图像编码后的每片图像与音频数据；对图像编码后的所述每片图像进行图像解码处理，得到多片图像；基于所述多片图像显示所有传输图像，同时将所述音频数据进行播放，其中，所述多片图像是通过对每帧传输图像划分得到的。
可选的，所述接收图像编码后的每片图像与音频数据包括：通过5G信道接收图像编码后的所述每片图像与所述音频数据。
可选的，所述对图像编码后的所述每片图像进行图像解码处理包括：解析每片图像的包头后进行图像解码，所述包头包括帧号、片号、时间戳、包长和校验码。
可选的，所述对图像编码后的所述每片图像进行图像解码处理包括：将所述所有待传输图像的所述多片图像按照设定格式进行图像解码。
可选的，所述设定格式包括以下一种或多种图像解码格式：H.264、H.265和VP9。
可选的，所述对图像编码后的所述每片图像进行图像解码处理后还包括：对图像解码后的所述传输图像进行时间卷曲处理。
为解决上述技术问题，本发明实施例还公开了一种用于虚拟现实的无线传输装置，用于虚拟现实的无线传输装置包括：划分单元，适于将每帧待传输图像划分为多片图像；编码单元，适于将所有待传输图像划分得到的多片图像逐片进行图像编码；发送单元，适于将图像编码后的每片图像与音频数据分别发送出去。
可选的，所述发送单元将图像编码后的所述每片图像与音频数据分别通过5G信道发送出去。
可选的，所述编码单元对每片图像添加包头后进行图像编码，所述包头包括帧号和片号。
可选的，所述编码单元将所述所有待传输图像的所述多片图像按照设定格式逐片进行图像编码。
可选的，所述设定格式包括以下一种或多种图像编码格式：H.264、H.265和VP9。
为解决上述技术问题，本发明实施例还公开了另一种用于虚拟现实的无线传输装置，用于虚拟现实的无线传输装置包括：接收单元，适于接收图像编码后的每片图像与音频数据；解码单元，适于对图像编码后的所述每片图像进行图像解码处理，得到多片图像；显示单元，适于基于所述多片图像显示所有待传输图像，同时将所述音频数据进行播放，其中，所述多片图像是通过对每帧待传输图像划分得到的。
可选的，所述接收单元通过5G信道接收图像编码后的所述每片图像与所述音频数据。
可选的，所述解码单元解析每片图像的包头后进行图像解码，所述包头包括帧号、片号、时间戳、包长和校验码。
可选的，所述解码单元将所述所有待传输图像的所述多片图像按照设定格式进行图像解码。
可选的，所述设定格式包括以下一种或多种图像解码格式：H.264、H.265和VP9。
可选的，所述无线传输装置还包括：处理单元，耦接所述解码单元，适于对图像解码后的所述每片图像进行时间规整和扭曲处理。
为解决上述技术问题，本发明实施例还公开了一种终端，所述终端包括所述用于虚拟现实的无线传输装置。
为解决上述技术问题，本发明实施例还公开了一种头显设备，所述头显设备包括所述用于虚拟现实的无线传输装置。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例将每帧待传输图像划分为多片图像；然后将所有待传输图像划分得到的多片图像逐片进行图像编码；最后将图像编码后的每片图像与音频数据分别发送出去。本发明技术方案通过将每帧待传输图像划分为多片图像，然后基于多片图像逐片进行编码和发送，相对于现有技术中基于每帧图像进行编码和发送，本发明技术方案可以实现每帧图像中多片图像编码和发送的并行处理，提高了无线传输效率；尤其在所有待传输图像的数据量庞大的情况下，无线传输效率将得到进一步提升。
进一步，将图像编码后的所述每片图像与音频数据分别通过5G信道发送出去。本发明技术方案通过5G信道发送图像编码后的每片图像与音频数据，相比于现有技术中使用60GHZ信道进行传输，可以避免丢帧现象、信号衰减和无法穿透障碍物的问题，进一步提升了传输效率。
附图说明
图1是本发明实施例一种用于虚拟现实的无线传输方法的流程图；
图2是本发明实施例另一种用于虚拟现实的无线传输方法的流程图；
图3是本发明实施例又一种用于虚拟现实的无线传输方法的流程图；
图4是本发明实施例一种用于虚拟现实的无线传输过程的示意图；
图5是本发明实施例一种用于虚拟现实的无线传输装置的结构示意图；
图6是本发明实施例另一种用于虚拟现实的无线传输装置的结构示意图。
具体实施方式
如背景技术中所述，现有技术的无线传输方法在实际应用中仍然存在传输效率低、限制条件多等问题。
本发明技术方案通过将每帧待传输图像划分为多片图像，然后基于多片图像逐片进行编码和发送，相对于现有技术中基于每帧图像进行编码和发送，本发明技术方案可以实现每帧图像中多片图像编码和发送的并行处理，提高了无线传输效率；尤其在所有待传输图像的数据量庞大的情况下，无线传输效率将得到进一步提升。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种用于虚拟现实的无线传输方法的流程图。
图1所示的用于虚拟现实的无线传输方法可以用于终端，所述终端包括但不限于计算机、笔记本电脑、PAD、手机。所述无线传输方法可以包括以下步骤：
步骤S101：将每帧待传输图像划分为多片图像；
步骤S102：将所有待传输图像划分得到的多片图像逐片进行图像编码；
步骤S103：将图像编码后的每片图像与音频数据分别发送出去。
具体实施中，在虚拟现实场景中，终端作为发送端，头显设备作为接收端。发送端发送的数据可以为视频，视频中可以包括多帧图像。相对于现有技术中以每帧(frame)图像为单位进行发送，本发明实施例采用以每片(slice)图像为单位进行发送，故在步骤S101中，将要传输的视频中的每帧待传输图像划分为多片图像。具体而言，每帧图像可以分为多个片图像；每个片图像与其他片图像没有依赖关系。
可以理解的是，每帧待传输图像被划分的多片图像的数量可以根据实际的应用环境进行适应性的配置，本发明实施例对此不做限制。
具体实施中，由于发送端传输的数据量大，因此为了减小网络负担，提高传输效率，在步骤S102中，将步骤S101得到的多片图像逐片进行图像编码。具体而言，将所述所有待传输图像的所述多片图像按照设定格式逐片进行图像编码。更进一步而言，所述设定格式包括以下一种或多种图像编码格式：H.264、H.265和VP9。其中，H.264、H.265和VP9为视频编码标准。相比于现有技术中从发送端到接收端的传输数据只有很少量的压缩，例如由色彩空间格式YUV444到色彩空间格式YUV420的转换，本发明实施例通过将多片图像编码为设定格式H.264、H.265和/或VP9，可以将待传输数据划分为更小的数据包，从而使得传输过程更加流畅，同时能够缩短传输时间，实现实时传输。
具体实施中，在步骤S103中，由于每帧待传输图像对应一份音频数据，音频数据不能够被划分为更小的单位，因此将每片图像与音频数据分开进行传输，以提高传输效率。
具体实施中，还可以对每片图像添加包头后进行图像编码，所述包头可以包括帧号和片号。由于在步骤S101中每帧待传输图像被划分为多片图像，因此在对每片图像进行编码前，对每片图像添加包头，以指示该片图像的位置。例如，包头中帧号为1，片号为2，则表示该片图像为第1帧待传输图像的第2片图像。更具体地，所述包头还可以包括版本、帧号、片号、时间戳、包长和校验码中的一项或多项。
添加包头后的每片图像的格式可以参照表1。
表1
如表1所示，添加包头后的每片图像可以包括片负载(Slice Payload)、帧号、帧内片的数目、片号、包长、时间戳(Timestamp)和校验码。其中，片负载表示该片图像承载的有效信息；帧号表示该片图像所在的帧；片号表示该片图像所在的片；包长表示该片图像所在数据包的长度；时间戳(Timestamp)表示该片图像所在数据包中第一个字节的采样时刻(时间)；校验码用以进行差错检测，例如可以是循环冗余校验(Cyclic Redundancy Check,CRC)。
具体实施中，可以将图像编码后的所述每片图像与音频数据分别通过第五代移动通信技术(5th-Generation,5G)信道发送出去。相比于现有技术中使用60GHZ(也即60GHz左右频段通信的无线通信技术)信道进行传输，本发明实施例将每帧待传输图像划分为多片图像，可以更好地与5G传输特性相适应，通过5G信道发送图像编码后的每片图像与音频数据，利用5G信道传输速度最快，抗干扰性最强的特性，可以避免丢帧现象、信号衰减和无法穿透障碍物的问题，进一步提升了传输效率，提供更好的VR体验。
图2是本发明实施例另一种用于虚拟现实的无线传输方法的流程图。
图2所示的用于虚拟现实的无线传输方法可以用于头显设备(也即头戴显示设备)，所述头显设备可以包括但不限于VR头盔、VR眼镜。所述无线传输方法可以包括以下步骤：
步骤S201：接收图像编码后的每片图像与音频数据；
步骤S202：对图像编码后的所述每片图像进行图像解码处理，得到多片图像；
步骤S203：基于所述多片图像显示所有传输图像，同时将所述音频数据进行播放，其中，所述多片图像是通过对每帧传输图像划分得到的。
可以理解的是，本实施例中的传输图像与图1所示的实施例中的待传输图像表示同一图像。
具体实施中，在虚拟现实场景中，终端作为发送端，头显设备作为接收端。发送端发送的数据可以为视频，视频中可以包括多帧图像。相对于现有技术中以每帧(frame)图像为单位进行发送，本发明实施例采用以每片(slice)图像为单位进行传输，故在步骤S201中，接收图像编码后的每片图像与音频数据。
具体实施中，在步骤S202中，对图像编码后的所述每片图像进行图像解码处理，得到多片图像。也就是说，经步骤S202进行图像解码后，得到要显示的图像。具体而言，可以通过解码器解出相应的多片图像对应的YUV数据。更进一步而言，还可以在该YUV数据的基础上做时间卷曲(time warping)和畸变(anti-distortion)处理。然后经步骤S203进行显示。具体地，经步骤S202处理后的数据发送给显示模块并对齐到垂直同步(verticalsynchronization,Vsync)显示。通过Vsync显示可以使头显设备的显卡运算和显示器刷新率一致，以稳定输出的画面质量，从而防止显示画面高速移动时的画面撕裂现象。
本发明实施例的具体实施方式可参照图1所示的用于虚拟现实的无线传输方法，此处不再赘述。
图3是本发明实施例又一种用于虚拟现实的无线传输方法的流程图。
图3所示的无线传输方法可以表示发送端和接收端之间完整的图像传输过程。
步骤S301：将每帧传输图像划分为多片图像；
步骤S302：将所有传输图像划分得到的多片图像逐片进行图像编码；
步骤S303：将图像编码后的每片图像与音频数据分别发送出去；
步骤S304：接收图像编码后的每片图像与音频数据；
步骤S305：对图像编码后的所述每片图像进行图像解码处理，得到多片图像；
步骤S306：基于所述多片图像显示所有传输图像，同时将所述音频数据进行播放，其中，所述多片图像是通过对每帧传输图像划分得到的。
具体实施中，发送端可以执行步骤S301至步骤S303，以实现对每帧传输图像的分片操作、编码操作和发送操作。接收端可以执行步骤S304至步骤S306，以实现对每帧传输图像的接收操作、解码操作和显示操作。
具体而言，在显示传输图像和播放音频数据之前，可以对传输图像和音频数据进行混合处理，以得到视频数据并进行播放。
本发明实施例的具体实施方式可参照图1和图2所示的用于虚拟现实的无线传输方法，此处不再赘述。
图4是本发明实施例一种用于虚拟现实的无线传输过程的示意图。
下面结合图4对用于虚拟现实的无线传输过程做详细的说明。
本实施例中，在发送端1内部可以集成软件开发工具包(Software DevelopmentKit,SDK)模块。待传输图像为发送端1内的应用程序(Application,APP)产生的。
在步骤S1中，应用程序每完成一帧待传输图像的渲染，就把该图像发送至SDK模块。也即对待传输图像f1完成渲染后，就将待传输图像f1发送至SDK模块；待传输图像f2、f3,…,fn以此类推。在步骤S2中，SDK模块可以把接收到的每帧待传输图像划分成多片图像，并送给发送端1的编码器，例如将待传输图像f1划分为4片：片图像S1-1、S1-2、S1-3、S1-4；待传输图像f2、f3,…,fn以此类推。在步骤S3中，对每片图像添加包头后通过编码器压缩成设定格式(H.264/H.265/VP9)的数据包，并与音频信息分别通过5G信道发送出去。例如，添加包头后的片图像S1-1为T1-1S1-1，包头中可以包括片图像S1-1的帧号1，片号1以及时间戳、包长和校验码。其他片图像S1-2、S1-3、S1-4以此类推。
在头显设备2内部也可以集成软件开发工具包(Software Development Kit,SDK)模块。在步骤S4中，SDK模块接收数据包T1-1S1-1、T1-2S1-2,…,Tn-4Sn-4。在步骤S5中，SDK模块把包头摘除，得到片图像S1-1、S1-2、S1-3、S1-4,…,Sn-4。并传递给解码器，解码器解出相应的YUV数据。也就是说，当SDK模块接收到数据包后只需要做简单的解析，就能把相应的片图像的有效载荷(payload)数据解析出来并送给解码器做解码。然后在步骤S6中，SDK模块在该YUV数据基础上做时间卷曲和畸变，得到待传输图像f2、f3,…,fn。具体地，根据包头中的时间戳(Timestamp)做时间卷曲和畸变时，快速的确定显示时间以及是否需要补偿。最后在步骤S7中，将最终的数据送给显示模块并对齐到VSync显示，以将待传输图像f2、f3,…,fn进行展示。
在保证虚拟现实体验的场景下，传输的数据量庞大，采用本发明实施例的无线传输方法，将提高无线传输效率，进而进一步提高用户体验。
图5是本发明实施例一种用于虚拟现实的无线传输装置的结构示意图。
图5所示的用于虚拟现实的无线传输装置40可以包括：划分单元401、编码单元402和发送单元403。
其中，划分单元401适于将每帧待传输图像划分为多片图像；编码单元402适于将所有待传输图像划分得到的多片图像逐片进行图像编码；发送单元403适于将图像编码后的每片图像与音频数据分别发送出去。
具体实施中，发送单元403可以将图像编码后的所述每片图像与音频数据分别通过5G信道发送出去。
具体实施中，编码单元402对每片图像添加包头后进行图像编码，所述包头包括帧号和片号。
具体实施中，编码单元402将所述所有待传输图像的所述多片图像按照设定格式逐片进行图像编码。具体而言，设定格式可以包括以下一种或多种图像编码格式：H.264、H.265和VP9。
本发明实施例的具体实施方式可参照图1所示的用于虚拟现实的无线传输方法，此处不再赘述。
图6是本发明实施例另一种用于虚拟现实的无线传输装置的结构示意图。
图6所示的用于虚拟现实的无线传输装置50可以包括：接收单元501、解码单元502和显示单元503。
其中，接收单元501适于接收图像编码后的每片图像与音频数据；解码单元502适于对图像编码后的所述每片图像进行图像解码处理，得到多片图像；显示单元503适于基于所述多片图像显示所有待传输图像，同时将所述音频数据进行播放，其中，所述多片图像是通过对每帧待传输图像划分得到的。
具体实施中，接收单元501可以通过5G信道接收图像编码后的所述每片图像与所述音频数据。
具体实施中，解码单元502解析每片图像的包头后进行图像解码，所述包头包括帧号、片号、时间戳、包长和校验码。
具体实施中，解码单元502将所述所有待传输图像的所述多片图像按照设定格式进行图像解码。具体地，设定格式可以包括以下一种或多种图像解码格式：H.264、H.265和VP9。
具体实施中，用于虚拟现实的无线传输装置50还可以包括处理单元(图未示)，处理单元耦接所述解码单元502，处理单元适于对图像解码后的所述每片图像进行时间规整和扭曲处理。
本发明实施例的具体实施方式可参照图2所示的用于虚拟现实的无线传输方法，此处不再赘述。
本发明实施例还公开了一种终端，所述终端可以包括用于虚拟现实的无线传输装置40(参见图5)。具体而言，所述终端可以包括但不限于计算机、笔记本电脑、平板电脑(Portable android device,Pad)、手机。
本发明实施例还公开了头显设备，所述头显设备可以包括用于虚拟现实的无线传输装置50(参见图6)。具体而言，所述头显设备可以包括但不限于VR头盔、VR眼镜。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (19)

1.一种用于虚拟现实的无线传输方法，其特征在于，包括：
将每帧待传输图像划分为多片图像；
将所有待传输图像划分得到的多片图像逐片进行图像编码；
将图像编码后的每片图像与音频数据分别发送出去。
2.根据权利要求1所述的无线传输方法，其特征在于，所述将图像编码后的每片图像与音频数据混合后发送出去包括：
将图像编码后的所述每片图像与音频数据混合后通过5G信道发送出去。
3.根据权利要求1所述的无线传输方法，其特征在于，所述将所述所有待传输图像的所述多片图像逐片进行图像编码包括：
对每片图像添加包头后进行图像编码，所述包头包括帧号和片号。
4.根据权利要求1所述的无线传输方法，其特征在于，所述将所述所有待传输图像的所述多片图像逐片进行图像编码包括：
将所述所有待传输图像的所述多片图像按照设定格式逐片进行图像编码。
5.根据权利要求4所述的无线传输方法，其特征在于，所述设定格式包括以下一种或多种图像编码格式：H.264、H.265和VP9。
6.一种用于虚拟现实的无线传输方法，其特征在于，包括：
接收图像编码后的每片图像与音频数据；
对图像编码后的所述每片图像进行图像解码处理，得到多片图像；
基于所述多片图像显示所有传输图像，同时将所述音频数据进行播放，其中，所述多片图像是通过对每帧传输图像划分得到的。
7.根据权利要求6所述的无线传输方法，其特征在于，所述接收图像编码后的每片图像与音频数据包括：
通过5G信道接收图像编码后的所述每片图像与所述音频数据。
8.根据权利要求6所述的无线传输方法，其特征在于，所述对图像编码后的所述每片图像进行图像解码处理包括：
解析每片图像的包头后进行图像解码，所述包头包括帧号、片号、时间戳、包长和校验码。
9.根据权利要求6所述的无线传输方法，其特征在于，所述对图像编码后的所述每片图像进行图像解码处理包括：
将所述所有待传输图像的所述多片图像按照设定格式进行图像解码；其中，所述设定格式包括以下一种或多种图像解码格式：H.264、H.265和VP9。
10.根据权利要求6所述的无线传输方法，其特征在于，所述对图像编码后的所述每片图像进行图像解码处理后还包括：
对图像解码后的所述传输图像通过时间卷曲方式进行处理。
11.一种用于虚拟现实的无线传输装置，其特征在于，包括：
划分单元，适于将每帧待传输图像划分为多片图像；
编码单元，适于将所有待传输图像划分得到的多片图像逐片进行图像编码；
发送单元，适于将图像编码后的每片图像与音频数据分别发送出去。
12.根据权利要求11所述的无线传输装置，其特征在于，所述发送单元将图像编码后的所述每片图像与音频数据混合后通过5G信道发送出去。
13.根据权利要求11所述的无线传输装置，其特征在于，所述编码单元对每片图像添加包头后进行图像编码，所述包头包括帧号和片号；所述编码单元将所述所有待传输图像的所述多片图像按照设定格式逐片进行图像编码；
其中，所述设定格式包括以下一种或多种图像编码格式：H.264、H.265和VP9。
14.一种用于虚拟现实的无线传输装置，其特征在于，包括：
接收单元，适于接收图像编码后的每片图像与音频数据；
解码单元，适于对图像编码后的所述每片图像进行图像解码处理，得到多片图像；
显示单元，适于基于所述多片图像显示所有传输图像，同时将所述音频数据进行播放，其中，所述多片图像是通过对每帧传输图像划分得到的。
15.根据权利要求14所述的无线传输装置，其特征在于，所述接收单元通过5G信道接收图像编码后的所述每片图像与所述音频数据。
16.根据权利要求14所述的无线传输装置，其特征在于，所述解码单元解析每片图像的包头后进行图像解码，所述包头包括帧号、片号、时间戳、包长和校验码；所述解码单元将所述所有待传输图像的所述多片图像按照设定格式进行图像解码；其中，所述设定格式包括以下一种或多种图像解码格式：H.264、H.265和VP9。
17.根据权利要求14所述的无线传输装置，其特征在于，还包括：
处理单元，耦接所述解码单元，适于对图像解码后的所述传输图像通过时间卷曲方式进行处理。
18.一种终端，其特征在于，包括如权利要求11至13任一项所述的用于虚拟现实的无线传输装置。
19.一种头显设备，其特征在于，包括如权利要求14至17任一项所述的用于虚拟现实的无线传输装置。
CN201610920024.8A 2016-10-21 2016-10-21 用于虚拟现实的无线传输方法、装置、终端和头显设备 Pending CN106572353A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610920024.8A CN106572353A (zh) 2016-10-21 2016-10-21 用于虚拟现实的无线传输方法、装置、终端和头显设备
PCT/CN2016/113832 WO2018072337A1 (zh) 2016-10-21 2016-12-30 用于虚拟现实的无线传输方法、装置、终端和头显设备
CA2974439A CA2974439A1 (en) 2016-10-21 2016-12-30 Wireless transmission method and device for virtual reality, terminal and head-mounted display device
US15/549,326 US20190246127A1 (en) 2016-10-21 2016-12-30 Wireless transmission method and device for vitrual reality, terminal and head-mounted display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610920024.8A CN106572353A (zh) 2016-10-21 2016-10-21 用于虚拟现实的无线传输方法、装置、终端和头显设备

Publications (1)

Publication Number Publication Date
CN106572353A true CN106572353A (zh) 2017-04-19

Family

ID=60414220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610920024.8A Pending CN106572353A (zh) 2016-10-21 2016-10-21 用于虚拟现实的无线传输方法、装置、终端和头显设备

Country Status (3)

Country Link
US (1) US20190246127A1 (zh)
CN (1) CN106572353A (zh)
WO (1) WO2018072337A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107765978A (zh) * 2017-09-26 2018-03-06 张超 一种为物体表层标记位置信息的方法及识读设备
CN109257587A (zh) * 2017-07-12 2019-01-22 联发科技（新加坡）私人有限公司 一种编解码视频数据的方法及装置
CN111447339A (zh) * 2020-03-26 2020-07-24 西安万像电子科技有限公司 图像传输方法和系统
WO2022252924A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 图像传输与显示方法、相关设备及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220135372A (ko) * 2021-03-30 2022-10-07 삼성전자주식회사 미디어 스트리밍을 제공하기 위한 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901605A (zh) * 2004-09-27 2007-01-24 英特尔公司 使用基于片的再现系统的低等待时间远程显示再现
CN101516025A (zh) * 2009-03-25 2009-08-26 公安部第一研究所 使用数字签名技术的可信视频系统
CN102752601A (zh) * 2012-07-30 2012-10-24 宁波大学 一种m-jpeg图像的传输方法及接收端数据丢包修复方法
CN105554506A (zh) * 2016-01-19 2016-05-04 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
CN205485929U (zh) * 2016-03-28 2016-08-17 胡证翕 一种基于无线通信的分布式虚拟现实显示装置及系统
CN105932409A (zh) * 2016-05-05 2016-09-07 哈尔滨工程大学 一种小型化开倒e型槽式超宽带毫米波微带天线

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2752011B1 (en) * 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
CN102929391B (zh) * 2012-10-23 2015-11-04 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法
US9596477B2 (en) * 2013-12-26 2017-03-14 Mediatek Inc. Methods of multiple-slice coding for frame buffer compression
US9854261B2 (en) * 2015-01-06 2017-12-26 Microsoft Technology Licensing, Llc. Detecting markers in an encoded video signal
US20160234522A1 (en) * 2015-02-05 2016-08-11 Microsoft Technology Licensing, Llc Video Decoding
TWI765881B (zh) * 2016-03-30 2022-06-01 美商Ｉｄａｃ控股公司 無線傳輸/接收單元（ｗｔｒｕ）及其執行方法
CN105676456A (zh) * 2016-04-06 2016-06-15 众景视界（北京）科技有限公司 模块化头戴式电子设备
CN105930535A (zh) * 2016-06-20 2016-09-07 微景天下（北京）科技有限公司 自适应图像呈现系统和自适应图像呈现方法
US10412390B2 (en) * 2016-07-12 2019-09-10 Mediatek Inc. Video processing system using low-cost video encoding/decoding architecture
US10565916B2 (en) * 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901605A (zh) * 2004-09-27 2007-01-24 英特尔公司 使用基于片的再现系统的低等待时间远程显示再现
CN101516025A (zh) * 2009-03-25 2009-08-26 公安部第一研究所 使用数字签名技术的可信视频系统
CN102752601A (zh) * 2012-07-30 2012-10-24 宁波大学 一种m-jpeg图像的传输方法及接收端数据丢包修复方法
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
CN105554506A (zh) * 2016-01-19 2016-05-04 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN205485929U (zh) * 2016-03-28 2016-08-17 胡证翕 一种基于无线通信的分布式虚拟现实显示装置及系统
CN105932409A (zh) * 2016-05-05 2016-09-07 哈尔滨工程大学 一种小型化开倒e型槽式超宽带毫米波微带天线

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257587A (zh) * 2017-07-12 2019-01-22 联发科技（新加坡）私人有限公司 一种编解码视频数据的方法及装置
CN109257587B (zh) * 2017-07-12 2020-08-28 联发科技（新加坡）私人有限公司 一种编解码视频数据的方法及装置
US11178377B2 (en) 2017-07-12 2021-11-16 Mediatek Singapore Pte. Ltd. Methods and apparatus for spherical region presentation
CN107765978A (zh) * 2017-09-26 2018-03-06 张超 一种为物体表层标记位置信息的方法及识读设备
CN111447339A (zh) * 2020-03-26 2020-07-24 西安万像电子科技有限公司 图像传输方法和系统
WO2022252924A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 图像传输与显示方法、相关设备及系统

Also Published As

Publication number Publication date
WO2018072337A1 (zh) 2018-04-26
US20190246127A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
CN106572353A (zh) 用于虚拟现实的无线传输方法、装置、终端和头显设备
CN107771395B (zh) 生成和发送用于虚拟现实的元数据的方法和装置
CN110557649B (zh) 直播交互方法、直播系统、电子设备及存储介质
CN105744342B (zh) 移动终端的数据传输方法和装置
JP6595006B2 (ja) 低レイテンシスクリーンミラーリング
CN102740155A (zh) 图像显示的方法及电子设备
CN202907119U (zh) 一种具有传屏功能的数字电视终端
CN110865782B (zh) 数据传输方法、装置及设备
WO2021209034A1 (zh) 一种数据传输的方法及通信装置
CN105828182A (zh) 一种基于OpenGL渲染实时视频的方法及系统
US20210344939A1 (en) Reducing latency in wireless virtual and augmented reality systems
CN106464969B (zh) 用于优化具有超高清显示器的无线底座中的视频性能的系统及方法
CN102045580B (zh) 用于处理视频的方法和系统
CN114554277B (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
CN103856810A (zh) 一种具有传屏功能的多媒体信息终端
US20150020136A1 (en) Multimedia stream transmission method and system based on terahertz wireless communication
CN103974062B (zh) 图像显示装置、图像显示系统和图像显示方法
CN105049955A (zh) 一种实时传屏的方法和系统
CN202663483U (zh) 电视机及该电视机的控制系统
CN206260051U (zh) Hdmi智能播放系统
CN202957933U (zh) 一种3d视频通讯装置
CA2974439A1 (en) Wireless transmission method and device for virtual reality, terminal and head-mounted display device
CN104038816A (zh) 一种视频同步方法及系统
KR101671311B1 (ko) 클라우드 스트리밍 서비스 시스템, 이를 위한 장치 및 클라우드 스트리밍 서비스 방법
US11265595B2 (en) Communication system, transmission apparatus, reception apparatus, communication system control method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190715

Address after: 314400 Area J, Canghai Road, Haining Warp Knitting Industrial Park, Jiaxing City, Zhejiang Province

Applicant after: Haining Sinuo Robot Co., Ltd.

Address before: 201103 2nd Floor, Yuanzhong Industrial Park Phase IV Building, 2071 Hongmei Road, Xuhui District, Shanghai

Applicant before: Shanghai Mdt InfoTech Ltd

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419

WD01 Invention patent application deemed withdrawn after publication