CN107404641A - 视频处理方法、视频播放方法、机顶盒以及vr设备 - Google Patents

视频处理方法、视频播放方法、机顶盒以及vr设备 Download PDF

Info

Publication number
CN107404641A
CN107404641A CN201610332569.7A CN201610332569A CN107404641A CN 107404641 A CN107404641 A CN 107404641A CN 201610332569 A CN201610332569 A CN 201610332569A CN 107404641 A CN107404641 A CN 107404641A
Authority
CN
China
Prior art keywords
image
equipment
vision
video
top box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610332569.7A
Other languages
English (en)
Inventor
刘振宇
何冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610332569.7A priority Critical patent/CN107404641A/zh
Priority to PCT/CN2017/084541 priority patent/WO2017198143A1/zh
Publication of CN107404641A publication Critical patent/CN107404641A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种视频处理方法、视频播放方法、机顶盒以及VR设备。该视频处理方法包括:从接收到的视频数据中解析出帧的图像;接收虚拟现实VR设备提供的信息,其中,信息用于计算使用VR设备的视野范围;根据信息从图像中提取视野范围内的图像;将视野范围内的图像发送给VR设备。通过本发明,解决了相关技术中VR设备播放视频时需要传输的数据量太大造成的播放卡顿的问题,进而达到了提高VR设备播放视频的流畅性的技术效果。

Description

视频处理方法、视频播放方法、机顶盒以及VR设备
技术领域
本发明涉及视频领域,具体而言,涉及一种视频处理方法、视频播放方法、机顶盒以及VR设备。
背景技术
随着VR(虚拟现实,英文全称:Virtual Reality)市场的不断升温,虚拟现实逐渐走向大众视野,传统的视频媒体受到冲击,越来越多VR设备被开发出来。然而,目前虚拟现实播放技术只能局限于视频点播,且对解码能力与续航能力有较为苛刻的要求。目前数字电视系统仍然是电视节目提供业务的主要角色,电视直播、电视剧首播等仍然是优先在数字电视网络进行的。DVB(数字视频广播,英文全称:Digital Video Broadcasting)机顶盒直播业务势必会从2D直播向3D直播直至虚拟现实直播转变。
通常,全景视频的播放需要进行大量的数据传输,VR设备需要将全景视频下载至本地。大量的数据传输需要较好的网络环境与较大的带宽,网络恶劣的条件下会出现播放卡顿、分辨率降低等现象,影响用户体验。
发明内容
本发明实施例提供了一种视频处理方法、视频播放方法、机顶盒以及VR设备,以至少解决相关技术中VR设备播放视频时需要传输的数据量太大造成的播放卡顿的问题。
根据本发明的一个实施例,提供了一种视频处理方法,包括:从接收到的视频数据中解析出帧的图像;接收虚拟现实VR设备提供的信息,其中,所述信息用于计算使用所述VR设备的视野范围;根据所述信息从所述图像中提取所述视野范围内的图像;将所述视野范围内的图像发送给所述VR设备。
可选地,根据所述信息从所述图像中提取所述视野范围内的图像,并将所述视野范围内的图像发送给所述VR设备包括:根据所述信息从所述图像中截取所述视野范围内的图像;降低所述视野范围内的图像的边缘的分辨率;将降低了分辨率的所述视野范围内的图像发送给所述VR设备。
可选地,根据人眼敏感区的范围划分出所述视野范围内的图像的边缘。
可选地,从接收到的视频数据中解析出帧的图像包括:获取所述视频数据中的左眼视频和右眼视频,并从所述左眼视频和所述右眼视频中分别解析出对应所述帧的图像;根据所述信息从所述图像中提取所述视野范围内的图像包括:分别从所述左眼视频对应的图像和所述右眼视频对应的图像中提取所述视野范围内的图像。
可选地,将所述视野范围内的图像发送给所述VR设备包括:在所述VR设备仅有一个屏幕的情况下,将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合;将结合之后的所述视野范围内的图像发送给所述VR设备。
可选地,将所述视野范围内的图像发送给所述VR设备包括:在所述VR设备有两个屏幕的情况下,将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像分别发送给所述VR设备。
可选地,所述VR设备提供的信息包括以下至少之一:所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
可选地,将所述视野范围内的图像发送给所述VR设备包括:通过无线保真WIFI将所述视野范围内的图像发送给所述VR设备。
根据本发明的另一个实施例,提供了一种视频播放方法,包括:与机顶盒建立连接;向所述机顶盒发送信息,其中,所述信息用于计算使用虚拟现实VR设备的视野范围;从所述机顶盒接收所述视野范围内的图像;播放所述视野范围内的图像。
可选地,从所述机顶盒接收所述视野范围内的图像包括:从所述机顶盒接收左眼视频对应的所述视野范围内的图像和右眼视频对应的所述视野范围内的图像;播放所述视野范围内的图像包括:将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合之后进行播放;或者,在两个屏幕中分别播放所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像。
可选地,所述VR设备向所述机顶盒发送的信息包括以下至少之一:所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
可选地,从所述机顶盒接收所述视野范围内的图像包括:通过无线保真WIFI从所述机顶盒接收所述视野范围内的图像。
根据本发明的另一个实施例,提供了一种机顶盒,包括:接收模块,用于从接收到的视频数据中解析出帧的图像;第一无线通信模块,用于接收虚拟现实VR设备提供的信息,其中,所述信息用于计算使用所述VR设备的视野范围;视频处理模块,用于根据所述信息从所述图像中提取所述视野范围内的图像;第二无线通信模块,用于将所述视野范围内的图像发送给所述VR设备。
可选地,所述视频处理模块根据所述信息从所述图像中截取所述视野范围内的图像,降低所述视野范围内的图像的边缘的分辨率;所述第二无线通信模块将降低了分辨率的所述视野范围内的图像发送给所述VR设备。
可选地,根据人眼敏感区的范围划分出所述视野范围内的图像的边缘。
可选地,所述接收模块获取所述视频数据中的左眼视频和右眼视频,并从所述左眼视频和所述右眼视频中分别解析出对应所述帧的图像;所述视频处理模块分别从所述左眼视频对应的图像和所述右眼视频对应的图像中提取所述视野范围内的图像。
可选地,在所述VR设备仅有一个屏幕的情况下,所述第二无线通信模块将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合;将结合之后的所述视野范围内的图像发送给所述VR设备。
可选地,在所述VR设备有两个屏幕的情况下,所述第二无线通信模块将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像分别发送给所述VR设备。
可选地,所述VR设备提供的信息包括以下至少之一:所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
可选地,所述第二无线通信模块通过无线保真WIFI将所述视野范围内的图像发送给所述VR设备。
根据本发明的另一个实施例,提供了一种VR设备,包括:第三无线通信模块,用于与机顶盒建立连接;第四无线通信模块,用于向所述机顶盒发送信息,其中,所述信息用于计算使用虚拟现实VR设备的视野范围;第五无线通信模块,用于从所述机顶盒接收所述视野范围内的图像;视频播放模块,用于播放所述视野范围内的图像。
可选地,所述第五无线通信模块从所述机顶盒接收左眼视频对应的所述视野范围内的图像和右眼视频对应的所述视野范围内的图像;所述视频播放模块将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合之后进行播放;或者,在两个屏幕中分别播放所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像。
可选地,所述VR设备还包括:位置获取模块,用于获取所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
可选地,所述第五无线通信模块通过无线保真WIFI从所述机顶盒接收所述视野范围内的图像。
通过本发明,由于虚拟现实VR设备提供用于计算视野范围的信息,根据信息计算出使用VR设备的视野范围,从接收到的视频数据中解析出帧的图像,根据使用VR设备的视野范围从图像中提取视野范围内的图像,视野范围内的图像的数据量只占原始图像的数据量的很小一部分,这就大大减少了发送给VR设备的数据量,VR设备接收的数据量也相应减少,解决了相关技术中VR设备播放视频时需要传输的数据量太大造成的播放卡顿的问题,达到了提高VR设备播放视频的流畅性的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的执行视频处理方法的移动终端的硬件结构框图;
图2是根据本发明实施例的视频处理方法的流程图;
图3是根据本发明实施例的一种对全景视频进行处理的方法的流程图;
图4是根据本发明实施例的VR设备与机顶盒交互图;
图5是根据本发明实施例的广电视频源、数字机顶盒、VR设备之间的交互图;
图6是根据本发明实施例的又一种对全景视频进行处理的方法的流程图;
图7是根据本发明实施例的视频播放方法的流程图;
图8是根据本发明实施例的又一种对全景视频进行处理的方法的流程图;
图9是根据本发明实施例的机顶盒的结构框图;
图10是根据本发明实施例的VR设备的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的执行视频处理方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的视频处理方法对应的程序指令/模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network InterfaceController,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的视频处理方法,图2是根据本发明实施例的视频处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,从接收到的视频数据中解析出帧的图像。
步骤S204,接收VR设备提供的信息,其中,信息用于计算使用VR设备的视野范围。
步骤S206,根据信息从图像中提取视野范围内的图像。
步骤S208,将视野范围内的图像发送给VR设备。
VR设备提供用于计算视野范围的信息,根据这些信息计算出使用VR设备的视野范围,从接收到的视频数据中解析出帧的图像,根据使用VR设备的视野范围从图像中提取视野范围内的图像,只需要提取视野范围内的图像,视野范围内的图像的数据量只占原始图像的数据量的很小一部分,这就大大减少了发送给VR设备的数据量,VR设备接收的数据量也相应减少,解决了相关技术中VR设备播放视频时需要传输的数据量太大造成的播放卡顿的问题,达到了提高VR设备播放视频的流畅性的技术效果。
本发明实施例所提供的视频处理方法可以应用于全景视频中,也可以应用于非全景视频中。
以上步骤由机顶盒来执行,其中,机顶盒可以是DVB机顶盒。
可选地,根据信息从图像中提取视野范围内的图像,并将视野范围内的图像发送给VR设备包括:根据信息从图像中截取视野范围内的图像;降低视野范围内的图像的边缘的分辨率;将降低了分辨率的视野范围内的图像发送给VR设备。
根据使用VR设备的视野范围,从原始图像中截取视野范围内的图像,得到子图像(即上述视野范围内的图像),由于子图像只包含原始图像视野范围内的图像,因此可以形象地认为子图像是将原始图像进行切割得到的。在对原始图像进行截取的过程中,按照视距与人眼角度的换算关系,如果接收到VR设备传输的视距为L,截取视频以轴向为中心点,向上L×tanα1,向下L×tanα2,向左L×tanα3,向右L×tanα4进行截取。作为一种可选的实施例,在对右眼视图截取时,α1=70°,α2=80°α3=65°,α4=115°,在对左眼视图截取时,α1=70°,α2=80°α3=115°,α4=65°。
图3是根据本发明实施例的一种对全景视频进行处理的方法的流程图。如图3所示,该方法包括:
步骤S302,获取广电视频源传输的360度全景视频。
步骤S304,将360度全景视频进行截取,得到全景视频的子视频。即,机顶盒根据视野范围截取视野范围内的图像。例如,当VR设备传输给机顶盒的视距为L时,截取视频以轴向为中心点,向上L×tanα1,向下L×tanα2,向左L×tanα3,向右L×tanα4进行截取。作为一种可选的实施例,在对右眼视图截取时,α1=70°,α2=80°α3=65°,α4=115°,在对左眼视图截取时,α1=70°,α2=80°α3=115°,α4=65°。
步骤S306,将全景视频的子视频进行边缘模糊处理。即,将全景视频的子视频的中心部分图像的分辨率保持不变,将全景视频的子视频的边缘部分图像的分辨率降低。例如,以轴向为中心点,取与图像边距3/4内图像原画质保存,其余范围的图像的分辨率降低一半保存。将全景视频的子视频进行边缘模糊处理,即得到需要传输给VR设备的视频。
由于全景视频的数据量很大,在现有技术中VR设备播放全景视频很容易出现卡顿,将本发明实施例所提供的视频处理方法应用于全景视频中,在不影响VR设备的用户观看到的画质质量的前提下,能够有效减少机顶盒向VR设备传输的数据量,使得VR设备播放全景视频时更加流畅。
可选地,根据人眼敏感区的范围划分出视野范围内的图像的边缘。
人眼的视野角度虽然宽阔,但是引起视觉神经兴奋的视觉集中在视野的中间约3/4范围内。将截取的视野范围内的图像的中心部分使用原画质进行存储,将截取的视野范围内的图像的边缘部分使用较低的分辨率存储,例如,将截取的视野范围内的图像的中心3/4使用原画质进行存储,将截取的视野范围内的图像的边缘1/4使用较低的分辨率(例如,原分辨率的一半)进行存储。
降低截取的视野范围内的图像的边缘部分的分辨率的好处是:有效利用了人眼对视野边缘不敏感的原理,在降低了每一帧需要传输的数据量的同时不影响用户感受到的画面质量。用户使用VR设备只需要接收较少的数据量也能有好的观看效果,对网络质量要求低,不容易出现播放卡顿的情况,提高了播放实时视频的流畅性,提升了用户的观看体验。
可选地,从接收到的视频数据中解析出帧的图像包括:获取视频数据中的左眼视频和右眼视频,并从左眼视频和右眼视频中分别解析出对应帧的图像;根据信息从图像中提取视野范围内的图像包括:分别从左眼视频对应的图像和右眼视频对应的图像中提取视野范围内的图像。
广电将双眼全景视频编码在一个码流中,机顶盒通过tuner获取广电码流。机顶盒通过双眼视频不同的pid解析出双目全景视频,并标记为左眼视频或右眼视频。视频的每一帧中包括上下左右前后全方位的视频信息,机顶盒根据VR设备传输过来的位置角度信息将左眼视频和右眼视频进行截取,即,分别从左眼视频对应的图像和右眼视频对应的图像中提取视野范围内的图像。
可选地,将视野范围内的图像发送给VR设备包括:在VR设备仅有一个屏幕的情况下,将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像进行左右结合;将结合之后的视野范围内的图像发送给VR设备。
可选地,将视野范围内的图像发送给VR设备包括:在VR设备有两个屏幕的情况下,将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像分别发送给VR设备。
在机顶盒从左眼视频对应的图像和右眼视频对应的图像中提取视野范围内的图像之后,如果VR设备为单屏幕,机顶盒将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像按照VR设备双眼距离进行左右结合,将左右结合之后的视频传输给VR设备;如果VR设备为双屏幕,机顶盒分别将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像发送给VR设备。
VR设备接收到机顶盒传输的视频,左右眼分别为普通的2D视频,通过简单的视频播放处理即可进行播放,VR设备只需要具有普通三维播放器的能力即可,对VR设备的要求低,大大节省了VR设备的系统开销。
相对于传统机顶盒直播,将虚拟现实应用于直播中,给用户带来身临其境的直播体验。由于广电同轴线网络与家庭WIFI网络传输速率不同,现有技术中将虚拟现实应用于直播中时,VR设备容易出现卡顿、分辨率降低等问题,影响用户观看体验,而在本发明实施例中,截取VR使用者视野范围内的视频,截取后的视频的数据量小于原始视频的数据量,再将截取后的视频的边缘的分辨率降低,这样进一步减少了机顶盒需要传输给VR设备的视频的数据量,使得VR设备接收的数据量减少了很大一部分,即使在网络环境较为恶劣的情况下也能保证直播过程的实时性和清晰度,提升了VR使用者的观看体验。同时,由于本发明实施例中,VR设备的运算量减少,便携性和续航能力增强。
可选地,VR设备提供的信息包括以下至少之一:VR设备的视觉距离、VR设备的轴向角度、VR设备的位置。
VR设备通过内置的陀螺仪、电子罗盘获取目前轴向角度。光学眼镜的位置可以获取视角距离。
图4是根据本发明实施例的VR设备与机顶盒交互图。如图4所示,VR设备与机顶盒之间的交互包括以下步骤:
步骤S402,VR设备获取目前轴向角度和视角距离。VR设备根据内置的陀螺仪、电子罗盘、重力感应获取目前的轴向角度信息。光学眼镜的位置可以获取视角距离。
步骤S404,VR设备以无线传输方式将目前轴向角度和视角距离发送给机顶盒。
步骤S406,机顶盒接收VR设备发送的目前轴向角度和视角距离。
步骤S408,机顶盒根据目前轴向角度和视角距离将全景视频进行截取,得到全景子视频。机顶盒根据视角距离和轴向角度,结合双目视野可以看到的角度,可以确定需要截取的视频大小。机顶盒将原始视频进行截取后,得到全景子视频。
步骤S410,机顶盒以无线传输方式将全景子视频传输给VR设备。
步骤S412,VR设备接收并播放全景子视频。由于全景子视频的数据量远远小于原始视频的数据量,VR设备在播放视频的时候会更流畅。
可选地,将视野范围内的图像发送给VR设备包括:通过WIFI将视野范围内的图像发送给VR设备。
图5是根据本发明实施例的广电视频源、数字机顶盒、VR设备之间的交互图。如图5所示,广电视频源、数字机顶盒、VR设备之间的交互包括以下步骤:
步骤S502,发送全景视频,即,广电视频源向数字机顶盒发送全景视频。虚拟现实所需要的全景视频来源于广电视频源,需要广电提供不同于传统码流的双视频码流,每一套节目提供左眼视频与右眼视频,并通过pid进行区分,每套视频应为全景视频格式,供用户进行全景观看。机顶盒接收到全景双目视频后,进行视频解码与重新编辑。
步骤S504,发送位置数据,即,VR设备向数字机顶盒发送位置数据。
步骤S506,发送子视频,即,数字机顶盒向VR设备发送子视频。数字机顶盒根据VR设备的位置数据截取VR设备使用者的视野范围内的视频,得到子视频,并通过无线方式(例如WIFI)将子视频发送给VR设备。由于子视频的数据量小于原始视频的数据量,VR设备需要接收的数据量减小,解决了现有技术中由于VR设备需要接收的数据量太大造成的视频播放卡顿的技术问题。由于VR设备接收的数据量减少了很大一部分,即使在网络环境较为恶劣的情况下也能保证直播过程的实时性和清晰度,提升了VR使用者的观看体验。同时,由于本发明实施例中,VR设备的运算量减少,便携性和续航能力增强。
图6是根据本发明实施例的又一种对全景视频进行处理的方法的流程图。如图6所示,该方法包括以下步骤:
步骤S602,机顶盒接收广电传输的单码流双视频。广电将双眼全景视频编码在一个码流中,机顶盒通过tuner获取广电码流。
步骤S604,根据pid解析出双目全景视频,并标记为左眼全景视频或者右眼全景视频。即,机顶盒通过双眼视频不同的pid解析出双目全景视频,并标记为左眼全景视频或右眼全景视频。
步骤S606,对左眼全景视频进行截取,其中截取的范围是:上边可见70°,下边可见80°,左边可见115°,右边可见65°。全景视频一帧中包括上下左右前后全方位的视频信息,机顶盒根据VR设备传输过来的位置角度信息将左眼全景视频进行截取,截取出VR设备使用者左眼的视野范围内的视频。
步骤S608,对图像的中间部分以原分辨率保存,对图像的边缘部分以低于原分辨率的分辨率保存。由于人眼只对视野中心部分敏感,因此,将图像的边缘部分的分辨率降低,不会影响人眼所感受到的图像质量。
步骤S610,对右眼全景视频进行截取,其中截取的范围是:上边可见70°,下边可见80°,左边可见65°,右边可见115°。机顶盒根据VR设备传输过来的位置角度信息将右眼全景视频进行截取,截取出VR设备使用者右眼的视野范围内的视频。
步骤S612,对图像的中间部分以原分辨率保存,对图像的边缘部分以低于原分辨率的分辨率保存。
步骤S614,判断VR设备是否为单屏幕。当判断结果为是时,执行步骤S616;当判断结果为否时,执行步骤S618。
步骤S616,左右拼接视频并传输。
如果VR设备为单屏幕,机顶盒将左右眼视频拼接,按照VR设备双眼距离进行左右结合。
步骤S618,左右视频分别传输。
如果VR设备为双屏幕,机顶盒将双屏幕视频分别传输。
步骤S620,VR设备播放视频。
VR设备接收到机顶盒传输的视频,左右眼分别为普通的2D视频,通过简单的视频播放处理即可进行播放。
在本发明实施例中,机顶盒对原始视频进行处理后,将处理后的视频发送给VR设备,VR设备接收的数据量较小,即使在网络环境较为恶劣的情况下也能保证直播过程的实时性和清晰度,提升了VR使用者的观看体验。同时,由于本发明实施例中,VR设备的运算量减少,便携性和续航能力增强。
在本实施例中提供了一种运行于VR设备的视频处理视频播放方法,图7是根据本发明实施例的视频播放方法的流程图,如图7所示,该流程包括如下步骤:
步骤S702,与机顶盒建立连接。
步骤S704,向机顶盒发送信息,其中,信息用于计算使用VR设备的视野范围。
步骤S706,从机顶盒接收视野范围内的图像。
步骤S708,播放视野范围内的图像。
虚拟现实VR设备向机顶盒发送用于计算视野范围的信息,机顶盒根据这些信息计算使用VR设备的视野范围,机顶盒从接收到的视频数据中解析出帧的图像,根据使用VR设备的视野范围从图像中提取视野范围内的图像,只需要提取视野范围内的图像,视野范围内的图像的数据量只占原始图像的数据量的很小一部分,这就大大减少了发送给VR设备的数据量,VR设备接收的数据量也相应减少,解决了相关技术中VR设备播放视频时需要传输的数据量太大造成的播放卡顿的问题,提升了VR设备播放视频的流畅性。由于VR设备接收的数据量减少了很大一部分,即使在网络环境较为恶劣的情况下也能保证直播过程的实时性和清晰度,提升了VR使用者的观看体验。同时,由于本发明实施例中,VR设备的运算量减少,便携性和续航能力增强。
可选地,从机顶盒接收视野范围内的图像包括:从机顶盒接收左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像;播放视野范围内的图像包括:将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像进行左右结合之后进行播放;或者,在两个屏幕中分别播放左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像。
在机顶盒从左眼视频对应的图像和右眼视频对应的图像中提取视野范围内的图像之后,如果VR设备为单屏幕,机顶盒将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像按照VR设备双眼距离进行左右结合,将左右结合之后的视频传输给VR设备;如果VR设备为双屏幕,机顶盒分别将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像发送给VR设备。
VR设备接收到机顶盒传输的视频,左右眼分别为普通的2D视频,通过简单的视频播放处理即可进行播放,VR设备只需要具有普通三维播放器的能力即可,对VR设备的要求低,大大节省了VR设备的系统开销。
可选地,VR设备向机顶盒发送的信息包括以下至少之一:VR设备的视觉距离、VR设备的轴向角度、VR设备的位置。
VR设备通过内置的陀螺仪、电子罗盘获取目前轴向角度。光学眼镜的位置可以获取视角距离。
可选地,从机顶盒接收视野范围内的图像包括:通过WIFI从机顶盒接收视野范围内的图像。
图8是根据本发明实施例的又一种对全景视频进行处理的方法的流程图。如图8所示,该方法包括以下步骤:
步骤S802,DVB机顶盒获取广电视频源传输的全景视频数据。
步骤S804,DVB机顶盒解析全景视频,获取当前帧的全景图像。
步骤S806,VR设备提供角度坐标与视距长度,将该角度坐标通过WIFI网络传输给DVB机顶盒。
步骤S808,DVB机顶盒根据VR设备提供的角度坐标,截取全景图像中的视野范围图像,得到全景图像的子图像。
步骤S810,DVB机顶盒将截取的视野范围图像做边缘模糊处理,得到处理过的全景图像的子图像,即,将人眼敏感区内图像原画质保存,将视野边缘图像以较低的分辨率处理保存。
步骤S812,DVB机顶盒通过多屏直播技术,将处理过的全景图像的子图像传输给VR设备。
步骤S814,VR设备解析全景图像的子图像,并向用户展示。
步骤S816,VR设备实时获取用户观看角度,将角度坐标实时传输给机顶盒,以使机顶盒根据当前的角度坐标计算当前视野范围,并根据当前视野范围截取全景图像。机顶盒实时向VR设备传输处理过的全景图像的子图像,实现全景视频的直播。
虚拟现实VR设备提供用于计算视野范围的信息,根据这些信息计算出使用VR设备的视野范围,从接收到的视频数据中解析出帧的图像,根据使用VR设备的视野范围从图像中提取视野范围内的图像,只需要提取视野范围内的图像,视野范围内的图像的数据量只占原始图像的数据量的很小一部分,这就大大减少了发送给VR设备的数据量,VR设备接收的数据量也相应减少,解决了相关技术中VR设备播放视频时需要传输的数据量太大造成的播放卡顿的问题,提升了VR设备播放视频的流畅性。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种机顶盒,该机顶盒用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的机顶盒的结构框图,如图9所示,该机顶盒包括接收模块90、第一无线通信模块92、视频处理模块94、第二无线通信模块96。
接收模块90,用于从接收到的视频数据中解析出帧的图像。
接收模块90,用于通过广电的同轴电缆网络获取视频数据,通过解析广电码流中不同的pid解析出双目视频。
第一无线通信模块92,用于接收虚拟现实VR设备提供的信息,其中,信息用于计算使用VR设备的视野范围。
第一无线通信模块92,用于接收VR设备发送的位置、角度坐标、视距等参数,根据这些信息,机顶盒计算使用VR设备的视野范围。
视频处理模块94,用于根据信息从图像中提取视野范围内的图像。
机顶盒计算使用VR设备的视野范围,从原始图像中截取视野范围内的图像。截取完成后,对截取得到的图像做边缘模糊处理,即,将截取到的图像的边缘部分的分辨率降低。
第二无线通信模块96,用于将视野范围内的图像发送给VR设备。
第一无线通信模块92和第二无线通信模块96通过家用WIFI网络与VR设备进行交互,与传统机顶盒的多屏直播不同,本发明实施例的机顶盒与VR设备具有双向交互功能,即,第二无线通信模块96将视野范围内的图像发送给VR设备,第一无线通信模块92接收VR设备发送的位置、角度坐标、视距等参数。
可选地,视频处理模块94根据信息从图像中截取视野范围内的图像,降低视野范围内的图像的边缘的分辨率;第二无线通信模块将降低了分辨率的视野范围内的图像发送给VR设备。
可选地,根据人眼敏感区的范围划分出视野范围内的图像的边缘。
可选地,接收模块90获取视频数据中的左眼视频和右眼视频,并从左眼视频和右眼视频中分别解析出对应帧的图像;视频处理模块分别从左眼视频对应的图像和右眼视频对应的图像中提取视野范围内的图像。
可选地,在VR设备仅有一个屏幕的情况下,第二无线通信模块96将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像进行左右结合;将结合之后的视野范围内的图像发送给VR设备。
可选地,在VR设备有两个屏幕的情况下,第二无线通信模块96将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像分别发送给VR设备。
可选地,VR设备提供的信息包括以下至少之一:VR设备的视觉距离、VR设备的轴向角度、VR设备的位置。
可选地,第二无线通信模块96通过WIFI将视野范围内的图像发送给VR设备。
本发明实施例还提供了一种VR设备。图10是根据本发明实施例的VR设备的结构框图,如图10所示,该VR设备包括第三无线通信模块80、第四无线通信模块82、第五无线通信模块84、视频播放模块86。
第三无线通信模块80用于与机顶盒建立连接。
第四无线通信模块82用于向机顶盒发送信息,其中,信息用于计算使用VR设备的视野范围。
第五无线通信模块84用于从机顶盒接收视野范围内的图像。
视频播放模块86用于播放视野范围内的图像。
可选地,第五无线通信模块84从机顶盒接收左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像;视频播放模块86将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像进行左右结合之后进行播放;或者,在两个屏幕中分别播放左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像。
可选地,VR设备还包括位置获取模块。位置获取模块用于获取VR设备的视觉距离、VR设备的轴向角度、VR设备的位置。
位置获取模块包括陀螺仪、电子罗盘、重力感应器件,通过陀螺仪、电子罗盘获取用户的轴向角度。
可选地,第五无线通信模块84通过WIFI从机顶盒接收视野范围内的图像。
视频播放模块86可以与普通三维播放器相同,只需播放机顶盒传输的视频,大大节省了VR系统开销。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,从接收到的视频数据中解析出帧的图像。
S2,接收虚拟现实VR设备提供的信息,其中,信息用于计算使用VR设备的视野范围。
S3,根据信息从图像中提取视野范围内的图像。
S4,将视野范围内的图像发送给VR设备。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:根据信息从图像中截取视野范围内的图像;降低视野范围内的图像的边缘的分辨率;将降低了分辨率的视野范围内的图像发送给VR设备。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:根据人眼敏感区的范围划分出视野范围内的图像的边缘。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:获取视频数据中的左眼视频和右眼视频,并从左眼视频和右眼视频中分别解析出对应帧的图像;分别从左眼视频对应的图像和右眼视频对应的图像中提取视野范围内的图像。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:在VR设备仅有一个屏幕的情况下,将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像进行左右结合;将结合之后的视野范围内的图像发送给VR设备。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:在VR设备有两个屏幕的情况下,将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像分别发送给VR设备。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:通过WIFI将视野范围内的图像发送给VR设备。
实施例4
本发明的实施例提供的存储介质还可以被设置为存储用于执行以下步骤的程序代码:
S1,与机顶盒建立连接。
S2,向机顶盒发送信息,其中,信息用于计算使用VR设备的视野范围。
S3,从机顶盒接收视野范围内的图像。
S4,播放视野范围内的图像。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:从机顶盒接收左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像;将左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像进行左右结合之后进行播放;或者,在两个屏幕中分别播放左眼视频对应的视野范围内的图像和右眼视频对应的视野范围内的图像。
可选地,在本实施例中,处理器根据存储介质中已存储的程序代码执行:通过WIFI从机顶盒接收视野范围内的图像。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (24)

1.一种视频处理方法,其特征在于,包括:
从接收到的视频数据中解析出帧的图像;
接收虚拟现实VR设备提供的信息,其中,所述信息用于计算使用所述VR设备的视野范围;
根据所述信息从所述图像中提取所述视野范围内的图像;
将所述视野范围内的图像发送给所述VR设备。
2.根据权利要求1所述的方法,其特征在于,根据所述信息从所述图像中提取所述视野范围内的图像,并将所述视野范围内的图像发送给所述VR设备包括:
根据所述信息从所述图像中截取所述视野范围内的图像;
降低所述视野范围内的图像的边缘的分辨率;
将降低了分辨率的所述视野范围内的图像发送给所述VR设备。
3.根据权利要求2所述的方法,其特征在于,根据人眼敏感区的范围划分出所述视野范围内的图像的边缘。
4.根据权利要求1所述的方法,其特征在于,
从接收到的视频数据中解析出帧的图像包括:获取所述视频数据中的左眼视频和右眼视频,并从所述左眼视频和所述右眼视频中分别解析出对应所述帧的图像;
根据所述信息从所述图像中提取所述视野范围内的图像包括:分别从所述左眼视频对应的图像和所述右眼视频对应的图像中提取所述视野范围内的图像。
5.根据权利要求4所述的方法,其特征在于,将所述视野范围内的图像发送给所述VR设备包括:
在所述VR设备仅有一个屏幕的情况下,将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合;
将结合之后的所述视野范围内的图像发送给所述VR设备。
6.根据权利要求4所述的方法,其特征在于,将所述视野范围内的图像发送给所述VR设备包括:
在所述VR设备有两个屏幕的情况下,将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像分别发送给所述VR设备。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述VR设备提供的信息包括以下至少之一:
所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
8.根据权利要求1至6中任一项所述的方法,其特征在于,将所述视野范围内的图像发送给所述VR设备包括:
通过无线保真WIFI将所述视野范围内的图像发送给所述VR设备。
9.一种视频播放方法,其特征在于,包括:
与机顶盒建立连接;
向所述机顶盒发送信息,其中,所述信息用于计算使用虚拟现实VR设备的视野范围;
从所述机顶盒接收所述视野范围内的图像;
播放所述视野范围内的图像。
10.根据权利要求9所述的方法,其特征在于,
从所述机顶盒接收所述视野范围内的图像包括:从所述机顶盒接收左眼视频对应的所述视野范围内的图像和右眼视频对应的所述视野范围内的图像;
播放所述视野范围内的图像包括:将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合之后进行播放;或者,在两个屏幕中分别播放所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像。
11.根据权利要求9或10所述的方法,其特征在于,所述VR设备向所述机顶盒发送的信息包括以下至少之一:
所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
12.根据权利要求9或10所述的方法,其特征在于,从所述机顶盒接收所述视野范围内的图像包括:
通过无线保真WIFI从所述机顶盒接收所述视野范围内的图像。
13.一种机顶盒,其特征在于,包括:
接收模块,用于从接收到的视频数据中解析出帧的图像;
第一无线通信模块,用于接收虚拟现实VR设备提供的信息,其中,所述信息用于计算使用所述VR设备的视野范围;
视频处理模块,用于根据所述信息从所述图像中提取所述视野范围内的图像;
第二无线通信模块,用于将所述视野范围内的图像发送给所述VR设备。
14.根据权利要求13所述的机顶盒,其特征在于,
所述视频处理模块根据所述信息从所述图像中截取所述视野范围内的图像,降低所述视野范围内的图像的边缘的分辨率;
所述第二无线通信模块将降低了分辨率的所述视野范围内的图像发送给所述VR设备。
15.根据权利要求14所述的机顶盒,其特征在于,根据人眼敏感区的范围划分出所述视野范围内的图像的边缘。
16.根据权利要求13所述的机顶盒,其特征在于,
所述接收模块获取所述视频数据中的左眼视频和右眼视频,并从所述左眼视频和所述右眼视频中分别解析出对应所述帧的图像;
所述视频处理模块分别从所述左眼视频对应的图像和所述右眼视频对应的图像中提取所述视野范围内的图像。
17.根据权利要求16所述的机顶盒,其特征在于,
在所述VR设备仅有一个屏幕的情况下,所述第二无线通信模块将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合;将结合之后的所述视野范围内的图像发送给所述VR设备。
18.根据权利要求16所述的机顶盒,其特征在于,
在所述VR设备有两个屏幕的情况下,所述第二无线通信模块将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像分别发送给所述VR设备。
19.根据权利要求13至18中任一项所述的机顶盒,其特征在于,所述VR设备提供的信息包括以下至少之一:
所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
20.根据权利要求13至18中任一项所述的机顶盒,其特征在于,所述第二无线通信模块通过无线保真WIFI将所述视野范围内的图像发送给所述VR设备。
21.一种VR设备,其特征在于,包括:
第三无线通信模块,用于与机顶盒建立连接;
第四无线通信模块,用于向所述机顶盒发送信息,其中,所述信息用于计算使用虚拟现实VR设备的视野范围;
第五无线通信模块,用于从所述机顶盒接收所述视野范围内的图像;
视频播放模块,用于播放所述视野范围内的图像。
22.根据权利要求21所述的VR设备,其特征在于,
所述第五无线通信模块从所述机顶盒接收左眼视频对应的所述视野范围内的图像和右眼视频对应的所述视野范围内的图像;
所述视频播放模块将所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像进行左右结合之后进行播放;或者,在两个屏幕中分别播放所述左眼视频对应的所述视野范围内的图像和所述右眼视频对应的所述视野范围内的图像。
23.根据权利要求21或22所述的VR设备,其特征在于,所述VR设备还包括:
位置获取模块,用于获取所述VR设备的视觉距离、所述VR设备的轴向角度、所述VR设备的位置。
24.根据权利要求21或22所述的VR设备,其特征在于,所述第五无线通信模块通过无线保真WIFI从所述机顶盒接收所述视野范围内的图像。
CN201610332569.7A 2016-05-18 2016-05-18 视频处理方法、视频播放方法、机顶盒以及vr设备 Pending CN107404641A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610332569.7A CN107404641A (zh) 2016-05-18 2016-05-18 视频处理方法、视频播放方法、机顶盒以及vr设备
PCT/CN2017/084541 WO2017198143A1 (zh) 2016-05-18 2017-05-16 视频处理方法、视频播放方法、机顶盒以及vr设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610332569.7A CN107404641A (zh) 2016-05-18 2016-05-18 视频处理方法、视频播放方法、机顶盒以及vr设备

Publications (1)

Publication Number Publication Date
CN107404641A true CN107404641A (zh) 2017-11-28

Family

ID=60325697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610332569.7A Pending CN107404641A (zh) 2016-05-18 2016-05-18 视频处理方法、视频播放方法、机顶盒以及vr设备

Country Status (2)

Country Link
CN (1) CN107404641A (zh)
WO (1) WO2017198143A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587470A (zh) * 2018-10-23 2019-04-05 嘉兴玄视信息科技有限公司 一种基于虚拟现实一体机的3d电视及一体机控制系统
CN111107293A (zh) * 2019-12-16 2020-05-05 咪咕文化科技有限公司 360度视频录制方法、装置、电子设备及存储介质
CN112184918A (zh) * 2020-09-15 2021-01-05 福建师范大学协和学院 基于电商的虚拟旅游方法、装置、计算机设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703913B (zh) * 2019-09-27 2023-09-26 腾讯科技(深圳)有限公司 对象交互方法和装置、存储介质及电子装置
CN111698513A (zh) * 2020-05-22 2020-09-22 深圳威尔视觉传媒有限公司 图像采集方法、显示方法、装置、电子设备及存储介质
CN111970552A (zh) * 2020-08-04 2020-11-20 深圳市佳创视讯技术股份有限公司 一种基于机顶盒实时播放dvb全景视频流的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110197201A1 (en) * 2010-02-09 2011-08-11 Samsung Electronics Co., Ltd. Network based real-time virtual reality input/output system and method for heterogeneous environment
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统
CN105340279A (zh) * 2012-12-27 2016-02-17 微软技术许可有限责任公司 用于近眼显示器的显示更新时间缩减

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160050349A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video
CN105338272A (zh) * 2015-11-27 2016-02-17 广东长虹电子有限公司 基于VR技术及Miracast技术的电视机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110197201A1 (en) * 2010-02-09 2011-08-11 Samsung Electronics Co., Ltd. Network based real-time virtual reality input/output system and method for heterogeneous environment
CN105340279A (zh) * 2012-12-27 2016-02-17 微软技术许可有限责任公司 用于近眼显示器的显示更新时间缩减
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587470A (zh) * 2018-10-23 2019-04-05 嘉兴玄视信息科技有限公司 一种基于虚拟现实一体机的3d电视及一体机控制系统
CN111107293A (zh) * 2019-12-16 2020-05-05 咪咕文化科技有限公司 360度视频录制方法、装置、电子设备及存储介质
CN112184918A (zh) * 2020-09-15 2021-01-05 福建师范大学协和学院 基于电商的虚拟旅游方法、装置、计算机设备

Also Published As

Publication number Publication date
WO2017198143A1 (zh) 2017-11-23

Similar Documents

Publication Publication Date Title
CN107404641A (zh) 视频处理方法、视频播放方法、机顶盒以及vr设备
US11706403B2 (en) Positional zero latency
CN110419224B (zh) 消费视频内容的方法、电子设备和服务器
CN110876051B (zh) 视频数据的处理,传输方法及装置,视频数据的处理系统
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN107771395A (zh) 生成和发送用于虚拟现实的元数据的方法和装置
CN106303354B (zh) 一种脸部特效推荐方法及电子设备
CN107888987A (zh) 一种全景视频播放方法及装置
CN110463195A (zh) 用于在虚拟现实视频中渲染定时文本和图形的方法和设备
CN109218755B (zh) 一种媒体数据的处理方法和装置
CN109716769A (zh) 在多媒体信息中提供面向对象的缩放的系统和方法
US11252391B2 (en) Methods and apparatus for packing images into a frame and/or including additional content or graphics
CN111937397A (zh) 媒体数据处理方法及装置
KR102076139B1 (ko) 360 영상 라이브 스트리밍 서비스 방법 및 서버장치
CN107770602B (zh) 视频图像处理方法、装置和终端设备
EP4226334A1 (en) Network-based spatial computing for extended reality (xr) applications
CN110035316A (zh) 处理媒体数据的方法和装置
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN108769755A (zh) 高分辨率全景视频直播拍照系统与方法
US20210144283A1 (en) An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on
CN107438203A (zh) 用于建立清单的方法和网络设备
CN106303493B (zh) 图像处理方法及装置
WO2020062700A1 (zh) 处理媒体数据的方法、客户端和服务器
US9325963B2 (en) Device and method for rendering and delivering 3-D content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171128