CN106919248A - 应用于虚拟现实的内容传输方法以及设备 - Google Patents

应用于虚拟现实的内容传输方法以及设备 Download PDF

Info

Publication number
CN106919248A
CN106919248A CN201510998439.2A CN201510998439A CN106919248A CN 106919248 A CN106919248 A CN 106919248A CN 201510998439 A CN201510998439 A CN 201510998439A CN 106919248 A CN106919248 A CN 106919248A
Authority
CN
China
Prior art keywords
picture
video
main perspective
user
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510998439.2A
Other languages
English (en)
Inventor
张立斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510998439.2A priority Critical patent/CN106919248A/zh
Publication of CN106919248A publication Critical patent/CN106919248A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Abstract

本发明实施例提供了一种应用于虚拟现实技术领域的内容传输方法，该方法中虚拟现实终端与视频系统建立网络连接，该虚拟现实终端实时检测使用者的视角信息，将该使用者的视角信息同步给视频系统，并接收视频系统基于视角信息返回的视频内容，该视频内容中包含与主视角对应的第一画面以及与非主视角对应的第二画面，第一画面的视频质量高于第二画面的视频质量。该方法中，视频系统对使用者当前视角范围内的视频内容采用高质量的方式传输，而对非使用者视角范围内的视频内容采用较低质量的方式传输，降低了网络传输资源的消耗。

Description

应用于虚拟现实的内容传输方法以及设备
技术领域
本发明涉及虚拟现实技术，尤其涉及一种应用于虚拟现实的内容传输方法和设备。
背景技术
虚拟现实(Virtual Reality，简称VR)技术是利用计算机模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。该项技术是多种技术的综合体，涉及实时三维计算机图形技术，广角(宽视野)立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉、力觉反馈、立体声、网络传输、语音输入输出技术等。
简单来说，虚拟现实技术就是一种可以创建和体验虚拟世界的计算机仿真系统，使用户有一种置身于虚拟境界之中的感觉。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身在虚拟环境中、并能全心投入和沉浸其中的感觉，该类的产品包括基于头盔式显示器的系统、投影式虚拟现实系统和远程存在系统等。
目前，随着长期演进(Long Term Evolution,LTE)技术的普及和发展，已开始出现将全景摄像机与VR眼镜通过LTE网络连接，实时体验全景视频的应用，使得佩戴VR眼镜的使用者可以实时体验远端全景摄像机拍摄的视频，感觉自己如同就在远方摄像机所在的地方进行“现场”游览，身临其境一般。摄像机会实时通过LTE网络传输每个摄像头拍摄的视频画面给VR眼镜。为了保证VR眼镜使用者的身临其境感觉，每一路视频都采用高清甚至更高分辨率的方式来传输画面。但是使用者在佩戴VR眼镜时，使用者的视野仅能看一定角度的视频，其他角度的视频，使用者在不转头时是看不见的，因此，当前这种应用的不足在于整个全景视频画面都采用高质量的方式来传输，浪费了传输带宽。
发明内容
有鉴于此，提供一种应用于虚拟现实技术的内容传输方法和设备，可以减少视频内容传输时的带宽消耗。
第一方面，提供一种应用于虚拟现实技术的内容传输方法，该方法中，虚拟现实终端与视频系统建立网络连接，该虚拟现实终端检测使用者视角信息，将该使用者的视角信息发送给视频系统，并接收视频系统基于该视角信息返回的全景视频内容，该视频内容中包含与主视角对应的第一画面以及与非主视角对应的第二画面，第一画面的视频质量高于第二画面的视频质量。该方法中，全景视频内容可以是360度全景，也可以是180全景等其他维度的全景。
视频系统对使用者当前视野范围内的视频内容采用高质量的方式传输，而对非使用者视野范围内的视频内容采用较低质量的方式传输，降低了网络传输资源的消耗。
结合第一方面的第一实施方式中，第一画面的视频质量高于第二画面的视频质量包括：所述第一画面的分辨率高于所述第二画面的分辨率，或者，所述第一画面的帧频高于所述第二画面的帧频。
结合第一方面或第一方面的一实施方式的第二实施方式中，视频系统采用可伸缩编码(SVC)技术编码，向虚拟现实终端发送的第一画面包括基本层图层和增强层图层，可选的，增强层图层可以为多个，第一画面可以传输多个增强层图层，第二画面可以也可以传输增强层图层，视频系统可以根据网络状态对于第一画面和第二画面灵活选择一个或多个增强图层进行传输。该方法使得视频系统可根据网络状况调整视频内容传输方式，进一步提升网络资源的使用效率，并保障用户体验。
结合第一方面或第一方面第一实施方式或第一方面第二实施方式的第三实施方式中，虚拟现实终端在检测到使用者的视角信息发生变化后，将变化后的使用者视角信息同步给该视频系统。该方式使得系统系统在使用者视角没发生变化之前，持续以上述方式向虚拟现实终端传输视频内容，保持业务的连续性。
第二方面，提供一种应用于虚拟现实技术的内容传输方法，该方法包括：视频系统接收虚拟现实终端发送的使用者视角信息，该视频系统根据所述使用者视角信息向所述虚拟现实终端发送全景视频内容，所述全景视频内容包括与所述使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量。
结合第二方面的第一实施方式中，所述第一画面的视频质量高于所述第二画面的视频质量是指所述第一画面的分辨率高于所述第二画面的分辨率，或者，所述第一画面的帧频高于所述第二画面的帧频。
结合第二方面或第二方面第一实施方式的第二实施方式中，所述视频内容采用可伸缩编码(SVC)，所述第一画面包括基本层图层和增强层图层，所述第二画面包括基本层图层；可选的，增强层图层可是是多层，视频系统可以根据网络状况灵活选择一个或多个增强层。
结合第二方面或者第二方面的第一实施方式，或第一方面第二实施方式的第三实施方式中，视频系统在向所述虚拟现实终端发送全景视频前，还包括：根据所述视角信息确定主视角和非主视角，具体的可以根据所述使用者的视角信息，确定使用者当前的视野为使用者的主视角，确定非使用者当前的视野为非主视角。
结合第二方面第三实施方式的第四实施方式中，所述视频系统还根据全景视频的画面内容确定主视角，具体的，是将所述全景视频内容中出现突发视频或突发音频的区域确定为主视角。该方法中，视频系统根据画面内容预测使用者的主视角，保证用户能够在突发视频或突发音频情况下，及时体验到高质量的视频内容。
结合第二方面的第五实施方式中，所述视频系统在向所述虚拟现实终端发送全景视频前，还包括：确定所述主视角对应的第一画面和所述非主视角对应的第二画面。
可选的，可以先确定所述主视角对应的一个或多个摄像头，将所述一个或多个摄像头拍摄的画面确定为所述第一画面，将其他一个或多个摄像头拍摄的画面确定为第二画面；
可选的，将所述全景视频划分为多个子画面，将所述主视角对应的一个或多个子画面确定为第一画面，将其他一个或多个子画面确定为第二画面。该方式中，各个子画面可以采用SVC方式编码，属于第一画面的子画面可以采用基本层图层和增强层图层方式传输，属于第二画面的子画面采用基本层图层方式传输，保证传输方式的灵活性和准确性。
结合第二方面第五实施方式的第六实施方式中，可以根据所述子画面与所述主视角的匹配程度，将与所述主视角匹配度符合匹配阈值的一个或多个子画面确定为第一画面，将与所述主视角匹配度不符合匹配阈值一个或多个子画面确定为第二画面。该方式根据画面与视角的匹配程度确定传输的第一和第二画面，进一步提升带宽的利用率。
第三方面，提供一种虚拟现实终端，该终端包括：检测单元、发送单元以及接收单元，检测单元，用于实时检测使用者的视角信息；发送单元，用于将所述使用者的视角信息同步给视频系统；接收单元，用于接收所述视频系统基于所述使用者主视角返回的全景视频内容，所述全景视频内容包括与所述使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量。该虚拟现实终端可以用于实现如上所述的内容传输方法。
第四方面，提供另外一种虚拟现实终端，该终端包括：主控单元、存储单元、通信单元、图像处理单元、音频处理单元、姿态传感器单元，主控单元用于执行指令，管理各个功能模块的配置以及传感器数据的采集工作；存储单元用于存储程序指令或者数据供主控单元执行；通信单元用于对无线信号进行收发处理；图像处理单元用于对图像信号进行处理，音频处理单元用于对音频信号进行处理，姿态传感器单元用于感测用户运动姿态。该虚拟现实终端可以用于实现如上所述的内容传输方法。
第五方面，提供一种视频系统，该视频系统包括：接收单元，用于接收虚拟现实终端同步的使用者视角信息；处理单元，用于根据所述使用者视角信息确定向所述虚拟现实终端发送的全景视频内容，所述全景视频内容包括与所述使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量；发送单元，用于将所述全景视频内容发送给所述虚拟现实终端。该视频系统可以用于实现如上所述的内容传输方法。
第六方面，提供另外一种视频系统，该视频系统包括：处理单元、存储单元、通信单元、图像采集单元、音频采集单元，其中处理单元用于执行程序指令，存储单元用于存储程序指令或数据供处理单元执行，通信单元用于对无线信号进行收发处理；图像采集单元用于采集图像信号，音频单元用于采集音频信号。该视频系统可以用于实现如上所述的内容传输方法。
第七方面，提供了一种虚拟现实终端，该虚拟现实终端具有实现上述方法实际中虚拟现实终端执行的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，虚拟现实终端的结构中包括处理器和存储器，所述存储器用于存储支持虚拟现实终端执行上述方法的应用程序代码，所述处理器被配置为用于执行所述存储器中存储的应用程序。所述虚拟现实终端还可以包括通信接口，用于与其他设备或通信网络通信。
第八方面，本发明实施例提供了一种计算机存储介质，用于储存为上述虚拟现实终端所用的计算机软件指令，其包含用于执行上述方面为虚拟现实终端所设计的程序。
第九方面，本发明实施例还提供一种视频系统，该视频系统具有实现上述方法实际中视频系统执行的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，视频系统的结构中包括处理器和存储器，所述存储器用于存储支持视频系统执行上述方法的应用程序代码，所述处理器被配置为用于执行所述存储器中存储的应用程序。所述视频系统还可以包括通信接口，用于与其他设备或通信网络通信。
第十方面，本发明实施例提供了一种计算机存储介质，用于储存为上述视频系统所用的计算机软件指令，其包含用于执行上述方面为视频系统所设计的程序。
第十一方面，提供一种虚拟现实系统，包括如第三、四、第七或第八方面所述的虚拟现实终端以及如第五或六、第九或第十方面所述的视频系统。
该虚拟现实系统可用于实现如上所述的内容传输方法。
采用本发明实施例的内容传输方法，用户视角范围内的视频内容采用高质量的视频传输方式，非视角范围内的视频内容采用较低质量的视频传输方式，大幅降低了虚拟现实体验的网络传输带宽，提升了网络资源的利用效率。
附图说明
图1是本发明一实施例应用场景示意图；
图2是本发明一实施例的虚拟现实终端电路系统结构示意图；
图3是本发明一实施例的视频系统结构示意图；
图4是本发明一实施例的内容传输方法的流程图；
图5是本发明一实施例的视频系统内容处理流程图
图6-8为本发明实施例中确定视角对应的视频内容的方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
图1是本发明实施例的应用场景图。
如图1所示，该应用场景中，虚拟现实终端100通过网络系统(如：LTE网络)与远程的视频系统200相连。视频系统200可以集成全景摄像机，可以进一步包括独立的视频服务器，或者集成的视频存储系统。将拍摄的全景视频通过无线网络系统发送给虚拟现实终端100，这样虚拟现实终端使用者可以实时体验远端全景摄像机拍摄的视频，感觉自己如同就在远方摄像机所在的地方进行“现场”游览，身临其境一般。基于这个应用场景，很多事情都可以结合虚拟现实终端和远程视频系统，教育工作者可以允许学生在中国长城看到他们想看到的任何地方。摄影师可以通过无人机在大峡谷日落时捕捉完美的杂志封面拍摄。无人机比赛爱好者可以犹如亲自坐在驾驶座上比赛。炼油厂检查员可以不离开他们的办公桌去检查油塔的每一个角落和缝隙。需要注意的是，本发明实施例不仅仅限于如上所述的使用场景，这些使用场景仅是示例说明，所述网络系统不限于是LTE等无线网络系统，也可以是有线网络。
图2是本发明一实施例的虚拟现实终端结构示意图。
虚拟现实终端100(如虚拟现实头盔)包括光学系统以及电路系统，光学系统主要包括光学镜片，例如为凸状透镜等镜片和镜片位置调节装置，镜片包括左眼镜片、右眼镜片。其中，左眼镜片和右眼镜片设置于显示屏的前方，即位于用户的眼睛和显示屏之间。左眼镜片和右眼镜片可以更换，镜片位置调节装置可以调整左眼镜片和右眼镜片的位置以调节镜片和显示屏之间的距离，使虚拟现实终端100适用于不同视力的用户。参考图2，虚拟现实头盔100的电路系统包括主控单元101、存储单元102、通信单元103、图像处理单元104、音频处理单元105、MHL/HDML接收单元106、显示屏107、电声转换单元108、麦克风单元109、姿态传感器单元110。在另外一种虚拟现实头盔中，也可以仅包含光学系统，电路系统可以由智能终端设备(如：手机、平板电脑、游戏机、高清播放器等音视频设备)代替。
主控单元101用于执行指令，管理各个功能模块的配置以及传感器数据的采集工作，可以是单核或者多核处理器(CPU)；存储单元102用于存储程序指令或者数据供主控单元101执行；通信单元103用于接入不同的无线网络系统(如：LTE网络)，对无线信号进行收发处理，可以是集成射频芯片的基带芯片。图像处理单元104可以是图形处理器(Graphics Processing Unit，GPU)，用于对图像信号进行处理；音频处理单元105可以包括音频解码模块和音频编码模块，两个模块可以是分开的两个芯片，也可以是集成的一个芯片。MHL/HDMI接收单元106可以是集成了移动终端高清影音标准接口(Mobile High-DefinitionLink，MHL)接口和高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)的数据接口。这种数据接口能够将其他终端的MHL/HDMI节目的视频信号与音频信号同时传输到虚拟现实头盔上，对于用户来说非常便利；MHL/HDMI接收单元106可以包括MHL/HDMI接收器、音频输出接口、以及视频输出接口；显示屏107用于显示图像，可以是采用超高分辨率、高刷新率、以及更高响应时间的LCD显示屏，配合光学成像系统带来高清的画质，以及更为流畅的显示效果。电声转换单元108可以是扬声器或者受话器；麦克风单元109用于采集用户声音信号；姿态传感器单元110可以为九轴姿态传感器，包括三轴陀螺仪、三轴加速度传感器、和三轴磁感应传感器，用于感测用户运动姿态。
在一种可选的方式中，主控单元101、存储单元102、通信单元103、图像处理单元104、音频处理单元105和姿态传感器单元110可以集成到一个片上系统(System on Chip，SOC)中。
通信单元103接收来自视频系统200的音视频信号，将音视频信号发送给主控单元101处理后将其中的视频信号输出至图像处理单元104进行处理，图像处理单元104输出处理后的视频信号至显示屏107进行显示；以及将其中的音频信号输出至音频处理单元105进行解码，音频处理单元105输出解码后的音频节目信号至电声转换单元108进行播放。
MHL/HDMI接收单元106也可通过MHL/HDMI数据线接收其他智能终端传输的节目信号，将节目信号中的视频节目信号输出至图像处理单元104进行处理，图像处理单元104输出处理后的视频节目信号至显示屏107进行显示；以及将其中的音频节目信号输出至音频解码模块105进行解码，音频信号处理单元105输出解码后的音频节目信号至电声转换单元108进行播放。
姿态传感器单元110用于检测用户视角信息，将检测到的视角信息发送至主控单元101，主控单元101通过通信单元103将使用者视角信息同步给视频系统200，视频系统200根据视角信息调整发送给虚拟现实终端的视频内容的传输方式，将用户主视角范围内的视频内容采用高质量的方式进行传输，而对用户主视角范围外的视频内容采用较低质量的方式传输，从而节省网络资源。通过内置的姿态传感器单元110，对用户的视角信息进行实时追踪，将视角信息通过通信单元103与远程视频系统200进行实时通讯，远程视频系统可以根据使用者的视角信息对视频场景进行实时更新，使用户的视角与视频场景变化完全同步，获得逼真的虚拟现实体验，达到增强现实的功能。
在另外一种实现方式中，该虚拟现实终端具有实现如图4或5所述内容传输方法实际中虚拟现实终端执行的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。虚拟现实终端的结构中包括处理器和存储器，所述存储器用于存储支持虚拟现实设备执行如图4内容传输方法的应用程序代码。所述处理器被配置为用于执行所述存储器中存储的应用程序。所述虚拟现实终端还可以包括通信接口，用于与其他设备或通信网络通信。
如图3所示，为本发明实施例中的视频系统结构示意图，该视频系统200包括：处理单元201、存储单元202、通信单元203、图像采集单元204、音频采集单元205。处理单元201可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。存储单元202可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。通信单元203，可以是使用任何收发器一类的装置，或集成射频芯片的基带芯片，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless LocalArea Networks，WLAN)等。图像采集单元204可以是全景摄像装置，包含一个或多个摄像头，用于采集图像信号。音频采集单元205可以是麦克风，用于采集声音信号。
在具体实现中，作为一种实施例，视频系统200还可以包括专用的图像处理单元206和音频处理单元207，用于分别对图像采集单元204和音频采集单元205采集的图像和声音信号进行处理。当然图像处理单元206与音频处理单元207也可以集成到处理单元201中。
视频系统200可以通过通信单元203基于无线网络(如LTE网络)与虚拟现实终端100建立无线链接。将图像采集单元204和音频采集单元205采集的图像和声音信号处理后，通过无线网络向虚拟现实终端100发送音视频信号。视频系统200还可以接收虚拟现实终端100实时同步的使用者的视角信息，视频系统可以根据使用者的视角信息对视频场景进行实时更新，使用户的视角信息与视频场景变化完全同步。
本发明实施例中的无线网络不限于LTE网络，可以是以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等通信网络。
在另外一种实现方式中，视频系统具有实现如图4或5所述内容传输方法实际中视频系统执行的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与下述功能相对应的模块。
在一个可能的设计中，视频系统的结构中包括处理器和存储器，所述存储器用于存储支持视频系统执行下述内容传输方法的应用程序代码，所述处理器被配置为用于执行所述存储器中存储的应用程序。所述视频系统还可以包括通信接口，用于与其他设备或通信网络通信。
下面结合图4对本发明实施例做进一步说明。
本发明实施例的内容传输方法中，虚拟现实终端通过姿态传感器实时检测用户的头部姿态变化，确定用户的视角信息，并将用户的视角信息通过网络同步给远程的视频系统，视频系统根据用户的视角信息调整视频内容的传输方式，将用户主视角范围内的视频内容采用高质量的方式进行传输，而对用户主视角范围外的视频内容采用较低质量的方式传输，从而节省网络资源。
需要注意的是，本实施例中的高质量与低质量只是一个相对概念，高质量是指主视角范围内的视频内容的质量比主视角范围外的视频内容的质量高。可以从分辨率和帧频两个维度进行理解。也即主视角范围内的视频内容的分辨率或者帧频比主视角范围外的视频内容的分辨率或者帧频要高。比如：主视角范围内的视频内容可以用4K甚至8K等超高清分辨率来作为高质量视频传输，而主视角范围外的视频内容采用1080P等高清作为低质量传输。或者主视角范围内的视频内容可以用120帧频等刷新率较高的帧率来进行高质量视频传输，而主视角范围外的视频内容采用90帧频等刷新率相对“低”的帧率来进行相对低质量视频传输。
视角信息是指使用者视野范围信息。另外，本发明实施例中所称的“主视角”是视频系统确定的使用者可能看到的视野范围，包括使用者当前视野范围和/预测的使用者可能的视野范围。
如图4所示，本发明实施例的内容传输方法，包括：
401、虚拟现实终端实时检测使用者的视角信息，将所述使用者的视角信息同步给视频系统。
具体的，虚拟现实终端通过内置的姿态传感器实时检测使用者的头部姿态，根据头部姿态的变化，计算使用者的视角。比如：姿态传感器根据测量到的头部运动的速度、加速度信息计算头部将要达到的位置，然后根据预测到的头部方位确定与头部方位对应的用户视角。本方案中的用户视角，是指用户眼睛的视野，视野是指人的头部和眼球固定不动的情况下，眼睛观看正前方物体时所能看得见的空间范围，称为静视野，眼睛转动所看到空间范围称为动视野，常用角度来表示。然后虚拟现实终端将使用者的视角信息通过无线网络传递给视频系统。
402、视频系统根据接收的使用者的视角信息确定向虚拟现实终端返回的全景视频内容，全景视频内容包括与使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量。
具体的，视频系统在收到虚拟现实终端同步的使用者视角信息后，需要根据使用者视角信息确定使用者的主视角和非主视角。将使用者当前的视野确定为使用者的主视角，将非使用者当前的视野确定为使用者的非主视角。然后根据使用者的主视角和非主视角将视频内容划分为主视角范围内的视频内容和非主视角范围的视频内容。简单的说，就是将全景视频内容分为使用者能够看到的视野范围内的视频画面和暂时看不到的视频画面。然后将主视角范围内的视频内容采用高质量的方式进行传输，对非主视角范围内的视频内容采用较低质量的方式进行传输。本实施例中的高质量与低质量是一个相对概念，上文中已有说明，在此不再赘述。
可选的，视频系统也可以将这个范围进行进一步细化，分成更多的等级，从而更好的提升用户的感知。比如可以进一步将非主视角再进行级别划分，划分为次主视角和完全非主视角，其中次主视角为挨着主视角的视角，在主视角的周围，完全非主视角为挨着次主视角的视角，距离主视角较远。
在一种可能的实施方式中，主视角范围内的视频内容可以传输基本层图层加增强层图层，而非主视角范围内的视频内容仅传输基本层图层。此处的基本层图层和增强层图层涉及到可伸缩视频编解码(Scalable Video Coding，SVC)技术。SVC技术是一种能将视频分割为多个分辨率、质量和帧速率层的技术，把视频信号编码成分层的形式，当带宽不足时只对基本层的码流进行传输和解码，但这时解码的视频质量不高。当带宽慢慢变大时，可以传输增强层的码流来提高视频的解码质量。所谓分层编码，就是在时间，空间，质量上进行划分，输出多层码流(包括基本层和增强层)，其中基本层的数据可以使解码器完全正常的解码出基本视频内容，但是基本层的数据获得的视频图像可能帧率较低，分辨率较低，或者质量较低。在信道受限或信道环境复杂时，可以保证解码端能够接收到可以观看的流畅视频图像。当信道环境良好或信道资源丰富时，可以传递增强层数据(增强层也可以为多层)，以提高帧率，或分辨率，或视频质量。
可选的，增强层图层可能为多层，主视角范围内的视频内容可以传输基本层图层加多个增强层图层，而非主视角范围内的视频内容传输基本层图层加少部分增强层图层。增强层图层的多少可根据实际网络状态灵活选择。
视频系统具体如何使用SVC技术进行编码可进一步参考图6-8实施例中的说明。
可选的，视频系统在检测或收到使用者视角变化前，可以持续的按照上述方式向虚拟现实终端发送视频内容，一旦检测或收到新的使用者视角信息，从新对视频内容进行划分，然后按照上述方法传输。
403、视频系统将确定的全景视频内容返回给所述虚拟现实终端。
虚拟现实终端将接收的全景视频内容进行解码播放，采用本发明实施例的内容传输方法，用户主视角范围内的视频内容采用高质量的视频传输方式，非主视角范围内的视频内容采用较低质量的视频传输方式，大幅降低了虚拟现实体验的网络传输带宽，提升了网络资源的利用效率。
下面以图5为例，对本发明另一实施例的内容传输方法进行说明。
如图5所示，该传输方法包括：
501、虚拟现实终端实时检测使用者的视角信息，将所述使用者的视角信息同步给视频系统。
该步骤具体实现方式可参考图4步骤401的说明。
502、视频系统根据视频的画面内容确定主视角。
从使用者在真实环境中的习惯来看，如果某一个方向有突发的视频(突然有物体窜出来)或者音频(喊叫、汽笛声等)，使用者一般都会马上被这些事件吸引，并将头快速的移动过去来感知到底发生了什么，对于VR应用同样适用，即如果全景视频画面中出现了突发视频，或者有突发的音频，使用者肯定会移动头部来快速的捕捉这些发生的画面和场景。那么就需要将这些位置也设置成主视角，或者次主视角，以保证使用者能够快速的高质量的感知这些视角范围内的视频画面。
具体的，对于突发视频和突发音频两种场景，视频系统确定主视角的方法如下：
场景1：出现突发视频
视频系统确定突发视频的位置，将以该位置中心为中心点的周围n(n>＝0)度角都设置为主视角。其中突发视频的确定方法不限于，视频画面中物体快速移动、画面形状和颜色发生突变等。
场景2：出现突发音频
视频系统定位突发音频的位置，将以该位置中心为中心点的周围n(n>＝0)度角都设置为主视角。其中突发音频的确定方法不限于，该空间位置音频声音强度突然增大，或者该空间位置音频的频率发生突然变化，或者该空间位置的声音强度突然增大并且频率发生变化。
以上由视频系统基于突发音频或者突发视频决定的主视角可能同时有多个(同时有多个突发音频，或者多个突发视频)，那么可以将这些主视角叠加形成最后实际的主视角。
可选的，视频系统进一步还可以基于使用者视角信息，将使用者视野范围也确定为主视角，避免预测的主视角不准确，保证用户当前的视野范围采用高质量视频的传输方式。
503、视频系统确定主视角范围以及非主视角范围各自对应的视频内容。
504、视频系统将主视角范围的视频内容采用高质量的方式传输给虚拟现实终端，非主视角的视频内容采用较低质量的方式传输给虚拟现实终端。
具体实现可参考图4步骤402的说明。
上述实施例的内容传输方法，可由图1-2所示的虚拟现实终端和视频系统配合实施。
如上的内容传输方法，可以由视频系统根据具体的视频画面预测使用者的主视角，将主视角的内容使用高质量的方式进行传输，保证使用者可以体验到高质量的视频内容，提升用户体验，还能降低网络传输资源的消耗。
下面介绍本发明实施例中视频系统确定主视角范围内的视频内容的具体实现方式。
其中，一种可选的方式是基于摄像头信息来确定主视角范围内的视频内容。
视频系统的全景摄像头拍摄的画面由多个摄像头采集而成。在实际传输这些视频画面时，可以针对每个摄像头采集的内容单独编码压缩传送。那么视频系统可以根据主视角与全景摄像头的位置对应关系，将一个或多个摄像头拍摄的画面作为主视角范围的内容，将该一个或多个摄像头拍摄的内容采用高质量的方式传输给虚拟现实终端，然后由虚拟现实终端采用全景视频算法将多路视频流合成一个全景视频。
如果是分多级视角(主视角，次主视角等)，那么次主视角的确定类似，即确定完主视角后，剩下的摄像头拍摄的画面中只要有次主视角内容出现的范围，那么该摄像头拍摄的画面就全部是次主视角对应的视频内容。依次类推，直到剩下的摄像头拍摄的内容全部是非主视角和次主视角对应的视频内容。
另一种可选的方式中，可以基于全景视频画面来确定主视角范围对应的视频内容，以图6-8为例。
如图6所示，视频系统将多个摄像头拍摄后的视频拼接成一个全景视频，拼接后形成一幅完整的360度(或者180度等其他角度)全景画面。具体视频拼接计算方式可参考现有技术。然后将这个拼接后的全景画面，分成N*M个视频子画面，每个子画面均采用SVC方式进行编码,N与M可以是任何正整数。当视频系统确定主视角、次主视角和完全非主视角三个范围后。可进一步根据确定的主视角、次主视角以及完全非主视角确定视角对应的传输子画面。
需要注意的，图6-8将用户视角划分为主视角、次主视角以及完全非主视角，这仅为方便说明，不构成对本发明方案的范围限制，在另外一种实施方式中，也可以仅划分为主视角和非主视角，或者其他多级视角的方式。
比如，N和M均是6，则整幅全景画面被分割成36个子画面，每个画面都可以单独采用SVC方式编码并传输。如图中所示，在画面中主视角和次主视角范围对应的视频画面分别由浅灰色和深灰色色块进行表示。由于有些子画面是跨视角范围的(一部分在主视角范围内，一部分在非主视角范围内)，因此可以简单的认为每个子画面都是一个单独的摄像头拍摄的，即可用与上述基于摄像头确定视频内容的方式来确定最终的视角信息对应的视频内容，即只要与主视角相关的画面，都可以设置成主视角。如图7所示，此时相关的视角范围如下：
1)主视角对应的子画面：(N2/M2)，(N2/M3)，(N2/M4)，(N2/M5)，(N3/M2)，(N3/M3)，(N3/M4)，(N3/M5)，(N4/M2)，(N4/M3)，(N4/M4)，(N4/M5)，(N5/M2)，(N5/M3)，(N5/M4)，(N5/M5)，共16个子画面；
2)次主视角对应的子画面：(N1/M2)，(N1/M3)，(N1/M4)，(N1/M5)，(N2/M1)，(N2/M6)，(N3/M1)，(N3/M6)，(N4/M1)，(N4/M6)，(N5/M1)，(N5/M6)，(N6/M2)，(N6/M3)，(N6/M4)，(N6/M5)共16个子画面。
3)非主视角和次主视角对应的子画面：剩下的其他子画面,(N1/M1)，(N1/M6),(N6/M1),(N6/M6)共4个子画面。
如图7中所示，存在几个子画面涉及的主视角范围实际很小，比如(N2/M2)，该子画面涉及的主视角范围不超过1％，也被设置成了主视角，这实际上是浪费了传输带宽，因为这对最终的视频体验影响不大，所以可以不用设置成主视角。
参考图8，可进一步考虑设置比例，比如该子画面与当前主视角匹配程度超过x％，则该子画面设置成主视角范围。另外，次主视角是体验者当前看不到的视角，确定次非主视角时，这个匹配比例可以适当调高，假如为y％。即该子画面与当前次主视角匹配程度超过y％，则该子画面设置成次非主视角。此时的各视角范围对应的子画面如图8所示(例如：其中x＝5，y＝40)
1)主视角对应的子画面：(N2/M3)，(N2/M4)，(N3/M2)，(N3/M3)，(N3/M4)，(N3/M5)，(N4/M2)，(N4/M3)，(N4/M4),(N4/M5),(N5/M3)，(N5/M4)共12个子画面；
2)次主视角对应的子画面：(N1/M3)，(N1/M4)，(N2/M2),(N2/M5)，(N3/M1)，(N3/M6)，(N4/M1),(N4/M6)，(N5/M2)，(N5/M5)，(N6/M3)，(N6/M4)共12个子画面。
3)非主视角和次主视角对应的子画面：剩下的其他子画面，共12个子画面。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (26)

1.一种应用于虚拟现实(VR)技术的内容传输方法，其特征在于，包括：
虚拟现实终端检测使用者的视角信息，将所述使用者的视角信息发送给视频系统；
所述虚拟现实终端接收所述视频系统基于所述使用者视角信息返回的全景视频内容，所述全景视频内容包括与使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量。
2.如权利要求1所述的内容传输方法，其特征在于，所述第一画面的视频质量高于所述第二画面的视频质量，包括：
所述第一画面的分辨率高于所述第二画面的分辨率，或者，
所述第一画面的帧频高于所述第二画面的帧频。
3.如权利要求1或2所述的内容传输方法，其特征在于，所述视频内容采用可伸缩编码(SVC)，所述第一画面包括基本层图层和增强层图层，所述第二画面包括基本层图层。
4.如权利要求1-3任一项所述的内容传输方法，其特征在于，所述内容传输方法还包括：
所述虚拟现实终端在检测到使用者的视角信息发生变化时，将变化后的视角信息同步给所述视频系统。
5.一种应用于虚拟现实技术的内容传输方法，其特征在于，包括：
视频系统接收虚拟现实终端发送的使用者视角信息；
所述视频系统根据所述使用者视角信息向所述虚拟现实终端发送全景视频内容，所述全景视频内容包括与使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量。
6.如权利要求5所述的内容传输方法，其特征在于，所述第一画面的视频质量高于所述第二画面的视频质量，包括:
所述第一画面的分辨率高于所述第二画面的分辨率，或者，
所述第一画面的帧频高于所述第二画面的帧频。
7.如权利要求5或6所述的内容传输方法，其特征在于，所述视频内容采用可伸缩编码(SVC)，所述第一画面包括基本层图层和增强层图层，所述第二画面包括基本层图层。
8.如权利要求5-7任一项所述的内容传输方法，其特征在于，所述视频系统在向所述虚拟现实终端发送全景视频前，还包括：
所述视频系统根据所述视角信息确定主视角和非主视角。
9.如权利要求8所述的内容传输方法，其特征在于，所述视频系统根据所述视角信息确定主视角和非主视角，包括：
根据所述使用者的视角信息，确定使用者当前的视野为使用者的主视角，确定非使用者当前的视野为非主视角。
10.如权利要求8所述的内容传输方法，其特征在于，所述视频系统还进一步根据全景视频的画面内容确定主视角，所述根据全景视频的画面内容确定主视角，包括：
将所述全景视频内容中出现突发视频或突发音频的区域也确定为主视角。
11.如权利要求5-10任一项所述的内容传输方法，其特征在于，所述方法还包括：
将所述非主视角划分为次主视角和完全非主视角，所述次主视角对应画面的视频质量介于所述主视角与所述完全非主视角画面的视频质量之间。
12.如权利要求5-11任一项所述的内容传输方法，其特征在于，所述视频系统在向所述虚拟现实终端发送全景视频前，还包括：
确定所述主视角对应的第一画面和所述非主视角对应的第二画面。
13.如权利要求12所述的内容传输方法，其特征在于，确定所述主视角对应的第一画面和所述非主视角对应的第二画面包括：
确定所述主视角对应的一个或多个摄像头，将所述一个或多个摄像头拍摄的画面确定为所述第一画面，将其他一个或多个摄像头拍摄的画面确定为第二画面。
14.如权利要求12所述的内容传输方法，其特征在于，确定所述主视角对应的第一画面和所述非主视角对应的第二画面包括：
将所述全景视频划分为多个子画面，将所述主视角对应的一个或多个子画面确定为第一画面，将其他一个或多个子画面确定为第二画面。
15.如权利要求14所述的内容传输方法，其特征在于，将所述主视角对应的一个或多个子画面确定为第一画面，将其他一个或多个子画面确定为第二画面，包括：
根据所述子画面与所述主视角的匹配程度，将与所述主视角匹配度符合匹配阈值的一个或多个子画面确定为第一画面，将与所述主视角匹配度不符合匹配阈值一个或多个子画面确定为第二画面。
16.一种虚拟现实终端，其特征在于，包括：
检测单元，用于检测使用者的视角信息；
发送单元，用于将所述使用者的视角信息发送给视频系统；
接收单元，用于接收所述视频系统基于所述使用者视角信息返回的全景视频内容，所述全景视频内容包括与使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量。
17.如权利要求16所述的虚拟现实终端，其特征在于，所述接收单元接收的第一画面的视频质量高于所述第二画面的视频质量，包括：
所述第一画面的分辨率高于所述第二画面的分辨率，或者，
所述第一画面的帧频高于所述第二画面的帧频。
18.如权利要求16或17所述的虚拟现实终端，其特征在于，所述接收单元接收的第一画面包括基本层图层和增强层图层，所述第二画面包括基本层图层。
19.如权利要求16-18任一项所述的虚拟现实终端，其特征在于，所述发送单元具体用于：
在检测单元检测到使用者的视角信息发生变化时，将变化后的视角信息发送给所述视频系统。
20.一种视频系统，其特征在于，包括：
接收单元，用于接收虚拟现实终端发送的使用者视角信息；
处理单元，用于根据所述使用者视角信息确定向所述虚拟现实终端发送的全景视频内容，所述全景视频内容包括与使用者主视角对应的第一画面和非主视角对应的第二画面，所述第一画面的视频质量高于所述第二画面的视频质量；
发送单元，用于将所述全景视频内容发送给所述虚拟现实终端。
21.如权利要求20所述的视频系统，其特征在于，还包括：
确定单元，用于根据所述使用者的视角信息，确定使用者的主视角和非主视角。
22.如权利要求21所述的视频系统，其特征在于，
所述确定单元，具体用于根据所述使用者的视角信息，确定使用者当前的视野为使用者的主视角，确定非使用者当前的视野为非主视角。
23.如权利要求21所述的视频系统，其特征在于，所述确定单元还进一步用于：
根据全景视频的画面内容，将所述全景视频内容中出现突发视频或突发音频的区域也确定为主视角。
24.如权利要求20-23任一项所述的视频系统，其特征在于，所述确定单元，还用于确定所述主视角对应的第一画面和所述非主视角对应的第二画面。
25.如权利要求20-24任一项所述的视频系统，其特征在于，所述第一画面的视频质量高于所述第二画面的视频质量，包括:
所述第一画面的分辨率高于所述第二画面的分辨率，或者，所述第一画面的帧频高于所述第二画面的帧频。
26.一种虚拟现实系统，其特征在于，包括：
如权利要求16-19任一项所述的虚拟现实终端，以及，
如权利要求20-25任一项所述的视频系统。
CN201510998439.2A 2015-12-26 2015-12-26 应用于虚拟现实的内容传输方法以及设备 Pending CN106919248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510998439.2A CN106919248A (zh) 2015-12-26 2015-12-26 应用于虚拟现实的内容传输方法以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510998439.2A CN106919248A (zh) 2015-12-26 2015-12-26 应用于虚拟现实的内容传输方法以及设备

Publications (1)

Publication Number Publication Date
CN106919248A true CN106919248A (zh) 2017-07-04

Family

ID=59455769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510998439.2A Pending CN106919248A (zh) 2015-12-26 2015-12-26 应用于虚拟现实的内容传输方法以及设备

Country Status (1)

Country Link
CN (1) CN106919248A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396077A (zh) * 2017-08-23 2017-11-24 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
CN108419142A (zh) * 2017-01-03 2018-08-17 黑帆科技有限公司 Vr视频播放方法及装置
CN108965959A (zh) * 2018-08-10 2018-12-07 Tcl通力电子（惠州）有限公司 Vr视频的播放、获取方法、手机、pc设备及系统
WO2018223839A1 (en) * 2017-06-08 2018-12-13 Huawei Technologies Co., Ltd. A method and system for transmitting virtual reality (vr) content
CN109408234A (zh) * 2018-10-19 2019-03-01 国云科技股份有限公司 一种基于边缘计算的增强现实技术数据优化系统及方法
CN109799899A (zh) * 2017-11-17 2019-05-24 腾讯科技（深圳）有限公司 交互控制方法、装置、存储介质和计算机设备
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN109840952A (zh) * 2018-12-29 2019-06-04 深圳市虚拟现实科技有限公司 虚拟现实记忆再现系统及其方法
CN110121065A (zh) * 2018-02-05 2019-08-13 苹果公司 空间排序视频编码应用中的多向图像处理
CN110149542A (zh) * 2018-02-13 2019-08-20 华为技术有限公司 传输控制方法
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
CN111131764A (zh) * 2018-11-01 2020-05-08 腾讯科技（深圳）有限公司 资源兑换视频数据处理方法、计算机设备和存储介质
CN111158459A (zh) * 2018-11-07 2020-05-15 辉达公司 几何声学在沉浸式虚拟现实（vr）中的应用
CN111263208A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 一种画面合成方法、装置、电子设备及存储介质
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
CN111510757A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种共享媒体数据流的方法、装置以及系统
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
CN112073669A (zh) * 2020-09-18 2020-12-11 三星电子（中国）研发中心 一种视频通信的实现方法和装置
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置
CN112218158A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 一种视频处理的方法及设备
WO2021052040A1 (zh) * 2019-09-20 2021-03-25 华为技术有限公司 视频图像的增强方法、装置、设备、芯片及存储介质
CN112602042A (zh) * 2018-06-25 2021-04-02 皇家飞利浦有限公司 用于生成场景的图像的装置的方法
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
WO2021097803A1 (zh) * 2019-11-22 2021-05-27 北京小米移动软件有限公司 资源切换方法、装置及存储介质
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1781311A (zh) * 2003-11-03 2006-05-31 三星电子株式会社 使用注视检测来处理视频数据的设备和方法
CA2324802C (en) * 2000-10-31 2009-01-13 Vr Interactive International, Inc. Panoramic imaging apparatus and method
CN104053038A (zh) * 2013-03-11 2014-09-17 索尼公司 基于用户在视频显示器特定部分上的聚焦处理视频信号
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2324802C (en) * 2000-10-31 2009-01-13 Vr Interactive International, Inc. Panoramic imaging apparatus and method
CN1781311A (zh) * 2003-11-03 2006-05-31 三星电子株式会社 使用注视检测来处理视频数据的设备和方法
CN104053038A (zh) * 2013-03-11 2014-09-17 索尼公司 基于用户在视频显示器特定部分上的聚焦处理视频信号
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419142A (zh) * 2017-01-03 2018-08-17 黑帆科技有限公司 Vr视频播放方法及装置
US10477105B2 (en) 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
WO2018223839A1 (en) * 2017-06-08 2018-12-13 Huawei Technologies Co., Ltd. A method and system for transmitting virtual reality (vr) content
CN107396077A (zh) * 2017-08-23 2017-11-24 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
WO2019037365A1 (zh) * 2017-08-23 2019-02-28 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN107396077B (zh) * 2017-08-23 2022-04-08 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置
CN107590859A (zh) * 2017-09-01 2018-01-16 广州励丰文化科技股份有限公司 一种混合现实画面处理方法及服务设备
CN107529064A (zh) * 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法
CN109799899A (zh) * 2017-11-17 2019-05-24 腾讯科技（深圳）有限公司 交互控制方法、装置、存储介质和计算机设备
CN110121065A (zh) * 2018-02-05 2019-08-13 苹果公司 空间排序视频编码应用中的多向图像处理
CN110121065B (zh) * 2018-02-05 2021-02-09 苹果公司 空间排序视频编码应用中的多向图像处理
CN110149542B (zh) * 2018-02-13 2021-12-03 华为技术有限公司 传输控制方法
CN110149542A (zh) * 2018-02-13 2019-08-20 华为技术有限公司 传输控制方法
WO2019157803A1 (zh) * 2018-02-13 2019-08-22 华为技术有限公司 传输控制方法
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US11190820B2 (en) 2018-06-01 2021-11-30 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US11641499B2 (en) 2018-06-01 2023-05-02 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
CN112602042A (zh) * 2018-06-25 2021-04-02 皇家飞利浦有限公司 用于生成场景的图像的装置的方法
CN112602042B (zh) * 2018-06-25 2024-04-05 皇家飞利浦有限公司 用于生成场景的图像的装置和方法
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
CN108965959A (zh) * 2018-08-10 2018-12-07 Tcl通力电子（惠州）有限公司 Vr视频的播放、获取方法、手机、pc设备及系统
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11671623B2 (en) 2018-08-13 2023-06-06 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN109408234A (zh) * 2018-10-19 2019-03-01 国云科技股份有限公司 一种基于边缘计算的增强现实技术数据优化系统及方法
CN111131764B (zh) * 2018-11-01 2021-06-15 腾讯科技（深圳）有限公司 资源兑换视频数据处理方法、计算机设备和存储介质
CN111131764A (zh) * 2018-11-01 2020-05-08 腾讯科技（深圳）有限公司 资源兑换视频数据处理方法、计算机设备和存储介质
US11809773B2 (en) 2018-11-07 2023-11-07 Nvidia Corporation Application of geometric acoustics for immersive virtual reality (VR)
CN111158459A (zh) * 2018-11-07 2020-05-15 辉达公司 几何声学在沉浸式虚拟现实（vr）中的应用
CN111263208B (zh) * 2018-11-30 2022-11-04 杭州海康威视数字技术股份有限公司 一种画面合成方法、装置、电子设备及存储介质
CN111263208A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 一种画面合成方法、装置、电子设备及存储介质
CN109819272B (zh) * 2018-12-26 2022-09-16 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN109840952A (zh) * 2018-12-29 2019-06-04 深圳市虚拟现实科技有限公司 虚拟现实记忆再现系统及其方法
CN111510757A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种共享媒体数据流的方法、装置以及系统
CN112218158B (zh) * 2019-07-12 2021-12-28 华为技术有限公司 一种视频处理的方法及设备
CN112218158A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 一种视频处理的方法及设备
WO2021052040A1 (zh) * 2019-09-20 2021-03-25 华为技术有限公司 视频图像的增强方法、装置、设备、芯片及存储介质
WO2021097803A1 (zh) * 2019-11-22 2021-05-27 北京小米移动软件有限公司 资源切换方法、装置及存储介质
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置
CN112073669A (zh) * 2020-09-18 2020-12-11 三星电子（中国）研发中心 一种视频通信的实现方法和装置
CN113949884A (zh) * 2021-09-02 2022-01-18 北京大学深圳研究生院 多视点视频数据处理方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106919248A (zh) 应用于虚拟现实的内容传输方法以及设备
US10691202B2 (en) Virtual reality system including social graph
US11575876B2 (en) Stereo viewing
US10666921B2 (en) Generating content for a virtual reality system
EP3337158A1 (en) Method and device for determining points of interest in an immersive content
US10701426B1 (en) Virtual reality system including social graph
WO2018109265A1 (en) A method and technical equipment for encoding media content
US11887249B2 (en) Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
WO2023001113A1 (zh) 一种显示方法与电子设备
CN116529773A (zh) 视听呈现装置及其操作方法
WO2018109266A1 (en) A method and technical equipment for rendering media content
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
CN113992996A (zh) 传输数据的方法和装置
CN109313823A (zh) 信息处理装置、信息处理方法和程序
US20220232201A1 (en) Image generation system and method
US11863902B2 (en) Techniques for enabling high fidelity magnification of video
US20220148253A1 (en) Image rendering system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704