CN106713895A - 处理内容的方法和设备 - Google Patents

处理内容的方法和设备 Download PDF

Info

Publication number
CN106713895A
CN106713895A CN201510827534.6A CN201510827534A CN106713895A CN 106713895 A CN106713895 A CN 106713895A CN 201510827534 A CN201510827534 A CN 201510827534A CN 106713895 A CN106713895 A CN 106713895A
Authority
CN
China
Prior art keywords
content
degree
dimensional
resolution
visible region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510827534.6A
Other languages
English (en)
Inventor
D·S·穆拉
P·安邦安桑
P·旦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106713895A publication Critical patent/CN106713895A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种处理内容的方法和设备。实时选择性自适应带宽方法使得能够通过划分内容并且利用内容的不同分辨率来发送三维360度虚拟现实内容，其中用户的能见区域中的内容比用户的非能见区域中的内容具有更高的分辨率。附加地，在确定要发送哪种分辨率内容时使用诸如可用带宽的网络信息。

Description

处理内容的方法和设备
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求2014年11月26日提交的名称为“实时选择性自适应带宽”的美国临时专利申请序列号62/123,778的优先权，在此为了一切目的通过引用将其全部内容合并于此。
技术领域
本发明涉及网络带宽的领域，更具体地，涉及选择性自适应网络带宽。
背景技术
诸如来自的墨菲斯项目(Project Morpheus)、来自的Gear VR、来自的Oculus Rift等等产品将在数以百万计的消费者的手中可用。除了游戏之外，用户还可以体验沉浸于逼真的3D 360度视频。
生成360度视频的处理包括使多个摄影机在所有方向上记录，其中，帧比特在每个镜头中重叠。软件将每个摄像机流拆成单个帧并且拼合所有片段(pieces)，以便创建完全投影全景(equirectangularpanorama)。然后，按照捕获帧率倒回这些全景帧，以生成360度视频。为了产生360度立体效果，使用两个360度视频流，每个360度视频流针对一只眼睛。
为了实现高质量360度虚拟现实(VR)视频，针对每只眼睛使用按照8192x4096像素的分辨率每秒60帧的回放。对于当今的因特网平均宽带速度和设备的当前处理能力，这是非常有挑战的。结果，大多数视频以1080p或4K质量分发，从而限制了质量。
流传输23个像素每度(PPD)(8K)分辨率自身是个挑战，因为它使用超高清(4K)的四倍分辨率和带宽。
发明内容
这里描述的发明内容仅提供示例性实施例，而不是意图以任何方式进行限制。
实时选择性自适应带宽方法使得能够通过划分内容并且利用内容的不同分辨率来发送三维360度虚拟现实内容，其中用户的能见区域中的内容比用户的非能见区域中的内容具有更高的分辨率。附加地，在确定要发送哪种分辨率内容时使用诸如可用带宽的网络信息。
在一个方面，一种处理内容的方法，所述方法包括：接收三维360度虚拟现实内容，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及显示所述三维360度虚拟现实内容。所述高质量成分和所述更低的质量成分各自包括内容的片段。所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。所述高质量成分和所述更低的质量成分按照相同的时间码同步。所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽的。所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。
在另一个方面，一种处理内容的设备，所述设备包括：用于接收三维360度虚拟现实内容的装置，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及用于显示所述三维360度虚拟现实内容的装置。所述高质量成分和所述更低的质量成分各自包括内容的片段。所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。所述高质量成分和所述更低的质量成分按照相同的时间码同步。所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽的。所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。
在另一个方面，一种处理内容的方法，所述方法包括：存储多个分辨率的三维360度虚拟现实内容；以及基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容。所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。所述高质量成分和所述更低质量成分按照相同的时间码同步。发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。所述非能可见区域的内容的分辨率是最低分辨率，而所述能见区域的内容的分辨率是基于剩余的可用网络带宽的。所述网络信息包括网络速度和网络流量。
在又一个方面，一种处理内容的设备，所述设备包括：用于存储多个分辨率的三维360度虚拟现实内容的装置；以及用于基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容的装置。所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。所述高分辨率内容和所述更低分辨率内容按照相同的时间码同步。发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。所述非能见区域的内容的分辨率是最低分辨率，而所述能见区域的内容的分辨率是基于剩余的可用网络带宽的。所述网络信息包括网络速度和网络流量。
附图说明
图1例示平均人眼立体/双眼视场的示图。
图2例示根据一些实施例的被划分为4个1024x2048片段的4K图像的示例。
图3例示根据一些实施例的HMD的示图。
图4例示根据一些实施例的使用实时选择性自适应带宽方法的体验。
图5例示根据一些实施例的在内容中集成购买机会的实现方式。
图6例示根据一些实施例的实现实时选择性自适应带宽方法的方法的流程图。
图7例示根据一些实施例的被配置为实现实时选择性自适应带宽方法的示例性计算装置的框图。
图8例示根据一些实施例的被配置为实现实时选择性自适应带宽方法的装置的网络。
具体实施方式
用于体育/现实内容的虚拟现实(VR)视频按照60fps传送；按照60fps流传输的4K AVC使用15～20mbps，按照60fps流传输的4K AVC 3D使用30～40mbps，8K AVC流传输使用60～80mps，以及8K 3D AVC流传输使用120～160mps。HEVC能够将AVC带宽减半。
根据Akamai的因特网状态，美国和加拿大的平均因特网速度可以潜在地支持4K的一个流，而不是两个，其中使用4K以便支持头戴式显示器(HMD)装置的与生俱来的立体能力。
考虑到实时流传输两个8K文件的比特率(160mbps)将比美国和加拿大可实现的平均比特率高12倍，为了传送用于VR HMD的高质量实时流，使用不同的方法。
能够使用用于VR的选择性自适应实时流传输标准。
平均人眼立体/双眼视场接近120度(对于某些人而言，更大或更小)，而当前HMD装置视场接近100度(尽管这可以增大或减小)，所以用户将不能同时看到整个360度球体。图1示出平均人眼立体/双眼视场的示图。
结合VR的高像素密度和帧率速度需求，浪费了如此多的处理能力、网络带宽、gpu周期和电池寿命来发送和渲染用户不会看到的超过50％的数据是非常没有效率的。
这里描述对自适应带宽标准的扩展，以便支持按照相同的时间码同步的多个层的回放，以及基于由头戴式显示器通知的用户视点，视频播放器将偏爱对于能见片段的带宽和分辨率。例如，能见片段在首先发送方面具有优先级和/或具有质量优先级(例如更高质量)。
在用户高速移动他的头部的情况下，结果是在几秒内看到低质量内容(例如图像/视频)，直至播放器从HMD方位接收到信息，以便偏爱该层。此外，快速头部移动非常不舒服，特别是在VR中。对于正常用户的头部移动速度，将能够通过以高质量显示球体的仅一些分段(segment)来维持良好的、清晰的分辨率，而不会存在可察觉到的质量损失。
在一些实施例中，音频将不会与视频片段多路复用。音频将是它自己的单独的流。
当前HLS清单表(Manifest)文件：
同时下载并且播放以下列表的仅一层。根据分段的下载速度，质量将提高或降低。
#EXTM3U
#EXT-X-VERSION:4VR
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝290400,CODECS＝“avc1.42000d,mp4a.40.2",RESOLUTION＝384x216
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls1.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝1320000,CODECS＝“avc1.77.30,mp4a.40.2",RESOLUTION＝640x360
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls2.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝1760000,CODECS＝“avc1.4d001f,mp4a.40.2",RESOLUTION＝960x540
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls3.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝2750000,CODECS＝“avc1.4d001f,mp4a.40.2",RESOLUTION＝1280x720
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls4.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝5880800,CODECS＝“avc1.4d001f,mp4a.40.2",RESOLUTION＝1920x1080
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls5.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝10880800,CODECS＝“avc1.4d0020,mp4a.40.2",RESOLUTION＝2048x1024
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls6.m3u8
扩展的VR HLS清单表文件：
对于球体的每个片段，具有不同分辨率和比特率的多个层也将如以上示出的示例一样使用。取代该质量变型仅依赖于当前用户网络速度，360度球体内部的HMD方位也将具有影响，以用于优先化。这是通过具有播放用于2D内容的1个音频流和4个视频流以及用于3D的8个视频流的能力的播放器来实现的，如以下所表示的。对于3D回放，L将表示左球体，而R将表示右球体。
VR主HLS定义：
#EXTM3U
#EXT-X-VERSION:4VR
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“mp4a.40.2"
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VR_Master_Audio.m3u8
//这是仅音频流，该音频流用于同步，但与视频独立
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝1,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_L_Slice1.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝1,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_R_Slice1.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝2,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_L_Slice2.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝2,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_R_Slice2.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝3,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_L_Slice3.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝3,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_R_Slice3.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝4,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_L_Slice4.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,CODECS＝“avc1.4200d”,SLICE＝4,VISIBLE＝YES
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/VRmaster_R_Slice4.m3u8
以上划分的视频层中的每一个视频层将具有它们自己的自适应层，将通过标志VISIBLE(能见)[YES(是)/NO(否)]对这些层进行优先化。Visible(能见)＝NO(否)表示这些层将以最低可用带宽进行播放。
#EXTM3U
#EXT-X-VERSION:4VR
#EXT-X-STREAM-INF:PROGRAM-ID1,BANDWIDTH＝290400,C0DECS＝“avc1.4200",RESOLUTION＝384x216
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls1.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝1320000,CODECS＝“avc1.77.32",RESOLUTION＝640x360
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls2.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝1760000,CODECS＝“avc1.4d001f",RESOLUTION＝960x540
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls3.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝2750000,CODECS＝“avc1.4d001f",RESOLUTION＝1280x720
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls4.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝5880800,CODECS＝“avc1.4d001f",RESOLUTION＝1920x1080
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls5.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID＝1,BANDWIDTH＝10880800,CODECS＝“avc1.4d0020",RESOLUTION＝2048x1024
http://example.url.akamaidhd.net/hls/live/220453/grc2014hlstest/masterhls6.m3u8
清单表文件的第一层将描述球体中呈现的片段的量。为了效率，在主VR清单表文件中描述至少4个垂直片段。属性VRHMD visible(能见)＝yes(是)/no(否)应该被HMD触发。被触发为visible(能见)＝no(否)的流将被迫为最低可用质量层。被触发为visible(能见)＝yes(是)的层应该获得剩余的可用网络带宽。
对于能见流，清单表文件的第二层将按照与当前规范类似的方式运行，这将根据由携带两个最低层作为占位符所产生的可用网络速度进行适配。
图2例示根据一些实施例的被划分为4个1024x2048片段的4K图像的示例。基于HMD的方位，将为MPEG DASH(或HLS)VR流传输自动地优化实时视频，从而使得能够使用所需要的视频内存缓存分配和网络带宽中的仅一小部分，为VR头戴式耳机或HMD(例如墨菲斯(Morpheus))实时广播高质量8K(23PPD)内容。可以定义媒体播放器将如何读取用户HMD POV，以便确定哪些片段应该具有全分辨率和高比特率。
图3例示根据一些实施例的HMD的示图。HMD包括能够显示如这里描述的内容的显示器。HMD能够包括任何其他组件，以便利用这里描述的实时选择性自适应带宽。
图4例示根据一些实施例的使用实时选择性自适应带宽的体验。电影和电视节目的社会观看是可能的，例如在电影院和俱乐部游戏环境中。能够利用HMD观看包括360度3D VR视频的3D电影和内容。
图5例示根据一些实施例的在内容中集成购买机会的实现方式。例如，交互式菜单能够出现在应用、电影、游戏或其他内容中，使得能够购买或租用附加的内容/产品。例如，在用户正在观看电影时，交互式VR菜单出现，这使得用户能够租用相关的游戏。
在场景的专用交互制作以及在场景后面，能够为VR制作360度视频内容，包括访问著名位置和视频游戏位置的演练。除了Crackle之外，来自PlayStation(游戏平台)频道的实时内容形式还能够与来自Twitch TV和Ustream的PS4实时流组合，以产生社会观看体验。VR/社会观看体验的种类也可用于观看来自PlayStation(游戏平台)实时事件查看器或其他查看器的实时体育赛事。PS4VR环境为交互式广告机会生成了许多可能性。
使用360度3D摄像机，利用摄影机稳定器(Steadicam)，能够产生在叙事VR体验中的旅行。在一些实施例中，体验包括与具有头部跟踪功能的沉浸式POV相组合的交互层。交互层链接至在线商店(例如商店)中的DLC和产品页。
用户能够选择诸如蜘蛛侠海报(Spiderman poster)、捉鬼敢死队汽车(Ghostbusters car)、绝命毒师RV(Breaking Bad RV)、危机(Jeopardy)和命运之轮(Wheel of Fortune)阶段之类的兴趣点，以购买/租用/观看电影、TV节目和游戏。交互式捉鬼敢死队消防站(Ghostbusters Firehouse)和黑衣人(Men In Black)总部VR空间包括到在线商店中的游戏和虚拟商品的链接。
能够在诸如的游乐园和体育赛事中利用这里描述的方法和实现方式。例如，用户能够在3D VR中观看体育赛事。还能够利用音乐会体验来采用这些方法和实现方式，以给予用户对实时音乐会的社会和虚拟体验。
图6例示根据一些实施例的实现实时选择性自适应带宽方法的方法的流程图。在步骤600中，获取3D 360度VR内容。例如，使用多个360度相机或特定3D 360度相机系统来捕获内容(例如视频)。在步骤602中，将3D 360度VR内容修改和/或分离为不同质量内容，并且存储不同质量内容。例如，将内容分离为低质量(例如，诸如标准清晰度的低分辨率)、中等质量(例如，诸如4K超高清的中间分辨率)、和高质量(例如，诸如8K超高清的高分辨率)(尽管任意数量的质量等级是可能的)。在一些实施例中，通过获取高质量内容并且将内容压缩为中等质量和低质量来修改内容。在一些实施例中，同时获取不同质量视频(例如，同时获取所有低、中、高质量内容)。在步骤604中，将内容划分为片段。例如，4K内容被划分为4个1024x2048片段。在一些实施例中，每个质量等级内容被划分为片段。例如，高质量内容以及对应的中等质量内容和低质量内容还被划分为对应的片段。在步骤606中，将内容片段发送(例如上传/存储)到服务器装置。在步骤608中，从服务器装置向用户装置(如HMD)下载合适的内容片段。使用实时选择性自适应带宽方法下载内容。在一些实施例中，对于用户没有正在看的场景部分，下载最低分辨率版本，而对于场景的能见部分，下载当考虑联网/计算能力/信息(例如当前流量、CPU速度、网络连接类型)因素时可下载的最高分辨率版本。例如，在高流量期间，最高可下载分辨率可以仅是第三最好可用分辨率。在一些实施例中，下载用户正在看的场景部分的高分辨率版本和用户没有正在看的场景部分的较低分辨率版本。要下载的内容和要下载的分辨率随着用户移动他的头部和/或场景改变而改变。在一些实施例中，HMD或其他装置确定用户正在看哪里(例如，使用图像/视频上的坐标、基于传感器的HMD的当前方向或任何其他方式)，以及下载并且显示填充用户视角的一个或多个片段。例如，假设用户的视角大致是120度(尽管可以更大或更小，例如，用户的视角可以是180度或更大)，以及每个片段是60度视角区域，则两个片段在用户的视角中。用户的视角中的两个片段是高分辨率内容。其他240度(或4个片段)不在用户的视角中，并且是更低分辨率内容。在另一个示例中，用户的视角是180度，以及每个片段是60度视角区域，则三个片段在用户的视角中并且这三个片段是高分辨率内容，而其他三个片段在更低分辨率内容。在一些实施例中，用户的视角中的片段是高分辨率内容，恰好在用户的视角外部的片段是中间分辨率内容，而用户后面的片段是低分辨率内容。例如，(用户前面的)两个片段是高分辨率，(用户侧面或两个前面片段的任一侧的)两个片段是中间分辨率，而(用户后面的)两个片段是低分辨率。通过采用实时选择性自适应带宽方法，用户以高分辨率(或者基于当前情况的最高可能/实际分辨率)观看内容。如果用户移动他的头部，则系统对于该可视区域进行适配并且下载高分辨率内容。对于快速移动，可简要地观看低分辨率内容，但是然后下载并且显示高分辨率内容。在一些实施例中，在用户进行快速移动的情况下，实现缓存，其中在先地下载当前没有观看的高分辨率内容。在一些实施例中，使用分析(如用户分析、内容分析)智能地执行缓存，以预测用户何时可能转动他的头部。例如，用户正在使用HMD观看足球比赛，在开球期间用户相对快速地转动他的头部是正常的，因为球非常快地移动大致80码，所以基于此信息(例如，在第一节和第三节剩下15:00)，以高分辨率下载不仅仅是可观看区域。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改步骤的次序。
能够使用各种不同装置实现该方法。例如，使用相机来实现获取内容，使用处理装置来实现分离内容和/或划分内容，该处理装置将分离/划分的内容上传到在线服务器(或者在线服务器分离和/或划分内容)，以及在线服务器向终端用户装置(如游戏控制台、HMD、个人计算机)发送分离/划分的内容。
图7例示根据一些实施例的被配置为实现实时选择性自适应带宽方法的示例性计算装置的框图。计算装置700能够用于获取、存储、计算、处理、传送和/或显示诸如图像、视频和音频的信息。通常，适于实现计算装置700的硬件结构包括网络接口702、存储器704、处理器706、I/O装置708、总线710和存储装置712。处理器的选择不重要，只要选择了具有足够速度的合适处理器即可。存储器704能够是现有技术中已知的任何常规计算机存储器。存储装置712能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清光盘/驱动器、超-HD驱动器、闪存卡或任何其他存储装置。计算装置700能够包括一个或多个网络接口702。网络接口的示例包括连接到以太网或其他类型LAN的网络卡。I/O装置708能够包括以下中的一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其他装置。用于实现实时选择性自适应带宽方法的实时选择性自适应带宽应用730有可能存储在存储装置712和存储器704中，并且像应用通常被处理一样而被处理。图7中示出的更多或更少组件能够包括在计算装置700中。在一些实施例中，包括实时选择性自适应带宽硬件720。尽管图7中的计算装置700包括用于实时选择性自适应带宽方法的应用730和硬件720，但实时选择性自适应带宽方法能够以硬件、固件、软件或其任意组合在计算装置上实现。例如，在一些实施例中，将实时选择性自适应带宽应用730编程在存储器中并且使用处理器执行。在另一个示例中，在一些实施例中，实时选择性自适应带宽硬件720是编程的硬件逻辑，其包括被专门设计为实现实时选择性自适应带宽方法的门。
在一些实施例中，实时选择性自适应带宽应用730包括若干应用和/或模块。在一些实施例中，模块还包括一个或多个子模块。在一些实施例中，能够包括更少或附加的模块。
合适计算装置的示例包括HMD或其他VR装置、个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏控制台、数码相机、数码摄影机、照相电话、智能电话、便携式音乐播放器、平板计算机、移动装置、视频播放器、视频光盘刻录机/播放机(例如DVD刻录机/播放机、高清光盘刻录机/播放机、超高清光盘刻录机/播放机)、电视、家庭娱乐系统、智能首饰(例如智能手表)、玩具(例如填充玩具动物)或任何其他合适的计算装置。
图8例示根据一些实施例的被配置为实现实时选择性自适应带宽方法的装置的网络。装置的网络800能够包括通过网络808(例如因特网)耦接的任意数量的装置和任何各种装置，包括但不限于相机装置(例如360度3D相机)802、服务器装置804和具有VR头戴式耳机(例如HMD)的游戏控制台806。网络810能够是任何网络或多个网络，包括但不限于因特网、内联网、LAN/WAN/MAN、无线、有线、以太网、卫星、网络组合、或任何其他通信实现方式。装置能够彼此通过网络810通信或者彼此直接通信。装置中的一个或多个能够是终端用户装置、公司装置和/或其他实体的装置。
为了利用实时选择性自适应带宽方法，用户使用VR装置访问内容，并且使用实时选择性自适应带宽方法向用户提供内容，使得在可能时以高分辨率显示内容。
在操作时，实时选择性自适应带宽方法使得能够通过网络发送大量数据并适当显示，以便用户能够享受3D VR环境。
实时选择性自适应带宽的一些实施例
1.一种在设备的非暂态存储器中编程的方法，包括：
a.接收三维360度虚拟现实内容，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及
b.显示所述三维360度虚拟现实内容。
2.根据条款1所述的方法，其中，所述高质量成分和所述更低的质量成分各自包括内容的片段。
3.根据条款1所述的方法，其中，所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。
4.根据条款1所述的方法，其中，所述高质量成分和所述更低的质量成分按照相同的时间码同步。
5.根据条款1所述的方法，其中，所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。
6.根据条款1所述的方法，其中，所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽的。
7.根据条款1所述的方法，其中，所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。
8.一种设备，包括：
a.用于存储应用的非暂态存储器，所述应用用于：
i.接收三维360度虚拟现实内容，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及
ii.显示所述三维360度虚拟现实内容；以及
b.耦接至所述存储器的处理组件，所述处理组件被配置用于处理所述应用。
9.根据条款8所述的设备，其中，所述高质量成分和所述更低的质量成分各自包括内容的片段。
10.根据条款8所述的设备，其中，所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。
11.根据条款8所述的设备，其中，所述高质量成分和所述更低的质量成分按照相同的时间码同步。
12.根据条款8所述的设备，其中，所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。
13.根据条款8所述的设备，其中，所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽的。
14.根据条款8所述的设备，其中，所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。
15.一种在设备的非暂态存储器中编程的方法，包括：
a.存储多个分辨率的三维360度虚拟现实内容；以及
b.基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容。
16.根据条款15所述的方法，其中，所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。
17.根据条款16所述的方法，其中，所述高分辨率内容和所述更低分辨率内容按照相同的时间码同步。
18.根据条款15所述的方法，其中，发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。
19.根据条款15所述的方法，其中，所述非能见区域的内容的分辨率是最低分辨率，而能见区域的内容的分辨率是基于剩余的可用网络带宽的。
20.根据条款15所述的方法，其中，所述网络信息包括网络速度和网络流量。
21.一种设备，包括：
a.用于存储应用的非暂态存储器，所述应用用于：
i.存储多个分辨率的三维360度虚拟现实内容；以及
ii.基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容；以及
b.耦接至所述存储器的处理组件，所述处理组件被配置用于处理所述应用。
22.根据条款21所述的设备，其中，所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。
23.根据条款22所述的设备，其中，所述高分辨率内容和所述更低分辨率内容按照相同的时间码同步。
24.根据条款21所述的设备，其中，发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。
25.根据条款21所述的设备，其中，所述非能见区域的内容的分辨率是最低分辨率，而能见区域的内容的分辨率是基于剩余的可用网络带宽的。
26.根据条款21所述的设备，其中，所述网络信息包括网络速度和网络流量。
已经按照并入细节以便于理解本发明的构造和操作的原理的特定实施例描述了本发明。这里对特定实施例及其细节的这种参考不是旨在限制所附权利要求的范围。对于本领域技术人员而言，明显的是，在为了说明而选择的实施例中可以做出其他各种修改，而不偏离权利要求限定的本发明的精神和范围。

Claims (26)

1.一种处理内容的方法，所述方法包括：
a.接收三维360度虚拟现实内容，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及
b.显示所述三维360度虚拟现实内容。
2.根据权利要求1所述的方法，其中，所述高质量成分和所述更低的质量成分各自包括内容的片段。
3.根据权利要求1所述的方法，其中，所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。
4.根据权利要求1所述的方法，其中，所述高质量成分和所述更低的质量成分按照相同的时间码同步。
5.根据权利要求1所述的方法，其中，所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。
6.根据权利要求1所述的方法，其中，所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽。
7.根据权利要求1所述的方法，其中，所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。
8.一种处理内容的设备，所述设备包括：
a.用于接收三维360度虚拟现实内容的装置，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及
b.用于显示所述三维360度虚拟现实内容的装置。
9.根据权利要求8所述的设备，其中，所述高质量成分和所述更低的质量成分各自包括内容的片段。
10.根据权利要求8所述的设备，其中，所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。
11.根据权利要求8所述的设备，其中，所述高质量成分和所述更低的质量成分按照相同的时间码同步。
12.根据权利要求8所述的设备，其中，所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。
13.根据权利要求8所述的设备，其中，所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽。
14.根据权利要求8所述的设备，其中，所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。
15.一种处理内容的方法，所述方法包括：
a.存储多个分辨率的三维360度虚拟现实内容；以及
b.基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容。
16.根据权利要求15所述的方法，其中，所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。
17.根据权利要求16所述的方法，其中，所述高分辨率内容和所述更低分辨率内容按照相同的时间码同步。
18.根据权利要求15所述的方法，其中，发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。
19.根据权利要求15所述的方法，其中，所述非能见区域的内容的分辨率是最低分辨率，而能见区域的内容的分辨率是基于剩余的可用网络带宽。
20.根据权利要求15所述的方法，其中，所述网络信息包括网络速度和网络流量。
21.一种处理内容的设备，包括：
a.用于存储多个分辨率的三维360度虚拟现实内容的装置；以及
b.用于基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容的装置。
22.根据权利要求21所述的设备，其中，所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。
23.根据权利要求22所述的设备，其中，所述高分辨率内容和所述更低分辨率内容按照相同的时间码同步。
24.根据权利要求21所述的设备，其中，发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。
25.根据权利要求21所述的设备，其中，所述非能见区域的内容的分辨率是最低分辨率，而能见区域的内容的分辨率是基于剩余的可用网络带宽。
26.根据权利要求21所述的设备，其中，所述网络信息包括网络速度和网络流量。
CN201510827534.6A 2014-11-26 2015-11-25 处理内容的方法和设备 Pending CN106713895A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462123778P 2014-11-26 2014-11-26
US14/940,089 US20160150212A1 (en) 2014-11-26 2015-11-12 Live selective adaptive bandwidth
US14/940,089 2015-11-12

Publications (1)

Publication Number Publication Date
CN106713895A true CN106713895A (zh) 2017-05-24

Family

ID=56011517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510827534.6A Pending CN106713895A (zh) 2014-11-26 2015-11-25 处理内容的方法和设备

Country Status (3)

Country Link
US (1) US20160150212A1 (zh)
JP (2) JP2016105593A (zh)
CN (1) CN106713895A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120912A (zh) * 2018-09-30 2019-01-01 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备及装置
CN112804511A (zh) * 2021-01-04 2021-05-14 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置
CN113453046A (zh) * 2020-03-24 2021-09-28 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419770B2 (en) 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
US10694249B2 (en) * 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US10412438B2 (en) * 2016-03-14 2019-09-10 The Directv Group, Inc. Method and system for viewing sports content within a virtual reality environment
US9986221B2 (en) 2016-04-08 2018-05-29 Visbit Inc. View-aware 360 degree video streaming
GB201608886D0 (en) * 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
CN117336499A (zh) 2016-05-26 2024-01-02 Vid拓展公司 视窗自适应360度视频传送的方法和设备
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
CN109691113B (zh) 2016-07-15 2022-02-08 皇家Kpn公司 流式传输虚拟现实视频
US10931980B2 (en) * 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
WO2018016879A1 (ko) * 2016-07-19 2018-01-25 한국전자통신연구원 360도 가상현실 방송 서비스 제공 방법 및 장치
KR102525575B1 (ko) * 2016-08-12 2023-04-25 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
KR102228025B1 (ko) * 2016-09-09 2021-03-16 주식회사 케이티 고화질의 vr 컨텐츠의 스트리밍 제공 방법, 단말 및 서버
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
CN110505458A (zh) * 2016-09-18 2019-11-26 深圳市大疆创新科技有限公司 在可穿戴设备与可移动物体中提供图像的方法和设备
JP6735644B2 (ja) 2016-09-20 2020-08-05 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
CN106572353A (zh) * 2016-10-21 2017-04-19 上海拆名晃信息科技有限公司 用于虚拟现实的无线传输方法、装置、终端和头显设备
CN106792065A (zh) * 2016-12-14 2017-05-31 暴风集团股份有限公司 基于vr交互的视频直播方法和系统
JP6812803B2 (ja) 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10863159B2 (en) * 2017-01-20 2020-12-08 Pcms Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree VR video
KR20180091381A (ko) 2017-02-06 2018-08-16 삼성전자주식회사 다면체에 기반한 vr 이미지를 제공하는 전자 장치 및 그 이미지의 제공 방법
JP6322740B1 (ja) * 2017-03-07 2018-05-09 株式会社ドワンゴ 画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法
JP6843655B2 (ja) 2017-03-09 2021-03-17 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
US10791316B2 (en) 2017-03-28 2020-09-29 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
WO2018182161A1 (ko) * 2017-03-28 2018-10-04 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
EP3389282B1 (en) * 2017-04-16 2020-05-13 Facebook, Inc. Systems and methods for provisioning content
US10579898B2 (en) 2017-04-16 2020-03-03 Facebook, Inc. Systems and methods for provisioning content using barrel projection representation
EP3389281B1 (en) * 2017-04-16 2020-12-30 Facebook, Inc. Systems and methods for provisioning content
TWI669657B (zh) * 2017-05-17 2019-08-21 宏碁股份有限公司 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法
EP3633497A4 (en) 2017-05-24 2020-04-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP6342038B1 (ja) * 2017-05-26 2018-06-13 株式会社コロプラ 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
MX2019014416A (es) * 2017-06-02 2020-02-05 Vid Scale Inc Suministro de video en 360 grados a través de la red de próxima generación.
US9998664B1 (en) 2017-06-20 2018-06-12 Sliver VR Technologies, Inc. Methods and systems for non-concentric spherical projection for multi-resolution view
US10945141B2 (en) 2017-07-25 2021-03-09 Qualcomm Incorporated Systems and methods for improving content presentation
KR102390208B1 (ko) * 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
KR101964126B1 (ko) * 2017-10-26 2019-04-01 주식회사 이누씨 고화질 동영상의 스트리밍 전송 장치 및 방법
EP3724858A4 (en) 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. PROCEDURE AND DEVICE FOR MANAGING IMMERSIVE DATA
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
FI12136U1 (fi) * 2018-06-01 2018-09-14 Pauli Kari Musiikkiesitystä jakava järjestelmä
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US11184461B2 (en) 2018-10-23 2021-11-23 At&T Intellectual Property I, L.P. VR video transmission with layered video by re-using existing network infrastructures
KR102127846B1 (ko) * 2018-11-28 2020-06-29 주식회사 카이 영상을 처리하는 방법, 영상을 재생하는 방법 및 그 장치들
WO2020189817A1 (ko) * 2019-03-19 2020-09-24 전자부품연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
EP3949422A1 (en) 2019-03-26 2022-02-09 PCMS Holdings, Inc. System and method for multiplexed rendering of light fields
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质
EP4074029A4 (en) * 2020-04-10 2023-01-18 ZTE Corporation RANK INFORMATION IN AN IMMERSIVE MEDIA PROCESSING
KR102363144B1 (ko) * 2020-07-09 2022-02-14 동국대학교 경주캠퍼스 산학협력단 사용자의 네트워크 상태를 기반으로 가상 3d 객체를 모델링하는 방법 및 장치
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
US11924393B2 (en) * 2021-01-22 2024-03-05 Valeo Comfort And Driving Assistance Shared viewing of video among multiple users
US11653047B2 (en) * 2021-07-29 2023-05-16 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation
US11983822B2 (en) 2022-09-02 2024-05-14 Valeo Comfort And Driving Assistance Shared viewing of video with prevention of cyclical following among users
CN116828229B (zh) * 2023-08-30 2023-11-24 湖南马栏山视频先进技术研究院有限公司 一种用于音视频流的传输方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263973A (zh) * 2011-06-30 2011-11-30 天津大学 一种基于移动终端的光栅视点自适应显示方法
WO2013049179A1 (en) * 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
US20150249813A1 (en) * 2014-03-03 2015-09-03 Next3D, Inc. Methods and apparatus for streaming content

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020089587A1 (en) * 2000-05-18 2002-07-11 Imove Inc. Intelligent buffering and reporting in a multiple camera data streaming video system
JPWO2004004363A1 (ja) * 2002-06-28 2005-11-04 シャープ株式会社 画像符号化装置、画像送信装置および画像撮影装置
JP4437530B2 (ja) * 2004-01-21 2010-03-24 ソニー株式会社 映像配信装置、映像配信方法、映像配信プログラム、自動追尾表示装置、自動追尾表示方法、自動追尾表示プログラム及び映像配信システム
JP3936708B2 (ja) * 2004-05-26 2007-06-27 日本電信電話株式会社 画像通信システム，通信会議システム，階層符号化装置，サーバ装置，画像通信方法，画像通信プログラムおよび画像通信プログラム記録媒体
US8233026B2 (en) * 2008-12-23 2012-07-31 Apple Inc. Scalable video encoding in a multi-view camera system
SG188630A1 (en) * 2010-09-24 2013-04-30 Gnzo Inc Video bit stream transmission system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263973A (zh) * 2011-06-30 2011-11-30 天津大学 一种基于移动终端的光栅视点自适应显示方法
WO2013049179A1 (en) * 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
US20150249813A1 (en) * 2014-03-03 2015-09-03 Next3D, Inc. Methods and apparatus for streaming content
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120912A (zh) * 2018-09-30 2019-01-01 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备及装置
CN113453046A (zh) * 2020-03-24 2021-09-28 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
WO2021190221A1 (zh) * 2020-03-24 2021-09-30 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
TWI786572B (zh) * 2020-03-24 2022-12-11 大陸商騰訊科技（深圳）有限公司 沉浸式媒體提供方法、獲取方法、裝置、設備及存儲介質
CN112804511A (zh) * 2021-01-04 2021-05-14 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置
CN112804511B (zh) * 2021-01-04 2022-04-01 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置

Also Published As

Publication number Publication date
JP2016105593A (ja) 2016-06-09
JP6436320B2 (ja) 2018-12-12
US20160150212A1 (en) 2016-05-26
JP2018067966A (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
CN106713895A (zh) 处理内容的方法和设备
Wu et al. A dataset for exploring user behaviors in VR spherical video streaming
US11899835B2 (en) Control of personal space content presented via head mounted display
US9832491B2 (en) Virtual immersion via streamed content adaptation
JP6712310B2 (ja) クラウド移行によるローカルアプリケーションのクイックスタート
US11577168B2 (en) Apparatus and method of video playback
US9682313B2 (en) Cloud-based multi-player gameplay video rendering and encoding
US8403757B2 (en) Method and apparatus for providing gaming services and for handling video content
JP2021516087A (ja) ｅスポーツイベントでのスケーリングされたＶＲエンゲージメント及びビュー
CN109155873A (zh) 改进虚拟现实媒体内容的流传输的方法、装置和计算机程序
CN111659112A (zh) 用于将头戴式显示器（hmd）内容与第二屏幕社交分享的方法和系统
TW200937220A (en) System and method for storing program code and data within an application hosting center
US20180352272A1 (en) Methods and Systems for Customizing Virtual Reality Data
US11184647B1 (en) Methods and systems for interactive content delivery within a live video stream
CN108111899A (zh) 视频传输方法、客户端、服务器
US20180350406A1 (en) Methods and Systems for Customizing Virtual Reality Data
US20220219090A1 (en) DYNAMIC AND CUSTOMIZED ACCESS TIERS FOR CUSTOMIZED eSPORTS STREAMS
KR20210084248A (ko) Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치
US20190075232A1 (en) Shared experiences in panoramic video
CN108810567A (zh) 一种音频与视频视角匹配的方法、客户端和服务器
US11845011B2 (en) Individualized stream customizations with social networking and interactions
JP2016509486A (ja) ネットワークを介して送信するためのビデオゲーム画面画像の生成及び符号化を行う方法及びシステム
Song et al. Free-Viewpoint Relationship Description Based Streaming Systems for Arbitrary View Switching
JP6533022B1 (ja) 端末、サーバおよびプログラム
CN108574881A (zh) 一种投影类型推荐方法、服务器及客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524

RJ01 Rejection of invention patent application after publication