CN115379244A - 360度视频回放空间增强自适应比特率直播流送方法和装置 - Google Patents

360度视频回放空间增强自适应比特率直播流送方法和装置 Download PDF

Info

Publication number
CN115379244A
CN115379244A CN202210859057.1A CN202210859057A CN115379244A CN 115379244 A CN115379244 A CN 115379244A CN 202210859057 A CN202210859057 A CN 202210859057A CN 115379244 A CN115379244 A CN 115379244A
Authority
CN
China
Prior art keywords
video signal
degree
segments
video
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210859057.1A
Other languages
English (en)
Other versions
CN115379244B (zh
Inventor
伊斯梅勒·R·哈里塔奥卢
厄兹坦·哈尔曼哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210859057.1A priority Critical patent/CN115379244B/zh
Publication of CN115379244A publication Critical patent/CN115379244A/zh
Application granted granted Critical
Publication of CN115379244B publication Critical patent/CN115379244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及360度视频回放空间增强自适应比特率直播流送方法和装置。公开了用于实现虚拟现实或者360度视频的直播流送的空间增强的直播流送体验的装置和方法。将直播流送视频信号编码为不同分辨率下的多个流。将与整个360度视图内的视场相对应的高分辨率视频流的一部分与低分辨率视频流合并。所产生的视频流被称为空间自适应视频流。生成多个空间自适应视频流以跨整个360度来提供高分辨率的视场。当查看者从不同方向观看时，视频播放器根据所述查看者正观看的所述方向来回放所述空间自适应视频流中的一个空间自适应视频流。

Description

360度视频回放空间增强自适应比特率直播流送方法和装置
分案说明
本申请属于申请日为2017年5月16日的中国发明专利申请No.201780011291.6的分案申请。
技术领域
本文所公开的主题涉及一种用于实现虚拟现实或者360度视频直播流送的空间增强的直播流送体验的方法。更具体地，公开了方法和装置，用于提供具有多个流的360度视频直播流送——其中，视频中的在空间上不同的位置是用不同比特率(分辨率)来编码的——并且自适应地选择流——其中，视频数据的高空间分辨率编码的区与查看者的视场保持一致，并且其中，视频数据的低分辨率编码的区在查看者的视场之外。
背景技术
视频流送允许经由互联网来将视频内容递送至视频播放器。视频内容是由内容提供者生成以供分发给视频消费者的视频信号。可以按照未压缩的文件格式(诸如，串行数字接口(SDI)格式)或者压缩格式(诸如，动态图像专家组(MPEG)文件格式或者传输流(TS)文件格式)来提供视频信号。将视频信号发送至编码器，该编码器将文件转换成直播流送信号。直播流送信号优选地是可以通过互联网使用标准超文本传输协议(HTTP)来传送的分段数据流。直播流送信号可以包括多个流，其中，每个流可以具有不同的数据率和/或不同的分辨率。
直播流送信号的两种常见格式包括由
Figure BDA0003757081660000011
实施的HTTP直播流送(HLS)和由例如web浏览器(诸如，
Figure BDA0003757081660000012
Microsoft
Figure BDA0003757081660000013
和
Figure BDA0003757081660000014
)实施的MPEG-基于HTTP的动态自适应比特率流(MPEG-DASH)。除了分段数据流之外，编码器还生成清单文件。清单文件包含用于视频播放器播放分段数据流的信息，诸如，每个流的数据率和分辨率、以及提供了通过其可以获取到视频内容的地址的播放列表。以往，编码器为每个增强视频流生成了单个清单文件，其中，该清单文件与流送信号一起被分发。
直播流送信号和清单文件被存储在一个或者多个内容分发网络(CDN)中。每个CDN都包括多个边缘服务器，其存储流送信号和清单文件直到被视频播放器请求为止。当将流送信号提供至多个CDN时，该CDN可能处于不同的地理位置，诸如，美国西海岸(WestCoast)、美国东海岸(East Coast)或者美国中西部(Midwest)。每个视频播放器可以基于其地理接近度等来选择CDN以减少传输时延。
视频播放器可以是用于接收流送信号的任何合适的电子设备，诸如，台式计算机、电视机、膝上型计算机、平板计算机、或者移动电话。用户发起在视频播放器上查看期望视频内容的请求。视频播放器包括在视频播放器上执行的视频管理软件，该视频管理软件知晓CDN的地址并且可以将存储在CDN上的视频内容的列表提供给用户。在用户已经选择了期望视频之后，视频播放器进而请求从CDN传送视频内容。
对于传统的二维(2D)直播流送视频，视频的视点由捕获视频的相机的定向决定。在上映视频(诸如，电影或者电视节目的剧集)中，许多相机可以是可用的并且因此，多个视点可以是可用的。然而，导演在每个时刻选择单个视点并且将各个视点编辑成单个流，其中，任何时间点的动作是从导演所选的角度查看的。进一步地，2D直播流送视频意图在没有来自查看视频的用户的交互的情况下在屏幕上被动回放。接收流送视频的每个查看者都接收相同的视频和相同的回放体验。
相反，对于虚拟现实或者360视频的回放体验至少部分地由查看者决定。例如，视频内容可以由单个360度相机或者由在不同视点的多个传统相机捕获或者视频内容可以是计算机生成的。在任何一种情况下，对于查看者的所有潜在视点都要求视频信息。换言之，如果查看者向左或者向右、向上或者向下、或者向后看，则视频信息必须可用来将图像提供给查看者。因此，在任何给定时间，仅仅向查看者显示提供给查看者的视频信息的一部分。视频信息的另一部分被传送到显示设备以在查看者改变了视点的情况下可用。因为无法预测查看者将看去的方向，所以每个方向的内容都必须可用以供显示。结果，与传统的2D直播流送视频相比较，待传送的视频信息的量明显增加。进一步地，如果正将视频提供给立体虚拟现实显示设备，则由于提供单独的流以供每只眼睛查看，因此直播流信息大约增加一倍。增加的视频内容需要相应增加带宽以递送360度流送视频。
因此，期望提供针对增强的回放体验减少带宽需求的情况下向360度或者虚拟现实视频播放器流送视频的系统。
发明内容
本文所公开的主题描述了针对增强的回放体验减少带宽需求的情况下将向360度或者虚拟现实视频播放器流送视频的系统。该系统包括实现虚拟现实或者360度视频直播流送的空间增强的直播流送体验的装置和方法。编码器接收输入视频信号以供递送给查看者。编码器将输入的视频信号转换成与传统直播流送相似的在不同分辨率下的多个流。然后编码器生成多个空间增强的流。每个空间增强的流包括与低分辨率视频流合并的、与整个360视频流内的视场相对应的高分辨率视频流的片段。将空间增强的流递送至内容分发网络(CDN)以供360度视频播放器进行后续获取。360度视频播放器基于查看者观看的方向来选择空间增强的流中的一个空间增强的流以供回放。
根据本公开的一个实施例，公开了用于提供空间自适应增强视频流以用于360度视频信号的回放的方法。生成与360度视频信号相对应的至少两个流送视频信号。第一流送视频信号具有第一分辨率，并且第二流送视频信号具有第二分辨率，其中，第二分辨率低于第一分辨率。第一流送视频信号和第二流送视频信号中的每一个包括多个帧，并且每个帧跨360度视角。将第一流送视频信号和第二流送视频信号中的每个帧划分成多个片段，并且多个片段中的每个片段跨360度视角的一部分。生成多个增强视频流。增强视频流中的每个增强视频流包括多个帧，并且增强视频流中的一个增强视频流中的每个帧包括来自第一流送视频信号中的帧中的一个帧的至少一个片段以及来自第二流送视频信号中的帧中的一个帧的至少一个片段。
根据本公开的另一方面，多个增强视频流中的每个帧包括多个片段，并且多个增强视频流中的每个帧中的多个片段组合以跨360度视角。多个增强视频流中的每个帧中的多个片段中的一个片段来自第一流送视频信号，并且多个增强视频流中的每个帧中的其它片段中的每个片段来自第二流送视频信号。
根据本公开的又一方面，可以利用编码器生成360度视频信号的清单文件。清单文件包括与360度视频信号相对应的多个增强视频流中的每个增强视频流的第一标识符和第二标识符。第一标识符限定存储增强视频流的地址，并且第二标识符限定与来自第一流送视频信号的片段所跨的360度视角的一部分相对应的方向。
根据本公开的又一方面，生成至少两个流送视频信号可以包括：在编码器处接收球形360度视频信号；将球形360度视频信号映射到表示性空间中的中间视频信号；以及利用编码器将中间视频信号转换成至少两个流送视频信号。
根据本公开的又一方面，可以生成至少一个附加的流送视频信号，其中，每个附加的流送视频信号具有与第一分辨率和第二分辨率不同的分辨率。第一流送视频信号和第二流送视频信号中的多个片段中的每个片段所跨的360度视角的一部分可以是360度视角中的相等度数。可选地，第一流送视频信号可以被划分成第一片段集合和第二片段集合，并且第二流送视频信号可以被划分成第三片段集合和第四片段集合，其中，第一片段集合与第三片段集合相对应，并且第二片段集合与第四片段集合相对应。第一片段集合和第三片段集合中的每一个都跨第一视角，该第一视角与第二片段集合和第四片段集合中的每一个所跨的第二视角不同并且与其偏移。偏移的度数小于第一视角和第二视角所跨的度数。
根据本公开的另一实施例，公开了用于提供空间自适应增强视频流以用于360度视频信号的回放的系统。该系统包括编码器，该编码器具有操作以接收360度视频信号的输入、操作以存储多个指令的非暂时性存储器、以及操作以执行所存储的指令的处理器。处理器执行所存储的指令以生成与360度视频信号相对应的至少两个流送视频信号。第一流送视频信号具有第一分辨率，并且第二流送视频信号具有低于第一分辨率的第二分辨率。第一流送视频信号和第二流送视频信号中的每一个包括多个帧，并且每个帧跨360度视角。处理器还执行以将第一流送视频信号和第二流送视频信号中的每个帧划分成多个片段，其中，片段中的每个片段跨360度视角的一部分。处理器进一步执行以生成多个增强视频流，其中，增强视频流中的每个增强视频流包括多个帧。增强视频流中的一个增强视频流中的每个帧包括来自第一流送视频信号中的帧中的一个帧的至少一个片段以及来自第二流送视频信号中的帧中的一个帧的至少一个片段。
根据本公开的又一个实施例，公开了用于显示空间自适应增强视频流以用于360度视频信号的回放的方法。360度视频信号具有360度视角。将查看360度视频信号的请求从视频播放器传送到清单服务器，并且在视频播放器处从清单服务器接收与360度视频信号相对应的清单文件。清单文件包括多个第一标识符和第二标识符。每个第一标识符限定存储多个增强视频流中的一个增强视频流的地址，并且每个增强视频流包括多个帧。每个增强视频流中的每个帧包括来自第一流送视频信号的至少一个片段和来自第二流送视频信号的至少一个片段。第一流送视频信号是在第一分辨率下从360度视频信号生成的，并且第二流送视频信号是在低于第一分辨率的第二分辨率下从360度视频信号生成的。每个第二标识符限定增强视频流的一个增强视频流内的、与来自第一流送视频信号的至少一个片段所跨的360度视角的一部分相对应的方向。从所述多个增强视频流中的一个增强视频流在其处被存储为在与所述多个第二标识符的一个第二标识符中的方向相对应的所述360度视频信号内的、期望的查看方向的函数的地址读取所述一个增强视频流。
根据本公开的另一方面，可以在视频播放器处从方向接口接收输入信号，其中，输入信号与在360度视频信号内的期望查看方向相对应。读取多个第二标识符，以识别具有在与期望查看方向相对应的方向上的来自第一流送视频信号的至少一个片段的增强视频流，并且从所识别的增强视频流的多个第一标识符读取地址。视频播放器可以按照周期性的间隔从方向接口接收输入信号，并且从每个所识别的增强视频流的多个第一标识符读取新地址。视频播放器可以回放360度视频信号的来自与第一期望查看方向相对应的第一增强视频流的第一片段、以及来自360度视频信号的与第二期望查看方向相对应的第二增强视频流的第二片段。
通过具体实施方式和附图，本公开的这些和其它目的、优点和特征对于本领域的技术人员将变得显而易见。然而，应当理解，具体实施方式和附图虽然指示本公开的优选实施例，但是仅以说明而非限制方式给出。可以在不脱离本公开的精神的情况下在本公开的范围内进行许多改变和修改，并且本公开包括所有这样的修改。
附图说明
在附图中图示了本文所公开的主题的各个示例性实施例，在各附图中相似的附图标记表示相似的组件，并且在附图中：
图1是包括根据本公开的一个实施例的，将视频流送至360度或者虚拟现实视频播放器的方法的环境的框图表示；
图2是图示了根据本公开的一个实施例的在降低带宽需求的情况下将视频流送至360度或者虚拟现实视频播放器的流程图；
图3是描述了流送视频内容的可用流的带宽和每个流的位置的清单文件的片段；
图4是包括播放列表的一部分的清单文件的片段，在该播放列表中视频内容被加密；
图5a-5c示出了在第一方向上从360度视频信号生成的等矩形视图，其中，图5a是360度视频信号，图5b是第一期望查看方向的指示，并且图5c是在第一方向上从360度视频信号生成的视图的指示；以及
图6a-6c示出了在第二方向上从360度视频信号生成的等矩形视图，其中，图6a是360度视频信号，图6b是第二期望查看方向的指示，并且图6c是在第二方向上从360度视频信号生成的视图的指示；
图7a-7d示出了被示出为等矩形图像的360度视频帧的图形表示，其中，在图7a中，0度至90度处于高分辨率并且其余部分处于低分辨率，在7b中，90度至180度处于高分辨率并且其余部分处于低分辨率，在图7c中，180度至270度处于高分辨率并且其余部分处于低分辨率，并且在图7d中，270度至360度处于高分辨率并且其余部分处于低分辨率；以及
图8a-8d示出了被示出为等矩形图像的360度视频帧的图形表示，其中，在图8a中，45度至135度处于高分辨率并且其余部分处于低分辨率，在图8b中，135度至225度处于高分辨率并且其余部分处于低分辨率，在图8c中，225度至315度处于高分辨率并且其余部分处于低分辨率，并且在图8d中，高分辨率片段开始于315度、在360度处环绕(wrap around)、并且跨至45度，并且其余部分处于低分辨率。
在对附图中示出的本公开的优选实施例进行描述时，为了清楚起见，会诉诸特定的术语。然而，本公开并不旨在受限于如此选择的特定术语，并且应当理解，每个特定用语包括以类似的方式操作以完成类似目的的所有技术等效物。例如，词语“连接的”、“附接的”或者与之类似的术语常被使用。它们不限于直接连接，而是包括通过其它元素的连接，其中，这样的连接被本领域的技术人员认为是等效的。
具体实施方式
参考在下面的描述中详述的非限制性实施例来更全面地解释本文所公开的主题的各个特征和优点细节。
首先转向图1，图示了用于在降低带宽需求的情况下将流送视频提供到360度或者虚拟现实视频播放器122的一个环境。内容提供者110生成360度视频信号112以分发给视频消费者。360度视频信号112包括整个球形视频流的视频内容。360度视频信号可以被360度相机捕获并且被直接传送至编码器114。
根据一个实施例，内容提供者110将球形360度视频信号112传送至编码器114。360度相机从所有方向(即，上、下、前、后、和一侧到另一侧)捕获视频信号并且生成球形360度视频信号112。编码器114可以使用360度信号的表示性视频空间将球形信号转换成中间信号。表示性视频空间可以是等矩形布局，在该等矩形布局中，使视频信号的每个帧从查看者周围的球面平坦化到二维平面、或者立方体或者金字塔模型上，在该立方体或者金字塔模型中，球形视频信号被放置在立方体或者金字塔中并且被投影到立方体或者金字塔的表面上。
根据另一实施例，内容提供者110可以在将信号传送至编码器114之前在表示性视频空间中将球形360度视频信号转换成中间信号。可以设想到，在没有偏离本公开的范围的情况下，本公开可以与以球形格式、等矩形格式、或者其它格式(包括但不限于立方体模型或者金字塔映射模型)呈现的360度视频信号112一起利用。为了说明本公开，发送至编码器114的视频信号112将作为等矩形布局而被讨论，在该等矩形布局中，使视频信号的每个帧从查看者周围的球面平坦化到二维表面。
参照图5a或者图6a，图示了来自360度视频信号的表示性等矩形帧。该帧具有360度视场并且包含图像的整个内容以供在360度视频播放器122上回放。当在360度视频播放器122上回放时，帧的部分被投影在用户前方并且取决于视频播放器122，帧的部分可以被投影在在用户的视场的上方、下方或者侧方的查看屏幕上。当用户的头转动时，连接至视频播放器122的方向接口125检测运动并且生成与用户正观看的方向相对应的信号。从360度视场中选择期望方向并且根据360度视频播放器122的规格利用在用户的视场的上方、下方或者侧方投影的帧的其它部分来在用户前方投影。
编码器114将360度视频信号112转换成直播流送视频信号116以供视频播放器122使用。以往，编码器114将输入视频信号转换成多个流送视频信号，其中，每个流送视频信号可以是不同的分辨率。视频播放器122可以根据视频播放器122与内容分发网络118之间的连接的带宽来选择流送视频信号中的一个流送视频信号。虽然通常期望高分辨率回放，但是分辨率越大则所需的带宽就越大，并且可以根据视频播放器122与内容分发网络118之间的可用带宽来限制分辨率。
根据本公开，编码器114进一步从在不同分辨率下的流送视频信号生成多个空间增强的视频流116。每个流送视频信号都包括帧的序列。在图5a和图6a中图示了来自在全分辨率下的360度视频信号的表示性等矩形帧。可以设想到，可以在全分辨率下生成流送视频信号中的一个流送视频信号。可以在用于以较低带宽传输的较低分辨率下生成其它流送视频信号。根据将全分辨率信号转换成较低分辨率信号的一个方法，将来自全分辨率信号的每个帧都转换成具有较低分辨率的帧。
为了进一步减少流送视频信号的带宽，可以丢掉一部分帧。例如，通过在转换成低分辨率时每隔一帧丢掉一帧并且以原始帧的长度的两倍的持续时间来回放每个帧，可以将帧速率减少一半。可以设想到，在没有偏离本公开的范围的情况下，可以利用减少较低分辨率视频流的带宽的其它方法。
在不同分辨率下的流送视频信号中的每个帧都被划分成多个片段。为了说明起见，每个流送视频信号都可以被划分成四个片段，其中，每个片段具有90度的视场。如图7a-7d和图8a-8d所示，来自流送视频信号的每个帧被划分成与视频信号112的90度间隔相对应的四个片段。在第一实施例中，如图7a-7d所示，按照开始于0度的90度间隔取得四个片段，并且在第二实施例中，如图8a-8d所示，按照开始于45度的90度间隔取得四个片段。设想到，在没有偏离本公开的范围的情况下，可以利用具有对应的不同视场的不同数目的片段。例如，360度视频信号112可以被分成其它相等的片段，包括但不限于3个、5个、或者6个片段。
参照图7a-7d和图8a-8d，空间增强视图流中的每个帧220包括来自在不同分辨率下的至少两个视频流的帧的片段。最初转向图7a-7d，在图7a中图示了第一空间增强视图流的第一帧220a；在图7b中图示了第二空间增强视图流的第一帧220b；在图7c中图示了第三空间增强视图流的第一帧220c；并且在图7d中图示了第四空间增强视图流的第一帧220d。在第一空间增强视图流的第一帧220a中，高分辨率(HR)第一片段222a取自编码器114所生成的高分辨率直播视频流，其中，高分辨率第一片段222a从0度跨到90度。第一空间增强视图流的第一帧220a还包括3个低分辨率(LR)片段(即，低分辨率第二片段224b、低分辨率第三片段226b、和低分辨率第四片段228b)。低分辨率片段中的每一个都取自编码器114所生成的低分辨率直播视频流。四个片段被组合以生成第一空间增强视图流的单个帧，从而使得片段组合以覆盖原始帧的整个360度视场。在第一空间增强视图流中的每个附加的帧都以类似的方式生成以创建具有从0度到90度的高分辨率内容的第一空间增强视图流。
第二空间增强视图流的第一帧220b包括一个高分辨率片段和三个低分辨率片段。在第二空间增强视图流的第一帧224b中，高分辨率第二片段224a取自编码器114所生成的高分辨率直播视频流，其中，高分辨率第二片段224a从90度跨到180度。第二空间增强视图流的第一帧220b还包括3个低分辨率(LR)片段(即，低分辨率第一片段222b、低分辨率第三片段226b和低分辨率第四片段228b)。低分辨率片段中的每一个都取自编码器114所生成的低分辨率直播视频流。四个片段被组合以生成第二空间增强视图流的单个帧，从而使得片段组合以覆盖原始帧的整个360度视场。在第二空间增强视图流中的每个附加的帧都以类似的方式生成以创建具有从90度到180度的高分辨率内容的第二空间增强视图流。
第三空间增强视图流的第一帧220c包括一个高分辨率片段和三个低分辨率片段。在第三空间增强视图流的第一帧224c中，高分辨率第三片段226a取自编码器114所生成的高分辨率直播视频流，其中，高分辨率第三片段226a从180度跨到270度。第三空间增强视图流的第一帧220c还包括3个低分辨率(LR)片段(即，低分辨率第一片段222b、低分辨率第二片段224b和低分辨率第四片段228b)。低分辨率片段中的每一个都取自编码器114所生成的低分辨率直播视频流。四个片段被组合以生成第三空间增强视图流的单个帧，从而使得片段组合以覆盖原始帧的整个360度视场。在第三空间增强视图流中的每个附加的帧都以类似的方式生成以创建具有从180度到270度的高分辨率内容的第三空间增强视图流。
第四空间增强视图流的第一帧220d包括一个高分辨率片段和三个低分辨率片段。在第四空间增强视图流的第一帧224d中，高分辨率第四片段228a取自编码器114所生成的高分辨率直播视频流，其中，高分辨率第四片段228a从270度跨到360度。第四空间增强视图流的第一帧220d还包括3个低分辨率(LR)片段(即，低分辨率第一片段222b、低分辨率第二片段224b和低分辨率第三片段226b)。低分辨率片段中的每一个都取自编码器114所生成的低分辨率直播视频流。四个片段被组合以生成第四空间增强视图流的单个帧，从而使得片段组合以覆盖原始帧的整个360度视场。在第四空间增强视图流中的每个附加的帧都以类似的方式生成以创建具有从270度到360度的高分辨率内容的第四空间增强视图流。
接下来转向图8a-8d，图示了4个附加的增强视频流的第一帧(220e至220h)。第一帧(220e至220h)中的每一个都由编码器按照与上面关于图7a-7d讨论的方式相似的方式来生成。4个附加的片段选自高分辨率视频流和低分辨率视频流中的每个视频流。高分辨率第五片段232a和低分辨率第五片段232b均从45度跨到135度。高分辨率第六片段234a和低分辨率第六片段234b均从135度跨到225度。高分辨率第七片段236a和低分辨率第七片段236b均从225度跨到315度。高分辨率第八片段238a和低分辨率第八片段238b均从315度跨到360度并且环绕以从0度到45度。第五、第六、第七和第八增强视图流均包括来自高分辨率视频流的一个片段和来自低分辨率视频流的三个片段以生成四个附加的空间增强视图流，其中，图8a-8d中的空间增强视图流与图7a-7d中相应的的空间增强视图流偏移45度。
根据本公开的另一实施例，设想到360度视频112可以被划分成由图7a-7d和图8a-8d表示的全部8个视频流。生成原始帧的8个90度片段，其中，每个片段的开始都相距45度。第一高分辨率片段从0度跨到90度，第二高分辨率片段从45度跨到135度等。每个增强视图流都被组合成流以供在视频播放器122上进行自适应空间回放。然后，视频播放器可以选择视频流中与查看方向最紧密相关的一个视频流。虽然本文将由编码器114从原始360度视频信号112生成的视频流称为高和低分辨率，但是术语高和低旨在相对于彼此。换言之，高分辨率视频流具有大于低分辨率视频流的分辨率。设想到，编码器114可以生成在不同分辨率水平下的三个或者更多个视频流。根据一个实施例，来自三个或更多个视频流中的任何两个视频流的帧的片段可以被组合以形成增强视频流。可选地，来自三个或更多个视频流的帧的片段可以被组合以形成增强视频流，其中，高分辨率片段所选自的视频流的分辨率高于其它流中的每个流中的分辨率。
根据又一实施例，编码器114可以从三个或更多个视频流生成两组空间增强视频流，其中，增强视频流中的每一个针对片段使用相同视场。第一空间增强视频流可以选择具有最高分辨率的视频流作为所使用的高分辨率视频流，并且第二增强视频流可以选择具有次高分辨率的不同视频流作为所使用的高分辨率视频流。第一增强视频流和第二增强视频流二者都可以选择具有最低分辨率的相同视频流作为所使用的低分辨率视频流。以这种方式，编码器可以生成具有针对高分辨率内容的相同视场但具有不同带宽的多个空间增强视频流以供视频播放器122回放。
编码器114进一步将每个空间增强视频流都转换成直播流送信号116。直播流送信号116优选地是能够通过互联网使用标准HTTP或者HTTPS协议传送的分段数据流。直播流送信号的格式可以是但不限于HLS或者MPEG-DASH。在没有偏离本公开的范围的情况下，可以使用其它协议，诸如，来自
Figure BDA0003757081660000131
的HTTP动态流(HDS)或者
Figure BDA0003757081660000132
SmoothStreaming等。
除了分段数据流之外，编码器还生成清单文件。清单文件包含用于视频播放器122播放分段数据流的信息，诸如，每个流的数据率和分辨率、以及提供地址的播放列表，通过该地址可以获取视频内容。编码器还插入每个空间增强视频流116的标识符，该标识符标识哪个片段具有高分辨率视频流并且进而标识哪个方向具有高分辨率视频流。
编码器114为每个增强视频流生成单个清单文件，其中，清单文件连同流送信号116一起被分发并且存储在CDN 118上。要注意，“单个”清单文件指代每个编码信号的公共或者完全相同的清单文件。清单文件可以由存储在CDN上的多个数据文件组成，其中，每个清单文件都包含回放流送信号所需的数据的一部分。进一步地，对于直播流送视频，当从直播事件添加新内容时，可以按照周期性间隔来更新和重新传送清单文件。虽然使用了多个文件，但是由编码器114生成以供递送至每个视频播放器122的内容是相同的。每个CDN 118都包括多个边缘服务器120，该多个边缘服务器120存储增强视频流116和清单文件直到视频播放器122请求回放视频内容为止。虽然图1所示的实施例示出了单个CDN 118，但是设想到可以将增强视频流116存储在多个CDN 118上。清单文件可以包括每个CDN的地址，从而使得可以从CDN 118中的任何一个发生回放。
如图1中进一步示出的，所示的环境包括清单服务器124。该清单服务器124用于针对每个请求的视频内容将唯一的清单文件(本文还称为每用户清单文件)提供至每个视频播放器122。每个视频播放器122包括本原视频播放器模块128，该本原视频播放器模块128向用户提供接口并且管理设备122上的视频回放。一些视频播放器122可以进一步包括在图1中被示出为可选模块的增强视频播放器模块129。该增强视频播放器模块129可以是插件或者在视频播放器122上执行的其它软件模块，其或者补充(即，添加附加的能力)或者替换(即，添加附加的能力并且包括视频界面和回放能力)本原视频播放器模块128。如下面将更详细地讨论的，当用户请求视频内容以供在视频设备122上回放时，本原或者增强视频播放器模块129与清单服务器124而不是CDN 118通信以获得用于视频回放的清单文件。清单服务器124管理编码器114所生成的清单文件的获取和递送以将唯一清单文件提供至每个视频播放器122。
利用被配置为回放360度直播视频的视频播放器122，提供方向接口125。查看者使用该方向接口向视频播放器122提供这样的指示：查看者想要看360度视频内的哪个方向。如果视频播放器122是将由查看者穿戴的虚拟现实设备，则可以将陀螺仪包括在该虚拟现实设备内。陀螺仪生成与绕陀螺仪的轴的旋转相对应的信号。当查看者转向以看360度视频的不同片段时，陀螺仪生成与查看者的运动相对应的信号并且虚拟现实设备识别应当向查看者显示360度视频的哪个片段。在其它360度查看者中，方向接口125可以是例如用于接收查看者想看的方向的指示的触摸屏、鼠标、轨迹球、箭头键等。
基于查看者想看的方向，向查看者显示在期望方向上的增强视频流中的至少一部分。接下来参照图5a-5c和图6a-6c，在图5a和图6a两者中示出了原始视频流112的单个帧200，其中，在图5a-5c中图示了第一期望查看方向，并且在图6a-6c中图示了第二期望查看方向。在每个情况下，在单个分辨率下示出了整个帧200。然而，在图5a-5c中，第一视场205是期望的查看方向，并且在图6a-6c中，第二视场207是期望的查看方向。如图所示，原始视频流112的每个帧200包括跨整个360度视场的高分辨率内容。在两个图示中，第一视场205以约180度与第二视场207相对。图5b或图6b中的圆210图示了整个360度视场。第一方向215与图5a-5c中的期望查看方向相对应，并且第二方向217与图6a-6c中的期望查看方向相对应。分别针对第一方向215和第二方向217在图5c和图6c中示出了用于显示给查看者的所产生的图像。
在每个情况下，图示了在期望方向上的90度视场。因此，可以将具有4个片段的增强视频流传送至视频播放器122以回放图像。还参照图7b，具有从90度跨到180度的高分辨率片段的增强视频流可以由视频播放器读取以显示图5a-5c所示的第一方向215的期望视场205。还参照图8c，具有从225度跨到315度的高分辨率片段的增强视频流可以由视频播放器读取以显示图6a-6c所示的第二方向217的期望视场207。如下面进一步讨论的，当期望方向改变时，视频播放器122接收与该期望方向相对应的信号并且基于存储在清单文件中的信息来识别空间增强视频流，在空间增强视频流中，高分辨率片段与该期望方向相对应。视频播放器122读取清单文件以获得存储增强视频流的地址并且回放与期望查看方向相对应的增强视频流。
接下来转向图2，图示了执行以创建、递送和回放360度视频流的操作。在框130中，编码器114接收初始360度视频信号112。设想到，该360度视频信号112可以是预先录制好的信号或者视频信号112可以是直播流。如上所述，编码器114可以将原始视频信号转换成适合经由HTTP或者HTTPS递送的直播流送信号116。直播流送信号116和清单文件被存储在CDN118上以供回放。
在框138中，用户请求在视频播放器122上回放期望360度视频。在框138中，将期望视场的初始方向提供至视频播放器122。期望视场的初始方向可以是默认方向或者可以由用户选择。在框140中，视频播放器122从清单服务器124请求清单文件以获取播放请求的视频内容所必需的信息。
参照图3和图4，图示了清单文件的片段，该片段说明了在清单文件中可用的内容的一部分。清单文件是文本文件，并且在文本文件的每行的特定内容由位于该行的开头的指示标识。例如，图3标识流送信号116中的4个不同流，其中，每个流具有不同的带宽。每个流的播放列表的位置也被包括在清单文件中。对于360度直播流送信号116，清单文件可以进一步包括包含每个增强视图流的地址的第一标识符和与每个增强视图流内的高分辨率内容的方向相对应的第二标识符。
图4是包含加密视频片段的播放列表的一部分的另一清单文件。每行都开始于用于对视频片段进行解密的密钥服务器的位置，标识1与5之间的特定视频片段(即，在文件扩展名.ts之前的“－1”、“－2”等)，并且提供CDN 118中的视频片段的地址。清单文件可以包括与视频流相对应的任何信息，诸如，视频流的元数据信息。
当视频播放器122从清单服务器124请求清单文件时，在设备之间建立连接。还生成会话标识符以标识该连接。会话标识符可以由视频播放器122或者清单服务器124生成。为了说明起见，将假设会话标识符由视频播放器122生成。当请求清单文件时，会话标识符由视频播放器122传送至清单服务器124。在框142中，清单服务器124然后从CDN 118请求清单文件。在框144中，CDN 118将清单文件返回到清单服务器124。
因为清单服务器124已经与视频播放器122建立了连接，所以清单服务器124可以在将清单文件返回视频播放器122之前对清单文件进行定制并且将唯一清单文件提供到每个视频播放器122。在没有清单服务器124的情况下，视频播放器122直接从CDN 118获取清单文件并且清单文件的内容对于所有用户而言都是相同的。可选地，清单服务器124可以将没有修改的原始清单文件提供至视频播放器122。在框150中，清单服务器124将清单文件提供至视频播放器122。
视频播放器122然后可以从CDN 118获取视频内容。如上所述，不同的增强视频流具有带有高分辨率视频内容的不同片段。清单文件标识每个流和该流内的与高分辨率内容相对应的方向。视频播放器使用来自方向接口125的标识查看者正观看的期望方向的方向信号并且将该信号与清单文件中的标识符进行比较。通过使用具有与查看者正观看的方向最紧密匹配的方向的增强视频流，视频播放器122开始读取增强视频流并且然后如在框160中所示从CDN 118重复请求在播放列表中标识的增强视频流的连续片段。在框162中，CDN返回包含在期望查看方向上的高分辨率图像的所请求的增强视频流片段。本原视频播放器模块128然后对来自加密视频片段的内容进行解密并且向用户显示所请求的视频内容。
贯穿所请求的视频内容的回放，视频播放器122连续请求与查看者正观看的方向相对应的增强视频流。如在框170中所示的，方向接口125可以向视频播放器122指示查看者已经改变了期望的视场的方向。增强视频播放器模块129可以识别期望的查看方向与另一增强视频流内的高分辨率内容的方向更紧密地对应。视频播放器122然后开始基于存储在清单文件中的方向和地址信息使用新识别的增强视频流来从CDN 118请求视频内容的下一个片段。因此，视频信号112的回放可以基于方向接口125所生成的方向信号来在空间增强视频流116之间进行无缝切换。视频播放器122继续从CDN 118请求新流中的连续视频片段并且如框172和174所示的，CDN返回所请求的片段。连续提供具有在期望查看方向上的高分辨率内容而且具有在其他处的低分辨率内容的增强视频流以供回放，从而降低将360度视频信号流传送至视频播放器122的带宽需求。
设想到，查看者正观看的方向可能不与增强视图流的高分辨率视频内容的片段中的一个片段恰好一致。增强视频播放器模块129可以进一步被配置为识别增强视图流中的与期望查看方向最佳对应的一个增强视图流。根据本公开的一个实施例，增强视频播放器模块129可以识别与期望查看方向最佳对应的增强视图流并且指示视频播放器122获取该视频流。根据本公开的另一实施例，增强视频播放器模块129可以被配置为充当代理服务器并且读取多个视频流。例如，期望查看方向可以与两个增强视图流的高分辨率内容重叠。增强视频播放器模块129可以读取两个增强视图流并且在将最终产生的流提供至视频播放器122之前合并两个流的高分辨率区段。例如，最终产生的流可以包括180度上的高分辨率内容和在剩余的180度上的低分辨率内容。
在回放期间，用户可以根据视频的内容来连续地改变其观看的方向。因此，将任何给定方向上的视频流的大量内容缓存在视频播放器122中是不实际的。相反，可以从CDN例如以一秒增量来读取特定增强视频流。根据网络连接的带宽和视频播放器122的处理能力，可以期望以其它增量来缓存流。然而，如果持续时间太短，则可能导致获得来自错误的方向或者具有错误的分辨率的内容。如果持续时间太长，则视频流的缓存可以在回放中导致不期望的停顿。
所公开的实施例的多个部分在本文中被描述为实现在各种物理设备上，包括但不限于视频播放器122、清单服务器124、编码器114、或者CDN 118内的边缘服务器120。本领域的技术人员应当理解，这些设备可以包括处理设备，诸如，单个微处理器、多个微处理器、协同处理器、专用集成电路(ASIC)、或者单独地、并行地操作的其它计算设备、或者其组合。进一步地，这些设备中的每一个都包括存储器，该存储器可以包括暂时性存储器、非暂时性存储器、或者其组合。存储器可以包括存储器设备，诸如，随机存取存储器(RAM)、只读存储器(ROM)、固态存储器等。存储器可以进一步包括被配置为读取移动存储介质的设备，诸如，CD-ROM、DVD、软盘、通用串行总线(USB)设备、内存卡等。处理设备可以被配置为读取和执行存储在非暂时性存储器中的指令以进行本文所描述的方法中的各个操作。
应当理解，本发明在其应用中不限于本文所阐明的组件的构造和布置的细节。本公开能够有其它实施例并且能够以各种方式进行实践或者实施。上述内容的变化和修改均在本公开的范围内。还应当理解的是，本文中公开和限定的技术延伸到本文和/或附图中提及或者根据其显而易见的两个或者更多个单独特征的所有替选组合。所有这些不同的组合构成本公开的各个替选方面。本文中描述的实施例解释了用于实践本公开的所已知的最佳模式，并且将使本领域的技术人员能够利用本公开。

Claims (21)

1.一种用于提供空间自适应增强视频流以用于360度视频信号的回放的方法，包括：
生成与所述360度视频信号相对应的至少两个流送视频信号，其中：
第一流送视频信号具有第一分辨率，
第二流送视频信号具有第二分辨率，
所述第二分辨率小于所述第一分辨率，
所述第一流送视频信号和所述第二流送视频信号中的每一个包括多个帧，以及
每个帧跨360度视角；
将所述第一流送视频信号和所述第二流送视频信号的每个帧划分成多个片段，其中，所述多个片段中的每个片段跨360度视角的一部分；
为360度视频播放器生成多个增强视频流，其中：
所述多个增强视频流中的每个增强视频流包括多个帧，以及
所述增强视频流中的一个增强视频流中的每个帧包括来自所述第一流送视频信号中的多个帧的一个帧的至少一个片段以及来自所述第二流送视频信号中的多个帧的一个帧的至少一个片段；以及
识别所述360度视频信号的清单文件，所述清单文件用于允许所述360度视频播放器基于所述360度视频播放器的用户的视角来选择所述多个增强视频流中的至少一个。
2.根据权利要求1所述的方法，其中：
所述多个增强视频流中的每个帧包括多个片段，
所述多个增强视频流中的每个帧中的多个片段组合以跨360度视角，
所述多个增强视频帧流中的每个帧中的多个片段中的一个片段来自所述第一流送视频信号，以及
所述多个增强视频流中的每个帧中的其它片段中的每个片段来自所述第二流送视频信号。
3.根据权利要求1所述的方法，还包括：利用编码器生成所述360度视频信号的清单文件，其中所述清单文件包括：
与所述360度视频信号相对应的所述多个增强视频流中的每一个的第一标识符，其中所述第一标识符限定存储所述增强视频流的地址，以及
与所述360度视频信号相对应的所述多个增强视频流中的每一个的第二标识符，其中所述第二标识符限定与来自所述第一流送视频信号的片段所跨的360度视角的所述一部分相对应的方向。
4.根据权利要求1所述的方法，其中，生成至少两个流送视频信号进一步包括：
在编码器处接收球形360度视频信号；
将所述球形360度视频信号映射到表示性空间中的中间视频信号；以及
利用所述编码器将所述中间视频信号转换成所述至少两个流送视频信号。
5.根据权利要求1所述的方法，进一步包括：生成至少一个附加的流送视频信号，其中，每个附加的流送视频信号具有与所述第一分辨率和所述第二分辨率不同的分辨率。
6.根据权利要求1所述的方法，其中，由在所述第一流送视频信号和所述第二流送视频信号中的多个片段中的每个片段所跨的360度视角的所述一部分等于360度视角中的相等度数。
7.根据权利要求6所述的方法，其中：
所述第一流送视频信号被划分成第一片段集合和第二片段集合，
所述第二流送视频信号被划分成第三片段集合和第四片段集合，
所述第一片段集合与所述第三片段集合相对应，
所述第二片段集合与所述第四片段集合相对应，
由所述第一片段集合和所述第三片段集合中的每一个所跨的第一视角与由所述第二片段集合和所述第四片段集合中的每一个所跨的第二视角不同并且从其偏移，以及
所述偏移的度数小于由所述第一视角和所述第二视角所跨的度数。
8.一种用于提供空间自适应增强视频流以用于360度视频信号的回放的方法，所述系统包括：
存储器；和
耦合到所述存储器的处理器，用于：
生成与所述360度视频信号相对应的至少两个流送视频信号，其中：
第一流送视频信号具有第一分辨率，
第二流送视频信号具有第二分辨率，
所述第二分辨率小于所述第一分辨率，
所述第一流送视频信号和所述第二流送视频信号中的每一个包括多个帧，以及
每个帧跨360度视角；
将所述第一流送视频信号和所述第二流送视频信号的每个帧划分成多个片段，其中，所述多个片段中的每个片段跨360度视角的一部分；
为360度视频播放器生成多个增强视频流，其中：
所述多个增强视频流中的每个增强视频流包括多个帧，以及
所述增强视频流中的一个增强视频流中的每个帧包括来自所述第一流送视频信号中的多个帧的一个帧的至少一个片段以及来自所述第二流送视频信号中的多个帧的一个帧的至少一个片段；以及
识别所述360度视频信号的清单文件，所述清单文件用于允许所述360度视频播放器基于所述360度视频播放器的用户的视角来选择所述多个增强视频流中的至少一个。
9.根据权利要求8所述的系统，其中：
所述多个增强视频流中的每个帧包括多个片段，
所述多个增强视频流中的每个帧中的多个片段组合以跨360度视角，
所述多个增强视频帧流中的每个帧中的多个片段中的一个片段来自所述第一流送视频信号，以及
所述多个增强视频流中的每个帧中的其它片段中的每个片段来自所述第二流送视频信号。
10.根据权利要求8所述的系统，其中，所述处理器进一步用于：
利用编码器生成所述360度视频信号的清单文件，其中所述清单文件包括：
与所述360度视频信号相对应的所述多个增强视频流中的每一个的第一标识符，其中所述第一标识符限定存储所述增强视频流的地址，以及
与所述360度视频信号相对应的所述多个增强视频流中的每一个的第二标识符，其中所述第二标识符限定与来自所述第一流送视频信号的片段所跨的360度视角的所述一部分相对应的方向。
11.根据权利要求8所述的系统，其中，所述处理器进一步用于：
在编码器的输入处接收球形360度视频信号；
将所述球形360度视频信号映射到表示性空间中的中间视频信号；以及
利用所述编码器将所述中间视频信号转换成所述至少两个流送视频信号。
12.根据权利要求8所述的系统，其中，所述处理器进一步用于：
生成至少一个附加的流送视频信号，其中，每个附加的流送视频信号具有与所述第一分辨率和所述第二分辨率不同的分辨率。
13.根据权利要求8所述的系统，其中，由在所述第一流送视频信号和所述第二流送视频信号中的多个片段中的每个片段所跨的360度视角的所述一部分等于360度视角中的相等度数。
14.根据权利要求13所述的系统，其中：
所述第一流送视频信号被划分成第一片段集合和第二片段集合，
所述第二流送视频信号被划分成第三片段集合和第四片段集合，
所述第一片段集合与所述第三片段集合相对应，
所述第二片段集合与所述第四片段集合相对应，
由所述第一片段集合和所述第三片段集合中的每一个所跨的第一视角与由所述第二片段集合和所述第四片段集合中的每一个所跨的第二视角不同并且从其偏移，以及
所述偏移的度数小于由所述第一视角和所述第二视角所跨的度数。
15.一种包括指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使所述处理器执行用于提供空间自适应增强视频流以用于360度视频信号的回放的操作，所述操作包括：
生成与所述360度视频信号相对应的至少两个流送视频信号，其中：
第一流送视频信号具有第一分辨率，
第二流送视频信号具有第二分辨率，
所述第二分辨率小于所述第一分辨率，
所述第一流送视频信号和所述第二流送视频信号中的每一个包括多个帧，以及
每个帧跨360度视角；
将所述第一流送视频信号和所述第二流送视频信号的每个帧划分成多个片段，其中，所述多个片段中的每个片段跨360度视角的一部分；
为360度视频播放器生成多个增强视频流，其中：
所述多个增强视频流中的每个增强视频流包括多个帧，以及
所述增强视频流中的一个增强视频流中的每个帧包括来自所述第一流送视频信号中的多个帧的一个帧的至少一个片段以及来自所述第二流送视频信号中的多个帧的一个帧的至少一个片段；以及
识别所述360度视频信号的清单文件，所述清单文件用于允许所述360度视频播放器基于所述360度视频播放器的用户的视角来选择所述多个增强视频流中的至少一个。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中：
所述多个增强视频流中的每个帧包括多个片段，
所述多个增强视频流中的每个帧中的多个片段组合以跨360度视角，
所述多个增强视频帧流中的每个帧中的多个片段中的一个片段来自所述第一流送视频信号，以及
所述多个增强视频流中的每个帧中的其它片段中的每个片段来自所述第二流送视频信号。
17.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述操作进一步包括：利用编码器生成所述360度视频信号的清单文件，其中所述清单文件包括：
与所述360度视频信号相对应的所述多个增强视频流中的每一个的第一标识符，其中所述第一标识符限定存储所述增强视频流的地址，以及
与所述360度视频信号相对应的所述多个增强视频流中的每一个的第二标识符，其中所述第二标识符限定与来自所述第一流送视频信号的片段所跨的360度视角的所述一部分相对应的方向。
18.根据权利要求15所述的非暂时性计算机可读存储介质，其中，生成至少两个流送视频信号进一步包括：
在编码器处接收球形360度视频信号；
将所述球形360度视频信号映射到表示性空间中的中间视频信号；以及
利用所述编码器将所述中间视频信号转换成所述至少两个流送视频信号。
19.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述操作进一步包括：生成至少一个附加的流送视频信号，其中，每个附加的流送视频信号具有与所述第一分辨率和所述第二分辨率不同的分辨率。
20.根据权利要求15所述的非暂时性计算机可读存储介质，其中，由在所述第一流送视频信号和所述第二流送视频信号中的多个片段中的每个片段所跨的360度视角的所述一部分等于360度视角中的相等度数。
21.根据权利要求20所述的非暂时性计算机可读存储介质，其中：
所述第一流送视频信号被划分成第一片段集合和第二片段集合，
所述第二流送视频信号被划分成第三片段集合和第四片段集合，
所述第一片段集合与所述第三片段集合相对应，
所述第二片段集合与所述第四片段集合相对应，
由所述第一片段集合和所述第三片段集合中的每一个所跨的第一视角与由所述第二片段集合和所述第四片段集合中的每一个所跨的第二视角不同并且从其偏移，以及
所述偏移的度数小于由所述第一视角和所述第二视角所跨的度数。
CN202210859057.1A 2016-05-16 2017-05-16 360度视频回放空间增强自适应比特率直播流送方法和装置 Active CN115379244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210859057.1A CN115379244B (zh) 2016-05-16 2017-05-16 360度视频回放空间增强自适应比特率直播流送方法和装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662336823P 2016-05-16 2016-05-16
US62/336,823 2016-05-16
US15/595,744 2017-05-15
US15/595,744 US11032588B2 (en) 2016-05-16 2017-05-15 Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
CN201780011291.6A CN108605140B (zh) 2016-05-16 2017-05-16 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
CN202210859057.1A CN115379244B (zh) 2016-05-16 2017-05-16 360度视频回放空间增强自适应比特率直播流送方法和装置
PCT/US2017/032966 WO2017201090A1 (en) 2016-05-16 2017-05-16 Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780011291.6A Division CN108605140B (zh) 2016-05-16 2017-05-16 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置

Publications (2)

Publication Number Publication Date
CN115379244A true CN115379244A (zh) 2022-11-22
CN115379244B CN115379244B (zh) 2024-01-30

Family

ID=60295397

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780011291.6A Active CN108605140B (zh) 2016-05-16 2017-05-16 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
CN202210859057.1A Active CN115379244B (zh) 2016-05-16 2017-05-16 360度视频回放空间增强自适应比特率直播流送方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780011291.6A Active CN108605140B (zh) 2016-05-16 2017-05-16 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置

Country Status (4)

Country Link
US (2) US11032588B2 (zh)
EP (1) EP3459252B1 (zh)
CN (2) CN108605140B (zh)
WO (1) WO2017201090A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10574717B1 (en) * 2016-06-29 2020-02-25 Amazon Technologies, Inc. Network-adaptive live media encoding system
CN110945873B (zh) * 2017-06-02 2022-11-04 Vid拓展公司 下一代网络上的360度视频递送
US10785092B2 (en) 2017-07-28 2020-09-22 Skitter, Inc. System and method for providing fault tolerant streaming of segmented content and cache coherency on multi-hosted origin systems
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US11451838B2 (en) * 2017-12-07 2022-09-20 Koninklijke Kpn N.V. Method for adaptive streaming of media
US11336963B2 (en) 2018-01-15 2022-05-17 Samsung Electronics Co., Ltd. Method and apparatus for playing a 360-degree video
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US11032590B2 (en) 2018-08-31 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
US10805534B2 (en) * 2018-11-01 2020-10-13 Korea Advanced Institute Of Science And Technology Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system
US11323754B2 (en) 2018-11-20 2022-05-03 At&T Intellectual Property I, L.P. Methods, devices, and systems for updating streaming panoramic video content due to a change in user viewpoint
US11310148B2 (en) * 2019-06-03 2022-04-19 At&T Intellectual Property I, L.P. Methods, systems, and computer programs for intelligent content delivery using a software defined network and edge computing
CN112541858A (zh) * 2019-09-20 2021-03-23 华为技术有限公司 视频图像的增强方法、装置、设备、芯片及存储介质
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
CN114885187B (zh) * 2022-06-23 2023-08-08 深圳市必提教育科技有限公司 一种在线教育直播回放方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128286A1 (en) * 2003-12-11 2005-06-16 Angus Richards VTV system
EP2242252A2 (en) * 2009-04-17 2010-10-20 Sony Corporation In-camera generation of high quality composite panoramic images
KR20120133006A (ko) * 2011-05-30 2012-12-10 (주)포스트미디어 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
CN103190156A (zh) * 2010-09-24 2013-07-03 株式会社Gnzo 视频比特流的传输系统
CN104081785A (zh) * 2011-09-07 2014-10-01 高通股份有限公司 来自多个源的多媒体数据的流式传输
JP2015097343A (ja) * 2013-11-15 2015-05-21 日本電信電話株式会社 映像配信システム、映像配信装置及び映像配信プログラム
CN104854621A (zh) * 2012-11-01 2015-08-19 微软技术许可有限责任公司 将视频编码成较低分辨率流
US20150365622A1 (en) * 2013-02-27 2015-12-17 Brother Kogyo Kabushiki Kaisha Terminal Device, Information Processing Device, and Computer-Readable Medium
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
WO2016010668A1 (en) * 2014-07-14 2016-01-21 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
US20160065946A1 (en) * 2014-09-03 2016-03-03 Nextvr Inc. Methods and apparatus for capturing, streaming and/or playing back content

Family Cites Families (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5442744A (en) 1992-04-03 1995-08-15 Sun Microsystems, Inc. Methods and apparatus for displaying and editing multimedia information
US5721788A (en) 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
US6173275B1 (en) 1993-09-20 2001-01-09 Hnc Software, Inc. Representation and retrieval of images using context vectors derived from image information elements
US6611607B1 (en) 1993-11-18 2003-08-26 Digimarc Corporation Integrating digital watermarks in multimedia content
US5577135A (en) 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
US5659613A (en) 1994-06-29 1997-08-19 Macrovision Corporation Method and apparatus for copy protection for various recording media using a video finger print
US5739864A (en) 1994-08-24 1998-04-14 Macrovision Corporation Apparatus for inserting blanked formatted fingerprint data (source ID, time/date) in to a video signal
US5513260A (en) 1994-06-29 1996-04-30 Macrovision Corporation Method and apparatus for copy protection for various recording media
DE69628083T2 (de) 1995-03-31 2003-12-04 Canon K.K., Tokio/Tokyo Bildverarbeitungsgerät und Methode
JP3694981B2 (ja) 1996-04-18 2005-09-14 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法
US6018374A (en) 1996-06-25 2000-01-25 Macrovision Corporation Method and system for preventing the off screen copying of a video or film presentation
US6381367B1 (en) 1997-05-29 2002-04-30 Macrovision Corp. Method and apparatus for compression compatible video fingerprinting
JPH1150951A (ja) 1997-07-31 1999-02-23 Kawasaki Heavy Ind Ltd 斜板式油圧ポンプ
JP3916025B2 (ja) 1997-08-29 2007-05-16 松下電器産業株式会社 高解像度および一般映像記録用光ディスク、光ディスク再生装置および光ディスク記録装置
US6026189A (en) 1997-11-13 2000-02-15 National Research Council Of Canada Method of recognizing objects within two-dimensional and three-dimensional images
US6373960B1 (en) 1998-01-06 2002-04-16 Pixel Tools Corporation Embedding watermarks into compressed video data
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6774917B1 (en) 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US6404925B1 (en) 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
US6937766B1 (en) 1999-04-15 2005-08-30 MATE—Media Access Technologies Ltd. Method of indexing and searching images of text in video
DE60039861D1 (de) 1999-04-20 2008-09-25 Samsung Electronics Co Ltd Werbeverwaltungssystem für digitale videoströme
US6438275B1 (en) 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
US7185201B2 (en) 1999-05-19 2007-02-27 Digimarc Corporation Content identifiers triggering corresponding responses
US6785815B1 (en) 1999-06-08 2004-08-31 Intertrust Technologies Corp. Methods and systems for encoding and protecting data using digital signature and watermarking techniques
US7992163B1 (en) 1999-06-11 2011-08-02 Jerding Dean F Video-on-demand navigational system
US6975755B1 (en) 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
US6539395B1 (en) 2000-03-22 2003-03-25 Mood Logic, Inc. Method for creating a database for comparing music
US6950532B1 (en) 2000-04-24 2005-09-27 Cinea Inc. Visual copyright protection
US7065416B2 (en) 2001-08-29 2006-06-20 Microsoft Corporation System and methods for providing automatic classification of media entities according to melodic movement properties
US20110219035A1 (en) 2000-09-25 2011-09-08 Yevgeny Korsunsky Database security via data flow processing
US7043019B2 (en) 2001-02-28 2006-05-09 Eastman Kodak Company Copy protection for digital motion picture image data
US20020164070A1 (en) 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
GB0108354D0 (en) 2001-04-03 2001-05-23 Thirdspace Living Ltd System and method for providing a user with access to a plurality of sevices and content from a broadband television service
US20020178447A1 (en) 2001-04-03 2002-11-28 Plotnick Michael A. Behavioral targeted advertising
US7421376B1 (en) 2001-04-24 2008-09-02 Auditude, Inc. Comparison of data signals using characteristic electronic thumbprints
US6892193B2 (en) 2001-05-10 2005-05-10 International Business Machines Corporation Method and apparatus for inducing classifiers for multimedia based on unified representation of features reflecting disparate modalities
US7512964B2 (en) 2001-06-29 2009-03-31 Cisco Technology System and method for archiving multiple downloaded recordable media content
US7167574B2 (en) 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
US7043474B2 (en) 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US7055169B2 (en) 2002-04-19 2006-05-30 Opentv, Inc. Supporting common interactive television functionality through presentation engine syntax
AU2003239385A1 (en) 2002-05-10 2003-11-11 Richard R. Reisman Method and apparatus for browsing using multiple coordinated device
US20040022447A1 (en) 2002-07-31 2004-02-05 General Electric Company Method and system for image compression and decompression using span of interest of an imaging sequence
US7143352B2 (en) 2002-11-01 2006-11-28 Mitsubishi Electric Research Laboratories, Inc Blind summarization of video content
US7177470B2 (en) 2002-11-13 2007-02-13 Koninklijke Philips Electronics N. V. Method of and system for detecting uniform color segments
US7298930B1 (en) 2002-11-29 2007-11-20 Ricoh Company, Ltd. Multimodal access of meeting recordings
US20070128899A1 (en) 2003-01-12 2007-06-07 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
JP2004310753A (ja) 2003-03-24 2004-11-04 Fuji Photo Film Co Ltd データ学習装置およびプログラムならびに画像の意味判定装置
CN1791888A (zh) 2003-05-21 2006-06-21 皇家飞利浦电子股份有限公司 用于图像的数字指纹和水印
JP4110528B2 (ja) 2003-06-13 2008-07-02 ソニー株式会社 編集装置及び編集方法
US20040260786A1 (en) 2003-06-20 2004-12-23 Barile Steven E. Method and apparatus for caching multimedia content from the Internet on occasionally-connected devices
US7683940B2 (en) 2003-09-12 2010-03-23 Canon Kabushiki Kaisha Streaming non-continuous video data
US7325013B2 (en) 2004-04-15 2008-01-29 Id3Man, Inc. Database with efficient fuzzy matching
US20050262245A1 (en) 2004-04-19 2005-11-24 Satish Menon Scalable cluster-based architecture for streaming media
US7302451B2 (en) 2004-05-07 2007-11-27 Mitsubishi Electric Research Laboratories, Inc. Feature identification of events in multimedia
US8495089B2 (en) 2004-05-14 2013-07-23 Google Inc. System and method for optimizing media play transactions
US7747862B2 (en) 2004-06-28 2010-06-29 Intel Corporation Method and apparatus to authenticate base and subscriber stations and secure sessions for broadband wireless networks
US9948989B1 (en) 2004-07-21 2018-04-17 Cox Communications, Inc. Interactive media content listing search and filtering system for a media content listing display system such as an electronic programming guide
US7158680B2 (en) 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
US7966327B2 (en) 2004-11-08 2011-06-21 The Trustees Of Princeton University Similarity search system with compact data structures
US7272240B2 (en) 2004-12-03 2007-09-18 Interdigital Technology Corporation Method and apparatus for generating, sensing, and adjusting watermarks
US7949207B2 (en) 2004-12-24 2011-05-24 Nec Corporation Video structuring device and method
EP1900216A2 (en) 2005-05-12 2008-03-19 Tenebraex Corporation Improved methods of creating a virtual window
US7756309B2 (en) 2005-07-27 2010-07-13 Bioimagene, Inc. Method and system for storing, indexing and searching medical images using anatomical structures of interest
US7577272B2 (en) 2005-11-30 2009-08-18 Microsoft Corporation Digital fingerprinting using synchronization marks and watermarks
US7930419B2 (en) 2005-12-04 2011-04-19 Turner Broadcasting System, Inc. System and method for delivering video and audio content over a network
US8099508B2 (en) 2005-12-16 2012-01-17 Comcast Cable Holdings, Llc Method of using tokens and policy descriptors for dynamic on demand session management
US8446956B2 (en) * 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
JP2007194457A (ja) 2006-01-20 2007-08-02 Alps Electric Co Ltd トンネル型磁気検出素子及びその製造方法
JP2007207328A (ja) 2006-01-31 2007-08-16 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
US20080027931A1 (en) 2006-02-27 2008-01-31 Vobile, Inc. Systems and methods for publishing, searching, retrieving and binding metadata for a digital object
US8689337B2 (en) 2006-02-27 2014-04-01 Vobile, Inc. Systems and methods of fingerprinting and identifying video objects
US7949186B2 (en) 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
US20090089838A1 (en) 2006-04-07 2009-04-02 Pino Jr Angelo J Template Based System, Device and Method for Providing Interactive Content
US8009861B2 (en) 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
US20070282898A1 (en) 2006-05-05 2007-12-06 Real Digital Media, Llc Automated local insertion of content into master playlist in digital signage networks
WO2007148290A2 (en) 2006-06-20 2007-12-27 Koninklijke Philips Electronics N.V. Generating fingerprints of information signals
DE202006010070U1 (de) 2006-06-28 2006-09-07 Ferdinand Lusch Gmbh & Co Kg Sitzmöbel
US20080123976A1 (en) 2006-09-22 2008-05-29 Reuters Limited Remote Picture Editing
US8555318B2 (en) 2006-12-06 2013-10-08 Verizon Patent And Licensing Inc. Customized media on demand
JP4279318B2 (ja) 2007-02-02 2009-06-17 三菱電機株式会社 映像表示装置
US8782698B2 (en) 2007-04-30 2014-07-15 Google Inc. Customizable media channels
EP2015575A1 (en) 2007-06-15 2009-01-14 Alcatel Lucent Device and method for providing an IPTV service
WO2009001307A1 (en) 2007-06-26 2008-12-31 Nds Limited Presenting content
WO2009018171A1 (en) 2007-07-27 2009-02-05 Synergy Sports Technology, Llc Systems and methods for generating bookmark video fingerprints
EP2186323A2 (en) 2007-08-23 2010-05-19 Thomson Licensing Method, apparatus and system for dynamic playlist over-ride
US8312494B2 (en) 2007-10-26 2012-11-13 International Business Machines Corporation Presenting a continuous programming sequence at a client terminal
US9552356B1 (en) 2007-12-21 2017-01-24 Amazon Technologies, Inc. Merging client-side and server-side logs
US20100299438A1 (en) 2008-01-21 2010-11-25 Gottfried Zimmerman Online resource server for allowing device control and access to digital content trhough pluggable user interfaces
KR101259014B1 (ko) 2008-01-24 2013-04-29 삼성전자주식회사 무선 송수신 환경에서의 멀티 스트림 송/수신 방법 및 장치
US8510661B2 (en) 2008-02-11 2013-08-13 Goldspot Media End to end response enabling collection and use of customer viewing preferences statistics
US8160366B2 (en) 2008-06-20 2012-04-17 Sony Corporation Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method
CN101615960B (zh) 2008-06-23 2013-04-17 华为技术有限公司 一种交互组件更新的方法、终端和服务器
US8144947B2 (en) 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints
AU2010238757A1 (en) 2009-04-24 2011-11-03 Vidyo, Inc. Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
US8200021B2 (en) 2009-06-16 2012-06-12 Nec Corporation Image signature matching device
US8515212B1 (en) 2009-07-17 2013-08-20 Google Inc. Image relevance model
US20110191692A1 (en) 2010-02-03 2011-08-04 Oto Technologies, Llc System and method for e-book contextual communication
US9015588B2 (en) 2010-06-10 2015-04-21 At&T Mobility Ii Llc Advanced playback queue management
US8843957B2 (en) 2010-06-21 2014-09-23 Accenture Global Services Limited Frame accurate content insertion system
US8677428B2 (en) 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US20120159337A1 (en) 2010-12-17 2012-06-21 Kerry Travilla System and method for recommending media content
US8943215B2 (en) 2010-12-21 2015-01-27 Microsoft Corporation Distributed smooth streaming utilizing dynamic manifests
EP2656618A4 (en) 2010-12-22 2015-08-26 Ando Media Llc REAL-TIME MEDIA STREAM INSERTION PROCESS AND DEVICE
EP2659423A4 (en) 2010-12-31 2014-09-17 Akamai Tech Inc EXPANSION OF DATA CONFIDENTIALITY IN A GAME APPLICATION
US9288511B2 (en) * 2011-02-18 2016-03-15 Futurewei Technologies, Inc. Methods and apparatus for media navigation
US8589996B2 (en) 2011-03-16 2013-11-19 Azuki Systems, Inc. Method and system for federated over-the-top content delivery
AU2011202182B1 (en) 2011-05-11 2011-10-13 Frequency Ip Holdings, Llc Creation and presentation of selective digital content feeds
US9066138B1 (en) 2011-05-10 2015-06-23 Arris Solutions, Inc. Replacing ads in HTTP-based manifest driven video transport
WO2012158654A2 (en) 2011-05-14 2012-11-22 Bitcasa, Inc. Cloud file system with server-side deduplication of user-agnostic encrypted files
US9209978B2 (en) 2012-05-15 2015-12-08 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US8515241B2 (en) 2011-07-07 2013-08-20 Gannaway Web Holdings, Llc Real-time video editing
US9066115B1 (en) 2011-07-29 2015-06-23 Arris Enterprises, Inc. Structuring dynamic advertisement breaks in video manifest files
US9448619B1 (en) 2011-11-30 2016-09-20 Google Inc. Video advertisement overlay system and method
US8234350B1 (en) 2011-12-19 2012-07-31 Seachange International, Inc. Systems and methods for generating targeted manifest files
US8983076B2 (en) 2011-12-22 2015-03-17 Adobe Systems Incorporated Methods and apparatus for key delivery in HTTP live streaming
WO2013109941A2 (en) * 2012-01-19 2013-07-25 Vid Scale, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
US20150058709A1 (en) 2012-01-26 2015-02-26 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US9654817B2 (en) 2012-01-27 2017-05-16 Avaya Inc. System and method to synchronize video playback on mobile devices
US20130219425A1 (en) 2012-02-16 2013-08-22 Eyedestinations Inc. Method and apparatus for streaming advertisements concurrently with requested video
US9215065B2 (en) 2012-02-17 2015-12-15 Cbs Interactive Inc. Media player security for full length episodes
US9462302B2 (en) 2012-02-23 2016-10-04 Mobitv, Inc. Efficient delineation and distribution of media segments
US9613042B1 (en) 2012-04-09 2017-04-04 Conviva Inc. Dynamic generation of video manifest files
US20130291002A1 (en) 2012-04-25 2013-10-31 Cox Communications, Inc. Systems and Methods for Delivery of Media Content
US9537920B2 (en) 2012-05-18 2017-01-03 Google Technology Holdings LLC Enforcement of trick-play disablement in adaptive bit rate video content delivery
US8887215B2 (en) 2012-06-11 2014-11-11 Rgb Networks, Inc. Targeted high-value content in HTTP streaming video on demand
US8495697B1 (en) 2012-07-24 2013-07-23 Cbs Interactive, Inc. Techniques to provide an enhanced video replay
WO2014021914A1 (en) 2012-08-01 2014-02-06 Whisper Innovations, Llc System and method for providing and managing multiple content feeds and supplemental content by information provider using an on-screen interactive interface
WO2014025319A1 (en) 2012-08-08 2014-02-13 National University Of Singapore System and method for enabling user control of live video stream(s)
US9584573B2 (en) 2012-08-29 2017-02-28 Ericsson Ab Streaming policy management system and method
US9418209B2 (en) 2012-10-02 2016-08-16 Google Technology Holdings LLC Systems and methods for manipulating sensitive information in a secure mobile environment
US9015151B1 (en) 2012-10-10 2015-04-21 QuikBreak Content targeting to particular individuals based on demographic and psychographic segmentations, utilizing the computer-implemented methods and specifically programmed computer systems for performing thereof
CN104904230B (zh) 2012-10-18 2018-10-09 Lg电子株式会社 处理交互服务的设备和方法
JP6161260B2 (ja) 2012-11-14 2017-07-12 キヤノン株式会社 送信装置、受信装置、送信方法、受信方法、及び、プログラム
WO2014090761A1 (en) 2012-12-10 2014-06-19 Koninklijke Kpn N.V. Digital rights management for segmented content
US9154841B2 (en) 2012-12-28 2015-10-06 Turner Broadcasting System, Inc. Method and system for detecting and resolving conflicts in an automatic content recognition based system
WO2014113603A2 (en) 2013-01-16 2014-07-24 Huawei Technologies Co., Ltd. Storing and transmitting content for downloading and streaming
US9084030B1 (en) 2013-02-06 2015-07-14 Cox Communications, Inc. Unified management and control of users and devices of a service network
US9351030B2 (en) 2013-03-05 2016-05-24 Disney Enterprises, Inc. Automatic creation of frame accurate program/commercial triggers for live/automated television programs
US9706237B2 (en) 2013-03-12 2017-07-11 Time Warner Cable Enterprises Llc TV playlist
US8826346B1 (en) 2013-03-15 2014-09-02 General Instrument Corporation Methods of implementing trickplay
EP2954683B1 (en) 2013-03-15 2018-07-11 ARRIS Enterprises LLC Enhanced playlist definition and delivery for fast channel change with http adaptive streaming
US9495076B2 (en) 2013-05-29 2016-11-15 Sonos, Inc. Playlist modification
US9684484B2 (en) 2013-05-29 2017-06-20 Sonos, Inc. Playback zone silent connect
US9654898B2 (en) 2013-10-21 2017-05-16 Amazon Technologies, Inc. Managing media content, federated player
US20150172342A1 (en) 2013-12-16 2015-06-18 Verizon and Redbox Digital Entertainment Services, LLC Adaptive video insertion
US10902474B2 (en) 2014-03-24 2021-01-26 Qualcomm Incorporated Targeted advertisement insertion for streaming media data
US9680960B2 (en) 2014-04-28 2017-06-13 Sonos, Inc. Receiving media content based on media preferences of multiple users
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US20150365725A1 (en) 2014-06-11 2015-12-17 Rawllin International Inc. Extract partition segments of personalized video channel
US9491499B2 (en) 2014-06-30 2016-11-08 Arjen Wagenaar Dynamic stitching module and protocol for personalized and targeted content streaming
CA2960407A1 (en) 2014-08-05 2016-02-25 Charter Communications Operating, Llc Provider equipment generation of customer user interface
US20160080470A1 (en) 2014-09-12 2016-03-17 Net2.TV, LTD. Server-side playlist stitching
US20160080810A1 (en) 2014-09-16 2016-03-17 Samsung Electronics Co., Ltd. System and method for content recommendation in home network
US10602236B2 (en) 2014-09-17 2020-03-24 Ispot.Tv, Inc. Unique content sequence identification method and apparatus
US9852759B2 (en) 2014-10-25 2017-12-26 Yieldmo, Inc. Methods for serving interactive content to a user
US9509742B2 (en) 2014-10-29 2016-11-29 DLVR, Inc. Configuring manifest files referencing infrastructure service providers for adaptive streaming video
US9426089B2 (en) 2014-10-29 2016-08-23 DLVR, Inc. Systems and methods for session-based resource assignment, delivery, performance management and measurement in a networked environment
US10142386B2 (en) 2014-10-29 2018-11-27 DLVR, Inc. Determining manifest file data used in adaptive streaming video delivery
US10306208B2 (en) 2014-11-05 2019-05-28 Harold O. Hosea Device for creating and enhancing three-dimensional image effects
US9414130B2 (en) 2014-12-15 2016-08-09 At&T Intellectual Property, L.P. Interactive content overlay
US20160227228A1 (en) * 2015-01-29 2016-08-04 Vixs Systems, Inc. Video camera with layered encoding, video system and methods for use therewith
US20160227279A1 (en) 2015-01-30 2016-08-04 Microsoft Technology Licensing, Llc Custom Media Channels
US9552493B2 (en) 2015-02-03 2017-01-24 Palo Alto Research Center Incorporated Access control framework for information centric networking
US10341701B2 (en) 2015-04-21 2019-07-02 Edge2020 LLC Clustering and adjudication to determine a recommendation of multimedia content
US20160316233A1 (en) 2015-04-21 2016-10-27 Adsparx USA Inc System and method for inserting, delivering and tracking advertisements in a media program
US20160328396A1 (en) 2015-05-06 2016-11-10 Blackfire Research Corporation Collaborative intelligent media playlists
US20160337704A1 (en) 2015-05-13 2016-11-17 Layer3Tv, Inc. System and method for content delivery by subscriber personal channel
US9774914B2 (en) 2015-08-25 2017-09-26 Wowza Media Systems, LLC Scheduling video content from multiple sources for presentation via a streaming video channel
US9826262B2 (en) 2015-09-09 2017-11-21 Ericsson Ab Fast channel change in a multicast adaptive bitrate (MABR) streaming network using multicast repeat segment bursts in a shared progressive ABR download pipe
US9654815B2 (en) 2015-09-18 2017-05-16 Arris Enterprises, Inc. Advertising detection in adaptive bitrate streaming
US20170148057A1 (en) 2015-11-23 2017-05-25 Adobe Systems Incorporated Advertising Workflow to Increase Click-Through Rates
US10104137B2 (en) 2015-12-09 2018-10-16 Telefonaktiebolaget Lm Ericsson (Publ) Recording of ABR content
US10009642B2 (en) 2016-03-24 2018-06-26 Comcast Cable Communications Management, Llc Systems and methods for advertising continuity
US10798205B2 (en) 2016-04-13 2020-10-06 Facebook, Inc. Cache system for live broadcast streaming
US10586023B2 (en) 2016-04-21 2020-03-10 Time Warner Cable Enterprises Llc Methods and apparatus for secondary content management and fraud prevention
US10595054B2 (en) 2016-05-10 2020-03-17 Google Llc Method and apparatus for a virtual online video channel
US10785508B2 (en) 2016-05-10 2020-09-22 Google Llc System for measuring video playback events using a server generated manifest/playlist
US10334319B2 (en) 2016-08-29 2019-06-25 Charter Communications Operating, Llc System and method of cloud-based manifest processing
US11064267B2 (en) 2016-11-14 2021-07-13 Google Llc Systems and methods for providing interactive streaming media

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128286A1 (en) * 2003-12-11 2005-06-16 Angus Richards VTV system
EP2242252A2 (en) * 2009-04-17 2010-10-20 Sony Corporation In-camera generation of high quality composite panoramic images
CN103190156A (zh) * 2010-09-24 2013-07-03 株式会社Gnzo 视频比特流的传输系统
KR20120133006A (ko) * 2011-05-30 2012-12-10 (주)포스트미디어 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
CN104081785A (zh) * 2011-09-07 2014-10-01 高通股份有限公司 来自多个源的多媒体数据的流式传输
CN104854621A (zh) * 2012-11-01 2015-08-19 微软技术许可有限责任公司 将视频编码成较低分辨率流
US20150365622A1 (en) * 2013-02-27 2015-12-17 Brother Kogyo Kabushiki Kaisha Terminal Device, Information Processing Device, and Computer-Readable Medium
JP2015097343A (ja) * 2013-11-15 2015-05-21 日本電信電話株式会社 映像配信システム、映像配信装置及び映像配信プログラム
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
WO2016010668A1 (en) * 2014-07-14 2016-01-21 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content
US20160065946A1 (en) * 2014-09-03 2016-03-03 Nextvr Inc. Methods and apparatus for capturing, streaming and/or playing back content

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEUNG-YEUNG SHUM ET AL: "A virtual reality system using the concentric mosaic：construction, rendering, and data compression", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
熊哲源: "无线多媒体传感器网络图像编码算法研究", 《中国优秀硕士论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
US20210297716A1 (en) 2021-09-23
WO2017201090A1 (en) 2017-11-23
CN108605140A (zh) 2018-09-28
EP3459252A1 (en) 2019-03-27
US11032588B2 (en) 2021-06-08
CN115379244B (zh) 2024-01-30
EP3459252B1 (en) 2020-01-01
US20170332117A1 (en) 2017-11-16
CN108605140B (zh) 2022-08-05
US11683540B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
CN108605140B (zh) 用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
JP6735415B2 (ja) オーディオビジュアルコンテンツの観察点および観察向きの制御された選択のための方法および装置
CN109076229B (zh) 在图片中最感兴趣的区域
CN106664443B (zh) 根据hevc拼贴视频流确定感兴趣区域
JP6979035B2 (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
US9363542B2 (en) Techniques to provide an enhanced video replay
EP3028472B1 (en) Providing tile video streams to a client
EP2824885B1 (en) A manifest file format supporting panoramic video
CN107615756B (zh) 一种用于实现快速平滑视点切换的视频服务器、方法及视频系统
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
JP2018067966A (ja) ライブ選択的適応帯域幅
KR20130108311A (ko) 영상 비트 스트림의 전송 시스템
CN108810567A (zh) 一种音频与视频视角匹配的方法、客户端和服务器
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
JP7083361B2 (ja) 画像処理装置およびシステム
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
US20220329886A1 (en) Methods and devices for handling media data streams
JP7319340B2 (ja) 配信サーバ、配信方法及びプログラム
JP6970143B2 (ja) 配信サーバ、配信方法及びプログラム
WO2018120857A1 (zh) 一种基于流媒体技术的视频数据的处理方法及装置
Gao et al. Omniviewer: Multi-modal monoscopic 3D DASH
Seo et al. Bandwidth-Efficient Transmission Method for User View-Oriented Video Services
Seo et al. A Proposal for Zoom-in/out View Streaming based on Object Information of Free Viewpoint Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant