CN103583050A - 空间分段的内容的递送 - Google Patents

空间分段的内容的递送 Download PDF

Info

Publication number
CN103583050A
CN103583050A CN201280027654.2A CN201280027654A CN103583050A CN 103583050 A CN103583050 A CN 103583050A CN 201280027654 A CN201280027654 A CN 201280027654A CN 103583050 A CN103583050 A CN 103583050A
Authority
CN
China
Prior art keywords
space
clip stream
node
spaces
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280027654.2A
Other languages
English (en)
Other versions
CN103583050B (zh
Inventor
M.O.范德文特
O.A.尼亚穆特
A.哈维科斯
M.普林斯
R.范布兰登伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke KPN NV
Original Assignee
Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Koninklijke KPN NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO, Koninklijke KPN NV filed Critical Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek TNO
Publication of CN103583050A publication Critical patent/CN103583050A/zh
Application granted granted Critical
Publication of CN103583050B publication Critical patent/CN103583050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

描述了用于处理发源于内容递送网络的空间分段的内容的方法和系统。一种方法包括:媒体处理设备中的客户端接收包括源流的一个或多个空间表示的空间清单信息,每个空间表示标识一个或多个空间片段流、标识用于在所述内容递送网络中定位一个或多个递送节点的位置信息、以及可选地标识用于将所述片段流中的空间片段帧拼接成视频帧以用于显示的定位信息;选择一个或多个空间片段流,并且,基于所述空间清单信息,请求所述内容递送网络中的至少一个递送节点将所述一个或多个所选择的空间片段流传送到所述客户端;以及从所述至少一个递送节点接收所述一个或多个所选择的空间片段流。

Description

空间分段的内容的递送
技术领域
本发明涉及空间分段的内容的递送,并且具体地但非专门地涉及用于处理空间分段的内容的方法和系统、被配置为分发空间分段的内容的内容递送网络、被配置为处理空间分段的内容的客户端、用于在客户端或内容递送网络中控制空间分段的内容的数据结构和利用这样的方法的计算机程序产品。
背景技术
允许捕捉和传输广角、甚高分辨率视频内容的新的生产设备开始变得可用。这样的媒体文件的处理要求高带宽(Gbps量级)并且为了在这样的视频信息流大视频屏中开发全部信息,典型地应当使用视频墙或投影屏的尺寸。
当在相对小的显示器上观看视频时,用户不能观看整个视频帧和包含在其中的全部信息。而是,基于他或她的偏好,用户将通过与用户设备的图形用户界面交互来选择特定帧区域、视角或视频分辨率。除当前的网络容量不能处理这些超越HD分辨率的大规模带宽要求的事实之外,很简单,递送不会显示在屏幕上的内容无论如何也不是高效的。
Mavlankar等在ICIP 2010的会刊第4437-4440页的文章" An interactive region-of-interest video streaming system for online lecturing viewing "中描述了所谓的分片式视频系统,其中使用基于服务器的交互式的感兴趣区域编码器来生成视频内容的多个分辨率层。每个层被划分成多个空间片段或分片,每个片段或分片能够独立于彼此而被编码和分发(即流送)。
视频客户端可以请求特定空间区域——感兴趣区域(ROI),并且服务器可以随后将ROI请求映射到一个或多个片段并且将分片式流的所选群组传送到客户端,该客户端被配置为将分片式流组合为一个视频。这样,可以在不要求关于所显示的内容的分辨率的折衷的情况下实现带宽高效的用户与所显示的内容的交互,例如缩放和平移。然而,在这样的方案中,分片式流的快速响应和处理是为了递送服务质量和最优用户体验所必需的。
当在现存的大规模的内容递送方案中实施这样的服务时,问题可能出现。典型地,内容供应商不直接地将内容递送到消费者。而是,内容被发送给内容分发器,该内容分发器使用内容递送网络(CDN)来将内容递送给消费者。CDN没有被布置为处理空间分段的内容。此外,用于递送空间分段的内容到客户端的已知解决方案(诸如在Mavlankar的文章中描述的)不适合与现存的CDN一起使用。在其中空间分段的内容可以被存储在不同位置的CDN中实施用于解决ROI请求的已知的基于服务器的解决方案不提供可伸缩的解决方案并且可能容易导致不期望的效果,诸如可能严重地损害这样的服务的实现的过载和延迟情形。
此外,由Mavlankar描述的基于服务器的ROI到分片的映射方法不能够实现客户端通过两个单独的访问方法/协议访问内容的可能性,诸如下述情形:其中,可以使用广播或多播作为访问技术(媒体)来接收一些空间片段(片段流),并且可以使用例如单播作为访问技术来接收一些其他的空间片段。 Mavlankar的基于服务器的ROI映射机制将不了解用于经由不同的访问技术和/或访问协议接收分段的内容的准确的客户端侧的能力。
此外,为了基于若干空间分段的流来处理和显示视频流,需要在客户端中实施特定功能,以便实现基于许多空间片段流来显示无缝的视频图像并且实现用户与所显示的内容的交互。
因此,在现有技术中存在将空间分段的内容高效地递送到客户端的需要。具体地,存在对用于空间分段的内容的递送系统的下述方法和系统的需要:该方法和系统在不要求对常规 CDN基础设施的改变的情况下允许内容递送,并且该方法和系统也可以提供用户与高分辨率的视频内容交互的可伸缩且灵活的解决方案。
发明内容
本发明的目的是减少或消除现有技术中已知的至少一个缺点并且在本发明的第一方面中提供一种用于处理空间分段的内容的方法,该方法包括:客户端接收包括源流的一个或多个空间表示的空间清单数据结构(spatial manifest data structure),每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息(location information),这样的一个或多个递送节点优选地与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;选择与至少一个所述空间表示相关联的一个或多个空间片段流,并且基于所述位置信息,请求优选地与所述内容递送网络相关联的至少一个递送节点将所述至少一个所选择的空间片段流递送到所述客户端;以及,
从所述至少一个递送节点接收所述一个或多个所选择的空间片段流。
空间清单数据结构(文件)允许高效的基于客户端的视频操纵动作,包括视频数据的缩放、倾斜和平移,其中与现有技术解决方案相比时,网络(具体地,CDN)中的功能能够被保持为较简单。
在一个实施例中,所述空间清单数据结构可以进一步包括用于将所述空间片段流中的空间片段帧拼接成视频帧以用于显示的定位信息(position information)。
在另一个实施例中,所述空间清单数据结构可以包括与所述源流的第一分辨率版本相关联的至少第一空间表示和与所述源流的第二分辨率版本相关联的至少第二空间表示。
在实施例中,所述空间清单数据结构可以包括与第一数量的片段流相关联的第一空间表示并且所述第二空间表示包括第二数量的片段流。
在另一个实施例中,所述方法可以进一步包括:缓冲所述一个或多个所选择的空间片段流;接收与所述一个或多个空间片段流相关联的同步信息;基于所述同步信息来同步所述一个或多个所请求的空间片段流。
在一个实施例中,所述方法可以包括:基于位置信息,将所述空间对准的空间片段帧拼接成连续的视频帧以用于播放。
在进一步的实施例中,可以使用自适应流送协议、优选地HTTP自适应流送协议,将所述一个或多个所请求的空间片段流传送到所述客户端,其中所述空间片段流的至少一部分按时间片段而被划分。
在又一个实施例中,可以使用RTP流送协议将所述一个或多个片段流传送到所述客户端,并且其中同步信息在RTSP信令消息中被传送到所述客户端。
在又一个实施例中,所述空间清单数据结构包含对一个或多个访问技术或协议(例如单播、多播、广播)的引用,所述引用优选地与一个或多个(优选地,空间)片段流相关联。
在进一步的实施例中,可以使用一个或多个所述访问技术和/或访问协议将所述一个或多个片段流传送到客户端。例如:可以使用广播媒体(例如广播、多播)作为访问技术来传送一些片段流,而可以使用单播作为访问技术来传送一些其他的片段流。
在又一个实施例中,可以优选地由客户端通过诸如多播或广播之类的广播媒体来接收空间清单数据结构(文件)。
在进一步实施例中,空间清单数据结构(文件)可以通过广播媒体(例如同时联播)同时被传送到多个接收机(例如客户端)。
在进一步的方面中,本发明可以涉及一种由媒体处理设备中的客户端进行的用户与被显示给用户的空间分段的内容交互的方法,所述方法包括:接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;基于所述位置信息、所述空间清单数据结构,从所述内容递送网络检索与第一空间表示相关联的一个或多个空间片段流并且显示所述一个或多个空间片段流;接收与感兴趣区域相关联的用户输入,所述感兴趣区域定义所述所显示的空间分段的内容的所选择的区域;基于所述空间片段数据结构中的定位信息和所述感兴趣区域,根据一个或多个媒体处理准则来确定第二空间表示,优选地,所述处理准则包括带宽、屏幕分辨率和/或编码质量中的至少一个。
在一个实施例中,所述方法可以进一步包括:对于所述一个或多个空间表示,确定空间片段帧与所述所选择的感兴趣区域重叠。
在进一步的方面中,本发明可以涉及一种用于将发源于至少一个源节点的空间分段的内容吸收到第一内容递送网络中的方法,优选地,所述至少一个源节点与第二内容递送网络相关联,该方法包括:接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;被配置为将所述一个或多个空间片段流传送到所述第一内容递送网络的所述至少一个源节点将所述至少一个空间片段流分发到所述第一内容递送网络中的一个或多个递送节点;以及通过将与所述一个或多个递送节点相关联的位置信息添加到所述空间清单信息来更新所述空间清单信息。
在另一个方面中,本发明可以涉及一种被布置为分发空间分段的内容的内容分发网络,所述网络包括:控制功能、吸收节点和一个或多个递送节点;其中所述控制功能被配置为接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;并且其中,所述控制功能被配置为基于所述位置信息从所述一个或多个源节点请求所述一个或多个空间片段流;并且其中,所述吸收节点被配置为从所述一个或多个源节点接收一个或多个空间片段流;并且其中,所述一个或多个递送节点被配置为接收所述所吸收的一个或多个空间片段流。
在进一步的方面中,本发明可以涉及一种控制功能,所述控制功能被配置为接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;并且,所述控制功能被配置为基于所述位置信息从所述一个或多个源节点请求所述一个或多个空间片段流。
本发明可以进一步涉及一种用于处理空间分段的内容的客户端,其中该客户端被配置为:接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;选择一个或多个空间片段流,并且基于所述位置信息,请求所述内容递送网络中的至少一个递送节点将所述一个或多个所选择的空间片段流传送到所述客户端;以及从所述至少一个递送节点接收所述一个或多个所选择的空间片段流。
在一个实施例中,所述客户端进一步被配置为:缓冲所述一个或多个所选择的空间片段流;接收与所述一个或多个空间片段流相关联的同步信息;以及基于所述同步信息来同步所述一个或多个所请求的空间片段流。
在另一个实施例中,所述客户端进一步被配置为关于所述空间清单数据结构中的定位信息来拼接空间片段帧。
本发明可以进一步涉及一种供在播放设备的客户端(优选地,如上所述的客户端)中使用的空间清单数据结构,所述数据结构控制发源于内容递送网络的空间分段的内容的检索和显示,其中所述数据结构包括源流的一个或多个空间表示,每个空间表示标识一个或多个空间片段流、标识用于定位所述内容递送网络中的一个或多个递送节点的位置信息、以及可选地标识用于将所述片段流中的空间片段帧拼接成视频帧以用于显示的定位信息。
本发明也可以涉及一种供内容递送网络(优选地,如上所述的内容递送网络)使用的空间清单数据结构,所述空间清单数据结构控制空间分段的内容的吸收,其中所述数据结构包括源流的一个或多个空间表示,每个空间表示标识一个或多个空间片段流、标识用于定位所述一个或多个源节点的位置信息、以及可选地标识用于将所述片段流中的空间片段帧拼接成视频帧以用于显示的定位信息。
本发明也涉及一种包括软件代码部分的计算机程序产品,该软件代码部分被配置为当在计算机的存储器中运行时执行至少一个如上所述的方法步骤。
将参考附图进一步说明本发明,附图将示意性地示出根据本发明的实施例。将理解,本发明不以任何方式限于这些特定实施例。
附图说明
图1描绘根据本发明的实施例的分段的内容的递送系统。
图2A - 2E描绘根据本发明的各个实施例的空间分段的内容的生成和处理。
图3描绘根据本发明的一个实施例的SMF数据结构。
图4描绘根据本发明的实施例的SMF的一部分的示例。
图5A - 5C描绘根据本发明的实施例的用户与内容处理设备进行交互的处理,该内容处理设备被配置为处理和显示空间分段的内容。
图6A和6B描绘根据本发明的各个实施例的用于递送空间分段的内容到客户端的处理的流程图。
图7A - 7C描绘根据本发明的各个实施例的SMF的各部分。
图8A和8B图示用于定义空间片段帧在图像帧中的位置的不同坐标系的使用。
图9描绘根据本发明的实施例的媒体引擎的示意图。
图10A和10B图示基于不同流送协议的同步且拼接的空间片段帧。
图11描绘根据本发明的实施例的用于确定用于同步空间分段的内容的同步信息的处理。
图12描绘客户端从两个不同递送节点请求内容的示例。
图13描绘根据本发明的实施例的用于改善用户与空间分段的内容的交互的处理。
具体实施方式
图1描绘根据本发明的一个实施例的用于递送空间分段的内容到客户端的内容递送系统100。内容递送系统可以包括内容递送网络(CDN)102、内容供应商系统(CPS)124和许多客户端1041-N。CPS可以被配置为将内容(例如视频标题)供应到客户,客户可以使用托管在终端上的客户端来购买和接收内容。
终端通常可以涉及内容处理设备,例如诸如电子平板装置、智能电话、笔记本、媒体播放机等等的(移动)内容播放设备。在一些实施例中,终端可以是机顶盒或被配置为处理和暂时存储将来由内容播放设备消费的内容的内容存储设备。
通过包括递送节点1081-M和至少一个吸收节点1080的递送网络(CDN)来实现内容的递送。CDN控制功能(CDNCF)111被配置为从外部内容源(例如内容供应商110或另一个CDN(未示出))接收内容。CDNCF可以进一步控制吸收节点将内容的一个或多个副本分发到递送节点,使得遍及网络,保证了用于将内容递送到终端的足够带宽。在一个实施例中,CDN可以涉及如在ETSI TS 182 019中描述的CDN。
客户可以通过将请求118发送到门户网站(WP)112来从内容供应商购买内容(例如视频标题),该门户网站(WP)112被配置为提供标识可购买的内容的标题参考。响应于该请求,客户端可以接收来自WP的标题参考的至少一部分和能够递送所选择的内容的CDN的CDNCF的位置信息,例如URL。CDNCF可以发送与能够把所选择的内容递送到客户端的CDN中的至少一个递送节点相关联的客户端位置信息。典型地,CDNCF将选择CDN中的最适合于把所选择的内容递送到客户端的递送节点。用于选择递送节点的准则可以包括客户端的位置和递送节点的处理负荷。
客户端可以使用包括HTTP和/或DNS系统的各种已知技术来联系CDN中的递送节点。另外的各种流送协议可以用于把内容递送到客户端。这样的协议可以包括HTTP和RTP类型流送协议。在优选的实施例中,可以使用诸如HTTP自适应流送(HAS)、DVB自适应流送、DTG自适应流送、MPEG DASH、ATIS自适应流送、IETF HTTP实时流送和相关协议之类的自适应流送协议。
CDN被配置为吸收所谓的空间分段的内容并且向客户端分发空间分段的内容。可以通过将源流(例如MPEG类型流)的每个图像帧在空间上划分为许多空间片段帧来生成空间分段的内容。可以以单独的空间片段流来组织与图像帧的一个特定区域相关联的空间片段帧的时间序列。空间片段流中的空间片段帧根据已知的传输容器格式而被格式化并作为空间片段文件而被存储在存储器中。
为了处理空间分段的内容的吸收并且递送空间分段的内容到客户端,CDNCF使用特殊的数据结构,其在下文中将被称为空间清单文件(SMF)。可以使用zzzz.smf文件扩展来存储和标识SMF。下面将更详细地描述在向客户端的基于CDN的空间分段的内容的递送中的SMF的使用。
图2A-2E描绘根据本发明的各个实施例的空间分段的内容的生成和处理。
图2A示意性地描绘用于生成空间分段内容的示例性处理。内容供应商可以使用该处理以便经由CDN递送这样的内容到客户端。可以通过图像处理功能生成高分辨率源流220的一个或多个较低分辨率版本来开始该处理。其后,以单独的空间片段帧2241-16划分较低分辨率视频流中的每个图像帧222,其中每个空间片段帧与图像帧中的特定区域相关联。构造原始源流的图像帧所需的所有空间片段帧在下文中被称为空间片段群组。
在一个实施例中,空间片段帧可以包括片段帧报头,该片段帧报头包括空间片段信息(例如关于其所属于的图像帧中的特定位置的信息)、序列信息(例如时间戳)和分辨率信息。
与源流的图像帧的一个特定区域相关联的空间片段帧的序列随后被以例如AVI或MPEG的特定格式编码,并以空间片段流2261—16格式而被排序。每个空间片段流可以被存储为空间片段文件,例如xxxx.m2ts或xxxx.avi。在分段期间,图像处理功能可以生成用于在空间片段流之间建立空间关系的信息和指示从哪里可以检索到空间片段流的位置信息。
在此提出,将图像帧空间划分为片段群组不局限于图2A中示意性地描绘的那些。图像帧可以在空间上被划分成定义相等尺度的空间片段帧的矩阵的片段群组。可替换地,在其他的实施例中,片段群组中的空间片段帧可能具有不同的片段帧尺度,例如与原始图象的中心相关联的小片段帧和图像帧的边缘处的较大尺寸的空间片段帧。
对于源流的不同分辨率版本,可以重复图2A中描绘的空间分段处理。这样,基于一个源流,可以生成多个空间表示,其中每个空间表示可以与源文件的预定空间分段的格式相关联。
在每个空间表示中的空间片段流之间建立空间和/或时间关系的信息以及用于检索空间片段流的位置信息(例如URL)可以被分层次地排序并且被存储为空间清单文件(SMF)。将参考图3详细地讨论SMF的结构。
图2B更详细地描绘根据本发明的一个实施例的CDN 200的至少一部分。CDN可以包括一个或多个递送节点2021-2,每个递送节点2021-2包括控制器2041-2和递送存贮器2061-2。吸收节点208被配置为在CDNCF的控制下从内容处理实体210(例如内容供应商或另一个CDN)接收空间分段的内容。
为了吸收空间分段的内容,CDNCF 212可以从内容处理实体接收SMF,其中SMF包括位置信息,例如URL,其中与内容处理实体相关联的空间分段的内容被存储。然后,基于SMF中的位置信息,CDNCF可以发起空间片段流到吸收节点的传输,该吸收节点可以将所吸收的内容暂时存储或缓冲在吸收高速缓存214中。
CDNCF可以进一步包括内容部署功能216,该内容部署功能216用于根据预定分发函数将空间内容片段流的副本分发到一个或多个递送节点。该函数可以使用下述算法:该算法允许基于与CDN中的递送节点相关联的处理负荷、数据业务和/或地理接近度信息通过CDN的一个或多个递送节点分发空间分段的内容的副本。
因此,当从客户端接收到内容请求时,CDNCF可以选择例如接近于客户端并且没有经历大的处理负荷的一个或多个递送节点。与一个SMF相关联的不同空间片段流可以被分发给不同的递送节点,以便改善CDN的效率。例如,位于图像帧的中心的较频繁地请求的空间片段流可以被存储在多个递送节点上,而位于图像的边缘处的较不频繁地请求的空间片段流可以被存储在一个递送节点上。
一旦CDNCF已经把所吸收的空间分段的内容分发到递送节点,CDNCF就可以修改SMF中的位置信息,使得经修改的SMF包括对空间片段流被分发到的递送节点的引用(URL)。利用CDNCF将由此修改的SMF存储在SMF存贮器218中。
图2C和2D描绘根据本发明的一个实施例的分别与吸收空间分段的内容的处理相关联的流程图和序列图。如图2C中所示,该处理可以以CDNCF接收发源于例如内容供应商、CDN或另一个内容处理实体之类的源的针对内容吸收的请求开始(步骤230)。该请求可以包括位置信息(例如URL)和内容标识符。作为响应,CDNCF接收文件(步骤232),该文件可以涉及SMF(zzzz.smf)或常规、非分段的内容文件。
如果CDNCF接收到SMF,则它可以基于接收到的SMF执行对空间分段的内容的吸收(步骤234)。吸收处理的执行可以包括解析SMF(步骤236),以便检索与空间片段流相关联的位置信息(例如URL)和指示吸收节点检索相应的空间片段流,以及将所吸收的流暂时存储在吸收高速缓存中(步骤238)。
然后,基于与CDN中的递送节点相关联的处理负荷、数据业务和/或地理接近度信息,CDN部署功能可以通过一个或多个预定内容递送节点分发空间片段文件(步骤240),并且随后通过添加与其中存储有空间的不同片段文件的不同递送节点的新位置相关联的位置信息来更新SMF(步骤242)。可选地,还可以将URL发送给源(步骤254)。
CDNCF可以利用至少一个递送节点存储经过更新(修改)的SMF(步骤244),并且在SMF表中生成与CDNCF相关联的新条目以便存储从中可检索到经过更新的SMF的位置以备将来之用(步骤246和248)。可选地,还可以将用于定位SMF的URL发送给源(步骤254)。
如果源的源吸收请求与常规非分段的内容相关联,则内容可以暂时被存储在吸收存贮器中,然后,CDN部署功能将内容分发到一个或多个递送节点(步骤250)。可以利用CDNCF生成和存储与所存储的文件相关联的URL,以用于后续检索(步骤252)。可选地,还可以将用于定位内容的URL发送给源(步骤254)。
图2D的序列图更详细地描绘用于吸收空间分段的内容的处理的一个实施例。在这个示例中,CDNCF和源可以将基于HTTP的协议用于控制内容吸收。该处理可以以源向CDNCF发送内容吸收请求开始,其中该请求包括指向被命名为Movie-4.smf的SMF的URL(步骤260)。CDNCF可以检索SMF(步骤262和264)并解析SMF(步骤268),以便检索空间片段文件位置(例如以一个或多个URL的形式)。
使用URL,CDNCF指示CDN吸收节点取出在 SMF中标识的空间片段流,例如源存贮器高速缓存(步骤270)。在已经接收到空间片段流(步骤272—278)之后,吸收节点可以向CDNCF通知内容已经被成功地检索(步骤280)。 CDNCF然后可以把所吸收的流的副本分发给CDN中的递送节点。例如,基于处理负荷、数据业务和/或地理接近度信息,CDN部署功能可以决定将四个空间片段流Movie-4-1.seg、Movie-4-2.seg、Movie-4-3.seg和Movie-4-4.seg的副本分发到分发节点ND2并且将空间片段流Movie-4-1.seg和Movie-4-3.seg分发到DN1(步骤281)。
在分发到递送节点之后,CDNCF可以通过将从中可检索到空间片段流的递送节点的位置(在该情况下,DN1和D2的URL)插入到SMF中来更新SMF(步骤282)。可以将经过更新的SMF与空间片段流一起存储(步骤284和288)。可以将SMF的位置存储在与CDNCF相关联的SMF表中(步骤286)。可选地,CDNCF可以将包括与经过更新的SMF相关联的位置信息的响应发送到源,指示由CDN进行的成功内容吸收(步骤290)。
图2E描绘如参考图2C和2D所描述的在空间分段的内容的吸收之前和之后SMF的一部分的示例。从源接收的SMF 292可以包括内容标识符、关于分段的信息(例如分段类型)、片段的数量和来自不同空间片段文件的空间片段之间的空间关系。例如,图2E中的示例性SMF的内容指示空间片段内容是基于源文件Movie_4来生成的。SMF进一步指示四个分离的空间片段流Movie-4-1.seg、Movie-4-2.seg、Movie-4-3.seg和Movie-4-4.seg存储在源域中的特定位置cache.source.com/res/。
在空间片段文件的吸收之后,CDNCF可以生成包括具有URL形式的经过更新的空间片段位置的经过更新的SMF 294,该URL指向包括空间片段流Movie-4-1.seg和Movie-4-3.seg的第一递送节点cache_1.cdn_A/res/以及包括所有四个空间片段流Movie-4-1.seg、Movie-4-2.seg、Movie-4-3.seg和Movie-4-4.seg的第二递送节点cache_2.cdn_A/res/。
因此,从上文中可理解,SMF允许空间分段的内容到CDN中的受控的吸收。在吸收之后,SMF标识从中可检索到空间片段流的CDN中的位置。如下面更详细地描述的,SMF可以进一步允许客户端检索空间分段的内容并且与它交互。具体地,SMF允许客户端控制的用户与所显示的内容的交互(例如缩放、平移和倾斜操作)。
图3示意性地描绘根据本发明的一个实施例的SMF数据结构300。SMF可以包括若干层级数据级别302、308、318、328、其中第一级别302可以涉及定义源流(例如sourcel.m2ts)的一个或多个所谓的空间表示3061-3的空间组成信息。典型地,源流可以是高分辨率且通常广角的视频流。
下一个数据级别308可以涉及定义空间表示的空间表示信息。具体地,空间表示信息可以定义与源流的特定版本(例如分辨率版本)相关联的一组空间片段流之间的空间关系。
空间表示信息可以包括在空间映射 311中布置的一组空间片段流实例3121-4。 在一个实施例中,该映射可以定义空间片段流实例的矩阵(包括行和列),其允许构造包括由源流承载的内容的至少一部分的图像。
空间片段流实例可以与定义片段在位置参考系统内的位置的片段位置3131-4相关联。 例如,图3描绘空间片段流实例的矩阵,其中与片段位置(1,1)和(1,2)相关联的空间片段流实例可以涉及与源流中的视频图像的左上和右上区域相关联的内容。基于这两个片段流实例,可以构造包括与源文件中的视频图像的上半部相关联的内容的视频图像。
空间表示信息可以进一步包括指示源流的分辨率版本的源分辨率310,其用于生成在空间映射中涉及的空间片段流。例如,在图3中,可以基于源流的4096×2160分辨率版本来生成在空间映射中涉及的空间片段流。
空间表示信息可以进一步包括定义在空间映射中涉及的空间片段流的分辨率的片段分辨率314(在图3的示例中为2048×1080分辨率)和定义空间映射中的空间片段流被传送到客户端的比特率的片段比特流速率316。
下一个数据级别318可以涉及空间片段信息,即与空间映射中的空间片段流实例相关联的信息。空间片段信息可以包括与空间片段流324中的空间片段帧相关联的位置坐标。位置坐标可以基于绝对或相对坐标系。可以由客户端使用空间映射中所涉及的空间片段流中的空间片段帧的位置坐标将相邻空间片段帧的边界在空间上对准到无缝视频图像中以用于显示。该处理通常被称作“拼接”。
空间片段信息可以进一步包括用于定位递送节点的一个或多个空间片段流定位符326、328(例如一个或多个URL),所述递送节点被配置为传送特定空间片段流到客户端。空间片段信息也可以包括:协议信息,其指示哪个协议(例如RTSP或HTTP)用于控制将流传输到客户端;以及使客户端中的同步模块将由客户端接收的不同片段流进行同步的同步信息330、332。
下面将更详细地参考图9-11来描述上述拼接和同步处理。
SMF可以进一步包括表示间信息334,其用于使一个空间表示中的空间片段流与另一个空间表示中的空间片段流相关。表示间信息允许客户端高效地浏览经过不同表示。
图4描绘根据本发明的一个实施例的使用(伪)XML来定义(高分辨率)源文件的一组空间分段的视频表示的SMF的一部分的示例。该SMF基于源文件sourcel.m2ts来定义不同的空间表示(在该情况下为三个)。
图4的SMF中的第一个空间表示定义单个的1024×540像素分辨率的非分段的视频流(segment_mode==OFF)。客户端可以使用在第一空间表示中定义的URL rtsp://video.content.com/full_stream.avi来检索流。
SMF中的第二空间表示与4096×2160分辨率源流相关联,该分辨率源流被空间分段在包括四个空间片段流实例的2×2矩阵(列号,行号)中,每个空间片段流实例与2048×1080片段分辨率的单独的空间片段流相关联并且每个可由URL访问。例如,可以使用URL rtsp://video.content.com/stream1_1.avi从RTSP服务器请求与片段位置(1,1)相关联的第一个片段流。
SMF可以定义与空间片段流相关联的同步信息。例如,图4中的SMF定义RTSP服务器的预定RTP偏移值,该RTSP服务器被配置为传送空间片段流stream1_1.avi到客户端。RTSP服务器使用用于流送空间片段流到客户端的RTP协议。通常,由RTSP服务器使用随机偏移值作为起始值来对RTP流中的连续RTP分组加时间戳。需要关于初始偏移值的知识,以便在客户端处同步不同的空间片段流。
因此,为了使得客户端能够同步发源于不同RTSP服务器的不同RTP流,客户端可以在请求中向不同RTSP服务器发送预定RTP偏移值,指示每个服务器使用请求中的预定RTP偏移作为RTP加时间戳的起始值。这样,客户端能够确定发源于不同RTSP服务器的加有时间戳的RTP流之间的时间关系。
SMP中的另一个第三空间表示可以涉及源流的7680×4320分辨率版本,该源流的7680×4320分辨率版本被分段为包括16个空间片段流实例的矩阵,每个空间片段流实例与1920×1080分辨率空间片段流相关联且每个可经由预定URL访问。
优选地,空间片段流的分辨率和纵横比与诸如宏块和切片尺寸之类的公共视频编码和解码参数一致。另外,空间片段流的分辨率应当足够大以保持足够的视频编码增益。
图5A-5C描绘根据本发明的实施例的用户与内容处理设备进行交互的处理,该内容处理设备被配置为处理和显示空间分段的内容。
图5A描绘包括客户端502的内容处理设备501,该客户端502被配置为从一个或多个递送节点5041、5042直接地检索空间片段流。每个递送节点可以包括控制器5221、5222和用于存储空间片段流的递送存贮器5241、5242
内容处理设备的显示器可以被配置为交互式的图形用户界面(GUI)509,其允许内容的显示和用户输入520的接收二者。这样的用户输入可以涉及用户与所显示的内容的交互,包括内容操纵动作,诸如视频数据的缩放、倾斜和平移。这样的GUI包括具有本领域中公知的触摸屏功能的显示器。
客户端可以包括控制引擎505,其被配置为从CDN接收SMF 503以及基于SMF中的信息和经由GUI接收的用户输入来控制媒体引擎507和访问引擎508。这样的用户输入可以涉及用户与所显示的内容的交互,例如缩放动作。这样的用户交互可以发起控制引擎以指示访问引擎(例如HTTP或RTSP客户端)使用SMF中的位置信息(URL)来检索空间分段的内容。
图5B更详细地示意性地描绘用户通过GUI与客户端交互。具体地,图5A示意性地描绘用户选择如图5B中示意性地描绘的显示器514的特定区域512(感兴趣区域或ROI)。基于所选择的ROI的尺寸和坐标,控制引擎可以从SMF选择适当的空间表示。将参考图5C更详细地描述用于选择适当的空间表示的处理。
在图5B的示例中,控制引擎可能已经从包括16个空间片段流实例的矩阵的SMF中选择了空间表示,其中每个空间片段流实例涉及与显示器中的特定区域(如在显示器514中以虚线示意性图示)相关联的内容。然后,控制引擎可以确定ROI和与所选择的空间表示的空间片段流实例相关联的空间区域之间的重叠。
这样,在图5B的示例中,控制引擎可以确定四个空间片段流实例(灰色阴影的空间片段流实例S2,1;S3,1;S2,2;S3,2)与ROI重叠。这样,四个空间片段流5151-4由控制引擎识别,其允许构造在ROI 512中向用户显示内容的新视频流516。包括ROI的所识别的空间片段流实例在下文中被称为空间片段子群组。
参考图5A,在确定空间片段子群组之后,控制引擎505可以指示访问引擎请求对递送节点的访问,所述递送节点被配置为递送所识别的空间片段流(在该示例中,两个递送节点被标识)。然后,访问引擎可以向递送节点5041和5042的控制器发送将空间片段流传送到客户端的请求5111-2(在该示例中,每个递送节点将两个空间片段流5131-2和5151-2递送到客户端)。访问代理508可以将所传送的空间片段流转发到媒体引擎507,该媒体引擎507可以包括处理功能,用于缓冲、同步并解码空间片段子群组的空间片段流并将经过解码的空间片段帧拼接为包括ROI的视频图像。
图5C描绘根据本发明的一个实施例的基于SMF的用户交互和空间分段的内容的播放的流程图。具体地,图5C描绘了其中用户通过选择ROI来发起缩放动作的流程图。
该处理可以开始于客户端(具体地,客户端中的控制引擎)接收SMF并选择空间表示之一作为缺省(例如源流的低带宽非分段版本)(步骤530)。此外,控制引擎可以把ROI设置为缺省值,典型地,与完全显示尺寸相对应的值(步骤532)。如果控制引擎接收到ROI请求,则它可以把所有或至少部分空间表示放在临时列表上并将空间表示标记为“未检查”(步骤534)。然后,控制引擎可以开始下述处理:其中,从列表中取得未检查的空间表示(步骤536)并且将未检查的空间表示标记为已检查(步骤538)。然后,基于SMF,控制引擎可以确定对于所选择的空间表示是否存在空间片段子群组,即与包括ROI的相关联的空间片段流实例(步骤540)。
使用空间表示信息和相关联的空间片段信息,控制引擎可以进一步验证所识别的空间片段子群组是否匹配于播放的要求,例如带宽、编解码器支持等等(步骤542)。如果满足了播放要求,则处理下一个“未检查”空间表示。如果没有满足播放要求,则控制引擎可以从列表中删除该空间表示(步骤546)。其后,处理下一个未检查的空间表示,直到列表上的所有空间表被处理为止(步骤544)。
然后,在已经检查了列表上的所有空间表示之后,客户端可以检查列表是空的(步骤547)。如果列表是空的,则客户端可以确定先前ROI和空间表示是否可用于选择(步骤548)。如果是,则可以选择该先前ROI以用于播放(步骤549)。如果没有先前ROI可用,则可以产生错误消息(步骤550)。可替换地,如果具有经检查的空间表示的列表不是空的,则内容代理可以从列表选择最佳地匹配于例如屏幕分辨率、质量、编码、带宽等等的播放准则的空间表示,并随后改变到该所选择的空间表示(步骤552)。
然后,控制引擎可以使用新选择的空间表示来执行用于空间分段的流的播放的处理(步骤554)。在这种情况下,控制引擎可以确定空间片段子群组(步骤556)和可从中检索到空间片段子群组中的空间片段流的位置信息(步骤558)。在检索空间片段流(步骤560)之后,对所述空间片段流进行处理以用于播放(步骤562),即,对其进行缓冲、同步和拼接,以便形成包括ROI的视频图像的流。
在空间分段的内容的播放期间,控制引擎可以被配置为检测另外的ROI请求,例如用户经由GUI选择另外的ROI。如果检测到这样的信号(步骤564),则可以再次开始用于构建和检查适当的空间表示的列表的上述处理。
因此,通过使客户端选择SMF中的一个或多个空间表示中定义的不同的空间片段流,SMF中的空间表示允许用户选择不同的ROI并且放大视频图像。SMF允许客户端到直接地从CDN中的递送节点请求空间分段的内容。这样的直接检索提供了对内容的快速访问,这是为了递送服务质量和最优用户体验所必需的。
因此,不是简单地扩大和上扩(up-scaling)图像的所选择的像素区域(导致保真度的损失),而是客户端可以简单地使用SMF来高效地切换到期望的空间表示。例如,可以选择与例如源流的960×640分辨率版本相关联的空间表示,使得使用480×320像素分辨率的空间片段流来显示左上方四分之一。这样,当与基于上扩现存细节的常规数字缩放情形相比时,所选择的空间表示可以允许用户实际上看到更多细节,以便适合整个显示器。SMF中的不同空间表示可以允许用户在不损失保真度且不要求过多量的带宽的情况下缩放到特定ROI。
图6A描绘根据本发明的实施例的用于递送空间分段的内容到客户端的处理的流程图。在特定实施例中,SMF作为空间片段流而存储在同一递送节点DN上。
该处理可以开始于客户端选择特定媒体文件ashd31.asf(步骤602)并将包括对所选择的媒体文件的引用的HTTP GET发送到内容供应商系统(CPS)(在该情况下为YouTubeTM)(步骤604)。作为响应,CPS可以生成对CDN的CDNCF的重定向,以用于获得与所请求的媒体文件相关联的SMF(步骤606和608)。作为响应,CDNCF可以生成对存储所请求的SMF的内容递送节点的重定向(步骤609和610)。然后,递送节点可以将所请求的SMF发送到客户端。
然后,如上参考图5C所述,客户端可以从用户接收ROI请求(步骤612),并且作为响应,客户端可以发起用于选择期望空间表示且用于确定空间片段子群组(即,包括所选择的ROI的空间片段流实例)的处理(步骤614)。
客户端可以与包括所存储的SMF的递送节点建立流送会话,例如RTSP流送会话(步骤616和618)。一旦接收到所请求的空间片段流(步骤620和622),客户端就可以处理空间片段流以用于构造包括所选择的ROI的视频图像(步骤624)。
图6B描绘根据本发明的另一实施例的客户端控制的空间分段的内容的递送的流程图。在该情况下,空间片段流被存储在不同的递送节点D1和D2上。在该情况下,处理可以以与图6A中类似的方式开始。该处理可以开始于客户端选择特定媒体文件ashd31.asf(步骤630)并将包括对所选择的媒体文件的引用的HTTP GET发送到内容供应商系统(CPS)(在该情况下为YouTubeTM)(步骤632)。作为响应,CPS可以生成对CDN的CDNCF的重定向,以用于获得与所请求的媒体文件相关联的SMF(步骤634和636)。其后,CDNCF可以从与CDNCF相关联的SMF存贮器检索SMF。SMF可以具有与参考图2E所描述的格式类似的格式。具体地,对于空间片段流中的至少一些,SMF可以定义两个或更多递送节点。
因此,在该情况下,CDNCF将不得不对于每个空间片段流确定哪个递送节点最适合于传送空间片段流到客户端。例如,基于客户端的位置,一些递送节点可能优于其他递送节点。此外,由于拥塞问题或较重的处理负荷,可能避免一些递送节点。这样,基于所存储的SMF,CDNCF将通过对于客户端针对每个空间片段流选择最适当的递送节点来生成“个人”SMF(步骤638)。将该个人SMF发送给客户端(步骤640)。
客户端可以从用户接收ROI请求(步骤642)。然后,基于个人SMF,客户端可以发起用于选择期望空间表示、用于确定空间片段子群组和用于确定用于将空间片段子群组中的空间流传送到客户端的递送节点的位置的处理(步骤644)。
其后,客户端可以与不同的所标识的递送节点(在该情况下,分别是第一和第二递送节点D1和D2)建立流送会话(例如,RTSP流送会话),用于将空间片段流传送到客户端(步骤646-652)。一旦接收到所请求的空间片段流(步骤650和652),客户端就可以处理空间片段流以用于构造包括所选择的ROI的视频图像(步骤654)。因此,在图6B的处理中,客户端将接收SMF,其根据例如客户端递送节点距离、递送节点的处理负荷等等的特定客户端和CDN情形而被优化。
尽管在图6A和6B中基于HTTP描述了SMF检索,但是可以使用各种其他协议,诸如SIP/SDP、SIP/XML、HTTP/XML或SOAP。此外,对空间片段流的请求可以例如基于RTSP/SDP、SIP/SDP、SIP/XML、HTTP、IGMP。片段递送可以基于DVB-T、DVB-H、RTP、HTTP(HAS)或基于IP多播的UDP/RTP。
定义源内容流的多个空间表示的SMF可以提供用于CDN中的内容的吸收和/或用于从CDN到客户端的内容递送的高效工具。它允许客户端高效地确定与ROI相关联的空间片段流并直接地针对CDN中的递送节点检索这些空间片段流。它进一步允许供用户与内容进行交互(例如缩放和平移)的高效方式,而不消耗CDN中以及将客户端与CDN相连接的访问线路中的过度量的带宽。显而易见,SMF允许控制空间分段的内容的不同的有利方式。
图7A-7C描绘根据本发明的各个实施例的SMF的至少一部分。图7A描绘根据本发明的一个实施例的SMF的一部分。具体地,图7A中的SMF定义要被显示的图像帧中空间片段帧的空间位置。这样,例如,特定空间片段流中的空间片段帧的左下角可以与绝对显示位置1000,500有关。
这样的坐标系的使用允许相邻空间片段流中的片段帧重叠,从而实现改善的平移和缩放方法。例如,在切换到相邻空间片段流时,重叠可以提供更平滑的平移操作。
图7B描绘包括表示间信息的根据本发明的实施例的SMF的一部分。当在包括均定义多个空间片段的大量空间表示的空间分段的内容内进行缩放时,在另一个空间表示中找到对与特定ROI和分辨率版本相关联的空间片段流的期望的一个或多个引用可能在计算上昂贵。
对于这些情形,可能有用的是,将SMF配置为还包括关于不同的空间表示之间的相关性的信息,其中每个空间表示与空间分段的视频内容的特定分辨率版本相关联。例如,第一空间表示中的显示位置1000,500处的空间片段流与第二空间表示中的显示位置500,250处的空间片段流和第三空间表示中的显示位置250,125处的空间片段流有关。
当与绝对像素坐标系结合时,表示间信息的使用可以尤其有利,如参考图7A所描述。表示间可以在缩放操作期间例如简化ROI与适当空间表示的匹配。
图7C描绘根据本发明的实施例的SMF的一部分,其中,归一化像素坐标被选择为视频图像帧的中心,其与所选择的分辨率版本无关地定义与空间表示相关联的图像帧内的绝对位置。这样的归一化坐标系的范围可以从0到1,使用(0.5,0.5)作为原点。这样的归一化坐标系的使用允许在缩放操作期间在SMF内的不同空间表示之间的更简单的切换。
图8A和8B进一步图示用于定义空间片段帧在图像帧中的位置的不同的坐标系的使用。图8A描绘若干不同的坐标系,即基于行和列的定位系统802、绝对坐标系804和归一化坐标系806,用于定位图像帧中的片段帧。图8B描绘包括空间片段流实例的矩阵的单个空间表示,由此相邻空间片段帧重叠(例如50%重叠)。
为了基于发源于不同递送节点的分别传送的空间片段流来处理和显示内容,需要在客户端中实施特定功能。具体地,发源于不同的传输节点(诸如CDN的递送节点)的空间片段流的帧级别同步,使得各个空间片段帧可以被拼接成单个图像帧以用于显示,其中图像帧包括ROI。
由于客户端与递送节点之间的数据交换因例如传输延迟、网络路由的差异和编码和解码延迟的差异的各种起因而受到网络的未知延迟,因此需要同步。因此,请求可能在不同的时间到达不同的递送节点,导致与一个要产生的视频相关联的空间片段流的传输的不同起始时间。
Mavlankar等使用媒体播放机的多个实例,用于以同步方式同时地显示分片式视频流。然而,这样的解决方案不适用于许多低功率媒体处理设备,诸如智能电话、平板等等。这些设备通常仅允许单个解码器实例同时运行。此外,Mavlankar没有解决使发源于不同的递送节点的多个片段流同步的问题。具体地,Mavlankar没有解决如下问题:在新的空间片段流的请求和空间片段流的接收之间存在延迟以及该延迟可能在CDN中的不同的递送节点之间发生变化。
通过将空间片段流封装在单个传输容器中,可以避免或至少显著地降低缓冲和同步问题。然而,在单个容器中的空间片段流的传输显著地减低空间分段的内容的流送的灵活性,因为它不允许各个空间片段流直接地从不同的递送节点流送到客户端。因此,为了保持所提出的用于空间分段的内容的流送的方法的优势,需要在客户端的空间片段流的同步。
图9描绘根据本发明的各个实施例的被配置为同步、解码和空间对准空间片段帧的媒体引擎902的示意图。如参考图5A所描述,媒体引擎可以包括在客户端中。
媒体引擎902可以包括缓冲器903,该缓冲器903包括多个自适应缓冲器实例,用于缓冲多个分组化的空间片段流9061-4。使用同步信息,同步引擎910可以控制缓冲器,以便将空间片段流中的分组同步。
同步信息可以包括空间片段流中的分组的报头中的定时信息。这样的定时信息可以包括时间戳,例如RTP时间戳,用于指示图像帧在流中的相对位置。定时信息也可以涉及在RTSP服务器和客户端之间交换的RTP时间戳信息。在进一步的实施例中,定时信息可以涉及例如在HTTP DASH清单文件中指定的DASH时间片段的时间片段,以及在这样的DASH时间片段中包含的加时间戳的帧(例如MPEG)或顺序地编号的帧(例如AVI)。
如已经参考图4所描述,例如RTP偏移值的同步信息911也可以被包括在SMF913中并且由控制引擎915发送到同步模块。在另一个实施例中,可以在带内的或带外的信道中将同步信息917发送到同步引擎。
定时信息可以用于控制缓冲器模块中的一个或多个自适应缓冲器实例。例如,基于不同的空间片段流的定时信息,可以确定自适应缓冲器实例的时间延迟,使得缓冲器的输出可以生成时间对准(即时间同步)的分组。
在缓冲器的输出的同步的分组可以由复用器(未示出)复用到时间同步的分组的流912中,该流包括逻辑上排列在所谓的画面群(GOP)中的帧,使得解码器916可以顺序地将分组解码到解码的空间片段帧的流920中。在进一步的实施例中,媒体引擎可以包括用于解码发源于缓冲器的数据的两个或更多解码器920。
在一个实施例中,解码的片段帧可以排序在空间片段子群组9211-4的序列中。拼接引擎可以将与每个空间片段子群组相关联的空间片段帧拼接到包括ROI的视频图像帧中。拼接引擎可以使用例如SMF中的位置坐标,以便将空间片段子群组中的空间片段帧空间对准到无缝的视频图像帧922中,用于向用户显示。
图像拼接的处理包含通过空间对准空间片段子群组的空间片段帧来基于空间片段帧再现视频图像的技术。在进一步的实施例中,如图像配准、校准和融合等的图像处理技术可以用于改善拼接处理。图像配准可以包括两个相邻空间片段帧之间的图像特征的匹配。直接对准方法可以用于搜索使重叠的像素之间的绝对差的和最小化的图像对准。图像校准可以包括最小化图像之间的光学差异和/或失真,并且融合可以包括调整图像之间的颜色以补偿曝光差异。
图10A和10B图示基于不同的流送协议的同步的且拼接的空间片段帧。具体地,图10A描绘空间片段帧(在该情况下为四个),其被同步且拼接成一个图像帧,其中,使用例如在MPEGDASHISO-ISO-IEC_23001-6v12中定义的HTTP自适应流(HAS)协议的自适应流送协议,将空间片段帧传输到客户端。
每个HAS类型空间片段流可以被划分成N个同样尺寸的时间片段(下文称为时空片段或ST片段)。每个ST片段与空间片段流中的特定时段(例如2-4秒)相关联。通过单调地增大(或减小)片段编号来确定空间片段流中的ST片段的位置。
每个ST片段还包括预定数量的顺序的空间片段帧,其中可以通过单调地增大时间戳或帧编号(取决于使用的传输容器)来确定ST片段中的空间片段帧的位置。例如,每个编号的ST片段可以包括预定数量的单调地编号或加时间戳的空间片段帧。因此,通过片段编号和在ST片段中的帧编号可以唯一地确定HAS类型空间片段流(或ST片段流)中的每个空间片段帧的(时间)位置。
通过对于各个空间片段流中的每一个使用诸如画面群(GOP)的长度和结构、视频帧速率和总体比特率之类的视频编码参数,可以促进相等长度的 ST片段中的空间片段流的划分。
可以在HAS清单文件(参见图3,其中HTTP空间片段流根据HAS清单文件被定义)中描述HAS类型空间片段流的时间格式,例如与每个TS片段相关联的时间段、TS片段中的帧的数量。因此,在HAS类型空间分段的内容中,SMF可以定义内容的空间格式,并且可以涉及另外的清单文件、HAS清单文件,用于定义内容的时间格式。
可以基于片段编号和帧编号来实现ST分段的内容中的空间片段帧的同步化和拼接,如图10A所图示的。例如,如果媒体引擎中的缓冲器接收四个单独的ST片段流10021-4,同步引擎可以根据片段编号(图10A中的时间片段编号N)和帧编号(图10A中的片段帧编号#_M)来处理ST片段流。例如,同步引擎可以对于与矩阵位置(1,1)(1,2)(2,1)和(2,2)相关联的每个ST片段流确定与特定片段编号相关联的空间片段帧,并且帧编号由同步引擎来选择并且被发送到缓冲器的输出。
以与参考图9所描述的类似的方式,在缓冲器的输出处的编码的空间片段帧可以被解码,并且解码的空间片段帧可以被拼接成视频图像用于显示。
图10B描绘空间片段帧(在该示例中,为四个),其被同步且拼接成一个图像帧,其中使用RTP/RTSP流送协议将空间片段帧传输到客户端。在该情况下,缓冲器可以接收包括加时间戳的RTP分组的四个RTP流。RTP时间戳的值单调地增大,并且可以从随机RTP偏移值开始。因此,为了确定在不同的RTP类型空间片段流中的空间片段帧之间的关系,需要RTP偏移值的知识。
如将在下面更详细地描述的,当向RTSP服务器请求特定空间片段流时,RTSP服务器可以用信号向客户端通知RTP时间戳信息。基于该RTP时间戳信息,可以确定随机RTP偏移值。可替换地,当请求特定空间片段流时,请求可以包括特定的预定RTP偏移值,RTSP服务器将使用该特定的预定RTP偏移值用于流送到客户端。这样的预定RTP偏移值可以定义在SMF中(参见例如图3)。
因此,同步引擎可以接收与所缓冲的空间片段流相关联的RTP偏移值。可以在SMF 1006中确定这些RTP偏移值。使用RTP偏移值,同步引擎可以然后确定在每个空间片段流中的RTP分组之间的关系。例如,在图10B中,同步引擎可以接收与四个不同的空间片段流10041-4相关联的四个RTP偏移值。使用这些偏移值,同步引擎可以然后确定在每个缓冲的空间片段流中的分组。例如,在空间片段流(1,1)中的具有RTP时间戳8000(和RTP偏移4000)的RTP分组属于空间片段流(1,2)中的具有RTP时间戳6000和RTP偏移2000的RTP分组、空间片段流(2,1)中的具有RTP时间戳11000和RTP偏移7000的RTP分组、和空间片段流(2,2)中的具有RTP时间戳5000和RTP偏移值1000的RTP分组。
同步引擎可以将这些分组发送到缓冲器的输出。其后,以与参考图9所描述的类似的方式,分组可以被解码为空间片段帧并且被拼接成视频图像用于显示。
上述同步处理允许空间图像帧的帧级别同步,需要其以便基于两个或更多空间片段流来构造无缝的视频图像。
诸如较不信赖于精确的NTP时钟信息的所谓的RTCP发送方报告的使用之类的其他的已知的同步方案不适用于空间片段流的同步。
图11描绘根据本发明的实施例的用于确定用于同步空间分段的内容的同步信息的处理1100。具体地,图11描绘用于确定与不同的空间片段流相关联的RTP偏移值的处理。处理可以开始于客户端向第一递送节点DN1发送RTSP PLAY请求,用于请求RTSP服务器开始将第一空间片段流stream1_1RTSP流送到客户端开始。RTSP PLAY请求中的范围参数指示RTSP服务器在流中的位置t=10秒开始流送(步骤1102)。作为响应,DN1向客户端发送RTSP 200 OK响应来证实那它执行了请求。此外,响应中的RTP信息字段指示流的第一个分组将具有RTP时间戳5000(步骤1104)。然后可以通过从预期RTP时间戳中减去所接收的RTP时间戳来确定4000的RTP偏移值(步骤1106)。
以类似的方式,在t=20秒,客户端可以然后从第二递送节点DN2请求另外的空间片段流stream1_2(步骤1108)。作为响应,DN2将RTSP 200 OK消息发送到客户端来指出第一个RTP分组将具有RTP时间戳7000(步骤1110)。使用该信息,客户端可以然后确定用于第二空间片段流的RTP时间戳偏移是5000(步骤1112)。因此,基于在客户端和递送节点之间的RTP信令中的RTP定时信息,客户端可以高效地确定与每个空间片段流相关联的RTP偏移值。
从上可知,由此可见,SMF允许客户端直接地访问CDN中的不同的递送节点,使得实现快速的内容递送。需要快速的内容递送,以便允许良好的用户与所显示的空间分段的内容的交互,例如缩放和平移。然而,在请求和内容的接收之间的一些延迟是不可避免的。这些延迟也可能在CDN中的不同的递送节点之间不同。图12描绘客户端从两个不同的递送节点DN1和DN2请求内容的示例。
在t=0,客户端可以将RTSP PLAY请求发送到DN1(步骤1202)。响应于该请求,DN1可以开始将RTP分组发送到客户端(步骤1204)。由于一些延迟,将由客户端在t=1接收与t=0相关联的RTP分组。类似地,将由客户端在t=2接收在t=1传送的RTP分组,并且,将由客户端在t=3接收在t=2传送的RTP分组。在那时,客户端可以决定开始第一个RTP分组t=0的播放(步骤1206),而其他两个RTP分组t=1和2仍然被缓冲。
然后,在观看RTP分组t=1的播放的时候,用户可以决定在t=4请求平移操作。响应于该请求,客户端可以从第二递送节点DN2请求从t=4开始(即范围参数被设置为t=4)的预定空间片段流(步骤1208)。然而,DN2具有较慢的响应时间,使得它在t=6将RTP分组t=4发送到客户端(步骤1210)。由于该延迟,客户端仅能够在t=7显示发源于DN2的空间片段流(步骤1212),在用户已经发起平移请求之后的3秒。因此,期望方案尽可能减少延迟效应。
图13描绘根据本发明的实施例的用于改善用户与空间分段的内容的交互的处理。具体地,图13描绘类似于参考图12描述的那些的客户端和两个递送节点(即具有1秒响应的第一递送节点DN1和具有2秒的响应延迟的较慢的第二递送节点DN2)。
在请求DN1开始从起始位置t=0流送第一空间片段流(步骤1302)之后,客户端可以在t=3开始RTP分组的播放(即在已经缓冲了两个RTP分组之后)(步骤1304)。然后,在观看RTP分组t=1的播放的时候,用户可以决定在t=4请求平移操作。响应于该请求,客户端可以将两个RTSP PLAY请求发送给第二递送节点DN2:第一RTSP PLAY请求,用于请求第二递送节点从位置t=4s开始流送第二空间片段流(使用在RTSP PLAY请求中的范围参数)(步骤1306);以及,第二RTSP PLAY请求,用于请求DN2以比实时流送速率更快的速率从位置t=1到位置t=4开始流送第二空间片段流(使用RTSP PLAY请求中的范围参数和SPEED参数)(步骤1308)。
作为响应,(在t=6)第二递送节点可以开始以增大的速率向客户端发送RTP分组t=1,2,3和4(步骤1310),使得在t=6客户端可以开始播放来自第二递送节点的RTP分组t=3(步骤1312)。同时,第一个RTSP PLAY请求可以发起以正常速率的RTP分组的传输,使得一旦客户端播放已经到达t=4,可以终止以增大的速率的RTP分组的递送。这样,用户将注意到具有两秒的延迟的平移操作,由此减小由于网络延迟引起的在用户交互中的效应。
可以在视频点播情形中使用以增大的速率对RTP分组的暂时递送。对于不允许比实时流送更快的流送的生活流送情形,可以使用另一个解决方案。在该情况下,可以使用如在IEFT文档“Unicast-based rapid acquisition of multicast RTP sessions(多播RTP会话的基于单播的快速获取)”http://tools.ietf.org/html/draft-ietf-avt-rapid-acquisition-for-rtp-17中描述的基于IP多播的快速信道改变技术。
应当理解,可以单独地、或者与其他所描述的特征组合地使用与任何一个的实施例有关的任何特征,并且可以将与任何一个的实施例有关的任何特征与任何其他实施例或任何其他实施例的任何组合的一个或多个特征相组合使用。
本发明的一个实施例可以实施为用于计算机系统的程序产品。程序产品的程序定义实施例的功能(包括在这里描述的方法),并且能够包含于许多计算机可读的存储介质上。说明性的计算机可读的存储介质包括但是不局限于:(i)非可写的存储介质(例如,计算机内的只读存储器设备,诸如CD-ROM驱动可读的CD-ROM盘、闪速存储器、任何类型的固态的非易失性的半导体存储器),在其上信息被永久地存储;和(ii)可写的存储介质(例如、软磁盘机内的软盘或硬盘驱动或任何类型的固态的随机存取半导体存储器),在其上可变的信息被存储;本发明不局限于上述实施例,其可以在所附权利要求的范围内发生变化。

Claims (19)

1.一种用于处理空间分段的内容的方法,包括:
客户端接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;
选择与至少一个所述空间表示相关联的一个或多个空间片段流,并且基于所述位置信息,请求与所述内容递送网络相关联的至少一个递送节点将所述至少一个所选择的空间片段流递送到所述客户端;以及,
从所述至少一个递送节点接收所述一个或多个所选择的空间片段流。
2.根据权利要求1所述的方法,其中,所述空间清单数据结构进一步包括用于将所述空间片段流中的空间片段帧拼接成视频帧以用于显示的定位信息。
3.根据权利要求1或2所述的方法,其中,所述空间清单数据结构包括与所述源流的第一分辨率版本相关联的至少第一空间表示和与所述源流的第二分辨率版本相关联的至少第二空间表示。
4.根据权利要求1至3中任一项所述的方法,其中所述空间清单数据结构包括与第一数量的片段流相关联的第一空间表示,并且所述第二空间表示包括第二数量的片段流。
5.根据权利要求1至4中任一项所述的方法,进一步包括:
缓冲所述一个或多个所选择的空间片段流;
接收与所述一个或多个空间片段流相关联的同步信息;
基于所述同步信息来同步所述一个或多个所请求的空间片段流。
6.根据权利要求2至5中任一项所述的方法,包括:
基于位置信息,将所述空间对准的空间片段帧拼接成连续的视频帧以用于播放。
7.根据权利要求1至6中任一项所述的方法,其中,使用自适应流送协议、优选地HTTP自适应流送协议,将所述一个或多个所请求的空间片段流传送到所述客户端,其中所述空间片段流的至少一部分按照时间片段而被划分。
8.根据权利要求1至7中任一项所述的方法,其中使用RTP流送协议将所述一个或多个片段流传送到所述客户端,并且,其中同步信息在RTSP信令消息中被传送到所述客户端。
9.一种由媒体处理设备中的客户端进行的用户与被显示给用户的空间分段的内容的交互的方法,所述方法包括:
接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;
基于所述位置信息、所述空间清单数据结构,从所述内容递送网络检索与第一空间表示相关联的一个或多个空间片段流,并且显示所述一个或多个空间片段流;
接收与感兴趣区域相关联的用户输入,所述感兴趣区域定义所述所显示的空间分段的内容的所选择的区域;
基于所述空间片段数据结构中的定位信息和所述感兴趣区域,根据一个或多个媒体处理准则来确定第二空间表示,优选地,所述处理准则包括带宽、屏幕分辨率和/或编码质量中的至少一个。
10.根据权利要求9所述的方法,其中所述方法进一步包括:
对于所述一个或多个空间表示,确定空间片段帧与所述所选择的感兴趣区域重叠。
11.一种用于将发源于至少一个源节点的空间分段的内容吸收到第一内容递送网络中的方法,优选地,所述至少一个源节点与第二内容递送网络相关联,该方法包括:
接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;所述至少一个源节点被配置为将所述一个或多个空间片段流传送到所述第一内容递送网络,
将所述至少一个空间片段流分发到所述第一内容递送网络中的一个或多个递送节点;以及,
通过将与所述一个或多个递送节点相关联的位置信息添加到所述空间清单信息来更新所述空间清单信息。
12.一种被布置为分发空间分段的内容的内容分发网络,所述网络包括:
控制功能、吸收节点和一个或多个递送节点;
其中所述控制功能被配置为接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;并且其中,所述控制功能被配置为基于所述位置信息从所述一个或多个源节点请求所述一个或多个空间片段流;
其中,所述吸收节点被配置为从所述一个或多个源节点接收一个或多个空间片段流;并且
其中,所述一个或多个递送节点被配置为接收所述所吸收的一个或多个空间片段流。
13.一种控制功能,所述控制功能被配置为接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;并且,所述控制功能被配置为基于所述位置信息从所述一个或多个源节点请求所述一个或多个空间片段流。
14.一种用于处理空间分段的内容的客户端,被配置为:
接收包括源流的一个或多个空间表示的空间清单数据结构,每个空间表示标识一个或多个空间片段流和用于定位一个或多个递送节点的位置信息,该一个或多个递送节点与被配置为将所述一个或多个空间片段流传送到所述客户端的内容递送网络相关联;
选择一个或多个空间片段流,并且,基于所述位置信息,请求所述内容递送网络中的至少一个递送节点将所述一个或多个所选择的空间片段流传送到所述客户端;以及,
从所述至少一个递送节点接收所述一个或多个所选择的空间片段流。
15.根据权利要求14所述的客户端,进一步被配置为:缓冲所述一个或多个所选择的空间片段流;接收与所述一个或多个空间片段流相关联的同步信息;以及基于所述同步信息来同步所述一个或多个所请求的空间片段流。
16.根据权利要求14或15所述的客户端,进一步被配置为:在所述空间清单数据结构中的定位信息上拼接空间片段帧。
17.一种供在播放设备的客户端中、优选地在根据权利要求14至16中任一项所述的客户端中使用的空间清单数据结构,所述数据结构控制发源于内容递送网络的空间分段的内容的检索和显示,其中所述数据结构包括源流的一个或多个空间表示,每个空间表示标识一个或多个空间片段流、标识用于在所述内容递送网络中定位一个或多个递送节点的位置信息、以及可选地标识用于将所述片段流中的空间片段帧拼接成视频帧以用于显示的定位信息。
18.一种供内容递送网络、优选地供根据权利要求12所述的内容递送网络使用的空间清单数据结构,所述空间清单数据结构控制空间分段的内容的吸收,其中所述数据结构包括源流的一个或多个空间表示,每个空间表示标识一个或多个空间片段流、标识用于定位所述一个或多个源节点的位置信息、以及可选地标识用于将所述片段流中的空间片段帧拼接成视频帧以用于显示的定位信息。
19.一种包括软件代码部分的计算机程序产品,所述软件代码部分被配置为当在计算机的存储器中运行时执行根据权利要求1至11中任一项所述的方法步骤。
CN201280027654.2A 2011-06-08 2012-06-07 空间分段的内容的递送 Active CN103583050B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11169068.1 2011-06-08
EP11169068 2011-06-08
PCT/EP2012/060801 WO2012168365A1 (en) 2011-06-08 2012-06-07 Spatially-segmented content delivery

Publications (2)

Publication Number Publication Date
CN103583050A true CN103583050A (zh) 2014-02-12
CN103583050B CN103583050B (zh) 2018-09-14

Family

ID=46208606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280027654.2A Active CN103583050B (zh) 2011-06-08 2012-06-07 空间分段的内容的递送

Country Status (7)

Country Link
US (3) US9860572B2 (zh)
EP (2) EP2719190B8 (zh)
JP (2) JP5905957B2 (zh)
KR (3) KR101633239B1 (zh)
CN (1) CN103583050B (zh)
PL (2) PL3313083T3 (zh)
WO (1) WO2012168365A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105191303A (zh) * 2014-02-21 2015-12-23 华为技术有限公司 处理视频的方法、终端和服务器
CN105407414A (zh) * 2014-09-04 2016-03-16 汤姆逊许可公司 用于接收多媒体内容的方法和客户端
CN106464941A (zh) * 2014-06-30 2017-02-22 索尼公司 信息处理装置和方法
CN107113454A (zh) * 2014-10-29 2017-08-29 Dlvr公司 配置引用用于自适应流式传输视频的基础设施服务提供商的清单文件
CN108476327A (zh) * 2015-08-20 2018-08-31 皇家Kpn公司 基于媒体流来形成拼块化视频
CN109155873A (zh) * 2016-05-23 2019-01-04 佳能株式会社 改进虚拟现实媒体内容的流传输的方法、装置和计算机程序
CN109792563A (zh) * 2016-10-12 2019-05-21 皇家Kpn公司 基于感兴趣区域处理球面视频数据
CN111195133A (zh) * 2019-12-25 2020-05-26 杭州中威电子股份有限公司 一种能够实时检测疲劳的装置及方法
CN111195119A (zh) * 2019-12-25 2020-05-26 杭州中威电子股份有限公司 一种实时检测生理的眼镜装置及方法
CN111316652A (zh) * 2017-09-05 2020-06-19 亚马逊技术有限公司 使用对齐编码内容片段的个性化内容流
US11075970B2 (en) 2014-10-29 2021-07-27 DLVR, Inc. Network monitoring to determine performance of infrastructure service providers
US11757964B2 (en) 2014-10-29 2023-09-12 DLVR, Inc. Providing third-party dynamic content within adaptive streaming video

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332365B2 (en) 2009-03-31 2012-12-11 Amazon Technologies, Inc. Cloning and recovery of data volumes
US8953478B2 (en) * 2012-01-27 2015-02-10 Intel Corporation Evolved node B and method for coherent coordinated multipoint transmission with per CSI-RS feedback
US8923880B2 (en) * 2012-09-28 2014-12-30 Intel Corporation Selective joinder of user equipment with wireless cell
GB2513139A (en) * 2013-04-16 2014-10-22 Canon Kk Method and corresponding device for streaming video data
GB2506911B (en) * 2012-10-12 2015-12-09 Canon Kk Method and correponding device for streaming video data
KR101925606B1 (ko) * 2012-10-12 2018-12-05 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
US10713726B1 (en) 2013-01-13 2020-07-14 United Services Automobile Association (Usaa) Determining insurance policy modifications using informatic sensor data
US9749375B2 (en) 2013-01-16 2017-08-29 Futurewei Technologies, Inc. URL parameter insertion and addition in adaptive streaming
CN105052167B (zh) * 2013-01-18 2018-10-09 佳能株式会社 用于封装分区定时媒体数据的方法、装置和计算机可读存储介质
GB2509956B (en) * 2013-01-18 2016-05-04 Canon Kk Method, device and computer program for efficient encapsulation of timed tiled media data
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
GB2509954B (en) 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
US20140278573A1 (en) 2013-03-15 2014-09-18 State Farm Mutual Automobile Insurance Company Systems and methods for initiating insurance processing using ingested data
GB2551296B (en) * 2013-04-09 2018-02-28 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data
GB2513140B (en) 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
US9594761B2 (en) * 2013-05-31 2017-03-14 Level 3 Communications, Llc System and method for storing content on a content delivery network
CN105340281B (zh) * 2013-07-05 2019-06-28 索尼公司 发送装置、发送方法、接收装置和接收方法
EP2824885B1 (en) * 2013-07-12 2019-01-23 Provenance Asset Group LLC A manifest file format supporting panoramic video
US9628528B2 (en) 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
JP6493765B2 (ja) * 2013-07-19 2019-04-03 ソニー株式会社 情報処理装置および方法
KR102196504B1 (ko) * 2013-07-19 2020-12-30 아이디어허브 주식회사 콘텐츠 제공 장치 및 방법
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
GB2516826B (en) * 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
KR102084104B1 (ko) 2013-07-25 2020-03-03 콘비다 와이어리스, 엘엘씨 종단간 m2m 서비스 계층 세션
US10447746B2 (en) 2013-07-26 2019-10-15 Futurewei Technologies, Inc. System and method for spatial adaptation in adaptive streaming
EP3028472B1 (en) * 2013-07-29 2020-02-26 Koninklijke KPN N.V. Providing tile video streams to a client
BR112016002703A2 (pt) * 2013-08-05 2017-08-01 Risoftdev Inc sistema de formato de mídia extensível e métodos de uso
US9947051B1 (en) 2013-08-16 2018-04-17 United Services Automobile Association Identifying and recommending insurance policy products/services using informatic sensor data
GB2542282B (en) 2013-10-22 2018-08-01 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data in a server
US10635644B2 (en) 2013-11-11 2020-04-28 Amazon Technologies, Inc. Partition-based data stream processing framework
US9794135B2 (en) 2013-11-11 2017-10-17 Amazon Technologies, Inc. Managed service for acquisition, storage and consumption of large-scale data streams
US9858322B2 (en) 2013-11-11 2018-01-02 Amazon Technologies, Inc. Data stream ingestion and persistence techniques
US9720989B2 (en) 2013-11-11 2017-08-01 Amazon Technologies, Inc. Dynamic partitioning techniques for data streams
WO2015071461A1 (en) 2013-11-15 2015-05-21 Koninklijke Kpn N.V. Synchronization of processing media streams by one or more media processing devices
GB2520310A (en) * 2013-11-15 2015-05-20 Sony Corp A method, server, client and software
WO2015074273A1 (zh) * 2013-11-25 2015-05-28 华为技术有限公司 处理视频的设备和方法
KR20150065069A (ko) * 2013-12-04 2015-06-12 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 영상 표시 방법 및 컴퓨터 판독가능 기록매체
US20150181168A1 (en) * 2013-12-20 2015-06-25 DDD IP Ventures, Ltd. Interactive quality improvement for video conferencing
US11416941B1 (en) 2014-01-10 2022-08-16 United Services Automobile Association (Usaa) Electronic sensor management
US11087404B1 (en) 2014-01-10 2021-08-10 United Services Automobile Association (Usaa) Electronic sensor management
US10552911B1 (en) 2014-01-10 2020-02-04 United Services Automobile Association (Usaa) Determining status of building modifications using informatics sensor data
US11228764B2 (en) * 2014-01-15 2022-01-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
US11847666B1 (en) 2014-02-24 2023-12-19 United Services Automobile Association (Usaa) Determining status of building modifications using informatics sensor data
US10614525B1 (en) 2014-03-05 2020-04-07 United Services Automobile Association (Usaa) Utilizing credit and informatic data for insurance underwriting purposes
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
DE102014205485A1 (de) * 2014-03-25 2015-10-01 Siemens Aktiengesellschaft Verfahren zur Übertragung digitaler Bilder aus einer Bilderfolge
US9785510B1 (en) 2014-05-09 2017-10-10 Amazon Technologies, Inc. Variable data replication for storage implementing data backup
KR102312632B1 (ko) * 2014-06-11 2021-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 파일 저장 방법
JP6541309B2 (ja) * 2014-06-23 2019-07-10 キヤノン株式会社 送信装置、送信方法、及びプログラム
US10397666B2 (en) * 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
EP2961182A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
GB2527786B (en) * 2014-07-01 2016-10-26 Canon Kk Method, device, and computer program for encapsulating HEVC layered media data
CN105227535B (zh) * 2014-07-01 2019-12-06 思科技术公司 用于边缘缓存和客户端设备的装置及方法
US9734021B1 (en) 2014-08-18 2017-08-15 Amazon Technologies, Inc. Visualizing restoration operation granularity for a database
US10129839B2 (en) * 2014-12-05 2018-11-13 Qualcomm Incorporated Techniques for synchronizing timing of wireless streaming transmissions to multiple sink devices
US9661355B2 (en) * 2015-01-08 2017-05-23 Kiswe Mobile Inc. Virtual immersion via streamed content adaptation
CN107533449B (zh) * 2015-05-08 2022-04-29 瑞典爱立信有限公司 使用移动定位信息来控制体育场布置中的超宽视频显示器
KR102106103B1 (ko) * 2015-07-03 2020-05-04 에스케이 텔레콤주식회사 고 해상도 영상에서의 영상 추출 장치 및 방법
WO2017030865A1 (en) * 2015-08-14 2017-02-23 Vid Scale, Inc. Method and systems for displaying a portion of a video stream
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
EP3360330B1 (en) 2015-10-08 2021-03-24 Koninklijke KPN N.V. Enhancing a region of interest in video frames of a video stream
US10423493B1 (en) 2015-12-21 2019-09-24 Amazon Technologies, Inc. Scalable log-based continuous data protection for distributed databases
US10853182B1 (en) 2015-12-21 2020-12-01 Amazon Technologies, Inc. Scalable log-based secondary indexes for non-relational databases
US10567500B1 (en) 2015-12-21 2020-02-18 Amazon Technologies, Inc. Continuous backup of data in a distributed data store
JP6587539B2 (ja) * 2015-12-28 2019-10-09 キヤノン株式会社 送信装置、情報処理方法及びプログラム
EP3223524A1 (en) * 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
GB201612356D0 (en) * 2016-04-19 2016-08-31 Cisco Tech Inc Network monitoring and control system and method
EP3456058A1 (en) 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
KR102350620B1 (ko) * 2016-05-26 2022-01-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 상호작용을 하는 클라이언트를 위한 파노라마 비디오 브로드캐스트 스트리밍
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
EP3501014A1 (en) * 2016-08-17 2019-06-26 VID SCALE, Inc. Secondary content insertion in 360-degree video
CN109891772B (zh) 2016-11-03 2022-10-04 康维达无线有限责任公司 Nr中的帧结构
MX2019005456A (es) 2016-11-10 2019-08-12 Ericsson Telefon Ab L M Segmentacion de recursos para mejorar el rendimiento de entrega.
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
GB2563439B (en) * 2017-06-16 2022-02-16 Canon Kk Methods, devices, and computer programs for improving streaming of portions of media data
US10652300B1 (en) 2017-06-16 2020-05-12 Amazon Technologies, Inc. Dynamically-generated encode settings for media content
US10754844B1 (en) 2017-09-27 2020-08-25 Amazon Technologies, Inc. Efficient database snapshot generation
US10990581B1 (en) 2017-09-27 2021-04-27 Amazon Technologies, Inc. Tracking a size of a database change log
US11182372B1 (en) 2017-11-08 2021-11-23 Amazon Technologies, Inc. Tracking database partition change log dependencies
US11269731B1 (en) 2017-11-22 2022-03-08 Amazon Technologies, Inc. Continuous data protection
US11042503B1 (en) 2017-11-22 2021-06-22 Amazon Technologies, Inc. Continuous data protection and restoration
KR102030983B1 (ko) * 2017-11-29 2019-10-11 전자부품연구원 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
US10621049B1 (en) 2018-03-12 2020-04-14 Amazon Technologies, Inc. Consistent backups based on local node clock
CN110519652B (zh) * 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
US10956246B1 (en) 2018-07-16 2021-03-23 Amazon Technologies, Inc. Isolated read channel management interfaces at streaming data service
US11075984B1 (en) 2018-07-16 2021-07-27 Amazon Technologies, Inc. Workload management at streaming data service supporting persistent connections for reads
US10768830B1 (en) 2018-07-16 2020-09-08 Amazon Technologies, Inc. Streaming data service with isolated read channels
US10855754B1 (en) 2018-07-16 2020-12-01 Amazon Technologies, Inc. Isolated read channel categories at streaming data service
US10798140B1 (en) 2018-07-16 2020-10-06 Amazon Technologies, Inc. Stream data record reads using push-mode persistent connections
US11070600B1 (en) 2018-07-16 2021-07-20 Amazon Technologies, Inc. Optimization techniques to support lagging readers at streaming data service
US11126505B1 (en) 2018-08-10 2021-09-21 Amazon Technologies, Inc. Past-state backup generator and interface for database systems
US20200089779A1 (en) * 2018-09-19 2020-03-19 Twitter, Inc. Progressive API Responses
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US11042454B1 (en) 2018-11-20 2021-06-22 Amazon Technologies, Inc. Restoration of a data source
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
RU2743956C1 (ru) * 2019-08-15 2021-03-01 Сцреенлифе Лимитед Способ создания вертикально ориентированного видео
CN117581550A (zh) * 2021-11-10 2024-02-20 英特尔公司 基于内容分区的沉浸式媒体实时通信
US11895173B2 (en) * 2022-01-07 2024-02-06 Avago Technologies International Sales Pte. Limited Gapped and/or subsegmented adaptive bitrate streams
US20230328308A1 (en) * 2022-04-07 2023-10-12 Dazn Media Israel Ltd. Synchronization of multiple content streams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280108A1 (en) * 2006-05-31 2007-12-06 Nec Corporation Method and system for measuring packet delivery quality
JP2009212821A (ja) * 2008-03-04 2009-09-17 Toshiba Corp コンテンツ配信装置、受信装置、コンテンツ配信方法及び受信方法
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
WO2011047335A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1479235A1 (en) 2002-02-07 2004-11-24 Koninklijke Philips Electronics N.V. Method for distributing a video split up in spatial pieces
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
CA2481029A1 (en) * 2002-05-14 2003-11-27 Akamai Technologies, Inc. Enterprise content delivery network having a central controller for coordinating a set of content servers
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
US7518053B1 (en) * 2005-09-01 2009-04-14 Texas Instruments Incorporated Beat matching for portable audio
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
US20090060043A1 (en) 2007-08-29 2009-03-05 Geert Nuyttens Multiviewer based on merging of output streams of spatio scalable codecs in a compressed domain
US7907142B2 (en) 2008-01-15 2011-03-15 Verint Systems Inc. Video tiling using multiple digital signal processors
JP5284771B2 (ja) 2008-12-24 2013-09-11 株式会社情報システム総合研究所 画像圧縮装置、および画像圧縮方法
US20100169303A1 (en) 2008-12-31 2010-07-01 David Biderman Playlists for real-time or near real-time streaming
AU2009335146B2 (en) 2008-12-31 2012-12-20 Apple Inc. Method for streaming multimedia data over a non-streaming protocol
US20100232504A1 (en) 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
JP5237174B2 (ja) 2009-04-09 2013-07-17 Kddi株式会社 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
US8793282B2 (en) * 2009-04-14 2014-07-29 Disney Enterprises, Inc. Real-time media presentation using metadata clips
KR101616874B1 (ko) * 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
EP2486491A4 (en) 2009-10-06 2013-10-23 Unwired Planet Llc MANAGING NETWORK TRAFFIC BY EDITING A MANIFEST FILE AND / OR USING A INTERMEDIATE FLOW CONTROL
US20110083073A1 (en) * 2009-10-07 2011-04-07 Cisco Technology, Inc. Synchronized Recording and Playback of a Plurality of Media Content
JP2011087103A (ja) * 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
KR101786051B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US8782268B2 (en) * 2010-07-20 2014-07-15 Microsoft Corporation Dynamic composition of media

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280108A1 (en) * 2006-05-31 2007-12-06 Nec Corporation Method and system for measuring packet delivery quality
JP2009212821A (ja) * 2008-03-04 2009-09-17 Toshiba Corp コンテンツ配信装置、受信装置、コンテンツ配信方法及び受信方法
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
WO2011047335A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADITYA MAVLANKAR,ET AL: "AN INTERACTIVE REGION-OF-INTEREST VIDEO STREAMING SYSTEM FOR ONLINE LECTURE VIEWING", 《PROCEEDINGS OF 2010 IEEE 18TH INTERNATIONAL PACKET VIDEO WORKSHOP》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105191303B (zh) * 2014-02-21 2018-08-21 华为技术有限公司 处理视频的方法、终端和服务器
US10701461B2 (en) 2014-02-21 2020-06-30 Huawei Technologies Co., Ltd. Video Processing Method, Terminal and Server
US10171888B2 (en) 2014-02-21 2019-01-01 Huawei Technologies Co., Ltd. Video processing method, terminal and server
CN105191303A (zh) * 2014-02-21 2015-12-23 华为技术有限公司 处理视频的方法、终端和服务器
CN110636238A (zh) * 2014-06-30 2019-12-31 索尼公司 信息处理装置和方法
CN106464941A (zh) * 2014-06-30 2017-02-22 索尼公司 信息处理装置和方法
CN110636238B (zh) * 2014-06-30 2022-01-28 索尼公司 信息处理装置和方法
US10623754B2 (en) 2014-06-30 2020-04-14 Sony Corporation Information processing device and method
CN106464941B (zh) * 2014-06-30 2019-10-29 索尼公司 信息处理装置和方法
CN105407414A (zh) * 2014-09-04 2016-03-16 汤姆逊许可公司 用于接收多媒体内容的方法和客户端
CN107113454B (zh) * 2014-10-29 2020-04-17 Dlvr公司 配置和提供自适应流式传输视频的清单文件的系统和方法
US11533352B2 (en) 2014-10-29 2022-12-20 DLVR, Inc. Manifest file configuration with direct selection of video segment file servers
US11936708B2 (en) 2014-10-29 2024-03-19 DLVR, Inc. Configuring manifest files including redirect uniform resource locators
US11765219B2 (en) 2014-10-29 2023-09-19 DLVR, Inc. Network monitoring to determine performance of infrastructure service providers
US11757964B2 (en) 2014-10-29 2023-09-12 DLVR, Inc. Providing third-party dynamic content within adaptive streaming video
CN107113454A (zh) * 2014-10-29 2017-08-29 Dlvr公司 配置引用用于自适应流式传输视频的基础设施服务提供商的清单文件
US11075970B2 (en) 2014-10-29 2021-07-27 DLVR, Inc. Network monitoring to determine performance of infrastructure service providers
US10911509B2 (en) 2014-10-29 2021-02-02 DLVR, Inc. Configuring manifest files including redirect uniform resource locators
CN108476327B (zh) * 2015-08-20 2021-03-19 皇家Kpn公司 基于媒体流来形成拼块化视频
CN108476327A (zh) * 2015-08-20 2018-08-31 皇家Kpn公司 基于媒体流来形成拼块化视频
CN109155873B (zh) * 2016-05-23 2021-09-17 佳能株式会社 改进虚拟现实媒体内容的流传输的方法、装置和计算机程序
CN109155873A (zh) * 2016-05-23 2019-01-04 佳能株式会社 改进虚拟现实媒体内容的流传输的方法、装置和计算机程序
CN109792563B (zh) * 2016-10-12 2022-01-25 皇家Kpn公司 基于感兴趣区域处理球面视频数据
CN109792563A (zh) * 2016-10-12 2019-05-21 皇家Kpn公司 基于感兴趣区域处理球面视频数据
CN111316652A (zh) * 2017-09-05 2020-06-19 亚马逊技术有限公司 使用对齐编码内容片段的个性化内容流
CN111195119A (zh) * 2019-12-25 2020-05-26 杭州中威电子股份有限公司 一种实时检测生理的眼镜装置及方法
CN111195133A (zh) * 2019-12-25 2020-05-26 杭州中威电子股份有限公司 一种能够实时检测疲劳的装置及方法

Also Published As

Publication number Publication date
PL3313083T3 (pl) 2020-05-18
EP2719190B8 (en) 2017-11-22
KR101633239B1 (ko) 2016-06-23
EP2719190B1 (en) 2017-10-04
KR20150038538A (ko) 2015-04-08
JP2014520442A (ja) 2014-08-21
EP2719190A1 (en) 2014-04-16
KR20150127733A (ko) 2015-11-17
JP6415468B2 (ja) 2018-10-31
US20140089990A1 (en) 2014-03-27
US9860572B2 (en) 2018-01-02
JP2016158255A (ja) 2016-09-01
JP5905957B2 (ja) 2016-04-20
KR101781717B1 (ko) 2017-10-23
PL2719190T3 (pl) 2018-02-28
KR20140016357A (ko) 2014-02-07
WO2012168365A1 (en) 2012-12-13
US20180124442A1 (en) 2018-05-03
EP3313083A1 (en) 2018-04-25
EP3313083B1 (en) 2019-12-18
US20190141373A1 (en) 2019-05-09
CN103583050B (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN103583050A (zh) 空间分段的内容的递送
US10911512B2 (en) Personalized content streams using aligned encoded content segments
CN101399965B (zh) 一种基于epg服务器实现媒体内容定位的方法和装置
CN103597844B (zh) 在视频服务器与客户端之间平衡负载的方法和系统
CN101485170B (zh) 通过网络呈现用流传输的可重复的数据对象
CN101083756A (zh) 基于互联网的电视流媒体数据实时传输和服务装置及方法
RU2646391C2 (ru) Устройство поставки контента, способ поставки контента, программа, терминальное устройство и система поставки контента
WO2015064211A1 (ja) 送信装置、送信方法、受信装置、及び、受信方法
US20220360851A1 (en) Geo-Fencing of Media Content Using Distribution Areas in a Database
WO2015064210A1 (ja) コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム
CN109644286B (zh) 分发装置和方法、接收装置和方法、介质和内容分发系统
US11496803B2 (en) Video stream switching service
US20240121284A1 (en) Generation of unique presentation of media content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170906

Address after: Holland Hague

Applicant after: KPN N. V.

Address before: Holland Hague

Applicant before: KPN N. V.

Applicant before: Nederlandse Organisatie Voor Toegepast Natuurwetenschappelijk Onderzoek TNO

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant