CN110383848B - 用于多设备呈现的定制视频流式传输 - Google Patents

用于多设备呈现的定制视频流式传输 Download PDF

Info

Publication number
CN110383848B
CN110383848B CN201880015824.2A CN201880015824A CN110383848B CN 110383848 B CN110383848 B CN 110383848B CN 201880015824 A CN201880015824 A CN 201880015824A CN 110383848 B CN110383848 B CN 110383848B
Authority
CN
China
Prior art keywords
content
video
user
smart
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015824.2A
Other languages
English (en)
Other versions
CN110383848A (zh
Inventor
帕西·萨卡里·奥亚拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
InterDigital Madison Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital Madison Patent Holdings SAS filed Critical InterDigital Madison Patent Holdings SAS
Publication of CN110383848A publication Critical patent/CN110383848A/zh
Application granted granted Critical
Publication of CN110383848B publication Critical patent/CN110383848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/80—Wireless

Abstract

提供了这里描述的系统和方法用于在多设备环境中显示视频内容，其中视频内容可以在两个或更多个显示设备之间同步。在一个或多个所述显示设备上显示的视频内容可以是主显示器上显示的视频内容的裁剪版本(或感兴趣区域)。一些实施例可以基于上下文提示和用户偏好来作出推荐以确定感兴趣区域。对于一些实施例，用户可以指示跟随被跟踪对象的期望，其可以用于确定感兴趣区域。

Description

用于多设备呈现的定制视频流式传输
相关申请的交叉引用
本申请要求2017年3月7日提交的美国临时专利申请序列号62/468,144的权益，其公开内容通过引用而被结合于此。
背景技术
智能TV设备(诸如，家庭媒体娱乐集线器(hub)、机顶盒(STB)以及将内容流式传输到TV的应用程序)正朝着在家庭娱乐中发挥核心作用的方式发展。然而，有时TV可以仅用作用于呈现来自从网络流式传输内容的用户设备的内容的显示器。一些TV应用程序和外部电子狗(dongle)可使得能够对来自传统源(如YouTube和ISP内容服务)中进行的内容进行网页浏览和流式传输。
例如，存在能够在平板电脑和智能电话上复制TV内容的多种应用程序。平板电脑用户能够从与TV所在房间不同的房间观看TV节目。涉及TV的多设备使用主要涉及用平板电脑浏览因特网以及寻找与正在进行的节目相关的社交媒体馈送，例如Twitter或Facebook。然而，之前的应用程序没有向消费者提供额外的内容或信息，因为TV内容仅仅是在用户设备上被复制。当消费者使用不同的媒体渠道来寻找到附加信息时，他们可能很容易分心并将兴趣转移到因特网上的其他内容来源。因此，TV内容提供方可能失去连接(或已经连接)到其他服务的观看者。
相反，一些视频内容(例如，由美国职业棒球大联盟(MLB)创建的击球节目)通过将社交媒体(例如，Twitter)与其他内容集成来使用多个因特网馈送。遗憾的是，通过宽带连接并行访问内容的用户设备可能在对TV内容与其他因特网流进行同步方面存在问题。例如，当在2016年NBA总决赛期间使用多馈技术向用户设备提供篮球比赛的自定义(custom)内容视图时，许多用户在TV和移动广播之间经历了超过30秒的延迟。这种延迟会使某些用户的用户体验变差。
发明内容
提供了本文描述的系统和方法，用于在多设备环境中显示视频内容，其中视频内容可以在两个或更多个显示设备之间被同步。在一个或多个所述显示设备上显示的视频内容可以是主显示器上显示的视频内容的裁剪(cropped)版本(或感兴趣区域)。一些实施例可以使用推荐引擎来基于上下文(contextual)提示和用户偏好来确定感兴趣区域。对于一些实施例，用户可以指示跟随被跟踪对象的期望，其可以用于确定感兴趣区域。用于共享媒体的设备可以包括接收器、显示器、处理器和非暂时性计算机可读介质，其存储在由所述处理器执行时可操作以执行本文公开的任何方法的方法的指令。
共享媒体的方法可包括在第一节点处接收主视频流，所述第一节点例如是智能TV、机顶盒(STB)或视频集线器。所述主视频流包括关于至少一个感兴趣区域的信息；该方法还包括在第一显示器上显示所述主视频流的第一部分；从所述主视频流构造针对所述至少一个感兴趣区域中的第一者的第一定制(tailored)内容流，所述第一定制内容流不同于所述主视频流的所显示部分；将所述第一定制内容流发送到不同于第一显示器的第二显示设备。定制内容流可以对应于所显示的主视频流的裁剪部分，并且可以具有与所显示的主视频流不同的分辨率。可以发送定制内容流以与所述主视频流同步，并且在通用即插即用(UPnP)协议或数字生活网络联盟(DLNA)协议中通过无线局域网(LAN)进行发送。定制内容流还可以具有数字版权管理(DRM)安全保护。
可以构造多个定制视频流。例如，可以从所述主视频流构造针对与第一感兴趣区域不同的第二感兴趣区域的第二定制内容流，使得该第二定制内容流不同于所述第一定制内容流和所述主视频流的所显示部分。然后，该第二定制内容流被发送到与第一显示器和第二显示设备不同的第三显示设备。定制内容流可以包括所述主视频流内的外部内容流参考。针对定制视频流的多个选项的指示可被显示。
可以在第一节点处从所述主视频流中提取感兴趣区域，或者可以在所述主视频流内接收的元数据中指示所述感兴趣区域。所接收的元数据可以包括与第一视频流有关的传感器和上下文数据，例如与要在所述主视频流内跟踪的对象相对应的传感器数据。基于从显示设备接收的与本地上下文和用户偏好相关的信息，推荐引擎可以推荐感兴趣区域。可以从显示设备接收跟随被跟踪对象的请求，并且感兴趣区域可以包括所述主视频流的包括所述被跟踪对象的裁剪部分。
附图说明
从以下结合附图以示例方式给出的描述可以得到更详细的理解。此外，图中相同的附图标记表示相同的元素。
图1是用于多设备呈现(presentation)的定制视频流的图示。
图2是用于为多个用户设备而定制视频内容的示例性系统的框图。
图3是为用户设备而定制视频内容的方法的流程图。
图4是定制多个视频内容流的方法的流程图。
图5是围绕被跟踪对象而裁剪视频流的图示。
图6是用于为用户设备而选择视频内容的方法的消息序列图。
图7是用于为两个显示设备而选择视频内容的方法的消息序列图。
图8是在TV上显示的视频内容的前视图，其具有多设备能力的指示。
图9是显示定制视频内容的用户设备的前视图。
图10是显示具有统计数据的玩家卡的用户设备的前视图。
图11是为多设备呈现而创建内容的方法的流程图。
图12是用于为用户设备定制视频内容的消息序列图。
图13是示例用户界面屏幕截图，其示出了用于裁剪主TV视频帧的多个选项。
图14是示例用户界面的表示，其示出了用于在用户设备上显示的多个流选项。
图15是示例用户界面的表示，其示出了具有用于指示显示设备的附加功能的多个流选项。
图16描绘了可以在一些实施例中使用的示例无线发射/接收单元(WTRU)。
图17描绘了可以在通信系统内使用的示例性网络实体。
在此描述的以及结合各个附图描述的实体、连接和布置等是作为示例而非限制的方式呈现的。因此，关于以下的任何和所有陈述或其他指示(可能是孤立的和脱离上下文被认为是绝对的，因此是限制性的)可能只能在其前面建设性加上诸如“在至少一个实施例中......”之类的条款的情况下被恰当地理解：特定附图“描绘”的内容、特定图形中的特定元素或实体是什么或具有什么、以及任何和所有类似的陈述。为了简洁和清晰的表述，这个隐含的主导条款可能不会在附图的详细描述中被过度重复。
具体实施方式
本文描述的系统和方法的一些实施例可以提供用于智能TV与连接到该智能TV的外围用户设备交互的方法。最终，智能TV可能处于媒体消费的中心控制位置。内容所有者和分发者可以通过针对与智能TV交互的各个个人设备的附加内容流、附加元数据和个性化观看体验，改善所连接的设备的多设备架构的用户体验。所述智能TV处理内容，并通过向所连接的设备传送替代内容而在不同信道中向用户传达不同视点(viewpoint)和定制内容。
图1是用于多设备呈现的定制视频流的图示。智能TV 101显示图像并通过通信信道103与用户设备102共享该图像的至少一部分，所述通信信道103可以是蓝牙、Wi-Fi或某种类型的局域网(LAN)上的信道。智能TV 101和用户设备102可以通过任何类型的相关视频共享协议(包括工业标准化协议)通信。智能TV 101是家庭媒体娱乐节点的示例。通常，家庭媒体娱乐节点可以是智能TV、机顶盒(STB)或视频集线器。用户设备102是附加的显示设备，因为它具有用于显示图像和视频的显示屏。基于智能TV 101的缩放和裁剪显示设置，所显示的图像可以是所接收的主视频流的一部分。通过裁剪主视频流的一部分以及在辅助(附加)视频屏幕上显示所裁剪的部分，可从所述主视频流生成定制内容流。该过程为用户提供缩放视图的效果，如果定制内容流具有比所述主视频流更高的分辨率，则更是如此。
例如，最初由通用即插即用(UPnP)论坛(当前由开放连接基金会管理)推广的UPnP是一组网络协议，其允许联网设备(例如，个人计算机、打印机、因特网网关、Wi-Fi接入点和移动设备)可以无缝地发现彼此在网络上的存在，并为数据共享、通信和娱乐而建立功能性网络服务。UPnP利用HTTP、SOAP和XML在因特网协议(IP)之上运行，以提供设备/服务描述、操作、数据传输和事件调度。
另外，可以使用数字生活网络联盟(DLNA)标准协议。DLNA提供了一组互操作性指南，以用于在认证标准下在多媒体设备之间共享数字媒体。DLNA标准在数据传输的每一端提供链路保护，并且数字版权管理(DRM)安全保护允许广播运营商使消费者能够在多个多媒体设备上共享其内容，同时降低盗版风险。DLNA标准可包含先前存在的标准(包括UPnP)以用于媒体管理和设备发现和控制。
用户104持有用户设备102以进行近距离个人观看。用户设备102可以是智能电话、平板电脑、平板手机、诸如3D虚拟现实(VR)护目镜的头戴式显示设备(HMD)、或用于观看视频的任何合适的移动或无线设备。通过利用图1的新型系统，大型智能TV可在多个观看者之间提供社交互动，而同时，诸如平板电脑和智能电话之类的(移动)设备可提供个性化体验。将共享大屏幕连接到自定义小屏幕可在同一设置中为群组和个人交互提供机会。
定制的视频流
作为家庭媒体娱乐集线器，智能TV可以是家庭娱乐中的控制点。对于一些实施例，如果内容创建者提供关于音频-视频流的(合适的)上下文信息，则智能TV能够基于用户偏好为内容创建新的详细视点。如果智能TV基于用户偏好将附加内容流式传输给用户，则连接到该智能TV的用户设备可以创建多设备体验。对于每个用户来说，体验可能是独特的，因为体验基于智能TV的实施方式以及使用从内容创建者和用户接收的上下文信息的能力。该体验可以从智能TV可用的附加内容而被创建，并且可以与TV体验紧密同步。因此，智能TV可能在创建视听(AV)体验中起中心作用。
新的智能TV或媒体集线器可以接收内容多路复用，其包括若干不同的视听流、从捕获的目标收集的传感器数据、以及关于所覆盖的事件及与该事件相关的附加内容流的上下文信息。家庭娱乐视频节点从内容提供方接收的元数据可以包括与主视频流内的要跟踪的对象(捕获的目标)相对应的传感器和上下文数据。智能TV可以通过从接收的流中提取内容来在多设备环境中创建不同的呈现。例如，所述智能TV可以使用关于所述目标的伴随传感器信息来提取和缩放感兴趣区域。此外，可以使用诸如视觉覆盖(其可以在流合成(composition)中可用)的附加材料来对内容进行丰富。因此，感兴趣区域可以由智能TV从主视频流中提取，或者可以在所述主视频流内接收的元数据中被指示。然而，对定制呈现进行创建和提取的不同可能性的数量可能太高而无法管理，并且用于用户界面的不同呈现的配置变得更加复杂。此外，在某些情况下，构造有意义的呈现可能需要用户反馈。
本文描述的系统和方法可以提供使多个个性化体验与共同的共享群组体验同步的能力。本文描述的系统和方法使附加内容与TV或STB提供的主内容同步。对于一些实施例，TV或STB执行中间处理并输出能够由第二屏幕设备实现个性化的元数据。由TV或STB接收的反馈可用于从TV或STB向第二屏幕设备提供自定义视频。
定制的视频呈现管理
包括智能TV和显示器的媒体集线器接收器可以从视频点播或视频流服务接收内容流、内容相关元数据以及关于流和传感器信号的上下文信息。智能TV、STB或视频集线器可以使用伴随的元数据、传感器信号和上下文信息从内容流构造多个同时呈现。智能TV可以将多个多视图呈现流式传输到包括诸如智能电话和平板电脑的用户设备的多设备环境。各个用户设备可以为智能TV收集用户和本地上下文信息。另外，智能TV可以从存储了这种用户上下文的网络服务器检索用户简档。
智能TV可以使用推荐引擎来组合内容信息和用户偏好以控制多设备呈现管理。因此，所构造的多设备呈现选择可以与所连接的个人设备的用户相关。对于一个实施例，可以从智能TV接收的内容产生个性化视图。在智能TV中产生一组选项并将其发送到用户设备，其中移动用户可以选择一个选项以用于个人观看。对于这样的实施例，紧密同步可以仅受移动显示器的本地处理和复制延迟的限制。
一些实施例将信息和不同视角添加到视频流，并且智能TV可以管理和处理多设备生态系统的内容。仅将内容从TV复制到另一设备可以用于提供由另一设备显示的全帧流，但是第二屏幕TV应用程序使用户能够个性化和增强他们的观看体验。
随着TV分辨率的增加，用户可能不需要在用户设备上看到整个视频帧。如果TV内容的分辨率超过用户设备的分辨率，则仅在第二设备上从TV复制视频可能是低效的。另外，可能需要大量带宽来将高分辨率视频发送到用户设备。即使带宽不是问题，用户设备也可能不具有支持与TV相同的分辨率或压缩格式的处理能力。而且，处理未使用的信息会浪费用户设备上的宝贵电池容量和资源。
智能电视机可以从传输广播或因特网内容流接收视听流。在任何一种情况下，智能电视机都会处理所述内容，在屏幕上显示主内容，并使用内容分析和上下文提示创建其他内容。例如，主内容流可以是具有高效视频编码(HEVC)压缩的8k视频。智能TV在多设备环境中向所连接的多个用户设备分发附加内容。TV从内容推荐引擎(可能在用户设备上)接收关于内容子区域选择的描述并准备该内容。然而，流式传输8k视频的子区域可能超过到所连接的设备的无线链路的带宽限制以及用户设备的视频呈现能力。因此，智能TV可以使用高级视频编码(AVC)编解码器来编码子区域，并且用户设备可以使用硬件AVC视频解码器来获得用于显示的数据。
例如，连接到视频点播服务的智能TV可以使用基于MPEG DASH(或类似)的实时流式传输协议来同时将多个不同的视听流和元数据从内容服务器流式传输到TV。该几个流可以被同时接收。流可以包括关于所述内容和附加信息的附加元数据，例如定时文本或图像。此外，元数据可以包含关于相机的位置和视图中的对象/目标的上下文信息。广播方可以提供具有或不具有嵌入式元数据流的类似服务。针对目标位置的元数据可允许在呈现视图中跟踪目标。此外，可能还有关于内容和目标的其他信息。上下文信息和其他元数据可以包含到附加信息和内容流的链接。智能TV可以管理通过用户偏好选择的若干同时流。例如，可以针对可视流而确定视图中的每个目标的位置(基于上下文信息或位置追踪)。智能TV上的内容应用程序可能能够跟踪多个目标并通过放大目标来提取附加流。
具有移动用户设备(诸如平板电脑和智能电话)的智能TV用户可以例如通过使用蓝牙或Wi-Fi而直接连接到TV。用户可以基于个人兴趣或偏好来选择内容。所连接的设备还可以控制TV功能和内容。对于一些实施例，智能TV接收器集可管理从服务器接收的内容流，并基于用户控制而为TV本身定制所述内容。对于许多实施例，智能TV是用于呈现的控制点。智能TV从服务提供方接收广播或流内容。内容可以由TV管理并且基于用户偏好以及内容在多个外围设备之间被分发。然后，TV控制比特流并仅将数据广播到广播或流接收器和本地用户设备。利用这样的布置，用户可以接收丰富的多设备呈现，其中在大型TV屏幕上接收主呈现以及在个人较小屏幕上接收附加视图、缩放内容和附加信息。也就是说，可以将定制的内容转发到所连接的用户设备以改善用户对详细信息的体验，而不仅仅是复制TV呈现。
如果TV管理内容，则同步不是实质性问题，因为所有内容都通过单个源。如果使用平板电脑和手机，用户可以跟随所述TV流。用户可能不需要在网络服务中查找其他信息。因此，用户不会从主内容馈送分心以从其他来源(例如Twitter或Facebook)追踪个人信息。用户可以基于用户偏好和选择来控制附加内容。用户可能想要跟随视图上的特定目标。如果将缩放视图传送到平板电脑，则可能会出现这种情况。TV上的实际呈现不受不同选择的干扰。不同的用户可以在他们的用户设备上接收不同的个性化流，同时在主显示器上观看共同的共享体验。通过使用本文描述的系统和方法，可有效地使用诸如用户设备电池功率和各种连接(诸如在TV和用户设备之间)的带宽的资源。此外，通过可以支持高分辨率(例如，4K或8K)且同时向用户设备以该设备支持的格式传送期望的感兴趣区域的TV，可增加对内容的访问。
所述视听TV内容可以源自实时事件或视频点播服务。广播方或ISP可以管理内容并使该内容可供TV观看者使用。TV内容可以例如使用MPEG DASH协议进行广播或流式传输，并且能够携带多个内容流和元数据。关于实际视听内容和录制环境的上下文信息可作为附加内容或元数据而被包括。例如，所述内容可以包括关于相机设置的位置信息和视听图像中标识的目标的坐标。又例如，冰球运动员可以佩戴向连接到TV节目的云服务提供连续室内位置追踪的设备。该流可以具有关于如何在视图内选择一个或多个兴趣区域的指令或提供关于所述内容的附加信息。所有这些信息都可以被包含在流式协议中。可以添加上下文信息和附加内容提示，使得智能TV能够在多设备环境中为所连接的设备重新构造附加的内容流。内容所有者和创建者可以在内容创建阶段考虑多设备消费环境。附加的元数据提示可以被包括在所述视听流中，以使智能TV接收器能够提取额外的内容流。此外，呈现导演可以专注于主内容的整体活动，而智能TV可以为终端用户定制内容。
图2是用于为多个用户设备定制视频内容的示例性系统200的框图。图2示出了智能TV系统在多设备环境中接收丰富内容并为一个或多个观看者创建附加媒体呈现的架构。内容所有者或视频点播服务可以准备视听内容(其被示为驻留在数据存储元件202上)，并且在框203中将其与元数据绑定以用于传输。因此，可以从ISP或广播方向智能TV或STB提供视频内容。主视频内容可以在共享的大显示器上显示以供众人观看，而各个用户设备可以连接到智能TV并且可以接收与主节目同步的自定义视频馈送。这种情况在图2中被示出。
通常或者更具体地，通过MPEG DASH流式传输协议或广播系统206，传输可以在因特网205上进行。智能电视机207(其类似于图1的智能TV 101)包括接收器208以接收所述内容。智能TV 207解绑定所述内容并在框209中对其进行解码以在主显示器210上显示主视频流(主视听内容)的至少一部分。智能TV 207还在框211中通过使用传入的流以及针对一个或多个新内容流的元数据而独立地创建附加内容。例如，智能TV 207可以提取关于所述视觉内容上的不同对象的连续位置信息以及相机的位置。利用该信息，智能TV 207可以从所述视频流中裁剪目标和感兴趣区域(或空间部分)并放大图像。该新的裁剪和缩放视频流可以通过通信信道212a和212b而被发送到所连接的用户设备213a和213b。
通信信道212a和212b可以是蓝牙、Wi-Fi或类似于通信信道103(图1)的一些其他类型。例如，通信信道212a可以是蓝牙，而通信信道212b可以是Wi-Fi直连。用户设备213a和213b可以是智能电话或平板电脑，类似于用户设备102(图1)。智能TV可以向不同的连接设备传送具有原始内容的不同视点的不同流到不同的连接设备。分别在用户设备213a和213b上运行的应用程序214a和214b解码来自智能TV 207的数据流，以在用户设备显示器215a和215上显示视频，以作为智能TV 207上的视听呈现的附加内容流。
各个用户可以选择要追踪的对象或指定要在用户设备213a和213b上显示的期望感兴趣区域。来自所连接的用户设备213a和213b的用户控制消息和本地上下文信息可以通过信道212a和212b而被发送到智能TV 207。观看者与用户设备213a和213b的接近度可以创建有效的缩放效果。也就是说，即使分辨率相同，在更近的设备上显示裁剪的图像也会产生可感知的缩放效果。然而，取决于用户设备213a和213b的显示能力，裁剪视频部分的分辨率可以具有较低分辨率或较高分辨率。作为替代传输路径，用户设备213a和213b可以与智能TV 207一起连接到因特网。
使用本文描述的系统和方法，通过与智能TV 207的直接连接212a而被增强的所连接的应用程序214a向用户设备213a提供与主AV内容同步的个性化视频选择。内容所有者和广播方可以考虑具有多设备呈现能力的终端用户。内容创建者可以添加上下文提示和指令，其可被智能TV接收器集用于构造利用所连接的设备的附加呈现。所述元数据可以包括坐标流，该坐标针对用户可能更喜欢跟踪的对象或包含有趣细节的视图的区域。作为替代，元数据可以包含对可以发送到设备的附加音频或视频流的提示。内容创建者可以具有用于构建多设备呈现的各种工具。另外，智能TV可以在TV显示器和所连接的设备之间对关于文本内容和图形的信息流与所支持的视频流进行分割。附加到视听流的元数据可以包含出现在所述视频中的对象的坐标和关于相机位置的信息。所述智能TV可能能够对屏幕上的对象进行三角测量。而且，如果确定了对象的位置，则智能TV可以裁剪要被分发给所连接的设备的所述对象周围的预定义区域、感兴趣区域。
图3是为用户设备定制视频内容的方法300的流程图，该用户设备例如是(图1和图2中的)用户设备102、213a或213b之一。通过使用方法300，智能TV可以从内容所有者接收流并创建多设备体验。从框301开始，AV内容由流式传输服务器接收并在框302中被准备以用于流式传输到智能TV，该智能TV可以提取多设备媒体内容以呈现给用户。在框303中，例如通过使用MPEG DASH或广播信道，流被发送到智能TV接收器集，并在框304中被接收。智能TV能够为终端用户定制内容。在框305中，用于呈现的内容被从接收的流中提取，并且在框306中，高清TV内容被发送到大屏幕。在框307中，例如通过提取感兴趣的缩放区域，用于所连接的设备的附加内容被创建，以形成附加的多设备呈现。然后，在框308中，该附加内容可被流式传输到所连接的设备。然后，所连接的设备在框309中形成附加的呈现，并在框310中对其进行显示。在框311中，基于用户控制，更多的内容可以由所连接的设备创建并传送回到智能电视接收器设备。用户104可以从智能TV屏幕观看高清TV内容(或一些实施例的主AV呈现)，并从所连接的智能电话或平板电脑接收附加内容流。所连接的设备用户能够使用应用程序用户界面选择附加内容。如果用户将用户设备连接到智能TV以选择内容，则智能TV显示可用的附加内容流。用户可以从应用程序UI进行选择，并且智能TV可以显示该选择。
图4是为不同的所连接的设备定制多个视频内容流的方法400的流程图。图4示出了用于智能TV接收丰富内容流并为若干所连接的设备创建多设备体验的方法。类似于方法300，从框301开始，AV内容由流式传输服务器接收并在框302中被准备用于流式传输到智能TV，该智能TV可以提取多设备媒体内容以呈现给用户。该AV内容可以利用来自具有附加上下文信息的源的上下文信息401(例如，外部传感器信息)来丰富。另外，可以存在附加的增值内容流402。ISP或广播方从实时流或从内容服务器(例如视频点播)获取所述AV内容。对于一些实施例，可以将所有可用的上下文信息绑定在流中。
在框303中，例如通过使用MPEG DASH或广播信道，绑定被发送到智能TV接收器集，并在框304中被接收。流式传输的内容可以是向后兼容的。常规(非智能)TV可以在不解码元数据流的情况下接收AV内容。然而，智能TV能够从所述流中提取上下文信息，解绑定附加内容，并为一个或多个所连接的设备创建定制的多设备呈现。在框305中，用于呈现的内容被从接收的流中提取，并且在框306中，高清TV内容被发送到大屏幕。在框307中，例如通过提取感兴趣的缩放区域，用于所连接的设备的附加内容被创建，形成附加的多设备呈现。然后，在框308中，该附加内容可被流式传输到所连接的设备。
然后，所连接的设备在框409a、409b和409c中形成附加呈现，并且每一者分别在框410a、410b和410c中为用户104a、104b和104c显示所述附加内容。附加流的数量可取决于元数据、智能TV内容提取方法和所连接的设备的数量。可能存在许多的不同流，因为存在多个智能电话或平板电脑通过无线链接连接到TV。所述用户104a-104c每个都能够使用应用程序UI来选择附加或定制的内容。作为替代，所连接的设备将用户偏好和本地上下文信息传送到智能TV。例如，语言选择、用户简档、联系信息、所安装的应用程序和位置数据可用于确定内容偏向(即，用户偏好)，其可用于自动选择附加内容流。基于用户控制，在框411a、411b和411c中，更多内容可以由所连接的设备创建，并被传送回的智能TV接收器设备。
通过使用方法400，可以构造多个定制的视频流。例如，可以从主视频流构造多个(两个或更多个)内容流，以用于多个不同感兴趣区域，这样两个定制的内容流显示彼此不同以及与主视频流的所显示部分不同的视频。该两个定制的内容流被发送到不同的显示设备，这两个显示设备都不是所述第一显示设备和第二显示设备。
图5是在被跟踪对象周围裁剪视频流的图示，其例如发生在智能TV通过裁剪在被跟踪对象周围的帧来创建附加视频流时。如图5中所示，在主视频流501的显示部分内，两个对象502a和502b被跟踪。可以从显示设备接收跟随被跟踪对象的请求，并且感兴趣区域可以包括所述主视频流的包括跟踪对象的裁剪部分。从所述主视频流中提取裁剪帧503(对应于感兴趣区域)以创建包括所述裁剪视频的新内容流，其可能具有更高分辨率。对于一些实施例，被跟踪对象是运动队中最喜欢的玩家。如图5中的实心黑色圆圈所示，可以有多于一个的跟踪对象(502a和502b)可供选择。在这种情况下，可以应用智能TV的本地上下文和从所连接的设备接收的用户上下文信息，以确定哪个跟踪对象(502a或502b)用于附加内容创建。如果存在多个具有不同内容偏向的连接设备，则智能TV可以为每个接收单元提取单独的流。
原始视频流可具有8k分辨率和HEVC编码。如果整个图像被以全分辨率复制到设备，则可能超过用户设备的带宽、计算能力和电池容量。如果以降低的分辨率发送整个图像，则可能丢失细节。因此，对于一些实施例，智能TV裁剪感兴趣区域并且例如利用AVC视频编码器对视频流进行编码。该方法可以使用户设备能够使用硬件实现的AVC视频解码器来进行有效的内容表示。
图6是用于在多设备环境中为用户设备选择视频内容的方法的消息序列图600。广播和流式传输服务601可以具有要发送到消费者智能TV生态系统602的源自实时源或存储位置(诸如视频点播数据库)的内容。内容创建者603可以在广播的或流式传输的内容中将视听内容604与作为元数据605的(相关的)上下文信息相组合。这些被发送到视频服务器606。
可以将媒体呈现描述(MPD)格式的内容清单607发送到智能TV接收器608，其可以类似于智能TV 101或207(图1和图2)。基于该信息，用户104可能能够利用来自用户设备210(其可以类似于图1的用户设备102)的请求609来选择TV内容流。智能TV 608可以向服务器606发送针对内容和元数据流的请求610，或者可以从广播中选择流。内容流611和元数据流612被发送到智能TV 608，并且所述内容被呈现613给用户104。用户104希望选择614更多内容以在设备210上观看，因此指示615设备210连接到智能TV 608。设备210和智能TV 608通过使用蓝牙、WiFi或一些其他可用连接来建立连接616，并且智能TV 608构造附加呈现流617。智能TV 608然后向设备210发送选择附加内容的信号618，该设备210将其作为用户界面(UI)程序的一部分呈现619给用户104。用户104从关于可用内容流或出现在所述流中的目标的列表中选择特定内容620，并将选择621传送到设备210，该设备210将所述选择622发送到智能TV 608。选择621可以是例如对跟随一个被跟踪对象的请求。内容流被发送623到设备210，该设备210显示它624以供用户104观看。这样，当在智能TV显示器上显示视听广播流时，用户的设备可以通过蓝牙、Wi-Fi或其他连接而请求更多信息和附加呈现视点。
对于一个实施例，智能TV可以从内容流中提取元数据。所述智能TV可以应用该智能TV的本地上下文信息。所述智能TV的语言选择和该TV正接收的视听信号可用于选择和创建附加内容流。通过应用上下文提示、内容分析和元数据内的指令，智能TV可以创建为所连接的用户设备定制的呈现。可以将视频流的选项传送到所连接的设备应用程序。用户可以在应用程序UI上进行选择。例如，应用程序可以对每个可用流进行粗略表示或描述。用户可以选择附加内容，并且所连接的设备可以请求来自智能TV的流。所连接的设备显示所述附加内容流以由用户观看。
共享媒体的方法可包括在第一节点608处接收主视频流611，所述第一节点是例如智能TV。主视频流611包括关于至少一个感兴趣区域的信息(对应于图5的所显示的主视频流501的裁剪部分503)。该方法还包括在第一显示器(可能是智能TV 608的显示屏)上显示613所述主视频流的第一部分；从所述主视频流针对所述至少一个感兴趣区域中的第一者构造617定制内容流，第一定制内容流不同于所述主视频流的所显示部分；将所述第一定制内容流发送623到不同于所述第一显示器的第二显示设备210。定制的内容流可以具有与所显示的主视频流不同的分辨率，并且可以被发送以与所述主视频流同步。传输可以在UPnPDLNA协议中通过无线LAN进行，并且定制的内容流还可以具有DRM安全保护。
图7是用于为两个显示设备选择视频内容的方法的消息序列图700。与图6类似，视频服务器从内容创建者接收视听源流和元数据以在多个设备上显示，其中不同的设备显示不同的部分(完整的、缩放到第一区域、缩放到第二区域、......)。但是，图7示出了智能TV视频集线器701与主显示器713是分离的。主显示器713可以是智能TV 101或608的显示器。智能TV视频集线器701可以是全智能TV系统(例如，智能TV 608)，并包括一个屏幕，或者它可能是没有屏幕的集线器。类似地，主显示器713也可以是完整的智能TV系统(例如，智能TV608)，其仅用作从属显示器，或者它可以仅仅是不具有智能TV能力的显示设备。
根据消息序列图700，广播和流式传输服务601可以具有要发送到消费者智能TV生态系统714的源自实时源或存储位置(诸如，视频点播数据库)的内容。内容创建者603可以在广播的或流式传输的内容内将视听内容604与作为元数据605的(相关的)上下文信息相组合。这些被发送到视频服务器606。
可以将媒体呈现描述(MPD)格式的MPD清单文件702发送到智能TV视频集线器701，该智能TV视频集线器701然后返回针对主视频的请求703。主视频流704被发送到智能TV视频集线器701，其将主视频705发送到主显示器713。第二屏幕设备102建立连接以将能力和偏好数据706发送到智能TV视频集线器701，其返回关于可供选择的其他视频缩略图的元数据列表707。另外，视频服务器606将对象元数据708发送到智能TV视频集线器701。关于定制内容可能性的选择709在设备102上进行并被传送710到智能TV视频集线器701，其准备711然后将所选择的视频712发送到设备102以用于显示。
图8是在智能TV(参见图2)的显示器210上显示的视频内容802的前视图，其具有多设备能力的指示801。视频内容802是所接收的主视频流的显示部分，并且部分地通过对主显示器的裁剪和缩放设置而被确定。智能TV显示器可以在显示器上出现图标以指示该智能TV能够向所连接的用户设备提供附加的媒体内容(可以通过使用蓝牙或Wi-Fi连接来执行)。指示801被示为文本，但它可以替代地是图形图标。应当注意，即使仅仅是TV显示器(而不是智能TV)，如果它正在接收来自智能TV视频集线器(例如图7的智能TV视频集线器701)的视频馈送，其也可以显示指示801。在一些实施例中，智能TV可以使用板载麦克风、相机或诸如Microsoft Kinect(体感器)之类的设备来测量观看环境的数据。基于用户行为，智能TV可以为附加内容设置偏好(或偏向)。智能TV可以基于用户反应和智能TV设置而选择附加流或裁剪屏幕上的对象周围的感兴趣区域。
对于本文描述的方法和系统的一些实施例，体育赛事的TV广播可以在多设备环境中被分发。例如，广播方可以提供具有HEVC编码流的高清8k分辨率。智能TV接收器集可以接收流以及描述关于呈现的附加上下文细节的元数据。所述视频流可以在显示器上被渲染为“正常”TV节目，如图8所示。对于该示例，所述流还可以包含冰上每个玩家的位置信息。所述智能TV显示器可以具有出现在显示器上的图标，该图标指示该TV能够向所连接的用户设备(其可以通过使用蓝牙或Wi-Fi连接)提供附加内容。
用户可以使用专用移动应用程序(例如，由智能TV制造商提供的应用程序)将平板电脑或智能电话连接到所述智能TV。用户设备与智能TV通信并且接收关于与在智能TV上显示的当前呈现相对应的可用呈现的信息。移动应用程序的UI可以显示供用户选择的选项。例如，UI可以使用户能够选择一个或多个喜爱的运动队。对于一些实施例，这样的选择可以基于该团队(或玩家)正在当前显示的游戏中比赛。可以将选择发送到智能电视机以用于创建内容流。作为替代，移动应用程序可以从设备设置和用户偏好确定本地上下文，并将所确定的偏向发送到智能TV。
智能TV可以具有关于内容的流传输信息，例如屏幕上的目标的位置信息和用户偏好。对于一个实施例，智能TV基于用户兴趣和上下文从主视频流中提取一个或多个(候选)感兴趣区域。智能TV可以使用位置信息来裁剪适当的感兴趣区域。此外，可以将上下文信息应用于内容选择。例如，用户可能基于特定城市或者可以指示对该城市的运动队的偏好。智能TV可以自动地将帧裁剪到在该特定运动队上的领先玩家周围的感兴趣区域，并且可选地，用户可以选择跟随缩放区域，该区域跟随不同指定玩家。
智能TV可以基于视频内容(例如，玩家的速度或冰上(或场地或球场)上发送的事件)在玩家之间切换。原始来源的导演可以为目标玩家设置偏好顺序。智能TV可以例如利用AVC编码器对感兴趣区域流进行编码，并将该流发送到用户设备。
图9是显示定制视频内容1301的用户设备102的前视图，其将在图13和图14的描述中更详细地解释。通常，感兴趣区域可以由智能TV选择并显示在所连接的设备上。用户设备102可以接收流并在屏幕上渲染内容，如图9所示。被跟踪目标的缩放视图可以被同步并流式传输到所连接的平板电脑或设备。最终，用户可能能够用用户设备详细地跟随游戏，而TV呈现可以显示两个团队的整体策略。对于一些实施例，用户可能能够在呈现游戏期间切换偏好。例如，事件或游戏可以从不同的视点而被重放。对于一个实施例，在移动应用程序内，观看者要从主视频流中选择要跟踪的玩家。
图10是用户设备102的前视图，其显示了具有观看者可能感兴趣的玩家统计数据的玩家卡片视频流1308。对于一些实施例，用户在用户设备应用程序内选择玩家，并且由该用户设备应用程序显示附加信息(诸如，玩家的卡或统计数据)，而不是缩放的实时视频。图10示出一个这样的实施例。对于该示例，可以显示玩家的图片以及他或她的姓名和职业亮点或其他统计数据。如果一玩家被选择为要被跟随但该玩家不在冰上(或场地或球场)或可用内容流中，则可以显示玩家的卡。定制的内容流可以包括嵌入在主视频流内的外部内容流参考，例如指示网站的URL。此外，智能TV可以提供附加信息，例如推荐引擎建议的其他内容的游戏统计数据，以作为与用户上下文和UI选择最接近的匹配。
定制视频呈现管理
本文描述的系统和方法提供了用于智能TV的内容管理的方法，该智能TV与连接到智能TV的外围用户设备交互。对于许多实施例，智能TV或智能TV视频集线器是内容呈现的控制点。内容可以由TV管理并且基于用户偏好以及内容在外围设备之间被分发。可以自动映射用户偏好和上下文，这使得系统能够创建适当的内容流并帮助用户选择相关内容。可以将所述内容转发到所连接的用户设备以改善用户对详细信息的体验，而不仅仅是复制TV呈现。利用这样的系统，用户可以接收丰富的多设备呈现，其具有在TV上的主呈现以及附加视图、缩放内容和附加信息。
方法的一个实施例基于用户上下文和观众偏好来定制针对多个所连接的设备的可用内容流的选择。内容制作者可以向所述内容添加额外的流，使得内容合成可包括可能使用MPEG DASH协议流式传输到智能TV和媒体集线器接收器的视听内容和元数据。所应用的协议可以将多个内容流和元数据与传感器信号一起携带。关于视听内容和录制环境的上下文信息可作为附加内容或元数据而被包括。
用户设备可以收集用户上下文和信息以使得智能TV能够确定用户对内容的偏好，并且具有将本地上下文、传感器信号、设备能力和用户信息传送到智能TV的应用程序。然后，基于所接收的信息，智能TV可以确定用户的上下文并创建用户简档。这些用户简档可用于内容提取和选择。自动推荐引擎可以控制智能TV内容构造和提取工具，使得所显示的内容流与观众的偏好相匹配。智能TV接收内容并将该内容的不同视点发送到用户的设备。智能TV还可以基于所述内容和用户上下文而为所连接的设备定制内容。智能TV系统可能会限制选项的数量，以防止消费者难以承受过多的选项，并使消费者能够接收有意义的视频流呈现。智能TV或媒体集线器可接收适合于向群组显示的内容，例如具有宽视场和高分辨率(4K或8K)的视频，而个人可能期望自定义的个性化视图。
因此，智能TV可以使用推荐引擎并使用上下文数据来管理所提取的多设备内容，该推荐引擎应用用户偏好以从与终端用户相关的所接收的音频视频内容视点中进行提取。内容选择可以被发送到所连接的移动电话，其可以用内容填充UI网格，从而指示可供用户使用的所选内容流。用户可能能够利用用户界面选择从流中提取的可用内容。用户可以决定是在用户设备还是智能TV还是某种组合上观看内容。智能TV可以以适当的格式和分辨率提取所选内容，并将该内容流转发到正确的设备。所选信息可以被发送到智能TV以提取具有适当分辨率和格式的所选内容，并将该内容流转发到所指示的一个或多个设备。
用户可以自由选择呈现如何在多设备环境中被分发。智能TV显示器可以用于主内容，而用户设备可以用于观看所提取的、定制的内容，反之亦然。可以使用本地上下文数据和用户信息来自动确定用户偏好。该数据可以由控制(或驱动)智能TV内容提取的推荐引擎加以应用。以这种方式，推荐引擎可以基于从显示设备接收的与本地上下文和用户偏好相关的信息来推荐或自主地选择感兴趣区域。可以自动限制用于创建多设备呈现的不同选项的数量，使得用户界面和内容选择易于处理。
用户可以基于用户偏好和选择来控制附加内容。用户可能想要跟随视图上的特定目标。如果将缩放视图传送到平板电脑，则可能会出现这种情况。TV上的实际呈现不受不同选择的干扰。不同的用户可以在其用户设备上接收不同的个性化流，同时在主显示器上观看共同的共享体验。智能TV和用户设备之间的直接Wi-Fi或蓝牙连接可实现交互的同步和低延迟。
例如，内容可以包括关于相机设置的位置信息和关于视听图像上的标识的目标的信息。又例如，冰球运动员可以佩戴一设备，其可提供连续室内位置追踪到云服务，该云服务可以连接到TV节目制作。内容流绑定可以具有关于如何在视图内选择一个或多个兴趣区域以及如何访问关于内容的附加信息的指令。该信息可以被包括在流式传输协议中。可以添加上下文信息和附加内容提示，使得智能TV可以能够在多设备环境中重新构造和提取用于所连接的设备的附加内容流。
图11是为多设备呈现创建内容的方法1100的流程图。通过使用方法1100，智能TV或智能TV视频集线器可以从内容所有者接收流并创建多设备体验。从框1101开始，AV内容由流式传输服务器接收并且在框1102中与在框1103中生成的额外内容流(可能类似于图4的增值内容流402)以及框1104中提供的传感器和上下文数据绑定在一起。如上所述，所述额外内容流可以由视频内容制作者添加，并且传感器和上下文数据也可以如上所述(即，从捕获的视频上的目标)收集。额外内容流可以包括例如运动员统计数据、演员的履历信息、附加相机角度以及观看者可能感兴趣的其他项目。附加的元数据提示可以被包括在视听流中，以使智能TV接收器集能够提取额外的内容流并为终端用户定制内容。源可以利用诸如外部传感器信息的上下文信息来丰富AV内容。此外，可能存在具有附加值内容的附加内容流。
然后，在框1105中，所绑定的AV内容被流式传输，并在框1106中由智能TV接收器集(例如，智能电视机或智能TV视频集线器)接收。在框1107中，用于呈现的内容被从所接收的流中提取，以形成附加的多设备呈现，例如，这可通过以下操作实现：提取感兴趣的缩放区域、以替代语言提供字幕或音频、或者显示不同的相机角度。由智能TV接收的流式传输内容绑定可以是向后兼容的。传统的广播TV接收器可能能够在没有元数据流的情况下处理AV内容。然而，智能TV可能能够从流中提取上下文信息，解绑定任何附加内容，并应用它来为一个或多个所连接的设备构造定制的多设备呈现。附加流的数量可取决于元数据、智能TV内容提取方法和所连接的设备的数量。
另外，所述视频流数据在框1108中被发送到推荐引擎。推荐引擎可以处理上下文信息(来自AV内容提供方以及用户，如稍后关于框1111所解释的)。用户上下文信息可用于确定用户对视听内容的偏好。例如，语言选择、用户简档、联系信息、安装的应用程序和位置数据可用于确定用户的偏好。推荐引擎可以仅使用某些相机视角(其由AV内容创建者发送)并且可以相应地在框1107中控制呈现创建引擎。推荐引擎可以应用用户信息：例如，应用联系信息和与联系方式交互的活动，以例如确定与内容的相似性或连接；应用移动应用程序的使用，以例如确定兴趣和爱好；以及应用传感器信息，以确定本地上下文。基于指示对于从某些相机角度进行观看或某些被跟踪对象(诸如来自某些运动队的运动员)的偏好的用户信息，推荐引擎可以限制用于从流式传输绑定中提取附加媒体流的可用选项的数量。另外，推荐引擎可以确定内容特征和上下文，并且元数据可以用于确定内容类型。对于一个实施例，可以连续地分析内容以匹配可选的感兴趣区域或者将附加内容与用户偏好(或偏向)组合。对于一个实施例，推荐引擎为视频流选项集的当前和未来定制以及推荐而创建用户简档，并确定在流中找到的特征的最可能的视点。
然后，可以在框1109中将附加内容流式传输到所连接的设备。然后，所连接的设备在框1110a、1110b和1110c中为其各自的用户显示附加的呈现。所连接的用户设备可以运行应用程序以连接到智能TV并收集上下文信息、传感器数据和该设备或用户简档中可用的用户细节。该信息可以在框1111中被传送到智能TV上下文推荐引擎。以这种方式，智能TV系统可以接收丰富的内容流并利用内容推荐引擎使用来自用户设备和内容流这两者的上下文信息而为若干所连接的设备创建多设备体验。
参见图11，如果在用户设备和智能TV之间建立连接，则用户设备上的移动应用程序可以收集用户信息、本地用户上下文和传感器数据，以操作推荐引擎以使智能TV能够处理和限制附加流的数量。来自所连接的用户设备的用户控制信号和本地上下文信息可以通过相同的传输信道而被发送到智能TV。
内容所有者和广播方可以考虑终端用户具有多设备呈现能力的选项。因此，内容创建者可以添加上下文提示、传感器数据和指令，智能TV接收器集可以使用其来为所连接的设备构造附加呈现。元数据可以包括坐标流，其针对用户可能更喜欢跟踪的对象、或者视图上包含用户可能对其感兴趣的细节的区域。作为替代，元数据可以包含到可以为附加设备转发的附加音频或视频流的提示或链接。内容创建者可以使用各种工具和指南来构建多设备呈现。此外，智能TV可以在TV显示器和所连接的设备之间分割关于文本内容和图形的信息流与所支持的视频流。
来自用户设备的上下文数据和用户信息可以由推荐引擎收集(如图11所示)。通过使用该信息，推荐引擎可以确定用户对内容的偏好。例如，用户对内容的兴趣和过去行为可以确定为多设备呈现提取什么类型的内容。呈现创建确定用于多设备环境的一组流选项，并为移动应用程序用户界面创建预览流。移动应用程序显示关于流选项的UI网格。用户可以使用应用程序UI来选择附加内容。如果作出选择，则智能TV可以为多设备环境创建相应的流。可能存在许多不同的流，因为有多个智能电话或平板电脑连接到TV(其可以是无线链路)。用户可以从智能TV屏幕观看主AV呈现，并从所连接的智能电话或平板电脑观看附加内容流。
图12是用于为用户设备102定制视频内容的消息序列图1200，所述用户设备102可以是平板电脑或智能电话，或一些其他个人观看设备。消息序列图1200使用推荐引擎1205，其可以执行上面针对图11中的框1108描述的过程。与图6和7类似，视频服务器从内容创建者接收视听源流和元数据，以在多个设备上显示。广播和流式传输服务601可以具有要发送到消费者智能TV生态系统1216的源自实时源或存储位置(诸如视频点播数据库)的内容。内容创建者603可以在广播或流式传输内容中将视听内容604与作为元数据605的(相关的)上下文信息合并。这些被发送到视频服务器606。可以将媒体呈现描述(MPD)格式的内容清单607发送到智能TV接收器608。基于该信息，用户104可以能够通过请求609选择TV内容流。智能TV 608可以向服务器606发送对内容和元数据流的请求610，或者可以从广播中选择流。内容流611和元数据流612被发送到智能TV 608，并且该内容被呈现613给用户104。可以在智能TV 608的显示器上立即显示(或呈现)AV流。用户104希望选择614在设备102上观看更多内容(例如，更多信息和附加呈现视点)，并因此指示615设备102连接到智能TV 608。设备102和智能TV 608使用蓝牙、WiFi、或其他一些可用的连接来建立连接616。
智能TV 608将内容上下文1201发送到推荐引擎1215。推荐引擎1215可以位于智能TV 608内，并且可以从智能TV 608提供的内容流和上下文信息1201以及用户设备提供的用户信息1202中提取元数据。另外，智能TV 608可以使用其自己的本地上下文信息，例如时间、时区、语言选择和诸如城市的位置信息。智能TV的语言选择或该智能TV接收的视听信号可用于选择和创建附加内容流，例如其提供替代语言音轨。通过应用上下文提示(过程1203)、内容分析、元数据内的指令和用户偏好，推荐引擎1215控制为多设备环境中的用户偏好或偏向而定制的呈现流的创建。
推荐引擎1215将上下文提取指令1204发送到智能TV 608，该智能TV 608然后构造附加呈现流1205。智能TV 608然后发送用于选择附加内容的信号1206到设备102，该设备102将其作为UI节目的一部分呈现给用户104。用户104选择特定内容1208，并将选择1209传送给设备102，该设备102将该选择1210发送到智能TV 608。例如，所述应用程序可以渲染粗略表示或显示每个可用流的描述。用户可以选择附加内容，并且所连接的设备可以请求来自智能TV的流以进行显示(或表示)。所选择的呈现(主呈现)在智能TV 608上被显示1212以供用户104观看，并且附加内容流被构造1211并被发送1213到设备102，该设备102将其显示1214以供用户104进行附加观看。这样，用户104可以同时观看智能TV 608的屏幕上的主呈现和设备102上的定制的附加流。
本文描述的系统和方法可用于在多设备环境中分发体育赛事的直播。广播方(或内容提供方)可以提供用HEVC编码的高清8k分辨率流。智能TV接收器集可以捕获流以及描述关于呈现的附加上下文细节的元数据。除了视听内容之外，所述流还可以包含关于捕获的目标的传感器信息和元数据。例如，每个玩家可以具有收集用于媒体捕获的数据的室内位置追踪设备。追踪数据可以在TV广播流中与相机位置和朝向一起被发送。用户或应用程序可以选择在观看屏幕上跟踪特定目标/对象。用户可以使用可以由智能TV制造商提供的专用移动应用程序将平板电脑或智能电话连接到智能TV。而且，作为使用位置信息的推荐引擎的示例，用户上下文数据可以指示该用户是芝加哥黑鹰队的粉丝，因此芝加哥玩家可被推荐以从主内容中提取以用于放大感兴趣区域。如果移动用户已经关注玩家统计数据、阅读有关游戏的新闻或关注游戏统计数据，则推荐引擎可以添加关于游戏统计数据和玩家卡片的额外内容(如果在冰上(或球场或场地)没有玩家或活动)。
图13是示出了用于裁剪主TV视频帧的多个选项的示例用户界面屏幕截图。图13示出了显示图8的图像802的主TV视频流，且具有一系列建议的裁剪框，每个裁剪框显示了可能的定制视频内容的缩放区域。所示出的所定制的视频内容流的多种可能性是1301(先前在图9中示出)和1302-1307。内容提取工具可以从主流中提取感兴趣区域，并为移动应用程序用户界面创建预览合成。在一些实施例中，可以通过在所连接的设备上显示的智能TV帧来选择感兴趣区域。另一方面，智能TV创建可用流的预览，并将视频流组合成单个流，移动应用程序使用该流来显示可用的流选项。可选地，诸如传感器信息(位置、运动或温度)的上下文信息可以被包括在流中，其可以由移动应用程序用于用信息填充UI。对于一些实施例，推荐引擎使用用户偏好(或偏向)数据来选择感兴趣区域，并且可选地，用户能够在呈现期间切换偏好。例如，可以从不同的相机角度重放某一播放或事件。
可以将各个提取的流组合成单个合成，该合成被发送到所连接的用户设备。预览合成的编码可以使用具有粗略更新速率的相对低的比特率。如果被显示，则移动应用程序可以向用户提供选择的外观的估计(或缩略图)。预览合成可以包含关于可用流的元数据。对于一些实施例，较高质量的视频流可以是以较高分辨率编码的视频流。而且，较高质量的视频流可以是以较高比特率编码的视频流或具有较低量化参数(QP)的视频流。对于一些实施例，预览合成可以用较低比特率或较低分辨率编码或具有较高量化参数，而如果用户选择要显示的视频流，则该视频流可以以对应于较高比特率、较高分辨率或较低量化参数的较高质量被发送。可以从主视图提取感兴趣区域，并且可以将捕获的区域流式传输到所连接的设备。移动应用程序可以使用封装的流和对应的元数据来填充UI。附加流可以被包括在合成中。
图14是示例用户界面1400的表示1400，其示出了用于在用户设备102上显示的多个流选项1301-1308。也就是说，用于定制视频流的多个选项的指示被显示。如图14(以及图9)中所示中，选择定制的视频流1301用于显示。对于该示例，七个区域对应于图9的定制视频内容流1301-1307，加上一个额外的流：图10的玩家卡视频流1308。玩家卡视频流1308可以是外部内容流，并且实际上可以源自不同的源但是通过参考(例如指示网站的URL)而被包括。也就是说，外部内容流1308是主视频内的参考，其也许是指示网站内容的URL。如图所示，区域或流还可以包括在该特定流中可用的运动员球衣号码的标签。个人观看设备的用户可以通过点击合成视图中的相应区域来选择附加内容。UI可以将帧位置存储在存储器中并将用户选择映射到对应的内容流。对于一些实施例，如果用户选择了特定流，则移动应用程序从智能TV系统请求相应的流，或者用户可以改为仅使用由智能TV选择的默认内容流(其可以基于用户偏好或者偏向而被选择)。对于一些实施例，用户设备应用程序可以使用智能TV流中提供的独立因特网链接来检索外部内容流(例如，玩家卡视频流1308)。对于一些实施例，用户设备应用程序可以使用与呈现相关的信息来访问外部提供方(诸如Twitter、Facebook或Google)。
图15是示例用户界面的表示1500，其示出了具有用于指示显示设备的附加功能的多个流选项。图15示出了用于选择源和显示器的示例用户动作。如图15中所示，用户可以选择在其上显示定制内容的显示器。可显示多个流选项1301-1308以及两个设备显示选项：个人用户设备1503a(其可以类似于先前提到的用户设备102)和智能TV 1503b(其可以类似于先前提到的智能TV 101)。如所指示的，表示触摸屏上的点击位置的用户选择1501正在选择流1306，其在路径1502中被拖动到表示用户设备1503a的图标。通过将视频流1306的预览帧拖动到表示用户设备1503a的图标(或者可替代地，代表智能TV 1503b的主显示器的图标)之上，用户可以控制多设备环境。例如，用户可以通过将相应的帧拖动到期望的屏幕图标之上来选择在用户设备屏幕上显示特定的玩家。一些实施例可以在用户设备上显示自定义的定制视频的列表。在移动应用程序用户界面内，用户可以选择要追踪(或跟踪)的玩家。
可以将用户选择(可以通过点击和拖动流预览帧来进行)作为控制信息发送到智能TV。智能TV可以使用该信息并创建相应内容流的高质量版本。智能TV可以创建较高比特率的流，而不是使用粗略编码的预览。新内容可以通过蓝牙或Wi-Fi流式传输到选定的显示器。智能TV和推荐引擎可以继续更新内容提取选择。可以连续地向用户设备发送选择预览(如图15所示)以更新相应的UI。如果用户决定改变内容，则UI可以显示内容选项。对于一些实施例，用户可以双击感兴趣区域以在用户设备上观看该区域，或将其拖动到期望的目标。可选地，用户可以为智能TV选择缩放流并为用户设备选择另一个流。在一些实施例中，主页按钮可以在移动应用程序上可用以将智能TV的显示器恢复到主视图和用于移动应用程序的用户界面。另外，用户可以改变主视图的偏好(或偏向)。
示例性网络架构
在此描述的实施例中，无线发射/接收单元(WTRU)可用作平板电脑或用户设备，例如(图1或6中)用户设备102或210。图16是描绘了示例WTRU 9102。WTRU 9102可以包括处理器9118、收发信机9120、发射/接收部件9122、扬声器/麦克风9124、键盘9126、显示器/触摸板9128、不可移除存储器9130、可移除存储器9132、电源9134、全球定位系统(GPS)芯片组9136和其他外围设备9138。例如，收发信机9120被实施为通信接口9119内的解码器逻辑组件。例如，所述通信接口9119内的收发信机9120和解码器逻辑可以在单个LTE或LTE-A芯片上被实施。所述解码器逻辑可以包括处理器，其可操作以执行存储在非暂时性计算机可读介质中的指令。作为替代或另外地，可以使用自定义和/或可编程数字逻辑电路来实施所述解码器逻辑。
可以理解的是，在保持与实施例相一致的同时，WTRU 9102还可以包括前述部件的任何子组合。所述处理器9118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。所述处理器9118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 9102在无线环境中工作的功能。处理器9118可以耦合至收发信机9120，收发信机9120可以耦合至发射/接收部件9122。虽然图16将处理器9118和收发信机9120描述成单独组件，然而应该了解，处理器9118和收发信机9120也可以集成在一个电子组件或芯片中。
发射/接收部件9122可被配置成经由空中接口9116来发射或接收去往或来自基站的信号。举个例子，在一些实施例中，发射/接收部件9122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件9122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一实施例中，发射/接收部件9122可被配置成发射和接收RF和光信号。应该了解的是，发射/接收部件9122可以被配置成发射和/或接收无线信号的任何组合。
另外，虽然在图16中将发射/接收部件9122描述成是单个部件，但是WTRU 9102可以包括任何数量的发射/接收部件9122。更具体地说，WTRU 9102可以使用MIMO技术。由此，在一些实施例中，WTRU 9102可以包括两个或多个通过空中接口9116来发射和接收无线电信号的发射/接收部件9122(例如多个天线)。收发信机9120可被配置成对发射/接收部件9122所要传送的信号进行调制，以及对发射/接收部件9122接收的信号进行解调。如上所述，WTRU 9102可以具有多模能力。因此，收发信机9120可以包括允许WTRU 9102借助多种RAT(例如UTRA和IEEE 802.11)来进行通信的多个收发信机。
WTRU 9102的处理器9118可以耦合到扬声器/麦克风9124、键盘9126和/或显示器/触摸板9128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器9118还可以向扬声器/麦克风9124、键盘9126和/或显示器/触摸板9128输出用户数据。此外，处理器9118可以从诸如不可移除存储器9130和/或可移除存储器9132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器9130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器9132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。不可移除存储器9130和可移除存储器9132这两者均可包括非暂时性计算机可读媒体。在其他实施例中，处理器9118可以从那些并非实际位于WTRU9102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器9118可以接收来自电源9134的电力，并且可被配置分发和/或控制用于WTRU 9102中的其他组件的电力。电源9134可以是为WTRU 9102供电的任何适当设备。例如，电源9134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。处理器9118还可以耦合到GPS芯片组9136，该芯片组可被配置成提供与WTRU 9102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组9136的信息的补充或替换，WTRU 9102可以经由空中接口9116接收来自基站的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 9102可以借助任何适当的定位方法来获取位置信息。
处理器9118还可以耦合到其他外围设备9138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备9138可以包括传感器，诸如加速度计、电子指南针、卫星收发信机、数码相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、TV收发信机、免提耳机、
Figure BDA0002190661150000311
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块以及因特网浏览器等。
图17描绘了可用于在此描述的系统的实施例内的示例性网络实体9190。如图17所示，网络实体9190包括通信接口9192、处理器9194和非暂时数据存储器9196，所有这些都通过总线、网络或其他通信路径9198通信链接。
通信接口9192可以包括一个或多个有线通信接口和/或一个或多个无线通信接口。关于有线通信，作为示例，通信接口9192可以包括一个或多个接口，例如以太网接口。关于无线通信，通信接口9192可以包括诸如以下的组件：一个或多个天线、为一种或多种类型的无线(例如，LTE)通信设计和配置的一个或多个收发信机/芯片组、和/或被相关领域的技术人员认为合适的任何其他组件。并且进一步关于无线通信，通信接口9192可以按规模被配备并且具有适合于作用于无线通信(例如，LTE通信和Wi-Fi通信等)的网络侧(而非客户端侧)的配置。因此，通信接口9192可以包括适当的装备和电路(其可能包括多个收发信机)，用于服务覆盖区域中的多个移动站、UE或其他接入终端。
处理器9194可以包括相关领域的技术人员认为合适的任何类型的一个或多个处理器，一些示例包括通用微处理器和专用DSP。数据存储器9196可以采用任何非暂时性计算机可读介质或以下媒体的组合的形式，该媒体的一些示例包括闪存、只读存储器(ROM)和随机存取存储器(RAM)等，在此只是进行了少量的列举，因为可以使用相关领域技术人员认为合适的任何一种或多种类型的非暂时性数据存储器。如图17所示，数据存储器9196包含可由处理器9194执行的程序指令9197，用于执行本文所述的各种网络实体功能的各种组合。
在一些实施例中，本文描述的网络实体功能可以由具有与图17的网络实体9190的结构类似的结构的网络实体来执行。在一些实施例中，这些功能中的一者或多者可由一组多个网络实体组合执行，其中每个网络实体具有类似于图17的网络实体9190的结构。并且当然，在各种实施例中可以使用其他网络实体和/或网络实体的组合来执行本文描述的网络实体功能，因为前述列表是作为示例而非通过限制的方式提供的。
注意，所描述的实施例中的一者或多者的各种硬件元件被称为“模块”，其实施(即，执行、运行等)本文结合各个模块描述的各种功能。如本文所使用的，模块包括被相关领域的技术人员认为适合于给定的实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行以实施被描述为由相应模块实施的一个或多个功能的指令，并且那些指令可以采取或包括硬件(即，硬连线)指令、固件指令和/或软件指令等的形式，并可以存储在任何合适的非暂时性计算机可读介质或媒体中，例如其通常被称为RAM或ROM等。
虽然在上述中描述了采用特定组合的特征和元素，但是本领域普通技术人员将会认识到，每一个特征或元素既可以单独使用，也可以与其他特征和元素进行任何组合。另外，在此所述的方法可以在结合在计算机可读介质中的计算机程序、软件或固件中实现，以由计算机或处理器执行。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如，内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如，CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发信机。

Claims (14)

1.一种共享媒体的方法，该方法包括：
在主显示设备处，接收编码视频流；
在所述主显示设备处，接收标识所述编码视频流中的多个跟踪对象或区域的元数据；
解码所述编码视频流，并在所述主显示设备处显示解码的视频流；
生成选项，以请求与所述多个跟踪对象或区域中的一者或多者相对应的附加视点，所述选项基于所述元数据而被生成；
将所述选项发送至辅助显示设备；
在所述主显示设备处，接收对于与从所述解码的视频流中的所述多个跟踪对象或区域选择的跟踪对象或区域相对应的视点的请求；以及
响应于所述请求：
从所述解码的视频流裁剪所请求的视点的跟踪对象或区域，以产生所请求的视点的裁剪视频；
重新编码所述裁剪视频；以及
将所述重新编码的裁剪视频发送到所述辅助显示设备。
2.根据权利要求1所述的方法，其中所述重新编码的裁剪视频具有与所接收的编码视频流不同的分辨率。
3.根据权利要求1所述的方法，其中发送所述重新编码的裁剪视频包括通过无线局域网(LAN)发送所述重新编码的裁剪视频。
4.根据权利要求1所述的方法，其中发送所述重新编码的裁剪视频包括使用通用即插即用(UPnP)协议或数字生活网络联盟(DLNA)协议中的至少一者来发送所述重新编码的裁剪视频。
5.根据权利要求1所述的方法，其中发送所述重新编码的裁剪视频包括利用数字版权管理(DRM)安全保护来发送所述重新编码的裁剪视频。
6.根据权利要求1所述的方法，其中所述主显示设备包括从由以下各项组成的列表中选择的至少一者：
智能TV、机顶盒(STB)和视频集线器。
7.根据权利要求1所述的方法，还包括：
在所述主显示设备处从第三显示设备接收对于与从所述视频流中的所述多个跟踪对象或区域选择的第二跟踪对象或区域相对应的第二视点的第二请求；
响应于所述第二请求：
从所述解码的视频流裁剪所述第二请求的视点的所述第二跟踪对象或区域，以产生所述第二请求的视点的第二裁剪视频；
重新编码所述第二裁剪视频；以及
将所述重新编码的第二裁剪视频发送到所述辅助显示设备。
8.根据权利要求7所述的方法，其中所述第二裁剪视频包括外部内容流参考。
9.根据权利要求1所述的方法，还包括：
在所述主显示设备处，从所接收的视频流中提取第二感兴趣区域，
其中发送所述选项包括：发送用于裁剪到所述第二感兴趣区域的裁剪视频选项。
10.根据权利要求1所述的方法，还包括：
在所述主显示设备处从所述辅助显示设备接收与本地上下文或用户偏好有关的信息；以及
响应于接收所述与本地上下文或用户偏好有关的信息，推荐所生成的选项中的至少一个选项。
11.根据权利要求10所述的方法，还包括：
根据所述与本地上下文或用户偏好相关的信息，创建用户简档，其中推荐所述至少一个选项包括使用所述用户简档来推荐所述至少一个选项。
12.根据权利要求10所述的方法，还包括：
响应于接收所述与本地上下文或用户偏好有关的信息，限制用于请求附加视点的选项的数量。
13.根据权利要求1所述的方法，还包括：
在所述主显示设备处从所述辅助显示设备接收跟随被跟踪对象的请求，其中所述裁剪视频包括所接收的视频流的包括所述被跟踪对象的裁剪部分。
14.一种系统，包括：
接收器；
显示器；
处理器；以及
存储可操作指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时促使所述系统：
接收编码视频流；
接收标识所述编码视频流中的多个跟踪对象或区域的元数据；
解码所述编码视频流，并在主显示设备处显示解码的视频流；
生成选项，以请求与所述多个跟踪对象或区域中的一者或多者相对应的附加视点，该多个选项基于所述元数据而被生成；
将所述选项发送至辅助显示设备；
接收对于与从所述解码的视频流中的所述多个跟踪对象或区域选择的跟踪对象或区域相对应的视点的请求；以及
响应于所述请求：
从所述解码的视频流裁剪所请求的视点的跟踪对象或区域，以产生所请求的视点的裁剪视频；
重新编码所述裁剪视频；以及
将所述重新编码的裁剪视频发送到所述辅助显示设备。
CN201880015824.2A 2017-03-07 2018-02-28 用于多设备呈现的定制视频流式传输 Active CN110383848B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762468144P 2017-03-07 2017-03-07
US62/468,144 2017-03-07
PCT/US2018/020229 WO2018164911A1 (en) 2017-03-07 2018-02-28 Tailored video streaming for multi-device presentations

Publications (2)

Publication Number Publication Date
CN110383848A CN110383848A (zh) 2019-10-25
CN110383848B true CN110383848B (zh) 2022-05-06

Family

ID=61622787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015824.2A Active CN110383848B (zh) 2017-03-07 2018-02-28 用于多设备呈现的定制视频流式传输

Country Status (5)

Country Link
US (1) US11272237B2 (zh)
EP (1) EP3593536A1 (zh)
KR (1) KR102628139B1 (zh)
CN (1) CN110383848B (zh)
WO (1) WO2018164911A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543228B1 (ko) * 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
KR20200084587A (ko) * 2019-01-03 2020-07-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11748991B1 (en) * 2019-07-24 2023-09-05 Ambarella International Lp IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
KR20210085171A (ko) 2019-12-30 2021-07-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
CN111447489A (zh) * 2020-04-02 2020-07-24 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
US11501731B2 (en) 2020-04-08 2022-11-15 Motorola Solutions, Inc. Method and device for assigning video streams to watcher devices
CN114079658B (zh) * 2020-08-03 2022-10-28 荣耀终端有限公司 跨设备同步方法、终端设备及存储介质
US20220353435A1 (en) * 2021-04-29 2022-11-03 Cloudinary Ltd. System, Device, and Method for Enabling High-Quality Object-Aware Zoom-In for Videos
US20230005508A1 (en) * 2021-07-03 2023-01-05 Logitech Europe S.A. Method of merging digital media
US11822978B2 (en) * 2021-11-18 2023-11-21 International Business Machines Corporation Management of content transfer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313578A (zh) * 2005-09-26 2008-11-26 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准
CN104052788A (zh) * 2013-03-12 2014-09-17 三星电子株式会社 用于共享内容的方法和设备

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079176B1 (en) 1991-11-25 2006-07-18 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5610653A (en) 1992-02-07 1997-03-11 Abecassis; Max Method and system for automatically tracking a zoomed video image
US5892554A (en) 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US20020056136A1 (en) 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US6750919B1 (en) 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6282713B1 (en) 1998-12-21 2001-08-28 Sony Corporation Method and apparatus for providing on-demand electronic advertising
GB9909606D0 (en) 1999-04-26 1999-06-23 Telemedia Systems Ltd Networked delivery of profiled media files to clients
AU7757900A (en) 1999-09-03 2001-04-10 Hotv Inc. Method and apparatus for sending slow motion video-clips from video presentations to end viewers upon request
US7114174B1 (en) 1999-10-01 2006-09-26 Vidiator Enterprises Inc. Computer program product for transforming streaming video data
US7367042B1 (en) 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US7796162B2 (en) 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US20020065678A1 (en) 2000-08-25 2002-05-30 Steven Peliotis iSelect video
DK1312209T3 (en) 2000-08-25 2017-06-26 Opentv Inc Individualized remote control
US7421729B2 (en) 2000-08-25 2008-09-02 Intellocity Usa Inc. Generation and insertion of indicators using an address signal applied to a database
US20020126990A1 (en) 2000-10-24 2002-09-12 Gary Rasmussen Creating on content enhancements
US20020174425A1 (en) 2000-10-26 2002-11-21 Markel Steven O. Collection of affinity data from television, video, or similar transmissions
WO2002067587A1 (en) 2001-02-20 2002-08-29 Intellocity Usa, Inc. Content based video selection
US20020120934A1 (en) 2001-02-28 2002-08-29 Marc Abrahams Interactive television browsing and buying method
US20020133817A1 (en) 2001-03-13 2002-09-19 Markel Steven O. Affinity marketing for interactive media systems
WO2002076097A1 (en) 2001-03-20 2002-09-26 Intellocity Usa, Inc. Video combiner
US7444656B2 (en) 2001-08-02 2008-10-28 Intellocity Usa, Inc. Post production visual enhancement rendering
DE60239067D1 (de) 2001-08-02 2011-03-10 Intellocity Usa Inc Nachbereitung von anzeige änderungen
US20030149983A1 (en) 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
US20060129908A1 (en) 2003-01-28 2006-06-15 Markel Steven O On-content streaming media enhancement
US7327383B2 (en) 2003-11-04 2008-02-05 Eastman Kodak Company Correlating captured images and timed 3D event data
US10032192B2 (en) 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
US8395664B2 (en) 2006-09-13 2013-03-12 Smartvue Corp. Wireless surveillance system and method for 3-D visualization and user-controlled analytics of captured data
US20080261711A1 (en) 2004-12-23 2008-10-23 Fredrik Tuxen Manners of Using a Sports Ball Parameter Determining Instrument
TW200704183A (en) 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US20070024706A1 (en) 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US7561884B2 (en) 2005-09-30 2009-07-14 Meshnetworks, Inc. System and method for automated tracking of assets using location measurements and ad-hoc routing algorithms
WO2007036853A2 (en) 2005-09-30 2007-04-05 Koninklijke Philips Electronics N.V. Image detail enhancement
US7876978B2 (en) 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
US8155446B2 (en) 2005-11-04 2012-04-10 Eyetracking, Inc. Characterizing dynamic regions of digital media data
ATE472783T1 (de) 2005-11-15 2010-07-15 Nds Ltd Digitales video-zoom-system
US7577980B2 (en) 2006-01-19 2009-08-18 International Business Machines Corporation Bit-rate constrained trick play through stream switching and adaptive streaming
US8566865B2 (en) 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
US8019162B2 (en) 2006-06-20 2011-09-13 The Nielsen Company (Us), Llc Methods and apparatus for detecting on-screen media sources
JP2008085515A (ja) * 2006-09-27 2008-04-10 Hitachi Ltd コンテンツ受信端末システム及びコンテンツ受信端末装置
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
TWI466093B (zh) 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
US7983496B2 (en) 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
US9360985B2 (en) 2007-06-27 2016-06-07 Scenera Technologies, Llc Method and system for automatically linking a cursor to a hotspot in a hypervideo stream
US8312486B1 (en) 2008-01-30 2012-11-13 Cinsay, Inc. Interactive product placement system and method therefor
KR20090090600A (ko) 2008-02-21 2009-08-26 삼성전자주식회사 속응형 채널 전환 방법 및 장치, 그리고 그 방법을수행하기 위한 컴퓨터 프로그램 저장매체
JP5188356B2 (ja) 2008-02-28 2013-04-24 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 復号器において画像を逆トーンマッピングする方法
US20090322489A1 (en) 2008-04-14 2009-12-31 Christopher Jones Machine vision rfid exciter triggering system
US9113214B2 (en) 2008-05-03 2015-08-18 Cinsay, Inc. Method and system for generation and playback of supplemented videos
US20090300692A1 (en) 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
US8238419B2 (en) 2008-06-24 2012-08-07 Precoad Inc. Displaying video at multiple resolution levels
US9031279B2 (en) 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
JP5690267B2 (ja) 2008-08-22 2015-03-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コンテンツ配信のための方法およびシステム
CN101350923B (zh) 2008-09-03 2010-11-17 中国科学院上海技术物理研究所 一种交互式医学图像通信与显示方法
US8055785B2 (en) 2008-09-17 2011-11-08 Futurewei Technologies, Inc. Rate control for stream switching
US8816855B2 (en) 2008-10-21 2014-08-26 At&T Intellectual Property I, L.P. Methods, computer program products, and systems for providing automated video tracking via radio frequency identification
US9009337B2 (en) 2008-12-22 2015-04-14 Netflix, Inc. On-device multiplexing of streaming media content
US20100232504A1 (en) 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
US9594431B2 (en) 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
US9129644B2 (en) 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
US20110304772A1 (en) 2010-06-14 2011-12-15 Charles Dasher Screen zoom feature for cable system subscribers
JP6282863B2 (ja) 2010-06-25 2018-02-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ハイダイナミックレンジ映像をトーンマッピングするためのグラフィカルユーザインターフェース
EP2594080A4 (en) 2010-07-12 2014-11-12 Cme Advantage Inc SYSTEMS AND METHOD FOR CONNECTED AND CONTEXT-INTEGRATED PICTURE DISPLAY WITH HIGH RESOLUTION
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US8487959B1 (en) 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
JP2012058838A (ja) 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US20120078712A1 (en) 2010-09-27 2012-03-29 Fontana James A Systems and methods for processing and delivery of multimedia content
US8587672B2 (en) 2011-01-31 2013-11-19 Home Box Office, Inc. Real-time visible-talent tracking system
JP5841538B2 (ja) 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 関心度推定装置および関心度推定方法
US8621000B2 (en) 2011-03-23 2013-12-31 Verizon Patent And Licensing Inc. Region of interest streaming
JP5857450B2 (ja) 2011-05-30 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2012248070A (ja) 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
KR101781717B1 (ko) 2011-06-08 2017-10-23 코닌클리즈케 케이피엔 엔.브이. 공간적으로-세그먼트된 콘텐츠 전달
US20130036442A1 (en) 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
US9442565B2 (en) 2011-08-24 2016-09-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for determining distracting features in a visual display
US8681179B2 (en) 2011-12-20 2014-03-25 Xerox Corporation Method and system for coordinating collisions between augmented reality and real reality
US9524097B2 (en) 2011-12-22 2016-12-20 International Business Machines Corporation Touchscreen gestures for selecting a graphical object
US9081491B2 (en) * 2012-03-30 2015-07-14 Corel Corporation Controlling and editing media files with touch gestures over a media viewing area using a touch sensitive device
EP2847649A4 (en) 2012-05-10 2015-12-16 Intel Corp IMAGE CAPTURE CONTROL SENSITIVE TO A GESTURE AND / OR OPERATION ON AN IMAGE
US8789095B2 (en) 2012-05-15 2014-07-22 At&T Intellectual Property I, Lp Apparatus and method for providing media content
RU2652465C2 (ru) 2012-07-13 2018-04-26 Конинклейке Филипс Н.В. Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений
US9804668B2 (en) 2012-07-18 2017-10-31 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
WO2014025319A1 (en) 2012-08-08 2014-02-13 National University Of Singapore System and method for enabling user control of live video stream(s)
JP6267961B2 (ja) 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像提供方法および送信装置
KR20140027690A (ko) 2012-08-27 2014-03-07 삼성전자주식회사 확대 표시 방법 및 장치
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
US9064313B2 (en) 2012-09-28 2015-06-23 Intel Corporation Adaptive tone map to a region of interest to yield a low dynamic range image
CN110139130B (zh) 2012-10-12 2022-09-20 佳能株式会社 流传输数据的方法、发送和接收视频数据的方法和设备
WO2014067566A1 (en) 2012-10-30 2014-05-08 Telefonaktiebolaget L M Ericsson (Publ) Method and device for streaming video
US9554162B2 (en) 2012-11-12 2017-01-24 Lg Electronics Inc. Apparatus for transreceiving signals and method for transreceiving signals
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9551779B2 (en) 2013-01-04 2017-01-24 Yariv Glazer Controlling movements of pointing devices according to movements of objects
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
GB2509954B (en) 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
US20140204206A1 (en) 2013-01-21 2014-07-24 Chronotrack Systems Corp. Line scan imaging from a raw video source
US10031637B2 (en) 2013-01-25 2018-07-24 Lg Electronics Inc. Image display apparatus and method for operating the same
US9900629B2 (en) 2013-03-13 2018-02-20 Apple Inc. Codec techniques for fast switching with intermediate sequence
US10373212B2 (en) 2013-03-14 2019-08-06 Facebook, Inc. Methods for linking images in social feeds to branded content
CA2903273C (en) 2013-03-15 2019-10-15 Arris Technology, Inc. Enhanced playlist definition and delivery for fast channel change with http adaptive streaming
JP6269813B2 (ja) 2013-04-08 2018-01-31 ソニー株式会社 Ｓｈｖｃでの注目領域スケーラビリティ
CN103336663B (zh) * 2013-05-22 2016-08-10 天脉聚源(北京)传媒科技有限公司 一种数据同步方法、装置和终端
CN105359511A (zh) 2013-05-24 2016-02-24 索尼克Ip股份有限公司 为了自适应位速率流化而利用自适应量化编码多个视频流的系统和方法
KR20160021428A (ko) 2013-06-19 2016-02-25 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
EP2824883A1 (en) 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
EP2824885B1 (en) 2013-07-12 2019-01-23 Provenance Asset Group LLC A manifest file format supporting panoramic video
KR20200045013A (ko) 2013-07-15 2020-04-29 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
RU2671946C2 (ru) 2013-07-19 2018-11-08 Сони Корпорейшн Устройство и способ обработки информации
EP2973228B1 (en) 2013-07-26 2019-08-28 Huawei Technologies Co., Ltd. Spatial adaptation in adaptive streaming
US10721530B2 (en) 2013-07-29 2020-07-21 Koninklijke Kpn N.V. Providing tile video streams to a client
US20150062339A1 (en) 2013-08-29 2015-03-05 Brian Ostrom Unmanned aircraft system for video and data communications
US9693030B2 (en) 2013-09-09 2017-06-27 Arris Enterprises Llc Generating alerts based upon detector outputs
US9444856B2 (en) 2013-09-25 2016-09-13 Ericsson Ab System and method for managing adjacent channels in an adaptive streaming environment
US20150089072A1 (en) 2013-09-25 2015-03-26 Ericsson Television Inc System and method for managing adjacent channels in an adaptive streaming environment
KR101873127B1 (ko) 2013-09-30 2018-06-29 피씨엠에스 홀딩스, 인크. 증강 현실 디스플레이 및/또는 사용자 인터페이스를 제공하기 위한 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품
US9530454B2 (en) 2013-10-10 2016-12-27 JBF Interlude 2009 LTD Systems and methods for real-time pixel switching
GB2519746B (en) 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
US9258093B2 (en) 2013-10-25 2016-02-09 Qualcomm Incorporated Estimating tone maps in a communication network
WO2015071461A1 (en) 2013-11-15 2015-05-21 Koninklijke Kpn N.V. Synchronization of processing media streams by one or more media processing devices
US9137558B2 (en) 2013-11-26 2015-09-15 At&T Intellectual Property I, Lp Method and system for analysis of sensory information to estimate audience reaction
US20160306036A1 (en) 2013-12-03 2016-10-20 Edh Us Llc Systems and methods to track a golf ball to and on a putting green
US9271048B2 (en) 2013-12-13 2016-02-23 The Directv Group, Inc. Systems and methods for immersive viewing experience
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
KR102112468B1 (ko) 2014-02-07 2020-05-18 소니 주식회사 수신 장치, 표시 장치 및 수신 방법
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
JP6383425B2 (ja) 2014-02-25 2018-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ビデオ符号化及び復号のための適応的伝達関数
US9635077B2 (en) 2014-03-14 2017-04-25 Adobe Systems Incorporated Low latency live video streaming
US9626084B2 (en) 2014-03-21 2017-04-18 Amazon Technologies, Inc. Object tracking in zoomed video
US20150296250A1 (en) 2014-04-10 2015-10-15 Google Inc. Methods, systems, and media for presenting commerce information relating to video content
US9460499B2 (en) 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image
JP6440747B2 (ja) 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
US9177225B1 (en) 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
EP3869469A1 (en) 2014-07-28 2021-08-25 Panasonic Intellectual Property Management Co., Ltd. Augmented reality display system, terminal device and augmented reality display method
JP6659090B2 (ja) 2014-08-11 2020-03-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びコンピュータプログラム
US20160073106A1 (en) 2014-09-08 2016-03-10 Apple Inc. Techniques for adaptive video streaming
WO2016040833A1 (en) 2014-09-12 2016-03-17 Kiswe Mobile Inc. Methods and apparatus for content interaction
US9288545B2 (en) 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
WO2016098056A1 (en) 2014-12-18 2016-06-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2016118848A1 (en) 2015-01-22 2016-07-28 Clearstream. Tv, Inc. Video advertising system
US10165198B2 (en) 2015-06-02 2018-12-25 Samsung Electronics Co., Ltd. Dual band adaptive tone mapping
US10321162B2 (en) 2015-06-08 2019-06-11 Qualcomm Incorporated Derivation of color gamut scalability parameters and tables in scalable video coding
US10613699B2 (en) 2015-06-11 2020-04-07 Misapplied Sciences, Inc. Multi-view display cueing, prompting, and previewing
US10200725B2 (en) 2015-06-15 2019-02-05 Intel Corporation Adaptive data streaming based on virtual screen size
US10536695B2 (en) 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
WO2017061297A1 (ja) 2015-10-09 2017-04-13 ソニー株式会社 情報処理装置および情報処理方法
US9950669B2 (en) 2015-11-12 2018-04-24 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US9865062B2 (en) 2016-02-12 2018-01-09 Qualcomm Incorporated Systems and methods for determining a region in an image
US10313417B2 (en) 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
EP3456058A1 (en) 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US11765406B2 (en) * 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313578A (zh) * 2005-09-26 2008-11-26 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准
CN104052788A (zh) * 2013-03-12 2014-09-17 三星电子株式会社 用于共享内容的方法和设备

Also Published As

Publication number Publication date
US11272237B2 (en) 2022-03-08
KR102628139B1 (ko) 2024-01-22
CN110383848A (zh) 2019-10-25
US20200007921A1 (en) 2020-01-02
KR20190135473A (ko) 2019-12-06
WO2018164911A1 (en) 2018-09-13
EP3593536A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
CN110383848B (zh) 用于多设备呈现的定制视频流式传输
US10631032B2 (en) Dynamic video image synthesis using multiple cameras and remote control
US11336941B2 (en) Apparatus and method for presentation of holographic content
US9384424B2 (en) Methods and systems for customizing a plenoptic media asset
US9967708B2 (en) Methods and systems for performing actions based on location-based rules
RU2491618C2 (ru) Методы потребления контента и метаданных
US20120240177A1 (en) Content provision
CN106507186B (zh) 一种媒体信息的切换方法、服务器及存储介质
US20120240144A1 (en) Content provision
TW201043034A (en) Systems and methods for creating variable length clips from a media stream
EP2501144A2 (en) Content provision
US20220174360A1 (en) Method and apparatus for obtaining recorded media content
US10536754B2 (en) Digital device and controlling method thereof
US11089073B2 (en) Method and device for sharing multimedia content
TW201738770A (zh) 使用共享及個人裝置合作提供個人化使用者功能
CN105491405A (zh) 一种电视互动系统互动电视节目推荐的方法及装置
US20140215525A1 (en) Image display apparatus, content recommendation information receiving method, server and content recommendation method
US8515399B2 (en) Method and apparatus for generating media content
EP3523781A1 (en) Systems and methods for recreating a reference image from a media asset
US20120240162A1 (en) Content Provision
KR20130088558A (ko) 개인화된 증강 방송 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210518

Address after: Paris, FRA

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Wilmington, Delaware, USA

Applicant before: PCMS HOLDINGS, Inc.

GR01 Patent grant
GR01 Patent grant