CN109391779B - 处理视频流的方法、内容消费装置以及计算机可读介质 - Google Patents

处理视频流的方法、内容消费装置以及计算机可读介质 Download PDF

Info

Publication number
CN109391779B
CN109391779B CN201810911838.4A CN201810911838A CN109391779B CN 109391779 B CN109391779 B CN 109391779B CN 201810911838 A CN201810911838 A CN 201810911838A CN 109391779 B CN109391779 B CN 109391779B
Authority
CN
China
Prior art keywords
video streams
scene
output
video
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810911838.4A
Other languages
English (en)
Other versions
CN109391779A (zh
Inventor
伯特兰·温德林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagravision SARL
Original Assignee
Nagravision SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagravision SA filed Critical Nagravision SA
Publication of CN109391779A publication Critical patent/CN109391779A/zh
Application granted granted Critical
Publication of CN109391779B publication Critical patent/CN109391779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供了在内容消费装置处理视频流的方法、内容消费装置、在内容分发系统处理视频流的方法以及非暂时性计算机可读介质，其使得能够显示比内容消费装置的显示格式更大(即，在至少一个维度上具有更多像素)的场景，例如360°场景。组成的场景视图由内容消费装置(例如广播)单独地接收，并且在内容消费装置处被组合(例如，拼接在一起)以输出适合显示格式的场景的一部分。所要显示的场景的该部分(以及因此所需的组成流)由信号确定，例如来自用户的导航输入，使用户能够在场景中导航。例如，通过基于产生基于信号的、适合显示格式的视图所需的场景流而接收有限数量的场景流，可以降低在场景内进行观看和导航的带宽要求。

Description

处理视频流的方法、内容消费装置以及计算机可读介质
技术领域
本公开涉及对可组合以显示场景的某些部分的视频流的处理，特别是对可拼接成对应于比单个流的单个视场更大的视场的场景的视频流的处理，例如360°环绕视图或360°x180°圆顶视图。
背景技术
从单个摄像机视图创建大型视场的技术是已知的，例如拼接软件将多达32个摄像机视图拼接在一起(VRWorks 360Video SDK，参见https://blogs.nvidia.com/blog/2016/ 07/25/360-degree-video-stitching/，在此通过引用并入)，或将视图拼接成单个4K视频流内的半圆顶以在360°模式下以虚拟现实(Virtual Reality,VR)头盔进行显示(视频拼接，https://www.orah.co/news/how-360-video-works/，在此通过引用并入)。这种类型的拼接场景通常涉及需要大量带宽来传输的大型高分辨率帧，特别是如果流要被实时“直播(live)”地进行传输的话。这限制了可以观看这种拼接场景的环境和设备。人们期望能够在目前不可能的环境中观看这种“环绕”场景。
附图说明
下面通过示例并参考附图描述了一些具体实施例，以示出本公开的各方面和原理，其中：
图1示出了内容分发系统；
图2A至图2C示出了分成场景视频流的环绕场景；
图2D至图2F示出了标识每个组成流的场景视频流的相应的数据结构；
图3示出了响应于导航信号对场景视频流进行组合的方法；
图4示出了内容分发系统中的内容消费装置的实现方式；
图5示出了分发场景流的方法；以及
图6示出了计算平台。
发明内容
总的来说，本公开的各方面提供了方法和内容消费装置，其使得能够显示比内容消费装置的显示格式更大(即，在至少一个维度上具有更多像素)的场景，例如360°场景。通过内容消费装置(例如作为广播)分别接收组成场景视图，并且在内容消费装置处将组成场景视图进行组合(例如，拼接在一起)，以输出适合显示格式的场景的一部分。通过信号(例如来自用户的导航输入)确定所要显示的场景的一部分(以及因此所需的组成流)，使用户能够在场景中导航。例如，通过基于产生适合显示格式的视图所需的场景流而接收有限数量的场景流，可以降低在场景内进行观看和导航的带宽要求。
在一些方面，公开了一种在内容消费装置处理视频流的方法，例如在机顶盒、智能电视、台式或便携式计算机、通用计算装置、虚拟或增强现实装置、头戴式显示装置、虚拟现实头盔或虚拟现实护目镜等。该方法包括接收多个视频流中的两个或更多个视频流。多个视频流中的每个视频流对应于场景的相应的流部分，并且多个视频流可组合成对应于场景的组合流。例如，场景可包括跨越场景的视角或视场的一行或两行或更多行的流部分。因此，组合场景流的视场以提供场景的视场。
该方法还包括接收信号，该信号指示所要由内容消费装置输出的场景的输出部分。输出部分在至少一个维度上具有比场景少的像素。组合两个或更多个视频流，以产生对应于输出部分的输出视频流并输出该输出视频流，例如输出可在显示装置上显示的视频信号，在独立于内容消费装置的显示器或作为内容消费装置的一部分的显示器(例如在VR头盔或护目镜、电视或其他显示屏等)上显示或致使该显示器显示输出视频流。输出可以是无线地进行的，例如通过WIFI局域网连接或经由蓝牙(TM)。输出部分可对应于内容消费装置的显示装置或者连接到内容消费装置的显示装置的视场，例如具有与显示装置相同的像素高度和像素宽度。信号可以指示场景内输出部分的位置，例如角落或中心坐标、输出部分的高度和宽度(以像素或其他单元为单位)、或者方向指示和像素数量，以用于滚动/显示场景中的输出部分。许多其他类型的信号同样是可能的。具体地，可以针对内容消费装置或者其使用的特定格式预设高度和宽度，并且高度和宽度可以不是信号的一部分。
有利地，通过在内容消费装置处组合来自场景流的、所要显示的场景的一部分，可以仅接收一些场景流，而不是对应于整个场景的流。从而，由于每一次仅需要接收场景的一部分，因此减少了向观看者呈现场景以使观看者能够使用小于场景的显示器在场景内导航所需的带宽。应当理解的是，这和对应于现场直播视图并且实时传输的场景尤其相关，但是同样也有益于对应于预先录制的视频的场景。
在一些实施例中，该方法包括：确定对应于场景的相应的重叠部分的两个或更多个视频流，重叠部分与输出部分重叠，以及选择性地接收两个或更多个所确定的视频流。选择性地接收两个或更多个所确定的视频流可包括：仅接收两个或更多个所确定的视频流；接收包括两个或更多个所确定的视频流的子集，例如包括在一个或多个多路复用(multiplexes)中的那些视频流，每个多路复用运载所述两个或更多个所确定的视频流中的一个或多个视频流；接收两个或更多个所确定的视频流和相邻的视频流，等等。应当理解的是，选择性地接收两个或更多个所确定的视频流对应于接收多个视频流中的一些但不是全部的视频流，或者接收两个或更多个所确定的视频流以及可能相邻或其他相关的视频流，但不是多个视频流的全部。在其他实施例中，在接收了多个视频流中的一些或全部视频流之后，确定并组合两个或更多个视频流。有利地，通过选择性地接收两个或更多个所确定的视频流，可以在最需要带宽的地方将带宽作为目标。
在一些实施例中，对两个或更多个视频流进行广播，例如使用有线广播、卫星广播、无线广播或因特网广播。在一些实施例中，选择性地接收两个或更多个所确定的视频流包括：接收两个或更多个所确定的视频流中的每个视频流的相应的广播。这可包括调谐至每个流相应的信道，调谐至一个或多个信道以接收包括相应的视频流的相应的一个或多个多路复用，等等。在一些实施例中，在第一广播信道上广播多个视频流中的至少一个视频流，并且在与第一广播信道不同的第二广播信道上广播多个视频流中的至少另一个视频流。应当理解的是，每个信道可对应于特定的载波频率和/或可运载多路视频流或服务。在一些实施例中，流是MPEG-2(Moving Picture Experts Group，动态图像专家组)流，例如，多路复用是传输流(Transport Streams,TS)，每个传输流包括多个基本码流(ElementaryStreams,ES)。在一些实施例中，选择性地接收两个或更多个所确定的视频流包括：从服务器请求两个或更多个所确定的视频流。
在一些实施例中，从用户输入装置接收指示输出部分的信号，例如经由数字键或导航键的遥控器、链接至内容消费装置的智能电话或平板电脑、内容消费装置的显示装置的触摸屏或连接至内容消费装置的触摸屏、定位装置、视线跟踪和/或头部方向跟踪装置、虚拟现实头盔或虚拟现实护目镜等。在一些实施例中，信号可以在内部生成，而不是响应于用户输入，例如，信号可以被设置为以固定或可变速率跨越场景地对输出部分进行滚动。
在一些实施例中，该方法可包括：接收数据，该数据将多个视频流标识为与场景相关，并且针对每个视频流，对场景中与该视频流相邻的一个或多个相邻的视频流进行标识。例如，数据可以与每个视频流或包含视频流的每个多路复用一起被接收或者数据可以嵌入每个视频流或包含视频流的每个多路复用。例如，可以在一个或多个数字视频广播(Digital Video Broadcast,DVB)或其他数字广播表中提供数据，例如根据DVB标准，在TS(Transport Stream,传输流)多路复用中的服务描述表(Service Description Table,SDT)或事件识别表(Event Identification Table,EIT)的用户定义描述符中进行编码，或者在MPEG 2标准中定义的TS多路复用的每个节目映射表(Program Map Table,PMT)中进行编码。在一些实施例中，每个多路复用包括标识用于多路复用中的多个流中的任何流的相邻的视频流的数据，或者每个视频流具有与其相关联的、标识相邻的视频流的数据，例如通过相应的压缩标识符(Packed Identifier,PID)标识相关的ES。在各种情况下，数据标识组成场景视频流以及可以找到它们的地方，例如通过服务id、节目编号或PID标识视频流。例如，每个流可以在其相邻的视频流中嵌入信息。
在一些其他方面，公开了一种内容消费装置。该装置包括用于接收多个视频流中的两个或更多个视频流的接收器，例如广播接收器或互联网协议(Internet Protocol,IP)数据通信接口。多个视频流中的每个视频流对应于场景的相应的流部分，并且多个视频流可组合成对应于场景的组合流。该装置具有输入，例如用于无线地接收来自遥控器或其他装置的信号，或者联接或能够联接至例如触摸屏、眼睛和/或头部跟踪器、游戏控制器等的输入装置。输入被配置为接收指示所要由内容消费装置输出的场景的输出部分的信号。输出部分在至少一个维度上具有比场景少的像素。该装置还包括输出接口和处理器。处理器配置为从接收器接收多个视频流中的两个或更多个视频流以及接收信号。处理器还配置为组合两个或更多个视频流以产生对应于输出部分的输出视频流，并且使得通过输出接口对输出视频流进行输出。
在一些实施例中，内容消费装置本身不显示输出流，而是生成输出流以在不同装置上显示。例如，输出接口可以是类似HDMI(High-Definition Multimedia Interface，高清晰度多媒体接口)的输出端口。在其他实施例中，内容消费装置包括用于显示输出流的显示器，例如显示屏、双目显示器、平视显示器或头戴式显示器、全息显示器等。
在一些实施例中，处理器配置为确定两个或更多个视频流，这两个或更多个视频流中的每个视频流对应于场景的相应的重叠部分，重叠部分与输出部分重叠。在这样的实施例中，例如如上所述，接收两个或更多个视频流可包括：使得接收器选择性地接收两个或更多个所确定的视频流。接收器可以是如上所述的广播接收器，例如具有一个或多个调谐器。在一些实施例中，接收器包括两个或更多个调谐器，并且处理器配置为：确定两个或更多个视频流中的第一个视频流是否在第一信道上传输以及两个或更多个视频流中的第二个视频流是否在第二信道上传输，并且使得接收器将调谐器中的一个调谐器调谐至第一信道以接收两个或更多个视频流中的第一个视频流，以及将调谐器中的另一个调谐器调谐到第二信道以接收两个或更多个视频流中的第二个视频流。处理器可以配置为从接收器接收数据，该数据将视频流标识为多个视频流中的一个视频流并且标识在场景中与视频流相邻的一个或多个相邻的视频流。处理器可以配置为可能将该信息与标识当前显示的流的信息一起使用，以确定两个或更多个流。
在一些实施例中，输入配置为从内容消费装置的用户接收作为信号的输入或从用户输入获得信号。
其他方面扩展到实现根据上述方面的方法的内容消费装置。
在一些其他方面，公开了一种广播场景的方法。该方法包括在第一广播信道上广播视频流以及将视频流标识为多个视频流之一的数据。多个视频流中的每个视频流对应于场景的相应的流部分，并且多个视频流可组合成对应于场景的组合流。视频流和标识与视频流对应的流部分相邻的场景的一部分相对应的一个或多个相邻的视频流的其他数据一起广播。
在一些实施例中，在与第一广播信道不同的第二信道上广播一个或多个相邻的视频流中的至少一个视频流。每个广播信道可运载相应的视频流的多路复用。
又一些方面扩展到计算机程序产品，该计算机程序产品包括或有形计算机可读介质或媒介编码、计算机指令，当在计算装置上执行计算机指令时，计算机指令实现如上所述的一种或多种方法。
具体实施方式
参考图1，内容分发系统包括内容提供商102，通信网络104和内容消费装置106，每个内容消费装置106与相应的输入装置108相关联。内容提供商分发多个场景流，多个场景流可以组合在一起以构成如下所述的场景的视场。内容消费装置106接收两个或更多个场景流，并将其组合成场景的一部分的输出流，该输出流可以使用内置显示装置或者通过将输出流输出到显示装置来向用户显示。内容消费装置的示例是机顶盒、智能电视机、个人计算装置、显示器护目镜和头盔等。后四者也可以是用于连接到实现内容消费装置106的机顶盒的显示装置。
在一些特定实施例中，内容提供商102是广播设备，例如有线广播设备、卫星广播设备或无线广播设备、或其组合。通信网络104由相应的数字广播基础设施相应地实现，包括前端(head-end)等等。在这样的实施例中，内容消费装置106包括一个或多个调谐器以接收相应的视频流、或广播服务、或视频流的多路复用。通常根据MPEG-2标准实现视频流或视频流的多路复用。通常由地理位置确定的任何合适的标准可以用于数字广播基础设施和协议，例如DVB。在一些其他实施例中，不是广播场景流，而是例如由在内容提供商102处的服务器通过作为通信网络104的因特网按需提供场景流，并且相应地配置内容消费装置106。
不管场景流的传输模式如何，每个内容消费装置106与至少一个输入装置108相关联，以向内容消费装置106提供输入信号，例如遥控器或其他装置，例如智能手机或平板电脑、游戏控制器、护目镜或头戴式显示器等。在一些实施例中，输入装置108和联接到内容消费装置106的显示装置可以是同一个，例如具有内置眼睛跟踪器和/或头部跟踪器的护目镜或头戴式显示器，用于向内容消费装置108提供输入信号。输入信号被内容消费装置用作导航信号以在场景内导航，即如下文将描述的，确定对应于所显示的场景的一部分和/或根据导航信号而改变的输出流。
参考图2A，场景的示例包括分成四个场景流(流1至流4)的360°圆柱形视场。每个流可以具有可由预期的接收者内容消费装置/显示装置显示的格式和分辨率，例如SD(Standard Definition,标清)、HD(High Definition,高清)、UHD(Ultra HighDefinition,超高清)、4K等。这意味着整个场景可以具有内容消费装置无法处理的整体分辨率，并且在场景流被分别传输的实施例中，每个传输需要的带宽小于一次性传输整个场景所需的带宽。
图2D示出了相应的数据结构，该数据结构将构成场景的四个场景流标识为场景流，并且标识它们彼此的关系。例如表明了，对于流1而言，流4是右邻居或相邻流并且流2是左邻居或相邻流，请注意场景的视点位于图2A所示的圆柱的中心。数据结构可以由内容提供商102以任何合适的方式传输，例如在MPEG-2环境中嵌入视频流中、嵌入每个ES中、嵌入每个TS中(例如嵌入PMT中)等等。在DVB实现系统中，数据结构例如在SDT或EIT中可以是分布式的，作为对在PMT中的补充或代替。可以通过服务id、节目编号、PID或任何其他合适的标识符来标识流。同样地，数据结构可以是分布式的，例如，关于流1的记录可以嵌入流1中，关于流2的数据可以嵌入流2中，等等。换句话说，每个流可以运载关于其相邻流的数据。
图2B示出了场景的另一示例，其包括分成八个而不是四个场景流(流1至流8)的360°圆柱形视场。场景流被布置成两行，每行四个流(流1至流4在下面以及是流5至流8在上面)。以这种方式，可以实现场景流分辨率的八倍(而不是四倍)的场景分辨率。为了重建与场景流具有相同大小的所要显示/输出的场景的一部分，在一般情况下需要四个而不是两个场景流来重建场景的一部分。考虑到许多现代的机顶盒提供三个或三个以上的调谐器并且每个调谐器可以在多路复用中接收多个流，因此甚至在许多广播环境中也不会有问题。在图2E中示出了相应的数据结构，并且类似地应用以上关于图2D的公开。本领域技术人员可以理解，构成场景的场景流的许多其他布置同样是可能的(例如具有三行或三行以上的布置、每行具有更多流的布置等等)，并且所描述的数据结构可以针对这些环境很容易地进行调整。同样地，场景流和具有相应参考帧的数据结构的其他布置，例如半球形视场(其中场景流以圆顶排列方式铺开，邻居由指南针方向进行标识)、或球形或部分球形视场同样在本领域技术人员容易实现的范围内。
图2C示出了场景的又一示例，其包括具有两行流的360°圆柱形视场但可以推广到任何数量的行和流以及例如半球形或全部球形或部分球形的其他布局。图2F示出了相应的数据结构。在该示例中，行相对于彼此偏移，在特定示例中为200像素，并且在数据结构中对此进行指示，使得可以将所要组合的流的部分根据偏移而适当地对齐。应当理解的是，其他实施例可以具有垂直的偏移而不是水平的偏移，并且取决于期望的视场，可以根据每个应用的情况互换使用水平方向和垂直方向，而不管场景流的具体布置。
参考图3，在内容消费装置(例如，如上所述和/或下面进一步详细描述的内容消费装置106)处执行的、生成和输出对应于场景的一部分的输出流的过程从接收和输出场景流的步骤302开始。该过程在内容消费装置处执行，例如在如上所述和/或下面进一步详细描述的内容消费装置106处。例如，流可以是在调谐至以广播环境中的场景为特征的服务时默认显示的流。在步骤304，检测相邻场景流的可用性，例如检测表示所接收的流是场景流的信号，即，所接收的流是对应于如上所述的场景的多个流的一部分。作为响应，向流的观看者提供导航选项以在场景内导航，例如向用户提供解释如何在场景内导航的提示，例如或如上所述，使用遥控器的方向键。
步骤302至306可以省略或由其他步骤代替。例如，在不提示用户的情况下导航选项可以是可用的，并且可以通过不同的机制提示接收场景流(或多个场景流)，例如当用户启动场景导航应用时使得调谐至适当的服务。
在步骤308，例如如上所述，接收导航信号。导航信号可指定特定场景屏幕中的特定位置，例如指定特定场景屏幕中的像素坐标，以与(例如)预定要显示输出流的显示器的中心对齐。然后，如基于所接收的数据所确定的，可以在适用方向上用来自相关的相邻场景流的像素填充未被期望位置中的特定场景流覆盖的输出流的像素。或者，导航信号可以在例如显示器的中心处指示输出流在场景中的期望位置，然后可以相应地确定要被组合以形成输出流的场景流。在一些实施例中，导航信号可以指示视场的当前位置而不是绝对位置的变化。
在步骤310，确定产生输出流所需的场景流，并且在步骤312接收所确定的场景流，例如选择性地仅接收所需的场景流，或者例如如图2A至图2F所示，接收所需场景流和根据所接收的数据确定为与所需的场景流相邻的场景流。在广播环境中，接收可以包括调谐相应的调谐器以接收包含所需的流的相应的多路复用。应当理解的是，如果所需的流已经被接收或已经被缓冲，则可以不需要额外的接收步骤。
在步骤314，组合所确定的场景流以形成输出流。例如，可以根据所接收的数据以及裁剪的结果适当地连接各个流的像素阵列，以产生输出流，或者可以使用来自所需的场景流的裁剪像素来适当地填充输出流的像素。根据场景流的准备，可能需要考虑重叠和/或未对齐的量。在一些实施例中，例如以上背景技术中描述的常规拼接算法可用于从场景流形成输出流。一旦在步骤314产生了输出流，则在步骤316通过内容消费装置对输出流进行输出，例如通过HDMI或其他视频输出端口输出，例如通过WIFI局域网连接或经由蓝牙(TM)无线地输出，或在内容消费装置的显示装置上进行显示。然后，该过程循环回到步骤308以接收进一步的导航输入，直到例如关闭场景功能或用户调谐至不同的服务。
参考图4，内容消费装置的特定实施例包括一个或多个接收器402，每个接收器402通常包括处于广播设置中的调谐器。多路解调器404联接至接收器以将所接收的TS进行信号分离并提取单独的ES或其他视频流、以及其他数据。如果内容消费装置具有条件访问系统或其他内容加扰/保护系统，则解扰器406连接至多路解调器404以对流进行解扰。例如如上所述，视频处理器408根据所接收的流创建视频帧，并且视频处理器408联接到处理器410以处理视频帧并将(如上所述的)组合的输出流(或帧序列)输出到输出接口412，例如显示器或显示或视频端口。例如如上所述，处理器412还联接至输入接口414。处理器412与内容消费装置的其他所需组件协作，处理器412配置为实现如上所述的、参考图3的方法。
参考图5，如上所述的由场景流构成的场景的视频的分发过程包括步骤502，步骤502接收(例如如上所公开并由内容提供商102实现的)场景流及关于其邻域关系的数据。可以从单独的提供商，从多个捕获装置(例如摄像机)的布置，或以任何其他合适的方式接收场景流和数据。如已知的那样，所捕获的流可以被拼接在一起，然后可以将得到的场景分成场景流。或者，可以直接使用所捕获的流。在步骤504，将场景流与具有如上所述的格式的关系数据一起多路复用成一个或多个，通常是两个或更多个多路复用。在步骤506，通过缆线、卫星、无线、或互联网广播多路复用。特别地，尽管但不仅仅在最后一种情况下，视频流可以单独地广播而不是通过多路复用。
图6示出了计算装置600的一种实现方式的框图。在该计算装置600内可以执行一组指令，用于使计算装置执行本文所讨论的方法中的任何一种或多种方法。在替代实施方式中，计算装置可连接(例如，联网)至局域网(Local Area Network,LAN)、内联网、外联网或因特网中的其他机器。计算装置可以在客户端-服务器网络环境中以服务器或客户端机器的能力进行操作，或者作为对等(或分布式)网络环境中的对等机器进行操作。计算装置可以是个人计算机(Personal Computer,PC)、平板计算机、机顶盒(STB)、个人数字助理(Personal Digital Assistant,PDA)、蜂窝电话、网络设备、服务器、网络路由器、交换机或网桥、或能够执行一组指令(顺序的或以其他方式)的任何机器，该组指令指定该机器所要采取的动作。此外，虽然仅示出了单个的计算装置，但是术语“计算装置”还应被视为包括机器(例如，计算机)的任何集合，该机器单独地或联合地执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法。计算装置可以包括或体现在安全元件中，以提供与嵌入安全元件的计算装置的其他部分隔离的安全计算。计算装置可以是片上系统。
示例计算装置600包括经由总线630彼此通信的处理装置602、主存储器604(例如，只读存储器(Read-Only Memory,ROM)、闪存、例如同步DRAM(Synchronous Dynamic RandomAccess Memory,SDRAM)或Rambus DRAM(RambusDynamicRandom Access Memory,RDRAM)的动态随机存取存储器(Dynamic Random Access Memory,DRAM)等)、静态存储器606(例如，闪存、静态随机存取存储器(Static Random Access Memory,SRAM)等)、以及次级存储器(例如，数据存储装置618)。
处理装置602表示一个或多个通用处理器，例如微处理器、中央处理单元等。更具体地，处理装置602可以是复杂指令集计算(Complex Instruction Set Computing,CISC)微处理器、精简指令集计算(Reduced Instruction Set Computing,RISC)微处理器、超长指令字(Very Long Instruction Word,VLIW)微处理器、实现其他指令集的处理器、或实现指令集的组合的处理器。处理装置602还可以是一个或多个专用处理装置，例如专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、网络处理器等。处理装置602被配置为执行处理逻辑(指令622)，该处理逻辑(指令622)用于执行本文所讨论的操作和步骤。
计算装置600还可包括网络接口装置608。计算装置600还可包括视频显示单元610(例如，液晶显示器(Liquid Crystal Display,LCD)或阴极射线管(Cathode Ray Tube,CRT))、字母数字输入装置612(例如，键盘或触摸屏)、光标控制装置614(例如，鼠标或触摸屏)和音频装置616(例如，扬声器)。
数据存储装置618可包括一个或多个机器可读存储介质(或者更具体地，一个或多个非暂时性计算机可读存储介质)628，在其上存储有一个或多个指令集622，该一个或多个指令集622体现了本文所述的任何一种或多种方法或功能。在计算机系统600执行指令622期间，指令622还可以全部地或至少部分地存在于主存储器604内和/或处理装置602内。主存储器604和处理装置602也构成计算机可读存储介质。
示例计算装置600可包括或实现用于实现上述方法的内容消费装置。例如，计算装置600可以包括或实现如上所述的、参考图1和图4的内容消费装置106、400。
上述各种方法可由计算机程序实现。该计算机程序可包括计算机代码，该计算机代码被布置成指示计算机执行上述各种方法中的一个或多个的功能。可以将计算机程序和/或用于执行这些方法的代码提供至一个或多个计算机可读介质上的装置，例如计算机，或者更一般地是计算机程序产品。计算机可读介质可以是暂时性的或非暂时性的。例如，一个或多个计算机可读介质可以是电子的、磁的、光的、电磁的、红外的或半导体系统，或用于数据传输(例如用于通过因特网下载代码)的传播介质。或者，一个或多个计算机可读介质可以采用一个或多个物理计算机可读介质的形式，例如半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(ROM)、刚性磁盘和光盘，例如CD-ROM、CD-R/W或DVD。
在一种实现方式中，本文描述的模块、组件和其他特征能够以分立组件或集成在例如ASICS、FPGAs、DSP或类似装置的硬件组件的功能中的方式实现。
“硬件组件”是能够执行某些操作的有形的(例如，非暂时性的)物理组件(例如，一组的一个或多个处理器)，并且“硬件组件”可以以特定的物理方式进行配置或布置。硬件组件可以包括永久配置为执行某些操作的专用电路或逻辑。硬件组件可以是或包括专用处理器，例如现场可编程门阵列(FPGA)或ASIC。硬件组件还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。
因此，短语“硬件组件”应该被理解为包含可以被物理构造、永久地进行配置(例如，硬连线)或临时地进行配置(例如，编程)以便以某种方式进行操作或以执行本文所描述的某些操作的有形实体。
此外，模块和组件可以以硬件装置内的固件或功能电路的方式来实现。此外，模块和组件可以以硬件装置和软件组件的任何组合的方式来实现，或者仅以软件(例如，存储或以其他方式体现在机器可读介质或传输介质中的代码)来实现。
除非另外特别说明，否则从以下讨论中可以明显得知，应当理解的是，在整份说明书中，利用例如“接收”、“确定”、“比较”、“使能够”、“维持”、“标识”、“计算”、“生成”、“获得”等术语进行的讨论，是指计算机系统或类似电子计算装置的动作和处理过程，其将在计算机系统的寄存器和存储器内表现为物理(电子)量的数据操纵和转换为在计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内类似地表现为物理量的其他数据。
应当理解的是，以上描述旨在是说明性的而非限制性的。对于本领域技术人员而言，在阅读和理解以上描述之后，许多其他的实施方式将是显而易见的。尽管已经参考特定的示例实现方式描述了本公开，但是将认识到，本公开不限于所描述的实现方式，而是可以在所附的权利要求的精神和范围内通过修改和改变来进行实践。因此，说明书和附图应被视为具有说明性意义而非限制性意义。因此，本公开的范围应该参考所附的权利要求以及这些权利要求所赋予的等同物的全部范围来确定。

Claims (19)

1.一种在内容消费装置处理视频流的方法，所述方法包括：
在所述内容消费装置的输入处接收信号，所述信号指示要由所述内容消费装置输出的场景的输出部分，其中所述输出部分在至少一个维度上具有比所述场景少的像素；
在所述内容消费装置的接收器中从广播的多个视频流中选择性地接收产生对应于所述输出部分的输出视频流所需的两个或更多个视频流；其中，所述多个视频流中的每个视频流对应于所述场景的相应的流部分，并且所述视频流可组合成对应于所述场景的组合流；
在所述内容消费装置的处理器中组合所述两个或更多个视频流以产生对应于所述输出部分的所述输出视频流；以及
向所述内容消费装置的输出接口输出所述输出视频流。
2.根据权利要求1所述的方法，其特征在于，所接收的所述两个或更多个视频流为所述多个视频流中的部分而不是全部视频流。
3.根据权利要求1所述的方法，所述方法包括：
确定对应于所述场景的相应的重叠部分的两个或更多个视频流，其中每个重叠部分与所述输出部分重叠，并且选择性地接收所述两个或更多个视频流包括：选择性地接收所述两个或更多个所确定的视频流。
4.根据权利要求3所述的方法，其特征在于，选择性地接收所述两个或更多个所确定的视频流包括：接收所述两个或更多个所确定的视频流中的每个视频流的相应的广播。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在第一广播信道上广播所述多个视频流中的至少一个视频流，并且在与所述第一广播信道不同的第二广播信道上广播所述多个视频流中的至少另一个视频流。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述接收器包括两个或更多个调谐器，并且选择性地接收所述两个或更多个视频流包括：
确定所述两个或更多个视频流中的第一个视频流是否在第一广播信道上传输以及所述两个或更多个视频流中的第二个视频流是否在第二广播信道上传输，并且使得所述接收器将所述调谐器中的一个调谐器调谐至所述第一广播信道以接收所述两个或多个视频流中的第一个视频流，以及将所述调谐器中的另一个调谐器调谐至所述第二广播信道以接收所述两个或更多个视频流中的所述第二个视频流。
7.根据权利要求1至4中任一项所述的方法，其特征在于，从用户输入装置接收所述信号。
8.根据权利要求1至4中任一项所述的方法，所述方法包括：接收数据，所述数据将所述多个视频流标识为与所述场景相关的数据，并且针对每个视频流，对所述场景中与所述视频流相邻的一个或多个相邻的视频流进行标识。
9.一种内容消费装置，包括：
输入，用于指示要由所述内容消费装置输出的场景的输出部分的信号，其中所述输出部分在至少一个维度上具有比所述场景少的像素；
接收器，用于从广播的多个视频流中选择性地接收产生对应于所述输出部分的输出视频流所需的两个或更多个视频流，其中，所述多个视频流中的每个视频流对应于所述场景的相应的流部分，并且所述视频流可组合成对应于所述场景的组合流；
输出接口；以及
处理器，其配置为：
从所述接收器接收所述多个视频流中的两个或更多个视频流；
接收所述信号；
组合所述两个或更多个视频流以产生对应于所述输出部分的所述输出视频流；以及
使得通过所述输出接口输出所述输出视频流。
10.根据权利要求9所述的装置，其特征在于，所述处理器配置为确定两个或更多个视频流，所述两个或更多个视频流中的每个视频流对应于所述场景的相应的重叠部分，其中每个重叠部分与所述输出部分重叠，并且选择性地接收所述两个或更多个视频流包括：使得所述接收器选择性地接收所述两个或更多个所确定的视频流。
11.根据权利要求9所述的装置，其特征在于，所述接收器是广播接收器。
12.根据权利要求9至11中任一项所述的装置，其特征在于，所述接收器包括两个或更多个调谐器，并且所述处理器配置为确定所述两个或更多个视频流中的第一个视频流是否在第一广播信道上传输以及所述两个或更多个视频流中的第二个视频流是否在第二广播信道上传输，并且使得所述接收器将所述调谐器中的一个调谐器调谐至所述第一广播信道以接收所述两个或多个视频流中的第一个视频流，以及将所述调谐器中的另一个调谐器调谐至所述第二广播信道以接收所述两个或更多个视频流中的所述第二个视频流。
13.根据权利要求9至11中任一项所述的装置，其特征在于，所述输入配置为从所述内容消费装置的用户接收输入。
14.根据权利要求9至11中任一项所述的装置，其特征在于，所述处理器配置为从所述接收器接收数据，所述数据将视频流标识为所述多个视频流中的一个视频流并且标识在所述场景中与所述视频流相邻的一个或多个相邻的视频流。
15.一种在内容分发系统处理视频流的方法，所述内容分发系统包括内容提供商以及一个或多个内容消费装置，所述方法包括：
由所述内容提供商在第一广播信道上广播视频流、将所述视频流标识为多个视频流之一的数据、以及标识与所述视频流对应的流部分相邻的场景的一部分相对应的一个或多个相邻的视频流的数据，其中所述多个视频流中的每个视频流对应于所述场景的相应的流部分，并且所述多个视频流可组合成对应于所述场景的组合流；
对于所述一个或多个内容消费装置中的每个内容消费装置：
在所述内容消费装置的输入处接收信号，所述信号指示要由所述内容消费装置输出的所述场景的输出部分，其中所述输出部分在至少一个维度上具有比所述场景少的像素；
在所述内容消费装置的接收器中从广播的所述多个视频流中选择性地接收产生对应于所述输出部分的输出视频流所需的两个或更多个视频流；
在所述内容消费装置的处理器中组合所述两个或更多个视频流以产生对应于所述输出部分的所述输出视频流；以及
向所述内容消费装置的输出接口输出所述输出视频流。
16.根据权利要求15所述的方法，其特征在于，所述一个或多个相邻的视频流中的至少一个视频流在第二广播信道上广播，并且所述第二广播信道与所述第一广播信道不同。
17.根据权利要求15或16所述的方法，其特征在于，所述接收器包括两个或更多个调谐器，并且选择性地接收所述两个或更多个视频流包括：
确定所述两个或更多个视频流中的第一个视频流是否在第一广播信道上传输以及所述两个或更多个视频流中的第二个视频流是否在第二广播信道上传输，并且使得所述接收器将所述调谐器中的一个调谐器调谐至所述第一广播信道以接收所述两个或多个视频流中的第一个视频流，以及将所述调谐器中的另一个调谐器调谐至所述第二广播信道以接收所述两个或更多个视频流中的所述第二个视频流。
18.一种或多种有形的非暂时性计算机可读介质，其编码有编码指令，当在内容消费装置上执行所述指令时，实现如权利要求1至8中任一项所述的方法。
19.一种或多种有形的非暂时性计算机可读介质，其编码有编码指令，当在内容分发系统上执行所述指令时，实现如权利要求15至17中任一项所述的方法。
CN201810911838.4A 2017-08-10 2018-08-10 处理视频流的方法、内容消费装置以及计算机可读介质 Active CN109391779B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17185811.1 2017-08-10
EP17185811.1A EP3442240A1 (en) 2017-08-10 2017-08-10 Extended scene view

Publications (2)

Publication Number Publication Date
CN109391779A CN109391779A (zh) 2019-02-26
CN109391779B true CN109391779B (zh) 2023-04-07

Family

ID=59702530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810911838.4A Active CN109391779B (zh) 2017-08-10 2018-08-10 处理视频流的方法、内容消费装置以及计算机可读介质

Country Status (4)

Country Link
US (3) US11108952B2 (zh)
EP (1) EP3442240A1 (zh)
KR (2) KR102576128B1 (zh)
CN (1) CN109391779B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101772911A (zh) * 2007-08-07 2010-07-07 汤姆森许可贸易公司 广播剪辑调度器
CN101998139A (zh) * 2009-08-21 2011-03-30 索尼公司 内容传输方法和显示设备
CN103200453A (zh) * 2011-12-06 2013-07-10 Lg电子株式会社 图像显示装置及其操作方法
CN103248945A (zh) * 2012-02-03 2013-08-14 海尔集团公司 图像传输的方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100496121C (zh) * 2007-04-11 2009-06-03 宁波大学 一种交互式多视点视频系统的图像信号处理方法
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US10575051B2 (en) * 2009-11-13 2020-02-25 Triveni Digital Inc. System and method for enhanced television and delivery of enhanced television content
US9237328B2 (en) * 2010-07-27 2016-01-12 Electronics And Telecommunications Research Institute 3D image processing apparatus and method thereof using connection status and glass type selection icons
JP5935694B2 (ja) * 2010-10-13 2016-06-15 日本電気株式会社 動画像配信システム、及び動画像配信方法
CN102256111B (zh) * 2011-07-17 2013-06-12 西安电子科技大学 多通道全景视频实时监控系统及方法
US9584858B2 (en) * 2012-03-19 2017-02-28 Rentrak Corporation Empirical ad pod detection
GB2546027B (en) * 2013-04-09 2017-12-20 Canon Kk Method, device, and computer program for encapsulating partioned timed media data
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合系统和方法
US10477179B2 (en) * 2014-08-13 2019-11-12 Telefonaktiebolaget Lm Ericsson (Publ) Immersive video
KR20170070164A (ko) * 2014-10-15 2017-06-21 벤자민 노왁 다중 관점 콘텐츠 캡처 및 합성
CN106358078A (zh) * 2015-07-16 2017-01-25 浙江大华技术股份有限公司 一种模拟视频图像的发送、接收方法、装置及收发系统
WO2017114821A1 (en) * 2015-12-28 2017-07-06 Koninklijke Kpn N.V. Video streams
CN106060582B (zh) * 2016-05-24 2019-06-11 广州华多网络科技有限公司 视频传输系统、方法及装置
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101772911A (zh) * 2007-08-07 2010-07-07 汤姆森许可贸易公司 广播剪辑调度器
CN101998139A (zh) * 2009-08-21 2011-03-30 索尼公司 内容传输方法和显示设备
CN103200453A (zh) * 2011-12-06 2013-07-10 Lg电子株式会社 图像显示装置及其操作方法
CN103248945A (zh) * 2012-02-03 2013-08-14 海尔集团公司 图像传输的方法及系统

Also Published As

Publication number Publication date
US20220046170A1 (en) 2022-02-10
KR20230145271A (ko) 2023-10-17
EP3442240A1 (en) 2019-02-13
US20230396887A1 (en) 2023-12-07
CN109391779A (zh) 2019-02-26
US11108952B2 (en) 2021-08-31
KR20190017677A (ko) 2019-02-20
US20190052805A1 (en) 2019-02-14
KR102576128B1 (ko) 2023-10-05
US11716540B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
US9271048B2 (en) Systems and methods for immersive viewing experience
WO2012043357A1 (ja) コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
US20110255003A1 (en) Method and apparatus for presenting on-screen graphics in a frame-compatible 3d format
US20100299715A1 (en) Dynamic Application Insertion for MPEG Stream Switching
US20160142744A1 (en) Transmission apparatus and transmission/reception system
US9860600B2 (en) Display apparatus and control method thereof
US8826334B2 (en) Television receiving apparatus and method for displaying an electronic program guide
US9247283B1 (en) Mosaic presentation screen production
CN109391779B (zh) 处理视频流的方法、内容消费装置以及计算机可读介质
US20140223506A1 (en) Method and apparatus for determining base pcr in multiple images for broadcasting service based on multiple images
US11044515B2 (en) Transmission/reception system, transmitter, and transmission/reception method
US20140380386A1 (en) Method and apparatus for searching and generating a channel
JP2012004991A (ja) 放送受信装置及びその制御方法
JP6637233B2 (ja) 電子機器、及び表示方法
US20210084254A1 (en) Panoramic picture in picture video
US20180063476A1 (en) Device, method and system for providing a menu with multiple instantiations for a multi-stream display
JP5938800B2 (ja) 映像受信装置および映像受信方法
Sotelo et al. Experiences on hybrid television and augmented reality on ISDB-T
US20130047186A1 (en) Method to Enable Proper Representation of Scaled 3D Video
JP2015226222A (ja) 受信装置、およびプログラム
JP2016225853A (ja) 放送番組選択システム、及び放送番組選択方法
JP2016032126A (ja) 表示処理装置、テレビジョン受像機、情報生成装置、放送システム、表示処理方法、プログラム、および記録媒体
WO2020015971A1 (en) A television and a virtual reality headset adapted to be used with the same
US20160044371A1 (en) System and method for channels zapping
JP2016129426A (ja) 映像受信装置および映像受信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant