CN102752638A - 使用元数据来处理多个视频流的方法和设备 - Google Patents

使用元数据来处理多个视频流的方法和设备 Download PDF

Info

Publication number
CN102752638A
CN102752638A CN2012101910908A CN201210191090A CN102752638A CN 102752638 A CN102752638 A CN 102752638A CN 2012101910908 A CN2012101910908 A CN 2012101910908A CN 201210191090 A CN201210191090 A CN 201210191090A CN 102752638 A CN102752638 A CN 102752638A
Authority
CN
China
Prior art keywords
metadata
video
video flowing
video sequence
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101910908A
Other languages
English (en)
Other versions
CN102752638B (zh
Inventor
马克·温特
德克·加道夫
哈穆特·彼特斯
拉尔夫·奥斯特曼
约斯特·仁鲁普
安德杰·休佐夫
维·亚森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102752638A publication Critical patent/CN102752638A/zh
Application granted granted Critical
Publication of CN102752638B publication Critical patent/CN102752638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central

Abstract

一种用于动态地覆盖两个或更多个视频流的方法和设备，该方法和设备使用专用的元数据，所述元数据附加到至少一个视频流中。

Description

使用元数据来处理多个视频流的方法和设备
本申请是申请日为2006年7月5日，申请号为200680026366.X的专利申请“使用元数据来处理多个视频流的方法和设备”的分案申请。
技术领域
本发明描述了一种用于处理多个视频流的方法和设备。具体地，所述方法和设备用于通过使用特定的元数据来动态地覆盖两个或更多个视频流。
背景技术
通常基于硬盘驱动器(HDD)或光盘的音频/视频(AV)数据重放设备具有访问附加数据的多种不同的可能，例如因特网访问、通用串行总线(USB)接口等，以下载附加的内容。
一些高端电视机通过使用画中画(PIP)技术提供了同时观看两个或更多个节目的能力，然而其使用了不同的专有技术方案。电视机在同一屏幕上表现不同视频序列的方式是不灵活的，但在电视机制造后就立刻固定下来。
可用的PIP技术在工作时没有使用从AV内容中提取出的任何帮助信息。
发明内容
所描述的可用于视频覆盖的技术是不灵活的。因此，本发明解决了如下问题：提供了一种以灵活的方式把视频序列覆盖到另一视频序列(或静态视频图像)的方法和设备，具体地，本发明向对特定的节目视觉外观感兴趣的某些人提供了对该视频覆盖的控制能力，例如节目提供者、预先录制的AV内容的作者、用户。
本发明提供了在表现时改变对不同视频序列的覆盖的决策方式。因此，本发明把静态视频覆盖改变为灵活的动态视频覆盖处理系统。利用这个改变，例如内容提供者变得能够控制该覆盖。这是视频序列动态组合的主要步骤。在本发明的一个实施例中，可以在呈现时对元数据进行修改。
本发明的要点是，向视频序列添加元数据，该元数据包含覆盖参数，并且能够用于控制把该视频序列覆盖到另一视频序列或静态图像。原理上，被覆盖的视频序列包含该元数据是足够的。在这种情况下，该覆盖可能与向其覆盖的其他视频序列或图像无关。然而，可以在视频序列内标识与覆盖参数有关的特定的其他视频序列或视频序列组。此外，可以把覆盖元数据插入视频序列，其定义了如何对另一视频序列进行覆盖，例如针对特定场景禁止覆盖显示器中的特定区域。
对于发生冲突的情况，可以为单个的、若干个或所有的参数定义优先级。例如，第一视频序列可以包含定义了特定场景的元数据，例如时间戳，而且其针对这个场景进一步定义了不能覆盖的矩形区域，例如为显示器高度的20-80％，以及显示器宽度的0-100％。第二视频序列可以包含元数据，如果该序列用于覆盖，则该元数据定义了其应当在可视帧中呈现，例如显示器宽度的0-10％以及优选地是显示器高度的50％，即左边线的中心高度。在这种情况下，可以把帧上移或下移，使其显示在禁止区域之外，因为参数“50％高度”的优先级比其他的要低。如果第一序列中的禁止区域也具有较低的优先级，即其“不应”被覆盖，则可以对第二序列进行定位，使得这两个条件均实现。如果第二视频序列单独地显示，即没有发生覆盖，则忽略这些元数据。
本发明的优点是，其可以提供各种有用的特征，例如可以在背景视频序列上对一个或更多个视频序列进行移动、缩放、alpha混合和/或重叠。Alpha混合是用于场景之间的平滑转变的常见技术。这些特征不需要是静态可用的，即它们可以动态地从因特网或闪存或附加的盘(例如对已记录的电影进行更新)等而下载。
根据本发明，向视频序列提供了特定的元数据，该元数据描述了如何把不同的(但是确定的)视频序列“粘”到一起。元数据的格式应当是标准化的，从而不同的重放设备能够处理/解释这种元数据。当前，这种元数据是不可用的。
根据本发明的重放设备可以对适合的元数据进行解释，而且其具有HW/SW(例如3D图形加速器)以执行相应的重叠处理等。对于来自因特网的元数据，该设备可以方便地下载该数据。对于来自闪存卡读卡器或USB的元数据，该设备具有适合的连接器。此外，该设备能够把该元数据存储在可访问的存储区域中，例如本地DRAM。
针对视频序列与元数据的混合，存在多种可能：元数据可以和AV流进行交错，元数据可以存储在单独的文件中，或者元数据可以与针对特定电影的视频流(例如电影导演的访谈首部)并行地传递。在后者的情况下，该传递包含针对重叠的重放的所有必须的附加数据。此外，存在不同的方式把两个或更多个特定的视频流进行重叠。所以，对于相同的视频序列，可以使用多于一个的元数据组。
本发明所使用的元数据描述了怎样在相同的视频屏幕上把两个或更多个视频序列进行重叠。这个重叠在广阔范围内是可行的，即非常灵活。这意味着元数据包含例如：与针对覆盖的视频序列的显示的几何外观有关的信息，重叠定时(优选地是视频流针对彼此的重叠定时，这对于音频流的同步尤其有用)，特效元数据(例如淡入淡出，颜色改变，针对PIP的可视流，等等)，以及流元数据。
附图说明
参照附图描述本发明的示例实施例，附图中：
图1示出了用于帧重叠的设备；
图2和3示出了用户如何才能分别订购影碟、额外的奖赏资料和有关的元数据的示例流程图；
图4示出了初始阶段的示例菜单；以及
图5和6示出了对缩略视频的选择如何放大所选的视频序列。
具体实施方式
图1示出了根据本发明的用于帧重叠的设备，以说明怎样以及针对哪个解码步骤使用哪种元数据来执行动态视频重叠。虚线箭头指示使用哪种元数据来执行特定的解码步骤。实线箭头指示视频序列数据流。视频流数据的格式可以逐步骤地改变。例如最初视频序列数据具有压缩格式(例如MPEG-2、MPEG-4或VC-1，等)，而在下一步骤中其被解码到帧缓冲器中(例如位图状格式)。最后，重叠的视频可以具有YUV 4:2:0格式。
此外，图1示出在元数据自身内提供了分层。重叠定时元数据控制几何和特效元数据。这是重要的，因为例如子视频序列在屏幕上的位置在重放期间可能发生改变，而定时不会改变。例如，子视频序列可能水平地平滑移动，或整个视频帧被放大/缩小。示范性地，屏幕上显示不同流的若干缩略视频，每个流一个缩略视频，而且用户使用菜单来选择这些缩略视频之一。作为特效，该缩略视频的分辨率会提升，直到其覆盖整个屏幕为止。这在直觉上提供了这样一种印象，即该选择与以全屏幕大小随后立即进行的视频重放有关。这在图4-6中描述。
此外，分层中的上层可以控制定时元数据。这可以是用户交互。用户可以在不同的重放节目之间进行切换，例如DVD所使用的不同的节目链(PGC)。其类似于播放列表，即用户可以切换至另一个重叠节目。
由于元数据的分层，上层可以推翻(override)下层的设置。例如，可以对子视频进行裁剪，并且可以改变像素纵横比。所以，应当把下层元数据作为缺省数据来处理。
有利地，如果以单独的文件来存储该元数据，那么应当使用像XML这样的开放文档格式来进行存储。如果元数据被嵌入视频流自身中，则针对嵌入的元数据而使用的格式必须遵循视频流格式的特定约束，例如，避免user_data()字段中的起始代码位于MPEG-2或MPEG-4视频流中。
图2和3示出了用户如何才能分别订购影碟、额外的奖赏资料(例如通过因特网)和有关的元数据。作为示例，用户购买了光盘形式的电影，打开包装并查看导演的评论视频序列的凭单。用户必须连接至内容提供者的网页(例如迪斯尼)，并进行注册。当在内容提供者的网页上进行注册之后，用户能够访问附加的导演的评论视频序列。用户通过其DSL连接以下载该视频序列。在完成下载后，用户希望看一下其最新下载的奖励。用户把下载的奖励放到重放设备的HDD上。然后，用户启动对新下载的视频序列的重放。重放设备识别所插入的元数据。所以，重放设备知晓这个视频序列将会连同特定的电影而重放。如果还没有插入电影，则重放设备会告知用户(例如通过UI)用户应当插入适合的盘。当插入该盘时，重放设备开始对这两个视频序列进行重放，正如连同奖励内容一同传递的元数据(例如被合并在同一个流中)所定义的那样。屏幕上显示的电影与导演的脸部重叠。导演讲解当前所显示的场景。奖励视频序列包含元数据的播放列表，即一组评论的部分。所以，用户可以选择若干评论的场景之一，例如类似下文的播放列表：
1.导演评论整个电影
2.导演评论特技
3.导演评论FX场景
4.演员1评论色情场景
5.演员2评论拍摄期间发生的一些有趣的情况
在这个示例中，两个电影是可用的(原始电影和奖励视频序列)，而且有5组元数据。每一组均组合了主视频的不同部分以及奖励视频，并设置了当视频产生重叠时(同步)对视频重叠的位置的控制(几何信息)，使用重叠效果(例如alpha混合)，以及如何对这两个流中的音频进行混合。甚至可以添加针对用户交互的信息，例如可以提供可以继续的不同方式(例如“结束重放”和“再次播放”以及“到下一个元数据组”)。
在这个示例中，在生产出光盘的主盘(master)后完成主电影。但是，内容提供者之后可以通过使用根据本发明的元数据、把该元数据与适合的视频进行组合、并使其在用户的因特网入口上可用，从而为这个电影添加附加信息。有利地，内容提供者可以通过这个特征在任意时候来添加与电影有关的有趣信息。例如可以通过信件或直接的电子邮件告知顾客。所以，可以更好地保持顾客。
电影制片人使用越来越依赖于计算机的拍摄，即人工产生的场景的数量在当前的电影中急剧增长。因此，更加容易地产生不同的视频序列。作为另一个示例，用户购买带有色情电影的光盘。然而，电影中所显示的多数人是穿着衣服的。在支付费用后，用户可以从内容提供者的因特网入口下载特定的视频序列信息，该信息提供了期望的观看。这个特定的视频序列信息(SVSI)包含不同的视频序列，其逐像素地改变了色情电影的外观。为了重放，重放设备根据所传递的本发明的元数据对两个视频序列进行重叠。所添加的差别视频序列改变了某些像素的外观。在这个示例中，其在某些场景中去除了一些演员的适当的衣服。所以，顾客通过向内容提供者支付附加费用并从因特网下载差别视频序列，可以获得不受约束的更多裸漏皮肤的观看。可看到的皮肤的量可能取决于付费数。在类似的示例中，可以通过应用该特征、根据当前时尚来改变电影中演员所穿的衣服，或者可以改变电影场景的背景(即虚拟位置)。
在另一示例中，用户购买带有电影的光盘。若干演员在该电影中扮演角色。内容提供者把该电影分为背景场景和演员的头部(作为视频序列)。把背景场景和演员的头部相重叠将会执行电影的实际重放。本发明的元数据描述了何时将哪个头部与背景视频在帧内的正确位置处相重叠。这用于控制重叠处理。此外，本发明的元数据包含与所显示的头部有关的信息，即其三维(3D)位置和与摄像机的相对位置，针对头部的照明等级和方向，自然环境(例如有风、水下、离心力)，等等。顾客可能希望调换演员。所以，用户向重放引擎给出与期望的演员(例如顾客自身)的3维头部有关的适合的信息。这可以通过对头部进行扫描而完成，例如一些头部的电子照片和重放设备中的一些软件，该软件产生了期望的头部的适合的3D模型。利用一些典型的3D引擎(如当前的图形加速器中所使用的)，重放设备能够实时地产生适合的头部，该头部将会与背景视频发生重叠。当前的3D引擎甚至可以处理复杂的结构，例如风中的长发。对于第一个简单版本来说，可能出现的是用户扫描期望的头部，并将该信息发送至内容提供者。内容提供者产生重叠视频，并将其发回给用户。用户可以如上文所述的那样来使用这个接收到的序列。
然而，最后的示例描述了一种方法，其中内容提供者首先产生背景视频和头部分离的视频。另外，内容提供者提供元数据，所述元数据告知哪个头部将会显示在哪个位置。内容提供者还可以提供演员的3D模型以及元数据，所述元数据告知重放设备怎样来产生这个头部的适合的投影。
具有该内容的盘被放到主盘上，即它是像电影自身那样的静态内容。可以把其他演员的脸部添加到这个盘(静态信息)。这样，用户可以通过使用所购买的盘上的内容来调换演员。此外，内容提供者可以通过从他的因特网入口进行下载而提供针对该电影的其他演员以作为奖赏资料。此外，内容提供者可以通过从顾客处接收足以产生所需的3D模型的适合的照片而把3D模型置于电影中。这将会是另一个商业模型。甚至可能的是，顾客可以和其他用户交换3D模型。
所以，这个示例中的重放设备支持两种重叠方式：
1)把已投影的视频序列与背景视频进行重叠(例如原始演员的头部)
2)把重放期间基于头部的3维模型实时计算的投影进行重叠。附加的元数据(例如头部的位置和照明信息，以及与自然环境有关的信息等)由内容提供者来传递(可能已经存在于盘上，或可以通过因特网作为奖赏资料而传递)。
在另一示例中，用户产生自有菜单，以获取对可用视频的概览。用户产生根据本发明的元数据，该元数据描述了在何处把多少个缩略视频与背景电影进行重叠。用户还可以决定所选缩略视频的行为(用于导航)，以及激活之后该缩略视频的外观。图4示出了针对这个示例而开发的菜单。用户产生的3*3缩略视频菜单与背景视频。缩略视频的选择(例如通过导航按钮上、下、左、右)将会把所选的视频序列放大一些，如图5中所示。如果用户激活了这个缩略视频(即最终选择)，那么该缩略视频变大直到其覆盖整个屏幕。然后，可以开始常规的重放。
在这个示例中，用户自身产生了用于定义视频应当位于何处的元数据。在这种情况下，与特定呈现的视频有关的知识以及菜单结构不需要是固定的，即在菜单的产生期间，哪些特定视频将在该菜单中的特定位置处呈现是不清楚的，即通过实时地解释来自视频流自身的流信息(以获得格式和分辨率等)和几何信息以及来自用户菜单结构的信息，来完成重叠。所以，这些元数据是必需的，但通常是分离的。内容提供者可以提供一些软件和/或模板来产生该菜单。重放设备可以支持该菜单的产生。
可以不同地放置根据本发明的元数据。
该元数据可以和重叠的视频序列位于同一个介质上(例如HDD或光盘，例如DVD、HD-DVD或蓝光盘)。通常，其可以和至少一个重叠的视频序列位于同一个介质上。
元数据还可以和重叠的视频序列位于不同的介质上。
此外，元数据可以从其他源分别接收(例如USB、闪存、因特网，等等)。
存在视频序列与元数据的各种可能的混合：
●元数据可以与AV流交错。
○这意味着内容提供者在创作期间决定与视频重叠有关的一些或一切。
○在技术上，这可以通过把元数据存储在例如MPEG-2视频或MPEG-4视频或VC-1流中的user_data()中而完成。
○另一种备选是，把元数据存储在传输流中单独的传输分组中(例如BD内容的.m2ts文件中)。
○然而，这种元数据需要特殊标准以对于不同的重放设备均为可读的。
●元数据可以存储在单独文件中。
○这意味着在视频序列的创作之后，可以把元数据链接至文件。这种元数据可以是从内容提供者的网页上下载的附加奖赏资料，作为访问内容提供者的网页或进行自愿注册的用户的奖励(以实现顾客忠诚度和顾客追踪)。
○在技术上，这可以通过把元数据存储在特定文件中而完成。
○备选的是，把这个元数据存储在其他信息文件中，例如存储在蓝光盘的“.clpi”(ClipInfo)或“.mpls”(PlayList)文件中，或存储在(HD-)DVD的“.IFO”文件中。
○然而，这种元数据需要特殊标准以对于不同的重放设备均为可读的。
●针对特定电影，例如特殊盘上的电影，可以把元数据和视频流一同传递(例如电影导演的“访谈首部”)。所以，该传递包含针对重叠式重放的所有必需的附加数据。
●存在不同的方式把等同的视频流进行重叠。所以，对于相同的视频序列，可以使用多于一个的元数据组。其优先地可以是隐式或显式的，或用户可以选择优选的元数据组。
应当进行重叠的视频序列的位置：
●该视频序列可以位于同一个介质上(例如HDD或光盘)。
●该视频序列可以位于不同的介质上。可以通过网络来实现同时的重放。
●视频序列可以分别从其他源接收(例如USB、闪存、因特网，等等)，例如流视频。例如，“电影导演”序列直接从内容提供者的因特网服务器(流)获得而实际的电影从光盘上读取。重放设备通过对根据本发明的元数据进行解释，把这两个视频序列同时进行重叠。
元数据的内容：
元数据描述了怎样把两个或更多个视频序列与在相同的视频屏幕上进行重叠。有利地，该重叠在很大范围内都是可能的，即非常灵活。这意味着元数据包含例如与如下内容有关的信息：
●几何显示元数据
○显示器内的位置
○对所呈现的帧的缩放
■可以把可能的缩放等级限制为固定的数值组，以简化该缩放的实现，即为了简化硬件要求。
○显示之前的旋转
■可以把可能的旋转等级限制为固定的数值组，以简化该旋转的实现，即为了减小硬件要求。
○失真(例如纵横比)，如果
■推翻纵横比，例如元数据约束与视频流所指示的不同的纵横比
■水平和/或垂直地对整个视频进行翻转
○帧裁剪信息，如果
○推翻像素纵横比，例如元数据约束与视频流所指示的不同的纵横比
●重叠定时元数据
○使用定时信息和流访问点来对整个重叠处理进行同步。这可以是精确地或大致地同步的视频场、视频帧或音频帧
○如果没有可用的特定定时信息，则可以使用缺省值来代替
○通常，定时信息可以描述起始时间、结束时间、持续时间或任意这些的混合
○在视频序列中进行导航的信息，像DVD中的节目链(PGC)，公布于因特网上：
http://www.dvd-replica.com/DVD/pgca.php
■(无止境的)循环，或完成一次呈现后的停止
■为了进行重放，对视频序列的部分进行重新排列
■指示可能的用户交互(像PGC)
○在不同的几何元数据和/或特效元数据之间进行切换的信息。可以是视频场或视频帧或大致同步。
○能够以不同的精确等级而提供的信息
■大致同步(即，通常是几个帧周期的阶次)
■严格同步(即，帧精确或场精确)
○针对音频的信息
■切换至适合的音频流，或
■指示重叠音频流(指示音频流是否应当重叠)
■重叠等级(例如指示哪个音频流应当放在前景或背景中)
■2D或3D位置(指示几何位置，即特定音频的音频应当来到/可听到的位置)
■指示混合前每一个音频流的音量
■音效(例如向音频添加回响效果)
■如果这些音频行为是可用的，则它们推翻针对其他元数据类型的音频的特效
●特效元数据
○淡入淡出
○颜色变化
○帧边界的帧
○指示所使用的重叠方法
■针对透明度的色度键控信息(通常需要颜色范围，因为视频压缩可能递送相同透明度区域中的多样值)
■针对如下的全局透明度值
●单一视频序列
●若干视频序列
■向背景视频添加子视频
■把子视频与背景视频进行异或组合
○针对不同显示区域的不同效果，例如透明度值取决于所使用的显示类型
○多个其他效果是可能的
○音效
■音效(例如向音频添加回响效果)
●流元数据
○与视频序列有关的详细技术信息
■压缩格式(例如位图序列、MPEG-2、MPEG-4、VC-1，等)
■分辨率
■纵横比(针对帧和针对像素)
■所使用的颜色空间(例如针对HDTV的ITU 709或针对SDTV的ITU 624，等)
■帧速率
■隔行/逐行
■色度键控值，如果
■针对亮度的平均或中间值
○与视频序列有关的详细内容信息
■流派
■演员
■等等
○音频属性
■指示音频流的音量
■2D或3D位置(指示几何位置，即特定音频的音频应当来到/可听到的位置)
■指示混合前每一个音频流的音量
如果元数据位于第二子流中(即将与其他进行重叠的子流)，则考虑如下内容。其可以位于
a)在视频基本流(ES)中(user_data()，MPEG-2，MPEG-4视频，VC-1)
b)在包含视频ES的传输流(m2ts)中；同一传输流(TS)中还可能包含次要音频
c)在相应的TS的ClipInfo文件(clpi)中
d)在播放列表文件(mpls)中
e)作为单独的元数据文件
针对元数据内容/目的的示例
a)位置(包括帧精确的修改)
b)缩放(包括动态或帧精确的修改)
c)从预定义的固定缩放因数中进行选择
d)针对透明度的色度键控信息(NB：考虑由于压缩的颜色范围)
e)全局透明度值
f)取决于显示器(显示类型)的透明度
g)颜色范围信息针对HDTV的ITU-(T或R)709，针对SDTV的ITU 6？？
h)重叠像素纵横比信息
i)翻转信息
j)旋转信息
k)效果
l)针对PIP(画中画)的帧
m)针对异步PIP的开始&停止信息
n)基础亮度，以实现具有吸引人的外观的统一/稳定的多PIP
o)对两个图像进行计算(例如光栅操作)(例如减去图像对象)
根据本发明的所有元数据可选地还能够修改子视频帧。
此外，所有这些元数据可能仅用于缺省值，即它们可以被例如BD-Java API调用所重写。这样，上述元数据退化为这些缺省值。
典型地，次要视频是可以从因特网下载并存储在本地存储器中的内容，所以不需把混合元数据存储在光盘上(可以是ROM盘)。还可能的是，主要和次要视频数据均位于同一数据载体上，例如光ROM盘。
一个典型应用是，针对第一视频中的特定场景，例如表示为开始和结束时间戳，根据本发明的元数据定义了显示器中哪些区域相对较暗，和/或哪些区域相对较亮。该信息还可以和针对覆盖的禁止区或优选区相结合，其中该场景用作背景。如果应当在单独的窗口中把第二视频覆盖到该场景上，则该第二视频包含有元数据，所述元数据例如指示其内容更加明亮，或指示其内容应当在暗区上呈现，所述窗口可以自动地定位，以满都所有这些要求，即它自动地定位在被指示为“暗”的区域上。此外，如果背景改变，则第一视频的元数据指示这个改变，并且第二覆盖视频可以自动地移至另一区域，其中所有条件都得以实现。这个移动优选地是平滑移动，而不是跳跃。
在另一示例中，第一视频流是游戏，例如合成地呈现的游戏。可以把提供游戏中其他角色的不同视野的其他视频流进行覆盖。例如，游戏者A出现在其屏幕区域上，该屏幕区域上显示处其他游戏者B和C的并发动作。这些其他的游戏者可以是人，例如在线游戏，也可以是虚拟的。因此，其他两个流覆盖到背景场景，显示出游戏者自己的视野。覆盖帧的位置由附加到各个流的元数据来定义。这些元数据还可以取决于例如各个游戏者所执行的动作。
在另一示例中，第一视频流是静态图像或连续重复的短场景，例如用作菜单的背景。覆盖了若干视频流，例如与用户在其视频库中所拥有的视频的摘要相对应。附加到第一视频流的元数据提供的视频流的显示区域，所以：1.每一个视频可以以图标而显示，2.可以显示所定义数目的视频图标，以及3.图标之间留有一些空间，所以可以看到背景，但每一个图标尽可能的大。例如，元数据定义了在四列和三行中显示12个视频流，其中每一列具有25％的宽度，每一行具有33.3％的高度，而每一个图标使用其宽度和高度的80％，即其面积的81％，所以可以看到背景上的每一条边上所剩余的10％。在类似的示例中，不应当显示背景，但与可用视频流的个数无关地，每一个图标将具有屏幕上的最大面积。例如，当库中存在两个视频时，每一个视频对显示器享有相同的面积(直到特定的最小尺寸)，这由附加到背景的元数据动态地进行控制。
作为特殊优点，所述面积定义的相对类型允许进行调整，以分别适合于所有的显示器尺寸或分辨率。

Claims (4)

1.一种用于动态地覆盖两个或更多个视频流的方法，其中，借助于播放列表把元数据与所述视频流中的至少一个视频流相关联，所述方法包括步骤：
-显示作为所述视频流之一的第一视频流；
-从不是所述第一视频流的第二视频流的播放列表文件中提取所述元数据；
-检测所提取的元数据定义了怎样将所述第二视频流覆盖到所述第一视频流，其中所述元数据至少包含时间同步信息、时间戳、以及对用于覆盖的显示位置和显示区域加以定义的位置数据，所述元数据与在所述第二视频流内标识的所述第一视频流有关；以及
-根据所述元数据的定义，把至少所述第二视频流覆盖到第一视频流。
2.根据权利要求1所述的方法，其中，所述时间同步信息指示第一视频流和覆盖的第二视频流之间的帧/场精确时间同步或是粗略时间同步。
3.一种用于动态地覆盖两个或更多个视频流的设备，其中，借助于播放列表把元数据与所述视频流中的至少一个视频流相关联，所述设备包括：
-用于产生第一视频流的显示数据的装置，第一视频流是所述视频流之一；
-用于从第二视频流的播放列表文件中提取所述元数据的装置，其中所述元数据定义了怎样将所述第二视频流覆盖到所述第一视频流，所述元数据包含针对时间同步信息、时间戳、以及对用于覆盖的显示位置和显示区域加以定义的位置信息，所述元数据与在所述第二视频流内标识的所述第一视频流有关；
-用于根据所提取的元数据来产生位置数据的装置，其中所述位置数据与第一视频流的图像内容无关；以及
-用于根据所述元数据的定义将第二视频流覆盖到第一视频流的装置。
4.根据权利要求3所述的设备，还包括：
-用于从所述元数据中提取所述时间同步信息的装置；以及
-用于执行第一视频流和覆盖的第二视频流之间的时间同步的装置，其中，依据所述时间同步信息，时间同步是帧/场精确的或是粗略的。
CN201210191090.8A 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备 Active CN102752638B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05015576 2005-07-18
EP05015576.1 2005-07-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200680026366XA Division CN101223778B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备

Publications (2)

Publication Number Publication Date
CN102752638A true CN102752638A (zh) 2012-10-24
CN102752638B CN102752638B (zh) 2014-12-31

Family

ID=36944152

Family Applications (7)

Application Number Title Priority Date Filing Date
CN201210191132.8A Active CN102752639B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210191170.3A Active CN102752640B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210191198.7A Active CN102752641B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210337044.4A Active CN102905167B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN200680026366XA Active CN101223778B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210337003.5A Active CN102905166B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210191090.8A Active CN102752638B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN201210191132.8A Active CN102752639B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210191170.3A Active CN102752640B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210191198.7A Active CN102752641B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210337044.4A Active CN102905167B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN200680026366XA Active CN101223778B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备
CN201210337003.5A Active CN102905166B (zh) 2005-07-18 2006-07-05 使用元数据来处理多个视频流的方法和设备

Country Status (9)

Country Link
US (1) US9167176B2 (zh)
EP (2) EP1905233B1 (zh)
JP (10) JP5067889B2 (zh)
KR (5) KR101374034B1 (zh)
CN (7) CN102752639B (zh)
ES (2) ES2645014T3 (zh)
PL (2) PL1905233T3 (zh)
TR (1) TR201808891T4 (zh)
WO (1) WO2007009876A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104602029A (zh) * 2014-08-27 2015-05-06 腾讯科技（北京）有限公司 在线视频文件的生成方法及装置
CN109792557A (zh) * 2016-10-01 2019-05-21 脸谱公司 在渲染期间利用一个或多个效果来增强由客户端设备获得的视频数据的架构

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1599998B1 (en) 2003-02-11 2011-04-06 NDS Limited Apparatus and methods for handling interactive applications in broadcast networks
CN102752639B (zh) * 2005-07-18 2015-08-05 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备
US8842730B2 (en) * 2006-01-27 2014-09-23 Imax Corporation Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
CA2653815C (en) * 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
GB2441365B (en) * 2006-09-04 2009-10-07 Nds Ltd Displaying video data
US9569587B2 (en) 2006-12-29 2017-02-14 Kip Prod Pi Lp Multi-services application gateway and system employing the same
US9602880B2 (en) 2006-12-29 2017-03-21 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US20230057851A1 (en) * 2006-12-29 2023-02-23 Kip Prod P1 Lp Display inserts, overlays, and graphical user interfaces for multimedia systems
US11783925B2 (en) 2006-12-29 2023-10-10 Kip Prod P1 Lp Multi-services application gateway and system employing the same
WO2008082441A1 (en) 2006-12-29 2008-07-10 Prodea Systems, Inc. Display inserts, overlays, and graphical user interfaces for multimedia systems
US11316688B2 (en) 2006-12-29 2022-04-26 Kip Prod P1 Lp Multi-services application gateway and system employing the same
US20170344703A1 (en) 2006-12-29 2017-11-30 Kip Prod P1 Lp Multi-services application gateway and system employing the same
EP1981274A1 (en) * 2007-04-12 2008-10-15 Alcatel Lucent Multimedia descriptions for adding additional multimedia
WO2008128205A1 (en) 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
KR101396998B1 (ko) * 2007-08-29 2014-05-20 엘지전자 주식회사 영상기기 및 이 영상기기에서 녹화물을 디스플레이하는방법
JP4471028B2 (ja) * 2007-09-03 2010-06-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9350949B2 (en) 2007-09-28 2016-05-24 Disney Enterprises, Inc. Flexible format media content and method for providing same
JP5092722B2 (ja) * 2007-12-07 2012-12-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
GB2470333B (en) * 2008-03-05 2012-05-16 Hewlett Packard Development Co Synchronizing and windowing external content in digital display systems
CA2721522C (en) * 2008-04-18 2021-03-16 Erik Van De Pol System and method for condensed representation of long video sequences
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US20100169303A1 (en) 2008-12-31 2010-07-01 David Biderman Playlists for real-time or near real-time streaming
US8693846B2 (en) * 2009-03-16 2014-04-08 Disney Enterprises, Inc. System and method for dynamic video placement on a display
US20100239222A1 (en) * 2009-03-20 2010-09-23 International Business Machines Corporation Digital video recorder broadcast overlays
US9025927B2 (en) * 2009-03-25 2015-05-05 Cyberlink Corp. Systems and methods of variable frame rate playback
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
KR20110063297A (ko) * 2009-12-02 2011-06-10 삼성전자주식회사 휴대용단말기 및 그 제어방법
US10156979B2 (en) 2009-12-02 2018-12-18 Samsung Electronics Co., Ltd. Method and apparatus for providing user interface of portable device
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
CA2786257C (en) 2010-02-19 2018-03-06 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for adaptation in http streaming
GB201105502D0 (en) 2010-04-01 2011-05-18 Apple Inc Real time or near real time streaming
US8805963B2 (en) 2010-04-01 2014-08-12 Apple Inc. Real-time or near real-time streaming
TWI451279B (zh) 2010-04-07 2014-09-01 Apple Inc 即時或接近即時串流傳輸之內容存取控制
US9237366B2 (en) * 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
US8739041B2 (en) 2010-06-17 2014-05-27 Microsoft Corporation Extensible video insertion control
US8767124B2 (en) * 2010-07-13 2014-07-01 Thomson Licensing Method of picture-in-picture for multimedia applications
KR101812189B1 (ko) * 2010-10-12 2017-12-26 삼성전자주식회사 3차원 ｇｕｉ를 이용한 컨텐츠 리스트 디스플레이 방법 및 이를 적용한 3차원 디스플레이장치
US8699801B2 (en) * 2010-11-26 2014-04-15 Agfa Healthcare Inc. Systems and methods for transmitting high dynamic range images
KR101528991B1 (ko) * 2011-01-11 2015-06-15 애플 인크. 실시간 또는 준 실시간 스트리밍
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US9503771B2 (en) * 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR20160054039A (ko) 2011-05-27 2016-05-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
US8856283B2 (en) 2011-06-03 2014-10-07 Apple Inc. Playlists for real-time or near real-time streaming
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
JP2015517233A (ja) * 2012-02-29 2015-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 改善された画像処理およびコンテンツ送達のための画像メタデータ生成
US20180316946A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US11284137B2 (en) 2012-04-24 2022-03-22 Skreens Entertainment Technologies, Inc. Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US9751011B2 (en) * 2012-05-25 2017-09-05 Electronics Arts, Inc. Systems and methods for a unified game experience in a multiplayer game
JP2014003448A (ja) * 2012-06-18 2014-01-09 Ricoh Co Ltd 伝送システム、外部入力装置、および表示解像度変換用プログラム
US9317709B2 (en) 2012-06-26 2016-04-19 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage
JP6479473B2 (ja) * 2012-11-26 2019-03-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 送信装置、送信方法、受信装置、受信方法および受信表示方法
US8797461B2 (en) * 2012-12-28 2014-08-05 Behavioral Technologies LLC Screen time control device and method
US20140192200A1 (en) * 2013-01-08 2014-07-10 Hii Media Llc Media streams synchronization
WO2014160934A1 (en) 2013-03-28 2014-10-02 Google Inc. System and method to store third-party metadata in a cloud storage system
CN105340281B (zh) 2013-07-05 2019-06-28 索尼公司 发送装置、发送方法、接收装置和接收方法
US9940787B2 (en) * 2013-08-02 2018-04-10 Zynga Inc. Nested online games for real money gambling
US10444958B2 (en) * 2013-09-23 2019-10-15 Adobe Systems Incorporated Visual example-based user interface for adjusting photos along two dimensions
US10115174B2 (en) 2013-09-24 2018-10-30 2236008 Ontario Inc. System and method for forwarding an application user interface
US10976986B2 (en) * 2013-09-24 2021-04-13 Blackberry Limited System and method for forwarding an application user interface
GB2520334B (en) 2013-11-18 2015-11-25 Helen Bradley Lennon A video broadcast system and a method of disseminating video content
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
JP6379636B2 (ja) * 2014-04-30 2018-08-29 ソニー株式会社 情報処理装置、情報記録媒体、および画像処理方法、並びにプログラム
WO2016048834A1 (en) * 2014-09-26 2016-03-31 Vid Scale, Inc. Intra block copy coding with temporal block vector prediction
DE102014220432A1 (de) 2014-10-09 2016-04-14 Continental Teves Ag & Co. Ohg Hydraulisches Sicherheitssystem, Bremsanlage und Betriebsverfahren
CN115243075A (zh) * 2014-10-10 2022-10-25 索尼公司 再现装置和再现方法
KR102161210B1 (ko) 2015-01-15 2020-09-29 한화테크윈 주식회사 다중 비디오써머리제공방법 및 장치
US10225676B2 (en) * 2015-02-06 2019-03-05 Dolby Laboratories Licensing Corporation Hybrid, priority-based rendering system and method for adaptive audio
KR101602425B1 (ko) * 2015-03-27 2016-03-11 주식회사 아트필 무대용 다채널 영상 제어장치
CN104866755B (zh) * 2015-06-11 2018-03-30 北京金山安全软件有限公司 应用程序解锁界面背景图片的设置方法、装置及电子设备
TWI594607B (zh) 2015-11-27 2017-08-01 鴻海精密工業股份有限公司 動態控制多個視頻下載之系統及方法
US10412447B2 (en) 2015-12-16 2019-09-10 Gracenote, Inc. Dynamic video overlays
US9652828B1 (en) * 2015-12-29 2017-05-16 Motorola Solutions, Inc. Method and apparatus for imaging a scene
US10719480B1 (en) * 2016-11-17 2020-07-21 EMC IP Holding Company LLC Embedded data valuation and metadata binding
US10362241B2 (en) 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
WO2018139285A1 (ja) * 2017-01-30 2018-08-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US10891930B2 (en) * 2017-06-29 2021-01-12 Dolby International Ab Methods, systems, devices and computer program products for adapting external content to a video stream
KR102201763B1 (ko) * 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR20200061279A (ko) 2018-11-23 2020-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US11049285B2 (en) 2019-06-21 2021-06-29 Disney Enterprises, Inc. Media content validation using geometrically encoded metadata
KR20220126914A (ko) * 2021-03-10 2022-09-19 삼성전자주식회사 이미지의 알파 값을 이용하여 이미지를 출력하는 전자 장치 및 그 제어 방법
WO2022249555A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像出力装置、画像出力方法、およびプログラム
US11930189B2 (en) 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
WO2001022739A1 (en) * 1999-09-21 2001-03-29 Media 100, Inc. Effecting video transitions between video streams
US20010001160A1 (en) * 1996-03-29 2001-05-10 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
CN1423896A (zh) * 2000-12-15 2003-06-11 皇家菲利浦电子有限公司 基于视频内容分析的画中画重新定位和/或大小调整

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089287A (ja) 1994-06-24 1996-01-12 Mitsubishi Electric Corp テレビジョン受信装置
US6147695A (en) 1996-03-22 2000-11-14 Silicon Graphics, Inc. System and method for combining multiple video streams
JPH10240908A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像合成方法
US20050166232A1 (en) * 1999-04-21 2005-07-28 Lamkin Allan B... Presentation of media content from multiple media sources
JP2001128062A (ja) 1999-10-29 2001-05-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
US20020062481A1 (en) * 2000-02-25 2002-05-23 Malcolm Slaney Method and system for selecting advertisements
GB0007868D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
AU2001276583A1 (en) 2000-07-31 2002-02-13 Hypnotizer Method and system for receiving interactive dynamic overlays through a data stream and displaying it over a video content
JP2002298149A (ja) * 2001-03-29 2002-10-11 Sharp Corp データ合成処理装置、データ合成処理方法、データ合成処理プログラムを記録した機械読取可能な記録媒体およびデータ合成処理プログラム
JP2002354367A (ja) * 2001-05-25 2002-12-06 Canon Inc マルチ画面表示装置、マルチ画面表示方法、記録媒体、及びプログラム
EP1274236A1 (en) 2001-07-05 2003-01-08 Thomson Licensing S.A. Video apparatus with picture-in-picture ability
ES2358889T3 (es) * 2001-08-02 2011-05-16 Intellocity Usa, Inc. Alteraciones visuales posproducción.
CN1345159A (zh) 2001-11-02 2002-04-17 北京阜国数字技术有限公司 一种用于在数字视频上动态叠加字幕的方法
TW200300928A (en) 2001-11-30 2003-06-16 Sony Corportion Information processing method and apparatus, program storage medium, program and information recording medium
KR100472470B1 (ko) 2002-08-19 2005-03-10 삼성전자주식회사 부분화면과 전체화면을 동시에 스케일링하는 장치 및 방법
US20040045026A1 (en) * 2002-08-29 2004-03-04 Zoe Interactive Ltd. In digital or interactive television
KR101049754B1 (ko) * 2002-09-26 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 정보신호 수신장치
JP4129162B2 (ja) 2002-09-30 2008-08-06 株式会社メガチップス コンテンツ作成実演システム及びコンテンツ作成実演方法
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP2004172887A (ja) 2002-11-19 2004-06-17 Canon Inc データファイル複写システム
JP4185790B2 (ja) * 2003-03-12 2008-11-26 シャープ株式会社 テレビジョン放送受信機
CN1774928A (zh) * 2003-04-14 2006-05-17 皇家飞利浦电子股份有限公司 广播节目的记录
US20050097135A1 (en) * 2003-04-18 2005-05-05 Ian Epperson Touch panel user interface
JP4855930B2 (ja) * 2003-05-02 2012-01-18 アラン ロバート ステイカー、 ビデオ合成のための対話型システムおよび方法
JP2004355767A (ja) 2003-05-30 2004-12-16 Canon Inc 再生装置
CA2527083C (en) * 2003-06-02 2011-04-26 Disney Enterprises, Inc. System and method of programmatic window control for consumer video players
US20050021552A1 (en) 2003-06-02 2005-01-27 Jonathan Ackley Video playback image processing
US7177872B2 (en) * 2003-06-23 2007-02-13 Sony Corporation Interface for media publishing
US20060008256A1 (en) * 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
WO2005109905A2 (en) * 2004-04-30 2005-11-17 Vulcan Inc. Time-based graphical user interface for television program information
CN1254107C (zh) 2004-05-17 2006-04-26 广州网上新生活软件技术服务有限公司 基于单向数字传输系统的卡拉ok点播系统及其实现方法
US8434118B2 (en) * 2004-05-27 2013-04-30 Time Warner Cable Enterprises Llc Playlist menu navigation
CN100531291C (zh) * 2004-11-01 2009-08-19 彩色印片公司 对增强的色彩空间内容进行母版制作和分发的方法和系统
CN102752639B (zh) 2005-07-18 2015-08-05 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010001160A1 (en) * 1996-03-29 2001-05-10 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
WO2001022739A1 (en) * 1999-09-21 2001-03-29 Media 100, Inc. Effecting video transitions between video streams
CN1423896A (zh) * 2000-12-15 2003-06-11 皇家菲利浦电子有限公司 基于视频内容分析的画中画重新定位和/或大小调整

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104602029A (zh) * 2014-08-27 2015-05-06 腾讯科技（北京）有限公司 在线视频文件的生成方法及装置
CN109792557A (zh) * 2016-10-01 2019-05-21 脸谱公司 在渲染期间利用一个或多个效果来增强由客户端设备获得的视频数据的架构
CN109792557B (zh) * 2016-10-01 2020-06-16 脸谱公司 用于处理视频数据的方法及存储介质

Also Published As

Publication number Publication date
CN102905167B (zh) 2014-12-31
JP2015039216A (ja) 2015-02-26
ES2674897T3 (es) 2018-07-04
JP5273754B2 (ja) 2013-08-28
JP5735571B2 (ja) 2015-06-17
CN102752639A (zh) 2012-10-24
PL3247110T3 (pl) 2018-08-31
JP5067907B2 (ja) 2012-11-07
CN102905166B (zh) 2014-12-31
CN102752641A (zh) 2012-10-24
US9167176B2 (en) 2015-10-20
CN102752639B (zh) 2015-08-05
JP2013048442A (ja) 2013-03-07
JP5527914B2 (ja) 2014-06-25
KR101392626B1 (ko) 2014-05-07
CN101223778A (zh) 2008-07-16
KR20080028433A (ko) 2008-03-31
KR101342232B1 (ko) 2013-12-16
TR201808891T4 (tr) 2018-07-23
CN101223778B (zh) 2012-11-07
EP1905233B1 (en) 2017-09-06
KR20130083939A (ko) 2013-07-23
CN102752641B (zh) 2016-06-29
JP2013176101A (ja) 2013-09-05
KR101392676B1 (ko) 2014-05-07
CN102752640A (zh) 2012-10-24
JP5273751B2 (ja) 2013-08-28
EP3247110A1 (en) 2017-11-22
JP5067889B2 (ja) 2012-11-07
JP5273756B2 (ja) 2013-08-28
EP3247110B1 (en) 2018-05-16
PL1905233T3 (pl) 2017-12-29
JP2014112902A (ja) 2014-06-19
KR20130005319A (ko) 2013-01-15
JP2009502067A (ja) 2009-01-22
JP6057349B2 (ja) 2017-01-11
JP5273755B2 (ja) 2013-08-28
KR101374034B1 (ko) 2014-03-12
CN102752638B (zh) 2014-12-31
ES2645014T3 (es) 2017-12-01
JP5273757B2 (ja) 2013-08-28
EP1905233A1 (en) 2008-04-02
KR101391542B1 (ko) 2014-05-02
JP2013034224A (ja) 2013-02-14
KR20130032920A (ko) 2013-04-02
CN102905166A (zh) 2013-01-30
KR20130005320A (ko) 2013-01-15
US20090115901A1 (en) 2009-05-07
JP2013034225A (ja) 2013-02-14
WO2007009876A1 (en) 2007-01-25
CN102905167A (zh) 2013-01-30
CN102752640B (zh) 2015-07-29
JP2012090279A (ja) 2012-05-10
JP2013042516A (ja) 2013-02-28
JP2011172255A (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
CN101223778B (zh) 使用元数据来处理多个视频流的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190520

Address after: Paris France

Patentee after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING