CN102118388A - 用于多媒体内容的适配的方法和装置 - Google Patents

Abstract

本发明涉及用于多媒体内容的适配的方法和装置。本发明涉及一种用于第一多媒体内容的适配的方法，该方法包括如下步骤：接收所述第一多媒体内容（101）；接收控制数据和至少一个第二多媒体内容，其中，通过信道来流式传输所述控制数据（102）；基于所述控制数据和简档信息来确定至少一个替换规范（103）；根据所述至少一个替换规范来识别第一多媒体内容中的至少一个可替换对象（104）；通过基于至少一个第二多媒体内容和所述至少一个替换规范来适配所述第一多媒体内容中的所述至少一个可替换对象而创建第三多媒体内容（105）；根据所述简档信息来提供所述第三多媒体内容（106）。此外，提出一种用于多媒体内容的适配的装置。

Description

用于多媒体内容的适配的方法和装置

技术领域

本发明涉及一种用于多媒体内容的适配（adaptation）的方法和装置。

背景技术

存在各种方法，用于处理多媒体内容、特别是音频和视频内容、以便例如用信息或娱乐内容或其它贡献（contribution）丰富多媒体内容并因此使得收听或观看更具有吸引力。例如，利用当前广播或多播信道，可以在用于例如采访、新闻报道或广告的后续提供的运营商定义的时间通过多媒体内容、特别是TV节目的暂时中断来提供信息娱乐片（infotainment）内容，所述例如采访、新闻报道或广告随后被提供给广播或多播信道的所有收听者或观看者。

此外，存在借助于插入技术的使用直接向多媒体内容中添加例如信息娱乐片的方法。此类方法的示例是及时新闻通知信息的插入。此外，可以使用辨识和置换算法来自动地检测用于递送信息娱乐片并用于将信息娱乐片方便地插入多媒体内容、特别是TV节目中的事件触发。

用于单个观看者或收听者的多媒体内容的单独适配也是可能的。然而，缺点是当并行地为大量用户提供时，使用单播传输和结果产生的高网络负荷。此外，缺点是当要可用于实时或现场直播节目（life program）时的高资本投入，对于该情况必须判定并以最小的延迟实时地（on the fly）执行单独适配，这意味着对网络中的中央处理平台的高性能请求。

因此，在现有技术中需要为网络运营商或应用服务提供商提供网络资源和网络负荷分布的改进的高效使用，所述网络运营商或应用服务提供商供应多媒体内容的用户组特定的或用户单独的适配，特别是当将在实时条件下向大的用户（即收听者和/或观看者、团体）提供时。

发明内容

根据独立权利要求的特征实现此需要。其它从属权利要求参考本发明的特定实施例。

根据本发明的实施例，提供了一种用于第一多媒体内容的适配的方法，包括步骤：

-     接收所述第一多媒体内容；

-     接收控制数据和至少一个第二多媒体内容，其中，所述控制数据被通过信道流式传输（stream）；

-      基于所述控制数据和简档（profile）信息来确定至少一个替换规范（replacement specification）；

-      根据所述至少一个替换规范来识别所述第一多媒体内容中的至少一个可替换对象；

-      通过基于所述至少一个第二多媒体内容和所述至少一个替换规范适配所述第一多媒体内容中的所述至少一个可替换对象来创建第三多媒体内容；

-     根据所述简档信息来提供所述第三多媒体内容。

该方法允许基于控制数据（提供为通过信道而流式传输的数据）和所述至少第二多媒体内容来进行第一多媒体内容的适配。这提供优点，即能够接收所述信道的现有网络装置设备和终端设备足以分散地执行该方法并根据通过所述信道提供的数据流来适配（adapt）第一多媒体内容。从该事实还得到另一优点，即可以由点到多点传输技术来提供所述信道，特别是通过广播或多播来提供所述信道，因此利用最经济的通信网络功能。基于例如可分散地或本地地获得的简档信息，可以有利地确定相关替换规范，允许创建单独适配的、或对例如地理区域的终端设备、城市的终端设备、或终端设备群组的许多终端设备适配的第三多媒体内容。因此，提供了分散处理资源特别地用于第一多媒体内容的个性化（individualization）的优点以及低网络负荷的优点。

多媒体内容可以包括电视节目、点播视频、无线电节目、点播音频、电子游戏、电子书、按需提供的多媒体内容、运动图片、视频剪辑、电视或音频节目的记录、视频消息、语音消息、电视或音频节目的完整或部分记录、音频内容、因特网页面、围墙花园页面（walled garden page）、图片材料、音频材料、固定图片、运动图片、电视或无线电节目的现场直播信号、前面内容的任意组合或前面内容与其它内容的任意组合。特别地，多媒体内容可以是电子邮件、SMS或任何其它形式的电子消息。多媒体内容可以包括至少一个视频部分、和/或至少一个音频部分、和/或附加数据，作为例如视频文本、字幕信息、EPG/ESG信息、现在和下一个信息、用于交互式服务的访问信息和数据。特别地，多媒体内容可以包括TV频道或按需提供的视频的MPEG编码的信息流的数据。

通过信道接收流式传输的数据或内容可以包括从起始设备的源地址或在从起始设备到接收设备的路径中的中间设备的地址接收流式传输的数据或内容。特别地，此类地址可以包括分组网络中的分组地址、IP地址和与IP地址有关的端口地址。通过信道进行的流式传输的数据或内容的接收也可以包括经由地面或卫星天线或经由电缆网络、例如通过转到信道地址和/或传输频率的接收。

用于与至少一个第二多媒体内容有关的第一多媒体内容的替换规范定义如何能够识别第一多媒体内容的部、部分、区域、区、对象和应如何通过使用所述至少一个第二多媒体内容来将其替换。所述识别可以特别地包括具有给定概率的成功识别。所述识别还可以简单地通过诸如时间、坐标、形式和/或尺寸信息的位置信息的评估。替换规范可以包括对音频、视频、或音频和视频检测算法的参考（reference）的名称，包括用于检测算法的参数信息，例如检测概率、检测对象、对象类别。替换规范可以包括音频、视频或音频和音频替换算法的名称，包括用于替换算法的参数信息。用于替换算法的此参数信息可以包括例如指示，即可以预期覆盖的插入、无覆盖的替换、逐帧（frame-wise）操作、无声或响度修正达特定时间（例如替换、插入和/或具有固定或变化缩放因子（zoom factor）的替换的持续时间）、取向、坐标信息、质量、分辨率、和延迟。替换规范可以包括一个或多个可替换对象，每个允许参考至少一个多媒体内容。替换规范也可以包括时间信息，例如开始时间、结束时间、重复时间、重复的时间段或次数、用于确定重复数目和/或时间间隔的数目的规则。替换规范也可以包括对象的位置坐标信息和/或取向信息。

可替换对象可以是第一多媒体内容的任何可识别部分、部、区域、区。可替换对象可以是图片中或视频中的固定尺寸区域，后者可能随着时间的推移而受到时间段的限制。可替换对象也可以是运动的和/或相对于图片或视频的尺寸变化的预定义部分、部、区域、区。可替换对象可以是在图片中描绘的对象或视频中的运动对象，例如汽车或演员。可替换对象也可以是多媒体内容的部分、部、区域、区，其中，某种类型的内容可能自然地发生。替换规范的执行可以导致用至少一个第二多媒体内容或其一部分进行的可替换对象的替换。替换规范的执行也可能导致根据可替换对象的需要用所述至少一个第二多媒体内容的变换（transformation）来替换可替换对象，例如可替换对象的空间、尺寸、色彩和亮度适配的替换导致正确地三维取向的对象替换。可替换对象也可以是或包括第一多媒体内容中的/的音频信息部分或部。

简档信息可以包括可在终端设备中或在到终端设备的传输路径中的中间设备中获得的、中间设备在到接收设备的传输路径中的位置信息、传输链路、传输链路捆绑（bundle）、用户设备、用户群组、地理区域。可以相对于相关替换规范的确定或选择将分配给替换规范的简档信息与可用于中间和终端设备的简档信息相比较。

终端设备接收数据或内容流，例如经由例如因特网连接，例如基于DSL的连接、另一基于电路的连接，比如例如经由以太网、PCM、SDH、无线或无绳连接、比如例如经由WLAN、蓝牙。所述终端设备可以将数据流分离成音频、视频和数据，将视频和音频信号解码和/或解压缩并通常递送到集成或外部视频/音频输出设备。特别地，终端设备的示例是机顶盒（STB）、电视设备（TV）、个人计算机（PC）、膝上型计算机、移动电话、比如例如PDA、组织器、音乐播放器的其它移动设备。

输出设备可以是用于音频信号的输出单元或设备、用于视频信号的输出单元或设备、或用于音频和视频信号的输出单元或设备。可以将输出设备集成在一个设备、特别是终端设备中，或者可以将其与终端设备分开并形成为连接到终端设备。输出设备可以例如是电视设备、扩音器、监视器、移动或非移动终端设备的显示器、耳机。

在实施例中，通过所述信道来流式传输所述至少一个第二多媒体内容。

这具有另一优点，即，可以在同一信道中提供所述至少第二多媒体内容和所述控制数据，并且不要求包括相关通信和资源的其它信道或其它分发机制。同样地，有利的是在使用所述信道的情况下，所述至少第二多媒体内容可以是被平常地广播/多播到终端设备的现场直播信号，这使得能够实现第一多媒体内容的即时适配，由此基于现场直播节目例如用全新的信息和图片来丰富所述第三多媒体内容。

在另一实施例中，所述方法包括步骤：

－通过删除所述控制数据的部分和/或通过删除所述至少一个第二多媒体内容中的至少一个来根据所述简档信息而过滤（filter）所述信道，以及；

－根据所述简档信息来提供所述已过滤信道。

因此，有利地，可以支持第一多媒体内容的逐步适配。例如，一组终端设备连接到的DSLAM可以确定并执行具有用于许多终端设备（例如机顶盒）的相关性的那些替换规范，所述终端设备被连接到DSLAM。所述DSLAM可以将相应地创建的第三多媒体内容提供给连接到所述DSLAM的所述组终端设备。此外，所述DSLAM可以将所述已过滤信道提供给连接到所述DSLAM的所述组终端设备，其中，有利地去除只有由DSLAM创建所述第三多媒体内容所需的控制数据和/或多媒体内容。终端设备因此接收用于该方法的后续执行的所述第三多媒体内容和所述已过滤信道。这产生优点，即不需要由每个终端设备来提供可以在中央提供的适配，由此，有利地节省终端设备的处理容量并保留终端设备的处理容量以用于单独感兴趣结果的替换规范。本实施例还可以应用于家庭网络配置，其中，例如，家庭或更一般而言是用户群组被连接到主终端设备或网关设备，其本身被连接到网络设备，例如像例如DSLAM的网络边缘设备。

根据另一实施例，所述方法包括步骤：

－接收通过附加信道流式传输的附加控制数据；

－将所述控制数据，所述附加控制数据、和所述至少一个第二多媒体内容聚合（aggregate）到聚合信道中；

－根据所述简档信息来提供所述聚合信道。

本实施例提供优点，即可以由第二应用服务提供商远程地提供允许确定附加替换规范的附加控制数据，而所述控制数据可以由网络运营商或第一应用服务提供商来提供。有利地，可以实现到聚合信道的聚合，并且可以将该聚合信道提供给网络边缘设备，特别是DSLAM、或提供给终端设备以用于所述方法的后续执行。经由所述方法的此类后续执行，根据本地可用或可访问简档信息，用户可以受益于与基于附加控制数据本地地确定的替换规范有关的第一多媒体内容的适配。有利地，根据简档信息，聚合信道只可以被提供给网络边缘设备和/或包括需要附加控制数据的那些设备的终端设备的一部分。更一般而言，所述聚合可以包括由所述第二应用服务提供商提供的附加控制数据和附加第二多媒体内容。同样地，本实施例包括多个应用服务提供商提供附加控制数据和每个可选地提供至少附加第二多媒体内容的情况，在这种情况下，所述聚合信道可以包括至少所述控制数据、所述至少第二多媒体内容以及所述多个应用服务提供商中的每一个的附加控制数据。此外，对于这种情况而言，所述聚合信道可以包括由所述多个应用服务提供商中的一个提供的至少一个附加第二多媒体内容。由此，提供这样的优点，即在不改变网络基础设施或网络设备或终端设备的能力的情况下，使得多个应用服务提供商能够相对于第一多媒体内容贡献高度关注的（topical）贡献以获得大的观看者或收听者团体内的观看和收听体验的个性化。有利地，出于此目的，所述多个应用服务提供商不需要执行第一多媒体内容的任何适配。即使由不同的应用服务提供商在相同时间段内提供，具有相关性的第一多媒体内容的那些适配将被本地地或由网络边缘设备执行。

根据另一实施例，所述方法包括步骤：

－将所述第一多媒体内容和/或所述至少一个第二多媒体内容解码和/或解压缩。

由此，根据传送系统的需要，可以处理已编码和/或已压缩多媒体内容。所述解码可以包括任何类型的解密。

根据又一实施例，所述方法可以包括步骤：

－根据所述简档信息将所述第三多媒体内容压缩和/或编码。

所述压缩和/或编码可以取决于接收所述第三多媒体内容的设备的类型。特别地，输出设备可能需要第三多媒体内容作为解压缩和解码信息（例如，AV接口），或者可能需要特殊类型的编码和/或压缩（例如，适用于HDMI的信息）。特别地，接收所述第三多媒体内容的设备可以是例如机顶盒的终端设备或例如连接到机顶盒的电视的输出设备。所述编码可以包括任何类型的加密。

根据另一实施例，所述简档信息包括以下各项中的至少一个：

－用户简档信息；

－用户群组简档信息；

－分配给用户的终端设备的地址信息；

－分配给用户群组的地址信息；

－地理区域或位置的标识；

－分配给地理区域或位置的地址信息；

－接收所述第一多媒体内容的设备的类型；

－接收所述第三多媒体内容的设备的类型；

－到接收所述第一或所述第三多媒体内容的设备的链路、连接、或传输路径的类型；

－多个终端设备地址。

简档信息可以被完全或部分地本地地存储在网络装置设备和/或终端设备中和/或简档信息可以被完全或部分地可由网络装置设备或终端设备远程地访问。可以通过本地输入或通过远程配置来创建和/或更新简档信息。

根据另一实施例，通过另一信道来流式传输所述第一多媒体内容。

由此，尤其是，可以有利地单独地适配经由广播或多播信道提供的现场直播多媒体内容。

另一实施例是所述控制数据包括对所述第一多媒体内容的第一参考和/或一组信道参考。

对所述第一多媒体内容的第一参考有利地使所述控制数据或所述控制数据的部分与将被相应地适配的第一多媒体内容相关联。特别地，所述第一参考允许相对于信道号码和开始时间来识别第一多媒体内容。为了进行此识别，可以评估例如EPG或ESG信息的节目信息。同样地，可以包括许多信道参考。在可通过不止一个信道来获得第一多媒体内容的情况下，可以由所述组信道参考有利地指定意图对其进行适配的信道组。该组信道还可以涵盖其中所述适配将被扩展至通过被参考信道组中的至少一个提供的任何多媒体内容的应用情况。

按照另一实施例，控制数据包括对所述至少一个第二多媒体内容的第二参考。

所述第二参考有利地允许确定如何访问所述至少一个第二多媒体内容。如果用所述信道提供，则所述第二参考可以是第二多媒体内容的开始时间。如果在所述信道外面提供，则所述第二参考可以允许确定信道号码或源地址信息及开始时间或可用性信息。确定所述至少一个第二多媒体内容的访问信息可能要求基于所述第二参考来评估节目信息，例如EPG或ESG信息。

根据另一实施例，经由点到点、单播、点到多点、多播或广播传输来依赖于所述简档信息将所述第三多媒体内容提供作为流式传输的内容。

所述简档信息可以有利地包括允许提供所述第三多媒体内容的设备判定如何提供第三多媒体内容的信息。例如，经由HDMI电缆连接到输出设备的机顶盒将使用适当的点到点协议进行第三多媒体内容的传输。例如向家庭网络的其它机顶盒提供第三多媒体内容的家庭网络中的机顶盒可以有利地基于反映家庭网络拓扑结构的简档信息来经由多播提供第三多媒体内容。为连接到DSLAM的某个终端设备提供所述第一内容的单独适配的DSLAM将由于简档信息允许由DSLAM进行的用于终端设备的单独适配和由于适配的类型而使用单播传输。所述简档信息可以从经由控制设备或远程控制设备的本地输入而得到。所述简档信息还可以从通过网络传送的网络运营商或应用服务提供商的输入而得到。同样地，可以经由所述信道来传送所述简档信息或其部分。

根据又一实施例，经由单播、多播或广播模式来提供所述信道。

根据另一实施例，所述至少一个第二多媒体内容包括对象名信息和对象属性信息。

因此，以用于解码和/或处理目的和用于内容分类的信息来有利地丰富所述至少一个第二多媒体内容。特别地，对象名信息可以使得能够借助于所述控制数据来参考所述至少第二多媒体内容或其部分，对象属性信息可以包括编码信息（例如“JPG”、“MPEGx”、“MP3”、“txt”）、对象类型信息（例如手表、汽车...）并且对象类别信息（例如汽车）可以将所述至少一个第二多媒体内容分类。

根据另一实施例，所述替换规范包括用于所述至少一个可替换对象的所述识别的逐帧视频和/或音频辨别，并且所述替换规范包括用于所述至少一个可替换对象的所述适配的逐帧适配。

因此，还可以检测并由意向对象来适当地适配第一多媒体内容中的运动可替换对象。例如，可以用蓝颜色的具有类型2的汽车的第三多媒体内容中的汽车竞赛来替换红颜色的具有类型1的汽车的第一多媒体内容中的汽车竞赛。

按照另一实施例，所述替换规范包括用于所述至少一个可替换对象的所述识别的MPEG-4标签（tagging）信息的评估。

这提供优点，即可以将可用标签信息用于所述适配，并因此减少所述适配所需的性能。

根据本发明的另一实施例，提供了一种用于第一多媒体内容的适配的装置，包括：

－接收单元，其接收所述第一多媒体内容、控制数据和所述至少一个第二多媒体内容，其中，通过信道来流式传输所述控制数据；

－处理单元，其基于所述控制数据和简档信息来确定至少一个替换规范，根据所述至少一个替换规范来识别所述第一多媒体内容中的至少一个可替换对象，并通过基于所述至少一个第二多媒体内容和所述至少一个替换规范来适配所述第一多媒体内容中的所述至少一个可替换对象而创建第三多媒体内容；以及

－提供单元，其根据所述简档信息来提供所述第三多媒体内容。

在又一实施例中，所述接收单元将所述第一多媒体内容和/或所述至少一个第二多媒体内容解压缩和/或解码。

根据另一实施例，所述提供单元根据所述简档信息将所述第三多媒体内容压缩和/或编码。

按照另一实施例，所述装置包括通信设备，特别是作为以下各项中的一个或与之相关联的通信设备：

－机顶盒；

－电视；

－计算机；

－服务器；

－用户设备；

－电话；

－个人数字助理；

－第一网络的部件；

－服务器；

－流式传输和/或内容服务器；

－核心/边缘路由器；

－接入网络DSLAM；

－DSL调制解调器。

根据另一实施例，通过所述信道来流式传输所述至少一个第二多媒体内容，其中，所述处理单元通过删除所述控制数据的部分和/或通过删除所述至少一个第二多媒体内容中的至少一个根据所述简档信息来过滤所述信道，且其中，所述提供单元根据所述简档信息来提供所述已过滤信道。

按照另一实施例，通过所述信道来流式传输所述至少一个第二多媒体内容，其中，所述接收单元接收通过附加信道流式传输的附加控制数据，其中，所述处理单元将所述控制数据、所述附加控制数据、和所述至少一个第二多媒体内容聚合到聚合信道中，其中，所述提供单元根据所述简档信息来提供所述聚合信道。

附图说明

在以下图中示出并举例说明了本发明的实施例：

图1呈现示出基本方法步骤的流程图；

图2呈现用于举例说明提供用于第一多媒体内容的适配的控制数据和至少一个第二多媒体内容的信道上的信息流的实施例的简化方框图；

图3呈现用于举例说明帧结构第一多媒体内容的适配的实施例的简化方框图；

图4呈现用于举例说明由终端设备和网络设备进行的第三多媒体内容的创建的实施例的简化网络架构和数据流；

图5呈现用于举例说明通过不同信道提供的控制数据的聚合的实施例的简化数据格式；

图6呈现用于举例说明帧结构第一多媒体内容的单独适配的实施例的简化方框图；

图7呈现用于举例说明用于第一多媒体内容的适配的装置的实施例的简化方框图。

具体实施方式

下面详细地讨论目前优选实施例的完成和使用。然而，应认识到本发明提供可以在多种特定背景下体现的许多可适用发明构思。所讨论的特定实施例仅仅说明完成和使用本发明的特定方式，并且不限制本发明的范围。此外，如果未另外说明，相同的参考标号指的是相同的技术特征。只要在本申请中使用“可以”，其意指这样做的可能性以及实际技术实现。

图1呈现示出用于第一多媒体内容的适配的第一实施例的基本方法步骤的流程图。在开始（步骤100）之后，在步骤101中接收到第一多媒体内容。所述第一多媒体内容可以是任何多媒体内容，特别是通过网络提供的流式传输的多媒体内容，例如TV节目。接收第一多媒体内容的设备可以是连接到网络的任何终端设备或者在网络中或作为网络的一部分的任何网络设备。特别地，接收第一多媒体内容的设备可以是网络边缘设备，例如DSLAM，或者其可以是终端设备，例如机顶盒。第一多媒体内容可以通过网络被接收作为流式传输的内容，但是其也可以通过网络下载并递送作为例如CD、DVD、蓝光盘、USB存储器、硬盘存储器的多功能数据存储器上存储的内容，或者以上述或其它递送方法的任何混合或组合来提供。

在步骤102中，通过信道接收控制数据作为流式传输的数据。特别地，信道可以是IPTV、移动TV、卫星TV、地面TV、或电缆TV解决方案的信道。此外，接收至少一个第二多媒体内容。为了接收所述至少一个第二多媒体内容，上文相对于接收第一多媒体内容所述的所有递送选项都是可能的。特别地，可以通过所述信道提供所述至少一个第二多媒体内容作为流式传输的内容。

通过步骤101和102的执行，执行该方法步骤的设备可以处于接收每个可能已被部分地或完全地接收的第一多媒体内容、控制数据和至少一个第二多媒体内容的过程中。

在步骤103中，基于所述控制数据和简档信息来确定至少一个替换规范。一旦鉴于执行方法步骤的设备中可用的控制数据的一部分可以进行此类确定，就可以优选地执行步骤103。控制数据例如可以包括对第一多媒体内容的帧6～60的参考。此外，控制数据可以包括关于第一多媒体内容的帧的位置坐标信息和关于帧的尺寸信息。此外，控制数据可以包括对至少一个第二多媒体内容的参考，其中，所述至少一个第二多媒体内容可以例如是图片、文本、或图片和文本的任何组合，例如可以用来为公司的产品登广告的具有给定尺寸的公司的徽标。用这些控制数据，所述至少一个替换规范可以是将在帧6～60中用所述至少一个第二多媒体内容的尺寸和位置适配副本替换由坐标信息和尺寸信息确定的第一多媒体内容的原始内容的规范。例如，该替换规范的执行可以使所述公司徽标从第一多媒体内容的帧6开始出现，在随后的帧中改变其尺寸和位置，直至帧60为止，并随后消失。控制数据可以例如还包括简档信息，其指示将在慕尼黑的所有DSLAM节点中执行替换规范。通过访问本地可获得的简档信息，执行方法步骤的设备能够确定控制数据是否包括具有用于设备的相关性的替换规范。给定上述示例，位于慕尼黑的DSLAM将确定上述替换规范，执行方法步骤的不同设备将不确定上述替换规范。

在步骤113中，执行方法步骤的设备将第一和/或第二多媒体内容解压缩和/或解码，如果需要这样的话。

在步骤104中，基于所述至少一个替换规范在第一多媒体内容中识别至少一个可替换对象。给定上述示例，已经由每个帧可用的坐标和尺寸信息以及帧号信息来实现识别。根据另一示例，替换规范可以将可替换对象定义为是第一多媒体内容中的固定位置。第一多媒体内容的流上的此类固定位置可能是例如在第一多媒体内容的场景期间不改变其位置的墙壁。根据另一示例，所述控制数据可以包括对能够检测第一多媒体内容中的固定位置的检测算法的参考。

在步骤105中，由于所述第一和至少第二多媒体内容的至少相关部分的可用性，通过基于所述至少一个第二多媒体内容和所述至少一个替换规范来适配第一多媒体内容中的至少一个可替换对象而创建第三多媒体内容。给定上述示例，可以通过根据所述坐标和所述尺寸信息将所述公司徽标插入第一多媒体内容中来创建第三多媒体内容。根据上文提供的其它示例，可以通过将所述公司徽标插入所检测的第一多媒体内容的固定位置来创建第三多媒体内容，其中，该插入可能暂时分别受到控制数据和替换规范的限制。

在步骤116中，可以根据传输到后续设备的需要来将第三多媒体内容压缩和/或编码，其中，可以将压缩/编码算法和参数的必要性和细节存储为对执行方法步骤的设备本地可用或本地可访问的简档信息。

在步骤106中，根据所述简档信息来提供第三多媒体内容。特别地，到接收第三多媒体内容的设备的链路、连接或传输路径的类型可以是确定将如何提供第三多媒体内容的标准。例如，可以经由到输出设备的A/V或HDMI接口或经由特别地到终端或网络边缘设备的基于IP的流式传输来提供第三多媒体内容。本地可用或可访问的简档信息可以包括如上所述的配置数据，以便判定如何由执行方法步骤的设备来提供第三多媒体内容。

该方法以步骤107结束。

图2呈现实施例的简化方框图，其用于举例说明提供用于第一多媒体内容的适配的控制数据P1和至少一个第二多媒体内容P2、P3、P4、P5的信道202上的信息流。

信道202由网络元件200提供。网络元件200可以是例如基于IP的网络的IGMP多播路由器。其也可以是例如根据DVB-S或DVB-T标准来提供所述信道的卫星或地面天线。其还可以是例如根据DVB-C标准经由电缆网络来提供信道202的CMTS设备。

信道202被处理元件201接收。处理元件201可以是适合于所述信道202的终止的例如机顶盒的终端设备或用于信道202到终端设备或其它网络元件的进一步分发的例如DSLAM的网络元件。如所描绘的，信道202传送所述控制数据P1以及所述至少一个第二多媒体内容P2、P3、P4、P5。所述传送可以是基于分组的，包括用以通过像例如分段、排序、复用和/或FEC的适当措施来保证服务质量，例如及时可用性、传输序列完整性和低分组丢失的技术。

从逻辑的角度出发，控制数据P1除了其它信息之外特别地包括指示该分组传送控制数据的类型信息（类型＝控制）。根据图2的描绘实施例，控制数据P1包括控制数据块P1、P12、P1n，其中，每个控制数据块被构造为像控制数据块Pi。

控制数据块P1i可以包括信道数据。所述信道数据可以包括一个或多个信道参考和对信道参考列表的参考，其中，所述第一多媒体内容的所述适配可以局限于所述信道。

控制数据块P1i还可以包括目标内容数据。所述目标内容数据可以包括第一多媒体内容或其可寻址部分的名称或参考。

控制数据块P1i还可以包括简档数据。所述简档数据可以包括信息，其中，所述控制数据块P1i具有相关性，特别地，所述简档数据可以指示全局相关性（global relevance）、全国相关性、地区相关性、用户群组相关性、家庭相关性、用于单个用户或单个终端设备的单独相关性、服务提供商相关性，后者例如唯一的条件是用户/终端设备被授权使用某个服务提供商的服务。如果可以由控制数据块所表示的替换规范具有用于接收控制数据块的设备的相关性，所述简档数据可以用于判定与本地可访问简档数据的比较。

控制数据块P1i还可以包括时间数据。所述时间数据尤其可以包括起始时间、结束时间、重复时间、重复次数、时间间隔、用于至少一个事件的触发条件或任何等效时间或触发参考信息，亦即适合于相对于时间来限制替换规范。

控制数据块P1i还可以包括识别数据。所述识别数据尤其可以包括坐标信息、尺寸信息、音频/视频检测算法参考、起始/结束事件检测参数数据、检测对象、检测概率数据、检测延迟数据、检测事件持续时间、检测对象类别数据。

控制数据块P1i还可以包括替换数据。所述替换数据尤其可以包括例如指示总的、覆盖（overlay）、恒定的逐帧视频替换的需要并进一步指示比如例如无声、音量减小、音频信号覆盖或替换的音频效果的替换模式信息。同样地，所述替换数据可以包括取向信息、3D模型信息，关于根据每帧检测/根据基于时间或帧的规则的替换的信息。

控制数据块P1i还可以包括适配内容数据。所述适配内容数据尤其可以包括对所述至少一个第二多媒体内容P2、P3、P4、P5的参考、特别是插入对象名。

所述至少一个第二多媒体内容可以包括多媒体块P2。多媒体块P2可以除了其它信息之外特别地包括指示该分组传送图像数据的类型信息（类型＝图像）。多媒体块P2此外可以包括对象数据，例如尤其是对象类型、对象类别、对象编码信息、和对象代码数据。

所述至少一个第二多媒体内容可以包括多媒体块P3。除了其它信息之外，多媒体块P3可以特别地包括指示该分组传送音频和视频数据的类型信息（类型＝音频+视频）。多媒体块P3此外可以包括对象数据，例如尤其是对象类型、对象类别、对象编码信息、和对象代码数据。

所述至少一个第二多媒体内容可以包括多媒体块P4。除了其它信息之外，多媒体块P4可以特别地包括指示该分组传送音频数据的类型信息（类型＝音频）。多媒体块P4此外可以包括对象数据，例如尤其是对象类型、对象类别、对象编码信息、和对象代码数据。

所述至少一个第二多媒体内容可以包括多媒体块P5。除了其它信息之外，多媒体块P5可以特别地包括指示该分组传送视频数据的类型信息（类型＝视频）。多媒体块P5此外可以包括对象数据，例如尤其是对象类型、对象类别、对象编码信息、和对象代码数据。

图3呈现用于举例说明帧结构第一多媒体内容M1的适配的实施例的简化方框图。第一多媒体内容M1的块t1、t2、...、t6表示视频帧。控制数据C2和至少一个第二多媒体内容M21、M22是通过信道提供的，并且使得能够直接将额外内容插入第一多媒体内容的特定图像位置中。可以通过另一信道来提供第一多媒体内容M1。

所述至少一个第二多媒体内容M21、M22表示用灰色和黑色圆圈描绘的所述额外内容。这些圆圈表示可以是将被插入第一多媒体内容M1中的文本或图像的额外内容。所述控制数据C2描述哪个额外内容将在何时并如何插入所述第一多媒体内容M1的所述帧中。控制数据C2例如包括指示所述第一多媒体内容M1将被适配的目标数据。控制数据C2例如包括时间数据，指示第一多媒体内容M1的第二适配处理块t6和第一适配处理块t5和t6。控制数据C2可以包括识别数据，其根据第一多媒体内容M1的所述第一和所述第二适配来指示将插入所述额外内容的位置。控制数据C2可以包括指示与所述第一适配有关的额外内容是被描绘为灰色圆圈的内容的适配数据。控制数据C2可以包括指示与所述第二适配有关的额外内容是被描绘为黑色圆圈的内容的适配数据。此外，控制数据C2可以包括替换数据，其指示具有原始尺寸的逐帧覆盖将被用于相对于所述第一和第二适配来适配所述第一多媒体内容M1。更确切地说，根据实施例，用灰色圆圈表示的额外内容将被插入位置坐标loc1处的块t5和t6中，而用黑色圆圈表示的额外内容将被插入位置坐标loc2处的块t6中。

所述替换数据也可以包括用于要插入的额外内容的固定或可变尺寸信息。所述可变尺寸信息可以表示每帧变化的尺寸。所述可变尺寸信息也可以表示在x和y坐标方面不同地变化的尺寸。所述识别数据也可以包括指定其中将放置额外内容的图像区域的性质（property）的变量。例如，此类图像区域可以是固定图像区域，其例如可以以某个指定概率至少在指定的时间内是固定的。所述识别数据也可以包括内容类型的定义且所述图像区域可以由所述类型的内容将以给定概率出现在所述图像区域中这一事实来确定。例如，出于对某个椅子做广告的目的，在所述识别数据中叙述（address）的算法可以确定以85%的给定概率在桌子的前面找到椅子，因此识别将插入用于所述椅子的广告的位置。所述替换数据也可以包括取向信息、3D信息、透视投影信息中的每一个和任何组合，其更详细地指定所述额外内容将被如何插入所述第一多媒体内容M1中。

根据本实施例，所述控制数据C2允许推导关于所述第一多媒体内容M1的块t5中的位置loc1、块t6中的位置loc1、和块t6中的位置loc2的替换规范。可替换对象是由在移位到位置loc1时灰色圆圈所表示的额外内容所定义的块t5的区域、在移位到位置loc1时灰色圆圈所表示的额外内容所定义的块t6的区域、和在移位到位置loc2时黑色圆圈所表示的额外内容所定义的块t6的区域。通过用灰色圆圈和黑色圆圈所表示的额外内容代替可替换对象来适配所述块t5和t6创建第三多媒体内容M3。块t1、t2、t3、t4、t5'、t6'表示所述第三多媒体内容M3的视频帧。特别地，在图3中举例说明位置loc1和loc2中的块t5'和t6'中的所述额外内容的插入。所述第一和所述第三多媒体内容的块t1、t2、t3、t4是相同的。通过到所述第三多媒体内容M3的块t5'的变换来适配所述第一多媒体内容M1的块t5。通过到所述第三多媒体内容M3的块t6'的变换来适配所述第一多媒体内容M1的块t6。

图4呈现用于实施例的简化网络架构和数据流，其举例说明由终端设备408和网络设备404进行的第三多媒体内容M3、M3'的创建。

TV/音频头端400从不同的TV/音频服务提供商收集信道并使其可用于经由网络403来访问。特别地，例如从所述TV/音频服务提供商中的一个接收到的第一多媒体内容M1经由通信关系401而提供到网络403的IGMP多播路由器402。IGMP多播路由器402响应于经由通信关系410接收到的IGMP加入请求消息而经由通信关系411向特别地例如DSLAM的网络设备404提供第一多媒体内容M1。在图4中由于简化的原因而未描绘从网络设备404到IGMP路由器402路径和相反的路径中的网络403的网络元件和部件，例如BRAS、以太网交换机、其它路由器、视频服务器、桥接器等。

应用服务提供商、特别是例如登广告者或内容提供商的服务器460经由通信关系461向IPTV中间件服务器462提供包括多媒体数据的控制信息，所述IPTV中间件服务器462向终端设备407和终端设备408提供服务。所述IPTV中间件服务器462经由通信关系464、463、和IGMP路由器402向所述网络设备404提供控制数据C2和至少一个第二多媒体内容M2，其中，所述控制数据C2和所述至少一个第二多媒体内容M2被作为信道提供并对应于由所述服务器460提供的所述控制信息和所述多媒体信息且可以由此导出。所述网络元件404可以暂时存储所述控制数据C2和所述至少一个第二多媒体内容M2。所述控制数据C2的所述暂时存储可以采取被接收到时的原始形式或从所述控制数据C2导出的替换规范的形式。如果所述终端设备407和408请求对所述第一多媒体内容M1的访问，则可以针对相关替换规范的可用性来进行暂时存储。已被临时存储的所述控制数据C2或相关替换规范的过期部分可以被所述网络元件404自动删除。

终端设备407和408是支持IGMP的，并且两者都可能已请求访问第一多媒体内容M1。为此，所述终端设备407可以经由通信关系405向所述网络元件404发送IGMP加入请求消息。同样地，出于同一目的，终端设备408可以经由通信关系406向网络元件404发送IGMP加入请求消息。

所述网络设备404评估在所述控制数据C2内提供的简档信息，并且由于本地存储的简档信息而可以确定所述第一多媒体内容M1需要相对于用于所述终端设备407的区域请求定制的适配，这必须由网络设备404本身来提供。这就是为什么网络设备404可以根据从所述控制数据C2导出的至少一个相应替换规范来创建第三多媒体内容M3'，其中，基于所述至少一个第二多媒体内容M2和所述至少一个相应替换规范来执行所述第三多媒体内容M3'的所述创建。网络设备404可以经由通信关系412向所述终端设备407提供所述第三多媒体内容M3'。另外，所述网络设备404可以经由通信关系412向所述终端设备407提供已修改控制数据和/或至少一个第二多媒体内容M2作为信道以用于可能的后续必要处理。

所述网络设备404还评估在所述控制数据C2内提供的简档信息，并且由于本地存储的简档信息而可能发现所述第一多媒体内容M1不需要用于所述终端设备408的适配，这必须由网络设备404本身来提供。这就是为什么网络设备404可以经由通信关系409向所述终端设备408转送第一多媒体内容M1。另外，所述网络设备404可以经由通信关系409向所述终端设备408提供所述控制数据C2和所述至少一个第二多媒体内容M2以用于可能的后续必要处理。

TV 430可以经由电缆连接450连接到所述终端设备407。电话431、特别是视频电话可以经由电缆连接451连接到所述终端设备407。PC 432可以经由LAN或WLAN连接452连接到所述终端设备407。所述PC 432可能已请求访问所述第一多媒体内容M1。响应于由于所述PC 432的相关请求而引起的对访问所述第一多媒体内容M1的其请求，所述终端设备407经由通信关系412可能连同已修改控制数据和/或至少一个第二多媒体内容M2一起接收所述第三多媒体内容M3'。如果所述终端设备407未接收到所述已修改控制数据，则终端设备407向所述PC 432输出所述第三多媒体内容M3'。如果所述终端设备407接收到所述已修改控制数据，则所述终端设备相对于将由终端设备407执行的相关替换规范来分析所述已修改控制数据。为此，所述终端设备407还评估在所述已修改控制数据内提供的简档信息，并且由于本地存储的简档信息而可能发现所述第三多媒体内容M3'不再需要由所述终端设备407进行的进一步适配。这就是为什么终端设备407在这种情况下还可以经由连接452向所述PC 432转送所述第三多媒体内容M3'。

TV 420可以经由电缆连接440连接到所述终端设备408。电话421、特别是视频电话可以经由电缆连接441连接到所述终端设备408。PC 422可以经由LAN或WLAN连接442连接到所述终端设备408。所述TV 420或所述终端设备408还可能已请求访问所述第一多媒体内容M1。响应于对访问所述第一多媒体内容M1的其请求，所述终端设备408经由通信关系409连同所述控制数据C2和所述至少一个第二多媒体内容M2一起接收所述第一多媒体内容M1。所述终端设备408评估在所述控制数据C2内提供的简档信息，并且由于本地存储的简档信息而可以确定所述第一多媒体内容M1需要相对于用于所述终端设备408的用户的请求个性化的适配。这就是为什么终端设备408可以根据从所述控制数据C2导出的至少一个相应替换规范来创建第三多媒体内容M3，其中，基于所述至少一个第二多媒体内容M2和所述至少一个相应替换规范来执行所述第三多媒体内容M3的所述创建。终端设备408可以经由电缆连接440向所述TV 420提供所述第三多媒体内容M3。

本实施例举例说明：根据所述网络元件404和所述终端设备407、408的功能，例如登广告者可以向高值内容中添加个性化广告，如同广告是所述第一多媒体内容M1的一部分一样；并且还使得内容制作人能够动态地使其内容例如适应用户品味、偏好、兴趣、或例如适应趋势、装束、对某些地理位置的兴趣。为此，有利地提供通信机制以在最初不存在的视频流上插入例如所述至少一个第二多媒体内容M2的额外内容，其诸如可以根据用户的简档和/或地理位置自动地选择的个性化信息，例如广告。除访问所述第三多媒体内容M3、M3'之外，用户还可能具有访问未被根据所述控制数据C2和所述至少一个第二多媒体内容M2适配的所述第一多媒体内容M1的选项。

应强调的是本实施例不限于所述IGMP协议。已选择了IGMP，因为其现在是最常见的多播协议，其它多播或单播协议或此类协议的任何组合也适用于本实施例。特别地，所述网络403不需要支持IGMP，所述网络元件402、404和所述终端设备407、408不需要利用IGMP或多播。所述终端设备407、408每个可以特别地是STB。相对于STB启动时的正常操作，STB将调谐（例如，IGMP加入请求）至公告多播信道，并随后至SW多播信道以下载并运行正确/更新的STB SW。此后，用户将可以通过进行STB调谐来选择新信道或EPG/请求新信道（例如，IGMP加入请求）且可能释放（例如，IGMP离开请求）当前信道。提供所述控制数据C2的所述信道可以由应用服务提供商或由IPTV服务运营商来创建，并且可以包含内容的静态图像、内容的短流、乃至文本、以及所述控制数据C2。如果所述第一多媒体内容M1的适配将到达所有最终用户，则可以广播所述信道。如果所述第一多媒体内容M1的适配将到达用户的子集，诸如具有相同观看习惯或购物模式的团体或一组用户，则可以多播所述信道，其中，在这种情况下，只有此用户子集将可以访问所述第三多媒体内容M3、M3'。如果额外内容、特别是所述至少一个第二多媒体内容M2根据单个用户的简档被用于个性化，例如涉及事情诸如购买习惯、跳过广告节目简档、因特网导航、单个用户的书签信息、观看习惯、服务订阅等，可以单播所述信道。可以预期所述信道在与提供例如所述第一多媒体内容M1的另一信道相比较时具有更加有限的带宽，因为仅需要传送将被连同指定如何插入所述额外内容的所述控制数据C2一起插入的所述额外内容。可以由专门或专用公司、利益集团、个人、登广告者、品牌公司、或提供多媒体内容的这些或其它公司的任意集合来产生由所述信道传送的信息。可以连续地、周期性地或在特定的时刻提供所述信道。可以经由所述另一信道来提供所述第一多媒体内容M1。所述信道和所述另一信道可以同步或可以不同步。如果同步，则与根据所述控制数据C2的帧i的适配有关的来自所述另一信道的帧i和来自所述信道的帧ii两者同时到达。替换是提供使所述帧ii关联到相应帧i的时刻ti，其中，可以在可以被逐帧构造的所述控制数据C2内提供所述时刻ti。无论所述信道和所述另一信道的同步如何，如果连续地发送所述信道，则在所述另一信道的缓冲期间，可以将帧i映射到帧ii。如果被周期性地发送，则此类配对仅在时间上以特定的时间间隔发生，并且可以经由所述另一信道的缓冲来解决。例如，对于不同的5分钟（from 5 to 5 minutes），可以发生图像的固定区域上的广告插入。如果在特定时刻发送，则此类配对仅在这些时刻发生。对于后者，示例可以是广告在图像的固定区域中或在可能的位置中的随机插入，诸如每当道路出现在所述第一多媒体内容M1内时的给定汽车广告。除当前已知的信道，像其中不止一个可以被同时接收的视频/音频信道、控制被周期性地发送的信道的公告信道、应启动请求被发送的SW版本公告信道、和应请求被发送的EPG信道之外，相对于实施方式而言具有被定义且可用于所述信道的一个附加类型的信道可能是有利的。

图5呈现实施例的简化数据格式，用于举例说明通过不同信道提供的控制数据的聚合。通过第一信道CH来提供控制数据C2和至少一个第二多媒体内容M2。经由第二信道CH’来提供另一控制数据C2'和至少一个另一第二多媒体数据M2'。所述第一信道CH和所述第二信道CH’可以通过网络来提供并且被网络设备或终端设备端接，该网络设备或终端设备聚合经由所述第一信道CH和所述第二信道CH’接收到的信息以便通过所述网络作为第三信道CH”来提供。

所述至少一个第二多媒体内容M2表示用灰色圆圈描绘的额外内容。所述至少一个另一第二多媒体内容M2'表示用灰色和黑色圆圈描绘的额外内容。这些圆圈表示可以是可以被插入第一多媒体内容M1中的文本或图像的额外内容。

所述控制数据C2描述哪个额外内容将在何时并如何插入所述第一多媒体内容M1的帧t5和t6中。控制数据C2例如包括指示所述第一多媒体内容M1将被适配的目标数据。控制数据C2例如包括时间数据，指示第一多媒体内容M1的第一适配处理帧（adaptation addresses frame）t5和t6。控制数据C2可以包括根据第一多媒体内容M1的所述第一适配来指示将插入所述额外内容的第一位置loc1的识别数据。控制数据C2可以包括指示与所述第一适配有关的额外内容是被描绘为灰色圆圈的内容的适配数据。控制数据C2可以包括图5中未描绘的其它数据，特别是替换数据。

所述其它控制数据C2'描述哪些其它额外内容将在何时并如何插入所述第一多媒体内容M1的帧t5、t6。其它控制数据C2'例如包括指示所述第一多媒体内容M1将被适配的目标数据。其它控制数据C2'例如包括时间数据，指示第一多媒体内容M1的第三适配处理帧t6和第二适配处理帧t5。其它控制数据C2'可以包括根据第一多媒体内容M1的所述第二适配和所述第三适配来指示将插入所述其它额外内容的所述第一位置loc1和第二位置loc2的识别数据。其它控制数据C2'可以包括指示与所述第二适配有关的其它额外内容是被描绘成灰色圆圈的内容的适配数据。其它控制数据C2'可以包括指示与所述第三适配有关的其它额外内容是被描绘成黑色圆圈的内容的适配数据。其它控制数据C2'还可以包括图5未描绘的其它数据，特别是替换数据。

根据所述控制数据C2，将相对于被描绘为灰色圆圈的所述额外内容在位置loc1处适配所述第一多媒体内容M1的帧t5和t6。根据所述其它控制数据C2'，将相对于被描绘为灰色圆圈的所述其它额外内容在位置loc1处适配所述第一多媒体内容M1的帧t5，并且将相对于被描绘为黑色圆圈的所述另一额外内容在位置loc2处适配所述第一多媒体内容M1的帧t6。假设被描绘成灰色圆圈的所述额外内容与被描绘成灰色圆圈的所述另一额外内容相同，所述第一和所述第二信道的聚合去除冗余的控制和第二多媒体数据。

对于所述第三信道CH"而言，提供至少一个聚合第二多媒体内容M2"就足够了，其与所述至少一个另一第二多媒体内容M2'相同。

此外，可以通过所述第三信道CH"来提供聚合控制数据C2"，其由所述控制数据C2和所述其它控制数据C2'组成。所述聚合控制数据C2"描述哪个所述额外内容或所述其它额外内容将在何时并如何插入所述第一多媒体内容M1的帧t5、t6中。聚合控制数据C2"例如包括指示所述第一多媒体内容M1将被适配的目标数据。聚合控制数据C2"例如包括时间数据，指示所述第一多媒体内容M1的第四适配处理帧t5、t6和第一多媒体内容M1的第五适配处理帧t6。聚合控制数据C2"可以包括根据第一多媒体内容M1的所述第四适配和所述第五适配来指示将插入所述其它额外内容的所述第一位置loc1和第二位置loc2的识别数据。聚合控制数据C2"可以包括指示与所述第四适配有关的其它额外内容是被描绘成灰色圆圈的内容的适配数据。聚合控制数据C2"可以包括指示与所述第五适配有关的其它额外内容是被描绘成黑色圆圈的内容的适配数据。聚合控制数据C2"还可以包括图5未描绘的其它数据，特别是替换数据。

并且，可以存在多个所述信道，其中，每个信道提供可以专用于所述多个所述信道中的所述信道的控制数据和至少一个多媒体内容。所述多个还可以具有用于访问所述第一多媒体内容M1的单个网络设备或终端设备的相关性。所述多个所述信道中的每个信道可以相对于提供所述第一多媒体内容M1的其它信道而传送用于例如广告或个性化内容的参考位置和尺寸信息。可以将所述多个所述信道中的每个信道分配给与分配给不同登广告者的所述多个所述信道中的另一信道相比在不同的部分和/或不同的时刻插入内容的登广告者。特别地，出于资源使用的优化和效率原因，可以将所述多个所述信道中的所有信道分解成将被提供给单个网络或终端设备的单个等价信道。所述多个所述信道中的每个信道可以专用于某些主题或地理位置。例如，流行电影可能显示用于第一国家中的第一鞋品牌和用于第二国家中的第二鞋品牌的广告。一个聚合信道可以将所述多个所述信道的控制数据和多媒体数据聚合在一起，其中，所述控制数据可以包括允许确定用于单个用户或用户的单个终端设备的所述控制数据的一部分的相关性的目标数据。因此，聚合信道可以传送并再次提供用于单个用户或用户的终端设备的所有相关的控制数据和多媒体数据，如同尚未执行聚合一样。如果不同的应用服务提供商、特别是登广告者处理所述第一多媒体内容M1的同一可替换对象，则可以定义规则，特别是个性化规则，例如基于优先级的规则，其能够防止所述可替换对象由于不止一个替换规范的执行而被不一致地适配。同样地，所述第一多媒体内容M1的适配不限于所述另一信道。所述控制数据也可以包括信息以在通过许多不同信道来提供时包括所述第一多媒体内容M1的适配。如果例如在第一时间通过信道x并在第二时间通过信道y来提供所述多媒体内容M1，则当通过所述信道x提供时和当通过所述信道y提供时，所述控制数据可以包括所述信道和时间信息以覆盖所述第一多媒体内容M1的适配。

图6呈现实施例的简化方框图，用于举例说明帧结构第一多媒体内容M1的个别适配。所述第一多媒体内容M1的块t1、t2、...、t4表示视频帧。控制数据C2和至少一个第二多媒体内容M2是通过使用通信关系602的信道提供的，并使得能够向第一多媒体内容M1的特定图像位置中直接插入额外内容。可以通过使用通信关系601的另一信道来提供第一多媒体内容M1。所述信道和所述另一信道被提供给特别地可以是DSLAM的网络设备DSLAME。

第一终端设备611可以经由通信关系621连接到所述网络设备DSLAME。第二终端设备612可以经由通信关系622连接到所述网络设备DSLAME。第三终端设备613可以经由通信关系623连接到所述网络设备DSLAME。所述通信关系可以是基于电缆和消息的，特别是例如基于DSL接入线路。所述终端设备611经由电缆631连接到第一TV（未描绘）。所述终端设备612经由电缆632连接到第二TV（未描绘）。所述终端设备613经由电缆633连接到第三TV（未描绘）。所述终端设备611、612、613每个可能已分别请求访问所述另一信道和所述第一多媒体内容M1。

所述网络设备DSLAME基于可以由网络运营商经由通信关系670提供的本地可用和/或存储的简档信息P来评估所述控制数据C2。所述网络设备DSLAME评估在所述控制数据C2内提供的简档信息并由于所述本地可用和/或存储的简档信息P而可以确定所述第一多媒体内容M1需要相对于用于每个所述终端设备611、612、613的个性化的适配，这必须由所述网络设备DSLAME本身来提供。

所述控制数据C2包括指示所述第一多媒体内容M1的目标数据、指示所述块t4的时间数据、由位置loc1和loc2给定的识别数据、以及关于由灰色圆圈表示的多媒体内容和由黑色圆圈表示的多媒体内容的适配内容数据，这两者都被包括在所述至少一个第二多媒体内容M2中且由此可用于所述网络设备DSLAME。出于解聚合的目的，所述控制数据C2包括第一参考数据r612，其允许检测为所述终端设备612创建第三多媒体内容M3的必要性，其特征在于在位置loc1上具有用所述灰色圆圈表示的额外内容的所述块t4的适配。类似地，所述控制数据C2包括第二参考数据r613，其允许检测为所述终端设备613创建其它第三多媒体内容M3'的必要性，其特征在于在位置loc2上具有用所述黑色圆圈表示的额外内容的所述块t4的适配。根据特别地基于所述控制数据C2确定的替换规范，所述第一多媒体内容M1被提供给终端设备611，所述第三多媒体内容M3被提供给终端设备612，所述其它第三多媒体内容M3'被提供给终端设备613。所述终端设备611、612、613可以将所述第一多媒体内容M1，所述第三多媒体内容M3和所述其它第三多媒体内容M3'分别转送到经由电缆631、632和633连接的所述TV。所述转送可以是帧构造的，并且透明地（transparently）没有变化，所述转送还可以在解压缩、解码、解密或由于到所述TV的连接的特性而引起的适配比如A/V适配或HDMI适配之后。图6示出根据帧结构例示经由所述电缆631、632、633中的每一个转送的多媒体内容。

图7呈现用于举例说明用于第一多媒体内容M1的适配的装置的实施例的简化方框图。

第一装置DSLAME可以接收第一多媒体内容M1，其还可以接收控制数据C2和至少一个第二多媒体内容M2。通过网络上的信道、特别是例如通信网络中的多播信道来提供所述控制数据C2和所述至少一个第二多媒体内容M2。所述第一多媒体内容M1的接收可以是例如通过所述网络上或另一网络上的另一信道或通过海量存储设备上的递送，所述海量存储设备例如CD、DVD、蓝光盘、USB存储器设备或任何其它多功能存储设备。所述第一多媒体内容M1、所述控制数据C2、和所述至少一个第二多媒体内容M2的递送和接收可以是由于在前用户的或网络运营商的请求而引起的。

所述第一装置DSLAME特别地可以具有接收单元701、处理单元702、提供单元703、和控制接口单元704。所述接收单元701可以接收所述第一多媒体内容M1并可以经由内部通信关系751、特别是基于消息或帧的连接来将其提供到所述处理单元702。所述接收单元701可以将所述第一多媒体内容M1透明地提供给所述处理单元702，或者其可以根据所述处理单元702的需要或所述内部通信关系751的需要来对所述第一多媒体内容M1进行预处理，特别地，所述接收单元701可以将所述第一多媒体内容M1解压缩、解码、和/或解密。所述接收单元701可以接收所述控制数据C2和所述至少一个第二多媒体内容M2并可以经由内部通信关系752，特别是基于消息或帧的连接来将其提供到所述处理单元702。所述接收单元701还可以将所述控制数据C2和/或所述至少一个第二多媒体内容M2透明地提供给所述处理单元702，或者其可以根据所述处理单元702的需要和/或所述内部通信关系752的需要来预处理所述控制数据C2和/或所述至少一个第二多媒体内容M2，特别地，所述接收单元701可以将所述控制数据C2和/或所述至少一个第二多媒体内容M2解压缩、解码、和/或解密。

所述第一装置DSLAME可以经由通信关系756连接到所述第一控制设备FBE1。所述第一控制设备FBE1可以是经由IR连接、射频链路、本地电缆连接或网络连接与所述第一装置DSLAME通信的远程控制设备。所述第一控制设备FBE1可以被用户或被网络运营商用于所述第一装置DSLAME的控制。特别地，所述第一装置DSLAME可以是STB，在这种情况下，所述第一控制设备FBE1可以是用于STB的控制的远程控制设备。同样地，所述第一装置DSLAME可以是DSLAM，在这种情况下，第一控制设备FEB1可以是网络运营商的远程服务器或本地连接的PC。特别地，所述第一装置DSLAME可以经由所述通信关系756来接收控制命令/信号和/或第一简档信息。所述控制命令/信号和/或所述第一简档信息可以被所述控制接口单元704接收并经由内部通信关系757转送到所述处理单元702。

所述处理单元702可以基于所述控制数据C2和所述第一简档信息来确定至少一个第一替换规范，所述处理单元702可以根据所述至少一个第一替换规范来识别所述第一多媒体内容M1中的至少一个第一可替换对象，并且所述处理单元702可以通过基于所述至少一个第二多媒体内容M2和所述至少一个第一替换规范来适配所述第一多媒体内容M1中的所述至少一个第一可替换对象来创建第三多媒体内容M3。所述处理单元702可以经由内部通信关系753将所述第三多媒体内容M3提供给所述提供单元703。所述提供单元703可以根据所述第一简档信息将所述第三多媒体内容M3提供给第一输出设备AE1。所述第三多媒体内容M3可以由于基于所述第一简档信息的所述控制数据C2的评估而例如专用于所述第一输出设备AE1的用户或专用于地理区域。特别地，所述提供单元703根据所述第一简档信息可以或可以不根据所述第一简档信息将所述第三多媒体内容M3压缩、编码和/或加密，所述第一简档信息可以经由所述处理单元702可由所述提供单元703访问并且其可以反映所述第一输出设备AE1相对于压缩、编码和/或加密的需要。

所述处理单元702可以基于所述控制数据C2和所述第一简档信息来确定至少一个第二替换规范，所述处理单元702可以根据所述至少一个第二替换规范来识别所述第一多媒体内容M1中的至少一个第二可替换对象，并且所述处理单元702可以通过基于所述至少一个第二多媒体内容M2和所述至少一个第二替换规范来适配所述第一多媒体内容M1中的所述至少一个第二可替换对象而创建另一第三多媒体内容M11。所述处理单元702可以经由内部通信关系754将所述另一第三多媒体内容M11提供给所述提供单元703。所述提供单元703可以根据所述第一简档信息将所述另一第三多媒体内容M11提供给第二装置STBE。由于基于所述第一简档信息的所述控制数据C2的评估，所述另一第三多媒体内容M11可以例如专用于所述第二装置STBE/所述第二装置STBE的用户或专用于地理区域。

在所述处理单元702可以不基于所述控制数据C2和所述第一简档信息来确定所述至少一个第二替换规范的情况下，可以与所述第一多媒体内容M1相同地定义所述另一第三多媒体内容M11，即，在这种情况下，所述处理单元702可以经由所述内容通信关系754将所述第一多媒体内容M1透明地传输到所述提供单元703。

特别地，根据所述第一简档信息的所述提供单元可以或可以不根据所述第一简档信息将所述另一第三多媒体内容M11压缩、编码和/或加密，所述第一简档信息可以经由所述处理单元702可由所述提供单元703访问并且其可以反映所述第二装置STBE相对于压缩、编码和/或加密的需要。

所述处理单元702也可以通过删除所述控制数据C2的部分和/或通过删除所述至少一个第二多媒体内容M2中的至少一个来根据所述第一简档信息而过滤所述信道。所述处理单元702可以经由内部通信关系755将已过滤控制数据C22和已过滤的至少一个第二多媒体内容M22提供给所述提供单元703。所述提供单元703可以根据所述第一简档信息将所述已过滤控制数据C22和所述已过滤的至少一个第二多媒体内容M22提供给第二装置STBE。有利地，所述处理单元702可以删除专门地与所述至少一个第二替换规范中的至少一个有关的所述控制数据C2的部分。此外，有利地，所述处理单元702可以删除专门地与所述至少一个第二替换规范中的至少一个有关的所述至少一个第二多媒体内容M2中的至少一个。因此，已经被用于所述第一多媒体内容M1的适配且对于任何后续适配而言不相关的所述至少一个第二多媒体内容M2和所述控制数据C2的部分可以被去除，并且不需要传送到后续网络和/或终端设备，因此降低用于所述已过滤控制数据C22和所述已过滤的至少一个第二多媒体内容M22的传输的带宽和性能要求。

特别地，所述提供单元703可以例如通过通信网络、特别是因特网、运营商的网络、IPTV网络、或本地网络将所述已过滤控制数据C22和所述已过滤的至少一个第二多媒体内容M22作为已过滤信道提供给所述第二装置STBE。此外，所述提供单元703可以将所述另一第三多媒体内容M11作为另一信道提供给所述第二装置STBE。

所述第二装置STBE可以接收所述另一第三多媒体内容M11，其还可以接收所述已过滤控制数据C22和所述已过滤的至少一个第二多媒体内容M22。可以通过网络上的所述已过滤信道、特别是例如通信网络中的多播信道来提供所述已过滤控制数据C22和所述已过滤的至少一个第二多媒体内容M22。所述另一第三多媒体内容M11的接收可以是例如通过所述网络上的所述另一信道。所述另一第三多媒体内容M11、所述已过滤控制数据C22、和所述已过滤的至少一个第二多媒体内容M22的递送和接收可以是由于在前用户的或网络运营商的请求引起的。

所述第二装置STBE特别地可以具有接收单元705、处理单元706、提供单元707、和控制接口单元708。所述接收单元705可以接收所述另一第三多媒体内容M11且可以经由内部通信关系761、特别是基于消息或帧的连接来将其提供到所述处理单元706。所述接收单元705可以将所述另一第三多媒体内容M11透明地提供给所述处理单元706，或者其可以根据所述处理单元706的需要或所述内部通信关系761的需要对所述另一第三多媒体内容M11进行预处理，特别地，所述接收单元705可以将所述另一第三多媒体内容M11解压缩、解码、和/或解密。所述接收单元705可以接收所述已过滤控制数据C22和所述已过滤的至少一个第二多媒体内容M22，并且可以经由内部通信关系762、特别是基于消息或帧的连接而将其提供到所述处理单元706。所述接收单元705还可以将所述已过滤控制数据C22和/或所述已过滤的至少一个第二多媒体内容M22透明地提供给所述处理单元706，或者其可以根据所述处理单元706的需要或所述内部通信关系762的需要来预处理所述已过滤控制数据C22和/或所述已过滤的至少一个第二多媒体内容M22，特别地，所述接收单元705可以将所述已过滤控制数据C22和/或所述已过滤的至少一个第二多媒体内容M22解压缩、解码、和/或解密。

所述第二装置STBE可以经由通信关系766连接到第二控制设备FBE2。所述第二控制设备FBE2可以是经由IR连接、射频链路、本地电缆连接或网络连接而与所述第二装置STBE通信的远程控制设备。所述第二控制设备FEB2可以被用户用于所述第二装置STBE的控制。特别地，所述第二装置STBE可以是另一STB，在这种情况下，所述第二控制设备FBE2可以是用于所述另一STB的控制的远程控制设备。特别地，所述第二装置STBE可以经由所述通信关系766来接收控制命令/信号和/或第二简档信息。所述控制命令/信号和/或所述第二简档信息可以被所述控制接口单元708接收并经由内部通信关系767转送到所述处理单元706。

所述处理单元706可以基于所述已过滤控制数据C22和所述第二简档信息来确定所述至少一个第三替换规范，所述处理单元706可以根据所述至少一个第三替换规范来识别所述另一第三多媒体内容M11中的至少一个第三可替换对象，并且所述处理单元706可以通过基于所述已过滤的至少一个第二多媒体内容M22和所述至少一个第三替换规范来适配所述另一第三多媒体内容M11中的所述至少一个第三可替换对象而创建另一第三多媒体内容M33。所述处理单元706可以经由内部通信关系763将所述另一第三多媒体内容M33提供给所述提供单元707。所述提供单元707可以根据所述第二简档信息将所述另一第三多媒体内容M33提供给第二输出设备AE2。所述另一第三多媒体内容M33可以由于基于所述第二简档信息的所述已过滤控制数据C22的评估而例如专用于所述第二输出设备AE2的用户或专用于地理区域。特别地，根据所述第二简档信息的所述提供单元707可以或可以不根据所述第二简档信息将所述另一第三多媒体内容M33压缩、编码和/或加密，所述第二简档信息可以经由所述处理单元706可由所述提供单元707访问并且其可以反映所述第二输出设备AE2相对于压缩、编码和/或加密的需要。

其它实施例举例说明如何可以将额外内容插入所述第一多媒体内容中。此类插入可以从特定图像位置处的图像的简单覆盖变化到插入的更复杂模型，范围从考虑额外内容取向、尺寸以及额外内容的更复杂格式（例如，文本和图像）。控制数据还可以不明确地指的是图像坐标，而是作为替代指的是固定图像区域、乃至将额外内容放置在此类内容可能实际上出现的位置处。

在所述控制数据内的先验信息的情况下，可以由登广告者或内容提供商先验地提供额外内容信息以及与如何插入此类额外内容有关的控制数据。额外内容可以指的是所述第一多媒体内容M1，或者额外内容可以是通用的并适用于许多TV频道。可以例如使用从内容提供商获得的信息从IPTV中间件解决方案传送相关控制数据。然后可以在DSLAM处创建所述第三多媒体内容，但是，可替换地，这也可以在TV头端处或在STB处完成。可以在由IPTV用户选择的广播信道上传送具有来回移动的演员的视频。在所述控制数据内，登广告者可以在特定的帧并在某个时间间隔期间定义广告，其在每个时刻和对于每个帧而言将位于给定位置处、具有给定尺寸、并且依照由所述至少一个第二多媒体内容提供的给定外观。可以根据最终用户的地理位置、或最终用户个人品味、或根据由运营商跟踪并用来对最终用户的信息进行个性化的消费的最终用户行为来进行这些定义。例如，登广告者可以选择为该最终用户在特定位置处为给定品牌做广告，所述特定位置对于其它最终用户而言可以改变。可以例如根据单个用户的简档来对所述额外内容进行个性化，诸如购买习惯、跳过广告节目简档、因特网导航或购买简档、用户的书签信息、用户的观看习惯、用户的服务订阅等。

也可以选择视频流上的固定位置，以便用广告来替换例如原始背景。为此，可以使用用于检测图像上的固定像素的算法来检测在特定时间段内在阈值之上的不移动的图像中的区域。可以在由IPTV最终用户选择的广播信道上传输具有来回移动的演员、但在某些帧处的背景上具有某些静态风景（保持静态达特定时间间隔）的原始视频。登广告者可以定义可能意图在时间间隔T期间被添加到电影的广告。在DSLAM处或在STB处，算法可以检查具有T1的持续时间的输入电影图像的固定部分。如果T1大于T，则另一算法可以在时间间隔T期间将定义广告的图像投影到图像的固定部分中。这可以针对实况广播完成，要求处理元件处的具有相关延迟的某些缓冲能力以允许图像区域的固定检测并且将广告添加到此类区域。此类处理还可以在源处完成，并且然后采用关于前一实施例的控制数据上的固定区域的位置。

对象实际上不任意地出现。存在将发现它们的自然位置。在另一实施例中，这可以根据哪些广告可以被放置在未预定义的位置上来利用。例如，汽车登广告者可能想要在视频流上添加汽车的图像，而不指定其位置或尺寸。然后，算法可以处理图像的某些特征，并且基于训练数据，可以离线地学习将放置汽车的大概位置（及其在图像上的相应尺寸）以及根据登广告者目标的其它对象。所述算法可以使用诸如Bayesian Learning的统计工具，并且基于训练数据，可以（离线地）学习将放置手表和戒指的可能位置及其在图像上的相应尺寸。因此，一个人可以预期在手指上找到戒指并在手上找到手表，其具有适当尺寸。在这种情况下，所述控制数据可以特别地包括对象模型－戒指的3D结构和图像渲染、指示将要插入额外内容的方式是通过自然发生位置的特殊代码－所述算法然后可以根据其到所述视频中的投影来自动地确定用于放置对象的位置、尺寸和取向，由此创建所述第三多媒体内容。

用MPEG-4的未来版本，视频上的图像将变成分解为标签对象，由此实现更容易且更廉价的实施方式，因为图像将已被分解成对象，允许基于家庭硬件的更廉价的实施例。

缩写（尚不完整/将更新）

A/V                音频/视频

BRAS             宽带接入服务器

CD                 压缩盘

DSL               数字用户线路

DSLAM          数字用户线路接入复用器

DTV               数字电视

DVB               数字视频广播

DVB-C           数字电缆视频广播

DVB-S           数字卫星视频广播

DVB-T           数字地面视频广播

DVD               数字多功能盘

EPG               电子节目指南

ESG               电子服务指南

FEC               前向纠错

HD                 高清晰度

HDMI             高清晰度多媒体接口

HDTV            高清晰度电视

HTML            超文本标记语言

IGMP             因特网组管理协议

IP                   网际协议

IPTV              网际协议电视

IR                   红外

LAN               局域网

MP3               MPEG-1音频层3

MPEG            运动图像专家组

PC                  个人计算机

PCM              脉冲编码调制

PDA               个人数字助理

QoS               服务质量

PVR               个人录像机

SD                  标准清晰度（Standard Definition）

SDH               同步数字分级

SDTV             标准清晰度电视

SMS               短信息服务

STB               机顶盒

SW                 软件

TV                 电视、Fernsehen、Fernsehgerat

URL               统一资源定位符

USB               通用串行总线

VoD                视频点播

WLAN          无线局域网

Claims (15)

1.一种用于第一多媒体内容（M1、M11）的适配的方法，包括： 

－接收（101）所述第一多媒体内容（M1、M11）； 

－接收控制数据（C2、C22）和至少一个第二多媒体内容（M2、M22），其中，通过信道来流式传输所述控制数据（C2、C22）（102）； 

－基于所述控制数据（C2、C22）和简档信息来确定至少一个替换规范（103）； 

－根据所述至少一个替换规范来识别所述第一多媒体内容（M1、M11）中的至少一个可替换对象（104）； 

－通过基于所述至少一个第二多媒体内容（M2、M22）和所述至少一个替换规范来适配所述第一多媒体内容（M1、M11）中的所述至少一个可替换对象而创建第三多媒体内容（M11、M3、M33）（105）； 

－根据所述简档信息来提供所述第三多媒体内容（M11、M3、M33）（106）。

2.根据权利要求1所述的方法，其中，通过所述信道来流式传输所述至少一个第二多媒体内容（M2、M22）。

3.根据权利要求2所述的方法，包括： 

－通过删除所述控制数据（C2、C22）的部分和/或通过删除所述至少一个第二多媒体内容（M2、M22）中的至少一个来根据所述简档信息而过滤所述信道，以及 

－根据所述简档信息来提供所述已过滤信道。

4.根据权利要求2所述的方法，包括： 

－接收通过附加信道流式传输的附加控制数据； 

－将所述控制数据（C2、C22）、所述附加控制数据、和所述至少一个第二多媒体内容（M2、M22）聚合到聚合信道中； 

－根据所述简档信息来提供所述聚合信道。

5.根据前述权利要求中的任何一项所述的方法，包括： 

－将所述第一多媒体内容（M1、M11）和/或所述至少一个第二多媒体内容（M2、M22）解码/或解压缩（113）。

6.根据前述权利要求中的任何一项所述的方法，包括： 

－根据所述简档信息来将所述第三多媒体内容（M11、M3、M33）压缩和/或编码（116）。

7.根据前述权利要求中的任何一项所述的方法， 

其中，通过另一信道来流式传输所述第一多媒体内容（M1、M11）。

8.根据前述权利要求中的任何一项所述的方法， 

其中，所述控制数据（C2、C22）包括对所述第一多媒体内容（M1、M11）的第一参考和/或一组信道参考，以及

其中，所述控制数据（C2、C22）包括对所述至少一个第二多媒体内容（M2、M22）的第二参考。

9.根据前述权利要求中的任何一项所述的方法， 

其中，所述至少一个第二多媒体内容（M2、M22）包括对象名信息和对象属性信息。

10.根据前述权利要求中的任一项所述的方法，其中，所述替换规范包括用于所述至少一个可替换对象的所述识别的逐帧视频和/或音频辨别，

所述替换规范包括用于所述至少一个可替换对象的所述适配的逐帧适配。

11.根据前述权利要求中的任一项所述的方法，其中，所述替换规范包括用于所述至少一个可替换对象的所述识别的MPEG-4标签信息的评估。

12.一种用于第一多媒体内容（M1、M11）的适配的装置，包括： 

－接收单元（701、705），

接收所述第一多媒体内容（M1、M11）、控制数据（C2、C22）和至少一个第二多媒体内容（M2、M22），其中，通过信道来流式传输所述控制数据（C2、C22）； 

－处理单元（702、706），

基于所述控制数据（C2、C22）和简档信息来确定至少一个替换规范，

根据所述至少一个替换规范来识别所述第一多媒体内容（M1、M11）中的至少一个可替换对象，以及

通过基于所述至少一个第二多媒体内容（M2、M22）和所述至少一个替换规范来适配所述第一多媒体内容（M1、M11）中的所述至少一个可替换对象而创建第三多媒体内容（M11、M3、M33）；以及 

－提供单元（703、707），

根据所述简档信息来提供所述第三多媒体内容（M11、M3、M33）。

13.根据权利要求12所述的装置，其中，所述提供单元（703、707）根据所述简档信息将所述第三多媒体内容（M11、M3、M33）压缩和/或编码。

14.根据权利要求12或13中的任一项所述的装置，

其中，通过所述信道来流式传输所述至少一个第二多媒体内容（M2、M22）， 

其中，所述处理单元（702、706）通过删除所述控制数据（C2、C22）的部分和/或通过删除所述至少一个第二多媒体内容（M2、M22）中的至少一个来根据所述简档信息而过滤所述信道，以及 

其中，所述提供单元（703、707）根据所述简档信息来提供所述已过滤信道。

15.根据权利要求12～14中的任一项所述的装置， 

其中，通过所述信道来流式传输所述至少一个第二多媒体内容（M2、M22）， 

其中，所述接收单元（701、705）接收通过附加信道流式传输的附加控制数据, 

其中，所述处理单元（702、706）将所述控制数据（C2、C22）、所述附加控制数据、和所述至少一个第二多媒体内容（M2、M22）聚合到聚合信道中， 

其中，所述提供单元（703、707）根据所述简档信息来提供所述聚合信道。

Images