CN101652931A - 用于将覆盖内容插入到具有转换速率能力的视频信号中的方法、设备和系统 - Google Patents

Abstract

本发明提供用于将覆盖内容插入到视频信号中的方法、设备和系统。接收含有覆盖内容的覆盖内容信号。另外，从视频源接收经压缩视频信号并对其进行解码。识别所述经解码视频信号的插入窗口部分。处理所述覆盖内容信号和所述经解码视频信号的所述插入窗口部分以产生所述视频信号的经修改插入窗口部分。接着处理所述视频信号和所述经修改插入窗口部分以产生经修改视频信号。可在所述覆盖内容插入过程期间修改所述视频信号的数据速率。

Description

用于将覆盖内容插入到具有转换速率能力的视频信号中的方法、设备和系统

本申请案主张2006年9月18日申请的第60/845,707号美国临时申请案的权益，所述临时申请案以引用的方式并入本文中并形成本文的一部分。

技术领域

本发明涉及视频处理的领域。更明确地说，本发明提供用于将覆盖内容插入到视频信号中的方法、设备和系统。另外，本发明的某些实例实施例是针对在视频信号转换速率期间将覆盖内容插入到视频信号中。

背景技术

如今的电视图像经常被额外内容(本文中称为“覆盖内容”)覆盖，例如文本消息、标志、动画或表示完全运动视频的子窗口。此类经编辑信号可用于传达紧急信息、目标广告，或用于定制与全屏节目或广告相关联的消息。可存在一个以上候选覆盖内容可用于在特定时间插入到特定视频流中。尽管已可容易利用用于将新内容插入或覆盖到全屏视频中的设备，但此设备通常经设计以与未经压缩的视频信号一起操作，且其用途仅针对那些应用。

基于例如MPEG等压缩标准的经编码视频信号向视频编辑过程提出了特殊挑战。图1中展示用于将覆盖内容插入到视频信号中的现有技术系统。在现有技术中，在视频编辑器12处插入覆盖内容(辅助视频)在之前解码器10对视频信号进行完全解码。来自视频编辑器12的经修改视频信号接着在转发到最终目的地之前在编码器14处进行再编码。此解决方案不仅昂贵，而且其还可使视频质量降级。举例来说，选择昂贵的高质量编码器用于原始编码过程，且接着视需要精简额外硬件的成本来处理较小电缆头端中或为较有限观众服务的其它分布地点的信号，这种情况并不罕见。

尽管有可能在不使用单独解码器、编辑器和编码器的情况下直接修改视频信号，但需要解决多个问题。举例来说，例如MPEG-2和H.264等压缩标准使用运动补偿来预测特征从一个视频帧到另一视频帧的移动。然而，如果通过插入或覆盖不同的视频图像来改变这些帧的一者，那么解码器与原始编码器之间的同步会受到破坏。因此，如果使用跨越图像的经修改区与未经修改区之间的边界的运动向量来编码图像的区，那么运动预测过程将失败。

提供一种管理覆盖内容到视频信号中的插入的简化的方式将是有利的。明确地说，使覆盖内容能够与所述覆盖内容将被插入到的视频信号和/或与特定地理区中的视频信号紧密相关将是有利的。使用具有附加到覆盖内容和/或视频信号的识别信息的标记实现覆盖内容与视频信号之间的此紧密相关也将是有利的。在不使用解码器和编码器的情况下能够以覆盖内容修改经压缩视频信号将是更加有利的。这导致尤其当需要处理大量流时可观的成本节省。另外，能够使用相同的插入和覆盖设备修改视频信号的压缩比率将是有利的。

本发明的方法、设备和系统提供以上和其它优点。明确地说，本发明当与先进的转换速率系统(例如，电缆中和其它视频分布中心使用的统计多路复用器)组合时尤其有利。

发明内容

本发明提供用于将覆盖内容插入到视频信号中的方法、设备和系统。另外，本发明的某些实例实施例是针对在视频信号的转换速率期间将覆盖内容插入到视频信号中。

在本发明的一个实例实施例中，接收含有覆盖内容的覆盖内容信号。另外，从视频源接收经压缩视频信号并对其进行解码。识别所述经解码视频信号的插入窗口部分。处理所述覆盖内容信号和所述经解码视频信号的所述插入窗口部分以产生所述视频信号的经修改插入窗口部分。接着处理所述视频信号和所述经修改插入窗口部分以产生经修改视频信号。

在本发明的另一实例实施例中，可在所述覆盖内容插入过程期间修改所述视频信号的数据速率。可提供闭合回路转换速率路径用于修改视频信号的数据速率。另外，还可提供开放回路转换速率路径用于修改视频信号的数据速率。可选择闭合回路转换速率路径用于修改视频信号的插入窗口部分的数据速率。

可在闭合回路转换速率路径中提供像素量化误差控制。像素量化误差控制可包括以误差变换系数的形式从视频信号的传入像素的变换系数的量化获得误差。可对误差变换系数执行反向变换过程以提供像素域中的像素误差。可存储这些像素误差且接着在修改相关联像素的数据速率期间检索这些像素误差。像素误差可添加到从反向变换过程获得的传入像素以获得经校正像素，以便防止对应于传入像素的变换系数的量化期间再量化假象的累积。可对经校正像素执行变换过程以提供用于量化的经误差校正变换系数。

可选择闭合回路转换速率路径用于修改视频信号的I帧和P帧的数据速率。可选择开放回路转换速率路径用于修改视频信号的B帧的数据速率。一般来说，使用闭合回路转换速率路径用于修改参考帧的数据速率是有利的。存在可用于预测其它图片的图片。在MPEG-1和MPEG-2的情况下，参考帧为I帧和P帧。

闭合回路转换速率路径和开放回路转换速率路径可同时操作。举例来说，同一系统可用于处理多个视频流，且在此情况下，有可能通过从视频流中的其中下一帧可用的任一者分配帧来保持开放和闭合回路处理器的每一者繁忙。可选择闭合回路转换速率路径用于修改各种视频信号的I帧和P帧的数据速率，且可选择开放回路转换速率路径用于修改各种视频信号的B帧的数据速率。

在一些情况下，开放回路转换速率路径和闭合回路转换速率路径两者均可用于处理视频信号的I帧和P帧。类似地，开放回路转换速率路径和闭合回路转换速率路径两者均可用于处理视频信号的B帧。

可提供额外开放回路转换速率路径用于修改视频信号的数据速率。两个开放回路转换速率路径和所述闭合回路转换速率路径可同时操作。所属领域的技术人员将了解，可视需要提供额外开放或闭合回路转换速率路径，以便增加系统的处理速度。

开放回路转换速率路径可包括：对视频信号的可变长度解码以提供经量化变换系数；对变换系数执行反向量化操作以按比例缩放变换系数；对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；以及对经再按比例缩放变换系数的可变长度编码从而以所需数据速率提供视频信号。

在本发明的另一实例实施例中，可提供模糊处理模式和插入处理模式中的至少一者用于实行处理步骤。所述模糊处理模式可操作以用于处理视频信号的其中所述视频信号的当前像素区块的运动向量参考插入窗口的一部分的模糊区。所述插入处理模式可操作以用于处理覆盖内容信号和视频信号的插入窗口部分以产生经修改插入窗口部分。

另外，可提供正常处理模式用于当视频信号不含有插入窗口时处理所述视频信号。正常处理模式可包括：对视频信号的可变长度解码以提供经量化变换系数；对变换系数执行反向量化操作以按比例缩放变换系数；对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为像素值；将像素值与经运动补偿像素误差求和以提供经误差补偿像素值；对经误差补偿像素值执行变换过程以产生经误差补偿变换系数；对经误差补偿变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；以及对经再按比例缩放变换系数的可变长度编码从而以所需数据速率提供视频信号。

经运动补偿像素误差可通过以下操作获得：以像素误差的形式从量化操作获得误差，并存储所述像素误差。可在对相关联像素执行运动补偿操作时检索所述存储的像素误差。可接着处理像素误差和相关联像素以提供经运动补偿像素误差。变换过程之前像素值与经运动补偿像素误差求和防止量化操作期间再量化假象的累积。

可提供受限处理模式用于在未选择模糊处理模式、插入处理模式和/或正常处理模式时实行处理步骤的至少一者。受限处理模式可包括：对视频信号的可变长度解码以提供经量化变换系数；对变换系数执行反向量化操作以按比例缩放变换系数；对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；对经再按比例缩放变换系数的可变长度编码以提供处于所需数据速率的视频信号；对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为像素值；将像素值与从像素存储器检索的经运动补偿像素相加以获得经解码像素值；以及存储所述经解码像素值。

模糊处理模式可包括：对视频信号的模糊区的可变长度解码以提供经量化变换系数；对变换系数执行反向量化操作以按比例缩放变换系数；对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为像素值；将像素值与从像素存储器检索的经运动补偿像素相加以获得经解码像素值；存储所述经解码像素值；以及处理经解码像素值以修改当前像素区块使得当前像素区块不需要参考视频信号的插入窗口的任何部分来进行解码。

经解码像素值的处理可包括：对经解码像素值执行变换过程以再产生经按比例缩放变换系数；对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；以及对经再按比例缩放变换系数的可变长度编码从而以所需数据速率提供经内部编码像素区块代替当前像素区块。

或者，所存储的经解码像素值的处理可包括：对所存储的经解码像素值执行运动补偿操作以重建视频信号的模糊区；对经运动补偿像素值执行变换过程以再产生经按比例缩放变换系数；对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；以及使用来自运动补偿操作的运动向量进行对经再按比例缩放变换系数的可变长度编码从而以所需数据速率提供视频信号中的经修改像素区块代替当前像素区块。

插入处理模式可包括：对视频信号的插入窗口部分的可变长度解码以提供经量化变换系数；对变换系数执行反向量化操作以按比例缩放变换系数；对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为对应于插入窗口部分的像素值；将像素值与从像素存储器检索的经运动补偿像素相加以获得经解码像素值；存储对应于插入窗口部分的经解码像素值；将对应于覆盖内容的预先存储的像素值与对应于插入窗口部分的所存储的经解码像素值的至少一部分组合以提供经修改的经解码像素值；对经修改的经解码像素值执行变换过程以提供经修改的经按比例缩放变换系数；对经修改的经按比例缩放变换系数执行量化操作以再按比例缩放经修改的变换系数以实现所需数据速率；以及对经再按比例缩放的经修改变换系数的可变长度编码从而以所需数据速率提供经修改视频信号。

对应于覆盖内容的预先存储的像素值可通过以下操作获得：对覆盖内容信号的可变长度解码以提供对应于覆盖内容的经量化变换系数；对对应于覆盖内容的变换系数执行反向量化操作以按比例缩放变换系数；对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为对应于覆盖内容的像素值；以及存储对应于覆盖内容的像素值以获得预先存储的像素值。

当将覆盖内容插入到视频信号中时，处理可从正常处理模式转变为插入处理模式。从正常处理模式转变为插入处理模式可包括：等待接收视频信号中的I帧；从正常处理模式切换到受限处理模式；等待接收视频信号的当前部分中的下一参考帧；将窗口模式设定为“开启”以启用视频信号中的插入窗口；当处理视频信号的对应于插入窗口的区时切换到插入处理模式；当处理视频信号的在插入窗口部分外部的区时如果对应于所述外部区的运动向量参考先前经解码帧中的插入窗口部分，那么切换到模糊处理模式；以及否则切换到受限处理模式。

所述过程还可在完成覆盖内容的插入之后转变回到正常处理模式。转变到正常处理模式可包括：等待接收参考帧；将最初模式设定为“开启”以启始用于处理参考帧的存储器的复位；将窗口模式设定为“关闭”以防止在视频信号的当前部分中创建插入窗口；等待视频信号的下一帧；确定下一帧是B帧还是将在所接收的参考帧之前显示的其它图片类型；(a)如果下一帧是B帧：那么将窗口模式设定为“开启”以启用视频信号中的插入窗口；以及等待下一帧之后的更多帧直到接收到下一参考帧为止；或(b)如果下一帧不是B帧：那么将窗口模式设定为“关闭”；将最初模式设定为“关闭”；以及切换到止常处理模式。

可连同第一和第二多路复用器一起提供像素组合器。可提供所述第一多路复用器用于选择来自反向量化操作的变换系数的至少一者或来自像素组合器的信号。可提供所述第二多路复用器用于选择来自量化操作的像素误差的至少一者或来自像素组合器的信号。来自像素组合器的信号可包括所存储的覆盖内容像素或从视频信号的处理获得的主要视频内容像素的至少一者。

可提供覆盖控制器用于控制第一多路复用器、第二多路复用器、像素组合器和运动补偿操作的至少一者。可提供同步化信号用于使第一多路复用器、第二多路复用器、像素组合器和运动补偿操作的操作同步。

对覆盖内容信号和经解码视频信号的插入窗口部分进行处理以产生视频信号的经修改插入窗口部分可包括：处理视频信号的插入窗口部分以获得相应的第一组绝对像素值；存储对应于插入窗口部分的第一组绝对像素值；处理覆盖内容信号以获得对应于覆盖内容的相应的第二组绝对像素值；以及存储对应于覆盖内容的第二组绝对值，使得通过处理第一和第二组绝对像素值产生经修改插入窗口部分。

覆盖内容可代替视频信号的插入窗口部分而插入到视频信号中以产生经修改插入窗口部分。或者，覆盖内容可与视频信号的插入窗口部分混合以产生经修改插入窗口部分。

可在一个或一个以上覆盖内容信号中提供不同的覆盖内容。标记可附加到以下中的至少一者：(a)视频信号；以及(b)所述一个或一个以上覆盖内容信号的至少一者。所述标记可含有识别信息。可根据识别信息从所述一个或一个以上覆盖内容信号的一者选择覆盖内容以用于进行插入。

本发明涵盖对应于上述实施例的方法、设备和系统。

附图说明

下文将结合附图描述本发明，附图中相同参考标号表示相同元件，且：

图1展示用于将覆盖内容插入到视频信号中的现有技术系统的框图；

图2展示根据本发明的用于将覆盖内容插入到视频信号中的系统的实例实施例的框图；

图3展示根据本发明的视频处理器的实例实施例的框图；

图4展示现有技术开放回路转换速率器的框图；

图5展示具有误差控制的现有技术闭合回路转换速率器的框图；

图6展示根据本发明的混合式转换速率系统的实例实施例的框图；

图7展示根据本发明的混合式转换速率系统的另一实例实施例的框图；

图8展示根据本发明的实例实施例的覆盖控制器的操作的流程图；

图9展示根据本发明的实例实施例的从正常处理模式到与覆盖处理兼容的模式的转变的流程图；

图10展示根据本发明的实例实施例的从与覆盖处理模式兼容的模式到正常处理模式的转变的流程图；

图11展示根据本发明的像素组合器的实例实施例的框图；以及

图12展示根据本发明的具有插入和覆盖能力的多处理器转换速率系统的实例实施例的框图。

具体实施方式

以下详细描述仅提供示范性实施例，且不希望限制本发明的范围、适用性或配置。事实上，示范性实施例的以下详细描述将向所属领域的技术人员提供实施本发明实施例的启发性描述。应了解，可在不脱离如所附权利要求书中陈述的本发明的精神和范围的情况下在元件的功能和布置方面作出各种变化。

本发明提供用于将覆盖内容插入到视频信号中的方法、设备和系统。另外，本发明的某些实例实施例是针对在视频信号转换速率期间将覆盖内容插入到视频信号中。

图2中展示根据本发明的具有插入和覆盖能力的视频处理系统20的实例实施例的简单框图。在此实例中，从例如卫星21、耦合到视频编码器23的视频相机22、视频存储装置/服务器24、IP网络25等一个或一个以上视频源接收视频信号。覆盖内容产生器26例如使用从用于用户输入的控制台提供的信息创建待插入到传入视频信号中的覆盖内容信号。作为一实例，覆盖内容产生器26和用户控制台可以是安装有用于产生文本、图形特征或较一般视频内容的软件的PC。在此实例中，PC还可包含用于将所再现视频编码为适宜的压缩格式的软件或硬件。将内容插入或覆盖到主视频信号中是由视频处理器28来实施，所述视频处理器28经由网络开关27或其它适宜的机制接收视频信号和覆盖内容信号。

为了管理在视频处理器28处将哪一覆盖内容捅入到哪一视频信号中，将标记附加到以下中的至少一者：(a)视频信号；以及(b)所述一个或一个以上覆盖内容信号的至少一者。所述标记含有用于使覆盖内容与适当的视频信号匹配的识别信息。视频处理器28接着能够根据识别信息从覆盖内容信号的一者选择覆盖内容并将选定的覆盖内容插入到视频信号中，以产生经修改视频内容。

标记可由覆盖产生器26附加到覆盖内容信号。标记可由视频源(例如，卫星21、耦合到视频编码器23的视频相机22、视频存储装置(服务器)24或IP网络25)处的标记处理器29附加到每一传入视频信号。标记处理器29可实施为视频源处的编码装置的一部分(例如，实施为编码器23或视频服务器24的一部分)或实施为单独的装置(例如，在IP网络25或卫星21下游)。

所附加的标记可插入到基本视频或音频流的标头中，或者其可多路复用到由对应于一个或一个以上节目的多个视频流、音频流和数据流组成的包化流中。在此情况下，标头信息可封包到一个或一个以上包中并被指派以唯一包识别符(PID)。在MPEG-2传送流的情况下，通过使这些PID与同一经多路复用流中包含的称为节目关联表(PAT)和节目映射表(PMT)的特殊包中列举的条目相匹配来确定包类型和节目对应关系。

在另一实例实施例中，标记可附加到视频信号以及所述一个或一个以上覆盖内容信号的每一者。视频处理器28可通过从视频信号以及所述一个或一个以上覆盖内容信号的每一者提取标记、将来自视频信号的标记与来自覆盖内容信号的每一标记进行比较、及从具有与从视频信号提取的标记最佳匹配的标记的覆盖内容信号选择覆盖内容以用于插入，来从覆盖内容信号的一者选择覆盖内容。

标记中含有的识别信息可包括以下中的至少一者：识别欲将覆盖内容插入到视频信号中所处的地理区的地理信息；下行链路控制装置识别符；目的地QAM；信道编号；插入开始时间；覆盖内容的持续时间；插入识别符；插入窗口位置；插入窗口大小；分类识别符；混合信息；实现覆盖内容与视频信号匹配的关键字等。

举例来说，具有插入识别符的标记可附加到视频信号且用于将视频信号与视频处理器28应已接收到的特定覆盖内容信号匹配。视频处理器28将通过使覆盖内容信号标记中的关键字与附加到视频信号的标记中含有的插入识别符匹配来识别此覆盖内容信号。

例如邮政编码、下行链路控制装置ID、口的地QAM、信道编号等地理信息可包含在标记中以能够进行覆盖内容的较好的目标插入(例如，对于广告)。内容描述符也可包含在标记中，其可包含格式信息(文本、静态图片、MPEG2、MPEG4视频、音频类型等)和相应的组件描述符的至少一者。另外，可提供文本组件描述符，其可包含列表位置、速度、字体等的至少一者。此外，标记可包含视频组件描述符，其可包含分辨率、位置、动画的移动速度等的至少一者。可提供音频描述符，其可指示替代主音频的策略(其通常并不需要)。

混合信息可包括实现覆盖内容与视频信号的相应部分的阿尔法混合以获得含有覆盖内容的经修改视频信号的信息。

分类识别符可用于辅助视频处理器28在视频信号或视频信号的帧内的特定时间和位置选择最适宜的覆盖内容插入到视频信号中。其是可解译为关于特定时间的视频信号的主题分类的参数，或者其可解译为传达例如现有窗口的优先权、窗口背景的特性、月的地QAM、目的地信道或下行链路控制装置等信息的较一般筛选过滤器。注意，覆盖内容可能或可能不包含音频，且分类识别符还可指定是否允许超越与主视频流一起提供的音频。

选择用于插入到主视频节目中的特定覆盖内容的过程可通过首先将一个或一个以上分类识别符预先指派到用于每一可用覆盖内容信号的标记来实施。接着，当主视频流中的标记信令插入机会时，可从主视频节目中的标记提取分类识别符并与可用覆盖内容信号的每一者中的一个或一个以上分类识别符进行比较。具有匹配的识别符的任何覆盖内容信号将含有适于插入到主视频节目中的覆盖内容。

分类识别符可包括以下中的至少一者：针对视频信号的主题信息、针对覆盖内容的主题信息、针对现有插入窗口的优先权信息、插入窗口的特性、针对覆盖内容的音频超越信息、覆盖内容的分辨率、信道编号、用于插入覆盖内容的目标节目名称、目标节目的区域节目分级、针对目标节目的传送识别符、格式描述符、包括文本位置、速度、字体大小、字体类型和字体颜色的至少一者的文本组件描述符，以及包括视频分辨率、视频位置、动画的视频速度等的至少一者的视频组件描述符。

在已信令插入机会且存在一个以上适宜的覆盖内容信号的情况下可进一步优化选择过程。举例来说，除了将一个或一个以上分类识别符预先指派到每一覆盖内容信号外，也可将“配合等级(quality of fit)”参数预先指派到覆盖内容信号。也就是说，对于每一分类识别符，可存在指示内容与特定分类的相关的相应的配合等级参数。因而，如果存在表示相同分类识别符的多个覆盖内容信号，且如果此识别符与主视频流中包含的标记中指定的识别符匹配，那么将选择具有最高相应的配合等级参数的覆盖内容信号。此方法可用于当使用部分屏幕视频插入时做目标广告的效率最大化。

在使用分类识别符和配合等级参数两者的实例实施例中，标记可附加到视频信号(例如，标记处理器29处)以及所述一个或一个以上覆盖内容信号的每一者(例如，覆盖内容产生器26处)。可提供分类识别符作为识别信息的至少一部分。可针对每一分类识别符将相应的配合等级参数指派到覆盖内容信号(例如，覆盖内容产生器26处)。配合等级参数可指示每一覆盖内容与分类识别符之间的相对对应关系。在此实例实施例中，具有与视频信号相同的分类识别符的覆盖内容信号可由视频处理器28识别。视频处理器28可接着从经识别的覆盖内容信号中选择具有指示与分类识别符的最高对应关系的配合等级参数的覆盖内容。

覆盖内容产生器26可位于中心分布地点。视频处理器28可位于远离覆盖内容产生器26的位置。多个视频处理器28可提供在相应远程位置，例如各个下游地点(例如，电缆或卫星头端或集线器、电话公司中央局或节点等)。覆盖内容信号可从覆盖内容产生器26转发到相应远程位置处的至少一个视频处理器28以在插入前进行存储。举例来说，视频处理器28可位于电缆头端、中央局、电缆分布集线器、卫星分布集线器等的一者处。在这些情况下，标记中含有的识别信息可包括地理信息。特定远程位置处的视频处理器28可从覆盖内容信号中选择具有对应于所述视频处理器28的特定远程位置的地理信息的覆盖内容以插入到视频信号中。举例来说，标记可用于使覆盖内容信号与特定地理区匹配。每一视频处理器28可接着将标记与特定针对每一相应视频处理器位置之位置的预先指派的区代码进行比较。以此方式，有可能为每一视频处理器28创建不同的消息，因为视频处理器现能够扫描所有消息以找到最适合本地观众的消息。

覆盖内容的选择和插入可由处于那些位置的相应视频处理器28在至少一个远程位置处进行。或者，覆盖内容的选择和插入可由处于中心位置的视频处理器28进行。可接着将经修改视频内容的多个副本从中心位置分布到一个或一个以上远程位置以供进一步分布。

标记可由处于中心分布地点的覆盖内容产生器26附加到覆盖内容信号。此标记可确定处于相应远程位置的所述一个或一个以上视频处理器28的哪一者将把视频内容插入在特定视频流中。

视频处理器可将覆盖内容信号插入到视频信号的插入窗口中，代替视频信号的相应部分。或者，可将覆盖内容插入到视频信号的插入窗口中并与视频信号的相应部分混合。可使用阿尔法混合将覆盖内容与视频信号的相应插入窗口部分混合。

图3中展示根据本发明的视频处理器28的实例实施例。图3所示的视频处理器28的实例实施例包含可选存储器分配器30和可选视频转换速率器31，用于使得能够在发生覆盖内容的插入同时修改视频流的数据速率。所属领域的技术人员将了解，可在没有可选存储器分配器30和可选视频转换速率器31提供的转换速率能力的情况下实施视频处理器28，其中期望在没有对所得经修改视频流的数据速率的任何修改的情况下进行覆盖内容的插入。或者，可指示视频转换速率器31维持视频信号的原始数据速率。

在期望转换速率的实例实施例中，视频信号(例如，来自视频源21、22、24和/或25的视频信号，或来自图2的覆盖内容产生器26的覆盖内容信号)的传入包由存储器分配器30扫描以寻找指定经编码图像的水平和垂直尺寸的标头信息。此信息可能为视频转换速率器31所需，如果其具备用于存储每一传入视频信号的一个或一个以上图像的存储器。除了用于个别视频信号的可选存储器空间外，转换速率器31还包含用于待插入或覆盖在视频信号的顶部上的覆盖内容的存储器。第7,046,677号美国专利中描述现有技术存储器分配器的实例。

传入视频包不直接发送到视频转换速率器31而是首先经由动态随机存取存储器(dram)控制器32存放到包dram 33中。通过将标记存放到rx信息模块36中来通知中央处理单元(CPU)34每一包的到达，所述rx信息模块36与CPU 34通信。标记识别包且CPU 34维持使包dram 33中的地址与对应于所接收包的信息匹配的列表。

尽管视频转换速率器31能够处理多个视频流，但其必须首先组织为完整的帧并在帧之间的边界处多路复用。CPU 34跟踪构成每一帧的包的序列并确定其中帧将从包dram 33转发到视频转换速率器31的序列。CPU 34指示dram控制器32在所需序列中将选定包从包dram 33转发到视频转换速率器31。

除了调节每一流的数据速率外，视频转换速率器31还可实施插入和覆盖。CPU 34可分析存放到rx信息模块36中的标记中含有的识别信息以确定特定视频流是否具有可用于插入覆盖内容的插入窗口。一旦在特定视频流中识别到插入机会，CPU就可基于覆盖内容和/或视频流的标记中含有的识别信息选择特定覆盖内容进行插入，如上文详细论述。CPU 34可接着引导dram控制器32将来自包dram 33的适当包提供到转换速率器31。举例来说，CPU 34可引导dram控制器32向转换速率器31提供来自包dram 33的对应于已与特定视频流匹配的覆盖内容的包。转换速率器31可使用各种阿尔法混合技术将覆盖内容与视频信号的相应插入窗口部分混合。

所属领域的技术人员将了解，在不需要转换速率的实施例中，适宜的处理器可代替存储器分配器30和视频转换速率器31来用于实施插入和覆盖。

一旦视频转换速率器31已处理帧，所得包序列(例如，含有覆盖内容的经转换速率包和/或经修改包)就经由dram控制器32返回到包dram 33。同时，通知CPU 34每一次包传递。这是通过再次将标记存放到rx信息模块36中使得CPU 34再次意识到包dram 33中每一包的位置来完成。在此情况下，标记由转换速率器31提供到rx信息模块36。如果CPU 34需要关于特定视频流的额外信息，那么其可向dram控制器32提交请求以便接收包括任何选定包的数据。

CPU 34还管理包的定序和格式化以供最终输出。通过管理转换速率过程以在每一流上达成类似的视频质量，同时利用输出信道的全部容量来容易地实施统计多路复用方案。CPU 34通过指示dram控制器32将来自包dram 33的选定包传递到tx再格式化器模块38来管理输出多路复用的形成。在此情况下，当每一包通过tx再格式化器模块38时CPU 34还可具有修改每一包的标头(包含标记)的能力。

可通过修改当前用于实施全屏数字广告插入的例如SCTE-30和SCTE-35协议等现有协议来对具有标记的视频流或覆盖内容流进行预先调节。

如果在不同时间以不同分辨率传输主视频信号，那么可以不同分辨率发送相同覆盖内容。举例来说，“分辨率”可以是确定“配合等级”的参数之一，或者，可针对不同分辨率指派不同的分类ID。

在DPI(数字节目插入)服务器传输的视频可在所述时间窗期间变为“主视频”信号的意义上，相同方法可延伸为与DPI一起使用。在这些情况下，提供拼接功能性的系统(或DPI服务器本身)可插入标记，且分类ID可用于插入或覆盖针对目标广告的内容。以此方式，DPI服务器可平衡本发明的能力而不必修改广告内容本身。这向仅在最初由较大头端传输的广告内容的特定部分上进行覆盖或插入的小头端提供了灵活性。

关于主节目的主题分类可通过节目的已有特性进行平衡。举例来说，ATSC系统可使用其处置时可用的参数的组合，例如主要和次要信道编号、节目名称、节目的区域分级、传送ID等。

可通过在特定时间插入事件发起者的覆盖内容来实现目标广告。如果事件/片段具有许多发起者，那么主题信息可针对全部发起者使用相同分类ID但具有不同的“配合等级”参数。当然，如果一应用想要在不同时间在所有发起者的所插入覆盖内容间轮换，那么可动态改变“配合等级”参数。

覆盖内容信号可经由多种不同传送协议传输到视频处理器28。如果覆盖内容恰巧是表示完全运动视频的子窗口，那么带宽和存储要求可能变得关键。在这些情况下，可能较容易在较接近实际插入时间的时间经由MPEG-2传送协议传输此类数据。

还可启用覆盖内容产生器28以作出将在何时以及何处插入覆盖内容的决策。这向覆盖内容产生器28给出在任何时间覆盖主视频信号的灵活性，而不必等待并视主视频节目中的标记而定。或者，可在覆盖内容信号标头中提供旗标以超越主视频节目中的标记的任一者。此能力对于其中由文本消息组成的覆盖信号将具有优先于所有视频节目的优先权的紧急警报应用可能是有利的。在此情况下，覆盖内容信号标头可提供例如插入时间、位置、大小等信息。可针对每一覆盖内容修改其它参数，例如不透明性。

所属领域的技术人员将了解，还可根据本发明给予被覆盖内容其它影响。

图4中展示与例如MPEG-1、MPEG-2或H.264等压缩标准兼容的简单的现有技术视频转换速率器40。可变长度解码器(VLD)模块42接收一系列可变长度码字并重建这些码字所表示的经量化变换系数。反向量化器(IQ)模块44执行反向量化步骤以便恢复每一变换系数的适当比例和范围。量化器(Q)模块46再次再按比例缩放变换系数，但这次控制量化的量以便维持所需输出数据速率。最后，可变长度编码器(VLE)模块48通过将经量化变换系数表示为一系列可变长度码字来进一步压缩所述经量化变换系数。

图4的转换速率器40具有两个明显缺点。第一，其无法用于辅助插入或覆盖过程，且第二，经再压缩视频信号的准确性由于压缩过程的预测性编码组件的缘故而开始出现差异。也就是说，当量化器模块46引入不准确性时，在从所得经量化系数导出的信息用于预测后续帧中的新信息时，所得假象可被放大。转换速率器40的这两个缺点均通过图5所示的经修改现有技术转换速率系统50得以解决。

在图5所示的现有技术转换速率系统50中，VLD模块42、IQ模块44、Q模块46和VLE模块48如上文结合图4所论述而起作用。然而，在图5所示的系统50中，由转换速率过程(明确地说，由量化模块46)引入的量化误差作为从自加法器58获得的变换系数减去自IQ模块51获得的变换系数的结果而提供在加法器52的输出处。来自加法器52的变换系数的区块接着通过反向离散余弦变换(IDCT)模块53而转换回到像素域，且所得像素误差接着存储在DRAM 55中，所述DRAM 55由DRAM控制器54控制。当需要像素误差用于预测附近图像帧中的其它像素时，运动补偿器(MC)模块56检索所述像素误差，且所述像素误差再次通过离散余弦变换(DCT)模块57转换到系数域。此结果在加法器58处添加到传入变换系数流，其防止再量化假象的累积。

图5所示的现有技术转换速率系统代表许多预测性的基于变换的编码器，例如MPEG-1、MPEG-2和H.264。其它压缩系统可遵守相同结构，但可包含额外步骤或相同模块的替代版本。举例来说，DCT是较广泛种类的频域变换的实例，但在不改变本发明的范围的情况下可使用任何此类变换代替DCT。

图5所示的经运动补偿转换速率系统的缺点是增加的复杂性和额外硬件成本，以及由于经运动补偿的跟踪回路的输出处误差补偿数据的引入而导致的压缩低效。还由于DCT、IDCT和运动补偿器通常是通过处理所有系数或每个区块的像素来实施而引入复杂性。相比之下，当实施图4中的开放回路转换速率器时，仅有必要处理非零系数，且扫描次序转换可忽略。这允许使用较窄的数据总线并实现较高的处理量。然而，如果根据如图6所示的本发明的实例实施例采用混合式解决方案，那么有可能在使缺点最小化的同时从此闭合回路转换速率器的漂移校正优点受益。

图6所示的本发明的混合式转换速率系统60的特定实例实施例包含一个闭合回路子系统64(例如，图5的系统50)和两个专门的开放回路子系统66、68(例如，每一者对应于图4转换速率器40)，且这些子系统的操作大体上如上文结合图4和5所描述。可通过向三个子系统的每一者同时提供不同的视频帧而同时操作所述子系统。注意，对应于多个视频信号的指派帧和调度包的任务由图3所示的CPU 34处理，因此只需要软件调节。到达图6中的多路分用器(DMUX)62的包将根据包标头中提供的路由信息而路由到适当的子系统(例如，子系统64、66或68)。经转换速率的包可接着在多路复用器(MUX)63处一起多路复用。

仅通过将视频帧战略性地指派到不同的转换速率子系统而实现混合式转换速率系统60的全部成本和性能优点。利用例如MPEG-2和H.264等压缩系统，某些类型的帧(即，经内部编码帧或I帧，以及经预测性编码帧或P帧)用于预测其它帧，而第三类型的帧(即，经双向预测或B帧)通常并非如此(尽管H.264允许使用B帧作为用于预测的参考帧)。帧类型还在其被编码的方式方面不同。I帧不从运动补偿受益且因此压缩起来效率最低。然而，由于相同原因，这些是可由试图与新的流同步的解码器重建的仅有类型的帧。当调谐到新的流时或当从由传输信道中的噪声引起的误差中恢复时，有必要进行此初始同步。由于这个原因，编码器通常以足以进行解码器初始化或再同步化的间隔选择I帧编码方法。

P帧从使用参考先前帧的运动预测因子的运动补偿受益。当使用运动补偿预测其它帧时，I帧和P帧均可充当参考帧。因此，引入到I帧或P帧的任何误差可在每当存取参考帧的受影响区时被放大。子系统64的闭合回路转换速率过程防止此误差的累积，且由于这个原因，选择闭合回路转换速率子系统64来对I帧和P帧两者转换速率是有利的。

通常，B帧被最频繁地使用，因为其在前向或后向方向上从参考I帧或P帧的多个经运动补偿预测因子受益。由于这些帧通常不用于预测其它图片，所以漂移校正变得不太重要且由于校正引起的降低的压缩效率甚至可胜过从单一图像内减少的漂移产生的任何优点。因此，路由B帧穿过开放回路转换速率子系统66或68的一者是有利的。注意，在H.264的情况下，识别不用作其它图片的参考帧的图片且仅将这些图片指派到开放回路转换速率子系统66或68更加有意义。

许多编码器经配置以针对每3个帧或图片中的2个使用B帧编码方法，且这是在图6的实例实施例中使2个专门开放回路转换速率器66和68与单一闭合回路转换速率器64匹配的原因。然而，可以任何组合提供开放回路和闭合回路子系统。注意，在开放回路系统66和68被过分预订的情况下，B帧容易转发到闭合回路转换速率器64。类似地，如果闭合回路转换速率器64被过分预订，那么有可能将I帧或P帧转发到开放回路转换速率器66或68的一者，然而，在此类周期期间将不会实现漂移补偿的益处。

图5中的现有技术闭合回路转换速率系统50和图6中的混合式转换速率系统60的实例实施例两者可经调节以支持插入和覆盖。图7展示根据本发明的支持插入和覆盖的转换速率系统70的实例实施例。

在图7所示的本发明的实例实施例中，接收含有覆盖内容的覆盖内容信号(例如，从图2的覆盖产生器26)并在VLD模块42处解码。另外，从视频源(例如，图2的视频源21、22、24或25)接收经压缩视频信号并在VLD模块42处解码。在覆盖控制器71处识别经解码视频信号的插入窗口部分。转换速率系统70处理所述覆盖内容信号和所述经解码视频信号的所述插入窗口部分以产生所述视频信号的经修改插入窗口部分。转换速率系统70接着处理所述视频信号和所述经修改插入窗口部分以产生经修改视频信号。

可在所述覆盖内容插入过程期间修改所述视频信号的数据速率。可提供闭合回路转换速率路径72用于修改视频信号的数据速率。另外，还可提供开放回路转换速率路径73用于修改视频信号的数据速率(例如，可通过设定MUX 80以仅选择来自IQ模块44的输入0而提供开放回路转换速率路径73)。可选择闭合回路转换速率路径72用于修改视频信号的插入窗口部分的数据速率。

可在闭合回路转换速率路径72中提供像素量化误差控制。像素量化误差控制可包括以误差变换系数的形式从视频信号的传入像素的变换系数的量化获得误差。举例来说，由转换速率过程(明确地说，由量化模块46)引入的量化误差作为从自MUX 80获得的变换系数减去自IQ模块51获得的变换系数的结果而提供在加法器52的输出处。来自加法器52的变换系数的区块接着通过反向变换(IT)模块74而转换回到像素域。这些像素误差可存储在DRAM 55中且接着在相关联像素的数据速率的修改期间进行检索。DRAM 55中的像素误差可在像素组合器76处添加到从IT模块75处的反向变换过程获得的传入像素以获得经校正像素，以便防止Q模块46处对应于传入像素的变换系数的量化期间再量化假象的累积。可在变换(T)模块77处对经校止像素执行变换过程以提供用于Q模块46处的量化的经误差校正的变换系数。

应了解，T模块77处执行的变换过程可以是离散余弦变换过程(DCT)或可与较新编解码器(例如，H.264)一起使用的任何其它变换过程。类似地，IT模块74和75处执行的反向变换过程可以是反向离散余弦变换过程(IDCT)或可与较新编解码器(例如，H.264)一起使用的任何其它变换过程。

可选择闭合回路转换速率路径用于修改视频信号的I帧和P帧的数据速率。可选择开放回路转换速率路径用于修改视频信号的B帧的数据速率。

闭合回路转换速率路径72和开放回路转换速率路径73可同时操作，例如当处理多个视频信号的帧时。举例来说，可选择闭合回路转换速率路径72用于修改一个视频信号的I帧和P帧的数据速率，且可选择开放回路转换速率路径73用于修改一不同视频信号的B帧的数据速率。在一些情况下，在闭合回路转换速率路径73被过分预订且开放回路转换速率路径72中存在用于I帧和P帧的可用处理带宽的情况下，开放回路转换速率路径73和闭合回路转换速率路径72两者均可用于处理视频信号的I帧和P帧。类似地，在开放回路转换速率路径72被过分预订且闭合回路转换速率路径73中存在用于B帧的可用处理带宽的情况下，开放回路转换速率路径73和闭合回路转换速率路径72两者均可用于处理视频信号的B帧。可提供一个或一个以上额外开放回路转换速率路径用于修改视频信号的数据速率，如下文结合图12所论述。两个开放回路转换速率路径121和122以及所述闭合回路转换速率路径72可同时操作。所属领域的技术人员将了解，可视需要提供额外开放或闭合回路转换速率路径，以便增加系统的处理量。

然而请注意，图7的系统70是能够进行覆盖处理的转换速率系统。当在覆盖处理模式中时，不能执行经漂移补偿的闭合回路转换速率。然而，仍可能在发生覆盖处理的同时执行开放回路转换速率。

开放回路转换速率路径73可包括：VLD模块42处对视频信号的可变长度解码以提供经量化变换系数；在IQ模块44处对变换系数执行反向量化操作以按比例缩放变换系数；在Q模块46处对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数而实现所需数据速率；以及在VLE模块48处对经再按比例缩放变换系数的可变长度编码以提供处于所需数据速率的视频信号。

在本发明的另一实例实施例中，可提供模糊处理模式和插入处理模式中的至少一者用于实行处理步骤。所述模糊处理模式可操作以用于处理视频信号的其中所述视频信号的当前像素区块的运动向量参考插入窗口的一部分的模糊区。所述插入处理模式可操作以用于处理覆盖内容信号和视频信号的插入窗口部分以产生经修改插入窗口部分。覆盖控制器71可识别哪一处理模式将由系统70使用，如下文结合图8详细论述。

另外，可提供正常处理模式用于当视频信号不含有插入窗口时处理所述视频信号。正常处理模式可包括：VLD模块42处对视频信号的可变长度解码以提供经量化变换系数；在IQ模块44处对变换系数执行反向量化操作以按比例缩放变换系数；在IT模块75处对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为像素值；在像素组合器76处将像素值与从DRAM 55检索的经运动补偿像素误差求和以提供经误差补偿的像素值；在T模块77处对经误差补偿的像素值执行变换过程以产生经误差补偿的变换系数；在Q模块46处对经误差补偿的变换系数执行量化操作以再按比例缩放变换系数而实现所需数据速率；以及在VLE模块48处对经再按比例缩放变换系数的可变长度编码以提供处于所需数据速率的视频信号。

经运动补偿的像素误差是通过以下操作获得：以像素误差的形式从Q模块46处的量化操作获得误差，并将所述像素误差存储在DRAM 55中(如上文所论述)。在对相关联像素执行运动补偿操作时从DRAM 55检索所述像素误差。可接着在MC模块78处处理相关联像素和像素误差以提供经运动补偿的像素误差。T模块77处的变换过程之前在像素组合器76处对来自IT模块57的像素值与经运动补偿像素误差的求和防止了Q模块46处的量化操作期间再量化假象的累积。可接着在Q模块46处对经误差补偿的变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率而没有量化假象的累积。

可提供受限处理模式用于在未选择模糊处理模式、插入处理模式和/或正常处理模式时实行处理步骤的至少一者。受限处理模式可包括：VLD模块42处对视频信号的可变长度解码以提供经量化变换系数；在IQ模块44处对变换系数执行反向量化操作以按比例缩放变换系数；在Q模块46处对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；在VLE模块48处对经再按比例缩放变换系数的可变长度编码以提供处于所需数据速率的视频信号；在IT模块75处对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为像素值；在像素组合器76处将像素值与从像素存储器(DRAM 55)检索的经运动补偿像素相加以获得经解码像素值；以及将所述经解码像素值存储在DRAM 55中。

模糊处理模式可包括：VLD模块42处对视频信号的模糊区的可变长度解码以提供经量化变换系数；在IQ模块44处对变换系数执行反向量化操作以按比例缩放变换系数；在IT模块75处对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为像素值；在像素组合器76处将像素值与从像素存储器(DRAM 55)检索的经运动补偿像素相加以获得经解码像素值；将所述经解码像素值存储在DRAM 55中；以及处理经解码像素值以修改当前像素区块，使得当前像素区块不需要参考视频信号的插入窗口的任何部分来进行解码。

对经解码像素值的处理可包括：在T模块77处对经解码像素值执行变换过程以再产生经按比例缩放变换系数；在Q模块46处对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；以及在VLE模块48处对经再按比例缩放变换系数的可变长度编码从而以所需数据速率提供经内部编码像素区块代替当前像素区块。

在另一实例实施例中，对所存储的经解码像素值的处理可包括：在MC模块78处对所存储的经解码像素值执行运动补偿操作以重建视频信号的模糊区；在T模块77处对经运动补偿像素值执行变换过程以再产生经按比例缩放变换系数；在Q模块46处对经按比例缩放变换系数执行量化操作以再按比例缩放变换系数以实现所需数据速率；以及在VLE模块48处使用从MC模块78处执行的运动补偿操作获得的新的运动向量进行对经再按比例缩放变换系数的可变长度编码，从而以所需数据速率提供视频信号中的经修改像素区块代替当前像素区块。

可在转换速率器70设定为插入处理模式的情况下处理覆盖内容信号和经解码视频信号的插入窗口部分以产生视频信号的经修改插入窗口部分。插入处理模式可包括：在VLD模块42处对视频信号的插入窗口部分的可变长度解码以提供经量化变换系数；在IQ模块44处对变换系数执行反向量化操作以按比例缩放变换系数；在IT模块75处对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为对应于插入窗口部分的像素值；在像素组合器76处将像素值与从像素存储器(DRAM 55)检索的经运动补偿像素相加以获得经解码像素值；将对应于插入窗口部分的经解码像素值存储在DRAM 55中；在像素组合器76处将对应于覆盖内容的预先存储的像素值与对应于插入窗口部分的所存储的经解码像素值的至少一部分组合以提供经修改的经解码像素值；在T模块77处对经修改的经解码像素值执行变换过程以提供经修改的经按比例缩放变换系数；在Q模块46处对经修改的经按比例缩放变换系数执行量化操作以再按比例缩放经修改的变换系数以实现所需数据速率；以及在VLE模块48处对经再按比例缩放的经修改变换系数的可变长度编码从而以所需数据速率提供经修改视频信号。

对应于覆盖内容的DRAM 55中的预先存储的像素值可通过以下操作获得：在VLD模块42处对覆盖内容信号的可变长度解码以提供对应于覆盖内容的经量化变换系数；在IQ模块44处对对应于覆盖内容的变换系数执行反向量化操作以按比例缩放变换系数；在IT模块75处对经按比例缩放变换系数执行反向变换过程以将经按比例缩放变换系数转换为对应于覆盖内容的像素值；以及将对应于覆盖内容的像素值存储在DRAM 55中以获得对应于覆盖内容的预先存储的像素值。

覆盖内容可插入到视频信号中代替视频信号的插入窗口部分以产生经修改插入窗口部分。在此情况下，像素组合器76将用对应于覆盖内容的绝对像素值代替对应于视频信号的插入窗口部分的经解码像素值。或者，覆盖内容可与视频信号的插入窗口部分混合以产生经修改插入窗口部分。在此情况下，像素组合器76将使用(例如)阿尔法混合技术使对应于视频信号的插入窗口部分的经解码像素值与对应于覆盖内容的绝对像素值混合。

在正常处理模式(例如，利用闭合回路转换速率路径72)中操作的系统必须在可在插入处理模式中执行覆盖之前转变到受限处理模式(例如，利用开放回路转换速率路径73)。图9的流程图展示在不引入视频假象的情况下执行从正常处理模式的此转变的实例实施例。从正常处理模式(在开始处，步骤901)转变到插入处理模式的第一步骤可包括等待接收视频信号中的I帧(步骤902)。需要I帧是因为当前存储在DRAM 55中的像素误差必须由经完全解码的像素代替。I帧充当启始解码过程的接入点。尽管将有可能将覆盖内容插入到此I帧中，但将不能将覆盖内容插入到紧接在参考帧之后的任何非参考帧(例如，B帧)中。因此，推迟覆盖内容的插入直到遇到下一参考帧为止(步骤904)。同时，将处理模式类型(mbx类型)设定到受限处理模式(步骤903)以便解码参考帧并将参考帧存储在DRAM 55中，且避免在处理可能跟在后面的非参考帧的同时存取DRAM 55。当步骤904处遇到下一参考帧时转变完成。此时，将窗口模式从“关闭”切换为“开启”以启用视频信号中的插入窗口(步骤905)。此转变的完成使得能够开始有规律的覆盖过程且处理模式接着可从受限处理模式切换到插入处理模式以处理视频信号的对应于插入窗口的区。当处理视频信号的在插入窗口部分外部的区时如果对应于所述外部区的运动向量参考先前经解码帧中的插入窗口部分，那么处理模式可从受限处理模式切换到模糊处理模式。

从覆盖处理模式转变回到止常转换速率模式还必须经定序以便避免引入可见假象。图10中的流程图展示向正常处理模式的适当经定序转变的实例实施例。在开始处(步骤1001)，将转换速率器70设定为插入处理模式。从插入处理模式转变到正常处理模式的第一步骤可包括等待接收参考帧(步骤1002)。一旦接收到参考帧，就可将最初模式设定为“开启”以启始用于处理参考帧的存储器(例如，DRAM 55)的复位(步骤1003)。举例来说，在此过程期间，通常将在处理参考帧的过程期间写入到DRAM 55的数据将被丢弃且改为用零替代。这以与I帧或其它参考帧复位转换速率器70的闭合回路操作期间的再量化误差相同的方式将DRAM 55初始化。同时(步骤1003)，将窗口模式设定为“关闭”以防止在视频信号的当前部分中(例如，当前帧中)创建插入窗口。然而，应注意，覆盖窗口不可在参考帧之后接收(但将在I帧或P帧或其它参考帧之前显示)的任何帧(例如，B帧)中被抑制，因为重建模糊区块所需的信息不再可用。因此，一旦接收到视频信号的下一帧(步骤1004)，就可确定下一帧是B帧还是将在步骤1002处所接收的参考帧之前显示的其它帧。如果下一帧是B帧，那么可将窗口模式设定为“开启”以启用视频信号中的插入窗口，借此允许在这些无序图片被显示时覆盖窗口保持可见。否则，可将窗口模式设定为“关闭”，可将最初模式设定为“关闭”，且处理模式可切换到正常处理模式(步骤1006)。

可容易地调节转变程序以适应可利用两个以上参考帧进行运动补偿的例如H.264的高级编解码器。为此，转换速率器70仅需要跟踪覆盖窗口可定位在每一参考帧中何处。举例来说，如果运动向量参考一覆盖区，但如果覆盖窗口在处理特定参考帧时不在活动中，那么可忽略覆盖且没有必要进行特殊处理。类似地，如果处理覆盖窗口的刚刚已被去活的区，那么仅在参考参考帧的相应覆盖区以及覆盖窗口在处理参考帧时正在活动中的情况下才有必要进行特殊处理。

可连同第一多路复用器80和第二多路复用器81一起提供像素组合器76，如图7所示。可提供所述第一多路复用器80用于选择来自IQ模块44处的反向量化操作的变换系数的至少一者或来自像素组合器76的信号(例如，经由T模块77)。可提供所述第二多路复用器81用于选择来自量化操作(例如，由IT模块74提供)的像素误差的至少一者或来自像素组合器76的信号。来自像素组合器76的信号可包括所存储的覆盖内容像素或从视频信号的处理获得的主要视频内容像素的至少一者。

可提供覆盖控制器71用于控制第一多路复用器80、第二多路复用器81、像素组合器76和MC模块78的至少一者。可从同步化器79提供同步化信号用于使第一多路复用器80、第二多路复用器81、像素组合器76和MC模块78的操作同步。可由同步化器79响应于来自覆盖控制器71的识别将使用哪一处理模式(例如，止常、受限、模糊或插入)的信号而产生同步化信号。同步化器还可用于使反向量化操作、量化操作和可变长度编码操作同步，但图中未展示同步化信号的信号路径。

可在一个或一个以上覆盖内容信号中将不同的覆盖内容提供到转换速率器70。标记可附加到以下中的至少一者：(a)视频信号；以及(b)所述一个或一个以上覆盖内容信号的至少一者，如上文结合图2和3所论述。

图11中提供根据本发明的像素组合器76的实例实施例的框图。像素组合器76可通过来自同步化器79的信号配置以执行简单的插入(例如，将覆盖内容添加到视频信号中)，或者其可经配置以将内容覆盖在视频信号的现有帧的顶部上(例如，将覆盖内容与视频信号的一部分混合)。举例来说，同步化器79可发送控制信号，所述控制信号在像素组合器76的解码器111处被接收并解码。在简单插入的情况下，多路复用器112将选择来自反向变换模块75的输入，且加法器113将把此信号与来自图7的MC模块78的输出相加。所得像素值将经由多路复用器114直接转发到变换模块77，借此绕过混合器模块115。

在混合操作的情况下，多路复用器114将选择混合器模块115的输出以转发到变换模块77。许多混合效果是可能的，且在此情况下，利用DRAM 55的一部分来控制混合操作是有利的。举例来说，除了存储待插入到帧中的每一像素的亮度和色度信息外，分配额外位以引导混合过程也是有用的。除了其它特殊效果外，这些控制位还可控制插入像素和背景像素两者的加权(阿尔法混合)。注意，如果将执行混合，那么需要对DRAM55的第二次存取以检索背景像素。当从DRAM检索背景像素时，MUX模块112经配置以选择固定在零的输入，借此促使经由MC模块78接收的来自DRAM的信号直接转发到加法器113的输出。

图11中的像素组合器假定由DRAM控制器54以某一次序从DRAM 55(经由MC模块78)递送像素。如果将针对特定区块应用混合，那么首先从主图片检索背景像素，之后是引导混合过程的控制位，且最后是构成插入窗口的相应区块的像素。简单的固定延迟区块FIFO存储器116和117接着用于将控制数据提供到混合器115的输入端口3，将背景数据提供到混合器115的输入端口2，并将插入数据提供在混合器115的输入端口1处。

参看图7所示的实例实施例，考虑MUX 80经配置以选择输入1，MUX 81经配置以选择输入端口0，且像素组合器简单地将来自MC模块78的端口1处的输入与来自IT模块75的端口0处的输入相加的情况。所得系统因而变得功能上与图5的闭合回路转换速率器等效。注意，图5中的第一加法器58在图7实例实施例中已被像素组合器76代替，且已添加第二IT模块75以允许像素组合器76对像素而不是变换系数操作。当实施覆盖过程且组合来自两个不同图像(即，来自覆盖内容和原始信号的图像)的像素时，此修改是有利的。

在实施覆盖或插入之前，应接收、处理覆盖内容并将其存储在DRAM 55中。在插入期间，覆盖内容必须作为经解码像素而不是用于误差补偿的像素误差而存储在DRAM55中。本质上，在插入过程期间，系统必须执行解码功能而不是转换速率功能。此结果是通过配置MUX 81以选择输入1且配置像素组合器76以将来自MC模块78的端口1处的输入与来自IT模块75的端口0处的输入相加而实现。注意，作为I帧编码的覆盖内容可从像素组合器76的输入端口0直接转发到像素组合器76的输出端口。

当处理包含插入窗口的信号的帧或其它部分时可发生的问题之一是，运动补偿器MC 78可能需要存取参考帧的与插入窗口的位置一致的区。问题是，解码器已丢失此参考帧信息，因为其存储器的此区段现已被插入窗口的内容代替。因此，解码器不再与原始编码过程同步，且运动补偿过程在例如此情况的情况下可导致严重的可见假象。图7所示的实例实施例的一个任务是修复或防止对信号的完整性的此破坏。然而，这仅在转换速率器70能够存取解码器已丢失的参考帧像素的情况下才是可能的。不幸的是，图5的闭合回路转换速率器仅维持DRAM 55中的像素误差，且此信息不可用于防止运动补偿误差。一种解决方案是复制DRAM 55以及相关联输入和输出模块，以便维持对转换速率所需的像素误差和修复运动补偿过程所需的绝对像素两者的存取权。第二选择是在正执行插入时从闭合回路转换速率模式切换到开放回路转换速率模式。考虑到成本、复杂性和图像质量的微小但临时减低，这是优选的解决方案且将对其进行进一步描述。然而，存储器复制选择对于所属领域的技术人员来说较直接且不应需要额外阐释。

图7中的覆盖控制器71管理插入视频(覆盖内容)与主视频信号的组合。覆盖控制器71可产生MBX类型码，其指定系统将使用哪一处理模式(例如，正常、插入、受限或模糊处理模式)。MBX类型码从覆盖控制器71转发到同步化器79，在该处，其用于配置MUX 80、MUX 81、像素组合器76和MC模块78的设置。对应于每一MBX类型结果的设置在下文表1中列举。注意，当MBX类型设定为插入时处理两个区块，以便将背景像素和待插入的像素两者递送到像素组合器。

表1

当在闭合回路转换速率模式中操作时，MBX类型必须设定为正常。然而，当处理将通过插入覆盖内容而修改的图片时，不能使用此模式。事实上，系统必须转变离开正常模式，如先前参看图9所描述。图8中的流程图描绘一旦系统已完成从正常处理模式的转变时覆盖控制器71的操作的实例。

通常，当处理包含一个或一个以上插入窗口的图片时，覆盖控制器71将把MBX类型设定为受限。这促使同步化器79配置MUX 80以选择输入0。同时，像素组合器76经配置以将来自MC模块78的端口1处与来自IT模块75的端口0处所接收的数据相加，且MUX 81经配置以选择来自端口1的输入(即，来自像素组合器76的信号)借此将来自像素组合器76的输出经由存储器控制器54转发到DRAM 55。实际上，系统70在传入帧被转换速率的同时解码并存储所述传入帧。

在图8的步骤802处，将宏区块的位置与插入窗口的位置进行比较。如果宏区块不落在插入窗口内，那么覆盖控制器71可确定特定区块的解码需要存取参考帧的与插入窗口重叠的部分(图8的步骤803)。如果区块使用运动补偿，那么必须将每个适用的运动向量(具有坐标mvx，mvy)与当前位置进行比较，以便检测对相应参考帧的覆盖区的可能的参考。如果使用MPEG-1或MPEG-2，那么预测限于一个或两个参考帧，但例如H.264等较先进的编解码器可使用两个以上参考帧。如果运动向量的任一者导致与参考帧的覆盖区的任何种类的重叠，那么将MBX类型设定为模糊(步骤806)，且需要特殊处理。从图8中的流程图注意到，如果处理当前帧的覆盖区则MBX类型也可设定为模糊，且窗口模式设定为关闭(步骤805)。这对于防止开启或关闭覆盖窗口时的瞬时假象是必要的。这在上文中结合图9和10详细描述。

当MBX类型设定为模糊时，以通常方式解码并存储区块。然而，区块需要在其可被转换速率并发送到解码器之前经修改。这样做的优选方式是使用内部编码而不是运动补偿预测性编码来再产生区块。这是通过设定MUX 80以选择输入1来实现。以此方式，像素组合器76的输出处提供的经解码像素由变换模块77变换，接着由量化器区块46再量化并由VLE模块48进一步压缩。区块接着可解码，因为不涉及预测性编码。或者，区块可通过改变运动向量使得其不再存取与插入窗口重叠的区而被再压缩。然而，这将需要对DRAM 55的另一次存取且需要额外逻辑以导出适宜的替代运动向量。

如果在步骤802处确定宏区块落在插入窗口的边界内，且如果窗口模式为开启(步骤805)，那么将选择插入处理模式(步骤810或步骤811)。然而，额外逻辑包含在图8的流程图中以便确定宏区块是否应使用经运动补偿预测进行内部编码或编码。如果在步骤807处确定图片是I帧，那么自动选择内部模式(步骤811)。

覆盖控制器71能够适应随时间变化的插入。这分别由水平和垂直运动向量码dmvx和dmvy控制，所述dmvx和dmvy可包含在覆盖内容之前的标头中。此向量表示相对于将在插入窗口中显示的覆盖内容的最新近帧的位移。对于复杂运动，dmvx和dmvy可经选择以参考dram中独立图像的位置。在此情况下，将通过图8中的流程图的比较步骤808来防止使用运动补偿，且覆盖内容将改为被内部编码。然而，对于简单的位移，例如文本消息的水平或垂直滚动，dmvx和dmvy可指定相对于最近插入的图像的水平和垂直位移。依据位移的方向和量，比较步骤808现将允许在插入窗口的大部分区中使用运动补偿。

比较步骤809的目的是允许参数bx和by信令混合效果的使用。在此情况下，bx指定插入窗口的左和右边缘处混合区的宽度，且by指定插入窗口的顶部和底部边缘处混合区的高度。如果在整个区中使用混合，那么bx和by应分别设定为至少插入窗口的水平和垂直窗口尺寸。如果区块将在没有混合效果的情况下再现，那么允许运动补偿(步骤810)。类似地，如果完全不使用混合，那么bx和by应设定为0。覆盖控制器71将在已应用特殊混合效果的区中避免使用运动补偿且将改为使用内部编码(步骤811)。

现应了解，可通过以支持视频转换速率的设计实施插入和覆盖来实现若干效率。不仅硬件和软件要求是类似的，而且从视频内容的修改产生的数据速率的变化可能强调对于数据速率控制的要求。已展示，根据本发明的实例实施例插入过程可与闭合回路视频转换速率设计组合。还已展示，根据本发明的实例实施例转换速率过程可有利地分布在多个闭合回路和开放回路处理器(本文中也称为“转换速率路径”或“转换速率器”)上。

根据本发明的实例实施例，(例如，图6的)混合式多处理器转换速率器设计还可经修改以支持视频插入和覆盖。根据本发明，图12中的系统是具有插入和覆盖能力的多处理器转换速率器120的实例实施例。如之前一样，在将B图片(或其它类型的非参考帧)发送到两个专门开放回路转换速率路径121和122的任一者时，将I和P图片(或其它类型的参考帧)发送到闭合回路转换速率路径72是有利的。如上文结合图7所论述，可通过设定MUX 80以仅接受输入0来提供额外开放回路转换速率路径73。

图12的此系统120与图6中的不支持插入的多处理器设计之间有几个差异应注意。如图7一样，图6中的加法器已被像素组合器模块76代替，且已添加第二变换模块(T)77以允许像素组合器76对像素而不是变换系数操作。还应注意，两个开放回路转换速率路径121和122现能够经由MC 78、像素组合器76、T模块77、Q模块46以及MUX模块80、84和85存取从DRAM 55检索的数据。当与开放回路转换速率路径121、122的一者相关联的覆盖控制器71确定需要插入数据(MBX类型＝插入)时或如果运动预测要求存取参考帧的与插入窗口重叠的部分(MBX类型＝模糊)，那么利用此路径。并且，为了实施混合效果，已添加MUX 82使得来自专门开放回路转换速率路径121和122的数据可经由IT模块75转发到像素组合器76。

值得注意的是，VLD和VLE模块的有效实施通常通过仅对非零系数操作而受益，而变换模块、反向变换模块、运动补偿器、像素组合器和DRAM控制器通常经设计以接收并处理所存在的每个系数或像素。尽管图12的实例实施例未展示将所述两组组件桥接在一起所需的扫描转换模块，但这些模块将最佳放置在闭合回路电路72中的MUX82的输出处，以及Q模块46的输出处。还需要较大缓冲器用于两组组件的不同处理速率之间的有效解耦。注意，开放回路子系统121和122的IQ模块44和Q模块46以及闭合回路子系统72的第一IQ模块44的操作将限于非零系数。

同步化器模块79已经修改以接受来自VLD模块42和覆盖控制器模块71中每一者的参数。同步化器79的输出除了预先存在的闭合回路模块MUX 80、MUX 81和像素组合器76外，还用于控制新的MUX模块82、84和85。三个处理器的每一者将MBX类型参数提交到同步化器79并等待同步化器79接受所述请求。对于待处理的每一区块，同步化器79选择三个MBX类型参数的一者并配置如下文表2中指定的某些模块。在大多数情况下，将不存在对于资源的争用，且同步化器79将能够同时适应来自两个或两个以上处理器的请求。然而，如果同步化器79确定一个以上区块需要存取例如DRAM 55或像素组合器76等共享资源，那么请求将被定序且一次一个地进行处理。

表2

现应了解，本发明提供用于将覆盖内容插入到视频信号中的有利的方法、设备和系统。另外，本发明提供用于在视频信号转换速率期间将覆盖内容插入到视频信号中的有利的方法、设备和系统。

尽管已结合各种说明的实施例描述本发明，但可在不脱离如权利要求书中陈述的本发明的精神和范围的情况下对其作出许多修改和调适。

Claims (38)

1.一种用于将覆盖内容插入到视频信号中的方法，其包括：

接收含有覆盖内容的覆盖内容信号；

接收经压缩视频信号；

对所述经压缩视频信号进行解码；

识别所述经解码视频信号的插入窗口部分；

处理所述覆盖内容信号和所述经解码视频信号的所述插入窗口部分以产生所述视频信号的经修改插入窗口部分；以及

处理所述视频信号和所述经修改插入窗口部分以产生经修改视频信号。

2.根据权利要求1所述的方法，其进一步包括：

提供闭合回路转换速率路径用于修改所述视频信号的数据速率；

提供开放回路转换速率路径用于修改所述视频信号的所述数据速率；以及

选择所述闭合回路转换速率路径用于修改所述视频信号的所述插入窗口部分的所述数据速率。

3.根据权利要求2所述的方法，其进一步包括：

在所述闭合回路转换速率路径中提供像素量化误差控制。

4.根据权利要求3所述的方法，其中所述像素量化误差控制包括：

以误差变换系数的形式从所述视频信号的传入像素的变换系数的量化获得误差；

对所述误差变换系数执行反向变换过程以提供像素域中的像素误差；

存储所述像素误差；

在修改相关联像素的所述数据速率期间检索所述存储的像素误差；

将所述像素误差添加到从反向变换过程获得的所述传入像素以获得经校正像素，以便在对应于所述传入像素的变换系数的所述量化期间防止再量化假象的累积；以及

对所述经校正像素执行变换过程以提供用于所述量化的经误差校正变换系数。

5.根据权利要求2所述的方法，其中选择所述闭合回路转换速率路径用于修改所述视频信号的I帧和P帧的所述数据速率。

6.根据权利要求2所述的方法，其中选择所述开放回路转换速率路径用于修改所述视频信号的B帧的所述数据速率。

7.根据权利要求2所述的方法，其中所述闭合回路转换速率路径和所述开放回路转换速率路径可同时操作以处理多个视频信号的帧。

8.根据权利要求7所述的方法，其中：

选择所述闭合回路转换速率路径用于修改所述视频信号的I帧和P帧的所述数据速率；以及

选择所述开放回路转换速率路径用于修改所述视频信号的B帧的所述数据速率。

9.根据权利要求7所述的方法，其中：

所述开放回路转换速率路径和所述闭合回路转换速率路径两者均可用于处理所述视频信号的I帧和P帧。

10.根据权利要求7所述的方法，其中：

所述开放回路转换速率路径和所述闭合回路转换速率路径两者均可用于处理所述视频信号的B帧。

11.根据权利要求2所述的方法，其进一步包括：

额外开放回路转换速率路径，其用于修改所述视频信号的所述数据速率。

12.根据权利要求11所述的方法，其中所述两个开放回路转换速率路径和所述闭合回路转换速率路径可同时操作。

13.根据权利要求2所述的方法，其中所述开放回路转换速率路径包括：

对所述视频信号进行可变长度解码以提供经量化变换系数；

对所述变换系数执行反向量化操作以按比例缩放所述变换系数；

对所述经按比例缩放变换系数执行量化操作以再按比例缩放所述变换系数以实现所需数据速率；以及

对所述经再按比例缩放变换系数进行可变长度编码从而以所述所需数据速率提供视频信号。

14.根据权利要求1所述的方法，其进一步包括：

提供模糊处理模式和插入处理模式中的至少一者用于实行所述处理步骤；

所述模糊处理模式可操作以用于处理所述视频信号的模糊区，其中所述视频信号的当前像素区块的运动向量参考所述插入窗口的一部分；且

所述插入处理模式可操作以用于所述处理所述覆盖内容信号和所述视频信号的所述插入窗口部分以产生所述经修改插入窗口部分。

15.根据权利要求14所述的方法，其进一步包括：

提供正常处理模式用于当所述视频信号不含有插入窗口时处理所述视频信号。

16.根据权利要求14所述的方法，其进一步包括：

提供受限处理模式用于在未选择所述模糊处理模式和所述插入处理模式时实行所述处理步骤的至少一者。

17.根据权利要求15所述的方法，其进一步包括：

提供受限处理模式用于在未选择所述正常处理模式、所述模糊处理模式和所述插入处理模式时实行所述处理步骤的至少一者。

18.根据权利要求15所述的方法，其中所述正常处理模式包括：

对所述视频信号进行可变长度解码以提供经量化变换系数；

对所述变换系数执行反向量化操作以按比例缩放所述变换系数；

对所述经按比例缩放变换系数执行反向变换过程以将所述经按比例缩放变换系数转换为像素值；

将所述像素值与经运动补偿像素误差求和以提供经误差补偿像素值；

对所述经误差补偿像素值执行变换过程以产生经误差补偿变换系数；

对所述经误差补偿变换系数执行量化操作以再按比例缩放所述变换系数以实现所需数据速率；

对所述经再按比例缩放变换系数进行可变长度编码从而以所述所需数据速率提供视频信号。

19.根据权利要求18所述的方法，其中通过以下操作获得所述经运动补偿像素误差：

以像素误差的形式从所述量化操作获得误差；

存储所述像素误差；

在对相关联像素执行运动补偿操作时检索所述存储的像素误差；

处理所述像素误差和所述相关联像素以提供所述经运动补偿像素误差；

其中在所述变换过程之前所述像素值与所述经运动补偿像素误差的所述求和可防止所述量化操作期间再量化假象的累积。

20.根据权利要求16所述的方法，其中：

所述受限处理模式包括：

对所述视频信号进行可变长度解码以提供经量化变换系数；

对所述变换系数执行反向量化操作以按比例缩放所述变换系数；

对所述经按比例缩放变换系数执行量化操作以再按比例缩放所述变换系数以实现所需数据速率；

对所述经再按比例缩放变换系数进行可变长度编码从而以所述所需数据速率提供视频信号；

对所述经按比例缩放变换系数执行反向变换过程以将所述经按比例缩放变换系数转换为像素值；

将所述像素值与从像素存储器检索的经运动补偿像素相加以获得经解码像素值；以及

存储所述经解码像素值。

21.根据权利要求14所述的方法，其中所述模糊处理模式包括：

对所述视频信号的所述模糊区进行可变长度解码以提供经量化变换系数；

对所述变换系数执行反向量化操作以按比例缩放所述变换系数；

对所述经按比例缩放变换系数执行反向变换过程以将所述经按比例缩放变换系数转换为像素值；

将所述像素值与从像素存储器检索的经运动补偿像素相加以获得经解码像素值；

存储所述经解码像素值；

处理所述经解码像素值以修改所述当前像素区块使得所述当前像素区块不需要参考所述视频信号的所述插入窗口的所述部分来进行解码。

22.根据权利要求21所述的方法，其中所述经解码像素值的所述处理包括：

对所述经解码像素值执行变换过程以再产生所述经按比例缩放变换系数；

对所述经按比例缩放变换系数执行量化操作以再按比例缩放所述变换系数以实现所需数据速率；以及

对所述经再按比例缩放变换系数进行可变长度编码从而以所述所需数据速率提供经内部编码像素区块来代替所述当前像素区块。

23.根据权利要求21所述的方法，其中所述所存储的经解码像素值的所述处理包括：

对所述所存储的经解码像素值执行运动补偿操作以重建所述视频信号的所述模糊区；

对所述经运动补偿像素值执行变换过程以再产生所述经按比例缩放变换系数；

对所述经按比例缩放变换系数执行量化操作以再按比例缩放所述变换系数以实现所需数据速率；以及

使用新的运动向量对所述经再按比例缩放变换系数进行可变长度编码从而以所述所需数据速率提供所述视频信号中的经修改像素区块来代替所述当前像素区块。

24.根据权利要求14所述的方法，其中所述插入处理模式包括：

对所述视频信号的所述插入窗口部分进行可变长度解码以提供经量化变换系数；

对所述变换系数执行反向量化操作以按比例缩放所述变换系数；

对所述经按比例缩放变换系数执行反向变换过程以将所述经按比例缩放变换系数转换为对应于所述插入窗口部分的像素值；

将所述像素值与从像素存储器检索的经运动补偿像素相加以获得经解码像素值；

存储对应于所述插入窗口部分的所述经解码像素值；

将对应于所述覆盖内容的预先存储的像素值与对应于所述插入窗口部分的所述所存储的经解码像素值的至少一部分组合以提供经修改的经解码像素值；

对所述经修改的经解码像素值执行变换过程以提供经修改的经按比例缩放变换系数；

对所述经修改的经按比例缩放变换系数执行量化操作以再按比例缩放所述经修改的变换系数以实现所需数据速率；以及

对所述经再按比例缩放的经修改变换系数进行可变长度编码从而以所述所需数据速率提供所述经修改视频信号。

25.根据权利要求24所述的方法，其中通过以下操作获得对应于所述覆盖内容的所述预先存储的像素值：

对所述覆盖内容信号进行可变长度解码以提供对应于所述覆盖内容的经量化变换系数；

对对应于所述覆盖内容的所述变换系数执行反向量化操作以按比例缩放所述变换系数；

对所述经按比例缩放变换系数执行反向变换过程以将所述经按比例缩放变换系数转换为对应于所述覆盖内容的像素值；以及

存储对应于所述覆盖内容的所述像素值。

26.根据权利要求17所述的方法，其进一步包括当将所述覆盖内容插入到所述视频信号中时，从所述正常处理模式转变为所述插入处理模式。

27.根据权利要求26所述的方法，其中所述转变包括：

等待接收所述视频信号中的I帧；

从所述正常处理模式切换到所述受限处理模式；

等待接收所述视频信号的当前部分中的下一参考帧；

将窗口模式设定为开启以启用所述视频信号中的插入窗口；以及

当处理所述视频信号的对应于所述插入窗口的区时切换到所述插入处理模式；以及

当处理所述视频信号的在所述插入窗口部分外部的区时如果对应于所述外部区的运动向量参考先前经解码帧中的所述插入窗口部分，那么切换到所述模糊处理模式。

28.根据权利要求17所述的方法，其进一步包括在完成覆盖内容的插入之后转变到所述正常处理模式。

29.根据权利要求28所述的方法，其中所述转变包括：

等待接收参考帧；

将最初模式设定为开启以启始用于处理所述参考帧的存储器的复位；

将窗口模式设定为关闭以防止在所述视频信号的当前部分中创建插入窗口；

等待所述视频信号的下一帧；

确定所述下一帧是否为B帧；

如果所述下一帧是B帧：

那么将所述窗口模式设定为开启以启用所述视频信号中的所述插入窗口；以及

等待所述下一帧之后的更多帧直到接收到下一参考帧为止；

如果所述下一帧是参考帧：

那么将所述窗口模式设定为关闭；

将所述最初模式设定为关闭；以及

切换到所述正常处理模式。

30.根据权利要求19所述的方法，其进一步包括：

提供像素组合器；

提供第一多路复用器用于选择来自所述反向量化操作的所述变换系数的至少一者或来自所述像素组合器的信号；以及

提供第二多路复用器用于选择来自所述量化操作的所述像素误差的至少一者或来自所述像素组合器的所述信号。

31.根据权利要求30所述的方法，其中来自所述像素组合器的所述信号包括所存储的覆盖内容像素或从所述视频信号的处理获得的主要视频内容像素的至少一者。

32.根据权利要求30所述的方法，其进一步包括：

提供覆盖控制器用于控制所述第一多路复用器、所述第二多路复用器、所述像素组合器和所述运动补偿操作的至少一者。

33.根据权利要求32所述的方法，其进一步包括：

使所述第一多路复用器、所述第二多路复用器、所述像素组合器和所述运动补偿操作的操作同步。

34.根据权利要求1所述的方法，其中：

对所述覆盖内容信号和所述经解码视频信号的所述插入窗口部分进行的用以产生所述视频信号的所述经修改插入窗口部分的所述处理包括：

处理所述视频信号的所述插入窗口部分以获得相应的第一组绝对像素值；

存储对应于所述插入窗口部分的所述第一组绝对像素值；

处理所述覆盖内容信号以获得对应于所述覆盖内容的相应第二组绝对像素值；以及

存储对应于所述覆盖内容的所述第二组绝对值；

通过处理所述第一和第二组绝对像素值产生所述经修改插入窗口部分。

35.根据权利要求1所述的方法，其中将所述覆盖内容插入到所述视频信号中以代替所述视频信号的所述插入窗口部分而产生所述经修改插入窗口部分。

36.根据权利要求1所述的方法，其中将所述覆盖内容与所述视频信号的所述插入窗口部分混合以产生所述经修改插入窗口部分。

37.根据权利要求1所述的方法，其进一步包括：

在一个或一个以上覆盖内容信号中提供不同的覆盖内容；

将标记附加到以下中的至少一者：(a)所述视频信号；以及(b)所述一个或一个以上覆盖内容信号的至少一者，所述标记含有识别信息；以及

根据所述识别信息从所述一个或一个以上覆盖内容信号的一者选择覆盖内容以用于所述插入。

38.一种用于将覆盖内容插入到视频信号中的设备，其包括：

用于接收含有覆盖内容的覆盖内容信号的装置；

用于接收经压缩视频信号的装置；

用于对所述经压缩视频信号进行解码的装置；

用于识别所述经解码视频信号的插入窗口部分的装置；

用于处理所述覆盖内容信号和所述经解码视频信号的所述插入窗口部分以产生所述视频信号的经修改插入窗口部分的装置；以及

用于处理所述视频信号和所述经修改插入窗口部分以产生经修改视频信号的装置。

Images