CN1318258A - 改进的用于数字视频简单形状编码的色度键控技术 - Google Patents

改进的用于数字视频简单形状编码的色度键控技术 Download PDF

Info

Publication number
CN1318258A
CN1318258A CN99810987A CN99810987A CN1318258A CN 1318258 A CN1318258 A CN 1318258A CN 99810987 A CN99810987 A CN 99810987A CN 99810987 A CN99810987 A CN 99810987A CN 1318258 A CN1318258 A CN 1318258A
Authority
CN
China
Prior art keywords
image
soft key
key control
region
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN99810987A
Other languages
English (en)
Other versions
CN1120630C (zh
Inventor
克里特·帕努索芬
陈学敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of CN1318258A publication Critical patent/CN1318258A/zh
Application granted granted Critical
Publication of CN1120630C publication Critical patent/CN1120630C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Color Television Systems (AREA)

Abstract

使用最佳转换门限值、用于数字视频的基于色度键的有效的编码技术。提供最佳二进制键控门限值用于在第一个图像区域和第二个图像区域(如前景目标)之间转换视频图形。该门限值使基色K的量化误差Q的PSNR最佳化。还提供色度键控技术用于表示视频目标的形状，这里前景目标的形状信息被嵌入在键控输出中，所以不需要传送显式α平面或使用α平面编码。色度键形状表示技术提供了目标之间边界上的平滑转换而不需要特别的转换模式。

Description

改进的用于数字视频简单形状编码 的色度键控技术
本发明涉及采用最佳转换门限值对数字视频进行有效的基于色度键编码的方法和设备。
目标处理是多媒体应用中要求的特性之一。这个功能可用于发展中的数字视频压缩标准，如H.263+和MPE6-4。对于H.263+，参见在此作为参考的ITU-T学习研讨会16，稿件999，用于决议的H.263第2版(“H.263+”)建议草案文本，1997年9月。对于MPEG-4，参见在此作为参考的ISO/IEC 14496-2委员会草案(MPEG-4)“信息技术-视听目标的编码：视觉”，1997年10月。
MPEG-4使用形状编码工具来处理被称为视频目标平面(VOP)的任意形状的目标。借助于形状编码，获得被称为α(alpha)平面的形状信息。通过改进的基于内容的算术编码(CAE)来对二进制α平面进行编码，同时，通过运动被补偿的离散余弦变换(DCT)来编码灰度级α平面，类似于纹理编码。由包括VOP形状的矩形来约束α平面。VOP的约束矩形在右下边扩展为多个16×16块，扩展的α样本被设置为零。扩展的α平面被分为16×16样本块(例如α块)并且编码/解码处理在每个α块上完成。
然而，这样一种形状编码工具很复杂并且不适用于低位速率环境。特别地，显式α平面数据的处理和传输消耗计算的资源和信道带宽。
因此，希望提供一种系统，用于编码VOP和其它视频目标的不要求使用显式α平面的形状信息。
基于色度键的编码是另一种处理视频目标的较简单的方法，它比形状编码所要求的处理工作和额外开销要少得多，特别是在编码器中。现在，这种特别的技术已包括在H.263+中。
键控是一种其中将一个视频信号混合进另一个视频信号以用不同的图像代替一个帧(例如图形)或字段的一部分的处理。例如，在新闻广播中，前景视频目标如播音员的头部和上身可以被叠加在背景目标如中和色的背景上。为了获得播音员实际上在背景前面的效果，在电视屏幕上每个水平扫描行期间，显示的图像必须在前景目标和背景目标之间转换。
使用多种不同转换模式中的一种，通过从一个输入到另一个输入的划入划出(wipe)的转换可以获得这种效果。例如，可以使用二进制转换模式，其中显示的图像以阶跃变化突然从一个图像转换到另一个图像。或者，可以使用软键控技术，其中转换以相对平缓的斜坡样方式发生，使得在两个不同的图像之间产生混合或平滑转换(crossfade)的区域。
软键控通常提供比二进制转换更真实的效果。然而，如果该混合区域太大，则图像特性可能会衰减或丧失。
另外，在确定用于转换的色差门限值时会产生困难。如果门限值太高或太低，就不会在适当的时间产生背景图像和前景图像之间的转换。
因此，期望能够提供一种色度键控系统，该系统提供一最佳门限值，用于在视频图形(例如帧)中的背景和前景目标之间转换。
色度键控系统应该与如MPEG-4和H.263+的现有的视频标准，以及包括MPEG-2的其它基于帧的视频压缩标准兼容。
色度键控系统应该能够有效计算并且使用最小的额外开销。
色度键控系统应该与VOP和其它的视频目标以及图像兼容。
还期望提供一种色度键技术来表示视频目标的形状，这里前景目标的形状信息(α平面)被嵌入在键控输出中，所以不需要传送显式α平面或使用α平面编码。
色度键形状表示技术应该提供目标之间边界上的平滑地转换而不需要特别的转换模式，如一般的灰度级形状编码工具，或例如使用羽状滤波器(feathering filter)的后处理。
另外，该色度键技术应该结合使用最小额外开销的任何基于帧的压缩标准来工作。
该色度键技术应该兼容于恒速的或可变速的编码。
该色度键控技术应该提供一种编码器，它预处理基色数据(例如在编码之前)为随后用于确定最佳键控门限值。或者，色度键控技术应该提供一种实时地(例如在编码图像时)确定最佳键控门限值的编码器。
本发明提供具有以上和其它优点的色度键控系统。
本发明涉及用于采用最佳转换门限值的、基于色度键的有效的数字视频编码系统的方法和设备。
本发明提供了用于对在数字视频图形的一行中的第一个图像区域(如背景区域)和第二个图像区域(如前景目标)间的转换进行编码的色度键方法。该方法包括根据前景目标的α平面信息用前景目标的颜色数据平滑转换背景区域的预编码基色数据(K)以获得软键控输出的步骤。根据第一个量化参数(QP)来编码该软键控输出以获得一个经编码的软键控输出。
该方法还包括以下步骤：编码和解码预编码的基色数据以获得解码的基色数据；计算该解码的基色数据的量化误差(Q)；以及根据该第一个量化参数(QP)和该量化误差(Q)确定最佳键控门限值(T)。
在一个实时的实施例中，预编码基色数据的编码和解码相应于用于该编码步骤的第一个量化参数(QP)。
在预处理实施例中，根据相应系列的量化参数计算解码的基色数据的量化误差系列；表示该量化误差系列和相应系列的量化参数的数据存储在例如查阅表中。根据该存储的数据确定该最佳键控门限值(T)。特别地，在软键控输出的编码之前进行计算和存储步骤。这样，当根据在编码器使用的特定的QP，编码软键控输出时，可以立即存取表示该量化误差系列和相应系列的量化参数的数据。
本方法还包括以下步骤：经过通讯信道将编码的软键控输出、最佳键控门限值(T)、预编码基色数据(K)传送到解码功能模块；解码编码的软键控输出以获得重构的软键控输出；以及根据最佳键控门限值(T)和预编码基色数据(K)由重构的软键控输出恢复前景目标的经解码的α平面数据和目标像素数据。
恢复步骤可包括通过采用最佳键控门限值(T)的门限将重构的软键控输出分为预编码基色数据(K)以获得用于前景目标的经解码的α平面数据α和目标像素数据YUV。特别地，要确定该重构的软键控输出和经编码的基色数据(K)之间的距离。如果该距离大于最佳键控门限值(T)，则该重构的软键控输出被归类为前景目标。否则如果该距离不大于(T)，则该重构的软键控输出被归类为背景图像区域。
有利的是，前景目标的α平面信息被嵌入在前景目标的软键控输出中。
本方法同样适用于编码前景目标和背景区域之间的转换。
另外，通过在第一个量化参数(QP)观察用于一范围键控门限值的量化误差(Q)的测量，在确定步骤确定最佳键控门限值(T)。该测量可以是预编码基色数据(K)与量化误差(Q)的峰值信噪比(PSNR)。特别地，在T的最小值找出最佳键控门限值(T)，这里可观察到PSNR的快速增加。
还提供一种色度键解码方法。本方法包括从通讯信道接收经编码的软键控输出的步骤；这里，通过根据第二个图像区域(如前景目标)的α平面信息用前景目标的颜色数据平滑转换第一个图像区域(如背景区域)的预编码基色数据(K)以获得软键控输出，以及根据第一个量化参数(QP)编码该软键控输出，在编码器获得编码的软键控输出。
从通讯信道接收最佳键控门限值数据(T)和预编码基色数据(K)，这里通过编码和解码预编码基色数据获得解码的基色数据、计算该解码的基色数据的量化误差(Q)、及根据第一个量化参数(QP)和量化误差(Q)确定最佳键控门限值数据(T)，在编码器获得最佳键控门限值数据(T)。
解码该编码的软键控输出以获得重构的软键控输出；根据最佳键控门限值(T)和基色数据(K)，从重构的软键控输出恢复前景目标的解码的α平面数据和目标像素数据。
本方法的步骤包括确定该重构的软键控输出和该编码的基色数据(K)之间的距离；如果该距离大于最佳键控门限值(T)，则将该重构的软键控输出归类为前景目标，否则，如果该距离不大于(T，则将该重构的软键控输出归类为背景图像区域。
本方法同样适用于编码前景目标和背景区域之间的转换。
本发明还给出了相应的设备结构。
图1(a)说明具有前景和背景视频目标和一个示范视频行的图像帧。
图1(b)说明图1(a)的图像帧的二进制控制信号。
图1(c)说明图1(a)的图像帧的二进制转换模式。
图1(d)说明使用图1(c)的二进制转换模式的二进制开关。
图2(a)说明具有前景和背景视频目标和一个示范视频行的图像帧。
图2(b)说明图2(a)的图像帧的平滑转换控制信号。
图2(c)说明图2(a)的图像帧的混合转换模式。
图3(a)说明用于图2(c)的α平面转换模式的陡平滑转换。
图3(b)说明用于图2(c)的α平面转换模式的平缓的平滑转换。
图3(c)说明使用图2(c)的α平面转换模式的平滑转换器。
图4说明α平面值与解码的像素颜色和基色K间的欧几里德距离的关系。
图5(a)说明根据本发明使用前景目标的目标纹理嵌入基色输出中的α信息。
图5(b)说明根据本发明使用背景目标的目标纹理嵌入基色输出中的α信息。
图6(a)说明根据本发明具有查询表预处理的编码功能模块和解码功能模块。
图6(b)说明根据本发明具有实时处理的编码功能模块和解码功能模块。
图7说明本发明的仿真过程。
图8说明根据本发明的目标亮度(Y)分量的PSNR与颜色门限值关系的仿真结果。
图9说明根据本发明的目标色度(Cb)分量的PSNR与颜色门限值关系的仿真结果。
图10说明根据本发明的目标色度(Cr)分量的PSNR与颜色门限值关系的仿真结果。
本发明涉及采用最佳转换门限值，用于有效的基于色度键的数字视频编码系统的方法和设备。
图1(a)说明具有前景和背景视频目标和一个示范视频行的图像帧。这里术语“视频目标”用于表示任何视频图像，包括但不限于如MPEG-4标准中使用的VOP，且包括矩形以及任意形状的视频图像。
如上述所提到的，键控是一种将一个视频信号混入另一个视频信号以用不同的图像代替帧或字段的一部分的处理。可通过在视频编码器或解码器中的开关来达到这种效果，该开关使用特定的转换模式从一个视频图像转换到另一个视频图像。
通常，在一个时刻处理一个图像帧，尽管可能处理子帧部分。例如，帧100包括背景图像B(例如，第一个图像区域)和前景图像A(例如，第二个图像区域)。当然，虽然在现在的例子中仅提供了一个前景图像，也可以提供任何数量的叠加图像。在编码器或解码器，可得到来自图像A和图像B的像素数据。例如，该图像数据可以经过通讯路径如有线电视、卫星或计算机网络被传送到编码器或解码器。或者，可以从本地的视频数据库检索到图像A和图像B或任一个。
例如，在新闻广播中，前景目标(图像A)可以是实时获得的播音员的头部和上身，而背景目标(图像B)可以是中和色的背景和/或计算机产生的图形。例如，就天气预报而言，常常提供地图图形作为播音员的背景，播音员看起来站在地图的前面，实际上站在空白墙如固体蓝屏幕的前面。因此，在将合成图像传送到解码器组之前在编码器内进行两个图像之间的转换或键控。
然而，键控可以在用户的控制下在解码器内进行。例如，采用如MPEG-4标准中使用的VOP，用户可以通过集成和叠加从编码器和/或从库中接收的VOP，使用与本地视频库连接的合成器作为视频编辑器。
示范的视频行是一个横穿帧100的水平线。该帧可以被逐行处理，例如包括代表行110。在帧100的顶部，只有背景B的像素，所以不需要转换到另一个目标。然而，对于穿过叠加目标的视频行，如行110，为获得用于编码或显示的适当的像素颜色信息，就需要在适当的时间从一个目标转换到另一个目标。
对于每个视频行产生一个二进制行，用值“255”(或例如0和255之间的其它常数)表示目标A内的像素位置，用值“0”表示目标B内的像素位置。这种二进制行向图1(d)的视频开关提供控制信号。所有的二进制行形成二进制转换模式。目标之间的视频转换实际上发生在像素的每一行期间。
图1(b)说明图1(a)的图像帧的二进制控制信号。控制信号115具有两个值，例如“0”和“255”。对于视频行110，在相应于从背景图像B到前景图像A转换的水平像素坐标XBA，控制信号从“0”立刻转换到“255”。只要输出前景图像A的像素数据，控制信号就保持在“255”。类似的，在相应于从前景图像A到背景图像B转换的水平像素坐标XAB，控制信号从“255”立刻转换到“0”。只要输出背景图像B的像素数据，控制信号就保持在“0”。
可以由许多方式产生适当的控制信号。例如，通过分析色差信号，有可能确定在视频行的什么位置产生特定的颜色或色差。当以这种方式产生键控信号时，该处理被称为色度键控，它是电影胶片中无光泽情况的电子等同物。
基于在前景视频信号中识别的某一基色，色度键控包括以背景信号代替前景信号，或者相反。由于在背景信号中经常选择明亮的蓝色用于键控，因此色度键控也广泛被称为“蓝色屏幕”。
图1(c)说明图1(a)的图像帧的二进制转换模式。虽然图1(a)的目标A和B每个都可能具有多种颜色和模型，但是图1(c)的二进制转换模式130仅具有相应于目标A、值为“255”的区域135和相应于目标B、值为“0”的区域140。二进制转换模式130提供用于图1(d)开关的转换模式信号的信息。
图1(d)说明使用图1(c)的二进制转换模式的二进制开关。根据在每个视频行的转换模式，开关150通过选择端子155输出来自目标A的像素数据或通过选择端子160输出来自目标B的像素数据。特别地，当视频行的当前值是“255”时开关150输出目标A的像素数据，而当视频行的当前值是“0”时输出目标B的像素数据。
如果色度键控(或其它键控)被实现为在前景和背景源间的一帧内的转换，则该转换沿必须被精确地定位。常常使用软键控技术来产生比二进制转换更真实的效果。在这种情况下，二进制开关150由以下所讨论的平滑转换器代替。
图2(a)说明具有前景和背景视频目标以及一个示范视频行的图像帧。图像帧100和示范视频行110相应于图1(a)的情况。
图2(b)说明用于图2(a)的图像帧的平滑转换控制信号。这里，在视频行110上的目标A和B之间没有使用二进制转换，而使用了混合转换。在目标区域A的左沿附近，控制信号215在由坐标x0和x1表示的水平像素之间从“0”转换到“255”。类似地，在目标区域A的右沿附近，控制信号215在由坐标x2和x3表示的水平像素之间从“255”转换到“0”。
图2(c)说明图2(a)的图像帧的混合转换模式。α平面转换模式260包括在视频行110上坐标x1和x2之间具有值“255”的区域230，在视频行110上坐标x0和x1之间与坐标x2和x3之间具有“0”到“255”之间的值的混合区域240，以及在混合区域240之外的值为“0”的区域250。α平面转换模式260用于提供图3(c)的数字平滑转换器的平滑转换系数。α平面转换模式260是一个灰度级α平面，它对于每个水平视频行在两个目标或图像之间成斜坡形。
图3(a)说明图2(c)的α平面转换模式的陡平滑转换。其示出了在示范视频行110从像素坐标x0的目标B到像素坐标x1的目标A的衰落。这里，衰减从x0到x1经过七个像素位置。对于每个像素位置，在从x0处的“0”到x1处的“1”的范围确定相应的平滑转换系数。在近似于x0和x1的中间的像素位置产生50％的衰落电平。曲线315可以适用于系数值。
图3(b)说明图2(c)的α平面转换模式的平缓的平滑转换。同样，示出了在示范视频行110从像素坐标x0的目标B到像素坐标x1的目标A的衰落。这里，衰落比图3(a)的更平缓，因为它从x0到x1经过九个像素位置。曲线325可以适用于系数值。
图3(c)说明使用图2(c)的平面转换模式的平滑转换器。例如，平滑转换器350从图3(a)或图3(b)接收平滑转换系数以及对于每个视频行的目标A和目标B像素数据，并提供相应的软键控输出。输出(out)由前景(目标A)、背景(目标B)和α平面(α)表征为：
out=(α)(目标A)+(1-α)(目标B)
根据本发明，色度键控技术用于表示视频目标的形状。另外，前景的形状信息(α平面)被嵌入在键控输出中，所以不需要传送显式α平面或使用例如在MPEG-4的形状编码工具中使用的α平面编码。因此，产生显著的计算效率，因为α平面数据不必在编码器中被计算和经过信道传送到解码器。
另外，本发明的色度键形状表示技术提供目标之间在边界上的平滑转换而不需要特别的转换模式，如一般的灰度级形状编码工具或例如使用羽状滤波器的后处理。而且，色度键控技术可以与使用最小额外开销的任何基于帧的压缩标准一起使用。通过简化背景区域的运动补偿处理，色度键控技术还减少了解码器的复杂性。
现在讨论用于简单形状编码工具的色度键形状编码。这种工具有两个子系统。
在第一个子系统中，提供了改进的色度键形状表示。这个子系统的主要目的是根据键控输出重构α平面。对于一给定目标，通过给目标外的边界宏块的区域填充基色K来产生键控输出。解压缩的纹理数据(例如，DCT系数)用于根据例如解码的像素(X)和基色(K)之间的欧几里德距离的距离d来恢复形状信息。由三个分量，即亮度分量X(Y)、色度分量X(Cr)和X(Cb)来表示每个像素X。
然后，基于下面的准则，对于每个像素计算重构的α平面：
如果(d＜T1)        则α=0，
否则如果(T1＜d＜T2)则α=((d-T1)/(T2-T1))×255，
否贝，如果(d＞T2)  则α=255，
这里，d=(K(Y)-X(Y))2+(K(Cb)-X(Cb))2+(K(Cr)-X(Cr))2，且Y、Cb和Cr表示色空间。而且，如下面所讨论的，T1和T2分别是下和上键控门限值。出上述距离和重构的α平面值之间的关系如图4所示。
经平方的欧几里德距离d只是一个距离测量的例子。色度键形状编码可以选择其它的测量，如从节省计算的意义上讲更好的绝对距离或汉明距离。绝对距离定义如下：
Dabs=｜K(Y)-X(Y)｜+｜(K(Cb)-X(Cb)｜+｜(K(Cr)-X(Cr)｜
汉明距离是其中两个输入的坐标不同的个数，并且计算如下：
D汉明(Y)=｜{i｜K(Y)i≠X(Y)i,i=0,1,…,n-1}｜
D汉明(Cb)=｜{i｜K(Cb)i≠X(Cb)i,i=0,1,…,n-1}｜
D汉明(Cr)=｜{i｜K(Cr)i≠X(Cr)i,i=0,1,…,n-1}｜
可以使用任何其它适用的距离测量。
图4说明(a)α平面值和(b)解码的像素颜色和基色K之间的欧几里德距离d之间的关系。用于欧几里德距离的值沿着水平轴410延伸，而用于α的值沿着垂直轴420延伸。
注意，如果T1=T2,α平面将是二进制的。因此，不存在影响，例如没有转换模式。T.Chen、A.Puri和R.L.Schmidt在1997年7月ISO/IECJTC1/SC29/WG11 MPEG97/2490的“改进的色度键形状表示”一文中已提出具有分量Y=135、Cb=160和Cr=110的基色K以及T1=60和T2=70的门限值。
在编码工具的第二个子系统中，提供了基于色度键的形状编码。色度键形状表示可以容易地被集成到现有的形状编码工具中，如MPEG-4中使用的形状编码工具。色度键和门限值信息必须加到系统语法中。编码仅在限制框内完成，因为在MPEG-4标准(第3.1.1部分的“VOP形成”)中所称的“智能VOP形成”对于每个VOP都是已知的。而且，在所有背景宏块中的处理遵循三个方案中的一个，即中间(inter)模式(使用运动补偿)、内部(intra)模式(使用DC预测)或跳跃模式(使用基准宏块)。对于运动补偿，使用重构的先前形状，向基准帧填充基色。剩余的和内部的宏块如在MPEG-4中规定的那样被编码和解码。
然而，这两个子系统会产生一些问题。首先，没有防止系统的压缩误差，如由变换系数例如DCT系数的量化误差引起的误差。例如，接近于目标边界的背景颜色通常由于DCT系数的量化误差也通常接近于边界内部(例如在另一侧的)的目标纹理，并会使边界进一步移向目标。
其次，重构的α平面不能遵循原始的α平面，因为不能保证在转换中的目标纹理或者说键控区域具有相同的特征。而且，门限值范围必须足够宽以响应纹理的随机性。然而，随着门限值加宽，如果目标的距离不能足以大于转换区域的距离则可能衰减或破坏目标内的纹理。由此，如果转换区域太大则目标的特性可能看不到。
特别地，本发明人已经注意到当T1和T2的间隙较大时，例如T1＜100和T2＞10,000，产生平滑转换效应。不利的是，将被这些门限值将破坏内部α目标。相反，小的门限值间隙仅产生二进制转换。然而，在与重构的α平面混合之后的最后的输出比使用大的门限值间隙时更加精确。
本发明人已经注意到在α和纹理信息之间基本上没有联系。因此，从纹理数据产生α平面是不可靠的。
根据下面讨论的实验，确定了精确确定目标边界的二进制转换就高PSNR而言提供最佳的结果。这样，如果色度键处理集中在定位准确的边界，则只要求单个最佳门限值。这简化了编码处理。而且，因为α计算的准则仅涉及一个比较而不用多个比较和可能的除法(例如，在上面方程式中的除法“α=((d-T1)/(T2-T1))×255”)，也降低了解码器的复杂性。
然而，这种处理的结果不包括与目标之间转换的α平面有关的任何信息。因此，提供了改进的色度键控技术，其中将有用的α信息嵌入在键控输出中。本发明的整个形状编码系统包括如下改进的基于色度键的形状编码技术。
编码器发送来自平滑转换器的软键控输出以产生边界和目标之间的转换。很明显，只要不存在编码误差，色度键控技术就可以使用T=0以获得最佳的(例如，最高的PSNR或最好的质量)最后输出。在实际情况下，解码的输出将不同于软键控输出并且色度键形状编码会产生误差。基本上有以下两个误差源，(1)基色的量化误差，以及(2)颜色扩散(bleeding)到背景上。在图5(a)和5(b)中说明了这些误差。
图5(a)说明了根据本发明的使用前景目标的目标纹理嵌入基色输出中的α信息。前景目标A和背景目标B被目标边界500分开。如图示出对于背景目标A的基色510的量化误差Q、颜色扩散输出530(例如，软键控输出)、目标纹理520以及表示目标边界500和颜色扩散输出530交叉点的门限值(T)540。注意对于目标A和B都存在目标纹理和基色。图5(b)示出目标B的目标纹理和目标A的基色。
假定基色在颜色坐标中可能性最小，具有编码误差的最佳门限值必须高于目标例如前景目标A内部的最大的解码基色并且低于最小解码纹理。注意术语“目标”通常用于表示前景目标，而背景目标常常简略地称为背景。也可以使用一般的术语“图像区域”。
通过将重构输入的基色与原始基色相比较，可能计算基色的量化误差Q。然而，要找出颜色扩散(BL)量是不实际的，因为它是依赖于内容的。则最大的解码基色就是
     max(K)=K+Q+max(BL)，
这里，max(K)最好固定在门限值(T)540上。
图5(b)说明根据本发明使用背景目标的目标纹理嵌入基色输出中的α信息。这里，示出了背景目标B的目标纹理580和前景目标A的基色560。还示出了背景目标B的基色560的量化误差Q，颜色扩散输出570(例如软键控输出)，以及表示目标边界505和颜色扩散输出570交叉点的门限值(T)545。也示出背景目标B的颜色扩散(BL)量。
图6(a)说明本发明的具有用于查询表的预处理的编码功能模块和解码功能模块。编码功能模块600接收预编码的基色数据K、α平面数据α以及目标像素数据YUV。
在预处理步骤，在编码用于传输到解码器的前景和背景图像数据之前，通过使用一系列的量化参数QP在编解码器605中编码和解码K来计算基色K的一系列的量化误差Q。减法器610接收来自编解码器605的量化的K输出以及非量化的K来计算每个QP的量化误差Q。查询表620存储该系列的QP值和相应系列的Q值。可以为K的每个颜色分量例如Y、Cr和Cb，提供单独的查询表入口。
注意，该系列的QP和相应系列的Q之间的关系可以使用任何已知的曲线拟合方案以方程式的形式表达来代替使用查询表。在这种情况下，仅需要存储方程式的系数。
在查询表620建立之后，会进行前景和背景目标的编码。在平滑转换器615，根据目标的α信息用前景目标完成对基色K的数字平滑转换以将软键控输出提供到编码器625。编码器625可以使用例如MPEG-2、MPEG-4或H.263+标准，采用所需的QP电平编码软键控输出以获得编码的位流。可以改变所需的QP电平以在编码器625的输出端保持一恒定的位速率，或者可以使用一固定的QP，在这种情况下，编码器625的位速率将发生。一种恒定位速率的可能情况是在某一恒定值(例如31)固定所有的背景宏块的QP并且跟随速率控制机构调节前景宏块的QP。
将编码器625使用的QP值提供到查询表620以确定相应的Q值，该编码器编码一特定图像区域例如使用相同的QP的宏块或其它区域。接着，在最佳值T处理器622，将最佳值T确定为K和Q的函数。特别地，根据对不同T值的K/Q确定PSNR。如结合图8-10进一步讨论的那样，最佳值T在相对较低的T值上产生一个较高的PSNR。将编码的软键控输出(例如，编码的位流)、T和K提供给多路复用器(MUX)660并且经过信道662，如有线电视、卫星网络或其它的链路传送。
实际上，也可能如以前描述的过程以相同的方式在解码器完成预处理步骤。在这种情况下，解码器将根据对当前QP的了解，自己确定T。
在解码功能模块670，去多路复用器(DEMUX)665接收编码的软键控输出、T和K，且解码器675使用解码器625使用的标准解码编码的位流以获得重构的软键控输出。在门限值功能模块680，如果该重构的软键控输出和从去多路复用器665接收的基色之间的距离大于门限值T，则该重构的软键控输出(包括嵌入α的前景目标数据和基色背景)被归类为前景目标或区域。如果这个距离不大于门限值T，则该重构的软键控输出被归类为背景目标或区域。
已使用MPEG-4 I-VOP纹理编码，采用色度键形状编码进行了广泛的仿真，以此来检验本技术。
图6(b)说明一根据本发明具有实时处理的编码功能模块和解码功能模块。这里，量化误差Q被实时地确定，没有查询表来存储一系列的Q值与QP值的比值。这个实施例不需要图6(a)的预处理。
特别地，在编码器625使用的所需的QP值被提供到编解码器605以编码和解码K。相应的量化误差Q从减法器610输出，并且被提供给最佳值T处理器622。
图7说明本发明的仿真过程。α平面数据和目标像素数据YUV被提供给平滑转换器710以获得软键控数据，它用作基准值并且也被提供给MPEG-4编解码器720。来自编解码器720的编码的位流提供到色度键处理功能模块730以获得输出值用于与该基准参考值相比较。
如表1所示在仿真中使用Y=135、Cb=160、Cr=110的基色和不同的量化参数QP。表1示出一系列量化参数的量化误差Q。Y′、Cb′和Cr′表示在解码之后可能与预编码值略有不同的值。
                          表1
QP 5 10 15 20 25 30
Y′ 135 135 135 137 136 138
Cb′ 160 160 159 160 159 159
Cr′ 110 110 110 110 109 111
Q 0 0 1 4 3 11
图8-10示出对于Y、Cb和Cr分量分别使用QP=10、20和30的来自MPEG“天气”测试序列的仿真结果。在这些图中，对于每个试验T递增三个单位。因此，每个曲线的分辨率是三个单位。PSNR表示以分贝(dB)为单位的峰值信噪比，这里色空间分量Y、Cb和Cr是各个信号，任何偏差都是噪声。
图8说明根据本发明，目标的亮度(Y)分量的PSNR与门限值关系的仿真结果。
对于最大的量化参数(例如，最粗的编码)，QP=30,PSNR从T=9-12快速地增加。因此，为了用小的T获得高的PSNR，应该选择T=12用于颜色键控。对于QP=20,PSNR从T=3-6快速地增加。因此，应该选择T=6用于颜色键控。对于最小的量化参数(例如，最精确的编码)，QP=10,PSNR不随着T的变化呈现任何快速增加，所以应该选择T=0用于颜色键控。
可以使用不同的过程来检测PSNR的快速增加。例如，T可以以固定的间隔，从零开始增加，且确定每个T的每个值的PSNR。PSNR的快速增加表示最佳的T值。或者，可以检验PSNR与T的比值的斜率，这里斜率的峰值表示最佳的T值。特别地，最好将如使用量化误差Q的有效的计算过程用于实时编码和传输中。
图9说明根据本发明，目标的色度(Cb)分量的PSNR与门限值关系的仿真结果。对于QP=30，PSNR从T=9-12快速增加。因此，为了用小的T值获得高的PSNR，应该选择T=12用于颜色键控。对于QP=20和QP=10,PSNR不随着T的变化呈现任何快速增加，所以应该选择T=0用于颜色键控。
图10说明根据本发明，目标的色度(Cr)分量的PSNR与门限值关系的仿真结果。对于QP=30,PSNR从T=9-12快速增加。因此，为了用最小的T值获得高的PSNR，应该选择T=12用于颜色键控。对于QP=20和QP=10,PSNR不随着T的变化呈现任何快速增加，所以应该选择T=0用于颜色键控。
表2-4提供了与本发明键控门限值选择方案比较的各种现有的键控门限值方案的仿真结果。第一列表示被设置或被测量的相关参数。T1、T2是用于非二进制键控方案的下和上键控门限值。第二列提供如前面提到的T.Chen等人的文章中提出的，T1=60、T2=70的门限值的PSNR结果。第三列提供使用大的间隙门限值时的PSNR结果。
第四列示出本发明的最佳值T和相应的PSNR。在大多数情况下，根据本发明通过选择最佳值T可获得最佳值PSNR。而且，相对于T．Chen等人的技术的改进最明显的地方在亮度(Y)分量。
表2、3和4分别示出QP=10、20和30的比较结果。
                 表2(QP=10)
T1,T2     60,70     -1981,5304     T=0
PSNR(Y)     35.3dB     26.2dB     41.4dB
PSNR(Cb)     44.6     28.8     46.0
PSNR(Cr)     46.2     30.3     46.5
                 表3(QP=20)
T1,T2     60,70     -1490,4031     T=6
PSNR(Y)     34.2dB     28.0dB     37.4dB
PSNR(Cb)     43.0     30.4     43.0
PSNR(Cr)     43.6     31.8     43.5
                   表4(QP=30)
T1,T2     60,70     -1441,4028     12
PSNR(Y)     33.2dB     27.6dB     35.2dB
PSNR(Cb)     41.6     30.1     41.5
PSNR(Cr)     42.2     31.6     42.0
一般地，实验结果示出随着键控门限值T的增加，重构的视频的质量(例如，PSNR)更好。然而，一旦门限值超过特定的QP值，则性能达到极限。在这个QP值以外，较高的门限值可以更好地定位受颜色扩散影响的背景目标。然而，这种效果不利于定位目标边界，因为在颜色扩散之后它可能变得更接近于键控。因此，应该根据QP选择最佳门限值T。
建议的系统适用于简单的形状编码工具，这里低复杂性和低应速率是最关键的因素。
相应地，本发明提供了一个色度键控系统，该系统提供用于在视频图形的背景和前景目标之间转换的最佳门限值。该色度键控系统兼容于现有的视频标准如MPEG-2、MPEG-4和H.263+，以及其它基于帧的视频压缩标准。
另外，色度键控系统在计算上非常有效，并且使用最小的额外开销。
色度键控系统兼容于VOP和其它的视频目标以及图像。
另外，提供色度键控技术来表示视频目标的形状，这里前景目标的形状信息(α平面)被嵌入在键控输出中，所以不需要传送显式α平面或使用α平面编码。
色度键形状表示技术提供已在目标之间边界的平滑转换而不需要特别的转换模式，如一般的灰度级形状编码工具，或例如使用羽状滤波器的后处理。
虽然结合多个特定的实施例对本发明进行了描述，但是本领域的技术人员应该理解在不背离如权利要求书中表示的本发明的精神和范围的情况下，可以进行许多修改和改变。
例如，尽管在说明的例子中讨论了水平视频行的色度键控，但是本发明可以修改为使用视频图像中其它线性或曲线路径。
而且，本发明同样适用于从背景区域到前景目标的转换，如从前景目标到背景区域的转换一样。

Claims (32)

1．一种用于编码在数字视频图形的一行中的第一个图像区域和第二个图像区域之间的转换的色度键控方法，该方法包括以下步骤：
根据所述第二个图像区域的α平面信息用所述第二个图像区域的颜色数据平滑转换所述第一个图像区域的预编码的基色数据(K)以获得软键控输出；
根据第一个量化参数(QP)编码所述的软键控输出以获得一个编码的软键控输出；
编码和解码所述预编码的基色数据以获得解码的基色数据；
计算所述解码的基色数据的量化误差(Q)；以及
根据所述第一个量化参数(QP)和所述量化误差(Q)确定最佳键控门限值(T)。
2．如权利要求1所述的方法，其中
所述预编码的基色数据的所述编码和解码响应于在所述编码步骤中使用的所述第一个量化参数(QP)。
3．如权利要求1所述的方法，还包括以下步骤：
根据相应系列的量化参数计算所述解码的基色数据的一个量化误差系列；
存储表示所述的量化误差系列和所述相应系列的量化参数的数据；
其中所述确定步骤响应于所述存储步骤。
4．如权利要求3所述的方法，其中
所述的计算和存储步骤在所述软键控输出的所述编码之前进行。
5．如权利要求1所述的方法，还包括以下步骤：
经过通讯信道将该编码的软键控输出、所述最佳键控门限值(T)、以及所述预编码基色数据(K)传送到解码功能模块；
在解码功能模块解码该编码的软键控输出以获得重构的软键控输出；以及
根据所述最佳键控门限值(T)和所述预编码的基色数据(K)由所述重构的软键控输出恢复所述第二个图像区域的解码的α平面数据和目标像素数据。
6．如权利要求5所述的方法，还包括以下步骤：
确定所述重构的软键控输出和所述编码的基色数据(K)之间的距离；
如果所述距离大于所述最佳键控门限值(T)，则该重构的软键控输出被归类为所述第二个图像区域；
如果所述距离不大于所述最佳键控门限值(T)，则该重构的软键控输出被归类为所述第一个图像区域。
7．如权利要求1所述的方法，其中
所述第二个图像区域的所述α平面信息被嵌入在软键控输出中。
8．如权利要求1所述的方法，其中
所述第一个图像区域包括背景区域，而所述第二个图像区域包括前景目标。
9．如权利要求1所述的方法，其中
所述第一个图像区域包括前景目标，而所述第二个图像区域包括背景区域。
10．如权利要求1所述的方法，其中
通过在所述第一个量化参数(QP)观察用于一系列键控门限值的所述量化误差(Q)的测量，在所述确定步骤确定所述最佳键控门限值(T)。
11．如权利要求10所述的方法，其中
所述测量是所述预编码基色数据(K)与所述量化误差(Q)的峰值信噪比(PSNR)。
12．一种用于解码在数字视频图形的一行中的第一个图像区域和第二个图像区域之间的转换的色度键控方法，其包括以下步骤：
从通讯信道接收编码的软键控输出；
通过根据所述第二个图像区域的α平面信息用所述第二个图像区域的颜色数据平滑转换所述第一个图像区域的预编码基色数据(K)以获得软键控输出，以及根据第一个量化参数(QP)编码所述的软键控输出，在编码器获得所述编码的软键控输出；以及
从所述通讯信道接收最佳键控门限值数据(T)和所述预编码的基色数据(K)；
通过编码和解码所述预编码的基色数据以获得解码的基色数据、计算所述解码的基色数据的量化误差(Q)、及根据所述第一个量化参数(QP)和所述量化误差(Q)确定所述最佳键控门限值数据(T)，在所述编码器中获得最佳键控门限值数据(T)；
解码编码的软键控输出以获得重构的软键控输出；以及
根据所述最佳键控门限值(T)和所述基色数据(K)，从所述重构的软键控输出恢复所述第二个图像区域的解码的α平面数据和目标像素数据。
13．如权利要求12所述的方法，还包括以下步骤：
确定所述重构的软键控输出和所述编码的基色数据(K)之间的距离；
如果所述距离大于所述最佳键控门限值(T)，则将该重构的软键控输出归类为所述第二个图像区域；
如果所述距离不大于所述最佳键控门限值(T)，则将该重构的软键控输出归类为所述第一个图像区域；
14．如权利要求12所述的方法，其中
所述第二个图像区域的所述α平面信息被嵌入在软键控输出中。
15．如权利要求12所述的方法，其中
所述第一个图像区域包括背景区域，而所述第二个图像区域包括前景目标。
16．如权利要求12所述的方法，其中
所述第一个图像区域包括前景目标，而所述第二个图像区域包括背景区域。
17．一种用于编码在数字视频图形的一行中的第一个图像区域和第二个图像区域之间的转换的色度键控设备，该设备包括：
一个平滑转换器；
一个被耦合以接收所述平滑转换器输出的编码器；
一个编码器/解码器(编解码器)；
一个被耦合以接收所述编解码器输出的减法器；以及
一个被耦合以接收所述减法器输出的最佳门限值处理器；其中
所述平滑转换器适合于根据所述第二个图像区域的α平面信息用所述第二个图像区域的颜色数据平滑转换所述第一个图像区域的预编码基色数据(K)以获得软键控输出，；
所述编码器适合于根据第一个量化参数(QP)编码所述的软键控输出以获得一个编码的软键控输出；
所述编解码器适合于编码和解码所述预编码的基色数据以获得解码的基色数据；
所述减法器用于计算所述解码的基色数据的量化误差(Q)；以及
所述最佳门限值处理器用于根据所述第一个量化参数(QP)和所述量化误差(Q)确定最佳键控门限值(T)。
18．如权利要求17所述的设备，其中
所述编解码器响应所述第一个量化参数(QP)用于编码和解码所述预编码的基色数据。
19．如权利要求17所述的设备，其中
所述编解码器适合于根据一系列量化参数编码和解码所述预编码的基色数据以获得相应系列的解码的基色数据；
所述减法器用于计算所述系列的解码的基色数据的一个量化误差系列；
还包括：
一个存储器，用于存储表示所述量化误差系列和所述相应系列的量化参数的数据；
其中所述最佳门限值处理器响应所述存储器，用于确定所述最佳键控门限值(T)。
20．如权利要求19所述的设备，其中
所述编解码器根据所述系列的量化参数编码和解码所述预编码的基色数据；及
在所述编码器编码所述软键控输出之前，所述减法器用于计算所述量化误差系列；
21．如权利要求17所述的设备，还包括：
一个发射机；
一个解码功能模块，用于接收所述发射机的输出；
所述解码功能模块包括一个解码器，以及一个用于接收所述解码器的输出的门限值功能模块；其中
所述发射机经过通讯信道发射编码的软键控输出、所述最佳键控门限值(T)、以及所述预编码的基色数据(K)到所述解码功能模块；
所述解码器解码编码的软键控输出以获得重构的软键控输出；以及
所述门限值功能模块根据所述最佳键控门限值(T)和所述预编码基色数据(K)，从所述重构的软键控输出恢复所述第二个图像区域的解码的α平面数据和目标像素数据。
22．如权利要求21所述的设备，其中所述门限值功能模块
确定所述重构的软键控输出和所述编码的基色数据(K)之间的距离；
如果所述距离大于所述最佳键控门限值(T)，则该重构的软键控输出被归类为所述第二个图像区域；
如果所述距离不大于所述最佳键控门限值(T)，则该重构的软键控输出被归类为所述第一个图像区域。
23．如权利要求17所述的设备，其中
所述第二个图像区域的所述α平面信息被嵌入在软键控输出中。
24．如权利要求17所述的设备，其中
所述第一个图像区域包括背景区域，而所述第二个图像区域包括前景目标。
25．如权利要求17所述的设备，其中
所述第一个图像区域包括前景目标，而所述第二个图像区域包括背景区域。
26．如权利要求17所述的设备，其中
通过在所述第一个量化参数(QP)观察用于一范围的键控门限值的所述量化误差(Q)的测量，所述最佳门限值处理器确定所述最佳键控门限值(T)。
27．如权利要求26所述的设备，其中
所述测量是所述预编码的基色数据(K)与所述量化误差(Q)的峰值信噪比(PSNR)。
28．一种用于解码在数字视频图形的一行中的第一个图像区域和第二个图像区域之间的转换的色度键控设备，其包括：
一个解码功能模块，用于从通讯信道接收编码的软键控输出；
所述解码功能模块包括一解码器和一用于接收所述解码器的输出的门限值功能模块；其中
通过根据所述第二个图像区域的α平面信息用所述第二个图像区域的颜色数据平滑转换所述第一个图像区域的预编码基色数据(K)以获得软键控输出，以及根据第一个量化参数(QP)编码所述软键控输出，在编码器获得编码的软键控输出。
所述门限值功能模块从所述通讯信道接收最佳键控门限值数据(T)和所述预编码的基色数据(K)；
通过编码和解码所述预编码基色数据以获得解码的基色数据、计算所述解码的基色数据的量化误差(Q)以及根据所述第一个量化参数(QP)和所述量化误差(Q)确定所述最佳键控门限值数据(T)，可以在所述编码器获得所述最佳键控门限值数据(T)；
所述解码器解码编码的软键控输出以获得重构的软键控输出；以及
根据所述最佳键控门限值(T)和所述基色数据(K)，所述门限值功能模块从所述重构的软键控输出恢复所述第二个图像区域的解码的α平面数据和目标像素数据。
29．如权利要求28所述的设备，其中所述门限值功能模块
确定所述重构的软键控输出和所述编码的基色数据(K)之间的距离；
如果所述距离大于所述最佳键控门限值(T)，则该重构的软键控输出被归类为所述第二个图像区域；
如果所述距离不大于所述最佳键控门限值(T)，则该重构的软键控输出被归类为所述第一个图像区域。
30．如权利要求28所述的设备，其中
所述第二个图像区域的所述α平面信息被嵌入在软键控输出中。
31．如权利要求28所述的设备，其中
所述第一个图像区域包括背景区域，而所述第二个图像区域包括前景目标。
32．如权利要求28所述的设备，其中
所述第一个图像区域包括前景目标，而所述第二个图像区域包括背景区域。
CN99810987A 1998-09-17 1999-08-23 对数字视频进行基于色度键编码的方法和设备 Expired - Fee Related CN1120630C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/156,790 US6122014A (en) 1998-09-17 1998-09-17 Modified chroma keyed technique for simple shape coding for digital video
US09/156,790 1998-09-17

Publications (2)

Publication Number Publication Date
CN1318258A true CN1318258A (zh) 2001-10-17
CN1120630C CN1120630C (zh) 2003-09-03

Family

ID=22561103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99810987A Expired - Fee Related CN1120630C (zh) 1998-09-17 1999-08-23 对数字视频进行基于色度键编码的方法和设备

Country Status (8)

Country Link
US (1) US6122014A (zh)
EP (1) EP1114556A1 (zh)
JP (1) JP2002525928A (zh)
KR (1) KR20010075163A (zh)
CN (1) CN1120630C (zh)
AU (1) AU755247B2 (zh)
CA (1) CA2343031A1 (zh)
WO (1) WO2000016562A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752544A (zh) * 2011-11-21 2012-10-24 新奥特（北京）视频技术有限公司 一种利用色键进行图像校色选区的方法
CN101764911B (zh) * 2008-12-08 2013-05-01 新奥特（北京）视频技术有限公司 一种抑制前景颜色溢出和控制混合亮度的方法
CN106464881A (zh) * 2014-06-04 2017-02-22 高通股份有限公司 块自适应颜色空间转换译码

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2305050A (en) * 1995-09-08 1997-03-26 Orad Hi Tec Systems Ltd Determining the position of a television camera for use in a virtual studio employing chroma keying
US6201570B1 (en) * 1996-09-13 2001-03-13 Hitachi Denshi Kabushiki Kaisha Digital television camera apparatus provided with camera head unit and camera control unit, independently
US6618444B1 (en) * 1997-02-14 2003-09-09 At&T Corp. Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
US6934906B1 (en) 1999-07-08 2005-08-23 At&T Corp. Methods and apparatus for integrating external applications into an MPEG-4 scene
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
JP3361308B2 (ja) * 1999-12-28 2003-01-07 タイコエレクトロニクスアンプ株式会社 雌型コンタクト及びそれを用いた電気コネクタ
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US6714257B2 (en) * 2001-06-29 2004-03-30 Koninklijke Philips Electronics N.V. Color key preservation during sample rate conversion
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
CN1902930B (zh) 2003-10-24 2010-12-15 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7394471B2 (en) * 2004-04-05 2008-07-01 Seiko Epson Corporation Dynamic cross fading method and apparatus
US20060184462A1 (en) * 2004-12-10 2006-08-17 Hawkins Jeffrey C Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US7739208B2 (en) * 2005-06-06 2010-06-15 Numenta, Inc. Trainable hierarchical memory system and method
US20070011718A1 (en) * 2005-07-08 2007-01-11 Nee Patrick W Jr Efficient customized media creation through pre-encoding of common elements
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US8732098B2 (en) 2006-02-10 2014-05-20 Numenta, Inc. Hierarchical temporal memory (HTM) system deployed as web service
US20080208966A1 (en) * 2007-02-28 2008-08-28 Numenta, Inc. Hierarchical Temporal Memory (HTM) System Deployed as Web Service
US20070192267A1 (en) * 2006-02-10 2007-08-16 Numenta, Inc. Architecture of a hierarchical temporal memory based system
US7941389B2 (en) * 2006-02-10 2011-05-10 Numenta, Inc. Hierarchical temporal memory based system including nodes with input or output variables of disparate properties
EP2087437A4 (en) * 2006-11-28 2010-10-27 Numenta Inc TIME-BASED COMMON-BASED PACKAGE
US8037010B2 (en) * 2007-02-28 2011-10-11 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
US7941392B2 (en) * 2007-02-28 2011-05-10 Numenta, Inc. Scheduling system and method in a hierarchical temporal memory based system
US8112367B2 (en) * 2007-02-28 2012-02-07 Numenta, Inc. Episodic memory with a hierarchical temporal memory based system
US8456577B2 (en) * 2007-06-29 2013-06-04 Gvbb Holdings S.A.R.L. Method and apparatus for chroma key production
WO2009006231A1 (en) * 2007-06-29 2009-01-08 Numenta, Inc. Hierarchical temporal memory system with enhanced inference capability
US8155437B2 (en) * 2007-09-07 2012-04-10 CVISION Technologies, Inc. Perceptually lossless color compression
AU2008299883B2 (en) 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
WO2009052407A1 (en) * 2007-10-18 2009-04-23 Numenta, Inc. System and method for automatic topology determination in a hierarchical-temporal network
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8175984B2 (en) * 2007-12-05 2012-05-08 Numenta, Inc. Action based learning
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8175985B2 (en) 2008-03-19 2012-05-08 Numenta, Inc. Plugin infrastructure for hierarchical temporal memory (HTM) system
US7983998B2 (en) * 2008-03-21 2011-07-19 Numenta, Inc. Feedback in group based hierarchical temporal memory system
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8407166B2 (en) * 2008-06-12 2013-03-26 Numenta, Inc. Hierarchical temporal memory system with higher-order temporal pooling capability
US7924164B1 (en) 2008-11-05 2011-04-12 Brunswick Corporation Method for sensing the presence of a human body part within a region of a machine tool
US8195582B2 (en) * 2009-01-16 2012-06-05 Numenta, Inc. Supervision based grouping of patterns in hierarchical temporal memory (HTM)
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
EP2548096B1 (en) 2010-03-15 2017-10-25 Numenta, Inc. Temporal memory using sparse distributed representation
US11651277B2 (en) 2010-03-15 2023-05-16 Numenta, Inc. Sparse distributed representation for networked processing in predictive system
US8294822B2 (en) * 2010-08-17 2012-10-23 Broadcom Corporation Method and system for key aware scaling
US8645291B2 (en) 2011-08-25 2014-02-04 Numenta, Inc. Encoding of data for processing in a spatial and temporal memory system
US8825565B2 (en) 2011-08-25 2014-09-02 Numenta, Inc. Assessing performance in a spatial and temporal memory system
US8504570B2 (en) 2011-08-25 2013-08-06 Numenta, Inc. Automated search for detecting patterns and sequences in data using a spatial and temporal memory system
US9764523B2 (en) 2011-11-29 2017-09-19 Smith International, Inc. High pressure carbide component with surfaces incorporating gradient structures
US9159021B2 (en) 2012-10-23 2015-10-13 Numenta, Inc. Performing multistep prediction using spatial and temporal memory system
US9386303B2 (en) * 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US10318878B2 (en) 2014-03-19 2019-06-11 Numenta, Inc. Temporal processing scheme and sensorimotor information processing
US9473191B1 (en) 2015-08-28 2016-10-18 Kevin Lee Raymond Portable handheld container
US11681922B2 (en) 2019-11-26 2023-06-20 Numenta, Inc. Performing inference and training using sparse neural network

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3143653A1 (de) * 1981-11-04 1983-05-11 Robert Bosch Gmbh, 7000 Stuttgart Verfahren zum mischen zweier farbfernsehsignale
US5384912A (en) * 1987-10-30 1995-01-24 New Microtime Inc. Real time video image processing system
DE4143180A1 (de) * 1991-12-30 1993-07-01 Broadcast Television Syst Verfahren und anordnung zur einblendung eines hintergrundsignals in durch eine vorgegebene stanzfarbe festgelegte teile eines vordergrundsignals
GB9217098D0 (en) * 1992-08-12 1992-09-23 British Broadcasting Corp Derivation of studio camera position and motion from the camera image
DE4229377B4 (de) * 1992-09-03 2006-03-23 Bts Holding International Bv Farbstanzverfahren für Bildsignale
DE4432788B4 (de) * 1994-09-15 2006-04-06 Bts Holding International Bv Verfahren und Schaltung zur Erzeugung eines zusammengesetzten Videosignals
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3255022B2 (ja) * 1996-07-01 2002-02-12 日本電気株式会社 適応変換符号化方式および適応変換復号方式
US5974172A (en) * 1997-02-14 1999-10-26 At&T Corp Method and apparatus for coding segmented regions which may be transparent in video sequences for content-based scalability

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764911B (zh) * 2008-12-08 2013-05-01 新奥特（北京）视频技术有限公司 一种抑制前景颜色溢出和控制混合亮度的方法
CN102752544A (zh) * 2011-11-21 2012-10-24 新奥特（北京）视频技术有限公司 一种利用色键进行图像校色选区的方法
CN102752544B (zh) * 2011-11-21 2017-06-13 新奥特（北京）视频技术有限公司 一种利用色键进行图像校色选区的方法
CN106464881A (zh) * 2014-06-04 2017-02-22 高通股份有限公司 块自适应颜色空间转换译码
CN106464881B (zh) * 2014-06-04 2019-07-05 高通股份有限公司 块自适应颜色空间转换译码的方法和装置

Also Published As

Publication number Publication date
US6122014A (en) 2000-09-19
CN1120630C (zh) 2003-09-03
KR20010075163A (ko) 2001-08-09
WO2000016562A1 (en) 2000-03-23
AU5557199A (en) 2000-04-03
EP1114556A1 (en) 2001-07-11
AU755247B2 (en) 2002-12-05
JP2002525928A (ja) 2002-08-13
CA2343031A1 (en) 2000-03-23

Similar Documents

Publication Publication Date Title
CN1120630C (zh) 对数字视频进行基于色度键编码的方法和设备
CN1284355C (zh) 视频图象的高精度编码和解码
CN1208971C (zh) 运动图像的预测编码方法和译码方法
CN1171460C (zh) 用于隔行数字视频信号的视频目标平面的运动估算和补偿
CN1608372A (zh) 在视频编码器中选择宏块量化参数的方法和装置
CN1666429A (zh) 用于在视频编码中选择插值滤波器类型的方法和系统
CN1643912A (zh) 用于在视频序列中对运动进行编码的方法
CN112565757B (zh) 基于通道差异化的点云属性编码及解码方法、装置及系统
CN1684518A (zh) 高保真代码转换
CN101032172A (zh) 用于可分级视频比特流的熵编码和解码的方法和系统
CN1784015A (zh) 一种帧内图像预测编码方法
CN1658673A (zh) 视频压缩编解码方法
CN1324904C (zh) 运动图像编码设备和运动图像编码方法
CN101043621A (zh) 一种自适应插值处理方法及编解码模块
CN107580222A (zh) 一种基于线性模型预测的图像或视频编码方法
CN1812577A (zh) 译码数字影像位流所含画面的方法及其数字影像译码系统
CN1147154C (zh) 用于编码交错形状信息的方法和设备
CN112188196A (zh) 一种基于纹理的通用视频编码帧内快速预测的方法
CN101056408A (zh) 用于确定视频编码中跳跃模式的阈值的方法和装置
CN1713729A (zh) 一种视频压缩方法
CN1756364A (zh) 帧内预测模式的选择方法
CN101072355B (zh) 一种加权预测运动补偿方法
CN1302668C (zh) 一种隐藏错误的视频译码方法
Pi et al. Texture-aware spherical rotation for high efficiency omnidirectional intra video coding
CN1770863A (zh) 零块预判条件的确定方法及零块预先判定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee