CN1378749A - 用于将一系列编码图像帧分别格式化为相应区域的电路和方法 - Google Patents

用于将一系列编码图像帧分别格式化为相应区域的电路和方法 Download PDF

Info

Publication number
CN1378749A
CN1378749A CN00812350A CN00812350A CN1378749A CN 1378749 A CN1378749 A CN 1378749A CN 00812350 A CN00812350 A CN 00812350A CN 00812350 A CN00812350 A CN 00812350A CN 1378749 A CN1378749 A CN 1378749A
Authority
CN
China
Prior art keywords
area
image
motion vector
processor
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN00812350A
Other languages
English (en)
Inventor
文卡特·V·伊斯瓦尔
约翰·S·奥唐奈
拉马钱德兰·纳塔拉詹
罗伯特·J·戈夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EQUARTOR TECHNLOGIES Inc
Original Assignee
EQUARTOR TECHNLOGIES Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EQUARTOR TECHNLOGIES Inc filed Critical EQUARTOR TECHNLOGIES Inc
Publication of CN1378749A publication Critical patent/CN1378749A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明披露的视频处理电路包括处理器,该处理器接收具有第一区域和第二区域的编码图像,并接收图像中第一图像的第一区域的运动矢量。如果运动矢量指向图像的第二区域,则该处理器至少对第一图像的部分第一区域进行再编码,使得第一图像的第一区域没有指向图像的第二区域的运动矢量。

Description

用于将一系列编码图像帧分别格式化为 相应区域的电路和方法
技术领域
本发明一般地涉及图像处理电路和技术，更具体地说，本发明涉及用于将一系列编码图像帧分别格式化为相应的第一区域和第二区域的电路和方法。这种格式化过程有助于后续将另一个图像(例如：电子节目导视)覆盖到视频图像上。
背景技术
图1示出了图像帧6，图像帧6是一个包括第一区域7和第二区域8的图像帧。尽管以图像帧为例进行说明，但是图像6也可以是图像场。此外，尽管示出了上、下设置的两个矩形，但是这些区域的数量、形状以及各自位置是任意的。
通常，人们看到的是各自为整体的一序列图像帧6。但是人们有时希望在区域7和区域8之一内观看另一种图像，即：覆盖图像。例如，在人们正在观看区域7内的节目时(如果EPG是透明的，则还可以在区域8内观看)，人们希望在区域8内看到电子节目导视(EPG)。或者，在人们正在观看区域7内的出售商品时(如果菜单是透明的，也可以在区域8内观看)，人们希望在区域8内观看到互联网订货菜单。因此，覆盖图像通常是与它所覆盖的帧区域同样大小或比它小的部分帧，但是覆盖帧可以覆盖整个图像帧。但是，为简便起见，将部分覆盖帧和全部覆盖帧都称为“覆盖帧”
图2示出了传统电视接收机系统10的方框图，该电视接收机系统10包括机顶盒11，例如：有线电视(CATV)机顶盒或卫星电视机顶盒、遥控器12以及数字视频显示器13。通常，机顶盒11可以使人们在图像帧6(如图1所示)序列的相应区域7内观看覆盖图像，例如构成EPG的覆盖图像。机顶盒11包括处理电路14，处理电路14在输入端15接收编码的复用广播视频信号，在命令端16接收遥控器12发送的命令信号，并在输出端17产生视频显示信号。广播视频信号包括一个或多个广播频道和一个或多个覆盖帧，例如：构成EPG的帧，并根据诸如运动图像专家组(MPEG)标准(如下所述)的压缩标准对广播视频信号进行编码。根据选择频道和遥控器12发送的覆盖命令，电路14使选中的频道的图像帧与一个或多个适当的覆盖帧交融，并产生显示信号作为这些交融图像帧的序列。显示器13从端17接收显示信号，然后解码、显示交融图像帧序列。
更具体地说，处理电路14包括命令解码器18，命令解码器18对遥控器12发送的命令进行解码并产生相应控制信号(例如：覆盖信号)以控制处理电路14的其它部分。频道选择器20从端15接收广播信号，并根据命令解码器18输出的频道选择信号，从广播信号中分解出选中的频道。根据解码器18输出的覆盖信号，选择器20还分解出选中的覆盖帧。例如，选择器20可以分解对应于选中的频道的EPG。视频解码器22将选中的频道的图像帧解码到像素域帧，即：像素亮度值帧和像素色度值帧。根据覆盖信号，视频解码器22还将选中的覆盖帧解码到像素域，并且覆盖/视频组合器24使解码图像帧与解码覆盖帧交融。相反，如果命令解码器18不产生覆盖信号，则选择器20也不分解覆盖帧，并且组合器24仅通过解码器22输出的解码图像帧。在一个实施例中，组合器24的输出端直接连接到输出端17。但是，因为有时不希望将解码图像帧(交融或未交融)直接连接到显示器13，在另一个实施例中，电路14可以包括可选的再编码器26，可选的再编码器26对组合器24输出的解码图像帧进行再编码，然后将它们送到显示器13。尽管如图所示，处理电路14包括许多单独电路模块，但是它也可以包括一个或多个实现上述电路模块18、20、22、24以及26的电路功能的处理器。
再参考图2，在观众不希望观看覆盖帧期间的操作中，观众利用产生相应控制信号的遥控器12选择频道。通常是红外检测器的控制端16接收控制信号并将控制信号连接到命令解码器18。根据该控制信号，解码器18产生频道选择信号，通过分解广播信号，频道选择信号使频道选择器20复原选中的频道的编码视频信号。视频解码器22将复原的视频信号编码为像素值帧，组合器24将这些帧发送到可选的再编码器26，可选的再编码器26对这些帧进行再编码并将再编码视频信号送到显示器13。然而，如果省略再编码器26，则组合器24将解码帧直接送到显示器13。
在观众希望观看覆盖帧期间的操作中，如上所述，利用遥控器12，观众选择频道并且还选择一个覆盖帧或一系列覆盖帧，例如EPG。解码器18产生选中的频道信号和覆盖信号，这两个信号一起使频道选择器20复原选中的频道的编码视频信号和含有一个覆盖帧或多个覆盖帧的编码视频信号。覆盖信号使视频解码器22将频道选择器20输出的复原频道信号和覆盖视频信号解码为相应帧序列，并使组合器24将覆盖帧与频道帧交融以产生交融帧。可选的再编码器26对这些交融帧进行再编码，并将它们送到显示器13，显示器13对再编码交融帧进行解码。然而，如果省略再编码器26，则组合器24直接将交融帧送到显示器13。
遗憾的是，机顶盒11不能利用显示器13的解码能力，它本身具有冗余解码电路系统，这样会明显增加机顶盒11的大小和成本。通常，显示器13包括分别类似于机顶盒11的选择选择器20和解码器22的频道选择与全解码电路系统。因此，显示器13通常可以直接接收编码的复用广播视频信号，复原选中的频道内的编码视频信号，以及解码、显示复原视频信号的图像帧。但是显示器13通常不能将覆盖帧与图像帧交融。因此，为了实现此交融过程，机顶盒11与显示器13具有同样的解码能力(解码器22)。然而，观众通常要求在观看节目时的较短时间内显示覆盖帧。因此，因为机顶盒11的交融能力仅需要少量时间，所以在大多数时间内机顶盒11的解码能力较显示器13的解码能力更冗余。也就是说，用户购买了两个全解码器，而在大多数时间，有一个解码器不工作。此外，如果要将编码视频信号送到显示器13，则处理电路系统还要包括再编码器26，再编码器26更增加了机顶盒11的大小和成本。
为了帮助读者更好地理解本发明说明书在以下讨论的概念，以下将概况说明传统视频压缩技术。
为了用电子方法通过较低带宽频道发送较高分辨率的图像，或者为了用电子方法将此图像存储到较小存储空间，通常需要对表示图像的数字数据进行压缩。此图像压缩过程通常包括减少表示图像的所需的数据位数。例如，对高清晰度电视(HDTV)视频图像进行压缩以通过现有电视频道传输它们。如果不进行压缩，则HDTV视频图像需要比现有电视频道的带宽宽得多的带宽。此外，为了将数据业务量和传输时间降低到可接受程度，在通过因特网进行发送之前，要对图像进行压缩。或者，为了提高CD-ROM或服务器的图像存储容量，在将图像存储到其上之前，可以对图像进行压缩。
现在参考图3至图6说明通用的、基于块的运动图像专家组(MPEG)压缩标准，该标准包括MPEG-1和MPEG-2。为了说明问题，此说明基于利用MPEG4：2：0格式对Y、CB、CR色空间表示的视频图像进行压缩。然而，所说明的概念也适用于其它MPEG格式、适用于用其它色空间表示的图像、并且适用于基于块的其它压缩标准，例如：通常用于压缩静止图像的联合图像专家组(JPEG)标准。此外，尽管为了简便起见，省略了MPEG标准和Y、CB、CR色空间的许多细节，但是这些细节众所周知，并且在大量现有参考资料中对它们进行了说明。
再参考图3至图6，MPEG标准通常用于压缩诸如在电视广播中建立的瞬时图像序列一本说明中为图像帧。每个图像帧均被分割为被称为宏块的子区，每个子区内包括一个或多个像素。图3A示出了具有256个像素32的16像素×16像素宏块30(未按比例示出了)。在MPEG标准中，宏块始终为16×16像素，但是其它压缩标准可以采用其它大小的宏块。在原始图像帧中，即在被压缩前的帧中，每个像素32具有各自的亮度值Y和各自的色差值，即色度差值CB和CR。
参考图3A至图3D，在压缩帧之前，根据原始帧的原始Y、CB和CR值产生数字亮度值(Y)和数字色度差值(CB和CR)，即预压缩值。在MPEG4：2：0格式中，预压缩Y值与原始Y值相同。因此，每个像素32仅保持其原始亮度值Y。但是为了减少压缩的数据量，MPEG4：2：0格式允许对各个由4个像素32组成的像素组34只有一个预压缩CB值就一个预压缩CR值。分别根据相应像素组34内的4个像素32的原始CB值和CR值获得各自的预压缩CB值和CR值。例如，预压缩CB值等于相应像素组34的4个像素32的原始CB值的平均值。参考图3B至图3D，将对宏块10产生的预压缩Y、CB以及CR值排列为一个预压缩Y值(等于各像素32的原始Y值)的16×16矩阵36、一个预压缩CB值(等于4个像素32组成的各像素组34的导出CB值)的8×8矩阵38以及一个预压缩CR值(等于4个像素32组成的各像素组34的导出CR值)的8×8矩阵40。通常，将矩阵36、38以及40称为数值“块”。此外，因为便于对8×8像素值块进行压缩变换，而不便于对16×16块进行压缩变换，所以，将预压缩Y值的块36细分为4个8×8块42a至42d，8×8块42a至42d分别对应于宏块30内的像素的8×8块A至D。因此，参考图3A至3D，对每个宏块30产生6个预压缩像素数据的8×8块：4个预压缩Y值的8×8块42a至42d，一个预压缩CB值的8×8块38以及一个预压缩CR值的8×8块40。
图4示出了MPEG压缩器50的方框图，更多地将压缩器称为编码器。通常，编码器50将帧或帧序列的压缩数据转换为编码数据，编码数据利用比预压缩数据少得多的数据位表示相同的一个帧或多个帧。为了实现此转换过程，编码器50减少或消除预压缩数据内的多余信息并利用有效变换与编码技术重新格式化剩余数据。
更具体地说，编码器50包括帧重排序缓冲器52，帧重排序缓冲器52接收一个或多个帧的序列的预压缩数据并将各帧重新排序为适当序列用于进行编码。因此，重新排序序列通常不同于产生帧并显示帧的序列。编码器50将存储的各帧分配到相应组，称为图像组(GOP)，并将各帧标记为内(I)帧和非内(非I)帧。例如，对于总数为15个帧的GOP，每个GOP可以包括3个I帧和12个非I帧。编码器50无需参考另一个帧就可以对I帧进行编码，但是对非I帧进行编码时通常要参考该GOP内的一个或多个其它帧。然而，编码器50不参考不同GOP内的帧对非I帧进行编码。
在对I帧进行编码期间，表示I帧的预压缩Y、CB和CR值的8×8块(如图3B至图3D所示)通过加法器54到达离散余弦变换器(DCT)56，离散余弦变换器56将这些预压缩值块变换为包括一个DC(0频率)系数和63个AC(非0频率)系数的相应8×8块。也就是说，在编码器50对I帧进行编码时，不需要加法器54，因此预压缩值通过加法器54，而不与任何其它值相加。然而，如下所述，在编码器50对非I帧进行编码时通常需要加法器54。量化器58将各系数限制到各自的最大值，并通过相应的通路60和62提供量化AC系数和DC系数。预测编码器64预测编码DC系数，可变长度编码器66将量化AC系数和量化、预测编码DC系数转换为可变长度码，例如，霍夫曼码。这些表示构成表示编码I帧像素值的编码数据。发送缓冲器68临时存储这些代码以将编码数据同步传输到解码器(以下将参考图6说明)。另一方面，如果编码数据被存储而非被发送，则编码器66可以直接将可变长度码送到诸如CD-ROM的存储媒体。
如果在GOP内将I帧用作一个或多个非I帧的基准(通常是这样)，则因为如下原因，通过利用类似于或等同于解码器(如图6所示)所使用技术的解码技术对编码I帧进行解码，编码器50产生相应的基准帧。当对以I帧为基准的非I帧进行解码时，解码器只能使用解码的I帧作为基准帧。因为MPEG编码过程和解码过程有损-即因为对AC和DC变换系数进行量化而丢失信息，所以解码的I帧的像素值通常与I帧的预压缩像素值不同。因此，在编码期间，利用预压缩I帧作为基准帧会在解码的非I帧内产生附加赝象，因为解码(解码I帧)使用的基准帧与编码(预压缩I帧)使用的基准帧不同。
因此，为了为编码器产生类似于或等同于解码器使用的基准帧的基准帧，编码器50包括去量化器70和反DCT72，它们非常类似于解码器(如图6所示)的去量化器和反DCT。去量化器70对量化器58输出的量化DCT系数进行去量化，反DCT72将这些去量化DCT系数变换为解码Y、CB和CR像素值的相应8×8块，该8×8块构成基准帧。然而，因为在量化期间发生丢失，所以一些或全部像素值可能与其相应预压缩像素值不同，并且因此，基准帧可能与其上述说明的相应预压缩帧不同。然后，解码的像素值通过加法器74(在根据非I帧产生基准帧时使用的，如下所述)到达基准帧缓冲器76，基准帧缓冲器76存储该基准帧。
在对非I帧进行编码期间，编码器50首先至少以两种方式对非I帧的每个宏块进行编码：上述说明的对I帧进行编码的方式和以下进行说明的利用运动预测的方式。编码器50保存并发送具有最少位的结果代码。此技术保证利用最少位对非I帧宏块进行编码。
关于运动预测，如果在连续帧中，帧对象的相对位置发生变化，则其表现出运动。例如，如果一匹马在屏幕上飞奔，则这匹马表现出相对运动。或者，如果摄像机跟踪这匹马，则对于这匹马，背景表现相对运动。通常，显示对象的每个连续帧至少有一些像素宏块与先前帧的像素宏块相同。但是，通常，连续帧内这种匹配宏块所占据的相应帧位置与它们在先前帧内所占据的相应帧位置不同。另一方面，包括部分静止对象(例如：树)或背景景物(例如：蓝天)的宏块可以占据各连续帧内的相同帧位置，并且表现“0运动”。在两种情况下，不单独对各帧进行编码，而取较少数据位以通知解码器“帧1(非I帧)的宏块R和Z分别与帧0(I帧)的S和T位置的宏块相同”。将此“语句”被编码为运动矢量。对于相对快速运动的对象，运动矢量的位置数值较大。相反，对于静止的或相对慢速运动的对象或背景景物，运动矢量的位置数值相对较小甚或等于0。
图5示出了以上述非I帧1和I帧0为基准的运动矢量概念。运动矢量MVR表示在帧0的位置S可以与帧1的位置R处的宏块建立匹配关系。MVR具有3个分量。第一分量，在此为0，表示在其内存在匹配宏块的帧(在此为帧0)。另外两个分量，XR和YR一起包括表示在帧0内存在匹配宏块的二维位置数值。因此，在此例中，因为帧0的位置S与帧1内的位置R具有相同X、Y坐标，XR＝YR＝0。相反，位置T的宏块与和具有与位置T不同X、Y坐标的位置Z的宏块匹配。因此，XZ和YZ表示相对于位置Z的位置T。例如，假定位置T在位置Z左侧10个像素(负X方向)及其下方7个像素(负Y方向)。因此，MVZ＝(0，-10，-7)。但是可以利用的其它运动矢量方案有许多，它们均基于相同的一般理论。
现在再参考图4，详细说明运动预测过程。在对非I帧进行编码期间，运动预测器78将非I帧内宏块的预压缩Y值(在运动预测过程中不使用CB值和CR值)与基准帧内的相应宏块的解码Y值进行比较并识别匹配宏块。对于在基准帧内存在匹配的非I帧内的各宏块，运动预测器78产生用于识别基准帧和基准帧内的匹配宏块的位置的运动矢量。因此，如下结合图6所述，在对非I帧的这些运动编码宏块进行解码期间，根据基准帧内的匹配宏块，解码器利用运动矢量来获得运动编码宏块的像素值。预测编码器64对运动矢量进行预测编码，编码器66产生编码运动矢量的相应代码并将这些代码送到发送缓冲器48。
此外，因为非I帧内的宏块与基准帧内的匹配宏块通常相似但是不相同，所以编码器50将这些差值与运动矢量一起编码，因此该编码器可以对它们进行计算。更具体地说，运动预测器78将基准帧的匹配宏块的解码Y值送到加法器54，加法器54逐像素地从非I帧的匹配宏块的预压缩Y值中减去这些Y值。将被称为偏差的这些差值排列为8×8块，并利用DCT56、量化器58、编码器66以及缓冲器68，除了直接通过传输线60将偏差块的量化DC系数连接到编码器66之外，以上述同样方式对它们进行处理，因此不利用预测编码器44对它们进行预测编码。
此外，还可以将非I帧用作基准帧。当将非I帧用作基准帧时，去量化器70和反DCT72对量化器58输出的各量化偏差分别进行去量化和反变换。这样此非I基准帧与因为上述原因由解码器使用的非I基准帧相同。运动预测器78将根据其产生偏差的I基准帧的解码Y值送到加法器74。加法器74将电路72输出的相应偏差与I基准帧的这些解码Y值相加以产生非I基准帧的相应Y值。然后，基准帧缓冲器76存储此非I基准帧和I基准帧用于对连续非I帧进行编码。
仍然参考图4，编码器50还包括速率控制器80以确保通常以固定速率发送编码帧数据的发送缓冲器68绝对不出现溢出或空闲，即：下溢。如果发生这两种情况，则会将差错引入编码数据流。例如，如果缓冲器68溢出，则编码器66输出的数据会被丢失。因此，根据发送缓冲器68的充满度，速率控制器80利用反馈修改量化器58使用的量化比例因数。缓冲器68越充满，控制器80使比例因数越大，以致编码器66产生的数据位越少。相反，缓冲器68越空闲，控制器80使比例因数越小，以致编码器66产生的数据位越多。这种连续的调节确保缓冲器不溢出或下溢。
图6示出了传统MPEG解压缩器82的方框图，通常将MPEG解压缩器82称为解码器，它可以对图4所示的编码器60编码的帧进行解码。
对于未进行运动预测的I帧和非I帧宏块，可变长度解码器84对从编码器50接收的可变长度码进行解码。预测解码器86对预测编码的DC系数进行解码，并且类似于或等同于图4所示去量化器70的去量化器87对解码的AC变换系数和DC变换系数进行去量化。类似于或等同于图4所示反DCT72的反DCT88将去量化的系数变换为像素值。解码像素值通过加法器90(在如下所述的对非I帧的运动预测宏块进行解码期间使用加法器90)到达帧重排序缓冲器92，帧重排序缓冲器92存储解码的帧并以适当顺序排列它们以显示在视频显示单元94上。如果解码I帧用作基准帧，则还将它存储到基准帧缓冲器96。
关于非I帧的运动预测宏块，解码器84、去量化器87以及反DCT88对上述结合图4所述的偏差进行处理。预测解码器86对运动矢量进行解码，运动内插器98将根据运动矢量指向的基准帧宏块获得的像素值送到加法器90。加法器90将这些基准像素值与偏差相加以产生解码宏块像素值，并将这些解码像素值送到帧重排序缓冲器92。如果将解码非I帧用作基准帧，则将它存储到基准帧缓冲器96。
参考图4和图6，尽管如上所述，编码器50和解码器82包括多个功能电路模块，但是还可以以硬件、软件或它们的组合方式实现编码器50和解码器82。例如，通常，利用用于实现相应电路模块功能的相应的一个或多个处理器实现编码器50和解码器82。
在包括Peter D.Symes的“Video Compression”，McGraw-Hill 1998在内的许多出版物中对图4和图6所示的MPEG编码器50和解码器82以及MPEG标准进行了详细说明，在此一并引用供参考。此外，还有其它众所周知的基于块的压缩技术可以用于对图像进行编码和解码。
发明内容
根据本发明的一个方面，视频处理电路包括处理器，该处理器接收分别具有相应第一区域和第二区域的编码图像，并接收与图像中第一图像的第一区域相关的运动矢量。如果该运动矢量指向图像的第二区域，则该处理器至少这样再编码第一图像的部分第一区域，以致第一图像的第一区域没有指向图像的第二区域的运动矢量。
这种处理电路可以将一系列图像中的各图像分别细分为独立区域，每个独立区域分别为其它图像内相应区域的基准。因此，如果人们希望对这些区域之一进行调整，他仅需要解码该区域而非解码整个图像。例如，假定我们希望将EPG与各序列图像帧的同一个下部交融。他首先利用处理电路以这样的方式再编码这些帧，以致在一帧的下部与另一帧的下部之间没有运动矢量。然后，他再编码EPG和该帧的下部，将解码EPG与帧下部交融，再编码交融帧部分。因为不需要对该帧的上部进行解码或再编码，所以与对该帧进行全解码的处理电路相比，该处理电路要求更低的解码和编码能力，并因此速度更快、更廉价，并且该处理电路具有较简单的设计。因此，该处理电路要求更低的解码和编码能力，人们可以将下部帧解码为变换域而非始终解码为像素域。
附图说明
图1示出了包括传统覆盖区的图像帧的示意图；
图2示出了包括用于使覆盖图像与相应图像帧的覆盖区交融的机顶盒的传统电视接收显示系统的方框图；
图3A示出了图像内传统像素宏块的示意图；
图3B示出了分别对应于图3A所示宏块内像素的传统预压缩亮度值块的示意图；
图3C和图3D示出了分别对应于图3A所示宏块内像素组的传统预压缩色度值块的示意图；
图4示出了传统MPEG编码器的方框图；
图5示出了说明传统运动矢量概念的示意图；
图6示出了传统MPEG解码器的方框图；
图7示出了根据本发明实施例的图像帧格式器的方框图；
图8示出了图7所示格式器产生的一组多区域图像帧的示意图；
图9示出了根据本发明实施例的机顶盒的方框图；
图10示出了根据本发明另一个实施例的机顶盒的方框图。
本发明的详细说明
将编码图像帧格式化为相应的多个独立区域
图7示出了根据本发明实施例的图像帧格式器100的方框图。格式器100包括视频处理电路1021至102N分别用于格式化从相应广播网(例如：FOX，CNN)接收的编码视频频道信号。具体地说，处理电路102这样对各相应频道信号的各帧进行格式化，以致各帧分别具有多个独立区域。然后，处理电路102将相应处理频道信号1至N送到复用器104，复用器104将所有处理频道信号合并为编码的复用广播视频信号。尽管在此说明是对图像帧进行格式化，格式器100还可以用于修改视频场或静止图像。
作为例子，以下将详细说明视频处理电路1021的结构和运行过程，显然，它与处理电路1022至102N类似。处理电路1021包括解码器1081用于对频道信号1进行解码，在一个实施例中，根据等同于或类似于结合图3至图6描述的MPEG压缩标准的压缩标准，对频道信号1进行编码。运动矢量分析器1101接收解码的频道信号并识别具有从通过帧的一个区域指向同一个帧或另一个帧的不同区域的运动矢量的宏块。也就是说，如果在同一个帧或另一个帧的不同区域内，宏块具有指向基准宏块的运动矢量，则分析器1101识别帧区域内的宏块。多区域帧再编码器1121这样对识别宏块进行再编码，即没有被识别的宏块具有指向与含有被识别的宏块的区域不同的帧区域的运动矢量。在一个实施例中，再编码器1121这样对帧区域内的识别宏块进行再编码，即使宏块具有指向另一个帧的相同区域内的基准宏块的运动矢量。例如，编码器1121对宏块进行编码以使运动矢量具有位置值＝(0，0)。在另一个实施例中，再编码器112将被识别的宏块作为I块这样进行再编码，即使它没有运动矢量。
以下将参考图7至图8，说明处理电路1021的处理过程。图8示出了一组3个图像帧114、116和118。在此例中，帧114是I帧，而帧116和帧118是非I帧。电路1021将帧114、帧116以及帧118分别格式化为多区域，在此为分别格式化为两个区域120a和122a、120b和122b以及120c和122c。第一区域120a至120c(非阴影区)占据帧114、116和118上相同的相应上部面积，第二区域122a至122c(阴影区)占据帧114、116和118上相同的相应下部面积。两组区域120a至120c和122a至122c均含有相应宏块123。
解码器1081对图像帧、运动矢量以及频道1信号的其它分量进行解码。在一个实施例中，解码器1081通常将各帧内的每个宏块解码为其相应像素值，即解码到像素域。但是如下所述，因为解码器1081不对要显示的频道1信号进行解码，所以它通常仅将宏块解码为其DCT系数，即解码到变换域。另一方面，如下所述，解码器1081可以仅对帧内的某些宏块进行解码。与公知的解码器相比，这种部分解码通常可以降低解码器1081的成本、复杂程度以及解码时间。
然后，运动矢量分析器1101对解码器1081输出的解码运动矢量进行检验并识别具有从第一区域120a至120c之一指向第二区域122a至122c之一的运动矢量的宏块，反之亦然。例如，分析器1101识别解码运动矢量124和126(如实线所示)作为“交叉边界”矢量。具体地说，分析器1101确定解码运动矢量124从帧116的区域120b内的宏块123a指向帧114的区域122a内的基准宏块123b。同样，分析器1101确定解码的运动矢量126从帧118的区域122c内的宏块123c指向帧116的区域120b内的基准宏块123d。(为了说明问题，分别对宏块122a和122c与基准宏块122b和122d之间的相对帧位置的各差别进行了放大)。因此，分析器1101识别运动矢量124和126作为第一区域120a至120c与第二区域122a至122c之间的交叉“边界”，并通知再编码器1121：宏块123a和123c具有交叉边界运动矢量。
在一个实施例中，再编码器1121对具有交叉边界运动矢量的宏块产生替换运动矢量。例如，再编码器1121分别对宏块123a和123d产生替换运动矢量128和130(如虚线所示)。具体地说，替换运动矢量从其区域120b内的宏块123a指向区域120a内的基准宏块123e，替换运动矢量130从其区域122c内的宏块123c指向区域122b内的基准宏块123f。因此，替换运动矢量128或130均不与第一区域120a至120c与第二区域122a至122c之间的边界交叉。通过消除诸如运动矢量124和126的交叉边界运动矢量，再编码器1121对区域120a至120c进行再编码，以致它们成为独立区域122a至122c。也就是说，不参考第二区域122a至122c对第一区域120a至120c进行编码，并且不参考第一区域120a至120c对第二区域122a至122c进行编码。在MPEG术语中，通常将这种独立区域称为“片”。如下参考图9所述，这种独立编码第一区域120a至120c和独立编码第二区域122a至122c可以使人们对一组区域进行修改，例如区域122a至122c，而不必对其它一组或多组区域，例如：区域120a至120c，进行解码。此外，如下所述，尽管所示的替换运动矢量128和130分别具有非0位置值和0位置值，但是在其它例子中，它们均可以具有非0位置值或0位置值。此外，尽管所示作为交叉边界运动矢量124和126的替换运动矢量128和130分别指向相同帧114和116，但是在其它例子中，它们也可以指向不同帧。
在一个实施例中，通过利用传统方法对最佳基准宏块扫描适当帧区域并利用新基准宏块对原始宏块进行运动编码，再编码器1121产生替换运动矢量。例如，为了产生替换运动矢量128，再编码器1121对区域120a进行扫描并确定宏块123e为区域120a内的最佳基准宏块。在一个实施例中，再编码器1121开始对宏块123g进行扫描，宏块123g是区域120a内最接近原始基准宏块123b的宏块。因此，基准块123e代替原始基准宏块123b。如上结合图4所述，利用替换基准块123e代替基准块123b，再编码器1121对块123a进行运动编码。
为了使再编码器1121完成此扫描过程和运动编码过程，解码器1081至少对识别宏块、基准宏块以及诸如区域120a的扫描区域内的宏块进行解码。例如，如果构建再编码器1121以产生指向相同的相应各帧的替换运动矢量作为原始运动矢量，然后，构建解码器1081以只对识别的宏块和识别的运动矢量所指向的各帧进行解码。另一方面，可以构建解码器1081以只对识别的宏块、基准宏块以及对应于含有识别的宏块的各区域的各所指帧的各区域进行解码。例如，构建解码器1081以识别替换运动矢量128指向区域120a，区域120a对应于识别的宏块123a的区域120b。根据此识别过程，解码器1081对宏块123a和123b以及区域120a内的所有宏块进行解码，再编码器1121对区域120a进行扫描。当然，可以构建解码器1081以将所有帧作为整体进行解码。
为了使解码器1081确定对哪个宏块进行解码，在一个实施例中，解码器1081与分析器1101以如下方式进行交互。首先，解码器1081对帧运动矢量进行解码。然后，分析器1101确定交叉边界运动矢量、它们所属的宏块、它们所指的基准宏块以及含有基准宏块的帧扫描区域。
接着，运动分析器1101将具有交叉边界运动矢量的宏块、基准宏块以及在运动再编码期间由再编码器112扫描的扫描区域内的宏块的各标识送到解码器1081。然后，解码器1081对识别的宏块进行解码，并通过分析器1101将解码宏块送到再编码器1121。
另一方面，为了降低其复杂程度并减少编码时间，可以构建再编码器1121以产生位置值为0的所有替换运动矢量。这样就不需要对帧区域进行扫描，因为本来就知道替换基准宏块。例如，为了产生如图8所示位置值为0的替换运动矢量130，再编码器1121不需要扫描最佳替换基准宏块的区域122b，因为它不得不使用宏块123f作为替换基准宏块。也就是说，宏块123f是可以向矢量130提供0位置值的唯一基准块。因此，无需扫描区域122b，再编码器112就可以选择宏块123f作为替换基准块，并利用替换基准块123f代替原始基准块123d对宏块123c进行编码。尽管此不扫描编码过程比上述扫描编码过程速度更快、更简单，但是与扫描编码比较，不扫描编码通常效率低，即每个像素产生的位更多。
在另一个实施例中，为了进一步降低其复杂程度并减少编码时间，这样构建再编码器1121以对识别的宏块进行编码作为I编码块，以致它们没有运动矢量。尽管与上述运动(非I)编码技术比较，此编码过程速度更快、更简单，但是与运动编码比较，它的效率通常较低。
除了对识别的宏块进行再编码之外，再编码器1121还对替换运动矢量和频道1信号的其它解码部分进行再编码，并将包括被格式化为独立区域的再编码图像帧的再编码频道1信号送到复用器104。
关于上述帧格式化的实施例，构建解码器1081以解码到变换域或像素域。因为DCT是线性变换，所以再编码器1121可以利用DCT系数和像素阀进行扫描、运动编码以及I编码。
此外，尽管如图所示，处理电路1021包括单独电路模块1081、1101和1121，但是它还可以包括以硬件、软件或硬件与软件的组合形式实现这些电路模块的功能的一个或多个相应处理器。此外，还可以以不同于上述顺序的顺序实现上述功能。
此外，尽管如图所示，帧114、116以及118的上部和下部为矩形，但是也可以将区域120a至120c以及122a至122c定位在相应帧内的其它位置并且可以其它尺寸。因此，在一个实施例中，处理电路1021考虑到再编码频道信号内的区域尺寸和位置。如下结合图9所述，在将覆盖帧与图像帧区域交融时，机顶盒可以利用此尺寸和位置信息。
如下结合图9所述，使视频处理电路1021至102N具有将图像帧格式化为多个独立区域的处理能力所增加的成本远远低于降低机顶盒(如图9所示)的复杂程度和成本获得的补偿值。因此，实际上，节省的总成本非常多，因为对于通常安装在有线公司办公楼内的各帧格式器100，有成百、成千甚至百万个机顶盒。因此，合并后机顶盒的成本节省远大于在有线公司办公楼内安装一个格式器100所增加的成本。
修改图像区域过程
图9示出了根据本发明实施例的电视接收机系统130的方框图。系统130包括遥控器132和HDTV接收机/显示器134，它们与图2所示的遥控器12和接收机/显示器13类似。该系统还包括机顶盒136，机顶盒136将覆盖帧与相应图像帧区域交融。作为例子，将参考图8所示的帧114、116以及帧118并参考作为覆盖帧的EGP，说明机顶盒136的结构和运行过程。然而，显然，此说明可以应用于具有不同格式的图像帧并可以应用于不同覆盖帧。通常，在所说明的例子中，机顶盒136使EGP与帧114、116和118的区域122a至122c交融。因为独立于区域120a至120c，对区域122a至122c进行编码，所以机顶盒136仅需要对区域122a至122c进行解码和再编码。因此，因为机顶盒136不需要对区域120a至120c进行解码和再编码，所以与为了完成此交融过程必须将各帧作为整体进行解码和再编码的传统机顶盒11(如图2所示)比较，它可以具有非常低的处理能力，并且非常价廉。
系统130的机顶盒136包括处理电路138，处理电路138从有线公司或卫星公司接收编码的复用广播视频信号。根据命令解码器140输出的频道选择信号，频道选择器142分解该广播信号并将选中的视频频道信号送到覆盖区解码器144。
在观众希望观看诸如EPG的覆盖帧时，他操作遥控器132以产生覆盖命令。根据此覆盖命令，命令解码器140产生覆盖信号。根据覆盖信号，解码器144对覆盖帧和与覆盖帧交融的覆盖帧区域进行解码。例如，参考图8，解码器144分别对EPG和帧114、116以及118的覆盖区122a至122c进行解码。根据结合图7说明的原因，解码器144将EPG和覆盖区122a至122c解码到变换域或全部解码到像素域。然而，解码器144不对非覆盖帧区域120a至120c进行解码。因此，解码器144将解码的EPG和覆盖帧区域122a至122c送到输出端145，并将未解码的非覆盖区域120a至120c传送到输出端146。
覆盖/区域组合器147与解码器144的输出端145相连，并以下述方式将解码的覆盖帧与解码的帧覆盖区域交融。例如，解码器144将解码的EPG与解码的覆盖帧区域122a至122c交融。
利用类似于结合图4所述的传统编码方法，覆盖区域再编码器148对交融覆盖帧区域进行再编码。例如，再编码器148对交融覆盖帧区域122a至122c进行再编码。
帧缓冲器150接收再编码器148输出的再编码覆盖帧区域，并接收覆盖区域解码器144通过输出端146输出的未解码的非覆盖帧区域。帧缓冲器将未解码的帧区域和再编码的帧区域存储到相应缓冲区以“重新排列”图像帧。例如，缓冲区150将未解码的非覆盖区域120a至120c存储到第一组缓冲区，将再编码覆盖区域122a至122c存储到第二组缓冲区(图9中未示出的缓冲区)。然后，缓冲器150这样将第一组缓冲区和第二组缓冲区的内容送到显示器134，以致提供区域120a和122a作为一个帧等。
类似于图4所示的速率控制器80的速率控制器154监视缓冲器150的充满度，并通过控制再编码器148的量化度，避免缓冲器150溢出或下溢。
显示器134解码并显示机顶盒136输出的重新排列图像帧。在此例中，显示器134分别显示在区域122a、122b和122c内具有EPG的帧114、116和118。
因此，通过仅解码并再编码与覆盖帧交融的覆盖帧区域，与将各帧作为整体进行解码和再编码的处理电路比较，处理电路138具有非常简单、价廉。
在结合图7所述的一个实施例中，频道信号包括区域122a至122c的位置(在相应帧内的)和尺寸，并且处理电路138利用此信息适当配置解码器、组合器147、再编码器148以及帧缓冲器150。这样就可以允许有线运营商或卫星运营商改变区域122a至122c的大小或位置，而无需对机顶盒136的硬件进行修改。
在观众不希望看到诸如EPG的覆盖帧时，处理电路138就不对频道选择器142输出的编码图像帧进行处理，而是将它们送到帧缓冲器150。具体地说，遥控器132不产生覆盖命令，并且命令解码器140不产生覆盖信号。在没有覆盖信号情况下，覆盖区域解码器144将频道选择器142输出的先前编码图像帧作为整体送到输出端146。例如，参考图8，解码器144不进行解码，而是将未解码帧区域120a至120c和122a至122c送到输出端146。然而，在一个实施例中，解码器44既不将EPG送到输出端145，又不将EPG送到输出端146。也就是说，解码器144可以防止处理电路138将EPG送到显示器134。此外，因为解码器144不将解码覆盖帧区域和解码帧区域送到输出端145，所以可以有效关闭组合器147和再编码器148。因此，帧缓冲器150从解码器144的输出端整体接收非解码帧114、116和118，并将这些非解码帧送到显示器134。
仍然参考图9，在本发明的一个实施例中，利用传统α交融过程，覆盖/帧区域组合器147将覆盖帧与覆盖帧区域逐像素交融。利用如下等式确定α交融过程：
(1)交融像素值＝(α)×(帧像素值)+(1-α)×(覆盖像素值)
假定覆盖图像是EPG，如果特定EPG像素(覆盖像素)是不透明的，则α＝0，以致EPG像素从视线中完全遮挡重合覆盖帧区域像素(帧像素)。也就是说，如果α＝0，重合帧像素不可见，即是透明的。同样，如果特定EPG像素是透明的，则α＝1，以致重合帧像素是不透明的。如果0＜α＜1，当α从0开始增大时，EPG像素逐渐淡出，并且重合帧像素逐渐淡入。此外，因为α交融过程是线性函数，所以组合器147可以在变换域或在像素域内实现此过程。因此，如上所述，覆盖区域解码器144可以对解码到变换域或像素域的区域122a至122c(如图8所示)的宏块进行解码。
在覆盖帧是透明的实施例中，再编码器148提供较高量化电平数以在覆盖帧区域内保留高频。例如，参考图8，此低量化度可以锐化覆盖区域122a至122c内的EPG字符(图8中未示出)边缘。在某些情况下，这样可以导致区域120a至120c与区域122a至122c具有不同量化电平。但是因为区域120a至120c和区域122a至122c是MPEG片，如上结合图7至图8所述，则在对帧114进行解码期间，随着显示器134从一个片转移到另一个片使(例如从区域120a转移到122a时)，显示器134可以容易地改变其去量化电平。也就是说，显示器134利用一组去量化电平对区域120a至120c进行解码，利用另一组去量化电平对区域122a至122c进行解码。在一个实施例中，解码区域120a至120c所需的相应去量化电平通常由图7所示的再编码器1121产生并包括在频道信号内，然后由处理电路138将它们送到显示器134。同样，解码区域122a至122c所需的去量化电平由图9所示的再编码器148产生并与再编码覆盖帧区域合并在一起，然后有缓冲器150将它们送到显示器134。
正如上述对图像帧格式系统100所说明的那样，再编码器148可以以多种方式对与覆盖帧区域交融的宏块进行再编码。例如，参考图8，根据第一种技术，再编码器148对区域122a至122c的所有宏块进行再编码作为I块。或者，根据第二种技术，再编码器148至少对这些宏块中的一些宏块进行再编码，以致使它们具有位置值为0的运动矢量。如果EPG静止且不透明，则这尤其有效，因为从一帧到另一帧，区域122a至122c内的所有宏块均相同。
另一方面，如果EPG以公知的固定速率滚动，则根据第三种技术，根据滚动速率，再编码器148至少对某些宏块进行编码以具有固定、非0位置值的运动矢量。也就是说，如果滚动速率是常数，则再编码器148可以根据滚动速率计算一个帧的区域122内的宏块在下一个帧的区域122内移动了多远。如果EPG以垂直方向滚动，则运动矢量位置值将为(0，Y)，其中Y值基于垂直滚动速率。相反，如果EPG以水平方向滚动，则运动矢量位置值为(X，0)，其中X值基于水平滚动速率。如果EPG不透明，则此再编码技术特别有效。然而，有时，EPG是透明的。也就是说，EPG字符是不透明的，但是字符之间的空间是透明的以显示初始景物。因此，在此情况下，此再编码技术通常无效，因为具有较大偏差。
根据第四种技术，利用上述结合图4所述的满度运动编码过程，再编码器148对交融覆盖帧区域进行再编码。例如，通过参考宏块扫描区域122a并产生相应运动矢量和偏差，再编码器148对区域122b进行再编码。
通常，第一种技术需要的处理能力最低，但是效率也最低，第四种技术需要的处理能力最高，但是效率也最高，而第二种技术和第三种技术介于二者之间。因为速率控制器152保证缓冲器150不发生溢出，所以再编码技术的效率越低，再编码过程出现的丢失就越多。在观看类似于EPG的覆盖帧时，这些丢失现象会在覆盖帧区域内表现出不希望的可见赝象。
仍然参考图9，在要求覆盖帧具有较高视觉质量或者覆盖帧区域较大的实施例中，处理器138可以实现只I帧模式，在只I帧模式期间，处理器138“跳越”非覆盖帧信息以减少再编码频道信号中的位数。通常被称为“跳越背景”的此技术实际上可以保证帧缓冲器150在再编码器148利用低量化度时不发生溢出，以产生高质量覆盖帧区域。例如，参考图8，组合器147将EPG与I帧的区域122(类似于帧114的区域122a)组合在一起，并只将这些修改的I帧存储到帧缓冲器150内。通过重复发送最近的I帧，即当前I帧(或者通过指示显示器134重复显示当前I帧)，直到组合器147和再编码器148处理下一个I帧，缓冲器150将这些I帧送到显示器134。因为GOP内的I帧与非I帧的之比较低，例如1/15，所以只I帧模式会导致在非EPG帧区域120内产生跳动。如果EPG是透明的，则还可以在EGP区域122背景内看到这种跳动。但是因为只在显示器134显示EPG时，才可以看到这种跳动，因为观众通常显示EPG的时间只占他/她总观看时间中的一少部分时间，还因为观众大多将注意力集中在EPG，而非集中在背景，所以对于观众来说，在观看EPG期间的跳动通常并不引人注意，或者说至少可以接受。
参考图8和图9，如果覆盖帧透明，则修改只I帧的技术只跳越覆盖区域内的背景。例如，覆盖解码器144仅将I帧的编码非覆盖区域120送到缓冲器150，但是继续将EPG和所有帧的覆盖区域122送到组合器147。组合器147和再编码器148以上述方式运行，以致交融区域122具有正常运动。然后，缓冲器150将当前I帧的区域120与当前I帧和随后的非I帧的区域122分别结合在一起。因此，显示器134显示在区域122内具有正常运动而仅在区域120内具有跳动的交融图像帧。处理电路138还可以以这样的方式将EPG与覆盖区域122交融，以致处理后的帧在区域120内具有正常运动，而在区域122内具有跳动。
参考图9，尽管如上所述，处理电路138包括单独电路模块140、142、144、147、148、150和152，但是它也可以包括一个或多个以硬件或软件显示实现这些电路模块功能的处理器。此外，还可以以不同于上述说明的顺序实现上述功能。不仅如此，尽管如图所示，命令解码器140和频道选择器142作为处理电路138的一部分，但是它们也可以独立于电路138。
图10示出了根据本发明另一个实施例的机顶盒160的方框图。除了机顶盒160还将HDTV视频信号转换为标准电视(STV)(即低分辨率)视频信号用于在STV接收机/显示器162上进行显示之外，机顶盒160与图9所示的机顶盒136相同。
机顶盒160包括处理电路164，除了处理电路164包括传统解码器166和传统HDTV到STV转换器168之外，处理电路164与图9所示的处理电路138相同。转换器168减少了像素数量，并因此降低了机顶盒160送到显示器162的各帧的分辨率。众所周知，转换器168可以在变换域或像素域内实现此减少过程。因此，解码器166将选中的频道信号的图像帧解码为转换器168要求的域。此外，因为解码器168以整体形式解码各帧以使转换器168降频转换各帧，电路164包括再编码器170，再编码器170对覆盖帧区域和非覆盖帧区域进行再编码。
在观众不希望观看覆盖帧时，命令解码器140产生非覆盖信号。如果没有覆盖信号，则变换器168降频转换解码器166输出的解码图像帧，并通过传输线172，以各自整体形式将降频变换帧送到再编码器170。再编码器170再编码降频转换帧并将它们送到帧缓冲器150。显示器162解码并显示缓冲器150输出的再编码帧。
在观众希望观看覆盖帧时，根据遥控器132发出的命令，命令解码器140产生覆盖信号。以图8为例，根据覆盖信号，转换器168降频转换解码器166输出的解码帧和解码EPG，通过传输线172，将降频转换帧区域120a至120c送到再编码器170，然后，通过传输线174，将降频转换帧区域122a至122c和降频转换的EPG送到覆盖/帧组合器147。组合器147将EPG与区域122a至122c交融，如上参考图9所述。以上述结合图9所述的同样方式，再编码器170对解码区域120a至120c以及交融区域122a至122c进行再编码。再编码器170将这些再编码区域送到缓冲器150，缓冲器150存储这些区域作为相应的再编码帧以显示在显示器162上。速率控制器154可以防止缓冲器150发生溢出或下溢，如上结合图9所述。
参考图10，尽管如上所述，处理电路164包括单独电路模块140、142、147、150、154、166、168和170，但是它也可以包括一个或多个以硬件或软件形式实现这些电路模块功能的处理器。此外，还可以以不同于上述说明的顺序实现上述功能。不仅如此，尽管如图所示，命令解码器140和频道选择器142是处理电路164的一部分，但是它们也可以独立于电路164。
根据上述说明，尽管为了说明问题，在此对本发明的特定实施例进行了说明，但是，显然，在本发明实质范围内，还可以对它们进行各种变换。

Claims (48)

1.一种视频处理电路，该视频处理电路包括：
处理器，该处理器可以接收分别具有相应第一区域和第二区域的编码图像，并且可以接收图像中第一图像的第一区域的运动矢量，该处理器可以：
如果运动矢量指向图像的第二区域，对第一图像的第一区域进行再编码，使得运动矢量不再指向图像的第二区域。
2.根据权利要求1所述的视频处理电路，其中如果运动矢量指向图像的第二区域，则通过修改运动矢量以指向图像的第一区域，处理器可以对第一图像的部分第一区域进行再编码。
3.根据权利要求1所述的视频处理电路，其中如果运动矢量指向图像的第二区域，则处理器可以对第一图像的部分第一区域进行再编码，以致第一图像的第一区域没有运动矢量。
4.根据权利要求1所述的视频处理电路，其中如果运动矢量指向图像的第二区域，则处理器可以对第一图像的部分第一区域进行再编码，使得运动矢量具有0位置值。
5.根据权利要求1所述的视频处理电路，其中如果运动矢量指向图像的第二区域，则处理器可以删除该运动矢量。
6.根据权利要求1所述的视频处理电路，其中处理器可以在变换域内对部分第一区域进行再编码。
7.根据权利要求1所述的视频处理电路，其中处理器可以在像素域内对部分第一区域进行再编码。
8.一种视频处理电路，该视频处理电路包括：
处理器，该处理器可以接收分别具有相应第一区域和第二区域的编码图像，并可以接收一个或多个图像的第一区域和第二区域的一个或多个运动矢量，该处理器可以：
识别从图像第一区域指向图像第二区域的运动矢量以及从图像第二区域指向图像第一区域的所有运动矢量；以及
对具有识别的运动矢量的部分第一区域和部分第二区域进行再编码，使得没有运动矢量从图像第一区域指向图像第二区域，并且没有运动矢量从图像第二区域指向图像第一区域。
9.根据权利要求8所述的视频处理电路，其中处理器可以：
通过为每个部分分别计算相应替换运动矢量，对图像的部分第一区域进行再编码，各个替换运动矢量分别指向相应其它图像的第一区域；以及
通过为每个部分分别计算相应替换运动矢量，对图像的部分第二区域进行再编码，各个替换运动矢量分别指向相应其它图像的第二区域。
10.根据权利要求8所述的视频处理电路，其中处理器可以对具有识别的运动矢量的部分第一区域和部分第二区域进行再编码，使得所有指向区域均没有运动矢量。
11.根据权利要求8所述的视频处理电路，其中处理器可以对具有识别的运动矢量的部分第一区域和部分第二区域进行再编码，使得从图像第一区域指向图像第二区域的各运动矢量以及从图像第二区域指向图像第一区域的各运动矢量均具有0位置值。
12.根据权利要求8所述的视频处理电路，其中处理器可以在变换域内识别运动矢量。
13.根据权利要求8所述的视频处理电路，其中处理器可以在变换域内对部分第一区域和部分第二区域进行再编码。
14.一种视频处理电路，该视频处理电路包括：
处理器，可以接收分别具有相应第一区域和第二区域的编码图像并接收一个或多个图像的第一区域和第二区域的一个或多个运动矢量，该处理器可以：
识别具有指向相应第二区域的运动矢量的所有第一区域以及具有指向相应第一区域的运动矢量的所有第二区域；以及
对识别的第一区域和第二区域进行再编码，使得第一区域没有指向第二区域的运动矢量并且第二区域没有指向第一区域的运动矢量。
15.根据权利要求14所述的视频处理电路，其中处理器可以：
通过为每个部分分别计算相应替换运动矢量，对该图像的部分识别的第一区域进行再编码，各个替换运动矢量分别指向相应其它图像的第一区域；以及
通过对每个部分分别计算相应替换运动矢量，对该图像的部分识别的第二区域进行再编码，各个替换运动矢量分别指向相应其它图像的第二区域。
16.根据权利要求14所述的视频处理电路，其中处理器可以对部分识别的第一区域和部分识别的第二区域进行再编码，使得没有识别的第一区域和识别的第二区域具有运动矢量。
17.根据权利要求14所述的视频处理电路，其中处理器可以：
通过为每个部分分别计算相应替换运动矢量，对该图像的部分识别的第一区域进行再编码，各替换运动矢量分别具有0位置值；以及
通过为每个部分分别计算相应替换运动矢量，对该图像的部分识别的第二区域再编码，各替换运动矢量分别具有0位置值。
18.根据权利要求14所述的视频处理电路，其中处理器可以在变换域内识别第一区域和第二区域。
19.根据权利要求14所述的视频处理电路，其中处理器可以在变换域内对部分识别的第一区域和部分识别的第二区域进行再编码。
20.一种视频处理电路，该视频处理电路包括：
处理器，可以接收分别具有相应第一区域和第二区域的编码图像，将各第一区域和各第二区域分别分割为相应图像子区，该处理器还可以接收图像之一的第一区域内的子区的运动矢量，该处理器可以：
确定运动矢量指向的基准子区；以及
如果基准子区位于另一个图像的第二区域内，则对图像子区进行再编码，使得它没有指向另一个图像的第二区域的运动矢量。
21.根据权利要求20所述的视频处理电路，其中如果基准子区位于另一个图像的第二区域内，则通过为图像子区计算替换运动矢量，处理器可以对图像子区进行再编码，替换运动矢量指向另一个图像的第一区域内的替换基准子区。
22.根据权利要求20所述的视频处理电路，其中如果基准子区位于另一个图像的第二区域内，则通过为图像子区计算替换运动矢量，处理器可以对图像子区进行再编码，替换运动矢量具有0位置值。
23.根据权利要求20所述的视频处理电路，该处理器还可以：
将位于另一个图像的第一区域内的图像子区、基准子区以及扫描区解码到变换域；以及
其中如果基准子区位于另一个图像的第二区域内，则通过在变换域内为图像子区计算替换运动矢量，处理器可以对图像子区进行再编码，替换运动矢量指向位于扫描区内的替换基准子区。
24.根据权利要求20所述的视频处理电路，该处理器还可以：
将位于另一个图像的第一区域内的图像子区、基准子区以及扫描区解码到像素域；以及
如果基准子区位于另一个图像的第二区域内，则通过在像素域内为图像予区计算替换运动矢量，处理器可以对图像子区进行再编码，替换运动矢量指向位于扫描区内的替换基准子区。
25.根据权利要求20所述的视频处理电路，其中如果基准子区位于另一个图像的第二区域内，则对处理器进行编程以通过对图像子区进行内编码来对图像子区进行再编码，使得该图像子区没有运动矢量。
26.根据权利要求20所述的视频处理电路，该处理器还可以：
将图像子区和基准子区解码到变换域；以及
如果基准子区位于另一个图像的第二区域内，则通过在变换域内对图像子区进行内编码，而对图像子区进行再编码。
27.根据权利要求20所述的视频处理电路，该处理器还可以：
将图像子区和基准子区解码到像素域；以及
如果基准子区位于另一个图像的第二区域内，则通过在像素域内对图像子区进行内编码，而对图像子区进行再编码。
28.根据权利要求20所述的视频处理电路，该处理器还可以先解码运动矢量，然后确定运动矢量指向的基准子区。
29.一种视频处理电路，该视频处理电路包括：
处理器，可以接收分别具有相应第一区域和第二区域的编码图像，将各个第一区域和各个第二区域分别分割为相应图像子区，该处理器可以接收一个或多个图像子区的一个或多个运动矢量，该处理器可以：
识别从图像第一区域指向图像第二区域或从图像第二区域指向图像第一区域的所有运动矢量；以及
对具有识别的运动矢量的图像子区进行再编码，使得没有图像子区具有从图像第一区域指向图像第二区域或从图像第二区域指向图像第一区域的运动矢量。
30.根据权利要求29所述的视频处理电路，其中处理器还可以：
通过为每个图像子区分别计算相应替换运动矢量，对位于图像的相应第一区域内并具有识别的运动矢量的图像子区进行再编码，各替换运动矢量分别指向相应其它图像的第一区域；以及
通过为每个图像子区分别计算相应替换运动矢量，对位于图像的相应第二区域内并具有识别的运动矢量的图像子区进行再编码，各替换运动矢量分别指向相应其它图像的第二区域。
31.根据权利要求29所述的视频处理电路，其中处理器可以通过为每个图像子区分别计算替换运动矢量，对具有识别的运动矢量的图像子区进行再编码，各替换运动矢量分别具有0位置值。
32.根据权利要求29所述的视频处理电路，其中通过对这些图像子区进行内编码，处理器可以对具有识别的运动矢量的图像子区进行再编码，使得所有这些图像子区均没有运动矢量。
33.根据权利要求29所述的视频处理电路，其中图像子区包括相应宏块。
34.根据权利要求29所述的视频处理电路，其中第一区域包括相应图像的覆盖区域。
35.根据权利要求29所述的视频处理电路，其中第一区域包括相应图像的电子节目导视显示区。
36.一种视频处理电路，该视频处理电路包括：
处理器，该处理器可以接收分别具有相应第一区域和第二区域的编码图像，将第一区域和第二区域分别分割为相应图像子区，该处理器可以接收一个或多个图像子区的一个或多个运动矢量，该处理器可以：
识别具有从图像第一区域指向图像第二区域或从图像第二区域指向图像第一区域的运动矢量的图像子区；以及
对具有识别的运动矢量的图像子区进行再编码，使得没有图像子区具有从图像第一区域指向图像第二区域或从图像第二区域指向图像第一区域的运动矢量。
37.根据权利要求36所述的视频处理电路，其中处理器可以：
通过为每个图像子区分别计算相应替换运动矢量，对位于图像第一区域内的识别图像子区进行再编码，各替换运动矢量分别指向相应其它图像的第一区域；以及
通过为每个图像子区分别计算相应替换运动矢量，对位于图像第二区域内的识别图像子区进行再编码，各替换运动矢量分别指向相应其它图像的第二区域。
38.根据权利要求36所述的视频处理电路，其中通过为每个图像子区分别计算替换运动矢量，处理器可以对位于识别的图像子区进行再编码，各替换运动矢量分别具有0位置值。
39.根据权利要求36所述的视频处理电路，其中通过对这些图像子区进行内编码，处理器可以对识别的图像子区进行再编码，使得所有这些图像子区均没有运动矢量。
40.一种方法，该方法包括：
接收分别具有相应第一区域和第二区域的编码图像；
接收图像中第一图像第一区域的运动矢量；以及
如果运动矢量指向图像之一的第二区域，则对第一图像的部分第一区域进行再编码，使得第一图像的第一区域没有指向图像之一的第二区域的运动矢量。
41.根据权利要求40所述的方法，其中再编码过程包括修改指向图像之一的第一区域的运动矢量的过程。
42.根据权利要求40所述的方法，其中再编码过程包括对第一图像的部分第一区域进行再编码，使得第一图像的第一区域没有运动矢量的过程。
43.一种方法，该方法包括：
接收分别具有相应第一区域和第二区域的编码图像；
接收一个或多个图像的第一区域和第二区域的一个或多个运动矢量；
识别从图像第一区域指向图像第二区域的运动矢量以及从图像第二区域指向图像第一区域的所有运动矢量；以及
对具有识别的运动矢量的部分第一区域和部分第二区域进行再编码，使得没有从图像第一区域指向图像第二区域的运动矢量，也没有从图像第二区域指向图像第一区域的运动矢量。
44.根据权利要求43所述的方法，其中：
对各图像的部分第一区域进行再编码的过程包括为每个部分分别计算相应替换运动矢量的过程，各替换运动矢量分别指向相应其它图像的第一区域；以及
对各图像的部分第二区域进行再编码的过程包括为每个部分分别计算相应替换运动矢量的过程，各替换运动矢量分别指向相应其它图像的第二区域。
45.根据权利要求43所述的方法，其中再编码过程包括对具有识别运动矢量的第一区域和第二区域进行再编码，使得这些区域中没有区域具有运动矢量的过程。
46.一种方法，该方法包括：
接收分别具有相应第一区域和第二区域的编码图像；
接收一个或多个图像的第一区域和第二区域的一个或多个运动矢量；
识别具有指向相应第二区域的运动矢量的第一区域，并识别具有指向相应第一区域的运动矢量的第二区域；以及
对部分识别的第一区域和部分识别的第二区域进行再编码，使得识别的第一区域没有指向第二区域的运动矢量，并且识别的第二区域没有指向第一区域的运动矢量。
47.根据权利要求46所述的方法，其中：
对部分识别第一区域进行再编码的过程包括为每个部分分别计算相应替换运动矢量的过程，各替换运动矢量分别指向相应其它图像的第一区域；以及
对部分识别第二区域进行再编码的过程包括为每个部分分别计算相应替换运动矢量的过程，各替换运动矢量分别指向相应其它图像的第二区域。
48.根据权利要求46所述的方法，其中再编码过程包括对部分识别第一区域和部分识别第二区域进行再编码，使得所有指向区域均没有运动矢量的过程。
CN00812350A 1999-09-03 2000-08-31 用于将一系列编码图像帧分别格式化为相应区域的电路和方法 Pending CN1378749A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/390,239 US6498816B1 (en) 1999-09-03 1999-09-03 Circuit and method for formatting each of a series of encoded video images into respective regions
US09/390,239 1999-09-03

Publications (1)

Publication Number Publication Date
CN1378749A true CN1378749A (zh) 2002-11-06

Family

ID=23541680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN00812350A Pending CN1378749A (zh) 1999-09-03 2000-08-31 用于将一系列编码图像帧分别格式化为相应区域的电路和方法

Country Status (8)

Country Link
US (1) US6498816B1 (zh)
EP (1) EP1219116A1 (zh)
JP (1) JP2003509915A (zh)
KR (1) KR20020042822A (zh)
CN (1) CN1378749A (zh)
AU (1) AU7113900A (zh)
TW (1) TW519842B (zh)
WO (1) WO2001019090A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1300747C (zh) * 2004-07-08 2007-02-14 上海大学 基于区域多重选择的视频运动对象分割提取方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226318B1 (en) * 1998-03-31 2001-05-01 Zenith Electronics Corporation Detection of code vectors in single frequency, multiple transmitter networks
US7593433B1 (en) * 1999-03-02 2009-09-22 Cisco Technology, Inc. System and method for multiple channel statistical re-multiplexing
US7194032B1 (en) * 1999-09-03 2007-03-20 Equator Technologies, Inc. Circuit and method for modifying a region of an encoded image
JP2001243477A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像による交通量解析装置
US20030223735A1 (en) * 2001-02-28 2003-12-04 Boyle William B. System and a method for receiving and storing a transport stream for deferred presentation of a program to a user
JP2003006643A (ja) * 2001-06-25 2003-01-10 Canon Inc 画像処理装置及びその方法、プログラム
EP1487212A4 (en) * 2002-03-15 2009-05-20 Fujitsu Ltd APPARATUS FOR PROVIDING VIDEO INFORMATION AND RECEPTION APPARATUS
KR100566191B1 (ko) * 2003-07-30 2006-03-29 삼성전자주식회사 Ｈ.263 멀티미디어 칩을 이용한 엠펙-4 부호화기
JP2006014086A (ja) * 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
US20080089413A1 (en) * 2004-06-28 2008-04-17 Canon Kabushiki Kaisha Moving Image Encoding Apparatus And Moving Image Encoding Method
US20070162944A1 (en) 2006-01-09 2007-07-12 Broadcom Corporation Method and apparatus for generating video for a viewing system from multiple video elements
US20070168866A1 (en) * 2006-01-13 2007-07-19 Broadcom Corporation Method and system for constructing composite video from multiple video elements
US20080005719A1 (en) * 2006-06-30 2008-01-03 Morris Robert P Methods, systems, and computer program products for providing a program execution environment
US8878996B2 (en) * 2009-12-11 2014-11-04 Motorola Mobility Llc Selective decoding of an input stream
US9014269B2 (en) * 2010-09-30 2015-04-21 General Instrument Corporation Method and apparatus for managing bit rate
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US11323730B2 (en) 2019-09-05 2022-05-03 Apple Inc. Temporally-overlapped video encoding, video decoding and video rendering techniques therefor

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594507A (en) 1990-09-28 1997-01-14 Ictv, Inc. Compressed digital overlay controller and method for MPEG type video signal
US5408274A (en) 1993-03-11 1995-04-18 The Regents Of The University Of California Method and apparatus for compositing compressed video data
DE69424740T2 (de) 1993-03-25 2001-02-01 Sony Corp Methode zur kodierung zeitveränderlicher bilder und apparat zur kodierung/dekodierung
US5887110A (en) 1995-03-28 1999-03-23 Nippon Telegraph & Telephone Corp. Video data playback system using effective scheme for producing coded video data for fast playback mode
US6026232A (en) * 1995-07-13 2000-02-15 Kabushiki Kaisha Toshiba Method and system to replace sections of an encoded video bitstream
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
CA2200121A1 (en) 1996-05-02 1997-11-02 John Charles Mitchell Compressed domain video text overlay for multimedia communication systems
US5907374A (en) * 1997-06-30 1999-05-25 Hewlett-Packard Company Method and apparatus for processing a compressed input bitstream representing an information signal
JP3529599B2 (ja) * 1997-09-02 2004-05-24 株式会社東芝 符号化装置における編集可能点挿入方法および符号化装置
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
WO1999051033A2 (en) 1998-03-31 1999-10-07 Koninklijke Philips Electronics N.V. Method and device for modifying data in an encoded data stream
US6226041B1 (en) * 1998-07-28 2001-05-01 Sarnoff Corporation Logo insertion using only disposable frames
US6279579B1 (en) 1998-10-23 2001-08-28 Varian Medical Systems, Inc. Method and system for positioning patients for medical treatment procedures
SE9803679L (sv) 1998-10-27 1999-11-01 Thomas Aasum Självjusterande kofferdamklammer
FR2786353B1 (fr) 1998-11-25 2001-02-09 Thomson Multimedia Sa Procede et dispositif de codage d'images selon la norme mpeg pour l'incrustation d'imagettes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1300747C (zh) * 2004-07-08 2007-02-14 上海大学 基于区域多重选择的视频运动对象分割提取方法

Also Published As

Publication number Publication date
KR20020042822A (ko) 2002-06-07
TW519842B (en) 2003-02-01
US6498816B1 (en) 2002-12-24
WO2001019090A1 (en) 2001-03-15
AU7113900A (en) 2001-04-10
EP1219116A1 (en) 2002-07-03
JP2003509915A (ja) 2003-03-11

Similar Documents

Publication Publication Date Title
CN1372768A (zh) 用于修改编码图像区域的电路和方法
CN1294764C (zh) 用于编码双向预测视频对象面的方法及其解码装置
CN1378749A (zh) 用于将一系列编码图像帧分别格式化为相应区域的电路和方法
CN1171460C (zh) 用于隔行数字视频信号的视频目标平面的运动估算和补偿
CN1245032C (zh) 格式化一个mpeg译码器中的再压缩的数据
CN1208971C (zh) 运动图像的预测编码方法和译码方法
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
RU2485712C2 (ru) Фрагментированная ссылка во временном сжатии для кодирования видео
AU2013403225B2 (en) Features of base color index map mode for video and image coding and decoding
US20040136457A1 (en) Method and system for supercompression of compressed digital video
TW201320751A (zh) 利用轉換操作之影音編碼及解碼方法
US6959045B2 (en) Reduced cost decoder using bitstream editing for image cropping
CN1812577A (zh) 译码数字影像位流所含画面的方法及其数字影像译码系统
CN1643912A (zh) 用于在视频序列中对运动进行编码的方法
CN1922884A (zh) 视频解码方法
CN1315109A (zh) 用于改变像素值的图像处理电路及方法
CN1191719C (zh) 图象处理系统中的存储器有效压缩装置和量化器
JP2000023195A (ja) 画像符号化装置及び方法、並びに画像復号装置及び方法、並びに符号化データ提供媒体
GB2339989A (en) Reduced memory video decoder stores locally compressed decoded pictures
US20060109380A1 (en) Television display unit
CN1379594A (zh) 对被编码的视频信号同时进行格式压缩和解码的方法
EP1430726A2 (en) Video coding and decoding method, and corresponding signal
KR100566290B1 (ko) 스캔 테이블을 이용한 영상 주사방법과 그를 적용한 이산코사인 변환 장치
KR20010038985A (ko) 방송 수신 장치 및 비디오 디코딩 장치
GB2559912A (en) Video encoding and decoding using transforms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication