CN1166255A - 基于宏块的视频编码译码器隐藏和包含错误的方法和装置 - Google Patents

基于宏块的视频编码译码器隐藏和包含错误的方法和装置 Download PDF

Info

Publication number
CN1166255A
CN1166255A CN96191286A CN96191286A CN1166255A CN 1166255 A CN1166255 A CN 1166255A CN 96191286 A CN96191286 A CN 96191286A CN 96191286 A CN96191286 A CN 96191286A CN 1166255 A CN1166255 A CN 1166255A
Authority
CN
China
Prior art keywords
macro block
frame
video
macro
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN96191286A
Other languages
English (en)
Inventor
詹姆斯·C·布莱兰
卡文·J·奥康奈尔
马克·R·班哈姆
斯蒂芬·N·勒维那
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Solutions Inc
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Publication of CN1166255A publication Critical patent/CN1166255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种方法(100，200)和装置(300，400，600)，用于对发生在被传输视频位流中的错误进行包含和隐藏。使用多个预定的扫描模式(500)，每帧中有一些特定宏块被选中作为内宏块传输。扩展错误突发导致的视觉质量的衰减被有效限制(110)。使用剩余未被干扰宏块(112，200)来估算丢失宏块的信息，可以对被短错误突发和(或)随机错误影响的视频序列中的区域进行隐藏。对于每个这样的丢失宏块，使用从所选择的未被干扰的诸相邻宏块(208)中得到的诸候选运动向量，来产生强度信息的预测，在预测宏块和相邻诸宏块的边界处的亮度值之间产生最小均方误差的候选运动向量，被选中用于隐藏(210)。

Description

基于宏块的视频编码译码器 隐藏和包含错误的方法和装置
本发明通常涉及图像和视频编码，尤其涉及在基于宏块的视频编码译码器中错误的隐藏和包含。
当前已被证实的在限制带宽的信道上数字视频会议和多媒体信息的广泛使用，是视频压缩标准比如H.261，H.263，MPEG1以及MPEG2被引入的结果。使用由这些标准所规定的视频编码译码器，诸如视频会议，远程交换以及远程存在等应用在商业中正变得普遍。另外，多媒体作者能够把他们的数字视频压缩到允许此物质在各种交换网上传送或在光盘等电介质上存储的数据率。这些标准所采用的压缩技术试图去除存在于视频信息中的所有冗余。通过把视频减少到它的最重要信息组成部分来实现。视频译码器从这些组成部分建立译码视频，用于如上所述的各种应用。
通过使用块运动补偿离散余弦变换(DCT)方法，由这些标准所规定的视频编码译码器提供数字视频序列的压缩。这种视频编码技术应用两步处理移去视频序列中的冗余性。第一步，一个块匹配(BM)运动估算和补偿算法估算发生在两时间上相邻帧之间的运动。然后这些帧被估算的运动所补偿并比较形成一个差分图像。通过应用两时间上相邻帧之间的差值，所有存在的时间冗余度被消除。唯一留下的信息是在运动估算和补偿算法中不能被补偿的新信息。
第二步，使用DCT把这些新信息变换到频率域。DCT具有把这些新信息的能量压缩到一些低频组成部分的特性。通过限制被编码的高频信息的数量获得视频序列的进一步压缩。
这种视频编码方法提供的多数压缩通过运动估算和补偿算法获得。即，与强度和颜色的信息相反，传送有关存在于视频序列中的运动信息效率更高。运动信息由向量表示，此向量从当前强度帧中的某特定位置指向产生于前一强度帧的同一位置。对于BM，这些位置是相同大小的被称为宏块(MB)的预定非重叠块。一MB中的所有像素假定具有同样的运动。通过搜寻预先确定的搜寻区域，找到与视频序列的当前帧中某一特定MB相关的运动向量，在前一时间上相邻帧中寻找最佳匹配。此最佳匹配通常使用两块间的均方误差(MSE)或平均绝对差(MAD)来确定。运动向量从当前帧中MB的中心，指向提供最佳匹配的前一帧中块的中心。
使用被估算的运动向量，前一帧的一个备份被每个向量所修改以产生当前帧的预测。此操作即为运动补偿。如上所述，从当前MB中减去每个预测的MB以生成差分MB，应用DCT将差分MB变换至空间频率域。这些空间频率系数被量化和熵编码以提供原始视频序列的进一步压缩。运动向量的压缩使用差分脉冲编码调制(DPCM)和熵编码。运动向量和DCT系数都被传送到译码器，在那里执行相反的操作产生译码视频序列。
应用这一方法，由这些标准所规定的视频编码译码器从数字视频序列中去掉所有的非重要信息是非常有效的。不幸的是，这种高效压缩降低了被传送数据的强壮性。即，因为信息的每个组成部分，或位，对于译码器重建视频的能力是很重要的，任何一位的一个错误都会导致部分视频被不正确地重建。上面所述的标准提供了在接收到的视频位流中检测和修改错误的机制；然而，当错误被检测到但没有被修改，或者更糟糕的情况，当错误既没被检测到也没被修改，这些机制是没有用的。如上所述，由于被压缩视频的每一数据位的重要性，一个错误将导致被译码视频的大部分被不正确地重建。因此，视频译码器具有向观众隐藏视频的这些部分的能力是非常重要的。同样重要的是，视频编码器提供一个机制，保证这些错误将被包含在被影响的范围内，但不允许通过视频序列传播。
原有的错误隐藏技术受限于这样的方法，试图隐藏一个错误接收到的宏块，通过使用直接位于其上一行中的MB(只要那个MB是无错的)的运动向量来简单地预测它。这种方法有几个问题。首先，没有考虑上一个MB的运动向量是否是丢失的实际运动向量的好的预测。另外，没有考虑这个被预测的MB将如何与邻近的无错的MB交互作用，将导致大块噪声。最后，只考虑再生运动向量中无错的MB，当在一个几行MB受突发影响的突发错误环境中，有可能在错误MB之间引入人为边界。然而，此处推荐的错误隐藏方法将分别对待这些行，引入这些人为边界。
图一是根据本发明使用控制信息，为基于宏块的视频编码译码器包含和隐藏发生在位流中的错误的方法步骤的建议实施方式的流程图。
图二是根据本发明隐藏发生在基于宏块的视频编码译码器位流中的错误的方法步骤的建议实施方式的流程图。
图三是一个基于宏块的视频压缩系统的方框图，该系统使用根据本发明隐藏和包含错误的装置。
图四是根据本发明通过对一个基于宏块的视频编码译码器的重新同步来包含编码视频序列中的错误的装置的方框图。
图五是显示在某一视频序列的某帧中多次扫描的图。
图六是根据本发明在一个编码视频序列中隐藏错误的装置的方框图。
本发明提供一种方法和装置，包含和隐藏发生在被传送视频位流中的错误。使用多种预先确定的扫描模式，每帧中的诸特定宏块被选中以使其强度信息被编码并传送。这种方法提供了一个有效的方式，来限制从被扩散的突发错误所扰乱的位流译码得到的某视频序列视觉质量的衰减。被短突发错误和/或随机错误影响的视频序列中区域的隐藏通过从留下的未被扰乱的宏块估算相应的丢失宏块信息来获得。即，对每个丢失宏块，强度信息的预测通过从相邻的未被扰乱的宏块的运动向量的使用来生成。
本发明参考图1-6更详细地描述。图一，数字100是使用控制信息，为基于宏块的视频编码译码器包含和隐藏发生在位流中的错误的方法的建议实施方式的流程图。第一步，利用穿越一帧的多条扫描路径确定要被编码的特定宏块作为内宏块(102)。一个内宏块是一个并非从前一帧预测得到的宏块。因此，没有运动向量与内宏块相关联，只有强度信息被编码。
接下来，使用错误控制信息，对接收到的位流进行不断的错误监测。如果一个错误被检测到，一个错误状态标志被置1(104)。该错误状态标志用于指示何时需要错误隐藏(106)。另外，一旦错误状态标志被置1，由于某特定错误突发而导致的多位(BE)计数丢失将发生(106)。基于BE和某一预定的阈值(TBE)，错误突发可以分为扩展的或小错误突发(108)。如果一个扩展的错误突发被检测到，另一标志位(ED)置1。如果突发被认为是小错误突发，则ED置0。
在扩展错误突发情况下，ED＝1(120)，输出帧存储器并不被一个新的被译码帧所修改，直到预定数目(FN1)的帧被译码。这种错误包含方式保证全部或大多数宏块在被显示之前被多个内宏块扫描所修改(110)。在内宏块扫描结束时，输出缓冲区被当前译码帧所修改。进一步，ED标志置为0，以允许输出帧存储器被每个新的译码帧所修改(114)。一旦完成这些步骤，该错误隐藏方法返回监视接收的位流(130)。
在短错误突发情况下，ED＝0(122)，输出帧存储器再次被固定为最后无错视频帧(112)。短错误突发隐藏在被影响的区域实现(112)。在短错误突发隐藏结束时，错误状态标志(EF)被重新置0(114)。进一步，在预定数目个帧(FN2)后，输出帧存储器被当前译码帧所修改(120)。如上所述，一旦完成这些步骤，该错误隐藏方法返回监视接收的位流(130)。
图二，数字200是根据本发明用于短错误突发隐藏的方法的建议实施方式的流程图。第一步，产生一个映射，指示哪些宏块被错误接收(202)。基于这个映射，使用光栅扫描将被译码的图像帧取反，直到遇到第一个错误宏块(204)。接下来，使用被无错误地接收并译码的邻近宏块产生一组可能的运动向量(206)。这组中还包括零运动向量。每个运动向量用于获得当前错误宏块的预测(208)。提供与邻近诸MB(那些没被错误接收的)的边界有最好匹配的错误宏块的预测的运动向量，被选为重新生成的运动向量(210)。邻近无错宏块的边界像素和预测宏块的均方误差被作为确定最佳匹配的准则。
图三，数字300是根据本发明使用错误隐藏装置的视频传输系统的方框图。该视频传输系统(300)包括一个视频压缩器(302)，一个传输信道(304)，一个视频解压缩器(306)。视频压缩器(302)由一个视频编码包含单元(310)，一个宏块包含扫描控制器(308)，和一个错误控制单元(320)组成。视频解压缩器包括一个错误检测器(314)，一个错误隐藏单元(316)，一个视频译码器(312)和一个输出帧存储器(344)。
视频压缩器(302)使用时间参照(334)、帧内宏块位置(336)、视频序列(338)以及多个运动向量(340)作为输入。时间参照(334)提供一种确定视频序列中帧相对位置的装置。时间参照(334)与宏块位置信息(336)一起被宏块包含扫描控制器(308)使用来确定哪个输入视频序列(338)的宏块只拥有被视频编码器包含单元(310)所编码的强度信息。如上所述，这种类型的宏块称为内宏块。即，基于预定的多次扫描，每次扫描中至少一个宏块被选中，只根据强度信息来修改它。这与视频编码器的通常操作不同。典型的，一个宏块具有与它相关的一个运动向量(340)，用于从前一帧产生强度信息的预测。此预测，如上所述，被从初始宏块中减去，移去存在于视频序列中的大部分时间冗余。只基于强度信息的对特定宏块的修改提供了一种有效的方法，来包含可能导致先前已编码帧受干扰的错误。因为内宏块没有建立在先前译码信息的基础上，这种方法尤其正确。对需要作为内宏块被编码的宏块的位置的增加基于时间参照和所使用的特定扫描。
一个接收到的位流(328)是视频解压缩器(306)的输入。然而，由于传输信道(304)的不可靠特性，输出位流(324)中引入了错误。这些错误导致接收位流(328)的特定位与输出位流(324)的相应位不同。如果视频译码器不加区分地试图对接收位流(328)进行译码，这些错误就会对结果视频的视觉质量产生极大的影响。为避免不加选择地译码受干扰位流，使用一个错误检测器来确定何时接收位流(324)中出现错误。
错误检测器(314)由错误控制单元(320)利用输出位流中的错误控制信息。如果在接收位流(328)中检测到错误，被干扰信息被已知信息取代。典型的，已知信息是一个对被替换宏块中的每个像素具有零值和零预测错误的运动向量。进一步，如果检测到一个错误，错误检测单元(314)发信号(330)激活错误隐藏单元(316)。
错误隐藏单元(316)有两个作用。第一个作用是确定被引入位流的错误的严重性。这由估算错误突发的持续时间来完成。通过计算错误第一次被检测到与译码器重新获得同步-即正确译码下一组错误控制信息-之间的位数，错误突发的持续时间可以被计算。基于这一位数，错误突发可以被分为扩展突发或短时突发。如果检测到短时突发，错误隐藏单元(316)使用从邻近无错宏块(332)得到的运动向量以及从前一帧(350)得到的强度信息，重新生成被干扰的宏块(342)。如果检测到扩展突发，输出缓冲区并不被修改，直到内宏块扫描被允许修改整个视频帧。一旦内宏块扫描完成，错误被包含，允许对输出缓冲区作正常修改(346)。
图四，数字400是根据本发明为错误包含提供强度信息的视频压缩器(302)的方框图。如上所述，基于时间参照(334)和与特定扫描相关的宏块位置，宏块包含扫描控制器(308)确定哪些宏块应该被作为内宏块修改。图五中数字500显示了提供很好的错误隐藏的多次扫描。在此例中，视频帧的分辨率是水平方向176像素和垂直方向144像素。由块表示的宏块假定为16像素×16像素。这一假定导致每帧有99个宏块，如图五所示。应当注意的是，这只是这些扫描中的某个特定实现例子，本发明可以实现为任何大小的宏块或任何扫描集。这一特定扫描集的一个好的特性是，图像中心比边缘宏块以更快的速率更新，而所感兴趣的物体一般假定为位于图像中心。使用这一扫描集，视频解压缩器的输出缓冲区(344)比通常的光栅扫描得到更快的更新。这可以减少扩展突发错误情况下实现错误包含所需要的时间。
如果宏块包含扫描控制器(308)选择一个输入宏块(338)作为内宏块编码，则开关1(404)和开关2(406)被设置，以使强度信息通过(420)直接给(432)宏块编码器(408)。编码后，错误控制单元(320)把错误控制信息加入位流(318)。典型的，此错误控制信息指明新图像帧的开始和/或新宏块组的开始。通常，一组宏块被定义为包含在图像帧的一行中的宏块。被编码的位流也被引入(434)宏块译码器(410)，在那里它被译码并存(430)编码器帧存储器(412)，用于预测下一个编码帧。
如果一个输入宏块(338)没被选择作为内宏块编码，则开关1(404)和开关2(406)被设置以便从当前宏块(424)中减去(440)预测宏块(428)，把差信号(426)送入(432)宏块编码器(408)。如上所述的内宏块情况下，在通过传输信道(304)传输(324)之前，错误控制单元(320)把错误控制信息加入编码位流(318)。另外，宏块译码器(410)译码被编码的位流(434)并把它存入(430)编码器帧存储器(412)，用于预测下一个编码帧。
图六，数字600是根据本发明对错误突发提供隐藏的视频解压缩器(306)的方框图。如上所述，基于嵌入位流(324)中的错误控制信息，错误检测器(314)确定何时接收位流(328)中出现错误。有几种方式利用控制信息检测错误。比如，当如下情况时一个错误被检测到：在当前帧的所有宏块被译码之前，接收到一个新图起始码；或熵编码字导致不可能被视频编码器获得的值，这些值被称为不合法码字；或被译码的时间参照与前一时间参照不一致。一旦检测到一个错误，错误状态标志(EF)从0值变为1值。错误位计数器(602)持续监视(352)错误标志EF。当EF＝1，位错误计数器开始计数每个接收到的位(330)。当EF返回0值时，这一计数过程停止。当错误检测器(314)正确地接收到下一控制信息集时，错误标志EF返回0值。置于1值的错误标志EF激活(618)错误隐藏单元(316)。
为确定错误突发是否是扩展的，由位错误计数器计数的总位数送到(640)扩展突发错误检测器(604)，把这个数与预定的阈值(TBE)比较，确定突发错是扩展的还是短错误突发。此阈值测试由下面的等式描述典型的，TBE被置为一秒内传送的位数。
如上所述，ED＝1表明，一个扩展突发错误干扰了接收位流(328)。为隐藏这种突发错误对译码视频视觉质量的影响，输出帧存储器(344)并不被更新(650)，直到预定数目的帧(FN1)被无错译码为止。帧的预定数目(FR1)由宏块包含扫描控制器(308)中使用的内宏块扫描确定。对图五所示的扫描，FN1＝17保证最中心的宏块会被更新，而FN1＝36保证所有宏块都会被更新。
另外，如上所述，当EF＝1且ED＝0时，使用一种短错误突发隐藏(316)方法重新生成丢失信息。这种情况下隐藏是特别重要的，因为如果不正确隐藏和包含，此短错误突发能导致一段持续时间内的相当的破坏。为减少译码视频的这个衰减源，错误隐藏单元(316)重新生成被干扰宏块的运动向量。通过重新生成运动信息，能避免宏块边缘处的大的强度差别。进一步，在当前帧中与被干扰宏块的边缘地区最相关的一个宏块将被用在丢失信息的地方。
运动向量通过创建多个候选运动向量而被重新产生。这多个候选运动向量(620)由与运动向量存储器(610)耦合(632)的隐藏控制器(620)确定。由隐藏控制器(620)确定的多个运动向量包括从邻近的被无错接收到的宏块得到的运动向量。一个邻近宏块定义为一个与所考虑的宏块具有最小可能距离的宏块。当一个单独的宏块被错误接收时，多个候选宏块从下面的诸宏块中得到：所考虑宏块的上、下、左、右的宏块。另外还包括，从前一帧的同一位置的宏块得到的运动向量，以及零运动向量。
每个由隐藏控制器(620)确定的候选运动向量被用于运动补偿单元(608)，来获得(654)从位于译码器帧存储器的前一解码帧得到的预测宏块。运动补偿单元(608)通过基于当前所考虑的宏块和运动向量的空间位置来访问译码器帧存储器，获得一个预测宏块。宏块边界比较器(606)依照它与其相邻宏块的边界来测试每个宏块预测，以确定指明匹配质量的一个数。宏块边界比较器(606)使用的生成此数的度量尺度是均方误差(MSE)。用于宏块边界像素的MSE度量尺度由下式给出： MSE ( i ) = Σ β - 0 Δ ( Y ( β ) - P ( β ) ) 2 , - - - - ( 2 ) 其中MSE(i)是为候选运动向量i计算的MSE值，β是一个特定边界像素的索引，Δ是最大边界像素索引，Y(β)是在边缘位置β处的邻近宏块的亮度值，P(β)是在边缘位置β处的从预测宏块得到的亮度值。
基于MSE，返回(644)与边缘有最好匹配的运动向量到运动向量存储器(610)作为当前宏块。进一步，把当前宏块的预测强度放入译码器帧存储器(616)。错误标志EF返回0值并且错误检测单元(314)继续监测位流以防错误突发。输出缓冲区
为进一步隐藏短错误突发对译码视频视觉质量的影响，输出帧存储器(344)在这种情况下也不被更新(650)，直到预定数目的帧(FN2)被无错译码为止。帧的预定数目(FN2)通常置为3。
尽管上面描述了典型实施方式，很明显，对于那些精通此技术的人，可以做很多修改而不偏离本发明。因此，所有这些在本发明的精神和范围内进行的修改都定义在附加的权利说明书中。

Claims (10)

1、对于一个基于宏块的视频编码译码器，其中至少存有诸宏块的一个先前视频帧，使用控制信息隐藏发生在位流中的错误的一种方法，包含下面的步骤：
1A)对接收到的传输，在具有控制信息的多位中计数，以确定当前帧(或当前帧的部分)是否受到干扰；
1B)在至少当前帧受到干扰时，
1B1)缓冲前一帧；
1B2)在位流中确定一个重新同步位的位置；
1B3)在重新同步位的位置显示对于预定数目个帧的诸宏块的前一视频帧；
1B4)返回步骤1A；
1C)在某当前帧的一部分受到干扰时，通过如下步骤重新产生此帧的多个受干扰的宏块：
1C1)为多个被干扰宏块的第一个宏块确定一组运动向量；
1C2)从该组中确定一个运动向量，该向量提供这样的一个宏块，该宏块从与当前帧中宏块边界有最高强度值相关性的前一存储帧中得到，并提供一个重建的宏块；
1C3)对预先选择的受干扰宏块，重复步骤1C1-1C2，以提供多个重新生成的宏块；
1C4)在当前帧中显示重新生成的诸宏块，并返回步骤1A。
2、权利要求1中的方法，其中预定的帧的数目是一个预先确定的强度更新方案，在被选中时，其中的预定强度更新方案包括：
2A)使用多个内宏块扫描以确定某帧的诸宏块的强度；
2B)使用诸宏块的强度来代替前一帧；
以及，当进一步选择时，
2C)其中的多重内宏块扫描是四次扫描，两次扫描帧的边缘部分，另外两次扫描帧的中间部分。
3、权利要求1中的方法，其中一组运动向量包括当前帧的邻近宏块的运动向量。
4、权利要求1中的方法，其中强度值的最高相关性是，诸强度值和当前宏块的至少一个边界之间的均方误差。
5、对基于宏块的视频输入位流中发生的错误进行包含的一种装置，其中该装置包括至少一个编码器和一个译码器，其中包含视频压缩器的编码器包括：
5A)一个宏块包含扫描控制器，相连接收一个时间参照和一个宏块标识数码，以确定被强度编码的诸内宏块；
5B)一个视频编码器包含单元，连接到宏块包含扫描控制器、帧存储器、以及运动帧存储器，用于提供一个自适应的编码宏块，该宏块根据诸宏块被确定为预测宏块还是内宏块，使用一个时间预测编码方案以及一个内编码方案；以及
5C)一个错误控制单元，连接到视频编码器包含单元，用于向自适应编码宏块中加入错误控制信息；
以及其中译码器包含的视频解压缩器包括：
5D)一个错误检测器，连接到一个噪声信道，利用接收位流中的信息确定何时接收位流中有错误，以及当错误发生时把一个激活信号送往错误隐藏单元；
5E)一个视频译码器，连接到错误隐藏单元，用于从错误检测器接收时间参照，当检测到一个短突发时，把从邻近无错宏块得到的运动向量提供给错误隐藏单元和从前一帧得到的强度信息，当检测到一个扩展突发时，等待更新输出缓冲区直到内宏块扫描更新了整个视频帧；
5F)该错误隐藏单元，连接到错误检测器和视频译码器，作为对激活信号的回答，把接收位流中的被干扰信息替换成根据预定方案的已知信息；以及
5G)该输出帧存储器，连接到视频译码器，用于更新根据预定方案的输出缓冲区，该方案被错误隐藏单元所使用。
6、权利要求5中的装置，其中视频编码器包含单元的组成如下：
6A)一个交换网络，连接到宏块包含扫描控制器、帧存储器、以及宏块编码器，在两个独立的宏块数据源中提供选择；
6B)一个宏块编码器，连接到交换网络，用于提供一个被编码的宏块数据源；
6C)一个宏块译码器，连接到宏块编码器，用于对被编码的宏块数据源进行译码；
6D)一个帧存储器，连接到一个运动向量存储器和宏块译码器，用于提供预测宏块；
当被选中时，
6E)其中的交换网络包括：第一个单刀双置开关，连接到第二个单刀双置开关，在两个独立的宏块数据源中提供选择给一个加法器。
7、一个使用控制信息、为基于宏块的视频编码译码器的位流中产生的错误进行隐藏的装置，在那里诸宏块的至少前一帧被存储，其中该装置被一个计算机程序所引导，该程序至少包含在下面之一中：
7A)一个存储器；
7B)一个特定应用集成电路；
7C)数字信号处理器；以及
7D)一个现场可编程门阵列，
该计算机程序包括如下步骤：
7E)对接收到的传输中具有控制信息的多位进行计数，以确定一个当前帧或当前帧的部分是否被干扰；
7F)当至少一个当前帧被干扰时，
7F1)缓冲前一帧；
7F2)在位流中确定重新同步位的位置；
7F3)在重新同步位的位置处显示对于预定数目的帧的诸宏块的前一视频帧；
7F4)返回步骤7E；
7G)当当前帧的一部分被干扰时，通过如下步骤重新产生该帧的多个被干扰宏块：
7G1)为多个被干扰宏块的第一个宏块确定一组运动向量；
7G2)从该组中确定一个运动向量，该向量提供这样的一个宏块，该宏块从与当前帧中宏块边界有最高强度值相关性的前一存储帧中得到，并提供一个重建的宏块；
7G3)对预先选择的受干扰宏块，重复步骤7G1-7G2，以提供多个重新生成的宏块；
7G4)在当前帧中显示重新生成的诸宏块，并返回步骤7E。
8、权利要求7中的装置，其中预定的帧的数目是一个预先确定的强度更新方案，在被选中时，其中的预定强度更新方案包括：
8A)使用多个内宏块扫描以确定某帧的诸宏块的强度；
8B)使用诸宏块的强度来代替前一帧；
以及，当进一步选择时，
8C)其中的多重内宏块扫描是四次扫描，两次扫描帧的边缘部分，另外两次扫描帧的中间部分。
9、权利要求7中的装置，其中一组运动向量包括当前帧的邻近宏块的运动向量。
10、权利要求7中的装置，其中强度值的最高相关性是诸强度值和当前宏块的至少一个边界之间的均方误差。
CN96191286A 1995-10-26 1996-08-27 基于宏块的视频编码译码器隐藏和包含错误的方法和装置 Pending CN1166255A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/548,772 1995-10-26
US08/548,772 US5724369A (en) 1995-10-26 1995-10-26 Method and device for concealment and containment of errors in a macroblock-based video codec

Publications (1)

Publication Number Publication Date
CN1166255A true CN1166255A (zh) 1997-11-26

Family

ID=24190342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96191286A Pending CN1166255A (zh) 1995-10-26 1996-08-27 基于宏块的视频编码译码器隐藏和包含错误的方法和装置

Country Status (6)

Country Link
US (1) US5724369A (zh)
EP (1) EP0800743A4 (zh)
CN (1) CN1166255A (zh)
FI (1) FI116348B (zh)
SE (1) SE518157C2 (zh)
WO (1) WO1997016016A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100348053C (zh) * 2002-02-28 2007-11-07 株式会社精密技术 利用运动图像的电子水印的错误隐蔽方法
USRE40372E1 (en) 1997-12-01 2008-06-10 Samsung Electronics Co., Ltd. Motion vector prediction method
CN100424997C (zh) * 2001-09-14 2008-10-08 皇家飞利浦电子股份有限公司 编码器冗余选择系统和方法
CN101115205B (zh) * 2006-07-28 2010-10-27 联发科技股份有限公司 视频流处理装置与方法
CN101379816B (zh) * 2005-05-11 2010-12-22 高通股份有限公司 双向预测帧的时间错误隐藏
CN101427582B (zh) * 2006-04-20 2013-10-23 汤姆森许可贸易公司 用于进行冗余视频编码的方法和装置
CN109982093A (zh) * 2017-12-28 2019-07-05 展讯通信（上海）有限公司 视频解码错误补偿方法及装置、存储介质、终端

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965644B2 (en) * 1992-02-19 2005-11-15 8×8, Inc. Programmable architecture and methods for motion estimation
JPH10136353A (ja) * 1996-10-30 1998-05-22 Sharp Corp 無線通信動画端末装置
KR100535632B1 (ko) * 1997-10-17 2006-04-12 주식회사 팬택앤큐리텔 적응적으로 보더링하는 모양정보 부호화/복호화 장치 및 방법
US6282684B1 (en) 1997-10-23 2001-08-28 Sony Corporation Apparatus and method for recovery of data in a lossy transmission environment
CN1219255C (zh) * 1997-10-23 2005-09-14 索尼电子有限公司 差错恢复的设备与方法
CN100353326C (zh) * 1997-10-23 2007-12-05 索尼电子有限公司 在有损耗传输环境中恢复数据的装置及方法
AU1116899A (en) * 1997-10-23 1999-05-10 Sony Electronics Inc. Apparatus and method for recovery of lost/damaged data in a bitstream of data based on compatibility
US6163868A (en) 1997-10-23 2000-12-19 Sony Corporation Apparatus and method for providing robust error recovery for errors that occur in a lossy transmission environment
US6581170B1 (en) 1997-10-23 2003-06-17 Sony Corporation Source coding to provide for robust error recovery during transmission losses
US6404817B1 (en) * 1997-11-20 2002-06-11 Lsi Logic Corporation MPEG video decoder having robust error detection and concealment
US6489995B1 (en) * 1998-10-22 2002-12-03 Sony Corporation Method and apparatus for motion vector concealment
US6356661B1 (en) * 1999-01-07 2002-03-12 M4 Labs, Inc Method and device for robust decoding of header information in macroblock-based compressed video data
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
US6307979B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive error recovery method and apparatus
US6535148B1 (en) 1999-02-12 2003-03-18 Sony Corporation Method and apparatus for truncated decoding
US7010737B2 (en) * 1999-02-12 2006-03-07 Sony Corporation Method and apparatus for error data recovery
US6170074B1 (en) 1999-02-12 2001-01-02 Sony Corporation Source coding to provide for robust error recovery
US6363118B1 (en) 1999-02-12 2002-03-26 Sony Corporation Apparatus and method for the recovery of compression constants in the encoded domain
US6307560B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive spatio-temporal format conversion method and apparatus
US6519369B1 (en) 1999-02-12 2003-02-11 Sony Corporation Method and apparatus for filter tap expansion
US6591398B1 (en) 1999-02-12 2003-07-08 Sony Corporation Multiple processing system
US6621936B1 (en) 1999-02-12 2003-09-16 Sony Corporation Method and apparatus for spatial class reduction
US6418548B1 (en) 1999-02-12 2002-07-09 Sony Corporation Method and apparatus for preprocessing for peripheral erroneous data
DE60031905T2 (de) * 1999-04-02 2007-04-12 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtungen zur Übertragung und Empfang von bewegten Bildern sowie Aufzeichnungsmedium für bewegte Bilder
US6473876B1 (en) 1999-06-29 2002-10-29 Sony Corporation Method and apparatus for encoding of bitstreams using rotation
US6389562B1 (en) 1999-06-29 2002-05-14 Sony Corporation Source code shuffling to provide for robust error recovery
US6493842B1 (en) 1999-06-29 2002-12-10 Sony Corporation Time-varying randomization for data synchronization and implicit information transmission
US6549672B1 (en) * 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6351494B1 (en) 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
US6539517B1 (en) 1999-11-09 2003-03-25 Sony Corporation Data transformation for explicit transmission of control information
JP2001186521A (ja) * 1999-12-22 2001-07-06 Nec Corp 画像復号化装置及び方法
WO2002071640A1 (en) * 2001-03-05 2002-09-12 Intervideo, Inc. Systems and methods for encoding and decoding redundant motion vectors in compressed video bitstreams
KR100322485B1 (ko) * 2001-07-05 2002-02-07 이동욱 다중채널 영상신호 부호화 장치 및 그 방법
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
US7039117B2 (en) * 2001-08-16 2006-05-02 Sony Corporation Error concealment of video data using texture data recovery
BRPI0212000B1 (pt) * 2001-08-23 2017-12-12 Polycom, Inc. "system and method for processing video data"
EP1659802B1 (en) * 2001-10-05 2008-07-23 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for compensating for motion vector errors in image data
US7277587B2 (en) * 2002-04-26 2007-10-02 Sharp Laboratories Of America, Inc. System and method for lossless video coding
EP1395061A1 (en) * 2002-08-27 2004-03-03 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for compensation of erroneous motion vectors in video data
US8705613B2 (en) * 2003-06-26 2014-04-22 Sony Corporation Adaptive joint source channel coding
US8582640B2 (en) * 2003-12-16 2013-11-12 Sony Corporation Adaptive joint source channel coding
WO2005071971A1 (en) * 2004-01-21 2005-08-04 Koninklijke Philips Electronics N.V. Embedded compression
US20050259735A1 (en) * 2004-05-21 2005-11-24 Qin-Fan Zhu System and method for video error masking using standard prediction
US7496736B2 (en) * 2004-08-27 2009-02-24 Siamack Haghighi Method of efficient digital processing of multi-dimensional data
EP1816871A4 (en) * 2004-10-29 2010-06-16 Sharp Kk DECODING DEVICE FOR MOVABLE IMAGES AND DECODING METHOD FOR MOVABLE IMAGES
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
EP1908300B1 (en) * 2005-07-25 2018-05-16 Thomson Licensing DTV Method and apparatus for the concealment of missing video frames
US7802167B1 (en) * 2006-02-08 2010-09-21 Pmc-Sierra Us, Inc. Apparatus and method for detecting extended error bursts
WO2009047697A2 (en) * 2007-10-08 2009-04-16 Nxp B.V. System and method for error concealment
TWI442777B (zh) * 2009-06-23 2014-06-21 Acer Inc 空間性錯誤隱藏方法
US9369724B2 (en) * 2014-03-31 2016-06-14 Microsoft Technology Licensing, Llc Decoding and synthesizing frames for incomplete video data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243428A (en) * 1991-01-29 1993-09-07 North American Philips Corporation Method and apparatus for concealing errors in a digital television
US5212549A (en) * 1991-04-29 1993-05-18 Rca Thomson Licensing Corporation Error concealment apparatus for a compressed video signal processing system
GB2263373B (en) * 1992-01-09 1995-05-24 Sony Broadcast & Communication Data error concealment
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
JPH0620050A (ja) * 1992-07-03 1994-01-28 Matsushita Electric Ind Co Ltd 動画像信号の復号化装置と推定動きベクトル算出方法
FR2696026B1 (fr) * 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
JP3519441B2 (ja) * 1993-02-26 2004-04-12 株式会社東芝 動画像伝送装置
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
KR100261072B1 (ko) * 1993-04-30 2000-07-01 윤종용 디지털 신호처리시스템
KR0166725B1 (ko) * 1993-06-30 1999-03-20 김광호 강제인트라-프레임부호화방법
US5493513A (en) * 1993-11-24 1996-02-20 Intel Corporation Process, apparatus and system for encoding video signals using motion estimation

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE40372E1 (en) 1997-12-01 2008-06-10 Samsung Electronics Co., Ltd. Motion vector prediction method
CN100424997C (zh) * 2001-09-14 2008-10-08 皇家飞利浦电子股份有限公司 编码器冗余选择系统和方法
CN100348053C (zh) * 2002-02-28 2007-11-07 株式会社精密技术 利用运动图像的电子水印的错误隐蔽方法
CN101379816B (zh) * 2005-05-11 2010-12-22 高通股份有限公司 双向预测帧的时间错误隐藏
CN101427582B (zh) * 2006-04-20 2013-10-23 汤姆森许可贸易公司 用于进行冗余视频编码的方法和装置
CN101115205B (zh) * 2006-07-28 2010-10-27 联发科技股份有限公司 视频流处理装置与方法
CN109982093A (zh) * 2017-12-28 2019-07-05 展讯通信（上海）有限公司 视频解码错误补偿方法及装置、存储介质、终端
CN109982093B (zh) * 2017-12-28 2021-05-18 展讯通信（上海）有限公司 视频解码错误补偿方法及装置、存储介质、终端

Also Published As

Publication number Publication date
FI116348B (fi) 2005-10-31
WO1997016016A1 (en) 1997-05-01
SE518157C2 (sv) 2002-09-03
EP0800743A4 (en) 1999-04-07
FI972750A (fi) 1997-06-25
EP0800743A1 (en) 1997-10-15
US5724369A (en) 1998-03-03
FI972750A0 (fi) 1997-06-25
SE9702422L (sv) 1997-08-26
SE9702422D0 (sv) 1997-06-25

Similar Documents

Publication Publication Date Title
CN1166255A (zh) 基于宏块的视频编码译码器隐藏和包含错误的方法和装置
Apostolopoulos Error-resilient video compression through the use of multiple states
US6272253B1 (en) Content-based video compression
Chu et al. Detection and concealment of transmission errors in H. 261 images
US6614847B1 (en) Content-based video compression
US6744924B1 (en) Error concealment in a video signal
US7336711B2 (en) Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system
Apostolopoulos Error-resilient video compression via multiple state streams
EP1351509B1 (en) Differential encoding (DPCM) for video data
US20030012286A1 (en) Method and device for suspecting errors and recovering macroblock data in video coding
US7486734B2 (en) Decoding and coding method of moving image signal, and decoding and coding apparatus of moving image signal using the same
GB2320836A (en) Error concealing in video signal decoding system
CN1137724A (zh) 在存在图象强度渐变情况下的视频信号编码系统
CN1340275A (zh) 视频编码
WO2003007536A1 (en) Method for detection and recovery of errors in the frame
CN1126376C (zh) 用于消除在比特数据流中的误差的方法和装置
JP2002325259A (ja) 誤り補正に基づいてデジタル画像を符号化する方法
KR100229794B1 (ko) 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기
Lee et al. Detection and concealment of transmission errors in MPEG-4 images
US8358694B2 (en) Effective error concealment in real-world transmission environment
JPH06197330A (ja) 動きベクトル検出方式
KR20050089454A (ko) 동영상 복호화 시 에러 은닉 방법
Jianhua et al. A novel adaptive error concealment algorithm
JPH05292488A (ja) 動画像符号化・復号装置
JPH10164587A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication