CN1258928C - 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器 - Google Patents

用于改良视频编码中的错误隐藏的错误隐藏方法和编码器 Download PDF

Info

Publication number
CN1258928C
CN1258928C CNB01812478XA CN01812478A CN1258928C CN 1258928 C CN1258928 C CN 1258928C CN B01812478X A CNB01812478X A CN B01812478XA CN 01812478 A CN01812478 A CN 01812478A CN 1258928 C CN1258928 C CN 1258928C
Authority
CN
China
Prior art keywords
picture
error concealing
designator
scene
concealing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB01812478XA
Other languages
English (en)
Other versions
CN1440624A (zh
Inventor
M·汉努克塞拉
K·卡拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sith International Ltd
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1440624A publication Critical patent/CN1440624A/zh
Application granted granted Critical
Publication of CN1258928C publication Critical patent/CN1258928C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network

Abstract

一种对表示画面序列的视频信号进行编码的方法，所述方法包括将第一画面与第二画面进行比较，计算第一和第二画面之间的相似性量度，将相似性量度与相似性的预定标准进行比较，以及当相似性量度不满足相似性的预定标准时，输出一个表示后面的解码器应该利用非时间预测错误隐藏方法的指示符，而当相似性量度满足相似性的预定标准时，输出一个表示后面的解码器应该利用时间预测错误隐藏方法的指示符。

Description

用于改良视频编码中的错误隐藏的错误隐藏方法和编码器
本发明涉及视频编码，更具体地说，涉及隐藏由错误引进的人工信号。
视频序列由一系列静态画面或帧组成。视频压缩方法基于减少视频序列的冗余或在感知上不相关部分。可以将视频序列中的冗余度分类为频谱、空间和时间冗余度。频谱冗余度指的是同一画面的不同颜色分量之间的相似性。空间冗余度由画面中相邻像素之间的相似性引起。时间冗余度是由于出现在前一图像中的对象也有可能出现在当前图像中而存在。可以通过利用这种时间冗余度并从被称为锚或参考画面的另一画面预测当前画面来实现压缩。通过生成描述当前画面和参考画面之间运动的运动补偿数据实现进一步压缩。
但是，通常无法仅通过减少序列的固有冗余度获得充分的压缩。因此，视频编码器还设法降低视频序列中主观上不太重要的那些部分的质量。另外，借助于压缩参数和系数的有效无损编码，降低了编码比特流的冗余度。这种主要技术利用变长码。
视频压缩方法一般把利用时间冗余度缩减的画面与没有利用的那些画面区分开。没有利用时间冗余度缩减方法的压缩画面通常被称为INTRA(内)或I帧或I画面。通常从出现在当前画面之前的画面前向预测出时间预测图像，并将其称为INTER(间)或P帧。在INTER帧的情况下，预测运动补偿画面很少是足够精确的，因此空间压缩预测错误帧与各个INTER帧相关。INTER画面可包括INTRA编码的区域。
许多视频压缩方案也利用时间双向预测帧，这类帧通常被称为B画面或B帧。B画面被插入在I帧和/或P帧的锚画面对之间，并从这些锚画面中的任一个或这两个锚画面预测得到。与前向预测画面相比，B画面一般产生增加的压缩。B画面并不用作锚画面，即不从B画面预测其它画面。因此，可以删除B画面(有意或无意地)，并不影响后续画面的画面质量。虽然与P画面相比，B画面可以改进压缩性能，但是它们的生成要求更高的计算复杂性和存储器使用，并且它们引入附加延迟。对于诸如视频流的非实时编码来说，这可能不是个问题，但可能在诸如视频会议的实时应用中引起问题。
压缩视频剪辑一般由画面序列组成，它们可以粗略地分类为时间独立INTRA画面和时间差分编码INTER画面。由于INTRA画面中的压缩效率一般低于INTER画面中的压缩效率，因此很少利用INTRA画面，特别是在低比特率应用中。
视频序列可以由多个场景或镜头组成。一个场景到另一场景的画面内容可能显著地不同，因此场景的第一画面一般是INTRA编码的。电视和电影素材中有频繁的场景变化，但在视频会议中场景删节相对很少。另外，一般插入INTRA画面以停止重构的视频信号中传输错误的时间传播，并为视频比特流提供随机访问点。
压缩视频很容易被传输错误破坏，主要出于两个原因。首先，由于时间预测差分编码(INTER帧)的利用，因而错误在空间上和时间上传播。在实践中，这意味着一旦发生错误，则在相对长的时间内人眼可容易地看见错误。特别易受影响的是低比特率上的传输，这种传输只有几个INTRA编码帧，所以时间错误传播在一段时间内不会停止。第二，变长码的利用增加了对错误的敏感度。当一个比特错误改变码字时，解码器将失去码字同步，并且还对后续无错码字(包括多个比特)错误地解码，直到下一同步(或开始)码。同步码是不能从其它码字的任何合法组合生成的比特模式，并且这些码不时被加入到比特流中，以使得能够再同步。另外，当在传输期间丢失数据时也出现错误。例如，在利用IP网中不可靠的UDP传输协议的视频应用中，网络元件可能丢掉部分编码视频比特流。
对于接收机来说，有许多方法解决在传输路径中引入的破坏。一般来说，收到信号后，首先检测传输错误，然后由接收机进行校正或隐藏。错误校正指的是完全恢复错误数据的过程，就象在第一位置没有引入错误一样。错误隐藏指的是隐藏传输错误的影响的过程，以使得在重构的视频序列中很难看得到。一般由源或传送编码增加一定量的冗余度以帮助错误检测、校正和隐藏。错误隐藏技术可以粗略地分为三类：前向错误隐藏、通过后处理的错误隐藏以及交互式错误隐藏。术语“前向错误隐藏”指的是发射机侧向发送数据中添加冗余度，从而增强编码数据的错误复原能力的那些技术。通过后处理的错误隐藏指的是解码器响应于接收信号的特性的操作。这些方法对错误接收信号的正确表示进行估计。在交互式错误隐藏中，发射机和接收机相互合作，从而使传输错误的影响最小化。这些方法主要利用接收机提供的反馈信息。通过后处理的错误隐藏还可以指被动错误隐藏，而另外两种类型表示主动错误隐藏的形式。
存在大量已知的隐藏算法，关于这些算法的回顾在Y.Wang和Q.-F.Zhu的题为“视频通信的错误控制和隐藏：回顾(Error Control andConcealment for Video communication：A Review)”(Proceedings of theIEEE，Vol.86，No.5，May 1998，pp.974-997)以及P.Salama、N.B.Shroff和E.J.Delp的文章“编码视频中的错误隐藏(Error Concealment inEncoded Video)”(提交给IEEE Journal on Selected Areas inCommunications.)
当前视频编码标准定义自给自足视频比特流的语法。在编写本文时最流行的标准为ITU-T建议H.263，“低比特率通信的视频编码(Video coding for low bit rate communication)”(February 1998)；ISO/IEC 14496-2，“视听对象的类编码，第二部分：视觉(Generic Codingof Audio-Visual Object，Part2：Visual)”，1999(被称为MPEG-4)；以及ITU-T建议H.262(ISO/IDE 13818-2)(被称为MPEG-2)。这些标准定义了比特流的层次以及相应地图像序列和图像的层次。
为帮助错误隐藏，MPEG-2视频编码标准允许在INTRA画面内传输INTRA宏块的运动矢量。这些运动矢量仅被用于错误隐藏，如下：如果INTRA宏块丢失(或破坏)，则解码器利用属于被丢失那个上的宏块的运动矢量，从而从参考画面得到类似块。如果INTRA宏块不包括运动信息，则解码器用空间算法隐藏错误。
在H.263中，语法具有四层的层次结构：画面、画面段、宏块以及块层。画面层数据包括影响整个画面区域和画面数据解码的参数。大部分这种数据被配置在所谓的画面信头中。
画面段层可以是一组块层或片层。默认情况下，每个画面被分为若干块组。块组(GOB)一般包括16个连续的像素行。每个GOB的数据由可选的GOB信头以及之后跟着的宏块数据组成。如果利用可选片结构模式，则每个画面被划分为片而不是GOB。一片包括按扫描顺序的多个连续宏块。每片的数据由片信头以及之后跟着的宏块数据组成。
每个GOB或片被分为宏块。宏块涉及亮度的16×16像素(或2×2块)以及空间上相应的色度分量的8×8像素(或块)。块涉及亮度或色度的8×8像素。
块层数据由均一量化的离散余弦变换系数组成，它按照折线顺序扫描，用游程编码器进行处理并且用变长码进行编码。MPEG-2和MPEG-4层的分层与H263中利用的类似。
在H.263中，错误隐藏的问题一般被认为是后处理功能并且通常留给解码器。在ITU-T学习组16的问题15文档号17、18、19、20、21&22中，(其中这些文档出现在1999年10月美国新泽西州的ITU-T学习小组16的会议中)，提议为H.263增加归一化语言从而指定几个错误隐藏技术并且定义信号传输机制，其中编码器可以利用这种信号传输机制将此通知解码器，最好以逐个画面为基础。
但是，由于解码器将要利用的错误隐藏方法是由编码器指定的，所以这种方法在解码器上是过度限制的。因此，即使解码器可以利用其它隐藏方法，但也不能使用这些方法。
根据本发明的第一方面，提供了一种对表示画面序列的视频信号进行编码的方法，这种方法包括将第一画面与第二画面进行比较，计算第一和第二画面之间的相似性量度，将相似性量度与相似性的预定标准进行比较，以及当相似性量度不满足相似性的预定标准时，输出一个指示符，该指示符表示后面的解码器应该使用非时间预测错误隐藏方法，而当相似性量度满足相似性的预定标准时，输出一个指示符，该指示符表示后面的解码器应该利用时间预测错误隐藏方法。
因此，解码器能够根据指示符自由地选择用于被破坏画面的适当类型的错误隐藏方法。但是，指示符并不指定具体的算法，因此解码器并不限于利用具体的算法。
当相似性量度不满足预定标准时，最好更新错误隐藏指示符。然后，指示符表示场景中什么可被视为一种变化。
因此，本发明使解码器能够检测哪些画面属于同一场景，并且如果需要，则根据该指示符选择适当类型的错误隐藏方法。所以，当错误隐藏指示符在一个帧和另一帧之间变化时，解码器通过应用非预测错误隐藏方法作出响应。如果从一个帧到另一帧错误隐藏指示符相同时，解码器通过应用时间预测错误隐藏方法作出响应。
例如，在场景变化中，当前画面(新场景中的第一画面)与前一场景中的最后一个画面之间的相似性将较低。因此，编码器将为当前画面更新错误隐藏指示符。如果画面被破坏，解码器检测错误隐藏指示符中的变化，并且利用非时间预测隐藏方法。另外，解码器可以确定哪些INTRA画面被用于对场景变化进行编码，以及哪些由于其它原因被插入到视频序列中，并且可以根据这种信息选择适当的隐藏方法。
一些视频编码器将所有帧(在初始帧之后)编码为INTER画面。如果场景删节后的第一INTER画面被破坏，则传统解码器很可能利用时间预测来尝试隐藏由INTER画面的丢失引入的错误。因此，来自不同场景的两个画面的内容被混合，由此隐藏画面可能出现无法接收地失真。但是，根据本发明的解码器能够根据错误隐藏指示符来检测它应该利用非时间隐藏方法而不是时间隐藏方法。因此来自不同场景的画面未用于错误隐藏。
与MPEG-2中引入的方案要求附加运动矢量相比，本发明在每帧中需要少得多的比特。另外，本发明根据现有视频压缩标准进行操作，不允许如MPEG-2中所允许的INTRA宏块的运动矢量。
错误隐藏指示符可以被包括在整个画面或画面的一部分中。在前一种情况下，指示符一般包括在画面信头中。在本发明的优选实施例中，根据H.263标准对视频信号进行编码，并且错误隐藏指示符被包括在补充增强信息中。在后一种情况下，错误隐藏指示符还可以被包括在编码画面的画面段信头或宏块信头中。
根据本发明的第二方面，提供了一种对表示画面序列的视频信号进行编码的方法，这种方法包括将第一画面与第二画面进行比较，计算第一和第二画面之间的相似性量度，将相似性量度与相似性的预定标准进行比较，以及响应于相似性量度输出一个指示符，其中当相似性量度不满足预定标准时，更新指示符，而当相似性量度满足预定标准时，指示符不变。
根据本发明的第三方面，提供了一种对表示画面序列的视频信号进行解码的方法，这种方法包括接收编码视频信号，识别各个要解码的画面中表示解码过程中要使用的隐藏方法类型的指示符，以及利用所识别的隐藏方法类型对编码视频信号进行解码。
根据本发明的第四方面，提供了一种错误隐藏方法，包括接收编码视频信号，这种编码视频信号包括表示错误隐藏过程中要利用的隐藏方法类型的指示符，以及适当地隐藏视频信号中的错误。
根据本发明的第五方面，提供了一种对表示画面序列的编码视频信号进行解码的方法，这种方法包括接收编码视频信号，为各个将要解码的画面确定一个表示第一画面和第二画面之间相似性量度的指示符，以及当指示符与前面收到的画面的指示符相同时，应用时间预测错误隐藏方法，而当指示符与前面收到的画面的指示符不同时，应用空间错误隐藏方法。
根据本发明的第六方面，提供了一种视频编码器，它包括输入端，用于接收表示画面序列的视频信号；计算器，用于计算第一画面与第二画面之间的相似性量度；以及比较器，用于将相似性量度与相似性的预定标准进行比较并输出表示后面的解码器将要利用的隐藏方法的指示符，这种比较器被配置为当相似性量度不满足预定标准时，输出一个表示应该利用非时间预测隐藏方法的指示符，而当相似性量度满足预定标准时，输出一个表示后面的解码器应该利用时间预测隐藏方法的指示符。
根据本发明的第七方面，提供了一种用于对表示画面序列的视频信号进行编码的视频编码器，这种编码器包括比较器，用于将第一画面与第二画面进行比较；处理器，用于计算第一和第二画面之间的相似性量度并将相似性量度与相似性的预定标准进行比较，这种处理器被配置为响应于相似性量度而输出一个指示符，其中当相似性量度不满足预定标准时，更新该指示符，而当相似性量度满足预定标准时，指示符不变。
根据本发明的第八方面，提供了一种视频解码器，它包括输入端，用于接收表示画面序列的编码视频信号；控制器，用于识别视频信号中各个要解码的画面的指示符，该指示符表示在解码过程中要用到的隐藏方法类型，以及利用如指示符所示的隐藏方法对编码视频信号进行解码。
现在将参考附图仅作为例示对本发明进行描述，其中：
图1示意了多媒体移动通信系统；
图2示意了多媒体终端的多媒体组件的例示；
图3示意了视频编解码器的例示；
图4示意了如根据H.263所知的比特流语法；
图5a示意了根据本发明第一实现的编码器输出的比特流例示；
图5b示意了根据本发明第二实现的编码器输出的比特流例示；
图6a示意了根据本发明第三实现的编码器输出的比特流例示；
图6b示意了根据本发明第四实现的编码器输出的比特流例示；
图7示意了根据本发明的第五实现的编码器输出的比特流例示。
图1示意了典型的多媒体移动通信系统。第一多媒体移动终端1经到移动通信网络4的无线电链路3与第二多媒体移动终端2进行通信。在两个终端1、2之间发送控制数据以及多媒体数据。
图2示意了终端1的典型多媒体组件。终端包括视频编解码器10、音频编解码器20、数据协议管理器30、控制管理器40、多路复用器/去复用器50以及调制解调器60(如果需要)。视频编解码器10从终端的视频捕获装置(未示出)(例如照相机)接收信号进行编码，并且从远程终端2接收信号进行解码，以便由终端1显示在显示器70上。音频编解码器20从终端1的麦克风(未示出)接收信号进行编码，并且从远程终端2接收信号进行解码，以便由终端1的扬声器(未示出)再现。
控制管理器40控制视频编解码器10、音频编解码器20和数据协议管理器30的操作。但是，由于本发明关心的是视频编解码器10的操作，所以将不提供对音频编解码器20和协议管理器30的进一步论述。
图3示意了根据本发明的视频编解码器10的例示。视频编解码器包括编码器部分100以及解码器部分200。编码器部分100包括输入端101，用于从终端1的照相机或视频源(未示出)接收视频信号。转换器102使编码器在编码的INTRA模式和INTER模式之间进行切换。
在INTRA模式下，来自输入端101的视频信号被DCT变换器103变换为DCT系数。接下来，DCT系数被传递到对系数进行量化的量化器104。转换器102和量化器104由视频编解码器的编码控制管理器105控制，后者还通过控制管理器40从接收终端2接收反馈控制。
在INTER模式下，对转换器102进行操作，以从减法器106接受来自输入端101的信号与存储在画面存储器107中的前一画面之间的差异。从减法器106输出的差异数据表示当前画面和存储在画面存储器107中的前一画面之间的预测错误。通过将量化器输出的数据传递到反量化器108并对反量化数据应用反DCT变换109，从而生成画面存储器107中的数据。由加法器110将得到的数据加入到画面存储器107的内容中。运动估计器111可以以传统方式从画面存储器107中的数据生成运动补偿数据(运动矢量)。
视频编解码器输出量化后的DCT系数112a、量化索引112b(即量化所有的细节)、表示编码执行的方式(I或P/B)的INTRA/INTER标志112c、表示编码帧数的传输标志112d以及编码画面的运动矢量112e。由多路复用器50将这些与其它多媒体信号一起进行多路复用。
视频编解码器10的解码器部分200包括反量化器120、反DCT变换器121、运动补偿器122、画面存储器123以及控制器124。控制器124接收由去复用器50从编码多媒体流中去复用的视频编解码器控制信号。在实践中，编码器的控制器105和解码器的控制器124可以是同一处理器。
现在将描述根据本发明的编码器的操作。视频编解码器10接收要编码的视频信号。视频编解码器的编码器100通过执行DCT变换、量化以及运动补偿来对视频信号进行编码。然后将解码视频数据输出到多路复用器50。多路复用器50将来自视频编解码器10的视频数据与来自控制器40的控制数据(以及其它适当的信号)多路复用为多媒体信号。终端1经调制解调器60(如果需要)将这种多媒体信号输出到接收终端2。
本发明涉及将指示符包括到视频序列语法中，这种指示符表示解码器要利用的隐藏方法类型。它可以被包括在比特流的画面层中或作为单独层提供。指示符提供不同场景的标识，进而提供要利用的隐藏方法类型的标识。
在本发明的第一实施例中，错误隐藏指示符包括所谓的场景标识符(SI)，这种场景标识符SI被加入到各个编码画面的比特流表示中。场景标识符是一个值，它在同一场景的所有画面中相同。属于不同场景的画面一般具有不同的场景标识符。最好在每次更新SI时将其值加1。但是，应该注意，场景标识符可以取两个值中的一个，其中来自相邻场景具有不同SI值的画面，如奇数场景的画面的SI设为0而偶数场景的画面的SI设为1。
编码器的控制器105通过比较一帧与另一帧之间的相似性来检测场景删节。控制器105将当前画面的像素表示(从输入端102接收)与存储在画面存储器107中的前一画面的像素表示进行比较。每当两个画面之间的相似性低于某一阈值时，控制器检测到场景删节，并且输出更新的场景指示符112f。如果相似性高于阈值，不更新而只是重复场景指示符。
场景标识符没有必要识别实际场景删节；场景标识符中的变化表示当前画面相对与前一画面已发生了充分地变化，从而当前画面可被认为是一个新场景。
可以利用用于检测场景的其它已知方法。
在本发明的第二实施例中，所谓的隐藏方法指示符(CMI)被加入到各个编码画面的比特流表示中。CMI向解码器表示如果相关画面被破坏时，解码器应该利用的隐藏方法类型。编码器通过比较当前画面与前一画面之间的相似性，确定哪个CMI与该画面相关。如果两个画面之间的相似性低于某一阈值，则控制器将第一个隐藏方法指示符CMI＝0作为输出112f输出。它向解码器表示应该利用非时间预测隐藏方法。如果相似性高于阈值，将第二隐藏方法指示符CMI＝1作为输出112f输出。它向解码器表示应该利用时间预测隐藏方法。
相似性量度可以通过计算两个画面之间的数学相关性而形成。
错误隐藏指示符还可以被包括在画面段信头和/或宏块信头中，从而影响接收解码器在这一层对适当的错误隐藏方法的选择。
考虑终端1从终端2接收编码视频数据，现在将参考其解码角色描述视频编解码器10的操作。终端1从发送终端2接收多媒体信号。去复用器50对多媒体信号去复用，并将视频数据传递给视频编解码器10，以及将控制数据传递到控制管理器40。视频编解码器的解码器200通过对编码数据进行反量化、反DCT变换以及运动补偿来对数据进行解码。解码器的控制器124检查接收数据的完整性，如果检测到错误，则以以下描述的方式设法校正和隐藏错误。接下来输出解码、校正且隐藏的视频数据，用于在接收终端1的显示器70上再现。
视频数据中的错误可以出现在画面层、画面段层或宏块层。错误检查可以在这些层中任何一层或所有这些层上执行。
首先考虑根据本发明编码的信号，其中包括了指示符SI，当检测到错误时，解码器检查收到但被破坏的画面的SI。如果被破坏画面的SI与时间上相邻的正确解码画面的SI相同，则解码器应用时间预测(INTER)隐藏算法。解码器可能能够执行不同的时间预测隐藏算法。指示符SI向解码器表示应该利用的隐藏算法类型，但不指定要用的算法。
如果被破坏画面的SI不同于时间上相邻的正确解码画面的SI，则解码器利用空间(INTRA)隐藏方法隐藏画面。
考虑根据本发明编码的信号，其中包括了指示符CMI，当检测到错误时，解码器检查收到但被破坏的画面的CMI。如果被破坏画面的CMI为CMI1，则解码器利用空间隐藏方法隐藏该画面。如果被破坏画面的CMI为CMI2，则解码器应用时间预测隐藏算法。同样，解码器可能能够执行不同的错误隐藏算法。指示符CMI向解码器表示应该利用的隐藏算法类型，但不指定要用的算法。
现在将参考H.263视频编码标准论述如何可以在编码信号的语法中包括错误隐藏指示符的例示。
图4示意了如根据H.263已知的比特流的语法(下面的实现描述GOB格式，但本领域的技术人员将清楚，本发明也可以以片格式实现)。如已经提到的，比特流具有四层：画面层、画面段层、宏块层以及块层。画面层包括画面信头，其后跟着块组的数据，最后跟着任何可选的序列结束码和填充比特。
先有技术H.263比特流的格式如图4所示。以下给出了各部分的描述符：
PSC        画面开始码(PSC)，表示画面的开始
TR         时间参考(TR)，通过将其在时间上的上一参考画
           面信头中的值加1加上上次发送画面之后跳过或非
           参考画面的数量而形成
PTYPE      PTYPE包括画面编码类型等细节，即INTRA或
           INTER
PQUANT     码字，表示要用于画面的量化器，直到被随后任何
           量化器信息更新
CPM        码字，信号通知可选连续出现多点以及视频多路复
           用(CPM)模式
PSBI       画面子比特流指示符-只在设置了CPM时出现
TRB       在帧是双向预测帧(被称为PB帧)时出现
DBQUANT    在双向帧时出现
PEI        它涉及另外的插入信息，并被设为“1”以表示出
           现以下可选数据字段：PSUPP和PEI。PSUPP和PEI
           一起被称为补充增强信息，另外在H.263的附录L
          中定义。
GOBS      是用于当前画面的块组的数据
ESTF      在EOS之前为获得字节对齐而提供的填充码字
EOS       表示画面的数据序列结束的码字
PSTUF     允许下一画面开始码PSC的字节对齐的填充码字
如图4所示的结构不包括可选PLUSTYPE数据字段。只在由CPM表示时，PSBI才出现。只在PTYPE表示利用所谓的PB帧模式时才出现TRB和DBQUANT(除非出现PLUSTYPE字段，并且其中表示利用了DBQUANT)。这些情况在H.263规范中进行了更详细地论述。
以下段落概述了通过根据本发明的编码器输出的比特流的可能实现。
如下所示，隐藏方法指示符可以合并到H.263比特流中。图5a示意了根据本发明的第一实现的编码器输出的比特流的例示。如图5a所示，比特流包括附加码字SI，它是表示画面所属场景的码字。编码器根据连续画面之间的变化量插入附加码字，如上所述。标识符中的变化表示编码的画面与参考画面之间的相似性较低。解码器利用此信息选择所示类型的错误隐藏方法。在这种情况下，并没有具体地表示要用的错误隐藏方法类型，但可以从SI中的变化确定要用的错误隐藏方法类型。
图5b示意了根据本发明的第二实现的编码器输出的比特流的例示。如图5b所示，比特流可包括附加码字CMI，它是表示解码器要用的隐藏方法类型的码字。如上所述，编码器根据连续画面之间的变化量插入这个附加码字。
或者，SI或CMI可以被包括在补充增强信息PSUPP(见H.263的附录L以及图4)。补充信息可以出现在比特流中，虽然解码器可能不能够提供增强能力以利用它，或者甚至适当地解释它。可允许解码器简单地删除补充信息，除非已经由外部装置协商了提供所需能力的要求。
如果PEI被设为“1“，则后面的9个比特由8比特的数据(PSUPP)以及另外一个PEI比特组成，PEI比特表示后面是否有另外9个比特等等。
PSUPP数据由4比特函数类型表示FTYPE、后面跟着4比特参数数据长度规范DSIZE、后面跟着函数参数数据的DSIZE八位字节、后面可选的跟着FTYPE等。已知利用这种PSUPP码字就各种情况发出信号通知，比如：表示通过大小调整或不通过大小调整的全画面或部分画面冻结或冻结释放请求；为视频流内特定画面或画面序列设置标志以用于外部使用；或传送用于视频合成的色度键信息。
为了利用补充增强信息实现本发明，将另一FTYPE定义为“场景标识符”或“CMI”。例如，FTYPE 15可用于这个目的。
在图6a和6b中示意了此CMI。图6a示意了一个例示，其中参数SI被包括在画面信头的SEI中。FTYPE被定义为场景标识符SI。DSIZE指定参数的长度，而随后的八位字节是参数数据，即SI的值。根据这个值，接收解码器可以确定被破坏的画面是否来自与前一画面相同的“场景”，进而选择最适合的隐藏方法类型。图6b示意了一个例示，其中参数CMI被包括在画面信头的SEI中。FTYPE被定义为隐藏方法指示符CMI。DSIZE指定参数的大小，而随后的八位字节是参数数据，即CMI的值。根据这个值，接收解码器可以确定用于被破坏画面的最适合的隐藏方法类型。
或者，这种信息可以包括在附加补充增强信息中，如“新附录W草案：附加补充增强信息规范”中所指定的(P.Ning和S.Wenger，ITU-T Study Group 16 Question 15 Document Q15-I-58，November1999)。
在这个草案中，FTYPE 14被定义为“画面消息”。当设置这个FTYPE时，画面消息函数表示代表消息数据的一个或多个八位字节的出现。消息数据的第一个八位字节是具有图7所示结构的消息信头，即CONT、EBIT以及MTYPE。DSIZE等于与画面消息函数对应的消息数据中的八位字节数，其中包括第一个八位字节消息信头。
如果连续字段CONT等于1，表示与画面消息相关的消息数据是与同下一画面消息函数相关联的消息数据相同的逻辑消息的部分。结束比特位置字段EBIT指定最低有效比特数，它在最后一个消息八位字节中应被忽略。这些字段更多的细节可以在以上提到的附录W的草案中找到。
字段MTYPE表示消息类型。附录W的草案中提出了各种类型的消息。根据本发明，将如MTYPE9的一种类型定义为错误隐藏类型。场景标识符或CMI的值在消息信头之后的八位字节中定义。场景标识符的值在同一场景的所有画面中都是相同的。属于不同场景的画面具有不同的场景标识符值。解码器利用SI或CMI确定要用的错误隐藏类型。
消息还可以表示，如果没有正确接收至少部分当前画面的特别指定矩形区域时，应该用于该区域的错误隐藏类型。一个画面可以有多个错误隐藏类型消息，它们分别指定非重叠矩形区域的隐藏类型。有利的是，如果消息没有覆盖画面的某些区域，则解码器在那些区域使用任一种错误隐藏。解码器最好利用与画面类型对应的隐藏类型，即用于INTER帧的时间预测隐藏方法以及用于INTRA帧的非时间预测隐藏方法。
现在将给出特定例示。对于各个错误隐藏类型消息，DSIZE应是6，CONT应是0，而EBIT应是0。如果第一个数据字节等于1(00000001)，则它向解码器表示只能利用空间隐藏算法来隐藏传输错误。如果第一个数据字节等于2(0000 0010)，则它向解码器表示利用预测来隐藏传输错误。接下来的四个PSUPP包括要隐藏错误的画面内特定矩形区域左上角的水平和垂直位置以及该矩形区域宽度和高度，它们分别利用八个比特且以(亮度画面的)16像素为单元表示。例如，整个四分之一公用中分辨率图象格式(QCIF)画面(它具有176×144个像素的量度画面)由四个参数(0、0、11、9)指定。
对于具有宽度和高度不能被16整除的画面格式，指定区域可以延伸为可被16整除的下一更大尺寸。例如，具有大小为160×120个像素的整个图像由四个参数(0、0、10、8)指定。指定区域最好不与画面边界交叉，并且最好不与同一画面的其它指定错误隐藏区域重叠。
错误隐藏指示符还可以被结合到其它视频编码协议中。例如，MPEG-4定义了所谓的用户数据，它可以包括任何二进制数据并且不必与画面相关。可将错误隐藏标识符加入这些字段中。
本发明并无意限于上述的视频编码协议：这些协议仅为了例示。本发明适用于可以选择错误隐藏方法的任何视频编码协议。如上所述的加入信息允许接收解码器确定使用的错误隐藏方法的最佳类型。

Claims (42)

1.一种对表示画面序列的视频信号进行编码，以形成编码视频信号的方法，所述方法包括：为所述序列中的一个画面选择一种编码模式，并且在编码视频信号中提供一个编码模式指示符，以指示该画面的编码模式，所述编码模式指示符将用于该画面的相应解码过程中，为该画面或它的一部分确定一个单独的错误隐藏方法指示符，以指示在错误发生时，将用于该画面或它的所述部分的相应解码过程中的错误隐藏方法的类型，以及在所述编码视频信号中提供该错误隐藏指示符。
2.如权利要求1所述的方法，其特征在于包括：将所述序列中的第一画面与所述序列中的第二画面进行比较，计算所述第一和所述第二画面之间的相似性量度，将所述相似性量度与相似性的预定标准进行比较，并且，当所述相似性量度不满足所述相似性的预定标准时，提供一个指示在错误发生时，非时间预测错误隐藏方法应该被用于该画面的相应解码过程中的错误隐藏方法指示符，而当所述相似性量度满足所述相似性的预定标准时，提供一个指示在错误发生时，时间预测错误隐藏方法应该被用于该画面的相应解码过程中的错误隐藏方法指示符。
3.如权利要求2所述的方法，其特征在于当所述相似性量度不满足所述相似性的预定标准时，更新所述错误隐藏方法指示符。
4.如权利要求1所述的方法，其特征在于所述错误隐藏方法指示符被包括在画面信头中。
5.如权利要求1所述的方法，其特征在于根据H.263标准对所述视频信号进行编码，并且将所述错误隐藏方法指示符包括在补充增强信息中。
6.如权利要求2所述的方法，其特征在于当所述相似性量度不满足所述预定标准时，更新所述错误隐藏方法指示符，而当所述相似性量度满足所述预定标准时，所述错误隐藏方法指示符不变。
7.如权利要求2所述的方法，其特征在于画面序列包括若干不同的场景，各场景包括满足所述相似性的预定标准的画面，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对一个场景的所有画面具有相同的值，所述场景标识符对每个不同的场景具有不同的值。
8.如权利要求2所述的方法，其特征在于画面序列包括若干不同的场景，各场景包括满足所述相似性的预定标准的画面，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对来自具有不相同的场景标识符值的相邻场景的画面具有两个值之一。
9.如权利要求1所述的方法，其特征在于所述错误隐藏方法指示符被包括在画面段信头和/或宏块信头中。
10.如权利要求1所述的方法，其特征在于所述错误隐藏方法指示符指示一种将被应用于画面的一个指定矩形区域的错误隐藏类型。
11.如权利要求10所述的方法，其特征在于包括为一个画面提供多个错误隐藏方法指示符，每个错误隐藏方法指示符指定一种将被应用于该画面的多个非重叠矩形区域之一的错误隐藏类型。12.一种对表示画面序列的编码视频信号进行解码的方法，所述方法包括：接收编码视频信号；识别要解码的一个画面的编码模式指示符，以确定该画面的编码模式，并识别一个单独的错误隐藏方法指示符，该错误隐藏方法指示符指示在错误发生时，在该画面或它的一部分的解码过程中要利用的错误隐藏方法的类型；以及在错误发生时，在该画面或它的所述部分的解码过程中应用所识别类型的错误隐藏方法。
13.如权利要求12所述的方法，其特征在于所述错误隐藏方法指示符代表视频序列的第一画面和视频序列的第二画面之间的相似性量度，并且其中所述方法包括：当所述错误隐藏方法指示符与接收的前一画面的错误隐藏方法指示符相同时，应用时间预测错误隐藏，而且，当所述错误隐藏方法指示符与接收的前一画面的错误隐藏方法指示符不同时，应用空间错误隐藏方法。
14.如权利要求12所述的方法，其特征在于所述错误隐藏方法指示符被包括在画面信头中。
15.如权利要求12所述的方法，其特征在于根据H.263标准对所述视频信号进行编码，并且所述错误隐藏方法指示符被包括在补充增强信息中。
16.如权利要求12所述的方法，其特征在于画面序列包括若干不同的场景，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对一个场景的所有画面具有相同的值，所述场景标识符对每个不同的场景具有不同的值。
17.如权利要求12所述的方法，其特征在于画面序列包括若干不同的场景，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对来自具有不相同的场景标识符值的相邻场景的画面具有两个值之一。
18.如权利要求12所述的方法，其特征在于所述错误隐藏方法指示符被包括在画面段信头和/或宏块信头中。
19.如权利要求12所述的方法，其特征在于所述错误隐藏方法指示符指示一种将被应用于画面的一个指定矩形区域的错误隐藏类型。
20.如权利要求19所述的方法，其特征在于为一个画面提供多个错误隐藏方法指示符，每个错误隐藏方法指示符指定一种将被应用于该画面的多个非重叠矩形区域之一的错误隐藏类型。
21.如权利要求16或17所述的方法，其特征在于：当错误在画面中发生时，所述方法包括将该画面的一个场景标识符与时间上相邻的正确解码画面的一个场景标识符进行比较，并且，如果该画面的场景标识符与该时间上相邻的正确解码画面的场景标识符相同，就在该画面的解码过程中应用一个时间预测错误隐藏算法。
22.如权利要求16或17所述的方法，其特征在于：当错误在画面中发生时，所述方法包括将该画面的一个场景标识符与时间上相邻的正确解码画面的一个场景标识符进行比较，并且，如果该画面的场景标识符与该时间上相邻的正确解码画面的场景标识符不同，就在该画面的解码过程中应用一种空间错误隐藏方法。
23.一种视频编码器，用于对表示画面序列的视频信号进行编码，以形成编码视频信号，所述视频编码器包括一个用于接收所述视频信号的输入端和处理装置，所述处理装置被配置为用于：
-为所述序列中的一个画面选择一种编码模式，并且在编码视频信号中提供一个编码模式指示符，以指示该画面的编码模式，所述编码模式指示符将用于该画面的相应解码过程中；
-为该画面或它的一部分确定一个单独的错误隐藏方法指示符，以指示在错误发生时，将用于该画面或它的所述部分的相应解码过程中的错误隐藏方法的类型；以及
-在所述编码视频信号中提供该错误隐藏方法指示符。
24.如权利要求23所述的编码器，其特征在于，所述视频编码器包括处理装置，该处理装置被配置为：将所述序列中的第一画面与所述序列中的第二画面进行比较，计算所述第一和所述第二画面之间的相似性量度，将所述相似性量度与相似性的预定标准进行比较，以及当所述相似性量度不满足所述相似性的预定标准时，提供一个指示在错误发生时，非时间预测错误隐藏方法应该被用于该画面的相应解码过程中的错误隐藏方法指示符，而当所述相似性量度满足所述相似性的预定标准时，提供一个指示在错误发生时，时间预测错误隐藏方法应该被用于该画面的相应解码过程中的错误隐藏方法指示符。
25.如权利要求24所述的编码器，其特征在于，所述编码器包括处理装置，该处理装置被配置为：当所述相似性量度不满足所述预定标准时，更新所述错误隐藏方法指示符，而当所述相似性量度满足所述预定标准时，保持所述错误隐藏方法指示符不变。
26.如权利要求23所述的编码器，其特征在于包括被配置为用于包括在画面信头中的所述错误隐藏方法指示符的处理装置。
27.如权利要求23所述的编码器，其特征在于包括处理装置，该处理装置被配置为用于根据H.263标准对所述视频信号进行编码，并且用于包括在所述补充增强信息中的所述错误隐藏方法指示符。
28.如权利要求24所述的编码器，其特征在于所述的画面序列包括若干不同的场景，各场景包括满足所述相似性的预定标准的画面，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对一个场景的所有画面具有相同的值，所述场景标识符对每个不同的场景具有不同的值。
29.如权利要求24所述的编码器，其特征在于所述的画面序列包括若干不同的场景，各场景包括满足所述相似性的预定标准的画面，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对来自具有不相同的场景标识符值的相邻场景的画面具有两个值之一。
30.如权利要求23所述的编码器，其特征在于包括被配置为用于包括在画面段信头和/或宏块信头中的所述错误隐藏方法指示符的处理装置。
31.如权利要求23所述的编码器，其特征在于所述错误隐藏方法指示符指示一种将被应用于画面的一个指定矩形区域的错误隐藏类型。
32.如权利要求31所述的编码器，其特征在于包括被配置为用于为一个画面提供多个错误隐藏方法指示符的处理装置，其中每个错误隐藏方法指示符指定一种将被应用于该画面的多个非重叠矩形区域之一的错误隐藏类型。
33.一种视频解码器，用于对表示画面序列的编码视频信号进行解码，所述解码器包括一个用于接收编码视频信号的输入端和处理装置，该处理装置被配置为用于：
-识别要解码的一个画面的编码模式指示符，以确定该画面的编码模式；
-识别一个单独的错误隐藏方法指示符，该错误隐藏方法指示符指示在错误发生时，在该画面或它的一部分的解码过程中要利用的错误隐藏方法的类型；以及
-在错误发生时，在该画面或它的所述部分的解码过程中应用所识别类型的错误隐藏方法。
34.如权利要求33所述的解码器，其特征在于所述错误隐藏方法指示符被包括在画面信头中。
35.如权利要求33所述的解码器，其特征在于根据H.263标准对所述视频信号进行编码，并且所述错误隐藏方法指示符被包括在补充增强信息中。
36.如权利要求33所述的解码器，其特征在于画面序列包括若干不同的场景，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对一个场景的所有画面具有相同的值，所述场景标识符对每个不同的场景具有不同的值。
37.如权利要求33所述的解码器，其特征在于画面序列包括若干不同的场景，而所述错误隐藏方法指示符是一个与所述场景相关的场景标识符，所述场景标识符对来自具有不相同的场景标识符值的相邻场景的画面具有两个值之一。
38.如权利要求33所述的解码器，其特征在于所述错误隐藏方法指示符被包括在画面段信头和/或宏块信头中。
39.如权利要求33所述的解码器，其特征在于所述错误隐藏方法指示符指示一种将被应用于画面的一个指定矩形区域的错误隐藏类型。
40.如权利要求39所述的解码器，其特征在于为一个画面提供多个错误隐藏方法指示符，每个错误隐藏方法指示符指定一种将被应用于该画面的多个非重叠矩形区域之一的错误隐藏类型。
41.如权利要求36或37所述的解码器，其特征在于包括处理装置，该处理装置被配置为用于将该画面的一个场景标识符与时间上相邻的正确解码画面的一个场景标识符进行比较，并且，如果该画面的场景标识符与该时间上相邻的正确解码画面的场景标识符相同，所述处理装置被配置为用于错误发生时就在该画面的解码过程中应用一个时间预测错误隐藏算法。
42.如权利要求36或37所述的解码器，其特征在于包括被配置为用于将该画面的一个场景标识符与时间上相邻的正确解码画面的一个场景标识符进行比较的处理装置，并且，如果该画面的场景标识符与该时间上相邻的正确解码画面的场景标识符不同，所述处理装置被配置为用于错误发生时就在该画面的解码过程中应用一种空间错误隐藏方法。
43.一种便携式无线电通信装置，它包括根据权利要求23至32中任一所述的视频编码器和/或根据权利要求33至42中任一所述的解码器。
CNB01812478XA 2000-05-15 2001-05-11 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器 Expired - Fee Related CN1258928C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0011639A GB2362533A (en) 2000-05-15 2000-05-15 Encoding a video signal with an indicator of the type of error concealment used
GB0011639.2 2000-05-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2006100746826A Division CN1848956B (zh) 2000-05-15 2001-05-11 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器

Publications (2)

Publication Number Publication Date
CN1440624A CN1440624A (zh) 2003-09-03
CN1258928C true CN1258928C (zh) 2006-06-07

Family

ID=9891588

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2006100746826A Expired - Fee Related CN1848956B (zh) 2000-05-15 2001-05-11 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器
CNB01812478XA Expired - Fee Related CN1258928C (zh) 2000-05-15 2001-05-11 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2006100746826A Expired - Fee Related CN1848956B (zh) 2000-05-15 2001-05-11 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器

Country Status (16)

Country Link
US (3) US7400684B2 (zh)
EP (1) EP1293096A2 (zh)
JP (2) JP5007012B2 (zh)
KR (2) KR100908830B1 (zh)
CN (2) CN1848956B (zh)
AU (1) AU2001260295A1 (zh)
BR (1) BR0110493A (zh)
CA (1) CA2408726C (zh)
EE (1) EE05595B1 (zh)
GB (1) GB2362533A (zh)
HK (1) HK1096517A1 (zh)
HU (1) HUP0301969A3 (zh)
MX (1) MXPA02011211A (zh)
SG (1) SG147299A1 (zh)
WO (1) WO2001089228A1 (zh)
ZA (1) ZA200208742B (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
US7751473B2 (en) * 2000-05-15 2010-07-06 Nokia Corporation Video coding
US7039117B2 (en) * 2001-08-16 2006-05-02 Sony Corporation Error concealment of video data using texture data recovery
US6977659B2 (en) 2001-10-11 2005-12-20 At & T Corp. Texture replacement in video sequences and images
US7610358B2 (en) * 2001-11-26 2009-10-27 Time Warner Cable System and method for effectively presenting multimedia information materials
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7606435B1 (en) 2002-02-21 2009-10-20 At&T Intellectual Property Ii, L.P. System and method for encoding and decoding using texture replacement
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
AU2003281127B2 (en) * 2002-07-15 2009-04-02 Nokia Technologies Oy Method for error concealment in video sequences
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7627042B2 (en) * 2003-01-23 2009-12-01 Ittiam Systems (P) Ltd. System, method, and apparatus for error recovery in coded video signals
US8705613B2 (en) * 2003-06-26 2014-04-22 Sony Corporation Adaptive joint source channel coding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7394855B2 (en) * 2003-11-20 2008-07-01 Mitsubishi Electric Research Laboratories, Inc. Error concealing decoding method of intra-frames of compressed videos
KR100556911B1 (ko) * 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
US8582640B2 (en) * 2003-12-16 2013-11-12 Sony Corporation Adaptive joint source channel coding
EP1719347A1 (en) * 2004-02-27 2006-11-08 THOMSON Licensing Error concealment technique using weighted prediction
US8010652B2 (en) * 2004-05-07 2011-08-30 Nokia Corporation Refined quality feedback in streaming services
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
GB0500332D0 (en) * 2005-01-08 2005-02-16 Univ Bristol Enhanced error concealment
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
JP2006270435A (ja) * 2005-03-23 2006-10-05 Toshiba Corp 動画像符号化装置
US7660354B2 (en) * 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
EP1949700A2 (en) * 2005-09-26 2008-07-30 Koninklijke Philips Electronics N.V. Coding/decoding method and apparatus for improving video error concealment
FR2894739A1 (fr) * 2005-12-12 2007-06-15 Thomson Licensing Sa Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video
KR100728587B1 (ko) * 2006-01-05 2007-06-14 건국대학교 산학협력단 하이브리드 에러 은닉 방법
US8605797B2 (en) * 2006-02-15 2013-12-10 Samsung Electronics Co., Ltd. Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium
KR20080008137A (ko) * 2006-07-19 2008-01-23 삼성전자주식회사 영상 복원 장치 및 방법
CN102752597A (zh) * 2006-08-28 2012-10-24 汤姆森许可贸易公司 用于确定解码视频块中的期望失真的方法及设备
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US8619874B2 (en) * 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
JP2008283253A (ja) * 2007-05-08 2008-11-20 Sharp Corp 画像伝送システム、画像符号化装置、画像復号装置
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8842739B2 (en) * 2007-07-20 2014-09-23 Samsung Electronics Co., Ltd. Method and system for communication of uncompressed video information in wireless systems
CN101779471B (zh) * 2007-08-15 2013-07-10 汤姆森许可贸易公司 在多视图编码的视频中进行错误隐藏的方法和装置
US8243823B2 (en) * 2007-08-29 2012-08-14 Samsung Electronics Co., Ltd. Method and system for wireless communication of uncompressed video information
US8638844B2 (en) * 2008-07-01 2014-01-28 Mediatek Inc. Method and apparatus for storing decoded moving pictures with a reduced memory requirement
FR2934453B1 (fr) * 2008-07-22 2010-10-15 Canon Kk Procede et dispositif de masquage d'erreurs
KR101590633B1 (ko) * 2008-11-11 2016-02-02 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
US20100195742A1 (en) * 2009-02-02 2010-08-05 Mediatek Inc. Error concealment method and apparatus
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US9369759B2 (en) 2009-04-15 2016-06-14 Samsung Electronics Co., Ltd. Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
CN101931819B (zh) * 2009-06-26 2012-12-26 宏碁股份有限公司 时间性错误隐藏方法
KR101681589B1 (ko) 2010-07-27 2016-12-01 엘지전자 주식회사 영상 처리 장치 및 그 방법
US9432704B2 (en) * 2011-11-06 2016-08-30 Akamai Technologies Inc. Segmented parallel encoding with frame-aware, variable-size chunking
WO2014001605A1 (en) * 2012-06-28 2014-01-03 Ant-Advanced Network Technologies Oy Processing and error concealment of digital signals
WO2015006380A1 (en) 2013-07-08 2015-01-15 Hughes Network Systems, Llc System and method for iterative compensation for linear and nonlinear interference in system employing ftn symbol transmission rates
EP3055962B1 (en) 2013-10-08 2018-12-05 Hughes Network Systems, LLC System and method for pre-distortion and iterative compensation for nonlinear distortion in system employing ftn symbol transmission rates
US9485456B2 (en) 2013-12-30 2016-11-01 Akamai Technologies, Inc. Frame-rate conversion in a distributed computing system
US9246717B2 (en) 2014-06-30 2016-01-26 Hughes Network Systems, Llc Optimized receivers for faster than nyquist (FTN) transmission rates in high spectral efficiency satellite systems
CN110366033B (zh) * 2019-07-17 2021-10-22 腾讯科技（深圳）有限公司 一种视频播放方法、装置、设备及存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6123780A (ja) * 1984-07-12 1986-02-01 Kureha Chem Ind Co Ltd 塩化アルカリ電解用酸素陰極及びその製造方法
FR2613892A1 (fr) 1987-04-10 1988-10-14 Labo Electronique Physique Procede et dispositif d'estimation de mouvement dans une sequence d'images
US4972261A (en) 1987-08-28 1990-11-20 The General Electric Company, P.L.C. Motion compensation image signal encoding system
KR0125581B1 (ko) * 1991-07-24 1998-07-01 구자홍 디지탈 영상신호의 에러수정 시스템
JP3200108B2 (ja) * 1991-10-04 2001-08-20 キヤノン株式会社 画像処理方法及び装置
JP2565057B2 (ja) * 1992-06-30 1996-12-18 日本ビクター株式会社 フレ−ム間又はフィ−ルド間予測符号化方法
US5589994A (en) * 1992-08-21 1996-12-31 Mitsubishi Denki Kabushiki Kaisha Image recording method and apparatus with reduced error propagation
FR2696026B1 (fr) * 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
US5532837A (en) * 1992-12-18 1996-07-02 Matsushita Electric Industrial Co., Ltd. Digital video signal processing apparatus
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
JP3519441B2 (ja) * 1993-02-26 2004-04-12 株式会社東芝 動画像伝送装置
CA2114052A1 (en) * 1993-07-29 1995-01-30 Monica Medina-Puri Method of detecting scene cuts
US6350493B1 (en) * 1994-03-01 2002-02-26 Lockheed Martin Corporation Method of dispersing fibers in electromagnetic-attenuating coating materials
GB2293293B (en) 1994-09-15 1998-10-21 Northern Telecom Ltd Interactive video system
KR100215428B1 (ko) * 1995-01-23 1999-08-16 윤종용 B픽처의에러은폐방법
US5778191A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for error control of a macroblock-based video compression technique
US6002802A (en) * 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
GB9600804D0 (en) * 1996-01-17 1996-03-20 Robb Garry D Multiphone
US6041345A (en) * 1996-03-08 2000-03-21 Microsoft Corporation Active stream format for holding multiple media streams
GB2349032B (en) * 1996-09-12 2001-01-31 Pandora Int Ltd Digital image processing
US5978509A (en) * 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
CA2190785A1 (en) * 1996-11-20 1998-05-20 Nael Hirzalla Method of processing a video stream
KR100196840B1 (ko) 1996-12-27 1999-06-15 전주범 영상복호화시스템에 있어서 비트에러복원장치
JP3780623B2 (ja) * 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
GB2326300B (en) * 1997-06-10 2001-11-21 Sony Uk Ltd Concealing errors
EP0925688B1 (en) * 1997-07-16 2004-12-15 Koninklijke Philips Electronics N.V. Video coding method and device, and corresponding decoding device
KR100487988B1 (ko) * 1997-10-23 2005-05-09 미쓰비시덴키 가부시키가이샤 부호화 비트 스트림 변환 장치
JP2001507908A (ja) * 1997-11-07 2001-06-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンスの符号化
CN1144470C (zh) * 1997-12-01 2004-03-31 三星电子株式会社 编码视频信息时表示编码的方法
WO1999043163A2 (en) * 1998-02-20 1999-08-26 Koninklijke Philips Electronics N.V. Method and device for coding a sequence of pictures
US6438165B2 (en) * 1998-03-09 2002-08-20 Lg Electronics Method and apparatus for advanced encoder system
US6351493B1 (en) * 1998-06-30 2002-02-26 Compaq Computer Corporation Coding an intra-frame upon detecting a scene change in a video sequence
JP3480816B2 (ja) * 1998-11-09 2003-12-22 株式会社東芝 マルチメディア通信端末装置およびマルチメディア通信システム
KR100388802B1 (ko) * 1998-11-16 2003-10-22 엘지전자 주식회사 오류은폐장치및방법
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
US6714724B1 (en) * 1999-08-05 2004-03-30 Bradley Steven Cook Portable device for capturing image and sound data including compact memory and board arrangement
JP3630590B2 (ja) * 1999-08-25 2005-03-16 沖電気工業株式会社 復号化装置及び伝送システム
US6671319B1 (en) * 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
US6661927B1 (en) * 2000-07-27 2003-12-09 Motorola, Inc. System and method for efficiently encoding an image by prioritizing groups of spatially correlated coefficients based on an activity measure
US8693540B2 (en) * 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame

Also Published As

Publication number Publication date
CN1848956B (zh) 2011-09-07
HK1096517A1 (en) 2007-06-01
CN1848956A (zh) 2006-10-18
EP1293096A2 (en) 2003-03-19
GB0011639D0 (en) 2000-07-05
US20070189398A1 (en) 2007-08-16
MXPA02011211A (es) 2003-03-10
KR20060060065A (ko) 2006-06-02
JP5007322B2 (ja) 2012-08-22
HUP0301969A2 (hu) 2003-09-29
JP2009284518A (ja) 2009-12-03
JP2003533954A (ja) 2003-11-11
SG147299A1 (en) 2008-11-28
JP5007012B2 (ja) 2012-08-22
CA2408726C (en) 2011-02-08
WO2001089228A1 (en) 2001-11-22
KR100931873B1 (ko) 2009-12-15
WO2001089228A8 (en) 2002-02-07
BR0110493A (pt) 2003-04-08
GB2362533A (en) 2001-11-21
KR100908830B1 (ko) 2009-07-21
US20080267299A1 (en) 2008-10-30
AU2001260295A1 (en) 2001-11-26
US7400684B2 (en) 2008-07-15
EE05595B1 (et) 2012-10-15
CA2408726A1 (en) 2001-11-22
HUP0301969A3 (en) 2005-11-28
US20010040926A1 (en) 2001-11-15
KR20030011331A (ko) 2003-02-07
ZA200208742B (en) 2004-02-19
CN1440624A (zh) 2003-09-03
EE200200643A (et) 2004-06-15

Similar Documents

Publication Publication Date Title
CN1258928C (zh) 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器
CN1193622C (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置
CN1242623C (zh) 视频编码方法、解码方法以及相关的编码器和解码器
KR100950720B1 (ko) 규모가변성 비디오 부호화에서 부호화 의존성 지시
JP5072996B2 (ja) 三次元ビデオ符号化に関するシステム及び方法
CN100388796C (zh) 视频信号编解码方法、编解码器及其相关的设备
KR101091792B1 (ko) 피드백 기반 스케일러블 비디오 코딩
US20060153294A1 (en) Inter-layer coefficient coding for scalable video coding
CN1361991A (zh) 视频编码
CN1640151A (zh) 用于可缩放视频码流的增强层的容错方法
EP1227684A2 (en) Encoding of video signals
US20040156433A1 (en) Motion compensation for fine-grain scalable video
KR20050089454A (ko) 동영상 복호화 시 에러 은닉 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SISWELL INTERNATIONAL LTD.

Free format text: FORMER OWNER: NOKIA LTD.

Effective date: 20121113

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20121113

Address after: Luxemburg Luxemburg

Patentee after: Sith International Ltd

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060607

Termination date: 20200511