CN1484921A - 视频传输时在比特流之间的切换 - Google Patents

视频传输时在比特流之间的切换 Download PDF

Info

Publication number
CN1484921A
CN1484921A CNA028034414A CN02803441A CN1484921A CN 1484921 A CN1484921 A CN 1484921A CN A028034414 A CNA028034414 A CN A028034414A CN 02803441 A CN02803441 A CN 02803441A CN 1484921 A CN1484921 A CN 1484921A
Authority
CN
China
Prior art keywords
frame
bit stream
video
prediction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028034414A
Other languages
English (en)
Other versions
CN1225125C (zh
Inventor
Mά
M·卡策维茨
R·库尔塞伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/827,796 external-priority patent/US20020122491A1/en
Priority claimed from US09/883,887 external-priority patent/US6765963B2/en
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1484921A publication Critical patent/CN1484921A/zh
Application granted granted Critical
Publication of CN1225125C publication Critical patent/CN1225125C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及用于发送视频信息的方法，在视频信息中至少形成第一比特流(510)和第二比特流。第一比特流(510)包括至少一个视频帧，以及第二比特流(520)包括至少一个预测的视频帧(524)。至少部分不同的编码参量被使用于编码所述第一比特流(510)和所述第二比特流(520)的帧。所述第一比特流(510)的至少一个帧被发送，以及传输从所述第一比特流(510)被切换到所述第二比特流(520)。在把传输从所述第一比特流(510)切换到所述第二比特流(520)时，二次切换帧(550)被发送，二次切换帧(550)通过使用第二比特流(520)的编码参量和来自第一比特流(510)的至少一个参考帧而被编码。所述二次切换帧(550)在重建第二组视频帧的所述至少一个预测的视频帧(524)时作为参考帧被使用。本发明还涉及用于编码视频信息的编码器、用于解码视频信息的解码器、和表示已编码的视频信息的信号。

Description

视频传输时在比特流之间的切换
本发明涉及用于发送视频信息的方法，其中至少第一比特流和第二比特流由视频信息形成，第一比特流包括第一组帧，它包括至少一个视频帧，以及第二比特流包括第二组帧，它包括至少一个预测的视频帧，至少部分不同的编码参量被使用于编码所述第一比特流和所述第二比特流的帧，所述第一比特流的至少一个帧被发送，以及传输从所述第一比特流切换到所述第二比特流。本发明也涉及编码器，包括：用于从视频信息形成至少第一比特流和第二比特流的装置，第一比特流包括第一组帧，它包括至少一个视频帧，以及第二比特流包括第二组帧，它包括至少一个预测的视频帧；用于使用至少部分不同的编码参量用于编码所述第一比特流和所述第二比特流的帧的装置；用于发送所述第一比特流的至少一个帧的装置；以及用于把传输从所述第一比特流切换到所述第二比特流的装置。本发明还涉及用于从包括由视频信息形成的至少第一比特流和第二比特流的帧的信号解码视频信息的解码器，第一比特流包括第一组帧，它包括至少一个视频帧，以及第二比特流包括第二组帧，它包括至少一个预测的视频帧，至少部分不同的编码参量被使用于编码所述第一比特流和所述第二比特流的帧。本发明还涉及表示已编码的视频信息的并包括由视频信息形成的至少第一比特流和第二比特流的帧的信号，第一比特流包括第一组帧，它包括至少一个视频帧，以及第二比特流包括第二组帧，它包括至少一个预测的视频帧，至少部分不同的编码参量被使用于编码所述第一比特流和所述第二比特流的帧。
发明背景
最近，包括以数据流的形式出现的音频和视频信息的多媒体应用得到很大的使用。几个国际标准化组织建立和提出用于压缩/编码和解压缩/解码音频与视频信息的标准。由活动图象专家组建立的MPEG标准是在多媒体应用领域中被最广泛接受的国际标准。VCEG是在ITU电信标准化组(ITU-T)引导下工作的“视频编码专家组”。这个组致力于用于活动图象的编码的标准H.26L。
典型的视频流包括一个图象序列，常常被称为帧。这些帧包括被安排成长方形形式的象素。在现有的视频编码标准中，诸如H.261，H.262，H.263，H.26L和MPEG-4，规定了三种主要类型的图象：内部帧(I帧)，预测的帧(P帧)和双向帧(B帧)。每种图象类型利用图象序列中的不同类型的冗余度，因此导致不同程度的压缩效率，正如下面说明的，在已编码的视频序列内提供不同的功能。内部帧是通过只利用在帧本身内的象素的空间相关性，而不使用来自过去的或将来的帧的任何信息，进行编码的视频数据的帧。内部帧被用作解码/解压缩其他帧的基础，以及提供对于编码的序列的访问点，由此可开始进行解码。
预测帧是从所谓的参考帧(即，在编码器或解码器中可得到的、一个或多个先前的/以后的内部帧或预测帧)通过使用运动补偿预测被编码/压缩的帧。双向帧是从先前的内部帧或预测帧和/或以后的内部帧或预测帧通过预测而被编码/压缩的帧。
由于在典型的视频序列中相邻的帧是高度相关的，所以当使用双向帧或预测帧而不是内部帧时可达到更高的压缩。另一方面，当在编码的视频流内采用时间预测编码时，B帧和/或P帧在没有正确地解码被使用于编码双向帧和预测帧的所有其他的先前的和/或以后的参考帧的情形下不能被解码。由于传输期间的错误或由于在发送端的某些故意的行动，在编码器中使用的参考帧和在解码器中使用的相应的参考帧是不同的情形下，利用从这样的参考帧进行的预测的以后的帧在解码端不能被重建来产生与原先在编码端编码的帧相同的解码的帧。这种误匹配不仅仅限于单个帧，而且还由于使用运动补偿编码而随时传播。
图1A-1C显示在典型的视频编码/解码系统中使用的、编码/压缩视频帧的类型。有利地，在编码之前，视频序列的图象由多个比特数的这些矩阵来表示，一个矩阵表示图象象素的亮度(发光度)，另两个，每个表示两个色度(彩色)分量的各个分量。图1A显示内部帧200只使用该帧本身所存在的图象信息被编码的方式。图1B显示预测帧210的结构。箭头205a表示使用运动补偿预测来创建P帧210。图1C显示双向帧220的结构。B帧通常被插在I帧与P帧之间。图2按显示次序表示一组图象，并显示B帧是如何插入在I帧与P帧之间的，以及显示运动补偿信息流动的方向。在图1B、1C和2上，箭头205a显示对于重建P帧210所必须的前向运动补偿预测信息，而箭头215a和215b显示在重建B帧220时使用的、在前向(215a)和后向(215b)的运动补偿信息。换句话说，箭头205a和215a表示当预测帧从显示次序上比起正在被重建的帧更早的那些帧中被预测时的信息流，以及箭头215b表示当预测帧从显示次序上比起正在被重建的帧更迟的那些帧中被预测时的信息流。
在运动补偿预测时，在视频序列中接连的帧之间的相似性被利用来提高编码效率。更具体地，所谓的运动矢量被使用来描述象素或象素区域在序列的接连的帧之间移动的方式。运动矢量提供偏移值和误差数据，它们指的是具有解码的象素值的视频数据的过去的或将来的帧，解码的象素值结合误差数据一起可被使用来压缩/编码或解压缩/解码视频数据的给定的帧。
解码/解压缩P帧的能力需要先前的I或P参考帧的可得到性，而且，为了解码B帧，也需要以后的I或P参考帧的可得到性。例如，如果编码/压缩的数据流具有以下的帧序列或显示次序：
I1B2B3P4B5P6B7P8B9B10P11...Pn-3Bn-2Pn-1In，
则相应的解码次序为：
I1P4B2B3P6B5P8B7P11B9B10...Pn-1Bn-2In.
因为B帧需要将来的I或P帧用于它们的解码，所以解码次序不同于显示次序。图2显示上述帧序列的开始，以及可被参考，以便了解如上所述的、帧的依赖性。P帧需要先前的I或P参考帧是可得到的。例如，为了被解码，P4需要I1。同样地，帧P6需要P4是可得到的，以便解码/解压缩帧P6。为了被解码，B帧，诸如帧B3，需要过去的和/或将来的I或P参考帧，诸如P4和I1。在编码期间，B帧是在I或P帧之间的帧。
图3和4显示用于编码和解码的现有技术系统。参考图3的编码器300，正在被编码的帧301，I(x，y)，被称为当前帧，被划分成kxL象素的长方形区域。坐标(x，y)表示象素在帧内的位置。每个块通过使用内部编码法(即，只使用块内的图象数据的空间相关)或帧间编码法(即，利用空间和时间预测)而被编码。以下的说明考虑形成帧间编码的块的处理过程。每个帧间编码的块通过在帧存储器350中的先前(或以后)编码的和发送的帧R(x，y)之一(被称为参考帧)被预测360。被使用于预测的运动信息通过使用参考帧和当前帧305从运动估值和编码块370得出。运动信息用二维运动矢量(Δx，Δy)表示，其中Δx是水平位移和Δy是垂直位移。在运动补偿(MC)预测块中，运动矢量连同参考帧一起被使用来建立预测帧P(x，y)：
P(x，y)＝R(x+Δx，y+Δy)
随后，按照下式，307计算预测误差E(x，y)，即，在当前帧与预测帧P(x，y)之间的差值：
E(x，y)＝I(x，y)-P(x，y)
在变换块310中，对于每个KxL块的预测误差被表示为变换基函数fij(x，y)的加权和，
E ( x , y ) = Σ i = 1 K Σ j = 1 L c err ( i , j ) f ij ( x , y )
相应于基函数的权因子cerr(i，j)被称为变换系数。这些系数随后在量化块320中被量化，给出：
Ierr(i，j)＝Q(cerr(i，j)，QP)
其中Ierr(i，j)是量化的变换系数。量化运算Q()引入信息丢失，但量化的系数可以用较小数目的比特来表示。压缩(信息丢失)的水平是通过调节量化参量值QP而被控制的。
在运动矢量和量化的变换系数被加到复接器380之前，它们还通过使用可变长度代码(VLC)被编码。这减小为了表示运动矢量和量化的变换系数所需要的比特数目。编码的运动矢量、量化的变换系数、以及为了表示每个编码的帧所需要的其他附加信息在复接器380中被复接，以及最终得到的比特流被发送415到解码器。量化的变换系数也被转发到逆量化块330，以得出逆量化的变换系数，以及还被转发到逆变换块340，以得出对于当前帧的预测误差信息Ec(x，y)。预测误差信息Ec(x，y)在相加单元中被加到预测帧P(x，y)上，以得出视频帧，随后它可被存储在帧存储器350中。
下面，参照图4描述解码视频帧。解码器400接收来自编码器的复接视频比特流415，以及分接器410分接比特流，以得出要被解码的视频帧的组成部分。这些部分至少包括编码的量化的预测误差变换系数和编码的运动矢量，随后对它们进行解码(未示出)，以得出量化的预测误差变换系数和运动矢量。量化的变换系数在逆量化块420中按照以下的关系式被逆量化，以得出逆量化的变换系数derr(i，j)：
derr(i，j)＝Q-1(Ierr(i，j)，QP)
在逆变换块430中，逆量化的变换系数受到逆变换，以得出预测误差Ec(x，y)：
E c ( x , y ) = Σ i = 1 K Σ j = 1 L c err ( i , j ) f ij ( x , y )
当前编码的帧的象素是通过在从帧存储器440中得出的参考帧R(x，y)中找出预测的象素和在运动补偿预测块450中使用接收的运动矢量连同参考帧而被重建的，以得出预测的帧P(x，y)。预测的帧P(x，y)和预测的误差信息Ec(x，y)在相加单元4 35中按照以下的公式被相加在一起：
Ic(x，y)＝ R(x+Δx，y+Δy)+Ec(x，y)
这些数值Ic(x，y)还可被滤波，以得出解码的视频帧445。数值Ic(x，y)被存储在帧缓存器440。重建的数值Ic(x，y)可以在相加块435以后的滤波块(图4上未示出)中被滤波。
视频流在固定的互联网中已显露为重要的应用。还预期视频流在当前及不久的将来在3G无线网中也是重要的。在数据流应用中，发送服务器根据来自接收机的请求通过传输网开始发送预编码的视频比特流。接收机在接收视频流的同时重放该视频流。当前网络的竭尽全力的性质引起由于改变网络的条件而改变对于用户可提供的有效带宽。为了包容这些变化，发送的服务器可以缩放压缩的视频的比特速率。在特征为实时编码和点对点传递的对话式业务的情形下，这可以通过在传输过程中调节源编码参量而达到。这样的可调节的参量可以是例如量化参量或帧的速率。有利地，调节是基于来自传输网的反馈。在典型的数据流，当先前编码的视频比特流要被发送到接收机时，不能应用以上的解决方案。
在预编码的序列的情形下，达到带宽可缩放性的一个解决方案是产生具有不同的比特速率和质量的多个独立的流。发送服务器然后在流之间动态地切换，以便包容可提供的带宽的变化。以下的例子显示这个原理。我们假设，多个比特流用相应于同一个视频序列的不同的编码参量，诸如量化参量，被独立地生成。令{P1，n-1，P1，n，P1，n+1}和{P2，n-1，P2，n，P2，n+1}分别表示来自比特流1和2的解码帧的序列。由于编码的参量对于两个比特流是不同的，故在同一个时刻从它们重建的帧，例如帧P1，n-1和P2，n-1，是不同的。如果现在假设服务器初始地发送来自比特流1的编码帧，直到时间n，在该时间后，它开始发送来自比特流2的编码帧，解码器接收帧{P1，n-2，P1，n-1，P2，n，P2、n+1，P2，n+2}。在这种情形下，P2，n不能正确地被解码，因为没有接收到它的参考帧P2，n-1。另一方面，代替P2，n-1，被接收的帧P1，n-1不同于P2，n-1。所以，由于在不同的序列中被使用于运动补偿预测的参考帧之间的误匹配，在任意位置在比特流之间的切换导致视觉人工产物。这些视觉人工产物不仅仅限于在比特流之间的切换点处的帧，而且由于在视频序列的其余部分中连续的运动补偿编码而随时传播。
在当前的视频编码标准中，在比特流之间的完美的(无误匹配的)切换只在当前的和将来的帧或帧的区域不使用在当前的切换的位置以前的任何信息的位置处，即在I帧处，才是可能的。而且，通过在固定的(例如，1秒)间隔内放置I帧，可达到用于流动的视频内容的VCR功能，诸如随机访问或“快速前进”和“快速后退”(提高的重放速率)。用户可跳过一部分视频序列和在任何的I帧位置处重新开始重放。同样地，通过只发送I帧可以达到提高的重放速率。在这些应用中使用I帧的缺点是，由于I帧没有利用任何时间冗余性，在相同的质量下，它们比起P帧来说需要大得多的数目的比特。
发明概要
本发明的目的是提供用于在可变的传输环境下发送视频图象的新的方法和系统。本发明是基于这样的概念：通过形成新的类型的压缩的视频帧和在允许进行从一个比特流到另一个比特流的切换的位置处把该新的类型的帧插入到视频比特流，而使得在视频流之间能够进行正确的(无误匹配的)切换。在本说明中，新的类型的压缩的视频帧总的被称为S帧。更具体地，S帧可被分类为：SP帧，它是在解码器处从使用运动矢量信息被解码的帧利用运动补偿预测而被形成的；以及SI帧，它是在解码器处从正在被解码的帧内的已被解码的相邻的象素利用空间(内部的)预测与被形成的。通常，按照本发明的S帧以逐个块的原则被形成，它可包括帧间编码的(SP)块以及帧内编码的(SI)块。按照本发明的方法的主要特征在于在把传输从所述第一比特流切换到所述第二比特流时，二次比特流至少包括一个一次切换帧，二次切换帧被发送，二次切换帧通过使用第二比特流的编码参量和来自第一比特流的至少一个参考帧而被编码，以及所述二次切换帧代替一次切换帧被用作在重建第二组视频帧的所述至少一个预测的视频帧时要被使用的参考帧。按照本发明的编码器的主要特征在于，用于把传输从所述第一比特流切换到所述第二比特流的装置包括用于通过使用第二比特流的编码参量和来自第一比特流的参考帧编码二次切换帧的装置，以使得能够把传输从所述第一比特流切换到所述第二比特流。按照本发明的解码器的主要特征在于，解码器包括用于解码二次切换帧的装置，所述二次切换帧通过使用第二比特流的编码参量和来自第一比特流的至少一个参考帧而被编码，以及代替一次切换帧作为在重建第二组视频帧的所述至少一个预测的视频帧时要被使用的参考帧被加到信号上，以及所述用于解码二次切换帧的装置包括用于使用第二比特流的解码参量和来自第一比特流的参考帧的装置。按照本发明的信号的主要特征在于，在把传输从所述第一比特流切换到所述第二比特流时，二次比特流至少包括一个一次切换帧，所述信号包括二次切换帧，它通过使用第二比特流的编码参量和来自第一比特流的至少一个参考帧而被编码，以及所述二次切换帧是代替一次切换帧被用作在重建第二组视频帧的所述至少一个预测的视频帧时要被使用的参考帧。
比起现有技术的方法和系统，通过本发明得到很多优点。本发明允许比特流之间的切换不单在I帧的位置上发生，也在SP帧的位置上发生。SP帧的编码效率比起典型的I帧的编码效率高得多，其中在按照现有技术使用I帧的位置上只需要较小的带宽来发送具有SP帧的比特流，而对于改变的传输条件仍旧提供足够的适配性。从一个比特流到另一个比特流的切换，可以在按照本发明的SP帧被放置在编码的比特流中的位置上被执行。由解码器从比特流重建的图象并不会由于从一个比特流改变到另一个比特流而恶化。本发明也具有这样的优点：可以在比特流上执行随机访问、快速前进和快速倒带操作。按照本发明的系统，比起所描述的现有技术解决方案，提供改进的错误矫正和弹回(resiliency)性质。
当结合附图参照以下的说明时将会明白本发明的实施例的这些和其他特性、方面、和优点。然而，应当看到，所设计的附图仅仅用于说明的目的，而不是用来规定本发明范围，关于本发明的范围应当参考附属权利要求。
附图简述
下面将参照附图更详细地描述本发明，其中
图1A-1C和2是显示现有技术的视频帧的编码/压缩的图，
图3是通用运动补偿预测视频编码系统(编码器)的方框图，
图4是通用运动补偿预测视频编码系统(解码器)的方框图，
图5是显示使用按照本发明的S帧，在两个不同的比特流之间进行切换的图，
图6是按照本发明的有利的实施例的解码器的方框图，
图7是使用S帧的随机访问的图，
图8是使用S帧的快速前进过程的图，
图9是按照本发明的另一个有利的实施例的解码器的方框图，
图10是按照本发明的再一个有利的实施例的解码器的方框图，
图11是按照本发明的有利的实施例的编码器的方框图，
图12是按照本发明的另一个有利的实施例的解码器的方框图，
图13是按照本发明的第二实施例的编码器的方框图，
图14是使用SP帧的错误弹回/校正处理过程的图，
图15是按照本发明的第三有利实施例的编码器的方框图，
图16是按照本发明的再一个有利的实施例的解码器的方框图。
发明详细描述
下面在其中多个比特流是由视频信号组成的一个系统中描述本发明。视频信号可以是包括多个图象(即图象序列)的任何数字视频信号。数字视频信号在编码器中被编码，以形成多个比特流。每个比特流从同一个视频信号通过使用至少部分地不同的编码参量被编码。例如，通过不同地选择编码参量，可以改变比特速率，这样，可以形成具有不同比特速率的比特。流编码参量可以是，例如帧的速率、量化参量、空间分辨率、或本领域技术人员已知的、影响图象尺寸的其他因素。编码器也把至少一个内部帧插入到每个比特流。典型地，每个比特流的至少第一帧优选地是内部帧。这使得解码器能够开始重建视频信号，在编码I帧、P帧和B帧时使用的编码器可以是任何现有技术的编码器，它执行视频信号的编码，或可以存在有一个以上的现有技术编码器，每个使用不同地编码参量来形成多个比特流。然而，为了编码也包含按照本发明的SP帧和/或SI帧的视频信号，在编码器中需要新的功能。这将在后面更详细地说明。
编码器也把通过使用运动补偿预测编码法被编码的帧(P帧和可任选地B帧)插入到比特流。编码器也把新的类型的帧(在本说明中称为S帧)在按照本发明允许在不同的比特流之间进行切换的位置处插入到每个比特流。S帧可以在现有技术方法中插入帧内编码的帧的位置处被使用，或在视频序列中除了使用帧内编码的帧以外，也可以使用S帧。有利地，不同的比特流被存储在贮存装置中，供以后使用。然而，也有可能传输可以紧接在编码后立即进行，其中不必存储完整的视频序列，只要存储必须的参考帧就够了。编码的视频流的传输可由例如发送服务器来执行，该发送服务器具有用于检索要被发送的、被存储的比特流的装置，和/或用于直接从编码器接收比特流的装置。发送服务器也具有用于把比特流发送到传输网(未示出)的装置。
下面，将描述按照本发明的有利的实施例的方法。图5显示在编码器中形成的、第一比特流510的一部分和第二比特流520的一部分。仅仅显示各个比特流的几个P帧。具体地，第一比特流510被显示为包括P帧511、512、514和515，而第二比特流520包括相应的P帧521、522、524和525。第一比特流510和第二比特流520也包括在相应的位置处的S帧513(也被标记为S1)、523(也被标记为S2)。假设两个比特流510和520相应于通过使用不同的帧的速率、不同的空间分辨率或不同的量化参量以不同的比特速率被编码的同一个序列。还假设第一比特流510通过传输网从发送服务器发送到解码器600、1200、1300(分别为图6、12和13)以及发送服务器接收来自传输网的、关于改变正在被发送的视频流的比特速率的请求。
如上所述，S帧在编码期间被放置在比特流中的、其中允许进行从一个比特流切换到另一个比特流的、视频序列内的那些位置处。正如可以从图5看到的，在本发明的有利实施例中，另一个S帧550(也被标记为S12)与S帧S1和S2有关。这个S帧被称为S帧的二次表示(或简称为二次S帧)，它只在比特流切换期间被发送。这个二次S帧S12是通过对于视频序列中第n帧使用第二比特流520中相应的S帧523(S2)的编码参量和使用来自第一比特流510中第n帧的参考帧的运动补偿预测来进行特殊的编码而生成的。应当指出，在图5所示的情形下，S帧S2使用来自第二比特流520的先前重建的帧作为参考帧，以及二次S帧S12使用来自第一比特流510的先前重建的帧作为参考帧。然而，S1和S12被重建的象素数值是相同的。S帧S12只在实际上进行从第一比特流510到第二比特流520的切换时才被发送。所以，在编码阶段期间不必形成二次S帧而只在进行切换时才形成二次S帧。另一方面，在比起不同的比特流被形成的时间更早地形成至少某些二次S帧，以便减小在传输期间的计算负荷，可能是有用的。
当发送服务器达到在第一比特流510中被编码为S帧513(S1)的视频序列的帧时，它可以开始进行必要的操作，通过使用第二比特流520的编码的帧继续发送视频流。在这时，发送服务器已发送来自第一比特流510的P帧511和512，以及解码器600、1200、1300已接收和解码各个P帧511、512。因此，这些帧被存储在解码器600、1200、1300的帧存储器640、1250、1360。帧存储器640、1250、1360包括足够的存储器来存储所有这些帧，它们是对于重建P帧或B帧所需要的，即，对于要被重建的当前的帧所需要的所有的参考帧的必要的信息。
发送服务器执行以下操作，以使用第二比特流520的编码的帧继续发送视频流。发送服务器通过检查帧的类型信息而注意到，要被发送的当前的帧是S帧，这样，有可能在比特流之间进行切换。当然，只在接收到要进行切换的请求或由其他原因有需要执行切换时才执行切换。发送服务器输入第二比特流的相应的S帧523，使用它形成二次S帧550(S12)，以及把二次S帧(S12)发送到解码器600、1200、1300。发送服务器不发送第二比特流的S帧S2，但在它的位置处发送二次S帧550(S12)。二次S帧是这样形成的：通过解码二次S帧S12，解码器600可重建等同于在使用第二比特流520的各个帧521、522和S帧523时将产生的图象的图象。在发送二次S帧以后，发送服务器继续发送第二比特流520中的编码帧，即，524、525、等等。
S帧513，523，550可包括只使用在象素之间的空间相关(块内的)被编码的块以及使用空间和时间相关(块间的)被编码的块。对于每个块间，这个块的预测，P(x，y)，在解码器600、1200、1300中通过使用接收的运动矢量和参考帧被形成。计算和量化相应于基函数fij(x，y)的、对于P(x，y)的变换系数cpred。变换系数cpred的量化的数值被表示为Iperd，以及量化的变换系数Ipred的去量化的数值被表示为dpred。对于预测误差的量化的系数Ierr是从编码器接收的。这些系数的去量化的数值将被表示为derr。在块间的每个象素S(x，y)的数值被解码为基函数fij(x，y)的加权的和值，其中加权值drec将被称为去量化的重建图象系数。drec的数值必须是使得存在有系数crec，并通过量化和去量化从这个系数crec可得出drec。另外，数值drec必须满足以下的条件之一：
drec＝dpred+derr，或
crec＝cpred+derr。
数值S(x，y)可进一步被归一化和被滤波。
接着，描述被放置在比特流内的S帧的编码，例如S帧513(S1)和523(S2)。
通常，按照本发明的S帧，诸如图5的帧513、523，是按逐块的原则被构建的。正如先前说明的，每个块可以以利用正在被编码的图象(内部的或SI块)的象素之间的空间相关性的方式被编码或可以以利用在视频序列的相继的帧中象素的块(帧间的或SP块)之间的时间相关性的方式被编码。
下面参照图11描述按照本发明的S帧的编码，图11是按照本发明的第一实施例的S帧编码器1100的方框图。
要以S帧格式被编码的视频帧首先被划分成块，然后把每个块编码为SP块、SI块、或内部块，内部块就是现有技术中通常所说的。开关1190适合于用来在SI与SP编码模式之间进行切换，即，开关1190是在本发明的说明中使用的一种结构，而不一定是实际装置。在SP编码模式中，开关1190用来得到当前块1170的运动补偿预测。运动补偿预测块1170以类似于现有技术中已知的运动补偿预测中使用的方式形成对于正在被编码的帧的当前的块的预测P(x，y)。更具体地，运动补偿预测块1170通过确定描述在当前的块中的象素与被保持在帧存储器1146中的重建的参考帧的象素数值之间的关系的运动矢量而形成对于正在被编码的帧的当前块的预测P(x，y)。
在SI编码模式中，开关1190用来从内部预测的块1180得出对于正在被编码的帧的当前的块的预测。内部预测块1180以类似于现有技术中已知的内部预测中使用的方式形成对于正在被编码的帧的当前块的预测P(x，y)。更具体地，内部预测块1180通过使用空间预测从正在被编码的帧内的已编码的相邻的象素形成对于正在被编码的帧的当前块的预测P(x，y)。
在SP与SI编码模式中，预测P(x，y)取象素值块的形式。在方块1160中对于预测的象素值块P(x，y)施加前向变换，例如离散余弦变换(DCT)，以及最终得到的变换系数，被称为cpred，随后在量化块1150中被量化，形成量化的变换系数Ipred。对原先的图象数据也执行相应的操作。更具体地，正在被编码的原先的图象的象素值的当前的块被加到变换块1110。这里，对于原先的图象块的象素数值施加前向变换(例如，DCT)，以形成变换系数corig。这些变换系数被传送到量化块1120，在其中它们被量化，以形成量化的变换系数Iorig。相加单元1130从各个量化的块的1150和1120接收两个量化的变换系数组Ipred和Iorig，以及按照以下关系式生成量化的预测误差系数组Ierr：
Ierr＝Iorig-Ipred
量化的预测误差系数Ierr传送到复接器1135。如果当前的块以SP格式/模式被编码，则复接器1135也接收对于SP编码的块的运动矢量。如果当前的块以SI格式/模式被编码，则被使用来在内部预测块1180中形成对于SI编码的块的预测的、有关内部预测模式的信息被传送到复接器。有利地，对于量化预测误差系数Ierr和对于在复接器1135中的运动矢量或内部预测模式信息施加可变长度编码，通过把各种形式的信息复接在一起，形成比特流，以及这样形成的比特流被发送到相应的解码器1200、1300(见图12和13)。
按照本发明的S帧编码器1100也包括本地解码功能。在量化块1150中形成的量化的预测变换系数Ipred被加到相加单元1140，相加单元也接收量化误差系数Ierr。相加单元1140重新组合量化的预测变换系数Ipred和量化预测误差系数Ierr，以便按照以下关系式形成一组重建的量化的变换系数Irec：
Irec＝Ipred+Ierr
重建的量化的变换系数被传送到逆量化块1142，该逆量化块对重建的量化的变换系数进行逆量化，以形成逆量化的重建的变换系数drec。逆量化的重建的变换系数被进一步传送到逆变换块1144，在其中它们受到例如逆离散余弦变换(IDCT)，或相应于在块1160中执行的变换的任何其他逆变换。结果，对于所讨论的图象块，形成重建的象素数值的块，以及把它存储在帧存储器1146中。随着正在以S帧格式被编码的帧的以后的块经受先前描述的编码和本地解码操作，当前的帧的解码的型式被逐步收集在帧存储器中，它可从该存储器被访问，以及在同一个帧的以后的块的内部预测时或在视频序列中以后的帧的帧间(运动补偿的)预测时被使用。
现在参照图12描述按照本发明的第一实施例的通用S帧解码器的操作。
先前结合图11描述的S帧编码器生成的比特流被解码器1200接收，以及被分接器1210分接成它的组成部分。解码器按逐块的原则重建S帧的解码的型式。如前所述，S帧可包括内部块，SP编码的和SI编码的图象块。对于SP格式图象块，在接收的比特流中的信息包括VLC编码的运动系数信息和VLC编码的量化的预测误差系数Ierr。对于以SI格式被编码的图象块，在接收的比特流中的信息包括与内部预测模式有关的VLC编码的信息，被使用来形成对于SI编码的块的内部预测连同VLC编码的量化的预测误差系数Ierr。
当解码SP编码的块时，分接器1210首先对于接收的比特流施加适当的可变长度解码(VLD)，以恢复运动矢量信息和量化的预测误差系数Ierr。然后它从量化的预测误差系数Ierr中分离出运动矢量信息。运动矢量信息被加到运动补偿预测块1260，以及从比特流中被恢复的量化的预测误差系数被加到相加单元1220的一个输入端。运动矢量信息在运动补偿预测块1260中连同被保存在帧存储器1250中的先前重建的帧的象素数值一起被使用，以类似于在编码器1100中采用的方式形成预测P(x，y)。
当解码SI编码的块时，分接器1210对于接收的内部预测模式信息和量化的预测误差系数Ierr施加适当的可变长度解码。然后从量化的预测误差系数中分离出内部预测模式信息，以及把它加到内部预测块1270。量化的预测误差系数Ierr被加到相加单元1220的一个输入端。内部预测信息在内部预测块1270中结合被保存在帧存储器1250中的当前的帧的先前解码的象素数值一起被使用，以形成对于正在被解码的当前的块的预测P(x，y)。再次地，在解码器1200中执行的内部预测处理过程类似于在编码器1100中执行的、和先前描述的过程。
一旦形成对于正在被解码的帧的当前的块的预测，开关1280就用来把包括预测的象素数值的预测P(x，y)加到变换块1290。再次地，开关1280是在本发明的说明中使用的一种抽象结构，而不一定是实际的装置。在SP编码块的情形下，开关1280用来把运动补偿预测块1260连接到变换块1290，而在SI编码块的情形下，开关1280用来把内部预测块1270连接到变换块1290。
在块1290中，对于预测的象素值块P(x，y)施加前向变换，例如离散余弦变换(DCT)，以及最终得到的变换系数cpred被加到量化块1295，在其中它们被量化，以形成量化的变换系数Ipred。量化的变换系数Ipred然后被加到相加单元1220的第二输入端，在其中它们被加到预测误差系数Ierr上，以便按照以下关系式形成重建的量化的变换系数Irec：
Irec＝Ipred+Ierr
重建的量化的变换系数Irec还被加到逆量化块1230，在其中它们被逆量化，以形成逆量化的重建的变换系数drec。逆量化的变换系数drec然后被传送到逆变换块1240，在其中它们受到例如逆离散余弦变换(IDCT)，或相应于在块1290中执行的变换的任何其他逆变换。这样，对于所讨论的图象块，形成重建的象素数值的块。重建的象素数值被加到视频输出端和帧存储器1250。由于正在解码的S帧的以后的块经受先前描述的解码操作，当前的帧的解码的型式被逐步收集在帧存储器1250中，它可从该存储器被访问，以及在同一个帧的以后的块的内部预测时或在视频序列中以后的帧的帧间(运动补偿的)预测时被使用。
在回顾按照本发明的第一实施例的S帧编码器和解码器的结构和功能后，现在有可能了解按照本发明的S帧如何使得有可能在比特流之间进行切换而没有误匹配误差，诸如在现有的视频编码/解码系统中遇到的那些误差。再次参考在图5上显示的比特流切换例子，从第一比特流510到第二比特流520的切换发生在各个比特流的S帧S1(513)和S2(523)的位置。如前所述，当进行切换时，二次S帧，被表示为S12(550)，被编码和被发送。二次S帧S12通过使用第二比特流520的编码参量和来自第一比特流510的参考帧以这样的方式被编码、使得当二次S帧S12被解码时，它的重建的象素数值等同于由第二比特流的帧S2的传输得到的象素数值。
令I2 err和I2 pred分别表示由通过上述的程序过程编码SP帧S2得到的预测误差和预测帧的量化的系数，以及令I2 rec表示S帧S2的量化的重建的图象系数。二次S帧550(S12)的编码除了以下的例外，遵循与在S帧523(S2)的编码时相同的程序过程：(1)在预测二次S帧S12的每个块时所使用的参考帧是通过解码第一比特流510直到视频序列的当前的第n帧而得到的重建的帧，(2)量化的预测误差系数如下地计算：I12 err＝I2 rec-I12 pred，其中I12 pred表示量化的预测变换系数。量化的预测误差系数和运动矢量被发送到解码器1200。
当在解码器1200中通过使用在切换之前从第一比特流510重建的帧作为参考帧来解码二次S帧的S12时，二次S帧的系数I12 pred被构建和被加到如上所述的、接收的量化的预测误差系数I12 err上，即，I12 rec＝I12 err+I12 pred＝I2 rec-I12 pred+I12 pred＝I2 rec。从这个公式可以指出，I12 rec和I2 rec是相同的。所以，虽然第二比特流S2的二次S帧S12和S帧具有不同的参考帧，但当S12被解码时，它产生具有与由解码S帧S2而得到的象素数值相同的重建的象素数值的图象。
通过以上的对于按照本发明的S帧的编码和解码的说明，将会看到，与按照现有技术的P帧和I帧的编码和解码相比较，存在重大的差别，具体地，应当看到，当编码或解码以SP或SI格式的图象块时，通过施加诸如离散余弦变换那样的变换，所讨论的块的预测P(x，y)被变换成变换系数域。这样产生的变换系数随后被量化，以及预测误差在量化的系数域中被确定。这与其中预测误差是在空间(象素数值)域中被确定的、按照现有技术的预测编码相反。
下面将详细地描述在比特流510与520之间进行切换期间解码器1200的操作。在其中发生从第一比特流到第二比特流520的切换的、视频序列的位置处，解码器1200已接收和解码第一比特流510的先前的P帧511和512。解码的帧被存储在帧存储器1250，以及它对于用作为参考帧是可提供的。当发生从第一比特流510到第二比特流520的切换时，编码器1100(图11)构建和编码二次S帧的S12(550)，以及把表示S12的编码的视频信息发送到解码器1200。
如前所述，编码是按逐块的原则进行的。具体地，二次S帧的S12被编码为图象块的组件，以及通常每个图象块被编码为SP编码的块或SI编码的块或内部块。对于二次S帧S12的SP编码的块，从编码器发送到解码器的压缩的视频信息取量化的预测误差变换系数I12 err和运动矢量信息的形式。对于二次S帧S12的SI编码的块，压缩的视频信息包括量化的预测误差变换系数I12 err、和与在编码器中形成SI编码的块的预测时使用的、内部预测模式有关的信息。如前所述，压缩的视频信息在从编码器发送之前受到适当的可变长度编码(VLC)，以便进一步减小对于它的表示所需要的比特数。
对于给定的图象块的压缩的视频信息在解码器1200处被接收，以及首先受到适当的可变长度解码(VLD)，然后由分接器1210分离成它的组成部分。从接收的比特流中提取的量化的预测误差系数I12 err被加到相加器1220的第一输入端，以及对于每个图象块，按照它的编码模式(SP或SI)形成预测的象素数值块P(x，y)。在SP编码的块的情形下，预测的象素数值块P(x，y)是在运动补偿预测块1260中通过使用在帧存储器1250中可提供的、第一比特流(例如，P帧511或512)的参考帧和由分接器1210从二次S帧的S12的编码的视频信息中提取的运动矢量信息而被形成的。在SI编码的块的情形下，预测的象素数值块P(x，y)是在内部预测块1270中通过使用也被存储在帧存储器1250中的、二次S帧的S12的先前解码的象素而被形成的。内部预测是按照由分接器1210从二次S帧的S12的接收的视频信息中提取的内部预测模式信息执行的。
一旦形成对于二次S帧的当前的块的预测，预测的象素数值P(x，y)被传送到变换块1290。在这里，对于预测的象素值P(x，y)施加前向变换(例如离散余弦变换(DCT))，以形成一组变换系数cpred。随后这些变换系数被传送到量化块1295，在其中它们被量化，以形成量化的变换系数I12 pred。量化的变换系数I12 pred又被加到相加器1220的第二输入端。相加器1220组合量化的变换系数I12 pred和量化的预测误差变换系数I12 err，按照以下关系式形成重建的量化的变换系数I12 rec：
I12 rec＝I12 pred+I12 err
重建的量化的变换系数I12 err然后被加到逆量化块1230，在其中它们被逆量化，以形成逆量化的重建的变换系数d12 rec。逆量化的重建的变换系数d12 rec然后被传送到逆变换块1240，在其中它们受到逆变换运算(例如，逆离散余弦变换(IDCT))。结果，对于二次S帧S12的当前块，形成重建的象素数值的块。重建的象素数值Ic(x，y)被加到视频输出端和帧存储器1250。随着二次S帧S12的以后的块被编码，从编码器1100发送到解码器1200，和随后被解码，二次S帧的解码的型式被逐步收集在帧存储器1250中，由此，二次S帧的已解码的块可被恢复，和被内部预测块1270使用来形成对于二次S帧S12的以后的块的预测的象素数值P(x，y)。这里，应当记住，对于二次S帧S12的每个图象块的量化的预测误差变换系数在编码器1100中按照以下关系式被生成：
I12 err＝I2 rec-I12 pred其中I2 rec是通过编码和以后解码第二比特流中的S帧S2而产生的、量化的重建的变换系数值。这意味着，通过解码二次S帧S12的压缩的视频信息而产生的重建的变换系数I12 rec等同于在来自第二比特流的S帧S2被发送和被解码时已产生的那些系数。如前所述，这是由于下式而成立的：
I12 rec＝I12 pred+I12 err
＝I12 pred+I2 rec-I12 pred＝I2 rec
因此，I12 rec＝I2 rec
所以，可以看到，通过构建按照本发明的方法的二次S帧S12，把它从编码器发送到解码器，以及随后解码它，可以达到在第一与第二比特流之间的无误匹配的切换。
考虑二次S帧是SI帧而在比特流内的S帧是SP帧的情形。在这种情形下，使用运动补偿预测的帧由只使用空间预测的帧表示，这种特殊的情形在随机访问和误差弹回时具有意义，这将在后面描述。
应当指出，在按照本发明的第一实施例的编码器1100和解码器1200中，如上所述，被施加到在变换块1160(编码器)和1290(解码器)中产生的变换系数cpred上以便产生量化的变换系数Ipred的量化，是与被使用来生成量化的预测误差变换系数Ierr的量化相同的。更具体地，在本发明的第一实施例中，当对于正在被编码/解码的S帧的图象块，产生预测的象素数值块P(x，y)时，被使用来量化相应于预测的象素数值块P(x，y)的变换系数cpred的量化参量QP，应当是与在产生量化的预测误差变换系数Ierr时所使用的量化参量相同的。这是有利的，因为为了产生重建的变换系数Irec所执行的求和是在量化的变换系数域中执行的，即，因为
Irec＝Ipred+Ierr
在构建Ipred以及Ierr时无法使用相同的量化参量，将导致重建的量化的变换系数Irec中的误差。
图15显示按照本发明的第二实施例的S帧编码器1500的方框图，该实施例在选择量化参量来生成量化的变换系数Ipred和Ierr时提供更大的灵活性。正如通过图15与图11的比较可以看到的，在按照本发明的第二实施例的S帧编码器1500与按照本发明的第一实施例的S帧编码器1100之间的主要差别在于量化块1525与1550的位置。现在参照图15详细地描述按照本发明的第二实施例的S帧编码器1500的操作。
按照本发明的第二实施例，以S帧格式被编码的视频帧首先被划分成块，然后每个块作为SP块或SI块被编码。开关1585适合于用来在SP与SI编码模式之间切换。在SP编码模式中，开关1585用来从运动补偿预测块1575得到正在被编码的帧的当前块的运动补偿预测。运动补偿预测块1575通过确定描述在当前的块的象素与被保存在帧存储器1570中的重建的参考帧的象素数值之间的关系的运动矢量而形成对于正在被编码的帧的当前的块的预测象素数值块P(x，y)。
在SI编码时，模式开关1585用来从内部预测块1580得出对于正在被编码的帧的当前的块的预测。内部预测块1580以类似于结合本发明的第一实施例描述的方式操作，从正在被编码的帧内的已编码的相邻的象素通过使用空间预测，形成对于正在被编码的帧的当前块的预测的象素数值块P(x，y)。
在SP与SI编码模式中，在变换块1590中对于预测的象素值块P(x，y)施加前向变换，例如离散余弦变换(DCT)。最终得到的变换系数cpred，被加到相加器1520和1540。原先的图象数据，包括当前正在被编码的图象块的实际的象素数值，被传送到变换块1510，它们在其中也受到前向变换(例如DCT)。最终得到的变换系数corig然后被传送到相加器1520，它形成corig与cepred之间的差值，以便按照下列关系式生成预测误差变换系数cerr：
cerr＝corig-cpred
预测误差变换系数被加到量化块1525，它们在其中通过使用量化参量PQP被量化，以形成量化的预测误差变换系数Ierr，它们又被传送到复接器1540。
如果当前的块以SP格式被编码，则复接器1540也接收与在形成对于SP编码的块的运动补偿预测P(x，y)时使用的运动矢量有关的信息。如果当前的块以SI格式被编码，则被使用来形成对于SI编码的块的预测P(x，y)的、有关内部预测模式的信息也被传送到复接器。有利地，复接器1540对于量化的预测误差变换系数Ierr和对于运动矢量或内部预测模式信息施加适当的可变长度编码(VLC)，以及通过把各种形式的信息复接在一起，形成比特流，以便发送到相应的解码器。
量化的预测误差变换系数Ierr从量化块1525被传送到逆量化块1530，在其中它们通过使用量化参量PQP被逆量化，以形成逆量化的预测误差变换系数derr。逆量化的预测误差变换系数derr接着被传送到相加器1540，它们在其中与从对于当前块的预测像素值P(x，y)产生的变换系数(Cpred)相组合。更具体地，相加器1540把变换系数cpred与逆量化的预测误差变换系数derr相加，以便按照下列关系式形成重建的变换系数crec：
crec＝cpred+derr
重建的变换系数crec然后被传送到量化块1550，在其中它们通过使用量化参量SPQP被量化，以形成量化的重建的变换系数Irec。应当指出，被使用来量化重建的变换系数的量化参量SPQP不一定与在量化块1525中被使用来量化预测误差变换系数cerr的量化参量PQP相同。具体地，更精细的量化可被施加到重建的变换系数crec，以及更粗的量化可被施加到预测误差系数cerr。这在解码器中形成解码的图象时最终导致更小的重建误差(失真)。
量化的重建的变换系数Irec接着被加到逆量化块1560，在其中它们通过使用量化参量SPQP被逆量化，以形成逆量化的重建的变换系数drec。逆量化的重建的变换系数drec然后被传送到逆变换块1565，在其中它们受到逆变换操作，例如，逆离散余弦变换(IDCT)。由于这个操作，对于所讨论的图象块形成重建的象素数值块Ic(x，y)。重建的象素数值块Ic(x，y)随后被存储在帧存储器1570。随着以S帧的格式被编码的帧的以后的块经受以前描述的编码和本地解码操作，当前的帧的解码的型式被逐步收集到帧存储器1570中，它可从该存储器被访问，以及被使用于内部预测同一个帧的以后的块或帧间地(运动补偿地)预测视频序列中以后的帧。
现在参照图13，描述按照本发明的第二实施例的S帧解码器1300的操作。由按照本发明的第二实施例的S帧编码器1500生成的、和以上结合图15描述的比特流由解码器1300接收，以及被分接成它的组成部分。解码器按逐块的原则重建S帧的解码的型式。如前所述，S帧通常包括SP编码的和SI编码的图象块。对于SP编码的图象块，在接收的比特流中的信息包括VLC编码的运动矢量信息和VLC编码的量化的预测误差变换系数Ierr。对于以SI格式编码的图象块，在接收的比特流中的信息包括：被使用来形成对于SI编码的块的内部预测的、与内部预测模式有关的VLC编码的信息；以及VLC编码的量化的预测误差变换系数Ierr。
当解码SP编码的图象块时，分接器1310首先对于接收的比特流施加适当的可变长度解码(VLD)，以恢复运动矢量信息和量化的预测误差系数Ierr。然后它从量化的预测误差系数Ierr中分离出运动矢量信息。运动矢量信息被加到运动补偿预测块1370，以及从接收的比特流中被恢复的量化的预测误差系数Ierr被加到逆量化块1320。从接收的比特流中被恢复的运动矢量信息在运动补偿预测块1370中连同被保存在帧存储器1360中的先前重建的帧的象素数值一起被使用来以类似于在编码器1500中所采用的方式来形成正在被解码的当前的块的预测P(x，y)。
当解码SI编码的图象块时，分接器1310对于接收的内部预测模式信息和量化的预测误差变换系数Ierr施加适当的可变长度解码。然后从量化的预测误差变换系数Ierr中分离出内部预测模式信息，以及内部预测模式信息被加到内部预测块1380。量化的预测误差变换系数Ierr被加到逆量化块1320。从接收的比特流中被恢复的内部预测模式信息在内部预测块1380中连同被保存在帧存储器1360中的当前帧的先前解码的象素数值一起被使用来形成对于正在被解码的当前的块的预测P(x，y)。再次地，在解码器1200中执行的内部预测处理过程类似于先前描述的、在相应的编码器1500中执行的内部预测处理过程。
对于SP和SI编码的图象块，从接收的比特流中被恢复的量化的预测误差变换系数Ierr在逆量化块1320中通过使用量化参量PQP被逆量化，以形成逆量化的预测误差变换系数derr。逆量化的预测误差变换系数derr被加到相加器1325的一个输入端。
一旦通过在运动补偿预测块1370中的运动补偿预测或通过在内部预测块1380中的内部预测形成对于正在被解码的帧的当前的块的预测P(x，y)，开关1385就用来适合于把预测的象素数值P(x，y)加到变换块1390。这里，对于预测的象素值块P(x，y)施加前向变换，例如离散余弦变换(DCT)，以形成变换系数cpred。变换系数cpred然后被加到相加器1325的第二输入端，在其中它们与从逆量化块1320接收的逆量化预测误差变换系数相组合，以形成重建的变换系数crec。更具体地，重建的变换系数是通过按照下列关系式把变换系数Cpred与逆量化预测误差变换系数derr相加在一起被确定的：
crec＝cpred+derr
重建的变换系数crec然后被传送到量化块1330，在其中它们通过使用量化参量SPQP被量化，以产生量化的重建的变换系数Irec。量化的重建的变换系数Irec又被加到逆量化块1340，在其中它们通过使用量化参量SPQP被逆量化，以形成逆量化的重建的变换系数drec。逆量化的重建的变换系数drec然后被传送到逆变换块1350，在其中它们受到逆变换，例如逆离散余弦变换(IDCT)。由于在逆变换块1350中施加的逆变换，对于所讨论的图象块，形成重建的图象象素块Ic(x，y)。重建的象素块Ic(x，y)被加到解码器的视频输出端和其中存储象素的帧存储器1360。随着S帧的以后的块经受上述的解码操作，当前的帧的解码的型式被逐步收集到帧存储器1360中。它可从该存储器被访问，以及被使用于内部预测同一个帧的以后的块或帧间地(运动补偿地)预测视频序列中以后的帧。
在图16上，显示按照本发明的第三实施例的编码器。在本实施例中，变换系数cpred在编码器部分(块1625和1630)和解码器部分(块1692和1694)中通过使用同一个量化参量SPQP进行量化和逆量化。所以，编码器不引入任何附加量化误差到预测环路，因此，有效地防止预测环路中的误差建立。块1610、1620、1625、1630、1640、1650、1660、1665、1670、1675、1680、1685、1690分别具有与图15上显示的块1510、1520、1525、1530、1540、1550、1560、1565、1570、1575、1580、1585、1590相同的功能。
在图6上，描述了按照本发明的有利的实施例的解码器600。解码器600的大多数元件是与图12显示的解码器1200相同的。解码器600的运算块被安排来解码帧的预测块，其中在图6上未示出切换装置。其他的块610、615、620、630、640、650、660和670分别具有与图12上显示的块1210、1220、1230、1240、1250、1260、1290和1295相同的功能。
在图9上，描述了按照本发明的另一个有利的实施例的解码器600。图9上显示的解码器600是图6显示的解码器600的修改方案。在图9显示的解码器与图12显示的解码器之间的差别在于，归一化块680被插入在分接器610与相加单元615的一个输入端之间。其他的块610、615、620、630、640、650、660和670分别具有与图12上显示的块1210、1220、1230、1240、1250、1260、1290和1295相同的功能。
在图10上，描述了按照本发明的再一个有利的实施例的解码器600。解码器600的大多数元件是与图13显示的解码器1300相同的。解码器600的运算块被安排来解码帧的预测块，其中在图10上未示出切换装置。在图13显示的解码器与图10显示的解码器之间的差别在于，使用归一化块680，而不用逆量化块1230。其他的块610、615、620、630、640、650、660和670分别具有与图13上显示的块1310、1325、1330、1340、1350、1360、1370和1390相同的功能。
视频帧的编码可以按逐块的原则被执行，以使得在相同的编码的视频帧中可以存在不同地编码的区域。例如，帧的某些部分可以被帧间编码，以及帧的某些其他部分可以被帧内编码。以上的程序过程按照所讨论的部分的编码程序过程被适当地应用到帧的每个部分。
除了传输网以外，对于改变比特流传输性质的请求也可被传输系统的其他部分发起。例如，接收机因为某些原因可以请求发送服务器改变参量。这个请求例如通过传输网被传递到发送服务器。
虽然H.26L被用作为一个标准的例子，但本发明的实施例和任何变化与修正被认为属于本发明的范围内。
比特流切换不是可以应用本发明的唯一的应用。如果一个比特流具有较低的时间分辨率，例如1帧/每秒，则这个比特流可被使用来提供快速前进功能。具体地，从具有较低的时间分辨率的比特流中解码和然后切换到具有正常的帧的速率的比特流，将提供这样的功能。图8显示两个比特流，其中的第二比特流只包括在大于第一比特流的帧重复周期的时间间隔上互相预测的S帧。而且，“快速前进”可以在比特流的任何位置上开始和停止。下面，描述本发明的某些其它应用。
拼接和随机访问
先前讨论的比特流切换的例子考虑属于同一个图象序列的比特流。然而，这不一定是在需要比特流切换的所有的情形下的事例。例子包括：通过从不同的视角摄取同一个事件的不同的摄像机、或通过为了监管而被放置在建筑物周围的摄像机得到的比特流之间的切换；在电视广播中切换到本地/全国节目，或插入广告，视频搭接等等。对于链接编码的比特流的处理过程的总的名称是拼接。
当在属于不同的图象序列的比特流之间发生切换时，这只影响被使用来在比特流之间进行切换的S帧的编码，即图5上的二次S帧S12。具体地，在一个图象序列中通过使用来自不同的图象序列的参考帧来进行帧的运动补偿预测，并没有像在两个比特流属于同一个图象序列时那样有效。在这种情形下，更可能是二次S帧的空间预测是更有效的。图7上显示这一点，其中切换的帧是仅仅使用空间预测的SI帧，它相同地重建相应的SP帧S2。这个方法可以作为随机访问机制被使用于比特流，以及它在错误矫正和弹回方面具有进一步的意义，正如下面描述的。
错误矫正
从不同的参考帧预测(例如，从紧接在前面的重建的帧和在时间上进一步回退的重建的帧预测)的、具有S帧的形式的单个帧的多个表示可被使用来增加编码的视频序列的错误弹回和/或改进从比特流中的错误矫正。这显示于图14。在预编码的比特流流动期间发生分组丢失和丢失一个帧或片的情形下，接收机把丢失的帧/片告知发射机以及发射机通过发送下一个S帧的替换的表示作为应答。替换的表示，例如，图14的帧S12，使用已由接收机正确地接收的参考帧。对于基于片的分组化和传递，发送者还能估价受到这样的片/帧丢失影响的片，并能用它们的替换的表示只更新在下一个S帧中的那些片。
同样地，正如先前在讨论拼接时提到的，S帧的二次表示可以不用使用任何参考帧被生成，即，诸如在图14上显示的SI2帧。在这种情形下，发送者将发送二次SI帧，即SI2，而不是S2，以停止错误传播。这个方法也可以直截了当的方式扩展到基于片的编码/分组化。更具体地，服务器从SI帧发送受到分组丢失影响的、在下一个S帧中的片。
错误弹回
视频帧的编码可以按逐块的原则被执行，以使得在相同的编码视频帧中，可以存在有不同地编码的区域。例如，帧的某些部分可以被帧间编码，以及帧的某些其他部分可以被内部编码。正如已讨论的，内部块编码由于它不采用任何时间相关值而停止了任何错误传播，这种错误传播可能由于输送损伤而引起。
在有损输送网络中，内部宏块刷新策略可提供优越的错误弹回/校正性能。在交互的客户/服务器情形下。在服务器端的编码器决定根据从客户接收的特定的反馈(例如，丢失的/弄乱的帧/片/宏块的精确的位置)，或根据通过协商计算的预期的网络条件或测量的网络条件来编码帧/宏块。这种宏块内更新策略通过提供错误弹回和错误矫正而改善接收的视频的质量。最佳宏块内更新刷新速率，即，宏块被内部编码的频率，取决于输送信道条件，例如分组丢失和/或误码率。然而，当发送已被编码的比特流时(这是在典型的流动应用时的情形)，以上的策略不能直接应用。或者序列需要用最坏情形的预期的网络条件被编码，或者需要附加的错误弹回/矫正机制。
从先前的涉及在错误矫正和拼接应用中S帧的使用的讨论，可以指出，S帧或在S帧内的片可以容易地表示为不使用任何参考帧而仍旧导致相同的S帧重建SI帧/片。这个特性可以在以上讨论的自适应内部刷新机制中被利用。首先，图象序列用S宏块的某个预定比值被编码。然后，在传输期间，某些S宏块以它们的二次表示，即作为SI宏块，被发送。要以SI表示进行发送的S宏块的数目可以以类似于在先前讨论的、实时编码/传递方法中使用的方法的方式被计算。
视频冗余编码
S帧在它们不作为I帧的代替物而起作用的应用中具有其他用途。视频冗余编码(VRC)可以作为一个例子被给出。VRC方法的原理是把图象序列划分成两个或多个线索，这样，序列中所有的图象以循环方式被分配给其中的一个线索。每个线索被独立地编码。在常规的时间间隔，所有的线索聚合成所谓的同步帧。从这个同步帧，开始一个新的线索序列。如果其中的一个线索被损坏，例如因为分组丢失，则其余的线索典型地保持原封不动，以及它们可被使用来预测下一个同步帧。有可能继续解码损坏的线索，这导致图象质量的轻微恶化；或停止解码损坏的线索，这导致帧速率的下降。同步帧总是从未损坏的线索之一进行预测的。这意味着，发送的I帧的数目可保持为小的，因为不需要完全的重新同步化。对于同步帧，发送一个以上的表示(P帧)，每个使用来自不同线索的一个参考帧。由于P帧的使用，这些表示是不相同的。所以，当某些表示不能被解码时误匹配被引入，以及当解码以下的线索时使用它们的配对物。使用S帧作为同步帧，可消除这个问题。
显然，本发明并不限于以上描述的实施例，而是可以在附属权利要求的范围内进行修正。

Claims (16)

1.一种用于发送视频信息的方法，其中至少第一比特流(510)和第二比特流由视频信息形成，第一比特流(510)包括第一组帧，它包括至少一个视频帧，以及第二比特流(520)包括第二组(520)帧，它包括至少一个预测的视频帧(524)，至少部分不同的编码参量被使用于编码所述第一比特流(510)和所述第二比特流(520)的帧，所述第一比特流(510)的至少一个帧被发送，以及传输从所述第一比特流(510)被切换到所述第二比特流(520)，其特征在于，在把传输从所述第一比特流(510)切换到所述第二比特流(520)时，二次比特流至少包括一个一次切换帧(523)，二次切换帧(550)被发送，二次切换帧(550)通过使用第二比特流(520)的编码参量和来自第一比特流(510)的至少一个参考帧而被编码，以及所述二次切换帧(550)代替一次切换帧(523)被用作为在重建第二组视频帧的所述至少一个预测的视频帧(524)时要被使用的参考帧。
2.按照权利要求1的方法，其特征在于，第一比特流(510)包括至少一个一次切换帧(513)。
3.按照权利要求1或2的方法，其特征在于，第一比特流(510)仅仅包括一个内部帧和一个一次切换帧(513)，用来执行从视频信息的一个位置到视频信息的另一个位置的切换。
4.按照权利要求1或2的方法，其特征在于，第一比特流(510)仅仅包括内部帧和一次切换帧(513)，用来执行视频信息的快速前进操作。
5.按照权利要求2到4的任一项的方法，其特征在于，所述一次切换帧(523)是预测的视频帧(524)，其中预测信息只包括内部预测信息。
6.按照权利要求1到5的任一项的方法，其特征在于，形成一次切换帧(513)以便对变换系数cpred进行计算和被量化，从而形成变换系数的量化的数值Ipred；对预测误差的量化的系数Ierr进行规定；对去量化的重建图象系数drec进行规定以使得存在有系数crec，通过量化和去量化，可以从该系数crec得出去量化的重建图象系数drec；以及去量化的重建图象系数drec满足以下条件之一：
drec＝dpred+derr，或
crec＝cpred+derr，
其中derr是预测误差的去量化的数值，以及
dpred是量化的变换系数Ipred的去量化的数值。
7.按照权利要求6的方法，其特征在于，相同的量化参量被使用于变换系数Ipred的量化和预测误差的量化。
8.按照权利要求6的方法，其特征在于，不同的量化参量被使用于变换系数Ipred的量化而不使用于预测误差的量化。
9.按照权利要求1到8的任一项的方法，其特征在于，所述二次切换帧(550)被使用来恢复传输错误，其中所述一次切换帧(523)是预测的视频帧(524)，其中预测信息包括来自比预测视频帧(524)的前面的帧靠前的视频帧的预测信息。
10.按照权利要求1到8的任一项的方法，其特征在于，所述二次切换帧(550)被使用来恢复传输错误，其中所述一次切换帧(523)是预测的视频帧(524)，其中预测信息只包括内部预测信息。
11.按照权利要求1到10的任一项的方法，其特征在于，所述至少一个一次切换帧(523)和所述二次切换帧(550)产生所述至少一个预测视频帧(524)的相同的重建结果。
12.一种编码器，包括用于从视频信息形成至少第一比特流和第二比特流的装置，第一比特流包括第一组帧，它包括至少一个视频帧，以及第二比特流包括第二组(520)帧，它包括至少一个预测的视频帧(524)；用于使用至少部分不同的编码参量用于编码所述第一比特流(510)和所述第二比特流(520)的帧的装置；用于发送所述第一比特流(510)的至少一个帧的装置；以及用于把传输从所述第一比特流(510)切换到所述第二比特流(520)的装置，其特征在于，所述用于把传输从所述第一比特流(510)切换到所述第二比特流(520)的装置包括用于通过使用第二比特流(520)的编码参量和来自第一比特流(510)的参考帧编码二次切换帧(550)的装置，以使得能够把传输从所述第一比特流(510)切换到所述第二比特流(520)。
13.按照权利要求12的编码器，其特征在于，它包括用于通过使用所述参考帧产生预测信息的装置(1670、1675)，和用于执行对于预测信息的量化和去量化的装置(1692、1694)。
14.解码器，用于从包括由视频信息形成的至少第一比特流(510)和第二比特流的帧的信号中解码视频信息，第一比特流包括第一组帧，它包括至少一个视频帧，以及第二比特流包括第二组(520)帧，它包括至少一个预测的视频帧(524)，至少部分不同的编码参量被使用于编码所述第一比特流(510)和所述第二比特流(520)的帧，其特征在于，解码器包括用于解码二次切换帧(550)的装置，所述二次切换帧(550)通过使用第二比特流(520)的编码参量和来自第一比特流(510)的至少一个参考帧而被编码，以及代替一次切换帧(523)作为在重建第二组视频帧的所述至少一个预测的视频帧(524)时要被使用的参考帧被加到信号上，以及所述用于解码二次切换帧(550)的装置包括用于使用第二比特流(520)的解码参量和来自第一比特流(510)的参考帧的装置。
15.按照权利要求14的解码器，其特征在于，一次切换帧(513)包括通过只使用空间相关的内部预测而被编码的区域，和通过使用运动补偿的帧间预测而被编码的区域，其中解码器包括使用运动补偿信息来进行重建的装置、使用空间相关信息来进行重建的装置、以及取决于编码各个区域时所使用的预测方法而通过所述使用运动补偿信息的装置或通过所述使用空间相关信息的装置来执行每个区域的重建的切换装置。
16.表示编码的视频信息的和包括由视频信息形成的至少第一比特流(510)和第二比特流的帧的信号，第一比特流包括第一组帧，它包括至少一个视频帧，以及第二比特流包括第二组(520)帧，它包括至少一个预测的视频帧(524)，至少部分不同的编码参量被使用于编码所述第一比特流(510)和所述第二比特流(520)的帧，其特征在于，在把传输从所述第一比特流(510)切换到所述第二比特流(520)时，二次比特流至少包括一个一次切换帧(523)，所述信号包括二次切换帧(513、523)，它们通过使用第二比特流(520)的编码参量和来自第一比特流(510)的至少一个参考帧而被编码，以及所述二次切换帧(550)是代替一次切换帧(523)被用作为在重建第二组视频帧的所述至少一个预测的视频帧(524)时要被使用的参考帧。
CNB028034414A 2001-01-03 2002-01-03 视频传输时在比特流之间的切换 Expired - Lifetime CN1225125C (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US25952901P 2001-01-03 2001-01-03
US60/259,529 2001-01-03
US09/827,796 2001-04-06
US09/827,796 US20020122491A1 (en) 2001-01-03 2001-04-06 Video decoder architecture and method for using same
US09/883,887 US6765963B2 (en) 2001-01-03 2001-06-18 Video decoder architecture and method for using same
US09/883,887 2001-06-18
US09/925,769 2001-08-09
US09/925,769 US6920175B2 (en) 2001-01-03 2001-08-09 Video coding architecture and methods for using same

Publications (2)

Publication Number Publication Date
CN1484921A true CN1484921A (zh) 2004-03-24
CN1225125C CN1225125C (zh) 2005-10-26

Family

ID=27500649

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028034414A Expired - Lifetime CN1225125C (zh) 2001-01-03 2002-01-03 视频传输时在比特流之间的切换

Country Status (11)

Country Link
US (1) US6920175B2 (zh)
EP (1) EP1356684B1 (zh)
JP (2) JP4109113B2 (zh)
CN (1) CN1225125C (zh)
BR (1) BRPI0206191B1 (zh)
CA (1) CA2431866C (zh)
EE (1) EE04829B1 (zh)
HK (1) HK1062868A1 (zh)
HU (1) HU228605B1 (zh)
MX (1) MXPA03005985A (zh)
WO (1) WO2002054776A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100444637C (zh) * 2005-04-14 2008-12-17 中兴通讯股份有限公司 一种在网络中传输视频流的方法
CN1998238B (zh) * 2004-06-15 2010-12-22 株式会社Ntt都科摩 用于产生发送帧的设备和方法
CN1816150B (zh) * 2004-12-30 2011-07-06 微软公司 使用帧高速缓存来改善分组丢失恢复
CN101742323B (zh) * 2008-11-05 2013-05-01 上海天荷电子信息有限公司 无再损视频编码和解码的方法和装置
CN105009593A (zh) * 2013-02-22 2015-10-28 汤姆逊许可公司 图像块的编码和解码方法、对应的设备和数据流
CN107439010A (zh) * 2015-05-27 2017-12-05 谷歌公司 流传输球形视频
CN103905825B (zh) * 2012-12-27 2018-02-13 中国电信股份有限公司 视频图像的运动补偿方法和装置
CN110446072A (zh) * 2019-08-14 2019-11-12 咪咕视讯科技有限公司 视频流切换方法、电子设备和存储介质
US11558629B2 (en) 2013-02-22 2023-01-17 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
SG146434A1 (en) 2000-11-29 2008-10-30 British Telecomm Transmitting and receiving real-time data
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US20020122491A1 (en) 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US7693220B2 (en) 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
JP3923898B2 (ja) 2002-01-18 2007-06-06 株式会社東芝 画像符号化方法及び装置
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
CN1288915C (zh) 2002-01-23 2006-12-06 诺基亚有限公司 视频序列的编码和解码方法及相关的视频编码器和解码器
US6996173B2 (en) * 2002-01-25 2006-02-07 Microsoft Corporation Seamless switching of scalable video bitstreams
US20030151753A1 (en) * 2002-02-08 2003-08-14 Shipeng Li Methods and apparatuses for use in switching between streaming video bitstreams
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US6846738B2 (en) * 2002-03-13 2005-01-25 Micron Technology, Inc. High permeability composite films to reduce noise in high speed interconnects
AU2003215752A1 (en) * 2002-03-27 2003-10-13 British Telecommunications Public Limited Company Video coding and transmission
EP1359722A1 (en) * 2002-03-27 2003-11-05 BRITISH TELECOMMUNICATIONS public limited company Data streaming system and method
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
GB0306296D0 (en) 2003-03-19 2003-04-23 British Telecomm Data transmission
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
KR100834748B1 (ko) 2004-01-19 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생 방법 및 장치
WO2005091632A1 (en) * 2004-02-23 2005-09-29 Nokia Corporation Transmission of video information
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
WO2005086487A1 (en) * 2004-03-04 2005-09-15 Samsung Electronics Co., Ltd. Video encoding and decoding methods and systems for video streaming service
EP1585061A1 (en) * 2004-04-07 2005-10-12 Deutsche Thomson-Brandt Gmbh Block adaptive predictive coding
US7522667B2 (en) * 2005-02-24 2009-04-21 Freescale Semiconductor, Inc. Method and apparatus for dynamic determination of frames required to build a complete picture in an MPEG video stream
EP1936996A3 (en) * 2005-04-28 2011-07-27 Apple Inc. Video processing in a multi-participant video conference
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US7515710B2 (en) 2006-03-14 2009-04-07 Divx, Inc. Federated digital rights management scheme including trusted systems
FR2899053B1 (fr) * 2006-03-21 2008-05-16 Canon Kk Procedes et dispositifs de codage et de decodage d'images animees, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede
US8340179B2 (en) 2006-03-21 2012-12-25 Canon Kabushiki Kaisha Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
US8358693B2 (en) * 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
US8578228B2 (en) 2006-08-17 2013-11-05 Telefonaktiebolaget Lm Ericcson Error recovery for rich media
US7388521B2 (en) * 2006-10-02 2008-06-17 Microsoft Corporation Request bits estimation for a Wyner-Ziv codec
TWI324020B (en) * 2006-10-05 2010-04-21 Ind Tech Res Inst Encoder and image encoding method
ES2935410T3 (es) 2007-01-05 2023-03-06 Divx Llc Sistema de distribución de vídeo que incluye reproducción progresiva
US10194175B2 (en) * 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR20100106327A (ko) 2007-11-16 2010-10-01 디브이엑스, 인크. 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조
TW200943175A (en) 2008-01-17 2009-10-16 Nec Corp Synchronization control method and information processing device
EP2091227A1 (en) 2008-02-15 2009-08-19 Thomson Licensing Method for adjusting the settings of a reproduction color device
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8189492B2 (en) * 2009-03-18 2012-05-29 Microsoft Corporation Error recovery in an audio-video multipoint control component
WO2011068668A1 (en) 2009-12-04 2011-06-09 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
CN101783957B (zh) 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8787570B2 (en) 2011-08-31 2014-07-22 Sonic Ip, Inc. Systems and methods for automatically genenrating top level index files
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US20130083845A1 (en) 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
EP2595382B1 (en) 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9462306B2 (en) * 2013-07-16 2016-10-04 The Hong Kong University Of Science And Technology Stream-switching in a content distribution system
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
KR102185245B1 (ko) * 2014-03-04 2020-12-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반 블록 매칭을 위한 해시 테이블 구성 및 이용가능성 검사
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
JP6462119B2 (ja) 2014-09-30 2019-01-30 マイクロソフト テクノロジー ライセンシング，エルエルシー コンピューティングデバイス
WO2016072745A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 정규화를 수행하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20170101983A (ko) 2014-12-31 2017-09-06 노키아 테크놀로지스 오와이 스케일러블 비디오 코딩 및 디코딩을 위한 계층 간 예측
CN107111477B (zh) 2015-01-06 2021-05-14 帝威视有限公司 用于编码内容和在设备之间共享内容的系统和方法
US10271062B2 (en) * 2016-03-18 2019-04-23 Google Llc Motion vector prediction through scaling
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2891773B2 (ja) * 1990-03-15 1999-05-17 トムソン マルチメデイア ソシエテ アノニム ディジタル画像シーケンスを処理する方法および装置
JP3576660B2 (ja) * 1995-09-29 2004-10-13 株式会社東芝 画像符号化装置および画像復号化装置
GB2318246B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing digitally encoded signals
WO1998054910A2 (en) * 1997-05-27 1998-12-03 Koninklijke Philips Electronics N.V. Method of switching video sequences and corresponding switching device and decoding system
JP3671286B2 (ja) * 1997-06-20 2005-07-13 松下電器産業株式会社 画像処理方法，画像処理装置，及びデータ記憶媒体
KR20010022752A (ko) * 1998-06-11 2001-03-26 요트.게.아. 롤페즈 디지털 비디오 레코더용 트릭 플레이 신호 발생
FR2782437B1 (fr) * 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6434195B1 (en) * 1998-11-20 2002-08-13 General Instrument Corporaiton Splicing of video data in progressively refreshed video streams
JP2000165816A (ja) * 1998-11-30 2000-06-16 Sony Corp 信号復号方法及び装置
GB9908809D0 (en) * 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
JP3521066B2 (ja) * 1999-06-11 2004-04-19 日本電気株式会社 ビデオオンデマンドシステム及びそのためのカット切替後フレーム間符号化ピクチャ削除方法
FR2795272B1 (fr) * 1999-06-18 2001-07-20 Thomson Multimedia Sa Procede de commutation de flux mpeg
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
GB2353655B (en) * 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1998238B (zh) * 2004-06-15 2010-12-22 株式会社Ntt都科摩 用于产生发送帧的设备和方法
CN1816150B (zh) * 2004-12-30 2011-07-06 微软公司 使用帧高速缓存来改善分组丢失恢复
CN100444637C (zh) * 2005-04-14 2008-12-17 中兴通讯股份有限公司 一种在网络中传输视频流的方法
CN101742323B (zh) * 2008-11-05 2013-05-01 上海天荷电子信息有限公司 无再损视频编码和解码的方法和装置
CN103905825B (zh) * 2012-12-27 2018-02-13 中国电信股份有限公司 视频图像的运动补偿方法和装置
CN105009593A (zh) * 2013-02-22 2015-10-28 汤姆逊许可公司 图像块的编码和解码方法、对应的设备和数据流
US10701373B2 (en) 2013-02-22 2020-06-30 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
US11558629B2 (en) 2013-02-22 2023-01-17 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
US11750830B2 (en) 2013-02-22 2023-09-05 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
US12052432B2 (en) 2013-02-22 2024-07-30 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
CN107439010A (zh) * 2015-05-27 2017-12-05 谷歌公司 流传输球形视频
CN110446072A (zh) * 2019-08-14 2019-11-12 咪咕视讯科技有限公司 视频流切换方法、电子设备和存储介质
CN110446072B (zh) * 2019-08-14 2021-11-23 咪咕视讯科技有限公司 视频流切换方法、电子设备和存储介质

Also Published As

Publication number Publication date
WO2002054776A1 (en) 2002-07-11
CN1225125C (zh) 2005-10-26
MXPA03005985A (es) 2003-09-10
US20020118755A1 (en) 2002-08-29
EE04829B1 (et) 2007-04-16
JP2007312411A (ja) 2007-11-29
CA2431866A1 (en) 2002-07-11
HU228605B1 (en) 2013-04-29
CA2431866C (en) 2009-12-22
BRPI0206191B1 (pt) 2016-06-21
EP1356684A1 (en) 2003-10-29
EP1356684B1 (en) 2016-08-03
US6920175B2 (en) 2005-07-19
HK1062868A1 (en) 2004-11-26
JP4109113B2 (ja) 2008-07-02
HUP0400560A2 (en) 2004-06-28
EE200300315A (et) 2003-10-15
BR0206191A (pt) 2003-10-07
JP2004517569A (ja) 2004-06-10
JP5128865B2 (ja) 2013-01-23

Similar Documents

Publication Publication Date Title
CN1225125C (zh) 视频传输时在比特流之间的切换
CN101622880B (zh) 一种视频译码方法及用于视频编码的装置
JP5350404B2 (ja) 早いマクロブロック・デルタｑｐの決定
KR101622450B1 (ko) 변환을 이용하는 비디오 인코딩 및 디코딩
EP2225887B1 (en) Adaptive coding of video block header information
CN1258928C (zh) 用于改良视频编码中的错误隐藏的错误隐藏方法和编码器
CN1193622C (zh) 视频信号编码/解码方法和装置及对应的无线电电信装置
RU2354073C2 (ru) Кодирование коэффициентов преобразования в кодерах и/или декодерах изображения и видеоданных
RU2497303C2 (ru) Видео кодирование с использованием преобразования больше чем 4×4 и 8×8
CN1647541A (zh) 用于在视频编码系统中指示量化器参数的方法与设备
KR101068428B1 (ko) Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상
US20100054334A1 (en) Method and apparatus for determining a prediction mode
JP2016026426A (ja) 適応可変長符号化
CN1615645A (zh) 编码动态滤波器
JP2011130410A (ja) 符号化方法、復号化方法及び装置
CN1722836A (zh) 视频编码和解码方法以及视频编码器和解码器
CN1767644A (zh) 用于视频编码的非整数像素共享
CN1615656A (zh) 对数字视频内容的图像级自适应帧/场编码
US8170094B2 (en) Method and system for scalable bitstream extraction
KR100712532B1 (ko) 단일표현과 다중표현 전환을 이용한 동영상 변환부호화장치 및 방법
CN1926862A (zh) 视频信息传输
JP2003535496A (ja) 画像シーケンスを符号化する方法または復号する方法および装置
Ma et al. Adapting x264 to asynchronous video telephony for the Deaf
Kuo et al. Distributed video coding with limited feedback requests
KR100626651B1 (ko) 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1062868

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160119

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CX01 Expiry of patent term

Granted publication date: 20051026

CX01 Expiry of patent term