CN1708992A - 用于实现健壮的视频传输的数据分割的编码的视频分组结构、多路分解器、合并器、方法和设备 - Google Patents

用于实现健壮的视频传输的数据分割的编码的视频分组结构、多路分解器、合并器、方法和设备 Download PDF

Info

Publication number
CN1708992A
CN1708992A CNA200380102503XA CN200380102503A CN1708992A CN 1708992 A CN1708992 A CN 1708992A CN A200380102503X A CNA200380102503X A CN A200380102503XA CN 200380102503 A CN200380102503 A CN 200380102503A CN 1708992 A CN1708992 A CN 1708992A
Authority
CN
China
Prior art keywords
video
dct coefficient
coding
exchanges
pbp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200380102503XA
Other languages
English (en)
Inventor
J·C·叶
Y·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1708992A publication Critical patent/CN1708992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种系统和方法，用于提供单层比特流语法，利用先进的DCT数据分割设计来消除传输期间的误码和分组损耗。这个比特流语法可用作单层比特流，或者可用于多路分解视频分组使之成为基层和加强层，以便可以具有不相等的差错保护。这个语法的一个优点是，使接收的视频分组的多路分解和合并都很简单，同时对于基层和加强层可以进行灵活的比特分配。

Description

用于实现健壮的视频传输的数据分割的 编码的视频分组结构、 多路分解器、合并器、方法和设备
技术领域
本发明涉及视频编码系统，具体来说，本发明涉及能够实现健壮的视频传输的一种先进的数据分割方案。本发明在可变带宽网络和能够适应不同比特率的并且因此能够适应不同质量的图像的计算机系统当中具有特殊的实用性。
背景技术
可伸缩的视频编码在一般情况下指的是能够提供每个视频帧数据的不同水平或数量的编码技术。目前，这样一些技术是通过视频编码标准利用的，如MPEG-1、MPEG-2、和MPEG-4(即，运动图像专家组)，从而在输出编码的视频数据时可提供灵活性。虽然MPEG-1和MPEG-2视频压缩技术限于来自于自然视频的矩形图像，但MPEG-4可视的技术的范围要宽的多。MPEG-4可视的技术能够编码自然视频和合成视频这两者，并且可以在景物中向各个目标提供基于内容的访问。
MPEG-4编码的数据流可以通过一个分层结构来描述。最高的语法结构是视觉目标序列。视觉目标序列由一个或多个视觉目标组成。每个视觉目标属于以下目标类型之一：视频目标、静止纹理目标、网眼目标、面部目标。例如，在视频目标中，在一个或多个视频目标层中编码自然的视频目标。每层都加强视频目标的时间分辨率或空间分辨率。在单层编码中，只存在一个视频目标。
每个视频目标层都包含在不同时间间隔的任意形状的两维表示(称之为视频目标平面(VOP)的一个序列。这些视频目标平面构成为视频目标平面组(GOV)。将这些视频目标平面进一步分割成宏模块。为了访问各个视频目标，MPEG-4除了编码运动和纹理信息以外，还要编码它的形状的表示。
MPEG-4视频标准应用众所周知的压缩工具。通过使用离散余弦变换(DCT)随后进行视觉加权量化，可消除空间关联性。应用基于模块的运动补偿以减小空间冗余。MPEG-4使用3个不同类型的视频目标平面，即，使用帧内编码的(I)、预测编码的(P)、和双向预测编码的(B)视频目标平面。
为了进一步减小比特率，在编码来自空间和时间冗余减小步骤的结果的时候要使用预测器。采用预测的编码来编码在帧内编码的直流系数和某些交流系数。此外，可以利用不同的方式编码运动矢量和形状信息。预测编码的扩展使用导致相邻宏模块之间的强烈依赖性，即，如果可以得到一定数目的预测的宏模块的信息的时候，只可能解码一个宏模块。
为了避免出现相互关联的宏模块的长链，MPEG-4产生可与H.261/H.263中的模块组(GOP)结构比拟的自包含的视频分组(VP)，并且产生在MPEG-1/MPEG-2中的切片的定义。MPEG-4；视频分组基于包含在一个分组中的比特数，不基于宏模块的数目。如果当前编码的视频分组的大小超过了某个阈值，这个编码器在下一个宏模块将开始一个新的视频分组。
如图1所示，MPEG-4视频分组结构包括再同步(RESYNC)标记、量化参数(QP)、标题扩充码(HEC)、宏模块(MB)数、运动和标题信息、运动标记(MM)、和纹理信息。宏模块数提供必要的空间再同步，量化参数允许再同步不同的解码过程。
运动和标题信息字段包括运动矢量(MV)的直流(DC)DCT系数的信息，以及例如宏模块类型之类的其它的标题信息。其余的交流(AC)DCT系数在纹理信息字段中编码。运动标记将直流的和交流的DCT系数分开。
MPEG-4视频标准提供差错耐受性和弹性，以便允许在一个很宽范围的存储和传输介质上都能访问图像或视频信息。可以将为M PEG-4视频标准开发的差错弹性工具分为3个主要的区域：再同步、数据恢复、和差错隐蔽。
再同步工具试图在已经检测到剩余误差(一个或多个)后允许在解码器和比特流之间实现再同步。在一般情况下，要丢弃差错之前的同步点和同步再次建立后的第一点之间的数据。如果这种再同步处理方法在定位由解码器丢弃的数据数量方面是有效的，那么，将极大地提高用于恢复数据和/或隐蔽差错效果的其它类型工具的能力。
当前由MPEG-4使用的视频分组处理方案的根据是在整个比特流中提供周期性的再同步标记。视频分组的长度不是基于宏模块的数目，而是基于在这个分组中包含的比特数。如果在当前的视频分组中包含的比特数超过了预定的阈值，则在下一个宏模块的起始点产生一个新的视频分组。
使用再同步(RESYNC)标记来区分一个新的视频分组的开始。这个标记可以与所有可能的VLC码字以及VOP起始代码区分开来。在视频分组的起始点还提供标题信息。在标题中包含重新开始解码过程所必需的数据。
在重新建立同步以后，数据恢复工具试图恢复在一般情况下可能丢失的数据。这些工具不是简单的差错校正码，而是以差错弹性方式编码数据的技术。例如，一个特殊的工具是“可逆的可变长度代码”(RVLC)。在这种处理方法中，对于可变长度码字进行设计，以便在前进方向和后退方向都能读出这些可变长度码字。
在图2中给出说明使用可逆的可变长度码字的一个例子。在一般情况下，在像这样的情况下，这里的一串差错已经损坏了一部分数据，在两个同步点之间的所有数据可能丢失。然而，如图2所示，可逆的可变长度代码使这个数据的某些部分得以恢复。
然而，还需要一种视频编码技术，其中加入改进的数据分割，以便进行健壮的视频传输。
发明内容
本发明通过允许在常规的视频分组结构中在运动标记(MM)之前和之后灵活地分配交流DCT信息来满足上述的需要。在视频分组结构中附加优先权中断点信息，有利于实现这一点。
本发明的一个方面涉及用于提供单层比特流语法的系统和方法，其中所设计的先进的DCT数据分割方案可用于消除传输期间的误码和分组损耗。比特流语法可用作单层比特流或者可用于多路分解视频分组，使之成为基层和加强层，以便可以实现不相等的差错保护。这个语法的一个优点是，使接收的视频分组的多路分解和合并很简单，同时允许对于基层和加强层进行灵活的比特分配。
在本发明的另一方面，优先权中断点还允许使用可逆的可变长度代码来消除误码。
在本发明的下一个方面，由于存在再同步标记和优先权中断点，所以本发明的视频分组结构还能够消除视频分组损耗。
本发明的一个实施例涉及编码的视频分组结构，编码的视频分组结构包括：一个再同步标记，它表示编码的视频分组结构的起始点；一个优先权中断点(PBP)的数值；和一个运动/纹理部分，运动和纹理部分包括直流DCT系数和第一组交流DCT系数。第一组交流DCT系数按照优先权中断点的数值包括在运动/纹理部分内。视频分组结构还包括一个纹理部分，纹理部分包括不同于第一组交流DCT系数的第二组交流DCT系数，并且，运动标记与运动/纹理部分和纹理部分是分开的。
本发明的另一个实施例涉及编码视频数据的方法，包括如下步骤：接收输入视频数据；确定未编码的视频数据的直流和交流的DCT系数；和格式化直流和交流的DCT系数使之成为编码的视频分组。编码的视频分组包括起始标记、包括直流的和一部分交流的DCT系数的第一子部分、包括没有包括在第一子部分中的第二部分交流DCT系数的第二子部分、在第一和第二子部分之间的分隔标记。所说的方法还包括如下步骤：按照分隔标记分开视频分组以形成第一层和第二层，第一层包括第一子部分，第二层包括第二子部分。
本发明的下一个实施例涉及用于合并一个基层和至少一个加强层以形成一个编码的视频分组的设备。所说的设备包括一个存储器和一个处理器，存储器存储计算机可执行的过程步骤，处理器执行存储在存储器中的过程步骤以便(i)接收包括直流和交流的DCT系数的基层和加强层，(ii)在加强层中搜寻运动标记，(iii)在剥离掉加强层分组标题后组合基层和加强层。优先权中断点的数值提供关于在基层中包括的交流DCT系数的范围的指示。
所提供的这个简单的总结可以迅速地理解本发明的本质。参照下面结合附图的对本发明的优选实施例的详细描述，就能够更加完整地理解本发明。
附图说明
图1描述的是一个常规的MPEG-4视频分组结构；
图2描述可逆的可变长度代码的常规的实例；
图3描述按照本发明的优选实施例的视频分组结构；
图4描述按照本发明的一个方面的视频编码系统；
图5描述按照本发明的的一个优选实施例的分割/合并操作的功能方块图；
图6描述可实施本发明的一个计算机系统；
图7描述在图4中所示的计算机系统中的个人计算机的体系结构；
图8是描述本发明的一个实施例的流程图；
具体实施方式
现在参照附图3，所示的视频分组(VP)结构包括一个优先权中断点(PBP)。如图3所示的再同步标记、宏模块数(MB)、量化参数(QP)、和标题扩充码(HEC)诸元素都与图1所示的相同。然而，图1的运动标记(MM)现在是可移动运动标记(MMM)。优先权中断点通过向交流DCT系数的优先权中断点发出信号允许在可移动运动标记之前和之后灵活地分配交流DCT信息。由于对于每个DCT模块都有64个运行长度对的最大值，所以可以用6比特的固定长度的代码编码优先权中断点的数值。
下面结合图4讨论如图3所示的视频分组的优点。图4表示一个视频系统100，它具有分层的编码和传输优先权。一个分层的源编码器110编码输入视频数据。多个通道120携带编码的数据。分层的源解码器130解码编码的数据。
实施分层编码有不同的方式。例如，在时域分层编码中，基层包含具有较低帧速率的比特流，加强层包含获得较高帧速率的输出的增加信息。在空域分层编码中，基层编码原始视频序列的子采样版本，加强层包含用于在解码器获得较高空间分辨率的附加信息。
在一般情况下，不同的层使用不同数据流，并且对于通道差错具有截然不同的容差。为了减小通道差错，分层编码通常与传输优先化结合起来，以使基层能以较高的差错保护程度进行传递。如果基层丢失，包含在加强层中的数据可能就是无用的。
如图3所示的视频分组结构的一个优点是，它允许只通过寻找每个视频分组中的可移动运动标记来分割视频分组，使之成为基层和加强层。下面对此还要进行更加详细地描述。
此外，图3的视频分组允许对于微小的基层(BL)视频质量进行灵活的控制。理想的基层是通过适当地选择优先权中断点进行控制的。视频系统100可以具有一个或多个预编程的缺省的优先权中断点，这些预编程的缺省的优先权中断点基于不同的标准和/或用户可选择的优先权中断点。优先权中断点选择标准例如可能基于：
(1)当前可能得到的传输通道120的数目；
(2)当前可能得到的传输通道120的类型/质量；
(3)当前可能得到的传输通道120的可靠性；
(4)用户对于基层视频质量的爱好。
优先权中断点的值还可以根据选择标准的变化和/或从接收端接收的反馈的变化进行动态控制。例如，如果一个视频分组丢失和/或由于差错而遭破坏，优先权中断点可能响应这些变化产生动态的变化，以增加/减小基层的视频质量。增加基层的视频质量可以保证：在接收端的解码信息至少具有预定的视频质量，即使一个或多个加强层丢失亦是如此。
在图5中表示出基层(BL)和加强层(EL)分割的方块图。在发送端，一个多路分解器111(它可能是如图4所示的分层的源编码器110一部分)分离如图3所示的视频分组，使之成为一个基层200和一个或多个加强层201(在图5中只表示出一个加强层201)。在接收端，一个合并器131(它可能是分层的源解码器130的一部分)合并基层200和一个或多个加强层201。
可移动运动标记(MMM)的搜寻操作只可能引起微小的计算开销，这是因为可移动运动标记是唯一的，并且没有任何来自其它数据如交流DCT系数的可移动运动标记的竞争。与常规的基层和加强层编码器/解码器相比，这就使多路分解器111和合并器131的设计成为一种简便廉价的硬件或软件设计。
在合并器中，当要组合基层和加强层时，合并器只需简单地定位优先权中断点、剥离加强层分组标题、并将可移动运动标记和纹理信息加到基层上。这样，就组合了基层和加强层，改进了如图3所示的视频分组结构。使用优先权中断点向合并器131(或解码器)表示交流的DCT系数中的哪一部分包括在这个基层之中。
此外，通过在一个比较可靠的传输通道上传送优先权中断点的值以及对应的低频DCT系数(即，直流的和某些交流的DCT系数)，可以实现DCT信息的较大动态分配。这在一个或多个加强层视频分组丢失的情况下能够更加有效地控制视频的最低质量。在这方面，如图1所示的常规MPEG-4视频分组只能从剩余的交流DCT信息中分离出直流DCT信息，这只能对基层中的视频质量进行最小的控制。
要说明的是，即使没有像图5所示的那样分开视频分组，通过组合误码和分组损耗也将使单层语法变为有用的。就此而论，如果在可移动运动标记之后有误码，直流的DCT分量和低频的交流DCT分量仍旧是可以解码的，并且可用于提供最低的视频质量。通过调节优先权中断点的值可以控制最低视频质量。在单或双层中本发明的这种内部可操作性的唯一开销是在视频结构内引入新的字段(即优先权中断点)产生的比特开销。然而，如以上所述的，这只是几个比特(如6个比特)，如果考虑到视频分组的正常的大小(约为几百个字节)，这几个比特是可以忽略的。
图6表示可以实施本发明的一个计算机系统9的代表性实施例。如图6所示，如图4所示，个人计算机(PC)10包括网络连接11和传真/调制解调器连接12，网络连接11用于连接网络，如可变带宽网络或因特网，传真/调制解调器连接12用于与其它的远程源如视频照相机(未示出)连接。个人计算机10还包括：显示屏幕14，用于向用户显示信息(包括视频数据)；键盘15，用于输入文本和用户命令；鼠标13，用于在显示屏幕14上定位光标并且用于输入用户命令；盘驱动器16，用于从安装在其中的软盘上读出和向所说的软盘上写入；和CD-ROM驱动器17，用于访问存储在CD-ROM中的信息。个人计算机10还可以有一个或多个安装在一起的外围设备，例如扫描仪(未示出)，用于输入文件文本图像、图形图像、或类似图像，个人计算机10还可以有打印机19，用于输出图像、文本、或类似物。
图7表示个人计算机10的内部结构。如图7所示，个人计算机10包括存储器20，存储器20包括计算机可读介质，如计算机硬盘。存储器20存储数据23、应用程序25、打印驱动器24、和操作系统26。在本发明的优选实施例中，操作系统26是一个窗口操作系统，如Microsoft Windows 95；当然，本发明还可以与其它操作系统一起使用。在存储在存储器20的应用程序当中，有可伸缩的视频编码器21和可伸缩的视频解码器22。可伸缩的视频编码器21按照下面详细描述的方式进行可伸缩的视频数据编码，可伸缩的视频解码器22解码由可伸缩的视频编码器21规定的方式已经编码的视频数据。下面将详细描述这些应用程序的操作。
在个人计算机10中还包括显示接29、键盘接30、鼠标接口31、盘驱动器接口32、CD-ROM驱动器接口34、计算机总线36、RAM37、处理器38、和打印机接40。处理器38最好包括微处理器或类似物，用于执行如以上所述的从RAM调出的应用程序。这样的应用程序，其中包括可伸缩的视频编码器21和可伸缩的视频解码器22，都可以存储在存储器20中(如以上所述)，或者，按照另一种方式，存储在盘驱动器16的软盘上，或者存储在CD-ROM驱动器17的CD-ROM上。处理器38经过盘驱动器接32访问存储在软盘上的应用程序(或者其它数据)，并且经过CD-ROM驱动器接34访问存储在CD-ROM上的应用程序(或者其它数据)。
使用键盘15或鼠标13可以启动个人计算机4的应用程序的执行和其它任务，来自键盘15和鼠标13的命令是分别经过键盘接口30和鼠标接口31传送到处理器38的。来自在个人计算机10上运行的应用程序的输出结果可由显示接29处理，然后在显示器14上向用户显示，或者，按照另一种方式，经过网络连接11输出。例如，已经由可伸缩的视频编码器21编码的输入视频数据通常经过网络连接11输出。另一方面，例如从可变带宽网络已经接收的编码的视频数据由可伸缩的视频解码器22解码，然后在显示器14上显示。为此，显示接29最好包括一个显示处理器，以便根据处理器38在计算机总线36提供的解码的视频数据形成视频图像和将这些图像输入到显示器14。可以经过打印机接40向打印机19提供来自在个人计算机上运行的其它应用程序(如文字处理程序)的输出结果。处理器38执行打印驱动器24，以实现这样的打印操作在传输到打印机19之前的适当格式化。
图8是说明如图4所示的视频系统100的功能的一个流程图。在步骤S101开始，将原始的未编码的视频数据输入到视频系统100内。这个视频数据可以经过网络连接11、传真/调制解调器连接12、或经过视频源进行输入。为了本发明的目的，这个视频源可以包括任何类型的视频捕获设备，它的一个例子是数字视频照相机。
接下去，步骤S202使用标准技术编码原始视频数据。步骤S202可以通过分层的源编码器111执行。在本发明的优选实施例中，分层的源编码器111是一个MPEG-4编码器。在步骤S303，使用在编码步骤S202期间的缺省的或者用户选择的优先权中断点的值。最终的视频分组具有如图3所示的结构。
在步骤S404，定位可移动运动标记。然后在步骤S505把视频分组分离成基层和加强层。然后，在步骤S606，发送这个基层和加强层。最好使用可以得到的最可靠的和/或最高优先权的通道发送基层。
任选地，在步骤S707，例如在流式视频应用中可以监视各个传输参数和通道数据。这就允许按照传输期间的变化动态地改变优先权中断点。
在步骤S808，通过解码器(例如分层的源解码器130)接收这些视频分组，然后合并并且解码这些视频分组。
虽然这里描述的本发明的实施例最好实施为计算机代码，然而，使用分立的硬件元件和/或逻辑电路也可实现如图8所示的所有步骤或某些步骤。还有，虽然在个人计算机环境中已经描述了本发明的编码和解码技术，然而这些技术还可以用在任何类型视频设备中，其中包括(但不限于)数字电视/机顶盒、视频会议设备、等等。
至此，已经参照特定的说明性实施例描述了本发明。应该理解，本发明不限于上述的实施例及其改进，在不偏离所附的权利要求书的构思和范围的情况下本领域的普通技术人员还可以进行许多变化和改进。

Claims (17)

1.一种编码的视频分组结构，包括：
一个再同步标记，它表示编码的视频分组结构的起始点；
一个优先权中断点(PBP)的数值；
一个运动/纹理部分，包括直流DCT系数和第一组交流DCT系数，第一组交流DCT系数按照优先权中断点的数值包括在运动/纹理部分内；
一个纹理部分，纹理部分包括不同于第一组交流DCT系数的第二组交流DCT系数；并且，
一个运动标记，分开运动/纹理部分和纹理部分。
2.根据权利要求1所述的编码的视频分组结构，其中：第一组交流DCT系数包括第一范围的交流DCT系数，所说第一范围交流DCT系数从第一非直流DCT系数开始到按照优先权中断点的值选择的一个上限值为止。
3.根据权利要求2所述的编码的视频分组结构，其中：第二组交流DCT系数大于所说的上限值。
4.一种多路分解器，用于按照运动标记将根据权利要求1所述的编码的视频分组结构分割为一个基层和一个或多个加强层。
5.根据权利要求4所述的多路分解器，其中：多路分解器是一个分层的源编码器的一部分。
6.根据权利要求5所述的多路分解器，其中：分层的源编码器是一个MPEG-4编码器。
7.一种合并器，用于合并根据权利要求4所述分割的基层和一个或多个加强层。
8.根据权利要求4所述的合并器，其中：合并器是分层的源解码器的一部分。
9.根据权利要求8所述的合并器，其中：分层的源解码器是一个MPEG-4解码器。
10.一种编码视频数据的方法，包括如下步骤：
接收输入视频数据；
确定未编码的视频数据的直流和交流的DCT系数；
格式化直流和交流的DCT系数使之成为编码的视频分组，编码的视频分组包括起始标记、包括直流的和一部分交流的DCT系数的第一子部分、包括没有包括在第一子部分中的第二部分交流DCT系数的第二子部分、在第一和第二子部分之间的分隔标记；
按照分隔标记分开视频分组以形成第一层和第二层，第一层包括第一子部分，第二层包括第二子部分。
11.根据权利要求10所述的方法，进一步还包括如下步骤：在不同的传输通道上发送第一和第二层。
12.根据权利要求10所述的方法，其中的格式化步骤还包括如下步骤：使用优先权中断点的值来确定包括在第一子部分中的交流DCT系数部分。
13.根据权利要求10所述的方法，其中：优先权中断点的值是基于预先确定的选择标准或者由用户规定。
14.根据权利要求13所述的方法，其中：在编码随后输入的视频数据期间可以按照预先确定的选择标准改变优先权中断点的值。
15.一种用于合并一个基层和至少一个加强层以形成编码的视频分组的设备，所说的设备包括：
一个存储器，用于存储计算机可执行的过程步骤；
一个处理器，用于执行存储在存储器中的过程步骤以便(i)接收包括直流和交流的DCT系数的基层和加强层，(ii)在加强层中搜寻标记，(iii)按照所说的标记来组合基层和加强层，
其中：一个标题的数值提供在基层中包括的交流DCT系数的范围的指示。
16.根据权利要求15所述的设备，其中：所说的标题数值是一个优先权中断点，所说的标记是运动标记。
17.根据权利要求15所述的设备，进一步还包括：用于解码所说的编码的视频分组的装置。
CNA200380102503XA 2002-10-30 2003-10-21 用于实现健壮的视频传输的数据分割的编码的视频分组结构、多路分解器、合并器、方法和设备 Pending CN1708992A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/284,217 US20040086041A1 (en) 2002-10-30 2002-10-30 System and method for advanced data partitioning for robust video transmission
US10/284,217 2002-10-30

Publications (1)

Publication Number Publication Date
CN1708992A true CN1708992A (zh) 2005-12-14

Family

ID=32174821

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200380102503XA Pending CN1708992A (zh) 2002-10-30 2003-10-21 用于实现健壮的视频传输的数据分割的编码的视频分组结构、多路分解器、合并器、方法和设备

Country Status (7)

Country Link
US (1) US20040086041A1 (zh)
EP (1) EP1559276A1 (zh)
JP (1) JP2006505180A (zh)
KR (1) KR20050070096A (zh)
CN (1) CN1708992A (zh)
AU (1) AU2003269397A1 (zh)
WO (1) WO2004040917A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246523A (zh) * 2008-12-15 2011-11-16 索尼爱立信移动通讯有限公司 多媒体流组合
CN101647288B (zh) * 2007-02-16 2012-12-05 瑞典移动影像股份有限公司 生成数据流并识别在数据流内的位置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7735111B2 (en) * 2005-04-29 2010-06-08 The Directv Group, Inc. Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized
KR20060122671A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
US20080159180A1 (en) * 2005-07-20 2008-07-03 Reha Civanlar System and method for a high reliability base layer trunk
US7933294B2 (en) 2005-07-20 2011-04-26 Vidyo, Inc. System and method for low-delay, interactive communication using multiple TCP connections and scalable coding
US8289370B2 (en) * 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
AU2006330074B2 (en) * 2005-09-07 2009-12-24 Vidyo, Inc. System and method for a high reliability base layer trunk
EP1952631A4 (en) * 2005-09-07 2012-11-21 Vidyo Inc SYSTEM AND METHOD FOR SCALABLE AND DECELERATING VIDEO CONFERENCES WITH SCALABLE VIDEO CODING
CN102036071B (zh) * 2005-12-08 2014-04-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
SE531398C2 (sv) * 2007-02-16 2009-03-24 Scalado Ab Generering av en dataström och identifiering av positioner inuti en dataström
DE102007061014A1 (de) * 2007-12-18 2009-06-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Kraftfahrzeug mit einer verlagerbaren Dachanordnung und einem Überrollschutzelement
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
JP5833682B2 (ja) 2011-03-10 2015-12-16 ヴィディオ・インコーポレーテッド スケーラブルなビデオ符号化のための依存性パラメータセット
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US12015799B2 (en) * 2021-09-13 2024-06-18 Apple Inc. Systems and methods for data partitioning in video encoding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101647288B (zh) * 2007-02-16 2012-12-05 瑞典移动影像股份有限公司 生成数据流并识别在数据流内的位置
CN102246523A (zh) * 2008-12-15 2011-11-16 索尼爱立信移动通讯有限公司 多媒体流组合
CN102246523B (zh) * 2008-12-15 2014-06-25 索尼爱立信移动通讯有限公司 多流视频发射方法和系统、多流视频组合方法以及用于接收多流视频的通信设备

Also Published As

Publication number Publication date
US20040086041A1 (en) 2004-05-06
KR20050070096A (ko) 2005-07-05
JP2006505180A (ja) 2006-02-09
EP1559276A1 (en) 2005-08-03
WO2004040917A1 (en) 2004-05-13
AU2003269397A1 (en) 2004-05-25

Similar Documents

Publication Publication Date Title
CN1708992A (zh) 用于实现健壮的视频传输的数据分割的编码的视频分组结构、多路分解器、合并器、方法和设备
US5278646A (en) Efficient frequency scalable video decoding with coefficient selection
JP5144522B2 (ja) スケーラブルビデオ符号化でｒｏｉを定義し、再構成するための装置および方法
CN1254952C (zh) 数字信息的高效传输和重放
EP1529401B1 (en) System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
CN1253014C (zh) 图像编码方法及设备和图像解码方法及设备
KR101041973B1 (ko) 플래그 부호화 방법, 플래그 복호화 방법, 및 상기 방법을이용한 장치
CN1361991A (zh) 视频编码
KR20010023674A (ko) 호환가능한 비디오 코딩 시스템
CN101543078A (zh) 信息处理设备和方法
CN1689334A (zh) 使用多描述分层编码提高传输效率的方法和系统
CN112514385B (zh) 视频解码方法及装置、计算机设备和计算机可读介质
CN100508622C (zh) 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法
CN112400320B (zh) 对已编码视频序列进行解码的方法、装置和可读介质
CN113348666B (zh) 用于对编码视频流进行解码的方法和系统
US7242714B2 (en) Cyclic resynchronization marker for error tolerate video coding
KR20000031031A (ko) 영상신호의 전송/복원 방법 및 장치
JP2006523991A (ja) レート歪みをビデオ符号化に最適化したデータ分割をパラメトリック・レート歪みモデルを用いて行うシステム及び方法
US8175401B2 (en) Image processing apparatus and computer readable medium storing program therefor
US20060268989A1 (en) Bit stream generation method and bit stream generatation apparatus
JP2004519908A (ja) Ｍｐｅｇ４ビデオデータを符号化する方法及び装置
CN1926862A (zh) 视频信息传输
KR20050089868A (ko) 비디오 코딩 및 디코딩 방법
JP2002527960A (ja) エラーレジリエンスを改善するためのデータ区分装置と方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication