CN1685731A - 可分级视频编码 - Google Patents

可分级视频编码 Download PDF

Info

Publication number
CN1685731A
CN1685731A CNA038231158A CN03823115A CN1685731A CN 1685731 A CN1685731 A CN 1685731A CN A038231158 A CNA038231158 A CN A038231158A CN 03823115 A CN03823115 A CN 03823115A CN 1685731 A CN1685731 A CN 1685731A
Authority
CN
China
Prior art keywords
data
frame
video
data subset
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038231158A
Other languages
English (en)
Inventor
I·基伦科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1685731A publication Critical patent/CN1685731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

视频编码器包括与处理器(103)连接的视频帧接收器(101)，该处理器(103)用于根据接收到的视频帧和预测的帧而得到相关帧。该处理器与离散傅立叶变换(DCT)处理器(105)连接，该DCT处理器(105)再与用于产生相关帧的量化后空间频率系数的量化器(107)连接。该量化器(107)的输出被馈送到分离器，该分离器分离出具有低频分量的数据子集和具有频率分量的第二数据子集。在包括逆量化器(111)、逆DCT处理器(113)、运动补偿处理器(115、117)和预测帧处理器(104)的编码环路中使用该第一子集。因此，通过仅考虑各帧的简化后的数据集可以简化编码环路。发送器(119)将视频数据作为第一和第二数据子集的渐进式可分级流发送。

Description

可分级视频编码
技术领域
本发明涉及一种视频编码器和视频编码方法，特别是但不局限于一种用于产生压缩视频信号的视频编码系统。
背景技术
目前视频信号正在越来越广泛地作为数字视频信号来被广播和播送。为了保持低数据率，通常使用多种形式的视频压缩。因此，已经定义了多种不同的视频压缩标准。一种广泛使用的压缩标准是MPEG-2(运动图像专家组)标准，它可用于例如地面和卫星数字TV广播、DVD和数字视频记录器。
该MPEG-2视频标准包括多个不同级别和轮廓，以便允许针对根据视频质量折衷不同的数据率和编码器和解码器的复杂度。
在已知的视频系统中，可以使用多种不同的视频编码方案或其变型。因此，为了将一个压缩后的视频流发送给具有不同功能、性能和要求的多个解码器，有时要使用可分级的(scalable)编码后视频流。该可分级性(scalability)可以使解码器采用视频流的一部分并据此解码全部图像。解压缩后的图像的质量级别取决于解码器使用多少视频流，以及该可分级压缩后的流是怎样构成的。
在当前视频压缩标准中，通过分层结构实现空间、信噪比(SNR)和时间的可分级性。该编码后视频信息被分为对应不同层的两个或更多独立的流。在这种标准可分级结构中，就像在未分层编码方案中一样使用混合预测编码循环来对基层(BL)编码。这样可产生数据流，当解码该数据流时，该数据流可以产生低质量的全部图像。多个增强层(EL)与该基层链接，并包括对应相对于基层图像的残留信号的数据。该EL产生增强数据流，当增强数据流与基层信息合并时，该增强数据流可以提供更好地视频质量级别。由于解码器可以选择使用额外的增强层以便提高视频信号的质量，因此该额外增强层可以实现视频信号的可分级性。
传统可分级性具有很多缺点。例如，可分级性非常不灵活，仅在增强层中可以获得可分级性。为了实现更高级的可分级性，需要更多的增强层，从而导致编码开销增加以及压缩效率降低。
最近，开始出现其他可分级视频编码方案。一些方案提供了完全渐进式结构，其中传送单独的渐进数据流。该数据流可以被局部编码，从而可以适应变化的传输条件、接收器容量和应用要求。但是，在运动预测视频编码方案中实现完全渐进式可分级性有一个重要问题，就是易于受到所谓的漂移效应的影响。当编码循环中用于运动补偿的参考帧在解码器侧不能使用时，就会发生这种问题，从而导致视频质量的显著降低。解决这个问题的建议方案需要增加解码器的复杂度。
在SPIE 2000年1月图像和视频通信和处理2000的会议记录，vol.2974，p.643-653中，M.van der Schaar，Y.Chen，H.Radha所著的“Embedded DCT and Wavelet Methods for Fine Granular ScalableVideo：Analysis and Comparison”中提出了被称为细粒可分级性(FGS)编码器的视频编码器。该FGS编码器将渐进方法和分层方法结合起来，并提出编码后视频信号包括两个或更多层。该基层包括基本视频数据，可以通过使用运动预测的非可分级编码器对其进行有效压缩。该增强层包括对应原始图像和所发送的基层图像之间的差别的数据。该增强层的数据是作为渐进数据流被发送的。这可以通过位平面编码来实现，其中首先发送所有数据值中最高有效位，然后是所有数据值的次最高有效位，以此类推，直到传送所有数据值的最低有效数据位为止。
但是，该FGS编码器也有很多缺陷，包括：它是相对复杂的解码器和编码器，需要很大的计算资源和存储空间，它仅能用于SNR可分级性，因此对于例如空间可分级性来说还需要其他的多个层。
数字视频编码器的一个共同问题就是为了实现低数据率，需要复杂的数字信号处理。特别是与运动补偿相关的估计、预测和处理都非常复杂并且需要大量资源。这就需要使用高性能数字信号处理从而导致视频编码器的成本和功耗增加。
因此，现有的编码系统需要大量资源、复杂并且不灵活，需要提供一种改进的视频编码系统。
发明内容
因此，本发明提供一种改进的视频编码系统，它可以减少或缓和上述一个或更多缺陷或其组合。
因此，根据本发明的第一方面，提供了一种用于编码视频帧的视频编码器；该视频编码器包括：用于接收视频帧的接收器；用于从所接收的视频帧和所预测的帧中得到相关帧的处理器；用于将相关帧的数据分为第一数据子集和第二数据子集的分离器；用于响应于接收到的视频帧以及第一和第二数据子集中的第一数据子集而产生运动补偿参数的运动补偿处理器；用于响应运动补偿参数、第一数据子集和所接收到的视频帧而产生预测的帧的预测帧处理器；和用于发送视频信号的发送器，该视频信号包括运动补偿参数、第一数据子集和第二数据子集。
本发明的优点在于显著降低了编码器的复杂度，因为在编码循环中仅使用了简化后的数据(reduced data)集。通过将其分为第一和第二数据子集，可以实现可分级性。另外，由于运动补偿仅是基于第一数据子集的，而该第一数据子集将作为基层被发送，因此可以进一步防止漂移误差。
根据本发明的第一特征，视频编码器包括用于对分离前的相关帧执行频率变换的频率变换处理器，和用于在产生运动补偿参数之前对第一数据子集执行逆频率变换的逆频率变换处理器。这使得可以在频率域进行处理，从而可以在频率域中执行分离为第一和第二数据子集。该频率变换最好为离散余弦变换。
根据本发明的另一个特征，视频编码器还包括用于在分离前量化相关帧的量化器和用于在产生运动补偿参数之前对第一数据子集执行逆量化的逆量化器。由于更高频率导致系数低至可以舍位为零，因此该量化可以实现数据的显著压缩。
根据本发明的不同特征，发送器可以将运动补偿参数和第一数据子集作为基层发送，将第二数据子集作为至少一个增强层来发送。从而可以实现所编码的视频流的有效可分级性。另外，由于运动补偿仅局限于基层，因此可以显著降低漂移效应的影响。
根据本发明的另一个特征，第一数据子集包括质量重要性比第二数据子集的数据相对更高的数据。该第一数据子集最好包括比第二数据子集的数据对应更低空间频率的数据。因此第一数据子集包括对应所编码的视频帧的不成比例高的信息内容。因此，由于处理的是最重要的数据，因此可以降低将运动补偿基于简化的数据子集的影响。
根据本发明的另一个特征，分离器用于将空间频率低于阈值的相关帧的数据分为第一数据子集，将空间频率不低于阈值的相关帧的数据分为第二数据子集。这样可以非常简单和容易地实现分离，并且保持高性能。
根据本发明的不同特征，发送器用于产生和发送对应第一和第二数据子集中的至少一个的渐进式可分级数据流。该发送器最好按照视频质量重要性的降序来发送第一和第二数字子集中的至少一个的数据，特别是该发送器用于按照相关空间频率的升序来发送第一和第二数据子集中的至少一个的数据。因此，可以按照可分级性渐进的方式来发送数据子集中的一个或更多个，从而可以使用多种解码器并提高误差性能。
根据本发明的另一个特征，发送器用于将第一和第二数据子集中的至少一个的数据排列为多个子带组，这些子带组包括多个具有实质相同的相关空间频率的相关帧中至少一个的所有数据值，该发送器还用于随后按照相关空间频率的升序来发送各子带组。因此，产生了一个非常有效的渐进式可分级数据流，可以使解码器仅根据所接收到的数据的子集就产生整个帧。随着接收到的数据越多，可以提高该帧的质量。另外，系统也可以用于空间和信噪比(SNR)的可分级性。
根据本发明的一个不同特征，视频解码器为视频代码转换器，所接收到的视频帧为压缩后的视频帧。视频编码器可以实现降低比特率和/或增加压缩率和/或由已经压缩后的视频信号得到渐进可分级的数据流。
根据本发明的第二方面，该方法包括以下步骤：接收视频帧；由接收到的视频帧和预测的帧得到相关帧；将相关帧的数据分为第一数据子集和第二数据子集；响应于接收到的视频帧以及第一和第二数据子集中的仅第一数据子集而产生运动补偿参数；响应于运动补偿参数、第一数据子集和所接收到的视频帧而产生预测的帧；和发送视频信号，该视频信号包括运动补偿参数、第一数据子集和第二数据子集。
参照下面将要描述的实施例可以更清楚地得到本发明的这些和其他方面和优点。
附图说明
下面将参照附图以例子的方式来描述本发明的实施例。
图1示出根据本发明实施例的视频编码器；
图2示出根据本发明实施例分离DCT系数块的例子；
图3示出根据本发明实施例将DCT系数重新分组的例子；
具体实施方式
下面将特别参考MPEG-2视频压缩方案来描述本发明的最佳实施例，但是很明显本发明并不局限于这种应用，它还可以同样应用于包括未压缩视频编码方案和代码转换方案等其他多种视频编码方案中。
图1示出根据本发明最佳实施例的视频编码器100。
该视频编码器100包括用于接收视频帧的接收器101。在该最佳实施例中，视频接收器只是一个向视频源(未示出)提供适当接口的功能模块，它产生将要被编码的视频帧。根据该应用，视频源可以为例如视频照相机、视频存储单元、视频编辑系统或任何用于提供视频帧的其他适当装置。
视频编码器100还包括用于从接收到的视频帧和预测的帧得到相关帧的第一处理器103。第一处理器103与接收器101和产生预测帧的预测帧处理器104连接。在该最佳实施例中，第一处理器103只包括减法单元，该减法单元用于从接收到的视频帧中减去预测帧。如下所述，预测帧是基于对前面帧的处理而产生的。因此该相关帧包括与残留数据相联系的数据，该数据是通过将真实接收到的视频帧和由解码器产生的预测帧进行比较而产生的。
第一处理器103的输出与频率变换处理器105连接，它将相关帧的数据值转换为二维空间频率域。在最佳实施例中，频率变换为离散余弦变换(DCT)，本领域技术人员都知道怎样实现该变换。在该最佳实施例中，该频率变换处理器105的输出与量化器107连接。该量化器107根据量化轮廓(profile)对频率变换的系数进行量化，本最佳实施例中该量化轮廓简单地将这些系数值映射为等长的量化级。由于视频信号通常包括的低空间频率分量比高空间频率分量多，因此很多对应较高空间频率的系数都相对很小。通常将量化设定为可以将这些值中的很多量化为零。这样对视频质量的影响相对很小，但是提供有效压缩，因为可以非常有效地传输零系数。
虽然本发明也可以应用于不包括用于执行频率变换和量化的功能模块的编码系统，但是由于它们可以实现有效压缩并从而显著降低数据率传输要求，因此该最佳实施例还是包括这些方面。
量化器107与分离器109连接，分离器109将相关帧的数据分为第一数据子集和第二数据子集。在某些实施例中，还将第二数据子集进一步分为多个子集。在该最佳实施例中，分离是使对视频质量影响相对较大的量化器的输出数据包括在第一数据子集中，使对视频质量影响相对较小的输出数据包括在第二数据子集中。这样，第一数据子集对应于少量数据，但是却具有与视频帧相关的不成比例高的信息内容。
分离器109与逆量化器111连接。但是，这种连接并不支持全部相关帧，而仅支持第一子集的数据。因此，下面的操作仅需要对简化后的子集执行，而不用对相关帧的全部数据子集执行。逆量化器执行量化器107所执行量化的(在某种程度上)反向操作(complementary)。它执行分级或加权操作，是对量化器107执行操作的反向操作。因此，如果例如量化包括将数据除以2，则逆量化需要将数据乘以2。但是，它不会加入在原始量化中丢失的任何小数值。这样，逆量化将模拟接收视频解码器中执行的操作，且该逆量化器的输出将对应(在频率域中)在解码器中将产生的帧。
该逆量化器111与用于对第一数据子集执行逆频率变换的逆频率变换处理器113连接。所执行的逆变换是对频率变换处理器105所执行操作的反向操作，因此在最佳实施例中，该逆变换为逆DCT操作。与逆量化相似的是，该逆频率变换对应于在视频解码器中执行的频率变换，且从该逆频率变换处理器113输出的数据为与解码器将要产生的相关帧相对应的相关帧。
在最佳实施例中，逆频率变换处理器113与合并器115连接，该合并器115将频率变换处理器113产生的相关帧加入到第一处理器103使用的预测图像中。因此，合并器115的输出对应于由视频解码器从预测帧和第一数据子集将要产生的视频帧。
合并器115的输出与运动补偿处理器117连接。该运动补偿处理器117还与接收器101连接，从而接收原始视频帧。根据这些视频帧和由第一数据子集产生的帧，运动补偿处理器117产生运动补偿参数。任何公知的用于对视频信号进行运动补偿的方法都可以用于本发明，从而包括在本发明的范围内，而不脱离本发明。特别是，运动补偿可以包括通过对多个随后帧的图像片断进行比较而作出的运动检测。它可以产生运动补偿参数，这些运动补偿参数包括表示特定图像片断怎样从一个帧运动到下一个帧的运动矢量。因此，特别地，运动补偿处理和运动补偿参数可以包括结合MPEG-2视频压缩方案规定和知道的处理和参数。
该运动补偿处理器117与预测帧处理器104连接。该预测帧处理器104响应于运动补偿参数和接收到的视频帧而产生预测帧。在最佳实施例中，预测帧处理器104和运动补偿处理器117是作为单个功能单元来实现的，预测帧的产生包括考虑在合并器115的输出端产生的数据。
因此，在最佳实施例中，运动补偿和预测帧的产生是基于接收到的帧和一个或更多帧的第一数据子集。但是，这些处理中并未包括第二数据子集的数据，因此该处理仅需要对简化的数据子集进行操作，从而显著降低了复杂度和所需资源。
视频编码器还包括用于发送视频信号的发送器119，该视频信号包括运动补偿参数、第一数据子集和第二数据子集。在一个简单的实施例中，利用与将要传输视频信号的通信信道相适应的发送器将该数据作为单独数据流简单地发送出去。但是，该视频编码器最好将运动补偿参数和第一数据子集作为第一数据流发送，将第二数据子集至少作为第二独立数据流发送。在最佳实施例中，发送器119可以将运动补偿参数和第一数据子集作为基层发送，将第二数据子集作为至少一个增强层发送。
由于本最佳实施例中的第一数据子集包括比第二数据子集对视频质量更为重要的数据，因此在该简单实施例中解码器可以仅根据运动补偿参数和第一数据子集的数据得到全部帧。所得到的图像的质量比较低，但是利用解码器对第二数据子集的数据进行选择性处理可以增强该图像质量。与传统技术不同，本实施例中的多个不同层并不是通过分离或分割最终编码后的视频信号来实现的，而是作为视频编码的主要部分来执行的。特别是，仅利用与基层相关的数据就可执行视频编码循环，从而实现复杂度的显著降低。
由于环路的运动补偿仅基于第一数据子集的数据，因此视频编码器和视频解码器中的运动补偿处理都仅受基层的影响。因此，增强层信息(第二数据子集)的任何损失都不会导致出现漂移错误。由于基层(第一数据子集)包括实质上较低的频率信息，因此重建的图像会比较模糊，但是它也可避免高频噪声，这些高频噪声会使运动估计-补偿变得复杂。因此，对于编码和解码侧来说，对低频图像(第一数据子集)的运动估计-补偿处理比对原始帧要更简单。
任何用于将相关帧的数据分为第一和第二数据子集的适当标准或算法(最佳实施例中为DCT和量化)都可以在不损害本发明的情况下被适用。该第一数据子集最好包括比第二数据子集的数据具有更高质量重要性的数据，特别是对于最佳实施例，该第一数据子集包括对应比第二数据子集的数据更低空间频率的数据。在该最佳实施例中，通过分离器可以实现这一目的，该分离器包括一装置，用于将具有低于给定阈值的空间频率的相关帧的数据分为第一数据子集和将具有不低于阈值的空间频率的相关帧的数据分为第二数据子集。
图2示出用于将包括64个系数的量化后DCT块201(例如MPEG-2中使用的标准)分为两个数据子集的处理的例子。在该例子中，假设用于分离的给定阈值203是根据粗体线所示的二维空间频率级来给出的。所有位于分离级以上的系数(即，朝向对应较低空间频率的左上角)都包括在第一数据子集中。位于分离级以下的剩余的高频DCT系数(即，朝向右下角)都包括在第二数据子集中。该分离级与第一和/或第二数据子集数据流内的编码后系数一起发送到视频解码器。这样提供了一种非常简单和灵活的分离数据的方法，并允许分离级动态改变。根据该实施例，甚至可以对各DCT系数块分别独立设定分离级，且该分离级可以基于DCT系数的适应性量化处理。对分离级的控制最好作为数据率控制机构的一部分来执行。
在最佳实施例中，分离是基于对角分离级和之字形扫描结构的，但是很明显还有很多其他分离算法也可以使用，包括例如选择低频区域的方法，诸如矩形带状选择。
与位平面可分级性仅能提供SNR可分级性的FGS视频编码器相反，最佳实施例中执行的频率系数分离可以产生空间分辨率可分级流。特别的，主要包括低频信息的基层可用于以较低的空间分辨率来解码帧。
另外，在最佳实施例中，发送器119包括用于分别为第一和第二数据子集中的至少一个或最好两个产生独立可分级数据流的功能。最好通过发送器119来实现这一目的，该发送器119包括用于按照视频质量重要性降序、特别是按照相关空间频率升序来发送第一和第二数据子集中至少一个的数据的功能。
特别是在最佳实施例中，发送器119可以将第一和/或第二子集的数据排列为多个子带组，这些子带组包括具有基本相同的相关空间频率的多个相关帧中至少一个的所有数据值。该发送器119还包括用于按照相关空间频率升序顺序发送各子带组的功能。
最佳实施例中发送器119的实现方式如图1所示。该分离器109与第一子带处理器121和第二子带处理器123连接。第一子带处理器121中输入第一数据子集的数据，第二子带处理器123中输入第二数据子集的数据。子带处理器121、123将多个DCT块的系数重新分组为整个帧中具有相同或相似空间频率的多个DCT块的系数的组。一个帧的所有DCT块最好都被重新分组，从而使各组包括对应空间频率的所有DCT系数。
图3示出根据本发明最佳实施例对DCT系数重新分组的例子。在该例子中，第一帧301包括16个DCT块303，每个DCT块303具有对应于图中由1、2、3、4表示的四个子带的四个系数。在各子带处理器中将这些系数重新排列，从而将子带1的所有系数分组到一起。因此，在该特定例子中，子带处理器121、123产生了四个组305，每个组具有16个系数。因此，子带处理器121、123产生多个组，这些组的数目对应于DCT中的系数的数目，每个组对应于一个DCT频率或子带。各组中系数的数目与给定帧中DCT块的数目相同。
子带处理器121、123都与扫描处理器125、127连接，该扫描处理器125、127按照适当的次序读出重新组织后的系数，从而产生顺序数据流。最好按照空间频率的升序读出这些重新组织后的系数，较低空间频率包含更多信息并且对于产生的视频质量更为重要。因此，在图2的例子中，首先读出子带组1，随后是子带组3，然后是子带组2，最后是子带组4。因此，在最佳实施例中，可以使用之字形扫描，但是在其它实施例中也可以使用其他扫描顺序。
扫描处理器125、127的每一个都与编码器129、131连接，这些编码器对通过适当通信信道传输的数据执行适当的编码。该编码器129、131最好包括游程编码和/或变长编码。如本领域技术人员所公知，这些编码方案可以实现无损耗数据压缩，它对于具有相同值的长序列的数据流非常有效。特别的，该游程编码和变长编码方案对于具有零值的长序列的数据流极为有效，且这些编码方案对于压缩量化后系数极为有效。
因此，在最佳实施例中，将DCT块的较低频率系数重新组织为多个子带组并进行适当扫描以形成数据流，该数据流可以作为基层。将各块剩余的高频系数重新组织为多个高频子带组并进行适当扫描以形成第二数据流，该第二数据流可以作为增强层。这样，就可以对该基层和增强层都实现渐进式可分级或嵌入的流。特别是，由于首先发送对于整个图像最重要的数据，因此可以仅从基层数据的初始子集再生(重建)出整个视频帧的图像表示。随着接收到更多数据，实现提高视频质量。
另外，由于所述系统可以提供渐进式保真和/或渐进分辨率，因此该系统可以实现空间和SNR可分级性。在第一种情况下，可以使用部分接收到的流来解码全部尺寸的图像。该基层仅利用低频内容就提供出全尺寸的模糊图像，并利用增强层流的系数来精细化该图像。在渐进式分辨率的情况下，可以使用基层的低频系数来构建具有较低空间分辨率的图像。该增强层信息可用于获得具有更高分辨率的图像。
另外，在基层中还使用了运动预测和补偿，因此在解码中将基层信息作为参考来使用可以去除或减小可能的漂移效应。而且，如果解码器仅接收到基层信息的一部分，则由于这一事实可以减小出现漂移效应的后果，首先发送整个图像的最重要的(从低频子带的)系数。该漂移误差的程度逐步取决于所接收到的基层的子带组的数目。
而且，将整个帧的所有块的DCT系数重新分组为多个相同空间频率的子带会增加连续发送的多个系数值之间的相关性。变长编码器可以使用该增加的相关性实现更高无损耗压缩，从而实现具有相同视频质量的较低数据率。
在某些实施例中，发送器可以另外或者选择使用位平面扫描。例如，可以首先发送第一子带组的所有系数的所有最高有效位，随后发送第一子带组的所有系数的所有次最高有效位等。当第一子带组的系数的所有或大多数位都已经被发送时，可以发送第二子带组的所有系数的最高有效位。
在某些实施例中，所接收到的视频帧为自压缩视频帧。因此，在某些实施例中编码器特定为代码转换器。在这些实施例中的一些中，编码器最好可以实现所接收到的和所产生的视频信号之间的数据率变化，或从非可分级代码变换为可分级压缩的流。特别是，该视频编码器并不将所接收到的压缩后视频帧解码为像素域，而是在频率域中操作。因此，在这种情况下该视频编码器并不包括频率变换，或者频率变换和其他处理单元之间的功能关系可以变化。
在MPEG-2方案的最佳实施例中，可以发送多个不同类型的帧，它们包括内(I)帧、预测(P)帧和双向(B)帧。在该实施例中，相关帧为通过从接收到的视频帧中减去预测帧而产生的剩余帧所确定的P帧。对于B帧，可以使用两个预测帧，或者等效地该预测帧可以包括两个帧或为两个帧的合成。因此，该相关帧为包括与至少一个和可能更多帧相关的信息的剩余帧。对于I帧，相关帧就等于接收到的帧，不用执行任何预测帧的减法。换句话说，对于I帧，相关帧与对应空白预测帧(即包含空数据)的空预测帧相关。因此，在最佳实施例中，该相关帧例如可以是MPEG-2I帧、P帧或B帧。
本发明可应用于所有帧或多个帧的子集。本发明也可以结构化方式或任何其他合适的方式随机应用于多个帧。特别是，在MPEG-2视频编码方案中，可以发送多种不同类型的帧，包括内(I)帧、预测(P)帧和双向(B)帧。对所有这些帧或仅对这些类型帧中的一种或两种可以执行将相关帧分为两个或更多子集的分离，或者可以将该分离仅应用于不同帧类型的多个帧的子集。
例如，通过仅将I帧的全部或一些分离为多个数据子集，传统视频编码也可以应用于所有P帧和/或B帧。
按照包括硬件、软件、固件或它们的任何结合的任何形式都可以实现本发明。但是，本发明最好被实现为在一个或更多数据处理器和/或数字信号处理器上运行的计算机软件。通过任何适当的方式都可以物理性、功能性和逻辑性实现本发明实施例的元件和部件。实际上，可以单个单元、多个单元或其他功能单元的一部分的形式实现功能性。因此可以将本发明实现为单独单元或者使其物理和功能化分布于多个不同单元和处理器之间。
虽然上面已经参照实施例描述了本发明，但是本发明并不局限于前述的特定形式。本发明的范围由所附权利要求来限定。

Claims (14)

1.一种用于编码视频帧的视频编码器；该视频编码器包括：
用于接收视频帧的接收器；
用于从所接收的视频帧和所预测的帧中得到相关帧的处理器；
用于将相关帧的数据分为第一数据子集和第二数据子集的分离器；
用于响应于接收到的视频帧以及第一和第二数据子集中的仅第一数据子集而产生运动补偿参数的运动补偿处理器；
用于响应运动补偿参数、第一数据子集和所接收到的视频帧而产生预测的帧的预测帧处理器；和
用于发送视频信号的发送器，该视频信号包括运动补偿参数、第一数据子集和第二数据子集。
2.如权利要求1所述的视频编码器，还包括用于对分离前的相关帧执行频率变换的频率变换处理器，和用于在产生运动补偿参数之前对第一数据子集执行逆频率变换的逆频率变换处理器。
3.如权利要求1所述的视频编码器，还包括用于在分离前量化相关帧的量化器和用于在产生运动补偿参数之前对第一数据子集执行逆量化的逆量化器。
4.如权利要求1所述的视频编码器，其中发送器可以将运动补偿参数和第一数据子集作为基层发送，将第二数据子集作为至少一个增强层来发送。
5.如权利要求1所述的视频编码器，其中第一数据子集包括质量重
要性比第二数据子集的数据相对更高的数据。
6.如权利要求5所述的视频编码器，其中该第一数据子集包括比第二数据子集的数据对应更低空间频率的数据。
7.如权利要求6所述的视频编码器，其中分离器用于将空间频率低于阈值的相关帧的数据分为第一数据子集，将空间频率不低于阈值的相关帧的数据分为第二数据子集。
8.如权利要求1所述的视频编码器，其中发送器用于产生和发送对于第一和第二数据子集中的至少一个的渐进式可分级数据流。
9.如权利要求1所述的视频编码器，其中该发送器按照视频质量重要性的降序来发送第一和第二数字子集中的至少一个的数据。
10.如权利要求9所述的视频编码器，其中该发送器用于按照相关空间频率的升序来发送第一和第二数据子集中的至少一个的数据。
11.如权利要求10所述的视频编码器，其中发送器用于将第一和第二数据子集中的至少一个的数据排列为多个子带组，这些子带组包括多个具有实质相同的相关空间频率的相关帧中至少一个的所有数据值，该发送器还用于随后按照相关空间频率的升序来发送各子带组。
12.如权利要求1所述的视频编码器，其中视频编码器为视频代码转换器，所接收到的视频帧为压缩后的视频帧。
13.一种用于视频帧的视频编码的方法，该方法包括以下步骤：
接收视频帧；
由接收到的视频帧和所预测的帧而得到相关帧；
将相关帧的数据分为第一数据子集和第二数据子集；
响应于接收到的视频帧以及第一和第二数据子集中的仅第一数据子集而产生运动补偿参数；
响应运动补偿参数、第一数据子集和所接收到的视频帧而产生预测的帧；和
发送视频信号，该视频信号包括运动补偿参数、第一数据子集和第二数据子集。
14.可以执行根据权利要求13的方法的计算机程序。
CNA038231158A 2002-09-27 2003-08-18 可分级视频编码 Pending CN1685731A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02079064.8 2002-09-27
EP02079064 2002-09-27

Publications (1)

Publication Number Publication Date
CN1685731A true CN1685731A (zh) 2005-10-19

Family

ID=32039179

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038231158A Pending CN1685731A (zh) 2002-09-27 2003-08-18 可分级视频编码

Country Status (7)

Country Link
US (1) US20060008002A1 (zh)
EP (1) EP1547392A1 (zh)
JP (1) JP2006500849A (zh)
KR (1) KR20050061483A (zh)
CN (1) CN1685731A (zh)
AU (1) AU2003253190A1 (zh)
WO (1) WO2004030368A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272587B (zh) * 2007-03-19 2011-03-09 展讯通信（上海）有限公司 一种视频渐进接收方法及应用其的视频彩铃接收方法
CN101601296B (zh) * 2006-10-23 2014-01-15 维德约股份有限公司 使用套叠式模式标记的用于可分级视频编码的系统和方法
CN101584220B (zh) * 2007-01-12 2014-09-17 皇家飞利浦电子股份有限公司 对视频信号进行编码的方法和系统、编码的视频信号、对视频信号进行解码的方法和系统
US9113167B2 (en) 2007-01-18 2015-08-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Coding a video signal based on a transform coefficient for each scan position determined by summing contribution values across quality layers
CN107409212A (zh) * 2015-01-16 2017-11-28 微软技术许可有限责任公司 用于编码和解码的使用变换系数的逐渐更新
CN111492660A (zh) * 2017-12-22 2020-08-04 超威半导体公司 用于有损无线链路的视频编解码器数据恢复技术
WO2021197158A1 (zh) * 2020-03-31 2021-10-07 华为技术有限公司 一种图像处理方法和图像处理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201629A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
KR100703746B1 (ko) * 2005-01-21 2007-04-05 삼성전자주식회사 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
US20060233255A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Fine granularity scalability (FGS) coding efficiency enhancements
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
US8401082B2 (en) * 2006-03-27 2013-03-19 Qualcomm Incorporated Methods and systems for refinement coefficient coding in video compression
EP2086237B1 (en) * 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785330B1 (en) * 1999-08-19 2004-08-31 Ghildra Holdings, Inc. Flexible video encoding/decoding method
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
JP3496613B2 (ja) * 2000-02-10 2004-02-16 日本電気株式会社 デジタルコンテンツのコピー制御方法及び装置
US7068717B2 (en) * 2000-07-12 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images
US6940905B2 (en) * 2000-09-22 2005-09-06 Koninklijke Philips Electronics N.V. Double-loop motion-compensation fine granular scalability
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
US20020118743A1 (en) * 2001-02-28 2002-08-29 Hong Jiang Method, apparatus and system for multiple-layer scalable video coding
US7062096B2 (en) * 2002-07-29 2006-06-13 Matsushita Electric Industrial Co., Ltd. Apparatus and method for performing bitplane coding with reordering in a fine granularity scalability coding system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101601296B (zh) * 2006-10-23 2014-01-15 维德约股份有限公司 使用套叠式模式标记的用于可分级视频编码的系统和方法
CN101584220B (zh) * 2007-01-12 2014-09-17 皇家飞利浦电子股份有限公司 对视频信号进行编码的方法和系统、编码的视频信号、对视频信号进行解码的方法和系统
US9113167B2 (en) 2007-01-18 2015-08-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Coding a video signal based on a transform coefficient for each scan position determined by summing contribution values across quality layers
CN101272587B (zh) * 2007-03-19 2011-03-09 展讯通信（上海）有限公司 一种视频渐进接收方法及应用其的视频彩铃接收方法
CN107409212A (zh) * 2015-01-16 2017-11-28 微软技术许可有限责任公司 用于编码和解码的使用变换系数的逐渐更新
CN107409212B (zh) * 2015-01-16 2020-02-28 微软技术许可有限责任公司 使用变换系数的逐渐更新进行编码和解码的方法及设备
CN111492660A (zh) * 2017-12-22 2020-08-04 超威半导体公司 用于有损无线链路的视频编解码器数据恢复技术
CN111492660B (zh) * 2017-12-22 2024-04-02 超威半导体公司 用于有损无线链路的视频编解码器数据恢复技术
WO2021197158A1 (zh) * 2020-03-31 2021-10-07 华为技术有限公司 一种图像处理方法和图像处理装置

Also Published As

Publication number Publication date
WO2004030368A1 (en) 2004-04-08
KR20050061483A (ko) 2005-06-22
EP1547392A1 (en) 2005-06-29
US20060008002A1 (en) 2006-01-12
AU2003253190A1 (en) 2004-04-19
JP2006500849A (ja) 2006-01-05

Similar Documents

Publication Publication Date Title
CN1303817C (zh) 细粒可调节视频残差信号的编码解码系统和方法
CN1283100C (zh) 基于时间和空间复杂性自适应编码运动图像的方法及装置
US6898324B2 (en) Color encoding and decoding method
CN1232123C (zh) 用于精细可伸缩性增强层的基于活动的频率加权方法及系统
CN1251512C (zh) 从不可分级编码视频信号产生可分级编码视频信号的方法和装置
US20090274381A1 (en) Scalable coding
CN1976458A (zh) 利用层间相关性编码层内标记的方法、及解码方法和设备
CN1640145A (zh) 使用高质量参考帧的改进高效快速的结构
CN1685731A (zh) 可分级视频编码
CN1722838A (zh) 使用基础层的可伸缩性视频编码方法和设备
US20050152611A1 (en) Video/image coding method and system enabling region-of-interest
CA2543947A1 (en) Method and apparatus for adaptively selecting context model for entropy coding
CN1650634A (zh) 利用根据多个参考帧的运动补偿时域滤波的基于可分级小波的编码
CN1575606A (zh) 空间可缩放的压缩
CN1813479A (zh) 过完备小波域中的视频编码
CN1860791A (zh) 结合高级数据分割和精确粒度可分级以用于有效时空信噪比的可分级视频编码和流式传输的系统和方法
CN1665299A (zh) 可伸缩视频编解码器体系结构设计方法
CN1726644A (zh) 用于多种描述编码的设备和方法
CN1725858A (zh) 用于控制比特率的设备和方法
CN1628466A (zh) 视频数据流的上下文灵敏的编码和解码
CN1885945A (zh) 分级编码和解码方法
CN1633814A (zh) 存储器带宽效率高的精细可分级(fgs)编码器
CN1650633A (zh) 用于小波编码的基于多参考帧的运动补偿时间过滤
CN1666530A (zh) 子带视频解码方法和设备
CN1271861C (zh) 基于位平面的不等长的量化/反量化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication