CN100352283C - 用于对细粒度可扩缩编码的视频进行代码转换的方法 - Google Patents

用于对细粒度可扩缩编码的视频进行代码转换的方法 Download PDF

Info

Publication number
CN100352283C
CN100352283C CNB2004800000294A CN200480000029A CN100352283C CN 100352283 C CN100352283 C CN 100352283C CN B2004800000294 A CNB2004800000294 A CN B2004800000294A CN 200480000029 A CN200480000029 A CN 200480000029A CN 100352283 C CN100352283 C CN 100352283C
Authority
CN
China
Prior art keywords
enhancement layer
frame
bits
piece
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800000294A
Other languages
English (en)
Other versions
CN1698383A (zh
Inventor
周健
邵怀荣
沈嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1698383A publication Critical patent/CN1698383A/zh
Application granted granted Critical
Publication of CN100352283C publication Critical patent/CN100352283C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供一种用于对视频进行转换代码的方法。首先，将视频编码为一个基本层和一个或多个增强层。然后，如果可用的比特率将截短要传输的最后的增强层，最后的增强层被部分解码。已部分解码的最后被传输的增强层中的比特数量被削减，以匹配可用的比特率，然后在传输前，对比特率降低的增强层重新编码。

Description

用于对细粒度可扩缩编码的视频进行代码转换的方法
技术领域
本发明一般涉及流式压缩视频，更具体地，涉及对流式视频的细粒度可扩缩性增强层的位面进行代码转换。
背景技术
对于通过例如国际互联网的网络流式传输压缩视频的应用，一个重要的关注问题是要将视频流送达具有不同资源、接入路径和处理器的接收机。因此，视频的内容动态地适应在这种网络中遇到的不同类环境。
已经为MPEG-4标准开发了细粒度可扩缩性(FGS)，以令视频适应这种动态变化的网络环境，见ISO/IEC 14496-2：1999/FDAM4，“Information technology-coding of audio/visual objects，Part 2：Visual”。Li描述了对MPEG-4标准的此种修改的综述，“Overview ofFine Granularity Scalability in MPEG-4 Video Standard”，IEEETrans.on Circuits and Systems for Video Technology，Vol.11，No.3，pp.301-317，March 2001。
MPEG-4 FGS编码器产生两个比特流：一个是基本层，另一个包含一个或多个增强层。这两个比特流的用途和重要性不同。基本层提供基本的已解码视频。在可以使用增强层之前，基本层必须被正确地解码。因此，必须有力地保护基本层。增强层可以用于改进基本视频的质量。
FGS编码是对传统可扩缩性编码的根本背离。运用传统可扩缩性编码，内容被编码至基本层比特流中，以及可能至若干增强层中，其中粒度的精细度仅与所形成的增强层的数量相同。得到的速率-失真曲线类似于阶梯函数。
相反，FGS编码提供了可连续扩缩的增强层比特流。产生该增强层是通过首先从输入视频的相应帧中减去基本层比特流的帧。这在空间域中产生了FGS残余信号。对残余信号应用离散余弦变换(DCT)编码，且DCT系数由位面编码方案进行编码。位面编码可以为增强层比特流产生多个子层。在下文中，这些子层也称作增强层。
FGS的努力集中在以下方面：改进编码效率，见Kalluri的“Single-Loop Motion-Compensated based Fine-Granular Scalability(MC-FGS)”，MPEG2001/N6831，July 2001，以及Wu等人的“AFramework for Efficient Fine Granularity Scalable Video Coding”，IEEE Trans.on Circuits and System for Video Technology，Vol.11，No.3，pp.332-344，March 2001；截短增强层以最小化相邻帧之间的质量差异，见Zhang等人的“Constant Quality Constrained RateAllocation for FGS Video Coded Bitstreams”，Visual Communicationsand Image Processing 2002，Proceedings of SPIE，Vol.4671，pp.817-827，2000，Cheong等人的“FGS coding scheme with arbitrarywater ring scan order”，ISO/IEC JTC1/SC29/WG11，MPEG2001/M7442，July 2001，以及Lim等人的“Macroblockreordering for FGS”，ISO/IEC JTC1/SC29/WG11，MPEG2000/M5759，March 2000；以及修改FGS编码结构以增加时间的可扩缩性，见Van der Schaar等人的“A Hybrid Temporal-SNR FineGranular Scalability for Internet Video”，IEEE Trans.on Circuitsand System for Video Technology，Vol.11，No.3，pp.318-331，March2001，以及Yan等人的“Macroblock-based Progressive FineGranularity Spatial Scalability(mb-PFGSS)”，ISO/IECJTC1/SC29/WG11，MPEG2001/M7112，March 2001。
与传统的可扩缩性编码方案相比，FGS的一个优势是它的差错恢复。已解码的增强层中一个或多个帧中的损失或恶化并不传播到后面的帧中。后面的帧总是在应用增强层之前首先从基本层进行解码。
此外，重建视频的质量与已解码的比特数量成正比。因此，FGS提供了流式视频的连续速率控制，因为增强层可以在任何点被截短以实现网络带宽的目标比特率或其它限制。
然而，MPEG-4标准没有规定如何进行速率分配，或者如何进行增强层的比特截短。它仅规定了经过截短的比特流应该如何被解码。
当观看已解码的视频时，人们感觉到一个具有不变的、比较适度的质量的已解码的视频“优于”这样的已解码视频，其中相邻帧之间的质量不同，从而一些帧的质量比较高而其它帧的质量比较低。因此，截短应该也最小化相邻帧之间质量的临时差异。
一个简单的截短方法对于每个帧将可用带宽均匀分配给增强层，见Van der Schaar等人的“A Hybrid Temporal-SNR Fine GranularScalability for Internet Video”，IEEE Trans.on Circuits and Systemfor Video Technology，Vol.11，No.3，pp.318-331，March 2001。用这种方法，对于增强层中的每一个帧，通过网络传输同样数量的比特。然而，如果相邻帧之间视频的复杂度不同，则已解码视频的质量随着时间在感觉上也是不同的。
为了解决这个问题，可以使用一种“最近特征线”方法，见Zhao等人的“A Content-based Selective Enhancement Layer ErasingAlgorithm for FGS Streaming Using Nearest Feature Line Method”，Visual Communications and Image Processing，Proceedings of SPIE，Vol.4671，pp.242-249，2002。上面这种方法评估每个帧的“重要性”，并且根据重要性将比特分配给各增强层。
另一种方法使用了最优速率分配，以截短增强层的比特流，见Zhang等人的“Constant Quality Constrained Rate Allocation for FGSVideo Coded Bitstreams”，Visual Communications and ImageProcessing，Proceedings of SPIE，Vol.4671，pp.817-827，2002，以及Zhao等人的“MPEG-4FGS Video Streaming withConstant-Quality Rate Control and Differentiated Forwarding”，Visual Communications and Image Processing，Proceedings of SPIE，Vol.4671，2003。他们的方法在增强层的编码过程中产生若干组速率-失真(R-D)点。接着，应用插值为增强层的每一个帧估计R-D曲线。R-D曲线用来确定应该被截短的比特数量。这些方法可以最小化相邻帧之间的质量差异。
然而，所有现有技术方法忽视了在一个帧之内质量的空间变化。
如图1所示，现有技术方法不能最小化帧内质量差异的原因是MPEG-4FGS标准使用了普通扫描顺序对增强层比特流进行编码。该普通扫描顺序对帧100的宏块例如1-N进行编码，按顺序从帧的左上角的宏块1开始，结束于帧的右下角的宏块N。结果，如图2所示，当最后一个传输位面层被截短时，只有已解码帧的部分200被增强，而已解码帧的部分201没有被增强。这样，整个帧中的质量将不均匀。
可以使用结合了选择性增强的水环扫描顺序，以处理帧内所关注的区域，见Cheong等人的“FGS coding scheme with arbitrary waterring scan order”，ISO/IEC JTC1/SC29/WG11，MPEG2001/M7442，July 2001。选择性地增强所关注的区域中的位面，并且可以早于其它位面传送该位面。然而，该方法存在三个问题。首先，需要修改解码器以对水环扫描的增强层进行解码。其次，对于多数自然场景的视频，很难定义所关注的区域。第三，一个场景可以包括多个所关注的区域。
另一种方法使用不同的宏块扫描顺序，见Lim等人的“Macroblock reordering for FGS”，ISO/IEC JTC1/SC29/WG11，MPEG2000/M5759，March 2000。这个方法基于以下前提，即在基本层中具有大的量化标度值的宏块在增强层中具有相应高的残余系数。因此，用于增强层的宏块的重排序列使用了两个来自基本层的参数：量化标度值和DCT系数的数量。
其相应的基本层宏块具有大的量化值和大量DCT系数的增强层宏块首先进行编码。然而，这种方法也要求对解码器进行修改，而且它不能解决当位面被截短时帧中空间质量变化的问题。
因此需要一种系统和方法，当FGS流式视频的增强层被截短时，能基本上保持帧内的空间质量不变，而不必修改解码器。
发明内容
提供一种用于对视频进行代码转换的方法。首先，将视频编码为一个基本层和一个或多个增强层。然后，如果可用比特率的限制将导致截短最后的增强层，最后传输的增强层被部分解码。部分解码的最后的增强层中的比特数量被削减，以匹配可用比特率，且削减后的最后的增强层被重新编码，并且以降低的比特率传输。
附图简述
图1是用于对视频的增强层编码的现有技术的依次扫描顺序的方框图；
图2是增强层截短引起的已部分增强解码的帧的方框图；
图3是根据本发明的FGS视频编码器的方框图；
图4是根据本发明的用于削减比特的搜索网格；
图5是由本发明获得的PSNR增益的曲线图。
实施本发明的最佳方式
我们的发明对细粒度可扩缩性(FGS)视频比特流进行代码转换，以使得当网络带宽降低时，解码器可以由一个已编码的基本层和一个或多个增强层重建空间质量均匀的帧。我们所称的均匀的空间质量，是指质量在视频的每一个帧内是不变的。
显然，如果增强层的最后一个解码的位面重建了整个帧，则整个帧的质量被均匀地增强。然而有时，传输比特流的信道的比特率比所需的比特率低。因此，一个或多个增强层(位面)被完全删除，并且有时，如果信道无法传输整个增强层，则截短一个增强层。我们称所截短的增强层为最后传输的层。依赖于最后的层在何处被截短，帧与帧之间的空间质量差异可能不同。
因此，我们对最后传输的增强层进行代码转换，使得最后传输的增强层的代码转换后的块在代码转换后其比特数量降低，但是数量降低后的比特仍然对整个帧编码。我们所称的代码转换，是指整个增强层被部分解码，成为DCT系数。不执行反DCT。
在部分解码的层中比特数量降低，如下所述，以满足带宽要求。比特率降低的增强层接着被重新编码。结果，解码器可以重建空间质量均匀的整个帧，即使信道的比特率降低。
如图3所示，我们的编码器和方法300操作如下。首先如MPEG-4FGS标准中所述，对输入视频301的每个帧的各块进行编码310，以产生一个基本层311和一个或多个包含位面312的增强层。
为每个输出位面312的每个块产生的比特数量Ri 321存储320在存储器中，其中i＝1，...，N，且N是位面中块的数量。位面中对于一帧中所有块的总比特数量存储为RBP。
接下来，确定330传输FGS编码的视频流所必要的所需比特率是否被允许，如果被允许，则传输340当前位面。
如果不被允许，对按另一种方式将被截短的最后的增强层进行部分解码，并且根据下式降低每个块中的比特数量：
R i ′ = R i - R i Σ i = 1 N R i × ( R BP - R Budget ) ,
其中Ri是对块i进行编码310所使用的比特数量，Ri′是以较低比特率对该块进行重新编码360所需的比特数量，而RBudget是以较低比特率对位面的一帧中的所有块进行编码所使用的总比特数量。上式显示，根据整个帧的原始比特的贡献，将过量比特预算(RBP-RBudget)分配给每个已重新编码的块。
然后，对最后传输的视频位面312的每一个块进行重新编码360，以满足降低的比特数量Ri′的要求，并且传输340已降低大小的位面361。
有若干方法来降低位面的大小。一种简单的方法如下。每个增强层块具有64比特，“0”或“1”，对应于最高AC频率的DC系数的残留差错。具有新的比特预算的编码过程意味着应用于增强高频DCT系数的一些“1”需要被丢弃或删除。削减步骤360删除增强高频DCT系数的“1”值，直到满足所降低的比特预算。
速率-失真最优化
用以上的比特率降低，我们删除了对应DCT域中最高AC频率的“1”比特。然而，从速率-失真(R-D)的观点来看，该方案不是最优化的。例如，要在增强层块中被编码的两个系数“8”和“15”由“1000”和“1111”表示为二进制形式。对于第一个增强层，最高有效位面(MSB)包含两个“1”。
如果只传输对应于“15”的MSB“1”比特，则根据平方差的和(SSD)，总失真为113。如果只传输对应于“8”的MSB“1”比特，则根据SSD，总失真为225。另一方面，与删除关于“8”的“1”比特相比，删除关于“15”的“1”比特产生较少的比特以对MSB进行编码。因此，需要一种最优方法以确定要删除哪些比特。
比特率降低问题可以归纳为从原始块中选择某些“1”比特，使得已重新编码的比特流同时满足受限制的比特预算和最优质量或最小失真。
联合速率-失真最优化可以用来解决这个问题。对于一个块，我们可以最小化代价函数J(λ)＝D(Ri)+λRi，其中Ri是对当前块编码所使用的比特数量，D(Ri)是当用Ri个比特对当前块编码时引起的失真，λ是根据基本层的块的量化参数指定的经验参数。
如上面所述，当确定在当前位面中删除一个“1”比特而造成的失真时，应该考虑到在更高的增强层中与DCT系数相关联的比特。
在一个增强层块中，一个位面中有64比特。且每个比特可以被传输或删除。然而可用的删除模式的组合与当前块中“1”的数量成指数关系。
我们可以通过搜索一个图4所示的网格来处理该块，其中A 401指示位面400的开始。当搜索达到位面400中的第一个“1”比特411时，有两种处理方法：将其保持为“1”，或将它修改为“0”。这样便产生了两个状态，即“B”402和“C”403。对于路径“A-B”，可以按照J＝λRi计算代价函数，其中Ri是描述到此为止的比特串所必需的码字的长度。对于路径“A-C”，仍然没有可用的代价函数。
当搜索达到位面中第二个“1”比特412时，有四个路径，即“BD”、“CD”、“BE”、“CE”。状态“E”405指示这个“1”被修改为“0”，且状态“D”404指示保持了“1”。对于进入状态“D”的两条路径，根据对应于路径ABD的代价函数λ(R1+R2)以及对应于路径ACD的λR3+D的值，丢弃一条路径，其中R3是描述“ACD”串的码字长度，且D是位置“B”上“1”变为“0”所造成的失真。以上过程继续，直到块的末端，或满足了用于该块的比特预算，以产生一条局部最优路径。
本发明的效果
为了验证本发明的有效性，我们使用通用中间分辨图像格式(CIF)对标准“Akiyo”视频序列进行编码。对I帧和P帧，用量化参数Q＝31对基本层编码。该序列中没有B帧。对于增强层，用于增强层的总的可用带宽为576kb/s。
图5示出了与现有技术“均匀截短”方法相比较，我们的方法的PSNR增益。对于整个视频序列，我们的发明获得的平均PSNR增益为0.17dB。我们使用每个宏块的亮度分量的均方误差(MSE)的偏差来度量帧内的质量差异。我们的方法也可以将帧内的质量差异降低26％。
虽然本发明是通过优选实施例的方式进行描述的，但是应该理解，可以在本发明的本质和范围之内做出各种其它的适应和修改。因此，所附权利要求书的目标是包含所有这些在本发明的本质和范围内的变化和修改。

Claims (6)

1.一种用于对视频进行代码转换的方法，包括：
将视频编码为一个基本层和至少一个增强层；
如果可用比特率的限制将导致截短最后的增强层，部分解码要被传输的最后的增强层；
削减已部分解码的最后的增强层中的比特数量，以匹配可用比特率；以及
对削减后的最后的增强层重新编码。
2.权利要求1的方法，其中根据下式执行所述削减：
R i ′ = R i - R i Σ i = 1 N R i × ( R BP - R Budget ) ,
其中Ri是对最后的增强层的一帧中的每个块i进行编码所使用的比特数量，Ri′是以可用比特率对该块重新编码所需的比特数量，RBudget是以可用比特率对该帧中的所有块进行编码所使用的总比特数量，RBP是对该帧进行编码所使用的总比特数量，i＝1，...，N，而N是最后的增强层的一帧中的块的数量。
3.权利要求1的方法，其中，所述削减删除每个块中增强高频DCT系数的“1”值，直到满足可用的比特率。
4.权利要求3的方法，还包括：
估计代价函数的值，以确定要被删除的所述“1”值。
5.权利要求4的方法，其中代价函数为J(λ)＝D(Ri)+λRi，其中Ri是对当前块编码所使用的比特数量，D(Ri)是当用Ri个比特对当前块编码时引起的失真，λ是根据基本层的块的量化参数规定的经验参数，i＝1，...，N，而N是最后的增强层的一帧中的块的数量。
6.权利要求4的方法，还包括：
在估计代价函数的值时搜索一个网格。
CNB2004800000294A 2003-02-21 2004-02-19 用于对细粒度可扩缩编码的视频进行代码转换的方法 Expired - Fee Related CN100352283C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/371,087 2003-02-21
US10/371,087 US20040179606A1 (en) 2003-02-21 2003-02-21 Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations

Publications (2)

Publication Number Publication Date
CN1698383A CN1698383A (zh) 2005-11-16
CN100352283C true CN100352283C (zh) 2007-11-28

Family

ID=32907677

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800000294A Expired - Fee Related CN100352283C (zh) 2003-02-21 2004-02-19 用于对细粒度可扩缩编码的视频进行代码转换的方法

Country Status (4)

Country Link
US (1) US20040179606A1 (zh)
JP (1) JP4410245B2 (zh)
CN (1) CN100352283C (zh)
WO (1) WO2004075560A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2004302413B2 (en) * 2003-08-26 2008-09-04 Samsung Electronics Co., Ltd Scalable video coding method and apparatus using pre-decoder
CN1871858A (zh) * 2003-10-20 2006-11-29 三星电子株式会社 规格化视觉品质的比特率控制方法与装置
US20050088986A1 (en) * 2003-10-27 2005-04-28 Feng-Wen Sun Systems and methods for distributing data
US7570827B2 (en) 2004-07-14 2009-08-04 Slipstream Data Inc. Method, system and computer program product for optimization of data compression with cost function
ATE532270T1 (de) 2004-07-14 2011-11-15 Slipstream Data Inc Verfahren, system und computerprogramm für die optimierung von datenkomprimierung
CN100417226C (zh) * 2004-10-06 2008-09-03 日本电信电话株式会社 可扩缩编码方法和装置
US20060193379A1 (en) * 2005-02-25 2006-08-31 Nokia Corporation System and method for achieving inter-layer video quality scalability
WO2006129184A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
CN101507281B (zh) * 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
ES2348686T3 (es) * 2006-07-13 2010-12-10 Qualcomm Incorporated Codificaciã“n de video con escalabilidad granular fina mediante fragmentos alineados con ciclos.
US8325819B2 (en) * 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
US8565314B2 (en) * 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
CN101523919B (zh) * 2006-10-12 2011-09-14 高通股份有限公司 基于用于精细化系数译码的视频区块类型的可变长度译码表选择
US9319700B2 (en) * 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8599926B2 (en) * 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8243789B2 (en) * 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
AU2007201403A1 (en) * 2007-03-30 2008-10-16 Canon Kabushiki Kaisha Improvement for Spatial Wyner Ziv coding
JP5359302B2 (ja) * 2008-03-18 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
EP2304689A4 (en) * 2008-06-23 2017-03-15 Cinova Media, Inc. Compressed domain system and method for compression gains in encoded data
GB2496862B (en) * 2011-11-22 2016-06-01 Canon Kk Communication of data blocks over a communication system
KR102495915B1 (ko) * 2018-04-30 2023-02-03 삼성전자 주식회사 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버
CN116962712B (zh) * 2023-09-20 2023-12-12 成都索贝数码科技股份有限公司 一种视频图像分层编码的增强层改进编码方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1355995A (zh) * 1999-11-23 2002-06-26 皇家菲利浦电子有限公司 混合式时间－信杂比精细颗粒可分级视频编码
US20030002579A1 (en) * 1998-07-06 2003-01-02 U.S. Philips Corporation Scalable video coding system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001089167A2 (en) * 2000-05-15 2001-11-22 Virginia Tech Intellectual Properties, Inc. Method and system for overloaded array processing
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
US7167560B2 (en) * 2002-08-08 2007-01-23 Matsushita Electric Industrial Co., Ltd. Partial encryption of stream-formatted media

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030002579A1 (en) * 1998-07-06 2003-01-02 U.S. Philips Corporation Scalable video coding system
CN1355995A (zh) * 1999-11-23 2002-06-26 皇家菲利浦电子有限公司 混合式时间－信杂比精细颗粒可分级视频编码

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
mpeg-4 fgs video streaming with constant-quality rateadaptation,prioritized packetization and differentiatedforwarding. ZHAO L ET AL.proceedings of SPIE,Vol.4520. 2001 *
overview of fine granularity scalability in mpeg-4 videostandard. LI W.IEEE transactions on circurts and systems for video technology.,Vol.11 No.3. 2001 *

Also Published As

Publication number Publication date
JP4410245B2 (ja) 2010-02-03
WO2004075560A1 (en) 2004-09-02
US20040179606A1 (en) 2004-09-16
CN1698383A (zh) 2005-11-16
JP2006518572A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
CN100352283C (zh) 用于对细粒度可扩缩编码的视频进行代码转换的方法
CN1303817C (zh) 细粒可调节视频残差信号的编码解码系统和方法
CN1232123C (zh) 用于精细可伸缩性增强层的基于活动的频率加权方法及系统
CN100466732C (zh) 用于可定标视频编码的系统与方法
JP5300921B2 (ja) 符号化および復号のための方法および装置
KR20010080644A (ko) 기저층 양자화 데이터를 이용하여 향상층 데이터를 엔코딩및 디코딩하는 시스템 및 방법
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
CN104041038A (zh) 用于编码和解码图像的方法、编码和解码设备以及相应的计算机程序
CN101548549A (zh) 精细粒度可伸缩图像编码和解码
KR20070046825A (ko) 코딩 및 디코딩 방법 및 장치
Mansour et al. Rate and distortion modeling of CGS coded scalable video content
WO2004057876A1 (en) System and method for drift-free fractional multiple description channel coding of video using forward error correction codes
US20060008002A1 (en) Scalable video encoding
KR20070097275A (ko) 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
KR20080004855A (ko) 문맥 기반 적응적 가변 길이 부호화 인코더 및 디코더,문맥 기반 적응성 가변 길이 부호화하는 방법과 복호화하는방법 및 이를 이용한 동영상 전송 시스템.
CN1633814A (zh) 存储器带宽效率高的精细可分级(fgs)编码器
van der Vleuten et al. Low-complexity scalable DCT image compression
KR101375302B1 (ko) 멀티미디어 데이터의 처리 방법 및 그 장치
KR100323701B1 (ko) 영상부호화장치
JP2003535496A (ja) 画像シーケンスを符号化する方法または復号する方法および装置
Shen et al. Transcoding to FGS streams from H. 264/AVC hierarchical B-pictures
MX2008012360A (es) Metodo de asignar prioridad para controlar la velocidad binaria de un flujo de bits, metodo para controlar la velocidad binaria de un flujo de bits, metodo de decodificacion de video y aparato que usa el mismo.
Parthasarathy et al. Optimal rate control methods for fine granularity scalable video
Matsuo et al. A bit-plane coding scheme of MPEG-4 FGS with high efficiency based on the distribution of significant coefficients
Zhou et al. FGS enhancement layer truncation with reduced intra-frame quality variation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071128

Termination date: 20160219

CF01 Termination of patent right due to non-payment of annual fee