CN1575603A - 使用自适应内容过滤的空间可缩放压缩方案 - Google Patents

使用自适应内容过滤的空间可缩放压缩方案 Download PDF

Info

Publication number
CN1575603A
CN1575603A CNA028210352A CN02821035A CN1575603A CN 1575603 A CN1575603 A CN 1575603A CN A028210352 A CNA028210352 A CN A028210352A CN 02821035 A CN02821035 A CN 02821035A CN 1575603 A CN1575603 A CN 1575603A
Authority
CN
China
Prior art keywords
video
resolution
stream
encoder
video flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028210352A
Other languages
English (en)
Other versions
CN1253009C (zh
Inventor
W·H·A·布鲁斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1575603A publication Critical patent/CN1575603A/zh
Application granted granted Critical
Publication of CN1253009C publication Critical patent/CN1253009C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种使用自适应内容过滤的较为有效的空间可缩放压缩方案被公开。空间可缩放压缩方案的视频压缩量通过在增强层的残留流上引入乘数而得以增加。所述乘数是通过用于来自画面分析器的视频的每个帧中的每个像素或像素组的增益值来控制的，其中对于很少或没有细节的区域，增益值趋向于零，而对于边缘和文本，增益值趋向于一。这样，乘法器起到滤波器的作用，从而减小在增强层的无关数据上所花费的位的量。该乘法器亦允许动态分辨率压缩。

Description

使用自适应内容过滤的空间可缩放压缩方案
技术领域
本发明涉及一种视频编码器/解码器，更具体而言涉及这样一种视频编码器/解码器，其具有使用自适应内容过滤或动态分辨率的空间可缩放压缩方案。
背景技术
由于数字视频中固有的数据的海量，全运动、高清晰度的数字视频信号在开发高清晰度电视的过程中是明显的问题。更具体而言，每个数字图像帧是根据特定系统的显示分辨率从像素阵列形成的静止图像。作为结果，被包括在高分辨率视频序列中的原始数字信息的量是海量的。为了减小必须被发送的数据量，压缩方案被用于压缩数据。各种视频压缩标准或过程已被建立，包括MPEG-2、MPEG-4和H.263。
在一个流中视频在各种分辨率和/或质量处可用的许多应用被使能。实现它的方法被宽松地称为可缩放性技术。存在人们可展开可缩放性的三个轴。第一是时间轴上的可缩放性，常常被称为时间可缩放性。第二，存在质量轴(量化)上的可缩放性，常常被称为信噪比(SNR)可缩放性或细粒(fine-grain)可缩放性。第三轴是分辨率轴(图像中像素的数量)，常常被称为空间可缩放性。在分层编码中，位流被分成两个或多个位流或层。每个层可被组合以形成单个高质量信号。例如，基本层可提供较低质量的视频信号，而增强层可提供增强基本层图像的附加信息。
具体而言，空间可缩放性可提供不同视频标准或解码器能力之间的兼容性。借助空间可缩放性，基本层视频可具有比输入视频序列低的分辨率，在该情况下，增强层载有可将基本层的分辨率恢复到输入序列水平的信息。
图1说明了已知的空间可缩放视频编码器100。所述编码系统100实现层压缩，从而使信道的一部分被用于提供低分辨率的基本层而剩余部分被用于发送边缘增强信息，由此使两个信号可被复合以使系统达到高分辨率。高分辨率视频输入由分裂器102分裂以使数据被发送给低通滤波器104和减法电路106。低通滤波器减小视频数据的分辨率，该视频数据然后被馈送给基本编码器108。一般而言，低通滤波器和编码器在本领域是众所周知的并且为了简化，在此不被详述。编码器108产生可被广播、接收并通过解码器原样显示的低分辨率基本流，尽管该基本流并不提供将被认为是高清晰度的分辨率。
编码器108的输入亦被馈送给系统100内的解码器112。从那里，经解码的信号被馈送到插值和向上采样电路114中。一般而言，插值和向上采样电路114重构来自经解码的视频流的所滤出的分辨率并且提供具有与高分辨率输入相同的分辨率的视频数据流。然而，由于过滤和从编码和解码导致的损失，信息损失存在于经重构的流中。该损失是在减法电路106中通过从原始的、未修改的高分辨率流中减去重构的高分辨率流而确定的。减法电路106的输出被馈送给增强编码器116，其输出合理质量的增强流。
尽管可使这些分层压缩方案工作得相当好，这些方案仍具有增强层需要高位速率的问题。在正常情况下，增强层的位速率等于或高于基本层的位速率。然而，想要存储高清晰度视频信号则需要在正常情况下可通过公用压缩标准来递送的较低位速率。由此可能使得难以在现有标准清晰度系统上引入高清晰度，这是因为记录/播放时间变得过小。
发明内容
本发明通过以下而克服了其它已知分层压缩方案的缺陷：使用自适应内容过滤来减小被输入到增强编码器中的残留信号中的位数，从而降低增强层的位速率。
依照本发明的一个实施例，公开了一种方法和设备，用于提供使用对视频流的自适应内容过滤的空间可缩放压缩。视频流被向下采样以减小视频流的分辨率。向下采样的视频流然后被编码以产生基本流。基本流被向上转换以产生重构的视频流。所述视频流和重构的视频流然后被分析以产生所接收的视频流的帧中每个像素或像素组的内容的增益值。重构的视频流从所述视频流中被减去以产生残留流。残留流由乘法器以可变的增益因子来衰减以从残留流中去除这样的位，其表示具有很少细节的每个帧的区域。所得到的残留流然后被编码并输出增强流。
依照本发明的另一个实施例，从画面分析器输出的衰减器的增益值可被与来自增强编码器的正常位速率控制组合以允许根据增强编码器的可用位速率预算来编码可变的总分辨率。
依照本发明的另一个实施例公开了一种涉及解码器中的锐度控制的方法和设备。基本流被解码然后被向上转换以增加经解码的基本流的分辨率。增强流被解码然后被乘以锐度控制值，其中锐度控制值控制经解码的增强流中的假象的可视性和锐度之间的折中。最后，向上转换的经解码的基本流被与经锐度控制的增强流组合以产生视频输出。
从以下描述的实施例来看，本发明的这些和其它方面将是显而易见的，并且将参照这些实施例而被说明。
附图说明
为了举例，现在将参照附图来描述本发明，其中：
图1是表示已知分层视频编码器的方块图；
图2是依照本发明实施例的分层视频编码器/解码器的方块图；
图3是依照本发明实施例的分层视频编码器/解码器的方块图；
图4是依照本发明的分层视频解码器的方块图；并且
图5是依照本发明另外的实施例的分层视频编码器和分层视频解码器的方块图。
具体实施方式
图2是依照本发明一个实施例的分层视频编码器/解码器200的方块图。编码器/解码器200包括编码部201+203和解码部205。高分辨率视频流202被输入到基本编码部201中。视频流202然后由分裂器204分裂，从而使视频流被发送给低通滤波器206和第二分裂器211。低通滤波器或向下采样单元206减小视频流的分辨率，该视频流然后被馈送给基本编码器208。基本编码器208以已知方式来编码经向下采样的视频流并输出基本流209。在该实施例中，基本编码器208将本地解码器输出输出给向上转换单元210。向上转换单元210重构来自本地经解码的视频流的所滤出的分辨率，并且以已知方式提供具有与高分辨率输入视频流基本上相同的分辨率格式的经重构的视频流。可替换的是，基本编码器208可将经编码的输出输出给向上转换单元210，其中分离的解码器(未示出)或在向上转换单元210中提供的解码器将必须在经编码的信号被向上转换之前来解码它。
分裂器211分裂高分辨率输入视频流，从而使输入视频流202被馈送给减法单元212和画面分析器214。另外，经重构的视频流亦被输入到画面分析器214和减法单元212中。画面分析器214分析输入流的帧和/或经重构的视频流的帧并产生视频流的每个帧中的每个像素或像素组的内容的数值增益值。该数值增益值包括例如由帧中的像素或像素组的x、y坐标给出的像素或像素组的位置、帧数和增益值。当像素或像素组具有大量细节时，增益值向最大值“1”移动。类似地，当像素或像素组没有许多细节时，增益值向最小值“0”移动。用于画面分析器的详细准则的几个实例在以下被描述，但本发明并不局限于这些实例。首先，画面分析器可分析像素周围的局部分布对整个帧上的平均像素分布。画面分析器亦可分析边缘水平，例如，在整个帧上在平均值上被划分的每像素的-1    -1    -1-1     8    -1-1    -1    -1的绝对值。
用于不同细节程度的增益值可被预先确定并存储在查询表中以便于一旦每个像素或像素组的细节水平被确定时再次调用。
如以上所述，重构的视频流和高分辨率输入视频流被输入到减法单元212中，减法单元212从输入视频流中减去重构的视频流以产生残留流。来自画面分析器214的增益值被发送给乘法器216，其被用于控制残留流的衰减。在可替换的实施例中，画面分析器214可从系统中被去除并且预定增益值可被加载到乘法器216中。可替换的是，增益值可由用户使用例如控制按钮(未示出)来手动输入。将残留流乘以增益值的效果是对具有很少细节的每个帧的区域进行一种过滤。在这种区域中，一般情况下大量的位将必须被花费在大多为不相关的很少细节或噪声上。但通过将残留流乘以对于很少或没有细节的区域向零移动的增益值，这些位可在被编码于增强编码器218中之前从残留流中被去除。类似地，对于边缘和/或文本区域，乘数(multiplier)将向一移动，并且仅这些区域将被编码。对正常画面的该效果可以是对位的大量节省。尽管视频的质量将被稍微影响，但相对于位速率的节省，这是好的折中，特别是当被比较于处于相同总位速率的一般压缩技术时。来自乘法器216的输出被输入到产生增强流的增强编码器218中。
在解码器部205中，基本流由解码器220以已知方式解码，而增强流由解码器222以已知方式解码。经解码的基本流然后被向上转换于向上转换单元224中。经向上转换的基本流和经编码的增强流然后被组合于算术单元226中以产生输出视频流228。
图3说明了依照本发明一个实施例的编码器/解码器300。在该实施例中，被发送给乘法器的增益值是由增强编码器的可用位速率预算来控制的。增强编码器的位速率控制可通过以下来扩展：组合来自画面分析器214的增益值与来自增强编码器的编码器统计参数以产生与残留流相乘的最终增益控制参数。编码器/解码器300具有图2的所有所述元件，其已在图3中被给予相同的编号。为了简化，相同元件的操作将不在此被描述。
另外，编码器/解码器300具有位于画面分析器214和乘法器216之间的组合单元215。组合单元215从画面分析器214接收增益值。另外，组合单元215从增强编码器218接收基于编码器统计的增强参数。组合单元215组合编码器统计参数和增益值并将最终增益控制参数输出给乘法器216。然后，残留流在被增强编码器218编码之前被乘以最终增益控制参数。换句话说，根据增强编码器的可用位速率，来自画面分析器214的增益值被向上或向下调节。如果增强编码器具有小的可用位速率预算，则增益值将被向下调节以使较多的位将被滤出残留流。类似地，如果增强编码器具有大的可用位速率预算，则增益值将被向上调节以使较少的位将被滤出残留流。这样，当编码器统计参数指示可用位速率预算不再足以以足够的质量以全分辨率进行编码时，乘法器216的增益被设置成减小的分辨率值以满足可用位速率预算。这允许根据可用位速率预算来编码可变的总分辨率。
图4说明了依照本发明一个实施例的解码器400。在图4中，解码器400具有被添加给解码器部205的锐度控制单元230和乘法器232。锐度控制单元230允许用户选择0和1之间的参数，其中越低的数导致输出视频流228中的可视假象的数量的越大的减小，而越高的数导致输出视频流228的越锐利的图像。这样，锐度控制单元控制了来自增强流的假象的可视性和锐度之间的折中。所选的锐度控制参数被输入到乘法器232中。然后乘法器232将经解码的增强流乘以锐度控制参数以在将增强流与向上转换的基本流组合于算术单元226之前调节增强流中的假象的可视性和锐度。
图5示出分层视频编码器503、分层视频解码器205和分层视频解码器505的方块图。视频编码器503包括被添加给视频编码器203的减法器510和第二增强编码器511。视频编码器503可用如图3中所示的组合单元215来直接增强。图2和3示出使用乘法器216来影响对增强编码器218的输入以提供对增强层的适配。图2和3中所示的增强编码的缺点是，一些画面细节被丢失并且不能再被再生，这是因为乘法器216的乘法器操作(multiplier operation)是不可逆的。编码器503通过提供由减法器510和增强编码器511提供的第二增强层而克服了这个问题，所述第二增强层表示在乘法器216中丢失的细节。事实上，第二增强编码器511编码乘法器216的输入和输出之间的差异。相应的编码器218和511可针对其相应的输入而被最优化。例如，如果存在，可变长度编码可针对相应信号的统计而被最优化。
由编码器201+503产生的信号可如以上所述由解码器205来解码。在此情况下，仅基本层和第一增强层被解码。
为了解码第二增强层，除了解码器205以外，还提供了解码器505，其包括用于第二增强层的解码器512和加法器513。在解码器512中被解码的增强层在该实施例中简单地被添加给解码器205的输出流以提供在经解码的流的分辨率现在类似于输入202的分辨率的意义上透明的视频分辨率。
通过使用自适应内容过滤来降低增强层的位速率以在编码之前从残留流中去除不必要的位，本发明的上述实施例提高了已知空间可缩放压缩方案的效率。应理解，本发明的不同实施例并不被局限于上述步骤的严格顺序，这是因为一些步骤的时序可被互换而不影响本发明的总体操作。此外，术语“包括”并不排除其它元件或步骤，术语“一”和“一个”并不排除多个和单个处理器或可实现权利要求中列举的几个单元或电路的功能的其它单元。

Claims (27)

1.一种用于有效执行对在多个帧中捕获的视频信息的空间可缩放压缩的设备，其包括编码器，用于将所捕获的视频帧编码并输出为压缩数据流，包括：
基本层，包括具有低分辨率的经编码的位流；
高分辨率增强层，包括具有相对高的分辨率的残留信号；并且
其中乘法器单元衰减所述残留信号以减小所需的位数，所述残留信号是来自基本层的放大(upscaled)帧和原始帧之间的差异。
2.权利要求1的用于有效执行对视频信息的空间可缩放压缩的设备，其中乘法器将残留信号衰减一个预定的量。
3.权利要求1的用于有效执行对视频信息的空间可缩放压缩的设备，其中衰减量可通过控制按钮来手动改变。
4.权利要求1的用于有效执行对视频信息的空间可缩放压缩的设备，进一步包括：
画面分析器，其接收放大和/或原始帧并计算每个所接收的帧的每个像素的内容的增益值，其中乘法器使用该增益值来衰减残留信号。
5.权利要求4的用于有效执行对视频信息的空间可缩放压缩的设备，其中对于很少细节的区域，增益值趋向于零。
6.权利要求4的用于有效执行对视频信息的空间可缩放压缩的设备，其中对于边缘和文本区域，增益值趋向于一。
7.权利要求4的用于有效执行对视频信息的空间可缩放压缩的设备，其中对一组像素计算增益值。
8.一种用于编码和解码视频流的分层编码器，包括：
向下采样单元，用于减小视频流的分辨率；
基本编码器，用于编码较低分辨率的基本流；
向上转换单元，用于解码并增加基本流的分辨率以产生经重构的视频流；
减法器单元，用于从原始视频流中减去经重构的视频流以产生残留信号；
第一乘法器单元，其将残留信号乘以增益值以从用于具有很少细节的区域的残留信号中去除位；
增强编码器，用于编码来自乘法器的所得到的残留信号并输出增强流。
9.权利要求8的分层编码器，其中乘法器将残留信号衰减一个预定的量。
10.权利要求8的分层编码器，其中衰减量可通过控制按钮来手动改变。
11.权利要求8的分层编码器，进一步包括：
画面分析器，其接收视频流和经重构的视频流并计算所接收的流的每个帧中的每个像素的内容的增益值。
12.权利要求11的分层编码器，其中对于很少细节的区域，增益值趋向于零。
13.权利要求11的分层编码器，其中对于边缘和文本区域，增益值趋向于一。
14.权利要求11的分层编码器，进一步包括：
传统的位速率控制，其通过第一乘法器单元与位速率控制组合；以及
组合器，其位于画面分析器和第一乘法器单元之间，用于组合增益值与来自增强编码器的编码器统计参数并将经组合的增益值输出给第一乘法器单元。
15.权利要求14的分层编码器，其中编码器统计参数指示可用位速率预算何时不再足以以足够质量的全分辨率进行编码，从而使第一乘法器单元的增益值被设置成减小的分辨率值以满足可用位速率预算。
16.权利要求11的分层编码器，其中为一组像素而计算增益值。
17.一种用于解码经压缩的视频信息的解码器，包括：
基本流解码器，用于解码所接收的基本流；
向上转换单元，用于增加经解码的基本流的分辨率；
增强流解码器，用于解码所接收的增强流；
锐度控制装置，用于输出锐度控制值；
第二乘法器单元，用于将经解码的增强流乘以锐度控制值以允许用户控制经解码的增强流中的假象的可视性和锐度之间的折中；以及
加法单元，用于组合向上转换的经解码的基本流和经锐度控制的增强流以产生视频输出。
18.一种用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，包括以下步骤：
向下采样视频流以减小视频流的分辨率；
编码经向下采样的视频流以产生基本流；
解码并向上转换基本流以产生经重构的视频流；
从视频流中减去经重构的视频流以产生残留信号；
将残留信号乘以增益值以从表示具有很少细节的区域的每个帧的残留流中去除位；
编码所得到的残留流并输出增强流。
19.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，进一步包括以下步骤：
分析视频流和经重构的视频流以产生所接收的流的帧中的每个像素的内容的增益值。
20.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中对于很少细节的区域，增益值趋向于零。
21.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中对于边缘和文本区域，增益值趋向于一。
22.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中为一组像素而计算增益值。
23.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，进一步包括以下步骤：
在乘以步骤之前组合增益值与来自增强编码器的编码器统计参数。
24.权利要求23的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中编码器统计参数指示可用位速率预算何时不再足以以足够质量的全分辨率进行编码，从而使第一乘法器单元的增益值被设置成减小的分辨率值以满足可用位速率预算。
25.一种用于解码在基本流和增强流中接收的经压缩的视频信息的方法，包括以下步骤：
解码基本流；
向上转换经解码的基本流以增加经解码的基本流的分辨率；
解码增强流；
将经解码的增强流乘以锐度控制值，其中所述锐度控制值控制经解码的增强流中的假象的可视性和锐度之间的折中；以及
组合向上转换的经解码的基本流和经锐度控制的增强流以产生视频输出。
26.一种表示视频信息的经压缩的数据流，包括：
基本层，其包括具有相对低的分辨率的经编码的位流；
高分辨率增强层，其包括具有相对高的分辨率的残留信号，该残留信号是来自基本层的放大帧和原始帧之间的差异，并且其中残留信号已被衰减。
27.一种存储介质，在其上已存储了权利要求26的经压缩的数据流。
CNB028210352A 2001-10-26 2002-10-16 一种空间可缩放压缩的视频编、译码器和方法 Expired - Fee Related CN1253009C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP01204066 2001-10-26
EP01204066.3 2001-10-26
EP02075918.9 2002-03-08
EP02075918 2002-03-08

Publications (2)

Publication Number Publication Date
CN1575603A true CN1575603A (zh) 2005-02-02
CN1253009C CN1253009C (zh) 2006-04-19

Family

ID=26077021

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028210352A Expired - Fee Related CN1253009C (zh) 2001-10-26 2002-10-16 一种空间可缩放压缩的视频编、译码器和方法

Country Status (6)

Country Link
US (1) US20040258319A1 (zh)
EP (1) EP1442602A1 (zh)
JP (1) JP2005506816A (zh)
KR (1) KR20040054744A (zh)
CN (1) CN1253009C (zh)
WO (1) WO2003036979A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578870A (zh) * 2007-01-05 2009-11-11 高通股份有限公司 用于精细化系数译码的基于块类型统计的可变长度译码表选择
CN1968250B (zh) * 2006-05-16 2010-04-21 华为技术有限公司 一种视频码流审查方法、系统和设备
CN101336549B (zh) * 2005-11-29 2011-01-26 三星电子株式会社 基于多层的可缩放视频编码方法及装置
CN101379511B (zh) * 2005-03-18 2011-11-09 夏普株式会社 具有画面级调整的扩展空间可缩放性的方法和系统
CN102342105A (zh) * 2009-03-03 2012-02-01 三星电子株式会社 用于对多层视频进行编码和解码的设备及方法
CN101536527B (zh) * 2006-07-11 2012-03-21 诺基亚公司 可缩放视频编码和解码
CN101160975B (zh) * 2005-04-14 2012-05-30 汤姆森特许公司 空间可缩放视频编码和解码的切片自适应运动向量编码的方法和装置
CN103222277A (zh) * 2010-06-04 2013-07-24 三星电子株式会社 基于用于确定内容质量的多个元素的自适应流传输的方法和装置
CN103838543A (zh) * 2014-03-27 2014-06-04 成都睿明医疗信息技术有限公司 屏幕画面共享方法及其系统
US9197689B2 (en) 2010-03-19 2015-11-24 Samsung Electronics Co., Ltd. Method and apparatus for adaptively streaming content including plurality of chapters
CN103222277B (zh) * 2010-06-04 2016-12-14 三星电子株式会社 基于用于确定内容质量的多个元素的自适应流传输的方法和装置
US9699486B2 (en) 2010-02-23 2017-07-04 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving data
US9756364B2 (en) 2009-12-07 2017-09-05 Samsung Electronics Co., Ltd. Streaming method and apparatus operating by inserting other content into main content
US9860573B2 (en) 2009-11-13 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for providing and receiving data
US9967598B2 (en) 2009-11-13 2018-05-08 Samsung Electronics Co., Ltd. Adaptive streaming method and apparatus
US10425666B2 (en) 2009-11-13 2019-09-24 Samsung Electronics Co., Ltd. Method and apparatus for adaptive streaming using segmentation
USRE48360E1 (en) 2009-11-13 2020-12-15 Samsung Electronics Co., Ltd. Method and apparatus for providing trick play service

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
EP1634461A2 (en) * 2003-06-19 2006-03-15 THOMSON Licensing Method and apparatus for low-complexity spatial scalable decoding
EP1661405B1 (en) 2003-08-29 2009-07-01 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using descriptive model parameters
EP1695555A1 (en) * 2003-12-08 2006-08-30 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme with a dead zone
CN1627823A (zh) * 2003-12-10 2005-06-15 皇家飞利浦电子股份有限公司 一种空间分级压缩的方法和装置
KR100602902B1 (ko) 2004-02-09 2006-07-24 주식회사 네빌코리아 동영상 압축 처리방법
EP1736004A1 (en) * 2004-04-06 2006-12-27 Koninklijke Philips Electronics N.V. Device and method for receiving video data
CN1728827A (zh) * 2004-07-26 2006-02-01 皇家飞利浦电子股份有限公司 一种视频流分级压缩方法及装置
US7402986B2 (en) 2004-07-26 2008-07-22 Wolfson Microelectronics Plc Power supply circuit for portable battery powered device
WO2007029919A1 (en) * 2005-07-21 2007-03-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction
KR100725407B1 (ko) 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
CN100428331C (zh) * 2005-08-12 2008-10-22 深圳华为通信技术有限公司 移动终端中图像自适应缩放的装置及其方法
EP3070922A1 (en) 2005-12-08 2016-09-21 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US20090328093A1 (en) * 2008-06-30 2009-12-31 At&T Intellectual Property I, L.P. Multimedia Content Filtering
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
WO2013003182A1 (en) * 2011-06-30 2013-01-03 Vidyo, Inc. Scalable video coding techniques
US20140355665A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Adaptive Video Reference Frame Compression with Control Elements
US20220159250A1 (en) * 2019-03-20 2022-05-19 V-Nova International Limited Residual filtering in signal enhancement coding
CA3133774A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Processing of residuals in video coding
GB2599805B (en) * 2019-03-20 2023-09-06 V Nova Int Ltd Temporal signalling for video coding technology

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903317A (en) * 1986-06-24 1990-02-20 Kabushiki Kaisha Toshiba Image processing apparatus
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5432870A (en) * 1993-06-30 1995-07-11 Ricoh Corporation Method and apparatus for compressing and decompressing images of documents
US6031575A (en) * 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6907073B2 (en) * 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101379511B (zh) * 2005-03-18 2011-11-09 夏普株式会社 具有画面级调整的扩展空间可缩放性的方法和系统
CN101160975B (zh) * 2005-04-14 2012-05-30 汤姆森特许公司 空间可缩放视频编码和解码的切片自适应运动向量编码的方法和装置
CN101336549B (zh) * 2005-11-29 2011-01-26 三星电子株式会社 基于多层的可缩放视频编码方法及装置
CN1968250B (zh) * 2006-05-16 2010-04-21 华为技术有限公司 一种视频码流审查方法、系统和设备
CN101536527B (zh) * 2006-07-11 2012-03-21 诺基亚公司 可缩放视频编码和解码
CN101578870A (zh) * 2007-01-05 2009-11-11 高通股份有限公司 用于精细化系数译码的基于块类型统计的可变长度译码表选择
CN102342105B (zh) * 2009-03-03 2015-08-19 三星电子株式会社 用于对多层视频进行编码和解码的设备及方法
US9106928B2 (en) 2009-03-03 2015-08-11 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multilayer videos
CN102342105A (zh) * 2009-03-03 2012-02-01 三星电子株式会社 用于对多层视频进行编码和解码的设备及方法
US9860573B2 (en) 2009-11-13 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for providing and receiving data
US9967598B2 (en) 2009-11-13 2018-05-08 Samsung Electronics Co., Ltd. Adaptive streaming method and apparatus
US10425666B2 (en) 2009-11-13 2019-09-24 Samsung Electronics Co., Ltd. Method and apparatus for adaptive streaming using segmentation
USRE48360E1 (en) 2009-11-13 2020-12-15 Samsung Electronics Co., Ltd. Method and apparatus for providing trick play service
US9756364B2 (en) 2009-12-07 2017-09-05 Samsung Electronics Co., Ltd. Streaming method and apparatus operating by inserting other content into main content
US9699486B2 (en) 2010-02-23 2017-07-04 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving data
US9197689B2 (en) 2010-03-19 2015-11-24 Samsung Electronics Co., Ltd. Method and apparatus for adaptively streaming content including plurality of chapters
US9277252B2 (en) 2010-06-04 2016-03-01 Samsung Electronics Co., Ltd. Method and apparatus for adaptive streaming based on plurality of elements for determining quality of content
CN103222277B (zh) * 2010-06-04 2016-12-14 三星电子株式会社 基于用于确定内容质量的多个元素的自适应流传输的方法和装置
CN103222277A (zh) * 2010-06-04 2013-07-24 三星电子株式会社 基于用于确定内容质量的多个元素的自适应流传输的方法和装置
CN103838543A (zh) * 2014-03-27 2014-06-04 成都睿明医疗信息技术有限公司 屏幕画面共享方法及其系统

Also Published As

Publication number Publication date
CN1253009C (zh) 2006-04-19
US20040258319A1 (en) 2004-12-23
KR20040054744A (ko) 2004-06-25
WO2003036979A1 (en) 2003-05-01
EP1442602A1 (en) 2004-08-04
JP2005506816A (ja) 2005-03-03

Similar Documents

Publication Publication Date Title
CN1253009C (zh) 一种空间可缩放压缩的视频编、译码器和方法
CN101371583B (zh) 编码/解码高动态范围图像的方法和设备
CN1294761C (zh) 视频编解码方法及装置
CN100518315C (zh) 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
JP2005506816A5 (zh)
CN1121120C (zh) 用于视频信号解码装置中用以去除分块效应的方法
US20020106019A1 (en) Method and apparatus for implementing motion detection in video compression
US10334256B2 (en) Video compression method
US20070160300A1 (en) Spatial scalable compression scheme with a dead zone
CN1575606A (zh) 空间可缩放的压缩
US20130156113A1 (en) Video signal processing
CN1347621A (zh) 减少“块状图像”效应
CN1947146B (zh) 下采样数据值的方法
CN1898966A (zh) 可兼容的交织sdtv和逐行hdtv
CN1666531A (zh) 空间可伸缩的压缩
WO2012022719A1 (en) Video signal processing
US8005148B2 (en) Video coding
TW417403B (en) System for deriving a decoded reduced-resolution video signal from a coded high-definiton video signal
Westen et al. Adaptive spatial noise shaping for DCT based image compression
CN1124047C (zh) 利用存储的比特流产生在屏显示信息的装置和方法
KR20050019807A (ko) 공간적인 스케일러블 압축

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee