CN1253009C - 一种空间可缩放压缩的视频编、译码器和方法 - Google Patents

一种空间可缩放压缩的视频编、译码器和方法 Download PDF

Info

Publication number
CN1253009C
CN1253009C CNB028210352A CN02821035A CN1253009C CN 1253009 C CN1253009 C CN 1253009C CN B028210352 A CNB028210352 A CN B028210352A CN 02821035 A CN02821035 A CN 02821035A CN 1253009 C CN1253009 C CN 1253009C
Authority
CN
China
Prior art keywords
video
encoder
yield value
stream
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028210352A
Other languages
English (en)
Other versions
CN1575603A (zh
Inventor
W·H·A·布鲁斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1575603A publication Critical patent/CN1575603A/zh
Application granted granted Critical
Publication of CN1253009C publication Critical patent/CN1253009C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种使用自适应内容过滤的较为有效的空间可缩放压缩方案被公开。空间可缩放压缩方案的视频压缩量通过在增强层的残留流上引入乘数而得以增加。所述乘数是通过用于来自画面分析器的视频的每个帧中的每个像素或像素组的增益值来控制的，其中对于很少或没有细节的区域，增益值趋向于零，而对于边缘和文本，增益值趋向于一。这样，乘法器起到滤波器的作用，从而减小在增强层的无关数据上所花费的位的量。该乘法器亦允许动态分辨率压缩。

Description

一种空间可缩放压缩的视频编、译码器和方法
技术领域
本发明涉及一种视频编码器/解码器，更具体而言涉及这样一种视频编码器/解码器，其具有使用自适应内容过滤或动态分辨率的空间可缩放压缩方案。
背景技术
由于数字视频中固有的数据的海量，全运动、高清晰度的数字视频信号在开发高清晰度电视的过程中是明显的问题。更具体而言，每个数字图像帧是根据特定系统的显示分辨率从像素阵列形成的静止图像。作为结果，被包括在高分辨率视频序列中的原始数字信息的量是海量的。为了减小必须被发送的数据量，压缩方案被用于压缩数据。各种视频压缩标准或过程已被建立，包括MPEG-2、MPEG-4和H.263。
在一个流中视频在各种分辨率和/或质量处可用的许多应用被使能。实现它的方法被宽松地称为可缩放性技术。存在人们可展开可缩放性的三个轴。第一是时间轴上的可缩放性，常常被称为时间可缩放性。第二，存在质量轴(量化)上的可缩放性，常常被称为信噪比(SNR)可缩放性或细粒(fine-grain)可缩放性。第三轴是分辨率轴(图像中像素的数量)，常常被称为空间可缩放性。在分层编码中，位流被分成两个或多个位流或层。每个层可被组合以形成单个高质量信号。例如，基本层可提供较低质量的视频信号，而增强层可提供增强基本层图像的附加信息。
具体而言，空间可缩放性可提供不同视频标准或解码器能力之间的兼容性。借助空间可缩放性，基本层视频可具有比输入视频序列低的分辨率，在该情况下，增强层载有可将基本层的分辨率恢复到输入序列水平的信息。
图1说明了已知的空间可缩放视频编码器100。所述编码系统100实现层压缩，从而使信道的一部分被用于提供低分辨率的基本层而剩余部分被用于发送边缘增强信息，由此使两个信号可被复合以使系统达到高分辨率。高分辨率视频输入由分裂器102分裂以使数据被发送给低通滤波器104和减法电路106。低通滤波器减小视频数据的分辨率，该视频数据然后被馈送给基本编码器108。一般而言，低通滤波器和编码器在本领域是众所周知的并且为了简化，在此不被详述。编码器108产生可被广播、接收并通过解码器原样显示的低分辨率基本流，尽管该基本流并不提供将被认为是高清晰度的分辨率。
编码器108的输入亦被馈送给系统100内的解码器112。从那里，经解码的信号被馈送到插值和向上采样电路114中。一般而言，插值和向上采样电路114重构来自经解码的视频流的所滤出的分辨率并且提供具有与高分辨率输入相同的分辨率的视频数据流。然而，由于过滤和从编码和解码导致的损失，信息损失存在于经重构的流中。该损失是在减法电路106中通过从原始的、未修改的高分辨率流中减去重构的高分辨率流而确定的。减法电路106的输出被馈送给增强编码器116，其输出合理质量的增强流。
尽管可使这些分层压缩方案工作得相当好，这些方案仍具有增强层需要高位速率的问题。在正常情况下，增强层的位速率等于或高于基本层的位速率。然而，想要存储高清晰度视频信号则需要在正常情况下可通过公用压缩标准来递送的较低位速率。由此可能使得难以在现有标准清晰度系统上引入高清晰度，这是因为记录/播放时间变得过小。
发明内容
本发明通过以下而克服了其它已知分层压缩方案的缺陷：使用自适应内容过滤来减小被输入到增强编码器中的残留信号中的位数，从而降低增强层的位速率。
依照本发明的一个实施例，公开了一种方法和设备，用于提供使用对视频流的自适应内容过滤的空间可缩放压缩。视频流被向下采样以减小视频流的分辨率。向下采样的视频流然后被编码以产生基本流。基本流被向上转换以产生重构的视频流。所述视频流和重构的视频流然后被分析以产生所接收的视频流的帧中每个像素或像素组的内容的增益值。重构的视频流从所述视频流中被减去以产生残留流。残留流由乘法器以可变的增益因子来衰减以从残留流中去除这样的位，其表示具有很少细节的每个帧的区域。所得到的残留流然后被编码并输出增强流。
依照本发明的另一个实施例，从画面分析器输出的衰减器的增益值可被与来自增强编码器的正常位速率控制组合以允许根据增强编码器的可用位速率预算来编码可变的总分辨率。
依照本发明的另一个实施例公开了一种涉及解码器中的锐度控制的方法和设备。基本流被解码然后被向上转换以增加经解码的基本流的分辨率。增强流被解码然后被乘以锐度控制值，其中锐度控制值控制经解码的增强流中的假象的可视性和锐度之间的折中。最后，向上转换的经解码的基本流被与经锐度控制的增强流组合以产生视频输出。
从以下描述的实施例来看，本发明的这些和其它方面将是显而易见的，并且将参照这些实施例而被说明。
附图说明
为了举例，现在将参照附图来描述本发明，其中：
图1是表示已知分层视频编码器的方块图；
图2是依照本发明实施例的分层视频编码器/解码器的方块图；
图3是依照本发明实施例的分层视频编码器/解码器的方块图；
图4是依照本发明的分层视频解码器的方块图；并且
图5是依照本发明另外的实施例的分层视频编码器和分层视频解码器的方块图。
具体实施方式
图2是依照本发明一个实施例的分层视频编码器/解码器200的方块图。编码器/解码器200包括编码部201+203和解码部205。高分辨率视频流202被输入到基本编码部201中。视频流202然后由分裂器204分裂，从而使视频流被发送给低通滤波器206和第二分裂器211。低通滤波器或向下采样单元206减小视频流的分辨率，该视频流然后被馈送给基本编码器208。基本编码器208以已知方式来编码经向下采样的视频流并输出基本流209。在该实施例中，基本编码器208将本地解码器输出输出给向上转换单元210。向上转换单元210重构来自本地经解码的视频流的所滤出的分辨率，并且以已知方式提供具有与高分辨率输入视频流基本上相同的分辨率格式的经重构的视频流。可替换的是，基本编码器208可将经编码的输出输出给向上转换单元210，其中分离的解码器(未示出)或在向上转换单元210中提供的解码器将必须在经编码的信号被向上转换之前来解码它。
分裂器211分裂高分辨率输入视频流，从而使输入视频流202被馈送给减法单元212和画面分析器214。另外，经重构的视频流亦被输入到画面分析器214和减法单元212中。画面分析器214分析输入流的帧和/或经重构的视频流的帧并产生视频流的每个帧中的每个像素或像素组的内容的数值增益值。该数值增益值包括例如由帧中的像素或像素组的x、y坐标给出的像素或像素组的位置、帧数和增益值。当像素或像素组具有大量细节时，增益值向最大值“1”移动。类似地，当像素或像素组没有许多细节时，增益值向最小值“0”移动。用于画面分析器的详细准则的几个实例在以下被描述，但本发明并不局限于这些实例。首先，画面分析器可分析像素周围的局部分布对整个帧上的平均像素分布。画面分析器亦可分析边缘水平，例如，在整个帧上在平均值上被划分的每像素的-1  -1  -1-1  8   -1-1  -1  -1的绝对值。
用于不同细节程度的增益值可被预先确定并存储在查询表中以便于一旦每个像素或像素组的细节水平被确定时再次调用。
如以上所述，重构的视频流和高分辨率输入视频流被输入到减法单元212中，减法单元212从输入视频流中减去重构的视频流以产生残留流。来自画面分析器214的增益值被发送给乘法器216，其被用于控制残留流的衰减。在可替换的实施例中，画面分析器214可从系统中被去除并且预定增益值可被加载到乘法器216中。可替换的是，增益值可由用户使用例如控制按钮(未示出)来手动输入。将残留流乘以增益值的效果是对具有很少细节的每个帧的区域进行一种过滤。在这种区域中，一般情况下大量的位将必须被花费在大多为不相关的很少细节或噪声上。但通过将残留流乘以对于很少或没有细节的区域向零移动的增益值，这些位可在被编码于增强编码器218中之前从残留流中被去除。类似地，对于边缘和/或文本区域，乘数(multiplier)将向一移动，并且仅这些区域将被编码。对正常画面的该效果可以是对位的大量节省。尽管视频的质量将被稍微影响，但相对于位速率的节省，这是好的折中，特别是当被比较于处于相同总位速率的一般压缩技术时。来自乘法器216的输出被输入到产生增强流的增强编码器218中。
在解码器部205中，基本流由解码器220以已知方式解码，而增强流由解码器222以已知方式解码。经解码的基本流然后被向上转换于向上转换单元224中。经向上转换的基本流和经编码的增强流然后被组合于算术单元226中以产生输出视频流228。
图3说明了依照本发明一个实施例的编码器/解码器300。在该实施例中，被发送给乘法器的增益值是由增强编码器的可用位速率预算来控制的。增强编码器的位速率控制可通过以下来扩展：组合来自画面分析器214的增益值与来自增强编码器的编码器统计参数以产生与残留流相乘的最终增益控制参数。编码器/解码器300具有图2的所有所述元件，其已在图3中被给予相同的编号。为了简化，相同元件的操作将不在此被描述。
另外，编码器/解码器300具有位于画面分析器214和乘法器216之间的组合单元215。组合单元215从画面分析器214接收增益值。另外，组合单元215从增强编码器218接收基于编码器统计的增强参数。组合单元215组合编码器统计参数和增益值并将最终增益控制参数输出给乘法器216。然后，残留流在被增强编码器218编码之前被乘以最终增益控制参数。换句话说，根据增强编码器的可用位速率，来自画面分析器214的增益值被向上或向下调节。如果增强编码器具有小的可用位速率预算，则增益值将被向下调节以使较多的位将被滤出残留流。类似地，如果增强编码器具有大的可用位速率预算，则增益值将被向上调节以使较少的位将被滤出残留流。这样，当编码器统计参数指示可用位速率预算不再足以以足够的质量以全分辨率进行编码时，乘法器216的增益被设置成减小的分辨率值以满足可用位速率预算。这允许根据可用位速率预算来编码可变的总分辨率。
图4说明了依照本发明一个实施例的解码器400。在图4中，解码器400具有被添加给解码器部205的锐度控制单元230和乘法器232。锐度控制单元230允许用户选择0和1之间的参数，其中越低的数导致输出视频流228中的可视假象的数量的越大的减小，而越高的数导致输出视频流228的越锐利的图像。这样，锐度控制单元控制了来自增强流的假象的可视性和锐度之间的折中。所选的锐度控制参数被输入到乘法器232中。然后乘法器232将经解码的增强流乘以锐度控制参数以在将增强流与向上转换的基本流组合于算术单元226之前调节增强流中的假象的可视性和锐度。
图5示出分层视频编码器503、分层视频解码器205和分层视频解码器505的方块图。视频编码器503包括被添加给视频编码器203的减法器510和第二增强编码器511。视频编码器503可用如图3中所示的组合单元215来直接增强。图2和3示出使用乘法器216来影响对增强编码器218的输入以提供对增强层的适配。图2和3中所示的增强编码的缺点是，一些画面细节被丢失并且不能再被再生，这是因为乘法器216的乘法器操作(multiplier operation)是不可逆的。编码器503通过提供由减法器510和增强编码器511提供的第二增强层而克服了这个问题，所述第二增强层表示在乘法器216中丢失的细节。事实上，第二增强编码器511编码乘法器216的输入和输出之间的差异。相应的编码器218和511可针对其相应的输入而被最优化。例如，如果存在，可变长度编码可针对相应信号的统计而被最优化。
由编码器201+503产生的信号可如以上所述由解码器205来解码。在此情况下，仅基本层和第一增强层被解码。
为了解码第二增强层，除了解码器205以外，还提供了解码器505，其包括用于第二增强层的解码器512和加法器513。在解码器512中被解码的增强层在该实施例中简单地被添加给解码器205的输出流以提供在经解码的流的分辨率现在类似于输入202的分辨率的意义上透明的视频分辨率。
通过使用自适应内容过滤来降低增强层的位速率以在编码之前从残留流中去除不必要的位，本发明的上述实施例提高了已知空间可缩放压缩方案的效率。应理解，本发明的不同实施例并不被局限于上述步骤的严格顺序，这是因为一些步骤的时序可被互换而不影响本发明的总体操作。此外，术语“包括”并不排除其它元件或步骤，术语“一”和“一个”并不排除多个和单个处理器或可实现权利要求中列举的几个单元或电路的功能的其它单元。

Claims (25)

1.一种用于有效执行对在多个帧中捕获的视频信息的空间可缩放压缩的设备，所述设备包括编码器，用于将所捕获的视频帧编码并输出为压缩数据流，其中，所述编码器包含产生下列层的装置：
基本层，包括具有低分辨率的经编码的位流；
高分辨率增强层，包括具有相对高的分辨率的残留信号，所述残留信号是原始帧和未缩放帧之间的差；
其中，所述编码器还包含乘法器单元，用于衰减所述残留信号以减小所述残留层所需的位数。
2.权利要求1的用于有效执行对视频信息的空间可缩放压缩的设备，其中乘法器单元将残留信号衰减一个预定的量。
3.权利要求1的用于有效执行对视频信息的空间可缩放压缩的设备，其中，所述编码器配备有手控改变所述第一乘法器单元增益值的按钮。
4.权利要求1的用于有效执行对视频信息的空间可缩放压缩的设备，所述设备进一步包括：
画面分析器，其接收放大和/或原始帧并计算每个所接收的帧的每个像素的内容的增益值，其中，所述画面分析器具有一个输出，用于将计算的增益值发送到所述乘法器单元，以衰减所述残留信号。
5.权利要求4的用于有效执行对视频信息的空间可缩放压缩的设备，其中，所述画面分析器计算最小、最大值之间的增益值，所述增益值接近很少细节区域中像素的最小值。
6.权利要求4的用于有效执行对视频信息的空间可缩放压缩的设备，其中，所述画面分析器计算最小、最大值之间的增益值，所述增益值接近边缘或文本区域中像素的最大值1。
7.权利要求4的用于有效执行对视频信息的空间可缩放压缩的设备，其中，所述画面分析器计算一组像素的增益值。
8.一种用于编码和解码视频流的分层编码器，包括：
向下采样单元，用于从原始视频流产生下采样视频流；
基本编码器，用于将所述下采样视频流编码成较低分辨率的基本流，并输出较低分辨率的基本流；
向上转换单元，用于解码并增加基本流的分辨率以产生经重构的视频流；
减法器单元，用于从原始视频流中减去经重构的视频流以产生残留信号；
第一乘法器单元，其将残留信号乘以增益值，用以从具有很少细节的区域的残留信号中去除数据位；
增强编码器，用于编码来自乘法器的所得到的残留信号并输出增强流。
9.权利要求8的分层编码器，其中乘法器将残留信号衰减一个预定的量。
10.权利要求8的分层编码器，其中，所述分层的编码器配备有手控改变所述第一乘法器单元增益值的按钮。
11.权利要求8的分层编码器，进一步包括：
画面分析器，其接收视频流和经重构的视频流并计算所接收的流的每个帧中的每个像素的内容的增益值。
12.权利要求11的分层编码器，其中，所述画面分析器计算最小、最大值之间的增益值，所述增益值接近很少细节区域中像素的最小值。
13.权利要求11的分层编码器，其中，所述画面分析器计算最小、最大值之间的增益值，所述增益值接近边缘或文本区域中像素的最大值1。
14.权利要求11的分层编码器，进一步包括：
组合单元，其位于画面分析器和第一乘法器单元之间，所述组合单元包含从所述画面分析器输入初始增益值的输入端以及从增强编码器接收增强编码器统计参数的输入端，所述组合单元将初始增益值与来自增强编码器的编码器统计参数组合成最终增益值并将最终增益值输出给第一乘法器单元。
15.权利要求14的分层编码器，其中编码器统计参数指示可用位速率预算何时不再足以以足够质量的全分辨率进行编码，从而使第一乘法器单元的最终增益值被设置成减小的分辨率值以满足可用位速率预算。
16.权利要求11的分层编码器，其中，所述画面分析器计算一组像素的增益值。
17.一种用于解码经压缩的视频信息的解码器，包括：
基本流解码器，用于解码所接收的基本流；
向上转换单元，用于增加经解码的基本流的分辨率；
增强流解码器，用于解码所接收的增强流；
锐度控制装置，用于输出锐度控制值；
第二乘法器单元，用于将经解码的增强流乘以锐度控制值以允许用户控制经解码的增强流中的假象的可视性和锐度之间的折中；以及
加法单元，用于组合向上转换的经解码的基本流和经锐度控制的增强流以产生视频输出。
18.一种用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，包括以下步骤：
向下采样视频流以从原始视频流产生下采样视频流；
编码经向下采样的视频流以产生低分辨率基本流；
输出所述基本流；
解码并向上转换基本流以产生经重构的视频流；
从所述原始视频流中减去经重构的视频流以产生残留信号；
将残留信号乘以增益值，从而从表示具有很少细节的区域的每个帧的残留流中去除数据位；
编码所得到的残留流并输出增强流。
19.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，进一步包括以下步骤：
分析视频流和经重构的视频流以产生所接收的流的帧中的每个像素的内容的增益值。
20.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中，产生介于最小、最大值之间的增益值，所述增益值对于在很少细节区域的像素接近最小值0。
21.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中，产生介于最小、最大值之间的增益值，对于边缘或文本区域中的像素，所述增益值接近最大值1。
22.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中，为一组像素计算增益值，并且对所述一组像素，将所述残流乘以该组像素的计算增益值。
23.权利要求18的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，进一步包括以下步骤：
提供初始增益值，将初始增益值与来自增强编码器的编码器统计参数组合，以计算最终增益值，并在乘法步骤中，将所述最终增益值乘以残流。
24.权利要求23的用于提供使用对视频流的自适应内容过滤的空间可缩放压缩的方法，其中编码器统计参数指示可用位速率预算何时不再足以以足够质量的全分辨率进行编码，从而使第一乘法器单元的增益值被设置成减小的分辨率值以满足可用位速率预算。
25.一种用于解码在基本流和增强流中接收的经压缩的视频信息的方法，包括以下步骤：
解码基本流；
向上转换经解码的基本流以增加经解码的基本流的分辨率；
解码增强流；
将经解码的增强流乘以锐度控制值，其中所述锐度控制值用来对在经解码的增强流中假象的可视性和锐度之间所作权衡进行控制；以及
组合向上转换的经解码的基本流和经锐度控制的增强流以产生视频输出。
CNB028210352A 2001-10-26 2002-10-16 一种空间可缩放压缩的视频编、译码器和方法 Expired - Fee Related CN1253009C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP01204066 2001-10-26
EP01204066.3 2001-10-26
EP02075918.9 2002-03-08
EP02075918 2002-03-08

Publications (2)

Publication Number Publication Date
CN1575603A CN1575603A (zh) 2005-02-02
CN1253009C true CN1253009C (zh) 2006-04-19

Family

ID=26077021

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028210352A Expired - Fee Related CN1253009C (zh) 2001-10-26 2002-10-16 一种空间可缩放压缩的视频编、译码器和方法

Country Status (6)

Country Link
US (1) US20040258319A1 (zh)
EP (1) EP1442602A1 (zh)
JP (1) JP2005506816A (zh)
KR (1) KR20040054744A (zh)
CN (1) CN1253009C (zh)
WO (1) WO2003036979A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
EP1634461A2 (en) * 2003-06-19 2006-03-15 THOMSON Licensing Method and apparatus for low-complexity spatial scalable decoding
EP1661405B1 (en) 2003-08-29 2009-07-01 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using descriptive model parameters
EP1695555A1 (en) * 2003-12-08 2006-08-30 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme with a dead zone
CN1627823A (zh) * 2003-12-10 2005-06-15 皇家飞利浦电子股份有限公司 一种空间分级压缩的方法和装置
KR100602902B1 (ko) 2004-02-09 2006-07-24 주식회사 네빌코리아 동영상 압축 처리방법
EP1736004A1 (en) * 2004-04-06 2006-12-27 Koninklijke Philips Electronics N.V. Device and method for receiving video data
CN1728827A (zh) * 2004-07-26 2006-02-01 皇家飞利浦电子股份有限公司 一种视频流分级压缩方法及装置
US7402986B2 (en) 2004-07-26 2008-07-22 Wolfson Microelectronics Plc Power supply circuit for portable battery powered device
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
JP2008536451A (ja) * 2005-04-14 2008-09-04 トムソン ライセンシング 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
WO2007029919A1 (en) * 2005-07-21 2007-03-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction
KR100725407B1 (ko) 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
CN100428331C (zh) * 2005-08-12 2008-10-22 深圳华为通信技术有限公司 移动终端中图像自适应缩放的装置及其方法
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
EP3070922A1 (en) 2005-12-08 2016-09-21 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
CN1968250B (zh) * 2006-05-16 2010-04-21 华为技术有限公司 一种视频码流审查方法、系统和设备
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US8565314B2 (en) * 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US20090328093A1 (en) * 2008-06-30 2009-12-31 At&T Intellectual Property I, L.P. Multimedia Content Filtering
KR101597987B1 (ko) 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
KR101750049B1 (ko) 2009-11-13 2017-06-22 삼성전자주식회사 적응적인 스트리밍 방법 및 장치
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101786051B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101777347B1 (ko) 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
KR101777348B1 (ko) 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
KR20110105710A (ko) 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
KR101837687B1 (ko) 2010-06-04 2018-03-12 삼성전자주식회사 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
WO2013003182A1 (en) * 2011-06-30 2013-01-03 Vidyo, Inc. Scalable video coding techniques
US20140355665A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Adaptive Video Reference Frame Compression with Control Elements
CN103838543A (zh) * 2014-03-27 2014-06-04 成都睿明医疗信息技术有限公司 屏幕画面共享方法及其系统
US20220159250A1 (en) * 2019-03-20 2022-05-19 V-Nova International Limited Residual filtering in signal enhancement coding
CA3133774A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Processing of residuals in video coding
GB2599805B (en) * 2019-03-20 2023-09-06 V Nova Int Ltd Temporal signalling for video coding technology

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903317A (en) * 1986-06-24 1990-02-20 Kabushiki Kaisha Toshiba Image processing apparatus
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5432870A (en) * 1993-06-30 1995-07-11 Ricoh Corporation Method and apparatus for compressing and decompressing images of documents
US6031575A (en) * 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6907073B2 (en) * 1999-12-20 2005-06-14 Sarnoff Corporation Tweening-based codec for scaleable encoders and decoders with varying motion computation capability

Also Published As

Publication number Publication date
US20040258319A1 (en) 2004-12-23
KR20040054744A (ko) 2004-06-25
WO2003036979A1 (en) 2003-05-01
EP1442602A1 (en) 2004-08-04
CN1575603A (zh) 2005-02-02
JP2005506816A (ja) 2005-03-03

Similar Documents

Publication Publication Date Title
CN1253009C (zh) 一种空间可缩放压缩的视频编、译码器和方法
CN100518315C (zh) 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
CN101371583B (zh) 编码/解码高动态范围图像的方法和设备
CN1294761C (zh) 视频编解码方法及装置
JP2005506816A5 (zh)
CN1121120C (zh) 用于视频信号解码装置中用以去除分块效应的方法
CN1575606A (zh) 空间可缩放的压缩
US20070160300A1 (en) Spatial scalable compression scheme with a dead zone
KR20150068402A (ko) 동영상 압축 방법
CN1347621A (zh) 减少“块状图像”效应
CN1947146B (zh) 下采样数据值的方法
CN1898966A (zh) 可兼容的交织sdtv和逐行hdtv
CN1666531A (zh) 空间可伸缩的压缩
AU2011290813A1 (en) Video signal processing
CN100502504C (zh) 视频编码
CN1627823A (zh) 一种空间分级压缩的方法和装置
Westen et al. Adaptive spatial noise shaping for DCT based image compression
CN1124047C (zh) 利用存储的比特流产生在屏显示信息的装置和方法
CN1058360C (zh) 高清晰度电视视频编码器的码率分配方法
KR20050019807A (ko) 공간적인 스케일러블 압축
CN1172401A (zh) 应用自适应量化技术的视频信号编码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee