CN100518315C - 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法 - Google Patents

采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法 Download PDF

Info

Publication number
CN100518315C
CN100518315C CNB028210298A CN02821029A CN100518315C CN 100518315 C CN100518315 C CN 100518315C CN B028210298 A CNB028210298 A CN B028210298A CN 02821029 A CN02821029 A CN 02821029A CN 100518315 C CN100518315 C CN 100518315C
Authority
CN
China
Prior art keywords
decoding
base flow
proportion
enhancing
residual bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028210298A
Other languages
English (en)
Other versions
CN1575601A (zh
Inventor
W·H·A·布鲁斯
F·J·德布鲁恩
N·R·丹特瓦拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1575601A publication Critical patent/CN1575601A/zh
Application granted granted Critical
Publication of CN100518315C publication Critical patent/CN100518315C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

公开一种具有采用空间清晰度增强技术的空间可伸缩压缩方案的编码器/解码器。视频压缩方案对基层引入若干不同的视频增强技术。用一个图象分析器来确定最佳视频增强技术或各种视频增强技术的最佳混合。图象分析器将所选择的视频增强技术的混合与原始全分辨率输入信号进行比较，以确定哪些像素或像素组需要一个残留增强层。该规定所选择的视频增强技术的混合的参数被传送到解码器层，使得能在解码器层中使用相同的视频增强技术的混合。

Description

采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
发明领域
本发明涉及视频编码器/解码器，更具体来说，涉及具有采用空间清晰度增强技术的空间可缩放的压缩方案的视频编码器/解码器
发明背景
由于数字视频中固有的巨量数据，全运动(full motion)、高清晰度数字视频信号的传送是高清晰度电视的开发中的一个重大问题。更具体来说每个数字图象帧都是由一个按照特定系统的显示分辨率的像素阵列构成的静止图象。结果，包含在高分辨率视频序列中的原始数字信息的量是巨大的。为了减少必须发送的数据的量，就要采用压缩方案来压缩数据。已经建立了各种视频压缩标准和过程，包括MPEG-2、MPEG-4、和H.263。
许多应用允许一个流中可得到各种分辨率和/或质量的视频(video)。实现这一点的方法被笼统地称作可伸缩性(scalability)技术。有三个可以在其上运用可伸缩性的轴。第一个是时间轴上的可伸缩性，经常被称作时间可伸缩性。第二，有质量轴(量化)上的可伸缩性，经常被称作信噪比可伸缩性或精细粒度(fine-grain)可伸缩性。第三个轴是分辨率轴(图象中的像素数)，经常被称作空间可伸缩性或分层的编码。在分层的编码中，位流被划分成两个或更多的位流或层。各个层能被组合起来形成单一的高质量信号。例如，基层(base layer)可提供低质量视频信号，而增强层(enhancement layer)则提供能增强基层图象的附加信息。
特别地，空间可伸缩性可提供不同视频标准或解码器功能之间的兼容性。由于空间可伸缩性，基层视频可以有比输入视频序列更低的分辨率，在这种情况下，增强层携带能把基层的分辨率恢复到输入序列水平的信息。
图1表示一个已知空间可缩放的视频编码器100。所示的编码系统100完成层压缩(layer compression)，由此，通道(channel)的一部分被用于提供一个低分辨率层，其余部分被用于传送增强信息，由此这两个信号可以被重新组合起来，把系统提升到高分辨率。高分辨率视频输入被分离器102分离，由此，数据被发送到低通滤波器104和减法电路106。低通滤波器104降低视频数据的分辨率，视频数据然后被输送到基编码器(base encoder)108。一般而言，低通滤波器和编码器是所属领域中周知的，因此为了简明起见不在这里作详细说明。编码器108生成一个较低分辨率的基流，它被提供到第二个分离器110，由此从系统100输出。该基流能被广播、接收并通过解码器原封不动地显示，尽管该基流并不提供被认为是高清晰度的分辨率。
编码器110的其它输出被输送到系统100内的解码器112。从这里，解码的信号被输送到内插和上取样电路114。一般而言，内插和上取样电路114根据解码的视频流重构被过滤出的分辨率，并提供一个具有与高分辨率的输入相同分辨率的视频数据流。然而，由于因编码和解码而产生的过滤和损耗，在重构的流中会出现某些误差。在减法电路106中通过从原始未改变的高分辨率流中减去重构的高分辨率流而确定这些误差。减法电路106的输出被输送到增强编码器116，后者输出一个合理质量增强流。
过滤和按比例缩减输入视频至较低的分辨率然后对其进行压缩的一个缺点是，视频(video)丧失清晰度(sharpness)。这可在一定程度上通过使用解码器后的清晰度增强而得到补偿。尽管对视频图象的大部分来说这可能都是相当有效的，但在图象的有些区域，其结果与原始图象相比依然很差，例如即使用最复杂的增强，文本部分中的小字(small text parts)将依然是不可读的。
发明内容
本发明通过在基层上引入若干视频增强技术而增加可伸缩压缩方案中的视频压缩，以克服其它分层压缩方案的缺陷。使用一个视频图象分析器，各种视频增强技术的最佳混合(mix)被确定，定义这种混合的参数被作为用户数据传送到解码器部分。视频图象分析器比较选中的增强的位流的混合与原始全分辨率(full resolution)输入信号，确定哪些像素需要一个残留增强层。
按照本发明一个实施例，公开一种用于编码和解码一个输入视频位流的装置和方法。以下列方式编码一个基位流和一个残留位流。一个已解码的按比例扩展的基位流在具有不同增强算法的第一多个增强单元中被增强，且多个增强的基视频位流被输出。将该输入视频位流与该已解码的按比例扩展的基位流和该增强的基视频位流比较，其中图象分析器的输出控制该残留位流中含有的信息。该基位流和该残留位流以下列方式被解码。对解码的基位流进行与在编码器单元中进行的相同的增强。将解码后的残留位流叠加在解码后的和增强过的基视频位流上，以生成一个视频输出位流。
按照本发明另一个实施例，可以用增强过的基视频位流和解码后按比例扩展的基视频位流的一种混合来控制编码的残留位流中的信息，即：哪些像素或像素组应当被包括在解码的残留位流中。
本发明的这些和其它方面将在后面对实施例的说明中得到清楚的阐释。
附图说明
现在将参照以下附图举例说明本发明：
图1是一个代表已知的分层的视频编码器的框图；
图2是一个按照本发明一个实施例的分层的视频编码器/解码器的框图；
图3是一个按照本发明一个实施例的分层的视频编码器/解码器的框图；
图4是一个按照本发明一个实施例的矢量候选设置位置的示意图。
具体实施方式
按照本发明一个实施例，公开一种采用空间清晰度增强技术的空间可缩放的压缩方案。简要地说，被过滤和按比例缩减的视频序列被压缩。然后，用各种增强算法处理来自解码的基层帧的若干按比例扩展的版本。这可包括一个标准按比例扩展的和过滤的-例如奈奎斯特过滤的(nyquist filetered)一版本以及各种清晰度增强算法版本。一个图象分析器处理所有的信息并选择这些版本的最佳版本或最佳混合版本。定义了所选择的混合的混合参数也被插在编码的残留位流中，作为用户数据，以便解码器能精确地再现这个增强。
然而，经清晰度增强后的帧的有些区域，结果将依然是不完美的。通过在编码器中比较可用的原始全分辨率帧与增强帧，可以检测到这些区域。只有这些被检测到的区域才被压缩并成为被输入到增强层中的残留位流的部分。解码器然后将基层按比例缩减的位流解码，并把相同的增强参数像在编码器中所执行的那样加到解码后的输出。解码器然后解码残留位流，并将解码后的位流叠置在已经被解码和增强的基帧的像素上。
现在将参照图2更详细地说明这个实施例，图2是一个可用于本发明的编码器/解码器的框图。所示的编码/解码系统200完成层压缩(layer compression)，由此，通道的一部分被用于提供一个低分辨率基层，其余部分被用于传送轮廓增强(edge enhancement)信息，由此这两个信号可以被重新组合起来，以把系统提升到高分辨率。高分辨率视频输入201被分离器210分离，由此，数据被发送到一个低通滤波器212(例如奈奎斯特过滤器)和一个分离器232。低通滤波器212降低视频数据的分辨率，该视频数据然后被输送到基编码器214。一般而言，低通滤波器和编码器是所属领域中周知的，因此为了简明起见不在这里作详细说明。基编码器214生成一个较低分辨率的基流215。该基流能被广播、接收并通过加码器原封不动地显示，尽管基流并不提供被认为是高清晰度的分辨率。
编码器214也输出一个解码的基流到一个按比例扩展(upscaling)电路216。此外，也可以在电路中编码器214之后的位置插入一个解码器(未予示出)，以先把编码器的输出先解码再发送到按比例扩展电路216。一般而言，按比例扩展电路216重构在解码的视频流中被过滤掉的分辨率，提供一个具有与高分辨率的输入相同分辨率的视频数据流。来自按比例扩展电路216的按比例扩展的位流v1被一个分离器218分离后，被输入到一个图象分析器230、一个减法电路234和一个分离器220。来自分离器220的按比例扩展的位流v1被输入到增强单元222和224。每个增强单元运行将在下文被详细地说明的不同的空间增强算法。图2有两个增强单元，但是要明白本发明中可以使用任何数量的增强单元。
存在许多视频增强技术，它们都改进图象内容，使得最后所得到的图象的评价得到改善。这些增强的主观特征使优化过程变得复杂，很可能是视频增强算法多样性的原因。各种增强算法都以某种方式有助于图象质量，因此，它们常常一连串地出现，以博采各个算法之长。噪声降低和清晰度改进只是大量增强算法中的一些例子。应当明白这些已知增强算法的任何一个都能在本发明中使用。
一个高质量的空间增强函数(function)由一组有助于清晰度的不同方面的算法组成。有些算法只通过增加图象的陡度(steepness)而改善图象的梯度，而其它算法则更改梯度的幅度(amplitude)。这些算法似乎是互相排斥的，然而，事实远非如此。两种改善梯度特性的方法都可以使用，其中一个预定的模型确定每个算法的单独贡献。
返回到图2，按比例扩展的位流v1在增强单元222和224中按照各个单元中的增强算法被处理。从增强单元222和224中最终得到的视频流分别被输入到减法单元226和228，位流v1在减法单元中分别被减去从增强单元222和224中最终得到的视频流，产生视频流v2和v3。视频流v2和v3被输入到图象分析器230。输入位流201也通过分离器232被输入到图象分析器230。图象分析器230将视频流v1、v2和v 3与原始位流比较，确定怎样最好地增强该图象。由图象分析器进行的图象分析可以以各种方式进行。例如，图象分析器230可将视频流v1、v2和v3与原始位流比较，并选择最接近该原始位流的视频流(v1、v2和v3)。或者，图象分析器可以用一个使用混合参数(α，β)或增强矢量的不同位流的混合，以便从视频流的一个组合获得最佳总体图象质量。例如，图象分析器可选择一个代表该混合参数的矢量用于计算增强的基视频流的混合，以用所选择的矢量控制残留位流中的信息。此外，位成本函数(bit cost function)也可被用于确定最佳混合参数，如下文将要参照图3解释的那样。应当明白，所述方案以外的其它方案也能在图象分析器230中使用，本发明并不仅仅受限于此。
在图象分析器230中使用混合参数有众多的优点。第一，这是一个完全可扩展的系统。如果有更多的功能(functions)可对图象的清晰度作贡献，它们能容易地考虑进去。不必为系统优化新的功能。第二，在决定适合的增强矢量的同时各种功能的相互关系可以得到考虑。第三，在图象分析器230中可以采用一个空间-时间一致性(spatio-temporal consistency)模型。
在减法电路234中从原始输入201中减去按比例扩展电路216的按比例扩展的输出，生成一个被施加到开关236的残留位流。该开关由图象分析器230的输出控制。通过比较输入视频位流201与各种增强过的基视频流，图象分析器230能确定哪些像素或像素组(块)需要被增强层208进一步增强。对于那些被图象分析器230确定需要增强的像素或像素组(块)，图象分析器230输出一个使开关236闭合的控制信号，让那些部分的残留位流通过开关到达增强层编码器240。图象分析器230也把选中的混合参数和开关控制信号发送到编码器240，以便这个信息与从开关236最终得到的残留位流一起被编码，并作为增强流241被输出。
基流215被发送到基解码器250，增强流241被发送到解码器部分204的增强解码器252。解码器250解码基流215，该基流然后被按比例扩展电路254按比例扩展。该按比例经扩展的解码后的位流然后被分离器256分离，然后被发送到增强单元262和264、合并单元270和加法单元272。增强单元262包含与增强单元222的相同的空间增强算法，而增强单元264包含与增强单元224的相同的空间增强算法。增强单元262和264执行它们各自的算法，并把输出v2和v3发送到合并单元270。
增强解码器252解码增强流并把残留位流输出到加法单元272。此外，解码器252还解码混合参数和控制信号并把这个信息发送到合并单元270。合并单元将所有的输入合并在一起，生成从图象分析器230来的增强输出。按比例扩展的经解码的基流和经解码的残留位流被加法单元272合并在一起，最后得到的位流被输送到开关274。开关274被控制信号控制，使得合并单元270的输出能被施加到由加法单元272输出的位流中的适当的像素或像素块，从而生成输出信号276。
图3是按照本发明另一个实施例的编码器/解码器300的框图。图3中的许多部件与图2中所示的部件相同，因此这些部件被赋予了相同的标注号。此外，为了简明起见，类似部件的操作将不作说明。在这个实施例中，将一个成本函数用于确定各个增强信号v2、v3、……的混合参数α、β、……。按照本发明的一个实施例，增强矢量是一块一块地分配的。先前根据空间-时间邻域确定的最佳增强矢量在成本函数中被评估，如图4所示。该成本函数计算一个量度，它与客观的(objective)图象质量有关。增强矢量的最佳估计由一个产生最小成本的增强矢量所规定，即最佳矢量＝e(αi，βi，…)，其中i＝1，2，…是候选的个数，e()是以αi，βi，…作为参数的成本函数。
成本函数应在自身内包括定义好质量的所有因素以及防止人工产物机制(artifact prevention mechanism)。例如，就清晰度增强函数而言，梯度的陡度是一个重要因素，因而应当在成本函数中被考虑到。像因改善清晰度而产生的混叠(aliasing)这样的人工产物(artifacts)也应当被包括在成本函数中。成本函数起着质量度量的作用。
返回到图3，增强层编码器240向图象分析器230发送比特成本(bitcost)信息。根据有限的参数α，β，…的集合的混合信号Ve(α，β，…)计算出成本函数。信号Ve(α，β，…)的图象质量越好，成本函数就变得越低。对于每一个像素或像素组，可检测几个矢量α，β，…。然后选择具有最低成本函数的检测矢量。在一个实施例中，检测矢量有些是在时间和空间上相邻的像素组的已经选择的矢量。例如，图4中所示的矢量λ1β1、λ2β2和λ3β3是正在被检测的像素组的邻域(neighbors)。此外，可以选择具有一个随机偏移(offset)的一个或多个矢量。图象分析器输出Ve＝v1+αv2+βv3和Ve＝v1+λv2+μv3，其中α、β是混合参数，λ、μ是成本函数参数。在这个实施例中，在减法器234中从原始输入位流减去信号Vb以形成残留位流。每当最终成本函数超过一个预定的阈限，图象分析器向开关236输出一个信号，使得该开关闭合并在编码器240中为该像素组编码一个残留位流。此外，图象分析器也向编码器240发送控制信号、混合参数和成本函数，它们然后被编码并插入增强流241中。当增强流241在增强解码器252中被解码时，混合参数和成本函数被解码并发送到合并单元270。合并单元输出Vb，它在加法单元272中被加到经解码的增强流上，最后得到的位流被施加到开关274。开关274被控制信号S控制，使得来自合并单元270的Ve能被施加到由加法单元272输出的位流中的适当像素或块，以生成输出信号276。
本发明的上述实施例通过使用一个图象分析器来增强空间可缩放的压缩的效率，该图象分析器通过确定的增强矢量来选择多个增强的基位流的最佳的位流或一个混合，以控制编码的残留位流中的信息。要明白本发明的不同实施例不受限于上述步骤的严格顺序，因为有些步骤的时机可以互换而不影响本发明的总体操作。此外，术语“包含”并不排斥其它元素或步骤，术语“一个”并不排除多个和单一的处理器或其它单元可以实现在权利要求书中所述的若干个单元或电路的功能。

Claims (21)

1.用于编码一个输入视频位流的分层编码器，该编码器包含：
分层编码器单元，包括用于编码较低分辨率的基流的基编码器，该分层编码器单元还包括用于解码和按比例扩展基流以便产生具有输入视频位流的分辨率的经解码的按比例扩展的基流的装置，并且包括用于从输入视频位流减去经解码的按比例扩展的基流或从经解码的按比例扩展的基流导出的信号以便产生残留位流的装置，并且包括用于编码残留位流的增强编码器，该分层编码器单元包括多个增强单元，各有不同的视频增强算法，用于增强该经解码的按比例扩展的基流并输出增强的基视频流；并且还包括图像分析器，用于比较该输入视频位流与经解码的按比例扩展的基流和增强的基视频流以便产生控制信号，其中图像分析器的该控制信号确定该残留位流中的哪些部分被增强编码器编码。
2.按照权利要求1的分层编码器，其中，图像分析器选择代表用于计算增强的基视频流的混合的混合参数的矢量，并用所选择的矢量控制该残留位流中的信息。
3.按照权利要求2的分层编码器，其中，图像分析器比较所选择的增强的基视频流的混合与输入视频位流，以确定哪些像素或像素组需要通过残留位流得到额外的增强。
4.按照权利要求3的分层编码器，其中，每个像素组用不同的矢量来增强。
5.按照权利要求2的分层编码器，其中，图像分析器为有限数量的检测矢量计算成本函数，并且具有最低成本函数的检测矢量被选择。
6.按照权利要求5的分层编码器，其中，所选择的矢量被包括在压缩的数据流中。
7.按照权利要求5的分层编码器，其中，多个检测矢量是在时间和空间上相邻的像素组中的已经选择的矢量。
8.按照权利要求1的分层编码器，其中，所述用于解码和按比例扩展的装置是按比例扩展单元，用于解码基流并把基流的分辨率提高到输入视频位流的分辨率，以生成经解码的按比例扩展的基流；其中所述分层编码器单元还包括开关装置，用于根据来自图像分析器的控制信号有选择地只允许部分残留位流被发送到该增强编码器。
9.按照权利要求8的分层编码器，其中，所述开关装置是具有0至1之间的值的乘法器，其中，值0代表开关装置打开，值1代表开关装置闭合。
10.一种用于解码基流和残留位流的分层解码器，该分层解码器包含分层解码器单元，该分层解码器单元包括：用于解码基流以产生经解码的基流的基解码器，用于解码残留位流的增强解码器，以及用于按比例扩展经解码的基流以产生经解码的按比例扩展的基流的装置，和用于增强经解码的基流的装置，该用于增强的装置包含多个具有不同增强算法以用于输出增强的基视频流的增强单元，和用于将经解码的残留位流叠置在增强的基视频流上的装置。
11.如权利要求10中所要求的分层解码器，其中，解码器被安排成接收矢量，该矢量代表用于计算由多个增强单元生成的增强的基流的混合以便生成该增强的基视频流的混合参数。
12.一种用于编码输入视频位流的方法，该方法包含以下步骤：编码基流和残留位流，其中包含以下步骤：
解码和按比例扩展基流以提供经解码的按比例扩展的基流，
以输出增强的基视频流的多个不同增强算法增强该经解码的按比例扩展的基流；
从输入视频位流减去经解码的按比例扩展的基流或从经解码的按比例扩展的基流导出的信号以便产生残留位流；
将输入视频位流与经解码的按比例扩展的基流和增强的基视频流进行比较，以便产生控制信号，其中该控制信号确定残留位流中的哪些部分被编码。
13.按照权利要求12的方法，其中，选择代表用于计算增强的基视频流的混合的混合参数的矢量，用所选择的矢量控制包含在残留位流中的信息。
14.按照权利要求13的方法，其中，比较所选择的增强的基视频流的混合与输入视频位流，以确定哪些像素或像素组需要通过残留位流得到额外的增强。
15.按照权利要求13的方法，其中，每个像素组用不同的矢量来增强。
16.按照权利要求13的方法，其中，计算有限数量的检测矢量的成本函数，并选择具有最低成本函数的检测矢量。
17.按照权利要求16的方法，其中，被选择的矢量被包括在压缩的数据流中。
18.按照权利要求16的方法，其中，多个检测矢量是在时间和空间上相邻的像素组中的已经选择的矢量。
19.按照权利要求12的方法，进一步包含以下步骤：根据所述控制信号有选择地只允许部分残留位流被发送到增强编码器；编码被有选择地允许的部分残留位流，以形成经编码的残留位流。
20.一种用于解码基流和残留位流的方法，该解码方法包含：解码和按比例扩展基流以产生经解码的按比例扩展的基流，解码残留位流以产生经解码的残留位流，以输出增强的基视频流的多个不同增强算法增强经解码的按比例扩展的基流，和将经解码的残留位流叠置在增强的基视频流上。
21.如权利要求20中所要求的解码方法，其中该方法进一步包含接收代表用于计算由多个增强单元生成的增强的基流的混合的混合参数的矢量以便生成增强的基视频流。
CNB028210298A 2001-10-26 2002-10-16 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法 Expired - Fee Related CN100518315C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP01204066 2001-10-26
EP01204066.3 2001-10-26
EP02075917.1 2002-03-08
EP02075917 2002-03-08

Publications (2)

Publication Number Publication Date
CN1575601A CN1575601A (zh) 2005-02-02
CN100518315C true CN100518315C (zh) 2009-07-22

Family

ID=26077020

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028210298A Expired - Fee Related CN100518315C (zh) 2001-10-26 2002-10-16 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法

Country Status (6)

Country Link
US (1) US7421127B2 (zh)
EP (1) EP1442603B1 (zh)
JP (1) JP4547151B2 (zh)
KR (1) KR100927967B1 (zh)
CN (1) CN100518315C (zh)
WO (1) WO2003036980A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003237279A1 (en) 2002-05-29 2003-12-19 Pixonics, Inc. Classifying image areas of a video signal
US8005148B2 (en) * 2003-01-30 2011-08-23 Koninklijke Philips Electronics N.V. Video coding
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
WO2004114672A1 (en) * 2003-06-19 2004-12-29 Thomson Licensing S.A. Method and apparatus for low-complexity spatial scalable encoding
FR2858741A1 (fr) * 2003-08-07 2005-02-11 Thomson Licensing Sa Dispositif et procede de compression d'images numeriques
CN100563342C (zh) * 2004-06-25 2009-11-25 松下电器产业株式会社 图象编码方法和图象解码方法
JP2006174415A (ja) 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR101233854B1 (ko) * 2005-02-18 2013-02-15 톰슨 라이센싱 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
KR20070012201A (ko) * 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
CN102036071B (zh) * 2005-12-08 2014-04-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
JP4565392B2 (ja) * 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
JP4565393B2 (ja) * 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
JP4844456B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP4844455B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
JP4889403B2 (ja) * 2006-08-03 2012-03-07 日本放送協会 Ｔｖ法を用いた画像符号化装置及び復号化装置
US8250618B2 (en) 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
WO2008049271A1 (en) * 2006-10-25 2008-05-02 Thomson Licensing New syntax elements to svc to support color bit depth scalability
CN101617538A (zh) * 2007-01-08 2009-12-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
WO2008086423A2 (en) * 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
US8184715B1 (en) 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
JP2010287917A (ja) * 2007-09-26 2010-12-24 Toshiba Corp 画像符号化／画像復号化装置及び方法
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US8503814B2 (en) * 2009-01-19 2013-08-06 Csr Technology Inc. Method and apparatus for spectrum estimation
US8885967B2 (en) * 2009-01-19 2014-11-11 Csr Technology Inc. Method and apparatus for content adaptive sharpness enhancement
JP5262879B2 (ja) * 2009-03-18 2013-08-14 株式会社Ｊｖｃケンウッド 再符号化装置および再符号化方法
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
KR101750049B1 (ko) 2009-11-13 2017-06-22 삼성전자주식회사 적응적인 스트리밍 방법 및 장치
KR101777347B1 (ko) 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
KR101750048B1 (ko) 2009-11-13 2017-07-03 삼성전자주식회사 변속 재생 서비스 제공 방법 및 장치
KR101786051B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101777348B1 (ko) 2010-02-23 2017-09-11 삼성전자주식회사 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
DE102010010736A1 (de) * 2010-03-09 2011-09-15 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zur Kompression von Bilddaten
KR20110105710A (ko) 2010-03-19 2011-09-27 삼성전자주식회사 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치
KR101837687B1 (ko) 2010-06-04 2018-03-12 삼성전자주식회사 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
CN109547784A (zh) * 2017-09-21 2019-03-29 华为技术有限公司 一种编码、解码方法及装置
US10687083B2 (en) * 2018-06-06 2020-06-16 Intel Corporation Loop restoration filtering for super resolution video coding
GB2583087B (en) * 2019-04-11 2023-01-04 V Nova Int Ltd Decoding a video signal in a video decoder chipset

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408270A (en) * 1993-06-24 1995-04-18 Massachusetts Institute Of Technology Advanced television system
US5828788A (en) * 1995-06-29 1998-10-27 Thomson Multimedia, S.A. System for processing data in variable segments and with variable data resolution
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
KR100295798B1 (ko) * 1997-07-11 2001-08-07 전주범 스케일러빌리티를구현한이진현상신호부호화장치
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
WO1999033274A1 (en) * 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus
JPH11331613A (ja) * 1998-05-20 1999-11-30 Matsushita Electric Ind Co Ltd 階層型映像信号符号化装置と階層型映像信号復号化装置
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system

Also Published As

Publication number Publication date
JP4547151B2 (ja) 2010-09-22
US7421127B2 (en) 2008-09-02
JP2005507586A (ja) 2005-03-17
EP1442603B1 (en) 2014-12-17
US20050105814A1 (en) 2005-05-19
KR20040054748A (ko) 2004-06-25
CN1575601A (zh) 2005-02-02
WO2003036980A1 (en) 2003-05-01
KR100927967B1 (ko) 2009-11-24
EP1442603A1 (en) 2004-08-04

Similar Documents

Publication Publication Date Title
CN100518315C (zh) 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
CN1253009C (zh) 一种空间可缩放压缩的视频编、译码器和方法
KR101053628B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7593467B2 (en) Method and apparatus for decoding video signal using reference pictures
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US8270470B2 (en) Transcoding method and device
CN101577828A (zh) 用于比特深度可分级的视频编解码器的色调映射
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US9060172B2 (en) Methods and systems for mixed spatial resolution video compression
CN106507117A (zh) 立体视频传送系统的编码器优化
CN1751519A (zh) 视频编码
KR20070074451A (ko) 베이스 레이어의 영상신호를 레이어간 예측에 사용하는방법
CN103098471A (zh) 用于多层画面编码/解码的设备和方法
CN1575606A (zh) 空间可缩放的压缩
TWI445391B (zh) Coding apparatus, coding method and program product
US6307976B1 (en) Apparatus and method of adaptively coding/decoding interlaced shaped material
US20060133677A1 (en) Method and apparatus for performing residual prediction of image block when encoding/decoding video signal
KR100878824B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
EP1950974A1 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR20080004565A (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JP2001285881A (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
US20060120459A1 (en) Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information
CN100502504C (zh) 视频编码
CN102474616A (zh) 用于生成、解码和转码经编码的视频数据流的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090722

Termination date: 20181016

CF01 Termination of patent right due to non-payment of annual fee