CN101077013A - 可缩放的图片编码 - Google Patents

可缩放的图片编码 Download PDF

Info

Publication number
CN101077013A
CN101077013A CNA200580042710XA CN200580042710A CN101077013A CN 101077013 A CN101077013 A CN 101077013A CN A200580042710X A CNA200580042710X A CN A200580042710XA CN 200580042710 A CN200580042710 A CN 200580042710A CN 101077013 A CN101077013 A CN 101077013A
Authority
CN
China
Prior art keywords
picture signal
signal
sampling
picture
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200580042710XA
Other languages
English (en)
Inventor
W·H·A·布鲁尔斯
J·G·W·M·詹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101077013A publication Critical patent/CN101077013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种用于编码图片信号(VS)的编码设备(1),包括:下采样装置(11),用于将原始图片信号转换到下采样的图片信号中;第一编码装置(14),被耦合到所述下采样装置(11),用于编码下采样的图片信号以便提供第一编码的图片信号(BL);上采样装置(16),被耦合到所述下采样装置(11),用于将下采样的图片信号转换到上采样的图片信号中;减法装置(13),用于从原始图片信号和上采样的图片信号中产生残余图片信号(RS);以及第二编码装置(14),被耦合到所述减法装置(13),用于编码所述下采样的图片信号以便提供第二编码的图片信号(EL)。第一编码装置(14)被安排用于有损编码。该编码设备(1)被安排成例如使用滤波器(10)来增加残余图片信号(RS)的图片锐度内容,并且因此增加第二编码图片信号(EL)的图片锐度内容。

Description

可缩放的图片编码
技术领域
本发明涉及可缩放的图像与视频编码。更具体地,本发明涉及编码图像或视频信号以便产生具有不同分辨率的至少两个编码信号的设备和方法。
背景技术
编码与解码图像(静态图片(picture))和视频(运动图片)是人们熟知的技术。在国际MPEG-2和MPEG-4标准中定义了广泛使用的图片编码类型,其例如在由John Wiley and Sons Ltd.于2003年出版的由I.E.G.Richardson和G.J.Sullivan编著的教程“H.264 andMPEG-4 Video Compression(H.264与MPEG-4视频压缩)”中被予以描述。典型的可缩放的MPEG兼容编码设备包括:
-下采样器(downsampler),用于产生下采样的图片信号,
-第一编码器,被耦合到所述下采样器,用于编码下采样的图片图像以便产生表示具有低分辨率的图片的第一编码图片信号(“基本层”),
-解码器,被耦合到所述编码器,用于重建下采样的图片信号,
-上采样器(upsampler),被耦合到第一解码器,用于重建原始图片信号,
-减法器,用于从原始图片信号中减去重建的图片信号以便产生残余(residual)(差值)信号,以及
-第二编码器,用于编码所述残余信号以便产生第二编码图片信号,该图片信号与所述低分辨率图片一起代表具有高分辨率的图片(“增强层”)。
这一已知的编码技术具有的优势在于,解码器可以使用第一图片信号得出低分辨率图片,或者使用两个图片信号得出高分辨率图片。在第一(“基本层”)图片信号包含大部分信息的同时,第二(“增强层”)图片信号被设计来只包含增强分辨率所需的附加信息。然而,实际上第二图片信号通常包含由(第一)编码器和解码器引入的伪像(artifact),其导致比特率的增加。
在MPEG兼容设备中使用的编码是有损编码,即损失了某些信息,使得不可能完整地重建原始输入图片信号。这种信息损失,通常出现在与编码处理有关的量化步骤中,它引起图片质量的降低。这种降低可以牵涉到伪像的引入和/或分辨率的损失,在提供比特率减少的重要优势的同时,该降低通常很难察觉。然而,有损编码引起原始图片信号和重建图片信号之间的差异,这进而增加了信息内容并且因此增加了第二(“增强层”)编码图片信号的比特率。
发明内容
本发明的一个目的是克服现有技术的这些和其他的问题,并提供一种用于编码图片信号的设备和方法,其在保持有损编码和提供可接受的图片质量的同时,产生具有减少的比特率的第二编码图片信号。
因此,本发明提供一种用于编码图片信号的编码设备,该设备包括:
-下采样装置,用于将原始图片信号转换到下采样的图片信号中,
-第一编码装置,被耦合到所述下采样装置,用于编码下采样的图片信号以便提供第一编码图片信号,
-上采样装置,被耦合到所述下采样装置,用于将下采样的图片信号转换到上采样的图片信号中,
-减法装置,用于从原始图片信号和上采样的图片信号中产生残余图片信号,
-第二编码装置,用于编码所述残余图片信号以便提供第二编码图片信号,
其中第一编码装置被安排用于有损编码,并且其中提供修正装置用于增加残余图片信号的图片锐度内容。
通过将上采样装置耦合到下采样装置,上采样图片信号未被编码与解码,因此消除了由编码和解码步骤引入的任何伪像。因为这些伪像没有被包括在残余信号中,所以这个信号包含极少的信息并且因此具有大大减少的比特率。然而,这样的残余信号在许多情况下将导致明显的质量损失。为此,本发明的编码设备被提供有修正装置,用于增加残余信号的图片锐度内容。尽管残余信号的这一增加的信息内容必然牵涉到第二编码信号的增加的比特率,但最后得到的比特率低于现有技术的相应信号的比特率。
当然,有可能省略修正装置。然而,这将导致具有比较差的图像质量的图片。还有可能用无损编码来替代有损编码,但是那并不一定导致比特率的减少,因为其将牺牲通常与有损编码有关的数据减少。而且,将失去与MPEG和其他标准比如AVC的兼容性。
应当注意,欧洲专利EP 0 577 363 B1公开了一种用于压缩放射性图像的设备,其中原始图像被下采样,随后被上采样,并且接着与原始图像相比较以产生差值图像。下采样的图像经受差分脉冲编码调制,这是一种无损编码技术。避免由有损编码技术引起的比特率增加的问题因此在这个现有技术设备中不会出现。此外,这个现有技术设备的应用被限于放射图像,并且由于是无损编码技术,从EP 0 577 363B1中所知的设备是非MPEG兼容的。
在本发明中,可以使用各种修正装置来增加残余信号的图片锐度内容。在第一实施例中,修正装置包括带宽减少装置用于减少上采样图片信号的带宽。带宽减少装置可以由安排在下采样装置和减法装置之间的滤波器装置组成,用于减少下采样图片信号的带宽。因为上采样图片信号被从原始图片信号中减去以产生残余信号,所以减少上采样图片信号的带宽便增加了残余信号的带宽,并且因此增加了残余信号的图片锐度内容,而同时还受益于没有伪像。
该滤波器装置优选地以这样的方式来设计,即如果第一编码设备和解码设备被安排在下采样装置和上采样装置之间的话,则上采样的图片信号的频率分布基本上相等于或相当于同一信号的频率分布。这样,保持了与现有编码设备的兼容性。当然,上采样信号的频率分布可以不同,例如通过使用具有较窄通带的滤波器装置而比现有技术设备中它的对应物(counterpart)更窄些。
应当注意,传统编码器和解码器通常包含滤波器,或者至少显示滤波特性,特别是当编码牵涉到图片信号值的量化和/或截断(truncation)时。本发明人已经意识到:从由下采样装置、上采样装置和减法装置组成的回路中省略编码装置和解码装置,减少了残余信号中的伪像的数量,而且除去了编码和解码装置的带限滤波特性。因此,滤波器装置可以被加入来完成这个带限效果而不需存在编码和解码装置。
滤波器装置可以与上采样装置整合在一起。即,上采样装置通常包含(低通)滤波器,并且这个滤波器的特性可以被调整来提供想要的上采样图片信号的频率分布。可替换地,或另外地,该滤波器装置可以被安排成与上采样装置串联。即,可以提供耦合到上采样装置的单独的滤波器单元。
该滤波器装置优选地具有低通滤波特性。即:令较低的(空间)频率通过该滤波器装置而较高的(空间)频率被衰减。
在上面所讨论的第一实施例中,修正装置包括安排在下采样装置和减法装置之间的滤波器装置,用于减少上采样图片信号的带宽。在第二实施例中,修正装置包括解码装置以及又一上采样装置、又一减法装置和又一加法装置,其中该又一上采样装置用于解码和上采样第一编码图片信号以产生重建的图片信号,该又一减法装置用于产生重建图片信号和原始图片信号的差值,以及该又一加法装置用于在编码之前将所述差值加到残余信号上。
在这个第二实施例中,提供了两个上采样装置用于产生两个上采样的图片信号,其中的一个如在第一实施例中那样先前已被编码并且随后被解码,而其中的一个还没有。通过从原始图片信号中减去这两个上采样信号并且然后合并所得到的残余图片信号,获得了具有增加的信息内容的新的残余图片信号。即,在没有编码和解码的情况下产生的(第一)残余图片信号不包含可能由编码和解码步骤引入的任何伪像,并且具有比较低的图片锐度内容。使用编码和解码而产生的(第二)残余图片信号可能包含伪像并从编码和解码装置的滤波效果受益,且因此具有比较高的图片锐度内容。通过组合这些残余图片信号,减少了伪像和任何未滤波的信号分量的有关贡献,并且因此获得一种被证明是令人满意的折衷。第二编码图片信号具有信息(即,图片锐度)内容,并且因此具有导致改进的图片质量的比特率,该比特率比在没有修正装置的情况下获得的比特率要高。再者,第二编码图片信号的比特率低于传统编码设备中的图片信号的比特率。
优选的是,编码设备包含加权装置,用于分别加权由该减法装置和该又一减法装置输出的图片信号。有利地,加权装置包括乘法器用于将图片信号与各个因子相乘,因子之和基本上或近似地等于1。即,加权装置允许确定两个残余信号的有关贡献。应当理解,为了获得本发明的好处,这两个因子都应当大于0。
在第二实施例中,提供附加编码装置用于编码由减法装置输出的残余信号以便产生附加编码信号是有利的。附加编码装置可以被链接到第二编码装置以使编码处理更容易。
第一和第二实施例可以被适当组合,因此提供第二实施例的设备,其另外包括滤波器装置用于滤波上采样的(但未被编码和解码的)图片信号。
本发明的编码设备可以有利地进一步包括:信号分析装置,用于分析输入图片信号和产生质量信号;以及乘法装置(或合适的受控放大器),用于将残余信号与质量信号相乘以便产生修改的残余图片信号,其优选地具有增加的幅度(即,质量信号优选地等于或大于1)。这允许残余信号根据应用或被编码的图片信号而被衰减(或放大)。
在又一实施例中,本发明的编码设备可以进一步包括组合装置,用于将残余图片信号或修改的残余图片信号与偏移(offset)信号进行组合以便产生均值修正的残余图片信号。这允许补偿DC偏移。
如果本发明的编码设备被安排用于根据国际图片压缩标准(优选地为MPEG标准或AVC标准)来编码图片图像,则是特别优选的。这保证了与现有和将来的解码设备的兼容性。然而,本发明不限于标准兼容性,并且如果需要的话可以脱离任何标准。
此外,本发明提供了一些设备,比如包括如上定义的编码设备的消费设备。作为非限制性例子,本发明提供包括如上定义的编码设备的图片存储设备,比如DVD录像机、基于图片存储设备的硬盘、运行适当软件程序的计算机、以及同等设备。
上面提到的设备的另一个例子是用于传送图片信息给远程单元的网络设备,该网络设备包括如上定义的编码设备。这样的网络设备可以例如在家庭中使用来传送图片给各种显示屏、计算机和其他设备。
上面所提到的设备的再一个例子是便携式消费设备,其包括接收机、发送机和如上定义的编码设备。这样的便携式消费设备可以是移动(蜂窝)电话设备,或者具有收发信机装置的膝上型计算机或者笔记本设备。
上面所提到的设备的又一个例子是照相机设备,其包括如上定义的编码设备。这样的照相机设备可以是用于图像(静止图片)、运动图片(视频)、或者二者的照相机。
本发明还提供一种包括如上定义的编码设备的图片处理设备。本发明另外提供:一种解码设备,用于解码使用以上定义的编码设备编码的图片信号;一种图片信号,其由以上定义的编码设备或者以下定义的方法来编码;以及一种信息载体,其包含由以上定义的编码设备或者以下定义的方法编码的图片信息。这样的图片信号可以通过任何适当装置例如电缆、光缆,或者以无线方式例如使用无线电波或者红外光(红外光可以使用蓝牙或者类似技术来传送),经由电缆网络或通过互联网来传送。适当的信息载体可以由DVD或类似的光信息载体或者磁信息载体比如硬盘来组成。
本发明还提供一种编码图片信号的方法,该方法包括以下步骤:
-将原始图片信号转换到下采样的图片信号中,
-编码下采样的图片信号以便提供第一编码图片信号,
-将下采样的图片信号转换到上采样的图片信号中,
-从原始图片信号和上采样的图片信号中通过减法运算产生残余图片信号,
-编码所述残余图片信号以便提供第二编码图片信号,其中,编码下采样的图片信号的步骤包含有损编码,并且其中该方法进一步包括增加残余图片信号的图片锐度内容的步骤。
本发明另外提供一种计算机程序产品用于执行如上定义的方法。应当注意,在这个文本中公开的任何算法成分实际中可以被整体地或者部分地实现为硬件(例如应用专用IC的一部分)或者实现为运行在专用数字信号处理器或通用处理器上的软件。计算机程序产品应当被理解为指的是命令集的任何物理实现,其中该命令集使能通用或专用处理器在一系列的装载所述命令到处理器中的装载步骤之后执行本发明的任何特有的功能。具体地,该计算机程序产品可以被实现为在载体比如象磁盘或磁带上的数据、存在于存储器中的数据、通过(有线或无线)网络连接传送的数据、或者纸上的程序代码。除了程序代码之外,程序所需的特有的数据还可以体现为计算机程序产品。
附图说明
下面将参照附图中所示的示例性实施例来进一步解释本发明,其中:
图1示意性示出了根据现有技术的第一图片编码设备。
图2示意性示出了根据现有技术的第二图片编码设备。
图3示意性示出了根据本发明的图片编码设备的第一实施例。
图4示意性示出了根据本发明的图片编码设备的第二实施例。
图5示意性示出了根据本发明的图片解码设备的一个实施例。
图6示意性示出了根据本发明的滤波器单元的第一实施例。
图7示意性示出了根据本发明的滤波器单元的第二实施例。
图8示意性示出了根据本发明的滤波特性。
图9示意性示出了根据本发明的图片编码设备的第三实施例。
图10示意性示出了根据本发明的图片编码设备的第四实施例。
具体实施例
图1中所示的现有技术编码设备1’包括下采样器11、第一编码单元14、解码单元15、上采样器12、减法单元13、以及第二编码单元16。下采样单元11接收原始图片信号VS并且将下采样的图片信号馈送给第一编码器14,在第一编码器14中该图片信号被编码。所得到的第一编码图片信号BL被输出并且馈送给解码单元15。解码的图片信号在上采样单元12中被上采样,然后在减法单元13中从原始图片信号VS中被减去。所得到的残余图片信号RS由第二编码单元16编码并且作为第二编码图片信号EL输出。在MPEG兼容系统中,第一编码图片信号BL称作“基本层”,而第二编码图片信号EL被称作“增强层”。第一编码图片信号BL和第二编码图片信号EL一起组成被发送和/或被存储的编码图片信号。
在这个已知安排中,残余信号RS表示由下采样、编码、解码和上采样步骤引入的任何误差。然而,这些步骤伪像引起残余信号RS包含不想要的信息,其反过来大大增加了第二编码图片信号EL的比特率(每秒的信息单位数量)。这些伪像主要是由于第一编码单元14使用的有损编码而导致,其典型地包括信号值的量化和/或截断。
图2中示出了一种可能的解决方案,其中编码设备1”也具有下采样器11、上采样器12、第一编码单元14、减法单元13和第二编码单元16。然而,在图2的设备中,第一编码设备14已经被安排在由单元11、12和13组成的回路之外。此外,不存在任何解码单元。结果,残余信号RS不包含可能由第一编码器单元14引入的任何伪像。
图1的编码和解码单元不仅引入伪像而且还具有滤波器功能。这样的滤波器功能可以由有助于衰减较高频率的变换系数加权操作来引起。本发明人已经意识到,通过把编码单元14和解码单元15放置在由单元11、12和13(图2)组成的回路之外,失去了这个滤波器功能。结果,上采样的图片信号的带宽被展宽,残余信号RS的带宽被变窄,并且第二编码信号EL的图片锐度内容被减少。还发现这个信息损失可以导致明显的图片降级。
这个问题由图3中所示的本发明的编码设备1来解决。图3的这个仅示例性的编码设备1也包括由下采样单元11、上采样单元12和减法单元13组成的比较回路,而第一编码器14和第二编码器16被放置在这个回路之外。对比图2的安排,滤波器单元10被安排成与上采样单元12串联。这个滤波器单元10有效地取代了图1的安排中的放置在回路内的编码单元14和解码单元15的滤波器功能。以这样的方式,保留了将编码器单元14和解码器单元15放置在回路之外的积极效果,而它们的滤波器功能由滤波器10所取代。
在图3中,滤波器单元10被示出为在上采样单元12的上游。然而,这不是必需的,并且滤波器单元10还可以被放置在上采样单元12的下游。在其他实施例(未示出)中,滤波器单元10可以被集成在上采样单元12中。即,上采样单元通常包括一个滤波器,其可以被适配成具有附加滤波器10的滤波特性。这被示意性地示出在图8中,其中滤波器传递函数H的绝对值|H|被示意性地示出为频率f的函数。上采样单元12的原始滤波器传递函数H用I指示,而作为把滤波器10包括在上采样单元12中之结果的修改的滤波器传递函数用II指示。在所示的例子中,在上采样器12中集成滤波器10的效果是滤波器的通带的变窄。
这被进一步地在图6和7中示出。在图6中,更具体地示出了下采样单元11的示例性实施例。单元11被示出为包括低通滤波器113和下采样器115。类似地,上采样单元12被示出为包括内插单元121和低通滤波器123。低通滤波器123从卷积单元127获取其滤波系数,其中卷积单元127被安排来执行两组滤波系数的卷积。标准的系数sc是由上采样单元的低通滤波器10常规地使用的系数。更改的系数ac是图3的低通滤波器10的系数。通过执行这两组滤波系数的卷积,滤波器123获得了将两个滤波特性相组合的滤波特性(对照图8)。以这样的方式,可以获得本发明的有利特征而不需以附加滤波器(图3中的10)为代价。
图4中示意性地示出了本发明的编码设备1的可替换实施例。图4的实施例另外包含信号分析(SA)单元17,用于检测图片信号的特征,比如边缘。由信号分析单元17输出的边缘信号ES和残余信号RS在乘法器18中相乘。这允许残余信号RS在图片信号的边缘和其他特征附近被放大,通常导致增加的较高空间频率(图片锐度信息)内容。
残余信号RS在边缘和其他重要图片特征附近的这个(比较小的)放大为可能已经丢失的任何较高频率分量提供了补偿。
图4的实施例还包含组合单元(加法器)19,用于组合(衰减的)残余信号RS与偏移信号DC,以在编码之前调整信号的DC电平。
信号分析单元17还可以用于调整滤波器10的滤波系数,如图4中的虚线所示。
图5中示意性地示出了一种用于解码由本发明的编码设备1产生的图片信号的解码器。图5的解码设备包括:第一解码单元44,用于解码第一编码图片信号BL;以及第二解码单元46,用于解码第二编码图片信号EL。上采样单元41被耦合到第一解码单元44。在减法器43处从解码的第二图片信号中减去上采样的并解码的第一图片信号。在所示的实施例中,偏移调整(偏移信号DC)在馈送第二解码图片信号给减法器43之前被执行。由减法器43输出的信号是重建的图片信号VS”。
图9中示意性地示出了本发明的编码设备1的可替换实施例。在图9的实施例中,第一编码器14也被放置在由单元11、12和13组成的回路之外。然而,第一编码器14后面跟随着解码器15和上采样器21,以产生重建的图片信号VS’。在减法器22中,从原始图片信号VS中减去重建的图片信号VS’,以产生一个辅助残余信号。如图3和4的实施例中那样,主残余信号RS由减法器13产生。主残余信号RS和辅助残余信号RS’在组合单元(加法器)25中被组合。这个组合的残余信号然后由第二编码器16编码以产生第二编码图片信号EL。第一编码图片信号BL和第二编码图片信号EL一起组成(例如通过电缆网络或互联网)被传送和/或(例如在光或磁信息载体比如DVD上)被存储的编码图片信号。
如从图9中可看见的,(主)残余信号RS不包含由编码器14产生的任何伪像,并且(在所示的实施例中)其不是使用附加滤波(图3和4中的滤波器10)来产生的。辅助残余信号RS’根据现有技术来产生(对照图1),并且可以包含伪像且从编码单元14和解码单元15所进行的滤波受益。通过在组合单元25中组合主残余信号RS和辅助残余信号RS’,获得最后得到的残余信号,其组合了本发明的和现有技术的有利特征而同时减轻了不利特征。
在图9的实施例中,乘法器23和24被提供来将(主)残余信号RS和辅助残余信号RS’分别乘以加权因子a和加权因子b。优选地,a和b都大于0,并且a与b之和约等于1(a+b≈1)。这样,由第二编码器16编码的残余信号是主残余图片信号RS和辅助残余图片信号RS’的加权平均。加权因子a和b的准确值可以取决于特定应用。
图10中示出了本发明的编码设备1的又一实施例。图10的实施例类似于图9的实施例,并且也具有设立在由单元11、12和13组成的回路之外的第一编码单元14。而且,辅助残余图片信号RS’由减法单元22产生。然而,对比图9的实施例,图10的实施例分别使用第一编码单元14、第二编码单元16和第三编码单元29来除了产生第一编码图片信号EL之外还产生第二编码图片信号EL1和第三编码图片信号EL2。第二编码图片信号EL1通过编码(主)残余信号RS来产生,而第三编码图片信号EL2通过编码原始图片信号RS和辅助残余图片信号RS’之差来产生。这具有这样的优势,即第二编码图片信号EL1已经提供对任何高频损失的一定补偿并且产生处于较低比特率的增强层。虽然第二编码图片信号EL1的频率补偿是个近似值,但是第三编码图片信号EL2将相当精确地补偿任何另外的频率损失。第二编码单元16和第三编码单元29可以被链接以便避免编码信息的重复。例如,由第二编码单元16编码的任何运动矢量不必包含在由第三编码单元29编码的第三编码图片信号EL2中。结果,第三编码图片信号EL2可以具有非常低的比特率。
(主)残余图片信号RS可以通过(任选的)乘法器23被衰减,其中乘法器23被馈送以乘法因子C。同样,被发送到第三编码单元29的图片信号可以使用(任选的)乘法器28来衰减,其中乘法器28被馈送以乘法因子D。因子C和D可以根据特定应用和/或图片信号的内容而定。
图3和4的实施例可以与图9和10的实施例相组合。例如,在图9和10的实施例中,可以安排滤波器10与上采样单元12串联。附加地或可替换地,滤波器10可以由变换单元(例如数字余弦变换单元)、加权单元、逆加权单元、以及逆变换单元的一系列安排来组成。其他修改对于本领域的技术人员来说是显而易见的。
本发明的编码设备可以被使用在例如用于传送图片信息给远程单元的网络设备、便携式消费设备比如包括接收机和发送机的电话、以及照相机设备。
本发明基于这样的认识,即通过从产生残余信号的电路中移除有损编码器和解码器,可以减少第二(“增强层”)编码图片信号的比特率。本发明受益于另外的认识,即通过在所述电路中包括滤波器可以大大增强图片质量,以及通过组合根据本发明产生的残余信号和根据现有技术产生的残余信号可以达到合适的比特率减少。
应当注意,在本文档中所使用的任何术语不应当被视作为限制本发明的范围。特别是,单词“包括”不意味着排除没有具体陈述的任何部件。单个(电路)部件可以由多个(电路)部件或其等价物所替代。
本领域的技术人员应当理解,本发明不受限于上面所示的实施例,并且可以在不背离所附权利要求中定义的本发明的范围的前提下做出许多修改和增加。

Claims (20)

1.一种用于编码图片信号(VS)的编码设备(1),该设备包括:
-下采样装置(11),用于将原始图片信号转换到下采样的图片信号中,
-第一编码装置(14),被耦合到所述下采样装置(11),用于编码下采样的图片信号以便提供第一编码图片信号(BL),
-上采样装置(12),被耦合到所述下采样装置(11),用于将下采样的图片信号转换到上采样的图片信号中,
-减法装置(13),用于从原始图片信号和上采样的图片信号中产生残余图片信号(RS),
-第二编码装置(16),用于编码所述残余图片信号(RS)以便提供第二编码图片信号(EL),
其中第一编码装置(14)被安排用于有损编码,并且其中提供修正装置(10;15,21,22)用于增加残余图片信号(RS)的图片锐度内容。
2.根据权利要求1的设备,其中所述修正装置包括带宽减少装置,用于减少上采样图片信号的带宽。
3.根据权利要求2的设备,其中该带宽减少装置包括被安排在下采样装置(11)和减法装置(13)之间的滤波器装置(10),该滤波器装置(10)优选地具有低通滤波特性。
4.根据权利要求3的设备,其中所述滤波器装置(10)与上采样装置(12)被整合在一起。
5.根据权利要求3的设备,其中所述滤波器装置(10)被安排成与上采样装置(12)串联。
6.根据权利要求1的设备,其中该修正装置包括:解码装置(15)以及又一上采样装置(21),用于解码和上采样第一编码图片信号(BL)以产生重建的图片信号(VS’);又一减法装置(22),用于产生重建图片信号(VS’)和原始图片信号(VS)的差值;以及又一加法装置(25),用于在编码之前将所述差值加到残余信号(RS)上。
7.根据权利要求6的设备,进一步包括加权装置(23,24),用于分别加权由所述减法装置(13)和所述又一减法装置(22)输出的图片信号。
8.根据权利要求6的设备,进一步包括附加编码装置(16),用于编码由所述减法装置输出的残余信号以便产生附加编码信号。
9.根据权利要求1的设备,进一步包括:信号分析装置(17),用于分析输入图片信号(VS)和产生质量信号(ES);以及乘法装置(18),用于将残余信号与质量信号相乘以便产生修改的残余图片信号;该质量信号(ES)优选地等于或大于1。
10.根据权利要求1的设备,进一步包括组合装置(19),用于将残余图片信号或修改的残余图片信号与偏移信号(DC)进行组合以便产生均值修正的残余图片信号。
11.一种包括根据权利要求1的编码设备(1)的图片存储设备。
12.一种用于传送图片信息给远程单元的网络设备,该网络设备包括根据权利要求1的编码设备(1)。
13.一种便携式消费设备,其包括接收机、发送机和根据权利要求1的编码设备(1)。
14.一种包括根据权利要求1的编码设备(1)的照相机设备。
15.一种编码图片信号(VS)的方法,该方法包括以下步骤:
-将原始图片信号转换到下采样的图片信号中,
-编码下采样的图片信号以便提供第一编码图片信号(BL),
-将下采样的图片信号转换到上采样的图片信号中,
-从原始图片信号和上采样的图片信号中通过减法而产生残余图片信号(RS),
-编码所述残余图片信号(RS)以便提供第二编码图片信号(EL),其中编码下采样的图片信号的步骤包含有损编码,并且其中该方法进一步包括增加残余图片信号(RS)的图片锐度内容的步骤。
16.根据权利要求15的方法,进一步包括减少上采样图片信号的带宽的步骤。
17.根据权利要求15的方法,进一步包括以下步骤:
-分析输入图片信号(VS)和产生质量信号(ES),以及
-将残余信号与质量信号相乘以便产生修改的残余图片信号,所述质量信号(ES)优选地等于或大于1。
18.一种图片信号,其由根据权利要求1的编码设备(1)或根据权利要求15的方法进行编码。
19.一种信息载体,其包含由根据权利要求1的编码设备(1)或根据权利要求15的方法编码的图片。
20.一种计算机程序产品,用于执行以下处理器可执行的步骤:
-将原始图片信号转换到下采样的图片信号中,
-编码下采样的图片信号以便提供第一编码图片信号(BL),
-将下采样的图片信号转换到上采样的图片信号中,
-从原始图片信号和上采样的图片信号中通过减法而产生残余图片信号(RS),
-编码所述残余信号(RS)以便提供第二编码图片信号(EL),
其中编码下采样的图片信号的步骤包含有损编码,并且其中该方法进一步包括增加残余图片信号(RS)的图片锐度内容的步骤。
CNA200580042710XA 2004-12-13 2005-12-08 可缩放的图片编码 Pending CN101077013A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04106509.5 2004-12-13
EP04106509 2004-12-13

Publications (1)

Publication Number Publication Date
CN101077013A true CN101077013A (zh) 2007-11-21

Family

ID=36263884

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200580042710XA Pending CN101077013A (zh) 2004-12-13 2005-12-08 可缩放的图片编码

Country Status (6)

Country Link
US (1) US20090252425A1 (zh)
EP (1) EP1829380A1 (zh)
JP (1) JP2008523686A (zh)
KR (1) KR20070090245A (zh)
CN (1) CN101077013A (zh)
WO (1) WO2006064422A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685877A (zh) * 2012-09-28 2015-06-03 Vid拓展公司 用于多层视频编码的自适应上采样
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US8253752B2 (en) 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
CN102148959B (zh) * 2010-02-09 2016-01-20 北京中星微电子有限公司 一种视频监控系统及其图像的运动目标检测方法
US8768140B2 (en) * 2010-02-15 2014-07-01 Panasonic Corporation Data processing unit and data encoding device
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
GB2492397A (en) * 2011-06-30 2013-01-02 Canon Kk Encoding and decoding residual image data using probabilistic models
US10873772B2 (en) * 2011-07-21 2020-12-22 V-Nova International Limited Transmission of reconstruction data in a tiered signal quality hierarchy
US10045089B2 (en) * 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
US9324161B2 (en) * 2013-03-13 2016-04-26 Disney Enterprises, Inc. Content-aware image compression method
CN109076256A (zh) * 2016-04-12 2018-12-21 索尼公司 发送设备、发送方法、接收设备和接收方法
GB2623547A (en) * 2022-10-19 2024-04-24 Sony Interactive Entertainment Europe Ltd Progressive refinement video enhancement

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289548A (en) * 1992-06-30 1994-02-22 Loral Aerospace Corp. Compression and reconstruction of radiological images
AU2001251386A1 (en) * 2000-04-07 2001-10-23 Demografx Enhanced temporal and resolution layering in advanced television
EP1442601A1 (en) * 2001-10-26 2004-08-04 Koninklijke Philips Electronics N.V. Method and appartus for spatial scalable compression
US6862372B2 (en) * 2001-12-27 2005-03-01 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement using coding information and local spatial features
EP1574070A1 (en) * 2002-12-10 2005-09-14 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685877A (zh) * 2012-09-28 2015-06-03 Vid拓展公司 用于多层视频编码的自适应上采样
US10218971B2 (en) 2012-09-28 2019-02-26 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
CN104685877B (zh) * 2012-09-28 2019-03-29 Vid拓展公司 用于多层视频编码的自适应上采样
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
US10819994B2 (en) 2016-06-30 2020-10-27 Beijing Century Technology., Ltd Image encoding and decoding methods and devices thereof

Also Published As

Publication number Publication date
KR20070090245A (ko) 2007-09-05
EP1829380A1 (en) 2007-09-05
JP2008523686A (ja) 2008-07-03
WO2006064422A1 (en) 2006-06-22
US20090252425A1 (en) 2009-10-08

Similar Documents

Publication Publication Date Title
CN101077013A (zh) 可缩放的图片编码
US9838715B2 (en) Image processing apparatus and method
CN1303817C (zh) 细粒可调节视频残差信号的编码解码系统和方法
CN1253009C (zh) 一种空间可缩放压缩的视频编、译码器和方法
CN1173577C (zh) 补偿idct失配的dct域下转换系统
CN1383684A (zh) 彩色视频编码与解码方法
US10334256B2 (en) Video compression method
WO2008026896A1 (en) Video encoding apparatus and method and video decoding apparatus and method
Lee et al. DPICT: Deep progressive image compression using trit-planes
Agarwal et al. Multiple image compression in medical imaging techniques using wavelets for speedy transmission and optimal storage
CN1947146A (zh) 下采样数据值的方法
CN1906946A (zh) 用于重放可缩放视频流的设备和方法
KR20040023606A (ko) 3차원 웨이브렛 변환 방법 및 장치
Matsuo et al. Video coding with wavelet image size reduction and wavelet super resolution reconstruction
US7123773B2 (en) Image coding-decoding method, image coding-decoding system, image coder, image decoder, and storage medium
US20100322305A1 (en) Arbitrary-resolution, extreme-quality video codec
US8045824B2 (en) Wavelet transformation-based image encoder, decoder and method for generating thumbnail image
CN1842820A (zh) 用于视频帧的空间放大的方法
CN1310190C (zh) 根据每块的能量编码静止图像的离散小波变换器件与方法
CN1949821A (zh) 频率影像信息中除去噪音的影像复原方法及其装置
CN1633814A (zh) 存储器带宽效率高的精细可分级(fgs)编码器
JP2014521273A (ja) 画像を符号化する方法および装置
US9414072B1 (en) Performance of the JPEG estimated spectrum adaptive postfilter (JPEG-ESAP) for low bit rates
CN116762338A (zh) 使用预处理的视频编码
CN1338182A (zh) 在离散余弦变换域中减少块噪声的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication