CN109788290A

CN109788290A - 影像处理装置及利用帧内预测的无损影像压缩方法

Info

Publication number: CN109788290A
Application number: CN201711116103.4A
Authority: CN
Inventors: 徐阳
Original assignee: Silicon Motion Inc
Current assignee: Silicon Motion Inc
Priority date: 2017-11-13
Filing date: 2017-11-13
Publication date: 2019-05-21
Also published as: US10477219B2; TW201919396A; US20190149827A1; TWI662829B

Abstract

本发明提供一种影像处理装置及利用帧内预测的无损影像压缩方法，其可分别针对不同的色彩通道进行帧内预测及色彩通道间预测，并进一步考虑了彩色影像中的不同色彩通道间的相关性，可使得整体所产生的预测余值的数值较小，故影像压缩后所需的编码位元数也较少，进而提升编码效率。

Description

影像处理装置及利用帧内预测的无损影像压缩方法

技术领域

本发明有关于影像处理，特别是有关于具有一种影像处理装置及利用帧内预测(intra-frame prediction)的无损影像压缩(lossless image compression)方法。

背景技术

JPEG-LS是在ISO/ITU的新标准中用于对静态连续色调影像进行无失真压缩(lossless compression)的一种演算法。该演算法具有实现复杂度低，保真度高等特点，因而广泛应用于数位相机、网络传输、无线通讯以及医学成像等领域。

无失真压缩就是指经过压缩并重建后的图像和原图像完全一样，没有任何损失。如果重建图像和原图像存在差距，而误差被限制在一定的范围内就称作近无失真(lossy)压缩。近无失真压缩虽然有所损失，但对视觉影像却很小，也可以认为是无损的。有很多无损或近无损的图像压缩演算法，例如传统的JPEG无损模式、FELICS、CALIC等等。

然而，在JPEG-LS中的传统的帧内预测(intra-frame prediction)技术通常是针对每个亮度及彩度的通道进行单独编码。传统的帧内预测技术则忽略了彩色图像中的多个色彩通道(例如红色、蓝色、绿色)之间的相关性，进而造成编码后所产生的影像位元流的长度较长(即位数较多)，进而使得影像的压缩比降低。

因此，需要一种影像处理装置及利用帧内预测的无损影像压缩方法以解决上述问题。

发明内容

本发明提供一种影像处理装置，包括：一存储器单元，用以储存该影像处理装置的一输入影像；以及一处理单元，用以对该输入影像中的各像素的一红色子像素、一绿色子像素、及一蓝色子像素分别进行一帧内预测以产生相应的一第一红色预测余值、一第一绿色预测余值、及一第一蓝色预测余值，其中该处理单元还对该输入影像中的各像素所相应的该第一红色预测余值、该第一绿色预测余值、及该第一蓝色预测余值进行一色彩通道间预测处理以产生一第二红色预测余值、一第二绿色预测余值、及一第二蓝色预测余值，其中该处理单元更对该第二红色预测余值、该第二绿色预测余值、及该第二蓝色预测余值分别进行重映射以得到一第三红色预测余值、一第三绿色预测余值、及一第三蓝色预测余值，其中该处理单元更对该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值分别同时进行Golomb编码及游程长度编码，以产生该输入影像的一影像位元流。

本发明还提供一种利用帧内预测的无损影像压缩方法，包括：接收一输入影像；对该输入影像中的各像素的一红色子像素、一绿色子像素、及一蓝色子像素分别进行一帧内预测以产生相应的一第一红色预测余值、一第一绿色预测余值、及一第一蓝色预测余值；对该输入影像中的各像素所相应的该第一红色预测余值、该第一绿色预测余值、及该第一蓝色预测余值进行一色彩通道间预测处理以产生一第二红色预测余值、一第二绿色预测余值、及一第二蓝色预测余值；对该第二红色预测余值、该第二绿色预测余值、及该第二蓝色预测余值分别进行重映射以得到一第三红色预测余值、一第三绿色预测余值、及一第三蓝色预测余值；以及对该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值分别同时进行Golomb编码及游程长度编码，以产生该输入影像的一影像位元流。

附图说明

图1显示本发明一实施例中的影像处理装置的方块图。

图2显示依据本发明一实施例中的帧内预测方法的示意图。

图3A显示本发明一实施例中的第二预测余值的原始分布图。

图3B显示本发明一实施例中的第二预测余值在重映射后的分布图。

图4显示依据本发明一实施例中的利用帧内预测的无损影像压缩方法的流程图。

符号说明

100～影像处理装置；

110～影像处理电路；

120～存储器单元；

S410－S450～步骤。

具体实施方式

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合附图，作详细说明如下。

图1显示本发明一实施例中的影像处理装置的方块图。影像处理装置100例如可为一影像编码装置(image encoding apparatus)。在一实施例中，影像处理装置100包括一影像处理电路110及一存储器单元120。影像处理电路110用以对输入影像进行影像编码以产生一影像位元流，其中上述影像编码包括了帧内预测、色彩通道间预测、Golomb编码、以及游程长度编码(run length coding)。

在一些实施例中，影像处理电路110例如为一应用导向集成电路(application-specific integrated circuit，ASIC)、现场可程式化逻辑门阵列(field-programmablegate array，FPGA)、或具有相同功能的逻辑电路，但本发明并不限于此。

在另一些实施例中，影像处理电路110例如可为一中央处理器(centralprocessing unit)、数位讯号处理器(digital signal processor)、影像信号处理器(image signal processor)等等，但本发明并不限于此。在此实施例中，影像处理电路110可执行一影像编码程式以对输入影像进行影像编码。

存储器单元120例如为一动态随机存取存储器(dynamic random accessmemory)，其可做为影像处理电路110在进行影像编码时的影像缓冲器(image buffer)。

图2显示依据本发明一实施例中的帧内预测方法的示意图。

如图2所示，像素x表示待编码的像素，且像素a、b、c、d为像素x的相邻像素。因为在进行帧内预测时，是采用循序扫瞄(raster scan)的方式处理，故仅有在像素x的左方及上方的像素才能用于帧内预测。

举例来说，假设Px为像素x的预测值，则Px值会有多种预测方式，例如：

(1)Px＝a

(2)Px＝b

(3)Px＝c

(4)当c>a且c>b时，Px＝min(a,b)；

当c<a且c<b时，Px＝max(a,b)；

帧内预测的余值(residue)Err即等于当前的像素x减去预测值Px，意即Err＝x-Px。

需注意的是，上述帧内预测针对RGB影像中的各像素的各个色彩通道分别进行处理，意即对于输入影像中的当前像素x来说，其红色子像素的预测值是由其左方及上方的红色子像素进行帧内预测，绿色子像素的预测值是由其左方及上方的绿色子像素进行帧内预测，蓝色子像素的预测值是由其左方及上方的蓝色子像素进行帧内预测。换言之，当前像素x的红色子像素、绿色子像素、蓝色子像素会分别具有一红色预测值、一绿色预测值、及一蓝色预测值，在经过相应的相减处理后会得到一第一红色预测余值Er、一第一绿色预测余值Eg、及一第一蓝色预测余值Eb。

在一实施例中，影像处理电路110以蓝色通道的第一蓝色预测余值Eb为基准，对红色通道及绿色通道的第一红色预测余值Er及第一绿色预测余值Eg再进行一色彩通道间预测，以得到第二红色预测余值及第二绿色预测余值Er'及Eg'。

在一些实施例中，影像处理电路110可采用绿色通道的第一绿色预测余值或是红色通道的第一红色预测余值做为基准，对其他两个颜色通道的第一预测余值进行色彩通道间预测。

因此，整体而言，影像处理电路110对该输入影像中的各像素所相应的第一红色预测余值、第一绿色预测余值、及第一蓝色预测余值进行一色彩通道间预测处理以产生第二红色预测余值、第二绿色预测余值、及第二蓝色预测余值。换言之，对于做为基准的色彩通道，其第二预测余值等于其第一预测余值。

需了解的是，本发明中的影像处理电路110所进行的色彩通道间预测处理所产生的第二红色预测余值、第二绿色预测余值、及第二蓝色预测余值相较于第一红色预测余值、第一绿色预测余值、及第一蓝色预测余值，其数值进一步降低。换言之，当整体预测余值愈小，其资讯熵(information entropy)也就越小，整体所需的编码位元元数也愈少，故可进一步提升编码效率，最后所产生的影像位元流的长度也愈短。

图3A显示本发明一实施例中的第二预测余值的原始分布图。图3B显示本发明一实施例中的第二预测余值在重映射后的分布图。

影像处理电路110进一步对第二红色预测余值、第二绿色预测余值、及第二蓝色预测余值进行重映射(remapping)。举例来说，在正常情况下，第二预测余值的机率分布大致上是符合拉普拉斯分布(Laplace Distribution)，如图3A所示。详细而言，拉普拉斯分布是以0为中心，朝两边成指数衰减的趋势。若一般用8位元(bit)来表示一个像素的亮度值，则其数值的最大值MAXVAL＝255，且其动态范围RANGE＝MAXVAL+1＝256。也就是说第二预测余值的取值范围为：-MAXVAL<＝E<＝MAXVAL，其中E＝x-Px。因为上述取值范围已超过了8位元所能表示的范围，因此透过重映射机制，可使得第二预测余值的分布在[0,RANGE-1]的范围，其中RANGE＝2*MAXVAL。第二预测余值(包括第二红色预测余值、第二绿色预测余值、及第二蓝色预测余值)在重映射后可得到第三预测余值(包括第三红色预测余值、第三绿色预测余值、及第三蓝色预测余值)，且第三预测余值的分布系近似于几何分布(Geometricdistribution)，如图3B所示。对于具有几何分布的第三预测余值来说，使用Golomb编码可取得最佳的编码效果。

承上述实施例，影像处理电路110对第三红色预测余值、第三绿色预测余值、及第三蓝色预测余值分别同时进行Golomb编码及游程长度编码(Run-lengthcoding)，以产生输入影像的影像位元流。

关于Golomb编码，若x为要进行编码的整数，当x的数值愈小，Golomb编码后的位元元长度也愈短。本发明中之Golomb编码的具体演算法为：

假设对正整数x进行Golomb编码，选择参数m，令

b＝2m (5)

q＝INT((x-1)/b) (6)

r＝x-q*b-1 (7)

因此，正整数x可被编码为两部份，第一部份是由q个1加上1个0所组成，第二部份则为m位元的二进位数字，其数值为r。

此外，输入影像中通常会存在有平坦区域(即亮度值变化很小的区域)，在平坦区域中的预测余值会出现连续相等的情况。

影像处理电路110会检测在输入影像中的各像素的第三红色预测余值、第三绿色预测余值、及第三蓝色预测余值。当检测到相邻像素(依据循序扫描之顺序)的各色彩通道的预测余值连续相等时，影像处理电路110则会执行游程编码。在游程模式中，影像处理电路110会检测当前待编码的预测余值与后面的预测余值是否相等。若满足上述条件，则影像处理电路110会继续往后检测，然后将相同预测余值的个数记录下来，此即为游程长度。影像处理电路110会将游程长度与当前的预测余值(包括各色彩通道)一起进行编码以产生输入影像的影像位元流。

最后，影像处理装置100例如可与一相应的影像解码器(未绘示)搭配，且影像解码器中的影像解码流程相对于影像处理装置100中的影像编码流程。本发明领域中具有通常知识者当可了解可依据本发明中的影像处理装置100中的影像编码流程以设计相应的影像解码器，故其细节于此不再详述。

在步骤S410，影像处理电路110接收一输入影像(例如为一RGB影像)。

在步骤S420，影像处理电路110对该输入影像中的各像素的红色子像素、绿色子像素、及蓝色子像素分别进行一帧内预测以产生相应的一第一红色预测余值、一第一绿色预测余值、及一第一蓝色预测余值。举例来说，影像处理电路110可利用本发明图2中的帧内预测方法以预测在输入影像中的各像素的红色子像素、绿色子像素、及蓝色子像素的预测值，再将红色子像素、绿色子像素、及蓝色子像素分别减去相应的预测值以得到第一红色预测余值、第一绿色预测余值、及第一蓝色预测余值。

在步骤S430，影像处理电路110对该输入影像中的各像素所相应的第一红色预测余值、第一绿色预测余值、及第一蓝色预测余值进行一色彩通道间预测处理以产生第二红色预测余值、第二绿色预测余值、及第二蓝色预测余值。举例来说，影像处理电路110系可采用红色、绿色、或蓝色的其中一个色彩通道为基准，对其他两个色彩通道进行色彩通道间预测处理。

在步骤S440，影像处理电路110对第二红色预测余值、第二绿色预测余值、及第二蓝色预测余值分别进行重映射以得到第三红色预测余值、第三绿色预测余值、及第三蓝色预测余值。举例来说，预测余值的范围是由近似拉普拉斯分布以重映射至几何分布，使得整体所需的编码位元数降低。

在步骤S450，影像处理电路110对第三红色预测余值、第三绿色预测余值、及第三蓝色预测余值分别同时进行Golomb编码及游程长度编码(Run-lengthcoding)，以产生输入影像的影像位元流。举例来说，几何分布的预测余值采用Golomb编码可取得最佳的编码效果，即所需的编码位元元数最少。游程长度编码则可针对在输入影像中的平坦区域(即前后的预测余值相等的区域)以进一步降低编码的位元数。在一些实施例中，步骤S440可省略，表示影像处理电路110可对第二红色预测余值、第二绿色预测余值、及第二蓝色预测余值分别同时进行Golomb编码及游程长度编码(Run-length coding)，以产生输入影像的影像位元流。

综上所述，本发明提供一种影像处理装置及利用帧内预测的无损影像压缩方法，其可分别针对不同的色彩通道进行帧内预测及色彩通道间预测，并进一步考虑了彩色影像中的不同色彩通道间的相关性，可使得整体所产生的预测余值的数值较小，故影像压缩后整体所需的编码位元元数也较少，进而提升编码效率。

本发明虽以较佳实施例揭示如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当由权利要求书界定为准。

Claims

1.一种影像处理装置，包括：

一存储器单元，用以储存该影像处理装置的一输入影像；以及

一处理单元，用以对该输入影像中的各像素的一红色子像素、一绿色子像素、及一蓝色子像素分别进行一帧内预测以产生相应的一第一红色预测余值、一第一绿色预测余值、及一第一蓝色预测余值；

其中该处理单元更对该输入影像中的各像素所相应的该第一红色预测余值、该第一绿色预测余值、及该第一蓝色预测余值进行一色彩通道间预测处理以产生一第二红色预测余值、一第二绿色预测余值、及一第二蓝色预测余值；

其中该处理单元更对该第二红色预测余值、该第二绿色预测余值、及该第二蓝色预测余值分别进行重映射以得到一第三红色预测余值、一第三绿色预测余值、及一第三蓝色预测余值；

其中该处理单元更对该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值分别同时进行Golomb编码及游程长度编码，以产生该输入影像的一影像位元流。

2.如权利要求1所述的影像处理装置，其特征在于，该处理单元分别预测该输入影像中的各像素的该红色子像素、该绿色子像素、及该蓝色子像素的一红色预测值、一绿色预测值、及一蓝色预测值，并将该红色子像素、该绿色子像素、及该蓝色子像素分别减去该红色预测值、该绿色预测值、及该蓝色预测值以得到该第一红色预测余值、该第一绿色预测余值、及该第一蓝色预测余值。

3.如权利要求1所述的影像处理装置，其特征在于，该色彩通道间预测处理指该处理单元系以该第一蓝色预测余值为基准，将该第一红色预测余值及该第一绿色预测余值分别减去该第一蓝色预测余值以得到该第二红色预测余值、该第二绿色预测余值，且该第二蓝色预测余值等于该第一蓝色预测余值。

4.如权利要求1所述的影像处理装置，其特征在于，该重映射指将具有一拉普拉斯分布的该第二红色预测余值、该第二绿色预测余值、及该第二蓝色预测余值分别映射为具有一几何分布的该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值。

5.如权利要求1所述的影像处理装置，其特征在于，该处理单元检测在该输入影像中的具有该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值分别相应的连续像素的一数量，并将该数量与相应的该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值进行编码以得到该影像位元流。

6.一种利用帧内预测的无损影像压缩方法，包括：

接收一输入影像；

对该输入影像中的各像素的一红色子像素、一绿色子像素、及一蓝色子像素分别进行一帧内预测以产生相应的一第一红色预测余值、一第一绿色预测余值、及一第一蓝色预测余值；

对该输入影像中的各像素所相应的该第一红色预测余值、该第一绿色预测余值、及该第一蓝色预测余值进行一色彩通道间预测处理以产生一第二红色预测余值、一第二绿色预测余值、及一第二蓝色预测余值；

对该第二红色预测余值、该第二绿色预测余值、及该第二蓝色预测余值分别进行重映射以得到一第三红色预测余值、一第三绿色预测余值、及一第三蓝色预测余值；以及

对该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值分别同时进行Golomb编码及游程长度编码，以产生该输入影像之一影像位元流。

7.如权利要求6所述的方法，其特征在于，还包括：

分别预测该输入影像中的各像素的该红色子像素、该绿色子像素、及该蓝色子像素的一红色预测值、一绿色预测值、及一蓝色预测值；以及

将该红色子像素、该绿色子像素、及该蓝色子像素分别减去该红色预测值、该绿色预测值、及该蓝色预测值以得到该第一红色预测余值、该第一绿色预测余值、及该第一蓝色预测余值。

8.如权利要求6所述的方法，其特征在于，该色彩通道间预测处理包括：

以该第一蓝色预测余值为基准，将该第一红色预测余值及该第一绿色预测余值分别减去该第一蓝色预测余值以得到该第二红色预测余值、该第二绿色预测余值，且该第二蓝色预测余值等于该第一蓝色预测余值。

9.如权利要求6所述的方法，其特征在于，该重映射包括：

将具有一拉普拉斯分布的该第二红色预测余值、该第二绿色预测余值、及该第二蓝色预测余值分别映射为具有一几何分布的该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值。

10.如权利要求6所述的方法，其特征在于，还包括：

检测在该输入影像中的具有该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值分别相应的连续像素的一数量，并将该数量与相应的该第三红色预测余值、该第三绿色预测余值、及该第三蓝色预测余值进行编码以得到该影像位元流。