CN105208394B - 一种实时数字图像压缩预测方法与系统 - Google Patents

Abstract

本发明公开了一种便于数字电路实现以及可时序优化的基于预测的实时数字图像压缩之预测方法。基于本发明所提出的预测方法，根据图像分辨率的大小、数字电路实现的难度、以及压缩效率的折中，选取一组单元和预测间隔的数值。图像分辨率越高，数字电路实现对时序的要求越高，此时可以适当增加单元的数值和预测间隔的数值；根据所选取的单元和预测间隔的取值，以及当前像素所处单元中的位置，选取相应的参考像素计算当前像素的预测值。采用本发明所提出的预测方法可以降低了芯片中数字电路对时序的要求，具有较高的实用价值，有望在未来的需要实时视频流压缩、解压缩集成电路中得到应用。

Description

一种实时数字图像压缩预测方法与系统

技术领域

本发明属于半导体显示与图像处理领域，具体涉及一种基于预测的实时数字图像压缩预测方法。

背景技术

随着集成电路设计与制造技术和半导体显示技术的发展，显示器的分辨率越来越高，如今支持4Kx2K分辨率的显示屏已经在市场上普遍出现，支持8Kx4K分辨率的显示屏也已问世，未来支持更高分辨率的显示屏也会出现。在保证显示器刷新率不变的情况下，显示器驱动芯片、时序控制芯片以及图像处理单元所需要支持的带宽越来越高。随之带来的问题是：现有技术中，芯片接口工作速率已无法满足芯片带宽的要求；芯片整体功耗增加，设计更为复杂，芯片及系统设计成本增加。

在基于预测的图像压缩方法中，预测方法的实现是最重要的一步，预测的准确性直接决定了最终的压缩比。如今在计算机图像压缩领域中广泛使用的JPEGLS(JointPhotographic Experts Group-Lossless Standard)标准就是一种成熟的基于预测的图像压缩方法，该标准采用的MAP(Median Adaptive Prediction)预测方法。但是MAP预测方法的运算过程中每个Pixel(像素)的预测均依赖于前一个像素，故对像素时钟的时钟长度存在要求，无法通过在数字电路中实现像素时钟域下的流水线操作这种方式来抵消对像素时钟长度的需求。而该参数值会随着图像分辨率增加而线性减小，当图像分辨率越来越高时，像素时钟长度越来越短，当缩短到一定程度时，基于MAP的预测方法将因为电路实现的时序无法满足要求而极大地增加芯片设计的难度。另外，VESA联盟于2014年最新推出的压缩标准DSC(Display Stream Compression Standard)标准采用了改进型的MMAP(ModifiedMedian Adaptive Prediction)预测方法，该方法引入了像素群(Group，每3个连续的像素是一个Group)的概念，其与MAP方法类似，即，MAP是在像素时钟域的每个时钟周期预测一个像素，而MMAP是在每个像素时钟域的每个时钟周期预测三个像素。但是，无论是MAP还是MMAP方法，在数字电路实现的时候，都存在无法采用在像素时钟域或者像素群时钟域下以流水线的方式来优化时序，即，MAP预测方法必须在一个像素时钟周期之内计算完毕，而MMAP预测方法必须在一个像素群时钟周期之内计算完毕。当图像分辨率达到一定程度的时候，基于MAP或者MMAP的预测方法将因为数字电路实现的时序无法满足要求而极大地增加芯片设计的难度和复杂度。

发明内容

本发明目的在于提供一种便于电路实现以及可时序优化的基于预测的实时数字图像压缩之预测方法。

本发明的技术方案是：

一种可时序优化的基于预测的实时数字图像压缩之预测方法。

根据本发明的像素预测方法，其数字电路实现的时序不完全地依赖于像素时钟，也即不完全地依赖于图像分辨率，可以随着图像分辨率的提高做调整，从而大大减小了数字电路实现时对时序的要求，方便电路设计和实现，并支持极高分辨率的图像压缩。为便于阐述，本发明引入两个参数：一、单元(Unit，其单位为Pixel，表示对一行连续的像素序列进行划分，每一个划分为一个Unit)；二、预测间隔(Predictor Interval，其单位为Unit，表示每次计算当前Unit中的像素的预测值时所选取的参考单元的位置)。

一种可时序优化的基于预测的实时数字图像压缩方法的像素预测方法，其步骤包括：

1)根据图像或者视频流中每帧图像分辨率的大小、数字电路实现的难度、以及压缩效率的折中，选取一组Unit和Predictor Interval的数值。一般的原则是，图像或者视频流中每帧图像分辨率越高，数字电路实现对时序的需求越高，此时，为了降低预测方法的电路实现过程中对时序的需求，可以适当增加Unit的数值和Predictor Interval的数值；

2)根据选取的Unit和Predictor Interval的取值，对当前像素位置依据本发明提供的预测方法进行计算得到当前像素位置的像素预测值(在具体实施方式中将对本发明提供的预测方法进行详细的阐述)；

3)求得当前像素位置的实际像素值与预测值之间的误差，对误差做量化处理，编码处理，编码之后的码字即为压缩得到的数据。

本发明的优点：

在实时视频流的压缩、解压缩编解码方法的电路实现中，由于方法本身的电路实现需要大量的计算过程，也即电路实现需要大量的硬件资源，所以时序就成为方法的电路实现中最关键的一环。为了满足电路对时序的要求，一种可行的方案是将视频流中的每一帧图像割裂为左、右半帧图像，分别同时对左、右半帧图像进行压缩，在解压缩之后再将恢复的左、右半帧图像拼接为完整的一帧图像。采用这种方案虽然可以将电路对时序的要求降低一半，但是，由此带来的代价是增加一倍的硬件资源，也即编解码部分的电路面积，功耗和成本增加一倍。采用本发明提供的预测方法，能够在实时地计算得到较准确的预测值从而提高压缩比的同时，便于将预测方法以流水线的方式实现，降低数字电路对时序的需求；对于某种特定分辨率的实时图像或者实时视频流，能够提供合适的Unit和PredictorInterval的值，增加预测方法的流水线实现方式的流水线级数，从而满足数字电路对时序的需求。本发明有助于降低硬件设计复杂度。

附图说明

图1为采用本发明提供的预测方法实施例实现的一种压缩系统的框图；

图2为采用本发明提供的预测方法实施例实现的一种解压缩系统的框图；

图3(a)所示为本发明实施例所提供的一种预测方法的执行流程图。

图3(b)所示为图3(a)实施例对应流程图中，选取Unit和Predictor Interval的十进制数值步骤。

图4(a)所示为本发明提供的预测方法实施例系统框图与操作流图。

图4(b)所示为本发明提供的预测方法实施例的一种时序图。

上述图中：1-本发明提出的一种预测器；2-减法器；3-量化器；4-编码器；5-行存储器；6-反量化器；7-解码器；8-加法器；9-缓存。预测器、减法器、量化器、反量化器、编码器、解码器、加法器、行存储器、缓存。预测器用于预测当前像素位置，获得当前像素的预测值；减法器用于获得当前像素位置的像素的实际值与预测值的误差；量化器用于对当前像素位置的误差进行量化；反量化器用于将量化之后得到的误差量化值进行反量化得到反量化之后的误差值；编码器用于对量化器输出的误差量化值进行编码；解码器用于解码得到误差量化值；加法器用于将量化之后的误差值与所述方法步骤四所得预测值相加求得得压缩并解压缩恢复得到的像素值；行存储器用于存储上一行经过压缩并解压缩恢复得到的像素值；缓存用于存储当前行的经过压缩并解压缩恢复得到的像素值。

具体实施方式

下面结合说明书附图，通过实例对本发明做进一步说明。

采用本发明提供的预测方法实现的一种压缩系统，如图1所示。该压缩系统的工作流程为：首先求得预测所得到的预测值与真实的像素值之间的误差值，然后对差值进行有损或者无损的量化，然后对量化得到的值进行编码，编码产生的码流通过某种通信接口协议，比如HDMI(High Definition Multimedia Interface，高清多媒体接口)、DP(DisplayPort接口)、MIPI(Mobile Industry Processor Interface，移动产业处理器接口)等，送入解压缩系统；由于该预测方法在预测某一像素时需要依赖上一行的相关位置的像素值，存储器5即用来缓存上一行的像素值。与之对应的采用本发明提供的预测方法实现的一种解压缩系统，如图2所示。该解压缩系统的工作流程为：首先将输入的码流解码，将解码后的数据反量化得到误差，然后将误差与预测值相加得到实际的像素值并输出，用来驱动显示屏或者其它中转设备；由于该预测方法在预测某一像素时需要依赖上一行的相关位置的像素值，存储器5即用来缓存上一行的像素值。

本发明提供的预测方法一个实施例由图3(a)、图3(b)所示，包括以下步骤：

图3(a)所示为本发明所提供的一种预测方法的执行流程图。该预测方法以Unit作为计算单元：对于每个Unit单元内部的第一个像素，在计算其预测值的过程中所选取的参考像素来自于与当前Unit间隔为Predictor Interval的长度的左侧的那个Unit的最后一个像素；对于Unit单元内部的非第一个像素，在计算其预测值的过程中所选取的参考像素来自于当前Unit内部的与当前像素紧邻的左侧的那个像素。图3(b)所示为在选取Unit和Predictor Interval的十进制数值：Unit＝4，Predictor Interval＝1的情况下的图像的第i行和第i+1行，其中，第i行的q0～q16为经过压缩和解压缩之后的像素的值(即，存储在图1中的“5行存储器”中)；第i+1行的Q0～Q16为经过压缩和解压缩之后的像素的值(即，存储在图1中的“9缓存”中)。用s0～s16表示第i+1行实际输入的像素值；用p0～p16表示第i+1行像素预测值。由于Unit＝4，如图3(b)将每一行的像素划分为长度为4的一个Unit。第i行中，q0、q1、q2、q3为一个Unit；q4、q5、q6、q7为一个Unit；依次类推。第i+1行中，Q0、Q1、Q2、Q3为一个Unit；Q4、Q5、Q6、Q7为一个Unit；依次类推。

下面以计算Unit(p8，p9，p10，p11)为例：

Q0＝p0+反量化(量化(s0-p0))； (1)

Q1＝p1+反量化(量化(s1-p1))； (2)

Q2＝p2+反量化(量化(s2-p2))； (3)

Q3＝p3+反量化(量化(s3-p3))； (4)

由于Predictor Interval＝1，所以计算p8所需要的当前行的参考像素为与之间隔为Predictor Interval Unit长度的那个Unit，也即Unit(Q0，Q1，Q2，Q3)，故，计算p8所需要的当前行的参考像素为Unit(Q0，Q1，Q2，Q3)中的最靠近p8的那个像素，即，Q3。而Q3像素值从开始计算到被使用的时间跨度为(Predictor Interval+1＝2)个Unit的时间长度；从而Q3的计算过程可以在单元时钟域(Unit Clock Domain)下以流水线的方式实现，其流水线的实现级数最多可为2级，即Predictor Interval+1＝2。增加Predictor Interval的取值可以增加Unit Clock Domam下流水线的级数。故而，加入计算Q3的数字电路实现不满足时序要求的话，可以增加Predictor Interval的取值，增加Unit Clock Domain下流水线的级数，从而满足时序要求。

p8＝F(Q3，q8，Q3+q8-Q3)； (5)

p9＝F(Q8，q9，Q8+q9-q8)； (6)

p10＝F(Q9，q10，Q9+q10-q9)； (7)

p11＝F(Q10，q11，Q10+q11-q10)； (8)

其中，F函数代表具体的预测函数，可以采用MAP或者其他的运算操作，或者多种运算操作的组合操作。

图4(a)～(b)给出了本发明所提供的预测方法的实施例的一种时序图。图4(a)框图中已注明的连线对应于图4(b)中的时序信号，包括：输入视频流的当前帧图像的当前行像素的实际值(curLine)，对误差作量化之后的量化误差(quantErr)，对量化误差作反量化之后的反量化误差(antiQuantErr)，当前像素的预测值与反量化误差相加所恢复得到的像素值(recovCurLine)，存储在行存储器中的上一行的恢复得到的像素值(recovPreLine)，当前像素的预测值(predictor)，当前像素的实际值与其预测值的误差(absErr)，编码器的输出(qErrEncoder)。如图4(b)所示，从cycle1开始计算cycle3的预测值(pU3)，从cycle2开始计算cycle4的预测值(pU4)，从cycle3开始计算cycle5的预测值(pU5)，从cycle4开始计算cycle6的预测值(pU6)，依次类推。比如，自cycle3开始计算cycle5的预测值(pU5)的过程中需要使用预测值(pU3)，而预测值(pU3)自cycle 1就已经开始计算；自cycle 1开始计算预测值(pU3)，到cycle 3得到预测值(pU3)的结果的过程中，本发明所提出的这种预测方法的电路实现可以在2个Unit Clock Domain的时间完成，也即，该方法的电路实现在UnitClock Domain下存在两级流水操作。

综上所述，即为本发明所提供的一种预测方法及其计算方法。从上面的分析可知，采用这种预测方法，在每一个Unit范围内，预测计算方法是传统的基于相邻像素来预测的MAP预测方法(比如，图3(b)中的Q9，Q10，Q11)，所以在每一个Unit范围内的预测值是十分精确的；而在每一个Unit的起始边界位置，预测计算方法是基于跨度为(Predictor Interval+1＝2)的那个Unit的最靠近当前Unit的那个像素来预测的MAP预测方法(比如，图3(b)中的Q8)。计算机领域的标准与方法，因其所依赖的软件与硬件平台远优于集成电路，因而其方法效果较好。对于半导体显示与图像处理领域，可借鉴计算机领域相近方法与标准，作为评估集成电路领域的图像处理方法的参考。对于本发明所提出的预测方法，由于在每一个Unit内部，在预测每一个像素均参考其紧邻像素，故对于Unit内部的像素来说，其预测值的准确度不会存在牺牲。比如，当采用MAP方法来预测Unit内部的像素值时，当Unit的取值取得稍大一些时，整幅图像的预测效果可以接近MAP预测方法的效果。并且该预测方法可以采用在Unit Clock Domain下级数为(Predictor Interval+1)的流水线计算过程，从而降低了芯片数字电路对时序的要求，对于整个芯片系统的设计和实现都具有重要的意义。

最后需要注意的是，以上仅列举出了本发明的一些较佳实施例，具体实施方式用于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。本领域技术人员未作出创造性劳动所获得的改进均应属于本发明范畴。

Claims (5)

1.一种基于预测的实时数字图像压缩预测方法，其特征在于，所述预测方法包括以下步骤：

步骤一：对静态图像或者视频流中每一帧图像的划分，当视频流中每一帧图像按行扫描一行一行输入时，按照Unit的大小对每一行做划分；Unit，其单位为Pixel，表示对一行连续的像素序列进行划分，每一个划分为一个Unit；

步骤二：设置以Unit为单位的Predictor Interval的取值，该取值直接决定了压缩方法可以在电路实现中采用的流水线的级数；Predictor Interval，其单位为Unit，表示每次计算当前Unit中的像素的预测值时所选取的参考单元的位置；

步骤三：判断当前像素是否为Unit内第一个像素：如果当前像素为Unit内第一个像素，则预测当前像素的参考像素选取为与当前Unit间隔为Predictor Interval的左侧最靠近当前像素的Unit的最右侧像素；如果当前像素不为Unit内第一个像素，则预测当前像素的参考像素选取为当前Unit内部与当前像素紧邻的左侧的那个像素；

步骤四：通过预测函数计算得到当前像素位置的预测值；

步骤五：计算得到经过量化和反量化之后的当前像素位置的像素值，作为求解后续像素位置的预测值的参考像素。

2.如权利要求1所述方法，在步骤一中，Unit的大小取值与图像的分辨率、压缩比以及电路的时序参数相关。

3.如权利要求1所述方法，在步骤二中，Predictor Interval的大小取值与图像的分辨率、压缩比以及电路的时序参数相关。

4.如权利要求1所述方法，在步骤四中，预测函数可以采用MAP；MAP，即MedianAdaptive Prediction的缩写，是在像素时钟域的每个时钟周期预测一个像素。

5.如权利要求1所述方法，在步骤五中，求得当前像素的实际值与所述方法步骤四所得预测值之间的误差值，对此误差值进行量化运算求得量化值，对此量化值进行反量化运算求得反量化之后的误差值，对此反量化之后的误差值与所述方法步骤四所得预测值相加求得压缩并解压缩恢复得到的像素值。