CN1560916A - 一种用于集成电路设计的静止图像熵编码方法 - Google Patents

Abstract

本发明涉及一种用于集成电路设计的静止图像熵编码方法，属于信息技术中数字图像信号处理和超大规模集成电路的设计技术领域。本方法首先将由小波变换得到的子带小波变换系数分块存储；对分块存储的子带小波系数进行嵌入式量化；对经过嵌入式量化的子带小波系数在块编码逻辑控制下进行过程编码；对经过程编码后的子带小波系数以及与子带小波系数相对应的上下文进行基于上下文的二进制算术编码；将二进制算术编码输出到优化截断嵌入式分块编码的第二层编码中。利用本发明方法，可以对任意分辨率的图像进行任意压缩倍数的压缩，压缩图像的质量在高压缩比的黑白图像和彩色图像，远远高于现行的JPEG标准。

Description

一种用于集成电路设计的静止图像熵编码方法

技术领域

本发明涉及一种用于集成电路设计的静止图像熵编码方法，尤其涉及在集成电路设计中用于静止图像压缩的基于优化截断嵌入式分块编码(以下简称EBCOT)的第一层编码方法，属于信息技术中数字图像信号处理和超大规模集成电路的设计技术领域。

背景技术

近十几年来，高质量图像的应用越来越广泛，但是数字图像本身数据量非常巨大，对它进行存储和传输前首先要进行图像压缩编码。图像编码解决的主要问题是如何采用一种新的表达方式来缩小表示图像所需要的数据量。原始数字图像本身存在三种数据冗余：编码冗余、像素间冗余和心理视觉冗余。图像压缩编码就是以去除这三种冗余为基础的。由于图像数据在变换域的表现形式比在空域中更加紧凑，编码质量较高，因此在有损压缩的过程中，图像数据首先要被变换到频域，然后变换系数经过量化再使用常规的无损技术压缩频率点。

在1991年国际标准化组织和国际电信联盟联合制定的静止图像压缩标准(以下简称JPEG)中使用的是离散余弦变换，在离散余弦变换变换中图像首先被分成大小为8×8(或16×16)的像素块，这些象素块被各自独立地变换、量化、编码和传输。这样，虽然充分考虑了块内部像素间的相关性，但是块与块之间的相关性却被忽视了，这就在很大程度上限制了图像压缩比的提高。同时，在低比特率(小于0.25比特/象素)的条件下，这种分块结构还产生了块边缘的“方块效应”。

为了解决上述问题，近几年，时频域局部化分析性能良好的离散小波变换逐渐应用到图像处理领域中，并且已取代离散余弦变换成为新一代静止图像压缩标准JPEG2000的基础。

在算法不断推陈出新的同时，用以实现算法的数字集成电路也得到了长足发展，集成电路制造工艺和电子设计自动化技术的进步推动了超大规模集成电路设计的发展，使得实现数字图像信号处理的单芯片系统成为可能。随着数字视频捕捉设备和数字相机的普及，以及高清晰度电视和可视电话的应用，对图像压缩处理的速度要求越来越高，在硬件上实现图像压缩越来越重要，因此必须对图像编码算法到实现该算法的专用集成电路的设计进行研究。目前，JPEG芯片已经进入实用阶段，而实现对小波系数压缩编码的专用集成电路仍未成熟。新一代标准JPEG2000的推出，也会对基于小波的图像压缩芯片重新做出规范。

自JPEG2000标准发布以来，在论文Kuan-Fu Chen，Chung-Jr Lian，Hong-Hui Chen.Analysis and architecture design of EBCOT for JPEG2000.Proceedings of IEEEInternational Symposium on Circuits and Systems，2001.765-768和Chung-Jr Lian，Kuan-Fu Chen，Hong-Hui Chen.Analysis and architecture design of lifting basedDWT and EBCOT for JPEG2000.Proceedings of International Symposium on VLSITechnology，Systems and Applications，2001.180-183中公开了EBCOT第一层编码在集成电路中实现方法。这2篇文章虽然采用了“象素跳读”和“列组跳读”等方法来加快编码速度，但是没有给出其结构的具体性能，如速度，规模等；也没有提出一种有效的组织和读取片上小波系数存储的方法。JPEG2000标准根据其算法特点推荐在EBCOT第一层编码和离散小波变换之间采用“推拉式”衔接结构，即编码时，离散小波变换作为主动端向EBCOT第一层编码里“推出”已经变换的小波系数；解码时，离散小波反变换作为主动端从EBOCT的一层解码里“拉出”小波系数。为了达到在“推拉式”体制中减少小波系数中间缓存的目的，第一层编码必须建立一种行之有效的访问小波系数存储的方法，从而在编码速度上与离散小波变换匹配。另外，由于第一层编码的运算对象是子带内的编码块，还需要对编码块的多个比特平面进行三种过程扫描和算术编码。因此，按照常规的方法来处理，必然引起第一层编码的编码速度滞后于小波变换的变换速度，从而一方面加大了小波系数的缓存量，另一方面也无法满足系统实时处理的需要。

发明内容

本发明的目的是提出一种用于集成电路设计的静止图像熵编码方法，该方法针对已有技术中的小波分解方法和已有技术中的EBCOT第二层编码方法，设计了在集成电路中EBCOT的第一层编码方法，并用以与现有的小波变换以及EBCOT第二层编码一起组成JPEG2000静止图像集成电路压缩系统的核心模块，以满足系统实时压缩的需要。本方法与具体小波滤波方法的选择和实现无关，除了可以作为JPEG2000静止图像集成电路压缩系统的重要部分，还可以在数码相机、数码监控、移动电话、视频电话等商业应用方面得到迅速的推广。

本发明提出的用于集成电路设计的静止图像熵编码方法，包括以下各步骤：

(1)将由小波变换得到的子带小波变换系数分块存储；

(2)对上述分块存储的子带小波系数进行嵌入式量化；

(3)对上述经过嵌入式量化的子带小波系数在块编码逻辑控制下进行过程编码；

(4)对上述经过程编码后的子带小波系数以及与子带小波系数相对应的上下文进行基于上下文的二进制算术编码；

(5)将上述二进制算术编码输出到优化截断嵌入式分块编码的第二层编码中。

上述方法中的子带小波变换系数分块存储的方法包括以下步骤：

(1)将子带小波系数切割成大小为32×32的内部地址连续的可重用内存块；

(2)将上述可重用内存块设定为四种不同的状态，即“空闲”、“缓冲”、“存满等待”和“存满处理”；

(3)将子带小波系数存储到处于“空闲”状态的可重用内存块中，该可重用内存块进入“缓冲”状态，直到子带小波系数完全写入可重用内存块中后，该可重用内存块进入“存满等待”状态，相应的过程编码对可重用内存块中的子带小波系数进行编码，编码结束后，该可重用内存块被释放，又进入“空闲”状态。

上述方法中的嵌入式量化方法包括如下步骤：

(1)将第1层子带小波系数的第1位至第7位置0，保留第8位至第16位；

(2)将第2层子带小波系数的第1位至第6位置0，保留第7位至第16位；

(3)将第3层子带小波系数的第1位至第5位置0，保留第6位至第16位；

(4)将第4层子带小波系数的第1位至第4位置0，保留第5位至第16位；

(5)将第5层子带小波系数的第1位至第3位置0，保留第4位至第16位。

上述方法中的块编码逻辑控制下的过程编码包括如下步骤：

(1)用标志清除过程对可重用内存块中已被嵌入式量化后的子带小波系数的最高位比特平面进行编码；

(2)对其余低比特平面进行重要性传播过程、幅度细化过程以及标志清除过程的扫描，以判断是否需要对该平面进行相应编码，扫描顺序依次为：重要性扩展过程、幅度细化过程、标志清除过程。

上述方法中的二进制算术编码包括如下步骤：

(1)读入已被过程编码后的子带小波系数D以及与该子带小波系数相对应的上下文CX；

(2)根据JPEG2000协议规定的基于上下文的二进制算术编码方法和概率估值表，由子带小波系数的上下文CX，得到大概率符号MPS和概率Qe；

(3)若D与MPS相等，则将初始化概率间隔A更新为A-Qe，将初始化输出码流C更新为C+Qe，同时将概率估值更新为下一个大概率符号，若D与MPS不相等，则将初始化概率间隔A更新为A-Qe，输出初始化码流C，同时将概率估值更新为下一个小概率符号，并将MPS更新为交换标志所代表的符号；

(4)若编码结束，则输出已编过码但尚未输出的码流C，并等待下一次编码，若编码没有结束，重复步骤(1)～(3)。

利用本发明提出的用于集成电路设计的静止图像熵编码方法，可以对任意分辨率的图像进行任意压缩倍数的压缩，压缩图像的质量在高压缩比的情况下(对于黑白图像，高压缩比指压缩比大于32倍的情况；对于彩色图像，高压缩比指压缩比大于80倍的情况)远远高于现行的JPEG标准。经过验证和测试，用本发明方法设计的集成电路可以在比较低的工作频率下(100兆赫兹)，对1280×1024×24比特彩色大图像完成每秒15帧的第一层编码。这种编码速度已经基本达到实时编码的速度。人眼在观看相应的解码图像时，不会产生闪烁感，解码的画面非常连续。因此，该集成电路设计种的静止图像熵编码方法可以应用在许多需要实时处理静止图像的领域。

附图说明

图1是已有技术中JPEG2000静止图像压缩的流程图。

图2是本发明提出的用于集成电路设计的静止图像熵编码方法即优化截断嵌入式分块编码中第一层编码的流程图。

图3是本发明编码方法中可重用内存块的状态划分示意图。

图4是可重用内存块的状态转移示意图。

图5是嵌入式量化后的子带小波系数构成示意图。

图6是比特平面的扫描顺序。

图7是子带小波系数的上下文中用到的八个相邻象素示意图。

图8是JPEG2000静止图像压缩协议规定的子带小波系数上下文寄存格式示意图。

图9是本发明方法中基于子带小波系数上下文的二进制算术编码流程图。

图10是上述二进制算术编码中输入缓冲机制和概率估值模块连接示意图。

图11是在上述输入缓冲机制中对概率估值异步ROM的读时序示意图。

具体实施方式

本发明提出的用于集成电路设计的静止图像熵编码方法，即EBCOT第一层编码算法是JPEG2000静止图像压缩算法中熵编码算法的重要组成部分。已有的JPEG2000协议规定的静止图像压缩算法的流程如图1所示。首先，原始图像经图像采集和色度变换，被串行送入离散小波变换；接着，变换后的小波系数分成若干子带后，被送入EBCOT第一层编码；最后，第一层编码输出的比特流经过EBCOT第二层编码的截断和封装，最终生成符合JPEG2000静止图像标准的压缩码流。其中EBCOT第一层编码和第二层编码合称为EBCOT编码。

本发明提出的EBCOT第一层编码的流程如图2所示。首先，将由小波变换得到的子带小波变换系数分块存储；对上述分块存储的子带小波系数进行嵌入式量化；然后，在块编码逻辑控制下，对上述经过嵌入式量化的子带小波系数进行过程编码；最后，对上述经过程编码后的子带小波系数以及与子带小波系数相对应的上下文进行基于上下文的二进制算术编码，并且把二进制算术编码的码流输出到EBCOT的第二层编码中。

上述方法中，子带小波系数分块存储的步骤如下：

(1)将子带小波系数切割成大小为32×32的内部地址连续的可重用内存块；

(2)将上述可重用内存块设定为四种不同的状态，即“空闲”、“缓冲”、“存满等待”和“存满处理”；

(3)将子带小波系数存储到处于“空闲”状态的可重用内存块中，该可重用内存块进入“缓冲”状态，直到子带小波系数完全写入可重用内存块中后，该可重用内存块进入“存满等待”状态，相应的过程编码对可重用内存块中的子带小波系数进行编码，编码结束后，该可重用内存块被释放，又进入“空闲”状态。

上述子带小波系数的分块必须遵循以下几个原则：

(1)系数块不能跨越子带边界；

(2)系数块的大小在子带内部必须相同；

(3)系数块的规模不能超过4096。

本方法设计了一种动态内存控制结构，在保证编码速度的前提下可以使子带小波系数的缓存量最小，并且最大限度的减小对子带小波系数缓存的访问频率。动态内存控制的基本思想就是把子带小波小波系数缓存不再按连续地址使用，而是切割成一个个独立的、内部地址连续的可重用内存块结构。可重用内存结构的大小统一，以确保它们可以被自由地重利用，通常选择最大的编码块大小(本方法选择的大小为32×32)作为可重用内存结构大小。当编码块较小而数据不能填满当前可重用内存结构时，任何其他可重用内存结构不得占用当前可重用内存结构中剩余空间，以确保所有内存块都可以被再次利用。动态内存控制体制下，可重用内存结构存共有4种状态，其中“空闲”为未占用状态，表明此可重用内存结构为空，可以被写入数据；第二种为“缓冲”状态，表明小波变换正在向该可重用内存结构中写入数据；第三种为“存满等待”状态，表明此可重用内存结构已写满，在排队等待编码处理；最后一种为“存满处理”，表明此可重用内存结构正在被编码处理。由于动态内存控制采用的是最优复用可重用内存结构的结构，因此可将小波系数的存储量降到最少。可重用内存结构的状态划分和转移如图3和图4所示。从编码端向内存看，可重用内存结构使整个片内子带小波系数的存储看起来只有一块可重用内存结构，其地址是可以顺序访问的。从“推拉”的原理可以看出，采用本发明的这种方法，通过复用片内存储空间，可以将离散小波变换和EBCOT第一层编码之间的小波存储量减到最少。除此之外，还可以极大降低片内存储的访问次数，加快编码速度，降低功耗。这种方法有效解决了现有技术在此环节上的缺陷。

上述方法中，对分块存储的子带小波系数进行嵌入式量化具体步骤包括如下步骤：

(1)将第1层子带小波系数的第1位至第7位置0，保留第8位至第16位；

(2)将第2层子带小波系数的第1位至第6位置0，保留第7位至第16位；

(3)将第3层子带小波系数的第1位至第5位置0，保留第6位至第16位；

(4)将第4层子带小波系数的第1位至第4位置0，保留第5位至第16位；

(5)将第5层子带小波系数的第1位至第3位置0，保留第4位至第16位。

为了简化量化过程并减少量化参数的存储，对JPEG2000编码算法的实现采用了标准中的隐含模式，量化后子带小波系数的构成如图5所示。图5中，分解级表示已有技术中小波分解的层数，JPEG2000标准中推荐小波分解的层数为5；符号位为子带小波系数在用二进制补码表示时，用于表示数据正负的比特位，符号位通常为最高位，在本方法中为第16位；基本量值位为JPEG2000中推荐的必须参与编码的比特位，在本方法中为第9位到第15位；附加量值位为采用本方法量化过程中，根据过程编码的需要，每分解层中有选择的参与编码的比特位；置0位为采用本方法量化过程中，根据过程编码的需要，每分解层中有选择的不参加编码的比特位。采用这种方法，对重建图像的压缩质量影响很小，却大大减少了对子带小波系数浮点数的操作，使量化可以通过简单的算术运算来完成，便于算法向集成电路的结构映射。

上述方法中，对经过嵌入式量化的子带小波系数在块编码逻辑控制下进行过程编码过程包括如下的步骤：

(1)用标志清除过程对可重用内存块中已被嵌入式量化后的子带小波系数的最高位比特平面进行编码；

(2)对其余低比特平面进行重要性传播过程、幅度细化过程以及标志清除过程的扫描，以判断是否需要对该平面进行相应编码，扫描顺序依次为：重要性扩展过程、幅度细化过程、标志清除过程。

上述块编码控制下的过程编码，从每个编码块中经过嵌入式量化的子带小波系数的最高非零比特平面开始，对每个比特都使用三个过程之一进行编码。对比特平面的扫描遵循特定的顺序，如图6所示。编码块内的每个经过嵌入式量化的子带小波系数，都有一个二进制的上下文与之对应，以表示该系数重要与否。其中，1个系数周围8个邻居的情况确定了这个系数的上下文。这样的8个邻居可以组成256种不同的上下文。考虑到待编码比特与邻居的相关性和设计的可行性，这8个邻居又被分为三类：水平的邻居、垂直的邻居、斜边的邻居，如图7所示。按照一定的规则分类后，上下文的状态被归纳为19种，这些上下文将会与经过过程编码的比特一起被送入基于上下文的二进制算术编码。

根据区分上下文的不同规则，过程编码中一共定义了四种编码操作：零编码、行程长度编码、符号编码以及幅度细化编码。这4种编码方法均出自JPEG2000标准ISO/IEC IS 15444-1，“Information Technology-JPEG2000 image coding system-Part 1：Core coding system，”ISO/IEC JTC1/SC29/WG1(Dec.2000)，AMENDMENT1：Code-stream restrictions(Mar.2002)。其中，零编码针对未被编码过(非重要)的子带小波系数样值，编码后将当前比特送入算术编码。而行程长度编码还必须满足周围8个邻居必须全都不重要。在上述两种编码的同时，还必须纪录当前样值的符号，使用符号编码，并将该样值的重要状态置位。对于已编码的样值则使用幅度细化编码来编码后续比特。这四种操作分别在三个编码过程中执行，重要性传播过程使用零编码和符号编码，幅度细化过程使用幅度细化编码，标志清除过程使用零编码、行程长度编码和符号编码。上述三个编码过程的对象各不相同，其中，重要性传播过程针对那些不重要并且有重要上下文的系数；幅度量化过程针对重要系数；标准化过程针对剩余的不重要且无重要邻居的系数。这样可以刚好可以使每个比特都被扫描。所有的方法中都使用固定的查找表来对相应的子带小波小波系数编码，以加快处理速度，并减小集成电路的规模。

上述方法中，对经过程编码后的子带小波系数以及与子带小波系数相对应的上下文进行基于上下文的二进制算术编码的过程如图9所示，包括以下步骤：

(1)读入已被过程编码后的子带小波系数D以及与该子带小波系数相对应的上下文CX；

(2)根据JPEG2000协议规定的基于上下文的二进制算术编码方法和概率估值表，由子带小波系数的上下文CX，得到大概率符号MPS和概率Qe；

(3)若D与MPS相等，则将初始化概率间隔A更新为A-Qe，将初始化输出码流C更新为C+Qe，同时将概率估值更新为下一个大概率符号，若D与MPS不相等，则将初始化概率间隔A更新为A-Qe，输出初始化码流C，同时将概率估值更新为下一个小概率符号，并将MPS更新为交换标志所代表的符号；

(4)若编码结束，则输出已编过码但尚未输出的码流C，并等待下一次编码，若编码没有结束，重复步骤(1)～(3)。

JPEG2000协议规定的基于上下文的二进制算术编码中用到19个7位的上下文寄存方法，其结构如图8所示。其中，最低位比特给出了当前大概率符号MPS代表的符号；其余6个比特给出了该上下文在表1中的概率估值索引。

                 表1概率估值表

I	Qe		NMPS	NLPS	SWITCH
						16进制	10进制
	0	0x5601						0.503 937	1	1	1
1			0x3401	0.304 715	2	6	0
	2	0x1801						0.140 650	3	9	0
……
						45	0x0001	0.000 023	45	43	0
46	0x5601	0.503 937	46	46	0

上述表1中列出的概率转移表是JPEG2000中算术编码采用的概率估值状态机。表中的一行就是一个状态，每个状态中除含有小概率符号LPS的概率Qe外，还含有下一个状态的索引，即下一个大概率符号NMPS和下一个小概率符号NLPS，以及是否需要交换MPS和LPS所代表符号的标志SWITCH。根据输入的CX在上下文寄存器组中得到当前概率估值索引I和MPS，再根据I得到Qe对D进行编码。如果当前的D为MPS，则算术编码把NMPS更新到上下文寄存器中；反之，则把上下文寄存器中的概率估值索引更新为NLPS。同样的，算术编码根据SWITCH来更新MPS所代表的符号。

为了提高概率查找效率，设计中采用了完全异步的只读存储(以下简称ROM)来实现概率估计查找表。这样，可以把读ROM所需的时间减少，由于ROM读取在每次编码中都要使用，因此这种方式可以大大提高效率。但是无时钟和片选信号就要求ROM的地址线(即概率表索引)必须在数据采样前有效，并保证有足够的时间使数据线稳定。然而，ROM的地址线也就是上下文寄存器组的输出，它是由每次读入的CX决定的。如果在读CX的下一个时钟沿取ROM数据，显然不能保证ROM数据线稳定的要求。而如果在读CX后的第二个时钟周期取ROM数据，又丧失了异步ROM的优越性。为此，设计中采用了输入缓存的机制，其结构如图10所示。数据D和上下文CX读入后并不立即使用，而是放在移位寄存器中。寄存器读满后通知算术编码开始编码。此时，读入的新数据移入寄存器，而从寄存器移出的数据参与编码。很显然，如果不考虑寄存器延时，这种办法使ROM地址提前一个时钟有效，提高了算术编码的吞吐速率。图11给出了输入缓冲机制的时序示意图，其中CX(0)为移位寄存器的入端，CX(1)为移出端。

Claims (5)

1、一种用于集成电路设计的静止图像熵编码方法，其特征在于该方法包括以下各步骤：

(1)将由小波变换得到的子带小波变换系数分块存储；

(2)对上述分块存储的子带小波系数进行嵌入式量化；

(3)对上述经过嵌入式量化的子带小波系数在块编码逻辑控制下进行过程编码；

(4)对上述经过程编码后的子带小波系数以及与子带小波系数相对应的上下文进行基于上下文的二进制算术编码；

(5)将上述二进制算术编码输出到优化截断嵌入式分块编码的第二层编码中。

2、如权利要求1所述的方法，其特征在于其中所述的子带小波变换系数分块存储的方法包括以下步骤：

(1)将子带小波系数切割成大小为32×32的内部地址连续的可重用内存块；

(2)将上述可重用内存块设定为四种不同的状态，即“空闲”、“缓冲”、“存满等待”和“存满处理”；

(3)将子带小波系数存储到处于“空闲”状态的可重用内存块中，该可重用内存块进入“缓冲”状态，直到子带小波系数完全写入可重用内存块中后，该可重用内存块进入“存满等待”状态，相应的过程编码对可重用内存块中的子带小波系数进行编码，编码结束后，该可重用内存块被释放，又进入“空闲”状态。

3、如权利要求书1所述的方法，其特征在于其中所述的嵌入式量化方法包括如下步骤：

(1)将第1层子带小波系数的第1位至第7位置0，保留第8位至第16位；

(2)将第2层子带小波系数的第1位至第6位置0，保留第7位至第16位；

(3)将第3层子带小波系数的第1位至第5位置0，保留第6位至第16位；

(4)将第4层子带小波系数的第1位至第4位置0，保留第5位至第16位；

(5)将第5层子带小波系数的第1位至第3位置0，保留第4位至第16位。

4、如权利要求书1所述的方法，其特征在于其中所述的块编码逻辑控制下的过程编码包括如下步骤：

(1)用标志清除过程对可重用内存块中已被嵌入式量化后的子带小波系数的最高位比特平面进行编码；

(2)对其余低比特平面进行重要性传播过程、幅度细化过程以及标志清除过程的扫描，以判断是否需要对该平面进行相应编码，扫描顺序依次为：重要性扩展过程、幅度细化过程、标志清除过程。

5、如权利要求书1所述的方法，其特征在于其中所述的二进制算术编码包括如下步骤：

(1)读入已被过程编码后的子带小波系数D以及与该子带小波系数相对应的上下文CX；

(2)根据JPEG2000协议规定的基于上下文的二进制算术编码方法和概率估值表，由子带小波系数的上下文CX，得到大概率符号MPS和概率Qe；

(3)若D与MPS相等，则将初始化概率间隔A更新为A-Qe，将初始化输出码流C更新为C+Qe，同时将概率估值更新为下一个大概率符号，若D与MPS不相等，则将初始化概率间隔A更新为A-Qe，输出初始化码流C，同时将概率估值更新为下一个小概率符号，并将MPS更新为交换标志所代表的符号；

(4)若编码结束，则输出已编过码但尚未输出的码流C，并等待下一次编码，若编码没有结束，重复步骤(1)～(3)。

Images