CN103581691A - 一种面向稀疏系数的高效可并行图像编码方法 - Google Patents
一种面向稀疏系数的高效可并行图像编码方法 Download PDFInfo
- Publication number
- CN103581691A CN103581691A CN201310566257.9A CN201310566257A CN103581691A CN 103581691 A CN103581691 A CN 103581691A CN 201310566257 A CN201310566257 A CN 201310566257A CN 103581691 A CN103581691 A CN 103581691A
- Authority
- CN
- China
- Prior art keywords
- coefficient
- value
- coding
- frequency
- coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种面向稀疏系数的高效可并行图像编码方法,包括以下几个步骤:步骤一:采用基于频率间预测的系数组织方法,将变换系数以块为单位、块能量大小递减的顺序重新排列,划分密集区域与稀疏区域,对密集区域执行熵编码,对稀疏区域执行步骤二的基于小概率系数表示的熵编码方法;步骤二:采用基于小概率系数表示的熵编码方法,对稀疏区域的变换系数进行编码,从而完成图像编码。本发明编码效率较高,支持并行处理,支持渐近传输与码流可截断。
Description
技术领域
本发明涉及一种面向稀疏系数的高效可并行图像编码方法,属于图像/视频编解码技术领域,特别是对具有稀疏分布特点的变换系数的编码。
背景技术
视频编码和图像编码的对象主要是自然信号。自然信号在空间域上存在着很强的相关性,要提高编码效率就必须首先对空间域信号进行一定的处理,将其相关性消除或减弱后再进行编码。变换编码就是一种去除相关性的处理过程。变换编码的基本思路是将在空间域中描述的图像信息变换到另一个正交向量空间(变换域)中,如果该正交向量空间的基向量与图像本身的特征向量很接近,那么经过正交变换后,系数间的相关性基本消除,能量主要集中在低频的变换系数上,因此对频率域变换系数编码的效率远远高于直接对空间域像素编码。
变换编码之所以能压缩信息的比特数,是因为在经过变换得到的系数矩阵中,能量较大的系数概率较小,并且往往集中在低频或靠近低频的区域内,这样将图像信息集中到变换域中的小概率系数上,为获得较高的压缩比提供了可能。由于变换编码不同,变换系数的特点也不全相同,有的变换系数就表现为稀疏系数,最大概率的系数所占比重较大并且其余系数的分布较为分散(连续性较低),例如小波变换系数就具有这样的特点。
目前DCT变换(离散余弦变换)和小波变换是最为常用的变换编码。DCT变换是在静止图像编码标准JPEG中,在运动图像编码标准MPEG、H.264等多个标准中有具体的应用。在这些标准中都使用了二维离散余弦变换,并将结果进行量化之后进行熵编码。小波变换是20世纪80年代后期发展起来的一种信息处理方法,因其本质是多分辨分析信号,在时域和频域都具有较高的分辨率,对高频分量采用逐渐精细的时域或空域步长,可以聚焦到分析对象的任意细节,基于小波变换的图像压缩编码成为了图像压缩领域的一个主要研究方向,并在JPEG2000中得到了具体应用。
从小波变换应用于图像压缩至今提出了一些针对小波变换系数特点的编码方法,包括EZW算法(嵌入式零树小波算法)、SPIHT算法(多级树集合分裂算法)和EBCOT算法(最 优截断的嵌入式块编码)等。嵌入式零树小波编码算法(EZW)的基本思想是在量化小波系数时采用了零树数据结构,利用小波变换的自相似性在各级之间预测重要信息的位置,然后用自适应算术编码进行无损压缩。SPIHT算法是对EZW算法的改进,采用了与EZW相似的零树结构,但在系数子集的分割和重要信息的传输方式上采用了独特方法,能够在实现幅值大的系数优先传输的同时,不显式传送系数的排序信息。以上两种算法都是利用零树这种数据结构对一组数据的重要性进行判断,将大量不重要系数用整个集合的重要性表示,整个非重要系数集合可以不必编码,从而提高编码效率,然而生成零树需要对变换系数进行多次扫描,所以复杂度较高并且难以并行处理。EBCOT算法是一种内存受限的比特平面编码方法,编码时先将每个子带分成一个个相对独立的、固定尺寸的块,然后对这些块进行比特平面编码得到嵌入式码流。每个比特平面进行编码时又分为四个子平面通道,每个子平面的编码结束点作为率失真截断点,然后使用优化的截断算法对码流进行截断,产生压缩码流。EBCOT算法由于能够支持码率SNR和多分辨率等多种可扩展方式和具有较强的抗误码能力,使其成为静止图像压缩标准JPEG2000的核心算法,但是它的这些优点是以编码复杂度的大幅增加为代价的。EBCOT算法的复杂度要高于EZW算法和SPIHT算法,压缩性能与SPIHT算法基本相当。
变换系数的组织是图像编码的主要研究方向之一。DCT变换系数表现比较有规律,主要能量聚集在块的左上角区域,并且从左上角到右下角呈现能量逐步越弱的趋势,因此对DCT变换系数采取Z字形顺序扫描的方式进行组织,这样形成的系数串能量逐渐递减,后面有较多连续的零值系数,方便后续的游程编码进行较好的压缩。然而对于其他一些具有稀疏分布特点的变换系数,如小波变换系数,很难利用游程编码对连续值编码来实现较好的编码效率。小波变换系数能量主要集中在低频子带以及高频子带中对应于图像边缘、轮廓的地方,其余系数取值大部分为零值,零值系数所占比重较大并且非零值系数的分布较为分散(连续性较低)。对小波变换系数进行编码的重点就是充分利用这些特性,有效地进行组织,使零值系数尽可能集中在一起,从而实现高效压缩。对小波变换系数进行组织通常都采用零树结构与比特平面编码结合,例如EZW算法和SPIHT算法,零树结构是一种预测与描述图像经过小波变换后非零值系数位置的有效方法,这种结构充分利用了相邻子带之间的相似性,在高频子带中存在大量的幅度值很低的系数,所以可以通过子带中的集合把这种大量的系数组织到一 起来消除非零值系数的位置冗余,然而由于其特别的系数组织特点使得零树结构没有考虑同一子带系数的相关性与分布特性,同时其逐次逼近量化的编码方式使得编码效率较低并且难以使用并行算法进行优化;另外还有采用码块结构组织小波变换系数的编码方式,例如JPEG2000中使用的EBCOT算法,这种算法主要是考虑了限制误码,当一个码块发生比特错误时,只会把错误引起的影响限制在本码块中,不会造成误码扩散,由于将变换系数隔离成很多码块,在这些码块内部进行比特平面编码后再执行基于上下文的自适应算术编码,使得该方法没有对变换系数的整体统计特性加以利用,同时具有较高的编码复杂度。
熵编码方法也是图像编码的主要研究方向之一。常用的熵编码算法(如Huffman编码、算术编码等)利用了图像数据的整体统计特性来实现压缩,有些熵编码(如Huffman编码)还受限于比特位表示,一个字节最大程度只能通过一个比特表示,因此对于零值概率极大的变换系数压缩效率也不高,还有些熵编码(如算术编码、LZW等)编码后的平均码长虽然可以逼近信息熵,却具有较大的计算复杂度。静态图像压缩标准JPEG中对系数块进行了DCT变换,将变换系数块的能量集中在块的左上角区域,使用游程编码和Huffman编码可以对高频系数进行较好的压缩。然而对于稀疏系数,例如小波变换系数,虽然也具有大概率的零值和小概率的非零值,但是各个零值与非零值的连续性较差,无法发挥游程编码对连续值的高效编码。目前对小波变换系数的常用熵编码方法是算术编码,例如JPEG2000中使用的基于上下文的自适应算术编码器,但是该算法普遍都具有较高的计算复杂度。
从技术背景中可以看出,对变换系数的编码通常先对变换系数进行一定的组织,使其适合于后面的熵编码。目前针对稀疏系数的组织方式在选择一种数据结构的同时也具有一定的局限性,例如对小波变换系数采用零树结构和比特平面编码结合的组织方式导致难以实现并行处理,采用分块结构结合比特平面编码的组织方式没有充分利用变换系数整体的统计特性,需要后续使用复杂度较高的基于上下文的自适应算术编码才能实现较好的编码效率。常用的熵编码算法通常不适合直接用来对低连续性大概率零值的变换系数(例如小波变换系数)进行压缩,很难实现较高的压缩效率,基于上下文的自适应算术编码具有较高的编码效率,但是计算复杂度也较高。
发明内容
本发明的目的是为了解决上述现有技术存在的缺陷和不足,提出了一种面向稀疏系数的 高效可并行图像编码方法,包括了基于频率间预测的系数组织方法和基于小概率系数表示的熵编码方法,通过利用不同频率系数之间的相关性和同一频率系数内部的相关性对变换系数进行组织,然后利用变换系数的统计特性执行熵编码,对具有稀疏分布特点的变换系数实现了较高的编码效率。
一种面向稀疏系数的高效可并行图像编码方法,包括以下几个步骤:
步骤一:采用基于频率间预测的系数组织方法,将变换系数以块为单位、块能量大小递减的顺序重新排列,划分密集区域与稀疏区域,对密集区域执行熵编码,对稀疏区域执行步骤二的基于小概率系数表示的熵编码方法;
步骤二:采用基于小概率系数表示的熵编码方法,对稀疏区域的变换系数进行编码,从而完成图像编码。
基于频率间预测的系数组织方法利用了变换系数不同频率系数的相关性,根据两个相邻频率系数中的较低频率系数预测较高频率系数的能量分布,选取较低频率系数中能量较大的块按能量大小进行递减排序,然后将较高频率系数的相应块根据排序结果进行组织,使重新组织的系数分布也大致符合能量从大到小的规律,然后执行区域划分策略将其划分为非零值密集区域,剩余的系数块作为非零值系数区域,最后在此基础上针对两个区域各自的特点进行编码。由于不需要记录调整后的排序信息,避免了对重新排序的位置信息进行描述,有效消除了空间位置描述的冗余。以小波变换系数为例,利用小波变换不同尺度子带系数的相关性,通过高层子带系数(频率较低)预测低层子带系数(频率较高)的能量分布,然后对系数进行重新组织。
基于小概率系数表示的熵编码方法将全部系数通过小概率的系数值及位置信息表示,将编码集中到较小的数据集合以提高编码效率,最大概率系数所占的概率越大,编码效率越高。该方法利用了变换系数概率分布极不均匀的特点,通常变换系数中零值系数所占的概率较大,特别是经过量化后的变换系数更为明显,因此考虑只对小概率的非零值系数及其位置进行编码,可以大大缩小编码的基数,使编码后的平均码长更逼近图像的信息熵,达到较为理想的编码效率,同时具有较低的计算复杂度;对非零值系数的位置编码还考虑了系数的分布特性,采用了位置增量编码方式,使得位置增量概率也呈现出一定的统计特性(位置增量大部分概率集中于较小的数值),从而为码流后续作进一步压缩提供可能;另外考虑到变换系数的重要 性,按重要程度依次传输非零值系数,形成可截断的码流,从码流的起始位置任取一段,这段码流相当于一个低码率的完整的码流,由它可以解码重构出完整的图像,并且该图像是由固定长度的码流解码出的图像效果最优的。
本发明的优点在于:
(1)编码效率较高。该方法利用了变换系数不同频率数据的相关性,根据两个相邻频率系数中的较低频率系数预测较高频率系数的能量分布,将较高频率系数以块为单位按能量从大到小进行重新排序,使重新排列的系数分布也大致符合能量从大到小的规律,然后执行区域划分策略将变换系数划分为非零值密集区域与非零值稀疏区域,并在此基础上针对各个区域的特点进行编码,从而进一步提高编码效率。由于不需要记录调整后的排序信息,避免了对重新排序的位置信息进行描述,有效消除了空间位置描述的冗余;该方法还利用了变换系数概率分布极不均匀的特点,通常变换系数中零值系数所占的概率较大,特别是经过量化后的变换系数更为明显,因此考虑只对小概率的非零值系数及其位置进行编码,可以大大缩小编码的基数;对非零值系数的位置信息采用了位置增量编码方式,由于位置增量概率也呈现出一定的统计特性(位置增量值从1开始大致呈现数量递减的趋势),从而为码流后续作进一步压缩提供可能;
(2)支持并行处理。该方法对各频率的变换系数进行单独编码,因此能够容易地支持并行处理,以小波变换系数编码为例,可以对小波变换系数不同方向不同层次的频率域系数并行地进行处理;
(3)支持渐近传输与码流可截断。由于对各个频率的码流可以分别进行传输,解码段可以对收到的各频率码流先解码出变换系数,然后再逐级反变换,每一级反变换可以直接显示当前层次的图像信息,从而具备了渐进传输的特点;对于某个频率的变换系数,基于重要性排序的码流具有可截断的特性,从码流的起始位置任取一段,这段码流相当于一个低码率的完整的码流,由它可以解码重构出完整的图像。与原码流相比,这部分码流解码出的图像质量和分辨率比较低,但解码的图像是完整的,并且图像效果是由固定长度的码流解码出的图像中最优的,因此这种特性能够适用于在存在干扰或不稳定的网络中进行传输。
附图说明
图1为三级小波变换的子带划分示意图;
图2为Lena图像经过三级Haar小波变换分解后的子带图;
图3为子带间能量预测示意图;
图4为基于频率间预测的系数组织方法流程图;
图5为小概率系数表示编码的流程图;
图中:
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明是一种面向稀疏系数的高效可并行图像编码方法,包括了基于频率间预测的系数组织方法和基于小概率系数表示的熵编码方法。下面首先以小波变换系数为例,说明基于频率间预测的系数组织方法;然后通过给定的系数串实例,对基于小概率系数表示的熵编码方法进行了详细说明;最后以小波变换系数编码为例对基于这两种方法的变换系数整体编码流程进行了说明。
一种面向稀疏系数的高效可并行图像编码方法,包括以下几个步骤:
步骤一:采用基于频率间预测的系数组织方法,将变换系数以块为单位、块能量大小递减的顺序重新排列,划分密集区域与稀疏区域,对密集区域执行常用熵编码(如哈夫曼编码),对稀疏区域执行步骤二的基于小概率系数表示的熵编码方法,可以使变换系数得到更好的压缩。
基于频率间预测的系数组织方法的适用条件是变换系数中不同频率系数之间具有相关性,具有该性质的变换系数均可以使用这种方法进行重新排列,有些变换系数天然地具有这种特性,例如小波变换同一方向不同层次(这里的层次表现为频率)相邻子带之间具有相关性。下面以小波变换系数为应用实例对该方法进行详细说明。
图像经过一级小波变换后将被分解为LL、HL、LH和HH四个子带,其中LL属于低频子带,HL、LH和HH分别是水平方向、垂直方向和对角线方向的高频子带。多级小波变换就是将前一级的LL子带再一次分解为四个子带,直至达到设定的变换级数。低频子带包含了图像的轮廓信息,边缘和纹理信息则分布在小波系数的高频子带中。如图1所示,图像经过三级小波变换后被分解成不同的多频率子带。图2是Lena图像经过三级Haar小波变换分解的子带图。
图像经过若干级小波变换后,可得到一系列不同分辨率不同方向的子带,而且这些子带具有4个特点:
(1)不同方向的子图对应的频率不同;
(2)图像的能量主要集中在低频子带,高频子带所占有的能量很少;
(3)相同方向不同尺度子带之间具有相关性;
(4)不同方向不同尺度子图之间也具有相关性。
低频子带集中了图像的大部分能量,不利于压缩,另外低频子带经过多级变换后所占图像的比例很小,对其进行高性能压缩对于全图的意义不大;而高频子带所占有的能量很少,有利于压缩,并且高频子带数据所占的比重极大,因此高频子带是小波变换系数压缩的重点。
高频子带系数具有以下几个特点:
(1)大量的小波系数是不显著的,绝大部分系数值集中在零值附近,零值的概率通常最大,经过量化以后该特性更加明显;
(2)少数的显著系数成簇分布。图像的边缘和纹理都属于具有突变性的瞬态奇异信号,因此对应于这些位置附近的高频小波系数的幅度就比较大,表现为高频显著系数,由于这些显著系数聚集在边缘和纹理附近,所以就出现了成簇分布;
(3)非零值系数的同值系数的连续性较差。
小波变换系数不同频率数据具有相关性,即同一方向上各层子带具有相关性,基于频率间预测的系数组织方法正是利用这种子带间的相似性,根据高层子带(频率较低)的能量分布来预测低层子带(频率较高)的能量分布情况。如图3所示,非最高层子带上4×4的块可以通过同一方向相邻高层子带的2×2块来预测,最高层子带因没有高层子带而不作预测。
以块为单位对系数进行组织可以充分利用二维空间邻近系数的相关性,使得非零值系数排列比较集中。然后将低层子带的系数按照能量从大到小进行重新排列,不仅可以小波变换系数按照重要性从大到小进行编码,从而产生比特位也按重要性排列的码流,还有利于将分布杂乱(显著系数成簇分布,非零值系数分布连续性差)的系数分为非零值系数密集区域和非零值系数稀疏区域,密集区域将原本成簇分布的大部分显著系数集中到了一起,使得非零值系数排列更加紧密,稀疏区域系数的概率分布严重失衡,零值占绝大多数,可以充分发挥基于小概率系数表示的熵编码的优势,实现较好的编码效率。
由于能量较大的块都集中在密集区域,虽然非零值密集区域的零值系数概率一般情况下仍然是最大的,但与非零值之间的概率差距已经不是很大了,而非零值系数的绝对值大小和所占比例较高。每个块共有16个系数值,因此使用两个字节可以表示出块的结构信息,即零值系数与非零值系数的位置信息,对非零值系数集中后再执行基于小概率系数表示的熵编码,从而对非零值系数进行进一步压缩。
稀疏区域的块能量都很小,整个变换系数中绝大部分的零值系数被集中到该区域,非零值系数概率极小。如果最大概率系数(零值系数)不进行编码,而通过小概率系数编码信息间接表示,可以将基于小概率系数表示的熵编码方法的优势充分发挥,大大提高了该区域的压缩效率。特别对于信息熵小于1bit的情况,本方法可以使编码后的平均码长更逼近信息熵。由于小波变换高频系数的数量与绝对值大小基本成反比,即绝对值越大的系数数量越少,同时系数绝对值大小直接反映了能量大小,也就间接反映了系数的重要性,因此绝对值越大的系数越重要。通过统计各系数的数量并按数量进行从大到小排序,也相当于对各系数进行了重要性排序,根据排序结果对系数逐个编码可以产生按重要性排序并且可截断的码流。
基于频率间预测的系数组织方法在小波子带的各个方向上执行步骤都是一样的,下面以对小波变换系数某一方向上的子带编码为例(例如对附图1中HL2子带的变换系数进行压缩编码,其相邻的HL3子带的变换系数是较低频率系数,HL2子带的变换系数是较高频率系数)说明该方法的处理流程,如图4所示,包括以下步骤:
步骤A,对图像经过变换编码后的变换系数划分为若干个大小为2×2的系数块,统计各个系数块的能量(块内全部系数值的平方和);
其中,较高频率/较低频率定义:
从多分辨率分析的角度考虑小波图像的各个频带时,对于同一方向的高频带,由于它们是图像同一边缘、轮廓和纹理信息在该方向、不同分辨率下由细到粗的描述,它们之间存在着一定的相关性。这些频带中所对应的边缘、轮廓的相对位置都是相同的。我们定义同一方向,两个相邻高频子带系数之间,低分辨率(变换层次高)的高频子带系数称为较低频率系数,而高分辨率(变换层次低)的高频子带系数称为较高频率系数。
较低频率系数指的是离低频系数较近的变换系数,例如附图1三级小波变换的子带划分示意图中,对于水平方向子带的变换系数,频率从低到高排列分别是HL3、HL2、HL1,对 于HL3和HL2两个相邻子带的变换系数,HL3子带的变换系数属于较低频率系数,HL2子带的变换系数属于较高频率系数,而对于HL2和HL1两个相邻子带的变换系数,HL2子带的变换系数属于较低频率系数,HL1子带的变换系数属于较高频率系数。
步骤B,对能量值超出预定能量阈值的较低频率的系数块按能量大小进行递减排序,记录系数块编号的排序结果,预定能量阈值是用于初步判别密集区域和稀疏区域的临界值,选取为30时两个区域的区分效果较好。该步骤对较低频率系数块的排序没有针对全部系数块,只将超出预定能量阈值的系数块加入排序集合中,这样考虑的原因是较小能量的系数块具有一定的随机性,对较高频率系数的参考性不大,并且这部分系数块数量较多,不加入排序集合可以大大降低计算复杂度;
步骤C,对较高频率的系数划分为若干个大小为4×4的系数块,按照步骤B的系数块编码排序结果对较高频率的系数以块为单位进行组织(步骤B得到的是对较低频率系数的排序结果,该步骤是较低频率系数的排序结果对较高频率系数直接进行组织,不用再排序,备注:较低频率系数与较高频率系数的块序号具有一一对应关系),经过重新组织后的系数块也大致具有能量从大到小排列的特点;
步骤D,使用折半查找算法对系数块能量进行统计,与设定的临界阈值进行比较,确定非零值密集区域的分界点,具体执行该步骤时,由于重新组织后的系数块能量值不可能严格按从大到小顺序排列,因此需要对多个系数块取均值与设定的临界阈值比较;
步骤E,根据步骤D获得的分界点,将分界点之前的系数块集合作为非零值密集区域,将其他系数块全部作为非零值稀疏区域,并且保持原来的顺序。
通过该方法可以将变换系数以块为单位、块能量大小递减的顺序重新排列,划分密集区域与稀疏区域,对密集区域的系数执行常用熵编码(如哈夫曼编码),对稀疏区域的系数执行步骤二的基于小概率系数表示的熵编码方法,可以使变换系数得到更好的压缩。
图像会先经过变换编码,产生多个变换系数(例如附图1的HL1、HL2、HL3、LH1、LH2、LH3、HH1、HH2、HH3、LL3这十个子带的变换系数),提出的方法就是对较高频率系数进行编码的(例如附图1的HL1、HL2、LH1、LH2、HH1、HH2),步骤一的完整流程是针对一个频率系数进行的,例如对HL1子带的变换系数(步骤中的较高频率系数)进行编码,就需要参考HL2子带的变换系数(步骤中的较低频率系数),步骤执行结果就是得 到HL1子带变换系数的压缩编码。
步骤二:采用基于小概率系数表示的熵编码方法,对具有稀疏特点的变换系数进行编码,可以得到较好的压缩效果。对步骤一得到的结果,采用该方法对稀疏区域系数进行压缩编码,采用常用熵编码算法(例如哈夫曼编码)对密集区域系数进行编码,能够获得更好的压缩效果。
基于小概率系数表示的熵编码方法适用于对具有概率分布失衡特点的变换系数进行编码,最大概率系数的概率越大,编码效率越高,能够产生可截断的嵌入式码流,并且可以使用其他熵编码再次对码流进行压缩。
如图5所示,基于小概率系数表示的熵编码包含以下步骤:
步骤A,对所有非零值系数取绝对值,同时按照非零值系数排列的顺序保存正负号,正负号以位为单位进行编码,正号标记为1,负号标记为0,字节内部表示顺序为由低位到高位表示;
步骤B,统计不同绝对值系数(是步骤A得到的结果,某个系数可以当成是特定的字节,例如1,具体执行流程可以结合实施例中的例子看)的数量与位置信息,其中位置信息表现为位置增量,即对同一系数值相邻系数的位置增量进行记录;
步骤C,对系数按照数量从大到小进行排序;(步骤B中得到了各个系数的数量和位置增量)
步骤D,判断是否只剩下最大概率系数,是则执行步骤F,否则执行步骤E;
步骤E,将未编码的最小概率系数作为当前编码系数,对其位置增量信息进行编码,各个系数编码串的格式为:<系数编码标记:0x00><系数值(绝对值)><位置增量表示><位置增量表示>,其中位置增量表示字节的格式为:<第一比特:数值溢出标记,为1则表示下一个字节也用来表示位置增量值><第二~七比特:位置增量数据值>,该步骤执行完毕后执行步骤D;
步骤F,将最大概率的系数值与结束符写入码流,最大概率系数编码串的格式如下:<系数编码标记:0x00><系数值(绝对值)>,由于它的位置信息可以通过小概率系数的位置间接找出,因此此处不需要对其位置增量进行编码。
步骤G,对小概率系数表示编码的码流进行组织,码流整体格式为:<前四个字节:正负 号编码字节长度><正负号编码数据><系数绝对值编码数据>,其中系数绝对值编码数据是步骤E与步骤F产生的全部码流数据。
本发明提出的面向稀疏系数的高效可并行图像编码方法,面向具有稀疏分布特点的变换系数,能够实现较高的编码效率,同时支持并行处理、支持渐进式传输与码流可截断。目前图像/视频编码领域最常用的小波变换编码、离散余弦变换编码等产生的变换系数都具有稀疏分布的特点,因此本发明提出的方法能够广泛适用于图像/视频编码领域,有效地提高图像/视频的整体压缩效率。
本发明比已有图象/视频压缩编码方法中的熵编码更为深入的利用了位置信息和非零系数值的统计特性,对稀疏系数采取更为有效的编码方法,从而取得了比已有熵编码方法更为优越的压缩性能。
实施例:
为了详细说明基于频率间预测的系数组织方法,下面举例进行说明。
假设下面为两个相邻频率的变换系数,分别是较低频率的系数与较高频率的系数,从系数能量分布可以看出,它们的能量主要集中在右上角区域和左下角区域,较低频率系数以2×2进行分块,较高频率系数以4×4进行分块。
0 | 0 | 0 | 0 | 0 | 1 | 4 | -1 |
0 | -1 | 0 | 0 | 0 | -1 | -3 | 2 |
0 | 0 | 0 | 0 | 0 | 0 | -1 | 0 |
0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 1 | 0 | 0 | -1 | 0 | 0 |
0 | 1 | -2 | -1 | 0 | 0 | 0 | 0 |
-2 | 3 | 0 | 0 | 0 | 0 | 0 | 0 |
1 | -1 | 0 | 0 | -1 | 0 | 0 | 0 |
表格1较低频率系数
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | -1 | 2 | 1 | 0 |
[0073]
0 | 0 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | -1 | 1 | 3 | -2 | 1 | -1 |
0 | 0 | 0 | 0 | 0 | -1 | 0 | -1 | 0 | 0 | 0 | -1 | 3 | -1 | 2 | 0 |
0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | -1 | 0 | 0 | 1 | -2 | 1 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 1 | -1 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 2 | 0 | 0 | 0 | 0 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 1 | -1 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | -1 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | -1 | 0 | 0 | 0 |
1 | -3 | 2 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 4 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 |
1 | 2 | -2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | -2 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
表格2较高频率系数
步骤A,对较低频率的系数划分为若干个大小为2×2的系数块,统计各个系数块的能量分布如下:
块序号 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 |
能量 | 1 | 0 | 2 | 30 | 1 | 0 | 0 | 1 | 1 | 6 | 1 | 0 | 15 | 0 | 1 | 0 |
表格3较低频率系数块能量统计
步骤B,对能量值超出预定能量阈值的较低频率的系数块按能量大小进行递减排序,记录系数块编号的排序结果。假设预定能量阈值为5,即将能量超过5的系数块加入排序集合,按能量大小进行排序的结果为:3、12、9
步骤C,对较高频率的系数划分为若干个大小为4×4的系数块,按照步骤B的系数块编码排序结果(3、12、9)对较低频率的系数以块为单位进行重新组织,组织后的系数如下, 每行表示一个系数块的系数串(从上往下从做往右扫描):
-1 | 2 | 1 | 0 | 3 | -2 | 1 | -1 | 3 | -1 | 2 | 0 | 1 | -2 | 1 | 0 |
1 | -3 | 2 | -1 | 0 | 4 | 3 | 0 | 1 | 2 | -2 | 0 | 0 | -2 | 1 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 1 | -1 | 0 | 0 | -1 | 0 | -1 | 0 |
表格4按排序结果组织后的系数
步骤D,对特定范围系数进行统计,与设定的阈值进行比较,来确定非零值密集区域与非零值稀疏区域的分界点。假设临界阈值为50(能量值),进行折半搜索并统计,首先定位到序号为12的系数块,计算出其能量大小为54,由于大于临界阈值,开始对后续系数块进行搜索,搜索到序号为9的系数块,计算出能量大小为5,由于小于临界阈值,开始对之前的系数块进行搜索,在本实例中,由于之前的系数块已经搜索过,因此确定临界系数块为9。
步骤E,根据步骤D结果,序号为9的临界系数块之前的系数块作为非零值密集区域,其他系数块均作为非零值稀疏区域并保持原有顺序,因此确定非零值密集区域系数与非零值稀疏区域系数分别为:
-1 | 2 | 1 | 0 | 3 | -2 | 1 | -1 | 3 | -1 | 2 | 0 | 1 | -2 | 1 | 0 |
1 | -3 | 2 | -1 | 0 | 4 | 3 | 0 | 1 | 2 | -2 | 0 | 0 | -2 | 1 | 0 |
表格5非零值密集区域系数
0 | 0 | 0 | 0 | 0 | 0 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | -1 | 0 | -1 | 1 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | -1 | 1 | 0 | 0 | 0 | -1 | 0 | -1 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | -1 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 1 | -1 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 1 | -1 | 0 | 0 | -1 | 0 | -1 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 |
[0087]
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | -1 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
表格6非零值稀疏区域系数
从上述结果可以看出,密集区域的系数能量较大并且非零值比例较高,而稀疏区域的系数能量普遍较小并且非零值比例极低。从而可以看出,基于频率间预测的系数组织方法将原来稀疏分布的能量较大的系数集中到了一起,形成非零值密集区域,而其余能量较小的系数集中到一起形成非零值系数区域,这两个区域特点非常明显,因此可以针对他们的特点执行有区别的编码方法,从而实现更好的编码效率。
为了详细说明基于小概率系数表示的熵编码方法,下面举例进行说明,由于解码就是编码的逆过程,因此不再赘述。
假设经过系数组织后形成的一维系数串为:
1 | 0 | -3 | 0 | 2 | 0 | -1 | 1 | 0 | 0 | 0 | 0 | -1 | 0 | 1 | 0 |
0 | 0 | -1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 1 | -1 | 0 | -1 | 0 | -2 | 1 | -1 | 0 | 1 | 0 | -1 | 0 | 0 |
1 | 0 | 0 | 0 | 1 | -1 | 0 | 0 | 0 | -1 | 1 | 0 | -1 | -2 | 1 | 0 |
0 | 0 | 0 | 0 | 0 | -1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
表格7变换系数实例
步骤A,对该系数串取绝对值,同时按照非零值系数排列的顺序保存正负号,正负号以位为单位进行编码,正号标记为1,负号标记位0,字节内部表示顺序为由高位到低位表示。
系数串的正负号编码字节的二进制表示为:
10101010110001010110010010
最后一个字节不满8位则将低位以0补全,因此正负号编码后共产生四个字节,其二进制表示如下:
10101010110001010110010010000000
系数串变为:
1 | 0 | 3 | 0 | 2 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 1 | 0 | 1 | 0 |
0 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 0 | 1 | 1 | 0 | 1 | 0 | 2 | 1 | 1 | 0 | 1 | 0 | 1 | 0 | 0 |
1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 1 | 2 | 1 | 0 |
0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
表格8取绝对值后的变换系数
步骤B,统计不同系数的数量与位置信息,其中位置信息表现为位置增量,即对同一系数值相邻系数的位置增量进行记录。根据统计信息获得以下结果:
表格9不同系数的数量与位置增量信息
步骤C,对系数按照数量从大到小进行排序。根据上面得到的各系数统计信息,以上系数串的排序结果为:3、2、1、0。
步骤D,判断是否只剩下最大概率系数,是则执行步骤F,否则执行步骤E。由于待编码系数还有四个,因此执行步骤E。
步骤E,将未编码的最小概率系数作为当前编码系数,对其位置增量信息进行编码,各个系数编码串的格式为:<系数编码标记:0x00><系数值(绝对值)><位置增量表示><位置增量表示>,其中位置增量表示字节的格式为:<第一比特:数值溢出标记,为1则表示下一个字节也用来表示位置增量值><第二~七比特:位置增量数据值>。
首先对系数3进行编码,编码字节表示如下:
0x000x030x03
执行完毕转入步骤D,待编码系数还剩三个,再执行步骤E,对系数2进行编码,编码 字节表示如下:
0x000x020x050x230x16
执行完毕转入步骤D,待编码系数还剩两个,再执行步骤E,对系数1进行编码,编码字节表示如下:
0x000x010x010x060x010x050x020x040x010x0F0x010x020x030x010x020x020x030x040x010x040x01ox020x020x07
执行完毕转入步骤D,待编码系数还剩一个,即只剩下最大概率系数0,因此开始执行步骤F。
步骤F,将最大概率的系数值与结束符写入码流,格式如下:<系数编码标记:0x00><系数值(绝对值)>,编码字节表示如下:
0x000x00
步骤G,对小概率系数表示编码的码流进行组织,码流整体格式为:<前四个字节:正负号编码数据长度><正负号编码数据><系数绝对值编码数据>,其中系数绝对值编码数据是步骤E与步骤F产生的全部码流数据。最终形成的码流数据为:
0x040x000x000x00(正负号编码数据长度)
0xAA0XC50x640x80(正负号编码数据)
0x000x030x030x000x020x050x230x160x000x010x010x060x010x050x020x040x010x0F0x010x020x030x010x020x020x030x040x010x040x01ox020x020x070x000x00(系数绝对值编码数据)。
Claims (3)
1.一种面向稀疏系数的高效可并行图像编码方法,包括以下几个步骤:
步骤一:采用基于频率间预测的系数组织方法,将变换系数以块为单位、块能量大小递减的顺序重新排列,划分密集区域与稀疏区域,对密集区域执行熵编码,对稀疏区域执行步骤二的基于小概率系数表示的熵编码方法;
步骤二:采用基于小概率系数表示的熵编码方法,对稀疏区域的变换系数进行编码,从而完成图像编码。
2.根据权利要求1所述的一种面向稀疏系数的高效可并行图像编码方法,步骤一具体包括:
步骤A,图像经过变换编码后得到变换系数,将较低频率的系数划分为若干个大小为2×2的系数块,获取各个系数块的能量;
较高频率、较低频率为:
小波图像的频带中,同一方向,两个相邻高频子带系数之间,低分辨率的高频子带系数称为较低频率系数,而高分辨率的高频子带系数称为较高频率系数;
步骤B,对能量值超出预定能量阈值的较低频率的系数块按能量大小进行递减排序,记录系数块编号的排序结果;
步骤C,对较高频率的系数划分为若干个大小为4×4的系数块,按照步骤B的系数块编码排序结果对较高频率的系数以块为单位进行组织;
步骤D,使用折半查找算法对系数块能量进行统计,与设定的临界阈值进行比较,确定非零值密集区域的分界点;
步骤E,根据步骤D获得的分界点,将分界点之前的系数块集合作为非零值密集区域,将其他系数块全部作为非零值稀疏区域,并且保持原来的顺序;
对密集区域的系数执行熵编码,对稀疏区域的系数执行步骤二的基于小概率系数表示的熵编码方法。
3.根据权利要求1所述的一种面向稀疏系数的高效可并行图像编码方法,步骤二具体包括:
步骤A,对所有非零值系数取绝对值,同时按照非零值系数排列的顺序保存正负号,正负号以位为单位进行编码,正号标记为1,负号标记为0,字节内部表示顺序为由低位到高位表示;
步骤B,统计不同绝对值系数的数量与位置信息,其中位置信息表现为位置增量,即对同一系数值相邻系数的位置增量进行记录;
步骤C,对系数按照数量从大到小进行排序;
步骤D,判断是否只剩下最大概率系数,是则执行步骤F,否则执行步骤E;
步骤E,将未编码的最小概率系数作为当前编码系数,对其位置增量信息进行编码,各个系数编码串的格式为:<系数编码标记:0x00><系数值(绝对值)><位置增量表示><位置增量表示>,其中位置增量表示字节的格式为:<第一比特:数值溢出标记,为1则表示下一个字节也用来表示位置增量值><第二~七比特:位置增量数据值>,该步骤执行完毕后执行步骤D;
步骤F,将最大概率的系数值与结束符写入码流,最大概率系数编码串的格式如下:<系数编码标记:0x00><系数值(绝对值)>;
步骤G,对小概率系数表示编码的码流进行组织,码流整体格式为:<前四个字节:正负号编码字节长度><正负号编码数据><系数绝对值编码数据>,其中系数绝对值编码数据是步骤E与步骤F产生的全部码流数据;
通过上述步骤,完成图像编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310566257.9A CN103581691B (zh) | 2013-11-14 | 2013-11-14 | 一种面向稀疏系数的高效可并行图像编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310566257.9A CN103581691B (zh) | 2013-11-14 | 2013-11-14 | 一种面向稀疏系数的高效可并行图像编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103581691A true CN103581691A (zh) | 2014-02-12 |
CN103581691B CN103581691B (zh) | 2016-05-18 |
Family
ID=50052464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310566257.9A Expired - Fee Related CN103581691B (zh) | 2013-11-14 | 2013-11-14 | 一种面向稀疏系数的高效可并行图像编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103581691B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202609A (zh) * | 2014-09-25 | 2014-12-10 | 深圳市云朗网络科技有限公司 | 一种视频编码方法及视频解码方法 |
CN104486631A (zh) * | 2014-12-31 | 2015-04-01 | 哈尔滨工业大学 | 一种基于人眼视觉与自适应扫描的遥感图像压缩方法 |
CN106991391A (zh) * | 2017-03-30 | 2017-07-28 | 理光图像技术(上海)有限公司 | 文档处理装置以及文档处理和识别系统 |
CN108028928A (zh) * | 2015-09-18 | 2018-05-11 | 皇家飞利浦有限公司 | 用于快速和高效的图像压缩和解压缩的方法和装置 |
CN108391134A (zh) * | 2016-02-04 | 2018-08-10 | 联发科技股份有限公司 | 熵编码器、熵译码器及对应地熵编码方法和熵译码方法 |
WO2022033371A1 (zh) * | 2020-08-14 | 2022-02-17 | 华为技术有限公司 | 基于小波变换的图像编解码方法及装置 |
CN114143557A (zh) * | 2021-12-24 | 2022-03-04 | 成都索贝数码科技股份有限公司 | 一种针对视频图像小波变换高频系数的低复杂度编码方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080212424A1 (en) * | 2007-03-01 | 2008-09-04 | Lite-On It Corp. | Data modulation/encryption method used in holographic storage system |
CN103327326A (zh) * | 2013-05-30 | 2013-09-25 | 西安交通大学 | 基于压缩感知和信道自适应的sar图像传输方法 |
-
2013
- 2013-11-14 CN CN201310566257.9A patent/CN103581691B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080212424A1 (en) * | 2007-03-01 | 2008-09-04 | Lite-On It Corp. | Data modulation/encryption method used in holographic storage system |
CN103327326A (zh) * | 2013-05-30 | 2013-09-25 | 西安交通大学 | 基于压缩感知和信道自适应的sar图像传输方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202609A (zh) * | 2014-09-25 | 2014-12-10 | 深圳市云朗网络科技有限公司 | 一种视频编码方法及视频解码方法 |
CN104486631A (zh) * | 2014-12-31 | 2015-04-01 | 哈尔滨工业大学 | 一种基于人眼视觉与自适应扫描的遥感图像压缩方法 |
CN104486631B (zh) * | 2014-12-31 | 2017-06-06 | 哈尔滨工业大学 | 一种基于人眼视觉与自适应扫描的遥感图像压缩方法 |
CN108028928A (zh) * | 2015-09-18 | 2018-05-11 | 皇家飞利浦有限公司 | 用于快速和高效的图像压缩和解压缩的方法和装置 |
CN108391134A (zh) * | 2016-02-04 | 2018-08-10 | 联发科技股份有限公司 | 熵编码器、熵译码器及对应地熵编码方法和熵译码方法 |
CN108391134B (zh) * | 2016-02-04 | 2020-11-13 | 联发科技股份有限公司 | 熵编码器、熵译码器及对应地熵编码方法和熵译码方法 |
CN112492322A (zh) * | 2016-02-04 | 2021-03-12 | 联发科技股份有限公司 | 熵编码器、熵译码器及对应地熵编码方法和熵译码方法 |
CN106991391A (zh) * | 2017-03-30 | 2017-07-28 | 理光图像技术(上海)有限公司 | 文档处理装置以及文档处理和识别系统 |
WO2022033371A1 (zh) * | 2020-08-14 | 2022-02-17 | 华为技术有限公司 | 基于小波变换的图像编解码方法及装置 |
CN114079771A (zh) * | 2020-08-14 | 2022-02-22 | 华为技术有限公司 | 基于小波变换的图像编解码方法及装置 |
CN114143557A (zh) * | 2021-12-24 | 2022-03-04 | 成都索贝数码科技股份有限公司 | 一种针对视频图像小波变换高频系数的低复杂度编码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103581691B (zh) | 2016-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103581691B (zh) | 一种面向稀疏系数的高效可并行图像编码方法 | |
CN1181690C (zh) | 用于压缩视频序列的编码方法 | |
CN1230786C (zh) | 数字静止图象编码方法、设备和压缩比特流解码方法 | |
CN101984666A (zh) | 一种基于提升小波变换的图像无损压缩和解压方法 | |
CN101631243B (zh) | 一种基于小波变换的图像编和解码的方法 | |
CN101848393B (zh) | 可伸缩视频稀疏信息处理系统 | |
CN101132530A (zh) | 基于游程编码实现嵌入式图像压缩的方法 | |
CN102790882B (zh) | 一种遥感图像的编码方法 | |
CN103024399A (zh) | 一种基于小波变换的极低码率视频压缩编码方法 | |
Singh et al. | Singular value decomposition based sub-band decomposition and multi-resolution (SVD-SBD-MRR) representation of digital colour images | |
Zhu et al. | An improved SPIHT algorithm based on wavelet coefficient blocks for image coding | |
CN1664860A (zh) | 合成孔径雷达复数图像数据的实时自动压缩方法 | |
Cai et al. | Smart wavelet image coding: X-tree approach | |
Bildkompression | Embedded wavelet-based image compression: State of the art | |
CN102148993B (zh) | 一种小波图像的编码方法和装置 | |
CN1637782A (zh) | 基于小波变换的预测四叉树图像压缩及解压方法 | |
Pan et al. | Efficient and low-complexity image coding with the lifting scheme and modified SPIHT | |
CN101431678A (zh) | 影像处理方法及装置 | |
Liang et al. | A rate control algorithm in JPEG2000 based on code content prediction | |
CN104469389A (zh) | 基于变换下采样的低码率视频编码方法及系统 | |
Senapati et al. | Low bit rate image compression using hierarchical listless block-tree DTT algorithm | |
Brahimi et al. | An efficient wavelet-based image coder | |
Wei et al. | Integer DCT-based image coding | |
Wang et al. | Modified SPIHT based image compression algorithm for hardware implementation | |
Li et al. | Image Compression Based on an Improved SPIHT Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160518 Termination date: 20161114 |