CN102036073A - 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法 - Google Patents

基于视觉潜在注意力目标区域的jpeg2000图像编解码方法 Download PDF

Info

Publication number
CN102036073A
CN102036073A CN 201010597655 CN201010597655A CN102036073A CN 102036073 A CN102036073 A CN 102036073A CN 201010597655 CN201010597655 CN 201010597655 CN 201010597655 A CN201010597655 A CN 201010597655A CN 102036073 A CN102036073 A CN 102036073A
Authority
CN
China
Prior art keywords
attentiveness
coefficient
target area
potential
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010597655
Other languages
English (en)
Other versions
CN102036073B (zh
Inventor
薛建儒
李策
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN 201010597655 priority Critical patent/CN102036073B/zh
Publication of CN102036073A publication Critical patent/CN102036073A/zh
Application granted granted Critical
Publication of CN102036073B publication Critical patent/CN102036073B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明实现了一种有效地基于视觉潜在注意力目标区域的JPEG2000图像编解码方法。该方法图像编码前先根据视觉潜在注意力目标区域提取技术,将图像依据不同注意力的潜在目标区域划分为若干个Tile块并预先分配相应的目标码率;而后经过量化,自适应小波变换,位平面编码与算术编码器码字重置机制及基于潜在注意力目标区域质量层码率控制,进行码流组织、打包,实现图像压缩。在浏览时,实施与上述对应的逆过程进行图像解压缩实现本发明图像编解码。在网络带宽不足时,则可牺牲部分潜在注意力较小目标区域的码率为代价,换取人们更关注的目标区域的图像重构质量,同时兼具质量以及基于潜在注意力目标区域的内容联合可伸缩的高效图像编解码技术。

Description

基于视觉潜在注意力目标区域的JPEG2000图像编解码方法
技术领域
本发明属于图像编解码领域,是一种新颖的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法。
背景技术
随着Internet、电信网、移动通信等技术的逐渐融合,日益剧增的Internet和宽带无线数字媒体业务需求,极大的推动了可伸缩信息压缩及其可靠性传输的理论和应用研究。已有大量实验证明,人眼在浏览一幅图像时,其注视点会因潜在目标区域的注意力强弱而产生视注意力分配的先后顺序,即因注意力引起的一种注视点跳跃的过程。同时,由于人眼视觉的非均匀采样生理机制,使得人类对注视点区域与非主视点区域,亦即对不同注意力目标区域的视觉采样疏密程度是不同的。从静态图像压缩技术的典型代表——JPEG2000技术来看,其图像压缩算法仅是将用户设定的码率均匀分配给每一个图像片(Tile块),并没有考虑到图像中内容注意力的差别,无法根据图像内容视觉注意力大小分配码率。这使得其所重构的图像无法适应人类视觉对不同注意力目标区域分配不同注意力的特征。换句话说,即传统JPEG2000技术实现的图像编码算法对图像区域选择单一且无法自动给出区域码率预分配系数;不能很好的体现人类视觉感知的层次性。同时,在终端多样、网络异构以及网络带宽有限的情况下,也无法根据图像内容的视觉注意力程度优先传输相应的图像内容。针对上述问题,如何在图像编解码算法中引入图像内容自适应编码机制成为了业界的研究重点。
发明内容
基于上述背景,本发明目的旨在提出一种符合人类视觉感知机制,基于视觉潜在注意力目标区域的JPEG2000图像编解码算法,使得用户在各种网络环境下,尽可能优先的观看图像中较为显著、更加注意的目标区域。本发明的基本思想是:人类视觉对图像中所示现的各个目标的关注度是不同的。图像编解码方法中应反映图像中各个目标被注意的程度,亦即应根据各目标区域注意力的大小分配不同的码率。
为使图像压缩后更加符合视觉感知特性,该方法图像编码前先根据视觉潜在注意力目标区域提取技术,按照不同的潜在注意力目标区域将图像划分为若干个Tile块;并对这些Tile块按其视觉注意力系数大小预先分配相应的目标码率;而后经过量化,自适应小波变换,位平面编码与算术编码器的码字重置机制及基于潜在注意力目标区域质量层码率控制技术形成码流,随后组织码流与打包生成JPEG2000文件完成图像压缩。在浏览时,实施与上述对应的逆过程进行图像解压缩。最终实现本发明图像编解码方法。
为了实现上述任务,本发明采用的技术解决方案是:
基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,该方法包括下述步骤:
1)建立了基于视觉潜在注意力目标区域的JPEG2000图像编解码技术系统架构;通过视觉潜在注意力目标区域提取技术,计算视觉显著性注意力图,并对输入图像进行视觉潜在注意力目标区域分割,从而得到图像中若干个潜在注意力目标区域及其注意力系数,并在原始图像R、G、B三个图像分量中,划分为若干个对应的具有相同注意力系数的Tile块;
2)根据用户给定的压缩目标码率,并通过计算各Tile块间注意力系数比值,实现对每个Tile块的目标码率预分配;
3)根据视觉潜在注意力目标区域划分的Tile块经过DC位移、分量变换、自适应小波变换以及量化,得到每个Tile块在各级分辨率下量化后的小波系数;
4)通过基于视觉潜在注意力目标区域的Tile块小波系数区域索引技术,实现Tile块在各级分辨率下的Precinct索引结构;
5)通过位平面编码以及算术编码重置技术,实现对Precinct进行编码,记录候选失真度与编码码字长度;最后将编码结果、候选失真度以及对应的码字长度一起输出至下一过程;
6)通过构造Precinct质量层和基于Precinct质量层的码率控制技术,并根据步骤2)中预分配的目标码率、步骤4)中区域索引数组、各质量层码字长度,实施Precinct质量层码率控制形成截断码流以及打包,实现基于潜在注意力目标区域的图像编码;
7)依上述步骤的逆过程进行,即可获得按用户要求码率实现的基于视觉潜在注意力目标区域的图像解码与重构,从而获得反映视觉潜在注意力的重构图像。
所述视觉潜在注意力目标区域提取技术是指,根据自底向上视觉注意力空域计算模型,获得输入图像的视觉显著性注意力系数图;提取得到输入图像的若干个潜在注意力目标区域。由此,实现与输入图像R、G、B三个图像分量对应的若干个潜在注意力目标区域图像的Tile块划分,以及与这些Tile块对应的注意力系数。其具体步骤如下:
1)利用自底向上视觉注意力空域计算模型,即利用图像自身的灰度、颜色以及方向特征在不同空间分辨率下的层间差异,计算出输入图像的视觉显著注意力系数图;
2)在显著注意力图中找具有最大系数的位置。从该注意力位置反向找到引起该位置注意力系数最大的特征层通道,即灰度、红蓝色对、蓝黄色对以及4个方向(0度、45度、90度和135度)特征对应的某一特征通道;
3)以该通道中最大注意力系数对应像素点为中心按4邻域进行区域增长,直到边界点系数值小于最大值的10%后停止;属于此区域的点置标记为1,不属于此区域的点置标记为0,由此得到一个二值模板,从而实现第一个Tile块的分割;
4)再将显著注意力图中由步骤2)得到的第一个Tile块所对应区域的注意力系数都置为0,从而得到新的显著注意力图;
5)在新图中找与步骤2)相比的第二大注意力系数的位置,再重复步骤2)实现第二个Tile块的分割;
6)重复上述步骤直到显著注意力图中注意力系数小于预先设定的阈值时,停止Tile块划分;
7)最后将剩余图像区域作为一个Tile块处理。
8)划分后的各Tile块图像在其R、G、B三个分量中都具有相同的划分和相同的注意力系数。
所述Tile块的目标码率预分配的依据为,根据用户给定的压缩目标码率,并通过计算各Tile块间注意力系数比值,实现对每个Tile块的目标码率预分配。其具体步骤如下:
1)计算全图注意力系数平均值,对显著性注意力图中所有像素点的注意力值si,j求和并除以全图的像素总数W*H得到全图注意力系数平均值
Figure BDA0000039656150000041
S ‾ = Σ j = 1 , . . . H i = 1 , . . . W s i , j / W * H - - - ( 1 )
式中,si,j为图像中每个像素的注意力系数,W为图像宽度方向像素个数,H为图像高度方向像素个数;
2)计算每个Tile块的注意力系数比值wi,由下式得到:
w i = k i S ‾ , i ∈ [ 1 , N ] - - - ( 2 )
式中,ki为每个Tile块注意力平均系数,即该块中所有像素点的注意力值之和并除以该区域像素总个数,i∈[1,N],N为Tile块的个数,
Figure BDA0000039656150000052
为全图注意力系数平均值;
3)各个Tile块的目标码率预分配由下式得到:
R i = R * w i Σ w i - - - ( 3 )
式中,R为用户给定的目标码率,wi为第i个Tile块的注意力系数比值。
经过上面的计算,即可实现每个Tile块的目标码率预分配。
所述自适应小波变换技术和量化分别是指,自适应小波变换技术是指利用JPEG2000中支持的小波滤波器进行离散小波变换,以达到降低数据之间的相关性便于编码的目的;量化是指自适应选择量化步长降低小波变换系数精度,使其在不影响图像主观质量的前提下,实现图像压缩。
所述建立基于视觉潜在注意力目标区域的Tile块小波系数区域索引技术是指,设计索引数组建立潜在注意力目标区域在各级分辨率下小波系数的区域集合对应关系,以及各个Tile块按照注意力系数大小顺序关系,从而形成Tile块各级分辨率系数的Precinct索引集合以及码率分配索引顺序。
所述位平面编码以及算术编码重置技术是指,按照码率分配索引顺序,优先对注意力系数大的Precinct系数集合进行位平面编码以及算术编码;同时算术编码器每完成一次编码就复位一次,即算术编码器重置技术,以便依次记录每个Precint中系数的编码码流以及候选失真度。
所述通过构造Precinct质量层和基于Precinct质量层的码率控制技术分别是指,Precinct质量层是指根据各级分辨率系数编码后所属Precinct索引关系,建立与每个Precinct对应的可重构相同质量的码流集合和失真度集合;基于Precinct质量层的码率控制技术是指在不同码率情况下根据已计算出的目标码率预分配结果,按照码率分配索引顺序和基于Precinct质量层的码率控制曲线对每个Precinct质量层分配以不同的质量码率,最终使得不同Precinct的码流分配到不同质量的码率。
本发明实现的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,也可以将其应用于网络传输。应用系统可以根据网络带宽自身条件,进行视觉潜在注意力目标区域码率预分配,以获取不同的图像区域的传输质量,即根据图像内容的视觉注意力程度进行图像传输。
本发明的有益效果是:利用图像中潜在注意力目标区域的注意力系数,实施注意力目标区域质量层码率控制,提供应用于JPEG2000图像编解码算法中的一种反映视觉感知注意力的图像编解码方法。在网络带宽不足时,则以牺牲部分潜在注意力较小目标区域的码率为代价,换取人们更关注的目标区域的图像重构质量。这是一种符合人类视觉感知特性的图像编解码算法,更加适应了新型网络图像浏览等应用的发展。
附图说明
图1是本发明系统结构示意图。
图2是视觉潜在注意力目标区域分割示意图。
图3是视觉潜在注意力目标区域码率预分配标记示意图。
图4是视觉潜在注意力目标区域各级分辨率下的Precinct与重构图像区域的对应关系示意图。
图5是基于Precinct质量层码率控制示意图。
图6是本发明算法与传统JPEG2000在相同码率下重构图像质量比较效果图。
具体实施方式
下面结合附图对本发明进一步详细说明。
图像编解码系统中,预处理部分采用自底向上视觉注意力空域计算模型,完成潜在注意力目标区域的提取和标记;编码时采用位平面编码和算术编码重置技术实现Tier1编码;然后在Tier2模块中基于Precinct质量层实施码率控制,产生截断码流后进行码流打包,最终组织成JPEG2000图像压缩文件。在浏览时,实施与上述对应的逆过程进行图像解压缩。由此给出了以下6个图示,并依次做如下说明。
图1所示给出了本发明基于潜在注意力目标区域的JPEG2000图像编解码系统结构。该系统结构共分为五大模块。
①模块一,通过视觉潜在注意力目标区域提取技术,计算视觉显著性注意力图,并对输入图像进行视觉潜在注意力目标区域分割,从而得到图像中若干个潜在注意力目标区域及其注意力系数,并在原始图像R、G、B三个图像分量中,划分为若干个对应的具有相同注意力系数的Tile块。
②模块二,根据用户给定的压缩目标码率,并通过计算各Tile块间注意力系数比值,实现对每个Tile块的目标码率预分配;同时对各个Tile块做DC位移、分量变换、自适应小波(DWT)变换以及量化,得到每个Tile块在各级分辨率下量化后的小波系数;在这个过程中,对各Tile块各级分辨率下的小波系数区域(Precinct)通过索引数组实现区域标记。至此,形成了以潜在注意力目标区域各级分辨率下的小波系数区域(Precinct)的索引结构。
③模块三,通过位平面编码以及算术编码重置技术,对Precinct编码、记录失真度与编码码字长度,最后将编码码流、失真度以及对应码字长度一起输出至下一模块。
④模块四,构造基于Precinct质量层,并通过基于Precinct质量层的码率控制技术,且根据目标码率、Tier1编码输出的算术编码码字和失真度、以及Precinct索引数组实施码率控制,将得到的截断码流打包,完成基于潜在注意力目标区域的图像编码过程。
⑤模块五,如图1所示,解码过程是编码过程的逆过程,处理方式与编码相对应。
其中,视觉潜在注意力目标区域提取技术如图2所示。图2(a)是一个输入图像,利用自底向上视觉注意力空域计算模型,计算其灰度、颜色以及方向三种特征的图像高斯金子塔层级差异并归一化,即可得到如图2(b)所示的图像显著性注意力图。
图2(b)中亮度越大的区域表示其引起注意的可能性越大,而这些区域往往也是图像中潜在注意的目标区域。我们可在图2(b)显著性注意力图中找到具有最大系数的位置。从该注意力位置反向找到引起该位置注意力系数最大的特征层通道,即灰度、红蓝色对、蓝黄色对以及4个方向(0度、45度、90度和135度)特征对应的某一特征通道;再以该通道中最大注意力系数对应像素点为中心按4邻域进行区域增长,直到边界点系数值小于最大值的10%后停止;属于此区域的点置标记为1,不属于此区域的点置标记为0,由此即可得到一个二值模板,从而实现第一个Tile块的分割(如图2(b)中所示Tile1)。随后,在注意力图中根据注意力的大小顺序和阈值,进一步找到其他潜在注意力目标区域。将这些区域作为本系统中的图像片(Tile块)划分依据,最终形成的所有Tile块划分(如图2(c)所示)。由于输入图像的R、G、B三个分量像素空间位置一致,故图像三个分量均可划分成具有相同注意力系数的若干个对应的Tile块。每个Tile块与输入图像所对应的内容如图2(d)所示。这里为了突出表达注意力较大的区域,没有给出最不容易引起注意的图像片Tile4实际对应图像区域。
图3给出了视觉潜在注意力目标区域码率预分配标记示意图。根据用户给定的压缩目标码率R,并通过计算各Tile块间注意力系数比值,即可实现对每个Tile块的目标码率预分配,其具体步骤为:
首先,计算全图注意力系数平均值。对显著性注意力图(如图2(b))中所有像素点的注意力值si,j求和并除以全图的像素总数W*H,可得全图注意力系数平均值
Figure BDA0000039656150000091
S ‾ = Σ j = 1 , . . . H i = 1 , . . . W s i , j / W * H - - - ( 1 )
式中,si,j为图像中每个像素的注意力系数,W为图像宽度方向像素个数,H为图像高度方向像素个数;
然后,计算每个Tile块的注意力系数比值wi,由下式得到:
w i = k i S ‾ , i ∈ [ 1 , N ] - - - ( 2 )
式中的ki,如图3(a)所示。白色粗曲线围成的区域代表的是一些潜在注意力目标区域,计算其中所有像素点的注意力值之和并除以该区域像素总个数,便得到该注意力区域系数平均值ki。i∈[1,N],N为Tile块的个数,
Figure BDA0000039656150000094
为全图注意力系数平均值;
最后,根据用户给定的码率R以及每个Tile块的注意力系数比值即可计算出每个Tile块预分配的目标码率。如将预分配到目标码率归一化到[0,255]灰度空间则可形成如图3(b)所示的码率预分配标记图。该图中越亮的区域表示其将得到越更多的码率分配。此图还反映了Tile块的注意力系数比值大小顺序。
图4所示为视觉潜在注意力目标区域各级分辨率下的Precinct与重构图像区域的对应关系示意图。
为了更好地叙述本发明和解释图4,这里先简单回顾一下JPEG2000的部分基本内容:JPEG2000的码率控制算法依赖于率失真曲线,而率失真曲线的构造涉及Tier1编码器和Tier2编码器。Tier1编码器的主要完成信源编码,而Tier2的编码着眼于信道编码,两者分工不同,简化了编码系统的设计。为了生成满足多种应用目的(质量、空间可伸缩,随机区域访问)的嵌入式码流,JPEG2000定义了多级数据划分和多层码流组织。在Tier1编码之前,从输入图像数据到进入Tier1编码器有多达7级的数据划分:Image(图像)→Tile(图像片)→Tile component(图像片分量)→Resolution level(分辨率级数)→Subband(子带)→Precinct(区域)→Code-block(码块)。相应地,在Tier2编码器器中,最终码流的形成也经过多层组织:Code-streamsegments(码流段)→Packets(包)→Quality layers(质量层)→Tile stream(图像片码流)→JPEG2000 code-stream(JPEG2000码流文件)等。给定图像区域(可以为整幅图像或者Tile块)经过小波变换得到多分辨率表示。每个分辨率级可定义Precinct,每个Precinct为该分辨率级的HL、LH和HH子带中与图像区域对应的系数集合。基于上述介绍下面进一步给出图4的说明。
为了表达的清晰性,图4仅给出了一个Tile块经过DC位移,多分辨率自适应小波变换(DWT)以及量化后,将其潜在注意力目标区域对应各级分辨率小波区域定义为各Precinct的示意图。图4(a)中白色曲线包围是一个图像分量中的某个Tile块分量。该Tile块的RGB三个分量经过三级小波变换以及量化后,即可得到图4(b)左图所示的三个分辨率下黑色细线系数区域。为了对潜在注意力目标区域内的小波系数分配相应码率以便重构不同质量的图像区域,在编码时需要将属于同一个目标区域(Precinct)的小波系数建立相应索引数组。如图4(b)中HL1、LH1和HH1子带中,黑色曲线包围的小波系数构成了Precinct1索引数组;同样在HL2、LH2和HH2子带中,黑色曲线包围的小波系数则构成了另一级分辨率中的Precinct2索引数组。如此,即实现了一个Tile块的各级分辨率下小波系数的区域集合对应关系。这些Precinct区域系数最终可构成如图4(b)右图所示的重构图像区域。这些不同分辨率下的Precinct区域编码后所分配的码率将决定该重构区域的图像质量。对于图像中其他的Tile块可按照如图3(b)所示注意力系数大小顺序,以及上述方式即可形成相应Tile块各级分辨率系数的Precinct索引集合以及码率分配索引顺序。
图5是基于Precinct质量层码率控制示意图。在Tire1中按照码率分配索引顺序,优先对注意力系数大的Precinct系数集合进行位平面编码以及算术编码;同时算术编码器完成一次编码就复位一次,并依次记录每个Precint中的编码码流以及候选失真度。这样就以各级分辨率的Precinct为质量层单位,记录下了对应的分辨率Precinct中各通道对应的标号、通道类型、码字长度以及相应的所有率失真截断点。在随后Tire2中,根据不同给定码率下计算出的目标码率预分配结果,利用图5曲线寻找各个Precinct质量层最优的码率截断点。按照码率分配索引顺序对每个Precinct质量层分配以不同的质量码率,最终使得不同Precinct的码流分配到不同质量的码率。图5中,横坐标表示某个Precinct质量层的码率,纵坐标表示该Precinct质量层的失真度。分配给Precinct质量层的码率越高,其失真度越小。这样,在根据预分配码率就可获得不同失真度的质量层码流,不同的质量的码流决定了该区域的图像重构效果。
图6所示给出的是本发明算法与传统JPEG2000在相同码率下重构图像质量比较效果图。
为了验证本发明所提算法与传统JPEG2000测试程序图像压缩质量,针对公开测试图集的测试结果表明:本发明所提算法重构图像对图像内容的细节刻画更为精细。特别是在低码率情况下,本发明算法对潜在注意力目标区域码率按照注意力系数比值进行分配;而非JPEG2000标准测试软件中对所有区域都同等对待,可以获得更好的图像视觉感知效果。如:图6(a)和图6(b)分别给出了热气球图像比特率为2.4bpp的情况时:①从客观质量上看,本发明所提算法的PSNR为22.7dB(图6(b)),高于传统算法PSNR值0.7dB(图6(a));②从主观质量上也可明显看出:在图6(a)和图6(b)中右侧局部放大区域,本发明的重构图像较传统压缩算法重构图像清晰。
本发明提供的具有空间、质量及内容可伸缩的图像JPEG2000编解码方法,引入了潜在注意力目标区域,并根据其注意力系数进行码率预分配,且构造了基于该区域的Precinct质量层码率控制曲线,这不仅更加符合人类视觉感知效果,还可满足压缩图像在异构传输网络服务和用户多样性的需求。
具体包括:
1)自主设计出基于视觉潜在注意力目标区域的图像片划分方案。
2)自主设计出基于潜在注意力目标区域注意力系数的码率预分配图像编码方案。
3)自主设计并实现了基于视觉潜在注意力目标区域的图像压缩码率控制方法,可实现图像在不同带宽情况下按照潜在注意力目标区域内容可伸缩传输。
4)自主设计出基于视觉潜在注意力目标区域的JPEG2000图像编解码体系架构。

Claims (7)

1.基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,该方法包括下述步骤:
1)建立了基于视觉潜在注意力目标区域的JPEG2000图像编解码技术系统架构;通过视觉潜在注意力目标区域提取技术,计算视觉显著性注意力图,并对输入图像进行视觉潜在注意力目标区域分割,从而得到图像中若干个潜在注意力目标区域及其注意力系数,并在原始图像R、G、B三个图像分量中,划分为若干个对应的具有相同注意力系数的Tile块;
2)根据用户给定的压缩目标码率,并通过计算各Tile块间注意力系数比值,实现对每个Tile块的目标码率预分配;
3)根据视觉潜在注意力目标区域划分的Tile块经过DC位移、分量变换、自适应小波变换以及量化,得到每个Tile块在各级分辨率下量化后的小波系数;
4)通过基于视觉潜在注意力目标区域的Tile块小波系数区域索引技术,实现Tile块在各级分辨率下的Precinct索引结构;
5)通过位平面编码以及算术编码重置技术,实现对Precinct进行编码,记录候选失真度与编码码字长度;最后将编码结果、候选失真度以及对应的码字长度一起输出至下一过程;
6)通过构造Precinct质量层和基于Precinct质量层的码率控制技术,并根据步骤2)中预分配的目标码率、步骤4)中区域索引数组、各质量层码字长度,实施Precinct质量层码率控制形成截断码流以及打包,实现基于潜在注意力目标区域的图像编码;
7)依上述步骤的逆过程进行,即可获得按用户要求码率实现的基于视觉潜在注意力目标区域的图像解码与重构,从而获得反映视觉潜在注意力的重构图像。
2.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,所述视觉潜在注意力目标区域提取技术具体步骤如下:
1)利用自底向上视觉注意力空域计算模型,获得输入图像的视觉显著性注意力系数图;
2)在显著性注意力图中找具有最大系数的位置,从该注意力位置反向找到引起该位置注意力系数最大的特征层通道;
3)以该通道中最大注意力系数对应像素点为中心,并按四邻域进行区域增长,直到边界点系数值小于最大值的10%后停止;属于此区域的点置标记为1,不属于此区域的点置标记为0,由此得到一个二值模板,从而实现第一个Tile块的分割;
4)再将显著性注意力图中由步骤2)得到的第一个Tile块所对应区域的注意力系数都置为0,从而得到新的显著注意力图;
5)在新图中找与步骤2)相比的第二大注意力系数的位置,再重复步骤2)实现第二个Tile块的分割;
6)重复上述步骤直到显著性注意力图中注意力系数小于预先设定的阈值时,停止Tile块划分;
7)最后将剩余图像区域作为一个Tile块处理;
8)划分后的各Tile块图像在其R、G、B三个分量中都具有相同的划分和相同的注意力系数。
3.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,所述Tile块的目标码率预分配的依据为,根据用户给定的压缩目标码率,并通过计算各Tile块间注意力系数比值,实现对每个Tile块的目标码率预分配,其具体步骤如下:
1)计算全图注意力系数平均值,对显著性注意力图中所有像素点的注意力值si,j求和并除以全图的像素总数W*H得到全图注意力系数平均值
Figure FDA0000039656140000031
S ‾ = Σ j = 1 , . . . H i = 1 , . . . W s i , j / W * H - - - ( 1 )
式中,si,j为图像中每个像素的注意力系数,W为图像宽度方向像素个数,H为图像高度方向像素个数;
2)计算每个Tile块的注意力系数比值wi,由下式得到:
w i = k i S ‾ , i ∈ [ 1 , N ] - - - ( 2 )
式中,ki为每个Tile块注意力平均系数,即该块中所有像素点的注意力值之和并除以该区域像素总个数,i∈[1,N],N为Tile块的个数,
Figure FDA0000039656140000034
为全图注意力系数平均值;
3)各个Tile块的目标码率预分配由下式得到:
R i = R * w i Σ w i - - - ( 3 )
式中,R为用户给定的目标码率,wi为第i个Tile块的注意力系数比值。
4.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,所述自适应小波变换技术为利用JPEG2000所支持的小波滤波器进行离散小波变换,达到降低数据之间的相关性便于编码;所述量化为自适应选择量化步长降低小波变换系数精度,实现图像压缩。
5.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,所述建立基于视觉潜在注意力目标区域的Tile块小波系数区域索引技术为,设计索引数组建立潜在注意力目标区域在各级分辨率下小波系数的区域集合对应关系,以及各个Tile块按照注意力系数大小顺序关系,从而形成Tile块各级分辨率系数的Precinct索引集合以及码率分配索引顺序。
6.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,所述位平面编码以及算术编码重置技术为,按照码率分配索引顺序,优先对注意力系数大的Precinct系数集合进行位平面编码以及算术编码;同时算术编码器每完成一次编码就复位一次,以便依次记录每个Precint中的编码码流以及候选失真度。
7.根据权利要求1所述的基于视觉潜在注意力目标区域的JPEG2000图像编解码方法,其特征在于,所述通过构造Precinct质量层和基于Precinct质量层的码率控制技术分别是指,Precinct质量层是指根据各级分辨率系数编码后所属Precinct索引关系,建立与每个Precinct对应的可重构相同质量的码流集合和失真度集合;基于Precinct质量层的码率控制技术是指在不同码率情况下根据已计算出的目标码率预分配结果,按照码率分配索引顺序和基于Precinct质量层的码率控制曲线对每个Precinct质量层分配以不同的质量码率,最终使得不同Precinct的码流分配到不同质量的码率。
CN 201010597655 2010-12-21 2010-12-21 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法 Expired - Fee Related CN102036073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010597655 CN102036073B (zh) 2010-12-21 2010-12-21 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010597655 CN102036073B (zh) 2010-12-21 2010-12-21 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法

Publications (2)

Publication Number Publication Date
CN102036073A true CN102036073A (zh) 2011-04-27
CN102036073B CN102036073B (zh) 2012-11-28

Family

ID=43888300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010597655 Expired - Fee Related CN102036073B (zh) 2010-12-21 2010-12-21 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法

Country Status (1)

Country Link
CN (1) CN102036073B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186076A (zh) * 2011-04-29 2011-09-14 中国科学院光电技术研究所 一种实时码率预分配的图像压缩方法及图像压缩装置
CN103947212A (zh) * 2011-10-24 2014-07-23 株式会社Gnzo 视频信号的编码系统以及编码方法
CN109413431A (zh) * 2018-11-09 2019-03-01 深圳威尔视觉传媒有限公司 自适应多tile编码码率控制方法、装置、设备和存储介质
CN110322453A (zh) * 2019-07-05 2019-10-11 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法
CN110956582A (zh) * 2018-09-26 2020-04-03 Tcl集团股份有限公司 一种图像处理方法、装置及设备
CN111031312A (zh) * 2019-12-16 2020-04-17 山东浪潮人工智能研究院有限公司 基于网络实现注意力机制的图像压缩方法
CN111279697A (zh) * 2019-01-25 2020-06-12 深圳市大疆创新科技有限公司 码率分配的方法与装置
CN113645500A (zh) * 2021-10-15 2021-11-12 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333012A (en) * 1991-12-16 1994-07-26 Bell Communications Research, Inc. Motion compensating coder employing an image coding control method
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电(集团)有限公司中央研究院 基于人眼感知模型的码率控制方法
CN101533512A (zh) * 2009-04-24 2009-09-16 西安电子科技大学 基于人类视觉注意系统的图像感兴趣区域自动提取方法
CN101651772A (zh) * 2009-09-11 2010-02-17 宁波大学 一种基于视觉注意的视频感兴趣区域的提取方法
CN101916379A (zh) * 2010-09-03 2010-12-15 华中科技大学 一种基于对象积累视觉注意机制的目标搜索和识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333012A (en) * 1991-12-16 1994-07-26 Bell Communications Research, Inc. Motion compensating coder employing an image coding control method
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电(集团)有限公司中央研究院 基于人眼感知模型的码率控制方法
CN101533512A (zh) * 2009-04-24 2009-09-16 西安电子科技大学 基于人类视觉注意系统的图像感兴趣区域自动提取方法
CN101651772A (zh) * 2009-09-11 2010-02-17 宁波大学 一种基于视觉注意的视频感兴趣区域的提取方法
CN101916379A (zh) * 2010-09-03 2010-12-15 华中科技大学 一种基于对象积累视觉注意机制的目标搜索和识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《中国图象图形学报》 19980731 龙甫荟 一种引入注意机制的视觉计算模型 592-595 1_7 第3卷, 第7期 2 *
《电子测量技术》 20070131 王成优等 JPEG图像压缩编码及其MATLAB仿真实现 135-137 1-7 第30卷, 第1期 2 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186076A (zh) * 2011-04-29 2011-09-14 中国科学院光电技术研究所 一种实时码率预分配的图像压缩方法及图像压缩装置
CN102186076B (zh) * 2011-04-29 2013-07-10 中国科学院光电技术研究所 一种实时码率预分配的图像压缩方法及图像压缩装置
CN103947212A (zh) * 2011-10-24 2014-07-23 株式会社Gnzo 视频信号的编码系统以及编码方法
CN110956582A (zh) * 2018-09-26 2020-04-03 Tcl集团股份有限公司 一种图像处理方法、装置及设备
CN109413431A (zh) * 2018-11-09 2019-03-01 深圳威尔视觉传媒有限公司 自适应多tile编码码率控制方法、装置、设备和存储介质
CN109413431B (zh) * 2018-11-09 2023-01-03 深圳威尔视觉传媒有限公司 自适应多tile编码码率控制方法、装置、设备和存储介质
CN111279697A (zh) * 2019-01-25 2020-06-12 深圳市大疆创新科技有限公司 码率分配的方法与装置
WO2020150992A1 (zh) * 2019-01-25 2020-07-30 深圳市大疆创新科技有限公司 码率分配的方法与装置
CN110322453A (zh) * 2019-07-05 2019-10-11 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法
CN111031312A (zh) * 2019-12-16 2020-04-17 山东浪潮人工智能研究院有限公司 基于网络实现注意力机制的图像压缩方法
CN113645500A (zh) * 2021-10-15 2021-11-12 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统
CN113645500B (zh) * 2021-10-15 2022-01-07 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统

Also Published As

Publication number Publication date
CN102036073B (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
CN102036073B (zh) 基于视觉潜在注意力目标区域的jpeg2000图像编解码方法
CN110087092B (zh) 基于图像重构卷积神经网络的低码率视频编解码方法
Askelöf et al. Region of interest coding in JPEG 2000
JP4114534B2 (ja) 画像符号化装置及び方法
CN101163241B (zh) 一种视频序列编解码系统
Pan et al. A fast and low memory image coding algorithm based on lifting wavelet transform and modified SPIHT
CN103546759A (zh) 一种基于小波包和矢量量化相结合的图像压缩编码方法
JP4135617B2 (ja) 画像符号化装置及び方法
Babel et al. Interleaved S+ P pyramidal decomposition with refined prediction model
Zhu et al. An improved SPIHT algorithm based on wavelet coefficient blocks for image coding
CN106559668A (zh) 一种基于智能量化技术的低码率图像压缩方法
Baligar et al. Low complexity, and high fidelity image compression using fixed threshold method
Bildkompression Embedded wavelet-based image compression: State of the art
CN101287119B (zh) 基于频谱的图像分层编解码方法及系统
Pan et al. Efficient and low-complexity image coding with the lifting scheme and modified SPIHT
CN102148993B (zh) 一种小波图像的编码方法和装置
CN1564604A (zh) 基于树状结构的等级树集合划分视频图像压缩方法
CN101431678A (zh) 影像处理方法及装置
CN105611289B (zh) 基于智能量化技术的低分辨率图像编码方法
Hassen et al. The 5/3 and 9/7 wavelet filters study in a sub-bands image coding
Muzaffar et al. Linked significant tree wavelet-based image compression
JP4379527B2 (ja) 符号化装置及び方法
Bernatin et al. A Survey on Efficient memory in video codec using Hybrid Algorithm
Delaunay et al. Lossy compression by post-transforms in the wavelet domain
Tsai et al. Graphics Image Compression Using JPEG2000

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20171221