CN105245889B - 一种基于分层采样的参考帧压缩方法 - Google Patents
一种基于分层采样的参考帧压缩方法 Download PDFInfo
- Publication number
- CN105245889B CN105245889B CN201510618813.1A CN201510618813A CN105245889B CN 105245889 B CN105245889 B CN 105245889B CN 201510618813 A CN201510618813 A CN 201510618813A CN 105245889 B CN105245889 B CN 105245889B
- Authority
- CN
- China
- Prior art keywords
- sampling
- reference frame
- mrow
- image
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于分层采样的参考帧压缩方法,如下步骤:A1.获取原始参考帧图像f0和数据传输的限定带宽Bc;A2.计算当前层n的参考帧缩略图f(n‑1)所需的传输带宽B;A3.带宽判断:若所述传输带宽B小于所述限定带宽Bc,则结束参考帧压缩;否则,对所述参考帧缩略图f(n‑1)进行亚采样得到亚采样图像f(n),进一步对所述亚采样图像f(n)上采样得到上采样图像f'(n),计算所述上采样图像f'(n)与所述参考帧缩略图f(n‑1)的采样误差Dif(n);A4.对所述采样误差Dif(n)进行压缩编码,实现对所述采样误差Dif(n)的压缩,并分层保存,然后回到步骤A2进行下一层n+1的相应处理;所述n为自然数。本发明解决了现有技术存在的数据交互占用带宽过多、消耗能量过大的技术问题。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,特别涉及一种基于分层采样的参考帧压缩方法。
背景技术
当前伴随着大量编码新技术的引入,超高清视频编码技术取得了长足的发展,编码效率大大提高。新一代视频编码标准HEVC支持更加灵活的树状块划分结构、多参考帧帧间预测和更大的运动搜索范围,引入这些新技术,实现了编码效率提升的同时,也毫无疑问地对编码器或者解码器的片内存储空间和片内外数据交互带宽提出了更高的要求。与此同时,片内外交互数据量的增加也加大了在硬件上视频编码的能量损耗。伴随着手机等移动终端设备在生活中的大量使用,实时编码和解码超分辨视频已成为未来的发展趋势,而编码过程所需的内存和带宽宽带数据传输已成为控制系统功耗损失的关键因素,尤其是对移动设备电池续航能力的影响显得尤为重要。
为了减小由于片内外数据交互带宽的增加造成的功耗损失,目前针对超高清视频编码提出了一系列的改进方法。其中最具代表性的方法便是参考帧压缩技术。参考帧压缩技术是指在参考帧被存入DRAM之前对其进行压缩,减少在Cashe中压缩当前帧进行运动估计时所需的从DRAM中读取参考帧的数据量。之前具有代表性的参考帧压缩方法以基于定压缩率模型为主,即对参考帧图像按照指定的压缩率和指定的传输带宽进行统一压缩,这种强制的压缩模式可能造成部分参考帧信息的损失,或者是对一些仍具压缩潜能的图像信息压缩不足。对此提出的基于可变压缩率的参考帧压缩方案是在无损的前提下尽可能压缩图像模块,使得参考帧平均的压缩率得以提高。但是该模式采用的全搜索的运动估计模式仍会占用大量的带宽和消耗更多的能量。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提出一种基于分层采样的参考帧压缩方法,以解决上述现有技术存在的数据交互占用带宽过多、消耗能量过大的技术问题。
为此,本发明提出一种基于分层采样的参考帧压缩方法,如下步骤:A1.获取原始参考帧图像f0和数据传输的限定带宽Bc;A2.计算当前层n的参考帧缩略图f(n-1)所需的传输带宽B;A3.带宽判断,若所述传输带宽B小于所述限定带宽Bc,则结束参考帧压缩;否则,对所述参考帧缩略图f(n-1)进行亚采样得到亚采样图像f(n),进一步对所述亚采样图像f(n)上采样得到上采样图像f'(n),计算所述上采样图像f'(n)与所述参考帧缩略图f(n-1)的采样误差Dif(n);A4.对所述采样误差Dif(n)进行压缩编码,实现对所述采样误差Dif(n)的压缩,并分层保存,然后回到步骤A2进行下一层n+1的相应处理;所述n为自然数。
优选地,本发明还可以具有如下技术特征:
所述传输带宽B通过当前层图像大小和运动估计时的搜索范围进行计算得到。
所述传输带宽B的计算方法如下:
其中,Widthf(n)和Heightf(n)分别表示所述亚采样图像f(n)的宽和高,Srx和Sry分别表示全搜索运动估计模式的搜索范围的长和宽,每层的残差的Bit表示为Bit_Dif(i)。
所述步骤A3中,采用迭代亚采样建立信息子层和计算采样残差,通过所述信息子层得到亚采样子层图像,然后利用所述亚采样子层图像和所述采样残差来计算带宽,其中所述信息子层为全局性概念,指整个分层采样过程中建立的多层次亚采样图像信息。
所述步骤A3中的亚采样具体为将所述参考帧缩略图f(n-1)横纵均变为1/2得到f(n)。
采用对像素点隔行隔列抽取的方法进行亚采样。
所述步骤A3中的上采样为将所述亚采样图像f(n)的横纵均变为原来的2倍,使所述上采样图像f'(n)恢复至所述参考帧缩略图f(n-1)的大小。
所述步骤A3中的上采样还利用最邻近插值算法或双线性插值算法实现图像像素的增加,以保证图像的光滑性。
所述步骤A4中的所述压缩编码为定长码编码、非定长码编码、有损编码或者无损编码。
所述步骤A4中的所述压缩编码为稀疏信息编码方法,构造如下稀疏模型:min||X||0st.Y=DX,
通过贪婪算法或者将目标函数转化进行稀疏分解,再根据具有自适应能力的最大似然法或最优方向法构造完备字典,从而实现残差信息的稀疏编码;
其中,D为基函数字典,X为稀疏表示向量,Y为待处理信号。
本发明与现有技术对比的有益效果包括:通过对参考帧缩略图先亚采样再上采样,从而计算出上采样图像与参考帧缩略图的采样误差并进行编码,使得本方法能提供更加有效的自适应压缩效果,压缩效率更高,并且算法的灵活性和对应用平台的适应性非常强。
附图说明
图1是本发明一个具体实施方式的流程图。
具体实施方式
本发明的发明构思可简述如下:
在参考帧被存入DRAM之前对其进行压缩率可控的有损参考帧压缩,压缩方法采用迭代亚采样,即对上一级的亚采样原图再次进行亚采样,保证其满足片内外交互数据量的约束。对于亚采样成像进行上采样,计算其与上一层亚采样原图的残差,对采样误差进行压缩编码,通过分析这些稀疏分布图像的分布特征,实现其有效的表征。通过计算当前层数据传输所需带宽,与限定的带宽比较,判断是继续迭代亚采样还是停止参考帧编码,从而保证了片内外数据交互量在最坏情况下都能满足系统资源和编码性能需求。整个分层压缩的控制方法,对于超清视频编码来说,能够节约片内存储空间和降低编码功耗,将使得未来移动终端的超清视频编解码的各个研究领域广泛受益。
本发明的优势包括:I、对降采样后再上采样恢复的图像与原分辨率图像的差进行编码,而无需对降采样后的图像进行编码;II、编码的方式不限定为DPCM,可采用有损、无损或稀疏表示的方式;III、本发明的方法并不必须以4:1或16:1来进行下采样,下采样的比例可以为非整数;IV、降采样的层数和比例可由DRAM的大小、图像大小和运动估计的搜索范围动态决定。以上使得本发明能提供更加有效的自适应压缩效果,压缩效率更高,并且算法的灵活性和对应用平台的适应性更强。
关于本发明中“片内外”含义的说明:处理器在视频编码过程中,压缩一帧图片在处理器内部进行,而压缩进行的帧间预测所需的参考帧信息保存在内存中,此时需要处理器内部和内存之间进行信息交换,此处的“片内外”可以理解为处理器内部和外部内存。
下面结合具体实施方式并对照附图1对本发明作进一步详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
如图1所述,本实施例的基于分层采样的参考帧压缩方法包括如下步骤:
A1.获取原始参考帧图像f0(即输入的原始图像)和数据传输的限定带宽Bc;所述获取可为摄像机、照相机等拍摄方式,也可为计算机读取文件方式,对此并不局限。
A2.计算当前层n的参考帧缩略图f(n-1)所需的传输带宽B。
A3.带宽判断及采样误差计算:若所述传输带宽B小于所述限定带宽Bc,则结束参考帧压缩;否则,对所述参考帧缩略图f(n-1)进行亚采样得到亚采样图像f(n),进一步对所述亚采样图像f(n)上采样得到上采样图像f'(n),计算所述上采样图像f'(n)与所述参考帧缩略图f(n-1)的采样误差Dif(n)。
A4.对所述采样误差Dif(n)进行压缩编码,实现对所述采样误差Dif(n)的压缩,并分层保存,然后回到步骤A2进行下一层n+1的相应处理;所述n为自然数。通过对采样误差Dif(n)进行压缩,可有效去除其中的冗余信息,从而可在进行视频编码器编码时,有效减少片内外交互数据。
以下是对前述实施例的进一步详细的说明,需说明的是,下面所述的具体方法(如隔行抽样,双线性插值算等)都仅为列举说明,本发明所涵盖的范围不局限于所列举的这些方法。
所述步骤A1中,获取所述参考帧(视频序列)的方式及数据格式等不限,在编码器编码视频图像进行运动估计之前获取,并对其进行分层压缩。与此同时,获取(或输入)编码过程中片内外数据传输所限定的带宽,设定初始为1。
所述步骤A2中,对当前层图像计算其传输带宽,以此为依据,与限定的带宽相比较,判断是否继续进行迭代压缩。在视频编码或解码系统中,在Cashe中进行数据处理的编码器需要与存储着大量数据的外部存储器DRAM相连,完成运动估计和运动补偿等编码操作。因此,整个片内外数据交互的传输带宽便可以通过当前层图像大小和运动估计时的搜索范围进行计算。一个具体的计算方法为:设定当前层亚采样图像f(n)的宽Widthf(n)和高Heightf(n),而传统的全搜索运动估计模式的搜索范围的长和宽分别为Srx和Sry,而每层的残差的Bit表示为Bit_Dif(i),那么传输带宽B计算的准则如下:
所述步骤A3中,可采用迭代亚采样建立信息子层和计算采样残差,通过所述信息子层得到亚采样子层图像,然后利用所述亚采样子层图像和所述采样残差来计算带宽。此处的“信息子层”为全局性概念,指整个分层采样过程中建立的多层次亚采样图像信息。
所述亚采样过程可以是:将亚采样原图(即参考帧缩略图)f(n-1)横纵均变为1/2,得到亚采样图像f(n),这里对亚采样的方法不加以局限。
以下以采用对像素点的隔行抽取为例进一步进行说明。首先对输入的亚采样原图f(n-1)进行隔行隔列采样,设其图像的像素矩阵表达形式如下:
所述亚采样即当m和n同为偶数或者奇数时采样,保留相应的像素点,得到新一层的亚采样图像f(n),其表达形式如下:
其中,I(x,y)、O(x,y)分别表示图像中位置坐标的像素值;
对所述亚采样图像f(n)进行上采样,利用最邻近插值算法或双线性插值算法实现图像像素的增加,以处理效果较好的双线性内插为例,对于赋予灰度值的位置(x,y),其赋值公式可按下面公式得到:
v(x,y)=ax+by+cxy+d,
其中v(x,y)表示灰度值,系数a、b、c和d可由4个用(x,y)点最近邻点写出的未知方程确定,保证图像的光滑性,使所得的图像f'(n)恢复至亚采样原图f(n-1)大小。
利用f'(n)和亚采样原图f(n-1)计算采样误差Dif(n),计算公式如下:
Dif(n)=f(n-1)-f'(n)。
所得的采样误差作为计算当前层片内外传输所需带宽的元素之一,下一步将该采样误差信号所在层次进行保存。
所述步骤A4中,利用计算所得的不同层次的采样误差进行压缩编码,压缩编码的方式可以为定长码编码、非定长码编码、有损或者无损编码等,对编码方法不必加以限制。以采用稀疏信息编码为例,由采样误差看成的像素值稀疏分布的图像,可以由一个基函数字典线性叠加表示,构造稀疏模型如下:
min||X||0st.Y=DX,
通过贪婪算法或者将目标函数转化进行稀疏分解,再根据具有自适应能力的最大似然法或最优方向法构造完备字典,从而实现残差信息的稀疏编码;其中,D为基函数字典,X为稀疏表示向量,Y为待处理信号。整个稀疏模型的建立可以通过贪婪算法或者将目标函数转化进行稀疏分解,再根据具有自适应能力的字典构造方法,比如最大似然法、最优方向法等,构造完备字典,从而实现采样误差信息的稀疏编码。完成编码之后,n值加1返回至A2。
本领域技术人员将认识到,对以上描述做出众多变通是可能的,所以实施例仅是用来描述一个或多个特定实施方式。
尽管已经描述和叙述了被看作本发明的示范实施例,本领域技术人员将会明白,可以对其作出各种改变和替换,而不会脱离本发明的精神。另外,可以做出许多修改以将特定情况适配到本发明的教义,而不会脱离在此描述的本发明中心概念。所以,本发明不受限于在此披露的特定实施例,但本发明可能还包括属于本发明范围的所有实施例及其等同物。
Claims (10)
1.一种基于分层采样的参考帧压缩方法,其特征在于包括如下步骤:
A1.获取原始参考帧图像f0和数据传输的限定带宽Bc;
A2.计算当前层n的参考帧缩略图f(n-1)所需的传输带宽B;
A3.带宽判断:若所述传输带宽B小于所述限定带宽Bc,则结束参考帧压缩;否则,对所述参考帧缩略图f(n-1)进行亚采样得到亚采样图像f(n),进一步对所述亚采样图像f(n)上采样得到上采样图像f'(n),计算所述上采样图像f'(n)与所述参考帧缩略图f(n-1)的采样误差Dif(n);
A4.对所述采样误差Dif(n)进行压缩编码,实现对所述采样误差Dif(n)的压缩,并分层保存,然后回到步骤A2进行下一层n+1的相应处理;
所述n为自然数。
2.如权利要求1所述的基于分层采样的参考帧压缩方法,其特征在于:所述传输带宽B通过当前层图像大小和运动估计时的搜索范围进行计算得到。
3.如权利要求1所述的基于分层采样的参考帧压缩方法,其特征在于:所述传输带宽B的计算方法如下:
<mrow>
<mi>B</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>Width</mi>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>Sr</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>Height</mi>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>Sr</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mi>B</mi>
<mi>i</mi>
<mi>t</mi>
<mo>_</mo>
<mi>D</mi>
<mi>i</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,Widthf(n)和Heightf(n)分别表示所述亚采样图像f(n)的宽和高,Srx和Sry分别表示全搜索运动估计模式的搜索范围的长和宽,每层的残差的Bit表示为Bit_Dif(i)。
4.如权利要求1所述的基于分层采样的参考帧压缩方法,其特征在于:所述步骤A3中,采用迭代亚采样建立信息子层和计算采样残差,通过所述信息子层得到亚采样子层图像,然后利用所述亚采样子层图像和所述采样残差来计算带宽,其中所述信息子层为全局性概念,指整个分层采样过程中建立的多层次亚采样图像信息。
5.如权利要求1所述的基于分层采样的参考帧压缩方法,其特征在于:所述步骤A3中的亚采样具体为将所述参考帧缩略图f(n-1)横纵均变为1/2得到f(n)。
6.如权利要求5所述的基于分层采样的参考帧压缩方法,其特征在于:采用对像素点隔行隔列抽取的方法进行亚采样。
7.如权利要求1所述的基于分层采样的参考帧压缩方法,其特征在于:所述步骤A3中的上采样为将所述亚采样图像f(n)的横纵均变为原来的2倍,使所述上采样图像f'(n)恢复至所述参考帧缩略图f(n-1)的大小。
8.如权利要求7所述的基于分层采样的参考帧压缩方法,其特征在于:所述步骤A3中的上采样还利用最邻近插值算法或双线性插值算法实现图像像素的增加,以保证图像的光滑性。
9.如权利要求1所述的基于分层采样的参考帧压缩方法,其特征在于:所述步骤A4中的所述压缩编码为定长码编码、非定长码编码、有损编码或者无损编码。
10.如权利要求1所述的基于分层采样的参考帧压缩方法,其特征在于:所述步骤A4中的所述压缩编码为稀疏信息编码方法,构造如下稀疏模型:
min||X||0st.Y=DX,
通过贪婪算法或者将目标函数转化进行稀疏分解,再根据具有自适应能力的最大似然法或最优方向法构造完备字典,从而实现残差信息的稀疏编码;
其中,D为基函数字典,X为稀疏表示向量,Y为待处理信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510618813.1A CN105245889B (zh) | 2015-09-24 | 2015-09-24 | 一种基于分层采样的参考帧压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510618813.1A CN105245889B (zh) | 2015-09-24 | 2015-09-24 | 一种基于分层采样的参考帧压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105245889A CN105245889A (zh) | 2016-01-13 |
CN105245889B true CN105245889B (zh) | 2017-12-12 |
Family
ID=55043346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510618813.1A Active CN105245889B (zh) | 2015-09-24 | 2015-09-24 | 一种基于分层采样的参考帧压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105245889B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108810556B (zh) * | 2017-04-28 | 2021-12-24 | 炬芯科技股份有限公司 | 压缩参考帧的方法、装置及芯片 |
CN110139129B (zh) * | 2019-03-27 | 2021-09-17 | 西安万像电子科技有限公司 | 图像传输方法及装置 |
CN111031324A (zh) * | 2019-12-09 | 2020-04-17 | 中国电子科技集团公司第二十研究所 | 一种基于高维矩阵变换的视频数据传输方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821303A (zh) * | 2012-08-31 | 2012-12-12 | 哈尔滨工程大学 | 一种像素级视频信息网络实时分级压缩传输方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8553994B2 (en) * | 2008-02-05 | 2013-10-08 | Futurewei Technologies, Inc. | Compressive sampling for multimedia coding |
-
2015
- 2015-09-24 CN CN201510618813.1A patent/CN105245889B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102821303A (zh) * | 2012-08-31 | 2012-12-12 | 哈尔滨工程大学 | 一种像素级视频信息网络实时分级压缩传输方法 |
Non-Patent Citations (2)
Title |
---|
Compression of Laplacian Pyramids Through;Gagan Rath等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20080930;第17卷(第9期);第1587-1604页 * |
基于同步分层运动估计架构的参考帧压缩方法;包雪娜等;《信息技术》;20120325;第1-5页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105245889A (zh) | 2016-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10462476B1 (en) | Devices for compression/decompression, system, chip, and electronic device | |
KR101775522B1 (ko) | 차동 전송을 이용한 무손실 이미지 압축 | |
CN103404136B (zh) | 使用运动矩阵对视频进行编码和解码的方法和设备 | |
CN110602494A (zh) | 基于深度学习的图像编码、解码系统及编码、解码方法 | |
US20110033126A1 (en) | Method for improving the performance of embedded graphics coding | |
CN111402380B (zh) | 一种gpu压缩纹理处理方法 | |
CN109547784A (zh) | 一种编码、解码方法及装置 | |
CN105245889B (zh) | 一种基于分层采样的参考帧压缩方法 | |
JP2008502261A (ja) | 圧縮コーディングおよび電力消費量を含む費用関数を使用して画像をメモリに格納する方法 | |
CN103716634A (zh) | 使用误差平面编码的数据压缩方法及装置 | |
CN103248891B (zh) | 一种基于n-bit截尾量化和块内二维预测的参考帧压缩方法 | |
CN104935928A (zh) | 一种基于空域下采样模式的高效图像压缩方法 | |
CN106559668B (zh) | 一种基于智能量化技术的低码率图像压缩方法 | |
WO2011064073A1 (en) | Method, device and system for image compression and decompression using support vector regression | |
WO2023051335A1 (zh) | 数据编码方法、数据解码方法以及数据处理装置 | |
CN1848960B (zh) | 使用非标准化矢量量化编码器的符合视频标准的残差编码 | |
CN113344786B (zh) | 基于几何生成模型的视频转码方法、装置、介质和设备 | |
WO2023082107A1 (zh) | 解码方法、编码方法、解码器、编码器和编解码系统 | |
CN114501031B (zh) | 一种压缩编码、解压缩方法以及装置 | |
WO2022022176A1 (zh) | 一种图像处理方法以及相关设备 | |
CN105611288B (zh) | 一种基于有约束插值技术的低码率图像编码方法 | |
Al-Khafaji et al. | Grey-Level image compression using 1-d polynomial and hybrid encoding technique | |
CN116170596A (zh) | 编解码方法及电子设备 | |
Sheu et al. | A lossless index coding algorithm and VLSI design for vector quantization | |
Amin et al. | Improved median edge detection (iMED) for lossless image compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua Applicant after: Graduate School at Shenzhen, Tsinghua University Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili Shenzhen Tsinghua Campus of Tsinghua University Applicant before: Graduate School at Shenzhen, Tsinghua University |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |