CN101616325B - 一种视频编码中自适应插值滤波计算的方法 - Google Patents
一种视频编码中自适应插值滤波计算的方法 Download PDFInfo
- Publication number
- CN101616325B CN101616325B CN 200910089874 CN200910089874A CN101616325B CN 101616325 B CN101616325 B CN 101616325B CN 200910089874 CN200910089874 CN 200910089874 CN 200910089874 A CN200910089874 A CN 200910089874A CN 101616325 B CN101616325 B CN 101616325B
- Authority
- CN
- China
- Prior art keywords
- pixels
- reference frame
- location
- processing
- interpolation filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码中自适应插值滤波计算的方法,所述方法包括:对当前的视频图像进行预编码处理,记录预编码处理的结果;根据所述预编码处理结果,对所述视频图像进行循环的迭代处理,直至满足预设的迭代停止条件时停止进行迭代处理;获取迭代处理停止时计算得到的新插值滤波器,利用所述新插值滤波器对视频图像进行二次编码。本发明实施例通过对视频图像进行预编码处理、迭代处理和二次编码处理,在各次迭代处理过程中,减少了对整像素位置所进行的常规操作,从而降低了视频编码的计算复杂度。
Description
技术领域
本发明涉及视频压缩编码领域,特别涉及一种视频编码中自适应插值滤波计算的方法。
背景技术
在目前各种视频编码标准中所采用的混合编码结构的视频编码方法,通常使用预测、变换、量化和信息熵编码四种压缩编码技术。其中,预测编码技术是利用已经完成编码和重建的视频图像块来预测和描述当前编码的视频图像块。根据所使用的已经完成编码和重建的视频图像块和当前正在编码的视频图像块之间的关系,预测编码技术可以分为帧间预测和帧内预测,帧间预测是利用先前视频帧中的图像块预测当前帧正在编码的图像块,帧内预测是利用当前视频帧中已经完成编码和重建的图像块预测同一帧中正在编码的图像块。
对于分像素的运动补偿帧间预测,需要对解码图像缓冲区中的参考帧进行插值操作来获得分像素位置的像素值,当前的视频编码标准中一般采用简单的双线性滤波或维纳滤波来进行插值操作。在目前的各种使用Wiener-Hopf(维纳霍夫)方程实现自适应插值方案中,都使用了视频帧级的二次编码结构:在对一帧视频图像进行编码的过程中,首先进行一次预编码,所有的参考帧使用了固定系数插值滤波器进行插值实现预编码;在预编码结束后,计算新的插值滤波器系数,重新对各参考帧进行插值,再进行第二次视频帧级的编码操作,从而获得使用自适应插值滤波进行压缩的码流。为了获得更高的压缩效率,可以在第二次编码中记录相关信息并计算新的插值滤波器系数,以此迭代进行更多次视频帧级的编码操作。
在实现本发明的过程中,发明人发现,现有技术中增加了额外的视频帧级编码操作,会显著增加编码的复杂度。在这种视频帧级的多次编码结构中,存在大量的近似重复操作,比如对整像素位置搜索、变换、量化等操作,使得编码的复杂度较高。
发明内容
为了降低视频帧级的二次编码中分像素运动搜索的计算复杂度,本发明提出了一种视频编码中自适应插值滤波计算的方法,所述技术方案如下:
一种视频编码中自适应插值滤波计算的方法,所述方法包括:
使用初始的固定的插值滤波器对当前视频图像的所有参考帧进行插值处理,分别获得插值处理后参考帧;使用插值处理后的参考帧对当前的编码帧中的每一个图像块进行编码,分别获得编码图像块,并记录相应的编码过程中的参考帧编号、对应的参考帧中图像块的整像素位置和分像素位置;记录每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关,以及对应的参考帧中整像素位置图像块的局部自相关;
根据所述编码过程中的参考帧编号、对应的参考帧中图像块的整像素位置和分像素位置、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关,以及对应的参考帧中整像素位置图像块的局部自相关,对所述视频图像进行循环的迭代处理,直至满足预设的迭代停止条件时停止进行迭代处理;
获取迭代处理停止时计算得到的新插值滤波器,利用所述新插值滤波器对视频图像进行二次编码。
本发明实施例通过对视频图像进行预编码处理、迭代处理和二次编码处理,在各次迭代处理过程中,减少了对整像素位置所进行的常规操作,从而降低了视频编码的计算复杂度。
附图说明
图1是本发明实施例提供的视频编码方法的流程图;
图2是本发明实施例提供的视频编码方法的详细流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
如图1所示,本发明实施例提供了一种视频编码中自适应插值滤波计算的方法,包括:
101:对当前的视频图像进行预编码处理,记录预编码处理的结果。
具体的,记录的预编码处理的结果包括:编码过程中的参考帧编号、对应的参考帧中图像块的整像素位置和分像素位置、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关,以及对应的参考帧中整像素位置图像块的局部自相关。
102:根据预编码处理结果,对该视频图像进行循环的迭代处理,直至满足预设的迭代停止条件时停止进行迭代处理。
优选的,预设的迭代停止条件可以为:当前迭代处理的次数已达到预设值。或,前一次迭代处理过程中,各编码图像块中发生改变的分像素位置的个数小于预设门限值,该预设门限值可以根据实际需要进行设定,本发明对此不做限制。
103:获取迭代处理停止时计算得到的新插值滤波器,利用该新插值滤波器对视频图像进行二次编码。
本发明实施例通过对视频图像进行预编码处理、迭代处理和二次编码处理,在各次迭代处理过程中,减少了对整像素位置所进行的常规操作,从而降低了视频编码的计算复杂度。
实施例2
为了降低视频帧级编码的计算复杂度,本发明实施例提供了一种视频编码中自适应插值滤波计算的方法。本发明实施例采用快速迭代处理的方法进行二次编码,充分利用了在各次迭代处理过程中,各视频编码图像块在参考帧中对应的整像素位置参考块基本不变的性质,消除了在各次迭代中不必要的整像素位置搜索、变换、量化等操作,从而降低了编码的计算复杂度。
参见图2,本发明实施例提供的视频编码中自适应插值滤波计算的方法,具体应用于视频编码过程中,包括以下步骤:预编码阶段、迭代处理阶段和二次编码阶段。
预编码阶段包括:
201:使用初始的固定系数的插值滤波器对当前视频图像的所有参考帧进行插值处理,分别获得插值处理后参考帧。
其中,一个视频图像块中所包括的参考帧的数目可以根据实际需要进行设定,本发明对此不做限制。
202:使用插值处理后的参考帧对当前的编码帧中的每一个视频图像块i进行编码,分别获得各个编码图像块,并记录相应的编码过程中的参考帧编号REFi、对应的参考帧中图像块的整像素位置IPi和分像素位置SPi。
203:记录每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关,以及对应的参考帧中整像素位置图像块的局部自相关。
202和203中记录的结果即为对当前的视频图像进行预编码处理所得的结果。在对视频图像的预编码处理结束后,进行循环的迭代处理,迭代处理阶段包括:
204:根据记录的该分像素位置SPi、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关以及对应的参考帧中整像素位置图像块的局部自相关计算各编码图像块与对应的参考帧中整像素位置图像块的统计的局部互相关RSP,以及对应的参考帧中整像素位置图像块的统计的局部自相关CSP;并进一步计算出每个分像素的新的插值滤波器。
205:根据204中得到的统计的局部互相关RSP和统计的局部自相关CSP,通过求解Wiener-Hopf方程:RSPhSP=CSP,从而可以计算出每个分像素的新插值滤波器为:hSP。
206:判断是否满足预设的迭代停止条件,如果是,则停止进行迭代处理,执行208;否则,执行207。
207:利用该新的插值滤波器对所有的该分像素位置进行插值处理,搜索并记录经新的插值滤波器处理后的分像素位置,并返回执行204继续进行循环的迭代处理。
优选的,预设的迭代停止条件可以为:1、当前迭代处理的次数已达到预设值;或,2、前一次迭代处理过程中,各编码图像块中发生改变的分像素位置SPi的个数小于预设门限值,该预设门限值可以根据实际需要进行设定,本发明对此不做限制。或,3、前两次迭代处理过程中计算出的插值滤波器系数的欧式距离小于预设的插值滤波器改变门限值。该预设的改变门限值可以根据实际需要进行设定,本发明对此不做限制。
具体的,207的具体处理步骤包括:
1)通过记录的参考帧编号REFi和整像素位置IPi查找出整像素位置参考块;
2)使用205中计算得到的各分像素的新的插值滤波器hSP对所有分像素位置进行插值处理,获得各分像素位置图像块;
3)以最小化残差能量为目标搜索在使用新插值滤波器的情况下,经新的插值滤波器处理后的分像素位置,刷新并记录该分像素位置,并返回执行204继续进行循环的迭代处理。
通过204-207,对预编码处理后的视频图像进行了循环的迭代处理,直至满足预设的迭代停止条件时,结束迭代处理。在上述循环迭代处理结束后,获取迭代处理停止时计算得到的新插值滤波器,即最后一次迭代处理过程中计算得到的新插值滤波器;之后就可以对视频图像进行二次编码的处理,二次编码阶段包括如下步骤:
208:对最后一次迭代处理过程中计算出的新插值滤波器进行量化和编码。
209:使用量化后的该新插值滤波器对该各参考帧进行插值处理。
210:使用插值处理后的各参考帧,对当前编码帧中的每一个图像块进行二次编码。
本发明实施例通过在视频编码过程中采用快速迭代处理,在保证视频压缩效率的同时有效地降低了计算开销。本发明提出的方法在第一次采用插值滤波器进行参考帧插值的预编码过程中,记录本次编码过程中选定的分像素位置标号和参考帧编号、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关,以及对应的参考帧中整像素位置图像块的局部自相关,在预编码结束后用迭代的方式计算插值滤波器和对应的分像素位置标号,每次迭代处理过程中仅需要以最小化残差能量为目标,对分像素位置进行搜索获得在使用新插值滤波器的情况下的分像素位置,无需进行整像素位置的运动搜索、量化、编码等操作,从而实现了计算复杂度的降低。
本发明实施例通过对视频图像进行预编码处理、迭代处理和二次编码处理,在各次迭代处理过程中,减少了对整像素位置所进行的常规操作,从而降低了视频编码的计算复杂度。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种视频编码中自适应插值滤波计算的方法,其特征在于,所述方法包括:
使用初始的固定的插值滤波器对当前视频图像的所有参考帧进行插值处理,分别获得插值处理后参考帧;使用插值处理后的参考帧对当前的编码帧中的每一个图像块进行编码,分别获得编码图像块,并记录相应的编码过程中的参考帧编号、对应的参考帧中图像块的整像素位置和分像素位置;记录每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关,以及对应的参考帧中整像素位置图像块的局部自相关;
根据记录的所述分像素位置、每一个编码图像块与对应的参考帧中整像素位置图像块的局部互相关,以及对应的参考帧中整像素位置图像块的局部自相关,计算各编码图像块与对应的参考帧中整像素位置图像块的统计的局部互相关,以及对应的参考帧中整像素位置图像块的统计的局部自相关,并进一步计算出每个分像素的新的插值滤波器,并对所述视频图像进行循环的迭代处理,直至满足预设的迭代停止条件时停止进行迭代处理;
获取迭代处理停止时计算得到的新插值滤波器,利用所述新插值滤波器对视频图像进行二次编码。
2.根据权利要求1所述的视频编码中自适应插值滤波计算的方法,其特征在于,所述对所述视频图像进行循环的迭代处理,直至满足预设的迭代停止条件时停止进行迭代处理,包括:
步骤A:判断是否满足预设的迭代停止条件,如果是,则停止进行迭代处理;否则,执行步骤B;
步骤B:利用所述新的插值滤波器对所有的所述分像素位置进行插值处理,搜索并记录经所述新插值滤波器处理后的分像素位置,并返回执行步骤A。
3.根据权利要求2所述的视频编码中自适应插值滤波计算的方法,其特征在于,所述预设的迭代停止条件,包括:
当前迭代处理的次数已达到预设值;
或,前一次迭代处理过程中,各编码图像块中发生改变的分像素位置的个数小于预设门限值;
或,前两次迭代处理过程中计算出的新插值滤波器系数的欧式距离小于预设的插值滤波器改变门限值。
4.根据权利要求2所述的视频编码中自适应插值滤波计算的方法,其特征在于,所述利用所述新插值滤波器对视频图像进行二次编码,包括:
对最后一次迭代处理过程中计算出的新插值滤波器进行量化和编码;
使用量化后的所述新插值滤波器对所述各参考帧进行插值处理;
使用插值处理后的各参考帧对当前编码帧中的每一个图像块进行二次编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910089874 CN101616325B (zh) | 2009-07-27 | 2009-07-27 | 一种视频编码中自适应插值滤波计算的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910089874 CN101616325B (zh) | 2009-07-27 | 2009-07-27 | 一种视频编码中自适应插值滤波计算的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101616325A CN101616325A (zh) | 2009-12-30 |
CN101616325B true CN101616325B (zh) | 2011-05-11 |
Family
ID=41495673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910089874 Expired - Fee Related CN101616325B (zh) | 2009-07-27 | 2009-07-27 | 一种视频编码中自适应插值滤波计算的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101616325B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103517080A (zh) * | 2012-06-21 | 2014-01-15 | 北京数码视讯科技股份有限公司 | 实时视频流编码器和实时视频流编码方法 |
CN104519368B (zh) * | 2013-09-30 | 2017-12-01 | 华为技术有限公司 | 图像编码、解码重构处理方法及装置 |
CN104618680B (zh) * | 2015-01-21 | 2017-09-05 | 北京瀚景锦河科技有限公司 | 一种视频分辨率的压缩方法 |
CN111010568B (zh) | 2018-10-06 | 2023-09-29 | 华为技术有限公司 | 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101043621A (zh) * | 2006-06-05 | 2007-09-26 | 华为技术有限公司 | 一种自适应插值处理方法及编解码模块 |
CN101198063A (zh) * | 2006-12-05 | 2008-06-11 | 华为技术有限公司 | 编解码方法及装置、分像素插值处理方法及装置 |
-
2009
- 2009-07-27 CN CN 200910089874 patent/CN101616325B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101043621A (zh) * | 2006-06-05 | 2007-09-26 | 华为技术有限公司 | 一种自适应插值处理方法及编解码模块 |
CN101198063A (zh) * | 2006-12-05 | 2008-06-11 | 华为技术有限公司 | 编解码方法及装置、分像素插值处理方法及装置 |
Non-Patent Citations (6)
Title |
---|
Rusanovskyy D, Ugur K, Lainema J, et al..Video coding with pixel-aligned directional adaptive interpolation filters.《IEEE International Symposium on Circuits and Systems》.2008,第1页最后一段至第3页倒数第2段. |
Rusanovskyy D, Ugur K, Lainema J, et al..Video coding with pixel-aligned directional adaptive interpolation filters.《IEEE International Symposium on Circuits and Systems》.2008,第1页最后一段至第3页倒数第2段. * |
Wittmann S, Wedi T.Separable Adaptive Interpolation Filter for Video Coding..《Proc.of IEEE International Conference on Image Processing》.2008,全文. |
Wittmann S, Wedi T.Separable Adaptive Interpolation Filter for Video Coding..《Proc.of IEEE International Conference on Image Processing》.2008,全文. * |
唐玎.面向图像配准的亚像素运动估计算法研究.《CNKI硕士学位论文全文数据库》.2008,全文. * |
王荣刚.分像素运动补偿优化技术研究.《CNKI博士学位论文全文数据库》.2005,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN101616325A (zh) | 2009-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113709455B (zh) | 一种使用Transformer的多层次图像压缩方法 | |
Wu et al. | Learned block-based hybrid image compression | |
CN102137263B (zh) | 基于cnm关键帧分类的分布式视频编码及解码方法 | |
CN111901596B (zh) | 基于深度学习的视频混合编码与解码方法及装置、介质 | |
CN111009018A (zh) | 基于深度神经网络的图像降维和重建方法 | |
CN100399357C (zh) | 用于视频压缩的基于超完备基变换的运动残余帧编码方法和装置 | |
EP2168382B1 (en) | Method for processing images and the corresponding electronic device | |
CN110248190B (zh) | 一种基于压缩感知的多层残差系数图像编码方法 | |
CN106170093A (zh) | 一种帧内预测性能提升编码方法 | |
CN107820085A (zh) | 一种基于深度学习的提高视频压缩编码效率的方法 | |
CN114501013A (zh) | 一种可变码率视频压缩方法、系统、装置及存储介质 | |
CN103716623A (zh) | 基于加权量化的视频压缩编解码方法及编解码器 | |
CN101616325B (zh) | 一种视频编码中自适应插值滤波计算的方法 | |
CN115914654A (zh) | 一种用于视频编码的神经网络环路滤波方法及装置 | |
CN116437089B (zh) | 一种基于关键目标的深度视频压缩方法 | |
CN108810549B (zh) | 一种面向低功耗的流媒体播放方法 | |
CN109151476A (zh) | 一种基于双向预测的b帧图像的参考帧生成方法及装置 | |
CN103634608B (zh) | 一种高性能视频编码无损模式的残差变换方法 | |
Liu et al. | Neural video compression using spatio-temporal priors | |
KR20240160613A (ko) | 시각 데이터를 처리하는 방법, 장치 및 매체 | |
Klopp et al. | Utilising low complexity cnns to lift non-local redundancies in video coding | |
CN104363454B (zh) | 一种高码率图像的视频编、解码方法及系统 | |
US20240244237A1 (en) | Hybrid inter-frame coding using an autoregressive model | |
JP2008502261A (ja) | 圧縮コーディングおよび電力消費量を含む費用関数を使用して画像をメモリに格納する方法 | |
CN116171577A (zh) | 深度预测修正 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110511 |
|
CF01 | Termination of patent right due to non-payment of annual fee |