CN105812818B - 基于改进列文伯格麦夸特优化的弹性运动估计方法 - Google Patents
基于改进列文伯格麦夸特优化的弹性运动估计方法 Download PDFInfo
- Publication number
- CN105812818B CN105812818B CN201610165961.7A CN201610165961A CN105812818B CN 105812818 B CN105812818 B CN 105812818B CN 201610165961 A CN201610165961 A CN 201610165961A CN 105812818 B CN105812818 B CN 105812818B
- Authority
- CN
- China
- Prior art keywords
- pixel
- current
- motion
- macro block
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005457 optimization Methods 0.000 title claims abstract description 11
- 241000209140 Triticum Species 0.000 title abstract 4
- 235000021307 Triticum Nutrition 0.000 title abstract 4
- 235000015220 hamburgers Nutrition 0.000 title abstract 4
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 abstract description 3
- 238000007906 compression Methods 0.000 abstract description 3
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000006467 substitution reaction Methods 0.000 abstract 1
- 238000013519 translation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开一种基于改进列文伯格麦夸特优化的弹性运动估计方法,属于视频编码压缩领域,是针对传统高斯—牛顿算法求解弹性运动模型过程中需反复计算参考帧的黑塞矩阵(Hessian Matrix)及其逆矩阵的不足,借鉴列文伯格麦夸特(Levenberg‑Marquardt)算法的思想,采用当前帧的黑塞矩阵取代参考帧的黑塞矩阵,并用高斯—牛顿黑塞矩阵取代传统列文伯格麦夸特优化算法的混合黑塞矩阵,使得每次运动估计仅需计算一次黑塞矩阵及其逆矩阵,同时引入提前中止策略,从而达到了降低弹性运动估计计算复杂度的目的。
Description
技术领域
本发明涉及视频编码压缩领域,尤其是一种运算速度快、运动补偿质量高的、基于改进列文伯格麦夸特优化的弹性运动估计方法。
背景技术
自第一代视频编码标准发展至今,虽然压缩效率不断提高,可是视频编码技术的基本框架至今未发生本质改变,始终是以分块为单位的差分预测+变换的闭环混合结构。在这个框架下,运动估计是一种有效的时间维差分预测技术,被广泛应用于H.261/2/3、MPEG-1/2/4、H.264/AVC和AVS等视频编码标准中,而且多年来视频编码效率的大部分提升均是由于其采用了更为优秀的运动估计算法。然而,运动估计环节所消耗的计算资源往往占编码器全部资源的50%以上,甚至可达80%。因此,运动估计算法的效率是影响视频编码性能的关键技术之一。
运动估计问题实际上一种匹配问题,其目标是根据当前帧中的像素点或者宏块,在参考帧中找到与之相对应的最佳匹配点或者匹配块。虽然平移运动模型在视频编码标准中获得了广泛应用,但是平移模型无法有效预测由物体的旋转、缩放、变形和摄像机运动产生的非刚性复合运动。于是,H.264/AVC和H.265/HEVC等编码标准不得不采用可变尺寸块结构来逼近复杂运动场,最小可以支持4×4像素的块运动估计。而随着块尺寸的减小,用于编码运动矢量的码流开销和各种软硬件计算开销也逐渐增加。有研究结论指出,当块尺寸减小至4×4像素时,软硬件开销的增加幅度已经超过其率失真性能的提升幅度,这说明仅仅依靠传统块平移模型来实现时间维预测的视频编码方法愈来愈无法很好地满足视频快速发展的需求。同时,基于块平移模型的运动估计通常不能获得平滑、连续的运动场,往往出现块效应,尤其是在低码率下,影响解码视频的主观质量。在这种情况下,2010年以来有研究人员提出了一种弹性(Elastic)运动估计模型,它可有效克服块平移模型的不足,最初主要广泛用于医学图像、物体追踪、图像稳定和运动分析等应用当中。一方面,现有实验结果表明,在相同码率下基于弹性运动估计的解码视频的峰值信噪比较之块匹配运动估计高0.7dB,若将弹性运动估计引进到H.265中,在图像失真度损失约l%的情况下,弹性运动模型可将H.265的码率降低3~12%。另一方面,弹性运动模型的高斯—牛顿算法每次迭代均需计算偏导数、黑塞矩阵、逆矩阵、矩阵乘法、双线性插值和运动补偿误差,其计算复杂度甚至高于块平移模型的全搜索,仍未解决运动估计的计算效率难题。
发明内容
本发明是为了解决现有技术所存在的上述技术问题,提供一种运算速度快、运动补偿质量高的基于改进列文伯格麦夸特优化的弹性运动估计方法。
本发明的技术解决方案是:一种供基于改进列文伯格麦夸特优化的弹性运动估计方法,其特征在于按照如下步骤进行:
步骤1. 若当前GOP的所有宏块都已处理完毕,则算法结束;否则,选取当前GOP中未处理过的一个宏块作为当前宏块,设其大小为像素,、表示当前宏块中某个像素的横、纵坐标,表示像素值, ,;
步骤1.1 初始化当前宏块的弹性运动模型:
其中,表示像素的弹性运动向量,为运动向量的分量个数,表示的第个分量,为基函数,定义由公式给出:
其中,,,;
步骤1.2 将弹性运动向量的所有分量置0, ;
步骤1.3 利用基于模糊量化和2 bit深度像素的运动估计方法计算当前宏块的平移运动分量和,搜索步长设置为4个像素;
步骤1.4 将迭代计数器初始化为1;
步骤2. 预处理当前GOP的当前宏块与参考宏块;
步骤2.1 初始化δ=0.01;
步骤2.2 根据弹性运动向量和公式、,为当前宏块中的每个像素计算其在参考帧中的匹配像素,并利用双线性插值计算该匹配像素的值,表示参考帧中位于坐标“”处的像素值;
步骤2.3 计算运动补偿误差;
步骤2.4 计算当前宏块的像素值梯度;
步骤2.5 计算雅克比矩阵;
步骤2.6 计算最速下降方向;
步骤2.7 计算高斯—牛顿海塞矩阵;
步骤3. 计算;
步骤4. 根据公式、计算改进的列文伯格麦夸特矩阵和运动向量增量:
步骤5. 更新弹性运动参数,并将其代入公式和公式,建立当前宏块中每个像素与参考帧中匹配像素的坐标映射,进而利用双线性插值计算匹配像素的值得到运动补偿误差;
步骤6. 如果本次迭代的补偿误差大于前一次迭代的补偿误差,则对步骤5进行逆操作,当前宏块处理完毕,转入步骤1;否则,令,如果此时,所述为预设的迭代次数阈值,转入步骤5;若,表明当前宏块处理完毕,转入步骤1。
与现有的技术相比,本发明从三个方面降低弹性运动估计的计算复杂度:首先,采用当前帧图像的偏导数和黑塞矩阵替代参考帧图像的偏导数和黑塞矩阵,避免了传统高斯—牛顿优化算法中偏导数和黑塞矩阵的重复计算;其次,用高斯—牛顿黑塞矩阵取代传统列文伯格麦夸特优化算法的混合黑塞矩阵;最后,引进提前中止策略,在迭代过程中当补偿误差出现不降反增的现象时便停止迭代。因此,本发明具有运算速度快、运动补偿质量高等优点。
具体实施方式
一种供基于改进列文伯格麦夸特优化的弹性运动估计方法,其特征在于按照如下步骤进行:
步骤1. 若当前GOP(Group of Pictures)的所有宏块都已处理完毕,则算法结束;否则,选取当前GOP中未处理过的一个宏块作为当前宏块,设其大小为像素,、(,)表示当前宏块中某个像素的横、纵坐标,表示像素值;
步骤1.1 初始化当前宏块的弹性运动模型:
其中,表示像素的弹性运动向量,为运动向量的分量个数,表示的第个分量,为基函数,定义由公式给出:
其中,,,;
步骤1.2 将弹性运动向量的所有分量()置0;
步骤1.3 利用基于模糊量化和2 bit深度像素的运动估计方法计算当前宏块的平移运动分量和,搜索步长设置为4个像素(即任意两个相邻的候选平移向量的距离最近为4个像素);
步骤1.4 将迭代计数器初始化为1;
步骤2. 预处理当前GOP的当前宏块与参考宏块;
步骤2.1 初始化δ=0.01;
步骤2.2 根据弹性运动向量和公式、,为当前宏块中的每个像素计算其在参考帧中的匹配像素,并利用双线性插值计算该匹配像素的值,表示参考帧中位于坐标“”处的像素值;
步骤2.3 计算运动补偿误差;
步骤2.4 计算当前宏块的像素值梯度;
步骤2.5 计算雅克比矩阵;
步骤2.6 计算最速下降方向;
步骤2.7 计算高斯—牛顿海塞矩阵;
步骤3. 计算;
步骤4. 根据公式、计算改进的列文伯格麦夸特矩阵和运动向量增量:
步骤5. 更新弹性运动参数,并将其代入公式和公式,建立当前宏块中每个像素与参考帧中匹配像素的坐标映射,进而利用双线性插值计算匹配像素的值得到运动补偿误差;
步骤6. 如果本次迭代的补偿误差大于前一次迭代的补偿误差,则对步骤5进行逆操作,当前宏块处理完毕,转入步骤1;否则,令,如果此时(表示预设的迭代次数阈值,本发明实施例取),转入步骤5;若,表明当前宏块处理完毕,转入步骤1。
不同视频测试序列采用本发明及不同运动估计方法得到的运动补偿PSNR结果如表1。
表1
三种运动估计方法的计算量比较(以块平移模型的全搜索方法的计算量为参考值)如表2。
表2
运动估计方法 | 块平移模型的全搜索方法 | 基于高斯—牛顿方法的弹性运动模型 | 本专利的弹性运动估计方法 |
参考计算量 | 1 | 1.26 | 0.35 |
Claims (1)
1.一种基于改进列文伯格麦夸特优化的弹性运动估计方法,其特征在于按如下步骤进行:
步骤1. 若当前GOP的所有宏块都已处理完毕,则算法结束;否则,选取当前GOP中未处理过的一个宏块作为当前宏块,设其大小为像素,、表示当前宏块中某个像素的横、纵坐标,表示像素值, ,;
步骤1.1 初始化当前宏块的弹性运动模型:
其中,表示像素的弹性运动向量,为运动向量的分量个数,表示的第个分量,为基函数,定义由公式给出:
其中,,,;
步骤1.2 将弹性运动向量的所有分量置0, ;
步骤1.3 利用基于模糊量化和2 bit深度像素的运动估计方法计算当前宏块的平移运动分量和,搜索步长设置为4个像素;
步骤1.4 将迭代计数器初始化为1;
步骤2. 预处理当前GOP的当前宏块与参考宏块;
步骤2.1 初始化δ=0.01;
步骤2.2 根据弹性运动向量和公式、,为当前宏块中的每个像素计算其在参考帧中的匹配像素,并利用双线性插值计算该匹配像素的值,表示参考帧中位于坐标“”处的像素值;
步骤2.3 计算运动补偿误差;
步骤2.4 计算当前宏块的像素值梯度;
步骤2.5 计算雅克比矩阵;
步骤2.6 计算最速下降方向;
步骤2.7 计算高斯—牛顿海塞矩阵;
步骤3. 计算;
步骤4. 根据公式、计算改进的列文伯格麦夸特矩阵和运动向量增量:
步骤5. 更新弹性运动参数,并将其代入公式和公式,建立当前宏块中每个像素与参考帧中匹配像素的坐标映射,进而利用双线性插值计算匹配像素的值得到运动补偿误差;
步骤6. 如果本次迭代的补偿误差大于前一次迭代的补偿误差,则对步骤5进行逆操作,当前宏块处理完毕,转入步骤1;否则,令,如果此时,所述为预设的迭代次数阈值,转入步骤5;若,表明当前宏块处理完毕,转入步骤1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610165961.7A CN105812818B (zh) | 2016-03-22 | 2016-03-22 | 基于改进列文伯格麦夸特优化的弹性运动估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610165961.7A CN105812818B (zh) | 2016-03-22 | 2016-03-22 | 基于改进列文伯格麦夸特优化的弹性运动估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105812818A CN105812818A (zh) | 2016-07-27 |
CN105812818B true CN105812818B (zh) | 2018-11-06 |
Family
ID=56453646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610165961.7A Expired - Fee Related CN105812818B (zh) | 2016-03-22 | 2016-03-22 | 基于改进列文伯格麦夸特优化的弹性运动估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105812818B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108111861B (zh) * | 2017-12-25 | 2021-06-11 | 辽宁师范大学 | 基于2bit深度像素的视频弹性运动估计方法 |
CN110740331B (zh) * | 2019-08-05 | 2023-01-31 | 辽宁师范大学 | 基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法 |
CN112507927A (zh) * | 2020-12-16 | 2021-03-16 | 罗普特科技集团股份有限公司 | 一种板书内容自动生成方法和装置 |
CN112991445B (zh) * | 2021-03-03 | 2023-10-24 | 网易(杭州)网络有限公司 | 模型训练方法、姿态预测方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055978A (zh) * | 2010-12-28 | 2011-05-11 | 深圳市融创天下科技发展有限公司 | 帧运动补偿编码、解码方法、装置 |
CN104683812A (zh) * | 2013-11-27 | 2015-06-03 | 财团法人工业技术研究院 | 用于移动估计的视频预处理方法与装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9313495B2 (en) * | 2012-05-14 | 2016-04-12 | Luca Rossato | Encoding and decoding based on blending of sequences of samples along time |
-
2016
- 2016-03-22 CN CN201610165961.7A patent/CN105812818B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055978A (zh) * | 2010-12-28 | 2011-05-11 | 深圳市融创天下科技发展有限公司 | 帧运动补偿编码、解码方法、装置 |
CN104683812A (zh) * | 2013-11-27 | 2015-06-03 | 财团法人工业技术研究院 | 用于移动估计的视频预处理方法与装置 |
Non-Patent Citations (1)
Title |
---|
基于模糊量化和2bit深度像素的运动估计算法;宋传鸣;《通信学报》;20130731;第34卷(第7期);第59-70页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105812818A (zh) | 2016-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105812818B (zh) | 基于改进列文伯格麦夸特优化的弹性运动估计方法 | |
US8705611B2 (en) | Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program | |
US20080031325A1 (en) | Mesh-based video compression with domain transformation | |
CN101394566B (zh) | 一种十字菱形运动估计搜索方法 | |
CN109640097B (zh) | 自适应因子的视频仿射运动估计方法 | |
CN106170093B (zh) | 一种帧内预测性能提升编码方法 | |
CN103384326A (zh) | 一种avs-m视频编码快速帧内预测模式选择方法 | |
CN110519591B (zh) | 一种基于多用途编码中帧内编码的预测模式快速选择方法 | |
KR20030064162A (ko) | 움직임 벡터 영역의 적응적 결정 방법 | |
CN102291582A (zh) | 一种基于运动补偿精化的分布式视频编码方法 | |
CN101895739B (zh) | 基于块统计特性的编码方法 | |
CN109120940B (zh) | 自适应因子的视频缩放运动估计方法 | |
CN108810549B (zh) | 一种面向低功耗的流媒体播放方法 | |
CN108111861B (zh) | 基于2bit深度像素的视频弹性运动估计方法 | |
CN105611299B (zh) | 一种基于hevc的运动估计方法 | |
CN110740331B (zh) | 基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法 | |
CN104185025B (zh) | 一种高效视频编码全零4×4系数块提前检测方法 | |
CN113518224A (zh) | 基于双向迭代优化及自适应融合的弹性运动估计方法 | |
CN105744269B (zh) | 一种基于下采样和亚像素运动估计的转码方法 | |
CN113518225B (zh) | 6次多项式拟合匹配误差曲面的快速缩放运动估计方法 | |
CN112437305B (zh) | 宏块类型的判定方法、装置、图像处理芯片和电子设备 | |
KR101324352B1 (ko) | 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법 | |
KR20080017136A (ko) | H.264 부호화를 위한 고속 모드 결정 방법 | |
Yeh et al. | A new intra prediction with adaptive template matching through finite state machine | |
Peng et al. | Linear Regression Mode of Intra Prediction for Screen Content Coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181106 Termination date: 20210322 |