CN109640097B - 自适应因子的视频仿射运动估计方法 - Google Patents

自适应因子的视频仿射运动估计方法 Download PDF

Info

Publication number
CN109640097B
CN109640097B CN201811494317.XA CN201811494317A CN109640097B CN 109640097 B CN109640097 B CN 109640097B CN 201811494317 A CN201811494317 A CN 201811494317A CN 109640097 B CN109640097 B CN 109640097B
Authority
CN
China
Prior art keywords
formula
calculating
prediction error
motion vector
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811494317.XA
Other languages
English (en)
Other versions
CN109640097A (zh
Inventor
宋传鸣
闫小红
葛明博
王相海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN201811494317.XA priority Critical patent/CN109640097B/zh
Publication of CN109640097A publication Critical patent/CN109640097A/zh
Application granted granted Critical
Publication of CN109640097B publication Critical patent/CN109640097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种自适应因子的视频仿射运动估计方法，采用平移运动矢量所对应的线性加权预测误差和参考帧的2D加权自相关来判别当前待预测宏块的缩放因子；其次，保持缩放因子不变，将仿射运动补偿误差表示为关于旋转角度的二次函数，通过Vieta定理计算出仿射运动下的自适应旋转角度，进而获得当前待预测宏块的仿射运动向量。本发明避免了传统仿射运动估计方法的“暴力”参数搜索或迭代求解，可直接计算得到最优缩放因子和旋转角度，显著减少了仿射运动估计/补偿过程的亚像素插值操作次数，从而在保证实时性的同时，提高传统块匹配运动估计方法的补偿质量。

Description

自适应因子的视频仿射运动估计方法
技术领域
本发明涉及视频编码压缩领域，尤其是一种运算速度快、运动补偿质量高且能有效预测视频中存在的仿射运动的自适应因子的视频仿射运动估计方法。
背景技术
运动估计是一种有效的时间维预测技术，而且多年来视频编码效率的大部分提升均是由于其采用了更为优秀的运动估计算法。然而，运动估计环节所消耗的计算资源往往占编码器全部资源的50%以上，甚至可达80%。为了在复杂度和预测精度之间达到较好的折中，现有视频编码标准普遍采用基于平移模型的块匹配运动估计算法，并陆续提出了多种快速块匹配策略，如基于候选向量下采样的策略、基于像素下采样的策略、基于低复杂度匹配函数的策略、基于低比特深度像素的策略等。但是，平移模型无法有效预测由物体的旋转、缩放、变形和摄像机运动产生的非刚性复合运动。同时，基于块平移模型的运动估计通常不能获得平滑、连续的运动场，往往出现块效应，尤其是在低码率下，影响解码视频的主观质量。在这种情况下，一些研究人员多年来尝试将高阶运动模型引入到运动估计/补偿中来弥补平移运动模型的不足，出现了基于网格模型的运动估计、基于仿射模型的运动估计（如4-参数缩放模型、4-参数混合缩放和旋转模型、6-参数仿射模型、8-参数透视或双线性模型、12-参数投影变换模型）和基于弹性模型的运动估计等。
基于4-参数混合缩放和旋转模型的运动估计是Li等人在2018年提出的一种视频运动估计方法，它将缩放因子与旋转因子统一表示为一个混合因子，可预测由于摄像机与前景物体的相对平移运动和摄像机的推摄、拉摄、摇摄所产生的视频缩放、旋转运动。由平面仿射变换的性质可知，平移、缩放和刚性旋转是平面仿射坐标系下的基本运动形式，并且通过三者的组合可以表示任意的复杂仿射运动。与6-参数仿射模型相比，该4-参数模型的同步信息量减少了33%，收敛性更稳定，计算复杂度也更低。同时，通过在30个标准测试视频序列上进行实验统计，发现有60%以上的宏块能够利用亚像素精度的混合缩放和旋转模型取得较之块平移模型更高的运动补偿质量；高清视频发生缩放运动的平均比例高于标清视频，屏幕内容视频发生旋转运动的平均比例高于自然视频。可见，缩放运动和旋转运动是视频中普遍存在的一种运动形式，而且无法利用基于平移模型的传统块匹配实现准确预测和补偿。故此，若在视频运动估计中引入混合缩放和旋转模型，则可望有效提高其预测精度。
为了获得每个宏块的仿射运动参数，典型方法是在一定尺寸的搜索窗口内以“暴力”搜索的方式计算出2个控制点的最优运动矢量组合，再将所得结果与宏块中各像素的坐标一起，代入4-参数混合缩放和旋转模型即可得到任意像素的预测，但是其运算复杂度是搜索窗口尺寸的4次幂。为此，Huang等人借鉴贪心算法思路，在固定第1个控制点的同时，优化求解第2个控制点的运动矢量，再在固定第2个控制点的情况下计算第1个控制点的运动矢量，如此交替迭代下去，就能以平方阶的计算复杂度得到近似最优解。为进一步降低运动估计的计算量，Li等人提出一种基于梯度的快速仿射运动估计方法，其基本思路是采用Sobel算子计算参考帧的像素梯度，再迭代求解一个以像素坐标和匹配误差为自变量的线性方程组。若运动矢量的增量在某次迭代后小于某预设阈值，即可停止迭代，将结果作为当前宏块的仿射运动矢量。实验表明，该方法一般只需6~8次迭代就能收敛到局部最优解。然而，上述三种方法的求解过程均涉及大量亚像素精度的插值运算，其计算复杂度甚至远高于块平移模型的全搜索，无法实现实时的运动估计/补偿，在很大程度上限制了其实用性。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种运算速度快、运动补偿质量高的自适应因子的视频仿射运动估计方法。
本发明的技术解决方案是：一种自适应因子的视频仿射运动估计方法，其特征在于按照如下步骤进行：
步骤1. 若当前图像组(Group of Picture, GOP)的所有帧都已处理完毕，则算法结束；否则，选取当前GOP中未处理过的一帧作为当前帧
Figure DEST_PATH_IMAGE001
，并将其前一帧作为参考帧
Figure 235444DEST_PATH_IMAGE002
；
步骤2. 若当前帧
Figure 332713DEST_PATH_IMAGE001
的所有宏块均已处理完毕，则转入步骤1；否则，选取当前帧的一个未处理宏块
Figure DEST_PATH_IMAGE003
作为当前宏块，设其大小为
Figure 696698DEST_PATH_IMAGE004
像素，
Figure DEST_PATH_IMAGE005
、
Figure 667059DEST_PATH_IMAGE006
表示当前宏块左上角像素的横、纵坐标，
Figure DEST_PATH_IMAGE007
为一个预设常数；
步骤3. 根据公式(1)的定义，利用菱形搜索方法在大小为
Figure 601648DEST_PATH_IMAGE008
像素的窗口中，计算当前宏块
Figure 502608DEST_PATH_IMAGE003
的平移运动矢量
Figure DEST_PATH_IMAGE009
及其对应的预测误差
Figure 986679DEST_PATH_IMAGE010
：
Figure DEST_PATH_IMAGE011
(1)
所述
Figure 599713DEST_PATH_IMAGE012
表示当前帧
Figure 270865DEST_PATH_IMAGE001
中坐标为
Figure DEST_PATH_IMAGE013
处的像素值，
Figure 522986DEST_PATH_IMAGE014
表示参考帧
Figure 799247DEST_PATH_IMAGE002
中坐标为
Figure DEST_PATH_IMAGE015
处的像素值，
Figure 580252DEST_PATH_IMAGE016
为一个预设常数；
步骤4. 根据公式(2)的定义，计算运动矢量
Figure 207543DEST_PATH_IMAGE009
所对应的线性加权预测误差
Figure DEST_PATH_IMAGE017
：
Figure 997775DEST_PATH_IMAGE018
(2)
步骤5. 根据公式(3)的定义，计算运动矢量
Figure DEST_PATH_IMAGE019
所对应的线性加权预测误差
Figure 925280DEST_PATH_IMAGE020
：
Figure DEST_PATH_IMAGE021
(3)
所述
Figure 608678DEST_PATH_IMAGE022
表示参考帧
Figure 723264DEST_PATH_IMAGE002
中坐标为
Figure DEST_PATH_IMAGE023
处的像素值；
步骤6. 根据公式(4)和公式(5)的定义，计算最佳平移匹配块的2D加权自相关
Figure 566455DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
：
Figure 99199DEST_PATH_IMAGE026
(4)
Figure DEST_PATH_IMAGE027
(5)
步骤7. 根据公式(6)的定义，计算当前宏块缩小时的最优缩放因子
Figure 674537DEST_PATH_IMAGE028
：
Figure DEST_PATH_IMAGE029
(6)
步骤8. 根据公式(7)的定义，计算当前宏块放大时的最优缩放因子
Figure 558310DEST_PATH_IMAGE030
：
Figure DEST_PATH_IMAGE031
(7)
步骤9. 根据公式(8)的定义，计算当前宏块在缩放运动矢量
Figure 939613DEST_PATH_IMAGE032
下的预测误差
Figure DEST_PATH_IMAGE033
：
Figure 44972DEST_PATH_IMAGE034
(8)
所述
Figure DEST_PATH_IMAGE035
为参考帧
Figure 338682DEST_PATH_IMAGE002
中坐标
Figure 693440DEST_PATH_IMAGE036
处的像素值；
步骤10. 根据公式(9)的定义，计算当前宏块在缩放运动矢量
Figure DEST_PATH_IMAGE037
下的预测误差
Figure 112656DEST_PATH_IMAGE038
：
Figure DEST_PATH_IMAGE039
(9)
所述
Figure 72521DEST_PATH_IMAGE040
为参考帧
Figure 520820DEST_PATH_IMAGE002
中坐标
Figure DEST_PATH_IMAGE041
处的像素值；
步骤11. 根据公式(10)的定义，计算运动矢量
Figure 379186DEST_PATH_IMAGE009
所对应的非线性加权预测误差
Figure 305554DEST_PATH_IMAGE042
：
Figure DEST_PATH_IMAGE043
(10)
步骤12. 根据公式(11)的定义，计算运动矢量
Figure 182243DEST_PATH_IMAGE044
所对应的非线性加权预测误差
Figure DEST_PATH_IMAGE045
：
Figure 21017DEST_PATH_IMAGE046
(11)
步骤13. 根据公式(12)和公式(13)的定义，计算最佳平移匹配块的2D加权自相关
Figure DEST_PATH_IMAGE047
、
Figure 615946DEST_PATH_IMAGE048
：
Figure DEST_PATH_IMAGE049
(12)
Figure 627896DEST_PATH_IMAGE050
(13)
步骤14. 根据公式(14)的定义，计算当前宏块在缩小情况下的最佳旋转角度的余弦
Figure DEST_PATH_IMAGE051
：
Figure 562354DEST_PATH_IMAGE052
(14)
并据此计算该最佳旋转角度的正弦：
Figure DEST_PATH_IMAGE053
；
步骤15. 根据公式(15)的定义，计算当前宏块在放大情况下的最佳旋转角度的余弦
Figure 883614DEST_PATH_IMAGE054
：
Figure DEST_PATH_IMAGE055
(15)
并据此计算该最佳旋转角度的正弦：
Figure 448063DEST_PATH_IMAGE056
；
步骤16. 令
Figure DEST_PATH_IMAGE057
，
Figure 450654DEST_PATH_IMAGE058
，根据公式(16)的定义，计算当前宏块在仿射运动矢量
Figure DEST_PATH_IMAGE059
下的预测误差
Figure 787088DEST_PATH_IMAGE060
：
Figure DEST_PATH_IMAGE061
(16)
所述
Figure 544829DEST_PATH_IMAGE062
为参考帧
Figure 317613DEST_PATH_IMAGE002
中坐标
Figure DEST_PATH_IMAGE063
处的像素值；
步骤17. 令
Figure 609048DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE065
，根据公式(17)的定义，计算当前宏块在仿射运动矢量
Figure 580415DEST_PATH_IMAGE066
下的预测误差
Figure DEST_PATH_IMAGE067
：
Figure 728631DEST_PATH_IMAGE068
(17)
所述
Figure DEST_PATH_IMAGE069
为参考帧
Figure 723131DEST_PATH_IMAGE002
中坐标
Figure 333104DEST_PATH_IMAGE070
处的像素值；
步骤18. 比较
Figure 627819DEST_PATH_IMAGE010
、
Figure 684287DEST_PATH_IMAGE033
、
Figure 166084DEST_PATH_IMAGE038
、
Figure 783010DEST_PATH_IMAGE060
和
Figure 666652DEST_PATH_IMAGE067
，并令
Figure DEST_PATH_IMAGE071
，所述
Figure 687829DEST_PATH_IMAGE072
表示取最小值函数；
步骤18.1 若
Figure DEST_PATH_IMAGE073
，则当前宏块只发生了平移运动，输出平移运动矢量
Figure 188081DEST_PATH_IMAGE009
及其预测误差
Figure 139856DEST_PATH_IMAGE010
，转入步骤2；
步骤18.2 若
Figure 346847DEST_PATH_IMAGE074
，则当前宏块发生了平移和缩小运动，输出运动矢量
Figure 742187DEST_PATH_IMAGE032
及其预测误差
Figure 198576DEST_PATH_IMAGE033
，转入步骤2；
步骤18.3 若
Figure DEST_PATH_IMAGE075
，则当前宏块发生了平移和放大运动，输出运动矢量
Figure 750780DEST_PATH_IMAGE037
及其预测误差
Figure 94168DEST_PATH_IMAGE038
，转入步骤2；
步骤18.4 若
Figure 112939DEST_PATH_IMAGE076
，则当前宏块发生了仿射运动，输出运动矢量
Figure 56625DEST_PATH_IMAGE059
及其预测误差
Figure 615782DEST_PATH_IMAGE060
，转入步骤2；
步骤18.5 否则，输出运动矢量
Figure 594102DEST_PATH_IMAGE066
及其预测误差
Figure 62736DEST_PATH_IMAGE067
，转入步骤2。
与现有的技术相比，本发明从三个方面提高了运动估计的效率：首先，采用平移运动矢量所对应的线性加权预测误差，以及参考帧的2D加权自相关来判别待预测的当前宏块的缩放因子，进而将预测误差建模为关于旋转角度的一元2次函数，并通过Vieta定理计算出仿射运动下的自适应旋转角度，避免了传统仿射运动估计方法的“暴力”搜索或迭代求解；其次，传统“暴力”搜索或迭代求解过程中需要大量亚像素精度的插值操作，以6~8次迭代为例，就需要6~8轮亚像素插值，而本发明可直接计算得到最优缩放比例和旋转角度，其参数预测过程不需要亚像素插值操作，从而可显著加快运动估计速度，降低计算复杂度；最后，与目前视频编码器广泛采用的基于块平移模型的快速运动估计方法相比，本发明通过引进自适应的缩放因子和旋转因子，可预测由物体旋转、缩放、变形和摄像机运动产生的非刚性仿射运动，有效提高视频运动补偿的质量。因此，本发明具有运算速度快、运动补偿质量高、仿射因子自适应等优点。
具体实施方式
本发明的自适应因子的视频仿射运动估计方法，其特征在于按照如下步骤进行：
步骤1. 若当前图像组(Group of Picture, GOP)的所有帧都已处理完毕，则算法结束；否则，选取当前GOP中未处理过的一帧作为当前帧
Figure 493718DEST_PATH_IMAGE001
，并将其前一帧作为参考帧
Figure 794249DEST_PATH_IMAGE002
；
步骤2. 若当前帧
Figure 627076DEST_PATH_IMAGE001
的所有宏块均已处理完毕，则转入步骤1；否则，选取当前帧的一个未处理宏块
Figure 518808DEST_PATH_IMAGE003
作为当前宏块，设其大小为
Figure 453398DEST_PATH_IMAGE004
像素，
Figure 354357DEST_PATH_IMAGE005
、
Figure 776112DEST_PATH_IMAGE006
表示当前宏块左上角像素的横、纵坐标，
Figure 104325DEST_PATH_IMAGE007
为一个预设常数，在本实施例中，令
Figure DEST_PATH_IMAGE077
；
步骤3. 根据公式(1)的定义，利用菱形搜索方法在大小为
Figure 729472DEST_PATH_IMAGE008
像素的窗口中，计算当前宏块
Figure 434123DEST_PATH_IMAGE003
的平移运动矢量
Figure 241542DEST_PATH_IMAGE009
及其对应的预测误差
Figure 740656DEST_PATH_IMAGE010
：
Figure 118679DEST_PATH_IMAGE011
(1)
所述
Figure 564704DEST_PATH_IMAGE012
表示当前帧
Figure 961050DEST_PATH_IMAGE001
中坐标为
Figure 631066DEST_PATH_IMAGE013
处的像素值，
Figure 11232DEST_PATH_IMAGE014
表示参考帧
Figure 534050DEST_PATH_IMAGE002
中坐标为
Figure 50481DEST_PATH_IMAGE015
处的像素值，
Figure 94661DEST_PATH_IMAGE016
为一个预设常数，在本实施例中，令
Figure 696544DEST_PATH_IMAGE016
=33；
步骤4. 根据公式(2)的定义，计算运动矢量
Figure 281109DEST_PATH_IMAGE009
所对应的线性加权预测误差
Figure 933938DEST_PATH_IMAGE017
：
Figure 945756DEST_PATH_IMAGE018
(2)
步骤5. 根据公式(3)的定义，计算运动矢量
Figure 34935DEST_PATH_IMAGE019
所对应的线性加权预测误差
Figure 173923DEST_PATH_IMAGE020
：
Figure 399368DEST_PATH_IMAGE021
(3)
所述
Figure 785350DEST_PATH_IMAGE022
表示参考帧
Figure 361825DEST_PATH_IMAGE002
中坐标为
Figure 288193DEST_PATH_IMAGE023
处的像素值；
步骤6. 根据公式(4)和公式(5)的定义，计算最佳平移匹配块的2D加权自相关
Figure 384456DEST_PATH_IMAGE024
、
Figure 3656DEST_PATH_IMAGE025
：
Figure 801848DEST_PATH_IMAGE026
(4)
Figure 735169DEST_PATH_IMAGE027
(5)
步骤7. 根据公式(6)的定义，计算当前宏块缩小时的最优缩放因子
Figure 669627DEST_PATH_IMAGE028
：
Figure 207531DEST_PATH_IMAGE029
(6)
步骤8. 根据公式(7)的定义，计算当前宏块放大时的最优缩放因子
Figure 493019DEST_PATH_IMAGE030
：
Figure 761189DEST_PATH_IMAGE031
(7)
步骤9. 根据公式(8)的定义，计算当前宏块在缩放运动矢量
Figure 81312DEST_PATH_IMAGE032
下的预测误差
Figure 793047DEST_PATH_IMAGE033
：
Figure 300252DEST_PATH_IMAGE034
(8)
所述
Figure 372113DEST_PATH_IMAGE035
为参考帧
Figure 750005DEST_PATH_IMAGE002
中坐标
Figure 616330DEST_PATH_IMAGE036
处的像素值；
步骤10. 根据公式(9)的定义，计算当前宏块在缩放运动矢量
Figure 892721DEST_PATH_IMAGE037
下的预测误差
Figure 502694DEST_PATH_IMAGE038
：
Figure 531830DEST_PATH_IMAGE039
(9)
所述
Figure 569056DEST_PATH_IMAGE040
为参考帧
Figure 67165DEST_PATH_IMAGE002
中坐标
Figure 684091DEST_PATH_IMAGE041
处的像素值；
步骤11. 根据公式(10)的定义，计算运动矢量
Figure 567733DEST_PATH_IMAGE009
所对应的非线性加权预测误差
Figure 41440DEST_PATH_IMAGE042
：
Figure 276112DEST_PATH_IMAGE043
(10)
步骤12. 根据公式(11)的定义，计算运动矢量
Figure 981550DEST_PATH_IMAGE044
所对应的非线性加权预测误差
Figure 985278DEST_PATH_IMAGE045
：
Figure 567569DEST_PATH_IMAGE046
(11)
步骤13. 根据公式(12)和公式(13)的定义，计算最佳平移匹配块的2D加权自相关
Figure 23958DEST_PATH_IMAGE047
、
Figure 779425DEST_PATH_IMAGE048
：
Figure 653971DEST_PATH_IMAGE049
(12)
Figure 469480DEST_PATH_IMAGE050
(13)
步骤14. 根据公式(14)的定义，计算当前宏块在缩小情况下的最佳旋转角度的余弦
Figure 413165DEST_PATH_IMAGE051
：
Figure 910006DEST_PATH_IMAGE052
(14)
并据此计算该最佳旋转角度的正弦：
Figure 622747DEST_PATH_IMAGE053
；
步骤15. 根据公式(15)的定义，计算当前宏块在放大情况下的最佳旋转角度的余弦
Figure 359890DEST_PATH_IMAGE054
：
Figure 56450DEST_PATH_IMAGE055
(15)
并据此计算该最佳旋转角度的正弦：
Figure 153719DEST_PATH_IMAGE056
；
步骤16. 令
Figure 720967DEST_PATH_IMAGE057
，
Figure 629011DEST_PATH_IMAGE058
，根据公式(16)的定义，计算当前宏块在仿射运动矢量
Figure 750551DEST_PATH_IMAGE059
下的预测误差
Figure 385932DEST_PATH_IMAGE060
：
Figure 73265DEST_PATH_IMAGE061
(16)
所述
Figure 667057DEST_PATH_IMAGE062
为参考帧
Figure 554854DEST_PATH_IMAGE002
中坐标
Figure 259505DEST_PATH_IMAGE063
处的像素值；
步骤17. 令
Figure 4607DEST_PATH_IMAGE064
，
Figure 503722DEST_PATH_IMAGE065
，根据公式(17)的定义，计算当前宏块在仿射运动矢量
Figure 131012DEST_PATH_IMAGE066
下的预测误差
Figure 124507DEST_PATH_IMAGE067
：
Figure 786433DEST_PATH_IMAGE068
(17)
所述
Figure 456448DEST_PATH_IMAGE069
为参考帧
Figure 571035DEST_PATH_IMAGE002
中坐标
Figure 555171DEST_PATH_IMAGE070
处的像素值；
步骤18. 比较
Figure 822336DEST_PATH_IMAGE010
、
Figure 663253DEST_PATH_IMAGE033
、
Figure 530715DEST_PATH_IMAGE038
、
Figure 115280DEST_PATH_IMAGE060
和
Figure 236951DEST_PATH_IMAGE067
，并令
Figure 452031DEST_PATH_IMAGE071
，所述
Figure 275631DEST_PATH_IMAGE072
表示取最小值函数；
步骤18.1 若
Figure 663887DEST_PATH_IMAGE073
，则当前宏块只发生了平移运动，输出平移运动矢量
Figure 154911DEST_PATH_IMAGE009
及其预测误差
Figure 915512DEST_PATH_IMAGE010
，转入步骤2；
步骤18.2 若
Figure 491987DEST_PATH_IMAGE074
，则当前宏块发生了平移和缩小运动，输出运动矢量
Figure 418354DEST_PATH_IMAGE032
及其预测误差
Figure 701568DEST_PATH_IMAGE033
，转入步骤2；
步骤18.3 若
Figure 320768DEST_PATH_IMAGE075
，则当前宏块发生了平移和放大运动，输出运动矢量
Figure 135272DEST_PATH_IMAGE037
及其预测误差
Figure 334172DEST_PATH_IMAGE038
，转入步骤2；
步骤18.4 若
Figure 534209DEST_PATH_IMAGE076
，则当前宏块发生了仿射运动，输出运动矢量
Figure 589890DEST_PATH_IMAGE059
及其预测误差
Figure 360531DEST_PATH_IMAGE060
，转入步骤2；
步骤18.5 否则，输出运动矢量
Figure 894280DEST_PATH_IMAGE066
及其预测误差
Figure 152086DEST_PATH_IMAGE067
，转入步骤2。
不同视频测试序列采用本发明及不同运动估计方法得到的运动补偿峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)结果如表1。
表1 不同运动估计方法的运动补偿PSNR比较（单位：dB）
Figure 847510DEST_PATH_IMAGE078
不同视频测试序列采用本发明及典型运动估计方法所需的计算时间如表2（本实施例的硬件环境为CPU为Intel (R) Core (TM) i7-4790 @3.60GHz双核，内存为16GB，软件环境为Window 10操作系统、Visual C++ 6.0集成开发环境）。
表2 不同运动估计方法的计算时间比较（单位：秒/帧）
Figure DEST_PATH_IMAGE079
实验结果表明，本发明比块匹配全搜索的峰值信噪比平均提高了0.18dB，比块匹配菱形搜索的峰值信噪比平均提高了0.76dB，比快速缩放运动估计方法3D-ZPDS的峰值信噪比平均提高了0.31dB；同时，本发明所需的计算量仅为块匹配全搜索的6.19%，为基于缩放模型的全搜索的0.17%，为基于缩放模型的快速搜索3D-ZPDS的6.12%。

Claims (1)

1.一种自适应因子的视频仿射运动估计方法，其特征在于按如下步骤进行：
步骤1. 若当前图像组的所有帧都已处理完毕，则算法结束；否则，选取当前图像组中未处理过的一帧作为当前帧
Figure 38952DEST_PATH_IMAGE001
，并将前一帧作为参考帧
Figure 657890DEST_PATH_IMAGE002
；
步骤2. 若当前帧
Figure 172048DEST_PATH_IMAGE001
的所有宏块均已处理完毕，则转入步骤1；否则，选取当前帧的一个未处理宏块
Figure 36099DEST_PATH_IMAGE003
作为当前宏块，设其大小为
Figure 53733DEST_PATH_IMAGE004
像素，
Figure 610617DEST_PATH_IMAGE005
、
Figure 346491DEST_PATH_IMAGE006
表示当前宏块左上角像素的横、纵坐标，
Figure 14233DEST_PATH_IMAGE007
为预设常数；
步骤3. 根据公式(1)的定义，利用菱形搜索方法在大小为
Figure 151953DEST_PATH_IMAGE008
像素的窗口中，计算当前宏块
Figure 614159DEST_PATH_IMAGE003
的平移运动矢量
Figure 341724DEST_PATH_IMAGE009
及其对应的预测误差
Figure 813157DEST_PATH_IMAGE010
：
Figure 805384DEST_PATH_IMAGE011
(1)
所述
Figure 704069DEST_PATH_IMAGE012
表示当前帧
Figure 680116DEST_PATH_IMAGE001
中坐标为
Figure 424081DEST_PATH_IMAGE013
处的像素值，
Figure 536393DEST_PATH_IMAGE014
表示参考帧
Figure 340401DEST_PATH_IMAGE002
中坐标为
Figure 538164DEST_PATH_IMAGE015
处的像素值，
Figure 849935DEST_PATH_IMAGE016
为预设常数；
步骤4. 根据公式(2)的定义，计算运动矢量
Figure 816754DEST_PATH_IMAGE009
所对应的线性加权预测误差
Figure 57242DEST_PATH_IMAGE017
：
Figure 476722DEST_PATH_IMAGE018
(2)
步骤5. 根据公式(3)的定义，计算运动矢量
Figure 93648DEST_PATH_IMAGE019
所对应的线性加权预测误差
Figure 914974DEST_PATH_IMAGE020
：
Figure 326364DEST_PATH_IMAGE021
(3)
所述
Figure 233140DEST_PATH_IMAGE022
表示参考帧
Figure 388178DEST_PATH_IMAGE002
中坐标为
Figure 828124DEST_PATH_IMAGE023
处的像素值；
步骤6. 根据公式(4)和公式(5)的定义，计算最佳平移匹配块的2D加权自相关
Figure 410415DEST_PATH_IMAGE024
、
Figure 804487DEST_PATH_IMAGE025
：
Figure 763216DEST_PATH_IMAGE026
(4)
Figure 293554DEST_PATH_IMAGE027
(5)
步骤7. 根据公式(6)的定义，计算当前宏块缩小时的最优缩放因子
Figure 46747DEST_PATH_IMAGE028
：
Figure 928115DEST_PATH_IMAGE029
(6)
步骤8. 根据公式(7)的定义，计算当前宏块放大时的最优缩放因子
Figure 424956DEST_PATH_IMAGE030
：
Figure 340959DEST_PATH_IMAGE031
(7)
步骤9. 根据公式(8)的定义，计算当前宏块在缩放运动矢量
Figure 498009DEST_PATH_IMAGE032
下的预测误差
Figure 866673DEST_PATH_IMAGE033
：
Figure 167204DEST_PATH_IMAGE034
(8)
所述
Figure 937714DEST_PATH_IMAGE035
为参考帧
Figure 767130DEST_PATH_IMAGE002
中坐标
Figure 623091DEST_PATH_IMAGE036
处的像素值；
步骤10. 根据公式(9)的定义，计算当前宏块在缩放运动矢量
Figure 461734DEST_PATH_IMAGE037
下的预测误差
Figure 86750DEST_PATH_IMAGE038
：
Figure 352646DEST_PATH_IMAGE039
(9)
所述
Figure 946437DEST_PATH_IMAGE040
为参考帧
Figure 588771DEST_PATH_IMAGE002
中坐标
Figure 333873DEST_PATH_IMAGE041
处的像素值；
步骤11. 根据公式(10)的定义，计算运动矢量
Figure 770671DEST_PATH_IMAGE009
所对应的非线性加权预测误差
Figure 335644DEST_PATH_IMAGE042
：
Figure 516090DEST_PATH_IMAGE043
(10)
步骤12. 根据公式(11)的定义，计算运动矢量
Figure 850119DEST_PATH_IMAGE044
所对应的非线性加权预测误差
Figure 457818DEST_PATH_IMAGE045
：
Figure 775667DEST_PATH_IMAGE046
(11)
步骤13. 根据公式(12)和公式(13)的定义，计算最佳平移匹配块的2D加权自相关
Figure 992759DEST_PATH_IMAGE047
、
Figure 712454DEST_PATH_IMAGE048
：
Figure 491054DEST_PATH_IMAGE049
(12)
Figure 296199DEST_PATH_IMAGE050
(13)
步骤14. 根据公式(14)的定义，计算当前宏块在缩小情况下的最佳旋转角度的余弦
Figure 818447DEST_PATH_IMAGE051
：
Figure 127068DEST_PATH_IMAGE052
(14)
并据此计算该最佳旋转角度的正弦：
Figure 342149DEST_PATH_IMAGE053
；
步骤15. 根据公式(15)的定义，计算当前宏块在放大情况下的最佳旋转角度的余弦
Figure 103432DEST_PATH_IMAGE054
：
Figure 429371DEST_PATH_IMAGE055
(15)
并据此计算该最佳旋转角度的正弦：
Figure 858078DEST_PATH_IMAGE056
；
步骤16. 令
Figure 477016DEST_PATH_IMAGE057
，
Figure 991174DEST_PATH_IMAGE058
，根据公式(16)的定义，计算当前宏块在仿射运动矢量
Figure 120804DEST_PATH_IMAGE059
下的预测误差
Figure 138439DEST_PATH_IMAGE060
：
Figure 960901DEST_PATH_IMAGE061
(16)
所述
Figure 696776DEST_PATH_IMAGE062
为参考帧
Figure 364518DEST_PATH_IMAGE002
中坐标
Figure 502238DEST_PATH_IMAGE063
处的像素值；
步骤17. 令
Figure 230023DEST_PATH_IMAGE064
，
Figure 453193DEST_PATH_IMAGE065
，根据公式(17)的定义，计算当前宏块在仿射运动矢量
Figure 423161DEST_PATH_IMAGE066
下的预测误差
Figure 415388DEST_PATH_IMAGE067
：
Figure 579653DEST_PATH_IMAGE068
(17)
所述
Figure 24541DEST_PATH_IMAGE069
为参考帧
Figure 34085DEST_PATH_IMAGE002
中坐标
Figure 411977DEST_PATH_IMAGE070
处的像素值；
步骤18. 比较
Figure 215985DEST_PATH_IMAGE010
、
Figure 679327DEST_PATH_IMAGE033
、
Figure 226983DEST_PATH_IMAGE038
、
Figure 193802DEST_PATH_IMAGE060
和
Figure 938685DEST_PATH_IMAGE067
，并令
Figure 623745DEST_PATH_IMAGE071
，所述
Figure 240671DEST_PATH_IMAGE072
表示取最小值函数；
步骤18.1 若
Figure 61996DEST_PATH_IMAGE073
，则当前宏块只发生了平移运动，输出平移运动矢量
Figure 473386DEST_PATH_IMAGE009
及其预测误差
Figure 380162DEST_PATH_IMAGE010
，转入步骤2；
步骤18.2 若
Figure 269621DEST_PATH_IMAGE074
，则当前宏块发生了平移和缩小运动，输出运动矢量
Figure 476611DEST_PATH_IMAGE032
及其预测误差
Figure 793323DEST_PATH_IMAGE033
，转入步骤2；
步骤18.3 若
Figure 452974DEST_PATH_IMAGE075
，则当前宏块发生了平移和放大运动，输出运动矢量
Figure 644659DEST_PATH_IMAGE037
及其预测误差
Figure 440577DEST_PATH_IMAGE038
，转入步骤2；
步骤18.4 若
Figure 459348DEST_PATH_IMAGE076
，则当前宏块发生了仿射运动，输出运动矢量
Figure 340717DEST_PATH_IMAGE059
及其预测误差
Figure 571978DEST_PATH_IMAGE060
，转入步骤2；
步骤18.5 否则，输出运动矢量
Figure 487981DEST_PATH_IMAGE066
及其预测误差
Figure 412075DEST_PATH_IMAGE067
，转入步骤2。
CN201811494317.XA 2018-12-07 2018-12-07 自适应因子的视频仿射运动估计方法 Active CN109640097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811494317.XA CN109640097B (zh) 2018-12-07 2018-12-07 自适应因子的视频仿射运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811494317.XA CN109640097B (zh) 2018-12-07 2018-12-07 自适应因子的视频仿射运动估计方法

Publications (2)

Publication Number Publication Date
CN109640097A CN109640097A (zh) 2019-04-16
CN109640097B true CN109640097B (zh) 2021-08-03

Family

ID=66071872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811494317.XA Active CN109640097B (zh) 2018-12-07 2018-12-07 自适应因子的视频仿射运动估计方法

Country Status (1)

Country Link
CN (1) CN109640097B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740331B (zh) * 2019-08-05 2023-01-31 辽宁师范大学 基于自适应步长和Levenberg-Marquardt优化的视频弹性运动估计方法
CN112468815B (zh) * 2021-01-28 2021-06-15 浙江智慧视频安防创新中心有限公司 视频编解码的方法、装置、电子设备及存储介质
CN112449197A (zh) * 2021-01-28 2021-03-05 浙江智慧视频安防创新中心有限公司 视频编解码的方法、装置、电子设备及存储介质
CN113630601B (zh) * 2021-06-29 2024-04-02 杭州未名信科科技有限公司 一种仿射运动估计方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438910B1 (en) * 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
CN108111861A (zh) * 2017-12-25 2018-06-01 辽宁师范大学 基于2bit深度像素的视频弹性运动估计方法
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170110B2 (en) * 2009-10-16 2012-05-01 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for zoom motion estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438910B1 (en) * 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置
CN108111861A (zh) * 2017-12-25 2018-06-01 辽宁师范大学 基于2bit深度像素的视频弹性运动估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Zoom Motion Estimation Using Block-Based Fast;Hyo-Sung Kim等;《IEEE Transactions on Circuits and Systems for Video Technology》;20120930;第22卷(第9期);全文 *
基于仿射变换的快速全局运动估计算法;王思珺等;《液晶与显示》;20120430;第27卷(第2期);全文 *
基于最优位置计算的快速亚像素运动估计;张荩尹等;《计算机学报》;20050930;第28卷(第9期);全文 *

Also Published As

Publication number Publication date
CN109640097A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109640097B (zh) 自适应因子的视频仿射运动估计方法
CN103503457B (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
US8705611B2 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
TWI572196B (zh) 用於次世代視訊編碼之投射式內插預測產生之技術
US9451255B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP5281891B2 (ja) 適応的な動き検索範囲
CN103119945B (zh) 通过帧内预测来对图像进行编码和解码的方法和设备
US9319708B2 (en) Systems and methods of improved motion estimation using a graphics processing unit
US11336915B2 (en) Global motion vector video encoding systems and methods
US20080031325A1 (en) Mesh-based video compression with domain transformation
CN105847791A (zh) 图像编码装置及其方法和图像解码装置及其方法
CN109120940B (zh) 自适应因子的视频缩放运动估计方法
WO2012086829A1 (ja) 動き推定装置、動き推定方法、動き推定プログラム、および動画像符号化装置
CN103957420B (zh) 一种h.264运动估计编码的全面运动估计改进算法
US11006143B2 (en) Motion vector candidate pruning systems and methods
CN113994692A (zh) 用于利用光流的预测细化的方法和装置
Fan et al. Multidirectional parabolic prediction-based interpolation-free sub-pixel motion estimation
CN105812818B (zh) 基于改进列文伯格麦夸特优化的弹性运动估计方法
JP3670566B2 (ja) 処理時間適応画像符号化方法およびそのプログラムの記録媒体
CN114979631A (zh) 用于利用光流的预测细化、双向光流和解码器侧运动矢量细化的方法和装置
CN112385232B (zh) 用于双向帧内预测的参考像素插值方法和装置
Song et al. Fast CU Partition for VVC Intra-Frame Coding via Texture Complexity
CN108111861B (zh) 基于2bit深度像素的视频弹性运动估计方法
CN105611299A (zh) 一种基于hevc的运动估计方法
Toivonen et al. Efficient method for half-pixel block motion estimation using block differentials

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant