CN109120940B - 自适应因子的视频缩放运动估计方法 - Google Patents
自适应因子的视频缩放运动估计方法 Download PDFInfo
- Publication number
- CN109120940B CN109120940B CN201810870048.6A CN201810870048A CN109120940B CN 109120940 B CN109120940 B CN 109120940B CN 201810870048 A CN201810870048 A CN 201810870048A CN 109120940 B CN109120940 B CN 109120940B
- Authority
- CN
- China
- Prior art keywords
- scaling
- motion
- pixel
- motion estimation
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开一种自适应因子的视频缩放运动估计方法,首先,采用运动向量(0,0)、(1,0)所对应的运动补偿误差以及参考帧的1阶水平自相关来判别待预测宏块的缩放形式,进而提供了最优缩放比例的计算方法,显著减少了所需的双线性插值运算次数和运算时间;其次,在基于平移模型的块匹配运动估计的基础上,结合最优缩放比例,得到缩放运动向量,可突破传统缩放运动估计的缩放比例范围,进而提高了运动估计精度。本发明比传统缩放运动估计/补偿方法的峰值信噪比平均提高了4.54 dB,比块匹配全搜索的运动补偿峰值信噪比平均提高了5.45dB;所需的计算量比传统缩放运动估计方法平均降低了96.54%。
Description
技术领域
本发明涉及视频编码压缩领域,尤其是一种运算速度快、运动补偿质量高,且能有效预测视频中存在的缩放运动的具备缩放因子自适应能力的视频运动估计方法。
背景技术
运动估计是一种有效的时间维预测技术,而且多年来视频编码效率的大部分提升均是由于其采用了更为优秀的运动估计算法。然而,运动估计环节所消耗的计算资源往往占编码器全部资源的50%以上,甚至可达80%。为了在复杂度和预测精度之间达到较好的折中,现有视频编码标准普遍采用基于平移模型的块匹配运动估计算法,并陆续提出了多种快速块匹配策略,如基于候选向量下采样的策略、基于像素下采样的策略、基于低复杂度匹配函数的策略、基于低比特深度像素的策略等。但是,平移模型无法有效预测由物体的旋转、缩放、变形和摄像机运动产生的非刚性复合运动。同时,基于块平移模型的运动估计通常不能获得平滑、连续的运动场,往往出现块效应,尤其是在低码率下,影响解码视频的主观质量。在这种情况下,一些研究人员多年来尝试将高阶运动模型引入到运动估计/补偿中来弥补平移运动模型的不足,出现了基于网格模型的运动估计、基于仿射模型的运动估计(如4参数模型、6参数仿射模型、8参数透视或双线性模型、12参数变换模型及其混合模型)、基于弹性模型的运动估计和基于缩放模型的运动估计等。
基于缩放模型的运动估计(Zoom Motion Estimation Model)是2012年以来出现的一种视频运动估计方法,它可有效预测由于摄像机的推摄、拉摄和综合运动拍摄所产生的视频运动。通过在16个标准测试视频序列上进行实验统计,发现大约74.46%的宏块包含非整数像素精度的缩放运动。可见,缩放运动是视频中普遍存在的一种运动形式,并且无法利用基于块匹配的传统平移模型实现准确预测和补偿。
然而,基于缩放模型的运动估计需要在块平移向量的基础上,通过在可能的参数空间中“暴力”搜索最优的缩放步长,进而计算最佳的缩放比例,得到缩放运动向量。该过程涉及大量的分数像素插值运算,其计算复杂度远远高于块平移模型的全搜索,根本无法实现实时的运动估计/补偿,这在很大程度上限制了其实用性。
发明内容
本发明是为了解决现有技术所存在的上述技术问题,提供一种运算速度快、运动补偿质量高,且能有效预测视频中存在的缩放运动的具备缩放因子自适应能力的视频运动估计方法。
本发明的技术解决方案是:一种自适应因子的视频缩放运动估计方法,其特征在于按照如下步骤进行:
与现有的技术相比,本发明从两个方面降低缩放运动估计的计算复杂度,并提高其运动估计和补偿的精度:首先,采用运动向量(0,0)、(1,1)所对应的运动补偿误差,以及参考帧的1阶水平自相关来判别待预测宏块的缩放形式,进而提供了最优缩放比例的计算方法,避免了传统缩放运动估计方法的“暴力”搜索,并显著减少了所需的双线性插值运算次数;其次,为了降低运算量,传统缩放运动估计方法将缩放比例限制在[0.97,1.03]区间内,而由于本发明可直接计算得到最优缩放比例,突破了传统方法的缩放比例区间,进而提高了运动估计精度。实验结果表明,本发明比传统缩放运动估计/补偿方法的峰值信噪比平均提高了4.54 dB,比块匹配全搜索的运动补偿峰值信噪比平均提高了5.45dB;同时,本发明所需的计算量比传统缩放运动估计方法平均降低了96.54%。与现有技术相比,本发明具有运算速度快、运动补偿质量高、缩放因子自适应等优点。
具体实施方式
本发明的一种自适应因子的视频缩放运动估计方法,其特征在于按照如下步骤进行:
不同视频测试序列采用本发明及不同运动估计方法得到的运动补偿峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)结果如表1。
表1 不同运动估计方法的运动补偿PSNR比较(单位:dB)
视频序列名称 | 格式 | 块匹配全搜索 | 传统的缩放运动估计 | 本发明 |
Football | 352×288 @ 30fps | 27.37 | 27.78 | 35.07 |
Hall | 352×288 @ 30fps | 34.48 | 35.02 | 36.15 |
Husky | 352×288 @ 30fps | 19.70 | 20.74 | 29.02 |
Mobile | 352×288 @ 30fps | 23.96 | 25.59 | 30.60 |
Tempete | 352×288 @ 30fps | 27.75 | 28.82 | 33.36 |
Tennis | 352×288 @ 30fps | 28.91 | 29.65 | 33.41 |
Crew | 704×576 @ 30fps | 32.36 | 33.21 | 39.02 |
City | 704×576 @ 30fps | 30.86 | 32.03 | 35.99 |
Harbour | 704×576 @ 30fps | 28.10 | 29.04 | 32.82 |
Flowervase | 832×480 @ 30 fps | 37.42 | 38.41 | 39.75 |
sc_Robot | 1280×720 @ 30 fps | 32.20 | 34.62 | 38.35 |
twist_tunnel | 1280×720 @ 60 fps | 16.59 | 16.73 | 27.65 |
Johnny | 1280×720 @ 60 fps | 38.83 | 39.76 | 40.37 |
Kimonol | 1920×1080 @ 50 fps | 33.82 | 34.36 | 35.45 |
ParkScene | 1920×1080 @ 24 fps | 29.98 | 30.93 | 37.10 |
VenueVu | 1920×1080 @ 30 fps | 27.12 | 27.35 | 32.58 |
平均 | —— | 29.34 | 30.25 | 34.79 |
不同视频测试序列采用本发明及基于缩放模型的传统运动估计方法所需的计算时间如表2(本实施例的硬件环境为CPU为Intel (R) Core (TM) i7-4790 @3.60GHz双核,内存为16GB,软件环境为Window 10操作系统、Visual C++ 6.0集成开发环境)。
表2 本发明与传统缩放运动估计的计算量比较(单位:秒)
实验结果表明,本发明比传统缩放运动估计/补偿方法的峰值信噪比平均提高了4.54 dB,比块匹配全搜索的运动补偿峰值信噪比平均提高了5.45dB;同时,本发明所需的计算量比传统缩放运动估计方法平均降低了96.54%。
Claims (1)
1.一种自适应因子的视频缩放运动估计方法,其特征在于按如下步骤进行:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810870048.6A CN109120940B (zh) | 2018-08-02 | 2018-08-02 | 自适应因子的视频缩放运动估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810870048.6A CN109120940B (zh) | 2018-08-02 | 2018-08-02 | 自适应因子的视频缩放运动估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109120940A CN109120940A (zh) | 2019-01-01 |
CN109120940B true CN109120940B (zh) | 2021-07-13 |
Family
ID=64851661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810870048.6A Active CN109120940B (zh) | 2018-08-02 | 2018-08-02 | 自适应因子的视频缩放运动估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109120940B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110691253B (zh) * | 2019-10-17 | 2022-03-01 | 北京大学深圳研究生院 | 一种基于帧间预测的编解码方法及装置 |
CN111210389B (zh) * | 2020-01-10 | 2023-09-19 | 北京华捷艾米科技有限公司 | 一种图像缩放处理方法及装置 |
CN113518225B (zh) * | 2021-08-10 | 2023-06-16 | 辽宁师范大学 | 6次多项式拟合匹配误差曲面的快速缩放运动估计方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108886619A (zh) * | 2016-01-07 | 2018-11-23 | 联发科技股份有限公司 | 用于视频编解码系统的仿射合并模式预测的方法及装置 |
-
2018
- 2018-08-02 CN CN201810870048.6A patent/CN109120940B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108886619A (zh) * | 2016-01-07 | 2018-11-23 | 联发科技股份有限公司 | 用于视频编解码系统的仿射合并模式预测的方法及装置 |
Non-Patent Citations (3)
Title |
---|
Zoom Motion Estimation Using Block-Based Fast Local Area Scaling;Hyo-Sung Kim等;《IEEE Transactions on Circuits and Systems for Video Technology》;20120930;第22卷(第9期);正文第3页右栏第10行至第4页左栏第32行、图4以及公式6和10 * |
基于仿射变换的快速全局运动估计算法;王思珺等;《液晶与显示》;20120430;第27卷(第2期);正文第2页的左栏第5段至右栏第3段以及公式1 * |
基于最优位置计算的快速亚像素运动估计;张荩尹等;《计算机学报》;20050930;第28卷(第9期);正文第2页右栏第10行至第3页左栏第35行、图1以及公式1-5 * |
Also Published As
Publication number | Publication date |
---|---|
CN109120940A (zh) | 2019-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110087087B (zh) | Vvc帧间编码单元预测模式提前决策及块划分提前终止方法 | |
US8705611B2 (en) | Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program | |
CN109640097B (zh) | 自适应因子的视频仿射运动估计方法 | |
JP4614512B2 (ja) | 適応性のある動き精度をもった動き推定方法 | |
JP5281891B2 (ja) | 適応的な動き検索範囲 | |
CN103503457B (zh) | 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 | |
CN101699865B (zh) | 一种块运动自适应的亚像素快速搜索方法 | |
CN109120940B (zh) | 自适应因子的视频缩放运动估计方法 | |
US11336915B2 (en) | Global motion vector video encoding systems and methods | |
US9883200B2 (en) | Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video | |
TWI502966B (zh) | 影像編碼方法、裝置、影像解碼方法、裝置及電腦程式 | |
JP2003522432A (ja) | 映像コーディング | |
CN103957420B (zh) | 一种h.264运动估计编码的全面运动估计改进算法 | |
US8144775B2 (en) | Method and device for generating candidate motion vectors from selected spatial and temporal motion vectors | |
CN105812818B (zh) | 基于改进列文伯格麦夸特优化的弹性运动估计方法 | |
KR100782800B1 (ko) | 움직임 추정 방법 | |
Guo et al. | Frame rate up-conversion using linear quadratic motion estimation and trilateral filtering motion smoothing | |
CN114503561A (zh) | 用于利用光流的预测细化、双向光流和解码器侧运动矢量细化的方法和装置 | |
CN105611299B (zh) | 一种基于hevc的运动估计方法 | |
CN108111861B (zh) | 基于2bit深度像素的视频弹性运动估计方法 | |
CN113518225B (zh) | 6次多项式拟合匹配误差曲面的快速缩放运动估计方法 | |
JP3625771B2 (ja) | 動き推定方法 | |
Toivonen et al. | Efficient method for half-pixel block motion estimation using block differentials | |
CN105744269B (zh) | 一种基于下采样和亚像素运动估计的转码方法 | |
CN108696750A (zh) | 一种预测模式的判决方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |