CN102833550A - 一种低复杂度的分像素插值滤波器 - Google Patents

一种低复杂度的分像素插值滤波器 Download PDF

Info

Publication number
CN102833550A
CN102833550A CN2012103211791A CN201210321179A CN102833550A CN 102833550 A CN102833550 A CN 102833550A CN 2012103211791 A CN2012103211791 A CN 2012103211791A CN 201210321179 A CN201210321179 A CN 201210321179A CN 102833550 A CN102833550 A CN 102833550A
Authority
CN
China
Prior art keywords
tap
pixel
interpolation
interpolation filter
taps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103211791A
Other languages
English (en)
Inventor
王荣刚
吕浩
王振宇
董胜富
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN2012103211791A priority Critical patent/CN102833550A/zh
Publication of CN102833550A publication Critical patent/CN102833550A/zh
Priority to PCT/CN2013/082789 priority patent/WO2014032625A1/zh
Priority to US14/636,162 priority patent/US20150172702A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种低复杂度的分像素插值滤波器,适用于视频编解码技术领域,包括:提出了新的插值滤波器和新的插值方法。新的插值滤波器系数包括8抽头和6抽头的两组滤波器系数。新的插值方法中采用8抽头和6抽头相结合的方式来降低计算复杂度,对于分像素a、b、c,使用横向的8抽头一维插值滤波器;对于分像素d、h、n,使用纵向的8抽头一维插值滤波器;对于余下的9个分像素,要进行两次插值,首先使用横向的8抽头一维插值滤波器,然后使用纵向的6抽头一维插值滤波器。

Description

一种低复杂度的分像素插值滤波器
技术领域
本发明涉及新一代视频编解码技术领域,提出了一种新的分像素插值滤波器及插值方法,在提高运动预测和补偿的性能的同时降低了计算复杂度。
技术背景
随着众多如数字电视、互联网高清视频、数码相机、数码摄像机等高清数码产品的逐渐普及,现有的视频编解码标准已经不能满足要求,尤其对于高分辨力视频,如4Kx2K的甚高分辨率。因此,人们期待能适应超高清视频的新一代高性能视频编码标准的开发。
在视频编解码技术中,分像素插值技术能提高运动预测的准确度,从而对整个编解码性能的提高有非常大的积极作用。分像素插值最早在MPEG-1中就已经使用,但仅限于半像素运动估计,尽管比整像素运动估计要好但是精度和性能还不高;从MPEG-4 ASP开始提高了插值精度,使用1/4像素精度的插值;H.264/AVC采用了一个6抽头滤波器来获得1/2像素,然后用平均滤波器来得到1/4像素,性能有了很大提高;在AVS Jizhun Profile中也是采用了一个4抽头滤波器来获得1/2像素,然后再得出1/4像素;在最近JCT-VC(the Joint Collaborative Team on Video Coding)正在制订的下一代高性能视频编解码标准HEVC(High Efficiency Video Coding)中,为进一步提高插值性能,采用了高性能可分离式的基于DCT的插值滤波器,相比于H.264/AVC降低了很多码率,能明显提高编码性能,但是其插值计算的复杂度较高。基于以上,我们提出了一种新的插值方法来减小插值计算的复杂度并且同时保持与HEVC中的插值有相当的性能。
发明内容
本发明的目的在于提出一种新的插值滤波器以及插值方法,以提高编码和解码中插值的性能同时降低其计算复杂度。
本发明提出了一种新的插值滤波器,该滤波器为二维可分离式插值滤波器(即在二维滤波时是先进行横向插值再进行纵向插值),涉及两组滤波器系数,分别是8抽头和6抽头,其插值滤波器系数分别见图1和图2所示。本发明还提出了新的插值方法,采用8抽头和6抽头滤波器相结合的方式来降低计算复杂度:对于分像素a、b、c,使用横向的8抽头一维插值滤波器;对于分像素d、h、n,使用纵向的8抽头一维插值滤波器。对于余下的9个分像素,要进行两次插值,首先使用横向的8抽头一维插值滤波器,然后再对中间值使用纵向的6抽头一维插值滤波器。
本发明具有以下优点:
1.本发明使用新的插值方法,采用8抽头和6抽头滤波器相结合的方式。利用一般场景的运动变化主要是横向运动居多而纵向运动相对较少,且考虑到10抽头计算较复杂,而4抽头又性能较差,故采用“8+6”相结合的滤波方式,能减小计算复杂度而又不会明显影响性能。
2.本发明使用了新的插值滤波器,并对滤波器系数进行了优化,采用了性能最好的滤波器系数。
3.本发明与HEVC的亮度插值对比,其Y、U、V码率分别仅增加了0.7%、0.2%、0.3%,见图3;但是其计算复杂度,如图4所示,比HEVC要降低近10%(在访存数量、乘法和加法数目方面分别小9.07%、6.42%和9.36%),具有低复杂度的优势且同时保持了与HEVC亮度插值有相当的性能。
附图说明
图1是本发明的8抽头插值滤波器的系数列表;
图2是本发明的6抽头插值滤波器的系数列表;
图3是本发明的方法与HEVC亮度插值方法的码率对比结果表。
图4是本发明的方法与HEVC亮度插值方法的计算复杂度对比结果表。
图5是本发明的分像素点与坐标位置对应关系表。
图6是本发明的插值方法示意图;
图7是本发明的实际插值过程示意图;
具体实施方式
下面结合附图和实施例,对本发明进行详细的描述。本实施例描述了本发明的具体实现过程。现在对于亮度的运动矢量仍然是1/4像素精度,因此需要插值出15个分像素。插值过程如图6所示,大写字母代表的位置为已知的整像素点,小写字母代表的位置为需要插值得到的分像素点。对横向最近邻的整像素点使用8抽头插值滤波得到分像素a00、b00、c00;对纵向最近邻的整像素点使用8抽头插值滤波得到分像素d00、h00、n00;对于剩下的分像素是先对横向最近邻的整像素点使用8抽头插值滤波,然后再对中间值使用纵向6抽头插值滤波。6抽头和8抽头滤波器的系数分别见图1,图2所示。
该实施例中,本发明实现的步骤如图2所示:
第一步:根据图5所示,通过x和y的坐标来判断所要插值的分像素点。
第二步:由上-步的判断,分别进入相应的分像素插值处理过程:如,对于分像素a,只需要进行横向的8抽头插值滤波,使用1/4位置对应的滤波器系数;对于分像素e,先进行横向的8抽头插值滤波,使用1/4位置对应的滤波器系数,然后再进行纵向的6抽头插值滤波,使用1/4位置对应的滤波器系数。
具体各个点的插值过程如下:
(1)分像素a00、b00、c00的插值:对横向最近邻的整像素点使用8抽头插值滤波,分别使用1/4,2/4,3/4位置对应的滤波器系数,计算得到对应的分像素a00、b00、c00,计算公式如下:
a0,0=(-A-3,0+4×A-2,0-10×A-1,0+57×A0,0+18×A1,0-6×A2,0+3×A3,0-A4,0)>>shift1
b0,0=(-A-3,0+4×A-2,0-11×A-1,0+40×A0,0+40×A1,0-11×A2,0+4×A3,0-A4,0)>>shift1
c0,0=(-A-3,0+3×A-2,0-6×A-1,0+18×A0,0+57×A1,0-10×A2,0+4×A3,0-A4,0)>>shift1
(2)分像素d00、h00、n00的插值:对纵向最近邻的整像素点使用8抽头插值滤波,分别使用1/4,2/4,3/4位置对应的滤波器系数,计算得到对应的分像素d00、h00、n00,计算公式如下:
d0,0=(-A0,-3+4×A0,-2-10×A0,-1+57×A0,0+18×A0,1-6×A0,2+3×A0,3-A0,4)>>shift1
h0,0=(-A0,-3+4×A0,-2-11×A0,-1+40×A0,0+40×A0,1-11×A0,2+4×A0,3-A0,4)>>shift1
n0,0=(-A0,-3+3×A0,-2-6×A0,-1+18×A0,0+57×A0,1-10×A0,2+4×A0,3-A0,4)>>shift1
(3)分像素e0,0、i0,0、p0,0的插值:先对横向最近邻的整像素点使用8抽头插值滤波,使用1/4位置对应的滤波器系数,从而得到中间值a’0,i(其中i=-3~4),a’0,i与a0,i区别在于a’0,i没有最后的shift1移位操作;然后再对中间值a’0,i使用纵向6抽头插值滤波,分别使用1/4,2/4,3/4位置对应的滤波器系数,计算得到对应的分像素e0,0、i0,0、p0,0,计算公式如下:
e0,0=(2×a′0,-2-9×a′0,-1+57×a′0,0+17×a′0,1-4×a′0,2+a′0,3)>>shift2
i0,0=(2×a′0,-2-9×a′0,-1+39×a′0,0+39×a′0,1-9×a′0,2+2×a′0,3)>>shift2
p0,0=(a′0,-2-4×a′0,-1+17×a′0,0+57×a′0,1-9×a′0,2+2×a′0,3)>>shift2
(4)分像素f0,0、j0,0、q0,0的插值:先对横向最近邻的整像素点使用8抽头插值滤波,使用2/4位置对应的滤波器系数,从而得到中间值b’0,i(其中i=-3~4);然后再对中间值b’0,i使用纵向6抽头插值滤波,分别使用1/4,2/4,3/4位置对应的滤波器系数,计算得到对应的分像素f0,0、j0,0、q0,0,计算公式如下:
f0,0=(2×b′0,-2-9×b′0,-1+57×b′0,0+17×b′0,1-4×b′0,2+b′0,3)>>shift2
j0,0=(2×b′0,-2-9×b′0,-1+39×b′0,0+39×b′0,1-9×b′0,2+2×b′0,3)>>shift2
q0,0=(b′0,-2-4×b′0,-1+17×b′0,0+57×b′0,1-9×b′0,2+2×b′0,3)>>shift2
(5)分像素g0,0、k0,0、r0,0的插值:先对横向最近邻的整像素点使用8抽头插值滤波,使用3/4位置对应的滤波器系数,从而得到中间值c’0,i(其中i=-3~4);然后再对中间值c’0,i使用纵向6抽头插值滤波,分别使用1/4,2/4,3/4位置对应的滤波器系数,计算得到对应的分像素g0,0、k0,0、r0,0,计算公式如下:
g0,0=(2×c′0,-2-9×c′0,-1+57×c′0,0+17×c′0,1-4×c′0,2+c′0,3)>>shift2
k0,0=(2×c′0,-2-9×c′0,-1+39×c′0,0+39×c′0,1-9×c′0,2+2×c′0,3)>>shift2
r0,0=(c′0,-2-4×c′0,-1+17×c′0,0+57×c′0,1-9×c′0,2+2×c′0,3)>>shift2
上述公式中,shift1=6,shift2=12。这样,所有的15个分像素点都被插值出来。至此,该实施例的所有步骤完成。
该发明通过以上的插值方法,在保证了较高性能的插值的同时也有效的减小了插值计算的复杂度。

Claims (2)

1.提出了新的插值方法,采用8抽头和6抽头滤波器相结合的方式来降低计算复杂度:对于分像素a、b、c,使用横向的8抽头一维插值滤波器;对于分像素d、h、n,使用纵向的8抽头一维插值滤波器。对于余下的9个分像素,要进行两次插值,首先使用横向的8抽头一维插值滤波器,然后再使用纵向的6抽头一维插值滤波器。本发明适用于数字视频的编码和解码。
2.上述提到的8抽头和6抽头插值滤波器,其滤波器系数如下:
8抽头:1/4像素对应的系数为{-1,4,-10,57,18,-6,3,-1},1/2像素对应的系数为{-1,4,-11,40,40,-11,4,-1},3/4像素对应的系数为{-1,3,-6,18,57,-10,4,-1};6抽头:1/4像素对应的系数为{2,-9,57,17,-4,1},1/2像素对应的系数为{2,-9,39,39,-9,2},3/4像素对应的系数为{1,-4,17,57,-9,2}。
CN2012103211791A 2012-09-03 2012-09-03 一种低复杂度的分像素插值滤波器 Pending CN102833550A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2012103211791A CN102833550A (zh) 2012-09-03 2012-09-03 一种低复杂度的分像素插值滤波器
PCT/CN2013/082789 WO2014032625A1 (zh) 2012-09-03 2013-09-02 低复杂度的分像素插值滤波方法、滤波装置及电子装置
US14/636,162 US20150172702A1 (en) 2012-09-03 2015-03-02 Fractional-pel interpolation filter method, filter device and electronic device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012103211791A CN102833550A (zh) 2012-09-03 2012-09-03 一种低复杂度的分像素插值滤波器

Publications (1)

Publication Number Publication Date
CN102833550A true CN102833550A (zh) 2012-12-19

Family

ID=47336484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103211791A Pending CN102833550A (zh) 2012-09-03 2012-09-03 一种低复杂度的分像素插值滤波器

Country Status (3)

Country Link
US (1) US20150172702A1 (zh)
CN (1) CN102833550A (zh)
WO (1) WO2014032625A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014032625A1 (zh) * 2012-09-03 2014-03-06 北京大学深圳研究生院 低复杂度的分像素插值滤波方法、滤波装置及电子装置
CN103974078A (zh) * 2014-03-31 2014-08-06 北京大学深圳研究生院 一种针对色度的插值方法及滤波器
WO2015149241A1 (zh) * 2014-03-31 2015-10-08 北京大学深圳研究生院 一种针对色度的插值方法及滤波器
CN105791876A (zh) * 2016-03-14 2016-07-20 杭州电子科技大学 基于低复杂度分层插值的hevc分像素运动估计方法
CN106331702A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 一种分像素插值滤波方法及设备
CN106507118A (zh) * 2016-11-28 2017-03-15 济南浪潮高新科技投资发展有限公司 一种双模亮度插值滤波结构及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US10462480B2 (en) * 2014-12-31 2019-10-29 Microsoft Technology Licensing, Llc Computationally efficient motion estimation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543221A (zh) * 2003-11-04 2004-11-03 浙江大学 1/4像素精度插值的方法和装置
WO2012100085A1 (en) * 2011-01-19 2012-07-26 General Instrument Corporation High efficiency low complexity interpolation filters

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
CN102833550A (zh) * 2012-09-03 2012-12-19 北京大学深圳研究生院 一种低复杂度的分像素插值滤波器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1543221A (zh) * 2003-11-04 2004-11-03 浙江大学 1/4像素精度插值的方法和装置
WO2012100085A1 (en) * 2011-01-19 2012-07-26 General Instrument Corporation High efficiency low complexity interpolation filters

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKESHI CHUJOH: "TE3 subtest 4: High Accuracy Interpolation Filter (HAIF)", 《JCT-VC OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014032625A1 (zh) * 2012-09-03 2014-03-06 北京大学深圳研究生院 低复杂度的分像素插值滤波方法、滤波装置及电子装置
CN103974078A (zh) * 2014-03-31 2014-08-06 北京大学深圳研究生院 一种针对色度的插值方法及滤波器
WO2015149241A1 (zh) * 2014-03-31 2015-10-08 北京大学深圳研究生院 一种针对色度的插值方法及滤波器
CN103974078B (zh) * 2014-03-31 2017-10-31 北京大学深圳研究生院 一种针对色度的插值方法及滤波器
CN106331702A (zh) * 2015-06-30 2017-01-11 阿里巴巴集团控股有限公司 一种分像素插值滤波方法及设备
CN105791876A (zh) * 2016-03-14 2016-07-20 杭州电子科技大学 基于低复杂度分层插值的hevc分像素运动估计方法
CN105791876B (zh) * 2016-03-14 2018-11-13 杭州电子科技大学 基于低复杂度分层插值的hevc分像素运动估计方法
CN106507118A (zh) * 2016-11-28 2017-03-15 济南浪潮高新科技投资发展有限公司 一种双模亮度插值滤波结构及方法
CN106507118B (zh) * 2016-11-28 2019-10-11 浪潮集团有限公司 一种双模亮度插值滤波结构及方法

Also Published As

Publication number Publication date
US20150172702A1 (en) 2015-06-18
WO2014032625A1 (zh) 2014-03-06

Similar Documents

Publication Publication Date Title
CN102833550A (zh) 一种低复杂度的分像素插值滤波器
JP5654091B2 (ja) ビデオコード化における動き補償のための高度内挿技術
JP5606625B2 (ja) ビデオ符号化のための高度な動きモデルを使った参照処理
CN105872566B (zh) 图像编码装置和方法、以及图像译码装置和方法
JP6905093B2 (ja) 映像コーディングにおける動き補償予測のオプティカルフロー推定
CN110121884A (zh) 用于滤波的方法和装置
JP2018533871A (ja) ビデオ復号方法及びその装置、並びにビデオ符号化方法及びその装置
TWI523528B (zh) 用於視訊編碼中整體像素位置之似內插濾波之方法、裝置、器件及電腦可讀儲存媒體
CN102685532B (zh) 自由视点四维空间视频编码系统的编码方法
RU2543953C2 (ru) Смешанные фильтры с отводами
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
CN102450009A (zh) 在视频应用中用于视频预处理的滤波器选择
US9883200B2 (en) Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video
MX2011010960A (es) Dispositivo y metodo de procesamiento de imagenes.
TW201119407A (en) Method for coding and method for reconstruction of a block of an image
KR101646856B1 (ko) 감소된 해상도 화소 보간
CN103747269B (zh) 一种滤波器插值方法及滤波器
CN113615194B (zh) 使用抽取预测块的dmvr
CN101765011A (zh) 缩放运动估计的方法和装置
CN101895749A (zh) 一种快速视差估计和运动估计方法
CN104581180A (zh) 一种视频编码方法及装置
US20150063455A1 (en) Methods and apparatuses for predicting depth quadtree in three-dimensional video
JP2023528609A (ja) 符号化・復号方法、装置及びそのデバイス
JP2012175527A (ja) 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法
CN103747251A (zh) 一种视频图像的插值优化方法及滤波器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20121219

RJ01 Rejection of invention patent application after publication