CN105430410B - 运动补偿装置及运动补偿方法 - Google Patents

运动补偿装置及运动补偿方法 Download PDF

Info

Publication number
CN105430410B
CN105430410B CN201510593828.7A CN201510593828A CN105430410B CN 105430410 B CN105430410 B CN 105430410B CN 201510593828 A CN201510593828 A CN 201510593828A CN 105430410 B CN105430410 B CN 105430410B
Authority
CN
China
Prior art keywords
pixel
filter
picture frame
motion compensation
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510593828.7A
Other languages
English (en)
Other versions
CN105430410A (zh
Inventor
陈俊嘉
张永昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105430410A publication Critical patent/CN105430410A/zh
Application granted granted Critical
Publication of CN105430410B publication Critical patent/CN105430410B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种运动补偿装置及运动补偿方法,该运动补偿装置包含一内插滤波装置、一像素撷取电路以及一像素调度电路。该内插滤波装置根据参考像素执行内插以产生内插后像素。该像素撷取电路自一参考图框中撷取该参考像素。该像素调度电路调度像素至该内插滤波装置,其中该像素包含该参考像素。由运动补偿的一正常模式以及一尺寸调整后的参考图框模式共享该内插滤波装置、该像素撷取电路以及该像素调度电路中的至少其中之一。本发明能有效降低制造成本。

Description

运动补偿装置及运动补偿方法
技术领域
本发明是有关影像处理,尤指具有正常模式与尺寸调整后的参考图框模式所共享的至少一处理电路的一种运动补偿装置以及一种相关运动补偿方法。
背景技术
连续的影像图框(frame)可能包含相同的物体(静物或移动物体)。运动估计(motion estimation)可检测由连续影像图框所组成的一影像序列(video sequence)中的物体的运动,以尝试取得用以表示运动估计的向量。运动补偿(motion compensation)则可使用运动估计所获得的物体运动的信息以压缩/解压缩图框数据。在帧间图框编码(inter-frame coding)中,由于在连续的影像图框间的高关联性,运动估计以及运动补偿得以成为消除时间冗余(temporal redundancy)的有效技术。
针对典型的编码演算法,一目前图框的图框维度(frame dimension)与一参考图框(例如,在编码器端的一重建图框(reconstructed frame)或在解码器端的解码图框(decoded frame))的图框维度是相同的,亦即,该目前图框与该参考图框具有相同宽度及高度。因此,可直接利用在该目前图框中的一目前区块(block)的一运动向量(motionvector),来定位在该参考图框中的一参考区块,以完成运动补偿。然而,针对一新发展的编码演算法,其可允许快速地(on the fly)改变图框分辨率。因此,该参考图框可被重新调整尺寸,以具有不同于该目前图框的分辨率。由于该目前图框和尺寸调整后的参考图框(resized reference frame)的图框维度不一致,该目前图框中的一目前区块的一运动向量无法被直接使用来定位该尺寸调整后的参考图框中的一参考区块,而进行运动补偿。因此需要一尺寸调整滤波器(resizing filter),以使得该尺寸调整后的参考图框中的一参考区块改变至该目前图框的比例(scale)。
使用两个分开的运动补偿器,其一用于正常模式,而另一用于尺寸调整后的参考图框模式并无法能有效降低成本。因此需要一创新的运动补偿设计。
发明内容
本发明的目的之一在于提供一种运动补偿装置以及一种相关运动补偿方法。
根据本发明的一第一观点,揭露一运动补偿装置的实施例。其中,该装置包含一内插滤波装置、一像素撷取电路以及一像素调度电路。该内插滤波装置是根据参考像素执行内插以产生内插像素。该像素撷取电路是用以自一参考图框撷取参考像素。而该像素调度电路是用以调度像素至该内插滤波装置。其中该像素包含该参考像素。该内插滤波装置、该像素撷取电路以及该像素调度电路中的至少其中之一是由运动补偿的一正常模式以及一尺寸调整后的参考图框(或称分辨率参考图框(resolution reference frame,RRF))模式所共享。
根据本发明的一第二观点,揭露一运动补偿方法的实施例,该方法包含:根据参考像素利用一内插滤波装置执行内插以产生内插像素;利用一像素撷取电路自一参考图框中撷取该参考像素;利用一像素调度电路以调度像素至该内插滤波装置,其中该像素包含该参考像素;以及由运动补偿的一正常模式以及一尺寸调整后的参考图框模式共享该内插滤波装置、该像素撷取电路以及该像素调度电路中的至少其中之一。
本发明的运动补偿装置及运动补偿方法,可用较少的制造成本,支援一正常模式以及一尺寸调整后的参考图框(或称为分辨率参考图框)模式的运动补偿,从而能有效降低成本。
附图说明
图1是根据本发明一实施例的运动补偿装置的示意图。
图2是根据本发明一实施例的分数像素内插滤波器的示意图。
图3是根据本发明一实施例的运动补偿的尺寸调整后的参考图框模式行为示意图。
图4是根据本发明一实施例的尺寸调整后的参考图框模式中的分数像素内插行为示意图。
图5是图1所示的一像素调度电路以及一内插滤波装置的一示范性实现示意图。
图6是根据本发明一实施例的运动补方法的流程图。
符号说明:
100 运动补偿装置
102 运动补偿虚拟参数产生器
104 像素撷取电路
106 像素调度电路
108 内插滤波装置
101 外部参考图框存储装置
116_1-116_N 滤波单元
MV 运动向量
INFRRF 尺寸调整信息
P1-P3 虚拟参数集
112 运动补偿区块撷取控制器
114 外部存储接口
FREF 参考图框
PREF 参考像素
202 乘法器
204 加法器
206 右移电路
P0-Pn 输入像素
C0-Cn 滤波器系数
R 整数值
200 分数像素内插滤波器
502 区块像素缓冲器
504 第一收发器
510_1-510_4 第一滤波器
516_1-516_4 尺寸调整参考图框滤波系数表
SEL0-SEL4 选择信号
508_1-508_4 缓冲器
512_1-512_4 第二滤波器
517 正常模式滤波系数表
506 第二收发器
517 尺寸调整后的参考图框模式调度参
数产生器
519 尺寸调整后的参考图框模式滤波系
数选择产生器
INF1 第一调度信息
INF2 第二调度信息
具体实施方式
在说明书及所附的权利要求当中使用了某些词汇来指称特定的元件。本领域技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及所附的权利要求并不以名称的差异来作为区分元件的方式,而是以元件在功能上的差异来作为区分的准则。在通篇说明书及所附的权利要求当中所提及的“包含”是为一开放式的用语,故应解释成“包含但不限定于”。此外,“耦接”一词在此是包含任何直接及间接的电气连接手段,因此,若文中描述一第一装置耦接于一第二装置,则代表该第一装置可直接电气连接于该第二装置,或者透过其他装置或连接手段间接地电气连接至该第二装置。
图1是根据本发明一实施例的运动补偿装置的示意图,在一应用中,运动补偿装置100可为用以执行影像编码程序的一影像编码器的一部份,其中该影像编码程序符合一影像编码标准,如VP9或可适性视频编码(scalable video coding,SVC)。而在另一应用中,运动补偿装置100可为用以执行影像解码程序的一影像解码器的一部份,其中该影像解码程序符合一影像编码标准,如VP9或可适性视频编码(scalable video coding,SVC)。根据VP9/可适性视频编码影像编码标准,参考图框尺寸调整特征(reference frame resizingfeature)为允许一影像位流中的一图框尺寸快速(on-the-fly)改变的技术,因此,一目前图框(例如,目前在编码器端被编码的一影像图框或目前在解码器端被解码的一影像图框)以及一参考图框(例如,在编码器端做为一参考图框的一尺寸调整后的重建图框或在解码器端做为一参考图框的一尺寸调整后的重建图框)的图框维度会有所差异。本发明提出的运动补偿装置100可用较少的制造成本,支援一正常模式以及一尺寸调整后的参考图框(或称为分辨率参考图框)模式的运动补偿。举例来说,运动补偿装置100可设定为具有至少一处理电路,其由正常模式以及尺寸调整后的参考图框模式所共享。换句话说,当使用本发明所提出的硬件架构共享技术时,运动补偿装置100的至少一部分(部分或全部)可涉及正常模式的运动补偿以及尺寸调整后的参考图框模式的运动补偿。
如图1所示,运动补偿装置100包含一运动补偿的虚拟参数产生器(motioncompensation pseudo-parameter generator)102、一像素撷取电路(pixel fetchingcircuit)104、一像素调度电路(pixel dispatching circuit)106以及一内插滤波装置(interpolation filter device)108。其中运动补偿虚拟参数产生器102用于设定运动补偿虚拟参数(motion compensation pseudo-parameter),以控制尺寸调整后的参考图框模式中的内插滤波装置108、像素撷取电路104以及像素调度电路106的操作。举例来说,像素撷取电路104回应产生自运动补偿虚拟参数产生器102的运动补偿虚拟参数集P1,像素调度电路106回应产生自运动补偿虚拟参数产生器102的运动补偿虚拟参数集P2,而内插滤波装置108回应产生自运动补偿虚拟参数产生器102的运动补偿虚拟参数集P3。在此实施例中,运动补偿虚拟参数产生器102接收一运动向量以及尺寸调整信息INFRRF,以产生该运动补偿虚拟参数。
像素撷取电路104是用以自存储在一外部参考图框存储装置101中的一参考图框FREF,撷取参考像素PREF。举例来说,外部参考图框存储装置101可为一动态随机存取记忆体(dynamic random access memory,DRAM)。在此实施例中,像素撷取电路104包含一运动补偿区块撷取控制器(motion compensation block fetch controller)112以及一外部存储接口114,举例来说,外部存储接口114可为一记忆接口,如一直接记忆体存取接口。运动区块撷取控制器112可参考运动补偿虚拟参数集P1中所提供的参数,以透过外部存储接口114产生撷取命令至外部参考图框存储装置101。其中,该撷取命令是用以撷取参考像素PREF,其用于决定一目前图框的一目前区块中用于运动补偿的内插像素。
像素调度电路106是用以调度像素至内插滤波装置108中。其中,该像素包含在中参考像素PREF,而参考像素PREF经由像素撷取电路104的控制下自外部参考图框存储装置101中所读取。内插滤波装置108根据参考像素PREF执行内插(例如,分数像素内插(fractional-pel interpolation))以产生内插像素。举例来说,内插滤波装置108可具有滤波单元116_1-116_N。其中,N为一正整数。每一个滤波单元116_1-116_N可分别具有一水平滤波器以及一垂直滤波器。在一实施例中,参考像素PREF的一部份可由一滤波单元的一水平滤波器处理以产生一滤波后像素,然后由该水平滤波器所连续产生的多个滤波后像素可由同一滤波单元中的一垂直滤波器所处理以产生一内插像素。在另一实施例中,参考像素PREF的一部份可由一滤波单元的一垂直滤波器处理以产生一滤波后像素,然后由该垂直滤波器所连续产生的多个滤波后像素可由同一滤波单元中的一水平滤波器所处理以产生一内插像素。也就是说,同一滤波单元中水平方向内插以及垂直方向内插的执行顺序是依据实际设计上的需求而定。
图2是根据本发明一实施例的分数像素内插滤波器(fractional-pelinterpolation filter)的示意图。分数像素内插滤波器200包含多个乘法器202、一加法器204以及一右移电路(right-shift circuit)206,而分数像素内插法可以下列公式表示:
(C0*P0+C1*P1+…+Cn*Pn+R)>>S。其中,P0-Pn代表输入像素(input pixels),C0-Cn代表滤波器系数(filter coefficients),R代表一整数值(rounding value),而S代表一右移位数(right-shifted bit number)。内插滤波装置108所包含的每一垂直滤波器以及每一水平滤波器可使用分数像素内插滤波器200来实现。在一分数像素内插滤波器200做为一水平滤波器的案例中,P0-Pn可代表位于同一列(row)上的输入像素或代表相同垂直位置的分数像素(fractional pixels)。在一分数像素内插滤波器200做为一垂直滤波器的案例中,P0-Pn可代表位于同一行(column)上的输入像素或代表相同水平位置的分数像素。水平滤波器以及垂直滤波器的滤波系数C0-Cn需适当的设定,以获得准确的内插像素。
在此实施例中,运动补偿装置100利用一硬件共享技术。因此,运动补偿的一正常模式以及一尺寸调整后的参考图框模式(resized reference frame mode,RRF mode)共享内插滤波装置108、像素撷取电路104以及像素调度电路106中的至少其中之一。当一目前图框的尺寸与一参考图框的尺寸相等时,启用该正常模式。本领域具有通常知识者应能轻易理解正常模式的运动补偿的细节,进一步描述在此省略以省篇幅。然而,当一目前图框的尺寸与一参考图框的尺寸不同时,启用该尺寸调整后的参考图框模式,详细来说,在正常模式中被用以决定运动补偿的内插像素的至少部份运动补偿硬件可被该尺寸调整后的参考图框模式重复利用来决定运动补偿的内插像素。举例来说,利用像素撷取电路104、像素调度电路106以及内插滤波装置108执行运动补偿正常模式,而像素撷取电路104、像素调度电路106以及内插滤波装置108可被重复使用来执行尺寸调整后的参考图框模式。
图3是根据本发明一实施例的尺寸调整后的参考图框模式的运动补偿的行为示意图。因为该目前图框的尺寸不同于该参考图框的尺寸,所以使用该参考图框中的一比例预测区块(scaled prediction block)做为目前区块的一运动补偿区块(motioncompensated block)。其中,比例预测区块是由该参考图框中的一比例运动向量(scaledmotion vector)以及一比例区块(scaled block)所决定。然而,该比例预测区块可能不位于一整数像素位置(integer-pel location)(即该比例预测区块并非由该参考图框中的整数位置像素所组成)。因此,需要分数像素内插来决定该比例预测区块的内插像素(即分数位置像素)。
图4是根据本发明一实施例的尺寸调整后的参考图框模式中的分数像素内插的行为示意图。其中,比例预测区块BKSP并非位于一整数像素位置,并且是由分数位置像素(fractional-position pixels)R1-R16所组成。而由于该目前图框的尺寸以及该参考图框的尺寸不一致,分数位置像素R1-R16不具有关于整数位置像素的一固定水平分数偏移(constant horizontal fraction offset)以及关于整数位置像素的一固定垂直分数偏移(constant vertical fraction offset)。举例来说,分数位置像素R2的水平分数偏移offesr_x(R2)与水平分数偏移offset_x(R8)不同,且分数位置像素R2的垂直分数位移offeset_y(R2)与垂直分数位移offset_y(R8)不同。如图4所示,分数位置像素R1-R16具有不规则的(irregular)水平分数偏移以及不规则的垂直分数偏移。因此,每一滤波单元116_1-116_N(例如N=4)所使用的滤波系数不一定相同。在先执行水平内插的一例子中,滤波单元116_1-116_N(例如N=4)中的其中之一的一水平滤波器所使用的滤波系数可能与116_1-116_N(例如N=4)中的另一滤波单元的一水平滤波器所使用的滤波系数不同。在先执行垂直内插的另一例子中,滤波单元116_1-116_N(例如N=4)中的其中之一的一垂直滤波器所使用的滤波系数可能与116_1-116_N(例如N=4)中的另一滤波单元的一垂直滤波器所使用的滤波系数不同。
另外,因为分数位置像素R1-R16具有不规则的水平分数位移以及不规则的垂直分数位移,所以输入进滤波单元116_1-116_N(例如,N=4)的输入像素不一定会彼此不同。举例来说,输入进滤波单元116_1-116_N(例如,N=4)中其中之一的一水平滤波器的输入像素可能与输入进滤波单元116_1-116_N(例如,N=4)中的另一个滤波单元的一水平滤波器的输入像素相同。举另一例子而言,输入进滤波单元116_1-116_N(例如,N=4)中其中之一的一垂直滤波器的输入像素可能与输入进滤波单元116_1-116_N(例如,N=4)中的另一个滤波单元的一垂直滤波器的输入像素相同。在一个每一滤波单元依照顺序执行水平内插以及垂直内插的案例中,将位于X=1~6的六个参考像素调度至用以产生分数位置像素R1的一第一滤波单元。其中,根据水平分数位移offset_x(R1)以及垂直分数位移offset_y(R1)来设定该第一滤波单元的滤波系数。将位于X=1~6的六个参考像素调度至用以产生分数位置像素R2的一第二滤波单元。其中,根据水平分数位移offset_x(R2)以及垂直分数位移offset_y(R2)来设定该第二滤波单元的滤波系数。将位于X=2~7的六个参考像素调度至用以产生分数位置像素R3的一第三滤波单元。其中,根据水平分数位移offset_x(R3)以及垂直分数位移offset_y(R3)来设定该第三滤波单元的滤波系数。将位于X=2~7的六个参考像素调度至用以产生分数位置像素R4的一第四滤波单元。其中,根据水平分数位移offset_x(R4)以及垂直分数位移offset_y(R4)来设定该第四滤波单元的滤波系数,在此例子中,水平分数位移offset_x(R1)到水平分数位移offset_x(R4)可能彼此相异,而垂直分数位移offset_y(R1)到垂直分数位移offset_y(R4)却可能皆相同。然而,此仅为一范例说明,并非本发明的一限制。
在此实施例中,运动补偿的一正常模式以及一尺寸调整后的参考图框模式共享内插滤波装置108、像素撷取电路104以及像素调度电路106中的至少其中之一。如上所述,该正常模式的运动补偿以及该尺寸调整后的参考图框模式的运动补偿可能需要不同的参数设定。因此,应该适当地设定在运动补偿装置100中的每一个被共享的处理电路,以支援该正常模式的运动补偿以及该尺寸调整后的参考图框模式的运动补偿。参考图1以及图5,图5是图1所示的一像素调度电路106以及一内插滤波装置108的一实作实施例的示意图。其中,图1中的像素调度电路106可包含一第一收发器(dispatcher)504、一第二收发器506以及多个缓冲器508_1-508_N(例如,N=4)。图1中的内插滤波装置108可包含多个第一滤波器510_1-510_N(例如,N=4)、多个第二滤波器512_1-512_N(例如,N=4)、一正常模式的滤波系数表(标注为TBNR)514、多个尺寸调整后的参考图框模式的滤波参数表(标注为TBRRF)516_1-516_N(例如,N=4)。其中,串联连接的一第一滤波器以及一第二滤波器的组合可形成一滤波单元。举例来说,图1所示的滤波单元116_1可包含第一滤波器510_1以及第二滤波器512_1。
除此之外,图1中的运动补偿虚拟参数产生器102可包含一尺寸调整后的参考图框模式调度参数产生器517以及一尺寸调整后的参考图框模式滤波系数选择产生器519。其中,尺寸调整后的参考图框模式调度参数产生器517是用以产生包含第一调度信息INF1以及第二调度信息INF2的一虚拟参数集P2至像素调度电路106。其中,第一调度信息INF1是提供予第一收发器504,而第二调度信息INF2是提供予第二收发器506。尺寸调整后的参考图框模式滤波系数选择产生器519是用以产生一虚拟参数集P3。其中,虚拟参数集P3包含的多个选择信号(例如,Se10-Se13),用以分别提供予尺寸调整后的参考图框模式滤波系数表(例如,516_1-516_4)。其中,每一选择信号是用以自所对应的尺寸调整后的参考图框模式滤波系数表中选择一组滤波系数。
在一第一示范性实施例中,像素撷取电路104可设定由该正常模式(目前图框尺寸=参考图框尺寸)以及该尺寸调整后的参考图框模式(目前图框尺寸≠参考图框尺寸)所共享。因此,对于在该目前图框中的相同目前区块,为了在该尺寸调整后的参考图框模式中执行分数像素内插自外部参考图框存储装置101中所撷取的该目前区块的整数位置参考像素可能与为了在该正常模式中执行分数像素内插自外部参考图框装置101中所撷取的该目前区块的整数位置参考像素不同。运动补偿虚拟参数产生器102是用以自一前处理电路(例如,当运动补偿装置100为一影像解码器的一部份时的一可变长度解码(variable-lengthdecoding,VLD)电路)接收一运动向量MV以及尺寸调整信息(resizing information)INFRRF,并产生虚拟参数集P1至像素撷取电路104。举例来说,尺寸调整信息INFRRF可包含该目前区块的一区块尺寸、该目前区块的一区块位置、该目前图框的一图框尺寸、该参考图框的一图框尺寸等等。运动补偿虚拟参数产生器102可参考运动向量MV以及尺寸调整信息INFRRF来决定一比例预测区块启动X坐标以及比例预测区块启动Y坐标,然后决定分数像素内插所需要的整数位置参考像素。其中,该分数像素内插是用以产生目前区块的一运动补偿区块的内插像素。
在一第二示范性实施例中,像素调度电路106可设定由该正常模式(目前图框尺寸=参考图框尺寸)以及该尺寸调整后的参考图框模式(目前图框尺寸≠参考图框尺寸)所共享,举例来说,该正常模式以及该尺寸调整后的参考图框模式可共享第一收发器504与第二收发器506的其中之一或两者。如图5所示,可以使用一区块像素缓冲器502短暂地存储该目前区块的整数位置参考像素。其中,该目前区块的整数位置参考像素撷取自外部参考图框存储装置101。在一第一滤波器510_1-510_N(例如,N=4)为水平滤波器而第二滤波器512_1-512_N(例如,N=4)为垂直滤波器的例子中,第一收发器504为一水平收发器而第二收发器506为一垂直收发器。而在一第一滤波器510_1-510_N(例如,N=4)为垂直滤波器而第二滤波器512_1-512_N(例如,N=4)为水平滤波器的例子中,第一收发器504为一垂直收发器而第二收发器506为一水平收发器。
第一收发器504是用以根据调度信息INF1来将读取自区块像素缓冲器502的参考像素调度至一滤波器510_1-510_N(例如,N=4),藉此使得每一第一滤波器使用调度后参考像素做为其输入像素并相应的产生一滤波后像素。缓冲器508_1-508_N(例如,N=4)是用以缓冲产生自第一滤波器510_1-510_N(例如,N=4)的滤波后像素。举例来说,缓冲器508_1-508_N(例如,N=4)可使用位移暂存器来实现。第二收发器506是用以根据调度信息INF2控制每一个缓冲器508_1-508_N(例如,N=4),以将由先前第一滤波器所产生的滤波后像素调度至一后续第二滤波器,藉此使得每一第二滤波器使用调度后的滤波后像素做为其输入像素并相应的产生一内插后像素。需注意的是,由于尺寸调整后的参考图框模式中的不规则分数位移,因此根据相同的输入像素(即产生自先前的第一滤波器的相同滤波后像素),连续两个内插后像素可能皆产生自同一第二滤波器。因此,第二收发器506可适当地控制该缓冲器(例如位移暂存器)以多次地输出该相同的滤波后像素。
运动补偿虚拟参数产生器102是用以自一先前的处理电路(例如,当运动补偿装置100为一影像解码器的一部份时的一可变长度解码电路)接收运动向量MV以及尺寸调整信息INF--RRF,并产生虚拟参数集P2至像素调度电路106。举例来说,尺寸调整信息INFRRF可包含该目前区块的一区块尺寸、该目前区块的一区块位置、该目前图框的一图框尺寸、该参考图框的一图框尺寸等等。运动补偿虚拟参数产生器102参考运动向量MV以及尺寸调整信息INFRRF来决定一比例预测区块启动X坐标以及一比例预测区块启动Y坐标,且接下来决定每一第一滤波器所需的该参考像素以及每一第二滤波器所需的滤波后像素,并设定第一调度信息INF1以及第二调度信息INF2。
在一第三示范性实施例中,内插滤波装置108可由该正常模式(目前图框尺寸=参考图框尺寸)以及该尺寸调整后的参考图框模式(目前图框尺寸≠参考图框尺寸)所共享。因此,该正常模式以及该尺寸调整后的参考图框模式可共享第一滤波器510_1-510_N(例如,N=4)及/或第二滤波器512_1-512_N(例如,N=4)。举例来说,第一滤波器510_1-510_N(例如,N=4)为水平滤波器而第二滤波器512_1-512_N(例如,N=4)为垂直滤波器。而在另一例子中,第一滤波器510_1-510_N(例如,N=4)为垂直滤波器而第二滤波器512_1-512_N(例如,N=4)为水平滤波器。如图5所示,尺寸调整后的参考图框模式的滤波系数表516_1-516_N(例如,N=4)可分别耦接至第一滤波器(例如水平滤波器或垂直滤波器)510_1-510_N(例如,N=4)。如上所述,分数位置像素(即内插像素)具有不规则水平分数位移以及不规则的垂直分数位移。因此,在尺寸调整后的参考图框模式中,可适当地控制每一尺寸调整后的参考图框模式的滤波系数表516_1-516_N(例如,N=4),以选择所对应的第一滤波器的一组滤波系数,藉此每一第一滤波器使用所选择的滤波系数以产生一滤波后像素。
运动补偿虚拟参数产生器102是用以自一先前的处理电路(例如,当运动补偿装置100为一影像解码器的一部份时的一可变长度解码电路)接收运动向量MV以及尺寸调整信息INF--RRF,并产生虚拟参数集P3至内插滤波装置108。举例来说,尺寸调整信息INFRRF可包含该目前区块的一区块尺寸、该目前区块的一区块位置、该目前图框的一图框尺寸、该参考图框的一图框尺寸等等。运动补偿虚拟参数产生器102参考运动向量MV以及尺寸调整信息INFRRF来决定一比例预测区块启动X坐标以及一比例预测区块启动Y坐标,且接下来决定每一第一滤波器以及每一第二滤波器需要的滤波系数。举例来说,为了产生内插后像素,可设定第一滤波器510_1-510_N(例如,N=4)使用不同滤波系数设定,并可设定第二滤波器512_1-512_N(例如,N=4)使用相同的滤波系数设定,然而,此仅为范例说明,并非本发明的一限制。
图6是根据本发明一实施例的运动补方法的流程图。倘若大体上能得到相同结果,不一定需要完全遵照图6所示流程的步骤顺序进行。除此之外,可添加或移除一个或多个图6所示的步骤流程,该运动补偿方法可由图1所示的运动补偿装置100使用,流程可归纳如下。
步骤600:开始。
步骤602:获取目前区块模式。
步骤604:确认是否在一正常模式执行运动补偿,若是,进入步骤606;否则,进入步骤608。
步骤606:执行运动补偿的正常模式的分数像素内插,进入步骤616。
步骤608:根据一运动向量以及尺寸调整信息产生运动补偿虚拟参数。
步骤610:利用一像素撷取电路以自一参考图框撷取参考像素。该像素撷取电路可由该正常模式以及该尺寸调整后的参考图框模式所共享,且可根据一虚拟参数集撷取该参考像素。
步骤612:利用一像素调度电路以调度像素至一内插滤波装置。其中,该像素包含该参考像素,该像素调度电路可由该正常模式以及该尺寸调整后的参考图框模式所共享,且根据一虚拟参数集调度该像素至该内插滤波装置。
步骤614:利用该内插滤波装置以对该参考像素执行内插来产生内插后像素。该内插滤波装置可由该正常模式以及该尺寸调整后的参考图框模式所共享,且根据一虚拟参数集来执行尺寸调整后的参考图框模式的运动补偿的分数像素内插。
步骤616:确认上一区块的运动补偿是否完成。若是,则进入步骤618;否则,进入步骤602以执行另一区块的运动补偿。
步骤618:结束。
本领域具通常知识者在阅读上述段落后应能轻易理解图6所示的每一步骤细节,详细描述在此省略以省篇幅。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (26)

1.一种运动补偿装置,其特征在于,包含:
一内插滤波装置,用以根据多个参考像素来执行内插,以产生多个内插后像素;
一像素撷取电路,用以自一参考图框撷取所述多个参考像素;以及
一像素调度电路,用以将多个像素调度至所述内插滤波装置,其中所述多个像素包含所述多个参考像素;
其中所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一是由运动补偿的一正常模式以及一尺寸调整后的参考图框模式所共享;
其中所述内插滤波装置包含:
多个水平滤波器,由所述正常模式以及所述尺寸调整后的参考图框模式所共享;
多个尺寸调整后的参考图框模式的滤波系数表,分别耦接至所述多个水平滤波器的;以及
一尺寸调整后的参考图框模式的滤波系数选择产生器,用以分别产生多个选择信号至所述多个尺寸调整后的参考图框模式的滤波系数表,其中所述尺寸调整后的参考图框模式中的每一水平滤波器所使用的滤波系数是根据一所对应的选择信号而选择自一所对应的尺寸调整后的参考图框模式的滤波系数表。
2.如权利要求1所述的运动补偿装置,其特征在于,所述像素调度电路包含由所述正常模式以及所述尺寸调整后的参考图框模式所共享的一收发器,并用以调度所述多个参考像素至包含于所述内插滤波装置的多个滤波器,其中所述多个滤波器是用以在一相同方向中执行内插。
3.如权利要求1所述的运动补偿装置,其特征在于,所述像素调度电路包含:
多个缓冲器,其中每一缓冲器耦接至所述内插滤波装置的一第一滤波器以及一第二滤波器之间;以及
一收发器,其中所述收发器由所述正常模式以及所述尺寸调整后的参考图框模式所共享,且用以控制所述多个缓冲器以分别调度产生自多个第一滤波器的滤波后像素至多个第二滤波器,其中所述多个第一滤波器以及所述多个第二滤波器包含于所述内插滤波装置,所述多个第一滤波器是用以在一相同的第一方向中执行内插,而所述多个第二滤波器是用以在与所述第一方向不同的同一第二方向中执行内插。
4.如权利要求1所述的运动补偿装置,其特征在于,所述像素撷取电路是由所述正常模式以及所述尺寸调整后的参考图框模式所共享。
5.如权利要求1所述的运动补偿装置,其特征在于,另包含:
一运动补偿虚拟参数产生器,是用以在所述尺寸调整后的参考图框模式中控制所述内插滤波装置、所述像素撷取电路以及所述像素调度电路的操作。
6.如权利要求5所述的运动补偿装置,其特征在于,所述运动补偿虚拟参数产生器是用以在所述尺寸调整后的参考图框模式中接收一运动向量以及尺寸调整相关信息,以产生运动补偿虚拟参数至所述内插滤波装置、所述像素撷取电路以及所述像素调度电路。
7.如权利要求5所述的运动补偿装置,其特征在于,所述运动补偿虚拟参数产生器包含尺寸调整后的参考图框模式调度参数产生器,该尺寸调整后的参考图框模式调度参数产生器产生调度信息至该像素调度电路。
8.一种运动补偿装置,其特征在于,包含:
一内插滤波装置,用以根据多个参考像素来执行内插,以产生多个内插后像素;
一像素撷取电路,用以自一参考图框撷取所述多个参考像素;以及
一像素调度电路,用以将多个像素调度至所述内插滤波装置,其中所述多个像素包含所述多个参考像素;
其中所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一是由运动补偿的一正常模式以及一尺寸调整后的参考图框模式所共享;
其中所述内插滤波装置包含:
多个垂直滤波器,由所述正常模式以及所述尺寸调整后的参考图框模式所共享;
多个尺寸调整后的参考图框模式的滤波系数表,分别耦接至所述多个垂直滤波器的;以及
一尺寸调整后的参考图框模式的滤波系数选择产生器,用以分别产生多个选择信号至所述多个尺寸调整后的参考图框模式的滤波系数表,其中所述尺寸调整后的参考图框模式中的每一垂直滤波器所使用的滤波系数是根据一所对应的选择信号而选择自一所对应的尺寸调整后的参考图框模式滤波系数表。
9.如权利要求8所述的运动补偿装置,其特征在于,所述像素调度电路包含由所述正常模式以及所述尺寸调整后的参考图框模式所共享的一收发器,并用以调度所述多个参考像素至包含于所述内插滤波装置的多个滤波器,其中所述多个滤波器是用以在一相同方向中执行内插。
10.如权利要求8所述的运动补偿装置,其特征在于,所述像素调度电路包含:多个缓冲器,其中每一缓冲器耦接至所述内插滤波装置的一第一滤波器以及一第二滤波器之间;以及
一收发器,其中所述收发器由所述正常模式以及所述尺寸调整后的参考图框模式所共享,且用以控制所述多个缓冲器以分别调度产生自多个第一滤波器的滤波后像素至多个第二滤波器,其中所述多个第一滤波器以及所述多个第二滤波器包含于所述内插滤波装置,所述多个第一滤波器是用以在一相同的第一方向中执行内插,而所述多个第二滤波器是用以在与所述第一方向不同的同一第二方向中执行内插。
11.如权利要求8所述的运动补偿装置,其特征在于,所述像素撷取电路是由所述正常模式以及所述尺寸调整后的参考图框模式所共享。
12.如权利要求8所述的运动补偿装置,其特征在于,另包含:
一运动补偿虚拟参数产生器,是用以在所述尺寸调整后的参考图框模式中控制所述内插滤波装置、所述像素撷取电路以及所述像素调度电路的操作。
13.如权利要求8所述的运动补偿装置,其特征在于,所述运动补偿虚拟参数产生器是用以在所述尺寸调整后的参考图框模式中接收一运动向量以及尺寸调整相关信息,以产生运动补偿虚拟参数至所述内插滤波装置、所述像素撷取电路以及所述像素调度电路。
14.如权利要求8所述的运动补偿装置,其特征在于,所述运动补偿虚拟参数产生器包含尺寸调整后的参考图框模式调度参数产生器,该尺寸调整后的参考图框模式调度参数产生器产生调度信息至该像素调度电路。
15.一种运动补偿方法,其特征在于,包含:
利用一内插滤波装置以根据多个参考像素来执行内插,以产生多个内插后像素;
利用一像素撷取电路以自一参考图框撷取所述多个参考像素;以及
利用一像素调度电路以调度多个像素至所述内插滤波装置,其中所述多个像素包含所述多个参考像素;
由运动补偿的一正常模式以及一尺寸调整后的参考图框模式共享所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一,包括:
由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述内插滤波装置中的多个水平滤波器;
其中由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述内插滤波装置中的所述多个水平滤波器的步骤包含:
分别产生多个选择信号至多个尺寸调整后的参考图框模式的滤波系数表;
其中所述多个尺寸调整后的参考图框模式的滤波系数表分别耦接至所述多个水平滤波器;以及所述尺寸调整后的参考图框模式中的每一水平滤波器所使用的滤波系数是根据一所对应的选择信号而选择自一所对应的尺寸调整后的参考图框模式的滤波系数表。
16.如权利要求15所述的运动补偿方法,其特征在于,共享该内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一的步骤包含:
由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述像素调度电路的一收发器;以及
利用所述收发器以调度所述多个参考像素至包含于所述内插滤波装置的多个滤波器,其中所述多个滤波器是用以在一相同方向中执行内插。
17.如权利要求15所述的运动补偿方法,其特征在于,共享所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一的步骤包含:
由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述像素调度电路的一收发器;以及
利用所述收发器以控制多个缓冲器来调度产生自多个第一滤波器的多个滤波后像素分别至多个第二滤波器,其中每一缓冲器耦接至包含于所述内插滤波装置的一第一滤波器以及一第二滤波器之间,所述多个第一滤波器以及所述多个第二滤波器包含于所述内插滤波装置中,其中所述多个第一滤波器是用以在一相同的第一方向中执行内插,而所述多个第二滤波器是用以在与所述第一方向不同的同一第二方向中执行内插。
18.如权利要求15所述的运动补偿方法,其特征在于,共享所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一的步骤包含:
由所述正常模式以及所述尺寸调整后的参考图框模式共享所述像素撷取电路。
19.如权利要求15所述的运动补偿方法,其特征在于,另包含:
在所述尺寸调整后的参考图框模式中产生运动补偿虚拟参数以控制所述内插滤波装置、所述像素撷取电路以及所述像素调度电路的操作。
20.如权利要求19所述的运动补偿方法,其特征在于,产生运动补偿虚拟参数的步骤包含:
接收一运动向量以及尺寸调整相关信息以产生所述运动补偿虚拟参数。
21.一种运动补偿方法,其特征在于,包含:
利用一内插滤波装置以根据多个参考像素来执行内插,以产生多个内插后像素;
利用一像素撷取电路以自一参考图框撷取所述多个参考像素;以及
利用一像素调度电路以调度多个像素至所述内插滤波装置,其中所述多个像素包含所述多个参考像素;
由运动补偿的一正常模式以及一尺寸调整后的参考图框模式共享所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一,包括:
由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述内插滤波装置中的多个垂直滤波器;
其中由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述内插滤波装置中的多个垂直滤波器的步骤包括:
分别产生多个选择信号至多个尺寸调整后的参考图框模式的滤波系数表;
其中所述多个尺寸调整后的参考图框模式的滤波系数表分别耦接至所述多个垂直滤波器;以及所述尺寸调整后的参考图框模式中的每一垂直滤波器所使用的滤波系数是根据一所对应的选择信号而选择自一所对应的尺寸调整后的参考图框模式滤波系数表。
22.如权利要求21所述的运动补偿方法,其特征在于,共享该内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一的步骤包含:
由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述像素调度电路的一收发器;以及
利用所述收发器以调度所述多个参考像素至包含于所述内插滤波装置的多个滤波器,其中所述多个滤波器是用以在一相同方向中执行内插。
23.如权利要求21所述的运动补偿方法,其特征在于,共享所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一的步骤包含:
由所述正常模式以及所述尺寸调整后的参考图框模式共享包含于所述像素调度电路的一收发器;以及
利用所述收发器以控制多个缓冲器来调度产生自多个第一滤波器的多个滤波后像素分别至多个第二滤波器,其中每一缓冲器耦接至包含于所述内插滤波装置的一第一滤波器以及一第二滤波器之间,所述多个第一滤波器以及所述多个第二滤波器包含于所述内插滤波装置中,其中所述多个第一滤波器是用以在一相同的第一方向中执行内插,而所述多个第二滤波器是用以在与所述第一方向不同的同一第二方向中执行内插。
24.如权利要求21所述的运动补偿方法,其特征在于,共享所述内插滤波装置、所述像素撷取电路以及所述像素调度电路中的至少其中之一的步骤包含:
由所述正常模式以及所述尺寸调整后的参考图框模式共享所述像素撷取电路。
25.如权利要求21所述的运动补偿方法,其特征在于,另包含:
在所述尺寸调整后的参考图框模式中产生运动补偿虚拟参数以控制所述内插滤波装置、所述像素撷取电路以及所述像素调度电路的操作。
26.如权利要求25所述的运动补偿方法,其特征在于,产生运动补偿虚拟参数的步骤包含:
接收一运动向量以及尺寸调整相关信息以产生所述运动补偿虚拟参数。
CN201510593828.7A 2014-09-17 2015-09-17 运动补偿装置及运动补偿方法 Expired - Fee Related CN105430410B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462051332P 2014-09-17 2014-09-17
US62/051,332 2014-09-17
US14/845,282 US20160080771A1 (en) 2014-09-17 2015-09-04 Motion compensation apparatus having at least one processing circuit shared by normal mode and resized reference frame mode and related motion compensation method
US14/845,282 2015-09-04

Publications (2)

Publication Number Publication Date
CN105430410A CN105430410A (zh) 2016-03-23
CN105430410B true CN105430410B (zh) 2019-01-11

Family

ID=55456124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510593828.7A Expired - Fee Related CN105430410B (zh) 2014-09-17 2015-09-17 运动补偿装置及运动补偿方法

Country Status (2)

Country Link
US (1) US20160080771A1 (zh)
CN (1) CN105430410B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3777170A4 (en) * 2019-03-01 2021-11-10 Alibaba Group Holding Limited ADAPTIVE RESOLUTION VIDEO CODING
EP3932058A4 (en) 2019-04-01 2022-06-08 Beijing Bytedance Network Technology Co., Ltd. USING HISTORY INTERPOLATION FILTERS BASED ON MOTION VECTOR PREDICTION
KR102635319B1 (ko) 2019-08-20 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용
WO2021134222A1 (en) * 2019-12-30 2021-07-08 Alibaba Group Holding Limited Selective control of conditional filters in resolution-adaptive video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101304520A (zh) * 2007-05-09 2008-11-12 扬智科技股份有限公司 影像解码系统及其运动补偿的自适性快取方法
CN101472179A (zh) * 2007-12-29 2009-07-01 辉达公司 多个视频标准下的运动补偿的二维内插结构
CN101990758A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 基于固定滤波器或自适应滤波器的用于视频译码的由速率失真定义的内插
CN102158635A (zh) * 2011-05-04 2011-08-17 凌阳科技股份有限公司 运动向量改善装置
CN103051892A (zh) * 2011-10-14 2013-04-17 联发科技股份有限公司 内嵌式回路滤波方法以及内嵌式回路滤波装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
JP5606625B2 (ja) * 2010-07-21 2014-10-15 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための高度な動きモデルを使った参照処理
KR101377528B1 (ko) * 2011-01-15 2014-03-27 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
CN107241606B (zh) * 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101304520A (zh) * 2007-05-09 2008-11-12 扬智科技股份有限公司 影像解码系统及其运动补偿的自适性快取方法
CN101472179A (zh) * 2007-12-29 2009-07-01 辉达公司 多个视频标准下的运动补偿的二维内插结构
CN101990758A (zh) * 2008-04-10 2011-03-23 高通股份有限公司 基于固定滤波器或自适应滤波器的用于视频译码的由速率失真定义的内插
CN102158635A (zh) * 2011-05-04 2011-08-17 凌阳科技股份有限公司 运动向量改善装置
CN103051892A (zh) * 2011-10-14 2013-04-17 联发科技股份有限公司 内嵌式回路滤波方法以及内嵌式回路滤波装置

Also Published As

Publication number Publication date
CN105430410A (zh) 2016-03-23
US20160080771A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
CN105430410B (zh) 运动补偿装置及运动补偿方法
CN104539966B (zh) 图像预测方法及相关装置
CN103283234B (zh) 用于视频编码的样本自适应偏移的方法和装置
CN109314779A (zh) 用于视频编码中的运动向量储存的方法及其装置
US8654847B2 (en) Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
US10735727B2 (en) Method of adaptive filtering for multiple reference line of intra prediction in video coding, video encoding apparatus and video decoding apparatus therewith
KR102587638B1 (ko) 비디오 코딩을 위해 이웃 블록 패턴을 이용하는 모션 추정 방법 및 시스템
CN104202602B (zh) 执行视频编码的装置及方法
CN103430545A (zh) 用于高效视频编码的内容适应性运动补偿滤波
TW201238355A (en) Low memory access motion vector derivation
CN103229508A (zh) 图像编码装置以及图像编码方法
CN101938649B (zh) 译码设备、译码控制设备、译码方法和程序
CN107027339A (zh) 确定调整大小的参考帧的参考块的位置的视频处理方法和相关视频处理装置
US20160142738A1 (en) Method for Deblocking Filtering
US20060088097A1 (en) Moving picture encoding apparatus having increased encoding speed and method thereof
CN109891892A (zh) 依赖于图像编译系统中的帧内预测的图像解码方法和装置
CN110381321B (zh) 一种用于运动补偿的插值计算并行实现方法
CN106534850B (zh) 图像处理装置、图像插值方法和图像编码方法
CN106101731B (zh) 图像无损压缩方法及装置
CN101005619B (zh) 一种环路滤波的方法
CN114598877A (zh) 帧间预测方法及相关设备
EP3180913A1 (en) System and method for depth map coding for smooth depth map area
CN102685368B (zh) 以子列为单位的扫描方法
CN103888780B (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法
CN114026867B (zh) 分辨率自适应视频编解码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190111

Termination date: 20200917

CF01 Termination of patent right due to non-payment of annual fee