CN110662034B - 自适应性滤波方法和使用该方法的视频编码及解码装置 - Google Patents

自适应性滤波方法和使用该方法的视频编码及解码装置 Download PDF

Info

Publication number
CN110662034B
CN110662034B CN201910572940.0A CN201910572940A CN110662034B CN 110662034 B CN110662034 B CN 110662034B CN 201910572940 A CN201910572940 A CN 201910572940A CN 110662034 B CN110662034 B CN 110662034B
Authority
CN
China
Prior art keywords
index
filter
samples
intra prediction
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910572940.0A
Other languages
English (en)
Other versions
CN110662034A (zh
Inventor
林敬杰
林俊隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN110662034A publication Critical patent/CN110662034A/zh
Application granted granted Critical
Publication of CN110662034B publication Critical patent/CN110662034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本揭露内容提出一种应用于视频内容编码的多重参考邻边的帧内预测的自适应性滤波方法、使用上述方法的视频编码装置及视频解码装置。在帧内预测方法中，采用自适应性滤波(Adaptive Filtering)技术，动态决定是否使用滤波器，进一步降低帧内预测的复杂度。根据上述使用多重邻边做为参考，并且采用自适应性滤波技术，可以提升超高分辨率视频的压缩效能，并降低运算复杂度。

Description

自适应性滤波方法和使用该方法的视频编码及解码装置
技术领域
本揭露内容是有关于一种应用于视频内容编码的多重参考邻边(MRL)的帧内预测的自适应性滤波(Adaptive Filtering)方法、视频编码装置及视频解码装置。
背景技术
需要大量视频数据的应用越来越广，例如数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌面计算机、平板计算机、电子书阅读器、数字摄影机、数字记录器件、数字媒体播放器、视频游戏器件、视频游戏控制面板控制台、蜂巢式或卫星无线电电话(所谓的「智能电话」)、视频电传话会议器件、视频串流器件及其类似者等等。当需要在带宽容量有限的通信网路中流传输或传送数据时，可能会使难度加大。因此，在现代电信网络中传送视频数据之前通常会压缩视频数据。当视频数据存储在存储设备上时，视频的大小也可能成为问题，因为存储器资源可能有限。在传输或存储视频数据之前，视频压缩设备经常在来源处使用软件和/或硬件对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。然后，压缩数据由解码视频数据的视频解压缩电路在目标物装置处接收并解压缩。在网络资源有限同时对更高视频质量的需求不断增长的情况下，需要既提高压缩率又几乎无损图像质量的改进型压缩和解压技术。
发明内容
本揭露内容提出一种帧内预测(Intra Prediction)的自适应性滤波方法，包括接收一索引，并根据此索引进行滤波器选择而产生对应索引的一滤波器索引(FilterIndex)；以及根据此滤波器索引(Filter Index)选择对应的滤波器，并使用此滤波器对一输入样本进行滤波操作产生一经滤波样本输出，或是直接将输入样本作为经滤波样本据以输出。
在前述帧内预测(Intra Prediction)的自适应性滤波方法多个实施范例之一，此索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，而滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
本揭露内容提出一种具有自适应性滤波的帧内预测(Intra Prediction)方法，包括根据一索引对输入样本执行参考样本平滑化滤波(RSF)操作，其中，当此索引指出使用邻近参考层的影像样本时，对此输入样本执行参考样本平滑化滤波(RSF)操作后输出作为经滤波样本。当此索引指出使用多重参考邻边(MRL)的影像样本时，直接将输入样本作为上述经滤波样本输出。对上述经滤波样本执行帧内预测。
本揭露内容提出一种视频编码装置，包括存储器以及处理器。此存储器用以储存多个指令及数据。所述处理器存取这些指令以及数据，经设定用以执行所述的指令，其中处理器接收一索引，并根据此索引进行滤波器选择而产生对应该索引的一滤波器索引(Filter Index)。此处理器根据滤波器索引(Filter Index)选择对应的滤波器，并使用滤波器对一输入样本进行滤波操作产生一经滤波样本输出，或是直接将输入样本作为所述经滤波样本据以输出。
在前述视频编码装置多个实施范例之一，此索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，而滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
本揭露内容提出一种视频编码装置，包括加法器，接收一输入画像数据与一预测值，经运算后产生一残余值；转换与量化单元，将该残余值转换后进行量化而到数据；熵编码单元，将该数据处理成为经压缩后的影像数据输出；反向量化与反向转换单元，将该数据还原成经视频解码后的图像数据；以及预测单元，用以接收该输入画像数据以及该经视频解码后的图像数据，据以产生该预测值，其中该预测单元包括一帧内预测单元。所述帧内预测单元设定用以接收一索引，并根据所述索引进行滤波器选择而产生对应所述索引的滤波器索引(Filter Index)，以及根据所述滤波器索引(Filter Index)选择对应的滤波器进行滤波操作，或是直接将该输入样本作为该经滤波样本据以输出。
本揭露内容提出一种视频解码装置，包括存储器，用以暂存经压缩后的影像数据；熵解码单元，对该经压缩后的影像数据根据熵编码语法元素进行熵解码取得位串流；预测处理单元，耦接到该熵解码单元；反量化单元，耦接到该熵解码单元；反变换处理单元，耦接到该反量化单元；重建构单元，耦接到该反变换处理单元与该预测处理单元；以及滤波器单元，耦接到该重建构单元与该预测处理单元。所述预测处理单元、反量化单元、反变换处理单元、重建构单元及滤波器单元基于该自位串流提取的语法元素而产生经解码视频数据。所述预测处理单元设定用以取得一索引，从所述索引确认所述经解码视频数据是否已经进行过参考样本平滑化滤波(RSF)操作及/或边界滤波(Boundary Filtering)操作。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1用来简单的说明帧内预测(Intra Prediction)的实施范例概念图。
图2是说明视频编码装置沿多个预测方向进行帧内预测(Intra Prediction)的不同预测模式。
图3A～3C是说明在帧内预测(Intra Prediction)中，参考相邻的经重建构影像样本进行预测的实施范例。
图4A～图4C为说明如果以固定的邻近参考层(RT)样本作为预测的参考，在某一特定的方向造成样本错误(Sample Error)的实际范例。
图5A～5C，是说明本揭露内容多个实施范例的多重参考邻边(MRL)的帧内预测方法示意图。
图6是说明本揭露内容所提出应用于视频内容编码的多重邻边帧内预测(IntraPrediction)的自适应性滤波方法流程示意图。
图7A与7B是用以说明本揭露内容多个实施范例中，根据帧内编码的编码单元(Intra-coded CU)来决定是否进行平滑化滤波操作流程示意图。
图8A与8B是用以说明边界滤波(Boundary Filtering)流程示意图。
图9A与9B是用以说明根据帧内编码的编码单元(Intra-coded CU)来决定是否进行边界滤波操作流程示意图。
图10是用以说明根据本揭露内容的多个实施例中，所提出视频内容编码的多重参考邻边(MRL)的帧内预测方法的编码(Encoding)流程示意图。
图11是用以说明根据本揭露内容的多个实施例中，所提出视频内容编码的多重参考邻边(MRL)的帧内预测方法的解码(Decoding)流程示意图。
图12是用以说明经组态以实施本揭露所提出采用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作的实例视频处理装置的方块示意图。
图13是用以说明依据本揭露内容实施例的一种视频编码装置(Encoder)的结构方块示意图。
图14是用以说明依据本揭露内容实施例的一种视频解码装置(Decoder)的结构方块示意图。
具体实施方式
随着网络、通讯系统、显示器及计算机等应用的新技术的近期发展中，许多应用都须要高效的视频编码的解决方案，例如高视频压缩率、虚拟现实(Virtual Reality；VR)及360度视频内容。为提供身历其境的视觉效果，提升视频分辨率以在视频中看见更多细节是常见作法。VR技术通常是以头戴式装置(Head Mounted device；HMD)实现，且头戴式装置与眼睛之间的距离十分接近，因此需要视频内容的分辨率希望能够增加到当前的4K到8K分辨率、甚至32K分辨率以上。此外，画面刷新率也会影响到VR的使用体验，因此希望将画面刷新率增加到每秒30张、每秒90张甚至是每秒120张。基于上述需求，目前所使用的高效率视频编码(High Efficiency Video Coding；HEVC)(又可称为H.265)似乎不足以对用户提供更佳的视觉效果及体验。
为了进一步提升针对数字视频的编码效率及提升影像质量，由联合视频探索小组(Joint Video Exploration Team；JVET)将数种解决潜在需求的强化型视频编码技术应用多功能视频编码(Versatile Video Coding；VVC)中，以开发下世代视频编码(FutureVideo Coding，FVC)技术。JEM所采用的帧内预测(intra prediction)技术由原本HEVC所具备的35种预测模式扩充到67种预测模式(Intra Prediction Modes；IPM)，藉以用于更为准确地进行角度预测。JEM更进一步介绍新的技术，包括参考样本自适应滤波器(ReferenceSamples Adaptive Filter；RSAF)以改善参考样本的平滑度方法，或是位置相依的帧内预测组合(Position Dependent Intra Prediction Combination；PDPC)以增加可以选择的预测方法，或是非分离式二次转换(Non-separable Secondary Transform；NSST)用以作为残余值转换的方法等等。
图1用来简单的说明帧内预测(Intra Prediction)的实施范例流程概念图。帧内预测(Intra Prediction)方法，是参考区块单元(Block Unit)的空间相邻的经重建构影像样本作为预测的影像区块预测技术。HEVC采用的35种预测模式(IPM)，或是JEM采用的67种预测模式，包括第0预测模式(Mode 0)的平面模式(Planar Mode)以及第1预测模式(Mode1)的直流(DC)预测模式(DC Mode)，都是使用固定的邻近的参考层(Reference Tier；RT)样本作为预测的参考。首先，步骤110中，取得原始区块“O”。步骤120中，进行帧内预测模式的选择，并根据所选择的帧内预测模式对当前编码单元(Current Coding Unit；CU)在所选择的方向进行预测，得到了预测值P。步骤130，藉由加法器将预测值P与原始区块O相减以获得残余值R(R＝O-P)。接着对残余值R进行转换以及量化，如步骤140而取得量化后的串行数据S(S＝Q{T{R}})，并将此串行数据S加以储存。
图2是说明视频编码装置沿多个预测方向进行帧内预测(Intra Prediction)的不同预测模式。在帧内预测(Intra Prediction)方法中，参考区块单元(Coding Unit)的空间相邻的经重建构影像样本作为预测的影像区块预测技术。首先，视频编码装置会选择沿多个预测方向210(如由箭头所指)进行预测。如前所述，不论是HEVC所采用的35种预测模式，或是JEM所采用的帧内预测(intra prediction)技术包括67种预测模式(IPM)，包括第0预测模式(Mode 0)的平面模式(Planar Mode)以及第1预测模式(Mode 1)的直流(DC)预测模式(DC Mode)，都是使用固定的邻近的参考层(Reference Tier；RT)样本作为预测的参考。上述预测模式在应用上，针对模型化平滑地变化及恒定图像区域可以采用应用平面模式及DC模式。
图3A～3C是说明在帧内预测(Intra Prediction)中，参考相邻的经重建构影像样本进行预测的实施范例。如图3A所示，区块单元是以大小为MxM的当前编码单元(CurrentCoding Unit；CU)320为范例说明，而M是任意正整数，但并非以此为限制。此当前编码单元(CU)320经过影像预测之后可以取得预测值(Predictor)。以邻近的参考层(RT)330作为参考样本，包括R(-1,-1)、R(x,-1)R(-1,y)的参考样本，经过影像预测运算之后取得16个预测值P(x,y)。如图所示，参考样本RR(-1,7)～R(-1,0)的左区段(Left Segment)、R(0,-1)～R(7,-1)的上区段(Above Segment)以及上左画素(Left-Above Pixel)的R(-1,-1)，而取得P(0,0)～P(3,3)等16个预测值。
实际的范例以图3B与图3C做说明。原始的当前编码单元(CU)340的值如图3B所示，而经过帧内预测(Intra Prediction)方法计算之后，取得的16个预测值P(x,y)，如更新后的当前编码单元(CU)350，如图3C所示，原来的P(2,0)与P(3,1)在参考特定预测方向的样本值之后，从原来的“300”根据样本而改变为“280”，而原来的P(3,0)从原来的“400”根据样本而改变为“380”。
上述以固定的邻近参考层(RT)样本作为预测的参考，有一种情况，就是若邻近参考层的参考样本与原始的样本在某一特定的方向差异太大，将会造成大量的样本错误(Sample Error)。实际的范例以图4A～图4C做说明。原始的当前编码单元(CU)410的值如图4A所示。在进行帧内预测(Intra Prediction)时，参考邻近参考层(RT)430样本，以对角线方向模式(Diagonal Direction Mode)进行帧内预测(Intra Prediction)，参考对角在线的邻近参考层(RT)430样本取得图4B的16个预测值，如更新后的当前编码单元(CU)420。观察邻近参考层(RT)430与另一个参考层(RT)440可以发现，两者的样本差异太大，有可能会造成预测值可能存在样本错误(Sample Error)。
在另外一种情况中。请参照图4C，同样以对角线方向模式(Diagonal DirectionMode)进行帧内预测(Intra Prediction)，若是不使用邻近参考层(RT)430样本，而是采用参考层(RT)440的样本，取得的16个预测值并更新后取得当前编码单元(CU)422，可以发现图4B所观察到差异太大的问题将可避免。因此，这样的安排可避免潜在的样本错误(SampleError)的问题。
除此之外，目前对于视频内容的分辨率要求越来越高，例如已经到达了超高分辨率(Super High Resolution)的16K分辨率、甚至32K分辨率以上。为了达到这样的要求，加大编码区块的大小可以改善编码的效率，所以编码区块的大小从H.264(进阶视频编码；Advanced Video Coding)的16x16，到H.265(高效率视频编码；HEVC)的64x64，到最近的H.266的128x128。在越来越高的分辨率条件下，在编码区块内的画素，比起编码区块外的画素，在角度预测(Angular Prediction)模式下更加的敏感。因此，样本错误(Sample Error)的问题在高分辨率下将会更加的明显。
本揭露内容所提出视频编码装置实施范例，提出一种应用于视频内容编码的多重参考邻边(Multiple Reference Line；MRL)的帧内预测的自适应性滤波(AdaptiveFiltering)方法。
本揭露内容的多个实施例中，提出应用于视频内容编码的多重参考邻边(MRL)的帧内预测方法。在此方法中，采用整合参考层(Composed Tier；CT)中经重建构的影像样本进行帧内预测(Intra Prediction)的操作，而此整合参考层(CT)包括二个以上的参考层(RT)。在另外的多个实施范例中，也可直接采用多个参考层(RT)中经重建构的影像样本进行帧内预测(Intra Prediction)的操作。上述的帧内预测(Intra Prediction)可以提升帧内预测的精确度。
以JEM所采用的帧内预测(Intra Prediction)的操作为例，本揭露内容的实施范例中，提出一种任意参考层(RT)编码(Arbitrary Reference Tier Coding；ARTC)的架构，以实现使用多重邻边作为帧内预测的操作，而且可独立地参照每个参考层(RT)进行预测。每个参考层(RT)独立地经过模式决定演算流程(Mode Decision Algorithm)，包括考虑粗略模式决定(Rough Mode Decision；RMD)、比特率-失真优化(Rate-DistortionOptimization；RDO)、以及转换单元决定(TU Decision；TUD)确认是否决定。本揭露内容的另一个实施范例中，可经由两阶段的选择，也就是粗略模式决定(RMD)以及比特率-失真优化(RDO)的运算，同时决定帧内预测模式(IPM)以及对应的参考层(RT)。
在另一实施例中，进一步提出自适应性滤波技术，动态决定是否使用滤波器，进一步降低帧内预测的复杂度。根据上述使用多重邻边做为参考，并且采用自适应性滤波技术，可以提升超高分辨率视频的压缩效能，并降低运算复杂度。
请参照图5A～5C，是说明本揭露内容多个实施范例的多重参考邻边(MRL)的帧内预测方法示意图。首先，请参照图5A，当对当前编码单元(CU)510进行帧内预测操作时，可以采用1到N个参考层的样本进行预测，而N可以是任意正整数。从JEM所采用的帧内预测(Intra Prediction)的操作为例，67种预测模式(IPM)可选择其中参考层(RT)来进行帧内预测操作，以产生预测值。不同的预测值P(x,y)可以藉由独立的不同参考层(RT)来产生。例如图5A所示，预测值P(2,2)可以由参考样本Sa1、Sa2、Sa3、…、或SaN产生，而预测值P(2,0)可以由参考样本Sb1、Sb2、Sb3、…、或SbN产生。在此实施例中，参考样本Sa1或Sb1是位于第一参考层(RT)520，参考样本Sa2或Sb2是位于第二参考层(RT)522，参考样本Sa3或Sb3是位于第三参考层(RT)524，而参考样本SaN或SbN是位于第N参考层(RT)526。
在另外一个实施范例中，请参照图5B，不同的预测值P(x,y)可以藉由不同参考层(RT)来产生。例如预测值P(2,2)可以由第二参考层(RT)522的参考样本Sa2产生，而预测值P(2,0)可以由第N参考层(RT)526的参考样本SbN产生。
在另外一个实施范例中，请参照图5C，不同的预测值P(x,y)可以藉由选择不同的预测模式(对不同的角度)下，选择不同的参考层(RT)的组合来产生。也就是，不论是HEVC所采用的35种预测模式(IPM)，或是JEM所采用的67种预测模式(IPM)，除了第0预测模式(Mode0)的平面模式(Planar Mode)以及第1预测模式(Mode 1)的直流(DC)预测模式(DC Mode)之外，其他针对特定角度地不同预测模式(IPM)可选择一个或多个不同的参考层(RT)的组合来产生。如图所示，在一实施范例中，预测值P(x,y)在第5预测模式(Mode 5)下可以由第一参考层(RT)520的参考样本以及第三参考层(RT)524的参考样本组合产生。预测值P(x,y)在第6预测模式(Mode 6)下可以由第二参考层(RT)522的参考样本以及第N参考层(RT)526的参考样本组合产生。预测值P(x,y)在第7预测模式(Mode 7)下可以由第一参考层(RT)520的参考样本以及第三参考层(RT)524的参考样本组合产生。
本揭露内容的多个实施例中，提出视频内容编码的多重参考邻边(MRL)的帧内预测方法，可以采用多个邻近的参考层(RT)经重建构的影像样本进行帧内预测(IntraPrediction)的操作。进一步考虑采用多个邻近的参考层(RT)的影像样本以进行帧内预测(Intra Prediction)的操作，会增加计算的复杂度，需要更多的运算以及更多的储存空间，另外，由于更复杂的运算，将会造成运算上的延迟(Computation Latency)以及需要更多的门数量(Gate Counts)而增加硬件实现的成本。
本揭露内容的多个实施例，提出一种采用自适应性滤波(Adaptive Filtering)技术，动态决定是否使用滤波器，进一步降低帧内预测的复杂度。根据上述使用多重邻边做为参考，并且采用自适应性滤波技术，可以提升超高分辨率视频的压缩效能，并降低运算复杂度。
本揭露内容的多个实施例中，提出采用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作，进一步提出自适应性滤波技术以动态决定是否使用滤波器的技术，可运用在例如改善参考样本平滑度的方法中，例如可动态决定是否使用参考样本自适应滤波器(RSAF)。在另外一实施范例中，采用自适应性滤波(Adaptive Filtering)技术，可动态决定是否进行边界滤波的方法。例如位置相依的帧内预测组合(PDPC)架构下的边界滤波操作是针对帧内预测(Intra Prediction)中滤波边缘参考采样与未滤波边缘参考采样，以进行加权的预测方法。
请参照图6，主要是说明本揭露内容所提出应用于视频内容编码的多重邻边帧内预测(Intra Prediction)的自适应性滤波方法流程示意图。高效率视频编码(HEVC)提出了模式相依的参考样本平滑(Mode-dependent Reference Sample Smoothing)方法，而JEM进一步提出改善参考样本的平滑度方法称为参考样本自适应滤波器(Reference SamplesAdaptive Filter；RSAF)，在对参考样本进行平滑化过程中采用两个低通滤波器(Low PassFilter；LPF)。
而本揭露内容在一个实施范例中提出一种自适应性参考滤波架构(AdaptiveReference Filtering Scheme；ARFS)，如图6所示，参考样本平滑模块(ReferenceSmoothing Module)620内所包括的第一滤波器(Filter 1)622、第二滤波器(Filter 2)624、以及第T滤波器(Filter T)626等等多个参考滤波器(Reference Filter)，可以根据滤波器索引(Filter Index)604选择对应的滤波器，跳过滤波的操作、不进行滤波或是直接将输入样本作为经滤波样本据以输出。
此滤波器索引(Filter Index)604是经由滤波器选择流程610所产生。而滤波器选择流程610则是对应于帧内编码的编码单元(Intra-coded CU)而产生滤波器索引604。此帧内编码的编码单元(Intra-coded CU)是根据多重参考邻边(MRL)索引内容所判断产生，而此多重参考邻边(MRL)索引可以是整合参考层(CT)或是多个参考层(RT)的索引(Index)，在此以参考层索引(RT Index)602为例说明，另一实施例也可称为多重参考邻边(MRL)索引。根据帧内编码的编码单元(Intra-coded CU)来决定对应的滤波器(Filter)或是不进行滤波的操作。若是滤波器索引(Filter Index)604包括了索引t，则第t滤波器(Filter t)将会用来对输入样本606，也就是帧内编码的编码单元(Intra-coded CU)的参考样本进行平滑化操作，而产生经滤波样本(Filtered Samples)608。若是滤波器索引(Filter Index)604的信息，跳过滤波的操作、不进行滤波或是直接将输入样本606作为经滤波样本(FilteredSamples)608据以输出。
本揭露内容的多个实施例中，提出采用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作，利用多重参考邻边(MRL)索引内容来判断是否采用自适应性滤波技术以决定跳过滤波的操作、不进行滤波或是直接将输入样本作为经滤波样本(Filtered Samples)据以输出。此自适应性滤波技术架构是基于若采用多重参考邻边(MRL)的影像样本进行帧内预测的操作，则可不需要进行滤波操作，可以提升超高分辨率视频的压缩效能，并降低运算复杂度。
在本揭露内容的多个实施范例中，多重参考邻边(MRL)索引的语法设计(SyntaxDesign)可以根据需要调整，相关内容可参照本申请案所主张的美国暂时申请案第62/691729号及/或美国暂时申请案第62/727595号所提出根据不同应用所产生的多重参考邻边(MRL)索引的语法内容以及与相关画面内预测所采用的预测模式在语法中的顺序，在此参照引用并且作为本接露内容中的一部分。例如在一实施范例中，多重参考邻边(MRL)索引的内容，在内容多功能视频编码(VVC)中，可以放置在预测模式相关内容之后。
多重参考邻边(MRL)索引的语法内容，在一个实施范例中，至少包括一个旗标(flag)指出由一个或多个不同的参考层(RT)的组合来产生、或是由整合参考层(CT)及/或参考层(RT)的组合来进行多重参考邻边(MRL)之画面内预测。
而根据多重参考邻边(MRL)索引的内容，在一个实施例中例如包括{0,1,2,3}或是{0,1,3}。若是索引的值为“0”，则滤波器索引(Filter Index)值就设定为“1”。若是索引的值不等于“0”，则滤波器索引(Filter Index)值就设定为“0”。当滤波器索引(FilterIndex)值为“1”的时候，进行滤波操作产生经滤波样本(Filtered Samples)。当滤波器索引(Filter Index)值为“0”的时候，直接将输入样本作为经滤波样本(Filtered Samples)据以输出。也就是滤波器选择流程包括例如两种模式，一种称为直接模式(Direct Mode)，选择对应的滤波器进行滤波操作产生经滤波样本。另一种模式为跳过滤波的操作(SkipMode)，直接将输入样本作为经滤波样本(Filtered Samples)608据以输出。上述的多重参考邻边(MRL)索引语法的设计仅为多个实施范例之一，可根据应用加以调整，并非以此为限制。而多重参考邻边(MRL)索引语法的设计在编码过程或是译码过程中都可作为解读语法上下文的依据。
请参照图7A与7B，是用以说明根据帧内编码的编码单元(Intra-coded CU)来决定是否进行平滑化滤波操作流程示意图。
如图7A所示，参考样本平滑模块(Reference Smoothing Module)720根据所接收到的滤波器索引(Filter Index)704，包括进行参考样本平滑化滤波(ReferenceSmoothing Filtering；RSF)流程722以及另一个不进行滤波操作的跳过RSF流程724。也就是说，根据滤波器索引704选择了对应的滤波器而对输入样本706，也就是帧内编码的编码单元的参考样本进行参考样本平滑化滤波RSF流程722，而产生经滤波样本708。若是滤波器索引704指出跳过或是不进行滤波平滑化的操作，则直接将输入样本706转输出为经滤波样本(Filtered Samples)708。此滤波器索引704是经由滤波器选择流程710所产生。而滤波器选择流程710则是对应于帧内编码的编码单元(Intra-coded CU)而根据多重参考邻边(MRL)索引702内的信息产生滤波器索引704。如图7B所示，根据多重参考邻边(MRL)索引702内的信息，进行滤波器选择流程710，以便确认是否对输入样本706进行参考样本平滑化滤波(RSF)流程S720，也就是跳过平滑化滤波的操作、不进行平滑化滤波或是直接将输入样本706作为经滤波样本708据以输出。
上述利用多重参考邻边(MRL)索引内容来判断是否采用自适应性滤波技术，也可运用在例如位置相依的帧内预测组合(PDPC)架构下的边界滤波操作。位置相依的帧内预测组合(PDPC)可视为一种边界滤波技术，是将边界滤波(Boundary Filtering)流程与帧内预测(Intra Prediction)流程结合成单一方程式的技术。边界滤波技术请参照图8A与8B，用以说明边界滤波(Boundary Filtering)流程。此边界滤波(Boundary Filtering)方法例如在HEVC架构下，在经由垂直帧内预测模式(Vertical Intra Mode；VER)以及水平帧内预测模式(Horizontal Intra Mode；HOR)产生帧内预测区块(Intra Prediction Block)之后，在左上栏(Left-most Column)以及最上方列(Top-most Row)的预测样本分别需要进一步调整。此方法在JEM中则进一步推行到几个对角线帧内预测模式(Diagonal Intra Mode)下使用，而边界样本(Boundary Samples)则是利用二阶滤波器(Two-tap Filter)或是三阶滤波器(Three-tap Filter)增加到四个栏(Column)或是列(Row)进行调整。如图8A所示，可以知道在模式编号34的帧内预测模式中，利用了二阶滤波器进行边界样本的调整。如图8B所示，可以知道在模式编号30-33的帧内预测模式中，利用了三阶滤波器进行边界样本的调整。
本揭露内容的多个实施例中，利用多重参考邻边(MRL)索引内容来判断是否采用自适应性滤波技术以决定是否使用滤波器，也就是跳过或是不进行滤波的操作。一般预测模式(IPM)会启动上述的位置相依的帧内预测组合(PDPC)架构下的边界滤波操作，但是若采用多重参考邻边(MRL)的影像样本进行帧内预测的操作，则可不需要进行位置相依的帧内预测组合(PDPC)操作。因此，此自适应性滤波技术架构可以考虑若采用多重参考邻边(MRL)的影像样本进行帧内预测的操作时，则可不需要进行位置相依的帧内预测组合(PDPC)操作，可以提升超高分辨率视频的压缩效能，并降低运算复杂度。请参照图9A与9B，是用以说明根据帧内编码的编码单元(Intra-coded CU)来决定是否进行边界滤波操作流程示意图。
如图9A所示，边界滤波器模块(Boundary Filter Module)920根据所接收到的滤波器索引904，判断是否进行边界滤波流程(以“BF”表示)922以及另一个不进行边界滤波操作的跳过BF流程924。也就是说，根据滤波器索引904选择了是否进行边界滤波流程而产生经滤波样本908。此滤波器索引904是经由滤波器选择流程910所产生。而滤波器选择流程910则是对应于帧内编码的编码单元(Intra-coded CU)而根据多重参考邻边(MRL)索引902内的信息产生滤波器索引904。如图9B所示，根据多重参考邻边(MRL)索引902内的信息，进行滤波器选择流程910，以判断是否对输入样本906进行边界滤波流程S920，也就是跳过边界滤波的操作、不进行边界滤波或是直接将输入样本906作为经滤波样本908据以输出。
本揭露内容的多个实施例中，所提出视频内容编码的多重参考邻边(MRL)的帧内预测方法的编码(Encoding)流程，整个架构可参照图10加以说明。本揭露内容所提出多重参考邻边(MRL)的帧内预测操作，请参照图10，基本上区分为几个流程，包括参考样本过滤流程S1010、帧内预测流程S1020、边界过滤流程S1030、比特率-失真优化(RDO)流程S1040以及语法产生(Syntax Generation)流程S1050。
参考样本过滤流程S1010则如图7B所示，根据多重参考邻边(MRL)索引内的信息，进行判断步骤S1012，以便确认是否对输入样本进行参考样本平滑化滤波(RSF)流程S1014或是跳过或是不进行滤波平滑化的操作(跳过RSF)。帧内预测流程S1020则是采用最佳预测模式决定(Best Prediction Mode Decision)方法S1022选择最佳的预测模式。
边界过滤流程S1030则如图9B所示，根据多重参考邻边(MRL)索引内的信息，进行判断步骤S1032，以判断是否对输入样本进行边界滤波(BF)流程S1034或是跳过或是不进行边界滤波操作(跳过BF)。比特率-失真优化(RDO)流程S1040则是使用比特率-失真优化方法检查并基于区块以及多个候选预测模式所对应的预测成本来计算多个候选预测模式在多个转换索引下所对应的多个失真成本，以便得到比特率-失真优化的选择。
语法产生(Syntax Generation)流程S1050则是包括选择或是写入参考边语法(Reference Line Syntax)步骤S1052、选择或是写入最有可能模式(Most Probable Mode；MPM)旗标(Flag)步骤S1054、以及选择或是写入最有可能模式(MPM)参数/角度模式参数(Angular Mode Index)参考边语法(Reference Line Syntax)步骤S1065。
本揭露内容的多个实施例中，所提出视频内容编码的多重参考邻边(MRL)的帧内预测方法的解码(Decoding)流程，整个架构可参照图11加以说明。本揭露内容所提出多重参考邻边(MRL)的帧内预测操作，请参照图11，基本上区分为几个流程，包括语法分析(Syntax Parsing)流程S1110、参考样本过滤流程S1120、帧内预测流程S1130以及边界过滤流程S1140。
语法分析(Syntax Parsing)流程S1110包括分析参考边语法(Reference LineSyntax)步骤S1112、分析最有可能模式(Most Probable Mode；MPM)旗标(Flag)步骤S1114、以及分析最有可能模式(MPM)索引/角度模式索引(Angular Mode Index)步骤S1116。
参考样本过滤流程S1120则是根据多重参考邻边(MRL)索引内的信息，进行判断步骤S1112，以便确认是否样本是否已经进行过参考样本平滑化滤波(RSF)流程。若是已经进行过参考样本平滑化滤波(RSF)，则采用步骤S1124，若未进行，则是直接跳过而继续进行帧内预测流程S1130。帧内预测流程S1130则也是根据最佳预测模式决定(Best PredictionMode Decision)方法S1132选择预测模式。
而边界过滤流程S1140则根据多重参考邻边(MRL)索引内的信息，进行判断步骤S1142，以判断是否对输入样本进行边界滤波(BF)处理，或是跳过不进行边界滤波操作(跳过BF)。若是已经进行过边界滤波(BF)处理，则采用步骤S1144，若未进行，则是直接跳过边界过滤流程S1140。
图12为说明经组态以实施本揭露所提出采用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作的实例视频处理装置的方块示意图。而此视频处理装置1200可以运用在视频编码器，也可运用在视频解码器。在此以编码器做为说明。视频处理装置1200在一实施范例中可以包括处理器(Processor)1210、存储器1220、输入/输出单元1230以及数据汇流单元1240。
处理器1210是以硬件和软件形式来实施本揭露所提出采用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作。处理器1210可实施为一个或多个中央处理器(CPU)芯片、场效可程序设计门阵列(Field-Programmable Gate Array；FPGA)、特定用途集成电路(Application Specific Integrated Circuit；ASIC)和数字信号处理器(digital signal processor；DSP)等。处理器1210透过数据汇流单元1240与存储器1220、输入/输出单元1230构成通联以接受或传送数据。处理器1210可以存取储存在存储器1220中的指令来实施。
存储器1220用以储存所要执行的程序，并且储存程序执行过程中所读取的指令和数据。存储器1220可以是易失性存储器(Volatile memory)和/或非易失性(Non-VolatileMemory；NVM)存储器。非易失性存储器可以是例如只读存储器(Read-only memory；ROM)或是闪存(Flash memory)等等。而只读存储器(ROM)可以是例如可程序化只读存储器(Programmable read-only memory；PROM)、电性可改写只读存储器(Electricallyalterable read only memory；EAROM)、可擦除可程序化只读存储器(Erasableprogrammable read only memory；EPROM)、电性可抹除可程序化只读存储器(Electrically erasable programmable read only memory；EEPROM)等等。而易失性存储器例如随机存取存储器(Random Access Memory；RAM)、动态随机存取存储器(DynamicRandom Access Memory；DRAM)、或是静态随机存取存储器(Static Random AccessMemory；SRAM)等等。
根据图12的视频处理装置1200架构，经组态后可实施图10所提出多重参考邻边(MRL)的帧内预测方法的编码(Encoding)流程。处理器1210经组态后可实施视频编码，包括帧内预测功能，可执行图10所提出多重参考邻边(MRL)的帧内预测方法的编码(Encoding)流程，包括参考样本过滤流程S1010、帧内预测流程S1020、边界过滤流程S1030、比特率-失真优化(RDO)流程S1040以及语法产生(Syntax Generation)流程S1050等等流程。
图12中经组态以实施多重参考邻边(MRL)的影像样本进行帧内预测(IntraPrediction)的操作的视频处理装置1200，应用在视频编码装置(Encoder)可参照图13的结构方块示意图。图13是依据本揭露内容实施例的一种视频编码装置的结构方块示意图。此视频编码装置1300所使用的视频编码可以是联合探索测试平台(JEM)。视频编码装置1300包括集成电路，且图13中所说明的各种单元可形成为与电路总线互连的硬件电路区块。而此硬件电路可为单独电路或两者或两者以上可组合为共享硬件电路。在一些实例中，图13中所说明的单元中之一或多者可为在处理电路上执行的软件单元。在这样的实例中，用于这样的软件单元的程序代码储存于存储器中。操作系统可使得视频编码装置1300可从存储器储存撷取程序代码并执行，其使得视频编码装置1300执行实施实例技术的操作。在一些实例中，软件单元可为视频编码装置1300在启动处执行的韧体。因此，视频编码装置1300为具有执行实例技术的硬件或具有在硬件上执行以特化执行这样的实例技术的硬件的软件/韧体的结构性组件。
本实施例的视频编码装置1300包括转换与量化单元1310、预测单元1320、位于视频编码装置1300输入端N1的加法器1330、熵编码单元1340、反向量化与反向转换单元1350、位于反向量化与转换单元1350输出端N2的加法器1360、以及画面缓冲器1370。转换与量化单元1310包括转换单元1312以及量化单元1314。预测单元1320包括帧内预测单元1322以及帧间预测单元1324。加法器1330藉由预测单元1320提供的信息(例如，预测值)来与输入图像IM相减以获得输入图像IM的残余值MR。
转换单元1312包括例如采用非分离式二次转换(NSST)技术进行转换。转换单元1312对输入图像IM的残余值MR进行转换。已被转换单元1312进行残余值转换后的数据TD则由量化单元1314处理后成为数据DA，并透过熵编码单元1340处理成为经压缩后的影像数据VD。影像数据VD除了数据DA以外还可包括预测单元1320所产生的各种帧内预测模式与帧间预测模式。
为了仿真视频解码后的数据，视频编码器1300利用反向量化与反向转换单元1350中的反向量化单元1352以及反向转换单元1354将数据DA还原成经视频解码后的图像数据。此图像数据经由加法器1360与输入影像IM的处理后暂存于画面缓冲器1370中。视频解码后的图像数据可供帧内预测单元1322以及帧间预测单元1324作为当前区块的模式预测使用。帧内预测单元1322是利用同一个画面中已解析的区块来对正在处理的区块进行像素数值预测以及残余值转换。帧间预测单元1324则是针对连续的多个输入影像之间的区块进行像素预测以及残余值转换。也就是说，预测单元1320经组态后可对所接收的图像数据(输入画像数据)以及经视频解码后的图像数据(同一个画面中已解析的区块)，据以产生预测值。
帧内预测单元1322经组态后接收一索引，并根据此索引进行滤波器选择而产生对应此索引的一滤波器索引(Filter Index)，以及根据此滤波器索引(Filter Index)选择对应的滤波器进行滤波操作，或是直接将所接收的图像数据(输入画像数据)作为经滤波样本据以输出。
图12中经组态以实施多重参考邻边(MRL)的影像样本进行帧内预测(IntraPrediction)的操作的视频处理装置1200，应用在视频解码装置(Decoder)可参照图14的结构方块示意图。视频解码器1400包括集成电路，且图14中所说明的各种单元可形成为与电路总线互连的硬件电路区块。而此硬件电路区块可为单独电路区块或两者或两者以上可组合为共享硬件电路区块。在一些实例中，图14中所说明的单元中之一或多者可为在处理电路上执行的软件单元。在这样的实例中，用于这样的软件单元的程序代码储存于存储器中。操作系统可使得视频解码器1400撷取程序代码并执行，其使得视频解码器1400执行实施实例技术的操作。在一些实例中，软件单元可为视频解码器1400在启动处执行的韧体。因此，视频解码器1400为具有执行实例技术的硬件或具有在硬件上执行以特化执行该等实例技术的硬件的软件/韧体的结构性组件。
在图14的实例中，视频解码器1400包括视频数据存储器1410、熵解码单元1420、反量化单元1430、反变换处理单元1440、预测处理单元1450、重建构单元1460、滤波器单元1470，及经解码图像缓冲器1480。预测处理单元1450包括帧间预测单元1452及帧内预测单元1454。在其他实例中，视频解码器1400可包括更多、更少或不同的功能组件。
熵解码单元1420可对经熵编码语法元素进行熵解码。预测处理单元1450、反量化单元1430、反变换处理单元1440、重建构单元1460及滤波器单元1470可基于自位串流提取的语法元素而产生经解码视频数据。在此不再冗述。在视频解码器1400中，帧内预测单元1454可执行图11所提出多重参考邻边(MRL)的帧内预测方法的解码(Decoding)流程，包括语法分析(Syntax Parsing)流程S1110、参考样本过滤流程S1120、帧内预测流程S1130以及边界过滤流程S1140。也就是说，预测处理单元1450设定用以取得一索引，从这索引确认经解码视频数据是否已经进行过参考样本平滑化滤波(RSF)操作及/或边界滤波(BoundaryFiltering)操作。预测处理单元1450根据此索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，此帧内预测单元1454根据滤波器索引(Filter Index)认定经解码视频数据未经过参考样本平滑化滤波(RSF)操作及/或边界滤波(Boundary Filtering)操作。
本揭露内容的多个实施例中，提出应用于视频内容编码的多重参考邻边(MRL)的帧内预测方法。在此方法中，采用整合参考层(Composed Tier；CT)中经重建构的影像样本进行帧内预测(Intra Prediction)的操作，而此整合参考层(CT)包括二个以上的参考层(RT)。在另外的多个实施范例中，也可直接采用多个参考层(RT)中经重建构的影像样本进行帧内预测(Intra Prediction)的操作。上述的帧内预测(Intra Prediction)可以提升帧内预测的精确度。
在另一实施例中，进一步提出自适应性滤波技术，动态决定是否使用滤波器，进一步降低帧内预测的复杂度。根据上述使用多重邻边做为参考，并且采用自适应性滤波技术，可以提升超高分辨率视频的压缩效能，并降低运算复杂度。
根据前述的内容，在本揭露内容所提出的多个实施范例之一，提出一种帧内预测(Intra Prediction)的自适应性滤波方法，包括接收一索引，并根据此索引进行滤波器选择而产生对应索引的一滤波器索引(Filter Index)。根据此滤波器索引(Filter Index)选择对应的滤波器，并使用此滤波器对一输入样本进行滤波操作产生一经滤波样本输出，或是直接将输入样本作为经滤波样本据以输出。
在前述帧内预测(Intra Prediction)的自适应性滤波方法多个实施范例之一，此索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，而滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
在本揭露内容所提出的多个实施范例之一，所述的多重参考邻边(MRL)的影像样本包括一整合参考层(CT)或是多个参考层(RT)的影像样本，或其组合。
在本揭露内容所提出的多个实施范例之一，所述的滤波器索引(Filter Index)选择对应的滤波器为执行参考样本平滑化滤波(RSF)，其中，当此索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，对输入样本执行参考样本平滑化滤波(RSF)操作后输出经滤波样本，当索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，滤波器索引(Filter Index)则是指出直接将该输入样本作为该经滤波样本据以输出。
在本揭露内容所提出的多个实施范例之一，所述的滤波器索引(Filter Index)进一步选择对应的该滤波器为执行边界滤波(Boundary Filtering)，其中，当此索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，对输入样本执行边界滤波(Boundary Filtering)操作后输出此经滤波样本，当索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，滤波器索引(FilterIndex)指出直接将输入样本作为该经滤波样本据以输出。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。
【符号说明】
110-150：帧内预测流程
210预测方向
320：当前编码单元(CU)
330：邻近的参考层(RT)
340：原始的当前编码单元(CU)
410：原始的当前编码单元(CU)
420、422：更新后的当前编码单元(CU)
430：参考邻近参考层(RT)
440：参考层(RT)
510：当前编码单元(CU)
520、522、524、526：参考层(RT)
Sa1、Sa2、Sa3、…、或SaN：参考样本
Sb1、Sb2、Sb3、…、或SbN：参考样本
602：参考层索引(RT Index)
604：滤波器索引(Filter Index)
606：输入样本
608：经滤波样本(Filtered Samples)
610：滤波器选择流程
620：参考样本平滑模块
622、624、626：滤波器
702：多重参考邻边(MRL)索引
704：滤波器索引
706：输入样本
710：滤波器选择流程
720：参考样本平滑模块
722：参考样本平滑化滤波(RSF)流程
724：跳过RSF流程
902：多重参考邻边(MRL)索引
904：滤波器索引
906：输入样本
908：经滤波样本
910：滤波器选择流程
920：边界滤波器模块(Boundary Filter Module)
922：边界滤波流程(BF)
924：跳过边界滤波(BF)流程
1200：视频处理装置
1210：处理器(Processor)
1220：存储器
1230：输入/输出单元
1240：数据汇流单元
1300：视频编码装置
1310：转换与量化单元
1312：转换单元
1314：量化单元
1320：预测单元
1322：帧内预测单元
1324：帧间预测单元
1330：加法器
1340：熵编码单元
1350：反向量化与反向转换单元
1360：加法器
1370：画面缓冲器
1400：视频解码器
1410：视频数据存储器
1420：熵解码单元
1430：反量化单元
1440：反变换处理单元
1450：预测处理单元
1452：帧间预测单元
1454：帧内预测单元
1460：重建构单元
1470：滤波器单元
1480：经解码图像缓冲器

Claims (21)

1.一种帧内预测(Intra Prediction)的自适应性滤波方法，包括：
接收一索引，并根据该索引进行滤波器选择而产生对应该索引的一滤波器索引(Filter Index)；以及
根据该滤波器索引(FilterIndex)选择对应的滤波器，并使用该滤波器对一输入样本进行滤波操作产生一经滤波样本输出，或是直接将该输入样本作为该经滤波样本据以输出；
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，使用该滤波器对该输入样本执行滤波操作后输出该经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
2.如权利要求1所述的方法，其中该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
3.如权利要求2所述的方法，其中使用该多重参考邻边(MRL)的影像样本包括一整合参考层(CT)或是多个参考层(RT)的影像样本或其组合。
4.如权利要求1所述的方法，其中该滤波器索引(Filter Index)选择对应的该滤波器为执行参考样本平滑化滤波(RSF)。
5.如权利要求4所述的方法，其中该滤波器索引(Filter Index)进一步选择对应的该滤波器为执行边界滤波(Boundary Filtering)，其中，
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，对该输入样本执行边界滤波(Boundary Filtering)操作后输出该经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
6.如权利要求1所述的方法，其中该滤波器索引(Filter Index)选择对应的该滤波器为执行边界滤波(Boundary Filtering)，其中，
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，对该输入样本执行边界滤波(Boundary Filtering)操作后输出该经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该滤波器索引(Filter Index)指出对该输入样本直接将该输入样本作为该经滤波样本据以输出。
7.一种具有自适应性滤波的帧内预测(Intra Prediction)方法，包括：
接收一输入样本；
根据一索引对该输入样本执行参考样本平滑化滤波(RSF)操作，其中，当该索引指出使用邻近参考层的影像样本时，对该输入样本执行参考样本平滑化滤波(RSF)操作后输出作为经滤波样本，当该索引指出使用多重参考邻边(MRL)的影像样本时，对该输入样本直接将该输入样本作为该经滤波样本输出；以及
对该经滤波样本执行帧内预测。
8.如权利要求7所述的方法，其中使用该多重参考邻边(MRL)的影像样本包括一整合参考层(CT)或是多个参考层(RT)的影像样本。
9.如权利要求7所述的方法，其中，还包括
对该经滤波样本执行帧内预测后输出多个预测值执行边界滤波(BoundaryFiltering)，其中，
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，对该些预测值执行边界滤波(Boundary Filtering)操作后输出，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该边界滤波操作直接将该输入样本作为该经滤波样本据以输出。
10.一种视频编码装置，包括：
存储器，用以储存多个指令及数据；
处理器，存取该些指令以及该数据，经设定用以执行该些指令，其中该处理器接收一索引，并根据该索引进行滤波器选择而产生对应该索引的一滤波器索引(Filter Index)；以及
该处理器根据该滤波器索引(FilterIndex)选择对应的滤波器，并使用该滤波器对一输入样本进行滤波操作产生一经滤波样本输出，或是直接将该输入样本作为该经滤波样本据以输出；
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，使用该滤波器对该输入样本执行滤波操作后输出该经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
11.如权利要求10所述的视频编码装置，其中根据该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该处理器根据该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
12.如权利要求11所述的视频编码装置，其中使用该多重参考邻边(MRL)的影像样本包括一整合参考层(CT)或是多个参考层(RT)的影像样本。
13.如权利要求11所述的视频编码装置，其中该处理器根据该滤波器索引(FilterIndex)选择对应的该滤波器为执行参考样本平滑化滤波(RSF)。
14.如权利要求13所述的视频编码装置，其中该处理器根据该滤波器索引(FilterIndex)进一步选择对应的该滤波器为执行边界滤波(Boundary Filtering)，其中，
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，该处理器对该输入样本执行边界滤波(Boundary Filtering)操作后输出该经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该处理器根据该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
15.如权利要求11所述的视频编码装置，其中该处理器根据该滤波器索引(FilterIndex)选择对应的该滤波器为执行边界滤波(Boundary Filtering)，其中，
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，该处理器对该输入样本执行边界滤波(Boundary Filtering)操作后输出该经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该处理器根据该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
16.一种视频编码装置，包括：
加法器，接收一输入画像数据与一预测值，经运算后产生一残余值；
转换与量化单元，将该残余值转换后进行量化而到数据；
熵编码单元，将该数据处理成为经压缩后的影像数据输出；
反向量化与反向转换单元，将该数据还原成经视频解码后的图像数据；以及
预测单元，用以接收该输入画像数据以及该经视频解码后的图像数据，据以产生该预测值，其中该预测单元包括一帧内预测单元，其中
该帧内预测单元设定用以接收一索引，并根据该索引进行滤波器选择而产生对应该索引的一滤波器索引(Filter Index)，以及根据该滤波器索引(Filter Index)选择对应的滤波器进行滤波操作，或是直接将输入样本作为经滤波样本据以输出；
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，使用该滤波器对输入样本执行滤波操作后输出经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该滤波器索引(Filter Index)指出直接将输入样本作为经滤波样本据以输出。
17.如权利要求16所述的视频编码装置，其中该帧内预测单元根据该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该帧内预测单元根据该滤波器索引(FilterIndex)而直接将输入样本作为经滤波样本据以输出。
18.如权利要求16所述的视频编码装置，其中该帧内预测单元根据该滤波器索引(Filter Index)选择对应的该滤波器为执行参考样本平滑化滤波(RSF)。
19.如权利要求16所述的视频编码装置，其中该帧内预测单元设定用以根据该索引选择对应的该滤波器为执行边界滤波(Boundary Filtering)，其中，
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，该帧内预测单元对该输入样本执行边界滤波(Boundary Filtering)操作后输出该经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该帧内预测单元根据该滤波器索引(Filter Index)指出直接将该输入样本作为该经滤波样本据以输出。
20.一种视频解码装置，包括：
存储器，用以暂存经压缩后的影像数据；
熵解码单元，对该经压缩后的影像数据根据熵编码语法元素进行熵解码取得位串流；
预测处理单元，耦接到该熵解码单元；
反量化单元，耦接到该熵解码单元；
反变换处理单元，耦接到该反量化单元；
重建构单元，耦接到该反变换处理单元与该预测处理单元；以及
滤波器单元，耦接到该重建构单元与该预测处理单元，其中
该预测处理单元、该反量化单元、该反变换处理单元、该重建构单元及该滤波器单元可基于该自位串流提取的语法元素而产生经解码视频数据，其中，该预测处理单元设定用以取得一索引，从该索引确认该经解码视频数据是否已经进行过参考样本平滑化滤波(RSF)操作及/或边界滤波(Boundary Filtering)操作；
当该索引指出使用邻近参考层的影像样本进行帧内预测(Intra Prediction)的操作时，使用该滤波器对输入样本执行滤波操作后输出经滤波样本，
当该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该滤波器索引(Filter Index)指出直接将输入样本作为经滤波样本据以输出。
21.如权利要求20所述的视频解码装置，其中该预测处理单元包括一帧内预测单元，其中该预测处理单元根据该索引指出使用多重参考邻边(MRL)的影像样本进行帧内预测(Intra Prediction)的操作时，该帧内预测单元根据该滤波器索引(Filter Index)认定该经解码视频数据未经过该参考样本平滑化滤波(RSF)操作及/或该边界滤波(BoundaryFiltering)操作。
CN201910572940.0A 2018-06-29 2019-06-28 自适应性滤波方法和使用该方法的视频编码及解码装置 Active CN110662034B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862691729P 2018-06-29 2018-06-29
US62/691,729 2018-06-29
US201862727595P 2018-09-06 2018-09-06
US62/727,595 2018-09-06

Publications (2)

Publication Number Publication Date
CN110662034A CN110662034A (zh) 2020-01-07
CN110662034B true CN110662034B (zh) 2022-04-15

Family

ID=67105955

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910530590.1A Pending CN110662065A (zh) 2018-06-29 2019-06-19 图像数据解码方法及解码器、图像数据编码方法及编码器
CN201910572940.0A Active CN110662034B (zh) 2018-06-29 2019-06-28 自适应性滤波方法和使用该方法的视频编码及解码装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910530590.1A Pending CN110662065A (zh) 2018-06-29 2019-06-19 图像数据解码方法及解码器、图像数据编码方法及编码器

Country Status (5)

Country Link
US (2) US20200007872A1 (zh)
EP (1) EP3588948A1 (zh)
JP (1) JP6903095B2 (zh)
CN (2) CN110662065A (zh)
TW (2) TW202015409A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190253624A1 (en) * 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
US11190764B2 (en) * 2018-07-06 2021-11-30 Qualcomm Incorporated Merged mode dependent intra smoothing (MDIS) and intra interpolation filter switching with position dependent intra prediction combination (PDPC)
KR20200005480A (ko) * 2018-07-06 2020-01-15 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10491893B1 (en) * 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
JP7444599B2 (ja) 2018-12-28 2024-03-06 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
CN111757105B (zh) * 2020-06-30 2023-07-04 北京百度网讯科技有限公司 图像编码处理方法、装置、设备和介质
US11563977B2 (en) 2020-09-24 2023-01-24 Tencent America LLC Method and apparatus for video coding
CN113676738B (zh) * 2021-08-19 2024-03-29 上海交通大学 一种三维点云的几何编解码方法及装置
WO2023241634A1 (en) * 2022-06-18 2023-12-21 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104012094A (zh) * 2011-11-07 2014-08-27 李英锦 视频数据的解码方法
CN107105235A (zh) * 2010-12-21 2017-08-29 韩国电子通信研究院 视频解码设备
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
CN107580223A (zh) * 2011-11-08 2018-01-12 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN108141589A (zh) * 2015-09-29 2018-06-08 Lg 电子株式会社 图像编译系统中对图像进行滤波的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9681132B2 (en) 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
GB2500347B (en) * 2011-05-16 2018-05-16 Hfi Innovation Inc Apparatus and method of sample adaptive offset for luma and chroma components
CN106412585A (zh) * 2011-06-17 2017-02-15 联发科技股份有限公司 内部预测模式编码的方法
CN103650512B (zh) * 2011-07-12 2017-04-19 英特尔公司 基于亮度的色度帧内预测
CN105491379A (zh) * 2014-10-01 2016-04-13 财团法人工业技术研究院 解码器、编码器、解码方法、编码方法与编解码系统
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
MX2018006091A (es) 2015-11-17 2018-11-09 Awei Tech Co Ltd Metodo y aparato para filtracion adaptativa de muestras para codificacion de video.
CN106170093B (zh) 2016-08-25 2020-01-07 上海交通大学 一种帧内预测性能提升编码方法
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116320497A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
US10638126B2 (en) 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105235A (zh) * 2010-12-21 2017-08-29 韩国电子通信研究院 视频解码设备
CN104012094A (zh) * 2011-11-07 2014-08-27 李英锦 视频数据的解码方法
CN104967847A (zh) * 2011-11-07 2015-10-07 李英锦 视频数据的解码方法
CN107580223A (zh) * 2011-11-08 2018-01-12 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN108141589A (zh) * 2015-09-29 2018-06-08 Lg 电子株式会社 图像编译系统中对图像进行滤波的方法和装置
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Description of SDR,HDR,and 360° video coding technology proposal by Fraunhofer HHI;M. Albrecht et al.;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego,US,10–20Apr.2018》;20180420;第51-55页第2.1.9.5节 *

Also Published As

Publication number Publication date
TW202002632A (zh) 2020-01-01
TW202015409A (zh) 2020-04-16
US10735727B2 (en) 2020-08-04
EP3588948A1 (en) 2020-01-01
US20200007872A1 (en) 2020-01-02
JP6903095B2 (ja) 2021-07-14
CN110662034A (zh) 2020-01-07
TWI717776B (zh) 2021-02-01
US20200007862A1 (en) 2020-01-02
CN110662065A (zh) 2020-01-07
JP2020014198A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
CN110662034B (zh) 自适应性滤波方法和使用该方法的视频编码及解码装置
CN107027038B (zh) 动态参考运动矢量编码模式
CN107147908B (zh) 一种对视频进行解码的设备
US20150229967A1 (en) Inter-layer video coding method and device for predictive information based on tree structure coding unit, and inter-layer video decoding method and device for predictive informationbased on tree structure coding unit
US20140247883A1 (en) Scalable video encoding and decoding method and apparatus using same
CN109155856B (zh) 用于视频编解码的利用近邻块模式的运动估计的方法和系统
US20190037227A1 (en) Techniques for hardware video encoding
JP2022036081A (ja) 選択的変換に基づいた映像コーディング方法およびその装置
CN113259661A (zh) 视频解码的方法和装置
CN113170210A (zh) 视频编码和解码中的仿射模式信令
US9319688B2 (en) Moving image encoding apparatus
EP3706421A1 (en) Method and apparatus for video encoding and decoding based on affine motion compensation
JP2023543985A (ja) 多用途ビデオコーディングのためのテンプレートマッチング予測
WO2013005967A2 (ko) 영상 정보 부호화 방법 및 복호화 방법
CN111263144A (zh) 一种运动信息确定方法及其设备
EP4246972A1 (en) Method and apparatus for sample adaptive offset, device, and medium
US9407937B2 (en) Image encoder and decoder using undirectional prediction
CN113826397A (zh) 用于图像编码和解码的方法和设备
CN112753222A (zh) 视频编码和解码中的运动矢量预测
KR20170126934A (ko) 컨텐츠-적응적 b-픽쳐 패턴 비디오 인코딩
JP2021531677A (ja) 広角イントラ予測と位置依存イントラ予測の組み合わせ
JP2022500895A (ja) イントラ変換コード化及び広角イントラ予測の調和
JP2022553594A (ja) インター予測方法および装置、機器、記憶媒体
JP6875566B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム
KR20140031974A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant