CN109845266A - 用以移除涟漪效应的平滑化滤波方法和装置 - Google Patents

用以移除涟漪效应的平滑化滤波方法和装置 Download PDF

Info

Publication number
CN109845266A
CN109845266A CN201780061510.1A CN201780061510A CN109845266A CN 109845266 A CN109845266 A CN 109845266A CN 201780061510 A CN201780061510 A CN 201780061510A CN 109845266 A CN109845266 A CN 109845266A
Authority
CN
China
Prior art keywords
ripples
reconstructed
current
filter
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780061510.1A
Other languages
English (en)
Other versions
CN109845266B (zh
Inventor
苏郁琪
庄子德
陈庆晔
徐志玮
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202110821033.2A priority Critical patent/CN113518221B/zh
Publication of CN109845266A publication Critical patent/CN109845266A/zh
Application granted granted Critical
Publication of CN109845266B publication Critical patent/CN109845266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

本发明公开一种使用涟漪平滑化滤波器的视频编解码的方法及装置。根据一方法，将涟漪平滑化滤波器应用到多个重构残差以形成多个已平滑重构残差，或者将涟漪平滑化滤波应用到已环内滤波重构块以形成已平滑滤波重构块，以用于当前块，其中涟漪平滑化滤波器对应于边缘保持滤波器。涟漪平滑化滤波器亦可以对应于双边滤波器。根据另一方法，基于包括帧内预测模式或者帧间预测模式的信息推导出适应性的涟漪平滑化滤波器。在又一方法中，基于一个或多个控制旗标判断是否将涟漪平滑化滤波器应用到当前图像中的当前块。如果控制旗标表示涟漪平滑化滤波器处于开启状态以用于当前块，则将涟漪平滑化滤波器应用到当前块。

Description

用以移除涟漪效应的平滑化滤波方法和装置
【交叉引用】
本申请主张2016年10月14日提出的申请号为62/408,145的美国临时专利申请以及2016年10月20日提出的申请号为62/410,416的美国临时专利申请的优先权。这些美国临时专利申请整体以引用方式并入本文。
【技术领域】
本发明涉及平滑化滤波以移除视频编解码中的涟漪效应(ringing artefact)。具体而言，本发明公开了基于重构视频数据的特征或者相关编解码参数的适应性的涟漪平滑化滤波器(ringing smoothing filter，RSF)以提高编解码性能。此外，RSF可以被应用到残差、重构数据或者已滤波重构数据。
【背景技术】
高效率视频编码(High Efficiency Video Coding，HEVC)标准是在ITU-T的视频编码专家组(Video Coding Experts Group，VCEG)和ISO/IEC的运动图像专家组(MovingPicture Experts Group，MPEG)标准化组织的联合视频专案下开发出来的，这个合作关系被特别的称为视频编码联合协作小组(Joint Collaborative Team on Video Coding，JCT-VC)的伙伴关系。在HEVC中。将一个片段(slice)分割成多个编码树单元(coding treeunit，CTU)。在主配置文件(profile)中，CTU的最小尺寸和最大尺寸由序列参数集(sequence parameter set，SPS)中的语法元素来指定。所允许的CTU尺寸可以是8x8,16x16,32x32或者64x64。对于每个片段而言，根据光栅扫描顺序来处理该片段内的CTU。
CTU进一步被分割成多个编码单元(coding unit，CU)，以适应不同的局部特性。表示为编码树的四叉树用于将CTU分割成多个CU。CTU尺寸为MxM，其中M为64，32或者16中的一个。CTU可以是单个CU(即，不分割)，或者被分割成四个具有相同尺寸(即，每个尺寸为M/2xM/2)的更小单元，其对应于编码树的节点。另外，根据HEVC，每个CU可以被分割成一个或多个预测单元(prediction unit，PU)。结合CU，PU用作基础表示块，以用于共用预测信息。在每个PU内部，相同的预测流程被使用，并且基于PU，相关信息被发送至解码器。根据PU分割类型，一个CU可以被分割成1个、2个或者4个PU。在预测流程基于PU分割类型而得到残差块之后，根据类似于CU的编码树的另一四叉树结构，CU的预测残差可以被分割成变换块(transform unit，TU)。随后，2D变换被应用到TU，以用于进一步的编解码流程。
图1A示出了包括基于HEVC的环内滤波流程的示例性的适应性的帧间/帧内视频编解码系统。对于帧间/帧内预测(即100)，其基于存储在帧缓冲器180中的输入帧和之前编解码数据，用于生成预测数据。透过自输入数据中减去预测数据，使用加法器115，输入数据与预测数据之间的差被生成。这差也被称为预测误差、残差(residual)或者残余(residue)，其随后由变换(Transform，T)与量化(Quantization，Q)120处理，已变换与已量化残差随后由熵编码器130编码，以生成对应于已压缩视频数据的视频比特流。与绘图区域(图1A中未显性示出)相关的诸如运动、编解码模式和其他辅助信息(side information)的辅助信息，与变换系数相关的比特流随后被封装。
当帧间/帧内预测被使用时，编码器侧也得生成重构数据。因此，已变换与已量化残差由逆量化(Inverse Quantization，IQ)与逆变换(Inverse Transformation，IT)140处理，以恢复残差。随后，使用重构单元(Reconstruction unit，REC)150，残差被加回到预测数据，以形成重构视频数据。由于在编码系统中视频数据经过一系列处理，来自于REC 150的重构视频数据可能会受到由于一系列的编解码流程而引起的各种损失的影响。因此，包括去块滤波器(deblocking filter，DF)160和样本适应性偏移(Sample Adaptive Offset，SAO)170的环内滤波器已在HEVC标准中被使用，以提供视觉品质，或者降低比特速率。随后，重构视频数据被存储在帧缓冲器180中，以推导出帧内预测子/帧间预测子以用于后续编解码流程。
图1B示出了用于图1A中的编码器的相应的视频解码器的系统结构示意图。由于编码器也包括本地解码器以用于对视频数据进行重构，除了熵解码器132之外，一些解码器元件已在编码器中被使用。此外，虽然在编码器侧处运动估计和运动补偿均被需要以用于帧内/帧间预测110，但是在解码器侧处仅运动补偿被需要以用于帧内/帧间预测112。自SAO170的环内滤波输出可以用作已解码视频输出。
最近，双边滤波器(Bilateral filter)已由Paris等(“Bilateral Filtering:Theory and Applications,Foundations and Trends in Computer Graphics andVision,Vol.4,No.1(2008),pp 1–73)公开，以在保护图像中的边缘和重要细节时降低噪音和伪影。
为了进一步提高编解码性能，本发明中公开了各种改善的滤波技术。
【发明内容】
本发明公开了使用涟漪平滑化滤波器的视频编解码的方法及装置。根据本发明，接收与当前图像相关的输入数据。自输入数据推导出对应于与当前图像中与当前块相关的多个重构残差的已去量化与已逆变换数据。将涟漪平滑化滤波器应用到多个重构残差以形成多个已平滑重构残差，或者将涟漪平滑化滤波应用到已环内滤波重构块以形成已平滑滤波重构块，以用于当前块，其中涟漪平滑化滤波器对应于一边缘保持滤波器。透过采用多个已平滑重构残差或者已平滑滤波重构块，生成最终重构块以用于当前块。可以将最终重构块存储在缓冲器中，用作编码器侧中多个后续图像的预测的参考数据，或者将最终重构块用作解码器侧中用于当前重构图像的输出。涟漪平滑化滤波器可以对应于双边滤波器。
在一个实施例中，以相同的方式在编码器侧处与解码器侧处估计与涟漪平滑化滤波器相关的多个参数，以使得无需从编码器侧发送多个参数到解码器侧。例如，基于编解码信息、与当前图像相关的重构残差的特征、当前重构图像的特征或者其组合，估计多个参数。
在解码器侧处，输入数据可以对应于包括当前图像的已压缩数据的比特流。在解码器侧处，透过将熵解码应用到比特流，自输入数据推导出已去量化与已逆变换数据。随后，将逆变换与去量化应用到多个已变换与已量化残差上以形成重构残差。在编码器侧处，输入数据可以对应于当前图像的像素数据。随后，将帧间预测或帧内预测应用到当前图像中的当前块以生成与当前块相关的多个残差。将变换和量化应用到多个残差以推导出多个已变换与已量化残差。随后，将逆变换和去量化应用到多个已变换与已量化残差以形成多个重构残差。
根据另一方法，基于包括帧内预测模式或者帧间预测模式的信息，确定涟漪平滑化滤波器，其中涟漪平滑化滤波器对应于边缘保持滤波器。随后，将涟漪平滑化滤波器应用到多个重构残差以形成已平滑重构残差，将涟漪平滑化滤波器应用到当前重构块以形成当前已平滑重构块，或者将涟漪平滑化滤波器应用到当前已环内滤波重构块以形成当前已平滑滤波重构块。透过采用多个已平滑重构残差、当前已平滑重构块或者已平滑滤波重构块，生成最终当前重构块。在一个实施例中，如果当前块以垂直帧内预测模式或者水平帧内模式而被编解码，则涟漪平滑化滤波器被配置为一维滤波器。在另一个实施例中，根据当前块的预测模式，估计涟漪平滑化滤波器的多个系数和覆盖区(footprint)。在又一个实施例中，不同的涟漪平滑化滤波器用于当前块的亮度块和色度块。在又一个实施例中，如果当前块被帧内预测编解码，则调整涟漪平滑化滤波器的多个系数和涟漪平滑化滤波器的覆盖区的形状，以适合当前帧内预测的角度方向。在又一个实施例中，根据编解码信息，配置涟漪平滑化滤波器的滤波器尺寸，其中编解码信息包括量化参数、变换单元中的位置、编码树单元、预测单元或者变换单元的尺寸、预测模式或者其组合。在又一个实施例中，仅将涟漪平滑化滤波器应用到水平方向或者垂直方向上每N个待滤波样本中的一个，其中N为正整数。在又一个实施例中，涟漪平滑化滤波器采用当前中心样本的多个子采样相邻样本，以推导出用于当前块的已平滑当前样本。在又一个实施例中，应用涟漪平滑化滤波器包括将多个已涟漪平滑化滤波器滤波样本与多个未滤波样本进行组合。此外，本发明也公开了推导出归一化权重参数的方程式。
在又一方法中，推导出关于是否将涟漪平滑化滤波器应用到当前图像中的当前块的一个或多个控制旗标。如果控制旗标指示将涟漪平滑化滤波器应用到当前块，则将涟漪平滑化滤波器应用到当前块。
【附图说明】
图1A是包括基于HEVC的环内滤波流程的示例性的适应性帧间/帧内视频编解码系统。
图1B是用于图1A中的编码器的相应的视频解码器的系统结构示意图。
图2是具有被应用到残差的RSF的基于图1A中的HEVC编码器的编码器的示例性结构示意图。
图3A-图3C是具有被应用到位于不同位置处的重构帧的RSF的HEVC的结构示意图的示例。在图3A中，RSF被放置在重构(即重构残差加预测)之后和DF之前。在图3B中，RSF310被放置在DF与SAO之间。在图3C中，RSF310被放置在SAO之后。本发明也可以被应用到其他编码器，例如包括其他位于SAO之后的环内滤波器(例如，适应性环路滤波器(adaptiveloop filter，ALF))的编码器。在本情况中，RSF 310可以被应用到其他环内滤波器或者在输出到帧缓冲器之前被立即应用。
图4是具有被应用到残差的RSF的基于图1B中的HEVC解码器的解码器的示例性结构示意图。
图5A-图5C是基于具有被应用到位于不同位置处的重构帧的RSF的HEVC的结构示意图的示例。在图5A中，RSF被放置在重构单元(即重构残差加预测)与DF之间。在图5B中，RSF被放置在DF与SAO之间。在图5C中，RSF被放置在SAO之后。
图6是内核尺寸为3x3且“步幅”＝2的RSF中的滤波器的示例。
图7是内核尺寸为3x3且子采样距离等于2的RSF的示例。
图8是根据本发明一实施例的使用涟漪平滑化滤波器的示例性编解码系统的流程图。
图9是根据本发明一实施例的使用涟漪平滑化滤波器的示例性编解码系统的流程图，其中RSF被适应性推导出。
图10是根据本发明一实施例的使用涟漪平滑化滤波器的示例性编解码系统的流程图，其中RSF根据控制旗标而被应用。
【具体实施方式】
以下描述为实施本发明的较佳实施例。本描述用于示出本发明的一般原理，并非用以限定作用。本发明的保护范围当视所附上的权利要求范围所界定为准。
如上所述，编解码流程经常在重构视频中引起伪影。例如，基于编解码结构的块经常引起块边界周围的块效应。因此，去块滤波器已被使用以去除块效应。同样地，编解码流程也可能引起重构视频中的强度偏移。因此，SAO已被使用以补偿强度偏移。在重构视频中，也存在另一种伪影的类型，即“涟漪效应”，其由图像中的尖锐过渡引起，例如强边缘和线。这些强边缘和线被变换成频域表示中的很多系数。量化流程引入了这些系数的失真。当已量化系数被逆变换以重构这些边缘或者线时，称为涟漪效应的波形伪影或者波纹结构，在附近区域中可见。
在本发明中，涟漪平滑化滤波器被公开以进一步移除或者降低涟漪效应，以便提高更好品质和/或提高编解码性能。RSF被放置在逆变换之后的重构路径的位置处，以补偿编码器和解码器中的残差或者已解码信息框。
根据本发明，RSF可以是任何种类的边缘保持(edge-preserving)滤波器，其被应用到残差或者重构信息框，以移除由量化误差引起的涟漪效应。Paris等(“BilateralFiltering:Theory and Applications,Foundations and Trends in Computer Graphicsand Vision,Vol.4,No.1(2008),pp 1–73)公开的双边滤波器旨在保护图像中的边缘和重要细节时降低噪音和伪影。双边滤波器是一个较好的边缘保持滤波器以用于RSF。为了减少从编码器发送至解码器的RSF的辅助信息，基于重构信息框的编解码信息和特征属性，RSF中所使用的双边滤波器或者任何其他边缘保持滤波器的参数可以被估计。
图2示出了具有被应用到位于逆变换之后的残差的RSF且基于图1A中的HEVC编码器的编码器的示例性结构示意图。在本情况中，RSF 210被执行以用于每个TU块。在本实例中，RSF 210的输入对应于位于逆变换之后的重构残差，且其输出是已平滑重构残差。
根据本发明，RSF也可以并入到编码链/重构链的其他位置中。图3A-图3C示出了基于具有被应用到位于不同位置处的重构信息框的RSF的HEVC的结构示意图的示例。在图3A中，RSF 310被放置在REC 150(即重构残差加预测)与DF 160之间，使得RSF 310的输入对应于重构数据(即重构残差加预测)，且RSF 310的输出对应于已平滑重构数据(the smoothedreconstructed data)。在图3B中，RSF 310被放置在DF 160与SAO 170之间。在图3C中，RSF310被放置在SAO 170之后。本发明也可被应用到其他编码器，例如包括位于SAO 170之后的其他环内滤波器(例如，适应性环形滤波器)的编码器。在本情况中，RSF 310可以被应用到其他环内滤波器或者在输出到帧内暂存器180之前立即被应用。
图4示出了具有被应用到残差的RSF且基于图1B中的HEVC解码器的解码器的示例性结构示意图。在本情况中，RSF 410被执行以用于每个残差块。在本示例中，RSF 410的输入对应于重构残差，且其输出是已平滑重构残差。
根据本发明，RSF也可以被并入到解码链中的其他位置。图5A-图5C示出了基于具有被应用到位于不同位置处的重构信息框的RSF的HEVC的结构示意图的示例。在图5A中，RSF 510被放置在REC 150与DF 160之间(即RSF 510的输入对应于重构残差加预测)。在图5B中，RSF 510被放置在DF 160与SAO 170之间。在图5C中，RSF 510被放置在SAO 170之后。本发明也可被应用到其他解码器，例如包括位于SAO 170之后的其他环内滤波器(例如，适应性环形滤波器)的解码器。在本情况中，RSF 510可以被应用到其他环内滤波器或者在输出到帧内暂存器180之前立即被应用。
RSF可以是任何种类的边缘保持滤波器。双边滤波器是一种已知的边缘保持滤波器，其是用于RSF的一个较好的候选滤波器。双边滤波器包括空间滤波器(spatial filter)和范围滤波器(range filter)。空间滤波器，为高斯权重滤波器(Gaussian weightingfilter)，根据中心像素与由正在被滤波的当前像素所形成的视窗内附近像素之间的距离确定附近像素的影响。越更靠近中心像素的附近像素在空间滤波器中具有越更高的权重。如果附近像素的其强度不同于中心像素，采用范围滤波器(也是高斯权重滤波器)透过降低附近像素的影响以保护边缘。强度具有与中心像素的强度相似的强度的附近像素在范围滤波器中具有更高权重。方程式(1)显示了由Paris等公开的双边滤波器的公式。在这个公式中，双边滤波器被标记为BF[·]。中心像素p将被附近像素q滤波。是分配给q的权重，以滤波中心像素p。是空间滤波器，其是高斯权重函数，其中σs是空间参数。相似地，是范围滤波器，其也是高斯权重函数，具有范围参数σr。在由Paris等公开的双边滤波器的方程式(2)中，Wp是归一化因数，其用于确保像素权重和为1.0。
在一个实施例中，如果在帧内预测中编解码类型是垂直模式或者水平模式，则RSF可以是一维边缘保持滤波器，其旨在补偿沿着正交于预测方向的方向上的伪影或者沿着预测方向的伪影。例如，如果帧内预测模式是垂直模式，则水平方向或者垂直方向上的一维RSF可以是一个选择以在保持编解码效率的同时降低处理时间。
在另一实施例中，RSF的系数(例如，双边滤波器中的空间滤波器和范围滤波器的高斯权重)和覆盖区(footprint)可以根据重构信息框中的纹理特征而变化。重构信息框中的纹理特征可以自预测模式(例如帧内预测中的角度方向)估计。例如，对于帧内预测中的角度方向，沿着与角度预测方向相同或者正交的方向的系数的值可以被调整成比滤波器的剩余系数更高。另外，RSF的覆盖区的形状和参数(例如，双边滤波器中的σs和σr)也可以被调整以适合角度预测方向，以用于帧内预测实例。同样地，覆盖区可以被适应于重构信息框的纹理模型，以用于帧内预测实例和帧间预测实例。例如，如果使用帧内预测中的垂直模式来预测当前块，则覆盖区可以被缩小成垂直滤波器(或者水平滤波器)。对于对角线相关模式，覆盖区可以被缩小成沿着对角线方向(或者正交于对角线方向)。RSF的系数和覆盖区也可以根据变化类型而变化。例如，σs与σr和滤波器覆盖区可以根据不同的列/行变化及二次变换而调整。
在另一实施例中，由于亮度信号与色度信号之间的不同特征，用于亮度和色度的RSF的配置设置可以被单独确定。例如色度信号通常包括比亮度信号更多的中频信号或者低频信号。RSF的配置设置可以包括滤波器中所使用的抽头(tap)或者参数(例如，双边滤波器中的σs和σr)的数量。因此，控制RSF中滤波器的平滑强度的不同参数设置可以帮助亮度信号与色度信号以移除适当的频带内的伪影。例如，由于在图像的相同区域内，亮度信号比色度信号通常包括更多的高频细节，用于亮度信号的双边滤波器中的空间参数σs可以比色度信号的空间参数σs更灵敏。
如果双边滤波器被用作RSF，则双边滤波器可以以如方程式(3)和方程式(4)所示的更归一化的形式表达，权重Wq、σs和σr取决于覆盖区中像素q的位置和内容信息(例如，TU尺寸、TU中的位置、比特深度(bit-depth)、颜色格式、颜色分量、量化参数(quantizationparameter，QP)、CU/PU/TU层模式(例如，帧内/帧内模式、帧内预测模式)、变换类型或者上述的任意组合)。
Wq可以取决于变换类型。如果垂直变换被跳过或者垂直变换被应用到垂直方向，则Wq可以被设置成0，以用于像素q，其与像素p(即当前中心像素)不是位于相同的y位置处。
在另一实施例中，为了实现更好的编解码效率，开启控制旗标/关闭控制旗标可以被适应性地包含在各个层中，即序列层、图像层、片段层、CTU层、CU层、PU层和/或TU层，或者上述的任意组合。开启控制/关闭控制可以由编解码信息或者残差或重构信息框的特征属性来确定。
在另一实施例中，为了平滑化用于更好视觉品质和更高编解码性能的已滤波结果，已平滑重构残差/重构信息框可以与原始重构残差/重构信息框被进一步融合。融合未平滑重构残差/重构信息框和已平滑重构残差/重构信息框的权重可以基于未平滑重构残差/重构信息框与已平滑重构残差/重构信息框之间的差值而调整。
在另一实施例中，未平滑重构残差数据或者重构信息框与已平滑重构残差数据或者重构信息框之间的差值可以被裁剪到一范围。这个裁剪范围可以是个固定范围，或者适应性范围。这个范围可以取决于TU尺寸、残差数据的幅度、TU中的位置、比特深度、颜色格式、颜色分量、QP、CU/PU/TU层模式(例如，帧内/帧内模式)、变换类型或者上述任意组合。
在另一实施例中，RSF的滤波器尺寸可以根据解析度相关信息而适应性调整，例如，重构信息框的解析度或者诸如QP、TU中的位置、CTU、CU、PU和/或TU的尺寸或者帧内实例或帧间实例中的预测模式或者上述的任意组合的编解码信息。也存在很多其他配置设置，其可以引用解析度相关信息。例如，一个配置设置可以被设计为变数“步幅(stride)”，其确定当前像素与待滤波的下一像素之间的像素距离。图6示出了内核尺寸(kernel size)为3x3且步幅＝2的RSF中的滤波器的示例。在图6中，于使用3x3视窗610内的相邻像素(如粗线框所示)以过滤像素p之后，使用3x3视窗620(如粗虚线所示)以过滤下一像素p2。
在另一实施例中，RSF被应用到子采样像素。待引用的两个相邻像素之间的采样距离也可以是基于解析度相关信息(例如，重构信息框的解析度)、编解码信息(例如，QP、TU中的位置、CTU、CU、PU和/或TU的尺寸或者帧内实例或帧间实例中的预测模式)或上述任意组合而是可配置的。图7示出了内核尺寸为3x3且采样距离(即dist_k)等于2的RSF的示例，其中用于RSF的子采样像素由填充的方形表示。
图7示出了内核尺寸为3x3且dist_k等于2的RSF的示例。如果中心像素p的位置是(i,j)，则使用位于(i-2,j-2),(i-2,j),(i-2,j+2),(i,j-2),(i,j),(i,j+2),(i+2,j-2),(i+2,j)和(i+2,j+2)处的相邻像素，p将被过滤。
为了减少计算量，使用存储有用于二维阵列中的特定QP的所有权重的查阅数据表(Look-Up Table，LUT)，双边滤波器可以被实现。相同原理可以被扩展到具有更归一化形式的RSF的本发明中。因此，在另一实施例中，与RSF相关的系数或者参数可以被存储在查阅数据表中，以减少所需的计算。另外，为了减少从编码器发送至解码器的RSF的辅助信息，可以基于编解码信息、残差数据或者重构信息框的特征属性而估计RSF的参数。此外，在另一实施例中，编码器和解码器可以采用相邻视频信息框之间的时间相关性，并重新使用自之前编码信息框(previous encoded frame)所获得的RSF的参数。
如果滤波器覆盖区覆盖了不可用像素，则根据一个实施例，可以重新形成这个覆盖区。在另一实施例中，填充/镜像可以用于生成不可用像素，以用于滤波器。
图8示出了使用RSF的一示例性编解码系统的流程图。本流程图所示的步骤可以被实现为在编码器侧或者解码器侧处的一个或多个处理器(例如一个或多个CPU)上可执行的程式代码。本流程图所示的步骤也可以基于硬件来实现，例如，用于执行本流程图中的步骤的一个或多个电子设备或处理器。根据本方法，在步骤810中，接收与当前图像相关的输入数据。在步骤820中，自输入数据推导出对应于与当前图像中与当前块相关的重构残差的已去量化与已逆变换数据。在解码器侧处，输入数据对应于包括当前图像的已压缩数据的比特流。透过应用熵解码以自比特流推导出已变换与已量化残差，并将逆变换与去量化应用到已变换与已量化残差上以形成重构残差，自输入数据推导出已去量化与已逆变换数据。在编码器侧处，输入数据对应于当前图像的像素数据。透过将帧间预测或帧内预测应用到当前图像中的当前块以生成与当前块相关的残差，将变换和量化应用到残差以推导出已变换与已量化残差，并将逆变换和去量化应用到已变换与已量化残差以形成重构残差，自输入数据推导出已去量化与已逆变换数据。在步骤830中，将RSF应用到重构残差以形成已平滑重构残差，或者将RSF应用到已环内滤波重构块以形成已平滑滤波重构块，以用于当前块，其中RSF对应于边缘保持滤波器。在步骤840中，透过采用已平滑重构残差或者已平滑滤波重构块，生成最终重构块以用于当前块。在步骤850中，将最终重构块存储在暂存器中，用作编码器侧中后续图像的预测的参考数据，或者将最终重构块用作解码器侧中用于当前重构图像的输出。
图9示出了使用RSF的另一示例性编解码系统的流程图。根据本方法，在步骤910中，接收与当前图像相关的输入数据。在步骤920中，自输入数据推导出对应于与当前图像中当前块相关的重构残差的已去量化与已逆变换数据。在步骤930中，基于包括帧内预测模式或者帧间预测模式的信息，确定RSF，其中RSF对应于边缘保持滤波器。在步骤940中，将RSF应用到重构残差以形成已平滑重构残差，将RSF应用到当前重构块以形成当前已平滑重构块，或者将RSF应用到当前已环内滤波重构块以形成当前已平滑与已滤波重构块。在步骤950中，透过采用已平滑重构残差、当前已平滑重构块或者当前已平滑与已滤波重构块，生成最终当前重构块。在步骤960中，将最终重构块存储在暂存器，用作编码器侧中后续图像的预测的参考数据，或者将最终重构块用作解码器侧中用于当前重构图像的输出。
图10示出了使用RSF的又一示例性编解码系统的流程图。根据本方法，在步骤1010中，接收与当前图像相关的输入数据。在步骤1020中，检测控制旗标是否指示RSF处于开启状态，如果RSF处于开启状态(即来自于步骤1020的“是”路径)，则执行步骤1030到步骤1050。否则(即来自于步骤1020的“否”路径)，跳过步骤1030至1050。在步骤1030中，将RSF应用到重构残差以形成已平滑重构残差，将RSF应用到当前重构块以形成当前已平滑重构块，或者将RSF应用到当前已环内滤波重构块以形成当前已平滑与已滤波重构块。在步骤1040中，透过采用已平滑重构残差、当前已平滑重构块或者当前已平滑与已滤波重构块，生成最终当前重构块。在步骤1050中，将最终重构块存储在暂存器，用作编码器侧中后续图像的预测的参考数据，或者将最终重构块用作解码器侧中用于当前重构图像的输出。
本发明所示的流程图用于示出根据本发明的视频编码的示例。在不脱离本发明的精神的情况，本领域技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤来实施本发明。在本发明中，已经使用特定语法和语义来示出不同示例，以实施本发明的实施例。在不脱离本发明的精神的情况，透过用等价的语法和语义来替换该语法和语义，本领域的技术人员可以实施本发明。
在又一实施例中，只要目标块能透过两个或者更多不同的分割来产生，也可以对其他灵活的块分割变形使用上述提出的方法。
上述说明，使得本领域技术人员能够在特定应用程式的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由电脑处理器、数字信号处理器、微处理器或现场可编程设计闸阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，透过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以被编译以用于不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求范围来表示，而不是前述的描述来表示。权利要求范围的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (28)

1.一种视频编码或解码方法，分别由视频编码器或者视频解码器使用，该方法包括：
接收与当前图像相关的输入数据；
自该输入数据推导出对应于与该当前图像中与当前块相关的多个重构残差的已去量化与已逆变换数据；
将涟漪平滑化滤波器应用到该多个重构残差以形成多个已平滑重构残差，或者将涟漪平滑化滤波器应用到已环内滤波重构块以形成已平滑滤波重构块，以用于该当前块，其中该涟漪平滑化滤波器对应于边缘保持滤波器；
透过采用该多个已平滑重构残差或者该已平滑滤波重构块，生成最终重构块以用于该当前块；以及
将该最终重构块存储在缓冲器中，用作编码器侧中多个后续图像的预测的参考数据，或者将该最终重构块用作解码器侧中用于当前重构图像的输出。
2.根据权利要求1所述的视频编码或解码方法，其特征在于，
该涟漪平滑化滤波器对应于双边滤波器。
3.根据权利要求1所述的视频编码或解码方法，其特征在于，
以相同的方式在该编码器侧处与该解码器侧处估计与该涟漪平滑化滤波器相关的多个参数，以使得无需将该多个参数从该编码器侧发送到该解码器侧。
4.根据权利要求3所述的视频编码或解码方法，其特征在于，
该多个参数是基于编解码信息、与该当前图像相关的重构残差的特征、当前重构图像的特征或者其组合而估计。
5.根据权利要求1所述的视频编码或解码方法，其特征在于，
与该涟漪平滑化滤波器相关的多个系数或者参数存储在查阅数据表中，以减少所需计算。
6.根据权利要求1所述的视频编码或解码方法，其特征在于，根据编解码信息，与该涟漪平滑化滤波器相关的多个参数被确定，其中该编解码信息包括量化参数、变换单元中的位置、变换单元的尺寸、编码树单元、预测单元或者变换单元的尺寸、预测模式或者其组合。
7.根据权利要求1所述的视频编码或解码方法，其特征在于，
根据如下将该涟漪平滑化滤波器应用到当前像素：
和
其中，p对应于正在被滤波的该当前像素，q表示该当前像素的相邻像素，S表示该涟漪平滑化滤波器的覆盖区内的像素集，Ip对应于p的强度，Iq对应于q的强度，和分别对应于用于范围滤波器和空间滤波器的高斯权重函数，以及BF[I]p表示位于p处的已滤波输出。
8.根据权利要求1所述的视频编码或解码方法，其特征在于，
在该解码器侧处，该输入数据对应于包括该当前图像的已压缩数据的比特流；
自该输入数据推导出已去量化与已逆变换数据，包括：应用熵解码以自该比特流推导出多个已变换与已量化残差；以及将逆变换与去量化应用到该多个已变换与已量化残差上以形成重构残差。
9.根据权利要求1所述的视频编码或解码方法，其特征在于，
在该编码器侧处，该输入数据对应于该当前图像的像素数据；
自该输入数据推导出该已去量化与已逆变换数据，包括：将帧间预测或帧内预测应用到该当前图像中的当前块以生成与该当前块相关的多个残差；
将变换和量化应用到该多个残差以推导出多个已变换与已量化残差；以及将逆变换和去量化应用到该多个已变换与已量化残差以形成该多个重构残差。
10.一种视频编码或解码装置，分别由视频编码器或者视频解码器使用，该装置包括一个或多个电子电路或处理器，用于：
接收与当前图像相关的输入数据；
自该输入数据推导出对应于与该当前图像中与当前块相关的多个重构残差的已去量化与已逆变换数据；
将涟漪平滑化滤波器应用到该多个重构残差以形成多个已平滑重构残差，或者
将涟漪平滑化滤波器应用到已环内滤波重构块以形成已平滑滤波重构块，以用于该当前块，其中该涟漪平滑化滤波器对应于边缘保持滤波器；
透过采用该多个已平滑重构残差或者该已平滑滤波重构块，生成最终重构块以用于该当前块；以及
将该最终重构块存储在缓冲器中，用作编码器侧中多个后续图像的预测的参考数据，或者将该最终重构块用作解码器侧中用于当前重构图像的输出。
11.一种视频编码或解码方法，分别由视频编码器或者视频解码器使用，该方法包括：
接收与当前图像相关的输入数据；
自该输入数据推导出对应于与该当前图像中与当前块相关的多个重构残差的已去量化与已逆变换数据；
基于包括帧内预测模式或者帧间预测模式的信息，确定涟漪平滑化滤波器，其中该涟漪平滑化滤波器对应于边缘保持滤波器；
将该涟漪平滑化滤波器应用到该多个重构残差以形成多个已平滑重构残差，将该涟漪平滑化滤波器应用到当前重构块以形成当前已平滑重构块，或者将该涟漪平滑化滤波器应用到当前已环内滤波重构块以形成当前已平滑滤波重构块；
透过采用该多个已平滑重构残差、该当前已平滑重构块或者该已平滑滤波重构块，生成最终当前重构块；以及
将该最终当前重构块存储在缓冲器中，用作编码器侧中多个后续图像的预测的参考数据，或者将该最终当前重构块用作解码器侧中用于当前重构图像的输出。
12.根据权利要求11所述的视频编码或解码方法，其特征在于，
该涟漪平滑化滤波器对应于双边滤波器。
13.根据权利要求11所述的视频编码或解码方法，其特征在于，
确定该涟漪平滑化滤波器包括：
如果该当前块以垂直帧内预测模式或者水平帧内模式而被编解码，则配置该涟漪平滑化滤波器作为一维滤波器。
14.根据权利要求11所述的视频编码或解码方法，其特征在于，
确定该涟漪平滑化滤波器包括：
根据该当前块的预测模式，估计该涟漪平滑化滤波器的多个系数和覆盖区。
15.根据权利要求11所述的视频编码或解码方法，其特征在于，
确定该涟漪平滑化滤波器包括：
如果该当前块被帧内预测编解码，则调整该涟漪平滑化滤波器的多个系数和该涟漪平滑化滤波器的覆盖区的形状，以适合当前帧内预测的角度方向。
16.根据权利要求11所述的视频编码或解码方法，其特征在于，
确定该涟漪平滑化滤波器包括：
配置不同的该涟漪平滑化滤波器以用于该当前块的亮度块和色度块。
17.根据权利要求11所述的视频编码或解码方法，其特征在于，
确定该涟漪平滑化滤波器包括：
根据编解码信息，调整该涟漪平滑化滤波器的滤波器尺寸，其中该编解码信息包括变换单元中的位置、编码树单元、预测单元或者变换单元的尺寸、预测模式或者其组合。
18.根据权利要求11所述的视频编码或解码方法，其特征在于，
仅将该涟漪平滑化滤波器应用到水平方向或者垂直方向上每N个待滤波样本中的一个，其中N为正整数。
19.根据权利要求11所述的视频编码或解码方法，其特征在于，
该涟漪平滑化滤波器采用当前中心样本的多个子采样相邻样本，以推导出用于该当前块的已平滑当前样本。
20.根据权利要求11所述的视频编码或解码方法，其特征在于，
将多个已涟漪平滑化滤波器滤波样本与多个未滤波样本进行组合。
21.根据权利要求20所述的视频编码或解码方法，其特征在于，
基于该多个已涟漪平滑化滤波器滤波样本与该多个未滤波样本之间的差，调整用于该多个已涟漪平滑化滤波器滤波样本与该多个未滤波样本的一个或多个权重。
22.根据权利要求21所述的视频编码或解码方法，其特征在于，
将该多个已涟漪平滑化滤波器滤波样本与该多个未滤波样本之间的差裁剪到一范围。
23.根据权利要求11所述的视频编码或解码方法，其特征在于，
将与该涟漪平滑化滤波器相关的多个系数或者参数存储在查阅数据表中，以减少所需计算。
24.一种视频编码或解码装置，分别由视频编码器或者视频解码器使用，该装置包括一个或多个电子电路或处理器，用于：
接收与当前图像相关的输入数据；
自该输入数据推导出对应于与该当前图像中与当前块相关的多个重构残差的已去量化与已逆变换数据；
基于包括帧内预测模式或者帧间预测模式的信息，确定涟漪平滑化滤波器，其中该涟漪平滑化滤波器对应于边缘保持滤波器；
将该涟漪平滑化滤波器应用到该多个重构残差以形成多个已平滑重构残差，将该涟漪平滑化滤波器应用到当前重构块以形成当前已平滑重构块，或者将该涟漪平滑化滤波器应用到当前已环内滤波重构块以形成当前已平滑滤波重构块；
透过采用该多个已平滑重构残差、该当前已平滑重构块或者该已平滑滤波重构块，生成最终当前重构块；以及
将该最终当前重构块存储在缓冲器中，用作编码器侧中多个后续图像的预测的参考数据，或者将该最终当前重构块用作解码器侧中用于当前重构图像的输出。
25.一种视频编码或解码方法，分别由视频编码器或者视频解码器使用，该方法包括：
接收与当前图像相关的输入数据；
基于一个或多个控制旗标，判断是否将涟漪平滑化滤波器应用到该当前图像中的当前块；以及
如果该一个或多个控制旗标指示将该涟漪平滑化滤波器应用到该当前块，则：
将该涟漪平滑化滤波器应用到该多个重构残差以形成多个已平滑重构残差，
将该涟漪平滑化滤波器应用到当前重构块以形成当前已平滑重构块，或者
将该涟漪平滑化滤波器应用到当前已环内滤波重构块以形成当前已平滑滤波重构块；
透过采用该多个已平滑重构残差、该当前已平滑重构块或者该已平滑滤波重构块，生成最终当前重构块；以及
将该最终当前重构块存储在缓冲器中，用作编码器侧中多个后续图像的预测的参考数据，或者将该最终当前重构块用作解码器侧中用于当前重构图像的输出。
26.根据权利要求25所述的视频编码或解码方法，其特征在于，
该一个或多个控制旗标被标示在序列层、图像层、片段层、编码树单元层、编码单元层、预测单元层、变换单元层或者其任何组合。
27.根据权利要求25所述的视频编码或解码方法，其特征在于，
基于编解码信息、与该当前图像相关的多个残差的特征、当前重构图像的特征或者其组合，确定该一个或多个控制旗标。
28.一种视频编码或解码装置，分别由视频编码器或者视频解码器使用，该装置包括一个或多个电子电路或处理器，用于：
接收与当前图像相关的输入数据；
基于一个或多个控制旗标，判断是否将涟漪平滑化滤波器应用到该当前图像中的当前块；以及
如果该一个或多个控制旗标指示将该涟漪平滑化滤波器应用到该当前块，则：
将该涟漪平滑化滤波器应用到该多个重构残差以形成多个已平滑重构残差，
将该涟漪平滑化滤波器应用到当前重构块以形成当前已平滑重构块，或者
将该涟漪平滑化滤波器应用到当前已环内滤波重构块以形成当前已平滑滤波重构块；
透过采用该多个已平滑重构残差、该当前已平滑重构块或者该已平滑滤波重构块，生成最终当前重构块；以及
将该最终当前重构块存储在缓冲器中，用作编码器侧中多个后续图像的预测的参考数据，或者将该最终当前重构块用作解码器侧中用于当前重构图像的输出。
CN201780061510.1A 2016-10-14 2017-10-12 用以移除涟漪效应的平滑化滤波方法和装置 Active CN109845266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110821033.2A CN113518221B (zh) 2016-10-14 2017-10-12 视频编码或解码方法及相应装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662408145P 2016-10-14 2016-10-14
US62/408,145 2016-10-14
US201662410416P 2016-10-20 2016-10-20
US62/410,416 2016-10-20
PCT/CN2017/105845 WO2018068744A1 (en) 2016-10-14 2017-10-12 Method and apparatus of smoothing filter for ringing artefact removal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110821033.2A Division CN113518221B (zh) 2016-10-14 2017-10-12 视频编码或解码方法及相应装置

Publications (2)

Publication Number Publication Date
CN109845266A true CN109845266A (zh) 2019-06-04
CN109845266B CN109845266B (zh) 2021-08-10

Family

ID=61905853

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110821033.2A Active CN113518221B (zh) 2016-10-14 2017-10-12 视频编码或解码方法及相应装置
CN201780061510.1A Active CN109845266B (zh) 2016-10-14 2017-10-12 用以移除涟漪效应的平滑化滤波方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110821033.2A Active CN113518221B (zh) 2016-10-14 2017-10-12 视频编码或解码方法及相应装置

Country Status (5)

Country Link
US (1) US10931974B2 (zh)
EP (1) EP3516876A4 (zh)
CN (2) CN113518221B (zh)
TW (1) TWI669942B (zh)
WO (1) WO2018068744A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233156A (zh) * 2020-10-14 2021-01-15 首都师范大学 微纳米ct投影数据的中心切片对齐方法
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
US20220116620A1 (en) * 2019-06-21 2022-04-14 Huawei Technologies Co., Ltd. Method and Apparatus of Still Picture and Video Coding with Shape-Adaptive Resampling of Residual Blocks

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180841A1 (en) * 2017-03-29 2018-10-04 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using bilateral filtering techniques
WO2019076138A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
US11064196B2 (en) * 2018-09-03 2021-07-13 Qualcomm Incorporated Parametrizable, quantization-noise aware bilateral filter for video coding
EP3857894A4 (en) * 2018-10-08 2022-09-07 HFI Innovation Inc. METHOD AND APPARATUS FOR CODING THE LAST SIGNIFICANT COEFFICIENT IN IMAGE AND VIDEO CODING
US10708626B2 (en) * 2018-11-19 2020-07-07 Google Llc Iterative IDCT with adaptive non-linear filtering
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
JP7418152B2 (ja) * 2018-12-17 2024-01-19 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
US20220159250A1 (en) * 2019-03-20 2022-05-19 V-Nova International Limited Residual filtering in signal enhancement coding
WO2023038916A1 (en) * 2021-09-07 2023-03-16 Beijing Dajia Internet Information Technology Co., Ltd. Adaptive bilateral filtering for video coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965395B1 (en) * 2000-09-12 2005-11-15 Dialog Semiconductor Gmbh Methods and systems for detecting defective imaging pixels and pixel values
US20080159386A1 (en) * 1998-08-01 2008-07-03 Samsung Electronics Co., Ltd. Loop-filtering method for image data and apparatus therefor
CN101567964A (zh) * 2009-05-15 2009-10-28 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
US20120263225A1 (en) * 2011-04-15 2012-10-18 Media Excel Korea Co. Ltd. Apparatus and method for encoding moving picture
WO2013063784A1 (en) * 2011-11-03 2013-05-10 Thomson Licensing Video encoding and decoding based on image refinement
CN103763564A (zh) * 2014-01-09 2014-04-30 太原科技大学 基于边缘无损压缩的深度图编码方法
CN104244015A (zh) * 2013-06-14 2014-12-24 辉达公司 移除视频数据中的编码伪影的自适应滤波机制

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046224B2 (ja) * 1994-07-26 2000-05-29 三星電子株式会社 固定ビット率の符号化方法および装置とこれを利用した高速探索のためのトラッキング方法
JP4026238B2 (ja) 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
US7289562B2 (en) * 2003-08-01 2007-10-30 Polycom, Inc. Adaptive filter to improve H-264 video quality
PL3125560T3 (pl) * 2010-08-17 2019-01-31 M&K Holdings Inc. Urządzenie do dekodowania trybu intra-predykcji
DK2882190T3 (en) * 2011-04-21 2019-02-18 Hfi Innovation Inc Method and apparatus for improved ring-structured filtration
CN110234012B (zh) * 2012-01-17 2021-12-31 华为技术有限公司 用于高性能视频编码中的无损编码模式的环内滤波的装置
US9641729B2 (en) 2012-04-26 2017-05-02 Futurewei Technologies, Inc. System and method for encoder-integrated media denoising
CN102938837B (zh) * 2012-09-19 2016-06-01 中山大学 一种基于边缘保持全分模型的色调映射方法
CN103220529B (zh) 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
KR20140129607A (ko) * 2013-04-30 2014-11-07 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
CN104182932B (zh) * 2013-05-27 2017-04-12 株式会社日立制作所 Ct 装置、ct 图像系统及ct 图像生成方法
JP2015144423A (ja) * 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
CN104732492B (zh) 2015-03-09 2018-03-09 北京工业大学 一种深度图像的去噪方法
CN104994397B (zh) 2015-07-08 2018-11-09 北京大学深圳研究生院 基于时域信息的自适应视频预处理方法
CN105141948A (zh) * 2015-09-22 2015-12-09 天津师范大学 一种改进的hevc样点自适应补偿方法
DE112016006646T5 (de) * 2016-03-22 2018-12-13 Mitsubishi Electric Corporation Koordinatenkorrekturvorrichtung, koordinatenkorrekturverfahren und koordinatenkorrekturprogramm
CN105654448B (zh) * 2016-03-29 2018-11-27 微梦创科网络科技（中国）有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
WO2018047995A1 (ko) * 2016-09-08 2018-03-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080159386A1 (en) * 1998-08-01 2008-07-03 Samsung Electronics Co., Ltd. Loop-filtering method for image data and apparatus therefor
US6965395B1 (en) * 2000-09-12 2005-11-15 Dialog Semiconductor Gmbh Methods and systems for detecting defective imaging pixels and pixel values
CN101567964A (zh) * 2009-05-15 2009-10-28 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
US20120263225A1 (en) * 2011-04-15 2012-10-18 Media Excel Korea Co. Ltd. Apparatus and method for encoding moving picture
WO2013063784A1 (en) * 2011-11-03 2013-05-10 Thomson Licensing Video encoding and decoding based on image refinement
CN104244015A (zh) * 2013-06-14 2014-12-24 辉达公司 移除视频数据中的编码伪影的自适应滤波机制
CN103763564A (zh) * 2014-01-09 2014-04-30 太原科技大学 基于边缘无损压缩的深度图编码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J.M.VALIN: "Directional Deringing Filter", 《HTTPS://TOOLS.IETF.ORG/PDF/DRAFT-VALIN-NETVC-DERINGING-01.PDF》 *
PIERRE KORNPROBST, JACK TUMBLIN: "Bilateral Filtering: Theory and Applications", 《FOUNDATIONS AND TRENDS IN COMPUTER GRAPHICS AND VISION》 *
郭颖: "高效视频编码的环路去块效应滤波技术研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220116620A1 (en) * 2019-06-21 2022-04-14 Huawei Technologies Co., Ltd. Method and Apparatus of Still Picture and Video Coding with Shape-Adaptive Resampling of Residual Blocks
US11973953B2 (en) * 2019-06-21 2024-04-30 Huawei Technologies Co., Ltd. Method and apparatus of still picture and video coding with shape-adaptive resampling of residual blocks
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
CN112233156A (zh) * 2020-10-14 2021-01-15 首都师范大学 微纳米ct投影数据的中心切片对齐方法

Also Published As

Publication number Publication date
CN113518221A (zh) 2021-10-19
CN109845266B (zh) 2021-08-10
CN113518221B (zh) 2024-03-01
EP3516876A4 (en) 2020-07-22
TW201820866A (zh) 2018-06-01
EP3516876A1 (en) 2019-07-31
US20190342582A1 (en) 2019-11-07
US10931974B2 (en) 2021-02-23
TWI669942B (zh) 2019-08-21
WO2018068744A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
CN109845266A (zh) 用以移除涟漪效应的平滑化滤波方法和装置
KR101972407B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
CA2876017C (en) Method and apparatus for intra transform skip mode
CN105794210B (zh) 视频编码系统中用于边界像素的运动补偿预测方法及装置
KR101708985B1 (ko) 루마 기반 크로마 인트라 예측의 방법 및 장치
KR101253156B1 (ko) 영상 신호의 인코딩/디코딩 방법
KR20170071594A (ko) 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
JP2022538668A (ja) 変換スキップモードにおける量子化パタメータの修正技術
CN109076237A (zh) 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
CN110393011A (zh) 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
JP7197720B2 (ja) パレットモードの使用の指示の独立した符号化
US20130121407A1 (en) Video encoding device and video decoding device
US20150163509A1 (en) Method and Apparatus for Fine-grained Motion Boundary Processing
JP2023058560A (ja) パレットモードの使用の指示の共同符号化
JP2024020420A (ja) 適応ループフィルタリングのための境界位置
JP2024026154A (ja) クロス成分適応ループフィルタリングのためのサンプルパディング
CN110771166B (zh) 帧内预测装置和方法、编码、解码装置、存储介质
JPH0813145B2 (ja) 領域分割を用いた動画像符号化方式
CA3093048C (en) Inter prediction apparatus and method for video coding
WO2024037645A1 (en) Boundary sample derivation in video coding
KR20190065620A (ko) 양방향 필터를 사용하는 비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant