CN108886621A - 非本地自适应环路滤波器 - Google Patents

非本地自适应环路滤波器 Download PDF

Info

Publication number
CN108886621A
CN108886621A CN201780020253.7A CN201780020253A CN108886621A CN 108886621 A CN108886621 A CN 108886621A CN 201780020253 A CN201780020253 A CN 201780020253A CN 108886621 A CN108886621 A CN 108886621A
Authority
CN
China
Prior art keywords
block
search
current block
similar
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780020253.7A
Other languages
English (en)
Other versions
CN108886621B (zh
Inventor
陈庆晔
林建良
庄子德
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN108886621A publication Critical patent/CN108886621A/zh
Application granted granted Critical
Publication of CN108886621B publication Critical patent/CN108886621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种用于去噪声重建图像的方法。该方法可以包括接收对应于图像的重建视频数据，将图像划分为当前区块，形成区块组，每一个区块组包括当前区块和多个参考区块，该多个参考区块相似于当前区块，对区块组进行去噪声以修改区块组的像素值以创建滤波图像，并且基于用于对图像进行编码或解码的滤波图像来生成参考图像。去噪声区块组的操作包括基于压缩噪声模型导出相应区块组中压缩噪声的方差。基于编码单位级信息确定模型参数的选择。

Description

非本地自适应环路滤波器
交叉引用
本发明主张在2016年4月14日提出的申请号为62/322,308，标题为“SearchingMethods for Non-local Adaptive In-loop Filters in Video Coding”的美国临时专利申请的优先权，主张在2016年4月22日提出的申请号为62/326,030，标题为“Non-localAdaptive Loop Filters(NL-ALF)and larger CU improvement”的美国临时专利申请的优先权，其内容以引用方式整体并入本文中。
技术领域
本发明涉及视频编码。具体而言，本发明涉及一种视频编码系统中的非本地自适应环路滤波技术。
背景技术
本文提供的背景描述是为了通常呈现本发明的上下文的目的。在发明人呈现的本发明中，在很大程度上背景部分描述的内容，与实施方式描述的内容一样不能被视为申请日之前的背景技术。也就是说，既不被明确地也不暗示承认为本发明的背景技术。
基于块的运动补偿，变换和量化被广泛地用于视频压缩以提高视频通信系统的性能。然而，由于粗量化(coarse quantization)和运动补偿，可以引入压缩噪声，这导致重建图像中的伪像(artifacts)，例如阻塞，振铃和模糊。可以采用环路滤波器(in-loopfilters)来减小压缩噪声，这不仅可以提高解码图像的质量，而且可以为后续图像提供高质量的参考图像来保存编码比特。非本地自适应环路滤波器是这种环路滤波器的一种类型。
发明内容
本发明的一方面提供了一种用于去噪声重建图像的方法。该方法可以包括接收对应于图像的重建视频数据，将图像划分为当前区块，形成区块组，每一个区块组包括当前区块和多个参考区块，该多个参考区块相似于当前区块，对区块组进行去噪声以修改区块组的像素值以创建滤波图像，并且基于用于对图像进行编码或解码的滤波图像来生成参考图像。去噪声区块组的操作包括基于压缩噪声模型导出相应区块组中压缩噪声的方差。基于编码单位级信息确定模型参数的选择。
在一个示例中，编码单元级信息可以包括与相应区块组中的相应当前区块相关联的编码单元的量化参数(QP)的一个或组合，以及与对应区块组中的对应当前区块相关联的编码单元的预测类型。
在另一示例中，编码单元级信息还可以进一步包括编码单元预测的的一个或多个QP。当编码单元中存在非零残差时，编码单元的QP用于确定模型参数，而在编码单元中不存在残差的情况下，编码单元的QP与编码单元预测的一个或多个QP的平均值用于确定模型参数。
在一个实施例中，应用去噪声技术可以包括基于每个参考区块和当前区块之间的相似度来计算每个参考区块的加权因子。可以基于表达式e-(SSE/Var)导出每个参考区块的加权因子，其中SSE表示当前区块和相应区块之间的平方误差之和的平均值，Var表示相应区块组中压缩噪声的变化。可以使用分段线性插值来近似表达式的值e-(SSE/Var)，用于计算相应的加权因子。
在一个实施例中，对应区块组中的压缩噪声的标准偏差(SD)是压缩噪声模型中对应区块组的像素值的SD的函数，并且该函数被表示为多项式函数。剪切操作可以应用于相应区块组中的压缩噪声的SD或相应区块组的像素值的SD，以保证多项式函数的单调增加属性。
本发明的一方面提供了用于搜索相似区块以形成区块组的方法。该方法可以包括接收对应于图像的重建视频数据，将图像划分为当前区块，以及搜索图像中的K个相似参考区块以用于当前区块形成包括K个相似参考区块和当前区块的区块组。搜索K个相似参考区块的操作可以包括执行第一搜索策略的第一搜索过程来获得包括于候选列表中的K个相似区块，以及执行第二搜索策略的第二搜索过程来更新候选列表。
在一个实施例中，利用第一搜索策略获得K个相似区块的执行第一搜索过程包括，通过执行第一搜索策略遍历候选参考区块，当执行第一搜索策略时包括在候选列表中的前K个遍历候选参考区块，以及包括已遍历的候选参考区块，其中与候选列表的成员相比，已编码的候选参考区块更相似于当前区块。
在一个实施例中，使用第二搜索策略执行第二搜索过程以更新候选列表包括，通过执行第二搜索策略遍历候选参考区块，以及包括已遍历的候选参考区块，其中与候选列表的候选成员相比，已遍历的候选参考区块更相似于当前区块。
在一个示例中，第一搜索策略与第二搜索策略不同。在各种示例中，第一搜索策略或第二搜索策略采用全搜索，三步搜索，菱形搜索，四步搜索，六边形搜索或二维日志(log)搜索中的一个。在一个示例中，第一搜索过程的初始候选参考区块与第二搜索过程的初始候选参考区块相同或不同。在一个示例中，第二搜索过程的初始候选参考区块是由第一搜索过程遍历的候选参考区块中的一个。
在一个实施例中，第一搜索过程或第二搜索过程可以包括在搜索网格上为相应的当前区块定义的搜索窗口中搜索K个相似参考区块。搜索窗口可以具有第一搜索区域，该搜索区域在对应的当前区块的位置的中心并由至少一个其他非重叠搜索区域同中心地包围。此外，位于离对应当前区块的位置更远的搜索区域具有较低的子采样比率。在一个示例中，每个搜索区域是矩形形状。
在一个示例中，当部分地导出候选参考区块的第一相似性度量大于阈值时，搜索K个相似参考区块进一步包括终止候选参考区块的第一相似性度量的推导。阈值可以等于K个先前发现的相似参考区块中的一个乘以控制参数的第二相似性度量。
在一个实施例中，第一搜索过程在搜索网格上以当前区块的位置中心的第一搜索区域中执行，并且第二搜索过程在第一搜索区域同心的第二搜索区域中执行。第二搜索区域包括第一搜索区域，第一搜索区域和第二搜索区域具有不同的子采样比率。
在另一个实施例中，第一搜索过程在搜索网格上的当前区块的位置中心的第一搜索区域中执行，以及第二搜索过程在与第一搜索区域同心的第二搜索区域中执行。然而第二搜索区域围绕第一搜索区域，并且第一搜索区域和第二搜索区域具有不同的子采样比率。
在一个实施例中，搜索K个相似的参考区块还可以包括在更新的候选列表上的参考区块的位置周围的区域中执行精确搜索。在一个示例中，多个搜索过程至少包括第一搜索过程和第二搜索过程以用于搜索K个相似参考区块并且对应的搜索策略被定义或被发送于序列级，图像级，切片级或块级。
本发明的一方面提供了一种用于重新使用第一颜色分量的搜索结果以用于第二颜色分量的方法。该方法包括接收对应于具有第一颜色分量和第二颜色分量的图像的重建视频数据，将图像中的第一颜色分量的多个像素划分为多个第一当前区块，将图像中的第二颜色分量的多个像素划分为多个第二当前区块，搜索图像中多个相似第一参考区块以用于相应第一当前区块形成对应于第一当前区块的第一区块组，以及使用相应第一当前区块的多个相似第一参考区块的多个运动向量来搜索图像中的多个相似第二参考区块以用于相应第二当前区块。
在一个实施例中，第一颜色分量和第二颜色分量具有相同的采样比率，并且每个第一当前区块对应于第二当前区块中的一个。因此，在一个示例中，相应第一当前区块的相似第一参考区块的运动向量被用作对应第二当前区块的相似的第二参考区块的运动向量。在另一示例中，执行围绕相应第一当前区块的相似第一参考区块之一的位置的搜索区域的精确搜索以确定相应的第二当前区块的相似的第二参考区块中的一个。
在另一个实施例中，第一颜色分量和第二颜色分量具有不同的采样比，并且每个第一当前区块对应于第二当前分块中的一个。因此，对相应第一当前区块的相似的第一参考区块的运动向量执行依据不同采样率的缩放操作，以获得缩放运动矢量。在一个示例中，缩放的运动矢量被用作对应的第二当前区块的相似的第二参考区块的运动矢量。在另一示例中，执行围绕由缩放的运动矢量之一指示的位置的搜索区域的精确搜索，以确定相应的第二当前区块的相似的第二参考区块中的一个。
在另一实施例中，第一颜色分量和第二颜色分量具有不同的采样比，并且每个第二当前分量对应于多个第一当前区块。因此，对于对应的多个第一当前区块中的每一个的相似的第一参考区块的运动向量执行依据不同采样比率的缩放操作，以获得缩放运动矢量。相似第二参考区块随后被搜索以用于形成由缩放运动向量指示的候选第二参考区块。
附图说明
将参考以下图式详细描述作为示例提出的本公开的各种实施例，其中相同的图式标记表示相同的元件，并且其中：
图1示出了依据本发明的实施例的编码器；
图2示出了依据本发明的实施例的解码器；
图3示出了依据本发明的实施例的用于重建图像去噪声的处理。
图4示出了依据本发明的实施例的示例性去噪声处理；
图5A-图5C示出了依据本发明的示例的搜索模式500A-500C的示例；
图6示出了依据本发明的示例性实施例的搜索当前区块(patch)的K个最相似的参考区块以形成区块组的第一过程；
图7示出了依据本发明的示例性实施例的搜索当前区块的K个最相似的参考区块以形成区块组的第二过程；
图8示出了依据本发明的实施例的搜索当前区块的K个最相似的参考区块以形成区块组的第三过程；以及
图9示出了依据本发明的实施例的重新使用第一颜色分量的搜索结果以搜索相似参考区块并形成用于第二颜色分量的区块组的过程。
具体实施方式
图1示出了依据本发明的实施例的编码器100。编码器100可以包括解码图像缓冲器110，帧间-帧内预测模块112，第一加法器114，残差编码器116，熵编码器118，残差解码器120，第二加法器122，以及一个或多个环路滤波器，例如去块滤波器(deblocking filter,DF)130，采样自适应偏移滤波器(sample adaptive offset filter,SAO)132，自适应环路滤波器(adaptive loop filter,ALF)134和非本地自适应环路滤波器(non-localadaptive loop filter,以下简称为NL-ALF)136。这些元件可以如图1所示耦合在一起。
编码器100接收输入视频数据101并执行视频压缩处理以产生比特流102作为输出。输入视频数据101可以包括一系列图像。每个图像可以包括一个或多个颜色分量，例如亮度分量或色度分量。比特流102可以具有符合例如高级视频编码(Advanced VideoCoding,AVC)标准，高效率视频编码(High Efficiency Video Coding,HEVC)标准等视频编码标准的格式。
依据本发明的一个方面，非本地自适应环路滤波器136可以采用非本地去噪声技术来改善编码器100的性能。具体地，在一个示例中，非本地自适应环路滤波器136可以将已重建的图像划分成多个区块(patches)(称为当前区块)。对于每个当前区块，非本地自适应环路滤波器136在已重建图像中搜索相似区块(称为参考区块)以形成区块组。随后，非本地自适应环路滤波器136可以对每个区块组应用去噪声技术来修改各个区块组中的一个或多个区块的像素值，以减少这些区块中压缩的噪声。将修改的像素值返回到图像以形成已滤波图像。
此外，依据本发明的一个方面，不能保证滤波图像中的经处理的像素在噪声水平上优于重建图像中的相应原始像素。因此，非本地自适应环路滤波器136可以自适应地确定一个块是否将采用经处理的像素值或保留重建的视频数据的原始像素值以用于图像中的不同块(区域)。可以采用开/关控制标志以用于发送相应块中采用自适应的经处理的像素值。
如图1所示，解码图像缓冲器110储存在帧间-帧内预测模块112处执行的用于运动估计和运动补偿的参考图像。帧间-帧内预测模块112执行帧间图像预测或帧内图像预测，以确定预测(或预测子)以用于在视频压缩过程期间当前图像的块。当前图像是指在帧间-帧内预测模块112中正在处理的输入视频数据101中的图像。当前图像可以被划分为具有相同或不同大小的多个块用于帧间或帧内预测操作。
在一个示例中，帧间-帧内预测模块112使用帧间图像编码技术或帧内图像编码技术来处理块。因此，使用帧间图像编码的块被称为帧间编码块，而使用帧内图像编码的块被称为帧内编码块。帧间图像编码技术使用参考图像来获得当前正在处理的块(称为当前块)的预测。例如，当利用帧间图像编码技术对当前块进行编码时，可以执行运动估计来搜索参考图像中的匹配区域。匹配区域用作当前块的预测。相反，帧内图像编码技术使用当前块的相邻块来生成当前块的预测。相邻的块和当前块在同一个图像内。块的预测被提供给第一加法器114和第二加法器122。
第一加法器114接收来自帧间-帧内预测模块112的块的预测和来自输入视频数据101的块的原始像素。然后，加法器114从块的原始像素值减去预测获得块的残差。块的残差被发送到残差编码器116。
残差编码器116接收块的残差，并压缩残差以产生已压缩的残差。例如，残差编码器116可以首先应用变换，例如离散余弦变换(discrete cosine transform,DCT)，小波变换(wavelet transform)等的变换，以接收对应于变换块的残差，并生成变换块的变换系数。将图像分割成变换块的分割可以与将图像分割用于帧内-帧间预测处理的预测块的分割相同或不同。
随后，残差编码器116可以量化系数以压缩残差。可以用量化参数(quantizationparameter,以下简称为QP)来控制量化。QP表示用于将变换系数与步骤的有限集合相关联的步长。较大的QP值表示粗略近似变换的较大步骤，使得变换块中的大多数讯号可以被更少的系数捕获。相比之下，较小的QP值可以更准确地近似该变换，然而，代价是增加用于编码残差的位数。因此，较大的QP可以引起更多的失真或压缩噪声于由视频压缩处理产生的图像中。压缩残差(量化变换系数)被发送到残差解码器120和熵编码器118。
残差解码器120接收已压缩的残差并执行与在残差编码器116处执行量化和变换操作的逆过程，以重建变换块的残差。由于量化操作，重建的残差相似于从加法器114产生的原始残差，但通常与原始版本不同。
第二加法器122接收来自帧间-帧内预测模块112的块的预测和来自残差解码器120的变换块的重建残差。第二加法器122随后将重建的残差与对应于图像中的相同区域的接收的预测相结合，以产生已重建的视频数据。然后可以将重建的视频数据传送到去块滤波器130。
在一个示例中，去块滤波器130将一组低通滤波器应用于块边界以减少块伪像。可以基于重建图像中的块边界的两侧的重建采样的特性以及在帧间-帧内预测模块112处确定的预测参数(编码模式或运动矢量)来应用滤波器。然后去块的重建视频数据可以提供给采样自适应偏移滤波器132。在一个示例中，采样自适应偏移滤波器132接收去块的重建视频数据，并将重建的视频数据中的像素分组成多个组。然后，采样自适应偏移滤波器132可以确定每组的强度偏移(偏移值)以补偿每组的强度偏移。然后可以将已偏移的、已重建的视频数据从采样自适应偏移滤波器提供给自适应环路滤波器134。在一个示例中，自适应环路滤波器134被配置为对跨多个图像的已重建的视频数据应用滤波器以减少时域中的编码伪像。例如，自适应环路滤波器134从一组滤波器候选中选择一个滤波器，并将选出的滤波器应用于已重建的视频数据的一个区域。此外，对于已重建的视频数据的每个块，可以选择性地打开或关闭自适应环路滤波器134。然后，经处理的已重建的视频数据可以被发送到非本地自适应环路滤波器136。
如上所述，非本地自适应环路滤波器136可以使用非本地去噪技术来处理所接收的重建视频数据，以减少重建的视频数据中的压缩噪声。此外，非本地自适应环路滤波器136可以确定是否将非本地自适应滤波应用于去噪声图像中的块。例如，非本地自适应环路滤波器136处理所接收的重建视频数据并产生滤波后的视频数据。然后，非本地自适应环路滤波器136可以将经滤波的视频数据的滤波块与所接收的重建视频数据的对应块进行比较，以确定滤波块相对于原始图像的失真是否得到改善。当改善滤波块的失真时，可以采用该滤波块的像素值来形成去噪声图像。否则，在去噪声图像中采用接收到的重建视频数据的相应块的像素值。因此，可以基于是否对去噪图像中的各个块采用已滤波的像素值的决定来构造去噪声图像。然后将去噪图像储存到解码图像缓冲器110。
可以采用开/关控制标志来向解码器发送针对相应块的上述决定，使得解码器可以以相同的方式处理块。如图1所示，在一个示例中，向熵编码器118发送指示是否将非本地自适应环路滤波应用于各个块的开/关控制标志103。
熵编码器118接收来自残差编码器116的已压缩残差和来自非本地自适应环路滤波器136的开/关控制标志103。熵编码器118还可以接收其它参数和/或控制信息，例如帧内预测模式信息，运动信息，量化参数等。熵编码器118对所接收的参数或其他信息进行编码以形成比特流102。包括压缩格式的资料的比特流102可以经由通信网络被发送到解码器，或者被发送到储存设备(例如，非瞬时计算机可读媒体)，其中可以储存由比特流102携带的视频数据。
图2示出了依据本发明的实施例的解码器200。解码器200包括熵解码器218，残差解码器220，解码图像缓冲器210，帧间-帧内预测模块212，加法器222以及一个或多个环路滤波器，例如去块滤波器230，采样自适应偏移滤波器232，自适应环路滤波器234和非本地自适应环路滤波器236。这些元件如图2所示耦合在一起。在一个示例中，解码器200从编码器接收比特流201(例如来自编码器100的比特流102)，并且执行解压缩处理以产生输出视频数据202。输出视频数据202可以包括一系列图像，例如可以在例如监视器，触摸屏等的显示设备上显示的图像。
相似于图1中的编码器100。在图1的示例中，解码器200使用具有与非本地自适应环路滤波器136相似的功能的非本地自适应环路滤波器236来去噪声重建的图像以获得已滤波的图像。然而，不同于非本地自适应环路滤波器136，在图2的示例中非本地自适应环路滤波器236从编码器接收开/关控制标志203，并且因此确定将包括或排除滤波图像中的哪些像素值的块于去噪声图像中。例如，当块的控制标志203处于接通状态时，滤波图像中的块的滤波像素值被采用到去噪声图像的相应块中，而当块的控制标志203处于关闭的状态，采用重建图像中的块的像素值。
熵解码器218接收比特流201并执行解码处理，该处理是由图1的示例中的熵编码器118执行的编码处理的逆处理。如此一来，获得已压缩残差，预测参数，开/关控制标志203等。将已压缩残差提供给残差解码器220，并将预测参数提供给帧间-帧内预测模块212。帧间-帧内预测模块212基于接收的预测参数生成图像的块的预测，并且提供预测至加法器222。解码图像缓冲器210储存对帧间-帧内预测模块执行的运动补偿有用的参考图像。例如，可以从非本地自适应环路滤波器236接收参考图像。此外，从解码图像缓冲器210获得参考图像，并将其包括于图像视频数据202中以显示于显示设备。
残差解码器220，加法器222，去块滤波器230，采样自适应偏移滤波器232和自适应环路滤波器234在功能和结构方面相似于残差解码器120，第二加法器122，去块滤波器130，采样自适应偏移滤波器132和自适应环路滤波器134。省略对这些元件的说明。
在解码器或编码器中使用例如非本地自适应环路滤波器136和非本地自适应环路滤波器236之类的非本地自适应环路滤波器来降低重建的视频数据中的噪声位准，产生高质量的输出图像。此外，当将这些高质量图像用作用于编码后续图像的参考图像时，可以减少用于传输压缩图像的比特率。因此，本文发明的用于改善非本地自适应环路滤波器的性能的去噪声技术可以提高包括非本地自适应环路滤波器的编码器或编码器的性能和能力。
尽管图1和图2的示例示出了包括于编码器100或解码器200中的一系列滤波器130,132,134、或230,232和234，应当理解，其他实施例的编码器或解码器中可以包括较少的这样的滤波器或者不包括这样的滤波器。此外，非本地自适应环路滤波器136或非本地自适应环路滤波器236相对于其它滤波器的位置可以不同于图1或图2所示。例如，非本地自适应环路滤波器136可以布置在其他滤波器的前面，使得其直接耦合到加法器122，或者在该系列滤波器的末端，或者在一系列滤波器之间。
在各种实施例中，非本地自适应环路滤波器136和236可以用硬件，软件或其组合来实现。例如，非本地自适应环路滤波器136或非本地自适应环路滤波器236可以用一个或多个集成电路(IC)来实现，例如特殊应用集成电路(application specific integratedcircuit,ASIC)，现场可程序逻辑门阵列(field programmable gate array,FPGA)等。对于另一示例，非本地自适应环路滤波器136或非本地自适应环路滤波器236可以被实现为软件或韧体，该软件或韧体包括储存在非瞬时计算机可读媒体中的指令。该指令在由处理电路执行时使处理电路执行非本地自适应环路滤波器136或非本地自适应环路滤波器236的功能。
注意，实现本文发明的去噪声技术的非本地自适应环路滤波器136和非本地自适应环路滤波器236可以包括于与图1或图2所示的相似或不同结构的其他编码器或解码器中。此外，编码器100和解码器200可以包括在相同的设备中，或者在各种示例的单独的设备中。
图3示出了依据本发明的实施例的用于去噪声重建图像的过程300。过程300可以在图1或图2示例中的非本地自适应环路滤波器136或非本地自适应环路滤波器236处执行，以及图1的示例用于说明过程300。
过程300从步骤S301开始并进行到步骤S310。在步骤S310，在非本地自适应环路滤波器136处接收重建的视频数据。例如，第二加法器122接收来自帧间-帧内预测模块122的预测和来自残差解码器120的残差，并组合预测和残差以产生重建的视频数据。在过程300的各种实施例中，重建的视频数据可以对应于图像，画面，图像的切片(slice)或图像的预定义区域。因此，在本发明中，与重建的视频数据相对应的图像或重建图像可以用于参考图像，画面，图像的切片或图像的预定义区域等。另外，来自与已重建的视频数据对应的图像的滤波图像或去噪声图像可相应地用于参考图像，画面，图像的切片或图像的预定区域等。取决于所采用的环路滤波器的数目和非本地自适应环路滤波器136在这些环路滤波器中的位置，重建的视频数据可以对应于从残差解码器120产生的重建的视频数据，或从与非本地自适应环路滤波器136相邻和之前的滤波器产生的已滤波的、已重建的视频数据。
在步骤S320，所接收的重建视频数据(对应于重建图像)被分成多个区块。在一个示例中，区块具有相同的尺寸和形状，并且彼此不重叠。在其他示例中，区块可以具有不同的尺寸或形状。在另外的例子中，区块可以彼此重叠。每个区块包括多个像素，并且被称为当前区块。
在步骤S330，对于每个当前区块，多个相似区块(称为参考区块)在重建图像中被发现，或在一些示例中，在重建图像的搜索窗口(search window)中被发现。在一个示例中，每个参考区块具有与相应的当前区块相似的形状和尺寸。此外，参考区块可以彼此重叠，并且参考区块和相应的当前区块可以彼此重叠。每个当前区块和相应的相似参考区块组成一个区块组。在一个示例中，对于每个当前区块，找到K个最相似的区块，并且当前区块和相应的K个最相似的区块形成包括K+1个区块的区块组。K表示与当前区块相对应的相似区块的数目，K可以具有不同的值以用于不同的当前区块或区块组。在一个示例中，针对相应的当前区块找到的相似匹配不是最相似的参考区块，而是具有高于阈值的相似性度量的参考区块。可以基于相似性度量标准(similarity metric)来获得相似性度量。在一个示例中，针对当前区块的一部分而不是针对每个当前区块形成区块组。
在各种实施例中，可以使用各种搜索方法来搜索用于相应的当前区块的K个最相似的参考区块。此外，在各种实施例中，可以使用各种相似性度量标准来测量当前区块和参考区块之间的相似度。例如，相似性度量标准可以是当前区块和对应参考区块中对应像素值之间的绝对差(absolute differences,SAD)之和或平方差(square differences,SSD)之和。对于另一示例，当前区块和对应的参考区块中的像素值可以被布置为两个向量，并且这两个向量之间的L2范数距离可以被用作相似性度量标准。
在步骤S340，将去噪声技术应用于每个区块组以修改相应区块组中的一个或多个区块的像素值。属于相同区块组或不同区块组的不同区块的已修改的像素值然后被聚合以形成经滤波的图像，例如通过加权和的操作被聚合以形成经滤波的图像。在各种实施例中，可以采用各种去噪声技术来处理区块组。例如，去噪声技术可以是非本地手段(non-localmeans,NLM)去噪技术，块匹配和3D滤波(block matching and 3D filtering,BM3D)去噪声技术，或低等级近似(low-rank approximation,LRA)去噪声技术。然而，适用于处理区块组的去噪声技术不限于NLM，BM3D或LRA技术。
在步骤S350，以如上所述的方式确定与去噪图像中的控制块相关联的开/关控制标志。开/关控制标志指示控制块是否采用于滤波图像中的滤波像素值或者对应于接收的重建视频数据的重建图像的像素值。可以从编码器向解码器发送开/关控制标志。在各种实施例中，控制块用于控制采用结果来自步骤S340处的去噪声操作的滤波像素值是否可以各种方式定义或分割。例如，控制块的分割可以与HEVC标准中定义的编码单元的分割一致。或者，为了控制过滤操作的目的，控制块的分割可以与滤波器(例如去块滤波器130，采样自适应偏移滤波器132或自适应环路滤波器134)中使用的块分割一致。或者，可以依据图像中的不同区域的噪声特性来确定控制块分割。在各种示例中，控制块分区信息可以从编码器发送到解码器，在解码器处导出，或者在编码器和解码器均预定义为默认配置。
在步骤S360，去噪图像是基于开/关控制标志判定构成的。对于与开标志(onflag)相关联的控制块，结果自步骤S340的去噪声操作的滤波像素值被采用以用于各个控制块，而对于与关标志(off flag)相关的控制块，接收的已重建图像的像素值被采用以用于各个控制块。随后，可以基于去噪声图像来生成参考图像。例如，去噪声图像可以被储存到解码图像缓冲器110之间的位置，以用作参考图像。或者，依据非本地自适应环路滤波器136在其它环路滤波器中的位置，在储存到解码图像缓冲器110中之前，首先可以通过其它的环路滤波器对去噪声图像进行处理。处理300进行到步骤S399，并且终止在步骤S399。
图4示出了依据本发明的实施例的去噪声的示例性过程400。过程400中的去噪声可以是在过程300中在步骤S340采用的各种去噪技术声之一。因此，可以在过程300中执行过程400来代替步骤S340以获得去噪声图像。类似地，对于在步骤S340中采用的其它去噪技术，可以代替步骤S340执行对应于各自去噪声技术的处理。以非本地自适应环路滤波器136为例来说明过程400。
过程400从步骤S401开始，并进行到步骤S410。在开始处理400之前，对应于在非本地自适应环路滤波器136处接收到的重建视频数据的区块组已形成，例如，通过执行过程300中的步骤S310-步骤S330来形成。所接收的重建视频数据可以对应到重建图像或重建图像的一部分(例如重建图像的切片)。假设所接收的重建视频数据对应于下面的重建图像。对于重建图像的每个区块组，迭代步骤S410-步骤S440。在迭代期间，在每一轮迭代中处理的区块组被称为当前区块组。
在步骤S410中，计算当前区块组中每个参考区块的加权因子。可以基于参考区块和当前参考区块组中的相应当前区块之间的相似度来计算参考区块的加权因子。参考区块与当前区块相似越多，参考区块的加权因子越大。在一个示例中，使用以下表达式确定加权因子，
Wi,j＝e-(SSE/Var)。
在上述表达式中，i和j是区块索引，Wi,j表示相对于相应的当前区块i的参考区块j的加权因子；SSE表示区块i和j中相应像素值之间的平方误差(square errors)之和的平均值，并表示区块i和j之间的相似度；Var表示当前区块组中压缩噪声的变化。例如，Var可以等于当前区块组的压缩噪声的标准偏差(standard deviation,SD)的平方。Var可以表示过滤操作的强度。压缩噪声水平越高，Var越高，当前区块组的相应加权因子越大。
在上述示例中，基于表达式e-(SSE/Var)导出每个参考区块的加权因子。为了减少计算参考区块的加权因子的计算成本，在一个例子中使用分段线性插值(piece-wise linearinterpolation)近似表达式e-(SSE/Var)的值。例如，6个控制点处的(SSE/Var)值为{0,0.5,1.0,2.0,4.0,6.0}，相应的权重系数为{1.0000,0.6065,0.36979,0.1353,0.0183,0.0025}。假设已经获得了(SSE/Var)的当前值VC，可以使用指向当前值VC的两个最近控制点，来执行线性内插(或外插)以产生(SSE/Var)相应的加权因子。
在步骤S420，累积当前区块中的像素值。在一个示例中，基于每个参考区块的各个加权因子，将每个参考区块中的相应像素的加权像素值聚合到当前区块的相应像素值的方式执行当前区块补像素值的累积。在一个示例中，依据以下表达式执行累积，
其中p是像素索引，xAi(p)表示自聚合得到的当前区块i中的像素p的聚合值(aggregated pixel value)，xi(p)表示在聚合之前当前区块i中的像素p的原始像素值，yj(p)表示在参考区块j中的像素p的原始像素值。
在步骤S430，累积当前区块组的每个参考区块中的像素值。在一个示例中，以基于参考区块的加权因子，将当前区块中的对应像素的加权像素值加到参考区块的相应像素值的方式执行参考区块的像素值的累积。在一个示例中，依据以下表达式执行累积，
yAj(p)＝yj(p)+wi,j·xAi(p)，
其中p是像素索引，yAj(p)表示自聚合得到的参考区块j中的像素p的聚合值，xAi(p)表示自步骤S420处的聚合得到的当前区块i中的像素p的聚合值；yj(p)表示在参考区块j中的像素p的原始像素值。在另一个实施例中，当前区块i中的xi(p)用于上述积累中以代替xAi(p)。
在步骤S440，由步骤S420和步骤S430产生的当前区块和参考区块的累积像素值被累积到被称为累积图像的图像中的相应像素。由于当前区块组中的参考区块和当前区块可以彼此重叠，所以累积图像中的像素可以从多个区块接收像素值，即，从当前区块或一个或多个参考区块接收像素值。由于对于每个区块组执行步骤S410～步骤S440，所以在步骤S440中，每一次迭代的各个当前图像区块或参考图像区块的累积像素值可累积到积累图像。因此，累积图像中的像素可以接收来自一个或多个区块组的累积像素值。作为示例，积累图像中的累积像素值xA(p)可以被重写为
其中i是一张照片中的区块组的索引，并且在一张照片中总共有m个区块组。
在步骤S450，累积图像中的累积像素值被标准化以获得已滤波图像。作为步骤S440的结果，最终累积图像中的累积像素可以包括像素值的多个部分，并且每个部分对应于当前图像区块或参考区块的原始像素值乘以增益。每个增益对应于加权因子，或一个或多个加权因子的乘积。因此，积累图像中的累积像素可以除以这些增益，以获得标准化的像素值。这些标准化的像素值形成滤波图像。过程400进行到步骤S499，并在步骤S499结束。
作为示例，在执行处理400之后，可以对过滤图像执行处理300中的步骤S350和步骤S360的步骤以确定开/关控制标志并构造去噪声图像。
在过程400中提出的去噪声技术中，使用当前区块组Var中的压缩噪声的方差来计算各个加权因子，如表达式wi,j＝e-(SSE/Var)。依据本发明的一个方面，基于压缩噪声模型导出Var。除了在过程400中呈现的去噪声技术之外，压缩噪声模型还可以用于其他去噪技术中，用于导出区块组中的压缩噪声的方差，例如在所描述的过程300的步骤S340处应用的去噪技术以上。例如，可以使用压缩噪声模型来导出块匹配和3D滤波(block matching and3D filtering,BM3D)去噪声技术或低阶逼近(low-ran approximation,LRA)去噪声技术中的软阈值或硬阈值的阈值。下面描述压缩噪声模型的示例和压缩噪声模型的使用。
通常，压缩噪声模型描述了区块组中的压缩噪声位准与影响压缩噪声位准的因素之间的关系。这些因素可以包括区块组的内容的特征，与区块组相关联的编码类型(例如，通过帧内预测或帧间预测编码)以及与区块组相关联的变换量化参数(transformquantization parameters,QP)。可以基于实验确定压缩噪声模型。
在一个示例中，用于各种去噪声技术的压缩噪声模型用多项式函数来表示。例如，压缩噪声模型采用以下形式，
y＝ax3+bx2+cx+d，
其中y表示区块组的压缩噪声的标准偏差，其指示区块组的压缩噪声位准以及其平方等于区块组的Var；x表示区块组的像素值的标准偏差，表示各个区块组的内容的特征；以及参数(系数)a,b,c,和d为常数，该参数也称为模型参数。作为示例，在使用压缩噪声模型期间，可以首先基于与相应区块组相关联的编码类型或QP来从多组模型参数中选择常数a,b,c,和d。然后，可以计算区块组的像素值的标准偏差x。最后，基于获得的模型参数a,b,c,和d以及区块组的像素值标准偏差x，可以计算出一个区块组的压缩噪声的标准偏差。
在一个示例中，通过进行实验过程来确定压缩噪声模型的模型参数候选集合。例如，测试图像的公共序列可以在例如编码器100的编码器的多个编码处理中使用。对于每个编码处理，可以为一系列图像配置一组图像编码类型和变换QP。对应于每组编码类型和变换QP，可以获得对应于图像中的不同区块组的压缩噪声和像素值。因此，可以获得压缩噪声的标准偏差的多个数据点(data points)和对应于每个区块组的像素值。基于多个数据点，可以通过对数据点的回归分析(regression analysis)来确定对应于编码类型和变换QP集合的压缩噪声模型的一组模型参数(系数)。作为上述实验过程的结果，可以获得压缩噪声模型的多组模型参数，每组对应于不同组的编码类型和变换QP。如下所示，表1显示了模型参数候选集的示例。如图所示，对于每对编码类型和QP，获得模型参数候选集。
表1：模型参数的候选集
QP 1 QP 2 QP 3
候选类型I {a,b,c,d}1 {a,b,c,d}2 {a,b,c,d}3
候选类型II {a,b,c,d}4 {a,b,c,d}5 {a,b,c,d}6
在传统的去噪声技术中，幂函数用于制定压缩噪声模型。在一个这样的例子中，压缩噪声模型采用幂函数的形式y＝axb，其中y表示区块组的压缩噪声的标准偏差，x表示区块组的像素值的标准偏差，a和b是要选择的模型参数。依据本发明的一个方面，使用多项式函数代替幂函数来制定压缩噪声模型可以减少与压缩噪声模型相关的计算复杂度。
在一个示例中，剪切操作被应用于多项式压缩噪声模型，以便保证多项式函数的单调增加属性。例如，可以将修剪操作添加到各个区块组的像素值的标准偏差中或由多项式函数得到的各个区块组的压缩噪声的标准偏差中。
在传统的去噪声技术中，压缩噪声模型的模型参数的选择基于图像或切片级信息。例如，在步骤S310～步骤S330的步骤中形成的区块组被包括在图像或切片中，因此利用在图像级或切片级别定义的编码类型和QP来选择每个区块组的压缩噪声模型的模型参数组，而不区分不同的区块组。然而，依据本发明的一个方面，依据预测类型，QP和各个区域的预测，压缩噪声位准对于图像中的不同区域而变化。因此，可以为分布在图像内的不同位置的区块组选择压缩噪声模型的不同组模型参数。如此一来，可以更精确地导出不同区块组的压缩噪声的方差或标准偏差。
因此，在一个示例中，当选择压缩噪声模型的模型参数时，利用编码单元级信息。编码图像的编码单元可以包括多个颜色分量(例如一个亮度分量，两个色度分量)的并置块(collocated blocks)的编码数据。对于每个颜色分量，编码单元可以包括一个或多个编码块和一个或多个变换块。作为示例，在HEVC标准中指定了编码单元的使用。在一个示例中，编码单元级信息包括在各个编码单元中分别应用于各个编码块或变换块的预测类型和变换QP。
在一个示例中，重建的图像或切片包括多个编码单元，并且包括预测类型和QP的编码单元级信息与每个相应的编码单元相关联。预测类型信息可以用于例如图1中的帧间-帧内预测模块112的预测操作，并且QP信息可以用于量化操作，例如在残差编码器116处。例如，当在过程300中步骤S340处对当前区块组应用去噪技术，并且计算当前区块组的压缩噪声的Var时，编码单元级信息可用于确定压缩噪声模型的模型参数。例如，编码单元具有(一个颜色分量)块，该块与(相同颜色分量的)当前区块组的当前区块重叠(例如，当前区块的左上像素在编码单元中)，并且然后该编码单元的预测类型和QP用于从表1中选择当前区块组的压缩噪声模型的一组模型参数。
此外，在上述示例中，对于使用帧间预测对编码单元进行编码的场景，也考虑与编码单元相对应的残差状态用于选择压缩噪声模型参数。例如，当从预测操作得到的编码单元中存在非零残差时，编码单元的QP用于选择模型参数，而当在编码单元中没有残差时，编码单元的QP与对应编码单元的编码块的一个或多个预测的一个或多个QP之间的平均值被用作QP以用于选择模型参数。在一个示例中，与编码单元中的编码块相对应的预测的QP是与包括预测的参考图像中的预测重叠的编码单元的QP。或者在另一示例中，与编码单元中的编码块相对应的预测的QP是参考图像的切片标头中的QP。
图5A-图5C示出了依据本发明的示例的搜索模式500A-500C的示例。搜索模式500A-500C可以用于在去噪过程(例如过程300)期间搜索K个最相似的参考区块以形成区块组。搜索模式500A-500C各自显示多个候选位置(阴影单元)于搜索网格(search grid)501A-501C上。每个搜索网格501A-501C对应于重建图像或切片中的搜索窗口501A-501C。每个搜索网格501A-501C包括当前区块的可能参考区块的位置(单元)。搜索网格501A-501C中的每个位置(单元格)可以对应于参考区块或当前区块的像素，例如区块中的左上角像素。
每个搜索网格501A-501C分别以中心位置502A-502C为中心，其代表区块组的当前区块的位置。搜索网格中的候选位置(阴影单元格)是搜索网格的所有位置(单元格)的子集，并且每个表示要检查的候选区块的位置，用于选择当前区块的K个最相似的参考区块。将候选区块的位置数目与搜索网格的区域中所有位置数目的比率称为该区域的子采样率。搜索网格区域中的子采样(subsampling)位置导致比同一区域中的原始位置少的候选位置。如此一来，搜索复杂度可以随候选位置的减少而降低。
如图所示，每个搜索窗口501A-501C被划分成多个区域。每个搜索窗口501A-501C具有以当前区块的位置为中心的第一搜索区域，并且被至少一个其他非重叠搜索区域同心地包围。此外，位于距离当前区块位置更远的搜索区域具有较低的子采样比率。
具体地，如图5A所示，搜索网格501A具有M×N的大小，并且被划分为三个区域510A至530A。第一区域510A相对于中心位置502A在水平方向上距离为N1以及在垂直方向上距离为M1。第二区域520A相对于中心位置510A在水平方向上距离为N2以及在垂直方向上距离为M2。第三区域530A在第二区域520A的外部。此外，每个区域510A-530A分别具有100％，50％或25％的子采样率。远离中心位置502A的区域具有较小的子采样比率。
在一个示例中，距离N1等于N/4，并且N2等于N/2，而距离M1等于M/4，并且M2等于M/2。在各种示例中，区域的数量或大小可以变化。
如图5B所示，搜索模式500B包括三个搜索区域510B-530B，每个搜索区域具有100％，50％或25％的子采样率。在图5C中，搜索模式500C包括三个搜索区域510C-530C，每个搜索区域具有100％，50％或25％的子采样比率。然而，图5A和图5C中的区域的尺寸彼此不同。
图6示出了依据本发明的示例性实施例的用于搜索当前区块的K个最相似参考区块以形成区块组的第一过程600。过程600基于与图5A和图5C中定义的搜索窗口相似的搜索窗口。过程600用于过程300中以去噪声重建的图像或切片。具体地，可以在过程300的步骤S330处执行过程600，以搜索K个最相似的区块，以用于在步骤S320处获得的每个当前区块而形成区块组。处理600从步骤S601开始进入步骤S610。
在步骤S610，为当前区块定义搜索窗口，例如，在过程300的步骤S320处获得。搜索窗口可以相似于搜索窗口501A-501C。特别地，搜索窗口可以具有第一搜索区域。第一区域可以位于表示当前区块的中心位置的中间，并且被至少一个其他非重叠区域同心地围绕。此外，位于更远离中心位置的搜索区域具有较低的子采样比率。
在步骤S620，在搜索窗口中找到当前区块的K个最相似的参考区块。K个最相似的参考区块和当前区块可以形成区块组。以图5A中的搜索窗口501A为例，搜索操作可以从初始候选位置开始，然后经过其他候选位置。初始候选位置可以是搜索窗口501A中的候选位置中的任何一个。第一K个候选区块可以被包括在候选列表中，并且例如，按照每个候选参考区块相对于当前区块的相似性的顺序排列。随后，可以依据与当前区块的相似性，将其他候选参考区块与候选列表中的候选区块进行比较。与候选列表的成员相比，更相似于当前区块的那个候选区块可被包括于候选列表中。搜索操作可以继续，直到检查窗口中的所有候选参考区块。
在上述搜索操作期间，在一个示例中，针对每个候选参考补片导出称为相似度得分的相似性度量。相似性得分可以基于各种相似性度量。假设绝对误差和(sum ofabsolute difference,SAD)用于测量区块组中参考区块和当前区块之间的相似度。在推导相似性得分的过程中，逐个像素地计算和聚集各个参考区块和各个当前区块中的每对像素之间的绝对差。称为部分相似性评分的部分派生的相似性评分包括总像素对的一部分的绝对误差和。
在一个示例中，为了减少计算复杂度，在完全计算相似度得分之前，候选参考区块的相似性得分的偏差被更早地终止。例如，可以为提前终止目的定义阈值。在计算候选参考区块的相似性度量的过程中，可以将部分导出的相似性度量与该阈值进行比较。当部分导出的相似性度量大于阈值(意味着相应的参考区块在相似度方面与当前区块相距太远时)，可以终止相似性度量的推导。因此，相应的候选参考区块将不包括在候选列表中。否则，计算将继续。在一个示例中，阈值被定义为包括在候选列表中的候选参考区块之一乘以控制参数的相似性得分。参数可以是常数。可以调整控制参数以控制相似性度量的推导如何终止。
虽然参考过程600描述了早期终止相似性偏差的方案，但早期终止方案不限于过程600。早期终止方案可以应用于在任意去噪声过程中搜索K个最相似参考区块的任意搜索过程。
图7示出了依据本发明的示例性实施例的用于搜索当前区块的K个最相似的参考区块以形成区块组的第二进程700。过程700组合至少两个搜索策略以搜索K个最相似的参考区块。由于不同的搜索策略可能遍历重建图像或切片中当前区块周围的搜索网格的不同区域，因此可以增加找到最佳候选参考斑块的概率。过程700可以在过程300中用于去噪声重建的图像或切片。具体地，可以在过程300的步骤S330处执行过程700，以搜索K个最相似的区块，以用于在步骤S320获得的每个当前区块形成区块组。处理700从步骤S701开始，进入步骤S710。
在步骤S710，进行搜索的第一次运行。在第一次运行中，将搜索策略A应用于搜索窗口以获得相应的当前搜索区块的K个最相似的候选参考区块。例如，三步搜索的搜索策略用于第一次运行。在三步搜索的搜索过程中，可以遍历多个候选参考区块。在执行三步搜索时，可以将第一个K个遍历的候选参考区块包含在候选列表中。此后，对于每个遍历的候选参考区块，可以导出每个遍历的候选参考区块与相应的当前区块的相似度，并与候选列表的成员进行比较。当遍历的候选参考区块被发现与多个候选列表更相似时，候选列表的成员可以被该遍历的候选参考区块代替。以这种方式，当从遍历的候选参考区块中找到更好的候选参考区块时，候选列表可以不断更新。
在步骤S720，进行搜索的第二次运行。在第二次运行中，将搜索策略B应用于搜索窗口以更新候选列表中的最佳K个候选参考区块。搜索窗口可能具有与步骤S710中的搜索窗口相同或不同的大小或形状。例如，在搜索策略B的搜索过程中，可以访问搜索网格中的多个候选位置。可以将每个被访问的候选位置处的候选参考区块与候选列表的成员进行比较。当遍历候选参考区块优于候选列表中的一个候选时，候选列表中的该候选可以被遍历的候选参考区块代替。
在步骤S730，进行搜索的第三次运行。在第三次运行中，将搜索策略C应用于相同或不同的搜索窗口，以继续更新最佳的K个候选参考区块。最后，可以获得更新的最佳K个参考区块。例如，可以使用与搜索窗口中最佳K个参考区块的位置相对应的运动矢量来指示相应的参考区块。过程700进行到步骤S799，并在步骤S799终止。
在替代示例中，搜索的运行次数可以比上述描述的更少或更大。搜索策略可以是全搜索，三步搜索，菱形搜索，四步搜索，六边形搜索，二维Log搜索(2D-log search)，搜索过程600等其中之一。不同搜索过程中的搜索策略可以相同或不同。此外，在每次搜索运行中的相应搜索网格中的初始候选位置可以是不同的或相同的，或者从先前的搜索运行结果(例如，先前检查的位置)中选择。此外，搜索处理700的参数可以按序列级，图像级，切片(slice)级或块级预定义或发送至解码器。这些参数可以包括搜索运行的数目，每个搜索运行的初始候选位置，与每个搜索运行相对应的搜索策略等。
图8示出了依据本发明的实施例的用于搜索当前区块的K个最相似的参考区块以形成区块组的第三进程800。过程800可用于过程300中，用于去噪声重建的图像或切片。具体地，可以在过程300的步骤S330处执行过程800，以搜索K个最相似的区块以形成区块组并用于在步骤S320获得的每个当前区块。过程800相似于过程700，并且组合至少两个搜索策略以搜索K个最相似的参考区块。然而，过程800可以包括每个在搜索区域851到区域853的序列850之一上执行的多个轮子进程。
如图8所示，在一个示例中，搜索区域851-853的序列850在中间位置855的中间，中间位置855对应于区块组中当前区块的位置。此外，搜索区域851至搜索区域853的序列可具有不同的大小，并且后一区域包括搜索区域851至搜索区域853的序列中的先前区域并与之重叠。在一个示例中，搜索区域851至搜索区域853的序列中的每一个为正方形。在其他示例中，其他形状也是可能的。此外，不同的区域可以具有不同的子采样比率。在一个示例中，具有较大尺寸的区域具有较小的子采样比。在一个示例中，搜索区域851-搜索区域853各自具有1,0.5和0.25的子采样比率。
过程800从步骤S801开始，并进入到步骤S810。在步骤S810中，在第一区域851中执行具有第一搜索策略的第一搜索处理，以获得K个最相似的参考区块作为候选。在一个示例中，第一搜索策略是在第一区域851上的完整搜索。在步骤S820，在第二区域852中执行具有第二搜索策略的第二搜索处理，以更新K个候选。在步骤S830中，在第三区域853中执行具有第三搜索策略的第三搜索处理，以将K个最相似的参考区块更新为候选。如此一来，更新了K个最相似的参考区块。
在步骤S840，针对每个更新的K个区块执行精确搜索。例如，可以搜索围绕每个更新的K个区块的位置的搜索区域以找到与当前区块更相似的参考区块。过程800进行到步骤S899，并在步骤S899结束。注意，精确搜索的操作可以在用于在任何去噪声处理中搜索K个最相似的参考区块的任何其他搜索过程(例如过程600和700)的最后阶段中执行。
在替代示例中，过程800可以在与搜索区域851-853的序列850不同的搜索区域的序列上执行。例如，在图5A示例的搜索窗口501A中的搜索区域510A，520A和530A的序列可以利用过程800来搜索。相似地，搜索窗口501B中的搜索区域510B，520B和530B的序列，或者搜索窗口501C中的搜索区域510C，520C和530C的序列也可以使用过程800搜索。
相似于图7的示例7，在替换示例中，过程800中的搜索轮次可以比上述描述更少或更大。搜索策略可以是全搜索，三步搜索，菱形搜索，四步搜索，六边形搜索，二维Log搜索(2D-log search)，搜索过程600等其中之一。不同搜索过程中采用的搜索策略可以相同或不同。此外，在每次搜索运行中的相应搜索网格中的初始候选位置可以是不同的或相同的，或者从先前的搜索运行结果(例如，先前检查的位置)中选择。此外，搜索过程800的参数可以在序列级，图像级，切片级或块级中预先定义或被发送至解码器。这些参数可以包括搜索区域配置的参数，搜索的轮次，每轮搜索的初始候选位置，与每轮搜索相对应的搜索策略等。
在各种示例中，搜索过程600,700和800中的一个颜色分量的搜索结果或其他搜索技术可以重用于其他颜色分量。例如，在去噪处理300期间，在步骤S310处接收到的重建视频数据可以包括多于一个颜色分量，例如一个亮度分量和两个色度分量。对应于不同颜色分量的采样数组可以形成不同的重建图像或切片。在步骤300中的步骤S320中，当重建的视频数据被划分为非重叠的当前区块时，每个当前区块可以包括不同的颜色分量。换句话说，对应于一个当前区块的不同颜色分量的采样可以形成不同的当前区块，称为分量当前区块，例如亮度当前区块或色度当前区块。
因此，在步骤S340，针对每个元件当前区块(例如亮度或色度当前区块)执行K个最相似的区块的搜索。在这个阶段，一个颜色分量的搜索结果可以重用于另一个颜色分量。例如，在针对亮度当前区块找到并确定K个最相似的参考区块之后，可以重新使用位置信息，例如与K个最相似的亮度参考区块相对应的运动矢量，以确定相似色度参考区块以用于对应于亮度当前区块的色度当前区块。
图9示出了依据本发明的实施例的用于重新使用第一颜色分量的搜索结果以搜索相似参考区块并形成用于第二颜色分量的区块组的过程900。过程900从步骤S901开始，进入步骤S910。
在步骤S910，接收重建的数据。重建数据对应于具有第一颜色分量和第二颜色分量的重建图像，例如亮度分量和色度分量。
在步骤S920，将重建图像中的第一颜色分量的像素划分成第一当前区块。每个第一当前区块包括对应于第一颜色分量的像素。
在步骤S930，重建图像中的第二颜色分量的像素被划分为第二当前区块。每个第二当前区块包括对应于第二颜色分量的像素。
在步骤S940，找到相似的第一参考区块用于相应的第一当前区块以形成第一区块组。例如，如此一来，对于每个第一区块组，可以获得指示相对于相应的当前区块的相似的第一参考区块的位置的运动矢量。
在步骤S950，从步骤S940得到的例如运动矢量的位置信息可用于搜索相应的第二当前区块的相似的第二参考区块以形成第二区块组。依据重建图像的格式，使用第一颜色分量的运动矢量以用于第二颜色分量的方式可以不同。
具体地，在第一示例中，重建的视频数据报括亮度分量和色度分量。亮度和色度分量具有相同的采样比率(例如，图像格式为YUV444)。此外，以相同的方式执行亮度和色度当前区块的分区。如此一来，(依据每个区块内的采样数量)每个亮度区块对应于具有相同形状和相同尺寸的色度区块。因此，亮度当前区块的相似亮度参考区块的运动矢量指示的位置可以重新用作相应色度当前区块的相似色度参考区块的位置。因此，可以避免搜索相似的色度参考区块用于第二颜色分量。
在第二示例中，相似于第一示例，重建的视频数据报括具有相同采样比率的亮度分量和色度分量。亮度当前区块和色度当前区块的分区是相同的，并且每个亮度区块对应于具有相同尺寸和形状的色度区块。在确定与色度当前区块相对应的相似色度参考区块之后，可以对已经找到的色度参考区块的每个位置进行精确搜索，以确定相应色度当前区块的最相似的色度参考区块。例如，每个精确搜索在已经找到的第一分量参考区块之一的位置周围的搜索区域内执行。如此一来，可以减少搜索相似色度参考区块的成本。
在第三示例中，重建的视频数据中的颜色分量具有不同的采样比率，例如，重建的图像具有YUV420或YUV422的格式。假设相应的重建图像具有相似于YUV 420的格式，并且包括亮度分量和色度分量。因此，重建图像中的色度分量在垂直和水平方向都被二次取样为具有0.5的采样率。此外，在该示例中，可以以相似的方式执行亮度分量和色度分量的分区，使得亮度当前区块或色度当前区块的数量可以相同，并且每个亮度当前区块对应于色度当前区块。每对亮度当前区块和色度当前区块可以具有相似的形状，但包括不同数量的像素。
在这种情况下，例如，为了重新使用亮度参考区块的运动矢量，色度当前区块和与对应的亮度区块并置的对应参考区块的区块大小(以像素数为单位)可以依据相应的采样比率进行缩放。例如，当亮度区块尺寸为8×8时，色度区块尺寸可以相应地定义为4×4，以形成区块组。此后，为了重新使用用于色度参考区块的亮度参考区块的运动矢量，可以依据不同颜色分量的采样比率对亮度分量的运动矢量执行缩放操作。例如，依据上述色度采样比率为0.5，可以缩放包括一对坐标(x，y)的运动矢量，以获得具有一对坐标(x/2，y/2)的缩放运动矢量。因此，舍入偏移或直接截断可用于缩放运动矢量。
所获得的缩放的运动矢量然后可以在对应于色度当前区块的搜索网格中使用，以指示候选色度参考区块的位置。具体地说，对应于亮度区块中的亮度参考区块的缩放运动矢量可以直接用于定位相应色度区块组的色度参考区块而不进行任何搜索。或者，在另一示例中，可以在由缩放运动矢量指示的位置周围的区域中执行精确搜索，以确定该区域中最相似的色度参考区块。该区域中最相似的色度参考区块可以包含在相应的色度区块组中。
在第四示例中，对于不同颜色分量具有不同采样率的重建视频数据，色度分量的区块大小(以像素数为单位)可以保持与亮度分量的相同。因此，尺寸为8×8的色度当前区块可以在相应的重建图像中重叠四个亮度当前区块，每个具有8×8的尺寸，例如用于YUV420的格式。因此，可以在这四个当前亮度区块的相似亮度参考区块的位置处执行色度当前区块的相似色度参考区块的搜索。搜索复杂性也可以减少。
例如，在已经确定亮度区块的亮度参考区块的运动矢量之后，可以对运动矢量执行依据色度分量的采样比的缩放操作以获得缩放的运动矢量。假设每个色度当前区块与具有YUV 420格式的重建图像中的四个亮度当前区块重叠。对应于色度当前区块的相似色度参考区块可自由对应于与色度当前区块重叠的四个亮度当前区块的缩放的运动矢量指示的候选色度参考区块而得到。
尽管已经结合作为示例提出的具体实施例描述了本公开的各方面，但是可以对示例的替代，修改和变化进行说明。因此，本文所阐述的实施例旨在是说明性的而不是限制性的。在不脱离下面提出的权利要求的范围的情况下，可以进行改变。

Claims (25)

1.一种方法，其特征在于，包括：
接收对应于图像的重建视频数据；
将该图像分成多个当前区块；
形成多个区块组，该多个区块组中的每个包括当前区块和与该当前区块相似的多个参考区块；
对该多个区块组去噪以修改该多个区块组的多个像素值以创建滤波图像，其中对该多个区块组进行去噪包括基于压缩噪声模型导出相应区块组中的压缩噪声的方差，并且基于编码单元级信息，多个模型参数的选择被确定；以及
基于该滤波图像生成参考图像以对图像进行编码或解码。
2.如权利要求1所述的方法，其特征在于，该编码单元级信息包括以下之一或组合：
与相应区块组中的各个当前区块相关联的编码单元的量化参数，以及
与相应区块组中的各个当前区块相关联的编码单元的预测类型。
3.如权利要求2所述的方法，其特征在于，该编码单元级信息还包括：
该编码单元的预测的一个或多个量化参数，其中
当该编码单元中存在非零残差时，该编码单元的该量化参数用于确定该多个模型参数，以及
当该编码单元中没有残差时，该编码单元的该量化参数和该编码单元的预测的该一个或多个量化参数之间的平均值用于确定该多个模型参数。
4.如权利要求1所述的方法，其特征在于，应用去噪技术包括：
基于每个参考区块和该当前区块之间的相似性计算每个参考区块的加权因子，每个参考区块的加权因子是基于表达式e-(SSE/Var)而得到，其中SSE表示该当前区块和相应区块之间的平方误差之和的平均值，Var表示相应区块组中压缩噪声的方差，以及
分段线性插值用于近似表达式e-(SSE/Var)的值，以计算相应的加权因子。
5.如权利要求1所述的方法，其特征在于，在压缩噪声模型中，该相应区块组中的压缩噪声的标准偏差是该相应区块组的多个像素值的标准偏差的函数，并且该函数表示为多项式函数，以及
对该相应区块组中的压缩噪声的标准偏差或该相应区块组的该多个像素值的标准偏差应用剪切操作，以保证多项式函数的单调递增特性。
6.一种方法，其特征在于，包括：
接收对应于图像的重建视频数据；
将该图像分成多个当前的区块；以及
在该图像中搜索用于当前区块的K个相似参考区块，用于形成包该含K个相似参考区块和该当前区块的区块组，
其中，搜索K个相似参考区块包括，
使用第一搜索策略执行第一搜索过程以获得K个相似区块包括于候选列表中，以及
使用第二搜索策略执行第二搜索过程以更新该候选列表。
7.如权利要求6所述的方法，其特征在于，该使用第一搜索策略执行第一搜索过程以获得K个相似区块的步骤包括：
通过执行该第一搜索策略遍历多个候选参考区块；
在执行该第一搜索策略时将前K个已遍历的候选参考区块包括于该候选列表；以及
包括一个已遍历的候选参考区块，其中与候选列表的成员相比，该已遍历的候选参考区块更相似于该当前区块。
8.如权利要求6所述的方法，其特征在于，该使用第二搜索策略执行第二搜索过程以更新候选列表包括：
通过执行该第二搜索策略遍历多个候选参考区块；以及
包括一个已遍历的候选参考区块，其中与候选列表的成员相比，该已遍历的候选参考区块更相似于该当前区块。
9.如权利要求6所述的方法，其特征在于，该第一搜索策略与该第二搜索策略不同。
10.如权利要求6所述的方法，其特征在于，该第一搜索策略或该第二搜索策略采用全搜索，三步搜索，菱形搜索，四步搜索，基于六边形的搜索或二维日志搜索中的一个。
11.根据权利要求6所述的方法，其特征在于，该第一搜索过程的初始候选参考区块与该第二搜索过程的初始候选参考区块不同或相同。
12.如权利要求6所述的方法，其特征在于，该第二搜索过程的初始候选参考区块是第一搜索过程已遍历的该多个候选参考区块之一。
13.如权利要求6所述的方法，其特征在于，该第一搜索过程或该第二搜索过程包括：
在搜索网格上为相应的当前区块定义的搜索窗口中搜索该K个相似参考区块，该搜索窗口具有第一搜索区域，该第一搜索区域以该相应的当前区块的位置为中心并且被至少一个其他非重叠搜索区域同心地围绕，其中位于更远离该相应的当前区块的位置的搜索区域具有较低的子采样比率。
14.如权利要求13所述的方法，其特征在于，每个搜索区域是矩形形状。
15.如权利要求6所述的方法，其特征在于，搜索该K个相似参考区块还包括：
当搜索每个当前区块的该K个相似参考区块时，当候选参考区块的部分导出的第一相似性度量大于阈值时，终止该候选参考区块的第一相似性度量，该阈值等于K先前发现的相似参考区块中的一个乘以控制参数的第二个相似性度量。
16.如权利要求6所述的方法，其特征在于，该第一搜索过程在搜索网格上以当前区块的位置为中心的第一搜索区域中执行，并且第二搜索过程在与该第一搜索区域同心的第二搜索区域中执行，其中该第二搜索区域包括该第一搜索区域，该第二搜索区域和该第一搜索区域具有不同的子采样比率。
17.如权利要求6所述的方法，其特征在于，该第一搜索过程在搜索网格上以该当前区块的位置为中心的第一搜索区域中执行，并且该第二搜索过程在与该第一搜索区域同心的第二搜索区域中执行。其中，该第二搜索区域围绕该第一搜索区域，该第二搜索区域和该第一搜索区域具有不同的子采样比率。
18.如权利要求6所述的方法，其特征在于，搜索该K个相似参考区块还包括：
在更新的候选列表上的参考区块的位置周围的区域中执行精确搜索。
19.如权利要求6所述的方法，其特征在于，至少包括用于搜索该K个相似参考区块的该第一搜索过程和该第二搜索过程，以及相应的多个搜索策略是预定义的，或者发送于序列级，图像级，切片级，或块级。
20.一种方法，其特征在于，包括：
接收对应于具有第一颜色分量和第二颜色分量的图像的重建视频数据；
将该图像中的该第一颜色分量的多个像素划分为多个第一当前区块；
将该图像中的该第二颜色分量的多个像素划分为多个第二当前区块；
在该图像中搜索多个相似第一参考区块，以用于相应第一当前区块以形成对应于该多个第一当前区块的多个第一区块组；以及
使用该相应第一当前区块的该多个相似第一参考区块的多个运动向量来搜索图像中的多个相似第二参考区块以用于相应第二当前区块。
21.如权利要求20中所述的方法，其特征在于，
该第一颜色分量和该第二颜色分量具有相同的采样比率，并且每个第一当前区块对应于该多个第二当前区块中的一个，
使用该相应第一当前区块的该多个相似第一参考区块的多个运动向量来搜索多个相似第二参考区块包括：
使用该相应第一当前区块的该多个相似第一参考区块的该多个运动矢量作为该相应第二当前区块的该多个相似第二参考区块的多个运动矢量。
22.如权利要求20中所述的方法，其特征在于，
该第一颜色分量和该第二颜色分量具有相同的采样比率，并且每个第一当前区块对应于该多个第二当前区块中的一个，
使用该相应第一当前区块的该多个相似第一参考区块的多个运动向量来搜索多个相似第二参考区块包括：
在围绕该相应第一当前区块的该多个相似第一参考区块中的一个的一位置的搜索区域上执行精确搜索以确定该相应第二当前区块的该多个相似第二参考区块中的一个。
23.如权利要求20中所述的方法，其特征在于，
该第一颜色分量和该第二颜色分量具有不同的采样比率，并且每个第一当前区块对应于该多个第二当前区块中的一个，
使用该相应第一当前区块的该多个相似第一参考区块的多个运动向量来搜索多个相似第二参考区块包括：
依据与该相应第一当前区块的该多个相似第一参考块的多个运动矢量不同的采样比率，执行一缩放操作以获得多个缩放的运动矢量；以及
使用该多个缩放的运动矢量作为该相应第二当前区块的该多个相似第二参考区块的多个运动矢量。
24.如权利要求20中所述的方法，其特征在于，
该第一颜色分量和该第二颜色分量具有不同的采样比率，并且每个第一当前区块对应于该多个第二当前区块中的一个，以及
使用该相应第一当前区块的该多个相似第一参考区块的多个运动向量来搜索多个相似第二参考区块包括：
依据与该相应第一当前区块的该多个相似第一参考块的多个运动矢量不同的采样比率，执行一缩放操作以获得多个缩放的运动矢量；以及
在围绕由多个缩放运动矢量中的一个所指示的一位置周围的一搜索区域上执行一精确搜索，以确定该相应第二当前区块的该多个相似第二参考区块中的一个。
25.如权利要求20中所述的方法，其特征在于，
该第一颜色分量和该第二颜色分量具有不同的采样比率，并且每个第二当前区块对应于该多个第一当前区块，以及
使用该相应第一当前区块的该多个相似第一参考区块的多个运动向量来搜索多个相似第二参考区块包括：
依据与该相应多个第一当前区块中的每一个的该多个相似第一参考区块的多个运动矢量不同的采样比率，执行一缩放操作以获得多个缩放的运动矢量；以及
从由该多个缩放的运动矢量指示的多个候选第二参考区块中搜索该多个相似第二参考区块。
CN201780020253.7A 2016-04-14 2017-04-14 非本地自适应环路滤波方法 Active CN108886621B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662322308P 2016-04-14 2016-04-14
US62/322,308 2016-04-14
US201662326030P 2016-04-22 2016-04-22
US62/326,030 2016-04-22
US15/485,694 2017-04-12
US15/485,694 US10462459B2 (en) 2016-04-14 2017-04-12 Non-local adaptive loop filter
PCT/CN2017/080518 WO2017177957A1 (en) 2016-04-14 2017-04-14 Non-local adaptive loop filter

Publications (2)

Publication Number Publication Date
CN108886621A true CN108886621A (zh) 2018-11-23
CN108886621B CN108886621B (zh) 2021-01-01

Family

ID=60038636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020253.7A Active CN108886621B (zh) 2016-04-14 2017-04-14 非本地自适应环路滤波方法

Country Status (4)

Country Link
US (1) US10462459B2 (zh)
CN (1) CN108886621B (zh)
TW (1) TWI634777B (zh)
WO (1) WO2017177957A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963048A (zh) * 2017-12-14 2019-07-02 多方科技(广州)有限公司 降噪方法、降噪装置及降噪电路系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
US10419758B2 (en) 2017-03-16 2019-09-17 Mediatek Inc. Non-local adaptive loop filter processing
EP3655918B1 (en) * 2017-09-05 2021-11-03 Huawei Technologies Co., Ltd. Fast block matching method for collaborative filtering in lossy video codecs
CN110633399A (zh) * 2018-06-01 2019-12-31 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
WO2019234600A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between pairwise average merging candidates and intra-block copy (ibc)
JP2021145157A (ja) * 2018-06-14 2021-09-24 ソニーグループ株式会社 画像処理装置および方法
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN113115046A (zh) * 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
TWI675718B (zh) 2019-01-03 2019-11-01 財團法人工業技術研究院 工具機的加工件負載特性判斷及加速度調整方法
US11418787B2 (en) 2019-06-28 2022-08-16 Qualcomm Incorporated Chroma delta QP in video coding
US11381819B2 (en) 2019-07-05 2022-07-05 Qualcomm Incorporated Chroma delta quantization parameter (QP) in video coding
CN114430904A (zh) * 2019-09-23 2022-05-03 苹果公司 利用环内子图像级可控噪声生成进行的视频压缩

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253678A1 (en) * 2007-04-10 2008-10-16 Arcsoft, Inc. Denoise method on image pyramid
US7711199B2 (en) * 2006-03-16 2010-05-04 Samsung Electronics Co., Ltd. Method for estimating quantization factor of compressed digital image
CN101883280A (zh) * 2009-05-07 2010-11-10 香港科技大学 一种恢复噪声的视频编解码方法和系统
CN102567973A (zh) * 2012-01-06 2012-07-11 西安电子科技大学 基于改进的形状自适应窗口的图像去噪方法
JP2013126056A (ja) * 2011-12-14 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
US8644374B2 (en) * 2009-08-31 2014-02-04 Cisco Technology, Inc. Multiple description coding with spatial shifting
CN103597827A (zh) * 2011-06-10 2014-02-19 联发科技股份有限公司 可伸缩视频编码方法及其装置
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
CN105049846A (zh) * 2015-08-14 2015-11-11 广东中星电子有限公司 图像和视频编解码的方法和设备
CN105120294A (zh) * 2015-06-26 2015-12-02 中国电子科技集团公司第二十八研究所 一种jpeg格式图像来源鉴别方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
US6363116B1 (en) * 1997-04-04 2002-03-26 Tektronix, Inc. Picture quality assessment using spatial location with or without subsampling
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
CA2507959A1 (en) * 2002-11-29 2004-07-22 Bracco Imaging, S.P.A. System and method for displaying and comparing 3d models
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
EP1745653B1 (en) * 2004-01-30 2017-10-18 Thomson Licensing DTV Encoder with adaptive rate control for h.264
US20070121728A1 (en) * 2005-05-12 2007-05-31 Kylintv, Inc. Codec for IPTV
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR100995294B1 (ko) * 2006-06-30 2010-11-19 주식회사 메디슨 누적 빈도수를 이용한 초음파 영상의 압축 방법
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
CN101505427A (zh) 2009-02-20 2009-08-12 杭州爱威芯科技有限公司 视频压缩编码算法中的运动估计装置
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
EP2656610A4 (en) 2010-12-21 2015-05-20 Intel Corp SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING
EP2661879B1 (en) 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US9406138B1 (en) * 2013-09-17 2016-08-02 Bentley Systems, Incorporated Semi-automatic polyline extraction from point cloud
EP3117606B1 (en) * 2014-03-13 2018-12-26 Qualcomm Incorporated Simplified advanced residual prediction for 3d-hevc
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711199B2 (en) * 2006-03-16 2010-05-04 Samsung Electronics Co., Ltd. Method for estimating quantization factor of compressed digital image
US20080253678A1 (en) * 2007-04-10 2008-10-16 Arcsoft, Inc. Denoise method on image pyramid
CN101883280A (zh) * 2009-05-07 2010-11-10 香港科技大学 一种恢复噪声的视频编解码方法和系统
US8644374B2 (en) * 2009-08-31 2014-02-04 Cisco Technology, Inc. Multiple description coding with spatial shifting
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
CN103597827A (zh) * 2011-06-10 2014-02-19 联发科技股份有限公司 可伸缩视频编码方法及其装置
JP2013126056A (ja) * 2011-12-14 2013-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法／装置，映像符号化方法／装置，映像復号方法／装置およびそれらのプログラム
CN102567973A (zh) * 2012-01-06 2012-07-11 西安电子科技大学 基于改进的形状自适应窗口的图像去噪方法
CN105120294A (zh) * 2015-06-26 2015-12-02 中国电子科技集团公司第二十八研究所 一种jpeg格式图像来源鉴别方法
CN105049846A (zh) * 2015-08-14 2015-11-11 广东中星电子有限公司 图像和视频编解码的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡斌等: "一种改进的非局部均值去噪算法", 《模式识别与人工智能》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963048A (zh) * 2017-12-14 2019-07-02 多方科技(广州)有限公司 降噪方法、降噪装置及降噪电路系统
CN109963048B (zh) * 2017-12-14 2021-04-23 多方科技(广州)有限公司 降噪方法、降噪装置及降噪电路系统

Also Published As

Publication number Publication date
TWI634777B (zh) 2018-09-01
US20170302929A1 (en) 2017-10-19
US10462459B2 (en) 2019-10-29
CN108886621B (zh) 2021-01-01
TW201742456A (zh) 2017-12-01
WO2017177957A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
CN108886621A (zh) 非本地自适应环路滤波器
CN108184129B (zh) 一种视频编解码方法、装置及用于图像滤波的神经网络
CN104602011B (zh) 图像解码装置
TWI604733B (zh) 一種後期處理重建畫面的設備
US11910024B2 (en) Boundary handling for adaptive loop filtering
CN103975587B (zh) 针对图像的一组重建样本的补偿偏移的编码/解码的方法和装置
Siqueira et al. Rate-distortion and complexity comparison of HEVC and VVC video encoders
KR101000926B1 (ko) 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
CN104054344B (zh) 对色度数据进行解块以用于视频译码
TWI555342B (zh) 清除解塊人為雜訊的方法
CN116647688A (zh) 视频译码中使用交叉分量线性模型进行帧内预测
CN108605143A (zh) 视频编码中的非局部自适应环内滤波器的方法和装置
WO2019008366A1 (en) CODING AND DECODING IMAGE DATA
US20230209051A1 (en) Filtering method and apparatus, and device
KR20240038959A (ko) 결합된 인터 및 인트라 예측을 수행하기 위한 방법 및 시스템
Zhang et al. Edge-detection based fast intra-mode selection for depth map coding in 3D-HEVC
Nguyen et al. Efficient edge-preserving interpolation and in-loop filters for depth map compression
CN118042136A (zh) 编解码方法和装置
GB2564150A (en) Image data encoding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant