CN110383331B - 非局部适应性环路滤波器处理 - Google Patents

Abstract

本发明的一方面提供了一种非局部适应性环路滤波方法。本方法可以包括接收重构图像，将该图像分割为多个当前补块，形成多个补块组，每个补块组包括当前补块和相似于当前补块的多个参考补块；确定该多个补块组中每个的噪声水平，并用非局部去噪声化技术去噪声化该多个补块组。确定该多个补块组中每个的噪声水平可以包括计算各自补块组的多个像素值的像素方差；根据所计算的该各自补块组的该像素方差，确定该各自补块组的像素标准偏差；以及基于为该各自补块组的像素标准偏差的函数的压缩噪声模型，计算该各自补块组的噪声水平。

Description

非局部适应性环路滤波器处理

交叉引用

本发明主张在2017年03月16日提出的申请号为62/472,000的的名称为″Methodof Non-local adaptive Loop Filter for Video coding″美国临时专利申请的优先权，其内容以引用方式整体并入本文中。

技术领域

本发明涉及视频编解码技术。

背景技术

此处提供的先前技术描述通常用作说明本发明的上下文的目的。目前署名发明人的工作内容，既包含在本先前技术部分中所描述的工作的内容，也包含在申请时未被认为是先前技术的说明书的各方面，这些既不明确也不暗示地被承认是本发明的先前技术。

基于块的运动补偿、变换和量化被广泛地用于视频压缩，以提高视频通讯系统的性能。然而，由于粗糙的量化和运动补偿，压缩噪声会被引入，其在已重构图像中引起伪影，例如，块效应、涟漪化效应和模糊效应。环路滤波器可以用来减少压缩噪声，其不但可以提高已解码图像的质量，而且为后续图像提供高质量参考图像，以节省编解码位。非局部适应性环路滤波器是这种类型环路滤波器之一。

发明内容

本发明的方面提供了一种非局部适应性环路滤波的方法。该方法可以包括接收对应于图像的已重构视频数据；将图像分割为多个当前补块；形成多个补块组，其中每个补块组包括当前补块和相似于当前补块的多个参考补块；确定多个补块组中每个的噪声水平；以及基于多个补块组中的每个的确定的噪声水平，用非局部去噪声化技术去噪声化多个补块组，以创建已滤波图像。确定多个补块组中每个的噪声水平可以包括：基于补块组中的像素或者补块组的当前补块中的像素，计算各自补块组的多个像素值的像素方差；通过在表示多个补块组像素标准偏差和多个补块组像素方差之间的映射关系的第一查找表中进行搜索，根据所计算的各自补块组的像素方差，确定各自补块组的像素标准偏差；以及基于为各自补块组的像素标准偏差的函数的压缩噪声模型，计算各自补块组的噪声水平。

在一个示例中，第一查找表可以包括多个补块组像素标准偏差的第一序列和多个补块组像素方差的第二序列。多个两个连续补块组标准偏差的平方值之间的平均值形成多个补块组方差的第二序列。在一个示例中，在第一查找表中进行搜索可以包括搜索包括各自补块组的像素方差的第二序列中的两个连续平均值所定义的范围；以及确定第一序列中的补块组标准偏差为各自补块组的像素标准偏差。确定的补块组标准偏差的平方值被包括在由第二序列中的两个连续的平均值所定义的相同的范围内。

在一个示例中，构造第一查找表可以包括确定多个补块组标准偏差的第一序列的范围，确定多个补块组标准偏差的第一序列的精度；以及根据确定的范围和精度确定多个补块组标准偏差的第一序列。

在一个实施例中，第一查找表可以包括多个补块组标准偏差的第一序列和多个补块组方差的第二序列。多个补块组标准偏差的第一序列中的每个是多个补块组方差的第二序列中的一个的标准偏差。在第一查找表中进行搜索可以包括在第二序列中查找等于各自补块组的补块方差的补块组方差；以及确定对应于第二序列的查找到的补块组方差的多个补块组标准偏差的第一序列中的一个为各自补块组的像素标准偏差。

在不同的示例中，非局部去噪声化技术可以是非局部均值(non-local mean，NLM)去噪声化技术、块匹配和3D滤波(block matching and 3d filtering，BM3D)去噪声化技术或者低阶近似(low-rank approximation，LRA)去噪声化技术中的一个。

在一个实施例中，用非局部去噪声化技术去噪声化多个补块组，以创建已滤波图像可以包括计算ASSE/Var值以用于计算相对于当前补块的参考补块的加权因子，ASSE是参考补块和当前补块之间的平方误差之和的平均值，Var是为包括参考补块和当前补块的补块组的噪声水平的平方的噪声方差。计算ASSE/Var值可以包括：将Var右移N_x个位以定位K个最重要位，K为默认数量；通过基于定位的K-MSB查找第二查找表，确定(2^M)/K-MSB的值，M是预设数量；将ASSE右移N_x个位；将右移的ASSE乘以确定的(2^M)/K-MSB的值，以获得乘积；以及将乘积右移M个位，以获得ASSE/Var值。

在一个示例中，第二查找表表示(2^M)/K-MSB的值序列和每个具有K个位的K-MSB的序列之间的映射关系。

根据本发明所提方法的实施例还可以包括以下中的一个：在将Var右移N_x个位之前，将舍入偏移添加到Var；在将ASSE右移N_x个位之前，将舍入偏移添加到ASSE；以及在将乘积右移M个位之前，将舍入偏移添加到乘积中。

在一个实施例中，用非局部去噪声化技术去噪声化多个补块组，以创建已滤波图像可以包括计算对应于包括多个像素值的多个部分的累加像素值X_A的归一化像素值，多个部分中的每个对应于乘以增益的分割的图像的原始像素值。计算归一化像素值可以包括：(a)将对应于该累加像素值X_A的多个增益之和S_G右移N_x个位，以定位K个最重要位，其中K为默认数量，(b)通过基于定位的K-MSB搜索第三查找表，确定(2^M)/K-MSB的值，M为预设数，(c)将X_A右移N_x个位，(d)将确定的(2^M)/K-MSB的值乘以右移的X_A，以获得乘积，以及(e)将乘积右移M个位，以获得第一归一化像素值。

在一个示例中，第三查找表表示(2^M)/K-MSB的值序列和每个具有K个位的K-MSB的序列之间的映射关系。

在一个实施例中，计算归一化像素值还可以包括执行具有舍入偏移操作的步骤(a)-步骤(e)，以获得第二归一化像素值，并且平均第一归一化像素值和第二归一化像素值，以获得计算的归一化像素值。舍入偏移操作可以包括以下中的至少一个：在将S_G右移N_x个位之前，将舍入偏移添加到S_G；在将X_A右移N_x个位之前，将舍入偏移添加到X_A；或者在将乘积右移M个位之前，将舍入偏移添加到乘积。

本发明的方面提供了一种非局部适应性环路滤波器。非局部适应性环路滤波器可以包括电路，其用于：接收对应于图像的已重构视频数据；将图像分割为多个当前补块；形成多个补块组，其中每个补块组包括当前补块和相似于当前补块的多个参考补块；确定多个补块组中每个的噪声水平；以及用非局部去噪声化技术去噪声化多个补块组，以基于多个补块组中的每个的确定的噪声水平创建已滤波图像。确定多个补块组中每个的噪声水平可以包括基于补块组中的像素或者补块组的当前补块中的像素，计算各自补块组的多个像素值的像素方差；通过在表示多个补块组像素标准偏差和多个补块组像素方差之间的映射关系的第一查找表中进行搜索，根据所计算的各自补块组的像素方差，确定各自补块组的像素标准偏差；以及基于为各自补块组的像素标准偏差的函数的压缩噪声模型，计算各自补块组的噪声水平。

本发明的方面提供了一种非易失性计算机可读介质，存储有实施非局部适应性环路滤波方法的多个指令。

附图说明

将结合下面的图式对被提供作为示例的本发明的各种实施例进行详细描述，其中相同的符号表示相同的组件，以及其中：

图1是本发明一实施例的视频编码器；

图2是本发明一实施例的视频解码器；

图3是本发明一实施例的去噪声化重构图像的流程；

图4是本发明一实施例的去噪声化的示例性流程；

图5是本发明一实施例的第一示例的补块(patch)组像素标准偏差(standarddeviation，SD)查找表；

图6是本发明一实施例的的第二示例的补块组像素标准偏差查找表；

图7是本发明一实施例的使用第三除法查找表计算项ASSE/Var的流程；

图8是本发明一实施例的计算项X_A/S_G的流程；以及

图9是本发明一实施例的具有舍入偏移操作的流程。

具体实施方式

I.非局部适应性环路滤波器

图1显示了根据本发明实施例的编码器100。编码器100可以包括已解码图像缓存器110、帧间-帧内预测模块112、第一加法器114、残差编码器116、熵编码器118、残差解码器120、第二加法器122和一个或多个环路滤波器，例如去块滤波器(deblocking filter，DF)130、样本适应性偏移滤波器(sample adaptive offset filter，SAO)132、适应性环路滤波器(adaptive loop filter，ALF)134和非局部适应性环路滤波器(non-local adaptiveloop filter，NL-ALF)136。如图1所示，这些组件可以被耦接在一起。

编码器100接收输入视频数据101，并执行视频压缩流程，以生成比特流102，作为输出。输入视频数据101可以包括图像序列。每个图像可以包括一个或多个颜色分量，例如，亮度分量或者色度分量。比特流102可以具有符合视频编解码标准的格式，例如，高级视频编解码(advanced video coding，AVC)标准、高效视频编解码(high efficiency videocoding，HEVC)标准等。

根据本发明的一方面，非局部适应性环路滤波器136可以采用非局部去噪声化技术以提高编码器100的性能。具体地，在一个示例中，非局部适应性环路滤波器136可以将重构图像分割为多个补块(称为当前补块)。对于每个当前补块，非局部适应性环路滤波器136在重构图像中搜索相似补块(称为参考补块)以形成补块组。随后，非局部适应性环路滤波器136可以将去噪声化技术应用于每个补块组以修改各个补块组中的一个或多个补块的像素值，以降低这些补块组中的压缩噪声。已修改的像素值返回到图像以形成已滤波图像。

另外，当应用去噪声化技术来处理每个补块组时，非局部适应性环路滤波器136可以采用一些技术来降低计算复杂度并简化各个处理操作。例如，平方根操作或者除法操作可以被转换为查找表搜索、位平移、乘法操作等。因此，可以降低非局部适应性环路滤波器136的实作成本，并可以提高非局部适应性环路滤波器136的性能。

此外，根据本发明的一方面，不能保证已滤波图像中的已处理像素在噪声水平方面比重构图像中的相应的未滤波像素更好。因此，非局部适应性环路滤波器136可以为图像中的不同块(区域)，适应性地确定块是将采用已处理像素值还是保留已重构视频数据的未滤波像素值。开启/关闭控制标志103可以被用来发信各个块中已处理像素值的适应性采用。

在图1中，已解码图像缓存器110存储参考图像以用于在帧间-帧内预测模块112处所执行的运动估计和运动补偿。帧间-帧内预测模块112执行帧间图像预测或者帧内图像预测，以在视频压缩流程期间确定用于当前图像的块的预测。当前图像指的是输入视频数据101中的图像，其在帧间-帧内预测模块112中正在被处理。当前图像可以被分割成具有相同尺寸或者不同尺寸的多个块，以用于帧间预测操作或者帧内预测操作。

在一个示例中，帧间-帧内预测模块112使用帧间编解码技术或者帧内图像编解码技术来处理块。因此，使用帧间图像编解码进行编码的块称为帧间已编码块，而使用帧内图像编解码进行编码的块称为帧内已编码块。帧间图像编解码技术使用参考图像以获得当前正被处理的块(称为当前块)的预测。例如，当用帧间图像编解码技术编码当前块时，运动估计可以被执行，以在参考图像中搜索匹配区域。匹配区域用作当前块的预测。相对地，帧内图像编解码技术使用当前块的相邻像素以生成当前块的预测。相邻像素和当前块均是处于相同图像内。块的预测被提供给第一加法器114和第二加法器122。

第一加法器114自帧间-帧内预测模块112接收块的预测，并自输入视频数据101接收块的原始像素。随后，加法器114自块的原始像素提取预测，以获得块的残差。块的残差被发送至残差编码器116。

残差编码器116接收块的残差，并压缩残差以生成已压缩残差。例如，残差编码器116可以先将诸如离散余弦变换(discrete cosine transform，DCT)、小波变换等的变换应用到对应于变换块的接收残差，并生成变换块的变换系数。将图像分割成变换块，该分割可以与用于帧间-帧内预测处理的、将图像分割成预测块的分割相同或者不同。

随后，残差编码器116可以对系数进行量化以压缩残差。量化可以用量化参数(quantization parameter，QP)来控制。量化参数表示步长以用于将变换系数与步骤的有限集相关联。越大的量化参数值表示粗略近似于变换的越大的步骤，使得变换块中的大部分讯号可以通过越少的系数来捕获。相反地，越小的量化参数值可以越准确近似于变换，但是，以增加的位数量为代价，以用于编码残差。因此，越大的量化参数可能将越多的失真或者压缩噪声引进到自视频压缩流程而得到的图像中。已压缩残差(已量化变换系数)被发送至残差解码器120和熵编码器118。

残差解码器120接收已压缩残差，并执行在残差编码器116处执行的量化操作与变换操作的逆流程，以重构变换块的残差。由于量化操作，已重构残差与自加法器114生成的原始残差相似，但通常不同于原始版本。

第二加法器122自帧间-帧内预测模块112接收块的预测，并自残差解码器120接收变换块的已重构残差。第二加法器122因此将已重构残差与对应于图像中的相应区域的所接收到的预测进行结合，以生成已重构视频数据。随后，例如，重构视频数据可以被传输到去块滤波器130。

在一个示例中，去块滤波器130将低通滤波器的集合应用到块边界，以降低块伪影。基于重构图像中位于块分界线两侧的重构样本的特征以及帧间-帧内预测模块112处所确定的预测参数(编解码模式或者运动向量)，这些滤波器可以被使用。随后，已去块已重构视频数据可以被提供给样本适应性偏移滤波器132。在一个示例中，样本适应性偏移滤波器132接收已去块已重构视频数据，并将已重构视频数据中的像素分组。随后，样本适应性偏移滤波器132可以确定用于每个组的强度偏移(偏移值)，以补偿每个组的强度偏移。随后，已偏移已重构视频数据可以自样本适应性偏移滤波器提供到适应性环路滤波器134。在一个示例中，适应性环路滤波器134被配置为将滤波器应用到已重构视频数据，以降低时域中的编解码伪影。例如，适应性环路滤波器134自滤波器候选集选择一滤波器，并将所选择的滤波器应用到已重构视频数据的区域。另外，适应性环路滤波器134可以被选择性地开启或者关闭，以用于已重构视频数据的每个块。随后，已处理已重构视频数据可以被发送至非局部适应性环路滤波器136。

如上所述，非局部适应性环路滤波器136可以使用非局部去噪声化技术流程所接收到的已重构视频数据，以降低重构视频数据中的压缩噪声。另外，非局部适应性环路滤波器136可以确定非局部适应性滤波是否应用于已去噪声化图像中的块。例如，非局部适应性环路滤波器136处理接收到的重构视频数据，并生成已滤波视频数据。然后非局部适应性环路滤波器136可以比较已滤波视频数据的已滤波块与接收到的重构视频数据的对应块来确定已滤波图像的失真是否相对于原始图像已经被改善。当滤波块的失真被改善时，该已滤波块的像素值可以被用于形成已去噪声化图像。否则，接收到的重构视频数据的对应块的像素值被用在已去噪声化图像中。因此，基于是否采用已滤波像素值以用于已去噪声化图像中的各自块的决策，去噪声化图像可以被重构。然后，已去噪声化图像可以被存储在已解码图像缓存器110。

开启/关闭控制标志可以用于将上述用于各自块的决策发信至解码器，使得解码器可以以相同方式处理此块。如图1所示，在一个示例中，表示非局部适应性环路滤波是否被应用到各自块的开启/关闭控制标志103被发送至熵编码器118。

熵编码器118自残差编码器116接收已压缩残差。在一些示例中，熵编码器118也自非局部适应性环路滤波器136接收去噪声化技术的选择以及开启/关闭控制标志103。熵编码器118也可以接收其他参数和/或控制信息，例如帧内预测模式信息、运动信息、量化参数等。熵编码器118编码接收到的参数或者其他信息，以形成比特流102。包括以已压缩格式的资料的比特流102可以通过通信网路被发送至解码器，或者被发送至比特流102所承载的视频数据可以被存储的存储设备(例如，非易失性计算机可读介质)。

图2显示了根据本发明实施例的解码器200。解码器200包括熵解码器218、残差解码器220、已解码图像缓存器210、帧间-帧内预测模块212、加法器222和诸如的去块滤波器230、样本适应性偏移滤波器232、适应性环路滤波器234和非局部适应性环路滤波器236一个或多个环路滤波器。如图2所示，这些组件可以被耦接在一起。在一个示例中，解码器200自编码器接收比特流201，例如自编码器100接收比特流102，并执行去压缩流程以生成输出视频数据202。输出视频数据202可以包括图像序列，例如，其可以在显示设备上被显示，例如监测器、触摸屏等。

同样于图1标例中的编码器100，解码器200使用具有与非局部适应性环路滤波器136相似的功能的非局部适应性环路滤波器236，以去噪声化已重构图像来获得已滤波图像。例如，当应用去噪声化技术来处理每个补块组时，非局部适应性环路滤波器236可以采用一些技术以降低计算复杂性并简化各个处理操作。因此，非局部适应性环路滤波器236的实作成本可以被降低，并且非局部适应性环路滤波器236的性能可以被改善。然而，不同于图1示例中的非局部适应性环路滤波器136，非局部适应性环路滤波器236从比特流201中接收开启/关闭控制标志203，并且因此确定滤波图像中的哪个像素像素值的块将被包括已去噪声化图像中或者排除在已去噪声化图像之外。例如，当块的开启/关闭控制标志203处于开启的状态时，已滤波图像中的块的已滤波像素值被用于已去噪声化图像的对应块，而当块的开启/关闭控制标志203处于关闭的状态时，重构图像中的块的像素值被采用。

熵解码器218接收比特流201，并执行解码流程，其是图1标例中熵编码器118所执行的编码流程的逆流程。因此，已压缩残差、预测参数、去噪声化技术的选择和开启/关闭控制标志203等被获得。已压缩残差被提供给残差解码器220，预测参数被提供给帧间-帧内预测模块212。帧间-帧内预测模块212基于接收到的预测参数生成图像的块的预测，并将预测提供到加法器222。已解码图像缓存器210存储用于在帧间-帧内预测模块212处执行的运动补偿的参考图像。例如，参考图像可以自非局部适应性环路滤波器236接收。另外，参考图像自已解码图像缓存器210获得，并被包含在图像视频数据202中，以用于显示到显示设备。

残差解码器220、加法器222、去块滤波器230、样本适应性偏移滤波器232和适应性环路滤波器234在功能和结构上与残差解码器120、第二加法器122、去块滤波器130、样本适应性偏移滤波器132和适应性环路滤波器134相似。这些组件的描述被省略。

解码器或者编码器中的非局部适应性环路滤波器的使用，例如非局部适应性环路滤波器136和非局部适应性环路滤波器236，降低了已重构视频数据中的噪声水平，形成了高质量输出图像。另外，当这些高质量图像用作参考图像以用于编码后续图像时，用于已压缩图像的传输的比特率可以被降低。因此，此处公开的去噪声化技术可以提高包括非局部适应性环路滤波器的解码器或者编码器的性能和能力。

虽然图1和图2标例显示了一系列滤波器，即去块滤波器130、样本适应性偏移滤波器132和适应性环路滤波器134，或者去块滤波器230、样本适应性偏移滤波器232和适应性环路滤波器234，其被包含在编码器100或者解码器200中，但是应该理解的是，在其他实施例中，没有或者更少这类滤波器可以被包含在编码器或者解码器中。另外，相对于其他滤波器的非局部适应性环路滤波器136或者非局部适应性环路滤波器236的位置可以不同于图1标例或者图2标例中所示的位置。例如，非局部适应性环路滤波器136可以被设置在其他滤波器之前，使得其直接耦接到加法器122，或者被设置在此系列滤波器的一端处，或者此系列滤波器中。

在不同实施例中，非局部适应性环路滤波器136和非局部适应性环路滤波器236可以用硬件、软件或者其结合来实作。例如，非局部适应性环路滤波器136或者非局部适应性环路滤波器236可以用一个或多个集成电路(integrated circuit，IC)来实作，例如专用集成电路(application specific integrated circuit，ASIC)，现场可程序设计门阵列(field programmable gate array，FPGA)等。又例如，非局部适应性环路滤波器136或者非局部适应性环路滤波器236可以被实作为软件或者包括存储在计算机可读非易失性存储介质的指令的韧体。这些指令在由处理电路执行时使得处理电路执行非局部适应性环路滤波器136或者非局部适应性环路滤波器236的功能。

注意的是，实施此处所公开的去噪声化技术的非局部适应性环路滤波器136和非局部适应性环路滤波器236可以被包含在其他解码器或者编码器中，其可以具有与图1或者图2所示的结构相似或者不同的结构。另外，在不同示例中，编码器100和解码器200可以被包含在相同设备或者独立设备中。

II.非局部去噪声化技术

图3显示了根据本发明的一实施例的去噪声化重构图像的流程300。在图1或者图2的示例中，流程300可以在非局部适应性环路滤波器136或者非局部适应性环路滤波器236处被执行，并且图1的示例用于解释流程300。

流程300从S301开始，继续至S310。在S310中，在非局部适应性环路滤波器136处，接收已重构视频数据。例如，第二加法器122自帧间-帧内预测模块112接收预测，并自残差解码器120接收残差，并组合预测和残差来生成已重构视频数据。在流程300的不同实施例中，已重构视频数据可以对应于图像、信息框、图像的片段或者图像的预定义区域。因此，在本发明中，对应于已重构视频数据的图像或者重构图像可以指的是图像、信息框、图像的片段或者图像的预定义区域等等。另外，在本发明中，自对应于已重构视频数据的图像而得到的已滤波图像或者已去噪声化图像可以相应地指图像、信息框、图像的片段或者图像的预定义区域等等。根据环路滤波器所使用的环路滤波器的数量和非局部适应性环路滤波器136在这些环路滤波器中的位置，已重构视频数据可以对应于自残差解码器120生成的已重构视频数据，或者自与非局部适应性环路滤波器136相邻且位于其之前的滤波器生成的已滤波已重构视频数据。

在S320中，将接收到的已重构视频数据(对应于重构图像)分割成多个补块。在一个示例中，这些补块有相同的尺寸和形状，并且互相不重迭。在其他示例中，这些补块可以有不同的尺寸或形状。在进一步的示例中，这些补块可以相互重迭。每个补块包括多个像素，并被称为当前补块。

在S330中，对于每个当前补块，在重构图像中，或者在一些示例中，在重构图像内部的搜索视埠中，查找多个相似补块(称为参考补块)。在一个示例中，每个参考补块具有与各自的当前补块相似的形状和尺寸。另外，参考补块可以互相重迭，参考补块和各自的当前补块可以互相重迭。每个当前补块和各自的相似参考补块形成补块组。在一个示例中，对于每个当前补块，K个最相似补块被查找到，并且当前补块和各自的K个最相似补块形成包括K+1个补块的补块组。K表示对应于当前补块的相似补块的数量，以及K可以具有不同值以用于不同当前补块或者补块组。在一个示例中，查找到以用于各自的当前补块的相似匹配不是最相似的参考补块，而是具有超过阈值的相似度测量的参考补块。相似度测量可以基于相似度度量(metric)来获得。在一个示例中，补块组被形成以用于当前补块的一部分，而不是每个当前补块。

在不同的实施例中，不同的搜索方法可以被用来搜索各自当前补块的K个最相似补块。另外，在不同的实施例中，不同的相似度度量可以用于测量当前补块与参考补块之间的相似度。例如，相似度度量可以是当前补块和相应的参考补块中的相应像素值之间的绝对差之和(sum ofabsolute differences，SAD)，或者均方差之和(sum of squaredifferences，S标准偏差)。又例如，当前补块和相应的参考补块中的相应像素值可以被设置为两个向量，这两个向量之间的欧几里德距离(L2 norm distance)可以用作相似度度量。

在S340中，将去噪声化技术应用于每个补块组，以修改各自补块组中一个或者多个补块的像素值。具有地，当应用去噪声化技术来处理补块组时，非局部适应性环路滤波器136可以使用一些技术来降低计算复杂度和简化各自的处理操作。例如，平方根或者除法操作可以被转换成查找表搜索、位平移和/或乘法操作。

然后，属于同一补块组或不同补块组的不同补块的已修改像素值被聚合以形成已滤波图像，例如，通过加权和的操作。在不同的实施例中，不同的去噪声化技术可以被用于处理补块组。例如，去噪声化技术可以是非局部均值(non-local means，NLM)去噪声化技术、块匹配和3D滤波(block matching and 3d filtering，BM3D)去噪声化技术或者低阶近似(low-rank approximation，LRA)去噪声化技术。然而，适用于处理补块组的去噪声化技术并不限于非局部均值技术、块匹配和3D滤波技术或者低阶近似技术。

在S350中，以如上述描述的方式确定与已去噪声化图像中的控制块相关的开启/关闭控制标志。开启/关闭控制标志表示控制块是否采用已滤波图像中的滤波像素值或者对应于接收到的已重构视频数据的重构图像的像素值。开启/关闭控制标志可以从编码器到解码器进行发信。也就是说，编码器确定开启/关闭控制标志的值，并将具有所确定的值的开启/关闭控制标志包括在在比特流中，使得解码器从比特流中解析开启/关闭控制标志，以确定开启/关闭控制标志的值。在不同的实施例中，用于是否采用自S340中的去噪声化操作而得到的已滤波像素值的控制的控制块可以以不同方式被定义或者被分割。例如，控制块的分割可以与HEVC标准中所定义的编码单元的分割一致。或者，控制块的分割可以与诸如去块滤波器130、样本适应性偏移滤波器132或者适应性环路滤波器134的滤波器中使用的块分割一致，以为了控制滤波操作的目的。可选地，控制块分割可以根据图像中的不同分割的噪声特征进行确定。在不同的示例中，控制块分割的信息可以从编码器到解码器进行发信，在解码器处被推导出，或者在编码器和解码器处均被预定义为默认配置。

在S360中，基于开启/关闭控制标志确定，重构已去噪声化图像。对于与开启标志相关的控制块，自如S340中的去噪声化操作而得到的已滤波像素值被采用以用于各自的控制块，而对于与关闭标志相关的控制块，接收到的重构图像的像素值被采用以用于各自的控制块。随后，基于已去噪声化图像，参考图像可以被生成。例如，已去噪声化图像可以被存储在已解码图像缓存器110中，以作为参考图像。可选地，根据非局部适应性环路滤波器136在其他环路滤波器中的位置，在被存储到已解码图像缓存器110之前，已去噪声化图像可以先由其他环路滤波器处理。流程300进行到S399，并结束于S399。

图4示出了根据本发明的一实施例的去噪声化的示例性流程400。流程400中的去噪声化使用去噪声化技术，其是流程300中S340所采用的不同去噪声化技术中的一个。因此，流程400可以被执行以替代流程300中的S340，以获得已去噪声化图像。同样地，对于S340中所使用的其他去噪声化技术，对应于各自的去噪声化技术的流程可以被执行，以替代S340。非局部适应性环路滤波器136可以用作示例以解释流程400。

流程400从S401开始，继续至S410。在流程400开始之前，对应于非局部适应性环路滤波器136处所接收的已重构视频数据的补块组可以已被形成，例如，通过执行流程300中的步骤S310-步骤S330。接收到的已重构视频数据可以对应于重构图像或者重构图像的一部分(例如，重构图像的片段)。下面假设接收到的已重构视频数据对应于重构图像。步骤S410-步骤S440被迭代以用于重构图像的每个补块组。在迭代中，每轮迭代中正被处理的补块组称为当前补块组。

在S410中，计算当前补块组中的每个参考补块的加权因子。基于当前参考补块组中的参考补块与各自的当前补块之间的相似度，参考补块的加权因子可以被计算。参考补块与当前补块越相似，参考补块的加权因子越大。在一个示例中，加权因子使用以下表达式被确定：

w_i，j＝e^-(ASSE/Var)。

在上面的表达式中，i和j是补块索引，w_i，j表示相对于各自当前补块i的参考补块j的加权因子；ASSE表示补块i和补块j中的相应像素值之间的均方差之和的平均值，并表示补块i和j之间的相似程度；Var可以被定义为当前补块组的压缩噪声的方差或者当前补块组的当前补块的压缩噪声的方差，Var可以被称为噪声方差。因此，当噪声方差Var的定义是当前补块组中的压缩噪声的方差时，方差Var可以等于当前补块组的压缩噪声的标准偏差的平方；或者当噪声方差Var的定义是当前补块组的当前补块中的压缩噪声的方差时，噪声方差Var可以等于当前补块的压缩噪声的标准偏差的平方。当前补块组或者当前补块的压缩噪声的标准偏差还可以称为各自补块组的噪声标准偏差。补块组的噪声标准偏差表示各自补块组的噪声水平。因此，补块组的噪声标准偏差可以称为各自补块组的噪声水平。另外，噪声方差Var可以表示滤波操作的强度。压缩噪声水平越高，Var越高，且当前补块组的相应的加权因子越大。

在上述示例中，每个参考补块的加权因子基于表达式e^-(ASSE/Var)而被推导出。在一个示例中，为了降低计算参考补块的加权因子的计算成本，分段线性插值用于近似表达式e^-(ASSE/Var)的值。例如，位于6个控制点处的(ASSE/Var)的值为{0，0.5，1.0，2.0，4.0，6.0}，相应的加权因子为{1.0000，0.6065，0.3679，0.1353，0.0183，0.0025}。假设(ASSE/Var)的当前值，即VC已被获得，当前值VC的两个最接近控制点可以用于执行线性内插值(或者外插值)来生成(ASSE/Var)的相应加权因子。

在S420中，累加当前补块中的像素值。在一个示例中，当前补块像素值的累加以基于每个参考补块的各自加权因子而将每个参考补块中的相应像素的加权像素值聚合成当前补块的相应像素值的方式被执行。在一个示例中，根据以下表达式，累加被执行：

其中，p是像素索引，x_Ai(p)表示聚合而来的当前补块i中像素p的聚合像素值，x_i(p)表示聚合之前的当前补块i中像素p的原始像素值，y_j(p)表示参考补块j中的像素p的原始像素值。

在S430中，将当前补块组的每个参考补块的像素值进行累加。在一个示例中，参考补块的像素值的累加以基于参考补块的加权因子将当前补块中的相应像素的加权像素值添加到当前补块的相应像素值的方式被执行。在第一示例中，根据以下表达式，累加被执行：

y_Aj(p)＝w_i，j·x_Ai(p)，

其中p是像素索引，y_Aj(p)表示聚合而来的参考补块j中像素p的聚合像素值，x_Ai(p)表示自S420中的聚合而来的当前补块i中像素p的原始像素值。在第二示例中，当前补块i中的x_i(p)在上述累加中使用，而不是x_Ai(p)。

在S440中，将自S420和S430得到的当前补块的累加像素值和参考补块的累加像素值累加成图像中的相应像素，其称为累加图像。由于当前补块组的参考补块和当前补块可以互相重迭，累加图像中的像素可以接收来自于多个补块的像素值，当前补块或者一个或多个参考补块。由于步骤S410～步骤S440均被执行以用于每个补块组，所以在S440中，可以将每轮迭代的各自的当前补块或参考补块的累加像素值累加成累加图像。因此，累加图像中的像素可以接收来自一个或者多个补块组的累加像素值。例如，累加图像中的累加像素值x_A(p)可以被重新写成：

其中i是一个图像中的补块组的索引，并且一个图像中总共有m个补块组。

在S450中，将累加图像中的累加像素值归一化，以获得已滤波图像。由于S440，最终累加图像中的累加像素可以包括多个部分的像素值，每个部分对应于当前补块或参考补块中的原始像素值乘以一增益。每个增益对应加权因子，或者一个或者多个加权因子的乘积。因此，在累加图像中的累加像素可以除以这些增益之和，以获得归一化的像素值。这些归一化的像素值形成已滤波图像。流程400继续到S499，并结束于S499。

例如，在流程400的执行之后，可以对已滤波器图像执行流程300中的步骤S350和步骤S360，以确定开启/关闭控制标志并构造已去噪声化图像。

III.压缩噪声模型

流程400中所呈现的去噪声化技术，如表达式w_i，j＝e^-(ASSE/Var)所示，当前补块组中的压缩噪声的噪声方差Var用于计算各自加权因子。根据本发明的一方面，Var可以基于压缩噪声模型被推导出。除了流程400中所呈现的去噪声化技术之外，压缩噪声模型也可以在用于推导补块组中的压缩噪声的方差的其他去噪声化技术中使用，例如，如上所述的流程300的S340中所应用的去噪声化技术。例如，压缩噪声模型可以用于推导用于块匹配和3D滤波去噪声化技术或低阶近似去噪声化技术中的软阀值或者硬阀值的阀值。下面描述压缩噪声模型的示例和压缩噪声模型的使用。

通常，压缩噪声模型描述补块组中的压缩噪声水平和影响压缩噪声水平的因素之间的关系。这些因素可以包括补块组的内容的特征，与补块组(例如，由帧内预测或者帧间预测进行编码)相关的编解码类型，以及与补块组相关的变换量化参数。基于实验，压缩噪声模型可以被确定。随后，基于处理重构图像的非局部去噪声化流程中确定的压缩噪声模型，补块组的压缩噪声水平可以被估计。在不同的示例中，压缩噪声模型可以采用不同的形式，可以具有不同的精确度，以及可以被不同地表述以用于不同的应用。

在一个示例中，用于不同去噪声化技术的压缩噪声模型可以用多项式函数来表述。例如，压缩噪声模型采用下述形式：

y＝ax³+bx²+cx+d，

其中y表示补块组的压缩噪声的噪声标准偏差，其表示补块组的压缩噪声水平，并且其平方等于补块组的噪声Var；x表示当前补块组或者当前补块的像素值的标准偏差(称为像素标准偏差)，并表示各自补块组的内容的特征；称为模型参数的参数(系数)，即A、b、c和d是常量。例如，在压缩噪声模型的使用期间，基于与各自补块组相关的编解码类型或者量化参数，常量A、常量b、常量c和常量d可以首先从多个模型参数集中进行选择。然后，当前补块组或者当前补块的像素值的像素标准偏差x可以被计算。最后，基于获得的模型参数A、b、c和d以及像素值的像素标准偏差x，补块组的压缩噪声的噪声标准偏差可以被计算。

在一个示例中，压缩噪声模型的模型参数候选集可以通过指导实验流程来确定。例如，测试图像的共同序列可以在编码器处的多个编解码流程中使用，例如编码器100。对于每个编解码流程，图像编解码类型与变换量化参数的集合可以用于图像序列。对应于每个编码类型与变换量化参数的集合，对应于图像中的不同补块组的压缩噪声和像素值可以被获得。因此，对应于每个补块组的压缩噪声和像素值的标准偏差的多个数据点可以被获得。基于多个数据点，对应于编解码类型与变换量化参数的集合的压缩噪声模型的模型参数(系数)集可以通过对数据点进行的回归分析(regression analysis)来确定。由于实验流程，压缩噪声模型的多个模型参数集可以被获得，每个模型参数集对应于不同的编解码类型与变换量化参数的集合。下面的表1显示了模型参数候选集的示例。如表所示，模型参数候选集被获得以用于每对编解码类型与量化参数。

表1：模型参数候选集

在传统的去噪声化技术中，幂函数用于表述压缩噪声模型。在一个这种示例中，压缩噪声模型采用幂函数y＝ax^b的形式，其中y表示补块组的压缩噪声的标准偏差，x表示补块组的像素值的标准偏差，a和b为待选择的模型参数。根据本发明的一方面，表述压缩噪声模型的多项式函数而不是幂函数的使用，可以降低与压缩噪声模型有关的计算复杂度。

在一个示例中，为了保证多项式函数的单调递增特性，舍入操作被应用于多项式压缩噪声模型。例如，舍入操作可以被添加到各自补块组的像素值的像素标准偏差的值，或者自多项式函数得到的各自补块组的压缩噪声的噪声标准偏差的值。

在传统的去噪声化技术中，压缩噪声模型的模型参数的选择是基于图像或者片段层信息。例如，步骤S310～步骤S330中所形成的补块组被包括在图像或片段中，并且相应地，图像层或者片段层处定义的编解码类型和量化参数用于选择每个补块组的压缩噪声模型的模型参数，而无需区分不同的补块组。然而，根据本发明的一方面，图像中不同的区域的压缩噪声水平根据预测类型、量化参数和各自区域的预测而变化。因此，压缩噪声模型的不同的模型参数集可以被选择以用于分布在图像内的不同位置处的补块组。因此，不同补块组的压缩噪声的噪声方差或者噪声标准偏差可以被更精确地推导出。

因此，在一个示例中，当选择压缩噪声模型的模型参数时，编码单元层信息被利用。已编码图像的编码单元可以包括多个颜色分量(例如，一个亮度分量，两个色度分量)的同位块的编解码数据。对于每个颜色分量，编码单元可以包括一个或者多个编码块以及一个或者多个变换块。例如，编码单元的使用在HEVC标准中进行指定。在一个示例中，编码单元层信息包括预测类型和变换量化参数，其分别被应用到各自的编码单元中的各自的编码块或变换块。

在一个示例中，重构图像或者片段包括多个编码单元，并且包括预测类型和量化参数的编码单元层信息与每个各自的编码单元相关。预测类型信息可以用于预测操作，例如，图1中的帧间-帧内预测模块112处，量化参数信息可以用于量化操作，例如，残差编码器116处。当例如在流程300的S340中将去噪声化技术应用于当前补块组，并计算当前补块组的压缩噪声的Var以用于获得加权因子时，编码单元层信息可以用于确定压缩噪声模型的模型参数。例如，编码单元具有(一个颜色分量的)块，其重迭(同一颜色分量的)当前补块组的当前补块(例如，当前补块的左上像素位于编码单元的块中)，然后这个编码单元的预测类型和量化参数用于选择当前补块组的压缩噪声模型的模型参数集，例如，自表1。

另外，在上述示例中，对于编码单元用帧间预测进行编码的情景，对应于编码单元的残差的状态也被考虑，以用于压缩噪声模型参数的选择。例如，当自预测操作得到的编码单元中存在非零残差时，编码单元的量化参数用于模型参数的选择，而当编码单元不存在残差时，编码单元的量化参数和相应的编码单元的编码块的一个或者多个预测的一个或多个量化参数之间的平均值用作选择模型参数的量化参数。在一个示例中，对应于编码单元中的编码块的预测的量化参数是重迭包括预测的参考图像中该预测的编码单元的量化参数。或者在其他示例中，对应于编码单元中的编码块的预测的量化参数是参考图像的片段头中的量化参数。

IV.降低计算复杂度的技术

当应用去噪声化技术处理每个补块组时，非局部适应性环路滤波器136或者非局部适应性环路滤波器236可以使用一些技术以降低计算复杂度并简化各个处理操作。例如，平方根操作或者除法操作可以被变换成查找表搜索、位平移、乘法操作等等。因此，非局部适应性环路滤波器136或者非局部适应性环路滤波器236的实作成本可以被降低，非局部适应性环路滤波器136或者非局部适应性环路滤波器236的性能可以被改善。

图5显示了根据本发明的一实施例的第一个示例的补块组像素标准偏差查找表500。如上所述，当应用非局部去噪声化技术来处理补块组时，用压缩噪声模型，其是各自补块组的像素标准偏差的函数，补块组的噪声水平可以被估计。为了获得补块组的像素标准偏差，基于补块组中的像素或者补块组的当前补块中的像素，补块组的像素方差可以先被计算。随后，可以对像素方差执行平方根操作，以获得像素标准偏差。例如，用以下表达式，补块组的像素方差可以被计算：

其中n表示补块组中的参考补块和当前补块中的像素的数量，x表示补块组的像素值，u表示补块组的平均像素值。因此，补块组的像素标准偏差可以用以下表达式被计算，

在另一个示例中，补块组的像素方差被定义为当前补块的方差而不是当前补块组。

在一些示例中，查找表500可以用于代替平方根操作来获得补块组的像素标准偏差，使得各自的计算可以被简化。在一个示例中，查找表500可以包括两行：第一行501包括像素标准偏差值序列，第一行502包括像素方差值序列。在一个示例中，像素标准偏差值位于从0到40的范围内，并用编号，即521-527来标记。像素方差值用编号，即511-516来标记。像素方差值511-像素方差值516中的每个分别对应像素标准偏差值，即521-526。

具体地，第二行502中每个像素方差值是第一行501中的两个连续的像素标准偏差值的平方值(方差)的平均值。例如，像素方差值511等于像素标准偏差值521和522的平方值的平均值。因此，像素方差值511是表达式(0^2+1^2)/2的值，其被显示在像方差值511的位置处。同样，像素方差值512等于像素标准偏差值522和像素标准偏差值523的平方值的平均值。因此，像素方差值512是表达式(1^2+2^2)/2的值，其被显示在像素方差值512的位置处。以同样的方式，像素方差值513-像素方差值516可以被计算。值得注意的是，计算像素标准偏差值的平方值的平均值的表达式如图5的第二行502中所示，以为了解释的目的，并且不是查找表500的一部分。相反，在不同示例中，每个表达式的结果被包括在第二行502中。

当补块组的像素方差被获得时，通过搜索查找表500，已估计像素标准偏差值可以被确定。例如，当像素方差小于像素方差值511时，像素标准偏差值521可以用作为已估计像素标准偏差值。当像素方差在像素方差511和像素方差512之间的范围之间时，像素标准偏差值522可以用作已估计像素标准偏差值。可以看出，当像素方差的值落入两个相邻像素方差之间时，一个像素标准偏差，有着落入两个相邻像素方差之间的范围内的像素方差的平方值(方差)可以被确定为相对应的已估计像素标准偏差。对于大于最后一个的像素方差516的像素方差，最后一个的像素标准偏差527可以用作各自的已估计像素标准偏差。

在一个示例中，在对应于获得的像素方差的查找表500中搜索已估计像素标准偏差，可以以如下方式来执行。首先，从最小的方差511搜索第二行502中的像素方差序列，直到大于所获得的像素方差的像素方差被找到。其次，在对应于所找到的像素方差(例如，在查找表500的同一列)的第一行501中的像素标准偏差序列中的像素标准偏差可以被确定为已估计像素标准偏差。

值得注意的是，在不同的示例中，查找表500的结构可以不同于图5中所示的。例如，第一行501或者第二行502的序列可以被不同地排序。因此，特定的搜索算法可以被采用以适合于查找表500的各自顺序。

在一些示例中，在执行补块组去噪声化操作之前，查找表500可以被构造。在一个示例中，查找表500中的像素标准偏差的范围和精度被首先定义，以便构造查找表500。例如，当压缩噪声模型是基于实验来表述的时，补块组像素标准偏差的范围和精度可以被相应地确定。例如，基于重构图像的统计特性，从噪声模型推导出的压缩噪声水平可以被限制于某个范围。压缩噪声水平的精度也可以被考虑和确定。因此，压缩噪声模型可以具有足够高的某个精确度，以实作目标非局部去噪声化处理性能，并且同时，各自执行成本可以被控制成位于某一水平之下。根据压缩噪声模型和各自范围与精度，补块组像素标准偏差的范围和精度可以被定义。

例如，在不同示例中，补块组像素标准偏差的范围可以被定义为0-10、0-40或者0-100，以用于对应于不同重构像素的8位的像素深度。例如，补块组像素标准偏差的精度可以是二进制点之后的2个二进制位。因此，对于范围0-40中的补块组像素标准偏差，查找表500中的第一行501中存在160个像素标准偏差值。例如，以二进制格式的160个像素标准偏差值可以为0.00，0.01，0.10，0.11，1.00，1.01，1.10，1.11，...，101000.11。

因此，在一个示例中，构造补块组像素标准偏差查找表的流程可以包括以下步骤。首先，像素标准偏差的范围和精度可以被确定。其次，根据确定的像素标准偏差的范围和精度，像素标准偏差值序列可以被确定。第三，根据确定的像素标准偏差，像素方差序列可以被确定。例如，每个像素方差可以是两个连续像素标准偏差的平方值的平均值。

图6显示了根据本发明一实施例的第二个示例的补块组像素标准偏差查找表600。查找表600可以包括第二行602中的像素方差值序列，即611-616，例如，从0到1600，以及第一行601中的像素标准偏差值序列，即621-626。具体地，在查找表600的每列中，像素标准偏差值取相同行中的像素方差值的平方根。例如，像素标准偏差623取像素方差613的平方根。尽管平方根操作表达式在第一行601中被示出，但平方根操作表达式不是查找表600的一部分。在不同的示例中，平方根操作的结果被包括在查找表600的第一行601中。

查找表600可以以与查找表500不同的方式被构建。例如，在创建查找表600的流程中，第二行602中的像素方差可以首先被确定。例如，第一行601中的像素标准偏差的范围可以首先以与图5示例相似的方式被定义。因此，各个像素方差的范围可以被定义。例如，如果像素标准偏差的范围为从0到40，则对应的像素方差的范围可以是从0到1600。基于像素方差的范围，像素方差序列可以被创建。例如，在图6中，对应于整数像素方差值的精度被采用，第二行602中的序列可以包括对应于范围0-1600的1601个值。因此，当计算补块组的像素方差时，相同的整数精度可以被采用。换言之，计算补块组的像素方差的结果可以被四舍五入成与待使用的查找表600一致的整数值。

在第二行602的像素方差被确定之后，第一行601的像素标准偏差可以通过对各自像素方差执行平方根操作来确定。例如，像素标准偏差624可以被确定为

当搜索查找表600时，补块组的计算的像素方差可以被使用。当匹配的计算的像素方差的像素方差在第二行602中被找到时，相同行中的像素标准偏差可以被确定为目标像素标准偏差，其可以用于估计压缩噪声水平的压缩噪声模型。

对比查找表600和查找表500，查找表500基于像素标准偏差被创建，并且范围内的像素方差被映像到一个像素标准偏差。然而，查找表600基于像素方差被创建，并且一个像素方差被映像到一个像素标准偏差。查找表600可能具有比对应于相同应用的查找表500更大的尺寸。

本发明的各方面提供了用于简化加权因子的计算的示例方法，例如，图4示例中的S410处所执行的。在S410中，基于如下表达式，相对于补块组的当前补块的参考补块的加权因子可以被推导出：

w_i，j＝e^-(ASSE/Var)。

在上述表达式中，ASSE表示参考补块和当前补块中的像素值之间的平方误差之和的平均值；噪声Var表示补块组中的压缩噪声水平。不同的方法可以被使用以简化项ASSE/Var的计算。

在一个示例中，项ASSE/Var的除法操作1/Var用表示为LUT₁[Var]的除法查找表搜索操作来代替。因此，ASSE/Var的计算被转换成如下所示：

ASSE/Var→ASSE x LUT₁[Var]。

在除法查找表搜索操作中，在存储每个用Var的值来映射的1/Var的值序列的第一除法查找表中执行搜索。

在上述示例中，Var的值的范围可以是较大的。例如，Var值的范围可以是从0到60,000。因此，第一除法查找表的尺寸可以是较大的。为了减小除法查找表的尺寸，在一个示例中，对Var执行动态右移操作以获得Var的K个最重要位(K number ofmost significantbits，K-MSB)，其中K为预设数量。然后，第二除法查找表可以被使用，以基于所获得的K-MSB确定1/K-MSB的值。

例如，Var的值可以自压缩噪声模型来获得，并且具有表示为L的10个二进制位的长度。K被配置为4。因此，在一个示例中，Var可以被右移N_x-个位直到K个最重要位被保留。在本示例中，右移位元的数量等于L-K＝10-4＝6个位。至于不同的补块组，噪声方差Var可以变化，因此待平移的位数量N_x-可以相应地变化。

第二除法查找表可以存储1/K-MSB的值序列，其中每个对应于第二除法查找表中另一序列的K-MSB。在第二除法查找表中搜索可以是基于K-MSB。对比于第一除法查找表，第二除法查找表的尺寸由K的数量来确定，从而被减小。

对应于对Var(即项ASSE/Var的分母)所执行的N_x-个位右移操作，分子ASSE可以同样地被右移N_x-个位以保持ASSE/Var的适当值。因此，基于第二除法查找表的ASSE/Var的计算的转换可以被表示为如下：

ASSE/Var→(ASSE＞＞N_x)x(LUT₂[Var＞＞N_x])，

其中＞＞表示右移操作，LUT₂[Var＞＞Nx]表示具有右移N_x个位的噪声方差Var的第二除法查找表中所执行的查找操作。

在上述示例中，1/K-MSB的值可以是较小的，因为K-MSB的值可以是较大的整数。为了降低与用1/K-MSB的较小值进行存储和计算相关的成本，在一个示例中，第二除法查找表被修改，得到第三除法查找表。具体地，第三除法查找表可以存储(2^M)/K-MSB的值，其中M为预设整数。这样，对应于K-MSB，为1/K-MSB的2^M倍的放大值可以被定位。相比于1/K-MSB的值，放大值，即(2^M)/K-MSB可以更适合于存储或者操作，从而形成更高的处理效率。

对应于在第三除法查找表中的放大操作，结果值可以被右移M个位，以获得各自的ASSE/Var的适当值。因此，用第三除法查找表的计算ASSE/Var可以被表示为如下：

ASSE/Var→((ASSE＞＞N_x)x(LUT3[Var＞＞N_x]))＞＞M

其中LUT₃[Var＞＞N_x]表示具有右移N_x个位的噪声方差Var的第三除法查找表中所执行的查找操作。

在一些示例中，舍入偏移可以被应用，以进一步提高计算项ASSE/Var的精确度。例如，在对噪声方差Var执行右移之前，舍入偏移可以被添加Var。例如，舍入偏移的值可以采用(1＜＜N_x)/2，其中＜＜表示左移操作。在不同的示例中，舍入偏移的值可以处于0到(1＜＜N_x)-1的范围。同样地，在执行各自右移操作之前，舍入偏移可以被添加ASSE的值或((ASSE＞＞N_x)x(LUT3[Var＞＞N_x]))的值。另外，舍入偏移可以用于如下项中的一个或者多个：ASSE、Var或者((ASSE＞＞N_x)x(LUT3[Var＞＞N_x]))，以用于一个去噪声化流程。在不同的示例中，关于哪个项应用舍入偏移的不同的选择可以被选择以用于不同的视频序列、重构图像或者补块组。

作为示例，图7显示了根据本发明的一实施例的使用第三除法查找表计算项ASSE/Var的流程700。流程700开始于S701，继续至S710。

在S710中，可以将Var右移N_x个位，以定位K个最重要位。

在S720中，通过基于定位的K-MSB搜索第三除法查找表，可以确定(2^M)/K-MSB的值。

在S730中，可以将ASSE右移N_x个位。

在S740中，将右移的ASSE乘以确定的(2^M)/K-MSB的值，以获得乘积。

在S750中，可以将乘积右移M个位，以获得目标ASSE/Var值。然后流程700继续至S799，结束于S799。

本发明的各个方面提供了用于简化对累加像素值所执行的归一化操作的示例方法，例如，在图4的示例中的S450处。在S450中，将累加图像中累加像素值进行归一化，以获得已滤波图像。例如，表示为X_A的累加像素可以包括像素值的多个部分，其中每个部分对应当前补块或者参考补块的原始像素值乘以增益。每个增益对应加权因子，或者一个或者多个加权因子的乘积。因此，累加像素值可以除以这些增益之和(表示为S_G)，以获得归一化像素值X_A/S_G。X_A/S_G中的除法操作可以被简化以提高补块组处理的效率。

在一个示例中，用类似于第一除法查找表、第二除法查找表或第三除法查找表的查找表计算ASSE/Var的方式，项X_A/S_G的计算可以被执行。作为一个示例，图8显示了根据本发明一实施例的计算X_A/S_G的流程800。流程800开始于S801，继续至S810。

在S810中，可以将增益S_G之和右移N_x个位，以定位K个最重要位。

在S820中，通过基于定位的K-MSB搜索类似于上述的第三除法查找表的查找表，可以确定(2^M)/K-MSB的值。

在S830中，将X_A右移N_x个位。

在S840中，将右移的X_A乘以确定的(2^M)/K-MSB的值，以获得乘积。

在S850中，可以将乘积右移M个位，以获得归一化像素值。然后流程800继续至S899，结束于S899。

在不同的示例中，舍入偏移可以被应用于提高计算项X_A/S_G的精确度。作为一示例，图9显示了根据本发明一实施例的具有舍入偏移操作的流程900。流程900开始于S901，继续至S910。

在S910中，可以先计算项X_A/S_G而不添加舍入偏移，例如，使用相似于本文所描述的第二除法查找表的查找表或者第三除法查找表的查找表。

在S920中，使用第一步骤中的同一查找表，可以用所添加的舍入偏移来计算项X_A/S_G。具体地，舍入偏移可以被添加到如下项中的一个或者多个：X_A、S_G和((X_A＞＞N_x)x(LUT₃[S_G＞＞N_x]))。例如，舍入偏移可以被添加到X_A或者S_G中的至少一个。

在S930中，平均第一步骤的结果和第二步骤的结果，平均值用作为项X_A/S_G的目标值。然后流程900继续至S999，结束于S999。

由于已经结合本发明的被提出用作示例的具体实施例描述了本发明的各个方面，可以做出这些示例的替代、修改和变形。因此，此处所说明的实施例用作示意目的，但不用于限制。在不脱离权利要求的范围的情况下，可以做出改变。

Claims (20)

1.一种非局部适应性环路滤波的方法，其特征在于，包括：

接收对应于图像的已重构视频数据；

将该图像分割为多个当前补块；

形成多个补块组，其中每个补块组包括当前补块和相似于当前补块的多个参考补块；

确定该多个补块组中每个的噪声水平，包括：

计算各自补块组的多个像素值的像素方差；

通过在表示多个补块组像素标准偏差和多个补块组像素方差之间的映射关系的第一查找表中进行搜索，根据该各自补块组的所计算的该像素方差，确定该各自补块组的像素标准偏差；以及

基于为该各自补块组的像素标准偏差的函数的压缩噪声模型，计算该各自补块组的噪声水平，其中该压缩噪声模型的不同的模型参数集被选择以用于分布在图像内的不同位置处的补块组；以及

基于该多个补块组中的每个的确定的噪声水平，用非局部去噪声化技术去噪声化该多个补块组，以创建已滤波图像。

2.如权利要求1所述的非局部适应性环路滤波的方法，其特征在于，该第一查找表包括多个补块组像素标准偏差的第一序列和多个补块组像素方差的第二序列，

其中，多个连续补块组标准偏差中的每两个连续补块组标准偏差的平方值之间的平均值形成多个补块组方差的该第二序列。

3.如权利要求2所述的非局部适应性环路滤波的方法，其特征在于，在该第一查找表中进行搜索包括：

搜索包括该各自补块组的该像素方差的该第二序列中的两个连续平均值所定义的范围；以及

确定该第一序列中的该补块组标准偏差为该各自补块组的该像素标准偏差，其中，确定的该补块组标准偏差的平方值被包括在由该第二序列中的两个连续的平均值所定义的相同的范围内。

4.如权利要求2所述的非局部适应性环路滤波的方法，其特征在于，还包括：

构造该第一查找表，包括：

确定多个补块组标准偏差的该第一序列的范围；

确定多个补块组标准偏差的该第一序列的精度；以及

根据确定的该范围和该精度确定多个补块组标准偏差的该第一序列。

5.如权利要求2所述的非局部适应性环路滤波的方法，其特征在于，该第一查找表包括多个补块组标准偏差的第一序列和多个补块组方差的第二序列，

其中，多个补块组标准偏差的该第一序列中的每个是多个补块组方差的该第二序列中的一个的标准偏差。

6.如权利要求5所述的非局部适应性环路滤波的方法，其特征在于，在该第一查找表中进行搜索包括：

在该第二序列中查找等于用于该各自补块组的像素方差的补块组方差；以及

确定对应于该第二序列的查找到的补块组方差的多个补块组标准偏差的第一序列中的一个为该各自补块组的像素标准偏差。

7.如权利要求1所述的非局部适应性环路滤波的方法，其特征在于，该非局部去噪声化技术是如下中的一个：

非局部均值去噪声化技术，

块匹配和3D滤波去噪声化技术，或者

低阶近似去噪声化技术。

8.如权利要求1所述的非局部适应性环路滤波的方法，其特征在于，基于该多个补块组中的每个的确定的噪声水平，用非局部去噪声化技术去噪声化该多个补块组，以创建已滤波图像包括：

计算ASSE/Var值以用于计算相对于当前补块的参考补块的加权因子，ASSE是该参考补块和该当前补块之间的平方误差之和的平均值，Var是为包括该参考补块和该当前补块的补块组的噪声水平的平方的噪声方差，

其中，计算该ASSE/Var值包括：

将该Var右移N_x个位以定位K个最重要位，K为预设数量；

通过基于定位的该K个最重要位查找第二查找表，确定(2^M)/K个最重要位的值，M是预设数量；

将ASSE右移N_x个位；

将右移的ASSE乘以(2^M)/K个最重要位的确定的值，以获得乘积；以及

将该乘积右移M个位，以获得该ASSE/Var值。

9.如权利要求8所述的非局部适应性环路滤波的方法，其特征在于，该第二查找表表示(2^M)/K个最重要位的值序列和每个具有K个位的K个最重要位的序列之间的映射关系。

10.如权利要求8所述的非局部适应性环路滤波的方法，其特征在于，还包括如下中的一个：

在将该Var右移N_x个位之前，将舍入偏移添加到该Var；

在将ASSE右移N_x个位之前，将舍入偏移添加到该ASSE；以及

在将该乘积右移M个位之前，将舍入偏移添加到该乘积。

11.如权利要求1所述的非局部适应性环路滤波的方法，其特征在于，基于该多个补块组中的每个的确定的噪声水平，用非局部去噪声化技术去噪声化该多个补块组，以创建已滤波图像包括：

计算对应于包括多个像素值的多个部分的累加像素值X_A的归一化像素值，多个部分中的每个对应于已分割的图像的原始像素值乘以增益，其中，计算该归一化像素值包括：

(a)将对应于该累加像素值X_A的多个增益之和S_G右移N_x个位，以定位K个最重要位，其中K为预设数量，

(b)通过基于定位的K个最重要位搜索第三查找表，确定(2^M)/K个最重要位的值，M为预设数，

(c)将X_A右移N_x个位，

(d)将确定的(2^M)/K个最重要位的值乘以右移的X_A，以获得乘积，

(e)将该乘积右移M个位，以获得第一归一化像素值。

12.如权利要求11所述的非局部适应性环路滤波的方法，其特征在于，该第三查找表表示(2^M)/K个最重要位的值序列和每个具有K个位的K个最重要位的序列之间的映射关系。

13.如权利要求11所述的非局部适应性环路滤波的方法，其特征在于，计算归一化像素值还包括：

执行具有舍入偏移操作的步骤(a)-步骤(e)，以获得第二归一化像素值，其中该舍入偏移操作包括以下中的至少一个：

在将S_G右移N_x个位之前，将舍入偏移添加到该S_G；

在将X_A右移N_x个位之前，将舍入偏移添加到该X_A；或者

在将该乘积右移M个位之前，将舍入偏移添加到该乘积；以及

平均第一归一化像素值和第二归一化像素值，以获得计算的该归一化像素值。

14.一种非局部适应性环路滤波器，包括电路，其特征在于，用于：

接收对应于图像的已重构视频数据；

将该图像分割为多个当前补块；

形成多个补块组，其中每个补块组包括当前补块和相似于当前补块的多个参考补块；

确定该多个补块组中每个的噪声水平，其中确定噪声水平包括：

计算各自补块组的多个像素值的像素方差；

通过在表示多个补丁补块组像素标准偏差和多个补块组像素方差之间的映射关系的第一查找表中进行搜索，根据该各自补块组的所计算的该像素方差，确定该各自补块组的像素标准偏差；以及

基于为该各自补块组的像素标准偏差的函数的压缩噪声模型，计算该各自补块组的噪声水平，其中该压缩噪声模型的不同的模型参数集被选择以用于分布在图像内的不同位置处的补块组；以及

基于该多个补块组中的每个的确定的噪声水平，用非局部去噪声化技术去噪声化该多个补块组，以创建已滤波图像。

15.如权利要求14所述的非局部适应性环路滤波器，其特征在于，该第一查找表包括多个补块组像素标准偏差的第一序列和多个补块组像素方差的第二序列，

其中，多个连续补块组标准偏差中的每两个连续补块组标准偏差的平方值之间的平均值形成多个补块组方差的该第二序列。

16.如权利要求14所述的非局部适应性环路滤波器，其特征在于，

该第一查找表包括多个补块组标准偏差的第一序列和多个补块组方差的第二序列，

其中，多个补块组标准偏差的该第一序列中的每个是多个补块组方差的该第二序列中的一个的标准偏差。

17.如权利要求14所述的非局部适应性环路滤波器，其特征在于，该电路还用于：

计算ASSE/Var值以用于计算相对于当前补块的参考补块的加权因子，ASSE是该参考补块和该当前补块之间的平方误差之和的平均值，Var是为包括该参考补块和该当前补块的补块组的噪声水平的平方的噪声方差，

其中，计算该ASSE/Var值包括：

将该Var右移N_x个位以定位数量K个最重要位，K为预设数量，

通过基于定位的该K个最重要位查找第二查找表，确定(2^M)/K个最重要位的值，M是预设数量，

将ASSE右移N_x个位，

将右移的ASSE乘以确定的(2^M)/K个最重要位的值，以获得乘积，以及

将该乘积右移M个位，以获得该ASSE/Var值。

18.如权利要求14所述的非局部适应性环路滤波器，其特征在于，该电路还用于：

计算对应于包括多个像素值的多个部分的累加像素值X_A的归一化像素值，多个部分中的每个对应于已分割的图像的原始像素值乘以增益，

其中，计算该归一化像素值包括：

(a)将对应于该累加像素值X_A的多个增益之和S_G右移N_x个位，以定位K个最重要位，其中K为预设数量，

(b)通过基于定位的K个最重要位搜索第三查找表，确定(2^M)/K个最重要位的值，M为预设数，

(c)将X_A右移N_x个位，

(d)将(2^M)/K个最重要位的确定的值乘以右移的X_A，以获得乘积，以及

(e)将该乘积右移M个位，以获得第一归一化像素值。

19.如权利要求18所述的非局部适应性环路滤波器，其特征在于，该电路还用于：

执行具有舍入偏移操作的步骤(a)-步骤(e)，以获得第二归一化像素值，其中该舍入偏移操作包括以下中的至少一个：

在将S_G右移N_x个位之前，将舍入偏移添加到该S_G；

在将X_A右移N_x个位之前，将舍入偏移添加到该X_A；或者

在将乘积右移M个位之前，将舍入偏移添加到该乘积；以及

平均第一归一化像素值和第二归一化像素值，以获得计算的该归一化像素值。

20.一种非易失性计算机可读介质，存储有多个指令，其特征在于，在由处理器执行时，使得该处理器执行一方法，该方法包括：

接收对应于图像的已重构视频数据；

将该图像分割为多个当前补块；

形成多个补块组，其中每个补块组包括当前补块和相似于当前补块的多个参考补块；

确定该多个补块组中每个的噪声水平，包括：

计算各自补块组的多个像素值的像素方差；

通过在表示多个补块组像素标准偏差和多个补块组像素方差之间的映射关系的第一查找表中进行搜索，根据该各自补块组的所计算的该像素方差，确定该各自补块组的像素标准偏差；以及

基于为该各自补块组的像素标准偏差的函数的压缩噪声模型，计算该各自补块组的噪声水平，其中该压缩噪声模型的不同的模型参数集被选择以用于分布在图像内的不同位置处的补块组；以及

基于该多个补块组中的每个的确定的噪声水平，用非局部去噪声化技术去噪声化该多个补块组，以创建已滤波图像。