CN113196754B

CN113196754B - 用于减少条带伪影的方法、以及计算机可读存储介质

Info

Publication number: CN113196754B
Application number: CN201980084745.1A
Authority: CN
Inventors: N·J·加德吉尔; 宋青; 苏冠铭
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2018-12-19
Filing date: 2019-12-10
Publication date: 2023-10-03
Anticipated expiration: 2039-12-10
Also published as: JP7249417B2; WO2020131494A1; EP3900335B1; JP2022517305A; EP3900335A1; US11663702B2; CN113196754A; US20220076384A1

Abstract

描述了用于在显示图像时减少条带伪影的方法和系统。使用自适应稀疏有限响应滤波器对所识别的图像带进行滤波，其中，稀疏滤波器中的抽头距离根据每个图像带的估计宽度进行调整。图像去条带可以跨多个像素取向执行，例如行、列、45度角或‑45度角。给定用于决定是否需要执行稀疏滤波的阈值，还提出了迭代去条带过程。

Description

用于减少条带伪影的方法、以及计算机可读存储介质

技术领域

本发明总体上涉及图像。更具体地，本发明的实施例涉及使用自适应稀疏滤波来减少图像中的条带伪影。

背景技术

如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力，所述强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14到15个数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“视觉动态范围(VDR)或增强动态范围(EDR)”可以单独地或可互换地与这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，VDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于真实场景参考的HDR，可能稍微窄一些，但VDR或EDR可以代表宽DR阔度并且也可以被称为HDR。

实际上，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用线性光亮度编码，其中n≤的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n＞8的图像可被视为增强动态范围的图像。HDR图像还可以使用高精度(例如，16位)浮点格式来存储和分布，比如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。

大多数消费者桌面显示器目前支持200到300cd/m²或尼特的光亮度。大多数消费者HDTV的范围从300到500尼特，其中，新型号达到1000尼特(cd/m²)。因此，这样的传统显示器代表了与HDR相关的较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)二者的发展而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的HDR显示器上。

如本文所使用的，术语“条带”(也被称为“色带”)是指成像和视频中的视觉伪影，其中，相同颜色的阴影显示为光亮度变化的条带。当可见时，条带在视觉上很烦人，并且经常被认为是低质量编码或低质量显示的指示。如诸位发明人在此所理解的，期望用于在显示视频内容(尤其是HDR内容)时减少条带的改进技术。

在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有表示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。

发明内容

根据本公开的一方面，提供了一种用于减少条带伪影的方法，所述方法包括：接收包括像素值的输入图像；识别所述输入图像的一维像素阵列中的开始位置与结束位置之间具有相同像素值的一个或多个像素序列，以识别所述一维像素阵列中对应的一个或多个图像带，其中，所述一个或多个图像带中的图像带由所述带的宽度以及带像素值表征，所述宽度定义为所述开始位置与所述结束位置之间具有相同值的像素数；对于所述一个或多个图像带中的每个图像带：为稀疏滤波器确定作为所述图像带的宽度的函数的抽头距离参数，所述抽头距离参数指示所述稀疏滤波器的中心抽头的像素与相邻抽头的像素之间的连续像素数，其中，所确定的抽头距离参数与所述图像带的宽度成正比；以及将具有所述抽头距离参数的所述稀疏滤波器应用于所述图像带以生成输出滤波像素值；以及基于所述输出滤波像素值生成输出图像。

根据本公开的另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，致使所述一个或多个处理器执行如上所述的方法。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的元件，并且在附图中：

图1描绘了视频传输流水线的示例过程；

图2描绘了根据本发明的实施例的用于减少条带伪影的示例过程；

图3A描绘了根据本发明的实施例的用于确定图像带的示例过程；

图3B描绘了根据本发明的实施例的用于减轻条带的示例过程；

图4描绘了根据本发明的实施例的用于使用多扫描自适应稀疏滤波来减轻条带的示例过程；

图5描绘了多扫描滤波取向的示例；以及

图6描绘了根据本发明的实施例的用于使用迭代多扫描自适应稀疏滤波来减轻条带的示例过程。

具体实施方式

本文描述了通过使用自适应稀疏滤波来减少图像和视频内容中的条带伪影。给定具有条带伪影的输入图像，在将滤波器应用于图像之前，根据输入图像中带的特性来调整一个或多个自适应稀疏滤波器的参数。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和装置。

概述

本文描述的示例实施例涉及一种用于减少图像和视频序列中的条带伪影的方法。所述方法可以在编码器或解码器中实施。

在实施例中，编码器或解码器接收包括像素值的输入图像以及可选的滤波决策阈值。所述方法识别所述输入图像的一维像素阵列中的开始位置与结束位置之间具有相同像素值的一个或多个像素序列，以生成对应的一个或多个图像带。所述一维像素阵列基于输入图像的像素值和像素取向(例如，跨行、列或对角线)。所述方法分析一维像素阵列中的像素值以识别一个或多个图像带，其中，每个所识别的图像带由带的宽度和带像素值表征。带的宽度定义为开始位置和结束位置之间具有相同值的像素数。对于一个或多个图像带中的每个图像带，编码器或解码器为稀疏滤波器确定作为所述图像带的宽度的函数的抽头距离参数，所述抽头距离参数指示稀疏滤波器的一个抽头的像素与另一个抽头的像素之间的连续像素数。编码器或解码器可以将具有所确定的抽头距离参数的稀疏滤波器应用于图像带。将稀疏滤波器应用于图像带以生成输出滤波像素值。编码器或解码器基于输出滤波像素值生成输出图像。

换言之，对于所识别的图像带中的图像带，所述方法基于图像带的宽度确定自适应稀疏滤波器的抽头距离参数，并将具有抽头距离参数的自适应稀疏滤波器应用于图像带的像素值以生成输出滤波像素值。然后，所述方法基于输出滤波像素值生成输出图像。

在实施例中，所述抽头距离参数是在中心抽头的像素与相邻抽头的像素之间确定的。

在实施例中，稀疏滤波器的抽头数是预定的。

在实施例中，所确定的抽头距离参数与图像带的宽度成正比。

在实施例中，抽头距离参数随着预定抽头数的增加而减小。

在实施例中，将具有抽头距离参数的滤波器应用于图像带的像素包括在预定抽头数上对稀疏滤波器的对应抽头的像素值求平均。

在实施例中，求平均排除位于与相邻图像带的边界处的边界抽头的像素值。在计算平均值时忽略在滤波器边缘的这两个抽头。

在实施例中，所述方法进一步包括接收滤波决策阈值，并且进一步地，对于每个图像带，计算中心抽头的像素值与其他抽头的每个像素值之间的多个差，计算所述差的绝对最大值。在本实施例中，基于滤波决策阈值与绝对最大值之间的比较，将稀疏滤波器应用于图像带。

在实施例中，如果抽头距离参数不超过滤波决策阈值，则将稀疏滤波器应用于图像带。

在实施例中，如果抽头距离参数超过滤波决策阈值，则不将稀疏滤波器应用于图像带，使得像素保持未滤波。

在实施例中，识别一维像素阵列中具有相同像素值的一个或多个像素序列包括跨以下之一对输入图像的颜色分量的像素值进行采样：输入图像的行、输入图像的列、输入图像的45度对角线方向、或输入图像的-45度对角线方向。

在实施例中，跨输入图像的列执行用于减少条带伪影的方法以生成第一输出图像。可以跨第一输出图像的行执行用于减少条带伪影的方法以生成第二输出图像。

在实施例中，可以跨第二输出图像的45度对角线执行用于减少条带伪影的方法以生成第三输出图像，并且可以跨第三输出图像的-45度对角线执行用于减少条带伪影的方法以生成第四输出图像。

在实施例中，所述方法可以进一步包括根据图像距离准则计算输入图像与输出图像之间的图像距离度量；将图像距离度量与连续阈值进行比较，并且如果图像距离度量大于连续阈值，则减小滤波决策阈值以生成第二滤波决策阈值；以及根据权利要求1至13中任一项所述的方法使用第二滤波决策阈值对输出进行滤波以生成第二输出图像；否则输出所述输出图像。

示例视频传输流水线

图1描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据(107)。可替代地，视频帧(102)可以由胶片相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110)，对视频数据(107)进行编辑以提供视频制作流(112)。

制作流(112)的视频数据然后在块(115)处被提供给处理器以进行后期制作编辑。块(115)的后期制作编辑可以包括调节或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在块(115)处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本(117)。在后期制作编辑(115)期间，在参考显示器(125)上观看视频图像。

在后期制作(115)之后，可以将最终作品(117)的视频数据传输到编码块(120)，以便向下游传输到如电视机、机顶盒、电影院等解码和回放设备。在一些实施例中，编码块(120)可以包括如由ATSC、DVB、DVD、蓝光和其他传输格式定义的那些音频编码器和视频编码器，以生成编码比特流(122)。在接收器中，编码比特流(122)由解码单元(130)解码，以生成表示信号(117)的相同或接近近似版本的经解码信号(132)。接收器可以附接到目标显示器(140)，所述目标显示器可以具有与参考显示器(125)完全不同的特性。在这种情况下，显示管理块(135)可以用于通过生成显示映射信号(137)来将经解码信号(132)的动态范围映射到目标显示器(140)的特性。

视频数据(107)可以包括SDR或HDR内容(包括增强SDR(SDR+)内容)以及图像元数据，所述图像元数据可以由视频传输流水线(100)下游的接收方设备用来对SDR视频内容的解码版本执行图像处理操作。示例SDR视频内容可以是但不一定仅限于SDR+视频内容、SDR图像、SDR电影发行、SDR+图像、SDR媒体节目等。

如本文所使用的，术语增强SDR或“SDR+”表示SDR图像数据和元数据的组合，当这些数据组合在一起时允许生成对应的高动态范围(HDR)图像数据。SDR+图像元数据可以包括用于生成后向整形映射的合成器数据，所述映射在应用于输入SDR图像时会生成对应的HDR图像。SDR+图像允许与传统SDR显示器后向兼容，这些显示器可以忽略SDR+图像元数据，而仅显示SDR图像。

条带是在所显示或打印的图像中以可见“带”的形式呈现的一种主要的视觉伪影。在视频中，这种带经常随时间变化，从而给观看者带来极大的烦恼。图像中的条带通常是由于图像捕获不良、压缩或转码不良或使用无效和/或不充分的后处理技术造成的。在条带中，第一组连续像素往往具有第一相同像素值，定义了“带”。该组之后是具有第二相同像素值的第二组像素值。这种图案在图像中表现为带。在去除条带伪影(在此也称为“去条带”)时，挑战在于在保留图像的真实边缘的同时减少或去除条带伪影。图像去条带可以作为预处理步骤(例如，在编码(120)之前，作为后期制作(115)的一部分或作为其他预处理的一部分)或作为后处理步骤(例如，在解码(130)之后，作为显示管理(135)的一部分或作为其他后处理的一部分)执行。

用于减少条带伪影的示例系统

图2描绘了根据实施例的用于减少条带伪影的示例数据流(200)。如图2所描绘的，给定通常存储在图像缓冲器中的一组图像像素(205)，步骤210分析图像像素以确定表征条带伪影的特性，例如，每个带的位置、像素值和宽度。在实施例中，如果一维像素阵列中的起点与终点之间的所有像素值具有相同的像素值，则将一维像素阵列中的连续像素序列识别为带。在数学上，这可以表达为：

对于

并且

其中，s(k)表示一维像素阵列的第k个位置的像素值，表示第j个图像带的开始，/>表示第j个带的结束，并且α_j表示带的像素值。

给定检测到的条带的所计算属性，步骤215生成自适应稀疏滤波器(ASF)的参数，例如，稀疏滤波器的抽头的像素跨度，以像素数为单位。稀疏滤波器跨度(或大小)可以定义为边界抽头之间的像素数。最后，在步骤220中，将自适应稀疏滤波器应用于输入像素数据以生成条带伪影减少的输出图像。可以跨图像的行、列或角度(例如，45度和-45度，或任何其他采样取向)中的像素值应用滤波。

在实施例中，如本文所述的稀疏有限输入响应(FIR)滤波可以在示例表达式中定义为：

其中，w_i是第i个滤波器系数，s(k)表示输入信号的第k个像素值，s′(k)表示对应的输出滤波像素值，d[i]表示第i个抽头的抽头距离(以像素为单位)，并且2u+1表示滤波器抽头数，即，等式1的滤波器项数。在实施例中，抽头距离d[i]是指距中心像素抽头的距离，以像素数为单位。

当将稀疏滤波器应用于输入图像时，滤波器可以与输入图像卷积。图像与稀疏滤波器的卷积代表了所谓的经滤波图像。

在实施例中，d[i]＝i*q，i＝-u+1至u-1，d[u]＝(u+1)*q+e，并且d[-u]＝(-u+1)*q-e，其中q和e再次表示滤波距离参数。在实施例中，如果q是奇数，则并且如果q是偶数，则/>等式(1)中的滤波系数通常表示平滑低通滤波器，例如平均滤波器等。

在一些实施例中，在抽头i＝-u和i＝u中，w_i＝0；然而，如以下所解释的，这些抽头中的输入样本用于计算像素差并帮助决定是否平滑中心像素(s(k))。这允许改进对滤波器边界处的边缘和纹理保留的鲁棒性。也就是说，边界抽头允许更好地保留粗边缘。

例如，设

表示中心抽头输入像素值(s(k))与每个剩余滤波器抽头中的输入像素值之间的差，并设

于是，在实施例中，仅当时才执行滤波，其中，Th表示滤波决策阈值(例如，Th＝16)。例如，在不失一般性的情况下，7-抽头(例如，u＝3)条件自适应稀疏滤波器被描述如下：

如果

s′[k]＝(s[k-2q]+s[k-q]+s[k]+s[k+q]+s[k+2q])/5 (4)

否则

s'[k]＝s[k]

因此，对于i＝3和-3，w_i＝0，并且对于i＝-2至2，w_i＝1/5，表示稀疏平均有限脉冲响应(FIR)滤波器。计算并将其与阈值Th进行比较可以表征为边缘检测操作，其中，如果检测到边缘，则跳过稀疏滤波。因此，Th也可称为边缘检测阈值。其他实施例可以用本领域技术人员已知的其他边缘检测算法来代替本文提出的条件稀疏滤波执行。

根据等式(4)，滤波器输出取决于指示相邻抽头之间的连续像素数的稀疏滤波距离参数q。对于具有较宽的带的图像，通常需要更大的q来去除这些带；然而，如果q增加太多，那么图像的部分往往会变得过于平滑，这也是不希望的。因此，需要基于局部像素参数自适应地选择q。在使用具有条带的测试图像的实验中，使用

产生了最好的结果，其中，W是图像中带的宽度，并且m是正整数常数(例如，m＝2)，但不是2u-1的倍数。例如，在不失一般性的情况下，对于等式(4)的7抽头滤波器(u＝3)，稀疏滤波器中相邻样本之间的距离(q)是的倍数。在实施例中，距离参数q基于诸如条带宽度(W)的估计等局部像素属性而自适应地调整。对于7抽头滤波器，实验结果表明m值介于1至4之间效果最佳。

由于等式(4)的s′[k](经滤波的中心像素)取决于抽头距离参数q(其是图像带宽度的函数)，因此相同图像带中的像素将由具有相同q值的稀疏滤波器(即，相同跨度(或大小)的稀疏滤波器)滤波。不同图像带的像素将由具有不同q值的稀疏滤波器(即，不同跨度(或大小)的稀疏滤波器)滤波。

回到图2，步骤210包括像素分析步骤以识别像素属性，如带的宽度W。在实施例中，“带”被定义为具有相同像素值的一组相邻像素。考虑N个像素组(或图像带)，每个像素组具有开始和结束像素索引来指示带的位置、组的像素值(例如，亮度码字)、以及像素数或带的宽度W。设是开始和结束像素索引，并且设α_j是属于像素缓冲器(205)的第j个带的所有像素的像素值。然后，第j个带中的像素数由下式给出

在实施例中，可以将具有相同带像素值但被具有非常接近的像素值或杂散像素的带分开的两个带合并为单个带。例如，如果出现以下情况，则三个连续带(表示为带j、j+1和j+2)可以合并：

·第二带(j+1)的像素数小于阈值；这考虑了带内的杂散像素；并且

·带j和j+1的α值在阈值内；即，带j+1中的杂散像素值应当具有接近第j个带中的主导像素值的值；并且

·带j和j+2的α值相同。即，如果带j和j+2中的像素值不同(即，α_j≠α_j+2)，则不合并带j和j+1

这三个条件可以表示为：如果出现以下情况，则可以将j、(j+1)和(j+2)带合并为单个带

n_j+1＜n_tol，||α_j*α_j+1|≤α_tol，并且α_j＝α_j+2， (7)

其中，n_tol和α_tol是阈值。当这三个带合并为一个带(即，带j)时，于是

n_j＝n_j+n_j+1+n_j+2，

随后的带(例如，第k个带，k>j+2)被重新编号，并且再次分析新形成的带j和随后的带以寻找潜在的合并机会。

例如，在实施例中，对于高清晰度(例如，1080p)原始10位SDR图像，对于48-65英寸(对角线)范围内的显示器，n_tol＝5,α_tol＝1。对于从8位转换为10位的图像，可以使用α_tol＝2^(10-8)＝4，以允许一个8位码字容差。生成这种图像的一种方式是将每个像素处的8位数据左移位，以生成具有两个尾随0位的10位像素值。这使得相邻码字之间的差为2^(10-8)＝4。对于HDR图像，可以将α_tol定义为两个相邻HDR码字之间的距离的函数(例如，最小值、最大值或平均值)。

根据实施例的合并带和执行自适应稀疏滤波的示例在图3A和图3B中描绘。如图3A所描绘的，作为示例，行缓冲器中光亮度像素的分析确定了六个带(305-0至305-5)，每个带由以下表征：带中的像素数(n_j)、带像素值(α_i)、以及每个带的开始和结束像素位置至5。假设n₂＜n_tol、|α₂-α₁|≤α_tol并且α₁＝α₃，则带305-1、305-2和305-3可以合并为单个带(310-1)，而除了重新编号之外，其余带保持原样。例如，带310-0具有与带305-0相同的带特性(例如，开始、结束、像素带值和宽度)，带310-2具有与带305-4相同的带特性，并且带310-3具有与带305-5相同的带特性。

在合并图像带(310-0至310-3)之后，对于每个带，如步骤215中所描绘的，对于W＝n_j或使用等式(5)确定每个带的q_i值。然后，如步骤220中所描绘的，每个带由对应的稀疏滤波器滤波。例如，图3A的顶部描绘了将通过使用q_i(i＝0、1、2和3)的滤波器对每个带进行滤波。图3B的底部描绘了使用等式(4)的7抽头ASF对310-1带进行稀疏滤波的示例，其中，q＝q₁并且滤波器抽头在s(k)、/>和/>处。

多扫描自适应稀疏滤波

鉴于图像是二维的，在一些实施例中，可能优选跨多个维度(如水平、垂直和/或对角线地)应用稀疏滤波。图4中描绘了这种实施例的示例过程(400)。非限制性地，图5中描绘了滤波取向的示例。如图4中所描绘的，去条带滤波可以包括原始一维去条带过程200在各种取向上的一个或多个应用，例如：垂直滤波(405)(跨图像列505)、水平滤波(410)(跨图像行510)、第一对角线滤波(420)(例如，跨45度角520)和第二对角线滤波(425)(例如，跨-45度角525)。通常，跨亮度像素分量(例如，在YCbCr中的Y)执行去条带滤波；然而，可以跨任何颜色空间(例如，RGB等)的任何颜色分量以及跨多个颜色分量执行相同的滤波。在一些实施例中，可以跨图4所示的四个取向中的仅一个、两个或三个，或者甚至跨其他角度取向(未示出)执行滤波。

注意，“带”在每个取向中被重新定义；然而，在多行程(multi-pass)滤波中，一个行程的输出图像被用作随后行程的输入图像。

在多核或多线程系统中，去条带过程可以并行化。例如，在基于列的滤波中，可以并行滤波多个列(例如，505-1，505-2，…，505-n)，每一列都使用过程200，以加快处理时间。

迭代多扫描自适应稀疏滤波

在某些情况下，通常，由于某些区域(例如，在黑暗中)的压缩不良，即使在应用之前描述的多扫描滤波过程(400)之后，仍可能看到可见条带。在实施例中，解决这种内容的一种方式是通过增加ASF的边缘检测阈值Th；然而，这种滤波也可能会去除必要的细节，如纹理和边缘。可替代地，如果对第一多扫描ASF行程的输出应用第二多扫描ASF(MASF)行程，则可能会看到图像变得更平滑，从而进一步减少条带伪影。因此，迭代运行MASF可能有助于这种图像。在本部分中，描述了迭代MASF算法，该算法重复运行MASF，直到满足某些操作条件。

图6描绘了用于迭代多扫描自适应稀疏滤波的示例过程。给定输入图像(I_orig)，步骤605将滤波决策阈值Th(见等式(4))设置为初始值(例如，Th＝16)。接下来，步骤610应用MASF算法(例如，根据过程400)来生成经滤波图像I_out。设P表示图像中的总像素数。设I_in(i)和I_out(i)是当前迭代中MASF的输入和对应输出图像像素的第i个亮度像素值。然后，在步骤615中，计算这两个图像之间的失真度量θ。例如，在不失一般性的情况下，在实施例中，可以计算当前迭代的I_in与I_out之间的每像素的绝对差的平均和(SAD)，计算为

在一些实施例中，θ可以使用替代标准来计算，例如均方误差标准等。计算θ有助于在步骤620中通过将其与阈值Θ进行比较来确定是否继续处理。阈值Θ可以凭经验确定。如果θ<Θ，则认为输出图像没有条带伪影并且迭代过程停止，否则，在步骤625中，减小原始滤波决策阈值(Th)，但不减小到零或低于零。例如，在实施例中，阈值在每次迭代中减半，但也可以应用替代方法(例如，通过将Th减小1、2或较小的整数值n)。如果没有办法减小阈值Th，则过程终止，否则，I_in＝I_out(627)并且过程再次继续步骤610。

如所讨论的，当首先满足以下两个条件之一时，迭代过程将终止：

·θ＜Θ：其中，Θ是指示像素值中存在视觉上可以忽略的变化的参数；使用等式(8)的SAD标准，实验结果表明0.1或0.2的Θ值产生令人满意的结果。

·Th≤0：这相当于判断出在滤波后没有像素值发生变化。

示例计算机系统实施方式

本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)装置(比如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑装置(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这样的系统、装置或部件中的一个或多个的设备来实施。计算机和/或IC可以执行、控制或实行与减少条带伪影相关的指令，如本文描述的那些指令。计算机和/或IC可以计算与本文描述的减少条带伪影有关的各种参数或值中的任何参数或值。图像和视频动态范围扩展实施例可以以硬件、软件、固件及其各种组合来实施。

本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施如上所述的减少条带伪影的方法。还可以以程序产品的形式提供本发明。程序产品可以包括承载一组计算机可读信号的任何非暂态且有形介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态且有形形式中的任何一种。程序产品可以包括例如物理介质，比如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速存储器RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、装置、电路等)的情况下，除非另有指明，否则对所述部件的引用(包括对“装置”的引用)都应被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。

等同物、扩展、替代方案和杂项

因此，描述了涉及减少图像的条带伪影的示例实施例。在前述说明书中，已经参考可以根据实施方式而变化的许多具体细节描述了本发明的实施例。因此，指明本发明以及本申请人的发明意图的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续修正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。

可以从以下枚举的示例实施例(EEE)中理解本发明的各个方面：

1.在包括一个或多个处理器的编码器或解码器中，一种用于减少条带伪影的方法，所述方法包括：

接收包括像素值的输入图像(205)；

接收滤波决策阈值；

基于所述输入图像的像素值生成一维像素阵列；

基于所述一维像素阵列中的像素值生成(210)一个或多个图像带，其中，所述一个或多个图像带中的图像带由所述一维像素阵列中的开始位置、所述一维像素阵列中的结束位置或所述带的宽度、以及带像素值表征；

对于所述一个或多个图像带中的图像带：

基于所述图像带的宽度确定(215)稀疏滤波器的抽头距离参数；以及

将具有所述抽头距离参数和所述滤波决策阈值的稀疏滤波器应用于(220)所述图像带以生成输出滤波像素值；以及

基于所述输出滤波像素值生成输出图像。

2.如EEE 1所述的方法，其中，生成所述一维像素阵列包括跨以下多项中的一项对所述输入图像的颜色分量的像素值进行采样：所述输入图像的行、所述输入图像的列、所述输入图像的45度对角线方向、或所述输入图像的-45度对角线方向。

3.如EEE 1或EEE 2所述的方法，其中，生成所述一个或多个图像带中的第j个图像带包括检测

对于

s(k)＝α_j

并且

其中，s(k)表示所述一维像素阵列的第k个位置的像素值，表示所述一维像素阵列中的第j个图像带的开始位置，/>表示所述一维像素阵列中的第j个图像带的结束位置，并且α_j表示第j个图像带的带像素值。

4.如EEE 3所述的方法，其中，给定三个连续图像带，带j、j+1和j+2，在所述一个或多个图像带中，如果下式成立，则将所述三个连续图像带合并为一个带

n_j+1＜n_tol，||α_j*α_j+1|≤α_tol，并且α_j＝α_j+2，

其中，n_tol和α_tol是阈值，并且n_j表示第j个图像带的宽度。

5.如EEE 1至4中任一项所述的方法，其中，对于第j个图像带，所述图像带的宽度被确定为

其中，n_j表示第j个图像带的宽度，表示所述一维像素阵列中的第j个图像带的开始位置，并且/>表示所述一维像素阵列中的第j个图像带的结束位置。

6.如EEE 1至5中任一项所述的方法，其中，生成所述输出滤波像素值包括计算：

其中，w_i表示第i个滤波器系数，s(k)表示所述图像带中的第k个像素值，s′(k)表示第k个输出滤波像素值，d[i]表示第i个抽头的抽头距离，并且2u+1表示滤波器抽头数。

7.如EEE 6所述的方法，其中，d[i]＝i*q，其中，q表示所述稀疏滤波器的抽头距离参数。

8.如EEE 7所述的方法，其中，其中m是小于2u-1的整数常数，并且W表示由所述稀疏滤波器滤波后的所述图像带的宽度。

9.如EEE 6或EEE 7所述的方法，进一步包括计算：

对于i＝-u至u，

如果

否则

s′[k]≤s[k]

其中，Th表示所述滤波决策阈值。

10.如EEE 9所述的方法，其中，

w_u＝w-_u＝0，

d[u]＝(u-1)*q+e；并且

d[-u]＝-(u-1)*q-e；

对于i＝-u+1至u-1：

w_i＝1/(2u-1)；并且

d[i]＝iq；

其中，q和e是常数。

11.如EEE 10所述的方法，其中，如果q是奇数，则并且如果q是偶数，则/>

12.在包括一个或多个处理器的系统中，一种用于减少条带伪影的方法，所述方法包括：

接收包括像素值的输入图像；

根据EEE 1至11中任一项所述的方法使用自适应稀疏滤波对所述输入图像进行滤波以生成第一输出图像，其中，所述自适应稀疏滤波是跨所述输入图像的列执行的；以及

根据EEE 1至11中任一项所述的方法使用自适应稀疏滤波对所述第一输出图像进行滤波以生成第二输出图像，其中，所述自适应稀疏滤波是跨所述第一输出图像的行执行的。

13.如EEE 12所述的方法，进一步包括：

根据EEE 1至11中任一项所述的方法使用自适应稀疏滤波对所述第二输出图像进行滤波以生成第三输出图像，其中，所述自适应稀疏滤波是跨所述第二输出图像的45度对角线执行的；以及

根据EEE 1至11中任一项所述的方法使用自适应稀疏滤波对所述第三输出图像进行滤波以生成第四输出图像，其中，所述自适应稀疏滤波是跨所述第三输出图像的-45度对角线执行的。

14.在包括一个或多个处理器的系统中，一种用于减少条带伪影的方法，所述方法包括：

接收包括像素值的输入图像；

接收第一阈值参数；

使用所述第一阈值参数作为所述滤波决策阈值，以根据EEE 1至11中任一项所述的方法使用自适应稀疏滤波对所述输入图像进行滤波以生成第一输出图像；

根据图像距离准则计算所述输入图像与所述第一输出图像之间的图像距离度量；

将所述图像距离度量与连续阈值进行比较，以及

如果所述图像距离度量大于所述连续阈值，则

减小所述第一阈值参数以生成第二阈值参数；以及

使用所述第二阈值参数作为所述滤波决策阈值，以根据EEE 1至11中任一项所述的方法使用自适应稀疏滤波对所述第一输出图像进行滤波以生成第二输出图像；

否则输出所述第一输出图像。

15.如EEE 14所述的方法，其中，所述图像距离度量包括计算所述输入图像的像素值与所述第一输出图像的像素值之间的绝对差的平均和。

16.一种非暂态计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令用于用一个或多个处理器执行根据EEE 1至15中任一项所述的方法。

17.一种装置，包括处理器并且被配置用于执行如EEE 1至15中任一项所述的方法。

Claims

1.一种用于减少条带伪影的方法，所述方法包括：

接收包括像素值的输入图像；

识别所述输入图像的一维像素阵列中的开始位置与结束位置之间具有相同像素值的一个或多个像素序列，以识别所述一维像素阵列中对应的一个或多个图像带，其中，所述一个或多个图像带中的图像带由所述图像带的宽度以及带像素值表征，所述宽度定义为所述开始位置与所述结束位置之间具有相同值的像素数；

对于所述一个或多个图像带中的每个图像带：

为稀疏滤波器确定作为所述图像带的宽度的函数的抽头距离参数，所述抽头距离参数指示所述稀疏滤波器的中心抽头的像素与相邻抽头的像素之间的连续像素数，其中，所确定的抽头距离参数与所述图像带的宽度成正比；以及

将具有所述抽头距离参数的所述稀疏滤波器应用于所述图像带以生成输出滤波像素值；以及

基于所述输出滤波像素值生成输出图像。

2.如权利要求1所述的方法，其中，所述稀疏滤波器的抽头数是预定的。

3.如权利要求2所述的方法，其中，将具有所述抽头距离参数的所述稀疏滤波器应用于所述图像带包括在预定的所述抽头数上对对应抽头的像素值求平均。

4.如权利要求3所述的方法，其中，所述求平均排除位于所述稀疏滤波器的边界处的边界抽头的像素值。

5.如权利要求1至4中任一项所述的方法，进一步包括：

-接收滤波决策阈值；

对于每个图像带：

-计算所述中心抽头的像素值与其他抽头中的每个像素值之间的多个差，

-计算所述差的绝对最大值，其中，基于所述滤波决策阈值与所述绝对最大值之间的比较将所述稀疏滤波器应用于所述图像带。

6.如权利要求5所述的方法，其中，如果所述绝对最大值不超过所述滤波决策阈值，则将所述稀疏滤波器应用于所述图像带。

7.如权利要求1至4中任一项所述的方法，其中，识别所述一维像素阵列中具有相同像素值的一个或多个像素序列包括跨以下多项中的一项对所述输入图像的颜色分量的像素值进行分析：所述输入图像的行、所述输入图像的列、所述输入图像的45度对角线方向、或所述输入图像的-45度对角线方向。

8.如权利要求1至4中任一项所述的方法，其中，识别具有相同像素值的一个或多个像素序列包括检测到

对于

s(k)＝α_j

并且

9.如权利要求8所述的方法，其中，给定三个连续图像带，带j、j+1和j+2，在所述一个或多个图像带中，如果下式成立，则所述三个连续图像带合并为一个带

n_j+1<n_tol,|α_j-α_j+1|≤α_tol,并且a_j＝a_j+2,

其中，n_tol和α_tol是阈值，并且n_j表示第j个图像带的宽度。

10.如权利要求1至4中任一项所述的方法，其中，对于第j个图像带，图像带的宽度被确定为

11.如权利要求5所述的方法，其中，生成所述输出滤波像素值包括计算：

其中，w_i表示第i个滤波器系数，s(k)表示所述图像带中的第k个像素值，s'(k)表示第k个输出滤波像素值，d[i]表示第i个抽头距所述中心抽头的抽头距离，并且2u+1表示滤波器抽头数。

12.如权利要求11所述的方法，其中，d[i]＝i*q，对于i＝-u+1至i＝u+1，其中，q表示所述稀疏滤波器的所述抽头距离参数。

13.如权利要求12所述的方法，其中，其中，m是小于2u-1的整数常数，并且W表示由所述稀疏滤波器滤波后的所述图像带的宽度。

14.如权利要求11所述的方法，进一步包括计算：

对于i＝-u至u，

如果

否则

s'[k]＝s[k]

其中，Th表示所述滤波决策阈值，表示所述多个差，并且/>表示所述差的绝对最大值。

15.如权利要求14所述的方法，其中，

w_u＝w-_u＝0，

d[u]＝(u-1)*q+e；并且

d[-u]＝-(u-1)*q–e；

对于i＝-u+1至u-1：

w_i＝1/(2u-1)；并且

d[i]＝iq；

其中，q和e是常数，其中，如果q是奇数，则并且如果q是偶数，则/>

16.如权利要求1至4中任一项所述的方法，其中，跨所述输入图像的列执行所述方法以生成第一输出图像，并且其中，跨所述第一输出图像的行执行所述方法以生成第二输出图像。

17.如权利要求16所述的方法，其中，跨所述第二输出图像的45度对角线执行所述方法以生成第三输出图像，并且其中，跨所述第三输出图像的-45度对角线执行所述方法以生成第四输出图像。

18.如权利要求5所述的方法，进一步包括：

根据图像距离准则计算所述输入图像与所述输出图像之间的图像距离度量；

将所述图像距离度量与连续阈值进行比较，以及

如果所述图像距离度量大于所述连续阈值，则

减小所述滤波决策阈值以生成第二滤波决策阈值；以及

根据权利要求5所述的方法使用所述第二滤波决策阈值对所述输出图像进行滤波以生成第二输出图像；

否则输出所述输出图像。

19.如权利要求18所述的方法，其中，计算所述图像距离度量包括计算所述输入图像的像素值与所述输出图像的像素值之间的绝对差的平均和。

20.一种非暂态计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，致使所述一个或多个处理器执行根据权利要求1至19中任一项所述的方法。