CN114612344A - 图像锐化装置及方法 - Google Patents

Abstract

本发明提供了一种图像锐化装置及方法，包括：计算待处理RGB图像的亮度域；根据亮度域获取图像的平坦区域噪声，通过亮度域与平坦区域噪声得到第一亮度数据基础层；将其划分为高频细节、中频细节和低频细节，对中频细节和高频细节均进行抑制，得到第二亮度数据基础层；提取第二亮度数据基础层的低频细节并增强，以得到低频细节的锐化处理结果；增强中频细节和高频细节，其中：中频细节和高频细节中的正向细节和负向细节均进行不同强度的映射，得到中频细节和高频细节的锐化处理结果；将平坦区域噪声、低频细节的锐化处理结果以及中频细节和高频细节的锐化处理结果进行合并，得到图像在亮度域上的锐化结果，并将锐化结果映射到RGB域。

Description

图像锐化装置及方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像锐化装置及方法。

背景技术

在现实生活场景当中，经由显示设备所展现的图像，一般都会经过一系列的算法优化和处理，最终才会得到一个比较令人满意的结果。在算法优化处理的过程中，图像本身的质量以及噪声的干扰会对图像的最终效果造成较大影响，往往会使得图像的清晰度下降，导致视觉上产生模糊的感觉。为了解决该问题，经常需要对图像进行锐化处理。

锐化是图像增强领域上的概念，其目的在于补偿图像的边缘和纹理，使图像变得清晰自然，提升图像的视觉质量。传统的图像锐化方法主要是基于USM(Unsharp Mask，反锐化掩膜)算法，对图像的每个像素点基于其本身的反掩膜强度进行锐化。

然而，这类方法由于对强度高的像素点进行无差别的锐化，极易放大图像的平坦区域噪声，并在图像的边缘区域和/或纹理区域附近产生严重的黑白边，使得锐化后的图像视觉质量不佳，降低了锐化后图像的真实性。

发明内容

本发明的目的在于提供一种图像锐化装置及方法，可以减少图像区域的噪声，从而提高图像的清晰度。同时，可以将中高频信号和低频信号分开进行锐化处理，从而提高锐化后的图像的视觉质量和图像的真实性。

为了达到上述目的，本发明提供了一种图像锐化装置，包括：

亮度域计算单元，用于计算待处理RGB图像的亮度域；

平坦区域噪声计算单元，用于根据所述亮度域获取图像的平坦区域噪声，并且，通过所述亮度域与平坦区域噪声的差值得到第一亮度数据基础层；

中高频细节计算单元，用于将所述第一亮度数据基础层划分为高频细节、中频细节和低频细节，并且对所述中频细节和高频细节均进行抑制，以得到第二亮度数据基础层；

低频细节处理单元，用于提取所述第二亮度数据基础层的低频细节，并且增强所述低频细节，以得到低频细节的锐化处理结果；

中高频细节锐化单元，用于增强所述中频细节和高频细节，其中：所述中频细节中的正向细节和负向细节进行不同强度的映射，所述高频细节中的正向细节和负向细节进行不同强度的映射，以得到中频细节和高频细节的锐化处理结果；

平坦区域噪声回加单元，用于将所述平坦区域噪声、低频细节的锐化处理结果以及中频细节和高频细节的锐化处理结果进行合并，以得到图像在亮度域上的锐化结果，并将所述锐化结果映射到RGB域。

可选的，在所述的图像锐化装置中，还包括：图像输入单元，用于输入待处理RGB图像。

可选的，在所述的图像锐化装置中，所述待处理RGB图像包括8bit、10bit、12bit、14bit、16bit和/或32bit的图像。

可选的，在所述的图像锐化装置中，还包括：图像输出单元，用于输出RGB格式的锐化图像。

可选的，在所述的图像锐化装置中，所述平坦区域噪声计算单元包括：

高斯滤波计算模块，用于对所述亮度域进行滤波；

高斯梯度计算模块，用于计算滤波后的亮度域的高斯梯度值；

平坦区域权重映射模块，用于对所述高斯梯度值进行映射，以得到平坦区域权重；

平坦区域噪声提取模块，用于根据所述平坦区域权重计算所述平坦区域噪声，并提取所述平坦区域噪声。

可选的，在所述的图像锐化装置中，所述中高频细节计算单元包括：

傅里叶正变换计算模块，用于将所述第一亮度数据基础层从空间域转换到频域，以得到第一亮度数据基础层的频域数据，以及每个像素的相位和幅值；

频域中高频抑制模块，用于根据待处理RGB图像的尺寸以及抑制强度参数，计算中频细节和高频细节的抑制权重矩阵，并根据所述抑制权重矩阵对所述第一亮度数据基础层的频域数据中的中频细节和高频细节进行抑制处理；

傅里叶逆变换计算模块，用于对经过抑制处理的所述第一亮度数据基础层的频域数据进行傅里叶逆变换，得到抑制处理后的亮度数据，作为第二亮度数据基础层。

可选的，在所述的图像锐化装置中，所述低频细节处理单元包括：

低频细节计算单元，用于提取所述第二亮度数据基础层的低频细节；

低频细节锐化单元，用于增强所述低频细节。

可选的，在所述的图像锐化装置中，所述低频细节计算单元包括：

双边滤波计算模块，用于对所述第二亮度数据基础层的亮度信息进行滤波；

低频细节提取模块，用于提取低频信号。

可选的，在所述的图像锐化装置中，所述正向细节包括中频细节和高频细节中的值大于0或等于0的信号；所述负向细节包括中频细节和高频细节中的值小于0的信号。

相应地，本发明还提供了一种图像锐化方法，包括：

计算待处理RGB图像的亮度域；

根据所述亮度域获取图像的平坦区域噪声，并且，通过所述亮度域与平坦区域噪声的差值得到第一亮度数据基础层；

将所述第一亮度数据基础层划分为高频细节、中频细节和低频细节，并且对所述中频细节和高频细节均进行抑制，以得到第二亮度数据基础层；

提取所述第二亮度数据基础层的低频细节，并且增强所述低频细节，以得到低频细节的锐化处理结果；

增强所述中频细节和高频细节，其中：所述中频细节中的正向细节和负向细节进行不同强度的映射，所述高频细节中的正向细节和负向细节进行不同强度的映射，以得到中频细节和高频细节的锐化处理结果；

将所述平坦区域噪声、低频细节的锐化处理结果以及中频细节和高频细节的锐化处理结果进行合并，以得到图像在亮度域上的锐化结果，并将所述锐化结果映射到RGB域。

可选的，在所述的图像锐化方法中，计算待处理RGB图像的亮度域之前，还包括：输入待处理RGB图像。

可选的，在所述的图像锐化方法中，将所述锐化结果映射到RGB域之后，还包括：输出RGB格式的锐化图像。

可选的，在所述的图像锐化方法中，通过高斯核滤波和高斯梯度核计算的方法获取图像的平坦区域噪声。

可选的，在所述的图像锐化方法中，根据所述亮度域获取图像的平坦区域噪声的方法包括：

对所述亮度域进行滤波；

计算滤波后的亮度域的高斯梯度值；

对所述高斯梯度值进行映射，以得到平坦区域权重；

根据所述平坦区域权重计算所述平坦区域噪声，并提取所述平坦区域噪声。

可选的，在所述的图像锐化方法中，将所述第一亮度数据基础层划分为高频细节、中频细节和低频细节的方法包括：所述第一亮度数据基础层中锐利的纹理和噪声信息作为高频细节；所述第一亮度数据基础层中的边缘信息作为中频细节；所述第一亮度数据基础层中在平坦区域的灰度分布信息作为低频细节。

可选的，在所述的图像锐化方法中，对所述中频细节和高频细节均进行抑制，以得到第二亮度数据基础层的方法包括：

将所述第一亮度数据基础层从空间域转换到频域，以得到第一亮度数据基础层的频域数据，以及每个像素的相位和幅值；

根据待处理RGB图像的尺寸以及抑制强度参数，计算中频细节和高频细节的抑制权重矩阵，并根据所述抑制权重矩阵对所述第一亮度数据基础层的频域数据中的中频细节和高频细节进行抑制处理；

对经过抑制处理后的第一亮度数据基础层的频域数据进行傅里叶逆变换，得到抑制处理后的亮度数据，作为第二亮度数据基础层。

可选的，在所述的图像锐化方法中，提取所述第二亮度数据基础层的低频细节的方法包括：

使用值域参数、空域参数和双边滤波窗的尺寸对所述第二亮度数据基础层进行双边滤波计算，计算后得到第三亮度数据基础层；

获取所述第三亮度数据基础层与所述第二亮度数据基础层的差值，作为所述第二亮度数据基础层的低频细节。

可选的，在所述的图像锐化方法中，增强所述低频细节，以得到低频细节的锐化处理结果的方法：

将图像分为高亮区域、中亮区域和低亮区域，对每组区域的低频细节采用不同的强度进行细节增强处理；

将细节增强处理的低频细节与所述第三亮度数据基础层合并，以得到低频细节的图像锐化结果。

在本发明提供的图像锐化装置及方法中，抑制了平坦区域噪声，有效避免后续锐化时对图像的平坦区域噪声的增强，并且，将图像的中高频细节和低频细节分开，进行不同方案的锐化处理，提高了图像的清晰度。同时，对图像的正向细节和负向细节也分别进行锐化处理，从而可以保持图像亮度域的整体均匀性，使得图像的边缘和纹理锐化更加自然，进一步提升图像的视觉质量和图像的真实性。

附图说明

图1是本发明实施例的图像锐化装置的示意图；

图2是本发明实施例的平坦区域噪声计算单元的示意图；

图3是本发明实施例的中高频细节计算单元的示意图；

图4是本发明实施例的低频计算单元的示意图；

图5是本发明实施例的图像锐化的流程图；

图中：110-图像输入单元、120-亮度域计算单元、130-平坦区域噪声计算单元、140-中高频细节计算单元、150-低频细节计算单元、160-低频细节锐化单元、170-中高频细节锐化单元、180-平坦区域噪声回加单元、190-图像输出单元。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

在下文中，术语“第一”“第二”等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换。类似的，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。

请参照图1至图4，本发明提供了一种图像锐化装置，包括：

亮度域计算单元120，用于计算待处理RGB图像的亮度域；

平坦区域噪声计算单元130，用于根据亮度域获取图像的平坦区域噪声，并且，通过亮度域与平坦区域噪声的差值得到第一亮度数据基础层；

中高频细节计算单元140，用于将第一亮度数据基础层划分为高频细节、中频细节和低频细节，并且对中频细节和高频细节均进行抑制，以得到第二亮度数据基础层；

低频细节处理单元，用于提取第二亮度数据基础层的低频细节，并且增强低频细节，以得到低频细节的锐化处理结果；

中高频细节锐化单元170，用于增强中频细节和高频细节，其中：中频细节中的正向细节和负向细节进行不同强度的映射，高频细节中的正向细节和负向细节进行不同强度的映射，以得到中频细节和高频细节的锐化处理结果；

平坦区域噪声回加单元180，用于将平坦区域噪声、低频细节的锐化处理结果以及中频细节和高频细节的锐化处理结果进行合并，以得到图像在亮度域上的锐化结果，并将锐化结果映射到RGB域。

进一步的，图像锐化装置还包括：图像输入单元110，用于输入待处理RGB图像，此处待处理RGB图像是指待锐化处理的图像。本发明实施例输入的待锐化处理的图像是RGB模式的图像，包括8bit、10bit、12bit、14bit、16bit和/或32bit的图像，根据配置的不同，输入图像数据的位宽大小也有所不同，默认为8bit的输入图像数据。

进一步的，还包括：图像输出单元190，用于输出RGB格式的锐化图像。

进一步的，平坦区域噪声计算单元130包括：高斯滤波计算模块131，用于对亮度域进行滤波；高斯梯度计算模块132，用于计算滤波后的亮度域的高斯梯度值；平坦区域权重映射模块133，用于对高斯梯度值进行映射，以得到平坦区域权重；平坦区域噪声提取模块134，用于根据平坦区域权重计算平坦区域噪声，并提取平坦区域噪声。

优选的，中高频细节计算单元140包括：傅里叶正变换计算模块141，用于将所述第一亮度数据基础层从空间域转换到频域，以得到第一亮度数据基础层的频域数据，以及每个像素的相位和幅值；频域中高频抑制模块142，用于根据待处理RGB图像的尺寸以及抑制强度参数，计算中频细节和高频细节的抑制权重矩阵，并根据抑制权重矩阵对第一亮度数据基础层的频域数据中中频细节和高频细节进行抑制处理；傅里叶逆变换计算模块143，用于对经过中高频抑制处理后的第一亮度数据基础层的频域数据进行傅里叶逆变换，得到抑制处理后的亮度数据，作为第二亮度数据基础层。

优选的，低频细节处理单元包括：低频细节计算单元150，用于提取第二亮度数据基础层的低频细节；低频细节锐化单元160，用于增强低频细节。

优选的，低频细节计算单元150包括：双边滤波计算模块151，用于对第二亮度数据基础层的亮度信息进行滤波；低频细节提取模块152，用于提取低频信号。

进一步的，正向细节包括中频细节和高频细节中的值大于0或等于0的信号；负向细节包括中频细节和高频细节中的值小于0的信号，也就是说本发明实施例将中频细节和高频细节作为一个整体，即中高频细节，中高频细节和低频细节分别进行不同方案的锐化处理，而中高频细节中的正向细节和负向细节又分别进行锐化处理，中高频细节中，大于0的信号为正向细节，小于0的为负向细节。

本发明提供了一种使用如图1至图4的图像锐化装置形成的图像锐化方法，对图像锐化装置中的单元和模块的作用进行更为具体的讲解，请参照图5，图像锐化方法包括：

S1：计算待处理RGB图像的亮度域；

S2：根据亮度域获取图像的平坦区域噪声，并且，通过亮度域与平坦区域噪声的差值得到第一亮度数据基础层；

S3：将第一亮度数据基础层划分为高频细节、中频细节和低频细节，并且对中频细节和高频细节均进行抑制，以得到第二亮度数据基础层；

S4：提取第二亮度数据基础层的低频细节，并且增强低频细节，以得到低频细节的锐化处理结果；

S5：增强中频细节和高频细节，其中：中频细节中的正向细节和负向细节进行不同强度的映射，高频细节中的正向细节和负向细节进行不同强度的映射，以得到中频细节和高频细节的锐化处理结果；

S6：将平坦区域噪声、低频细节的锐化处理结果以及中频细节和高频细节的锐化处理结果进行合并，以得到图像在亮度域上的锐化结果，并将所述锐化结果映射到RGB域。

进一步的，计算待处理RGB图像的亮度域之前，还包括：输入待处理RGB图像。由于输入图像是RGB格式的，为了使图像的锐化过程不受色度的干扰和影响，需要将其转换为亮度域，因此，需要对图像的亮度域进行计算，计算亮度域的方法如公式(1)：

Yn＝0.299*Rin+0.587*Gin+0.114*Bin (1)；

其中，Rin为输入图像数据R通道上对应的矩阵；Gin为输入图像数据G通道上对应的矩阵；Bin为输入图像数据B通道上对应的矩阵；Yn为亮度域数据。

进一步的，将所述锐化结果映射到RGB域之后，还包括：输出RGB格式的锐化图像。

优选的，通过高斯核滤波和高斯梯度核计算的方法获取图像的平坦区域噪声，输入图像包括平坦区域和非平坦区域，此处需要计算平坦区域的噪声。平坦区域噪声计算单元通过高斯核滤波和高斯梯度核计算的方法求得平坦区域噪声，在图像的亮度域数据中除去这一部分的平坦区域噪声即得到了第一亮度数据基础层。这样处理后，后续的图像锐化不会受到图像平坦区域噪声的干扰，使锐化后的图像平坦区域保持光滑自然，没有锯齿和明显的噪声影响，提高图像的视觉质量。

其中，步骤S2中，根据亮度域获取图像的平坦区域噪声的方法包括：

S21：对亮度域进行滤波；

S22：计算滤波后的亮度域的高斯梯度值；

S23：对高斯梯度值进行映射，以得到平坦区域权重；

S24：根据平坦区域权重计算平坦区域噪声，并提取平坦区域噪声。在步骤S21中，根据图像的亮度域信息，使用Sigma参数和wSize参数构建对应的高斯核对其进行滤波。高斯核的计算公式如公式(2)所示：

其中，Kernel_Gauss为高斯核，L为高斯核内部的距离值，Sigma为配置的参数，通常默认值为1，wSize为高斯核的尺寸，通常默认值为7。使用不同的参数进行滤波会得到不同的效果。此处以Sigma＝1，wSize＝7为例进行计算，Sigma＝1，wSize＝7时，其对应的7x7高斯核为：

计算得到高斯核后，将其作为卷积核对图像亮度域数据进行卷积，得到图像亮度域上的高斯值，该过程的具体计算如公式(3)所示：

其中：Kernel_Gauss为高斯核，Yn为亮度域数据，GaussYn为高斯值。

之后，计算图像亮度域与其对应的高斯值之间的差值，得到全局图像上的高斯噪声信息，该过程的具体计算如公式(4)所示：

Ni_Global＝Yn-GaussYn (4)；

其中，Ni_Global为高斯噪声信息，Yn为亮度域数据，GaussYn为高斯值。接着，对该高斯核进行求导，得到高斯导数核。其计算如公式(5)：

其中，Kernel_Der为高斯导数核；L为核内部的距离值，Sigma为配置的参数，通常选择默认值为1。利用高斯核对高斯导数核进行卷积处理得到所需要的梯度核，将其称为高斯梯度核。由于梯度是具有方向性的，因此，将高斯梯度核的计算简化为水平高斯梯度核和垂直高斯梯度核的计算。此处以Sigma＝1，wSize＝7为例，其对应的水平高斯梯度核为：

而其对应的垂直高斯梯度核等价于将水平高斯梯度核翻转90°，因此，垂直高斯梯度核如下：

其中：Kernel_Gradh为水平高斯梯度核；Kernel_Gradv为垂直高斯梯度核后。

计算得到水平高斯梯度核和垂直高斯梯度核后，将其作为卷积核对图像的亮度域进行卷积，分别得到图像亮度域的水平高斯梯度和垂直高斯梯度，再将两者的平方和进行开方得到了图像的高斯梯度值。该过程的具体计算如公式(6)、公式(7)和公式(8)所示：

其中：GaussGradh为水平高斯梯度值；Yn为亮度域数据；Kernel_Gradh为水平高斯梯度核；GaussGradv为垂直高斯梯度；Kernel_Gradv为垂直高斯梯度核；GaussGrad为高斯梯度值。

接着，执行步骤S23：对高斯梯度值进行映射，以得到平坦区域权重。具体的，平坦区域权重的计算如公式(9)：

WgtFlat＝1-CLIP((GaussGrad-GradThr)×GradSlo+GradBias，0，1) (9)；

其中，GaussGrad为高斯梯度值；WgtFlat为平坦区域权重；GradThr、GradSlo和GradBias均为配置的权重映射参数，用来将高斯梯度值GaussGrad映射为区间[0，1]的权重矩阵，具体表现是该点的高斯梯度值越小，平坦区域权重WgtFlat值越大，则其越趋近于平坦区域，该点的高斯梯度值越大，平坦区域权重WgtFlat值越小，则其越趋近于非平坦区域。

最后，执行步骤S24：根据平坦区域权重计算平坦区域噪声，并提取平坦区域噪声。平坦区域噪声的计算公式如公式(10)：

Ni_Flat＝Ni_Global×WgtFlat (10)；

其中：Ni_Flat为平坦区域噪声；Ni_Global为高斯噪声信息；WgtFlat为平坦区域权重。

在图像亮度域上减去平坦区域噪声，即可得到不包含平坦区域噪声信息的第一亮度数据基础层，第一亮度数据基础层的计算如公式(11)：

Base0＝Yn-Ni_Flat (11)；

其中：Base0为第一亮度数据基础层；Yn为亮度域数据；Ni_Flat为平坦区域噪声。

接着，执行步骤S3：将第一亮度数据基础层划分为高频细节、中频细节和低频细节，并且对中频细节和高频细节均进行抑制，以得到第二亮度数据基础层。图像中，高频细节主要表示图像锐利的纹理和噪声信息，中频细节主要表示图像的边缘信息，而低频细节主要表示图像在平坦区域的灰度分布信息。因此，将第一亮度数据基础层划分为高频细节、中频细节和低频细节的方法包括：第一亮度数据基础层中锐利的纹理和噪声信息作为高频细节；第一亮度数据基础层中的边缘信息作为中频细节；第一亮度数据基础层中在平坦区域的灰度分布信息作为低频细节。

而其中对中频细节和高频细节均进行抑制，以得到第二亮度数据基础层的方法包括：

S31：将第一亮度数据基础层从空间域转换到频域，以得到第一亮度数据基础层的频域数据，以及每个像素的相位和幅值；

S32：根据待处理RGB图像的尺寸以及抑制强度参数，计算中频细节和高频细节的抑制权重矩阵，并根据抑制权重矩阵对第一亮度数据基础层的频域数据中的中频细节和高频细节进行抑制处理；

S33：对经过抑制处理后的第一亮度数据基础层的频域数据进行傅里叶逆变换，得到抑制处理后的亮度数据，作为第二亮度数据基础层。

步骤S31中，二维离散傅里叶变换是数学意义上的一种传统数字变换方法，用于将第一亮度数据基础层从空间域转换到频域上，得到图像每个像素的相位和幅值。该过程的具体计算如公式(12)所示：

FFT＝FFtp(Base0) (12)；

其中：FFT为频域上的图像；Base0为第一亮度数据基础层。经过二维离散傅里叶变换计算后，会得到第一亮度数据基础层的频域数据，其幅值代表着能量的大小，也就是每一个频率上的能量大小。此时，第一亮度数据基础层的低频信号会集中在图像的中心，图像的中频信号和高频信号会集中在图像的四角处。传统的中高频抑制方法是将四角处的中频和高频部分的能量值置为0，以此来抑制中频细节和高频细节。但是这种方法较为生硬，且容易产生较大的人工痕迹。本文提出了一种高斯频域抑制的方法来进行图像频域中的中频细节和高频细节的抑制。首先，根据图像的尺寸，即图像的高度(height)和宽度(width)以及配置的抑制强度参数来进行抑制权重矩阵的生成，该过程的计算公式与高斯核的计算公式一致，如公式(13)和公式(14)所示：

WgtLmt＝fspecial(′gaussian′，[height，width]，Sh) (13)；

WgtLmt＝WgtLmt/max(WgtLmt) (14)；

其中：Sh为抑制强度参数；height为图像的高度；width为图像的宽度；gaussian为高斯滤波的函数名；fspecial()为对应的高斯核计算函数；WgtLmt为抑制权重矩阵。

公式(13)表示生成一个尺寸为图像自身幅面的高斯核，公式(14)表示对生成的高斯核进行归一化操作，以得到中频细节和高频细节的抑制权重矩阵。该抑制权重矩阵具体表现为中间区域权重为1，四周权重逐渐渐变为0的一个符合高斯分布的渐变权重矩阵，配置的参数Sh越大，则中间区域为1的范围越大，四周渐变为0的范围越小，被抑制的中频细节和高频细节的范围越小；反之，参数Sh越小，则中间区域为1的范围越小，四周渐变为0的范围越大，被抑制的中频细节和高频细节的范围越大，但是参数Sh过小也会导致低频信号被误判为高频信号进行抑制。

而配置的参数Sh可以根据经验进行配置。为了能够自适应不同幅面的频域抑制，本文给出经过实验验证的较为合适的Sh计算公式，该计算公式具体如公式(15)所示：

Sh＝sqrt(height²+width²)/4 (15)；

其中：Sh为配置的参数；height为图像的高度；width为图像的宽度。得到中频细节和高频细节的抑制权重矩阵后，对频域数据进行中频细节和高频细节的抑制处理，该过程具体计算如公式(16)：

FFT_Lmt＝FFT×WgtLmt (16)；

其中：FFT为频域数据；WgtLmt为中频细节和高频细节的抑制权重矩阵；FFT_Lmt为中频细节和高频细节的抑制处理后的频域数据。对经过中高频抑制过后的图像频域矩阵进行傅里叶逆变换，即可得到抑制处理后的亮度数据，即可认为不含平坦区域噪声以及中频细节和高频细节信息的第二亮度数据基础层，第二亮度数据基础层的具体计算如公式(17)

Base1＝iFFtp(FFT_Lmt) (17)；

其中：Base1为第二亮度数据基础层；FFT_Lmt为中频细节和高频细节的抑制处理后的频域数据。

将第一亮度数据基础层和第二亮度数据基础层进行差值计算，即可得到中频细节和高频细节信号，该过程具体计算如公式(18)：

yDiff1＝Base0-Base1 (18)；

其中：yDiff1为中频细节和高频细节信号；Base0为第一亮度数据基础层；Base1为第二亮度数据基础层。

进一步的，经过104中高频细节计算单元的计算，得到了不含平坦区域噪声以及中频细节和高频细节信息的第二亮度数据基础层，此时，第二亮度数据基础层可以视为由灰度信号以及一部分低频细节构成。双边滤波器的输出像素依赖于邻域像素值的加权组合，同时考虑了空间域与值域的区别。它是一种典型的保边滤波器，其特点是保留图像的边缘纹理等中频细节和高频细节的，滤除图像的低频信号。因此，在105单元中，对第二亮度数据基础层使用双边滤波器可以较为理想地进行低频细节的提取。提取第二亮度数据基础层的低频细节的方法包括：

使用值域参数、空域参数和双边滤波窗的尺寸对第二亮度数据基础层进行双边滤波计算，计算后得到第三亮度数据基础层；

获取第三亮度数据基础层与第二亮度数据基础层的差值，作为第二亮度数据基础层的低频细节。

优选的，步骤S4中，增强低频细节，以得到低频细节的锐化处理结果的方法：

S41：将图像分为高亮区域、中亮区域和低亮区域，对每组区域的低频细节采用不同的强度进行细节增强处理；

S42：将细节增强处理的低频细节与所述第三亮度数据基础层合并，以得到低频细节的图像锐化结果。

具体的，首先，根据第二亮度数据基础层的亮度信息，使用值域参数、空域参数和双边滤波窗的尺寸进行双边滤波计算。目标像素点的权重系数的计算如公式(19)所示：

其中，w为目标像素点的权重系数；Sigma_d为值域参数；Sigma_s为空域参数；L为目标像素距离中心点的距离值，AbsDif为目标像素与中心点像素值的绝对差值。Sigma_d和Sigma_s均为配置的参数，通常选择默认值为2和0.3。使用不同的参数滤波会得到不同的效果。双边滤波的具体计算如公式(20)：

其中，w为目标像素点的权重系数；wSize为双边滤波窗的尺寸，wSize通常选择默认值为15；i，j为目标像素在双边滤波窗中的坐标；Base1为第二亮度数据基础层；Base2为第三亮度数据基础层。

接着，将第二亮度数据基础层和第三亮度数据基础层进行差值计算，即可得到低频细节信号，该过程具体计算如公式(21)：

yDiff2＝Base1-Base2 (21)；

其中：yDiff1为低频细节信号；Base1为第二亮度数据基础层；Base2为第三亮度数据基础层。

接着，为了让图像的低频细节显得更加清晰、真实，需要对提取得到的图像低频细节信号进行增强。由于图像低频细节本身的强度较弱，按照传统的细节增强方式，即根据图像细节强度的大小来进行细节增强，可能会导致图像低频细节的突兀变化。本文根据第三亮度数据基础层的亮度数据的灰度分布，将图像分为高亮、中亮和低亮三组区域，对每组区域的低频细节采用不同的强度进行细节增强，高亮、中亮和低亮三组区域的划分方式如公式(22)、公式(23)和公式(24)。

高亮区域的权重分布矩阵LumaMapH的具体计算如公式(22)：

LumaMapH＝(Base2^gammaH)² (22)；

低亮区域的权重分布矩阵LumaMapL的具体计算如公式(23)：

LumaMapL＝((1-Base2)^gammaL)² (23)；

中亮区域的权重分布矩阵LumaMapM的具体计算如公式(24)：

LumaMapM＝1-LumaMapH-LumaMapL (24)；

其中，LumaMapH为高亮区域的权重分布矩阵；LumaMapL为低亮区域的权重分布矩阵；LumaMapM为中亮区域的权重分布矩阵；Base2为第三亮度数据基础层；gammaH是配置的影响高亮区域的权重分布的参数，gammaL是配置的影响低亮区域的权重分布的参数，通常情况下，高亮区域的参数gammaH的值会大于1，而低亮区域的参数gammaL的值会小于1。在默认的情况下，gammaH＝1.8，gammaL＝0.9。

最后，根据高亮区域、中亮区域和低亮区域三个区域的权重分布，对其进行不同强度的增强，并与第三亮度数据基础层合并，得到低频细节的图像锐化结果，该过程的具体计算如公式(25)和公式(26)：

GainD2＝LumaMapH×StrH+LulmaMapM×StrM+LumaMapL×StrL (25)；

Yc1＝Base2+GainD2×yDiff2 (26)；

其中，Yc1为低频细节的图像锐化结果；GainD2是低频细节信号；yDiff2的最终增强比例，Base2为第三亮度数据基础层；StrH为对应的高亮区域的低频细节增强强度，SrrM为对应的中亮区域的低频细节增强强度，StrL为对应的低亮区域的低频细节增强强度，这三个值均需要大于1，在默认的情况下，StrH＝4，StrM＝2，StrL＝4。

接着，执行步骤S5，在对图像的低频细节信号进行增强后，根据得到的中频细节和高频细节信号的强度值，对其进行非线性细节增强，并针对正向细节和负向细节进行不同强度的强度映射。该过程的具体计算如公式(27)、公式(28)和公式(29)：

GainDo＝(abs(yDiff1)-DiffTh1)×DiffSlo1+DiffBias1 (27)；

GainDo＝CLIP(GainDo，DiffMin1，DiffMax1) (28)；

其中，yDiff1为中频细节和高频细节信号；GainD1是中频细节和高频细节信号的最终增强比例，DiffTh1为中频细节和高频细节信号的增强比例分别对应的阈值，DiffSlo1为中频细节和高频细节信号的增强比例分别对应的斜率，DiffBias1为中频细节和高频细节信号的增强比例分别对应的偏置，DiffMin1为中频细节和高频细节信号的增强比例对应的最小值，DiffMax1为中频细节和高频细节信号的增强比例对应的最大值；PosStr1为针对正向细节(即yDiff1≥0)的增益强度；PosStr2为针对负向细节(即yDiff1＜0)的增益强度。

接着，完成了中频细节和高频细节的最终增强比例计算后，需要将中频细节和高频细节增强后与低频细节的图像锐化结果进行合并，得到低频细节和中频细节和高频细节的图像锐化结果，该过程的具体计算如公式(30)：

Yc0＝Yc1+GainD1×yDiff1 (30)；

其中：Yc0为低频细节和中频细节和高频细节的图像锐化结果；Yc1为低频细节的图像锐化结果；yDiff1为中频细节和高频细节信号。

接着，执行步骤S6，因为在步骤S2中提取出了图像的平坦区域噪声信息，为了让最后锐化的图像结果更加真实自然，进一步提高图像的视觉效果，需要将这一部分噪声信息按照一定的比例回加回去。该回加过程与中频细节和高频细节增强类似，其具体计算过程如公式(31)、公式(32)和公式(33)：

GainDo＝(abs(Ni_Flat)-DiffTh0)×DiffSlo0+DiffBias0 (31)；

GainDo＝CLIP(GainDo，DiffMin0，DiffMax0) (32)；

其中，Ni_Flat为平坦区域噪声；GainD0是平坦区域噪声的最终增强比例，DiffTh0为平坦区域噪声的最终增强比例的阈值、DiffSlo0为平坦区域噪声的最终增强比例的斜率、DiffBias0为平坦区域噪声的最终增强比例的偏置，DiffMin0为平坦区域噪声的最终增强比例对应的最小值；DiffMax0为平坦区域噪声的最终增强比例对应最大值；PosStr0和PosStr0为针对正向噪声(即Ni_Flat≥0)和负向噪声(即Ni_Flat＜0)的增益强度。

接着，完成了平坦区域噪声的最终增强比例计算后，需要将中频细节和高频细节增强后与低频细节和中频细节和高频细节的图像锐化结果进行合并，得到图像亮度域上的锐化结果，该过程的具体计算如公式(34)：

YcOut＝Yc0+GainD0×Ni_Flat (34)；

其中：Yc0ut为图像亮度域上的锐化结果；YC0为低频细节和中频细节和高频细节的图像锐化结果；GainD0是平坦区域噪声的最终增强比例；Ni_Flat为平坦区域噪声。得到图像亮度域上的锐化结果之后，在后续计算中，将亮度域上的锐化结果映射到RGB域上，就能得到输入图像的最终锐化结果，该映射过程有多种映射方法，例如YCbCr空间图像映射、CMYK空间图像映射、HSL空间图像映射和亮度空间映射过程，此处以两种最为常见的映射方式YCbCr空间图像映射和亮度空间映射过程来进行具体介绍。

具体的，YCbCr空间图像映射过程的具体计算如公式(35)和公式(36)：

其中，Cb/Cr为RGB图像对应的两个色域空间；Rin为输入图像数据R通道上对应的矩阵，Gin为输入图像数据G通道上对应的矩阵，Bin为输入图像数据B通道上对应的矩阵，Yc0ut为图像亮度域上的锐化结果；Rout为对应的RGB锐化图像数据R通道上的值，Gout为对应的RGB锐化图像数据G通道上的值，Bout为对应的RGB锐化图像数据B通道上的值。

亮度空间映射过程的具体计算如公式(37)：

其中，Rin为输入图像数据R通道上对应的矩阵；Gin为输入图像数据G通道上对应的矩阵；Bin为输入图像数据B通道上对应的矩阵；Rout为对应的RGB锐化图像数据R通道上的值；Gout为对应的RGB锐化图像数据G通道上的值；Bout为对应的RGB锐化图像数据B通道上的值；Yc0ut为图像亮度域上的锐化结果；Yn为亮度域数据。最后输出的Rout、Gout和Bout即为锐化处理后的RGB图像各个通道上的数据。

综上，在本发明实施例提供的图像锐化装置及方法中，抑制了平坦区域噪声，有效避免后续锐化时对图像的平坦区域噪声的增强，并且，将图像的中高频细节和低频细节分开，进行不同方案的锐化处理，提高了图像的清晰度。同时，对图像的正向细节和负向细节也分别进行锐化处理，从而可以保持图像亮度域的整体均匀性，使得图像的边缘和纹理锐化更加自然，进一步提升图像的视觉质量。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (18)

1.一种图像锐化装置，其特征在于，包括：

亮度域计算单元，用于计算待处理RGB图像的亮度域；

平坦区域噪声计算单元，用于根据所述亮度域获取图像的平坦区域噪声，并且，通过所述亮度域与平坦区域噪声的差值得到第一亮度数据基础层；

中高频细节计算单元，用于将所述第一亮度数据基础层划分为高频细节、中频细节和低频细节，并且对所述中频细节和高频细节均进行抑制，以得到第二亮度数据基础层；

低频细节处理单元，用于提取所述第二亮度数据基础层的低频细节，并且增强所述低频细节，以得到低频细节的锐化处理结果；

中高频细节锐化单元，用于增强所述中频细节和高频细节，其中：所述中频细节中的正向细节和负向细节进行不同强度的映射，所述高频细节中的正向细节和负向细节进行不同强度的映射，以得到所述中频细节和高频细节的锐化处理结果；

平坦区域噪声回加单元，用于将所述平坦区域噪声、低频细节的锐化处理结果以及中频细节和高频细节的锐化处理结果进行合并，以得到图像在亮度域上的锐化结果，并将所述锐化结果映射到RGB域。

2.如权利要求1所述的图像锐化装置，其特征在于，还包括：图像输入单元，用于输入待处理RGB图像。

3.如权利要求2所述的图像锐化装置，其特征在于，所述待处理RGB图像包括8bit、10bit、12bit、14bit、16bit和/或32bit的图像。

4.如权利要求1所述的图像锐化装置，其特征在于，还包括：图像输出单元，用于输出RGB格式的锐化图像。

5.如权利要求1所述的图像锐化装置，其特征在于，所述平坦区域噪声计算单元包括：

高斯滤波计算模块，用于对所述亮度域进行滤波；

高斯梯度计算模块，用于计算滤波后的亮度域的高斯梯度值；

平坦区域权重映射模块，用于对所述高斯梯度值进行映射，以得到平坦区域权重；

平坦区域噪声提取模块，用于根据所述平坦区域权重计算所述平坦区域噪声，并提取所述平坦区域噪声。

6.如权利要求1所述的图像锐化装置，其特征在于，所述中高频细节计算单元包括：

傅里叶正变换计算模块，用于将所述第一亮度数据基础层从空间域转换到频域，以得到第一亮度数据基础层的频域数据，以及每个像素的相位和幅值；

频域中高频抑制模块，用于根据所述待处理RGB图像的尺寸以及抑制强度参数，计算中频细节和高频细节的抑制权重矩阵，并根据所述抑制权重矩阵对所述第一亮度数据基础层的频域中的中频细节和高频细节进行抑制处理；

傅里叶逆变换计算模块，用于对经过抑制处理的所述第一亮度数据基础层的频域数据进行傅里叶逆变换，得到抑制处理后的亮度数据，作为第二亮度数据基础层。

7.如权利要求1所述的图像锐化装置，其特征在于，所述低频细节处理单元包括：

低频细节计算单元，用于提取所述第二亮度数据基础层的低频细节；

低频细节锐化单元，用于增强所述低频细节。

8.如权利要求7所述的图像锐化装置，其特征在于，所述低频细节计算单元包括：

双边滤波计算模块，用于对所述第二亮度数据基础层的亮度信息进行滤波；

低频细节提取模块，用于提取低频信号。

9.如权利要求1所述的图像锐化装置，其特征在于，所述正向细节包括中频细节和高频细节中的值大于0或等于0的信号；所述负向细节包括中频细节和高频细节中的值小于0的信号。

10.一种使用如权利要求1～9任一项所述的图像锐化装置形成的图像锐化方法，其特征在于，包括：

计算待处理RGB图像的亮度域；

根据所述亮度域获取图像的平坦区域噪声，并且，通过所述亮度域与平坦区域噪声的差值得到第一亮度数据基础层；

将所述第一亮度数据基础层划分为高频细节、中频细节和低频细节，并且对所述中频细节和高频细节均进行抑制，以得到第二亮度数据基础层；

提取所述第二亮度数据基础层的低频细节，并且增强所述低频细节，以得到低频细节的锐化处理结果；

增强所述中频细节和高频细节，其中：所述中频细节中的正向细节和负向细节进行不同强度的映射，所述高频细节中的正向细节和负向细节进行不同强度的映射，以得到中频细节和高频细节的锐化处理结果；

将所述平坦区域噪声、低频细节的锐化处理结果以及中频细节和高频细节的锐化处理结果进行合并，以得到图像在亮度域上的锐化结果，并将所述锐化结果映射到RGB域。

11.如权利要求10所述的图像锐化方法，其特征在于，计算待处理RGB图像的亮度域之前，还包括：输入待处理RGB图像。

12.如权利要求10所述的图像锐化方法，其特征在于，将所述锐化结果映射到RGB域之后，还包括：输出RGB格式的锐化图像。

13.如权利要求10所述的图像锐化方法，其特征在于，通过高斯核滤波和高斯梯度核计算的方法获取图像的平坦区域噪声。

14.如权利要求10所述的图像锐化方法，其特征在于，根据所述亮度域获取图像的平坦区域噪声的方法包括：

对所述亮度域进行滤波；

计算滤波后的亮度域的高斯梯度值；

对所述高斯梯度值进行映射，以得到平坦区域权重；

根据所述平坦区域权重计算所述平坦区域噪声，并提取所述平坦区域噪声。

15.如权利要求10所述的图像锐化方法，其特征在于，将所述第一亮度数据基础层划分为高频细节、中频细节和低频细节的方法包括：

所述第一亮度数据基础层中锐利的纹理和噪声信息作为高频细节；

所述第一亮度数据基础层中的边缘信息作为中频细节；

所述第一亮度数据基础层中在平坦区域的灰度分布信息作为低频细节。

16.如权利要求15所述的图像锐化方法，其特征在于，对所述中频细节和高频细节均进行抑制，以得到第二亮度数据基础层的方法包括：

将所述第一亮度数据基础层从空间域转换到频域，以得到第一亮度数据基础层的频域数据，以及每个像素的相位和幅值；

根据待处理RGB图像的尺寸以及抑制强度参数，计算中频细节和高频细节的抑制权重矩阵，并根据所述抑制权重矩阵对第一亮度数据基础层的频域数据中的中频细节和高频细节进行抑制处理；

对经过抑制处理后的第一亮度数据基础层的频域数据进行傅里叶逆变换，得到抑制处理后的亮度数据，作为第二亮度数据基础层。

17.如权利要求10所述的图像锐化方法，其特征在于，提取所述第二亮度数据基础层的低频细节的方法包括：

使用值域参数、空域参数和双边滤波窗的尺寸对所述第二亮度数据基础层进行双边滤波计算，计算后得到第三亮度数据基础层；

获取所述第三亮度数据基础层与所述第二亮度数据基础层的差值，作为所述第二亮度数据基础层的低频细节。

18.如权利要求17所述的图像锐化方法，其特征在于，增强所述低频细节，以得到低频细节的锐化处理结果的方法：

将图像分为高亮区域、中亮区域和低亮区域，对每组区域的低频细节采用不同的强度进行细节增强处理；

将细节增强处理的低频细节与所述第三亮度数据基础层合并，以得到低频细节的图像锐化结果。

Images