CN116527922A - 图像编码方法及其相关装置 - Google Patents

Abstract

本申请公开了一种图像编码方法及其相关装置。该图像编码方法包括：提取待处理图像的高频信息而得到高频图像；基于所述高频图像中至少部分像素点及其邻域像素点的值，计算出所述至少部分像素点的主特征值；基于所述至少部分像素点的主特征值，确定所述待处理图像中的重要像素点；对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像；对所述锐化增强图像进行编码，以得到编码码流。本申请可以减小图像锐化处理对编码压缩率的影响，从而可以在保证压缩率的同时增强图像主观质量。

Description

图像编码方法及其相关装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像编码方法及其相关装置。

背景技术

当下的主流图像/视频编码技术都是基于块的混合编码方案，通过去除图像/视频中时域与空域的冗余信息，以达到对图像/视频的压缩。由于现有的图像/视频压缩技术是一种有损的压缩方式，尤其在纹理细节等方面造成了一定的损失。并且在优先考虑高压缩率的场景下，往往容易忽略图像的主观质量，主要是因为图像/视频编码的码率越低，则设置的量化参数越大，对高频的纹理、边缘细节等区域造成的损失越为严重，因此解码出来之后，纹理区域的主观质量往往容易出现模糊、失真、甚至马赛克的现象。

相关技术虽然通过锐化增强方法对待编码图像进行锐化增强，但是相关技术的锐化增强操作会使得编码的压缩率大幅提高。

发明内容

本申请提供一种图像编码方法及其相关装置，可以减小图像锐化处理对编码压缩率的影响，从而可以在保证压缩率的同时增强图像主观质量。

为达到上述目的，本申请提供一种图像编码方法，该方法包括：

提取待处理图像的高频信息而得到高频图像；

基于所述高频图像中至少部分像素点及其邻域像素点的值，计算出所述至少部分像素点的主特征值；

基于所述至少部分像素点的主特征值，确定所述待处理图像中的重要像素点；

对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像；

对所述锐化增强图像进行编码，以得到编码码流。

在一实施例中，所述基于所述高频图像中至少部分像素点及其邻域像素点的值，计算出所述至少部分像素点的主特征值，包括：

将所述高频图像中每一像素点及其邻域像素点的值进行加权，以得到所述每一像素点的主特征值；或，

将所述高频图像中每一像素点的值进行转换，得到所述每一像素点的从特征值；将所述每一像素点的从特征值及其邻域像素点的从特征值进行加权，以得到所述每一像素点的主特征值。

在一实施例中，所述基于所述至少部分像素点的主特征值，确定所述待处理图像中的重要像素点，包括：

将所述每一像素点的主特征值和第一阈值进行比较，以确认所述每一像素点是否为重要像素点。

在一实施例中，所述高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述主特征值产生影响的正向因素，所述将所述每一像素点的主特征值和第一阈值进行比较，以确认所述每一像素点是否为重要像素点，包括：

将所述主特征值大于第一阈值的像素点作为重要像素点；

将所述主特征值小于所述第一阈值的像素点作为非重要像素点。

在一实施例中，

所述待处理图像包括多个图像块，所述基于所述至少部分像素点的主特征值，确定所述待处理图像中的重要像素点，包括：基于所述待处理图像中每个图像块中至少部分像素的主特征值，确认每个图像块是纹理复杂块还是纹理简单块；基于所述纹理复杂块中每个像素点的主特征值，确认所述纹理复杂块中的每个像素点是否是重要像素点；

所述对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像，包括：对所述纹理复杂块中的所述重要像素点进行增强操作，以得到所述锐化增强图像。

在一实施例中，所述基于所述待处理图像中每个图像块中至少部分像素的主特征值，确认每个图像块是纹理复杂块还是纹理简单块，包括：

将所述每个图像块中的至少部分像素的主特征值进行加权而得到所述每个图像块的空域复杂度；

基于所述每个图像块的空域复杂度确认每个图像块是纹理复杂块还是纹理简单块。

在一实施例中，所述每个图像块中的所述至少部分像素中每一像素点的主特征值均为对所述每个图像块的所述空域复杂度产生影响的正向因素，

所述基于所述每个图像块的空域复杂度确认每个图像块是纹理复杂块还是纹理简单块，包括：

将所述空域复杂度大于第三阈值的图像块作为纹理复杂块；

将所述空域复杂度小于所述第三阈值的图像块作为纹理简单块。

在一实施例中，所述对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像，之后包括：

对所述锐化增强图像或所述锐化增强图像所属视频进行编码，以得到编码码流。

在一实施例中，所述提取待处理图像的高频信息而得到高频图像，包括：

对所述待处理图像进行滤波处理，得到滤波图像；

将所述待处理图像和所述滤波图像相减而得到所述高频图像。

在一实施例中，所述对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像，包括：

将所述重要像素点在所述待处理图像和所述滤波图像中的值进行加权，以得到所述锐化增强图像。

为达到上述目的，本申请还提供一种电子设备，该电子设备包括处理器；所述处理器用于执行指令以实现如上述方法的步骤。

为达到上述目的，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。

本申请先提取待处理图像的高频信息而得到高频图像，继而基于高频图像中至少部分像素点及其邻域像素点的值计算出至少部分像素点的主特征值，继而利用至少部分像素点的主特征值确定至少部分像素点是否为需要进行增强操作的重要像素点，如此利用每一像素点及其邻域像素点的值综合确认每一像素点是否需要进行增强操作，可以降低噪声像素点被增强的几率，从而提高了输出图像的质量；并且可以对所述锐化增强图像或所述锐化增强图像所属视频进行编码，以得到编码码流；如此可以进行像素级的增强，且可以降低噪声像素点被增强的几率，从而可以减小图像锐化处理对图像或视频压缩率的影响，从而可以在保证压缩率的同时增强图像主观质量。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请图像锐化方法一实施方式的流程示意图；

图2是本申请图像锐化方法一实施例的流程示意图；

图3是本申请图像锐化方法中待处理图像的示意图；

图4是本申请图像锐化方法中滤波算子的示意图；

图5是本申请图像锐化方法中滤波图像的示意图；

图6是本申请图像锐化方法中残差图像的示意图；

图7是本申请图像锐化方法中从特征值图像的示意图；

图8是本申请图像锐化方法中待处理图像中各个图像块的示意图；

图9是本申请图像锐化方法中纹理复杂块中重要像素点的示意图；

图10是本申请图像锐化方法处理得到的锐化增强图像的示意图；

图11是本申请电子设备一实施方式的结构示意图；

图12是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。

目前一般通过图像锐化方法对图像进行锐化处理，以提高图像的主观质量。

相关图像锐化方法将彩色图像的每个颜色通道的原始图像叠加一个边缘增益组成锐化后的该颜色通道；每个边缘增益均取自彩色图像中或作为彩色图像处理重点的局部中最丰富的颜色通道图像，以使得彩色图像边缘反差更大，更为清晰。该相关图像锐化方法虽然增强了图像中的全部纹理信息，但是由于噪声和细节纹理的频率比较接近，因此在锐化处理全部纹理的同时，不可避免地锐化处理了噪声，使得在提升了图像清晰度的同时，也降低了图像的信噪比，从而影响该输出图像的质量。

基于此，本申请提出一种图像锐化方法，该图像锐化方法先提取待处理图像的高频信息而得到高频图像，继而基于高频图像中每一像素点及其邻域像素点的值计算出每一像素点的主特征值，继而利用每一像素点的主特征值确定每一像素点是否为需要进行增强操作的重要像素点，如此利用每一像素点及其邻域像素点的值综合确认每一像素点是否需要进行增强操作，可以降低噪声像素点被增强的几率，从而提高了输出图像的质量。

具体地，如图1所示，本申请提出的第一种实施方式的图像锐化方法具体包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本申请技术思想的基础上，任意更换执行顺序。此外，该实施方式的图像锐化方法的相关内容可以和其余实施方式的图像锐化方法进行组合。

S101：提取待处理图像的高频信息，得到高频图像。

可以先提取待处理图像的高频信息，得到高频图像，以便后续基于高频图像中每一像素点及其邻域像素点的值综合确认每一像素点是否需要进行增强操作。

可选地，图像的高频信息对应着图像变化剧烈的部分，也就是图像的边缘(轮廓)以及细节部分，其主要是对图像边缘和轮廓的度量。如此，通过提取待处理图像的高频信息，可以得到待处理图像的高频图像。

在一实施例中，可以先对待处理图像进行滤波处理，得到滤波图像；然后将待处理图像和滤波图像相减，得到高频图像。

可选地，对待处理图像进行滤波可以是：通过使用某种滤波器，抑制或尽可能保留图像中的某个频率范围或者增强图像中的某个频率范围的像素。例如，可以通过对待处理图像进行滤波抑制高频的像素或增强低频的像素，即可以对待处理图像进行低通滤波。

具体地，可以通过算子对待处理图像进行卷积滤波，其中/>算子包括但不限于/>滤波算子、/>滤波算子等滤波算子，滤波公式可如下所示：

；

其中，为滤波算子，且算子的模板尺寸为(2S+1)x(2S+1)，/>为待处理图像中的像素点/>的原始像素值，/>为像素点/>滤波后的像素值。

完成待处理图像的滤波图像计算后，可以通过计算待处理图像中原始像素值与滤波图像像素值的差值，得到高频图像。进一步地，为了提高计算效率，可以在计算出待处理图像中原始像素值与滤波图像像素值的差值后，取差值的绝对值而得到高频图像，即高频图像中/>像素点的像素值/>的计算公式可为：

。

在另一实施例中，可以直接提取得到待处理图像的高频信息。例如，可以对待处理图像进行高通滤波，以得到待处理图像的高频图像。

S102：基于高频图像中至少部分像素点及其邻域像素点的值，计算出至少部分像素点的主特征值。

可选地，可以计算待处理图像中全部像素点的主特征值，也可以计算待处理图像中部分像素点的主特征值，在此不做限制。

提取待处理图像的高频信息而得到高频图像后，可以基于高频图像中至少部分像素点及其邻域像素点的值，计算出至少部分像素点的主特征值，以便后续利用至少部分像素点的主特征值确认待处理图像中的重要像素点。

在第一实现的方式中，可以将至少部分像素点中每一像素点及其邻域像素点的值进行加权，以得到每一像素点的主特征值。

可选地，每一像素点及其邻域像素点的加权系数可以根据实际情况（例如依据周围像素点对每一像素点的影响程度来确定）进行设定，在此不做限制。较为优选的是，当前计算主特征值的像素点的加权系数大于当前计算主特征值的像素点的邻域像素点的加权系数。进一步地，邻域像素点到当前计算主特征值的像素点之间的距离与邻域像素点的加权系数呈负相关，即邻域像素点和当前计算主特征值的像素点之间的距离越远，该邻域像素点的加权系数远小。

此外，参与每一像素点的主特征值计算的每一像素点的邻域像素点的范围也可以根据实际情况进行设定，在此不做限制。例如，可以选与每一像素点最接近的四个像素点参与每一像素点的主特征值计算。又例如，可以选与每一像素点最接近的八个像素点参与每一像素点的主特征值计算。

在第二实现的方式中，可以将高频图像中至少部分像素点中的每一像素点的值先进行转换，得到每一像素点的从特征值；然后将每一像素点的从特征值及其邻域像素点的从特征值进行加权，以得到每一像素点的主特征值。一般来说，高频图像中所有像素点的从特征值不会完全相同。可选地，高频图像中每一像素点的像素值可以为对每一像素点的从特征值产生影响的正向因素，即在高频图像中两个像素值不同的像素点中，像素值大的像素点的从特征值可以大于或等于像素值小的像素点的从特征值。当然，在其他实施例中，高频图像中每一像素点的像素值可以为对每一像素点的从特征值产生影响的负向因素，即在高频图像中两个像素值不同的像素点中，像素值大的像素点的从特征值可以小于或等于像素值小的像素点的从特征值。

其中，高频图像中每一像素点的值转换的方式可以根据实际情况进行设定，在此不做限制。例如可以采用如“转换值=2×像素值+1”所示的一次函数或二次函数等映射函数将每一像素点的像素值转换得到每个像素点的从特征值。在一个例子中，映射函数也可以采用以下形式：

；

其中，为像素点/>的残差值，/>为从/>到/>的映射函数。

与第一实现方式类似，像素点及其邻域像素点的加权系数可以根据实际情况进行设定，在此不做限制。且较为优选的是，当前计算主特征值的像素点的加权系数大于当前计算主特征值的像素点的邻域像素点的加权系数。另外，参与每一像素点的主特征值计算的每一像素点的邻域像素点的范围也可以根据实际情况进行设定，在此不做限制。

在一个具体的例子中，可以通过下述公式将每一像素点的从特征值及其邻域像素点的从特征值进行加权，以得到每一像素点的主特征值。

S103：基于至少部分像素点的主特征值，确定待处理图像中的重要像素点。

计算出至少部分像素点的主特征值后，可以利用像素点的主特征值确认待处理图像中的重要像素点。

在第一实现方式中，可以将主特征值和第一阈值进行比较；以确认待处理图像中的重要像素点。

示例性地，若高频图像中像素点及其邻域像素点的值均为对所述像素点的所述主特征值产生影响的正向因素，则可以将主特征值大于第一阈值的像素点作为重要像素点，且可以将主特征值小于第一阈值的像素点作为非重要像素点。对于主特征值等于第一阈值的像素点，可以将其认为是重要像素点，也可以将其认为是非重要像素点。在一个具体的例子中，步骤S102采用高频图像中像素值直接加权的方式得到像素点的主特征值，且像素点及其邻域像素点的加权系数均为正数，如此高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述主特征值产生影响的正向因素，从而可以将主特征值大于第一阈值的像素点作为重要像素点，且可以将主特征值小于第一阈值的像素点作为非重要像素点。在另一个具体的例子中，步骤S102采用高频图像中像素值转换为从特征值后进行加权的方式得到像素点的主特征值，高频图像中每一像素点的像素值为对每一像素点的从特征值产生影响的负向因素，且每一像素点及其邻域像素点的加权系数均为负数，如此高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述主特征值产生影响的正向因素，从而可以将主特征值大于第一阈值的像素点作为重要像素点，且可以将主特征值小于第一阈值的像素点作为非重要像素点。

在其他示例中，若高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述主特征值产生影响的负向因素，则可以将主特征值小于第一阈值的像素点作为重要像素点，且可以将主特征值大于第一阈值的像素点作为非重要像素点。对于主特征值等于第一阈值的像素点，可以将其认为是重要像素点，也可以将其认为是非重要像素点，在此不做限制。

可选地，第一阈值可以根据实际情况进行设定，在此不做限制。

在第二实现方式中，可以先基于每一像素点的主特征值计算出每一像素点的重要性衡量值；然后将每一像素点的重要性衡量值和第二阈值进行比较，以确认该像素点是否为重要像素点。在一个具体的例子中，高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述重要性衡量值产生影响的正向因素；如此在一像素点的重要性衡量值大于第二阈值的情况下，可以认为该像素点为重要像素点；在一像素点的重要性衡量值小于第二阈值的情况下，可以认为该像素点为非重要像素点。在另一个具体的例子中，高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述重要性衡量值产生影响的负向因素；如此在一像素点的重要性衡量值大于第二阈值的情况下，可以认为该像素点为非重要像素点；在一像素点的重要性衡量值小于第二阈值的情况下，可以认为该像素点为重要像素点。对于重要性衡量值等于第二阈值的像素点，可以将其认为是重要像素点，也可以将其认为是非重要像素点。

在第三实现方式中，如图2所示，待处理图像包括多个图像块，在步骤S103中，可以基于每个图像块中至少部分像素的主特征值，确认每个图像块是纹理复杂块还是纹理简单块；然后基于纹理复杂块中每个像素点的主特征值，确认纹理复杂块中的每个像素点是否是重要像素点；接着对纹理复杂块中的重要像素点进行增强操作。可选地，对于纹理简单块，无需确认其内的像素点是否是重要像素点，即可以不对其内的像素执行增强操作。如此在不同复杂度的情况下采用不同的处理方法用于提升主观效果，不仅方法简单、独立，且可以兼容任意软、硬件方案的码率控制模型。

其中，由待处理图像划分得到图像块的方式可以根据实际情况进行设定，在此不做限制。例如，可采用水平划分、垂直划分或四叉树划分等方式对待处理图像划分而得到多个图像块。此外，待处理图像中的多个图像块的尺寸可以相同，也可以不相同，在此不做限制。

可选地，基于每个图像块中至少部分像素的主特征值，确认每个图像块是纹理复杂块还是纹理简单块的步骤，可以包括：将每个图像块的至少部分像素的主特征值进行加权而得到每个图像块的空域复杂度；基于每个图像块的空域复杂度确认每个图像块是纹理复杂块还是纹理简单块。其中，可以将每个图像块的空域复杂度和第三阈值进行比较，以确认每个图像块是纹理复杂块还是纹理简单块。

在一示例中，若每个图像块中的像素点在高频图像中的值为对所述每个图像块的空域复杂度产生影响的正向因素，可以将空域复杂度大于第三阈值的图像块作为纹理复杂块；将空域复杂度小于第三阈值的图像块作为纹理简单块。对于空域复杂度等于第三阈值的图像块，可以将其认为是纹理复杂块，也可以将其认为是纹理简单块。在一个具体的例子中，高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述主特征值产生影响的正向因素，且每个图像块中的所述至少部分像素中每一像素点的主特征值均为对所述每个图像块的所述空域复杂度产生影响的正向因素，综合而言每个图像块中的像素点在高频图像中的值为对所述每个图像块的空域复杂度产生影响的正向因素，如此可将空域复杂度大于第三阈值的图像块作为纹理复杂块；且将空域复杂度小于第三阈值的图像块作为纹理简单块。在另一个具体的例子中，高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述主特征值产生影响的负向因素，且每个图像块中的所述至少部分像素中每一像素点的主特征值均为对所述每个图像块的所述空域复杂度产生影响的负向因素，综合而言每个图像块中的像素点在高频图像中的值为对所述每个图像块的空域复杂度产生影响的正向因素，如此可将空域复杂度大于第三阈值的图像块作为纹理复杂块；且将空域复杂度小于第三阈值的图像块作为纹理简单块。

在另一示例中，若每个图像块中的像素点在高频图像中的值为对所述每个图像块的空域复杂度产生影响的负向因素，可以将空域复杂度小于第三阈值的图像块作为纹理复杂块；将空域复杂度大于第三阈值的图像块作为纹理简单块。对于空域复杂度等于第三阈值的图像块，可以将其认为是纹理复杂块，也可以将其认为是纹理简单块。

在又一示例中，可以基于每个图像块的空域复杂度计算出每个图像块的纹理复杂性；基于每个图像块的纹理复杂性确定每个图像块是纹理复杂块还是纹理简单块。可选地，可以将每个图像块的纹理复杂性和第四阈值进行比较；若一图像块的纹理复杂性大于第四阈值，则该图像块为纹理复杂块；若一图像块的纹理复杂性小于第四阈值，则该图像块为纹理简单块。对于纹理复杂性等于第四阈值的图像块，可以将其认为是纹理复杂性，也可以将其认为是纹理简单块。其中，可以通过线性函数或非线性函数将每个图像块的空域复杂度转换为每个图像块的纹理复杂性。

此外，基于每个图像块中至少部分像素的主特征值，确认每个图像块是纹理复杂块还是纹理简单块的步骤，可以包括：判断每个图像块的至少部分像素中第一像素点的数量是否大于第五阈值；若大于第五阈值，则每个图像块是纹理复杂块；若小于第五阈值，则每个图像块为纹理简单块。其中，第一像素点可以为主特征值大于第六阈值的像素点。

上述的“每个图像块中至少部分像素”可以是每个图像块的全部像素，也可以是每个图像块的部分像素。例如，“每个图像块中至少部分像素”可以是：从每个图像块中、等间隔采样出的像素。

在“每个图像块中至少部分像素”是每个图像块的部分像素的示例中，在确认每个图像块是纹理复杂块还是纹理简单块的步骤之前，可以计算待处理图像中所有像素点的主特征值，也可以计算待处理图像中部分像素点的主特征值，在此不做限制，只需要已计算主特征值的全部像素点能够实现“图像块是否是纹理复杂块的判断”即可。较为优选的是，在确认每个图像块是纹理复杂块还是纹理简单块的步骤之前，若计算的是待处理图像中部分像素点的主特征值，则可在步骤S103中确定纹理复杂块之后，对纹理复杂块中未计算主特征值的像素点进行主特征值的计算，接着基于纹理复杂块中每个像素点的主特征值确认纹理复杂块中每个像素点是否是重要像素点，如此可以减少需计算主特征值的像素点数量，可以降低本实施方式方法的计算复杂度，提高图像处理效率。当然，在其他实施例中，在确认每个图像块是纹理复杂块还是纹理简单块的步骤之前，若计算的是待处理图像中部分像素点的主特征值，在步骤S103中确定纹理复杂块之后，可以仅确认待处理图像中这部分像素点是否是重要像素点。

此外，可依据第一实现方式和第二实现方式的重要像素点的判断方法，确认纹理复杂块中的重要像素点，在此不做赘述。另外，上述的第一阈值、第二阈值、第三阈值、第四阈值、第五阈值和第六阈值可以根据实际情况进行设定，在此不做限制。

S104：对待处理图像中的重要像素点进行增强操作。

基于上述步骤确认待处理图像中的重要像素点后，可以对待处理图像中的重要像素点进行增强操作。

在一实现方式中，可以将重要像素点在待处理图像和滤波图像中的值进行加权，以得到重要像素点增强后的像素值；对待处理图像的所有重要像素点均进行上述的增强处理即可得到待处理图像的锐化增强图像。

其中，将重要像素点在待处理图像和滤波图像中的值进行加权的公式可以如下所示：

；

其中，为重要像素点/>增强后的像素值，/>为重要像素点/>在待处理图像中的像素值，/>为重要像素点/>滤波后的像素值，/>表示重要像素点/>处的权重值。

可选地，在该实现方式中，重要像素点在待处理图像和滤波图像中的值各自的加权系数可以根据实际情况进行设定，在此不做特别限制，例如重要像素点在待处理图像和滤波图像中的值各自的加权系数可以分别为2和-1。

在另一实现方式中，可以将待处理图像中的重要像素点的像素值放大预设倍数，以得到待处理图像中的重要像素点增强操作后的值。可选地，预设倍数可以根据实际情况进行设置，在此不做限制。

在本实施方式中，先提取待处理图像的高频信息而得到高频图像，继而基于高频图像中每一像素点及其邻域像素点的值计算出每一像素点的主特征值，继而利用每一像素点的主特征值确定每一像素点是否为需要进行增强操作的重要像素点，如此利用每一像素点及其邻域像素点的值综合确认每一像素点是否需要进行增强操作，可以降低噪声像素点被增强的几率，从而提高了输出图像的质量。此外，本申请的图像锐化方法通过高频图像中每一像素点及其邻域像素点的值计算每一像素点的主特征值，进而由主特征值确定待处理图像中的重要像素点，如此无需获取图像的纹理信息，解决了硬件芯片无法上报纹理信息的情况；且计算方式简单，且是像素增强的方法，能够对像素点进行明显的增强，使得图像主观质量得到增强。

可选地，可以通过上述实施方式图像锐化方法对任意图像进行锐化增强处理，以提高图像质量。当然，也可以通过上述实施方式图像锐化方法对视频中的图像进行锐化增强处理，即上述实施方式中的待处理图像可以为视频中的图像帧。

此外，可以在待处理图像或待处理图像所属视频编码前，利用上述实施方式图像锐化方法对待处理图像进行锐化增强处理；也就是可以将上述图像锐化方法应用到图像编码方法中；即利用上述实施方式图像锐化方法对待处理图像进行锐化增强处理而得到待处理图像的锐化增强图像后，可以对所述锐化增强图像或所述锐化增强图像所属视频进行编码，以得到编码码流；如此可以进行像素级的增强，且可以降低噪声像素点被增强的几率，如此可以只对人眼主要关注的区域进行增强，使得可以减小图像锐化处理对图像或视频压缩率的影响，从而可以在保证压缩率的同时增强图像主观质量。且纹理复杂度计算简单、获取简单，能够很好地满足软件视频编解码装置使用，且本提案之方法能很好地适配进不同视频编码标准和硬件编码中。

可以理解的是，本申请的图像编码方法可以指一张图像的编码方法，也可以广义理解成包括多张图像帧的视频的编码方法。

下面为更好说明本申请图像锐化方法，提供以下图像锐化具体实施例来示例性说明：

以图3所示的8x8的待处理图像为例，首先可以利用图4所示的3x3的滤波算子对待处理图像进行滤波，得到如图5所示的滤波图像。其中，3x3的/>滤波算子的滤波公式可如下所示：

。

接着通过上述步骤得到的滤波图像与待处理图像/>，进行做差并取绝对值，得到如图6所示的残差图像/>，该残差图像即为上述的高频图像。

利用下述映射函数和残差图像/>计算每个像素点/>的从特征值/>；

。其中，待处理图像所有像素点的从特征值可如图7所示。

将每一像素点的从特征值及其邻域像素点的从特征值进行加权，以得到每一像素点的主特征值/>。其中，每一像素点的主特征值/>的计算公式可如下所示：

。

将待处理图像中每一图像块中所有像素点的主特征值累加计算出每一图像块的空域复杂度/>，进而推出每一图像块的纹理复杂性/>。其中，每一图像块的空域复杂度/>的计算公式可如下所示：

；

其中，M、N分别表示每一图像块的宽、高。

此外，纹理复杂性采取的映射函数/>可以但不限于以下形式：

。如此，图8中虚线框内的8*4块，计算得出/>大于0.2，故为纹理复杂块；图8中实现框内的8x4块，计算得出/>小于0.2，故为纹理简单块。

对纹理复杂的图像块进行像素增强处理，首先利用纹理复杂块中每一像素点的主特征值/>，推出纹理复杂块中每一像素点的重要度/>。重要度/>采取的映射函数/>可以但不限于以下形式：

。

具体以8x8的图像为例，通过计算得到每个像素点的重要度/>，如图9所示，1表示重要像素点，0表示非重要像素点，N表示纹理简单块的像素点。标记为0的像素与标记为N的像素点都不进行增强处理，标记为1的像素点进行增强处理。具体地，可以采对标记为1的像素点（即纹理复杂块中的重要像素点）进行增强处理，如此即可对所有纹理复杂块中的所有重要像素点进行增强而得到锐化增强图像，锐化增强图像可如图10所示。其中，重要像素点进行增强处理的公式可如下所示：

；

其中，为重要像素点（m，n）在锐化增强图像中的像素值。

请参阅图11，图11是本申请电子设备一实施方式的结构示意图。本电子设备10包括处理器12，处理器12用于执行指令以实现上述图像锐化方法。具体实施过程请参阅上述实施方式的描述，在此不再赘述。

处理器12还可以称为CPU（Central Processing Unit，中央处理单元）。处理器12可能是一种集成电路芯片，具有信号的处理能力。处理器12还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器12也可以是任何常规的处理器等。

电子设备10还可进一步包括存储器11，用于存储处理器12运行所需的指令和数据。

处理器12用于执行指令以实现上述本申请预测方法和视频编码方法任一实施例及任意不冲突的组合所提供的方法。

请参阅图12，图12为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本申请图像锐化方法任一实施例以及任意不冲突的组合所提供的方法。在一实施例中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种图像编码方法，其特征在于，所述方法包括：

提取待处理图像的高频信息而得到高频图像；

基于所述高频图像中至少部分像素点及其邻域像素点的值，计算出所述至少部分像素点的主特征值；

基于所述至少部分像素点的主特征值，确定所述待处理图像中的重要像素点；

对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像；

对所述锐化增强图像进行编码，以得到编码码流。

2.根据权利要求1所述的图像编码方法，其特征在于，所述基于所述高频图像中至少部分像素点及其邻域像素点的值，计算出所述至少部分像素点的主特征值，包括：

将所述高频图像中至少部分像素点及其邻域像素点的值进行加权，以得到所述至少部分像素点的主特征值；或，

将所述高频图像中至少部分像素点的值进行转换，得到所述至少部分像素点的从特征值；将所述至少部分像素点的从特征值及其邻域像素点的从特征值进行加权，以得到所述至少部分像素点的主特征值。

3.根据权利要求1所述的图像编码方法，其特征在于，所述基于所述至少部分像素点的主特征值，确定所述待处理图像中的重要像素点，包括：

将至少部分像素点的主特征值和第一阈值进行比较，以确认至少部分像素点是否为重要像素点。

4.根据权利要求3所述的图像编码方法，其特征在于，所述高频图像中每一像素点及其邻域像素点的值均为对所述每一像素点的所述主特征值产生影响的正向因素，所述将至少部分像素点的主特征值和第一阈值进行比较，以确认至少部分像素点是否为重要像素点，包括：

将所述主特征值大于所述第一阈值的像素点作为重要像素点；

将所述主特征值小于所述第一阈值的像素点作为非重要像素点。

5.根据权利要求1至4任一项所述的图像编码方法，其特征在于，

所述待处理图像包括多个图像块，所述基于所述至少部分像素点的主特征值，确定所述待处理图像中的重要像素点，包括：

基于所述待处理图像中每个图像块中至少部分像素的主特征值，确认每个图像块是纹理复杂块还是纹理简单块；

基于所述纹理复杂块中每个像素点的主特征值，确认所述纹理复杂块中的每个像素点是否是重要像素点；

所述对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像，包括：对所述纹理复杂块中的所述重要像素点进行增强操作，以得到所述锐化增强图像。

6.根据权利要求5所述的图像编码方法，其特征在于，所述基于所述待处理图像中每个图像块中至少部分像素的主特征值，确认每个图像块是纹理复杂块还是纹理简单块，包括：

将所述每个图像块中的至少部分像素的主特征值进行加权而得到所述每个图像块的空域复杂度；

基于所述每个图像块的空域复杂度确认每个图像块是纹理复杂块还是纹理简单块。

7.根据权利要求6所述的图像编码方法，其特征在于，所述每个图像块中的所述至少部分像素中每一像素点的主特征值均为对所述每个图像块的所述空域复杂度产生影响的正向因素，

所述基于所述每个图像块的空域复杂度确认每个图像块是纹理复杂块还是纹理简单块，包括：

将所述空域复杂度大于第三阈值的图像块作为纹理复杂块；

将所述空域复杂度小于所述第三阈值的图像块作为纹理简单块。

8.根据权利要求1所述的图像编码方法，其特征在于，所述提取待处理图像的高频信息而得到高频图像，包括：

对所述待处理图像进行滤波处理，得到滤波图像；

将所述待处理图像和所述滤波图像相减而得到所述高频图像。

9.根据权利要求8所述的图像编码方法，其特征在于，所述对所述待处理图像中的所述重要像素点进行增强操作，得到锐化增强图像，包括：

将所述重要像素点在所述待处理图像和所述滤波图像中的值进行加权，以得到所述锐化增强图像。

10.一种电子设备，其特征在于，所述电子设备包括处理器；所述处理器用于执行指令以实现如权利要求1-9中的任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有程序和/或指令，其特征在于，所述程序和/或指令被执行时实现权利要求1-9中任一项所述方法的步骤。