CN112399069B - 图像编码方法及装置、存储介质、电子设备 - Google Patents

Abstract

本公开提供一种图像编码方法及装置、电子设备、存储介质，涉及图像处理技术领域。所述方法包括：获取待编码图像与参照图像，其中，参照图像与待编码图像分辨率不同；根据待编码图像与参照图像，确定待编码图像中各图像块所属的频率类别，参照图像中包含与各图像块对应的图像块；根据各图像块所属的频率类别，对待编码图像进行编码。本公开可以提高图像的清晰度，减小图像的大小。

Description

图像编码方法及装置、存储介质、电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像编码方法、图像编码装置、电子设备以及计算机可读存储介质。

背景技术

目前，越来越多的智能手机和数码相机等电子设备可以拍摄大尺寸高分辨率的图像，虽然高分辨率可以提高图像的清晰度，但是占用的存储空间也将变大。现有的图像编码方法虽然可以减小图像占用的存储空间，但是会损失较多的细节，导致图像的清晰度降低。

发明内容

本公开的目的在于提供一种图像编码方法、图像编码装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在减小图像占用空间时清晰度降低的问题。

根据本公开的第一方面，提供一种图像编码方法，包括：

获取待编码图像与参照图像，其中，所述参照图像与所述待编码图像分辨率不同；

根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，所述参照图像中包含与所述各图像块对应的图像块；

根据所述各图像块所属的频率类别，对所述待编码图像进行编码。

根据本公开的第二方面，提供一种图像编码装置，包括：

图像获取模块，用于获取待编码图像与参照图像，其中，所述参照图像与所述待编码图像分辨率不同；

频率类别确定模块，用于根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，所述参照图像中包含与所述各图像块对应的图像块；

编码模块，用于根据所述各图像块所属的频率类别，对所述待编码图像进行编码。

根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

本公开示例性实施例可以具有以下部分或全部有益效果：

在本公开的一示例实施方式所提供的图像编码方法中，由于参照图像与待编码图像分辨率不同，将待编码图像与参照图像进行对比，可以更准确地确定待编码图像中各图像块所属的频率类别。频率类别不同的图像块，可以对应不同的编码码率，具体的，针对包含细节较多的图像块，可以增加编码码率以提高清晰度，针对包含细节较少的图像块，可以减少编码码率以降低图像所占用的存储空间。因此，本公开可以提高待编码图像清晰度的同时，降低待编码图像的大小。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的一种图像编码方法及装置的示例性系统架构的示意图；

图2示意性示出了根据本公开的一个实施例的图像编码方法的流程图；

图3示意性示出了图像中高频分量和低频分量的示意图；

图4示意性示出了确定待编码图像中各图像块所属的频率类别的一种流程图；

图5示意性示出了确定待编码图像中各图像块所属的频率类别的又一种流程图；

图6示意性示出了确定待编码图像中各图像块所属的频率类别的又一种流程图；

图7示意性示出了根据本公开的一个实施例的图像编码装置的结构图；

图8示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种图像编码方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的至少一个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的图像编码方法可以由服务器105执行，相应地，图像编码装置可以设置于服务器105中。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将待编码图像和参照图像上传至服务器105，服务器通过本公开实施例所提供的图像编码方法对待编码图像进行编码，并将得到的编码结果发送给终端设备101、102、103等。

但本领域技术人员容易理解的是，本公开实施例所提供的图像编码方法也可以由终端设备101、102、103执行，相应地，图像编码装置也可以设置于终端设备101、102、103中。举例而言，在一种示例性实施例中，终端设备102具有两个摄像头，在拍照时可以生成内容相同且分辨率不同的待编码图像和参照图像，终端设备102可以通过本公开实施例所提供的图像编码方法对待编码图像进行编码，并将得到的编码结果存储至本地。

以下对本公开实施例的技术方案进行详细阐述：

图2示意性示出了根据本公开的一个实施例的图像编码方法的流程图，包括以下步骤：

步骤S210，获取待编码图像与参照图像，其中，参照图像与待编码图像分辨率不同。

步骤S220，根据待编码图像与参照图像，确定待编码图像中各图像块所属的频率类别，参照图像中包含与各图像块对应的图像块。

步骤S230，根据各图像块所属的频率类别，对待编码图像进行编码。

本公开实施例的图像编码方法，由于参照图像与待编码图像内容相同且分辨率不同，将待编码图像与参照图像进行对比，可以更准确地确定各图像块所属的频率类别。频率类别不同的图像块，可以对应不同的编码码率，具体的，针对包含细节较多的图像块，可以增加编码码率以提高清晰度，针对包含细节较少的图像块，可以减少编码码率以降低图像所占用的存储空间。因此，本公开可以提高待编码图像清晰度的同时，降低待编码图像的大小。

下面，对于本示例实施方式的上述步骤进行更加详细的说明。

在步骤S210中，获取待编码图像与参照图像，其中，参照图像与待编码图像分辨率不同。

本公开的一示例性实施例中，参照图像指与待编码图像分辨率不同的图像。目前，具有两个摄像头的智能手机可以拍摄两张分辨率不同的图像，两张图像可以同时拍摄，当然也可以先后拍摄。其中，参照图像的分辨率可以低于待编码图像的分辨率；在某些场景下，参照图像的分辨率也可以高于待编码图像的分辨率。在此以参照图像的分辨率低于待编码图像的分辨率为例进行说明。

在步骤S220中，根据待编码图像与参照图像，确定待编码图像中各图像块所属的频率类别，参照图像中包含与待编码图像中各图像块对应的图像块。

本公开的一示例性实施例中，针对待编码图像中的每个图像块，在参照图像中有对应的图像块，本公开中图像块之间的对应指的是内容相同。例如，待编码图像中的内容可以是参照图像中的某一部分内容，也就是说，与待编码图像相比，参照图像中可以包含更多的内容。当然，参照图像中的内容也可以与待编码图像中的内容相同。

由于图像是由像素组成的，可以将待编码图像分为多个图像块，每个图像块中包含多个像素。待编码图像中的各图像块可以为n×n的图像块，其中，n＝2^k，k为大于0的整数。例如，若待编码图像中的图像块为8×8的图像块，那么每个图像块中包含64个像素。其中，参照图像与待编码图像的分辨率可以满足关系式：待编码图像的分辨率＝2^2m×参照图像的分辨率，m为大于0的整数。例如，待编码图像的分辨率为9216×6912，参照图像的分辨率为4608×3456。这样，在划分图像块时，容易建立待编码图像中的图像块与参照图像中的图像块的对应关系，使对应图像块的内容相同。若待编码图像中的图像块为8×8的图像块，参照图像的图像块即为4×4的图像块，这样，待编码图像中各8×8的图像块与参照图像中各4×4的图像块对应的内容相同。需要说明的是，参照图像与待编码图像的分辨率不限于满足以上关系式，也可以满足其他关系式，在此不做限定。

图像中包含高频分量和低频分量，图像的高低频是对图像各个位置之间强度变化的一种度量方法，图像中的高频分量指的是图像强度(亮度/灰度)变化剧烈的地方，图像中的低频分量，指的是图像强度(亮度/灰度)变换平缓的地方，参见图3，可以看出，310所在区域图像强度变换平缓，属于图像中的低频分量，320所在区域图像强度变换剧烈，属于图像中的高频分量。本公开实施例中的频率类别指的是图像的高低频，频率类别可以包括：高频和低频，当然，也可以包括中频或者其他，本示例性实施例中并不以此为限。

参照图4所示，可以根据以下步骤S410～S420确定待编码图像中各图像块所属的频率类别。其中，

在步骤S410中，针对待编码图像中的单个图像块，计算参照图像中与该图像块对应的图像块，与该图像块的梯度差值。

为了对待编码图像和参照图像进行比较，可以将待编码图像中的图像块与参照图像中对应的图像块分别进行比较。本公开实施例中，可以通过计算梯度差值的方式对图像块进行比较，针对待编码图像和参照图像中的各图像块，可以通过Laplacian算子或sobel算子等梯度算子来计算各图像块的梯度值。之后，将待编码图像和参照图像中对应的图像块的梯度值相减，即可得到梯度差值。梯度差值的绝对值越大，表示该图像块的图像强度变化越剧烈，该图像块中包含的细节越多；梯度差值的绝对值越小，表示该图像块的图像强度变化越平缓，该图像块中包含的细节越少。

在步骤S420中，将待编码图像中对应的梯度差值的绝对值大于第一阈值的图像块所属的频率类别确定为高频，将待编码图像中对应的梯度差值的绝对值小于第二阈值的图像块所属的频率类别确定为低频。

如前所述，梯度差值的绝对值越大，表示图像强度变化越剧烈，梯度差值的绝对值越小，表示图像强度变化越平缓。因此，在确定梯度差值之后，可以根据梯度差值的绝对值的大小对各图像块进行分类。具体的，可以将梯度差值的绝对值大于第一阈值的图像块所属的频率类别确定为高频，将梯度差值的绝对值小于第二阈值的图像块所属的频率类别确定为低频。在此，第一阈值和第二阈值可以是根据经验设置的值，可以是固定的值，也可以是动态变化的值，在此不做限定。第一阈值可以大于或等于第二阈值，在第一阈值大于第二阈值时，可以将梯度差值的绝对值大于或等于第二阈值，并且小于或等于第一阈值的图像块所属的频率类别确定为中频。

参照图5所示，还可以根据以下步骤S510～S540确定待编码图像中各图像块所属的频率类别。其中，

在步骤S510中，若待编码图像的分辨率大于参照图像的分辨率，对待编码图像进行下采样，得到与参照图像分辨率相同的下采样图像。

下采样就是对于一个样值序列间隔几个样值取样一次，对待编码图像进行下采样，即对待编码图像的像素序列间隔几个像素抽取一次，当然得到的下采样图像的分辨率将会降低。在此，对待编码图像下采样时，可以根据待编码图像的分辨率与参照图像的分辨率，得到与参照图像分辨率相同的下采样图像。

在步骤S520中，将下采样图像与参照图像划分为多个图像块，并计算下采样图像与参照图像中对应图像块之间的梯度差值。

由于参照图像和下采样图像的分辨率相同，在进行图像块划分时，可以以相同的方式对参照图像和下采样图像进行划分，划分得到的下采样图像与参照图像中的图像块数量相同、大小相同，且对应的图像块内容也相同。可以通过计算梯度差值的方式对图像块进行比较，梯度差值的具体计算方法可参见步骤S410中的描述，在此不再详述。

在步骤S530中，将下采样图像中对应的梯度差值的绝对值大于第三阈值的图像块作为第一目标图像块；将下采样图像中对应的梯度差值的绝对值小于第四阈值的图像块作为第二目标图像块。

类似地，通过梯度差值的绝对值可以确定下采样图像中图像强度变化剧烈的图像块以及变化缓慢的图像块，第一目标图像块和第二目标图像块分别表示变化剧烈和变化缓慢的图像块，第三阈值可以大于或等于第四阈值，第三阈值和第四阈值可以是根据经验设置的值，可以是固定的值，也可以是动态变化的值，在此不做限定。

在步骤S540中，将待编码图像中与第一目标图像块对应的图像块所属的频率类别确定为高频，将待编码图像中与第二目标图像块对应的图像块所属的频率类别确定为低频。

本公开实施例中，下采样图像表示对待编码图像进行下采样之后的图像，下采样图像中图像块图像强度的变化程度，可以表示待编码图像中图像块图像强度的变化程度。因此，可以将第一目标图像块和第二目标图像块映射至待编码图像中，该映射指的是图像块内容的一一对应。也就是，将待编码图像中与第一目标图像块对应的图像块所属的频率类别确定为高频，将待编码图像中与第二目标图像块对应的图像块所属的频率类别确定为低频。当然，对于待编码图像中除高频图像块和低频图像块之外的图像块，可以确定其所属的类别为中频或其他。

参照图6所示，还可以根据以下步骤S610～S630确定待编码图像中各图像块所属的频率类别。

在步骤S610中，若待编码图像的分辨率大于参照图像的分辨率，对参照图像进行上采样，得到与待编码图像分辨率相同的上采样图像。

与步骤S510相对应，本公开可以对参照图像进行上采样，使得到的上采样图像的分辨率与待编码图像的分辨率相同。对图像的上采样，指的是通过插值的方法得到更多的像素值。

在步骤S620中，将上采样图像与待编码图像划分为多个图像块，并计算上采样图像与待编码图像中对应图像块之间的梯度差值。

由于待编码图像和上采样图像的分辨率相同，在进行图像块划分时，可以以相同的方式对待编码图像和上采样图像进行划分，划分得到的待编码图像和上采样图像中的图像块数量相同、大小相同，且对应的图像块内容也相同。可以通过计算梯度差值的方式对图像块进行比较，梯度差值的具体计算方法可参见步骤S410中的描述，在此不再详述。

在步骤S630中，将待编码图像中对应的梯度差值的绝对值大于第五阈值的图像块所属的频率类别确定为高频，将待编码图像中对应的梯度差值的绝对值小于第六阈值的图像块所属的频率类别确定为低频。

由于本步骤与步骤S420类似，具体描述请参见步骤S420中的描述即可。需要说明的是，由于本步骤中图像块的大小与步骤S420中的图像块的大小可以不同，因此，第五阈值与第一阈值可以不同，第六阈值与第二阈值可以不同，第五阈值可以大于或等于第六阈值。

在步骤S230中，根据各图像块所属的频率类别，对待编码图像进行编码。

本公开实施例中，可以通过变换编码的方法对待编码图像进行编码，变换编码是指将以空间域中像素形式描述的图像转换至变换域，以变换系数的形式表示。通过变换编码，每个像素均可以得到对应的变换系数。变换编码包括：变换、量化和编码等过程。其中，量化的过程是通过量化表对变换系数进行量化。需要说明的是，对于每个图像块，均可以具有对应的初始量化表，该初始量化表是在实验的基础上，结合人眼的视觉特性而获得的。例如，对于JPEG(Joint Photographic Exports Group，联合图像专家小组)编码，8×8的图像块，对应的初始量化表为：

本公开实施例中，针对待编码图像中的单个图像块，可以根据该图像块所属的频率类别，确定该图像块对应的量化表。即可以根据该图像块所属的频率类别，对该图像块对应的初始量化表进行修改，确定该图像块对应的最终的量化表，具体如下：

若该图像块所属的频率类别为低频，增大该图像块对应的初始量化表中的量化系数，其中，该图像块对应的初始量化表中的量化系数的增加量与该图像块对应的梯度差值的绝对值呈负相关。

若该图像块所属的频率类别为高频，减小该图像块对应的初始量化表中的量化系数，其中，该图像块对应的初始量化表中的量化系数的减小量与该图像块对应的梯度差值的绝对值呈正相关。

本公开实施例中，图像块所属的频率类别为低频，表示该图像块的图像强度变化缓慢，也就是，该图像块中包含的细节内容较少。此时，增大该图像块对应的初始量化表中的量化系数，在对该图像块的变换系数矩阵进行量化时，该图像块的变换系数矩阵除以量化表中对应的量化系数，得到的码率将减小。图像的码率是单位像素编码所需要的编码长度，码率越小，在编码时所需要存储的二进制数就越少，编码后得到的图像所占的存储空间将减小。相应地，图像块所属的频率类别为高频，表示该图像块中包含的细节内容较多，减小该图像块对应的初始量化表中的量化系数，在对该图像块的变换系数矩阵进行量化时，该图像块的变换系数矩阵除以量化表中对应的量化系数，得到的码率将增加。码率增加将使得编码后得到的图像的清晰度增加，当然，所占用的空间将增加。

另外，在图像块所属的频率类别为低频时，图像块对应的梯度差值的绝对值越小，表示该图像块图像强度的变化越平缓，该图像块包含的细节也就越少，此时该图像块对应的量化表中的量化系数的增加量可以越大，这样，即不会损失较多的图像细节，又可以较多的减小编码后图像所占用的存储空间。在图像块所属的频率类别为高频时，图像块对应的梯度差值的绝对值越大，表示该图像块图像强度的变化越剧烈，该图像块包含的细节也就越多，此时该图像块对应的量化表中的量化系数的减小量可以越大，这样，可以更多地包括图像中的细节，提高清晰度。

需要说明的是，本公开可以仅增加频率类别为低频图像块对应的量化表中的量化系数，这样，可以在不降低图像清晰度的同时，减小图像所占用的存储空间。也可以仅减小频率类别为高频图像块对应的量化表中的量化系数，这样，在提高图像清晰度的同时，少量增加图像所占用的存储空间。还可以增加频率类别为低频图像块对应的量化表中的量化系数的同时，减小频率类别为高频图像块对应的量化表中的量化系数，这样，在提高图像清晰度的同时，不增加甚至减小图像所占用的存储空间。

在得到各图像块对应的量化表之后，根据各图像块对应的量化表，对待编码图像进行编码，具体包括以下步骤：

首先，确定各图像块的变换系数矩阵。

通过变换编码，每个像素均可以得到对应的变换系数，针对每个图像块，通过变换编码之后，即可得到变换系数矩阵。可以理解的是，针对n×n的图像块，对应的变换系数矩阵为n×n的矩阵，对应的量化表也是n×n的矩阵。可选的，可以通过离散余弦变换确定各图像块的变换系数矩阵。

其中，不同的图像编码方法可以采用不同的颜色空间，例如，对于JPEG编码，采用的是YUV颜色空间，Y表示亮度，也就是灰阶值，U和V表示色度，作用是描述图像的色彩及饱和度，用于指定像素的颜色。对于BMP编码，采用的是红绿蓝RGB颜色空间。在此以YUV颜色空间为例进行说明，对于每个像素，均包含亮度信息和色度信息，那么，确定各图像块的变换系数矩阵具体包括：分别确定各图像块的亮度信息的变换系数矩阵和色度信息的变换系数矩阵。需要说明的是，色度信息的变换系数矩阵包括：U的系数变换矩阵和V的系数变换矩阵。

在确定变换系数矩阵之后，针对待编码图像中的单个图像块，根据该图像块对应的量化表对该图像块的变换系数矩阵进行量化，得到该图像块的编码码率。

本公开实施例中，对变换系数矩阵进行量化，也就是将变换系数矩阵中的每个值除以对应的量化表中的量化系数，即可得到编码码率。以8×8的变换系数矩阵为例进行说明，变换系数矩阵中第一行第一列中的元素除以量化表中第一行第一列中的元素，变换系数矩阵中第一行第二列中的元素除以量化表中第一行第二列中的元素，以此类推。在得到各图像块的编码码率后，根据各图像块的编码码率，可以通过哈夫曼编码、熵编码等方法对待编码图像进行编码。

本公开实施例中，上述步骤S230中，还可以通过以下方法对待编码图像进行编码。

首先，针对待编码图像中的单个图像块，根据该图像块所属的频率类别，确定该图像块的编码码率。

针对单个图像块，可以通过现有方法得到该图像块的编码码率。例如，可以根据上述初始量化表，得到该图像块的编码码率，或者通过其他方法得到该图像块的编码码率。之后，根据该图像块所属的频率类别，可以对该图像块的编码码率进行修改。例如，若该图像块所属的频率类别为高频，可以增大该图像块的编码码率，以提高图像的清晰度；若该图像块所属的频率类别为低频，可以减小该图像块的编码码率以减小图像的大小。

在确定各图像块的编码码率之后，根据各图像块的编码码率对待编码图像进行编码。需要说明的是，根据各图像块所属的频率类别，对待编码图像进行编码的相关方法，均属于本公开的保护范围。

本公开实施例的图像编码方法，由于参照图像与待编码图像分辨率不同，通过对参照图像和待编码图像中对应的图像块进行比较，可以更准确地确定各图像块所属的频率类别。图像块的频率类别为高频时，通过减小该图像块对应的初始量化表中的量化系数来增加该图像块对应的编码码率，以提高图像的清晰度；图像块的频率类别为低频时，通过增加该图像块对应的初始量化表中的量化系数来减小该图像块对应的编码码率，以减小图像所占用的存储空间。因此，本公开可以提高待编码图像清晰度的同时，降低待编码图像的大小。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中，还提供了一种图像编码装置700，如图7所示，包括：

图像获取模块710，用于获取待编码图像与参照图像，其中，参照图像与待编码图像分辨率不同；

频率类别确定模块720，用于根据待编码图像与参照图像，确定待编码图像中各图像块所属的频率类别，参照图像中包含与待编码图像中各图像块对应的图像块；

编码模块730，用于根据各图像块所属的频率类别，对待编码图像进行编码。

在本公开的一种示例性实施例中，编码模块730包括：

量化表确定子模块，用于针对待编码图像中的单个图像块，根据该图像块所属的频率类别，确定该图像块对应的量化表；

第一编码子模块，用于根据各图像块对应的量化表，对待编码图像进行编码。

在本公开的一种示例性实施例中，第一编码子模块包括：

变换系数矩阵确定单元，用于确定各图像块的变换系数矩阵；

量化单元，用于针对待编码图像中的单个图像块，根据该图像块对应的量化表对该图像块的变换系数矩阵进行量化，得到该图像块的编码码率；

第一编码单元，用于根据各图像块的编码码率对待编码图像进行编码。

在本公开的一种示例性实施例中，频率类别确定模块720包括：

第一计算单元，用于根据待编码图像中的单个图像块，计算参照图像中与该图像块对应的图像块，与该图像块的梯度差值；

第一确定单元，用于将待编码图像中对应的梯度差值的绝对值大于第一阈值的图像块所属的频率类别确定为高频，将待编码图像中对应的梯度差值的绝对值小于第二阈值的图像块所属的频率类别确定为低频，第一阈值大于或等于第二阈值。

在本公开的一种示例性实施例中，频率类别确定模块720包括：

下采样单元，用于若待编码图像的分辨率大于参照图像的分辨率，对待编码图像进行下采样，得到与参照图像分辨率相同的下采样图像；

第二计算单元，用于以相同的划分方式将下采样图像与参照图像划分为多个图像块，并计算对应图像块之间的梯度差值；

目标图像块确定单元，用于将下采样图像中对应的梯度差值的绝对值大于第三阈值的图像块作为第一目标图像块；将下采样图像中对应的梯度差值的绝对值小于第四阈值的图像块作为第二目标图像块，第三阈值大于或等于第四阈值；

第二确定单元，用于将待编码图像中与第一目标图像块对应的图像块所属的频率类别确定为高频，将待编码图像中与第二目标图像块对应的图像块所属的频率类别确定为低频。

在本公开的一种示例性实施例中，频率类别确定模块720包括：

上采样单元，用于若待编码图像的分辨率大于参照图像的分辨率，对参照图像进行上采样，得到与待编码图像分辨率相同的上采样图像；

第三计算单元，用于以相同的划分方式将上采样图像与待编码图像划分为多个图像块，并计算对应图像块之间的梯度差值；

第三确定单元，用于将待编码图像中对应的梯度差值的绝对值大于第五阈值的图像块所属的频率类别确定为高频，将待编码图像中对应的梯度差值的绝对值小于第六阈值的图像块所属的频率类别确定为低频，第五阈值大于或等于第六阈值。

在本公开的一种示例性实施例中，量化表确定子模块，包括：

第一修改单元，用于若该图像块所属的频率类别为低频，增大该图像块对应的初始量化表中的量化系数，其中，该图像块对应的初始量化表中的量化系数的增加量与该图像块对应的梯度差值的绝对值呈负相关；和/或，

第二修改单元，用于若该图像块所属的频率类别为高频，减小该图像块对应的初始量化表中的量化系数，其中，该图像块对应的初始量化表中的量化系数的减小量与该图像块对应的梯度差值的绝对值呈正相关。

在本公开的一种示例性实施例中，编码模块730包括：

编码码率确定子模块，用于针对待编码图像中的单个图像块，根据该图像块所属的频率类别，确定该图像块的编码码率；

第二编码子模块，用于根据各图像块的编码码率对待编码图像进行编码。

在本公开的一种示例性实施例中，待编码图像中的各图像块为n×n的图像块，其中，n＝2^k，k为大于0的整数。

在本公开的一种示例性实施例中，变换系数矩阵确定单元具体用于分别确定各图像块的亮度信息的变换系数矩阵和色度信息的变换系数矩阵。

在本公开的一种示例性实施例中，参照图像与待编码图像的分辨率满足关系式：待编码图像的分辨率＝2^2m×参照图像的分辨率，m为大于0的整数。

在本公开的一种示例性实施例中，待编码图像的分辨率为9216×6912，参照图像的分辨率为4608×3456。

在本公开的一种示例性实施例中，变换系数矩阵确定单元，具体用于通过离散余弦变换确定各图像块的变换系数矩阵。

上述图像编码装置中各模块或单元的具体细节已经在对应的图像编码方法中进行了详细的描述，因此此处不再赘述。

在本公开的示例性实施例中，还提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行本示例实施方式中的图像编码方法的全部或者部分步骤。

图8示出了用于实现本公开实施例的电子设备的计算机系统的结构示意图。需要说明的是，图8示出的电子设备的计算机系统800仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的装置中限定的各种功能。

在本公开的示例性实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

需要说明的是，本公开所示的计算机可读存储介质例如可以是-但不限于-电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像编码方法，其特征在于，所述方法包括：

获取待编码图像与参照图像，其中，所述参照图像与所述待编码图像分辨率不同；

根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，所述参照图像中包含与所述各图像块对应的图像块；

根据所述各图像块所属的频率类别，对所述待编码图像进行编码；

所述根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，包括：根据所述待编码图像中的单个图像块，计算所述参照图像中与该图像块对应的图像块，与该图像块的梯度差值；根据该图像块的梯度差值，确定该图像块的频率类别；

所述根据所述各图像块所属的频率类别，对所述待编码图像进行编码，包括：针对所述待编码图像中的单个图像块，根据该图像块所属的频率类别，确定该图像块对应的量化表；确定所述各图像块的变换系数矩阵；针对所述待编码图像中的单个图像块，根据该图像块对应的量化表对该图像块的变换系数矩阵进行量化，得到该图像块的编码码率；根据所述各图像块的编码码率对所述待编码图像进行编码；

其中，梯度差值的绝对值越大，该图像块中包含的细节越多，梯度差值的绝对值越小，该图像块中包含的细节越少。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，包括：

根据所述待编码图像中的单个图像块，计算所述参照图像中与该图像块对应的图像块，与该图像块的梯度差值；

将所述待编码图像中对应的梯度差值的绝对值大于第一阈值的图像块所属的频率类别确定为高频，将所述待编码图像中对应的梯度差值的绝对值小于第二阈值的图像块所属的频率类别确定为低频，所述第一阈值大于或等于所述第二阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，包括：

若所述待编码图像的分辨率大于所述参照图像的分辨率，对所述待编码图像进行下采样，得到与所述参照图像分辨率相同的下采样图像；

将所述下采样图像与所述参照图像划分为多个图像块，并计算所述下采样图像与所述参照图像中对应图像块之间的梯度差值；

将所述下采样图像中对应的梯度差值的绝对值大于第三阈值的图像块作为第一目标图像块；将所述下采样图像中对应的梯度差值的绝对值小于第四阈值的图像块作为第二目标图像块，所述第三阈值大于或等于所述第四阈值；

将所述待编码图像中与所述第一目标图像块对应的图像块所属的频率类别确定为高频，将所述待编码图像中与所述第二目标图像块对应的图像块所属的频率类别确定为低频。

4.根据权利要求1所述的方法，其特征在于，所述根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，包括：

若所述待编码图像的分辨率大于所述参照图像的分辨率，对所述参照图像进行上采样，得到与所述待编码图像分辨率相同的上采样图像；

将所述上采样图像与所述待编码图像划分为多个图像块，并计算所述上采样图像与所述待编码图像中对应图像块之间的梯度差值；

将所述待编码图像中对应的梯度差值的绝对值大于第五阈值的图像块所属的频率类别确定为高频，将所述待编码图像中对应的梯度差值的绝对值小于第六阈值的图像块所属的频率类别确定为低频，所述第五阈值大于或等于所述第六阈值。

5.根据权利要求2～4任一所述的方法，其特征在于，所述根据该图像块所属的频率类别，确定该图像块对应的量化表，包括：

若该图像块所属的频率类别为低频，增大该图像块对应的初始量化表中的量化系数，其中，该图像块对应的初始量化表中的量化系数的增加量与该图像块对应的梯度差值的绝对值呈负相关；和/或，

若该图像块所属的频率类别为高频，减小该图像块对应的初始量化表中的量化系数，其中，该图像块对应的初始量化表中的量化系数的减小量与该图像块对应的梯度差值的绝对值呈正相关。

6.根据权利要求1所述的方法，其特征在于，所述根据所述各图像块所属的频率类别，对所述待编码图像进行编码，包括：

针对所述待编码图像中的单个图像块，根据该图像块所属的频率类别，确定该图像块的编码码率；

根据所述各图像块的编码码率对所述待编码图像进行编码。

7.根据权利要求1所述的方法，其特征在于，所述待编码图像中的各图像块为n×n的图像块，其中，n＝2^k，k为大于0的整数。

8.根据权利要求1所述的方法，其特征在于，所述确定所述各图像块的变换系数矩阵，包括：

分别确定所述各图像块的亮度信息的变换系数矩阵和色度信息的变换系数矩阵。

9.根据权利要求1所述的方法，其特征在于，所述参照图像与所述待编码图像的分辨率满足关系式：所述待编码图像的分辨率＝2^2m×所述参照图像的分辨率，m为大于0的整数。

10.根据权利要求1所述的方法，其特征在于，所述待编码图像的分辨率为9216×6912，所述参照图像的分辨率为4608×3456。

11.根据权利要求1所述的方法，其特征在于，所述确定所述各图像块的变换系数矩阵，包括：

通过离散余弦变换确定所述各图像块的变换系数矩阵。

12.一种图像编码装置，其特征在于，所述装置包括：

图像获取模块，用于获取待编码图像与参照图像，其中，所述参照图像与所述待编码图像分辨率不同；

频率类别确定模块，用于根据所述待编码图像与所述参照图像，确定所述待编码图像中各图像块所属的频率类别，所述参照图像中包含与所述各图像块对应的图像块；

编码模块，用于根据所述各图像块所属的频率类别，对所述待编码图像进行编码；

所述频率类别确定模块，具体用于根据所述待编码图像中的单个图像块，计算所述参照图像中与该图像块对应的图像块，与该图像块的梯度差值；根据该图像块的梯度差值，确定该图像块的频率类别；

所述编码模块，具体用于针对所述待编码图像中的单个图像块，根据该图像块所属的频率类别，确定该图像块对应的量化表；确定所述各图像块的变换系数矩阵；针对所述待编码图像中的单个图像块，根据该图像块对应的量化表对该图像块的变换系数矩阵进行量化，得到该图像块的编码码率；根据所述各图像块的编码码率对所述待编码图像进行编码；

其中，梯度差值的绝对值越大，该图像块中包含的细节越多，梯度差值的绝对值越小，该图像块中包含的细节越少。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～11任一项所述的方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～11任一项所述的方法。

Images