CN116347084A - 图像的编码/解码方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本公开提供一种图像的编码/解码方法、电子设备和计算机可读存储介质，对于具有文字区域的待编码图像，文字宏块之间颜色种类的相似性，从而可以对待编码图像中的文字区域所在的文字宏块采用调色板值进行量化，利用调色板值和每个像素点对应的索引值进行编码，得到编码后的图像，在不影响文字的清晰度的情况下，降低码流，编码效果好，提升用户体验。

Description

图像的编码/解码方法、电子设备和计算机可读存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及图像的编码/解码方法、电子设备和计算机可读存储介质。

背景技术

图像可以分为自然图像和屏幕图像两大类。自然图像指的是自然界真实存在的景色，是由摄像机采集得到，日常的电影、电视内容均为自然图像。屏幕图像是采用计算机图形学技术，通过计算机上显卡计算得到的人造图像，例如办公软件Word的界面，游戏画面，网页文字，CAD软件的矢量图、渲染图等等。屏幕图像中常常会有文字区域。文字区域可以是有文字内容的区域，例如窗口的标题栏等，具有高梯度细节。与文字区域不同的是图片区域，图片区域相对颜色比较均衡。

然而，采用通用的自然图像编码器，例如H264/H265，对包含文字区域的屏幕图像进行编码时，通常编码后的图像效果比较模糊，如果想使编码后的图像清晰，则码流非常大，编码效果不好。

发明内容

本公开实施例提供一种图像的编码/解码方法、电子设备和计算机可读存储介质，能够解决目前的编码方式编码效果不好的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像的编码方法，该方法包括：

将待编码图像按照预设尺寸划分成多个宏块，所述多个宏块包括文字宏块；

分别获取每个文字宏块作为目标文字宏块，并进行如下处理：分别对各通道的像素值进行统计，确定各通道的调色板值，其中，每个通道的调色板值的数量小于对应通道的像素值的取值的数量；根据各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值，确定所有像素点分别对应的索引值；分别对各通道的调色板值、所述所有像素点分别对应的索引值进行编码，得到编码后的文字宏块；

对其他宏块进行编码，得到编码后的其他宏块，所述其他宏块是所述多个宏块中除所述文字宏块以外的宏块；

将所述编码后的文字宏块和所述编码后的其他宏块进行融合处理，得到编码后的图像。

在一个实施例中，所述分别对各通道的像素值进行统计，确定各通道的调色板值，包括：

分别获取每个通道作为目标通道，并进行如下处理：

对目标通道的所有像素值进行统计，得到所述目标通道的像素值的数量最多的M个目标区间，N个区间包括M个目标区间，所述N个区间是将所述目标通道的像素值的取值范围进行平均划分得到的，N为大于1的整数，M为大于1且小于N的整数；分别获取每个区间作为目标区间，进行如下处理：将所述目标区间中像素值的数量最多的像素值作为所述目标区间的调色板值；将所有目标区间的调色板值作为所述目标通道的调色板值。

在一个实施例中，所述根据各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值，确定所有像素点分别对应的索引值，包括：

分别获取每个通道作为目标通道，并进行如下处理：

若第一像素点的像素值与目标通道的第一调色板值之间的差值小于或等于预设阈值，则将所述第一调色板值对应的字符作为所述第一像素点的索引值；所述目标通道的调色板值包括所述目标通道的第一调色板值；

若第二像素点的像素值与目标通道的第二调色板值之间的差值均大于所述预设阈值，则将杂色值对应的字符作为所述第二像素点的索引值；所述目标通道的调色板值包括所述目标通道的第二调色板值。

在一个实施例中，所述分别对各通道的调色板值、所述所有像素点分别对应的索引值进行编码，得到编码后的文字宏块之前，还包括：

若参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述参考宏块的对应通道的调色板值是否相同，所述参考宏块是与所述目标文字宏块位置相邻的文字宏块；

所述分别对各通道的调色板值、所述所有像素点分别对应的索引值进行编码，得到编码后的文字宏块，包括：

若目标文字宏块的目标通道的调色板值与所述参考宏块的目标通道的调色板值相同，则确定目标通道的标识信息；对所述目标通道的标识信息、所述目标文字宏块的所有像素点分别对应的索引值进行编码，得到编码后的目标通道的文字宏块；

若目标文字宏块的目标通道的调色板值与所述参考宏块的目标通道的调色板值不完全相同，则对所述目标文字宏块的目标通道的调色板值、所述目标文字宏块的所有像素点分别对应的索引值进行编码，得到编码后的目标通道的文字宏块；

将所有编码后的目标通道的文字宏块作为编码后的文字宏块。

在一个实施例中，所述参考宏块包括左参考宏块或者上参考宏块；所述分别获取每个文字宏块作为目标文字宏块，包括：

按照光栅顺序，分别获取每个文字宏块作为目标文字宏块；

所述若参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述参考宏块的对应通道的调色板值是否相同，包括：

若左参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述左参考宏块的对应通道的调色板值是否相同；

若左参考宏块不是文字宏块，且上参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述上参考宏块的对应通道的调色板值是否相同。

在一个实施例中，所述将所述编码后的文字宏块和所述编码后的其他宏块进行融合处理，得到编码后的图像之后，还包括：

向解码设备发送所述编码后的图像，以使所述解码设备对所述编码后的图像进行解码，得到待编码图像。

根据本公开实施例的第二方面，提供一种图像的解码方法，包括：

获取待解码图像，所述待解码图像是编码设备对待编码图像进行编码得到的；

将所述待解码图像划分为待解码文字宏块和待解码其他宏块，待解码其他宏块是所述待解码图像中不是待解码文字宏块的待解码宏块；

分别获取每个所述待解码文字宏块作为目标待解码文字宏块，进行如下处理：

对所述目标待解码文字宏块进行解码，得到解码信息，所述解码信息包括：各通道的调色板值、所述目标文字宏块中的所有像素点分别对应的索引值；所述各通道的调色板值是编码设备对所述待编码图像的目标文字宏块的各通道的像素值进行统计得到的，其中，每个通道的调色板值的数量小于对应通道的像素值的取值的数量；所述目标文字宏块中的所有像素点分别对应的索引值是所述编码设备根据所述待编码图像的各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值确定的；根据所述解码信息，得到解码后的文字宏块；

对每个所述待解码其他宏块进行解码，得到解码后的其他宏块；

将所述解码后的文字宏块和所述解码后的其他宏块进行融合处理，得到解码后的图像。

在一个实施例中，所述解码信息还包括：目标通道的标识信息，所述目标通道的标识信息用于指示目标待解码文字宏块的目标通道的调色板值与参考宏块的目标通道的调色板值相同，其中，所述参考宏块是与所述目标待解码文字宏块位置相邻的文字宏块；所述根据所述解码信息，得到解码后的文字宏块，包括：

根据所述目标通道的标识信息，获取所述参考宏块的目标通道的调色板值作为所述目标待解码文字宏块的目标通道的调色板值；

根据所述各通道的调色板值、所述目标文字宏块中的所有像素点分别对应的索引值进行解码，得到解码后的文字宏块。

根据本公开实施例的第三方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现上述第一方面任一项所述的图像的编码方法中所执行的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括处理器和存储器，所述存储器存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现上述第二方面任一项所述的图像的解码方法中所执行的步骤。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现上述第一方面任一项所述的图像的编码方法中所执行的步骤。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现上述第二方面任一项所述的图像的解码方法中所执行的步骤。

本公开实施例提供的图像的编码/解码方法、电子设备和计算机可读存储介质，对于具有文字区域的待编码图像，文字宏块之间颜色种类的相似性，从而可以对待编码图像中的文字区域所在的文字宏块采用调色板值进行量化，利用调色板值和每个像素点对应的索引值进行编码，得到编码后的图像，在不影响文字的清晰度的情况下，降低码流，编码效果好，提升用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本公开实施例提供的一种带有文字区域的屏幕图像场景示意图；

图2为本公开实施例提供的一种图像的编码方法的流程示意图；

图3为本公开实施例提供的一种相邻文字宏块的颜色构成示意图；

图4为本公开实施例提供的一种图像的解码方法的流程示意图；

图5A为本公开实施例提供的一种编码器的结构示意图；

图5B为本公开实施例提供的一种解码器的结构示意图；

图6为本公开实施例提供的一种文字宏块的亮度分量的调色板索引图示例。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

对于包含文字区域的屏幕图像，可以采用通用的自然图像编码器，例如H264/H265，进行编码时，通常编码后的图像效果比较模糊，如果想使编码后的图像清晰，则码流非常大，编码效果不好。也可以采用哈夫曼(huffman)或游程编码(run-length encoding，简称RLE)等方式对包含文字区域的屏幕图像进行编码时，码流较大。

下面介绍本公开的技术方案以及本公开的技术方案如何解决上述问题。

本公开提供的的图像的编码/解码方法可以应用在图像的编解码系统。图像编码/解码系统包括编码设备和解码设备。其中，编码设备与解码设备通过网络连接。编码设备可以是计算机、服务器等。解码设备也可以是计算机、服务器等。

在一种场景下，编码设备和解码设备分别位于网络的两端，编码设备可以采集用户操作的图像序列，编码压缩后通过网络实时发送给解码设备，解码设备解码后，用户就可以在解码设备的屏幕上看到发送过来的图像序列。

请参考图1，图1为本公开实施例提供的一种带有文字区域的屏幕图像场景示意图，虚线框住的文字区域101、文字区域102和文字区域103都是典型的大片文字区域的情形，其中，文字区域103的面积最大。

本公开提供的图像的编码/解码方法、电子设备和计算机可读存储介质，对于具有文字区域的待编码图像，文字宏块之间颜色种类的相似性，从而可以对待编码图像中的文字区域所在的文字宏块采用调色板值进行量化，利用调色板值和每个像素点对应的索引值进行编码，得到编码后的图像，在不影响文字的清晰度的情况下，降低码流，编码效果好，提升用户体验。

下面以具体的实施例进行详细说明本公开提供的技术方案。

请参见图2，图2为本公开实施例提供的一种图像的编码方法的流程示意图，本实施例提供的图像的编码方法可以由计算机执行，例如，可以是上述图像的编解码系统中的编码设备。本实施例提供的方法可以包括以下步骤201-步骤204。

步骤201、将待编码图像按照预设尺寸划分成多个宏块。

其中，多个宏块包括文字宏块。

其中，预设尺寸为预先设定的尺寸，例如，可以设置16像素×16像素的大小为一个宏块。

可选的，可以根据划分出来的宏块的梯度特点，对宏块进行分类。此处宏块分类主要区分出宏块是否是文字宏块，即分类的结果就是宏块是文字宏块或者除文字宏块的其他宏块。因为本实施例主要针对文字宏块的编码处理进行了改进。

步骤202、分别获取每个文字宏块作为目标文字宏块，并进行如下步骤2021-步骤2023的处理。

对于每个文字宏块分别进行处理。下面介绍每个文字宏块分别处理的过程。

步骤2021、分别对各通道的像素值进行统计，确定各通道的调色板值。

其中，每个通道的调色板值的数量小于对应通道的像素值的取值的数量。

对于一个待编码图像中的每个宏块均具有多个通道，例如，待编码图像是YUV格式的，则待编码图像有3个通道，分别为Y通道、U通道和V通道。则对于每个宏块中的每个像素点来说，有3个像素值，分别为Y通道的像素值、U通道的像素值和V通道的像素值。

在对目标文字宏块进行处理时，将目标文字宏块中的像素点的像素值分为不同的通道单独处理。对于每个通道，对目标文字宏块内的像素点的像素值进行统计，从而确定能够代表该目标文字宏块的像素点的像素值的调色板值。每个通道对应的调色板值的数量至少是两个。

步骤2022、根据各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值，确定所有像素点分别对应的索引值。

其中，各通道调色板值对应的索引值可以是预先设置的，可以为数字、字母等字符，也可以为字符串。示例性的，每个通道的调色板值的数量为4个，为了降低编码得到的码流，则预先设置每个通道的调色板值对应的索引值为数字，例如可以分别为0、1、2和3。

对于每个通道单独进行处理，每个通道的像素值根据该通道的调色板值进行转换，从而将每个像素值转换成该通道的调色板值对应的索引值。

步骤2023、分别对各通道的调色板值、所有像素点分别对应的索引值进行编码，得到编码后的文字宏块。

步骤203、对其他宏块进行编码，得到编码后的其他宏块。

其中，其他宏块是多个宏块中除文字宏块以外的宏块。

其他宏块可以为图片宏块等。其他宏块由于与上述文字宏块的特点可能不同，因此，可以不采用上述编码方式。

步骤204、将编码后的文字宏块和编码后的其他宏块进行融合处理，得到编码后的图像。

本公开实施例提供的图像的编码方法，对于具有文字区域的待编码图像，文字宏块之间颜色种类的相似性，从而可以对待编码图像中的文字区域所在的文字宏块采用调色板值进行量化，利用调色板值和每个像素点对应的索引值进行编码，得到编码后的图像，在不影响文字的清晰度的情况下，降低码流，编码效果好，提升用户体验。

在上述实施例的基础上，进一步地，步骤2021中可以分别获取每个通道作为目标通道，并进行如下步骤20211-步骤20213处理。

步骤20211、对目标通道的所有像素值进行统计，得到目标通道的像素值的数量最多的M个目标区间。

其中，N个区间包括M个目标区间。N个区间是将目标通道的像素值的取值范围进行平均划分得到的，N为大于1的整数，M为大于1且小于N的整数。

步骤20212、分别获取每个区间作为目标区间，进行如下处理：将目标区间中像素值的数量最多的像素值作为目标区间的调色板值。

步骤20213、将所有目标区间的调色板值作为目标通道的调色板值。

对目标通道的所有像素值进行统计的过程中，由于目标通道像素值的取值范围是一定的，例如，YUV格式的待编码图像的Y通道的像素值的取值范围是0-255。可以将0-255预先分成N个区间，例如，可以分成16个区间，取值范围被分为16份。M可以取4，在16个区间中找到像素频率直方图之和最大的4个区间，即这4个区间中，目标通道像素值出现的数量或者说频率最多。在该4个目标区间中的每个目标区间获取像素值的数量最多的像素值作为目标区间的调色板值。从而得到了4个调色板值，该4个调色板值即为该目标通道的调色板值。

本实施例中，通过对目标通道的所有像素值进行统计，得到目标通道的像素值的数量最多的M个目标区间，分别获取每个区间作为目标区间，进行如下处理：将目标区间中像素值的数量最多的像素值作为目标区间的调色板值，从而得到目标通道的调色板值，使得调色板值更具代表性，从而使得后续根据调色板值对像素值进行量化以后，不会造成失真。

在上述实施例的基础上，进一步地，步骤2022中可以分别获取每个通道作为目标通道，并进行如下步骤20221-步骤20223处理。

步骤20221、分别判断每个像素点的像素值与目标通道的调色板值之间的差值是否小于或等于预设阈值。

其中，预设阈值为预先设置的值，表示像素值与调色板值之间的差值的允许范围。

若是，则继续执行步骤20222；若否，则继续执行步骤20223。

步骤20222、将第一调色板值对应的字符作为该像素点的索引值。

其中，目标通道的调色板值包括目标通道的第一调色板值。

步骤20223、将杂色值对应的字符作为该像素点的索引值。

其中，目标通道的调色板值包括目标通道的第二调色板值。

由于目标通道的调色板值有多个，因此每个像素点的像素值需要与该多个调色板值进行对比计算差值。如果第一像素值与第一调色板值之间的差值小于或等于预设阈值，则认为该第一调色板值可以代替该第一像素值进行编码。如果第二像素值与第二调色板值之间的差值小于或等于预设阈值，则认为第二调色板值无法代替该像素值，则需要将第二像素值进行编码，并标记其对应的索引值为杂色值。

本实施例，通过根据像素值与调色板值之间的差值与预设阈值进行比较，在不失真的情况下，可以对像素值进行量化，降低码流，提高了用户体验。

在一些场景中，相邻文字宏块的颜色构成常常具有相似性，即在空间上具有关联性，因此，对文字宏块进行编码时，可以参考相邻文字宏块的调色板值，从而进一步降低码流，提高压缩比。

示例性的，请参考图3，图3为本公开实施例提供的一种相邻文字宏块的颜色构成示意图。图3是一片放大了的文字区域的宏块构成情况，从这些宏块可直观看到他们的颜色构成具有相似性。这种文字区域内的色彩构成的相似性，就是一种空间上的关联性，从数据压缩的角度看，也就是一种空间上的冗余。当采用基于宏块的方式进行编码时，考虑进这个冗余特性将有助于进一步降低码流，提高压缩比。下面以具体的实施例进行详细说明。

在上述任一实施例的基础上，进一步地，步骤2023之前还可以包括步骤301-步骤303，相应的，步骤2023可以包括步骤20231-步骤20232。

步骤301、判断参考宏块是否是文字宏块。

其中，参考宏块是与目标文字宏块位置相邻的文字宏块。

若是，则继续执行步骤302；若否，则继续执行步骤303。

步骤302、分别判断目标文字宏块的各通道的调色板值与参考宏块的对应通道的调色板值是否相同。

若是，则继续执行步骤20231；若否，则继续执行步骤20233。

步骤20231、确定目标通道的标识信息。

其中，目标通道的标识信息用于指示目标通道的调色板值与参考宏块的对应通道的调色板值相同。该目标通道的标识信息可以通过一个字符或者字符串的形式表示，对于目标通道的标识信息的具体表现形式本公开不做限定。

参考宏块的对应通道是指参考宏块的目标通道，以待编码图像为YUV格式为例，目标通道假设是Y通道，则参考宏块的对应通道是参考宏块的Y通道。继续执行步骤20232。

步骤20232、对目标通道的标识信息、目标文字宏块的所有像素点分别对应的索引值进行编码，得到编码后的目标通道的文字宏块。

如果目标文字宏块的目标通道的调色板值与参考宏块的对应通道的调色板值相同，则在对目标文字宏块的目标通道进行编码时，可以不对其调色板值进行编码，编码时将目标通道的标识信息编码即可。相应的，在对编码后的目标通道的文字宏块进行解码时，通过解码出的目标通道的标识信息，获取参考宏块的调色板值进行解码。继续执行步骤20234。

步骤20233、对目标文字宏块的目标通道的调色板值、目标文字宏块的所有像素点分别对应的索引值进行编码，得到编码后的目标通道的文字宏块。

若目标文字宏块的目标通道的调色板值与参考宏块的目标通道的调色板值不完全相同，则编码时将目标文字宏块的目标通道的调色板值进行一并编码。从而在解码时，通过解码得到的目标文字宏块的目标通道的调色板值进行进一步解码。继续执行步骤20234。

步骤20234、将所有编码后的目标通道的文字宏块作为编码后的文字宏块。

本实施例，由于图像的文字区域的色彩构成具有相似性，是一种空间上的关联性，从数据压缩的角度看，也就是一种空间上的冗余。示例性的，在大片文字区域中，大部分文字宏块是可以参考邻近的参考宏块的，对于这些文字宏块，无需编码他们的调色板色。因此，当采用基于宏块的方式进行编码时，对文字宏块的编码考虑上述冗余特性，可以进一步降低码流，提高压缩比。

在上述任一实施例的基础上，进一步地，在步骤204之后还可以包括步骤205。

步骤205、向解码设备发送编码后的图像。

解码设备接收到编码后的图像以后，对编码后的图像进行解码，得到待编码图像。

下面以具体的实施例介绍解码设备对待解码图像进行解码的过程。

请参考图4，图4为本公开实施例提供的一种图像的解码方法的流程示意图，本实施例提供的方法可以由计算机或者服务器等执行，该计算机可以是上述图像的编解码系统中的解码设备，本实施例中的待解码图像可以是上述实施例中通过图像的编码方法得到的编码后的图像。本实施例提供的方法包括如下步骤。

步骤401、获取待解码图像。

其中，待解码图像是编码设备对待编码图像进行编码得到的。该编码设备可以是上述图像的编解码系统中的编码设备。

步骤402、将待解码图像划分为待解码文字宏块和待解码其他宏块。

其中，待解码文字宏块是编码设备对待编码图像中的文字宏块编码得到的。

其中，待解码其他宏块是待解码图像中不是待解码文字宏块的待解码宏块。示例性的，待解码其他宏块可以是待解码图像宏块。

步骤403、分别获取每个待解码文字宏块作为目标待解码文字宏块，进行如下步骤4031-步骤4032处理。

步骤4031、对目标待解码文字宏块进行解码，得到解码信息。

其中，解码信息包括：各通道的调色板值、目标文字宏块中的所有像素点分别对应的索引值。

其中，各通道的调色板值是编码设备对待编码图像的目标文字宏块的各通道的像素值进行统计得到的。

其中，每个通道的调色板值的数量小于对应通道的像素值的取值的数量。

其中，目标文字宏块中的所有像素点分别对应的索引值是编码设备根据待编码图像的各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值确定的。

解码和编码是相反的过程，解码得到的解码信息即为编码设备对该文字宏块进行编码前的信息。其中，解码信息中包括的内容上述实施例中已经介绍过，此处不再赘述。

步骤4032、根据解码信息，得到解码后的文字宏块。

步骤404、对每个待解码其他宏块进行解码，得到解码后的其他宏块。

步骤405、将解码后的文字宏块和解码后的其他宏块进行融合处理，得到解码后的图像。

本实施例，通过编码设备对待编码图像进行编码时，对于具有文字区域的待编码图像，文字宏块之间颜色种类的相似性，从而可以对待编码图像中的文字区域所在的文字宏块采用调色板值进行量化，利用调色板值和每个像素点对应的索引值进行编码，得到编码后的图像，在不影响文字的清晰度的情况下，降低码流，编码效果好。发送给解码设备，解码设备通过相反的过程对待解码图像进行解码，从而得到原始的待编码图像，从而提升用户体验。

在一些实施例中，如果解码设备对待解码图像进行解码时，解码信息中还包括目标通道的标识信息，则在解码时可以使用参考宏块的调色板值进行解码。下面以具体的实施例进行说明。

在图4所示实施例的基础上，进一步地，本实施例提供的方法中，步骤4031中得到的解码信息还可以包括：目标通道的标识信息，目标通道的标识信息用于指示目标待解码文字宏块的目标通道的调色板值与参考宏块的目标通道的调色板值相同，其中，参考宏块是与目标待解码文字宏块位置相邻的文字宏块；本实施例提供的方法步骤4032可以包括如下步骤40321。

步骤40321、根据目标通道的标识信息，获取参考宏块的目标通道的调色板值作为目标待解码文字宏块的目标通道的调色板值。

步骤40322、根据各通道的调色板值、目标文字宏块中的所有像素点分别对应的索引值进行解码，得到解码后的文字宏块。

本实施例，通过目标通道的标识信息确定当前的待解码文字宏块的目标通道的调色板值与参考宏块相同，则可以直接获取参考宏块的调色板值作为本文字宏块的目标通道的调色板值，从而使得码流中无需存储大量的调色板值，降低了码流，提高了用户体验。

下面结合上述实施例中介绍的方法，以具体示例提供一种图像编解码系统，图像编解码系统包括编码设备和解码设备，其中，编码设备也可以称为编码器，解码设备也可以称为解码器。请参见图5A和图5B，图5A为本公开实施例提供的一种编码器的结构示意图，图5B为本公开实施例提供的一种解码器的结构示意图。下面对编码器和解码器中的模块进行介绍。

宏块识别模块500用于分析一帧屏幕图像的所有宏块，根据它们的梯度特点，将宏块判别为文字宏块或者图片宏块，例如图1中所示的文字区域中的宏块，就是典型的文字宏块，文字区域外的则大部分是图片宏块(图1只是框住了3个文字区域作为示意，事实上在虚线框外部也有些许文字内容，例如窗口的标题栏等，它们也将被判别为文字宏块)。图片宏块所覆盖的区域的特点是颜色比较均衡，没有像文字线条这种高梯度细节部分。文字宏块和图片宏块将使用不同的编码方法进行编码。本方案主要描述的是文字宏块的编码方式；

文字宏块编码器501用于当全帧宏块被分类完毕后，对文字宏块进行编码。文字宏块编码器501又分为若干子模块(直方图统计模块502、调色板帧内预测模块503、)，分别完成不同的工作。

直方图统计模块502用于将文字宏块的全帧3个分量共16*16*3＝768个像素按各自的分量进行直方图统计。以Y分量为例，Y分量有256个像素点，每个点的亮度值取值在0～255范围内，按照一定的区间大小deta1，将像素取值区间[0,255]分为num＝255/deta1个区间。以deta1＝16为例子，则像素取值区间被分为16份。在16个区间中找到像素频率直方图之和最大的4个区间，即这4个区间中，像素出现的数量或者说频率最多，并将4个区间中频率最大的像素值作为调色板色，从而得到Y分量的4种调色板色，可以分别记为Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]。

调色板帧内预测模块503：在连续的大片文本区域中，宏块之间常常会出现颜色构成完全相同的情况。调色板帧内预测模块503就是利用到这个特点，来进一步消除空间冗余的。首先需要说明，宏块编码是光栅顺序，即从左到右从上到下，当前待编码宏块的上邻宏块和左邻宏块都是已经编码完成的宏块，如果它们是文字宏块的话，它们的调色板色等等所有的信息都已经生成完毕，在编码当前宏块的时候可以得到那些信息并进行参考。在编码当前宏块时，考察本宏块左邻或者上邻宏块是否是文字宏块，如果仅左邻或者上邻二者之一为文字宏块，则选择该宏块为参考宏块；如果二者都不是文字宏块，则不进行参考；如果二者都是文字宏块，则先将左邻视为参考宏块，进行调色板帧内预测，如果预测失败，再将上邻宏块视为参考宏块，进行调色板帧内预测；调色板帧内预测就是将本宏块的Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]四个值和参考宏块的此四个值进行比较，如果值完全相同，则确定参考宏块具备参考性。如果两个邻近宏块都不具备参考性，则需要将Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]这四个调色板色经过熵编码模块505编入码流；如果具备参考性，则只需要在码流中编入如下参考信息字段ref_mb_ind即可。

ref_mb_ind字段中0表示参考的是左邻宏块，1表示参考的是上邻宏块，2表示无参考。参考信息字段中的0和1与上述实施例中的目标通道的标识信息对应。

实际上在大片文字区域中，大部分宏块是可以参考邻近宏块的，对于这些宏块，无需编码他们的调色板色；上面描述的是Y分量也就是亮度分量的调色板计算与预测方法，另外还有U和V色度分量，计算方法和Y分量相同，不再额外描述。

索引图生成模块504：前面已经生成了宏块的调色板色，仍以Y分量为例，一个宏块共256个像素点，每个点的亮度取值为0～255，本模块会将这个16*16的宏块矩阵中的值变换为取值为0～4之间。具体方法是，如果某个像素点和Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]其中某个调色板色的数值的差距小于阈值delta2，则将这个像素点的亮度数值判定为调色板色的数值，这个环节实际就是调色板量化。在量化过后，某个像素点在矩阵中对应的值可能是0/1/2/3，还有一种情况，就是这个像素的数值和四个调色板色都不相近，这种像素的数量很少，但是常常会有。这种像素将其称之为杂色。把它的索引值可以定义为4。因此索引图生成模块504实际就完成了从原始像素灰度值到调色板索引图矩阵的转换。请参考图6，图6为本公开实施例提供的一种文字宏块的亮度分量的调色板索引图示例。

熵编码模块505：数据到此熵编码模块505，得到的此宏块的信息如下：

(1)ref_mb_ind值，若为0或1，则无需编码调色板色；若为2，则需编码Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]这四个调色板色；

(2)宏块的调色板索引图；

(3)调色板索引图中，索引为4的像素点所对应的颜色值，也就是杂色。杂色是按YUV分量的顺序，每个分量中，从上到下从左到右，记录在缓存杂色值数组中。

上述信息就是当前宏块需要编入码流中的信息。观察图6的调色板索引图，体现出明显的特点是数字范围很小，只有0～4的范围，而且存在区域性相同的情况，如大片的0相邻。这种情况尤其适用于RLE也就是游程编码。因此，熵编码模块505可以对调色板索引图进行游程编码，将游程编码的结果、ref_mb_ind的值、Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]这四个调色板色(如果存在的话)、缓存的杂色值数组这些内容进行huffman编码，形成这个文字宏块的码流。

图片宏块编码器506用于针对文字区域外部的那些平缓的背景色进行编码。示例性的，可使用JPEG编码方法对其进行编码，解码端也用对应的方法解码。

全帧码流生成模块507：文字宏块编码器501和图片宏块编码器506分别对文字宏块、图片宏块进行了编码，全帧码流生成模块507则对全帧码流进行融合，生成整帧的编码码流，发送往解码端。

上述是编码器主要组件。解码器的组件是：

码流解析模块510：用于解析码流为宏块对应的码流，分别交给文字宏块解码器511和图片宏块解码器515解码。

文字宏块解码器511：对于文字宏块码流的解码，和编码端的文字宏块编码器501是对应的关系，流程相反，但解码过程相对于编码过程来说没有了预测的过程，因此较为简单。首先用Huffman解码模块512进行huffman解码得到ref_mb_ind的值、Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]这四个调色板色(如果ref_mb_ind的值解出来是2的话)、缓存的杂色值数组这些宏块相关的信息，然后宏块索引图回复模块513通过游程解码环节得到调色板索引图。

需要说明的是，当解码得到ref_mb_ind的值是0或1的话，Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]这四个调色板色并不出现在码流中，解码器需要读取左邻或者上邻宏块已经解出的几个调色板色，填充到Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]数组中供本宏块解码使用。

最后，宏块重建模块514将索引图中0～3的位置替换为调色板Y_palette_color[0]、Y_palette_color[1]、Y_palette_color[2]、Y_palette_color[3]这四个调色板色，完成调色板色的像素解码，而那些索引值为4的颜色，将被按顺序填充为缓存的杂色值数组中的颜色值；YUV三个分量均依此操作，完成一个文字宏块的解码重建。

图片宏块解码器515：可以是用JPEG解码方法解一个图片宏块。

全帧图像重建模块516：将图片宏块解码器515和文字宏块解码器511解出来的宏块按序号填充在重建帧空间中，得到解码重建的整帧YUV数据，完成全帧解码。

本实施例的主要工作在编码端完成，主要是通过调色板量化、相邻宏块之间进行调色板预测的方法，避免了在每个文字宏块中都编入调色板色的过程，节省了码流。为了便于说明，本实施例中设定了4种调色板颜色，实际应用中如果设定的调色板色也可以与此值不同，但思路是相同的。方案中描述的阈值delta1，delta2是可以任意调整的数值，是一个经验值，不做固定的数值定义，视具体情况可任意设定。本实施例利用了大片文字块颜色类似的特点，降低了帧内文字宏块之间的冗余度，降低了码流。特别适用于屏幕图像编码中，尤其是文字办公处理的场景。本实施例主要针对屏幕图像的文字办公，网页浏览之类的有大片文字出现的场景，提出了一种在文字区域内部进行调色板预测的文字编码方法，使用调色板量化后，利用宏块之间颜色种类的相似性，消除调色板色的冗余，避免了每个宏块都将调色板色编入码流，降低了码流，同时不影响文字的清晰度。提升了办公场景下的用户体验。

本公开实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现上述实施例中的图像的编码方法中所执行的步骤。

本公开实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现上述实施例中的图像的解码方法中所执行的步骤。

本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：RandomAccess Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述实施例中的图像的编码方法，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：RandomAccess Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述实施例中的图像的解码方法，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本公开实施例提供的装置，其实现原理和有益效果与上述提供的方法实施例类似，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种图像的编码方法，其特征在于，包括：

将待编码图像按照预设尺寸划分成多个宏块，所述多个宏块包括文字宏块；

分别获取每个文字宏块作为目标文字宏块，并进行如下处理：分别对各通道的像素值进行统计，确定各通道的调色板值，其中，每个通道的调色板值的数量小于对应通道的像素值的取值的数量；根据各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值，确定所有像素点分别对应的索引值；分别对各通道的调色板值、所述所有像素点分别对应的索引值进行编码，得到编码后的文字宏块；

对其他宏块进行编码，得到编码后的其他宏块，所述其他宏块是所述多个宏块中除所述文字宏块以外的宏块；

将所述编码后的文字宏块和所述编码后的其他宏块进行融合处理，得到编码后的图像。

2.根据权利要求1所述的方法，其特征在于，所述分别对各通道的像素值进行统计，确定各通道的调色板值，包括：

分别获取每个通道作为目标通道，并进行如下处理：

对目标通道的所有像素值进行统计，得到所述目标通道的像素值的数量最多的M个目标区间，N个区间包括M个目标区间，所述N个区间是将所述目标通道的像素值的取值范围进行平均划分得到的，N为大于1的整数，M为大于1且小于N的整数；分别获取每个区间作为目标区间，进行如下处理：将所述目标区间中像素值的数量最多的像素值作为所述目标区间的调色板值；将所有目标区间的调色板值作为所述目标通道的调色板值。

3.根据权利要求1所述的方法，其特征在于，所述根据各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值，确定所有像素点分别对应的索引值，包括：

分别获取每个通道作为目标通道，并进行如下处理：

若第一像素点的像素值与目标通道的第一调色板值之间的差值小于或等于预设阈值，则将所述第一调色板值对应的字符作为所述第一像素点的索引值；所述目标通道的调色板值包括所述目标通道的第一调色板值；

若第二像素点的像素值与目标通道的第二调色板值之间的差值均大于所述预设阈值，则将杂色值对应的字符作为所述第二像素点的索引值；所述目标通道的调色板值包括所述目标通道的第二调色板值。

4.根据权利要求1所述的方法，其特征在于，所述分别对各通道的调色板值、所述所有像素点分别对应的索引值进行编码，得到编码后的文字宏块之前，还包括：

若参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述参考宏块的对应通道的调色板值是否相同，所述参考宏块是与所述目标文字宏块位置相邻的文字宏块；

所述分别对各通道的调色板值、所述所有像素点分别对应的索引值进行编码，得到编码后的文字宏块，包括：

若目标文字宏块的目标通道的调色板值与所述参考宏块的目标通道的调色板值相同，则确定目标通道的标识信息；对所述目标通道的标识信息、所述目标文字宏块的所有像素点分别对应的索引值进行编码，得到编码后的目标通道的文字宏块；

若目标文字宏块的目标通道的调色板值与所述参考宏块的目标通道的调色板值不完全相同，则对所述目标文字宏块的目标通道的调色板值、所述目标文字宏块的所有像素点分别对应的索引值进行编码，得到编码后的目标通道的文字宏块；

将所有编码后的目标通道的文字宏块作为编码后的文字宏块。

5.根据权利要求4所述的方法，其特征在于，所述参考宏块包括左参考宏块或者上参考宏块；所述分别获取每个文字宏块作为目标文字宏块，包括：

按照光栅顺序，分别获取每个文字宏块作为目标文字宏块；

所述若参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述参考宏块的对应通道的调色板值是否相同，包括：

若左参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述左参考宏块的对应通道的调色板值是否相同；

若左参考宏块不是文字宏块，且上参考宏块是文字宏块，则分别判断目标文字宏块的各通道的调色板值与所述上参考宏块的对应通道的调色板值是否相同。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述编码后的文字宏块和所述编码后的其他宏块进行融合处理，得到编码后的图像之后，还包括：

向解码设备发送所述编码后的图像，以使所述解码设备对所述编码后的图像进行解码，得到待编码图像。

7.一种图像的解码方法，其特征在于，包括：

获取待解码图像，所述待解码图像是编码设备对待编码图像进行编码得到的；

将所述待解码图像划分为待解码文字宏块和待解码其他宏块，待解码其他宏块是所述待解码图像中不是待解码文字宏块的待解码宏块；

分别获取每个所述待解码文字宏块作为目标待解码文字宏块，进行如下处理：

对所述目标待解码文字宏块进行解码，得到解码信息，所述解码信息包括：各通道的调色板值、所述目标文字宏块中的所有像素点分别对应的索引值；所述各通道的调色板值是编码设备对所述待编码图像的目标文字宏块的各通道的像素值进行统计得到的，其中，每个通道的调色板值的数量小于对应通道的像素值的取值的数量；所述目标文字宏块中的所有像素点分别对应的索引值是所述编码设备根据所述待编码图像的各通道的像素值、各通道的调色板值和各通道的调色板值对应的索引值确定的；根据所述解码信息，得到解码后的文字宏块；

对每个所述待解码其他宏块进行解码，得到解码后的其他宏块；

将所述解码后的文字宏块和所述解码后的其他宏块进行融合处理，得到解码后的图像。

8.根据权利要求7所述的方法，其特征在于，所述解码信息还包括：目标通道的标识信息，所述目标通道的标识信息用于指示目标待解码文字宏块的目标通道的调色板值与参考宏块的目标通道的调色板值相同，其中，所述参考宏块是与所述目标待解码文字宏块位置相邻的文字宏块；所述根据所述解码信息，得到解码后的文字宏块，包括：

根据所述目标通道的标识信息，获取所述参考宏块的目标通道的调色板值作为所述目标待解码文字宏块的目标通道的调色板值；

根据所述各通道的调色板值、所述目标文字宏块中的所有像素点分别对应的索引值进行解码，得到解码后的文字宏块。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现权利要求1至权利要求6任一项所述的图像的编码方法中所执行的步骤，或者，权利要求7或者权利要求8所述的图像的解码方法中所执行的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现权利要求1至权利要求6任一项所述的图像的编码方法中所执行的步骤，或者，权利要求7或者权利要求8所述的图像的解码方法中所执行的步骤。

Images