CN117440153A - 包含文字的图像编解码方法和装置 - Google Patents

Abstract

本申请提供一种包含文字的图像编解码方法和装置。本申请包含文字的图像编码方法，包括：获取第一图像中的文字区域，所述文字区域包括至少一个字符；对所述文字区域进行填充以得到文字填充区域，所述文字填充区域的高度或宽度为预设尺寸的n倍，n≥1；根据所述文字填充区域获取第二图像；对所述第二图像和文字对齐边信息进行编码以得到第一码流，所述文字对齐边信息包括所述文字填充区域的高度或者宽度。本申请可以尽量避免同一个字符的像素被划分入不同的CU，提高压缩文字内容时的准确率和效率。

Description

包含文字的图像编解码方法和装置

技术领域

本申请涉及视频编解码技术，尤其涉及一种包含文字的图像编解码方法和装置。

背景技术

在高效视频编码(High Efficiency Video Coding，HEVC)编码器中，先将输入图像划分成多个尺寸相同互不重叠的编码树单元(Coding Tree Unit，CTU)，CTU的尺寸可以由编码器决定，最大可达64×64。一个CTU可以直接作为一个编码单元(Coding Unit，CU)，也可以通过四叉树递归划分的方式进一步划分为多个尺寸更小的CU。CU划分的深度是由计算得到的码率-失真代价确定，编码器会在不同划分模式中进行比较和权衡，选取码率-失真代价最小的划分模式进行编码。最后处于四叉树叶子节点的CU则是编码器进行后续预测变换编码的基本单元。

但是，当上述编码方式应用于包含文字内容的图像时，同一个文字的像素可能会被划分入不同的CTU或CU，再进行预测变换量化时，可能导致在压缩文字内容时的准确率较低、效率较差的问题。

发明内容

本申请提供一种包含文字的图像编解码方法和装置，以尽量避免同一个字符的像素被划分入不同的CU，提高压缩文字内容时的准确率和效率。

第一方面，本申请提供一种包含文字的图像编码方法，包括：获取第一图像中的文字区域，所述文字区域包括至少一个字符；对所述文字区域进行填充以得到文字填充区域，所述文字填充区域的高度或宽度为预设尺寸的n倍，n≥1；根据所述文字填充区域获取第二图像；对所述第二图像和文字对齐边信息进行编码以得到第一码流，所述文字对齐边信息包括所述文字填充区域的高度或者宽度。

本申请实施例，对原图像中识别得到文字区域进行填充，使得得到的文字填充区域的尺寸与编码时的CU的尺寸匹配，从而实现文字填充区域与CU的对齐，可以尽量避免同一个字符的像素被划分入不同的CU，提高压缩文字内容时的准确率和效率。

第一图像可以是一张独立的图片，也可以是视频中的任意一个视频帧，对此不作具体限定。本申请实施例中，第一图像可以包括文字区域，该文字区域的数量可以只有一个，也可以有多个，文字区域的数量可以取决于第一图像包含的字符的数量、字符的分布规律、字符的大小等，对此不做具体限定。此外，文字区域可以包括一个字符，即文字区域中只有一个字符；或者，文字区域包括一个字符行，该一个字符行包括多个字符；或者，文字区域包括一个字符列，该一个字符列包括多个字符。前述字符可以是汉字、拼音、英文、数字等，对此不做具体限定。

本申请实施例中，可以采用以下四种方法获取第一图像中的文字区域：

第一种方法，对第一图像进行文字识别以得到文字区域。

可以先对第一图像进行二值化和腐蚀。通常经二值化的图像中，文字区域对应的像素点为白色，非文字区域对应的像素点为黑色。腐蚀可以用于处理字符间像素粘连的情况。然后对经过二值化和腐蚀处理后的图像进行水平投影，计算水平方向的白色像素点(对应文字区域)数量，存在字符的水平线上的白色像素点的数量不为0，因此可以基于此得到图像中所有的字符行。

分别对每个字符行进行以下操作：提取连通域(连通域是指连续的白色像素点区域，一个字符即为一个连通域，相应的，一个字符行可能有多个连通域)；选取适当尺寸的字符框，当字符框只包含一个字符时，字符框的尺寸大于或等于一个字符行内的最大连通域的尺寸，且同一个字符行内的所有字符用同一个尺寸的字符框，当字符框包含一个字符行或者字符列时，字符框的尺寸大于或等于一个字符行或一个字符列内的所有连通域的尺寸之和。例如，一个字符行内的字符1的连通域占据6(宽度)×10(高度)的像素空间，字符2的连通域占据11×8的像素空间，那么需要选取至少11×10的字符框，以分别包含这两个字符，或者需要选取至少17×10的字符框，以包含该字符行的两个字符。本申请实施例中，可以将前述文字框在第一图像中覆盖的区域称作文字区域，亦即文字区域和文字框指代第一图像中的同一区域范围。

因此，通过上述方法可以对第一图像进行识别，以得到文字区域。

第二种方法，对第一图像进行文字识别以得到中间文字区域，该中间文字区域包括多个字符行；按字符行对中间文字区域进行行划分以得到文字区域。

与第一种方法的区别在于，第二种方法可以想通过文字识别得到一个中间文字区域，该中间文字区域可以包括多个字符行，然后再对中间文字区域进行行划分得到只包含一个字符行的多个文字区域。该方法可以用于字符横向排列的情况，例如，多个字符按照从左到右，从上到下的顺序排列。

第三种方法，对第一图像进行文字识别以得到中间文字区域，该中间文字区域包括多个字符列；按字符列对中间文字区域进行列划分以得到文字区域。

与第一种方法的区别在于，第三种方法可以想通过文字识别得到一个中间文字区域，该中间文字区域可以包括多个字符行，然后再对中间文字区域进行列划分得到只包含一个字符列的多个文字区域。该方法可以用于字符纵向排列的情况，例如，多个字符按照从上到下，从左到右的顺序排列。

第四种方法，对第一图像进行文字识别以得到中间文字区域，中间文字区域包括多个字符行或多个字符列；按字符对中间文字区域进行行划分和列划分以得到文字区域。

与第一种方法的区别在于，第四种方法可以想通过文字识别得到一个中间文字区域，该中间文字区域可以包括多个字符行或多个字符列，然后再对中间文字区域进行行划分和列划分得到只包含一个字符的多个文字区域。该方法可以用于字符横向排列或者纵向排列的情况，例如，多个字符按照从上到下，从左到右的顺序排列，又例如，多个字符按照从上到下，从左到右的顺序排列。

需要说明的是，除了上述四种方法，本申请实施例还可以采用其他方法获取第一图像中的文字区域，对此不做具体限定。

预设尺寸可以8、16、32和64的其中之一。本申请实施例中，可以采用相关编解码方法对图像进行编码，而在相关编解码方法中，通常要对图像进行划分以得到CU，基于CU进行后续处理，而CU的尺寸可以包括8、16、32和64的其中之一。本申请实施例中，可以根据CU的尺寸确定预设尺寸，例如，CU的尺寸为8，预设尺寸可以是8或者16；CU的尺寸为32，预设尺寸可以是32。

本申请实施例中，对文字区域进行填充可以得到文字填充区域，因此文字填充区域的高度大于或等于文字区域的高度，和/或，文字填充区域的宽度大于或等于文字区域的宽度。前述等于的情况可以是指文字区域的高度和/或宽度刚好是预设尺寸的n倍，因此不需要对文字区域进行填充，直接将该文字区域作为文字填充区域进行后续步骤。此外，如步骤801中所述，在获取文字区域时，将同一行或同一列内的字符的文字区域的高度和/或宽度保持了一致，相应的，获取文字填充区域时，同一行或同一列内的文字区域的高度和/或宽度也是一致的，这样可以保证文字填充区域的高度与相关编解码方法中划分得到的CU的高度一致，或/和，文字填充区域的宽度与相关编解码方法中划分得到的CU的宽度一致。本申请实施例中，前述效果也可以称作，文字填充区域和相关编解码方法中划分得到的CU对齐。

在一种可能的实现方式中，文字填充区域的高度为预设尺寸的n倍。例如，文字区域的高度为10，预设尺寸为8，那么文字填充区域的高度可以为16(8的2倍)。又例如，文字区域的高度为10，预设尺寸为16，那么文字填充区域的高度可以为16(16的1倍)。

在一种可能的实现方式中，文字填充区域的宽度为预设尺寸的n倍。例如，文字区域的宽度为17，预设尺寸为8，那么文字填充区域的宽度可以为24(8的3倍)。又例如，文字区域的宽度为17，预设尺寸为16，那么文字填充区域的宽度可以为32(16的2倍)。

在一种可能的实现方式中，文字填充区域的高度为预设尺寸的n1倍，文字填充区域的宽度为预设尺寸的n2倍，n1和n2可以相等，也可以不等。例如，文字区域的尺寸为6(宽度)×10(高度)，预设尺寸为8，那么文字填充区域的尺寸可以为8(8的1倍)×16(8的2倍)。又例如，文字区域的尺寸为17×10，预设尺寸为16，那么文字填充区域的尺寸可以为32(16的2倍)×16(16的1倍)。

本申请实施例中，可以采用以下两种方法对文字区域进行填充以得到文字填充区域：

第一种方法，根据文字区域的高度获取文字填充区域的高度，文字填充区域的高度为预设尺寸的n倍；在文字区域的竖直方向上进行填充以得到文字填充区域，其中，填充的高度为文字填充区域的高度与文字区域的高度之差。

如上所述，文字填充区域的高度大于文字区域的高度，且文字填充区域的高度是预设尺寸的n倍，基于此，可以根据文字区域的高度获取文字填充区域的高度，参照上文示例。可选的，如果文字区域的高度正好是预设尺寸的n倍，则不需要对文字区域进行填充，此时文字填充区域的高度和文字区域的高度相等。在得到文字填充区域的高度之后，可以在文字区域的竖直方向上(例如，在文字区域的上方、中间或者下方，不做具体限定)进行填充，填充的高度为文字填充区域的高度与文字区域的高度之差。例如，文字填充区域的高度为16，文字区域的高度为10，那么填充的高度为6，填充的像素值可以是文字区域中除字符像素外的背景像素的像素值，填充的像素值也可以是预设像素值，例如0或255，对此不做具体限定。

第二种方法，根据文字区域的宽度获取文字填充区域的宽度，文字填充区域的宽度为预设尺寸的n倍；在文字区域的水平方向上进行填充以得到文字填充区域，其中，填充的宽度为文字填充区域的宽度与文字区域的宽度之差。

如上所述，文字填充区域的宽度大于文字区域的宽度，且文字填充区域的宽度是预设尺寸的n倍，基于此，可以根据文字区域的宽度获取文字填充区域的宽度，参照上文示例。可选的，如果文字区域的宽度正好是预设尺寸的n倍，则不需要对文字区域进行填充，此时文字填充区域的宽度和文字区域的宽度相等。在得到文字填充区域的宽度之后，可以在文字区域的水平方向上(例如，在文字区域的左侧、中间或者右侧，不做具体限定)进行填充，填充的宽度为文字填充区域的宽度与文字区域的宽度之差。例如，文字填充区域的宽度为24，文字区域的宽度为17，那么填充的宽度为7，填充的像素值可以是文字区域中除字符像素外的背景像素的像素值，填充的像素值也可以是预设像素值，例如0或255，对此不做具体限定。

第三种方法，可以是上述第一种方法和第二种方法的结合，即在获取文字填充区域的高度和宽度后，分别使用前两种方法在文字区域的竖直方向和水平方向上进行填充，以得到文字填充区域。

由此可见，经填充得到的文字填充区域的尺寸与CU的尺寸呈倍数关系，那么对这样的文字填充区域进行划分后，可以使文字填充区域覆盖完整的CU，即不会出现文字填充区域覆盖部分CU的情况，同一个CU也不会覆盖两个文字填充区域，实现文字区域与CU划分的对齐。

本申请实施例中，可以基于文字填充区域获取一个新的图像，即第二图像，该第二图像包含了原第一图像中的字符。获取第二图像包含以下四种情况：

1、当文字填充区域只有一个时，将该文字填充区域作为第二图像。

只有一个文字填充区域的情况下，可以直接将该文字填充区域作为第二图像。

2、当文字填充区域有多个，且每个文字填充区域包括一个字符行时，将多个文字填充区域按照从上到下的顺序拼接以得到第二图像。

一个文字填充区域内包含一个字符行，那么可以根据第一图像中字符行的分布，按照从上到下的顺序对多个字符行分别所属的文字填充区域进行拼接，即在第一图像中排在最上面的字符行，其所属的文字填充区域也被拼接在最上面，在第一图像中排在第二行的字符行，其所属的文字填充区域也被拼接在第二行，以此类推。需要说明的是，本申请实施例还可以按照从下到上的顺序进行拼接，对拼接顺序不做具体限定。

3、当文字填充区域有多个，且每个文字填充区域包括一个字符列时，将多个文字填充区域按照从左到右的顺序拼接以得到第二图像。

一个文字填充区域内包含一个字符列，那么可以根据第一图像中字符列的分布，按照从左到右的顺序对多个字符列分别所属的文字填充区域进行拼接，即在第一图像中排在最左侧的字符列，其所属的文字填充区域也被拼接在最左侧，在第一图像中排在第二列的字符列，其所属的文字填充区域也被拼接在第二列，以此类推。需要说明的是，本申请实施例还可以按照从右到左的顺序进行拼接，对拼接顺序不做具体限定。

4、当文字填充区域有多个，且每个文字填充区域包括一个字符时，将多个文字填充区域按照从左到右、从上到下的顺序拼接以得到第二图像，其中，位于同一行内的多个文字填充区域的高度相同，或者位于同一列内的多个文字填充区域的宽相同。

一个文字填充区域内包含一个字符，那么可以根据第一图像中字符的分布，按照从左到右、从上到下的顺序对多个字符分别所属的文字填充区域进行拼接，文字填充区域的排列顺序和其包含的字符在第一图像中的排列顺序保持一致，且位于同一行内的多个文字填充区域的高度相同，或者位于同一列内的多个文字填充区域的宽度相同。

需要说明的是，本申请实施例还可以按照其他顺序进行列拼接，对拼接顺序不做具体限定。

本申请实施例可以对第二图像进行标准的视频编码，也可以采用IBC编码，对此不做具体限定。在采用IBC编码时，如果当前编码的CU内的字符，在已编码的CU中已经出现过，那么可以将该已编码CU确定为当前编码的CU的预测块，这样得到的残差块为0的概率就会很高，从而可以提高当前CU的编码效率。对文字对齐边信息可以采用指数哥伦布编码方式进行编码，也可以采用其他编码方式进行编码，对此也不做具体限定。本申请实施例可以直接编码文字填充区域的高度或宽度的值，或者，也可以编码文字填充区域的高度或宽度与预设尺寸的倍数值n，对此不做具体限定。

可选的，文字对齐边信息还包括文字区域的高度和宽度，以及文字区域的左上角像素在第一图像中的横坐标和纵坐标。这些信息可以辅助解码端在重建图像中恢复出文字区域，提高解码效率。

在一种可能的实现方式中，可以将第一图像中的文字区域内的像素值填充为预设像素值以得到第三图像；对第三图像进行编码以得到第二码流。

上文步骤中，从第一图像中识别出文字区域，然后对文字区域进行填充得到文字填充区域，将文字填充区域拼接后得到第二图像，可见第二图像只是包含了第一图像中的字符的内容，而且第二图像是单独编码的。但是第一图像中除了字符，还有其他内容，因此为了保持图像的完整性，还需要对除字符外的其他图像内容进行处理和编码。

本申请实施例中，可以将原第一图像中、识别出是文字区域的像素，将其像素值填充为预设像素值(例如，0、1或者255，不做限定)，这样相当于是将第一图像中的文字区域剔除，更换成非字符的像素值。这样得到的第三图像与第一图像的区别是，文字区域的像素值不同。对第三图像也可以进行标准的视频编码或者IBC编码，对此不做具体限定。

第二方面，本申请提供一种包含文字的图像解码方法，包括：获取码流；解码所述码流以得到第一图像和文字对齐边信息，所述文字对齐边信息包括所述第一图像包含的文字填充区域的高度或者宽度，所述文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1；根据所述文字填充区域的高度或者宽度，以及所述第一图像获取所述文字填充区域；根据所述文字填充区域获取待重建图像中的文字区域。

本申请实施例，解析码流可以得到文字区域的对齐信息，以获取包含字符的字符填充区域，该字符填充区域与的尺寸与解码时的CU的尺寸匹配，从而实现文字填充区域与CU的对齐，可以提高压缩文字内容时的准确率和效率。

解码端可以通过解码得到第一图像和文字对齐边信息，解码方式可以与编码端所采用的编码方式相对应，编码端可以采用标准的视频编码或者IBC编码编码图像，解码端则可以采用标准的视频解码或者IBC解码解码码流以得到重建图像；编码端采用指数哥伦布编码编码文字对齐边信息，解码端则可以采用指数哥伦布解码解码码流以得到文字对齐边信息。

文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1，预设尺寸为8、16、32和64的其中之一。可以参照上文步骤802的描述，此处不再赘述。

解码端可以在确定文字填充区域的高度或宽度后，从第一图像中基于前述高度或宽度提取对应的像素值以得到文字填充区域。

本申请实施例中，文字对齐边信息还包括文字区域的高度和宽度，因此基于前述文字区域的高度和宽度，可以从文字填充区域中提取对应的像素值以得到获取待重建图像中的文字区域。该文字区域与上文步骤801中的文字区域相对应，可以包括一个字符；或者，也可以包括一个字符行，一个字符行包括多个字符；或者，还可以包括一个字符列，一个字符列包括多个字符。

在一种可能的实现方式中，解码端可以解码码流以得到第二图像；根据文字区域和第二图像获取待重建图像。

上述文字对齐边信息还包括文字区域的高度和宽度，以及文字区域的左上角像素的横坐标和纵坐标。基于此，可以根据文字区域的高度和宽度，以及文字区域的左上角像素的横坐标和纵坐标，在第二图像中确定替换区域；将替换区域内的像素值填填充为文字区域内的像素值以得到待重建图像。该过程可以是第一方面实施例中获取第三图像的反向过程，即将文字区域填充回第二图像(与第一方面实施例中的第三图像对应)中，以得到重建图像(与图8所示实施例中的第一图像对应)。在获取文字区域的左上角像素在第二图像中的横坐标和纵坐标，以及文字区域的高度和宽度，即可在第二图像中确定出一个替换区域，然后将填充区域内的像素值填充为文字区域的像素值，这样相当于是将第二图像中的替换区域剔除，更换成文字区域的像素值。

第三方面，本申请提供一种编码装置，包括：获取模块，用于获取第一图像中的文字区域，所述文字区域包括至少一个字符；填充模块，用于对所述文字区域进行填充以得到文字填充区域，所述文字填充区域的高度或宽度为预设尺寸的n倍，n≥1；根据所述文字填充区域获取第二图像；编码模块，用于对所述第二图像和文字对齐边信息进行编码以得到第一码流，所述文字对齐边信息包括所述文字填充区域的高度或者宽度。

在一种可能的实现方式中，所述填充模块，具体用于根据所述文字区域的高度获取所述文字填充区域的高度，所述文字填充区域的高度为所述预设尺寸的n倍；在所述文字区域的竖直方向上进行填充以得到所述文字填充区域，其中，所述填充的高度为所述文字填充区域的高度与所述文字区域的高度之差。

在一种可能的实现方式中，所述填充模块，具体用于根据所述文字区域的宽度获取所述文字填充区域的宽度，所述文字填充区域的宽度为所述预设尺寸的n倍；在所述文字区域的水平方向上进行填充以得到所述文字填充区域，其中，所述填充的宽度为所述文字填充区域的宽度与所述文字区域的宽度之差。

在一种可能的实现方式中，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

在一种可能的实现方式中，所述获取模块，具体用于对所述第一图像进行文字识别以得到所述文字区域。

在一种可能的实现方式中，所述获取模块，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行；按字符行对所述中间文字区域进行行划分以得到所述文字区域。

在一种可能的实现方式中，所述获取模块，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符列；按字符列对所述中间文字区域进行列划分以得到所述文字区域。

在一种可能的实现方式中，所述获取模块，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行或多个字符列；按字符对所述中间文字区域进行行划分和列划分以得到所述文字区域。

在一种可能的实现方式中，所述填充模块，具体用于当所述文字填充区域只有一个时，将所述文字填充区域作为所述第二图像。

在一种可能的实现方式中，所述填充模块，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符行时，将多个所述文字填充区域按照从上到下的顺序拼接以得到所述第二图像。

在一种可能的实现方式中，所述填充模块，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符列时，将多个所述文字填充区域按照从左到右的顺序拼接以得到所述第二图像。

在一种可能的实现方式中，所述填充模块，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符时，将多个所述文字填充区域按照从左到右、从上到下的顺序拼接以得到所述第二图像，其中，位于同一行内的多个文字填充区域的高度相同，或者，位于同一列内的多个文字填充区域的宽度相同。

在一种可能的实现方式中，所述文字对齐边信息还包括所述文字区域的高度和宽度，以及所述文字区域的左上角像素在所述第一图像中的横坐标和纵坐标。

在一种可能的实现方式中，所述预设尺寸为8、16、32和64的其中之一。

在一种可能的实现方式中，所述填充模块，还用于将所述第一图像中的所述文字区域内的像素值填充为预设像素值以得到第三图像；所述编码模块，还用于对所述第三图像进行编码以得到第二码流。

第四方面，本申请提供一种解码装置，包括：获取模块，用于获取码流；解码模块，用于解码所述码流以得到第一图像和文字对齐边信息，所述文字对齐边信息包括所述第一图像包含的文字填充区域的高度或者宽度，所述文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1；重建模块，用于根据所述文字填充区域的高度或者宽度，以及所述第一图像获取所述文字填充区域；根据所述文字填充区域获取待重建图像中的文字区域。

在一种可能的实现方式中，所述文字对齐边信息还包括所述文字区域的高度和宽度；所述重建模块，具体用于根据所述文字区域的高度和宽度从所述文字填充区域中提取对应的像素值以得到所述文字区域。

在一种可能的实现方式中，所述解码模块，还用于解码所述码流以得到第二图像；所述重建模块，还用于根据所述文字区域和所述第二图像获取所述待重建图像。

在一种可能的实现方式中，所述文字对齐边信息还包括所述文字区域的左上角像素的横坐标和纵坐标；所述重建模块，具体用于根据所述文字区域的高度和宽度，以及所述文字区域的左上角像素的横坐标和纵坐标，在所述第二图像中确定替换区域；将所述替换区域内的像素值填填充为所述文字区域内的像素值以得到所述待重建图像。

在一种可能的实现方式中，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

在一种可能的实现方式中，所述预设尺寸为8、16、32和64的其中之一。

第五方面，本申请提供一种编码器，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。

第六方面，本申请提供一种解码器，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第二方面中任一项所述的方法。

第七方面，本申请提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行上述第一至二方面中任一项所述的方法。

第八方面，本申请提供一种计算机程序产品，所述计算机程序产品中包含指令，当所述指令在计算机或处理器上运行时，使得所述计算机或所述处理器实现上述第一至二方面中任一项所述的方法。

附图说明

图1A为本申请的译码系统10的示例性框图；

图1B为本申请的视频译码系统40的示例性框图；

图2为本申请的视频编码器20的示例性框图；

图3为本申请的视频解码器30的示例性结构图；

图4为本申请的视频译码设备400的示意图；

图5为本申请的装置500的简化框图；

图6为本申请的PU划分示意图；

图7为本申请的译码系统70的示例性的框图；

图8为本申请实施例的包含文字的图像编码方法的过程800的流程图；

图9为本申请实施例的包含文字的图像解码方法的过程900的流程图；

图10为本申请的译码系统100的示例性的框图；

图11a为文字区域检测与分割的示意图；

图11b为文字自适应对齐的示意图；

图11c为文字复原的示意图；

图12a为文字区域检测与分割的示意图；

图12b为文字自适应对齐的示意图；

图13为本申请实施例编码装置1300的一个示例性的结构示意图；

图14为本申请实施例解码装置1400的一个示例性的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书实施例和权利要求书及附图中的术语“第一”、“第二”等仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

视频编码通常是指处理形成视频或视频序列的图像序列。在视频编码领域，术语“图像(picture)”、“帧(frame)”或“图片(image)”可以用作同义词。视频编码(或通常称为编码)包括视频编码和视频解码两部分。视频编码在源侧执行，通常包括处理(例如，压缩)原始视频图像以减少表示该视频图像所需的数据量(从而更高效存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作逆处理，以重建视频图像。实施例涉及的视频图像(或通常称为图像)的“编码”应理解为视频图像或视频序列的“编码”或“解码”。编码部分和解码部分也合称为编解码(编码和解码，CODEC)。

在无损视频编码情况下，可以重建原始视频图像，即重建的视频图像与原始视频图像具有相同的质量(假设存储或传输期间没有传输损耗或其它数据丢失)。在有损视频编码情况下，通过量化等执行进一步压缩，来减少表示视频图像所需的数据量，而解码器侧无法完全重建视频图像，即重建的视频图像的质量比原始视频图像的质量较低或较差。

几个视频编码标准属于“有损混合型视频编解码”(即，将像素域中的空间和时间预测与变换域中用于应用量化的2D变换编码结合)。视频序列中的每个图像通常分割成不重叠的块集合，通常在块级上进行编码。换句话说，编码器通常在块(视频块)级处理即编码视频，例如，通过空间(帧内)预测和时间(帧间)预测来产生预测块；从当前块(当前处理/待处理的块)中减去预测块，得到残差块；在变换域中变换残差块并量化残差块，以减少待传输(压缩)的数据量，而解码器侧将相对于编码器的逆处理部分应用于编码或压缩的块，以重建用于表示的当前块。另外，编码器需要重复解码器的处理步骤，使得编码器和解码器生成相同的预测(例如，帧内预测和帧间预测)和/或重建像素，用于处理，即编码后续块。

在以下译码系统10的实施例中，编码器20和解码器30根据图1A至图3进行描述。

图1A为本申请的译码系统10的示例性框图，例如可以利用本申请技术的视频译码系统10(或简称为译码系统10)。视频译码系统10中的视频编码器20(或简称为编码器20)和视频解码器30(或简称为解码器30)代表可用于根据本申请中描述的各种示例执行各技术的设备等。

如图1A所示，译码系统10包括源设备12，源设备12用于将编码图像等编码图像数据21提供给用于对编码图像数据21进行解码的目的设备14。

源设备12包括编码器20，另外即可选地，可包括图像源16、图像预处理器等预处理器(或预处理单元)18、通信接口(或通信单元)22。

图像源16可包括或可以为任意类型的用于捕获现实世界图像等的图像捕获设备，和/或任意类型的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器或任意类型的用于获取和/或提供现实世界图像、计算机生成图像(例如，屏幕内容、虚拟现实(virtual reality，VR)图像和/或其任意组合(例如增强现实(augmented reality，AR)图像)的设备。所述图像源可以为存储上述图像中的任意图像的任意类型的内存或存储器。

为了区分预处理器(或预处理单元)18执行的处理，图像(或图像数据)17也可称为原始图像(或原始图像数据)17。

预处理器18用于接收(原始)图像数据17，并对图像数据17进行预处理，得到预处理图像(或预处理图像数据)19。例如，预处理器18执行的预处理可包括修剪、颜色格式转换(例如从RGB转换为YCbCr)、调色或去噪。可以理解的是，预处理单元18可以为可选组件。

视频编码器(或编码器)20用于接收预处理图像数据19并提供编码图像数据21(下面将根据图2等进一步描述)。

源设备12中的通信接口22可用于：接收编码图像数据21并通过通信信道13向目的设备14等另一设备或任何其它设备发送编码图像数据21(或其它任意处理后的版本)，以便存储或直接重建。

目的设备14包括解码器30，另外即可选地，可包括通信接口(或通信单元)28、后处理器(或后处理单元)32和显示设备34。

目的设备14中的通信接口28用于直接从源设备12或从存储设备等任意其它源设备接收编码图像数据21(或其它任意处理后的版本)，例如，存储设备为编码图像数据存储设备，并将编码图像数据21提供给解码器30。

通信接口22和通信接口28可用于通过源设备12与目的设备14之间的直连通信链路，例如直接有线或无线连接等，或者通过任意类型的网络，例如有线网络、无线网络或其任意组合、任意类型的私网和公网或其任意类型的组合，发送或接收编码图像数据(或编码数据)21。

例如，通信接口22可用于将编码图像数据21封装为报文等合适的格式，和/或使用任意类型的传输编码或处理来处理所述编码后的图像数据，以便在通信链路或通信网络上进行传输。

通信接口28与通信接口22对应，例如，可用于接收传输数据，并使用任意类型的对应传输解码或处理和/或解封装对传输数据进行处理，得到编码图像数据21。

通信接口22和通信接口28均可配置为如图1A中从源设备12指向目的设备14的对应通信信道13的箭头所指示的单向通信接口，或双向通信接口，并且可用于发送和接收消息等，以建立连接，确认并交换与通信链路和/或例如编码后的图像数据传输等数据传输相关的任何其它信息，等等。

视频解码器(或解码器)30用于接收编码图像数据21并提供解码图像数据(或解码图像数据)31(下面将根据图3等进一步描述)。

后处理器32用于对解码后的图像等解码图像数据31(也称为重建后的图像数据)进行后处理，得到后处理后的图像等后处理图像数据33。后处理单元32执行的后处理可以包括例如颜色格式转换(例如从YCbCr转换为RGB)、调色、修剪或重采样，或者用于产生供显示设备34等显示的解码图像数据31等任何其它处理。

显示设备34用于接收后处理图像数据33，以向用户或观看者等显示图像。显示设备34可以为或包括任意类型的用于表示重建后图像的显示器，例如，集成或外部显示屏或显示器。例如，显示屏可包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微型LED显示器、硅基液晶显示器(liquid crystal on silicon，LCoS)、数字光处理器(digital lightprocessor，DLP)或任意类型的其它显示屏。

译码系统10还包括训练引擎25，训练引擎25用于训练编码器20或解码器30或者编码器20或解码器30中的某一个或多个模块。

本申请实施例中训练数据可以存入数据库(未示意)中，训练引擎25基于训练数据训练得到目标模型。需要说明的是，本申请实施例对于训练数据的来源不做限定，例如可以是从云端或其他地方获取训练数据进行模型训练。

训练引擎25训练得到的目标模型可以应用于译码系统10中，例如，应用于图1A所示的源设备12(例如编码器20)或目的设备14(例如解码器30)。训练引擎25可以在云端训练得到目标模型，然后译码系统10从云端下载并使用该目标模型；或者，训练引擎25可以在云端训练得到目标模型并使用该目标模型，译码系统10从云端直接获取处理结果，对此不做具体限定。

尽管图1A示出了源设备12和目的设备14作为独立的设备，但设备实施例也可以同时包括源设备12和目的设备14或同时包括源设备12和目的设备14的功能，即同时包括源设备12或对应功能和目的设备14或对应功能。在这些实施例中，源设备12或对应功能和目的设备14或对应功能可以使用相同硬件和/或软件或通过单独的硬件和/或软件或其任意组合来实现。

根据描述，图1A所示的源设备12和/或目的设备14中的不同单元或功能的存在和划分可能根据实际设备和应用而有所不同，这对技术人员来说是显而易见的。

编码器20(例如视频编码器20)或解码器30(例如视频解码器30)或两者都可通过如图1B所示的处理电路实现，例如一个或多个微处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、离散逻辑、硬件、视频编码专用处理器或其任意组合。编码器20可以通过处理电路46实现，以包含参照图2编码器20论述的各种模块和/或本文描述的任何其它编码器系统或子系统。解码器30可以通过处理电路46实现，以包含参照图3解码器30论述的各种模块和/或本文描述的任何其它解码器系统或子系统。所述处理电路46可用于执行下文论述的各种操作。如图5所示，如果部分技术在软件中实施，则设备可以将软件的指令存储在合适的非瞬时性计算机可读存储介质中，并且使用一个或多个处理器在硬件中执行指令，从而执行本申请技术。视频编码器20和视频解码器30中的其中一个可作为组合编解码器(encoder/decoder，CODEC)的一部分集成在单个设备中，如图1B所示。

源设备12和目的设备14可包括各种设备中的任一种，包括任意类型的手持设备或固定设备，例如，笔记本电脑或膝上型电脑、手机、智能手机、平板或平板电脑、相机、台式计算机、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备(例如，内容业务服务器或内容分发服务器)、广播接收设备、广播发射设备，等等，并可以不使用或使用任意类型的操作系统。在一些情况下，源设备12和目的设备14可配备用于无线通信的组件。因此，源设备12和目的设备14可以是无线通信设备。

在一些情况下，图1A所示的视频译码系统10仅仅是示例性的，本申请提供的技术可适用于视频编码设置(例如，视频编码或视频解码)，这些设置不一定包括编码设备与解码设备之间的任何数据通信。在其它示例中，数据从本地存储器中检索，通过网络发送，等等。视频编码设备可以对数据进行编码并将数据存储到存储器中，和/或视频解码设备可以从存储器中检索数据并对数据进行解码。在一些示例中，编码和解码由相互不通信而只是编码数据到存储器和/或从存储器中检索并解码数据的设备来执行。

图1B为本申请的视频译码系统40的示例性框图。视频译码系统40可以包含成像设备41、视频编码器20、视频解码器30(和/或藉由处理电路46实施的视频编/解码器)、天线42、一个或多个处理器43、一个或多个内存存储器44和/或显示设备45。

如图1B所示，成像设备41、天线42、处理电路46、视频编码器20、视频解码器30、处理器43、内存存储器44和/或显示设备45能够互相通信。在不同实例中，视频译码系统40可以只包含视频编码器20或只包含视频解码器30。

在一些实例中，天线42可以用于传输或接收视频数据的经编码比特流。另外，在一些实例中，显示设备45可以用于呈现视频数据。处理电路46可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。视频译码系统40也可以包含可选的处理器43，该可选处理器43类似地可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。另外，内存存储器44可以是任何类型的存储器，例如易失性存储器(例如，静态随机存取存储器(static random access memory，SRAM)、动态随机存储器(dynamic random accessmemory，DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性实例中，内存存储器44可以由超速缓存内存实施。在其它实例中，处理电路46可以包含存储器(例如，缓存等)用于实施图像缓冲器等。

在一些实例中，通过逻辑电路实施的视频编码器20可以包含(例如，通过处理电路46或内存存储器44实施的)图像缓冲器和(例如，通过处理电路46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过处理电路46实施的视频编码器20，以实施参照图2和/或本文中所描述的任何其它编码器系统或子系统所论述的各种模块。逻辑电路可以用于执行本文所论述的各种操作。

在一些实例中，视频解码器30可以以类似方式通过处理电路46实施，以实施参照图3的视频解码器30和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模块。在一些实例中，逻辑电路实施的视频解码器30可以包含(通过处理电路46或内存存储器44实施的)图像缓冲器和(例如，通过处理电路46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过处理电路46实施的视频解码器30，以实施参照图3和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模块。

在一些实例中，天线42可以用于接收视频数据的经编码比特流。如所论述，经编码比特流可以包含本文所论述的与编码视频帧相关的数据、指示符、索引值、模式选择数据等，例如与编码分割相关的数据(例如，变换系数或经量化变换系数，(如所论述的)可选指示符，和/或定义编码分割的数据)。视频译码系统40还可包含耦合至天线42并用于解码经编码比特流的视频解码器30。显示设备45用于呈现视频帧。

应理解，本申请实施例中对于参考视频编码器20所描述的实例，视频解码器30可以用于执行相反过程。关于信令语法元素，视频解码器30可以用于接收并解析这种语法元素，相应地解码相关视频数据。在一些例子中，视频编码器20可以将语法元素熵编码成经编码视频比特流。在此类实例中，视频解码器30可以解析这种语法元素，并相应地解码相关视频数据。

为便于描述，参考通用视频编码(Versatile video coding，VVC)参考软件或由ITU-T视频编码专家组(Video Coding Experts Group，VCEG)和ISO/IEC运动图像专家组(Motion Picture Experts Group，MPEG)的视频编码联合工作组(Joint CollaborationTeam on Video Coding，JCT-VC)开发的高性能视频编码(High-Efficiency VideoCoding，HEVC)描述本申请实施例。本领域普通技术人员理解本申请实施例不限于HEVC或VVC。

编码器和编码方法

图2为本申请的视频编码器20的示例性框图。在图2的示例中，视频编码器20包括输入端(或输入接口)201、残差计算单元204、变换处理单元206、量化单元208、反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器(decodedpicture buffer，DPB)230、模式选择单元260、熵编码单元270和输出端(或输出接口)272。模式选择单元260可包括帧间预测单元244、帧内预测单元254和分割单元262。帧间预测单元244可包括运动估计单元和运动补偿单元(未示出)。图2所示的视频编码器20也可称为混合型视频编码器或基于混合型视频编解码器的视频编码器。

残差计算单元204、变换处理单元206、量化单元208和模式选择单元260组成编码器20的前向信号路径，而反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器(decoded picture buffer，DPB)230、帧间预测单元244和帧内预测单元254组成编码器的后向信号路径，其中编码器20的后向信号路径对应于解码器的信号路径(参见图3中的解码器30)。反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器230、帧间预测单元244和帧内预测单元254还组成视频编码器20的“内置解码器”。

图像和图像分割(图像和块)

编码器20可用于通过输入端201等接收图像(或图像数据)17，例如，形成视频或视频序列的图像序列中的图像。接收的图像或图像数据也可以是预处理后的图像(或预处理后的图像数据)19。为简单起见，以下描述使用图像17。图像17也可称为当前图像或待编码的图像(尤其是在视频编码中将当前图像与其它图像区分开时，其它图像例如同一视频序列，即也包括当前图像的视频序列，中的之前编码后图像和/或解码后图像)。

(数字)图像为或可以视为具有强度值的像素点组成的二维阵列或矩阵。阵列中的像素点也可以称为像素(pixel或pel)(图像元素的简称)。阵列或图像在水平方向和垂直方向(或轴线)上的像素点数量决定了图像的大小和/或分辨率。为了表示颜色，通常采用三个颜色分量，即图像可以表示为或包括三个像素点阵列。在RBG格式或颜色空间中，图像包括对应的红色、绿色和蓝色像素点阵列。但是，在视频编码中，每个像素通常以亮度/色度格式或颜色空间表示，例如YCbCr，包括Y指示的亮度分量(有时也用L表示)以及Cb、Cr表示的两个色度分量。亮度(luma)分量Y表示亮度或灰度水平强度(例如，在灰度等级图像中两者相同)，而两个色度(chrominance，简写为chroma)分量Cb和Cr表示色度或颜色信息分量。相应地，YCbCr格式的图像包括亮度像素点值(Y)的亮度像素点阵列和色度值(Cb和Cr)的两个色度像素点阵列。RGB格式的图像可以转换或变换为YCbCr格式，反之亦然，该过程也称为颜色变换或转换。如果图像是黑白的，则该图像可以只包括亮度像素点阵列。相应地，图像可以为例如单色格式的亮度像素点阵列或4:2:0、4:2:2和4:4:4彩色格式的亮度像素点阵列和两个相应的色度像素点阵列。

在一个实施例中，视频编码器20的实施例可包括分割单元262，用于将图像17分割成多个(通常不重叠)图像块203(也可以简称为块203或者CTU 203)。这些块在H.265/HEVC和VVC标准中也可以称为根块、宏块(H.264/AVC)或编码树块(Coding Tree Block，CTB)，或编码树单元(Coding Tree Unit，CTU)。分割单元262可用于对视频序列中的所有图像使用相同的块大小和使用限定块大小的对应网格，或在图像或图像子集或图像组之间改变块大小，并将每个图像分割成对应块。

在其它实施例中，视频编码器可用于直接接收图像17的块203，例如，组成所述图像17的一个、几个或所有块。图像块203也可以称为当前图像块或待编码图像块。

与图像17一样，图像块203同样是或可认为是具有强度值(像素点值)的像素点组成的二维阵列或矩阵，但是图像块203的比图像17的小。换句话说，块203可包括一个像素点阵列(例如，单色图像17情况下的亮度阵列或彩色图像情况下的亮度阵列或色度阵列)或三个像素点阵列(例如，彩色图像17情况下的一个亮度阵列和两个色度阵列)或根据所采用的颜色格式的任何其它数量和/或类型的阵列。块203的水平方向和垂直方向(或轴线)上的像素点数量限定了块203的大小。相应地，块可以为M×N(M列×N行)个像素点阵列，或M×N个变换系数阵列等。

在一个实施例中，图2所示的视频编码器20用于逐块对图像17进行编码，例如，对每个块203执行编码和预测。

在一个实施例中，图2所示的视频编码器20还可以用于使用片(也称为视频片)分割和/或编码图像，其中图像可以使用一个或多个片(通常为不重叠的)进行分割或编码。每个片可包括一个或多个块(例如，编码树单元CTU)或一个或多个块组(例如H.265/HEVC/VVC标准中的编码区块(tile)和VVC标准中的砖(brick)。

在一个实施例中，图2所示的视频编码器20还可以用于使用片/编码区块组(也称为视频编码区块组)和/或编码区块(也称为视频编码区块)对图像进行分割和/或编码，其中图像可以使用一个或多个片/编码区块组(通常为不重叠的)进行分割或编码，每个片/编码区块组可包括一个或多个块(例如CTU)或一个或多个编码区块等，其中每个编码区块可以为矩形等形状，可包括一个或多个完整或部分块(例如CTU)。

残差计算

残差计算单元204用于通过如下方式根据图像块203和预测块265来计算残差块205(后续详细介绍了预测块265)：例如，逐个像素点(逐个像素)从图像块203的像素点值中减去预测块265的像素点值，得到像素域中的残差块205。

变换

变换处理单元206用于对残差块205的像素点值执行离散余弦变换(discretecosine transform，DCT)或离散正弦变换(discrete sine transform，DST)等，得到变换域中的变换系数207。变换系数207也可称为变换残差系数，表示变换域中的残差块205。

变换处理单元206可用于应用DCT/DST的整数化近似，例如为H.265/HEVC指定的变换。与正交DCT变换相比，这种整数化近似通常由某一因子按比例缩放。为了维持经过正变换和逆变换处理的残差块的范数，使用其它比例缩放因子作为变换过程的一部分。比例缩放因子通常是根据某些约束条件来选择的，例如比例缩放因子是用于移位运算的2的幂、变换系数的位深度、准确性与实施成本之间的权衡等。例如，在编码器20侧通过逆变换处理单元212为逆变换(以及在解码器30侧通过例如逆变换处理单元312为对应逆变换)指定具体的比例缩放因子，以及相应地，可以在编码器20侧通过变换处理单元206为正变换指定对应比例缩放因子。

在一个实施例中，视频编码器20(对应地，变换处理单元206)可用于输出一种或多种变换的类型等变换参数，例如，直接输出或由熵编码单元270进行编码或压缩后输出，例如使得视频解码器30可接收并使用变换参数进行解码。

量化

量化单元208用于通过例如标量量化或矢量量化对变换系数207进行量化，得到量化变换系数209。量化变换系数209也可称为量化残差系数209。

量化过程可减少与部分或全部变换系数207有关的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。可通过调整量化参数(quantizationparameter，QP)修改量化程度。例如，对于标量量化，可以应用不同程度的比例来实现较细或较粗的量化。较小量化步长对应较细量化，而较大量化步长对应较粗量化。可通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以为合适的量化步长的预定义集合的索引。例如，较小的量化参数可对应精细量化(较小量化步长)，较大的量化参数可对应粗糙量化(较大量化步长)，反之亦然。量化可包括除以量化步长，而反量化单元210等执行的对应或逆解量化可包括乘以量化步长。根据例如HEVC一些标准的实施例可用于使用量化参数来确定量化步长。一般而言，可以根据量化参数使用包含除法的等式的定点近似来计算量化步长。可以引入其它比例缩放因子来进行量化和解量化，以恢复可能由于在用于量化步长和量化参数的等式的定点近似中使用的比例而修改的残差块的范数。在一种示例性实现方式中，可以合并逆变换和解量化的比例。或者，可以使用自定义量化表并在比特流中等将其从编码器向解码器指示。量化是有损操作，其中量化步长越大，损耗越大。

在一个实施例中，视频编码器20(对应地，量化单元208)可用于输出量化参数(quantization parameter，QP)，例如，直接输出或由熵编码单元270进行编码或压缩后输出，例如使得视频解码器30可接收并使用量化参数进行解码。

反量化

反量化单元210用于对量化系数执行量化单元208的反量化，得到解量化系数211，例如，根据或使用与量化单元208相同的量化步长执行与量化单元208所执行的量化方案的反量化方案。解量化系数211也可称为解量化残差系数211，对应于变换系数207，但是由于量化造成损耗，反量化系数211通常与变换系数不完全相同。

逆变换

逆变换处理单元212用于执行变换处理单元206执行的变换的逆变换，例如，逆离散余弦变换(discrete cosine transform，DCT)或逆离散正弦变换(discrete sinetransform，DST)，以在像素域中得到重建残差块213(或对应的解量化系数213)。重建残差块213也可称为变换块213。

重建

重建单元214(例如，求和器214)用于将变换块213(即重建残差块213)添加到预测块265，以在像素域中得到重建块215，例如，将重建残差块213的像素点值和预测块265的像素点值相加。

滤波

环路滤波器单元220(或简称“环路滤波器”220)用于对重建块215进行滤波，得到滤波块221，或通常用于对重建像素点进行滤波以得到滤波像素点值。例如，环路滤波器单元用于顺利进行像素转变或提高视频质量。环路滤波器单元220可包括一个或多个环路滤波器，例如去块滤波器、像素点自适应偏移(sample-adaptive offset，SAO)滤波器或一个或多个其它滤波器，例如自适应环路滤波器(adaptive loop filter，ALF)、噪声抑制滤波器(noise suppression filter，NSF)或任意组合。例如，环路滤波器单元220可以包括去块滤波器、SAO滤波器和ALF滤波器。滤波过程的顺序可以是去块滤波器、SAO滤波器和ALF滤波器。再例如，增加一个称为具有色度缩放的亮度映射(luma mapping with chromascaling，LMCS)(即自适应环内整形器)的过程。该过程在去块之前执行。再例如，去块滤波过程也可以应用于内部子块边缘，例如仿射子块边缘、ATMVP子块边缘、子块变换(sub-block transform，SBT)边缘和内子部分(intra sub-partition，ISP)边缘。尽管环路滤波器单元220在图2中示为环路滤波器，但在其它配置中，环路滤波器单元220可以实现为环后滤波器。滤波块221也可称为滤波重建块221。

在一个实施例中，视频编码器20(对应地，环路滤波器单元220)可用于输出环路滤波器参数(例如SAO滤波参数、ALF滤波参数或LMCS参数)，例如，直接输出或由熵编码单元270进行熵编码后输出，例如使得解码器30可接收并使用相同或不同的环路滤波器参数进行解码。

解码图像缓冲器

解码图像缓冲器(decoded picture buffer，DPB)230可以是存储参考图像数据以供视频编码器20在编码视频数据时使用的参考图像存储器。DPB 230可以由多种存储器设备中的任一种形成，例如动态随机存取存储器(dynamic random access memory，DRAM)，包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magnetoresistive RAM，MRAM)、电阻RAM(resistive RAM，RRAM)或其它类型的存储设备。解码图像缓冲器230可用于存储一个或多个滤波块221。解码图像缓冲器230还可用于存储同一当前图像或例如之前的重建图像等不同图像的其它之前的滤波块，例如之前重建和滤波的块221，并可提供完整的之前重建即解码图像(和对应参考块和像素点)和/或部分重建的当前图像(和对应参考块和像素点)，例如用于帧间预测。解码图像缓冲器230还可用于存储一个或多个未经滤波的重建块215，或一般存储未经滤波的重建像素点，例如，未被环路滤波单元220滤波的重建块215，或未进行任何其它处理的重建块或重建像素点。

模式选择(分割和预测)

模式选择单元260包括分割单元262、帧间预测单元244和帧内预测单元254，用于从解码图像缓冲器230或其它缓冲器(例如，列缓冲器，图中未显示)接收或获得原始块203(当前图像17的当前块203)和重建图像数据等原始图像数据，例如，同一(当前)图像和/或一个或多个之前解码图像的滤波和/或未经滤波的重建像素点或重建块。重建图像数据用作帧间预测或帧内预测等预测所需的参考图像数据，以得到预测块265或预测值265。

模式选择单元260可用于为当前块预测模式(包括不分割)和预测模式(例如帧内或帧间预测模式)确定或选择一种分割，生成对应的预测块265，以对残差块205进行计算和对重建块215进行重建。

在一个实施例中，模式选择单元260可用于选择分割和预测模式(例如，从模式选择单元260支持的或可用的预测模式中)，所述预测模式提供最佳匹配或者说最小残差(最小残差是指传输或存储中更好的压缩)，或者提供最小信令开销(最小信令开销是指传输或存储中更好的压缩)，或者同时考虑或平衡以上两者。模式选择单元260可用于根据码率失真优化(rate distortion Optimization，RDO)确定分割和预测模式，即选择提供最小码率失真优化的预测模式。本文“最佳”、“最低”、“最优”等术语不一定指总体上“最佳”、“最低”、“最优”的，但也可以指满足终止或选择标准的情况，例如，超过或低于阈值的值或其他限制可能导致“次优选择”，但会降低复杂度和处理时间。

换言之，分割单元262可用于将视频序列中的图像分割为图像块(亦称作编码树单元(coding tree unit，CTU))序列，CTU 203可进一步被分割成较小的块部分或子块(再次形成块)，例如，通过迭代使用四叉树(quad-tree partitioning，QT)分割、二叉树(binary-tree partitioning，BT)分割或三叉树(triple-tree partitioning，TT)分割或其任意组合，并且用于例如对块部分或子块中的每一个执行预测，其中模式选择包括选择分割块203的树结构和选择应用于块部分或子块中的每一个的预测模式。

下文将详细地描述由视频编码器20执行的分割(例如，由分割单元262执行)和预测处理(例如，由帧间预测单元244和帧内预测单元254执行)。

分割

分割单元262可将一个编码树单元203分割(或划分)为较小的部分，例如正方形或矩形形状的小块。对于具有三个像素点阵列的图像，一个CTU由N×N个亮度像素点块和两个对应的色度像素点块组成。CTU中亮度块的最大允许大小在正在开发的通用视频编码(Versatile Video Coding，VVC)标准中被指定为128×128，但是将来可指定为不同于128×128的值，例如256×256。图像的CTU可以集中/分组为片/编码区块组、编码区块或砖。一个编码区块覆盖着一个图像的矩形区域，一个编码区块可以分成一个或多个砖。一个砖由一个编码区块内的多个CTU行组成。没有分割为多个砖的编码区块可以称为砖。但是，砖是编码区块的真正子集，因此不称为编码区块。VVC支持两种编码区块组模式，分别为光栅扫描片/编码区块组模式和矩形片模式。在光栅扫描编码区块组模式，一个片/编码区块组包含一个图像的编码区块光栅扫描中的编码区块序列。在矩形片模式中，片包含一个图像的多个砖，这些砖共同组成图像的矩形区域。矩形片内的砖按照片的砖光栅扫描顺序排列。这些较小块(也可称为子块)可进一步分割为更小的部分。这也称为树分割或分层树分割，其中在根树级别0(层次级别0、深度0)等的根块可以递归地分割为两个或两个以上下一个较低树级别的块，例如树级别1(层次级别1、深度1)的节点。这些块可以又分割为两个或两个以上下一个较低级别的块，例如树级别2(层次级别2、深度2)等，直到分割结束(因为满足结束标准，例如达到最大树深度或最小块大小)。未进一步分割的块也称为树的叶块或叶节点。分割为两个部分的树称为二叉树(binary-tree，BT)，分割为三个部分的树称为三叉树(ternary-tree，TT)，分割为四个部分的树称为四叉树(quad-tree，QT)。

例如，编码树单元(CTU)可以为或包括亮度像素点的CTB、具有三个像素点阵列的图像的色度像素点的两个对应CTB、或单色图像的像素点的CTB或使用三个独立颜色平面和语法结构(用于编码像素点)编码的图像的像素点的CTB。相应地，编码树块(CTB)可以为N×N个像素点块，其中N可以设为某个值使得分量划分为CTB，这就是分割。编码单元(codingunit，CU)可以为或包括亮度像素点的编码块、具有三个像素点阵列的图像的色度像素点的两个对应编码块、或单色图像的像素点的编码块或使用三个独立颜色平面和语法结构(用于编码像素点)编码的图像的像素点的编码块。相应地，编码块(CB)可以为M×N个像素点块，其中M和N可以设为某个值使得CTB划分为编码块，这就是分割。

例如，在实施例中，根据HEVC可通过使用表示为编码树的四叉树结构将编码树单元(CTU)划分为多个CU。在叶CU级作出是否使用帧间(时间)预测或帧内(空间)预测对图像区域进行编码的决定。每个叶CU可以根据PU划分类型进一步划分为一个、两个或四个PU。一个PU内使用相同的预测过程，并以PU为单位向解码器传输相关信息。在根据PU划分类型应用预测过程得到残差块之后，可以根据类似于用于CU的编码树的其它四叉树结构将叶CU分割为变换单元(TU)。

例如，在实施例中，根据当前正在开发的最新视频编码标准(称为通用视频编码(VVC)，使用嵌套多类型树(例如二叉树和三叉树)的组合四叉树来划分用于分割编码树单元的分段结构。在编码树单元内的编码树结构中，CU可以为正方形或矩形。例如，编码树单元(CTU)首先由四叉树结构进行分割。四叉树叶节点进一步由多类型树结构分割。多类型树形结构有四种划分类型：垂直二叉树划分(SPLIT_BT_VER)、水平二叉树划分(SPLIT_BT_HOR)、垂直三叉树划分(SPLIT_TT_VER)和水平三叉树划分(SPLIT_TT_HOR)。多类型树叶节点称为编码单元(CU)，除非CU对于最大变换长度而言太大，这样的分段用于预测和变换处理，无需其它任何分割。在大多数情况下，这表示CU、PU和TU在四叉树嵌套多类型树的编码块结构中的块大小相同。当最大支持变换长度小于CU的彩色分量的宽度或高度时，就会出现该异常。VVC制定了具有四叉树嵌套多类型树的编码结构中的分割划分信息的唯一信令机制。在信令机制中，编码树单元(CTU)作为四叉树的根首先被四叉树结构分割。然后每个四叉树叶节点(当足够大可以被)被进一步分割为一个多类型树结构。在多类型树结构中，通过第一标识(mtt_split_cu_flag)指示节点是否进一步分割，当对节点进一步分割时，先用第二标识(mtt_split_cu_vertical_flag)指示划分方向，再用第三标识(mtt_split_cu_binary_flag)指示划分是二叉树划分或三叉树划分。根据mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，解码器可以基于预定义规则或表格推导出CU的多类型树划分模式(MttSplitMode)。需要说明的是，对于某种设计，例如VVC硬件解码器中的64×64的亮度块和32×32的色度流水线设计，当亮度编码块的宽度或高度大于64时，不允许进行TT划分，如图6所示。当色度编码块的宽度或高度大于32时，也不允许TT划分。流水线设计将图像分为多个虚拟流水线数据单元(virtual pipeline data unit，VPDU)，每个VPDU在图像中定义为互不重叠的单元。在硬件解码器中，连续的VPDU在多个流水线阶段同时处理。在大多数流水线阶段，VPDU大小与缓冲器大小大致成正比，因此需要保持较小的VPDU。在大多数硬件解码器中，VPDU大小可以设置为最大变换块(transform block，TB)大小。但是，在VVC中，三叉树(TT)和二叉树(BT)的分割可能会增加VPDU的大小。

另外，需要说明的是，当树节点块的一部分超出底部或图像右边界时，强制对该树节点块进行划分，直到每个编码CU的所有像素点都位于图像边界内。

例如，所述帧内子分割(intra sub-partitions，ISP)工具可以根据块大小将亮度帧内预测块垂直或水平地分为两个或四个子部分。

在一个示例中，视频编码器20的模式选择单元260可以用于执行上文描述的分割技术的任意组合。

如上所述，视频编码器20用于从(预定的)预测模式集合中确定或选择最好或最优的预测模式。预测模式集合可包括例如帧内预测模式和/或帧间预测模式。

帧内预测

帧内预测模式集合可包括35种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式，或如HEVC定义的方向性模式，或者可包括67种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式，或如VVC中定义的方向性模式。例如，若干传统角度帧内预测模式自适应地替换为VVC中定义的非正方形块的广角帧内预测模式。又例如，为了避免DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。并且，平面模式的帧内预测结果还可以使用位置决定的帧内预测组合(positiondependent intra prediction combination，PDPC)方法修改。

帧内预测单元254用于根据帧内预测模式集合中的帧内预测模式使用同一当前图像的相邻块的重建像素点来生成帧内预测块265。

帧内预测单元254(或通常为模式选择单元260)还用于输出帧内预测参数(或通常为指示块的选定帧内预测模式的信息)以语法元素266的形式发送到熵编码单元270，以包含到编码图像数据21中，从而视频解码器30可执行操作，例如接收并使用用于解码的预测参数。

帧间预测

在可能的实现中，帧间预测模式集合取决于可用参考图像(即，例如前述存储在DBP230中的至少部分之前解码的图像)和其它帧间预测参数，例如取决于是否使用整个参考图像或只使用参考图像的一部分，例如当前块的区域附近的搜索窗口区域，来搜索最佳匹配参考块，和/或例如取决于是否执行半像素、四分之一像素和/或16分之一内插的像素内插。

除上述预测模式外，还可以采用跳过模式和/或直接模式。

例如，扩展合并预测，这种模式的合并候选列表由以下五种候选类型按顺序组成：来自空间相邻CU的空间MVP、来自并置CU的时间MVP、来自FIFO表的基于历史的MVP、成对平均MVP和零MV。可以使用基于双边匹配的解码器侧运动矢量修正(decoder side motionvector refinement，DMVR)来增加合并模式的MV的准确度。带有MVD的合并模式(mergemode with MVD，MMVD)来自有运动矢量差异的合并模式。在发送跳过标志和合并标志之后立即发送MMVD标志，以指定CU是否使用MMVD模式。可以使用CU级自适应运动矢量分辨率(adaptive motion vector resolution，AMVR)方案。AMVR支持CU的MVD以不同的精度进行编码。根据当前CU的预测模式，自适应地选择当前CU的MVD。当CU以合并模式进行编码时，可以将合并的帧间/帧内预测(combined inter/intra prediction，CIIP)模式应用于当前CU。对帧间和帧内预测信号进行加权平均，得到CIIP预测。对于仿射运动补偿预测，通过2个控制点(4参数)或3个控制点(6参数)运动矢量的运动信息来描述块的仿射运动场。基于子块的时间运动矢量预测(subblock-based temporal motion vector prediction，SbTMVP)，与HEVC中的时间运动矢量预测(temporal motion vector prediction，TMVP)类似，但预测的是当前CU内的子CU的运动矢量。双向光流(bi-directional optical flow，BDOF)以前称为BIO，是一种减少计算的简化版本，特别是在乘法次数和乘数大小方面的计算。在三角形分割模式中，CU以对角线划分和反对角线划分两种划分方式被均匀划分为两个三角形部分。此外，双向预测模式在简单平均的基础上进行了扩展，以支持两个预测信号的加权平均。

帧间预测单元244可包括运动估计(motion estimation，ME)单元和运动补偿(motion compensation，MC)单元(两者在图2中未示出)。运动估计单元可用于接收或获取图像块203(当前图像17的当前图像块203)和解码图像231，或至少一个或多个之前重建块，例如，一个或多个其它/不同之前解码图像231的重建块，来进行运动估计。例如，视频序列可包括当前图像和之前的解码图像231，或换句话说，当前图像和之前的解码图像231可以为形成视频序列的图像序列的一部分或形成该图像序列。

例如，编码器20可用于从多个其它图像中的同一或不同图像的多个参考块中选择参考块，并将参考图像(或参考图像索引)和/或参考块的位置(x、y坐标)与当前块的位置之间的偏移(空间偏移)作为帧间预测参数提供给运动估计单元。该偏移也称为运动矢量(motion vector，MV)。

运动补偿单元用于获取，例如接收，帧间预测参数，并根据或使用该帧间预测参数执行帧间预测，得到帧间预测块246。由运动补偿单元执行的运动补偿可能包含根据通过运动估计确定的运动/块矢量来提取或生成预测块，还可能包括对子像素精度执行内插。内插滤波可从已知像素的像素点中产生其它像素的像素点，从而潜在地增加可用于对图像块进行编码的候选预测块的数量。一旦接收到当前图像块的PU对应的运动矢量时，运动补偿单元可在其中一个参考图像列表中定位运动矢量指向的预测块。

运动补偿单元还可以生成与块和视频片相关的语法元素，以供视频解码器30在解码视频片的图像块时使用。此外，或者作为片和相应语法元素的替代，可以生成或使用编码区块组和/或编码区块以及相应语法元素。

熵编码

熵编码单元270用于将熵编码算法或方案(例如，可变长度编码(variable lengthcoding，VLC)方案、上下文自适应VLC方案(context adaptive VLC，CALVC)、算术编码方案、二值化算法、上下文自适应二进制算术编码(context adaptive binary arithmeticcoding，CABAC)、基于语法的上下文自适应二进制算术编码(syntax-based context-adaptive binary arithmetic coding，SBAC)、概率区间分割熵(probability intervalpartitioning entropy，PIPE)编码或其它熵编码方法或技术)应用于量化残差系数209、帧间预测参数、帧内预测参数、环路滤波器参数和/或其它语法元素，得到可以通过输出端272以编码比特流21等形式输出的编码图像数据21，使得视频解码器30等可以接收并使用用于解码的参数。可将编码比特流21传输到视频解码器30，或将其保存在存储器中稍后由视频解码器30传输或检索。

视频编码器20的其它结构变体可用于对视频流进行编码。例如，基于非变换的编码器20可以在某些块或帧没有变换处理单元206的情况下直接量化残差信号。在另一种实现方式中，编码器20可以具有组合成单个单元的量化单元208和反量化单元210。

解码器和解码方法

图3为本申请的视频解码器30的示例性结构图。视频解码器30用于接收例如由编码器20编码的编码图像数据21(例如编码比特流21)，得到解码图像331。编码图像数据或比特流包括用于解码所述编码图像数据的信息，例如表示编码视频片(和/或编码区块组或编码区块)的图像块的数据和相关的语法元素。

在图3的示例中，解码器30包括熵解码单元304、反量化单元310、逆变换处理单元312、重建单元314(例如求和器314)、环路滤波器320、解码图像缓冲器(DBP)330、模式应用单元360、帧间预测单元344和帧内预测单元354。帧间预测单元344可以为或包括运动补偿单元。在一些示例中，视频解码器30可执行大体上与参照图2的视频编码器20描述的编码过程相反的解码过程。

如编码器20所述，反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器DPB 230、帧间预测单元244和帧内预测单元254还组成视频编码器20的“内置解码器”。相应地，反量化单元310在功能上可与反量化单元210相同，逆变换处理单元312在功能上可与逆变换处理单元212相同，重建单元314在功能上可与重建单元214相同，环路滤波器320在功能上可与环路滤波器220相同，解码图像缓冲器330在功能上可与解码图像缓冲器230相同。因此，视频编码器20的相应单元和功能的解释相应地适用于视频解码器30的相应单元和功能。

熵解码

熵解码单元304用于解析比特流21(或一般为编码图像数据21)并对编码图像数据21执行熵解码，得到量化系数309和/或解码后的编码参数(图3中未示出)等，例如帧间预测参数(例如参考图像索引和运动矢量)、帧内预测参数(例如帧内预测模式或索引)、变换参数、量化参数、环路滤波器参数和/或其它语法元素等中的任一个或全部。熵解码单元304可用于应用编码器20的熵编码单元270的编码方案对应的解码算法或方案。熵解码单元304还可用于向模式应用单元360提供帧间预测参数、帧内预测参数和/或其它语法元素，以及向解码器30的其它单元提供其它参数。视频解码器30可以接收视频片和/或视频块级的语法元素。此外，或者作为片和相应语法元素的替代，可以接收或使用编码区块组和/或编码区块以及相应语法元素。

反量化

反量化单元310可用于从编码图像数据21(例如通过熵解码单元304解析和/或解码)接收量化参数(quantization parameter，QP)(或一般为与反量化相关的信息)和量化系数，并基于所述量化参数对所述解码的量化系数309进行反量化以获得解量化系数311，所述解量化系数311也可以称为变换系数311。反量化过程可包括使用视频编码器20为视频片中的每个视频块计算的量化参数来确定量化程度，同样也确定需要执行的反量化的程度。

逆变换

逆变换处理单元312可用于接收解量化系数311，也称为变换系数311，并对解量化系数311应用变换以得到像素域中的重建残差块313。重建残差块313也可称为变换块313。变换可以为逆变换，例如逆DCT、逆DST、逆整数变换或概念上类似的逆变换过程。逆变换处理单元312还可以用于从编码图像数据21(例如通过熵解码单元304解析和/或解码)接收变换参数或相应信息，以确定应用于解量化系数311的变换。

重建

重建单元314(例如，求和器314)用于将重建残差块313添加到预测块365，以在像素域中得到重建块315，例如，将重建残差块313的像素点值和预测块365的像素点值相加。

滤波

环路滤波器单元320(在编码环路中或之后)用于对重建块315进行滤波，得到滤波块321，从而顺利进行像素转变或提高视频质量等。环路滤波器单元320可包括一个或多个环路滤波器，例如去块滤波器、像素点自适应偏移(sample-adaptive offset，SAO)滤波器或一个或多个其它滤波器，例如自适应环路滤波器(adaptive loop filter，ALF)、噪声抑制滤波器(noise suppression filter，NSF)或任意组合。例如，环路滤波器单元220可以包括去块滤波器、SAO滤波器和ALF滤波器。滤波过程的顺序可以是去块滤波器、SAO滤波器和ALF滤波器。再例如，增加一个称为具有色度缩放的亮度映射(luma mapping with chromascaling，LMCS)(即自适应环内整形器)的过程。该过程在去块之前执行。再例如，去块滤波过程也可以应用于内部子块边缘，例如仿射子块边缘、ATMVP子块边缘、子块变换(sub-block transform，SBT)边缘和内子部分(intra sub-partition，ISP)边缘。尽管环路滤波器单元320在图3中示为环路滤波器，但在其它配置中，环路滤波器单元320可以实现为环后滤波器。

解码图像缓冲器

随后将一个图像中的缓冲块321存储在解码图像缓冲器330中，解码图像缓冲器330存储作为参考图像的解码图像331，参考图像用于其它图像和/或分别输出显示的后续运动补偿。

解码器30用于通过输出端332等输出解码图像331，向用户显示或供用户查看。

预测

帧间预测单元344在功能上可与帧间预测单元244(特别是运动补偿单元)相同，帧内预测单元354在功能上可与帧内预测单元254相同，并基于从编码图像数据21(例如通过熵解码单元304解析和/或解码)接收的分割和/或预测参数或相应信息决定划分或分割和执行预测。模式应用单元360可用于根据重建图像、块或相应的像素点(已滤波或未滤波)执行每个块的预测(帧内或帧间预测)，得到预测块365。

当将视频片编码为帧内编码(intra coded，I)片时，模式应用单元360中的帧内预测单元354用于根据指示的帧内预测模式和来自当前图像的之前解码块的数据生成用于当前视频片的图像块的预测块365。当视频图像编码为帧间编码(即，B或P)片时，模式应用单元360中的帧间预测单元344(例如运动补偿单元)用于根据运动矢量和从熵解码单元304接收的其它语法元素生成用于当前视频片的视频块的预测块365。对于帧间预测，可从其中一个参考图像列表中的其中一个参考图像产生这些预测块。视频解码器30可以根据存储在DPB 330中的参考图像，使用默认构建技术来构建参考帧列表0和列表1。除了片(例如视频片)或作为片的替代，相同或类似的过程可应用于编码区块组(例如视频编码区块组)和/或编码区块(例如视频编码区块)的实施例，例如视频可以使用I、P或B编码区块组和/或编码区块进行编码。

模式应用单元360用于通过解析运动矢量和其它语法元素，确定用于当前视频片的视频块的预测信息，并使用预测信息产生用于正在解码的当前视频块的预测块。例如，模式应用单元360使用接收到的一些语法元素确定用于编码视频片的视频块的预测模式(例如帧内预测或帧间预测)、帧间预测片类型(例如B片、P片或GPB片)、用于片的一个或多个参考图像列表的构建信息、用于片的每个帧间编码视频块的运动矢量、用于片的每个帧间编码视频块的帧间预测状态、其它信息，以解码当前视频片内的视频块。除了片(例如视频片)或作为片的替代，相同或类似的过程可应用于编码区块组(例如视频编码区块组)和/或编码区块(例如视频编码区块)的实施例，例如视频可以使用I、P或B编码区块组和/或编码区块进行编码。

在一个实施例中，图3所示的视频编码器30还可以用于使用片(也称为视频片)分割和/或解码图像，其中图像可以使用一个或多个片(通常为不重叠的)进行分割或解码。每个片可包括一个或多个块(例如CTU)或一个或多个块组(例如H.265/HEVC/VVC标准中的编码区块和VVC标准中的砖。

在一个实施例中，图3所示的视频解码器30还可以用于使用片/编码区块组(也称为视频编码区块组)和/或编码区块(也称为视频编码区块)对图像进行分割和/或解码，其中图像可以使用一个或多个片/编码区块组(通常为不重叠的)进行分割或解码，每个片/编码区块组可包括一个或多个块(例如CTU)或一个或多个编码区块等，其中每个编码区块可以为矩形等形状，可包括一个或多个完整或部分块(例如CTU)。

视频解码器30的其它变型可用于对编码图像数据21进行解码。例如，解码器30可以在没有环路滤波器单元320的情况下产生输出视频流。例如，基于非变换的解码器30可以在某些块或帧没有逆变换处理单元312的情况下直接反量化残差信号。在另一种实现方式中，视频解码器30可以具有组合成单个单元的反量化单元310和逆变换处理单元312。

应理解，在编码器20和解码器30中，可以对当前步骤的处理结果进一步处理，然后输出到下一步骤。例如，在插值滤波、运动矢量推导或环路滤波之后，可以对插值滤波、运动矢量推导或环路滤波的处理结果进行进一步的运算，例如裁剪(clip)或移位(shift)运算。

尽管上述实施例主要描述了视频编解码，但应注意的是，译码系统10、编码器20和解码器30的实施例以及本文描述的其它实施例也可以用于静止图像处理或编解码，即视频编解码中独立于任何先前或连续图像的单个图像的处理或编解码。一般情况下，如果图像处理仅限于单个图像，帧间预测单元244(编码器)和帧间预测单元344(解码器)可能不可用。视频编码器20和视频解码器30的所有其它功能(也称为工具或技术)同样可用于静态图像处理，例如残差计算单元204、变换处理单元206、量化单元208、反量化单元210/310、(逆)变换处理单元212/312、分割单元262、帧内预测单元254/354和/或环路滤波单元220/320、熵编码单元270和熵解码单元304。

图4为本申请的视频译码设备400的示意图。视频译码设备400适用于实现本文描述的公开实施例。在一个实施例中，视频译码设备400可以是解码器，例如图1A中的视频解码器30，也可以是编码器，例如图1A中的视频编码器20。

视频译码设备400包括：用于接收数据的入端口410(或输入端口410)和接收单元(receiver unit，Rx)420；用于处理数据的处理器、逻辑单元或中央处理器(centralprocessing unit，CPU)430；用于传输数据的发送单元(transmitter unit，Tx)440和出端口450(或输出端口450)；用于存储数据的存储器460。视频译码设备400还可包括耦合到入端口410、接收单元420、发送单元440和出端口450的光电(optical-to-electrical，OE)组件和电光(electrical-to-optical，EO)组件，用于光信号或电信号的出口或入口。

处理器430通过硬件和软件实现。处理器430可实现为一个或多个处理器芯片、核(例如，多核处理器)、FPGA、ASIC和DSP。处理器430与入端口410、接收单元420、发送单元440、出端口450和存储器460通信。处理器430包括译码模块470。译码模块470实施上文所公开的实施例。例如，译码模块470执行、处理、准备或提供各种编码操作。因此，通过译码模块470为视频译码设备400的功能提供了实质性的改进，并且影响了视频译码设备400到不同状态的切换。或者，以存储在存储器460中并由处理器430执行的指令来实现译码模块470。

存储器460包括一个或多个磁盘、磁带机和固态硬盘，可以用作溢出数据存储设备，用于在选择执行程序时存储此类程序，并且存储在程序执行过程中读取的指令和数据。存储器460可以是易失性和/或非易失性的，可以是只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、三态内容寻址存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(static random-access memory，SRAM)。

图5为本申请的装置500的简化框图，装置500可用作图1A中的源设备12和目的设备14中的任一个或两个。

装置500中的处理器502可以是中央处理器。或者，处理器502可以是现有的或今后将研发出的能够操控或处理信息的任何其它类型设备或多个设备。虽然可以使用如图所示的处理器502等单个处理器来实施已公开的实现方式，但使用一个以上的处理器速度更快和效率更高。

在一种实现方式中，装置500中的存储器504可以是只读存储器(ROM)设备或随机存取存储器(RAM)设备。任何其它合适类型的存储设备都可以用作存储器504。存储器504可以包括处理器502通过总线512访问的代码和数据506。存储器504还可包括操作系统508和应用程序510，应用程序510包括允许处理器502执行本文所述方法的至少一个程序。例如，应用程序510可以包括应用1至N，还包括执行本文所述方法的视频译码应用。

装置500还可以包括一个或多个输出设备，例如显示器518。在一个示例中，显示器518可以是将显示器与可用于感测触摸输入的触敏元件组合的触敏显示器。显示器518可以通过总线512耦合到处理器502。

虽然装置500中的总线512在本文中描述为单个总线，但是总线512可以包括多个总线。此外，辅助储存器可以直接耦合到装置500的其它组件或通过网络访问，并且可以包括存储卡等单个集成单元或多个存储卡等多个单元。因此，装置500可以具有各种各样的配置。

为了便于理解，下面先对本申请实施例所使用到的一些名词或术语进行解释说明，该名词或术语也作为发明内容的一部分。

1、神经网络

神经网络(neural network，NN)是机器学习模型，神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：

其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是ReLU等非线性函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部感受野(local receptive field)相连，来提取局部感受野的特征，局部感受野可以是由若干个神经单元组成的区域。

2、多层感知器(multi-layer perception，MLP)

MLP是一种简单的深度神经网络(deep neural network，DNN)(不同层之间是全连接的)，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，/>是输入向量，/>是输出向量，/>是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量/>经过如此简单的操作得到输出向量/>由于DNN层数多，则系数W和偏移向量/>的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为/>需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。

3、卷积神经网络

卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。卷积神经网络包含了一个由卷积层和池化层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。

卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行×列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行×列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络进行正确的预测。当卷积神经网络有多个卷积层的时候，初始的卷积层往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。

在经过卷积层/池化层的处理后，卷积神经网络还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络需要利用神经网络层来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层中可以包括多层隐含层，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等。

可选的，在神经网络层中的多层隐含层之后，还包括整个卷积神经网络的输出层，该输出层具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络的前向传播完成，反向传播就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络的损失，及卷积神经网络通过输出层输出的结果和理想结果之间的误差。

4、循环神经网络

循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。同样使用误差反向传播算法，不过有一点区别：即，如果将RNN进行网络展开，那么其中的参数，如W，是共享的；而如上举例上述的传统神经网络却不是这样。并且在使用梯度下降算法中，每一步的输出不仅依赖当前步的网络，还依赖前面若干步网络的状态。该学习算法称为基于时间的反向传播算法(Back propagation Through Time，BPTT)。

既然已经有了卷积神经网络，为什么还要循环神经网络？原因很简单，在卷积神经网络中，有一个前提假设是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但现实世界中，很多元素都是相互连接的，比如股票随时间的变化，再比如一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去。这里填空，人类应该都知道是填“云南”。因为人类会根据上下文的内容进行推断，但如何让机器做到这一步？RNN就应运而生了。RNN旨在让机器像人一样拥有记忆的能力。因此，RNN的输出就需要依赖当前的输入信息和历史的记忆信息。

5、损失函数

在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。

6、反向传播算法

卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。

7、生成式对抗网络

生成式对抗网络(generative adversarial networks，GAN)是一种深度学习模型。该模型中至少包括两个模块：一个模块是生成模型(Generative Model)，另一个模块是判别模型(Discriminative Model)，通过这两个模块互相博弈学习，从而产生更好的输出。生成模型和判别模型都可以是神经网络，具体可以是深度神经网络，或者卷积神经网络。GAN的基本原理如下：以生成图片的GAN为例，假设有两个网络，G(Generator)和D(Discriminator)，其中G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)；D是一个判别网络，用于判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表130％是真实的图片，如果为0，就代表不可能是真实的图片。在对该生成式对抗网络进行训练的过程中，生成网络G的目标就是尽可能生成真实的图片去欺骗判别网络D，而判别网络D的目标就是尽量把G生成的图片和真实的图片区分开来。这样，G和D就构成了一个动态的“博弈”过程，也即“生成式对抗网络”中的“对抗”。最后博弈的结果，在理想的状态下，G可以生成足以“以假乱真”的图片G(z)，而D难以判定G生成的图片究竟是不是真实的，即D(G(z))＝0.5。这样就得到了一个优异的生成模型G，它可以用来生成图片。

8、哥伦布编码

在计算机数据存储中，位是最小的存储单位，一个位存储一个逻辑0或逻辑1的二进制码。一般数字的编码都为二进制，但是由于其以相等长度来记录不同数字，会出现很多的冗余信息，例如，255和1的等长二进制码分为11111111和00000001，其有效位数分别为8和1。如果任何数据均以二进制编码方式来传输，会出现很大的冗余量，加重网络负担。

哥伦布编码(Exponential-Golomb coding)则是一种无损数据压缩方法，是一种可变长前缀码，比较适合小的数字比大的数字出现概率比较高的编码。它使用较短的码长编码较小的数字，较长的码长编码较大的数字。指数哥伦布编码是哥伦布编码的一种形式，是音视频编码标准中经常采用的可变长编码方法。它将所有数字分为等大小不同的组，符号值较小的组分配的码长较短，同一组内符号长基本相等，并且组的大小呈指数增长。

假设待编码数字num，k阶的指数哥伦布编码后的形式则为[MZeros][1][Info]，MZeros表示M个0。编码过程如下：

i、将num以二进制的形式表示(若不足k位，则在高位补0)，去掉其低k位(若刚好是k位，则为0)得到数字n；

ii、M为数字(n+1)的二进制位数减一；

iii、将第i步中去掉的k位二进制串放到(n+1)的低位，得到[1][Info]。

表1是对0-9进行哥伦布编码后的码字示意。

表1

9、块划分

HEVC标准引入了一套基于四叉树递归划分的基本单元，其中包括编码单元(Coding Unit，CU)，预测单元(Prediction Unit，PU)以及变换单元(Transform Unit，TU)。在HEVC编码器中，输入图像首先划分成多个尺寸相同互不重叠的编码树单元(Coding TreeUnit，CTU)，CTU的尺寸由编码器决定，最大可达64×64。在后续编码过程中，一个CTU可以直接作为一个CU，也可以通过四叉树递归划分的方式进一步划分为多个尺寸更小的CU。CU划分的深度是由计算得到的码率-失真代价确定，编码器会在不同划分模式中进行比较和权衡，选取码率-失真代价最小的划分模式进行编码。最后处于四叉树叶子节点的CU则是编码器进行后续预测变换编码的基本单元。通常来说，块划分会对平坦光滑的区域使用较浅的划分深度和较大的CU，对色彩复杂的区域使用较深的划分深度和较小的CU，这样可以使得预测、变换、量化等模块的处理更加方便准确，使编码模式的选取更加符合视频内容的图像特征，有效提高编码效率。

PU是编码器进行预测的基本单元，包含了所有与预测相关的信息，是对CU进行进一步划分得到的。对于2N×2N的CU，PU共有8种可选的划分模式，其中包括4种对称模式：2N×2N、N×N、2N×N、N×2N以及4种1:3或3:1比例划分的非对称模式，如图6所示。多种划分模式的引入可以使得复杂图像的预测较为准确。

TU是编码器进行变换、量化的基本单元。TU的尺寸依赖于所属的CU，在一个CU内允许继续以四叉树划分的方式划分得到TU。TU的尺寸最小为4×4，最大可达32×32。根据内容特性，编码器可以为TU灵活地选择最佳的划分模式。

10、帧内块复制(Intra Block Copy，IBC)

IBC是HEVC屏幕内容编码(Screen Content Coding，SCC)标准中一项重要的面向屏幕内容编码的工具，它是一种基于块的预测技术，其机制类似于帧间预测或运动补偿。运动补偿是指对于当前预测单元，编码器会在之前已编码的参考图像中通过运动搜索算法找到一个最佳的匹配块作为预测值，并由运动向量(Motion Vector，MV)指示这一匹配关系。当前预测单元的像素值减去预测值的差值作为预测残差，该预测残差经过变换、量化、熵编码等模块处理后输出到码流中。

IBC和运动补偿的主要区别在于IBC的参考样本是从当前图片(重建的部分)内部得到的，并存在与运动向量类似的块向量(Block Vector，BV)，以指示块匹配关系。IBC可以较好地处理视频帧内有多个类似图形或文字的屏幕内容，即当前块可以参考当前图片内有相似图形的块并得到像素值接近0的预测残差，这种残差在码流中占很少的码率。IBC其余部分包括语法结构和相关信息的编码过程几乎与运动补偿相同。

本申请提供了一种包含文字的图像编解码方法，可以解决包含文字的图像在编解码过程中，由于同一个文字的像素被划分入不同的CTU或CU，可能导致的在压缩文字内容时的准确率较低、效率较差的问题。

上文图2介绍了标准视频编码模块系统的结构和原理，图3介绍了标准视频解码系统的结构和原理，本申请在此基础上增加对图像中的文字的编码方案。

图7为本申请的译码系统70的示例性的框图，如图7所示，相较于标准视频编解码系统(例如译码系统10)，在编码端(例如源设备12)，除了标准视频编码模块(例如编码器20)，增加了文字处理模块和文字对齐边信息编码模块，在解码端(例如目的设备14)，除了标准视频解码模块(例如解码器30)，增加了文字对齐边信息解码模块和文字重建模块。增加的这些模块与标准视频编/解码过程独立，并与之共同形成改进的译码系统70。

其中，上述各个模块的功能如下：

文字处理模块：

1、检测：从原始图像(即待编码图像)中提取出文字区域和非文字区域。

2、分割：针对文字区域，分割出完整的字符或字符行。

3、自适应对齐：将分割出的字符或字符行与块划分网格对齐，此时对齐后的字符或字符行的位置相比于原始位置会有偏移。

文字对齐边信息编码模块：编码文字处理模块产生的文字对齐边信息(例如，字符原始坐标、字符框的尺寸、填充框的尺寸等)，用于解码端的文字重建。

标准视频编码模块：对非文字区域和对齐后的文字区域分别进行标准的混合视频编码。

标准视频解码模块：对码流进行标准的混合视频解码，以得到非文字区域和对齐后的文字区域。

文字对齐边信息解码模块：解码码流，以得到文字对齐边信息(例如，字符原始坐标、字符框的尺寸、填充框的尺寸等)。

文字重建模块：

1、文字恢复：利用文字对齐边信息从对齐后的文字区域恢复出位置正确的文字区域。

2、区域拼接：将位置正确的文字区域与非文字区域融合形成完整的重建图像。

基于图7所示的译码系统70，下本对本申请提供的方案进行说明。

图8为本申请实施例的包含文字的图像编码方法的过程800的流程图。过程800可由视频编码器20执行。过程800描述为一系列的步骤或操作，应当理解的是，过程800可以以各种顺序执行和/或同时发生，不限于图8所示的执行顺序。假设具有多个视频帧的视频数据流正在使用视频编码器20，执行包括如下步骤的过程800来对当前视频帧的当前图像块进行编码。

步骤801、获取第一图像中的文字区域，文字区域包括至少一个字符。

第一图像可以是一张独立的图片，也可以是视频中的任意一个视频帧，对此不作具体限定。本申请实施例中，第一图像可以包括文字区域，该文字区域的数量可以只有一个，也可以有多个，文字区域的数量可以取决于第一图像包含的字符的数量、字符的分布规律、字符的大小等，对此不做具体限定。此外，文字区域可以包括一个字符，即文字区域中只有一个字符；或者，文字区域包括一个字符行，该一个字符行包括多个字符；或者，文字区域包括一个字符列，该一个字符列包括多个字符。前述字符可以是汉字、拼音、英文、数字等，对此不做具体限定。

本申请实施例中，可以采用以下四种方法获取第一图像中的文字区域：

第一种方法，对第一图像进行文字识别以得到文字区域。

可以先对第一图像进行二值化和腐蚀。通常经二值化的图像中，文字区域对应的像素点为白色，非文字区域对应的像素点为黑色。腐蚀可以用于处理字符间像素粘连的情况。然后对经过二值化和腐蚀处理后的图像进行水平投影，计算水平方向的白色像素点(对应文字区域)数量，存在字符的水平线上的白色像素点的数量不为0，因此可以基于此得到图像中所有的字符行。

分别对每个字符行进行以下操作：提取连通域(连通域是指连续的白色像素点区域，一个字符即为一个连通域，相应的，一个字符行可能有多个连通域)；选取适当尺寸的字符框，当字符框只包含一个字符时，字符框的尺寸大于或等于一个字符行内的最大连通域的尺寸，且同一个字符行内的所有字符用同一个尺寸的字符框，当字符框包含一个字符行或者字符列时，字符框的尺寸大于或等于一个字符行或一个字符列内的所有连通域的尺寸之和。例如，一个字符行内的字符1的连通域占据6(宽度)×10(高度)的像素空间，字符2的连通域占据11×8的像素空间，那么需要选取至少11×10的字符框，以分别包含这两个字符，或者需要选取至少17×10的字符框，以包含该字符行的两个字符。本申请实施例中，可以将前述文字框在第一图像中覆盖的区域称作文字区域，亦即文字区域和文字框指代第一图像中的同一区域范围。

因此，通过上述方法可以对第一图像进行识别，以得到文字区域。

第二种方法，对第一图像进行文字识别以得到中间文字区域，该中间文字区域包括多个字符行；按字符行对中间文字区域进行行划分以得到文字区域。

与第一种方法的区别在于，第二种方法可以想通过文字识别得到一个中间文字区域，该中间文字区域可以包括多个字符行，然后再对中间文字区域进行行划分得到只包含一个字符行的多个文字区域。该方法可以用于字符横向排列的情况，例如，多个字符按照从左到右，从上到下的顺序排列。

第三种方法，对第一图像进行文字识别以得到中间文字区域，该中间文字区域包括多个字符列；按字符列对中间文字区域进行列划分以得到文字区域。

与第一种方法的区别在于，第三种方法可以想通过文字识别得到一个中间文字区域，该中间文字区域可以包括多个字符行，然后再对中间文字区域进行列划分得到只包含一个字符列的多个文字区域。该方法可以用于字符纵向排列的情况，例如，多个字符按照从上到下，从左到右的顺序排列。

第四种方法，对第一图像进行文字识别以得到中间文字区域，中间文字区域包括多个字符行或多个字符列；按字符对中间文字区域进行行划分和列划分以得到文字区域。

与第一种方法的区别在于，第四种方法可以想通过文字识别得到一个中间文字区域，该中间文字区域可以包括多个字符行或多个字符列，然后再对中间文字区域进行行划分和列划分得到只包含一个字符的多个文字区域。该方法可以用于字符横向排列或者纵向排列的情况，例如，多个字符按照从上到下，从左到右的顺序排列，又例如，多个字符按照从上到下，从左到右的顺序排列。

需要说明的是，除了上述四种方法，本申请实施例还可以采用其他方法获取第一图像中的文字区域，对此不做具体限定。

步骤802、对文字区域进行填充以得到文字填充区域，该文字填充区域的高度或宽度为预设尺寸的n倍，n≥1。

预设尺寸可以8、16、32和64的其中之一。本申请实施例中，可以采用相关编解码方法对图像进行编码，而在相关编解码方法中，通常要对图像进行划分以得到CU，基于CU进行后续处理，而CU的尺寸可以包括8、16、32和64的其中之一。本申请实施例中，可以根据CU的尺寸确定预设尺寸，例如，CU的尺寸为8，预设尺寸可以是8或者16；CU的尺寸为32，预设尺寸可以是32。

本申请实施例中，对文字区域进行填充可以得到文字填充区域，因此文字填充区域的高度大于或等于文字区域的高度，和/或，文字填充区域的宽度大于或等于文字区域的宽度。前述等于的情况可以是指文字区域的高度和/或宽度刚好是预设尺寸的n倍，因此不需要对文字区域进行填充，直接将该文字区域作为文字填充区域进行后续步骤。此外，如步骤801中所述，在获取文字区域时，将同一行或同一列内的字符的文字区域的高度和/或宽度保持了一致，相应的，获取文字填充区域时，同一行或同一列内的文字区域的高度和/或宽度也是一致的，这样可以保证文字填充区域的高度与相关编解码方法中划分得到的CU的高度一致，或/和，文字填充区域的宽度与相关编解码方法中划分得到的CU的宽度一致。本申请实施例中，前述效果也可以称作，文字填充区域和相关编解码方法中划分得到的CU对齐。

在一种可能的实现方式中，文字填充区域的高度为预设尺寸的n倍。例如，文字区域的高度为10，预设尺寸为8，那么文字填充区域的高度可以为16(8的2倍)。又例如，文字区域的高度为10，预设尺寸为16，那么文字填充区域的高度可以为16(16的1倍)。

在一种可能的实现方式中，文字填充区域的宽度为预设尺寸的n倍。例如，文字区域的宽度为17，预设尺寸为8，那么文字填充区域的宽度可以为24(8的3倍)。又例如，文字区域的宽度为17，预设尺寸为16，那么文字填充区域的宽度可以为32(16的2倍)。

在一种可能的实现方式中，文字填充区域的高度为预设尺寸的n1倍，文字填充区域的宽度为预设尺寸的n2倍，n1和n2可以相等，也可以不等。例如，文字区域的尺寸为6(宽度)×10(高度)，预设尺寸为8，那么文字填充区域的尺寸可以为8(8的1倍)×16(8的2倍)。又例如，文字区域的尺寸为17×10，预设尺寸为16，那么文字填充区域的尺寸可以为32(16的2倍)×16(16的1倍)。

本申请实施例中，可以采用以下两种方法对文字区域进行填充以得到文字填充区域：

第一种方法，根据文字区域的高度获取文字填充区域的高度，文字填充区域的高度为预设尺寸的n倍；在文字区域的竖直方向上进行填充以得到文字填充区域，其中，填充的高度为文字填充区域的高度与文字区域的高度之差。

如上所述，文字填充区域的高度大于文字区域的高度，且文字填充区域的高度是预设尺寸的n倍，基于此，可以根据文字区域的高度获取文字填充区域的高度，参照上文示例。可选的，如果文字区域的高度正好是预设尺寸的n倍，则不需要对文字区域进行填充，此时文字填充区域的高度和文字区域的高度相等。在得到文字填充区域的高度之后，可以在文字区域的竖直方向上(例如，在文字区域的上方、中间或者下方，不做具体限定)进行填充，填充的高度为文字填充区域的高度与文字区域的高度之差。例如，文字填充区域的高度为16，文字区域的高度为10，那么填充的高度为6，填充的像素值可以是文字区域中除字符像素外的背景像素的像素值，填充的像素值也可以是预设像素值，例如0或255，对此不做具体限定。

第二种方法，根据文字区域的宽度获取文字填充区域的宽度，文字填充区域的宽度为预设尺寸的n倍；在文字区域的水平方向上进行填充以得到文字填充区域，其中，填充的宽度为文字填充区域的宽度与文字区域的宽度之差。

如上所述，文字填充区域的宽度大于文字区域的宽度，且文字填充区域的宽度是预设尺寸的n倍，基于此，可以根据文字区域的宽度获取文字填充区域的宽度，参照上文示例。可选的，如果文字区域的宽度正好是预设尺寸的n倍，则不需要对文字区域进行填充，此时文字填充区域的宽度和文字区域的宽度相等。在得到文字填充区域的宽度之后，可以在文字区域的水平方向上(例如，在文字区域的左侧、中间或者右侧，不做具体限定)进行填充，填充的宽度为文字填充区域的宽度与文字区域的宽度之差。例如，文字填充区域的宽度为24，文字区域的宽度为17，那么填充的宽度为7，填充的像素值可以是文字区域中除字符像素外的背景像素的像素值，填充的像素值也可以是预设像素值，例如0或255，对此不做具体限定。

第三种方法，可以是上述第一种方法和第二种方法的结合，即在获取文字填充区域的高度和宽度后，分别使用前两种方法在文字区域的竖直方向和水平方向上进行填充，以得到文字填充区域。

由此可见，经填充得到的文字填充区域的尺寸与CU的尺寸呈倍数关系，那么对这样的文字填充区域进行划分后，可以使文字填充区域覆盖完整的CU，即不会出现文字填充区域覆盖部分CU的情况，同一个CU也不会覆盖两个文字填充区域，实现文字区域与CU划分的对齐。

步骤803、根据文字填充区域获取第二图像。

本申请实施例中，可以基于文字填充区域获取一个新的图像，即第二图像，该第二图像包含了原第一图像中的字符。获取第二图像包含以下四种情况：

1、当文字填充区域只有一个时，将该文字填充区域作为第二图像。

只有一个文字填充区域的情况下，可以直接将该文字填充区域作为第二图像。

2、当文字填充区域有多个，且每个文字填充区域包括一个字符行时，将多个文字填充区域按照从上到下的顺序拼接以得到第二图像。

一个文字填充区域内包含一个字符行，那么可以根据第一图像中字符行的分布，按照从上到下的顺序对多个字符行分别所属的文字填充区域进行拼接，即在第一图像中排在最上面的字符行，其所属的文字填充区域也被拼接在最上面，在第一图像中排在第二行的字符行，其所属的文字填充区域也被拼接在第二行，以此类推。需要说明的是，本申请实施例还可以按照从下到上的顺序进行拼接，对拼接顺序不做具体限定。

3、当文字填充区域有多个，且每个文字填充区域包括一个字符列时，将多个文字填充区域按照从左到右的顺序拼接以得到第二图像。

一个文字填充区域内包含一个字符列，那么可以根据第一图像中字符列的分布，按照从左到右的顺序对多个字符列分别所属的文字填充区域进行拼接，即在第一图像中排在最左侧的字符列，其所属的文字填充区域也被拼接在最左侧，在第一图像中排在第二列的字符列，其所属的文字填充区域也被拼接在第二列，以此类推。需要说明的是，本申请实施例还可以按照从右到左的顺序进行拼接，对拼接顺序不做具体限定。

4、当文字填充区域有多个，且每个文字填充区域包括一个字符时，将多个文字填充区域按照从左到右、从上到下的顺序拼接以得到第二图像，其中，位于同一行内的多个文字填充区域的高度相同，或者位于同一列内的多个文字填充区域的宽相同。

一个文字填充区域内包含一个字符，那么可以根据第一图像中字符的分布，按照从左到右、从上到下的顺序对多个字符分别所属的文字填充区域进行拼接，文字填充区域的排列顺序和其包含的字符在第一图像中的排列顺序保持一致，且位于同一行内的多个文字填充区域的高度相同，或者位于同一列内的多个文字填充区域的宽度相同。

需要说明的是，本申请实施例还可以按照其他顺序进行列拼接，对拼接顺序不做具体限定。

步骤804、对第二图像和文字对齐边信息进行编码以得到第一码流，文字对齐边信息包括文字填充区域的高度或者宽度。

本申请实施例可以对第二图像进行标准的视频编码，也可以采用IBC编码，对此不做具体限定。在采用IBC编码时，如果当前编码的CU内的字符，在已编码的CU中已经出现过，那么可以将该已编码CU确定为当前编码的CU的预测块，这样得到的残差块为0的概率就会很高，从而可以提高当前CU的编码效率。对文字对齐边信息可以采用指数哥伦布编码方式进行编码，也可以采用其他编码方式进行编码，对此也不做具体限定。本申请实施例可以直接编码文字填充区域的高度或宽度的值，或者，也可以编码文字填充区域的高度或宽度与预设尺寸的倍数值n，对此不做具体限定。

可选的，文字对齐边信息还包括文字区域的高度和宽度，以及文字区域的左上角像素在第一图像中的横坐标和纵坐标。这些信息可以辅助解码端在重建图像中恢复出文字区域，提高解码效率。

在一种可能的实现方式中，可以将第一图像中的文字区域内的像素值填充为预设像素值以得到第三图像；对第三图像进行编码以得到第二码流。

上文步骤中，从第一图像中识别出文字区域，然后对文字区域进行填充得到文字填充区域，将文字填充区域拼接后得到第二图像，可见第二图像只是包含了第一图像中的字符的内容，而且第二图像是单独编码的。但是第一图像中除了字符，还有其他内容，因此为了保持图像的完整性，还需要对除字符外的其他图像内容进行处理和编码。

本申请实施例中，可以将原第一图像中、识别出是文字区域的像素，将其像素值填充为预设像素值(例如，0、1或者255，不做限定)，这样相当于是将第一图像中的文字区域剔除，更换成非字符的像素值。这样得到的第三图像与第一图像的区别是，文字区域的像素值不同。对第三图像也可以进行标准的视频编码或者IBC编码，对此不做具体限定。

本申请实施例，对原图像中识别得到文字区域进行填充，使得得到的文字填充区域的尺寸与编码时的CU的尺寸匹配，从而实现文字填充区域与CU的对齐，可以尽量避免同一个字符的像素被划分入不同的CU，提高压缩文字内容时的准确率和效率。

图9为本申请实施例的包含文字的图像解码方法的过程900的流程图。过程900可由视频解码器30执行。过程900描述为一系列的步骤或操作，应当理解的是，过程900可以以各种顺序执行和/或同时发生，不限于图9所示的执行顺序。假设码流正在使用视频解码器30，执行包括如下步骤的过程900来对码流进行解码，并重建图像-。

步骤901、获取码流。

解码端可以接收来自编码端的码流。

步骤902、解码码流以得到第一图像和文字对齐边信息，文字对齐边信息包括第一图像包含的文字填充区域的高度或者宽度，文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1。

解码端可以通过解码得到第一图像和文字对齐边信息，解码方式可以与编码端所采用的编码方式相对应，编码端可以采用标准的视频编码或者IBC编码编码图像，解码端则可以采用标准的视频解码或者IBC解码解码码流以得到重建图像；编码端采用指数哥伦布编码编码文字对齐边信息，解码端则可以采用指数哥伦布解码解码码流以得到文字对齐边信息。

文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1，预设尺寸为8、16、32和64的其中之一。可以参照上文步骤802的描述，此处不再赘述。

步骤903、根据文字填充区域的高度或者宽度，以及第一图像获取文字填充区域。

解码端可以在确定文字填充区域的高度或宽度后，从第一图像中基于前述高度或宽度提取对应的像素值以得到文字填充区域。

步骤904、根据文字填充区域获取待重建图像中的文字区域。

本申请实施例中，文字对齐边信息还包括文字区域的高度和宽度，因此基于前述文字区域的高度和宽度，可以从文字填充区域中提取对应的像素值以得到获取待重建图像中的文字区域。该文字区域与上文步骤801中的文字区域相对应，可以包括一个字符；或者，也可以包括一个字符行，一个字符行包括多个字符；或者，还可以包括一个字符列，一个字符列包括多个字符。

在一种可能的实现方式中，解码端可以解码码流以得到第二图像；根据文字区域和第二图像获取待重建图像。

上述文字对齐边信息还包括文字区域的高度和宽度，以及文字区域的左上角像素的横坐标和纵坐标。基于此，可以根据文字区域的高度和宽度，以及文字区域的左上角像素的横坐标和纵坐标，在第二图像中确定替换区域；将替换区域内的像素值填填充为文字区域内的像素值以得到待重建图像。该过程可以是图8所示实施例中获取第三图像的反向过程，即将文字区域填充回第二图像(与图8所示实施例中的第三图像对应)中，以得到重建图像(与图8所示实施例中的第一图像对应)。在获取文字区域的左上角像素在第二图像中的横坐标和纵坐标，以及文字区域的高度和宽度，即可在第二图像中确定出一个替换区域，然后将填充区域内的像素值填充为文字区域的像素值，这样相当于是将第二图像中的替换区域剔除，更换成文字区域的像素值。

本申请实施例，解析码流可以得到文字区域的对齐信息，以获取包含字符的字符填充区域，该字符填充区域与的尺寸与解码时的CU的尺寸匹配，从而实现文字填充区域与CU的对齐，可以提高压缩文字内容时的准确率和效率。

图10为本申请的译码系统100的示例性的框图，如图10所示，译码系统100包括编码端和解码端。

编码端：

1、文字区域检测与分割

通过已有的文字检测与分割方法对原始图像进行处理，输出文字区域，任意一个文字区域可以包括一个或多个字符，当一个文字区域包含多个字符时，该多个字符在原始图像中是同一个字符行内的字符。本申请实施例中文字区域可以是一个矩形区域，因此可以将文字区域称作字符框。字符框中包含的一个或多个字符的位置，可以通过该字符框的左上角在原始图像中的坐标和尺寸(包括高度、或者高度和宽度)表示。

本申请实施例可以采用已有的基于水平投影直方图或连通域的方法实现文字区域检测与分割，具体如下：

(1)预处理：对原始图像进行二值化和腐蚀。经二值化的图像中，文字区域对应的像素点为白色，非文字区域对应的像素点为黑色。腐蚀用于处理字符间像素粘连的情况。

(2)对预处理后的图像进行水平投影，计算水平方向的白色像素点数量。

由于存在字符的水平线上的白色像素点的数量不为0，因此可以得到图像中所有的字符行。

然后分别对每个字符行进行以下操作：提取连通域(连通域是指连续的白色像素点区域，一个字符即为一个连通域，相应的，一个字符行可能有多个连通域)；选取适当尺寸的字符框，当字符框只包含一个字符时，字符框的尺寸大于或等于一个字符行内的最大连通域的尺寸，且同一个字符行内的所有字符用同一个尺寸的字符框，当字符框包含一行字符时，字符框的尺寸大于或等于一个字符行内的所有连通域的尺寸之和。例如，一个字符行内的字符1的连通域占据6(宽度)×10(高度)的像素空间，字符2的连通域占据11×8的像素空间，那么需要选取至少11×10的字符框，以分别包含这两个字符，或者需要选取至少17×10的字符框，以包含该字符行的两个字符。

本申请实施例中，上述文字区域检测与分割的方法可以由图7中的文字处理模块实现。应理解，文字处理模块也可以通过基于深度神经网络的方法实现文字区域检测与分割，对此不做具体限定。

在获取文字区域后，将原始图像中的文字区域内的像素值填充为预设像素值，就可以将文字区域从原始图像中去除，从而得到去除原始图像中所有字符的非文字图像。

2、文字自适应对齐

将字符框填充到宽为Kw、高为Kh的字符填充框内，Kw和Kh可以相等，也可以不等。HEVC标准中CU的尺寸包括8、16、32、64，本申请实施例中Kw和Kh可以分别是前述8、16、32或者64的倍数。在字符填充框内，除了字符框占用的区域外，其余区域可以填入预设像素值，例如字符框内的背景区域的像素值。

由此可见，多个字符框可以得到多个字符填充框，对该多个字符填充框进行拼接。将原始图像中，同一个字符行内的字符所属的字符填充框拼接成该字符行的与块划分网格对齐的文字区域。如果有多个字符行，当当前字符行的字符填充框的高度与上一行的相同时，可以将当前字符行内的字符填充框拼接至上一行的与块划分网格对齐的文字区域的右侧，或者也可以将当前字符行内的字符填充框拼接至上一行的与块划分网格对齐的文字区域下方；当当前字符行的字符填充框的高度与上一行的不同时，可以将当前字符行内的字符填充框拼接至上一行的与块划分网格对齐的文字区域下方。所有字符行完成自适应对齐后，可以得到完整的对齐的文字区域，从而得到一帧包含原始图像中所有字符的图像(可以称作文字图像)。需要说明的是，本申请实施例中，对齐的文字区域的宽度可以不超过原始图像的宽度，也可以是其他宽度，对此不做具体限定。

本申请实施例中，上述文字自适应对齐的方法可以由图7中的文字处理模块实现。

3、文字对齐边信息编码

在上述两个步骤中，可以得到字符框的宽度和高度、字符填充框的宽度和高度、一行内的字符的纵坐标和横坐标，这些信息有助于解码端恢复出位置正确的文字区域，因此将前述信息作为文字对齐边信息进行编码以得到文字对齐边信息的码流。需要说明的是，本申请实施例对文字对齐边信息的编码方法不做具体限定。

本申请实施例中，上述文字对齐边信息编码的方法可以由图7中的文字对齐边信息编码模块实现。

4、标准编码

针对上述步骤得到的文字图像和非文字图像，可以采用标准视频编码方法进行编码，例如，可采用的标准编码器可以为符合H.264、H.265、H.266、AVS3、AV1等标准的编码器，本申请实施例对此不作具体限定。

本申请实施例中，上述标准编码的方法可以由图7中的标准视频编码模块实现。

5、码流传输

编码端将码流传输给解码端。

本申请实施例中，上述码流传输的方法可以由图7中的传输模块实现。

6、文字对齐边信息解码

解码端采用与编码端相对应的解码方法，对码流进行解码，以得到文字对齐边信息，文字对齐边信息可以包括字符框的宽度和高度、字符填充框的宽度和高度、一行内的字符的纵坐标和横坐标。

本申请实施例中，上述文字对齐边信息解码的方法可以由图7中的文字对齐边信息解码模块实现。

7、标准解码

解码端采用与编码端相对应的解码方法，对码流进行解码，以得到重建的文字图像和重建的非文字图像。

本申请实施例中，上述标准解码的方法可以由图7中的标准视频解码模块实现。

8、文字复原

利用文字对齐边信息，先从文字图像内获取字符填充框，再从字符填充框内提取出字符框。

9、区域拼接

根据文字对齐边信息中的坐标信息在重建的非文字图像找到相应的位置，用字符框内的像素值替换重建的非文字图像找到相应的位置的像素值，即可得到重建图像。

本申请实施例中，上述文字复原的方法可以由图7中的文字重建模块实现。

基于图10所示的译码系统100，下面采用几个具体的实施例，对上述方法实施例的技术方案进行详细说明。

实施例一

编码端：

图11a为文字区域检测与分割的示意图，如图11a所示，原始帧中包括“填报说明”四个字符，通过文字区域检测与分割可以获取分别包含该四个字符的四个字符框的宽度和高度，以及四个字符框的左上角在原始帧中的坐标，可以用该坐标表示对应字符的坐标。其中，

填：坐标(2,15)，宽度11，高度10；

报：坐标(14,15)，宽度11，高度10；

说：坐标(25,15)，宽度11，高度10；

明：坐标(36,15)，宽度11，高度10。

获取上述四个字符框分别对应的文字区域内的像素值，这样可以得到四个包含字符的图片，该图片的分辨率低于原始帧，其尺寸与字符框的尺寸对应。

然后将原始帧中，上述四个字符框分别对应的文字区域内的像素值填充为预设像素值，例如，预设像素值可以为0或1，或者，预设像素值为字符框内除字符像素外的背景区域的像素值，对此不做具体限定。重新填充后的图像不包含字符，因此可以称作非文字图像(或者非文字区域)。

图11b为文字自适应对齐的示意图，如图11b所示，按从上至下，从左至右(“之”字形)的顺序，以图11a中的原始帧为例，即按“填”、“报”、“说”、“明”的顺序，将字符框填充到高度和宽度均为K的字符填充框内，根据图11a中字符框的高度和宽度，选取K为16，因此字符填充框的尺寸为16×16。本申请实施例中，是在字符框的右侧和下方进行填充以达到字符填充框的尺寸，填充的像素值可以是字符框中的背景区域的像素值，也可以是预设的像素值(例如，0或1)，对此不做具体限定。需要说明的是，字符填充框的高度和宽度可以不同，而且是依据CU的尺寸设置的，例如，CU的尺寸为16，本实施例的K可以为16的一倍(即16)；CU的尺寸为8，本实施例的K可以为8的二倍(即16)；CU的尺寸为32，本实施例的K可以为32的一倍(即32)；CU的尺寸为64，本实施例的K可以为64的一倍(即64)。另外，在原始帧中，位于同一个字符行内的多个字符，需要填充到尺寸相同的字符填充框内。

将同一个字符行内的字符所属的字符填充框拼接成该字符行的与块划分网格对齐的文字区域。例如，分别包含“填”、“报”、“说”、“明”的四个字符填充框拼接成一行，得到包含前述四个字符、对齐的文字区域(即文字图像)。

上述过程中，还需要输出文字对齐边信息，用于传输至解码端将对齐的文字区域中的字符还原至其在原始帧中的位置。文字对齐边信息是对字符框位置进行简单的数据转换得到的，包含以下元素(以图11a和图11b为例)：

(1)字符框的高度H(即10)和宽度W(即11)，字符填充框的尺寸K(即16)；

(2)一个字符行的左上角的纵坐标y：15，15，15，15。同一个字符行的纵坐标是相同的，因此可以对同一个字符行内的多个字符的纵坐标简化以表达相同信息，例如，记录该字符行的首字符的纵坐标(即15)和字符数(即4)。

(3)一个字符行的左上角的横坐标x：2，14，25，36。可以看到，多个字符的横坐标的差为：12，11，11，这些数据与字符框的宽度W接近，因此可以对同一个字符行内的多个字符的横坐标简化以表达相同信息，例如，记录该字符行的首字符的横坐标(即2)以及横坐标的差(即12，11，11)，或者，记录该字符行的首字符的横坐标(即2)以及横坐标的差(即12，11，11)与W分别作差的结果E(即E1，E2，E3＝[12-11]，[11-11]，[12-11]＝1，0，0)。记录这些数据即可还原出该字符行内的各个字符的左上角的横坐标，例如，第二个字符横坐标＝第一个字符横坐标+W+E1＝2+11+1＝14，以此类推。

文字对齐边信息包含：H，W，K，每个字符行的首字符的横、纵坐标，每个字符行的字符数和E。其中，H、W、K、各行字符数使用二进制编码。E中的数值与0比较接近，使用指数哥伦布编码方式。而每个字符行首字符的横、纵坐标，可以先对第一个字符行的首字符的横、纵坐标进行二进制编码，对其余行，计算其首字符横、纵坐标与上一行首字符横、纵坐标的差，然后对该坐标差进行指数哥伦布编码。

需要说明的是，上述对文字对齐边信息的编码方式仅作为一种示例，本申请实施例也可以采用其他方式对文字对齐边信息进行编码，对此不做具体限定。

本申请实施例对非文字图像和文字图像可以分别采用标准编/解码方式进行编码和解码，此处不再赘述。

解码端：

解码端采用与编码端相对应的解码方式对码流解码得到文字对齐边信息。

图11c为文字复原的示意图，如图11c所示，根据文字对齐边信息从重建的对齐的文字区域(重建的文字图像)中提取出四个K×K的字符填充框。再按“之”字形顺序，根据文字对齐边信息从四个字符填充框中提取四个W×H的字符框，该四个字符框分别包含“填”、“报”、“说”、“明”这四个字符。

按“之”字形顺序，根据对齐边信息中记录的坐标，将四个字符框内的像素值填充至重建的非文字图像中的对应位置，例如，将包含“填”的字符框内的像素值，填充至重建的非文字图像中，以(2,15)为左上角，宽度为11，高度为10的矩形区域内；将包含“报”的字符框内的像素值，填充至重建的非文字图像中，以(14,15)为左上角，宽度为11，高度为10的矩形区域内；将包含“说”的字符框内的像素值，填充至重建的非文字图像中，以(25,15)为左上角，宽度为11，高度为10的矩形区域内；将包含“明”的字符框内的像素值，填充至重建的非文字图像中，以(36,15)为左上角，宽度为11，高度为10的矩形区域内。所有字符框完成上述填充(也可以称作拼接)后，可以得到包含字符的重建图像。

实施例二

与实施例一的区别在于：实施例一是宽度和高度两个方向的文字自适应对齐，而本实施例仅是高度方向的文字自适应对齐。

图12a为文字区域检测与分割的示意图，如图12a所示，原始帧中包括“填报说明”四个字符，通过文字区域检测与分割可以获取包含该四个字符的一个字符框的宽度(即45)和高度(即10)，以及该字符框的左上角在原始帧中的坐标(即(2,15))，可以用该坐标表示对应字符的坐标。

获取上述字符框对应的文字区域内的像素值，这样可以得到包含四个字符的图片，该图片的分辨率低于原始帧，其尺寸与字符框的尺寸对应。

然后将原始帧中，上述字符框对应的文字区域内的像素值填充为预设像素值，例如，预设像素值可以为0或1，或者，预设像素值为字符框内除字符像素外的背景区域的像素值，对此不做具体限定。重新填充后的图像不包含字符，因此可以称作非文字图像(或者非文字区域)。

图12b为文字自适应对齐的示意图，如图12b所示，按从上至下的顺序，将字符框填充到高度为K的字符填充框内，根据图12a中字符框的高度，选取K为16，因此字符填充框的尺寸为45×16。本申请实施例中，是在字符框的下方进行填充以达到字符填充框的尺寸，填充的像素值可以是字符框中的背景区域的像素值，也可以是预设的像素值(例如，0或1)，对此不做具体限定。需要说明的是，字符填充框的高度和宽度可以不同，而且是依据CU的尺寸设置的，例如，CU的尺寸为16，本实施例的K可以为16的一倍(即16)；CU的尺寸为8，本实施例的K可以为8的二倍(即16)；CU的尺寸为32，本实施例的K可以为32的一倍(即32)；CU的尺寸为64，本实施例的K可以为64的一倍(即64)。

上述过程中，还需要输出文字对齐边信息，用于传输至解码端将对齐的文字区域中的字符还原至其在原始帧中的位置。文字对齐边信息是对字符框位置进行简单的数据转换得到的，包含以下元素(以图11a和图11b为例)：

(1)字符框的高度H(即10)和宽度W(即45)，字符填充框的高度K(即16)；

(2)一个字符行的左上角的纵坐标y：15。

(3)一个字符行的左上角的横坐标x：2。

文字对齐边信息包含：H，W，K，字符行的首字符的横、纵坐标。其中，H、W、K使用二进制编码。字符行首字符的横、纵坐标，可以先对第一个字符行的首字符的横、纵坐标进行二进制编码，对其余行，计算其首字符横、纵坐标与上一行首字符横、纵坐标的差，然后对该坐标差进行指数哥伦布编码。

需要说明的是，上述对文字对齐边信息的编码方式仅作为一种示例，本申请实施例也可以采用其他方式对文字对齐边信息进行编码，对此不做具体限定。

本申请实施例对非文字图像和文字图像可以分别采用标准编/解码方式进行编码和解码，此处不再赘述。

解码端：

解码端采用与编码端相对应的解码方式对码流解码得到文字对齐边信息。

根据文字对齐边信息从重建的对齐的文字区域(重建的文字图像)中提取出一个45×K的字符填充框。再根据文字对齐边信息从字符填充框中提取一个W×H的字符框，该字符框包含“填”、“报”、“说”、“明”这四个字符。

根据对齐边信息中记录的坐标，将字符框内的像素值填充至重建的非文字图像中的对应位置，例如，将包含“填报说明”的字符框内的像素值，填充至重建的非文字图像中，以(2,15)为左上角，宽度为45，高度为10的矩形区域内。完成上述填充(也可以称作拼接)后，可以得到包含字符的重建图像。

实施例三

与实施例二得区别在于：原始帧中包含多个字符行。在文字区域检测与分割中，初步检测到的是多个字符行，因此在分割时需要进一步对该多个文字行进行分割，得到多个文字区域，其中每个文字区域包含一个字符行。

此后再采用实施例二的方式分别对上述多个文字区域进行编/解码，此处不再赘述。

实施例四

与实施例一得区别在于：原始帧中包含多个字符行。在文字区域检测与分割中，初步检测到的是多个字符行，因此在分割时需要进一步对该多个文字行进行分割，得到多个字符行，再对各个字符行进行分割得到多个文字区域，其中每个文字区域包含一个字符。

此后再采用实施例一的方式分别对上述多个文字区域进行编/解码，此处不再赘述。

图13为本申请实施例编码装置1300的一个示例性的结构示意图，如图13所示，本实施例的编码装置1300可以应用于编码端20。该编码装置1300可以包括：获取模块1301、填充模块1302和编码模块1303。其中，

获取模块1301，用于获取第一图像中的文字区域，所述文字区域包括至少一个字符；填充模块1302，用于对所述文字区域进行填充以得到文字填充区域，所述文字填充区域的高度或宽度为预设尺寸的n倍，n≥1；根据所述文字填充区域获取第二图像；编码模块1303，用于对所述第二图像和文字对齐边信息进行编码以得到第一码流，所述文字对齐边信息包括所述文字填充区域的高度或者宽度。

在一种可能的实现方式中，所述填充模块1302，具体用于根据所述文字区域的高度获取所述文字填充区域的高度，所述文字填充区域的高度为所述预设尺寸的n倍；在所述文字区域的竖直方向上进行填充以得到所述文字填充区域，其中，所述填充的高度为所述文字填充区域的高度与所述文字区域的高度之差。

在一种可能的实现方式中，所述填充模块1302，具体用于根据所述文字区域的宽度获取所述文字填充区域的宽度，所述文字填充区域的宽度为所述预设尺寸的n倍；在所述文字区域的水平方向上进行填充以得到所述文字填充区域，其中，所述填充的宽度为所述文字填充区域的宽度与所述文字区域的宽度之差。

在一种可能的实现方式中，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

在一种可能的实现方式中，所述获取模块1301，具体用于对所述第一图像进行文字识别以得到所述文字区域。

在一种可能的实现方式中，所述获取模块1301，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行；按字符行对所述中间文字区域进行行划分以得到所述文字区域。

在一种可能的实现方式中，所述获取模块1301，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符列；按字符列对所述中间文字区域进行列划分以得到所述文字区域。

在一种可能的实现方式中，所述获取模块1301，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行或多个字符列；按字符对所述中间文字区域进行行划分和列划分以得到所述文字区域。

在一种可能的实现方式中，所述填充模块1302，具体用于当所述文字填充区域只有一个时，将所述文字填充区域作为所述第二图像。

在一种可能的实现方式中，所述填充模块1302，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符行时，将多个所述文字填充区域按照从上到下的顺序拼接以得到所述第二图像。

在一种可能的实现方式中，所述填充模块1302，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符列时，将多个所述文字填充区域按照从左到右的顺序拼接以得到所述第二图像。

在一种可能的实现方式中，所述填充模块1302，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符时，将多个所述文字填充区域按照从左到右、从上到下的顺序拼接以得到所述第二图像，其中，位于同一行内的多个文字填充区域的高度相同，或者，位于同一列内的多个文字填充区域的宽度相同。

在一种可能的实现方式中，所述文字对齐边信息还包括所述文字区域的高度和宽度，以及所述文字区域的左上角像素在所述第一图像中的横坐标和纵坐标。

在一种可能的实现方式中，所述预设尺寸为8、16、32和64的其中之一。

在一种可能的实现方式中，所述填充模块1302，还用于将所述第一图像中的所述文字区域内的像素值填充为预设像素值以得到第三图像；所述编码模块1302，还用于对所述第三图像进行编码以得到第二码流。

本实施例的装置，可以用于执行图8所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图14为本申请实施例解码装置1400的一个示例性的结构示意图，如图14所示，本实施例的解码装置1400可以应用于解码端30。该解码装置1400可以包括：获取模块1401、解码模块1402和重建模块1403。其中，

获取模块1401，用于获取码流；解码模块1402，用于解码所述码流以得到第一图像和文字对齐边信息，所述文字对齐边信息包括所述第一图像包含的文字填充区域的高度或者宽度，所述文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1；重建模块1403，用于根据所述文字填充区域的高度或者宽度，以及所述第一图像获取所述文字填充区域；根据所述文字填充区域获取待重建图像中的文字区域。

在一种可能的实现方式中，所述文字对齐边信息还包括所述文字区域的高度和宽度；所述重建模块1403，具体用于根据所述文字区域的高度和宽度从所述文字填充区域中提取对应的像素值以得到所述文字区域。

在一种可能的实现方式中，所述解码模块1402，还用于解码所述码流以得到第二图像；所述重建模块1403，还用于根据所述文字区域和所述第二图像获取所述待重建图像。

在一种可能的实现方式中，所述文字对齐边信息还包括所述文字区域的左上角像素的横坐标和纵坐标；所述重建模块1403，具体用于根据所述文字区域的高度和宽度，以及所述文字区域的左上角像素的横坐标和纵坐标，在所述第二图像中确定替换区域；将所述替换区域内的像素值填填充为所述文字区域内的像素值以得到所述待重建图像。

在一种可能的实现方式中，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

在一种可能的实现方式中，所述预设尺寸为8、16、32和64的其中之一。

本实施例的装置，可以用于执行图9所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (46)

1.一种包含文字的图像编码方法，其特征在于，包括：

获取第一图像中的文字区域，所述文字区域包括至少一个字符；

对所述文字区域进行填充以得到文字填充区域，所述文字填充区域的高度或宽度为预设尺寸的n倍，n≥1；

根据所述文字填充区域获取第二图像；

对所述第二图像和文字对齐边信息进行编码以得到第一码流，所述文字对齐边信息包括所述文字填充区域的高度或者宽度。

2.根据权利要求1所述的方法，其特征在于，所述对所述文字区域进行填充以得到文字填充区域，包括：

根据所述文字区域的高度获取所述文字填充区域的高度，所述文字填充区域的高度为所述预设尺寸的n倍；

在所述文字区域的竖直方向上进行填充以得到所述文字填充区域，其中，所述填充的高度为所述文字填充区域的高度与所述文字区域的高度之差。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述文字区域进行填充以得到文字填充区域，包括：

根据所述文字区域的宽度获取所述文字填充区域的宽度，所述文字填充区域的宽度为所述预设尺寸的n倍；

在所述文字区域的水平方向上进行填充以得到所述文字填充区域，其中，所述填充的宽度为所述文字填充区域的宽度与所述文字区域的宽度之差。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取第一图像中的文字区域，包括：

对所述第一图像进行文字识别以得到所述文字区域。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取第一图像中的文字区域，包括：

对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行；

按字符行对所述中间文字区域进行行划分以得到所述文字区域。

7.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取第一图像中的文字区域，包括：

对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符列；

按字符列对所述中间文字区域进行列划分以得到所述文字区域。

8.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取第一图像中的文字区域，包括：

对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行或多个字符列；

按字符对所述中间文字区域进行行划分和列划分以得到所述文字区域。

9.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述文字填充区域获取第二图像，包括：

当所述文字填充区域只有一个时，将所述文字填充区域作为所述第二图像。

10.根据权利要求1-4、6中任一项所述的方法，其特征在于，所述根据所述文字填充区域获取第二图像，包括：

当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符行时，将多个所述文字填充区域按照从上到下的顺序拼接以得到所述第二图像。

11.根据权利要求1-4、7中任一项所述的方法，其特征在于，所述根据所述文字填充区域获取第二图像，包括：

当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符列时，将多个所述文字填充区域按照从左到右的顺序拼接以得到所述第二图像。

12.根据权利要求1-4、8中任一项所述的方法，其特征在于，所述根据所述文字填充区域获取第二图像，包括：

当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符时，将多个所述文字填充区域按照从左到右、从上到下的顺序拼接以得到所述第二图像，其中，位于同一行内的多个文字填充区域的高度相同，或者，位于同一列内的多个文字填充区域的宽度相同。

13.根据权利要求1-12中任一项所述的方法，其特征在于，所述文字对齐边信息还包括所述文字区域的高度和宽度，以及所述文字区域的左上角像素在所述第一图像中的横坐标和纵坐标。

14.根据权利要求1-13中任一项所述的方法，其特征在于，所述预设尺寸为8、16、32和64的其中之一。

15.根据权利要求1-14中任一项所述的方法，其特征在于，所述获取第一图像中的文字区域之后，还包括：

将所述第一图像中的所述文字区域内的像素值填充为预设像素值以得到第三图像；

对所述第三图像进行编码以得到第二码流。

16.一种包含文字的图像解码方法，其特征在于，包括：

获取码流；

解码所述码流以得到第一图像和文字对齐边信息，所述文字对齐边信息包括所述第一图像包含的文字填充区域的高度或者宽度，所述文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1；

根据所述文字填充区域的高度或者宽度，以及所述第一图像获取所述文字填充区域；

根据所述文字填充区域获取待重建图像中的文字区域。

17.根据权利要求16所述的方法，其特征在于，所述文字对齐边信息还包括所述文字区域的高度和宽度；所述根据所述文字填充区域获取待重建图像中的文字区域，包括：

根据所述文字区域的高度和宽度从所述文字填充区域中提取对应的像素值以得到所述文字区域。

18.根据权利要求17所述的方法，其特征在于，还包括：

解码所述码流以得到第二图像；

根据所述文字区域和所述第二图像获取所述待重建图像。

19.根据权利要求18所述的方法，其特征在于，所述文字对齐边信息还包括所述文字区域的左上角像素的横坐标和纵坐标；所述根据所述文字区域和所述第二图像获取所述待重建图像，包括：

根据所述文字区域的高度和宽度，以及所述文字区域的左上角像素的横坐标和纵坐标，在所述第二图像中确定替换区域；

将所述替换区域内的像素值填填充为所述文字区域内的像素值以得到所述待重建图像。

20.根据权利要求16-19中任一项所述的方法，其特征在于，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

21.根据权利要求16-20中任一项所述的方法，其特征在于，所述预设尺寸为8、16、32和64的其中之一。

22.一种编码装置，其特征在于，包括：

获取模块，用于获取第一图像中的文字区域，所述文字区域包括至少一个字符；

填充模块，用于对所述文字区域进行填充以得到文字填充区域，所述文字填充区域的高度或宽度为预设尺寸的n倍，n≥1；根据所述文字填充区域获取第二图像；

编码模块，用于对所述第二图像和文字对齐边信息进行编码以得到第一码流，所述文字对齐边信息包括所述文字填充区域的高度或者宽度。

23.根据权利要求22所述的装置，其特征在于，所述填充模块，具体用于根据所述文字区域的高度获取所述文字填充区域的高度，所述文字填充区域的高度为所述预设尺寸的n倍；在所述文字区域的竖直方向上进行填充以得到所述文字填充区域，其中，所述填充的高度为所述文字填充区域的高度与所述文字区域的高度之差。

24.根据权利要求22或23所述的装置，其特征在于，所述填充模块，具体用于根据所述文字区域的宽度获取所述文字填充区域的宽度，所述文字填充区域的宽度为所述预设尺寸的n倍；在所述文字区域的水平方向上进行填充以得到所述文字填充区域，其中，所述填充的宽度为所述文字填充区域的宽度与所述文字区域的宽度之差。

25.根据权利要求22-24中任一项所述的装置，其特征在于，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

26.根据权利要求22-25中任一项所述的装置，其特征在于，所述获取模块，具体用于对所述第一图像进行文字识别以得到所述文字区域。

27.根据权利要求22-25中任一项所述的装置，其特征在于，所述获取模块，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行；按字符行对所述中间文字区域进行行划分以得到所述文字区域。

28.根据权利要求22-25中任一项所述的装置，其特征在于，所述获取模块，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符列；按字符列对所述中间文字区域进行列划分以得到所述文字区域。

29.根据权利要求22-25中任一项所述的装置，其特征在于，所述获取模块，具体用于对所述第一图像进行文字识别以得到中间文字区域，所述中间文字区域包括多个字符行或多个字符列；按字符对所述中间文字区域进行行划分和列划分以得到所述文字区域。

30.根据权利要求22-26中任一项所述的装置，其特征在于，所述填充模块，具体用于当所述文字填充区域只有一个时，将所述文字填充区域作为所述第二图像。

31.根据权利要求22-25、27中任一项所述的装置，其特征在于，所述填充模块，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符行时，将多个所述文字填充区域按照从上到下的顺序拼接以得到所述第二图像。

32.根据权利要求22-25、28中任一项所述的装置，其特征在于，所述填充模块，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符列时，将多个所述文字填充区域按照从左到右的顺序拼接以得到所述第二图像。

33.根据权利要求22-25、29中任一项所述的装置，其特征在于，所述填充模块，具体用于当所述文字填充区域有多个，且每个所述文字填充区域包括一个字符时，将多个所述文字填充区域按照从左到右、从上到下的顺序拼接以得到所述第二图像，其中，位于同一行内的多个文字填充区域的高度相同，或者，位于同一列内的多个文字填充区域的宽度相同。

34.根据权利要求22-33中任一项所述的装置，其特征在于，所述文字对齐边信息还包括所述文字区域的高度和宽度，以及所述文字区域的左上角像素在所述第一图像中的横坐标和纵坐标。

35.根据权利要求22-34中任一项所述的装置，其特征在于，所述预设尺寸为8、16、32和64的其中之一。

36.根据权利要求22-35中任一项所述的装置，其特征在于，所述填充模块，还用于将所述第一图像中的所述文字区域内的像素值填充为预设像素值以得到第三图像；

所述编码模块，还用于对所述第三图像进行编码以得到第二码流。

37.一种解码装置，其特征在于，包括：

获取模块，用于获取码流；

解码模块，用于解码所述码流以得到第一图像和文字对齐边信息，所述文字对齐边信息包括所述第一图像包含的文字填充区域的高度或者宽度，所述文字填充区域的高度或者宽度为预设尺寸的n倍，n≥1；

重建模块，用于根据所述文字填充区域的高度或者宽度，以及所述第一图像获取所述文字填充区域；根据所述文字填充区域获取待重建图像中的文字区域。

38.根据权利要求37所述的装置，其特征在于，所述文字对齐边信息还包括所述文字区域的高度和宽度；所述重建模块，具体用于根据所述文字区域的高度和宽度从所述文字填充区域中提取对应的像素值以得到所述文字区域。

39.根据权利要求38所述的装置，其特征在于，所述解码模块，还用于解码所述码流以得到第二图像；

所述重建模块，还用于根据所述文字区域和所述第二图像获取所述待重建图像。

40.根据权利要求39所述的装置，其特征在于，所述文字对齐边信息还包括所述文字区域的左上角像素的横坐标和纵坐标；所述重建模块，具体用于根据所述文字区域的高度和宽度，以及所述文字区域的左上角像素的横坐标和纵坐标，在所述第二图像中确定替换区域；将所述替换区域内的像素值填填充为所述文字区域内的像素值以得到所述待重建图像。

41.根据权利要求37-40中任一项所述的装置，其特征在于，所述文字区域包括一个字符；或者，所述文字区域包括一个字符行，所述一个字符行包括多个字符；或者，所述文字区域包括一个字符列，所述一个字符列包括多个字符。

42.根据权利要求37-41中任一项所述的装置，其特征在于，所述预设尺寸为8、16、32和64的其中之一。

43.一种编码器，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-15中任一项所述的方法。

44.一种解码器，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求16-21中任一项所述的方法。

45.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行权利要求1-21中任一项所述的方法。

46.一种计算机程序产品，所述计算机程序产品中包含指令，其特征在于，当所述指令在计算机或处理器上运行时，使得所述计算机或所述处理器实现上述权利要求1-21中任一项所述的方法。