CN103002288B - 一种视频图像的编解码方法及装置 - Google Patents

Abstract

本发明公开了一种视频图像的编码方法及装置，解决现有针对视频图像编码时，采用编码方式无法满足图像显示质量要求的问题。该编码方法中将每个视频帧划分为多个矩形区域，确定每个矩形区域是图像矩形区域还是字符矩形区域，对字符矩形区域采用失真较小的编码方式进行编码，对图像矩形区域采用失真较大的编码方式进行编码，并在编码后的子视频流中携带该矩形区域的位置信息。由于在本发明中将每个视频帧进行了矩形区域划分，对字符矩形区域采用失真比较小的编码方式进行编码，对图像矩形区域采用失真比较大的编码方式进行编码，从而可以保证在获取比较高的压缩比时，同时保证编码后图像的质量没有明显的损失。

Description

一种视频图像的编解码方法及装置

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种视频图像的编解码方法及装置。

背景技术

视频图像的编码技术广泛应用在屏幕共享、虚拟桌面等技术领域，在终端桌面上显示编码后的图像需要经过：采集和编码的过程。终端桌面上显示的内容可以看作是一幅幅的图像，而为了便于显示内容的传输，在传输之前一般会将待传输的显示内容(视频或图像)进行编码，编码一般是针对每帧显示的视频图像进行的。

常用的图像编码方式可以简单分为：无损编码方式和有损编码方式，无损编码方式的压缩比比较低，数据传输的较慢，但能够保证图像的传输质量，有损编码方式的压缩比比较高，可以提高数据传输的速度，但是该编码方式会导致图像质量的下降。

对于视频图像，由于图像的变化速度较快，保证连续运动情况下视频图像的实时性显示要求，一般采用有损编码方式进行编码，通过提高压缩比来保证该要求。但是采用有损编码方式对视频图像进行编码时，对于文字部分人眼对其产生的失真比较敏感，当采用的编码方式的压缩比比较高时，会导致文字部分的显示质量较差，严重影响了图像画面的显示质量，也影响了用户的体验。而如果针对视频图像采用无损编码方式，可以提高图像画面的显示质量，但是无法满足连续运行情况视频图像的实时性显示要求。

发明内容

本发明实施例提供一种视频图像的编解码方法及装置，用以解决现有技术在针对视频图像进行编码时，采用编码方式无法满足视频图像的实时性显示要求，或无法满足图像显示质量要求的问题。

本发明实施例提供一种视频图像的编码方法，所述编码方法包括：

接收当前待编码的视频帧，将该视频帧划分为多个矩形区域；

根据每个矩形区域梯度或颜色的分布，确定每个矩形区域是字符矩形区域或图像矩形区域；

采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码；

将每个矩形区域在该帧中的位置信息，及携带有该帧标识信息的每个矩形区域编码后的子视频流发送到解码器端。

本发明实施例提供一种视频图像的解码方法，所述解码方法包括：

接收携带有每帧标识信息的编码后的每个子视频流，确定每个编码后的子视频流归属的视频帧；

采用相应的解码方式，对该每个子视频流解码；

根据接收到的每个子视频流对应的位置信息，拼接解码后的每个子视频流对应的矩形区域并输出。

本发明实施例提供一种视频图像的编码器，所述编码器包括：

划分模块，用于接收当前待编码的视频帧，将该视频帧划分为多个矩形区域；

识别模块，用于根据每个矩形区域梯度或颜色的分布，确定每个矩形区域是字符矩形区域或图像矩形区域；

编码模块，用于采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码；

发送模块，用于将每个矩形区域在该帧中的位置信息，及携带有该帧标识信息的每个矩形区域编码后的子视频流发送到解码器端。

本发明实施例提供一种视频图像的解码器，所述解码器包括：

确定模块，用于接收携带有每帧标识信息的编码后的每个子视频流，确定每个编码后的子视频流归属的视频帧；

解码模块，用于采用相应的解码方式，对该每个子视频流解码；

拼接输出模块，用于根据接收到的每个子视频流对应的位置信息，拼接解码后的每个子视频流对应的矩形区域并输出。

本发明实施例提供一种视频图像的编解码方法及装置，该编码方法中将每个视频帧划分为多个矩形区域，根据每个矩形区域的梯度或颜色的分布确定每个矩形区域是图像矩形区域还是字符矩形区域，对字符矩形区域采用失真较小的编码方式进行编码，对图像矩形区域采用失真较大的编码方式进行编码，为了便于解码器端准确拼接解码，编码器同时在该子视频流中携带每帧的标识信息，将携带有该标识信息的子视频流，及每个矩形区域的在该帧中的位置信息发送到解码器端。由于在本发明实施例中将每个视频帧进行了矩形区域划分，识别划分后的每个矩形区域是字符矩形区域还是图像矩形区域，对字符矩形区域采用失真比较小的编码方式进行编码，对图像矩形区域采用失真比较大的编码方式进行编码，从而可以保证在获取比较高的压缩比时，同时保证编码后图像的质量没有明显的损失。

附图说明

图1为本发明实施例提供的一种视频图像的编码过程示意图；

图2A为本发明实施例中提供的一种对视频帧的划分方式示意图；

图2B为本发明实施例提供的对视频帧的另一划分方式示意图；

图3A为本发明实施例提供的字符区域的灰度直方图示意图；

图3B为本发明实施例中的图像区域的灰度直方图示意图；

图4为本发明实施例提供的该视频图像的详细编码过程示意图；

图5为本发明实施例提供的该视频图像的另一具体编码过程示意图；

图6为本发明实施例提供的该视频图像的解码过程示意图；

图7为本发明实施例提供的该视频图像的编码器结构示意图；

图8为本发明实施例提供的该视频图像的解码器结构示意图。

具体实施方式

本发明为了保证在对视频图像进行编码时，获取较高的压缩比，并同时保证图像编码后图像的质量没有明显的损失，提供了一种视频图像的编解码方法及装置。

下面结合说明书附图，对本发明进行详细说明。

图1为本发明实施例提供的一种视频图像的编码过程示意图，该过程包括以下步骤：

S101：接收当前待编码的视频帧，将该视频帧划分为多个矩形区域。

本发明实施例中对视频图像的编码过程在编码器中实现。当编码器开始对某一视频图像的第一帧开始编码时，编码器接收到该视频帧后，将该视频帧划分为多个矩形区域。划分后的每个矩形区域的大小可以相同，也可以不同。划分后每个视频帧至少包括两个矩形区域。

S102：根据每个矩形区域梯度或颜色的分布，确定每个矩形区域是字符矩形区域或图像矩形区域。

为了确定每个矩形区域是字符矩形区域，还是图像矩形区域，在本发明中根据每个矩形区域的梯度或颜色的分布来确定。这是因为字符和图像的梯度或颜色的差别是很明显的。具体的在本发明实施例中该可以根据每个矩形区域的直方图，来确定每个矩形区域是字符矩形区域还是图像矩形区域，该直方图可以为灰度直方图、彩色直方图和梯度直方图等。

另外，在本发明实施例中字体矩形区域中包含有文字或线条；图像矩形区域中包含有图像。

S103：采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码。

为了保证在对视频图像进行编码时，获取较高的压缩比，并同时保证图像编码后图像的质量没有明显的损失，在本发明实施例中当识别出某一矩形区域为文字矩形区域时，采用失真较小的编码方式对该矩形区域编码，当识别出某一矩形区域为图像矩形区域时，采用失真较大的编码方式对该图像矩形区域编码。在本发明实施例中该失真较小的编码方式包括：无损编码方式、YUV之比为4:4:4的编码方式和YUV之比为4:2:2的编码方式等；失真较大的编码方式包括：YUV之比为4:2:0的编码方式等。

S104：将每个矩形区域在该帧中的位置信息，及携带有该帧标识信息的每个矩形区域编码后的子视频流发送到解码器端。

另外，在本发明实施例中由于将每个视频帧划分为了多个大小相等或不等的矩形区域，为了保证解码器能够准确的拼接解码后的矩形区域，编码器在向解码器发送编码后的子视频流时，同时将每个编码后的子视频流对应的矩形区域的位置信息发送给解码器。

本发明中对于字符矩形区域和图像矩形区域采用了不同的编码方式进行编码，而采用不同编码方式进行编码后的视频流时不能合并的，为了保证解码器能够对接收到的视频流正确的解码，在本发明实施例中需要在编码后的子视频流中携带其所在视频帧的标识信息。具体的在本发明实施例中，可以根据每个视频帧编码后其子视频流的发送顺序，在其第一个子视频流中添加该帧的起始位置信息，在其最后一个子视频流中添加终止位置信息，从而便于解码器端识别每个视频帧包含的子视频流。该起始位置信息可以标识该帧第一个子视频流的位置，终止位置信息可以标识该帧最后一个子视频流的位置。

或者，在本发明实施例中为了标识每个编码后的子视频流归属的视频帧，归属于同一视频帧的子视频流中可以携带相同的标识信息，该标识信息可以为时间戳信息，该视频帧的编号，或其他的标识信息等。

由于在本发明实施例中将每个视频帧进行了矩形区域划分，识别划分后的每个矩形区域是字符矩形区域还是图像矩形区域，对字符矩形区域采用失真比较小的编码方式进行编码，对图像矩形区域采用失真比较大的编码方式进行编码，从而可以保证在获取比较高的压缩比时，同时保证编码后图像的质量没有明显的损失。

在本发明实施例中，当编码器接收到待编码的第一帧视频图像时，将该第一帧视频图像划分为多个矩形区域。这是因为现有常用的编码方式大多是以宏块为单位进行编码的，因此在本发明实施例中在对每个视频帧进行划分时，将每个视频帧划分为多个矩形区域。

图2A为本发明实施例中提供的一种对视频帧的划分方式示意图，图2B为本发明实施例提供的对视频帧的另一划分方式示意图，如图2A所示，在对每个视频帧进行划分时，可以将视频帧划分为4个矩形区域，也可以将视频帧划分为8个矩形区域。图2A只是给出了在对视频帧进行划分时，一种简单的均分式的划分方式，当然在对视频帧进行划分时，可以将视频帧划分成多个大小不等的矩形区域，具体如图2B所示，另外划分后的每个矩形区域的大小可以部分相等，部分不等，或任意两个矩形区域的面积都不等。

当编码器将该第一帧视频图像划分为多个矩形区域后，确定每个矩形区域的梯度或颜色的分布，具体的可以确定每个矩形区域的直方图，在本发明实施例中该直方图包括：灰度直方图、彩色直方图和梯度直方图等。这是因为对于字符和图像其对应的直方图的分布是不同。图3A为本发明实施例提供的字符区域的灰度直方图示意图，图3B为本发明实施例中的图像区域的灰度直方图示意图，在图3A和图3B中，横轴为灰度值，纵轴为比例值。对于字符，字符位置和空白位置的像素点的灰度、色彩以及梯度的分布都是差别很大的，并且字符部分的像素值的灰度、色彩以及梯度值很高；而对于图像，构成图像的各个部分灰度、色彩以及梯度是渐变的，并且相应的灰度、色彩以及梯度值不是很高。

具体的，在本发明实施例中当所述直方图为灰度直方图时，在确定每个区域是字符矩形区域还是图像矩形区域时，包括：

提取该灰度直方图中灰度值的最大比例值，判断该最大比例值是否大于设定的第一比例阈值；

当该最大比例值大于设定的第一比例阈值时，确定该区域为字符矩形区域，否则，判断该最大比例值是否小于设定的第二比例阈值，其中所述第一比例阈值大于第二比例阈值；

当该最大比例值小于设定的第二比例阈值时，确定该区域为图像矩形区域。

在本发明实施例中以灰度直方图为例进行说明。当将该第一视频帧划分为多个矩形区域后，针对每个矩形区域，确定该矩形区域的灰度直方图。针对每个矩形区域，提取该矩形区域对应的灰度直方图中灰度值的最大比例值，对于字符矩形区域，其灰度值的最大比例值应该大于设定的第一比例阈值，对于图形矩形区域，其灰度值的最大比例值应该小于设定的第二比例阈值，其中该第一比例阈值大于第二比例阈值，并且第一比例阈值和第二比例阈值的大小，可以根据经验值，或对字符、图像的灰度直方图的统计分析得到。

但当矩形区域对应的灰度直方图中灰度值的最大比例值，大于设定第二比例阈值，但小于设定的第一比例阈值时，在本发明实施例中认为该矩形区域可能同时包含有图像和字符，为了更精确的判断该矩形区域到底是字符区域还是图像区域，在本发明实施例中可以对该矩形区域进一步划分，划分为至少两个子矩形区域，根据每个子矩形区域的直方图的分布，提取该子矩形区域中灰度值的最大比例值，根据该最大比例值、设定的第一比例阈值和第二比例阈值，确定每个子矩形区域是图像矩形区域还是字符矩形区域。如果还是存在最大比例值大于设定第二比例阈值，小于设定的第一比例阈值的子矩形区域时，对该子矩形区域继续进行矩形区域的划分，直到确定出每个划分出的矩形区域是字符矩形区域还是图像矩形区域为止。

上述持续划分矩形区域判断每个矩形区域是字符矩形区域，还是图像矩形区域的方法，可以有效的保证确定出的每个矩形区域的准确性，但是当划分的次数太多时，也会严重的影响编码的效率。因此在本发明实施例中为了提高编码的效率，当当矩形区域对应的灰度直方图中灰度值的最大比例值，大于设定第二比例阈值，但小于设定的第一比例阈值时，该编码过程还包括：

判断当前矩形区域的划分次数是否达到设定的划分次数阈值；

当当前的划分次数未达到划分次数阈值时，将该矩形区域划分为多个子矩形区域，并根据每个子矩形区域的灰度直方图的分布，确定每个子矩形区域是字符矩形区域或图像矩形区域；

当当前的划分次数达到划分次数阈值时，将该矩形区域确定为字符矩形区域。

即在本发明实施例中设置有划分次数阈值，该划分次数阈值可以是3、4等，当当前根据矩形区域的灰度直方图的分布，无法确定该矩形区域是图像矩形区域还是字符矩形区域时，可以将该矩形区域再进行划分，划分成至少两个子矩形区域，但为了保证编码的效率，首先需要判断该矩形区域已经被划分的次数是否达到了设定的划分次数阈值，如果达到了划分次数阈值时，则直接认为该矩形区域字符矩形区域，如果没有达到划分次数阈值时，将该矩形区域划分为多个子矩形区域，根据每个子矩形区域的灰度直方图的分布，确定每个子矩形区域是字符矩形区域还是图像矩形区域，如果还是存在无法判别的矩形区域，重复执行上述步骤，直到确定了每个矩形区域到底是字符矩形区域，还是图像矩形区域为止。

当确定了每个矩形区域是字符矩形区域，还是图像字符区域后，为了保证在对视频图像进行编码时，获取较高的压缩比，并同时保证图像编码后图像的质量没有明显的损失，针对字符矩形区域，采用失真较小的编码方式进行编码，针对图像矩形区域，采用失真较大的编码方式进行编码。

在本发明实施例中失真较小的编码方式包括：无损编码方式、YUV之比为4:4:4的编码方式和YUV之比为4:2:2的编码方式，例如可以为zlib，H.2644:4:4等编码方式；失真较大的编码方式包括：YUV之比为4:2:0的编码方式，例如可以为H.2644:2:0的编码方式。

图4为本发明实施例提供的该视频图像的详细编码过程示意图，该过程包括以下步骤：

S401：接收当前待编码的第一个视频帧，将该视频帧划分为多个矩形区域，并确定每个矩形区域的灰度直方图。

S402：针对每个矩形区域，提取该矩形区域直方图中灰度值的最大比例值，判断该最大比例值是否大于设定的第一比例阈值，或小于设定的第二比例阈值，当该最大比例值大于设定的第二比例阈值时，进行步骤S403，当该最大比例值小于设定的第二比例阈值时，进行步骤S404，否则，进行步骤S405。

S403：确定该矩形区域为字符矩形区域，采用失真较小的编码方式对该字符矩形区域进行编码，之后进行步骤S407。

S404：确定该矩形区域为图像矩形区域，采用失真较大的编码方式对该图像矩形区域进行编码，之后进行步骤S407。

S405：判断该矩形区域被划分的次数是否到达设定的划分次数阈值，当判断结果为是时，进行步骤S403，否则，进行步骤S406。

S406：将该矩形区域划分为多个子矩形区域，之后将每个子矩形区域作为S402中的矩形区域执行S402。

S407：根据每个编码后的子视频流的发送顺序，在对应的子视频流中添加该帧的起始位置信息及终止位置信息并发送。

在本发明实施例中当确定了每个矩形区域时图像矩形区域，还是字符矩形区域后，针对字符矩形区域采用失真较小的编码方式进行编码，对于图像矩形区域采用失真较大的编码方式进行编码，获得针对每个矩形区域的子视频流。另外，图像矩形区域之间也可以采用不同失真较大的编码方式进行编码，例如可以一部分采用H.264中4:2:0的编码方式，一部分采用MPEG2中的中4:2:0的编码方式，针对字符矩形区域也同样可以是一部分采用zlip编码方式，一部分采用H.264中4:4:4的编码方式。

由于该帧中的矩形区域采用了多种编码方式，而采用不同编码方式获得的子视频流是不能合并的，因此在本发明实施例中编码器在发送每个编码后的子视频流时，为了便于解码器能够正确的解码并显示，编码器在对每个矩形区域采用相应的编码方式编码后，将每个矩形区域的位置信息发送到解码器端，具体的该位置信息可以携带在每个矩形区域编码后的子视频流中发送到解码器端，也可以单独发送到解码器端，另外该位置信息可以位于编码前的矩形区域的信息中，也可以位于编码后的子视频流中。在本发明实施例中该位置信息可以为该矩形区域的某一顶点在该视频帧中的坐标信息，也可以是该矩形区域在该视频帧中的坐标信息等等。

另外，在编码器将每个编码后的子视频流中携带有该子视频流对应的矩形区域的位置信息后，编码器即可将该编码后的每个子视频流发送到解码器，但是由于每个视频帧中子视频流采用了至少两种不同的编码方式，这些子视频流没办法合并，即每个子视频流只能单独的发送给解码器。为了标识中每个编码后的子视频流归属的视频帧，在本发明实施例中可以根据该视频帧对应的每个子视频流的发送顺序，在相应的子视频流中携带该视频帧的起始位置标识信息和终止位置标识信息，并发送给解码器。即编码器按照每个子视频流的发送顺序，在该视频帧对应的第一个子视频流中携带该视频帧的起始位置标识信息，在该视频帧对应的最后一个子视频流中携带该视频帧的终止位置标识信息，并发送给解码器。

当解码器接收到编码后的每个子视频流后，根据该视频流中对应子视频流携带的该帧的起始位置标识信息和终止位置标识信息，确定归属于该帧的每个子视频流；采用相应的解码方式，对该视频流中的每个子视频流解码；根据每个子视频流中携带的位置信息，拼接解码后的每个子视频流对应的矩形区域并输出。

由于针对每个视频帧按照子视频流的发送顺序，在编码后的对应子视频流中携带有该视频帧的起始位置标识信息和终止位置标识信息，因此当解码器接收到每个编码后的子视频流后，根据子视频流中携带的该视频帧的起始位置标识信息和终止位置标识信息，获取归属于该视频帧的每个编码后的子视频流。由于该视频帧中编码后的子视频流中采用了至少两种编码方式，因此解码器针对每个编码后的子视频流采用相应的解码方式进行解码。

每个编码后的子视频流中携带有该子视频流对应的矩形区域的位置信息，因此当解码器对每个编码后的子视频流解码后，根据该子视频流中携带的位置信息，将该子视频流解码后得到的矩形区域设置在相应的位置，将该视频帧拼接完成后输出。

具体的解码器可以在接收到该视频帧的携带有起始位置标识信息的子视频流后，采用相应的解码方式对其进行解码，并根据该子视频流中携带的位置信息，将解码后获得的矩形区域设置在相应的位置；并之后，对该视频帧的其他编码后的子视频流，采用相应的解码方式进行解码，根据该子视频流中携带的位置信息，将解码后获得的相应矩形区域设置在相应的位置。当该解码器接收到该视频帧的携带有终止位置标识信息的子视频流后，采用相应的解码方式对其进行解码，并根据该子视频流中携带的位置信息，将解码后获得的该矩形区域设置在相应的位置；之后解码器将拼接完成后的该解码后的视频帧输出。

上述以视频流中的第一视频帧为例进行的说明，可以针对该视频流中的每一帧都采用该方式进行编码和解码，但是在本发明实施例中为了提高编码和解码的效率，节省资源，在针对非第一视频帧的其他视频帧时，也可以采用以下方式进行编码和解码。

在本发明实施例中可以设置区域划分时刻，当接收到当前待编码的视频帧的时刻为区域划分时刻，可以重新进行区域的划分，重新进行区域划分时，可以按照与前一帧相同的划分方式对当前的视频帧进行划分，也可以采用不同的划分方式对当前的视频帧进行划分，在采用不同的划分方式对当前的视频帧进行划分时，采用上述对第一视频帧的划分方式进行，在此就不一一赘述。当接收到当前待编码的视频帧的时刻非区域划分时刻，按照与前一帧相同的划分方式对该当前的视频帧进行划分。

对非第一视频帧进行编码时，其具体过程包括：接收待编码的视频帧，判断当前时刻是否为区域划分时刻；编码器判断当前接收到该待编码的视频帧的时刻是否为区域划分时刻；

当当前时刻非区域划分时刻时，按照前一帧的划分方式对当前帧进行划分；针对同一区域，判断前一帧及当前帧中该矩形区域的内容是否相似；当确定前一帧及当前帧中该矩形区域的内容不相似时，对当前帧的该矩形区域采用与前一帧该区域相同的编码方式编码，否则，不对该区域编码；

当当前时刻为区域划分时刻时，将该当前帧划分成多个矩形区域，根据每个矩形区域直方图的分布，对确定为字符矩形区域的采用失真较小的编码方式进行编码，对确定为图像矩形区域的采用失真较大的编码方式进行编码；

在每个区域编码后的子视频流中携带该区域的位置信息，并在相应子视频流中添加该帧的起始位置和终止位置的标识信息发送给解码器。

具体的，该编码器接收到当前待编码的视频帧后，判断当前时刻是否为区域划分时刻，当当前时刻非区域划分时刻时，可以认为该当前帧与前一帧位于同一场景中，按照前一帧的划分方式对该帧进行划分。由于当前帧与前一帧的划分方式相同，针对当前帧中每个划分后的矩形区域，判断前一帧及当前帧中该矩形区域的内容是否相似，具体的在判断两个矩形区域的内容是否相似时，可以针对该矩形区域比较前后两帧的绝对差和(Sum of absolute difference，SAD)值SAD值、或绝对和转化差异(:Sum of absolute transformed differences，SATD)，或差的平方和(Sum of squared differences，SSD)。

下面以比较SAD值为例进行说明。比较前一帧与该当前帧中该矩形区域的绝对差和(Sum of absolute difference，SAD)值，当前一帧和当前帧该矩形区域的SAD值大于设定的阈值时，认为该两帧之间该矩形区域的内容不相似，采用前一帧对该对应矩形区域相同的编码方式，对当前帧中该矩形区域进行编码；当前一帧和当前帧该矩形区域的SAD值不大于设定的阈值时，认为该两帧之间该矩形区域的内容相似，不对当前帧的该矩形区域编码。

当当前时刻为区域划分时刻时，可以对该当前帧重新划分。即使当前时刻为区域划分时刻，但可能前后两帧之间的内容变化并不多，因此在本发明实施例中在对当前帧进行划分时，可以采用与前一帧相同的划分方式对当前帧进行划分。当采用与前一帧相同的划分方式对当前帧进行划分后，确定划分后每个矩形区域的直方图，根据每个矩形区域直方图的分布，确定每个矩形区域是字符矩形区域，还是图像矩形区域。当根据前一帧的划分方式对该当前帧进行划分后，根据每个矩形区域的直方图的分布，无法直接确定每个矩形区域是字符矩形区域，还是图像矩形区域时，可以采用其他的划分方式对该当前帧进行划分。

或者，在本发明实施例中当当前时刻为区域划分时刻时，编码器采用与前一帧不同的划分方式对该当前帧进行划分。当编码器对该当前帧进行划分后，得到多个矩形区域，编码器确定每个矩形区域的直方图，例如可以为灰度直方图、彩色直方图和梯度直方图等，在本发明实施例中以灰度直方图进行说明。

编码器确定每个矩形区域的灰度直方图，根据每个矩形区域的灰度直方图的分布，确定每个矩形区域是字符矩形区域，还是图像矩形区域。具体的，在确定每个矩形区域时字符矩形区域，还是图像矩形区域时，编码器针对每个矩形区域，提取该矩形区域的灰度直方图中灰度值的最大比例值，判断该最大比例值是否大于设定的第一比例阈值；

当该最大比例值大于设定的第一比例阈值时，确定该矩形区域为字符矩形区域，否则，判断该最大比例值是否小于设定的第二比例阈值，其中所述第一比例阈值大于第二比例阈值；

当该最大比例值小于设定的第二比例阈值时，确定该矩形区域为图像矩形区域。

当该矩形区域的灰度直方图的最大比例值大于第二比例阈值，小于第一比例阈值时，为了确定该矩形区域是字符矩形区域，还是图像矩形区域，在本发明实施例中可以对该矩形区域继续进行划分，划分为至少两个子矩形区域，该过程具体包括：判断当前矩形区域的划分次数是否达到设定的划分次数阈值；

当当前的划分次数未达到划分次数阈值时，将该矩形区域划分为多个子矩形区域，并根据每个子矩形区域的灰度直方图的分布，确定每个子矩形区域是字符矩形区域或图像矩形区域；

当当前的划分次数达到划分次数阈值时，将该矩形区域确定为字符矩形区域。

当确定了该视频帧中每个矩形区域是字符矩形区域，还是图像矩形区域后，采用采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码。另外，为了便于解码器能够准确的对解码后获得的每个矩形区域拼接，获得完整的输出视频帧，本发明实施例中在每个矩形区域编码后的子视频流中携带每个矩形区域在该视频帧中的位置信息。

由于字符矩形区域和图像矩形区域采用了不同的编码方式进行编码，因此编码后的子视频流不能合并，为了便于解码器识别接收到的每个子视频流是属于哪个视频帧的，在本发明实施例中根据编码后的子视频流的发送顺序，在对应的子视频流中添加该视频帧的起始位置标识信息和终止位置标识信息。

图5为本发明实施例提供的该视频图像的另一具体编码过程示意图，该过程包括以下步骤：

S501：接收当前待编码的第一视频帧，将该视频帧划分为多个矩形区域。根据每个矩形区域直方图的分布，确定每个矩形区域是字符矩形区域或图像矩形区域。

S502：采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码。

S503：将每个矩形区域在该帧中的位置信息，携带在每个矩形区域编码后的子视频流中，根据每个编码后的子视频流的发送顺序，在对应的子视频流中添加该帧的起始位置信息及终止位置信息并发送。

S504：接收当前待编码的第二视频帧，判断当前时刻是否为区域划分时刻，当判断结果为否时，进行步骤S505，否则，进行步骤S508。

S505：按照前一帧的划分方式对当前帧进行划分，针对同一矩形区域，比较前一帧及当前帧中该矩形区域的SAD值，判断该SAD值是否大于设定阈值，当判断结果为是时，进行步骤S506，否则，进行步骤S507。

S506：对当前帧的该矩形区域采用与前一帧该区域相同的编码方式编码，之后进行步骤S503。

S507：不对该区域编码。

S508：将该当前帧划分成多个矩形区域，根据每个矩形区域直方图的分布，确定每个矩形区域是字符矩形区域或图像矩形区域。之后进行步骤S502。

由于在本发明实施例中将每个视频帧进行了矩形区域划分，识别划分后的每个矩形区域是字符矩形区域还是图像矩形区域，对字符矩形区域采用失真比较小的编码方式进行编码，对图像矩形区域采用失真比较大的编码方式进行编码，从而可以保证在获取比较高的压缩比时，同时保证编码后图像的质量没有明显的损失。

图6为本发明实施例提供的该视频图像的解码过程示意图，该过程包括：

S601：接收编码后的视频流，根据该视频流中对应子视频流携带的该帧的起始位置标识信息和终止位置标识信息，确定归属于该帧的每个子视频流。

S602：采用相应的解码方式，对该视频流中的每个子视频流解码。根据该帧每个子视频流中携带的位置信息，将解码后获得的矩形区域设置在该帧的相应位置。

S603：判断该帧中是否存在空缺的矩形区域，当判断结果为是时，进行步骤S604，否则，进行步骤S605。

S604：采用前一帧该对应位置的矩形区域作为该帧解码后的视频图像。

S605：将拼接后的视频帧输出。

图7为本发明实施例提供的该视频图像的编码器结构示意图，该编码器包括：

划分模块71，用于接收当前待编码的视频帧，将该视频帧划分为多个矩形区域；

识别模块72，用于根据每个矩形区域梯度或颜色的分布，确定每个矩形区域是字符矩形区域或图像矩形区域；

编码模块73，用于采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码；

发送模块74，用于将每个矩形区域在该帧中的位置信息，及携带有该帧标识信息的每个矩形区域编码后的子视频流发送到解码器端。

所述划分模块71，还用于判断接收到当前待编码的视频帧的时刻是否为区域划分时刻；当当前时刻非区域划分时刻时，按照前一帧的划分方式对当前帧进行划分；当当前时刻为区域划分时刻时，将该当前帧划分成多个矩形区域；

所述编码模块73，还用于针对同一矩形区域，判断前一帧及当前帧中该矩形区域的内容是否相似；当确定前一帧及当前帧中该矩形区域的内容不相似时，对当前帧的该矩形区域采用与前一帧该矩形区域相同的编码方式编码，否则，不对该矩形区域编码。

所述识别模块72，具体用于当确定了每个矩形区域的灰度直方图时，提取该灰度直方图中灰度值的最大比例值，判断该最大比例值是否大于设定的第一比例阈值；当该最大比例值大于设定的第一比例阈值时，确定该矩形区域为字符矩形区域，否则，判断该最大比例值是否小于设定的第二比例阈值，其中所述第一比例阈值大于第二比例阈值；当该最大比例值小于设定的第二比例阈值时，确定该矩形区域为图像矩形区域。

所述识别模块72，具体用于当该矩形区域的最大比例值大于第二比例阈值，小于第一比例阈值时，判断当前矩形区域的划分次数是否达到设定的划分次数阈值；当当前的划分次数未达到划分次数阈值时，将该矩形区域划分为多个子矩形区域，并根据每个子矩形区域的灰度直方图的分布，确定每个子矩形区域是字符矩形区域或图像矩形区域；当当前的划分次数达到划分次数阈值时，将该矩形区域确定为字符矩形区域。

图8为本发明实施例提供的该视频图像的解码器结构示意图，该解码器包括：

确定模块81，用于接收携带有每帧标识信息的编码后的每个子视频流，确定每个编码后的子视频流归属的视频帧；

解码模块82，用于采用相应的解码方式，对该每个子视频流解码；

拼接输出模块83，用于根据接收到的每个子视频流对应的位置信息，拼接解码后的每个子视频流对应的矩形区域并输出。

所述解码器还包括：

填补模块84，用于根据该帧每个子视频流中携带的位置信息，将解码后获得的矩形区域设置在该帧的相应位置；判断该帧中是否存在空缺的矩形区域；当存在时，采用前一帧该对应位置的矩形区域作为该帧解码后的视频图像。

本发明实施例提供一种视频图像的编解码方法及装置，该编码方法中将每个视频帧划分为多个矩形区域，根据每个矩形区域的梯度或颜色的分布确定每个矩形区域是图像矩形区域还是字符矩形区域，对字符矩形区域采用失真较小的编码方式进行编码，对图像矩形区域采用失真较大的编码方式进行编码，为了便于解码器端准确拼接解码，编码器同时在该子视频流中携带每帧的标识信息，将携带有该标识信息的子视频流，及每个矩形区域的在该帧中的位置信息发送到解码器端。由于在本发明实施例中将每个视频帧进行了矩形区域划分，识别划分后的每个矩形区域是字符矩形区域还是图像矩形区域，对字符矩形区域采用失真比较小的编码方式进行编码，对图像矩形区域采用失真比较大的编码方式进行编码，从而可以保证在获取比较高的压缩比时，同时保证编码后图像的质量没有明显的损失。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频图像的编码方法，其特征在于，所述编码方法包括：

接收当前待编码的视频帧，将该视频帧划分为多个矩形区域；

根据每个矩形区域梯度或颜色的分布，确定每个矩形区域是字符矩形区域或图像矩形区域；

采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码；

将每个矩形区域在该帧中的位置信息，及携带有该帧标识信息的每个矩形区域编码后的子视频流发送到解码器端；

所述方法还包括：

接收待编码的视频帧，判断当前时刻是否为区域划分时刻；

当当前时刻非区域划分时刻时，按照前一帧的划分方式对当前帧进行划分；针对同一矩形区域，判断前一帧及当前帧中该矩形区域的内容是否相似；

当确定前一帧及当前帧中该矩形区域的内容不相似时，对当前帧的该矩形区域采用与前一帧该矩形区域相同的编码方式编码，否则，不对该矩形区域编码；

当当前时刻为区域划分时刻时，将该当前帧划分成多个矩形区域，根据每个矩形区域梯度或颜色的分布，对确定为字符矩形区域的采用失真较小的编码方式进行编码，对确定为图像矩形区域的采用失真较大的编码方式进行编码；将该帧每个矩形区域在该帧中的位置信息，及携带有该帧标识信息的每个矩形区域编码后的子视频流发送到解码器端。

2.如权利要求1所述的编码方法，其特征在于，所述根据每个矩形区域梯度或颜色的分布，确定每个矩形区域是字符矩形区域或图像矩形区域包括：

根据每个矩形区域的灰度直方图、彩色直方图或梯度直方图的分布，确定每个矩形区域是字符矩形区域或图像矩形区域。

3.如权利要求1所述的编码方法，其特征在于，根据灰度直方图，确定每个矩形区域是字符矩形区域或图像矩形区域包括：

针对确定的每个矩形区域的灰度直方图，提取该灰度直方图中灰度值的最大比例值，判断该最大比例值是否大于设定的第一比例阈值；

当该最大比例值大于设定的第一比例阈值时，确定该矩形区域为字符矩形区域，否则，判断该最大比例值是否小于设定的第二比例阈值，其中所述第一比例阈值大于第二比例阈值；

当该最大比例值小于设定的第二比例阈值时，确定该矩形区域为图像矩形区域。

4.如权利要求3所述的编码方法，其特征在于，当该矩形区域的最大比例值大于第二比例阈值，小于第一比例阈值时，所述方法还包括：

判断当前矩形区域的划分次数是否达到设定的划分次数阈值；

当当前的划分次数未达到划分次数阈值时，将该矩形区域划分为多个子矩形区域，并根据每个子矩形区域的灰度直方图的分布，确定每个子矩形区域是字符矩形区域或图像矩形区域；

当当前的划分次数达到划分次数阈值时，将该矩形区域确定为字符矩形区域。

5.如权利要求1所述的编码方法，其特征在于，所述失真较小的编码方式包括：无损编码方式、YUV之比为4:4:4的编码方式和YUV之比为4:2:2的编码方式；

失真较大的编码方式包括：YUV之比为4:2:0的编码方式。

6.一种视频图像的解码方法，其特征在于，所述解码方法包括：

接收携带有每帧标识信息的编码后的每个子视频流，确定每个编码后的子视频流归属的视频帧；

采用相应的解码方式，对该每个子视频流解码；

根据接收到的每个子视频流对应的位置信息，拼接解码后的每个子视频流对应的矩形区域并输出；

所述拼接解码后的每个子视频流对应的矩形区域并输出之前，所述方法还包括：

根据该帧每个子视频流中携带的位置信息，将解码后获得的矩形区域设置在该帧的相应位置；

判断该帧中是否存在空缺的矩形区域；

当存在时，采用前一帧对应位置的矩形区域作为该帧解码后的视频图像；

其中，所述每帧标识信息的编码后的每个子视频流及该帧每个子视频流中携带的位置信息的确定方式为：接收待编码的视频帧，判断当前时刻是否为区域划分时刻；当当前时刻非区域划分时刻时，按照前一帧的划分方式对当前帧进行划分；针对同一矩形区域，判断前一帧及当前帧中该矩形区域的内容是否相似；当确定前一帧及当前帧中该矩形区域的内容不相似时，对当前帧的该矩形区域采用与前一帧该矩形区域相同的编码方式编码，否则，不对该矩形区域编码；当当前时刻为区域划分时刻时，将该当前帧划分成多个矩形区域，根据每个矩形区域梯度或颜色的分布，对确定为字符矩形区域的采用失真较小的编码方式进行编码，对确定为图像矩形区域的采用失真较大的编码方式进行编码。

7.一种视频图像的编码器，其特征在于，所述编码器包括：

划分模块，用于接收当前待编码的视频帧，将该视频帧划分为多个矩形区域；

识别模块，用于根据每个矩形区域梯度或颜色的分布，确定每个矩形区域是字符矩形区域或图像矩形区域；

编码模块，用于采用失真较小的编码方式对字符矩形区域编码，采用失真较大的编码方式对图像矩形区域编码；

发送模块，用于将每个矩形区域在该帧中的位置信息，及携带有该帧标识信息的每个矩形区域编码后的子视频流发送到解码器端；

所述划分模块，还用于判断接收到当前待编码的视频帧的时刻是否为区域划分时刻；当当前时刻非区域划分时刻时，按照前一帧的划分方式对当前帧进行划分；当当前时刻为区域划分时刻时，将该当前帧划分成多个矩形区域；

所述编码模块，还用于针对同一矩形区域，判断前一帧及当前帧中该矩形区域的内容是否相似；当确定前一帧及当前帧中该矩形区域的内容不相似时，对当前帧的该矩形区域采用与前一帧该矩形区域相同的编码方式编码，否则，不对该矩形区域编码。

8.如权利要求7所述的编码器，其特征在于，所述识别模块，具体用于当确定了每个矩形区域的灰度直方图时，提取该灰度直方图中灰度值的最大比例值，判断该最大比例值是否大于设定的第一比例阈值；当该最大比例值大于设定的第一比例阈值时，确定该矩形区域为字符矩形区域，否则，判断该最大比例值是否小于设定的第二比例阈值，其中所述第一比例阈值大于第二比例阈值；当该最大比例值小于设定的第二比例阈值时，确定该矩形区域为图像矩形区域。

9.如权利要求8所述的编码器，其特征在于，所述识别模块，具体用于当该矩形区域的最大比例值大于第二比例阈值，小于第一比例阈值时，判断当前矩形区域的划分次数是否达到设定的划分次数阈值；当当前的划分次数未达到划分次数阈值时，将该矩形区域划分为多个子矩形区域，并根据每个子矩形区域的灰度直方图的分布，确定每个子矩形区域是字符矩形区域或图像矩形区域；当当前的划分次数达到划分次数阈值时，将该矩形区域确定为字符矩形区域。

10.一种视频图像的解码器，其特征在于，所述解码器包括：

确定模块，用于接收携带有每帧标识信息的编码后的每个子视频流，确定每个编码后的子视频流归属的视频帧；

解码模块，用于采用相应的解码方式，对该每个子视频流解码；

拼接输出模块，用于根据接收到的每个子视频流对应的位置信息，拼接解码后的每个子视频流对应的矩形区域并输出；

所述解码器还包括：

填补模块，用于根据该帧每个子视频流中携带的位置信息，将解码后获得的矩形区域设置在该帧的相应位置；判断该帧中是否存在空缺的矩形区域；当存在时，采用前一帧对应位置的矩形区域作为该帧解码后的视频图像；

其中，所述每帧标识信息的编码后的每个子视频流及该帧每个子视频流中携带的位置信息的确定方式为：接收待编码的视频帧，判断当前时刻是否为区域划分时刻；当当前时刻非区域划分时刻时，按照前一帧的划分方式对当前帧进行划分；针对同一矩形区域，判断前一帧及当前帧中该矩形区域的内容是否相似；当确定前一帧及当前帧中该矩形区域的内容不相似时，对当前帧的该矩形区域采用与前一帧该矩形区域相同的编码方式编码，否则，不对该矩形区域编码；当当前时刻为区域划分时刻时，将该当前帧划分成多个矩形区域，根据每个矩形区域梯度或颜色的分布，对确定为字符矩形区域的采用失真较小的编码方式进行编码，对确定为图像矩形区域的采用失真较大的编码方式进行编码。