CN112584151A - 图像处理方法及终端设备、服务器 - Google Patents

Abstract

本公开提供一种图像处理方法和装置，涉及图像处理领域，能够解决编码后的桌面图像数据量较大，编解码时间较长的问题。具体技术方案为：获取当前桌面图像，所述当前桌面图像包括多个尺寸相等的图像单元；当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。本发明用于减小编码产生的数据量，提高编码效率。

Description

图像处理方法及终端设备、服务器

技术领域

本公开涉及图像处理领域，尤其涉及一种图像处理方法及终端设备、服务器。

背景技术

在云服务系统中，服务器可以将虚拟机(virtual machine，VM)生成的桌面图像进行编码后通过网络发送给终端设备，终端设备解码并且显示该虚拟桌面图像。

服务器一般采用16像素×16像素的宏块为单位进行编码，以生成码流，并将码流发送至终端设备。以大小固定的宏块为单位对桌面图像进行划分和编码，虽然可以适用于多种图像场景(自然图像或计算机合成图像均适用)且算法实现简单，但是编码后的桌面图像数据量依然较大，编解码时间较长。

发明内容

本公开实施例提供一种图像处理方法及装置，能够解决编码后的桌面图像数据量较大，编解码时间较长的问题。技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：获取当前桌面图像，所述当前桌面图像包括多个尺寸相等的图像单元；当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。

在对当前桌面图像进行编码时，采用较小的编码单元，产生较多的数据量。通过比较当前桌面图像中各个尺寸相等的图像单元在参考桌面图像中是否存在相同的图像，并在图像相同的图像单元数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对当前桌面图像进行编码。由于当前桌面图像中参考图像单元的数量大于或等于预设值，说明当前桌面图像中数量大于或等于预设值的图像单元与参考桌面图像相同位置的图像相同，或者是对参考桌面图像中尺寸为图像单元的图像进行平移得到的。通过合理设置预设值，并在参考图像单元的数量超过预设值时采用尺寸较大的第一预设编码单元对当前桌面图像进行编码，能够减小编码产生的数据量，提高编码效率。

将编码后的当前桌面图像发送至终端设备，终端设备对编码后的当前桌面图像进行解码，终端设备的解码效率也能够得到提升。

另外，由于第一预设编码单元的尺寸与多个所述图像单元相等，在对桌面图像进行编码时可以利用在判断是否利用第一预设编码单元进行编码时对各个图像单元在参考桌面图像中是否存在相同的图像的比较结果，而无需再次进行比较，从而能够提升编码效率。

在一个实施例中，所述参考图像单元可以是平移图像单元和/或保持图像单元，所述当前桌面图像中的所述平移图像单元的平移向量相等，每个所述平移图像单元的平移向量用于指示所述平移图像单元的图像在所述当前桌面图像与所述参考图像中的位置变化，所述保持图像单元的图像与所述参考图像中相同位置的图像相同。

在当前桌面图像中，数量超过预设值的参考图像单元中，仅包括平移图像单元和/或保持图像单元，且各个平移图像单元的平移向量相等。也就是说，当前桌面图像的图像单元中，与相同位置的参考图像中位置的图像相同的保持图像单元的数量，以及与参考图像相比平移相同方向和距离的平移图像单元的数量之和较多，即平移图像单元和/或保持图像单元的数量较多。这种情况下，采用尺寸较大的第一预设编码单元对当前桌面图像进行编码，能够减小编码产生的数据量，提高编码效率。

在一个实施例中，所述方法还包括：当所述多个图像单元中所述参考图像单元的数量小于所述预设值时，以尺寸与所述图像单元相同的第二预设编码单元对所述当前桌面图像进行编码。

在当前桌面图像中，只有数量少于预设值的图像单元与参考图像中的图像相同，当前桌面图像与参考图像相比有较大的变化，使用尺寸较小的图像单元作为编码单元，编码时更多与参考图像中包括相同图像的图像单元能够通过平移向量的方式表示，降低编码后的当前桌面图像的数据量。

在一个实施例中，所述当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，包括：当所述当前桌面图像以及所述当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值时，以所述第一预设编码单元对所述当前桌面图像进行编码。

当前桌面图像及之前共预设数量的桌面图像中参考图像单元的数量大于或等于预设值，可以说明桌面图像的变化方式主要是保持不变或平移，以平移之外的变化方式进行图像改变的区域面积较小。以一段时间内桌面图像的变化方式作为是否采用尺寸较大的第一编码单元对当前桌面图形进行编码的判断方式，能够降低桌面图像变化方式判断错误的可能性，从而使得在采用尺寸较大的第一预设编码单元对当前桌面图像进行编码时，能够减小编码产生的数据量，提高编码效率。

在一个实施例中，所述预设数量的桌面图像是所述当前桌面图像之前的连续的桌面图像。

通过连续的预设数量的桌面图像的变化方式确定该连续的桌面图像中最后一帧桌面图像即当前桌面图像是否采用尺寸较大的第一预设编码单元进行编码，能够降低桌面图像变化方式判断错误的可能性。

在一个实施例中，所述以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，包括：按照第一预设编码单元对所述当前桌面图像进行划分，以得到多个编码单元图像；所述方法还包括：根据所述参考桌面图像中是否包括与每个所述编码单元图像相同的图像，确定所述编码单元图像的类型；对编码单元指示信息和所述多个编码单元图像的类型进行加密，以生成加密信息，所述编码单元指示信息用于指示所述第一预设编码单元的尺寸；向终端设备发送所述加密信息。

通过对编码单元指示信息以及当前桌面图像每个编码单元图像的类型进行加密，既能保证加密了关键信息，又使得加密的数据量较小。

第二方面，提供一种图像处理的装置，该装置包括存储器和处理器。存储器拥有存储程序。当程序在所述处理器中执行时，处理器用于：获取当前桌面图像，所述当前桌面图像包括多个尺寸相等的图像单元；当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。

在对当前桌面图像进行编码时，采用较小的编码单元，产生较多的数据量。通过比较当前桌面图像中各个尺寸相等的图像单元在参考桌面图像中是否存在相同的图像，并在图像相同的图像单元数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对当前桌面图像进行编码。由于当前桌面图像中参考图像单元的数量大于或等于预设值，说明当前桌面图像中数量大于或等于预设值的图像单元与参考桌面图像相同位置的图像相同，或者是对参考桌面图像中尺寸为图像单元的图像进行平移得到的。通过合理设置预设值，并在参考图像单元的数量超过预设值时采用尺寸较大的第一预设编码单元对当前桌面图像进行编码，能够减小编码产生的数据量，提高编码效率。

将编码后的当前桌面图像发送至终端设备，终端设备对编码后的当前桌面图像进行解码，终端设备的解码效率也能够得到提升。

另外，由于第一预设编码单元的尺寸与多个所述图像单元相等，在对桌面图像进行编码时可以利用在判断是否利用第一预设编码单元进行编码时对各个图像单元在参考桌面图像中是否存在相同的图像的比较结果，而无需再次进行比较，从而能够提升编码效率。

在一些实施例中，所述参考图像单元由多个平移图像单元和/或多个保持图像单元组成，所述多个平移图像单元的平移向量相等，每个所述平移图像单元的平移向量用于指示所述平移图像单元的图像在所述当前桌面图像与所述参考图像中的位置变化，所述保持图像单元的图像与所述参考图像中相同位置的图像相同。

在当前桌面图像中，数量超过预设值的参考图像单元中，仅包括平移图像单元和/或保持图像单元，且各个平移图像单元的平移向量相等。也就是说，当前桌面图像的图像单元中，与相同位置的参考图像中位置的图像相同的保持图像单元的数量，以及与参考图像相比平移相同方向和距离的平移图像单元的数量之和较多，即平移图像单元和/或保持图像单元的数量较多。这种情况下，采用尺寸较大的第一预设编码单元对当前桌面图像进行编码，能够减小编码产生的数据量，提高编码效率。

在一些实施例中，所述处理器还用于，当所述多个图像单元中所述参考图像单元的数量小于所述预设值时，以尺寸与所述图像单元相同的第二预设编码单元对所述当前桌面图像进行编码。

在当前桌面图像中，只有数量少于预设值的图像单元与参考图像中的图像相同，当前桌面图像与参考图像相比有较大的变化，使用尺寸较小的图像单元作为编码单元，编码时更多与参考图像中包括相同图像的图像单元能够通过平移向量的方式表示，降低编码后的当前桌面图像的数据量。

在一些实施例中，所述处理器还用于，当所述当前桌面图像以及所述当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值时，以所述第一预设编码单元对所述当前桌面图像进行编码。

当前桌面图像及之前共预设数量的桌面图像中参考图像单元的数量大于或等于预设值，可以说明桌面图像的变化方式主要是保持不变或平移，以平移之外的变化方式进行图像改变的区域面积较小。以一段时间内桌面图像的变化方式作为是否采用尺寸较大的第一编码单元对当前桌面图形进行编码的判断方式，能够降低桌面图像变化方式判断错误的可能性，从而使得在采用尺寸较大的第一预设编码单元对当前桌面图像进行编码时，能够减小编码产生的数据量，提高编码效率。

在一些实施例中，所述预设数量的桌面图像是所述当前桌面图像之前的连续的桌面图像。

通过连续的预设数量的桌面图像的变化方式确定该连续的桌面图像中最后一帧桌面图像即当前桌面图像是否采用尺寸较大的第一预设编码单元进行编码，能够降低桌面图像变化方式判断错误的可能性。

在一些实施例中，所述处理器还用于：按照第一预设编码单元对所述当前桌面图像进行划分，以得到多个编码单元图像；根据所述参考桌面图像中是否包括与每个所述编码单元图像相同的图像，确定所述编码单元图像的类型；对编码单元指示信息和所述多个编码单元图像的类型进行加密，以生成加密信息，所述编码单元指示信息用于指示所述第一预设编码单元的尺寸；向终端设备发送所述加密信息。

通过对编码单元指示信息以及当前桌面图像每个编码单元图像的类型进行加密，既能保证加密了关键信息，又使得加密的数据量较小。

图像处理的方法可以应用在云服务系统中。应当理解，该图像处理的装置可以是服务器。终端设备可以用于对编码后的当前桌面图像进行解码和显示。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种云服务系统的示意图；

图2是本公开实施例提供的一种图像处理方法的示意性流程图；

图3是本公开实施例提供的另一种图像处理方法的示意性流程图；

图4是一种当前桌面图像的示意图；

图5是另一种当前桌面图像的示意图；

图6是本公开实施例提供的一种队列的示意图；

图7是本公开实施例提供的一种图像处理装置的示意性结构图；

图8是本公开实施例提供的另一种图像处理装置的示意性结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为便于理解本公开实施例，首先以图1为例详细说明适用于本公开实施例的云服务系统。云服务系统也可以称为虚拟图像传输系统或图传系统等。图1是云服务系统的示意图。

图1所示的云服务系统中包括终端设备11和服务器12，终端设备11与用户相对应，即用户可以在终端设备11上进行相应的操作。终端设备11例如可以是计算机、手机、平板电脑、笔记本电脑、电视机机顶盒、个人数字处理(personal digital assistant，PDA)、车载设备、可穿戴设备或物联网、车联网中的终端设备等。本公开实施例对图像传输系统所包括的终端设备11的数量不做限定，例如可以为1个、2个或者更多个。服务器12可以是单个服务器，也可以是服务器集群。终端设备11也可以称为虚拟图像传输协议(virtual graphtransmission protocol，VGTP)接收端。服务器12也可以称为虚拟桌面服务器(virtualdesktop server)。终端设备11与服务器12之间的数据传输可以基于局域网或广域网等。

终端设备11与服务器12建立远程桌面连接，终端设备11接收用户相应操作(例如通过键盘、鼠标或者触摸屏的输入)，并将操作信息传输至服务器12。

服务器12中运行有多个虚拟机(virtual machine，VM)，每个虚拟机可以对应于一个终端设备。服务器12将终端设备11发送的操作信息发送至对应的VM，该VM进行处理得到相应的虚拟桌面图像。服务器采集VM生成的虚拟桌面图像，并对虚拟桌面图像进行编码，之后通过网络传输给终端设备11。终端设备11对编码后的虚拟图像进行解码、恢复，之后进行显示。该虚拟图像可以是虚拟桌面图像。

服务器在对虚拟图像进行图像编码时，可以将图像划分为16像素×16像素的宏块，以宏块为基本单位进行编解码的。之后，根据虚拟图像中每个宏块的编码结果生成码流。服务器可以将码流发送至终端设备。

以大小固定的宏块为单位对桌面图像进行划分和编码，虽然可以适用于多种图像场景(自然图像或计算机合成图像均适用)且算法实现简单，但是编码后的桌面图像数据量依然较大，编解码时间较长。

如果采用较大的宏块为单元对桌面图像进行划分和编码，平移图像区域的边界将出现在更多比例的宏块中。因此，在将宏块与参考图像进行比较时，参考图像包括相同图像的宏块比例将会更低，编码后的桌面图像的数据量较大。

在对当前桌面图像进行编码时，采用较小的编码单元，用于相邻的宏块中的图像相对参考图像中相同的图像位置变化相同，但是需要分别进行表示，每个宏块的附加信息如用于表示宏块的编号的信息、用于表示宏块的图像相对参考图像位置变化的信息等信息较多，从而使得编码后的桌面图像的数据量较多。

另外，由于每一帧图像的宏块大小是固定的，这在安全性方面也较为薄弱。虽然也是经过了编码处理，但编码处理相对简单，仍可能被截留并破译的可能性较高。尤其是在远程办公等对画面数据传输的保密性有很高要求的场景，无法有效保证数据安全性。

为了解决上述问题，本公开实施例提供了一种图像处理方法。

本公开实施例提供一种图像处理方法，如图2所示。

该图像处理方法应用于服务器，包括步骤210至步骤220。

210、获取当前桌面图像，所述当前桌面图像包括多个大小相同的图像单元。

该多个图像单元的大小相同。两个不同的图像单元之间可以重叠或不重叠。该多个图像块可以包括桌面图像的全部区域。

为了降低计算量，该多个图像单元之间可以不存在重叠。

一般情况下，在获取桌面图像之后，可以对桌面图像按照目标尺寸进行切割，得到多个不重叠的图像单元。下面，以这种方式为例进行说明。

220、当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。

步骤210至步骤220，通过比较当前桌面图像中各个尺寸相等的图像单元在参考桌面图像中是否存在相同的图像，并在图像相同的图像单元数量大于或等于预设值时，以尺寸较大的第一预设编码单元对当前桌面图像进行编码。

比较当前桌面图像中各个尺寸相等的图像单元在参考桌面图像中是否存在相同的图像，即确定当前桌面图像中的各个图像单元相对参考图像的变化方式。当保持或平移类型的图像单元数量较多，超过预设值时，当前桌面图像的变化方式主要是保持不变或平移。

通过合理设置预设值，在当前桌面图像的变化方式主要是保持不变或平移的情况下，采用尺寸较大的第一预设编码单元对当前桌面图像进行编码，能够减小编码产生的数据量，提高编码效率。

将编码后的当前桌面图像发送至终端设备，终端设备对编码后的当前桌面图像进行解码，终端设备的解码效率也能够得到提升。

另外，由于第一预设编码单元的尺寸与多个所述图像单元相等，在对桌面图像进行编码时可以利用在判断是否利用第一预设编码单元进行编码时对各个图像单元在参考桌面图像中是否存在相同的图像的比较结果，而无需再次进行比较，从而能够提升编码效率。

反之，当所述多个图像单元中所述参考图像单元的数量小于所述预设值时，可以采用尺寸与所述图像单元相同的第二预设编码单元对所述当前桌面图像进行编码。

在当前桌面图像中，只有数量少于预设值的图像单元与参考图像中的图像相同，当前桌面图像与参考图像相比有较多的图像单元中的图像是完全不同的。这种情况下，使用尺寸较小的图像单元作为编码单元，编码时更多与参考图像中包括相同图像的图像单元能够通过平移向量的方式表示，从而能够降低编码后的当前桌面图像的数据量。

进一步地，所述参考图像单元可以是平移图像单元和/或保持图像单元。

所述当前桌面图像中的平移图像单元的平移向量相等，每个所述平移图像单元的平移向量用于指示所述平移图像单元的图像在所述当前桌面图像与所述参考图像中的位置变化。

所述保持图像单元的图像与所述参考图像中相同位置的图像相同。

当前桌面图像中的平移图像单元的平移向量相等，并且，这些平移图像单元与保持图像单元的数量之和超过预设值，说明当前桌面图像中较多的图像单元与参考图像相比，保持不变或者平移了相同的方向和距离。

参考图像可以是当前桌面图像的上一帧图像或其他图像。本申请实施例以参考图像位当前桌面图像的上一帧图像为例进行说明。

如果参考图像单元中平移图像单元较多，说明当前桌面图像中有较多的图像单元与参考图像相比平移了相同的方向和距离，一般是用户进行网页浏览、移动软件窗口等操作使得桌面图像较大区域整体发生相同方向、相同距离的变化。

如果参考图像单元中保持图像单元较多，说明当前桌面图像中有较多的图像单元与参考图像相比未发生任何变化。这种情况可以是用户对部分区域进行文字编辑或其他操作。

对于上述这两种情况中，当前桌面图像中大幅画面可以通过与参考图像的变化进行描述，采用尺寸较大的第一编码单元对当前桌面图像进行编码，能够降低编码后的当前桌面图像的数据量。

可选地，当所述当前桌面图像以及所述当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值时，以所述第一预设编码单元对所述当前桌面图像进行编码。

如果仅根据当前桌面图像，判断桌面图像的主要变化方式，可能由于偶然性的一张桌面图像中参考图像单元的数量较多，但并不是桌面图像的大多数连续区域整体平移或保持不变。参考当前桌面图像之前数帧桌面图像中参考图像单元的数量，可以使得对桌面图像的变化方式判断更为准确。从而使得采用的编码单元的尺寸更为合理。

当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值。预设数量的桌面图像可以是位于当前桌面图像之前连续或存在间隔的桌面图像。

通过连续的预设数量的桌面图像的变化方式确定该连续的桌面图像中最后一帧桌面图像即当前桌面图像是否采用尺寸较大的第一预设编码单元进行编码，能够进一步降低桌面图像变化方式判断错误的可能性。

应当理解，在采用第一编码单元进行编码时，可以对当前桌面图像以第一编码单元进行划分，对划分后的每个单元图像按照该单元图像中各个图像单元是否均为参考图像单元进行编码。当单元图像中各个图像单元均为参考图像单元时，仅需要记录该参考图像单元是保持图像单元，或者，在该参考图像单元不是保持图像单元时记录该参考图像单元的平移向量。

在步骤S220之后，可以向终端设备发送编码后的桌面图像。在采用第一编码单元进行编码的情况下，还可以向终端设备发送编码单元指示信息。编码单元指示信息用于指示编码后的当前桌面图像是采用第一编码单元对当前桌面图像进行编码得到的。

应当理解，可以根据编码后的当前桌面图像，生成码流，并将码流发送至终端设备。码流可以包括编码单元指示信息。

为了提高安全性，可以对发送的数据进行加密。但是加密计算会造成性能上的消耗。

在采用第一预设编码单元对当前桌面图像进行编码时，可以按照第一预设编码单元对所述当前桌面图像进行划分，以得到多个编码单元图像。

根据所述参考桌面图像中是否包括与每个所述编码单元图像相同的图像，确定所述编码单元图像的类型。

为了减小运算量，可以根据编码单元图像中图像单元的类型，确定编码单元图像的类型。

在一些实施例中，编码单元图像的类型可以是保持、平移或改变。当编码单元图像中的图像单元均为保持图像单元时，可以确定编码单元图像的类型为保持。当编码单元图像中的图像单元均为平移图像单元且每个平移图像单元的平移向量相等时，可以确定编码单元图像的类型为平移。否则，编码单元图像的类型为改变。

在另一些实施例中，编码单元图像的类型可以是参考或改变。保持和平移类型的编码单元图像均可以理解为类型为参考。

之后，可以对编码单元指示信息和所述多个编码单元图像的类型进行加密，以生成加密信息，所述编码单元指示信息用于指示所述第一预设编码单元的尺寸。

通过对编码单元指示信息以及当前桌面图像每个编码单元图像的类型进行加密，既能保证加密了关键信息，又使得加密的数据量较小。

可以向终端设备发送所述加密信息。

加密信息可以位于码流中。

终端设备接收码流后，根据编码单元指示信息，可以对编码后的当前桌面图像进行解码，以恢复当前桌面图像并进行显示。

本公开实施例提供的图像处理方法，能够在对当前桌面图像进行编码时，根据当前桌面图像相对参考图像的变化情况，对编码单元的大小进行调整，减小编码产生的数据量，提高编码效率和编码灵活度。另外，由于编码单元的大小的调整由图像的变化情况确定，不具有周期性等规律，数据传输的安全度得到提升。

基于上述图2对应的实施例提供的图像处理方法，本公开另一实施例提供一种图像处理方法，该方法可以应用于云服务系统。

参照图3所示，本实施例提供的图像处理方法包括步骤301至步骤307。

301、服务器将当前桌面图像与参考图像进行比较，以确定当前桌面图像中每个图像单元的单元类型。

参考图像可以是根据当前桌面图像的上一帧桌面图像确定的，例如参考图像可以是该上一帧桌面图像，或者，参考图像也可以是存储在服务器中的其他图像。一般情况下，参考图像与当前桌面图像的尺寸相同。

应当理解，每个图像单元的大小形状应当是相同的，例如，每个图像单元可以是16像素×16像素。为了提高处理效率，参考图像中各个像素单元互不重叠。也就是说，参考图像可以是由互不重叠的多个像素单元组成。

图像单元的单元类型，包括保持、平移和改变。当当前桌面图像中的某个位置的像素单元的图像与参考图像中该位置的图像相同，可以称该像素单元为保持类型的像素单元，即该像素单元的类型为保持。

当当前桌面图像中的某个位置的像素单元的图像与参考图像中其他位置的图像相同，可以称该像素单元为平移类型的像素单元，即该像素单元的类型为平移。

当当前桌面图像中的某个位置的像素单元的图像与参考图像中任何位置的图像均不相同，可以称该像素单元为改变类型的像素单元，即该像素单元的类型为改变。

也就是说，保持类型的像素单元的图像与参考图像中相同位置的图像相同，平移类型的像素单元的图像与参考图像中该像素单元之外的其他某个位置的图像相同。当某个像素单元的类型既不是保持也不是平移，则该像素单元的类型为改变。可以理解为，改变类型的像素单元与参考图像中该像素单元之外任何位置的图像均不相同。

在一些实施例中，可以通过逐个像素进行比较的方式，确定桌面图像中每个图像单元的单元类型。

302、服务器记录当前桌面图像的平移类型的像素单元中每个像素单元的平移向量，并确定其中数量最多的平移向量的数量。

数量最多的平移向量的数量，即数量最多的平移向量对应的平移类型的像素单元的数量。

平移向量可以是从平移类型的像素单元的位置指向参考图像中与该图像相同的图像的位置。也就是说，平移向量用于指示平移类型的像素单元的图像从参考图像到当前桌面图像的位置变化，或者说，平移向量用于指示平移类型的像素单元的图像在参考图像和当前桌面图像之间的位置差异。

服务器可以记录当前桌面图像中每个像素单元的单元类型。对于平移类型的像素单元，记录平移向量。

303、服务器根据当前桌面图像中保持类型的像素单元数量和数量最多的平移向量的数量，确定当前桌面图像对应的初始编码单元尺寸。

如图4所示，是用户进行文字编辑时的当前桌面图像。

在用户进行文字编辑时，相比于上一帧桌面图像，当前桌面图像中仅有占很小比例的像素单元中的图像发生变化，而大多数像素单元中的图像与上一帧桌面图像相同。以上一帧桌面图像相比，当前桌面图像中保持类型的像素单元数量占当前桌面图像总像素单元数量的大部分。

如图5所示的当前桌面图像，左半部分是静止的浏览器页面图像，右半部分是用户浏览的文本编辑器页面。其中，虚线所示的区域中的内容沿箭头方向移动。这种情况下，相比于上一帧桌面图像，当前桌面图像中虚线所示的区域之外的像素单元的类型为保持，虚线所示的区域中的像素单元的类型为平移，且每个像素单元的平移向量均相等。也就是说，以上一帧桌面图像作为参考图像，如图5所示的当前桌面图像中，当前桌面图像中保持类型的像素单元数量和数量最多的平移向量的数量之和可以是当前桌面图像中全部像素单元的数量。

如果当前桌面图像中保持类型的像素单元数量和数量最多的平移向量的数量之和大于或等于当前桌面图像中像素单元总数量的90％，可以确定当前桌面图像对应的初始编码单元尺寸包括大宏块的尺寸和中宏块的尺寸，其中，大宏块的尺寸可以是64像素×64像素，中宏块的尺寸可以是32像素×32像素。

如果当前桌面图像中保持类型的像素单元数量和数量最多的平移向量的数量之和大于或等于当前桌面图像中像素单元总数量的50％，可以确定当前桌面图像对应的初始编码单元尺寸包括中宏块的尺寸，但不包括大宏块的尺寸。

如果当前桌面图像中保持类型的像素单元数量和数量最多的平移向量的数量之和小于当前桌面图像中像素单元总数量的50％，可以确定当前桌面图像对应的初始编码单元尺寸为小宏块的尺寸。小宏块的尺寸可以于像素单元的尺寸相等，即可以是16像素×16像素。

根据数量最多的平移向量的数量之和确定初始编码单元尺寸，避免当前桌面图像中各个图像单元相对于参考图像无规则杂乱的平移情况下确定较大的初始编码单元尺寸。从而，能够仅在当前桌面图像中存在较大的连续区域相对参考图像平移或保持不变的情况下，确定较大的初始编码单元尺寸。

304、服务器根据当前桌面图像对应的初始编码单元尺寸，以及当前桌面图像之前预设数量的桌面图像中每个桌面图像对应的初始编码单元尺寸，确定当前桌面图像的最终编码单元尺寸。

服务器可以记录当前桌面图像之前预设数量的桌面图像对应的初始编码单元尺寸。

如果当前桌面图像对应的初始编码单元尺寸与该预设数量的桌面图像中每个桌面图像对应的初始编码单元尺寸均为大宏块的尺寸，则确定最终编码单元尺寸为大宏块的尺寸。

在当前桌面图像对应的初始编码单元尺寸与该预设数量的桌面图像中每个桌面图像对应的初始编码单元尺寸不是均为大宏块的尺寸的情况下，如果当前桌面图像对应的初始编码单元尺寸与该预设数量的桌面图像中每个桌面图像对应的初始编码单元尺寸均为中宏块的尺寸，则确定最终编码单元尺寸为中宏块的尺寸。

如果当前桌面图像对应的初始编码单元尺寸与该预设数量的桌面图像中每个桌面图像对应的初始编码单元尺寸中有至少一个初始编码单元尺寸及不包括大宏块的尺寸，也不包括小宏块的尺寸，确定最终编码单元尺寸为小宏块的尺寸。

如图6所示，可以通过两个队列记录10个桌面图像的初始编码单元尺寸。可以通过第一队列的10个比特(或者说“位”，bit)中的每个比特通过“0”和“1”分别表示该10个桌面图像中的一个桌面图像的初始编码单元尺寸是否包括大宏块的尺寸，通过第二队列的10个比特表示该10个桌面图像中的一个桌面图像的初始编码单元尺寸是否包括中宏块的尺寸。

在确定当前桌面图像对应的初始编码单元尺寸时，可以更新第一队列和第二队列，更新后的第一队列用于表示当前桌面图像以及之前的9个桌面图像中的每帧桌面图像的初始编码单元尺寸是否包括大宏块的尺寸，更新后的第二队列用于表示当前桌面图像以及之前的9个桌面图像中的每帧桌面图像的初始编码单元尺寸是否包括中宏块的尺寸。

当第一队列的10个比特均为“1”时，确定当前桌面图像的最终编码单元尺寸为大宏块的尺寸。当第一队列的10个比特不是均为“1”，第二队列的10个比特均为“1”时，确定当前桌面图像的最终编码单元尺寸为中宏块的尺寸。当第一队列的10个比特不是均为“1”，第二队列的10个比特也不是均为“1”时，确定当前桌面图像的最终编码单元尺寸为小宏块的尺寸。

305、服务器采用最终编码单元尺寸对当前桌面图像进行编码，以生成编码后的当前桌面图像。

服务器可以按照最终编码单元尺寸对当前桌面图像进行划分，以得到的多个编码单元图像。可以根据每个编码单元图像中的像素单元的类型，确定该编码单元图像的类型。

当编码单元图像的像素单元均为保持时，该编码单元图像的类型为保持。当编码单元图像的像素单元均为平移且平移向量相等时，该编码单元图像的类型为平移。当编码单元图像的类型既不是保持，也不是平移时，该编码单元图像的类型为改变。

服务器可以根据每个编码单元图像的类型，对当前桌面图像进行编码，以得到编码后的桌面图像。

306、服务器向终端设备发送编码单元指示信息和编码后的当前桌面图像。

编码单元指示信息用于指示最终编码单元尺寸。

服务器可以在发送编码后的当前桌面图像之前，向终端设备发送编码单元指示信息。服务器可以生成码流，码流可以包括编码单元指示信息和编码后的当前桌面图像。在码流中，编码单元指示信息可以位于编码后的当前桌面图像之前。

编码后的当前桌面图像可以包括当前桌面图像中按照最终编码单元尺寸进行划分得到的每个编码单元图像的类型。码流可以包括每个编码单元图像的类型。

服务器在发送码流之前，可以对码流中的最终编码单元尺寸和当前桌面图像每个编码单元图像的类型进行加密。

加密计算会造成性能上的消耗。因此，加密的数据选择非常重要。本公开实施例通过对最终编码单元尺寸以及当前桌面图像每个编码单元图像的类型进行加密，既能保证加密了关键信息，又使得加密的数据量较小。

307、终端设备根据编码单元指示信息对接收的编码后的当前桌面图像进行解码，还原当前桌面图像。终端设备通过显示设备显示还原的当前桌面图像。

终端设备可以按照编码单元指示信息指示的最终编码单元尺寸对编码后的当前桌面图像进行解码。

应当理解，终端设备可以对参考图像按照最终编码单元尺寸进行划分，从而对于类型为平移或保持的编码单元图像进行解码。

当前桌面图像中参考图像单元的数量大于或等于预设值，说明当前桌面图像中数量大于或等于预设值的图像单元与参考桌面图像相同位置的图像相同，或者是对参考桌面图像中尺寸为图像单元的图像进行平移得到的。

本公开实施例提供的图像处理方法，通过在参考图像单元的数量超过预设值时采用尺寸较大的第一预设编码单元对当前桌面图像进行编码，能够减小编码产生的数据量，提高编码效率。

基于上述图2和图3对应的实施例提供的图像处理方法，本公开另一实施例提供一种图像处理方法，该方法可以应用于云服务系统。服务器包括GPU、GPU对应的存储器、CPU、CPU对应的存储器。每个处理器对应的存储器中，可以存储该处理器的待处理数据，也可以存储该处理器的数据处理结果。

基于上述图2至图6对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。

本公开实施例提供一种图像处理设备，如图7所示。图像处理装置500可以是服务器。该图像处理设备500包括：存储模块501和处理模块502。

存储模块501用于存储程序。

当所述程序在处理模块502中执行时，所述处理模块502用于执行前文的图像处理方法。

处理模块502用于，获取当前桌面图像，所述当前桌面图像包括多个尺寸相等的图像单元。

处理模块502还用于，当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。

可选地，所述参考图像单元为平移图像单元和/或保持图像单元，所述当前桌面图像中的所述平移图像单元的平移向量相等，每个所述平移图像单元的平移向量用于指示所述平移图像单元的图像在所述当前桌面图像与所述参考图像中的位置变化，所述保持图像单元的图像与所述参考图像中相同位置的图像相同。

可选地，处理模块502还用于，当所述多个图像单元中所述参考图像单元的数量小于所述预设值时，以尺寸与所述图像单元相同的第二预设编码单元对所述当前桌面图像进行编码。

可选地，所处理模块502还用于，当所述当前桌面图像以及所述当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值时，以所述第一预设编码单元对所述当前桌面图像进行编码。

可选地，处理模块502还用于，按照第一预设编码单元对所述当前桌面图像进行划分，以得到多个编码单元图像。

处理模块502还用于，根据所述参考桌面图像中是否包括与每个所述编码单元图像相同的图像，确定所述编码单元图像的类型。

处理模块502还用于，对编码单元指示信息和所述多个编码单元图像的类型进行加密，以生成加密信息，所述编码单元指示信息用于指示所述第一预设编码单元的尺寸。

处理模块502还用于，向终端设备发送所述加密信息。

本公开实施例提供的图像处理设备，能够减小编码产生的数据量，提高编码效率。

基于上述图2至图3对应的实施例中所描述的图像处理方法，本公开实施例还提供一种图像处理装置，如图8所示。

图像处理装置600包括存储器601和处理器602。图像处理装置600可以是服务器。

存储器601用于存储程序指令。

当所述程序在处理器602中执行时，所述处理器602用于执行前文中的图像处理方法。

处理器602用于，获取当前桌面图像，所述当前桌面图像包括多个尺寸相等的图像单元。

处理器602还用于，当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。

可选地，所述参考图像单元为平移图像单元和/或保持图像单元，所述当前桌面图像中的所述平移图像单元的平移向量相等，每个所述平移图像单元的平移向量用于指示所述平移图像单元的图像在所述当前桌面图像与所述参考图像中的位置变化，所述保持图像单元的图像与所述参考图像中相同位置的图像相同。

可选地，处理器602还用于，当所述多个图像单元中所述参考图像单元的数量小于所述预设值时，以尺寸与所述图像单元相同的第二预设编码单元对所述当前桌面图像进行编码。

可选地，处理器602还用于，当所述当前桌面图像以及所述当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值时，以所述第一预设编码单元对所述当前桌面图像进行编码。

可选地，处理器602还用于，按照第一预设编码单元对所述当前桌面图像进行划分，以得到多个编码单元图像。

处理器602还用于，根据所述参考桌面图像中是否包括与每个所述编码单元图像相同的图像，确定所述编码单元图像的类型。

处理器602还用于，对编码单元指示信息和所述多个编码单元图像的类型进行加密，以生成加密信息，所述编码单元指示信息用于指示所述第一预设编码单元的尺寸。

处理器602还用于，向终端设备发送所述加密信息。

基于上述图2至图3对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图2和图3对应的实施例中所描述的应用于终端设备或服务器的图像处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取当前桌面图像，所述当前桌面图像包括多个尺寸相等的图像单元；

当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。

2.根据权利要求1所述的方法，其特征在于，所述参考图像单元为平移图像单元和/或保持图像单元，所述当前桌面图像中的所述平移图像单元的平移向量相等，每个所述平移图像单元的平移向量用于指示所述平移图像单元的图像在所述当前桌面图像与所述参考图像中的位置变化，所述保持图像单元的图像与所述参考图像中相同位置的图像相同。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

当所述多个图像单元中所述参考图像单元的数量小于所述预设值时，以尺寸与所述图像单元相同的第二预设编码单元对所述当前桌面图像进行编码。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，包括：

当所述当前桌面图像以及所述当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值时，以所述第一预设编码单元对所述当前桌面图像进行编码。

5.根据权利要求1-4所述的方法，其特征在于，所述以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，包括：

按照第一预设编码单元对所述当前桌面图像进行划分，以得到多个编码单元图像；

所述方法还包括：

根据所述参考桌面图像中是否包括与每个所述编码单元图像相同的图像，确定所述编码单元图像的类型；

对编码单元指示信息和所述多个编码单元图像的类型进行加密，以生成加密信息，所述编码单元指示信息用于指示所述第一预设编码单元的尺寸；

向终端设备发送所述加密信息。

6.一种图像处理装置，其特征在于，包括存储器和处理器；

所述存储器拥有存储程序；

当所述程序在所述处理器中执行时，所述处理器用于：

获取当前桌面图像，所述当前桌面图像包括多个尺寸相等的图像单元；

当所述多个图像单元中参考图像单元的数量大于或等于预设值时，以尺寸与多个所述图像单元相等的第一预设编码单元对所述当前桌面图像进行编码，参考桌面图像中包括与所述参考图像单元相同的图像。

7.根据权利要求6所述的装置，其特征在于，所述处理器还用于，所述参考图像单元为平移图像单元和/或保持图像单元，所述当前桌面图像中的所述平移图像单元的平移向量相等，每个所述平移图像单元的平移向量用于指示所述平移图像单元的图像在所述当前桌面图像与所述参考图像中的位置变化，所述保持图像单元的图像与所述参考图像中相同位置的图像相同。

8.根据权利要求6或7所述的装置，其特征在于，所述处理器还用于，当所述多个图像单元中所述参考图像单元的数量小于所述预设值时，以尺寸与所述图像单元相同的第二预设编码单元对所述当前桌面图像进行编码。

9.根据权利要求6-8中任一项所述的装置，其特征在于，所述处理器还用于，当所述当前桌面图像以及所述当前桌面图像之前预设数量的桌面图像中参考图像单元的数量大于或等于预设值时，以所述第一预设编码单元对所述当前桌面图像进行编码。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述处理器还用于：

按照第一预设编码单元对所述当前桌面图像进行划分，以得到多个编码单元图像；

根据所述参考桌面图像中是否包括与每个所述编码单元图像相同的图像，确定所述编码单元图像的类型；

对编码单元指示信息和所述多个编码单元图像的类型进行加密，以生成加密信息，所述编码单元指示信息用于指示所述第一预设编码单元的尺寸；

向终端设备发送所述加密信息。

Images