CN112114760A - 图像处理方法及装置 - Google Patents

Abstract

本公开提供一种图像处理的方法和装置，涉及图像处理领域，能够解决对桌面图像压缩或传输过程中数据量较大的问题。具体技术方案为：获取桌面图像，所述桌面图像包括多个图像块；在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像；根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。本发明用于降低需要编码的数据量。

Description

图像处理方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法及装置。

背景技术

在桌面虚拟化基础架构(Virtual Desktop Infrastructure，VDI)中，服务器需要将虚拟桌面图像进行编码后通过网络发送给远程客户端，远程客户端解码并且显示相应的虚拟桌面图像。

现有的视频编码方案，采用帧间预测的方式降低码流。在对当前帧进行编码时，会将当前帧与参考帧进行比较，如果在某一区域，当前帧与参考帧的图像相同，则直接记录该区域在当前帧中的位置信息。在解码时，根据该位置信息，利用参考帧的图像恢复该区域的数据。这种方案实际上省略了对当前帧的上述区域的编解码过程，减少了编解码计算时间，降低了码流。

如何利用虚拟桌面图像等计算机合成图像的特点，降低图像编码所需的数据量，从而在有限的带宽下，进一步削减服务器和远程客户端之间的传输流量，是VDI技术中的关键问题。

发明内容

本公开实施例提供一种图像处理方法及装置，能够降低需要进行编码的数据数量。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：获取桌面图像，所述桌面图像包括多个图像块；在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像；根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。

通过在参考图像中，确定与桌面图像中第一图像块相同的第一区域图像，利用第一区域图像进行编码，从而无需对第一图像块各个像素进行编码，降低编码的数据量，从而降低码流。

在一个实施例中，该方法还包括：所述第一图像块包括多个目标像素，所述多个目标像素为所述第一图像块中的部分像素，所述在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像，包括：确定所述参考图像中的多个参考像素，所述多个参考像素之间的相对位置与所述多个目标像素之间的相对位置相同，每个所述参考像素与相对应位置的目标像素的颜色相同；确定所述第一区域图像，所述多个参考像素在所述参考考图像中的位置与所述多个目标像素在所述第一图像块中的位置相同。

在参考图像中确定与多个目标像素的相对位置相同，且对应位置颜色相同的多个参考像素，并根据该多个参考像素确定第一区域图像，可以降低计算量。

在一个实施例中，所述多个目标像素的颜色不同。

将颜色不同的多个像素作为目标像素，提高确定第一区域图像的效率，降低计算量。

在一个实施例中，所述多个图像块中的第二图像块与所述参考图像中的第二区域图像的图像相同，所述第二图像块与所述第一图像块相邻，并且所述第二图像块与所述第一图像块的相对位置、所述第二区域图像与所述第一区域图像的相对位置，所述位置信息包括：所述第一图像块和所述第二图像块在所述桌面图像中的位置，以及所述第一图像在所述桌面图像中的位置相对于所述第一区域图像在所述参考图像中的位置的偏移量。

一方面，通过位置信息对扩大区域进行指示，一定程度上可以降低位置信息的数据量。另一个方面，一个扩大区域中各个图像块的偏移量相同，因此对于一个扩大区域，可以仅对偏移量进行一次编码，降低徐亚编码的数据量。

在一个实施例中，所述参考图像包括多个单元图像，所述多个单元图像中的第一单元图像为所述桌面图像的上一帧图像在所述第一单元图像所在位置的图像，所述多个单元图像中的第二单元图像为所述第二单元图像所在位置的最高频图像。

通过在参考图像中设置多个单元图像，兼容上一帧图像和最高频图像。在一个单元中的图像的变化满足预设条件时，参考图像中该单元的单元图像为上一帧图像中该单元的图像，从而使得参考图像的设置考虑桌面图像的变化情况，可以进一步增加与参考图像中图像相同的桌面图像中图像块的数量，减小需要编码的数据量。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取模块、确定模块和编码模块；所述获取模块用于，获取桌面图像，所述桌面图像包括多个图像块；所述确定模块用于，在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像；所述编码模块用于，根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。

通过在参考图像中，确定与桌面图像中第一图像块相同的第一区域图像，利用第一区域图像进行编码，从而无需对第一图像块各个像素进行编码，降低编码的数据量，从而降低码流。

在一个实施例中，所述第一图像块包括多个目标像素，所述多个目标像素为所述第一图像块中的部分像素，所述确定模块用于，确定所述参考图像中的多个参考像素，所述多个参考像素之间的相对位置与所述多个目标像素之间的相对位置相同，每个所述参考像素与相对应位置的目标像素的颜色相同；所述确定模块还用于，确定所述第一区域图像，所述多个参考像素在所述参考考图像中的位置与所述多个目标像素在所述第一图像块中的位置相同。

在参考图像中确定与多个目标像素的相对位置相同，且对应位置颜色相同的多个参考像素，并根据该多个参考像素确定第一区域图像，可以降低计算量。

在一个实施例中，所述多个目标像素的颜色不同。

将颜色不同的多个像素作为目标像素，提高确定第一区域图像的效率，降低计算量。

在一个实施例中，所述多个图像块中的第二图像块与所述参考图像中的第二区域图像的图像相同，所述第二图像块与所述第一图像块相邻，并且所述第二图像块与所述第一图像块的相对位置、所述第二区域图像与所述第一区域图像的相对位置，所述位置信息包括：所述第一图像块和所述第二图像块在所述桌面图像中的位置，以及所述第一图像在所述桌面图像中的位置相对于所述第一区域图像在所述参考图像中的位置的偏移量。

一方面，通过位置信息对扩大区域进行指示，一定程度上可以降低位置信息的数据量。另一个方面，一个扩大区域中各个图像块的偏移量相同，因此对于一个扩大区域，可以仅对偏移量进行一次编码，降低徐亚编码的数据量。

在一个实施例中，所述参考图像包括多个单元图像，所述多个单元图像中的第一单元图像为所述桌面图像的上一帧图像在所述第一单元图像所在位置的图像，所述多个单元图像中的第二单元图像为所述第二单元图像所在位置的最高频图像，所述第一单元图像所在位置的图像在所述桌面图像之前的多帧图像中的变化满足预设条件。

通过在参考图像中设置多个单元图像，兼容上一帧图像和最高频图像。在一个单元中的图像的变化满足预设条件时，参考图像中该单元的单元图像为上一帧图像中该单元的图像，从而使得参考图像的设置考虑桌面图像的变化情况，可以进一步增加与参考图像中图像相同的桌面图像中图像块的数量，减小需要编码的数据量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种虚拟桌面图像传输系统的示意图；

图2是自然图像的变化情况示意图；

图3是桌面图像的变化情况示意图；

图4是本公开实施例提供的一种图像处理方法的示意性流程图；

图5是本公开实施例提供的另一种图像处理方法的示意性流程图；

图6是桌面图像划分的示意图；

图7是本公开实施例提供的又一种图像处理方法的示意性流程图；

图8是桌面图像的图形块与参考图像的区域图像的示意图；

图9是本公开实施例提供的又一种图像处理方法的示意性流程图；

图10是本公开实施例提供的又一种图像处理方法的示意性流程图；

图11是本公开实施例提供的又一种图像处理方法的示意性流程图；

图12是本公开实施例提供的一种图像处理装置的结构图；

图13是本公开实施例提供的一种图像处理装置的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为便于理解本公开实施例，首先以图1中示出的虚拟桌面图像传输系统为例详细说明适用于本公开实施例的虚拟桌面图像传输系统。图1是本公开实施例提供的虚拟桌面图像传输系统的示意图。

图1所示的虚拟桌面图像传输系统中包括终端设备11和服务器12，终端设备11与用户相对应，即用户可以在终端设备11上进行相应的操作。终端设备11例如可以为计算机、手机、平板电脑、笔记本电脑、电视机机顶盒等VDI设备。本公开实施例对图像传输系统所包括的终端设备11的数量不做限定，例如可以为1个、2个或者更多个。服务器12可以是单个服务器，也可以是服务器集群。

终端设备11与服务器12建立远程桌面连接，终端设备11接收用户相应操作(例如通过键盘或者鼠标的输入)，并将操作信息传输至服务器12。服务器12根据接收的操作信息进行处理得到相应的虚拟桌面图像，并对虚拟桌面图像进行编码，之后通过网络传输给终端设备11。终端设备11对编码后的虚拟桌面图像进行解码、恢复，之后进行显示。

图像有自然图像和计算机合成图像两大类。自然图像指的是自然界真实存在的景色，人们生活中看到的电影、电视内容均为自然图像。计算机合成图像是采用计算机图形学技术，通过计算机上显卡计算得到的人造图像，例如办公软件的界面，游戏画面，网页文字，软件生成的矢量图、渲染图等等。

目前应用广泛的视频编码方案，采用帧间预测的方式降低码流。在对当前帧进行编码时，会将当前帧与参考帧进行比较，如果在某一区域，当前帧与参考帧的图像相同，则直接记录该区域在当前帧中的位置信息。在解码时，根据该位置信息，利用参考帧的图像恢复该区域的数据。上述方案实际上省略了对当前帧的上述区域的编解码过程，采用该方案对自然图形进行编码，能够减少编解码计算时间，并降低编码生成的码流。

服务器12通常基于自然图像在空间域和时间域的相关性来对图像进行编码。然而，区别于自然图像，虚拟桌面图像有着自己的特点。

如图2中的A和B，分别是连个相邻时刻的自然图像。整帧的大部分像素都在或多或少的发生变化，天空的部分变化较小，但同样也在变化。

如图3所示的虚拟桌面图像，用户对A区域所示的文档进行编辑时，只有A区域中部分像素发生变化，A区域外的虚拟桌面图像则完全不会变化。

自然图像的特点是全帧自然变化，很少出现仅某个区域内图像始终变化，而其他区域图像完全不变的情形。而这种情形在计算机图像中常常出现。例如，打字员在打字时，电脑屏幕上只有文字编辑器窗口内在变化，窗口外的其他区域完全没有变化。可以利用这个特点，对虚拟桌面图像等计算机合成图像的进行处理，从而进一步提高编码效率，降低码流。

图4是本公开实施例提供的一种图像处理方法的示意性流程图。该图像处理方法包括步骤210至步骤230。

210、获取桌面图像，所述桌面图像包括多个图像块。

该多个图像块的大小可以相同或不行同。两个不同的图像块之间可以重叠或不重叠。该多个图像块可以包括桌面图像的全部区域。

为了降低计算量，该多个图像块之间不存在重叠。

一般情况下，在获取桌面图像之后，可以对桌面图像按照目标尺寸进行切割，得到多个不重叠的图像块。下面，以这种方式为例进行说明。

220、在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像。

可以对参考图像按照目标尺寸进行切割，得到多个互不重叠的多个区域图像。分别将桌面图像中的每个图像块作为第一图像块，与多个区域图像进行比较，从而可以在该多个区域图像中确定与第一图像块的图像相同的第一区域图像。

大对数情况下，桌面图像中画面的移动距离，并不知道目标尺寸的长度或宽度的整数倍。为了在这种情况下，从参考图像中找到与桌面图像各个图像块相同的区域，可以采用滑窗的方式对参考图像进行处理。

示例性地，可以使得尺寸与所述第一图像块相同的窗口在参考图像中滑动。在滑动过程中所述窗口中的窗口图像与第一图像块中的图像相同时，确定所述窗口图像为所述第一区域图像。

一般情况下，桌面图像的多个图像块是按照目标尺寸进行分割得到的，窗口的大小为目标尺寸。

在一些实施例中，可以分别将桌面图像中的每个图像块作为第一图像块，通过窗口滑动的方式确定参考图像中是否存在与第一图像块的像素相同的区域。

在另一些实施例中，在桌面图像的多个图像块是按照目标尺寸进行分割得到的情况下，以目标尺寸为窗口在参考图像中滑动，并保存每次滑动得到的图像，从而生成滑动图像集合。

应当理解，还可以记录滑动图像集合中的每个图像的位置信息。

之后，可以将桌面图像中的每个图像块分别作为第一图像块，与滑动图像集合中的每个图像进行比较，从而确定参考图像中是否存在与第一图像块的像素相同的区域。

按照目标尺寸对桌面图像进行划分，可以降低计算量。

通过滑窗的方式对参考图像进行处理，再将滑窗内的图像与第一图像块进行比较，计算量较大。

为了降低计算量，可以确定第一图像块中的多个目标像素。

可以确定所述参考图像中的多个参考像素，所述多个参考像素之间的相对位置与所述多个目标像素之间的相对位置相同，每个所述参考像素与相对应位置的目标像素的颜色相同。

例如，参考图像中的多个参考像素

根据所述多个参考像素，确定所述第一区域图像，所述多个参考像素在所述参考考图像中的位置与所述多个目标像素在所述第一图像块中的位置相同。

如果第一图像块中各个像素的颜色不完全相同，多个目标像素的颜色不同。多个目标像素可以是颜色各不相同的像素。

多个目标像素的颜色不相同，在已经确定多个参考像素的情况下，可以提高第一图像块与参考区域的图像相同的可能性。

采用颜色不相同且相邻的多个目标像素，在已经确定多个参考像素的情况下，可以进一步提高第一图像块与参考区域的图像相同的可能性。

230、根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。

位置信息可以是第一区域图像在所述参考图像中的位置。

或者，位置信息也可以通过第一图像块相对于第一区域图像的偏移量表示。

也可以确定所述第一图像块相对于所述第一区域图像的偏移量。可以根据所述偏移量，对所述桌面图像进行编码。

在参考图像中确定与第一图像块的图像相同的第一区域图像之后，可以确定该第一图像块相对于第一区域图像的偏移量。

偏移量为矢量，可以通过向量等方式表示。

本公开实施例提供的图像处理方法，通过步骤210至步骤230，能够实现在参考图像中的全部区域查找与桌面图像的图像块相同的区域，减少需要编码的数据量，从而降低码流。

为了降低计算量，在确定第一图像块与参考图像中的第一区域图像相同之后，可以对第一图像块进行扩展。

以第一区域图像为上一帧桌面图像为例进行说明。当前桌面图像中的第一图像块与该桌面图像的上一帧图像中的第一区域图像相同的情况下，在第一图像块周围的图像块很有可能与第一区域图像周围其他区域的图像相同。如果对于每个图像块都与通过滑窗得到的窗口图像进行比较，计算量较大。

可以在步骤220之后，判断第一图像块周围的图像块是否与第一区域图像周围其他区域的图像相同，仅在第一图像块周围的图像块是否与第一区域图像周围其他区域的图像不相同的情况下，对第一图像块周围的图像块与参考图像中其他区域的图像进行比较，从而可以减小计算量，降低对计算资源的占用。

具体地，第二图像块与第一图像块相邻且位于第一图像块的预设相对位置，第二区域图像与第一区域图像相邻且位于第一区域图像的预设相对位置。可以判断第二图像块是否与第二区域图像的图像相同。应当理解，第二图像块位于第一图像块的预设相对位置，第二区域图像也位于第一区域图像的该预设相对位置，说明第二图像块和第一图像块之间的相对位置，与第二区域图像和第一区域图像之间的相对位置是相同的。

进一步地，根据所述第一图像块的第一位置和所述预设相对位置，可以生成第一位置信息。第一位置信息用于指示第一图像块和第二图像块在所述桌面图像中的位置。

根据所述偏移量和第一位置信息，对所述桌面图像进行编码。

由于第一图像块和第二图像块对应的偏移量相同，根据偏移量和第一位置信息进行编码，需要编码的信息中，偏移量仅需要经过一次编码。与分别对第一图像块和第一图像块的偏移量、第二图像块和第二图像块的偏移量分别进行编码的方式相比，减少了需要编码的数据量，从而降低了码流。

应当理解，第一位置信息能够指示第一图像块和第二图像块在桌面图像中的位置即可。例如，第一位置信息可以是第一图像块和第二图像块的位置或标识，或者，第一位置信息也可以是第一区域图像和第二区域图像的标识。当第一位置信息是第一区域图像和第二区域图像的标识时，由于解码端可以在码流中获取偏移量，从而可以根据偏移量确定第一图像块和第二图像块的位置。

由于桌面图像可能包括纯色区域，这些纯色区域中各个像素的颜色相同。一个纯色区域可能被划分为多个图像块。

参考图像可以是上一帧桌面图像，也可以是最频繁桌面图像。

或者，参考图像可以包括多个单元图像，其中，部分单元图像可以是桌面图像的上一帧图像在该部分单元图像所在位置的图像，另一部分单元图像可以是该另一部分单元图像所在位置的最高频图像。

单元图像所在位置的最高频图像，可以理解为在一段预设时间段中，在该位置最经常出现的图像。

可以在该单元图像频繁变化(例如连续多帧均变化)的情况下，将该单元图像所在位置的最高频图像作为在参考图像中该位置的图像。

从而，参考图像可以兼顾历史上最频繁和时间上最新两个特征，进一步降低码流。

应当理解，当采用对参考图像按照目标尺寸进行切割，得到多个互不重叠的多个区域图像，并将桌面图像中的每个图像块作为第一图像块与该多个区域图像进行比较的方式时，参考图像中的单元图像的划分方式可以与区域图像的划分方式相同。

当采用滑窗的方式对参考图像进行处理时，每个单元图像的大小可以相同或不同。在一些实施例中，每个单元图像的尺寸可以为目标尺寸。

基于上述图4对应的实施例提供的图像处理方法，本公开另一实施例提供一种图像处理方法，该方法可以应用于图1所示的服务器12等。本实施例以服务器对需要桌面图像进行编码，并将编码后的数据发送至终端设备，终端设备对进行解码为例进行说明，并不代表本公开局限于此。参照图5所示，本实施例提供的图像处理方法包括以下步骤：

501、服务器按照目标尺寸对桌面图像进行划分，以得到多个图像块。

如图6所示，将当前帧的桌面图像划分为多个图像块。每个图像块也可以称为一个桌面区域图像。

目标尺寸的大小可以为任何值。为便于描述，本公开实施例以桌面图像的尺寸为1920*1080像素，目标尺寸为128*64像素为例进行说明，桌面图像均匀划分成255个图像块。

一般情况下，编码的最小单位为宏块(micro block)，尺寸为16像素*16像素。目标尺寸为宏块的整数倍。也就是说，每个图像块的大小为宏块的整数倍。

以宏块为单位进行编码，是计算机编解码技术最常用的技术，同时也是效率最高的，因此本公开实施例仍然沿用。

502、服务器将每个图像块与预设的参考图像进行比较。

可以按照目标尺寸对参考图像进行划分，以得到多个参考区域图像。对当前帧的桌面图像，将当前帧的每个区域图像与每个参考区域图像进行比较，判断参考图像中是否存在与每个图像块的图像相同的参考块。也就是说，对当前帧的桌面图像，以参考区域图像为单位进行遍历。

应当理解，可以保存映射表，在映射表用于记录每个参考块的图像。每个参考块可以通过标识或位置表示。

503、服务器根据比较结果，生成码流。

对于与某个参考区域图像相同的区域，可以记录该参考区域图像的位置信息。参考区域图像的位置信息可以使参考区域图像在参考图像中的位置，也可以是该参考区域图像的标识等。

在码流中，可以通过参考区域图像的位置信息表示与该参考区域图像相同的图像块，无需对该图像块进行压缩等方式的编码。也就是说，可以将该参考区域图像的位置信息作为该图像块对应的码流。

在一些实施例中，可以通过类型标识指示每个图像块是否与某个参考区域图像相同，并根据该类型表示生成码流。也就是说，码流可以包括每个图像块的类型标识。

对于参考图像中不存在相同图像的图像块，对该图像块进行压缩方式的编码，以生成压缩编码信息，码流包括该压缩编码信息。

504、服务器向终端设备发送码流。

505、终端设备根据码流和参考图像，恢复当前帧的桌面图像。

当确定某个图像块与某个参考区域图像相同时，可以读取码流中携带的该参考区域图像的位置信息，并根据该位置信息，将参考图像中该位置信息处的参考区域图像作为该区域图像。从而完成对当前帧的桌面图像的解码。

应当理解，在服务器与终端设备保存有相同的参考图像。

通过步骤501至步骤505，终端设备能够得到与服务器中的桌面图像相同的图像，并且可以减少传输的数据量，即减少了传输的码流，降低对传输资源的占用。

在图5所示的图像处理方法的基础上，为了进一步减小对传输资源的占用，可以采用如图7所示的图像处理方法。参照图7所示，本实施例提供的图像处理方法包括以下步骤：

501、服务器按照目标尺寸对桌面图像进行划分，以得到多个图像块。

502、服务器确定第一图像块与参考图像中的第一区域图像相同。

服务器将多个图像块中的第一图像块与预设的参考图像进行比较，在第一图像块与参考图像中的第一区域图像相同的情况下，计算第一图像块相对于第一区域图像在位置上的第一偏移。

可以按照目标尺寸对参考图像进行划分，以得到多个参考区域图像。应当理解，参考图像与桌面图像的大小相同。

第一图像块可以是桌面图像中任意一个图像块。第一图像块相对于第一区域图像在位置上的偏移，也可以理解为第一图像块在桌面图像中的位置与第一区域图像在参考图像中的位置之间差异。

703、服务器将第二图像块与第二区域图像进行比较。

第二图像块是桌面图像中与第一图像块相邻的图像块，第二区域图像是参考图像中与第一区域图像相邻的参考区域图像，并且，第二图像块与第一图像块的相对位置、第二区域图像与第一区域图像的相对位置相同。

在确定第一图像块与参考图像中的第一区域图像相同时，在第一图像块周围的图像块很有可能也与第一区域图像周围的参考区域图像相同。第一图像块与参考图像中的第一区域图像相同的情况下，将第二图像块与第二区域图像进行比较，可以降低计算量。

在第二图像块与第二区域图像相同的情况下，可以确定第二图像块与第二区域图像在位置上的偏移与第一图像块相对于第一区域图像在位置上的偏移相同，也是第一偏移。

在第二图像块与第二区域图像相同的情况下，执行步骤704。

704、更新扩大区域，扩大区域包括第一图像块和第二图像块。

也就是说，以第一图像块为基点，可以向四周扩展，即判断第一图像块的相邻区域是否也与第一区域图像的相邻区域图像相同。如果相同，则将该区域和相邻区域合并成为扩大区域。

之后，可以将该第二图像块作为第一图像块，返回执行步骤703和步骤704。

对于第一图像，对每个相邻的图像都进行步骤703和步骤704的处理。在第二图像块与第二区域图像不相同的情况下，执行步骤705。

通过步骤703和步骤704，第一图像块为基础，多次将与第一图像块相图像块与第一图像块合并，得到扩大区域，进而以扩大区域为基础，继续将扩大区域的相邻图像块与参考图像对应位置的图像进行匹配。若匹配成功，则将该相邻图像块添加在扩大区域中，即对扩大区域进行更新。这样，可以获取最大的与参考图像相同的桌面图像区域。

705、根据第一偏移量和第一位置信息，对桌面图像进行编码。第一位置信息用于指示扩大区域在所述桌面图像中的位置。

也就是说，扩大区域可以使用同一个偏移量，并且可以通过同一个位置信息进行标示，从而可以减少需要传输的数据量，降低码率。

扩大区域例如可以是矩形区域，可以表示通过位于扩大区域左上角的图像块，以及水平方向的图像块数量、数值方向的图像块数量表示。也就是说，通过扩大区域的宽和高，以及扩大区域中预设图像块的信息，就可以表示该扩大区域。

从而，服务器可以不对扩大区域进行编码，将扩大区域的类型标记为“区域参考”类型。

之后，进行步骤504至步骤505。

终端设备解析接收到的码流。根据码流中指示“区域参考”类型对应的扩大区域的第一位置信息，以及第一偏移量，结合参考图像，确定扩大区域对应的图像。

本公开实施例提供的图像处理方法，在当前帧中的多个相邻的图像块与参考图像相邻的多个区域的图像相同的情况下，当前帧中的多个区域可以使用同一个位置信息和偏移量，进一步降低了码流。

图5和图7所示的图像处理方法具有一定局限性。

通过图5和图7所述的方法，与参考图像的区域图像相同的图像块一般情况下都是是纯色区域。而非纯色区域与参考图像的区域图像相同的情况很少出现。

图8中的A所示为桌面图像中的一个图像块，图8中的B所示为参考图像中的一个区域图像。人眼可观察到，与区域图像相比，图像块移动了一定距离。但根据图5或图7所示方法，将图8中的A所示的图像块与图8中的B所示的区域图像进行比较，两者的图像是不同的。

这种情形在非纯色区域上是非常常见的，因为图像内容的移动距离恰好为目标尺寸的长度或宽度的可能性很低。

在图5和图7所示的图像处理方法的基础上，为了进一步减小对传输资源的占用，可以采用如图9所示的图像处理方法。参照图9所示，本实施例提供的图像处理方法包括以下步骤：

501、服务器按照目标尺寸对桌面图像进行划分，以得到多个图像块。

将该多个图像块分别作为第一图像块，从而遍历每个图像块。

902、服务器将第一图像块与参考图像进行比对，当第一图像块与参考图像中的第一区域图像相同时，确定第一图像块与第一区域图像之间位置的第一偏移量。

具体地，可以进行图10所示的步骤9021至步骤9023。

9021、在第一图像块中选择多个目标像素，该多个目标像素的颜色不相同。根据该多个目标像素之间的第一相对位置关系，在参考图像中查找多个参考像素，该多个参考像素与该多个目标像素相同。

该多个目标像素的颜色可以均不相同。

9022、当参考图像中存在该多个参考像素时，确定参考图像中的参考区域，该多个目标像素在桌面图像中的位置与该多个参考像素在该参考区域中的位置相同。

具体地，该多个目标像素可以相邻或不相邻。

该多个目标像素是某个区域中连续的多个像素。例如，该多个目标像素可以包括某个像素，以及以某个像素为中心环绕在该像素周围的多个像素。

9023、比较第一图像块与参考区域的图像是否相同。

当第一图像块与参考区域的图像相同时，确定该参考区域的图像为为第一区域图像。

之后，可以计算第一图像块相对于第一区域图像在位置上的第一偏移，可以进行图5所示的步骤503至步骤505，也可以进行图7所示的步骤703至步骤705。

多个目标像素的颜色不相同，在已经确定多个参考像素的情况下，可以提高第一图像块与参考区域的图像相同的可能性。

采用颜色不相同且相邻的多个目标像素，在已经确定多个参考像素的情况下，可以进一步提高第一图像块与参考区域的图像相同的可能性。

在图5、图7和图9所示的图像处理方法的基础上，为了进一步减小对传输资源的占用，可以采用如图11所示的图像处理方法。参照图11所示，本实施例提供的图像处理的方法包括步骤1101至步骤1107。

1101、划分桌面图像。

根据目标尺寸，对桌面图像进行划分，以得到多个互不重叠的图像块。

将其中任意一个图像块作为第一图像块。判断第一图像块是否为纯色。

如果第一图像块为纯色，进行步骤1102；如果第一图像块不是纯色，进行步骤1103。

1102、比较第一图像块与参考图像中的多个预设区域图像。

根据目标尺寸，对参考图像进行划分，以得到多个互不重叠的预设区域图像。

在参考图像中不存在与第一图像块的图像相同的个预设区域图像时，进行1103；在参考图像中存在与第一图像块的图像相同的个预设区域图像时，进行1106。

在1103、在第一图像块中确定多个目标像素。

在第一图像为非纯色图像时，该多个目标像素可以是颜色各不相同的多个像素。

在1104、判断参考像素中是否包括多个参考像素。

该多个参考像素之间的相对位置与该多个目标像素的相对位置相同，且在每个参考像素与对应位置的目标像素的颜色相同。

如果参考图像包括该多个参考像素，则进行步骤1105。否则，如果参考图像不包括该多个参考像素，则进行步骤1107。

1105、判断参考图像中第一图像块是否与第一图像块的图像相同。

在参考图像中，可以确定第一区域图像。第一区域图像中该多个参考像素的位置与第一图像块中该多个目标像素的位置相同。

如果第一图像块与第一区域图像相同，则进行步骤1106。否则，如果第一图像块与第一区域图像不相同，则进行步骤1107。

1106、确定扩展区域。

扩展区域包括第一图像块。扩展区域还可以包括与第一图像块周围的图像块。扩展区域中除第一图像块之外的各个图像块均为第二图像块。第二图像块位于桌面图像中第一图像块的第一相对位置，参考图相中第二区域图像也位于第一区域图像的第一相对位置，且第二图像块与第二区域图像的图像相同。

通过确定扩大区域，可以降低计算量。

1107、生成码流。

对于扩展区域，确定偏离量。根据扩展区域在桌面图像中的位置，以及偏离量，可以对扩展区域进行编码，已生成扩大区域对应的码流。

偏离量可以表示为偏离向量，表示第一图像块与第一区域图像之间的位置差异。或者，偏移量也可以表示为参考图像中该扩大区域对应的图像所在的位置。

扩大区域对应的图像，即参考图像中与扩大区域相同的图像。

应当理解，图像桌面中的扩大区域可以是一个或多个。

对于扩大区域之外的图像块，可以对图像或宏块进行编码，已生成该图像块对应的码流。

图11所示的步骤1101至步骤1107可以由服务器12或其他桌面图像的发送端执行。

之后，可以进行图5所示的步骤504至步骤505。

下面，对参考图像的同步机制进行简要说明。

由于本公开实施例要求编解码两端(编码端即如图11所示的服务器，解码端即如图11所示的终端设备)保存有相同的参考图像。在一些实施例中，可以对参考图像进行周期性同步。同步过程中，可以将参考图像中采用最高频图像的单元指示信息携带在其中某一个帧编码码流中发送，也可以将这些单元中每个单元的最高频图像进行传输。

或者，编码端和解码端可以采用相同的方式进行判断，从而确定参考图像每个单元的图像为上一帧图像中该单元的图像，还是该单元的最高频图像。

应当理解，对参考图像中单元的划分方式可以与对桌面图像的图像块的划分方式相同或不同。

根据网络状况，可调整同步周期，如果网络状况较好，同步周期可以短一些，如果网络状况较差，例如是无线广域网，可将同步周期设定的长一些。

可见，本公开实施例提出了一种对图像的编解码方案，该方案主要特点是编码时以特定大小的图像块为单位，同时参考历史上多个帧内的元素，以判断是否能够减小编码码流，更适应于无线网络传输。

基于上述图1和图11对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。

本公开实施例提供一种图像处理装置，如图12所示，该图像处理装置2000包括：获取模块2010、确定模块2020和编码模块2030。

获取模块2010用于，获取桌面图像，所述桌面图像包括多个图像块。

确定模块2020用于，在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像。

编码模块2030用于，根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。

在一个实施例中，所述第一图像块包括多个目标像素，所述多个目标像素为所述第一图像块中的部分像素。

确定模块2010用于，确定所述参考图像中的多个参考像素，所述多个参考像素之间的相对位置与所述多个目标像素之间的相对位置相同，每个所述参考像素与相对应位置的目标像素的颜色相同

确定模块2010还用于，确定所述第一区域图像，所述多个参考像素在所述参考图像中的位置与所述多个目标像素在所述第一图像块中的位置相同。

在一个实施例中，所述多个目标像素的颜色不同。

在一个实施例中，所述多个图像块中的第二图像块与所述参考图像中的第二区域图像的图像相同，所述第二图像块与所述第一图像块相邻，并且所述第二图像块与所述第一图像块的相对位置、所述第二区域图像与所述第一区域图像的相对位置。

所述位置信息包括：所述第一图像块和所述第二图像块在所述桌面图像中的位置，以及所述第一图像在所述桌面图像中的位置相对于所述第一区域图像在所述参考图像中的位置的偏移量。

在一个实施例中，所述参考图像包括多个单元图像，所述多个单元图像中的第一单元图像为所述桌面图像的上一帧图像在所述第一单元图像所在位置的图像，所述多个单元图像中的第二单元图像为所述第二单元图像所在位置的最高频图像，所述第一单元图像所在位置的图像在所述桌面图像之前的多帧图像中的变化满足预设条件。

本公开实施例提供的图像处理装置，能够提高桌面图像的数据块与参考图像相同的比例，降低用于编码的数据量。

本公开实施例提供一种图像处理装置，如图13所示，该图像处理装置3000包括：存储器3010和处理器3020。

存储器3010用于存储程序指令。

处理器3020用于执行该程序指令以执行下述方法：

获取桌面图像，所述桌面图像包括多个图像块；

在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像；

根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。

在一个实施例中，所述第一图像块包括多个目标像素，所述多个目标像素为所述第一图像块中的部分像素。

处理器3020还用于，确定所述参考图像中的多个参考像素，所述多个参考像素之间的相对位置与所述多个目标像素之间的相对位置相同，每个所述参考像素与相对应位置的目标像素的颜色相同；

处理器3020还用于，确定所述第一区域图像，所述多个参考像素在所述参考图像中的位置与所述多个目标像素在所述第一图像块中的位置相同。

在一个实施例中，所述多个目标像素的颜色不同。

在一个实施例中，所述多个图像块中的第二图像块与所述参考图像中的第二区域图像的图像相同，所述第二图像块与所述第一图像块相邻，并且所述第二图像块与所述第一图像块的相对位置、所述第二区域图像与所述第一区域图像的相对位置。

所述位置信息包括：所述第一图像块和所述第二图像块在所述桌面图像中的位置，以及所述第一图像在所述桌面图像中的位置相对于所述第一区域图像在所述参考图像中的位置的偏移量。

在一个实施例中，所述参考图像包括多个单元图像，所述多个单元图像中的第一单元图像为所述桌面图像的上一帧图像在所述第一单元图像所在位置的图像，所述多个单元图像中的第二单元图像为所述第二单元图像所在位置的最高频图像，所述第一单元图像所在位置的图像在所述桌面图像之前的多帧图像中的变化满足预设条件。

基于上述图1至图11对应的实施例中所描述的图像方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1至图11对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取桌面图像，所述桌面图像包括多个图像块；

在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像；

根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。

2.根据权利要求1所述的方法，其特征在于，所述第一图像块包括多个目标像素，所述多个目标像素为所述第一图像块中的部分像素，

所述在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像，包括：

确定所述参考图像中的多个参考像素，所述多个参考像素之间的相对位置与所述多个目标像素之间的相对位置相同，每个所述参考像素与相对应位置的目标像素的颜色相同；

确定所述第一区域图像，所述多个参考像素在所述参考图像中的位置与所述多个目标像素在所述第一图像块中的位置相同。

3.根据权利要求2所述的方法，其特征在于，所述多个目标像素的颜色不同。

4.根据权利要求2或3所述的方法，其特征在于，所述多个图像块中的第二图像块与所述参考图像中的第二区域图像的图像相同，所述第二图像块与所述第一图像块相邻，并且所述第二图像块与所述第一图像块的相对位置、所述第二区域图像与所述第一区域图像的相对位置，

所述位置信息包括：所述第一图像块和所述第二图像块在所述桌面图像中的位置，以及所述第一图像在所述桌面图像中的位置相对于所述第一区域图像在所述参考图像中的位置的偏移量。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述参考图像包括多个单元图像，所述多个单元图像中的第一单元图像为所述桌面图像的上一帧图像在所述第一单元图像所在位置的图像，所述多个单元图像中的第二单元图像为所述第二单元图像所在位置的最高频图像，所述第一单元图像所在位置的图像在所述桌面图像之前的多帧图像中的变化满足预设条件。

6.一种图像处理装置，其特征在于，包括获取模块、确定模块和编码模块；

所述获取模块用于，获取桌面图像，所述桌面图像包括多个图像块；

所述确定模块用于，在参考图像中确定与所述多个图像块中的第一图像块的图像相同的第一区域图像；

所述编码模块用于，根据位置信息，对所述桌面图像进行编码，所述位置信息用于指示所述第一区域图像在所述参考图像中的位置。

7.根据权利要求6所述的装置，其特征在于，所述第一图像块包括多个目标像素，所述多个目标像素为所述第一图像块中的部分像素，

所述确定模块用于，确定所述参考图像中的多个参考像素，所述多个参考像素之间的相对位置与所述多个目标像素之间的相对位置相同，每个所述参考像素与相对应位置的目标像素的颜色相同；

所述确定模块还用于，确定所述第一区域图像，所述多个参考像素在所述参考图像中的位置与所述多个目标像素在所述第一图像块中的位置相同。

8.根据权利要求7所述的方法，其特征在于，所述多个目标像素的颜色不同。

9.根据权利要求7或8所述的装置，其特征在于，所述多个图像块中的第二图像块与所述参考图像中的第二区域图像的图像相同，所述第二图像块与所述第一图像块相邻，并且所述第二图像块与所述第一图像块的相对位置、所述第二区域图像与所述第一区域图像的相对位置，

所述位置信息包括：所述第一图像块和所述第二图像块在所述桌面图像中的位置，以及所述第一图像在所述桌面图像中的位置相对于所述第一区域图像在所述参考图像中的位置的偏移量。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述参考图像包括多个单元图像，所述多个单元图像中的第一单元图像为所述桌面图像的上一帧图像在所述第一单元图像所在位置的图像，所述多个单元图像中的第二单元图像为所述第二单元图像所在位置的最高频图像，所述第一单元图像所在位置的图像在所述桌面图像之前的多帧图像中的变化满足预设条件。

Images