CN111831366A - 一种图像数据的发送方法、装置及相关组件 - Google Patents

Abstract

本申请公开了一种图像数据的发送方法，所述发送方法包括当检测到数据发送指令时，根据数据发送指令确定目标图像；将目标图像与历史图像进行缓存匹配，并将目标图像中缓存未命中的区域划分为多个目标区域；确定目标区域的图像类型，并对目标区域执行图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送图像压缩数据；其中，图像类型包括文本图像、含文本的自然图像和不含文本的自然图像。本方法能够保证服务端性能的前提下提高远程桌面图像的画质。本申请还公开了一种图像数据的发送装置、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

Description

一种图像数据的发送方法、装置及相关组件

技术领域

本发明涉及数据传输技术领域，特别涉及一种图像数据的发送方法、装置、一种计算机可读存储介质及一种电子设备。

背景技术

随着远程桌面技术的兴起，远程桌面的数据传输压缩率与画质的矛盾逐渐成为热点问题，远程桌面传输若全部使用无损压缩的话将占用极大的码流，并不具有实用性，因此更广泛使用的是有损压缩。但是，有损压缩在降低了码流的同时也引起画质的降低如文字失真、线条模糊等问题，这极大影响了显示的视觉效果，降低了用户体验。

为了解决上述问题，现有技术中通过对桌面内容直接进行文本检测以便对图片和文字进行区别压缩处理。但是，对于远程桌面这种对实时性要求很高的场景来说文本检测对服务端的负载要求太高，而且屏幕内容复杂多样，文本检测往往难以正确切分自然图像和文本图像边缘，故桌面图像的画面质量较差。

因此，如何在保证服务端性能的前提下提高远程桌面图像的画质是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种图像数据的发送方法、装置、一种计算机可读存储介质及一种电子设备，能够在保证服务端性能的前提下提高远程桌面图像的画质。

为解决上述技术问题，本申请提供一种图像数据的发送方法，该发送方法包括：

当检测到数据发送指令时，根据数据发送指令确定目标图像；

将目标图像与历史图像进行缓存匹配，并将目标图像中缓存未命中的区域划分为多个目标区域；

确定目标区域的图像类型，并对目标区域执行图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送图像压缩数据；其中，所述图像类型包括文本图像、含文本的自然图像和不含文本的自然图像。

可选的，确定目标区域的图像类型包括：

对目标区域执行图文分类操作，根据图文分类操作结果判断目标区域的图像类型是否为文本图像；

若否，则判定目标区域的图像类型为自然图像，并对目标区域执行文本检测操作判断目标区域的目标图像是否包括文本信息；若包括，则判定目标区域的图像类型为含文本的自然图像；若不包括，则判定目标区域的图像类型为不含文本的自然图像。

可选的，对目标区域执行图像类型对应的压缩操作得到图像压缩数据包括：

当目标区域的图像类型为文本图像时，对目标区域执行无损压缩操作得到图像压缩数据；

当目标区域的图像类型为含文本的自然图像时，对目标区域执行第一预设画质的有损压缩操作得到图像压缩数据；

当目标区域的图像类型为不含文本的自然图像时，对目标区域执行第二预设画质的有损压缩操作得到图像压缩数据；其中，第一预设画质高于第二预设画质。

可选的，对目标区域执行文本检测操作判断目标区域的目标图像是否包括文本信息包括：

将目标区域对应的目标图像执行图像切分操作得到多个宏块；

选取目标区域的预设数量个宏块作为待检宏块，并将颜色信息符合预设条件的待检宏块设置为文本宏块；

当文本宏块与待检宏块的比值大于预设比值时，判定目标区域的目标图像包括文本信息；

当文本宏块与待检宏块的比值小于或等于预设比值时，判定目标区域的目标图像不包括文本信息。

可选的，将颜色信息符合预设条件的待检宏块设置为文本宏块包括：

判断文本宏块内的颜色数量是否大于颜色数量阈值；

若是，则判定待检宏块为文本宏块。

可选的，在将目标图像与历史图像进行缓存匹配之前，还包括：

将目标图像的相邻帧图像作为历史图像。

本申请还提供了一种图像数据的发送装置，该发送装置包括：

图像确定模块，用于当检测到数据发送指令时，根据数据发送指令确定目标图像；

缓存匹配模块，用于将目标图像与历史图像进行缓存匹配，并将目标图像中缓存未命中的区域划分为多个目标区域；

图像压缩模块，用于确定目标区域的图像类型，并对目标区域执行图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送图像压缩数据；其中，所述图像类型包括文本图像、含文本的自然图像和不含文本的自然图像。

可选的，图像压缩模块包括：

第一分类子模块，用于对目标区域执行图文分类操作，根据图文分类操作结果判断目标区域的图像类型是否为文本图像；

第二分类子模块，用于当目标区域的图像类型不为文本图像时，则判定目标区域的图像类型为自然图像，并对目标区域执行文本检测操作判断目标区域的目标图像是否包括文本信息；若包括，则判定目标区域的图像类型为含文本的自然图像；若不包括，则判定目标区域的图像类型为不含文本的自然图像；

压缩子模块，用于对目标区域执行图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送图像压缩数据。

可选的，压缩子模块包括：

第一处理单元，用于当目标区域的图像类型为文本图像时，对目标区域执行无损压缩操作得到图像压缩数据；

第二处理单元，用于当目标区域的图像类型为含文本的自然图像时，对目标区域执行第一预设画质的有损压缩操作得到图像压缩数据；

第三处理单元，用于当目标区域的图像类型为不含文本的自然图像时，对目标区域执行第二预设画质的有损压缩操作得到图像压缩数据；其中，第一预设画质高于第二预设画质。

可选的，第一分类子模块包括：

宏块切分单元，用于将目标区域对应的目标图像执行图像切分操作得到多个宏块；

文本宏块选择单元，用于选取目标区域的预设数量个宏块作为待检宏块，并将颜色信息符合预设条件的待检宏块设置为文本宏块；

判定单元，用于当文本宏块与待检宏块的比值大于预设比值时，判定目标区域的目标图像包括文本信息；还用于当文本宏块与待检宏块的比值小于或等于预设比值时，判定目标区域的目标图像不包括文本信息。

可选的，文本宏块选择单元包括：

待检宏块选取子单元，用于选取目标区域的预设数量个宏块作为待检宏块

判断子单元，用于判断文本宏块内的颜色数量是否大于颜色数量阈值；若是，则判定待检宏块为文本宏块。

可选的，还包括：

历史图像确定模块，用于在将目标图像与历史图像进行缓存匹配之前，将目标图像的相邻帧图像作为历史图像。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序执行时实现上述图像数据的发送方法执行的步骤。

本申请还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时实现上述图像数据的发送方法执行的步骤。

本申请提供了一种图像数据的发送方法，包括当检测到数据发送指令时，根据数据发送指令确定目标图像；将目标图像与历史图像进行缓存匹配，并将目标图像中缓存未命中的区域划分为多个目标区域；确定目标区域的图像类型，并对目标区域执行图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送图像压缩数据；其中，所述图像类型包括文本图像、含文本的自然图像和不含文本的自然图像。

本申请在接收到数据发送指令后确定需要进行发送的目标图像，但是由于数据图像在时间维度上具有一定的相关性，因此目标图像和历史图像中可以存在图像内容相同的部分，本申请首先对目标图像进行缓存匹配操作。缓存命中的区域说明相当于历史图像并没有发生改变，可以不对缓存命中的区域执行图文分类操作，而仅对缓存未命中的区域执行区域划分，根据划分后的每一目标区域的图像类型执行对应的压缩操作。由于根据图像类型执行对应的压缩操作能够有效地提升图像压缩数据的画面质量，且由于缓存匹配操作的存在能够减少图像压缩操作的工作量，因此本申请能够在保证服务端性能的前提下提高远程桌面图像的画质。本申请同时还提供了一种图像数据的发送装置、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种图像数据的发送方法的流程图；

图2为目标图像缓存匹配的结果示意图；

图3为本申请实施例所提供的一种图像类型确定方法的流程图；

图4为本申请实施例所提供的一种文本信息检测的方法的流程图；

图5为文本检测区域示意图；

图6为本申请实施例所提供的一种图像数据的发送装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

虚拟桌面基础架构(Virtual Desktop Infrastructure，VDI)技术能够通过来自客户端设备(客户机或是家用PC)的客户计算协议与虚拟桌面进行连接，使用户访问他们的桌面就像是访问传统的本地安装桌面一样。若远程桌面传输全部使用无损压缩的话将占用极大的码流，并不具有实用性，因此更广泛使用的是有损压缩。但是，有损压缩在降低了码流的同时也引起画质的降低如文字失真、线条模糊等问题，这极大影响了显示的视觉效果，降低了用户体验。如何在保证压缩率的情况下尽量提高远程桌面的画质是所要解决的一个关键问题。目前对远程桌面传输的画质增强主要为通过对桌面内容直接进行文本检测以便对图片和文字进行区别压缩处理。但是，对于远程桌面这种对实时性要求很高的场景来说文本检测对服务端的负载要求太高，而且屏幕内容复杂多样，文本检测往往难以正确切分自然图像和文本图像边缘，故桌面图像的画面质量较差。

针对上述现有技术中的不足，本申请通过以下几个实施例提供新的图像数据的发送方法能够解决上述现有技术中的问题，达到在保证压缩率的情况下提高远程桌面画质的效果。

下面请参见图1，图1为本申请实施例所提供的一种图像数据的发送方法的流程图。

具体步骤可以包括：

S101：当检测到数据发送指令时，根据数据发送指令确定目标图像；

其中，本实施例的具体应用场景可以为虚拟桌面基础架构(Virtual DesktopInfrastructure，VDI)，即存在服务端向客户端发送桌面画面数据的操作。本实施例的执行主体可以为数据发送端(即服务端)。在本步骤之前默认存在生成数据发送指令的操作，该数据发送指令可以是操作服务端的用户下发的指令，也可以是服务端自动生成的数据发送指令。

本步骤默认检测到数据发送指令后，可以解析数据发送指令得到数据发送指令对应的目标图像。需要解释的是，本实施例的实施场景为服务端向客户端发送桌面图像数据，但是由于服务端与客户端机器性能的差距以及网络传输环境的限制，服务端向客户端传输桌面图像数据之前需要进行一定的数据压缩操作以减小传输数据的大小，通常情况下为了进一步减小传输数据的大小，服务端在对桌面图像数据进行压缩操作时采用有损压缩的方式对原桌面图像执行压缩操作并将有损压缩后的桌面图像发送至客户端，以便客户端执行解码操作进行显示。

由于有损压缩的存在，因此压缩后的桌面图像存在一定的画面失真状况，也就是说压缩前的原桌面图像的画面质量优于压缩后的桌面图像。此处的画面质量又称图像质量，指机器对一幅图像各项参数的客观评价，一般来说，图像质量客观评价会分成多个评测项目如：曝光、清晰度、颜色、质感、噪音、防手抖、闪光灯、对焦和伪像，每一个评测项目往往还会分成好几个评测小项目，如伪像就要测试锐化、畸变、暗角这些项目。通过测试这些项目进行计算，可以得到某一张图片在各个评测项目上的参数值。

本步骤中提到的数据发送指令对应的目标图像可以为未经过任何数据压缩操作的原桌面图像。生成数据发送指令的意义在于使服务端确定待发送的桌面图像(即目标图像)，并对目标图像执行相关的压缩操作，进而完成桌面图像传输。

S102：将目标图像与历史图像进行缓存匹配，并将目标图像中缓存未命中的区域划分为多个目标区域；

其中，本步骤的目的是减少执行压缩操作的图像区域大小，并对带压缩的图像区域进行区域划分操作。在现有技术中，在根据数据发送指令确定目标图像后会直接对整幅目标图像进行文本检测以便对图片和文字进行区别压缩处理。但是，对于远程桌面这种对实时性要求很高的场景来说文本检测对服务端的负载要求太高，而且屏幕内容复杂多样，文本检测往往难以正确切分自然图像和文本图像边缘，故桌面图像的画面质量较差。在本实施例中没有直接对目标图像进行文本检测，而是首先进行缓存匹配以便达到减少冗余数据的目的。

作为一种可行的实施方式，本步骤中提到的历史图像可以为缓存中目标图像的相邻帧的图像，也就是说在将目标图像与历史图像进行缓存匹配之前，还包括将目标图像的相邻帧图像作为历史图像的操作。将目标图像与历史图像进行缓存匹配可以确定目标图像中没有发生变化的区域和发生变化的区域。请参见图2，图2为目标图像缓存匹配的结果示意图，在对目标图像和历史图像进行缓存匹配之后，可以将目标历史图像划分为两类图像，一类是缓存命中图像，另一类是缓存未命中图像。由于缓存命中的区域在历史图像中存在相同的内容可以通过缓存编码的方式告知客户端使用缓存中相同的图像，本实施例默认不对缓存命中的图像执行数据压缩操作，仅对缓存未命中区域的图像执行数据压缩操作。由此可见，本步骤通过缓存匹配确定缓存命中的冗余区域的图像可以降低后续图像类型确定操作的负载，可以正确切分自然图像和文本图像边缘，提高了桌面图像的画面质量。

缓存匹配可以将目标划分为若干区域，有些区域被缓存命中，表示存在相匹配的历史图像，而其他区域表示缓存未命中，可以进行图文分类进行判断。缓存匹配用于查找当前图像跟历史图像中的相同数据，来避免冗余数据的编码。本步骤不限定对目标图像中缓存未命中区域进行区域划分的具体方法，可以根据缓存未命中区域的排布位置将其划分为N个面积小于预设值的矩形，还可以将所有的缓存未命中区域以预设形状的矩形进行划分使得所有的目标区域具有向相同的形状和面积，当然还可以存在其他的区域划分方法，本领域的技术人员可以根据实际应用场景进行选择。

S103：确定目标区域的图像类型，并对目标区域执行图像类型对应的压缩操作得到图像压缩数据；

其中，在S102已经将缓存未命中区域划分为多个目标区域后，本实施例根据每一目标区域的图像类型选择对应的压缩操作方式，得到对应的图像压缩数据。

可以理解的是，图像中的文字区域是图像压缩方式较为敏感的区域，若对文字区域的图像低质量有损压缩将会带来文字失真、模糊的问题。因此，若目标区域的图像类型为文本图像可以选择无损压缩，若目标区域的图像类型为自然图像可以选择一定画质损失程度的有损压缩。

本步骤默认存在对目标区域执行图文分类操作或文本检测操作，以便确定目标区域的图像类型。本实施例中的图像类型可以包括文本图像、含文本的自然图像和不含文本的自然图像。在确定目标区域类型后，可以根据预先设置好的图像类型与压缩操作方式的对应关系选择图像类型对应的压缩操作方式得到图像压缩数据。文本检测的操作为识别图片中的文字区域，区分出图像中哪块区域属于自然图像，哪块区域属于文本。文本检测与图文分类对一整张图片进行判定不同。

S104：向客户端发送图像压缩数据。

其中，S103中可以对所有的目标区域执行图像类型确定和图像压缩操作，因此每一目标区域均有其对应的图像压缩数据，本步骤是向客户端发送所有的图像压缩数据。

作为一种可行的实施方式，可以在所有目标区域均执行图像压缩操作得到图像压缩数据后，统一将所有的图像压缩数据发送至客户端。作为另一种可行的实施方式，本步骤可以只要检测到未发送过的图像压缩数据便将该数据发送至客户端。客户端在接收到图像压缩数据后，可以执行相应的解码操作得到待显示的桌面图像，并将该桌面图像显示至客户端对应的显示器。

本实施例在接收到数据发送指令后确定需要进行发送的目标图像，但是由于数据图像在时间维度上具有一定的相关性，因此目标图像和历史图像中可以存在图像内容相同的部分，本实施例首先对目标图像进行缓存匹配操作。缓存命中的区域说明相当于历史图像并没有发生改变，可以不对缓存命中的区域执行图文分类操作，而仅对缓存未命中的区域执行区域划分，根据划分后的每一目标区域的图像类型执行对应的压缩操作。由于根据图像类型执行对应的压缩操作能够有效地提升图像压缩数据的画面质量，且由于缓存匹配操作的存在能够减少图像压缩操作的工作量，因此本实施例能够在保证服务端性能的前提下提高远程桌面图像的画质。

下面请参见图3，图3为本申请实施例所提供的一种图像类型确定方法的流程图；本实施例是对图1对应的实施例中S103的确定目标区域的图像类型方式的具体化描述，可以将本实施例与图1对应的实施例相结合得到更为优选的实施方式，本实施例的具体步骤包括：

S201：对目标区域执行图文分类操作，根据图文分类操作结果判断目标区域的图像类型是否为文本图像；若是，则判定目标区域的图像类型为文字图像；若否，则进入S202；

其中，图文分类操作的过程为对屏幕内容中的某些区域进行图像级别的判别，图文分类操作主要根据区域的像素信息来判断该区域属于自然图像还是文本图像。此处提到的自然图像包含自然场景的图像，如桌面壁纸、视频画面等。文本图像包含文本内容的图像，如内容为word文档、TXT文档的图像。图文分类可以将区域图像判定为文本或者自然图像，文本图像将走无损压缩，而自然图像将可以进行进一步的文本检测。

S202：判定目标区域的图像类型为自然图像并进入S203；

其中，本实施例默认目标区域可能为文字图像也可能为自然图像，需要说明的是自然图像中也可以包括文字内容，如广告牌上的文字内容。本实施例根据图像中是否存在文字内容将自然图像分为两类：含文本的自然图像和不含文本的自然图像。

S203：对目标区域执行文本检测操作判断目标区域的目标图像是否包括文本信息；若包括，则进入S204；若不包括，则进入S205；

其中，本步骤相当于对判定为自然图像的目标区域执行文字检测操作。由于文字在压缩过程中较为敏感，因此本步骤通过对目标区域执行文本检测操作再次将目标区域的图像类型进行细化，将含文本的自然图像作为一类，将不含文本的自然图像作为另一类，根据是否包含文本选择适当的压缩方式，以便得到较好的画面质量。

S204：判定目标区域的图像类型为含文本的自然图像；

S205：判定目标区域的图像类型为不含文本的自然图像。

本实施例结合了图文分类与文本检测的优势，先使用图文分类进行初步过滤，然后使用文本检测进行进一步判断，在保证性能的前提下可以快速检测出桌面图像是否包含文本从而提高画质。具体的，通过图文分类对图片进行初步筛选，对图文分类判别为自然图像的图片进行进一步的快速文本检测，以便根据图像类型执行对应的压缩操作。

图2对应的实施例能够将目标区域的图像类型划分为以下三类：(1)文本图像、(2)含文本的自然图像、(3)不含文本的自然图像。作为一种可行的实施方式，在图2对应的实施例的基础上对目标区域执行图像类型对应的压缩操作得到图像压缩数据的操作可以包括以下方法：

方式一：当目标区域的图像类型为文本图像时，对目标区域执行无损压缩操作得到图像压缩数据。

方式二：当目标区域的图像类型为含文本的自然图像时，对目标区域执行第一预设画质的有损压缩操作得到图像压缩数据。

方式三：当目标区域的图像类型为不含文本的自然图像时，对目标区域执行第二预设画质的有损压缩操作得到图像压缩数据；其中，第一预设画质高于第二预设画质。

现有技术中还存在使用图文分类方法区分自然图片和文本图片并做特殊处理，如自然图片使用有损压缩，文本图片使用无损压缩。但是，上述现有技术中图文分类只能对一整张图片进行判别，对于既包含自然区域又包含文字区域的混合图像来说，将它判为文本图片执行无损压缩则导致码流太高，判为自然图片则引起文字模糊，所以体验不好。而通过上述本申请提供的可行的实施方式，对文本图像执行无损压缩操作，对含文本的文本图像执行高质量有损压缩操作，对不含文本的自然图像执行普通或低质量的有损压缩操作。高质量有损压缩为具有较高画面质量的有损压缩方法，有损压缩通常有很多可配的参数来在画面质量与压缩率方面取得平衡。高质量有损压缩意味着在压缩时选择画面质量损失较小的参数来减少画面失真。此处提到的第一预设画质指执行有损压缩操作之后的得到的压缩数据的画面质量。第一预设画质高于第二预设画质指:第一预设画质的有损压缩操作的画质损失小于第二预设画质的有损压缩操作的画质损失。本实施例检测自然图像中是否包含文本并使用高质量压缩算法进行压缩，同时保障了性能与画质。

下面请参见图4，图4为本申请实施例所提供的一种文本信息检测的方法的流程图，本实施例是对图3对应的实施例中S203的进一步描述，可以将本实施例与图3对应的实施例结合得到更为优选的实施方式，可以包括以下具体步骤：

S301：将目标区域对应的目标图像执行图像切分操作得到多个宏块；

其中，宏块(Marco Block)指由一矩形区域内的像素组成的图像单元。为了便于编码，可以将目标区域对应的目标图像切分成定长或者不定长的若干像素矩形，比如64x64或16x16的像素小块，每个小块称为一个宏块。

S302：选取目标区域的预设数量个宏块作为待检宏块，并将颜色信息符合预设条件的待检宏块设置为文本宏块；

其中，颜色信息可以包括颜色个数、颜色梯度等信息。作为一种优选的实施方式，可以判断文本宏块内的颜色数量是否大于颜色数量阈值；若大于，则判定待检宏块为文本宏块，若小于或等于则判定待检宏块不为文本宏块。

S303：当文本宏块与待检宏块的比值大于预设比值时，判定目标区域的目标图像包括文本信息；

S304：当文本宏块与待检宏块的比值小于或等于预设比值时，判定目标区域的目标图像不包括文本信息。

上述实施例在将目标图像切分得到多个宏块后，可以选择目标区域内一部分的洪作作为待检宏块进行文件检测。文本检测将识别自然图像中是否包含有文本，对于包含文本的自然图像可以使用高质量的有损压缩算法，而不含文本的自然图像可以使用低质量的有损压缩。下面通过实际应用中的例子说明上述过程，请参见图5，图5为文本检测区域示意图，图中阴影区域为S302选取的目标区域，为了快速检测自然图像中是否包含文本，可以将图片切分为固定大小的宏块并只对边缘以及中心区域的宏块做文本判断，如图5所示。在图像边缘以及中心区域检测文本可以覆盖绝大部分的含文本自然图像情景。如果检测到的文本宏块多于一定阈值，则将此图像判定为存在文本区域，从而使用高质量的有损压缩进行编码，可以利用颜色个数、颜色梯度等信息进行文本宏块的判断。上述方案中的文本检测区域不局限于图像边缘以及中心，其他任意基于部分宏块做快速文本信息判断。本实施例中使用的宏块文本判断方法仅为一种实现方法，可以替换为其他任意的文本判断方法。

作为一种优选的实施方式，可以将图1、图3和图4对应的实施例相结合得到更为优选的图像数据的发送方法。可以先用缓存匹配查找与历史图像相同的区域，从而把目标切分成多块区域，再使用图文分类找出为文本图像并利用无损编码进行压缩，对于分类为自然图像的区域进行进一步的文本检测，含文本的自然图像走高质量的有损压缩算法，不含文本的自然图像走普通有损压缩。通过上述方法能够在保证服务端性能的前提下能够快速检测出屏幕内容是否包含文本，改善桌面图像的显示效果，提高用户体验；通过应用上述实施例描述的方法，可以改善远程桌面的画面显示效果，提高文本与自然图像混排场景的清晰度。

请参见图6，图6为本申请实施例所提供的一种图像数据的发送装置的结构示意图；

该装置可以包括：

图像确定模块100，用于当检测到数据发送指令时，根据数据发送指令确定目标图像；

缓存匹配模块200，用于将目标图像与历史图像进行缓存匹配，并将目标图像中缓存未命中的区域划分为多个目标区域；

图像压缩模块300，用于确定目标区域的图像类型，并对目标区域执行图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送图像压缩数据；其中，所述图像类型包括文本图像、含文本的自然图像和不含文本的自然图像。

本实施例在接收到数据发送指令后确定需要进行发送的目标图像，但是由于数据图像在时间维度上具有一定的相关性，因此目标图像和历史图像中可以存在图像内容相同的部分，本实施例首先对目标图像进行缓存匹配操作。缓存命中的区域说明相当于历史图像并没有发生改变，可以不对缓存命中的区域执行图文分类操作，而仅对缓存未命中的区域执行区域划分，根据划分后的每一目标区域的图像类型执行对应的压缩操作。由于根据图像类型执行对应的压缩操作能够有效地提升图像压缩数据的画面质量，且由于缓存匹配操作的存在能够减少图像压缩操作的工作量，因此本实施例能够在保证服务端性能的前提下提高远程桌面图像的画质。

进一步的，图像压缩模块300包括：

第一分类子模块，用于对目标区域执行图文分类操作，根据图文分类操作结果判断目标区域的图像类型是否为文本图像；

第二分类子模块，用于当目标区域的图像类型不为文本图像时，则判定目标区域的图像类型为自然图像，并对目标区域执行文本检测操作判断目标区域的目标图像是否包括文本信息；若包括，则判定目标区域的图像类型为含文本的自然图像；若不包括，则判定目标区域的图像类型为不含文本的自然图像；

压缩子模块，用于对目标区域执行图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送图像压缩数据。

进一步的，压缩子模块包括：

第一处理单元，用于当目标区域的图像类型为文本图像时，对目标区域执行无损压缩操作得到图像压缩数据；

第二处理单元，用于当目标区域的图像类型为含文本的自然图像时，对目标区域执行第一预设画质的有损压缩操作得到图像压缩数据；

第三处理单元，用于当目标区域的图像类型为不含文本的自然图像时，对目标区域执行第二预设画质的有损压缩操作得到图像压缩数据；其中，第一预设画质高于第二预设画质。

进一步的，第一分类子模块包括：

宏块切分单元，用于将目标区域对应的目标图像执行图像切分操作得到多个宏块；

文本宏块选择单元，用于选取目标区域的预设数量个宏块作为待检宏块，并将颜色信息符合预设条件的待检宏块设置为文本宏块；

判定单元，用于当文本宏块与待检宏块的比值大于预设比值时，判定目标区域的目标图像包括文本信息；还用于当文本宏块与待检宏块的比值小于或等于预设比值时，判定目标区域的目标图像不包括文本信息。

进一步的，文本宏块选择单元包括：

待检宏块选取子单元，用于选取目标区域的预设数量个宏块作为待检宏块

判断子单元，用于判断文本宏块内的颜色数量是否大于颜色数量阈值；若是，则判定待检宏块为文本宏块。

进一步的，还包括：

历史图像确定模块，用于在将目标图像与历史图像进行缓存匹配之前，将目标图像的相邻帧图像作为历史图像。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (14)

1.一种图像数据的发送方法，其特征在于，包括：

当检测到数据发送指令时，根据所述数据发送指令确定目标图像；

将所述目标图像与历史图像进行缓存匹配，并将所述目标图像中缓存未命中的区域划分为多个目标区域；

确定所述目标区域的图像类型，并对所述目标区域执行所述图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送所述图像压缩数据；其中，所述图像类型包括文本图像、含文本的自然图像和不含文本的自然图像。

2.根据权利要求1所述发送方法，其特征在于，确定所述目标区域的图像类型包括：

对所述目标区域执行图文分类操作，根据图文分类操作结果判断所述目标区域的图像类型是否为所述文本图像；

若否，则判定所述目标区域的图像类型为所述自然图像，并对所述目标区域执行文本检测操作判断所述目标区域的目标图像是否包括文本信息；若包括，则判定所述目标区域的图像类型为所述含文本的自然图像；若不包括，则判定所述目标区域的图像类型为所述不含文本的自然图像。

3.根据权利要求2所述发送方法，其特征在于，所述对目标区域执行所述图像类型对应的压缩操作得到图像压缩数据包括：

当所述目标区域的图像类型为所述文本图像时，对所述目标区域执行无损压缩操作得到所述图像压缩数据；

当所述目标区域的图像类型为所述含文本的自然图像时，对所述目标区域执行第一预设画质的有损压缩操作得到所述图像压缩数据；

当所述目标区域的图像类型为所述不含文本的自然图像时，对所述目标区域执行第二预设画质的有损压缩操作得到所述图像压缩数据；其中，所述第一预设画质高于所述第二预设画质。

4.根据权利要求2所述发送方法，其特征在于，对所述目标区域执行文本检测操作判断所述目标区域的目标图像是否包括文本信息包括：

将所述目标区域对应的目标图像执行图像切分操作得到多个宏块；

选取目标区域的预设数量个宏块作为待检宏块，并将颜色信息符合预设条件的待检宏块设置为文本宏块；

当所述文本宏块与所述待检宏块的比值大于预设比值时，判定所述目标区域的目标图像包括文本信息；

当所述文本宏块与所述待检宏块的比值小于或等于所述预设比值时，判定所述目标区域的目标图像不包括文本信息。

5.根据权利要求4所述发送方法，其特征在于，将颜色信息符合预设条件的待检宏块设置为文本宏块包括：

判断所述文本宏块内的颜色数量是否大于颜色数量阈值；

若是，则判定所述待检宏块为所述文本宏块。

6.根据权利要求1至5任一项所述发送方法，其特征在于，在将所述目标图像与历史图像进行缓存匹配之前，还包括：

将所述目标图像的相邻帧图像作为所述历史图像。

7.一种图像数据的发送装置，其特征在于，包括：

图像确定模块，用于当检测到数据发送指令时，根据所述数据发送指令确定目标图像；

缓存匹配模块，用于将所述目标图像与历史图像进行缓存匹配，并将所述目标图像中缓存未命中的区域划分为多个目标区域；

图像压缩模块，用于确定所述目标区域的图像类型，并对所述目标区域执行所述图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送所述图像压缩数据；其中，所述图像类型包括文本图像、含文本的自然图像和不含文本的自然图像。

8.根据权利要求7所述发送装置，其特征在于，所述图像压缩模块包括：

第一分类子模块，用于对所述目标区域执行图文分类操作，根据图文分类操作结果判断所述目标区域的图像类型是否为文本图像；

第二分类子模块，用于当所述目标区域的图像类型不为文本图像时，则判定所述目标区域的图像类型为所述自然图像，并对所述目标区域执行文本检测操作判断所述目标区域的目标图像是否包括文本信息；若包括，则判定所述目标区域的图像类型为所述含文本的自然图像；若不包括，则判定所述目标区域的图像类型为所述不含文本的自然图像；

压缩子模块，用于对所述目标区域执行所述图像类型对应的压缩操作得到图像压缩数据，以便向客户端发送所述图像压缩数据。

9.根据权利要求8所述发送装置，其特征在于，所述压缩子模块包括：

第一处理单元，用于当所述目标区域的图像类型为所述文本图像时，对所述目标区域执行无损压缩操作得到所述图像压缩数据；

第二处理单元，用于当所述目标区域的图像类型为所述含文本的自然图像时，对所述目标区域执行第一预设画质的有损压缩操作得到所述图像压缩数据；

第三处理单元，用于当所述目标区域的图像类型为所述不含文本的自然图像时，对所述目标区域执行第二预设画质的有损压缩操作得到所述图像压缩数据；其中，所述第一预设画质高于所述第二预设画质。

10.根据权利要求8所述发送装置，其特征在于，所述第一分类子模块包括：

宏块切分单元，用于将所述目标区域对应的目标图像执行图像切分操作得到多个宏块；

文本宏块选择单元，用于选取目标区域的预设数量个宏块作为待检宏块，并将颜色信息符合预设条件的待检宏块设置为文本宏块；

判定单元，用于当所述文本宏块与所述待检宏块的比值大于预设比值时，判定所述目标区域的目标图像包括文本信息；还用于当所述文本宏块与所述待检宏块的比值小于或等于所述预设比值时，判定所述目标区域的目标图像不包括文本信息。

11.根据权利要求10所述发送装置，其特征在于，所述文本宏块选择单元包括：

待检宏块选取子单元，用于选取目标区域的预设数量个宏块作为待检宏块；

判断子单元，用于判断所述文本宏块内的颜色数量是否大于颜色数量阈值；若是，则判定所述待检宏块为所述文本宏块。

12.根据权利要求7至11任一项所述发送装置，其特征在于，还包括：

历史图像确定模块，用于在将所述目标图像与历史图像进行缓存匹配之前，将所述目标图像的相邻帧图像作为所述历史图像。

13.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述图像数据的发送方法的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像数据的发送方法的步骤。

Images