CN103873877A - 远程桌面的图像传输方法及装置 - Google Patents

Abstract

本发明实施例提供一种远程桌面的图像传输方法及装置。该方法包括：对待传输的源数据进行格式类型识别，当识别到源数据为图片格式数据时，则对图片格式数据采用有损编码技术进行编码处理，将编码处理后的数据码流向客户端传输。本发明实施例提供的远程桌面的图像传输方法及装置，通过在编码处理之前对待传输的源数据进行格式类型识别，针对不同格式类型的源数据进行不同的处理，识别到源数据为图片格式数据时，对图片格式数据采用有损编码技术进行编码处理，将编码处理后的数据码流向客户端传输，提高了压缩率进而提高了传输效率，减少了传输延时。

Description

远程桌面的图像传输方法及装置

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种远程桌面的图像传输方法及装置。

背景技术

近年来，远程桌面技术逐渐广泛应用于移动办公、办公自动化等应用场景。桌面共享技术成熟，对终端设备要求不高，在各种手机终端、3G网络设置上得到广泛应用。

由于计算机图像序列的数据量巨大，极易在因特网网络传输过程中引起网络拥塞和传输延时，所以在进行实时传输前必须对图像进行有效的压缩编码。对图像数据进行压缩编码，是降低带宽、扩展应用的主要手段之一。远程桌面协议（Remote Desktop Protocol,以下简称：RDP）的低带宽、高性能成为竞争焦点，高质量、高压缩比的图像压缩技术是桌面共享技术中最重要的技术。

现有技术中的图像压缩方法是在服务器端采用行程编码压缩方法对图像数据进行压缩编码，到客户端再进行解码得到输出图像，但是该方法压缩率不高，网络传输速度慢，极易导致网络拥塞和传输延时，而且不利于数据和协议转换的灵活处理。

发明内容

本发明实施例提供一种远程桌面的图像传输方法及装置，以解决压缩率不高导致的网络拥塞和传输延时问题，实现了对数据和协议转换的灵活处理。

第一方面，本发明实施例提供一种远程桌面的图像传输方法，包括：

对待传输的源数据进行格式类型识别；

当识别到所述源数据为图片格式数据时，则对所述图片格式数据采用有损编码技术进行编码处理；

将编码处理后的数据码流向客户端传输。

在第一方面的第一种可能的实施方式中，对所述图片格式数据采用有损编码技术进行编码处理包括：

对所述图片格式数据进行分块和块类型识别；

根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理；

将编码处理后的图片格式数据各分块的码流统一为一个数据码流。

结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，对所述图片格式数据进行分块和块类型识别包括：

对所述图片格式数据转换颜色空间；

对转换颜色空间后的图片格式数据，采用颜色边缘补齐方法进行分块处理，得到文本块数据、图像块数据和混合块数据。

结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理包括：

对图片格式数据中的文本块数据采用无损压缩算法进行编码处理；

对图片格式数据中的图像块数据采用有损压缩算法进行编码处理；

对图片格式数据中的混合块数据采用有损压缩算法和无损压缩算法进行编码处理，或采用无损压缩算法进行编码处理。

结合第一方面，在第一方面的第四种可能的实施方式中，对所述图片格式数据采用有损编码技术进行编码处理包括：

对所述图片格式数据转换颜色空间；

对转换颜色空间后的数据进行分块，并进行离散余弦变换；

对离散余弦变换后的数据进行量化处理；

对量化处理后的数据进行熵编码。

结合第一方面，在第一方面的第五种可能的实施方式中，对待传输的源数据进行类型识别之前，还包括：从服务端接收源数据。

第二方面，本发明实施例提供一种远程桌面的图像传输装置，包括：

识别模块，用于对待传输的源数据进行格式类型识别；

处理模块，用于当识别到所述源数据为图片格式数据时，对所述图片格式数据采用有损编码技术进行编码处理；

传输模块，用于将编码处理后的数据码流向客户端传输。

在第二方面的第一种可能的实施方式中，所述处理模块包括：

块类型识别单元，用于对所述图片格式数据进行分块和块类型识别；

压缩处理单元，用于根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理；

统一单元，用于将编码处理后的图片格式数据各分块的码流统一为一个数据码流。

结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述块类型识别单元包括：

颜色空间转换子单元，用于对所述图片格式数据转换颜色空间；

块类型识别子单元，用于对转换颜色空间后的图片格式数据，采用颜色边缘补齐方法进行分块处理，得到文本块数据、图像块数据和混合块数据。

结合第二方面的第二种可能的实施方式，在第二方面的第三种可能的实施方式中，所述压缩处理单元包括：

文本块压缩子单元，用于对图片格式数据中的文本块数据采用无损压缩算法进行编码处理；

图像块压缩子单元，用于对图片格式数据中的图像块数据采用有损压缩算法进行编码处理；

混合块压缩子单元，用于对图片格式数据中的混合块数据采用有损压缩算法和无损压缩算法进行编码处理，或采用无损压缩算法进行编码处理。

结合第二方面，在第二方面的第四种可能的实施方式中，所述处理模块包括：

颜色空间转换单元，用于对所述图片格式数据转换颜色空间；

分块处理单元，用于对转换颜色空间后的数据进行分块，并进行离散余弦变换；

量化处理单元，用于对离散余弦变换后的数据进行量化处理；

编码单元，用于对量化处理后的数据进行熵编码。

结合第二方面，在第二方面的第五种可能的实施方式中，还包括：

接收模块，用于对待传输的源数据进行类型识别之前，从服务端接收源数据。

本发明实施例提供的远程桌面的图像传输方法及装置，通过在编码处理之前对待传输的源数据进行格式类型识别，针对不同类型的源数据进行不同的处理，识别到源数据为图片格式数据时，对图片格式数据采用有损编码技术进行编码处理，将编码处理后的数据码流向客户端传输，客户端再对接收到的数据码流进行解码处理得到输出图像，提高了压缩率进而提高了传输效率，减少了传输延时。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明远程桌面的图像传输方法实施例一的流程图；

图2为本发明远程桌面的图像传输方法实施例二的流程图；

图3为本发明远程桌面的图像传输方法实施例三的流程图；

图4为本发明远程桌面的图像传输方法实施例三中客户端解码的流程示意图；

图5为本发明远程桌面的图像传输装置实施例一的结构示意图；

图6为本发明远程桌面的图像传输装置实施例二的结构示意图；

图7为本发明远程桌面的图像传输装置实施例三的结构示意图；

图8为本发明远程桌面的图像传输装置实施例四的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明远程桌面的图像传输方法实施例一的流程图，本实施例的方法适用于服务端将远程桌面图像发送给客户端的过程中对桌面图像进行压缩编码并传输的过程，对图像进行的编码操作既可以由服务端直接执行，也可以由另一独立的网元，自服务端接收源数据而后执行编码操作。本实施例以服务端作为执行主体为例进行说明，如图1所示，本实施例的方法可以包括：

S101、对待传输的源数据进行格式类型识别。

其中，在编码处理之前对待传输的源数据进行格式类型识别，该源数据是服务端产生并需要提供给客户端的桌面图像数据，其可包括多种类型的文件，例如文本文件、图片文件等，但从压缩编码的角度而言，各类文件的数据可主要分为图片格式数据和非图片格式数据。针对不同类型的源数据进行不同的处理。

S102、当识别到源数据为图片格式数据时，则对图片格式数据采用有损编码技术进行编码处理。

其中，识别到源数据为图片格式数据时，对图片格式数据采用有损编码技术进行编码处理，将编码处理后的数据码流向客户端传输。而当识别到源数据为非图片格式数据时，直接采用RDP内建传输机制将其传输到客户端，不做处理。非图片格式数据，例如为纯文字形式的数据。有损编码技术是一种经过压缩、解压的数据与原始数据不同但是非常接近原始数据的压缩方法，例如mp3、jpeg、rm、wmv等都是经有损压缩算法压缩编码后形成的文件。有损编码技术通过牺牲一些质量来减少数据量，使压缩率提高。

S103、将编码处理后的数据码流向客户端传输。

其中，编码处理后的数据码流传输到客户端后，客户端再对接收到的数据码流进行解码处理得到输出图像。

本实施例提供的远程桌面的图像传输方法，通过在编码处理之前对待传输的源数据进行格式类型识别，针对不同类型的源数据进行不同的处理，识别到源数据为图片格式数据时，对图片格式数据采用有损编码技术进行编码处理，将编码处理后的数据码流向客户端传输，客户端再对接收到的数据码流进行解码处理得到输出图像。识别到源数据为非图片格式数据时，直接将其传输到客户端，提高了压缩率进而提高了传输效率，减少了传输延时。

图2为本发明远程桌面的图像传输方法实施例二的流程图，在上述图1所示实施例的基础上，如图2所示，对于非标准图片格式数据进一步优化其处理方式。所谓非标准图片格式数据，即包含文字、图像、文字和图像混合类数据的图片格式数据，S102的一种具体实现方式为：

S102a、对图片格式数据进行分块和块类型识别；

S102b、根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理；

S102c、将编码处理后的图片格式数据各分块的码流统一为一个数据码流。

具体地，将编码处理后的图片格式数据各分块的码流统一为一个数据码流后，将数据码流向客户端传输。

进一步的，在S102a中对图片格式数据进行分块和块类型识别的一种具体实现方式为：首先对所述图片格式数据转换颜色空间，然后对转换颜色空间后的图片格式数据，采用颜色边缘补齐方法进行分块处理，根据色彩和纹理统计特征，得到文本块数据、图像块数据和混合块数据这三种类型的数据。

进一步的，在S102b中根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理的一种具体实现方式为：对图片格式数据中的文本块数据采用无损压缩算法进行编码处理；对图片格式数据中的图像块数据采用有损压缩算法进行编码处理；对图片格式数据中的混合块数据采用有损压缩算法和无损压缩算法进行编码处理，或采用无损压缩算法进行编码处理。其中，无损压缩方法是利用数据的统计冗余进行压缩，可完全恢复原始数据而不引起任何失真，其压缩率受到数据统计冗余度的理论限制，广泛适用于文本数据的压缩。无损压缩方法例如字典编码(Lempel Ziv Welch，以下简称：LZW)、游程编码(Run-Length Encoding，以下简称：RLE)等。

其中，对文本块数据，由于其具有强烈的形状与边缘特征，人眼对文本图形信息及其敏感，因而对其解码质量要求较高，可以选择LZW、RLE等无损压缩算法。无损编码都是在RGB空间中，对R、G、B分量分别进行压缩形成相应的分量码流，在客户端分别对相应的分量码流进行解码，完成文本图形块的重建。与文本块数据不同，图像块数据的色彩信息丰富，因而人眼对自然图像的解码恢复质量相对较低，即使有部分失真人眼也不会有太大察觉，因此可以对图像块数据采用有损压缩算法实现有效的压缩。下面实施例三将对如何对图像块数据采用有损压缩算法实现有效的压缩进行详细说明。

图3为本发明远程桌面的图像传输方法实施例三的流程图，在上述图1所示实施例的基础上，对于标准图片格式数据，即只包含图像数据的图片格式数据，可直接对图片格式数据采用有损压缩算法进行编码处理，如图3所示，对图片格式数据，或者对图片格式数据中的图像数据块或混合数据块所采取的有损编码技术的一种具体实现方式为：

S102e、对所述图片格式数据转换颜色空间。

其中，首先对所述图片格式数据由RGB颜色空间模式转换到YCrCb颜色空间模式。

S102f、对转换颜色空间后的数据进行分块，并进行离散余弦变换。

离散余弦变换广泛地应用在图像压缩中，离散余弦变换编码是从快速傅立叶变换中取实部，再利用余弦正交变换算法对不同的信号进行压缩。对RGB颜色空间模式进行变换后，进行8×8块切分以便于进行离散余弦变换。在进行正交矢量空间变换之后，进行熵编码。将时域信号变换到频域信号，只需振幅和频率两个参数，数据相关性减少。由于图像中的大部分信号都是低频信号，在频域中信号的能量较集中，因此再对这些变换参数进行采样、量化、编码处理即可以压缩数据。

S102g、对离散余弦变换后的数据进行量化处理。

具体地，量化是把一个变量的取值范围分成有限个不重叠的、大小不一定相等的区间，并给每个区间指定一个属于该区间内的值。通过量化可以减少比特数和压缩数据量。在量化过程中会引起信息的丢失，量化的方法有标量量化和矢量量化。标量量化是在随机变量出现概率较高的间隔内，选取较小的间区，而在其他区域选取较大的间区，这样可以以较小的量化均方误差进行量化。量化还可根据人眼视觉特性进行，对较敏感信号分量采用较多的量化级数进行细量化，而对较迟钝的信号分量采用粗量化，这样既保证了重建图像的质量，又可大大降低压缩后的信息码率。本实施例中采用基于视觉特性的标量量化。另外，本实施例不对量化处理的方式做限制。

S102h、对量化处理后的数据进行熵编码。

在量化之后，对量化处理后的数据进行熵编码，本实施例中使用Huffman编码技术进行编码。

对图像数据进行有损压缩编码后，经RDP协议传输到客户端后，需要对压缩后的图像进行解码，图4为本发明远程桌面的图像传输方法实施例三中客户端解码的流程示意图，如图4所示，解码过程如下：

S401、在RDP客户端，首先对接收来的压缩图像数据进行熵解码。

S402、实施反量化过程。

具体来说，反量化只需要对8×8的颜色分量单元的64个值逐一乘以对应的量化表内位置相同的值则可。图像内全部的颜色分量单元都要进行反量化。

S403、进行反向离散余弦变换（IDCT）。

具体来说，文件中的数据是在编码时通过正向离散余弦变换进行时空域向频率域变换而得到的结果，所以解码就必须将其反向离散余弦变换（IDCT），也就是将颜色分量单元矩阵中的频率域数值向时空域转换。原来的频率域的矩阵大小为8×8，经过反向离散余弦变换后，时空域的矩阵仍然是8×8。

S404、对进行反向离散余弦变换后的数据进行颜色空间变换。

具体来说，要在屏幕上显示图像，就必须以RGB颜色空间模式表示图像的颜色。所以，在进行反向离散余弦变换之后，需要将YCrCb颜色空间模式向RGB颜色空间模式转换。此外，由于离散余弦变化要求定义域的对称，所以本实施例中在编码时把RGB的数值范围从[0，255]统一减去128偏移成[-128，127]。并且，通过变换得出的R、G、B值可能超出其定义域。如果大于255，则截断为255，如果小于0，则截断为0。

S405、客户端得到原始图像数据，输出原始图像数据。

进一步地，在本发明的实施例四中，在上述图1所示实施例的基础上，对源数据进行编码的操作可以由其他网元来执行，则S101中对待传输的源数据进行类型识别之前，本实施例的方法还包括：从服务端接收源数据。本实施例中通过添加网关，网关从服务端接收源数据，在网关处对接收的源数据进行处理。这样处理后实现了对数据和协议转换的灵活处理，并且服务端可以按照已有技术执行远程桌面共享操作，无需进行改进。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图5为本发明远程桌面的图像传输装置实施例一的结构示意图，如图5所示，本实施例的装置可以包括：识别模块11、处理模块12和传输模块13，其中，识别模块11用于对待传输的源数据进行格式类型识别。

处理模块12用于当识别到源数据为图片格式数据时，对图片格式数据采用有损编码技术进行编码处理。

传输模块13用于将编码处理后的数据码流向客户端传输。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明远程桌面的图像传输装置实施例二的结构示意图，如图6所示，本实施例的装置在图5所示装置结构的基础上，进一步地，处理模块12可以包括：块类型识别单元121、压缩处理单元122和统一单元124，其中，

块类型识别单元121用于对图片格式数据进行分块和块类型识别。

压缩处理单元122用于根据图片格式数据各分块的块类型采取对应的压缩算法进行编码处理。

统一单元124用于将编码处理后的图片格式数据各分块的码流统一为一个数据码流。

块类型识别单元121包括颜色空间转换子单元1211和块类型识别子单元1212，其中，颜色空间转换子单元1211用于对图片格式数据转换颜色空间，类型识别子单元1212用于对转换颜色空间后的图片格式数据，采用颜色边缘补齐方法进行分块处理，得到文本块数据、图像块数据和混合块数据。

压缩处理单元122包括文本块压缩子单元1221、图像块压缩子单元1222和混合块压缩子单元1223，其中，文本块压缩子单元1221用于对图片格式数据中的文本块数据采用无损压缩算法进行编码处理，图像块压缩子单元1222用于对图片格式数据中的图像块数据采用有损压缩算法进行编码处理，混合块压缩子单元1223用于对图片格式数据中的混合块数据采用有损压缩算法和无损压缩算法进行编码处理，或采用无损压缩算法进行编码处理。

本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

图7为本发明远程桌面的图像传输装置实施例三的结构示意图，如图7所示，本实施例的装置在图5所示装置结构的基础上，进一步地，处理模块12可以包括：颜色空间转换单元125、分块处理单元126、量化处理单元127和编码单元128，其中，

颜色空间转换单元125用于对图片格式数据转换颜色空间。

分块处理单元126用于对转换颜色空间后的数据进行分块，并进行离散余弦变换。

量化处理单元127用于对离散余弦变换后的数据进行量化处理。

编码单元128用于对量化处理后的数据进行熵编码。

本实施例的装置，可以用于执行图3所示方法实施例的技术方案，其实现原理类似，此处不再赘述。

图8为本发明远程桌面的图像传输装置实施例四的结构示意图，如图8所示，本实施例的装置在图5所示装置结构的基础上，进一步地，本实施例的装置还包括接收模块14，接收模块14用于对待传输的源数据进行类型识别之前，从服务端接收源数据。

本实施例的装置，可以用于执行实施例四所述方法实施例的技术方案，其实现原理类似，此处不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种远程桌面的图像传输方法，其特征在于，包括：

对待传输的源数据进行格式类型识别；

当识别到所述源数据为图片格式数据时，则对所述图片格式数据采用有损编码技术进行编码处理；

将编码处理后的数据码流向客户端传输。

2.根据权利要求1所述的方法，其特征在于，对所述图片格式数据采用有损编码技术进行编码处理包括：

对所述图片格式数据进行分块和块类型识别；

根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理；

将编码处理后的图片格式数据各分块的码流统一为一个数据码流。

3.根据权利要求2所述的方法，其特征在于，对所述图片格式数据进行分块和块类型识别包括：

对所述图片格式数据转换颜色空间；

对转换颜色空间后的图片格式数据，采用颜色边缘补齐方法进行分块处理，得到文本块数据、图像块数据和混合块数据。

4.根据权利要求3所述的方法，其特征在于，根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理包括：

对图片格式数据中的文本块数据采用无损压缩算法进行编码处理；

对图片格式数据中的图像块数据采用有损压缩算法进行编码处理；

对图片格式数据中的混合块数据采用有损压缩算法和无损压缩算法进行编码处理，或采用无损压缩算法进行编码处理。

5.根据权利要求1所述的方法，其特征在于，对所述图片格式数据采用有损编码技术进行编码处理包括：

对所述图片格式数据转换颜色空间；

对转换颜色空间后的数据进行分块，并进行离散余弦变换；

对离散余弦变换后的数据进行量化处理；

对量化处理后的数据进行熵编码。

6.根据权利要求1所述的方法，其特征在于，对待传输的源数据进行类型识别之前，还包括：从服务端接收源数据。

7.一种远程桌面的图像传输装置，其特征在于，包括：

识别模块，用于对待传输的源数据进行格式类型识别；

处理模块，用于当识别到所述源数据为图片格式数据时，对所述图片格式数据采用有损编码技术进行编码处理；

传输模块，用于将编码处理后的数据码流向客户端传输。

8.根据权利要求7所述的装置，其特征在于，所述处理模块包括：

块类型识别单元，用于对所述图片格式数据进行分块和块类型识别；

压缩处理单元，用于根据所述图片格式数据各分块的块类型采取对应的压缩算法进行编码处理；

统一单元，用于将编码处理后的图片格式数据各分块的码流统一为一个数据码流。

9.根据权利要求8所述的装置，其特征在于，所述块类型识别单元包括：

颜色空间转换子单元，用于对所述图片格式数据转换颜色空间；

块类型识别子单元，用于对转换颜色空间后的图片格式数据，采用颜色边缘补齐方法进行分块处理，得到文本块数据、图像块数据和混合块数据。

10.根据权利要求9所述的装置，其特征在于，所述压缩处理单元包括：

文本块压缩子单元，用于对图片格式数据中的文本块数据采用无损压缩算法进行编码处理；

图像块压缩子单元，用于对图片格式数据中的图像块数据采用有损压缩算法进行编码处理；

混合块压缩子单元，用于对图片格式数据中的混合块数据采用有损压缩算法和无损压缩算法进行编码处理，或采用无损压缩算法进行编码处理。

11.根据权利要求7所述的装置，其特征在于，所述处理模块包括：

颜色空间转换单元，用于对所述图片格式数据转换颜色空间；

分块处理单元，用于对转换颜色空间后的数据进行分块，并进行离散余弦变换；

量化处理单元，用于对离散余弦变换后的数据进行量化处理；

编码单元，用于对量化处理后的数据进行熵编码。

12.根据权利要求7所述的装置，其特征在于，还包括：

接收模块，用于对待传输的源数据进行类型识别之前，从服务端接收源数据。

Images