CN104768009B - 一种桌面虚拟化spice协议下的图像传输方法 - Google Patents

Abstract

本发明公开了一种桌面虚拟化SPICE协议下的图像传输方法。本方法为：1)建立一中间层，其为所选压缩算法设置一压缩结构体和解压结构体；2)中间层从SPICE协议传送过来的待压缩数据中提取所选压缩算法压缩所需的输入数据，并将其存储到该压缩结构体中；然后中间层将该压缩结构体发送给该压缩算法进行压缩；然后将该压缩结构体中存储的压缩数据存入协议本身传输用的结构体中，传输到数据解压端；3)在数据解压端，中间层从协议传送过来的压缩数据中提取所选压缩算法解压所需的输入数据，并将其存储到该解压结构体中；然后将其发送给该压缩算法进行解压。本发明建立了SPICE协议图像传输中移植通用体系，提高了运行速度。

Description

一种桌面虚拟化SPICE协议下的图像传输方法

技术领域：

本发明涉及一种图像传输NSC算法，尤其涉及一种改进的应用在桌面虚拟化SPICE协议下的新型图像传输NSC算法，属于桌面虚拟化协议下的图像传输和图像压缩技术领域。

背景技术：

桌面虚拟化技术是一种重要的云资源交付手段，采用桌面虚拟化技术，所有的桌面虚拟机在数据中心进行托管并统一管理，管理员只需在后台集中管理服务器上的应用程序。用户通过远程访问服务器，根据自己的需要使用虚拟桌面服务，获得完整的个人电脑使用体验，用户在移动终端上的操作不会受到任何影响。同时系统管理员只需要维护部署在中心服务器上的系统即可，不需要更新升级客户机上的系统，大大降低了管理员的工作量。目前，许多企业都开始采用桌面化方案，将技术人员从过时的桌面模式中解脱出来，降低管理成本，提高灵活性，简化技术支持，实现创新。

本发明针对的是Red Hat公司研发的SPICE(Simple Protocol for IndependentComputing Environment)开源虚拟化桌面传输协议。SPICE协议与传统的桌面传输协议有很大的不同，它是直接与虚拟机服务器通信，而传统的传输协议则是与运行于虚拟机之上的Guest虚拟机进行通信。这一特性使得SPICE协议可以直接与运行于服务器上的任何虚拟机进行通信，同时可以使用服务器的硬件设备对数据进行处理。SPICE采用多虚拟通道技术，为不同的通道设定不同的优先级，在网络状况不佳的情况下，优先保证实时数据的传输。

SPICE协议提供多种数据压缩算法，对不同的数据进行自适应压缩处理，以减少传输的数据量。主要包括针对图像数据的JPEG算法、Quic算法和LZ/Glz算法，以及针对视频数据的MJPEG算法。其中，JPEG压缩[作为SPICE协议中唯一的有损图像压缩，在传输过程中被频繁使用。它利用了人的视角系统特性，使用量化和无损压缩编码相结合的方式来去掉视角的冗余信息和数据本身的冗余信息。另外的、Quic算法和LZ/Glz算法是SPICE协议中特有的针对图像无损压缩的算法，但在SPICE协议中使用率并不高。

NSC算法是RDP协议中被经常使用的一种压缩算法。它可以对图像进行高效的有损压缩，在保证图像质量的情况下，尽可能的减少图像在传输过程中占用的带宽，且其算法运算速度较快。

在目前的技术发展中，没有出现过对SPICE协议下图像传输中图像压缩算法的移植替换。同时，虽然SPICE协议中有很多的图像压缩算法，但却没有使用NSC算法在SPICE协议下进行图像压缩的先例。

在现有的SPICE协议中，一共提供了3种图像压缩算法，详见附图1。其中Quic和LZ算法为SPICE协议特有的无损压缩算法，在应用中由于消耗过大，不经常使用。JPEG算法是SPICE协议中唯一的位图有损压缩算法，与本发明中的SPICE协议下的NSC算法最为接近。

JPEG算法是一种有效的位图有损压缩算法，其可以达到一定的压缩比，但压缩后的图像质量不高。因此，在SPICE协议中，选用的JPEG算法，在保证图像质量的前提下，压缩比并不高，进而造成SPICE协议在图像传输过程中，所占用的带宽较大。

现有技术方案的缺点：

1、在SPICE协议下，JPEG算法压缩比有限，在传输图像过程中占用的网络带宽较大。

2、在SPICE协议中，JPEG算法的执行速度较慢。

3、在低带宽的环境中，使用JPEG算法传输可能会出现画面刷屏的效果。

4、JPEG算法代码量大，过程复杂，占用内存空间大。

发明内容

针对现有技术存在的技术问题，本发明提供一种改进的应用在桌面虚拟化SPICE协议下的新型图像传输NSC算法。本发明对原有的NSC算法进行了改进，之后移植到SPICE协议中，替换JPEG算法。新的NSC算法与JPEG算法相比，可在保证SPICE协议传输图像质量较高的情况下，使图像在压缩的过程中，获得更高的压缩比，在传输过程中占用更少的网络带宽，同时加快了图像压缩的处理速度。

本发明的目的在于：

1、解决将已有的图像压缩算法移植到SPICE协议中的问题，建立在SPICE协议图像传输中移植算法的通用体系。

2、通过通用体系，可以将现有的图像压缩算法成功的移植入SPICE协议中，使移植后的算法可以成功应用于SPICE协议图像传输过程中。

3、使用通用体系移植，代码量小，运行速度快，占用内存小。

本发明的技术方案为：

一种桌面虚拟化SPICE协议下的图像传输方法，其步骤为：

1)建立一用于在桌面虚拟化SPICE协议与所选压缩算法之间进行数据传输的中间层；所述中间层根据所选压缩算法的输入格式为该压缩算法分别设置一压缩结构体和解压结构体；

2)在数据压缩端，所述中间层从SPICE协议传送过来的待压缩数据中提取所选压缩算法压缩所需的输入数据，并将其存储到该压缩算法的压缩结构体中；然后所述中间层将该压缩结构体发送给该压缩算法进行压缩；然后所述中间层将该压缩结构体中存储的压缩数据存入SPICE协议本身传输用的结构体中，传输到数据解压端；

3)在数据解压端，所述中间层从SPICE协议传送过来的压缩数据中提取所选压缩算法解压所需的输入数据，并将其存储到该压缩算法的解压结构体中；然后所述中间层将该解压结构体发送给该压缩算法进行解压；然后所述中间层将解压后的数据转存入SPICE协议中。

进一步的，所述所选压缩算法为NSC算法；所述待压缩数据为图像数据。

进一步的，所述NSC算法中设有一用于表示图像色度变化的平滑程度value值；所述NSC算法首先计算待压缩图像数据的value值，然后将其与设置的阈值进行比较，然后根据比较结果选取不同的编码方法进行压缩。

进一步的，所述待压缩图像数据为ARGB位图，所述NSC算法首先将ARGB位图分离成A、R、G、B四个颜色平面，然后将每个A、R、G、B颜色平面填补成8像素宽、2像素高的整数倍，然后将R、G、B颜色平面转换成Y、Co、Cg颜色平面后，对颜色平面进行色度抽样压缩后计算得到待压缩图像数据的value值，如果该Value值大于设定阈值，则对A、Y、Co、Cg四个颜色平面分别进行行程编码，否则对A、Y、Co、Cg四个颜色平面分别进行熵编码。

进一步的，计算所述Value值的方法为：首先在待压缩图像上取多个样本点；然后计算每个样本点与其周围像素的平均色度值差，用平均的色度差值，来代表该样本点与周围色度变化的平滑程度；然后将所有样本点的色度差值加权求和，得到该value值。

进一步的，所述样本点为待压缩图像1/2高度线上的点、1/2宽度线上的点和两条对角线上的点。

进一步的，所述样本点为在每条线上以1个像素为步长，坐标均为整数的像素点。

与现有技术相比，本发明的积极效果：

1、本发明提供了一种有效的将图像算法移植入SPICE协议的方法，该方法不但适用于NSC算法，也适应于其他的图像算法。

2、本发明对NSC算法进行了改进，使其可以自主的根据图像情况选择不同的编码压缩算法。新改进的NSC算法比原有的NSC算法在压缩比方面提高1以上。

3、本发明还将多媒体指令运用在NSC算法中，使新NSC算法的运行速度提高了大约。

附图说明

图1为SPICE协议原始压缩方案；

图2为SPICE协议新图像压缩方案；

图3为SPICE协议植入算法架构图；

图4为新NSC算法流程图；

图5为新NSC算法中样本点选取示意图；

图6为单个样本点计算示意图。

具体实施方式

下面结合附图对本发明进行进一步详细描述。

本发明主要分为两部分，一部分是将NSC算法移植到SPICE协议中，替代原有的JPEG算法，形成新的SPICE协议图像传输算法。同时，建立向SPICE协议图像传输移植算法的通用体系。另一部分是对NSC算法进行改进，使其更好的适应SPICE协议，保证图像传输质量，提高图像压缩比，减少图像传输过程中占用的带宽。同时，提高NSC算法的运行速度，提升SPICE协议图像传输的效率。

一、在附图2中，原来应用JPEG算法的部分，被替换成了NSC算法，NSC算法与SPICE协议原有的Quic和LZ两种无损压缩算法一起，形成了新的SPICE协议图像压缩处理方案。NSC算法与Quic和LZ算法为平行关系，互不影响，NSC算法独立完成压缩。NSC算法的输入与输出通过中间层完成与SPICE协议的连接。

由于NSC算法之前一直被使用在RDP协议中，从未被移植到SPICE协议中。因此，在进行移植时，设计了一个中间层，用中间层来连接SPICE协议和NSC算法。通过中间层的连接，NSC算法可以很好的移植到SPICE协议中发挥作用。同时，该中间层不仅适用于将NSC算法移植到SPICE协议中，其他的图像压缩算法也可以通过中间层，对算法接口进行微调，来实现将图像压缩算法移植到SPICE协议中的效果。

中间层总体分为两个部分，第一部分是对从SPICE协议中传来的数据进行处理，处理成压缩解压需要的数据；第二部分，是进行相反的操作，将压缩和解压后的数据，处理成SPICE协议中传输的数据。

在整个压缩解压过程中，一共需要4次用到中间层。压缩和解压前，用到的是中间层的第一部分；压缩和解压后，用到的是中间层的第二部分。

因为SPICE协议有其自己的传输图像的结构体，结构体里除了包括图像数据本身，还有很多其特有需要的信息。而对于压缩算法来说，每种压缩算法需要的数据除了图像本身，还会算法所需的其他图像信息。如果没有中间层，需要对移植的算法进行大量的修改，使其可以使用SPICE协议的数据。

而建立了中间层这个通用的体系后，基本不需要对SPICE协议和移植算法本身进行修改。只需要了解移植算法的输入输出所需的数据，和SPICE协议可以提供的数据，通过改写中间层来将SPCIE协议和移植算法进行连接。

具体中间层中的转换处理主要是根据所要移植的算法所需的接口输入而定的。对于NSC算法来说，在压缩解压过程中，需要图像的长，宽，大小信息，那么中间层就从SPICE协议中传输的图像本身的信息中，提取这些信息，存入算法的结构体中，供压缩解压使用。一般的压缩算法所需的信息和NSC算法是类似的，再使用其他移植算法时，根据实际修改结构体、变量名即可。如果需要除了上述以外的信息，可以在结构体中增加变量，并在中间层中，完成变量的赋值。之后，将新定义的结构体传输到压缩解压函数。

图3为SPICE协议、中间层和NSC算法之间工作的示意图。SPICE协议发出处理图像的指令，经过中间层，调用NSC算法。当NSC算法处理完成后，将处理结果再通过中间层回传给SPICE协议。中间层中主要包含对SPICE协议图像数据接收的接口，通过中间层将数据信息转换成适合NSC算法使用的信息。当NSC算法处理完成后，将结果传到中间层，中间层再将信息处理成适合SPICE协议应用的数据。以此完成SPICE协议与NSC算法之间的数据联系，达到将NSC算法移植入SPICE协议的效果。

其中，在调用压缩算法前，需要通过中间层，SPICE协议传送过来的图像数据，经过中间层，提取图像的长，宽，大小，和图像数据信息一起存储到用于NSC压缩使用的结构体中，即压缩结构体。这个结构体将作为调用压缩函数的参数传入压缩函数进行压缩。压缩完成后，还要通过中间层，将结构体中存储的压缩完的图像数据，存入SPICE协议自己本身传输用的结构体中，通过SPICE传输到解压端。

同理，在调用解压功能前，需要通过中间层，将传输过来的图像数据进行处理，将图像的长，宽，压缩前后的大小，以及本身的压缩数据存放入解压的结构体里，即解压结构体。将此结构体作为输入进行解压。解压完成后，再通过中间层将图像信息转存入SPICE协议中，进行后续的传输显示。

二、中间层的实现过程，在中间层中，对应SPICE协议的传输数据流设置了wStream*格式变量，用来接收从SPICE协议中传入或将要传送至SPICE协议中的图像数据流。当中间层接收到了来自SPICE协议的数据流，存储入wStream*格式变量，中间层中的nsc_encoder_create()函数从数据流中提取NSC算法压缩所需的相关数据，如：图片的数据流、图片的长、宽、大小等信息，将其存放入NSC算法中的压缩结构体中。之后，再将结构体作为参数，调用NSC算法进行压缩，至此，完成了从SPICE协议到NSC算法的过程。反之，当调用解压时，中间层将NSC算法的解压结构体中的信息，整合到wStream*格式变量中，再将wStream*变量传送至SPICE协议主干的数据流中，进行后续操作。

在将NSC算法移植入SPICE协议后，为了可以让NSC算法更好的适应SPICE协议，发挥其优势，对NSC算法进行了改进。改进后的新NSC算法流程图见图4。首先提取数据，把位图的数据根据NSC算法需要的排列方式，存入压缩结构体中。然后采用NSC算法对压缩结构体中的数据进行压缩，本发明新的NSC算法可以根据压缩图像的色度特点自主的选择不同的编码压缩方法，因此达到更好的压缩比率。在新的NSC算法中，引入了一个value值，用这个值来表示图像色度变化的平滑程度。在进行编码压缩前，新NSC算法会计算这个value值，之后将其与之前设置好的阈值进行比较，根据比较结果选择不同的编码压缩。Vlaue值的引入可以使压缩算法自主的根据图像的不同选择不同的图像编码压缩方法，进而提高了NSC算法的压缩比。

在新的NSC算法中计算value值，采取的是先在图像上取样本点逐个计算，之后再将各点的值求加权平均的方法，抽去样本点的方法见图5。对图像分别取高度的1/2、宽度的1/2和两条对角线上的点。为了可以尽可能让样本点的值可以代表整幅图像，且计算相对简单，在每条线上以1个像素为步长，只计算坐标均为整数的像素点。

选取好样本点后，需要依次计算每个抽样点与其周围像素的平均色度值差，用平均的色度差值，来代表该点与周围色度变化的平滑程度。示意图见图6。图6中，x为样本点，其中a、b、c、d为其周围的像素点。用x的色度值分别减去其周围四个像素点的色度值，再求平均值，即得到了x点对于其周围像素点的色度变化程度。

对每个抽样点都进行类似的计算，之后将所有抽样点的色度差值再进行加权求和，得到代表图像整体的色度值差，即value值，用它来表示图像整体色度变化的平滑度。

计算好value值后，将其与算法预先设定好的阈值进行比较，如果value值比阈值小，说明图像色度变化比较平滑，即颜色比较单一，这样的图像就选择简单快速的行程编码进行压缩。如果value值比阈值大，说明图像色度变化较大，色彩比较丰富，这时算法就会选择比较适合压缩颜色较丰富图像的熵编码。

在本发明中，首次将NSC算法移植入SPICE协议中，并对NSC算法进行了改进。针对本发明其替代方案是可以将其他的图像压缩算法移植入SPICE协议中。如果将其他算法移植入SPICE协议中，只需要对中间层进行修改。即对植入的算法，在中间层中将SPICE协议传出的数据转换成植入算法所需的数据，存入压缩结构体中；对SPICE协议，在中间层中将植入算法处理后的数据存入解压结构体中，再转换成SPICE协议的输入数据。经过这样的修改，就可以达到将算法植入SPCIE协议中进行工作的目的。

本发明首次提出了创建中间层，它不仅保证了将NSC算法很好的移植到了SPICE协议中，同时为其他算法植入SPICE协议提供了方法，建立向SPCIE协议移植图像算法的通用方法。类似将算法移植入SPICE协议的行为都应属于本发明的范围。

Claims (7)

1.一种桌面虚拟化SPICE协议下的图像传输方法，其步骤为：

1)建立一用于在桌面虚拟化SPICE协议与所选压缩算法之间进行数据传输的中间层；所述中间层根据所选压缩算法的输入格式为该压缩算法分别设置一压缩结构体和解压结构体；其中，所选压缩算法为噪声抑制编解码NSC算法；

2)在数据压缩端，所述中间层从SPICE协议传送过来的待压缩数据中提取所选压缩算法压缩所需的输入数据，并将其存储到该压缩算法的压缩结构体中；然后所述中间层将该压缩结构体发送给该压缩算法进行压缩；然后所述中间层将该压缩结构体中存储的压缩数据存入SPICE协议本身传输用的结构体中，传输到数据解压端；

3)在数据解压端，所述中间层从SPICE协议传送过来的压缩数据中提取所选压缩算法解压所需的输入数据，并将其存储到该压缩算法的解压结构体中；然后所述中间层将该解压结构体发送给该压缩算法进行解压；然后所述中间层将解压后的数据转存入SPICE协议中。

2.如权利要求1所述的方法，其特征在于，所述待压缩数据为图像数据。

3.如权利要求2所述的方法，其特征在于，所述NSC算法中设有一用于表示图像色度变化的平滑程度value值；所述NSC算法首先计算待压缩图像数据的value值，然后将其与设置的阈值进行比较，然后根据比较结果选取不同的编码方法进行压缩。

4.如权利要求3所述的方法，其特征在于，所述待压缩图像数据为ARGB位图，所述NSC算法首先将ARGB位图分离成A、R、G、B四个颜色平面，然后将每个A、R、G、B颜色平面填补成8像素宽、2像素高的整数倍，然后将R、G、B颜色平面转换成Y、Co、Cg颜色平面后，对颜色平面进行色度抽样压缩后计算得到待压缩图像数据的value值，如果该value值大于设定阈值，则对A、Y、Co、Cg四个颜色平面分别进行行程编码，否则对A、Y、Co、Cg四个颜色平面分别进行熵编码。

5.如权利要求3或4所述的方法，其特征在于，计算所述value值的方法为：首先在待压缩图像上取多个样本点；然后计算每个样本点与其周围像素的平均色度值差，用平均的色度差值，来代表该样本点与周围色度变化的平滑程度；然后将所有样本点的色度差值加权求和，得到该value值。

6.如权利要求5所述的方法，其特征在于，所述样本点为待压缩图像1/2高度线上的点、1/2宽度线上的点和两条对角线上的点。

7.如权利要求6所述的方法，其特征在于，所述样本点为在每条线上以1个像素为步长，坐标均为整数的像素点。