CN103402091A - 云桌面图像分类与编码方法 - Google Patents

Abstract

本发明涉及云桌面图像技术领域，提供了一种云桌面图像分类及其编码方法，包括：将云桌面图像分为图形块、似图形块、混合块和自然图像块；具体方法为：将云桌面图像分成N×N块，输入RGB图像，统计块内颜色个数，若颜色个数小于第一阈值，为图形块。本发明的一种云桌面图像分类及其编码方法既不损失图像的重要信息，又能保证图像高清晰度、减少压缩比特数。

Description

云桌面图像分类与编码方法

技术领域

本发明属于云桌面图像技术领域，特别涉及一种云桌面图像分类与编码方法。

背景技术

云桌面技术是指当前服务器主机的桌面内容通过虚拟方式提供给远程客户端。用户远程访问服务器，跟操作自己的计算机一样。通过在服务器屏幕拷贝，用户可以获取云桌面图像序列；图像经过压缩后，通过网络传输到云终端；终端解码可以得到云桌面图像内容。用户通过云终端操控使用云桌面，云桌面和云终端需要通过远程传输协议实现两者的交互。在云桌面系统中，终端如何高效、快速展现云端桌面，极大的依赖于桌面图像的传输。桌面图像数据量十分巨大，必须经过压缩后才可以在网络上传输。

桌面图像不同一般自然图像，有着自己的特点。自然图像灰度和颜色的变化一般是连续的，而桌面图像组成成分复杂，包含了文本和图形信息，往往像素值的变化是不连续的。桌面图像编码也有特别的要求，就是不能损失文本和图形的边缘信息。一般的图像和视频压缩标准是基于自然图像在空间域和时间域有很强的相关性来编码的，而这一点桌面图像并不满足。一般的压缩方法也没有考虑桌面图像对文本和图形清晰度有特别地要求，因而不能保证其清晰度，更严重的时候会影响文字语义。

因此，云桌面图像技术领域急需一种保证高清晰度、减少压缩比特数的云桌面图像分类与编码方法。

发明内容

本发明提供了一种云桌面图像分类及其编码方法，技术方案如下：

云桌面图像分类与编码方法，其特征在于，包括：将云桌面图像分为图形块、似图形块、混合块和自然图像块；具体方法为：

将云桌面图像分成N×N块，输入RGB图像，统计块内颜色个数，若颜色个数小于第一阈值，为图形块。

如上所述的云桌面图像分类与编码方法，其中，还包括：

若颜色个数大于等于第一阈值，则执行步骤2：将块内像素值分类，计算块聚类误差和每个像素点的梯度模值，块聚类误差为块内所有像素到其属类中心点的距离之和，梯度模值为像素值与块内其3x3邻域像素值的最大距离，判断是否聚类误差小于第二阈值且块内所有像素的梯度模值不落入第三阈值范围，若是，则为似图形块。

如上所述的云桌面图像分类与编码方法，其中，还包括：

若该步骤2的判断结果为否，则执行步骤3：进行颜色行和列统计，判断是否存在一行或者一列像素值相同且可以被颜色库索引，若是，为混合块；若否，则为自然图像块。

如上所述的云桌面图像分类与编码方法，其中，还包含：

对该图形块采取动态颜色表编码方法：

首先，对于当前块中的每个像素值，记录其在颜色表的索引值，并对索引值块进行编码；

然后，进行颜色表更新，用最新使用的颜色替代最久没有使用的颜色，利用相邻颜色表的空间相关性对其进行编码；

最后，压缩码流输出。

如上所述的云桌面图像分类与编码方法，其中，还包含：对似图形块采取动态颜色表和传统相结合的编码方法，具体为：

将似图形块分解成聚类中心值块和聚类误差块；

对聚类中心值组成的块，采用动态颜色表编码方法；

对聚类误差组成的块，则采用传统编码方法；

最后压缩码流输出。

如上所述的云桌面图像分类与编码方法，其中，还包含：对混合块采取如下编码方法：

如果满足图形条件的行数大于等于列数，则对满足图形条件的行采取图形块编码方法；

如果满足图形条件的行数小于列数，则对满足图形条件的列采取图形块编码方法；

对剩下的自然图像部分，先进行像素值填充，然后采取自然图像块编码方法；

最后压缩码流输出。

如上所述的云桌面图像分类与编码方法，其中，该自然图像块编码方法为：输入图像块，然后将其颜色值从RGB颜色空间转到YUV空间，分成亮度Y分量和彩色UV分量，并对亮度Y分量进行快速帧内预测，得到预测方向，UV分量采用与Y分量一样的预测方向，最后亮度Y分量同彩色UV分量一起采用预测残差编码方法，压缩码流输出。

本发明优点：一种云桌面图像分类及其编码方法，对图像中重要和人眼比较敏感的信息采取无损或者接近无损压缩，而对不敏感的连续变化的信息采取有损压缩。使用该种云桌面图像分类及其编码方法既不损失图像的重要信息，又能保证图像高清晰度、减少压缩比特数。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1是本发明的云桌面图像分类流程图。

图2是本发明的图形块编码方法流程图。

图3是本发明的4×4块结构示意图。

图4是本发明的似图形块编码方法流程图。

图5是本发明的混合块编码方法流程图。

图6是本发明的自然图像块编码方法流程图。

图7是本发明的帧内预测的8个方向示意图。

图8是本发明的快速帧内预测流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

图1是本发明的云桌面图像分类流程图，本发明将云桌面图像分类为图形块、似图形块、混合块、自然图像块，具体方法为：

步骤1：将云桌面图像分成N×N块，输入RGB图像，统计块内颜色个数，若颜色个数小于第一阈值，为图形块；

第一阈值可以根据情况设定，如对4x4块可以设定第一阈值为3，本领域技术人员应该可以理解。

若颜色个数大于等于第一阈值，则执行步骤2：将块内像素值分类，并计算聚类误差和每个像素点的梯度模值，聚类误差为块内所有像素到其属类中心点的距离之和，梯度模值为像素值与块内其3x3邻域像素值的最大距离，判断是否聚类误差小于第二阈值且块内所有像素梯度模值不落入第三阈值范围，若是，则为似图形块；

第二阈值可以根据情况设定，如对于4*4的块，可以设定为16，本领域技术人员应该可以理解；

第三阈值范围可以根据情况设定，如设定为8至64，本领域技术人员应该可以理解；

若否，则执行步骤3：进行颜色行和列统计，判断是否存在一行或者一列像素值相同且可以被颜色库索引，若是，为混合块；若否，则为自然图像块。

本发明对云桌面图像准确分类之后，针对不同的类采用不同的编码方法：图形块采取动态颜色表编码方法，似图形块采取动态颜色表和传统相结合的编码方法，混合块采取动态颜色表和快速帧内预测及预测残差相结合的编码方法，自然图像块采取快速帧内预测及预测残差编码方法。

图2是本发明的图形块编码方法流程图。

首先，对于当前块中的每个像素值，记录其在颜色表的索引值，并对索引值块进行编码；然后，进行颜色表更新，用最新使用的颜色替代最久没有使用的颜色，以保持颜色表的及时和有效性而不增加表大小，利用相邻颜色表的空间相关性对其进行编码，最后压缩码流输出。

图3是本发明的4×4似图形块结构示意图。

对每个像素点P(i,j)都有，P(i,j)=C(i,j)+Err(i,j)，其中，C(i,j)为像素点所属类的中心值，Err(i,j)为该像素的聚类误差（即该像素点与其所属类的中心的差值）。这样，似图形块可以分解成两个块之和：一个是所有像素点所属聚类中心值组成的块，另一个为所有像素点的聚类误差组成的块。并且像素点P(i,j)具有R、G、B三个通道，三个通道坐标为R(i,j)、G(i,j)、B(i,j)，像素点之间的dist为3个通道距离的最大值，例如P(i₁,j₁)与P(i₂,j₂)之间的最大值dist为：

dist(P(i₁,j₁)-P(i₂,j₂))＝max{丨R(i₁,j₁)-R(i₂,j₂)丨,丨G(i₁,j₁)-G(i₂,j₂)丨,丨B(i₁,j₁)-B(i₂,j₂)丨}

假设块大小为4x4，对应在图像中的坐标如图3，则像素点P(i,j),i0≤i≤i0+3,j0≤j≤j0+3的梯度模值GradM计算如下：

$\mathrm{GradM}(i,j)=\underset{i^{\′},j^{\′}}{\max }\left\{\mathrm{dist}(P(i,j)-P(i^{\′},j^{\′})\right\}$

其中，i’和j’满足-1＜＝i'-i＜＝1,-1＜＝j'-j＜＝1，i0＜＝i'＜＝i0+3,j0＜＝j'＜＝j0+3。

图4是本发明的似图形块编码方法流程图。

图形和文字不一定具有一致的像素值，往往在边缘处出现渐变的颜色。这样，根据块内颜色的个数来严格地区分图形和图像，会将许多事实上的图形误分为图像，进而影响编码效率和解码图像质量。

本发明抓住似图形块的两个特点：一是块内像素值容易分为几类，二是像素梯度模值比较小或者比较大，没有中间大小的梯度模值，中间大小的范围可以根据情况定义，这里中间大小的范围为第三阈值范围。

对聚类中心值组成的块，采用如图3的图形块编码方法；对聚类误差组成的块，则采用传统编码方法，比如离散余弦变换或小波变换进行量化后，再进行熵编码，最后压缩码流输出。

图5是本发明的混合块编码方法流程图。

如果满足图形条件的行数大于等于列数，则对满足图形条件的行采取图形块编码方法；

如果满足图形条件的行数小于列数，则对满足图形条件的列采取图形块编码方法；

对剩下的自然图像部分，先进行像素值填充，然后采取如图6的自然图像块编码方法；

最后压缩码流输出。

图6是本发明的自然图像块编码方法流程图。

首先，输入图像块，然后将其颜色值从RGB颜色空间转到YUV空间，分成亮度Y分量和彩色UV分量，并对亮度Y分量进行快速帧内预测，得到预测方向，UV分量采用与Y分量一样的预测方向，最后亮度Y分量同彩色UV分量一起采用预测残差编码方法，压缩码流输出。

图7是本发明的帧内预测的8个方向示意图。

本发明利用自然图像像素值连续的特点，不用计算如图7所示的8个方向的SAD(绝对差之和)，而只用计算其中5个方向的SAD值，这是因为SAD值相对方向的变化也是连续的。

图8是本发明的快速帧内预测流程图。

首先，计算方向0、4、2和6的SAD，分别记为SAD_0、SAD_4、SAD_2和SAD_6，比较SAD_0与SAD_4的大小，判别出预测方向是靠近水平方向还是垂直方向。

其次，比较SAD_2与SAD_6的大小，判别预测方向是在0度和45度之间还是在0度和-45度之间。

然后，计算方向在+22.5或者-22.5度上的SAD。

最后，最小SAD对应的方向即为预测方向。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.云桌面图像分类与编码方法，其特征在于，包括：将云桌面图像分为图形块、似图形块、混合块和自然图像块；具体方法为：

将云桌面图像分成N×N块，输入RGB图像，统计块内颜色个数，若颜色个数小于第一阈值，为图形块。

2.根据权利要求1所述的云桌面图像分类与编码方法，其特征在于，还包括：

若颜色个数大于等于第一阈值，则执行步骤2：将块内像素值分类，计算块聚类误差和每个像素点的梯度模值，块聚类误差为块内所有像素到其属类中心点的距离之和，梯度模值为像素值与块内其3x3邻域像素值的最大距离，判断是否块聚类误差小于第二阈值且所有像素梯度模值不落入第三阈值范围，若是，则为似图形块。

3.根据权利要求2所述的云桌面图像分类与编码方法，其特征在于，还包括：

若该步骤2的判断结果为否，则执行步骤3：进行颜色行和列统计，判断是否存在一行或者一列像素值相同且可以被颜色库索引，若是，为混合块；若否，则为自然图像块。

4.根据权利要求1至3项中的任意一项所述的云桌面图像分类与编码方法，其特征在于，还包含：

对该图形块采取动态颜色表编码方法：

首先，对于当前块中的每个像素值，记录其在颜色表的索引值，并对索引值块进行编码；

然后，进行颜色表更新，用最新使用的颜色替代最久没有使用的颜色，利用相邻颜色表的空间相关性对其进行编码；

最后，压缩码流输出。

5.根据权利要求4所述的云桌面图像分类与编码方法，其特征在于，还包含：对似图形块采取动态颜色表和传统相结合的编码方法，具体为：

将似图形块分解成聚类中心值块和聚类误差块；

对聚类中心值组成的块，采用动态颜色表编码方法；

对聚类误差组成的块，则采用传统编码方法；

最后压缩码流输出。

6.根据权利要求5所述的云桌面图像分类与编码方法，其特征在于，还包含：对混合块采取如下编码方法：

如果满足图形条件的行数大于等于列数，则对满足图形条件的行采取图形块编码方法；

如果满足图形条件的行数小于列数，则对满足图形条件的列采取图形块编码方法；

对剩下的自然图像部分，先进行像素值填充，然后采取自然图像块编码方法；

最后压缩码流输出。

7.根据权利要求6所述的云桌面图像分类与编码方法，其特征在于，该自然图像块编码方法为：输入图像块，然后将其颜色值从RGB颜色空间转到YUV空间，分成亮度Y分量和彩色UV分量，并对亮度Y分量进行快速帧内预测，得到预测方向，UV分量采用与Y分量一样的预测方向，最后亮度Y分量同彩色UV分量一起采用预测残差编码方法，压缩码流输出。

Images