CN108174214A - 一种基于屏幕内容视频编码的远程桌面共享方法 - Google Patents

Abstract

本发明请求保护一种基于屏幕内容视频编码的远程桌面共享方法，属于视频信号处理与远程共享技术领域。在主控端，首先要采集图像数据并保存在图像采集缓冲区；然后将采集的设定帧数图像转换为屏幕内容视频流；接着，通过屏幕内容视频编码器生成比特数据流，经信道传输发送到受控端。在受控端，屏幕内容视频解码器将接收的比特数据流解码并转换，在受控端实时显示主控端图像。本发明主要利用屏幕内容视频编码技术特有的自适应彩色转换、帧内块拷贝、调色板模式等多项性能优良的工具，可以达到对屏幕内容，特别是对于处理4K、甚至8K屏幕分辨率图像近似无损压缩的效果，并为后续视频编码技术的应用研究提供支持。

Description

一种基于屏幕内容视频编码的远程桌面共享方法

技术领域

本发明属于视频信号处理与远程共享技术领域，涉及一种基于屏幕内容视频编码的远程桌面共享方法。

背景技术

远程桌面控制技术广泛应用于远程办公、远程技术支持、远程交流和远程维护管理等方面，而在远程桌面控制技术中，对实时性和交互性最高的要求之一就是远程桌面的共享技术。

虽然近年来宽带网络和数据传输能力迅速增加，但是仍不能满足对海量高清实时桌面图像的无损传输，所以在传输之前必须要对图像进行压缩编码。但是传统的技术仅仅是在服务器端采用简单的图像编码方法进行压缩，传送到接收端解码之后得到输出图像，这种方法的压缩率有限，特别是对于4K、甚至是8K屏幕分辨率的高清图像的传输，这种缺点尤为突出，常常导致网络拥塞和数据传输延时增大。

新一代高效视频编码HEVC(High Efficiency Video Coding)国际标准于2013年4月正式发布。2016年12月份正式发布的HEVC屏幕内容编码(SCC)标准是HEVC最重要的扩展之一。作为专为屏幕内容传输而研发的高效、低耗编码工具，SCC对屏幕内容编码时，会依据不同的屏幕内容的特点采用不同的压缩方法，即是一种基于内容自适应的编码方式，所以，SCC在满足屏幕内容传输等方面可以发挥重要的作用。

发明内容

本发明旨在解决以上现有技术的问题。本发明提供了一种基于屏幕内容视频编码的远程桌面共享方法，弥补现有技术对于处理共享4K、甚至8K屏幕等高分辨率图像的不足，既能提高视频图像的压缩比，降低所需的传输带宽，减小传输延时，又能提高在远程屏幕共享应用中图像的质量。本发明的技术方案如下：

一种基于屏幕内容视频编码的远程桌面共享方法，在主控端，包括步骤：步骤1：首先对屏幕内容进行图像数据采集，然后将采集的设定帧数图像保存在图像采集缓冲区；步骤2：将图像采集缓冲区中保存的RGB图像转换为视频流；步骤3：把得到的RGB视频流输入屏幕内容视频编码器进行编码，生成比特数据流并输出，经信道传输发送到受控端；

在受控端，包括步骤：步骤4：将接收的比特数据流输入屏幕内容视频解码器进行解码；步骤5：将解码得到的输出视频流转换为设定帧数的RGB彩色空间图像，保证当前PC屏幕显示主控端的实时图像。

进一步的，所述步骤1对屏幕内容进行图像数据采集，其中屏幕内容的显示质量主要由显示器的刷新率和图形处理器GPU的帧率决定，刷新率是指电子束对屏幕上的图像重复扫描的次数，刷新率越高，所显示的图像越稳定，帧率是指GPU每秒能够渲染出新图像的次数。

进一步的，当刷新率为60Hz和帧率为60FPS时，所要采集的屏幕内容图像即为60帧，即把采集的60帧图像保存在图像采集缓冲区中。

进一步的，在步骤2中，所述将图像采集缓冲区中的保存的RGB图像转换为视频流还包括将采集的图像增加时间特性的步骤，以便于在接下来的编码中利用图像之间的时间相关性进行帧间预测。

进一步的，在步骤3中，所述把得到的RGB视频流输入屏幕内容视频编码器进行编码，生成比特数据流并输出，经信道传输发送到受控端，其过程包括以下步骤：

1)、屏幕内容视频编码，即HEVC-SCC编码器，首先要对每一帧图片划分成为编码单元CU、预测单元PU和转换单元TU，一个CU可以使用帧内、帧间或者帧内块拷贝的预测方式处理屏幕内容；

2)、为了去除彩色分量之间的相关性，残差块要进行自适应彩色转换ACT和交叉分量预测CCP操作，这两个过程都是在TU层面顺序且独立完成的，自适应彩色转换是将预测残差从RGB彩色空间转换到YCoCg空间；而CCP操作可以减少3个彩色分量预测残差之间的冗余；

3)、然后预测残差根据不同的内容选择普通的空间变换或者跳过空间变换TS操作：

4)、如果某些CU的彩色值很少，就采用调色板模式；

5)、对每一帧图像的残差变换系数进行量化和扫描；

6)、对量化后的变换系数、预测信息、模式信息、运动信息和头信息进行熵编码，形成压缩的屏幕内容视频码流输出；

7)、经信道传输发送到受控端。

进一步的，所述步骤3根据不同的内容选择普通的空间变换或者跳过空间变换TS操作具体包括步骤：31)、选择跳过空间变换操作时，首先要进行残差DPCM处理，即对残差完成DPCM处理；然后对残差DPCM模式的4×4帧内预测残差块进行180°旋转，使得旋转后的TS块系数的能量分布与DCT变换块类似；

32)、选择普通的空间变换操作时直接对屏幕内容的残差进行DCT变换处理。

进一步的，所述步骤4中，在受控端，将接收的比特数据流输入屏幕内容视频解码器进行解码，该过程包括以下步骤：

1)、首先对接收的压缩码流进行解析，得到各类编码信息；

2)、对解析得到的每类信息进行熵解码，得到每一帧图像残差系数的量化值及其他参数；

3)、对残差系数的量化值进行反量化和反变换，得到图像的残差值；

4)、重建图像，把得到的残差值和预测值相加得到重建图像。

进一步的，在步骤5中，所述的将解码得到的输出视频流转换为设定帧数的RGB彩色空间图像，与PC的显示系统相匹配，以保证主控端屏幕实时显示受控端的图像。

本发明的优点及有益效果如下：

本发明通过将主流的屏幕内容视频编码技术应用到远程桌面共享技术中，主要利用屏幕内容视频编码技术特有的自适应彩色转换、帧内块拷贝、调色板模式等多项性能优良的工具，对屏幕内容压缩编码，并且把生成的数据流从主控端发送到受控端，从而实现远程桌面的实时共享。本发明相较于传统的远程桌面共享方法，更加适用于屏幕内容的传输。针对不同的屏幕内容，屏幕内容编码器都有相应的工具进行处理，可以实现在传输相同质量内容的前提下，更加节省传输所需的带宽。比如，在屏幕内容中，存在相对离散的彩色像素分布，就可以使用调色板模式进行处理，在保证传输质量的同时，增强该方法对异构网络环境的适应性。该方法同时改善了现有技术对于处理4K、甚至8K屏幕分辨率的高清图像出现网络拥塞和传输延时增大的问题，达到近似无损压缩的效果。

附图说明

图1是本发明提供优选实施例基于屏幕内容视频编码的远程桌面共享方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

图1为本发明基于屏幕内容视频编码的远程桌面共享方法的示意图，包括：主控端和受控端，所述主控端主要包括图像采集缓冲区、图像转视频转换器和屏幕内容编码器等等；所述的被控端主要包括屏幕内容视频解码器、视频转图像转换器和重建图像缓冲区等等。除所述主控端和被控端的主要部分之外，还包括其他示意图所示的部分。如图所示，本发明所述方法包括以下步骤：

步骤1，该方法主要包括主控端和被控端两个部分。对于主控端，首先要对屏幕内容进行图像数据采集。屏幕内容的显示质量，主要由显示器的刷新率和图形处理器(GPU)的帧率决定。刷新率是指电子束对屏幕上的图像重复扫描的次数，刷新率越高，所显示的图像越稳定。帧率是指GPU每秒能够渲染出新图像的次数。例如，在通常情况下，刷新率为60Hz和帧率为60FPS就可以满足大部分人员的需求，那么，在这种情况下，步骤1所述中，所要采集的屏幕内容图像即为60帧，即把采集的60帧图像保存在图像采集缓冲区中。

步骤2，将图像采集缓冲区中的保存的RGB图像转换为视频流。主要是将采集的图像增加时间特性，以便于在接下来的编码中更好的利用图像之间的时间相关性进行帧间预测。

步骤3，所述把得到的RGB视频流输入屏幕内容视频编码器进行编码，生成比特数据流并输出，经信道传输发送到受控端，其过程包括以下三个步骤：

步骤31，屏幕内容视频编码，即HEVC-SCC编码器，首先要对每一帧图片划分成为编码单元(CU)、预测单元(PU)和转换单元(TU)。一个CU可以使用帧内、帧间或者帧内块拷贝的预测方式处理屏幕内容。

步骤32，为了要去除彩色分量之间的相关性，残差块要进行自适应彩色转换(ACT)和交叉分量预测(CCP)操作，这两个过程都是在TU层面顺序且独立完成的。自适应彩色转换是将预测残差从RGB彩色空间转换到YCoCg空间，以便更好的解除彩色分量之间的相关性；而CCP操作可以减少3个彩色分量预测残差之间的冗余。

步骤33，首先，预测残差要根据不同的内容选择普通的空间变换或者跳过空间变换(TS)操作。如果选择跳过空间变换操作，先要进行残差DPCM处理，即对残差完成DPCM处理；之后对残差DPCM模式的4×4帧内预测残差块进行180°旋转，使得旋转后的TS块系数的能量分布与DCT变换块类似。如果选择普通的空间变换，则直接对屏幕内容的残差进行DCT变换处理。而如果某些CU的彩色值很少，就可以采用调色板模式。然后，对每一帧图像的残差变换系数进行量化和扫描。接下来，对量化后的变换系数、预测信息、模式信息、运动信息和头信息等进行熵编码，形成压缩的屏幕内容视频码流(语法元素)输出。最后，经信道传输发送到受控端。

步骤4，所述的在受控端，将接收的比特数据流输入屏幕内容视频解码器进行解码，其过程包括以下四个步骤：

步骤41，对接收的压缩码流进行解析，得到各类编码信息(语法元素)；

步骤42，对解析得到的每类信息进行熵解码，得到每一帧图像残差系数的量化值及其他参数；

步骤43，对残差系数的量化值进行反量化和反变换，得到图像的残差值；

步骤44，重建图像，把得到的残差值和预测值相加得到重建图像。

步骤5，所述的将解码得到的输出视频流转换为设定帧数的RGB彩色空间图像，是为了与PC的显示系统相匹配，以保证主控端屏幕实时显示受控端的图像。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于屏幕内容视频编码的远程桌面共享方法，其特征在于，

在主控端，包括步骤：步骤1：首先对屏幕内容进行图像数据采集，然后将采集的设定帧数图像保存在图像采集缓冲区；步骤2：将图像采集缓冲区中保存的RGB图像转换为视频流；步骤3：把得到的RGB视频流输入屏幕内容视频编码器进行编码，生成比特数据流并输出，经信道传输发送到受控端；

在受控端，包括步骤：步骤4：将接收的比特数据流输入屏幕内容视频解码器进行解码；步骤5：将解码得到的输出视频流转换为设定帧数的RGB彩色空间图像，保证当前PC屏幕显示主控端的实时图像。

2.根据权利要求1所述的基于屏幕内容视频编码的远程桌面共享方法，其特征在于，所述步骤1对屏幕内容进行图像数据采集，其中屏幕内容的显示质量主要由显示器的刷新率和图形处理器GPU的帧率决定，刷新率是指电子束对屏幕上的图像重复扫描的次数，刷新率越高，所显示的图像越稳定，帧率是指GPU每秒能够渲染出新图像的次数。

3.根据权利要求2所述的基于屏幕内容视频编码的远程桌面共享方法，其特征在于，当刷新率为60Hz和帧率为60FPS时，所要采集的屏幕内容图像即为60帧，即把采集的60帧图像保存在图像采集缓冲区中。

4.根据权利要求1所述的基于屏幕内容视频编码的远程桌面共享方法，其特征在于，在步骤2中，所述将图像采集缓冲区中的保存的RGB图像转换为视频流还包括将采集的图像增加时间特性的步骤，以便于在接下来的编码中利用图像之间的时间相关性进行帧间预测。

5.根据权利要求1所述的基于屏幕内容视频编码的远程桌面共享方法，其特征在于，在步骤3中，所述把得到的RGB视频流输入屏幕内容视频编码器进行编码，生成比特数据流并输出，经信道传输发送到受控端，其过程包括以下步骤：

1)、屏幕内容视频编码，即HEVC-SCC编码器，首先要对每一帧图片划分成为编码单元CU、预测单元PU和转换单元TU，一个CU可以使用帧内、帧间或者帧内块拷贝的预测方式处理屏幕内容；

2)、为了去除彩色分量之间的相关性，残差块要进行自适应彩色转换ACT和交叉分量预测CCP操作，这两个过程都是在TU层面顺序且独立完成的，自适应彩色转换是将预测残差从RGB彩色空间转换到YCoCg空间；而CCP操作可以减少3个彩色分量预测残差之间的冗余；

3)、然后预测残差根据不同的内容选择普通的空间变换或者跳过空间变换TS操作：

4)、如果某些CU的彩色值很少，就采用调色板模式；

5)、对每一帧图像的残差变换系数进行量化和扫描；

6)、对量化后的变换系数、预测信息、模式信息、运动信息和头信息进行熵编码，形成压缩的屏幕内容视频码流输出；

7)、经信道传输发送到受控端。

6.根据权利要求5所述的基于屏幕内容视频编码的远程桌面共享方法，其特征在于，所述步骤3根据不同的内容选择普通的空间变换或者跳过空间变换TS操作具体包括步骤：31)、选择跳过空间变换操作时，首先要进行残差DPCM处理，即对残差完成DPCM处理；然后对残差DPCM模式的4×4帧内预测残差块进行180°旋转，使得旋转后的TS块系数的能量分布与DCT变换块类似；

32)、选择普通的空间变换操作时，直接对屏幕内容的残差进行DCT变换处理。

7.根据权利要求1所述的基于屏幕内容视频编码的远程桌面共享方法，其特征在于，所述步骤4中，在受控端，将接收的比特数据流输入屏幕内容视频解码器进行解码，该过程包括以下步骤：

1)、首先对接收的压缩码流进行解析，得到各类编码信息；

2)、对解析得到的每类信息进行熵解码，得到每一帧图像残差系数的量化值及其他参数；

3)、对残差系数的量化值进行反量化和反变换，得到图像的残差值；

4)、重建图像，把得到的残差值和预测值相加得到重建图像。

8.根据权利要求7所述的基于屏幕内容视频编码的远程桌面共享方法，其特征在于，在步骤5中，所述的将解码得到的输出视频流转换为设定帧数的RGB彩色空间图像，与PC的显示系统相匹配，以保证主控端屏幕实时显示受控端的图像。