CN105165009A - 一种多可视化组件屏幕共享的系统，装置，和方法 - Google Patents

Abstract

本发明实施例提供了一种屏幕共享技术，包括本地计算设备和远程计算设备。所述本地计算设备将从所述本地计算设备的帧缓冲存储器中获得的像素数据压缩成视频流。当所述本地计算设备确定视频可视化组件将被显示时，所述本地计算设备获取所述视频可视化组件的压缩数据、位置信息以及时间信息。所述远程计算设备使用不同的解码器对所述压缩数据和视频流进行解码，并根据所述时间信息和位置信息在其显示器上显示所述视频流和压缩数据。这样，上述实施例有助于提升编码效率，提高编码质量，并降低比特率。

Description

一种多可视化组件屏幕共享的系统，装置，和方法

本申请要求于2013年1月17日递交的发明名称为“一种多可视化组件屏幕共享的系统，装置，和方法(SYSTEM,APPARATUS,ANDMETHODFORSHARINGASCREENHAVINGMULTIPLEVISUALCOMPONENTS)”的第61/753,823号美国临时专利申请案的在先申请优先权，该在先申请的内容以引用的方式并入本文。

技术领域

本发明通常涉及屏幕共享技术，尤其涉及屏幕内容从一个网络设备传输到另一网络设备的屏幕共享。

背景技术

计算设备如电脑之间的屏幕共享为人们在不同位置分享信息完成各种任务起到了重要的作用。例如，若远程计算设备上产生了一个问题，技术人员通过登录到计算机查看所述远程计算设备的图形用户界面(GUI)就可在观察设备上解决该问题。这样，技术人员就不需要前往问题发生的地点了。屏幕共享同样使工作者能够通过家里的电脑、手提电脑、甚至是掌上电脑等任何联网的设备接入他们的工作电脑。屏幕共享的另一大优点是演示共享，这让乏味的电话会议成为了引人入胜的在线演示。

为了共享屏幕内容，显示器上显示的屏幕内容需要被收集并传输到远程计算设备。通常，本地计算设备会以一定的速率对屏幕图像的像素数据进行采样，例如每秒20帧。然后，采样得到的所述屏幕图像的像素数据经过压缩、打包被传输至所述远程计算设备。所述远程计算设备将接收到的数据进行解压，然后在其显示器上显示。或者，为了降低网络资源的消耗，本地计算设备会对将要显示的屏幕图像和之前的屏幕显示进行比较，然后仅将相对于之前的屏幕图像的更新内容发送给远程计算设备，而不是发送整个屏幕图像。

上述传统屏幕共享方法只有在屏幕内容仅包括静态图像时可以使用。然而，当屏幕内容包括视频图像时，上述方法的效果则不尽如人意。当远程计算设备基于所述共享设备发送的获得到的屏幕像素数据再现共享屏幕时，再现屏幕中的视频图像的质量会大大下降。

附图说明

图1为本发明实施例提供的一种展示屏幕共享系统整体配置的屏幕共享系统的方框图。

图2为本发明实施例提供的一种计算设备的结构图。

图3示出了一实施例提供的显示在计算设备上的可视化组件。

图4示出了一实施例提供的为共享给其他计算设备而被分别进行不同处理的不同可视化组件。

图5为本发明实施例提供的存储在计算设备内存中的屏幕共享应用、操作系统以及压缩文件的方框图。

图6A和6B描述了一实施例提供的实施屏幕共享的示例性步骤的流程图。

图7示出了一实施例提供的被分别进行不同处理且被复用成数据流而发送的不同可视化组件。

图8示出了一实施例提供的接收到的被分别进行不同解码处理的不同可视化组件。

具体实施方式

图1示出了本发明实施例提供的一种屏幕共享系统100的整体配置。所述屏幕共享系统包括本地计算设备110和远程计算设备120，二者通过网络连接相互连接以进行通信。第三方内容源130提供压缩数据用于由本地计算设备110进行显示。所述压缩数据可以是运动图像专家组(MPEG)文件，联合活动图像专家组(JPEG)文件，或者任何其他压缩文件。所述本地计算设备110将用于屏幕共享的压缩的屏幕内容数据传送至所述远程计算设备120，其中，所述远程计算设备120能够接收所述压缩的屏幕内容数据，对所述压缩的屏幕内容数据进行解压，并在其显示器上显示所述屏幕内容，从而完成屏幕共享操作。

所述网络的例子包括但不限于局域网(LAN)、城域网(MAN)以及广域网(WAN)，比如因特网或者万维网。所述本地计算设备110和所述远程计算设备120可通过一种或多种连接方式与所述网络连接，比如标准电话线、数字用户线(DSL)、异步DSL、LAN或者WAN链路(例如，T1和T3)、宽带连接(帧中继和ATM)，以及无线连接(例如，802.11(a)、802.11(b)和802.11(g))。

如图2所示，本地计算设备110可包括中央处理器(CPU)115，图形处理器(GPU)114，专用解码器113，存储器116，帧缓冲存储器112和显示器111。本领域技术人员应该理解，所述本地计算设备110还可以包括其他组件，比如鼠标、键盘等等。所述远程计算设备120可拥有相似或不同的配置。

所述存储器116可包括非易失性计算机存储介质，如只读存储器(ROM)和易失性计算机存储介质，如随机存取存储器(RAM)。通常存储在ROM中的是包含程序代码的基本输入/输出系统(BIOS)，其中所述程序代码用于控制计算系统的基本操作，包括启动计算设备和初始化硬件。在RAM中存储的是程序代码和数据。程序代码包括但不限于应用程序、程序模块(例如，浏览器插件)以及操作系统(例如，Windows操作系统)。所述存储器116可包括多个物理上彼此分离的组件。例如，一部分RAM位于显卡，另外一部分RAM通过快捷外围部件互连标准(PCIe)接口与所述本地计算设备110的其他组件相连。总体而言，它们被称为“存储器”。

所述帧缓冲存储器112可以是存储器的RAM的一部分，存储有CPU115、GPU114或专用解码器113生成的未经压缩的像素级数据，以便展现可显示在所述本地计算设备110的显示器111上的图形内容。典型地，所述帧缓冲存储器112位于显卡上。

所述CPU115可以是适合进行指令检索和执行的微处理器和/或能够用于执行功能软件程序的电子电路。所述GPU114是为了优化执行图形渲染程序所需要的计算而开发出的专用处理器。所述GPU114对数据进行处理从而生成可以在显示器111上显示的图形的像素数据。典型地，所述GPU114安装在显卡的印刷电路板上。所述专用解码器113，如MPEG解码器或JPEG解码器，用于对MPEG视频或JPEG图像等特定压缩数据进行解压。所述专用解码器113可以并入所述GPU114，也可以作为单独的模块与所述GPU114一起安装在显卡上。本领域技术人员应当理解，所述专用解码器113并非一定要以上述硬件的形式存在，也可以作为软件来实现。为了方便说明，本专利申请中提到的“处理器”这一术语可以是所述GPU114、所述专用解码器113、所述CPU115、或任何所述GPU114、所述专用解码器113和所述CPU115的结合。

参见图2和图3，所述本地计算设备110可用于通过不同的软件程序进行不同的操作，例如，在Word或者电子数据表中编辑文本，使用网络浏览器浏览网页，玩视频游戏，显示图片，观看电影等等。相应地，不同的可视化组件可在所述本地计算设备110的显示器111上显示，即，文本、图形、2D/3D动画、图像、视频等等。在所述显示器111上显示的屏幕内容的可视化组件可分为不同种类。所述屏幕内容的第一可视化组件1112，即第一类，包括所述GPU114中图形处理器生成的一切，例如，文本、图形、2D/3D动画1114、甚至还有解码的可视化内容等等。通常，这些第一类数据作为RGB像素保存在所述GPU114内的帧存储器或帧缓冲存储器(FB)中。第二可视化组件，即第二类，包括先前被压缩的内容，如所述显示器111上显示的视频1111和图像1113。典型地，所述视频可视化组件1111和所述图像可视化组件1113由所述GPU114或所述专用解码器113进行解码。所述压缩数据，例如图像文件，可以压缩为JPEG(联合活动图像专家组)文件、Exif(可交换图像文件格式)文件、TIFF(标签图像文件格式)文件、GIF(图形交换格式)文件和PNG(便携网络图形)文件等，所述视频文件可被压缩成MPEG-2、MPEG-4、AVI、和MP4等。所述视频可视化组件1111或所述图像可视化组件1113的像素数据可以同所述第一可视化组件1112一起保存在所述帧缓冲存储器112中以组成完整的图像在所述显示器111上显示，或者通过叠加一同添加到所述帧缓冲存储器112的第一可视化组件的像素数据以生成最终的输出视频信号给显示器111。所述第一可视化组件1112的特定内容可具有不同特征，以2D/3D动画1114为例，该内容可从所述第一可视化组件中获取，再压缩并从所述第一可视化组件传送至所述远程计算设备120。为了方便说明，该内容被称为“第三可视化组件”，也是由所述处理器生成且保存在所述帧缓冲存储器112中，但可能会有不同特征，如所述2D/3D动画1114。

在当今的大多数桌面/屏幕共享应用中，所述本地计算设备110通过压缩所述帧缓冲存储器112中保存的像素数据，并将压缩的所述像素数据发送给远程计算设备120来实现与所述远程计算设备120共享可视化组件。根据GPU的设计，所述帧缓冲存储器112不可以保存上述视频组件或图像组件，因此，可能会在所述远程计算设备上看到黑色/白色区域。然而，由于这些黑色/白色区域会被视频和/或图像等实际的解压数据填满，所以它们不会出现在所述本地计算设备的显示器上。因此，这类屏幕/桌面共享方案不够令人满意而且从商品角度来说在多数情况下不被认可。然而，可能有程序能够获得所述第一可视化组件和所述第二可视化组件实现屏幕共享。基本上，这类解决方案会首先将先前压缩的视频文件和/或图像文件进行解压，在将它们压缩成视频流提供给所述远程计算设备120之前，将它们和所述第一可视化组件1112(文本/图形/动画)的像素数据添加在一起。根据第二种方法，先前压缩的视频文件和图像文件会作为屏幕内容的一部分被解压然后进行再压缩。因此，这让屏幕内容压缩变得尤为复杂而且通常会导致压缩性能不佳。这主要是因为屏幕共享应用通常需要实时的处理和压缩。既然这些视频和图像在到达所述本地计算设备110之前已经被压缩，为实现屏幕共享对其进行再压缩并不是一个良好的工程解决方案。

如图4所示，所述本地计算设备110上显示的可视化组件包括所述第一可视化组件1112、所述视频可视化组件1111、所述图像组件1113以及从第一可视化组件1112中获取的所述第三可视化组件1114。可对每个可视化组件分别进行不同处理，而不是将所有可视化组件压缩成视频流然后与所述远程计算设备共享该视频流。例如，由所述处理器生成的保存在所述帧缓冲存储器112中的所述第一可视化组件1112可以被压缩为分别来自其他可视化组件的数据的视频流。先前被压缩的所述第二可视化组件，如所述视频可视化组件1111的压缩视频文件或所述图像可视化组件1113的压缩图像文件，可以通过给所述远程计算设备120发送所述压缩视频文件或所述压缩图像文件等压缩文件，从而为所述远程计算设备120所共享，而无需经过解压/再压缩的过程。再比如，从所述第一可视化组件中获取的第三可视化组件可以与背景组件分开进行压缩。对不同可视化内容进行不同处理的主要原因有：(1)它们的特征可能完全不同，因此单个视频编解码器可能会导致压缩性能不佳；(2)其中一些可视化内容在到达电脑时已经被压缩过，例如，压缩为MPEG1/MPEG2/VC8/JPEG/JPEG2k等的视频和图像，因此对它们进行重新编码造成了计算资源浪费，而且重新编码意味着降低视觉质量。这样，上述实施例有助于提升编码效率，提高编码质量，并降低比特率。

参见图5，所述本地计算设备110的存储器111(图5中未显示所述存储器)存储有操作系统1167，压缩文件1166，如视频文件和/或图像文件，以及屏幕共享应用1164。所述屏幕共享应用1164包括像素数据获得模块1161、元数据获取模块1169、检测模块1170、压缩模块1162、压缩数据获取模块1165和发送模块1163。

参见图5、图6A和图6B，这些图描述了一个实现屏幕共享的实施例。

所述像素数据获得模块1161从所述帧缓冲存储器112处获得第一可视化组件的像素数据(步骤601)。所述像素数据获得模块1161可以以合适的速率和分辨率(例如，符合MPEG的帧速率和分辨率)对可视化组件的像素数据进行采样。

所述压缩模块1162对获得到的所述像素数据进行压缩以创建能够适应网络的带宽限制和远程计算设备允许的最大数据速率的视频流，而不是直接发送获得到的所述像素数据(步骤602)。压缩格式可以为MPEG(运动图像专家组)格式，或任何所述远程计算设备支持的压缩格式和/或媒体流格式。具体地，如图7所示，所述压缩模块1162可包括第一编码器1131，用于对第一可视化组件1112进行压缩，以及第二编码器1132，用于对从所述第一可视化组件1112中获取的第三可视化组件进行压缩。所述第一编码器压缩的第一可视化组件的像素数据形成视频流，所述第二编码器压缩的第三可视化组件的像素数据形成与所述第一可视化组件的视频流分离的其它视频流。当所述压缩模块1162压缩所述第一可视化组件时，将被区别处理的屏幕上的其它可视化组件占用的区域可以由表示任何纹理(如线条)、平场或文本的任意颜色的像素填充，只要它们有助于降低整个第一可视化组件的总比特率。类似地，若第三可视化组件与所述第一可视化组件被分开压缩和发送，屏幕上所述第三可视化组件占用的区域也可以由表示任何纹理(如线条)、平场或文本的任意颜色的像素填充，只要它们有助于降低整个第一可视化组件的总比特率。

所述检测模块1170确定所述本地计算设备110的屏幕将会显示所述第二可视化组件，例如视频可视化组件或图像可视化组件(步骤603)。所述视频可视化组件和所述图像可视化组件都是由压缩数据解压而得到的。有许多方法可以用来进行所述确定。例如，当检测到用户发出指令以打开压缩文件。又例如，所述检测模块可基于所述压缩数据被GPU114或者专用解码器113解压或者所述压缩数据被解压并保存在所述帧缓冲存储器112中来进行判定。

所述压缩数据获取模块1165从所述本地计算设备的存储器中获取所述压缩数据(步骤604)。一旦步骤603进行了所述确定，所述本地计算设备110会获取所述压缩数据并且准备将其发送至所述远程计算设备120。

为了以与不同的可视化组件在所述本地计算设备110上显示的显示方式相同的方式在所述远程计算设备120上显示这些不同的可视化组件，所述元数据获取模块1169可获取包括时间信息和/或位置信息的元数据1120(步骤605和606)。所述时间信息可包括时间戳、开始、结束、时长等信息，用于同步不同的可视化组件，所述位置信息，例如x-y坐标，指示可视化组件的显示位置。更具体地说，所述位置信息可指示所述第一可视化组件、所述第二可视化组件(所述视频可视化组件和/或所述图像可视化组件)以及所述第三可视化组件的显示位置。所述位置信息还可包括每个可视化组件的透明度信息以及有关这些可视化组件的排列的其他信息，这些关于排列的信息构成了所述远程计算设备120的显示器上显示的最终组成。例如，所述元数据还可包括一个或多个可视化组件的许可信息。每个可视化组件均可携带所述许可信息；因此，所述本地计算设备110的拥有者能够控制将哪个可视化组件共享给所述远程计算设备120。这一特征非常实用，可以在屏幕共享应用中将一些可视化组件隐藏起来以保护隐私。所述元数据包括位置信息、时间信息以及其它构成最终组成的要素，可来自于提供作为部分或者全部屏幕显示内容的单独的软件应用，也可以由所述操作系统自身提供。

所述发送模块1163向所述远程计算设备120发送所述第一可视化组件的视频流、所述视频可视化组件的视频文件的视频流、所述图像可视化组件的图像文件的视频流、所述第三可视化组件的视频流以及所述元数据1200(步骤607)。如图7所示，所述本地计算设备110可以将所述第一可视化组件的视频流、所述视频可视化组件的视频文件的视频流、所述图像可视化组件的图像文件的视频流、所述第三可视化组件的视频流以及所述元数据1200复用为一个数据流(也可称之为视频流)，然后再将所述数据流发送到所述远程计算设备120。可以通过复用流或独立的通道将所述元数据1200和所述可视化组件的编码/压缩数据共享给所述远程计算设备120，从而实现各组件的最佳传送。例如，所述背景组件的视频流只可以被共享一次，而其他组件、所述视频文件的视频流、或视频组件的视频流或所述分离组件的视频流可以以流传输的方式定期地甚至连续地传送。

参见图6B和图8，所述远程计算设备120接收包含有所述第一可视化组件的视频流、所述视频可视化组件的视频文件的视频流、所述图像可视化组件的图像文件的视频流以及所述元数据1200的数据流(步骤608)。此时，所述第三可视化组件是从所述第一可视化组件中获取，所述远程计算设备120也可接收所述第三可视化组件的视频流。所述远程计算设备120首先将接收到的数据流解复用成不同的数据流：所述第一可视化组件的视频流、所述视频可视化组件的视频流、所述图像可视化组件的视频流以及所述元数据1200，可能还有第三可视化组件的视频流，这取决于从第一可视化组件中获取的第三可视化组件是否与所述第一可视化组件进行分开的不同的压缩。

各视频流也可由其自身的解码器来解码(步骤609)。如图8所示，所述视频可视化组件的视频流可由MPEG解码器等视频解码器进行解压。所述图像文件的视频流可由JEPG解码器等图像解码器进行解码。所述第一可视化组件的压缩像素数据可由第一解码器进行解压，而从第一可视化组件获取的2D/3D动画的视频流可由2D/3D动画解码器进行解码。这里提到的解码器可以是所述远程计算设备120的显卡上安装的硬件，也可以软件形式来实现。

所述远程计算设备120根据接收到的所述元数据显示所述背景组件、所述视频组件和所述图像组件(步骤610)。所述远程计算设备120根据所述时间信息同步显示所述背景组件的视频流、所述视频组件的视频流和所述图像组件的视频流。所述远程计算设备120还根据位置信息显示所述背景组件的视频流、所述视频组件的视频流和所述图像组件的视频流，使得所述可视化组件的排列与在所述本地计算设备的显示器上显示的一样。若所述第三可视化组件是从所述第一可视化组件中获取的，所述第三可视化组件将根据相关的时间信息和位置信息被显示出来。具体地，所述远程计算设备120的显示器上显示的最终屏幕视频将由屏幕内容组成模块生成，其中，所述位置信息、所述时间信息、以及所述许可信息将用于组成最终显示的屏幕内容。

尽管对本发明的说明参照了具体特征和实施例，但是应当理解的是，在不脱离如下权利要求所定义的本发明的精神和范围的情况下，可对本发明实施例做出各种变化和替换。

Claims (20)

1.一种本地计算设备与远程计算设备共享屏幕图像的方法，所述方法包括：

从本地计算设备的帧缓冲存储器中获得所述本地计算设备的屏幕内容的第一可视化组件的像素数据；

将所述第一可视化组件的像素数据进行压缩形成第一视频流；

确定所述屏幕内容的第二可视化组件将在屏幕上显示，其中所述屏幕内容的第二可视化组件由压缩数据解压得到；

获取所述第二可视化组件的压缩数据；

获取指示第一可视化组件、第二可视化组件的显示位置的位置信息和第一可视化组件、第二可视化组件同步显示的时间信息；

将所述屏幕内容的第一可视化组件的压缩的第一视频流、所述压缩数据、所述位置信息以及所述时间信息发送至所述远程计算设备，从而与远程计算设备共享屏幕。

2.根据权利要求1所述的方法，其特征在于，所述确定步骤包括检测到：用户发出的指令以打开压缩数据；

所述压缩数据由所述本地计算设备的处理器进行解压；

所述压缩数据被解压并保存在所述帧缓冲存储器中。

3.根据权利要求1所述的方法，其特征在于，所述压缩数据为视频文件，所述第二可视化组件为视频可视化组件。

4.根据权利要求1所述的方法，其特征在于，所述压缩数据为图像文件，所述第二可视化组件为图像可视化组件。

5.根据权利要求1所述的方法，其特征在于，所述压缩数据作为视频流发送。

6.根据权利要求1所述的方法，其特征在于，还包括：

获得从来自所述本地计算设备的帧缓冲存储器的第一可视化组件中获取的第三可视化组件的像素数据；

将获得到的所述第三可视化组件的像素数据进行压缩形成第二视频流；

将压缩的所述第二视频流发送至所述远程计算设备。

7.一种计算设备显示共享计算设备共享的屏幕内容的方法，所述方法包括：

接收来自所述共享计算设备的所述屏幕内容的第一可视化组件的第一视频流、所述屏幕内容的第二可视化组件的压缩数据和元数据，其中，所述元数据包括第一可视化组件和第二可视化组件同步显示的时间信息和指示第一、第二可视化组件的显示位置的位置信息；

解压所述第一可视化组件的第一视频流，从而得到所述第一可视化组件；

解压所述第二可视化组件的压缩数据，从而得到所述第二可视化组件；

根据所述时间信息和所述位置信息，同步显示所述第一、第二可视化组件。

8.根据权利要求7所述的方法，其特征在于，所述第二可视化组件的压缩数据作为数据流接收。

9.根据权利要求7所述的方法，其特征在于，所述压缩数据为视频文件，所述第二可视化组件为视频可视化组件。

10.根据权利要求7所述的方法，其特征在于，所述压缩数据为图像文件，所述第二可视化组件为图像可视化组件。

11.一种与远程计算设备共享屏幕图像的计算设备，所述计算设备包括：

显示器；

帧缓冲存储器；

与所述帧缓冲存储器以及所述显示器耦合的处理器，所述处理器用于：

从所述帧缓冲存储器获得将在所述计算设备的显示器上显示的屏幕内容的第一可视化组件的像素数据；

将获得到的所述第一可视化组件的像素数据进行压缩形成第一视频流；

确定所述屏幕内容的第二可视化组件将在所述显示器上显示，其中所述屏幕内容的第二可视化组件由压缩数据解压而得到；

获取所述第二可视化组件的压缩数据；

获取指示第一、第二可视化组件的显示位置的位置信息和第一、第二可视化组件同步显示的时间信息；

将所述屏幕内容的第一可视化组件的压缩的第一视频流、所述压缩数据、所述位置信息以及所述时间信息发送至所述远程计算设备，从而与远程计算设备共享屏幕。

12.根据权利要求11所述的计算设备，其特征在于，当所述处理器检测到以下内容时，所述处理器确定所述屏幕内容的第二可视化组件将在所述显示器上显示：

用户发出指令以打开压缩数据；

所述压缩数据由所述本地计算设备的处理器进行解压；

所述压缩数据被解压并保存在所述帧缓冲存储器中。

13.根据权利要求11所述的计算设备，其特征在于，所述压缩数据为视频文件，所述第二可视化组件为视频可视化组件。

14.根据权利要求11所述的计算设备，其特征在于，所述压缩数据为图像文件，所述第二可视化组件为图像可视化组件。

15.根据权利要求11所述的计算设备，其特征在于，所述压缩数据作为视频流发送。

16.根据权利要求11所述的计算设备，其特征在于，所述处理器还用于：

获得从来自帧缓冲存储器的第一可视化组件中获取的第三可视化组件的像素数据；

将获得到的所述第三可视化组件的像素数据进行压缩形成第二视频流；

将压缩的所述第二视频流发送至所述远程计算设备。

17.一种显示共享计算设备共享的屏幕内容的计算设备，所述计算设备包括：

显示器；

与所述显示器耦合的处理器，所述处理器用于：

接收来自所述共享计算设备的所述屏幕内容的第一可视化组件的第一视频流、所述屏幕内容的第二可视化组件的压缩数据和元数据，其中，所述元数据包括第一可视化组件和第二可视化组件同步显示的时间信息和指示第一、第二可视化组件的显示位置的位置信息；

解压所述第一可视化组件的第一视频流，从而得到所述第一可视化组件；

解压所述第二可视化组件的压缩数据，从而得到所述第二可视化组件；

根据所述时间信息和所述位置信息，在所述显示器上同步显示所述第一、第二可视化组件。

18.根据权利要求17所述的计算设备，其特征在于，所述第二可视化组件的压缩数据作为视频比特流接收。

19.根据权利要求17所述的计算设备，其特征在于，所述压缩数据为视频文件，所述第二可视化组件为视频可视化组件。

20.根据权利要求17所述的计算设备，其特征在于，所述压缩数据为图像文件，所述第二可视化组件为图像可视化组件。