CN103501310B - 一种基于可视电话的电脑桌面共享的控制方法 - Google Patents

Abstract

本发明涉及一种基于可视电话的电脑桌面共享的控制方法。在通话过程中，电脑端通过电脑屏幕快照并将屏幕快照进行视频编码，同步地将视频数据向可视电话传输，可视电话接收到视频数据后进行数据封装，并传输至对端的可视电话，对端的可视电话接收到封装的视频数据包，进行解封装，然后通过硬件解码器进行解码，最后呈现共享的电脑桌面。对端的可视电话捕获触屏动作并进行处理，最后把触屏动作数据封装回调到可视电话，可视电话解封装数据获取对端的触屏动作，并把数据传输到电脑端，电脑端解析数据，最后进行相应的控制操作。本发明利用视频编码对电脑桌面图像数据进行压缩，并使用RTP协议传输数据，具有优化传输带宽的效果和桌面共享的功能。

Description

一种基于可视电话的电脑桌面共享的控制方法

技术领域

本发明涉及视频会议、可视电话等图像传输方面的技术领域，更具体地，涉及一种基于可视电话的电脑桌面共享的控制方法，用于终端之间可视通信的过程中，实现终端之间共享电脑桌面图像和远程控制的功能。

背景技术

随着IMS（IP Multimedia Subsystem，IP多媒体系统）网络和业务部署的深入，各大运营商逐步推出高清可视电话、融合视频会议等IMS融合通信业务，向客户提供全IP环境下融合通信产品及解决方案。由于客户对宽带视频通信业务的进一步了解，他们对IMS融合视频会议业务提出更高要求，如利用多种类型终端随时随地召开会议及管理会议，增强现有视频会议终端接入融合视频会议能力，以提升企业工作效率及节省企业投资。而视频通话或视频会议中，用户如需远程共享文档等操作，只能通过专业的会议系统及终端才能实现，且操作繁琐，不能应用于日常办公，仅适用于大型会议。

桌面共享技术需要将被访问端的图像传输到访问端，因图像数据量较大，传输过程占用较多的带宽，所以，如何解决桌面共享技术的数据传输带宽和优化问题成为此领域技术的研究重心。

现有的桌面共享技术的其中一种优化技术是利用操作系统的GUI（GraphicalUser Interface，图形用户界面）绘图指令来实现桌面图像传输，该技术依靠操作系统平台的支持，跨平台之间的实现通用性不强。

现有的桌面共享技术都是电脑终端之间的实现，现时的手持设备发展快速，未来的通信很可能存在电脑与手持设备、手持设备与手持设备之间的通信。这样，通用的桌面共享技术就不能应用在以上的场景。

现有的视频会议技术如需要进行文档操作展示，则必须进行文档上传和下载2个过程，这需要用户的等待和繁琐的操作才能完成，用户友好度不高，并浪费带宽。因此，有必要提供一种简单直接呈现展示文档和操作演示的方法以解决上述问题。

发明内容

本发明要解决的技术问题是针对现有技术的不足而提供一种在视频通话或视频会议业务上进行电脑桌面共享的基于可视电话的电脑桌面共享的控制方法，该控制方法不需要网络侧平台的支持，用户只需要简单操作可视电话就可以在线实现电脑桌面共享。

为解决上述技术问题，本发明的技术方案如下：

一种基于可视电话的电脑桌面共享的控制方法，所述共享电脑桌面系统包括可视电话网络和与可视电话网络采用USB（Universal Serial BUS通用串行总线）连接的电脑端，所述控制方法包括如下步骤：

S1.可视电话之间建立可视通信，选择桌面共享模式；

S2.电脑端获取屏幕快照并进行视频编码，并通过USB连接向可视电话发送视频数据；

S3. 可视电话获取视频数据并向对端可视电话发送桌面视频数据；

S4. 对端可视电话获取视频数据并进行视频解码，显示桌面视频

S5. 用户通过视频获取电脑的桌面显示，并通过触摸可视电话的显示屏控制电脑，可视电话捕获用户的控制动作，最后回调控制行为给源端可视电话；

S6. 源端可视电话解析回调消息并向电脑端发送控制信息；

S7. 电脑端根据控制信息进行相应的操作。

进一步优选的方案是，上述控制方法步骤S2中，电脑端异步工作于四条线程，包括获取屏幕快照、视频编码、消息发送和消息读取。

更进一步优选的方案，所述获取屏幕快照线程是快速获取图像信息并以RGB格式存储至图像缓冲区，与图像缓冲区所设的阈值比较，低于该阈值则发送睡眠信号给视频编码线程；所述视频编码线程是对图像缓冲区的图像数据进行特定格式的编码，并把编码后的视频数据存储到视频缓冲区；视频输出分辨率、比特率、视频编码方式、编码质量、输出帧率可根据可视通话的网络带宽或可视电话需求进行自适应调节；所述消息发送线程是读取视频缓冲区数据并通过USB虚拟网卡向可视电话使用可靠的TCP（TransmissionControlProtocol传输控制协议）通道发送视频数据；所述消息读取线程是读取可视电话回调的对端控制消息并进行驱动电脑的处理以及读取可视电话适配参数，对程序进行截屏参数调节和视频编码参数调节。

进一步优选的方案是，所述自适应调节，包括如下步骤：

S21. 以共享电脑桌面的可视电话为网络测量节点，进行多点测量：可视电话主动向通话网络中所有节点发送探测包，而后收集探测包在网络中传输后发送的状态变化，然后将变化信息进行数据管理和数据统计分析，最后通过分析算法重新定义截屏参数和视频编码参数，再把新的参数通过USB连接传输到电脑端；

S22. 电脑端端通过消息读取线程读取新的参数，对屏幕快照线程和视频编码线程更新工作参数。

更进一步优选的方案是，上述控制方法步骤S21中，分析算法包括如下步骤：

S211. 统计前T分钟吞吐量的变化，获取其平均值;

S212. 分析前T分钟吞吐量的变化记录，获取预测吞吐量P；

S213. 根据线性关系比特率B=P*a，获取新的视频比特率，其中a为常数。

更进一步优选的方案是，上述控制方法步骤S211中，统计过程采用LMS自适应算法，其包括如下步骤：

S2111. 获取前T分钟的n个吞吐量数值，用X(n)表示，期待响应，用y(n)表示，y(n)=，即n时刻的期望响应等于前n个吞吐量的平均值。

S2112.根据LMS算法，预测吞吐量：

P=(n-1)X(n)

先验滤波误差：

e(n)=y(n)-P

自适应算法模型系数：

C(n)=C(n-1)+2uX(n)e(n)。

更进一步优选的方案是，上述控制方法步骤S3中，可视电话通过TCP Socket通道获取电脑端视频数据存储至数据缓冲区，可视电话使用RTP协议（Real-time TransportProtocol，实时传送协议）将数据缓冲区的数据封装，然后发送封装的RTP包到对端可视电话。

更进一步优选的方案是，上述控制方法步骤S4中，对端可视电话接收到RTP包并进行RTP包解封装，然后把数据存储至播放缓冲区，可视电话通过解码器去读取播放缓冲区的数据，然后在屏幕播放视频。

更进一步优选的方案是，上述控制方法步骤S5中，用户通过触摸可视电话的触摸屏幕，可视电话通过计算触摸的相对位置和获取用户动作，并把位置信息和动作信息使用自扩展的RTP协议进行封装，并实时向源端可视电话发送此自扩展消息。

更进一步优选的方案是，上述控制方法步骤S6中，源端可视电话读取对端可视电话的返回消息，若RTP包包含控制信息，则解析出控制信息并把控制信息发送给电脑端，并把视频数据解析出来进行步骤S4。

与现有技术相比，本发明技术方案的有益效果是：

本发明基于可视电话的电脑桌面共享的控制方法提供了一种方便的在线电脑桌面共享控制方法，该控制方法不需要网络侧平台的支持，用户只需要简单操作可视电话就可以在线实现电脑桌面共享，用于文档展示、操作演示、远程控制等，从而提升用户视频交互体验。用户可以方便地实现视频和电脑桌面的切换，为视频通信、视频会议增添一种有效的交互方式。本发明在传输桌面图像的处理中，使用视频编码图像的方法代替传统的图像压缩方法，直接降低传输图像所需要的带宽；在请求端的操作上，直接使用硬件解码播放图像视频，采用直接呈现的方法，而不需要进行传统的解压缩和图像呈现处理，提高数据传输和处理的效率。

附图说明

图1为本发明实施例的网络拓扑图。

图2为本发明实施例的电脑端与可视电话连接的网络拓扑图。

图3为本发明实施例的桌面共享的流程示意图。

图4为本发明实施例的远程控制流程示意图。

图5为图3具体的电脑端程序流程设计图。

图6为图5的具体读取线程流程图。

图7为本发明实施例的可视电话程序设计流程示意图。

图8为图7具体的网络测量模块流程图。

图9为图7具体的处理对端可视电话消息模块流程图。

图10为图7具体的处理控制信息模块流程图。

图11为图7具体的处理电脑端数据模块流程图。

具体实施方式

下面结合附图详细描述本发明的实施例，通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本实施例在中国电信网络下，使用IMS终端作为可视电话进行视频通信。

如图1和图2所示，可视电话与电脑端通过USB连接，可视电话作为电脑端的虚拟网卡，电脑端获取可视电话的虚拟IP即可与可视电话进行内网通信；2台可视电话之间进行可视通话，一台在本家庭接入中国电信网络网络，另一台在第二个家庭接入中国电信网络网络（本发明称为对端可视电话）。

本发明的桌面共享工作流程如图3所示，远程控制工作流程如图4所示，包括如下步骤1至步骤7：

步骤1：参照图7，图7是可视电话的工作流程示意图。如图7所示，可视电话之间建立可视通信，可视电话进行视频通话，同时，可视电话等待电脑连接和进行网络测量。若电脑端开启桌面共享程序，则此过程中电脑端程序与可视电话通过USB建立虚拟连接，待共享电脑桌面的可视电话可选择桌面共享模式或默认视频通话模式。当默认视频通话模式时则进行正常的视频通话，假如选择桌面共享模式则进行桌面共享，即进入步骤2。

步骤2：如图5所示，电脑端程序点击“开始”按钮开始工作。首先，开始屏幕快照截屏，然后进行视频编码，最后通过USB连接向可视电话发送视频数据；其工作过程具体流程包括：

1、屏幕快照线程获取图像信息存储到图像缓冲区；屏幕快照线程快速获取图像（大于等于视频播放的帧数），其图像信息以RGB格式存储至图像缓冲区，图像缓冲区设有一个阈值，低于此阈值则发送睡眠信号给编码线程，本实施例的阈值是2*4，即电脑的宽度*电脑的高度。

2、视频编码线程对缓冲区的图像数据进行编码，并把编码后的视频数据存储到视频缓冲区；视频编码工作线程对图像缓冲区数据进行H264视频编码，视频输出分辨率、比特率、视频编码方式、编码质量、输出帧率可根据可视通话的网络带宽或可视电话需求可自适应调节。

3、消息发送线程读取视频缓冲区数据并通过USB虚拟网卡向可视电话使用可靠的TCP通道发送视频数据。

4、如图6所示，消息读取线程包括：读取可视电话回调的对端控制消息并进行驱动电脑的处理；读取可视电话适配参数，对程序进行截屏参数调节和视频编码参数调节。

上述自适应调节的方法是系统在应用层上采用端到端的网络测量方法来捕获网络带宽、吞吐量、丢包率等的网络参数。其包括以下步骤：

步骤A，如图8所示，以共享电脑桌面的可视电话为网络测量节点，进行多点测量：可视电话主动向通话网络中所有节点（进行可视通话时的所有可视电话节点）发送探测包，而后收集探测包在网络中传输后发送的状态变化，然后将变化信息进行数据管理和数据统计分析，最后通过分析算法重新定义截屏参数和视频编码参数，再把新的参数通过USB连接传输到电脑端。

步骤B：电脑端程序通过消息读取线程读取新的参数，对屏幕快照线程和视频编码线程更新工作参数。

其中，步骤A的分析算法包括以下步骤：

步骤A1：统计前10分钟的变化信息，得到实际的吞吐量、带宽、丢包率的平均值L；本发明假设使用吞吐量来进行说明。

步骤A2：分析前10分钟的变化信息记录，获取预测吞吐量P，其过程包括：

步骤A21：获取前10分钟的n个吞吐量数值，用X(n)表示，期待响应，用y(n)表示，y(n)=，即n时刻的期望响应等于前n个吞吐量的平均值。

步骤A22：根据LMS算法，预测吞吐量：

P=(n-1)X(n)

先验滤波误差：

e(n)=y(n)-P

自适应算法模型系数：

C(n)=C(n-1)+2uX(n)e(n)。

步骤A23：根据线性关系比特率B=P*a，获取新的视频比特率,其中a为常数。

步骤3：可视电话处理电脑端数据的流程如图11所示，可视电话通过TCP Socket通道获取电脑端视频数据存储至数据缓冲区，可视电话使用RTP协议将数据缓冲区的数据封装，然后发送封装的RTP包到对端可视电话。

步骤4：可视电话处理对端可视电话通话的过程如图9所示，对端可视电话接收到RTP包并进行RTP包解封装，然后把数据存储至播放缓冲区，可视电话通过解码器去读取播放缓冲区的数据，然后在屏幕播放视频。此时，对端的可视电话屏幕从视频通话转换为电脑端桌面，此屏幕的桌面播放与实际电脑桌面的操作同步控制在1s之内的时延。

步骤5：可视电话处理控制信息如图10所示，用户通过触摸可视电话的触摸屏幕，可视电话通过计算触摸的相对位置和获取用户动作，并把位置信息和动作信息使用自扩展的RTP协议进行封装，并实时向源端可视电话发送此自扩展消息，本实施例中用户在可视电话进行打开桌面的其中一个文档，并进行浏览。

步骤6：源端可视电话读取对端可视电话的返回消息，常规地在屏幕播放对端摄像头捕获的视频影像。若RTP包包含控制信息，则解析出控制信息并把控制信息通过虚拟网卡发送给电脑端。本实施例中打开了对端选择的文件，并滚动浏览。

步骤7：电脑端接收可视电话回调的消息，解析出用户控制的行为，并根据消息类别进行相应的驱动操作。

若电脑端程序点击“断开”按钮，则可视电话切换到默认模式，进行默认的视频通话，同时，对端的可视电话屏幕显示摄像头捕获的视频影像。此时，电脑端程序各个线程处于睡眠状态，等待工作信号。

若可视电话主动切换到默认模式，则电脑端程序通过读取线程，被动将各个线程处于睡眠状态，等待工作。同时，对端的可视电话屏幕显示摄像头捕获的视频影像。

可视电话停止可视通话，整个系统停止工作，电脑端程序处于等待可视电话的可视通话启动。

本发明中，用户操作消息类别是自定义消息，如双击屏幕行为等于双击左键鼠标，向左滑动等于后退，双指下滑等于单击右键鼠标等类别。

综上，本发明在可视电话的通话过程中，电脑端通过电脑屏幕快照并将屏幕快照进行视频编码，同步地将视频数据向可视电话传输，可视电话接收到视频数据后通过RTP协议把视频数据封装，并把数据传输至对端的可视电话，对端的可视电话接收到RTP的封装的视频数据包，进行解封装，然后通过硬件解码器进行解码，最后呈现共享的电脑桌面。对端的可视电话捕获触屏动作并进行处理，最后把触屏动作数据使用RTP协议封装回调到可视电话，可视电话解封装数据获取对端的触屏动作，并把数据传输到电脑端，电脑端解析数据，最后进行相应的控制操作。本发明利用视频编码对电脑桌面图像数据进行压缩，并使用RTP协议传输数据，具有优化传输带宽的效果和桌面共享的功能；进一步加入对端触摸动作反馈，实现远程控制的功能。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于可视电话的电脑桌面共享的控制方法，所述共享电脑桌面系统包括可视电话网络和与可视电话网络采用USB连接的电脑端，其特征在于，所述控制方法包括如下步骤：

S1.可视电话之间建立可视通信，选择桌面共享模式；

S2.电脑端获取屏幕快照并进行视频编码，并通过USB连接向可视电话发送视频数据；

S3. 可视电话获取视频数据并向对端可视电话发送桌面视频数据；

S4. 对端可视电话获取视频数据并进行视频解码，显示桌面视频

S5. 用户通过视频获取电脑的桌面显示，并通过触摸可视电话的显示屏控制电脑，可视电话捕获用户的控制动作，最后回调控制行为给源端可视电话；

S6. 源端可视电话解析回调消息并向电脑端发送控制信息；

S7. 电脑端根据控制信息进行相应的操作；

所述步骤S2中，电脑端异步工作于四条线程，包括获取屏幕快照、视频编码、消息发送和消息读取；

所述获取屏幕快照线程是快速获取图像信息并以RGB格式存储至图像缓冲区，与图像缓冲区所设的阈值比较，低于该阈值则发送睡眠信号给视频编码线程；所述视频编码线程是对图像缓冲区的图像数据进行特定格式的编码，并把编码后的视频数据存储到视频缓冲区；视频输出分辨率、比特率、视频编码方式、编码质量、输出帧率可根据可视通话的网络带宽或可视电话需求进行自适应调节；所述消息发送线程是读取视频缓冲区数据并通过USB虚拟网卡向可视电话使用可靠的TCP通道发送视频数据；所述消息读取线程是读取可视电话回调的对端控制消息并进行驱动电脑的处理以及读取可视电话适配参数，对程序进行截屏参数调节和视频编码参数调节；

所述自适应调节，包括如下步骤：

S21. 以共享电脑桌面的可视电话为网络测量节点，进行多点测量：可视电话主动向通话网络中所有节点发送探测包，而后收集探测包在网络中传输后发送的状态变化，然后将变化信息进行数据管理和数据统计分析，最后通过分析算法重新定义截屏参数和视频编码参数，再把新的参数通过USB连接传输到电脑端；

S22. 电脑端端通过消息读取线程读取新的参数，对屏幕快照线程和视频编码线程更新工作参数；

所述步骤S21中，分析算法包括如下步骤：

S211. 统计前T分钟吞吐量的变化，获取其平均值;

S212. 分析前T分钟吞吐量的变化记录，获取预测吞吐量P；

S213. 根据线性关系比特率B=P*a，获取新的视频比特率，其中a为常数。

2.根据权利要求1所述的电脑桌面共享的控制方法，其特征在于，所述步骤S211中，统计过程采用LMS自适应算法，其包括如下步骤：

S2111.获取前T分钟的n个吞吐量数值，用X(n)表示，期待响应，用y(n)表示，y(n)= ，即n时刻的期望响应等于前n个吞吐量的平均值；

S2112.根据LMS算法，预测吞吐量：

P=C^H (n-1)X(n)

先验滤波误差：

e(n)=y(n)-P

自适应算法模型系数：

C(n)=C(n-1)+2uX(n)e(n)。

3.根据权利要求1所述的电脑桌面共享的控制方法，其特征在于，所述步骤S3中，可视电话通过TCP Socket通道获取电脑端视频数据存储至数据缓冲区，可视电话使用RTP协议将数据缓冲区的数据封装，然后发送封装的RTP包到对端可视电话。

4.根据权利要求1所述的电脑桌面共享的控制方法，其特征在于，所述步骤S4中，对端可视电话接收到RTP包并进行RTP包解封装，然后把数据存储至播放缓冲区，可视电话通过解码器去读取播放缓冲区的数据，然后在屏幕播放视频。

5.根据权利要求1所述的电脑桌面共享的控制方法，其特征在于，所述步骤S5中，用户通过触摸可视电话的触摸屏幕，可视电话通过计算触摸的相对位置和获取用户动作，并把位置信息和动作信息使用自扩展的RTP协议进行封装，并实时向源端可视电话发送此自扩展消息。

6.根据权利要求1所述的电脑桌面共享的控制方法，其特征在于，所述步骤S6中，源端可视电话读取对端可视电话的返回消息，若RTP包包含控制信息，则解析出控制信息并把控制信息发送给电脑端，并进行RTP包解封装，然后把数据存储至播放缓冲区，可视电话通过解码器去读取播放缓冲区的数据，然后在屏幕播放视频。