CN102801951B - 视频通话过程中实现屏幕交互的方法、系统及视频通话终端 - Google Patents

Abstract

本发明揭示了一种视频通话过程中实现屏幕交互的方法、系统及视频通话终端。该方法包括步骤：视频通话终端检测用户在视频显示区域的操作；将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作。本发明通过检测视频显示区域的操作，从而实现视频通话终端与视频对端的交互，给用户提供高便利性，且该交互过程不会影响视频通话，比如视频显示区域的缩放等。

Description

视频通话过程中实现屏幕交互的方法、系统及视频通话终端

技术领域

本发明涉及到视频通话领域，特别涉及到一种视频通话过程中实现屏幕交互的方法、系统及视频通话终端。

背景技术

随着通信技术的不断发展，视频通话已被越来越多移动用户所使用。支持视频通话的移动终端也在不断地发展，由以往的物理键盘加上显示屏的设计，渐渐被可触摸大屏幕的操作界面所取代。

同时，移动用户对视频通话的要求越来越高，现有视频通话的图像显示尺寸已不再满足需求，用户要求更大尺寸的视频通话。并且在现有视频通话过程中，与通话对端交互仍然采用传统数字按键进行，使得在交互中存在以下不足：

1、移动终端屏幕的大小本身有限制，且没有物理键盘的手机越来越多，当在视频通话中需要交互时，需要打开屏幕上的虚拟键盘进行输入，且该虚拟键盘需要方便用户使用，不能够设计得太小，往往会占据整个屏幕一半或者更大的面积，因此在视频通话中需要进行交互时，将出现通话的视频显示大幅缩小的情况；

2、对于一些客服业务中的视频通话来说，显示的选项存在与键盘的对应关系，当根据对端视频来选择时，用户存在按键选择错误的可能性。

因此，为用户提供一种在视频通话过程中提升交互便利性的方式成为亟待解决的问题。

发明内容

本发明的主要目的为提供一种视频通话过程中实现屏幕交互的方法、系统及视频通话终端，提升了视频通话中与对端交互的便利性。

本发明提出一种视频通话过程中实现屏幕交互的方法，包括步骤：

视频通话终端检测用户在视频显示区域的操作；

将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作。

优选地，所述视频通话终端检测用户在视频显示区域的操作的步骤具体包括：

视频通话终端在视频显示区域进行用户操作的检测，获取操作的相关信息；所述相关信息包括操作以及操作坐标。

优选地，所述视频通话终端检测用户在视频显示区域的操作的步骤之前还包括：

视频通话终端在建立视频通话连接过程中，判断视频对端是否支持视频显示区域操作；

当支持时，开启视频显示区域操作功能。

优选地，所述将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作的步骤具体包括：

将所述操作编码生成RTP包，并将所述RTP包加入至RTP流中发送至视频对端；通过视频对端从所述RTP流中解析出所述操作并执行。

本发明还提出一种视频通话终端，包括：

检测模块，用于检测用户在视频显示区域的操作；

编码模块，用于将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作。

优选地，所述检测模块具体用于：

在视频显示区域进行用户操作的检测，获取操作的相关信息；所述相关信息包括操作以及操作坐标。

优选地，所述视频通话终端还包括：

判断模块，用于在建立视频通话连接过程中，判断视频对端是否支持视频显示区域操作；当支持时，开启视频显示区域操作功能。

优选地，所述编码模块具体用于：

将所述操作编码生成RTP包，并将所述RTP包加入至RTP流中发送至视频对端；通过视频对端从所述RTP流中解析出所述操作并执行。

本发明另提出一种视频通话过程中实现屏幕交互的系统，包括视频通话终端以及视频对端；所述视频通话终端包括：

检测模块，用于检测用户在视频显示区域的操作；

编码模块，用于将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作；

所述视频对端包括：

执行模块，用于解析并执行所述操作。

优选地，所述执行模块具体用于：

从RTP流中解析出所述操作并执行。

本发明的视频通话过程中实现屏幕交互的方法、系统及视频通话终端，通过检测视频显示区域的操作，从而实现视频通话终端与视频对端的交互，给用户提供高便利性，且该交互过程不会影响视频通话，比如视频显示区域的缩放等。

附图说明

图1是本发明视频通话过程中实现屏幕交互的方法一实施例中的步骤流程示意图；

图2是本发明视频通话过程中实现屏幕交互的方法一实施例中的另一步骤流程示意图；

图3是视频显示区域操作的RTP包格式示意图；

图4是本发明视频通话终端一实施例中的结构示意图；

图5是本发明视频通话终端一实施例中的另一结构示意图；

图6是本发明视频对端一实施例中的结构示意图；

图7是本发明视频通话过程中实现屏幕交互的系统一实施例中的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，提出本发明一种视频通话过程中实现屏幕交互的方法的一实施例。该方法包括：

步骤10、视频通话终端检测用户在视频显示区域的操作；

步骤11、将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作。

当用户通过视频通话终端进行视频通话时，用户可在视频通话终端屏幕上的视频显示区域进行操作，并将该操作进行编码后发送至视频对端(比如客服服务器)进行解析；该视频对端即可执行解析后的操作，从而实现视频通话终端与视频对端的交互。所述操作包括点击、拖动、多点点击以及多点拖动等。

上述视频通话终端包括固定电话以及移动终端等。该视频对端可包括客服服务器、固定电话以及移动终端等；当该视频对端为固定电话或移动终端时，还可通过设置专用的操作解析服务器，对视频通话终端发送的操作进行解析并指示视频对端执行。该视频对端设置有媒体处理功能、操作解析功能以及应用处理功能，可利用操作解析功能解析视频通话终端发送编码后的操作，然后通过应用处理功能进行逻辑处理，再利用媒体处理功能向视频通话终端发送不同的媒体资料(比如视频)。

上述视频通话过程中实现屏幕交互的方法，通过检测视频显示区域的操作，从而实现视频通话终端与视频对端的交互，给用户提供高便利性，且该交互过程不会影响视频通话，比如视频显示区域的缩放等。

参照图2，上述步骤S10之前还包括：

步骤S100、视频通话终端在建立视频通话连接过程中，判断视频对端是否支持视频显示区域操作；当支持时，进行步骤S101；否则，结束流程；

步骤S101、开启视频显示区域操作功能。

在该视频通话终端与视频对端建立视频通话连接过程中，将设备是否支持视频显示区域操作附带在本地媒体描述(SDP)中。该视频通话终端在收到视频对端应答的本地媒体描述后，判断视频对端是否支持视频显示区域操作，若支持则保存视频显示区域操作的承载类型编码，并在视频通话时开启视频显示区域操作功能。由此视频通话终端可在视频通话前确定是否开启视频显示区域操作功能，与视频对端进行交互。

上述步骤S10具体包括：视频通话终端在视频显示区域进行用户操作的检测，获取操作的相关信息；所述相关信息包括操作以及操作坐标。

上述步骤S11具体包括：将所述操作编码生成RTP包，并将所述RTP包加入至RTP流中发送至视频对端；通过视频对端从所述RTP流中解析出所述操作并执行。

本实施例中上述视频通话终端以移动终端(比如手机)为例；上述视频对端以客服服务器为例，该客服服务器包括媒体服务器以及应用服务器。该媒体服务器具有媒体处理功能以及操作解析功能；该应用服务器具有应用处理功能。

在视频通话过程中，移动终端检测用户在视频显示区域的操作，比如点击、拖动、多点点击以及多点拖动等。并且在检测到具体操作时，还需获取该操作的操作坐标。如果当前视频显示坐标与原始视频坐标不同的，还需将当前视频显示坐标转换为原始视频坐标。比如原始视频大小为QCIF(Quartercommon intermediate format，常用的标准化图像格式)，显示大小为176*144，而当前显示的实际显示大小为352*288，如果用户点击当前视频显示区域坐标为(2，2)点时，则转换出来的原始坐标为(1，1)。

然后，该移动终端将检测的操作以及操作坐标等信息编码为扩展RTP(Real-time Transport Protocol，实时传送协议)包，承载类型为上述视频通话建立过程中协商成功的视频显示区域操作的承载类型编码。参照图3，该视频显示区域操作的RTP包格式中包括Rect1、Rect2以及Rect3。其中，该Rect1表示屏幕事件的承载类型编码。该Rect2表示的是屏幕事件的具体信息，该Rect2包括：DN、EVN、TR、RES、POINT.X以及POINT.Y，该DN表明当前点的序号，可用于多点触控；该EVN表示事件类型，指明当前点击事件的类型，如点击、拖动、多点点击以及多点拖动等；该TR表示轨迹序号，如第一点为0，第二点为1，可用于记录拖动轨迹；该RES为预留，暂不用；该POINT.X表示横坐标，最大支持2047；该POINT.Y表示纵坐标，最大支持2047。该Rect3为原RFC2833事件号，此处不用，保留。

上述移动终端将检测到的用户在视频显示区域的操作(如点击、拖动等)编码为媒体信号(RTP包)，然后随着媒体流(RTP流)一同发给媒体服务器。

该媒体服务端在接收到视频显示区域操作的RTP包后，根据承载类型以及时间戳解析出该视频显示区域操作，并将该视频显示区域操作发送给应用服务器。该应用服务器在收到该视频显示区域操作后，可具体执行，如视频显示区域操作为当点击一个菜单项时，切换视频播放下一个菜单；当视频显示区域操作为向下拖动时，切换下一张照片播放；具体的操作可以多种多样，此处不再一一列举。

上述视频通话过程中实现屏幕交互的方法，通过视频通话终端(移动终端)检测视频显示区域操作并编码为RTP包发送至视频对端(客服服务器)，利用视频对端进行解析并执行，完成视频通话的交互，给用户提供高便利性，且该交互过程不会影响视频通话。

参照图4，提出本发明一种视频通话终端的一实施例。该视频通话终端20包括：

检测模块21，用于检测用户在视频显示区域的操作；

编码模块22，用于将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作。

当用户通过视频通话终端20进行视频通话时，用户可在视频通话终端20屏幕上的视频显示区域进行操作，该检测模块21可检测该操作并通过编码模块22进行编码后发送至视频对端(比如客服服务器)进行解析；该视频对端即可执行解析后的操作，从而实现视频通话终端20与视频对端的交互。所述操作包括点击、拖动、多点点击以及多点拖动等。

上述视频通话终端20包括固定电话以及移动终端等。该视频对端可包括客服服务器、固定电话以及移动终端等；当该视频对端为固定电话或移动终端时，还可通过设置专用的操作解析服务器，对视频通话终端20发送的操作进行解析并指示视频对端执行。该视频对端设置有媒体处理功能、操作解析功能以及应用处理功能，可利用操作解析功能解析视频通话终端发送编码后的操作，然后通过应用处理功能进行逻辑处理，再利用媒体处理功能向视频通话终端发送不同的媒体资料(比如视频)。

上述视频通话终端20，通过检测视频显示区域的操作，从而实现视频通话终端20与视频对端的交互，给用户提供高便利性，且该交互过程不会影响视频通话，比如视频显示区域的缩放等。

参照图5，上述视频通话终端20还包括：判断模块23，用于在建立视频通话连接过程中，判断视频对端是否支持视频显示区域操作；当支持时，开启视频显示区域操作功能。

在该视频通话终端20与视频对端建立视频通话连接过程中，将设备是否支持视频显示区域操作附带在本地媒体描述(SDP)中。该视频通话终端20在收到视频对端应答的本地媒体描述后，通过判断模块23判断视频对端是否支持视频显示区域操作，若支持则保存视频显示区域操作的承载类型编码，并在视频通话时开启视频显示区域操作功能。由此视频通话终端20可在视频通话前确定是否开启视频显示区域操作功能，与视频对端进行交互。

上述检测模块21具体用于：在视频显示区域进行用户操作的检测，获取操作的相关信息；所述相关信息包括操作以及操作坐标。

上述编码模块22具体用于：将所述操作编码生成RTP包，并将所述RTP包加入至RTP流中发送至视频对端；通过视频对端从所述RTP流中解析出所述操作并执行。

参照图6，上述视频对端30包括：执行模块31，用于解析并执行所述操作。该执行模块31具体用于：从RTP流中解析出所述操作并执行。

本实施例中上述视频通话终端20以移动终端(比如手机)为例；上述视频对端30以客服服务器为例，该客服服务器包括媒体服务器以及应用服务器。该执行模块31具有操作解析功能以及应用处理功能；该操作解析功能以及应用处理功能分别设置与媒体服务器以及应用服务器上。该媒体服务器本身还具有媒体处理功能。

在视频通话过程中，移动终端通过检测模块21检测用户在视频显示区域的操作，比如点击、拖动、多点点击以及多点拖动等。并且在检测到具体操作时，还需获取该操作的操作坐标。如果当前视频显示坐标与原始视频坐标不同的，还需将当前视频显示坐标转换为原始视频坐标。比如原始视频大小为QCIF(Quarter common intermediate format，常用的标准化图像格式)，显示大小为176*144，而当前显示的实际显示大小为352*288，如果用户点击当前视频显示区域坐标为(2，2)点时，则转换出来的原始坐标为(1，1)。

然后，该移动终端通过编码模块22将检测的操作以及操作坐标等信息编码为扩展RTP(Real-time Transport Protocol，实时传送协议)包，承载类型为上述视频通话建立过程中协商成功的视频显示区域操作的承载类型编码。参照图3，该视频显示区域操作的RTP包格式中包括Rect1、Rect2以及Rect3。其中，该Rect1表示屏幕事件的承载类型编码。该Rect2表示的是屏幕事件的具体信息，该Rect2包括：DN、EVN、TR、RES、POINT.X以及POINT.Y，该DN表明当前点的序号，可用于多点触控；该EVN表示事件类型，指明当前点击事件的类型，如点击、拖动、多点点击以及多点拖动等；该TR表示轨迹序号，如第一点为0，第二点为1，可用于记录拖动轨迹；该RES为预留，暂不用；该POINT.X表示横坐标，最大支持2047；该POINT.Y表示纵坐标，最大支持2047。该Rect3为原RFC2833事件号，此处不用，保留。

上述移动终端将检测到的用户在视频显示区域的操作(如点击、拖动等)编码为媒体信号(RTP包)，然后随着媒体流(RTP流)一同发给媒体服务器。

该媒体服务端在接收到视频显示区域操作的RTP包后，根据承载类型以及时间戳解析出该视频显示区域操作，并将该视频显示区域操作发送给应用服务器。该应用服务器在收到该视频显示区域操作后，可具体执行，如视频显示区域操作为当点击一个菜单项时，切换视频播放下一个菜单；当视频显示区域操作为向下拖动时，切换下一张照片播放；具体的操作可以多种多样，此处不再一一列举。

上述视频通话终端20(移动终端)，通过检测模块21检测视频显示区域操作，以及通过编码模块22将该视频显示区域操作编码为RTP包发送至视频对端30(客服服务器)，利用视频对端30进行解析并执行，完成视频通话的交互，给用户提供高便利性，且该交互过程不会影响视频通话。

参照图7，提出本发明一种视频通话过程中实现屏幕交互的系统的一实施例。该系统包括视频通话终端20以及视频对端30；所述视频通话终端20包括：

检测模块21，用于检测用户在视频显示区域的操作；

编码模块22，用于将所述操作经过编码后，发送至视频对端30；通过视频对端进行解析并执行所述操作；

所述视频对端30包括：

执行模块31，用于解析并执行所述操作。

本实施例中的视频通话终端20以及视频对端30如上述实施例中所述，在此不再赘述。

上述视频通话过程中实现屏幕交互的系统，通过视频通话终端20(移动终端)检测视频显示区域操作并编码为RTP包发送至视频对端30(客服服务器)，利用视频对端30进行解析并执行，完成视频通话的交互，给用户提供高便利性，且该交互过程不会影响视频通话。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种视频通话过程中实现屏幕交互的方法，其特征在于，包括步骤：

视频通话终端检测用户在视频显示区域的操作，所述操作为用户在显示区域的手势操作；所述视频通话终端为移动终端或固定电话，所述移动终端或固定电话具有可触摸大屏幕；

将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作；

其中，所述视频通话终端检测用户在视频显示区域的操作的步骤之前还包括：

视频通话终端在建立视频通话连接过程中，判断视频对端是否支持视频显示区域操作；

当支持时，开启视频显示区域操作功能；以使视频通话终端与视频对端通过视频显示区域进行交互。

2.根据权利要求1所述的视频通话过程中实现屏幕交互的方法，其特征在于，所述视频通话终端检测用户在视频显示区域的操作的步骤具体包括：

视频通话终端在视频显示区域进行用户操作的检测，获取操作的相关信息；所述相关信息包括操作以及操作坐标。

3.根据权利要求1或2所述的视频通话过程中实现屏幕交互的方法，其特征在于，所述将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作的步骤具体包括：

将所述操作编码生成RTP包，并将所述RTP包加入至RTP流中发送至视频对端；通过视频对端从所述RTP流中解析出所述操作并执行。

4.一种视频通话终端，其特征在于，包括：

检测模块，用于检测用户在视频显示区域的操作，所述操作为用户在显示区域的手势操作；所述视频通话终端为移动终端或固定电话，所述移动终端或固定电话具有可触摸大屏幕；

编码模块，用于将所述操作经过编码后，发送至视频对端；通过视频对端进行解析并执行所述操作；

判断模块，用于在建立视频通话连接过程中，判断视频对端是否支持视频显示区域操作；当支持时，开启视频显示区域操作功能；

以使视频通话终端与视频对端通过视频显示区域进行交互。

5.根据权利要求4所述的视频通话终端，其特征在于，所述检测模块具体用于：

在视频显示区域进行用户操作的检测，获取操作的相关信息；所述相关信息包括操作以及操作坐标。

6.根据权利要求4或5所述的视频通话终端，其特征在于，所述编码模块具体用于：

将所述操作编码生成RTP包，并将所述RTP包加入至RTP流中发送至视频对端；通过视频对端从所述RTP流中解析出所述操作并执行。

7.一种视频通话过程中实现屏幕交互的系统，包括视频通话终端以及视频对端；其特征在于，所述视频通话终端为权利要求4至6所述的视频通话终端；

所述视频对端包括：

执行模块，用于解析并执行所述操作。

8.根据权利要求7所述的视频通话过程中实现屏幕交互的系统，其特征在于，所述执行模块具体用于：

从RTP流中解析出所述操作并执行。