CN104823186B - 经由网络连接的至少两个终端之间的远程呈现的方法 - Google Patents

Abstract

本发明涉及一种在经由网络连接的第一终端(100)和至少一个第二终端(200，200’)之间远程呈现的方法，包括以下步骤：－当用户在第一终端的外设中的一个外设上作出动作时生成(20)事件，并把所生成的事件发送给第一终端的机器控制器(110)。其特征主要在于还包括以下步骤：－向网络服务器(300)发送(30)所生成的事件；以及－从所述网络服务器(300)向所述第二终端(200)的机器控制器(210)和视频服务器(400)的机器控制器(410)之中的至少一个机器控制器发送(40)所述事件，所述视频服务器的配置与第一终端(100)的配置相兼容。

Description

经由网络连接的至少两个终端之间的远程呈现的方法

技术领域

本发明涉及在经由网络连接的两个终端之间共享的文件或应用的领域。

背景技术

所谓文件是指与任何类型的计算机文件格式相关联的任何类型的信息，无论其表现如何，其中包括图形。

所谓应用是指可由被安装到的终端在本地执行的软件，或者可由终端所连接到的服务器执行的网络应用(SaaS模式的方案，SaaS是软件即服务)。

所谓终端是指能够与服务器通信的任何类型的对象，例如智能电话或者个人计算机或PC，不区分操作系统是由Microsoft微软、Apple苹果开发或者用自由软件例如Linux开发的。该终端可以呈现为固定形式(具有中央单元)，便携式形式或作为触摸图形输入板例如iPad，Microsoft、Apple、Linux、ipad是注册商标。

存在在经由网络例如互联网连接的两个终端之间共享文件或应用以例如用于实现有可能交互式的远程呈现的多种解决方案。

通常，发射机是指向一个或多个接收终端发射文件的终端，在此情况下经由网络服务器。发射机可以例如与希望向参与者共享、呈现文件或应用的呈现者相关联。

在两个终端之间的文件或应用的共享的第一类型包括共享显示屏的全部或一部分。

在此情况下，通常，安装在第一发射机终端上的应用获取其显示屏的内容的全部或一部分(例如显示窗口)，并将其以视频流的形式发送给服务器，服务器然后把该流重传给第二接收机终端。接收机装配有适于读取该类视频流的读取器。

在此情况下，同样的应用应当安装在希望共享他的显示屏的全部或一部分的每个参与者的终端上。

该类解决方案的优点是其不再受到所交换的信息或文件和所用应用的格式限制的问题。要共享的文件或应用不需要存在于接收机终端上，它们可以仅存在于发射终端上。无论呈现者使用何种文件或应用，参与者都可以在其屏幕上看到，不管软件或硬件配置如何。

然而，该类方案需要在每个发射机或接收机终端上安装应用。

此外，通过使用视频流，该类方案需要较大的带宽(上行流和下行流)和性能高的终端。

此外，在两个终端之间的文件或应用的共享的第二类型包括对终端进行远程控制。

在此情况下，通常，如前所述，安装在第一终端即发射机上的应用获取显示屏的内容的全部或一部分，并将该内容以视频流的形式发送给服务器，服务器然后把该流重传给第二终端，即接收机。接收机配有适于读取该类视频流的读取器。

此外，安装在第二终端上的应用与第一终端经由服务器通信，以便控制第一终端的外设(鼠标或键盘)。

在此情况下，与第二终端相关联的呈现者可以控制与参与者相关联的第一终端。

该类解决方案的优点是其还消除了所交换文件和所用应用的格式问题。无论呈现者使用何种文件或应用，参与者都可以在其屏幕上看到，不管软件或硬件配置如何。

然而，该类方案需要在每个终端上安装应用。

此外，该类方案需要较大的带宽(上行流和下行流)和性能高的终端。

此外，所呈现的文件或应用应在第一终端(对其进行控制)上呈现。

两个终端之间的文件的共享的第三类共享包括通过显示刷新命令来呈现文件。

在此情况下，通常，终端连接在公共服务器上，公共服务器通过在第一连接页面上呈现的自动刷新系统向它们同时发布同样的文件。文件的选择是通过终端之一来控制的。

该类解决方案的优点是简易性，因为不需要在全部终端上安装特定的应用，通常互联网浏览器可以足够了。

然而，该类方案依赖于用于读取所发送文件的用户终端的软件或硬件配置。

此外，该类方案一般需要较大的带宽(来自公共服务器的下行流)。

此外，该类方案不允许在终端之间共享应用。

事实上，这三类方案非常适于专用的组织，例如企业内部，但显得非常牵强甚至不可能实施在例如漫游用户或业务呈现的情况下，尤其由于：

－在大量情况下不能在参与者/接收机的终端上安装最少应用(而安装通常在呈现者/发射机侧是可行的)；

－常是极其不可能准备要呈现的多个版本的文件来适应参与者的可能的不同软件或硬件配置；以及

－呈现者或参与者有时具有非常差的带宽。

发明内容

本发明目的在于消除这些困难中的至少一个并提出新的类型解决方案。

根据其第一目的，本发明涉及一种用于在经由网络连接的第一终端(100)和至少一个第二终端(200，200')之间的远程呈现的方法，包括以下步骤：

－在用户在第一终端的外设中的一个外设上的动作期间生成(20)事件，并把所述生成的事件发送给第一终端的机器控制器(110)。

本发明的特征主要在于还包括以下步骤：

－向网络服务器(300)发送(30)所生成的事件；以及

－从所述网络服务器(300)向所述第二终端(200)的机器控制器(210)和视频服务器(400)的机器控制器(410)之中的至少一个机器控制器发送(40)所述事件，所述视频服务器的配置与第一终端(100)的配置相兼容。

在一个实施方式中，还规定以下步骤：

－比较(70)第一终端(100)的配置和第二终端(210，210')的配置；以及根据所述比较的结果：

－如果所述配置相似，则在把所述事件发送给第二终端的机器控制器之前翻译(80)所述事件；

－如果所述配置不兼容，

则发送(88)错误消息或警报消息。

可以规定：如果配置相同或相似，则把事件发送到第二终端的机器控制器，在可能的情况下不用翻译。所述事件的发送优选地是经由网络服务器进行的。

在一个实施方式中，在所述视频服务器(400)上还规定以下步骤：

－生成并记录(50)视频流，所述视频流通过所生成(20)并发送(30，40)的事件再现用户在第一终端的外设中的一个外设上的动作。

可以规定：

－如果配置不兼容，

则发送(88)错误消息或警报消息；以及

－如果配置相似，则在把所述事件发送给视频服务器的机器控制器之前翻译(80)所述事件；

－基于由视频服务器的机器控制器播放的事件来在视频服务器上生成视频并在该服务器上记录视频流，所述视频流通过所生成(20)和从网络服务器的接收(30，40)的事件来再现用户在第一终端的外设中的一个外设上的动作。

在一个实施方式中，还规定把所述视频流传播(60)给所述第二终端(200，210')的步骤。

在一个实施方式中，还包括：

－通过在第一终端和第二终端的各自浏览器中打开同一网页(URL)或打开同一应用来使第一终端和第二终端同步(10)的步骤。

由于该特征，第一终端和第二终端在开始远程共享之前处于相似初始状态中。

在一个实施方式中，规定第一终端和第二终端中的至少一个包括被配置为读取HTML5数据格式的浏览器。

在一个实施方式中，还规定以下步骤中至少一个步骤，在所述第一终端和第二终端中的至少一个上：

－实时下载(90)文件；

－在从所述服务器向所述第二终端的机器控制器和视频服务器的机器控制器中的至少一个机器控制器发送所述事件的步骤之前，预先下载(91)文件，以及

－通过连续模式传播来下载(92)文件。

在一个实施方式中，规定翻译的步骤(80)针对给定终端而包括至少一个以下步骤：

－把指针的坐标转换(81)为与所述终端相关联的屏幕的尺寸有关的坐标；以及

－在用户对触摸屏的动作和对非触摸屏的类似动作之间建立(82)双射对应关系。

在一个实施方式中，还规定以下步骤：

－向所述网络服务器发送(31)由用户对第一终端或其中一个其外设的动作所发起的应用的标识；

－从所述网络服务器向所述第二终端的至少一个机器控制器发送(32)所述应用的标识；以及

－在所述第二终端上强制(33)执行所述应用。

根据另一个目的，本发明涉及一种计算机程序，包括程序代码指令，当所述计算机程序在计算机上执行时所述程序代码指令用于执行根据本发明所述的方法的步骤。

本发明可尤其应用于具有图形输入板(如iPad，注册商标)的用户之间共享的应用内部或网络内容的联合工作，在例如远程培训的情况下，其中就包括虚拟课堂。

附图说明

通过阅读下面参照附图以示例方式而非限定地的描述，本发明的其它特征和优点将更加清楚，在附图中：

－图1示出根据本发明的方法的实施方式；

－图2示出能够实施根据本发明的方法的系统的实施方式，以及

－图3示出能够实施根据本发明的方法的系统的实施方式。

具体实施方式

所有终端100、200、200'包括与所述终端的信息系统连接的一个或一般地多个外设120、130、220、230、220'、230'。

这可以是输入外设，例如键盘，或指向设备如鼠标，或具有铁笔的图形平板；输出外设，如视觉屏；或输入/输出外设如触摸屏。

每个外设通常连接到各自的控制器。为此每个终端通常包括至少两个不同的控制器：一个机器控制器和一个外设控制器(全部外设共用或每个外设一个控制器)。

当用户在终端的外设之一上施加一个或多个身体动作(顺次或同时)时，所用外设的控制器向终端的控制器即机器控制器发送称为事件的对应的指令集合。在接收到这些事件时，机器控制器将其转换为信息动作，即机器命令，在可能情况下以另一外设为目的地。

例如，无需发起特定应用，包括在超文本链接上的点击(左或右)、在按钮上的点击、在图标上的点击、使一个或两个指针(例如鼠标、一个或两个手指在触摸屏上)位移等的身体动作导致对应事件的生成20，从而机器控制器得出相关联的命令(计算机动作)：打开屏幕上的新页面(网络或其它)、发起应用，即执行软件，执行缩放，旋转等。

发送给机器控制器的事件包括例如对一个或多个指针的位置的指示符，其可能的移动(位移或偏离的距离和速度)，以及可能的动作(点击、双击、触摸、滑动等)。

机器控制器110、210、210'把这些指示转换为指令，其通常以别的外设甚至同一外设的控制器为目的地。

为了表达方便，事件本质上是指从外设控制器发送给机器控制器的指示，。或者从机器控制器向外设控制器发送的指令。

当发起特定应用时，常规地每个应用使用专属的应用控制器，其允许根据同样的原理来执行一定数量的特定功能，这取决于用户在该应用中的身体动作。

例如，在允许输入文本的应用中，当用户按下其键盘上的字母"A"时，机器控制器从键盘控制器或触摸屏接收表示字母A被选择的事件，并以(触摸或非触摸)屏幕控制器为目的地发送该字符A的显示命令。

此处提出事件和两个网络终端中至少一个的至少机器控制器的灵巧用法，其中在一个实施方式中，两个终端之一的机器控制器被由两个终端中另一个生成的事件所驱动。

在其它实施方式中，以替代方式或组合方式，两个终端之一的发射终端的机器控制器向视频服务器发送事件，视频服务器把这些指令转换为以两个终端中另一个或多个其它终端(接收机)为目的地的视频流。第二终端(接收机)的机器控制器可以作为反馈甚至在接收视频流时发送用于控制第一终端(发射机)的事件。

由于本发明，可以经由网络服务器直接通过两个终端中的另一个来驱动两个终端中的一个的应用。

后文更详细描述不同实施方式。

规定一种用于在经由网络通常是因特网连接的第一终端100和至少一个第二终端200'之间的远程呈现的方法。

每个终端可以在发射模式(向网络服务器300发送事件)或接收模式(接收来自网络服务器的事件)中工作。

规定步骤30，包括向网络服务器300(通常向其机器控制器310)发送由用户在第一终端或其外设之一上的动作生成的事件。

由于该特征，第一终端和网络服务器之间的带宽与尤其是以视频流形式的内容的发送相比大大得到限制。实际上，所发送的每个事件通常表示几十个字节。发送步骤30因此可以很快。

优选地，发送是通过由第一终端的用户发起的特定应用来执行的。

一旦网络服务器300接收到事件，可规定步骤40，包括从所述网络服务器向所述第二终端200的至少一个机器控制器210发送所述事件。可以作为补充或替代来规定步骤40，包括从所述网络服务器300向视频服务器400的至少一个机器控制器410发送所述事件。

所述第二终端200的机器服务器210接收来自网络服务器300的事件，机器服务器210优选通过由第二终端的用户发起的特定应用连接到网络服务器300。机器控制器210然后把所述事件解释为如同所述事件来自使用其接口的所述第二终端的用户并且将其转换为计算机动作，其在第二终端200上再现第一终端100的用户的动作。

与前面相同，因为仅有事件被发射，所以网络服务器300和第二终端210或视频服务器400之间的带宽可以很小。

该配置特别适于其中第一终端和第二终端具有相同或相似(即相兼容)配置的情况。在终端之一上执行的任何动作被在另一终端上同样再现。

“配置”这个词是指操作系统、屏幕尺寸、屏幕分辨率、以及软件版本或浏览器中的至少一个部件。

“相似配置”尤其是指第一和第二终端每个都包括相同软件的对应版本，但这两个版本彼此兼容，即在一个终端上的与该软件有关的动作导致在另一个终端上的与该软件有关的同样动作。

由于所有终端不必然具有相同或相似的配置，因此可以规定步骤70，其包括比较第一终端的配置和第二终端的配置。

通常，这将识别例如连接到网络的终端是否是触摸屏、其屏幕的尺寸、其逻辑版本等。

因此根据比较结果：

－如果配置相同则向第二终端的机器控制器发送所述事件；

－如果配置相似则可以在向第二终端的机器控制器发送所述事件前翻译80所述事件；以及

－如果配置不兼容，则可以规定发送错误消息或警报消息，例如请求用后面描述的视频服务器实施方案。

翻译步骤80优选地由配有翻译装置340的网络服务器300实施，翻译装置340通常包括存储器和计算器。以替代方式，翻译步骤80可以移走，翻译装置340包括在另一个机器、服务器或终端中。对于给定终端而言翻译步骤80包括至少一个以下步骤：

把指针的绝对坐标转换81为与所述终端相关联的屏幕的尺寸有关的坐标；以及

在用户对触摸屏的动作和在非触摸屏上的类似动作之间建立82双射对应的关系。

例如，当用户借助指针(鼠标、铁笔、手指)进行指示时，所指示的点的绝对坐标(屏幕的X、Y像素)被转换为相对坐标(屏幕尺寸的Xr％，Yr％)。

这些相对坐标被发送给另一终端，机器控制器然后可以命令该终端的执行以使得施加相同的百分比，这在第一和第二终端具有各自不同屏幕尺寸时特别有利。

例如，通过把屏幕的左上角作为原点，如果第一终端的用户在例如位于相对于原点的屏幕宽度的10％并且高度的20％的图标上点击，则以相对于第二终端的屏幕尺寸的同样百分比在第二终端上执行点击或等价行为(见下文)。因此，如果位于这些相应位置的两个图标对应于同一应用，则在第一终端上发起的该应用也在第二终端上发起。

类似地，可以在用户对触摸屏的动作和在非触摸屏上的对应动作之间建立对应关系，优选为双射对应，例如以记录在网络服务器上的对应关系表的形式。例如，在触摸屏的终端上，与手指触摸、两个手指之间距离的修改、手指滑动等相对应的事件的接收在具有非触摸屏的终端上产生分别与点击、缩放(其比例取决于两指间的间隔)、根据手指滑动方向而向后一页/前一页过渡等相对应的事件。

在某些情况下，所发送给网络服务器的事件还包括用户在第一终端或其外设之一上的动作所发起的应用的标识31。所述应用的标识随后被从网络服务器发送32给所述第二终端的至少一个机器控制器，这允许在所述第二终端上(在可能情况下强制)执行33所述应用。

此外，可以预先规定使第一终端和第二终端同步10。为此，优选地规定通过在各自浏览器中打开同一网页(URL)来使之同步。浏览器是指互联网或社交网络(例如Facebook，脸书，注册商标)浏览器。

这样的配置在网络呈现中是有利的。特别地，可以规定第一和第二终端中的至少一个包括被配置为读取HTML5数据格式的浏览器。

在此情况下，翻译步骤是可选择的。其仅在从或向包括被配置为读取HTML5之前的数据格式(即HTML4)的浏览器的终端收发时才需要。

工作实例

在第一和第二终端的配置是相同的情况下，第一终端的用户的动作在第二终端上相同再现。

在第一和第二终端的配置相兼容的情况下，网络服务器翻译第一终端的用户的动作使得它们在第二终端上以同样方式再现。

例如，第一终端(此时为注册商标iPad)的用户，希望与第二终端(此时似乎具有鼠标的PC)的用户共享文件。在连接到网络服务器时，所述服务器计算它们的配置并考虑它们是兼容的。例如，第一用户是在其iPad上使用对网络浏览器(通常Webkit)进行封装的应用的呈现者。他希望与使用PC的第二用户远程共享HTML5文件。

第二用户用其网络浏览器(例如Chrome)连接到由呈现者提供URL地址的站点上。

第二用户的浏览器向网络浏览器(经由代理)发送与配置并尤其是所用浏览器的标识(此时为Chrome，即知道如何解析HTML5事件的浏览器)和屏幕的分辨率有关的信息。

从此，呈现者可以共享HTML5文件，在其终端上的任何事件都被翻译并在第二终端上再现。

例如，通过对应关系表，手指在第一终端的触摸屏上的滑动被转换为鼠标在第二终端上的移动事件。类似地，通过对应关系表，手指在第一终端的触摸屏上的触摸被转换为在第二终端上的点击事件。

可以规定使两个终端在同一应用如浏览器上同步，这例如在图标的设置在两个终端上不是相同的情况下是有利的。浏览器可以不同，不需要相同。浏览器包括同样的语言。例如，Chrome、Safari、Opera、Firefox和IE的上一版本包括HTML5及其Javascript。

第一终端的机器控制器和应用控制器之间的对话然后被翻译为第二终端的机器控制器和应用控制器之间的对话，这保证了第一终端的用户的动作在第二终端上再现。

在第一和第二终端的配置不兼容的情况下，除了第二终端之外还可以提供视频服务器。

视频服务器配有与第一终端兼容的配置，并且配有允许通过视频装置450生成并记录50视频流的视频获取软件，由于所生成并发送的事件，视频流再现用户在第一终端的外设之一上的动作。该视频流可以然后被传播60给第二终端200、200'，特别是配置与第一终端的配置不兼容的第二终端210'。

视频服务器400可以如前所述那样在第二终端的意义上工作或者模拟其工作。

可以规定记录与用户在第一终端或其外设之一上的动作所产生的事件对应的动作的视频流。

为此，第一终端所发送给视频服务器(机器控制器)的事件生成指令的执行，其通过所述服务器再现第一终端的用户的动作，这些指令被获取为传送给第二终端的视频流的形式。

该配置的优点是仅需要第一终端和视频服务器之间的极小的上行带宽；以及第二终端的任意软/硬件配置。因此可以消除所交换文件格式的问题。无论例如呈现者在终端上使用文件还是软件，其它终端上的参与者都可以在各自屏幕上看见这些内容，而不论其配置如何。

为了在两个终端之间呈现同样的文件，可以还在第一终端和第二终端中的至少一个上提供以下步骤中的至少一个：

－实时下载90文件；

－在从所述服务器向所述第二终端的机器控制器和视频服务器的机器控制器中的至少一个机器控制器发送所述事件的步骤之前，预先下载91文件，以及

－通过连续模式传播来下载92文件。

特别地，可以规定连续模式传播是在接收终端的高速缓冲存储器中执行的。

预先下载例如在漫游配置中是有利的。

本发明不限于上述的实施方式。例如，可以组合前述在技术上兼容的实施方式，图2示出其中一个实施方式。

在图2上，箭头方向涉及可能的通信方向，方法的步骤由数字标号表示，并且如图1那样的虚线等同于可选特征。

第一和第二终端的概念是相对的：

每个终端可以根据使用上下文而被认为第一或第二，并优选地每个终端能够发送和接收事件。

例如，在第二终端的参与者不具有与第一终端的呈现者的配置初始兼容的配置的情况下，第二终端从视频服务器接收视频流，参与者可以通过回发可能被网络服务器翻译并向第一终端(并可能向别的参与者)发送的事件来与视频服务器交互。

显然，本发明不限于两个终端而可以包括多个在网络中连接的终端。特别地，当接收终端与发射终端相兼容并且因为经由网络服务器仅交换事件所以视频服务器不必需时，所需的带宽极小并且可以连接成百上千的终端，这对于在线培训特别有利。

Claims (9)

1.一种用于在经由网络连接的第一终端(100)和至少一个第二终端(200，200’)之间的远程呈现的方法，包括：

在用户在第一终端的外设中的一个外设上的动作期间，生成(20)事件，并向所述第一终端的机器控制器(110)发送所生成的事件的步骤；

其特征在于，所述方法还包括以下步骤：

－向网络服务器(300)发送(30)所述生成的事件；以及

－从所述网络服务器(300)向所述第二终端(200)的机器控制器(210)和视频服务器(400)的机器控制器(410)之中的至少一个机器控制器发送(40)所述事件，所述视频服务器的配置与所述第一终端(100)的配置相兼容；

还在所述第一终端和第二终端中的至少一个上包括以下步骤中的至少一个步骤：

－实时下载(90)文件；

－在从所述服务器向所述第二终端的机器控制器和视频服务器的机器控制器中的至少一个机器控制器发送所述事件的步骤之前，下载文件，以及

－通过连续模式传播来下载文件。

2.根据权利要求1所述的方法，还包括以下步骤：

－比较(70)第一终端(100)的配置和第二终端(210，210’)的配置；并且，根据所述比较的结果：

－如果配置相似，则在把它们发送给第二终端的机器控制器之前翻译(80)所述事件；

－如果配置不兼容，则发射(88)错误消息或警报消息。

3.根据前述权利要求中任一项所述的方法，还包括在所述视频服务器(400)上生成并记录(50)视频流的步骤，所述视频流通过所生成(20)并发送(30，40)的事件再现用户在第一终端的外设中的一个外设上的动作。

4.根据权利要求3所述的方法，还包括把所述视频流传播(60)到所述第二终端(200，210’)的步骤。

5.根据权利要求1-2中任一项所述的方法，还包括通过在第一终端和第二终端的各自浏览器中打开同一网页或打开同一应用来同步(10)第一终端和第二终端的步骤。

6.根据权利要求5所述的方法，其中，第一终端和第二终端中的至少一个包括被配置为读取HTML5数据格式的浏览器。

7.根据权利要求1-2中任一项所述的方法，其中，对于给定终端。翻译步骤(80)包括以下步骤中的至少一个步骤：

－把指针的坐标转换(81)为涉及与所述终端相关联的屏幕的尺寸的坐标；以及

－在用户对触摸屏的动作和对非触摸屏的相同动作之间建立(82)双射对应关系。

8.根据权利要求7所述的方法，还包括以下步骤：

－向所述网络服务器发送(31)由用户对第一终端或其中一个其外设的动作所发起的应用的标识；

－从所述网络服务器向所述第二终端的至少一个机器控制器发送(32)所述应用的标识；以及

－在所述第二终端上强制(33)执行所述应用。

9.一种存储在介质上的计算机程序，包括程序代码指令，当所述程序在计算机上执行时所述程序代码指令用于执行根据前述权利要求中任一项所述的方法的步骤。