CN103338181A - 服务器、屏幕传送系统和屏幕传送方法 - Google Patents

Abstract

提供有一种服务器，其中，屏幕更新产生单元产生表示屏幕中的更新区域的图像的屏幕更新信息；分配单元将所述屏幕更新信息分配到从所述第一个到第N个传输单元中选择的传输单元；存储器存储屏幕更新信息的产生历史；以及优先可能性判定单元基于所述屏幕更新信息的产生历史，指定屏幕更新信息X和Y，使得所述屏幕更新信息X比所述屏幕更新信息Y更加在先地产生，并且允许所述屏幕更新信息Y的图像在所述屏幕更新信息X之前被显示，其中，所述分配单元将所述屏幕更新信息Y分配到与被分配有所述屏幕更新信息X的传输单元不同的传输单元。

Description

服务器、屏幕传送系统和屏幕传送方法

技术领域

在此描述的实施例涉及服务器、屏幕传送系统和屏幕传送方法。

背景技术

有一种“屏幕传送系统”，在该屏幕传送系统中，服务器的屏幕上的信息从服务器被分包和实时分配到经由网络连接到服务器的客户终端。

该客户终端接收和显示保持在该服务器中的一部分屏幕区域或者全部屏幕区域上的屏幕信息。此外，关于在客户终端进行的用户的操作的信息被传输到该服务器。这个系统使得远程服务器的屏幕上的信息能够在手边的终端被显示和参照，由此期待被用于各种应用，例如诸如远程监控系统。

作为用于配置屏幕传送系统的方法，有一种保持在服务器中的整个屏幕区域的内容每隔固定时段被分包、以便被分配到每个客户终端的方法，以及一种每当在屏幕区域中绘制状态发生变化时、只有表示由于该变化引起的差异的信息和发生变化的区域上的信息一起被分配的方法。在分配该差异的后者的方法中，根据绘制状态中的变化，产生仅仅所需部分的数据。因此，和前者的方法相比，后者的方法具有可以有效地使用网络频带、并且可以增加每单位时间的绘制帧的数量的优点。因此，在很多情况下通常提供基于后者的方法的服务。

用于在屏幕区域中获得最新的绘制状态的差异被称为屏幕更新信息。可以通过在存储上次的绘制状态的帧缓存器中反映屏幕更新信息来获得最新的绘制状态。

此外，在屏幕传送系统中，TCP（传输控制协议）通常被用作传输协议。TCP实现了服务器和客户终端之间的连接类型的通信，并且保证了经过再传输的数据传送的可靠性和顺序性。在该屏幕传送系统中，通常只有绘制状态的差异被分配。如果在数据传送中不保证可靠性和顺序性，那么在数据传送中会引起损失和顺序替换，以致服务器的绘制状态和客户终端的绘制状态互相不一致，并且因此使用感觉变坏。因此，保证数据传送中的可靠性和顺序性的TCP在这方面具有优势。此外，和诸如UDP（用户数据报协议）的其他传输协议相比，TCP具有容易遵守引入的网络的安全政策的优势。从这些理由出发，在许多屏幕传送系统中使用TCP。

在该屏幕传送系统中，提供充分的响应性是重要的课题。响应性意指在从诸如点击操作的操作在客户终端被进行时到在对应于该操作的服务器处产生的屏幕变化在客户终端被反映时的期间（响应时间）的屏幕传送的质量。当响应性不充分（响应时间大）时，该用户必须在确认操作的结果之前等待响应的期间。这个导致工作效率恶化以及错误地进行操作的不利影响。

然而，在使用TCP的屏幕传送系统中，当数据包在数据包的传送期间被丢失时，响应性可能恶化。这是因为在基于TCP的数据传送中保证顺序性。当对应于屏幕更新的数据包丢失时，客户终端不能基于接收到的屏幕更新信息进行绘制处理，直到丢失的数据包的再传输完成为止。因此，在这期间，在客户终端中暂时停止绘制，直到再传输完成为止。结果，出现在显示中发生延迟。

附图说明

图1是显示包括作为实施例的服务器的屏幕传送系统的结构的视图；

图2是显示屏幕更新信息的实例的视图；

图3是显示矩形信息的实例的视图；

图4是显示存储在历史存储器中的信息的实例的视图；

图5是显示优先可能性信息的实例的视图；

图6是显示存储在分配历史存储器中的信息的视图；

图7是说明判定分配目标的方法的视图；

图8是显示划分屏幕更新信息的实例的视图；

图9是客户终端的操作的流程图；

图10是显示在客户终端中的操作的实例的视图；

图11是接着图10的视图；

图12是接着图11的视图；

图13是接着图12的视图；以及

图14是接着图13的视图。

具体实施方式

根据一些实施例，提供有一种服务器，包括：屏幕更新产生单元、第一个到第N个（牛顿是2以上的整数）传输单元、分配单元、屏幕更新历史存储器以及优先可能性判定单元。

屏幕更新产生单元产生表示屏幕中的更新区域的图像的屏幕更新信息。

第一个到第N个（N是2以上的整数）传输单元与客户终端通信。

分配单元将所述屏幕更新信息分配到从所述第一个到第N个传输单元中选择的传输单元。

屏幕更新历史存储器存储屏幕更新信息的产生历史。

优先可能性判定单元基于所述屏幕更新信息的产生历史，指定屏幕更新信息X和Y，使得所述屏幕更新信息X比所述屏幕更新信息Y更加在先地产生，并且允许所述屏幕更新信息Y的图像在所述屏幕更新信息X之前被显示。

分配单元将所述屏幕更新信息Y分配到与被分配有所述屏幕更新信息X的传输单元不同的传输单元。

第一个到第N个传输单元将由所述分配单元分配的屏幕更新信息传输到客户终端。

以下，将参考附图描述实施例。

图1是显示包括作为实施例的服务器的屏幕传送系统的结构的视图。在这个结构中，用作服务器的信息处理终端（服务器）1和用作客户机的信息处理终端（客户终端）2经由网络3被连接。

[服务器的结构]

服务器1包括作为它的部件的屏幕更新产生单元101、优先可能性判定单元102、分配单元103、传输单元104A、104B和104C、APP类型获取单元105、屏幕更新历史存储器106、以及分配历史存储器107。

屏幕更新产生单元101根据服务器1中的操作系统和应用程序的执行状态产生屏幕更新信息。该屏幕更新信息是用于改变屏幕的绘制状态的信息。

图2显示屏幕更新信息的实例。该屏幕更新信息包含表示屏幕的更新的时间顺序的序列号、表示要被更新的区域的位置的区域信息、以及对应区域的图像信息。该序列号是从0开始的32位整数。通过表示屏幕区域中的图像信息的显示位置的数值来表示区域信息。

例如，如图3所示，当屏幕区域的左上角被设定为（0，0）时，以及当右下角同样被设定为（宽度，高度）时，通过矩形信息表示该区域信息，该矩形信息包括显示位置的左上方坐标（左边，顶部）以及右下方坐标（右边，底部）。该图像信息包含在对应于该区域信息的区域中的更新的位图数据（该矩形中的每个像素的RGB三色的值等等）。

优先可能性判定单元102判定基于某个屏幕更新信息的屏幕更新是否可以在其他屏幕更新信息之前被进行。最初地，在服务器1的屏幕更新产生单元101中产生的屏幕更新信息必需在客户终端2中以产生屏幕更新信息的序列的顺序（以序列号的顺序）经受显示处理。这是因为，当该顺序在客户终端中变化时，服务器的绘制状态和客户终端的绘制状态互相不一致，并且因此使用感觉变坏。所以，原则上，并不允许基于任意的屏幕更新信息的屏幕更新在基于该屏幕更新信息的屏幕更新之前被进行，该屏幕更新信息在时间上比该任意的屏幕更新信息要旧（具有较小的序列号）。

然而，在某个情形中，考虑一种情况，在该情况下，即使当两种屏幕更新信息的显示处理的顺序变化时，用户的使用感觉的变坏程度是相对低的。该情况的实例包含某个屏幕更新信息在与时间上比某个屏幕更新信息旧的屏幕更新信息的应用程序不同的应用程序的窗口中被产生的情况（将如下所述其他具体的实例）。在这种情况下，即使当基于某个屏幕更新信息的屏幕更新在基于时间上比某个屏幕更新信息旧的屏幕更新信息的屏幕更新之前被进行时，在用户的眼睛处几乎没有引起不协调的感觉。

所以，通过使用屏幕更新历史存储器106，该优先可能性判定单元102从在某个屏幕更新信息之前产生的旧的屏幕更新信息中指定允许某个屏幕更新信息在其本身之前被显示的屏幕更新信息（优先可能性判定处理）。然后，用于识别可以在某个屏幕更新信息之后被显示的旧的屏幕更新信息的信息（优先可能性信息）被添加到某个屏幕更新信息。注意，有时候，允许某个屏幕更新信息在它本身之前被显示的旧的屏幕更新信息被称为屏幕更新信息X，并且基于该屏幕更新信息X的屏幕更新被称为屏幕更新X。此外，有时候，可以在旧的屏幕更新信息之前被显示的某个屏幕更新信息被称为屏幕更新信息Y，并且基于该屏幕更新信息Y的屏幕更新被称为屏幕更新Y。

该分配单元103将由屏幕更新产生单元101产生的屏幕更新信息分配到从多个传输单元104A、104B和104C中选择的传输单元。当传输可以预先被显示的屏幕更新信息（屏幕更新信息Y）时，分配单元103将屏幕更新信息Y分配到与允许屏幕更新信息Y预先被显示的屏幕更新信息X被分配的传输单元104不同的传输单元104。

该传输单元104进行从该分配单元103分配的屏幕更新信息的传输处理。该传输单元104将从分配单元103输入的屏幕更新信息转换成可以在网络上传输的形式，并且将经转换的信息传输到客户终端2。作为传输协议，使用TCP/IP。

APP类型获取单元105获取在其中进行屏幕更新的窗口（即，产生屏幕更新信息的窗口）的应用程序的类型（在下文中，称为APP类型）。

屏幕更新历史存储器106存储屏幕更新历史，即，屏幕更新信息的产生历史。每当产生屏幕更新并且还通过优先可能性判定单元102进行以上描述的优先可能性判定处理时，关于新产生的屏幕更新的信息被存储在屏幕更新历史存储器106中。

图4显示存储在屏幕更新历史存储器106中的历史的实例。在这个实例中，序列号、区域信息、以及APP类型信息作为与屏幕更新有关的信息被存储。

[客户终端的结构]

客户终端2包括作为它的部件的接收单元201A、201B和201C、收集单元202以及显示单元203。

接收单元201A、201B和201C经由网络3从服务器1接收屏幕更新信息。

收集单元202从多个接收单元201A、201B和201C收集屏幕更新信息。

显示单元203具有用于存储整个屏幕区域的屏幕信息的存储区域（帧缓存器）。当接收屏幕更新信息时，显示单元203通过将屏幕更新信息的图像信息重写在存储区域中的信息上来更新由区域信息指示的存储区域中的信息。显示单元203通过在屏幕上呈现存储区域的数据来将屏幕信息呈现给用户。

[处理流程]

接下来，将适当参考附图描述根据本实施例的由屏幕传送系统进行的处理。服务器1和客户终端2经由网络3物理地彼此连接。在本实施例中，网络被假设为IP（网际协议）网络。

[处理流程（屏幕更新的产生）]

当开始执行屏幕传送时，屏幕更新产生单元101根据服务器1的操作系统和应用程序的执行状态，更新该屏幕，以便产生屏幕更新信息。该屏幕更新信息被配置为如图2所示。屏幕更新产生单元101具有用于存储当前的序列号的值（零开始）的计数器。每当屏幕更新产生单元101产生屏幕更新信息时，屏幕更新产生单元101将计数器的值添加到产生的屏幕更新信息，然后将计数器的值增加一。屏幕更新产生单元101将屏幕更新信息输出到优先可能性判定单元102。

[处理流程（判定是否允许优先）]

当接收该屏幕更新信息时，优先可能性判定单元102判定接收到的屏幕更新信息是否可以优先于以前的屏幕更新信息。这里，某个屏幕更新信息Y可以优先于其他屏幕更新信息X意指，在客户终端2中，即使当基于某个屏幕更新信息Y的屏幕更新在基于屏幕更新信息X的屏幕更新之前被进行时，在用户的眼睛处几乎没有引起不协调的感觉。通过使用存储在屏幕更新历史存储器106中的屏幕更新的历史，以及通过使用从APP类型获取单元105获取的APP类型信息，优先可能性判定单元102判定接收到的屏幕更新信息是否可以优先于以前的屏幕更新信息。

首先，优先可能性判定单元102将接收到的屏幕更新的区域信息传送到APP类型获取单元105，以便要求APP类型获取单元105获取该区域信息的APP类型。APP类型获取单元105通过任意的方法获取传送的区域信息的APP类型，并且将获取到的APP类型返回到优先可能性判定单元102。

接下来，优先可能性判定单元102从存储在屏幕更新历史存储器106中的历史中读取最新信息。然后，优先可能性判定单元102判定从屏幕更新产生单元101接收到的屏幕更新信息是否可以优先于从屏幕更新历史存储器106读取到的信息。以下将描述判定的具体过程。

当判定从屏幕更新产生单元101接收到的屏幕更新信息可以优先于从屏幕更新历史存储器106读取到的信息时，优先可能性判定单元102从存储在中屏幕更新历史存储器106中的历史中读取第二最新信息。然后，优先可能性判定单元102同样地判定从屏幕更新产生单元101接收到的屏幕更新信息是否可以优先于从屏幕更新历史存储器106读取到的信息。该优先可能性判定单元102按照从最新历史开始的顺序重复地进行这种判定处理，直到判定从屏幕更新产生单元101接收到的屏幕更新信息不能优先于从屏幕更新历史存储器106读取到的信息为止。当判定从屏幕更新产生单元101接收到的屏幕更新信息不能优先于从屏幕更新历史存储器106读取到的信息时，优先可能性判定单元102将允许被优先的屏幕更新的数量以及屏幕更新的序列号的列表添加到从屏幕更新产生单元101接收到的屏幕更新信息。

描述了上述处理的实例。现在，假设具有序列号1到4的四个屏幕更新历史存储在屏幕更新历史存储器106中，而且优先可能性判定单元102从屏幕更新产生单元101接收具有序列号5的屏幕更新信息。

在从APP类型获取单元105获取与具有序列号5的屏幕更新信息相对应的APP类型之后，优先可能性判定单元102首先从屏幕更新历史存储器106读取具有序列号4的历史信息，并且判定对应于序列号5的屏幕更新是否可以在对应于序列号4的屏幕更新之前被进行。假设对应于序列号5的屏幕更新可以在对应于序列号4的屏幕更新之前被进行。

接下来，优先可能性判定单元102从屏幕更新历史存储器106读取具有序列号3的历史信息，并且同样地判定对应于序列号5的屏幕更新是否可以在对应于序列号3的屏幕更新之前被进行。假设对应于序列号5的屏幕更新可以在对应于序列号3的屏幕更新之前被进行。

接下来，优先可能性判定单元102从屏幕更新历史存储器106读取具有序列号2的历史信息，并且同样地判定对应于序列号5的屏幕更新是否可以在对应于序列号2的屏幕更新之前被进行。假设对应于序列号5的屏幕更新不能在对应于序列号2的屏幕更新之前被进行。

这里，优先可能性判定单元102将代表允许优先屏幕更新的屏幕更新的数量的值“2”、以及分别代表允许优先屏幕更新的屏幕更新的序列号的值“3”和“4”添加到具有序列号5的屏幕更新信息（图5A）。这个两种信息的组被称为“优先可能性信息”。当允许优先屏幕更新的屏幕更新不存在时，优先可能性判定单元102仅仅将“0”作为优先可能性信息添加到具有序列号5的屏幕更新信息（图5B）。

当结束优先可能性信息的添加时，优先可能性判定单元102将该屏幕更新信息输出到屏幕更新历史存储器106，以便要求屏幕更新历史存储器106存储该历史。例如，如图4所示，屏幕更新历史存储器106存储序列号、区域信息和APP类型信息的组。最后，优先可能性判定单元102将添加优先可能性信息的屏幕更新信息输出到分配单元103。

显示有判定基于某个屏幕更新信息的屏幕更新是否可以在基于存储在屏幕更新历史存储器106中的屏幕更新信息的屏幕更新之前被进行的处理的实例。现在，假设，当存储在屏幕更新历史存储器106中的历史处于图4中显示的状态时，优先可能性判定单元102接收屏幕更新信息，该屏幕更新信息具有序列号5以及表示为（左边，顶部）-（右边，底部）=（400，300）-（560，420）的区域信息。此外，假设，作为询问APP类型获取单元105的结果，接收到的屏幕更新信息的APP类型是表格计算。

在判定处理的第一实例中，当满足以下所有的条件时，判定可以在屏幕更新X之前进行屏幕更新Y：屏幕更新Y的APP类型不同于屏幕更新X的APP类型；以及，屏幕更新Y的区域信息与屏幕更新X的区域信息不重叠。

首先，优先可能性判定单元102判定对应于序列号5的屏幕更新是否可以在对应于序列号4的屏幕更新之前被进行。对应于序列号5的屏幕更新的APP类型（表格计算）不同于对应于序列号4的屏幕更新的APP类型（文档编辑）。此外，对应于序列号5的屏幕更新的区域信息（400，300）-（560，420）与对应于序列号4的屏幕更新的区域信息（160，120）-（320，240）不重叠。所以，优先可能性判定单元102判定对应于序列号5的屏幕更新可以在对应于序列号4的屏幕更新之前被进行。

接下来，优先可能性判定单元102判定对应于序列号5的屏幕更新是否可以在对应于序列号3的屏幕更新之前被进行。对应于序列号5的屏幕更新的APP类型（表格计算）不同于对应于序列号3的屏幕更新的APP类型（文档编辑）。此外，对应于序列号5的屏幕更新的区域信息（400，300）-（560，420）与对应于序列号3的屏幕更新的区域信息（80，60）-（240，180）不重叠。所以，优先可能性判定单元102判定对应于序列号5的屏幕更新可以在对应于序列号3的屏幕更新之前被进行。

接下来，优先可能性判定单元102判定对应于序列号5的屏幕更新是否可以在对应于序列号2的屏幕更新之前被进行。对应于序列号5的屏幕更新的APP类型（表格计算）与对应于序列号2的屏幕更新的APP类型（文档版本）相同。此外，对应于序列号5的屏幕更新的区域信息（400，300）-（560，420）与对应于序列号2的屏幕更新的区域信息（320，240）-（640，480）重叠。所以，优先可能性判定单元102判定以上描述的条件没有满足，由此，对应于序列号5的屏幕更新不能在对应于序列号2的屏幕更新之前被进行。

如此，当两个屏幕更新的APP类型彼此不同时，并且当两个屏幕更新的区域信息没有重叠时，几乎不会认为两个屏幕更新被有意义地彼此关联。在这种情况下，即使当时间上新的屏幕更新在旧的屏幕更新之前（而没有等待旧的屏幕更新的执行）被进行，也可以说，在用户的眼睛处几乎不会引起不协调的感觉，而且对于工作效率的影响是可忽略的。优先可能性判定单元102将如以上实例中描述的代表“对应于序列号5的屏幕更新可以在对应于序列号3和4的屏幕更新之前被进行”的信息（优先可能性信息）添加到具有序列号5的屏幕更新信息。然后，优先可能性判定单元102将具有序列号5的屏幕更新信息传送到分配单元103，该分配单元103是接着优先可能性判定单元102的处理单元。

注意，在本实施例中，当屏幕更新Y的APP类型不同于屏幕更新X的APP类型时、以及当屏幕更新Y的区域信息与屏幕更新X的区域信息不重叠时，优先可能性判定单元102判定屏幕更新Y可以在屏幕更新X之前被进行，但是本实施例不一定必须局限于此。可以使用当时间上新的屏幕更新在旧的屏幕更新之前被进行时、可以判定在用户的眼睛处引起的不协调的感觉是可忽略的任何任意的方法。

例如，当屏幕更新Y的区域完全包含屏幕更新X的区域时，可以判定屏幕更新Y可以在屏幕更新X之前被进行。如此，当新的屏幕更新完全包含其他以前的屏幕更新时，新的屏幕更新被认为是对于用户非常有价值的信息，由此判定新的屏幕更新可以在其他以前的屏幕更新之前被进行。然而，在这种情况下，当基于新的屏幕更新信息Y的屏幕更新在基于旧的屏幕更新信息X的屏幕更新之前被进行，并且此后基于旧的屏幕更新信息X的屏幕更新被进行时，在显示内容中引起误差。为了克服这个，采用了一种过程，在该过程中，先前进行的屏幕更新的序列号和区域信息作为历史被存储在收集单元202中，并且，就在某个屏幕更新信息被传送到显示单元203之前，将某个屏幕更新信息的区域信息与历史的区域信息相比，以便检查某个屏幕更新信息的区域信息是否完全被包含在先前进行的屏幕更新的区域信息。当某个屏幕更新信息的区域信息被完全包含在先前进行的屏幕更新的区域信息时，跳过将某个屏幕更新信息传送到显示单元203的处理。通过添加这种过程，可以避免在显示内容中引起误差。

此外，例如，还可以基于等级制度（Z顺序）信息来判定新的屏幕更新是否可以在其他以前的屏幕更新之前被进行，该等级制度信息代表在窗口系统中各个屏幕更新所属于的窗口之间的前后关系（例如，当多个窗口被相同的应用程序打开时）。例如，当屏幕更新Y所属于的窗口在屏幕更新X所属于的窗口的前面被显示时，屏幕更新Y可以在屏幕更新X之前被进行。通常，认为用户观看显示在前侧上的窗口的可能性高。因此，即使当属于显示在前侧上的窗口的屏幕更新在属于显示在后侧上的窗口的屏幕更新之前被进行时，在用户的眼睛处的不协调的感觉也是可忽略的。在这种情况下，代表窗口之间的前后关系的信息被存储在历史中。

[处理流程（分配）]

接下来，描述在接收屏幕更新信息时的分配单元103的处理。当从优先可能性判定单元102接收添加优先可能性信息的屏幕更新信息时，分配单元103将屏幕更新信息分配到多个传输单元104A、104B和104C中的一个传输单元。当分配屏幕更新信息时，分配单元103通过使用添加的优先可能性信息和存储在分配历史存储器107中的以前分配的历史信息，来判定多个传输单元104中的哪个传输单元被用于传输屏幕更新信息。该分配单元103选择传输单元104，在该传输单元104中，从优先可能性判定单元102接收到的屏幕更新信息与允许优先屏幕更新的屏幕更新的屏幕更新信息X不重叠。然后，分配单元103通过使用选择的传输单元104来传输接收到的屏幕更新信息。具体地，根据以下过程，传输单元104之一被判定为分配目标（图7）。

首先，分配单元103检查其中允许优先屏幕更新的屏幕更新没有包含在分配历史中的传输单元104的存在（步骤S1001）。当这种传输单元104存在时，分配单元103在传输单元104当中选择包含在分配历史中的屏幕更新的数量是最小的传输单元104（步骤S1002）。当这种传输单元104不存在时，分配单元103在所有的传输单元104当中选择包含在分配历史中的屏幕更新的数量是最小的传输单元104（步骤S1003）。

描述第一操作实例。现在，假设如图6所示的信息被存储在分配历史存储器107中。在图6中，显示了在三个传输单元104A、104B和104C当中，传输单元104A传输具有序列号1和4的屏幕更新信息，传输单元104B传输具有序列号2的屏幕更新信息，以及传输单元104C传输具有序列号3的屏幕更新信息。在这个状态中，假设分配单元103从优先可能性判定单元102接收具有序列号5的屏幕更新信息。假设基于具有序列号5的屏幕更新信息的屏幕更新可以在基于具有序列号3和4的屏幕更新信息的屏幕更新之前被进行。此时，通过参考图6中显示的并且从分配历史存储器107获取的信息，分配单元103检查其中允许优先屏幕更新以及对应于序列号3和4的屏幕更新不包含在分配历史中的传输单元104的存在。只有传输单元104B对应于这个条件。因此，分配单元103选择传输单元104B作为具有序列号5的屏幕更新信息的分配目标，并且将序列号和优先可能性信息添加到屏幕更新信息（区域信息和图像信息）。然后，分配单元103将结果的屏幕更新信息传输到传输单元104B并且结束该分配处理。

此外，假设分配单元103然后从优先可能性判定单元102接收具有序列号6的屏幕更新信息。假设对应于序列号6的屏幕更新同样可以在对应于序列号3和4的屏幕更新之前被进行。此时，分配单元103进行与以上描述的判定相似的判定，并且选择传输单元104B作为具有序列号6的屏幕更新信息的分配目标。

描述第二操作实例。现在，类似于第一操作实例，假设如图6所示的信息被存储在分配历史存储器107中。在这个状态中，假设分配单元103从优先可能性判定单元102接收具有序列号5的屏幕更新信息。假设对应于序列号5的屏幕更新可以仅仅在对应于序列号3的屏幕更新之前被进行。此时，在步骤S1001中，分配单元103检查其中对应于序列号3的屏幕更新没有包含在分配历史中的传输单元104的存在。传输单元104A和104B对应于这个条件。此外，传输单元104A包含两个历史，以及传输单元104B包含一个历史。因此，分配单元103选择传输单元104B作为具有序列号5的屏幕更新信息的分配目标。

描述第三操作实例。现在，类似于第一操作实例，假设如图6所示的信息被存储在分配历史存储器107中。在这个状态中，假设分配单元103从优先可能性判定单元102接收具有序列号5的屏幕更新信息。假设对应于序列号5的屏幕更新可以在对应于序列号2、3和4的屏幕更新之前被进行。此时，在步骤S1001中，分配单元103检查其中对应于序列号2、3和4的屏幕更新没有包含在分配历史中的传输单元104的存在。这种传输单元104不存在。此外，传输单元104A包含两个历史，以及传输单元104B和104C中的每个传输单元包含一个历史。因此，分配单元103随机地选择传输单元104B或者传输单元104C作为具有序列号5的屏幕更新信息的分配目标。

如此，分配单元103选择其中允许优先屏幕更新的屏幕更新没有包含在分配历史中的传输单元104。因此，即使当数据包在其他传输单元104中丢失时，选择的传输单元104也可以完成将屏幕更新信息传输到客户终端2，而不用等待丢失的数据包的再传输的完成。

注意，在本实施例中，通过使用分配的屏幕更新信息的数量来选择分配目标，但是分配目标的选择不一定必须基于分配的屏幕更新信息的数量来进行。可以通过任意的方法来判定分配目标，只要基于避免要被分配的屏幕更新信息与允许优先屏幕更新的屏幕更新信息重叠的传输单元104的原则来进行选择即可。

例如，屏幕更新的数据量的总和可以被用于代替分配的屏幕更新信息的数量。在这种情况下，在图7中的步骤S1002和S1003中，可以进行处理，该处理被配置为使得分配历史存储器107将分配给每个传输单元104的屏幕更新的图像数据量作为历史进行存储，并且使得分配单元103计算对于每个传输单元104被存储作为历史的屏幕更新的数据量的总和，以及选择具有最小的数据量总和的传输单元104作为分配目标。

例如，不仅可以使用屏幕更新的数量和数据量，而且还可以使用每个传输单元104的任意的状态值。在图7中的步骤S1002和S1003中，可以进行处理，例如该处理被配置为使得每个传输单元104的TCP的拥挤窗口的值被获取，并且使得具有最大值的传输单元104被选择作为分配目标。此外，可以进行处理，例如该处理被配置为使得每个传输单元104的TCP传输缓存器的空闲空间的值被获取，并且使得具有最大值的传输单元104被选择作为分配目标。

如此，通过使用分配的屏幕更新信息的数量和数据量或者TCP的拥挤窗口的值，其中可以以较高的可能性快速地完成到客户终端2的传输的传输单元104可以被优先地分派到可预先执行的屏幕更新信息。

注意，在本实施例中，进行屏幕更新信息的分配，以使屏幕更新信息一一对应于传输单元104，但是屏幕更新信息和传输单元104之间的对应不一定必须被限制为一一对应。本实施例可以被配置为使得一段屏幕更新信息被划分处理，以便被分派到两个以上的传输单元104。

例如，本实施例可以被配置为使得屏幕更新信息被划分成两段信息，并且两段信息分别被分配到不同的传输单元104。在图8中显示了划分实例。在图8中，作为关于划分的信息（划分信息），代表划分的两段信息中的第一个的“1/2”被附加到第一划分屏幕更新信息，并且代表划分的两段信息中的第二个的“2/2”被附加到第二划分屏幕更新信息。此外，分配单元103对于第一和第二划分屏幕更新信息中的每一个进行与图7中所示的相同的分配过程。当如此划分屏幕更新信息时，使得被传输到多个传输单元104的数据量统一。因此，可以减少完成屏幕更新信息的传输所需的时间。

此外，本实施例可以被配置为，例如，使得进行屏幕更新信息的备份，并且使得该备份被分别传输到不同的传输单元104。同样，在这种情况下，通过分配单元103对于屏幕更新信息的每个备份进行如图7所示的相同的分配过程。因此，即使在屏幕更新信息的一个备份中出现数据包遗漏的情况下，当屏幕更新信息的其他备份被传输而没有数据包遗漏时，可以避免显示延迟。

注意，在本实施例中，由分配单元103进行分配过程，以便使用所有的传输单元104，但是本实施例不一定必须被限制于此。例如，一部分传输单元104可以专用于可预先执行的屏幕更新的屏幕更新信息Y。也就是说，选择没有可预先执行的屏幕更新的屏幕更新信息的分配目标，以便使用与专用于可预先执行的屏幕更新的屏幕更新信息的传输单元104不同的传输单元104。如此，通过使用专用于屏幕更新信息Y的传输单元104，可以立刻显示可预先执行的屏幕更新的屏幕更新信息Y。

注意，在本实施例中，包含在屏幕更新信息中的图像信息没有经受转换处理，诸如图像压缩处理，但是本实施例不一定必须被限制于此。包含在屏幕更新信息中的图像信息可以经受任意的图像压缩处理，诸如JPEG和ZLIB。此外，可以根据是否可以预先进行屏幕更新来改变图像压缩方法、图像压缩率等等。例如，在基于屏幕更新信息的屏幕更新可以被预先进行的情况下，包含在屏幕更新信息中的图像信息的压缩率被设定为比往常高，因此可以减少屏幕更新信息的数据量。结果，可以减少屏幕更新信息的传输所需的时间，并且可以立刻显示该图像信息。

如上所述，分配单元103将其中允许优先屏幕更新的屏幕更新信息X与屏幕更新信息Y不重叠的传输单元104选择作为屏幕更新信息Y的分配目标。通过使用选择的传输单元，分配单元103传输屏幕更新信息Y。当接收该屏幕更新信息Y时，传输单元104经过确认响应（ACK）的处理、再传输控制的处理等等，将接收数据传送到相应的接收部分201。

[处理流程（从接收到显示）]

客户终端2的每个接收单元201A、201B和201C从分别对应于接收单元201A、201B和201C的每个传输单元104接收屏幕更新信息。在一对传输单元104和接收单元201之间进行连接式的通信，以使传递到传输单元104的屏幕更新信息按顺序被传输到接收单元201，而没有损失。每个接收单元201将接收到的屏幕更新信息传送到收集单元202。

收集单元202收集从接收单元201接收到的屏幕更新信息。参考图9描述收集单元202的处理。收集单元202具有用于存储没有经受显示处理的屏幕更新信息的列表的存储区域。在这个列表中，该屏幕更新信息以按照序列号的顺序被分类的状态被存储。此外，收集单元202具有存储当前序列号的值（零开始）的计数器。

首先，收集单元202将接收到的屏幕更新信息添加到列表（步骤S1101）。图10显示存储在列表中的信息的实例。在图10中，为了说明，省略了区域信息和图像信息的描述。

接下来，收集单元202从列表的顶部按顺序选择屏幕更新信息，并且检查可以被显示在显示单元203上的屏幕更新信息是否存在（步骤S1102）。该收集单元202检查选择的屏幕更新信息的序列号是否等于计数器的值（步骤S1103）。当选择的屏幕更新信息的序列号等于计数器的值时，收集单元202判定可以显示屏幕更新信息，并且在将屏幕更新信息输出到显示单元203之后从列表中删除屏幕更新信息（步骤S1104）。此外，该收集单元202校正计数器的值，以使计数器的值表示仍然没有被显示的最早的屏幕更新信息的序列号（步骤S1105）。

在选择的屏幕更新信息具有比计数器的值新的顺序值（较大的序列号）情况下（步骤S1106），当基于选择的屏幕更新信息的屏幕更新可以在比该屏幕更新信息旧的所有未显示的屏幕更新信息之前被执行时，收集单元202判定选择的屏幕更新信息可以被显示，并且在将选择的屏幕更新信息输出到显示单元203之后从该列表中删除选择的屏幕更新信息。

在选择的屏幕更新信息具有比计数器的值早的顺序值（较小的序列号）的情况下（步骤S1108），收集单元202丢弃选择的屏幕更新信息。

当以上描述的处理对于列表的顶部处的屏幕更新信息结束时，该收集单元202选择下一个屏幕更新信息（步骤S1110），并且重复相同的处理。

描述具体的实例。现在，在图10中所示的列表的状态中，假设收集单元202接收具有序列号5并且还包含优先可能性信息的屏幕更新信息，在该优先可能性信息中，允许优先屏幕更新的屏幕更新的数量被设定为3，并且允许优先屏幕更新的屏幕更新的序列号被设定为2、3和4。同样，假设此时的计数器的值被设定为2。图11显示了紧接在接收到的屏幕更新信息通过收集单元202被添加到该列表之后的状态。

这里，从列表顶部处的屏幕更新信息，收集单元202依序地检查该屏幕更新信息是否可以被显示在显示单元203上。因为计数器值是2，所以该列表处于没有接收到具有序列号2的屏幕更新信息的状态中。在具有序列号3和4的屏幕更新信息中，允许优先屏幕更新的屏幕更新信息的数量是0。也就是说，具有序列号3和4中的任一个序列号的屏幕更新信息的显示处理不能被预先进行。因此，此时不能显示具有序列号3和4的屏幕更新信息。

接下来，收集单元202检查具有序列号5的屏幕更新信息。对应于序列号5的屏幕更新可以在分别对应于序列号2、3和4的屏幕更新之前被进行。因为具有序列号5的屏幕更新信息可以在具有序列号小于5的所有未显示的屏幕更新信息之前被显示，所以收集单元202判定具有序列号5的屏幕更新信息可以被显示。因此，收集单元202将具有序列号5的屏幕更新信息输出到显示单元203，然后从列表中删除具有序列号5的屏幕更新信息。列表的状态变得如图12所示。注意，除了列表的信息以外，收集单元202还存储预先显示的屏幕更新信息的序列号的值。这里，收集单元202存储5的值。

接下来，收集单元202检查具有序列号6的屏幕更新信息。对应于序列号6的屏幕更新可以在对应于序列号2、3和4的屏幕更新之前被进行。因为具有序列号6的屏幕更新信息可以在具有序列号小于6的所有未显示的屏幕更新信息之前被显示，所以收集单元202判定具有序列号6的屏幕更新信息可以被显示。因此，收集单元202将具有序列号6的屏幕更新信息输出到显示单元203，然后从列表中删除具有序列号6的屏幕更新信息。列表的状态变得如图13所示。收集单元202存储5和6的值作为预先显示的屏幕更新信息的序列号。因为下一个屏幕更新信息没有存在于列表中，所以收集单元202结束图9中所示的处理。

此外，假设收集单元202然后从接收单元201接收具有序列号2的屏幕更新信息，而且描述此时的收集单元202的处理。假设基于具有序列号2的屏幕更新信息的屏幕更新没有优先于任何基于其他屏幕更新信息的屏幕更新。图14显示紧接着具有序列号2的屏幕更新信息被添加到列表之后的列表的状态。这里，从列表的顶部，收集单元202依序地检查该屏幕更新信息是否可以被显示。因为在列表的顶部的屏幕更新信息的序列号和计数器的值两者都等于2，所以收集单元202将屏幕更新信息输出到显示单元203，然后从列表中删除屏幕更新信息。此外，收集单元202将计数器的值改变为3，3是没有显示的最早的屏幕更新信息的序列号。收集单元202对于具有作为列表中的下一个屏幕更新信息的序列号3的屏幕更新信息进行同样的判定处理。收集单元202将具有序列号3的屏幕更新信息输出到显示单元203，然后从列表中删除该屏幕更新信息。收集单元202将计数器的值从3改变为4。收集单元202还对于具有序列号4的屏幕更新信息进行同样的判定。收集单元202将具有序列号4的屏幕更新信息输出到显示单元203，然后从列表中删除该屏幕更新信息。收集单元202将计数器的值从4改变为7。

[效果和归纳]

如上所述根据本实施例，即使当数据包在TCP连接（在一对传输单元104和接收单元201之间的通信）中被丢失，经过其他TCP连接传输和接收到的屏幕更新信息的图像也可以被预先显示，而不用等待数据包的再传输的完成。因此，可以避免显示延迟，以便防止响应性的恶化。此外，屏幕更新信息的图像被有选择地预先显示，其中，该图像被判定为即使当预先显示该图像时，对于用户也给予较少不协调的感觉。因此，可以避免响应性的恶化和降低用户的使用感觉两者。

注意，在本实施例中，存储在屏幕更新历史存储器106和分配历史存储器107中的信息被假定为永久性保持，但是本实施例不一定必须被限制于此。例如，可以删除从信息的存储开始被保持了比预定期间长的期间的信息。通过如此适当地删除不必要的信息，可以节省存储容量。另外地，还可以被配置为，例如，当通过传输单元104完成屏幕更新信息的传输时，使得从传输单元104将传输的完成通知给屏幕更新历史存储器106和划分历史存储器107，以便允许删除相应的信息。因此，可以基于关于最新的情形的信息进行更多准确的判定和分配。

还可以使用作为基础硬件的通用计算机装置来实现这个实施例的服务器和客户终端。也就是说，可以通过使得安装在以上描述的计算机装置中的处理器执行程序，来实现服务器和客户终端中的每个处理单元。在这种情况下，服务器和客户终端可以通过在计算机装置中预先安装以上描述的程序来被实现，或者可以通过在诸如CD-ROM的存储介质中存储程序或者通过网络分配以上描述的程序、以及适当地在计算机装置中安装这个程序来被实现。此外，还可以使用结合在以上描述的计算机装置或者存储介质中的或者外部添加到以上描述的计算机装置或者存储介质的存储装置或者硬盘，来实现服务器和客户终端中的每个存储器，以上描述的计算机装置或者存储介质适当地诸如是CD-R、CD-RW、DVD-RAM、DVD-R。

虽然已经描述了某些实施例，但是这些实施例仅仅是通过举例而给出的，并不是想要限定本发明的范围。实际上，在此描述的新的实施例可以包含在各种其他形态之中；此外，在没有违背本发明的精神的情况下，能够以在此描述的实施例的形式，作出各种省略、替换和变化。附带的如权利要求书和它们的等效物意欲覆盖这种属于本发明的范围和精神的形式或变形。

Claims (16)

1.一种服务器，其特征在于，包括：

屏幕更新产生单元，被配置为产生表示屏幕中的更新区域的图像的屏幕更新信息；

第一个到第N个（N是2以上的整数）传输单元，被配置为与客户终端通信；

分配单元，被配置为将所述屏幕更新信息分配到从所述第一个到第N个传输单元中选择的传输单元；

屏幕更新历史存储器，被配置为存储屏幕更新信息的产生历史；以及

优先可能性判定单元，被配置为基于所述屏幕更新信息的产生历史，指定屏幕更新信息X和Y，使得所述屏幕更新信息X比所述屏幕更新信息Y更加在先地产生，并且允许所述屏幕更新信息Y的图像在所述屏幕更新信息X之前被显示，

其中，所述分配单元将所述屏幕更新信息Y分配到与被分配有所述屏幕更新信息X的传输单元不同的传输单元，以及

所述第一个到第N个传输单元将由所述分配单元分配的屏幕更新信息传输到所述客户终端。

2.如权利要求1所述的服务器，其特征在于，

所述屏幕更新历史存储器存储更新区域的产生历史作为所述屏幕更新信息的产生历史，以及

所述优先可能性判定单元基于所述屏幕更新信息的更新区域之间的位置关系，指定所述屏幕更新信息X和Y。

3.如权利要求2所述的服务器，其特征在于，所述优先可能性判定单元指定其更新区域没有互相重叠的屏幕更新信息作为所述屏幕更新信息X和Y。

4.如权利要求2所述的服务器，其特征在于，所述优先可能性判定单元指定所述屏幕更新信息X和Y，以使得所述屏幕更新信息X的所述更新区域被包含在所述屏幕更新信息Y的所述更新区域中。

5.如权利要求1所述的服务器，其特征在于，进一步包括：

APP类型获取单元，被配置为获取产生所述屏幕更新信息的应用程序的类型，

其中，所述屏幕更新历史存储器存储与所述屏幕更新信息关联的所述应用程序的所述类型，以及

所述优先可能性判定单元指定所述屏幕更新信息X和Y，以使得所述屏幕更新信息X属于与所述屏幕更新信息Y的应用程序不同的应用程序。

6.如权利要求1所述的服务器，其特征在于，

所述屏幕更新历史存储器存储其中产生所述屏幕更新信息的窗口的等级制度信息，以及

所述优先可能性判定单元指定所述屏幕更新信息X和Y，以使得所述屏幕更新信息X属于所述屏幕更新信息Y所属于的窗口后侧的窗口。

7.如权利要求1所述的服务器，其特征在于，进一步包括：

分配历史存储器，被配置为存储分配到所述第一个到第N个传输单元的屏幕更新信息的分配历史，

其中，所述分配单元将所述屏幕更新信息的分配目标判定为在所述分配历史中屏幕更新信息的分配数量是最小的传输单元。

8.如权利要求1所述的服务器，其特征在于，进一步包括：

分配历史存储器，被配置为存储分配到所述第一个到第N个传输单元的屏幕更新信息的分配历史和分配到所述第一个到所述第N个传输单元的屏幕更新信息的图像尺寸，

其中，所述分配单元将所述屏幕更新信息的分配目标判定为在所述分配历史中分配的屏幕更新信息的图像尺寸的总和是最小的传输单元。

9.如权利要求1所述的服务器，其特征在于，所述分配单元基于所述第一个到第N个传输单元的通信状态，判定所述屏幕更新信息的分配目标。

10.如权利要求9所述的服务器，其特征在于，在所述第一个到第N个传输单元当中，所述分配单元将所述屏幕更新信息的分配目标判定为具有拥挤窗口的最大值的传输单元。

11.如权利要求9所述的服务器，其特征在于，在所述第一个到第N个传输单元当中，所述分配单元将所述屏幕更新信息的分配目标判定为具有最大传输缓存器的空闲空间的传输单元。

12.如权利要求1所述的服务器，其特征在于，进一步包括：

序列号设定单元，被配置为对于所述屏幕更新信息设定序列号，

其中，所述第一个到第N个传输单元传输所述屏幕更新信息，以及所述屏幕更新信息的所述序列号和包含所述屏幕更新信息X的序列号的优先可能性信息。

13.一种屏幕传送系统，其特征在于，包括：

如权利要求1所述的服务器，和所述客户终端，

其中，所述客户终端包括：

第一个到第N个接收单元，被配置为从所述第一个到第N个传输单元接收所述屏幕更新信息，以及

显示单元，被配置为显示由所述第一个到第N个接收单元接收到的所述屏幕更新信息的图像。

14.如权利要求13所述的系统，其特征在于，所述服务器包括序列号设定单元，所述序列号设定单元被配置为对于由所述屏幕更新产生单元产生的所述屏幕更新信息设定序列号，

所述服务器的所述第一个到第N个传输单元传输所述屏幕更新信息，以及所述屏幕更新信息的所述序列号和包含所述屏幕更新信息X的序列号的优先可能性信息，以及

所述客户终端基于所述屏幕更新信息的所述序列号和所述优先可能性信息，判定由所述第一个到第N个接收单元接收到的屏幕更新信息的图像的显示序列。

15.如权利要求14所述的系统，其特征在于，当具有较小序列号的未接收到的屏幕更新信息存在时以及当未接收到的屏幕更新信息的序列号全部包含在所述优先可能性信息中时，所述客户终端在所述未接收到的屏幕更新信息的所述图像之前显示所述屏幕更新信息的所述图像。

16.一种屏幕传送方法，其特征在于，包括：

产生表示屏幕中的更新区域的图像的屏幕更新信息；

将所述屏幕更新信息分配到从第一个到第N（N是2以上的整数）个传输单元中选择的传输单元；

在屏幕更新历史存储器中存储屏幕更新信息的产生历史；以及

基于所述屏幕更新信息的产生历史，指定屏幕更新信息X和Y，使得所述屏幕更新信息X比所述屏幕更新信息Y更加在先地产生，并且允许所述屏幕更新信息Y的图像在所述屏幕更新信息X之前被显示，其中，所述分配包含将所述屏幕更新信息Y分配到与被分配有所述屏幕更新信息X的传输单元不同的传输单元，以及

将分配到所述第一个到第N个传输单元的所述屏幕更新信息从所述第一个到第N个传输单元传输到所述客户终端。

Images