CN115016703B - 扩展屏幕模式下选择应用程序显示屏幕的控制方法及系统 - Google Patents

Abstract

本申请实施例提供的一种扩展屏幕模式下选择应用程序显示屏幕的控制方法及系统，控制方法包括实时检测用户对计算机的操作；捕捉用户触发应用程序打开的第一事件，并计算触发第一事件的终端与主屏幕设备之间的距离；当距离大于预设阈值时，记录触发第一事件的终端的信息，并将携带信息的第二事件上报至操作系统；通过操作系统对上报的第二事件进行分析，判断上报的第二事件所源自的终端；在确定了终端之后，将接收到的应用程序的数据显示在终端对应的显示屏幕上。控制系统包括检测模块、处理模块、上报模块、分析模块和显示模块。根据本申请实施例的技术方案，实现了当用户运动了一定距离后能够判断出用户具有在扩展屏幕上使用应用程序的需求。

Description

扩展屏幕模式下选择应用程序显示屏幕的控制方法及系统

技术领域

本申请涉及计算机技术领域，具体地涉及一种扩展屏幕模式下选择应用程序显示屏幕的控制方法及系统。

背景技术

随着社会发展，人们对计算机的功能有了更多的要求，在工作或生活中，越来越多的人使用扩展屏幕处理事务以便利工作、提高效率，如双屏显示器、设备协同达到扩展屏幕效果等。而扩展屏幕场景下打开应用时，要么应用在主屏幕打开，需要用户自己拖动到扩展屏幕；要么显示在应用上次打开时最后显示的屏幕。

例如，在Pad(平板电脑)作为PC(Personal Computer，个人计算机)的扩展屏幕的场景中，由于Pad具有较好的可移动性，当使用Pad处理事务过程中，可能未在PC旁，此时如果在Pad屏幕上欲打开新的应用，还需要到PC端把应用拖到Pad屏幕，影响体验。再比如，在屏幕A共享过程中，在屏幕B临时需要默默处理问题，且需要打开某个应用，此时就无法保证这个应用一定打开在屏幕B。

发明内容

有鉴于此，本申请提供一种扩展屏幕模式下选择应用程序显示屏幕的方法及系统，以利于解决现有技术中用户在使用扩展屏幕时应用程序不能正确显示在用户当前操作的屏幕上影响用户体验的问题。

第一方面，本申请实施例提供了一种扩展屏幕模式下选择应用程序显示屏幕的控制方法，应用于计算机，所述计算机具有操作系统和多个终端，所述操作系统控制多个终端，所述多个终端包括主屏幕设备和多个扩展屏设备，所述主屏幕设备控制的显示屏幕为主屏幕，所述扩展屏设备控制的显示屏幕为扩展屏幕，所述控制方法包括：

所述计算机的操作系统运行扩展屏幕模式下选择应用程序显示屏幕的控制系统，所述控制系统实时检测用户对所述计算机的操作；

所述控制系统捕捉用户触发应用程序打开的第一事件，并计算触发所述第一事件的终端与所述主屏幕设备之间的距离；

当所述距离大于预设阈值时，记录所述触发第一事件的终端的信息，并将携带所述信息的第二事件上报至所述操作系统；

所述控制系统通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端；

在确定了所述终端之后，所述控制系统将接收到的应用程序的数据显示在所述终端对应的显示屏幕上。

在第一方面的一种实现方式中，在所述控制系统捕捉用户触发应用程序打开的第一事件，并计算触发所述第一事件的终端与所述主屏幕设备之间的距离中，包括：

所述控制系统捕获用户触发应用程序打开的第一事件；

所述控制系统向所述主屏幕设备传输所述用户触发应用程序打开的第一事件的信息；

所述控制系统通过所述主屏幕设备将所述用户触发应用程序打开的第一事件的信息转换成主屏幕侧信息，所述主屏幕侧信息携带用户触发应用程序打开的第一事件的信息；

所述控制系统根据所述信息计算触发所述第一事件的终端与所述主屏幕设备之间的距离，并将所述距离添加至所述主屏幕侧信息中；

所述控制系统通过所述主屏幕设备将转换后携带所述距离的所述主屏幕侧信息以HID数据的形式输入到虚拟HID驱动。

在第一方面的一种实现方式中，在所述控制系统通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端中，包括：

所述控制系统通过所述操作系统检测接收的所述主屏幕侧信息中是否携带事件触发屏幕坐标；

若所述主屏幕侧信息携带所述事件触发屏幕坐标，则所述控制系统通过所述操作系统将所述事件触发屏幕坐标与由所述主屏幕设备和所述多个扩展屏设备组成的坐标系进行比对；

所述控制系统通过所述操作系统判断所述事件触发屏幕坐标在所述坐标系中的位置，确定所述事件触发屏幕坐标所对应的终端；

所述控制系统通过所述操作系统将合成的应用程序的数据发送至所述对应的终端；

若所述主屏幕侧信息中没有携带所述事件触发屏幕坐标，则所述控制系统通过所述操作系统将选择所述主屏幕设备对应的所述主屏幕作为显示屏幕或者将在所述操作系统中预先设定为所述主屏幕设备的终端所对应的所述主屏幕作为显示屏幕。

在第一方面的一种实现方式中，在所述控制系统通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端中，包括：

所述控制系统通过所述操作系统检测接收的所述主屏幕侧信息中是否携带事件触发屏幕标记；

若主屏幕侧信息携带所述事件触发屏幕标记，则所述控制系统通过所述操作系统将所述事件触发屏幕标记与预先设置在所述控制系统内的、由所述主屏幕设备和多个扩展屏设备组成的标记库进行比对；

所述控制系统通过所述操作系统的比对确定所述事件触发屏幕标记所对应的终端；

所述控制系统通过所述操作系统将合成的应用程序的数据发送至所述对应的终端；

若所述主屏幕侧信息中没有携带所述事件触发屏幕标记，则所述控制系统通过所述操作系统将所述主屏幕设备对应的主屏幕作为显示屏幕或者将在所述操作系统中预先设定为所述主屏幕设备的终端所对应的主屏幕作为显示屏幕。

第二方面，本申请提供一种扩展屏幕模式下选择应用程序显示屏幕的控制系统，应用于计算机，所述计算机具有操作系统和多个终端，所述操作系统控制所述多个终端，所述终端包括主屏幕设备和扩展屏设备，所述主屏幕设备控制的显示屏幕为主屏幕，所述扩展屏设备控制的显示屏幕为扩展屏幕，所述控制系统包括检测模块、处理模块、上报模块、分析模块和显示模块；

所述检测模块用于实时检测用户对所述计算机的操作；

所述处理模块用于捕捉用户触发应用程序打开的第一事件，并计算触发所述第一事件的终端与所述主屏幕设备之间的距离；

所述上报模块用于当所述距离大于预设阈值时，记录所述触发第一事件的终端的信息，并将携带所述信息的第二事件上报至所述操作系统；

所述分析模块用于通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端；

所述显示模块用于在确定了所述终端之后，将接收到的应用程序的数据显示在所述终端对应的显示屏幕上。

在第二方面的一种实现方式中，所述分析模块通过所述操作系统对所述第二事件中所包含的表征用户所使用的终端的信息进行分析，通过对所述信息进行内容提取和特征比对，判断所述第二事件所源自的终端。

在第一方面的一种实现方式中，所述分析模块通过所述操作系统为各所述显示屏幕设置不同的事件触发屏幕标记，通过对所述第二事件中包含的事件触发屏幕标记与预先设置的标记库进行比对，判断所述第二事件所源自的终端。

第三方面，本申请提供一种终端设备，其特征在于，包括主机、主屏幕设备和多个扩展屏设备，所述主屏幕设备与所述多个扩展屏设备分别通信连接并进行数据传输，所述主机控制所述主屏幕设备和所述多个扩展屏设备执行如第二方面所述的控制方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第二方面所述的控制方法。

第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行如第二方面所述的控制方法。

根据本申请实施例所提出的上述技术方案，至少可以实现下述技术效果：

根据本申请实施例的方法扩展屏幕模式下选择应用程序显示屏幕的控制方法及系统，实现了当用户运动了一定距离后能够判断出用户具有在扩展屏幕上使用应用程序的需求，并将应用程序显示在用户实施触发操作时所使用的终端的屏幕上，免去了用户在打开应用程序后需要从主屏幕将应用程序拖拽至其使用的终端的屏幕上的麻烦，提高了用户使用终端的便利性和用户的工作和学习效率，增强了用户的使用体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1所示为根据本申请实施例1所公开的控制系统的实际应用场景示意图；

图2所示为根据本申请实施例1所公开的控制系统的模块示意图；

图3所示为根据本申请实施例2所公开的控制方法的一种步骤流程图；

图4所示为根据本申请实施例2所公开的控制方法中步骤Step200的步骤流程图；

图5所示为根据本申请实施例2所公开的控制方法中步骤Step400的一种步骤流程图；

图6所示为根据本申请实施例2所公开的控制方法中步骤Step400的另一种步骤流程图；

图7所示为根据本申请实施例2所公开的控制方法的另一种步骤流程图；

图8所示为根据本申请实施例2所公开的控制方法中将主屏幕和各扩展屏幕映射到虚拟的坐标系XOY的示意图；

图9所示为根据本申请实施例3所公开的终端设备的各个硬件之间互相通信执行控制方法的示意图；

图10所示为根据本申请实施例3所公开的终端设备的数据流传输示意图。

附图标记：

100-控制系统；110-检测模块；120-处理模块；130-上报模块；140-分析模块；150-显示模块；

1-主屏幕设备；2-扩展屏设备；3-主机；4-应用程序；5-图标；6-OS；A-主屏幕区域；B-扩展屏幕区域。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在实际应用场景中，用户对使用单屏处理日益繁杂多样的事务渐渐力不从心，在很多工作、学习的场所，用户更希望配备更大的屏幕、更多的屏幕用来处理一件事务或者同时处理多件事务，尤其是那些需要用户同时阅读多份文件进行分析或打开多个软件进行配合工作时，就势必要用到扩展屏幕来处理事务，例如双屏显示器、三屏显示器、设备协同达到扩展屏幕效果等，甚至在一些高度复杂、高度机要的工作中，用户需要九个屏幕同时显示与需要处理的事务相关的各个文件、软件来高效率地完成工作。需要注意的是，用户不是必须被锁定在屏幕前的座椅上的，用户可以通过移动终端的屏幕在离主屏幕有一定距离的地方工作，例如工作场所的会议室、卧室、会客室等。此时，用户在使用扩展屏幕打开应用程序时，应用程序却在主屏幕打开，用户需要再次回到主屏幕所在地将应用程序拖动到扩展屏幕，然后再回到想要使用扩展屏幕的地方，或者说应用程序显示在上次打开时最后显示的屏幕上，那么一旦最后显示的屏幕为主屏幕时，用户依然需要重复前一种情况的过程，很显然不是很方便，也不是很人性。因此，本申请实施例通过判断用户触发打开应用程序事件所发生的位置为主屏幕还是扩展屏幕，从而使应用程序显示在用户需要的正确的屏幕上，以化解大部分使用场景中用户的不便，实现提高用户工作效率、增强用户使用体验的效果。

实施例1

本申请实施例1公开了一种扩展屏幕模式下选择应用程序显示屏幕的控制系统100，该控制系统100能够有效解决现有工作、学习等环境下用户使用多屏幕工作、学习时使用体验不佳、效率受影响的问题。在一些应用场景中，用户使用双显示器，此时存在一个主屏幕设备1的主屏幕和一个扩展屏设备2的扩展屏幕，用户可使用主屏幕设备1或者扩展屏设备2进行工作或学习。在一些应用场景中，用户使用多个显示器，此时存在一个主屏幕设备1的主屏幕和多个扩展屏设备2的扩展屏幕，用户可使用主屏幕设备1或者其中一个扩展屏设备2进行工作或学习。在一些应用场景中，以PC为主屏幕设备1，PAD为扩展屏设备2，用户使用PC与PAD协同，PAD的扩展屏幕作为PC的主屏幕的扩展屏幕，用户可以使用PC或PAD进行工作或学习。在一些应用场景中，用户使用PC与多个PAD协同，多个PAD的扩展屏幕作为PC的主屏幕的各扩展屏幕，用户可以使用PC或其中一个PAD进行工作或学习。本实施例1公开的控制系统100设置在主屏幕所在终端PC以及诸扩展屏幕对应的终端PAD(也可以是其他智能移动终端)共同组成的主机3中，如图1所示，该主机3通过有线方式或无线方式与PC和各个PAD(也可以是其他智能移动终端)互相通信连接，PC和各PAD之间也通过无线方式互相通信连接，本实施例1的控制系统100通过主机3执行扩展屏幕模式下选择应用程序显示屏幕的指令。在上述这些应用场景中，用户在其当前使用的屏幕(可以是主屏幕也可以是扩展屏幕)通过光标点击应用程序4的图标5打开应用程序4时，该当前使用的屏幕(可以是主屏幕也可以是扩展屏幕)直接显示该应用程序4即可。因此，本申请对技术方案的说明也围绕这点进行展开。

如图2所示，本实施例1所公开的一种扩展屏幕模式下选择应用程序显示屏幕的控制系统100，应用于计算机，该计算机具有操作系统6(OS，Operation System)和多个终端，该操作系统控制该多个终端，该些终端包括主屏幕设备1和扩展屏设备2，主屏幕设备1控制的显示屏幕为主屏幕，扩展屏设备2控制的显示屏幕为扩展屏幕。该控制系统包括互相通信连接的检测模块110、处理模块120、上报模块130、分析模块140和显示模块150，该五个模块能够互相发送数据、传输信令和信息交互。

具体来说，计算机的OS6运行扩展屏幕模式下选择应用程序4显示屏幕的控制系统100，该控制系统100通过检测模块110实时检测用户对计算机的操作。

在计算机运行并开启其主屏幕设备1和多个扩展屏设备2后，该计算机的OS6(Operation System，操作系统)启动，并使主屏幕设备1和多个扩展屏设备2进入工作状态，主屏幕和扩展屏幕显示画面。通过OS6运行扩展屏幕模式下选择应用程序4显示屏幕的控制系统100，该控制系统100通过检测模块110开始检测用户对计算机进行的操作并作出相应的响应。

该控制系统100通过处理模块120捕捉用户触发应用程序4打开的第一事件，并计算触发该第一事件的终端与主屏幕设备1之间的距离。

用户在其使用的终端(可以是主屏幕设备1，也可以是扩展屏设备2)上进行操作，打开某个应用程序4(例如，Word、Excel、PowerPoint等)，此时用户触发了该应用程序4打开的第一事件。通过该控制系统100的处理模块120将用户触发的第一事件捕获，控制系统100对触发该第一事件的终端与主屏幕设备1之间的距离进行计算，从而帮助控制系统100判断是直接将应用程序4显示在主屏幕设备1的主屏幕上还是通过终端之间的数据传递将应用程序4显示在触发第一事件的终端的扩展屏设备2的扩展屏幕上。

具体来说，在该控制系统100的处理模块120中，该控制系统100捕获用户触发应用程序4打开的第一事件，再向主屏幕设备1传输该用户触发应用程序4打开的第一事件的信息，再通过主屏幕设备1将该用户触发应用程序4打开的第一事件的信息转换成主屏幕侧信息，该主屏幕侧信息携带用户触发应用程序4打开的第一事件的信息，再根据该信息计算触发该第一事件的终端与主屏幕设备1之间的距离，并将该距离添加至主屏幕侧信息中，最终通过主屏幕设备1将转换后的主屏幕侧信息以HID数据的形式输入到虚拟HID驱动。

该控制系统100通过上报模块130当距离大于预设阈值时，记录触发该第一事件的终端的信息，并将携带该信息的第二事件上报至OS6。

具体来说，该控制系统100先将由处理模块120计算求出的包含在主屏幕侧信息中的距离与预先设定在控制系统100中的预设阈值进行比较，在距离大于预设阈值时，再在主屏幕侧信息中记录表征触发该第一事件的终端的信息，通过扩展屏幕模式下选择应用程序显示屏幕的控制系统100将携带该信息的第二事件上报至OS，此时上报的第二事件具有表征用户所使用的终端的信息。因此，随着第二事件通过虚拟HID驱动将主屏幕侧信息上报给OS，用户所使用的终端的信息也一并上报给了OS。其中，用户可以根据实际情况设置预设阈值的大小。例如用户习惯于在卧室使用PC，离开卧室则使用PAD，则在该应用场景中，预设阈值可以设置为2米。再比如，用户习惯于在家里使用PC，在户外使用PAD，则在该应用场景中，预设阈值可以设置为5米，如果用户居住在复式住宅中，则距离的判断可以通过立体空间计算确定，预设阈值也可以相应地增加。诸如此类，不胜枚举，此处不再赘述。

但是，而当处理模块120所计算出的触发第一事件的终端与主屏幕设备1之间的距离小于或等于预设阈值时，控制系统100的上报模块130会直接将应用程序4的数据显示在主屏幕设备1的主屏幕上。即当距离没有超过预设阈值时，控制系统100认为用户处在预设阈值范围内的距离是不需要使用扩展屏设备2的，于是直接在主屏幕设备1上打开应用程序4即能满足用户的需求。

该控制系统100通过分析模块140通过OS6对上报的第二事件进行分析，判断上报的第二事件所源自的终端。

该控制系统100通过分析模块140，通过OS6对上报的第二事件中所包含的表征用户所使用的终端的信息进行分析，通过对该信息进行内容提取和特征比对，判断出上报的第二事件所源自的终端，及用户所使用的终端所对应的显示屏幕。

具体来说，在该控制系统100的分析模块140中，该控制系统100通过OS6检测接收的主屏幕侧信息中是否携带事件触发屏幕坐标。若主屏幕侧信息携带事件触发屏幕坐标，则该控制系统100通过OS6将该事件触发屏幕坐标与由主屏幕设备1和多个扩展屏设备2组成的坐标系进行比对。该控制系统100通过OS6判断第二事件触发屏幕坐标在坐标系中的位置，确定事件触发屏幕坐标所对应的终端。该控制系统100通过OS6将合成的应用程序4的数据发送至该对应的终端。若主屏幕侧信息中没有携带事件触发屏幕坐标，则该控制系统100通过OS6将主屏幕设备1对应的主屏幕作为显示屏幕或者将在OS6中预先设定为主屏幕设备的终端所1对应的主屏幕作为显示屏幕。

当然，本实施例1的扩展屏幕模式下选择应用程序4显示屏幕的控制系统100中，分析模块140还可以通过其他形式用来表征用户触发应用程序4的第二事件所对应的终端，例如给主屏幕设备1和每个扩展屏设备2分别设置不同的flag(标记)。此时，在该控制系统100的分析模块140中，通过OS6检测接收的主屏幕侧信息中是否携带事件触发屏幕flag。若主屏幕1侧信息携带事件触发屏幕flag，则该控制系统100通过OS6将该事件触发屏幕flag与预先设置在控制系统100内的、由主屏幕设备1和多个扩展屏设备2组成的flag库进行比对。该控制系统100通过OS6的比对确定事件触发屏幕flag所对应的终端。该控制系统100通过OS6将合成的应用程序4的数据发送至该对应的终端。若主屏幕侧信息中没有携带事件触发屏幕flag，则该控制系统100通过OS6将主屏幕设备1对应的主屏幕作为显示屏幕或者将在OS6中预先设定为主屏幕设备的终端所1对应的主屏幕作为显示屏幕。

在确定了显示屏幕之后，该控制系统100将接收到的应用程序4的数据通过显示模块150显示在该终端对应的显示屏幕(若为主屏幕设备1，则显示在主屏幕，若为扩展屏设备2，则显示在扩展屏幕)上。

综上，本实施例1的扩展屏幕模式下选择应用程序显示屏幕的控制系统100，实现了当用户运动了一定距离后能够判断出用户是否具有在扩展屏设备2上使用应用程序4的需求。若用户所使用的扩展屏设备2在离开主屏幕设备1超过预设阈值的距离后，将应用程序4显示在用户实施触发操作时所使用的扩展屏设备2对应的扩展屏幕上，免去了用户在打开应用程序4后需要从主屏幕设备1的主屏幕将应用程序4拖拽至其使用的扩展屏设备2的扩展屏幕上的麻烦。若用户所使用的扩展屏设备2在离开主屏幕设备1没有超过预设阈值的距离时，则仍然将应用程序4显示在主屏幕设备1的主屏幕上，用户依然可以使用主屏幕设备1。在提高了用户使用终端的便利性和用户的工作和学习效率，增强了用户的使用体验的同时，通过距离判断省去了当主屏幕设备1和扩展屏设备2距离很近时仍然判断用户操作的终端的过程。

实施例2

本申请实施例2公开了一种扩展屏幕模式下选择应用程序显示屏幕的控制方法，该控制方法能够有效解决现有工作、学习等环境下用户使用多屏幕工作、学习时使用体验不佳、效率受影响的问题。在一些应用场景中，用户使用双显示器，此时存在一个主屏幕设备的主屏幕和一个扩展屏设备的扩展屏幕，用户可使用主屏幕设备或者扩展屏设备进行工作或学习。在一些应用场景中，用户使用多个显示器，此时存在一个主屏幕设备的主屏幕和多个扩展屏设备的扩展屏幕，用户可使用主屏幕设备或者其中一个扩展屏设备进行工作或学习。在一些应用场景中，以PC为主屏幕设备，PAD为扩展屏设备，以PC为主屏幕设备，PAD为扩展屏设备，用户使用PC与PAD协同，PAD的扩展屏幕作为PC的主屏幕的扩展屏幕，用户可以使用PC或PAD进行工作或学习。在一些应用场景中，用户使用PC与多个PAD协同，多个PAD的扩展屏幕作为PC的主屏幕的各扩展屏幕，用户可以使用PC或其中一个PAD进行工作或学习。在上述这些应用场景中，用户在其当前使用的终端的显示屏幕(可以是主屏幕也可以是扩展屏幕)通过光标点击应用程序的图标打开应用程序时，该当前使用的终端的显示屏幕(可以是主屏幕也可以是扩展屏幕)直接显示该应用程序即可。因此，本申请对技术方案的说明也围绕这点进行展开。

如图3所示，本实施例2所公开的一种扩展屏幕模式下选择应用程序显示屏幕的控制方法，应用于计算机，该计算机具有操作系统(OS，Operation System)和多个终端，该操作系统控制多个终端，该些终端包括主屏幕设备和多个扩展屏设备，主屏幕设备控制的显示屏幕为主屏幕，扩展屏设备控制的显示屏幕为扩展屏幕，主要包括以下步骤：

Step100：计算机的OS运行扩展屏幕模式下选择应用程序显示屏幕的控制系统，该控制系统实时检测用户对计算机的操作。

Step200：该控制系统捕捉用户触发应用程序打开的第一事件，并计算触发该第一事件的终端与主屏幕设备之间的距离。

Step300：当该距离大于预设阈值时，记录触发该第一事件的终端的信息，并将携带该信息的第二事件上报至OS。

Step400：该控制系统通过OS对上报的第二事件进行分析，判断该上报的第二事件所源自的终端。

Step500：在确定了终端之后，该控制系统将接收到的应用程序的数据显示在该终端对应的显示屏幕上。

在步骤Step100中，在计算机运行并开启其主屏幕设备和多个扩展屏设备后，该计算机的OS启动，并使主屏幕设备和多个扩展屏设备进入工作状态，主屏幕和扩展屏幕分别显示画面。在执行步骤Step100时，通过OS运行扩展屏幕模式下选择应用程序显示屏幕的控制系统，开始检测用户对计算机进行的操作并作出相应的响应。其中，该控制系统即为本申请实施例1所公开的扩展屏幕模式下选择应用程序显示屏幕的控制系统。

在执行步骤Step200时，用户在其使用的终端(可以是主屏幕设备，也可以是扩展屏设备)上进行操作，打开某个应用程序(例如，Word、Excel、PowerPoint等)，此时用户触发了该应用程序打开的第一事件。然后，控制系统对触发该第一事件的终端与主屏幕设备之间的距离进行计算，从而帮助控制系统判断是直接将应用程序显示在主屏幕上还是通过终端之间的数据传递将应用程序显示在触发第一事件的终端的扩展屏幕上。

具体来说，步骤Step200进一步包括以下步骤，如图4所示：

Step201：该控制系统捕获用户触发应用程序打开的第一事件。

Step202：该控制系统向主屏幕设备传输该用户触发应用程序打开的第一事件的信息。

Step203：该控制系统通过主屏幕设备将该用户触发应用程序打开的第一事件的信息转换成主屏幕侧信息，该主屏幕侧信息携带用户触发应用程序打开的第一事件的信息。

Step204：该控制系统根据该信息计算触发该第一事件的终端与该主屏幕设备之间的距离，并将该距离添加至主屏幕侧信息中。

Step205：该控制系统通过主屏幕设备将转换后携带该距离的主屏幕侧信息以HID数据的形式输入到虚拟HID驱动。

在执行步骤Step300时，先将前序步骤计算求出的包含在主屏幕侧信息中的距离与预先设定在控制系统中的预设阈值进行比较，在距离大于预设阈值时，再在主屏幕侧信息中记录表征触发该第一事件的终端的信息，通过扩展屏幕模式下选择应用程序显示屏幕的控制系统将携带该信息的第二事件上报至OS，此时上报的第二事件具有表征用户所使用的终端的信息。因此，随着第二事件通过虚拟HID驱动将主屏幕侧信息上报给OS，用户所使用的终端的信息也一并上报给了OS。其中，用户可以根据实际情况设置预设阈值的大小。例如PC为主屏幕设备，PAD为扩展屏设备，用户习惯于在卧室使用PC，离开卧室则使用PAD，则在该应用场景中，预设阈值可以设置为2米。再比如，用户习惯于在家里使用PC，在户外使用PAD，则在该应用场景中，预设阈值可以设置为5米，如果用户居住在复式住宅中，则距离的判断可以通过立体空间计算确定，预设阈值也可以相应地增加。诸如此类，不胜枚举，此处不再赘述。

在执行步骤Step400时，OS对上报的第二事件中所包含的表征用户所使用的终端的信息进行分析，通过对该信息进行内容提取和特征比对，判断出上报的第二事件所源自的终端(即用户所使用的主屏幕设备或扩展屏设备)。

具体来说，步骤Step400进一步包括以下步骤，如图5所示：

Step401：该控制系统通过OS检测接收的主屏幕侧信息中是否携带事件触发屏幕坐标。

Step402：若主屏幕侧信息携带事件触发屏幕坐标，则该控制系统通过OS将该事件触发屏幕坐标与由主屏幕设备和多个扩展屏设备组成的坐标系进行比对。

Step403：该控制系统通过OS判断事件触发屏幕坐标在坐标系中的位置，确定事件触发屏幕坐标所对应的终端。

Step404：该控制系统通过OS将合成的应用程序的数据发送至该对应的终端。

Step405：若主屏幕侧信息中没有携带事件触发屏幕坐标，则该控制系统通过OS将选择主屏幕设备对应的主屏幕作为显示屏幕或者将在OS中预先设定为主屏幕设备的终端所对应的主屏幕作为显示屏幕。

当然，本实施例2的扩展屏幕模式下选择应用程序显示屏幕的控制方法还可以通过其他形式用来表征用户触发应用程序的第一事件所对应的终端，例如给主屏幕设备和每个扩展屏设备分别设置不同的flag，此时，步骤Step400所包含的步骤就变成如图6所示的步骤：

Step401’：该控制系统通过OS检测接收的主屏幕侧信息中是否携带事件触发屏幕flag。

Step402’：若主屏幕侧信息携带事件触发屏幕flag，则该控制系统通过OS将该事件触发屏幕flag与预先设置在控制系统内的、由主屏幕设备和多个扩展屏设备组成的flag库进行比对。

Step403’：该控制系统通过OS的比对确定事件触发屏幕flag所对应的终端。

Step404’：该控制系统通过OS将合成的应用程序的数据发送至该对应的终端。

Step405’：若主屏幕侧信息中没有携带事件触发屏幕flag，则该控制系统通过OS将主屏幕设备对应的主屏幕作为显示屏幕或者将在OS中预先设定为主屏幕设备的终端所对应的主屏幕作为显示屏幕。

如图7所示，当步骤Step200所计算出的触发第一事件的终端与主屏幕设备之间的距离小于或等于预设阈值时，控制系统执行步骤Step300’：该控制系统将应用程序的数据显示在主屏幕设备的主屏幕上。即当距离没有超过预设阈值时，控制系统认为用户处在预设阈值范围内的距离是不需要使用扩展屏设备的，于是直接在主屏幕设备上打开应用程序即能满足用户的需求。

以一个PC带主屏幕和一个PAD带扩展屏幕为例，假设用户在PAD上操作打开某个应用程序，如WORD，则会在PAD上生成一个用户触发打开WORD的第一事件，PAD将该第一事件传送到PC上，PC将接收到的第一事件转换成PC对应的主屏幕侧信息，在该PC对应的主屏幕侧信息中携带有表征其是来自PAD的用户触发应用程序打开的第一事件的信息，再根据该信息计算触发第一事件的PAD与PC之间的距离，并在主屏幕侧信息中加入该距离，PC将转换后携带距离的主屏幕侧信息传送至虚拟HID驱动。当该距离大于预设在控制系统中的预设阈值时，记录触发第一事件的终端PAD的信息，并将携带该信息的第二事件上报至OS，通过OS将第二事件处理之后，确定显示屏幕为PAD的扩展屏幕，于是OS将需要显示在扩展屏幕上的应用程序合成的数据传送回PAD。

这其中，计算PAD和PC之间的距离可以通过多种测距方式进行测量，预设阈值可以根据用户的需求进行设置。另外，用于表征已转换成PC的主屏幕侧信息的第一事件是来自PAD的信息包括了用户触发应用程序的操作位于坐标系XOY中的具体屏幕坐标，根据这个屏幕坐标能够判断出用户触发应用程序时所使用的屏幕是属于哪个终端的，以便于OS最后将合成的应用程序数据发送给该终端并将应用程序呈现在该终端。具体来说，坐标系XOY是该控制系统中的虚拟坐标系，以主屏幕和多个扩展屏幕所包含和覆盖的像素以及范围为基本要素，共同映射到该坐标系XOY上，如图8所示，主屏幕和各个扩展屏幕分别对应坐标系XOY中的一部分范围，当用户对应用程序的操作事件触发在主屏幕上时，主屏幕所对应的终端将生成一个表征操作事件的触发位置的触发坐标并同时映射到坐标系XOY中，形成由主屏幕区域A和扩展屏幕区域B拼合而成的区域，该触发坐标就能够显示在坐标系XOY中与主屏幕对应的范围内，即在图8中的主屏幕区域A。根据坐标系XOY中触发坐标的值和位置，该控制系统将触发坐标转换成表征操作事件位置的信息，当OS接收到上报的第二事件时，通过该PC对应事件中包含的信息就能够判断出用户触发了应用程序的第一事件的显示屏幕，从而OS将合成的应用程序的数据发送给该显示屏幕，最终由该控制系统将接收到的应用程序的数据显示在显示屏幕上。

综上，本实施例2的扩展屏幕模式下选择应用程序显示屏幕的控制方法，实现了当用户运动了一定距离后能够判断出用户具有在扩展屏幕上使用应用程序的需求，并将应用程序显示在用户实施触发操作时所使用的终端的屏幕上，免去了用户在打开应用程序后需要从主屏幕将应用程序拖拽至其使用的终端的屏幕上的麻烦，提高了用户使用终端的便利性和用户的工作和学习效率，增强了用户的使用体验。

实施例3

本申请实施例3公开了一种终端设备，其具有主机和多个终端，这些终端包括主屏幕设备和多个扩展屏设备，主屏幕设备与多个扩展屏设备分别通信连接并进行数据传输，主机控制主屏幕设备和多个扩展屏设备执行本申请实施例2中的控制方法。这些终端可以是PC也可以是PAD或者其他智能移动终端，这些终端通过主机进行中央控制，形成一个协同工作的系统。以PC为主屏幕所在的主屏幕设备，PAD为扩展屏幕所在的扩展屏设备为例。

如图9所示，PC具有业务层、能力层、驱动层和系统层，其中，业务层有设备发现连接及管理、协同模式管理、设置管理等单元，能力层有虚拟化能力、图像捕获编码、反控管理等单元，驱动层有虚拟HID驱动、虚拟显示驱动、USB驱动等单元，系统层有OS。在此之中，图像捕获编码的功能是抓取虚拟显示驱动的图像数据并编码，通过反控管理传输到扩展屏设备端。反控管理的功能是为扩展屏设备和PC之间的屏幕、喇叭、键鼠等设备提供虚拟化能力，提供投屏码流、图像、反向控制等数据、指令传输能力，并将投屏显示捕获的事件转换为HID输入数据。虚拟HID驱动的功能是接收由反控管理生成的HID(键盘、鼠标、触摸屏和手写笔)输入数据，经过处理后反馈至OS。虚拟现实驱动的功能是虚拟出一块扩展显示区域，上层应用可通过抓图、截屏方式采集显示区域的图像。OS的功能是系统响应HID输入数据。本段流程为反控事件从扩展屏设备到PC，用实线箭头表示。

扩展屏设备具有UI、能力层和驱动层，其中，UI有投屏显示、协同模式管理等单元，能力层有反控管理、音视频解码、设备虚拟化模块等单元，驱动层有USB驱动等单元。在此之中，投屏显示的功能是播放从PC侧抓取的需要在扩展屏幕上显示的内容，并将对扩展屏幕的点击、触摸等事件捕获。反控管理的功能是为扩展设备和PC之间的屏幕、喇叭、键鼠等设备提供虚拟化能力，提供投屏码流、图像、反向控制等数据、指令传输能力。并将投屏显示捕获的事件转换为HID输入数据。本段流程为响应数据从PC到扩展屏设备，用点划线箭头表示。

图10中，PC和扩展屏设备之间能够通过无线通信的方式互相进行数据传递。通过本申请实施例1所公开的控制系统以及本申请实施例2所公开的控制方法，本实施例3的终端设备能够实现在扩展屏幕模式下应用程序自动选择显示屏幕的功能。具体来说，以用户在扩展屏设备中触发应用程序打开的第一事件为例，对本实施例3的终端设备在实现上述功能的方式进行说明。当用户通过点击扩展屏设备上的应用程序图标在扩展屏设备中触发应用程序打开的第一事件时，扩展屏设备的投屏显示能够对该第一事件进行捕获，并将该第一事件发送给扩展屏设备端的反控管理，扩展屏设备端的反控管理能够将第一事件转换成HID输入数据，为第一事件HID数据，且扩展屏设备端的反控管理将第一事件HID输入数据通过PC与扩展屏设备之间的数据传递传送给PC端的反控管理，PC端的反控管理将该第一事件HID输入数据发送至虚拟HID驱动中，由虚拟HID驱动对该第一事件HID输入数据进行分析处理后反馈上报至OS，由OS对经过分析处理后的第一事件HID输入数据进行响应，从而判断出用户触发该第一事件所使用的扩展屏设备，并将该扩展屏设备的屏幕作为目标显示屏幕。随后，OS将响应数据发送至虚拟显示驱动中，由虚拟显示驱动先虚拟出扩展屏设备的显示区域，再在该显示区域中显示应用程序要显示在扩展屏设备端的显示图像，再对显示图像进行编码，将经编码的显示图像发送给PC端的反控管理，PC端的反控管理通过PC和扩展屏设备之间的数据传递将经编码的显示图像发送给扩展屏设备端的反控管理，由扩展屏设备端的反控管理将接收到的经编码的显示图像发送至音视频解码，通过音视频解码将经编码的显示图像解码还原出需要显示的应用程序的显示图像，并将该显示图像发送给投屏显示，最终由投屏显示将应用程序的显示图像显示在扩展屏设备的扩展屏幕上。

根据本申请实施例的方法扩展屏幕模式下选择应用程序显示屏幕的控制方法及系统，实现了当用户运动了一定距离后能够判断出用户具有在扩展屏幕上使用应用程序的需求，并将应用程序显示在用户实施触发操作时所使用的终端的屏幕上，免去了用户在打开应用程序后需要从主屏幕将应用程序拖拽至其使用的终端的屏幕上的麻烦，提高了用户使用终端的便利性和用户的工作和学习效率，增强了用户的使用体验。

可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。

进一步的，一般的，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field ProgrammableGate Array，FPGA))就是这样一种集成电路，其逻辑功能由访问方对器件编程来确定。由设计人员自行编程来把一个数字装置“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

因此，本申请实施例所提出的方法流程可以以硬件方式实现，例如，使用控制器，控制器控制触摸屏以实现本申请实施例所提出的方法流程。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

与上述实施例对应，本申请还提供了一种电子设备。电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发电子设备执行如本申请实施例所述的方法步骤。

本申请还提供一种计算机程序产品，计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请实施例提供的部分或全部步骤。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例和终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

Claims (9)

1.一种扩展屏幕模式下选择应用程序显示屏幕的控制方法，应用于计算机，所述计算机具有操作系统和多个终端，所述操作系统控制多个终端，所述多个终端包括主屏幕设备和多个扩展屏设备，所述主屏幕设备控制的显示屏幕为主屏幕，所述扩展屏设备控制的显示屏幕为扩展屏幕，其特征在于，所述控制方法包括：

所述计算机的操作系统运行扩展屏幕模式下选择应用程序显示屏幕的控制系统，所述控制系统实时检测用户对所述计算机的操作；

所述控制系统捕捉用户触发应用程序打开的第一事件，并计算触发所述第一事件的终端与所述主屏幕设备之间的距离；其中，用户可以在所述主屏幕设备和至少一个所述扩展屏设备上触发同一个所述应用程序打开的第一事件；

当所述距离大于预设阈值时，记录所述触发第一事件的终端的信息，并将携带所述信息的第二事件上报至所述操作系统；

所述控制系统通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端；

在确定了所述终端之后，所述控制系统将接收到的应用程序的数据显示在所述终端对应的显示屏幕上；

当所述距离小于或等于所述预设阈值时，所述控制系统将接收到的应用程序的数据显示在所述主屏幕设备的主屏幕上。

2.根据权利要求1所述的控制方法，其特征在于，在所述控制系统捕捉用户触发应用程序打开的第一事件，并计算触发所述第一事件的终端与所述主屏幕设备之间的距离中，包括：

所述控制系统捕获用户触发应用程序打开的第一事件；

所述控制系统向所述主屏幕设备传输所述用户触发应用程序打开的第一事件的信息；

所述控制系统通过所述主屏幕设备将所述用户触发应用程序打开的第一事件的信息转换成主屏幕侧信息，所述主屏幕侧信息携带用户触发应用程序打开的第一事件的信息；

所述控制系统根据所述信息计算触发所述第一事件的终端与所述主屏幕设备之间的距离，并将所述距离添加至所述主屏幕侧信息中；

所述控制系统通过所述主屏幕设备将转换后携带所述距离的所述主屏幕侧信息以HID数据的形式输入到虚拟HID驱动。

3.根据权利要求2所述的控制方法，其特征在于，在所述控制系统通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端中，包括：

所述控制系统通过所述操作系统检测接收的所述主屏幕侧信息中是否携带事件触发屏幕坐标；

若所述主屏幕侧信息携带所述事件触发屏幕坐标，则所述控制系统通过所述操作系统将所述事件触发屏幕坐标与由所述主屏幕设备和所述多个扩展屏设备组成的坐标系进行比对；

所述控制系统通过所述操作系统判断所述事件触发屏幕坐标在所述坐标系中的位置，确定所述事件触发屏幕坐标所对应的终端；

所述控制系统通过所述操作系统将合成的应用程序的数据发送至所述对应的终端；

若所述主屏幕侧信息中没有携带所述事件触发屏幕坐标，则所述控制系统通过所述操作系统将选择所述主屏幕设备对应的所述主屏幕作为显示屏幕或者将在所述操作系统中预先设定为所述主屏幕设备的终端所对应的所述主屏幕作为显示屏幕。

4.根据权利要求2所述的控制方法，其特征在于，在所述控制系统通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端中，包括：

所述控制系统通过所述操作系统检测接收的所述主屏幕侧信息中是否携带事件触发屏幕标记；

若主屏幕侧信息携带所述事件触发屏幕标记，则所述控制系统通过所述操作系统将所述事件触发屏幕标记与预先设置在所述控制系统内的、由所述主屏幕设备和多个扩展屏设备组成的标记库进行比对；

所述控制系统通过所述操作系统的比对确定所述事件触发屏幕标记所对应的终端；

所述控制系统通过所述操作系统将合成的应用程序的数据发送至所述对应的终端；

若所述主屏幕侧信息中没有携带所述事件触发屏幕标记，则所述控制系统通过所述操作系统将所述主屏幕设备对应的主屏幕作为显示屏幕或者将在所述操作系统中预先设定为所述主屏幕设备的终端所对应的主屏幕作为显示屏幕。

5.一种扩展屏幕模式下选择应用程序显示屏幕的控制系统，应用于计算机，所述计算机具有操作系统和多个终端，所述操作系统控制所述多个终端，所述终端包括主屏幕设备和扩展屏设备，所述主屏幕设备控制的显示屏幕为主屏幕，所述扩展屏设备控制的显示屏幕为扩展屏幕，其特征在于，所述控制系统包括检测模块、处理模块、上报模块、分析模块和显示模块；

所述检测模块用于实时检测用户对所述计算机的操作；

所述处理模块用于捕捉用户触发应用程序打开的第一事件，并计算触发所述第一事件的终端与所述主屏幕设备之间的距离；其中，用户可以在所述主屏幕设备和至少一个所述扩展屏设备上触发同一个所述应用程序打开的第一事件；

所述上报模块用于当所述距离大于预设阈值时，记录所述触发第一事件的终端的信息，并将携带所述信息的第二事件上报至所述操作系统；

所述分析模块用于通过所述操作系统对上报的第二事件进行分析，判断所述上报的第二事件所源自的终端；

所述显示模块用于在确定了所述终端之后，将接收到的应用程序的数据显示在所述终端对应的显示屏幕上；

所述上报模块用于当所述距离小于或等于所述预设阈值时，将接收到的应用程序的数据显示在所述主屏幕设备的主屏幕上。

6.根据权利要求5所述的控制系统，其特征在于，所述分析模块通过所述操作系统对所述第二事件中所包含的表征用户所使用的终端的信息进行分析，通过对所述信息进行内容提取和特征比对，判断所述第二事件所源自的终端。

7.根据权利要求5所述的控制系统，其特征在于，所述分析模块通过所述操作系统为各所述显示屏幕设置不同的事件触发屏幕标记，通过对所述第二事件中包含的事件触发屏幕标记与预先设置的标记库进行比对，判断所述第二事件所源自的终端。

8.一种终端设备，其特征在于，包括主机、主屏幕设备和多个扩展屏设备，所述主屏幕设备与所述多个扩展屏设备分别通信连接并进行数据传输，所述主机控制所述主屏幕设备和所述多个扩展屏设备执行如权利要求1~4中任一项所述的控制方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1~4中任一项所述的控制方法。

Images