CN108694009A - 终端控制方法及装置 - Google Patents

终端控制方法及装置 Download PDF

Info

Publication number
CN108694009A
CN108694009A CN201710217951.8A CN201710217951A CN108694009A CN 108694009 A CN108694009 A CN 108694009A CN 201710217951 A CN201710217951 A CN 201710217951A CN 108694009 A CN108694009 A CN 108694009A
Authority
CN
China
Prior art keywords
terminal
operation signal
interface
screen
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710217951.8A
Other languages
English (en)
Other versions
CN108694009B (zh
Inventor
余跃
谢守军
刘浩
罗刚
王昕辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEYONDSOFT Corp
Original Assignee
BEYONDSOFT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEYONDSOFT Corp filed Critical BEYONDSOFT Corp
Priority to CN201710217951.8A priority Critical patent/CN108694009B/zh
Priority to PCT/CN2018/078424 priority patent/WO2018184442A1/zh
Publication of CN108694009A publication Critical patent/CN108694009A/zh
Application granted granted Critical
Publication of CN108694009B publication Critical patent/CN108694009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种终端控制方法及装置。其中，该方法包括：获取来自多个终端中的每个终端的多媒体数据，其中，每个终端的多媒体数据用于展示终端的屏幕显示的内容；使用多媒体数据在一个界面中展示多个终端中每个终端屏幕显示的内容；接收用户通过界面输入的操作信号；获取操作信号对应的第一终端；将操作信号转换成对应的指令并发送给第一终端。本发明解决了相关技术终端控制的控制效率低的技术问题。

Description

终端控制方法及装置
技术领域
本发明涉及网络技术领域，具体而言，涉及一种终端控制方法及装置。
背景技术
随着电子和软件技术的发展，终端设备的功能和界面得到不断的优化，相应的，友好的用户界面和直观的操作体验便成为了终端设备领域的重要课题。随着终端设备种类和数量的增多，用户对控制终端设备时的便捷程度也有了新的追求。但是，现有的终端控制方式是在主控方显示一个被控方的屏幕界面，这种方式严重的影响了终端控制时的效率，用户体验也较差。
针对上述相关技术终端控制的控制效率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了终端控制方法及装置，以至少解决相关技术终端控制的控制效率低的技术问题。
根据本发明实施例的一个方面，提供了一种终端控制方法，包括：获取来自多个终端中的每个终端的多媒体数据，其中，所述每个终端的多媒体数据用于展示所述终端的屏幕显示的内容；使用所述多媒体数据在一个界面中展示所述多个终端中每个终端屏幕显示的内容；接收用户通过所述界面输入的操作信号；获取所述操作信号对应的第一终端；将所述操作信号转换成对应的指令并发送给所述第一终端。
可选地，获取所述操作信号对应的所述第一终端包括：获取所述操作信号在所述界面中输入的第一位置信息；获取每个终端在所述界面中显示的第二位置信息，其中，所述第二位置信息为该终端在所述界面中所占的范围；根据所述第一位置信息和所述第二位置信息确定所述操作信号对应的所述第一终端。
可选地，根据所述第一位置信息和所述第二位置信息确定所述操作信号对应的所述第一终端包括：根据每个终端在所述界面中所占的范围将所述第一位置信息落入的范围对应的终端作为所述第一终端，其中，所述第一终端包括一个或多个终端。
可选地，将所述操作信号转换成对应的指令并发送给所述第一终端包括：根据预先获取到的所述第一终端的操作系统的类型或者所述第一终端上的应用的类型将所述操作信号转换成所述操作系统的类型或者所述应用的类型对应的指令；将所述指令发送给所述第一终端。
可选地，将所述操作信号转换成对应的指令并发送给所述第一终端包括：将所述操作信号转换为对所述第一终端的操作信号；将对所述第一终端的操作信号发送给所述第一终端，其中，对所述第一终端的操作信号作为对所述第一终端的输入。
可选地，接收所述用户通过所述界面输入的操作信号包括：接收所述用户在预先设置的区域中输入的所述操作信号，其中，所述区域与显示所述每个终端的屏幕内容的区域不重叠；获取所述操作信号对应的第一终端包括：接收所述用户通过选择控件选择出的终端，其中，所述选择出的终端作为所述第一终端；将所述操作信号发送给所述第一终端。
可选地，所述选择控件提供以下之一的选项：单个终端的选项、一组终端的选项、全部终端的选项。
为了实现上述目的，根据本发明的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的终端控制方法。
为了实现上述目的，根据本发明的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的终端控制方法。
根据本发明实施例的另一方面，还提供了一种终端控制装置，包括：第一获取模块，用于获取来自多个终端中的每个终端的多媒体数据，其中，所述每个终端的多媒体数据用于展示所述终端的屏幕显示的内容；第一展示模块，用于使用所述多媒体数据在一个界面中展示所述多个终端中每个终端屏幕显示的内容；接收模块，用于接收用户通过所述界面输入的操作信号；第二获取模块，用于获取所述操作信号对应的第一终端；处理模块，用于将所述操作信号转换成对应的指令并发送给所述第一终端。
在本发明实施例中，获取来自多个终端中的每个终端的多媒体数据，其中，每个终端的多媒体数据用于展示终端的屏幕显示的内容；使用多媒体数据在一个界面中展示多个终端中每个终端屏幕显示的内容；接收用户通过界面输入的操作信号；获取操作信号对应的第一终端；将操作信号转换成对应的指令并发送给第一终端。通过本发明实施例解决了相关技术终端控制的控制效率低的技术问题，提高了终端控制的控制效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种终端控制方法的流程图；
图2是根据本发明实施例的一种优选的获取第一终端的示意图；
图3是根据本发明实施例的一种优选的预先设置的区域的示意图；
图4是根据本发明实施例的一种优选的选择控件的示意图；
图5是根据本发明实施例的一种终端屏幕显示处理方法的流程图；
图6是根据本发明实施例的一种终端控制装置示意图；
图7是根据本发明实施例的一种终端屏幕显示处理装置示意图；
图8是根据本发明实施例的一种计算机终端的硬件结构框图一；以及
图9是根据本发明实施例的一种计算机终端的硬件结构框图二。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，还提供了一种终端控制的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
目前在移动终端(或称为移动设备)上使用的操作系统比较多的是微软的WP操作系统、安卓系统、和苹果公司的iOS系统，除了这些操作系统以外可能还有其他类型的操作系统。
在计算上(例如，个人电脑PC)上也可以使用多种操作系统，例如，Windows操作系统、苹果公司的操作系统、linux操作系统或者Unix操作系统等。
目前有多种对于终端的控制方式，这些控制方式对于受控终端的处理方法不同，例如，一种控制方式是在控制界面上显示一个被控终端的界面，由于被控终端可能有很多，对于这种控制方法，只能对单一的被控终端进行控制。
但是，对于存在大量被控终端的情况来说，这种方法的操作效率就相当的低。另外，对于界面显示的方式也存在一些弊端，例如，用户使用的主控终端和被控终端的屏幕大小可能并不相同，甚至差距很大，当用户打开被控终端的界面时，会发现该界面充满了主控终端的屏幕，在某种情况下会产生不舒服的感觉，这样会影响用户的体验度。
基于上述考虑，本实施例从终端控制中的控制方的角度来对终端的控制方法进行说明。本实施例中涉及到的技术方案，可以做成一个应用放在应用市场中，用户在使用的时候下载该应用并进行安装。或者，如果为了推广某种操作系统，也可以将该功能内置在操作系统中，作为该操作系统的一个卖点，增加操作系统的装机量。
此外，本实施例中涉及到的技术方案，还可以做成一个网站，用户可以在使用浏览器或者使用其他应用时访问该网站，从而在网页上实现对终端的控制。
在上述运行环境下，本实施例提供了如图1所示的一种终端控制方法。图1是根据本发明实施例的一种终端控制方法的流程图，如图1所示，包括如下步骤：
步骤S102，获取来自多个终端中的每个终端的多媒体数据，其中，每个终端的多媒体数据用于展示终端的屏幕显示的内容；
步骤S104，使用多媒体数据在一个界面中展示多个终端中每个终端屏幕显示的内容；
步骤S106，接收用户通过界面输入的操作信号；
步骤S108，获取操作信号对应的第一终端；
步骤S110，将操作信号转换成对应的指令并发送给第一终端。
在上述步骤中，可以首先由用户选择需要被控制的终端，一般情况下现在的终端的运行是可以对网络进行访问的。在上述步骤中，可以通过网络连接被控制的终端。
上述步骤中描述了该控制应用对多个终端的获取连接的操作，该控制应用进行了多个终端的获取和连接等操作。如果上述步骤中的内容作为一个功能被内置到了操作系统中，则是由该功能进行多个终端的获取和连接等操作。
作为一种可选的实施例，可以使用一台服务器来连接不同操作系统的手机，例如，可以通过一个Mac Mini连接安卓手机和iOS手机。或者，终端可以通过USB线与hub直连，hub与服务器连接，从而实现终端与服务器的连接。
作为一个可选的实施方式，可以为该控制应用的启用或者操作系统该功能的使用设置授权，例如，该控制应用启动的使用可以要求用户输入密码或者使用生物信息对用户进行识别，如果用户密码输入正确或者识别出是被授权用户才允许使用该功能。生物信息的识别目前被广泛使用的是指纹识别，当然，其他的生物识别技术也可以被使用，例如，虹膜识别、面部识别、声纹识别等等。
作为一个可选的实施方式，用户可以通过购买来获取终端控制功能，购买的价格可以根据可控制的终端的数量确定，可控制的终端的数量越多价格越高，用户购买后可以为用户提供许可证(License)来作为购买的凭证。
对于终端控制在一般的操作系统中均是支持的，例如，即使作为限制最严格的iOS系统也是支持的，对于其他比较开放的系统，例如，安卓系统或者Linux系统等其也操作系统也都支持。因此上述步骤中涉及到的技术方案可支持的操作系统更加广泛。
作为一种可选的实施例，上述多个终端可以为电脑、笔记本、平板电脑、手机、智能穿戴设备等智能终端设备，也可以是空调、冰箱、洗衣机、电视等智能家居设备。需要说明的是，上述智能终端设备和智能家居设备等智能设备指具有计算处理能力并且可以进行连接控制的设备，上述的智能设备只是本实施例的示例，本实施例对此不做限定。
基于上述步骤S102至S110公开的方案中，实时检测并获取来自多个终端中的每个终端的多媒体数据并使用该多媒体数据在一个界面中展示上述多个终端中每个终端屏幕显示的内容，其中，每个终端的多媒体数据用于展示相应终端的屏幕显示的内容，一种可选的实施例中，获取到的上述多媒体数据可以但不限于是由上述多个终端将其屏幕上显示的内容转换并发送的，或者，获取到的上述多媒体数据还可以但不限于是接收到上述多个终端发送的用于展示屏幕上显示的内容的数据后再对这些数据进行转换得到的。
一种可选的实施例中，上述操作信号可以但不限于是用户对屏幕的触摸产生的信号，还可以但不限于是用户通过一些输入设备输入的信号。上述输入设备可以但不限于包括：鼠标、键盘、触控板等等。例如：以用户对屏幕的触摸为例，可以接收到用户触摸界面产生的信号，再将该信号转换成操作信号。
由上可知，在本实施例中，获取来自多个终端中的每个终端的用于展示屏幕显示的内容的多媒体数据，并使用获取到的多媒体数据在一个界面中展示这多个终端的屏幕显示的内容，从而实现在一个界面上对多个终端屏幕的显示，接收用户通过界面输入的操作信号并获取该操作信号对应的第一终端，再将操作信号转换成对应的指令，将该指令发送给第一终端，从而实现对界面上显示的终端的控制。
通过本申请上述实施例公开的方案，达到了在一个界面上显示多个终端，并向需要控制的终端发送指令的目的，从而实现了提高了终端控制的控制效率的技术效果。由此，本申请上述实施例解决了相关技术终端控制的控制效率低的技术问题。
在本实施例中，可以但不限于根据操作信号在界面上的位置以及界面上显示的每个终端的位置来获取第一终端，在本实施例中提供了一种可选的实施方式，该可选的实施方式可以包括如下步骤：
步骤202，获取操作信号在界面中输入的第一位置信息；
步骤204，获取每个终端在界面中显示的第二位置信息，其中，第二位置信息为该终端在界面中所占的范围；
步骤206，根据第一位置信息和第二位置信息确定操作信号对应的第一终端。
在上述可选的实施方式中，上述第一位置信息和上述第二位置信息可以但不限于用坐标值来表示，或者还可以但不限于用像素点的位置信息来表示，例如，可以用在界面上产生操作信号的区域的中心来代表该操作信号，获取该中心在界面的坐标系中的坐标值作为上述第一位置信息，而第二位置信息则可以是终端在界面上显示的区域的边界对应的坐标区间，通过判断第一位置信息对应的坐标值落入的第二位置信息对应的坐标区间来确定操作信号对应的第一终端。
在一个可选的实施方式中，可以根据每个终端在界面中所占的范围将第一位置信息落入的范围对应的终端作为第一终端，其中，第一终端包括一个或多个终端。例如：可以将界面预先划分为多个区域，每一个区域显示一个终端，通过判断操作信号落入的区域来获取第一终端。图2是根据本发明实施例的一种优选的获取第一终端的示意图，如图2所示，界面被划分成9个区域，分别显示了终端1至终端9的屏幕，获取到操作信号在界面中输入的第一位置信息落入了终端4所在的区域，则可以确定终端4为第一终端。
通过上述实施例，实现了通过操作信号和终端的位置信息来获取待被控制的第一终端的目的。
在本实施例中，当第一终端的数量为多个时，还可以实现用户输入的操作信号的多屏同步的功能。也就是说，当第一终端的数量为多个时，用户输入的操作信号将被转换为对应的指令发送给这多个终端，从而控制多个终端执行相同的操作。
例如：在进行应用程序测试时，用户登录DevicePass测试平台后，可同时控制多台测试手机进行应用程序的测试。用户选择多屏控制功能后，在其中一台测试手机发起的任何操作行为，被选中的测试手机将保持同步操作。
可选地，在本实施例中，可以对iOS和Android测试手机同时多屏同步操作。Android测试手机多屏操作同步响应时间可以控制在0.1秒内。iOS测试手机多屏操作同步响应时间可以控制在0.5秒内。
可选地，在本实施例中，在进行多屏同步控制时，可以隐藏、关闭其中任意同步操作的测试手机屏幕。
可选地，在本实施例中，可以进行被测应用程序的多屏同步点击、滑动、文本输入等测试操作。也可以对被测应用程序进行多屏同步截图、横屏、竖屏、返回上一步、返回主屏幕等功能操作。
作为一个可选的实施方式，可以将待控制的第一终端的屏幕放大为全屏显示。例如：在进行应用程序测试的过程中，用户登录DevicePass测试平台后，可以对多个终端进行控制，在用户需要对其中的一个测试终端进行控屏操作时，用户可以选择该测试终端并对该测试终端屏幕进行全屏放大操作。
可选地，在本实施例中，可以对iOS和Android测试手机单台设备屏幕全屏放大。
可选地，在本实施例中，在进行终端屏幕的全屏放大时，可以对控制设备进行点击、滑动等操作来放大被控终端的屏幕。例如：全屏放大操作可以通过双击，双手指拖动或其他手势进行识别。
可选地，在本实施例中，在进行终端屏幕的全屏放大时，支持对被测应用程序的点击、滑动、文本输入等测试操作。
可选地，在本实施例中，在进行终端屏幕的全屏放大时，可以对被测应用程序进行截图、横屏、竖屏、返回上一步、返回主屏幕等功能操作。
可选地，在本实施例中，在进行终端屏幕的全屏放大时，可以点击键盘ESC键快速退出全屏放大模式。还可以手动关闭全屏放大模式。
在指令的转换过程中，可以根据第一终端的操作系统的类型或者第一终端上的应用的类型将操作信号转换成其对应的指令，在一种可选的实施例中，上述方法还可以包括如下步骤：
步骤302，根据预先获取到的第一终端的操作系统的类型或者第一终端上的应用的类型将操作信号转换成操作系统的类型或者应用的类型对应的指令；
步骤304，将指令发送给第一终端。
例如：预先获取到的第一终端的操作系统的类型为安卓系统，将操作信号转换成安卓系统对应的指令，并将该指令发送给第一终端。或者，预先获取到的第一终端上的应用的类型为即时通讯类应用，则将操作信号转换成即时通讯类应用对应的指令，并将该指令发送给第一终端。
通过上述步骤，如果根据预先获取到的第一终端的操作系统的类型进行指令的转换，则将操作信号转换成操作系统的类型对应的指令，如果根据第一终端上的应用的类型对操作信号进行转换，则将操作信号转换成应用的类型对应的指令，从而使得操作信号的转换能够适用于各种操作系统或者应用。
为了实现指令的转换和发送的功能，在一种可选的实施例中，上述方法还可以包括如下步骤：
步骤402，将操作信号转换为对第一终端的操作信号；
步骤404，将对第一终端的操作信号发送给第一终端，其中，对第一终端的操作信号作为对第一终端的输入。
例如：操作信号为在第一终端打开的浏览器应用上的搜索栏输入要搜索的内容“车展”，并进行搜索。那么，将操作信号转换为对第一终端的操作信号，对第一终端的操作信号可以是在浏览器的搜索栏中输入“车展”，并点击搜索按钮。再将该对第一终端的操作信号发送给第一终端，从而控制第一终端执行上述操作。
通过上述步骤，将操作信号转换成作为对第一终端的输入的对第一终端的操作信号，可以实现在界面上对第一终端进行输入，从而使得对终端的控制更加的便捷，提高用户的体验。
在一个可选的实施方式中，可以但不限于在界面上预先设置与显示的终端的屏幕内容不重合的区域来接收用户输入的操作信号。例如：可以但不限于通过以下方式接收用户通过界面输入的操作信号：接收用户在预先设置的区域中输入的操作信号，其中，区域与显示每个终端的屏幕内容的区域不重叠。
在本可选的实施方式中，图3是根据本发明实施例的一种优选的预先设置的区域的示意图，如图3所示，可以将界面划分为两个区域，界面上方的区域用来显示终端的屏幕，界面下方的区域可以作为上述预先设置的区域用来接收操作信号。
在一个可选的实施方式中，可以但不限于在界面上预先设置用于选择第一终端的选择控件，通过接收用户通过选择控件选择出的终端，其中，选择出的终端作为第一终端来获取第一终端，并将操作信号发送给第一终端。
可选地，在上述实施方式中，选择控件可以但不限于提供以下之一的选项：单个终端的选项、一组终端的选项、全部终端的选项。也就是说，可以通过选择控件单个或者批量控制上述多个终端。
作为一种可选的实施方式，图4是根据本发明实施例的一种优选的选择控件的示意图，如图4所示，在上述预先设置的区域中可以设置有选择控件，该选择控件用于选择第一终端。
为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的终端控制方法。
为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的终端控制方法。
根据本发明实施例，还提供了一种终端屏幕显示处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
目前在移动终端(或称为移动设备)上使用的操作系统比较多的是微软的WP操作系统、安卓系统、和苹果公司的iOS系统，除了这些操作系统以外可能还有其他类型的操作系统。
在计算上(例如，个人电脑PC)上也可以使用多种操作系统，例如，Windows操作系统、苹果公司的操作系统、linux操作系统或者Unix操作系统等。
目前有多种对于终端的控制方式，这些控制方式对于被控制的终端的处理方法不同，例如，在一种控制方式中，将被控制的终端的屏幕显示在主控设备上的时候，需要将用于显示被控制的终端的屏幕的数据实时的传输给主控设备，对于这种控制方法，控制双方传输数据的连接的带宽一直保持在占用的状态，不仅会浪费带宽，还会影响其他数据的传输。
基于上述考虑，本实施例从终端屏幕显示的角度来对终端的控制方法进行说明。本实施例中涉及到的技术方案，可以做成一个应用放在应用市场中，用户在使用的时候下载该应用并进行安装。或者，如果为了推广某种操作系统，也可以将该功能内置在操作系统中，作为该操作系统的一个卖点，增加操作系统的装机量。
在上述运行环境下，本实施例提供了如图5所示的一种终端屏幕显示处理方法。图5是根据本发明实施例的一种终端屏幕显示处理方法的流程图，如图5所示，包括如下步骤：
步骤S502，抓取多个终端中的每个终端的图片，其中，每个终端的图片用于展示终端的屏幕显示的内容，每个终端的图片包括多张图片，多张图片为该终端屏幕发生变化时的图片；
步骤S504，发送图片；
步骤S506，使用图片在一个界面中展示多个终端中的每个终端屏幕显示的内容。
在上述步骤中，可以首先由用户选择需要被控制的多个终端，一般情况下现在的终端的运行是可以对网络进行访问的。在上述步骤中，可以通过网络连接被控制的终端。
上述步骤中描述了该终端屏幕显示处理方法对多个终端的屏幕进行显示的操作，该控制应用进行了多个终端的屏幕显示内容的抓取和展示等操作。
作为一种可选的实施例，可以使用一台服务器来连接不同操作系统的终端，例如，可以通过一个Mac Mini连接安卓手机和iOS手机。
对于对多个终端屏幕显示内容的处理在一般的操作系统中均是支持的，例如，即使作为限制最严格的iOS系统也是支持的，对于其他比较开放的系统，例如，安卓系统或者Linux系统等其也操作系统也都支持。因此上述步骤中涉及到的技术方案可支持的操作系统更加广泛。
作为一种可选的实施例，上述多个终端可以为电脑、笔记本、平板电脑、手机、智能穿戴设备等智能终端设备，也可以是空调、冰箱、洗衣机、电视等智能家居设备。需要说明的是，上述智能终端设备和智能家居设备等智能设备指具有计算处理能力并且可以进行连接控制的设备，上述的智能设备只是本实施例的示例，本实施例对此不做限定。
基于上述步骤S502至S506公开的方案中，实时检测并抓取终端屏幕发生变化时来自多个终端中的每个终端的用于展示该终端的屏幕显示内容的多张图片，发送该图片并使用该图片在一个界面中展示上述每个终端屏幕显示的内容，从而使得在终端屏幕发生变化时对终端屏幕上显示的内容进行抓取，并对抓取到的图片进行展示。一种可选的实施例中，执行抓取图片和展示图片的操作可以发生在同一个装置上，也可以发生在不同的装置上。
一种可选的实施例中，上述抓取的图片可以但不限于是终端屏幕数据的关键帧，在一个界面上显示了多个终端的屏幕，显示的这些终端的屏幕是关键帧，而不是流媒体，将多个终端的关键帧抓取为图片，通过图片的传输展示终端的屏幕。
由上可知，在本实施例中，抓取多个终端中的每个终端的屏幕发生变化时的图片，发送并使用该图片在一个界面中展示上述多个终端中每个终端屏幕显示的内容，从而在展示终端屏幕时只有在被展示的终端的屏幕发生变化时传输用来表示屏幕变化的图片，使得用于控制上述多个终端的连接不必实时进行屏幕数据的传输，减少了屏幕显示过程对带宽的占用。
通过本申请上述实施例公开的方案，达到了在一个界面上展示多个终端屏幕显示的内容，并抓取终端屏幕发生变化时的图片的目的，从而实现了节约了显示终端屏幕时带宽的技术效果。由此，本申请上述实施例解决了相关技术显示终端屏幕时浪费带宽的技术问题。
在本实施例中，可以但不限于根据根据界面上显示的终端的数量来抓取每个终端的图片，在本实施例中提供了一种可选的实施方式，该可选的实施方式可以包括如下步骤：
步骤602，获取在一个界面中显示的终端的数量；
步骤604，根据终端的数量设置分辨率；
步骤606，根据分辨率抓取每个终端的图片，或者，抓取每个终端的图片之后根据分辨率进行转换。
在上述可选的实施方式中，为了使得抓取到的图片能够适应展示图片的界面，可以根据界面上显示的终端的数量为抓取的图片设置分辨率，并可以通过以下两种方式之一获取到该分辨率的图片：方式一，按照上述分辨率抓取终端的图片；方式二，抓取每个终端的图片，再按照上述分辨率对图片进行转换。
在一个可选的实施方式中，显示图片的分辨率可以根据控制侧的带宽状况进行设置，当网络状况不好的时候，可以设置较低的分辨率对图片进行显示。在终端上抓取图片时的分辨率可以是根据终端本身的分辨率设定的，在网络状况不好的情况下，在控制侧可以使用较低的分辨率来显示，以便适应网络的状况，从而使得终端屏幕显示时的效率更高。
在一个可选的实施方式中，图片抓取之后，可以根据需要处理成相应分辨率的图片，例如，可以根据在一个页面上显示的终端的数量来确定图片处理后的大小；还可以根据带宽的大小来确定图片处理后的大小。
例如：如果要在一个分辨率为1920×1080像素的界面上显示9个终端，可以将终端的分辨率设置为640×360像素，再抓取分辨率为640×360像素的每个终端的图片，或者，抓取每个终端的图片后将抓取到的图片的分辨率转换为640×360像素。
在一个可选的实施方式中，抓取图片时的图片分辨率可以但不限于为一个固定值。
在一个可选的实施方式中，抓取的图片的分辨率可以是固定的(比如：1920x1080)，而在对抓取的图片进行显示时，显示的图片的分辨率可以是根据当前的网络状况进行设置的。比如：可以根据当前的数据传输速率对显示的图片的分辨率进行设置。例如：获取当前网络的数据传输速率；根据数据传输速率为显示的图片设置分辨率；根据设置的分辨率显示图片。
通过上述实施例，实现了通过界面显示的终端数量来抓取每个终端的图片的目的。
在抓取每个终端图片的过程中，可以根据前后抓取的两张图片的变化来确定在界面上展示的图片，在一种可选的实施例中，上述方法还可以包括如下步骤：
步骤702，按照预定时间间隔获取每个终端的图片；
步骤704，判断获取到的相邻的两张图片的变化是否超过阈值，在超过阈值的情况下，将两张图片中的后抓取的一张图片用作在界面中展示的图片。
例如：每隔2秒获取每个终端的图片，并分别判断每个终端前后获取的两张图片的变化是否超过了预先设置的阈值，对于变化超过阈值的终端，将后抓取的图片作为在界面中展示的图片，对于变化未超过阈值的图片，可以保持当前界面上展示的图片不变。
在本实施例中，将上述终端屏幕显示处理方法应用于应用程序的测试场景中时，对前后抓取的相邻的图片进行对比有助于发现应用程序运行中的问题，可以根据应用程序在设备上运行的阶段：安装，启动，验证，运行，卸载等对屏幕图片进行截取，从而对应用程序的各阶段进行测试。
通过上述步骤，按照预定的时间间隔来抓取每个终端的图片，根据前后抓取的两张图片的变化来确定在界面上展示的图片，从而节约了终端的屏幕展示时占用的带宽。
为了实现根据图片的变化确定界面上展示的图片的功能，在一种可选的实施例中，判断获取到的两张图片的变化是否超过阈值可以包括如下步骤：
步骤802，获取两张图片中的每张图片的像素点；
步骤804，比较两张图片中的每个像素点是否发生变化，记录发生变化的像素点；
步骤806，判断发生变化的像素点的数量是否超过阈值。
在本可选实施例中，可以根据两张图片中像素点的变化来确定图片的变化，从而确定界面上展示的图片。例如：获取两张图片中的每张图片的像素点，并比较两张图片中的每个像素点是否发生变化，记录发生变化的像素点，得到发生变化的像素点的数量为15000个，而预先设置的阈值为10000个像素点，那么当前发生变化的像素点的数量已经超过了该阈值，从而判断出获取到的两张图片的变化已经超过了阈值，可以将两张图片中的后抓取的一张图片用作在界面中展示的图片。
在一个可选的实施方式中，还可以通过以下方式抓取图片：按照预设时间获取每个终端的图片，将当前抓取的一张图片用作在界面中展示的图片。
可选地，上述预设时间可以但不限于是用户选择的或者是由系统设定的。
可选地，在本实施方式中，在抓取图片之前，可以预先设定抓取图片的时间间隔以及预先设定抓取图片的数量，在抓取图片时，则按照预先设定的抓取图片的时间间隔抓取图片，当抓取的图片数量达到预先设定的抓取图片的数量时停止抓取图片。例如：在抓取图片之前，预先设定抓取图片的时间间隔为5s以及预先设定抓取图片的数量为20张，在抓取图片时，每隔5s抓取一张图片，当抓取了20张图片时则停止抓取。
可选地，在本实施方式中，在抓取图片之前，还可以判断已抓取的图片的数量是否已达到了预设数量，如果未达到预设数量，则获取每个终端的图片。如果已经达到了预设数量，则停止抓取图片。
可选地，上述预设数量可以但不限于是用户选择的或者是由系统设定的。
在一个可选的实施方式中，在抓取所述图片和使用所述图片进行展示不在同一装置的情况下，获取抓取图片的装置与使用图片进行展示的装置之间的网络状况，并根据网络状况对抓取到的图片进行处理，再发送处理后的图片。其中，上述网络状况可以但不限于包括以下至少之一：丢包率、带宽。
为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的终端屏幕显示处理方法。
为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的终端屏幕显示处理方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的应用限制方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述终端控制方法的装置实施例，图6是根据本发明实施例的一种终端控制装置示意图，如图6所示，该装置包括第一获取模块61、第一展示模块63、接收模块65、第二获取模块67和处理模块69。
其中，第一获取模块61，用于获取来自多个终端中的每个终端的多媒体数据，其中，每个终端的多媒体数据用于展示终端的屏幕显示的内容；第一展示模块63，用于使用多媒体数据在一个界面中展示多个终端中每个终端屏幕显示的内容；接收模块65，用于接收用户通过界面输入的操作信号；第二获取模块67，用于获取操作信号对应的第一终端；处理模块69，用于将操作信号转换成对应的指令并发送给第一终端。
此处需要说明的是，上述第一获取模块61、第一展示模块63、接收模块65、第二获取模块67和处理模块69可以对应于实施例1中的步骤S102至步骤S110，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
由上可知，在本实施例中，获取来自多个终端中的每个终端的用于展示屏幕显示的内容的多媒体数据，并使用获取到的多媒体数据在一个界面中展示这多个终端的屏幕显示的内容，从而实现在一个界面上对多个终端屏幕的显示，接收用户通过界面输入的操作信号并获取该操作信号对应的第一终端，再将操作信号转换成对应的指令，将该指令发送给第一终端，从而实现对界面上显示的终端的控制。
通过本申请上述实施例公开的方案，达到了在一个界面上显示多个终端，并向需要控制的终端发送指令的目的，从而实现了提高了终端控制的控制效率的技术效果。由此，本申请上述实施例解决了相关技术终端控制的控制效率低的技术问题。
在一种可选的实施例中，上述第二获取模块67包括：第一获取单元，用于获取所述操作信号在所述界面中输入的第一位置信息；第二获取单元，用于获取每个终端在所述界面中显示的第二位置信息，其中，所述第二位置信息为该终端在所述界面中所占的范围；确定单元，用于根据所述第一位置信息和所述第二位置信息确定所述操作信号对应的所述第一终端。
此处需要说明的是，上述第一获取单元、第二获取单元和确定单元可以对应于实施例1中的步骤202至步骤206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
在一个可选的实施方式中，上述确定单元可以根据每个终端在界面中所占的范围将第一位置信息落入的范围对应的终端作为第一终端，其中，第一终端包括一个或多个终端。
在一种可选的实施例中，上述处理模块69用于：根据预先获取到的第一终端的操作系统的类型或者第一终端上的应用的类型将操作信号转换成操作系统的类型或者应用的类型对应的指令；将指令发送给第一终端。
此处需要说明的是，上述处理模块还可以对应于实施例1中的步骤302至步骤304，该模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，上述处理模块还用于：将操作信号转换为对第一终端的操作信号；将对第一终端的操作信号发送给第一终端，其中，对第一终端的操作信号作为对第一终端的输入。
此处需要说明的是，上述处理模块还可以对应于实施例1中的步骤402至步骤404，该模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，上述接收模块用于：接收用户在预先设置的区域中输入的操作信号，其中，区域与显示每个终端的屏幕内容的区域不重叠；上述第二获取模块用于：接收用户通过选择控件选择出的终端，其中，选择出的终端作为第一终端；将操作信号发送给第一终端。
在一种可选的实施例中，所述选择控件提供以下之一的选项：单个终端的选项、一组终端的选项、全部终端的选项。
根据本发明实施例，还提供了一种用于实施上述终端屏幕显示处理方法的装置实施例，图7是根据本发明实施例的一种终端屏幕显示处理装置示意图，如图7所示，该装置包括抓取模块71、发送模块73和第二展示模块75。
其中，抓取模块71，用于抓取多个终端中的每个终端的图片，其中，每个终端的图片用于展示终端的屏幕显示的内容，每个终端的图片包括多张图片，多张图片为该终端屏幕发生变化时的图片；发送模块73，用于发送图片；第二展示模块75，用于使用图片在一个界面中展示多个终端中的每个终端屏幕显示的内容。
此处需要说明的是，上述抓取模块71、发送模块73和第二展示模块75可以对应于实施例1中的步骤S502至步骤S506，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
由上可知，在本实施例中，抓取多个终端中的每个终端的屏幕发生变化时的图片，发送并使用该图片在一个界面中展示上述多个终端中每个终端屏幕显示的内容，从而在展示终端屏幕时只有在被展示的终端的屏幕发生变化时传输用来表示屏幕变化的图片，使得用于控制上述多个终端的连接不必实时进行屏幕数据的传输，减少了屏幕显示过程对带宽的占用。
通过本申请上述实施例公开的方案，达到了在一个界面上展示多个终端屏幕显示的内容，并抓取终端屏幕发生变化时的图片的目的，从而实现了节约了显示终端屏幕时带宽的技术效果。由此，本申请上述实施例解决了相关技术显示终端屏幕时浪费带宽的技术问题。
在一种可选的实施例中，上述抓取模块包括：第一获取单元，用于获取在一个界面中显示的终端的数量；设置单元，用于根据终端的数量设置分辨率；抓取单元，用于根据分辨率抓取每个终端的图片，或者，抓取每个终端的图片之后根据分辨率进行转换。
此处需要说明的是，上述第一获取单元、设置单元和抓取单元可以对应于实施例1中的步骤602至步骤606，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，上述抓取单元包括：第二获取单元，用于按照预定时间间隔获取每个终端的图片；处理单元，用于判断获取到的相邻的两张图片的变化是否超过阈值，在超过阈值的情况下，将两张图片中的后抓取的一张图片用作在界面中展示的图片。
此处需要说明的是，上述第二获取单元和处理单元可以对应于实施例1中的步骤702至步骤704，两个个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，上述处理单元用于：获取两张图片中的每张图片的像素点；比较两张图片中的每个像素点是否发生变化，记录发生变化的像素点；判断发生变化的像素点的数量是否超过阈值。
此处需要说明的是，上述处理单元可以对应于实施例1中的步骤802至步骤806，该模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，在抓取图片和使用图片进行展示不在同一装置的情况下，上述发送模块用于：获取抓取图片的装置与使用图片进行展示的装置之间的网络状况；根据网络状况对抓取到的图片进行处理；发送处理后的图片。
在一种可选的实施例中，上述网络状况包括以下至少之一：丢包率、带宽。
实施例3
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行应用程序的应用限制方法中以下步骤的程序代码：获取来自多个终端中的每个终端的多媒体数据，其中，每个终端的多媒体数据用于展示终端的屏幕显示的内容；使用多媒体数据在一个界面中展示多个终端中每个终端屏幕显示的内容；接收用户通过界面输入的操作信号；获取操作信号对应的第一终端；将操作信号转换成对应的指令并发送给第一终端。
在本实施例中，上述计算机终端可以执行应用程序的数据发送处理方法中以下步骤的程序代码：获取操作信号在界面中输入的第一位置信息；获取每个终端在界面中显示的第二位置信息，其中，第二位置信息为该终端在界面中所占的范围；根据第一位置信息和第二位置信息确定操作信号对应的第一终端。
可选地，图8示出了一种可选的计算机终端的硬件结构框图一，如图8所示，计算机终端8可以包括一个或多个(图中采用81a、81b，……，81n来示出)处理器81(处理器81可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器83以及用于通信功能的传输装置85。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端8还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。
应当注意到的是上述一个或多个处理器81和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端8中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器83可用于存储应用软件的软件程序以及模块，如本发明实施例中的数据发送处理方法对应的程序指令/数据存储装置，处理器81通过运行存储在存储器83内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的数据发送处理方法。存储器83可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器83可进一步包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端8。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置85用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端8的通信供应商提供的无线网络。在一个实例中，传输装置85包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置85可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端8的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图8所示的计算机终端8可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图8仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机终端中的部件的类型。
此处需要说明的是，在一些实施例中，上述图8所示的计算机终端8具有触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。在一些实施例中，上述图8所示的计算机终端8具有图像用户界面(GUI)，用户可以通过触摸触敏表面上的手指接触和/或手势来与GUI进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：根据每个终端在界面中所占的范围将第一位置信息落入的范围对应的终端作为第一终端，其中，第一终端包括一个或多个终端。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：根据预先获取到的第一终端的操作系统的类型或者第一终端上的应用的类型将操作信号转换成操作系统的类型或者应用的类型对应的指令；将指令发送给第一终端。
可选的，上述处理器还可以执行如下步骤的程序代码：将操作信号转换为对第一终端的操作信号；将对第一终端的操作信号发送给第一终端，其中，对第一终端的操作信号作为对第一终端的输入。
可选的，上述处理器还可以执行如下步骤的程序代码：接收用户在预先设置的区域中输入的操作信号，其中，区域与显示每个终端的屏幕内容的区域不重叠；获取操作信号对应的第一终端包括：接收用户通过选择控件选择出的终端，其中，选择出的终端作为第一终端；将操作信号发送给第一终端。
可选的，选择控件提供以下之一的选项：单个终端的选项、一组终端的选项、全部终端的选项。
本领域普通技术人员可以理解，图8所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，计算机终端8还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行应用程序的应用限制方法中以下步骤的程序代码：抓取多个终端中的每个终端的图片，其中，每个终端的图片用于展示终端的屏幕显示的内容，每个终端的图片包括多张图片，多张图片为该终端屏幕发生变化时的图片；发送图片；使用图片在一个界面中展示多个终端中的每个终端屏幕显示的内容。
在本实施例中，上述计算机终端可以执行应用程序的数据发送处理方法中以下步骤的程序代码：获取在一个界面中显示的终端的数量；根据终端的数量设置分辨率；根据分辨率抓取每个终端的图片，或者，抓取每个终端的图片之后根据分辨率进行转换。
可选地，图9示出了一种可选的计算机终端的硬件结构框图二，如图9所示，计算机终端9可以包括一个或多个(图中采用91a、91b，……，91n来示出)处理器91(处理器91可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器93以及用于通信功能的传输装置95。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端9还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。
应当注意到的是上述一个或多个处理器91和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端9中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器93可用于存储应用软件的软件程序以及模块，如本发明实施例中的数据发送处理方法对应的程序指令/数据存储装置，处理器91通过运行存储在存储器93内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的数据发送处理方法。存储器93可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器93可进一步包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端9。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置95用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端9的通信供应商提供的无线网络。在一个实例中，传输装置95包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置95可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端9的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图9所示的计算机终端9可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图9仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机终端中的部件的类型。
此处需要说明的是，在一些实施例中，上述图9所示的计算机终端9具有触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。在一些实施例中，上述图9所示的计算机终端9具有图像用户界面(GUI)，用户可以通过触摸触敏表面上的手指接触和/或手势来与GUI进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：按照预定时间间隔获取每个终端的图片；判断获取到的相邻的两张图片的变化是否超过阈值，在超过阈值的情况下，将两张图片中的后抓取的一张图片用作在界面中展示的图片。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取两张图片中的每张图片的像素点；比较两张图片中的每个像素点是否发生变化，记录发生变化的像素点；判断发生变化的像素点的数量是否超过阈值。
可选的，上述处理器还可以执行如下步骤的程序代码：获取抓取图片的装置与使用图片进行展示的装置之间的网络状况；根据网络状况对抓取到的图片进行处理；发送处理后的图片。
本领域普通技术人员可以理解，图9所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，计算机终端9还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的终端控制方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取来自多个终端中的每个终端的多媒体数据，其中，每个终端的多媒体数据用于展示终端的屏幕显示的内容；使用多媒体数据在一个界面中展示多个终端中每个终端屏幕显示的内容；接收用户通过界面输入的操作信号；获取操作信号对应的第一终端；将操作信号转换成对应的指令并发送给第一终端。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取操作信号在界面中输入的第一位置信息；获取每个终端在界面中显示的第二位置信息，其中，第二位置信息为该终端在界面中所占的范围；根据第一位置信息和第二位置信息确定操作信号对应的第一终端。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：根据每个终端在界面中所占的范围将第一位置信息落入的范围对应的终端作为第一终端，其中，第一终端包括一个或多个终端。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：根据预先获取到的第一终端的操作系统的类型或者第一终端上的应用的类型将操作信号转换成操作系统的类型或者应用的类型对应的指令；将指令发送给第一终端。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：将操作信号转换为对第一终端的操作信号；将对第一终端的操作信号发送给第一终端，其中，对第一终端的操作信号作为对第一终端的输入。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收用户在预先设置的区域中输入的操作信号，其中，区域与显示每个终端的屏幕内容的区域不重叠；获取操作信号对应的第一终端包括：接收用户通过选择控件选择出的终端，其中，选择出的终端作为第一终端；将操作信号发送给第一终端。
可选地，在本实施例中，选择控件提供以下之一的选项：单个终端的选项、一组终端的选项、全部终端的选项。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的终端屏幕显示处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：抓取多个终端中的每个终端的图片，其中，每个终端的图片用于展示终端的屏幕显示的内容，每个终端的图片包括多张图片，多张图片为该终端屏幕发生变化时的图片；发送图片；使用图片在一个界面中展示多个终端中的每个终端屏幕显示的内容。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取在一个界面中显示的终端的数量；根据终端的数量设置分辨率；根据分辨率抓取每个终端的图片，或者，抓取每个终端的图片之后根据分辨率进行转换。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：按照预定时间间隔获取每个终端的图片；判断获取到的相邻的两张图片的变化是否超过阈值，在超过阈值的情况下，将两张图片中的后抓取的一张图片用作在界面中展示的图片。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取两张图片中的每张图片的像素点；比较两张图片中的每个像素点是否发生变化，记录发生变化的像素点；判断发生变化的像素点的数量是否超过阈值。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取抓取图片的装置与使用图片进行展示的装置之间的网络状况；根据网络状况对抓取到的图片进行处理；发送处理后的图片。
可选地，在本实施例中，网络状况包括以下至少之一：丢包率、带宽。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种终端控制方法，其特征在于，包括：
获取来自多个终端中的每个终端的多媒体数据，其中，所述每个终端的多媒体数据用于展示所述终端的屏幕显示的内容；
使用所述多媒体数据在一个界面中展示所述多个终端中每个终端屏幕显示的内容；
接收用户通过所述界面输入的操作信号；
获取所述操作信号对应的第一终端；
将所述操作信号转换成对应的指令并发送给所述第一终端。
2.根据权利要求1所述的方法，其特征在于，获取所述操作信号对应的所述第一终端包括：
获取所述操作信号在所述界面中输入的第一位置信息；
获取每个终端在所述界面中显示的第二位置信息，其中，所述第二位置信息为该终端在所述界面中所占的范围；
根据所述第一位置信息和所述第二位置信息确定所述操作信号对应的所述第一终端。
3.根据权利要求2所述的方法，其特征在于，根据所述第一位置信息和所述第二位置信息确定所述操作信号对应的所述第一终端包括：
根据每个终端在所述界面中所占的范围将所述第一位置信息落入的范围对应的终端作为所述第一终端，其中，所述第一终端包括一个或多个终端。
4.根据权利要求1至3中任一项所述的方法，其特征在于，将所述操作信号转换成对应的指令并发送给所述第一终端包括：
根据预先获取到的所述第一终端的操作系统的类型或者所述第一终端上的应用的类型将所述操作信号转换成所述操作系统的类型或者所述应用的类型对应的指令；
将所述指令发送给所述第一终端。
5.根据权利要求1至3中任一项所述的方法，其特征在于，将所述操作信号转换成对应的指令并发送给所述第一终端包括：
将所述操作信号转换为对所述第一终端的操作信号；
将对所述第一终端的操作信号发送给所述第一终端，其中，对所述第一终端的操作信号作为对所述第一终端的输入。
6.根据权利要求1至3中任一项所述的方法，其特征在于，
接收所述用户通过所述界面输入的操作信号包括：接收所述用户在预先设置的区域中输入的所述操作信号，其中，所述区域与显示所述每个终端的屏幕内容的区域不重叠；
获取所述操作信号对应的第一终端包括：接收所述用户通过选择控件选择出的终端，其中，所述选择出的终端作为所述第一终端；将所述操作信号发送给所述第一终端。
7.根据权利要求6所述的方法，其特征在于，所述选择控件提供以下之一的选项：单个终端的选项、一组终端的选项、全部终端的选项。
8.一种终端控制装置，其特征在于，包括：
第一获取模块，用于获取来自多个终端中的每个终端的多媒体数据，其中，所述每个终端的多媒体数据用于展示所述终端的屏幕显示的内容；
第一展示模块，用于使用所述多媒体数据在一个界面中展示所述多个终端中每个终端屏幕显示的内容；
接收模块，用于接收用户通过所述界面输入的操作信号；
第二获取模块，用于获取所述操作信号对应的第一终端；
处理模块，用于将所述操作信号转换成对应的指令并发送给所述第一终端。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时执行权利要求1至权利要求7中任意一项所述的终端控制方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求7中任意一项所述的终端控制方法。
CN201710217951.8A 2017-04-05 2017-04-05 终端控制方法及装置 Active CN108694009B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710217951.8A CN108694009B (zh) 2017-04-05 2017-04-05 终端控制方法及装置
PCT/CN2018/078424 WO2018184442A1 (zh) 2017-04-05 2018-03-08 终端控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710217951.8A CN108694009B (zh) 2017-04-05 2017-04-05 终端控制方法及装置

Publications (2)

Publication Number Publication Date
CN108694009A true CN108694009A (zh) 2018-10-23
CN108694009B CN108694009B (zh) 2020-10-16

Family

ID=63713390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710217951.8A Active CN108694009B (zh) 2017-04-05 2017-04-05 终端控制方法及装置

Country Status (2)

Country Link
CN (1) CN108694009B (zh)
WO (1) WO2018184442A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495573A (zh) * 2018-11-26 2019-03-19 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及终端
CN112416278A (zh) * 2020-11-10 2021-02-26 北京五八信息技术有限公司 一种屏幕共享方法、装置、电子设备及存储介质
CN113253891A (zh) * 2021-05-13 2021-08-13 展讯通信（上海）有限公司 终端的控制方法及装置、存储介质、终端
CN113282488A (zh) * 2021-05-13 2021-08-20 展讯通信（上海）有限公司 终端的测试方法及装置、存储介质、终端
CN113760750A (zh) * 2021-08-13 2021-12-07 深圳Tcl新技术有限公司 一种智能设备测试方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202257507U (zh) * 2011-10-09 2012-05-30 辛锡友 分屏触控一体机
CN103188504A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 显示多个内容视图的显示装置、眼镜装置、包括显示装置和眼镜装置的显示系统及其显示方法
CN103838532A (zh) * 2012-11-21 2014-06-04 中国移动通信集团公司 一种多屏内容合成显示方法、相关设备及系统
WO2014101645A1 (zh) * 2012-12-27 2014-07-03 中兴通讯股份有限公司 信息显示终端及其使用方法
CN104506907A (zh) * 2014-11-25 2015-04-08 上海众应信息科技有限公司 控制端与多个远程被控终端之间的交互操作方法及系统
CN105892977A (zh) * 2016-05-30 2016-08-24 乐视控股（北京）有限公司 一种多屏系统交互方法、装置及智能电视
CN106340163A (zh) * 2015-07-10 2017-01-18 关隆股份有限公司 多电器设备的控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202677B (zh) * 2014-09-12 2018-10-16 三星电子（中国）研发中心 支持多窗口应用的多屏显示和控制的方法与装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202257507U (zh) * 2011-10-09 2012-05-30 辛锡友 分屏触控一体机
CN103188504A (zh) * 2011-12-28 2013-07-03 三星电子株式会社 显示多个内容视图的显示装置、眼镜装置、包括显示装置和眼镜装置的显示系统及其显示方法
CN103838532A (zh) * 2012-11-21 2014-06-04 中国移动通信集团公司 一种多屏内容合成显示方法、相关设备及系统
WO2014101645A1 (zh) * 2012-12-27 2014-07-03 中兴通讯股份有限公司 信息显示终端及其使用方法
CN104506907A (zh) * 2014-11-25 2015-04-08 上海众应信息科技有限公司 控制端与多个远程被控终端之间的交互操作方法及系统
CN106340163A (zh) * 2015-07-10 2017-01-18 关隆股份有限公司 多电器设备的控制方法
CN105892977A (zh) * 2016-05-30 2016-08-24 乐视控股（北京）有限公司 一种多屏系统交互方法、装置及智能电视

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495573A (zh) * 2018-11-26 2019-03-19 Oppo广东移动通信有限公司 数据传输方法、装置、存储介质及终端
CN112416278A (zh) * 2020-11-10 2021-02-26 北京五八信息技术有限公司 一种屏幕共享方法、装置、电子设备及存储介质
CN113253891A (zh) * 2021-05-13 2021-08-13 展讯通信（上海）有限公司 终端的控制方法及装置、存储介质、终端
CN113282488A (zh) * 2021-05-13 2021-08-20 展讯通信（上海）有限公司 终端的测试方法及装置、存储介质、终端
CN113253891B (zh) * 2021-05-13 2022-10-25 展讯通信（上海）有限公司 终端的控制方法及装置、存储介质、终端
CN113760750A (zh) * 2021-08-13 2021-12-07 深圳Tcl新技术有限公司 一种智能设备测试方法、装置、电子设备和存储介质
CN113760750B (zh) * 2021-08-13 2024-04-02 深圳Tcl新技术有限公司 一种智能设备测试方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN108694009B (zh) 2020-10-16
WO2018184442A1 (zh) 2018-10-11

Similar Documents

Publication Publication Date Title
CN108694029A (zh) 终端屏幕显示处理方法、装置及存储介质
CN108694009A (zh) 终端控制方法及装置
US9594496B2 (en) Method and apparatus for playing IM message
CN112306607B (zh) 截图方法和装置、电子设备和可读存储介质
US20220391232A1 (en) Content sharing method, device, terminal and storage medium
CN105208015B (zh) 多账号登陆应用的处理方法、装置和终端设备
CN104536787B (zh) 资源预加载方法及装置
CN112099707A (zh) 显示方法、装置和电子设备
CN112286887A (zh) 文件分享的方法、装置和电子设备
CN107509051A (zh) 远程控制方法、装置、终端及计算机可读存储介质
WO2019137155A1 (zh) 屏幕显示模式的切换方法、装置、存储介质及电子装置
CN109085982A (zh) 内容识别方法、装置及移动终端
CN111913675A (zh) 显示控制方法和装置、电子设备及计算机可读存储介质
CN112395029A (zh) 应用程序的界面显示方法、装置、电子设备和存储介质
CN113325980B (zh) 控制方法、装置、电子设备和可读存储介质
CN107171945A (zh) 图像信息处理方法及装置、计算机装置及可读存储介质
CN105308948A (zh) 取景器工具
WO2024001956A1 (zh) 视频通话方法、装置、第一电子设备及第二电子设备
CN108196756A (zh) 即时通讯界面输入切换的方法、装置、存储介质及终端设备
CN112653787A (zh) 显示方法、装置、存储介质及电子设备
CN107580137A (zh) 信息显示的处理方法、终端和计算机可读存储介质
CN103561239A (zh) 一种现场作业视频监控方法
CN115421846A (zh) 跨设备控制方法、控制装置、电子设备和可读存储介质
WO2015165393A1 (en) Method and apparatus for sending file and user terminal
CN114221923A (zh) 消息处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant