CN108762659B - 云终端的操控方法、装置、存储介质和电子装置 - Google Patents

云终端的操控方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN108762659B
CN108762659B CN201810506725.6A CN201810506725A CN108762659B CN 108762659 B CN108762659 B CN 108762659B CN 201810506725 A CN201810506725 A CN 201810506725A CN 108762659 B CN108762659 B CN 108762659B
Authority
CN
China
Prior art keywords
control
cloud terminal
terminal
application program
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810506725.6A
Other languages
English (en)
Other versions
CN108762659A (zh
Inventor
方亮
张得俊
刘康
胡继
曹斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Network Information Technology Co Ltd
Original Assignee
Shenzhen Tencent Network Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Network Information Technology Co Ltd filed Critical Shenzhen Tencent Network Information Technology Co Ltd
Priority to CN201810506725.6A priority Critical patent/CN108762659B/zh
Publication of CN108762659A publication Critical patent/CN108762659A/zh
Application granted granted Critical
Publication of CN108762659B publication Critical patent/CN108762659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种云终端的操控方法、装置、存储介质和电子装置。其中，该方法包括：在控制终端的应用程序界面上检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；生成用于指示所述目标操作的控制指令；通过网关服务器向所述云终端发送所述控制指令，其中，所述控制指令用于指示所述云终端执行所述控制指令所指示的所述目标操作。本发明解决了对云终端无法进行多点触控的技术问题。

Description

云终端的操控方法、装置、存储介质和电子装置
技术领域
本发明涉及控制领域，具体而言，涉及一种云终端的操控方法、装置、存储介质和电子装置。
背景技术
终端通过网络接入到云以后，任何用户都可以在云端使用这台终端，在云端能够看到终端画面，并且在云端能够操控终端，这个终端就是云终端。现有技术对于云终端的操作，通常都在网页上进行，只能通过鼠标进行操作。但是，当需要云终端执行多点触控(例如，控制云终端进行多点触控的游戏)时，鼠标无法完成多点触控的操作。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种云终端的操控方法、装置、存储介质和电子装置，以至少解决对云终端无法进行多点触控的技术问题。
根据本发明实施例的一个方面，提供了一种云终端的操控方法，包括：在控制终端的应用程序界面上检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；生成用于指示所述目标操作的控制指令；通过网关服务器向所述云终端发送所述控制指令，其中，所述控制指令用于指示所述云终端执行所述控制指令所指示的所述目标操作。
根据本发明实施例的另一方面，还提供了一种云终端的操控装置，包括：检测单元，用于在控制终端的应用程序界面上检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；生成单元，用于生成用于指示所述目标操作的控制指令；第一发送单元，用于通过网关服务器向所述云终端发送所述控制指令，其中，所述控制指令用于指示所述云终端执行所述控制指令所指示的所述目标操作。
本实施例通过控制终端接收多点触控操作，并生成控制指令发送给云终端，云终端根据控制指令执行该控制指令指示的目标操作，从而实现了通过控制终端控制云终端执行多点触控操作对应的目标操作，解决了现有技术对云终端无法进行多点触控的技术问题，达到了对云终端进行多点触控的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的硬件环境的示意图；
图2是根据本发明实施例的一种云终端的操控方法的流程图；
图3是根据本发明实施例的应用程序界面的示意图；
图4是根据本发明实施例的测试助手的示意图；
图5是根据本发明实施例的云终端的网页页面示意图；
图6是根据本发明实施例的浏览器的数据传输示意图；
图7是根据本发明实施例的多点触控操作的传输示意图；
图8是根据本发明实施例的一种云终端的操控装置的示意图；
图9是根据本发明实施例的电子装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种云终端的操控方法。在本实施例中，上述云终端的操控方法可以应用于如图1所示硬件环境中。如图1所示，云终端101通过USB连接电脑102,电脑102通过网络连接服务器103。服务器103通过网络连接浏览器104和控制终端105。其中，服务器103包括设备服务器集群1031、网关服务器1032、视频流接入服务器集群1033和视频流服务器集群1034。上述网络包括但不限于：广域网、城域网或局域网，云终端101可以是手机终端，控制终端105可以是手机终端和平板电脑终端等。
图2是根据本发明实施例的一种云终端的操控方法的流程图。如图2所示，该云终端的操控方法包括：
S202，在控制终端的应用程序界面上检测到多点触控操作，其中，多点触控操作用于控制云终端执行目标操作。
控制终端用来远程控制云终端，控制终端上安装有应用程序，该应用程序可以接收用户操作控制终端的多点触控操作。应用程序显示的应用程序界面如图3所示，在图3所示的应用程序界面上可以检测用户的多点触控操作。多点触控操作包括至少两个手指的同时滑动操作和点击操作等。图3所示的应用程序界面上显示的返回、主页、菜单，分别对应云终端的返回、主页、菜单三个功能键。用户在控制终端上点击主页，相应地在云终端执行打开主页的动作。用户在控制终端上的多点触控操作相当于在云终端上执行多点触控操作。也就是，通过控制终端接收多点触控操作，然后控制云终端执行与多点触控操作相关的目标操作。
例如，云终端正在运行游戏，控制终端进行滑动操作来控制云终端的游戏中角色的移动，与此同时，控制终端进行滑动操作来控制游戏中角色使用道具进行攻击操作。
可选地，在控制终端的应用程序界面上检测到多点触控操作之后，方法还包括：在检测到多点触控操作时，在应用程序界面上显示多点触控操作的操作轨迹，其中，多个触控操作的操作轨迹分别用不同的颜色显示。
多点触控操作包括多个操作轨迹，每个操作轨迹可以在应用程序界面上以不同的颜色显示。例如，两个手指在界面相对滑动以缩小画面，则每个手指产生一条滑动轨迹，两个滑动轨迹分别用不同的颜色显示，用来区分不同的触控操作。如图3所示，在应用程序界面的左侧和右侧分别显示一条滑动轨迹，且两条滑动轨迹的颜色不同。手指在屏幕上滑动的过程中在应用程序界面上显示滑动轨迹，在完成滑动、手指离开屏幕后，滑动轨迹从应用程序界面上消失，以便显示下一个多点触控操作产生的轨迹。如果多点触控操作是点击，则在应用程序界面上显示点，如果多点触控操作是滑动，则在应用程序界面上显示线条。
可选地，在控制终端的应用程序界面上检测到多点触控操作包括：获取云终端的当前显示界面的截图；在应用程序界面上显示截图；在应用程序界面检测到针对截图上的多点触控操作。
应用程序界面可以是图3所示的白板，通过配合浏览器来确定多点触控操作的位置。应用程序界面也可以显示云终端当前显示界面的截图，以便确定多点触控操作的位置。在应用程序界面上显示截图，相比实时显示云终端的当前显示界面，可以减少数据传输，避免画面延迟和卡顿。并且，根据应用程序界面上显示截图可以确定多点触控操作的位置。由于应用程序界面的坐标与云终端上的坐标是关联对应的，因此，确定了应用程序界面上多点触控操作的位置，就能确定多点触控操作控制云终端执行的目标操作。
在显示有云终端当前显示界面的截图的应用程序界面上，完成多点触控操作后，云终端执行目标操作，此时云终端的界面会有变化，但是，由于应用程序界面上的截图是为了确定多点触控操作的位置，因此，应用程序界面上的截图不会随着云终端的界面的变化而变化。即，在云终端执行目标操作而导致界面变化时，控制终端上显示的截图不变。
可选地，在控制终端的应用程序界面上检测到多点触控操作包括：检测应用程序界面上的触摸点；将触摸点标记在显示页面上，其中，显示页面上显示云终端的当前显示界面和触摸点的标记；接收基于触摸点的标记执行的多点触控操作。
在应用程序界面为图3所示的白板时，可以配合显示页面来确定多点触控操作的位置。该显示页面可以是网页页面，该网页页面可以是通过浏览器显示的页面。在确定多点触控操作的位置时，可以先检测用户在应用程序界面上的触摸点，并将该触摸点的标记显示在显示页面上，例如，在显示页面上显示一个带有颜色的点或者圈。显示页面上可以显示云终端的当前显示界面，显示页面上显示的云终端的当前显示界面可以是是根据云终端的界面变化实时更新的。用户可以根据显示页面上触摸点的标记来调整多点触控操作的位置，控制终端接收该基于触摸点的标记调整后的多点触控操作。
S204，生成用于指示目标操作的控制指令；
可选地，生成用于指示目标操作的控制指令包括：获取多点触控操作的第一坐标，其中，第一坐标与云终端的界面上的第二坐标具有映射关系，第一坐标包括触点标识，触点标识用于标记不同的触控操作；根据第一坐标生成用于指示目标操作的控制指令，其中，控制指令用于指示对云终端中第二坐标处执行目标操作。
第一坐标是应用程序界面的坐标，第二坐标是云终端的界面上的。应用程序界面和云终端的界面具有映射关系，相应地，应用程序界面上的坐标和云终端的界面上的坐标也具有映射关系。例如，在云终端的界面左上角为原点坐标，在应用程序界面左上角也为原点坐标，其余坐标按照云终端的分辨率和控制终端的分辨率进行对应。在控制终端的分辨率大于云终端的分辨率的情况下，云终端的一个像素与控制终端的多个像素具有对应关系。
控制终端捕获多点触控操作之后，利用触点标识来标记不同的触控操作，即，利用触点标识来区分触控点。根据第一坐标生成用于指示目标操作的控制指令，该控制指令包括触点标识和触控点在应用程序界面上的坐标。云终端根据触控指令确定与第一坐标关联的第二坐标，并执行目标操作。该目标操作相当于用户在云终端上触控第二坐标的操作。
例如，触摸只有1个点时，控制指令包括[(0，X0,Y0),(0，X1,Y1)]，其中，0为触控标识。X0,Y0分别为触控操作的起始点的横坐标和纵坐标，X1,Y1分别为触控操作的终点的横坐标和纵坐标。触摸有2个点时，控制指令包括[(0，X00,Y00),(1，X10,Y10),(0，X01,Y01),(1，X11,Y11)]。其中，0表示一个触控操作的标识，1表示另外一个触控操作的标识。X00,Y00分别为标识为0的触控操作的起始点的横坐标和纵坐标；X01,Y01分别为标识为0的触控操作的终止点的横坐标和纵坐标；X10,Y10分别为标识为1的触控操作的起始点的横坐标和纵坐标；X11,Y11分别为标识为1的触控操作的终止点的横坐标和纵坐标。
S206，通过网关服务器向云终端发送控制指令，其中，控制指令用于指示云终端执行控制指令所指示的目标操作。
应用程序通过网关服务器向云终端发送控制指令，云终端接收到控制指令后执行该控制指令所指示的目标操作。
本实施例通过控制终端接收多点触控操作，并生成控制指令发送给云终端，云终端根据控制指令执行该控制指令指示的目标操作，从而实现了通过控制终端控制云终端执行多点触控操作对应的目标操作，解决了现有技术对云终端无法进行多点触控的技术问题，达到了对云终端进行多点触控的技术效果。
可选地，控制终端和显示页面可以同时接收触控操作，控制终端可以接收多点触控操作，显示页面可以接收鼠标的操作。为了实现控制终端和显示页面可以同时与云终端通信，在通信之前需要进行鉴权操作，当鉴权成功后，实现与云终端通信。
即，在通过网关服务器向云终端发送控制指令之前，方法还包括：向网关服务器发送控制请求，其中，控制请求用于请求控制云终端；接收网关服务器响应控制请求发出的鉴权指令，其中，鉴权指令用于指示应用程序进行权限认证，权限为控制云终端的权限；根据鉴权指令向网关服务器发送云终端的身份标识和登录应用程序的帐号；在云终端的身份标识和登录应用程序的帐号匹配的情况下，接收校验成功指令，其中，校验成功指令用于指示允许控制云终端。
在控制终端检测到多点触控操作之前，可以通过控制终端扫描网页上的二维码，确定需要进行远程控制的云终端。此时，已经对控制终端和云终端进行关联。在控制终端连接网关服务器后，控制终端将云终端的身份标识和登录应用程序的帐号发送给网关服务器进行鉴权，网关服务器校验云终端的身份标识是否属于登录应用程序的帐号，如果是，则校验成功；如果否，则校验失败。如果权限校验失败，则网关服务器主动断开连接。鉴权完成后，可以向设备发出控制指令。浏览器的鉴权过程与上述控制终端的鉴权过程相同，不再赘述。
如果在浏览器端用户终止了云终端的使用，浏览器会和网关服务器断开连接，网关服务器会通知设备服务器关闭这个云终端，设备服务器通知电脑关闭云终端后，将服务器中的设备置为空闲可用标识。此时，如果控制终端上的应用程序向网关服务器继续发送控制指令，网关服务器会向助手发送使用已经结束的消息，并断开与应用程序的连接，最终应用程序退出操控界面。
需要说明的是，本实施例的应用程序可以是测试助手等应用程序。本实施例中所说的控制终端与服务器的连接，可以理解为测试助手与服务器的连接。
下面以测试助手为例对本实施例进行说明。
在控制终端上安装图4所示的测试助手。该测试助手可以对云终端进行控制以便进行性能测试。在图4所示的界面上点击手机控制器，进入扫描页面。通过该扫描页面可以扫描网页上显示的云终端的二维码。网页上显示的云终端的二维码如图5所示。测试助手扫描图5所示的二维码，用来控制相应的云终端。
如图6所示，以云终端101为手机101为例，手机101通过USB线连接到电脑102，电脑102上的接入程序通过扫描手机101端口，根据手机101插入事件，通过TCP长连接与设备服务器集群1031保持连接，在连接建立后，电脑102将手机101信息(包括串号、型号和基本数据)发送到设备服务器集群1031中的设备服务器，在设备服务器集群1031中，会生成唯一的一个设备ID来表示这个手机，同时设备服务器将设备ID发送给电脑102，后续电脑102与设备服务器集群1031之间的所有数据都要带上这个设备ID。另外设备服务器集群1031中的设备服务器也会将视频流接入服务器集群1033的IP地址下发到电脑102，电脑102与视频流接入服务器集群1033保持长连接，电脑102与视频流接入服务器集群1033的通信会携带设备ID。此时手机101已经完成了接入到云服务器的步骤。
如图6所示，手机101接入完成后，用户可以在浏览器104上使用这个手机101了。主要包括如下步骤：
1、浏览器104请求使用云终端。
2、网关服务器1032通知电脑开始截图。
3、设备服务器集群1031通知电脑开始截图。
4、电脑获得屏幕图像，并编码成H264视频流。
5、电脑向视频流接入服务器集群1033发送视频流数据。
6、浏览器104向视频流服务器集群1034请求视频流。
7、视频流服务器集群1034从视频流接入服务器集群1033获取视频流。
8、视频流服务器集群1034推送视频流到浏览器104。
9、浏览器104解码成图像并显示。
即，浏览器104与服务器的交互数据分为信令流和视频流。信令流是与网关服务器1032进行交互，其中交互的数据包括控制云终端101开启和关闭的控制数据、屏幕的触控事件、功能键的触控事件。视频流是与视频流服务器集群1033进行交互,获取视频流信息，浏览器104获得视频流以后解码成图像，并显示在网页页面上。
控制终端105将多点触控操作发送给网关服务器1032，网关服务器1032向设备服务器集群1031转发触控指令，设备服务器集群1031通知电脑102发送触控指令，电脑102将触控指令发送到云终端101。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种用于实施上述云终端的操控方法的云终端的操控装置，如图8所示，该装置包括：
检测单元82用于在控制终端的应用程序界面上检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；
控制终端用来远程控制云终端，控制终端上安装有应用程序，该应用程序可以接收用户操作控制终端的多点触控操作。应用程序显示的应用程序界面如图3所示，在图3所示的应用程序界面上可以检测用户的多点触控操作。多点触控操作包括至少两个手指的同时滑动操作和点击操作等。图3所示的应用程序界面上显示的返回、主页、菜单，分别对应云终端的返回、主页、菜单三个功能键。用户在控制终端上点击主页，相应地在云终端执行打开主页的动作。用户在控制终端上的多点触控操作相当于在云终端上执行多点触控操作。也就是，通过控制终端接收多点触控操作，然后控制云终端执行与多点触控操作相关的目标操作。
例如，云终端正在运行游戏，控制终端进行滑动操作来控制云终端的游戏中角色的移动，与此同时，控制终端进行滑动操作来控制游戏中角色使用道具进行攻击操作。
可选地，所述装置还包括：显示单元，用于在在控制终端的应用程序界面上检测到多点触控操作之后，在检测到所述多点触控操作时，在所述应用程序界面上显示所述多点触控操作的操作轨迹，其中，多个触控操作的操作轨迹分别用不同的颜色显示。
多点触控操作包括多个操作轨迹，每个操作轨迹可以在应用程序界面上以不同的颜色显示。例如，两个手指在界面相对滑动以缩小画面，则每个手指产生一条滑动轨迹，两个滑动轨迹分别用不同的颜色显示，用来区分不同的触控操作。如图3所示，在应用程序界面的左侧和右侧分别显示一条滑动轨迹，且两条滑动轨迹的颜色不同。手指在屏幕上滑动的过程中在应用程序界面上显示滑动轨迹，在完成滑动、手指离开屏幕后，滑动轨迹从应用程序界面上消失，以便显示下一个多点触控操作产生的轨迹。如果多点触控操作是点击，则在应用程序界面上显示点，如果多点触控操作是滑动，则在应用程序界面上显示线条。
可选地，所述检测单元包括：第二获取模块，用于获取所述云终端的当前显示界面的截图；显示模块，用于在所述应用程序界面上显示所述截图；第一检测模块，用于在所述应用程序界面检测到针对所述截图上的所述多点触控操作。
应用程序界面可以是图3所示的白板，通过配合浏览器来确定多点触控操作的位置。应用程序界面也可以显示云终端当前显示界面的截图，以便确定多点触控操作的位置。在应用程序界面上显示截图，相比实时显示云终端的当前显示界面，可以减少数据传输，避免画面延迟和卡顿。并且，根据应用程序界面上显示截图可以确定多点触控操作的位置。由于应用程序界面的坐标与云终端上的坐标是关联对应的，因此，确定了应用程序界面上多点触控操作的位置，就能确定多点触控操作控制云终端执行的目标操作。
在显示有云终端当前显示界面的截图的应用程序界面上，完成多点触控操作后，云终端执行目标操作，此时云终端的界面会有变化，但是，由于应用程序界面上的截图是为了确定多点触控操作的位置，因此，应用程序界面上的截图不会随着云终端的界面的变化而变化。即，在云终端执行目标操作而导致界面变化时，控制终端上显示的截图不变。
可选地，所述检测单元包括：第二检测模块，用于检测所述应用程序界面上的触摸点；标记模块，用于将所述触摸点标记在显示页面上，其中，所述显示页面上显示所述云终端的当前显示界面和所述触摸点的标记；接收模块，用于接收基于所述触摸点的标记执行的所述多点触控操作。
在应用程序界面为图3所示的白板时，可以配合显示页面来确定多点触控操作的位置。该显示页面可以是网页页面，该网页页面可以是通过浏览器显示的页面。在确定多点触控操作的位置时，可以先检测用户在应用程序界面上的触摸点，并将该触摸点的标记显示在显示页面上，例如，在显示页面上显示一个带有颜色的点或者圈。显示页面上可以显示云终端的当前显示界面，显示页面上显示的云终端的当前显示界面可以是是根据云终端的界面变化实时更新的。用户可以根据显示页面上触摸点的标记来调整多点触控操作的位置，控制终端接收该基于触摸点的标记调整后的多点触控操作。
生成单元84用于生成用于指示所述目标操作的控制指令；
可选地，所述生成单元包括：第一获取模块，用于获取所述多点触控操作的第一坐标，其中，所述第一坐标与所述云终端的界面上的第二坐标具有映射关系，所述第一坐标包括触点标识，所述触点标识用于标记不同的触控操作；生成模块，用于根据所述第一坐标生成用于指示所述目标操作的控制指令，其中，所述控制指令用于指示对所述云终端中所述第二坐标处执行所述目标操作。
第一坐标是应用程序界面的坐标，第二坐标是云终端的界面上的。应用程序界面和云终端的界面具有映射关系，相应地，应用程序界面上的坐标和云终端的界面上的坐标也具有映射关系。例如，在云终端的界面左上角为原点坐标，在应用程序界面左上角也为原点坐标，其余坐标按照云终端的分辨率和控制终端的分辨率进行对应。在控制终端的分辨率大于云终端的分辨率的情况下，云终端的一个像素与控制终端的多个像素具有对应关系。
控制终端捕获多点触控操作之后，利用触点标识来标记不同的触控操作，即，利用触点标识来区分触控点。根据第一坐标生成用于指示目标操作的控制指令，该控制指令包括触点标识和触控点在应用程序界面上的坐标。云终端根据触控指令确定与第一坐标关联的第二坐标，并执行目标操作。该目标操作相当于用户在云终端上触控第二坐标的操作。
例如，触摸只有1个点时，控制指令包括[(0，X0,Y0),(0，X1,Y1)]，其中，0为触控标识。X0,Y0分别为触控操作的起始点的横坐标和纵坐标，X1,Y1分别为触控操作的终点的横坐标和纵坐标。触摸有2个点时，控制指令包括[(0，X00,Y00),(1，X10,Y10),(0，X01,Y01),(1，X11,Y11)]。其中，0表示一个触控操作的标识，1表示另外一个触控操作的标识。X00,Y00分别为标识为0的触控操作的起始点的横坐标和纵坐标；X01,Y01分别为标识为0的触控操作的终止点的横坐标和纵坐标；X10,Y10分别为标识为1的触控操作的起始点的横坐标和纵坐标；X11,Y11分别为标识为1的触控操作的终止点的横坐标和纵坐标。
第一发送单元86用于通过网关服务器向所述云终端发送所述控制指令，其中，所述控制指令用于指示所述云终端执行所述控制指令所指示的所述目标操作。
应用程序通过网关服务器向云终端发送控制指令，云终端接收到控制指令后执行该控制指令所指示的目标操作。
本实施例通过控制终端接收多点触控操作，并生成控制指令发送给云终端，云终端根据控制指令执行该控制指令指示的目标操作，从而实现了通过控制终端控制云终端执行多点触控操作对应的目标操作，解决了现有技术对云终端无法进行多点触控的技术问题，达到了对云终端进行多点触控的技术效果。
可选地，控制终端和显示页面可以同时接收触控操作，控制终端可以接收多点触控操作，显示页面可以接收鼠标的操作。为了实现控制终端和显示页面可以同时与云终端通信，在通信之前需要进行鉴权操作，当鉴权成功后，实现与云终端通信。
即，所述装置还包括：第二发送单元，用于在通过网关服务器向所述云终端发送所述控制指令之前，向所述网关服务器发送控制请求，其中，所述控制请求用于请求控制所述云终端；第一接收单元，用于接收所述网关服务器响应所述控制请求发出的鉴权指令，其中，所述鉴权指令用于指示所述应用程序进行权限认证，所述权限为控制所述云终端的权限；第三发送单元，用于根据所述鉴权指令向所述网关服务器发送所述云终端的身份标识和登录所述应用程序的帐号；第二接收单元，用于在所述云终端的身份标识和登录所述应用程序的帐号匹配的情况下，接收校验成功指令，其中，所述校验成功指令用于指示允许控制所述云终端。
在控制终端检测到多点触控操作之前，可以通过控制终端扫描网页上的二维码，确定需要进行远程控制的云终端。此时，已经对控制终端和云终端进行关联。在控制终端连接网关服务器后，控制终端将云终端的身份标识和登录应用程序的帐号发送给网关服务器进行鉴权，网关服务器校验云终端的身份标识是否属于登录应用程序的帐号，如果是，则校验成功；如果否，则校验失败。如果权限校验失败，则网关服务器主动断开连接。鉴权完成后，可以向设备发出控制指令。浏览器的鉴权过程与上述控制终端的鉴权过程相同，不再赘述。
如果在浏览器端用户终止了云终端的使用，浏览器会和网关服务器断开连接，网关服务器会通知设备服务器关闭这个云终端，设备服务器通知电脑关闭云终端后，将服务器中的设备置为空闲可用标识。此时，如果控制终端上的应用程序向网关服务器继续发送控制指令，网关服务器会向助手发送使用已经结束的消息，并断开与应用程序的连接，最终应用程序退出操控界面。
根据本发明实施例的又一个方面，还提供了一种用于实施上述云终端的操控方法的电子装置，如图9所示，该电子装置包括，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，图9是根据本发明实施例的一种电子装置的结构框图。如图9所示，该电子装置可以包括：一个或多个(图中仅示出一个)处理器901、至少一个通信总线902、用户接口903、至少一个传输装置904和存储器905。其中，通信总线902用于实现这些组件之间的连接通信。其中，用户接口903可以包括显示器906和键盘907。传输装置904可选的可以包括标准的有线接口和无线接口。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在控制终端的应用程序界面上检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；
S2，生成用于指示目标操作的控制指令；
S3，通过网关服务器向云终端发送控制指令，其中，所述控制指令用于指示所述云终端执行所述控制指令所指示的所述目标操作。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
其中，存储器905可用于存储软件程序以及模块，如本发明实施例中的云终端的操控方法和装置对应的程序指令/模块，处理器901通过运行存储在存储器905内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的云终端的操控方法。存储器905可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器905可进一步包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置904用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置904包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置904为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器905用于存储预设动作条件和预设权限用户的信息、以及应用程序。
本实施例通过控制终端接收多点触控操作，并生成控制指令发送给云终端，云终端根据控制指令执行该控制指令指示的目标操作，从而实现了通过控制终端控制云终端执行多点触控操作对应的目标操作，解决了现有技术对云终端无法进行多点触控的技术问题，达到了对云终端进行多点触控的技术效果。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在控制终端的应用程序界面上检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；
S2，生成用于指示目标操作的控制指令；
S3，通过网关服务器向云终端发送控制指令，其中，所述控制指令用于指示所述云终端执行所述控制指令所指示的所述目标操作。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
S1，获取所述多点触控操作的第一坐标，其中，所述第一坐标与所述云终端的界面上的第二坐标具有映射关系，所述第一坐标包括触点标识，所述触点标识用于标记不同的触控操作；
S2，根据所述第一坐标生成用于指示所述目标操作的控制指令，其中，所述控制指令用于指示对所述云终端中所述第二坐标处执行所述目标操作。
可选地，存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序，本实施例中对此不再赘述。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种云终端的操控方法，其特征在于，包括：
由第一控制终端获取云终端的截图，以在第一控制终端的显示页面上显示所述云终端的截图，并且在第二控制终端的应用程序界面中检测触摸点；
将第二控制终端中检测到的触摸点标记在所述第一控制终端显示的所述截图中，以便根据在所述显示页面中截图中的触摸点的标记，调整第二控制终端中多点触控操作的对应位置；
在所述第二控制终端中检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；
在所述应用程序界面上显示所述多点触控操作的多个操作轨迹以及通过标记触摸点将所述多个操作轨迹标记在所述显示页面中的所述截图中，其中，多个操作轨迹分别用不同的颜色显示；
由第二控制终端生成用于指示所述目标操作的控制指令；
由第二控制终端通过网关服务器向所述云终端发送所述控制指令，其中，所述控制指令用于指示所述云终端执行所述目标操作；
在第一控制终端与网关服务器断开连接的情况下，在所述第二控制终端向所述网关服务器发送控制指令时，接收所述云终端已被关闭的结束消息，并关闭所述应用程序界面。
2.根据权利要求1所述的方法，其特征在于，生成用于指示所述目标操作的控制指令包括：
获取所述多点触控操作的第一坐标，其中，所述第一坐标与所述云终端的界面上的第二坐标具有映射关系，所述第一坐标包括触点标识，所述触点标识用于标记不同的触控操作；
根据所述第一坐标生成用于指示所述目标操作的控制指令，其中，所述控制指令用于指示对所述云终端中所述第二坐标处执行所述目标操作。
3.根据权利要求1或2所述的方法，其特征在于，在通过网关服务器向所述云终端发送所述控制指令之前，所述方法还包括：
向所述网关服务器发送控制请求，其中，所述控制请求用于请求控制所述云终端；
接收所述网关服务器响应所述控制请求发出的鉴权指令，其中，所述鉴权指令用于指示所述应用程序进行权限认证，所述权限为控制所述云终端的权限；
根据所述鉴权指令向所述网关服务器发送所述云终端的身份标识和登录所述应用程序的帐号；
在所述云终端的身份标识和登录所述应用程序的帐号匹配的情况下，接收校验成功指令，其中，所述校验成功指令用于指示允许控制所述云终端。
4.一种云终端的操控装置，其特征在于，包括：
检测单元，用于：
由第一控制终端获取云终端的截图，以在第一控制终端的显示页面上显示所述云终端的截图，并且在第二控制终端的应用程序界面中检测触摸点；
将第二控制终端中检测到的触摸点标记在所述第一控制终端显示的所述截图中，以便根据在所述显示页面中截图中的触摸点的标记，调整第二控制终端中多点触控操作的对应位置；
在所述第二控制终端中检测到多点触控操作，其中，所述多点触控操作用于控制云终端执行目标操作；
在所述应用程序界面上显示所述多点触控操作的多个操作轨迹以及通过标记触摸点将所述多个操作轨迹标记在所述显示页面中的所述截图中，其中，多个操作轨迹分别用不同的颜色显示；
生成单元，用于由第二控制终端生成用于指示所述目标操作的控制指令；
第一发送单元，用于由第二控制终端通过网关服务器向所述云终端发送所述控制指令，其中，所述控制指令用于指示所述云终端执行所述目标操作
管理单元，用于在第一控制终端与网关服务器断开连接的情况下，在所述第二控制终端向所述网关服务器发送控制指令时，接收所述云终端已被关闭的结束消息，并关闭所述应用程序界面。
5.根据权利要求4所述的装置，其特征在于，所述生成单元包括：
第一获取模块，用于获取所述多点触控操作的第一坐标，其中，所述第一坐标与所述云终端的界面上的第二坐标具有映射关系，所述第一坐标包括触点标识，所述触点标识用于标记不同的触控操作；
生成模块，用于根据所述第一坐标生成用于指示所述目标操作的控制指令，其中，所述控制指令用于指示对所述云终端中所述第二坐标处执行所述目标操作。
6.根据权利要求4或5所述的装置，其特征在于，所述装置还包括：
第二发送单元，用于在通过网关服务器向所述云终端发送所述控制指令之前，向所述网关服务器发送控制请求，其中，所述控制请求用于请求控制所述云终端；
第一接收单元，用于接收所述网关服务器响应所述控制请求发出的鉴权指令，其中，所述鉴权指令用于指示所述应用程序进行权限认证，所述权限为控制所述云终端的权限；
第三发送单元，用于根据所述鉴权指令向所述网关服务器发送所述云终端的身份标识和登录所述应用程序的帐号；
第二接收单元，用于在所述云终端的身份标识和登录所述应用程序的帐号匹配的情况下，接收校验成功指令，其中，所述校验成功指令用于指示允许控制所述云终端。
7.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至3任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至3任一项中所述的方法。
CN201810506725.6A 2018-05-24 2018-05-24 云终端的操控方法、装置、存储介质和电子装置 Active CN108762659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810506725.6A CN108762659B (zh) 2018-05-24 2018-05-24 云终端的操控方法、装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810506725.6A CN108762659B (zh) 2018-05-24 2018-05-24 云终端的操控方法、装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN108762659A CN108762659A (zh) 2018-11-06
CN108762659B true CN108762659B (zh) 2022-08-19

Family

ID=64005310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810506725.6A Active CN108762659B (zh) 2018-05-24 2018-05-24 云终端的操控方法、装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN108762659B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830648A (zh) * 2019-10-14 2020-02-21 广州微算互联信息技术有限公司 一种云手机边缘滑动操作的控制方法及手机终端
CN110989915A (zh) * 2019-12-03 2020-04-10 深圳市瑞驰信息技术有限公司 Android系统模拟支持远程多点控制指令的方法
CN112083860A (zh) * 2020-09-07 2020-12-15 珠海格力电器股份有限公司 移动终端的控制方法及装置
CN112221127B (zh) * 2020-11-10 2023-08-08 腾讯科技（深圳）有限公司 一种云游戏的多点控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105278843A (zh) * 2014-06-24 2016-01-27 鸿合科技有限公司 一种基于远程控制的手势快捷操作方法及系统
CN107181822A (zh) * 2017-07-06 2017-09-19 西安万像电子科技有限公司 通信系统及其通信方法和装置、终端以及终端的控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104348878A (zh) * 2013-08-06 2015-02-11 好看科技（深圳）有限公司 用于远程控制移动终端的方法、装置、移动终端及系统
CN104714750A (zh) * 2015-03-20 2015-06-17 天脉聚源（北京）教育科技有限公司 一种笔迹展示的方法和装置
CN105635174A (zh) * 2016-02-03 2016-06-01 武汉天梯极客网络科技有限公司 一种智能设备分享方法
US10558288B2 (en) * 2016-07-07 2020-02-11 Samsung Display Co., Ltd. Multi-touch display panel and method of controlling the same
CN106330636A (zh) * 2016-09-18 2017-01-11 乐视控股（北京）有限公司 智能设备远程控制方法及装置
US11019162B2 (en) * 2016-11-16 2021-05-25 Dell Products L.P. System and method for provisioning a user interface for sharing
CN106603699A (zh) * 2016-12-28 2017-04-26 珠海金山网络游戏科技有限公司 一种实时远程控制移动终端的方法和系统
CN107203432A (zh) * 2017-05-27 2017-09-26 网易（杭州）网络有限公司 一种远程控制安卓设备的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105278843A (zh) * 2014-06-24 2016-01-27 鸿合科技有限公司 一种基于远程控制的手势快捷操作方法及系统
CN107181822A (zh) * 2017-07-06 2017-09-19 西安万像电子科技有限公司 通信系统及其通信方法和装置、终端以及终端的控制方法

Also Published As

Publication number Publication date
CN108762659A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108762659B (zh) 云终端的操控方法、装置、存储介质和电子装置
US11860989B2 (en) Verification method and device
KR102058976B1 (ko) 애플리케이션의 처리 방법 및 장치
CN111290695B (zh) 基于优先级控制的终端控制方法、装置和终端
TWI452527B (zh) 基於擴增實境與雲端計算之應用程式執行方法與系統
CN109085950B (zh) 基于电子白板的多屏互动方法、装置及电子白板
CN106028106A (zh) 一种电视操控方法及装置
JP6459545B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
CN108804885B (zh) 人机验证方法和装置、存储介质及处理器
CN106686754B (zh) 一种数据交互方法及数据交互系统
CN103455270A (zh) 视频文件传输方法及视频文件传输系统
US10192042B2 (en) User verifying method, terminal device, server and storage medium
WO2014101213A1 (zh) 鼠标同步的方法、装置和系统
CN104836778B (zh) 一种验证码的实现方法、装置及系统
JP2023516449A (ja) 情報処理方法、装置及び記憶媒体
CN104113570A (zh) 一种通过浏览器或软件程序直接访问Android终端桌面的方法及系统
JP2016139322A (ja) 画像処理装置及びそれを備えた電子黒板
CN105827725A (zh) 应用操控方法和装置、应用远程操控方法和装置
CN114760346A (zh) 一种设备切换方法、装置、系统及电子设备
CN114327201B (zh) 云手机操控方法、装置及计算机设备
JP2018067018A (ja) 電子黒板、画像処理方法、画像処理プログラム、及び画像処理システム
JP2015070345A (ja) 画像処理装置及び画像処理システム
CN109688099B (zh) 服务器端撞库识别方法、装置、设备及可读存储介质
CN107346197B (zh) 一种信息显示方法及装置
CN116938501A (zh) 身份验证方法、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant