CN114237479A - 一种应用程序的控制方法、装置及电子设备 - Google Patents
一种应用程序的控制方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114237479A CN114237479A CN202111495170.8A CN202111495170A CN114237479A CN 114237479 A CN114237479 A CN 114237479A CN 202111495170 A CN202111495170 A CN 202111495170A CN 114237479 A CN114237479 A CN 114237479A
- Authority
- CN
- China
- Prior art keywords
- current interface
- control
- information
- interface image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 15
- 238000004891 communication Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种应用程序的控制方法、第一电子设备及云平台，涉及通信技术领域，尤其涉及数据处理技术领域。具体实现方案为：第一电子设备接收第一控制信息，响应于所述第一控制信息，获取第一应用程序的当前界面图像；所述第一电子设备获取所述当前界面图像的信息；所述第一电子设备接收第二控制信息，响应于所述第二控制信息，基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件；通过无障碍服务触控所述目标控件；其中，所述当前界面图像通过第二应用程序投屏至第二电子设备。
Description
技术领域
本公开涉及通信技术领域，尤其涉及数据处理技术领域的应用程序的控制方法、装置及电子设备。
背景技术
随着计算机技术的发展，人们对投屏显示的需求越来越明显；如将第一电子设备上运行的应用程序的界面投屏显示在第二电子设备上。第二电子设备的用户如何便捷、有效地控制应用程序是一直追求的目标。
发明内容
本公开提供了一种应用程序的控制方法、装置及电子设备。
根据本公开的第一方面，提供了一种应用程序的控制方法，包括：
第一电子设备接收第一控制信息，响应于所述第一控制信息，获取第一应用程序的当前界面图像；
所述第一电子设备获取所述当前界面图像的信息；
所述第一电子设备接收第二控制信息，响应于所述第二控制信息，基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件；
通过无障碍服务触控所述目标控件；其中，所述当前界面图像通过第二应用程序投屏至第二电子设备。
根据本公开的第二方面，提供了一种应用程序的控制方法，所述方法包括：
云平台获取第一电子设备上运行的第一应用程序的当前界面图像；
所述云平台确定所述当前界面图像的信息，所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到；
所述云平台向所述第一电子设备发送所述当前界面图像的信息。
根据本公开的第三方面，提供了一种第一电子设备，所述第一电子设备包括：
第一获取模块，用于接收第一控制信息，响应于所述第一控制信息，获取第一应用程序的当前界面图像；
第二获取模块，用于获取所述当前界面图像的信息；
第一确定模块，用于接收第二控制信息，响应于所述第二控制信息，基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件；
触控模块，用于通过无障碍服务触控所述目标控件；
其中，所述当前界面图像通过第二应用程序投屏至第二电子设备。
根据本公开的第四方面，提供了一种云平台，所述云平台包括：
第三获取模块，用于获取第一电子设备上运行的第一应用程序的当前界面图像；
第二确定模块，用于确定所述当前界面图像的信息，所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到；
发送模块，用于向所述第一电子设备发送所述当前界面图像的信息。
根据本公开的第五方面，提供了一种第一电子设备，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的应用程序的控制方法。
根据本公开的第六方面，提供了一种云平台，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的应用程序的控制方法。
根据本公开的第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的应用程序的控制方法。
根据本公开的第八方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据上述的应用程序的控制方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是将第一电子设备上运行的应用程序的界面投屏显示在第二电子设备上的示意图；
图2是本公开实施例提供的一种可选处理流程示意图；
图3是本公开实施例提供的当前界面图像的一种可选示意图；
图4是本公开实施例提供的当前界面图像对应的提示图像的一种可选示意图；
图5是本公开实施例提供的应用程序的控制方法的另一种可选处理流程示意图；
图6是本公开实施例提供的云平台确定当前界面图像的信息的处理流程示意图；
图7是本公开实施例提供的应用程序的控制方法的一种详细处理流程示意图；
图8是本公开实施例提供的第一电子设备的一种可选组成结构示意图；
图9是本公开实施例提供的云平台的一种可选组成结构示意图；
图10是用来实现本公开实施例的应用程序的控制方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
相关技术中，对着智能终端设备的不断发展，智能终端设备的投屏显示被广泛地应用，如将第一电子设备上运行的应用程序的界面投屏显示在第二电子设备上；但是，由于第一电子设备和第二电子设备的显示屏幕的参数(如显示屏幕的尺寸和显示屏幕的分辨率)可能不同，因此直接将第一电子设备上运行的应用程序的界面投屏显示在第二电子设备上，可能导致第一电子设备上运行的应用程序的界面不能够根据第二电子设备的显示屏幕的参数进行调整显示。将第一电子设备上运行的应用程序的界面投屏显示在第二电子设备上的示意图，如图1所示，第一电子设备的显示屏幕小于第二电子设备的显示屏幕，若第一电子设备上运行的应用程序在第一电子设备上全屏显示时，该应用程序的界面在第二电子设备上投屏显示时，该应用程序不在第二电子设备上全屏显示；导致用户通过第二电子设备控制应用程序不便捷等问题。在一些场景下，若第一电子设备的显示屏幕为正方形，第二电子屏幕为长方形，第一电子设备上全屏显示的界面在第二电子设备上投屏显示时，可能存在投屏的界面显示不全面等问题。
本公开提供一种应用程序的控制方法，在第一电子设备运行的第一应用程序的当前界面图像投屏至第二电子设备时，第一电子设备能够根据第一电子设备当前运行的第一应用程序的界面图像的信息以及接收到的用于控制第一应用程序的第二控制信息，确定控制第一应用程序的目标控件，并通过无障碍服务触控目标控件，实现对第一应用程序的控制。
图2是本公开提供的应用程序的控制方法的一种可选处理流程示意图，应用程序的控制方法至少可以包括以下步骤：
步骤S201，第一电子设备接收第一控制信息，响应于所述第一控制信息，获取第一应用程序的当前界面图像。
在一些实施例中，第一电子设备可以是智能终端设备，如智能手机、平板电脑等任意能够安装应用程序的电子设备。
在一些实施例中，若用户需要控制第一应用程序的当前界面，则用户发送第一控制信息，第一控制信息可以是用户输入的语音信息，也可以是用户针对第一电子设备的触控信息；第一控制信息之后，用于触发第一电子设备获取第一应用程序的当前界面图像。
其中，用户控制第一应用程序的当前界面，可以是指用户通过当前界面上的控件控制第一应用程序；控件也可以称为按钮或图标。第一应用程序是安装于第一电子设备上的应用程序，且第一应用程序是第一电子设备当前正在运行的应用程序，第一应用程序的当前界面图像是第一电子设备的显示屏幕上当前显示的图像。
在一些实施例中，第一电子设备获取第一应用程序的当前界面图像，可以通过第一电子设备的截图功能实现。
在一些实施例中，第一电子设备上运行的第一应用程序的当前界面图像通过第二应用程序投屏至第二电子设备。其中，安装第二应用程序的第一电子设备和第二电子设备具有投屏显示的功能；如通过激活或运行第一电子设备以及第二电子设备上的第二应用程序，使得第一电子设备上运行的第一应用程序的当前界面图像在第二电子设备上同步显示。
步骤S202，第一电子设备获取当前界面图像的信息。
在一些实施例中，第一电子设备获取当前界面图像的信息的实现过程可以是：第一电子设备向云平台发送当前界面图像；云平台接收到当前界面图像之后，获取当前界面图像的信息，并将所获取的当前界面图像的信息发送至第一电子设备。
在一些实施例中，当前界面图像的信息至少可以包括：当前界面图像中控件的信息和所述当前界面图像对应的提示图像。其中，当前界面图像中控件的信息可以包括：当前界面图像中每个控件的尺寸、每个控件的坐标和每个控件的名称。当前界面图像对应的提示图像是在当前界面图像上添加每个控件对应的控制提示信息得到，其中，控制提示信息用于提示用户通过该控制提示信息能够实现对相应的控件的控制；控制提示信息可以是文本的形式。
在一些实施例中，当前界面图像的一种可选示意图，如图3所示，第一应用程序的当前界面包括三个控件，分别是第一控件、第二控件和第三控件；当前界面图像对应的提示图像的一种可选示意图，如图4所示，包括每个控件对应的控制提示信息。
在一些实施例中，以图3所示的当前界面图像为例，当前界面图像的信息可以包括第一控件在当前界面中的坐标、第一控件的大小以及第一控件的名称，第二控件在当前界面中的坐标、第二控件的大小以及第二控件的名称，第三控件在当前界面中的坐标、第三控件的大小以及第三控件的名称。其中，第一控件的名称、第二控件的名称和第三控件的名称可以根据各自能够实现的功能命名，如第一控件的名称为“上一页”，第二控件的名称为“下一页”，第三控件的名称为“返回”。
步骤S203，第一电子设备接收第二控制信息，响应于第二控制信息，基于当前界面图像的信息确定针对所述第一应用程序的目标控件。
在一些实施例中，第二控制信息可以是用户根据第二电子设备上显示的提示图像发送的。可选的，用户可以根据提示图像上控件对应的控制提示信息发送第二控制信息；作为示例，若控件对应的控制提示信息是“上一页”，则用户发送的第二控制信息可以是“上一页”。
在一些实施例中，响应于第二控制信息，基于当前界面图像的信息确定针对所述第一应用程序的目标控件的具体实现过程可以包括：解析第二控制信息，得到第二控制信息对应的命令词；响应于命令词命中当前界面图像的信息中的第一控件，确定第一控件为针对第一应用程序的目标控件。
作为示例，若第二控制信息是用于输入的语音信息，则对语音信息进行解析；对语音信息进行解析，可以包括将语音信息转换为文本信息，识别文本信息中的字词，从识别的字词中确定命令词。确定第二控制信息对应的命令词的过程也可以称为命令词识别或语法识别；其中，命令词识别(语法识别)是基于语法规则，将与语法一致的自然语言音频转换为文本输出的技术。
作为示例，若命令词与当前界面图像的信息中的第一控件一致或匹配，则认为命令词命中当前界面图像的信息中的第一控件；并确定第一控件为目标控件。其中，命令词与第一控件一致或匹配，可以是指命令词与第一控件的名称一致或匹配；举例来说，若命令词是“上一页”，当前界面图像的信息中第一控件的名称是“上一页”，则命令词命中第一控件，第一控件为目标控件。
步骤S204，通过无障碍服务触控目标控件。
在一些实施例中，第一电子设备通过无障碍服务触控目标控件的具体实现过程可以包括：第一电子设备申请无障碍服务的权限，确定所述目标控件的坐标和所述目标控件的尺寸；基于所述目标控件的坐标和所述目标控件的尺寸，通过所述无障碍服务模拟触控功能，对所述目标控件进行触控。
其中，无障碍服务(Accessibility Service)是一套可以模拟操作的系统级别的应用程序接口(Application Programming Interface，API)。用户同意第一电子设备上的应用获取无障碍服务的权限之后便可以模拟操作，以控制第一电子设备。
在具体实施时，在步骤S202中，第一电子设备接收云平台发送的当前界面图像的信息包括每个控件的尺寸和坐标；第一电子设备确定目标控件之后，在当前界面图像的信息中查找目标控件的尺寸和坐标；并通过无障碍服务模拟触控功能，按照目标控件的坐标和尺寸对目标控件进行触控；具体的，可根据目标控件的坐标和尺寸确定能够触控目标控件的范围，在该范围内触控目标控件，通过对目标控件进行触控，实现对第一应用程序的控制。其中，对目标控件进行触控可以是单击目标控件、双击目标控件或长按目标控件等操作。
本申请实施例中，第一电子设备根据用户输入的第二控制信息调用无障碍服务，实现对第一应用程序的控制；第一应用程序的当前界面图像通过第二应用程序在第二电子设备上投屏显示，使得用户无需手动触控第二电子设备上的显示界面，通过语音便能控制第二电子设备上显示的界面图像在第二电子设备，便捷、有效地控制投屏显示至第二电子设备上的第一应用程序。
图5是本公开提供的应用程序的控制方法的另一种可选处理流程示意图，应用程序的控制方法至少可以包括以下步骤：
步骤S301，云平台获取第一电子设备上运行的第一应用程序的当前界面图像。
在一些实施例中，云平台接收第一电子设备发送的第一应用程序的当前界面图像。第一电子设备可以是智能终端设备，如智能手机、平板电脑等任意能够安装应用程序的电子设备。
步骤S302，云平台确定当前界面图像的信息。
在一些实施例中，所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到。
在一些实施例中，云平台确定当前界面图像的信息的处理流程，如图6所示，包括：
步骤3a，云平台根据当前界面图像确定当前界面图像所对应的第一应用程序、以及当前界面图像所对应的页面信息。
在一些实施例中，云平台中预先存储不同应用程序的界面，每个应用程序的界面可以包括多个。作为示例，一个播放应用程序，可以包括播放应用程序的主界面、电台界面和直播界面等。
在具体实施时，云平台可以在预先存储的图像中查找与所述当前界面图像的相似度满足匹配条件的图像；确定所述满足匹配条件的图像对应的应用程序为所述第一应用程序、以及所述当前界面图像所对应的页面信息。具体的，云平台可以从文本、图片、图像的布局等多个维度比较当前界面图像和预先存储的图像，得到当前界面图像与预先存储的图像的相似度；在相似度满足匹配条件时，确定满足匹配条件的图像对应的应用程序为第一应用程序，并确定满足匹配条件的图像对应的页面信息为当前界面图像所对应的页面信息。其中，匹配条件可以是两幅图像的相似度达到设定的阈值。
步骤3b，云平台根据页面信息确定当前界面图像中每个控件的信息。
在一些实施例中，云平台接收第一电子设备发送的当前界面图像时，还可以包括当前界面图像的分辨率信息。云平台首先确定预先存储的、与当前界面图像匹配的图像中每个控件的信息(如控件在与当前界面图像匹配的图像中的坐标、控件的大小、控件的名称)，再根据当前界面图像的分辨率信息确定当前界面图像中每个控件的信息(如控件在当前界面图像中的坐标、大小和名称)。
步骤3c，云平台根据每个控件的信息在当前界面图像上添加每个控件的控制提示信息，得到当前界面图像对应的提示图像。
在一些实施例中，控制提示信息可以与控件的名称相同，控制提示信息用于提示对应的控件所能够实现的功能。
下面以第一电子设备为智能终端设备，第二电子设备为车载终端设备，第二应用程序为CarLife为例，对本申请实施例提供的应用程序的控制方法进行说明。本申请实施例提供的应用程序的控制方法的一种详细处理流程，可以如图7所示，包括：
步骤S401、智能终端设备与车载终端设备通过CarLife互联。
步骤S402、智能终端设备通过CarLife将第三方应用程序的显示界面投屏至车载终端设备。
在一些实施例中，智能终端设备运行CarLife，使得CarLife进入全局录屏模式。智能终端设备运行第三方应用程序，通过CarLife将第三方应用程序的当前界面图投屏显示至车载终端设备。
步骤S403、用户通过语音信息激活智能终端设备的截图功能。
在一些实施例中，用户希望控制第三方应用程序的当前界面时，用户通过语音信息激活智能终端设备的截图功能，智能终端设备截图第三方应用程序的当前界面图像。
步骤S404、智能终端设备向云平台发送当前界面图像。
在一些实施例中，智能终端设备还可以向车载终端设备发送当前界面图像的分辨率信息。
步骤S405、云平台确定当前界面的属性信息。
在一些实施例中，当前界面的属性信息包括当前界面所对应的应用程序以及当前界面所对应的页面信息(当前界面属于应用程序中的哪一个界面)。具体的，云平台根据在预先存储的图像中查找与所述当前界面图像的相似度满足匹配条件的图像；确定所述满足匹配条件的图像对应的应用程序为当前界面所对应的应用程序。并确定满足匹配条件的图像对应的页面信息为当前界面图像所对应的页面信息。其中，匹配条件可以是两幅图像的相似度达到设定的阈值。
步骤S406、云平台确定当前界面图像对应的提示图像，以及当前界面上的按钮的坐标、大小和名称。
在一些实施例中，当前界面图像对应的提示图像是在当前界面图像上添加每个按钮对应的控制提示信息得到，其中，控制提示信息用于提示用户通过该控制提示信息能够实现对相应的按钮的控制；控制提示信息可以是文本的形式。
步骤S407、云平台将当前界面图像对应的提示图像，以及当前界面上的按钮的坐标、大小和名称发送至智能终端设备。
步骤S408、智能终端设备通过CarLife将提示图像在车载终端设备上投屏显示。
在一些实施例中，智能终端设备还可以根据提示图像上的控制提示信息注册场景化命令词，通过场景化命令词能够实现对按钮的控制；其中，场景化命令词可以与按钮的名称一致。
步骤S409、用户发起场景化命令词，智能终端设备通过无障碍服务控制按钮。
在一些实施例中，智能终端设备识别到用户发起的场景化命令词与当前界面上的某个按钮一致时，智能终端设备申请无障碍服务权限，利用无障碍服务模拟控制按钮。具体的，可根据按钮的坐标和按钮的大小模拟点击按钮，实现对按钮的点击、长按、双击等操作。
步骤S410，智能终端设备将对按钮进行控制后的应用程序界面投屏显示至车载终端设备。
本申请实施例中，车载终端设备与智能终端设备通过CarLife关联，使得智能终端设备上的界面图像能够投屏显示在车载终端设备上。用户在需要控制车载终端设备上的投屏界面时，无需手动控制车载终端设备和智能终端设备，用户通过发起相应的场景化命令词，智能终端设备便能够通过无障碍服务控制智能终端设备上的显示界面，进而实现对车载终端设备上投屏界面的控制。
本公开实施例还提供一种第一电子设备，第一电子设备的示意图，如图8所示，第一电子设备包括：
第一获取模块501，用于接收第一控制信息，响应于所述第一控制信息，获取第一应用程序的当前界面图像；
第二获取模块502，用于获取所述当前界面图像的信息；
第一确定模块503，用于接收第二控制信息，响应于所述第二控制信息，基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件；
触控模块504，用于通过无障碍服务触控所述目标控件；其中，所述当前界面图像通过第二应用程序投屏至第二电子设备。
在一些实施例中，第二获取模块502，用于向云平台发送所述当前界面图像；接收所述云平台发送的所述当前界面图像的信息；所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到。
在一些实施例中，所述第一电子设备还包括：投屏模块505，用于通过所述第二应用程序将所述提示图像投屏至所述第二电子设备。
在一些实施例中，第一确定模块503，用于解析所述第二控制信息，得到所述第二控制信息对应的命令词；
响应于所述命令词命中所述当前界面图像的信息中的第一控件，确定所述第一控件为针对所述第一应用程序的目标控件。
在一些实施例中，触控模块504，用于获取所述无障碍服务的权限；确定所述目标控件的坐标和所述目标控件的尺寸；基于所述目标控件的坐标和所述目标控件的尺寸，通过所述无障碍服务模拟触控功能，对所述目标控件进行触控。
本公开实施例还提供一种云平台，云平台的一种可选组成结构示意图，如图9所示，云平台包括：
第三获取模块601，用于获取第一电子设备上运行的第一应用程序的当前界面图像；
第二确定模块602，用于确定所述当前界面图像的信息，所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到；
发送模块603，用于向所述第一电子设备发送所述当前界面图像的信息。
在一些实施例中，第二确定模块602，用于根据所述当前界面图像确定所述当前界面图像所对应的所述第一应用程序、以及所述当前界面图像所对应的页面信息；根据所述页面信息确定所述当前界面图像中每个控件的信息；根据所述每个控件的信息在所述当前界面图像上添加所述每个控件的控制提示信息，得到所述当前界面图像对应的提示图像。
在一些实施例中，第二确定模块602，用于在预先存储的图像中查找与所述当前界面图像的相似度满足匹配条件的图像；
确定所述满足匹配条件的图像对应的应用程序为所述第一应用程序、以及所述当前界面图像所对应的页面信息。
在一些实施例中，所述控件的信息包括：所述控件的坐标、所述控件的尺寸和所述控件的名称。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品，所述电子设备包括第一电子设备或云平台。
图10示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。在一些实施例中，电子设备800可以是终端设备，也可以是服务器。在一些实施例中，电子设备800可以通过运行计算机程序来实现本申请实施例提供的应用程序的控制方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(Application，APP)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
在实际应用中，电子设备800可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。电子设备800可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。
电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、车载终端和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如应用程序的控制方法。例如，在一些实施例中，应用程序的控制方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的应用程序的控制方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为应用程序的控制方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的交通识别限制方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (15)
1.一种应用程序的控制方法，包括：
第一电子设备接收第一控制信息，响应于所述第一控制信息，获取第一应用程序的当前界面图像；
所述第一电子设备获取所述当前界面图像的信息；
所述第一电子设备接收第二控制信息，响应于所述第二控制信息，基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件；
通过无障碍服务触控所述目标控件；
其中，所述当前界面图像通过第二应用程序投屏至第二电子设备。
2.根据权利要求1所述的方法，其中，所述第一电子设备获取所述当前界面图像的信息，包括：
所述第一电子设备向云平台发送所述当前界面图像；
所述第一电子设备接收所述云平台发送的所述当前界面图像的信息；
所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到。
3.根据权利要求2所述的方法，其中，所述方法还包括：
所述第一电子设备通过所述第二应用程序将所述提示图像投屏至所述第二电子设备。
4.根据权利要求1至3任一项所述的方法，其中，所述响应于所述第二控制信息，基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件，包括：
解析所述第二控制信息，得到所述第二控制信息对应的命令词；
响应于所述命令词命中所述当前界面图像的信息中的第一控件，确定所述第一控件为针对所述第一应用程序的目标控件。
5.根据权利要求1至3任一项所述的方法，其中，所述通过无障碍服务触控所述目标控件，包括：
所述第一电子设备获取所述无障碍服务的权限；
所述第一电子设备确定所述目标控件的坐标和所述目标控件的尺寸；
所述第一电子设备基于所述目标控件的坐标和所述目标控件的尺寸，通过所述无障碍服务模拟触控功能，对所述目标控件进行触控。
6.一种应用程序的控制方法，包括：
云平台获取第一电子设备上运行的第一应用程序的当前界面图像；
所述云平台确定所述当前界面图像的信息，所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到；
所述云平台向所述第一电子设备发送所述当前界面图像的信息。
7.根据权利要求6所述的方法，其中，所述云平台确定所述当前界面图像的信息，包括：
所述云平台根据所述当前界面图像确定所述当前界面图像所对应的所述第一应用程序、以及所述当前界面图像所对应的页面信息；
所述云平台根据所述页面信息确定所述当前界面图像中每个控件的信息；
所述云平台根据所述每个控件的信息在所述当前界面图像上添加所述每个控件的控制提示信息，得到所述当前界面图像对应的提示图像。
8.根据权利要求7所述的方法，其中，所述云平台根据所述当前界面图像确定所述当前界面图像所对应的所述第一应用程序、以及所述当前界面图像所对应的页面信息，包括：
所述云平台在预先存储的图像中查找与所述当前界面图像的相似度满足匹配条件的图像；
确定所述满足匹配条件的图像对应的应用程序为所述第一应用程序、以及所述当前界面图像所对应的页面信息。
9.根据权利要求7或8所述的方法，其中，所述控件的信息包括：
所述控件的坐标、所述控件的尺寸和所述控件的名称。
10.一种第一电子设备，所述第一电子设备包括：
第一获取模块，用于接收第一控制信息，响应于所述第一控制信息，获取第一应用程序的当前界面图像；
第二获取模块，用于获取所述当前界面图像的信息；
第一确定模块，用于接收第二控制信息，响应于所述第二控制信息，基于所述当前界面图像的信息确定针对所述第一应用程序的目标控件；
触控模块，用于通过无障碍服务触控所述目标控件；
其中，所述当前界面图像通过第二应用程序投屏至第二电子设备。
11.一种云平台，所述云平台包括：
第三获取模块，用于获取第一电子设备上运行的第一应用程序的当前界面图像；
第二确定模块，用于确定所述当前界面图像的信息，所述当前界面图像的信息至少包括：所述当前界面图像中控件的信息和所述当前界面图像对应的提示图像；所述提示图像由在所述当前界面图像上增加所述当前界面图像中每个控件的控制提示信息得到；
发送模块，用于向所述第一电子设备发送所述当前界面图像的信息。
12.一种第一电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
13.一种云平台，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求6至9中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至5中任一项所述的方法；
或者，所述计算机指令用于使所述计算机执行根据权利要求6至9中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1至5中任一项所述的方法；
或者，所述计算机程序/指令被处理器执行时实现权利要求6至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495170.8A CN114237479A (zh) | 2021-12-08 | 2021-12-08 | 一种应用程序的控制方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495170.8A CN114237479A (zh) | 2021-12-08 | 2021-12-08 | 一种应用程序的控制方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114237479A true CN114237479A (zh) | 2022-03-25 |
Family
ID=80754178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111495170.8A Pending CN114237479A (zh) | 2021-12-08 | 2021-12-08 | 一种应用程序的控制方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114237479A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9460175B1 (en) * | 2015-06-03 | 2016-10-04 | Palantir Technologies Inc. | Server implemented geographic information system with graphical interface |
| CN109471678A (zh) * | 2018-11-07 | 2019-03-15 | 苏州思必驰信息科技有限公司 | 基于图像识别的语音中控方法及装置 |
| CN110058838A (zh) * | 2019-04-28 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 语音控制方法、装置、计算机可读存储介质和计算机设备 |
| CN110489312A (zh) * | 2019-06-27 | 2019-11-22 | 苏宁云计算有限公司 | 用于控件触发数据采集的数据关联方法和装置 |
| US20200128210A1 (en) * | 2018-10-18 | 2020-04-23 | Fujitsu Limited | Display control apparatus and display control method |
| CN111240614A (zh) * | 2018-11-28 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 投屏处理方法、装置和设备 |
| CN111475241A (zh) * | 2020-04-02 | 2020-07-31 | 深圳创维－Rgb电子有限公司 | 一种界面的操作方法、装置、电子设备及可读存储介质 |
| CN111880870A (zh) * | 2020-06-19 | 2020-11-03 | 维沃移动通信有限公司 | 控制电子设备的方法、装置和电子设备 |
| CN113360116A (zh) * | 2021-06-25 | 2021-09-07 | 阿波罗智联(北京)科技有限公司 | 控制终端的方法、装置、设备以及存储介质 |
| US20210314668A1 (en) * | 2019-06-10 | 2021-10-07 | Hisense Visual Technology Co., Ltd. | Display Device And Content Recommendation Method |
| CN113537230A (zh) * | 2021-09-14 | 2021-10-22 | 北京世纪好未来教育科技有限公司 | 一种消息发布方式的有效性确定方法及装置、电子设备 |
-
2021
- 2021-12-08 CN CN202111495170.8A patent/CN114237479A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9460175B1 (en) * | 2015-06-03 | 2016-10-04 | Palantir Technologies Inc. | Server implemented geographic information system with graphical interface |
| US20200128210A1 (en) * | 2018-10-18 | 2020-04-23 | Fujitsu Limited | Display control apparatus and display control method |
| CN109471678A (zh) * | 2018-11-07 | 2019-03-15 | 苏州思必驰信息科技有限公司 | 基于图像识别的语音中控方法及装置 |
| CN111240614A (zh) * | 2018-11-28 | 2020-06-05 | 阿里巴巴集团控股有限公司 | 投屏处理方法、装置和设备 |
| CN110058838A (zh) * | 2019-04-28 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 语音控制方法、装置、计算机可读存储介质和计算机设备 |
| US20210314668A1 (en) * | 2019-06-10 | 2021-10-07 | Hisense Visual Technology Co., Ltd. | Display Device And Content Recommendation Method |
| CN110489312A (zh) * | 2019-06-27 | 2019-11-22 | 苏宁云计算有限公司 | 用于控件触发数据采集的数据关联方法和装置 |
| CN111475241A (zh) * | 2020-04-02 | 2020-07-31 | 深圳创维－Rgb电子有限公司 | 一种界面的操作方法、装置、电子设备及可读存储介质 |
| CN111880870A (zh) * | 2020-06-19 | 2020-11-03 | 维沃移动通信有限公司 | 控制电子设备的方法、装置和电子设备 |
| CN113360116A (zh) * | 2021-06-25 | 2021-09-07 | 阿波罗智联(北京)科技有限公司 | 控制终端的方法、装置、设备以及存储介质 |
| CN113537230A (zh) * | 2021-09-14 | 2021-10-22 | 北京世纪好未来教育科技有限公司 | 一种消息发布方式的有效性确定方法及装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110173172A1 (en) | Input method editor integration | |
| WO2017098332A2 (en) | Method and system for inputting information | |
| CN104866275B (zh) | 一种用于获取图像信息的方法和装置 | |
| CN108768824B (zh) | 信息处理方法及装置 | |
| CN113407850B (zh) | 一种虚拟形象的确定和获取方法、装置以及电子设备 | |
| WO2015043442A1 (en) | Method, device and mobile terminal for text-to-speech processing | |
| US11556605B2 (en) | Search method, device and storage medium | |
| WO2023142451A1 (zh) | 工作流生成方法、装置、电子设备 | |
| WO2020119544A1 (zh) | 网络传输模拟方法、装置、计算机设备及存储介质 | |
| CN115309470B (zh) | 微件的加载方法、装置、设备以及存储介质 | |
| KR20210106395A (ko) | 건축물 추출 방법, 장치, 기기 및 저장 매체 | |
| KR20220083988A (ko) | 인증코드의 동기화 방법, 장치, 전자 기기 및 저장 매체 | |
| CN113392660A (zh) | 页面翻译方法、装置、电子设备及存储介质 | |
| CN117312140A (zh) | 测试用例的生成方法、装置、电子设备及存储介质 | |
| WO2023115831A1 (zh) | 应用程序的测试方法、装置、电子设备及存储介质 | |
| CN114237479A (zh) | 一种应用程序的控制方法、装置及电子设备 | |
| CN106383705B (zh) | 在应用瘦客户端中设置鼠标显示状态的方法及装置 | |
| CN113641439A (zh) | 文本识别和展示方法、装置、电子设备和介质 | |
| CN113722037A (zh) | 一种用户界面的刷新方法、装置、电子设备及存储介质 | |
| CN113873323A (zh) | 视频播放方法、装置、电子设备和介质 | |
| CN113469732A (zh) | 基于内容理解的审核方法、装置及电子设备 | |
| CN113157966A (zh) | 显示方法、装置及电子设备 | |
| US20230216912A1 (en) | Page Display Method and Electronic Device | |
| CN112765975B (zh) | 分词岐义处理方法、装置、设备以及介质 | |
| CN108733814B (zh) | 搜索引擎预加载方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |