CN110865760A - 电子设备操作方法、装置、电子设备及存储介质 - Google Patents
电子设备操作方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110865760A CN110865760A CN201911130223.9A CN201911130223A CN110865760A CN 110865760 A CN110865760 A CN 110865760A CN 201911130223 A CN201911130223 A CN 201911130223A CN 110865760 A CN110865760 A CN 110865760A
- Authority
- CN
- China
- Prior art keywords
- interface
- server
- application
- data
- application interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Abstract
本公开提供了一种电子设备操作方法、装置、电子设备及存储介质，属于电子设备技术领域。本公开实施例提供的电子设备操作方法包括：显示第一目标应用的第一应用界面；向第一服务器发送所述第一应用界面的界面数据，以及，向所述第一服务器发送接收到的语音信号，接收所述第一服务器返回的所述第一操作指令，在所述第一应用界面中执行所述第一操作指令对应的操作。由于电子设备将第一服务器发送界面数据和语音信号，使得电子设备可以根据第一服务器返回的第一操作指令，在第一应用界面中执行对应的操作，从而用户不需要进行复杂的操作，即可在电子设备中实现想要的功能，提高了用户的交互体验。
Description
技术领域
本公开涉及电子设备技术领域，特别涉及一种电子设备操作方法、装置、电子设备及存储介质。
背景技术
随着电子设备技术的发展，手机、平板电脑、智能电视、智能音箱等电子设备支持与用户的交互。用户可以通过点击控制电子设备实现相应的功能。例如，用户可以在电子设备上点外卖、在电子设备上看电影以及在电子设备上进行导航等。
相关技术中，电子设备中存储有触控指令和该触控指令对应的触控操作，当电子设备接收到用户的触控操作时，电子设备根据该触控操作对应的触控指令执行相应的操作，如支付订单、搜索电影以及显示导航路线等。
发明内容
本公开实施例提供了一种电子设备操作方法、装置、电子设备及存储介质，能够解决相关技术中触控操作较为复杂的问题。所述技术方案如下：
根据本公开实施例的一方面，提供了一种电子设备操作方法，所述方法包括：
显示第一目标应用的第一应用界面；
向第一服务器发送所述第一应用界面的界面数据，以及，向所述第一服务器发送接收到的语音信号，所述第一服务器用于根据所述语音信号和所述界面数据，生成所述语音信号对应的第一操作指令；
接收所述第一服务器返回的所述第一操作指令，在所述第一应用界面中执行所述第一操作指令对应的操作。
在一种可能的实现方式中，所述向第一服务器发送所述第一应用界面的界面数据，包括：
当接收到被输入的语音信号时，向所述第一服务器发送所述第一应用界面的界面数据；或者；
当所述第一应用界面中包括触控控件时，向所述第一服务器发送所述第一应用界面的界面数据；或者，
当渲染完所述第一应用界面时，向所述第一服务器发送所述第一应用界面的界面数据。
在另一种可能的实现方式中，所述方法还包括：
获取所述第一目标应用的传输协议；
当所述第一目标应用的传输协议表示由所述第一服务器基于界面数据生成操作指令时，执行所述向第一服务器发送所述第一应用界面的界面数据的步骤。
在另一种可能的实现方式中，所述方法还包括：
获取所述第一应用界面的界面数据；
当所述界面数据中不包含敏感信息时，执行所述向第一服务器发送所述第一应用界面的界面数据的步骤。
在另一种可能的实现方式中，所述第一应用界面的界面数据包括触控控件对应的第一界面数据和除所述第一界面数据以外的第二界面数据；
向第一服务器发送所述第一应用界面的界面数据，包括：
从所述第一应用界面的界面数据中获取触控控件对应的第一界面数据，向所述第一服务器发送所述第一界面数据。
在另一种可能的实现方式中，所述显示第一目标应用的第一应用界面，包括：
向所述第一服务器发送第一获取请求，以及，向所述第一目标应用对应的第二服务器发送第二获取请求，所述第一获取请求用于获取样式数据，所述第二获取请求用于获取界面数据；
接收所述第一服务器返回的所述第一应用界面的样式数据，以及，接收所述第二服务器返回的所述第一应用界面的界面数据；
根据所述样式数据和所述界面数据，渲染所述第一应用界面。
在另一种可能的实现方式中，所述方法还包括：
显示本地已安装的第二目标应用的第二应用界面，所述第二应用界面中包括本地未安装的所述第一目标应用的应用接口；
当所述第一目标应用的应用接口被触发时，启动所述第一目标应用。
根据本公开实施例的另一方面，提供了一种电子设备操作装置，所述装置包括：
显示模块，被配置为显示第一目标应用的第一应用界面；
发送模块，被配置为向第一服务器发送所述第一应用界面的界面数据，以及，向所述第一服务器发送接收到的语音信号，所述第一服务器用于根据所述语音信号和所述界面数据，生成所述语音信号对应的第一操作指令；
接收模块，被配置为接收所述第一服务器返回的所述第一操作指令；
执行模块，被配置为在所述第一应用界面中执行所述第一操作指令对应的操作。
在一种可能的实现方式中，所述发送模块，还被配置为当接收到被输入的语音信号时，向所述第一服务器发送所述第一应用界面的界面数据；或者；
所述发送模块，还被配置为当所述第一应用界面中包括触控控件时，向所述第一服务器发送所述第一应用界面的界面数据；或者，
所述发送模块，还被配置为当渲染完所述第一应用界面时，向所述第一服务器发送所述第一应用界面的界面数据。
在另一种可能的实现方式中，所述发送模块，还被配置为获取所述第一目标应用的传输协议；当所述第一目标应用的传输协议表示由所述第一服务器基于界面数据生成操作指令时，向第一服务器发送所述第一应用界面的界面数据。
在另一种可能的实现方式中，所述装置还包括：
所述发送模块，还被配置为获取所述第一应用界面的界面数据；当所述界面数据中不包含敏感信息时，向第一服务器发送所述第一应用界面的界面数据。
在另一种可能的实现方式中，所述第一应用界面的界面数据包括触控控件对应的第一界面数据和除所述第一界面数据以外的第二界面数据；
所述发送模块，还被配置为从所述第一应用界面的界面数据中获取触控控件对应的第一界面数据，向所述第一服务器发送所述第一界面数据。
在另一种可能的实现方式中，所述显示模块，还被配置为向所述第一服务器发送第一获取请求，以及，向所述第一目标应用对应的第二服务器发送第二获取请求，所述第一获取请求用于获取样式数据，所述第二获取请求用于获取界面数据；接收所述第一服务器返回的所述第一应用界面的样式数据，以及，接收所述第二服务器返回的所述第一应用界面的界面数据；根据所述样式数据和所述界面数据，渲染所述第一应用界面。
在另一种可能的实现方式中，所述装置还包括：
所述显示模块，还被配置为显示本地已安装的第二目标应用的第二应用界面，所述第二应用界面中包括本地未安装的所述第一目标应用的应用接口；
启动模块，被配置为当所述第一目标应用的应用接口被触发时，启动所述第一目标应用。
根据本公开实施例的另一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为：
显示第一目标应用的第一应用界面；
向第一服务器发送所述第一应用界面的界面数据，以及，向所述第一服务器发送接收到的语音信号，所述第一服务器用于根据所述语音信号和所述界面数据，生成所述语音信号对应的第一操作指令；
接收所述第一服务器返回的所述第一操作指令，在所述第一应用界面中执行所述第一操作指令对应的操作。
根据本公开实施例的另一方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述电子设备操作方法。
本公开实施例提供的技术方案带来的有益效果至少包括：
在本公开实施例中，由于电子设备将第一服务器发送界面数据和语音信号，使得电子设备可以根据第一服务器返回的第一操作指令，在第一应用界面中执行对应的操作，从而用户不需要进行复杂的操作，即可在电子设备中实现想要的功能，提高了用户的交互体验。
并且，由于电子设备可以直接向第二服务器发送第二获取请求，使得该第二获取请求不经过第一服务器，从而第一服务器不能够捕获到第二获取请求，保护了用户隐私
并且，由于电子设备将第一获取请求和第二获取请求同时发送给第一服务器，由第一服务器将第二获取请求转发给第二服务器，后续第二获取请求的界面数据也由第一服务器转发给电子设备，使得能够保证第二服务器返回的界面数据和第一服务器返回的样式数据一起返回给电子设备，从而电子设备可以同时渲染样式数据和界面数据，保证样式数据和界面数据是同时渲染出来的，避免出现渲染不同步的问题。
并且，由于仅向第一服务器发送触控控件对应的第一界面数据，而其他界面数据不发送给第一服务器，这样既能够实现由第一服务器为电子设备生成第一操作指令，又能保护隐私。
并且，由于电子设备将第一应用界面的界面数据和该语音信号都发送给第一服务器，使得第一服务器能够结合该第一应用界面的界面数据，匹配出该语音信号的第一操作指令，从而提高了匹配出第一操作指令的准确性。并且，由于当接收到语音信号时，电子设备才将第一应用界面的界面数据发送给第一服务器，使得当没有接收到语音信号时，用户可能不通过语音信号控制电子设备，此时电子设备并不将第一应用界面的界面数据发送给第一服务器，从而节省网络资源。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种实施环境的示意图；
图2是本公开实施例提供的一种电子设备操作方法的流程图；
图3是本公开实施例提供的一种电子设备操作方法的交互流程图；
图4是本公开实施例提供的一种电子设备操作方法的交互流程图；
图5是本公开实施例提供的一种电子设备操作方法的交互流程图；
图6是本公开实施例提供的一种快应用框架的框图；
图7是本公开实施例提供的一种快应用的启动流程图；
图8是本公开实施例提供的一种电子设备操作装置的框图；
图9是本公开实施例提供的一种电子设备的结构框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
快应用：是一种新型应用程序，能够基于操作系统提供的原生API(ApplicationProgramming Interface，应用程序编程接口)运行。快应用采用统一的标准进行开发，原生渲染，同时具备HTML5(Hyper Text Markup Language，超文本标记语言第5代)界面和原生应用的双重优点。快应用的框架可以深度集成于操作系统中，能够在操作系统层面进行操作，实现与其他应用服务之间的无缝衔接。开发者可以做到一次性开发即可在不同类型的设备上运行，并且无需用户进行下载和安装即可使用，即点即用。
由于快应用的特殊性，快应用被期待完成更多的任务，实现更多的功能。目前，快应用的功能正在逐步完善中，本公开实施例就是提供了一种快应用的新功能，利用该新功能，快应用能够实现与用户的语音交互，扩展了快应用的功能，提高了快应用的处理能力以及实用性。
图1是本公开实施例提供的一种实施环境的示意图。参见图1，该实施环境中包括电子设备101、第一服务器102和第二服务器103。电子设备101上安装有第二目标应用，该第二目标应用可以为快应用。第一服务器102可以为第二目标应用提供后台服务，也即第一服务器102为快应用对应的后台服务器。
电子设备101可以通过第二目标应用使用第一目标应用，第一目标应用可以为任一未下载，且可以通过第二目标应用进行使用的应用。例如，第一目标应用可以为购物应用或者打车应用等。第二服务器103可以为第一目标应用对应的后台服务器。
第一服务器102可以为第一目标应用提供样式数据，而第二服务器103可以为第一目标应用提供界面数据。电子设备101可以基于第一目标应用的样式数据和界面数据渲染得到第一应用界面。其中，电子设备101可以为电视、电脑、手机、平板电脑或者其他电子设备。第一服务器102可以为一台服务器、若干台服务器构成的服务器集群或云计算中心。同样，第二服务器103也可以为一台服务器、若干台服务器构成的服务器集群或云计算中心。
在本公开实施例中，电子设备101的第一目标应用支持语音交互功能，并且，电子设备101接收对第一目标应用进行操作的语音信号时，可以将该语音信号发送给第一服务器102，由该第一服务器102对该语音信号进行语义识别。在本公开实施例中，由于第一服务器102中不存储第一应用界面的界面数据，因此电子设备101可以将第一应用界面的界面数据发送给第一服务器102，从而第一服务器102就可以基于第一应用界面的界面数据和该语音信号，生成第一操作指令。例如，第一应用界面为购物应用对应的应用界面，并且，第一应用界面中包括“麦乐鸡”以及“麦乐鸡”对应的触控按钮。当用户输入语音信号“我要麦乐鸡”时，第一服务器可以生成第一操作指令“将麦乐鸡加入购物车中”。电子设备101接收到第一操作指令后，可以将麦乐鸡加入购物车中。
在本公开实施例中，电子设备101可以有三种将第一应用界面的界面数据发送给第一服务器102的方式，分别为：
第一种实现方式，只有在接收到语音信号时，电子设备101才将第一应用界面的界面数据发送给第一服务器102，当没有接收到语音信号时，用户可能不通过语音信号控制电子设备101，此时电子设备101并不将第一应用界面的界面数据发送给第一服务器102，从而节省网络资源。
第二种实现方式，只有第一应用界面中包括触控控件时，电子设备101才将第一应用界面的界面数据发送给第一服务器102，此时，用户能够基于语音信号代替手动触摸该触控控件的方式触发第一操作指令。当第一应用界面中不包括触控控件时，电子设备101可以不将第一应用的界面数据发送给第一服务器102，这是由于，当前界面仅仅是一个浏览界面，用户无法进行操作，因此不需要向第一服务器发送界面数据，从而可以节省网络资源。
第三种实现方式，当电子设备101渲染完第一应用界面时，电子设备101就将第一应用界面的界面数据发送给第一服务器102，这样当用户输入语音信号时，由于第一服务器中已经存储有第一应用界面的界面数据，电子设备101只需要将语音信号发送给第一服务器102，不需要当前传输第一应用界面的界面数据，从而能够缩短传输时间，提高操作效率。
图2是本公开实施例提供的一种电子设备操作方法的流程图。参见图2，该电子设备操作方法包括以下步骤：
在步骤S201中，电子设备显示第一目标应用的第一应用界面；
在步骤S202中，电子设备向第一服务器发送第一应用界面的界面数据，以及，向第一服务器发送接收到的语音信号，第一服务器用于根据语音信号和界面数据，生成语音信号对应的第一操作指令；
在步骤S203中，电子设备接收第一服务器返回的第一操作指令，在第一应用界面中执行第一操作指令对应的操作。
在本公开实施例中，由于电子设备将第一服务器发送界面数据和语音信号，使得电子设备可以根据第一服务器返回的第一操作指令，在第一应用界面中执行对应的操作，从而用户不需要进行复杂的操作，即可在电子设备中实现想要的功能，提高了用户的交互体验。
在一种可能的实现方式中，向第一服务器发送第一应用界面的界面数据，包括：
当接收到被输入的语音信号时，向第一服务器发送第一应用界面的界面数据；或者；
当第一应用界面中包括触控控件时，向第一服务器发送第一应用界面的界面数据；或者，
当渲染完第一应用界面时，向第一服务器发送第一应用界面的界面数据。
在另一种可能的实现方式中，方法还包括：
获取第一目标应用的传输协议；
当第一目标应用的传输协议表示由第一服务器基于界面数据生成操作指令时，执行向第一服务器发送第一应用界面的界面数据的步骤。
在另一种可能的实现方式中，方法还包括：
获取第一应用界面的界面数据；
当界面数据中不包含敏感信息时，执行向第一服务器发送第一应用界面的界面数据的步骤。
在另一种可能的实现方式中，第一应用界面的界面数据包括触控控件对应的第一界面数据和除第一界面数据以外的第二界面数据；
向第一服务器发送第一应用界面的界面数据，包括：
从第一应用界面的界面数据中获取触控控件对应的第一界面数据，向第一服务器发送第一界面数据。
在另一种可能的实现方式中，显示第一目标应用的第一应用界面，包括：
向第一服务器发送第一获取请求，以及，向第一目标应用对应的第二服务器发送第二获取请求，第一获取请求用于获取样式数据，第二获取请求用于获取界面数据；
接收第一服务器返回的第一应用界面的样式数据，以及，接收第二服务器返回的第一应用界面的界面数据；
根据样式数据和界面数据，渲染第一应用界面。
在另一种可能的实现方式中，方法还包括：
显示本地已安装的第二目标应用的第二应用界面，第二应用界面中包括本地未安装的第一目标应用的应用接口；
当第一目标应用的应用接口被触发时，启动第一目标应用。
图3是本公开实施例提供的一种电子设备操作方法的交互流程图。参见图3，在本公开实施例中，以只有在有语音信号时，才将第一应用界面的界面数据发送给第一服务器为例进行说明。则该电子设备操作方法包括以下步骤：
在步骤S301中，电子设备显示第一目标应用的第一应用界面。
第一目标应用为电子设备本地未安装的应用。电子设备本地安装有第二目标应用，该第二目标应用为快应用。电子设备可以通过第二目标应用快速启动第一目标应用。其中，电子设备启动第一目标应用的步骤可以为：电子设备显示本地已安装的第二目标应用的第二应用界面，第二应用界面中包括本地未安装的多个应用的应用接口，多个应用的应用接口中包括上述第一目标应用的应用接口。当用户想要启动第一目标应用时，用户可以点击第一目标应用的应用接口。当第一目标应用的应用接口被触发时，电子设备启动该第一目标应用。第一应用界面可以为第一目标应用的首页，也可以为第一目标应用的非首页，在本公开实施例中，对第一应用界面不作限定。
第一目标应用可以为电子设备通过第二目标应用启动的应用程序。第一服务器可以为第一目标应用提供样式数据，第二服务器可以为第一目标应用提供界面数据。相应的，本步骤可以通过以下步骤(1)至(5)实现，包括：
(1)电子设备向第一服务器发送第一获取请求，以及，向该第一目标应用对应的第二服务器发送第二获取请求。
其中，第一获取请求用于获取样式数据，第二获取请求用于获取界面数据。并且，第一获取请求中携带有第一应用界面的URL(Uniform Resource Locator，统一资源定位符)，第二获取请求中也携带第一应用界面的URL。
当第一应用界面为第一目标应用的首页时，当启动第一目标应用时，也即当第一目标应用的应用接口被触发时，电子设备向第一服务器发送第一获取请求，以及，向第二服务器发送第二获取请求。
当第一应用界面为第一目标应用的非首页时，电子设备可以显示第一目标应用的第三应用界面，该第三应用界面中包括用于跳转到第一应用界面的触控控件。用户可以通过点击该触控控件或者通过语音信号触发电子设备从第三应用界面跳转到第一应用界面。相应的，当该触控控件被触发时，或者接收到用于触发从第三应用界面跳转到第一应用界面的语音信号时，电子设备可以向第一服务器发送第一获取请求，以及，向第二服务器发送第二获取请求。
在一种可能的实现方式中，电子设备向第二服务器发送第二获取请求时，电子设备可以获取第一应用界面的URL，根据该第一应用界面的URL，直接向第二服务器发送第二获取请求。
在本公开实施例中，由于电子设备可以直接向第二服务器发送第二获取请求，使得该第二获取请求不经过第一服务器，从而第一服务器不能够捕获到第二获取请求，保护了用户隐私。
在另一种可能的实现方式中，电子设备向第二服务器发送第二获取请求时，电子设备还可以将第二获取请求发送给第一服务器，由第一服务器将第二获取请求转发给第二服务器。
在本公开实施例中，由于电子设备将第一获取请求和第二获取请求同时发送给第一服务器，由第一服务器将第二获取请求转发给第二服务器，后续第二获取请求的界面数据也由第一服务器转发给电子设备，使得能够保证第二服务器返回的界面数据和第一服务器返回的样式数据一起返回给电子设备，从而电子设备可以同时渲染样式数据和界面数据，保证样式数据和界面数据是同时渲染出来的，避免出现渲染不同步的问题。
(2)第一服务器接收第一获取请求，根据第一应用界面的URL，获取第一应用界面的样式数据，以及，第二服务器接收第二获取请求，根据第一应用界面的URL，获取第一应用界面的界面数据。
第一服务器中可以存储有第一应用界面的URL和样式数据的对应关系。相应的，第一服务器可以根据该第一应用界面的URL，从URL和样式数据的对应关系中获取第一应用界面的样式数据。
同样，第二服务器中可以存储有第一应用界面的URL和界面数据的对应关系。相应的，第二服务器可以根据第一应用界面的URL，从URL和界面数据的对应关系中获取第一应用界面的界面数据。
(4)第一服务器向电子设备返回第一应用界面的样式数据，以及，第二服务器向电子设备返回第一应用界面的界面数据。
当在步骤(1)中电子设备直接向第二服务器发送第二获取请求时，在本步骤中，第二服务器可以直接向电子设备返回第一应用界面的界面数据；当在步骤(1)中电子设备通过第一服务器向第二服务器发送第二获取请求时，在本步骤中，第二服务器可以向第一服务器发送第一应用界面的界面数据，由第一服务器将第一应用界面的界面数据转发给电子设备。
(5)电子设备接收第一应用界面的样式数据和界面数据，根据该样式数据和该界面数据，渲染第一应用界面。
电子设备根据该样式数据，渲染第一应用界面的样式，得到第一应用界面的应用框架，根据该界面数据，在该应用框架中渲染第一应用界面的数据，得到第一应用界面。
在步骤S302中，电子设备接收语音信号，向第一服务器发送第一应用界面的界面数据和该语音信号。
第一目标应用可以支持语音交互功能。当用户想要触发电子设备执行某个操作时，用户可以不手动点击第一应用界面中的触控控件，而是直接通过语音信号触发电子设备自动执行该操作。例如，第一应用界面为购物应用界面，该购物界面中“麦乐鸡”图标、“麦乐鸡”对应的触控按钮。当用户想要购买“麦乐鸡”时，用户可以直接对着电子设备说“我要麦乐鸡”，电子设备接收“我要麦乐鸡”对应的语音信号。
在本步骤中，电子设备可以获取第一目标应用的传输协议，当该传输协议表示可以由第一服务器基于界面数据生成操作指令时，电子设备可以将第一应用界面的界面数据发送给第一服务器，从而第一服务器可以根据该语音信号，在该第一应用界面中匹配出该语音信号对应的第一操作指令。当该传输协议表示不能由第一服务器基于界面数据生成操作指令时，电子设备可以通过其他方式生成第一操作指令。
其中，电子设备可以将第一应用界面的所有界面数据都发送给第一服务器，也可以仅发送一些触控界面对应的界面数据。相应的，第一应用界面的界面数据包括触控控件对应的第一界面数据和除第一界面数据以外的第二界面数据。相应的，在本步骤中，电子设备可以从第一应用界面的界面数据中获取触控控件对应的第一界面数据，向第一服务器发送第一界面数据。
例如，第一应用界面为购物应用界面，该购物界面中“麦乐鸡”图标、“麦乐鸡”对应的触控按钮，以及“麦乐鸡”对应的描述信息。该描述信息可以包括麦乐鸡的价格、配料、制备方法中的至少一个。则第一界面数据为“麦乐鸡”图标对应的数据，第二界面数据为“麦乐鸡”对应的描述信息。则在本步骤中，可以将“麦乐鸡”图标对应的数据发送给第一服务器，而“麦乐鸡”对应的描述信息则不发送给第一服务器，从而保护了隐私。
在本公开实施例中，由于仅向第一服务器发送触控控件对应的第一界面数据，而其他界面数据不发送给第一服务器，这样既能够实现由第一服务器为电子设备生成第一操作指令，又能保护隐私。
在本步骤中，电子设备向第一服务器发送第一应用界面的界面数据之前，电子设备还可以对第一应用界面的界面数据进行初步判断，如果不涉及隐私，则可以将第一应用界面的界面数据发送给第一服务器；如果涉及隐私，则不发送第一应用界面的界面数据给第一服务器。相应的，电子设备向第一服务器发送第一应用界面的界面数据之前，电子设备确定第一应用界面的界面数据是否包含敏感信息。当该界面数据包含敏感信息时，电子设备不向第一服务器发送第一应用界面的界面数据；当该界面数据不包含敏感信息时，电子设备执行向第一服务器发送第一应用界面的界面数据的步骤。
需要说明的一点是，电子设备可以通过自身配置的麦克风，采集该语音信号，电子设备也可以通过其他设备采集该语音信号，在本公开实施例中，对电子设备采集语音信号的方式不作限定。
在步骤S303中，第一服务器接收电子设备的第一应用界面的界面数据和该语音信号。
例如，该语音信号为“我要麦乐鸡”，第一应用界面为购买界面。则第一服务器接收“我要麦乐鸡”和该购买界面的界面数据。
需要说明的一点是，第一服务器接收到第一应用界面的界面数据之后，第一服务器可以关联存储第一应用界面的界面标识和该界面数据。当后续其他用户在该第一应用界面中输入语音信号时，电子设备可以不向第一服务器重复发送第一应用界面的界面数据，而第一服务器可以根据第一应用界面的界面标识，从界面标识和界面数据的关联关系中获取第一应用界面的界面数据，从而节省了网络资源，并且提高了效率。
相应的，在执行本公开实施例时，由于其他电子设备或者这个电子设备之前已经向第一服务器发送过第一应用界面的界面数据。因此，电子设备在步骤S302中，电子设备向第一服务器发送第一应用界面的界面数据之前，电子设备可以确定第一服务器中是否存储第一应用界面的界面数据。当第一服务器中存储第一应用界面的界面数据时，可以直接向第一服务器发送该语音信号；而不发送第一应用界面的界面数据。当确定第一服务器中不存储第一应用界面的界面数据时，电子设备可以向第一服务器发送第一应用界面的界面数据和该语音信号。
其中，第一服务器可以通过第一应用界面的不同的样式，区分第一服务器中是否存在第一应用界面的界面数据。例如，当第一服务器中存储第一应用界面的界面数据时，第一服务器可以渲染第一样式的第一应用界面；当第一服务器中没有存储第一应用界面的界面数据时，第一服务器可以渲染第二样式的第一应用界面。相应的，当第一应用界面的样式为第一样式时，电子设备确定第一服务器中存储第一应用界面的界面数据；当第一应用界面的样式为第二样式时，电子设备确定第一服务器中没有存储第一应用界面的界面数据。
在步骤S304中，第一服务器根据该语音信号和该界面数据，生成该语音信号对应的第一操作指令。
第一服务器根据该语音信号和该界面数据，确定该语音信号对应的执行事件，根据该语音信号和该界面数据，确定该语音信号对应的事件信息，将该执行事件和该事件信息组成第一操作指令。
该执行事件用于操控发送该语音信号的电子设备，电子设备可以按照该执行事件执行相应的操作。例如，该执行事件可以为操作事件，如click(点击)事件或者界面滑动事件等。事件信息可以包括执行事件对应的操作对象的信息。
例如，当该语音信号为“我要麦乐鸡”时，界面数据中包括“麦乐鸡”和麦乐鸡对应的触控按钮，该触控按钮为购买“麦乐鸡”的购买按钮，则第一服务器确定该语音信号对应的执行事件为“购买”，该语音信号对应的事件信息为“麦乐鸡”，则第一操作指令为“购买麦乐鸡”。
在步骤S305中，第一服务器向电子设备返回第一操作指令。
例如，第一操作指令为“购买麦乐鸡”，则第一服务器将“购买麦乐鸡”发送给电子设备。
在步骤S306中，电子设备接收第一操作指令，在第一应用界面中执行第一操作指令对应的操作。
例如，当第一操作指令为“购买麦乐鸡”，则电子设备将“麦乐鸡”加入购物车中。
在本公开实施例中，由于电子设备将第一应用界面的界面数据和该语音信号都发送给第一服务器，使得第一服务器能够结合该第一应用界面的界面数据，匹配出该语音信号的第一操作指令，从而提高了匹配出第一操作指令的准确性。并且，由于当接收到语音信号时，电子设备才将第一应用界面的界面数据发送给第一服务器，使得当没有接收到语音信号时，用户可能不通过语音信号控制电子设备，此时电子设备并不将第一应用界面的界面数据发送给第一服务器，从而节省网络资源。
图4是本公开实施例提供的一种电子设备操作方法的交互流程图。参见图4，在本公开实施例中，以当第一应用界面中包括触控控件时，才将第一应用界面的界面数据发送给第一服务器为例进行说明。该电子设备操作方法包括以下步骤：
在步骤S401中，电子设备显示第一目标应用的第一应用界面。
本步骤和步骤S301相同，在此不再赘述。
在步骤S402中，当第一应用界面中包括触控控件时，电子设备向第一服务器发送第一应用界面的界面数据。
本步骤和步骤S302中电子设备向第一服务器发送第一应用界面的界面数据的步骤相同，在此不再赘述。
在步骤S403中，第一服务器接收电子设备的第一应用界面的界面数据。
在步骤S404中，当电子设备接收到语音信号时，电子设备向第一服务器发送该语音信号。
本步骤和步骤S302中电子设备接收语音信号，以及向第一服务器发送该语音信号的过程相同，在此不再赘述。
在一种可能的实现方式中，电子设备渲染出第一目标应用的第一应用界面之后，就确定第一应用界面中是否包括触控控件；当第一应用界面中包括触控控件，电子设备就向第一服务器发送第一应用界面的界面数据。
在本公开实施例中，由于当电子设备渲染出第一应用界面，且第一应用界面中包括触控控件时，电子设备就向第一服务器发送第一应用界面的界面数据，使得后续当接收到语音信号时，只发送该语音信号即可，从而能够提高了语音信号的识别效率。
在另一种可能的实现方式中，电子设备渲染出第一目标应用的第一应用界面之后，当接收到语音信号时，才确定该第一应用界面中是否包括触控控件；当该第一应用界面中包括触控控件时，才向第一服务器发送第一应用界面的界面数据。
在本公开实施例中，当接收到语音信号，且第一应用界面中包括触控控件时，电子设备才向第一服务器发送第一应用界面的界面数据，当没有接收到语音信号，或者第一应用界面中不包括触控控件时，不向第一服务器发送第一应用界面的界面数据，这样能够节省网络资源。
在步骤S405中，第一服务器接收该语音信号，根据该语音信号和该界面数据，生成该语音信号对应的第一操作指令。
本步骤和步骤S304相同，在此不再赘述。
在步骤S406中，第一服务器向电子设备返回该第一操作指令。
本步骤和步骤S305相同，在此不再赘述。
在步骤S407中，电子设备接收第一操作指令，在第一应用界面中执行第一操作指令对应的操作。
本步骤和步骤S306相同，在此不再赘述。
在本公开实施例中，由于只有第一应用界面中包括触控控件时，这个时候用户能够基于语音信号代替手动触摸该触控控件的方式触发第一操作指令。此时，电子设备才将第一应用界面的界面数据发送给第一服务器。当第一应用界面中不包括触控控件时，当前界面仅仅是一个浏览界面，用户无法进行操作，此时，电子设备可以不将第一应用的界面数据发送给第一服务器，从而节省网络资源。
图5是本公开实施例提供的一种电子设备操作方法的交互流程图。参见图5，在本公开实施例中，以电子设备渲染完第一应用界面时，就向第一服务器发送第一应用界面的界面数据为例进行说明。该电子设备操作方法包括以下步骤：
在步骤S501中，电子设备显示第一目标应用的第一应用界面。
本步骤和步骤S301相同，在此不再赘述。
在步骤S502中，电子设备向第一服务器发送第一应用界面的界面数据。
本步骤和步骤S302中电子设备向第一服务器发送第一应用界面的界面数据的步骤相同，在此不再赘述。
在步骤S503中，第一服务器接收电子设备的第一应用界面的界面数据。
本步骤和步骤S303中第一服务器接收电子设备的第一应用界面的界面数据的步骤相同，在此不再赘述。
在步骤S504中，当电子设备接收到语音信号时，电子设备向第一服务器发送该语音信号。
在步骤S505中，第一服务器接收该语音信号，根据该语音信号和该界面数据，生成该语音信号对应的第一操作指令。
本步骤和步骤S304相同，在此不再赘述。
在步骤S506中，第一服务器向电子设备返回第一操作指令。
本步骤和步骤S305相同，在此不再赘述。
在步骤S507中，电子设备接收第一操作指令，在第一应用界面中执行第一操作指令对应的操作。
本步骤和步骤S306相同，在此不再赘述。
在本公开实施例中，由于当电子设备渲染完第一应用界面时，电子设备就将第一应用界面的界面数据发送给第一服务器，使得当用户输入语音信号时，服务器中存储有第一应用界面的界面数据，电子设备只需要将语音信号发送给第一服务器，从而不需要当前传输第一应用界面的界面数据，能够缩短传输时间，提高操作效率。
上述所有可能的技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本公开实施例中涉及的快应用是一种基于电子设备的硬件平台的新型应用形态，能够基于操作系统提供的原生API(Application Programming Interface，应用程序编程接口)运行。
快应用采用统一的标准进行开发，原生渲染，无需安装，即点即用，又兼具原生应用体验(性能、系统整合、交互等)。快应用的框架可以深度集成于操作系统中，能够在操作系统层面进行操作，实现与其他应用服务之间的无缝衔接。开发者可以做到一次性开发即可在不同类型的电子设备上运行。快应用在诞生之初就在开发规范、能力接入、开发者服务等层面实现了电子设备厂商间的标准化统一，极大地降低开发者的适配成本。
与传统应用相比，快应用具备如下特点：
Instant(即时)：即点即用，用户无需等待；
Everywhere(随处可见)：与电子设备的使用场景深度整合，入口无处不在，如搜索引擎、智能助手、智能推荐、应用市场、浏览器等；
Efficient(高效)：准前端的开发方式，效率高。
图6示出了本公开实施例提供的快应用框架600的框图，该快应用框架包括：场景入口620、快应用引擎640和操作系统(Operating System，OS)基础设施及硬件660。
场景入口620包括负一屏、全局搜索、锁屏、桌面、应用市场、浏览器和二维码中的至少一种。场景入口620的外在展现形式可以为页面形式和卡片形式。
快应用引擎640包括前端框架641、通用场景642、轻量化场景643、嵌入式SDK(Software Development Kit，软件开发工具包)644和业务接入645。
其中，前端框架641包括MVVM(Model-View-View-Model，模型-视图-视图-模型)、V-DOM(Virtual-Document Object Model，虚拟文档对象模型)、路由、基础API(Application Programming Interface，应用程序编程接口)、业务API、UI(UserInterface，用户界面)组件、路由等；
通用场景642和轻量化场景643包括JavaScript(一种编程语言)引擎、标准渲染引擎、极速渲染引擎、端-云-芯加速、安全机制、新兴场景如AI(Artificial Intelligence，人工智能)、AR(Augmented Reality，增强现实)等、系统整合(应用管理、权限管理等)；
业务接入645包括推送、账号/支付等。
OS基础设施及硬件660包括：图形库、原生控件、系统服务和GPU(GraphicsProcessing Unit，图形处理器)/NPU(Neural-network Processing Unit，嵌入式神经网络处理器)等。
从执行路径层面，有标准的HTML(Hyper Text Markup Language，超文本标记语言)5方式支撑通用的Web(World Wide Web，万维网)场景，以及JS(JavaScript，一种编程语言)与Native(原生)相结合的方式，支撑更轻量、更快速的体验。
下面将按3个方面简要介绍快应用引擎的架构。
1)应用开发：
快应用的前端设计借鉴并整合了主流前端框架的设计思路：以组件化的方式构建应用，以数据绑定为核心的MVVM设计模式，以V-DOM的方式提升性能，同时选择了简洁清晰的类Vue(虚拟机脱壳引擎)的模板。同时对布局方面做了相应精简。从新的应用形态、映射原生UI、能力开放的角度，需要定义一套组件与API规范，方便开发这种快速开发应用。
2)系统整合：
快应用作为完整的应用形态，可以与系统深入整合，如同原生应用一样运行，以及与系统交互。快应用目前有两种形态：全屏方式的独立应用形态与嵌入方式的卡片形态。在独立应用形态下，给用户的体验就像原生的应用程序，有完整的生命周期管理，页面管理，路由等。快应用可以寄生于安卓的Activity(行为)，页面寄生于Fragment(碎片)，并通过独立的后台Service(服务)进行实例的管控。卡片形态则是另外一种形态，通过嵌入式SDK(Software Development Kit，软件开发工具包)作为一个独立的局部控件嵌入到系统的各个角落，轻量化的展现动态内容。在安全隔离方面，可通过沙盒机制，进程隔离，权限控制，并结合操作系统层的支持做到较好的安全保障。
3)性能体验及新兴场景，如JavaScript引擎、渲染引擎、端-云-芯加速、新兴场景等：
在交互体验、资源开销和稳定性等方面，快应用通过引入原生渲染路径，进而实现前端开发方式与原生渲染及平台能力的有效组合。
不同于其它的应用层的跨平台框架，快应用植根于电子设备的操作系统，可实现从芯片、操作系统与云的深度整合。利用端和云的结合以启动性能加速为例，通过云和端的协同渲染，网络链路层的优化可以大大加速快应用启动速度。同时可以整合硬件平台的特有能力，进一步提升体验。例如可以结合电子设备AI芯片，将NPU(Neural-networkProcessing Unit，网络处理器)的算力整合到快应用引擎中来，使得AI场景(人脸识别、图像超分等)在端侧可以低延时、高性能的执行，同时又有效保护了用户的隐私，并节省带宽。
图7示出了本公开实施例提供的快应用的启动流程图，包括：
1)首次启动时，用户点击触发下载快应用的程序包，同时进行快应用引擎的初始化相关工作。当整个快应用的程序包下载与校验完成后，需要展示的第一个页面的JavaScript文件才会被加载并开始渲染。
2)页面渲染包括JavaScript加载、页面与JavaScript框架逻辑的执行、布局的运算，最终到原生UI控件的绘制。其中，页面内逻辑执行时会有一次或多次的网络请求，网络请求返还的数据驱动页面的再次渲染，直至首屏页面的内容完全展示。
这里的网络请求、JavaScript执行、排版与绘制并非简单的串行关系，而是并行化地交织在一起，影响着整个页面的渲染性能，并与页面设计的逻辑、网络状况与设备运行的状态强相关。
由于快应用的特殊性，快应用被期待完成更多的任务，实现更多的功能。目前，快应用的功能正在逐步完善中，本公开实施例就是提供了一种快应用的新功能，利用该新功能实现自动识别目标对象并通知用户，扩展了快应用的功能，提高了快应用的处理能力以及实用性。
图8是本公开实施例提供的一种电子设备操作装置的框图。参见图8，该装置包括：显示模块801、发送模块802、接收模块803和执行模块804。
显示模块801，被配置为显示第一目标应用的第一应用界面；
发送模块802，被配置为向第一服务器发送第一应用界面的界面数据，以及，向第一服务器发送接收到的语音信号，第一服务器用于根据语音信号和界面数据，生成语音信号对应的第一操作指令；
接收模块803，被配置为接收第一服务器返回的第一操作指令；
执行模块804，被配置为在第一应用界面中执行第一操作指令对应的操作。
在一种可能的实现方式中，发送模块802，还被配置为当接收到被输入的语音信号时，向第一服务器发送第一应用界面的界面数据；或者；
发送模块802，还被配置为当第一应用界面中包括触控控件时，向第一服务器发送第一应用界面的界面数据；或者，
发送模块802，还被配置为当渲染完第一应用界面时，向第一服务器发送第一应用界面的界面数据。
在另一种可能的实现方式中，发送模块802，还被配置为获取第一目标应用的传输协议；当第一目标应用的传输协议表示由第一服务器基于界面数据生成操作指令时，向第一服务器发送第一应用界面的界面数据。
在另一种可能的实现方式中，装置还包括：
发送模块802，还被配置为获取第一应用界面的界面数据；当界面数据中不包含敏感信息时，向第一服务器发送第一应用界面的界面数据。
在另一种可能的实现方式中，第一应用界面的界面数据包括触控控件对应的第一界面数据和除第一界面数据以外的第二界面数据；
发送模块802，还被配置为从第一应用界面的界面数据中获取触控控件对应的第一界面数据，向第一服务器发送第一界面数据。
在另一种可能的实现方式中，显示模块801，还被配置为向第一服务器发送第一获取请求，以及，向第一目标应用对应的第二服务器发送第二获取请求，第一获取请求用于获取样式数据，第二获取请求用于获取界面数据；接收第一服务器返回的第一应用界面的样式数据，以及，接收第二服务器返回的第一应用界面的界面数据；根据样式数据和界面数据，渲染第一应用界面。
在另一种可能的实现方式中，装置还包括：
显示模块801，还被配置为显示本地已安装的第二目标应用的第二应用界面，第二应用界面中包括本地未安装的第一目标应用的应用接口；
启动模块，被配置为当第一目标应用的应用接口被触发时，启动第一目标应用。
在本公开实施例中，由于电子设备将第一服务器发送界面数据和语音信号，使得电子设备可以根据第一服务器返回的第一操作指令，在第一应用界面中执行对应的操作，从而用户不需要进行复杂的操作，即可在电子设备中实现想要的功能，提高了用户的交互体验。
需要说明的是：上述实施例提供的电子设备操作装置在操作电子设备时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备操作装置与电子设备操作方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。
图9是根据一示例性实施例示出的一种电子设备900的框图。例如，电子设备900可以是移动电话，计算机，数字广播电子设备，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，电子设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制电子设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述电子设备操作方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述电子设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当电子设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件914可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如所述组件为电子设备900的显示器和小键盘，传感器组件914还可以检测电子设备900或电子设备900一个组件的位置改变，用户与电子设备900接触的存在或不存在，电子设备900方位或加速/减速和电子设备900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。
在示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述电子设备操作方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由电子设备900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开还提供了一种计算机程序产品，所述计算机程序产品包括一个或多个计算机程序，所述计算机程序被处理器执行时，用于实现上述各个方法实施例提供的电子设备操作方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (16)
1.一种电子设备操作方法，其特征在于，所述方法包括：
显示第一目标应用的第一应用界面；
向第一服务器发送所述第一应用界面的界面数据，以及，向所述第一服务器发送接收到的语音信号，所述第一服务器用于根据所述语音信号和所述界面数据，生成所述语音信号对应的第一操作指令；
接收所述第一服务器返回的所述第一操作指令，在所述第一应用界面中执行所述第一操作指令对应的操作。
2.根据权利要求1所述的方法，其特征在于，所述向第一服务器发送所述第一应用界面的界面数据，包括：
当接收到被输入的语音信号时，向所述第一服务器发送所述第一应用界面的界面数据；或者；
当所述第一应用界面中包括触控控件时，向所述第一服务器发送所述第一应用界面的界面数据；或者，
当渲染完所述第一应用界面时，向所述第一服务器发送所述第一应用界面的界面数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一目标应用的传输协议；
当所述第一目标应用的传输协议表示由所述第一服务器基于界面数据生成操作指令时，执行所述向第一服务器发送所述第一应用界面的界面数据的步骤。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一应用界面的界面数据；
当所述界面数据中不包含敏感信息时，执行所述向第一服务器发送所述第一应用界面的界面数据的步骤。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一应用界面的界面数据包括触控控件对应的第一界面数据和除所述第一界面数据以外的第二界面数据；
向第一服务器发送所述第一应用界面的界面数据，包括：
从所述第一应用界面的界面数据中获取触控控件对应的第一界面数据，向所述第一服务器发送所述第一界面数据。
6.根据权利要求1所述的方法，其特征在于，所述显示第一目标应用的第一应用界面，包括：
向所述第一服务器发送第一获取请求，以及，向所述第一目标应用对应的第二服务器发送第二获取请求，所述第一获取请求用于获取样式数据，所述第二获取请求用于获取界面数据；
接收所述第一服务器返回的所述第一应用界面的样式数据，以及，接收所述第二服务器返回的所述第一应用界面的界面数据；
根据所述样式数据和所述界面数据，渲染所述第一应用界面。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
显示本地已安装的第二目标应用的第二应用界面，所述第二应用界面中包括本地未安装的所述第一目标应用的应用接口；
当所述第一目标应用的应用接口被触发时，启动所述第一目标应用。
8.一种电子设备操作装置，其特征在于，所述装置包括：
显示模块，被配置为显示第一目标应用的第一应用界面；
发送模块，被配置为向第一服务器发送所述第一应用界面的界面数据，以及，向所述第一服务器发送接收到的语音信号，所述第一服务器用于根据所述语音信号和所述界面数据，生成所述语音信号对应的第一操作指令；
接收模块，被配置为接收所述第一服务器返回的所述第一操作指令；
执行模块，被配置为在所述第一应用界面中执行所述第一操作指令对应的操作。
9.根据权利要求8所述的装置，其特征在于，
所述发送模块，还被配置为当接收到被输入的语音信号时，向所述第一服务器发送所述第一应用界面的界面数据；或者；
所述发送模块，还被配置为当所述第一应用界面中包括触控控件时，向所述第一服务器发送所述第一应用界面的界面数据；或者，
所述发送模块，还被配置为当渲染完所述第一应用界面时，向所述第一服务器发送所述第一应用界面的界面数据。
10.根据权利要求8所述的装置，其特征在于，
所述发送模块，还被配置为获取所述第一目标应用的传输协议；当所述第一目标应用的传输协议表示由所述第一服务器基于界面数据生成操作指令时，向第一服务器发送所述第一应用界面的界面数据。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
所述发送模块，还被配置为获取所述第一应用界面的界面数据；当所述界面数据中不包含敏感信息时，向第一服务器发送所述第一应用界面的界面数据。
12.根据权利要求8-11任一项所述的装置，其特征在于，所述第一应用界面的界面数据包括触控控件对应的第一界面数据和除所述第一界面数据以外的第二界面数据；
所述发送模块，还被配置为从所述第一应用界面的界面数据中获取触控控件对应的第一界面数据，向所述第一服务器发送所述第一界面数据。
13.根据权利要求8所述的装置，其特征在于，
所述显示模块，还被配置为向所述第一服务器发送第一获取请求，以及，向所述第一目标应用对应的第二服务器发送第二获取请求，所述第一获取请求用于获取样式数据，所述第二获取请求用于获取界面数据；接收所述第一服务器返回的所述第一应用界面的样式数据，以及，接收所述第二服务器返回的所述第一应用界面的界面数据；根据所述样式数据和所述界面数据，渲染所述第一应用界面。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
所述显示模块，还被配置为显示本地已安装的第二目标应用的第二应用界面，所述第二应用界面中包括本地未安装的所述第一目标应用的应用接口；
启动模块，被配置为当所述第一目标应用的应用接口被触发时，启动所述第一目标应用。
15.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为：
显示第一目标应用的第一应用界面；
向第一服务器发送所述第一应用界面的界面数据，以及，向所述第一服务器发送接收到的语音信号，所述第一服务器用于根据所述语音信号和所述界面数据，生成所述语音信号对应的第一操作指令；
接收所述第一服务器返回的所述第一操作指令，在所述第一应用界面中执行所述第一操作指令对应的操作。
16.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-7任一项所述的用电子设备操作方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911130223.9A CN110865760A (zh) | 2019-11-18 | 2019-11-18 | 电子设备操作方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911130223.9A CN110865760A (zh) | 2019-11-18 | 2019-11-18 | 电子设备操作方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110865760A true CN110865760A (zh) | 2020-03-06 |
Family
ID=69654910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911130223.9A Pending CN110865760A (zh) | 2019-11-18 | 2019-11-18 | 电子设备操作方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110865760A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112947256A (zh) * | 2021-03-31 | 2021-06-11 | 中国建设银行股份有限公司 | 基于机器人的电脑系统控制方法、装置、介质及机器人 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103474068A (zh) * | 2013-08-19 | 2013-12-25 | 安徽科大讯飞信息科技股份有限公司 | 实现语音命令控制的方法、设备及系统 |
| US20160216929A1 (en) * | 2015-01-22 | 2016-07-28 | Alibaba Group Holding Limited | Processing application interface |
| CN108279839A (zh) * | 2017-01-05 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 基于语音的交互方法、装置、电子设备及操作系统 |
| CN108538291A (zh) * | 2018-04-11 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 语音控制方法、终端设备、云端服务器及系统 |
| CN108664296A (zh) * | 2017-03-31 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 一种页面渲染方法和装置、一种页面处理方法和装置 |
| CN109375918A (zh) * | 2018-11-23 | 2019-02-22 | 天津字节跳动科技有限公司 | 小程序的界面渲染方法、装置、电子设备和存储介质 |
| CN109542543A (zh) * | 2017-09-21 | 2019-03-29 | 腾讯科技（深圳）有限公司 | 应用程序页面处理方法、装置、存储介质和计算机设备 |
-
2019
- 2019-11-18 CN CN201911130223.9A patent/CN110865760A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103474068A (zh) * | 2013-08-19 | 2013-12-25 | 安徽科大讯飞信息科技股份有限公司 | 实现语音命令控制的方法、设备及系统 |
| US20160216929A1 (en) * | 2015-01-22 | 2016-07-28 | Alibaba Group Holding Limited | Processing application interface |
| CN108279839A (zh) * | 2017-01-05 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 基于语音的交互方法、装置、电子设备及操作系统 |
| CN108664296A (zh) * | 2017-03-31 | 2018-10-16 | 阿里巴巴集团控股有限公司 | 一种页面渲染方法和装置、一种页面处理方法和装置 |
| CN109542543A (zh) * | 2017-09-21 | 2019-03-29 | 腾讯科技（深圳）有限公司 | 应用程序页面处理方法、装置、存储介质和计算机设备 |
| CN108538291A (zh) * | 2018-04-11 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 语音控制方法、终端设备、云端服务器及系统 |
| CN109375918A (zh) * | 2018-11-23 | 2019-02-22 | 天津字节跳动科技有限公司 | 小程序的界面渲染方法、装置、电子设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112947256A (zh) * | 2021-03-31 | 2021-06-11 | 中国建设银行股份有限公司 | 基于机器人的电脑系统控制方法、装置、介质及机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111026396B (zh) | 页面渲染方法、装置、电子设备及存储介质 | |
| CN111026490B (zh) | 页面渲染方法、装置、电子设备及存储介质 | |
| CN110990075B (zh) | 快应用的启动方法、装置、设备及存储介质 | |
| CN110874217B (zh) | 快应用的界面显示方法、装置及存储介质 | |
| EP3848798A1 (en) | Information processing method and apparatus, storage medium, and electronic device | |
| CN110851108A (zh) | 电子设备操作方法、装置、电子设备及存储介质 | |
| CN110971974B (zh) | 配置参数创建方法、装置、终端及存储介质 | |
| CN110865863B (zh) | 快应用的界面显示方法、装置及存储介质 | |
| CN110851240B (zh) | 功能调用方法、装置及存储介质 | |
| CN111427622A (zh) | 应用程序中脚本代码的执行方法及装置 | |
| CN111008057A (zh) | 页面展示方法、装置及存储介质 | |
| CN111078325B (zh) | 应用程序运行方法、装置、电子设备及存储介质 | |
| US11507633B2 (en) | Card data display method and apparatus, and storage medium | |
| US11210449B2 (en) | Page display method and device and storage medium | |
| CN110865864B (zh) | 快应用的界面显示方法、装置、设备及存储介质 | |
| CN110865760A (zh) | 电子设备操作方法、装置、电子设备及存储介质 | |
| CN111104183B (zh) | 应用程序运行方法、装置、电子设备及存储介质 | |
| US11210119B2 (en) | Method and device for displaying interface, electronic equipment, server, and storage medium | |
| CN111008050B (zh) | 页面任务执行方法、装置、终端及存储介质 | |
| CN110891194B (zh) | 评论信息显示方法、装置、终端及存储介质 | |
| CN110908629A (zh) | 电子设备操作方法、装置、电子设备和存储介质 | |
| CN111338961B (zh) | 应用调试方法及装置、电子设备及存储介质 | |
| CN110990105B (zh) | 界面显示方法、装置、电子设备及存储介质 | |
| CN113419650A (zh) | 一种数据移动方法、装置、存储介质及电子设备 | |
| CN110853643A (zh) | 快应用中进行语音识别的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |