CN114650330A - 一种添加操作序列的方法、电子设备和系统 - Google Patents

Abstract

一种添加操作序列的方法、电子设备及系统，该方法包括：检测到用户对第一控件的第一操作；响应于所述第一操作，获取所述第一操作的事件类型和第一应用的名称信息；响应于所述第一操作，显示所述第一应用的第二界面，检测到用户对第二控件的第二操作；响应于所述第二操作，获取所述第二控件标识和所述第二操作的事件类型；保存所述第一应用的名称信息、所述第二控件标识和所述第二操作的事件类型；显示第二应用的第三界面，其中，所述第二应用的第三界面包括第三控件，检测到用户对所述第三控件的第三操作；响应于所述第三操作，显示所述第一应用的第二界面。从而，实现了在电子设备上录制和回放用户操作，简化了用户操作流程，提高了用户体验。

Description

一种添加操作序列的方法、电子设备和系统

技术领域

本申请涉及无线通信领域，尤其涉及一种添加操作序列的方法、电子设备和系统。

背景技术

随着智能手机的发展和普及，越来越多的第三方应用程序也随之开发，用于智能手机实现更多功能，例如即时通信应用程序，视频应用程序，音乐应用程序，购物应用程序等。用户可以通过操作第三方应用程序，实现不同的功能。对于一些第三方应用程序，用户会有高频操作，例如，论坛签到，考勤软件打卡等，对于此类应用场景，用户需要在对应的第三方应用程序上进行连续操作才能完成。

为了简化用户的操作流程，用户可以设置快捷指令。然而，该方式需要用户在设置快捷指令时，赋予各个操作之间的逻辑，用户要具备一定编程知识才能完成。完成快捷指令的设置后，用户可以选择相应的快捷指令，在本机上自动化执行设置的快捷指令。

用户也可以采用按键精灵软件，通过制作脚本或借助安卓辅助模式，记录用户在屏幕上点击的位置，并在手机上回放用户的点击操作。然而，当应用程序更新或回放用户点击操作的设备屏幕分辨率改变时，回放用户点击操作会出现错误。

发明内容

有鉴于此，本发明实施例提供了添加操作序列的方法，实现了在电子设备上录制用户的操作，将录制的连续操作添加为快捷方式。该方法不需要用户具备编程知识，用户在电子设备的第三方应用程序上执行完操作即可完成用户操作的录制，并将录制的操作添加为快捷操作，降低了用户的学习成本。此外，该方法还可以实现在多个电子设备上，回放用户的操作，简化了用户的操作流程，提高了用户体验。

第一方面，本申请实施例提供一种添加操作序列的方法，所述方法包括：显示第一界面，其中，所述第一界面包括第一控件，其中，所述第一控件与第一应用关联；检测到用户对所述第一控件的第一操作；响应于所述第一操作，获取所述第一操作的事件类型；确定所述第一操作的事件类型满足第一预设条件，获取第一应用的名称信息；响应于所述第一操作，显示第二界面，所述第二界面与第一应用关联，所述第二界面包括第二控件；确定所述第二控件的第一路径信息，所述第二控件的第一路径信息用于指示所述第二控件在所述第二界面的布局中的位置；检测到用户对所述第二控件的第二操作；响应于所述第二操作，获取所述第二操作的事件类型；确定所述第二操作的事件类型满足第二预设条件，获取所述第二控件的第一路径信息；响应于所述第二操作，显示第三界面；保存所述第一应用的名称信息、所述第一操作的事件类型、所述第二控件的第一路径信息和所述第二操作的事件类型；显示第四界面，所述第四界面与第二应用关联，其中，所述第四界面包括第三控件，其中所述第三控件与第一应用关联；检测到用户对所述第三控件的第三操作；响应于所述第三操作，基于所述第一应用的名称信息和所述第一操作的事件类型，显示所述第二界面；显示所述第三界面。通过上述设置方法，可以获取和保存获取的应用名称，操作事件类型，控件的标签和控件的路径信息，进而可以通过控件的标签或者路径信息定位控件，有益于准确地定位控件，提升用户体验。

在第一方面的一种可能的实现方式中，所述第二界面包括第四控件和第五控件，所述第四控件与所述第二控件关联，所述第五控件与所述第二控件关联；所述第二控件具有第二子路径信息和第三子路径信息，其中，所述第二子路径信息用于指示在所述第二界面的布局中所述第二控件相对所述第四控件的位置，所述第三子路径信息用于指示在所述第二界面的布局中所述第二控件相对所述第五控件的位置；所述确定所述第二控件的所述第一路径信息包括：基于所述第二子路径信息和所述第三子路径信息确定所述第二控件的第一路径信息。通过上述设置方式，路径信息可以作为准确定位控件的属性，通过所述路径信息可以准确定位控件，进而实现准确录制用户操作和回放用户操作，提升了用户体验。

根据第一方面，或以上第一方面的任意一种实现方式，所述第二控件是所述第四控件的子控件，所述第五控件是所述第二控件的子控件。

根据第一方面，或以上第一方面的任意一种实现方式，显示所述第三界面包括：基于所述第二控件的第一路径信息和所述第二操作的事件类型，显示所述第三界面。通过上述设置方式，可以在回放用户操作的过程中，通过路径信息准确定位到需要执行操作的控件，进而准确回放操作，提升了用户体验。

根据第一方面，或以上第一方面的任意一种实现方式，所述第二控件具有第二控件标签，所述第二控件标签用于标识所述第二控件；显示所述第三界面包括：基于所述第二控件标签和所述第二操作的事件类型，显示所述第三界面。通过上述设置方式，可以在回放用户操作的过程中，通过控件标签准确定位到需要执行操作的控件，进而准确回放操作，提升了用户体验。在应用更新或者回放设备更换时，控件的标签不会改变，因此，应用更新或者更换回放设备时，仍然可以准确地定位控件，进而准确地回放操作，保证了用户体验。

根据第一方面，或以上第一方面的任意一种实现方式，在显示所述第一界面之前，所述方法还包括：显示第五界面，所述第五界面包括第六控件；检测到用户对所述第六控件的第四操作；响应于所述第四操作，显示所述第一界面。通过上述设置方式，可以提示用户添加快捷操作。

根据第一方面，或以上第一方面的任意一种实现方式，所述第五界面与所述第二应用关联。

根据第一方面，或以上第一方面的任意一种实现方式，将所述第一应用的名称信息、所述第一操作的事件类型、所述第二控件的第一路径信息和所述第二操作的事件类型发送给第一电子设备；在第一电子设备上显示第六界面，所述第六界面具有第七控件，所述第七控件与所述第一应用关联；检测到用户对所述第七控件的第五操作；响应于所述第五操作，基于所述第一应用的名称信息和所述第一操作的事件类型，在第二电子设备上显示所述第二界面；在第二电子设备上显示所述第三界面。通过上述设置方式，可以通过第一电子设备控制第二电子设备回放录制的快捷操作，提升了用户体验。

根据第一方面，或以上第一方面的任意一种实现方式，将所述第一应用的名称信息、所述第一操作的事件类型、所述第二控件的第一路径信息和所述第二操作的事件类型发送给第一电子设备；在第一电子设备上显示第六界面，所述第六界面具有第七控件，所述第七控件与所述第一应用关联；检测到用户对所述第七控件的第五操作；响应于所述第五操作，基于所述第一应用的名称信息和所述第一操作的事件类型，在第三电子设备上显示第七界面，所述第七界面与所述第二界面关联，所述第七界面与所述第一应用关联；在所述第三电子设备上显示所述第八界面，所述第八界面与所述第三界面关联，所述第八界面与所述第一应用关联。通过上述设置方式，可以通过第一电子设备控制第三电子设备回放录制的快捷操作，实现快捷操作方式的分布式使用，用户可以灵活地使用不同的电子设备回放录制的操作，提升了用户体验。

根据第一方面，或以上第一方面的任意一种实现方式，响应于所述第二操作，显示第三界面和第八控件，所述第八控件与所述第二应用关联；检测到对所述第八控件的第六操作；响应于所述第六操作，显示第九界面，所述第九界面与所述第二应用关联。

根据第一方面，或以上第一方面的任意一种实现方式，所述第九界面具有第九控件，所述第九控件与所述第二应用关联；显示所述第九界面后，所述方法还包括：检测到对所述第九控件的第七操作；响应于所述第七操作，显示所述第四界面。

根据第一方面，或以上第一方面的任意一种实现方式，所述第二控件的第一路径信息为字符串或哈希值。通过上述设置方式，可以直接通过字符串定位到控件，便于快速查找到控件的位置。也可以通过哈希值定位控件，保存哈希值占用的内存更少，有利于节约系统内存资源。

根据第一方面，或以上第一方面的任意一种实现方式，所述事件类型为点击事件，长按事件，条目点击事件，编辑文本事件，滚动事件，改变进度事件，启动应用事件，窗口改变事件中任一项。根据第一方面，或以上第一方面的任意一种实现方式，所述第一操作为单击操作、双击操作、指关节敲击，多指选择操作中任一项；所述第二操作是单击操作、双击操作、指关节敲击，多指选择操作，长按操作，条目点击操作，编辑文本操作，滚动操作，滑动操作，改变进度操作中任一项；所述第三操作是单击操作、双击操作、指关节敲击，多指选择操作，长按操作，条目点击操作，编辑文本操作，滚动操作，滑动操作，改变进度操作中任一项；所述第四操作是单击操作、双击操作、指关节敲击，多指选择操作，长按操作，条目点击操作，编辑文本操作，滚动操作，滑动操作，改变进度操作中任一项；所述第五操作是单击操作、双击操作、指关节敲击，多指选择操作，长按操作，条目点击操作，编辑文本操作，滚动操作，滑动操作，改变进度操作中任一项；所述第六操作是单击操作、双击操作、指关节敲击，多指选择操作，长按操作，条目点击操作，编辑文本操作，滚动操作，滑动操作，改变进度操作中任一项；所述第七操作是单击操作、双击操作、指关节敲击，多指选择操作，长按操作，条目点击操作，编辑文本操作，滚动操作，滑动操作，改变进度操作中任一项；

根据第一方面，或以上第一方面的任意一种实现方式，所述第一预设条件为所述第一操作为单击操作、双击操作、指关节敲击，多指选择操作中任一项；或者，所述第二预设条件为所述第二操作为单击操作、双击操作、指关节敲击，多指选择操作中任一项。

根据第一方面，或以上第一方面的任意一种实现方式，所述第一电子设备，所述第二电子设备和所述第三电子设备通过统一账号登录。通过上述设置方式，没有录制或者在本设备上保存用户操作信息的设备，也可以通过登录同一账号，实现录制的用户操作序列的分享和同步，从而用户可以更加灵活地使用不同设备录制和回放操作，提升了用户体验。

第二方面，本申请实施例提供一种电子设备，包括一个或多个触摸屏，一个或多个存储器，一个或多个处理器；其中所述一个或多个储存器存储有一个或多个计算机程序；当所述一个或多个处理器在执行所述一个或多个计算机程序时，使得所述电子设备实现如以上第一方面，或以上第一方面的任意一种实现方式中所述的方法。

第三方面，本申请实施例提供一种系统，所述系统包括第一电子设备、第二电子设备和第三电子设备，所述系统可实现如以上第一方面，或以上第一方面的任意一种实现方式中所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行如以上第一方面，或以上第一方面的任意一种实现方式中所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如以上第一方面，或以上第一方面的任意一种实现方式中所述的方法。

通过上述方案，实现了在电子设备上录制用户的操作，将录制的连续操作添加为快捷方式。该方法不需要用户具备编程知识，用户在电子设备的第三方应用程序上执行完操作即可完成用户操作的录制，并将录制的操作添加为快捷操作，降低了用户的学习成本。此外，该方法还可以实现在多个电子设备上，回放用户的操作，简化了用户的操作流程，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的一种电子设备的软件结构框图；

图3A-3L为本申请实施例提供的人机交互界面示意图；

图4为本申请实施例提供的一种控件标记方法的示意图；

图5为本申请实施例提供的一种录制用户操作的示意图；

图6A为本申请实施例提供的一种快捷操作序列的示意图；

图6B为本申请实施例提供的一种快捷操作序列的示意图；

图6C为本申请实施例提供的事件类型的示意图；

图7A为本申请实施例提供的一种录制用户操作方法的示意图；

图7B为本申请实施例提供的一种录制用户操作方法的示意图；

图7C为本申请实施例提供的一种录制用户操作方法的示意图；

图8为本申请实施例提供的一种回放用户操作的示意图；

图9为本申请实施例提供的一种回放用户操作方法的示意图；

图10为本申请实施例提供的一种回放用户操作方法的示意图；

图11为本申请实施例提供的一种分享录制的用户操作的示意图；

图12为本申请实施例提供的一种分享录制的用户操作及回放的示意图；

图13为本申请实施例提供的一种分享录制的用户操作及回放的示意图；

图14A-14H为本申请实施例提供的一种多设备回放操作的示意图；

图15A-15B为本申请实施例提供的一种选择界面元素的示意图；

图16A-16C为本申请实施例提供的界面示意图。

图17为本申请实施例提供的一种回放用户操作的场景的示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的至少一个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以下实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

应当理解的是，虽然术语“第一电子设备”、“第二电子设备”等可能在本文中用来描述各种电子设备，但是这些电子设备不应当被这些术语限定。这些术语只是用来将一个电子设备与另一电子设备区分开。例如，第一电子设备可以被命名为第二电子设备，并且类似地，第二电子设备也可以被命名为第一电子设备，而不背离本申请的范围。第一电子设备和第二电子设备二者都是电子设备，但是它们可以不是同一电子设备，在某些场景下也可以是同一电子设备。

以下介绍了电子设备(例如第一电子设备、第二电子设备等)、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中，电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载

或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如具有触控面板或触敏表面的膝上型计算机(Laptop)等。在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机。还应当理解的是，在其他一些实施例中，上述电子设备也可以是采用了布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术等与家居生活有关的智能家居设备，诸如智能电视等。

下面将结合本发明实施例中的附图，对本发明实施例进行说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1示出了电子设备101的结构示意图。

电子设备101可以是手机、智能手表、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmentedreality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备等，本申请实施例对该电子设备的具体类型不作特殊限制。

电子设备101可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备101的具体限定。在本申请另一些实施例中，电子设备101可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备101的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备101的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备101的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备101充电，也可以用于电子设备101与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备101的结构限定。在本申请另一些实施例中，电子设备101也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备101的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备101的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备101中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备101上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备101上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

本申请实施例中，电子设备101可以通过无线通信模块160和其他电子设备(例如电子设备102)进行配对，建立连接。配对完成后，电子设备101可以通过无线通信模块160向其他电子设备发送数据，也可以通过无线通信模块160接收其他电子设备发送的数据。

在一些实施例中，电子设备101的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备101可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备101通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备101可以包括1个或N个显示屏194，N为大于1的正整数。

本申请实施例中，显示屏194可以用于显示应用程序界面和应用程序界面中的控件。

电子设备101可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备101可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备101在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备101可以支持一种或多种视频编解码器。这样，电子设备101可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备101的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备101的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备101的各种功能应用以及数据处理。

本申请实施例中，内部存储器121可以用于存储录制用户操作过程中获取的控件标签，控件路径和操作事件类型。也可以用于存储用户添加的快捷操作对应的快捷操作序列。

电子设备101可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备101可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备101接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备101可以设置至少一个麦克风170C。在另一些实施例中，电子设备101可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备101还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

本申请实施例中，当用户使用语音控制电子设备101添加快捷操作时，麦克风170C可以用于接收用户的语音输入。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备101根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备101根据压力传感器180A检测所述触摸操作强度。电子设备101也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备101的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备101围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备101抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备101的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备101通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备101可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备101是翻盖机时，电子设备101可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备101在各个方向上(一般为三轴)加速度的大小。当电子设备101静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备101可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备101可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备101通过发光二极管向外发射红外光。电子设备101使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备101附近有物体。当检测到不充分的反射光时，电子设备101可以确定电子设备101附近没有物体。

环境光传感器180L用于感知环境光亮度。电子设备101可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备101是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备101可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备101利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备101执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备101对电池142加热，以避免低温导致电子设备101异常关机。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备101的表面，与显示屏194所处的位置不同。

本申请实施例中，触摸传感器180K可以用于检测用户的点击、长按、滑动等操作。本申请提及的长按操作可以理解为用户执行操作的时长满足预设时长所对应的操作

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备101可以接收按键输入，产生与电子设备101的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备101的接触和分离。电子设备101可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备101通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备101采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备101中，不能和电子设备101分离。

图2是本发明实施例的电子设备101的软件结构框图。

电子设备101的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备101的软件结构。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。也可以包括用于用户添加快捷操作和控制回放快捷操作的应用程序，例如本申请实施例提供的快捷操作应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备101的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

本申请实施例中，应用程序框架层可以包括控件标记模块，该模块可以针对应用界面中的控件，生成控件的路径信息，对控件进行标记，并且该控件的路径信息保存在内部处理器中。

在本申请实施例中，应用程序框架层还可以包括解析模块，用于解析快捷操作序列，定位需要执行操作的控件和在控件上执行相应的操作。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

图3A至图3L是本申请实施例提供的一种在电子设备上添加操作序列的人机交互界面的示意图。下面以电子设备101是手机，通过录制用户操作，在手机101上添加和回放快捷操作为例进行说明。

图3A所示，301代表手机101上安装的快捷操作应用程序，该应用程序可以用于用户添加快捷操作和管理用户添加的快捷操作。该快捷操作应用程序也可以用于控制录制用户在一个或多个第三方应用程序上进行一系列操作的开始和停止。上述快捷操作指用户自定义的在一个或多个应用程序上执行的操作集合，该操作集合中可以包括一个或多个操作。例如，用户需要每天上班时进行打开，用户打开考勤应用程序进行打卡的过程可以形成打卡快捷操作，该快捷操作可以包括用户打开考勤应用程序，打开考勤界面，点击打卡控件的操作。又例如，用户有每天晚上10点后，将手机屏幕亮度调节到50％的习惯，该调节手机屏幕亮度的过程可以形成调节亮度快捷操作，该快捷操作可以包括用户在手机界面下滑，打开下滑通知栏界面，拖动亮度调节按键将亮度调节为50％的操作。又例如，用户每天从公司打车回家，可以形成打车快捷操作，该快捷操作可以包括用户打开打车软件，输入家庭地址，选择车型，确认呼叫的操作。上述录制用户的操作指，用户在应用程序上进行操作时，获取和保存用户的操作信息，该操作信息包括操作事件类型，操作的控件标签和控件的路径信息，其中，获取和保存用户的操作信息中的操作事件类型，用户操作的控件标签和控件的路径信息的方法将在后续实施例中结合图4至图10进行详细说明，此处不再赘述。

需要解释说明的是，用户在应用程序上执行的操作可以是所有可能执行的操作，用户的操作可以包括但不限于单击，双击，三指敲击，长按，滑动条目，编辑文本，改变进度，启动应用等至少一个操作，本申请对用户操作的类型和操作数量等参数不做限定。

图3B是快捷操作应用程序的一应用程序界面。如图3B所示，该应用程序界面可以显示用户已添加的快捷操作名称，例如图3B所示的快捷操作1。需要说明的是，该快捷操作名称可以是用户设置的，也可以是该快捷操作应用程序自动生成的。该快捷操作应用程序界面可以包括控件302，可以用于分享添加的快捷操作，例如将快捷操作1分享给其他电子设备，或者将与快捷操作1相关的界面布局元素，或者链接分享给其他电子设备，也可以分享给其他用户。该快捷操作应用程序界面可以包括控件303，用于编辑添加好的快捷操作，例如，修改快捷操作名称。该快捷操作应用程序界面可以包括控件304，用于删除已添加的快捷操作。该应用程序界面还包括快捷操作添加控件305，用户点击快捷操作添加控件305之后，响应于用户的点击操作，可以显示快捷操作应用程序的另一应用程序界面，并可以开始录制用户的操作，参见图3C。

图3C是快捷操作应用程序的另一应用程序界面。如图3C所示，在快捷操作应用程序的界面中，306所示区域内可以显示手机上已经安装的应用程序。用户可以点击想要操作的应用程序(如图3C中307所示的H商城应用程序)，响应于用户的点击操作，跳转到用户想要操作的应用程序界面，例如图3D所示的H商城应用程序界面。

需要解释说明的是，上述图3C显示的可以是手机101上已安装的部分或者全部第三方应用程序。所述图3C应用程序界面中显示的应用程序的控件可以被手机系统的应用程序框架层中的控件标记模块进行标记，为应用程序的控件添加可以识别控件的控件路径信息，用于在录制用户操作和多设备回放过程中定位应用程序中的控件。其中，手机系统应用程序框架层提供的应用程序控件标记方法，将在后续实施例中结合图4进行详细描述。

在一些应用场景中，应用程序开发者也可以在更新应用程序时，按照手机系统提供商提供的方法对应用程序中的控件进行标记。

在另一些应用场景中，应用程序更新时，如果增加了新的控件，开发者也可以按照手机系统提供商提供的方法对应用程序中增加的控件进行标记。

另外，当用户想要操作的应用程序未显示在图3C快捷操作应用程序界面中时，用户可以点击如图3C中所示的控件308，响应于用户的点击操作，该快捷操作应用程序的界面可以跳转到应用程序搜索界面，用户可以查找想要操作的应用程序并进行选择。

可以理解的是，上述图3C中显示的部分或者全部应用程序已开放允许录制用户操作的权限。用户也可以在手机101的系统设置里，设置应用程序录制用户操作的权限。

参见图3D，在录制用户操作过程中，该应用程序界面可以显示控件309，用于提示用户正在录制用户操作。该应用程序界面还可以显示停止录制控件310，用于控制停止录制用户在应用程序上的操作。在图3D所示的应用程序界面中，用户可以执行操作，例如，用户可以点击该界面中的“礼物”控件311。

参见图3E至图3F，快捷操作应用程序可以用于控制停止录制用户操作。示例性地，图3E是H商城应用程序的一应用程序界面，当用户点击如图3E中的“签到”控件312后，用户完成签到。用户在H商城应用程序上的签到操作完成后，参见图3F，用户点击停止录制控件，响应于用户的点击操作，快捷操作应用程序可以控制停止录制用户操作。

参见图3G至图3H，录制用户操作完成后，在快捷操作应用程序的界面中，用户可以为添加的快捷操作设置名称，例如“H商城签到”，该名称也可以是快捷操作应用程序自动生成的。添加完用户的快捷操作后，参见图3H，该快捷操作应用程序界面中可以显示已添加的快捷操作，例如“H商城签到”。

参见图3I至图3J，用户可以选择已添加的快捷操作，在电子设备上回放。例如，参见图3I，在快捷操作应用程序界面中，可以显示已添加快捷操作，用户可以通过点击，选择添加的快捷操作进行回放。回放过程电子设备可以在与录制过程相对应的控件上执行相应的操作。例如，参见图3J，点击“礼物”控件。参见图3K，点击“签到”控件，参加图3L，显示回放录制的快捷操作之后的界面。需要说明的是，为便于说明，图中示出了图标313，可以用于提示用户处于回放中，也可以没有图标313。

根据前述描述，在录制用户操作过程中，可以获取和保存用户在应用程序控件上的操作信息，该操作信息包括操作事件类型，控件的路径信息以及控件标签。以Android系统为例进行说明。

应用通过布局文件定义GUI图形用户界面(graphical user interface，GUI)(即显示界面)。布局文件由控件和布局容器构成的视图树组成。其中，控件(View)是在GUI中呈现的元素，能够为用户提供一定的操作功能或用于显示一定内容。控件组(ViewGroup)中可以包括一个或多个View。示例性的，控件具体可以包括文本控件，例如TextView控件、EditText控件等，也可以包括按钮控件，例如Button控件、ImageButton控件等，还可以包括图片控件，例如Image控件等，本申请实施例对此不做任何限制。其中，布局容器，用于存放控件以及其他布局容器的布局结构。即，一个布局容器可以包括一个或多个控件，以及嵌套一个或多个布局容器。

以Andriod系统的显示界面为例进行说明。一般一个显示界面对应一个Activity，而一个Activity持有一个Window对象(其实例为PhoneWindow)，该Window用来绘制各种控件。PhoneWindow作为Android系统最基本的窗口系统，持有顶层View对象DecorView(实质是一个ViewGroup)。DecorView为所有View和ViewGroup的根视图(ViewRoot)。DecorView包含ContentView(实质是一个ViewGroup)，ContentView是各个应用自定义的视图，即应用的显示界面。ContentView包括一个或多个View，和/或，一个或多个ViewGroup。需要说明的是，在显示界面的过程中，电子设备是从根视图的performTraversals()方法开始，从上到下遍历整个视图树，每个View控制负责绘制自己，而ViewGroup还需要负责通知自己的子View进行绘制操作。

请参见图4，图4中(1)为手机101上一音乐应用界面的示意图。该音乐应用界面对应一个DecorView。其中，DecorView包括View1(图片控件)、View2(进度条控件)，ViewGroup1和ViewGroup2。其中，ViewGroup1包括View3(文本控件)和View4(文本控件)。ViewGroup2具体包括ViewGroup3和ViewGroup4。类似的，ViewGroup3包括View5(按钮控件)，View6(按钮控件)和View7(按钮控件)。ViewGroup4包括View8(按钮控件)。其中，该音乐应用界面中各个View和ViewGroup的层次结构关系可参考图4中(2)示出的视图树。

示例性的，开发人员可使用线性布局(LinearLayout)、表格布局(TableLayout)、相对布局(RelativeLayout)、层布局(FrameLayout)、绝对布局(AbsoluteLayout)或网格布局(GridLayout)等布局方式设计应用中每个显示界面内的View或ViewGroup，从而生成每个显示界面的布局文件，即layout文件。

换言之，开发人员可以在各个显示界面的布局文件中设置该显示界面中每个View以及ViewGroup的层次结构，以及属性值(例如尺寸(宽高)、位置等)。通过该层次结构可知，每一个View可以具有子View，并且每一个View和其对应的子View具有关联关系，例如ContentView是DecorView的子View，View Group1是ContentView的子View，View3是ViewGroup1的子View。电子设备可以从根视图的performTraversals()方法开始，从上到下遍历整个视图树，在绘制View的过程中，获得从上到下找到某一View的路径信息。例如，参见图4中(1)，以View3为例，其路径信息为从DecorView到ContentView，从ContentView到ViewGroup1，从View Group1到View3。然后，将这些显示界面的布局文件打包在应用的安装包中，并将应用的安装包上架到应用市场。后续，电子设备可以从应用市场下载并安装应用的安装包。当在电子设备中运行某个应用时，电子设备通过获取该应用的布局文件，可按照该布局文件绘制相应显示界面，并呈现给用户。

需要说明的是，每个View的属性还可以包括控件标签，图4中(1)示出了应用程序界面的控件可以用不同标签进行标记，上述标签可以在添加操作序列时，定位应用程序界面上的控件。示例性地，图片控件View1可打上“Cover”标签，进度条控件View2可打上“ProgressBar”标签。可以理解的是，应用开发者可以为应用程序界面上的所有控件打上标签，也可以对部分控件打上标签。没有打上标签的控件无法采用控件标签进行标记和识别。

在一种可能的实现方式中，上述应用程序界面控件标记方法可以是开发者在开发第三方应用程序时，接入手机系统提供商提供的用于控件标记的SDK，调用打标签接口，对第三方应用程序控件进行标记。

在一种可能的实现方式中，上述应用程序界面控件标记方法也可以是开发者在开发第三方应用程序时，根据上述手机系统提供商提供的控件标记模板，在XML文件中采用该模板，对应用程序界面的控件进行标记。

在另一种可能的实现方式中，当应用程序更新时，如果需要增加新的控件，开发者可以在应用程序更新时，接入手机系统提供商提供的用于控件标记的SDK，调用打标签接口，对第三方应用程序控件进行标记。

在另一种可能的实现方式中，当应用程序更新时，如果需要增加新的控件，开发者还可以在应用程序更新时，根据上述手机系统提供商提供的控件标记模板，在XML文件中采用该模板，对应用程序界面的控件进行标记。

本申请实施例提供一种控件标记方法，通过电子设备应用程序框架层中的控件标记模块，可以标记应用程序中所有控件的路径信息，使之可以作为标识控件位置的属性。具体而言，当应用在电子设备上运行时，在显示界面的过程中，电子设备是从根视图的performTraversals()方法开始，从上到下遍历整个视图树，根据视图树，电子设备应用程序框架层的控件标记模块可以获取和控件层次结构关系相关的控件路径信息。该控件路径信息可以在添加操作序列的过程中唯一地定位控件。示例性地，以View3为例，其路径信息为从DecorView到ContentView，从ContentView到View Group1，从View Group1到View3。该路径信息可以采用字符串的形式保存，例如DecorView-ContentView-View Group1-View3，也可以采用值的形式保存，例如，可以采用哈希算法对上述路径信息对应的字符串转化为哈希值。

图5所示为本申请实施例提供的一种录制用户操作方法。

如图5所示，用户在应用程序的控件上进行操作过程中，可以将用户的每一个操作信息保存在快捷操作序列的对应字段中，操作信息包括事件类型、控件标签、操作参数等。如表1所示，用户打开“H商城”应用程序并签到的操作信息保存在快捷操作序列中。

表1

如表1所示，用户启动“H商城”应用程序的操作信息保存在操作名“action”字段中，该字段内容为“startApp”；用户需要点击“礼物”图标，进入签到界面，用户点击“礼物”图标的操作信息保存在操作名“action”和控件标签“tag”字段中，“action”字段内容为“click”，“tag”字段内容为“gift”；进入签到界面，用户点击“签到”按钮，用户点击“签到”按钮的操作内容保存在操作名“action”和控件标签“tag”字段中，“action”字段内容为“click”，“tag”字段内容为“signing”。如图5所示，用户完成签到后，点击停止录制控件，可以将用户的所有操作信息打包为一条快捷操作序列，电子设备可以将该快捷操作序列发送给内部存储器进行保存。

参见图6A-6B，示出了对应打开H商城应用程序，并完成签到快捷操作序列代码。图6A第一段表示在快捷操作应用界面中选择H商城应用并启动该应用，启动应用信息包括“mEventTime”，用于表示执行操作的时间；“mEventType”，用于操作的事件类型；“mPackageName”，用于表示启动的是哪一个应用。图6A第二段表示显示H商城应用主页面，“mClassName”用于表示显示的是哪一个页面窗口；图6B第一段表示点击“礼物”控件的操作，其中，“mRccTag”用于表示控件标签，“mViewPath”用于表示控件的路径信息，该路径信息是根据上述实施例中描述的控件标记方法，在绘制View的过程中得到的，该路径信息可以用字符串的形式进行保存，也可以采用哈希值的形式进行保存，示例性地，可以将控件的路径信息通过哈希算法生成哈希值；图6B第二段表示点击“签到”控件的操作。

参见图6C，示出了代码中显示的“mEventType”的值和事件类型的对应关系。例如，“mEventType”的值为64时，表示该操作是一个启动应用的事件。录制的用户操作事件类型还可以是点击事件，例如在按钮控件上的点击事件、长按事件、条目事件(例如在通讯录中选择联系人的操作)、编辑文本事件、滚动事件(例如在通讯录中滚动联系人列表的操作)、改变进度事件(例如拖动音视频播放进度的事件)、窗口改变事件(例如从一应用的主界面跳转到第二界面)。

参见图7A，说明本申请实施例提供的一种录制用户操作的方法，以第一电子设备中通过快捷操作应用，录制用户在第一应用上的操作为例进行说明。如图7A所示，第一电子设备可以包括快捷操作服务进程，所述快捷操作服务进程位于第一电子设备应用程序层，用于录制和回放快捷操作。

需要说明的是，进程(Process)是操作系统进行资源分配和调度的基本单位，是操作系统结构的基础。即，操作系统在运行任意一个应用程序时，就会创建一个进程，分配一个空间。对应的，第一应用进程对应于第一设备中的第一应用，快捷操作应用进程对应于快捷操作应用。且本申请对第一设备中的应用的具体实现类型不做限定。另外，本申请提及的应用程序又可称为应用。

快捷操作应用进程可以用于在录制用户操作过程中，启动用户选择的想要操作的应用，并将启动应用信息发送给快捷操作服务进程。其中，启动应用信息包括事件类型，例如启动应用事件，启动应用信息也可以包括应用名称，例如上述表1所示，packageName字段内容为应用名称。

第一应用进程包括操作信息获取模块，用户在第一应用上进行操作时，操作信息获取模块可以获取用户的操作信息，例如，可以获取用户的第一操作信息和第二操作信息，示例性地，第一操作信息包括控件的标签1，例如上述实施例中所述的“mRccTag”，控件路径1，例如上述实施例中所述的控件路径信息，事件类型1，例如上述实施例中所述的点击操作。类似的，第二操作信息包括控件的标签2，控件路径2和事件类型2。第一应用进程可以将获取的操作信息发送给快捷操作服务进程。本申请中，在第一应用进程与快捷操作服务进程之间可以建立进程间通信(inter-process communication，IPC)连接，以便实现第一应用进程与快捷操作服务进程之间的相互通信。

快捷操作服务进程包括操作信息收集模块，操作信息收集模块可以将启动应用信息，以及用户在应用程序控件上的操作信息打包为一条快捷操作序列。快捷操作服务进程可以通过IPC通信，将打包的快捷操作序列发送给快捷操作应用进程，快捷操作应用进程接收该快捷操作序列后，可以根据接收到的快捷操作序列，对应更新快捷操作应用界面上显示的快捷操作。快捷操作服务进程还可以将打包好的快捷操作序列发送给内部存储器，用于保存该快捷操作序列。

参见图7B，本申请实施例提供一种录制用户操作的方法，该录制用户操作的方法可以包括如下的步骤：

步骤S701：响应于用户对快捷操作添加控件的点击，例如图3B中的控件305，快捷操作应用进程通过IPC通信和快捷操作服务进程建立连接，调用该快捷操作服务进程。

步骤S702：响应于用户选择第一应用的操作，快捷操作应用进程打开第一应用，创建第一应用进程。

步骤S703：快捷操作应用进程将启动应用信息发送给快捷操作服务进程。其中，启动应用信息包括应用名称和启动应用的事件类型，例如应用名称为上述表2中所示的packageName字段内容，事件类型为启动应用。需要解释说明的是，用户可以通过点击应用对应的图标的方式打开应用，例如，用户可以通过单击，双击，三击、指关节敲击，多指选择等方式打开应用。具体而言，当检测到用户的对该应用的图标进行操作时，如果判断该操作为点击操作，则获取该应用的名称信息。

步骤S704：第一应用进程，响应于用户在第一应用界面上控件的第一操作，获取用户的第一操作信息，该第一操作信息可以包括例如上述实施例中所述的控件的标签，控件路径信息，操作的事件类型。需要解释说明的是，检测到用户在第一应用界面上控件的第一操作时，可以对该操作进行判断。例如，判断到该第一操作为点击操作，则获取用户的第一操作信息。

步骤S705：第一应用进程通过操作信息获取模块将用户的第一操作信息发送给快捷操作服务进程。

步骤S706：第一应用进程，响应于用户在第一应用界面上控件的第二操作，获取用户的第二操作信息，该第二操作信息可以包括例如上述实施例中所述的控件的标签，控件路径信息，操作的事件类型。需要解释说明的是，检测到用户在第一应用界面上控件的第二操作时，可以对该操作进行判断。例如，判断到该第二操作为点击操作，则获取用户的第二操作信息。步骤S707：第一应用进程通过操作信息获取模块将用户的第二操作信息发送给快捷操作服务进程。

步骤S708：响应于用户点击停止录制控件的操作，停止录制快捷操作，并告知第一应用进程停止获取操作信息。

步骤S709：快捷操作服务进程通过操作信息收集模块，将获取的启动应用信息，第一操作信息和第二操作信息打包为快捷操作序列。该快捷操作序列与上述启动第一应用，在第一应用控件上执行第一操作和第二操作相关联。

需要解释说明的是，实现上述步骤S704的代码可以为如图7C所示的代码，例如，通过DuxEvent.TYPE_VIEW_CLICK获取操作事件的类型，例如点击操作。通过getViewPathHash()获取控件的路径信息，通过getRccTag()获取控件的标签。

可以理解的是，上述快捷操作序列中保存了用户在应用程序上的全部操作信息。图7仅以第一操作信息和第二操作信息为例，在其他可能的实现方式中，根据用户在应用程序上的实际操作，快捷操作服务进程打包的快捷操作序列可以保存更少或更多的操作信息。例如，用户只进行了打开应用程序的操作，那么快捷操作序列中保存的是启动应用程序的操作信息；又比如，用户想添加从公司打车回家的快捷操作，用户将打开打车应用程序，在上车地点输入框控件中，输入公司地址，在目的地输入框控件中，输入家庭地址，再点击确认呼叫，那么快捷操作序列中会保存输入上车地点的第一操作信息，输入目的地的第二操作信息，点击确认呼叫的第三操作信息。

如图7A-7C所示，上述录制用户操作可以通过安装在电子设备中的快捷操作应用程序实现。该快捷操作应用程序可调用内置在电子设备应用程序层中的快捷操作服务进程实现录制用户操作。

在一些应用场景下，用户希望在手机上添加快捷操作，在一种可能的实现方式中，用户可以点击快捷操作应用程序中的快捷操作添加控件，调用快捷操作服务进程，录制用户在应用程序上的操作。示例性地，用户可以在快捷操作应用程序界面中，点击快捷操作添加控件，选择想要操作的应用(例如H商城应用程序)，快捷操作应用程序调用内置在电子设备应用程序层中的快捷操作服务进程，用于录制用户在“H商城”应用程序上的操作。

在一种可能的实现方式中，用户可以通过语音输入调用上述快捷操作服务进程。例如，用户对着手机说“小艺小艺，添加快捷操作”。手机采集到该语音信号后，可利用手机中的语音助理系统对该语音信号进行语音识别，并将语音识别结果发送给设备管理服务器，设备管理服务器根据语音处理结果得到调用快捷操作服务进程的控制指令，并将该指令发送给手机，用于调用快捷操作服务进程。快捷操作服务进程调用后，用户可通过语音控制手机选择想要操作的应用程序，并通过语音控制手机在上述所选的应用程序上执行操作；用户也可以通过语音控制手机选择想要操作的应用程序后，在应用程序上手动执行想要的操作；用户还可以在通过语音控制手机在上述所选的应用程序上执行操作的过程中，改用手动执行操作。

示例性地，手机对用户说“请添加操作”，用户对手机101说“打开H商城”，点击“礼物”，点击“签到”，完成添加”。手机采集该语音信号，通过语音识别后，手机在“H商城”应用程序上执行相应的操作，调用快捷操作服务进程录制该相应的操作。录制完成后，手机向用户提示添加快捷操作的结果，例如，手机对用户说“快捷操作已添加”。

如图8所示，通过对快捷操作序列的解析，可以实现回放用户的操作。对于快捷操作序列的解析，是根据快捷操作序列中添加操作信息的顺序执行的。例如，先解析启动应用消息，执行启动应用，再解析点击“礼物”控件的操作信息，执行在“礼物”控件上的点击，最后解析点击“签到”控件的操作信息，执行在“签到”控件上的点击操作。

参见图9，说明本申请实施例提供的一种回放用户操作的方法，以第一电子设备中通过快捷操作应用，回放用户在第一应用上的操作为例进行说明。如图9所示，第一电子设备的快捷操作应用进程可以将快捷操作序列通过IPC通信发送给快捷操作服务进程。

快捷操作服务进程包括：事件类型确认模块，快捷操作服务进程接收到快捷操作序列后，可以通过事件类型“mEventType”字段的内容，解析该快捷操作序列中的事件类型。

需要解释说明的是，上述快捷操作序列中操作的事件类型可以分为控件注入型操作和非控件注入型操作。控件注入型操作包括需要在应用程序界面控件上执行的操作，例如点击，长按，滑动，拖动，输入文本等操作。非控件注入型操作包括打开应用程序，返回电子设备主界面，退出应用程序等操作。

如果快捷操作服务进程的事件类型确认模块解析该快捷操作序列中的操作是非控件注入型操作，例如图6A-6B所示的操作序列，事件类型确认模块通过事件类型“mEventType”字段的内容“64”，解析得到打开H商城应用程序是非控件注入型操作，事件类型确认模块将快捷操作序列中打开H商城应用程序的操作信息转换为应用程序可以执行的数据格式，控制打开H商城应用程序，创建H商城应用进程。

如果快捷操作服务进程的事件类型确认模块解析该操作序列中的操作是控件注入型操作，例如，事件类型确认模块通过事件类型“mEventType”字段的内容“1”，为点击操作，解析得到该操作是控件注入型操作，事件类型确认模块将快捷操作序列中点击控件的操作信息转换为第三方应用程序可以执行的数据格式，发送给应用程序框架层中的解析模块进一步解析。该解析模块接收该快捷操作序列，进一步解析控件注入型操作信息，包括解析事件类型，操作参数，控件标签等信息，例如解析模块进一步解析控件标签“mRccTag”字段内容为“礼物”，定位是在“礼物”控件上执行点击操作，H商城应用程序进程可以获取该解析结果，在对应控件上执行相应的操作，完成H商城应用程序中签到操作的回放。

需要解释说明的是，回放过程中也可以通过解析控件的路径信息去定位控件，执行操作。示例性地，可以解析“mViewPath”字段去定位控件。

在其他可能的实现方式中，上述解析模块可以在接收到操作序列时，先判断有没有控件标签，如果有，可以通过解析控件标签去定位控件，进而在控件上执行操作；如果没有控件标签，可以通过解析控件的路径信息去定位控件，进而在控件上执行操作。又或者，解析模块可以分别通过解析控件标签和控件的路径信息去定位控件，如果两种解析方式定位的控件一致，则认为定位控件准确，进一步在定位的控件上执行操作。

在一些实施例中，上述回放用户操作的过程可能会失败。例如，应用版本更新后，控件的路径信息发生改变，原来录制用户操作时获取的路径信息不能准确定位到原来的控件。此时，采用控件的标签去定位控件，进而执行操作。如果没有控件的标签，也无法定位控件，则中断回放过程，提示用户回放失败。用户可以重新录制在该应用上的快捷操作。

或者，回放过程中没有找到控件，是因为出现了录制过程中没有出现过的窗口或者控件时，例如打开应用时的广告页面，可以预设一等待时间阈值，经过一等待时间阈值后，再一次通过解析控件标签或者通过解析控件的路径信息去定位控件，如果该没有出现的窗口或者控件消失，并能定位到控件，则执行操作，如果经过一等待时间阈值后，该窗口或者控件不消失，并且无法定位控件，则中断回放过程，提示用户回放失败。或者，用户可以等待一段时间再重新回放该操作。

又或者，回放过程中出现了需要确认用户信息的情况。例如，用户使用账号登录了一音乐应用，并在该音乐应用上录制了播放“我的收藏”中音乐的快捷操作，其中“我的收藏”中的音乐与用户账号信息相对应。当用户许久不使用该音乐应用时，用户回放该快捷操作时，用户的登录信息过期，那么在回放的过程中需要用户使用账号进行登录。可以在检测到需要确认用户信息的情况发生时，提示用户输入信息，验证用户账号通过后，继续执行回放操作，也可以在检测到需要确认用户信息的情况发生时，中断回放操作，提示用户回放失败。

参见图10，本申请实施例提供一种回放用户操作的方法，以快捷操作为用户启动第一应用，在第一应用中执行的第一操作为点击操作，第二操作为点击操作为例进行说明，该回放用户操作的方法可以包括以下的步骤：

步骤S1001：第一快捷操作应用进程响应于用户对已添加的快捷操作的选择，通过IPC通信，和快捷操作服务进程建立连接，调用快捷操作服务进程。例如，参见图3I，点击H商城签到的快捷操作。第一快捷操作应用进程将快捷操作序列发送给快捷操作服务进程。

步骤S1002：快捷操作服务进程接收到快捷操作序列后，通过事件类型确定模块，确定启动应用事件为非控件注入型操作。

步骤S1003：快捷操作服务进程启动第一应用，创建第一应用进程。

步骤S1004：快捷操作服务进程接收到快捷操作序列后，通过事件类型确定模块，确定第一操作的事件类型为控件注入型操作。

步骤S1005：快捷操作服务进程将第一操作信息发送给第一应用进程。

步骤S1006：第一应用进程包括解析模块，第一应用进程接收到快捷操作服务进程发送的第一操作信息后，对第一操作信息进行解析。该解析模块可以解析第一操作信息中的控件的标签，定位到控件(例如通过解析“mRccTag”字段内容)，执行相应的操作。该解析模块也可以解析第一操作信息中的控件的路径信息(例如可以解析“mViewPath”字段)，定位到控件，执行相应的操作。

步骤S1007：快捷操作服务进程接收到快捷操作序列后，通过事件类型确定模块，确定第二操作的事件类型为控件注入型操作。

步骤S1008：快捷操作服务进程将第二操作信息发送给第一应用进程。

步骤S1009：第一应用进程接收到快捷操作服务进程发送的第二操作信息后，对第二操作信息进行解析。该解析模块可以解析第二操作信息中的控件的标签，定位到控件(例如通过解析“mRccTag”字段内容)，执行相应的操作。该解析模块也可以解析第二操作信息中的控件的路径信息(例如可以解析“mViewPath”字段)，定位到控件，执行相应的操作。

如图10所示，在第一电子设备上回放用户添加的快捷操作可以通过启动内置在电子设备应用程序层中的快捷操作服务进程实现。

在一些应用场景下，以电子设备101是手机为例，用户可以点击手机上快捷操作应用程序中的快捷操作，调用快捷操作服务进程，控制已添加的快捷操作在手机上回放。示例性地，用户在手机上点击快捷操作应用程序中的H商城签到快捷操作，调用手机上的快捷操作服务进程，用于在手机上回放该用户选择的快捷操作。

在另一种可能的实现方式中，用户可以通过语音输入控制选择手机上快捷操作应用程序中的快捷操作，从而调用快捷操作服务进程，控制已添加的快捷操作在手机上回放。

可以理解的是，在其他一些实施例中，用于回放的电子设备除了可以是手机101，也可以是手表，也可以是与手机通过网络建立连接，进行配对了的其他电子设备(例如，平板电脑)。

在一些应用场景中，以第一电子设备是手机为例进行说明。手机上保存了用户录制的快捷操作对应的快捷操作序列，用户可以通过手机录制的快捷操作。例如，用户在手机上录制“上班打卡”的快捷操作，该“上班打卡”用于用户到达工作地时打卡。用户首先打开快捷操作应用程序，然后选择上班打卡的应用程序，在该上班打卡应用程序中，打开打卡界面，点击打卡，点击快捷操作应用程序的停止录制控件，将上述操作保存为“上班打卡”快捷操作，快捷操作应用程序界面中显示该“上班打卡”快捷操作。当用户想要在手机上回放该快捷操作时，用户可在该快捷操作应用程序界面中选择“上班打卡”快捷操作，响应于用户的选择，“上班打卡”快捷操作在手机101上回放。

在另一些实施例中，用户可以在手表上录制快捷操作，保存该录制的快捷操作对应的快捷操作序列。用户在手表上录制的快捷操作，可以在手表上回放。示例性地，用户在手表上录制“室内跑步”的快捷操作，该“室内跑步”用于记录用户室内跑步的数据。用户打开快捷操作应用程序，选择一记录运动数据的应用程序，在该应用程序中，选择室内跑步，点击开始，点击快捷操作应用程序的停止录制控件，将上述操作保存为“室内跑步”快捷操作，手表的快捷操作应用程序中显示该“室内跑步”快捷操作。当用户想要在手表上回放该快捷操作时，用户可在手表的快捷操作应用程序界面中选择“室内跑步”快捷操作，响应于用户的选择，“室内跑步”快捷操作在手表上回放。

如图11所示，第一电子设备可以将录制的快捷操作发送给第二电子设备。第一电子设备具有快捷操作应用程序，快捷操作应用进程对应快捷操作应用程序，第一电子设备还具有第一应用，第一应用进程对应第一应用。第一电子设备的应用程序层中具有快捷操作服务进程。该快捷操作服务进程可以用于将用户在第一电子上添加的快捷操作发送给第二电子设备。

第二电子设备具有快捷操作应用程序。第二电子设备的应用程序层中具有快捷操作服务进程。

第一电子设备的快捷操作服务进程与第二电子设备的快捷操作服务进程之间可以建立远程过程调用(remote procedure call，RPC)连接，以便实现第一电子设备的快捷操作服务进程与第二电子设备的快捷操作服务进程之间的相互通信。

第二电子设备的快捷操作服务进程接收到第一电子设备发送的快捷操作后，会通过IPC通信，将该快捷操作发送给快捷操作应用进程，快捷操作应用进程接收该快捷操作后，会在快捷操作应用程序界面上更新显示接收到的快捷操作。

示例性地，以第一电子设备是手机，第二电子设备是手表为例进行说明。需要解释说明的是第一电子设备除了可以是手机101，也可以是平板电脑、笔记本电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)、虚拟现实设备、智能家居设备(例如智能电视)等支持音频/视频业务的电子设备，以下实施例中对第一电子设备的具体形式不做特殊限制。第二电子设备除了可以是手表外，还可以是平板电脑、笔记本电脑、具备无线通讯功能的可穿戴电子设备、虚拟现实设备、智能家居设备(例如智能电视)等支持音频/视频业务或语音通话业务的电子设备，以下实施例中对第二电子设备的具体形式不做特殊限制。

在一些应用场景中，用户具有一部手机和一个手表，手机和手表通过连接建立配对后，用户在手机上录制的快捷操作可以发送给手表，手表上可以显示用户添加的快捷操作，用户可以在手表上点击快捷操作，控制该快捷操作在手机进行回放。回放过程可以参见如14A-14H所示的界面。其中，图14A-14E显示的是手表上的界面，图14F-14H显示的是手机上的界面。

用户可以在图14B所示的快捷操作应用程序的另一应用程序界面中点击想要回放的快捷操作，响应于用户的点击操作，快捷操作应用程序调用手表和手机的快捷操作服务进程，开始在与手表配对了的手机上回放用户选择的快捷操作。示例性地，用户在手表上，在快捷操作应用程序中选择快捷操作H商城签到(参见图14B)，手机上开始回放该快捷操作，在手机上的H商城应用程序中进行签到。需要解释说明的是，上述用于回放用户快捷操作的手机，需要安装上述快捷操作中涉及的应用程序，并且该应用程序中的控件被按照上述电子设备的应用程序框架层控件标记模块提供的标记方法进行了标识。

图14C是快捷操作应用程序的另一应用程序界面。该应用程序界面可以显示快捷操作的图标，也可以提示用户快捷操作的内容，本申请实施例对提示的形式和内容不做特殊限定。例如，用户选择的是在手机上的H商城应用程序中签到的快捷操作，该快捷操作界面可以显示一个“礼物”图标，可以显示回放快捷操作的进度，也可以显示“签到”的文本信息，还可以显示签到日期。

图14F至图14H是手机上回放H商城签到快捷操作的应用程序界面。用户在上述快捷操作应用程序中点击H商城签到快捷操作，响应于用户的点击操作，调用快捷操作服务进程，控制该快捷操作在手机上回放，回放的签到过程与用户在手机上录制H商城签到快捷操作时的过程一致，即先在H商城应用程序首页(参见图14F)，选择“礼物”图标控件(参见图14G)，点击“签到”控件(参见图14H)。

图14D和图14E是手机上回放完H商城签到快捷操作后显示回放该快捷操作结果的应用程序界面。手机上回放完H商城签到快捷操作后，手机会将回放该快捷操作的结果发送给手表。

例如，手机上成功完成签到后，手机将签到成功的消息发送给手表，手表接收到该签到成功消息后，在应用程序界面上进行对应提示，显示签到成功(参见图14D中1403)。如果手机上回放该快捷操作后，未签到成功，手机通过网络将签到失败的消息发送给手表，手表接收到该签到失败消息后，在应用程序界面上进行对应提示，显示签到失败(参见图14E中1404)。需要说明的是，上述提示回放快捷操作结果的方式可以是图片形式，文本形式，也可以是语音形式，本申请实施例不对所述提示方式做特殊限制。

需要解释说明的是，出现如图14E所示的回放操作操作失败的情况可以是录制的快捷操作在回放的过程中，没有定位到相应的控件，或者定位到相应的控件，但该控件上无法执行操作。又或者，在一些需要用户登录账号才能执行操作的场景下，如果录制过程中，用户在执行操作的应用程序中已登录账号，而回放过程中，用户登录的账号信息失效，则中断该回放过程，并提示用户执行回放操作失败。

需要解释说明的是，图14C-图14E中，显示的布局元素可以是用户完成录制操作后，在手机应用的界面中获取的。例如，参见图15A-15B，录制结束后，用户点击停止录制控件，图15A所示的应用程序界面中会提示用户选择界面上的元素，也会把可以选择的元素以框选的形式框出来，用户可以在框选出来的元素上进行选择。选择完成后，点击下一步，可以显示图15B所示的界面，在该界面中用户可以选择想要执行的设备，用于选择在哪个设备上呈现选择的布局元素。例如，用户可以选择在手表上显示布局元素，用于在回放过程中，提示用户与回放操作相关的信息。用户通过手表控制快捷操作在手机上回放时，图14F-14H所示的界面也可能不会出现，回放的快捷操作可以在手机虚拟屏上执行。

如图12所示，第一电子设备可以将录制的快捷操作发送给第二电子设备，第二电子设备可以将第一电子设备录制的快捷操作发送给第三电子设备。第二电子设备可以控制该快捷操作在第三电子设备上进行回放。以第一电子设备是手机，第二电子设备是手表，第三电子设备是平板电脑为例进行说明。用户在手机上录制的快捷操作可以发送给手表，手表可以将该快捷操作发送给平板电脑，手表可以控制该快捷操作在平板上回放。

如图13所示，第一电子设备和第三电子设备可以通过相同的账号登录到云服务器中，使得第三电子设备可以获取第一电子设备上添加的快捷操作。例如手表可以使用和手机相同的账号登录云服务器，使用数据同步功能，获取手机发送到云服务器上的快捷操作序列。

在一些实施例中，可以通过第二电子设备控制第一电子设备添加用户操作，示例性地，以第二电子设备是手表，第一电子设备是手机，用户可以通过手表控制手机开始录制快捷操作。例如，手机和手表完成配对后，用户可以通过语音控制告诉手表开始添加快捷操作，用户通过语音控制告诉手表需要在手机上执行哪些操作，并通过手机上的快捷操作应用，将执行的操作录制下来。

在一些实施例中，用户可以在手机的下拉通知界面中，点击设置快捷操作控件，用于添加快捷操作。如图16A所示，用户在手机界面中下拉打开通知界面后，点击控件1601，响应于用户的点击操作，在一种可能的实现方式中，可以跳转到上述实施例所述的快捷操作应用程序的界面，点击该界面中的快捷操作添加控件，用于添加快捷操作。在另一种可能的实现方式中，响应于用户在手机下拉通知界面对控件1601的点击操作，可以跳转到上述实施例所述的快捷操作应用程序的程序界面，用户可在该界面选择想要录制操作的应用程序。其中，添加用户快捷操作过程中的录制用户操作的方法可以采用如图7A-7C中相同的步骤，此处不再赘述。

在一些实施例中，用户可以在手机的负一屏界面中，打开快捷操作应用程序。如图16B所示，手机负一屏界面中的1602区域，可以显示快捷操作应用程序的图标，用户可以点击该图标打开快捷操作应用程序，用于添加快捷操作。其中，添加用户快捷操作过程中的录制用户操作的方法可以采用如图7A-7C中相同的步骤，此处不再赘述。

在另一些实施例中，手机负一屏界面中，可以在情景智能区域显示快捷操作应用程序界面。如图16C所示，手机负一屏界面的1603区域中，可以显示快捷操作应用程序的界面，用户可以在该界面中，点击快捷操作添加控件，用于添加快捷操作。用户也可以在该界面中，选择想要回放的快捷操作，用于通过手机控制其他与手机配对了的电子设备回放该选择的快捷操作。其中，在其他电子设备上回放用户操作的方法可以采用如图10所示实施例中相同的步骤，此处不再赘述。

在控制回放的过程中，当用户想要在多个电子设备上回放录制的快捷操作时，用户可以在第一电子设备上，选择想要回放的快捷操作以及想要回放的设备。示例性地，用户在第一电子设备上选择想要回放的快捷操作后，第一电子设备的界面可以显示与其配对了的其他电子设备。第一电子设备可以具有配对设备选择界面，在配对设备选择界面中，用户在与其建立连接，完成配对的电子设备中，选择想要回放快捷操作的电子设备。所述配对设备选择界面，可以显示和手机建立连接，完成配对的所有其他电子设备。该配对设备选择界面还可以显示多选框，用户想要同时选择多个电子设备用于回放所选择的快捷操作时，可以同时勾选多个电子设备对应的多选框。例如，用户在手表上选择手机和平板电脑作为回放“商城签到”快捷操作的设备。可以参加图17。

需要解释说明的是，上述实施例以录制和回放用户在第三方应用程序上的操作为例进行说明。当用户想要录制在系统自带的应用程序(例如，时钟，图库等应用程序)上的操作，并将录制的操作在多个电子设备上回放时，上述添加操作序列的方法同样适用。

Claims (20)

1.一种添加操作序列的方法，其特征在于，所述方法包括：

显示第一界面，其中，所述第一界面包括第一控件，其中，所述第一控件与第一应用关联；

检测到用户对所述第一控件的第一操作；

响应于所述第一操作，获取所述第一操作的事件类型；

确定所述第一操作的事件类型满足第一预设条件，获取第一应用的名称信息；

响应于所述第一操作，显示第二界面，所述第二界面与第一应用关联，所述第二界面包括第二控件；

确定所述第二控件的第一路径信息，所述第二控件的第一路径信息用于指示所述第二控件在所述第二界面的布局中的位置；

检测到用户对所述第二控件的第二操作；

响应于所述第二操作，获取所述第二操作的事件类型；

确定所述第二操作的事件类型满足第二预设条件，获取所述第二控件的第一路径信息；

响应于所述第二操作，显示第三界面；

保存所述第一应用的名称信息、所述第一操作的事件类型、所述第二控件的第一路径信息和所述第二操作的事件类型；

显示第四界面，所述第四界面与第二应用关联，其中，所述第四界面包括第三控件，其中所述第三控件与第一应用关联；

检测到用户对所述第三控件的第三操作；

响应于所述第三操作，基于所述第一应用的名称信息和所述第一操作的事件类型，显示所述第二界面；

显示所述第三界面。

2.根据权利要求1所述的方法，其特征在于，所述第二界面包括第四控件和第五控件，所述第四控件与所述第二控件关联，所述第五控件与所述第二控件关联；

所述第二控件具有第二子路径信息和第三子路径信息，其中，所述第二子路径信息用于指示在所述第二界面的布局中所述第二控件相对所述第四控件的位置，所述第三子路径信息用于指示在所述第二界面的布局中所述第二控件相对所述第五控件的位置；

所述确定所述第二控件的所述第一路径信息包括：

基于所述第二子路径信息和所述第三子路径信息确定所述第二控件的第一路径信息。

3.根据权利要求2所述的方法，其特征在于，所述第二控件是所述第四控件的子控件，所述第五控件是所述第二控件的子控件。

4.根据权利要求1-3任一项所述的方法，其特征在于，显示所述第三界面包括：

基于所述第二控件的第一路径信息和所述第二操作的事件类型，显示所述第三界面。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第二控件具有第二控件标签，所述第二控件标签用于标识所述第二控件；显示所述第三界面包括：

基于所述第二控件标签和所述第二操作的事件类型，显示所述第三界面。

6.根据权利要求1-5任一项所述的方法，其特征在于，在显示所述第一界面之前，所述方法还包括：

显示第五界面，所述第五界面包括第六控件；

检测到用户对所述第六控件的第四操作；

响应于所述第四操作，显示所述第一界面。

7.根据权利要求6所述的方法，其特征在于：所述第五界面与所述第二应用关联。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

将所述第一应用的名称信息、所述第一操作的事件类型、所述第二控件的第一路径信息和所述第二操作的事件类型发送给第一电子设备；

在第一电子设备上显示第六界面，所述第六界面具有第七控件，所述第七控件与所述第一应用关联；

检测到用户对所述第七控件的第五操作；

响应于所述第五操作，基于所述第一应用的名称信息和所述第一操作的事件类型，在第二电子设备上显示所述第二界面；

在第二电子设备上显示所述第三界面。

9.view权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

将所述第一应用的名称信息、所述第一操作的事件类型、所述第二控件的第一路径信息和所述第二操作的事件类型发送给第一电子设备；

在第一电子设备上显示第六界面，所述第六界面具有第七控件，所述第七控件与所述第一应用关联；

检测到用户对所述第七控件的第五操作；

响应于所述第五操作，基于所述第一应用的名称信息和所述第一操作的事件类型，在第三电子设备上显示第七界面，所述第七界面与所述第二界面关联，所述第七界面与所述第一应用关联；

在所述第三电子设备上显示所述第八界面，所述第八界面与所述第三界面关联，所述第八界面与所述第一应用关联。

10.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

响应于所述第二操作，显示第三界面和第八控件，所述第八控件与所述第二应用关联；

检测到对所述第八控件的第六操作；

响应于所述第六操作，显示第九界面，所述第九界面与所述第二应用关联。

11.根据权利要求10所述的方法，其特征在于，所述第九界面具有第九控件，所述第九控件与所述第二应用关联；

显示所述第九界面后，所述方法还包括：

检测到对所述第九控件的第七操作；

响应于所述第七操作，显示所述第四界面。

12.根据权利要求1-11任一项所述的方法，所述第二控件的第一路径信息为字符串或哈希值。

13.根据权利要求1-12任一项所述的方法，所述事件类型为点击事件，长按事件，条目点击事件，编辑文本事件，滚动事件，改变进度事件，启动应用事件，窗口改变事件中任一项。

14.根据权利要求1-13任一项所述的方法，所述第一操作为单击操作，或者第二操作为点击操作，或者第三操作为点击操作。

15.根据权利要求1-14任一项所述的方法，所述第一预设条件为所述第一操作为单击操作、双击操作、指关节敲击，多指选择操作中任一项；或者，所述第二预设条件为所述第二操作为单击操作、双击操作、指关节敲击，多指选择操作中任一项。

16.根据权利要求1-15任一项所述的方法，其特征在于，所述第一电子设备，所述第二电子设备和所述第三电子设备通过统一账号登录。

17.一种电子设备，包括一个或多个触摸屏，一个或多个存储器，一个或多个处理器；其中所述一个或多个储存器存储有一个或多个计算机程序；

其特征在于，当所述一个或多个处理器在执行所述一个或多个计算机程序时，使得所述电子设备实现如权利要求1至16任一项所述的方法。

18.一种系统，其特征在于，所述系统包括第一电子设备，第二电子设备和第三电子设备；所述系统可实现如权利要求1-16任一项所述的方法。

19.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-16任一项所述的方法。

20.一种计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-16中任一项所述的方法。

Images