CN117193514A - 人机交互的方法及电子设备 - Google Patents

Abstract

本申请提供一种人机交互的方法及电子设备，涉及终端技术领域，其中，该方法包括显示第一人机交互界面，所述第一人机交互界面包括第一交互对象，所述第一交互对象与第一程序对应；当接收到第一触发操作时，显示第二人机交互界面，所述第二人机交互界面包括与所述第一程序对应的第一提示信息，所述第一提示信息用于提示与所述第一程序相关的第二程序，所述第二程序用于向所述第一程序提供第一数据类型的数据，所述第一数据类型为所述第一程序进行数据处理所依赖的数据类型。本申请提供的技术方案能够降低人机交互难度和学习成本，也减少了第一程序在用户不知情的情况下窃取用户隐私的安全隐患。

Description

人机交互的方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种人机交互的方法及电子设备。

背景技术

随着科学技术的不断进步，终端设备的数量、类型和功能都得到了长足的发展。终端设备中可以安装应用程序，当运行该应用程序时可以在人机交互界面向用户提供与该应用程序对应的交互对象，从而通过该交互对象与用户进行交互。

现有技术中，一般可以由应用程序的开发人员，事先向用户提供相关的操作说明，然后用户可以基于该操作说明中所指示的方式与该应用程序对应的交互对象进行交互。

但应用程序的开发人员所提供的操作说明往往晦涩难懂，且该应用程序的开发人员也可能不提供相应的操作说明，因此一方面，通常用户需要仔细摸索练习，才能够成功地与交互对象进行人机交互，人机交互的效率低下，用户需要付出昂贵的学习成本；另一方面，应用程序可能在用户不知情的情况下窃取用户隐私，存在很大的安全隐患。

发明内容

有鉴于此，本申请提供一种人机交互的方法及电子设备，能够降低人机交互难度和学习成本，也减少了第一程序在用户不知情的情况下窃取用户隐私的安全隐患。

为了实现上述目的，第一方面，本申请实施例提供人机交互的方法，包括：显示第一人机交互界面，所述第一人机交互界面包括第一交互对象，所述第一交互对象与第一程序对应；当接收到第一触发操作时，显示第二人机交互界面，所述第二人机交互界面包括与所述第一程序对应的第一提示信息，所述第一提示信息用于提示与所述第一程序相关的第二程序，所述第二程序用于向所述第一程序提供第一数据类型的数据，所述第一数据类型为所述第一程序进行数据处理所依赖的数据类型。

在本申请实施例中，可以显示第一人机交互界面，第一人机交互界面包括与第一程序对应的第一交互对象，并在基于第一人机交互界面接收到第一触发操作时，显示第二人机交互界面，其中，第二人机交互界面包括与第一交互对象对应的第一提示信息，从而通过第一提示信息直观地提示用户电子设备中存在与第一程序相关的第二程序，其中，第二程序可以向第一程序提供第一程序进行数据处理所以依赖的第一数据类型的数据，使得用户可以简单明了地确定第一程序的至少部分功能和作用，降低人机交互难度和学习成本，也减少了第一程序在用户不知情的情况下窃取用户隐私的安全隐患。

需要说明的是，第一程序可以为电子设备中的任一应用程序，或者可以为任一应用程序的任一子程序，第二程序可以为与第一程序不同的程序。在一些实施例中，第一程序和第二程序可以为不同的应用程序。在一些实施例中，第一程序和第二程序可以为对应不同应用程序的子程序。在一些实施例中，第一程序和第二程序可以为对应同一应用程序的不同子程序。

其中，第一触发操作可以用于触发电子设备显示第一提示信息。第一触发操作可以包括语音、按键操作、触摸操作或手势操作等操作，当然，在实际应用中，第一触发操作也可以为其他操作类型的操作，且第一触发操作的操作类型可以事先确定，比如可以由电子设备接收用户或者相关技术人员设置的操作作为第一触发操作，本申请实施例不对第一触发操作的操作类型以及确定第一触发操作的方式进行限定。

在一些实施例中，电子设备可以基于第一人机交互界面接收第一触发操作。在一些实施例中，第一触发操作可以为电子设备在显示第一人机交互界面的情况下接收到操作，例如，电子设备在显示第一人机交互界面时，检测到用户按下“windows键+Q键”。在一些实施例中，第一触发操作可以为电子设备从第一人机交互界面检测到的操作，或者说，第一触发操作可以为作用在第一人机交互界面中的操作，例如，电子设备检测到鼠标轨迹或者触摸轨迹在显示的第一人机交互界面上，形成一个“？”的形状，即用户通过鼠标或触摸在第一人机交互界面上绘制出“？”的手势。

在一些实施例中，若包括多个所述第一数据类型，则所述第一提示信息具体用于分别基于各所述第一数据类型，提示对应的所述第二程序。

例如，第一程序的对应的第一数据类型包括文字和图像，第二程序包括能够提供文字的程序A和程序B，以及能够提供图像的程序C和程序D，第一提示信息可以将程序A的图标和程序B的图标排列成一行，将程序C的图像和程序D的图像排列成另一行，从而进一步直观明了地提示用户各第二程序与第一程序的相关类型。

在一些实施例中，所述第二人机交互界面还包括第二提示信息，所述第二提示信息用于提示所述第一程序的数据处理能力和所述第一数据类型中的至少一个。

通过第二提示信息提示第一程序的数据处理能力可以直观地提示用户第一程序需要获取哪些数据，基于这些数据又能提供哪些服务或体验，进一步提高人机交互效率，降低用户的学习成本，同时也进一步避免了第一程序在用户不知情的情况下窃取用户隐私的隐患。另外，第一提示信息和第二提示信息这两个维度的信息进行结合，也使得用户能够更加直接明了地确定第一程序所具有的数据处理能力以及第一程序基于该数据能力而可能关联的第二程序，从而更加完整客观地向用户展示第一程序的功能和作用。

在一些实施例中，第二提示信息可以包括图形、图像和文字中的至少一种信息。

在一些实施例中，所述显示第二人机交互界面，包括：突出显示所述第一提示信息和所述第二提示信息，从而更加直观地显示第一提示信息和第二提示信息，提高提示效果。

以第一提示信息为例。在一些实施例中，突出显示的方式可以包括将第一提示信息作为前景显示，将第一提示信息之外的其他内容作为背景显示。其中，前景显示和背景显示可以具有不同的视觉特征。比如前景显示为彩色，背景显示为灰色或黑白色。又比如，前景显示的分辨率可以大于背景显示的分辨率，即前景显示比背景显示更加清晰。在一些实施例中，突出显示的方式可以包括将第一提示信息进行高亮显示。在一些实施例中，突出显示的方式可以包括在第一提示信息的周围增加边框或跑马灯等。当然，在实际应用中，电子设备也可以通过其他方式来突出显示第一提示信息，而不限于上述提到的几种显示方式。

在一些实施例中，所述第一交互对象包括第一窗口和第一控件中至少一个。

在一些实施例中，所述第一提示信息具体用于指示与所述第二程序对应的第二交互对象。

在一些实施例中，所述第二交互对象包括第二窗口和第二控件中的至少一个。

在一些实施例中，第一提示信息可以包括图形、图像和文字中的至少一种信息。在一些实施例中，第一提示信息可以包括第二程序的程序标识(名称和/或图标)、第二窗口的缩略图、由第二交互对象指向第一交互对象的箭头、第二交互对象和第一交互对象之间的连接线等等。当然，在实际应用中，第一提示信息并不受限于上述提到的有几种信息。

在一些实施例中，所述方法还包括：当基于所述第二人机交互界面接收到第二触发操作时，显示第三人机交互界面，所述第三人机交互界面包括所述第一程序基于第一目标数据进行数据处理的第一处理结果，其中，所述第一目标数据为归属于所述第二程序的所述第一数据类型的数据。

当电子设备检测到第二触发操作时，可以将归属于第二程序的第一数据类型的第一目标数据提供给第一程序，以使得第一程序可以方便快捷地获取到归属于第二程序的第一目标数据进行数据处理，通过显示第三人机交互界面向用户展示第一处理结果。进一步降低了人机交互的难度和用户的学习成本，同时通过第二触发操作向第一程序提供数据，也可以使得用户在确定第一程序的至少部分功能和作用的情况下，主动向第一程序提供数据，即不需要提前针对第一程序获取数据的权限进行设置，提供数据的方式更加灵活，进一步改善了第一窗口可能在用户不知情的情况下窃取用户隐私的问题。

其中，第二触发操作可以用于触发电子设备将归属于第二程序的第一数据类型的第一目标数据提供给第一程序。第二触发操作可以包括语音、按键操作、触摸操作或手势操作等操作，当然在实际应用中，第二触发操作也可以为其他操作类型的操作，且第二触发操作的操作类型可以由电子设备事先确定，比如可以由电子设备接收用户或者相关技术人员设置的操作作为第二触发操作，本申请实施例不对第二触发操作的操作类型以及电子设备确定第二触发操作的方式进行限定。

在一些实施例中，所述第二触发操作包括对第二交互对象的点击操作；或，所述第二触发操作包括将所述第二交互对象拖向所述第一交互对象的拖动操作；或，所述第二触发操作包括将所述第二交互对象拖动至所述第一交互对象所在区域的拖动操作；其中，所述第一交互对象与所述第一程序对应，第二交互对象与所述第二程序对应。

在一些实施例中，若在第二触发操作之前，电子设备已经确定用户在第二程序中选择了至少部分数据，则电子设备可以将用户选择的该至少部分数据确定为第一目标数据。例如，第二交互对象包括第二窗口，在第二触发操作之前，用户已经在第二窗口中选择了至少部分数据，那么该至少部分数据即可作为第一目标数据。

在一些实施例中，若电子设备需要与用户交互来确定第一目标数据，那么在第二触发操作之前，电子设备并未基于第二程序确定第一目标数据，且第二程序未在前台运行(即第二程序未运行或者在后台运行)，那么电子设备可以在接收到第二触发操作之后，前台运行第二程序，并显示第二窗口，基于第二窗口接收用户提交的第一确定操作，基于第一确定操作在第二窗口中确定第一目标数据。需要说明的是，本申请实施例不对第一确定操作的操作类型进行限定。在一些实施例中，若电子设备可以在不需要与用户交互的情况下确定第一目标数据，那么在第二触发操作之前，电子设备并未基于第二程序确定第一目标数据，且第二程序未运行，那么电子设备可以在接收到第二触发操作之后，(在后台或前台)运行第二程序，从第二程序中确定第一目标数据。在一些实施例中，电子设备可以基于第一数据类型来判断是否需要基于与用户的交互来确定第一目标数据。若第一数据类型为预设的第三数据类型，那么电子设备可以确定不需要与用户交互就可以确定第一目标数据；若第一数据类型不为第三数据类型，则确定需要与用户交互来获取第一目标数据。在一些实施例中，第三数据类型可以包括定位信息、时间信息和天气信息等可以由程序在后台获取的信息的数据类型。在一些实施例中，第三数据类型可以包括用户的属性信息等更新频率比较低的信息的数据类型。当然，在实际应用中，第三数据类型也可以包括更多或更少的数据类型，而不限于上述几种数据类型。

在一些实施例中，在电子设备向第一程序提供第一目标数据之前，若第一程序未在前台运行，则电子设备可以先在前台运行第一程序，再将第一目标数据提供给第一程序。在另一些实施例中，在电子设备向第一程序提供第一目标数据之前，若第一程序未运行，则电子设备可以先在后台运行第一程序，再将第一目标数据提供给第一程序。

在一些实施例中，所述方法还包括：获取所述第一程序请求的第一数据类型；获取所述第一数据类型匹配的第二目标数据；向所述第一程序提供所述第二目标数据；获取所述第一程序基于所述第二目标数据反馈的第二处理结果；基于所述第二目标数据和所述第二处理结果，确定所述第一程序的数据处理能力。

在一些实施例中，在一些实施例中，电子设备可以获取与第一数据类型对应的第三目标数据，并对第三目标数据进行脱敏处理，从而得到第二目标数据。其中，脱敏处理可以指对第三目标数据通过预设的脱敏规则进行数据变形处理，使得脱敏后的第二目标数据中不携带用户特征。在一些实施例中，脱敏处理可以包括数据加密和数据替换等等。

在一些实施例中，所述第一程序和所述第二程序均为在前台运行的程序。也即是，电子设备可以仅在用户能看见至少部分运行过程的程序的范围中，提示其中包括的与第一程序关联的第二程序。当然，在实际应用中，第一程序和第二程序中的至少一个也可以不是在前台运行的程序。

第二方面，本申请实施例提供了一种人机交互的装置，该装置具有实现上述第一方面中任一项的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，收发模块或单元、处理模块或单元、获取模块或单元等。

第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时使得所述电子设备执行上述第一方面中任一项所述的方法。

第四方面，本申请实施例提供一种芯片系统，所述芯片系统包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述第一方面中任一项所述的方法。

其中，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。

第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。

可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1为本申请实施例所提供的一种电子设备的结构示意图；

图2为本申请实施例所提供的一种人机交互界面示意图；

图3为本申请实施例所提供的另一种人机交互界面示意图；

图4为本申请实施例提供的一种人机交互的方法的流程示意图；

图5为本申请实施例所提供的一种第四人机交互界面示意图；

图6为本申请实施例所提供的一种第一人机交互界面示意图；

图7为本申请实施例所提供的一种第二人机交互界面示意图；

图8为本申请实施例所提供的另一种第二人机交互界面示意图；

图9为本申请实施例所提供的另一种第二人机交互界面示意图；

图10为本申请实施例所提供的另一第二人机交互界面示意图；

图11为本申请实施例所提供的另一种第二人机交互界面示意图；

图12为本申请实施例所提供的另一种第二人机交互界面示意图；

图13为本申请实施例所提供的另一种第二人机交互界面示意图；

图14为本申请实施例提供的一种第三人机交互界面示意图；

图15为本申请实施例所提供的另一种第二人机交互界面示意图；

图16为本申请实施例提供的另一种第三人机交互界面示意图；

图17为本申请实施例所提供的另一种第一人机交互界面示意图；

图18为本申请实施例所提供的另一种第二人机交互界面示意图；

图19为本申请实施例所提供的另一种第二人机交互界面示意图；

图20为本申请实施例提供的另一种第三人机交互界面示意图；

图21为本申请实施例所提供的另一种第二人机交互界面示意图；

图22为本申请实施例所提供的另一种第二人机交互界面示意图；

图23为本申请实施例提供的另一种第三人机交互界面示意图；

图24为本申请实施例所提供的另一种第二人机交互界面示意图；

图25为本申请实施例提供的另一种第三人机交互界面示意图；

图26为本申请实施例提供的一种获取数据处理能力的方法的流程示意图；

图27为本申请实施例提供的另一种人机交互的方法的流程示意图。

具体实施方式

本申请实施例提供的人机交互的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

图1是本申请实施例提供的一例电子设备100的结构示意图。电子设备100可以包括处理器110、存储器120、通信模块130和显示屏140等。

其中，处理器110可以包括一个或多个处理单元，存储器120用于存储程序代码和数据。在本申请实施例中，处理器110可执行存储器120存储的计算机执行指令，用于对电子设备100的动作进行控制管理。

通信模块130可以用于电子设备100的各个内部模块之间的通信、或者电子设备100和其他外部电子设备之间的通信等。示例性的，如果电子设备100通过有线连接的方式和其他电子设备通信，通信模块130可以包括接口等，例如USB接口，USB接口可以是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

或者，通信模块130可以包括音频器件、射频电路、蓝牙芯片、无线保真(wirelessfidelity，Wi-Fi)芯片、近距离无线通讯技术(near-field communication，NFC)模块等，可以通过多种不同的方式实现电子设备100与其他电子设备之间的交互。

显示屏140可以显示人机交互界面中的图像或视频等。

可选地，电子设备100还可以包括外设设备150，例如鼠标、键盘、扬声器、麦克风等。

应理解，除了图1中列举的各种部件或者模块之外，本申请实施例对电子设备100的结构不做具体限定。在本申请另一些实施例中，电子设备100还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

为了便于理解本申请施例中的技术方案，下面首先对本申请实施例的应用场景予以介绍。

电子设备中可以包括一个或多个的应用程序。应用程序是由一系列具有特定功能、能完成执行操作的可执行文件、数据的集合，一个应用程序可以包括若干个可执行程序、动态链接库和数据文件等数据。应用程序的载体是可执行文件，可执行文件可以包括运行该应用程序的必要信息，比如数据和配置信息等。在一些实施例中，可执行文件可以包括扩展名为exe、app、apk、bat、sys和dll等的文件，当然，在实际应用中，可执行文件的扩展名并不限于上述几种。

进程可以为运行中的应用程序的实例。进程可以包括地址空间及代码、数据、对象等程序运行所需环境和资源的集合。在一些实施例中，一个进程可以对应一个应用程序，一个应用程序可以对应多个进程。在一些实施例中，一个进程可以对应至少一个线程，一个线程可以对应一个进程。

其中，应用程序的进程和线程可以理解为该应用程序的子程序。且可以理解的是，在实际应用中，应用程序可以包括比进程和线程更高层级或更低层级的子程序。

当电子设备运行这些应用程序或其子程序时，该电子设备可以在显示屏中显示人机交互界面，该人机交互界面中可以包括一个或多个的交互对象。交互对象可以为可以响应用户操作的对象，该用户操作可以包括通过鼠标或手指的点击、拖拽等各种操作。在一些实施例中，一个交互对象可以对应一个应用程序或子程序，一个应用程序或子程序可以对应一个以上的交互对象。应用程序或子程序可以通过其对应的交互对象，获取数据并基于该数据进行特定的处理操作，还可以通过该交互对象向用户展示处理结果。

在一些实施例中，人机交互界面可以是2D的，也可以是3D的。例如，当电子设备为手机和电脑等设备时，该人机交互界面可以是2D的；当电子设备为AR设备或VR设备时，该人机交互界面可以是3D的。在一些实施例中，交互对象可以为2D的，也可以是3D的。在一些实施例中，当该人机交互界面为2D的界面时，该人机交互界面中的交互对象可以是2D的；相似的，当该人机交互界面为3D的界面时，该人机交互界面中的交互对象可以是3D的。

在一些实施例中，交互对象可以包括窗口和控件中的至少一种。在一些实施例中，当应用程序启动时可以创建窗口，该窗口可以包括标题栏、菜单和边框等多种视觉元素，该窗口也可以被称为主窗口，为了进一步与用户进行交互，该应用程序还可以创建更多窗口，比如对话框，而对话框又可以包括一个或多个的控件。在一些实施例中，控件可以包括但不限于图标和输入框等等。

例如，一种人机交互界面可以如图2所示，该人机交互界面为电脑中的2D人机交互界面。该人机交互界面的中部包括浏览器程序对应的浏览器窗口201，下部包括快捷启动栏202，该快捷启动栏中包括五个应用程序的图标，从左到右分别是浏览器程序、相册程序、运动健康程序、通讯程序和文档编辑程序。其中，浏览器窗口201中还包括多个控件，比如浏览器窗口201上部包括的网址输入框，浏览器窗口201下部包括的搜索输入框以及网页1-网页6等6个按钮。

又例如，一种人机交互界面可以如图3所示。该人机交互界面可以为VR设备中的3D人机交互界面，该人机交互界面中包括虚拟的购物场景，其中包括虚拟电视301、虚拟人偶302和虚拟投影仪303，且虚拟电视301、虚拟人偶302和虚拟投影仪303均为控件，分别对应电视、人偶玩具和投影仪等商品。相似的，该人机交互界面也可以为AR设备中的人机交互界面，其中包括的虚拟电视301、虚拟人偶302和虚拟投影仪303也可以为控件，或者，在另一些实施例中，虚拟电视301、虚拟人偶302和虚拟投影仪303可以为由AR设备的摄像头拍摄的真实物体，且每个真实物体可以与预设的控件相关联(比如AR设备可以在该真实物体的同一位置显示一个透明的控件)，使得用户与该真实物体的交互等于与该真实物体关联的控件的交互。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

请参照图4，为本申请实施例所提供的一种人机交互的方法的流程图。需要说明的是，该方法并不以图4以及以下所述的具体顺序为限制，应当理解，在其它实施例中，该方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该方法包括如下步骤：

S401，电子设备显示第一人机交互界面，第一人机交互界面包括第一交互对象，第一交互对象与第一程序对应。

电子设备在开机启动的情况下，可以运行第一程序并显示包括第一交互对象的第一人机交互界面，以便于通过第一交互对象与用户进行人机交互。其中，第一程序可以为电子设备中的任一应用程序，或者可以为任一应用程序的任一子程序。

其中，第一交互对象可以包括第一窗口和第一控件中的至少一个。在一些实施例中，第一控件可以包括第一程序的图标。

在一些实施例中，第一程序可以为在前台运行的程序。其中，第一程序在前台运行可以指用户能够在第一人机交互界面中看到第一程序的至少部分运行过程，比如用户可以看到第一程序对应的第一窗口；相反地，若第一程序在后台运行，可以指用户不能再第一人机交互界面中看到第一程序的任何运行过程。也即是，电子设备可以仅针用户能看到至少部分运行过程的程序，进行交互方式的提示。当然，在实际应用中，第一程序也可以不是在前台运行的程序。

在一些实施例中，第一交互对象可以为电子设备基于用户的第二确定操作在第一人机交互界面中确定的交互对象。其中，第二确定操作用于在第一人机交互界面中确定至少一个第一交互对象。且需要说明的是，本申请实施例不对第二确定操作的操作类型进行限定。

S402，当接收到第一触发操作时，电子设备显示第二人机交互界面，第二人机交互界面包括与第一交互对象对应的第一提示信息，第一提示信息用于提示与第一程序相关的第二程序。

电子设备在显示包括第一交互对象的第一人机交互界面之后，用户可能并不了解具体如何与第一交互对象进行交互，即便第一程序的开发人员提供了相应的操作说明，用户也需要付出巨大的学习成本逐渐摸索练习，才能掌握与第一交互对象进行交互的方法，因此，电子设备可以在接收到第一触发操作时，显示包括与第一交互对象对应的第一提示信息的第二人机交互界面，从而通过第一提示信息直观地提示用户电子设备中存在与第一程序相关的第二程序，使得用户可以简单明了地确定第一程序的至少部分功能和作用，降低人机交互难度和学习成本，也减少了第一程序在用户不知情的情况下窃取用户隐私的安全隐患。

其中，第二程序可以为与第一程序不同的程序。在一些实施例中，第一程序和第二程序可以为不同的应用程序。在一些实施例中，第一程序和第二程序可以为对应不同应用程序的子程序。在一些实施例中，第一程序和第二程序可以为对应同一应用程序的不同子程序。

第二程序与第一程序相关，可以指第二程序的数据处理能力与第一程序的数据处理能力之间可以互相关联。在一些实施例中，第二程序与第一程序相关，可以包括第二程序可以向第一程序提供第一数据类型的数据，第一数据类型为第一程序进行数据处理所依赖的数据类型。

第一触发操作可以用于触发电子设备显示第一提示信息。其中，第一触发操作可以包括语音、按键操作、触摸操作或手势操作等操作，当然，在实际应用中，第一触发操作也可以为其他操作类型的操作，且第一触发操作的操作类型可以事先确定，比如可以由电子设备接收用户或者相关技术人员设置的操作作为第一触发操作，本申请实施例不对第一触发操作的操作类型以及确定第一触发操作的方式进行限定。

在一些实施例中，电子设备可以基于第一人机交互界面接收第一触发操作。在一些实施例中，第一触发操作可以为电子设备在显示第一人机交互界面的情况下接收到操作，例如，电子设备在显示第一人机交互界面时，检测到用户按下“windows键+Q键”。在一些实施例中，第一触发操作可以为电子设备从第一人机交互界面检测到的操作，或者说，第一触发操作可以为作用在第一人机交互界面中的操作，例如，电子设备检测到鼠标轨迹或者触摸轨迹在显示的第一人机交互界面上，形成一个“？”的形状，即用户通过鼠标或触摸在第一人机交互界面上绘制出“？”的手势。

在一些实施例中，电子设备可以显示第四人机交互界面，并通过第四人机交互界面接收用户设置的第一触发操作，其中，第四人机交互界面可以用于接收用户提交的与本申请实施例所提供的人机交互方法相关的配置信息。

例如，电子设备可以显示第四人机交互界面如图5所示。第四人机交互界面中的第一配置项501即为与第一触发操作对应的配置项。第一配置项501包括滑动开关，电子设备可以基于该滑动开关接收用户的点击操作时，可以将该滑动开关的开关状态在“开”和“关”之间切换。当前该滑动开关的状态为“开”，即表示电子设备接收第一触发操作，并按照申请实施例所提供的人机交互方法辅助用户进行人机交互。相反的，若该滑动开关的状态为关，则表示电子设备不会响应第一触发操作，也不会按照申请实施例所提供的人机交互方法辅助用户进行人机交互。第一配置项501还包括“第一触发操作”这一文字提示信息以提示用户在第一配置项501配置第一触发操作，在该文字信息的下方，第一配置项501还包括当前操作方式显示框和自定义按钮，其中，当前操作方式显示框显示“windows键+Q键”，即表示当前第一触发操作的操作方式为同时按下windows键和Q键。在一些实施例中，当前操作方式显示框中显示的操作方式可以是由相关技术人员事先配置的或者是由用户前一次配置的。当电子设备基于该自定义按钮接收到用户新提交的操作方式时，可以将当前操作方式显示框的操作方式，更新为该新提交的操作方式。需要说明的是，本申请实施例仅以图5对第四人机交互界面进行说明，而不对第四人机交互界面构成限定。

在一些实施例中，第二程序可以为处于前台运行的程序。也即是，电子设备可以仅在用户能看见至少部分运行过程的程序的范围中，提示其中包括的与第一程序关联的第二程序。当然，在实际应用中，第二程序也可以不是在前台运行的程序。

在一些实施例中，第一提示信息可以用于提示第二程序对应的第二交互对象。在一些实施例中，第二交互对象可以包括第二程序对应的第二窗口和第二控件中的至少一个。

第一提示信息可以包括图形、图像和文字中的至少一种信息。在一些实施例中，第一提示信息可以包括第二程序的程序标识(名称和/或图标)、第二窗口的缩略图、由第二交互对象指向第一交互对象的箭头、第二交互对象和第一交互对象之间的连接线等等。当然，在实际应用中，第一提示信息并不受限于上述提到的有几种信息。

在一些实施例中，若包括多个第二程序，则电子设备可以按照预设的分类方式，将该多个第二程序进行分类，第一提示信息可以基于分类结果，分别指示各类第二程序。在一些实施例中，不同的第二程序可能与第一程序的相关类型也会不同，则第一提示信息可以分别指示各种相关类型的第二程序。在一些实施例中，第一程序对应多个第一数据类型，第一提示信息可以分别指示能够提供每个第一数据类型的数据的第二程序。例如，第一程序的对应的第一数据类型包括文字和图像，第二程序包括能够提供文字的程序A和程序B，以及能够提供图像的程序C和程序D，第一提示信息可以将程序A的图标和程序B的图标排列成一行，将程序C的图像和程序D的图像排列成另一行，从而进一步直观明了地提示用户各第二程序与第一程序的相关类型。

在一些实施例中，电子设备可以在显示第二人机交互界面之前的任意时机，基于第一程序，从电子设备中包括的程序集合中确定与第一程序相关的第二程序。在一些实施例中，电子设备可以确定第一程序进行数据处理所依赖的第一数据类型以及程序集合包括的各第三程序所能提供的数据类型，若任一第三程序所能提供的数据的数据类型与第一数据类型，则电子设备可以确定该任一第三程序为与第一程序相关的第二程序。其中，该程序集合，可以包括电子设备已安装的一个或多个程序，或者，可以包括电子设备已安装且运行的一个或多个程序，或者，可以包括电子设备已安装且在前台运行的一个或多个程序。当然，在实际应用中，该程序集合所包括的程序并不限于上述几种程序。电子设备也可以通过其他方式来确定与第一程序相关的第二程序。

电子设备在确定第二程序后，可以生成第一提示信息，并基于第一提示信息确定第二人机交互界面。

在一些实施例中，在第一人机交互界面的基础上，增加第一提示信息，从而得到第二人机交互界面。在一些实施例中，电子设备可以基于预设的第一模板，在第一人机交互界面上增加第一提示信息，其中，第一模板可以用于确定第一提示信息在第一人机交互界面中的位置、第一提示信息的显示风格或者第二人机交互界面的显示风格。当然，在实际应用中，电子设备也可以通过其他方式来确定第二人机交互界面，本申请实施例不对电子设备确定第二人机交互界面的方式进行限定。

在一些实施例中，电子设备可以突出显示第一提示信息，从而更加直观地显示第一提示信息，提高提示效果。在一些实施例中，突出显示的方式可以包括将第一提示信息作为前景显示，将第一提示信息之外的其他内容作为背景显示。其中，前景显示和背景显示可以具有不同的视觉特征。比如前景显示为彩色，背景显示为灰色或黑白色。比如前景显示为彩色，背景显示为灰色或黑白色。又比如，前景显示的分辨率可以大于背景显示的分辨率，即前景显示比背景显示更加清晰。在一些实施例中，突出显示的方式可以包括将第一提示信息进行高亮显示。在一些实施例中，突出显示的方式可以包括在第一提示信息的周围增加边框或跑马灯等。当然，在实际应用中，电子设备也可以通过其他方式来突出显示第一提示信息，而不限于上述提到的几种显示方式。

在一些实施例中，第二人机交互界面中还可以包括第二提示信息，第二提示信息用于提示第一程序的数据处理能力。在一些实施例中，第二提示信息可以用于提示第一程序的数据处理能力所依赖的第一数据类型，即第一程序的输入。在一些实施例中，第二提示信息可以用于指示第一程序所能提供的数据的第二数据类型。

通过第二提示信息提示第一程序的数据处理能力可以直观地提示用户第一程序需要获取哪些数据，基于这些数据又能提供哪些服务或体验，进一步提高人机交互效率，降低用户的学习成本，同时也进一步避免了第一程序在用户不知情的情况下窃取用户隐私的隐患。另外，第一提示信息和第二提示信息这两个维度的信息进行结合，也使得用户能够更加直接明了地确定第一程序所具有的数据处理能力以及第一程序基于该数据能力而可能关联的第二程序，从而更加完整客观地向用户展示第一程序的功能和作用。

需要说明的是，电子设备可以事先确定第一程序的数据处理能力，从而能够及时响应与第一触发操作，在第二人机交互界面显示第二提示信息。在一些实施例中，电子设备的操作系统可以向第一程序发送第二获取请求，第一程序响应于第二获取请求，向该操作系统反馈第一程序的数据处理能力。在另一些实施例中，电子设备也可以参照下述图26所示的方法来确定第一程序的数据处理能力。

第二提示信息可以包括图形、图像和文字中的至少一种信息。

在一些实施例中，在第一人机交互界面的基础上，增加第一提示信息和第二提示信息，从而得到第二人机交互界面。在一些实施例中，电子设备可以基于预设的第二模板，在第一人机交互界面上增加第二提示信息，其中，第二模板可以用于确定第二提示信息在第一人机交互界面中的位置、第二提示信息的显示风格或者第二人机交互界面的显示风格。在一些实施例中，第一模板和第二模板可以是同一模板。

在一些实施例中，第一程序的数据处理能力可以包括多种，第二提示信息可以分别指示第一程序的各种数据处理能力。例如，第一程序的数据处理能力包括“根据图像识别，搜索相似图像”和“根据语义分析，进行拓展搜索”，第二提示信息可以分别通过文字指示这两种数据处理能力。

在一些实施例中，电子设备可以突出显示第二提示信息，从而更加直观地显示第二提示信息，提高提示效果。且需要说明的是，电子设备突出显示第二提示信息的方式，可以与突出显示第一提示信息的方式相同或相似。

在一些实施例中，电子设备可以显示第四人机交互界面，并通过第四人机交互界面接收用户设置的提示内容，即是否显示第一提示信息和第二提示信息。

例如，在前述如图5所示的第四人机交互界面还包括第二配置项502。“提示内容”这一文字提示信息以提示用户在第二配置项502配置响应于第一触发操作的提示内容，在该文字信息的下方，第二配置项502还包括提示内容显示框和自定义按钮，其中，提示内容显示框显示“第一提示信息和第二提示信息”，即表示当前提示内容包括第一提示信息和第二提示信息。在一些实施例中，提示内容显示框中显示的提示内容可以是由相关技术人员事先配置的或者是由用户前一次配置的。当电子设备基于该自定义按钮接收用户新提交的新的提示内容时，可以将提示内容显示框中的提示内容，更新为该新的提示内容。

S403，当电子设备基于第二人机交互界面接收到第二触发操作时，显示第三人机交互界面，第三人机交互界面包括第一程序基于第一目标数据进行数据处理的第一处理结果，其中，第一目标数据为归属于第二程序的第一数据类型的数据。

当电子设备检测到第二触发操作时，可以将归属于第二程序的第一数据类型的第一目标数据提供给第一程序，以使得第一程序可以方便快捷地获取到归属于第二程序的第一目标数据进行数据处理，通过显示第三人机交互界面向用户展示第一处理结果。进一步降低了人机交互的难度和用户的学习成本，同时通过第二触发操作向第一程序提供数据，也可以使得用户在确定第一程序的至少部分功能和作用的情况下，主动向第一程序提供数据，即不需要提前针对第一程序获取数据的权限进行设置，提供数据的方式更加灵活，进一步改善了第一窗口可能在用户不知情的情况下窃取用户隐私的问题。

第二触发操作可以用于触发电子设备将归属于第二程序的第一数据类型的第一目标数据提供给第一程序。其中，第二触发操作可以包括语音、按键操作、触摸操作或手势操作等操作，当然在实际应用中，第二触发操作也可以为其他操作类型的操作，且第二触发操作的操作类型可以由电子设备事先确定，比如可以由电子设备接收用户或者相关技术人员设置的操作作为第二触发操作，本申请实施例不对第二触发操作的操作类型以及电子设备确定第二触发操作的方式进行限定。

在一些实施例中，电子设备可以显示第四人机交互界面，并通过第四人机交互界面接收用户设置的第二触发操作。

例如，在前述如图5所示的第四人机交互界面中，还包括用于配置第二触发操作的第三配置项503。第三配置项503包括“第二触发操作”这一文字信息以提示用户在第三配置项503配置第二触发操作，在该文字信息的下方还包括当前操作方式显示框和自定义按钮，其中，当前操作方式显示框“将第二窗口中的第一目标数据拖动到第一窗口”，即表示当前电子设备检测到用户将第二窗口中的第一目标数据拖动到第一窗口时，向第一程序提供第一目标数据。在一些实施例中，当前操作方式显示框中显示的操作方式可以是由相关技术人员事先配置的或者是由用户前一次配置的。当电子设备基于该自定义按钮接收到用户新提交的操作方式时，可以将当前操作方式显示框的操作方式，更新为该新提交的操作方式。

在一些实施例中，第二触发操作可以包括针对第二交互对象的点击操作。在一些实施例中，第二触发操作可以包括将第二交互对象朝向第一交互对象拖动的拖动操作。在一些实施例中，第二触发操作可以包括将第二交互对象从第二交互对象所在的区域，拖动至第一交互对象所在区域的拖动操作。在一些实施例中，第二交互对象包括第二窗口，第二触发操作可以包括将第二窗口中的至少部分数据朝向第一交互对象拖动的拖动操作，或者，第二触发操作可以包括将第二窗口中的至少部分数据拖动至第一交互对象所在区域的拖动操作，且第二触发操作所拖动的至少部分数据即为向第一程序提供的第一目标数据。

在一些实施例中，若在第二触发操作之前，电子设备已经确定用户在第二程序中选择了至少部分数据，则电子设备可以将用户选择的该至少部分数据确定为第一目标数据。例如，第二交互对象包括第二窗口，在第二触发操作之前，用户已经在第二窗口中选择了至少部分数据，那么该至少部分数据即可作为第一目标数据。

在一些实施例中，若电子设备需要与用户交互来确定第一目标数据，那么在第二触发操作之前，电子设备并未基于第二程序确定第一目标数据，且第二程序未在前台运行(即第二程序未运行或者在后台运行)，那么电子设备可以在接收到第二触发操作之后，前台运行第二程序，并显示第二窗口，基于第二窗口接收用户提交的第一确定操作，基于第一确定操作在第二窗口中确定第一目标数据，其中，第一确定操作用于在第二窗口中确定第一目标数据。需要说明的是，本申请实施例不对第一确定操作的操作类型进行限定。在一些实施例中，若电子设备可以在不需要与用户交互的情况下确定第一目标数据，那么在第二触发操作之前，电子设备并未基于第二程序确定第一目标数据，且第二程序未运行，那么电子设备可以在接收到第二触发操作之后，(在后台或前台)运行第二程序，从第二程序中确定第一目标数据。在一些实施例中，电子设备可以基于第一数据类型来判断是否需要基于与用户的交互来确定第一目标数据。若第一数据类型为预设的第三数据类型，那么电子设备可以确定不需要与用户交互就可以确定第一目标数据；若第一数据类型不为第三数据类型，则确定需要与用户交互来获取第一目标数据。在一些实施例中，第三数据类型可以包括定位信息、时间信息和天气信息等可以由程序在后台获取的信息的数据类型。在一些实施例中，第三数据类型可以包括用户的属性信息等更新频率比较低的信息的数据类型。当然，在实际应用中，第三数据类型也可以包括更多或更少的数据类型，而不限于上述几种数据类型。

在一些实施例中，在电子设备向第一程序提供第一目标数据之前，若第一程序未在前台运行，则电子设备可以先在前台运行第一程序，再将第一目标数据提供给第一程序。在另一些实施例中，在电子设备向第一程序提供第一目标数据之前，若第一程序未运行，则电子设备可以先在后台运行第一程序，再将第一目标数据提供给第一程序。

在一些实施例中，电子设备可以通过第一程序的第一接口，向第一程序提供第一目标数据。在一些实施例中，电子设备可以通过第一程序的第二接口，获取第一程序的第一处理结果。需要说明的是，第一接口和第二接口可以是由第一程序的技术开发人员事先设置的接口。

在一些实施例中，第一处理结果可以包括图像和数据流中的至少一种。

在一些实施例中，电子设备可以通过第一提示信息和第二提示信息，向用户展示第一程序的至少部分功能和作用即可，而不需要向第一程序提供第一目标数据，电子设备也就不会得到第一处理结果，或者，即便电子设备得到了第一处理结果，也可以不向用户展示第一处理结果，因此，S403可以省略。

在本申请实施例中，电子设备可以显示第一人机交互界面，第一人机交互界面包括与第一程序对应的第一交互对象，并在基于第一人机交互界面接收到第一触发操作时，显示第二人机交互界面，其中，第二人机交互界面包括与第一交互对象对应的第一提示信息，从而通过第一提示信息直观地提示用户电子设备中存在与第一程序相关的第二程序，使得用户可以简单明了地确定第一程序的至少部分功能和作用，降低人机交互难度和学习成本，也减少了第一程序在用户不知情的情况下窃取用户隐私的安全隐患。

以下将结合图6-图14，对本申请实施例所提供的人机交互方法进行说明。其中，第一程序和第二程序均包括在前台运行的程序。请依次参照图6、图7-图9中的任一、图10-图13中的任一和图14，为本申请实施例所提供的一种人机交互方法相关的人机交互界面的示意图。

电子设备可以显示第一人机交互界面如图6所示，第一人机交互界面的底部包括快捷启动栏202，该快捷启动栏202中从左到右包括浏览器程序、相册程序、运动健康程序、通讯程序和文档编辑程序等应用程序的图标。其中，运动健康程序当前未在前台运行，因此第一人机交互界面中未显示于运动健康程序的任何运行过程，其他应用程序当前均处于前台运行，因此第一人机交互界面中还包括浏览器窗口201、相册窗口203、文档编辑窗口204和通讯窗口205，从而通过这些窗口向用户展示对应的应用程序的至少部分运行过程。第一窗口可以包括浏览器窗口201、相册窗口203、文档编辑窗口204和通讯窗口205中的一个或多个。

用户按下了“windows键+Q键”(即第一触发操作)，电子设备显示如下图7-图9中任一所示的第二人机交互界面。

在一些实施例中，第二人机交互界面可以如图7所示，其中，第一提示信息包括的第二程序的图标700，在每个第一窗口的右侧边缘，显示了与该第一程序相关并处于前台运行的第二程序的图标700，从而提示用户当前处于前台运行的程序之间可能存在的关联。浏览器窗口201右侧的边缘显示了相册程序的图标和文档编辑程序的图标，且这两个图标分两行显示，从而可以提示用户相册程序与浏览器程序的相关类型，和文档编辑程序与浏览器程序的相关类型不相同。相册窗口203右侧的边缘显示了浏览器程序的图标、文档编辑程序的图标和通讯程序的图标，且这三个图标在同一行显示，从而可以提示用户浏览器程序、文档编辑程序和通讯程序，与相册程序的相关类型相同。另外，文档编辑窗口204右侧的边缘显示了浏览器程序的图标和相册程序的图标，通讯窗口205右侧的边缘显示了浏览器程序的图标、相册程序的图标和文档编辑程序的图标。

在一些实施例中，第二人机交互界面可以如图8所示，其中，在图7的基础上，各窗口的右侧还包括文字形式的第二提示信息800，第二提示信息800的数据格式为“第一数据类型-数据处理能力”，从而提示用户第一程序可以基于第一数据类型的数据所能够进行的数据处理方式。在浏览器窗口201右侧的边缘，相册程序的图标的上方显示了“图像-根据图像识别，搜索相似图像”，文档编辑程序的图标的上方显示了“文字-根据语义分析，进行拓展搜索”，即浏览器程序可以基于获取的图像进行图像识别，搜索相似的图像，也可以基于获取的文字进行语义分析和拓展搜索。在相册窗口203右侧边缘，浏览器程序、通讯程序和文档编辑程序的图标的上方显示了“图像-获取窗口截图以保存”，即相册程序可以获取图像进行保存。在文档编辑窗口204右侧边缘，浏览器程序和相册程序的图标的上方还显示了“数据-将数据复制到文档”，即相文档编辑程序可以获取数据并复制粘贴到当前文档文件中。在通讯窗口205右侧边缘，浏览器程序、相册程序和文档编辑程序的图标的上方还显示了“数据-向联系人转发数据”，即通讯程序可以获取并向联系人转发数据。

在一些实施例中，第二人机交互界面可以如图9所示。其中，第一提示信息(及第二程序的图标700)和第二提示信息800作为前景显示，能够清晰看到的第一提示信息和第二提示信息800，其他内容作为背景显示，比较模糊，从而突出显示了第一提示信息和第二提示信息800，以使更显著地展示第一提示信息和第二提示信息800。

电子设备在基于上述图7-图9中任一所示的第二人机交互界面接收到第二触发操作，则可以将归属第二程序的第一数据类型的第一目标数据提供给第一程序，展示包括第一处理结果的第三人机交互界面。

以第一程序为文档编辑程序，第二程序为相册程序为例。

在一些实施例中，如图10所示，第二触发操作可以为将相册窗口203(即第二窗口)中的图像1010拖向或拖动至文档编辑窗口204(即第一窗口)所在区域的第一拖动操作1000。且第二触发操作所拖动的图像1010即为第一目标数据。电子设备可以通过文档编辑程序将该图像1010插入至文档编辑窗口204中正在编辑的文档文件中，并显示第三人机交互界面如图14所示，在图14所示的第三人机交互界面中，用户所拖动的图像1010已经被插入至文档文件中(即第一处理结果)。

在一些实施例中，如图11所示，第二触发操作可以为将相册窗口203拖向或拖动至文档编辑窗口204所在的区域的第二拖动操作1100。在一些实施例中，如图12所示，第二触发操作可以为将文档编辑窗口204右侧边缘的相册程序的图标(即第二控件)拖向或拖动至文档编辑窗口204所在的区域的第三拖动操作1200。在一些实施例中，如图13所示，第二触发操作可以为将快捷启动栏202中的相册程序的图标(即第二控件)拖向或拖动至文档编辑窗口204所在的区域的第三拖动操作1300。

其中，假如用户在第二触发操作之前，已经在相册窗口203选择了左上角的图像(即第一目标数据)1010，那么电子设备可以直接通过文档编辑程序将该图像1010插入至文档编辑窗口204中正在编辑的文档中，显示第三人机交互界面如图14所示；假如用户在第二触发操作之前，并未在相册窗口203选择任何图像，那么电子设备可以在第二触发操作之后，接收用户在相册窗口203选择的图像，再通过文档编辑程序将该图像插入至文档编辑窗口204正在编辑的文档中。

以下又将结合图6、图15-图16，对本申请实施例所提供的人机交互方法进行说明。其中，第一程序包括在前台运行的程序，第二程序还可以包括未在前台运行的程序。需要说明的是，在一些实施例中，第二程序也可以只包括未在前台运行的程序。请依次参照图6、图15和图16，为本申请实施例所提供的一种人机交互方法相关的人机交互界面的示意图。

电子设备显示第一人机交互界面可以如前述图6所示。

用户按下了“windows键+Q键”(即第一触发操作)，电子设备显示如下图15所示的第二人机交互界面。与如图7所示的第二人机交互界面相比，在如图15所示的第二人机交互人界面中，通讯窗口205右侧显示的第二程序的图标700还包括运动健康程序的图标710，而运动健康程序当前未在前台运行，因此第一人机交互界面和第二人机交互界面中不包括运动健康程序对应的窗口。

以第一程序为通讯程序，第二程序为运动健康程序为例。电子设备检测到用户将通讯窗口205右侧边缘的运动健康程序的图标710(即第二控件拖动)或拖动至通讯窗口205所在的区域的第四拖动操作(即第二触发操作)，电子设备可以运行运动健康程序，并从运动健康程序获取用户的健康数据(即第一目标数据)，将该健康数据提供给通讯程序，通讯程序将该健康数据发送给当前正在通讯的好友A，显示第三人机交互界面如图16所示，由图16可知，通讯窗口205中新增加了一条关于健康数据的消息记录1600(即第一处理结果)。

在一些实施例中，电子设备不基于运动健康程序用户交互，就可以确定第一目标数据。比如电子设备可以将运动健康程序最新生成的健康数据作为第一目标数据，那么电子设备可以不在前台运行运动健康数据。或者，在另一些实施例中，电子设备可以基于运动健康程序与用户进行交互，从而确定第一目标数据，那么电子设备可以在前台运行运动健康程序，将用户在运动健康程序中选择的健康数据确定为第一目标数据，再将该第一目标数据提供给通讯程序。

以下将结合图17-图20，对本申请实施例所提供的人机交互方法进行说明。其中，第一程序包括未在前台运行的程序，第二程序包括在前台运行的程序。请依次参照图17、图18、图19和图20，为本申请实施例所提供的一种人机交互方法相关的人机交互界面的示意图。

电子设备显示第一人机交互界面可以如图17所示。第一人机交互界面的底部包括快捷启动栏202，该快捷启动栏202中从左到右包括浏览器程序、相册程序、运动健康程序、通讯程序和文档等应用程序的图标，这些图标中的每个图标都可以作为第一控件。其中，相册程序当前处于前台运行，其他应用程序未前台运行，因此第一人机交互界面中只包括相册窗口203。

用户按下了“windows键+Q键”，电子设备显示第二人机交互界面可以如图18所示。在图18所示的第二人机交互界面中，第一提示信息可以包括第一虚线1800。由于只有相册程序当前处于前台运行状态，因此第一虚线1800从相册窗口203分别指向快捷启动栏202中的浏览器程序的图标210、通讯程序的图标220和文档编辑程序的图标230，从而指示与浏览器程序、通讯程序和文档编辑程序相关的程序包括相册程序。

以第一程序为文档编辑程序，第二程序为相册程序为例。如图19所示，电子设备检测到用户将相册窗口203(即第二窗口)拖向或拖动至快捷启动栏202中文档编辑程序的图标230(即第一控件)所在的区域的第五拖动操作1900(即第二触发操作)。如果在第二触发操作之前，用户已经在相册窗口203选择了左上角的图像1010，即电子设备在第二触发操作之前已经基于相册程序确定了第一目标数据，那么电子设备可以在前台运行文档编辑程序，并将该图像1010插入至正在编辑的文档中，显示第三人机交互界面如图20所示。如果在第二触发操作之前，用户并未在相册窗口203选择图像，即电子设备在第二触发操作之前并未确定第一目标数据，那么电子设备可以在前台显示相册窗口203，基于接收用户在该相册窗口203中选择的图像，并在前台运行文档编辑程序，将该图像插入至正在编辑的文档中，显示第三人机交互界面。

以下又将结合图17、图21-图23，对本申请实施例所提供的人机交互方法进行说明。其中，第一程序包括未在前台运行的程序，第二程序还包括未在前台运行的程序。需要说明的是，在一些实施例中，第二程序也可以只包括未在前台运行的程序。请依次参照图17、图21、图22和图23，为本申请实施例所提供的一种人机交互方法相关的人机交互界面的示意图。

电子设备显示第一人机交互界面可以如图17所示。

用户按下了“windows键+Q键”，电子设备显示第二人机交互界面可以如图21所示。其中，第一提示信息包括第二虚线2100、第二应用程序的图标700和相册窗口203的第一缩略图2110。以浏览器程序为例，浏览器程序的图标210所连接的第二虚线2100的另一端包括分两行显示的相册窗口203的第一缩略图2110和文档编辑程序的图标230，即表示与浏览器程序相关的程序包括在前台运行的相册程序和未在前台运行的文档编辑程序，且相册程序与浏览器程序的相关类型，和文档编辑程序与浏览器程序的相关类型不同。又以与文档编辑程序为例，文档编辑程序的图标230所连接的第二虚线2100的另一端包括同一行显示的运动健康程序的图标710和相册窗口203的第一缩略图2110，即表示与文档编辑程序相关的程序包括运动健康程序和相册程序，运动健康程序当前未在前台运行，相册程序当前在前台运行，且运动健康程序与文旦编辑程序的相关类型和相册程序与文旦编辑程序的相关类型相同。

以第一程序为文档编辑程序，第二程序为运动健康程序为例。如图22所示，电子设备检测到用户将运动健康程序的图标710(即第二控件)拖动或拖动至快捷启动栏202中文档编辑程序的图标(即第一控件)所在的区域的第六拖动操作2200(即第二触发操作)。由于文档编辑程序和运动健康程序当前均未在前台运行，因此电子设备可以在后台运行运动健康程序获取最新的健康数据2300(即第一目标数据)包括“今日步数：6667步；运动时长：30分钟；距离：4.8千米；热量：238千卡”，并在前台运行文档编辑程序，将该健康数据插入至新建的空白文档中(即第一处理结果)，显示第三人机交互界面如图23所示。

以下又将结合图3、图24和图25，对本申请实施例所提供的人机交互方法进行说明。其中，第一程序包括在前台运行的程序，第二程序包括未在前台运行的程序。需要说明的是，在一些实施例中，第二程序也可以只包括未在前台运行的程序，或者既包括在前台运行的程序也包括未在前台运行的程序。请依次参照图3、图24和图25，为本申请实施例所提供的一种人机交互方法相关的人机交互界面的示意图。

电子设备为VR设备，第一人机交互界面为购物程序提供的商品展示界面，如前述图3所示。第一人机交互界面中包括虚拟电视301、虚拟人偶302和虚拟投影仪303等三个控件(即第一控件)，分别表示电视、人偶玩具和投影仪三件商品。

VR设备检测到用户的视线移动到任一第一控件上(即第一触发操作)，则显示第二人机交互界面，如图24所示，第二人机交互界面的右上角显显示有“定位信息-显示商品优惠信息”等第二提示信息800，从而提示用户该购物程序可以获取用户的定位信息，并显示各商品的优惠价格。

VR设备检测到用户的点头动作(即第二触发操作)，则可以从定位程序获取用户的定位信息(即第一目标数据)，并提供给该购物程序，该购物程序基于该定位信息从服务器获取电视、人偶玩具和投影仪三件商品的优惠信息，并通过如图25所示的第三人机交互界面显示该优惠信息2500(即第一处理结果)。其中，电视对应的优惠为50％，人偶的对应的优惠为90％，投影仪的优惠为70％。

请参照图26，为本申请实施例所提供的一种获取第一程序的数据处理能力的方法的流程图。需要说明的是，电子设备可以在前述显示第二人机交互界面之前的任何时机获取第一程序的数据处理能力。例如，电子设备可以在接收到第一触发操作时，执行如图26所示的获取第一程序的数据处理能力的方法。还需要说明的是，为了减少对用户的干扰，电子设备屏蔽用户对电子设备获取第一程序的数据处理能力的过程的感知，在一些实施例中，电子设备可以在后台执行如图26所示的获取第一程序的数据处理能力的方式，或者，电子设备可以创建虚拟机等虚拟运行环境，从而在该虚拟运行环境中获取第一程序的数据处理能力。还需要说明的是，该方法并不以图26以及以下所述的具体顺序为限制，应当理解，在其它实施例中，该方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该方法包括如下步骤：

S2601，电子设备获取第一程序请求的第一数据类型。

在一些实施例中，电子设备的操作系统可以向第一程序发送第一获取请求，第一程序响应于第一获取请求，向该操作系统反馈第一数据类型。在一些实施例中，第一获取请求中可以携带数据类型集合，该数据类型集合中包括第一数据类型，相应的，第一程序可以从该数据类型集合确定第一数据类型，并向该操作系统反馈第一数据类型。在一些实施例中，电子设备的操作系统可以通过广播的形式向第一程序发送第一获取请求，从而可以快速获取到包括多个程序所请求的数据类型。

在一些实施例中，第一程序也可以主动向电子设备的操作系统通知第一数据类型。

当然，在实际应用中，电子设备也可以通过其他方式来获取第一数据类型，本申请实施例不对电子设备获取第一数据类型的具体方式进行限定。

在一些实施例中，电子设备可以从第一程序的预设的第三接口，获取第一程序请求的第一数据类型。其中，第三接口可以是由第一程序的开发人员事先设置的。

S2602，电子设备获取与第一数据类型对应的第二目标数据。

其中，电子设备可以从网络中获取第二目标数据，或者，可以从该电子设备本地已存储的数据库获取第二目标数据，或者，可以即时生成第二目标数据。其中，第二目标数据的数据类型为第一数据类型。当然，在实际应用中，电子设备也可以通过其他方式来获取第二目标数据，本申请实施例不对电子设备获取第二目标数据的具体方式进行限定。

在一些实施例中，为了减少对用户的干扰，改善用户隐私泄露的问题，第二目标数据可以与用户的真实诉求无关，第二目标数据可以为不携带用户特征的数据。在一些实施例中，电子设备可以获取与第一数据类型对应的第三目标数据，并对第三目标数据进行脱敏处理，从而得到第二目标数据。其中，脱敏处理可以指对第三目标数据通过预设的脱敏规则进行数据变形处理，使得脱敏后的第二目标数据中不携带用户特征。在一些实施例中，脱敏处理可以包括数据加密和数据替换等等，当然，在实际应用中，脱敏处理也可以包括更多或更少的处理方式，本申请实施例不对脱敏处理的具体方式进行限定。

S2603，电子设备获取第一程序基于第二目标数据反馈的第二处理结果。

电子设备的操作系统可以通过第一程序的第二接口，将第二目标数据提供给第一程序，第二程序可以对第二目标数据进行处理，并通过第三接口向该操作系统反馈第二处理结果。其中，第二处理结果可以包括图像和数据流中的至少一种。

为了减少获取第一程序的数据处理能力的过程对用户使用第一程序的真实体验造成影响，在一些实施例中，电子设备可以不向用户展示第二处理结果，比如，电子设备可以不在显示屏显示第二处理结果。在一些实施例中，电子设备可以禁止第一程序向其他设备发送第二目标数据。在一些实施例中，电子设备可以在向第一程序提供第二目标数据之后，第一次检测到第一程序请求使用网络资源的第一网络请求时，拒绝第一网络请求，并在拒绝第一请求后且并未接收到第一程序的任何网络请求的第一预设时长之后，再接收第一程序的第二网络请求并向第一程序分配网络资源，也即是，电子设备在向第一程序提供第一目标数据后禁止第一程序使用网络资源，并在静默第一预设时长之后，再允许第一程序使用网络资源，从而避免第一程序将第二处理结果发送给其他设备。在一些实施例中，电子设备还可以在接收第一程序的第二网络请求时，判断第一网络请求和第二网络请求所携带的数据包是否相同，如果第二网络请求和第一网络请求所携带的数据包不同，则向第一程序分配网络资源，如果第二网络请求和第一网络请求所携带的数据包相同，则再次拒绝第二网络请求。

S2604，电子设备基于第二处理结果，确定第一程序的数据处理能力。

在一些实施例中，电子设备可以将第二处理结果和第二目标数据进行对比，分析第一程序基于第二目标数据进行的处理行为，从而确定第一程序的数据处理能力。

在一些实施例中，电子设备可以将第二目标数据和第二处理结果，输入至机器学习模型，得到该机器学习模型输出的第一程序的数据处理能力。

其中，该机器学习模型可以是事先通过多个样本训练得到的，每个样本可以包括第四目标数据和第一程序对第四目标数据处理得到的第三处理结果，且每个样本携带有真实的数据处理能力标记。需要说明的是，该机器学习模型可以由该电子设备训练的，也可以由该电子设备之外其他的设备训练得到的。在一些实施例中，电子设备可以在与第一程序对应的历史数据中，获取用户针对第一程序提交的第四目标数据以及第一程序对四目标数据进行处理得到的第三处理结果。

当然，在实际应用中，电子设备也可以通过其他分析方法，来基于第二目标数据和第二目标数据结果，确定第一程序的数据处理能力，本申请实施例不对电子设备基于第二目标数据和第二处理结果，确定第一程序的数据处理能力的方式进行限定。

例如，第一程序为浏览器程序，当第一程序获取到的第二目标数据为图像时，第一程序可以基于该图像进行搜索，得到的第二处理结果为与该图像相似的其他图像，因此，浏览器程序的数据处理能力可以包括“图像-根据图像识别，搜索相似图像”。

又例如，第一程序为浏览器程序，当第一程序获取到的第二目标数据为文字时，第一程序可以基于该文字进行搜索，得到的第二处理结果为与该文字相关的文章，因此，浏览器程序的数据处理能力可以包括“文字-根据语义分析，进行拓展搜索”。

又例如，第一程序为通讯程序，当第一程序获取到第二目标数据时，第二处理结果为将第二目标数据发送给指定的联系人，因此，通讯程序的处理能力可以包括“数据-向联系人转发数据”。

又例如，第一程序为相册程序，当第一程序获取到的第二目标数据为图像时，第二处理结果为将该图像保存至相册程序中，因此相册程序的处理能力可以包括“图像-获取图像以保存”。

又例如，第一程序为文档编辑程序，当第一程序获取到第二目标数据时，第二处理结果为将第二目标数据复制在文档中，因此文档编辑程序的处理能力可以包括“数据-将数据复制到文档”。

需要说明的是，上述仅以第一程序为浏览器程序、通讯程序、相册程序和文档编辑程序为例，对第一程序可能具有的数据处理能力进行说明，而不对第一程序或者第一程序的数据处理能力进行限定，可以理解是的，在实际应用中，第一程序并不限于浏览器程序、通讯程序、相册程序和文档编辑程序所具有的数据处理能力也并不限于上述中的“图像-根据图像识别，搜索相似图像”、“文字-根据语义分析，进行拓展搜索”、“数据-向联系人转发数据”、“图像-获取图像以保存”和“数据-将数据复制到文档”。

在一些实施例中，电子设备可以基于第一图像、第二图像和第二目标数据，确定第一程序的数据处理能力。其中，第一图像为向第一程序提供第二目标数据之前，第一窗口的图像，第二图像为得到第二处理结果之后第一窗口的图像。电子设备可以通过图像识别，确定第一图像和第二图像的图像差异，再将该图像差异结合第二目标数据，确定该数据处理能力。在一些实施例中，电子设备可以获取第一程序运行过程中第一窗口的图像集合，识别该图像集合中包括的各图像的图像特征，从而确定第一窗口对应的图像特征集合(即对第一程序的程序内容建立高置信度理解)，相应的，电子设备可以基于该图像特征集合，对第一图像和第二图像进行识别，提高确定第一图像和第二图像的差异的准确性，进而提高确定第一程序的数据处理能力的准确性。

在本申请实施例中，电子设备可以获取第一程序请求的第一数据类型，向第一程序提供第一数据类型的第二目标数据，并获取第一程序基于第二目标数据反馈的第二处理结果，进而根据第二目标数据和第二处理结果确定第一程序所具有的数据处理能力，提高确定第一程序的数据处理能力的可靠性。

请参照图27，为本申请实施例所提供的一种获取第一程序的数据处理能力的方法的流程图。需要说明的是，该方法并不以图27以及以下所述的具体顺序为限制，应当理解，在其它实施例中，该方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该方法包括如下步骤：

S2701，电子设备显示第一人机交互界面，第一人机交互界面包括第一交互对象，第一交互对象与第一程序对应。

S2702，当电子设备接收到第一触发操作时，电子设备确定第一程序的数据处理能力。

在一些实施例中，S2702可以省略。

S2703，电子设备显示第二人机交互界面，第二人机交互界面包括与第一程序对应的第一提示信息，第一提示信息用于提示与第一程序相关的第二程序，第二程序用于向第一程序提供第一数据类型的数据，第一数据类型为第一程序进行数据处理所依赖的数据类型。

在一些实施例中，第二人机交互界面还包括第二提示信息，第二提示信息用于指示第一程序的数据处理能力和第一数据类型中的至少一个。

S2704，当电子设备基于第二人机交互界面接收到第二触发操作时，显示第三人机交互界面，第三人机交互界面包括第一程序基于第一目标数据进行数据处理的第一处理结果，其中，第一目标数据为归属于第二程序的所述第一数据类型的数据。

其中，电子设备执行S2701、S2703-S2704的方式，可以参见S401-S403中的相关描述，电子设备执行S2702的方式，可以参见S2601-S2604中的相关描述，此处不再一一赘述。

在一些实施例中，S2704可以省略。

基于同一发明构思，本申请实施例还提供了一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述方法实施例所述的方法。

本实施例提供的电子设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。

基于同一发明构思，本申请实施例还提供了一种芯片系统。该所述芯片系统包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述方法实施例所述的方法。

其中，该芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。

本申请实施例还提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现上述方法实施例所述的方法。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种人机交互的方法，其特征在于，包括：

显示第一人机交互界面，所述第一人机交互界面包括第一交互对象，所述第一交互对象与第一程序对应；

当接收到第一触发操作时，显示第二人机交互界面，所述第二人机交互界面包括与所述第一程序对应的第一提示信息，所述第一提示信息用于提示与所述第一程序相关的第二程序，所述第二程序用于向所述第一程序提供第一数据类型的数据，所述第一数据类型为所述第一程序进行数据处理所依赖的数据类型。

2.根据权利要求1所述的方法，其特征在于，若包括多个所述第一数据类型，则所述第一提示信息具体用于分别基于各所述第一数据类型，提示对应的所述第二程序。

3.根据权利要求1或2所述的方法，其特征在于，所述第二人机交互界面还包括第二提示信息，所述第二提示信息用于提示所述第一程序的数据处理能力和所述第一数据类型中的至少一个。

4.根据权利要求3所述的方法，其特征在于，所述显示第二人机交互界面，包括：

突出显示所述第一提示信息和所述第二提示信息。

5.根据权利要求1-4任一所述的方法，其特征在于，所述第一交互对象包括第一窗口和第一控件中至少一个。

6.根据权利要求1-5任一所述的方法，其特征在于，所述第一提示信息具体用于指示与所述第二程序对应的第二交互对象。

7.根据权利要求6所述的方法，其特征在于，所述第二交互对象包括第二窗口和第二控件中的至少一个。

8.根据权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

当基于所述第二人机交互界面接收到第二触发操作时，显示第三人机交互界面，所述第三人机交互界面包括所述第一程序基于第一目标数据进行数据处理的第一处理结果，其中，所述第一目标数据为归属于所述第二程序的所述第一数据类型的数据。

9.根据权利要求8所述的方法，其特征在于，所述第二触发操作包括对第二交互对象的点击操作；或，

所述第二触发操作包括将所述第二交互对象拖向所述第一交互对象的拖动操作；或，

所述第二触发操作包括将所述第二交互对象拖动至所述第一交互对象所在区域的拖动操作；

其中，所述第一交互对象与所述第一程序对应，第二交互对象与所述第二程序对应。

10.根据权利要求1-9任一所述的方法，其特征在于，所述方法还包括：

获取所述第一程序请求的第一数据类型；

获取所述第一数据类型匹配的第二目标数据；

向所述第一程序提供所述第二目标数据；

获取所述第一程序基于所述第二目标数据反馈的第二处理结果；

基于所述第二目标数据和所述第二处理结果，确定所述第一程序的数据处理能力。

11.根据权利要求1-10任一所述的方法，其特征在于，所述第一程序和所述第二程序均为在前台运行的程序。

12.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时使得所述电子设备执行如权利要求1-11任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的方法。

14.一种计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1至11中任一项所述的方法。