CN111093030A - 一种设备控制方法及电子设备 - Google Patents

Abstract

本发明实施例提供一种设备控制方法及电子设备，涉及通信技术领域，以解决用户根据纸质说明书操作家电时难度高，操作便捷性低的问题。该方案包括：识别拍摄预览界面中显示的目标设备；在拍摄预览界面中，显示目标设备的操作引导信息，操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。该方法应用于通过电子设备控制设备的场景中。

Description

一种设备控制方法及电子设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种设备控制方法及电子设备。

背景技术

随着电子技术的发展，智能家电的功能越来越丰富，智能家电的操作步骤也越来越繁琐。例如，当用户需求使用智能家电的某项功能时，可能需要依据智能家电的纸质产品说明书，在智能家电上进行一系列的操作，才可以最终触发智能家电执行该项功能。

然而，由于纸质产品说明书多为文字说明，比较抽象，因此导致用户在根据纸质说明书操作家电时的难度较高，且操作便捷性低。

发明内容

本发明实施例提供一种设备控制方法及电子设备，以解决用户在根据纸质说明书操作家电时的难度较高，且操作便捷性低，人机交互性能差的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种设备控制方法，可以应用于电子设备，该方法可以包括，识别拍摄预览界面中显示的目标设备；在拍摄预览界面中，显示目标设备的操作引导信息，该操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。

第二方面，本发明实施例提供了一种电子设备，该电子设备可以包括：识别模块和显示模块。识别模块，用于识别拍摄预览界面中显示的目标设备；显示模块，用于在识别模块成功识别目标设备之后，在拍摄预览界面中，显示目标设备的操作引导信息，操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。

第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述第一方面的设备控制方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述第一方面的设备控制方法方法的步骤。

在本发明实施例中，电子设备可以识别拍摄预览界面中显示的目标设备；且在拍摄预览界面中，显示目标设备的操作引导信息，该操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。通过该方案，一方面，当操作引导信息包括目标设备的操作菜单时，由于用户可以通过直接在电子设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行操作以触发目标设备执行某个动作，因此可以简化操作目标设备的操作过程。另一方面，由于电子设备可以在相机预览界面(包括实时采集的目标设备的图像)显示目标设备的操作流程，即电子设备可以在实时采集的目标设备的图像上显示目标设备的操作流程，因此，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在电子设备采集的目标设备的图像上向用户展示目标设备的操作流程的方式更加形象，可操作性更强，从而可以操作目标设备的难度。如此，本发明实施例提供的设备控制方法可以简化操作设备的过程，降低操作设备的难度，提高操作设备的便捷性。

附图说明

图1为本发明实施例提供的一种可能的操作系统的架构示意图；

图2为本发明实施例提供的设备控制方法的示意图之一；

图3为本发明实施例提供的设备控制方法应用的界面示意图之一；

图4为本发明实施例提供的设备控制方法应用的界面示意图之二；

图5为本发明实施例提供的设备控制方法的示意图之二；

图6为本发明实施例提供的设备控制方法的示意图之三；

图7为本发明实施例提供的设备控制方法应用的界面示意图之三；

图8为本发明实施例提供的设备控制方法应用的界面示意图之四；

图9为本发明实施例提供的设备控制方法的示意图之四；

图10为本发明实施例提供的设备控制方法应用的界面示意图之五；

图11为本发明实施例提供的设备控制方法的示意图之五；

图12为本发明实施例提供的电子设备的结构示意图之一；

图13为本发明实施例提供的电子设备的结构示意图之二；

图14为本发明实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。

本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一输入和第二输入等是用于区别不同的输入，而不是用于描述输入的特定顺序。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个元件是指两个或者两个以上的元件等。

本发明实施例提供一种设备控制方法及电子设备，该电子设备可以识别拍摄预览界面中显示的目标设备；且在拍摄预览界面中，显示目标设备的操作引导信息，该操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。通过该方案，一方面，当操作引导信息包括目标设备的操作菜单时，由于用户可以通过直接在电子设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行操作以触发目标设备执行某个动作，因此可以简化操作目标设备的操作过程。另一方面，由于电子设备可以在相机预览界面(包括实时采集的目标设备的图像)显示目标设备的操作流程，即电子设备可以在实时采集的目标设备的图像上显示目标设备的操作流程，因此，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在电子设备采集的目标设备的图像上向用户展示目标设备的操作流程的方式更加形象，可操作性更强，从而可以操作目标设备的难度。如此，本发明实施例提供的设备控制方法可以简化操作设备的过程，降低操作设备的难度，提高操作设备的便捷性。

本发明实施例中的电子设备可以为具有操作系统的电子设备。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。

下面以一种可能的操作系统为例，介绍本发明实施例提供的设备控制方法所应用的软件环境。

如图1所示，为本发明实施例提供的一种可能的操作系统的架构示意图。在图1中，操作系统的架构包括4层，分别为：应用程序层、应用程序框架层、系统运行库层和内核层(具体可以为Linux内核层)。

其中，应用程序层包括操作系统中的各个应用程序(包括系统应用程序和第三方应用程序)。

应用程序框架层是应用程序的框架，开发人员可以在遵守应用程序的框架的开发原则的情况下，基于应用程序框架层开发一些应用程序。

系统运行库层包括库(也称为系统库)和操作系统运行环境。库主要为操作系统提供其所需的各类资源。操作系统运行环境用于为操作系统提供软件环境。

内核层是操作系统的操作系统层，属于操作系统软件层次的最底层。内核层基于Linux内核为操作系统提供核心系统服务和与硬件相关的驱动程序。

以操作系统为例，本发明实施例中，开发人员可以基于上述如图1所示的操作系统的系统架构，开发实现本发明实施例提供的设备控制方法的软件程序，从而使得该设备控制方法可以基于如图1所示的操作系统运行。即处理器或者电子设备可以通过在操作系统中运行该软件程序实现本发明实施例提供的设备控制方法。

本发明实施例中的电子设备可以为移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。

本发明实施例提供的设备控制方法的执行主体可以为上述的电子设备，也可以为该电子设备中能够实现该设备控制方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本发明实施例不作限定。下面以电子设备为例，对本发明实施例提供的设备控制方法进行示例性的说明。

本发明实施例中，当用户想要通过电子设备控制一个设备时，用户可以先触发电子设备采集该设备的图像，并在电子设备的拍摄预览界面中显示该设备的图像；从而电子设备可以识别拍摄预览界面中显示的该设备，在电子设备识别成功之后，电子设备可以在该拍摄预览界面中，显示该设备的操作引导信息，其中，操作引导信息可以包括以下至少一项：该设备的操作菜单、该设备的操作流程。如此，一方面，当操作引导信息包括该设备的操作菜单时，由于用户可以通过直接在电子设备上输入，触发该设备执行与用户的输入对应的动作；而无需用户再根据该设备的纸质说明书，在该设备上进行操作以触发该设备电执行某个动作，因此可以简化操作设备的操作过程。另一方面，由于电子设备可以在相机预览界面(包括实时采集的该设备的图像)显示目标设备的操作流程，即电子设备可以在实时采集的设备的图像上显示设备的操作流程，因此，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在电子设备采集的设备的图像上向用户展示设备的操作流程的方式更加形象，可操作性更强，从而可以操作设备的难度。如此，本发明实施例提供的设备控制方法可以简化操作设备的过程，降低操作设备的难度，提高操作设备的便捷性。

下面具体结合各个附图对本发明实施例提供的设备控制方法进行示例性的描述。

如图2所示，本发明实施例提供一种设备控制方法，该方法可以包括下述的步骤201-步骤202。

步骤201、电子设备识别拍摄预览界面中显示的目标设备。

其中，拍摄预览界面可以为电子设备中的相机应用程序中，预览图像所在的界面。

可选的，本发明实施例中，用户可以通过一个输入(例如下述第一输入)，触发电子设备识别拍摄预览界面中的目标设备。需要说明的是，本发明实施例中，电子设备识别拍摄预览界面中显示的目标设备是指，电子设备识别拍摄预览界面中显示的设备图像，以识别出与该设备图像对应的目标设备。

可选的，本发明实施例中，用户可以先触发电子设备采集设备的图像，以得到设备图像，并在拍摄预览界面中显示该设备图像。然后用户可以通过对拍摄预览界面中显示的识图控件的输入(例如下述第一输入)，触发电子设备将该设备图像与预设图像(可以为电子设备中保存的，也可以为服务器中保存的)比对，以确定该设备图像是否与第一预设图像匹配。若设备图像与预设图像不匹配，则电子设备可以弹出提示框，以提示用户识别失败，例如，假设设备图像与预设图像不匹配，那么，如图3中的(b)所示，电子设备的拍摄预览界面30可以显示设备图像31，且在拍摄预览界面30上显示一个提示框32，该一个提示框32可以为显示“识别失败，请对准可识别设备重试”。若设备图像与预设图像匹配，则如图3中的(c)所示，电子设备可以将该预设图像对应的设备确定为目标设备，并在拍摄预览界面30上显示另一提示框33，该另一提示框33可以为显示“识别成功”。

可选的，本发明实施例中，上述设备图像可以为目标设备的2D(二维)图像，也可以为目标设备的3D(三维)图像。

相应的，当上述设备图像为目标设备的2D图像时，上述一预设图像可以为目标设备的2D图像，也可以为目标设备的3D图像；当上述设备图像为目标设备的3D图像时，上述预设图像也为目标设备的3D图像。具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述预设图像可以为电子设备中保存的目标设备的图像，也可以为服务器中保存的目标设备的图像，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述预设图像可以为P个，其中，P为正整数。

可选的，本发明实施例中，P个预设图像中的每个预设图像可以对应一个设备信息，一个设备信息可以为一个目标设备的设备信息。具体的，P个预设图像中的每个预设图像对应的设备信息可以为不同目标设备的设备信息，或者，P个预设图像中的至少两个预设图像对应的设备信息可以为同一目标设备的设备信息。可以理解，实际实现中，当P为大于1的整数时，可能存在多个预设图像对应同一目标设备的情况，即多个预设图像为同一目标设备的图像。

可选的，本发明实施例中，当上述每个预设图像为电子设备中保存的目标设备的图像时，上述每个预设图像对应的设备信息可以保存在电子设备中。当上述预设图像为服务器中保存的目标设备的图像时，上述每个预设图像对应的设备信息可以保存在服务器中。具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，电子设备可以将设备图像依次与P个预设图像中的每个预设图像比对，若设备图像与P个预设图像中的每个预设图像均不匹配，则电子设备可以确定设备图像不符合预设图像；若设备图像与P个预设图像中的某个预设图像(例如下述的第一预设图像)匹配，则电子设备可以将该预设图像对应的设备确定为目标设备。

可以理解，当多个预设图像为同一目标设备的图像时，该多个预设图像可以为该智能家电目标设备的不同界面的图像，例如，当目标设备为智能电视时，若该智能电视的桌面包括5个界面，则该多个预设图像可以为5个预设图像，且一个预设图像为智能电视的桌面的一个界面的图像；或者，该多个预设图像可以为该目标设备的不同侧面(例如可以为：主视图、后视图、左视图、右视图、俯视图和仰视图)的图像，例如，当目标设备为智能冰箱时，该多个预设图像可以为6个预设图像，且一个预设图像为智能冰箱一个侧面的图像。

可选的，本发明实施例中，在上述设备图像为目标设备的2D图像的情况下，电子设备可以从设备图像中提取目标设备的目标特征点，并将目标特征点与预设图像中的目标设备的特征点(以下称为预设特征点)比对；若目标特征点不符合预设特征点(即两者不同，或者；想着的匹配度小于预设阈值)，则电子设备可以确定设备图像与预设图像不匹配；若目标特征点符合预设特征点(即两者相同，或者；想着的匹配度大于或等于预设阈值)，则电子设备可以确定设备图像与预设图像匹配。

在上述设备图像为目标设备的3D图像的情况下，电子设备可以从设备图像中提取目标设备的目标三维点云数据(例如TOF数据)，例如可以包括三维坐标信息、颜色信息和反射强度信息等，并将目标三维点云数据与预设图像中的目标设备的三维点云数据(以下称为预设三维点云数据)比对；若目标三维点云数据不符合预设三维点云数据，则电子设备可以确定设备图像与预设图像不匹配；若目标三维点云数据符合预设三维点云数据，则电子设备可以确定设备图像与预设图像匹配。

可以理解，上述电子设备确定设备图像是否与预设图像匹配的方法仅为示例性的说明，实际实现中，还可以采用其他任意可能的确定方法，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述步骤201具体可以通过下述的步骤201a和步骤201b实现。

步骤201a、电子设备响应于用户的第一输入，获取拍摄预览界面中的设备图像。

步骤201b、电子设备在设备图像与第一预设图像匹配的情况下，将与第一预设图像对应的设备确定为目标设备。

其中，上述第一预设图像为上述P个预设图像中的图像。

本发明实施例中，电子设备可以通过电子设备的摄像头拍摄设备的图像(即设备图像)，并在拍摄预览界面中显示该图像，从而电子设备可以获取拍摄预览界面中显示的设备图像。

可选的，本发明实施例中，上述第一输入可以为用户对电子设备显示的拍摄预览界面中的识图控件的输入。

其中，上述识图控件可以用于触发电子设备启动识图功能。

可选的，本发明实施例中，上述第二输入可以为用户对上述识图控件的点击输入、长按输入、重按输入、拖动输入和滑动输入等任意可能形式的输入。具体可以根据实际使用需求确定，本发明实施例不作限定。

其中，上述点击输入可以为单击、双击或者连续点击预设次数的输入。上述长按输入可以为接触预设时长的输入。上述重按输入也称为压力触控输入，是指用户以大于或等于压力阈值的压力值按下的输入。上述拖动输入可以为向任意方向拖动的输入。上述滑动输入可以为向任意方向滑动的输入。

本发明实施例中，上述预设次数、预设时长以及压力阈值均可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，电子设备将与第一预设图像对应的设备确定为目标设备之后，电子设备还可以获取该第一预设图像对应的设备信息(例如，设备类型、设备型号，以及设备标识中的至少一项)，电子设备可以向该设备信息指示的设备发送请求建立连接的请求信息。如此，在电子设备接收到该设备发送的确认建立连接的消息之后，电子设备可以与该设备建立连接。

可选的，本发明实施例中，电子设备与目标设备连接同一网络(例如，可以为同一无线局域网络)。

可选的，本发明实施例中，第一预设图像对应的设备具体可以为第一预设图像对应的设备信息指示的设备。

可选的，本发明实施例中，在电子设备与第一预设图像对应的智能家电连接成功的情况下，电子设备可以显示下述操作引导信息，即电子设备可以执行下述S202。

下面再结合图3中的(a)对上述步骤201进行示例性的描述。

示例性的，本发明实施例提供的设备控制方法可以应用于用户触发电子设备识别拍摄预览界面中的智能压力锅的图像，以将智能压力锅确定为目标设备的场景中。具体的，假设第一输入为用户对拍摄预览界面中的识图控件的点击输入，设备图像为智能压力锅的3D图像，且设备图像与第一预设图像匹配，即第一预设图像对应的设备信息指示智能压力锅；那么，如图3中的(a)所示，电子设备显示拍摄预览界面30，拍摄预览界面30中包括识图控件33和通过电子设备的摄像头采集智能压力锅的图像31，用户可以在识图控件33上点击，即电子设备接收到用户的第一输入，然后电子设备响应于第一输入，电子设备可以获取拍摄预览界面中的设备图像31，且该设备图像31为智能压力锅的3D图像。从而电子设备从设备图像中获取智能压力锅的目标三维点云数据，并将目标三维点云数据与预设图像中的智能压力锅的三维点云数据(即预设三维电源数据)比对，当电子设备确定目标三维点云数据符合预设三维电源数据时，电子设备可以确定设备图像与第一预设图像匹配，从而电子设备可以将第一预设图像对应的智能压力锅确定为目标设备。如此，由于用户可以对识图控件输入，触发电子设备将智能压力锅确定为目标设备，因此可以简化电子设备确定智能压力锅的过程。

本发明实施例中，由于电子设备可以通过识别拍摄预览界面中的设备图像，确定目标设备，因此可以简化电子设备确定目标设备的过程。

步骤202、电子设备在拍摄预览界面中，显示目标设备的操作引导信息。

其中，上述操作引导信息可以包括以下至少一项：目标设备的操作菜单(一种可能的实现方式)、目标设备的操作流程(另一种可能的实现方式)。可以理解，本发明实施例中，上述操作引导信息可以为目标设备的操作菜单、目标设备的操作流程，或者目标设备的操作菜单和目标设备的操作流程，具体可以根据实际使用需求确定，本发明实施例不作限定。

下面分别通过一种可能的实现方式和另一种可能的实现方式对本发明实施例提供的设备控制方法进行示例性说明。

一种可能的实现方式：操作引导信息包括目标设备的操作菜单。

可选的，本发明实施例中，上述操作菜单可以包括M个第一标识，每个第一标识可以用于指示目标设备中的一个功能，或用于指示一个多媒体流。

可选的，本发明实施例中，电子设备可以在拍摄预览界面中显示一个界面(以下称为目标操作界面)，然后在目标操作界面上显示上述M个第一标识；或者电子设备可以直接在拍摄预览界面显示上述M个第一标识；具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述多媒体流可以为音频流、视频流中的至少一项。

需要说明的是，上述多媒体流可以为服务器中保存的多媒体流，也可以为目标设备本地保存的多媒体流，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述目标设备可以为智能压力锅、智能电视、智能冰箱、智能洗碗机或智能空调等任意可能的智能家电，具体可以根据实际使用需求确定，本发明实施例不作限定。

下面再结合具体实例对目标设备的操作菜单进行示例性的说明。

示例性的，以目标设备为智能压力锅、且电子设备在目标操作界面显示上述M个第一标识为例，M个第一标识中的每个第一标识可以用于指示该智能压力锅中的一个功能。具体的，如图4中的(a)所示，电子设备可以在拍摄预览界面40中显示目标操作界面41，且在目标操作界面41上显示6个第一标识(即在目标操作界面上显示M个第一标识)，该6个第一标识可以用于指示智能压力锅中的“保温”功能、“预约”功能、“煮饭”功能、“蛋糕”功能、“煲汤”功能和“熬粥”功能。

又示例性的，以目标设备为智能电视为例、且电子设备在目标操作界面直接显示上述M个第一标识为例，M个第一标识中的每个第一标识可以用于指示一个多媒体流。具体的，如图4中的(b)所示，电子设备可以在拍摄预览界面40中显示5个标识(即在目标操作界面上显示M个第一标识)，该5个标识可以用于指示服务器中保存的“电影1”、电影2”、电视剧1”、“电视剧2”和“动画片”。

需要说明的是，实际实现中，上述M个第一标识可以全部用于指示目标设备中的功能；或者，上述M个第一标识可以全部用于指示多媒体流；或者，上述M个第一标识中的部分第一标识可以用于指示目标设备中的功能，上述M个第一标识中的另一部分第一标识可以用于指示多媒体流。具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述M个第一标识可以对应N个第二标识中的M个第二标识，该N个第二标识可以为第一预设图像中的标识，M和N均为正整数。

可选的，本发明实施例中，上述N个第二标识中的每个第二标识可以用于指示目标设备中的一个功能，或者可以用于指示一个多媒体流。

可选的，本发明实施例中，上述第一预设图像可以为目标设备的图像。例如，上述第一预设图像可以为目标设备的外观图像。

具体的，第一预设图像可以包括以下至少一项：目标设备的包括其功能菜单界面的图像，目标设备的包括其设备信息的图像，目标设备的六视图(即目标设备的主视图、后视图、左视图、右视图、俯视图和仰视图)，目标设备的3D(三维)图像(这种情况下，可以采用深度摄像头采集目标设备的3D图像)。

例如，当目标设备为智能电视时，第一预设图像至少可以包括智能电视的桌面中的界面的图像。当目标设备为智能压力锅时，第一预设图像至少可以包括智能电饭煲的菜单界面的图像。

可选的，本发明实施例中，上述第一预设图像可以为电子设备中保存的图像，也可以为服务器中保存的图像。具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述M个第一标识可以为电子设备根据上述M个第二标识显示的标识。

具体的，电子设备可以根据图像识别技术识别第一预设图像，以识别出第一预设图像中的N个第二标识，然后电子设备可以从N个第二标识中确定M个第二标识，从而电子设备可以显示与该M个第二标识对应的M个第一标识。或者，电子设备可以根据图像识别技术识别第一预设图像，以识别出第一预设图像中的N个第二标识，然后，电子设备可以根据该N个第二标识，生成与该N个第二标识中的M个第二标识对应的M个第一标识，并显示该M个第一标识。具体可以根据实际使用需求确定，本发明实施例不作限定。

本发明实施例中，上述M个第一标识指示的内容与上述M个第二标识指示的内容相同。

例如，假设M等于1，且第一标识为电子设备根据第二标识显示的标识，那么，若该第二标识用于指示目标设备中的功能A，则该第一标识也用于指示该智能家电中的功能A；若该第二标识用于指示一个多媒体流，则该第一标识也用于指示该多媒体流。

可选的，本发明实施例中，上述M个第一标识在拍摄预览界面中的显示形式与上述M个第二标识在第一预设图像中的显示形式可以相同，也可以不同，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述M个第二标识可以为N个第二标识中的全部或部分。实现方式一中，上述M个第二标识可以为电子设备根据历史使用频率，对上述N个第二标识排序后的标识(即M个第二标识为N个第二标识中的全部)。或者，实现方式二中，上述M个第二标识可以为电子设备根据历史使用频率，从上述N个第二标识中确定的历史使用频率大于或等于频率阈值的标识(即M个第二标识为N个第二标识中的部分)。其中，该频率阈值可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，在上述实现方式一中，电子设备可以根据历史使用频率，按照从高到低的顺序排列上述N个第二标识，然后再将排列后的N个第二标识确定为M个第二标识，也即这种情况下，M＝N。在上述实现方式二中，电子设备可以根据历史使用频率，按照从高到低的顺序排列上述N个第二标识，然后再将排列后的N个第二标识中、历史使用频率大于或等于频率阈值的标识确定为M个第二标识，即这种情况下，M≤N。

本发明实施例中，上述历史使用频率可以为用户历史触发上述N个第二标识指示的功能或多媒体流的频率，即历史使用频率可以为用户在预设时间段内触发目标设备中、该N个第二标识指示的功能或多媒体流的频率。

具体的，当上述N个第二标识用于指示目标设备中的N个功能时，历史使用频率可以为，用户在预设时间段内使用该目标设备中的该N个功能的频率。当上述N个第二标识用于指示N个多媒体流时，历史使用频率可以为，用户在预设时间段内通过该目标设备播放该N个多媒体流的频率。

可选的，本发明实施例中，当电子设备在目标操作界面中显示上述M个第一标识时，上述目标操作界面可以为一个可滑动的界面。即当M个第一标识较多，而目标操作界面的显示尺寸较小时，用户可以通过在目标操作界面上的滑动输入，触发电子设备更新目标操作界面显示的标识，从而使得电子设备可以通过目标操作界面向用户展示M个第一标识中的全部标识。

例如，目标操作界面可以在电子设备的一个窗口中展示给用户。具体的，目标操作界面的显示尺寸可以大于该窗口的显示尺寸，此时，目标操作界面中、处于该窗口以内的区域对用户可见，而目标操作界面中、处于该窗口以外的区域对用户不可见。然后，用户可以通过在该窗口上操作(例如在该窗口上滑动)，以触发电子设备在该窗口中显示目标操作界面的不同区域，以使目标操作界面的不同区域上的内容(例如各个第一标识)均对用户可见。

本发明实施例中，一方面，由于电子设备可以在拍摄预览界面中显示对应于第一预设图像中的全部标识(即N个第二标识)的M个第一标识(M＝N)，且可以根据用户历史触发这些标识指示的功能或多媒体流的频率对这些标识(即N个第二标识)排序，因此，电子设备可以在显示对应于第一预设图像中的全部标识的基础上，将用户使用概率较高的功能或多媒体流对应的标识置顶显示，从而可以缩短用户在这些标识中查找常用标识的时间。另一方面，由于电子设备可以在拍摄预览界面中显示对应于第一预设图像中、用户使用频率较高的标识，因此可以缩短用户在这些标识中查找常用标识的时间，提高用户查找标识的快捷性，从而可以进一步提高人机交互性能。

本发明实施例提供的设备控制方法中，一方面，当操作引导信息包括目标设备的操作菜单时，由于用户可以通过直接在电子设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行操作以触发目标设备执行某个动作，因此可以简化操作目标设备的操作过程。另一方面，由于电子设备可以在相机预览界面(包括实时采集的目标设备的图像)显示目标设备的操作流程，即电子设备可以在实时采集的目标设备的图像上显示目标设备的操作流程，因此，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在电子设备采集的目标设备的图像上向用户展示目标设备的操作流程的方式更加形象，可操作性更强，从而可以操作目标设备的难度。如此，本发明实施例提供的设备控制方法可以简化操作设备的过程，降低操作设备的难度，提高操作设备的便捷性。

可选的，本发明实施例中，结合上述图2，如图5所示，在上述一种可能的实现方式中，在上述步骤202之后，本发明实施例提供的设备控制方法还可以包括下述的步骤203和步骤204。

步骤203、电子设备接收用户对M个第一标识中的目标标识的第二输入。

其中，上述M可以为正整数。

可选的，本发明实施例中，上述第二输入可以为用户对上述目标标识的点击输入、长按输入、重按输入、拖动输入和滑动输入等任意可能形式的输入。

对于第二输入的输入形式的描述具体可以参见上述实施例中对第一输入的相关描述，为例避免重复，此处不再赘述。

步骤204、电子设备响应于第二输入，向目标设备发送目标控制消息。

其中，上述目标控制消息可以用于指示目标设备执行与目标标识对应的操作。即可以理解，上述目标设备在接收到上述目标控制消息之后，可以根据该目标控制消息，执行与用户在电子设备上操作的目标标识对应的动作。

可选的，本发明实施例中，上述目标控制消息可以为指令形式的消息，也可以为数值形式的消息，还可以为其它任意可能形式的消息，具体可以根据实际使用需求确定，本发明实施例不作限定。

本发明实施例中，当用户在电子设备上对目标标识执行第二输入时，电子设备可以响应于第二输入，根据该目标标识，生成目标控制消息，然后再向目标设备发送该目标控制消息。

可选的，本发明实施例中，在每个第一标识用于指示目标设备中的一个功能的情况下，目标控制消息可以用于指示目标设备执行目标标识指示的功能。或者，在每个第一标识用于指示一个多媒体流的情况下，目标控制消息可以用于指示目标设备播放目标标识指示的多媒体流。

本发明实施例中，由于目标控制消息指示目标设备执行的动作(例如，指示目标设备执行一个功能，或者指示目标设备播放一个多媒体流)与目标标识指示的内容(例如，指示目标设备中的一个功能，或指示一个多媒体流)一致，因此可以提高用户通过电子设备中显示的目标标识触发目标设备执行相应动作的准确性，从而可以提高用户通过电子设备控制目标设备的准确性。

下面再结合图4对上述步骤203和步骤204进行示例性说明。

示例性的，本发明实施例中，用户可以通过对拍摄预览界面中显示的智能压力锅的操作菜单输入，触发电子设备控制智能压力熬粥。具体的，如图4中的(a)所示，电子设备的拍摄预览界面中包括智能压力锅的操作菜单41，该操作菜单41中包括：保温标识、预约标识、煮饭标识、蛋糕标识、煲汤标识和熬粥标识(即M个第一标识)；用户可以对熬粥标识上点击，即电子设备接收到用户对M个第一标识中的目标标识的第二输入，然后电子设备可以响应于第二输入，向智能压力锅发送熬粥指令(即上述目标控制消息)，以指示智能压力锅熬粥。如此，由于用户可以通过对拍摄预览界面中显示的熬粥标识输入，触发智能压力锅熬粥，因此可以提高通过电子设备控制智能压力锅熬粥的便捷性。

本发明实施例中，由于电子设备可以显示用于指示与其连接的目标设备中的功能或者用于指示多媒体流的M个第一标识，因此用户可以通过对电子设备显示的该M个标识中的目标标识的输入，触发电子设备向与其建立连接的目标设备发送相应指令，以使得该目标设备可以根据该目标控制消息执行与该目标标识对应的动作，即用户可以通过直接在电子设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行一系列操作之后才能触发目标设备执行某个动作。如此，可以简化操作目标设备的过程，提高操作目标设备的便捷性。

另一种可能的实现方式：操作引导信息包括目标设备的操作流程。

可选的，本发明实施例中，在上述另一种可能的实现方式中，上述步骤202具体可以通过下述的步骤202a实现。

步骤202a、电子设备在拍摄预览界面中的M个子区域，依次显示与每个子区域对应的操作标识。

其中，上述M个子区域中的每个子区域对应目标设备的一个功能或一个多媒体流。电子设备在所有子区域中显示所述操作标识用于指示所述操作流程，M为正整数。即电子设备在拍摄预览界面上的M个子区域上依次显示操作标识可以用于向用户指示目标设备的操作流程。

可选的，本发明实施例中，上述M个子区域为拍摄预览界面中显示的设备图像(例如上述目标设备的图像)中的M个区域。该M个子区域中的每个子区域中可以包括一个标识(以下称为第四标识)的图像，第四标识可以用于指示目标设备中的一个功能，或者可以用于指示一个多媒体流。即上述M个子区域中的每个子区域对应目标设备的一个功能或一个多媒体流。

本发明实施例中，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在拍摄预览界面中的M个子区域，依次显示与每个子区域对应的操作标识的方式向用户展示目标设备的操作流程的方式更加形象，可操作性更强。如此可以降低用户操作目标设备的难度，提高人机交互性能，并且提升用户的体验。

可选的，本发明实施例中，电子设备在显示所述操作流程的情况下，若电子设备满足一定条件(例如下述目标条件)，则电子设备还可以显示目标设备的操作菜单。

示例性的，本发明实施例中，结合上述图2，如图6所示，在上述另一种可能的实现方式中，在上述步骤202之后，本发明实施例提供的设备控制方法还可以包括下述的步骤205。其中，上述步骤202具体可以通过上述步骤202a实现。

步骤205、电子设备在显示操作流程之后，在满足目标条件的情况下，显示操作菜单。

其中，上述目标条件可以包括以下任意一项：显示操作流程的过程结束、接收到用户的第三输入。

可选的，本发明实施例中，上述第三输入可以为用户在拍摄预览界面上的输入。

可选的，本发明实施例中，上述第三输入可以为点击输入、长按输入、重按输入、拖动输入和滑动输入等任意可能形式的输入。对于第三输入的输入形式的描述具体可以参见上述实施例中对第一输入的相关描述，为例避免重复，此处不再赘述。

下面结合图7对上述步骤205和202a进行示例性描述。

示例性的，本发明实施例中，电子设备可以假设目标设备为智能洗衣机，即设备图像为智能洗衣机的图像；M个子区域中分别包括智能洗衣机中的电源标识的图像、启动标识的图像、水量标识的图像和水温标识的图像；又假设智能洗衣机的操作流程为：先启动电源(即对电源标识输入)，然后依次设定水量(即对水量标识输入)和水温标识(即对水温标识输入)，然后再启动洗衣机(即对启动标识输入)。如图7中的(a)所示，电源标识的图像所在区域为70所示的区域、水量标识的图像所在区域为71所示的区域、水温标识的图像所在区域为72所示的区域，以及启动标识的图像所在区域为73所示的区域；那么，电子设备先在电源标识的图像所在区域显示操作标识(如图7中的(b)中的74所示的标识)、然后在水量标识的图像所在区域显示操作标识，直至电子设备在启动标识的图像所在区域显示操作标识(如图7中的(c)中的75所示的标识)之后，即表示电子设备在M个子区域，上依次显示M个操作标识的过程结束，也即电子设备完成智能洗衣机的操作流程的显示。

需要说明的是，图7中用于标识M个子区域的虚线框(例如图7中的70所示的虚线框)仅为示意，实际实现中，该虚线框对用户可以不可见。

可选的，本发明实施例中，当电子设备在启动标识的图像所在区域显示操作标识之后，电子设备可以显示智能洗衣机的操作菜单(图中未示出)。或者，当电子设备在水温标识的图像上显示操作标识时，若用户在拍摄预览界面上点击，即电子设备接收到用户的第三输入，则电子设备可以直接中断操作标识的显示(即中断在M个子区域，依次显示M个操作标识的过程)，并切换显示为智能洗衣机的操作菜单。

需要说明的是，实际实现中，电子设备在拍摄预览界面中的M个子区域，依次显示M个操作标识的过程中，电子设备还可以在其它任意可能的情况下中断操作标识的显示，并切换显示为目标设备的操作菜单，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，在电子设备依次显示上述M个操作标识的过程中，用户可以对M个操作标识中的任意一个操作标识输入，以触发电子设备显示目标设备文字引导说明书。例如，假设目标设备为智能洗衣机，那么如图8中的(a)所示，电子设备在拍摄预览界面80上显示用于指示电源标识的操作标识81，用户可以在该操作标识81上点击，然后如图8中的(b)所示，电子设备可以在拍摄预览界面80上叠加显示智能洗衣机的文字引导说明。

本发明实施例中，由于在操作引导信息包括目标设备的操作流程的情况下，电子设备还可以在满足目标条件的情况下，显示目标设备的操作菜单，即用户不仅可以根据操作引导信息的指示直接在目标设备上输入，以操作目标设备，而且可以通过在电子设备上输入，以操作目标设备，因此可以提高操作目标设备的灵活性和便捷性，从而可以提高人机交互性能。

可选的，本发明实施例中，上述操作引导信息还可以包括至少一个搜索控件，该至少一个搜索控件可以用于搜索内容。其中，上述至少一个搜索控件可以包括文本搜索控件(如图10中的(a)中所示的91)、语音搜索控件(如图10中的(a)中所示的96)和图像搜索控件(如图10中的(a)中所示的97)中的至少一项。如此，用户可以通过在该至少一个搜索控件中输入搜索信息(即执行下述第四输入)，触发电子设备显示与该搜索信息对应的内容。

本发明实施例中，一方面，由于用户可以通过对拍摄预览画面中的搜索控件(例如，目标搜索控件)的输入，触发电子设备搜索内容，因此可以提高用户在电子设备上搜索内容的便捷性。另一方面，由于用户可以以文本、音频、或者图像的方式触发电子设备搜索内容，因此可以扩大电子设备搜索内容的范围，提高电子设备搜索内容的灵活性。如此，可以进一步提高人机交互性能。

可选的，本发明实施例中，当操作引导信息包括至少一个搜索控件时，用户可以通过对该至少一个搜索控件中的任意一个搜索控件输入，触发电子设备显示与用户输入的搜索信息对应的内容。

示例性的，本发明实施例中，当操作引导信息包括至少一个搜索控件时，结合上述图2，如图9所示，在上述步骤202(即显示目标设备的操作引导信息)之后，本发明实施例提供的设备控制方法还可以包括下述的步骤206和步骤207。

步骤206、电子设备接收用户对至少一个搜索控件中的目标搜索控件的第四输入。

其中，上述第三输入可以用于输入搜索信息。即第四输入为用户在电子设备上通过目标搜索控件输入搜索信息的输入。

例如，用户可以通过文本搜索控件输入文本搜索信息；或者，用户可以通过语音搜索控件输入语音搜索信息；或者，用户可以通过图像搜索控件输入图像搜索信息。

步骤207、电子设备响应于第四输入，显示至少一个第三标识，或显示用于指示用户在目标设备中查找搜索信息的指引信息。

其中，每个第三标识可以用于指示目标设备中与搜索信息相关的一个功能，或可以用于指示一个多媒体流。

可选的，本发明实施例中，当电子设备显示至少一个第三标识(情况一)时，电子设备可以直接在拍摄预览界面上显示上述第三标识，或者，电子设备可以在拍摄预览界面上通过显示另一个界面显示上述指引信息。当电子设备显示用于指示用户在目标设备中查找上述搜索信息的指引信息(情况二)时，电子设备可以在拍摄预览界面上通过显示一个界面显示上述指引信息；其中，该指引信息具体可以为指示用户在目标家电中查找上述搜索信息对应的内容的信息；例如，可以为与搜索信息对应的内容在目标家电中的路径的指示信息。

下面再结合图10对上述步骤206-步骤207进行示例性的描述。

示例性的，本发明实施例中，用户可以通过对文本搜索控件的输入，触发电子设备显示与用户输入的搜索信息对应的内容。具体的，假设目标设备为智能电视，搜索信息为“动物世界”，那么，如图10中的(a)所示，电子设备可以在拍摄预览界面90中显示文本搜索控件91，从而用户可以在文本搜索控件91中输入文字“动物世界”，即电子设备接收用户对至少一个搜索控件中的目标搜索控件的第四输入，然后，电子设备可以响应于第四输入，在情况一中，如图10中的(b)所示，电子设备可以在拍摄预览界面90中显示动物世界的视频标识92，这种情况下，用户可以通过对视频标识92的输入，触发电子设备向智能电视发送目标控制消息，从而智能电视在接收到该目标控制消息之后，可以在智能电视上播放动物世界的视频。在情况二中，如图10中的(c)所示，电子设备可以显示一个界面93，并在该界面93上分别显示电视台导航栏标识94和电视台A的标识95，其中，电视台A正在播放动物世界的视频。如此，在实现方式二中，用户可以在智能电视上操作，先触发智能电视显示电视台导航栏，然后用户可以在电视台导航栏中查找到电视台A的标识，从而用户可以对电视台A的标识操作，触发智能电视切换到电视台A播放。

本发明实施例中，情况一中，由于电子设备可以在电子设备上显示搜索信息对应的内容的标识(例如上述第三标识)，因此用户可以对该标识输入，直接触发目标设备执行与该标识对应的动作，从而可以提高用户搜索内容的操作便捷性。情况二中，由于电子设备可以在电子设备上显示用于指示用户在目标设备中查找搜索信息对应的内容的指引信息，因此可以指示用户快速地在目标设备中查找到相关的内容。

可选的，本发明实施例中，在目标设备为智能电视的情况下，在电子设备拍摄预览界面中显示操作引导信息之后，用户可以通过将一个图像(例如下述目标图像)拖动至拍摄预览界面，以触发电子设备显示该目标图像对应的功能或多媒体流的操作流程。

示例性的，本发明实施例中，结合上述图2，如图11所示，在上述步骤202之后，本发明实施例提供的设备控制方法还可以包括下述步骤208和步骤209。

步骤208、电子设备接收用户将目标图像拖动至拍摄预览界面的第五输入。

步骤209、电子设备响应于第五输入，显示指引信息。

其中，上述指引信息可以用于指示通过目标设备查找目标图像对应的功能或多媒体流的操作流程。对于指引信息的描述具体可以参见上述步骤207中对指引信息的相关描述，为了避免重复，此处不再赘述。

可选的，本发明实施例中，上述目标图像可以为包括目标设备中的操作菜单的图像，或者可以为一个多媒体流中的视频画面的图像。

可选的，本发明实施例中，上述目标图像可以为电子设备中保存的图像。

本发明实施例中，由于用户将一个图像拖动至拍摄预览画面，即可触发电子设备显示用于在目标设备中查找该图像对应的功能或多媒体流的操作流程，因此可以简化用户通过图片搜索内容的操作过程。

需要说明的是，本发明实施例中，上述各个方法附图所示的设备控制方法均是以结合本发明实施例中的一个附图为例示例性的说明的。具体实现时，上述各个方法附图所示的设备控制方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。

如图12所示，本发明实施例提供一种电子设备120，该电子设备120可以包括识别模块121和显示模块122。识别模块121，可以用于识别拍摄预览界面中显示的目标设备；显示模块122，可以用于在识别模块成功识别目标设备之后，在拍摄预览界面中，显示目标设备的操作引导信息，操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。

可选的，本发明实施例中，上述识别模块121可以包括获取子模块和确定子模块。获取子模块，可以用于响应于用户的第一输入，获取拍摄预览界面中的设备图像；确定子模块，可以用于在获取子模块获取的设备图像与第一预设图像匹配的情况下，将与第一预设图像对应的设备确定为目标设备。显示模块122，具体可以在确定子模块确定目标设备之后，在拍摄预览界面中，显示上述操作引导信息。

本发明实施例中，由于电子设备可以通过识别拍摄预览界面中的设备图像，确定目标设备，因此可以简化电子设备确定目标设备的过程。

可选的，本发明实施例中，结合上述图12，如图13所示，电子设备120还可以包括接收模块123和发送模块124。上述操作引导信息可以包括目标设备的操作菜单，操作菜单可以包括M个第一标识，每个第一标识可以用于指示目标设备中的一个功能，或可以用于指示一个多媒体流。接收模块123，可以用于在显示模块122在拍摄预览界面中，显示目标设备的操作引导信息之后，接收用户对M个第一标识中的目标标识的第二输入；发送模块124，可以用于响应于接收模块123接收的第二输入，向目标设备发送目标控制消息；其中，目标控制消息可以用于指示目标设备执行与目标标识对应的操作；M可以为正整数。

本发明实施例中，由于电子设备可以显示用于指示与其连接的目标设备中的功能或者用于指示多媒体流的M个第一标识，因此用户可以通过对电子设备显示的该M个标识中的目标标识的输入，触发电子设备向与其建立连接的目标设备发送相应指令，以使得该目标设备可以根据该目标控制消息执行与该目标标识对应的动作，即用户可以通过直接在电子设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行一系列操作之后才能触发目标设备执行某个动作。如此，可以简化操作目标设备的过程，提高操作目标设备的便捷性。

可选的，本发明实施例中，在每个第一标识用于指示目标设备中的一个功能的情况下，目标控制消息用于指示目标设备执行目标标识指示的功能；或者，在每个第一标识用于指示一个多媒体流的情况下，目标控制消息用于指示目标设备播放目标标识指示的多媒体流。

本发明实施例中，由于目标控制消息指示目标设备执行的动作(例如，指示目标设备执行一个功能，或者指示目标设备播放一个多媒体流)与目标标识指示的内容(例如，指示目标设备中的一个功能，或指示一个多媒体流)一致，因此可以提高用户通过电子设备中显示的目标标识触发目标设备执行相应动作的准确性，从而可以提高用户通过电子设备控制目标设备的准确性。

可选的，本发明实施例中，上述M个第一标识可以对应N个第二标识中的M个第二标识，N个第二标识可以为第一预设图像中的标识，N为正整数。其中，M个第二标识可以为根据历史使用频率，对N个第二标识排序后的标识；或者，M个第二标识可以为根据历史使用频率，从N个第二标识中确定的历史使用频率大于或等于频率阈值的标识；历史使用频率可以为用户历史触发N个第二标识指示的功能或多媒体流的频率。

本发明实施例中，一方面，由于电子设备可以在拍摄预览界面中显示对应于第一预设图像中的全部标识(即N个第二标识)的M个第一标识(M＝N)，且可以根据用户历史触发这些标识指示的功能或多媒体流的频率对这些标识(即N个第二标识)排序，因此，电子设备可以在显示对应于第一预设图像中的全部标识的基础上，将用户使用概率较高的功能或多媒体流对应的标识置顶显示，从而可以缩短用户在这些标识中查找常用标识的时间。另一方面，由于电子设备可以在拍摄预览界面中显示对应于第一预设图像中、用户使用频率较高的标识，因此可以缩短用户在这些标识中查找常用标识的时间，提高用户查找标识的快捷性，从而可以进一步提高人机交互性能。

可选的，本发明实施例中，上述操作引导信息可以包括目标设备的操作流程；显示模块122，具体可以用于在拍摄预览界面中的M个子区域，依次显示M个操作标识；其中，每个子区域对应目标设备的一个功能或一个多媒体流；电子设备依次显示M个操作标识的过程可以用于指示操作流程。

本发明实施例中，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，电子设备通过在拍摄预览界面中的M个子区域，依次显示M个操作标识的方式向用户展示目标设备的操作流程的方式更加形象，可操作性更强。如此可以降低操作目标设备的难度，提高人机交互性能，并且提升用户的体验。

可选的，本发明实施例中，上述显示模块122，还可以用于在显示操作流程之后，在满足目标条件的情况下，显示操作菜单。其中，目标条件可以包括以下任意一项：显示操作流程的过程结束、接收到用户的第三输入。

本发明实施例中，由于电子设备可以在操作引导信息包括目标设备的操作流程的之后，显示目标设备的操作菜单，从而用户不仅可以根据操作引导信息的指示直接在目标设备上输入，以操作目标设备，而且可以通过在电子设备上输入，以操作目标设备，因此可以提高操作目标设备的灵活性和便捷性，从而可以提高人机交互性能。

可选的，本发明实施例中，上述操作引导信息还可以包括至少一个搜索控件。其中，该至少一个搜索控件用于搜索内容；该至少一个搜索控件包括文本搜索控件、语音搜索控件和图像搜索控件中的至少一项。

本发明实施例中，一方面，由于电子设备可以根据用户通过搜索控件输入的搜索信息，显示与该搜索信息对应的内容，因此可以提高搜索内容的便捷性。另一方面，由于该搜索信息可以为文本、音频、或者图像的方式，因此可以扩大电子设备搜索内容的范围，提高电子设备搜索内容的灵活性。

可选的，本发明实施例中，上述接收模块123，还可以用于在显示模块122显示目标设备的操作引导信息之后，接收用户对至少一个搜索控件中的目标搜索控件的第四输入；显示模块122，还可以用于响应于接收模块123接收的第四输入，显示至少一个第三标识，或显示用于指示用户在目标设备中查找搜索信息的指引信息；其中，第四输入用于输入搜索信息；每个第三标识可以用于指示目标设备中与搜索信息相关的一个功能，或可以用于指示一个多媒体流。

本发明实施例中，一方面，由于电子设备可以在电子设备上显示搜索信息对应的内容的标识(例如上述第三标识)，因此用户可以对该标识输入，直接触发目标设备执行与该标识对应的动作，从而可以提高用户搜索内容的操作便捷性。另一方面，由于电子设备可以在电子设备上显示用于指示用户在目标设备中查找搜索信息对应的内容的指引信息，因此可以指示用户快速地在目标设备中查找到相关的内容。

可选的，本发明实施例中，上述接收模块123，还可以用于接收用户将目标图像拖动至拍摄预览界面的第五输入；显示模块122，还可以用于响应于接收模块接收的第五输入，显示指引信息，指引信息用于指示通过目标设备查找目标图像对应的功能或多媒体流的操作流程。

本发明实施例中，由于电子设备可以根据用户拖动至拍摄预览画面的图像，显示用于在目标设备中查找该图像对应的功能或多媒体流的操作流程，因此可以简化通过图片搜索内容的操作过程。

本发明实施例提供的电子设备120能够实现上述方法实施例所示的电子设备实现的各个过程，为避免重复，这里不再赘述。

本发明实施例提供一种电子设备，该电子设备可以识别拍摄预览界面中显示的目标设备；且在拍摄预览界面中，显示目标设备的操作引导信息，该操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。通过该方案，一方面，当操作引导信息包括目标设备的操作菜单时，由于用户可以通过直接在电子设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行操作以触发目标设备执行某个动作，因此可以简化操作目标设备的操作过程。另一方面，由于电子设备可以在相机预览界面(包括实时采集的目标设备的图像)显示目标设备的操作流程，即电子设备可以在实时采集的目标设备的图像上显示目标设备的操作流程，因此，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在电子设备采集的目标设备的图像上向用户展示目标设备的操作流程的方式更加形象，可操作性更强，从而可以操作目标设备的难度。如此，本发明实施例提供的设备控制方法可以简化操作设备的过程，降低操作设备的难度，提高操作设备的便捷性。

图14为实现本发明各个实施例的一种电子设备的硬件结构示意图。如图14所示，该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、电源111，以及图像捕获装置112等部件。本领域技术人员可以理解，图14中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、以及计步器等。

其中，处理单元104，用于识别拍摄预览界面中显示的目标设备；显示单元106，用于在处理单元104成功识别目标设备之后，在拍摄预览界面中，显示目标设备的操作引导信息，操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。

可以理解，本发明实施例中，上述电子设备的结构示意图(例如图12和图13)中的识别模块121可以通过上述处理单元110实现。上述电子设备的结构示意图(例如图12和图13)中的接收模块123可以通过上述用户输入单元107实现。上述电子设备的结构示意图(例如图12和图13)中的发送模块124可以通过上述射频单元101实现。

本发明实施例提供一种电子设备，该电子设备可以识别拍摄预览界面中显示的目标设备；且在拍摄预览界面中，显示目标设备的操作引导信息，该操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。通过该方案，一方面，当操作引导信息包括目标设备的操作菜单时，由于用户可以通过直接在电子设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行操作以触发目标设备执行某个动作，因此可以简化操作目标设备的操作过程。另一方面，由于电子设备可以在相机预览界面(包括实时采集的目标设备的图像)显示目标设备的操作流程，即电子设备可以在实时采集的目标设备的图像上显示目标设备的操作流程，因此，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在电子设备采集的目标设备的图像上向用户展示目标设备的操作流程的方式更加形象，可操作性更强，从而可以操作目标设备的难度。如此，本发明实施例提供的设备控制方法可以简化操作设备的过程，降低操作设备的难度，提高操作设备的便捷性。

应理解的是，本发明实施例中，射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。

输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(graphics processing unit，GPU)1041和麦克风1042和图像捕获装置112(如摄像头)、图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置112获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。

电子设备100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在电子设备100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板1071可覆盖在显示面板1061上，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图14中，触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元108为外部装置与电子设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元；可选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

电子设备100还可以包括给各个部件供电的电源111(比如电池)，可选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备100包括一些未示出的功能模块，在此不再赘述。

可选的，本发明实施例还提供一种电子设备，包括如图14所示的处理器110，存储器109，存储在存储器109上并可在处理器110上运行的计算机程序，该计算机程序被处理器110执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选的，本发明实施例还提供一种AR设备，包括处理器，存储器，存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选的，本发明实施例中，上述实施例中的电子设备可以为AR设备。具体的，当上述实施例中的电子设备(例如上述如图14所示的电子设备)为AR设备时，该AR设备可以包括上述电子设备中的全部或部分功能模块。当然，该AR设备还可以包括上述电子设备中未包括的功能模块。

可以理解，本发明实施例中，当上述实施例中的电子设备为AR设备时，该电子设备可以为集成有AR技术的电子设备。其中，AR技术是指实现现实场景和虚拟场景结合的一种技术。采用AR技术可以复原人类的视觉功能，从而使得人类可以通过AR技术体验现实场景和虚拟场景结合的感觉，进而使得人类更好地体验身临其境的感受。

上述AR设备中可以包括摄像头，从而AR设备可以在摄像头拍摄的画面的基础上结合虚拟画面进行展示和互动。例如，本发明实施例中，AR设备可以识别拍摄预览界面中显示的目标设备；且在拍摄预览界面中，显示目标设备的操作引导信息，该操作引导信息包括以下至少一项：目标设备的操作菜单、目标设备的操作流程。通过该方案，一方面，当操作引导信息包括目标设备的操作菜单时，由于用户可以通过直接在AR设备上输入，触发目标设备执行与用户的输入对应的动作；而无需用户再根据目标设备的纸质说明书，在目标设备上进行操作以触发目标设备执行某个动作，因此可以简化操作目标设备的操作过程。另一方面，由于AR设备可以在相机预览界面(包括实时采集的目标设备的图像)显示目标设备的操作流程，即AR设备可以在实时采集的目标设备的图像上显示目标设备的操作流程，因此，相比于传统通过纸质说明书，向用户展示在目标设备上操作目标设备的操作流程的方式，通过在AR设备采集的目标设备的图像上向用户展示目标设备的操作流程的方式更加形象，可操作性更强，从而可以操作目标设备的难度。如此，本发明实施例提供的设备控制方法可以简化操作设备的过程，降低操作设备的难度，提高操作设备的便捷性。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，该计算机可读存储介质可以包括只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (13)

1.一种设备控制方法，应用于电子设备，其特征在于，所述方法包括：

识别拍摄预览界面中显示的目标设备；

在所述拍摄预览界面中，显示所述目标设备的操作引导信息，所述操作引导信息包括以下至少一项：所述目标设备的操作菜单、所述目标设备的操作流程。

2.根据权利要求1所述的方法，其特征在于，所述识别拍摄预览界面中显示的目标设备，包括：

响应于用户的第一输入，获取所述拍摄预览界面中的设备图像；

在所述设备图像与第一预设图像匹配的情况下，将与所述第一预设图像对应的设备确定为所述目标设备。

3.根据权利要求1所述的方法，其特征在于，所述操作引导信息包括所述目标设备的操作菜单，所述操作菜单包括M个第一标识，每个第一标识用于指示所述目标设备中的一个功能，或用于指示一个多媒体流；

所述在所述拍摄预览界面中，显示所述目标设备的操作引导信息之后，所述方法还包括：

接收用户对所述M个第一标识中的目标标识的第二输入；

响应于所述第二输入，向所述目标设备发送目标控制消息，所述目标控制消息用于指示所述目标设备执行与所述目标标识对应的操作；

其中，M为正整数。

4.根据权利要求3所述的方法，其特征在于，在所述每个第一标识用于指示所述目标设备中的一个功能的情况下，所述目标控制消息用于指示所述目标设备执行所述目标标识指示的功能；

或者，

在所述每个第一标识用于指示一个多媒体流的情况下，所述目标控制消息用于指示所述目标设备播放所述目标标识指示的多媒体流。

5.根据权利要求3所述的方法，其特征在于，所述M个第一标识对应N个第二标识中的M个第二标识，所述N个第二标识为第一预设图像中的标识，N为正整数；

其中，所述M个第二标识为根据历史使用频率，对所述N个第二标识排序后的标识；或者，所述M个第二标识为根据历史使用频率，从所述N个第二标识中确定的历史使用频率大于或等于频率阈值的标识；所述历史使用频率为用户历史触发所述N个第二标识指示的功能或多媒体流的频率。

6.根据权利要求1所述的方法，其特征在于，所述操作引导信息包括所述目标设备的操作流程；

所述在所述拍摄预览界面中，显示所述目标设备的操作引导信息，包括：

在所述拍摄预览界面中的M个子区域，依次显示与每个子区域对应的操作标识，每个子区域对应所述目标设备的一个功能或一个多媒体流；

其中，在所有子区域中显示所述操作标识用于指示所述操作流程，M为正整数。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在显示所述操作流程之后，在满足目标条件的情况下，显示所述操作菜单；

其中，所述目标条件包括以下任意一项：显示操作流程的过程结束、接收到用户的第三输入。

8.根据权利要求1所述的方法，其特征在于，所述操作引导信息还包括至少一个搜索控件，所述至少一个搜索控件用于搜索内容；

其中，所述至少一个搜索控件包括文本搜索控件、语音搜索控件和图像搜索控件中的至少一项。

9.根据权利要求8所述的方法，其特征在于，在显示所述目标设备的操作引导信息之后，所述方法还包括：

接收用户对所述至少一个搜索控件中的目标搜索控件的第四输入，所述第四输入用于输入搜索信息；

响应于所述第四输入，显示至少一个第三标识，或显示用于指示用户在所述目标设备中查找所述搜索信息的指引信息；

其中，每个第三标识用于指示所述目标设备中与所述搜索信息相关的一个功能，或用于指示一个多媒体流。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户将目标图像拖动至拍摄预览界面的第五输入；

响应于所述第五输入，显示指引信息，所述指引信息用于指示通过所述目标设备查找所述目标图像对应的功能或多媒体流的操作流程。

11.一种电子设备，其特征在于，所述电子设备包括：识别模块和显示模块；

所述识别模块，用于识别所述拍摄预览界面中显示的目标设备；

所述显示模块，用于在所述识别模块成功识别所述目标设备之后，在所述拍摄预览界面中，显示所述目标设备的操作引导信息，所述操作引导信息包括以下至少一项：所述目标设备的操作菜单、所述目标设备的操作流程。

12.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至10中任一项所述的设备控制方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的设备控制方法的步骤。

Images