CN113687721A - 设备控制方法、装置、头戴显示设备及存储介质 - Google Patents

Abstract

本申请公开了一种设备控制方法、装置、头戴显示设备及存储介质，该设备控制方法应用于头戴显示设备，该设备控制方法包括：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备；显示与所述智能设备对应的虚拟控制界面；响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。本方法可以实现用户使用头戴显示设备时，能够利用头戴显示设备直接对智能设备进行控制，方便了用户对智能设备的控制。

Description

设备控制方法、装置、头戴显示设备及存储介质

技术领域

本申请涉及物联网技术领域，更具体地，涉及一种设备控制方法、装置、头戴显示设备及存储介质。

背景技术

随着科技的进步，虚拟现实(VR，Virtual Reality)、增强现实(AR，AugmentedReality)等技术已逐渐成为国内外研究的热点。基于虚拟现实和增强现实的头戴显示设备(例如AR眼镜等)也越来越多，人们可以利用头戴显示设备观看显示内容以及音频的播放，因此深受人们喜爱。相关技术中，人们在佩戴头戴显示设备观看内容时，存在不方便操作智能设备的问题，使用户的使用体验受到影响。

发明内容

鉴于上述问题，本申请提出了一种设备控制方法、装置、头戴显示设备及存储介质。

第一方面，本申请实施例提供了一种设备控制方法，应用于头戴显示设备，所述方法包括：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备；显示与所述智能设备对应的虚拟控制界面；响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

第二方面，本申请实施例提供了一种设备控制装置，应用于头戴显示设备，所述装置包括：模式控制模块、界面显示模块以及操作响应模块，其中，所述模式控制模块用于响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备；所述界面显示模块用于显示与所述智能设备对应的虚拟控制界面；所述操作响应模块用于响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

第三方面，本申请实施例提供了一种头戴显示设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的设备控制方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的设备控制方法。

本申请提供的方案，通过响应于家电控制模式的启动指令，获取与头戴显示设备连接的智能设备，显示与智能设备对应的虚拟控制界面，响应于基于虚拟控制界面对任一设备的控制操作，对该设备进行控制，从而可以实现用户使用头戴显示设备时，通过在启动家电控制模式的情况下，能够基于显示的智能设备对应的虚拟控制界面对智能设备进行控制，方便了用户对智能设备的控制，进而提升用户的使用体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的设备控制方法的一种应用环境示意图。

图2示出了本申请实施例提供的设备控制方法的另一种应用环境示意图。

图3示出了本申请实施例提供的设备控制方法的应用场景的示意图。

图4示出了根据本申请一个实施例的设备控制方法流程图。

图5示出了根据本申请另一个实施例的设备控制方法流程图。

图6示出了根据本申请又一个实施例的设备控制方法流程图。

图7示出了本申请又一个实施例提供的一种界面示意图。

图8示出了根据本申请又另一个实施例的设备控制方法流程图。

图9示出了本申请又另一个实施例提供的一种界面示意图。

图10示出了本申请又另一个实施例提供的另一种界面示意图。

图11示出了本申请又另一个实施例提供的又一种界面示意图。

图12示出了本申请又另一个实施例提供的再一种界面示意图。

图13示出了本申请又另一个实施例提供的一种应用场景的示意图。

图14示出了本申请又另一个实施例提供的显示效果示意图。

图15示出了根据本申请又再一个实施例的设备控制方法的一种流程图。

图16示出了根据本申请又再一个实施例的设备控制方法的另一种流程图。

图17示出了根据本申请一个实施例的设备控制装置的一种框图。

图18是本申请实施例的用于执行根据本申请实施例的设备控制方法的头戴显示设备的框图。

图19是本申请实施例的用于保存或者携带实现根据本申请实施例的设备控制方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着科技水平的进步，智能家居深入各个家庭中，由于其带来的便利性，深受众多家庭的喜爱。智能家居通过物联网技术将家中的各种智能设备(如空调、照明灯、冰箱、洗衣机等)连接到一起，提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种控制。其中，对于智能家居系统中的智能设备的控制，通常是用户直接对家居设备进行操作，或者通过移动终端对家居设备进行控制。

另外，头戴显示设备(例如AR眼镜等)也开始逐渐进入人们的生活。人们经常在使用头戴显示设备时，可能会沉浸入其显示的虚拟场景中，若用户需要对智能设备进行控制，则可能用户需要取下头戴显示设备，以对智能设备进行控制，这样的操作较为麻烦，给用户带来了不便。

针对上述问题，发明人提出了本申请实施例提供的设备控制方法、装置、头戴显示设备以及存储介质，可以用户使用头戴显示设备时，通过在启动家电控制模式的情况下，能够基于显示的智能设备对应的虚拟控制界面对智能设备进行控制，方便了用户对智能设备的控制，进而提升用户的使用体验。其中，具体的设备控制方法在后续的实施例中进行详细的说明。

为了便于详细说明本申请方案，下面先结合附图对本申请实施例中的一种应用环境进行介绍。

在一些实施方式中，请参阅图1，为本申请实施例提供的设备控制方法的一种应用环境示意图，如图1所示，该应用环境可以理解为本申请实施例的提供的一种设备控制系统10，该设备控制系统10包括：头戴显示设备100以及多个智能设备200(图1中仅示出2个)。其中，头戴显示设备100可以与其所处环境中的智能设备200连接，从而用户可以通过头戴显示设备100对智能设备进行控制。头戴显示设备100可以为智能眼镜、智能显示头盔等，智能设备200可以为智能空调、智能电视、智能冰箱、智能洗衣机、智能灯具等，在此不做限定。可选地，头戴显示设备可以为一体式的设备，也可以为通过外接移动终端的无线式设备；若头戴显示设备通过外接移动终端的无线式设备，则头戴显示设备的主要处理功能可能由外接的移动终端完成。

在另一些实施方式中，如图2所示，头戴显示设备100也可以与智能设备200间接进行连接，其中，头戴显示设备100可以与环境中的智能网关300连接，智能网关300与各个智能设备200连接。在需通过头戴显示设备100对智能设备进行控制时，可以通过头戴显示设备100向智能网关300发送控制指令，然后智能网关300将控制指令发送至智能设备200。

示例性地，请参阅图3，图3示出了本申请实施例提供的设备控制方法的应用场景的示意图，该设备控制方法可以应用于智能家居系统，在用户佩戴头戴显示设备100处于家庭环境时，头戴显示设备100可以与家庭环境中的空调201、电视202、灯具203以及摄像头204建立连接，从而用户可以基于头戴显示设备100对空调201、电视202、灯具203以及摄像头204进行控制。

下面将结合附图具体描述本申请的各实施例。

请参阅图4，图4示出了本申请一个实施例提供的设备控制方法的流程示意图。在具体的实施例中，所述设备控制方法应用于如图17所示的设备控制装置400以及配置有所述设备控制装置400的头戴显示设备100(图18)。下面将以头戴显示设备为例，说明本实施例的具体流程。下面将针对图4所示的流程进行详细的阐述，所述设备控制方法具体可以包括以下步骤：

步骤S110：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备。

在本申请实施例中，头戴显示设备在被用户佩戴使用时，可以检测用户输入的操作指令，并在检测到输入的用于开启家电控制模式的启动指令时，响应于该启动指令，获取与头戴显示设备连接的智能设备，以便显示相应的虚拟控制界面供用户控制智能设备。其中，家电控制模式指的是头用于控制智能设备的模式，该模式下，可以通过头戴显示设备对智能设备进行控制。

在一些实施方式中，头戴显示设备可以在被使用的过程中，检测用户输入的语音；在检测到用户输入的控制语音时，识别控制语音对应的语音指令；若该语音指令为用于开启家电控制模式的指令，则可以确定检测到以上启动指令，并响应该启动指令。可选地，头戴显示设备可以设置有音频采集装置，音频采集装置在采集到音频后，头戴显示设备可以识别采集到的音频，以确定是否检测到以上控制语音。在该实施方式中，用户可以通过语音控制的方式开启家电控制模式，以便在使用头戴显示设备进行相应的显示场景时，能够快捷地开启家电控制模式，对智能设备进行控制。

在另一些实施方式中，头戴显示设备可以在被使用的过程中，检测手势信息，在检测到手势信息时，识别出相应的手势操作；若识别出的手势操作为预设的用于启动家电控制模式的手势操作，则确定检测到以上启动指令，并响应该启动指令。可选地，头戴显示设备可以设置有图像采集装置，图像采集装置可以用于采集用户的手势图像，在采集到用户的手势图像后，头戴显示设备可以识别采集到的手势图像，以确定是否检测到以上手势操作。在该实施方式中，用户可以通过手势控制的方式开启家电控制模式，以便在使用头戴显示设备进行相应的显示场景时，能够快捷地开启家电控制模式，对智能设备进行控制。例如，用于开启家电控制模式的手势操作可以为：比出数字“3”的手势，从而用户将手摆出该手势，即可实现开启家电控制模式。

在又一些实施方式中，头戴显示设备可以在被使用的过程中，检测用户的头部姿态操作，在检测到用户的头部姿态为预设的用于开启家电控制模式的头部姿态操作时，可以确定检测到以上启动指令，并响应该启动指令。可选地，头戴显示设备可以设置有姿态传感器，姿态传感器可以检测用户的头部姿态，头戴显示设备根据姿态传感器采集的数据，确定是否检测到以上头部姿态操作。在该实施方式中，用户可以通过头部姿态的控制方式开启家电控制模式，以便在使用头戴显示设备进行相应的显示场景时，能够快捷地开启家电控制模式，对智能设备进行控制。例如，用于开启家电控制模式的头部姿态可以为：依次进行抬头、低头、左转头和右转头的头部姿态，从而用户进行该头部姿态的头部动作，即可实现开启家电控制模式。

当然，在本申请实施例中，头戴显示设备检测家电控制模式的启动指令的方式可以不做限定，也可以为其他方式。例如，头戴显示设备可以显示功能控制界面，功能控制界面中可以包括家电控制模式的设置选项，头戴显示设备检测到对该设置选项进行开启家电控制模式的操作时，确定检测到用于开启家电控制模式的启动指令。

在一些实施方式中，头戴显示设备获取与头戴显示设备连接的智能设备，可以是获取已经与头戴显示设备建立连接的智能设备。该实施方式中，头戴显示设备在历史开启家电控制模式的情况下，可以与用户想要控制的智能设备建立连接，在建立连接后，头戴显示设备处于与该智能设备的通信范围内，则可以直接与智能设备建立连接。也就是说，头戴显示设备开处于工作状态时，可以与建立连接的智能设备保持连接，从而头戴显示设备在开启家电控制模式时，可以获取这些与头戴显示设备连接的智能设备。

在该实施方式中，若头戴显示设备首次开启家电控制模式，则头戴显示设备可以响应于用于连接智能设备的连接操作，与智能设备建立连接。例如，头戴显示设备与智能设备通过wifi连接时，则可以响应于用户的密码验证操作，并在密码验证通过时，与智能设备建立连接。

在该实施方式中，头戴显示设备在非首次开启家电控制模式时，除了获取已与头戴显示设备建立连接的智能设备以外，也可以响应于用户添加智能设备的操作，与用户添加的智能设备建立连接。

在该实施方式中，若头戴显示设备与智能设备通过智能网关间接连接，即头戴显示设备与智能网关连接，智能设备与智能网关连接，该方式下，头戴显示设备可以从智能网关获取与智能网关直接连接的智能设备，以获取间接连接的智能设备。同样的，头戴显示设备可以响应于用户添加智能设备的操作，将智能设备与智能网关连接，从而实现添加可以控制的智能设备。

在一些实施方式中，头戴显示设备获取与其连接的智能设备，也可以是在每次开启家电控制模式的情况下，与智能设备建立连接。可选地，头戴显示设备与智能设备直接连接时，头戴显示设备可以广播连接消息，以便其通信范围内的智能设备进行连接；可选地，头戴显示设备通过智能网关与智能设备间接连接时，头戴显示设备可以在开启家电控制模式的情况下，与智能网关连接，从而可以与已构建的智能家居系统中的智能设备间接进行连接。

步骤S120：显示与所述智能设备对应的虚拟控制界面。

在本申请实施例中，头戴显示设备在获取与其连接的智能设备后，可以显示与智能设备对应的虚拟控制界面。其中，头戴显示设备显示的虚拟控制界面中可以包括与头戴显示设备连接的智能设备，以便用户获知当前可用控制的智能设备，并基于虚拟控制界面对想要控制的智能设备进行控制。

在一些实施方式中，头戴显示设备可以根据与其连接的智能设备，获取各个智能设备对应的虚拟控件的显示数据，再根据虚拟控件的内容数据，生成各个智能设备对应的虚拟控件，从而得到虚拟控制界面的显示数据，然后基于显示数据对虚拟控制界面进行显示。

可选地，若头戴显示设备为通过外接移动终端的无线式设备，则可以由移动终端根据以上内容数据，完成虚拟控制界面的渲染后，得到显示数据，并将显示数据传输至头戴显示设备，头戴显示设备再基于显示数据对虚拟控制界面进行显示。

在一些实施方式中，头戴显示设备显示的虚拟控制界面可以二维的界面，也可以为三维的界面。头戴显示设备可以基于虚拟现实，对虚拟控制界面进行显示；也可以基于增强现实，对虚拟控制界面进行显示，在此不做限定。可选地，头戴显示设备显示虚拟控制界面，可以是，头戴显示设备基于增强现实，将三维的控制界面叠加显示于显示场景中的目标位置处，从而提升虚拟控制界面的显示效果。

步骤S130：响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

在本申请实施例中，头戴显示设备在显示虚拟控制界面后，可以检测用户基于虚拟控制界面进行操作；在检测到对目标设备的控制操作时，可以响应于该控制操作，对目标设备进行相应的控制。

在一些实施方式中，基于虚拟控制界面对目标设备的控制操作，可以是在虚拟控制界面中对目标设备的操作。可选地，头戴显示设备在显示虚拟控制界面后，可以检测用户的手势操作，若检测到手势操作为对虚拟控制界面中目标设备的控制操作，则可以响应于该控制操作，对目标设备进行控制。当然，对智能设备的控制操作也可以为语音控制的操作、未在虚拟控制界面中进行的手势控制操作、头部姿态的控制操作等，具体的控制操作可以不做限定。

本申请实施例提供的设备控制方法，头戴显示设备在响应于家电控制模式的启动指令，开启家电控制模式时，可以获取与其连接的智能设备，并显示对应的虚拟控制界面，从而用户可以基于虚拟控制界面对智能设备进行控制，并且检测到对目标设备的控制操作时，响应于该控制操作，对该目标设备进行控制，方便了用户对智能设备的控制，进而提升用户的使用体验。

请参阅图5，图5示出了本申请另一个实施例提供的设备控制方法的流程示意图。该设备控制方法应用于上述头戴显示设备，下面将针对图5所示的流程进行详细的阐述，所述设备控制方法具体可以包括以下步骤：

步骤S210：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接过的智能设备作为第一智能设备。

在本申请实施例中，头戴显示设备在响应于家电控制模式，获取与其连接的智能设备时，并与相应的智能设备建立连接，以得到与其连接的智能设备。其中，头戴显示设备可以获取与头戴显示设备连接过的智能设备，并将连接过的智能设备作为第一智能设备。

在一些实施方式中，若头戴显示设备与智能设备直接连接，头戴显示设备可以在历史开启家电控制模式的情况下，存储与其连接过的智能设备，以便在重新开启家电控制模式时，能够获取连接过的智能设备，以便与连接过的智能设备建立连接，从而可以基于头戴显示设备对连接过的智能设备进行控制。

步骤S220：基于所述头戴显示设备与所述第一智能设备之间的历史连接信息，与所述第一智能设备建立连接，并将所述第一智能设备作为与所述头戴显示设备连接的智能设备。

在本申请实施例中，头戴显示设备在获取到与其连接过的第一智能设备后，则可以获取头戴显示设备与第一智能设备之间的历史连接信息，然后基于历史连接消息与第一智能设备建立连接。该历史连接消息可以指无线通信的设备标识、配对连接的密码等，在此不做限定。

在一些实施方式中，头戴显示设备中可以存储有与其连接过的智能设备进行连接时的连接消息，也就是说，头戴显示设备在存储与其连接过的智能设备时，还可以存储这些智能设备对应的历史连接信息。可选地，与头戴显示设备连接过的智能设备以及历史连接消息可以以对应表的形式进行存储，例如，如下表所示：

设备1	ID1	配对连接密码
			设备2	ID2	配对连接密码

在一些实施方式中，若头戴显示设备在开启家电控制模式后，也可以响应于用户添加智能设备的操作，与用户添加的智能设备建立连接。在与新的智能设备建立连接后，头戴显示设备可以对存储的建立过连接的智能设备及其对应的连接信息进行更新，以将新的智能设备及其对应的连接信息存储于建立过连接的智能设备和历史连接信息中。

步骤S230：显示与所述智能设备对应的虚拟控制界面。

步骤S240：响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

在本申请实施例中，步骤S230以及步骤S240可以参阅其他实施例的内容，在此不再赘述。

本申请实施例提供的设备控制方法，头戴显示设备在响应于家电控制模式的启动指令，通过存储的连接过的智能设备及其历史连接消息，与连接过的智能设备建立连接，然后显示与智能设备对应的虚拟控制界面，从而用户可以基于虚拟控制界面对智能设备进行控制，方便了用户对智能设备的控制，进而提升用户的使用体验。并且，在开启家电控制模式时，才与智能设备建立连接，可以降低头戴显示设备与智能设备之间通信所带来的功耗。

请参阅图6，图6示出了本申请又一个实施例提供的设备控制方法的流程示意图。该设备控制方法应用于上述头戴显示设备，下面将针对图6所示的流程进行详细的阐述，所述设备控制方法具体可以包括以下步骤：

步骤S310：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接过的智能设备作为第一智能设备。

步骤S320：基于所述头戴显示设备与所述第一智能设备之间的历史连接信息，与所述第一智能设备建立连接，并将所述第一智能设备作为与所述头戴显示设备连接的智能设备。

在本申请实施例中，步骤S310以及步骤S320可以参阅前述实施例的内容，在此不再赘述。

步骤S330：获取所述头戴显示设备的视野范围内的智能设备。

在本申请实施例中，头戴显示设备可以在响应于家电控制模式的启动指令，与建立过连接的智能设备连接以外，还可以添加新的智能设备，与新的智能设备建立连接。其中，头戴显示设备可以获取其视野范围内的智能设备，以便用户添加视野范围内未建立连接的智能设备。

在一些实施方式中，头戴显示设备可以设置有图像采集装置，例如头戴显示设备为无线AR眼镜，无线AR眼镜可以设置有用于实现增强现实的显示的图像采集装置。头戴显示设备的图像采集装置可以采集其视野范围内的场景图像；可以根据图像采集装置采集的场景图像，识别当前视野范围内存在的智能设备。

步骤S340：若所述头戴显示设备的视野范围内的智能设备中存在未与所述头戴显示设备连接过的智能设备，将所述未与所述头戴显示设备连接过的智能设备作为第二智能设备，输出提示信息，所述提示信息用于提示与所述第二智能设备连接。

在本申请实施例中，头戴显示设备在识别出视野范围内存在的智能设备后，可以将视野范围内的智能设备与连接过的智能设备进行比较；根据比较结果，确定头戴显示设备的视野范围内的智能设备中是否存在未与头戴显示设备连接过的智能设备；若存在未与头戴显示设备连接过的智能设备，则将未与所述头戴显示设备连接过的智能设备作为第二智能设备。在得到第二智能设备后，可以输出提示信息，以提示与第二智能设备进行连接。

在一些实施方式中，头戴显示设备根据图像采集装置采集的场景图像，将场景图像中识别出的智能设备的图像与连接过的智能设备的图像进行比对，若识别出的智能设备的图像中存在未连接过的智能设备的图像，则表示存在未与头戴显示设备连接过的智能设备。另外，头戴显示设备可以将未连接过的智能设备的图像作为目标设备图像，通过从服务器查询未连接过的目标设备图像对应的设备，从而得到视野范围内未连接过的智能设备。

示例性地，请参阅图7，头戴显示设备的视野范围内出现设备F时，通过图像采集装置采集图像，根据图像确定出存在未连接过的该设备后，再通过查询得到该设备为设备F，从而头戴显示设备可以显示提示界面A1，以提示用户连接家居F设备。

步骤S350：响应于基于所述提示信息的设备连接操作，与所述第二智能设备进行连接，并将所述第二智能设备作为与所述头戴显示设备连接的智能设备。

在本申请实施例中，头戴显示设备在显示提示信息后，可以检测用户输入的操作，在检测到基于提示信息输入的设备连接操作时，可以响应于基于提示信息的操作，与第二智能设备进行连接，并将第二智能设备作为与头戴显示设备连接的智能设备。

在一些实施方式中，头戴显示设备响应于基于提示信息的设备连接操作，获取输入的目标连接信息，然后基于目标连接信息，与第二智能设备进行连接。其中，目标连接信息可以为头戴显示设备与第二智能设备之间进行配对连接所使用的信息，例如，可以为配对连接密码等。

示例性地，请再次参阅图7，头戴显示设备显示的提示信息为“是否连接家电F设备”，并且提示了相应的输入操作，即“Yes(点头)”以及“No(摇头)”。头戴显示设备在检测到用户的摇头操作后，可以继续检测用户输入的目标连接消息，然后基于目标连接消息与F设备建立连接。

步骤S360：显示与所述智能设备对应的虚拟控制界面。

步骤S370：响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

本申请实施例提供的设备控制方法，头戴显示设备在响应于家电控制模式的启动指令，显示与连接的智能设备对应的控制界面之前，通过存储的连接过的智能设备及其历史连接消息，与连接过的智能设备建立连接，然后显示与智能设备对应的虚拟控制界面，从而用户可以基于虚拟控制界面对智能设备进行控制，方便了用户对智能设备的控制，进而提升用户的使用体验。并且，在开启家电控制模式时，才与智能设备建立连接，可以降低头戴显示设备与智能设备之间通信所带来的功耗。另外，还可以针对视野范围内未连接过的智能设备输出提示信息，提示用户连接智能设备，以便用户对视野范围内的设备进行控制。

请参阅图8，图8示出了本申请再一个实施例提供的设备控制方法的流程示意图。该设备控制方法应用于上述头戴显示设备，下面将针对图8所示的流程进行详细的阐述，所述设备控制方法具体可以包括以下步骤：

步骤S410：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备。

在一些实施方式中，在头戴显示设备处于工作状态的情况下，检测到家电控制模式的启动指令时，若是首次开启家电控制模式，头戴显示设备还可以输出家电控制模式的教程信息，以指导用户使用家电控制模式。其中，教程信息可以包括交互操作的引导内容，例如如何连接智能设备、如何控制智能设备、如何新增智能设备、如何删除智能设备等。教程信息可以以视频教学、动画教学、语音教学等方式进行输出，在此不做限定。

可选地，头戴显示设备在显示教程信息的过程中，可以定义各种对智能设备进行控制的操作。例如，请同时参阅图9及图10，头戴显示设备可以显示设置界面A2，设置界面中包括手势控制、姿态控制、语音控制等多个设置选项；在检测到对姿态控制设置的选项的选择操作后，可以显示姿态控制设置的界面A3，以设置头部姿态的控制操作。通过该方式，可以实现用户自定义控制操作，满足用户的个性化需求。

步骤S420：显示与所述智能设备对应的虚拟控制界面，所述控制界面包括所述智能设备对应的控件。

在本申请实施例中，控制界面中包括以上连接的智能设备对应的控件。头戴显示设备在显示与智能设备对应的虚拟控制界面时，可以获取各个智能设备对应的控件的显示数据，然后基于控件的显示数据，再根据控件的内容数据，生成各个智能设备对应的虚拟控件，从而得到虚拟控制界面的显示数据，然后基于显示数据对虚拟控制界面进行显示。

在一些实施方式中，控件可以为智能设备的设备图标，例如，请参阅图11，头戴显示设备显示的虚拟控制界面A4中包括设备1、设备2、设备3、设备4以及设备5对应的图标。可选地，头戴显示设备可以从服务器获取各个智能设备的图标，以便生成和显示智能设备的图标，方便用户辨认各个智能设备，例如，智能设备为空调，则显示与空调的图形所匹配的图标，又例如，智能设备为智能电视，则显示与智能电视的图像匹配的图标。

步骤S430：响应于所述虚拟控制界面中的针对目标设备的控件的触发操作，将所述目标设备对应的设备状态界面进行显示。

在本申请实施例中，头戴显示设备在显示包括智能设备的控件的虚拟控制界面后，可以响应于虚拟控制界面中的针对目标设备的控件的触发操作，将目标设备对应的设备状态界面进行显示，以便用户基于设备状态界面对目标设备进行控制。其中，设备状态界面可以包括智能设备的设备状态、当前控制的设备参数、可进行的控制操作等。例如，请参阅图12，目标设备为家电A，则头戴显示设备可以显示家电A对应的设备状态界面A5，以供用户基于设备状态界面A5进行音量调节等控制功能。

在一些实施方式中，触发针对目标设备的控件的触发操作可以是，通过语音控制的方式，例如检测到语音输入“打开A家电”时，确定检测到针对A家电的控件的触发操作，显示与A家电对应的设备状态界面；也可以是，在检测到用户通过手势选取目标设备的控件时，显示与目标设备对应的设备状态界面；还可以是，若通过图像采集装置采集的图像，确定头戴显示设备正对目标设备的时长达到预设时长，显示与目标设备对应的设备状态界面，例如，确定出头戴显示设备正对A家电的时长达到5秒，表示用户直视A家电的时长达到5秒，则可以显示A家电对应的设备状态界面。

在一些实施方式中，头戴显示设备将设备状态界面进行显示，包括：获取目标设备相对头戴显示设备的空间位置；基于空间位置，将设备状态界面叠加显示于目标设备。该实施方式中，头戴显示设备可以预先通过构建地图的方式，获取目标设备在现实场景中的空间位置，得到目标设备相对头戴显示设备的空间位置；基于空间位置，以及设备状态界面的内容数据，生成设备状态界面，然后将设备状态界面叠加显示于目标设备，从而可以实现设备状态界面叠加显示于目标设备，达到AR的显示效果，提示了显示效果的同时，也为用户控制目标设备时提供了参考信息。

示例性地，请同时参阅图13及图14，在智能家居设备的应用场景中，用户佩戴头戴显示设备100正对空调201时，可以将空调201的设备状态界面A6叠加显示于空调上，从而可以方便用户基于设备状态界面A6对空调201进行控制。其中，图14仅示出了空调部分的显示效果。

步骤S440：响应于基于所述设备状态界面进行的控制操作，对所述目标设备进行控制。

在本申请实施例中，头戴显示设备在显示基于设备状态界面之后，可以在检测到基于设备状态界面进行的控制操作时，响应于该控制操作，对目标设备进行控制。可选地，该控制操作包括：预设手势操作、预设头部姿态对应的操作、或者针对设备状态界面中的控制控件的操作。可以理解地，实际的使用场景中，存在用户不方便手势操作、环境声音嘈杂、用户头部不方便做动作等情况，因此可以通过多种操作，实现用户对智能设备的控制，提升用户体验。

在一些实施方式中，头戴显示设备也可以基于相应的规则确定设备控制的方式，然后根据确定的设备控制方式，采集用户行为信息，以检测用户的控制操作。可选地，若确定的设备控制方式为语音控制方式，则采集语音信息；若确定的设备控制方式为手势控制方式，则采集手势信息；若确定的设备控制方式为头部姿态控制的方式，则采集头部姿态信息。

可选地，头戴显示设备可以获取用户的手部图像；若基于手部图像确定出用户的手部持有物体，则进一步检测环境的噪声的音量是否大于预设音量；若大于预设音量，则将语音控制方式作为确定的设备控制方式；若不大于预设音量，则将语音控制方式或头部姿态控制的方式作为确定的设备控制方式，当然，头戴显示设备还可以根据当前的使用场景，确定是否适合头部姿态的控制方式，若当前不适合头部姿态的控制方式，则可以将语音控制方式作为确定的设备控制方式。例如，在一些AR显示的应用场景下，用户头部姿态发生变化，则显示内容容易变化，则该场景不适合头部姿态控制。

本申请实施例提供的设备控制方法，头戴显示设备在响应于家电控制模式的启动指令，开启家电控制模式时，可以获取与其连接的智能设备，并显示包括智能设备的控件的虚拟控制界面，在检测到目标设备的控件的触发操作，将目标设备的设备状态界面进行显示，以供用户基于设备状态对目标设备进行控制，方便了用户对智能设备的控制，进而提升用户的使用体验。

请参阅图15，图15示出了本申请又另一个实施例提供的设备控制方法的流程示意图。该设备控制方法应用于上述头戴显示设备，下面将针对图15所示的流程进行详细的阐述，所述设备控制方法具体可以包括以下步骤：

步骤S510：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备。

步骤S520：显示与所述智能设备对应的虚拟控制界面。

在本申请实施例中，步骤S510以及步骤S520可以参阅其他实施例的内容，在此不再赘述。

步骤S530：在满足预设隐藏条件时，将所述虚拟控制界面进行隐藏。

在本申请实施例中，头戴显示设备在显示与智能设备对应的虚拟控制界面后，还可以在一些情况下，将虚拟控制界面进行隐藏，以避免用户使用头戴显示设备进行显示应用场景的内容(例如玩游戏等)时受到影响。

在一些实施方式中，以上预设隐藏条件可以包括：预设时长内未接收到针对所述智能设备的控制操作。可以理解地，若预设时长内未接收到针对智能设备的控制操作，则表示用户当前不需要对智能设备进行控制，此时可以将虚拟控制界面进行隐藏，以避免用户正常使用头大显示设备。

在另一些实施方式中，以上预设隐藏条件可以包括：头戴显示设备用于显示预设应用场景的内容。其中，预设应用场景可以为需要显示其他虚拟内容的场景，例如游戏场景。可以理解地，若头戴显示设备用于显示预设应用场景的内容，若继续显示虚拟控制界面容易对用户使用造成影响，因此可以将虚拟控制界面进行隐藏。在该方式下，头戴显示设备也可以在检测到语音控制的操作、头部姿态的控制操作时，对智能设备进行相应的控制，从而在不影响用户使用头戴显示设备进行预设应用场景的情况下，完成对智能设备的控制。

当然，预设隐藏条件可以为以上两种实施方式的条件中的任一种满足时，对虚拟控制界面进行隐藏。预设隐藏条件的具体条件可以不做限定，例如也可以是检测到界面隐藏指令时，将虚拟控制界面进行隐藏，以满足用户主动需求隐藏虚拟控制界面的需求。

步骤S540：响应于用于调用所述虚拟控制界面的调用指令，将所述虚拟控制界面重新进行显示。

在本申请实施例中，若头戴显示设备检测到重新调用虚拟控制界面的调用指令，则可以将虚拟控制界面重新进行显示，以便用于基于虚拟控制界面对智能设备进行控制。可选地，头戴显示设备可以在检测到预设的语音控制指令、手势操作、头部姿态操作等操作指令时，将虚拟控制界面重新进行显示。

步骤S550：响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

在本申请实施例中，步骤S550可以参阅其他实施例的内容，在此不再赘述。

需要说明的是，步骤S530以及步骤S540与步骤S550的执行顺序可以不做限定，也就是说，头戴显示设备在显示虚拟控制界面后，可以对虚拟控制界面进行隐藏，再进行显示后，再检测到对目标设备的控制操作，响应控制操作，对目标设备进行控制；也可以是头戴显示设备在显示虚拟控制界面后，检测到对目标设备的控制操作，响应控制操作，对目标设备进行控制，再对虚拟控制界面进行隐藏，以及重新显示虚拟控制界面，以便用户进行二次的控制操作。

在一些实施方式中，以上各个实施例的内容可以结合进行实施，例如，在智能家居场景中，请参阅图16，图16示出了本申请实施例提供的设备控制方法的另一流程图，在响应家电控制模式的启动指令，开启家电控制模式后，可以判断是否第一次使用家电控制模式；若是第一次使用家电控制模式，则可以进入新手教程模式，以输出教程信息，展示视频教程，然后连接新家电，完成与新家电的连接；若不是第一次使用家电控制模式，则显示已连接的家电的虚拟控制界面，并查找视野范围内未连接的家电；若存在视野范围内未连接的家电，则提示是否连接新家电，并根据用户操作连接新家电，完成与新家电的连接；在完成新家电的连接后，可以将新家电显示于虚拟控制界面，然后，用户可以通过头部姿态等控制操作对设备进行控制。

本申请实施例提供的设备控制方法，头戴显示设备在响应于家电控制模式的启动指令，开启家电控制模式时，可以获取与其连接的智能设备，并显示对应的虚拟控制界面，以供用户基于虚拟控制界面对目标设备进行控制，方便了用户对智能设备的控制，进而提升用户的使用体验。另外，还可以对虚拟控制界面进行隐藏，以减少对用户正常使用头戴显示设备观看内容的影响。

请参阅图17，其示出了本申请实施例提供的一种设备控制装置400的结构框图。该设备控制装置400应用上述的头戴显示设备，该设备控制装置400包括：模式控制模块410、界面显示模块420以及操作响应模块430，其中，所述模式控制模块410用于响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备；所述界面显示模块420用于显示与所述智能设备对应的虚拟控制界面；所述操作响应模块430用于响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

在一些实施方式中，模式控制模块410可以用于：响应于家电控制模式的启动指令，获取与所述头戴显示设备连接过的智能设备作为第一智能设备；基于所述头戴显示设备与所述第一智能设备之间的历史连接信息，与所述第一智能设备建立连接，并将所述第一智能设备作为与所述头戴显示设备连接的智能设备。

在一种可能的实施方式中，模式控制模块410还可以用于：获取所述头戴显示设备的视野范围内的智能设备；若所述头戴显示设备的视野范围内的智能设备中存在未与所述头戴显示设备连接过的智能设备，将所述未与所述头戴显示设备连接过的智能设备作为第二智能设备，输出提示信息，所述提示信息用于提示与所述第二智能设备连接；响应于基于所述提示信息的设备连接操作，与所述第二智能设备进行连接，并将所述第二智能设备作为与所述头戴显示设备连接的智能设备。

可选地，模式控制模块410响应于基于所述提示信息的设备连接操作，与所述第二智能设备进行连接可以包括：响应于基于所述提示信息的设备连接操作，获取输入的目标连接信息；基于所述目标连接信息，与所述第二智能设备进行连接。

在一些实施方式中，所述控制界面包括所述智能设备对应的控件。操作响应模块430可以用于：响应于所述虚拟控制界面中的针对目标设备的控件的触发操作，将所述目标设备对应的设备状态界面进行显示；响应于基于所述设备状态界面进行的控制操作，对所述目标设备进行控制。

在一种可能的实施方式中，操作响应模块430将所述设备状态界面进行显示，可以包括：获取所述目标设备相对所述头戴显示设备的空间位置；基于所述空间位置，将所述设备状态界面叠加显示于所述目标设备。

在一种可能的实施方式中，所述控制操作包括：预设手势操作、预设头部姿态对应的操作、或者针对所述设备状态界面中的控制控件的操作。

在一些实施方式中，该设备控制装置400还可以包括：界面隐藏模块以及界面调用模块。界面隐藏模块用于在所述显示与所述智能设备对应的虚拟控制界面之后，在满足预设隐藏条件时，将所述虚拟控制界面进行隐藏；界面调用模块用于响应于用于调用所述虚拟控制界面的调用指令，将所述虚拟控制界面重新进行显示。

在一些实施方式中，所述预设隐藏条件包括：

预设时长内未接收到针对所述智能设备的控制操作；或者

所述头戴显示设备用于显示预设应用场景的内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请提供的方案，

请参考图18，其示出了本申请实施例提供的一种头戴显示设备的结构框图。该头戴显示设备100可以是智能眼镜、智能显示头盔等能够运行应用程序的头戴式的显示设备。本申请中的头戴显示设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个头戴显示设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行头戴显示设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储头戴显示设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图19，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种设备控制方法，其特征在于，应用于头戴显示设备，所述方法包括：

响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备；

显示与所述智能设备对应的虚拟控制界面；

响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

2.根据权利要求1所述的方法，其特征在于，所述响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备，包括：

响应于家电控制模式的启动指令，获取与所述头戴显示设备连接过的智能设备作为第一智能设备；

基于所述头戴显示设备与所述第一智能设备之间的历史连接信息，与所述第一智能设备建立连接，并将所述第一智能设备作为与所述头戴显示设备连接的智能设备。

3.根据权利要求2所述的方法，其特征在于，所述响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备，还包括：

获取所述头戴显示设备的视野范围内的智能设备；

若所述头戴显示设备的视野范围内的智能设备中存在未与所述头戴显示设备连接过的智能设备，将所述未与所述头戴显示设备连接过的智能设备作为第二智能设备，输出提示信息，所述提示信息用于提示与所述第二智能设备连接；

响应于基于所述提示信息的设备连接操作，与所述第二智能设备进行连接，并将所述第二智能设备作为与所述头戴显示设备连接的智能设备。

4.根据权利要求3所述的方法，其特征在于，所述响应于基于所述提示信息的设备连接操作，与所述第二智能设备进行连接，包括：

响应于基于所述提示信息的设备连接操作，获取输入的目标连接信息；

基于所述目标连接信息，与所述第二智能设备进行连接。

5.根据权利要求1所述的方法，其特征在于，所述控制界面包括所述智能设备对应的控件，所述响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，包括：

响应于所述虚拟控制界面中的针对目标设备的控件的触发操作，将所述目标设备对应的设备状态界面进行显示；

响应于基于所述设备状态界面进行的控制操作，对所述目标设备进行控制。

6.根据权利要求5所述的方法，其特征在于，所述将所述设备状态界面进行显示，包括：

获取所述目标设备相对所述头戴显示设备的空间位置；

基于所述空间位置，将所述设备状态界面叠加显示于所述目标设备。

7.根据权利要求5所述的方法，其特征在于，所述控制操作包括：预设手势操作、预设头部姿态对应的操作、或者针对所述设备状态界面中的控制控件的操作。

8.根据权利要求1-7任一项所述的方法，其特征在于，在所述显示与所述智能设备对应的虚拟控制界面之后，所述方法还包括：

在满足预设隐藏条件时，将所述虚拟控制界面进行隐藏；

响应于用于调用所述虚拟控制界面的调用指令，将所述虚拟控制界面重新进行显示。

9.根据权利要求8所述的方法，其特征在于，所述预设隐藏条件包括：

预设时长内未接收到针对所述智能设备的控制操作；或者

所述头戴显示设备用于显示预设应用场景的内容。

10.一种设备控制装置，其特征在于，应用于头戴显示设备，所述装置包括：模式控制模块、界面显示模块以及操作响应模块，其中，

所述模式控制模块用于响应于家电控制模式的启动指令，获取与所述头戴显示设备连接的智能设备；

所述界面显示模块用于显示与所述智能设备对应的虚拟控制界面；

所述操作响应模块用于响应于基于所述虚拟控制界面对目标设备的控制操作，对所述目标设备进行控制，所述目标设备为所述智能设备中的任一设备。

11.一种头戴显示设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。

Images