CN110471296B - 设备控制方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种设备控制方法、装置、系统、电子设备及存储介质。该方法包括：获取包含指示标志与至少一个被控设备的输入图像；根据输入图像，确定目标被控设备及目标被控设备对应的控制指令；向目标被控设备发送控制指令，以指示目标被控设备根据控制指令执行控制指令对应的预设操作。本申请通过识别包含指示标志和被控设备的图像，实现对被控设备的控制，使得用户可以通过指示标志实现对不同被控设备的设备，提高了设备控制效率，降低了用户学习成本。

Description

设备控制方法、装置、系统、电子设备及存储介质

技术领域

本申请实施例涉及智能家居技术领域，更具体地，涉及一种设备控制方法、装置、系统、电子设备及存储介质。

背景技术

随着智能家居的快速发展和普及，智能产品使用的越来越广泛，用户家中的智能产品也越来越多。目前一个家庭普遍有多个家居设备，每个家居设备都有自己的开关和控制选项，为了控制家中多样化的家居设备，用户需要付出较大的学习成本，因此如何更便捷的控制家中的每一个家居设备，无需去区分每一个按钮的位置和每一个操作所对应产生的结果，是当下亟需解决的问题。

发明内容

本申请实施例提供一种设备控制方法、装置、系统、电子设备及存储介质，可以提高设备控制效率，提升用户体验。

第一方面，本申请实施例提供了一种设备控制方法，该设备控制方法包括：获取包含指示标志与至少一个被控设备的输入图像；根据所述输入图像，确定目标被控设备及所述目标被控设备对应的控制指令；向所述目标被控设备发送所述控制指令，以指示所述目标被控设备根据所述控制指令执行所述控制指令对应的预设操作。

第二方面,本申请实施例提供了一种设备控制装置，该设备控制装置包括：获取模块，用于获取包含的指定身体部位与多个被控设备的输入图像；确定模块，用于根据所述输入图像，从多个所述被控设备中确定目标被控设备及所述目标被控设备对应的控制指令；控制模块，用于向所述目标被控设备发送所述控制指令，以指示所述目标被控设备根据所述控制指令执行所述控制指令对应的预设操作。

第三方面，本申请实施例提供了一种设备控制系统，该设备控制系统包括网关、被控设备以及图像采集设备；所述图像采集设备获取包含指示标志与至少一个所述被控设备的输入图像；所述图像采集设备根据所述输入图像，确定目标被控设备及所述目标被控设备对应的控制指令，并发送至所述网关；所述网关向所述目标被控设备发送所述控制指令。

第四方面，本申请实施例提供了一种设备控制系统，该设备控制系统包括服务器、被控设备以及图像采集设备；所述图像采集设备获取包含指示标志与多个所述被控设备的输入图像，并发送至所述服务器；所述服务器根据所述输入图像，确定目标被控设备及所述目标被控设备对应的控制指令，并发送至所述图像采集设备；所述图像采集设备向所述目标被控设备发送所述控制指令，以指示所述目标被控设备根据所述控制指令执行所述控制指令对应的预设操作。

第五方面，本申请实施例提供了一种电子设备，其包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的设备控制方法的步骤。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的设备控制方法的步骤。

本申请实施例提供的设备控制方法、装置、系统、电子设备及计算机可读存储介质，通过获取包含指示标志与至少一个被控设备的输入图像，然后根据输入图像，确定目标被控设备及目标被控设备对应的控制指令，最后向目标被控设备发送控制指令，以指示目标被控设备根据控制指令执行控制指令对应的预设操作。由此，本申请通过识别包含指示标志和被控设备的图像，实现对被控设备的控制，不仅支持远程控制，而且使得用户可以通过指示标志实现对不同被控设备的设备，无需用户记住每个被控设备的开关和各种复杂控制选项，提高了设备控制效率，降低了用户学习成本，提升了用户使用体验。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例及附图，都属于本发明保护的范围。

图1示出了一种适用于本申请实施例的应用环境示意图；

图2示出了本申请一个实施例提供的设备控制方法的方法流程图；

图3示出了本申请另一个实施例提供的设备控制方法的方法流程图；

图4示出了本申请实施例提供的指示标志指向至少一个被控设备的场景示意图；

图5示出了本申请另一个实施例提供的根据多个第一手势确定目标被控设备的方法流程图；

图6示出了本申请另一个实施例提供的根据第二手势以及目标被控设备确定目标被控设备对应的控制指令的方法流程图；

图7示出了本申请又一个实施例提供的设备控制方法的方法流程图；

图8示出了本申请实施例提供的设备控制方法中唤醒手势控制模式的方法流程图；

图9示出了本申请实施例提供的设备控制装置的模块框图；

图10示出了本申请实施例用于执行根据本申请实施例的设备控制方法的电子设备的硬件结构框图；

图11示出了本申请实施例用于执行根据本申请实施例的设备控制方法的计算机可读存储介质的模块框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处描述的具体实施例仅用于解释本申请，并不用于限定本申请。

随着智能家居的普及和发展，智能家居产品越来越丰富且多样化，不同智能家居产品的开关和控制选项不一。例如一些智能家居产品上设置有物理按键，用户可以通过触摸或按压家居设备上的物理按钮来控制设备，或是通过遥控器来控制设备，还有一些智能家居产品可以通过图像识别来获取控制指令，使得用户通过记忆或学习固定的手势如“1、2、3、握拳”、动作等来控制设备。

随着用户家中家居设备的数量和种类的不断增加，用户为了实现对不同家居设备的控制，需要主动去寻找设备的物理按键或可控制设备的遥控器，或需要记忆和学习每个家居设备的控制操作，用户体验不佳，因此如何更便捷地控制家中的每个家居设备，而无需区分不同家居设备每个按键的位置和每个功能的触发方式，是目前亟需解决的问题。

基于上述问题，发明人发现目前随着深度学习的快速发展，图像识别技术已经取得了长足的进步，可以稳定有效地识别各种环境，并检测出图像中角度不同、大小不一的各种物体，因此发明人考虑可以将图像识别应用于控制智能设备，降低对遥控器的依赖以及为控制各种家居设备所需付出的学习成本。

发明人研究了目前设备控制的困难点，更是综合考虑实际场景的使用需求，提出了本申请实施例的设备控制方法、装置、系统、电子设备及存储介质。

为了更好理解本申请实施例提供的一种设备控制方法、装置、系统、电子设备及存储介质，下面先对适用于本申请实施例的应用环境进行描述。

请参阅图1，图1为适用于本申请实施例的一种应用环境示意图。本申请实施例提供的设备控制方法可以应用于如图1所示的设备控制系统10中，该设备控制系统10包括图像采集设备101和移动终端102，其中，移动终端102可以包括个人电脑、智能手机、平板电脑、穿戴式电子设备等，在此不作限定。

在一些实施方式中，设备控制系统10可以包括至少一种家居设备104，家居设备104可以包括智能门锁、智能开关、智能窗帘电机、智能墙壁开关、智能摄像头、智能空调控制设备(空调伴侣)等设备。

在一些实施方式中，该移动终端102用于与用户之间进行交互，便于用户通过移动终端102与图像采集设备101进行远程通信。另外，用户可以在图像采集设备101和移动终端102添加同一账号信息，通过该账号信息实现图像采集设备101和移动终端102的无线通信、信息同步。

进一步地，设备控制系统10还可以包括服务器103，服务器103可以采用传统服务器，也可以采用云端服务器，在此不做限定。服务器103可以通过无线网络分别与移动终端102以及图像采集设备101进行通信连接，以进行服务器103与移动终端102之间的数据交互，服务器103与图像采集设备101之间的数据交互。

作为一种方式，图像采集设备101与网关连接，移动终端102可以通过局域网路径与网关进行交互(即移动终端-路由器-网关)，从而实现与网关连接的图像采集设备101进行交互。进一步地，移动终端102还可以通过广域网路径与网关进行交互(即移动终端-服务器-网关)，从而实现与网关连接的图像采集设备101进行交互。具体的，网关以及移动终端102均可以与路由器连接，并通过路由器接入以太网，路由器可以通过无线或有线等方式接入服务器103。例如，网关与移动终端102可以将信息上传到服务器103中。可选地，移动终端102还可以通过无线方式与服务器103建立网络连接，从而可以获取服务器103下发的数据。

作为另一种方式，图像采集设备101也可以不经过网关，通过无线通信方式与路由器连接后，再与移动终端102建立通信，进行交互。进一步地，图像采集设备101还可以通过Zi gBee模块或蓝牙模块等无线通信模块与移动终端102建立通信，进行交互。

其中，图像采集设备101可以是摄像头等设备，具体地，可以是支持图像识别和网关功能的智能摄像头，即图像采集设备101可以至少配置有可实现图像识别的处理器以及实现数据交互的通信模块，从而既可采集图像并识别图像，还可实现与其他设备如移动终端102的数据交互。

在一些实施方式中，图像采集设备101也可以是不支持图像识别的智能摄像头，可以采集图像信息并将图像信息发送至服务器103进行图像识别。进一步地，作为一种方式，图像采集设备101可以支持网关功能，从而可以在服务器103完成图像识别后接收服务器103发回的图像识别结果，并根据图像识别结果发送控制指令至家居设备104以实现对家居设备104的控制；作为另一种方式，图像采集设备101也可以不支持网关功能，需要连接网关通过网关实现与其他设备如家居设备104、移动终端102的数据交互。

可以理解的是，以上应用环境仅为方便理解下述实施例作出的示例性描述，并不对本申请实施例实际可实施的应用环境构成任何限定。

请参阅图2，图2示出了本申请一个实施例提供的设备控制方法的方法流程图，可以应用于上述图像采集设备。下面将针对图2所示的步骤进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S201：获取包含指示标志与至少一个被控设备的输入图像。

其中，指示标志可以包括身体部位或非身体部位的设备或工具，例如可以是手势、指示器等。图像采集设备设置于用户家中，可以实时采集家居环境图像，具体的，环境图像中可以包括用户家中的家居设备即被控设备，如电视、空调、灯、门、窗户等，环境图像中还可以包括指定标志。可以理解的是，环境图像即本实施例中的输入图像。

在手势控制模式下，图像采集设备可以实时获取包含指示标志与至少一个被控设备的输入图像。作为一种实施方式，图像采集设备本身可以配置有处理器，可以对输入图像进行图像识别。

作为另一种实施方式，图像采集设备本身无法实现图像识别，则可以将获取到的输入图像发送至服务器，通过配置于服务器的处理器进行图像识别。具体地，若图像采集设备与网关为两个设备，那么图像采集设备可以通过网关将获取到的输入图像发送给服务器；若图像采集设备集成在网关上，那么图像采集设备可以直接将获取到的输入图像发送给服务器。

步骤S202：根据输入图像，确定目标被控设备及目标被控设备对应的控制指令。

本实施例中，处理器根据输入图像，通过图像识别可以识别指示标志对应的目标被控设备，并获取目标被控设备对应的控制指令。具体地，处理器对应的设备或服务器预先存储有用户家中的位置空间关系，该位置空间关系可以预先通过设置于用户家中的全景摄像头或多个摄像头获取用户家中的多个被控设备，并通过图像识别算法识别出每个被控设备，构建包含每个被控设备在用户家中的位置空间关系，由此，处理器通过识别输入图像中指示标志与被控设备之间的相对位置关系可以确定指示标志所指示的目标被控设备。例如，处理器通过图像识别，识别出指示标志指向被控设备A，则可确定被控设备A为目标被控设备。

进一步地，处理器还可以识别指示标志的状态，通过指示标志的状态确定对应的控制指令。其中，若指示标志包括身体部位如指示标志为手势，指示标志的状态可以包括“数字1”(1根手指直立，其他手指卷曲)、“数字2”(2根手指直立，其他手指卷曲)、…、“握拳”等，在此不作限定；若指示标志包括其他设备或工具如指示器，指示器设置有多个按键，不同的按键对应一个按键信息，指示标志的状态可以包括“按键信息1”(按下按键1)等，在此不作限定。

在一些实施方式中，通过一个指示标志即可确定目标被控设备及其对应的控制指令，具体地，图像采集设备可以先获取第一输入图像，再获取第二输入图像，分别通过第一输入图像确定目标被控设备，通过第二输入图像确定控制指令，使得用户无需切换指示标志即可实现控制；

在另一些实施方式中，指示标志的数量可以不止1个，不同的指示标志对应不同的功能，例如第一指示标志可以用于确定目标被控设备，第二指示标志可以用于确定控制指令。由此一种指示标志对应一种功能，避免出现对目标被控设备的误选择或对控制指令的误选择，可以避免误操作，提高可用性。

在又一些实施方式中，还可存在多个第一指示标志，可用于选择多个目标被控设备，实现对多个目标被控设备的同时控制，提高控制效率，例如选择多个灯，统一关闭。

作为一种实施方式，处理器通过识别指示标志的状态，并仅通过指示标志的状态即可获取对应的控制指令，即控制指令与指示标志的状态一一对应，其对应关系存储于预设指令库中，不同的被控设备共用同一个预设指令库。处理器通过在预设指令库中查找与指示标志的状态对应的控制指令，可以确定控制指令并将其与确定的目标被控设备关联，从而确定目标被控设备对应的控制指令。由此，每种被控设备均可用相同的对应关系，使用相同的逻辑，利用相同的指示标志的状态控制不同的被控设备实现相同的功能。

例如，指示标志为手势，指示标志的状态为“握拳”，通过识别该指示标志的状态，确定控制指令为“关闭”，若确定的目标被控设备为空调，则可确定用于控制空调关闭的控制指令，若确定的目标被控设备为灯，则可确定用于控制灯关闭的控制指令。由此，降低用户的学习成本，使得用户无需记住众多指示标志的状态如手势，只需了解特定几个指示标志的状态与控制指令的对应关系，即可实现对所有被控设备的控制，降低用户学习和记忆成本，提升用户体验，并且由于通过获取输入图像并进行图像识别来实现控制，因此还无需用户寻找遥控器或被控设备上的物理按键，提高了控制效率。

作为另一种实施方式，处理器通过识别指示标志的状态，并结合确定的目标被控设备可以确定目标被控设备对应的控制指令。具体地，每个或每种被控设备对应一个预设指令库，每个预设指令库中存储有一个被控设备的控制指令与指示标志的状态的对应关系，即不同的被控设备可以对应不同的预设指令库。处理器通过确定的目标被控设备可以确定目标被控设备对应的预设指令库，并从中查找与指示标志的状态对应的控制指令，从而确定目标被控设备对应的控制指令。

例如，指示标志为手势，指示标志的状态为“握拳”，此时，若确定的目标被控设备为空调，则在空调对应的预设指令库中查找对应的控制指令为“关闭”，从而确定用于控制空调关闭的控制指令；若确定的目标被控设备为灯，则可在灯对应的预设指令库中查找对应的控制指令为“降低亮度”，从而确定用于控制灯亮度降低的控制指令。由此，通过对应不同被控设备存储不同的预设指令库，可实现对每个被控设备的特定控制，使得指示标志的状态因被控设备的不同而对应不同的控制指令，从而支持适用于被控设备的、更多样化、定制化的控制，满足多样化、定制化的控制需求。

需要说明的是，若图像识别是由图像采集设备执行，即处理器配置于图像采集设备，此时预设指令库可存储于图像采集设备；若图像识别是由服务器执行，即处理器配置于服务器，此时预设指令库可存储于服务器，本实施例对此不作限定。

步骤S203：向目标被控设备发送控制指令。

本实施例中，处理器向目标被控设备发送控制指令，以指示目标被控设备根据控制指令执行控制指令对应的预设操作。例如，根据输入图像，确定目标被控设备为空调，目标被控设备对应的控制指令为“关闭”，处理器向空调发送对应“关闭”的控制指令，使得空调根据该控制指令执行对应的预设操作，即关闭，从而实现关闭空调。

在一种实施方式中，若图像识别是在服务器执行，作为一种方式，服务器可以将确定的目标被控设备及其对应的控制指令发送至图像采集设备，并通过图像采集设备将控制指令发送至目标被控设备。作为另一种方式，服务器可以将确定的目标被控设备及其对应的控制指令发送至网关，并通过网关向目标被控设备发送控制指令。具体地，网关可以是红外网关，可以通过红外功能控制被控设备。

在另一种实施方式中，若图像识别是在图像采集设备本地执行，作为一种方式，图像采集设备与网关连接，可通过网关向目标被控设备发送控制指令；作为另一种方式，图像采集设备集成有网关模块，在目标被控设备是无需网关即可与其他设备实现数据交互的设备时，可直接向目标被控设备发送控制指令。

本实施例提供的设备控制方法，通过获取包含指示标志与至少一个被控设备的输入图像，然后根据输入图像，确定目标被控设备及目标被控设备对应的控制指令，最后向目标被控设备发送控制指令，以指示目标被控设备根据控制指令执行控制指令对应的预设操作。由此，本申请通过识别包含指示标志和被控设备的图像，实现对被控设备的控制，不仅支持远程控制，而且使得用户可以通过指示标志实现对不同被控设备的设备，无需用户记住每个被控设备的开关和各种复杂控制选项，提高了设备控制效率，降低了用户学习成本，提升了用户使用体验。

请参阅图3，本申请另一个实施例提供了一种设备控制方法，可应用于上述图像采集设备。下面将针对图3所示的步骤进行详细的阐述，所述方法具体可以包括以下步骤：

步骤S301：获取包含指示标志与至少一个被控设备的输入图像。

本实施例中，指示标志包括手势，具体地，手势可以包括但不限于单手手势和双手手势，其中，单手手势包括但不限于“数字1”、“数字2”、“握拳”、“手指向上”等，双手手势包括但不限于双手比“O”、双手比“X”等。

其中，输入图像包括第一输入图像和第二输入图像，获取第一输入图像的时间先于获取第二输入图像的时间。即图像采集设备先后采集两个输入图像，分别为第一输入图像与第二输入图像。

步骤S302：根据第一输入图像，获取第一手势。

其中，第一手势可以是系统预设的，也可以是用户自定义的，可以是“数字1”、“数字2”等，在此不作限定。具体地，根据第一输入图像，通过图像识别获取第一手势。

步骤S303：根据第一手势，确定目标被控设备。

在一种实施方式中，图像采集设备可以获取与第一手势中的手指相接触的被控设备，确定与手指相接触的被控设备为目标被控设备。此时可不对指定第一手势的形态，任意手势均可，只要通过图像识别可以识别出手指与被控设备直接接触即可。

在另一种实施方式中，若手指没有接触被控设备，图像采集设备可以获取第一手势中的手指指向的被控设备，确定手指指向的被控设备为目标被控设备。具体地，手指指向的被控设备可以是根据手指延长线确定的，将处于该手指延长线上的被控设备确定为目标被控设备。例如请参阅图4，图4示出了一种家居场景示意图，手指延长线上的被控设备为窗帘，从而处理器通过图像识别根据第一手势中的手指的手指延长线上的被控设备为窗帘，并确定目标被控设备为窗帘。

另外,在确定手指指向的被控设备为目标被控设备时，可能识别到多个第一手势，此时，请参阅图5，图5示出了本申请实施例根据多个第一手势确定目标被控设备的方法流程图，该方法包括：步骤S501-步骤S503，其中：

步骤S501：判断输入图像中是否存在多个第一手势。

在一种实施方式中，输入图像只有一个，作为一种方式，第一手势可以是左手或右手作出的手势，从而通过识别输入图像中的左手或右手作出的手势，判断输入图像中是否存在多个第一手势。其中，手势可以是指定的，也可以是非指定的，只需使处理器可确定目标被控设备即可，本实施例对此不作限定。作为另一种方式，第一手势也可以是任意手作出的指定手势，例如指定手势可以是“数字1”即握拳状态后伸出1根手指的手势，伸出的1根手指可以是拇指、食指等，此外，指定手势也可以是“数字二”等，在此不作限定。从而通过识别是否存在多个指定手势，可判断输入图像中是否存在多个第一手势。

在另一种实施方式中，输入图像可以不止1个，包括用于确定目标被控设备的第一输入图像与用于确定控制指令的第二输入图像，从而可以通过判断第一输入图像中是否存在多个第一手势，以判断输入图像中是否存在多个第一手势，而无需对第二输入图像执行相同判断。由于第一手势是用于确定目标被控设备，且仅第一输入图像用于确定目标被控设备，因此仅对第一输入图像而不对第二输入图像进行是否存在多个第一手势的判断，可以减少不必要的运算功耗。

步骤S502：若存在多个第一手势，获取每个第一手势中的手指指向的被控设备。

在一种实施方式中，若存在多个第一手势，可以获取每个第一手势中的手指指向的被控设备。具体地，识别每个第一手势中的手指的手指延长线，获取每个手指延长线的交点，获取交点对应的被控设备每个第一手势中的手指指向的被控设备。

步骤S503：将每个第一手势中的手指均指向的被控设备确定为目标被控设备。

在一种实施方式中，处理器将每个第一手势中的手指均指向的被控设备确定为目标被控设备，即将每个手指延长线的交点对应的被控设备确定为目标被控设备。从而可以支持通过多个第一手势确定目标被控设备，使得在家居环境复杂时，仍可准确确定目标被控设备，提高了设备控制的准确率，并且使得用户在短时间内迅速选中被控设备以实现控制，减少反馈或往返确认的步骤，提高了设备控制效率。

另外，在确定手指指向的被控设备为目标被控设备时，图像采集设备通过识别第一输入图像获取到手指指向的被控设备可能存在多个。

作为一种实施方式，若处理器识别到手指指向的被控设备存在多个，生成被控设备选择指令，并发送至用户终端，以使用户终端生成对应的被控设备选择页面，供用户从多个被控设备中确定目标被控设备，获取用户终端发送的被控设备确定指令，并根据该被控设备确定指令确定对应的目标被控设备。

作为另一种实施方式，若处理器识别到手指指向的被控设备存在多个，生成语音提示信息，其中，语音提示信息用于指示用户从手指指向的多个被控设备中确定目标被控设备，并获取手指的移动状态，并确定对应的所述目标被控设备。由此，可以减少用户反馈或往返确认的步骤，提高控制效率。

具体地，例如在识别到手指指向的被控设备存在多个时，可以生成语音“已选择到两个智能家居设备”，提示用户进行再次确认，若用户想控制的智能家居设备在左边，手指可以向左方移动，使得图像采集设备获取到手指的移动状态为向左移动，若用户想控制的智能家居设备在上边，手指可以向上方移动，使得图像采集设备获取到手指的移动状态为向上移动，并在已选择到的两个被控设备中选择与手指移动状态对应的被控设备，并将该被控设备确定为目标被控设备。作为一种方式，若处理器识别到手指指向的被控设备存在多个时，可以向网关发送语音确认指令，使网关生成语音提醒以指示用户再次确认。作为另一种方式，图像采集设备集成有语音模块，在识别到手势指向的被控设备存在多个时，也可由图像采集设备生成语音提醒。

步骤S304：根据第二输入图像，获取第二手势。

其中，第二手势可以是系统预设的，也可以是用户自定义的，可以是“数字1”、“数字2”等，在此不作限定。具体地，根据第二输入图像，通过图像识别获取第二手势。需要说明的是，由于获取第二手势与第一手势的图像不同，因此第二手势可以与第一手势一致，也可不一致，在此不作限定。

步骤S305：根据第二手势以及目标被控设备，确定目标被控设备对应的控制指令。

具体地，在一种实施方式中，请参阅图6，步骤S305还可以包括步骤S601-S602，其中：

步骤S601：在目标被控设备对应的预设手势库中查找与第二手势匹配的预设手势。

步骤S602：确定与预设手势对应的预设控制指令为目标被控设备对应的控制指令。

其中，每个或每种被控设备对应一个预设手势库，每个预设手势库中存储有一个被控设备的控制指令与手势的对应关系，即不同的被控设备可以对应不同的预设手势库。处理器通过确定的目标被控设备可以确定目标被控设备对应的预设手势库，并从中查找与第二手势匹配的预设手势，从而确定与预设手势对应的预设控制指令为目标被控设备对应的控制指令，以控制目标被控设备开、关、调高低大小等。需要说明的是，每个被控设备的预设手势库中控制指令与手势的对应关系可以是系统预设的，也可以是用户自定义，满足用户个性化控制的需求。

例如，确定的目标被控设备为空调，若获取第二手势为双手比“0”，则可在空调对应的预设手势库中查找对应的控制指令为“开启”，从而确定用于控制空调开启的控制指令，同理双手比“X”可对应“关闭”；若获取第二手势为手指朝上，则可在空调对应的预设手势库中查找对应的控制指令为“风量增强”，从而确定用于控制空调风量增强的控制指令，同理，手指朝下可对应“风量减弱”。再如，确定的目标被控设备为音箱，若获取第二手势为手指朝上，则可在音箱对应的预设手势库中查找对应的控制指令为“上一首”，从而确定用于控制音箱播放上一首歌曲的控制指令，同理，手指朝下可对应“下一首”。由此，通过对应不同被控设备存储不同的预设手势库，可实现对每个被控设备的特定控制，使得手势的状态因被控设备的不同而对应不同的控制指令，从而支持适用于被控设备的、更多样化、定制化的控制，满足多样化、定制化的控制需求。

在一些实施例中，目标被控设备包括发光单元，在确定目标被控设备以及目标被控设备对应的控制指令后，图像采集设备可以向目标被控设备发送选中确认指令，控制目标被控设备的发光单元发光，使得用户可以通过观察目标被控设备是否发光来确认图像采集设备的识别是否准确，确认是否选中了用户所需控制的目标被控设备，不仅可以提升用户体验，还使得用户可以及时发现识别错误，避免误操作，提高系统可用性。具体地，例如当用户手指指向目标被控设备时，目标被控设备的发光单元闪烁亮灯，提示用户通过手指已经指向需要控制的目标被控设备，使用户得到选中反馈，增加用户体验。

步骤S306：向目标被控设备发送控制指令。

在一种实施方式中，若目标被控设备是无需绑定网关即可实现与其他设备的通信的智能设备如智能开关、智能空调伴侣等，图像采集设备或服务器可以无需通过网关，直接发送控制指令至目标被控设备。

在另一种实施方式中，若目标被控设备需绑定网关才可实现与其他设备的通信的智能设备如传统电视等，图像采集设备或服务器通过网关向目标被控设备发送控制指令。

需要说明的是，本实施例中未详细描述的部分请参考上述实施例，在此不再赘述。

本实施例提供的设备控制方法，通过识别第一手势确定目标被控设备，识别第二手势确定目标被控设备对应的控制指令，并向目标被控设备发送控制指令，以实现对目标被控设备的控制，并在存在多个第一手势时，通过将每个第一手势中的手指均指向的被控设备确定为目标被控设备，使得在家居环境复杂时，仍可准确确定目标被控设备，提高了设备控制的准确率，并且使得用户在短时间内迅速选中被控设备以实现控制，减少反馈或往返确认的步骤，提高了设备控制效率。另外，在手指指向的被控设备存在多个时，可以通过生成语音提示信息或发送被控设备选择指令至用户终端，提示用户再次确认所选的设备，从而减少用户反馈或往返确认的步骤，提高控制效率。

另外，上述实施例中第一手势、第二手势是先后获取的，在其他一些实施例中，也可以同时获取第一手势与第二手势，确定目标被控设备及其对应的控制指令，从而减少图像采集设备获取输入图像的次数，降低功耗，提高设备控制效率。具体地，请参阅图7，图7示出了本申请又一个实施例提供的设备控制方法的方法流程图，该方法可以包括步骤S701-步骤S705，其中：

步骤S701:获取包含指示标志与至少一个被控设备的输入图像。

步骤S702：根据输入图像，获取第一手势以及第二手势。

于本实施例中，第一手势与第二手势不同，其中第一手势用于确定目标被控设备，第二手势用于确定目标被控设备对于的控制指令。由此，通过获取一张输入图像，即可通过图像识别确定目标被控设备及其对应的控制指令，从而减少图像采集设备获取输入图像的次数，降低功耗，提高设备控制效率。

步骤S703：根据第一手势，确定目标被控设备。

步骤S704：根据第二手势以及目标被控设备,确定目标被控设备对应的控制指令。

步骤S705：向目标被控设备发送控制指令。

需要说明的是，本实施例中未详细描述的部分请参考上述实施例，在此不再赘述。

另外，在一些实施例中，在获取包含指示标志与至少一个被控设备的输入图像之前，还可以包括对手势控制模式的唤醒，使得图像采集设备在手势控制模式未被唤醒时，可以不必采集输入图像及后续操作，从而节省功耗，提高设备续航能力，该方法包括：步骤S810至S820。

步骤S810：获取用户输入图像。

其中，用户输入图像包括用户手势。

步骤S820：识别用户输入图像中的唤醒手势，并唤醒手势控制模式。

其中，唤醒手势可以是系统预设的，也可以是自定义的，如“OK”手势等，通过获取用户输入图像中的用户手势，并将该用户手势与唤醒手势进行匹配，确定是否一致，并在匹配一致时唤醒手势控制模式。

本实施例提供的设备控制方法，通过获取用户输入图像，识别用户输入图像中的唤醒手势，并唤醒手势控制模式，由此，使得用户可以通过预设的唤醒手势，唤醒图像采集设备的手势控制模式，并在手势控制模式处于唤醒状态下才获取包含指示标志与至少一个被控设备的输入图像，使得图像采集设备可以在用户无需手势控制其他被控设备时，不对输入图像进行识别，节省不必要的功耗，提高设备续航能力。

应该理解的是，虽然图2至图8的方法流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参阅图9，图9示出了本申请实施例提供的一种设备控制装置的模块框图，可应用于上述图像采集设备。下面将针对图9所示的模块框图进行阐述，所述设备控制装置900包括：获取模块910、确定模块920以及控制模块930，其中：

获取模块910，用于获取包含指示标志与至少一个被控设备的输入图像。

确定模块920，用于根据所述输入图像，确定目标被控设备及所述目标被控设备对应的控制指令。

控制模块930，用于向所述目标被控设备发送所述控制指令，以指示所述目标被控设备根据所述控制指令执行所述控制指令对应的预设操作。

进一步地，所述输入图像包括第一输入图像和第二输入图像，获取所述第一输入图像的时间先于获取所述第二输入图像的时间，指示标志包括手势，确定模块920包括第一获取子模块、第一确定子模块、第二获取子模块以及第二确定子模块，其中：

第一获取子模块，用于根据所述第一输入图像，获取第一手势；

第一确定子模块，用于根据所述第一手势，确定所述目标被控设备；

第二获取子模块，用于根据所述第二输入图像，获取第二手势；

第二确定子模块，用于根据所述第二手势以及所述目标被控设备，确定所述目标被控设备对应的控制指令。

进一步地，指示标志包括手势，确定模块920包括第三获取子模块、设备确定子模块以及指令确定子模块，其中：

第三获取子模块，用于根据所述输入图像，获取第一手势以及第二手势；

设备确定子模块，用于根据所述第一手势，确定所述目标被控设备；

指令确定子模块，用于根据所述第二手势以及所述目标被控设备，确定所述目标被控设备对应的控制指令。

进一步地，在一种实施方式中，设备确定子模块包括：指向获取单元以及指向确定单元，其中：

指向获取单元，用于获取所述第一手势中的手指指向的被控设备；

指向确定单元，用于确定所述手指指向的被控设备为所述目标被控设备。

进一步地，在另一种实施方式中，设备确定子模块包括：接触获取单元以及接触确定单元，其中：

接触获取单元，用于获取与所述第一手势中的手指相接触的被控设备；

接触确定单元，用于确定与所述手指相接触的被控设备为所述目标被控设备。

进一步地，在一种实施方式中，指向确定单元包括:数量判断子单元、单个获取子单元、指向确定子单元，其中：

数量判断子单元，用于判断所述输入图像中是否存在多个第一手势；

单个获取子单元，用于若存在多个第一手势，获取每个所述第一手势中的手指指向的被控设备；

指向确定子单元，用于将每个所述第一手势中的手指均指向的被控设备确定为所述目标被控设备。

进一步地，在另一种实施方式中，指向确定单元包括:指令生成子单元以及指令获取子单元，其中：

指令生成子单元，用于若所述手指指向的被控设备存在多个，生成被控设备选择指令，并发送至用户终端，以使所述用户终端生成对应的被控设备选择页面，供用户从多个被控设备中确定目标被控设备；

指令获取子单元，用于获取所述用户终端发送的被控设备确定指令，并确定对应的目标被控设备。

进一步地，在又一种实施方式中，指向确定单元包括:语音生成子单元以及移动获取子单元，其中：

语音生成子单元，用于若所述手指指向的被控设备存在多个，生成语音提示信息，所述语音提示信息用于指示用户从所述手指指向的多个被控设备中确定目标被控设备；

移动获取子单元，用于获取所述手指的移动状态，并确定对应的所述目标被控设备。

进一步地，指令确定子模块包括：手势匹配单元以及手势确定单元，其中：

手势匹配单元，用于在所述目标被控设备对应的预设手势库中查找与所述第二手势匹配的预设手势；

手势确定单元，用于确定与所述预设手势对应的预设控制指令为所述目标被控设备对应的控制指令。

进一步地，所述目标被控设备包括发光单元，设备控制装置900还包括：控制发光模块、图像获取模块以及模式唤醒模块，其中：

控制发光模块，用于控制所述目标被控设备的发光单元发光，以使确认当前确定的目标被控设备。

图像获取模块，用于获取用户输入图像；

模式唤醒模块，用于识别所述用户输入图像中的唤醒手势，并唤醒手势控制模式。

本申请实施例提供的设备控制装置用于实现前述方法实施例中相应的设备控制方法，并具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的技术人员可以清楚地了解到，本申请实施例提供的设备控制装置能够实现图3到图8的方法实施例中的各个过程，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参阅前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

上述实施例提供的设备控制方法可以应用于支持网关功能且支持图像识别的图像采集设备，如具备网关功能的智能摄像头等。

另外，本申请一个实施例还提供了一种设备控制系统，该设备控制系统包括网关、被控设备以及图像采集设备，其中图像采集设备可以是不支持网关功能但支持图像识别，具体地：

图像采集设备获取包含指示标志与至少一个所述被控设备的输入图像。

图像采集设备根据所述输入图像，确定目标被控设备及目标被控设备对应的控制指令，并发送至网关。

网关向目标被控设备发送控制指令。

本实施例提供的设备控制系统中，图像采集设备采集输入图像后，通过图像识别确定目标被控设备及其对应的控制指令后，通过网关向目标被控设备发送控制指令。

另外，本申请另一个实施例还提供了一种设备控制系统，该设备控制系统包括服务器、被控设备以及图像采集设备，其中图像采集设备可以是支持网关功能但不支持图像识别的图像采集设备，也可以是不支持网关功能且不支持图像识别的图像采集设备，具体地：

图像采集设备获取包含指示标志与多个所述被控设备的输入图像，并发送至服务器。

服务器根据所述输入图像，确定目标被控设备及目标被控设备对应的控制指令，并发送至图像采集设备。

图像采集设备向目标被控设备发送控制指令，以指示目标被控设备根据控制指令执行控制指令对应的预设操作。

本实施例提供的设备控制系统中，图像采集设备采集输入图像后，将输入图像发送至服务器，通过服务器对输入图像进行图像识别，确定目标被控设备及其对应的控制指令后，将确定结果返回图像采集设备，使得图像采集设备向目标被控设备发送控制指令。在一种实施方式中，服务器也可以根据确定结果生成对应的控制指令，并将控制指令发送至目标被控设备。在另一种实施方式中，服务器还可以将控制指令发送至网关，通过网关发送至目标被控设备，本实施例对此不作限定。

本申请实施例提供的设备控制系统用于实现前述方法实施例中相应的设备控制方法，除了步骤的执行主体有所不同(具体请参见上述实施例)，其他大致相同，并具有相应的方法实施例的有益效果，在此不再赘述。

本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的如图3至图8所述的设备控制方法。本实施例中，电子设备可以是图像采集设备等能够运行应用程序的电子设备。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

图10是本申请一个实施例提供的一种设备控制方法的电子设备1000的硬件结构框图。具体的，电子设备1000可以执行并实现如上述方法实施例所提供的如图2至图8所述的设备控制方法，其中，电子设备可以是设备控制系统中的图像采集设备等能够运行应用程序的电子设备，如智能摄像头等。

如图10所示，该电子设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器1010(处理器1010可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1030，一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中，存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质1020的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备1000中的一系列指令操作。更进一步地，处理器1010可以设置为与存储介质1020通信，在电子设备1000上执行存储介质1020中的一系列指令操作。电子设备1000还可以包括一个或一个以上电源1060，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1040，和/或，一个或一个以上操作系统1021，例如Wi ndowsServerTM，MacOSXTM，Un i xTM,L i nuxTM，FreeBSDTM等等。

需要说明的是，所述电源1060可以是包含独立电源模块以向电子设备1000供电，也可以是用于连接外部电源以向电子设备1000供电。

输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1000的通信供应商提供的无线网络。在一个实例中，输入输出接口1040包括一个网络适配器(Network I nterfaceContro l l er，N I C)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1040可以为射频(Rad i oFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备1000还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。

本申请实施例还提供一种计算机可读存储介质。图11是本申请一个实施例提供的一种设备控制方法的计算机可读存储介质1000的模块框图。计算机可读存储介质1000上存储有计算机程序1010，该计算机程序1010被处理器执行实现上述设备控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质1000，如只读存储器(Read-On l yMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是智能网关，手机，计算机，服务器，空调器或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请各实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护范围之内。

Claims (14)

1.一种设备控制方法，其特征在于，所述方法包括：

获取包含指示标志与至少一个被控设备的输入图像；其中，所述指示标志包括手势；

根据所述输入图像，获取第一手势以及第二手势；

获取与所述第一手势中的手指相接触的被控设备；

确定与所述手指相接触的被控设备为目标被控设备；

根据所述第二手势以及所述目标被控设备，确定所述目标被控设备对应的控制指令；

向所述目标被控设备发送所述控制指令，以指示所述目标被控设备根据所述控制指令执行所述控制指令对应的预设操作。

2.根据权利要求1所述的方法，其特征在于，所述输入图像包括第一输入图像和第二输入图像，获取所述第一输入图像的时间先于获取所述第二输入图像的时间，所述根据所述输入图像，获取第一手势以及第二手势，包括：

根据所述第一输入图像，获取第一手势；

根据所述第二输入图像，获取第二手势。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一手势，确定所述目标被控设备，包括：

获取所述第一手势中的手指指向的被控设备；

确定所述手指指向的被控设备为所述目标被控设备。

4.根据权利要求3所述的方法，其特征在于，所述确定所述手指指向的被控设备为所述目标被控设备，包括：

判断所述输入图像中是否存在多个第一手势；

若存在多个第一手势，获取每个所述第一手势中的手指指向的被控设备；

将每个所述第一手势中的手指均指向的被控设备确定为所述目标被控设备。

5.根据权利要求3所述的方法，其特征在于，所述确定所述手指指向的被控设备为所述目标被控设备，包括：

若所述手指指向的被控设备存在多个，生成被控设备选择指令，并发送至用户终端，以使所述用户终端生成对应的被控设备选择页面，供用户从多个被控设备中确定目标被控设备；

获取所述用户终端发送的被控设备确定指令，并确定对应的目标被控设备。

6.根据权利要求3所述的方法，其特征在于，所述确定所述手指指向的被控设备为所述目标被控设备，包括：

若所述手指指向的被控设备存在多个，生成语音提示信息，所述语音提示信息用于指示用户从所述手指指向的多个被控设备中确定目标被控设备；

获取所述手指的移动状态，并确定对应的所述目标被控设备。

7.根据权利要求1所述的方法，其特征在于，所述目标被控设备包括发光单元，所述确定目标被控设备及所述目标被控设备对应的控制指令之后，还包括：

控制所述目标被控设备的发光单元发光，以使确认当前确定的目标被控设备。

8.根据权利要求2所述的方法，其特征在于，所述根据所述第二手势以及所述目标被控设备，确定所述目标被控设备对应的控制指令，包括：

在所述目标被控设备对应的预设手势库中查找与所述第二手势匹配的预设手势；

确定与所述预设手势对应的预设控制指令为所述目标被控设备对应的控制指令。

9.根据权利要求1所述的方法，其特征在于，所述获取包含指示标志与至少一个被控设备的输入图像之前，还包括：

获取用户输入图像；

识别所述用户输入图像中的唤醒手势，并唤醒手势控制模式。

10.一种设备控制装置，其特征在于，所述装置包括：

获取模块，用于获取包含指示标志与至少一个被控设备的输入图像；其中，所述指示标志包括手势；

第三获取子模块，用于根据所述输入图像，获取第一手势以及第二手势；

接触获取单元，用于获取与所述第一手势中的手指相接触的被控设备；

接触确定单元，用于确定与所述手指相接触的被控设备为目标被控设备；

指令确定子模块，用于根据所述第二手势以及所述目标被控设备，确定所述目标被控设备对应的控制指令；

控制模块，用于向所述目标被控设备发送所述控制指令，以指示所述目标被控设备根据所述控制指令执行所述控制指令对应的预设操作。

11.一种设备控制系统，其特征在于，所述系统包括网关、被控设备以及图像采集设备；

所述图像采集设备获取包含指示标志与至少一个所述被控设备的输入图像；其中，所述指示标志包括手势；

所述图像采集设备根据所述输入图像，获取第一手势以及第二手势；获取与所述第一手势中的手指相接触的被控设备；确定与所述手指相接触的被控设备为目标被控设备；根据所述第二手势以及所述目标被控设备，确定所述目标被控设备对应的控制指令，并发送至所述网关；

所述网关向所述目标被控设备发送所述控制指令。

12.一种设备控制系统，其特征在于，所述系统包括服务器、被控设备以及图像采集设备；

所述图像采集设备获取包含指示标志与多个所述被控设备的输入图像，并发送至所述服务器；其中，所述指示标志包括手势；

所述服务器根据所述输入图像，获取第一手势以及第二手势；获取与所述第一手势中的手指相接触的被控设备；确定与所述手指相接触的被控设备为目标被控设备；根据所述第二手势以及所述目标被控设备，确定所述目标被控设备对应的控制指令，并发送至所述图像采集设备；

所述图像采集设备向所述目标被控设备发送所述控制指令，以指示所述目标被控设备根据所述控制指令执行所述控制指令对应的预设操作。

13.一种电子设备，其特征在于，包括：

处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的设备控制方法的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的设备控制方法的步骤。

Images