CN109814717A - 一种家居设备控制方法、装置、控制设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种家居设备控制方法、装置、控制设备及可读存储介质，该方法包括：将采集到的当前帧图像输入到预先训练完成的特征检测模型中；如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。本发明中控制设备基于特征检测模型，确定采集到的当前帧图像中用户的手势操作，将手势操作对应的控制指令发送给对应的家居设备，从而用户通过进行手势操作对家居设备进行控制，提高了家居设备控制和用户操作的便捷性。

Description

一种家居设备控制方法、装置、控制设备及可读存储介质

技术领域

本发明涉及智能家居技术领域，尤其涉及一种家居设备控制方法、装置、控制设备及可读存储介质。

背景技术

随着科学技术的发展，服务于人们生活且给人们生活带来便利的家居设备的种类也越来越多。现有对于家居设备的控制大多还是采用家居设备对应的遥控器进行控制，用户操作不够便捷。

发明内容

本发明提供了一种家居设备控制方法、装置、控制设备及可读存储介质，用以解决现有技术中的问题。

本发明提供了一种家居设备控制方法，应用于控制设备，该方法包括：

将采集到的当前帧图像输入到预先训练完成的特征检测模型中；

如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；

将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

进一步地，所述手部特征信息对应的手部状态包括：握拳状态或张开状态。

进一步地，如果当前帧图像存在的用户的手部特征信息对应的手部状态为张开状态，所述根据所述手部特征信息对应的手部状态，确定用户的手势操作包括：

判断是否存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像；

如果是，判断所述至少一帧图像及所述当前帧图像对应的采集时长是否达到了设定时长阈值；

如果是，根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作。

进一步地，如果不存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，或者如果所述至少一帧图像及所述当前帧图像对应的采集时长未达到设定时长阈值，所述方法还包括：

继续采集图像，并将采集到的图像作为采集到的当前帧图像。

进一步地，所述根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作包括：

根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定所述用户的至少一个手指的位置信息；针对每个手指，将每帧图像中的该手指的位置信息进行线性拟合；根据拟合后的该手指的位置信息，确定该手指的移动轨迹；

如果存在至少一个手指的移动轨迹与保存的手势操作预设轨迹匹配，将所述匹配的手势操作预设轨迹对应的手势操作，确定为所述用户的手势操作。

进一步地，所述手势操作预设轨迹包括以下至少一种：

沿着第一方向滑动的第一预设轨迹；

沿着第二方向滑动的第二预设轨迹，其中所述第一方向和所述第二方向不同；

顺时针方向旋转的第三预设轨迹；和

逆时针方向旋转的第四预设轨迹。

进一步地，所述特征检测模型包括MTCNN。

进一步地，基于所述特征检测模型，确定当前帧图像存在的用户的手部特征信息包括：

MTCNN中的P-Net分支网络结构判断所述当前帧图像中是否存在用户的手部特征信息，并在所述当前帧图像中存在用户的手部特征信息时，确定包括用户手部的手势区域候选框；

MTCNN中的R-Net分支网络结构去除所述当前帧图像中不包括用户手部的非目标区域；

MTCNN中的O-Net分支网络结构在所述当前帧图像包括用户手部的手势区域候选框中，输出所述当前帧图像存在的用户的手部特征信息。

本发明提供了一种家居设备控制装置，应用于控制设备，该装置包括：

输入模块，用于将采集到的当前帧图像输入到预先训练完成的特征检测模型中；

确定模块，用于如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；

控制模块，用于将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

进一步地，所述手部特征信息对应的手部状态包括：握拳状态或张开状态。

进一步地，如果当前帧图像存在的用户的手部特征信息对应的手部状态为张开状态，所述确定模块，具体用于判断是否存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像；如果是，判断所述至少一帧图像及所述当前帧图像对应的采集时长是否达到了设定时长阈值；如果是，根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作。

进一步地，所述装置还包括：

采集模块，用于如果不存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，或者如果所述至少一帧图像及所述当前帧图像对应的采集时长未达到设定时长阈值，继续采集图像，并将采集到的图像作为采集到的当前帧图像。

进一步地，所述确定模块，具体用于根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定所述用户的至少一个手指的位置信息；针对每个手指，将每帧图像中的该手指的位置信息进行线性拟合；根据拟合后的该手指的位置信息，确定该手指的移动轨迹；如果存在至少一个手指的移动轨迹与保存的手势操作预设轨迹匹配，将所述匹配的手势操作预设轨迹对应的手势操作，确定为所述用户的手势操作。

进一步地，所述手势操作预设轨迹包括以下至少一种：沿着第一方向滑动的第一预设轨迹；沿着第二方向滑动的第二预设轨迹，其中所述第一方向和所述第二方向不同；顺时针方向旋转的第三预设轨迹；和逆时针方向旋转的第四预设轨迹。

进一步地，所述特征检测模型包括MTCNN。

进一步地，所述确定模块，具体用于MTCNN中的P-Net分支网络结构判断所述当前帧图像中是否存在用户的手部特征信息，并在所述当前帧图像中存在用户的手部特征信息时，确定包括用户手部的手势区域候选框；MTCNN中的R-Net分支网络结构去除所述当前帧图像中不包括用户手部的非目标区域；MTCNN中的O-Net分支网络结构在所述当前帧图像包括用户手部的手势区域候选框中，输出所述当前帧图像存在的用户的手部特征信息。

本发明提供了一种控制设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。

本发明提供了一种计算机可读存储介质，其存储有可由控制设备执行的计算机程序，当所述程序在所述控制设备上运行时，使得所述控制设备执行上述任一项所述方法的步骤。

本发明提供了一种家居设备控制方法、装置、控制设备及可读存储介质，该方法包括：将采集到的当前帧图像输入到预先训练完成的特征检测模型中；如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。本发明中控制设备基于特征检测模型，确定采集到的当前帧图像中用户的手势操作，将手势操作对应的控制指令发送给对应的家居设备，从而用户通过进行手势操作对家居设备进行控制，提高了家居设备控制和用户操作的便捷性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种家居设备控制过程的示意图；

图2为本发明实施例4提供的一种家居设备控制的流程示意图；

图3为本发明实施例5提供的一种用户手势示意图；

图4为本发明实施例6提供的一种MTCNN的结构示意图；

图5为本发明实施例提供的一种控制设备的结构示意图；

图6为本发明实施例提供的一种家居设备控制装置示意图。

具体实施方式

为了提高家居设备控制和用户操作的便捷性，本发明实施例提供了一种家居设备控制方法、装置、控制设备及可读存储介质。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种家居设备控制过程的示意图，该过程包括以下步骤：

S101：将采集到的当前帧图像输入到预先训练完成的特征检测模型中。

本发明实施例提供的家居设备控制方法应用于控制设备，该控制设备可以为用户终端、穿戴式设备等，可以为家居环境中的其他电子设备等，如家庭网关。

针对控制设备，随着电子半导体技术的发展，人们所使用的设备也越来越轻量化。相比于十年前笨重的台式机，现在的电子设备不仅越来越薄，而且功能也越来越多。手表作为穿戴和装饰的一种产品，人们已不满足于仅仅的计时功能，更希望于它能变地更加多元化，因此本发明实施例中的控制设备可以为智能手表。

该控制设备能够获取到采集到的图像，并将获取到的采集到的图像确定为当前帧图像进行家居设备的控制。

具体地，该控制设备可以集成有图像采集装置，例如为摄像头或者微型摄像头等，该控制设备能够获取该图像采集装置采集到的当前帧图像，如果该控制设备未集成有图像采集装置，则外置的图像采集装置能够与控制设备进行通信，将采集到的当前帧图像发送给控制设备。

控制设备中保存有预先训练完成的特征检测模型，所述特征检测模型包括MTCNN(multitask convolutional neural networks，多任务级联卷积网络)，也可以包括采用其他神经网络训练得到的特征检测模型。

控制设备获取到采集到的当前帧图像后，将采集到的当前帧图像输入到该预先训练完成的特征检测模型中。

S102：如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作。

控制设备将采集到的当前帧图像输入到预先训练完成的特征检测模型中，基于该特征检测模型，可以确定当前帧图像是否存在用户的手部特征信息，如果确定当前帧图像存在用户的手部特征信息，则可以认为当前帧图像中出现了用户手势，如果确定当前帧图像不存在用户的手部特征信息，则可以认为当前帧图像中未出现用户手势。

如果确定当前帧图像存在用户的手部特征信息，该控制设备根据确定的该手部特征信息对应的手部状态，确定用户的手势操作。

所述手部特征信息对应的手部状态包括：握拳状态或张开状态。

如果该手部特征信息对应的手部状态为握拳状态，则可以确定用户的手势操作为握拳操作，该握拳操作可以对应于预设的手势操作0。

如果该手部特征信息对应的手部状态为张开状态，则可以确定用户的手势操作为张开操作，该张开操作可以对应于预设的手势操作1，当然由于用户手部张开时较握拳时，手势操作灵活多样，还可以根据手部特征信息对应的手部状态均为张开状态的多帧图像共同确定用户的手势操作，为了保证对家居设备控制的准确性，该多帧图像可以为连续采集到的多帧图像。

S103：将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

该控制设备中还可以保存有手势操作与控制指令的对应关系，因此控制设备确定用户的手势操作后，可以根据手势操作与控制指令的对应关系，确定该手势操作对应的控制指令。控制指令可以为家居设备能够识别的机器指令。

该手势操作与控制指令的对应关系可以为用户根据自己实际使用需求进行设置，可以是控制设备出厂时预先设置的。

该控制设备中可以保存有特定的家居设备，可以是保存有手势操作对应的家居设备，可以是控制设备当前操作界面对应的家居设备等。该特定的家居设备，或者手势操作对应的家居设备可以为用户根据实际使用需求进行设置的，可以是控制设备出厂时预先设置的。

控制设备确定手势操作对应的控制指令后，将确定的该控制指令发送给对应的家居设备，具体地，可以是将确定的该控制指令发送给特定的家居设备，可以是将确定的该控制指令发送给该手势操作对应的家居设备。

该控制设备可以是通过通信模块将确定的该控制指令发送给对应的家居设备，该通信模块可以为WiFi模块、蓝牙模块、ZigBee模块或者GPRS模块等。

家居设备接收到控制指令后，执行该控制指令对应的功能，从而控制设备与家居设备进行互联互通，用户通过手势操作实现对家居设备的控制。

本发明实施例中所指家居设备可以为冰箱、洗衣机、电饭煲等家居设备，也可以为智能门、窗户等家居设备。

本发明中控制设备基于特征检测模型，确定采集到的当前帧图像中用户的手势操作，将手势操作对应的控制指令发送给对应的家居设备，从而用户通过进行手势操作对家居设备进行控制，提高了家居设备控制和用户操作的便捷性。

实施例2：

为了保证对家居设备控制的准确性，在上述实施例的基础上，本发明实施例中，如果当前帧图像存在的用户的手部特征信息对应的手部状态为张开状态，所述根据所述手部特征信息对应的手部状态，确定用户的手势操作包括：

判断是否存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像；

如果是，判断所述至少一帧图像及所述当前帧图像对应的采集时长是否达到了设定时长阈值；

如果是，根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作。

用户手部张开时手势操作比较灵活多变，根据连续采集到的多帧图像中用户的手部特征信息，确定的用户的手势操作更加准确，从而保证了对家居设备的控制能够更加准确。

由于控制设备针对采集到的每帧图像，在该帧图像存在用户的手部特征信息时，均确定了用户的手部特征信息对应的手部状态，并且控制设备能够获取到每帧图像的采集时间，即采集到每帧图像的时间，因此控制设备可以判断是否存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像。

具体地，控制设备可以先确定与当前帧图像采集时间连续，且采集时间位于当前帧图像之前的图像，在确定的图像中确定是否存在手部特征信息对应的手部状态均为张开状态的连续的至少一帧图像。当然也可以是控制设备确定手部特征信息对应的手部状态均为张开状态的至少一帧图像，判断该至少一帧图像是否与当前帧图像连续等。

如果控制设备确定存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，为了保证对家居设备控制的准确性，控制设备可以判断至少一帧图像及当前帧图像对应的采集时长是否达到了设定时长阈值。

控制设备中可以保存有设定时长阈值，该设定时长阈值可以用来表示采样时间，该设定时长阈值任意，可以用户根据自己实际需求进行设置，可以是统计到的用户完成一个手势操作所需的时长等，在本发明实施例中不做限定。

控制设备确定该至少一帧图像及当前帧图像对应的采集时间可以是根据至少一帧图像中最早的采集时间，与当前帧图像的采集时间的差值，确定对应的采集时长，可以是根据至少一帧图像中最早的采集时间，与当前系统时间的差值，确定对应的采集时长等。

如果控制设备确定该至少一帧图像及当前帧图像对应的采集时长达到了设定时长阈值，控制设备根据该至少一帧图像及当前帧图像中用户的手部特征信息，确定用户的手势操作。

控制设备根据该至少一帧图像及当前帧图像中用户的手部特征信息，确定用户的手势操作时，可以直接根据张开状态确定张开操作，也可以是根据每帧图像手部的位置信息，确定用户的手势操作等。

本发明实施例中根据连续采集到的多帧图像中用户的手部特征信息，确定的用户的手势操作更加准确，从而保证了对家居设备的控制能够更加准确。

实施例3：

为了进一步保证对家居设备的控制更加准确，在上述各实施例的基础上，本发明实施例中，如果不存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，或者如果所述至少一帧图像及所述当前帧图像对应的采集时长未达到设定时长阈值，所述方法还包括：

继续采集图像，并将采集到的图像作为采集到的当前帧图像。

如果控制设备确定不存在当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，控制设备继续采集图像，并将采集到的图像作为采集到的当前帧图像。

或者如果控制设备确定至少一帧图像及当前帧图像对应的采集时长未达到设定时长阈值，控制设备继续采集图像，并将采集到的图像作为采集到的当前帧图像。

在本发明实施例中控制设备具备图像采集功能，即控制设备集成有摄像头。

实施例4：

在上述各实施例的基础上，本发明实施例中，所述根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作包括：

根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定所述用户的至少一个手指的位置信息；针对每个手指，将每帧图像中的该手指的位置信息进行线性拟合；根据拟合后的该手指的位置信息，确定该手指的移动轨迹；

如果存在至少一个手指的移动轨迹与保存的手势操作预设轨迹匹配，将所述匹配的手势操作预设轨迹对应的手势操作，确定为所述用户的手势操作。

控制设备可以根据用户手部中至少一个手指的移动轨迹确定用户的手势操作，用户手部不同的移动轨迹可能对应不同的手势操作，从而对家居设备进行不同的控制，提高了家居设备控制的灵活性。

控制设备可以根据该至少一帧图像及该当前帧图像中用户的手部特征信息，确定用户的至少一个手指的位置信息，具体地，控制设备可以是基于特征检测模型确定用户手部的至少一个手指的位置信息，可以是控制根据保存的图像识别算法，识别图像中用户手部的至少一个手指的位置信息等。

手指的位置信息可以是手指相对于图像中参考点的位置信息，可以是手指为图像坐标系中的坐标信息等。

控制设备针对每个手指，将每帧图像中该手指的位置信息进行线性拟合。

对多个位置进行线性拟合的过程中可以采用现有技术实现，在本发明实施例中不做赘述。

控制设备针对每个手指，根据拟合后的该手指的位置信息，确定该手指的移动轨迹，具体地按照每帧图像采集时间的先后顺序，确定拟合后的该手指的位置信息对应的该手指的移动轨迹，因此该手指的移动轨迹包括该手指的移动方向和移动形状。

控制设备中保存有手势操作预设轨迹，手势操作预设轨迹可以为一种或多种，该手势操作预设轨迹可以为用户根据自己使用需求进行设置的，可以是设备出厂前预先设置的。

控制设备确定每个手指的移动轨迹后，可以确定是否存在至少一个手指的移动轨迹与保存的手势操作预设轨迹匹配，如果是，将匹配的手势操作预设轨迹对应的手势操作确定为用户的手势操作，如果否，可以认为用户的手势操作为无效操作，不进行处理响应。

具体地，控制设备可以将每个手指的移动轨迹与保存的手势操作预设轨迹进行匹配，可以是根据每个手指的移动轨迹，确定至少一个手指的移动轨迹，即将至少一个手指的移动轨迹看作一个整体，确定为用户手部的移动轨迹，将用户手部的移动轨迹与保存的手势操作预设轨迹进行匹配。

由于用户的手部特征信息对应的手部状态为张开状态时，通常用户五个手指全部张开，获取到的至少一个手指的位置信息可以五个手指的位置信息，如果将至少一个手指的移动轨迹看作一个整体，则可以将五个手指的移动轨迹看作一个整体。

下面一个实施例对上述各实施例进行说明，以控制设备为智能手表为例，智能手表加装有微型摄像头，如图2所示，摄像头采集图像数据，将采集到图像数据输入MTCNN网络，即将采集到的图像数据作为当前帧图像输入MTCNN网络，基于MTCNN网络，判断当前帧图像中是否有手，即是否存在用户的手部特征信息，如果否，返回摄像头采集图像数据，如果是，判断是否处于张开状态，即用户的用户特征信息对应的手部状态是否为张开状态，如果否，确定握拳操作对应的控制指令，将握拳操作对应的控制指令作为手势指令输出，即输出至对应的家居设备。如果确定处于张开状态，MTCNN网络输出当前该帧图像的手势中心，手势中心为五个手指的指尖坐标。

控制设备判断是否达到采样时间T，具体地，在不存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像时，确定未达到采样时间T，在存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像时，且确定该至少一帧图像及当前帧图像对应的采集时长达到设定时长阈值时，确定达到采样时间T，反之，确定未达到采样时间T。

如果确定未达到采样时间T，返回摄像头采集图像数据，如果确定达到采样时间T，根据至少一帧图像及当前帧图像中用户的手势中心，确定用户的手势操作，并确定该手势操作对应的控制指令，将该控制指令作为手势指令输出，即输出至对应的家居设备。

控制设备可以根据用户手部中至少一个手指的移动轨迹确定用户的手势操作，用户手部不同的移动轨迹可能对应不同的手势操作，从而对家居设备进行不同的控制，提高了家居设备控制的灵活性。

实施例5：

在上述各实施例的基础上，本发明实施例中，所述手势操作预设轨迹包括以下至少一种：

沿着第一方向滑动的第一预设轨迹；

沿着第二方向滑动的第二预设轨迹，其中所述第一方向和所述第二方向不同；

顺时针方向旋转的第三预设轨迹；和

逆时针方向旋转的第四预设轨迹。

可以提供多种手势操作预设轨迹，从而用户根据不同的手势操作对家居设备进行相应控制。

为了简化用户操作，手势操作不宜设置的过于复杂，以简单可相互辨别为基础进行设置，因此在本发明实施例中手势操作预设轨迹包括沿着第一方向滑动的第一预设轨迹、沿着第二方向滑动的第二预设轨迹、顺时针方向旋转的第三预设轨迹和逆时针方向旋转的第四预设轨迹中的至少一种，较佳地包括这几种的每一种，加上握拳手势，至少包括五种用户手势。

该第一方向和第二方向不同。

用户的手势操作可以如图3所示，根据用户的手部特征信息识别结果，确定的用户的手势操作可以包括姿势0握拳，姿势1左滑即沿着第一方向的滑动操作，姿势2右滑即沿着第二方向的滑动操作，姿势3顺时针旋转一周，姿势4逆时针旋转一周，在此第一方向和第二方向不同且相反，姿势1左滑和姿势2右滑可以是手势的出现位置相对于图像中心位置的左右，如沿着图像坐标系横坐标正向滑动认为是右滑，沿着图像坐标系横坐标反向滑动认为是左滑。因此手势在每一帧图片中出现的位置即可对总体的移动方式进行判别，如以图片中心即摄像头所处位置为原点建立平面直角坐标系，那么MTCNN网络输出的每帧图片中手势的中心位置坐标进行判定即可得到当前状态下用户的手是以何种方式移动，从而发出相应的控制指令。

所识别的手势动作用于中央控制器发出相对应的指令，因此手势与指令为一一对应的关系，一种手势对应一种指令。

本发明实施例中提供了多种手势操作预设轨迹，用户手部不同的移动轨迹可以对应不同的手势操作，从而对家居设备进行不同的控制，提高了家居设备控制的灵活性。

实施例6：

在上述各实施例的基础上，本发明实施例中，基于所述特征检测模型，确定当前帧图像存在的用户的手部特征信息包括：

MTCNN中的P-Net分支网络结构判断所述当前帧图像中是否存在用户的手部特征信息，并在所述当前帧图像中存在用户的手部特征信息时，确定包括用户手部的手势区域候选框；

MTCNN中的R-Net分支网络结构去除所述当前帧图像中不包括用户手部的非目标区域；

MTCNN中的O-Net分支网络结构在所述当前帧图像包括用户手部的手势区域候选框中，输出所述当前帧图像存在的用户的手部特征信息。

如果特征检测模型包括MTCNN，MTCNN包括P-Net分支网络结构、R-Net分支网络结构和O-Net分支网络结构，如图4所示，P-Net配备三个卷积层conv1、conv2和conv3；R-Net配备三个卷积层conv4、conv5和conv6和一个全链接层FC1；O-Net配备四个卷积层conv7、conv8、conv9和conv10和一个全链接层FC2。

将当前帧图像输入至MTCNN时，首先计入P-Net分支网络结构进行卷积计算，P-Net判断当前帧图像是否存在用户的手部特征信息，如果存在，输出手势判断值T，如果不存在，输出手势判断值F；还用于获取包括用户手部的手势区域候选框，具体地，获取手势区域候选框和候选框回归值，通过候选框回归值对手势区域候选框做回归，对手势区域候选框进行校准，通过非极大值抑制算法合并重叠程度高于设定重叠程度阈值的手势区域候选框，作为包括用户手部的手势区域候选框。

R-Net去除当前帧图像中不包括用户手部的非目标区域，具体地通过候选框回归算法和非极大值抑制算法去除非目标区域，由于该分支网络结构与P-Net网络结构有差异，多了一个全链接层FC1，因此会有更好的抑制效果。

O-Net在当前帧图像包括用户手部的手势区域候选框中，输出当前帧图像存在的用户的手部特征信息，O-Net分支网络结构其作用与前两层卷积网络大体一致，但是比R-Net分支网络结构多了一层卷积层，所以处理结果会更加精细，该分支网络结构对用户手势区域进行更多监督，因此会输出手势中心，至少一个手指的位置信息。

本发明中控制设备基于特征检测模型，确定采集到的当前帧图像中用户的手势操作，将手势操作对应的控制指令发送给对应的家居设备，从而用户通过进行手势操作对家居设备进行控制，提高了家居设备控制和用户操作的便捷性。

实施例7：

在上述各实施例的基础上，本发明实施例还提供了一种控制设备，如图5所示，包括：处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信；

所述存储器503中存储有计算机程序，当所述程序被所述处理器501执行时，使得所述处理器501执行如下步骤：

将采集到的当前帧图像输入到预先训练完成的特征检测模型中；

如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；

将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

上述控制设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口502用于上述控制设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本发明实施例中，处理器执行存储器上所存放的程序时，实现基于特征检测模型，确定采集到的当前帧图像中用户的手势操作，将手势操作对应的控制指令发送给对应的家居设备，从而用户通过进行手势操作对家居设备进行控制，提高了家居设备控制和用户操作的便捷性。

实施例8：

在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由控制设备执行的计算机程序，当所述程序在所述控制设备上运行时，使得所述控制设备执行时实现如下步骤：

将采集到的当前帧图像输入到预先训练完成的特征检测模型中；

如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；

将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

上述计算机可读存储介质可以是控制设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。

在本发明实施例中提供的计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现基于特征检测模型，确定采集到的当前帧图像中用户的手势操作，将手势操作对应的控制指令发送给对应的家居设备，从而用户通过进行手势操作对家居设备进行控制，提高了家居设备控制和用户操作的便捷性。

图6为本发明实施例提供的一种家居设备控制装置示意图，应用于控制设备，该装置包括：

输入模块601，用于将采集到的当前帧图像输入到预先训练完成的特征检测模型中；

确定模块602，用于如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；

控制模块603，用于将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

所述手部特征信息对应的手部状态包括：握拳状态或张开状态。

如果当前帧图像存在的用户的手部特征信息对应的手部状态为张开状态，所述确定模块602，具体用于判断是否存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像；如果是，判断所述至少一帧图像及所述当前帧图像对应的采集时长是否达到了设定时长阈值；如果是，根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作。

所述装置还包括：

采集模块604，用于如果不存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，或者如果所述至少一帧图像及所述当前帧图像对应的采集时长未达到设定时长阈值，继续采集图像，并将采集到的图像作为采集到的当前帧图像。

所述确定模块602，具体用于根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定所述用户的至少一个手指的位置信息；针对每个手指，将每帧图像中的该手指的位置信息进行线性拟合；根据拟合后的该手指的位置信息，确定该手指的移动轨迹；如果存在至少一个手指的移动轨迹与保存的手势操作预设轨迹匹配，将所述匹配的手势操作预设轨迹对应的手势操作，确定为所述用户的手势操作。

所述手势操作预设轨迹包括以下至少一种：沿着第一方向滑动的第一预设轨迹；沿着第二方向滑动的第二预设轨迹，其中所述第一方向和所述第二方向不同；顺时针方向旋转的第三预设轨迹；和逆时针方向旋转的第四预设轨迹。

所述特征检测模型包括MTCNN。

所述确定模块602，具体用于MTCNN中的P-Net分支网络结构判断所述当前帧图像中是否存在用户的手部特征信息，并在所述当前帧图像中存在用户的手部特征信息时，确定包括用户手部的手势区域候选框；MTCNN中的R-Net分支网络结构去除所述当前帧图像中不包括用户手部的非目标区域；MTCNN中的O-Net分支网络结构在所述当前帧图像包括用户手部的手势区域候选框中，输出所述当前帧图像存在的用户的手部特征信息。

本发明实施例中控制设备基于特征检测模型，确定采集到的当前帧图像中用户的手势操作，将手势操作对应的控制指令发送给对应的家居设备，从而用户通过进行手势操作对家居设备进行控制，提高了家居设备控制和用户操作的便捷性。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种家居设备控制方法，其特征在于，应用于控制设备，该方法包括：

将采集到的当前帧图像输入到预先训练完成的特征检测模型中；

如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；

将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

2.如权利要求1所述的方法，其特征在于，所述手部特征信息对应的手部状态包括：握拳状态或张开状态。

3.如权利要求2所述的方法，其特征在于，如果当前帧图像存在的用户的手部特征信息对应的手部状态为张开状态，所述根据所述手部特征信息对应的手部状态，确定用户的手势操作包括：

判断是否存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像；

如果是，判断所述至少一帧图像及所述当前帧图像对应的采集时长是否达到了设定时长阈值；

如果是，根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作。

4.如权利要求3所述的方法，其特征在于，如果不存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，或者如果所述至少一帧图像及所述当前帧图像对应的采集时长未达到设定时长阈值，所述方法还包括：

继续采集图像，并将采集到的图像作为采集到的当前帧图像。

5.如权利要求3所述的方法，其特征在于，所述根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作包括：

根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定所述用户的至少一个手指的位置信息；针对每个手指，将每帧图像中的该手指的位置信息进行线性拟合；根据拟合后的该手指的位置信息，确定该手指的移动轨迹；

如果存在至少一个手指的移动轨迹与保存的手势操作预设轨迹匹配，将所述匹配的手势操作预设轨迹对应的手势操作，确定为所述用户的手势操作。

6.如权利要求5所述的方法，其特征在于，所述手势操作预设轨迹包括以下至少一种：

沿着第一方向滑动的第一预设轨迹；

沿着第二方向滑动的第二预设轨迹，其中所述第一方向和所述第二方向不同；

顺时针方向旋转的第三预设轨迹；和

逆时针方向旋转的第四预设轨迹。

7.如权利要求1所述的方法，其特征在于，所述特征检测模型包括多任务级联卷积网络MTCNN。

8.如权利要求7所述的方法，其特征在于，基于所述特征检测模型，确定当前帧图像存在的用户的手部特征信息包括：

MTCNN中的P-Net分支网络结构判断所述当前帧图像中是否存在用户的手部特征信息，并在所述当前帧图像中存在用户的手部特征信息时，确定包括用户手部的手势区域候选框；

MTCNN中的R-Net分支网络结构去除所述当前帧图像中不包括用户手部的非目标区域；

MTCNN中的O-Net分支网络结构在所述当前帧图像包括用户手部的手势区域候选框中，输出所述当前帧图像存在的用户的手部特征信息。

9.一种家居设备控制装置，其特征在于，应用于控制设备，该装置包括：

输入模块，用于将采集到的当前帧图像输入到预先训练完成的特征检测模型中；

确定模块，用于如果基于所述特征检测模型，确定当前帧图像存在用户的手部特征信息，根据所述手部特征信息对应的手部状态，确定用户的手势操作；

控制模块，用于将所述手势操作对应的控制指令发送给对应的家居设备，使所述家居设备执行所述控制指令对应的功能。

10.如权利要求9所述的装置，其特征在于，所述手部特征信息对应的手部状态包括：握拳状态或张开状态。

11.如权利要求10所述的装置，其特征在于，如果当前帧图像存在的用户的手部特征信息对应的手部状态为张开状态，所述确定模块，具体用于判断是否存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像；如果是，判断所述至少一帧图像及所述当前帧图像对应的采集时长是否达到了设定时长阈值；如果是，根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定用户的手势操作。

12.如权利要求11所述的装置，其特征在于，所述装置还包括：

采集模块，用于如果不存在位于当前帧图像之前且连续的手部特征信息对应的手部状态为张开状态的至少一帧图像，或者如果所述至少一帧图像及所述当前帧图像对应的采集时长未达到设定时长阈值，继续采集图像，并将采集到的图像作为采集到的当前帧图像。

13.如权利要求11所述的装置，其特征在于，所述确定模块，具体用于根据所述至少一帧图像及所述当前帧图像中用户的手部特征信息，确定所述用户的至少一个手指的位置信息；针对每个手指，将每帧图像中的该手指的位置信息进行线性拟合；根据拟合后的该手指的位置信息，确定该手指的移动轨迹；如果存在至少一个手指的移动轨迹与保存的手势操作预设轨迹匹配，将所述匹配的手势操作预设轨迹对应的手势操作，确定为所述用户的手势操作。

14.如权利要求13所述的装置，其特征在于，所述手势操作预设轨迹包括以下至少一种：沿着第一方向滑动的第一预设轨迹；沿着第二方向滑动的第二预设轨迹，其中所述第一方向和所述第二方向不同；顺时针方向旋转的第三预设轨迹；和逆时针方向旋转的第四预设轨迹。

15.如权利要求9所述的装置，其特征在于，所述特征检测模型包括多任务级联卷积网络MTCNN。

16.如权利要求15所述的装置，其特征在于，所述确定模块，具体用于MTCNN中的P-Net分支网络结构判断所述当前帧图像中是否存在用户的手部特征信息，并在所述当前帧图像中存在用户的手部特征信息时，确定包括用户手部的手势区域候选框；MTCNN中的R-Net分支网络结构去除所述当前帧图像中不包括用户手部的非目标区域；MTCNN中的O-Net分支网络结构在所述当前帧图像包括用户手部的手势区域候选框中，输出所述当前帧图像存在的用户的手部特征信息。

17.一种控制设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～8任一项所述方法的步骤。

18.一种计算机可读存储介质，其特征在于，其存储有可由控制设备执行的计算机程序，当所述程序在所述控制设备上运行时，使得所述控制设备执行权利要求1～8任一项所述方法的步骤。