CN108897421A - 电子设备及其控制方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种电子设备控制方法，所述电子设备控制方法包括以下步骤：获取电子设备作用空间内的图像信息；从所述图像信息中确定控制电子设备所需的控制图像信息，所述控制图像信息为所述图像信息中除预设干扰图像信息之外的图像信息；根据所述控制图像信息生成电子设备控制信息，并根据所述控制信息控制电子设备的运行。本发明还公开了一种电子设备控制装置、电子设备和计算机可读存储介质。本发明控制图像信息为除预设干扰信息之外的图像信息，去除会干扰控制信息的图像信息，得到准确的控制图像信息，进而可以得到更加准确的控制信息，从而准确控制电子设备的运行。

Description

电子设备及其控制方法、装置和计算机可读存储介质

技术领域

本发明涉及电子设备技术领域，尤其涉及电子设备及其控制方法、装置和计算机可读存储介质。

背景技术

目前，越来越多的电子设备进入人们的日常生活和工作当中。所述电子设备以空调器为例，在空调器运行过程中，用户经常会调整空调器的运行参数。会通过自动获取图像的方式来控制送风方式，所述图像信息中包括用户手势或者其他形式的动作，用户可通过手势等方式来控制空调器。

然而，上述的手势等图像信息获取的准确率差，导致空调器的控制准确率差。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种电子设备控制方法、装置、电子设备和计算机可读存储介质，旨在解决目前上述的手势等图像信息获取的准确率差，导致空调器的控制准确率差的问题。

为实现上述目的，本发明一方面提供一种电子设备控制方法，所述电子设备控制方法包括以下步骤：

获取电子设备作用空间内的图像信息；

从所述图像信息中确定控制电子设备所需的控制图像信息，所述控制图像信息为所述图像信息中除预设干扰图像信息之外的图像信息；

根据所述控制图像信息生成电子设备控制信息，并根据所述控制信息控制电子设备的运行。

可选地，所述从所述图像信息中确定控制电子设备所需的控制图像信息的步骤之前，还包括：

通过摄像装置采集电子设备作用空间内的预设图像信息，所述预设图像信息中不携带用户信息；

从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息。

可选地，所述从所述预设图像信息中提取出固定物品的图像信息的步骤包括：

获取所述电子设备作用空间内的布局信息；

根据所述布局信息从所述预设图像信息中提取出固定物品的图像信息。

可选地，所述获取所述电子设备作用空间内的布局信息的步骤之后，还包括：

提取布局信息中固定物品的图像信息；

根据所述布局信息中固定物品的图像信息从所述预设图像信息中提取出固定物品的图像信息。

可选地，所述从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息的步骤之后，还包括：

将所述预设干扰图像信息的检测阈值提高至设定值。

可选地，所述从所述图像信息中确定控制电子设备所需的控制图像信息的步骤包括：

按照预设检测阈值检测所述图像信息，从中确定检测值小于所述预设检测阈值的图像信息，将小于预设检测阈值的图像信息作为控制图像信息，其中，所述预设检测阈值小于所述设定值。

可选地，所述方法，还包括：

重新获取所述电子设备作用空间内的布局信息；

将所述重新获取的布局信息与上一次获取的布局信息比对；

在存在差异时，根据重新获取的布局信息从所述预设图像信息中提取出固定物品的图像信息。

此外，为实现上述目的，本发明另一方面还提供一种电子设备控制装置，所述电子设备控制装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的方法的步骤。

此外，为实现上述目的，本发明另一方面还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的方法的步骤。

可选地，所述电子设备为空调器。

此外，为实现上述目的，本发明再一方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有电子设备控制程序，所述电子设备控制程序被处理器执行时实现如上所述的显示界面显示方法。

本发明通过采集到电子设备作用空间内的图像信息，从中确定控制图像信息，控制图像信息为除预设干扰信息之外的图像信息，去除会干扰控制信息的图像信息，得到准确的控制图像信息，进而可以得到更加准确的控制信息，从而准确控制电子设备的运行。

附图说明

图1为本发明一实施例方案涉及的硬件运行环境的电子设备结构示意图；

图2为本发明电子设备控制方法的第一实施例的流程示意图；

图3为本发明电子设备控制方法的第二实施例的流程示意图；

图4为本发明一实施例中从所述预设图像信息中提取出固定物品的图像信息的细化流程示意图；

图5为本发明电子设备控制方法的第三实施例的流程示意图；

图6为本发明电子设备控制方法的第四实施例的流程示意图；

图7为本发明一实施例中电子设备控制过程的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取电子设备作用空间内的图像信息；从所述图像信息中确定控制电子设备所需的控制图像信息，所述控制图像信息为所述图像信息中除预设干扰图像信息之外的图像信息；根据所述控制图像信息生成电子设备控制信息，并根据所述控制信息控制电子设备的运行。

由于目前的手势等图像信息获取的准确率差，导致空调器的控制准确率差的问题。本发明提供一种解决方案，通过采集到电子设备作用空间内的图像信息，从中确定控制图像信息，控制图像信息为除预设干扰信息之外的图像信息，去除会干扰控制信息的图像信息，得到准确的控制图像信息，进而可以得到更加准确的控制信息，从而准确控制电子设备的运行。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。

本发明实施例电子设备可以是空调器，也可是控制设备通信连接的其他被控设备，例如，风扇、电视。通过摄像装置采集图像信息，从该图像信息中取出干扰图像信息，得到准确的控制图像信息，从而根据控制图像信息确定控制信息，通过排除干扰信息，控制电子设备的运行，使得电子设备的运行更加准确。

如图1所示，该电子设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，电子设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块、检测器(雷达传感器1006)等等。当然，电子设备还可配置陀螺仪、气压计、湿度计、温度计、温度传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及电子设备控制应用程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的电子设备控制应用程序，并执行以下操作：

获取电子设备作用空间内的图像信息；

从所述图像信息中确定控制电子设备所需的控制图像信息，所述控制图像信息为所述图像信息中除预设干扰图像信息之外的图像信息；

根据所述控制图像信息生成电子设备控制信息，并根据所述控制信息控制电子设备的运行。

进一步地，所述从所述图像信息中确定控制电子设备所需的控制图像信息的步骤之前，处理器1001可以用于调用存储器1005中存储的显示界面显示应用程序，并执行以下操作：

通过摄像装置采集电子设备作用空间内的预设图像信息，所述预设图像信息中不携带用户信息；

从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息。

进一步地，处理器1001可以用于调用存储器1005中存储的显示界面显示应用程序，并执行以下操作：

获取所述电子设备作用空间内的布局信息；

根据所述布局信息从所述预设图像信息中提取出固定物品的图像信息。

进一步地，所述获取所述电子设备作用空间内的布局信息的步骤之后，处理器1001可以用于调用存储器1005中存储的显示界面显示应用程序，并执行以下操作：

提取布局信息中固定物品的图像信息；

根据所述布局信息中固定物品的图像信息从所述预设图像信息中提取出固定物品的图像信息。

进一步地，所述从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息的步骤之后，处理器1001可以用于调用存储器1005中存储的显示界面显示应用程序，并执行以下操作：

将所述预设干扰图像信息的检测阈值提高至设定值。

进一步地，处理器1001可以用于调用存储器1005中存储的显示界面显示应用程序，并执行以下操作：

按照预设检测阈值检测所述图像信息，从中确定检测值小于所述预设检测阈值的图像信息，将小于预设检测阈值的图像信息作为控制图像信息，其中，所述预设检测阈值小于所述设定值。

进一步地，处理器1001可以用于调用存储器1005中存储的显示界面显示应用程序，并执行以下操作：

重新获取所述电子设备作用空间内的布局信息；

将所述重新获取的布局信息与上一次获取的布局信息比对；

在存在差异时，根据重新获取的布局信息从所述预设图像信息中提取出固定物品的图像信息。

参照图2，本发明的一实施例提供一种电子设备控制方法，所述电子设备控制方法包括：

步骤S10，获取电子设备作用空间内的图像信息；

在本实施例中，所述电子设备可以是空调器、除湿机或净化器、电视、冰箱等；所述电子设备作用空间为一建筑或构建物内的空间环境，例如，以空调器为例，为空调器发生制冷、制热或除湿等功能所产生作用的空间环境，所作用的空间可以是空调器所在的空间，或者是空调器可以设置空间外部，但会对该空间起到制冷、制热或除湿的效果；所述空间环境，例如，为用户的卧室，房间(卧室)、厨房，或者是商场等。所述电子设备作用空间内的图像信息，可以是是否包括用户，用户与电子设备的角度，距离，和/用户数量等信息，也可以包括电子设备作用空间内固定物品的信息，例如，沙发，柜子，画册，图画等信息。

所述电子设备根据控制指令或者根据设定的条件自动开启，在电子设备开启后，可通过设置于电子设备上的或者设置于电子设备之外但与电子设备连接的摄像装置来检测得到电子设备作用空间内的图像信息。所述摄像装置可以是摄像头，或者携带摄像头的设备，例如，可以是手机，而此时摄像装置设置于电子设备之外，与电子设备通过无线或者有线的方式连接，或者通过设置于环境中的无线热点连接。

步骤S20，从所述图像信息中确定控制电子设备所需的控制图像信息，所述控制图像信息为所述图像信息中除预设干扰图像信息之外的图像信息；

提前设置干扰图像信息，作为预设干扰图像信息，参考图3，在从所述图像信息中确定控制电子设备所需的控制图像信息的步骤之前，还包括：

步骤S40，通过摄像装置采集电子设备作用空间内的预设图像信息，所述预设图像信息中不携带用户信息；

步骤S50，从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息。

提前在电子设备作用空间内不存在用户时，控制摄像装置采集作用空间的图像信息，该图像信息中出现的物品的图像为不携带用户信息的图像信息，该图像信息中的固定物品的图像信息就为预设干扰图像信息。具体的，可以是通过ODM模型定时(每1、2、5小时或每天，可调整)检测出家居物体布局情况，并缓存在摄像头模组中，该部分布局情况为预设干扰图像信息。

在通过摄像装置拍摄有用户存在的电子设备作用空间内的图像信息后，从所述图像信息中确定用于控制电子设备的控制图像信息，这部分控制图像信息为去除干扰的图像信息，为用户的操作信息。具体的，可以是通过该人体检测模型PDM读取ODM模型检测出的结果，把壁画/电视等容易造成误识别的位置区域过滤掉或者降低检测阈值。

步骤S30，根据所述控制图像信息生成电子设备控制信息，并根据所述控制信息控制电子设备的运行。

在从图像信息中确定了控制图像信息后，根据所述控制图像信息生成电子设备控制信息，例如，根据图像信息中的手势操作，得到空调器的控制信息，根据该控制信息控制电子设备的运行，例如控制图像信息中的手势为向下，控制信息为向下送风，则控制导风板向下导风，如果为向上，控制信息为向上送风，则控制导风板向上导风。在生成电子设备控制信息后，例如，根据控制信息确定为送风控制，可以采集图像信息中的用户相对于电子设备的位置和距离，通过位置和距离来控制送风量和送风角度。

本实施例通过采集到电子设备作用空间内的图像信息，从中确定控制图像信息，控制图像信息为除预设干扰信息之外的图像信息，去除会干扰控制信息的图像信息，得到准确的控制图像信息，进而可以得到更加准确的控制信息，从而准确控制电子设备的运行。

而在一实施例中，参考图4，所述从所述预设图像信息中提取出固定物品的图像信息的步骤包括：

步骤S51，获取所述电子设备作用空间内的布局信息；

步骤S52，根据所述布局信息从所述预设图像信息中提取出固定物品的图像信息。

在本实施例中，电子设备每作用的空间内的布局均不同，在设置干扰图像信息时，可通过摄像装置拍摄不存在用户的图像信息，然后根据环境的布局信息不同，从布局信息中得到固定物品的摆放，进而得到固定物品的图像信息，得到准确的干扰图像信息，进而在拍摄存在用户的图像信息后，可快速分析出当前电子设备所在空间内的干扰图像信息，进而更加准确的得到控制信息，控制电子设备的运行。

在一实施例中，所述获取所述电子设备作用空间内的布局信息的步骤之后，还包括：提取布局信息中固定物品的图像信息；根据所述布局信息中固定物品的图像信息从所述预设图像信息中提取出固定物品的图像信息。

在本发明一实施例中，参考图5，所述从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息的步骤之后，还包括：

步骤S60，将所述预设干扰图像信息的检测阈值提高至设定值。

在本实施例中，在识别图像时，会存在检测阈值，在低于检测阈值时，图像中的内容无法识别出来，在提取出固定物品的图像信息后，将这些图像信息对应的检测阈值提高到设定值，所述设定值为与需要识别出来的检测阈值不同，例如，设定值为80或90，需要识别的为50或者40等。

而在此基础之上，所述从所述图像信息中确定控制电子设备所需的控制图像信息的步骤包括：按照预设检测阈值检测所述图像信息，从中确定检测值小于所述预设检测阈值的图像信息，将小于预设检测阈值的图像信息作为控制图像信息，其中，所述预设检测阈值小于所述设定值。所需要识别出来的检测阈值就为预设检测阈值，可设置为50或者40。

通过区分检测阈值，将不需要检测出来的图像信息弱化，在识别时，无法识别出来，进而排出了干扰，提高了控制的准确度。

在一实施例中，参考图6，所述方法，还包括：

步骤S70，重新获取所述电子设备作用空间内的布局信息；

步骤S80，将所述重新获取的布局信息与上一次获取的布局信息比对；

步骤S90，在存在差异时，根据重新获取的布局信息从所述预设图像信息中提取出固定物品的图像信息。

在本实施例中，在电子设备作用空间内的布局信息发生变化时，或者在时间到达时，或者在电子设备控制过程中，重新获取所述电子设备作用空间内的布局信息，重新获取布局信息，是防止布局信息发生变化，预设干扰图像信息的设置存在偏差，导致确定的控制信息不准确的情况，在重新获取到布局信息后，将所述重新获取的布局信息与上一次获取的布局信息比对，在存在差异时，根据重新获取的布局信息从所述预设图像信息中提取出固定物品的图像信息，更新布局信息，在未变化时，不做修改。在存在变化时，根据重新提取的固定物品图像信息，确定干扰图像信息，在控制电子设备时，将重新确定的干扰图像信息排出，做出准确的控制，提高控制准确率。

为了更好的描述本发明实施例，参考图7，所述控制电子设备的过程包括：

步骤S100，通过ODM模型定时(每1、2、5小时或每天，可调整)检测出家居物体布局情况，并缓存在摄像头模组中；

步骤S200，人体检测模型PDM读取ODM模型检测出的结果，把壁画/电视等容易造成误识别的位置区域过滤掉或者降低检测阈值；

步骤S300，人体检测模型PDM工作，将检测到的人体生物特征结果提供给空调端；

空调端根据ODM和PDM的检测结果做出相应的个性化空调。

通过YOLO训练高可靠的物体检测模型ODM，包括常用的客厅家居物体(沙发、茶几、电视、墙壁、天花板、壁画、餐桌……)。

此模型定时在后台运行，不要求实时检测出结果，但要求有较高的检测精度。检测完成后将结果缓存在摄像头模组里面，每次检测完都与之前的结果进行对比，如果家居布局有变化则更新缓存。

YOLO(you only look once)是端到端end-to-end的一种目标检测算法。所谓端到端，就是一端输入整幅图像，另一端直接输出检测目标和位置。

通过YOLO训练实时的人体检测模型PDM，包括人体位置和手势动作检测。要求实时运行并检测结果。ODM(object_detect_model)物体检测模型，用于家居场景的物体检测。

PDM(people_detect_model)人体检测模型，用于实时的人体检测。

本发明还提供一种电子设备控制装置，所述电子设备控制装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上实施例所述的方法的步骤。所述控制装置的处理器与电子设备通信连接，通过摄像装置获取图像信息，从中提取控制图像信息，生成电子设备控制信息，通过该控制信息实现对电子设备的控制。

本发明还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述实施例所述的方法的步骤。所述电子设备优选为空调器，也还可以是风扇、电视、冰箱等。电子设备上安装摄像装置或者连接有摄像装置，通过摄像装置获取图像信息，从中提取控制图像信息，生成电子设备控制信息，通过该控制信息实现对电子设备的控制。

本实施例通过采集到电子设备作用空间内的图像信息，从中确定控制图像信息，控制图像信息为除预设干扰信息之外的图像信息，去除会干扰控制信息的图像信息，得到准确的控制图像信息，进而可以得到更加准确的控制信息，从而准确控制电子设备的运行。

此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质，所述计算机可读存储介质上存储有电子设备控制程序，所述电子设备控制程序被处理器执行时实现如上实施例所述的电子设备控制方法。

此外，本发明还可以提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述实施例所述的方法的步骤。所述电子设备优选为空调器，也还可以是冰箱、油烟机、电视等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种电子设备控制方法，其特征在于，所述电子设备控制方法包括以下步骤：

获取电子设备作用空间内的图像信息；

从所述图像信息中确定控制电子设备所需的控制图像信息，所述控制图像信息为所述图像信息中除预设干扰图像信息之外的图像信息；

根据所述控制图像信息生成电子设备控制信息，并根据所述控制信息控制电子设备的运行。

2.如权利要求1所述的电子设备控制方法，其特征在于，所述从所述图像信息中确定控制电子设备所需的控制图像信息的步骤之前，还包括：

通过摄像装置采集电子设备作用空间内的预设图像信息，所述预设图像信息中不携带用户信息；

从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息。

3.如权利要求2所述的电子设备控制方法，其特征在于，所述从所述预设图像信息中提取出固定物品的图像信息的步骤包括：

获取所述电子设备作用空间内的布局信息；

根据所述布局信息从所述预设图像信息中提取出固定物品的图像信息。

4.如权利要求3所述的电子设备控制方法，其特征在于，所述获取所述电子设备作用空间内的布局信息的步骤之后，还包括：

提取布局信息中固定物品的图像信息；

根据所述布局信息中固定物品的图像信息从所述预设图像信息中提取出固定物品的图像信息。

5.如权利要求2所述的电子设备控制方法，其特征在于，所述从所述预设图像信息中提取出固定物品的图像信息，将固定物品的图像信息作为预设干扰图像信息的步骤之后，还包括：

将所述预设干扰图像信息的检测阈值提高至设定值。

6.如权利要求4所述的电子设备控制方法，其特征在于，所述从所述图像信息中确定控制电子设备所需的控制图像信息的步骤包括：

按照预设检测阈值检测所述图像信息，从中确定检测值小于所述预设检测阈值的图像信息，将小于预设检测阈值的图像信息作为控制图像信息，其中，所述预设检测阈值小于所述设定值。

7.如权利要求3至6任一项所述的电子设备控制方法，其特征在于，所述方法，还包括：

重新获取所述电子设备作用空间内的布局信息；

将所述重新获取的布局信息与上一次获取的布局信息比对；

在存在差异时，根据重新获取的布局信息从所述预设图像信息中提取出固定物品的图像信息。

8.一种电子设备控制装置，其特征在于，所述电子设备控制装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

10.如权利要求9所述的电子设备，其特征在于，所述电子设备为空调器。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有电子设备控制程序，所述电子设备控制控制程序被处理器执行时实现如权利要求1至7中任一项所述的电子设备控制方法。