CN104977904B - 一种可见即可控的智能家居控制系统及控制方法 - Google Patents

Abstract

本发明提供一种可见即可控的智能家居控制系统及控制方法，所述的控制系统利用当场捕获的智能家电的即时图像识别出该智能家电，接着生成基于该智能家电即时图像或预置图像的虚拟实体操作界面和/或辅助操作界面，然后用户即可操控智能家电；本发明的控制系统利用智能家电的即时图像识别出用户要控制的智能家电，使用户不再需要从家电菜单中选择需要控制的智能家电，用户只要能看到智能家电就能控制它；本发明的控制系统提供的虚拟实体操作界面与实体操作界面完全相同，让用户有一种直接操作智能家电实体的感觉，可视性强，操作方便，用户体验好，容易上手，甚至不识字的人也能使用；此外，本发明的控制系统可以利用一台便携式智能终端来实现，设备简易，普适性好，成本低。

Description

一种可见即可控的智能家居控制系统及控制方法

技术领域

本发明涉及智能家居领域，尤其涉及一种可见即可控的智能家居控制系统及控制方法。

背景技术

目前，随着科技的发展和用户体验的需求提升，智能家居成为了一个热门讨论和研究的话题，同时，智能家居领域的产品层出不穷。然而，目前的智能家居产品虽冠以“智能”的称号，但是与真正意义上的“智能”却相去甚远，大多的产品都是简单地搭建移动智能终端与智能家电之间的通信网络后，用户通过移动智能终端(例如手机、平板电脑等)发送控制命令来控制智能家电，实质上只是遥控器功能的移植；此外，当下的智能家居产品用户体验差，移动智能终端上的操作界面过于繁琐，大多通过层层菜单进行选择和操作，这极大地降低了用户体验，尤其对于老年人来说，他们对智能手机等的使用较为生疏，同时学习能力也相对弱一些，目前市场上的智能家居产品对于他们来说，需要较长的时间去在家人的指导下去学习使用，在这种情况下，老人可能会嫌麻烦而直接放弃使用；此外，对于一些不识字的人群，如小孩，也很难去操作当前的智能家居产品的操作界面。

发明内容

针对当前智能家居产品智能程度不够、用户体验差的问题，本发明提供一种可见即可控的智能家居控制系统及控制方法，实现智能家电的“可见即可控”，即用户只要通过智能终端获取智能家电的图像，即可得到基于该智能家电图像的操作界面，用户只需在该操作界面上进行操作，就能实现对智能家电的控制。

目前的智能家居控制系统，大多由家电菜单和遥控器界面构成，用户先从家电菜单中选择要控制的家电，如图2所示的目前的基于手机的智能家居控制系统，用户要控制某台家电时，需要从手机的家电菜单中选择需要控制的家电，然后手机上提供出一个该家电的遥控器界面供用户操作；比如用户要控制客厅的空调，那么用户先选择客厅家电，然后再从客厅家电中选择空调；又或者家中有几台空调，用户先选择空调，然后再从空调列表中选择客厅空调，选定空调后用户会得到空调对应的一个与遥控器类似的操作界面，然后用户通过对操作界面进行操作来控制空调，这种智能家居控制系统只是简单的遥控器功能的合并。

较之目前的智能家居控制系统，本发明的可见即可控的智能家居控制系统没有如图2所示的家电菜单和遥控器界面，不需要用户去选择要控制的家电，同时提供基于智能家电图像的操作界面，可视性好，操作方便，用户体验佳。

本发明采用如下的技术方案：

一种可见即可控的智能家居控制系统，包括图像获取模块、家电识别模块、用户操作模块和家电控制模块；

所述的图像获取模块用于获取智能家电的即时图像；所述智能家电的即时图像是指当场利用图像捕获装置(例如，摄像头)获取的智能家电的图像，所述的即时图像可以是智能家电的整体图像或局部图像，所述的智能家电的局部图像必须包含家电的特有外观特征(如微波炉的用户操作界面、柜式空调的出风口或其他人为添加的标记等)，以保证家电识别模块能识别出该家电；

所述的家电识别模块根据所述的即时图像来识别对应的智能家电；即自动识别要控制的智能家电，而不需要用户去选择；

所述的用户操作模块生成基于智能家电图像的操作界面，并生成相应的控制命令，以及提供智能家电的工作状况供用户查看；所述的基于智能家电图像的操作界面为虚拟实体操作界面和/或辅助操作界面，所述的智能家电的工作状况可以以文字、图像、语音等方式提供给用户。

所述的家电控制模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将所述的工作状况发送给用户操作模块；

所述的图像获取模块获取智能家电的即时图像并将其发送给所述的家电识别模块，所述的家电识别模块根据智能家电的即时图像识别出该智能家电，并将识别结果和/或智能家电图像发送给所述的用户操作模块；

所述的用户操作模块根据所述的识别结果和/或智能家电图像提供基于智能家电图像的操作界面供用户操作，然后根据用户的操作生成相应的控制命令并发送给所述的家电控制模块，所述的家电控制模块根据接收到的控制命令生成相应的控制信号并发送给识别出的智能家电，所述的智能家电根据接收到的控制信号执行相应的动作。

所述的家居控制模块获取智能家电的工作状况，并将智能家电的工作状况发送给所述的用户操作模块，所述的用户操作模块将智能家电的工作状况提供给用户查看。

本发明所述的智能家电图像可以是智能家电的即时图像，也可以是预置图像，预置图像是指预先存储在家电识别模块和/或用户操作模块中的智能家电图像。

本发明中所述的智能家电为具有通信(有线和/或无线通信)功能以及微处理器的家电，可以是各种智能电灯、智能电视、智能空调、智能微波炉、智能钢琴、智能洗衣机、智能电风扇、智能空气过滤器等等。

所述的智能家电能够与本发明所述控制系统的家电控制模块之间进行有线和/或无线通信；本发明所述的控制系统的图像获取模块、家电识别模块、用户操作模块和家电控制模块的数据传输也可以采用有线和/或无线通信进行传输；所述的无线通信方式可采用但不限于蓝牙、Wi-Fi、红外、ZigBee、wiMax、3G、4G以及后续代的移动通信模式。

本发明所述的可见即可控的智能家居控制系统的组成框图如图1所示；所述的图像获取模块获取智能家电的即时图像并将其发送给所述的家电识别模块，所述的家电识别模块根据智能家电的即时图像识别出该智能家电，并将识别结果和/或智能家电图像发送给所述的用户操作模块，所述的用户操作模块根据识别结果和/或智能家电图像生成基于智能家电图像的操作界面供用户操作，然后根据用户的操作生成相应的控制命令(相应的控制命令中包含识别出的智能家电信息和对应的动作信息，如针对微波炉的开启/关闭命令，针对空调的升温/降温设置命令等)，并发送给所述的家电控制模块，所述的家电控制模块根据接收到的控制命令生成相应的控制信号(如控制微波炉开关通断的信号，控制空调升温/降温设置的信号等)并发送给识别出的智能家电，所述的智能家电根据接收到的控制信号执行相应的动作(如开启/关闭微波炉，升高/降低空调的设定温度等)；此外，所述的家居控制模块获取智能家电的工作状况(如微波炉已工作的时间，空调获取的当前室内温度、工作模式、风量大小等)，并将智能家电的工作状况发送给所述的用户操作模块供用户查看(如采用图像或文字显示在屏幕、采用语音播报等方式供用户查看)，所述的家居控制模块获取智能家电工作状况的方式可以是主动读取，即所述的家电控制模块定期或不定期地从智能家电处读取其工作状况，也可以是被动接收，即所述的智能家电定期或不定期地将自身的工作状况发送给家电控制模块。利用本发明的可见即可控的智能家居控制系统，用户只要能看到(可以是眼前直接看到，也可以是通过远程摄像头看到)智能家电就能实现对它控制，不需要从家电菜单中查找想要控制的智能家电然后通过功能控制菜单进行智能家电的控制，而本发明的系统能自动识别出用户看到的智能家电并控制它，即实现了智能家电的“可见即可控”；同时，本发明的可见即可控的智能家居控制系统提供基于智能家电图像的操作界面，可视性强，操作更直观简便，用户体验好，甚至不识字的人都可以使用。

所述的基于智能家电图像的操作界面为虚拟实体操作界面和/或辅助操作界面；所述的虚拟实体操作界面是指在智能家电图像上的实体功能按钮位置生成对应的虚拟功能按钮，即虚拟功能按钮与实体功能按钮一一对应，例如图3所示场景，用户利用平板电脑现场拍摄智能微波炉的照片，所述的照片即为智能微波炉的即时图像，在利用即时图像识别出智能微波炉之后，平板电脑在获取的智能微波炉即时图像中实体按钮位置上生成对应的虚拟功能按钮，即智能家电图像上的虚拟功能按钮与智能微波炉上的实体功能按钮一一对应；此外，当用户捕获的智能家电的图像为局部图像或角度不佳时，可以利用预置在平板电脑中的智能家电的图像来生成操作界面，即在预置智能家电图像中对应的实体功能按钮位置上生成一一对应的虚拟功能按钮。这种操作界面让用户有一种直接操作智能家电实体的感觉，可视性强，操作方便，用户体验好，也容易上手；而且这种基于智能家电图像的操作界面与实体操作界面完全相同，甚至不认识字的小孩，只要他会操作实体家电那么他就会操作这种虚拟实体操作界面。

所述的辅助操作界面是指在智能家电图像上或图像周围生成的操作界面，该操作界面包括控制智能家电工作的功能按键和/或显示该智能家电工作状况的窗口；例如，对于机身上没有按钮的家电，在其图像上弹出一个包含该家电不同功能控制按钮的操作界面，如图5所示的壁挂式空调，在识别出该空调后，平板电脑上弹出一个包含空调控制按钮的操作界面和状态显示窗口，即辅助操作界面；又例如，用户获取的智能家电图像为家电的局部图像，没有包括家电上的实体功能按钮，那么系统在识别出智能家电以后，也为其提供一个包括家电各种功能按钮和状态显示窗口的辅助操作界面。

进一步地，所述的图像获取模块为至少一个具有图像捕获功能的终端设备，所述的家电识别模块为至少一台具有图像处理功能的终端设备，所述的用户操作模块为至少一台具有图像显示的可控终端设备，所述的家电控制模块为至少一台具有数据处理功能和通信功能的终端设备。

进一步地，所述的可见即可控的智能家居控制系统为一台便携式智能终端；所述的便携式智能终端为具有图像捕获和显示功能、通信(有线和/或无线)功能、数据存储和处理功能的小型移动设备；所述的便携式智能终端选自但不限于各种移动智能终端、穿戴式智能设备，其中所述的移动智能终端包括但不限于各种智能手机、平板电脑，所述的穿戴式智能终端包括但不限于智能眼镜、智能手表，如谷歌眼镜等。由于各种移动智能终端、穿戴式智能设备的普及和功能的日益强大，本发明的可见即可控的智能家居控制系统的用户体验将不断提升，同时成本也将大大降低。

本发明还提供一种可见即可控的智能家居控制系统的控制方法，包括正向控制方法和状态反馈方法，其中正向控制方法包括如下步骤：

(1)图像获取：所述的图像获取模块获取智能家电的即时图像并将其发送给所述的家电识别模块；

(2)家电识别：所述的家电识别模块根据接收到的智能家电的即时图像识别出该智能家电，并将识别结果和/或智能家电图像发送给所述的用户操作模块；

(3)控制命令生成：所述的用户操作模块根据接收到的识别结果和/或智能家电图像生成基于智能家电图像的操作界面供用户操作，然后所述的用户操作模块根据用户的操作生成相应的控制命令并发送给所述的家电控制模块；

(4)命令执行：所述的家电控制模块根据接收到的控制命令，生成相应的控制信号发送至识别出的智能家电，所述的智能家电根据接收到的控制信号执行相应的动作。

所述的状态反馈方法包括如下步骤：

(1)工作状况获取：所述的家电控制模块获取识别出的智能家电工作状况，并将所述的工作状况发送给用户操作模块；

(2)工作状况显示：所述的用户操作模块将接收到的智能家电的工作状况提供给用户查看；可以用文字、图像、语音等方式提供给用户查看。

所述的正向控制方法和状态反馈方法采用并行方式运行，即二者相互独立，互不影响。

更进一步地，所述正向控制方法的实现步骤(3)中，所述的用户操作可以为眼动或手势操作，所述的眼动、手势操作的方式可以如下：

用户操作模块在其显示区域(如谷歌眼镜的显示屏、智能手机的显示屏等)生成光标，然后用户操作模块识别用户的眼动动作或手势动作来控制光标，当用户操作模块识别用户眼球的上下左右移动或手势的上下左右滑动时，对应地控制光标做出对应的上下左右移动，当用户操作模块识别到用户的连续眨眼动作或握拳动作时，对应地控制光标执行点击动作。

进一步地，针对一台便携式智能终端的智能家居控制系统，提供一种可见即可控的智能家居控制方法，包括正向控制方法和状态反馈方法，其中正向控制方法包括如下步骤：

(1)图像获取：所述的便携式智能终端获取智能家电的即时图像；

(2)家电识别：所述的便携式智能终端根据获取的智能家电的即时图像识别出该智能家电；

(3)控制命令生成：所述的便携式智能终端根据识别结果和/或智能家电图像生成基于智能家电图像的操作界面供用户操作，然后根据用户的操作生成相应的控制命令；

(4)命令执行：所述的便携式智能终端根据用户操作生成的控制命令生成相应的控制信号发送至识别出的智能家电，所述的智能家电根据接收到的控制信号执行相应的动作。

所述的状态反馈方法包括如下步骤：

(1)工作状况获取：所述的便携式智能终端获取识别出的智能家电工作状况；(2)工作状况显示：所述的便携式智能终端将获取的智能家电的工作状况提供给用户查看；可以用文字、图像、语音等方式提供给用户查看。

所述的正向控制方法和状态反馈方法采用并行方式运行，即二者相互独立，互不影响。

更进一步地，所述正向控制方法的实现步骤(3)中，所述的用户操作可以为眼动或手势操作；所述的眼动、手势操作的方式可以如下：

便携式智能终端在其显示区域(如谷歌眼镜的显示屏、智能手机的显示屏等)上生成光标，然后便携式智能终端识别用户的眼动动作或手势动作来控制光标，当便携式智能终端识别到用户眼球的上下左右移动或手势的上下左右滑动时，对应地控制光标做出对应的上下左右移动，当便携式智能终端识别到用户的连续眨眼动作或握拳动作时，对应地控制光标执行点击动作。

例如用户利用谷歌眼镜控制家中的智能家电，在识别出智能家电之后，谷歌眼镜生成该家电的操作界面并显示在谷歌眼镜的显示屏上，同时在显示屏上生成一个光标，谷歌眼镜的摄像头捕获用户的眼动动作，并根据用户眼球的上下左右移动来移动显示屏上的光标，当光标移动到操作界面上某个按钮处时，谷歌眼镜的摄像头捕获用户的连续眨眼动作(如1s内连续眨眼两次)，则谷歌眼镜控制光标执行点击动作，点击按钮后谷歌眼镜生成控制智能家电的控制命令并发送出去。

本发明的有益效果在于：

本发明实现了智能家电的“可见即可控”，只要能看到智能家电就能控制它；本发明的智能家居控制系统能够利用智能家电的即时图像自动识别智能家电，不需要用户从家电菜单中选择要控制的家电；同时本发明的智能家居控制系统提供基于智能家电图像的操作界面，可视性强，操作简便，尤其是虚拟实体操作界面能够让用户有一种操作实体家电的感觉，用户体验极佳，无论男女老少，都极易上手使用，甚至不识字的人也会使用。

此外，本发明的智能家居控制系统中的模块可以集成到一个便携式智能终端(如智能手机、平板电脑、谷歌眼镜等)上，设备简易，普适性好，用户只需要利用智能手机或平板电脑等拍摄想要控制的智能家电，接下来系统就自动识别出该智能家电并生成对应的基于智能家电的操作界面，用户就可以对该家电进行控制了；同时各种移动智能终端、穿戴式智能设备的普及和功能的日益强大，本发明的可见即可控的智能家居控制系统的用户体验将不断提升，同时成本也将大大降低。

附图说明

图1是本发明的可见即可控的智能家居控制系统的组成框图；

图2是当前常见的智能家居控制系统的界面图；

图3是用户使用本发明的智能家居控制系统控制智能微波炉的示意图；

图4是用户使用本发明的智能家居控制系统控制智能电灯的示意图；

图5是用户使用本发明的智能家居控制系统现场控制智能空调的示意图；

图6是用户在使用本发明的智能家居控制系统非现场查看并控制智能家电的示意图；

图7是用户使用本发明的智能家居控制系统非现场控制智能空调的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，以下结合附图和实施例详细说明本发明的工作原理和所达到的效果。

实施例一：利用本发明的智能家居控制系统控制智能微波炉和壁挂式智能空调

本实施例中的智能家居控制系统由一台平板电脑、一台家用台式电脑(后面记为家庭服务器)和一台无线路由器组成，其中，图像获取模块、家电识别模块和用户操作模块的功能利用平板电脑来实现，家电控制模块的功能利用家用台式电脑(后面记为家庭服务器)和无线路由器来实现，智能微波炉和壁挂式智能空调都包含微处理器和Wi-Fi通信模块，所述的微处理器用来控制微波炉和壁挂式智能空调的工作，所述的Wi-Fi通信模块用来实现无线通信；平板电脑、家庭服务器、智能微波炉和壁挂式智能空调都连接到同一无线路由器，同时家庭服务器记录平板电脑、智能微波炉和壁挂式智能空调的IP地址，平板电脑和家庭服务器之间的通信通过无线路由器来实现，家庭服务器和智能微波炉、壁挂式智能空调之间的通信也利用无线路由器实现；此外，平板电脑中预先存储了各种智能家电的图像及其对应的功能。

如图3所示的，用户对智能微波炉的控制包括如下步骤：

(1)图像获取：用户利用平板电脑的摄像头对智能微波炉进行拍摄，即获取智能微波炉的即时图像；

(2)家电识别：平板电脑将摄像头拍摄的微波炉的即时图像与平板电脑中预先存储的智能家电的图像进行匹配，识别出该即时图像对应的智能家电为智能微波炉；

(3)控制命令生成：平板电脑从存储的智能家电功能中调取智能微波炉的功能，并生成基于之前获取的智能微波炉即时图像的操作界面，然后平板电脑根据用户的操作生成相应的控制命令并将其发送给家庭服务器；平板电脑中智能微波炉的功能以键值对的形式存放，键为按钮编码，值为对应的功能，如键值对(t,u)-tu表示编码(t,u)的按钮对应的功能为定时增加功能，(2,2)-bbq表示编码(2,2)的按钮对应的功能为开启烧烤模式；平板电脑在获取的智能微波炉的即时图像上识别出智能微波炉面板上的各个功能按钮的位置(可对图像进行边缘轮廓提取，轮廓的位置分布就对应各功能按钮的分布)，然后对各功能按钮进行编号，如时间设置按钮定义两个编号分别为(t,u)(对应于时间设置按钮的左按钮，即定时增加)和(t,d)(对应于时间设置按钮的右按钮，即定时减小)，图中八个工作模式按钮按照位置依次按照位置编码，左列从上到下的按钮编码依次为(1,1)、(1,2)、(1,3)、(1,4)，对应的功能依次为“低火”(lf)、“中火”(mf)、“高火”(hf)、“组合一”(com1)，右列从上到下的按钮编码依次为(2,1)、(2,2)、(2,3)、(2,4)，对应的功能依次为“解冻”(thaw)、“烧烤”(bbq)、“蒸汽”(steam)、“组合二”(com2)，最下方的按钮编码为(0,0)，对应功能为“开启炉门”；同时，平板电脑在识别的各按钮位置处生成透明的按钮控件，当用户点击平板电脑上智能微波炉图像中按钮位置时，实际上点击的是平板电脑生成的透明按钮控件，用户点击后，平板电脑获取被点击的按钮控件对应的按钮编码，利用按钮编码在功能键值对中获取对应的功能，并将功能和目标家电信息发送给服务器，如用户点击的“烧烤”按钮，那么平板电脑根据按钮对应的编码(2,2)获知该按钮对应的功能为bbq(烧烤)，于是发送控制命令(如Microwave-bbq，表示目标家电为微波炉，控制命令为开启烧烤模式)给家庭服务器；此外，平板电脑还识别出智能微波炉图像中显示屏的位置，在该位置生成对应的显示窗口用来显示智能微波炉的工作状况，如定时时间、工作模式等；

(4)命令执行：家庭服务器接收到平板电脑发送过来的控制命令并对其进行解析，根据解析结果生成相应的控制信号发送给智能微波炉，智能微波炉根据接收到家庭服务器发送过来的控制信号执行相应的动作；家庭服务器从平板电脑发送过来的控制命令中解析出来的目标家电为微波炉，命令为开启烧烤模式，接着家庭服务器找到智能微波炉对应的IP地址，将控制命令转换成相应的控制信号(如bbq-ON)发送给微波炉对应的IP地址，微波炉的微处理器对接收到的控制信号(bbq-ON)进行解析，然后开启烧烤模式功能。

与此同时，家庭服务器定期(如1s一次)获取智能微波炉的工作状况(如定时时间、工作模式等)，并将智能微波炉的工作状况发送给平板电脑，平板电脑将工作状况显示给用户(在识别出来的智能微波炉的显示屏的位置生成窗口来显示)，如图3中所示的显示窗口。

此外，如果用户捕获的即时图像角度不佳，虽能识别出微波炉及微波炉上的各功能按键，但是图像中按键太小，如果直接在上面生成操作界面不方便用户操作，该情况下，家庭服务器在识别出微波炉的后，家庭服务器将识别结果和预置的智能微波炉图像发送给平板电脑，平板电脑在接收到的预置图像上生成操作界面，然后用户在生成的操作界面进行操作实现对智能微波炉的控制以及在平板电脑上显示智能微波炉的工作状况。

当用户控制完智能微波炉后希望再去控制其他的智能家电时，用户将智能微波炉的操作界面隐藏到平板电脑的后台，然后利用平板电脑的摄像头去捕获其他智能家电的图像，当用户希望再次控制智能微波炉是只需从平板电脑的后台调出智能微波炉的控制界面即可。

用户将智能微波炉的操作界面隐藏到平板电脑的后台之后，用户利用平板电脑去控制壁挂式智能空调，如图5所示，控制步骤如下：

(1)图像获取；用户利用平板电脑的摄像头获取壁挂式智能空调的即时图像；

(2)家电识别：平板电脑将获取的即时图像与平板电脑内存储的智能家电图像进行匹配，识别出壁挂式智能空调；

(3)控制命令生成：平板电脑根据识别结果调取平板电脑中存储的壁挂式智能空调的功能，并生成辅助操作界面，然后根据用户的操作生成相应的控制命令发送给家庭服务器；如图5所示，(b)图和(c)图中所示的辅助操作界面中包括了壁挂式智能空调的所有功能按钮，如设置温度、模式切换、风量大小、风叶转动等，同时还有窗口显示空调传送过来的当前工作状况，如当前室温、工作模式、风量大小、风叶转动情况等；当用户点击辅助操作界面上的各控制按钮时，平板电脑生成对应功能的控制命令发送给家庭服务器，家庭服务器对控制命令进行解析，并生成相应的控制信号发送给壁挂式智能空调，壁挂式智能空调根据接收到的控制信号执行相应的动作；例如，用户需要开启壁挂式智能空调，那么用户点击操作界面上的“开启/关闭”按钮，该按钮被点击后触发平板电脑生成一条开启壁挂式智能空调的控制命令，平板电脑将该控制命令发送给家庭服务器；

(4)命令执行：家庭服务器接收到平板电脑发送过来的控制命令并进行解析，根据解析结果生成相应的控制信号发送给壁挂式智能空调，壁挂式智能空调根据接收到的控制信号执行相应的动作；家庭服务器解析接收到的控制命令，获知要控制的目标家电为壁挂式智能空调，要执行的动作为“开启”，于是查询到壁挂式智能空调的IP地址，并生成一条开启控制信号(如ON)发送到该IP地址，壁挂式智能空调接收到开启控制信号，微处理器对控制信号信号进行解析，执行开启动作，壁挂式智能空调被启动。

当用户开启壁挂式智能空调后希望重新去查看并控制智能微波炉时，用户从平板电脑的后台调出智能微波炉的控制界面进行查看和控制。

实施例二：利用本发明的控制系统控制智能电灯

本实施例中的智能家居控制系统为一台平板电脑，其中，图像获取模块、家电识别模块、用户操作模块和家电控制模块的功能都利用平板电脑来实现，所述的智能电灯包含Wi-Fi通信模块和微处理器，Wi-Fi通信模块用来实现无线通信，微处理器用来控制灯的亮度、颜色、定时开启关闭等。智能电灯与平板电脑之间通过Wi-Fi进行无线通信，平板电脑中预先存放了家中智能家电的图像及家电对应的功能。

用户利用平板电脑控制智能家电的步骤如下：

(1)图像获取：用户利用平板电脑的摄像头拍摄智能电灯的即时图像；

(2)家电识别：平板电脑将拍摄的即时图像与存储的智能家电图像进行匹配，识别出该家电为智能电灯；

(3)控制命令生成：平板电脑根据识别结果(该智能家电为智能电灯)调取存储的智能电灯的功能，生成基于智能电灯即时图像的操作界面然后平板电脑根据用户的操作生成相应的控制命令发送给智能电灯；如图4所示，平板电脑在智能电灯即时图像周围生成辅助操作界面，其中包括开关(在智能电灯即时图像上生成一个按钮控件，当用户点击智能电灯图像时就可以发出开启/关闭智能电灯的控制命令)、亮度调节条(当用户手指沿调节条上下滑动时，平板电脑发出调节灯的明暗度的控制命令)、RGB调节条(R、G、B各对应一调节条，当用户手指沿调节条上下滑动时，平板电脑分别发出调节R、G、B光成分的控制命令，不同RGB值的组合发出不同的颜色的光)、预置颜色模式(模式1、模式2、模式3，三种模式的放光颜色为预先设置好的，当用户点击这几个按钮平板电脑发出开启某种预置模式的控制命令)、定时开关(用户点击此按钮时，平板电脑发出控制命令来设定时间让智能电灯定时开启或关闭)；

若智能电灯是关闭的，则用户点击平板电脑上智能电灯图像，那么平板电脑发出一条开启命令给智能电灯，在智能电灯开启后，接着智能电灯将其工作状态(当前亮度、发光颜色的RGB值、定时数据等)发送过来，平板电脑将这些工作状态对应的数据显示在操作界面上(在各调节条上标出亮度值、RGB值，定时框上显示定时信息等)；然后用户根据自己的需要通过辅助操作界面控制智能电灯发出不同的亮度、不同颜色的光，以及定时开启或关闭等；

(4)命令执行：智能电灯接收到平板电脑发送过来的控制命令，然后对控制命令进行解析，根据解析结果执行相应的动作；智能电灯接收到平板电脑发送过来的控制命令，微处理器对控制命令进行解析后控制智能电灯执行相应的动作；如接收到平板电脑发送过来的亮度增加的控制命令，则控制智能电灯发光增强，接收到R成分增加的控制命令，则控制智能电灯增加红光的强度等。

同时，智能电灯的工作状况(光强、RGB值等)也定期(如1s一次)发送给平板电脑，平板电脑将智能电灯的工作状况显示在屏幕上，将红光、绿光、蓝光的强度值以颜色和标记的形式分别显示在RGB调节条上(如R最大数值为255，当前R值为100，那么R调节条从底部到100/255处这一段用R＝100、G＝0、B＝0的这种颜色来填充，100/255出到R调节条顶部的这一段为白色)，将光强以标记的形式显示在亮度调节条上(如光强最大强度为Q，当前光强为0.5Q，那么就在亮度调节条的正中间显示一个标记，当用户调节亮度是，标记跟随着上下移动)。

实施例三：利用本发明的智能家居控制系统现场控制智能空调

本实施例中控制系统的图像获取模块、用户操作模块都利用同一台平板电脑来实现，家电识别模块、家电控制模块选用一台家用台式电脑(后面记为家庭服务器)和无线路由器来实现，服务器和家中智能家电都连接到同一无线路由器，同时服务器记录各智能家电的图形以及对应的IP地址，控制对象为书房中的壁挂式智能空调，所述的壁挂式智能空调包含Wi-Fi通信模块和微处理器，Wi-Fi通信模块用来实现无线通信，微处理器用来控制壁挂式智能空调的工作等。壁挂式智能空调与平板电脑之间通过Wi-Fi建立无线通信连接，平板电脑中预先存储了家中各智能家电对应的功能。

如图5所示，用户在书房中想要控制房中的壁挂式智能空调(后面记为书房壁挂智能空调)，此时，用户利用平板电脑的摄像头获取该智能空调的即时图像，并将获取的即时图像发送给家庭服务器，家庭服务器将接收到的智能家电的即时图像与存储的各智能家电图像进行匹配，识别出即时图像对应的家电为书房壁挂智能空调，于是服务器将识别结果(书房壁挂智能空调)发送给平板电脑，平板电脑根据自身存储的智能家电对应的功能生成书房壁挂智能空调对应的功能菜单并弹出供用户操作，如图5中后两者图所示的辅助操作界面，弹出的辅助操作界面中包括了书房空调的所有功能按钮，如设置温度、模式切换、风量大小、风叶转动等，同时还有窗口显示空调传送过来的当前工作状况，如当前室温、工作模式、风量大小、风叶转动情况等。当用户点击辅助操作界面上的各控制按钮时，平板电脑生成对应功能的控制命令发送给家庭服务器，家庭服务器对控制命令进行解析，并生成相应的控制信号发送给书房壁挂智能空调，书房壁挂智能空调根据接收到的控制信号执行相应的动作；例如，用户需要开启书房壁挂智能空调，那么用户点击操作界面上的“开启/关闭”按钮，该按钮被点击后触发平板电脑生成一条开启书房壁挂智能空调的控制命令(如sfkt-on)，并将其发送给家庭服务器，家庭服务器解析该命令，获知要控制的目标家电为书房壁挂智能空调，要执行的动作为“开启”，于是服务器调取书房壁挂智能空调的IP地址，并生成一条开启控制信号(如ON)发送到该IP地址，书房壁挂智能空调接收到开启控制信号，微处理器对信号进行解析，执行开启动作，空调启动。

实施例四：利用本发明的控制系统非现场控制智能家电

本实施例中的智能家居控制系统由一台360度全景网络摄像头、一台平板电脑、一台家用台式电脑和一台无线路由器组成，其中图像获取模块的功能利用360度全景网络摄像头来实现，家电识别模块、用户操作模块利用平板电脑来实现，家电控制模块利用家用台式电脑(后面记为家庭服务器)和无线路由器来实现，家中的智能家电都包含微处理器和Wi-Fi模块，微处理器用来控制智能家电的工作，Wi-Fi模块用来实现无线通信，360全景网络摄像头包含Wi-Fi模块，家庭服务器、平板电脑、360度全景网络摄像头和家中的智能家电都连接到无线路由器上，家庭服务器上记录了各智能家电和平板电脑的IP地址，平板电脑中预先存储了家中各智能家电的图像及对应的功能。

用户午休后希望进入书房学习，于是用户先在卧室中查看书房中的环境，用户利用平板电脑向服务器发送请求，请求服务器为其建立与书房中360度全景网络摄像头之间的无线连接，服务器接收到请求后为平板电脑和书房中的360度全景网络摄像头建立了无线连接，接着360度全景网络摄像头将书房中的全景影像通过无线路由器发送给平板电脑，如图6所示，用户在平板电脑上查看了书房中的环境后觉得光线有些暗，于是用户选中全景影像中的智能电灯，平板电脑将用户选中的图像与存储的智能家电的图像进行匹配，识别出该智能家电为智能电灯，于是平板电脑调取智能家电的功能，生成如图4中所示的辅助操作界面，用户操作该界面来控制智能电灯的工作，操作界面及功能与实施例三中相同；

在控制完智能电灯的工作之后，用户希望开启书房内的空调，于是用户将智能电灯的控制界面隐藏在平板电脑的后台，平板电脑重现显示书房中360度全景网络摄像头获取的书房中的全景影像，接着用户选中影像中的智能空调，平板电脑将用户选中的图像与存储的智能家电的图像进行匹配，识别出该家电为书房中的智能空调，于是平板电脑调取存储的书房中智能空调的功能，并生成对应的辅助操作界面，如图7所示，弹出的辅助操作界面中包括了书房空调的所有功能按钮，如设置温度、模式切换、风量大小、风叶转动等，同时还有窗口显示空调传送过来的当前工作状况，如当前室温、工作模式、风量大小、风叶转动情况等，接着用户操作辅助操作界面，平板电脑根据用户的操作生成相应的控制命令并发送给家庭服务器，家庭服务器对接收到的控制命令进行解析，并生成相应的控制信号发送到书房智能空调的IP地址，书房智能空调接收到家庭服务器发送过来的控制信号，其微处理器对控制信号进行解析并执行相应的动作；如用户点击操作界面上的“开启/关闭”按钮，该按钮被点击后触发平板电脑生成一条开启书房智能空调的控制命令，并将其发送给服务器，服务器解析该命令，获知要控制的目标家电为书房智能空调，要执行的动作为“开启”，于是查询到书房智能空调的IP地址，并生成一条开启控制信号发送到该IP地址，书房智能空调接收到开启控制信号，其微处理器对信号进行解析，执行开启动作，空调被启动。

接着用户可以将书房智能空调的操作界面隐藏，再去360全景网络摄像头提供的书房全景影像中选择其他智能家电进行识别和控制。

由于平板电脑也可以作为Wi-Fi热点，同时具有较强的信号处理能力，也能够进行图像等的存储和处理，所以上述实施例中家庭服务器和无线路由器的功能可以由平板电脑来实现，这样本发明的智能家居控制系统可以利用一台平板电脑即实现；此外，还可以用智能手机、谷歌眼镜等代替平板电脑来实现本发明的智能家居控制系统。

上述实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (11)

1.一种可见即可控的智能家居控制系统，其特征在于：

所述的控制系统包括图像获取模块、家电识别模块、用户操作模块和家电控制模块；

所述的图像获取模块用于获取智能家电的即时图像；

所述的家电识别模块根据所述的即时图像来识别对应的智能家电；

所述的用户操作模块生成基于智能家电图像的操作界面，并生成相应的控制命令，以及提供智能家电的工作状况供用户查看，所述的基于智能家电图像的操作界面包括虚拟实体操作界面和辅助操作界面，或仅包括虚拟实体操作界面；所述的虚拟实体操作界面是指在智能家电图像上的实体功能按钮位置生成对应的虚拟功能按钮，即虚拟功能按钮与实体功能按钮一一对应；所述的辅助操作界面是指在智能家电图像上或图像周围生成的操作界面，该操作界面包括控制智能家电工作的功能按键和/或显示该智能家电工作状况的窗口；

所述的家电控制模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将所述的工作状况发送给用户操作模块；

所述的图像获取模块获取智能家电的即时图像并将其发送给所述的家电识别模块，所述的家电识别模块根据智能家电的即时图像识别出该智能家电，并将识别结果和/或智能家电图像发送给所述的用户操作模块，所述的用户操作模块根据所述的识别结果和/或智能家电图像生成基于智能家电图像的操作界面供用户操作，然后根据用户的操作生成相应的控制命令并发送给所述的家电控制模块，所述的家电控制模块根据接收到的控制命令生成相应的控制信号并发送给识别出的智能家电，所述的智能家电根据接收到的控制信号执行相应的动作；

所述的家居控制模块获取智能家电的工作状况，并将智能家电的工作状况发送给所述的用户操作模块，所述的用户操作模块将智能家电的工作状况提供给用户查看。

2.根据权利要求1所述的可见即可控的智能家居控制系统，其特征在于：

所述的图像获取模块为至少一个具有图像捕获功能的终端设备，所述的家电识别模块为至少一台具有图像处理功能的终端设备，所述的用户操作模块为至少一台具有图像显示的可控终端设备，所述的家电控制模块为至少一台具有数据处理功能和通信功能的终端设备。

3.根据权利要求1所述的可见即可控的智能家居控制系统，其特征在于：

所述的可见即可控的智能家居控制系统为至少一台便携式智能终端。

4.根据权利要求3所述的可见即可控的智能家居控制系统，其特征在于：

所述的可见即可控的智能家居控制系统为一台便携式智能终端。

5.根据权利要求3所述的可见即可控的智能家居控制系统，其特征在于：

所述的便携式智能终端为移动智能终端。

6.根据权利要求3所述的可见即可控的智能家居控制系统，其特征在于：

所述的便携式智能终端为穿戴式智能终端。

7.根据权利要求3所述的可见即可控的智能家居控制系统，其特征在于：

所述的便携式智能终端选自智能手机、平板电脑、智能手表、谷歌眼镜。

8.根据权利要求1-7任一项所述的可见即可控的智能家居控制系统，其特征在于：

所述的智能家电包括智能电灯、智能电视、智能空调、智能微波炉、智能钢琴、智能洗衣机、智能电风扇、智能空气过滤器。

9.根据权利要求1所述的可见即可控的智能家居控制系统的控制方法，其特征在于包括正向控制方法和状态反馈方法，其中所述的正向控制方法包括如下步骤：

(1)图像获取：所述的图像获取模块获取智能家电的即时图像并将其发送给所述的家电识别模块；

(2)家电识别：所述的家电识别模块根据接收到的智能家电的即时图像识别出该智能家电，并将识别结果和/或智能家电图像发送给所述的用户操作模块；

(3)控制命令生成：所述的用户操作模块根据接收到的识别结果和/或智能家电图像生成基于智能家电图像的操作界面供用户操作，然后所述的用户操作模块根据用户的操作生成相应的控制命令并发送给所述的家电控制模块；

(4)命令执行：所述的家电控制模块根据接收到的控制命令，生成相应的控制信号发送至识别出的智能家电，所述的智能家电根据接收到的控制信号执行相应的动作；

所述的状态反馈方法包括如下步骤：

(1)工作状况获取：所述的家电控制模块获取识别出的智能家电工作状况，并将所述的工作状况发送给用户操作模块；

(2)工作状况显示：所述的用户操作模块将接收到的智能家电的工作状况提供给用户查看；

所述的正向控制方法和状态反馈方法采用并行方式运行，即二者相互独立，互不影响。

10.根据权利要求4所述的可见即可控的智能家居控制系统的控制方法，其特征在于包括正向控制方法和状态反馈方法，其中所述的正向控制方法包括如下步骤：

(1)图像获取：所述的便携式智能终端获取智能家电的即时图像；

(2)家电识别：所述的便携式智能终端根据获取的智能家电的即时图像识别出该智能家电；

(3)控制命令生成：所述的便携式智能终端根据识别结果和/或智能家电图像生成基于智能家电图像的操作界面供用户操作，然后根据用户的操作生成相应的控制命令；

(4)命令执行：所述的便携式智能终端根据用户操作生成的控制命令生成相应的控制信号发送至识别出的智能家电，所述的智能家电根据接收到的控制信号执行相应的动作；

所述的状态反馈方法包括如下步骤：

(1)工作状况获取：所述的便携式智能终端获取识别出的智能家电工作状况；

(2)工作状况显示：所述的便携式智能终端将获取的智能家电的工作状况提供给用户查看；

所述的正向控制方法和状态反馈方法采用并行方式运行，即二者相互独立，互不影响。

11.根据权利要求9或10所述的可见即可控的智能家居控制系统的控制方法，其特征在于：

所述的步骤(3)中，所述的用户操作为眼动或手势操作。