CN103035115A

CN103035115A - 一种基于智能终端手势识别的家居设备控制系统及方法

Info

Publication number: CN103035115A
Application number: CN2012105292882A
Authority: CN
Inventors: 刘昆; 计策; 宋永红
Original assignee: TCL Tongli Electronics Huizhou Co Ltd
Current assignee: Tonly Electronics Holdings Ltd
Priority date: 2012-12-10
Filing date: 2012-12-10
Publication date: 2013-04-10
Anticipated expiration: 2032-12-10
Also published as: CN103035115B

Abstract

本发明公开了一种基于智能终端手势识别的家居设备控制系统及方法，其控制方法为：根据学习指令进入学习状态，获取家居设备的控制信号，并提取手势信号；生成家居设备的控制信号及手势信号的配对数据，并将其存储；根据工作指令进入工作状态，检测到手势信号时，将其与所存储的配对数据进行匹配，获得相应的控制信号并发送；将接收到的控制信号发送给无线AP设备，由所述无线AP设备转换为红外信号，并根据所述红外信号控制家居设备。本发明集学习、控制功能于一身，对于不同家居设备的遥控，学习一次后，便可方便使用，减小了居家生活中众多不同遥控设备的管理和使用带来的不便，且利用手势控制家居设备，愉悦了用户体验。

Description

一种基于智能终端手势识别的家居设备控制系统及方法

技术领域

本发明涉及智能家居领域，尤其涉及一种基于智能终端手势识别的家居设备控制系统及方法。

背景技术

随着家居智能化的发展，家居系统中涌现出越来越多的电子设备，虽然这些设备操作方法相似，但由于其具体功能各异，因而不可避免的需要种类繁多的遥控设备，从而用户需要熟悉不同的遥控器使用，并且用户经常会拿错遥控器，这无疑会给居家生活带来诸多不便；目前智能手机已经在市场上普及，智能手机的功能越来越强大，手机上的各类型应用软件层出不穷，且智能手机已经可以和电子设备通信并控制电子设备，从而取代传统的红外遥控器，但是目前市场上已有的手机控制电子设备无非两种方式：第一种为带红外功能的手机通过遥控模拟软件直接控制红外遥控设备，但带红外功能的智能手机目前在市场上并不多见；第二种为不带有红外功能的智能手机通过无线（包括WIFI、蓝牙、3G等）控制智能电子设备，但受控设备必须支持无线通信功能，而传统的家居设备大多数都只支持红外的无线通信功能。

发明内容

本发明的主要目的是提供一种基于智能终端手势识别的家居设备控制系统及方法，旨在利用智能终端学习家居设备的红外控制信号，并通过识别手势形成与之匹配的手势信号，最终达到利用手势信号控制红外受控家居设备进行操作的目的。

本发明提供了一种基于智能终端手势识别的家居设备控制系统，包括：无线AP设备，用于接收家居设备的红外信号，将家居设备的红外信号转换为控制信号并发送；将接收到的控制信号转换为红外信号，并以红外信号控制家居设备工作；智能终端，用于在学习状态下，获取家居设备控制信号，提取手势信号，生成家居设备的控制信号及手势信号的配对数据，并将其存储；在工作状态下，检测到手势信号时，将其与所存储的配对数据进行匹配，获得相应的控制信号并发送给无线AP设备。

优选地，还包括数据库，所述数据库包括智能终端数据库及服务器数据库，用于存储家居设备红外信号及其控制信号的配对数据。

优选地，所述智能终端还用于在学习状态下，调取虚拟键盘界面并获取虚拟键盘界面上的按键信号，并生成按键信号、控制信号以及手势信号配对数据。

优选地，所述虚拟键盘界面为根据需要学习的按键动态生成的虚拟键盘界面。

优选地，所述的智能终端还用于在进入学习状态之前选定家居设备的类型。

本发明还提供一种基于智能终端手势识别的家居设备控制方法，包括：

根据学习指令进入学习状态，获取家居设备的控制信号，并提取手势信号；生成家居设备的控制信号及手势信号的配对数据，并将其存储；根据工作指令进入工作状态，检测到手势信号时，将其与所存储的配对数据进行匹配，获得相应的控制信号并发送；将接收到的控制信号发送给无线AP设备，由所述无线AP设备将所述控制信号转换为红外信号，并根据所述红外信号控制家居设备。

优选地，所述根据学习指令进入学习状态，获取家居设备的控制信号，包括：根据获取的学习指令，从服务器中调取已存储的家居设备的控制信号。

优选地，所述根据学习指令进入学习状态还包括：判断是否需要加入按键控制，若是，则调取虚拟键盘界面，获取按键信号；所述生成家居设备的控制信号及手势信号的配对数据，并将其存储还包括：生成家居设备的控制信号、虚拟键盘界面按键信号及手势信号配对数据，并将其存储。

优选地，所述调取虚拟键盘界面包括：根据需要学习的按键动态生成虚拟键盘界面，并将其调出。

优选地，所述根据学习指令进入学习状态，获取家居设备的控制信号之前还包括：选定需要学习的家居设备类型。

本发明根据学习指令进入学习状态，获取家居设备的控制信号，并提取手势信号；生成家居设备的控制信号及手势信号的配对数据，并将其存储；根据工作指令进入工作状态，检测到手势信号时，将其与所存储的配对数据进行匹配，获得相应的控制信号并发送；将接收到的控制信号发送给无线AP设备，由所述无线AP设备将所述控制信号转换为红外信号，并根据所述红外信号控制家居设备。本发明基于智能终端手势识别的家居设备控制系统及方法可以学习不同的红外受控家居设备的各种功能，并通过无线AP传递至智能终端并存储数据后，利用手势识别，通过智能终端控制不同红外受控家居设备，本发明集学习、控制功能于一身，且使用统一方式遥控不同红外受控的家居设备，方便用户日常生活。

附图说明

图1是本发明基于智能终端手势识别的家居设备控制系统一实施例的结构示意图；

图2是本发明基于智能终端手势识别的家居设备控制系统进入学习状态流程图；

图3为本发明基于智能终端手势识别的家居设备控制系统进入工作状态流程图；

图4是本发明基于智能终端手势识别的家居设备控制方法的流程图；

图5是图4中获取家居设备的控制信号一实施例的流程图；

图6是图4中获取家居设备的控制信号另一实施例的流程图；

图7是本发明生成虚拟键盘界面的组合按键一实施例的流程图；

图8是本发明选定需要学习的家居设备类型一实施例的流程图；

图9为本发明结束所有家居设备按键信号学习后，统一输入各按键信号匹配的手势信号的流程图；

图10为本发明输入与按键信号对应的手势信号的流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明基于智能终端手势识别的家居设备控制系统一实施例的结构示意图；本发明提供了一种基于智能终端手势识别的家居设备控制系统，包括：无线AP（Access Point，接入点）设备10，用于接收家居设备的红外信号，将家居设备的红外信号转换为控制信号并发送给智能终端20；同时用于将接收到的控制信号转换为红外信号，并以红外信号控制家居设备工作；红外信号是指家居设备遥控器发出的红外遥控信号，控制信号即为反应不同红外受控家居设备的不同红外波形的数字序列。

智能终端20，所述智能终端20用于在学习状态下，获取家居设备控制信号，提取手势信号，生成家居设备的控制信号及手势信号的配对数据，并将其存储；在工作状态下，检测到手势信号时，将其与所存储的配对数据进行匹配，获得相应的控制信号并发送给无线AP设备10。所述智能终端20还用于在学习状态下，调取虚拟键盘界面并获取虚拟键盘界面上的按键信号，并生成按键信号、控制信号以及手势信号配对数据。所述虚拟键盘界面为根据需要学习的按键动态生成的虚拟键盘界面。这样可以方便用户除了手势外还可以选择通过按键控制家居设备。所述智能终端20和外界通信依赖的具体的物理信道，如：WCDMA、CMDA、TD-SCDMA等具体信道，当智能终端20和网络通信时，通过无线socket和对方建立链接，即其实际依赖的物理通道是无线信道，经IP中继互联后和因特网的相应对等实体进行通信；所述智能终端20的应用界面分精简界面和全部界面两种，在系统中可以切换，其中精简界面根据所需要控制的家居设备类型固定显示，全部界面根据数据库中编码动态生成，系统默认显示精简界面。

所述基于智能终端手势识别的家居设备控制系统还包括服务器（图未示），所述服务器用于与所述智能终端20通信，并存储家居设备红外信号及其配对的控制信号数据；所述服务器包括云服务器（图未示），所述云服务器用于存储红外信号以及与红外信号匹配的控制信号，并与所述服务器通信。

所述基于智能终端手势识别的家居设备控制系统还包括数据库30，用于存储家居设备红外信号及其控制信号的配对数据；所述数据库30还用于存储所述家居设备的类型信息，所述的智能终端还用于在进入学习状态之前选定家居设备的类型。所述智能终端20包括智能终端数据库，所述服务器包括服务器数据库，所述智能终端数据库中存储的基本信息也可以存储于所述服务器数据库；所述智能终端数据库里存储的基本信息有：设备类型、设备品牌、设备型号、按键名称、按键顺序、遥控指令、是否显示、提示信息等，所述智能终端20根据用户端需求动态显示各项基本信息。所述服务器数据库中还存有家居设备类型以及与家居设备对应的红外代码、红外编码协议。

本发明基于智能终端手势识别的家居设备控制系统具有两个状态，即智能终端学习家居设备红外信号和手势信号的学习状态和根据手势信号控制家居设备进行相应的操作的工作状态。参照图2，图2为本发明基于智能终端手势识别的家居设备控制系统进入学习状态流程图；所述基于智能终端手势识别的家居设备控制系统开机时默认为控制状态，当所述智能终端20启动家居设备遥控软件之后，所述智能终端20的应用界面初始化，并开始搜索无线AP设备10；若未成功搜索到无线AP设备10，判断是否为等待超时：若是，结束操作并返回应用界面；否则，返回重新开始搜索；若成功搜索到无线AP设备10，则判断是否进入学习状态：若是，发送学习指令至无线AP设备10，若未接收到无线AP设备10应答，判断是否为等待超时，是则结束操作并返回应用界面，否则返回重新判断是否接收到无线AP设备10应答，若成功接收到无线AP设备10应答后，进入学习状态并完成学习过程；否则进入工作状态，并完成工作过程。具体的学习过程为：根据智能终端20的学习指令，无线AP设备10接收家居设备的红外信号，并将红外信号转换为控制信号并发送给智能终端20，智能终端20获取控制信号，并提示是否获取手势信号，如是则提取手势信号，生成家居设备的控制信号及手势信号的配对数据，并将其存储；否则等到学习完所有家居设备控制信号之后再学习控制信号对应的手势信号，

参照图1和3，图3为本发明基于智能终端手势识别的家居设备控制系统进入工作状态流程图；当所述智能终端20发送控制指令，进入工作状态，智能终端20检测手势信号，并将检测到的手势信号与所存储的配对数据进行匹配，获得相应的控制信号，将所述控制信号以无线的方式发送给无线AP设备10，无线发送方式使用的无线通道包括WIFI、蓝牙、或3G等，另外智能终端20也可以通过因特网的方式发送给无线AP设备10，使用因特网控制方式时，所述智能终端20默认将该控制消息以IP传输的方式打包，在此之前，所述智能终端20会使用无线socket先创建一个socket描述符，建立链接，如果链接失败，提示用户无法找到无线AP设备10，否则发送控制信号，在无线AP设备10侧，选用开源轻量式IP实现TCP/IP协议，实现和智能终端的IP通信；无线AP设备10接收到控制信号后，将控制信号转换为红外信号后发送给家居设备，家居设备根据相应的红外信号执行相应的操作。

参照图4，图4为本发明基于智能终端手势识别的家居设备控制方法的流程图；本发明提供了一种基于智能终端手势识别的家居设备控制方法，包括：S100、根据学习指令进入学习状态，获取家居设备的控制信号，并提取手势信号；S200、生成家居设备的控制信号及手势信号的配对数据，并将其存储；S300、根据工作指令进入工作状态，检测到手势信号时，将其与存储的配对数据进行匹配，获得相应的控制信号并发送； S400、将接收到的控制信号发送给无线AP设备，由所述无线AP设备将控制信号转换为红外信号，并根据所述红外信号控制家居设备。

所述根据学习指令进入学习状态，获取家居设备的控制信号还可包括：根据获取的学习指令，从服务器中调取已存储的家居设备的控制信号。参照图1及图5，图5为图4中获取家居设备的控制信号一实施例的流程图，其具体过程包括：智能终端20在启动遥控软件之后，通过点击应用界面上的表示进入学习状态的按键进入学习状态，然后获取需要学习的按键信号，并将家居设备的类型以及按键信号上传至服务器，服务器根据家居设备的类型调取相应的红外代码以及红外编码协议，并将其返回给智能终端20，所述的红外代码即为控制信号。

进一步的，所述根据学习指令进入学习状态，获取家居设备的控制信号之前还包括：发送学习指令给无线AP设备，并接收由所述无线AP设备发送的控制信号。参照图1及图6，图6为为图4中获取家居设备的控制信号另一实施例的流程图，本实施例与图5中区别在于：无线AP设备在获取到红外信号之后直接将红外信号转换为数字信号作为控制信号进行存储，而不是智能终端在接收到学习指令后直接从服务器调取与家居设备相应的红外代码以及红外编码从而获取控制信号。其具体过程包括：无线AP设备10获取家居设备的红外信号，即接收所述遥控器功能按键对应的红外信号，并将红外信号对应的波形转换为二进制数字符串格式的控制信号，然后将其无线传递至智能终端20，所述智能终端20接收所述控制信号后，在智能终端数据库中存储所述红外信号对应的控制信号及按键名称，并将所述红外信号对应的控制信号转发至所述服务器，在所述服务器数据库中存储所述红外信号对应的控制信号及按键名称，结束学习。在数据库中存储红外信号对应的控制信号及按键名称时，将其与对应的手势信号关联匹配存储起来，例如“电源按键-手势-控制信号”存储为一条记录，“方向键上键-手势-控制信号”存储为一条记录，按键可以存储为名称的字符串，例如上键，就存储为“上键”，红外信号为红外波形，控制信号可以存储为计算机的二进制字符串，而发射红外波形时，是一个反向编码的过程，将二进制字符串转换为相应的红外电平波形。过程是：所述智能终端20将二进制字符串发给无线AP设备10，无线AP设备10收到该字符串，并根据字符串中存储的编码信息，将二进制字符串按照编码方式转换为红外波形发送给家居设备。该学习过程的优点是：学习过程相对独立，且用户端可以根据自己的喜好，只学习少数几个重要按键，如空调的开机按键，且该操作过程可以逐步完善数据库，将用户端学习过的控制信号存储，这样在后续的学习过程中用户端不必再重复学习，而是可以直接从数据库中下载按键名称及其对应的控制信号。

进一步的，所述根据学习指令进入学习状态还包括：判断是否需要加入按键控制，若是，则调取虚拟键盘界面，获取按键信号；所述虚拟键盘界面可以是智能终端上的虚拟键盘界面也可以是通过家居设备类型从服务器上获取的家居设备上的虚拟键盘界面，若虚拟键盘界面为从服务器上获取的家居设备上的虚拟键盘界面，则无需无线AP设备转发用户在家居设备端操作家居设备的按键信号，直接在智能终端上通过操作获取到的虚拟键盘界面即可得到家居设备相应的按键信号。

参照图7，图7为本发明生成虚拟键盘界面的组合按键一实施例的流程图；所述调取虚拟键盘界面包括：根据需要学习的按键信号动态生成虚拟键盘界面，并将其调出。其具体包括：确定需要学习的按键，并根据需要学习按键动态生成按键的组合，或以快速选择的方式选定全按键组合；具体来说，用户端在智能终端上启动遥控软件之后，该软件的应用界面上给用户一个全功能遥控器所有功能按键的列表，用户可以对按键组合进行多选，例如全按键组合共有80个按键，但学习过程中只需要学习20个按键，则可仅生成并调出仅有这20个按键组合的虚拟键盘界面。

进一步的，所述根据学习指令进入学习状态，获取家居设备的控制信号之前还包括：选定需要学习的家居设备类型。参照图1和8，图8为本发明选定需要学习的家居设备类型一实施例的流程图；其具体过程为：智能终端20发出学习指令之前，所述智能终端20的应用界面动态显示已存储至智能终端数据库或服务器数据库中的家居设备类型信息，该家居设备可为红外控制的空调、电视机、BD（Blu-ray Disc，蓝光）播放器、DVD（Digital Versatile Disc，数字多功能光盘）播放器、机顶盒、IPTV（交互式网络电视）、电灯、摄像头等；用户端判断是否存在需要学习控制的家居设备类型：若是，选择该家居类型；否则，存储该家居设备类型信息至智能终端数据库或服务器数据库后，结束选择，在系统进行学习过程之前先确定设备类型信息，可以缩小判断范围。

进一步的，图4中所述步骤S200还包括：生成家居设备的控制信号、虚拟键盘界面按键信号及手势信号配对数据，并将其存储。智能终端通过其摄像头提取与控制信号匹配的手势信号，并且可以在选定需要学习的按键信号时将所述手势信号与其配对，亦可等待结束所有按键信号学习后，统一输入各按键信号匹配的手势信号。参照图9，图9为本发明结束所有家居设备按键信号学习后，统一输入各按键信号匹配的手势信号的流程图，其具体过程包括：结束所有按键信号学习后，判断所存储的配对数据中是否已输入与各按键信号匹配的手势信号：若是，退出学习状态；否则，从数据库中调出已存储的各按键信号对应的数据，输入与所述按键信号配对的手势信号并将其存储，退出学习状态。用户只需要学习想要学习的按键即可，例如遥控器上有30个按键，用户只学习了常用的10个按键；且完成所有按键信号的学习后，为了实现智能终端20经因特网控制，此时需要输入无线AP设备的IP地址，方可退出学习状态。

进一步的，参照图10，图10为本发明生成手势信号的流程图；所述生成手势信号包括：智能终端20利用摄像头截取视频；判断需要生成的手势信号是否为静态，若为静态，统计及计算视频图像信息，并存储数据，完成生成手势信号过程；否则为动态，对视频进行处理后，分别对手势的位置变化特征及手势的形状变化特征进行计算及统计，并存储数据，完成生成手势信号过程。

在生成手势信号过程中，通过一定时间采样视频数据判断手势是静态还是动态：若为静态，统计及计算视频图像信息进行采样，提取手势轮廓，并存储数据，完成手势识别，该过程仅描述的手的静态信息，例如轮廓、面积、手指分布等，这些静态的轮廓特征信息可以用连续的点来表示，在识别按键时，通过边缘检测算法，把图像区域的边缘检测出来，经过进行平滑和多边形拟合算法处理，得到多边形的顶点的序列从而建立手势的规则，并提供索引，该方法效率高，可以实现较快的响应；

若为动态，进行直方图处理然后进入手势运动向量的计算，分别对手势的位置变化特征及手势的形状变化特征进行计算及统计，并存储数据，完成手势识别；在动态手势识别的过程中，由于手部在空间和时间两个维度是都会发生变化，所以动态手势特征包含手的位置变化和手的形状变化，可以使用直方图技术，在手部姿势差异较大时，表示手部姿势变化并解析出手势的规则性，比较直观地看出手势特征。

表 1

1	整个手掌从左往右	前一电台
			2	整个手掌从右往左	后一电台
3	整个手掌从上到下	减小音量
			4	整个手掌从下到上	增加音量
5	食指竖起，从上到下	菜单
			6	食指竖起，从下到上	电视/视频
7	大拇指和食指垂直，食指竖起	定时
			8	竖起大拇指	开关电源
9	竖起大拇指，从左到右划四分之一圆形	回看
			10	食指和中指形成V型	屏幕显示
11	食指和大拇指形成O型，其余三指竖起	确定
			12	食指竖起，从左向右	退出
13	食指竖起，从右向左	返回
			14	整个手掌竖起不动	静音
15	食指写数字	相应数字键

可理解的，由于操作设备的用户生活在不同地域，并拥有不同的生活习惯，这样定义一套手势动作也成了软件研发关键和创新点，结合常用的功能按键，定义手势动作与控制指令的匹配如表1。

本发明基于智能终端手势识别的家居设备控制系统可以学习不同的红外受控家居设备的各种功能，并通过无线AP设备传递至智能终端，智能终端存储后，可以利用手势，远程操作不同居家设备；由于使用本发明后，智能终端具有自学习功能，对于不同家居设备的遥控，其按键学习一次后，后续便可方便使用，减小了居家生活中众多不同遥控设备的管理和使用带来的不便，且本发明借助于智能终端的摄像头生成手势信号，相对于一般遥控，愉悦了用户体验，同时本发明可以通过智能终端经因特网远程控制家居设备，实现智慧生活。

以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于智能终端手势识别的家居设备控制系统，其特征在于，包括：

无线AP设备，用于接收家居设备的红外信号，将家居设备的红外信号转换为控制信号并发送；将接收到的控制信号转换为红外信号，并以红外信号控制家居设备工作；

智能终端，用于在学习状态下，获取家居设备控制信号，提取手势信号，生成家居设备的控制信号及手势信号的配对数据，并将其存储；在工作状态下，检测到手势信号时，将其与所存储的配对数据进行匹配，获得相应的控制信号并发送给无线AP设备。

2.根据权利要求1所述的基于智能终端手势识别的家居设备控制系统，其特征在于，还包括数据库，所述数据库包括智能终端数据库及服务器数据库，用于存储家居设备红外信号及其控制信号的配对数据。

3.根据权利要求1所述的基于智能终端手势识别的家居设备控制系统，其特征在于，所述智能终端还用于在学习状态下，调取虚拟键盘界面并获取虚拟键盘界面上的按键信号，并生成按键信号、控制信号以及手势信号配对数据。

4.根据权利要求3所述的基于智能终端手势识别的家居设备控制系统，其特征在于，所述虚拟键盘界面为根据需要学习的按键动态生成的虚拟键盘界面。

5.根据权利要求1所述的基于智能终端手势识别的家居设备控制系统，其特征在于，所述智能终端还用于在进入学习状态之前选定需要学习的家居设备类型。

6.一种基于智能终端手势识别的家居设备控制方法，其特征在于，包括：

根据学习指令进入学习状态，获取家居设备的控制信号，并提取手势信号；

生成家居设备的控制信号及手势信号的配对数据，并将其存储；

根据工作指令进入工作状态，检测到手势信号时，将其与所存储的配对数据进行匹配，获得相应的控制信号并发送；

将接收到的控制信号发送给无线AP设备，由所述无线AP设备将所述控制信号转换为红外信号，并征值制个，若为静态，统计及计算视频根据所述红外信号控制家居设备。

7.根据权利要求6所述的基于智能终端手势识别的家居设备控制方法，其特征在于，所述根据学习指令进入学习状态，获取家居设备的控制信号，包括：根据获取的学习指令，从服务器中调取已存储的家居设备的控制信号。

8.根据权利要求6所述的基于智能终端手势识别的家居设备控制方法，其特征在于，所述根据学习指令进入学习状态还包括：判断是否需要加入按键控制，若是，则调取虚拟键盘界面，获取按键信号；

所述生成家居设备的控制信号及手势信号的配对数据，并将其存储还包括：生成家居设备的控制信号、虚拟键盘界面按键信号及手势信号配对数据，并将其存储。

9.根据权利要求8所述的基于智能终端手势识别的家居设备控制方法，其特征在于，所述调取虚拟键盘界面包括：根据需要学习的按键动态生成虚拟键盘界面，并将其调出。

10.根据权利要求6所述的基于智能终端手势识别的家居设备控制方法，其特征在于，所述根据学习指令进入学习状态，获取家居设备的控制信号之前还包括：选定需要学习的家居设备类型。