CN109933191B - 手势识别和控制方法及其系统 - Google Patents
手势识别和控制方法及其系统 Download PDFInfo
- Publication number
- CN109933191B CN109933191B CN201910116109.4A CN201910116109A CN109933191B CN 109933191 B CN109933191 B CN 109933191B CN 201910116109 A CN201910116109 A CN 201910116109A CN 109933191 B CN109933191 B CN 109933191B
- Authority
- CN
- China
- Prior art keywords
- gesture
- control
- action
- angular velocity
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本公开实施例提供一种手势识别和控制方法及其系统。该系统包括可穿戴控制设备和配套的接收模块。该方法基于MEMS传感器的角速度等数据,通过多条件联合判断的波形分析来检测手势动作的起始点和结束点,然后进一步识别手势动作,从而检测出所述手势动作对应的控制命令,并将所述控制命令转换为控制报文,发送给与所述可穿戴控制设备配套的接收模块;所述接收模块可以内嵌在所需控制的相关设备中或者以独立模块的形式连接至相关设备。本公开实施例能够适应不同类型的设备的智能化控制需要,提高了手势识别和控制的准确性和可靠性,提高了手势命令和控制形式的多样性,极大增加了用户操作体验。
Description
技术领域
本发明涉及物联网、模式识别和人机交互技术领域,具体而言,涉及一种手势识别和控制方法及其系统。
背景技术
近年来,随着科技的高速发展和集成电路技术的不断进步,基于 MEMS技术的智能硬件和可穿戴设备层出不穷,同时也带动了人机交互技术的不断改善。人机交互技术致力于不断提高人机交互的自然性与高效性。其中,手势就是目前很重要的人机交互方式,由于手势动作具有学习成本低、自然便捷和直接高效的性质,可以为操作者提供更为直观、舒适和自然的交互体验。手势交互作为一种新兴的人机交互方式,是人机交互领域的重要研究方向。
在手势交互中,利用可穿戴设备中MEMS惯性传感器(或结合肌电传感器)的手势识别方法具有不受空间限制、运算简单,以及不受光线等环境因素影响等优点。并且,可穿戴设备一般都会长期佩戴在用户身上,用户可以随时基于可穿戴设备进行操作。而智能家居、物联网的飞速发展,也使得基于可穿戴设备的手势识别更具应用价值,甚至可以作为未来的物联网控制中心。
一方面,在基于MEMS传感器的手势识别技术上,现有的方法一般都是在假定已经知道手势的起始和结束的情况下获得的,然而在传感器采集的手势数据中不可避免地会混入背景动作的干扰,如何在连续的传感器数据流中自动且可靠地检测出真正的手势动作区间还是一个难点,影响了手势识别的准确性,也影响用户的操作体验。
另一方面,虽然目前市场上已经有部分智能硬件产品和概念产品使用了传感器手势识别技术,但手势交互仍然存在交互形式单一、各交互系统互不兼容、成本高等问题。比如部分智能电视的遥控器以及智能手表具有如抬手亮屏、翻腕切屏等功能,然而所识别的手势还比较单一,对其它设备的控制功能还非常少。
此外,对于儿童玩具等的控制,目前绝大多数还是采用基于红外或其它无线方式的遥控器进行操作,如遥控汽车,可以通过遥控器控制它的前后左右等运动。对于台灯、吊灯或其它家电设备等的操作,一般也是通过它们本身的按钮或者遥控器进行操作,即使有的可以通过手机控制,但还需要打开相应的APP进行操作,不够直观和方便。
发明内容
本公开实施例提供一种手势识别和控制方法及其系统,能够对可穿戴设备的手势动作区间进行自动检测,提高了手势识别的准确性和可靠性。
第一方面,本公开实施例提出一种手势识别和控制方法。该方法包括:
采集MEMS传感器的三轴角速度数据,计算所述三轴角速度数据的合角速度数据;
对计算得到的合角速度数据进行低通滤波处理;
通过多条件联合判断对滤波后的所述合角速度数据进行波形分析,来检测手势动作的起始点和结束点;
如果检测出有效的手势动作的起始点和结束点,则提取所述手势动作的起始点和结束点之间的手势动作区间的传感器数据,进一步识别手势动作,从而检测出所述手势动作对应的控制命令,所述手势动作区间的传感器数据包括加速度数据、角速度数据、地磁数据中任一或组合;
将所述控制命令转换为控制报文,发送给与所述可穿戴控制设备配套的接收模块。
在可选的实施方式中,该方法还包括:
所述接收模块从所述控制报文解析出相应的控制命令,将所述控制命令发送给与所述接收模块相连的相关设备,控制所述相关设备进行相应的动作或响应。
在可选的实施方式中,该方法还包括:
如果没有检测出有效的手势动作的起始点和结束点,则返回所述采集 MEMS传感器的三轴角速度数据,计算所述三轴角速度数据的合角速度数据的起始步骤继续执行。
在可选的实施方式中,所述通过多条件联合判断对滤波后的所述合角速度数据进行波形分析,来检测手势动作的起始点和结束点包括:
通过所述合角速度数据中当前时刻采样点的合角速度是否大于等于预定阈值来判断手势动作的可能的起始点;
通过所述合角速度数据中当前时刻采样点的前后邻域的合角速度是否满足预定条件来判断所述合角速度数据的波形中的谷值和峰值;
基于所述谷值和峰值是否满足预定的阈值条件来检测手势动作的结束点。
在可选的实施方式中,该方法还包括:
通过与所述可穿戴控制设备相连的终端设备对手势动作和对应的控制命令进行配置,并存储至所述可穿戴控制设备中的手势命令数据库。
在可选的实施方式中,所述识别所述手势动作对应的控制命令还包括:
通过将所述手势动作的起始点和结束点之间的手势动作区间的传感器数据进行手势识别,然后在所述可穿戴控制设备中存储的手势命令数据库中进行查询,从而检测出所述手势动作对应的控制命令。
第二方面,本公开实施例提出一种手势识别和控制系统。该系统包括:
可穿戴控制设备和配套的接收模块;所述可穿戴控制设备包括:
传感器数据采集模块,被配置为采集MEMS传感器的数据,所述数据包括三轴角速度等数据;
手势检测和识别模块,被配置为:
接收所述传感器数据采集模块采集的三轴角速度数据,计算所述三轴角速度数据的合角速度数据;
对计算得到的合角速度数据进行低通滤波处理;
通过多条件联合判断对滤波后的所述合角速度数据进行波形分析,来检测手势动作的起始点和结束点;
如果检测出有效的手势动作的起始点和结束点,则提取所述手势动作的起始点和结束点之间的手势动作区间的传感器数据,进一步识别手势动作,从而检测出所述手势动作对应的控制命令,所述手势动作区间的传感器数据包括加速度数据、角速度数据、地磁数据中任一或组合;
第一无线传输模块,被配置为将所述控制命令转换为控制报文,发送给与所述可穿戴控制设备配套的接收模块;
所述接收模块包括:
第二无线传输模块,被配置为接收所述第一无线传输模块发送的控制报文;
命令解析模块,被配置为从所述控制报文解析出相应的控制命令;
控制接口模块,被配置为将所述控制命令发送给与所述接收模块相连的相关设备,控制所述相关设备进行相应的动作或响应。
在可选的实施方式中,所述手势检测和识别模块被配置为:
通过所述合角速度数据中当前时刻采样点的合角速度是否大于等于预定阈值来判断手势动作的可能的起始点;
通过所述合角速度数据中当前时刻采样点的前后邻域的合角速度是否满足预定条件来判断所述合角速度数据的波形中的谷值和峰值;
基于所述谷值和峰值是否满足预定的阈值条件来检测手势动作的结束点。
在可选的实施方式中,所述可穿戴控制设备还包括:
手势配置模块,被配置为对手势动作和对应的控制命令进行配置,并存储至所述可穿戴控制设备中的手势命令数据库。
在可选的实施方式中,所述手势检测和识别模块被配置为:
通过将所述手势动作的起始点和结束点之间的手势动作区间的传感器数据进行手势识别,然后在所述可穿戴控制设备中存储的手势命令数据库中进行查询,从而检测出所述手势动作对应的控制命令。
在可选的实施方式中,所述手势配置模块还被配置为:对体感动作和对应的控制命令进行配置,所述体感动作根据所述可穿戴控制设备的姿态方向来映射到不同的控制命令。
在可选的实施方式中,所述接收模块以内嵌模块的形式设置在所述相关设备中或者以独立模块的形式连接至所述相关设备。
在可选的实施方式中,所述控制接口模块包括通过串口来控制所述相关设备进行相应的动作或响应。
在可选的实施方式中,所述控制接口模块包括通过串口转USB接口来控制所述相关设备进行相应的动作或响应。
在可选的实施方式中,所述控制接口模块包括通过继电器控制电路和插座来控制所述相关设备进行相应的动作或响应。
第三方面,本公开实施例提出一种控制儿童玩具的方法,基于如第二方面任一实施方式所述的手势识别和控制系统控制儿童玩具在不同方向运动。
第四方面,本公开实施例提出一种控制照明设备的方法,基于如第二方面任一实施方式所述的手势识别和控制系统控制照明设备的开、关、亮度或颜色变化。
本公开实施例基于可穿戴控制设备,通过连续采集MENS传感器的数据,并基于多条件联合判断的波形分析来自动检测手势动作的起始点和结束点,降低了局部噪声和抖动等干扰的影响,提高了手势识别的准确性和可靠性,极大增加了用户操作体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例的手势识别和控制系统100的结构示意图;
图2是本公开实施例的手势识别和控制系统100的功能模块示意图;
图3是本公开实施例的可穿戴控制设备的工作过程示意图;
图4是本公开实施例的控制手势含义说明示意图;
图5是本公开实施例的可穿戴控制设备进行手势检测和识别的流程示意图;
图6是本公开实施例的接收模块20的工作过程示意图;
图7是本公开实施例的接收模块20的控制接口模块的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
如前所述,为了对可穿戴设备的手势动作区间进行自动检测,提高手势识别的准确性和可靠性,本公开提出一种手势识别和控制方法及其系统。
如图1所示,该手势识别和控制系统100包括可穿戴控制设备10和配套的接收模块20。可穿戴控制设备100和接收模块20之间可以通过红外、蓝牙、蓝牙低功耗(BLE)、WIFI或其它无线方式连接。其中,可穿戴控制设备10可以是智能手表、智能手环、智能戒指,或者专门设计的智能控制腕带等。接收模块20可以有两种形式:(1)内嵌在要控制的相关设备中,该相关设备可以包括但不限于儿童玩具、台灯、吊灯、无人机、机器人等,如图1(a)所示;(2)作为独立的模块与要控制的相关设备相连,独立的模块可以包括但不限于蓝牙适配器、智能控制插座等形式,如图1 (b)所示。
其中,可穿戴控制设备10可以采用MEMS惯性传感器识别幅度相对较大的手势动作,可以采用肌电传感器识别更加细微的精细化的手势动作。本公开实施例中,可以根据实际需求和应用场景选择采用惯性传感器,或者肌电传感器,或者二者的结合,来识别更加广泛的手势动作。
在可穿戴控制设备10与接收模块20建立无线连接后,当用户有某种手势动作发生时,可穿戴控制设备10可以自动检测出该手势动作,并转换为相应的控制命令和参数,通过无线方式发送给接收模块20。对于图1 (a)的内嵌形式,接收模块20将控制命令进一步传送给与之相连的执行机构,控制相关设备做出相应的动作或响应,如控制儿童玩具的前、后、左、右、加速、减速、停止等动作,或者控制台灯、吊灯等照明设备的开、关、亮度调节、灯光颜色变化等。对于图1(b)的独立模块形式(如蓝牙适配器、智能控制插座等),接收模块通过与相关设备相连,进而控制相关设备做出相应的动作或响应,如通过蓝牙适配器与PC相连可以控制PPT 演示时的翻页,以及作为空中鼠标来使用;通过智能控制插座与相关设备相连,可以控制相关设备的开、关等。通过这些方式,实现了用户通过可穿戴控制设备对相关设备的直观手势控制,自然方便地实现智能化的交互操作。
在该系统中,可穿戴控制设备10和接收模块20所包括的主要功能模块如图2所示。其中,可穿戴控制设备10主要包括:传感器数据采集模块101,手势配置模块102,手势检测和识别模块103;无线传输模块104 等。接收模块20主要包括:无线传输模块201,命令解析模块202,控制接口模块203等。
下面对可穿戴控制设备10和接收模块20的功能进行详细介绍。
1.可穿戴控制设备10
如图3所示,可穿戴控制设备10的工作过程描述如下:首先,进行手势控制时,传感器数据采集模块101采集加速度、陀螺仪等惯性传感器(或结合肌电传感器)的数据;当用户执行一定的手势动作,由手势检测和识别模块103检测和识别出该手势;在本地手势命令数据库中查询该手势对应的控制命令和参数,当确认为有效手势后,输出给无线传输模块104;无线传输模块104将查询出的该控制命令和参数转换为控制报文,然后将该控制报文通过无线方式发送给接收模块20。
可穿戴控制设备10的各功能模块具体介绍如下。
1.1传感器数据采集模块101
该模块主要负责采集传感器的数据。传感器包括惯性传感器,或惯性传感器结合肌电传感器。惯性传感器可以采用三轴、六轴或九轴,包括加速度、陀螺仪或地磁等传感器数据。
1.2手势配置模块102
该模块主要负责采集、训练、创建、修改手势模板,以及手势命令的配置等,将不同的手势动作和对应要执行的命令关联起来。
该模块可以借助手机或PC来辅助进行操作。可以将可穿戴控制设备 10和手机或PC相连(通过数据线或BLE等无线方式),利用手机或PC 上的配套软件调用可穿戴控制设备的手势配置模块的接口,可以对手势模板进行操作,如自定义、训练、增加、编辑、删除模板、恢复默认模板等;或者对手势动作和对应要执行的命令进行设置,并保存到可穿戴控制设备的手势命令数据库中;或者对系统的相关参数进行配置和管理。
对于执行控制命令的手势模板可以采用系统默认的手势集合,也可以在配置手势命令时由用户根据自己的习惯自定义,按照要求采集自定义手势后调用相关模块训练得到模板。在设计手势时需要满足两个基本原则: (1)手势应尽量简单,用户可以很轻松地掌握和使用;(2)手势易被识别和区分,并尽量和无关动作区别开来。
以控制儿童玩具和照明设备作为示例,根据具体动作特点设计几种默认的控制手势,如图4所示。其中,黑色圆点为手势开始位置,虚线代表返回到开始位置。
需要说明的是,图4中所示的控制手势仅作为示例,并不作为对本公开的限定。使用该图中手势动作时,可将佩戴可穿戴控制设备的手臂平伸,然后执行相关手势。
在确定手势样本并训练得到手势模板后,在与可穿戴控制设备10相连的手机或PC的配置界面中,将控制命令与相应的手势(默认手势或自定义手势)进行关联,然后将配置的关联信息保存到可穿戴控制设备10的本地手势命令数据库中,可穿戴控制设备10就可以通过用户的不同手势来区分出相对应的控制命令。配置成功后,可以断开可穿戴控制设备10 与手机或PC的连接。另外,在使用过程中,用户可以随时登录配置界面对相关的控制命令和手势进行修改。
另外,需要说明的是,对于儿童玩具等,除了上面设计的手势识别和控制之外,也可以采用体感控制,即根据可穿戴控制设备10当前的姿态方向来发出不同的控制命令。例如,对于儿童玩具汽车,可以采用预定的手势,例如连续旋转(抖动)两次手腕作为体感控制的开始或结束手势。在体感控制开始后,当佩戴可穿戴控制设备10的手臂向上抬起时,汽车前进;手臂向下倾斜时,汽车后退;手臂向左旋转时,汽车左转,向右旋转时,汽车右转。而且,倾斜或旋转的角度越大,汽车的速度越快。采用体感控制,开始时需要按后面的步骤检测连续两次旋转手腕的动作(或其它预定义的手势动作),在检测到该手势后,就可以根据加速度传感器或结合陀螺仪来检测可穿戴控制设备10当前的姿态和倾斜方向,进行体感控制,同时需要检测体感控制的结束手势。当检测到结束手势后,停止体感控制操作。
本公开实施例通过手势配置实现了手势命令的个性化配置,并且还可以兼容体感动作的识别和控制,提高了手势命令和控制形式的多样性,提高了用户交互体验。
1.3手势检测和识别模块103
该模块可以使用基于惯性传感器(或结合肌电传感器)的手势检测方法,对采集的传感器数据进行连续的自动检测,判断是否有可能的手势存在,并提取具体的手势动作区间,并进一步进行手势识别操作。
在可选的实施方式中,本公开采用基于陀螺仪的多条件联合判断的波形分析手势检测方法来提高手势检测的准确性和可靠性。由于加速度信号除了包含手势动作信号外,还很容易受到身体运动和重力的干扰,而陀螺仪采集到的角速度信号主要反映了手部旋转运动的信息,受到身体运动和重力影响较少,因此,采用陀螺仪信号进行手势信号分割会更加可靠,具有更高的检测精度。
如图5所示,该手势检测方法包括如下步骤:
步骤S301,接收采集自惯性传感器的三轴角速度数据,计算三轴角速度数据的合角速度数据。
设在时刻t,X、Y、Z三轴的角速度数据分别为ωx(t),ωy(t)和ωz(t),则合角速度(2-范数)为:
然后,对获得的合角速度数据序列进行处理。这里采用合角速度可以避免不同佩戴方式和运动方向的影响。
步骤S302,对计算得到的合角速度数据进行低通滤波处理。
本公开实施例采用滑动窗口方法采集合角速度数据,设窗口长度为T,相邻窗口间可以有一定的重叠。对窗口内采集到的合角速度数据进行滤波处理,可以采用均值滤波、Butterworth滤波等处理方法,以滤除干扰噪声。
步骤S303,通过多条件联合判断对滤波后的合角速度数据进行波形分析,来检测手势动作的起始点和结束点。
该步骤中,通过多条件联合判断的波形分析来判断当前采样点是否是可能的手势动作的起始点或结束点。对于结束点来说,它可能是满足一定条件的谷值(在连续的动作数据流中),也可能是实际的静止点。搜索过程中要同时判断这两种可能的结束点。
具体检测过程如下:
步骤a),设置起始点发现标志Fstart=0。
步骤b),在时刻t,对于滤波后的合角速度,如果ω(t)≥Th1,则认为时刻t为可能的起始点t1,并设置标志Fstart=1。
步骤c),谷值判断。
一般根据相邻两点斜率的正负变化来检测谷值,但很容易受噪声影响。本公开在当前采样点的前后邻域后进行谷值的判断。在Fstart=1的情况下,设时刻t时的滤波后合角速度为ω(t),前后邻域的采样点数目为Neighb,如果同时满足条件:
ω(t-Neighb)>ω(t-Neighb+1)
ω(t-Neighb+1)>ω(t-Neighb+2)
…
ω(t-1)>ω(t)
以及:
ω(t)<ω(t+1)
ω(t+1)<ω(t+2)
…
ω(t+Neighb-1)<ω(t+Neighb)
则认为当前采样点t为谷值点,当前时刻记为t2,谷值为Vω=ω(t)。该点与开始点t1之间的合角速度的最大值认为是峰值Pω。如果同时满足条件:
Vω<Th2
Th3≤Pω<Th4
Th5≤t2-t1<Th6
则认为当前谷值点t2为手势动作的结束点,t1~t2为检测出的可能的手势动作区间,并设置标志Fstart=0,从下一个时刻点开始返回步骤b) 继续搜索下一个起始点。
如果不同时满足这些条件,而且在t2-t1<Th6的情况下执行步骤d) 继续向前搜索结束点。而在t2-t1≥Th6的情况下则认为没有出现手势动作,所找到的起始点t1为假,设置标志Fstart=0,从下一个时刻点开始返回步骤b)继续搜索起始点。
步骤d),如果标志Fstart=1,设时刻t时的滤波后合角速度为ω(t),如果从时刻t3开始在连续的N个点上满足:
ω(t)<Th7,t=t3,t3+1,…,t3+N-1
则认为t3为静止点,根据下面的条件继续判断。否则,返回步骤c) 继续向前搜索结束点。
设t1和t3之间的最大值为Pω,如果同时满足:
Th3≤Pω<Th4
Th5≤t3-t1<Th6
则认为时刻t3为手势动作的结束点,t1~t3为检测出的可能的手势动作区间,并设置标志Fstart=0,从下一个时刻点开始返回步骤b)继续搜索下一个起始点。否则,认为没有出现手势动作,所找到的起始点t1为假,设置标志Fstart=0,从下一个时刻点开始返回步骤b)继续搜索起始点。
在上述公式中,Th1、Th2、Th3、Th4、Th5、Th6、Th7为相应的阈值,可以根据具体实验数据来确定。
步骤S304,如果检测出有效的手势动作起始点和结束点,则提取手势动作起始点和结束点之间的手势动作区间的传感器数据,进行手势动作识别。
在步骤S303检测出可能的手势动作起始点和结束点后,可以提取手势动作区间内经过低通滤波后的三轴(加速度或陀螺仪角速度)、六轴(加速度和陀螺仪角速度)或九轴(加速度、陀螺仪角速度和地磁)数据,或结合该区间内的肌电传感器信号进行手势动作的识别,从而识别出手势对应的控制命令。
由于可穿戴控制设备是资源受限的设备,在手势识别过程中,需要对动作持续进行感知和识别,因此需要尽量降低设备的功耗,以延长待机时间。优选地,可以在可穿戴控制设备10上增加手势控制模式,当启动该模式时,才持续检测和识别用户的手势。此外,为了降低功耗,也需要尽量降低算法的复杂性,在减少计算量的同时,保证动作识别的正确率和可靠性。在可选的实施方式中,可以利用定义的手势模板库对提取出的手势信号直接进行识别处理,或者也可以先对多轴信号进行PCA(主成分分析) 处理以降低数据维度,然后对降维后的数据进行识别处理,这样可以降低计算复杂度并减少对执行手势时用户姿态的限制。手势识别可以采用模板匹配(如动态时间规整匹配DTW等)、机器学习(支持向量机SVM、隐马尔可夫模型HMM等),或深度神经网络等方法以及其它改进的方法进行训练和识别。
需要注意的是,本公开实施例采用的手势检测方法除了上述介绍的基于角速度的多条件联合判断的波形分析方法之外,也可以采用其他检测方法,本领域技术人员在本实施例所记载的技术方案基础上的修改或者部分替换,并不脱离本公开实施例技术方案的范围。
1.4无线传输模块104
无线传输模块104用于对可穿戴控制设备10的无线收发进行管理。通过该模块与接收模块20建立BLE等无线连接后,一方面,在收到手势检测和识别模块103发送过来的手势控制命令和参数后,无线传输模块104 将其转换为控制报文,并通过BLE等无线方式发送给接收模块20。另一方面,该模块也接收由接收模块20发送过来的反馈信号和其它相关信息。
2.接收模块20
接收模块20主要包括无线传输模块201、命令解析模块202、控制接口模块203。
如图6所示,接收模块20的工作过程描述如下:
首先,接收模块20通过无线传输模块201监听并收到可穿戴控制设备 10发送过来的控制报文后,通过命令解析模块202解析出相应的控制命令,然后再将控制命令通过控制接口模块203发送给相关设备,以执行相关操作或动作控制,完成用户的控制命令,并将相关的反馈信息通过无线传输模块201发送给可穿戴控制设备10。
各功能模块具体介绍如下。
2.1无线传输模块201
该模块主要对接收模块20的无线收发进行管理。在可穿戴控制设备与接收模块建立BLE等无线连接后,一方面,该模块负责接收可穿戴控制设备发送的控制报文,转交给命令解析模块进行处理;另一方面,可以向可穿戴控制设备发送相关的反馈信息。
2.2命令解析模块202
该模块主要负责对无线传输模块201收到的控制报文进行解析和解码,获取数据包中的控制命令等信息。在解析出控制命令后,将这些信息传输给控制接口模块203进一步处理。
2.3控制接口模块203
该模块在收到解析出的控制命令后,将控制命令发送给相连的相关设备,执行相应的动作或响应操作,完成用户的指令。
如图7所示,控制接口模块203可以有不同的接口形式,例如串口、或串口转USB接口、继电器、其它定制接口等。
对于图1(a)的内嵌形式,控制接口模块203包括了串口输出等接口形式,通过串口等接口将控制命令传给相连设备的执行机构(如相连设备内部的电机控制模块或继电器等),控制相关设备做出相应的动作或响应,如控制儿童玩具的前、后、左、右、加速、减速、停止等动作,或者控制台灯、吊灯等照明设备的开、关、亮度调节、灯光颜色变化等。
对于图1(b)的独立模块形式,例如对于蓝牙适配器这种接收模块形式,其中的控制接口模块203采用串口转USB等接口形式。通过该接口将控制命令传给相连设备,例如通过蓝牙适配器与PC相连可以控制PPT 演示时的翻页,以及作为空中鼠标来使用。另外,对于智能控制插座这种接收模块形式,其中的控制接口模块203包括了继电器控制电路、插座等,控制接口模块203根据收到的控制命令通过继电器控制电路的开、关,进而可以控制与之相连的设备的开、关等操作。
本公开实施例基于可穿戴控制设备,通过连续采集陀螺仪等MENS传感器的数据,并基于多条件联合判断的波形分析来自动检测手势动作的起始点和结束点,降低了局部噪声和抖动等干扰的影响,提高了手势识别的准确性和可靠性。同时,通过判断当前有无可能的手势动作发生,并提取具体的手势动作区间,如果没有手势动作则不进行下一步操作,如果有有效动作,则执行进一步的手势识别操作,降低了计算量和功耗。此外,本公开实施例通过手势配置实现了手势命令的个性化配置,并且兼容体感动作的识别和控制,提高了手势命令和控制形式的多样性,提高了用户交互体验。再者,本公开实施例通过内嵌或独立的接收模块,能够适应不同类型的设备的智能化控制需要,提高了手势识别和控制的通用性,极大增加了用户操作体验。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (15)
1.一种手势识别和控制方法,应用于可穿戴控制设备,其特征在于,包括:
采集MEMS传感器的三轴角速度数据,计算所述三轴角速度数据的合角速度数据;
对计算得到的合角速度数据进行低通滤波处理;
通过多条件联合判断对滤波后的所述合角速度数据进行波形分析,来检测手势动作的起始点和结束点;
如果检测出有效的手势动作的起始点和结束点,则提取所述手势动作的起始点和结束点之间的手势动作区间的传感器数据,进一步识别手势动作,从而检测出所述手势动作对应的控制命令,所述手势动作区间的传感器数据包括加速度数据、角速度数据、地磁数据中任一或组合;
将所述控制命令转换为控制报文,发送给与所述可穿戴控制设备配套的接收模块;
所述通过多条件联合判断对滤波后的所述合角速度数据进行波形分析,来检测手势动作的起始点和结束点,包括:
步骤a),设置起始点发现标志Fstart=0;
步骤b),在时刻t,对于滤波后的合角速度,如果ω(t)≥Th1,认为时刻t为可能的起始点t1,设置标志Fstart=1;
步骤c),在Fstart=1的情况下,设时刻t时的滤波后合角速度为ω(t),前后邻域的采样点数目为Neighb,如果同时满足条件:
ω(t-Neighb)>ω(t-Neighb+1)
ω(t-Neighb+1)>ω(t-Neighb+2)
...
ω(t-1)>ω(t)
以及:
ω(t)<ω(t+1)
ω(t+1)<ω(t+2)
...
ω(t+Neighb-1)<ω(t+Neighb)
则认为当前采样点t为谷值点,当前时刻记为t2,谷值为Vω=ω(t);该点与开始点t1之间的合角速度的最大值认为是峰值Pω;
如果同时满足条件:
Vω<Th2
Th3≤Pω<Th4
Th5≤t2-t1<Th6
则认为当前谷值点t2为手势动作的结束点,t1~t2为检测出的可能的手势动作区间,并设置标志Fstart=0,从下一个时刻点开始返回步骤b)继续搜索下一个起始点;
步骤d),如果标志Fstart=1,如果从时刻t3开始在连续的N个点上满足:
ω(t)<Th7,t=t3,t3+1,…,t3+N-1
则认为t3为静止点,根据下面的条件继续判断,否则,返回步骤c)继续向前搜索结束点;
设t1和t3之间的最大值为Pω,如果同时满足:
Th3≤Pω<Th4
Th5≤t3-t1<Th6
则认为时刻t3为手势动作的结束点,t1~t3为检测出的可能的手势动作区间,并设置标志Fstart=0,从下一个时刻点开始返回步骤b)继续搜索下一个起始点,否则,认为没有出现手势动作,所找到的起始点t1为假,设置标志Fstart=0,从下一个时刻点开始返回步骤b)继续搜索起始点。
2.根据权利要求1所述的手势识别和控制方法,其特征在于,还包括:
所述接收模块从所述控制报文解析出相应的控制命令,将所述控制命令发送给与所述接收模块相连的相关设备,控制所述相关设备进行相应的动作或响应。
3.根据权利要求2所述的手势识别和控制方法,其特征在于,还包括:
如果没有检测出有效的手势动作的起始点和结束点,则返回所述采集MEMS传感器的三轴角速度数据,计算所述三轴角速度数据的合角速度数据的起始步骤继续执行。
4.根据权利要求1所述的手势识别和控制方法,其特征在于,还包括:
通过与所述可穿戴控制设备相连的终端设备对手势动作和对应的控制命令进行配置,并存储至所述可穿戴控制设备中的手势命令数据库。
5.根据权利要求4所述的手势识别和控制方法,其特征在于,所述识别所述手势动作对应的控制命令还包括:
通过将所述手势动作的起始点和结束点之间的手势动作区间的传感器数据进行手势识别,然后在所述可穿戴控制设备中存储的手势命令数据库中进行查询,从而检测出所述手势动作对应的控制命令。
6.一种基于所述权利要求1实现的手势识别和控制系统,其特征在于,包括:
可穿戴控制设备和配套的接收模块;所述可穿戴控制设备包括:
传感器数据采集模块,被配置为采集MEMS传感器的数据,所述数据包括三轴角速度数据;
手势检测和识别模块,被配置为:
接收所述传感器数据采集模块采集的三轴角速度数据,计算所述三轴角速度数据的合角速度数据;
对计算得到的合角速度数据进行低通滤波处理;
通过多条件联合判断对滤波后的所述合角速度数据进行波形分析,来检测手势动作的起始点和结束点;
如果检测出有效的手势动作的起始点和结束点,则提取所述手势动作的起始点和结束点之间的手势动作区间的传感器数据,识别所述手势动作,并进一步检测出对应的控制命令,所述手势动作区间的传感器数据包括所述传感器数据采集模块采集的加速度数据、角速度数据、地磁数据中任一或组合;
第一无线传输模块,被配置为将所述控制命令转换为控制报文,发送给与所述可穿戴控制设备配套的接收模块;
所述接收模块包括:
第二无线传输模块,被配置为接收所述第一无线传输模块发送的控制报文;
命令解析模块,被配置为从所述控制报文解析出相应的控制命令;
控制接口模块,被配置为将所述控制命令发送给与所述接收模块相连的相关设备,控制所述相关设备进行相应的动作或响应。
7.根据权利要求6所述的手势识别和控制系统,其特征在于,所述可穿戴控制设备还包括:
手势配置模块,被配置为对手势动作和对应的控制命令进行配置,并存储至所述可穿戴控制设备中的手势命令数据库。
8.根据权利要求7所述的手势识别和控制系统,其特征在于,所述手势检测和识别模块被配置为:
通过将所述手势动作的起始点和结束点之间的手势动作区间的传感器数据进行手势识别,然后在所述可穿戴控制设备中存储的手势命令数据库中进行查询,从而检测出所述手势动作对应的控制命令。
9.根据权利要求8所述的手势识别和控制系统,其特征在于,所述手势配置模块还被配置为:对体感动作和对应的控制命令进行配置,所述体感动作根据所述可穿戴控制设备的姿态方向来映射到不同的控制命令。
10.根据权利要求9所述的手势识别和控制系统,其特征在于,所述接收模块以内嵌模块的形式设置在所述相关设备中或者以独立模块的形式连接至所述相关设备。
11.根据权利要求10所述的手势识别和控制系统,其特征在于,所述控制接口模块包括通过串口来控制所述相关设备进行相应的动作或响应。
12.根据权利要求10所述的手势识别和控制系统,其特征在于,所述控制接口模块包括通过串口转USB接口来控制所述相关设备进行相应的动作或响应。
13.根据权利要求10所述的手势识别和控制系统,其特征在于,所述控制接口模块包括通过继电器控制电路和插座来控制所述相关设备进行相应的动作或响应。
14.一种控制儿童玩具的方法,其特征在于,基于如权利要求6-13任一项所述的手势识别和控制系统控制儿童玩具在不同方向运动。
15.一种控制照明设备的方法,其特征在于,基于如权利要求6-13任一项所述的手势识别和控制系统控制照明设备的开、关、亮度或颜色变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910116109.4A CN109933191B (zh) | 2019-02-13 | 2019-02-13 | 手势识别和控制方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910116109.4A CN109933191B (zh) | 2019-02-13 | 2019-02-13 | 手势识别和控制方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109933191A CN109933191A (zh) | 2019-06-25 |
CN109933191B true CN109933191B (zh) | 2022-06-03 |
Family
ID=66985549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910116109.4A Active CN109933191B (zh) | 2019-02-13 | 2019-02-13 | 手势识别和控制方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109933191B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110703910B (zh) * | 2019-09-26 | 2022-07-12 | 深圳大学 | 一种基于智能手表的手势识别方法及系统 |
CN111580664B (zh) * | 2020-05-11 | 2021-07-27 | 清华大学 | 一种抬起手势的识别方法、系统、电子设备及存储介质 |
CN112965391A (zh) * | 2021-01-29 | 2021-06-15 | 青岛海尔空调器有限总公司 | 用于家电控制的方法、家电控制系统和可穿戴设备 |
TWI779481B (zh) * | 2021-02-05 | 2022-10-01 | 洛克火箭股份有限公司 | 以智能戒指實現的無線控制系統其無線控制方法 |
CN117453105A (zh) * | 2021-09-27 | 2024-01-26 | 荣耀终端有限公司 | 退出二维码的方法和装置 |
CN117055738B (zh) * | 2023-10-11 | 2024-01-19 | 湖北星纪魅族集团有限公司 | 手势识别方法、可穿戴设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982557A (zh) * | 2012-11-06 | 2013-03-20 | 桂林电子科技大学 | 基于深度相机的空间手势姿态指令处理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8175617B2 (en) * | 2009-10-28 | 2012-05-08 | Digimarc Corporation | Sensor-based mobile search, related methods and systems |
CN106990841A (zh) * | 2017-03-30 | 2017-07-28 | 无锡云瞳信息科技有限公司 | 基于运动传感器的手势识别方法及智能可穿戴摄像机 |
CN108466263A (zh) * | 2018-01-29 | 2018-08-31 | 青岛真时科技有限公司 | 一种机器人控制方法和装置 |
-
2019
- 2019-02-13 CN CN201910116109.4A patent/CN109933191B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982557A (zh) * | 2012-11-06 | 2013-03-20 | 桂林电子科技大学 | 基于深度相机的空间手势姿态指令处理方法 |
Non-Patent Citations (1)
Title |
---|
GlassGesture: Exploring head gesture interface of smart glasses;Shanhe Yi等;《 IEEE INFOCOM 2016 - The 35th Annual IEEE International Conference on Computer Communications》;20160728;第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109933191A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933191B (zh) | 手势识别和控制方法及其系统 | |
CN203300127U (zh) | 儿童教学监护机器人 | |
US7519537B2 (en) | Method and apparatus for a verbo-manual gesture interface | |
WO2018031758A1 (en) | Control system and control processing method and apparatus | |
EP2901246B1 (en) | Remote control with 3d pointing and gesture recognition capabilities | |
CN103324100B (zh) | 一种信息驱动的情感车载机器人 | |
KR102347067B1 (ko) | 제스처를 통해 외부 장치를 제어하는 휴대용 장치 및 그 동작방법 | |
CN212112406U (zh) | 一种基于用户eog信号和头部姿态的驱动装置 | |
CN103218062A (zh) | 基于加速度传感器和动作识别的人机交互方法及其设备 | |
CN104125523A (zh) | 一种动感耳机系统及其使用方法 | |
US9052750B2 (en) | System and method for manipulating user interface by 2D camera | |
CN105302021A (zh) | 人机协作再制造中控制机器人运动的穿戴式手势控制装置 | |
CN106020234A (zh) | 一种无人机飞行控制的方法、装置及设备 | |
CN111461059A (zh) | 一种多区域多分类可扩展手势识别控制装置及控制方法 | |
Verdadero et al. | Hand gesture recognition system as an alternative interface for remote controlled home appliances | |
CN105867595A (zh) | 联合语音信息与手势信息的人机交互方式以及实施装置 | |
CN112835452A (zh) | 基于手势和运动识别的人机交互方法及其系统 | |
CN103501473B (zh) | 基于mems传感器的多功能耳机及其控制方法 | |
CN211979681U (zh) | 一种多区域多分类可扩展手势识别控制装置 | |
CN111050266B (zh) | 一种基于耳机检测动作进行功能控制的方法及系统 | |
CN106648040B (zh) | 一种终端控制方法及装置 | |
CN116270056A (zh) | 一种多模态轮椅控制系统 | |
CN114815689A (zh) | 一种实现手势控制的无人机及其控制系统和控制方法 | |
CN113955639A (zh) | 一种起重机的手势控制手环、系统和方法 | |
CN115344111A (zh) | 手势交互方法、系统和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220602 Address after: Room 304-4, building 1, No. 1, Qingshan Road, high tech Zone, Suzhou, Jiangsu 215000 Patentee after: Suzhou zhaochen Intelligent Technology Co.,Ltd. Address before: Room 202, unit 2, building 21, zhibenshidai community, Xisanqi East Road, Haidian District, Beijing 100096 Patentee before: Su Pengcheng |
|
TR01 | Transfer of patent right |