CN105760825A - 一种基于切比雪夫前向神经网络的手势识别系统和方法 - Google Patents

一种基于切比雪夫前向神经网络的手势识别系统和方法 Download PDF

Info

Publication number
CN105760825A
CN105760825A CN201610073152.3A CN201610073152A CN105760825A CN 105760825 A CN105760825 A CN 105760825A CN 201610073152 A CN201610073152 A CN 201610073152A CN 105760825 A CN105760825 A CN 105760825A
Authority
CN
China
Prior art keywords
signal
chebyshev
neural network
frequency
feedforward neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610073152.3A
Other languages
English (en)
Inventor
吴伟涛
曾懋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Maxustech Co Ltd
Original Assignee
Shenzhen Maxustech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Maxustech Co Ltd filed Critical Shenzhen Maxustech Co Ltd
Priority to CN201610073152.3A priority Critical patent/CN105760825A/zh
Publication of CN105760825A publication Critical patent/CN105760825A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开一种基于切比雪夫前向神经网络的手势识别系统，包括依次连接的信号发射模块、信号接收模块和信号预处理模块，还包括与信号预处理模块连接的属性特征向量提取模块，所述属性特征向量提取模块连接了切比雪夫前向神经网络分类器，所述信号发射模块用于发射超声信号，所述信号接收模块用于接收反射回来的超声回波信号，所述信号预处理模块用于对接收到的超声回波信号进行预处理，所述属性特征向量提取模块用于提取手势动作的属性特征向量，所述切比雪夫前向神经网络分类器用于对属性特征向量进行识别并输出识别结果。本发明能够在不同环境下对不同用户的手势动作进行准确的识别。

Description

一种基于切比雪夫前向神经网络的手势识别系统和方法
技术领域
本发明涉及手势识别技术领域，具体涉及一种基于切比雪夫前向神经网络的手势识别系统和方法。
背景技术
手势识别技术在当前时代已经获得越来越多的关注，比较成功的产品包括微软Kinect摄像头、LeapMotion手势捕捉设备等。Kinect摄像头和LeapMotion手势捕捉设备都是采用计算机视觉识别技术对人体动作进行建模或对指尖进行跟踪，得到连续多帧图像，然后对连续多帧图像进行分析得到手势识别结果。利用这种方式识别手势在技术实现上需占用大量计算和存储资源，不仅成本高，功耗大，受环境光照条件影响大，而且在联网状态下存在用户隐私泄露隐患。这些缺陷都限制了基于计算机视觉的手势识别方案在智能物联网领域的应用。现有技术常用的手势识别技术还有数据手套，这种方案需要用户穿戴安装了多个传感器的数据收集装置，通过分析加速度传感器收集的数据并发送给计算机，然后通过计算机重构用户的动作,这种技术精度较高，但是需要用户穿戴特定设备，增加了用户的额外负担，并且应用场景也很有限。
为了解决基于计算机视觉的手势识别方案以及数据手套存在的缺陷，出现了以超声波信号为载体的手势识别技术，如申请号为201510315444.9，名称为基于超声波定位的手势识别与控制装置及识别与控制方法的专利公开一种基于超声波定位的手势识别与控制装置及方法，其利用了超声波的高指向性，并将被手反射回来的超声波信号所产生的多普勒频移转换成相应的手势特征信号，之后将该手势特征信号与预设手势特征信号进行对比来确定不同的手势。该技术方案克服了基于计算机视觉的手势识别方案以及数据手套存在的缺陷，提高了手势识别在不同环境中的应用。但是该申请只提出通过计算超声波信号从被超声波发射器发射出去时到被超声波接收器接收到时这段时间内所产生的多普勒频移，并将该多普勒频移转换成相应的手势特征信号，通过与手势库的手势特征信号做匹配来完成识别，但是没有说明如何将多普勒频移转换成相应的手势特征信号，以及所谓相应的手势特征信号具体是什么，使得本领域技术人员难以实现。另外，由于手势动作存在个体差异，不同人做出相同动作时可能得到不同的属性值，而传统手势识别库是为特征向量的属性设定不同的阈值，根据属性的阈值或者属性组合来对手势动作进行分类，这种简单的分类识别方法识别准确率不高，不能满足应用需求。
发明内容
本发明的目的是解决现有技术的缺陷，提供一种能够节省计算和存储资源、不受环境光照条件影响、功耗低、识别距离长的手势识别方法，采用的技术方案如下：
一种基于切比雪夫前向神经网络的手势识别系统，包括依次连接的信号发射模块、信号接收模块和信号预处理模块，其特征在于，还包括与信号预处理模块连接的属性特征向量提取模块，所述属性特征向量提取模块连接了切比雪夫前向神经网络分类器，所述信号发射模块用于发射超声信号，所述信号接收模块用于接收反射回来的超声回波信号，所述信号预处理模块用于对接收到的超声回波信号进行预处理，所述属性特征向量提取模块用于提取手势动作的属性特征向量，所述切比雪夫前向神经网络分类器用于对属性特征向量进行识别并输出识别结果。
由于超声频段的在自由空间中相对干净，干扰信号较少，本发明首先通过超声发射器连续发出人类听觉以外的固定频率的超声信号，人类不同的手势动作将会影响接收设备接收到的超声回波信号，通过对接收的信号进行特征提取，并使用切比雪夫前向神经网络对该特征进行学习得到切比雪夫前向神经网络分类器，在识别时将提取的特征输入切比雪夫前向神经网络分类器由切比雪夫前向神经网络分类器进行准确的识别并输出结果。
本发明采用超声信号作为手势动作检测和识别的载体，一方面能有效避免用户隐私泄露的风险，另一方面信号处理的复杂度更小，对资源需求更小，信号处理完全可以在通用微处理器上实现，因此，以超声信号作为载体的手势识别方案尤其适合在智能物联网领域的电子设备上使用。
传统的分类器或手势识别库为特征向量的属性设定不同的阈值，根据属性组合来对手势动作进行分类，但是由于手势动作存在个体差异，不同人做出相同动作时可能得到不同的属性值，因此，简单的阈值分类不能满足应用需求。本发明采用切比雪夫前向神经网络构建分类器，切比雪夫神经网络具有强大的学习能力和泛化能力，在学习样本分类知识的同时能够避免过拟合，因此能够适应个体差异。
将收集到的属性特征向量输入到神经网络，经过网络计算，将输出代表不同动作的编码，本发明对于待识别的目标手势的识别率达96.7％，并且根据不同的应用场景，识别距离可达20厘米到3米，并且可以在已经学习的目标手势动作的基础上，衍生出不同手势组合，或采用多个维度组合，来扩展手势种类数量以供不同应用场景使用。本发明能够广泛应用于智能手机、平板电脑，智能家居和车载智能设备，机器人等智能物联网领域设备的多种不同应用场景，满足智能物联网泛在人机交互的需求。
作为优选，所述手势识别系统还包括与信号发射模块连接的干扰检测模块，所述干扰检测模块用于检测环境中是否存在对备选发射频率正负1kHz范围内的频点的干扰，并选择干扰最小的频率作为发射频率。
作为优选，所述切比雪夫前向神经网络的训练包括如下步骤：
a.对待识别的N种目标手势动作，分别收集若干个样本；
b.将收集的样本划分为M等份，初始化计算次数V为V＝1，全局最优隐神经元数目K(app)＝0，当前计算最优隐神经元数目K(Vmin)＝0；
c.初始化当前隐神经元数目K(cur)＝1、当前最小样本校验误差为E(Vmin)；
d.根据K(cur)构造切比雪夫前向神经网络，计算最优权值矩阵，并计算当前隐神经元数目K(cur)对应的样本校验误差E(V)；
e.判断E(V)与E(Vmin)的大小，若E(V)<E(Vmin)，则令E(Vmin)＝E(V)、K(Vmin)＝K(cur)、K(cur)＝K(cur)+1，返回步骤d；若E(V)>E(Vmin)，则转至步骤f；
f.若K(cur)<K(Vmin)+A，则令K(cur)＝K(cur)+1，返回步骤d；若K(cur)>K(Vmin)+A，则令K(app)＝K(app)+K(Vmin)；
i.若V<4，则令V＝V+1，返回步骤c；若V＝4，返回
j.根据K(app)构造切比雪夫前向神经网络，并计算得到最优权值矩阵。
运用切比雪夫神经网络时需要根据具体的应用对其网络结构进行训练，以对其结构进行优化。切比雪夫前向神经网络包括输入神经元、隐神经元和输出神经元，在切比雪夫前向神经网络中，输入神经元与隐神经元之间的连接权值全部设定为1，神经网络的训练目标是在给定隐神经元数目条件下确定最佳隐神经元到输出层权值，并在此基础上最优化隐神经元数目，即寻找样本校验误差最小的隐神经元数目，经过本发明的切比雪夫前向神经网络的训练，得到的切比雪夫神经网络结构是最优的，大大节省了计算和存储资源，尤其适合在通用的通用微处理器上实现。
作为优选，令E(Vmin)＝50，A＝15,M＝4。
当若E(V)>E(Vmin)时，再向前搜索计算A次对应的隐神经元数目下的样本校验误差，以优化神经网络的结构，测试表明，当A＝15时，训练得到的神经网络的结构最佳。
作为优选，所述最优权值矩阵是运用权值直接确定法计算得到的。
运用权值直接确定法确定其权值，大大提高了神经网络权值的训练速度。
作为优选，所述信号接收模块为MEMS麦克风阵列，所述信号预处理模块包括通用微处理器，所述通用微处理器包括依次连接的数字滤波器、时频变换模块和音频活动检测模块，所述数字滤波器用于对MEMS麦克风阵列输出的PDM信号进行采样，完成PDM信号到PCM信号的转换，其中下采样率为64，所述时频变换模块用于对时域PCM信号N个点做快速傅里叶变换得到频域信息作为一个信号帧，所述音频活动检测模块用于判断某个信号帧是否出现目标手势动作，若是则将对应信号帧传送至属性特征向量提取模块，若否则丢弃。
通用微处理器提供的音频解码库对声波的处理通常仅基于音频信息进行优化，不能灵活对信号进行分帧处理，不能灵活调整输入和输出参数，其输入和输出格式固定，难以满足本发明超声手势识别的应用。因此，本发明重新设计数字滤波器对MEMS数字麦克风输出的PDM信号进行解码。由于PDM本身只有1比特输出，必须采用过采样的方式来保证采样精度，为提高信号精度设定PDM信号的过采样倍数为64倍奈奎斯特采样率。所述的数字滤波器对过采样的PDM信号进行下采样后得到PCM信号，然后通过通用微处理器对时域PCM信号N个点做FFT得到频域信息作为一个信号帧。数字滤波器可采用二阶CIC数字滤波器。本发明中MEMS输入的时钟频率根据超声波发生器所发出的频率不同而不同，如超声波发射频率为40kHz时，MEMS输入的时钟频率6.144MH。N值可以根据不同的精度要求和使用场景来设定。
作为优选，所述音频活动检测模块根据得到的信号帧的能量、频谱平坦度以及能量最高的频点来判断某个信号帧是否包含目标手势动作。
本发明中，信号帧的能量是指各个频点的能量之和，频谱平坦度的定义是SMFdB＝10log10(Gm/Am)，其中，Gm是信号帧频谱的几何平均，而Am是信号帧频谱的算术平均，参考文献：MoattarMH,HomayounpourMM.Asimplebutefficientreal-timevoiceactivitydetectionalgorithm[C]//SignalProcessingConference,200917thEuropean.IEEE,2009:2549-2553来判断是否出现目标手势动作。
作为优选，所述属性特征向量提取模块提取属性特征向量的具体过程为：对于每一个包含目标手势动作信号帧，找到最大频移所对应的频点，计算其相对于发射信号的频率的最大频移，并将之添加到一个向量ActionData中，直到不能再找到包含目标手势动作的信号帧，此时提取ActionData的长度Length，ActionData中频移最大的值Maxhift，ActionData中频移方向变化的次数DirectionChange，ActionData中两个频移方向的时间比例DutyRatio。
其中，Length是指特征向量的长度，该属性能够有效地表示动作持续的时间，可用于区分细微动作和大幅度动作；MaxShift指最大多普勒频移，该属性可以用于判断手势动作的快慢；DirectionChange是指手势动作的方向变化次数，该属性可用于区分来回运动的手势；DutyRatio是指手势动作过程中，靠近接收模块所用时间与手势动作持续时间之比，该属性的引入可以有效地避免识别误差。测试表明，将这四个属性特征组成的向量作为神经网络的输入，训练得到的切比雪夫前向神经网络手势动作识别率达到96.7％。
当设定提取上述四个属性特征向量作为切比雪夫神经网络的输入时，训练得到的切比雪夫神经网络结构包含4个输入神经元，17个隐神经元和1个输出神经元的神经网络结构，所述输入神经元与隐神经元之间的连接权值全部设定为1，隐神经元与输出神经元之间的连接权值如下表所示。
切比雪夫神经网络的隐层神经元激励函数由切比雪夫正交多项式构成，切比雪夫多项式：
i＝0,1,2,…
切比雪夫正交多项式激励函数：
其中，hk(X)为第k个隐神经元的激励函数，由上式可知每一个隐神经元的激励函数由四个输入属性特征向量对应的切比雪夫多项式的乘积组成，这四个切比雪夫多项式的幂次符合分级词典顺序。比如，本发明的切比雪夫前向神经网络的隐神经元激励函数的幂次如下表所示。
作为优选，待识别的N种目标手势动作包括推、拉、单击、双击和无动作5种，对每种待识别的目标手势动作分别收集1000个样本，共得到5000个样本，将5000个样本随机划分为四等份。
本发明的另一目的是解决现有技术的缺陷，提供一种基于切比雪夫前向神经网络的手势识别方法，采用的技术方案如下：
一种基于切比雪夫前向神经网络的手势识别方法，包括：
发射频率固定的超声信号；接收反射回来的超声回波信号并输出，对超声回波声波进行预处理，提取手势动作的属性特征向量；还包括，将提取到的属性特征向量输入到切比雪夫前向神经网络分类器，由切比雪夫前向神经网络分类器进行识别并输出识别结果。
作为优选，在发射超声信号前先检测环境中是否存在对备选发射频率正负1kHz范围内的频点的干扰，并选择干扰最小的频率作为发射频率。
作为优选，所述切比雪夫前向神经网络包括输入神经元、隐神经元和输出神经元，所述切比雪夫前向神经网络的训练包括如下步骤：
a.对待识别的N种目标手势动作，分别收集若干个样本；
b.将收集的样本划分为M等份，初始化计算次数V为V＝1，全局最优隐神经元数目K(app)＝0，当前计算最优隐神经元数目K(Vmin)＝0；
c.初始化当前隐神经元数目K(cur)＝1、当前最小样本校验误差为E(Vmin)；
d.根据K(cur)构造切比雪夫前向神经网络，计算最优权值矩阵，并计算当前隐神经元数目K(cur)对应的样本校验误差E(V)；
e.判断E(V)与E(Vmin)的大小，若E(V)<E(Vmin)，则令E(Vmin)＝E(V)、K(Vmin)＝K(cur)、K(cur)＝K(cur)+1，返回步骤d；若E(V)>E(Vmin)，则转至步骤f；
f.若K(cur)<K(Vmin)+A，则令K(cur)＝K(cur)+1，返回步骤d；若K(cur)>K(Vmin)+A，则令K(app)＝K(app)+K(Vmin)；
i.若V<4，则令V＝V+1，返回步骤c；若V＝4，返回
j.根据K(app)构造切比雪夫前向神经网络，并计算得到最优权值矩阵。
作为优选，令E(Vmin)＝50，A＝15,M＝4。
作为优选，所述最优权值矩阵是运用权值直接确定法计算得到的。
运用权值直接确定法确定其权值，大大提高了神经网络权值的训练速度。
作为优选，通过MEMS麦克风阵列接收超声回波信号，所述对超声回波声波进行预处理具体包括：
采用数字滤波器对MEMS麦克风阵列输出的PDM信号进行采样，其中下采样率为64，然后对得到的时域PCM信号N个点做快速傅里叶变换得到频域信息作为一个信号帧；
判断信号帧是否出现目标手势动作，若是则保留该信号帧，若否则丢弃该信号帧。
作为优选，所述音频活动检测模块根据得到的信号帧的能量、频谱平坦度以及能量最高的频点来判断某个信号帧是否包含目标手势动作。
根据得到的信号帧的能量、频谱平坦度以及能量最高的频点来判断某个信号帧是否包含目标手势动作的具体方法参考文献：MoattarMH,HomayounpourMM.Asimplebutefficientreal-timevoiceactivitydetectionalgorithm[C]//SignalProcessingConference,200917thEuropean.IEEE,2009:2549-2553来判断是否出现目标手势动作。其中信号帧的能量是指各个频点的能量之和；频谱平坦度的定义是SMFdB＝10log10(Gm/Am)，其中Gm是信号帧频谱的几何平均，而Am是信号帧频谱的算术平均。
作为优选，提取手势动作的属性特征向量具体为：
对于每一个包含目标手势动作的信号帧，找到最大频移所对应的频点，计算其相对于发射信号的频率的最大频移，并将之添加到向量ActionData中，直到再找不到包含目标手势动作的信号帧，此时提取ActionData的长度Length，ActionData中频移最大的值Maxhift，ActionData中频移方向变化的次数DirectionChange，ActionData中两个频移方向的时间比例DutyRatio。
作为优选，待识别的N种目标手势动作包括推、拉、单击、双击和无动作5种，对每种待识别的目标手势动作分别收集1000个样本，共得到5000个样本，将5000个样本随机划分为四等份。
与现有技术相比，本发明的有益效果：本发明采用超声信号作为手势动作检测和识别的载体，一方面能有效避免用户隐私泄露的风险，另一方面信号处理的复杂度更小，对资源需求更小。利用切比雪夫前向神经网络的学习和泛化能力，训练切比雪夫前向神经网络分类器对提取的属性特征向量进行识别，使得本发明能够在不同环境下对不同用户的手势动作进行准确的识别，识别率能达到96.7％，并且根据不同的应用场景，识别距离可达20厘米到3米。
附图说明
图1是本发明的系统结构示意图；
图2是本发明切比雪夫前向神经网络结构示意图；
图3是本发明的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述。
实施例：
如图1所示，一种基于切比雪夫前向神经网络的手势识别系统，包括依次连接的信号发射模块、信号接收模块和信号预处理模块，还包括与信号预处理模块连接的属性特征向量提取模块，所述属性特征向量提取模块连接了切比雪夫前向神经网络分类器，所述信号发射模块用于发射超声信号，所述信号接收模块用于接收反射回来的超声回波信号，所述信号预处理模块用于对接收到的超声回波信号进行预处理，所述属性特征向量提取模块用于提取手势动作的属性特征向量，所述切比雪夫前向神经网络分类器用于对属性特征向量进行识别并输出识别结果。
所述手势识别系统还包括与信号发射模块连接的干扰检测模块，所述干扰检测模块用于检测环境中是否存在对备选发射频率正负1kHz范围内的频点的干扰，并选择干扰最小的频率作为发射频率。
所述切比雪夫前向神经网络的训练包括如下步骤：
a.对待识别的N种目标手势动作，分别收集若干个样本；
b.将收集的样本划分为M等份，初始化计算次数V为V＝1，全局最优隐神经元数目K(app)＝0，当前计算最优隐神经元数目K(Vmin)＝0；
c.初始化当前隐神经元数目K(cur)＝1、当前最小样本校验误差为E(Vmin)；
d.根据K(cur)构造切比雪夫前向神经网络，计算最优权值矩阵，并计算当前隐神经元数目K(cur)对应的样本校验误差E(V)；
e.判断E(V)与E(Vmin)的大小，若E(V)<E(Vmin)，则令E(Vmin)＝E(V)、K(Vmin)＝K(cur)、K(cur)＝K(cur)+1，返回步骤d；若E(V)>E(Vmin)，则转至步骤f；
f.若K(cur)<K(Vmin)+A，则令K(cur)＝K(cur)+1，返回步骤d；若K(cur)>K(Vmin)+A，则令K(app)＝K(app)+K(Vmin)；
i.若V<4，则令V＝V+1，返回步骤c；若V＝4，返回
j.根据K(app)构造切比雪夫前向神经网络，并计算得到最优权值矩阵。
运用切比雪夫神经网络时需要根据具体的应用对其网络结构进行训练，以对其结构进行优化。切比雪夫前向神经网络包括输入神经元、隐神经元和输出神经元，在切比雪夫前向神经网络中，输入神经元与隐神经元之间的连接权值全部设定为1，神经网络的训练目标是在给定隐神经元数目条件下确定最佳隐神经元到输出层权值，并在此基础上最优化隐神经元数目，即寻找样本校验误差最小的隐神经元数目，经过本发明的切比雪夫前向神经网络的训练，得到的切比雪夫神经网络结构是最优的，大大节省了计算和存储资源，尤其适合在通用的通用微处理器上实现。
本实施例中，令E(Vmin)＝50，A＝15,M＝4。
当若E(V)>E(Vmin)时，再向前搜索计算A次对应的隐神经元数目下的样本校验误差，以优化神经网络的结构，测试表明，当A＝15时，训练得到的神经网络的结构最佳。
所述最优权值矩阵是运用权值直接确定法计算得到的。
运用权值直接确定法确定其权值，大大提高了神经网络权值的训练速度。所述信号接收模块为MEMS麦克风阵列，所述信号预处理模块包括通用微处理器，所述通用微处理器包括依次连接的数字滤波器、时频变换模块和音频活动检测模块，所述数字滤波器用于对MEMS麦克风阵列输出的PDM信号进行采样，其中下采样率为64，所述时频变换模块用于对时域PCM信号N个点做快速傅里叶变换得到频域信息作为一个信号帧，所述音频活动检测模块用于判断某个信号帧是否出现目标手势动作，若是则将对应信号帧传送至属性特征向量提取模块，若否则丢弃。
N可以根据不同的精度要求和使用场景来设定这个值的，本实施例中，N为2048。
本实施例中，所述音频活动检测模块根据得到的信号帧的能量、频谱平坦度以及能量最高的频点来判断某个信号帧是否包含目标手势动作，具体方法参考文献：MoattarMH,HomayounpourMM.Asimplebutefficientreal-timevoiceactivitydetectionalgorithm[C]//SignalProcessingConference,200917thEuropean.IEEE,2009:2549-2553，其中，信号帧的能量是指各个频点的能量之和，频谱平坦度的定义是SMFdB＝10log10(Gm/Am)，其中，Gm是信号帧频谱的几何平均，而Am是信号帧频谱的算术平均。
所述属性特征向量提取模块提取属性特征向量的具体过程为：对于每一个包含目标手势动作信号帧，找到最大频移所对应的频点，计算其相对于发射信号的频率的最大频移，并将之添加到一个向量ActionData中，直到不能再找到包含目标手势动作的信号帧，此时提取ActionData的长度Length，ActionData中频移最大的值Maxhift，ActionData中频移方向变化的次数DirectionChange，ActionData中两个频移方向的时间比例DutyRatio。
其中，Length是指特征向量的长度，该属性能够有效地表示动作持续的时间，可用于区分细微动作和大幅度动作；MaxShift指最大多普勒频移，该属性可以用于判断手势动作的快慢；DirectionChange是指手势动作的方向变化次数，该属性可用于区分来回运动的手势；DutyRatio是指手势动作过程中，靠近接收模块所用时间与手势动作持续时间之比，该属性的引入可以有效地避免识别误差。
当设定提取上述四个属性特征向量作为切比雪夫神经网络的输入时，训练得到的切比雪夫神经网络结构包含4个输入神经元，17个隐神经元和1个输出神经元的神经网络结构，如图2所示。所述输入神经元与隐神经元之间的连接权值全部设定为1，隐神经元与输出神经元之间的连接权值如下表所示。
切比雪夫神经网络的隐层神经元激励函数由切比雪夫正交多项式构成，切比雪夫多项式：
i＝0,1,2,…
切比雪夫正交多项式激励函数：
其中，hk(X)为第k个隐神经元的激励函数，由上式可知每一个隐神经元的激励函数由四个输入属性特征向量对应的切比雪夫多项式的乘积组成，这四个切比雪夫多项式的幂次符合分级词典顺序。比如，本发明的切比雪夫前向神经网络的隐神经元激励函数的幂次如下表所示。
待识别的N种目标手势动作包括推、拉、单击、双击和无动作5种，对每种待识别的目标手势动作分别收集1000个样本，共得到5000个样本，将5000个样本随机划分为四等份。
本实施例还提供一种基于切比雪夫前向神经网络的手势识别方法，采用的技术方案如下：
如图3所示，一种基于切比雪夫前向神经网络的手势识别方法，包括：
发射频率固定的超声信号；接收反射回来的超声回波信号并输出，对超声回波声波进行预处理，提取手势动作的属性特征向量；还包括，将提取到的属性特征向量输入到切比雪夫前向神经网络分类器，由切比雪夫前向神经网络分类器进行识别并输出识别结果。
在发射超声信号前先检测环境中是否存在对备选发射频率正负1kHz范围内的频点的干扰，并选择干扰最小的频率作为发射频率。
所述切比雪夫前向神经网络包括输入神经元、隐神经元和输出神经元，所述切比雪夫前向神经网络的训练包括如下步骤：
a.对待识别的N种目标手势动作，分别收集若干个样本；
b.将收集的样本划分为M等份，初始化计算次数V为V＝1，全局最优隐神经元数目K(app)＝0，当前计算最优隐神经元数目K(Vmin)＝0；
c.初始化当前隐神经元数目K(cur)＝1、当前最小样本校验误差为E(Vmin)；
d.根据K(cur)构造切比雪夫前向神经网络，计算最优权值矩阵，并计算当前隐神经元数目K(cur)对应的样本校验误差E(V)；
e.判断E(V)与E(Vmin)的大小，若E(V)<E(Vmin)，则令E(Vmin)＝E(V)、K(Vmin)＝K(cur)、K(cur)＝K(cur)+1，返回步骤d；若E(V)>E(Vmin)，则转至步骤f；
f.若K(cur)<K(Vmin)+A，则令K(cur)＝K(cur)+1，返回步骤d；若K(cur)>K(Vmin)+A，则令K(app)＝K(app)+K(Vmin)；
i.若V<4，则令V＝V+1，返回步骤c；若V＝4，返回
j.根据K(app)构造切比雪夫前向神经网络，并计算得到最优权值矩阵。
本实施例中，E(Vmin)＝50，A＝15,M＝4。
本实施例中，所述最优权值矩阵是运用权值直接确定法计算得到的。
运用权值直接确定法确定其权值，大大提高了神经网络权值的训练速度。
本实施例中，通过MEMS麦克风阵列接收超声回波信号，所述对超声回波声波进行预处理具体包括：
采用数字滤波器对MEMS麦克风阵列输出的PDM信号进行采样，其中下采样率为64，然后对得到的时域PCM信号N个点做快速傅里叶变换得到频域信息作为一个信号帧；
判断信号帧是否出现目标手势动作，若是则保留该信号帧，若否则丢弃该信号帧。
本实施例根据得到的信号帧的能量、频谱平坦度以及能量最高的频点来判断某个信号帧是否包含目标手势动作，具体方法参考文献：MoattarMH,HomayounpourMM.Asimplebutefficientreal-timevoiceactivitydetectionalgorithm[C]//SignalProcessingConference,200917thEuropean.IEEE,2009:2549-2553来判断是否出现目标手势动作。其中信号帧的能量是指各个频点的能量之和；频谱平坦度的定义是SMFdB＝10log10(Gm/Am)，其中Gm是信号帧频谱的几何平均，而Am是信号帧频谱的算术平均。
本实施例中，提取手势动作的属性特征向量具体为：
对于每一个包含目标手势动作的信号帧，找到最大频移所对应的频点，计算其相对于发射信号的频率的最大频移，并将之添加到向量ActionData中，直到再找不到包含目标手势动作的信号帧，此时提取ActionData的长度Length，ActionData中频移最大的值Maxhift，ActionData中频移方向变化的次数DirectionChange，ActionData中两个频移方向的时间比例DutyRatio。
本实施例中，待识别的N种目标手势动作包括推、拉、单击、双击和无动作5种，对每种待识别的目标手势动作分别收集1000个样本，共得到5000个样本，将5000个样本随机划分为四等份。
本实施例采用超声信号作为手势动作检测和识别的载体，一方面能有效避免用户隐私泄露的风险，另一方面信号处理的复杂度更小，对资源需求更小。利用切比雪夫前向神经网络的学习和泛化能力，训练切比雪夫前向神经网络分类器对提取的属性特征向量进行识别，使得本发明能够在不同环境下对不同用户的手势动作进行准确的识别，识别率能达到96.7％，并且根据不同的应用场景，识别距离可达20厘米到3米。

Claims (10)

1.一种基于切比雪夫前向神经网络的手势识别系统，包括依次连接的信号发射模块、信号接收模块和信号预处理模块，其特征在于，还包括与信号预处理模块连接的属性特征向量提取模块，所述属性特征向量提取模块连接了切比雪夫前向神经网络分类器，所述信号发射模块用于发射超声信号，所述信号接收模块用于接收反射回来的超声回波信号，所述信号预处理模块用于对接收到的超声回波信号进行预处理，所述属性特征向量提取模块用于提取手势动作的属性特征向量，所述切比雪夫前向神经网络分类器用于对属性特征向量进行识别并输出识别结果。
2.根据权利要求1所述的一种基于切比雪夫前向神经网络的手势识别系统，其特征在于，还包括与信号发射模块连接的干扰检测模块，所述干扰检测模块用于检测环境中是否存在对备选发射频率正负1kHz范围内的频点的干扰，并选择干扰最小的频率作为发射频率。
3.根据权利要求1所述的一种基于切比雪夫前向神经网络的手势识别系统，其特征在于，所述切比雪夫前向神经网络的训练包括如下步骤：
a.对待识别的N种目标手势动作，分别收集若干个样本；
b.将收集的样本划分为M等份，初始化计算次数V为V＝1，全局最优隐神经元数目K(app)＝0，当前计算最优隐神经元数目K(Vmin)＝0；
c.初始化当前隐神经元数目K(cur)＝1、当前最小样本校验误差为E(Vmin)；
d.根据K(cur)构造切比雪夫前向神经网络，计算最优权值矩阵，并计算当前隐神经元数目K(cur)对应的样本校验误差E(V)；
e.判断E(V)与E(Vmin)的大小，若E(V)<E(Vmin)，则令E(Vmin)＝E(V)、K(Vmin)＝K(cur)、K(cur)＝K(cur)+1，返回步骤d；若E(V)>E(Vmin)，则转至步骤f；
f.若K(cur)<K(Vmin)+A，则令K(cur)＝K(cur)+1，返回步骤d；若K(cur)>K(Vmin)+A，则令K(app)＝K(app)+K(Vmin)；
i.若V<4，则令V＝V+1，返回步骤c；若V＝4，返回
j.根据K(app)构造切比雪夫前向神经网络，并计算得到最优权值矩阵。
4.根据权利要求1所述的一种基于切比雪夫前向神经网络的手势识别系统，其特征在于，所述信号接收模块为MEMS麦克风阵列，所述信号预处理模块包括通用微处理器，所述通用微处理器实现的功能包括数字滤波器、时频变换模块和音频活动检测模块，所述数字滤波器用于对MEMS麦克风阵列输出的PDM信号进行采样，完成PDM信号到PCM信号的转换，其中下采样率为64，所述时频变换模块用于对时域PCM信号N个点做快速傅里叶变换得到频域信息作为一个信号帧，所述音频活动检测模块用于判断某个信号帧是否出现目标手势动作，若是则将对应信号帧传送至属性特征向量提取模块，若否则丢弃。
5.根据权利要求4所述的一种基于切比雪夫前向神经网络的手势识别系统，其特征在于，所述音频活动检测模块根据得到的信号帧的能量、频谱平坦度以及能量最高的频点来判断某个信号帧是否包含目标手势动作。
6.根据权利要求4或5所述的一种基于切比雪夫前向神经网络的手势识别系统，其特征在于，所述属性特征向量提取模块提取属性特征向量的具体过程为：对于每一个包含目标手势动作信号帧，找到最大频移所对应的频点，计算其相对于发射信号的频率的最大频移，并将之添加到一个向量ActionData中，直到不能再找到包含目标手势动作的信号帧，此时提取ActionData的长度Length，ActionData中频移最大的值Maxhift，ActionData中频移方向变化的次数DirectionChange，ActionData中两个频移方向的时间比例DutyRatio。
7.一种基于切比雪夫前向神经网络的手势识别方法，包括：
发射频率固定的超声信号；接收反射回来的超声回波信号并输出，对超声回波声波进行预处理，提取手势动作的属性特征向量；其特征在于，还包括，
将提取到的属性特征向量输入到切比雪夫前向神经网络分类器，由切比雪夫前向神经网络分类器进行识别并输出识别结果。
8.根据权利要求7所述的一种基于切比雪夫前向神经网络的手势识别方法，其特征在于，在发射超声信号前先检测环境中是否存在对备选发射频率正负1kHz范围内的频点的干扰，并选择干扰最小的频率作为发射频率。
9.根据权利要求7所述的一种基于切比雪夫前向神经网络的手势识别方法，其特征在于，通过MEMS麦克风阵列接收超声回波信号，所述对超声回波声波进行预处理具体包括：
采用数字滤波器对MEMS麦克风阵列输出的PDM信号进行采样，其中下采样率为64，然后对得到的时域PCM信号N个点做快速傅里叶变换得到频域信息作为一个信号帧；
判断信号帧是否出现目标手势动作，若是则保留该信号帧，若否则丢弃该信号帧。
10.根据权利要求9所述的一种基于切比雪夫前向神经网络的手势识别方法，其特征在于，提取手势动作的属性特征向量具体为：
对于每一个包含目标手势动作的信号帧，找到最大频移所对应的频点，计算其相对于发射信号的频率的最大频移，并将之添加到向量ActionData中，直到再找不到包含目标手势动作的信号帧，此时提取ActionData的长度Length，ActionData中频移最大的值Maxhift，ActionData中频移方向变化的次数DirectionChange，ActionData中两个频移方向的时间比例DutyRatio。
CN201610073152.3A 2016-02-02 2016-02-02 一种基于切比雪夫前向神经网络的手势识别系统和方法 Pending CN105760825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610073152.3A CN105760825A (zh) 2016-02-02 2016-02-02 一种基于切比雪夫前向神经网络的手势识别系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610073152.3A CN105760825A (zh) 2016-02-02 2016-02-02 一种基于切比雪夫前向神经网络的手势识别系统和方法

Publications (1)

Publication Number Publication Date
CN105760825A true CN105760825A (zh) 2016-07-13

Family

ID=56329931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610073152.3A Pending CN105760825A (zh) 2016-02-02 2016-02-02 一种基于切比雪夫前向神经网络的手势识别系统和方法

Country Status (1)

Country Link
CN (1) CN105760825A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN106846803A (zh) * 2017-02-08 2017-06-13 广西交通科学研究院有限公司 基于音频的交通事件检测装置及方法
CN107368279A (zh) * 2017-07-03 2017-11-21 中科深波科技（杭州）有限公司 一种基于多普勒效应的遥控操作方法及其操作系统
CN108873715A (zh) * 2018-07-04 2018-11-23 深圳众厉电力科技有限公司 基于手势识别的智能家居控制系统
CN109714119A (zh) * 2018-12-29 2019-05-03 中国人民解放军陆军工程大学 神经形态电路和信号频移检测系统
CN109800658A (zh) * 2018-12-26 2019-05-24 中汽研（天津）汽车工程研究院有限公司 基于神经网络的泊车位类型在线识别与定位系统及方法
CN110381845A (zh) * 2017-01-05 2019-10-25 皇家飞利浦有限公司 具有用于导出成像数据和组织信息的神经网络的超声成像系统
CN110780741A (zh) * 2019-10-28 2020-02-11 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备
CN110998610A (zh) * 2017-06-21 2020-04-10 华为技术有限公司 一种信号处理方法及装置
WO2020102943A1 (zh) * 2018-11-19 2020-05-28 深圳市欢太科技有限公司 手势识别模型的生成方法、装置、存储介质及电子设备
CN111444830A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 基于超声回波信号的成像的方法、装置、存储介质及电子装置
CN112906185A (zh) * 2021-01-15 2021-06-04 中国兵器工业集团第二一四研究所苏州研发中心 一种基于人工智能的mems惯性传感器异构阵列及其设计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1371504A (zh) * 1999-01-13 2002-09-25 电脑相关想象公司 签名识别系统和方法
US20100050354A1 (en) * 2008-02-28 2010-03-04 Neavin Timothy S Instrument for cleaning surgical instruments during surgery
CN102253709A (zh) * 2010-05-19 2011-11-23 禾瑞亚科技股份有限公司 手势判断的方法与装置
CN103038725A (zh) * 2010-06-29 2013-04-10 高通股份有限公司 使用连续波超声信号的无触摸感测和手势辨识

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1371504A (zh) * 1999-01-13 2002-09-25 电脑相关想象公司 签名识别系统和方法
US20100050354A1 (en) * 2008-02-28 2010-03-04 Neavin Timothy S Instrument for cleaning surgical instruments during surgery
CN102253709A (zh) * 2010-05-19 2011-11-23 禾瑞亚科技股份有限公司 手势判断的方法与装置
CN103038725A (zh) * 2010-06-29 2013-04-10 高通股份有限公司 使用连续波超声信号的无触摸感测和手势辨识

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. H. MOATTAR等: "A simple but efficient real-time Voice Activity Detection algorithm", 《2009 17TH EUROPEAN SIGNAL PROCESSING CONFERENCE》 *
卢博林斯凯: "《Hadoop高级编程 构建与实现大数据解决方案》", 31 July 2014, 清华大学出版社 *
殷勇华等: "切比雪夫神经网络权值与结构确定及其分类应用", 《软件》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN106446801B (zh) * 2016-09-06 2020-01-07 清华大学 基于超声主动探测的微手势识别方法及系统
CN110381845B (zh) * 2017-01-05 2022-08-12 皇家飞利浦有限公司 具有用于导出成像数据和组织信息的神经网络的超声成像系统
CN110381845A (zh) * 2017-01-05 2019-10-25 皇家飞利浦有限公司 具有用于导出成像数据和组织信息的神经网络的超声成像系统
CN106846803A (zh) * 2017-02-08 2017-06-13 广西交通科学研究院有限公司 基于音频的交通事件检测装置及方法
CN106846803B (zh) * 2017-02-08 2023-06-23 广西交通科学研究院有限公司 基于音频的交通事件检测装置及方法
CN110998610B (zh) * 2017-06-21 2024-04-16 华为技术有限公司 一种信号处理方法及装置
CN110998610A (zh) * 2017-06-21 2020-04-10 华为技术有限公司 一种信号处理方法及装置
CN107368279A (zh) * 2017-07-03 2017-11-21 中科深波科技（杭州）有限公司 一种基于多普勒效应的遥控操作方法及其操作系统
CN108873715A (zh) * 2018-07-04 2018-11-23 深圳众厉电力科技有限公司 基于手势识别的智能家居控制系统
WO2020102943A1 (zh) * 2018-11-19 2020-05-28 深圳市欢太科技有限公司 手势识别模型的生成方法、装置、存储介质及电子设备
CN109800658A (zh) * 2018-12-26 2019-05-24 中汽研（天津）汽车工程研究院有限公司 基于神经网络的泊车位类型在线识别与定位系统及方法
CN109800658B (zh) * 2018-12-26 2023-05-26 中汽研（天津）汽车工程研究院有限公司 基于神经网络的泊车位类型在线识别与定位系统及方法
CN109714119B (zh) * 2018-12-29 2023-10-24 中国人民解放军陆军工程大学 神经形态电路和信号频移检测系统
CN109714119A (zh) * 2018-12-29 2019-05-03 中国人民解放军陆军工程大学 神经形态电路和信号频移检测系统
CN110780741B (zh) * 2019-10-28 2022-03-01 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备
CN110780741A (zh) * 2019-10-28 2020-02-11 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备
CN111444830A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 基于超声回波信号的成像的方法、装置、存储介质及电子装置
CN111444830B (zh) * 2020-03-25 2023-10-31 腾讯科技（深圳）有限公司 基于超声回波信号的成像的方法、装置、存储介质及电子装置
CN112906185A (zh) * 2021-01-15 2021-06-04 中国兵器工业集团第二一四研究所苏州研发中心 一种基于人工智能的mems惯性传感器异构阵列及其设计方法
CN112906185B (zh) * 2021-01-15 2024-04-30 中国兵器工业集团第二一四研究所苏州研发中心 一种基于人工智能的mems惯性传感器异构阵列及其设计方法

Similar Documents

Publication Publication Date Title
CN105760825A (zh) 一种基于切比雪夫前向神经网络的手势识别系统和方法
CN105744434B (zh) 一种基于手势识别的智能音箱控制方法及系统
CN110364144B (zh) 一种语音识别模型训练方法及装置
CN110600017B (zh) 语音处理模型的训练方法、语音识别方法、系统及装置
CN108924736B (zh) 一种基于PCA-Kalman的无源室内人员状态检测方法
CN110503971A (zh) 用于语音处理的基于神经网络的时频掩模估计和波束形成
CN107290741B (zh) 基于加权联合距离时频变换的室内人体姿态识别方法
CN110853617B (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN109829509B (zh) 基于融合神经网络的雷达手势识别方法
CN109559758B (zh) 一种基于深度学习的将纹理图像转换成触觉信号的方法
CN111835444B (zh) 一种无线信道场景识别方法及系统
WO2012006189A2 (en) Touchless sensing and gesture recognition using continuous wave ultrasound signals
Zhao et al. Cubelearn: End-to-end learning for human motion recognition from raw mmwave radar signals
CN105807923A (zh) 一种基于超声波的凌空手势识别方法及系统
CN112735473B (zh) 基于声音识别无人机的方法及系统
Zhang et al. WiFi-based cross-domain gesture recognition via modified prototypical networks
Sun et al. Underwater single-channel acoustic signal multitarget recognition using convolutional neural networks
CN110031827B (zh) 一种基于超声波测距原理的手势识别方法
Chen et al. Attention-based dual-stream vision transformer for radar gait recognition
CN111931820A (zh) 一种基于卷积残差网络的水中目标辐射噪声lofar谱图线谱提取方法
Xiao et al. Underwater acoustic target recognition using attention-based deep neural network
Zhou et al. A denoising representation framework for underwater acoustic signal recognition
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
CN116343261A (zh) 基于多模态特征融合与小样本学习的手势识别方法和系统
CN115438708A (zh) 一种基于卷积神经网络和多模态融合的分类识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160713