CN110298263B - 基于rfid系统的实时精确且无接触的手势识别方法及系统 - Google Patents

基于rfid系统的实时精确且无接触的手势识别方法及系统 Download PDF

Info

Publication number
CN110298263B
CN110298263B CN201910495847.4A CN201910495847A CN110298263B CN 110298263 B CN110298263 B CN 110298263B CN 201910495847 A CN201910495847 A CN 201910495847A CN 110298263 B CN110298263 B CN 110298263B
Authority
CN
China
Prior art keywords
phase value
gesture
phase
value
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910495847.4A
Other languages
English (en)
Other versions
CN110298263A (zh
Inventor
张士庚
杨程伟
王建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910495847.4A priority Critical patent/CN110298263B/zh
Publication of CN110298263A publication Critical patent/CN110298263A/zh
Application granted granted Critical
Publication of CN110298263B publication Critical patent/CN110298263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于RFID系统的实时精确且无接触的手势识别方法及系统,读写器收集来自用户的手势信号,所述手势信号包括时间戳和相位值;对所述手势信号进行预处理和手势分割;提取经手势分割处理后的信号的粗粒度的统计特征和细粒度的小波变换特征来构建系统的分类器;将获取的数据输入到的构建好的分类器,预测手势。本发明极大地缩短了识别时间,且保证了识别精度。

Description

基于RFID系统的实时精确且无接触的手势识别方法及系统
技术领域
本发明主要应用于物联网领域、RFID技术、手势识别、机器学习领域,特别是一种基于RFID系统的实时精确且无接触的手势识别方法及系统。
背景技术
随着计算机技术的发展,计算机从各个方面给我们的生活带来了翻天覆地的变化。人们已经与计算机密不可分,其中人与计算机的信息交互Human-Machine Interface(HMI)[5]是至关重要的。在人机交互中最常见的交互方式就是通过简单的机械装置,如键盘和鼠标,以及触屏等方式。尽管上述的方式在我们目前的生活中处于主流的地位,但是我们还是不禁要想起是否要更加的自然,更加的符合人类习惯的人机交互方式。
于是我们自然而然地想到了手势。手势是人类体征的一种,是我们在日常生活中不可缺少的一部分,如果计算机能够直接识别人类日常生活中的手势并将其转化为机器指令,这将极大的解放通过特定的外接设备进行指令的输入。在过去的科幻电影中,我们不禁想问他们是如何用手一挥就可以控制家中的电视、电脑和其他设备。随着手势识别技术的成熟,过去的科幻梦想正在迅速成为现实。
目前通过手势进行人机交互的研究主要分为两个方向:一个是基于视觉的手势识别[6],通过摄像设备采集手势动作信息作为手势交互信息;另一种是基于计算机设备的,其中设备包含了很多种,比如数据手套[7]、传感器[8]或者RFID[9]等终端设备进行采集手势动作信息。而第二种是相对于第一种作为输入的终端设备更自然、更人性化的人机交互方式。
手势识别的初期阶段采用的是基于数据手套的输入方式。该手套集成多个传感器并与计算机相连,能够直接获取用户的肢体运动信息。因为含有多个传感器件,所以能够准确的获取信息进而识别手势,但是手套的价格比较昂贵,同时手套以及附属连接线极大的降低了用户的体验感。针对数据手套价格过高的缺点,一些研究者通过在手上做标记来简化手势识别的过程,但是其精确度却没那么高。为了综合上述的两种情况,研究者们借助传感器相对便宜的优势在用户手部贴上各种类型的传感器来获取数据信息。可是要求用户每次都要带上传感器这一步骤在现实生活中始终不方便,学者们又开发基于视觉的手势识别系统。该类系统收集的是图像信息,它解放了过去可穿戴设备的手势识别系统,但是在现实应用中,手势通常处于复杂的环境下,例如在光线过亮或者光线不好的条件下,基于视觉的手势识别的应用就无法正常工作了。于是出现了基于RFID(射频识别Radio FrequencyIdentification)系统的手势识别。
现有的基于RFID的手势识别系统主要分为戴设备的轨迹跟踪法和不戴设备的模板匹配法。在用户体验方面,免设备这类占据优势。它将手势的动作看成是一个由静态手势图像所组成的序列或者是一组信号数据向量,然后将待识别的手势序列与已知的手势模板序列进行比较,从而识别出手势。其中识别效果最好的方法是利用动态时间规整算法(Dynamic Time Warping-DTW)[10]来匹配模板。而从我们的了解来看,该算法的时间复杂度比较高,具体时间复杂度在后文进行分析,在匹配模板时耗时较长,有较高的滞后性。同时其扩展性也不好,随着动作的增加,模板数量也不断增多,既会影响识别的精确度,又加重了系统的滞后性。本发明所用到的名词解释如下:
相位:对于一个波,特定的时刻在它循环中的位置,一种它是否在波峰、波谷或它们之间的某点的标度。相位描述信号波形变化的度量,通常以度(角度)作为单位,也称作相角。当信号波形以周期的方式变化,波形循环一周即为360°。免戴设备:指的是用户本身不需要携带任何设备。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种基于RFID系统的实时精确且无接触的手势识别方法及系统,在短时间内识别手势,且保证识别精度。
为解决上述技术问题,本发明所采用的技术方案是:一种基于RFID系统的实时精确且无接触的手势识别方法,包括以下步骤:
1)读写器收集来自用户的手势信号,所述手势信号包括时间戳和相位值;
2)对所述手势信号进行预处理,得到归一化后的相位值,利用所述归一化后的相位值进行手势分割;
3)提取经步骤2)处理后的信号的粗粒度的统计特征和细粒度的小波变换特征来构建系统的分类器;
4)将获取的数据输入到的构建好的分类器,预测手势。
每个所述读写器监听M个标签;在一个手势的时间里,对每个标签的相位值
Figure GDA0004177949380000031
进行如下预处理:
若当前时刻相位值和下一时刻相位值的差值大于5,则将下一时刻相位值加上2π;若当前时刻下位置和下一时刻相位值的差值小于-5,则将下一时刻相位值减去2π;以此得到解缠后的相位值;
对于解缠后的相位值,若当前时刻下位置和下一时刻相位值的差值大于2.5,则将下一时刻相位值加π;若当前时刻下位置和下一时刻相位值的差值小于-2.5,则将下移时刻相位值减去π;以此得到模糊处理后的相位值;
对模糊处理后的相位值进行滤波处理,得到滤波后的相位值;
归一化所述滤波后的相位值。
步骤2)中,对于读写器的所有标签,手势分割的具体实现过程包括:
利用归一化后的相位值构建
Figure GDA0004177949380000032
函数;
根据RFID系统中天线的读取速率和手势的快慢设定滑动窗口的长度,通过所述滑动窗口得到多个
Figure GDA0004177949380000033
函数值;
选择所有
Figure GDA0004177949380000034
函数值中的最大值,根据该最大值得到当前滑动窗口长度下所有标签的相位值和对应的时间戳;
利用每个标签的第一个时间戳组成左时间戳集合,每个标签的最后一个时间戳组成右时间戳集合,判断检测边框是否异常,若左时间戳集合中最小值-左时间戳集合中次小值<-1或者右时间戳集合中最大值-右时间戳集合次大值>1,则发生异常,则删除左时间戳集合的最小值或右时间戳集合最大值异常的检测边框;
将左时间戳集合中剩下的最小值和右时间戳集合中剩下的最大值确定为检测边框的左、右边框,即分割的起始和结束时间,将对应的归一化相位分割出来。
所述粗粒度的统计特征包括集中趋势、离散程度和分布形态。
所述细粒度的小波变换特征的具体提取过程包括:
1)通过如下公式进行线性插值,得到等个数的分割数据:
Figure GDA0004177949380000035
其中tj表示第j个特定查询点,φj表示第j个特定查询点的相位值;
2)利用小波分解对所述分割数据进行特征提取,得到细粒度的小波变换特征。
采用Daubechies小波对所述分割数据进行特征提取。
本发明还提供了一种基于RFID系统的实时精确且无接触的手势识别系统,其包括:
读写器,用于收集来自用户的手势信号,所述手势信号包括时间戳和相位值;预处理单元,用于对所述手势信号进行预处理,得到归一化后的相位值,利用所述归一化后的相位值进行手势分割;
建模单元,用于提取经预处理单元处理后的信号的粗粒度的统计特征和细粒度的小波变换特征来构建系统的分类器;
预测单元,用于将获取的数据输入到的构建好的分类器,预测手势。
与现有技术相比,本发明所具有的有益效果为:本发明通过机器学习方法进行手势识别,既克服了数据手套和传感器等穿戴式终端设备固有的缺点和因产品价格昂贵而无法普及的问题,实现了免设备而使得人机交互更加自然,又克服了基于视觉的手势识别在光线不好时无法工作的不便,实现了用户在无光时晚上需要起夜时挥手就能控制室内的灯光的功能。在0.2s内即能识别手势并作出响应,极大地缩短了识别时间,且保证了识别精度。
附图说明
图1为收集到手势信息的原始信号图;
图2为原始信号中发生了相位缠绕图;
图3为处理后的连续相位信号图;
图4为S-Golay滤波后的相位图;
图5为相位的归一化;
图6为正常情况下手势分割检测;(a)各个标签独自检测;(b)最后统一边界;
图7为异常情况下手势分割检测;(a)各个标签独自检测;(b)最后排除异常统一边界;
图8为软件部分的系统流程图。
具体实施方式
(1)所需硬件设备
在我们的系统中需要使用到的硬件包括以下:其中impinj Speedway读写器、圆极化Laird S9028PCR天线和内置Monza芯片型号为AZ-9654的无源标签,读写器需要通过外界电源进行工作,其另一端包括4个天线端口,通过其中一个端口用馈线与天线相连,来给标签发送信号。标签利用接收到的信号作为能量,并通过反射信号与读写器进行通信。以上构成了RFID系统模块,读写器通过Ethernet端口利用网线与PC机相连,作为我们系统的输入设备来获取用户的手势动作信息。
(2)所需软件设备
我们使用的是Java开发环境,在MyEclipse软件中导入OctaneSDKJava-1.22.0.30的jar包,在高度集成的Impinj产品环境中编写控制我们RFID系统的代码。我们采集的手势信息包括标签的EPC、时间戳和相位。然后将这些信息导入Matlab应用程序中对其进行预处理和分析,最终我们将提取出来的属性特征打上标签,利用Weka软件的算法进行训练和测试。
(3)场景布置
在我们设计的场景中,我们的4个标签贴在墙上成一个正方形,标签之间的距离为0.4M,天线距离正对正方形两对角线交点0.5M;用户的手贴着墙壁在正方形内做手势。
本发明实现过程如下:
1)读写器收集来自用户的手势信号包括时间戳和相位值;
2)将收集的信号进行预处理以及手势分割;
3)将分割出来的信号提取粗粒度的统计特征和细粒度的小波变换特征来构建系统的分类器;
4)最后实现将获取的数据输入到的构建好的分类器,系统将做出手势的预测。
步骤2)中,相位预处理的具体过程包括:
1)相位解缠与相位模糊处理:从输入终端设备RFID系统收集到手势的原始相位信息如图1所示,可以看到4个标签的数据非常的凌乱。这是因为相位信号出现了相位缠绕和相位模糊[1]。如图2中的矩形框所示处就是出现相位缠绕的地方。相位缠绕现象的出现是因为相位角是一个0到2pi或-pi到pi的值。我们可以看到,当相位值达到2pi时它会跳到0,所以我们需要在发生跳变的值上加上2pi使图像变得连续。相位模糊则是图1中尖刺处,其相位值与真实的相位值相差一个pi。故我们通过识别出发生倒pi现象的值加上pi便使得图像变得连续。处理后得到如图3所示的连续的数据;
2)相位平滑处理:我们使用的是Savitzky-Golay滤波器[2]来平滑我们的信号如图4所示;
3)相位归一化处理:为了减少环境对相位的影响,以及不同量纲之间的差异,我们将相位值按如下公式进行归一化处理,归一化只是将数据按比例缩放,它只是形式上发生了变化使其值落入特定范围内如图5所示。
Figure GDA0004177949380000061
其中
Figure GDA0004177949380000062
和/>
Figure GDA0004177949380000063
分别表示相位的均值,最大值和最小值。/>
手势分割,将发生动作的信号提取出来,其具体步骤包括:
1)单标签手势边界的检测:我们应用Modified Varri Method[3]来得到每个标签的手势分割边界。该方法使用基于滑动窗口的振幅测量与频率测量的结合来获取局部最大值进而确定边界如图6(a)所示。g函数公式如下:
Figure GDA0004177949380000064
Figure GDA0004177949380000065
Figure GDA0004177949380000066
其中,L=60为滑动窗口的长度,我们设置为60是根据RFID系统中天线的读取速率以及手势的快慢决定的。
Figure GDA0004177949380000067
分别表示第i个窗口的振幅和频率值,/>
Figure GDA0004177949380000068
表示第k个相位值。
2)统一手势边界决策:通过对每个标签进行
Figure GDA0004177949380000069
函数的检测之后,得到了每个标签的手势边界值。然后将4个标签窗口的左边也就是检测到动作开始的时间归为一组记为Bl,j,再将4个标签窗口右边即动作结束的时间归为另外一组记为Br,j。最终的手势边界如图6(b)所示,其决策表示为:
Bl=min(Bl,j)
Br=max(Br,j)
其中1≤j≤4,表示第j个标签。
3)异常情况处理:在现实情况中,可能会出现如图7(a)所示。在做动作时把标签给遮挡住而无信号的缘故或者因为动作发生地距离某一个标签比较远而导致该标签的信号变化小,在应用G函数在检测动作时,在上述的几种情况都有可能发生偏差。于是提出了一个基于阈值的方法来处理此异常情况。设阈值δ=1,当左边组最小值比左边组的第二小的值小1即Bleft1-Bleft2<-δ我们则将Blefi2作为动作的起始点,同理当Bright4-Bright3>δ,我们将Bright3作为动作的结束时间。最终如图7(b)所示,正确的实现手势分割。
步骤3)中,利用分割出来的手势信息进行粗粒度的统计特征提取,其具体统计特征包括:
1)集中趋势包括:众数、中位数、上下四分位数和算数均值;
2)离散程度包括:最大值、最小值、方差、标准差、三阶中心距;
3)分布形态包括:峰度和偏度。
步骤3)中,利用所述分割出来的手势信息进行细粒度的小波变化系数的特征,其具体实现过程包括:
1)插值:由于读写器读写的标签是随机的,故在同一时间段内分割出来的数据长度不等,故通过如下公式进行线性插值:
Figure GDA0004177949380000071
/>
其中tj表示第j个特定查询点,φj表示第j个特定查询点的相位值。我们的查询点是通过将截取下来的时间段分成99份,故每段时间可以得到100个特定查询点。
2)小波分解三级:我们得到等个数的分割数据后利用小波分解对其进行特征提取。我们选用的小波基是Daubechies小波(dbN)[4],由于其具有较好的正则性,即该小波作为稀疏基所引入的光滑误差不容易被察觉。同时dbN小波的特点是随着阶次(序列N)的增大消失矩阶数越大,其中消失矩越高光滑性就越好,频域的局部化能力就越强,频带的划分效果越好,但是会使时域紧支撑性减弱,同时计算量大大增加,实时性变差。所以我们根据经验选择折中的db2做我们的小波基。为了减小小波变换系数的冗余度,我们使用离散小波变换,其公式如下:
Figure GDA0004177949380000081
其中尺度参数离散化
Figure GDA0004177949380000082
j∈Z平移参数离散化/>
Figure GDA0004177949380000083
b0>0,k∈Z。通过对分解各级的数据进行精度测试,小波分解三级时精度最高。
步骤4)中,具体实现过程包括:
利用所述的特征建立分类器,然后将测试用例经过本发明实现过程的步骤1)、2)、3)三个步骤后,利用随机森林算法进行手势预测。
本发明的具体实现过程如下:
首先,我们通过读写器监听4个标签,标签不断返回相位值和时间戳给读写器,然后读写器反馈给电脑。在一个手势的时间段里,我们可以得到每个标签的相位值
Figure GDA0004177949380000084
和时间戳/>
Figure GDA0004177949380000085
其中j=1,2,3,4表示标签;i=1,2,...,n代表第i个值。每个动作我们会输入8个向量/>
Figure GDA0004177949380000086
一、相位预处理:
1.相位解缠:
输入
Figure GDA0004177949380000087
如果
Figure GDA0004177949380000088
我们则认为发生了相位缠绕,
那么,如果
Figure GDA0004177949380000089
则/>
Figure GDA00041779493800000810
如果/>
Figure GDA00041779493800000811
Figure GDA00041779493800000812
时间戳
Figure GDA00041779493800000813
不做处理。
2.相位模糊处理:
输入相位解缠后的
Figure GDA0004177949380000091
如果/>
Figure GDA0004177949380000092
我们则认为发生了相位模糊,
那么,如果
Figure GDA0004177949380000093
则/>
Figure GDA0004177949380000094
如果/>
Figure GDA0004177949380000095
Figure GDA0004177949380000096
/>
时间戳
Figure GDA0004177949380000097
不做处理。
3.滤波:
同理输入相位模糊处理后的
Figure GDA0004177949380000098
利用Savitzky-Golay滤波器[2],在matlab工具中可直接调用该函数/>
Figure GDA0004177949380000099
Figure GDA00041779493800000910
其中5代表阶数,11代表计算阶数的相位的个数。可输出/>
Figure GDA00041779493800000911
时间戳
Figure GDA00041779493800000912
不做处理。
4.归一化:
输入的还是由滤波后的
Figure GDA00041779493800000913
Figure GDA00041779493800000914
其中
Figure GDA00041779493800000915
分布表示标签j相位的均值,最大值和最小值。
时间戳
Figure GDA00041779493800000916
不做处理。
二、手势分割
1.单标签的的手势边界检测,我们有4个标签,
输入是归一化后的相位
Figure GDA00041779493800000917
我们应用ModifiedVarriMethod[3]来得到每个标签的手势分割边界。该方法使用基于滑动窗口的振幅测量与频率测量的结合来获取局部最大值,/>
Figure GDA00041779493800000918
函数公式如下:
Figure GDA0004177949380000101
Figure GDA0004177949380000102
Figure GDA0004177949380000103
其中,L=60表示滑动窗口的长度,我们设置为60是根据RFID系统中天线的读取速率以及手势的快慢决定的。
Figure GDA0004177949380000104
分别表示标签j的第k=1,2,...,n-60个窗口的振幅和频率值。通过滑动窗口,我们可以得到n-60+1个/>
Figure GDA0004177949380000105
和/>
Figure GDA0004177949380000106
值,以及n-60个/>
Figure GDA0004177949380000107
值。
我们选择
Figure GDA0004177949380000108
假设是当k=a时得到最大的/>
Figure GDA0004177949380000109
我们可以反推出是/>
Figure GDA00041779493800001010
60个归一化后的相位值得到的/>
Figure GDA00041779493800001011
以及对应的/>
Figure GDA00041779493800001012
于是我们得到检测的边框B,重复对4个(向量)归一化后的相位值计算/>
Figure GDA00041779493800001013
最后输出左边框集合
Figure GDA00041779493800001014
右边框集合/>
Figure GDA00041779493800001015
2.异常检测
输入左边框集合
Figure GDA00041779493800001016
右边框集合/>
Figure GDA00041779493800001017
如果Blmin1-Blmin2<-1则表明左边界发生了异常,
我们将删除Blmin1
如果Brmax1-Brmax2>1则表明右边界发生了异常
我们将删除Brmax1
其中Blmin1,Blmin2,Brmax1,Brmax2分别表示左边框集合中最小值和第2小值,右边框的最大值和第二大的值。
输出集合Bl,Br,检测出异常的集合只有3个值,没有异常的有4个值。
3.数据分割
输入集合Bl,Br,归一化后的相位
Figure GDA0004177949380000111
和时间戳/>
Figure GDA0004177949380000112
我们选择最小的Blmin和最大的Brmax
Blmin=min(Bl),Brmax=max(Br),
我们得到本次动作的时间分割点Blmin,Brmax
分割出来的时间
Figure GDA0004177949380000113
都满足/>
Figure GDA0004177949380000114
以及每个时间戳对应的/>
Figure GDA0004177949380000115
输出
Figure GDA0004177949380000116
和Blmin,Brmax
三、信号分析
1.统计特征:
输入
Figure GDA0004177949380000117
j=1,2,3,4
进行以下的13个统计特征计算:
4)集中趋势包括:众数、中位数、上下四分位数和算数均值;
5)离散程度包括:最大值、最小值、方差、标准差、三阶中心距,极差;
6)分布形态包括:峰度和偏度。
输出13*4个粗粒度的统计特诊值(F1,F2,...,F52)。
2.插值:
由于读写器每次都是随机读取4个标签中的一个,导致向量
Figure GDA0004177949380000118
的长度不一样。所以我们要进行插值法,使向量/>
Figure GDA0004177949380000119
的长度一致。输入:
Figure GDA00041779493800001110
j=1,2,3,4,Blmin,Brmax利用线性插值法:
Figure GDA00041779493800001111
其中
Figure GDA00041779493800001112
表示第i个特定查询点,/>
Figure GDA00041779493800001113
是我们要求的值,表示第i个特定查询点的相位值,/>
Figure GDA00041779493800001114
表示在/>
Figure GDA00041779493800001115
中不超过/>
Figure GDA00041779493800001116
的最大值,/>
Figure GDA00041779493800001117
表示在/>
Figure GDA00041779493800001118
中超过/>
Figure GDA00041779493800001119
的最小值,/>
Figure GDA00041779493800001120
和/>
Figure GDA00041779493800001121
分别表示对应的/>
Figure GDA00041779493800001122
与/>
Figure GDA00041779493800001123
我们的查询点是通过将截取下来的时间段分成99份,即
Figure GDA0004177949380000121
故每段时间可以得到100个特定查询点。
输出
Figure GDA0004177949380000122
j=1,2,3,4
3.小波分解
输入
Figure GDA0004177949380000123
j=1,2,3,4,小波基db2=(-0.129409522550921,0.224143868041857,0.836516303737469,0.482962913144690)
我们使用离散小波分解,选用的小波基是Daubechies小波(db2),
我们将4个长度为100的
Figure GDA0004177949380000124
向量连接成一个长度为400的向量即/>
Figure GDA0004177949380000125
Figure GDA0004177949380000126
使用matlab的小波分解函数F53-104=wavedec/>
Figure GDA0004177949380000127
输出细粒度的统计特诊值(F53,F54,…,F104)。
四、训练与测试
1.建立训练模型
至此我们的每一个动作都可以用这104个特征表示,然后我们再根据手势的真实情况为每一条记录标记一个动作类别。为每个动作训练100次,并使用weka工具,建立分类器。
2.测试
当用户做一个手势之后,经过前面的三个大步骤后会输出一个长度为104的特征向量F(F1,F2,…,F104),然后输入到weka工具的分类器中用随机深林算法,做出动作类别的预测。
我们提出了首个实时的、精确的、无接触的、免戴设备的手势识别系统。它通过收集由RFID设备产生的相位信息,将相位信息进行处理后对手势进行分割,然后对其进行特征提取,最后利用随机森林算法进行分类。我们实现了其识别精度为96.5%的同时只需要0.01s就能识别一个未知手势的速度。它在保证识别的正确性下,极大的提高了手势的识别的实时性,因此极大的提高了用户的体验感。参考文献:
[1]Zuo,Chao,et al."Temporal phase unwrapping algorithms for fringeprojection profilometry:A comparative review."Optics and Lasers inEngineering 85(2016):84-103.
[2]Schafer,Ronald W."What is a Savitzky-Golay filter?[lecturenotes]."IEEE Signal processing magazine 28.4(2011):111-117.
[3]Azami,Hamed,Karim Mohammadi,and Behzad Bozorgtabar."An improvedsignal segmentation using moving average and Savitzky-Golay filter."Journalof Signal and Information Processing 3.01(2012):39.
[4]Amin,Hafeez Ullah,et al."Feature extraction and classification forEEG signals using wavelet transform and machine learning techniques."Australasian physical&engineering sciences in medicine 38.1(2015):139-149.
[5]Cannan,James,and Huosheng Hu."Human-machine interaction(hmi):Asurvey."University of Essex(2011).
[6]Rautaray,Siddharth S.,and Anupam Agrawal."Vision based handgesture recognition for human computer interaction:a survey."ArtificialIntelligence Review 43.1(2015):1-54.
[7]Ohn-Bar,Eshed,and Mohan Manubhai Trivedi."Hand gesture recognitionin real time for automotive interfaces:A multimodal vision-based approach andevaluations."IEEE transactions on intelligent transportation systems 15.6(2014):2368-2377.
[8]Ahmed,Washef,Kunal Chanda,and Soma Mitra."Vision based handgesture recognition using dynamic time warping for Indian sign language."Information Science(ICIS),International Conference on.IEEE,2016.
[9]Oyedotun,Oyebade K.,and Adnan Khashman."Deep learning in vision-based static hand gesture recognition."Neural Computing and Applications28.12(2017):3941-3951.
[10]Celebi,Sait,et al."Gesture recognition using skeleton data withweighted dynamic time warping."VISAPP(1).2013
[11]Xiao,Feng,et al."Security Protocol for RFID System Conforming toEPC-C1G2 Standard."JCP 8.3(2013):605-612.

Claims (5)

1.一种基于RFID系统的实时精确且无接触的手势识别方法,其特征在于,包括以下步骤:
1)读写器收集来自用户的手势信号,所述手势信号包括时间戳和相位值;
2)对所述手势信号进行预处理,得到归一化后的相位值,利用所述归一化后的相位值进行手势分割;
3)提取经步骤2)处理后的信号的粗粒度的统计特征和细粒度的小波变换特征来构建系统的分类器;
4)将获取的数据输入到的构建好的分类器,利用随机深林算法预测手势;
每个所述读写器监听M个标签,M=4;在一个手势的时间里,对每个标签的相位值
Figure FDA0004177949370000011
进行如下预处理:
若当前时刻相位值和下一时刻相位值的差值大于5,则将下一时刻相位值加上2π;若当前时刻下位置和下一时刻相位值的差值小于-5,则将下一时刻相位值减去2π;以此得到解缠后的相位值;
对于解缠后的相位值,若当前时刻下位置和下一时刻相位值的差值大于2.5,则将下一时刻相位值加π;若当前时刻下位置和下一时刻相位值的差值小于-2.5,则将下移时刻相位值减去π;以此得到模糊处理后的相位值;
对模糊处理后的相位值进行滤波处理,得到滤波后的相位值;
归一化所述滤波后的相位值。
2.根据权利要求1所述的基于RFID系统的实时精确且无接触的手势识别方法,其特征在于,步骤2)中,对于读写器的所有标签,手势分割的具体实现过程包括:
利用归一化后的相位值构建
Figure FDA0004177949370000012
函数;
根据RFID系统中天线的读取速率和手势的快慢设定滑动窗口的长度,通过所述滑动窗口得到多个
Figure FDA0004177949370000013
函数值;第i个窗口的/>
Figure FDA0004177949370000014
函数值表示如下:/>
Figure FDA0004177949370000015
Figure FDA0004177949370000016
分别表示第i个窗口的振幅和频率值,/>
Figure FDA0004177949370000021
Figure FDA0004177949370000022
表示第k个相位值,L为窗口的长度;
选择所有
Figure FDA0004177949370000023
函数值中的最大值,根据该最大值得到当前滑动窗口长度下所有标签的相位值和对应的时间戳;
利用每个标签的第一个时间戳组成左时间戳集合,每个标签的最后一个时间戳组成右时间戳集合,判断检测边框是否异常,若左时间戳集合中最小值-左时间戳集合中次小值<-1或者右时间戳集合中最大值-右时间戳集合次大值>1,则发生异常,则删除左时间戳集合的最小值或右时间戳集合最大值异常的检测边框;
将左时间戳集合中剩下的最小值和右时间戳集合中剩下的最大值确定为检测边框的左、右边框,即分割的起始和结束时间,将对应的归一化相位分割出来。
3.根据权利要求1所述的基于RFID系统的实时精确且无接触的手势识别方法,其特征在于,所述粗粒度的统计特征包括集中趋势、离散程度和分布形态。
4.根据权利要求1所述的基于RFID系统的实时精确且无接触的手势识别方法,其特征在于,所述细粒度的小波变换特征的具体提取过程包括:
1)利用线性插值方法将手势分割后的数据分割为等长度的数据段;
2)利用小波分解对线性插值处理后的数据进行分解,得到细粒度的小波变换特征。
5.一种基于RFID系统的实时精确且无接触的手势识别系统,其特征在于,包括:
读写器,用于收集来自用户的手势信号,所述手势信号包括时间戳和相位值;
预处理单元,用于对所述手势信号进行预处理,得到归一化后的相位值,利用所述归一化后的相位值进行手势分割;
建模单元,用于提取经预处理单元处理后的信号的粗粒度的统计特征和细粒度的小波变换特征来构建系统的分类器;预测单元,用于将获取的数据输入到的构建好的分类器,预测手势;其中,每个所述读写器监听M个标签,M=4;在一个手势的时间里,对每个标签的相位值
Figure FDA0004177949370000031
进行如下预处理:
若当前时刻相位值和下一时刻相位值的差值大于5,则将下一时刻相位值加上2π;若当前时刻下位置和下一时刻相位值的差值小于-5,则将下一时刻相位值减去2π;以此得到解缠后的相位值;
对于解缠后的相位值,若当前时刻下位置和下一时刻相位值的差值大于2.5,则将下一时刻相位值加π;若当前时刻下位置和下一时刻相位值的差值小于-2.5,则将下移时刻相位值减去π;以此得到模糊处理后的相位值;
对模糊处理后的相位值进行滤波处理,得到滤波后的相位值;
归一化所述滤波后的相位值。
CN201910495847.4A 2019-06-10 2019-06-10 基于rfid系统的实时精确且无接触的手势识别方法及系统 Active CN110298263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910495847.4A CN110298263B (zh) 2019-06-10 2019-06-10 基于rfid系统的实时精确且无接触的手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910495847.4A CN110298263B (zh) 2019-06-10 2019-06-10 基于rfid系统的实时精确且无接触的手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN110298263A CN110298263A (zh) 2019-10-01
CN110298263B true CN110298263B (zh) 2023-05-30

Family

ID=68027723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910495847.4A Active CN110298263B (zh) 2019-06-10 2019-06-10 基于rfid系统的实时精确且无接触的手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN110298263B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866468A (zh) * 2019-10-30 2020-03-06 上海交通大学 一种基于无源rfid的手势识别系统及方法
CN111214231A (zh) * 2020-02-10 2020-06-02 湖南大学 移动过程中的人体呼吸监测方法及系统
CN113495619B (zh) * 2020-04-03 2023-11-10 北京金坤科创技术有限公司 一种基于Wi-Fi信道状态信息相位的手势识别方法
CN113184647B (zh) * 2021-04-27 2022-11-22 安徽师范大学 基于rfid的无接触电梯系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105353881B (zh) * 2015-12-04 2018-11-16 深圳大学 基于rfid的手势识别方法及系统
KR101650738B1 (ko) * 2016-02-29 2016-08-25 (주)디지파츠 카쉐어링 차량에서의 제스처 인식을 통한 rfid 판독기 제어장치 및 방법
CN107832647B (zh) * 2017-10-20 2020-12-04 南京邮电大学 一种基于无源射频标签的相位式手势识别方法
CN109101108B (zh) * 2018-07-25 2021-06-18 重庆邮电大学 基于三支决策优化智能座舱人机交互界面的方法及系统

Also Published As

Publication number Publication date
CN110298263A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298263B (zh) 基于rfid系统的实时精确且无接触的手势识别方法及系统
Subetha et al. A survey on human activity recognition from videos
Jiang et al. Multi-layered gesture recognition with Kinect.
Jambhale et al. Gesture recognition using DTW & piecewise DTW
Huu et al. Proposing posture recognition system combining MobilenetV2 and LSTM for medical surveillance
Guo et al. Tensor manifold discriminant projections for acceleration-based human activity recognition
CN104820673A (zh) 基于自适应性分段统计近似的时间序列相似性度量方法
CN113946218A (zh) 设备上的活动识别
CN115205891A (zh) 人员行为识别模型训练方法、行为识别方法及装置
Singh et al. Modified Haar-cascade model for face detection issues
Zhang et al. Hand gesture recognition with SURF-BOF based on Gray threshold segmentation
Nogales et al. Real-time hand gesture recognition using the leap motion controller and machine learning
Sulyman et al. REAL-TIME NUMERICAL 0-5 COUNTING BASED ON HAND-FINGER GESTURES RECOGNITION.
Alimuin et al. Deep hypersphere embedding for real-time face recognition
Li et al. Deeply feature learning by CMAC network for manipulating rehabilitation robots
Sultana et al. Vision based gesture recognition for alphabetical hand gestures using the SVM classifier
Xiao et al. Self-supervised few-shot time-series segmentation for activity recognition
Hsieh et al. A real time hand gesture recognition system based on DFT and SVM
CN103681429A (zh) 一种芯片固晶机的控制方法及控制系统
Cao Face recognition robot system based on intelligent machine vision image recognition
Wang et al. Handwriting recognition under natural writing habits based on a low-cost inertial sensor
Patel et al. Hand Gesture based Home Control Device using IoT.
Lee et al. A BPR-CNN based hand motion classifier using electric field sensors
Lavangnananda et al. Image processing approach to features extraction in classification of control chart patterns
Wang et al. Gesture recognition based on BoF and its application in human-machine interaction of service robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant