CN107832647B - 一种基于无源射频标签的相位式手势识别方法 - Google Patents

Abstract

本发明公开了一种基于无源射频标签的相位式手势识别方法，首先将标签佩戴到手指指定位置，通过天线阵列采集相位值，然后处理采集到的数据并输出与距离相关的数据序列。通过用户训练得手势数据对应数据序列，最后将当前数据序列与训练集进行相似度匹配实现手势识别。实现上述识别方法的系统包括：无源RFID标签、超高频RFID读写器、三个8dBi定向天线、数据采集与处理模块、手势训练模块、手势识别模块、上位机。本发明将RFID技术应用于手势识别，能够较好地克服可穿戴设备功耗大、便携性差以及系统易受环境干扰的问题。本发明注重对标签返回信号中相位信息的处理，并采用训练模块以适用不同用户，避免了多样数据集以及用户个体差异影响手势识别系统的性能。

Description

一种基于无源射频标签的相位式手势识别方法

技术领域

本发明属于三维人机交互技术领域，具体涉及一种基于RFID技术的相位式手势识别系统及方法。

背景技术

如今人与计算机的关系已经由人逐渐适应计算机转变为计算机不断适应人的互动。人机交互技术已不再局限于键盘和鼠标输入、手柄操作，也不仅限于触摸设备，而是以更加新奇和自然的方式出现：手指某个关节的屈伸、头部的转动、人体在空间中的移动、声波在空气中的振动、表情的变化甚至眼珠和舌头的转动，都可以实现人与计算机系统之间的信息传递，完成人机之间的“对话”。

在这些新颖的方式中，手势交互无疑是人们最熟悉的。手势是一种自然、直观、

易于学习的人机交互手段。以人手直接作为计算机的输入设备，人机间的通讯将不再需要中间的媒体，用户可以简单地定义适当的手势来对周围的机器进行控制。但是一些传统的手势识别方法一般存在便携性差、可扩展性不足和代价昂贵的局限。其中基于图像的手势识别方法容易受到环境中障碍物和光线强度的影响，基于传感器的手势识别方法在系统功耗和便携性方面仍然有待提升。

近年来随着物联网技术的不断创新发展，RFID技术也已在许多领域得到广泛应用。RFID射频识别技术是一种自动识别技术，其采用无线射频方式通过非接触双向数据通信对目标进行唯一识别，无需近距离接触即可完成信息的交互。RFID读写器读取速度快且漏读率低，无源射频标签价格低廉且能方便地部署于手指上。现有技术中还没有将RFID技术应用于手势的识别，以较好地克服可穿戴设备功耗大、便携性差以及系统易受环境干扰等问题的披露。

发明内容

本发明的目的在于提出一种基于无源射频标签技术的相位式手势识别方法，该方法能够有效地动态识别用户预先训练的手势动作。与其它相关的手势识别方法不同，本方法结合预先训练好的手势数据序列利用最小距离分类法将采集到的手势进行归类，即手势识别。另外，本方法着重于对RFID标签反射信号相位值的处理，无须读取标签其它特征信息，因此避免多样数据集影响手势识别系统的性能。

为实现上述目的，本发明采用的技术方案为一种基于无源标签的相位式手势识别方法，具体包含如下步骤：

(1)将标签佩戴到手指指定位置

所述标签采用UHF RFID无源标签，其从读写器发出的射频能量中提取工作所需的电源，当超高频RFID读写器获取到标签发射出来的信息，即完成了对标签的识别过程，每个标签中存储一个唯一EPC编码；

(2)通过天线阵列，采集相位值

主机端获取的标签相位集合为

在每一时刻，控制模块内核用条件控制语句根据EPC编码信息和天线端口号将其细分为由不同天线获得的各标签的实时相位值；

(3)处理采集到的数据并输出与距离相关的数据序列

设R为射频标签与读写器的距离，λ为电磁波波长，Backscatter wave为反向散射波，θ_T、θ_R、θ_TAG分别为发射天线、接收天线、标签的相位增益，设读写器解析出的相位值范围为[0,2π]，相位值与距离满足公式：

其中k为整数，

为阅读器解析后的相位值，则当单个标签径直相对天线移动半波长的距离即λ/2，其返回信号的相位

变化值为2π，因此若在阅读两次读取间隔时间内保持标签移动距离小于半个波长的距离，就可以通过单个标签前后返回信号的相位差值

计算出标签移动前后到天线距离差ΔR，考虑到每个手指所在区域范围较小，这里将多个标签的位置模拟为单个标签运动轨迹上的点，保持相邻两个标签到天线距离的差值|ΔR_tagi,j|小于四分之一个波长，不同标签到天线的距离差绝对值|ΔR_tagi,j|可由相位差

导出：

(4)用户训练得手势数据对应数据序列

判断系统不存在训练集后，由上位机提示开启训练模块，用户作出相应手势动作的同时系统实时采集和处理标签返回信号数据，并根据界面提示将手势训练集{D₁,D₂,D₃,…,D_m}分别录入系统，其中n维向量D表示某个手势特征的数据序列；

(5)将当前数据序列与训练集进行相似度匹配实现手势识别

基于最小距离分类法的思想将当前所测数据进行分类，分别计算向量X到已知类别的距离并比较，从而完成对当前手势对应的数据序列X的归类。

进一步，作为优选，上述步骤2中采用3个天线和5个标签采集相位值，分别表示为A＝{a₁,a₂,a₃}，T＝(tag₁,tag₂,tag₃,tag₄,tag₅)，相位数据集可以用3×5矩阵

Θ表示，则Θ满足：

进一步，步骤3中又具体包括：

i.设备部署：3个天线A＝{a₁,a₂,a₃}以人手为原点分别部署在XYZ轴上，5个RFID标签T＝(tag₁,tag₂,tag₃,tag₄,tag₅)分别佩戴到5个手指上；

ii.手势特征：“剪刀”手势中食指与中指呈“V”型，在正常的“剪刀”手势下，两手指在Z轴方向上存在固定距离差，而在X、Y轴方向距离差可以忽略，同理，拇指与无名指和小指在Z轴方向距离差相较“石头”、“布”手势明显变小，所以通过距离差值来判定不同手势是可行的；

iii.数据处理与输出：从矩阵Θ中取出通过Z轴天线a₃测出的相位集并由tag₂与tag₃相位差

计算出它们到天线的距离差

其理论值应大于一个适当的阈值，相应地，由X、Y轴天线a₁,a₂测出的相位集求出

并转换为距离差

其理论值都应略大于0且小于一个适当的阈值，同理，由矩阵Θ计算出拇指与无名指和小指在Z轴方向上的距离差

其理论值应小于某个阈值，因此当用户做出“剪刀”手势时，系统处理各标签相位数据并输出与距离相关的序列，用向量D表示，这里D满足：

进一步，上述步骤5中所述相似度匹配和手势识别具体包括：假设当前实时数据序列为X＝{x₁,x₂,x₃,…,x_n}，且系统存在三个已知类别D_A、D_B和D_C,分别用向量表示为D_A＝{d_A1,d_A2,d_A3,…,d_An}、D_B＝{d_B1,d_B2,d_B3,…,d_Bn}和D_C＝{d_C1,d_C2,d_C3,…,d_Cn}，基于最小距离分类法的思想将当前所测数据进行分类，分别计算向量X到D_A、D_B和D_C的距离ρ(X,D_A)、ρ(X,D_B)和ρ(X,D_C)，以欧氏距离为例，距离的计算公式如下：

其中i＝A,B,C，则当前手势对应的数据序列X归结于argm i n(ρ(X,D_i))类，即与当前数据序列X的欧氏距离值最小的那一类。

本发明还进一步提出一种实现上述基于无源标签的相位式手势识别方法的系统，其包含核心控制模块、无源RFID标签、超高频RFID读写器、定向天线、数据采集与处理模块、手势训练模块、手势识别模块和上位机，定向天线与超高频RFID读写器连接，携带在手指上的无源RFID标签与超高频RFID读写器通过电磁感应实现数据通信，超高频RFID读写器、数据采集与处理模块、手势训练模块、手势识别模块分别通过串口连接至核心控制模块，上位机通过以太网与超高频RFID读写器实现通信。

作为优选，上述定向天线为三个8dBi定向天线。

与现有技术相比，本发明的有益技术效果：

(1)本发明将RFID技术应用于手势识别，能够较好的克服可穿戴设备功耗大、便携性差以及系统易受环境干扰的问题。

(2)本发明只注重对标签返回信号中相位信息的处理，并采用训练模块以适用不同用户，避免了多样数据集以及用户个体差异影响手势识别系统的性能。

(3)本发明系统架构清晰、简单，易于实现。

附图说明

图1为基于无源射频标签的相位式手势识别方法的流程图；

图2为标签与天线距离和相位之间的关系图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定，比如用作匹配的数据序列长度是可以根据相位数据集以及不同手势改变的。除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施例，不是旨在于限制本发明。

本发明提出一种基于RFID射频标签的相位式手势识别方法，该方案软硬件主要包括：无源RFID标签、超高频RFID读写器、三个8dBi定向天线、数据采集与处理模块、手势训练模块、手势识别模块、上位机。携带在手指上无源RFID标签与超高频RFID读写器通过电磁感应实现数据通信，超高频RFID读写器、数据采集和处理模块、手势训练模块、手势识别模块分别通过串口连接至核心控制模块，上位机通过以太网与读写器实现通信。

在基于RFID技术的相位式手势识别系统中，每一个无源RFID标签含有唯一的、可预先设置的EPC编码信息，开发人员可以根据不同EPC编码为各手指预先设置身份标识；超高频RFID读写器实时检测并返回可探测区域内标签信息，包括EPC编码信息、射频信号的相位值等；数据采集模块实时收集所测标签返回信号相位值信息并根据不同EPC编码和天线端口号进行分类存储；数据处理模块根据射频信号中相位的周期性以及它与信号传播距离的关系实时处理初始的相位数据，并返回指定标签以天线为参照物的位置数据序列；手势训练模块实现不同手势对应各标签位置数据序列的获取并保存提交到系统，主要为了防止不同用户导致的个体手势差异影响识别准确率；手势识别模块实时地将数据处理模块返回的数据序列与预先训练的手势数据序列进行相似度匹配；若超高频RFID读写器未检测到指定RFID标签信息，则各模块处于等待状态。一旦在超高频RFID读写器监测区域内有指定标签到出现，系统开启实时的数据采集模块并对数据进行处理。在保存用户训练数据之前，数据采集和处理模块返回的数据序列都无参考价值。因此需要用户在上位机端开启手势训练模块，并按指定方式训练符合自己不同手势对应的数据序列并保存到系统。上位机主要通过软件实现手势识别系统的管理。

开发人员预先给各标签分配标志其所在手指的唯一EPC编码信息，并在数据库中关联各RFID标签中EPC编码所对应的手指信息。用户佩戴好标签后，就可以通过上位机控制整个系统的工作，具体操作步骤如下：

(1)上位机端建立电脑与RFID读写器的连接并设置其阅读模式为最快速度读取。待系统一切配置完成后，读写器开始实时监测识别区域是否存在指定标签，包括匹配标签的数量和EPC编码信息。

(2)当超高频RFID读写器检测到用户佩戴的RFID标签时，上位机端控制系统进入数据采集模块。根据EPC编码信息和天线端口号将主机端获取的标签相位集

细分为由不同天线获得的各标签的实时相位值。与此同时，数据处理模块实时处理采集到的相位数据集并输出体现各标签相互位置关系的距离数据序列。

(3)待数据采集和处理模块开启后，上位机端进行手势训练模块。用户分别摆出相应手势(如拳头、剪刀、布等)并由训练模块自动录入系统保存。

(4)当一切就绪后，选择系统进入手势识别模块。用户摆出不同静态手势，系统根据静态手势下处理完的数据与预先训练的手势作相似度匹配，当两个数据序列之间的欧式距离小于设定阈值时完成相应静态手势的动态识别。

如图1所示为本发明的基于无源射频标签的相位式手势识别的实现方法，具体包括以下步骤：

(1)将标签佩戴到手指指定位置

所述标签采用UHF RFID无源标签，它们从读写器发出的射频能量中提取其工作所需的电源。当超高频RFID读写器获取到标签发射出来的信息，即完成了对标签的识别过程。标签可以借助手套、指环等物件佩戴到手指上，每个标签中存储一个唯一EPC编码。

(2)通过天线阵列，采集相位值

主机端获取的标签相位集合为

在每一时刻，控制模块内核用条件控制语句根据EPC编码信息和天线端口号将其细分为由不同天线获得的各标签的实时相位值。本发明实例中我们用到3个天线和5个标签，分别表示为A＝{a₁,a₂,a₃}，T＝(tag₁,tag₂,tag₃,tag₄,tag₅)，相位数据集可以用3×5矩阵Θ表示，则Θ满足：

(3)处理采集到的数据并输出与距离相关的数据序列

附图2给出了标签与天线距离和相位之间的关系，图中RFID TAG为射频标签，RFIDREADER为超高频读写器模块，R为射频标签与读写器的距离，λ为电磁波波长，Backscatter wave为反向散射波，θ_T、θ_R、θ_TAG分别为发射天线、接收天线、标签的相位增益。一般地，读写器解析出的相位值范围为[0,2π]，相位值与距离满足公式：

其中k为整数，

为阅读器解析后的相位值。则当单个标签径直相对天线移动半波长的距离即λ/2，其返回信号的相位

变化值为2π。因此若在阅读两次读取间隔时间内保持标签移动距离小于半个波长的距离，就可以通过单个标签前后返回信号的相位差值

计算出标签移动前后到天线距离差ΔR。考虑到每个手指所在区域范围较小，本发明将多个标签的位置模拟为单个标签运动轨迹上的点，保持相邻两个标签到天线距离的差值|ΔR_tagi,j|小于四分之一个波长，不同标签到天线的距离差绝对值|ΔR_tagi,j|可由相位差

导出：

下面利用“剪刀”手势的位置特征提取思想来简单解释本发明中数据处理与输出的方法：

i.设备部署：3个天线A＝{a₁,a₂,a₃}以人手为原点分别部署在XYZ轴上，5个RFID标签T＝(tag₁,tag₂,tag₃,tag₄,tag₅)分别佩戴到5个手指上。

ii.手势特征：“剪刀”手势中食指与中指呈“V”型，在正常的“剪刀”手势下，两手指在Z轴方向上存在固定距离差，而在X、Y轴方向距离差可以忽略。同理，拇指与无名指和小指在Z轴方向距离差相较“石头”、“布”手势明显变小。所以通过距离差值来判定不同手势是可行的。

iii.数据处理与输出：从矩阵Θ中取出通过Z轴天线a₃测出的相位集并由tag₂与tag₃相位差

计算出它们到天线的距离差

其理论值应大于一个适当的阈值。相应地，由X、Y轴天线a₁,a₂测出的相位集求出

并转换为距离差

其理论值都应略大于0且小于一个适当的阈值。同理，由矩阵

计算出拇指与无名指和小指在Z轴方向上的距离差

其理论值应小于某个阈值。因此当用户做出“剪刀”手势时，系统处理各标签相位数据并输出与距离相关的序列，用向量D表示，这里D满足：

(4)用户训练得手势数据对应数据序列

判断系统不存在训练集后，由上位机提示开启训练模块。用户作出相应手势动作的同时系统实时采集和处理标签返回信号数据，并根据界面提示将手势训练集{D₁，D₂，D₃，...，D_m}分别录入系统，其中n维向量D表示某个手势特征的数据序列。

(5)将当前数据序列与训练集进行相似度匹配实现手势识别

假设当前实时数据序列为X＝{x₁，x₂，x₃，...，x_n}，且系统存在三个已知类别D_A、D_B和D_C，分别用向量表示为D_A＝{d_A1，d_A2，d_A3，...，d_An}、D_B＝{d_B1，d_B2，d_B3，...，d_Bn}和D_C＝{d_C1，d_C2，d_C3，...，d_Cn}。本发明利用最小距离分类法的思想将当前所测数据进行分类，分别计算向量X到D_A、D_B和D_C的距离ρ(X，D_A)、ρ(X，D_B)和ρ(X，D_C)，以欧氏距离为例，距离的计算公式如下：

其中i＝A，B，C。则当前手势对应的数据序列X归结于argm i n(ρ(X，D_i))类，即与当前数据序列X的欧氏距离值最小的那一类。

Claims (1)

1.一种基于无源标签的相位式手势识别方法，其特征在于包含如下步骤：

(1)将标签佩戴到手指指定位置；

所述标签采用UHF RFID无源标签，其从读写器发出的射频能量中提取工作所需的电源，当超高频RFID读写器获取到标签发射出来的信息，即完成了对标签的识别过程，每个标签中存储一个唯一EPC编码；

(2)通过天线阵列，采集相位值；

主机端获取的标签相位集合为

在每一时刻，控制模块内核用条件控制语句根据EPC编码信息和天线端口号将其细分为由不同天线获得的各标签的实时相位值，采用3个天线和5个标签采集相位值，分别表示为

A＝{a₁，a₂，a₃}，T＝(tag₁，tag₂，tag₃，tag₄，tag₅)，相位数据集用3×5矩阵Θ表示，则Θ满足：

(3)处理采集到的数据并输出与距离相关的数据序列；

设R为射频标签与读写器的距离，λ为电磁波波长，Backscatter wave为反向散射波，θ_T、θ_R、θ_TAa分别为发射天线、接收天线、标签的相位增益，设读写器解析出的相位值范围为[0，2π]，相位值与距离满足公式：

其中k为整数，φ为阅读器解析后的相位值，当单个标签径直相对天线移动半波长的距离为λ/2，其返回信号的相位φ变化值为2π，因此若在阅读两次读取间隔时间内保持标签移动距离小于半个波长的距离，就可以通过单个标签前后返回信号的相位差值Δφ计算出标签移动前后到天线距离差ΔR，考虑到每个手指所在区域范围较小，这里将多个标签的位置模拟为单个标签运动轨迹上的点，保持相邻两个标签到天线距离的差值

小于四分之一个波长，不同标签到天线的距离差绝对值

可由相位差

导出：

i.设备部署：3个天线A＝{a₁，a₂，a₃}以人手为原点分别部署在XYZ轴上，5个RFID标签T＝(tag₁，tag₂，tag₃，tag₄，tag₅)分别佩戴到5个手指上；

ii.手势特征：“剪刀”手势中食指与中指呈“V”型，在正常的“剪刀”手势下，两手指在Z轴方向上存在固定距离差，而在X、Y轴方向距离差可以忽略，同理，拇指与无名指和小指在Z轴方向距离差相较“石头”、“布”手势明显变小，所以通过距离差值来判定不同手势是可行的；

iii.数据处理与输出：从矩阵Θ中取出通过Z轴天线a₃测出的相位集并由tag₂与tag₃相位差

计算出它们到天线的距离差

其理论值应大于一个适当的阈值，相应地，由X、Y轴天线a₁，a₂测出的相位集求出

并转换为距离差

其理论值都应略大于0且小于一个适当的阈值，同理，由矩阵Θ计算出拇指与无名指和小指在Z轴方向上的距离差

其理论值应小于某个阈值，因此当用户做出“剪刀”手势时，系统处理各标签相位数据并输出与距离相关的序列，用向量D表示，这里D满足：

(4)用户训练得手势数据对应数据序列；

判断系统不存在训练集后，由上位机提示开启训练模块，用户作出相应手势动作的同时系统实时采集和处理标签返回信号数据，并根据界面提示将手势训练集{D₁，D₂，D₃，...，D_m}分别录入系统，其中n维向量D表示某个手势特征的数据序列；

(5)将当前数据序列与训练集进行相似度匹配实现手势识别；

基于最小距离分类法的思想将当前所测数据进行分类，分别计算向量X到已知类别的距离并比较，从而完成对当前手势对应的数据序列X的归类；

相似度匹配和手势识别具体包括：假设当前实时数据序列为X＝{x₁，x₂，x₃，...，x_n}，且系统存在三个已知类别D_A、D_B和D_C，分别用向量表示为D_A＝{d_A1，d_A2，d_A3，...，d_An}、D_B＝{d_B1，d_B2，d_B3，...，d_Bn}和D_C＝{d_C1，d_C2，d_C3，...，d_Cn}，基于最小距离分类法的思想将当前所测数据进行分类，分别计算向量X到D_A、D_B和D_C的距离ρ(X，D_A)、ρ(X，D_B)和ρ(X，D_C)，以欧氏距离为例，距离的计算公式如下：

其中i＝A，B，C，则当前手势对应的数据序列X归结于argmin(ρ(X，D_i))类，即与当前数据序列X的欧氏距离值最小的那一类

在基于RFID技术的相位式手势识别系统中，每一个无源RFID标签含有唯一的、预先设置的EPC编码信息，开发人员根据不同EPC编码为各手指预先设置身份标识；超高频RFID读写器实时检测并返回可探测区域内标签信息，包括EPC编码信息、射频信号的相位值；数据采集模块实时收集所测标签返回信号相位值信息并根据不同EPC编码和天线端口号进行分类存储；数据处理模块根据射频信号中相位的周期性以及它与信号传播距离的关系实时处理初始的相位数据，并返回指定标签以天线为参照物的位置数据序列；手势训练模块实现不同手势对应各标签位置数据序列的获取并保存提交到系统，为了防止不同用户导致的个体手势差异影响识别准确率；手势识别模块实时地将数据处理模块返回的数据序列与预先训练的手势数据序列进行相似度匹配；若超高频RFID读写器未检测到指定RFID标签信息，则各模块处于等待状态，一旦在超高频RFID读写器监测区域内有指定标签到出现，系统开启实时的数据采集模块并对数据进行处理，在保存用户训练数据之前，数据采集和处理模块返回的数据序列都无参考价值，因此需要用户在上位机端开启手势训练模块，并按指定方式训练符合自己不同手势对应的数据序列并保存到系统，上位机主要通过软件实现手势识别系统的管理；

开发人员预先给各标签分配标志其所在手指的唯一EPC编码信息，并在数据库中关联各RFID标签中EPC编码所对应的手指信息，用户佩戴好标签后，就可以通过上位机控制整个系统的工作，具体操作步骤如下：

(1)上位机端建立电脑与RFID读写器的连接并设置其阅读模式为最快速度读取，待系统一切配置完成后，读写器开始实时监测识别区域是否存在指定标签，包括匹配标签的数量和EPC编码信息；

(2)当超高频RFID读写器检测到用户佩戴的RFID标签时，上位机端控制系统进入数据采集模块，根据EPC编码信息和天线端口号将主机端获取的标签相位集

细分为由不同天线获得的各标签的实时相位值，与此同时，数据处理模块实时处理采集到的相位数据集并输出体现各标签相互位置关系的距离数据序列；

(3)待数据采集和处理模块开启后，上位机端进行手势训练模块，用户分别摆出相应手势(如拳头、剪刀、布等)并由训练模块自动录入系统保存；

(4)当一切就绪后，选择系统进入手势识别模块，用户摆出不同静态手势，系统根据静态手势下处理完的数据与预先训练的手势作相似度匹配，当两个数据序列之间的欧式距离小于设定阈值时完成相应静态手势的动态识别。

Images