CN113361450A - 基于rfid的活动序列识别方法、系统、介质及终端 - Google Patents

基于rfid的活动序列识别方法、系统、介质及终端 Download PDF

Info

Publication number
CN113361450A
CN113361450A CN202110705245.4A CN202110705245A CN113361450A CN 113361450 A CN113361450 A CN 113361450A CN 202110705245 A CN202110705245 A CN 202110705245A CN 113361450 A CN113361450 A CN 113361450A
Authority
CN
China
Prior art keywords
activity
sequence
rfid
probability
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110705245.4A
Other languages
English (en)
Inventor
赵润
王东
杨迅捷
高晓鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dingsuan Intelligent Technology Co ltd
Original Assignee
Shanghai Dingsuan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dingsuan Intelligent Technology Co ltd filed Critical Shanghai Dingsuan Intelligent Technology Co ltd
Priority to CN202110705245.4A priority Critical patent/CN113361450A/zh
Publication of CN113361450A publication Critical patent/CN113361450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于RFID的活动序列识别方法、系统、介质及终端，其包括：获取活动序列的RFID数据流并预处理获取对应的RFID数据帧；基于卷积神经网络构建特征提取器，并通过条件对抗网络令所述特征提取器从所述RFID数据帧中提取出与环境和用户无关的泛化活动特征；基于长短期记忆网络构建活动序列标记器，并将所述泛化活动特征输入所述活动序列标记器以获取包含时序信息的活动概率；将所述活动概率输入活动预测器以预测识别所述活动序列。本发明利用对抗学习抑制了用户和环境相关的特征，具有出色的泛化能力；降低识别精度对感知数据预分割的依赖，在不预分析场景、不定义关键动作的前提下，建立具有上下文关系的活动序列模型，完成实时的活动识别。

Description

基于RFID的活动序列识别方法、系统、介质及终端
技术领域
本发明涉及活动识别领域，特别是涉及基于RFID的活动序列识别方法、系统、介质及终端。
背景技术
利用射频标签(RFID)等空间中已有通信基础设施收发的电磁波进行感知的无源感知系统，其非侵扰且透明的感知过程能融入到日常生产生活环境中。无源感知与基于视频图像的感知方法不同，不存在用户隐私被侵害的风险，具有重要的应用价值。而基于手势动作的交互方式比键盘等输入方式更加自然方便，也是基于射频标签(RFID)的手势识别系统的重要应用方向。
然而，大部分基于射频标签(RFID)的无源感知系统一般关注识别孤立的动作活动(如行走、跌倒和坐下等)，而没有考虑具有时序关系的活动序列的识别。甚至目前的动作识别多关注单手的动作，但由多个身体部分参与执行的手势更加复杂，也蕴含更丰富的信息。
从方法论的角度，已有的系统在识别过程中一般需要对数据预分割，先找到动作活动对应的数据流进而再利用机器学习的方法进行识别，显然分割的准确度会直接影响最后系统的识别精度，而人的动作活动一般是连贯的、多样的，甚至同一个人执行相同的动作活动也会有不同的持续时间，这种动作活动的实时分割比分类更加困难。最后，现有的基于无源感知的动作活动识别多关注其识别精度，一般需要执行完整个动作活动才能进行识别，不满足实际场景中对实时性要求较高的一些应用尤其是交互应用的需求，而且其泛化能力有限，多适用于固定的用户集和环境。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提出一种基于RFID的活动序列识别方法、系统、介质及终端，解决现有技术中活动序识别的泛化性不足，应用范围受限的技术问题。
为实现上述目的及其它相关目的，本发明的第一方面提供一种基于RFID的活动序列识别方法，包括：获取活动序列的RFID数据流并预处理获取对应的RFID数据帧；基于卷积神经网络构建特征提取器，并通过条件对抗网络令所述特征提取器从所述RFID数据帧中提取出与环境和用户无关的泛化活动特征；基于长短期记忆网络构建活动序列标记器，并将所述泛化活动特征输入所述活动序列标记器以获取包含时序信息的活动概率；将所述活动概率输入活动预测器以预测识别所述活动序列。
于本发明的第一方面的一些实施例中，所述RFID数据帧包括相位数据帧和接收信号强度数据帧；所述方法包括：所述特征提取器包括两个独立的卷积神经子网络，分别从所述相位数据帧和所述接收信号强度数据帧中提取相位特征和接收信号强度特征；合并所述相位特征和所述接收信号强度特征，并利用全连接层跨模态学习获取所述泛化活动特征。
于本发明的第一方面的一些实施例中，所述泛化活动特征的获取方式包括：采用两个沿时域同时正反向运行的双向长短期记忆网络分别构建环境鉴别器和用户鉴别器；基于所述环境鉴别器和用户鉴别器构建所述条件对抗网络；基于所述条件对抗网络训练所述特征提取器以获取所述与环境和用户无关的泛化活动特征。
于本发明的第一方面的一些实施例中，所述活动概率的获取方式包括：基于长短期记忆网络构建所述活动序列标记器；将所述活动序列标记器中的每个单元的隐藏状态投影到低维空间中，并通过Softmax函数的归一化获得每个所述窗口对应各个活动的所述活动概率。
于本发明的第一方面的一些实施例中，所述活动序列标记器的训练方式包括：在训练过程中采用Dropout机制随机地丢弃一些输入以及所有相应的连接。
于本发明的第一方面的一些实施例中，所述RFID数据流包括相位数据流和接收信号强度数据流；所述RFID数据流的预处理方式包括：经过Hampel滤波器消除所述RFID数据流的异常点，且对所述相位数据流进行解缠绕；并利用线性插值获得时域等间隔的数据流；利用滑动窗口对所述时域等间隔的数据流进行分割以获取所述RFID数据帧，其中每个窗口对应一个数据帧。
于本发明的第一方面的一些实施例中，所述活动预测器包括支持向量机分类器；所述方法包括：基于从活动开始时刻到当前时刻的活动概率，所述活动预测器计算多个特征量并基于此进行活动预测；其中所述特征量包括：当前时刻的归一化活动概率、活动开始时刻到当前时刻各个活动归一化概率的均值、活动开始时刻到当前时刻各个活动归一化概率的方差、当前时刻的非活动状态的概率和活动持续时间中的任一种或多种的组合。
为实现上述目的及其它相关目的，本发明的第二方面提供一种基于RFID的活动序列识别系统，包括：数据获取及预处理模块，用于获取活动序列的RFID数据流并预处理获取对应的RFID数据帧；特征提取模块，基于卷积神经网络构建特征提取器，并通过条件对抗网络令所述特征提取器从所述RFID数据帧中提取出与环境和用户无关的泛化活动特征；活动概率获取模块，基于长短期记忆网络构建活动序列标记器，并将所述泛化活动特征输入所述活动序列标记器以获取包含时序信息的活动概率；活动序列识别模块，用于将所述活动概率输入活动预测器以预测识别所述活动序列。
为实现上述目的及其它相关目的，本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于RFID的活动序列识别方法。
为实现上述目的及其它相关目的，本发明的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于RFID的活动序列识别方法。
如上所述，本发明提出基于RFID的活动序列识别方法、系统、介质及终端，其具有以下有益效果：充分利用射频标签(RFID)的低层信号特征，利用CNN(卷积神经网络)提取局部特征，然后利用LSTM(长短期记忆网络)提取活动内部和活动之间的时序关系，有效地将孤立的RFID数据流转化为可以用于活动识别的有组织的高层表示，进而识别用户活动(如手势、跑步、走路、跌倒等人体活动)；利用对抗学习抑制了用户和环境相关的特征，提升活动序列识别系统对用户和环境的鲁棒性，具有出色的泛化能力；降低识别精度对感知数据预分割的依赖，在不预分析场景、不定义关键动作的前提下，建立具有上下文关系的活动序列模型，完成实时的活动识别，达到负延时和高精度的识别效果。
附图说明
图1显示为本发明一实施例中一种基于RFID的活动序列识别方法的流程示意图。
图2显示为本发明一实施例中一种特征提取器的工作流程示意图。
图3显示为本发明一实施例中一种基于RFID的活动序列识别系统的结构示意图。
图4显示为本发明一实施例中一种基于RFID射频标签的手势快速识别系统的结构示意图。
图5显示为本发明一实施例中一种电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其它实施例，并且可以在不背离本发明的精神和范围的情况下进行操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其它特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明提出一种基于RFID的活动序列识别方法、系统、介质及终端，解决了现有技术中活动序识别的泛化性不足，应用范围受限的技术问题。下文以对手势的识别为例进行说明，但本发明并不限于仅对手势活动的识别，也可用于识别其它人体活动，如行走、跑步、起坐等。
为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一
如图1所示，本发明实施例提出一种基于RFID的活动序列识别方法的流程示意图，其包括步骤S11～S14，具体表述如下：
步骤S11.获取活动序列的RFID数据流并预处理获取对应的RFID数据帧。具体的，采用数据采集器(读写器)采集每个天线—标签对的RFID数据流，包括但不限于接收信号强度数据流(Received Signal Strength，RSS)和相位数据流。利用商用RFID设备的信号进行识别时主要可以利用的信道特征即RSS和相位。进一步地，利用相位变化信息通过短时傅里叶变换计算可得到多普勒频率用于后续活动预测识别。
在本实施例较佳的实施方式中，所述RFID数据流的预处理方式包括：经过Hampel滤波器消除所述RFID数据流的异常点，且对所述相位数据流进行解缠绕；并利用线性插值获得时域等间隔的数据流(例如，插值的间隔为20ms)，整个RFID数据会形成两个N维的数据流分别对应相位和RSS，其中N指代天线–标签对的数目；利用滑动窗口对所述时域等间隔的数据流进行分割以获取所述RFID数据帧，其中每个窗口对应一个数据帧。
值得一提的是，所获得的RFID数据帧可直接馈入神经网络而不是先选择特征或先在数据中检测交互对象和关键动作再预测活动，且无需进行高频噪声以及直流分量滤除，因为神经网络能直接从原始数据开始推断，从中提取特征表示。因此，本发明较一般的需通过各种变换解释原始数据的活动识别方法更加简洁高效。
在一些示例中，利用长度为M(这里M取10)且重叠率为50％的滑动窗口分割数据流作为神经网络的输入。这里可以把每个窗口看成是一帧数据，每一帧都反映了当前监控区域内的活动状态，即标签及附近环境中物体的运动状态在某个短暂时间间隔内的描述。而当标签贴附的物体或附近的物体(肢体)运动时，则发生了活动状态的改变。显然，每帧数据都是一个N*M的矩阵，其中的每个元素对应了一个天线–标签对在某个时刻的RSS或相位值。优选的，所述RFID数据帧可表示如下：
Figure BDA0003131871930000051
其中，C(t M)中的每一行都唯一对应一个天线–标签对，N指代天线–标签对的数目，M表示窗口长度，而每一列都表示特定时刻对活动状态的描述。
本实施例采用这种RFID数据表示形式的优势在于如果增加标签或天线，只需要增大每一帧的行数；而如果增加多普勒频率等其它特征信息，只需要在每个窗口增加相应的帧；这样每个时刻会有更多的采样点，而不会对本发明中的深度学习结构产生巨大的影响。
步骤S12.基于卷积神经网络构建特征提取器，并通过条件对抗网络令所述特征提取器从所述RFID数据帧中提取出与环境和用户无关的泛化活动特征。RFID相位和RSS数据流具有多模态的特性，它们的自然属性和数据类型有很大的不同。相同模态内数据的相关性比模态间数据的相关性要强。另外，单个标签的相位流或RSS流都是一维序列，整个数据流的另一维度是天线—标签对。
本实施例较佳的实施方式中，所述特征提取器包括两个独立的卷积神经子网络(CNN子网络)，分别从所述相位数据帧和所述接收信号强度数据帧中提取相位特征和接收信号强度特征，最大限度地利用模态内部的信息；合并所述相位特征和所述接收信号强度特征，并利用全连接层提取一个窗口内部的跨模态特征，即跨模态学习获取所述泛化活动特征。
本实施例利用对抗学习提取RFID数据流中更加通用、泛化的特征，使得训练好的模型不需要额外的调整就可以直接用于未经训练的用户和未经训练的环境。为了确保特征提取器能成功提取用户无关、环境无关的特征，本发明使用用户鉴别器和环境鉴别器，将特征提取器提取的特征分别映射为用户预测和环境(位置)预测。
本实施例较佳的实施方式中，所述泛化活动特征的获取方式包括：采用两个沿时域同时正反向运行的双向长短期记忆网络分别构建环境鉴别器和用户鉴别器；基于所述环境鉴别器和用户鉴别器构建所述条件对抗网络；基于所述条件对抗网络训练所述特征提取器以获取所述与环境和用户无关的泛化活动特征。本实施方式采用包含两个沿时域同时正反向运行的LSTM层的双向LSTM(Bidirectional LSTM，BLSTM)对用户多样性和环境多样性建模，确保对用户或环境的推理利用了完整的序列，具有更好的时间建模能力。优选的，这两个域鉴别器都是一个包含32个存储单元的单层BLSTM网络。
如图2所示，本实施例提出一种特征提取器的工作流程示意图，具体说明如下：每个窗口都有两个分别对应相位和RSS的RFID数据帧C(t)，在每个数据帧上独立使用一个两层CNNs分别处理相位和RSS信息，具体采用(1*3)的‘2D’卷积核提取和卷积核有类似模式的模态内部特征(相位或RSS相关的局部特征)；然后，合并展平两个CNN子网络的输出，将来自相位和RSS的时空动态特征连接在一起；最后利用全连接层学习跨模态的信息，得到每个RFID数据流窗口对应的高层表达(特征)。
在一些示例中，每个CNN子网络的每一层都使用了32个1*3的卷积核。数据帧的每一行都代表了不同的天线–标签对，虽然不同标签数据之间也存在一定的空间关联，但是不同的场景下这种空间关联很可能并不密切，甚至可以认为是不同的模态，而且单个标签本身RSS或相位的变化更能反映活动的特征。因而本发明在CNN子网络中并不考虑标签之间数据的关联，而是通过CNN子网络提取到抽象的局部特征后，利用全连接层学习整个窗口中不同标签之间的关联。
在一些示例中，CNN子网络中卷积核的步长均设为1，以寻找单个天线–标签对的RSS或相位数据在短时间内的局部特征。进一步地，CNN子网络还使用零填充保持输入和输出的形式一致。
在本实施例较佳的实施方式中，CNN子网络中没有使用池化操作，其它应用中池化层常在卷积层后降低数据维数以提高计算效率，但冗余性较小的RFID数据其数据量也较小，而且使用小窗口的池化也可能扭曲RFID数据的时间空间关系。
进一步地，CNN子网络中卷积层的输出都采用整流线性单元(rectified linearunit，ReLU)作为激活函数，防止梯度消失，加快网络收敛并缓解过拟合的发生。
步骤S13.基于长短期记忆网络构建活动序列标记器，并将所述泛化活动特征输入所述活动序列标记器以获取包含时序信息的活动概率。活动序列标记器能给出当前时刻各个活动的概率，不需要对数据流的显式分割。
具体的，利用LSTM构建RFID输入序列的时间依赖模型，把特征提取器获得的高层表达馈送到LSTM子网络从而提取跨模态的高层时序信息。然后将隐藏状态ht投影到一个低维空间中，并通过Softmax函数的归一化获得每个窗口对应各个活动的概率，t时刻对应第k个活动的概率可以表示如下：
Figure BDA0003131871930000071
其中，Wp和bp分别代表投影操作的权重和偏置，分母中的
Figure BDA0003131871930000072
代表所有可能活动的类别，k’表示第k’个活动，隐藏状态ht是LSTM每个单元的隐藏状态，用于将信息传递给下一个单元。
在本实施例较佳的实施方式中，采用交叉熵损失函数找到所有训练样本的最大似然性。优选的，构建一个包含64个存储单元的LSTM单层网络作为活动序列标记器，其输出可以直接使用Softmax分类器对每个窗口对应的活动进行初步的预测。
在本实施例较佳的实施方式中，为了准确识别活动，特征提取器提取的表达对于不同的活动需要尽可能的不同，两个域鉴别器的目标和识别活动的最终目标相反，需要同时考虑三个损失函数(序列标记器La，用户域鉴别器Lu和环境域鉴别器Le)，最终损失函数表示如下：
Lt(θfe,θsl,θud,θed)＝La(θfe,θsl)-λ1Lu(θfe,θud)-θ2La(θfe,θed)；
其中，θ1和λ2封闭用于平衡用户和环境的影响，优选的，λ1和λ2设置为3.5；并且，θfe,θsl,θud,θed分别代表特征提取器、序列标记器、用户域鉴别器和环境域鉴别器的参数。
在本实施例较佳的实施方式中，在训练过程中采用Dropout机制随机地丢弃一些输入以及所有相应的连接，使得模型具有更强的泛化性，有效防止过拟合。
在本实施例较佳的实施方式中，不仅考虑所有待识别的活动，还考虑“非活动状态”，这种状态对应所有未考虑的活动(包括不执行活动)，比如在交警手势数据集中，非活动状态可以表示两个连续手势之间的间隙。对应的，活动序列标记器能够输出每个窗口对应的各个手势和非手势状态的概率。
步骤S14.将所述活动概率输入活动预测器以预测识别所述活动序列。其中，活动预测器可选的有随机森林、神经网络(CNN、LSTM)、支持向量机(SVM)等等。在一些示例中，利用活动序列标记器给出的活动标签概率流，采用支持向量机分类器SVM作为活动预测器，而不是一个预定义的阈值，对于从某个活动开始时刻(非活动状态的概率不是最高的时刻，t0)到当前时刻t的活动标签概率流，计算所需特征量，进而进行活动预测。
在本实施例较佳的实施方式中，所述活动预测器包括支持向量机分类器；基于从活动开始时刻到当前时刻的活动概率，所述活动预测期计算多个特征量并基于此进行活动预测；其中所述特征量包括：当前时刻的归一化活动概率(t时刻的归一化活动概率)、活动开始时刻到当前时刻各个活动归一化概率的均值(从开始到t时刻各个活动归一化概率的均值)、活动开始时刻到当前时刻各个活动归一化概率的方差(从开始到t时刻各活动归一化概率的方差)、当前时刻的非活动状态的概率(t时刻的非活动状态的概率)和活动持续时间中的任一种或多种的组合。
其中，各特征量又具体表述如下：t时刻的归一化活动概率(不包括非活动状态)，该特征表示当前时刻除去非活动状态后各个活动的概率分布，在边界时刻通常非活动状态的概率较大，故而这里提取除非活动状态外的概率分布；从开始到t时刻各个活动归一化概率的均值(不包括非活动状态)，该特征表示整段样本中(从该活动被识别出的第一个时刻开始到当前时刻)除去非活动状态外的各个活动的平均概率，主要用来描述整段活动；从开始到t时刻各活动归一化概率的方差，该特征表示整段样本中各个活动预测在时间维度上的波动情况；t时刻的非活动状态的概率，表征没有执行活动的概率；活动持续时间，即输入样本的长度，持续时间越长则一般置信度越高。
本发明能够基于整个活动序列的信息进行推理，并能处理具有不同序列长度的样本以及未执行完的样本。随着RFID设备不断获取数据，本发明的活动序列标记器能得到活动标签概率流，当出现连续数次活动预测不为非活动状态时(通过最大值判定)，判断有一个活动开始执行，唤醒活动预测器，并开始在各个时间窗口产生活动预测；相反，当非当前活动状态的概率最高，并持续数个时间窗口时，判断当前的活动执行结束，活动预测器再次睡眠或进行下一次循环。
在一些实施方式中，所述方法可应用于控制器，所述电控单元例如为ARM(Advanced RISC Machines)控制器、FPGA(Field Programmable Gate Array)控制器、SoC(System on Chip)控制器、DSP(Digital Signal Processing)控制器、或者MCU(Microcontroller Unit)控制器等等。在一些实施方式中，所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其它输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。
实施例二
如图3所示，本实施例提出一种基于RFID的活动序列识别系统的结构示意图，其包括：数据获取及预处理模块31，用于获取活动序列的RFID数据流并预处理获取对应的RFID数据帧；特征提取模块32，基于卷积神经网络构建特征提取器，并通过条件对抗网络令所述特征提取器从所述RFID数据帧中提取出与环境和用户无关的泛化活动特征；活动概率获取模块33，基于长短期记忆网络构建活动序列标记器，并将所述泛化活动特征输入所述活动序列标记器以获取包含时序信息的活动概率；活动序列识别模块34，用于将所述活动概率输入活动预测器以预测识别所述活动序列。
如图4所示，本实施例还提出一种基于RFID射频标签的手势快速识别系统，包括数据采集器41、深度学习模块42、活动预测器43和输出模块44。其中，数据采集器41采集每个天线—标签对的RSS(Received Signal Strength，接收信号强度)和相位流，并在预处理之后将其划分为一系列窗口，即RFID数据帧，作为深度学习模块42的输入。深度学习模块42由多模态特征提取器421(FE)、活动序列标记器422(LSTMa)和两个域鉴别器(环境鉴别器423和用户鉴别器424，LSTMu和LSTMe)组成。通过对抗学习，特征提取器421将RFID数据帧映射为用户、环境无关的活动特征(表达)；活动序列标记器422对活动特征流的时序动态进行建模并输出一系列活动概率向量；而两个域鉴别器分别对执行活动的用户和环境进行分类。整体上深度学习模块42对活动时空特征的空间结构和时间动态建模，得到用户、环境无关的表达，并计算每个时间窗口对应的各个活动的概率。最后，活动预测器43以活动序列标记器422得到的概率向量的特征作为SVM(支持向量机)的输入，负延时地识别各个活动，输出模块44最终输出活动识别结果。
本实施例提出的基于RFID的活动序列系统在无需对数据进行预分割的前提下，利用深度学习技术直接挖掘RFID数据流中蕴含的长短时空关联特征，并结合SVM方法实现了对手势等动作活动的负延时识别，通过对抗学习提升框架的泛化能力和鲁棒性。
并且，本实施例提出的识别系统在交警手势数据集中达到了约99％的识别精度。交警手势数据集包含12种志愿者和RFID读写器天线的相对位置，分属3个环境各不相同的房间，以及8种手势。20个志愿者共10000条手势样本。本发明在手势执行50％时，任何手势识别的精确度和召回率都高于96.8％和98.0％，其均值均高于99.0％，而且随着手势的不断执行，最终平均精确度和召回率均高于99.5％。在跨参与者测试中，本发明在手势执行50％时的平均精确度和召回率分别高于96.1％和95.4％。而在跨环境测试中，本发明在手势执行50％时的平均精确度和召回率分别高于88.6％和86.7％。
本发明能及早且准确地识别活动(在交警手势数据集上对用户混合模型的召回率为98％，对用户独立模型的召回率为96％)。在一台笔记本(Intel i5-4200H2.80GHz双核CPU和GeForceGTX860m GPU上分别使用CPU和GPU预测从测试集中随机抽取的1000条手势样本后，本发明即使采用CPU，约50％的时间延迟也低于70ms，而最大的延迟也不超过180ms。数据集中每个手势持续时间约5s，180ms在其中的比例不到5％，相比于200ms长度的时间窗口(数据帧)，本发明能在下一帧数据到来之前完成预测。
大量实验证明了本发明提出的基于射频标签的手势快速识别系统的有效性和鲁棒性。本发明利用深度学习技术充分挖掘活动的内部和外部时序特征，结合SVM实现对活动的负延时识别，并通过对抗学习提升了框架的泛化能力，无需预分割就能对手势活动完成准确识别。
需要说明的是，本实施例提供的系统与实施例一中提供的方法、实施方式类似，故不再赘述。另外需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如特征提取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上特征提取模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于RFID的活动序列识别方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例四
如图5所示，本发明实施例提供一种电子终端的结构示意图。本实施例提供的电子终端，包括：处理器51、存储器52、通信器53；存储器52通过系统总线与处理器51和通信器53连接并完成相互间的通信，存储器52用于存储计算机程序，通信器53用于和其它设备进行通信，处理器51用于运行计算机程序，使电子终端执行如上基于RFID的活动序列识别方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其它设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明提供基于RFID的活动序列识别方法、系统、介质及终端，充分利用射频标签(RFID)的低层信号特征，利用CNN(卷积神经网络)提取局部特征，然后利用LSTM(长短期记忆网络)提取活动内部和活动之间的时序关系，有效地将孤立的RFID数据流转化为可以用于活动识别的有组织的高层表示，进而识别用户活动(如手势、跑步、走路、跌倒等人体活动)；利用对抗学习抑制了用户和环境相关的特征，提升活动识别系统对用户和环境的鲁棒性，具有出色的泛化能力；降低识别精度对感知数据预分割的依赖，在不预分析场景、不定义关键动作的前提下，建立具有上下文关系的活动序列模型，完成实时的活动识别，达到负延时和高精度的识别效果；解决了基于RFID的活动感知在智能环境中应用所面临的实际问题，为构建以人为本的普适计算应用提供了可靠的感知手段，诠释了基于RFID的无源感知的可靠性和巨大潜力。因此，本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于RFID的活动序列识别方法，其特征在于，包括：
获取活动序列的RFID数据流并预处理获取对应的RFID数据帧；
基于卷积神经网络构建特征提取器，并通过条件对抗网络令所述特征提取器从所述RFID数据帧中提取出与环境和用户无关的泛化活动特征；
基于长短期记忆网络构建活动序列标记器，并将所述泛化活动特征输入所述活动序列标记器以获取包含时序信息的活动概率；
将所述活动概率输入活动预测器以预测识别所述活动序列。
2.根据权利要求1所述的活动序列识别方法，其特征在于，所述RFID数据帧包括相位数据帧和接收信号强度数据帧；所述方法包括：
所述特征提取器包括两个独立的卷积神经子网络，分别从所述相位数据帧和所述接收信号强度数据帧中提取相位特征和接收信号强度特征；
合并所述相位特征和所述接收信号强度特征，并利用全连接层跨模态学习获取所述泛化活动特征。
3.根据权利要求1所述的活动序列识别方法，其特征在于，所述泛化活动特征的获取方式包括：
采用两个沿时域同时正反向运行的双向长短期记忆网络分别构建环境鉴别器和用户鉴别器；
基于所述环境鉴别器和用户鉴别器构建所述条件对抗网络；
基于所述条件对抗网络训练所述特征提取器以获取所述与环境和用户无关的泛化活动特征。
4.根据权利要求1所述的活动序列识别方法，其特征在于，所述活动概率的获取方式包括：
基于长短期记忆网络构建所述活动序列标记器；
将所述活动序列标记器中的每个单元的隐藏状态投影到低维空间中，并通过Softmax函数的归一化获得每个所述窗口对应各个活动的所述活动概率。
5.根据权利要求4所述的活动序列识别方法，其特征在于，所述活动序列标记器的训练方式包括：在训练过程中采用Dropout机制随机地丢弃一些输入以及所有相应的连接。
6.根据权利要求1所述的活动序列识别方法，其特征在于，所述RFID数据流包括相位数据流和接收信号强度数据流；所述RFID数据流的预处理方式包括：
经过Hampel滤波器消除所述RFID数据流的异常点，且对所述相位数据流进行解缠绕；并利用线性插值获得时域等间隔的数据流；
利用滑动窗口对所述时域等间隔的数据流进行分割以获取所述RFID数据帧，其中每个窗口对应一个数据帧。
7.根据权利要求1所述的活动序列识别方法，其特征在于，所述活动预测器包括支持向量机分类器；所述方法包括：
基于从活动开始时刻到当前时刻的活动概率，所述活动预测器计算多个特征量并基于此进行活动预测；
其中所述特征量包括：当前时刻的归一化活动概率、活动开始时刻到当前时刻各个活动归一化概率的均值、活动开始时刻到当前时刻各个活动归一化概率的方差、当前时刻的非活动状态的概率和活动持续时间中的任一种或多种的组合。
8.一种基于RFID的活动序列识别系统，其特征在于，包括：
数据获取及预处理模块，用于获取活动序列的RFID数据流并预处理获取对应的RFID数据帧；
特征提取模块，基于卷积神经网络构建特征提取器，并通过条件对抗网络令所述特征提取器从所述RFID数据帧中提取出与环境和用户无关的泛化活动特征；
活动概率获取模块，基于长短期记忆网络构建活动序列标记器，并将所述泛化活动特征输入所述活动序列标记器以获取包含时序信息的活动概率；
活动序列识别模块，用于将所述活动概率输入活动预测器以预测识别所述活动序列。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于RFID的活动序列识别方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述基于RFID的活动序列识别方法。
CN202110705245.4A 2021-06-24 2021-06-24 基于rfid的活动序列识别方法、系统、介质及终端 Pending CN113361450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110705245.4A CN113361450A (zh) 2021-06-24 2021-06-24 基于rfid的活动序列识别方法、系统、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110705245.4A CN113361450A (zh) 2021-06-24 2021-06-24 基于rfid的活动序列识别方法、系统、介质及终端

Publications (1)

Publication Number Publication Date
CN113361450A true CN113361450A (zh) 2021-09-07

Family

ID=77536214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110705245.4A Pending CN113361450A (zh) 2021-06-24 2021-06-24 基于rfid的活动序列识别方法、系统、介质及终端

Country Status (1)

Country Link
CN (1) CN113361450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435902A (zh) * 2023-12-20 2024-01-23 武汉华威科智能技术有限公司 一种基于机器学习确定rfid标签运动行为的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108272B1 (en) * 2017-05-30 2018-10-23 Motorola Mobility Llc Wearable device with gesture recognition module
CN112200146A (zh) * 2020-11-03 2021-01-08 常州百芝龙智慧科技有限公司 一种基于fmcw的手势识别的检测方法
CN112415510A (zh) * 2020-11-05 2021-02-26 深圳大学 双站雷达手势识别方法、装置、系统和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108272B1 (en) * 2017-05-30 2018-10-23 Motorola Mobility Llc Wearable device with gesture recognition module
CN112200146A (zh) * 2020-11-03 2021-01-08 常州百芝龙智慧科技有限公司 一种基于fmcw的手势识别的检测方法
CN112415510A (zh) * 2020-11-05 2021-02-26 深圳大学 双站雷达手势识别方法、装置、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YINGGANG YU ET AL.: ""RFID Based Real-time Recognition of ongoing Gesture with Adversarial Learning"", 《PROCEEDINGS OF THE 17TH CONFERENCE ON EMBEDDED NETWORKED SENSOR》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435902A (zh) * 2023-12-20 2024-01-23 武汉华威科智能技术有限公司 一种基于机器学习确定rfid标签运动行为的方法及装置
CN117435902B (zh) * 2023-12-20 2024-04-02 武汉华威科智能技术有限公司 一种基于机器学习确定rfid标签运动行为的方法及装置

Similar Documents

Publication Publication Date Title
Sun et al. Sequential human activity recognition based on deep convolutional network and extreme learning machine using wearable sensors
Minhas et al. Human action recognition using extreme learning machine based on visual vocabularies
US9001199B2 (en) System and method for human detection and counting using background modeling, HOG and Haar features
Tsai et al. Optical flow-motion history image (OF-MHI) for action recognition
Zeng et al. A hierarchical spatio-temporal graph convolutional neural network for anomaly detection in videos
Xi et al. Deep dilation on multimodality time series for human activity recognition
Xu et al. Learning multi-level features for sensor-based human action recognition
Vishwakarma et al. Integrated approach for human action recognition using edge spatial distribution, direction pixel and-transform
Fergani Evaluating C-SVM, CRF and LDA classification for daily activity recognition
Ahmed et al. Detection and classification of the behavior of people in an intelligent building by camera
Yu et al. Joint representation learning of appearance and motion for abnormal event detection
Xu et al. Multi-component transfer metric learning for handling unrelated source domain samples
Puertas et al. Generalized multi-scale stacked sequential learning for multi-class classification
CN114818989A (zh) 基于步态的行为识别方法、装置、终端设备及存储介质
CN113361450A (zh) 基于rfid的活动序列识别方法、系统、介质及终端
Meng et al. Recognizing heuman actions based on motion information and svm
Tian et al. Context and locality constrained linear coding for human action recognition
An et al. Weighted multi-view common subspace learning method
Gao et al. Multi-scale Convolution Transformer for Human Activity Detection
Kachuee et al. Context-aware feature query to improve the prediction performance
Sun et al. Method of analyzing and managing volleyball action by using action sensor of mobile device
Mathew et al. Human activity recognition using deep learning approaches and single frame cnn and convolutional lstm
Zhang et al. An Improved Deep Convolutional LSTM for Human Activity Recognition Using Wearable Sensors
Xie et al. Adaptive enhanced micro-expression spotting network based on multi-stage features extraction
Zhang et al. RFlow-ID: Unobtrusive workflow recognition with COTS RFID

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination