CN114676727A - 一种基于csi的与位置无关的人体活动识别方法 - Google Patents

一种基于csi的与位置无关的人体活动识别方法 Download PDF

Info

Publication number
CN114676727A
CN114676727A CN202210277079.7A CN202210277079A CN114676727A CN 114676727 A CN114676727 A CN 114676727A CN 202210277079 A CN202210277079 A CN 202210277079A CN 114676727 A CN114676727 A CN 114676727A
Authority
CN
China
Prior art keywords
task
training
data
class
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210277079.7A
Other languages
English (en)
Other versions
CN114676727B (zh
Inventor
张勇
程安东
于光伟
殷雨晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210277079.7A priority Critical patent/CN114676727B/zh
Publication of CN114676727A publication Critical patent/CN114676727A/zh
Application granted granted Critical
Publication of CN114676727B publication Critical patent/CN114676727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CSI的位置无关的人体活动识别方法，包括：1、在室内利用CSI信号采集若干位置的动作样本，每个位置下包含若干种动作种类；2、利用小波变换对样本去噪，并提取幅度值作为样本数据；3、将样本表示为隐藏表示，利用层次图神经网络对隐藏表示构建样本结构信息，类结构信息以及位置结构信息，用于对隐藏表示的数据增广；4、将每个位置下对动作的分类表示为一个多类分类任务，利用多任务学习选取若干个位置的数据用于训练，训练出分类模型；5、最后，使用训练好的模型对非训练位置上的数据进行测试分类。本发明利用WiFi‑CSI在有限的位置和样本的情况下就能以较高的精度实现对室内任意位置的动作识别。

Description

一种基于CSI的与位置无关的人体活动识别方法
技术领域
本发明属于无线通信技术领域，具体的说是一种基于多任务图神经网络的位置无关动作识别技术。
背景技术
近年来，人体动作识别在医疗、娱乐、智能家居等领域起着重要的作用。人体动作识别系统采用了不同的技术，如基于可穿戴传感器、雷达、计算机视觉等。由于人体所做动作可以通过Wifi信号来捕获，因此基于Wifi的动作识别引起了人们的关注。与其他人体动作识别技术相比，基于WiFi的技术具有成本低、无需穿戴设备、不会涉及隐私问题等优势。
WiFi信号包括接收信号强度信息(RSSI)和信道状态信息(CSI)。RSSI广泛应用于基于WiFi的人体动作识别，它是多个信号路径的聚合信号强度，具有简单性和低硬件要求的优势，但它只是无线信道的粗略表示。而CSI信号可以从子载波中提取更丰富的多径信息，CSI以物理层为基础，描述了信道的幅度和相位特性，能够更好地反映细粒度的信道信息。
当人类在采集动作时所处位置发生变化时，由于在接收器产生的多径叠加信号不同，所采集的WiFi信号也不相同。因此，基于CSI的人体动作识别中面临着一个系统泛化性能的问题，即位置泛化能力。系统的位置泛化能力体现在位置变化后无需重新训练仍然可以保持较高的分类准确率。在实际应用中，人类做动作时所处的位置并不固定，而现有的方法或模型大都是在固定的位置下做动作。这在实际应用中具有一定的局限性。一个直接的方案是对所有位置采集活动样本来进行训练。然而这需要的耗费大量时间与精力，所需成本太高。因此需要一个泛化能力强的系统，该系统只需少量样本或无需样本就能识别任意位置动作的系统。
目前，解决该问题的技术体现在两个方面。一方面，研究员通过将动作信号单独提取出来以降低位置变化所带来的影响，从而减少所需样本的数量。例如研究员通过从信号中提取出的一种与环境无关的动作信号BVP，开发了一个跨域手势识别系统Widar3.0；也有通过利用降秩和稀疏分解算法将手势信号从背景信息中分离出来的手势识别系统；还有通过在手势识别中引入多视图概念来获取与目标位置和方向无关的特征，从而实现手势和信号特征一对一映射的方法。然而，这些方法具有局限性，包括容易受到遮挡和方向等因素的影响、可识别的面积范围小等。另一方面是通过迁移学习或者元学习的方法来减少目标位置所需样本的数量。首先研究员通过有限的位置采集的数据样本进行训练，然后利用迁移学习的方法将模型迁移至目标位置，只利用少量样本即可实现对目标位置动作的识别；或者利用基于度量的元学习的方法，利用有限位置的数据样本训练后，通过少量的支持集来对目标位置的动作进行识别。然而，这两种方法仍旧需要目标位置的少量样本，具有一定的局限性。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出了一种基于多任务学习层次图神经网络的位置无关动作识别系统，以期能在有限位置的动作样本作为训练集的情况下实现对室内任意位置的动作的识别，从而能减少对室内任意位置动作识别时所需的样本数量。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于CSI的与位置无关的人体活动识别方法的特点是按如下步骤进行：
步骤1、选取室内空间的一块矩形区域；在所述矩形区域的外侧使用路由器作为WIFI信号的发送设备，记为AP，并使用网卡作为接收设备，记为RP；
步骤2、将矩形区域均匀划分为m块，并在每一块的中心点的位置设定为一个标定点，从而共得到m个标定点；在非标定点的位置上随机选取n个点作为测试点；
步骤3、在第r个标定点上人体执行b种动作，并使用所述接收设备RP以采样速率v连续u次采集所述发送设备AP发送的不同信道上的WIFI信号，从而构成第r个标定点的CSI数据，进而得到在m个标定点在执行b种动作下的CSI数据，r∈[1,m]；
步骤4、将第r个标定点的CSI数据中每个动作每次所采集的若干个信道的WIFI信号的幅度值求和后取平均值，得到单信道的CSI数据，再利用小波变换对单信道的CSI数据进行去噪处理，得到去噪后的CSI数据，将去噪后的CSI数据的幅度值作为模型的数据样本；
步骤5、在m个标定点中选取z个标定点进行b种动作的分类作为z个分类任务，其中，任意第i个训练任务的数据集Di由数据样本以及所对应的动作类别标签组成，即
Figure BDA0003556261750000021
其中，
Figure BDA0003556261750000022
表示第i个训练任务的数据集Di中第j个数据样本，
Figure BDA0003556261750000023
表示第j个数据样本
Figure BDA0003556261750000024
的动作类别标签，
Figure BDA0003556261750000025
ni表示第i个训练任务的数据样本的数量，i∈[1,z]；
步骤6、利用式(1)得到第i个标定点的第j个数据样本
Figure BDA0003556261750000026
的隐藏表示
Figure BDA0003556261750000027
从而构建z个标定点的数据样本的隐藏表示：
Figure BDA0003556261750000028
式(1)中，σs(·)是激活函数，
Figure BDA0003556261750000029
是所有训练任务之间的两个共享参数；
步骤7、利用层次图神经网络对所述隐藏表示构建数据样本的结构信息、类结构信息以及位置结构信息，用于隐藏表示的数据增广；
步骤7.1、利用式(2)构建第i个训练任务内的图神经网络Hi，从而构建出z个训练任务内的图神经网络：
Figure BDA0003556261750000031
式(2)中，σh(·)是激活函数，Xi表示第i个训练任务的数据样本集合，且
Figure BDA0003556261750000032
表示第i个训练任务的隐藏表示集合，且
Figure BDA0003556261750000033
Figure BDA0003556261750000034
表示第i个标定点的第j个数据样本
Figure BDA0003556261750000035
的隐藏表示，I表示参数向量，
Figure BDA0003556261750000036
和
Figure BDA0003556261750000037
是第i个训练任务内的图神经网络Hi的两个参数，Ai是第i个训练任务的邻接矩阵，并利用式(3)得到所述邻接矩阵Ai中第j行第l列的数据项
Figure BDA0003556261750000038
Figure BDA0003556261750000039
式(3)中，
Figure BDA00035562617500000310
表示第i个标定点的第l个数据样本
Figure BDA00035562617500000311
的隐藏表示；
Figure BDA00035562617500000312
表示第l个数据样本
Figure BDA00035562617500000313
的动作类别标签；
步骤7.2、基于任务内图神经网络，利用式(4)得到第i个训练任务内的任务嵌入
Figure BDA00035562617500000314
从而构建出z个训练任务的z个任务嵌入：
Figure BDA00035562617500000315
式(4)中，
Figure BDA00035562617500000316
表示第i个训练任务内的图神经网络Hi中的第l个数据；
步骤7.3、利用式(5)计算第i个训练任务内的任务嵌入
Figure BDA00035562617500000317
和第j个训练任务内的任务嵌入
Figure BDA00035562617500000318
间的任务注意系数
Figure BDA00035562617500000319
Figure BDA00035562617500000320
式(5)中，a(·,·)是余弦函数，W是权重变换矩阵；
步骤7.4、使用softmax函数对任务注意系数
Figure BDA00035562617500000321
进行归一化，得到归一化后的任务注意系数
Figure BDA00035562617500000322
步骤7.5、利用式(6)更新第i个训练任务内的任务嵌入
Figure BDA0003556261750000041
得到更新后的任务嵌入
Figure BDA0003556261750000042
从而得到更新后的z个训练任务内的任务嵌入：
Figure BDA0003556261750000043
式(6)中，σ为激活函数；
步骤7.6、利用式(2)得到第i个训练任务内另一个相同的图神经网络，记为
Figure BDA0003556261750000044
步骤7.7、基于另一个相同的图神经网络
Figure BDA0003556261750000045
利用式(7)得到第i个训练任务内第j类的类嵌入
Figure BDA0003556261750000046
从而构建出z个训练任务的z×b个类嵌入：
Figure BDA0003556261750000047
式(7)中，
Figure BDA0003556261750000048
表示第i个训练任务任务内图神经网络
Figure BDA0003556261750000049
的第j类数据中的第l个数据；
步骤7.8、利用式(8)计算第j个类嵌入
Figure BDA00035562617500000410
和第l个类嵌入
Figure BDA00035562617500000411
间的类注意系数
Figure BDA00035562617500000412
Figure BDA00035562617500000422
步骤7.9、使用softmax函数对类注意系数
Figure BDA00035562617500000413
进行归一化，得到归一化后的类注意系数
Figure BDA00035562617500000414
步骤7.10、利用式(9)更新第i个训练任务内的类嵌入
Figure BDA00035562617500000415
得到更新后的类嵌入
Figure BDA00035562617500000416
从而得到z个训练任务更新后的z×b个类嵌入：
Figure BDA00035562617500000417
步骤7.11、利用式(10)对第i个标定点的第l个数据样本
Figure BDA00035562617500000418
的隐藏表示
Figure BDA00035562617500000419
进行数据扩充，从而得到扩充后的隐藏表示
Figure BDA00035562617500000420
Figure BDA00035562617500000421
式(10)中，(·，·，·)表示串联操作；
步骤8、将t×b×u个经过扩充后的隐藏表示送入多任务学习模型训练学习，其中每种动作下u个CSI数据中的部分CSI数据所对应的扩充后的隐藏表示作为训练集Ttrain，令一部分CSI数据所对应的扩充后的隐藏表示作为测试集Ttest；
步骤8.2、按照步骤7.1～步骤7.10的过程对所述训练集Ttrain进行处理，得到更新后的训练任务嵌入和训练类嵌入；
步骤8.3、使用测试集Ttest，在每个任务中，利用更新后的训练任务嵌入和训练类嵌入对测试集Ttest进行softmax函数处理，得到测试集Ttest中每个隐藏表示分别属于每种动作类别的概率，从而将最大概率所对应的动作类别作为相应隐藏表示的预测动作；根据测试集Ttest中每个隐藏表示的预测动作与实际动作，构建每个隐藏表示的交叉熵损失函数；从而将所有隐藏表示的交叉熵损失函数之和作为总损失函数；
步骤8.5、基于测试集Ttest，使用AD函数和反向传播算法对所述层次图神经网络进行训练，并计算所述总损失函数；若总损失函数值大于阈值时，则调整学习率，并返回步骤8.2顺序执行；否则停止训练，并得到最优层次图神经网络；
步骤9、利用最优层次图神经网络对z个标定点以外的m-z个标定点和n个测试点上所获取的b种动作下的CSI数据进行分类预测，从而得到动作识别结果。
与现有技术相比，本发明的有益效果在于：
1、本发明提出了一种全新的架构解决位置无关的动作识别的问题，提出了一种构建样本隐藏表示的方法来增强样本的表达能力，并结合多任务学习构成了一个有效的学习机制，实现了用室内有限位置的样本训练即可对任意位置动作进行识别的效果，节省了开销和成本；
2、本发明与现有的方法基于样本结构信息、类结构信息以及位置结构信息相互独立的假设不同，本发明提出样本中的这些结构信息是相互关联的，并通过层次图神经网络的方法将这些结构信息联系起来，达到减少了所需样本的目的。
3、本发明通过多任务学习的方式来使不同位置各个标定点的关系信息得到充分的关联和利用。相关联的任务通过共享信息，相互补充，可以提升彼此的表现，从而达到增强模型位置泛化能力的目的。
附图说明
图1是本发明的系统结构图；
图2是本发明的模型结构图；
图3a是客厅采集动作时所处位置平面图；
图3b是会议室采集动作时所处位置平面图；
图4是本发明在7个位置点训练的情况下客厅和会议室的分类准确率；
图5是本发明的训练标定点个数对分类准确率的影响图。
具体实施方式
本实施例中，图1为整个系统的结构图，图2是系统模型图。如图1和图2所示，一种基于多任务学习层次图神经网络的位置无关动作识别方法是按如下步骤进行：
步骤1、选取室内空间的一块矩形区域；在矩形区域的外侧使用路由器作为WIFI信号的发送设备，记为AP，并使用网卡作为接收设备，记为RP；
本实施例中，AP采用TL-WDR6500路由器，RP采用Intel 5300网卡，AP和RP分别有2根发射天线和3根接收天线；
步骤2、将矩形区域均匀划分为m块，并在每一块的中心点的位置设定为一个标定点，从而共得到m个标定点；在非标定点的位置上随机选取n个点作为测试点；
本实施例中，将矩形区域均匀划分为16块，共得到16个标定点；在非标定点的位置上随机选取5个点作为测试点；
步骤3、在第r个标定点上人体执行b种动作，并使用接收设备RP以采样速率v连续u次采集发送设备AP发送的不同信道上的WIFI信号，从而构成第r个标定点的CSI数据，进而得到在m个标定点在执行b种动作下的CSI数据，r∈[1,m]；
本实施例中，人体执行6种动作，每种动作连续采集10次。采样率为每秒100包，在一台配备英特尔i9-9700KCPU和NVIDIAGeForce 3080GPU的计算机上进行。
步骤4、将第r个标定点的CSI数据中每个动作每次所采集的若干个信道的WIFI信号的幅度值求和后取平均值，得到单信道的CSI数据，再利用小波变换对单信道的CSI数据进行去噪处理，得到去噪后的CSI数据，将去噪后的CSI数据的幅度值作为模型的数据样本；
本实施例中，小波变换处理时选用sym8小波对信号进行5层分解，并对细节系数选用sure阈值模式和尺度噪声。
步骤5、在m个标定点中选取z个标定点进行b种动作的分类作为z个分类任务，其中，任意第i个训练任务的数据集Di由数据样本以及所对应的动作类别标签组成，即
Figure BDA0003556261750000061
其中，
Figure BDA0003556261750000062
表示第i个训练任务的数据集Di中第j个数据样本，
Figure BDA0003556261750000063
表示第j个数据样本
Figure BDA0003556261750000064
的动作类别标签，
Figure BDA0003556261750000065
ni表示第i个训练任务的数据样本的数量，i∈[1,z]；
本实施例中，在16个标定点中选取7个标定点进行6种动作的分类作为7个分类任务。
步骤6、利用式(1)得到第i个标定点的第j个数据样本
Figure BDA0003556261750000066
的隐藏表示
Figure BDA0003556261750000067
从而构建z个标定点的数据样本的隐藏表示：
Figure BDA0003556261750000071
式(1)中，σs(·)是激活函数，
Figure BDA0003556261750000072
是所有训练任务之间的两个共享参数；
本实施例中，构建了7个标定点的数据样本的隐藏表示。
步骤7、利用层次图神经网络对隐藏表示构建数据样本的结构信息、类结构信息以及位置结构信息，用于隐藏表示的数据增广；
步骤7.1、利用式(2)构建第i个训练任务内的图神经网络Hi，从而构建出z个训练任务内的图神经网络：
Figure BDA0003556261750000073
式(2)中，σh(·)是激活函数，Xi表示第i个训练任务的数据样本集合，且
Figure BDA0003556261750000074
表示第i个训练任务的隐藏表示集合，且
Figure BDA0003556261750000075
Figure BDA0003556261750000076
表示第i个标定点的第j个数据样本
Figure BDA0003556261750000077
的隐藏表示，I表示参数向量，
Figure BDA0003556261750000078
和
Figure BDA0003556261750000079
是第i个训练任务内的图神经网络Hi的两个参数，Ai是第i个训练任务的邻接矩阵，并利用式(3)得到邻接矩阵Ai中第j行第l列的数据项
Figure BDA00035562617500000710
Figure BDA00035562617500000711
式(3)中，
Figure BDA00035562617500000712
表示第i个标定点的第l个数据样本
Figure BDA00035562617500000713
的隐藏表示；
Figure BDA00035562617500000714
表示第l个数据样本
Figure BDA00035562617500000715
的动作类别标签；
本实施例中，构建了7个训练任务内的图神经网络。
步骤7.2、基于任务内图神经网络，利用式(4)得到第i个训练任务内的任务嵌入
Figure BDA00035562617500000716
从而构建出z个训练任务的z个任务嵌入：
Figure BDA00035562617500000717
式(4)中，
Figure BDA00035562617500000718
表示第i个训练任务内的图神经网络Hi数据中的第l个数据；
本实施例中，构建了7个训练任务的7个任务嵌入。
步骤7.3、利用式(5)计算第i个训练任务内的任务嵌入
Figure BDA00035562617500000719
和第j个训练任务内的任务嵌入
Figure BDA0003556261750000081
间的任务注意系数
Figure BDA0003556261750000082
Figure BDA0003556261750000083
式(5)中，a(·,·)是余弦函数，W是权重变换矩阵；
步骤7.4、使用softmax函数对任务注意系数
Figure BDA0003556261750000084
进行归一化，得到归一化后的任务注意系数
Figure BDA0003556261750000085
步骤7.5、利用式(6)更新第i个训练任务内的任务嵌入
Figure BDA0003556261750000086
得到更新后的任务嵌入
Figure BDA0003556261750000087
从而得到更新后的z个训练任务内的任务嵌入：
Figure BDA0003556261750000088
式(6)中，σ为激活函数；
本实施例中得到更新后的7个训练任务内的任务嵌入。
步骤7.6、利用式(2)得到第i个训练任务内另一个相同的图神经网络，记为
Figure BDA0003556261750000089
步骤7.7、基于另一个相同的图神经网络
Figure BDA00035562617500000810
利用式(7)得到第i个训练任务内第j类的类嵌入
Figure BDA00035562617500000811
从而构建出z个训练任务的z×b个类嵌入：
Figure BDA00035562617500000812
式(7)中，
Figure BDA00035562617500000813
表示第i个训练任务任务内图神经网络
Figure BDA00035562617500000814
的第j类的数据中的第l个数据；
本实施例中，构建了7个训练任务的42个类嵌入。
步骤7.8、利用式(8)计算第j个类嵌入
Figure BDA00035562617500000815
和第l个类嵌入
Figure BDA00035562617500000816
间的类注意系数
Figure BDA00035562617500000817
Figure BDA00035562617500000818
步骤7.9、使用softmax函数对类注意系数
Figure BDA00035562617500000819
进行归一化，得到归一化后的类注意系数
Figure BDA00035562617500000820
步骤7.10、利用式(9)更新第i个训练任务内的类嵌入
Figure BDA00035562617500000821
得到更新后的类嵌入
Figure BDA00035562617500000822
从而得到z个训练任务更新后的z×b个类嵌入：
Figure BDA00035562617500000823
本实施例中得到7个训练任务更新后的42个任务嵌入。
步骤7.11、利用式(10)对第i个标定点的第l个数据样本
Figure BDA0003556261750000091
的隐藏表示
Figure BDA0003556261750000092
进行数据扩充，从而得到扩充后的隐藏表示
Figure BDA0003556261750000093
Figure BDA0003556261750000094
式(10)中，(·，·，·)表示串联操作；
步骤8、将t×b×u个经过扩充后的隐藏表示送入多任务学习模型训练学习，其中每种动作下u个CSI数据中的部分CSI数据所对应的扩充后的隐藏表示作为训练集Ttrain，令一部分CSI数据所对应的扩充后的隐藏表示作为测试集Ttest；
本实施例中将420个经过扩充后的隐藏表示送入多任务学习模型训练学习，其中每种动作下10个CSI数据中的7个CSI数据所对应的扩充后的隐藏表示作为训练集Ttrain，3个CSI数据所对应的扩充后的隐藏表示作为测试集Ttest；
步骤8.2、按照步骤7.1～步骤7.10的过程对训练集Ttrain进行处理，得到更新后的训练任务嵌入和训练类嵌入；
步骤8.3、使用测试集Ttest，在每个任务中，利用更新后的训练任务嵌入和训练类嵌入对测试集Ttest进行softmax函数处理，得到测试集Ttest中每个隐藏表示分别属于每种动作类别的概率，从而将最大概率所对应的动作类别作为相应隐藏表示的预测动作；根据测试集Ttest中每个隐藏表示的预测动作与实际动作，构建每个隐藏表示的交叉熵损失函数；从而将所有隐藏表示的交叉熵损失函数之和作为总损失函数；
步骤8.5、基于测试集Ttest，使用AD函数利用反向传播算法对层次图神经网络进行训练，并计算总损失函数；若总损失函数值大于阈值时，则调整学习率，并返回步骤8.2顺序执行；否则停止训练，并得到最优层次图神经网络；
步骤9、利用最优层次图神经网络对z个标定点以外的m-z个标定点和n个测试点上所获取的b种动作下的CSI数据进行分类预测，从而得到动作识别结果。
本实施例中，利用最优层次图神经网络对7个标定点以外的9个标定点和5个测试点上所获取的6种动作下的CSI数据进行分类预测。
下面结合实验对本发明的应用效果作详细的描述。
实验条件：为了验证所提出系统的性能，在两个场景中测试了它的性能。一个是客厅，面积为7m×7m，另一个是会议室，尺寸为10m×10m，在每个场景采集21个位置的样本，其中16个位置是有规则均匀排列的，称为标定点，5个位置是随机采集的，如图3a和图3b所示，白色为均匀点，黑色为随机采集的点。随机选择7个标定点用于训练，剩余的9个标定点以及随机采集的5个位置用于测试。AP采用TL-WDR6500路由器，RP采用Intel 5300网卡，AP和RP分别有2根发射天线和3根接收天线。传输频率为5Ghz。同时，将采样率设置为每秒100包，接收到的CSI数据格式为1000x3x30。在一台配备英特尔i9-9700K CPU和NVIDIAGeForce3080GPU的计算机上进行所有实验。为了衡量系统的性能，将考虑以下指标：
(1)精确度(Accuracy Ratio)：动作分类精确度为Ac＝v/g，其中g为测试的样本数，v为分类正确的样本数；
实验一：两个场景的分类情况；
为了验证算法的有效性和鲁棒性，在两个场景下分别进行了动作分类实验。首先定义标定点的标号，如图3a和图3b所示，把RP端的左侧第一个标定点定义为1，按照从左往右、从下往上的顺序依次为2、3、4、5、6、7、8、9、10、11、12、13、14、15、16。在两个场景中，都选择2、4、7、9、11、12、14七个标定点作为训练点，剩余的9个标定点以及随机采集的5个位置作为测试点，其中每个标定点下以及随机采的5个位置下都各有6种动作，每种动作有10个样本，且不同的标定点以及随机采的5个位置之间的动作种类相同。经过实验验证，两个场景的分类准确率如图4所示，其中客厅场景下分类准确率为93.96％，会议室场景下准确率为92.65％。
实验二：不同训练标定点个数对分类准确率的影响；为了在尽可能少的训练标定点数和尽可能高的预测精度之间找到最佳的标定点数目，分别实验了15、10、7、5、4和3个标定点用于训练的最终分类结果。训练选择的标定点标号以及测试点标号如表1所示：
表1
Figure BDA0003556261750000111
其中测试点除了表1所示的之外，还包括随机采集的5个位置。在客厅的环境中进行了实验，实验结果如图5所示。三个标定点用于训练时系统动作识别准确率最低，为45.83％，15个标定点用于训练时系统动作识别准确率最高，为96.16％，准确率随用于训练的标定点个数的增长而增长，且7个标定点用于训练时动作识别准确率就已达到90％以上。

Claims (1)

1.一种基于CSI的与位置无关的人体活动识别方法，其特征是按如下步骤进行：
步骤1、选取室内空间的一块矩形区域；在所述矩形区域的外侧使用路由器作为WIFI信号的发送设备，记为AP，并使用网卡作为接收设备，记为RP；
步骤2、将矩形区域均匀划分为m块，并在每一块的中心点的位置设定为一个标定点，从而共得到m个标定点；在非标定点的位置上随机选取n个点作为测试点；
步骤3、在第r个标定点上人体执行b种动作，并使用所述接收设备RP以采样速率v连续u次采集所述发送设备AP发送的不同信道上的WIFI信号，从而构成第r个标定点的CSI数据，进而得到在m个标定点在执行b种动作下的CSI数据，r∈[1,m]；
步骤4、将第r个标定点的CSI数据中每个动作每次所采集的若干个信道的WIFI信号的幅度值求和后取平均值，得到单信道的CSI数据，再利用小波变换对单信道的CSI数据进行去噪处理，得到去噪后的CSI数据，将去噪后的CSI数据的幅度值作为模型的数据样本；
步骤5、在m个标定点中选取z个标定点进行b种动作的分类作为z个分类任务，其中，任意第i个训练任务的数据集Di由数据样本以及所对应的动作类别标签组成，即
Figure FDA0003556261740000011
其中，
Figure FDA0003556261740000012
表示第i个训练任务的数据集Di中第j个数据样本，
Figure FDA0003556261740000013
表示第j个数据样本
Figure FDA0003556261740000014
的动作类别标签，
Figure FDA0003556261740000015
ni表示第i个训练任务的数据样本的数量，i∈[1,z]；
步骤6、利用式(1)得到第i个标定点的第j个数据样本
Figure FDA0003556261740000016
的隐藏表示
Figure FDA0003556261740000017
从而构建z个标定点的数据样本的隐藏表示：
Figure FDA0003556261740000018
式(1)中，σs(·)是激活函数，
Figure FDA0003556261740000019
是所有训练任务之间的两个共享参数；
步骤7、利用层次图神经网络对所述隐藏表示构建数据样本的结构信息、类结构信息以及位置结构信息，用于隐藏表示的数据增广；
步骤7.1、利用式(2)构建第i个训练任务内的图神经网络Hi，从而构建出z个训练任务内的图神经网络：
Figure FDA00035562617400000110
式(2)中，σh(·)是激活函数，Xi表示第i个训练任务的数据样本集合，且
Figure FDA0003556261740000021
Figure FDA0003556261740000022
表示第i个训练任务的隐藏表示集合，且
Figure FDA0003556261740000023
Figure FDA0003556261740000024
表示第i个标定点的第j个数据样本
Figure FDA0003556261740000025
的隐藏表示，I表示参数向量，
Figure FDA0003556261740000026
和
Figure FDA0003556261740000027
是第i个训练任务内的图神经网络Hi的两个参数，Ai是第i个训练任务的邻接矩阵，并利用式(3)得到所述邻接矩阵Ai中第j行第l列的数据项
Figure FDA0003556261740000028
Figure FDA0003556261740000029
式(3)中，
Figure FDA00035562617400000210
表示第i个标定点的第l个数据样本
Figure FDA00035562617400000211
的隐藏表示；
Figure FDA00035562617400000212
表示第l个数据样本
Figure FDA00035562617400000213
的动作类别标签；
步骤7.2、基于任务内图神经网络，利用式(4)得到第i个训练任务内的任务嵌入
Figure FDA00035562617400000214
从而构建出z个训练任务的z个任务嵌入：
Figure FDA00035562617400000215
式(4)中，
Figure FDA00035562617400000216
表示第i个训练任务内的图神经网络Hi中的第l个数据；
步骤7.3、利用式(5)计算第i个训练任务内的任务嵌入
Figure FDA00035562617400000217
和第j个训练任务内的任务嵌入
Figure FDA00035562617400000218
间的任务注意系数
Figure FDA00035562617400000219
Figure FDA00035562617400000220
式(5)中，a(·,·)是余弦函数，W是权重变换矩阵；
步骤7.4、使用softmax函数对任务注意系数
Figure FDA00035562617400000221
进行归一化，得到归一化后的任务注意系数
Figure FDA00035562617400000222
步骤7.5、利用式(6)更新第i个训练任务内的任务嵌入
Figure FDA00035562617400000223
得到更新后的任务嵌入
Figure FDA00035562617400000224
从而得到更新后的z个训练任务内的任务嵌入：
Figure FDA00035562617400000225
式(6)中，σ为激活函数；
步骤7.6、利用式(2)得到第i个训练任务内另一个相同的图神经网络，记为
Figure FDA0003556261740000031
步骤7.7、基于另一个相同的图神经网络
Figure FDA0003556261740000032
利用式(7)得到第i个训练任务内第j类的类嵌入
Figure FDA0003556261740000033
从而构建出z个训练任务的z×b个类嵌入：
Figure FDA0003556261740000034
式(7)中，
Figure FDA0003556261740000035
表示第i个训练任务任务内图神经网络
Figure FDA0003556261740000036
的第j类数据中的第l个数据；
步骤7.8、利用式(8)计算第j个类嵌入
Figure FDA0003556261740000037
和第l个类嵌入
Figure FDA0003556261740000038
间的类注意系数
Figure FDA0003556261740000039
Figure FDA00035562617400000310
步骤7.9、使用softmax函数对类注意系数
Figure FDA00035562617400000311
进行归一化，得到归一化后的类注意系数
Figure FDA00035562617400000312
步骤7.10、利用式(9)更新第i个训练任务内的类嵌入
Figure FDA00035562617400000313
得到更新后的类嵌入
Figure FDA00035562617400000314
从而得到z个训练任务更新后的z×b个类嵌入：
Figure FDA00035562617400000315
步骤7.11、利用式(10)对第i个标定点的第l个数据样本
Figure FDA00035562617400000316
的隐藏表示
Figure FDA00035562617400000317
进行数据扩充，从而得到扩充后的隐藏表示
Figure FDA00035562617400000318
Figure FDA00035562617400000319
式(10)中，(·，·，·)表示串联操作；
步骤8、将t×b×u个经过扩充后的隐藏表示送入多任务学习模型训练学习，其中每种动作下u个CSI数据中的部分CSI数据所对应的扩充后的隐藏表示作为训练集Ttrain，令一部分CSI数据所对应的扩充后的隐藏表示作为测试集Ttest；
步骤8.2、按照步骤7.1～步骤7.10的过程对所述训练集Ttrain进行处理，得到更新后的训练任务嵌入和训练类嵌入；
步骤8.3、使用测试集Ttest，在每个任务中，利用更新后的训练任务嵌入和训练类嵌入对测试集Ttest进行softmax函数处理，得到测试集Ttest中每个隐藏表示分别属于每种动作类别的概率，从而将最大概率所对应的动作类别作为相应隐藏表示的预测动作；根据测试集Ttest中每个隐藏表示的预测动作与实际动作，构建每个隐藏表示的交叉熵损失函数；从而将所有隐藏表示的交叉熵损失函数之和作为总损失函数；
步骤8.5、基于测试集Ttest，使用AD函数和反向传播算法对所述层次图神经网络进行训练，并计算所述总损失函数；若总损失函数值大于阈值时，则调整学习率，并返回步骤8.2顺序执行；否则停止训练，并得到最优层次图神经网络；
步骤9、利用最优层次图神经网络对z个标定点以外的m-z个标定点和n个测试点上所获取的b种动作下的CSI数据进行分类预测，从而得到动作识别结果。
CN202210277079.7A 2022-03-21 2022-03-21 一种基于csi的与位置无关的人体活动识别方法 Active CN114676727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210277079.7A CN114676727B (zh) 2022-03-21 2022-03-21 一种基于csi的与位置无关的人体活动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210277079.7A CN114676727B (zh) 2022-03-21 2022-03-21 一种基于csi的与位置无关的人体活动识别方法

Publications (2)

Publication Number Publication Date
CN114676727A true CN114676727A (zh) 2022-06-28
CN114676727B CN114676727B (zh) 2024-02-20

Family

ID=82075297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210277079.7A Active CN114676727B (zh) 2022-03-21 2022-03-21 一种基于csi的与位置无关的人体活动识别方法

Country Status (1)

Country Link
CN (1) CN114676727B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115438691A (zh) * 2022-08-16 2022-12-06 山东科技大学 一种基于无线信号的小样本手势识别方法
CN116434334A (zh) * 2023-03-28 2023-07-14 湖南工商大学 一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033636A1 (zh) * 2017-08-16 2019-02-21 哈尔滨工业大学深圳研究生院 基于最小化损失学习的不平衡样本分类方法
CN112101184A (zh) * 2020-09-11 2020-12-18 电子科技大学 一种基于半监督学习的无线跨域动作识别方法
CN112364689A (zh) * 2020-10-09 2021-02-12 天津大学 基于cnn与雷达图像的人体动作与身份多任务识别方法
WO2021160189A1 (zh) * 2020-02-14 2021-08-19 重庆邮电大学 WiFi干扰环境下的CSI人体跌倒识别方法
CN113822350A (zh) * 2021-09-14 2021-12-21 南京邮电大学 一种基于多任务学习的无设备人员动作识别和位置估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033636A1 (zh) * 2017-08-16 2019-02-21 哈尔滨工业大学深圳研究生院 基于最小化损失学习的不平衡样本分类方法
WO2021160189A1 (zh) * 2020-02-14 2021-08-19 重庆邮电大学 WiFi干扰环境下的CSI人体跌倒识别方法
CN112101184A (zh) * 2020-09-11 2020-12-18 电子科技大学 一种基于半监督学习的无线跨域动作识别方法
CN112364689A (zh) * 2020-10-09 2021-02-12 天津大学 基于cnn与雷达图像的人体动作与身份多任务识别方法
CN113822350A (zh) * 2021-09-14 2021-12-21 南京邮电大学 一种基于多任务学习的无设备人员动作识别和位置估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王博威;潘宗序;胡玉新;马闻;: "少量样本下基于孪生CNN的SAR目标识别", 雷达科学与技术, no. 06, 15 December 2019 (2019-12-15) *
郝占军;段渝;党小超;曹渊;: "基于信道状态信息的人体复杂动作识别方法", 计算机工程, no. 01, 15 January 2020 (2020-01-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115438691A (zh) * 2022-08-16 2022-12-06 山东科技大学 一种基于无线信号的小样本手势识别方法
CN116434334A (zh) * 2023-03-28 2023-07-14 湖南工商大学 一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质
CN116434334B (zh) * 2023-03-28 2024-02-06 湖南工商大学 一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN114676727B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
Hsieh et al. Deep learning-based indoor localization using received signal strength and channel state information
CN114676727B (zh) 一种基于csi的与位置无关的人体活动识别方法
CN112036433B (zh) 一种基于CNN的Wi-Move行为感知方法
Zhang et al. WiFi-based cross-domain gesture recognition via modified prototypical networks
Huang et al. An accurate and efficient device-free localization approach based on sparse coding in subspace
Ding et al. Device-free location-independent human activity recognition using transfer learning based on CNN
Xia et al. Person identification with millimeter-wave radar in realistic smart home scenarios
CN114423034B (zh) 一种室内人员动作识别方法、系统、介质、设备及终端
Wang et al. Multi-classification of UWB signal propagation channels based on one-dimensional wavelet packet analysis and CNN
CN111901028B (zh) 一种基于多天线上csi的人体行为识别方法
CN112040397A (zh) 一种基于自适应卡尔曼滤波的csi室内指纹定位方法
CN113033654A (zh) 基于WiFi信道状态信息的室内入侵检测方法及系统
CN111918388A (zh) 基于深度可分离卷积的csi指纹被动式定位方法
CN114581958B (zh) 一种基于csi信号到达角估计的静态人体姿势估计方法
CN114781463A (zh) 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备
CN115908547A (zh) 一种基于深度学习的无线定位方法
CN114639169B (zh) 基于注意力机制特征融合与位置无关的人体动作识别系统
Zhong et al. A climate adaptation device-free sensing approach for target recognition in foliage environments
CN117390544A (zh) 基于蜣螂优化-开集差分分布对齐的未知雷达波形识别方法
CN114724245B (zh) 基于csi的增量学习人体动作识别方法
CN117221816A (zh) 一种基于Wavelet-CNN的多建筑楼层定位方法
Wu et al. Device-free human activity recognition with identity-based transfer mechanism
CN113642457B (zh) 一种基于对抗式元学习的跨场景人体动作识别方法
CN115830705A (zh) 一种基于WiFi信道状态信息成像的人体动作识别方法、系统、设备及可读存储介质
CN115002703A (zh) 一种基于Wi-Fi信道状态信息的被动式室内人数检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant