CN114724245A - 基于csi的增量学习人体动作识别方法 - Google Patents

基于csi的增量学习人体动作识别方法 Download PDF

Info

Publication number
CN114724245A
CN114724245A CN202210363676.1A CN202210363676A CN114724245A CN 114724245 A CN114724245 A CN 114724245A CN 202210363676 A CN202210363676 A CN 202210363676A CN 114724245 A CN114724245 A CN 114724245A
Authority
CN
China
Prior art keywords
action
sample
type
new
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210363676.1A
Other languages
English (en)
Other versions
CN114724245B (zh
Inventor
张勇
何飞
于光伟
武定超
王英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210363676.1A priority Critical patent/CN114724245B/zh
Publication of CN114724245A publication Critical patent/CN114724245A/zh
Application granted granted Critical
Publication of CN114724245B publication Critical patent/CN114724245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CSI的增量学习人体动作识别方法，其步骤包括：1、通过部署WIFI设备收集M+1个场景中的CSI动作样本；2、将时间信息添加到CSI动作样本上；3、利用数据增强方法为每类动作生成伪样本；4、利用增量学习模型完成跨场景的人体动作识别；5、更新的模型和内存集用于下一个新场景动作的学习。本发明能持续的学习不同场景下的人体动作，在保证较高识别精度的前提下降低对动作样本数量的需求。

Description

基于CSI的增量学习人体动作识别方法
技术领域
本发明属于无线通信技术领域，具体的说是一基于CSI的增量学习人体动作识别方法。
背景技术
人体动作识别在智能家居、手势识别、日常行为检测等领域获得了广阔的应用。与计算机视觉感知技术、红外感知技术以及专用传感器感知技术等相比，基于WiFi信号的人体动作识别技术具有不侵犯隐私、不受光线影响、成本低等优势，已成为人体动作识别领域热门方法之一。相比于RSSI，CSI具有更细的粒度和敏感度，能够感知到信道更微小的变化，因此它对呼吸、手势等幅度较小的动作具有更好的识别准确率。
跨环境的人体活动识别还存在以下问题需要解决：由于多径效应的影响，同一动作在不同场景中的CSI信号特征存在差别，当室内场景发生变化时，现有模型的识别精度明显下降甚至不能识别，需要重新采集CSI动作数据来训练模型。
目前，最接近的技术：针对上述问题，一些研究者使用迁移学习和小样本学习方法在一定程度上实现了模型的复用。专家学者们使用基于特征的、基于实例的或者基于共享参数的迁移学习方法，通过新场景的CSI人体动作数据调整旧场景的模型，使得模型适用新场景。
另外，小样本学习是解决这一问题的一种途径。典型的机器学习应用需要大量带有标签的样本，然而实际应用中很难获得足够数量的动作样本。小样本学习是机器学习的一种特殊情况，它的目标是在提供少量样本情况下获得良好的学习性能。先使用一部分人体动作样本预训练模型，然后将新场景的动作样本构成多个任务输入网络来更新模型参数。
综上所述，采用迁移学习方法或小样本学习方法的HAR模型虽然在新场景中依旧保持较高的准确率，但是迁移学习需要大量新场景下的动作样本微调模型，小样本学习方法在新动作的种类数量增多导致识别率明显降低。同时小样本学习和迁移学习方法在学习识别新动作后，新模型对原先的动作识别精度大幅下降，它只在当前场景下有效，无法实现持续的学习。这两类方法遗忘旧任务的原因在于：在新任务的训练中，网络中各个神经元之间的连接权重要针对新任务进行调整，这将改变适应旧任务的原有结构，导致在旧任务上的性能快速下降。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于CSI的增量学习人体动作识别方法，以期能在学习当前场景下动作后保持对已学场景下动作的识别精度，同时尽可能降低对当前场景下动作样本数量的需求，从而提升采集效率，增强模型的鲁棒性。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于CSI的增量学习人体动作识别方法的特点是按如下步骤进行：
步骤1、选定布局不同的M+1个室内场景分别记为(C0,C1,…,CM)，其中，C0为旧场景，(C1,…,Ci,…,CM)为新场景；Ci表示第i个新场景；M表示场景数；
在M+1个室内场景中分别部署一对WIFI收发设备，其中，使用路由器作为WIFI信号的发送设备，记为AP，使用无线网卡作为接收设备，记为RP，且路由器AP和无线网卡RP的间隔距离为l；
步骤2、在时间周期T内，分别在任一室内场景的采集点上做第s类动作，并使用所述接收设备RP以采样速率v连续采集所述发送设备AP发送的c个信道上的w个子载波信号，从而构成维度为c×w×T的三维CSI矩阵并分别作为相应室内场景中的一个动作样本，将所述三维CSI矩阵的每个元素与其对应的采集时刻相加，从而得到第s类动作的一个输入样本，以同一室内场景中第s类动作的n个输入样本构成对应室内场景中第s类动作的样本集Xs；
步骤3、按照步骤2的过程得到第i个新场景中的ti类动作样本集，并将M个新场景中所有动作的样本集按顺序排列为样本序列，其中，第i个新场景中的动作样本集在所述样本序列中对应的动作类别为ti-1+1～ti类动作；
按照步骤2的过程得到旧场景中的动作样本集；
步骤3、数据增强；
步骤3.1、基于所述样本序列中第s类动作样本集Xs的输入样本xs,a和xs,b，利用式(1)得到伪输入样本xs,c，并加入第s类动作样本集Xs中，从而得到第s类动作的新样本集X's；
xs,c＝ωxs,a+(1-ω)xs,b+n (1)
式(1)中，ω表示随机权重，且ω∈(0,1)，n表示高斯噪声；
步骤4、构建增量学习网络模型，包括：特征提取器模块和最近邻分类器模块；
步骤4.1、所述特征提取器模块使用e个卷积单元和一个平均池化层；所述卷积单元由卷积层、批归一化层、relu激活函数层依次构成；
所述最近邻分类器模块使用激活函数为sigmoid的全连接层；
步骤4.2、第s类动作的新样本集X's输入所述特征提取器模块中，并依次经过e个卷积单元和一个平均池化层的处理后，输出特征矩阵Fs＝{fs,1,…,fs,j,…,fs,n}，其中，fs,j表示第s类动作的新样本集X's中第j个样本的特征向量；
第s类动作的新样本集X's中第j个样本的特征向量fs,j经过最近邻分类器模块的处理后，输出向量
Figure BDA0003584948650000021
其中，
Figure BDA0003584948650000022
表示将第s类动作的新样本集X's中第j个样本识别为第y类动作的概率值；
步骤4.3、初始化i＝1，基于旧场景C0中的动作样本集，初始化所述增量学习网络模型的网络参数θ，并得到预训练模型Modeli-1；
将第i个新场景中的动作样本集的动作种类序号记为(ti-1+1,…,u…ti)，则前i-1个新场景中的动作种类序号记为(1,…,v…,ti-1)，当i＝1时，令ti-1＝0；
将第i个新场景中的动作样本集输入增量学习网络模型，并按照步骤4.2的过程进行处理，同时利用式(1)损失函数li(θ)更新网络参数θ，得到前i个新场景(C1,…,Ci)中动作类别的训练模型Modeli；
Figure BDA0003584948650000031
式(1)中，
Figure BDA0003584948650000032
为第u类动作的第j个输入样本属于第y类动作的真实概率，
Figure BDA0003584948650000033
为训练模型Modeli将第u类动作的第j个输入样本识别为第y类动作的概率；
步骤4.4、创建训练模型Modeli对应的内存集Pi；
步骤4.4.1、利用式(2)得到第u类动作的类平均向量μu：
Figure BDA0003584948650000034
式(2)中，xu,j为第u类动作的第j个输入样本，
Figure BDA0003584948650000035
为特征提取器模块训练的特征提取函数；
步骤4.4.2、利用式(3)计算第u类动作的新样本集X'u中第k个最接近类平均向量μu的样本pu,k：
Figure BDA0003584948650000036
式(3)中，pu,j表示第u类动作的新样本集X'u中第j个最接近类平均向量μu的样本；
步骤4.4.3、按照步骤4.4.2的过程选取前mi＝K/ti个最接近类平均向量μu的样本依次加入到内存集Pi中，K表示Pi能存储的样本总数量；
步骤4.5、将i+1赋值给i后，执行步骤4.6；
步骤4.6、将第i个新场景中的动作样本集和内存集Pi-1输入训练模型Modeli-1中，基于内存集Pi-1中每个动作样本按照步骤4.2的过程对训练模型Modeli-1进行训练，并输出特征向量{Q1,1,…,Q1,n…,Qv,j…,Qt,n}；其中，Qv,j表示内存集Pi-1中第v类动作的第j个输入样本的特征向量，且
Figure BDA0003584948650000037
其中，
Figure BDA0003584948650000038
表示将第v类动作的第j个输入样本识别为第y类动作的概率值；
基于第i个新场景中的动作样本集和内存集Pi-1按照步骤4.2的过程对训练模型Modeli-1进行训练，同时利用式(3)所示的损失函数li(θ)更新网络参数θ，得到前i个新场景(C1,…,Ci)中动作类别的训练模型Modeli；
Figure BDA0003584948650000041
式(3)中，
Figure BDA0003584948650000042
为训练模型Modeli将第u类动作的第j个输入样本识别为第y类动作的概率；
Figure BDA0003584948650000043
为第v类动作的第j个输入样本属于第y类动作的真实概率；
步骤4.7、判断i>M是否成立，若成立，则表示得到用于识别M个新场景动作类别的训练模型并作为最终的人体动作识别模型，否则，返回步骤4.5。
与现有技术相比，本发明的有益效果在于：
1、本发明采用基于回放增量学习的方法，为每类学习过的动作保留一部分最具该类特征的样本用做下次训练，使得模型在持续学习当前新场景下的人体动作后，对已学场景的人体动作依旧保持较高的识别精度，同时在识别新动作时只需要5个样本用于训练从而降低对样本数量的需求，提高采集和训练效率；
2、CSI是具有时间序列的数据，本发明给CSI动作样本添加时间信息来提高不同动作之间的特征差异，添加时间信息后模型的识别精度平均提升5％；
3、本发明提出一种适应CSI幅值样本的数据增强方法，采用真实样本生成伪样本，并为之添加高斯噪声提高鲁棒性，从而减少了识别新动作所需的样本数。
附图说明
图1是本发明增量学习的实现流程图；
图2是本发明基于CSI的增量学习人体动作识别方法的结构图；
图3是本发明数据增强的示意图；
图4是本发明在持续学习新场景后的精度效果图；
图5是本发明使用时间信息前后识别精度的对比图；
图6是本发明使用数据增强前后识别精度的对比图。
具体实施方式
本实施例中，图1为增量学习的实现流程图，如图2所示，一种基于CSI的增量学习人体动作识别方法是按如下步骤进行：
步骤1、选定布局不同的M+1个室内场景分别记为(C0,C1,…,CM)，其中，C0为旧场景，(C1,…,Ci,…,CM)为新场景；Ci表示第i个新场景；M表示场景数；
在M+1个室内场景中分别部署一对WIFI收发设备，其中，使用路由器作为WIFI信号的发送设备，记为AP，使用无线网卡作为接收设备，记为RP，且路由器AP和无线网卡RP的间隔距离为l；AP采用TL-WDR6500路由器，RP采用Intel 5300网卡；
步骤2、在时间周期T内，分别在任一室内场景的采集点上做第s类动作，并使用接收设备RP以采样速率v连续采集发送设备AP发送的c个信道上的w个子载波信号，从而构成维度为c×w×T的三维CSI矩阵并分别作为相应室内场景中的一个动作样本，将三维CSI矩阵的每个元素与其对应的采集时刻相加，从而得到第s类动作的一个输入样本，以同一室内场景中第s类动作的n个输入样本构成对应室内场景中第s类动作的样本集Xs；为了避免采样时刻值过大影响实际的动作样本值，将采样时刻值输入正弦函数后再与对应矩阵中的每个元素相加；
步骤3、按照步骤2的过程得到第i个新场景中的ti类动作样本集，并将M个新场景中所有动作的样本集按顺序排列为样本序列，其中，第i个新场景中的动作样本集在样本序列中对应的动作类别为ti-1+1～ti类动作；
按照步骤2的过程得到旧场景中的动作样本集；
步骤3、数据增强；
步骤3.1、基于样本序列中第s类动作样本集Xs的输入样本xs,a和xs,b，利用式(1)得到伪输入样本xs,c，并加入第s类动作样本集Xs中，从而得到第s类动作的新样本集X's；伪输入样本的产生过程如图3所示；每类动作的新样本集只用于训练模型，用于测试的动作样本不进行数据增强；
xs,c＝ωxs,a+(1-ω)xs,b+n (1)
式(1)中，ω表示随机权重，且ω∈(0,1)，n表示高斯噪声；
步骤4、构建增量学习网络模型，包括：特征提取器模块和最近邻分类器模块；
步骤4.1、特征提取器模块使用e个卷积单元和一个平均池化层；卷积单元由卷积层、批归一化层、relu激活函数层依次构成；
最近邻分类器模块使用激活函数为sigmoid的全连接层；
步骤4.2、第s类动作的新样本集X's输入特征提取器模块中，并依次经过e个卷积单元和一个平均池化层的处理后，输出特征矩阵Fs＝{fs,1,…,fs,j,…,fs,n}，其中，fs,j表示第s类动作的新样本集X's中第j个样本的特征向量；
第s类动作的新样本集X's中第j个样本的特征向量fs,j经过最近邻分类器模块的处理后，输出向量
Figure BDA0003584948650000061
其中，
Figure BDA0003584948650000062
表示将第s类动作的新样本集X's中第j个样本识别为第y类动作的概率值；
步骤4.3、初始化i＝1，基于旧场景C0中的动作样本集，初始化增量学习网络模型的网络参数θ，并得到预训练模型Modeli-1；使用旧场景C0中的动作样本集初始化模型的网络参数，有助于提升模型性能，加速网络收敛；
将第i个新场景中的动作样本集的动作种类序号记为(ti-1+1,…,u…ti)，则前i-1个新场景中的动作种类序号记为(1,…,v…,ti-1)，当i＝1时，令ti-1＝0；
将第i个新场景中的动作样本集输入增量学习网络模型，并按照步骤4.2的过程进行处理，同时利用式(1)损失函数li(θ)更新网络参数θ，得到前i个新场景(C1,…,Ci)中动作类别的训练模型Modeli；
Figure BDA0003584948650000063
式(1)中，
Figure BDA0003584948650000064
为第u类动作的第j个输入样本属于第y类动作的真实概率，
Figure BDA0003584948650000065
为训练模型Modeli将第u类动作的第j个输入样本识别为第y类动作的概率；
步骤4.4、创建训练模型Modeli对应的内存集Pi；
步骤4.4.1、利用式(2)得到第u类动作的类平均向量μu：
Figure BDA0003584948650000066
式(2)中，xu,j为第u类动作的第j个输入样本，
Figure BDA0003584948650000067
为特征提取器模块训练的特征提取函数；
步骤4.4.2、利用式(3)计算第u类动作的新样本集X'u中第k个最接近类平均向量μu的样本pu,k：
Figure BDA0003584948650000068
式(3)中，pu,j表示第u类动作的新样本集X'u中第j个最接近类平均向量μu的样本；
步骤4.4.3、按照步骤4.4.2的过程选取前mi＝K/ti个最接近类平均向量μu的样本依次加入到内存集Pi中，K表示Pi能存储的样本总数量；K是常数，由硬件系统的存储量决定，随着学习的场景数增多，内存集Pi中每类动作的样本数量将会逐渐减少；
步骤4.5、将i+1赋值给i后，执行步骤4.6；
步骤4.6、将第i个新场景中的动作样本集和内存集Pi-1输入训练模型Modeli-1中，基于内存集Pi-1中每个动作样本按照步骤4.2的过程对训练模型Modeli-1进行训练，并输出特征向量{Q1,1,…,Q1,n…,Qv,j…,Qt,n}；其中，Qv,j表示内存集Pi-1中第v类动作的第j个输入样本的特征向量，且
Figure BDA0003584948650000071
其中，
Figure BDA0003584948650000072
表示将第v类动作的第j个输入样本识别为第y类动作的概率值；保存模型Modeli-1对于内存集中每个样本的输出向量，有助于当前训练的Modeli保存对前i-1个新场景中动作的记忆，从而实现既能学习新动作，又尽量不遗忘已学动作；
基于第i个新场景中的动作样本集和内存集Pi-1按照步骤4.2的过程对模型Modeli-1进行训练，同时利用式(3)所示的损失函数li(θ)更新网络参数θ，得到前i个新场景(C1,…,Ci)中动作类别的训练模型Modeli；将Modeli-1作为预训练模型，一方面加速网络的收敛速度，另一方面尽可能保留对已学动作的记忆；
Figure BDA0003584948650000073
式(3)中，
Figure BDA0003584948650000074
为训练模型Modeli将第u类动作的第j个输入样本识别为第y类动作的概率；
Figure BDA0003584948650000075
为第v类动作的第j个输入样本属于第y类动作的真实概率；
步骤4.7、判断i>M是否成立，若成立，则表示得到用于识别M个新场景动作类别的训练模型并作为最终的人体动作识别模型，否则，返回步骤4.5。
下面结合实验对本发明的应用效果作详细的描述。
实验条件：为了验证所提出系统的性能，在4个场景中测试了它的性能。分别是家庭环境(5m×5m)、实验室1环境(8m×9m)、实验室2环境(7m×7m)和大厅环境(10m×10m)。AP采用TL-WDR6500路由器，RP采用Intel 5300网卡，AP和RP分别有2根发射天线和3根接收天线。传输频率为5Ghz。同时，将采样率设置为每秒100包，接收到的CSI数据格式为2×3×30。在一台配备英特尔i7-10800 CPU和NVIDIA RTX 3080 GPU的计算机上进行所有实验。
实验一：持续学习新场景对精度的影响；
为了验证算法的有效性，本发明设计了以下实验。一共持续学习4个场景(来自SignFi的家庭和实验室、自制数据集的实验室和大厅)，分别记为第1、2、3、4场景，在4个场景下设置3个对照组(a、b、c)分别学习9、5、3、3，10、6、3、4和8、5、4、4类动作，且每个动作均提供5个样本。实验结果如图4所示，每次学习类别数量的减少会降低识别精度，但是在学习完第四个场景后3组实验的本发明对所有场景下的动作识别精度仍然保持在80.7％以上，这说明在实际应用中它对每个场景下的动作类别数具有较好的鲁棒性。
实验二：时间信息对识别精度的影响；
为了测试时间信息的作用和信息频率对性能的影响，我们设计了以下实验。。本发明持续学习4次，每次学习8类动作各5个样本，实验分为添加时间信息和不添加时间信息组，图5展示了在SignFi手势数据集第4次学习后对所有学过动作的平均准确率。由图5可知，在不添加时间信息的情况下，模型的识别精度在手势数据集和身体动作数据集上的精度分别下降了5.8％和4.5％，因此添加时间信息有助于提高系统性能。
实验三：数据增强对识别精度的影响；
为了验证数据增强的有效性，我们设计了以下实验。本发明使SignFi手势数据集持续学习5次各5类动作，分为两组每类5和8个样本，不进行数据增强的本发明作为两组对照。图6展示了在每次学习后模型对所有学过动作的平均准确率。由图6可知，模型在每类动作5个和8个样本的情况下使用数据增强对动作的识别精度分别提升了10％和2％左右，在样本数量较少时数据增强的效果更加明显。同时系统使用数据增强后每类只需要5个实际样本就可达到原先8个实际样本的性能，因此我们使用数据增强生成的伪样本是可以充当实际样本进行训练的，对于提升模型识别精度和减少训练所需样本数量具有良好效果。

Claims (1)

1.一种基于CSI的增量学习人体动作识别方法，其特征是按如下步骤进行：
步骤1、选定布局不同的M+1个室内场景分别记为(C0，C1，...，CM)，其中，C0为旧场景，(C1，...，Ci，...，CM)为新场景；Ci表示第i个新场景；M表示场景数；
在M+1个室内场景中分别部署一对WIFI收发设备，其中，使用路由器作为WIFI信号的发送设备，记为AP，使用无线网卡作为接收设备，记为RP，且路由器AP和无线网卡RP的间隔距离为l；
步骤2、在时间周期T内，分别在任一室内场景的采集点上做第s类动作，并使用所述接收设备RP以采样速率v连续采集所述发送设备AP发送的c个信道上的w个子载波信号，从而构成维度为c×w×T的三维CSI矩阵并分别作为相应室内场景中的一个动作样本，将所述三维CSI矩阵的每个元素与其对应的采集时刻相加，从而得到第s类动作的一个输入样本，以同一室内场景中第s类动作的n个输入样本构成对应室内场景中第s类动作的样本集Xs；
步骤3、按照步骤2的过程得到第i个新场景中的ti类动作样本集，并将M个新场景中所有动作的样本集按顺序排列为样本序列，其中，第i个新场景中的动作样本集在所述样本序列中对应的动作类别为ti-1+1～ti类动作；
按照步骤2的过程得到旧场景中的动作样本集；
步骤3、数据增强；
步骤3.1、基于所述样本序列中第s类动作样本集Xs的输入样本xs，a和xs，b，利用式(1)得到伪输入样本xs，c，并加入第s类动作样本集Xs中，从而得到第s类动作的新样本集X′s；
xs，c＝ωxs，a+(1-ω)xs，b+n (1)
式(1)中，ω表示随机权重，且ω∈(0，1)，n表示高斯噪声；
步骤4、构建增量学习网络模型，包括：特征提取器模块和最近邻分类器模块；
步骤4.1、所述特征提取器模块使用e个卷积单元和一个平均池化层；所述卷积单元由卷积层、批归一化层、relu激活函数层依次构成；
所述最近邻分类器模块使用激活函数为sigmoid的全连接层；
步骤4.2、第s类动作的新样本集X′s输入所述特征提取器模块中，并依次经过e个卷积单元和一个平均池化层的处理后，输出特征矩阵Fs＝{fs，1，...，fs，j，...，fs，n}，其中，fs，j表示第s类动作的新样本集X′s中第j个样本的特征向量；
第s类动作的新样本集X′s中第j个样本的特征向量fs，j经过最近邻分类器模块的处理后，输出向量
Figure FDA0003584948640000011
其中，
Figure FDA0003584948640000012
表示将第s类动作的新样本集X′s中第j个样本识别为第y类动作的概率值；
步骤4.3、初始化i＝1，基于旧场景C0中的动作样本集，初始化所述增量学习网络模型的网络参数θ，并得到预训练模型Modeli-1；
将第i个新场景中的动作样本集的动作种类序号记为(ti-1+1，...，u...ti)，则前i-1个新场景中的动作种类序号记为(1，...，v...，ti-1)，当i＝1时，令ti-1＝0；
将第i个新场景中的动作样本集输入增量学习网络模型，并按照步骤4.2的过程进行处理，同时利用式(1)损失函数li(θ)更新网络参数θ，得到前i个新场景(C1，...，Ci)中动作类别的训练模型Modeli；
Figure FDA0003584948640000021
式(1)中，
Figure FDA0003584948640000022
为第u类动作的第j个输入样本属于第y类动作的真实概率，
Figure FDA0003584948640000023
为训练模型Modeli将第u类动作的第j个输入样本识别为第y类动作的概率；
步骤4.4、创建训练模型Modeli对应的内存集Pi；
步骤4.4.1、利用式(2)得到第u类动作的类平均向量μu：
Figure FDA0003584948640000024
式(2)中，xu，j为第u类动作的第j个输入样本，
Figure FDA0003584948640000025
为特征提取器模块训练的特征提取函数；
步骤4.4.2、利用式(3)计算第u类动作的新样本集X′u中第k个最接近类平均向量μu的样本pu，k：
Figure FDA0003584948640000026
式(3)中，pu，j表示第u类动作的新样本集X′u中第j个最接近类平均向量μu的样本；
步骤4.4.3、按照步骤4.4.2的过程选取前mi＝K/ti个最接近类平均向量μu的样本依次加入到内存集Pi中，K表示Pi能存储的样本总数量；
步骤4.5、将i+1赋值给i后，执行步骤4.6；
步骤4.6、将第i个新场景中的动作样本集和内存集Pi-1输入训练模型Modeli-1中，基于内存集Pi-1中每个动作样本按照步骤4.2的过程对训练模型Modeli-1进行训练，并输出特征向量{Q1，1，...，Q1，n...，Qv，j...，Qt，n}；其中，Qv，j表示内存集Pi-1中第v类动作的第j个输入样本的特征向量，且
Figure FDA0003584948640000027
其中，
Figure FDA0003584948640000028
表示将第v类动作的第j个输入样本识别为第y类动作的概率值；
基于第i个新场景中的动作样本集和内存集Pi-1按照步骤4.2的过程对训练模型Modeli-1进行训练，同时利用式(3)所示的损失函数li(θ)更新网络参数θ，得到前i个新场景(C1，...，Ci)中动作类别的训练模型Modeli；
Figure FDA0003584948640000031
式(3)中，
Figure FDA0003584948640000032
为训练模型Modeli将第u类动作的第j个输入样本识别为第y类动作的概率；
Figure FDA0003584948640000033
为第v类动作的第j个输入样本属于第y类动作的真实概率；
步骤4.7、判断i＞M是否成立，若成立，则表示得到用于识别M个新场景动作类别的训练模型并作为最终的人体动作识别模型，否则，返回步骤4.5。
CN202210363676.1A 2022-04-07 2022-04-07 基于csi的增量学习人体动作识别方法 Active CN114724245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210363676.1A CN114724245B (zh) 2022-04-07 2022-04-07 基于csi的增量学习人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210363676.1A CN114724245B (zh) 2022-04-07 2022-04-07 基于csi的增量学习人体动作识别方法

Publications (2)

Publication Number Publication Date
CN114724245A true CN114724245A (zh) 2022-07-08
CN114724245B CN114724245B (zh) 2024-02-20

Family

ID=82241565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210363676.1A Active CN114724245B (zh) 2022-04-07 2022-04-07 基于csi的增量学习人体动作识别方法

Country Status (1)

Country Link
CN (1) CN114724245B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116415152A (zh) * 2023-04-21 2023-07-11 河南大学 用于人体动作识别的基于扩散模型的自监督对比学习方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248471A1 (zh) * 2019-06-14 2020-12-17 华南理工大学 一种基于集聚交叉熵损失函数的序列识别方法
CN113033407A (zh) * 2021-03-26 2021-06-25 北京理工大学 一种利用智能音箱的非接触式健身监测方法
CN113642457A (zh) * 2021-08-12 2021-11-12 合肥工业大学 一种基于对抗式元学习的跨场景人体动作识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248471A1 (zh) * 2019-06-14 2020-12-17 华南理工大学 一种基于集聚交叉熵损失函数的序列识别方法
CN113033407A (zh) * 2021-03-26 2021-06-25 北京理工大学 一种利用智能音箱的非接触式健身监测方法
CN113642457A (zh) * 2021-08-12 2021-11-12 合肥工业大学 一种基于对抗式元学习的跨场景人体动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宏男;吴立珍;牛轶峰;王菖;: "面向无人机小样本目标识别的元学习方法研究", 无人系统技术, no. 06, 15 November 2019 (2019-11-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116415152A (zh) * 2023-04-21 2023-07-11 河南大学 用于人体动作识别的基于扩散模型的自监督对比学习方法
CN116415152B (zh) * 2023-04-21 2024-05-24 河南大学 用于人体动作识别的基于扩散模型的自监督对比学习方法

Also Published As

Publication number Publication date
CN114724245B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN111476219B (zh) 智能家居环境中图像目标检测方法
CN113688723B (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN109379153B (zh) 一种频谱感知方法
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN114019467B (zh) 一种基于MobileNet模型迁移学习的雷达信号识别与定位方法
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN111401261B (zh) 基于gan-cnn框架的机器人手势识别方法
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN111580058A (zh) 基于多尺度卷积神经网络的雷达hrrp目标识别方法
CN111050294A (zh) 一种基于深度神经网络的室内定位系统及方法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN114724245A (zh) 基于csi的增量学习人体动作识别方法
CN113537120B (zh) 基于复数坐标注意力的复数卷积神经网络的目标识别方法
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
CN118245795A (zh) 一种干扰信号检测模型训练方法、系统及应用方法、系统
CN113743317A (zh) 基于生成对抗网络的车牌图片生成方法、介质和设备
CN113343924B (zh) 一种基于循环谱特征和生成对抗网络的调制信号识别方法
CN114998725B (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN115270891A (zh) 一种信号对抗样本的生成方法、装置、设备及存储介质
CN114119382A (zh) 一种基于注意力生成对抗网络的图像去雨滴方法
CN110991366A (zh) 一种基于三维残差网络的航运监控事件识别方法及系统
CN112946682B (zh) 一种高准确率高敏捷性的水下激光目标识别仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant