CN112883905A - 基于粗粒度时频特征与多层级融合学习的人体行为识别方法 - Google Patents

基于粗粒度时频特征与多层级融合学习的人体行为识别方法 Download PDF

Info

Publication number
CN112883905A
CN112883905A CN202110274189.3A CN202110274189A CN112883905A CN 112883905 A CN112883905 A CN 112883905A CN 202110274189 A CN202110274189 A CN 202110274189A CN 112883905 A CN112883905 A CN 112883905A
Authority
CN
China
Prior art keywords
coarse
grained
model
signal
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110274189.3A
Other languages
English (en)
Other versions
CN112883905B (zh
Inventor
陈静
黄新宇
江灏
缪希仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110274189.3A priority Critical patent/CN112883905B/zh
Publication of CN112883905A publication Critical patent/CN112883905A/zh
Application granted granted Critical
Publication of CN112883905B publication Critical patent/CN112883905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于粗粒度时频特征与多层级融合学习的人体行为识别方法，一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，包括以下步骤：步骤S1：搭建基于粗粒度信号的被动式人体行为识别系统；步骤S2：采集人体不同行为下的粗粒度信号数据；步骤S3：进行样本集构造与信号预处理；步骤S4：构造基于粗粒度信号的人体行为浅层特征向量；步骤S5：构建深度学习模型；步骤S6：构建集成学习模型；步骤S7：利用传感信号序列实现行为的识别；本发明能够丰富被动式人体行为识别的技术手段和提升基于粗粒度信号的相近行为间的识别准确率。

Description

基于粗粒度时频特征与多层级融合学习的人体行为识别方法
技术领域
本发明涉及人体行为识别技术领域，特别是一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法。
背景技术
近年来，物联网技术与人工智能的高速发展促进了人与物、物与物之间的相互“沟通”，极大的改善了人类的生活方式。人体行为识别(Human Behavior Recognition,HBR)技术作为物联网智能化的研究热点之一，可为智能化和人性化人机交互服务的实现提供技术支撑，在智能家居、智能保健、助老助残等方面具有广阔的应用前景。例如，在智能保健方面，人们长时间静坐于电脑前会使人处于亚健康状态，通过对这种行为的识别，可为其健康状况提供预警。在人体行为识别技术领域，常用的技术主要分为基于视觉、基于可穿戴传感以及基于无线技术的人体行为识别三个方向。相比于基于视觉和基于可穿戴传感的方法，基于无线技术的人体行为识别方法具有保护隐私、无需使用者携带设备等优势。WiFi作为无线信号的一种，随着WiFi的广泛普及，利用WiFi进行人体行为的识别具有硬件成本低、消耗功率较小等优势。在基于WiFi人体行为识别方法中，可采用的信号主要分为信道状态信息(Channel State Information，CSI)和接收信号强度指示(Receive Signal StrengthIndication,RSSI)。CSI来自OFDM系统下解码的子载波，是一种细粒度的物理信息(属于PHY层)，采用CSI具有较高的人体行为识别精度，然而支持CSI提取的无线网卡仅有少数几款。RSSI是对接收端无线电信号功率的测量，是一种粗粒度信息(属于MAC层)，相比于CSI，RSSI可从几乎所有的WiFi中测量得到。
采用WiFi信号的时频特征进行被动式的人体行为识别，硬件实现方式较为简单、造价成本低、具有广阔的应用前景。传统的基于WiFi信号的人体行为识别方法，特别是采用粗粒度信号，往往对于一些具有相近模式的行为难以实现较高精度的识别。
发明内容
有鉴于此，本发明的目的是提供一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，弥补了传统技术的不足，该方法采用深度门控循环网络对WiFi粗粒度信号的时域频域特征进行二次特征提取，相比于浅层特征，深度学习特征对行为的表征更强。并在此基础上，使用集成学习算法对深度特征进行分类预测，提升相近行为间的识别准确率。
本发明采用以下方案实现：一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，包括以下步骤：
步骤S1：搭建基于粗粒度信号的被动式人体行为识别传感系统；
步骤S2：采集人体不同行为下的粗粒度信号数据；
步骤S3：进行样本集构造与信号预处理；
步骤S4：构造基于粗粒度信号的人体行为浅层特征向量；
步骤S5：构建深度学习模型；
步骤S6：构建集成学习模型；
步骤S7：利用传感信号序列实现行为的识别。
进一步地，所述步骤S1的具体内容为：所述步骤S1的具体内容为：构建的传感系统包括n个WiFi路由器和一个服务器；在室内环境中离地面1.5m处随机分散部署n个WiFi路由器作为传感节点；n个传感节点之间相互感知，共构成了N，N＝n×(n-1)条粗粒度信号感知链路；各传感节点在j时刻通过UDP通讯将各链路的粗粒度信号发送至服务器中，每次传输得一个n×(n-1)的一维粗粒度信号矩阵记作
Figure BDA0002975716450000031
传感系统不断接收粗粒度信号矩阵，形成粗粒度信号流。
进一步地，所述步骤S2的具体内容为：在室内环境中，让测试对象处于已部署的传感环境中，做出不同的动作，所做的动作包括静坐、行走、平躺在床、平躺在地、站立、下蹲或跑步，共计A个；在数据采集过程中，测试对象需要在房间的不同位置做出相应动作，每次动作的持续时间为T，传感系统的数据采集频率为f，动作a在第k次采集的粗粒度信号流记为rk a；设每个动作的采集次数为K，则对动作a采集的数据合为一类，记为ra；
Figure BDA0002975716450000032
上式中，rj表示在j(1≤j≤T·f)时刻传感系统的采集数据，T·f表示信号采集的序列长度；同时根据动作种类给采集的数据集建立标签不同的动作对应的标签分别采用0、1、2……A表示。
进一步地，所述步骤S3的具体内容为：采用滑动窗口方法对采集的粗粒度信号流进行切割，取窗口大小为W，步长为1，得到动作a的第s个样本记为as，对于动作a，经过滑窗切割的总样本数为KTf-W+1；
Figure BDA0002975716450000041
对窗口大小W内各条感知链路的粗粒度信号进行离散小波系数重构滤除噪声和异常的RSSI测量和规范化处理即归一化操作使每个链路的权值相等，用以消除不同链路之间的硬件差异。
进一步地，对窗口大小W内各条感知链路的粗粒度信号进行离散小波系数重构滤除噪声和异常的RSSI测量的具体内容为：
对样本as的每一列，通过离散小波系数重构方法滤除噪声和异常的RSSI测量；将样本as的每一个列向量通过离散小波变换分解为各个分量，包括原始信号在J层分解的近似分量AJ(t)及其在第j＝0,1...,J层分解的细节分量Dj(t)，按照软阈值法对各个分量进行降噪，最后叠加各个系数得到降噪后的数据；离散小波系数重构方法如下：
对于窗口下的每一列{x(t),t＝0,1,...,N}来说，离散小波变换由下式表达：
Figure BDA0002975716450000051
上式中，
Figure BDA0002975716450000052
为离散小波系数，j为分解层数，k为位置索引，
Figure BDA0002975716450000053
为离散小波函数；利用二元离散小波变换的逆变换，原始的离散时间序列被重构为：
Figure BDA0002975716450000054
上式简写为：
Figure BDA0002975716450000055
其中，AJ(t)为原始信号在J层分解的近似分量，Dj(t)为原始信号在第j＝0,1...,J层分解的细节分量；此过程将原始信号分解为细节分量(D1,D2,...,DJ)和近似分量AJ(t)；按照软阈值法对各个分量进行降噪，即：
Figure BDA0002975716450000056
上式中θA、θd分别为高频、低频分量设定的阈值，
Figure BDA0002975716450000057
分别为高频、低频分量软阈值降噪后的序列；则降噪重构后的序列为：
Figure BDA0002975716450000058
进一步地，所述进行规范化处理的具体内容为：
采用0均值标准化法计算公式如下：
Figure BDA0002975716450000059
其中，x表示原始序列，μ、σ分别表示原始序列的均值与标准差，
Figure BDA00029757164500000510
则表示规范后的序列；0均值归一化方法将原始序列变化成均值为0、方差为1的序列。
进一步地，所述步骤S4的具体内容为：对步骤S3中每组样本集内各条感知链路的粗粒度信号进行时间域与频率域的特征提取，融合得到人体动作的浅层特征向量；提取13个时域与频域上的统计特征值，对每条链路提取的特征融合形成基于粗粒度信号的人体行为浅层特征向量；
对步骤S3中每个窗口下各条感知链路的粗粒度信号进行时间域与频率域的特征值计算，13个统计特征值分别为：
时域8个：均值、方差、标准差、最大值、最小值、过均值个数、最大最小值之差、众数；频域5个：fft形状均值、fft幅度均值、fft幅度标准差、fft峭度、fft斜度；
对每条链路的测量数据提取13个时域与频域上的统计特征值形成特征向量fsj：
fsj＝(均值,方差,标准差,最大值,最小值,过均值个数,最大最小值之差,众数,fft形状均值,fft幅度均值,fft幅度标准差,fft峭度,fft斜度)
融合每条链路的特征向量形成基于粗粒度信号的人体行为浅层特征向量fs；
fs＝(fs1,fs2,fs3,…,fsN)1×13N
其中，fsj(j＝1,2,…,N)表示第j条感知链路的时频域统计特征向量。
进一步地，所述步骤S5的具体内容为：
采用深度学习框架搭建深度门控循环单元(Gated Recurrent Unit，GRU)网络，即深度GRU模型，该网络的输出即为基于粗粒度信号的深度行为特征；
在模型搭建过程中，第一层的输入为连续t个窗口下的浅层特征，即：
Figure BDA0002975716450000071
接着后一层选取前一层的输出作为输入，如此反复，而在最后一层只对该层中最后一个GRU单元进行输出；输出结果ht为一个一维向量，该向量则为提取的基于粗粒度信号的行为深度特征；
在深度GRU模型的后端连接一个softmax分类器用于该模型的分类训练，通过时间反向传播(BPTT)算法最小化交叉熵损失函数的方式来学习GRU的权值和偏差，完成设置次数的迭代后模型训练完毕；训练完毕固定深度GRU模块的权重、偏置参数，去除分类层，即得到粗粒度信号深度特征提取模型；
所述深度门控循环单元其具体运算过程如下：
zt＝σ(Wz·[ht-1,fs t])
rt＝σ(Wr·[ht-1,fs t])
Figure BDA0002975716450000072
Figure BDA0002975716450000073
其中，fs t为模型第t个时间步的输入向量，即步骤S4中的样本浅层特征向量，ht为每个GRU单元的输出向量，ht-1表示上一个GRU单元的输出；Wz、Wr分别为更新门、重置门隐层神经元的权值，zt、rt分别为更新门、重置门输出向量；
Figure BDA0002975716450000074
Wh、bC分别表示当前隐藏状态的输出、权值、偏置；σ、tanh表示sigmoid、tanh激活函数：
Figure BDA0002975716450000081
Figure BDA0002975716450000082
进一步地，所述步骤S6的具体内容为：
将传感信号输入训练好的深度GRU模型，得到的输出向量即行为表征的深度特征向量ht，将其作为集成学习模块的输入，用于集成学习模块的学习；首先选择线性支持向量机(Linear Support Vector Machines,Linear SVM)、极端梯度提升(eXtreme GradientBoosting,XGBoosting)、梯度提升(Gradient Boosting)、极端随机树(ExtremelyRandomized Trees,Extra Trees)四个分类算法作为集成学习的基模型；通过python中的sklearn库分别构建四个基模型，同时使用训练集的深度特征向量并调用sklearn库中的fit函数对对基模型的参数进行训练，最后采用集成学习方法中的软投票法对基模型分类结果进行整合；
基模型对测试集的分类结果分别为Result1、Result2、Result3、Result4，采用软投票法对基模型分类结果进行整合，即：
Figure BDA0002975716450000083
上式中，Result为集成学习模块对各基模型输出结果的整合，即1×A的概率向量；P1,P1,...,PA分别表示动作标签1,2,...,A的概率值，该向量中概率值最大对应的标签即为最终的行为识别结果；
模型性能评价：用测试样本来对模型进行性能测试，相应的性能指标选取识别准确率acc，即：
Figure BDA0002975716450000084
acc的值在0％-100％之间，当acc的值越接近100％，说明模型的测试性能越好。
进一步地，所述步骤S7的具体内容为：
为实现行为识别，令采用传感系统采集的信号矩阵为x。
Figure BDA0002975716450000091
假设S5步骤中得到的深度学习模型为G1(·)，步骤S6中得到的集成学习模型为G2(·)。信号序列x输入深度学习模型G1(·)，输出一个深度特征向量fd＝G1(x)，将其输入到集成学习模型G2(·)，其输出记为对应的行为标签label＝G2(fd)，即0、1、2……A中的一个，分别表示对应的行为。
与现有技术相比，本发明具有以下有益效果：
本分说明采用深度门控循环网络对WiFi粗粒度信号的时域频域特征进行二次特征提取，相比于浅层特征，深度学习特征对行为的表征更强。并在此基础上，使用集成学习算法对深度特征进行分类预测，提升相近行为间的识别准确率。
附图说明
图1为本发明实施例的人体行为识别流程图。
图2为本发明实施例的粗粒度信号流矩阵加窗过程示意图。
图3为本发明实施例的门控循环单元GRU原理图。
图4为本发明实施例的深度GRU模块。
图5为本发明实施例的集成学习算法流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，包括以下步骤：
步骤S1：搭建基于粗粒度信号的被动式人体行为识别传感系统；
步骤S2：采集人体不同行为下的粗粒度信号数据；
步骤S3：进行样本集构造与信号预处理；
步骤S4：构造基于粗粒度信号的人体行为浅层特征向量；
步骤S5：构建深度学习模型；
步骤S6：构建集成学习模型；
步骤S7：利用传感信号序列实现行为的识别。
在本实施例中，所述步骤S1的具体内容为：构建的传感系统包括n个WiFi路由器和一个服务器；在室内环境中离地面1.5m处随机分散部署n个WiFi路由器作为传感节点；n个传感节点(即节点之间相互感知彼此的强度)之间相互感知，共构成了N，N＝n×(n-1)条粗粒度信号感知链路；各传感节点在j时刻通过UDP通讯将各链路的粗粒度信号发送至服务器中，每次传输得一个n×(n-1)的一维(N×1维)粗粒度信号矩阵记作
Figure BDA0002975716450000111
传感系统不断接收粗粒度信号矩阵，形成粗粒度信号流。
在本实施例中，所述步骤S2的具体内容为：在室内环境中，让测试对象处于已部署的传感环境中，做出不同的动作，所做的动作包括静坐、行走、平躺在床、平躺在地、站立、下蹲或跑步，共计A个；在数据采集过程中，测试对象需要在房间的不同位置做出相应动作，每次动作的持续时间为T，传感系统的数据采集频率为f，动作a在第k次采集的粗粒度信号流记为rk a；设每个动作的采集次数为K，则对动作a采集的数据合为一类，记为ra；
Figure BDA0002975716450000112
其中
Figure BDA0002975716450000113
上式中，rj表示在j(1≤j≤T·f)时刻传感系统的采集数据，T·f表示信号采集的序列长度。同时根据动作种类给采集的数据集建立标签不同的动作对应的标签分别采用0、1、2……A表示。
在本实施例中，所述步骤S3的具体内容为：在图1所示的信号处理模块中，采用滑动窗口方法对采集的粗粒度信号矩阵进行切割，取窗口大小为W，步长为1，加窗示意图如图2所示，得到动作a的第s个样本记为as，对于动作a，经过滑窗切割的总样本数为KTf-W+1；
Figure BDA0002975716450000121
对窗口大小W内各条感知链路的粗粒度信号进行离散小波系数重构滤除噪声和异常的RSSI测量和规范化处理即归一化操作使每个链路的权值相等，用以消除不同链路之间的硬件差异。
在本实施例中，对窗口大小W内各条感知链路的粗粒度信号进行离散小波系数重构滤除噪声和异常的RSSI测量的具体内容为：
对样本as(W行N列的矩阵各条感知链路的粗粒度信号流即窗口矩阵)的每一列，通过离散小波系数重构方法滤除噪声和异常的RSSI测量；将样本as的每一个列向量通过离散小波变换分解为各个分量，包括原始信号在J层分解的近似分量AJ(t)及其在第j＝0,1...,J层分解的细节分量Dj(t)，按照软阈值法对各个系数进行降噪，最后叠加各个系数得到降噪后的数据；离散小波系数重构方法如下：
对于窗口下的每一列{x(t),t＝0,1,...,N}来说，离散小波变换由下式表达：
Figure BDA0002975716450000122
上式中，
Figure BDA0002975716450000123
为离散小波系数，j为分解层数，k为位置索引，
Figure BDA0002975716450000131
为离散小波函数；利用二元离散小波变换的逆变换，原始的离散时间序列被重构为：
Figure BDA0002975716450000132
上式简写为：
Figure BDA0002975716450000133
其中，AJ(t)为原始信号在J层分解的近似分量，Dj(t)为原始信号在第j＝0,1...,J层分解的细节分量；此过程将原始信号分解为细节分量(D1,D2,...,DJ)和近似分量AJ(t)；按照软阈值法对各个分量进行降噪，即：
Figure BDA0002975716450000134
上式中θA、θd分别为高频、低频分量设定的阈值，
Figure BDA0002975716450000135
分别为高频、低频分量软阈值降噪后的序列；则降噪重构后的序列为：
Figure BDA0002975716450000136
在本实施例中，所述进行规范化处理的具体内容为：
采用0均值标准化法计算公式如下：
Figure BDA0002975716450000137
其中，x表示原始序列，μ、σ分别表示原始序列的均值与标准差，
Figure BDA0002975716450000138
则表示规范后的序列；0均值归一化方法将原始序列变化成均值为0、方差为1的序列。
在本实施例中，所述步骤S4的具体内容为：在行为识别中，提取一些时域统计信息和频率信息，两部分融合起来，形成行为表征的浅层特征。：对步骤S3中每组样本集内各条感知链路的粗粒度信号进行时间域与频率域的特征提取，融合得到人体动作的浅层特征向量；提取13个时域与频域上的统计特征值，对每条链路提取的特征融合形成基于粗粒度信号的人体行为浅层特征向量；
对步骤S3中每个窗口下各条感知链路的粗粒度信号进行时间域与频率域的特征值计算，13个统计特征值分别为：
时域8个：均值、方差、标准差、最大值、最小值、过均值个数、最大最小值之差、众数；频域5个：fft形状均值、fft幅度均值、fft幅度标准差、fft峭度、fft斜度；
对每条链路的测量数据提取13个时域与频域上的统计特征值形成特征向量fsj：
fsj＝(均值,方差,标准差,最大值,最小值,过均值个数,最大最小值之差,众数,fft形状均值,fft幅度均值,fft幅度标准差,fft峭度,fft斜度)
融合每条链路的特征向量形成基于粗粒度信号的人体行为浅层特征向量fs；
fs＝(fs1,fs2,fs3,…,fsN)1×13N
其中，fsj(j＝1,2,…,N)表示第j条感知链路的时频域统计特征向量。
在本实施例中，所述步骤S5的具体内容为：
如图3所示，采用深度学习框架搭建深度门控循环单元(Gated Recurrent Unit，GRU)网络，即深度GRU模型，该网络的输出即为基于粗粒度信号的深度行为特征；
如图4所示，在模型搭建过程中，第一层的输入为连续t个窗口下的浅层特征，即：
Figure BDA0002975716450000151
接着后一层选取前一层的输出作为输入，如此反复，而在最后一层只对该层中最后一个GRU单元进行输出；输出结果ht为一个一维向量，该向量则为提取的基于粗粒度信号的行为深度特征；
如图1所示，在深度GRU模型的后端连接一个softmax分类器用于该模型的分类训练，通过时间反向传播(BPTT)算法最小化交叉熵损失函数的方式来学习GRU的权值和偏差，完成设置次数的迭代后模型训练完毕。训练完毕固定深度GRU模块的权重、偏置参数，去除分类层，即得到粗粒度信号深度特征提取模型；
在本实施例中，所述步骤S6的具体内容为：
将传感信号输入训练好的深度GRU模型，得到的输出向量即行为表征的深度特征向量ht，将其作为集成学习模块的输入，用于集成学习模块的学习；如图5所示，首先选择线性支持向量机(Linear Support Vector Machines,Linear SVM)、极端梯度提升(eXtremeGradient Boosting,XGBoosting)、梯度提升(Gradient Boosting)、极端随机树(Extremely Randomized Trees,Extra Trees)四个分类算法作为集成学习的基模型；通过python中的sklearn库分别构建四个基模型，同时使用训练集的深度特征向量并调用sklearn库中的fit函数对对基模型的参数进行训练，最后采用集成学习方法中的软投票法对基模型分类结果进行整合；
基模型对测试集的分类结果分别为Result1、Result2、Result3、Result4，采用软投票法对基模型分类结果进行整合，即：
Figure BDA0002975716450000161
上式中，Result为集成学习模块对各基模型输出结果的整合，即1×A的概率向量；P1,P1,...,PA分别表示动作标签1,2,...,A的概率值，该向量中概率值最大(仅有一个)对应的标签即为最终的行为识别结果；
模型性能评价：用测试样本来对模型进行性能测试，相应的性能指标选取识别准确率acc，即：
Figure BDA0002975716450000162
acc的值在0％-100％之间，当acc的值越接近100％，说明模型的测试性能越好。
在本实施例中，所述步骤S6的具体内容为：
为实现行为识别，假设采用传感系统采集的信号矩阵为x。
Figure BDA0002975716450000163
假设S5步骤中得到的深度学习模型为G1(·)，步骤S6中得到的集成学习模型为G2(·)。信号序列x输入深度学习模型G1(·)，输出一个深度特征向量fd＝G1(x)，将其输入到集成学习模型G2(·)，其输出记为对应的行为标签label＝G2(fd)，即0、1、2……A中的一个，分别表示对应的行为。
在本实施例中，所述深度门控循环单元其具体运算过程如下：
zt＝σ(Wz·[ht-1,fs t])
rt＝σ(Wr·[ht-1,fs t])
Figure BDA0002975716450000171
Figure BDA0002975716450000172
其中，fs t为模型第t个时间步的输入向量，即步骤S4中的样本浅层特征向量，ht为每个GRU单元的输出向量，ht-1表示上一个GRU单元的输出；Wz、Wr分别为更新门、重置门隐层神经元的权值，zt、rt分别为更新门、重置门输出向量；
Figure BDA0002975716450000173
Wh、bC分别表示当前隐藏状态的输出、权值、偏置；σ、tanh表示sigmoid、tanh激活函数：
Figure BDA0002975716450000174
Figure BDA0002975716450000175
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：包括以下步骤：
步骤S1：搭建基于粗粒度信号的被动式人体行为识别传感系统；
步骤S2：采集人体不同行为下的粗粒度信号数据；
步骤S3：进行样本集构造与信号预处理；
步骤S4：构造基于粗粒度信号的人体行为浅层特征向量；
步骤S5：构建深度学习模型；
步骤S6：构建集成学习模型；
步骤S7：利用传感信号序列实现行为的识别。
2.根据权利要求1所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述步骤S1的具体内容为：构建的传感系统包括n个WiFi路由器和一个服务器；在室内环境中离地面1.5m处随机分散部署n个WiFi路由器作为传感节点；n个传感节点之间相互感知，共构成了N，N＝n×(n-1)条粗粒度信号感知链路；各传感节点在j时刻通过UDP通讯将各链路的粗粒度信号发送至服务器中，每次传输得一个n×(n-1)的一维粗粒度信号矩阵记作
Figure FDA0002975716440000011
传感系统不断接收粗粒度信号矩阵，形成粗粒度信号流。
3.根据权利要求1所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述步骤S2的具体内容为：在室内环境中，让测试对象处于已部署的传感环境中，做出不同的动作，所做的动作包括静坐、行走、平躺在床、平躺在地、站立、下蹲或跑步，共计A个；在数据采集过程中，测试对象需要在房间的不同位置做出相应动作，每次动作的持续时间为T，传感系统的数据采集频率为f，动作a在第k次采集的粗粒度信号流记为rk a；设每个动作的采集次数为K，则对动作a采集的数据合为一类，记为ra；
Figure FDA0002975716440000021
上式中，rj表示在j(1≤j≤T·f)时刻传感系统的采集数据，T·f表示信号采集的序列长度；同时根据动作种类给采集的数据集建立标签，不同的动作对应的标签分别采用0、1、2……A表示。
4.根据权利要求2所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述步骤S3的具体内容为：采用滑动窗口方法对采集的粗粒度信号流进行切割，取窗口大小为W，步长为1，得到动作a的第s个样本记为as，对于动作a，经过滑窗切割的总样本数为KTf-W+1；
Figure FDA0002975716440000022
对窗口大小W内各条感知链路的粗粒度信号进行离散小波系数重构滤除噪声和异常的RSSI测量和规范化处理即归一化操作使每个链路的权值相等，用以消除不同链路之间的硬件差异。
5.根据权利要求4所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：对窗口大小W内各条感知链路的粗粒度信号进行离散小波系数重构滤除噪声和异常的RSSI测量的具体内容为：
对样本as的每一列，通过离散小波系数重构方法滤除噪声和异常的RSSI测量；将样本as的每一个列向量通过离散小波变换分解为各个分量，包括原始信号在J层分解的近似分量AJ(t)及其在第j＝0,1...,J层分解的细节分量Dj(t)，按照软阈值法对各个分量进行降噪，最后叠加各个系数得到降噪后的数据；离散小波系数重构方法如下：
对于窗口下的每一列{x(t),t＝0,1,...,N}来说，离散小波变换由下式表达：
Figure FDA0002975716440000031
上式中，
Figure FDA0002975716440000032
为离散小波系数，j为分解层数，k为位置索引，
Figure FDA0002975716440000033
为离散小波函数；利用二元离散小波变换的逆变换，原始的离散时间序列被重构为：
Figure FDA0002975716440000034
上式简写为：
Figure FDA0002975716440000035
其中，AJ(t)为原始信号在J层分解的近似分量，Dj(t)为原始信号在第j＝0,1...,J层分解的细节分量；此过程将原始信号分解为细节分量(D1,D2,...,DJ)和近似分量AJ(t)；按照软阈值法对各个分量进行降噪，即：
Figure FDA0002975716440000041
上式中θA、θd分别为高频、低频分量设定的阈值，
Figure FDA0002975716440000042
分别为高频、低频分量软阈值降噪后的序列；则降噪重构后的序列为：
Figure FDA0002975716440000043
6.根据权利要求4所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述进行规范化处理的具体内容为：
采用0均值标准化法计算公式如下：
Figure FDA0002975716440000044
其中，x表示原始序列，μ、σ分别表原始序列的均值与标准差，
Figure FDA0002975716440000045
则表示规范后的序列；0均值归一化方法将原始序列变示化成均值为0，方差为1的序列。
7.根据权利要求1所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述步骤S4的具体内容为：对步骤S3中每组样本集内各条感知链路的粗粒度信号进行时间域与频率域的特征提取，融合得到人体动作的浅层特征向量；提取13个时域与频域上的统计特征值，对每条链路提取的特征融合形成基于粗粒度信号的人体行为浅层特征向量；
对步骤S3中每个窗口下各条感知链路的粗粒度信号进行时间域与频率域的特征值计算，13个统计特征值分别为：
时域8个：均值、方差、标准差、最大值、最小值、过均值个数、最大最小值之差、众数；频域5个：fft形状均值、fft幅度均值、fft幅度标准差、fft峭度、fft斜度；
对每条链路的测量数据提取13个时域与频域上的统计特征值形成特征向量fsj：
fsj＝(均值,方差,标准差,最大值,最小值,过均值个数,最大最小值之差,众数,fft形状均值,fft幅度均值,fft幅度标准差,fft峭度,fft斜度)
融合每条链路的特征向量形成基于粗粒度信号的人体行为浅层特征向量fs；
fs＝(fs1,fs2,fs3,…,fsN)1×13N
其中，fsj(j＝1,2,…,N)表示第j条感知链路的时频域统计特征向量。
8.根据权利要求1所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述步骤S5的具体内容为：
采用深度学习框架搭建深度门控循环单元网络，即深度GRU模型，该网络的输出即为基于粗粒度信号的深度行为特征；
在模型搭建过程中，第一层的输入为连续t个窗口下的浅层特征，即：
Figure FDA0002975716440000051
接着后一层选取前一层的输出作为输入，如此反复，而在最后一层只对该层中最后一个GRU单元进行输出；输出结果ht为一个一维向量，该向量则为提取的基于粗粒度信号的行为深度特征；
在深度GRU模型的后端连接一个softmax分类器用于该模型的分类训练，通过时间反向传播算法最小化交叉熵损失函数的方式来学习GRU的权值和偏差，完成设置次数的迭代后模型训练完毕；训练完毕固定深度GRU模块的权重、偏置参数，去除分类层，即得到粗粒度信号深度特征提取模型；
所述深度门控循环单元其具体运算过程如下：
zt＝σ(Wz·[ht-1,fs t])
rt＝σ(Wr·[ht-1,fs t])
Figure FDA0002975716440000061
Figure FDA0002975716440000062
其中，fs t为模型第t个时间步的输入向量，即步骤S4中的样本浅层特征向量，ht为每个GRU单元的输出向量，ht-1表示上一个GRU单元的输出；Wz、Wr分别为更新门、重置门隐层神经元的权值，zt、rt分别为更新门、重置门输出向量；
Figure FDA0002975716440000063
Wh、bC分别表示当前隐藏状态的输出、权值、偏置；σ、tanh表示sigmoid、tanh激活函数：
Figure FDA0002975716440000064
Figure FDA0002975716440000065
9.根据权利要求1所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述步骤S6的具体内容为：
将传感信号输入训练好的深度GRU模型，得到的输出向量即行为表征的深度特征向量ht，将其作为集成学习模块的输入，用于集成学习模块的学习；首先线性支持向量机、极端梯度提升、梯度提升、极端随机树四个分类算法作为集成学习的基模型；通过python中的sklearn库分别构建四个基模型，同时使用训练集的深度特征向量并调用sklearn库中的fit函数对对基模型的参数进行训练，最后采用集成学习方法中的软投票法对基模型分类结果进行整合；
基模型对测试集的分类结果分别为Result1、Result2、Result3、Result4，采用软投票法对基模型分类结果进行整合，即：
Figure FDA0002975716440000071
上式中，Result为集成学习模块对各基模型输出结果的整合，即1×A的概率向量；P1,P1,...,PA分别表示动作标签1,2,...,A的概率值，该向量中概率值最大对应的标签即为最终的行为识别结果；
模型性能评价：用测试样本来对模型进行性能测试，相应的性能指标选取识别准确率acc，即：
Figure FDA0002975716440000072
acc的值在0％-100％之间，当acc的值越接近100％，说明模型的测试性能越好。
10.根据权利要求1所述的一种基于粗粒度时频特征与多层级融合学习的人体行为识别方法，其特征在于：所述步骤S7的具体内容为：
为实现行为识别，令采用传感系统采集的信号矩阵为x；
Figure FDA0002975716440000081
令步骤S5中得到的深度学习模型为G1(·)，步骤S6中得到的集成学习模型为G2(·)；信号矩阵x输入深度学习模型G1(·)，输出一个深度特征向量fd＝G1(x)，将其输入到集成学习模型G2(·)，其输出记为对应的行为标签label＝G2(fd)，即0、1、2……A中的一个，分别表示对应的行为。
CN202110274189.3A 2021-03-15 2021-03-15 基于粗粒度时频特征与多层融合学习的人体行为识别方法 Active CN112883905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110274189.3A CN112883905B (zh) 2021-03-15 2021-03-15 基于粗粒度时频特征与多层融合学习的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110274189.3A CN112883905B (zh) 2021-03-15 2021-03-15 基于粗粒度时频特征与多层融合学习的人体行为识别方法

Publications (2)

Publication Number Publication Date
CN112883905A true CN112883905A (zh) 2021-06-01
CN112883905B CN112883905B (zh) 2023-04-18

Family

ID=76041875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274189.3A Active CN112883905B (zh) 2021-03-15 2021-03-15 基于粗粒度时频特征与多层融合学习的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN112883905B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117232846A (zh) * 2023-09-15 2023-12-15 广东海洋大学 基于粗粒度的船用涡轮增压器故障诊断方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190019037A1 (en) * 2017-07-14 2019-01-17 Nec Laboratories America, Inc. Spatio-temporal interaction network for learning object interactions
CN110188637A (zh) * 2019-05-17 2019-08-30 西安电子科技大学 一种基于深度学习的行为识别技术方法
KR20200087338A (ko) * 2018-12-31 2020-07-21 한국과학기술연구원 행동 인식 학습용 동적 데이터베이스 구축 장치 및 방법
CN111866367A (zh) * 2019-04-24 2020-10-30 罗伯特·博世有限公司 用于人标识以及运动方向估计的装置
CN112131972A (zh) * 2020-09-07 2020-12-25 重庆邮电大学 一种基于注意力机制使用WiFi数据进行人体行为识别的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190019037A1 (en) * 2017-07-14 2019-01-17 Nec Laboratories America, Inc. Spatio-temporal interaction network for learning object interactions
KR20200087338A (ko) * 2018-12-31 2020-07-21 한국과학기술연구원 행동 인식 학습용 동적 데이터베이스 구축 장치 및 방법
CN111866367A (zh) * 2019-04-24 2020-10-30 罗伯特·博世有限公司 用于人标识以及运动方向估计的装置
CN110188637A (zh) * 2019-05-17 2019-08-30 西安电子科技大学 一种基于深度学习的行为识别技术方法
CN112131972A (zh) * 2020-09-07 2020-12-25 重庆邮电大学 一种基于注意力机制使用WiFi数据进行人体行为识别的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN JING ET AL.: "Low-Cost and Device-Free Human Activity Recognition Based on Hierarchical Learning Model", 《SENSORS》 *
HONGYU SUN ET AL.: "Accurate Human Gesture Sensing With Coarse-Grained RF Signatures", 《IEEE ACCESS》 *
LIANG WEI CHEN ET AL.: "Study of the Crowd Behavior in Campus Based on WIFI Probe and Time Series Analysis", 《2020 XXXIIIRD GENERAL ASSEMBLY AND SCIENTIFIC SYMPOSIUM OF THE INTERNATIONAL UNION OF RADIO SCIENCE》 *
杨成: "基于RSSI的人体行为识别的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117232846A (zh) * 2023-09-15 2023-12-15 广东海洋大学 基于粗粒度的船用涡轮增压器故障诊断方法、装置及设备

Also Published As

Publication number Publication date
CN112883905B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110610168B (zh) 一种基于注意力机制的脑电情绪识别方法
CN110399857B (zh) 一种基于图卷积神经网络的脑电情感识别方法
CN112699960B (zh) 基于深度学习的半监督分类方法、设备及存储介质
CN111563533B (zh) 基于图卷积神经网络融合多种人脑图谱的受试者分类方法
CN109890043B (zh) 一种基于生成式对抗网络的无线信号降噪方法
CN108345846A (zh) 一种基于卷积神经网络的人体行为识别方法及识别系统
CN112766355B (zh) 一种标签噪声下的脑电信号情绪识别方法
CN106503799A (zh) 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN110059565A (zh) 一种基于改进卷积神经网络的p300脑电信号识别方法
CN104107042A (zh) 基于粒子群优化-支持向量机的肌电信号步态识别方法
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和系统
CN109598222B (zh) 基于eemd数据增强的小波神经网络运动想象脑电分类方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN113554110B (zh) 一种基于二值胶囊网络的脑电情绪识别方法
CN115565161A (zh) 一种基于统一融合特征的多模态车辆驾驶风格识别方法
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN112883905B (zh) 基于粗粒度时频特征与多层融合学习的人体行为识别方法
Duin et al. Open issues in pattern recognition
CN113837122B (zh) 基于Wi-Fi信道状态信息的无接触式人体行为识别方法及系统
CN112084935B (zh) 一种基于扩充高质量脑电样本的情绪识别方法
CN116861217B (zh) 用于移动终端的身份识别方法及系统
CN111368686B (zh) 一种基于深度学习的脑电图情感分类方法
CN108846407A (zh) 基于独立成分高序不确定脑网络的磁共振影像分类方法
CN117093924A (zh) 基于域适应特征的旋转机械变工况故障诊断方法
CN114764575B (zh) 基于深度学习和时序注意力机制的多模态数据分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant