CN112733930A - 人体行为感知系统、方法及存储介质 - Google Patents
人体行为感知系统、方法及存储介质 Download PDFInfo
- Publication number
- CN112733930A CN112733930A CN202110018248.0A CN202110018248A CN112733930A CN 112733930 A CN112733930 A CN 112733930A CN 202110018248 A CN202110018248 A CN 202110018248A CN 112733930 A CN112733930 A CN 112733930A
- Authority
- CN
- China
- Prior art keywords
- human behavior
- transmission link
- human
- state information
- channel state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008447 perception Effects 0.000 title claims abstract description 30
- 230000006399 behavior Effects 0.000 claims abstract description 296
- 230000005540 biological transmission Effects 0.000 claims abstract description 254
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 45
- 230000009471 action Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 238000000513 principal component analysis Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims 3
- 238000010801 machine learning Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本说明书一个或多个实施例提供了一种人体行为感知系统，包括：数据预处理子系统，用于从无线网络环境中各个传输链路的信道状态信息中提取与人体行为相关的特征；链路选择子系统，用于根据所述各个传输链路的信道状态信息中与人体行为相关的特征从所述各个传输链路中选择至少一条传输链路；以及人体行为分类预测子系统，用于基于人体行为分类预测模型，根据所述选择的至少一条传输链路的信道状态信息中与人体行为相关的特征对人体行为进行预测，得到人体行为预测结果。对应上述人体行为感知方法，本说明书还提供了人体行为感知方法以及计算机可读介质。
Description
技术领域
本说明书一个或多个实施例涉及无线通信技术领域，尤其涉及一种应用于无线感知技术的人体行为感知系统、方法及计算机可读存储介质。
背景技术
自2011年以来，信道状态信息(Channel State Information,CSI)已广泛地部署在可由公众访问的商用Wi-Fi网卡中，这使得基于Wi-Fi CSI的人体行为感知技术已经成为工业界和学术界的一个活跃研究领域。当基于Wi-Fi CSI的人体行为感知系统位于室内环境中时，人体会吸收或反射Wi-Fi信号，然后改变系统的多径。通过CSI相位差和振幅的时间序列可以检测到改变信号传播路径的微小环境变化。也就是说，CSI可反映出Wi-Fi信号在环境中传播、反射、衍射和散射的多径。因此，能够通过探索由人体引起的CSI的变化来实现人体行为感知，从而实现人体检测、跌倒检测、手势识别、日常活动识别以及人体成像等等多种应用。可以理解，基于Wi-Fi CSI的人体行为感知具有非侵入性、低成本和隐私保护的特点，显著提高了智能家居、老年人健康监控、入侵检测等室内应用的实用性和便利性。
发明内容
有鉴于此，本说明书一个或多个实施例提出一种人体行为感知系统。该人体行为感知系统可以包括：
数据预处理子系统，用于从无线网络环境中各个传输链路的信道状态信息中提取与人体行为相关的特征；
链路选择子系统，用于根据所述各个传输链路的信道状态信息中与人体行为相关的特征从所述各个传输链路中选择至少一条传输链路；以及
人体行为分类预测子系统，用于基于人体行为分类预测模型，根据所述选择的至少一条传输链路的信道状态信息中与人体行为相关的特征对人体行为进行预测，得到人体行为预测结果。
其中，所述数据预处理子系统包括：
主成分分析模块，用于利用主成分分析算法分别分析包含幅度和相位差的各个传输链路的信道状态信息，分别得到各个传输链路的信道状态信息的至少两个主成分；
提取模块，用于从所述各个传输链路的信道状态信息的至少两个主成分中提取第二主成分；
归一化模块，用于利用零均值归一化方法，分别对所述各个传输链路的信道状态信息的第二主成分进行归一化，并将归一化后的第二主成分作为所述各个传输链路的信道状态信息中与人体行为相关的特征。
其中，所述链路选择子系统包括：
基本观察网络，用于对所述各个传输链路的信道状态信息中与人体行为相关的特征进行编码，得到各个传输链路对应的特征向量；
上下文感知网络，用于根据所述各个传输链路对应的特征向量得到各个传输链路之间具有链路关联性的特征向量；
策略网络，用于根据所述各个传输链路之间具有链路关联性的特征向量确定各个传输链路的被选概率；以及
选择模块，用于根据所述各个传输链路的被选概率从所述各个传输链路中选择出至少一条传输链路。
其中，所述基本观察网络为卷积神经网络，由分别带有1个最大池化层的n1_conV个卷积层构成；其中，n1_coNV的取值根据所需感知的人体行为类别的数量确定；
所述上下文感知网络为n_LSTM层的长短时记忆网络；其中，n_LSTM的取值根据无线网络环境中传输链路的数量确定；
所述策略网络由全连接层和激活层构成；
所述选择模块选择被选概率大于ε×maxπ(uj|h1，h2，…，hN_link；θu)的动作ui所对应的至少一条传输链路；其中，ε为一个预先设定的阈值且0＜ε＜1；maxπ(uj|h1，h2，…，hN_link；θu)为各个动作uj的被选概率分布中的最大值；以及
所述人体行为分类预测模型为卷积神经网络，由分别带有1个最大池化层和1个随机丢弃层的多个卷积层构成。
对应上述人体行为感知系统，本说明书的实施例还提供了一种人体行为感知方法，包括：从无线网络环境中各个传输链路的信道状态信息分别提取与人体行为相关的特征；根据各个传输链路的信道状态信息中与人体行为相关的特征从各个传输链路中选择至少一条传输链路；以及基于人体行为分类预测模型，根据所选择的至少一条传输链路的信道状态信息中与人体行为相关的特征对人体行为进行预测，得到人体行为预测结果。
其中，所述根据各个传输链路的信道状态信息中与人体行为相关的特征从各个传输链路中选择至少一条传输链路包括：利用基本观察网络对所述各个传输链路的信道状态信息中与人体行为相关的特征进行编码，得到各个传输链路对应的特征向量；利用上下文感知网络根据所述各个传输链路对应的特征向量得到各个传输链路之间具有链路关联性的特征向量；利用决策网络根据所述各个传输链路之间具有链路关联性的特征向量确定各个传输链路的被选概率；以及根据所述各个传输链路的被选概率从上述各个传输链路中选择出至少一条传输链路。
上述方法，进一步包括：对所述基本观察网络、上下文感知网络、决策网络以及人体行为分类预测模型进行联合训练；其中，所述联合训练包括：根据各个传输链路的信道状态信息中与人体行为相关的特征对所述人体行为分类预测模型进行预训练，调整所述人体行为分类预测模型的参数；以及根据各个传输链路的信道状态信息中与人体行为相关的特征对所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型进行联合训练，调整所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型的参数。
其中，所述根据各个传输链路的信道状态信息中与人体行为相关的特征对所述人体行为分类预测模型进行预训练包括：
第一阶段预训练：将各个传输链路的信道状态信息中与人体行为相关的特征输入到所述人体行为分类预测模型中，得到每条传输链路关于各类人体行为的预测概率，根据所述预测概率与实际的人体行为对应的标签确定误差，再根据误差以及预先确定的损失函数通过梯度下降的方式调整所述人体行为分类预测模型的参数，直至收敛；
第二阶段预训练：将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到所述人体行为分类预测模型，获得对应每条数据链路可以获得一个对于实际动作的预测概率；根据所述预测概率选择至少一条传输链路；将被选择的传输链路的信道状态信息中人体行为相关的特征再次输入到所述人体行为分类预测模型中，得到所述被选择的每条传输链路关于各类人体行为的预测概率，根据所述预测概率与实际的人体行为对应的标签确定误差，再根据误差以及预先确定的损失函数通过梯度下降的方式调整所述人体行为分类预测模型的参数，直至收敛。
其中，所述根据各个传输链路的信道状态信息中与人体行为相关的特征对所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型进行联合训练包括：
将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到所述基本观察网络、上下文感知网络、决策网络中，得到所选择的至少一个传输链路；
将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到所述经过预训练的人体行为分类预测模型中，得到针对每条传输链路的关于实际动作的预测概率；
根据所述预测概率，从各个传输链路中选择预测概率最大的至少一条传输链路作为优选传输链路标签；
根据所选择的至少一个传输链路以及所述优选传输链路标签确定误差，根据所述误差以及预先确定的损失函数通过梯度下降的方式调整所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型的参数，直至收敛。
本说明书的一个或多个实施例还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述人体行为感知方法。
可以看出，上述人体行为感知系统和方法首先对当前无线网络环境中所有传输链路的信道状态信息进行预处理，从中提取与人体行为相关的特征，去除其中与人体行为不相关的信息，以减少后续各子系统中机器学习模型的计算负担并提高机器学习模型的精度。接下来，再根据各个传输链路的信道状态信息中与人体行为相关的特征从中选择出与人体行为最为相关的至少一条传输链路，使得人体行为分类预测模型可以仅根据上述与人体行为最为相关的至少一条传输链路的信道状态信息中与人体行为相关的特征进行人体行为的预测，从而进一步减少人体行为分类预测模型的计算负担并提高模型的精度。通过上述人体行为感知方案，可以降低各个机器学习模型的复杂度同时提高其精确度，从而在具有多个接入点的复杂无线网络环境下实现人体行为感知的能力，使得基于Wi-Fi CSI的人体行为感知技术可以在现实世界中方便得到应用。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示了本说明书实施例所述的人体行为感知系统100的内部结构；
图2为本说明书一个实施例所述的人体行为感知系统100的应用场景的示意图；
图3显示了本说明书实施例所述的人体行为感知方法的实现流程；
图4显示了本说明书实施例所述的对当前无线网络环境中所有传输链路的信道状态信息分别进行预处理的实现流程；
图5显示了本说明书实施例所述的根据各个传输链路的信道状态信息中与人体行为相关的特征从所有传输链路中选择出至少一条传输链路的实现流程；以及
图6为本说明书一个或多个实施例所提供的电子设备硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如前所述，基于Wi-Fi CSI的人体行为感知具有非侵入性、低成本和隐私保护的特点，显著提高了智能家居、老年人健康监控、入侵检测等室内应用的实用性和便利性。目前，一般基于Wi-Fi CSI的人体行为感知系统现在大多采用基于学习的方式，具体来说，是利用机器学习等人工智能技术从Wi-Fi CSI中提取与人体行为相关的特征来区分不同的行为。然而，在实际的应用中，为了确保信号覆盖和通信质量，需要在实际的无线网络环境中部署大量的Wi-Fi发射机，这导致实际的无线网络环境非常复杂和密集。在这样的无线网络环境中，数据规模非常大，想要用机器学习建立并使用人体行为分类预测模型均需要很长时间，并且会导致很高的网络复杂度。此外，人体在整个环境中占用的空间较小，受人体行为影响的数据信息非常有限，因此，多个设备的CSI中会有大量冗余，导致学习噪声，最终也会大大降低人体行为分类预测模型的性能。在实践中发现，实际无线网络环境的上述特点大大限制了基于Wi-Fi CSI的人体行为感知技术在现实世界中的应用。
有鉴于此，本说明书的实施例提出了一种人体行为感知系统和方法，可以从全部传输链路的信道状态信息中提取出与人体行为最相关的一个或多个传输链路的信道状态信息，也即动态选择出受人体行为影响最大的传输链路，然后再根据选择出的传输链路的信道状态信息进行人体行为感知，以降低机器学习模型的复杂度同时提高其精确度，从而在具有多个接入点的复杂无线网络环境下实现人体行为感知的能力，使得基于Wi-Fi CSI的人体行为感知技术可以在现实世界中方便得到应用。
图1显示了本说明书实施例所述的人体行为感知系统100的内部结构。如图1所示，本说明书实施例所述的人体行为感知系统100可以包括：数据预处理子系统110、链路选择子系统120以及人体行为分类预测子系统130。
在本说明书的一些实施例中，上述数据预处理子系统110用于对当前无线网络环境中所有传输链路的信道状态信息分别进行预处理，提取各个传输链路的信道状态信息中与人体行为相关的特征。通过上述数据预处理子系统110的预处理操作，可以从各个传输链路的信道状态信息中去除与人体行为不相关的信息，从而减少后续各个子系统中各个机器学习模型的计算负担并提高各个机器学习模型的精度。
具体地，在本说明书的一些实施例中，上述数据预处理子系统110具体可以包括：主成分分析模块112、提取模块114以及归一化模块116。
其中，上述主成分分析模块112用于利用主成分分析(PCA)算法分别分析包含幅度和相位差的各个传输链路的信道状态信息[|Hl|，Δ∠Hl]，分别得到各个传输链路的信道状态信息的至少两个主成分。在本说明书的实施例中，上述主成分分析模块112可以先分别计算上述无线网络环境中各个接收机相邻天线之间的相位差Δ∠Hl，然后在利用PCA算法进行主成分分析。
上述提取模块114用于从上述各个传输链路的信道状态信息的至少两个主成分中提取第二主成分。其中，上述第二主成分包括各个时刻信道状态信息中相位差的第二主成分和幅度的第二主成分。在本说明书的实施例中，可以用表达式
表示上述第二主成分。其中，
代表t时刻信道状态信息中相位差Δ∠Hl的第二主成分；
代表t时刻信道状态信息中幅度|Hl|的第二主成分。
在本说明书的实施例中，考虑到人体在整个环境中占用的空间较小，受人体行为影响的数据信息其实非常有限，因此，通过上述主成分分析算法得到的各个传输链路的信道状态信息的第一主成分中相对和人体行为相关的特征而言则含有更多的环境噪声，而其中的第二主成分则含有更少的环境噪声和更丰富的和人体行为相关的特征。基于上述考虑，在本说明书的实施例中，上述提取模块114将从上述各个传输链路的信道状态信息的至少两个主成分中提取第二主成分。
上述归一化模块116用于利用零均值归一化方法，分别对上述各个传输链路的信道状态信息的第二主成分进行归一化，并将归一化后的第二主成分作为上述各个传输链路的信道状态信息中与人体行为相关的特征。
具体地，在本说明书的一些实施例中，上述归一化模块116可以用如下表达式(1)分别对上述
和
进行归一化：
其中，
代表
的均值；
代表
的标准差。
通过上述表达式(1)，上述归一化模块116将得到经过预处理的信道状态信息数据
并将其作为上述各个传输链路的信道状态信息中与人体行为相关的特征。
在本说明书的一些实施例中，上述链路选择子系统120用于根据上述数据预处理子系统110输出的各个传输链路的信道状态信息中与人体行为相关的特征从所有传输链路中选择出至少一条传输链路。
需要说明的是，在本说明书的实施例中，上述选择出的至少一条传输链路是与人体行为最为相关的一个或多个传输链路。
具体地，在本说明书的一些实施例中，上述链路选择子系统120具体可以包括：基本观察网络122、上下文感知网络124、决策网络126以及选择模块128。
其中，上述基本观察网络122主要用于对上述数据预处理子系统110输出的各个传输链路的信道状态信息中与人体行为相关的特征进行编码，得到各个传输链路对应的特征向量s1，s2，…，sN_link，其中，N_link为传输链路的数量。
具体地，在本说明书的一些实施例中，上述基本观察网络122可以通过卷积神经网络(CNN)实现，从而可以充分利用CNN擅长从数据中提取特征的特点。在本说明书的一些实施例中，上述CNN可以由分别带有1个最大池化层的n1_conv个卷积层构成，其中，n1_conv的取值根据所需感知的人体行为类别的数量确定。在具体应用中，当所需感知的人体行为类别的数量不多的情况下，可以将n1_conv设置为较小的值，例如将n1_conv设置为2或3；而当所需感知的人体行为类别的数量比较多的情况下，可适当增大n1_conv的取值。此外，上述CNN可以由θo参数化，以将预处理后的所有传输链路的信道状态信息分别编码成特征向量s1，s2，…，sN_link。具体地，上述过程可以通过如下表达式(2)表示：
上述上下文感知网络124主要用于根据各个传输链路对应的特征向量得到各个传输链路之间具有链路关联性的特征向量h1，h2，…，hN_link。
具体地，在本说明书的一些实施例中，上述上下文感知网络124可以通过长短时记忆网络(LSTM)来实现，从而可以充分利用LSTM善于总结历史状态信息的特点。在本说明书的实施例中，上述LSTM可以是n_LSTM层的LSTM网络，其中，n_LSTM的取值根据无线网络环境中传输链路的数量确定。当无线网络环境中传输链路的数量N_link不大的情况下，可以将n_LSTM设置为较小的值，例如将n_LSTM设置为2或3；而当无线网络环境中传输链路的数量N_link比较多的情况下，可适当增大n_LSTM的取值。此外，上述LSTM可以由θh参数化，将根据由基本观察网络122输入的特征向量s1，s2，…，sN_link得到反映它们之间关联性状态的特征向量h1，h2，…，hN_link。上述过程可以通过如下表达式(3)表示：
上述策略网络126主要用于根据上述各个传输链路之间具有链路关联性的特征向量h1，h2，…，hN_link，得到各个传输链路的被选概率。
具体地，在本说明书的一些实施例中，上述策略网络126可以由全连接层和激活层构成。其中，上述激活层可以是Sigmoid激活层，也即激活函数采用Sigmoid函数。其中，上述策略网络126的动作空间U＝[u1，u2，…，uN_u]可以覆盖所有传输链路的所有组合，其中每个动作对应一个传输链路。也就是说，上述策略网络126可以输出每个动作u1，u2，…，uN_u的被选概率值
需要说明的是，在本说明书的实施例中，上述这个每个动作的概率值也就是每个动作所对应传输链路的被选概率。此外，上述策略网络126可以由θu参数化，并且可以描述为如下表达式(4)：
π(uj|h1，h2，…，hN_link；θu)＝sigmoid(Wu·[h1，h2，…，hN_link]+bu)，uj∈U (4)
其中，π(uj|h1，h2，…，hN_link；θu)为动作uj的被选概率分布；sigmoid()为Sigmoid函数；Wu和bu分别为权重和偏差，共同构成参数θu。
上述选择模块128主要用于根据各个传输链路的被选概率从上述各个传输链路中选择出至少一条传输链路。
具体地，在本说明书的一些实施例中，上述选择模块128可以根据上述每个动作u1，u2，…，uN_u的被选概率值
从中选择被选概率大于预先设定的阈值的动作，然后将其对应的传输链路作为上述选择出的至少一条传输链路。显然，上述策略网络126和选择模块128的动作的生成即表明选择出了与人体行为最为相关的一组传输链路，也可称为链路簇。
在本说明书的实施例中，在所有动作的被选概率分布中，上述选择模块128可以选择被选概率大于ε×maxπ(uj|h1，h2，…，hN_link；θu)的动作uj，即为要被执行的动作，即选择的若干条传输链路，其中，ε为一个预先设定的阈值，可根据实际情况定义其值，且0＜ε＜1；maxπ(uj|h1，h2，…，hN_link；θu)为各个动作uj的被选概率分布的最大值。
在本说明书的一些实施例中，上述人体行为分类预测子系统130用于基于人体行为分类预测模型根据上述链路选择子系统120选择出的至少一条传输链路的信道状态信息中与人体行为相关的特征对人体行为进行预测，得到人体行为预测结果。
具体地，在本说明书的一些实施例中，上述人体行为分类预测模型可以通过CNN实现。在本说明书的实施例中，上述CNN可以由分别带有1个最大池化层和1个随机丢弃层的n2_conv个卷积层构成。此外，上述CNN可以由θp参数化。在应用中，可以将所选择的至少一条传输链路的信道状态信息中与人体行为相关的特征输入到上述CNN中。此时，上述CNN可以根据传输进来的特征，得到关于预先设定的各种人体行为的预测概率。上述过程可由如下表达式(5)进行描述：
pk＝fp(on1，on1，…，onm；θp)，k＝1，2，…，N_class (5)
其中，N_class表示预先设定的人体行为的种类的数量。
最终，上述人体行为分类预测子系统130可以将其中具有最大预测概率的人体行为作为上述人体行为预测结果
从上述人体行为感知系统100的结构以及实现可以看出，本说明书的实施例所述的人体行为感知系统100首先通过数据预处理子系统110对当前环境中所有传输链路的信道状态信息进行预处理，从中提取与人体行为相关的特征，去除其中与人体行为不相关的信息，以减少后续各子系统中机器学习模型的计算负担并提高机器学习模型的精度。接下来，再通过链路选择子系统120根据各个传输链路的信道状态信息中与人体行为相关的特征从中选择出与人体行为最为相关的至少一条传输链路，使得人体行为分类预测子系统130可以仅根据上述与人体行为最为相关的至少一条传输链路的信道状态信息中与人体行为相关的特征进行人体行为的预测，从而进一步减少人体行为分类预测子系统130中人体行为分类预测模型的计算负担并提高模型的精度。通过上述人体行为感知系统100的设置，可以降低各个机器学习模型的复杂度同时提高其精确度，从而在具有多个接入点的复杂无线网络环境下实现人体行为感知的能力，使得基于Wi-Fi CSI的人体行为感知技术可以在现实世界中方便得到应用。
图2为本说明书一个实施例所述的上述人体行为感知系统100的应用场景的示意图。在该应用场景中，为了实现密集部署的Wi-Fi环境，可以以NTX台微型电脑作为接入点(AP，亦可称为发射机)，并以NRX台微型电脑作为接收机，从而建立Nlink＝NTx×NRX条传输链路。作为一个示例，图2显示了4个发射机和2个接收机，从而可以建立8条传输链路，如图2中的虚线和点划线所示。此外，图2还显示了人体行为对上述8条传输链路的影响。其中，虚线所示的链路表示没有被人体遮挡的传输链路；而点划线所示的链路表示被人体遮挡从而改变传输路径的传输链路。可以看出，在该示例中，上述8条传输链路中只有1条传输链路受到了人体行为的影响。那么，当本说明书所述的人体行为感知系统100应用到上述图2所示的应用场景中时，可以首先通过其中的数据预处理子系统110对当前环境中上述8条传输链路的信道状态信息进行预处理，从中提取与人体行为相关的特征，去除其中与人体行为不相关的信息。接下来，再通过其中的链路选择子系统120根据上述8条传输链路的信道状态信息中与人体行为相关的特征从中选择出其中与人体行为最为相关的由点划线所表示的传输链路，使得人体行为分类预测子系统130可以仅根据上述由点划线所表示的传输链路的信道状态信息中与人体行为相关的特征进行人体行为的预测。可以看出，通过上述过程，可以首先将8条传输链路中每条传输链路上的信道状态信息压缩为其中的第二主成分；然后，再将8条传输链路的第二主成分进一步压缩为1条传输链路的主成分作为人体行为分类预测子系统130的输入，从而可以去除多个设备的信道状态信息中的冗余，降低学习噪声，提高人体行为分类预测模型的性能，包括其效率和精度。
对应上述人体行为感知系统100，本说明书的实施例提出了一种人体行为感知方法。
图3显示了本说明书实施例所述的人体行为感知方法的实现流程。如图3所示，该方法可以包括：
在步骤302，对当前无线网络环境中所有传输链路的信道状态信息分别进行预处理，提取各个传输链路的信道状态信息中与人体行为相关的特征。
在步骤304，根据各个传输链路的信道状态信息中与人体行为相关的特征从所有传输链路中选择出至少一条传输链路。
在步骤306，基于人体行为分类预测模型，根据上述选择出的至少一条传输链路的信道状态信息中与人体行为相关的特征对人体行为进行预测，得到人体行为预测结果。
下面将结合具体示例对上述图3所示各个步骤的实现过程进行详细说明。
在本说明书的一些实施例中，在上述步骤302中，可以通过主成分分析算法对上述所有传输链路的信道状态信息分别进行预处理。具体地，上述步骤302可以包括如图4所示的多个步骤。
在步骤402，计算各接收机相邻天线之间的相位差Δ∠Hl。
在步骤404，利用主成分分析算法分别分析包含幅度和相位差的各个传输链路的信道状态信息[|Hl|，Δ∠Hl]，分别得到各个传输链路的信道状态信息的至少两个主成分。
在步骤406，从上述各个传输链路的信道状态信息的至少两个主成分中提取第二主成分。
其中，上述第二主成分包括各个时刻信道状态信息中相位差的第二主成分和幅度的第二主成分。在本说明书的实施例中，可以用表达式
表示上述第二主成分。其中，
代表t时刻信道状态信息中相位差Δ∠Hl的第二主成分；
代表t时刻信道状态信息中幅度|Hl|的第二主成分。
在步骤408，利用零均值归一化方法，对上述第二主成分进行归一化，并将归一化后的第二主成分作为上述与人体行为相关的特征。
具体地，在上述步骤408中，可以利用上述表达式(1)进行归一化。
在本说明书的一些实施例中，在上述步骤304中，可以通过基本观察网络、上下文感知网络以及决策网络实现。具体地，上述步骤304可以包括如图5所示的多个步骤。
在步骤502，利用基本观察网络对上述各个传输链路的信道状态信息中与人体行为相关的特征进行编码，得到各个传输链路对应的特征向量。
具体地，如前所述，上述基本观察网络可以通过CNN来实现。且在本说明书的实施例中，在本说明书的一些实施例中，上述CNN可以由分别带有1个最大池化层的n1_conv个卷积层构成，其中，n1_conv的取值根据所需感知的人体行为类别的数量确定。在具体应用中，当所需感知的人体行为类别的数量不多的情况下，可以将n1_conv设置为较小的值，例如将n1_conv设置为2或3；而当所需感知的人体行为类别的数量比较多的情况下，可适当增大n1_conv的取值。此外，上述CNN可以由θo参数化，以将预处理后的所有传输链路的信道状态信息分别编码成特征向量s1，s2，…，sN_link。上述过程可以通过上述表达式(2)表示。
在步骤504，利用上下文感知网络根据所述各个传输链路对应的特征向量得到各个传输链路之间具有链路关联性的特征向量。
具体地，如前所述，上述上下文感知网络可以通过LSTM来实现。且在本说明书的实施例中，上述LSTM可以是n_LSTM层的LSTM网络，其中，n_LSTM的取值根据无线网络环境中传输链路的数量确定。当无线网络环境中传输链路的数量N_link不大的情况下，可以将n_LSTM设置为较小的值，例如将n_LSTM设置为2或3；而当无线网络环境中传输链路的数量N_link比较多的情况下，可适当增大n_LSTM的取值。此外，上述LSTM可以由θh参数化，将根据由基本观察网络122输入的特征向量s1，s2，…，sN_link得到反映它们之间关联性状态的特征向量h1，h2，…，hN_link。上述过程可以通过上述表达式(3)表示。
在步骤506，利用决策网络根据上述具有链路关联性的特征向量，得到各个传输链路的被选概率。
具体地，上述决策网络可以由全连接层和激活层构成。其中，上述激活层可以是Sigmoid激活层。上述策略网络的动作空间U＝[u1，u2，…，uN_u|可以覆盖所有传输链路的所有组合，其中每个动作对应一个传输链路。也就是说，上述策略网络可以输出每个动作u1，u2，…，uN_u的被选概率值
需要说明的是，在本说明书的实施例中，上述这个每个动作的被选概率值也就是每个动作所对应传输链路的被选概率。此外，上述策略网络可以由θu参数化，并且可以描述为上述表达式(4)。
在步骤508，根据各个传输链路的被选概率从上述各个传输链路中选择出至少一条传输链路。
具体地，在上述步骤508中，可以根据上述每个动作u1，u2，…，uN_u的被选概率值
从中选择被选概率大于预先设定的阈值的动作，然后将其对应的传输链路作为上述选择出的至少一条传输链路。例如，可以选择被选概率大于ε×maxπ(uj|h1，h2，…，hN_link；θu)的动作uj，即为要被执行的动作，即选择的若干条传输链路，其中，ε为一个预先设定的阈值，可根据实际情况定义其值，且0＜ε＜1；maxπ(uj|h1，h2，…，hN_link；θu)为各个动作uj的被选概率分布的最大值。
在本说明书的一些实施例中，在上述步骤306中，上述人体行为分类预测模型可以通过CNN实现。在本说明书的实施例中，上述CNN可以由分别带有1个最大池化层和1个随机丢弃层的n2_conv个卷积层构成。具体地，在上述步骤306中，可以将所选择的至少一条传输链路的信道状态信息中与人体行为相关的特征输入到由θp参数化的CNN中。此时，该CNN可以根据传输进来的特征，得到关于预先设定的各类人体行为的预测概率。该过程可由上述表达式(5)进行描述。
从上述人体行为感知方法的实现过程可以看出，本说明书的实施例所述的人体行为感知方法首先对当前环境中所有传输链路的信道状态信息进行预处理，从中提取各个传输链路的信道状态信息中与人体行为相关的特征，去除其中与人体行为不相关的信息，以减少后续各子系统中机器学习模型的计算负担并提高机器学习模型的精度。接下来，再根据各个传输链路的信道状态信息中与人体行为相关的特征从中选择出与人体行为最为相关的至少一条传输链路，使得人体行为分类预测模型可以仅根据上述与人体行为最为相关的至少一条传输链路的信道状态信息中与人体行为相关的特征进行人体行为的预测，从而进一步减少人体行为分类预测模型的计算负担并提高模型的精度。通过上述人体行为感知方法，可以降低各个机器学习模型的复杂度同时提高其精确度，从而在具有多个接入点的复杂无线网络环境下实现人体行为感知的能力，使得基于Wi-Fi CSI的人体行为感知技术可以在现实世界中方便得到应用。
可以看出，本说明书实施例所述的人体行为感知系统和方法中使用到了多个机器学习模型，例如，包括可以由CNN实现的基本观察网络和人体行为分类预测模型，可以由LSTM实现的上下文感知网络以及可以由全连接层和激活层构成的策略网络，那么，如何完成对这些机器模型的训练成为本说明书实施例需要解决的一个关键问题。下面将结合具体的示例详细说明上述多个机器学习模型的联合训练方法。
在本说明书的实施例中，对上述人体行为感知系统中机器学习模型的联合训练包括两个阶段：
第一阶段：根据所有传输链路的信道状态信息中与人体行为相关的特征对上述人体行为分类预测模型进行预训练。
第二阶段：根据所有传输链路的信道状态信息中与人体行为相关的特征对上述基本观察网络、上下文感知网络、决策网络以及人体行为分类预测模型进行联合训练。
在上述第一阶段，可分别将N_link条传输链路的信道状态信息中与人体行为相关的特征逐一输入到人体行为分类预测模型中，得到每条传输链路关于各类人体行为的预测概率pk，然后根据上述预测概率pk与实际的人体行为对应的标签确定误差，接下来再根据上述误差通过梯度下降的方式调整上述人体行为分类预测模型的参数，完成上述人体行为分类预测模型的预训练。
具体地，在本说明书的实施例中，用以描述上述人体行为分类预测模型预测误差的损失函数可以定义为如下表达式(6)：
其中，yk为各类人体行为对应的标签。其中，yk可以根据实际的人体行为确定。具体地，实际的人体行为对应的标签为1，而其余各类人体行为对应的标签为0。
在本说明书的一些实施例中，为了进一步提高上述人体行为分类预测模型的精度，上述针对人体行为分类预测模型的预训练过程可以具体包括两个预训练过程：第一阶段预训练和第二阶段预训练。
其中，第一阶段预训练的主要目的是为了使得人体行为分类预测模型能够学习到所有链路的一个基本特征。在第一阶段预训练过程中，可以将所有传输链路的信道状态信息中与人体行为相关的特征输入到上述人体行为分类预测模型中，得到每条传输链路关于各类人体行为的预测概率pk，然后根据上述预测概率pk与实际的人体行为对应的标签确定误差，再根据误差以及上述表达式(6)所示的损失函数通过梯度下降的方式调整上述人体行为分类预测模型的参数，直至收敛，从而完成上述人体行为分类预测模型的第一阶段预训练。由于所有传输链路的信道状态信息有好有坏，所以经过这一阶段训练后模型的准确率只能达到一个中等水平，例如通过实验确定经过这一阶段训练后模型的准确率可达到70％左右。同时，由于在此阶段人体行为分类预测模型主要是学习数据之间的共有特征，所以在第一阶段预训练结束后，多条传输链路对于实际动作的预测概率是比较集中的。
为此，进一步对人体行为分类预测模型进行第二阶段预训练。在第二阶段预训练过程中，首先将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到上述人体行为分类预测模型，此时，对应每条数据链路可以获得一个对于实际动作的预测概率。需要说明的是，此时并不进行模型参数的更新。在得到对应所有传输链路对于实际动作的预测概率以后，通过上述步骤508所述的方法选择至少一条传输链路。然后，将被选择的传输链路的信道状态信息中人体行为相关的特征再次输入到上述人体行为分类预测模型中，得到上述被选择的每条传输链路关于各类人体行为的预测概率pk，然后根据上述预测概率pk与实际的人体行为对应的标签确定误差，再根据误差以及上述表达式(6)所示的损失函数通过梯度下降的方式调整上述人体行为分类预测模型的参数，直至收敛，以完成上述人体行为分类预测模型的第二阶段预训练。也就是说，在第二阶段预训练过程中，使用的是与人体行为最为相关的一条或多条传输链路的数据进行训练，从而完成模型参数更新。这样上述人体行为分类预测模型就强化了与人体行为最为相关的一条或多条传输链路的特征，使得多条传输链路对于实际动作的预测概率不再那么集中。需要说明的是，在第二阶段预训练的初期，各个链路得到的预测概率可能比较集中，但随着训练的进行，这种集中就会被打破，会将与人体行为更为相关的传输链路区分出来。
在完成上述第一阶段的针对人体行为分类预测模型的预训练之后，就进入上述第二阶段的训练过程。在第二阶段的训练过程中，将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到上述基本观察网络、上下文感知网络、决策网络中，得到上述链路选择子系统所选择的至少一个传输链路。同时，将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到上述经过第一阶段训练人体行为分类预测模型中。这样，针对每条传输链路都可以得到一个关于实际动作的预测概率。接下来，根据上述预测概率，从所有传输链路中选择预测概率最大的至少一条传输链路作为优选传输链路标签。然后，根据上述链路选择子系统的选择结果以及上述优选传输链路标签确定上述链路选择子系统中各个模型的误差，再根据误差以及如下表达式(7)所示的损失函数通过梯度下降的方式调整上述链路选择子系统中各个模型的参数，完成上述链路选择子系统中各个模型的训练。
其中，vi是在逐一输入各个传输链路的信道状态信息中与人体行为相关的特征后人体行为分类预测模型得到的最优的若干条优选传输链路；ui是上述链路选择子系统决策选择的若干条传输链路。
在本说明书的一些实施例中，为了进一步提高上述链路选择子系统中各个模型以及人体行为分类预测模型的精度，在训练上述链路选择子系统中各个模型时，同时希望人体行为分类预测模型能够将优选的若干条传输链路的数据特征加以强化，即强化信息更为有效的数据特征，减小信息有效性低的数据特征，为此进一步设计了如下表达式(8)所示的损失函数：
Ltotal＝Lp+λLagent
其中，λ是一个比例因子，可依据实际情况设定。
在上述训练阶段，在训练人体行为预测模型时，对损失函数Lp进行梯度下降，用以更新人体行为预测模型的参数；在同时训练上述链路选择子系统中各个模型和人体行为预测模型时，对损失函数Ltotal进行梯度下降，用以同时更新上述两个子系统中各个模型的参数。
在经过上述两个阶段的训练后，即可得到能够根据不同的人体行为选择与人体行为最为相关的若干条传输链路的链路选择子系统，以及能够根据一条或者多条传输链路的信道状态信息中与人体行为相关的特征进行人体行为感知的人体行为预测子系统。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成上述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图6为本说明书实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器610、存储器620、输入/输出接口630、通信接口640和总线650。其中处理器610、存储器620、输入/输出接口630和通信接口640通过总线650实现彼此之间在设备内部的通信连接。
处理器610可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的人体行为感知方法。
存储器620可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器620可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的人体行为感知方法时，相关的程序代码保存在存储器620中，并由处理器610来调用执行。
输入/输出接口630用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口640用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线650包括一通路，在设备的各个组件(例如处理器610、存储器620、输入/输出接口630和通信接口640)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器610、存储器620、输入/输出接口630、通信接口640以及总线650，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种人体行为感知系统，包括：
数据预处理子系统，用于从无线网络环境中各个传输链路的信道状态信息中提取与人体行为相关的特征；
链路选择子系统，用于根据所述各个传输链路的信道状态信息中与人体行为相关的特征从所述各个传输链路中选择至少一条传输链路；以及
人体行为分类预测子系统，用于基于人体行为分类预测模型，根据所述选择的至少一条传输链路的信道状态信息中与人体行为相关的特征对人体行为进行预测，得到人体行为预测结果。
2.根据权利要求1所述的人体行为感知系统，其中，所述数据预处理子系统包括：
主成分分析模块，用于利用主成分分析算法分别分析包含幅度和相位差的各个传输链路的信道状态信息，分别得到各个传输链路的信道状态信息的至少两个主成分；
提取模块，用于从所述各个传输链路的信道状态信息的至少两个主成分中提取第二主成分；
归一化模块，用于利用零均值归一化方法，分别对所述各个传输链路的信道状态信息的第二主成分进行归一化，并将归一化后的第二主成分作为所述各个传输链路的信道状态信息中与人体行为相关的特征。
3.根据权利要求1所述的人体行为感知系统，其中，所述链路选择子系统包括：
基本观察网络，用于对所述各个传输链路的信道状态信息中与人体行为相关的特征进行编码，得到各个传输链路对应的特征向量；
上下文感知网络，用于根据所述各个传输链路对应的特征向量得到各个传输链路之间具有链路关联性的特征向量；
策略网络，用于根据所述各个传输链路之间具有链路关联性的特征向量确定各个传输链路的被选概率；以及
选择模块，用于根据所述各个传输链路的被选概率从所述各个传输链路中选择出至少一条传输链路。
4.根据权利要求3所述的人体行为感知系统，其中，
所述基本观察网络为卷积神经网络，由分别带有1个最大池化层的n1_conv个卷积层构成；其中，n1_conv的取值根据所需感知的人体行为类别的数量确定；
所述上下文感知网络为n_LSTM层的长短时记忆网络；其中，n_LSTM的取值根据无线网络环境中传输链路的数量确定；
所述策略网络由全连接层和激活层构成；
所述选择模块选择被选概率大于ε×maxπ(uj|h1，h2，…，hN_link；θu)的动作uj所对应的至少一条传输链路；其中，ε为一个预先设定的阈值且0＜ε＜1；maxπ(uj|h1，h2，…，hN_link；θu)为各个动作uj的被选概率分布中的最大值；以及
所述人体行为分类预测模型为卷积神经网络，由分别带有1个最大池化层和1个随机丢弃层的多个卷积层构成。
5.一种人体行为感知方法，包括：
从无线网络环境中各个传输链路的信道状态信息分别提取与人体行为相关的特征；
根据各个传输链路的信道状态信息中与人体行为相关的特征从各个传输链路中选择至少一条传输链路；以及
基于人体行为分类预测模型，根据所选择的至少一条传输链路的信道状态信息中与人体行为相关的特征对人体行为进行预测，得到人体行为预测结果。
6.根据权利要求5所述的人体行为感知方法，其中，所述根据各个传输链路的信道状态信息中与人体行为相关的特征从各个传输链路中选择至少一条传输链路包括：
利用基本观察网络对所述各个传输链路的信道状态信息中与人体行为相关的特征进行编码，得到各个传输链路对应的特征向量；
利用上下文感知网络根据所述各个传输链路对应的特征向量得到各个传输链路之间具有链路关联性的特征向量；
利用决策网络根据所述各个传输链路之间具有链路关联性的特征向量确定各个传输链路的被选概率；以及
根据所述各个传输链路的被选概率从上述各个传输链路中选择出至少一条传输链路。
7.根据权利要求6所述的人体行为感知方法，进一步包括：对所述基本观察网络、上下文感知网络、决策网络以及人体行为分类预测模型进行联合训练；其中，所述联合训练包括：
根据各个传输链路的信道状态信息中与人体行为相关的特征对所述人体行为分类预测模型进行预训练，调整所述人体行为分类预测模型的参数；以及
根据各个传输链路的信道状态信息中与人体行为相关的特征对所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型进行联合训练，调整所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型的参数。
8.根据权利要求7所述的人体行为感知方法，其中，所述根据各个传输链路的信道状态信息中与人体行为相关的特征对所述人体行为分类预测模型进行预训练包括：
第一阶段预训练：将各个传输链路的信道状态信息中与人体行为相关的特征输入到所述人体行为分类预测模型中，得到每条传输链路关于各类人体行为的预测概率，根据所述预测概率与实际的人体行为对应的标签确定误差，再根据误差以及预先确定的损失函数通过梯度下降的方式调整所述人体行为分类预测模型的参数，直至收敛；
第二阶段预训练：将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到所述人体行为分类预测模型，获得对应每条数据链路可以获得一个对于实际动作的预测概率；根据所述预测概率选择至少一条传输链路；将被选择的传输链路的信道状态信息中人体行为相关的特征再次输入到所述人体行为分类预测模型中，得到所述被选择的每条传输链路关于各类人体行为的预测概率，根据所述预测概率与实际的人体行为对应的标签确定误差，再根据误差以及预先确定的损失函数通过梯度下降的方式调整所述人体行为分类预测模型的参数，直至收敛。
9.根据权利要求7所述的人体行为感知方法，其中，所述根据各个传输链路的信道状态信息中与人体行为相关的特征对所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型进行联合训练包括：
将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到所述基本观察网络、上下文感知网络、决策网络中，得到所选择的至少一个传输链路；
将各个传输链路的信道状态信息中与人体行为相关的特征逐条输入到所述经过预训练的人体行为分类预测模型中，得到针对每条传输链路的关于实际动作的预测概率；
根据所述预测概率，从各个传输链路中选择预测概率最大的至少一条传输链路作为优选传输链路标签；
根据所选择的至少一个传输链路以及所述优选传输链路标签确定误差，根据所述误差以及预先确定的损失函数通过梯度下降的方式调整所述基本观察网络、所述上下文感知网络、所述决策网络以及经过预训练的所述人体行为分类预测模型的参数，直至收敛。
10.一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求5至9中任意一项所述的人体行为感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110018248.0A CN112733930B (zh) | 2021-01-07 | 2021-01-07 | 人体行为感知系统、方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110018248.0A CN112733930B (zh) | 2021-01-07 | 2021-01-07 | 人体行为感知系统、方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112733930A true CN112733930A (zh) | 2021-04-30 |
| CN112733930B CN112733930B (zh) | 2022-10-18 |
Family
ID=75591006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110018248.0A Active CN112733930B (zh) | 2021-01-07 | 2021-01-07 | 人体行为感知系统、方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733930B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013166464A1 (en) * | 2012-05-04 | 2013-11-07 | Rearden, Llc | System and methods for coping with doppler effects in distributed-input distributed-output wireless systems |
| CN108924736A (zh) * | 2018-06-14 | 2018-11-30 | 西北师范大学 | 一种基于PCA-Kalman的无源室内人员状态检测方法 |
| CN110113116A (zh) * | 2019-05-14 | 2019-08-09 | 山东科技大学 | 基于wifi信道信息的人体行为识别方法 |
| CN110443206A (zh) * | 2019-08-07 | 2019-11-12 | 北京邮电大学 | 一种基于Wi-Fi信号的人体姿态图像生成方法和装置 |
| CN110706463A (zh) * | 2019-06-11 | 2020-01-17 | 南京信息工程大学 | 适于摔倒监测的wifi无源感知方法和系统 |
| CN110751115A (zh) * | 2019-10-24 | 2020-02-04 | 北京金茂绿建科技有限公司 | 一种无接触式人体行为识别方法和系统 |
| CN110855382A (zh) * | 2019-12-02 | 2020-02-28 | 北京邮电大学 | 基于csi进行人体活动数据检测的方法、装置及电子设备 |
| CN111262637A (zh) * | 2020-01-15 | 2020-06-09 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法 |
| CN111523378A (zh) * | 2020-03-11 | 2020-08-11 | 浙江工业大学 | 一种基于深度学习的人体行为预测方法 |
| CN111582200A (zh) * | 2020-05-12 | 2020-08-25 | 北京邮电大学 | 人体姿态估计方法、装置、电子设备及介质 |
| CN111797804A (zh) * | 2020-07-16 | 2020-10-20 | 西安交通大学 | 一种基于深度学习的信道状态信息人类活动识别方法及系统 |
| CN111954250A (zh) * | 2020-08-12 | 2020-11-17 | 郑州大学 | 一种轻量级Wi-Fi行为感知方法和系统 |
-
2021
- 2021-01-07 CN CN202110018248.0A patent/CN112733930B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013166464A1 (en) * | 2012-05-04 | 2013-11-07 | Rearden, Llc | System and methods for coping with doppler effects in distributed-input distributed-output wireless systems |
| CN108924736A (zh) * | 2018-06-14 | 2018-11-30 | 西北师范大学 | 一种基于PCA-Kalman的无源室内人员状态检测方法 |
| CN110113116A (zh) * | 2019-05-14 | 2019-08-09 | 山东科技大学 | 基于wifi信道信息的人体行为识别方法 |
| CN110706463A (zh) * | 2019-06-11 | 2020-01-17 | 南京信息工程大学 | 适于摔倒监测的wifi无源感知方法和系统 |
| CN110443206A (zh) * | 2019-08-07 | 2019-11-12 | 北京邮电大学 | 一种基于Wi-Fi信号的人体姿态图像生成方法和装置 |
| CN110751115A (zh) * | 2019-10-24 | 2020-02-04 | 北京金茂绿建科技有限公司 | 一种无接触式人体行为识别方法和系统 |
| CN110855382A (zh) * | 2019-12-02 | 2020-02-28 | 北京邮电大学 | 基于csi进行人体活动数据检测的方法、装置及电子设备 |
| CN111262637A (zh) * | 2020-01-15 | 2020-06-09 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法 |
| CN111523378A (zh) * | 2020-03-11 | 2020-08-11 | 浙江工业大学 | 一种基于深度学习的人体行为预测方法 |
| CN111582200A (zh) * | 2020-05-12 | 2020-08-25 | 北京邮电大学 | 人体姿态估计方法、装置、电子设备及介质 |
| CN111797804A (zh) * | 2020-07-16 | 2020-10-20 | 西安交通大学 | 一种基于深度学习的信道状态信息人类活动识别方法及系统 |
| CN111954250A (zh) * | 2020-08-12 | 2020-11-17 | 郑州大学 | 一种轻量级Wi-Fi行为感知方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 吴哲夫 等: "无线信道传感的朝向检测研究", 《传感技术学报》 * |
| 王慧 等: "基于特征分类的链路预测方法综述", 《计算机科学》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112733930B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733749B (zh) | 融合注意力机制的实时行人检测方法 | |
| US11087180B2 (en) | Risky transaction identification method and apparatus | |
| CN109919251B (zh) | 一种基于图像的目标检测方法、模型训练的方法及装置 | |
| US11776092B2 (en) | Color restoration method and apparatus | |
| KR20190094133A (ko) | 객체를 인식하는 인공 지능 장치 및 그 방법 | |
| CN113326835B (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
| US20210263954A1 (en) | Apparatus for functioning as sensor node and data center, sensor network, communication method and program | |
| CN113469340A (zh) | 一种模型处理方法、联邦学习方法及相关设备 | |
| CA3102017A1 (en) | Identifying image aesthetics using region composition graphs | |
| US20220156587A1 (en) | Multi-head deep metric machine-learning architecture | |
| CN110516113B (zh) | 一种视频分类的方法、视频分类模型训练的方法及装置 | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN112446244A (zh) | 人体动作的识别方法、神经网络的训练方法及相关装置、设备 | |
| CN113379045B (zh) | 数据增强方法和装置 | |
| CN112733930B (zh) | 人体行为感知系统、方法及存储介质 | |
| CN113570512A (zh) | 一种图像数据处理方法、计算机及可读存储介质 | |
| CN117216542A (zh) | 一种模型训练方法和相关装置 | |
| CN116680613A (zh) | 基于多尺度度量学习的人类活动识别综合优化方法 | |
| CN115169431B (zh) | 一种雷暴识别方法及系统 | |
| CN115314239A (zh) | 基于多模型融合的隐匿恶意行为的分析方法和相关设备 | |
| KR20230087268A (ko) | 오토-인코더를 이용한 신용평가모델 운영 방법 | |
| Zhou et al. | Measuring intrinsic human activity information using WiFi-based attention model | |
| Guo et al. | L-TLA: A Lightweight Driver Distraction Detection Method Based on Three-Level Attention Mechanisms | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| Jayakumar | Towards Robust Anomaly Detection in User Equipment Parameters: A Deep Generalized Canonical Correlation Analysis approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |