CN110991559A - 一种室内人员行为非接触式协同感知方法 - Google Patents
一种室内人员行为非接触式协同感知方法 Download PDFInfo
- Publication number
- CN110991559A CN110991559A CN201911317056.9A CN201911317056A CN110991559A CN 110991559 A CN110991559 A CN 110991559A CN 201911317056 A CN201911317056 A CN 201911317056A CN 110991559 A CN110991559 A CN 110991559A
- Authority
- CN
- China
- Prior art keywords
- stage
- csi
- human body
- perception
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008447 perception Effects 0.000 claims abstract description 44
- 238000001228 spectrum Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 19
- 230000016776 visual perception Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 10
- 238000000513 principal component analysis Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 241000288105 Grus Species 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 239000002356 single layer Substances 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 230000004438 eyesight Effects 0.000 abstract description 10
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 210000003414 extremity Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开一种室内人员行为非接触式协同感知方法，同时获取无线感知的初步识别结果，以及视觉感知的初步识别结果，再根据无线感知预测的情况与视觉感知预测的情况，使用贝叶斯模型平均得到最终的行为感知结果。本发明能够使得基于无线信号的行为感知方法和基于视觉的行为感知方法优势互补，提高人体行为感知的准确率和鲁棒性，适用于更多更普遍的室内场合。
Description
技术领域
本发明涉及无线感知技术领域和计算机视觉感知技术领域，具体涉及一种室内人员行为非接触式的协同感知方法。
背景技术
人体的行为感知是进行人机交互的基础，广泛应用在各类日常生活情景中，如环境监测、智能医疗保健、智能家居、智能监控和体感游戏等。在众多的生活场景中，可通过人体感知来实时感知用户的行为，并根据用户行为来进行服务，如感知到有老人在家中摔倒可及时通知子女或其他应急联系人，在智能家居系统中通过感知人体的特定行为来与系统进行交互操作等。
目前已有的人体行为感知技术主要分为以下几类：基于可穿戴传感器的行为感知、基于无线信号的行为感知和基于视频图像的行为感知。
基于可穿戴传感器的人体行为感知是目前动作识别研究领域的一个主流方向，可借助传感器采集人体动作相关信息数据进行捕获感知。专利申请号为201810185758.5公开的一种基于可穿戴传感器的人体行为识别装置及其系统，需要用户在关节处穿戴设备，并根据关节处的弯曲程度判断人体的行为活动；专利申请号为201610474447.1公开的一种设备的活动行为识别方法及装置同样需要用户携带传感设备，以分析传感设备检测到的数据来实现行为识别。但上述方法均需要穿戴设备来获取行为数据，容易对用户的生活带来不便。
基于无线信号的人体行为感知是利用人体在无线网络中对无线信号的影响，建立无线信号和人体状态之间的关系，从而感知人体在无线网络中的状态。专利申请号为201610355447.X公开的一种无线非绑定人体行为检测算法，能够通过分析信道状态信息的不同变化模式来识别人体行为；专利申请号为201610792444.2公开的基于机器学习的无线感知动作识别方法，使用SVM对预处理后的无线信号数据进行分类；专利申请号为201810500618.2公开的一种基于无线感知的高可靠用户行为识别方法，采用SMO分类方法实现了6个动作的识别。但是上述方法无法根据信号判定用户的具体位置等信息，难以处理多人场景，且均无法避免环境噪声以及设备噪声对信号稳定性的影响，方法的准确性和鲁棒性均有待提高。
基于视觉的人体行为感知技术是结合了视觉、图像处理、模式识别、深度学习等多个技术领域相关知识的一种行为感知方法，专利申请号为201910202628.2公开的一种基于双流网络的行为识别方法，使用双路卷积神经网络对视频帧进行处理得到分类结果；专利申请号为201810379626.6公开的一种基于视觉-语义特征的视频中行为识别方法和系统，在三维卷积神经网络提取短期时空特征的基础上，使用循环神经网络提取特异性长期行为特征以实现行为识别；专利申请号为201610184680.6公开的一种基于HOIRM和局部特征融合的行为识别方法，通过累加融合3种行为特征，然后使用K-Means聚类生成描述行为的特征词典，并使用SVM进行行为识别。上述方法虽然准确率较高，但均需要基于图像实现，而获取图像的条件对环境光线和视线等因素较为严格，可覆盖的范围非常有限，此外，多人场景及存在遮挡等情况的识别效果不佳，对于摄像头检测不到的位置无法进行行为感知。
综上所述，目前同类方法的主要缺陷如下：
1.基于可穿戴传感器的人体行为感知方法，需要用户穿戴特殊的传感设备，以获取人体活动数据，易对用户的生活带来不便；
2.基于无线信号的方法，易受环境噪声以及设备噪声影响，鲁棒性不高；
3.基于视觉的方法所需的图像数据对光照等条件要求较高，在光照较弱、多人及存在遮挡等情况下准确率较低，且覆盖范围较小。
发明内容
针对上述现有技术存在的问题，本发明提供一种室内人员行为非接触式协同感知方法，能够使基于无线信号的行为感知方法和基于视觉的行为感知方法优势互补，提高人体行为识别的准确率和鲁棒性，对实施环境要求不高，不受光线及人员数量的影响，且无需穿戴特殊的传感设备，覆盖范围广。
本发明一种室内人员行为非接触式协同感知方法，包括以下步骤：
S1获取无线感知的初步识别结果，具体方法如下：
1.2采集无线可覆盖范围内的CSI数据：
1.2使用共轭相乘、主成分分析法(PCA)对采集到的CSI进行预处理，消除噪音，提取主成分；
1.3将预处理后的CSI信号转化为多普勒频移(DFS)，同时根据达角(AoA)和反射路径范围分析出人体的位置和朝向；
1.4进行时间序列分析，生成身体坐标系速度谱特征并对其进行归一化处理；
1.5使用深度学习网络提取身体坐标系速度谱特征的高层空间特征，进行行为识别；
S2获得视觉感知的初步识别结果，具体方法如下：
2.1从多个摄像头中获取人体不同角度的视频帧信息；
2.2使用预训练的卷积神经网络(CNN)提取人体特征；
2.3联合使用两个CNN进一步提取更高层的人体特征图；
2.4评价关节点之间的相关性并进行关节点的匹配，将同一人的18个关节点连接起来；
2.5基于SMPL组合多角度的人体关节点信息，根据人体的关节点信息，使用图卷积神经网络(ST-GCN)进行行为识别。
S3使用贝叶斯模型平均处理步骤S1和步骤S2得到的初步识别结果，得到最终的行为感知结果f：
f＝wwififwifi+wcvfcv
其中，
为视觉感知结果所占权重，jp为视觉感知提取到的人体关节点的个数，fcv为视觉感知结果，wwifi＝1-wcv为无线感知结果所占权重,fwifi无线感知结果。
与现有技术相比，本发明将无线信号的行为感知方法和基于视觉的行为感知方法结合在一起，并通过贝叶斯模型平均处理上述两种方法得到的初步识别结果，得到最终的行为感知结果，有效地实现了无线信号行为感知方法和基于视觉行为感知方法的优势互补，削弱了遮挡、光照不佳、多人场合等情况带来的仅使用视觉感知方法准确率不高的问题，提高人体行为感知的准确性，视觉感知方法的融合恰好弥补了无线信号易受环境影响而无法准确感知的问题，提高了鲁棒性。同时由于无线信号的行为感知方法具有覆盖范围广、能够很好的保护用户隐私的优点，如在厕所、浴室等不便安装摄像头的私密场合，可人为提高无线感知结果所占比重，关闭视觉感知部分，从而更好的保护用户的隐私，此外，无线感知方法与视觉行为感知方法的结合也扩大了感知范围。
附图说明
图1为本发明流程图。
具体实施方法
下面结合附图对本发明作进一步说明。
如图1所示，本发明一种室内人员行为非接触式协同感知方法，包括步骤S1、S2、S3，其中，步骤S1、S2同步进行，具体方法如下：
S1获取无线感知的初步识别结果，方法如下：
1.1采集无线可覆盖范围内的CSI数据；
1.2使用共轭相乘、主成分分析法(PCA)对采集到的CSI进行预处理，消除噪音，提取主成分；
1)计算在同一WIFI NIC上两个天线的CSI的共轭相乘，对采集到的存在噪声信号的CSI数据
表示为：
其中，CSI测量值的超域m＝(i，g，k)，i＝0，1，...，T-1，g＝0，1，...，F-1，k＝0，1，…，S-1；T，F，S分别是包数、子载波数和传感器数；H(m)为不含噪声的CSI测量值；Δti，Δfg分别是m＝(i，g，k)和m＝(0，0，0，)时，H(m)之间的时间差、频率差；∈ti和∈f分别是收发器之间的定时偏移(TO)和载波频率偏移(CFO)，
是接收器传感器的初始相位；每次接收器启动时
的初始相位都是恒定的，可以进行手动校准，但对于∈ti和∈f在数据包之间有所不同，需要对每个数据包进行估算。
2)对
进行降噪：选择k0传感器作为参考传感器，计算每个传感器的CSI与k0传感器之间的共轭相乘结果C(m)：
其中，m0＝(i，g，k0)；
通过将多路径信号分类为静态(fD＝0)组Ps和动态(fD≠0)组Pd，将共轭相乘分为
其中
pn为静态组路径信号，
pl为动态组路径信号；
3)滤除高频分量和静态分量：由于静态信号随时间恒定，且比移动物体反射的信号强得多，通过高通滤波器滤去C(m)中的第一个求和项和第三个求和项，对其中的有效项去除静态响应，可得到：当m≠m0时，C(m)仅有
为有效项，据此通过最大似然估计法获得信号参数的估计值。
4)提取主成分：应用PCA对数据进行降噪处理，使用PCA来发现CSI流之间的时变相关性，并进行最佳组合以提取CSI流的主要成分，对于使用共轭相乘得到的信号的估计值，通过对该流进行长期平均计算得出每个流的常数偏移量，然后将CSI流切割为设定间隔的的样本的块，并在列中排列不同CSI流的块以形成矩阵H，计算相关矩阵HT×H，其维数为N×N，其中，HT为转置矩阵，N为CSI流的数量，对相关矩阵进行特征分解以计算特征向量，并使用等式hnk＝H×qnk构造主成分，其中,q和h分别表示特征向量和主成分，nk＝0，1，...，U,U为特征向量总数。
1.3将预处理后的CSI信号转化为DFS，同时根据达角(AoA)和反射路径范围分析出人体的位置和朝向
其中，将预处理后的CSI信号转化为DFS的具体方法如下：
从预处理后的CSI中提取DFS，通过用相应的DFS表示多径信号的相位，可以将CSI变换为:
其中，Hs(f)为无线载波频率为f时的静态信号之和，αl(t)为数据包到达时间为t时的第三路径的复衰减，∈(f，t)是由定时对准偏移、采样频率偏移和载波频率偏移引起的相位误差，
为多普勒频移，公式中的j为复数单位。
根据达角(AoA)和反射路径范围来确定人体位置和朝向，以人的位置为原点的局部人体坐标系，具体方法如下：
使用广义空间最大期望算法从原始CSI测量数据中计算出LoS信号的
接收器阵列Ψr的方向可以从
和(xr，yr)计算，将反射路径范围和AoA分别表示为
和
则
由此可以得到人体的位置和朝向
其中，(x，y)为人体位置坐标，(xr，yr)为接收器坐标，
1.4进行时间序列分析，生成身体坐标系速度谱特征并对其进行归一化处理，其中,生成身体坐标系速度谱特征的具体方法如下：
1)量化身体坐标系速度谱
速度矩阵V为M×M的离散矩阵，根据无线发射器、接收器的位置和DFS谱得到速度矩阵V所量化的M×M的离散矩阵，表示在体坐标系中分解的速度分量,每个速度分量都会将信号功率贡献给某个频率分量
其中，
和
是由发射机和接收机的位置决定的系数,lk＝1，...，Link,Link为链路总数；
其中，
分别为第lk条链路的发射器和接收器的坐标；(xt，yt)为发射器坐标；
由于
和
取决于第lk条链路的的位置，因此身体坐标系速度谱在第lk条链路上的投影关系是固定的，定义分配矩阵
其中，fkf是DFS曲线中的第kf个频率采样点；kf＝0，1，...G，G为频域中采样点的总数；
是矢量化的身体坐标系速度谱V的第kv个元素对应的速度分量,kv＝0，1，...M2；
因此第lk个链接的DFS曲线和身体坐标系速度谱关系可建模为：
D(lk)＝c(lk)A(lk)V
其中c(lk)为反射信号传播损耗引起的比例因子，A(lk)为上文中第lk条链路的分配矩阵。
2)采用压缩感知的思想，并将身体坐标系速度谱的估计公式化为l0最优化问题，得到身体坐标系速度谱特征：
其中，M是WIFI链接的数量；速度分量数目的稀疏性由术语η||V||0强制，其中η表示稀疏系数,||...||0是非零速度分量的数目；EMD(...，...)是两个分布之间的EMD距离(Earth Move’s Distance)。
1.5使用深度学习网络提取身体坐标系速度谱特征的高层空间特征，进行行为识别
首先使用卷积神经网络(CNN)提取高层特征，然后使用循环神经网络(RNN)进行分类，得到识别结果。具体地，在RNN中选择含有门控循环单元GRU(Gated Recurrent Unit)的单层LSTM来建模时间关系，将CNN的输出输入到GRUs中，生成一个128维向量；在此基础上，增加一个dropout层进行正则化，并利用具有交叉熵损失的softmax分类器进行类别预测，得到识别结果。
S2获取视觉感知的初步识别结果，方法如下：
2.1从多个摄像头中获取人体不同角度的视频帧信息；
2.2使用预训练的卷积神经网络(CNN)提取人体特征，具体地，使用预训练的mobilenet来提取图像中的人体特征，有效地提高了提取人体特征的实时性，降低了硬件设备要求。
2.3联合使用两个CNN进一步提取更高层的人体特征图；
人体特征图包括关节点置信度分布图和肢体矢量图；在进行联合训练时，使用多分支的多级CNN架构，共两分支、六级，其中，一个分支中的第stage个阶段预测置信度映射Sstag：
Sstage＝ρstage(FM，Sstage-1，Lstage-1)
另一个分支中的第stage个阶段预测PAF向量Lstage：
Lstage＝φstage(FM，Sstage-1，Lstage-1)
其中，ρstage和φstage是第stage阶段推断的CNN，FM为使用mobilenet提取的人体特征。
在对网络进行训练时，总体的损失函数为：
其中，p为关节点，
为第stage阶段预测的人体关节点置信图；
为真实人体关节点置信图；o表示真实身体某个关节点；O为关节点总数；
为stage阶段预测的肢体矢量；
为真实肢体矢量；W(p)是一个二进制位，当关节点p并没有在图像上显示的时，W(p)＝0，C为肢体矢量总数；
完成训练后，向预训练的多分支的多级卷积神经网络(CNN)中输入图像即可得到人体关节点置信度分布图和肢体矢量图。
2.4评价关节点之间的相关性并进行关节点的匹配，将同一人的18个关节点(包括鼻子、脖子、左右眼、左右耳、左右肩，左右肘，左右手腕、左右臀、左右膝、左右踝)连接起来
计算两个关节点连线向量和两关节点连线上各像素的PAF向量之间的点积的积分作为两个关键点之间的相关性：
其中，
表示两个身体部位
和
之间的位置，Lc为沿线采样预测得到的两个部位之间的关联置信度，然后通过匈牙利算法来得到一个最大匹配。
2.5基于SMPL组合多角度的人体关节点信息，根据人体的关节点信息，使用图卷积神经网络(ST-GCN)进行行为识别
1)从步骤2.4中得到的2D关节点信息中预测3D关节点位置，拟合出3D的人体信息，其中，2D关节点信息包括鼻子、脖子、左右眼、左右耳、左右肩，左右肘，左右手腕、左右臀、左右膝、左右踝，共18个关节点的坐标；
2)使用已有数据集中每个动作的多帧3D关节点信息及其相应的标签来训练图卷积神经网络(ST-GCN)，在进行行为识别时，向预训练的图卷积神经网络中输入3D关节点序列信息，得到识别结果。
S3使用贝叶斯模型平均处理步骤S1和步骤S2得到的初步识别结果，得到最终的行为感知结果f：
f＝wwififwifi+wcvfcv
其中，
为视觉感知结果所占权重，jp为视觉感知提取到的人体关节点的个数，fcv为视觉感知结果，wwifi＝1-wcv为无线感知结果所占权重,fwifi无线感知结果。
Claims (10)
1.一种室内人员行为非接触式协同感知方法，其特征在于，包括步骤S1、S2、S3，其中，步骤S1、S2同步进行，具体方法如下：
S1获取无线感知的初步识别结果
1.1采集无线可覆盖范围内的CSI数据：
1.2使用共轭相乘、主成分分析法(PCA)对采集到的CSI进行预处理，消除噪音，提取主成分；
1.3将预处理后的CSI信号转化为多普勒频移(DFS)，同时根据达角(AoA)和反射路径范围分析出人体的位置和朝向；
1.4进行时间序列分析，生成身体坐标系速度谱特征并对其进行归一化处理；
1.5使用深度学习网络提取身体坐标系速度谱特征的高层空间特征，进行行为识别；
S2获得视觉感知的初步识别结果，具体方法如下：
2.1从多个摄像头中获取人体不同角度的视频帧信息；
2.2使用预训练的卷积神经网络(CNN)提取人体特征；
2.3联合使用两个CNN进一步提取更高层的人体特征图；
2.4评价关节点之间的相关性并进行关节点的匹配，将同一人的18个关节点连接起来；
2.5基于SMPL组合多角度的人体关节点信息，根据人体的关节点信息，使用图卷积神经网络(ST-GCN)进行行为识别；
S3使用贝叶斯模型平均处理步骤S1和步骤S2得到的初步识别结果，得到最终的行为感知结果f：
f＝wwififwifi+wcvfcv
其中，
为视觉感知结果所占权重，jp为视觉感知提取到的人体关节点的个数，fcv为视觉感知结果，wwifi＝1-wcv为无线感知结果所占权重,fwifi无线感知结果。
2.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤1.2中对CSI数据进行预处理的具体方法如下：
1)采集到的存在噪声信号的CSI数据
其中，CSI测量值的超域m＝(i，g，k)，i＝0，1，...，T-1，g＝0，1，...，F-1，k＝0，1，…，S-1；T，F，S分别是包数、子载波数和传感器数；H(m)为不含噪声的CSI测量值；Δti，Δfg分别是m＝(i，g，k)和m＝(0，0，0，)时，H(m)之间的时间差、频率差；∈ti和∈f分别是收发器之间的定时偏移(TO)和载波频率偏移(CFO)；
是接收器传感器的初始相位；
2)对
进行降噪，选择k0传感器作为参考传感器，计算每个传感器的CSI与k0传感器之间的共轭相乘结果C(m)：
其中，m0＝(i，g，k0)；
通过将多路径信号分类为静态组Ps和动态组Pd，将共轭相乘分为
其中
pn为静态组路径信号，
pl为动态组路径信号；
3)滤除高频分量和静态分量：滤去C(m)中的第一个求和项和第三个求和项，对其中的有效项去除静态响应，可得到：当m≠m0时，C(m)仅有
为有效项，据此通过最大似然估计法获得信号参数的估计值；
4)提取主成分：应用PCA来发现CSI流之间的时变相关性，以提取CSI流的主要成分，对于使用共轭相乘和最大似然估计得到的信号的估计值，通过对该流进行长期平均计算得出每个流的常数偏移量，然后将CSI流切割为设定间隔的的样本的块，并在列中排列不同CSI流的块以形成矩阵H，计算相关矩阵HT×H，其维数为N×N，其中，N是CSI流的数量，对相关矩阵进行特征分解以计算特征向量，并使用等式hnk＝H×qnk构造主成分，其中,q和h分别表示特征向量和主成分，nk＝0，1，...，U,U为特征向量总数。
3.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤1.3中将预处理后的CSI信号转化为多普勒频移(DFS)，具体方法如下：
从预处理后的CSI中提取DFS，通过用相应的DFS表示多径信号的相位，将CSI转换为:
其中，Hs(f)是无线载波频率为f时的静态信号之和，αl(t)为数据包到达时间为t时的第三路径的复衰减，∈(f，t)是由定时对准偏移、采样频率偏移和载波频率偏移引起的相位误差，
为多普勒频移。
4.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤1.3中人体位置和朝向的分析方法如下：
使用广义空间最大期望算法从原始CSI测量数据中计算出LoS信号的
接收器阵列Ψr的方向从
和(xr，yr)计算，将反射路径范围和AoA分别表示为
和
则
由此得出人体的位置和朝向
其中，(x，y)为人体位置坐标，(xr，yr)为接收器坐标，
5.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤1.4中生成身体坐标系速度谱特征的具体方法如下：
1)量化身体坐标系速度谱
速度矩阵V为M×M的离散矩阵，根据无线发射器、接收器的位置和DFS谱得到速度矩阵V所量化的M×M的离散矩阵，M为体坐标各轴上分解的速度分量可能值的个数表示在体坐标系中分解的速度分量,每个速度分量都会将信号功率贡献给某个频率分量
在第lk条链路∶
其中，
和
是由发射机和接收机的位置决定的系数,lk＝1，...，Link,Link为链路总数；
其中，
分别为第lk条链路的发射器和接收器的坐标，λ为载波波长；
由于
和
取决于第lk条链路的的位置，因此身体坐标系速度谱在第lk条链路上的投影关系是固定的，定义分配矩阵
其中，fkf是DFS曲线中的第kf个频率采样点，kf＝0，1，...G，G为频域中采样点的总数，
是矢量化的身体坐标系速度谱的速度矩阵V的第kn个元素对应的速度分量，kn＝0，1，...M2；
因此，第lk个链接的DFS曲线和身体坐标系速度谱关系可建模为：
D(lk)＝c(lk)A(lk)V
其中，c(lk)为反射信号传播损耗引起的比例因子，A(lk)为第lk条链路的分配矩阵；
2)采用压缩感知的思想，并将身体坐标系速度谱的估计公式化为l0最优化问题，得到身体坐标系速度谱特征：
其中，速度分量数目的稀疏性由术语η||V||0强制，其中η表示稀疏系数,||...||0是非零速度分量的数目,EMD(...，...)是两个分布之间的EMD距离(Earth Move’s Distance)。
6.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤1.5行为识别方法如下：
首先使用CNN提取身体坐标系速度谱特征的高层特征，然后使用循环神经网络(RNN)进行分类，得到识别结果，具体地，在RNN中选择含有门控循环单元GRU的单层LSTM来建模时间关系，将CNN的输出输入到GRUs中，生成一个128维向量，在此基础上，增加一个dropout层进行正则化，并利用具有交叉熵损失的softmax分类器进行类别预测，得到识别结果。
7.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤2.2中使用预训练的mobilenet来提取图像中的人体特征。
8.根据权利要求1或7所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤2.3具体方法如下：
在进行联合训练时，使用多分支的多级CNN架构，共两分支、六级，其中一个分支中的第stage个阶段预测置信度映射Sstage：
Sstage＝ρstage(FM，Sstage-1，Lstage-1)
另一个分支中的第stage个阶段预测PAF向量Lstage：
Lstage＝φstage(FM，Sstage-1，Lstage-1)
其中，ρstage和φstage是第stage阶段推断的CNN，FM为使用mobilenet提取的人体特征；
在对网络进行训练时，总体的损失函数为：
其中，p为关节点，
为第stage阶段预测的人体关节点置信图；
为真实人体关节点置信图，o表示真实身体某个关节点,O为关节点总数，
为stage阶段预测的肢体矢量，
为真实肢体矢量，W(p)是一个二进制位，当关节点p并没有在图像上显示时，W(p)＝0，C为肢体矢量总数；
完成训练后，向预训练的多分支的多级CNN中输入图像即可得到人体关节点置信度分布图和肢体矢量图。
9.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤2.4具体方法如下：
计算每对关节点连线向量和两关节点连线上各像素的PAF向量之间的点积的积分作为两个关键点之间的相关性：
其中，
表示两个身体部位
和
之间的位置，Lc为沿线采样预测得到的两个部位之间的关联置信度，然后通过匈牙利算法来得到一个最大匹配。
10.根据权利要求1所述的一种室内人员行为非接触式协同感知方法，其特征在于，步骤2.5中使用图卷积神经网络进行行为识别的具体方法如下：
1)从步骤2.4中得到的2D关节点信息中预测3D关节点位置，拟合出3D的人体信息；
2)使用已有数据集中每个动作的多帧3D关节点信息及其相应的标签来训练图卷积神经网络，在进行行为识别时，向预训练的图卷积神经网络中输入3D关节点序列信息，得到识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911317056.9A CN110991559B (zh) | 2019-12-19 | 2019-12-19 | 一种室内人员行为非接触式协同感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911317056.9A CN110991559B (zh) | 2019-12-19 | 2019-12-19 | 一种室内人员行为非接触式协同感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991559A true CN110991559A (zh) | 2020-04-10 |
| CN110991559B CN110991559B (zh) | 2023-05-12 |
Family
ID=70062972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911317056.9A Active CN110991559B (zh) | 2019-12-19 | 2019-12-19 | 一种室内人员行为非接触式协同感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991559B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380935A (zh) * | 2020-11-03 | 2021-02-19 | 深圳技术大学 | 面向自动驾驶的人机协同感知方法及系统 |
| CN113033407A (zh) * | 2021-03-26 | 2021-06-25 | 北京理工大学 | 一种利用智能音箱的非接触式健身监测方法 |
| CN113033495A (zh) * | 2021-04-30 | 2021-06-25 | 重庆大学 | 一种基于k-means算法的弱监督行为识别方法 |
| CN113783639A (zh) * | 2020-06-10 | 2021-12-10 | 北京大学 | 无接触感知边界确定方法、系统、计算机设备及存储介质 |
| CN114676263A (zh) * | 2022-03-03 | 2022-06-28 | 大连海事大学 | 一种鲁棒的本征谱构建方法及鲁棒的无线感知方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407905A (zh) * | 2016-08-31 | 2017-02-15 | 电子科技大学 | 基于机器学习的无线感知动作识别方法 |
| CN106658590A (zh) * | 2016-12-28 | 2017-05-10 | 南京航空航天大学 | 基于WiFi信道状态信息多人室内环境状态监控系统的设计与实现 |
| CN110337066A (zh) * | 2019-05-21 | 2019-10-15 | 西安电子科技大学 | 基于信道状态信息室内人员活动识别方法、人机交互系统 |
| CN110543842A (zh) * | 2019-08-22 | 2019-12-06 | 清华大学 | 一种基于Wi-Fi信号的目标运动识别方法及系统 |
-
2019
- 2019-12-19 CN CN201911317056.9A patent/CN110991559B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407905A (zh) * | 2016-08-31 | 2017-02-15 | 电子科技大学 | 基于机器学习的无线感知动作识别方法 |
| CN106658590A (zh) * | 2016-12-28 | 2017-05-10 | 南京航空航天大学 | 基于WiFi信道状态信息多人室内环境状态监控系统的设计与实现 |
| CN110337066A (zh) * | 2019-05-21 | 2019-10-15 | 西安电子科技大学 | 基于信道状态信息室内人员活动识别方法、人机交互系统 |
| CN110543842A (zh) * | 2019-08-22 | 2019-12-06 | 清华大学 | 一种基于Wi-Fi信号的目标运动识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 许杨: "基于信道状态信息的人体行走感知技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113783639A (zh) * | 2020-06-10 | 2021-12-10 | 北京大学 | 无接触感知边界确定方法、系统、计算机设备及存储介质 |
| CN113783639B (zh) * | 2020-06-10 | 2022-09-30 | 北京大学 | 无接触感知边界确定方法、系统、计算机设备及存储介质 |
| CN112380935A (zh) * | 2020-11-03 | 2021-02-19 | 深圳技术大学 | 面向自动驾驶的人机协同感知方法及系统 |
| CN112380935B (zh) * | 2020-11-03 | 2023-05-26 | 深圳技术大学 | 面向自动驾驶的人机协同感知方法及系统 |
| CN113033407A (zh) * | 2021-03-26 | 2021-06-25 | 北京理工大学 | 一种利用智能音箱的非接触式健身监测方法 |
| CN113033407B (zh) * | 2021-03-26 | 2022-07-22 | 北京理工大学 | 一种利用智能音箱的非接触式健身监测方法 |
| CN113033495A (zh) * | 2021-04-30 | 2021-06-25 | 重庆大学 | 一种基于k-means算法的弱监督行为识别方法 |
| CN113033495B (zh) * | 2021-04-30 | 2022-08-02 | 重庆大学 | 一种基于k-means算法的弱监督行为识别方法 |
| CN114676263A (zh) * | 2022-03-03 | 2022-06-28 | 大连海事大学 | 一种鲁棒的本征谱构建方法及鲁棒的无线感知方法 |
| CN114676263B (zh) * | 2022-03-03 | 2023-09-29 | 大连海事大学 | 一种鲁棒的本征谱构建方法及鲁棒的无线感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991559B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991559B (zh) | 一种室内人员行为非接触式协同感知方法 | |
| Zhang et al. | Widar3. 0: Zero-effort cross-domain gesture recognition with wi-fi | |
| Zou et al. | Towards occupant activity driven smart buildings via WiFi-enabled IoT devices and deep learning | |
| Jalal et al. | Robust human activity recognition from depth video using spatiotemporal multi-fused features | |
| Vishnu et al. | Human fall detection in surveillance videos using fall motion vector modeling | |
| CN106658590B (zh) | 基于WiFi信道状态信息多人室内环境状态监控系统的设计与实现 | |
| Htike et al. | Human activity recognition for video surveillance using sequences of postures | |
| Sehairi et al. | Elderly fall detection system based on multiple shape features and motion analysis | |
| Xu et al. | Attention-based gait recognition and walking direction estimation in wi-fi networks | |
| Yu et al. | A robust fall detection system for the elderly in a smart room | |
| Nakamura et al. | Wi-Fi-based fall detection using spectrogram image of channel state information | |
| Dirafzoon et al. | Action classification from motion capture data using topological data analysis | |
| CN114219853A (zh) | 一种基于无线信号的多人三维姿态估计方法 | |
| CN114818788A (zh) | 基于毫米波感知的追踪目标状态识别方法和装置 | |
| Hu et al. | ResFi: WiFi-enabled device-free respiration detection based on deep learning | |
| Albawendi et al. | Video based fall detection with enhanced motion history images | |
| Nale et al. | Suspicious human activity detection using pose estimation and lstm | |
| Moshiri et al. | CSI-based human activity recognition using convolutional neural networks | |
| Sheu et al. | Improvement of human pose estimation and processing with the intensive feature consistency network | |
| CN112149531B (zh) | 一种行为识别中人体骨骼数据的建模方法 | |
| Gu et al. | Device‐Free Human Activity Recognition Based on Dual‐Channel Transformer Using WiFi Signals | |
| CN116626596A (zh) | 一种基于毫米波雷达的社交意图识别方法及系统 | |
| Porwal et al. | Recognition of human activities in a controlled environment using CNN | |
| Rashidan et al. | Detection of different classes moving object in public surveillance using artificial neural network (ann) | |
| Kim et al. | Continuous gesture recognition using HLAC and low-dimensional space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |