CN110458118A - 基于信道状态信息的简单手语识别方法 - Google Patents

基于信道状态信息的简单手语识别方法 Download PDF

Info

Publication number
CN110458118A
CN110458118A CN201910752275.3A CN201910752275A CN110458118A CN 110458118 A CN110458118 A CN 110458118A CN 201910752275 A CN201910752275 A CN 201910752275A CN 110458118 A CN110458118 A CN 110458118A
Authority
CN
China
Prior art keywords
sample
sign language
csi
identified
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910752275.3A
Other languages
English (en)
Other versions
CN110458118B (zh
Inventor
肖甫
司娜娜
周剑
盛碧云
徐松
周颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910752275.3A priority Critical patent/CN110458118B/zh
Publication of CN110458118A publication Critical patent/CN110458118A/zh
Application granted granted Critical
Publication of CN110458118B publication Critical patent/CN110458118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于信道状态信息的简单手语识别方法，采集的简单手语的CSI信号，获得CSI信号样本；将采集到的CSI信号进行预处理；从预处理后的信号中获取手语的关键信息；由上述步骤提取设定种类的简单手语的关键信息，作为模板样本；提取待识别的简单手语的关键信息，作为待识别样本；利用DTW算法，计算待识别样本与模板样本的累加距离，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型；该种基于信道状态信息的简单手语识别方法，采用CSI信号作为不同手语动作的判定依据，由于对于不同的手语动作，CSI信号有明显差异，能够有效提高手语识别的精准度，具有较好的简便性、适应性、功能性、鲁棒性。

Description

基于信道状态信息的简单手语识别方法
技术领域
本发明涉及一种基于信道状态信息的简单手语识别方法。
背景技术
手语是用手势比量动作，根据手势的变化模拟形象或者音节以构成的一定意思或词语，是听障人群和无法言语的人(即聋哑人)独有的一种互相交流思想的沟通方式。这种沟通方式仅仅能让听障人士之间彼此交流，或让能读懂手语的正常人群与之交流，但仍然不能满足听障人士与大众人群之间正常交流的需求。这便意味在社会上的某些公共场所，例如政务或服务行业等场景，听障人士在正常沟通上有可能遇到很大不便。而基于信道状态信息的简单手语识别方法，恰好成为了一种良好的解决方案。
由于手语的表达有一定的特殊性，要进行相应的捕获并不容易。而且在“比划手势”这种行为上，本身就不存在绝对的精准度，加之一些手语词汇的表达非常接近，词与词之间又存在着手势相近的问题。因此，在手势识别方面应寻找对手势的捕获和识别敏感度更高的研究方法。
现有的手语识别方法相对较为复杂，存在识别度低、实时性差、识别不准确、易出现手语动作混淆判别的问题造成翻译错误，严重影响到聋哑人沟通，不方便聋哑人使用。
上述问题是在手语识别过程中应当予以考虑并解决的问题。
发明内容
本发明的目的是提供一种基于信道状态信息的简单手语识别方法解决现有技术中存在的识别度低、实时性差、识别不准确的问题。
本发明的技术解决方案是：
一种基于信道状态信息的简单手语识别方法，具体包括以下步骤，
S1、采集的简单手语的CSI信号，获得CSI信号样本；
S2、将步骤S1采集到CSI信号样本中的CSI信号进行预处理；
S3、对步骤S2预处理后的信号，划分手语信号窗口，求取每个窗口幅值谱的标准差，由窗口幅值谱的标准差与设定的阈值，确定存在手语活动的窗口区间，并提取该窗口区间内最能够表示简单手语活动的特征即CSI值，作为关键信息；
S4、由步骤S1-S3提取设定种类的简单手语的关键信息，作为模板样本：
其中，At是第t种简单手语的模板样本，qt是第t个模板样本At中CSl值的数量，是第t个模板样本At的第j个CSl值；
S5、由步骤S1-S3提取待识别的简单手语的关键信息，作为待识别样本B，B＝[b1，b2，...，bi，...，bp]，其中，bi是待识别样本B中第i个CSI值，p是待识别样本B中CSI值的数量，p＝ed×u-(st-1)×u，其中，st是第一个幅值谱标准差大于阈值的窗口下标，ed是最后一个幅值谱标准差大于阈值的窗口下标，u是每个窗口中CSI值的数量；
S6、利用DTW算法，计算待识别样本与模板样本的累加距离，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型。
进一步地，步骤S1中，采集简单手语的CSI信号，获得CSI信号样本，具体为，
采集设定时间的CSI信号，获得按时间排序的CSI信号的样本 其中，n表示样本X中采集时间点的数量，l是样本X中子载波的数量，xji是样本X中第j个子载波的第i个时间点的CSI值。
进一步地，步骤S2中，对采集到的CSI信号样本中的CSI信号进行预处理，具体为，
S21、利用主成分分析PCA将样本X的维度从l维降到k维，得到k维的样本 其中，n表示利用PCA处理后的样本Y中时间点的数量，k是利用PCA处理后的样本Y的主成分数量，样本Y的第i个行向量便是样本X的第i主成分，yji是样本Y中第j个主成分的第i个时间点的降维后的CSI值，从中获得第一主成分，即Y*＝[y11，y12，...，y1i，...，y1n]，其中，y1i是第一主成分Y*中第i个时间点的降维后的CSI值；
S22、将步骤S21得到的第一主成分Y*进行零-均值规范化z-score标准化处理，获得z-score标准化后的样本H＝[h1，h2，...，hi，...，hn]，其中n是z-score标准化后的样本片中所有时间点的数量，hi是第i个时间点z-score标准化后的CSI值。
进一步地，步骤522中，第i个时间点z-score标准化后的CSI值hi通过下式计算：
其中，y1i是第一主成分Y*中第i个时间点的降维后的CSI值，μ表示Y*中所有降维后的CSI值的均值，即：σ表示Y*所有降维后的CSI值的标准差，即：其中，n是Y*中所有时间点的数量。
进一步地，步骤S3中，获取最能够表示简单手语活动的特征即CSI值，作为关键信息，具体包括以下步骤：
S31、将样本H中每u个z-score标准化后的CSI值作为一个窗口，即H＝[W1，W2，...，Wi，...，Wβ]，其中，β是样本H中窗口的数量，β＝n/u，Wi是样本H的第i个窗口，即Wi＝[h(i-1)×u+1，h(i-1)×u+2，...，h(i-1)×u+j，...，hi×u]，i＝1，2，3，...，β，其中，h(i-1)×u+j是样本H中第(i-1)×u+j个时间点的z-score标准化后的CSI值；
532、通过快速傅里叶变换求得每个窗口的幅值谱，进而计算每个窗口幅值谱的标准差σi；
S33、由步骤S2中获得的每个窗口幅值谱的标准差σi，以阈值σth为临界点：当σi＜σth时，该窗口不存在手语活动；当σi≥σtn时，该窗口存在手语活动；找到第一个大于阈值的窗口Wst和最后一个大于阈值的窗口Wed，那么在这两个窗口之间即这个窗口区间内，判定有手语活动，并获取样本H的关键信息B＝[Wst，Wst+1，...，Wed-1，Wed]＝[h(st-1)×u+1，h(st-1)×u+2，...，hed×u]，其中st是第一个幅值谱标准差大于阈值的窗口下标，ed是最后一个幅值谱标准差大于阈值的窗口下标，u是每个窗口中CSI值的数量。
进一步地，步骤S32中，计算每个窗口幅值谱的标准差；具体为，
窗口Wi对应的幅值谱Si表示如下：
Si＝[si1，si2，...，sij，...，siN]，i＝1，2，...，β
其中，Si是样本H的第i个窗口的幅值谱，N是幅值谱Si中所有幅值的数量，sij是幅值谱Si的第j个幅值；那么，幅值谱Si中所有幅值的标准差σi表示为：
其中，μi为幅值谱Si中所有幅值的均值，即
进一步地，步骤S6中，利用DTW算法，计算待识别样本与模板样本的累加距离，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型，具体步骤如下：
S61、计算待识别样本B和模板样本At的累加距离Dt(p，qt)，其中p是待识别样本B中CSI值的数量，qt是第t个模板样本At中CSI值的数量；
S62、将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型。
进一步地，步骤S61中，计算待识别样本B和模板样本At的累加距离Dt(p，qt)，具体为：
S611、待识别样本B的前i个CSI值与第t个模板样本At的前j个CSI值的累加距离Dt(i，j)的计算如下：
其中，Dt(i，j-1)是待识别样本B的前i个CSI值与第t个模板样本At的前j-1个CSI值的累加距离，Dt(i-1，j)是待识别样本B的前i-1个CSI值与第t个模板样本At的前j个CSI值的累加距离，Dt(i-1，j-1)是待识别样本B的前i-1个CSI值与第t个模板样本At的前j-1个CSI值的累加距离，Distt(i，j)是待识别样本B的第i个CSI值与第t个模板样本At的第j个CSI值的距离，即其中bi是待识别样本B的第i个CSI值，是第t个模板样本At的第j个CSI值；
S612、根据累加距离Dt(i，j)的计算公式，迭代地计算出待识别样本B与第t个模板样本At的累加距离Dt(p，qt)，记为Dt。
进一步地，步骤S62中，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型，具体为，对于τ个模板样本At，t＝1，2，3，...，τ，分别计算待识别样本B与At的累加距离Dt，t＝1，2，3，...，τ，其中τ为模板样本的个数；将这τ个累加距离的最小值对应的模板样本种类作为待识别样本的种类，即待识别样本的手语种类ξ为：其中τ为模板样本的个数。
本发明的有益效果是：
一、该种基于信道状态信息的简单手语识别方法，采用CSI信号作为不同手语动作的判定依据，由于对于不同的手语动作，CSI信号有明显差异，能够有效提高手语识别的精准度，具有较好的简便性、适应性、功能性、鲁棒性。
二、该种基于信道状态信息的简单手语识别方法，虑到手语的特殊性，将识别标准更为细化，提高了识别的准确性。相比较现有的手语识别方法，在算法的复杂度上得到了有效降低。本发明实现了免穿戴、多适用性的被动式识别。
三、该种基于信道状态信息的简单手语识别方法，采用CSI信号替代了传统的接收的信号强度指示(Received Signal Strength Indication，RSSI)，克服了RSSI粗粒度和时间稳定性差的缺陷。CSl信号更为敏感，能够捕获更为细粒度的信息，能够穿墙接收信号，而且能够区分多条路径，能够适用更多的应用场景。
四、该种基于信道状态信息的简单手语识别方法，采用物理层信息CSl作为室内环境下人员检测评估因子，由于WiFi设备已遍布在大街小巷，有利于该方法的普及和应用，并减少了部署设施的成本和时间，一定程度上提高了方法的可行性。
五、该种基于信道状态信息的简单手语识别方法，鲁棒性较优，在监测手语信息的过程中，考虑到不同的人在比量手语时，速度、高度有可能会不一致等问题，利用DTW算法将其中一个或者两个序列在时间轴下warping扭曲，通过把时间序列进行延伸和缩短，来计算两个时间序列性之间的相似性，实现在同一空间上可靠且稳定的识别效果。
附图说明
图1是本发明实施例基于信道状态信息的简单手语识别方法的说明示意图；
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
实施例的一种基于信道状态信息的简单手语识别方法，采集简单手语的信道状态信息(Channel State Information，CSI)；对采集到的CSI信号进行预处理；从预处理后的信号中获取手语的关键信息，由以上步骤分别得到模板样本与待识别样本；利用动态时间规整(DynamicTime Warping，DTW)算法，将待识别样本与模板样本进行比对分析，以识别待识别样本的种类。本发明方法采用CSI信号作为不同手语动作的判定依据，由于不同的手语动作，CSI信号有明显差异。本发明方法能够有效提高手语识别的精准度，能够捕获更为细粒度的信息，能够穿墙接收信号，而且能够区分多条路径，能够适用更多的应用场景。
一种基于信道状态信息的简单手语识别方法，如图1，具体包括以下步骤，
S1、采集的简单手语的CSI信号，获得CSI信号样本。具体为，
采集设定时间的CSI信号，获得按时间排序的CSI信号的样本 其中，n表示样本X中采集时间点的数量，l是样本X中子载波的数量，xji是样本X中第j个子载波的第i个时间点的CSI值。
S2、将步骤S1采集到CSI信号样本中的CSI信号进行预处理。具体为，
S21、利用主成分分析PCA将样本X的维度从l维降到k维，得到k维的样本 其中，n表示利用PCA处理后的样本Y中时间点的数量，k是利用PCA处理后的样本Y的主成分数量，样本Y的第i个行向量便是样本X的第i主成分，yji是样本Y中第j个主成分的第i个时间点的降维后的CSI值，从中获得第一主成分，即Y*＝[y11，y12，...，y1i，...，y1n]，其中，y1i是第一主成分Y*中第i个时间点的降维后的CSI值；
S22、将步骤S21得到的第一主成分Y*进行零-均值规范化z-score标准化处理，获得z-score标准化后的样本H＝[h1，h2，...，hi，...，hn]，其中n是z-score标准化后的样本H中所有时间点的数量，hi是第i个时间点z-score标准化后的CSI值。
进一步地，步骤S22中，第i个时间点z-score标准化后的CSI值hi通过下式计算：
其中，y1i是第一主成分Y*中第i个时间点的降维后的CSI值，μ表示Y*中所有降维后的CSI值的均值，即：σ表示Y*所有降维后的CSI值的标准差，即：其中，n是Y*中所有时间点的数量。
S3、对步骤S2预处理后的信号，划分手语信号窗口，求取每个窗口幅值谱的标准差，由窗口幅值谱的标准差与设定的阈值，确定存在手语活动的窗口区间，并提取该窗口区间内最能够表示简单手语活动的特征即CSI值，作为关键信息；具体包括以下步骤：
S31、将样本H中每u个z-score标准化后的CSI值作为一个窗口，即H＝[W1，W2，...，Wi，...，Wβ]，其中，β是样本H中窗口的数量，β＝n/u，Wi是样本H的第i个窗口，即Wi＝[h(i-1)×u+1，h(i-1)×u+2，...，h(i-1)×u+j，...，hi×u]，i＝1，2，3，...，β，其中，h(i-1)×u+j是样本H中第(i-1)×u+j个时间点的z-score标准化后的CSI值；
S32、通过快速傅里叶变换求得每个窗口的幅值谱，进而计算每个窗口幅值谱的标准差σi；具体为，
窗口Wi对应的幅值谱Si表示如下：
Si＝[si1，si2，...，sij，...，siN]，i＝1，2，...，β
其中，Si是样本H的第i个窗口的幅值谱，N是幅值谱Si中所有幅值的数量，sij是幅值谱Si的第j个幅值；那么，幅值谱Si中所有幅值的标准差σi表示为：
其中，μi为幅值谱Si中所有幅值的均值，即
S33、由步骤S2中获得的每个窗口幅值谱的标准差σi，以阈值σth为临界点：当σi＜σth时，该窗口不存在手语活动；当σi≥σth时，该窗口存在手语活动；找到第一个大于阈值的窗口Wst和最后一个大于阈值的窗口Wed，那么在这两个窗口之间即这个窗口区间内，判定有手语活动，并获取样本H的关键信息B＝[Wst，Wst+1，...，Wed-1，Wed]＝[h(st-1)×u+1，h(st-1)×u+2，...，hed×u]，其中st是第一个幅值谱标准差大于阈值的窗口下标，ed是最后一个幅值谱标准差大于阈值的窗口下标，u是每个窗口中CSI值的数量。
S4、由步骤S1-S3提取设定种类的简单手语的关键信息，作为模板样本：
其中，At是第t种简单手语的模板样本，qt是第t个模板样本At中CSI值的数量，是第t个模板样本At的第j个CSI值。
S5、由步骤S1-S3提取待识别的简单手语的关键信息，作为待识别样本B，B＝[b1，b2，...，bi，...，bp]，其中，bi是待识别样本B中第i个CSI值，p是待识别样本B中CSI值的数量，p＝ed×u-(st-1)×u，其中，st是第一个幅值谱标准差大于阈值的窗口下标，ed是最后一个幅值谱标准差大于阈值的窗口下标，u是每个窗口中CSI值的数量。
S6、利用DTW算法，计算待识别样本与模板样本的累加距离，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型。具体步骤如下：
S61、计算待识别样本B和模板样本At的累加距离Dt(p，qt)，其中p是待识别样本B中CSI值的数量，qt是第t个模板样本At中CSI值的数量；
步骤S61中，计算待识别样本B和模板样本At的累加距离Dt(p，qt)，具体为：
S611、待识别样本B的前i个CSI值与第t个模板样本At的前j个CSI值的累加距离Dt(i，j)的计算如下：
其中，Dt(i，j-1)是待识别样本B的前i个CSI值与第t个模板样本At的前j-1个CSI值的累加距离，Dt(i-1，j)是待识别样本B的前i-1个CSI值与第t个模板样本At的前j个CSI值的累加距离，Dt(i-1，j-1)是待识别样本B的前i-1个CSI值与第t个模板样本At的前j-1个CSI值的累加距离，Distt(i，j)是待识别样本B的第i个CSI值与第t个模板样本At的第j个CSI值的距离，即其中bi是待识别样本B的第i个CSI值，是第t个模板样本At的第j个CSI值；
S612、根据累加距离Dt(i，j)的计算公式，迭代地计算出待识别样本B与第t个模板样本At的累加距离Dt(p，qt)，记为Dt。
S62、将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型。具体为，对于τ个模板样本At，t＝1，2，3，...，τ，分别计算待识别样本B与At的累加距离Dt，t＝1，2，3，...，τ，其中τ为模板样本的个数；将这τ个累加距离的最小值对应的模板样本种类作为待识别样本的种类，即待识别样本的手语种类ξ为： 其中τ为模板样本的个数。
该种基于信道状态信息的简单手语识别方法中，基于不同的手语动作会导致不同的CSI幅值信号，从接收器上提取CSI信号，对采集到的信号数据进行预处理；接着，对预处理后的数据提取信号特征，从而获取手语的关键信息；最后，利用DTW算法将待识别样本与τ个模板样本进行比对分析，得到最短距离的样本，得到识别结果。
该种基于信道状态信息的简单手语识别方法，采用CSI信号作为不同手语动作的判定依据，由于对于不同的手语动作，CSI信号有明显差异，能够有效提高手语识别的精准度，具有较好的简便性、适应性、功能性、鲁棒性。
该种基于信道状态信息的简单手语识别方法中，通过采集CSI信号，优选通过小型计算机以及商用WiFi设备，在视距范围内采集简单手语的有效信息，由于CSI在物理层用正交频分复用技术，由多个正交子信道组成，即以子载波的形式进行传送，每一个子载波上传送的信号都有不同的信号强度和相位信息，进而进行识别，能够有效提高手语识别的精准度。
该种基于信道状态信息的简单手语识别方法，虑到手语的特殊性，将识别标准更为细化，提高了识别的准确性。相比较现有的手语识别方法，在算法的复杂度上得到了有效降低。本发明实现了免穿戴、多适用性的被动式识别。
该种基于信道状态信息的简单手语识别方法，采用CSI信号替代了传统的接收的信号强度指示(Received Signal Strength Indication，RSSI)，克服了RSSI粗粒度和时间稳定性差的缺陷。CSI信号更为敏感，能够捕获更为细粒度的信息，能够穿墙接收信号，而且能够区分多条路径，能够适用更多的应用场景。
该种基于信道状态信息的简单手语识别方法，采用物理层信息CSI作为室内环境下人员检测评估因子，由于WiFi设备已遍布在大街小巷，有利于该方法的普及和应用，并减少了部署设施的成本和时间，一定程度上提高了方法的可行性。
该种基于信道状态信息的简单手语识别方法，鲁棒性较优，在监测手语信息的过程中，考虑到不同的人在比量手语时，速度、高度有可能会不一致等问题，利用DTW算法将其中一个或者两个序列在时间轴下warping扭曲，通过把时间序列进行延伸和缩短，来计算两个时间序列性之间的相似性，实现在同一空间上可靠且稳定的识别效果。

Claims (9)

1.一种基于信道状态信息的简单手语识别方法，其特征在于：具体包括以下步骤，
S1、采集的简单手语的CSI信号，获得CSI信号样本；
S2、将步骤S1采集到CSI信号样本中的CSI信号进行预处理；
S3、对步骤S2预处理后的信号，划分手语信号窗口，求取每个窗口幅值谱的标准差，由窗口幅值谱的标准差与设定的阈值，确定存在手语活动的窗口区间，并提取该窗口区间内最能够表示简单手语活动的特征即CSI值，作为关键信息；
S4、由步骤S1-S3提取设定种类的简单手语的关键信息，作为模板样本：
其中，At是第t种简单手语的模板样本，qt是第t个模板样本At中CSI值的数量，是第t个模板样本At的第j个CSI值；
S5、由步骤S1-S3提取待识别的简单手语的关键信息，作为待识别样本B，B＝[b1,b2,…,bi,…,bp]，其中，bi是待识别样本B中第i个CSI值，p是待识别样本B中CSI值的数量，p＝ed×u-(st-1)×u，其中，st是第一个幅值谱标准差大于阈值的窗口下标，ed是最后一个幅值谱标准差大于阈值的窗口下标，u是每个窗口中CSI值的数量；
S6、利用DTW算法，计算待识别样本与模板样本的累加距离，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型。
2.如权利要求1所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S1中，采集简单手语的CSI信号，获得CSI信号样本，具体为，
采集设定时间的CSI信号，获得按时间排序的CSI信号的样本 其中，n表示样本X中采集时间点的数量，l是样本X中子载波的数量，xji是样本X中第j个子载波的第i个时间点的CSI值。
3.如权利要求2所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S2中，对采集到的CSI信号样本中的CSI信号进行预处理，具体为，
S21、利用主成分分析PCA将样本X的维度从l维降到k维，得到k维的样本 其中，n表示利用PCA处理后的样本Y中时间点的数量，k是利用PCA处理后的样本Y的主成分数量，样本Y的第i个行向量便是样本X的第i主成分，yji是样本Y中第j个主成分的第i个时间点的降维后的CSI值，从中获得第一主成分，即Y*＝[y11,y12,…,y1i,…,y1n]，其中，y1i是第一主成分Y*中第i个时间点的降维后的CSI值；
S22、将步骤S21得到的第一主成分Y*进行零-均值规范化z-score标准化处理，获得z-score标准化后的样本H＝[h1,h2,…,hi,…,hn]，其中n是z-score标准化后的样本H中所有时间点的数量，hi是第i个时间点z-score标准化后的CSI值。
4.如权利要求3所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S22中，第i个时间点z-score标准化后的CSI值hi通过下式计算：
其中，y1i是第一主成分Y*中第i个时间点的降维后的CSI值，μ表示Y*中所有降维后的CSI值的均值，即：σ表示Y*所有降维后的CSI值的标准差，即：其中，n是Y*中所有时间点的数量。
5.如权利要求3或4所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S3中，获取最能够表示简单手语活动的特征即CSI值，作为关键信息，具体包括以下步骤：
S31、将样本H中每u个z-score标准化后的CSI值作为一个窗口，即H＝[W1,W2,…,Wi,…,Wβ]，其中，β是样本H中窗口的数量，β＝n/u，Wi是样本H的第i个窗口，即Wi＝[h(i-1)×u+1,h(i-1)×u+2,…,h(i-1)×u+j,…,hi×u],i＝1,2,3,…,β，其中，h(i-1)×u+j是样本H中第(i-1)×u+j个时间点的z-score标准化后的CSI值；
S32、通过快速傅里叶变换求得每个窗口的幅值谱，进而计算每个窗口幅值谱的标准差σi；
S33、由步骤S2中获得的每个窗口幅值谱的标准差σi，以阈值σth为临界点：当σi<σth时，该窗口不存在手语活动；当σi≥σth时，该窗口存在手语活动；找到第一个大于阈值的窗口Wst和最后一个大于阈值的窗口Wed，那么在这两个窗口之间即这个窗口区间内，判定有手语活动，并获取样本H的关键信息B＝[Wst,Wst+1,…,Wed-1,Wed]＝[h(st-1)×u+1,h(st-1)×u+2,…,hed×u]，其中st是第一个幅值谱标准差大于阈值的窗口下标，ed是最后一个幅值谱标准差大于阈值的窗口下标，u是每个窗口中CSI值的数量。
6.如权利要求5所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S32中，计算每个窗口幅值谱的标准差；具体为，
窗口Wi对应的幅值谱Si表示如下：
Si＝[si1,si2,…,sij,…,siN],i＝1,2,…,β
其中，Si是样本H的第i个窗口的幅值谱，N是幅值谱Si中所有幅值的数量，sij是幅值谱Si的第j个幅值；那么，幅值谱Si中所有幅值的标准差σi表示为：
其中，μi为幅值谱Si中所有幅值的均值，即
7.如权利要求1-4任一项所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S6中，利用DTW算法，计算待识别样本与模板样本的累加距离，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型，具体步骤如下：
S61、计算待识别样本B和模板样本At的累加距离Dt(p,qt)，其中p是待识别样本B中CSI值的数量，qt是第t个模板样本At中CSI值的数量；
S62、将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型。
8.如权利要求7所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S61中，计算待识别样本B和模板样本At的累加距离Dt(p,qt)，具体为：
S611、待识别样本B的前i个CSI值与第t个模板样本At的前j个CSI值的累加距离Dt(i,j)的计算如下：
其中，Dt(i,j-1)是待识别样本B的前i个CSI值与第t个模板样本At的前j-1个CSI值的累加距离，Dt(i-1,j)是待识别样本B的前i-1个CSI值与第t个模板样本At的前j个CSI值的累加距离，Dt(i-1,j-1)是待识别样本B的前i-1个CSI值与第t个模板样本At的前j-1个CSI值的累加距离，Distt(i,j)是待识别样本B的第i个CSI值与第t个模板样本At的第j个CSI值的距离，即其中bi是待识别样本B的第i个CSI值，是第t个模板样本At的第j个CSI值；
S612、根据累加距离Dt(i,j)的计算公式，迭代地计算出待识别样本B与第t个模板样本At的累加距离Dt(p,qt)，记为Dt。
9.如权利要求7所述的基于信道状态信息的简单手语识别方法，其特征在于：步骤S62中，将最小累加距离对应的模板样本的手语类型作为待识别样本的手语类型，具体为，对于τ个模板样本At,t＝1,2,3,…,τ，分别计算待识别样本B与At的累加距离Dt,t＝1,2,3,…,τ，其中τ为模板样本的个数；将这τ个累加距离的最小值对应的模板样本种类作为待识别样本的种类，即待识别样本的手语种类ξ为：其中τ为模板样本的个数。
CN201910752275.3A 2019-08-14 2019-08-14 基于信道状态信息的简单手语识别方法 Active CN110458118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752275.3A CN110458118B (zh) 2019-08-14 2019-08-14 基于信道状态信息的简单手语识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752275.3A CN110458118B (zh) 2019-08-14 2019-08-14 基于信道状态信息的简单手语识别方法

Publications (2)

Publication Number Publication Date
CN110458118A true CN110458118A (zh) 2019-11-15
CN110458118B CN110458118B (zh) 2022-08-12

Family

ID=68486676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752275.3A Active CN110458118B (zh) 2019-08-14 2019-08-14 基于信道状态信息的简单手语识别方法

Country Status (1)

Country Link
CN (1) CN110458118B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764580A (zh) * 2022-06-15 2022-07-19 湖南工商大学 一种基于无穿戴设备的实时人体手势识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573498A (zh) * 2015-12-15 2016-05-11 西北大学 一种基于Wi-Fi信号的手势识别方法
CN106792808A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于信道状态信息的室内环境下视距路径识别方法
CN109902554A (zh) * 2019-01-09 2019-06-18 天津大学 一种基于商用Wi-Fi的手语的识别方法
CN110110580A (zh) * 2019-03-12 2019-08-09 西北大学 一种面向Wi-Fi信号的手语孤立词识别网络构建及分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573498A (zh) * 2015-12-15 2016-05-11 西北大学 一种基于Wi-Fi信号的手势识别方法
CN106792808A (zh) * 2016-12-08 2017-05-31 南京邮电大学 一种基于信道状态信息的室内环境下视距路径识别方法
CN109902554A (zh) * 2019-01-09 2019-06-18 天津大学 一种基于商用Wi-Fi的手语的识别方法
CN110110580A (zh) * 2019-03-12 2019-08-09 西北大学 一种面向Wi-Fi信号的手语孤立词识别网络构建及分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764580A (zh) * 2022-06-15 2022-07-19 湖南工商大学 一种基于无穿戴设备的实时人体手势识别方法

Also Published As

Publication number Publication date
CN110458118B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN108924736B (zh) 一种基于PCA-Kalman的无源室内人员状态检测方法
CN106714110B (zh) 一种Wi-Fi位置指纹地图自动构建方法及系统
CN107290741B (zh) 基于加权联合距离时频变换的室内人体姿态识别方法
CN107277765A (zh) 一种基于聚类离群分析的手机信令轨迹预处理方法
CN104394588B (zh) 基于Wi‑Fi指纹和多维尺度分析的室内定位方法
Ndoye et al. Sensing and signal processing for vehicle reidentification and travel time estimation
CN105263113A (zh) 一种基于众包的WiFi位置指纹地图构建方法及其系统
CN106845392B (zh) 一种基于众包轨迹的室内转角地标的匹配及识别方法
CN110536257B (zh) 一种基于深度自适应网络的室内定位方法
CN109902554B (zh) 一种基于商用Wi-Fi的手语的识别方法
CN103705218B (zh) 构音障碍识别的方法、系统和装置
CN107677989B (zh) 一种基于rssi最大值进行rssi去除噪声的室内位置定位方法
CN113341392B (zh) 一种基于多站雷达微多普勒运动测向的人体行为分类方法
CN111901028B (zh) 一种基于多天线上csi的人体行为识别方法
CN106934773A (zh) 视频运动目标与Mac地址匹配方法
CN109657572A (zh) 一种基于Wi-Fi的墙后目标行为识别方法
CN109041218A (zh) 一种预测用户位置的方法和智能硬件
CN111262637B (zh) 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法
CN107133689B (zh) 一种位置标记方法
CN110458118A (zh) 基于信道状态信息的简单手语识别方法
CN113988228B (zh) 一种基于rfid和视觉融合的室内监控方法及系统
WO2016072240A1 (ja) センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置
CN118033534A (zh) 一种多噪声源方向估计方法、装置、终端设备及存储介质
CN109034088A (zh) 一种无人机信号探测方法及装置
CN110163142B (zh) 实时手势识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant