CN117406853A - 手势控制方法、装置、介质及设备 - Google Patents
手势控制方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN117406853A CN117406853A CN202310140595.XA CN202310140595A CN117406853A CN 117406853 A CN117406853 A CN 117406853A CN 202310140595 A CN202310140595 A CN 202310140595A CN 117406853 A CN117406853 A CN 117406853A
- Authority
- CN
- China
- Prior art keywords
- gesture
- dfs
- channel state
- csi
- state information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000033001 locomotion Effects 0.000 claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 52
- 230000009471 action Effects 0.000 claims abstract description 39
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 23
- 238000002184 dynamic force spectroscopy Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种手势控制方法、装置、介质及设备，该方法包括：从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；对通道状态信息CSI进行时频分析提取DFS；基于DFS构建包含人体动作速度信息的速度分量矩阵；将速度分量矩阵输入手势识别模型中进行手势识别操作得到与人体动作对应的目标手势；将目标手势映射成对应的操作指令进行人机交互。本申请通过采集WiFi信号中的通道状态信息CSI，从通道状态信息CSI中获取DFS，基于DFS构建包含人体动作速度信息的速度分量矩阵，再将速度分量矩阵输入到手势识别模型中进行手势识别操作，得到与人体动作对应的目标手势，并将目标手势映射成用于人机交互的操作指令，实现不需要遥控器便可以对设备进行控制。
Description
技术领域
本申请涉及电子通信技术领域，尤其涉及一种手势控制技术领域，特别涉及一种手势控制方法、装置、介质及设备。
背景技术
目前市场上能够脱离遥控器来操控设备的方式大多是基于视觉技术的方案，通过识别人体手部动作特征来映射操作意图，进而实现脱离遥控器的情况下能够操控设备。虽然针对人体手部动作能够进行粗粒度的感知，但是动作幅度偏小的手势无法识别。还有一些方案是通过单目或多目光学系统进行超像素分析，计算光线的传播时间来测量距离，利用内置的感应器接收用户手部反射回的光线，再根据距离的不同来判断出不同手指的具体位置，处理芯片就可以构建出手部目前的位置和姿势，从而判断出具体的手势，再对应到相应的控制命令之上。但是该方案需要附加外部设备，成本高昂，难以被普通大众接受。
发明内容
本申请实施例提供一种手势控制方法、装置、介质及设备，利用本申请实施例提供的手势控制方法，通过WiFi设备采集WiFi信号中包含人体动作的通道状态信息CSI，利用时频分析算法从通道状态信息CSI中获取WiFi部署范围下的DFS，基于DFS构建包含人体动作速度信息的速度分量矩阵，再将速度分量矩阵输入到手势识别模型中进行手势识别操作，得到与人体动作对应的目标手势，并将目标手势映射成用于人机交互的操作指令，实现不需要遥控器便可以对设备进行控制。由于WIFI设备广泛部署、成本低廉，本方案提供的手势控制方法易于实现及广泛应用。
本申请实施例一方面提供了一种手势控制方法，所述手势控制方法包括：
从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
将所述目标手势映射成对应的操作指令进行人机交互。
在本申请实施例所述的手势控制方法中，在所述对所述通道状态信息CSI进行时频分析之前，所述方法还包括：
对所述通道状态信息CSI进行数据处理，包括去噪操作和相位校正操作。
在本申请实施例所述的手势控制方法中，所述去噪操作通过共轭乘法消除噪声。
在本申请实施例所述的手势控制方法中，在所述对所述通道状态信息CSI进行数据处理之后，所述方法还包括：
将所述通道状态信息CSI根据时序划分成多个信息片段，所述信息片段用于进行时频分析提取DFS。
在本申请实施例所述的手势控制方法中，所述基于所述DFS构建包含人体动作速度信息的速度分量矩阵，包括：
获取所述多个信息片段对应的多个DFS；
将所述多个DFS在WiFi信号接收器上叠加形成DFS轮廓曲线；
将所述DFS轮廓曲线导出得到感知空间内动作的速度分量矩阵。
在本申请实施例所述的手势控制方法中，在所述将所述多个DFS在WiFi信号接收器上叠加形成DFS轮廓曲线之后，所述方法还包括：
通过预设大小的滑动窗口对叠加在所述WiFi信号接收器上的DFS进行滑动操作，直至进入所述滑动窗口内的DFS数量等于所述滑动窗口的最大可容纳值时停止滑动所述滑动窗口，并将当前叠加形成的DFS轮廓曲线用于导出速度分量矩阵。
在本申请实施例所述的手势控制方法中，所述目标手势包括往指定方向摆动手臂、往指定方向往复摆动手臂、沿指定路径移动手臂中的任意一种；所述操作指令包括控制设备音量增加或减少、控制设备在待机状态与工作状态之间切换、控制设备切换功能中的任意一种。
相应的，本申请实施例另一方面还提供了一种手势控制装置，所述手势控制装置包括：
获取模块，用于从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
提取模块，用于对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
构建模块，用于基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
识别模块，用于将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
映射模块，用于将所述目标手势映射成对应的操作指令进行人机交互。
相应的，本申请实施例另一方面还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如上所述的手势控制方法。
相应的，本申请实施例另一方面还提供了一种终端设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行如上所述的手势控制方法。
本申请实施例提供了一种手势控制方法、装置、介质及设备，该方法通过从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；基于所述DFS构建包含人体动作速度信息的速度分量矩阵；将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；将所述目标手势映射成对应的操作指令进行人机交互。利用本申请实施例提供的手势控制方法，通过WiFi设备采集WiFi信号中包含人体动作的通道状态信息CSI，利用时频分析算法从通道状态信息CSI中获取WiFi部署范围下的DFS，基于DFS构建包含人体动作速度信息的速度分量矩阵，再将速度分量矩阵输入到手势识别模型中进行手势识别操作，得到与人体动作对应的目标手势，并将目标手势映射成用于人机交互的操作指令，实现不需要遥控器便可以对设备进行控制。由于WIFI设备广泛部署、成本低廉，本方案提供的手势控制方法易于实现及广泛应用。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的手势控制方法的流程示意图。
图2为本申请实施例提供的手势控制装置的结构示意图。
图3为本申请实施例提供的手势控制装置的另一结构示意图。
图4为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
需要说明的是，以下内容是对本方案背景做出的简单介绍：
本方案主要是围绕“目前用于手势控制设备的方案存在成本高昂、普适性低的缺陷”这一技术问题开展的。可以理解的是，目前市场上能够脱离遥控器来操控设备的方式大多是基于视觉技术的方案，通过识别人体手部动作特征来映射操作意图，进而实现脱离遥控器的情况下能够操控设备。虽然针对人体手部动作能够进行粗粒度的感知，但是动作幅度偏小的手势无法识别。还有一些方案是通过单目或多目光学系统进行超像素分析，计算光线的传播时间来测量距离，利用内置的感应器接收用户手部反射回的光线，再根据距离的不同来判断出不同手指的具体位置，处理芯片就可以构建出手部目前的位置和姿势，从而判断出具体的手势，再对应到相应的控制命令之上。但是该方案需要附加外部设备，成本高昂，难以被普通大众接受。
为了解决上述技术问题，本申请实施例提供一种手势控制方法。利用本申请实施例提供的手势控制方法，通过WiFi设备采集WiFi信号中包含人体动作的通道状态信息CSI，利用时频分析算法从通道状态信息CSI中获取WiFi部署范围下的DFS，基于DFS构建包含人体动作速度信息的速度分量矩阵，再将速度分量矩阵输入到手势识别模型中进行手势识别操作，得到与人体动作对应的目标手势，并将目标手势映射成用于人机交互的操作指令，实现不需要遥控器便可以对设备进行控制。由于WIFI设备广泛部署、成本低廉，本方案提供的手势控制方法易于实现及广泛应用。
以下是对本方案中提到的名词做解释：
CSI(Channel State Information)：CSI作为一种物理层信息，是信道频率响应(Channel Frequency Response，CFR)的体现形式，在多子载波层面更细致地刻画了室内多径信道，每个子载波上传送的信号都有不同的信号幅度和相位。其特点是在信道环境无波动时能保持较好的稳定性、对信道状态的改变敏感性强、能对室内多径环境进行描述。
多普勒频偏(Doppler Frequency Shift,DFS)：多普勒频偏也称多普勒频移，是指当移动台以恒定的速率沿某一方向移动时，由于传播路程差的原因，会造成相位和频率的变化，通常将这种变化称为多普勒频偏。当一个人执行特定的手部动作，由于各身体部位的动作幅度不同、动作方向不同、甚至手臂前后端的运动速度有所不同，会导致每个身体部位对WiFi信号的反射和衍射不同，导致电磁场出现多普勒频移。
请参阅图1，图1为本申请实施例提供的手势控制方法的流程示意图。所述手势控制方法，应用于终端设备中。可选地，该终端设备为终端或服务器。可选地，该服务器是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，该终端是智能手机、电视机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电及车载终端等，但并不局限于此。
在一实施例中，所述方法可以包括以下步骤：
步骤101，从WiFi信号中获取物理层包含人体动作的通道状态信息CSI。
需要说明的是，本方案基于现有的WIFI通信技术实现，采用MIMO-OFDM系统，即发射端多天线发送WiFi信号，接收网卡多天线接收WiFi信号，且同时利用OFDM技术进行多载波调制。通过OFDM技术，使WiFi信号在频域内将给定信道分成许多正交子信道，在每个子信道上使用一个子载波进行调制，各子载波并行传输，从而能有效地抑制无线信道的时间弥散所带来的符号间干扰。
在本实施例中，通道状态信息CSI的获取通过支持IEEE 802.11a/b/g/n通信技术协议的无线网卡实现。并通过获取的通道状态信息CSI采集人体动作。需要解释的是，通道状态信息CSI能够呈现不同频率(对应不同子载波)下多径传播的幅度和相位，从而更加精确地刻画具有频率选择性衰落特性的信道。
步骤102，对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS。
在本实施例中，当人体在做出手势动作时，由于各身体部位的动作幅度不同、动作方向不同、甚至手臂前后端的运动速度有所不同，会导致每个身体部位对WiFi信号的反射和衍射不同，导致电磁场出现多普勒频移(DFS)。多普勒频偏(Doppler Frequency Shift,DFS)是一种常见的用于刻画人员活动与行为的特征，这是因为目标移动将导致经由目标反射的信号的路径长度产生变化，使得观测到的信号频率发生一定的偏移。对通道状态信息CSI功率进行时频分析(如短时傅里叶变换和小波变换)，可从功率的动态变化中提取人体运动导致的DFS。
步骤103，基于所述DFS构建包含人体动作速度信息的速度分量矩阵。
其中，由于本方案的重点在于提取人体手势的特征，而人体各个部位上的物理速度上的功率分布仅与人体动作的特征相关。因此通过从WiFi信号的信道状态信息中提取出DFS，将DFS叠加到接收器上并进行处理就能形成相应的DFS轮廓曲线，再利用DFS轮廓曲线导出感知空间内动作的速度分量矩阵。
进一步说明的是，本方案通过采用预设大小的滑动窗口对叠加在WiFi信号接收器上的DFS进行滑动操作，直至进入滑动窗口内的DFS数量等于滑动窗口的最大可容纳值时停止滑动滑动窗口，并将当前叠加形成的DFS轮廓曲线用于导出速度分量矩阵。
需要说明的是，为了构建DFS轮廓曲线，需要将通道状态信息CSI根据时序划分成多个用于进行时频分析提取DFS的信息片段。
尽管DFS轮廓曲线包含人体手势特征，但它也非常特定于域，即与人的位置和方向高度相关。相反，在人的身体坐标系中在物理速度上的功率分布仅与手势的特性有关。因此，为了消除域的影响，在对通道状态信息CSI进行时频分析之前，需要对通道状态信息CSI进行数据处理，包括去噪操作和相位校正操作。
示例性地，去噪操作通过共轭乘法消除噪声，以滤除准静态偏移以及带外噪声，就能够滤掉随机偏移(即与人体动作速度特征无关的例如位置等干扰因素)，只保留了非零多普勒频移的重要多径分量。再之后对重要多径分量进行短时傅立叶变换可在时域和多普勒频域上产生能量分布。基于来自多个链接的DFS，去除了空间和位置数据的相关性，可以得到与域无关的速度分量矩阵。
步骤104，将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势。
其中，手势识别模型可以基于DNN(Deep Neural Networks，深度神经网络)训练得到。将速度分量矩阵输入手势识别模型中进行手势识别操作，便可以得到与人体动作对应的目标手势。目标手势包括往指定方向摆动手臂、往指定方向往复摆动手臂、沿指定路径移动手臂中的任意一种。
步骤105，将所述目标手势映射成对应的操作指令进行人机交互。
其中，操作指令包括控制设备(例如电视)音量增加或减少、控制设备在待机状态与工作状态之间切换、控制设备切换功能中的任意一种。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的手势控制方法通过从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；基于所述DFS构建包含人体动作速度信息的速度分量矩阵；将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；将所述目标手势映射成对应的操作指令进行人机交互。利用本申请实施例提供的手势控制方法，通过WiFi设备采集WiFi信号中包含人体动作的通道状态信息CSI，利用时频分析算法从通道状态信息CSI中获取WiFi部署范围下的DFS，基于DFS构建包含人体动作速度信息的速度分量矩阵，再将速度分量矩阵输入到手势识别模型中进行手势识别操作，得到与人体动作对应的目标手势，并将目标手势映射成用于人机交互的操作指令，实现不需要遥控器便可以对设备进行控制。由于WIFI设备广泛部署、成本低廉，本方案提供的手势控制方法易于实现及广泛应用。
本申请实施例还提供一种手势控制装置，所述手势控制装置可以集成在终端设备中。
请参阅图2，图2为本申请实施例提供的手势控制装置的结构示意图。手势控制装置30可以包括：
获取模块31，用于从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
提取模块32，用于对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
构建模块33，用于基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
识别模块34，用于将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
映射模块35，用于将所述目标手势映射成对应的操作指令进行人机交互。
在一些实施例中，所述装置还包括数据处理模块，用于对所述通道状态信息CSI进行数据处理，包括去噪操作和相位校正操作。
在一些实施例中，所述去噪操作通过共轭乘法消除噪声。
在一些实施例中，所述装置还包括划分模块，用于将所述通道状态信息CSI根据时序划分成多个信息片段，所述信息片段用于进行时频分析提取DFS。
在一些实施例中，所述构建模块33，用于获取所述多个信息片段对应的多个DFS；将所述多个DFS在WiFi信号接收器上叠加形成DFS轮廓曲线；将所述DFS轮廓曲线导出得到感知空间内动作的速度分量矩阵。
在一些实施例中，所述装置还包括滑动模块，用于通过预设大小的滑动窗口对叠加在所述WiFi信号接收器上的DFS进行滑动操作，直至进入所述滑动窗口内的DFS数量等于所述滑动窗口的最大可容纳值时停止滑动所述滑动窗口，并将当前叠加形成的DFS轮廓曲线用于导出速度分量矩阵。
在一些实施例中，所述目标手势包括往指定方向摆动手臂、往指定方向往复摆动手臂、沿指定路径移动手臂中的任意一种；所述操作指令包括控制设备音量增加或减少、控制设备在待机状态与工作状态之间切换、控制设备切换功能中的任意一种。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现。
由上可知，本申请实施例提供的手势控制装置30，其中获取模块31用于从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；提取模块32用于对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；构建模块33用于基于所述DFS构建包含人体动作速度信息的速度分量矩阵；识别模块34用于将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；映射模块35用于将所述目标手势映射成对应的操作指令进行人机交互。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现。
请参阅图3，图3为本申请实施例提供的手势控制装置的另一结构示意图，手势控制装置30包括存储器120、一个或多个处理器180、以及一个或多个应用程序，其中该一个或多个应用程序被存储于该存储器120中，并配置为由该处理器180执行；该处理器180可以包括获取模块31、提取模块32、构建模块33、识别模块34以及映射模块35。例如，以上各个部件的结构和连接关系可以如下：
存储器120可用于存储应用程序和数据。存储器120存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器180通过运行存储在存储器120的应用程序，从而执行各种功能应用以及数据处理。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180对存储器120的访问。
处理器180是装置的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的应用程序，以及调用存储在存储器120内的数据，执行装置的各种功能和处理数据，从而对装置进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等。
具体在本实施例中，处理器180会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器120中，并由处理器180来运行存储在存储器120中的应用程序，从而实现各种功能：
获取指令，用于从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
提取指令，用于对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
构建指令，用于基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
识别指令，用于将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
映射指令，用于将所述目标手势映射成对应的操作指令进行人机交互。
在一些实施例中，所述程序还包括数据处理指令，用于对所述通道状态信息CSI进行数据处理，包括去噪操作和相位校正操作。
在一些实施例中，所述去噪操作通过共轭乘法消除噪声。
在一些实施例中，所述程序还包括划分指令，用于将所述通道状态信息CSI根据时序划分成多个信息片段，所述信息片段用于进行时频分析提取DFS。
在一些实施例中，所述构建指令，用于获取所述多个信息片段对应的多个DFS；将所述多个DFS在WiFi信号接收器上叠加形成DFS轮廓曲线；将所述DFS轮廓曲线导出得到感知空间内动作的速度分量矩阵。
在一些实施例中，所述程序还包括滑动指令，用于通过预设大小的滑动窗口对叠加在所述WiFi信号接收器上的DFS进行滑动操作，直至进入所述滑动窗口内的DFS数量等于所述滑动窗口的最大可容纳值时停止滑动所述滑动窗口，并将当前叠加形成的DFS轮廓曲线用于导出速度分量矩阵。
在一些实施例中，所述目标手势包括往指定方向摆动手臂、往指定方向往复摆动手臂、沿指定路径移动手臂中的任意一种；所述操作指令包括控制设备音量增加或减少、控制设备在待机状态与工作状态之间切换、控制设备切换功能中的任意一种。
本申请实施例还提供一种终端设备。所述终端设备可以是服务器、智能手机、电脑、平板电脑等设备。
请参阅图4，图4示出了本申请实施例提供的终端设备的结构示意图，该终端设备可以用于实施上述实施例中提供的手势控制方法。该终端设备1200可以为电视机或智能手机或平板电脑。
如图4所示，终端设备1200可以包括RF(Radio Frequency，射频)电路110、包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、传输模块170、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器180以及电源190等部件。本领域技术人员可以理解，图4中示出的终端设备1200结构并不构成对终端设备1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路110可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路110可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。
存储器120可用于存储软件程序以及模块，如上述实施例中手势控制方法对应的程序指令/模块，处理器180通过运行存储在存储器120内的软件程序以及模块，从而执行各种功能应用以及数据处理，可以根据终端设备所处的当前场景来自动选择振动提醒模式来进行手势控制，既能够保证会议等场景不被打扰，又能保证用户可以感知来电，提升了终端设备的智能性。存储器120可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器120可进一步包括相对于处理器180远程设置的存储器，这些远程存储器可以通过网络连接至终端设备1200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触控显示屏或者触控板，可收集用户在其上或附近的触控操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触控检测装置和触控控制器两个部分。其中，触控检测装置检测用户的触控方位，并检测触控操作带来的信号，将信号传送给触控控制器；触控控制器从触控检测装置上接收触控信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端设备1200的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触控操作后，传送给处理器180以确定触控事件的类型，随后处理器180根据触控事件的类型在显示面板141上提供相应的视觉输出。虽然在图4中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端设备1200还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在终端设备1200移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端设备1200还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，传声器162可提供用户与终端设备1200之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与终端设备1200的通信。
终端设备1200通过传输模块170(例如Wi-Fi模块)可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了传输模块170，但是可以理解的是，其并不属于终端设备1200的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端设备1200的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行终端设备1200的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；在一些实施例中，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
终端设备1200还包括给各个部件供电的电源190，在一些实施例中，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端设备1200还可以包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，终端设备1200的显示单元140是触控屏显示器，终端设备1200还包括有存储器120，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器120中，且经配置以由一个或者一个以上处理器180执行一个或者一个以上程序包含用于进行以下操作的指令：
获取指令，用于从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
提取指令，用于对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
构建指令，用于基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
识别指令，用于将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
映射指令，用于将所述目标手势映射成对应的操作指令进行人机交互。
在一些实施例中，所述程序还包括数据处理指令，用于对所述通道状态信息CSI进行数据处理，包括去噪操作和相位校正操作。
在一些实施例中，所述去噪操作通过共轭乘法消除噪声。
在一些实施例中，所述程序还包括划分指令，用于将所述通道状态信息CSI根据时序划分成多个信息片段，所述信息片段用于进行时频分析提取DFS。
在一些实施例中，所述构建指令，用于获取所述多个信息片段对应的多个DFS；将所述多个DFS在WiFi信号接收器上叠加形成DFS轮廓曲线；将所述DFS轮廓曲线导出得到感知空间内动作的速度分量矩阵。
在一些实施例中，所述程序还包括滑动指令，用于通过预设大小的滑动窗口对叠加在所述WiFi信号接收器上的DFS进行滑动操作，直至进入所述滑动窗口内的DFS数量等于所述滑动窗口的最大可容纳值时停止滑动所述滑动窗口，并将当前叠加形成的DFS轮廓曲线用于导出速度分量矩阵。
在一些实施例中，所述目标手势包括往指定方向摆动手臂、往指定方向往复摆动手臂、沿指定路径移动手臂中的任意一种；所述操作指令包括控制设备音量增加或减少、控制设备在待机状态与工作状态之间切换、控制设备切换功能中的任意一种。
本申请实施例还提供一种终端设备。所述终端设备可以是智能手机、电脑等设备。
由上可知，本申请实施例提供了一种终端设备1200，所述终端设备1200执行以下步骤：
从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
将所述目标手势映射成对应的操作指令进行人机交互。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的手势控制方法。
需要说明的是，对本申请所述手势控制方法而言，本领域普通测试人员可以理解实现本申请实施例所述手势控制方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读存储介质中，如存储在终端设备的存储器中，并被该终端设备内的至少一个处理器执行，在执行过程中可包括如所述手势控制方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储器(ROM，ReadOnly Memory)、随机存取记忆体(RAM，Random Access Memory)等。
对本申请实施例的所述手势控制装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的手势控制方法、装置、介质及设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种手势控制方法，其特征在于，包括：
从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
将所述目标手势映射成对应的操作指令进行人机交互。
2.如权利要求1所述的手势控制方法，其特征在于，在所述对所述通道状态信息CSI进行时频分析之前，所述方法还包括：
对所述通道状态信息CSI进行数据处理，包括去噪操作和相位校正操作。
3.如权利要求2所述的手势控制方法，其特征在于，所述去噪操作通过共轭乘法消除噪声。
4.如权利要求2所述的手势控制方法，其特征在于，在所述对所述通道状态信息CSI进行数据处理之后，所述方法还包括：
将所述通道状态信息CSI根据时序划分成多个信息片段，所述信息片段用于进行时频分析提取DFS。
5.如权利要求4所述的手势控制方法，其特征在于，所述基于所述DFS构建包含人体动作速度信息的速度分量矩阵，包括：
获取所述多个信息片段对应的多个DFS；
将所述多个DFS在WiFi信号接收器上叠加形成DFS轮廓曲线；
将所述DFS轮廓曲线导出得到感知空间内动作的速度分量矩阵。
6.如权利要求5所述的手势控制方法，其特征在于，在所述将所述多个DFS在WiFi信号接收器上叠加形成DFS轮廓曲线之后，所述方法还包括：
通过预设大小的滑动窗口对叠加在所述WiFi信号接收器上的DFS进行滑动操作，直至进入所述滑动窗口内的DFS数量等于所述滑动窗口的最大可容纳值时停止滑动所述滑动窗口，并将当前叠加形成的DFS轮廓曲线用于导出速度分量矩阵。
7.如权利要求1所述的手势控制方法，其特征在于，所述目标手势包括往指定方向摆动手臂、往指定方向往复摆动手臂、沿指定路径移动手臂中的任意一种；所述操作指令包括控制设备音量增加或减少、控制设备在待机状态与工作状态之间切换、控制设备切换功能中的任意一种。
8.一种手势控制装置，其特征在于，包括：
获取模块，用于从WiFi信号中获取物理层包含人体动作的通道状态信息CSI；
提取模块，用于对所述通道状态信息CSI进行时频分析，从所述通道状态信息CSI中提取由人体运动产生的DFS；
构建模块，用于基于所述DFS构建包含人体动作速度信息的速度分量矩阵；
识别模块，用于将所述速度分量矩阵输入训练好的手势识别模型中进行手势识别操作，得到与所述人体动作对应的目标手势；
映射模块，用于将所述目标手势映射成对应的操作指令进行人机交互。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-7任一项所述的手势控制方法。
10.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令以执行权利要求1-7任一项所述的手势控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310140595.XA CN117406853A (zh) | 2023-02-15 | 2023-02-15 | 手势控制方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310140595.XA CN117406853A (zh) | 2023-02-15 | 2023-02-15 | 手势控制方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117406853A true CN117406853A (zh) | 2024-01-16 |
Family
ID=89491434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310140595.XA Pending CN117406853A (zh) | 2023-02-15 | 2023-02-15 | 手势控制方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117406853A (zh) |
-
2023
- 2023-02-15 CN CN202310140595.XA patent/CN117406853A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111835488B (zh) | 一种确定天线端口映射方法和终端 | |
| CN109587789B (zh) | 随机接入方法、移动终端及网络设备 | |
| CN109067418B (zh) | 一种天线控制方法及移动终端 | |
| US11516684B2 (en) | Method and device for performing channel sensing on unlicensed frequency band | |
| CN111554321B (zh) | 降噪模型训练方法、装置、电子设备及存储介质 | |
| CN110035149B (zh) | 一种多天线优化方法及移动终端 | |
| CN113382423B (zh) | 信号传输方法、信息指示方法和相关设备 | |
| CN107219951B (zh) | 触控屏控制方法、装置、存储介质及终端设备 | |
| CN111615198B (zh) | 资源确定方法、资源指示方法、终端及网络侧设备 | |
| JP2022528236A (ja) | Ｓｓｂ伝送指示方法、装置、端末、機器及び媒体 | |
| CN111182643A (zh) | 一种非授权调度配置的方法、终端及网络侧设备 | |
| Man et al. | PWiG: A phase-based wireless gesture recognition system | |
| JP7447248B2 (ja) | リッスンビフォアトークｌｂｔサブバンド区分方法、装置、機器及び媒体 | |
| CN111836307B (zh) | 映射类型的确定方法及终端 | |
| CN110868757B (zh) | 一种信息的传输方法、装置及电子设备 | |
| US11405255B2 (en) | Data processing method and intelligent terminal based on orthogonal frequency division multiplexing (OFDM) system | |
| CN110489657B (zh) | 一种信息过滤方法、装置、终端设备及存储介质 | |
| CN109286414B (zh) | 一种天线确定方法和终端 | |
| CN110908586B (zh) | 一种键盘的显示方法、装置及终端设备 | |
| CN109673049B (zh) | 一种pbch信号的传输方法、基站和用户终端 | |
| CN113593602B (zh) | 一种音频处理方法、装置、电子设备和存储介质 | |
| CN117406853A (zh) | 手势控制方法、装置、介质及设备 | |
| CN111106914A (zh) | 确定控制资源集的准共址的方法、终端和存储介质 | |
| CN113260048B (zh) | 一种系统运行模式确定方法和终端 | |
| CN110365842B (zh) | 一种终端控制方法及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |