CN112966662A - 一种近程电容式动态手势识别系统及方法 - Google Patents
一种近程电容式动态手势识别系统及方法 Download PDFInfo
- Publication number
- CN112966662A CN112966662A CN202110347400.XA CN202110347400A CN112966662A CN 112966662 A CN112966662 A CN 112966662A CN 202110347400 A CN202110347400 A CN 202110347400A CN 112966662 A CN112966662 A CN 112966662A
- Authority
- CN
- China
- Prior art keywords
- capacitance
- gesture
- dynamic gesture
- short
- capacitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013145 classification model Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000003990 capacitor Substances 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000005672 electromagnetic field Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- User Interface Of Digital Computer (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
Abstract
本发明涉及一种近程电容式动态手势识别系统，该系统包括：电容传感器模块，用于感应同一手势对应的多个电容值变化量；电容检测信号采集电路，用于测量并传送每次手势对应的所有电容值；上位机，用于控制电容数据的接收与存储，并同时对每次采集的电容数据进行处理分析，判断属何种手势并显示。本发明还公开了一种近程电容式动态手势识别系统的识别方法。本发明不受光线及复杂背景等环境因素影响，识别精度高；本发明设计简单，成本低廉，使用方便；本发明采用机器学习算法，在保证识别精度的情况下，减少算法的运算量，从而保证了系统的实时性。
Description
技术领域
本发明涉及传感器与应用技术领域，尤其是一种近程电容式动态手势识别系统及方法。
背景技术
随着智能家居、体感游戏等人机交互应用的爆发式增长，能够带来全新体验、容易被人使用及成本低廉成为人机交互技术的发展方向。手势识别技术在人机交互领域扮演重要角色，尤其在工程控制、娱乐生活、军事安全及展览展示等方面广受青睐。
目前，常用的手势识别主要分为基于穿戴设备和基于计算机视觉两种。其中，基于穿戴设备的手势识别受外界的影响小，能捕捉比较精细的动作、灵敏度高、动态性能好、可移动范围广，不足之处是，需要将这套设备穿戴在身体，在一定程度上降低了操作者手势的灵活性；基于计算机视觉的手势识别识别精度高，速度快，其不足是，该种技术需要较高配置的硬件设备，且易受外界环境影响，如背景杂乱、有遮挡物、视角受阻及环境光线昏暗等情况下都无法很好地完成目标捕捉。
发明内容
本发明的首要目的在于提供一种识别精度高、低成本、便于使用的近程电容式动态手势识别系统。
为实现上述目的，本发明采用了以下技术方案：一种近程电容式动态手势识别系统，该系统包括：
电容传感器模块，用于感应同一手势对应的多个电容值变化量；电容传感器模块所包括的多个电容传感器采用电极阵列方式布置，通过模拟开关切换得到多个电容值；
电容检测信号采集电路，用于测量并传送每次手势对应的所有电容值；
上位机，用于控制电容数据的接收与存储，并同时对每次采集的电容数据进行处理分析，判断属何种手势并显示。
所述电容检测信号采集电路包括：
集成电容测量芯片，用于测量不同手势位置对应的传感器电容值；
主控制器，用于实现实时的电容数据采集、处理和传输；
模拟开关，用于把所述电容传感器模块的电极阵列切换成不同的电容器。
本发明的另一目的在于提供一种近程电容式动态手势识别系统的识别方法，该方法包括下列顺序的步骤：
(1)在手势识别的监测区域内，将电容传感器模块采用电极阵列方式，铺设多个电极；
(2)电容检测信号采集电路通过模拟开关切换，按多种敏感配置方式配置多个工作电极的组合形成多个电容传感器；
(3)电容检测信号采集电路采集上一步配置的各个电容传感器的电容值，并上传至上位机；
(4)上位机根据存储的电容值阈值，截取阈值段内的电容传感器信号，然后将多个电容传感器的信号段按
这种方式组合，其中，C为组合后的新的电容信号，
表示截取的第一、二、三、四传感器的信号；
(5)对组合后的新的电容信号进行短时傅里叶变换STFT计算，生成频谱图；
(6)对上一步生成的频谱图进行深度学习分类模型训练，建立动态手势分类模型；
(7)在手势识别的监测区域内输入动态手势时，电容检测信号采集电路采集各个电容传感器的信号并上传至上位机，上位机根据步骤(4)至步骤(5)得到频谱图；
(8)将步骤(7)得到的频谱图，输入到步骤(6)建立的动态手势分类模型，得到动态手势分类结果。
所述步骤(2)中敏感配置方式是指电极阵列的组合方式，即传感器的发射电极与接收电极的空间位置不同时，电磁场空间分布不同，带来的物体敏感区域不同，场能强度不同。
所述步骤(5)中的短时傅里叶变换STFT的计算公式为：
式中，x(n)为输入信号；ω(n)为长度为M的开窗函数，R为移动长度，n为个数，w为角加速度。
电极阵列为4*4的14种敏感配置为：
其中，T代表发射电极，R代表接收电极，N代表无电气连接；SF1至SF14为14种敏感配置方式。
由上述技术方案可知，本发明的有益效果为：本发明不受光线及复杂背景等环境因素影响，识别精度高；本发明设计简单，成本低廉，使用方便；本发明采用机器学习算法，在保证识别精度的情况下，减少算法的运算量，从而保证了系统的实时性。
附图说明
图1为本发明的方法流程图；
图2为本发明的系统框图。
具体实施方式
如图2所示，一种近程电容式动态手势识别系统，该系统包括：
电容传感器模块，用于感应同一手势对应的多个电容值变化量；电容传感器模块所包括的多个电容传感器采用电极阵列方式布置，通过模拟开关切换得到多个电容值；
电容检测信号采集电路，用于测量并传送每次手势对应的所有电容值；
上位机，用于控制电容数据的接收与存储，并同时对每次采集的电容数据进行处理分析，判断属何种手势并显示。
所述电容检测信号采集电路包括：
集成电容测量芯片，用于测量不同手势位置对应的传感器电容值；
主控制器，用于实现实时的电容数据采集、处理和传输；
模拟开关，用于把所述电容传感器模块的电极阵列切换成不同的电容器。
如图1所示，本方法包括下列顺序的步骤：
(1)在手势识别的监测区域内，将电容传感器模块采用电极阵列方式，铺设多个电极；
(2)电容检测信号采集电路通过模拟开关切换，按多种敏感配置方式配置多个工作电极的组合形成多个电容传感器；
(3)电容检测信号采集电路采集上一步配置的各个电容传感器的电容值，并上传至上位机；
(4)上位机根据存储的电容值阈值，截取阈值段内的电容传感器信号，然后将多个电容传感器的信号段按
这种方式组合，其中，C为组合后的新的电容信号，C1T C2T C3T C4T.表示截取的第一、二、三、四传感器的信号；
(5)对组合后的新的电容信号进行短时傅里叶变换STFT计算，生成频谱图；
(6)对上一步生成的频谱图进行深度学习分类模型训练，建立动态手势分类模型；
(7)在手势识别的监测区域内输入动态手势时，电容检测信号采集电路采集各个电容传感器的信号并上传至上位机，上位机根据步骤(4)至步骤(5)得到频谱图；
(8)将步骤(7)得到的频谱图，输入到步骤(6)建立的动态手势分类模型，得到动态手势分类结果。
所述步骤(2)中敏感配置方式是指电极阵列的组合方式，即传感器的发射电极与接收电极的空间位置不同时，电磁场空间分布不同，带来的物体敏感区域不同，场能强度不同。
所述步骤(5)中的短时傅里叶变换STFT的计算公式为：
式中，x(n)为输入信号；ω(n)为长度为M的开窗函数，R为移动长度，n为个数，w为角加速度。
电极阵列为4*4的14种敏感配置为：
其中，T代表发射电极，R代表接收电极，N代表无电气连接；SF1至SF14为14种敏感配置方式。
综上所述，本发明不受光线及复杂背景等环境因素影响，识别精度高；本发明设计简单，成本低廉，使用方便；本发明采用机器学习算法，在保证识别精度的情况下，减少算法的运算量，从而保证了系统的实时性。
Claims (6)
1.一种近程电容式动态手势识别系统，其特征在于：该系统包括：
电容传感器模块，用于感应同一手势对应的多个电容值变化量；电容传感器模块所包括的多个电容传感器采用电极阵列方式布置，通过模拟开关切换得到多个电容值；
电容检测信号采集电路，用于测量并传送每次手势对应的所有电容值；
上位机，用于控制电容数据的接收与存储，并同时对每次采集的电容数据进行处理分析，判断属何种手势并显示。
2.根据权利要求1所述的近程电容式动态手势识别方法，其特征在于：所述电容检测信号采集电路包括：
集成电容测量芯片，用于测量不同手势位置对应的传感器电容值；
主控制器，用于实现实时的电容数据采集、处理和传输；
模拟开关，用于把所述电容传感器模块的电极阵列切换成不同的电容器。
3.根据权利要求1至2中任一项所述近程电容式动态手势识别系统的识别方法，其特征在于：该方法包括下列顺序的步骤：
(1)在手势识别的监测区域内，将电容传感器模块采用电极阵列方式，铺设多个电极；
(2)电容检测信号采集电路通过模拟开关切换，按多种敏感配置方式配置多个工作电极的组合形成多个电容传感器；
(3)电容检测信号采集电路采集上一步配置的各个电容传感器的电容值，并上传至上位机；
(4)上位机根据存储的电容值阈值，截取阈值段内的电容传感器信号，然后将多个电容传感器的信号段按C＝[C1T C2T C3T C4T]..这种方式组合，其中，C为组合后的新的电容信号，C1T C2T C3T C4T.表示截取的第一、二、三、四传感器的信号；
(5)对组合后的新的电容信号进行短时傅里叶变换STFT计算，生成频谱图；
(6)对上一步生成的频谱图进行深度学习分类模型训练，建立动态手势分类模型；
(7)在手势识别的监测区域内输入动态手势时，电容检测信号采集电路采集各个电容传感器的信号并上传至上位机，上位机根据步骤(4)至步骤(5)得到频谱图；
(8)将步骤(7)得到的频谱图，输入到步骤(6)建立的动态手势分类模型，得到动态手势分类结果。
4.根据权利要求3所述的识别方法，其特征在于：所述步骤(2)中敏感配置方式是指电极阵列的组合方式，即传感器的发射电极与接收电极的空间位置不同时，电磁场空间分布不同，带来的物体敏感区域不同，场能强度不同。
5.根据权利要求3所述的识别方法，其特征在于：所述步骤(5)中的短时傅里叶变换STFT的计算公式为：
式中，x(n)为输入信号；ω(n)为长度为M的开窗函数，R为移动长度，n为个数，w为角加速度。
6.根据权利要求4所述的识别方法，其特征在于：电极阵列为4*4的14种敏感配置为：
其中，T代表发射电极，R代表接收电极，N代表无电气连接；SF1至SF14为14种敏感配置方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110347400.XA CN112966662A (zh) | 2021-03-31 | 2021-03-31 | 一种近程电容式动态手势识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110347400.XA CN112966662A (zh) | 2021-03-31 | 2021-03-31 | 一种近程电容式动态手势识别系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112966662A true CN112966662A (zh) | 2021-06-15 |
Family
ID=76280509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110347400.XA Pending CN112966662A (zh) | 2021-03-31 | 2021-03-31 | 一种近程电容式动态手势识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966662A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117742502A (zh) * | 2024-02-08 | 2024-03-22 | 安徽大学 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150346833A1 (en) * | 2014-06-03 | 2015-12-03 | Beijing TransBorder Information Technology Co., Ltd. | Gesture recognition system and gesture recognition method |
| CN105205436A (zh) * | 2014-06-03 | 2015-12-30 | 北京创思博德科技有限公司 | 一种基于前臂生物电多传感器的手势识别系统 |
| US20170131891A1 (en) * | 2015-11-09 | 2017-05-11 | Analog Devices, Inc. | Slider and gesture recognition using capacitive sensing |
| CN108519812A (zh) * | 2018-03-21 | 2018-09-11 | 电子科技大学 | 一种基于卷积神经网络的三维微多普勒手势识别方法 |
| CN109583436A (zh) * | 2019-01-29 | 2019-04-05 | 杭州朗阳科技有限公司 | 一种基于毫米波雷达的手势识别系统 |
| CN110069199A (zh) * | 2019-03-29 | 2019-07-30 | 中国科学技术大学 | 一种基于智能手表的皮肤式手指手势识别方法 |
| CN110262653A (zh) * | 2018-03-12 | 2019-09-20 | 东南大学 | 一种基于卷积神经网络的毫米波传感器手势识别方法 |
| CN111121607A (zh) * | 2019-12-13 | 2020-05-08 | 深圳大学 | 一种训练三维定位模型的方法及三维定位方法、装置 |
| CN111553307A (zh) * | 2020-05-08 | 2020-08-18 | 中国科学院合肥物质科学研究院 | 一种融合生物电阻抗信息和肌电信息的手势识别系统 |
| CN112101298A (zh) * | 2020-10-15 | 2020-12-18 | 福州大学 | 基于肌肉电阻抗信号的手势识别系统及方法 |
| CN112099624A (zh) * | 2020-08-25 | 2020-12-18 | 李志斌 | 多模态菱形框架式电容感应手势识别系统 |
-
2021
- 2021-03-31 CN CN202110347400.XA patent/CN112966662A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150346833A1 (en) * | 2014-06-03 | 2015-12-03 | Beijing TransBorder Information Technology Co., Ltd. | Gesture recognition system and gesture recognition method |
| CN105205436A (zh) * | 2014-06-03 | 2015-12-30 | 北京创思博德科技有限公司 | 一种基于前臂生物电多传感器的手势识别系统 |
| US20170131891A1 (en) * | 2015-11-09 | 2017-05-11 | Analog Devices, Inc. | Slider and gesture recognition using capacitive sensing |
| CN110262653A (zh) * | 2018-03-12 | 2019-09-20 | 东南大学 | 一种基于卷积神经网络的毫米波传感器手势识别方法 |
| CN108519812A (zh) * | 2018-03-21 | 2018-09-11 | 电子科技大学 | 一种基于卷积神经网络的三维微多普勒手势识别方法 |
| CN109583436A (zh) * | 2019-01-29 | 2019-04-05 | 杭州朗阳科技有限公司 | 一种基于毫米波雷达的手势识别系统 |
| CN110069199A (zh) * | 2019-03-29 | 2019-07-30 | 中国科学技术大学 | 一种基于智能手表的皮肤式手指手势识别方法 |
| CN111121607A (zh) * | 2019-12-13 | 2020-05-08 | 深圳大学 | 一种训练三维定位模型的方法及三维定位方法、装置 |
| CN111553307A (zh) * | 2020-05-08 | 2020-08-18 | 中国科学院合肥物质科学研究院 | 一种融合生物电阻抗信息和肌电信息的手势识别系统 |
| CN112099624A (zh) * | 2020-08-25 | 2020-12-18 | 李志斌 | 多模态菱形框架式电容感应手势识别系统 |
| CN112101298A (zh) * | 2020-10-15 | 2020-12-18 | 福州大学 | 基于肌肉电阻抗信号的手势识别系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| ULYSSE CÔTÉ-ALLARD等: "Deep Learning for Electromyographic Hand Gesture Signal Classification Using Transfer Learning", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》 * |
| XIAOCHUAN ZHAO等: "A multimodal-signals-based gesture recognition method for human machine interaction", 《2020 3RD INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS (ICUS)》 * |
| 曹书敏: "基于智能可穿戴设备的人体动作识别与交互", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 李奂良: "基于表面肌电信号的手部动作识别与交互", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117742502A (zh) * | 2024-02-08 | 2024-03-22 | 安徽大学 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
| CN117742502B (zh) * | 2024-02-08 | 2024-05-03 | 安徽大学 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9841839B2 (en) | System for measuring latency on a touch device | |
| Shukor et al. | A new data glove approach for Malaysian sign language detection | |
| CN103472916B (zh) | 一种基于人体手势识别的人机交互方法 | |
| US5376947A (en) | Touch-type input terminal apparatus for pointing or specifying position on display device | |
| CN101206544B (zh) | 人机互动的触觉感测装置及其方法 | |
| CN102339148A (zh) | 输入装置 | |
| Jingqiu et al. | An ARM-based embedded gesture recognition system using a data glove | |
| CN111121607B (zh) | 一种训练三维定位模型的方法及三维定位方法、装置 | |
| CN107066122A (zh) | 有源触控笔、触摸感测系统及其驱动方法 | |
| CN103279246A (zh) | 电容式触摸板 | |
| CN112966662A (zh) | 一种近程电容式动态手势识别系统及方法 | |
| CN106681575A (zh) | 使用电容感测的滑块和手势识别 | |
| CN103389728A (zh) | 一种安全气囊控制器测试仿真系统及其测试仿真方法 | |
| CN112965605A (zh) | 一种近程电容式静态手势识别系统及方法 | |
| US11656261B2 (en) | Electrostatic detections | |
| CN112169338A (zh) | 球体运动的控制方法、装置、存储介质及计算机设备 | |
| CN210666692U (zh) | 一种基于红外手势控制的显示翻页系统 | |
| CN104655111B (zh) | 一种激光探测器模拟方法及装置 | |
| CN116198435B (zh) | 车辆的控制方法、装置、车辆以及存储介质 | |
| CN105278669A (zh) | 移动终端的控制方法及移动终端 | |
| Bal et al. | Dynamic hand gesture pattern recognition using probabilistic neural network | |
| Reinschmidt et al. | Realtime Hand-Gesture Recognition Based on Novel Charge Variation Sensor and IMU | |
| Kim et al. | Visual multi-touch air interface for barehanded users by skeleton models of hand regions | |
| US10120455B2 (en) | Control device and control method | |
| Rao et al. | Dual sensor based gesture robot control using minimal hardware system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210615 |