CN117742502B - 一种基于电容、距离传感器的双模态手势识别系统及方法 - Google Patents
一种基于电容、距离传感器的双模态手势识别系统及方法 Download PDFInfo
- Publication number
- CN117742502B CN117742502B CN202410175441.9A CN202410175441A CN117742502B CN 117742502 B CN117742502 B CN 117742502B CN 202410175441 A CN202410175441 A CN 202410175441A CN 117742502 B CN117742502 B CN 117742502B
- Authority
- CN
- China
- Prior art keywords
- capacitance
- data
- distance
- sensor
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000010801 machine learning Methods 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 238000013508 migration Methods 0.000 claims abstract description 28
- 230000005012 migration Effects 0.000 claims abstract description 28
- 230000002902 bimodal effect Effects 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了传感器与应用领域的一种基于电容、距离传感器的双模态手势识别系统及方法，方法步骤为：通过电容和距离传感器获取待识别手势对应的电容数据和距离数据；判断距离数据是否落入电容传感器最佳距离范围，若是则将电容数据直接作为识别电容值，若否则利用距离数据对电容数据进行数据迁移映射，得到最佳距离范围下的电容数据并将其作为识别电容值；将识别电容值输入至机器学习手势识别模型中进行识别，输出识别结果。本发明不会受到光线、天气、复杂背景等环境因素的影响，系统鲁棒性较好；采取电容、测距传感器进行双模态信息融合分析，优化了系统在不同距离段的深度学习模型，提高了检测范围和检测准确度，且成本降低，系统实时性好。
Description
技术领域
本发明涉及传感器与应用领域，具体涉及一种基于电容、距离传感器的双模态手势识别系统及方法。
背景技术
人机交互技术是指通过计算机输入输出设备，实现人与计算机交互的技术，其双模态输入包括键盘、鼠标、语音、表情、手势等多种输入形式，其中手势识别因其更符合人类习惯而越来越受到重视。
常规的手势识别技术通过摄像头采集手势图像，经过图像处理和算法分类确定手势，但这种方法容易受到光线、天气、复杂背景等环境因素的影响，且成本功耗较大，从而造成不良的用户体验。电容传感器能够有效避免环境的干扰，在近距离的手势检测下具有良好的检测准确度；而基于电容传感和超声波传感的手势识别，因其可以获取包括手势和距离的双模态信息，在不同距离段表现出不同的特征，且作为非接触式的传感器，能够改善用户体验，适用于人机交互的手势识别。
发明内容
本发明的目的在于提供了一种基于电容、距离传感器的双模态手势识别系统及方法，采取电容传感器和测距传感器的融合分析，提高识别成功率，提升用户体验的双模态手势识别系统。
本发明通过以下技术方案来实现上述目的：
一种基于电容、距离传感器的双模态手势识别系统，系统包括：
传感器模块，包括电容传感器和距离传感器，所述电容传感器用于在其识别区域内出现手势时获取该手势下的电容数据，所述距离传感器用于在其识别区域内出现手势时获取该手势与基准面的距离数据；
数据处理模块，用于判断所述距离数据是否落入电容传感器最佳距离范围，若是则将所述电容数据直接作为识别电容值，若否则利用所述距离数据对所述电容数据进行数据迁移映射，得到最佳距离范围下的电容数据并将其作为识别电容值；
识别模块，用于将所述识别电容值输入至预先部署的机器学习手势识别模型中进行识别，输出识别结果。
进一步改进在于，所述传感器模块还包括工装板，所述工装板上开设有一个距离传感器安装孔以及若干个呈阵列排布的电极片安装座，所述电容传感器包括安装在安装座内且呈阵列排布的若干电极片以及与电极片连接的模拟开关，所述模拟开关用于控制切换各电极片的发射/接收状态，使电容传感器处于多个不同的敏感配置下。
进一步改进在于，系统还包括模型部署模块，用于预先训练并部署机器学习手势识别模型，所述模型部署模块包括：
信号接收单元，用于接收传感器模块获取的目标手势多个电容值以及对应的距离值；
归一化单元，用于对所述电容值进行归一化处理；
第一训练单元，用于将归一化处理后的电容值以及对应的距离值作为第一特征向量值，并利用所述第一特征向量值训练预部署的机器学习手势识别模型；
计算单元，用于通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值，并利用SVM_RFE算法计算最优子集个数，再根据shapley值的权重排序以及最优子集个数，得到最优特征子集；
第二训练单元，用于将所述最优特征子集作为第二特征向量值，利用所述第二特征向量值重新训练并部署机器学习手势识别模型。
进一步改进在于，所述模型部署模块还包括迁移映射单元，用于将第二特征向量值输入机器学习手势识别模型，通过测试对比找到最佳距离范围，再将非最佳距离范围内的电容数据通过迁移算法映射至最佳距离范围下的电容数据，从而建立基于迁移学习算法的最佳距离范围映射模型，以用于电容数据的数据迁移映射。
本发明还提供了一种基于电容、距离传感器的双模态手势识别方法，步骤包括：
S1、通过电容传感器和距离传感器获取待识别手势对应的电容数据和距离数据；
S2、判断所述距离数据是否落入电容传感器最佳距离范围，若是则将所述电容数据直接作为识别电容值，若否则利用所述距离数据对所述电容数据进行数据迁移映射，得到最佳距离范围下的电容数据并将其作为识别电容值；
S3、将步骤S2得到的所述识别电容值输入至预先部署的机器学习手势识别模型中进行识别，输出识别结果。
进一步改进在于，步骤S3中，部署机器学习手势识别模型的具体步骤为：
S3-1、通过多个不同敏感配置的电容传感器获取目标手势的多个电容值，同时通过距离传感器获取目标手势对应的距离值；
S3-2、对步骤S3-1中获取的电容值进行归一化处理；
S3-3、将归一化处理后的电容值以及对应的距离值作为第一特征向量值，利用所述第一特征向量值训练预部署的机器学习手势识别模型；
S3-4、通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值，并利用SVM_RFE算法计算最优子集个数，再根据shapley值的权重排序以及最优子集个数，得到最优特征子集；
S3-5、将所述最优特征子集作为第二特征向量值，利用所述第二特征向量值重新训练并部署机器学习手势识别模型。
进一步改进在于，步骤S2中，所述数据迁移映射利用最佳距离范围映射模型进行，所述最佳距离范围映射模型的构建步骤为：将第二特征向量值输入机器学习手势识别模型，通过测试对比找到最佳距离范围，再将非最佳距离范围内的电容数据通过迁移算法映射至最佳距离范围下的电容数据，从而建立基于迁移学习算法的最佳距离范围映射模型。
进一步改进在于，所述归一化处理的公式为：
；
式中，为第m个敏感配置下得到电容测量值，/>为第m个敏感配置下得到电容的初始值。
进一步改进在于，通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值的具体步骤如下：
S3-4-1、假设一个线性模型可预测表示为：
；
S3-4-2、定义第j个特征对预测的贡献为：
；
式中，是输入特征向量，/>为对应的权值，/>是特征的平均影响估计，所得贡献/>表示为特征影响减去平均影响直接的差异；
S3-4-3、根据每个特征向量的贡献程度，得到所有特征贡献之和，即：
；
式中，每个数据贡献之和等于预测值减去平均预测值，对应非线性模型中，通过合作博弈论中的Shapley值得到机器学习分类算法中的单个预测的特征贡献程度；
S3-4-4、对每个特征的Shapley值即为该特征对预测的贡献，通过对所有可能的特征组合进行加权和求和得到：
；
式中，是模型中使用的特征子集，/>是要解释的实例的特征的向量，/>为特征数量 ，其中/>为子集/>的权重，该权重与顺序有关，且所有可能的子集的特征组合情况占比之和等于1，/>是子集/>的预测。
进一步改进在于，利用SVM_RFE算法计算最优子集个数的决策函数如下：
；
式中，为超平面的法向量，/>为映射函数；
从式中可以看出，也是/>的权值，即为特征向量/>的权值，因此通过/>作为标准来衡量特征，经典的SVM_RFE的排序系数为：、
；
且具体计算步骤如下：
S3-4-5、输入训练样本，/>是/>维空间的样本；
分类标签,初始化的特征排序/>，当前特征排序；
S3-4-6、根据当前特征获取新的样本：；
S3-4-7、以新的样本训练模型，得到SVM参数：
；
S3-4-8、计算排序，找出排序准则最小的特征，并更新特征排序列表/>；
S3-4-9、用最小排序准则消除系数最小的特征：
；
S3-4-10、输出：最优特征数与特征排序。
本发明的有益效果在于：本发明采取传感器测量，不会受到光线、天气、复杂背景等环境因素的影响，系统鲁棒性较好；采取电容传感器和测距传感器进行双模态信息融合分析，优化了系统在不同距离段的深度学习模型，进一步提高了系统的检测范围和检测准确度；相较于传统的摄像头图像识别，降低了成本，保证了系统的实时性。
附图说明
图1是本发明的系统框图；
图2是本发明的传感器工装图；
图3是本发明26种不同敏感配置的示意图；
图4是本发明的方法流程图；
图5是本发明26种敏感配置中一种敏感配置C1的10种静态手势的电容变化曲线图；
图6是本发明的基于SHAP算法的特征SHAP值排序图；
图7是本发明的基于SVM_RFE算法的特征数与交叉验证分数关系图；
图8是本发明的基于KNN分类效果的手势识别的混淆矩阵图。
具体实施方式
下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。
结合图1-3所示，一种基于电容、距离传感器的双模态手势识别系统，系统包括：
传感器模块，包括电容传感器和距离传感器，所述电容传感器根据不同手势导致的传感器容值变化不同的特点，用于在其识别区域内出现手势时获取该手势下的电容数据，所述距离传感器用于在其识别区域内出现手势时获取该手势与基准面（优选的为传感器平面）的距离数据，距离传感器可以使用超声波、激光等测距传感器，但不限于这些传感器；
数据处理模块，用于判断所述距离数据是否落入电容传感器最佳距离范围，若是则将所述电容数据直接作为识别电容值，若否则利用所述距离数据对所述电容数据进行数据迁移映射，得到最佳距离范围下的电容数据并将其作为识别电容值；
识别模块，用于将所述识别电容值输入至预先部署的机器学习手势识别模型中进行识别，输出识别结果。
优选的，本发明系统还包括模型部署模块，用于预先训练并部署机器学习手势识别模型，所述模型部署模块包括：
信号接收单元，用于接收传感器模块获取的目标手势多个电容值以及对应的距离值；
归一化单元，用于对所述电容值进行归一化处理；
第一训练单元，用于将归一化处理后的电容值以及对应的距离值作为第一特征向量值，并利用所述第一特征向量值训练预部署的机器学习手势识别模型；
计算单元，用于通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值，并利用SVM_RFE算法计算最优子集个数，再根据shapley值的权重排序以及最优子集个数，得到最优特征子集；
第二训练单元，用于将所述最优特征子集作为第二特征向量值，利用所述第二特征向量值重新训练并部署机器学习手势识别模型。
优选的，本发明系统中所述模型部署模块还包括迁移映射单元，用于将第二特征向量值输入机器学习手势识别模型，通过测试对比找到最佳距离范围，再将非最佳距离范围内的电容数据通过迁移算法映射至最佳距离范围下的电容数据，从而建立基于迁移学习算法的最佳距离范围映射模型，以用于电容数据的数据迁移映射。
该系统在硬件部署时可以由传感器工装、信号传输工装以及上位机三个主要部分组成：
传感器工装：指的是电容传感器和距离传感器组成的传感器模块，还包括装配电容传感器与距离传感器的工装板，所述工装板上开设有一个距离传感器安装孔以及若干个呈阵列排布的电极片安装座，所述电容传感器包括安装在安装座内且呈阵列排布的若干电极片以及与电极片连接的模拟开关，安装座内有电缆孔用于通过电极接线的电缆，便于连接采集电路板，距离传感器安装孔位于工装最上方，用于安装距离传感器，整个电极采用金属材质，整体接地，起到屏蔽作用，减小外界的电磁干扰，提高信号的信噪比，所述模拟开关用于控制切换各电极片的发射/接收状态，接收电极和发射电极空间位置不同时，电磁场空间分布不同，带来的物体敏感区域不同，可视为不同的电容传感器。电极板利用边缘效应，在检测区域内出现手势时，由电容检测电路测得的电容值也发生相应变换，采用M*N个阵列电极片通过模拟开关切换不同的电极组成n敏感配置，每种敏感配置为一种电容传感器，作为一个特征用于机器学习分类模型进行处理。例如，以4*4阵列为例，可以配置图3中26种方式，图中T代表发射电极，R代表接收电极，N代表无电气连接，当然不限这26种敏感配置。
信号传输工装：则是用于采集并传送电容传感器和距离传感器的电容值与距离测得值。其包括：①MCU主控制器，负责整个电路的控制，用于实现实时的电容阵列的电极组合的模拟开关通道的数据切换、电容值与测距传感器的数据采集、处理和传输，对检测数据进行数字滤波处理，并传输结果至上位机；②电源电路，由外界提供5V电压，经过电容滤波得到稳定的5V电压，经过SGM2019-3.3YN5G芯片，为整个系统提供稳定的3.3V电压；③电容检测电路，以PCAP01为核心电容检测芯片，该芯片能够有效抑制杂散电容，直接将测量得到的电容信号转换为电信号；控制电容测量激励通道的多路开关芯片选取ADG612YURZ，将16个电极片各自连接两个通路，分别为激励通道和接收通道，以此实现激励和检测的切换；④数据通信电路，采用FT232H USB接口芯片，实现上位机命令下发及下位机数据上传。
上位机：与MCU主控制器之间进行双向通讯，功能包括接收来自电容和测距传感器的数据并存储，对数据进行处理和分析，训练和部署手势识别模型，采用可视化界面实时显示所测传感器值和所对应的手势识别结果等；其中，数据处理包含电容阵列数据的归一化、最优特征子集选择、将非最佳距离范围下的电容数据通过迁移算法映射至最佳距离范围下的电容值，最后通过机器学习手势识别模型进行手势识别。
结合图4-8所示，本发明还提供了一种基于电容、距离传感器的双模态手势识别方法，步骤包括：
S1、通过电容传感器和距离传感器获取待识别手势对应的电容数据和距离数据；
S2、判断所述距离数据是否落入电容传感器最佳距离范围，若是则将所述电容数据直接作为识别电容值，若否则利用所述距离数据对所述电容数据进行数据迁移映射，得到最佳距离范围下的电容数据并将其作为识别电容值；
其中，所述数据迁移映射利用最佳距离范围映射模型进行，所述最佳距离范围映射模型的构建步骤为：将第二特征向量值输入机器学习手势识别模型，通过测试对比找到最佳距离范围，再将非最佳距离范围内的电容数据通过迁移算法映射至最佳距离范围下的电容数据，从而建立基于迁移学习算法的最佳距离范围映射模型；
S3、将步骤S2得到的所述识别电容值输入至预先部署的机器学习手势识别模型中进行识别，输出识别结果。
其中，部署机器学习手势识别模型的具体步骤为：
S3-1、通过多个不同敏感配置的电容传感器获取目标手势的多个电容值，同时通过距离传感器获取目标手势对应的距离值，以10种静态手势图为例，基于上述26种敏感配置中第一种敏感配置C1的10种静态手势的电容变化曲线图如图5所示；
S3-2、对步骤S3-1中获取的电容值进行归一化处理；
归一化处理的公式为：
；
式中，为第m个敏感配置下得到电容测量值，/>为第m个敏感配置下得到电容的初始值；
S3-3、将归一化处理后的电容值以及对应的距离值作为第一特征向量值，利用所述第一特征向量值训练预部署的机器学习手势识别模型；
S3-4、通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值，并利用SVM_RFE算法计算最优子集个数，再根据shapley值的权重排序以及最优子集个数，得到最优特征子集；
其中，通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值的具体步骤如下：
S3-4-1、假设一个线性模型可预测表示为：
；
S3-4-2、定义第j个特征对预测的贡献为：
；
式中，是输入特征向量，/>为对应的权值，/>是特征的平均影响估计，所得贡献/>表示为特征影响减去平均影响直接的差异；
S3-4-3、根据每个特征向量的贡献程度，得到所有特征贡献之和，即：
；
式中，每个数据贡献之和等于预测值减去平均预测值，对应非线性模型中，通过合作博弈论中的Shapley值得到机器学习分类算法中的单个预测的特征贡献程度；
S3-4-4、对每个特征的Shapley值即为该特征对预测的贡献，通过对所有可能的特征组合进行加权和求和得到：
；
式中，是模型中使用的特征子集，/>是要解释的实例的特征的向量，/>为特征数量 ，其中/>为子集/>的权重，该权重与顺序有关，且所有可能的子集的特征组合情况占比之和等于1，/>是子集/>的预测。
其中，利用SVM_RFE算法计算最优子集个数的决策函数如下：
；
式中，为超平面的法向量，/>为映射函数；
从式中可以看出，也是/>的权值，即为特征向量/>的权值，因此通过作为标准来衡量特征，经典的SVM_RFE的排序系数为：
；
且具体计算步骤如下：
S3-4-5、输入训练样本，/>是/>维空间的样本；
分类标签, 初始化的特征排序/>，当前特征排序；
S3-4-6、根据当前特征获取新的样本：；
S3-4-7、以新的样本训练模型，得到SVM参数：
；
S3-4-8、计算排序，找出排序准则最小的特征，并更新特征排序列表/>；
S3-4-9、用最小排序准则消除系数最小的特征：
；
S3-4-10、输出：最优特征数与特征排序；
S3-5、将所述最优特征子集作为第二特征向量值，利用所述第二特征向量值重新训练并部署机器学习手势识别模型，图8所示为基于KNN分类效果的手势识别的混淆矩阵图。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (4)
1.一种基于电容、距离传感器的双模态手势识别系统，其特征在于，系统包括：
传感器模块，包括电容传感器和距离传感器，所述电容传感器用于在其识别区域内出现手势时获取该手势下的电容数据，所述距离传感器用于在其识别区域内出现手势时获取该手势与基准面的距离数据；
数据处理模块，用于判断所述距离数据是否落入电容传感器最佳距离范围，若是则将所述电容数据直接作为识别电容值，若否则利用所述距离数据对所述电容数据进行数据迁移映射，得到最佳距离范围下的电容数据并将其作为识别电容值；
识别模块，用于将所述识别电容值输入至预先部署的机器学习手势识别模型中进行识别，输出识别结果；
所述传感器模块还包括工装板，所述工装板上开设有一个距离传感器安装孔以及若干个呈阵列排布的电极片安装座，所述电容传感器包括安装在安装座内且呈阵列排布的若干电极片以及与电极片连接的模拟开关，所述模拟开关用于控制切换各电极片的发射/接收状态，使电容传感器处于多个不同的敏感配置下；
系统还包括模型部署模块，用于预先训练并部署机器学习手势识别模型，所述模型部署模块包括：
信号接收单元，用于接收传感器模块获取的目标手势多个电容值以及对应的距离值；
归一化单元，用于对所述电容值进行归一化处理；
第一训练单元，用于将归一化处理后的电容值以及对应的距离值作为第一特征向量值，并利用所述第一特征向量值训练预部署的机器学习手势识别模型；
计算单元，用于通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值，并利用SVM_RFE算法计算最优子集个数，再根据shapley值的权重排序以及最优子集个数，得到最优特征子集；
第二训练单元，用于将所述最优特征子集作为第二特征向量值，利用所述第二特征向量值重新训练并部署机器学习手势识别模型；
所述模型部署模块还包括迁移映射单元，用于将第二特征向量值输入机器学习手势识别模型，通过测试对比找到最佳距离范围，再将非最佳距离范围内的电容数据通过迁移算法映射至最佳距离范围下的电容数据，从而建立基于迁移学习算法的最佳距离范围映射模型，以用于电容数据的数据迁移映射。
2.一种基于电容、距离传感器的双模态手势识别方法，其利用权利要求1所述的双模态手势识别系统，其特征在于，步骤包括：
S1、通过电容传感器和距离传感器获取待识别手势对应的电容数据和距离数据；
S2、判断所述距离数据是否落入电容传感器最佳距离范围，若是则将所述电容数据直接作为识别电容值，若否则利用所述距离数据对所述电容数据进行数据迁移映射，得到最佳距离范围下的电容数据并将其作为识别电容值；
S3、将步骤S2得到的所述识别电容值输入至预先部署的机器学习手势识别模型中进行识别，输出识别结果。
3.根据权利要求2所述的一种基于电容、距离传感器的双模态手势识别方法，其特征在于，步骤S3中，部署机器学习手势识别模型的具体步骤为：
S3-1、通过多个不同敏感配置的电容传感器获取目标手势的多个电容值，同时通过距离传感器获取目标手势对应的距离值；
S3-2、对步骤S3-1中获取的电容值进行归一化处理；
S3-3、将归一化处理后的电容值以及对应的距离值作为第一特征向量值，利用所述第一特征向量值训练预部署的机器学习手势识别模型；
S3-4、通过SHAP算法计算机器学习手势识别模型的各敏感配置下电容值的shapley值，并利用SVM_RFE算法计算最优子集个数，再根据shapley值的权重排序以及最优子集个数，得到最优特征子集；
S3-5、将所述最优特征子集作为第二特征向量值，利用所述第二特征向量值重新训练并部署机器学习手势识别模型。
4.根据权利要求3所述的一种基于电容、距离传感器的双模态手势识别方法，其特征在于，所述归一化处理的公式为：
式中，为第m个敏感配置下得到电容测量值，/>为第m个敏感配置下得到电容的初始值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410175441.9A CN117742502B (zh) | 2024-02-08 | 2024-02-08 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410175441.9A CN117742502B (zh) | 2024-02-08 | 2024-02-08 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117742502A CN117742502A (zh) | 2024-03-22 |
| CN117742502B true CN117742502B (zh) | 2024-05-03 |
Family
ID=90279589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410175441.9A Active CN117742502B (zh) | 2024-02-08 | 2024-02-08 | 一种基于电容、距离传感器的双模态手势识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117742502B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012087308A1 (en) * | 2010-12-22 | 2012-06-28 | Intel Corporation | Touch sensor gesture recognition for operation of mobile devices |
| WO2012087309A1 (en) * | 2010-12-22 | 2012-06-28 | Intel Corporation | Touch sensor gesture recognition for operation of mobile devices |
| CN104680127A (zh) * | 2014-12-18 | 2015-06-03 | 闻泰通讯股份有限公司 | 手势识别方法及系统 |
| WO2016093612A1 (en) * | 2014-12-09 | 2016-06-16 | Lg Innotek Co., Ltd. | Band type sensor and wearable device having the same |
| US9740396B1 (en) * | 2014-06-25 | 2017-08-22 | Amazon Technologies, Inc. | Adaptive gesture recognition |
| CN107562366A (zh) * | 2017-09-28 | 2018-01-09 | 珠海普林芯驰科技有限公司 | 手势识别方法、计算机装置及计算机可读存储介质 |
| CN110472389A (zh) * | 2019-07-31 | 2019-11-19 | 南京大学 | 基于触控手势的身份认证系统及其工作方法 |
| CN111553307A (zh) * | 2020-05-08 | 2020-08-18 | 中国科学院合肥物质科学研究院 | 一种融合生物电阻抗信息和肌电信息的手势识别系统 |
| CN112099624A (zh) * | 2020-08-25 | 2020-12-18 | 李志斌 | 多模态菱形框架式电容感应手势识别系统 |
| AU2021101815A4 (en) * | 2020-12-04 | 2021-05-27 | Zhengzhou Zoneyet Technology Co., Ltd. | Human-computer interaction method and system based on dynamic gesture recognition |
| CN112966662A (zh) * | 2021-03-31 | 2021-06-15 | 安徽大学 | 一种近程电容式动态手势识别系统及方法 |
| CN112965605A (zh) * | 2021-03-31 | 2021-06-15 | 安徽大学 | 一种近程电容式静态手势识别系统及方法 |
| CN113454481A (zh) * | 2019-02-28 | 2021-09-28 | 谷歌有限责任公司 | 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统 |
| CN116895287A (zh) * | 2023-08-04 | 2023-10-17 | 齐鲁工业大学(山东省科学院) | 一种基于shap值的抑郁症语音表型分析方法 |
| CN117312985A (zh) * | 2023-09-27 | 2023-12-29 | 中国地质大学（武汉） | 基于可解释深度学习的表面肌电信号相似手势识别方法 |
| CN117434507A (zh) * | 2022-07-20 | 2024-01-23 | 英飞凌科技股份有限公司 | 使用可解释人工智能对机器学习算法的训练 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9323985B2 (en) * | 2012-08-16 | 2016-04-26 | Microchip Technology Incorporated | Automatic gesture recognition for a sensor system |
| US10078780B2 (en) * | 2015-03-27 | 2018-09-18 | Intel Corporation | Gesture recognition mechanism |
-
2024
- 2024-02-08 CN CN202410175441.9A patent/CN117742502B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012087308A1 (en) * | 2010-12-22 | 2012-06-28 | Intel Corporation | Touch sensor gesture recognition for operation of mobile devices |
| WO2012087309A1 (en) * | 2010-12-22 | 2012-06-28 | Intel Corporation | Touch sensor gesture recognition for operation of mobile devices |
| US9740396B1 (en) * | 2014-06-25 | 2017-08-22 | Amazon Technologies, Inc. | Adaptive gesture recognition |
| WO2016093612A1 (en) * | 2014-12-09 | 2016-06-16 | Lg Innotek Co., Ltd. | Band type sensor and wearable device having the same |
| CN104680127A (zh) * | 2014-12-18 | 2015-06-03 | 闻泰通讯股份有限公司 | 手势识别方法及系统 |
| CN107562366A (zh) * | 2017-09-28 | 2018-01-09 | 珠海普林芯驰科技有限公司 | 手势识别方法、计算机装置及计算机可读存储介质 |
| CN113454481A (zh) * | 2019-02-28 | 2021-09-28 | 谷歌有限责任公司 | 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统 |
| CN110472389A (zh) * | 2019-07-31 | 2019-11-19 | 南京大学 | 基于触控手势的身份认证系统及其工作方法 |
| CN111553307A (zh) * | 2020-05-08 | 2020-08-18 | 中国科学院合肥物质科学研究院 | 一种融合生物电阻抗信息和肌电信息的手势识别系统 |
| CN112099624A (zh) * | 2020-08-25 | 2020-12-18 | 李志斌 | 多模态菱形框架式电容感应手势识别系统 |
| AU2021101815A4 (en) * | 2020-12-04 | 2021-05-27 | Zhengzhou Zoneyet Technology Co., Ltd. | Human-computer interaction method and system based on dynamic gesture recognition |
| CN112966662A (zh) * | 2021-03-31 | 2021-06-15 | 安徽大学 | 一种近程电容式动态手势识别系统及方法 |
| CN112965605A (zh) * | 2021-03-31 | 2021-06-15 | 安徽大学 | 一种近程电容式静态手势识别系统及方法 |
| CN117434507A (zh) * | 2022-07-20 | 2024-01-23 | 英飞凌科技股份有限公司 | 使用可解释人工智能对机器学习算法的训练 |
| CN116895287A (zh) * | 2023-08-04 | 2023-10-17 | 齐鲁工业大学(山东省科学院) | 一种基于shap值的抑郁症语音表型分析方法 |
| CN117312985A (zh) * | 2023-09-27 | 2023-12-29 | 中国地质大学（武汉） | 基于可解释深度学习的表面肌电信号相似手势识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 3D Gesture-Sensing System for Interactive Displays Based on Extended-Range Capacitive Sensing;Hu, YZ等;2014 IEEE INTERNATIONAL SOLID-STATE CIRCUITS CONFERENCE DIGEST OF TECHNICAL PAPERS (ISSCC);20140913;212-214 * |
| 基于电容传感器的手势识别装置设计与开发;丁盛等;科技创新与应用;20231225;107-110 * |
| 基于电容的手势识别系统;赵品辉;吴迪;黄敏;;电子器件;20200220(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117742502A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102576270B (zh) | 对身体或目标的运动或动作敏感的控制接口装置和方法以及装有该装置的控制设备 | |
| CN105631402A (zh) | 指纹识别装置及方法 | |
| CN105934733A (zh) | 电阻式触摸传感器系统和方法 | |
| KR20110132349A (ko) | 객체의 거동을 모니터링하는 장치 및 방법 | |
| CN103885629B (zh) | 触摸传感器装置、电子设备、位置计算方法及位置计算程序 | |
| CN109490369A (zh) | 一种非接触式电阻抗层析成像装置及方法 | |
| CN206818346U (zh) | 一种柔性可拉伸的气压传感器阵列 | |
| KR20130078462A (ko) | 터치 센서 시스템의 멀티 터치 구분 방법 | |
| CN109613976B (zh) | 一种智能柔性压力传感手语识别装置 | |
| CN105890709B (zh) | 检测装置、液面测量方法与电源插座 | |
| KR20190078952A (ko) | 기기별 사용 상태를 예측하기 위한 가전기기 모니터링 시스템 및 그것의 모니터링 방법 | |
| CN110275614B (zh) | 一种非接触式手势识别装置及其方法 | |
| CN117742502B (zh) | 一种基于电容、距离传感器的双模态手势识别系统及方法 | |
| Mantyjarvi et al. | Keystroke recognition for virtual keyboard | |
| CN110377175B (zh) | 触控面板上敲击事件的识别方法及系统，及终端触控产品 | |
| CN112000245A (zh) | 一种基于触摸屏压力的调校系统 | |
| CN208922233U (zh) | 一种基于电容传感器的非接触式手势识别装置 | |
| Yang et al. | Magnetostrictive tactile sensor array based on L-shaped galfenol wire and application for tilt detection | |
| Yang et al. | A flexible touching sensor with the variation of electrical impedance distribution | |
| CN112985649B (zh) | 一种基于柔性分布式电容触觉传感器的力学信息检测系统 | |
| CN104281339B (zh) | 触控面板的目标定位方法 | |
| CN109710116A (zh) | 一种非接触式手势状态识别系统及识别方法 | |
| CN113155031B (zh) | 一种用于无线电能传输系统线圈偏移的测量装置 | |
| CN114046873A (zh) | 一种基于lof-fcm模糊聚类算法的电抗器振动监测系统 | |
| CN113176825B (zh) | 一种大面积隔空手势识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |