CN113887675B - 一种异构传感器特征融合的手势识别方法 - Google Patents
一种异构传感器特征融合的手势识别方法 Download PDFInfo
- Publication number
- CN113887675B CN113887675B CN202111474290.XA CN202111474290A CN113887675B CN 113887675 B CN113887675 B CN 113887675B CN 202111474290 A CN202111474290 A CN 202111474290A CN 113887675 B CN113887675 B CN 113887675B
- Authority
- CN
- China
- Prior art keywords
- layer
- sensor
- feature
- heterogeneous
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Abstract
本发明公开了一种异构传感器特征融合的手势识别方法,首先,利用肌电传感器、视觉传感器及惯性传感器获取原始信号,随后进行数据预处理;进一步,将处理后的数据划分为训练集和测试集;其次,将训练集输入至搭建好的卷积网络模型中训练,并在训练时针对不同传感器信息引入注意力机制;进一步,将测试集输入训练好的卷积网络模型后提取异构传感器特征向量;最后,构建Copula连接函数构建特征融合模型,利用支持向量机进行分类。本发明采用异构传感器获取数据,结合卷积神经网络提取特征,并利用Copula对不同传感器特征进行融合,更好地表述了传感器特征之间的相关性,提高了手势识别的准确率,为后续人机交互发展提供技术支撑。
Description
技术领域
本发明涉及人机交互技术领域,特别涉及一种异构传感器特征融合的手势识别方法。
背景技术
手势识别在智能交通、智能工厂、智能机器人等领域应用广泛。异构传感器为手势识别提供了丰富的多模态信息,以期实现更智能便捷的功能。然而,为了提高手势识别及分类精度和鲁棒性,如何提取异构传感器深层次特征,并将其有效融合仍有待研究。
随着人工智能技术和计算机性能提高,卷积神经网络在各个领域应用广泛,通过卷积神经网络能够提取多尺度深层次的语义信息,能有效地进行手势识别和分类。然而,一方面,卷积神经网络单纯利用卷积可能无法提取深层次的特征信息;另一方面,尽管目前有部分方法通过特征向量拼接或组合的方式进行异构传感器特征融合,但并未表征异构传感器之间的相关性,对其结果更是无法解释。
另外,Copula连接函数作为估计联合分布的有效方式,广泛应用于统计、经济和金融等领域的相关性建模与估计,能有效刻画异构传感器之间的相关性。
发明内容
针对上述问题,本发明的目的在于提供一种异构传感器特征融合的手势识别方法,通过卷积神经网络提取丰富的多尺度特征信息,并利用Copula函数有效地融合异构传感器的特征向量,一定程度上增加了手势识别的精度,解决了单传感器特征易受干扰的问题,为后续人机交互发展提供技术支撑。技术方案如下:
一种异构传感器特征融合的手势识别方法,包括以下步骤:
S1:利用肌电传感器、惯性传感器及视觉传感器获取肌电信号数据、惯性数据和视觉图像数据,再对得到的各传感器的数据进行预处理,并通过卡尔曼滤波对肌电信号数据和惯性数据进行去噪,然后将处理后的数据划分为训练集和测试集;
S2:构建卷积神经网络提取异构传感器特征
针对肌电信号数据和惯性数据,构建三层特征提取模块,每层包括基础卷积层和信号注意力机制层,然后构建池化层和随机丢弃层;
对于视觉图像数据,构建四层特征提取模块,每层包括基础卷积层和极化注意力机制层,然后构建池化层和随机丢弃层;
基于交叉熵损失函数分别对上述特征提取模块进行训练,将训练集输入到卷积网络模型中训练;
将测试集输入训练好的卷积网络模型后提取异构传感器特征向量;
S3:根据输出的异构传感器特征向量,基于Copula连接函数的异构传感器特征融合算法建立融合模型,融合得到特征融合向量;
S4:对特征融合向量利用支持向量机进行分类。
进一步的,所述信号注意力机制表示如下:
其中,FA(·)表示信号注意力,X k 为每层特征图,其中k=1,2,3;FC(·)表示全连接
层,GAP(·)表示全局平均池化操作;第k层特征图X k 由元素构成,其表示第k层特征图中
第i行第j列的信息,i=0,1…,H-1,j=0,1,…,W-1;H和W分别表示特征图的行数和列数;为
元素相乘;
更进一步的,所述极化注意力机制表示如下:
其中,PA(·)表示极化注意力,由极化通道注意力PCA(·)及空间注意力SA(·)构
成,为元素相加;X k 为每层特征图,其中k=1,2,3,4,α和β分别表示极化通道注意力权重和
空间注意力权重;
其中,ξ、η和δ表示不同的尺寸变化因子,用于张量尺寸更改,分别为变为单位张量、1/2缩放及1/2缩放与单位张量乘积;BC(·)表示基础卷积层,由一维卷积、BatchNorm及ReLU激活函数组成;SM(·)表示softmax层。
更进一步的,所述步骤S3中,Copula异构传感器特征融合算法具体包括建立联合概率密度函数和非参数的核密度估计;
构建联合概率密度函数如下式:
进一步构建目标函数如下:
与现有技术相比,本发明的有益效果是:本发明充分利用异构传感器信息,首先对不同传感器数据利用卷积神经网络提取深层次的特征向量,并有效地将异构传感器特征向量利用Copula函数进行特征级融合,再利用支持向量机分类器进行分类识别,避免了单一特征易受干扰的问题,提高了手势识别的精度和鲁棒性。
附图说明
图1为本发明异构传感器特征融合的手势识别方法的整体流程图。
图2为本发明卷积神经网络图;其中,BC表示基础卷积层,FA表示信号注意力,PA表示极化注意力。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
本实施例提供的一种异构传感器特征融合的手势识别方法,其整体流程示意图参见图1,主要步骤包括:数据获取、肌电手势识别分类模型搭建与训练、肌电手势识别分类模型测试与融合模型建立。
1、数据获取,具体包括以下步骤:
获取肌电手势识别的多传感器数据,包括肌电信号、视觉图像及惯性信息,构成目标数据集,利用归一化、灰度化和感兴趣区域(ROI)裁剪对图像数据集进行预处理,利用归一化和卡尔曼滤波算法对惯性数据和肌电信号数据集去噪,最后按比例9:1将其划分为训练集和测试集。
2、肌电手势识别分类模型搭建与训练,主要步骤包括:
(a)构建卷积神经网络提取异构传感器特征
针对肌电信号和惯性数据,构建三层特征提取模块,每层包括基础卷积层和信号注意力机制层,然后构建池化层和随机丢弃层;对于图像数据,构建四层特征提取模块,每层包括基础卷积层和极化注意力机制层,然后构建池化层和随机丢弃层。
进一步的是,所述信号注意力机制表示如下:
其中,FA(·)表示信号注意力,X k 为每层特征图,其中k=1,2,3;FC(·)表示全连接
层,GAP(·)表示全局平均池化操作,第k层特征图X k 由元素构成,其表示第k层特征图中
第i行第j列的信息(i=0,1…,H-1,j=0,1,…,W-1),U k 表示其对应学习权重,由元素构成,
可由离散余弦变换得出:
所述极化注意力机制表示如下:
其中,PA(·)表示极化注意力(Polarized Attention,PA),由极化通道注意力PCA
(·)及空间注意力SA(·)构成,为元素相加,为元素相乘,X k 为每层特征图,其中,k=1,
2,3,4,α和β分别表示极化通道注意力权重和空间注意力权重。
其中,ξ、η和δ表示不同的尺寸变化因子,用于张量尺寸更改,分别为变为单位张量、1/2缩放及1/2缩放与单位张量乘积;BC(·)表示基础卷积层,由一维卷积、BatchNorm及ReLU激活函数组成;SM(·)表示softmax层。
3、肌电手势识别分类模型测试与融合模型建立,主要步骤包括:
(a)将异构传感器数据输入训练好的网络模型中,输出异构传感器特征向量。
(b)构建Copula异构传感器特征融合算法。
所述Copula异构传感器特征融合算法具体包括建立联合概率密度函数和非参数
的核密度估计。首先,将测试集输入上述模型输出异构传感器特征向量,此目标是找到一个
映射函数g,使其从异构传感器特征向量结果中获得融合后的特征向量,令这个融合概率结
果为;
其中,,f Y (y)是y的核密度估计,是标准的分布函数(如高斯和t分
布等),这里假设为标准高斯分布函数,则。通过经验概率积分变换来确定P S
(·)的估计值,然后通过边际推理函数法求出相应地Copula参数集。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (2)
1.一种异构传感器特征融合的手势识别方法,其特征在于,包括以下步骤:
S1:利用肌电传感器、惯性传感器及视觉传感器获取肌电信号数据、惯性数据和视觉图像数据,再对得到的各传感器的数据进行预处理,并通过卡尔曼滤波对肌电信号数据和惯性数据进行去噪,然后将处理后的数据划分为训练集和测试集;
S2:构建卷积神经网络提取异构传感器特征
针对肌电信号数据和惯性数据,构建三层特征提取模块,每层包括基础卷积层和信号注意力机制层,然后构建池化层和随机丢弃层;
对于视觉图像数据,构建四层特征提取模块,每层包括基础卷积层和极化注意力机制层,然后构建池化层和随机丢弃层;
基于交叉熵损失函数分别对上述特征提取模块进行训练,将训练集输入到卷积网络模型中训练;
将测试集输入训练好的卷积网络模型后提取异构传感器特征向量;
S3:根据输出的异构传感器特征向量,基于Copula连接函数的异构传感器特征融合算法建立融合模型,融合得到特征融合向量;
S4:对特征融合向量利用支持向量机进行分类;
所述信号注意力机制表示如下:
其中,FA(·)表示信号注意力,X k 为每层特征图,其中k=1,2,3;FC(·)表示全连接层,GAP(·)表示全局平均池化操作;第k层特征图X k 由元素构成,其表示第k层特征图中第i行第j列的信息,i=0,1…,H-1,j=0,1,…,W-1;H和W分别表示特征图的行数和列数;为元素相乘;
所述极化注意力机制表示如下:
其中,ξ、η和δ表示不同的尺寸变化因子,用于张量尺寸更改,分别为变为单位张量、1/2缩放及1/2缩放与单位张量乘积;BC(·)表示基础卷积层,由一维卷积、BatchNorm及ReLU激活函数组成;SM(·)表示softmax层。
2.根据权利要求1所述的异构传感器特征融合的手势识别方法,其特征在于,所述S3中,Copula异构传感器特征融合算法具体包括建立联合概率密度函数和非参数的核密度估计;
构建联合概率密度函数如下式:
进一步构建目标函数如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111474290.XA CN113887675B (zh) | 2021-12-06 | 2021-12-06 | 一种异构传感器特征融合的手势识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111474290.XA CN113887675B (zh) | 2021-12-06 | 2021-12-06 | 一种异构传感器特征融合的手势识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113887675A CN113887675A (zh) | 2022-01-04 |
CN113887675B true CN113887675B (zh) | 2022-03-04 |
Family
ID=79015630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111474290.XA Active CN113887675B (zh) | 2021-12-06 | 2021-12-06 | 一种异构传感器特征融合的手势识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113887675B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581425B (zh) * | 2022-03-10 | 2022-11-01 | 四川大学 | 一种基于深度神经网络的心肌段缺损图像处理方法 |
CN114863572B (zh) * | 2022-07-07 | 2022-09-23 | 四川大学 | 一种多通道异构传感器的肌电手势识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945362A (zh) * | 2012-10-18 | 2013-02-27 | 中国科学院计算技术研究所 | 基于异构数据融合的传感器协同手势识别方法及系统 |
KR20170030139A (ko) * | 2015-09-08 | 2017-03-17 | 경희대학교 산학협력단 | 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법 |
CN112861604A (zh) * | 2020-12-25 | 2021-05-28 | 中国科学技术大学 | 一种与用户无关的肌电动作识别与控制方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11493993B2 (en) * | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
CN113205074B (zh) * | 2021-05-29 | 2022-04-26 | 浙江大学 | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 |
-
2021
- 2021-12-06 CN CN202111474290.XA patent/CN113887675B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945362A (zh) * | 2012-10-18 | 2013-02-27 | 中国科学院计算技术研究所 | 基于异构数据融合的传感器协同手势识别方法及系统 |
KR20170030139A (ko) * | 2015-09-08 | 2017-03-17 | 경희대학교 산학협력단 | 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법 |
CN112861604A (zh) * | 2020-12-25 | 2021-05-28 | 中国科学技术大学 | 一种与用户无关的肌电动作识别与控制方法 |
Non-Patent Citations (3)
Title |
---|
A Hierarchical Hand Motions Recognition Method Based on IMU and sEMG Sensors;Wennan Chang等;《2015 IEEE International Conference on Robotics and Biomimetics (ROBIO)》;20160225;1024-1029 * |
基于表面肌电信号和惯性测量单元的手势动作识别的研究;谢小雨;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20181015(第10期);I138-843 * |
基于视觉与肌电信号的手势识别研究;顾景;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20100715(第07期);I138-837 * |
Also Published As
Publication number | Publication date |
---|---|
CN113887675A (zh) | 2022-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xiong et al. | Transferable two-stream convolutional neural network for human action recognition | |
Zhang et al. | A graph-cnn for 3d point cloud classification | |
Jia et al. | A lightweight convolutional neural network for hyperspectral image classification | |
Jia et al. | Spectral–spatial Gabor surface feature fusion approach for hyperspectral imagery classification | |
Abbass et al. | A survey on online learning for visual tracking | |
Benedek et al. | Change detection in optical aerial images by a multilayer conditional mixed Markov model | |
CN108681746B (zh) | 一种图像识别方法、装置、电子设备和计算机可读介质 | |
CN113887675B (zh) | 一种异构传感器特征融合的手势识别方法 | |
Kang et al. | Deep learning-based weather image recognition | |
Vishwakarma et al. | Unified framework for human activity recognition: an approach using spatial edge distribution and ℜ-transform | |
Lin et al. | Visual feature coding based on heterogeneous structure fusion for image classification | |
Raparthi et al. | Machine Learning Based Deep Cloud Model to Enhance Robustness and Noise Interference | |
CN111460881A (zh) | 基于近邻判别的交通标志对抗样本检测方法和分类装置 | |
Balakrishnan et al. | Meticulous fuzzy convolution C means for optimized big data analytics: adaptation towards deep learning | |
Larabi et al. | High-resolution optical remote sensing imagery change detection through deep transfer learning | |
Ma et al. | 3D convolutional auto-encoder based multi-scale feature extraction for point cloud registration | |
Xu et al. | Cow face recognition for a small sample based on Siamese DB Capsule Network | |
CN114283326A (zh) | 一种结合局部感知和高阶特征重构的水下目标重识别方法 | |
Mishra et al. | Using deep learning for IoT-enabled camera: A use case of flood monitoring | |
CN117218343A (zh) | 一种基于深度学习的语义部件姿态估计方法 | |
Li et al. | Spatial and temporal information fusion for human action recognition via Center Boundary Balancing Multimodal Classifier | |
Deepan et al. | Comparative analysis of scene classification methods for remotely sensed images using various convolutional neural network | |
Li et al. | Detection of Imaged Objects with Estimated Scales. | |
Balakrishnan et al. | Computing WHERE-WHAT classification through FLIKM and deep learning algorithms | |
Swain et al. | Dimensionality reduction and classification in hyperspectral images using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |