CN109271838A - 一种基于fmcw雷达的三参数特征融合手势识别方法 - Google Patents
一种基于fmcw雷达的三参数特征融合手势识别方法 Download PDFInfo
- Publication number
- CN109271838A CN109271838A CN201810794392.1A CN201810794392A CN109271838A CN 109271838 A CN109271838 A CN 109271838A CN 201810794392 A CN201810794392 A CN 201810794392A CN 109271838 A CN109271838 A CN 109271838A
- Authority
- CN
- China
- Prior art keywords
- parameter
- gesture
- dtm
- rtm
- atm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于FMCW(frequency modulated continuous wave)雷达的三参数特征融合手势识别方法。首先通过雷达获取不同手势的中频信号,从中得到角度参数、距离参数和多普勒频移参数,并构造对应数据集;其次,将关于角度、距离和多普勒频移的数据集分别送入卷积神经网络中训练,得到特征值并做融合处理;最后,将融合后的特征值送入分类器,得到手势类别。本发明创新地提出多重参数在卷积神经网络中的融合方法,解决了传统识别算法使用条件受限的问题,且最终手势的分类效果优于单一参数。
Description
技术领域
本发明涉及手势识别技术领域,特别涉及一种基于FMCW雷达的三参数特征融合手势识别方法。
背景技术
随着当今时代人机交互技术的发展,手势识别已经成人机交互的重要组成部分,其研究发展影响着人机交互的自然性和灵活性,并且在各个领域得到广泛的应用。
传统的人机交互方式依赖于键盘、鼠标等输入设备,无法实现简单、高效、灵活的信息互动。而手势可以直观、有效地表达信息,并且其信息可以传达到视觉系统。近年来,由于电子产品的普及和相关技术的发展,手势识别技术已成为了国内外研究的热点。在家庭娱乐方面,根据用户在游戏环境中左右挥动等动作来控制游戏中的角色,使得用户体验效果更好。而在智能驾驶方面,由于司机在驾驶过程中可能被车载导航系统电话系统分散注意力进而产生危险,为避免此类事件发生可以通过识别驾驶员手势动作完成对导航系统以及车载娱乐系统的控制,提高驾驶的安全性。
目前在手势识别的研究中,传统的手势识别方法主要利用光学摄像头和深度摄像头进行数据采集。光学图像和深度图像可以描述手势纹理、轮廓、形状等信息,但在强光或昏暗光线下效果较差。而雷达传感器可以解决由光线不佳而引起手势识别精度低下的问题,并可保护用户隐私。因此,调频连续波(frequency modulated continuous wave,FMCW)雷达在手势识别的应用上具有非常可观的研究前景。
现有手势识别方法存在以下问题。首先,传统的光学和深度传感器在手势识别的应用中难以克服非正常光照的影响。其次,由于传统的可视化传感器对用户保持不间断地监控,无法有效保护用户的隐私。再次,目前基于雷达的手势识别研究中,仅挖掘了手势目标的距离和多普勒信息,而忽略了能够有效表征手势目标方位的角度信息,没有充分挖掘雷达所能提供的有用手势信息。此外,二维卷积神经网络的输入为表征图像的二维矩阵,三维卷积神经网络的输入为表征序列图像的三维矩阵。然而,二维或三维卷积神经网络的输入样本所能容纳的信息维度有限,无法同时输入描述手势动作距离-时间、多普勒-时间和角度-时间的多维耦合信息,不能构成一个端到端的融合网络,这为手势识别研究中数据集构建和网络设计带来了一定难度。
发明内容
本发明的目的是提供一种基于FMCW雷达的三参数特征融合手势识别方法,相比于传统的手势识别技术,本发明结合了手势动作的距离、多普勒和角度进行多维参数学习,有效解决了单维参数手势识别方法中手势描述信息量低的问题和传统卷积神经网络的输入样本无法容纳多维参数的问题。它能有效的解决传统识别使用环境受限以及算法鲁棒性差的问题,且能实现多种手势的精确分类。
本发明所述的一种基于FMCW雷达的三参数特征融合手势识别方法,包括以下步骤:
1)设计手掌前推、后拉、左摆、右摆、前后推拉和左右摆动六个手势动作,并采集不同手势动作的FMCW雷达信号数据,将每一种手势动作的数据记为不同类别。
2)将发送信号sT(t)和回波信号sR(t)输入到混频器中,得到混频信号sM(t),混频信号sM(t)经过低通滤波器得到中频信号sIF(t)。
3)根据中频信号sIF(t)求解得到雷达目标的距离参数R、角度参数θ和多普勒频移参数。
4)将计算得到的距离、角度和多普勒频移进行多帧累积,构造距离-时间图(Range-Time-Map,RTM)、多普勒-时间图(Doppler-Time-Map,DTM)和角度-时间图(Angle-Time-Map,ATM)并归一化处理。
5)将步骤四得到的RTM、DTM和ATM同步手势类别标签,构建三维参数数据集。
6)将数据集中描述手势动作的RTM、DTM和ATM数据分别送入卷积神经网络模型,进行单个参数的特征提取。
7)将步骤六得到的三个特征函数FRTM、FDTM、FATM输入全连接层进行特征融合。
8)将融合过后的特征向量Ffusion输入softmax分类器,其输出为不同手势类别。
9)将测试手势数据集输入到卷积神经网络中分类,得到手势分类结果y′。
所述步骤7)特征融合包括以下步骤:
7a)将对应RTM、ATM和DTM的三个单参数网络使用全连接层并行处理,融合成为一个端到端的网络,这一部分的输入为RTM、DTM和ATM的fc6层特征函数FRTM、FDTM、FATM。
7b)将特征函数以矩阵的形式并行处理,以如下方式融合,得到融合过后的特征函数Ffusion:
其中(a1,a2,…,am),(b1,b2,…,bm),(c1,c2,…,cm)分别代表FRTM,FDTM,FATM中对应的特征向量。
本发明具有以下优点:本发明首先通过雷达获取各种手势的信号,并从中提取每种手势的运动参数,进行多帧累积形成参数时间图;然后,利用卷积神经网络对参数时间图分别进行参数特征提取,再对得到的参数特征进行融合;最后,将融合后的参数特征送入分类函数,得到分类结果。本发明方法采用雷达信号作为数据来源,适用场景广泛,无需考虑光照等外界因素。
附图说明
图1为本发明的整体流程图;
图2为本发明卷积神经网络的系统流程图;
图3为步骤三中对角度的谱峰搜索仿真图;
图4为输入的RTM信号图;
图5为输入的DTM信号图;
图6为输入的ATM信号图;
图7为本发明ATM、DTM和RTM最终测试的准确率曲线;
图8为本发明融合过后准确率曲线;
具体实施方式
1)设计手掌前推、后拉、左摆、右摆、前后推拉和左右摆动六个手势动作,并采集不同手势动作的FMCW雷达信号数据,得到回波信号sR(t),并将每一种手势动作的数据记为不同类别,具体为:
1a)设计前推、后拉、左滑、右滑、前后推拉和左右滑动这六个手势作为采集的手势动作,采集数据,并对每一种手势动作的数据贴上不同的标签。
1b)根据FMCW雷达的信息计算其发射信号表达式,FMCW的发射信号sT(t)具体表示为:
其中,fc是载波的中心频率,fT(τ)表示在一段长度为T的时间内发射信号的频率,T是锯齿波信号的脉宽,AT表示发射信号的幅值。
1c)发射信号经过时延,得到回波信号sR(t):
其中,AR为回波信号幅值,fc是载波频率,Δtdelay表示从发射信号发出到接收到回波信号的飞行时延,fR(τ)为回波信号频率。
2)将发送信号sT(t)和回波信号sR(t)输入到混频器中,得到混频信号sM(t),混频信号sM(t)经过低通滤波器得到中频信号sIF(t),具体步骤如下:
2a)将发送信号sT(t)和回波信号sR(t)输入到混频器得到混频信号sM(t):
sM(t)=sT(t)sR(t)
2b)将得到的混频信号经过低通滤波器得到中频信号sIF(t):
其中,AT为发送信号幅值,AR为回波信号幅值,为中频信号相位。
低通滤波器的表达式为:
fs代表截止频率。
3)根据中频信号sIF(t)求解得到距离参数R、角度参数θ和多普勒频移参数,具体计算步骤如下:
3a)雷达信号的距离R是根据信号的飞行时延Δtdelay计算得到:
其中:
两式合并,可以得到:
其中fIF表示中频信号频率,c为光速,B是带宽,T为周期。
3b)本专利中,以帧为单位观测手势动作,对每个手势动作的观测时长为32帧,每帧时长为40毫秒,并包含128个扫频。
在多普勒的测量中,每隔一帧对手势目标距离扫频一次,再对扫频信号快速傅里叶变换(Fast Fourier Transform,FFT)分析,得到中频信号频谱,再通过谱峰搜索求出目标对应的频点解得距离值。最后,将每一次扫频的频谱估计结果进行累积,从而得到距离-多普勒图。
3c)采用的FMCW雷达有NT=2个发射天线和NR=4个接收天线,通过时分复用得到8个虚拟接收天线阵元,信号模型为:
s(m,t)=sIF(m,t)+n(m,t)
其中,m=1,2,...,8表示不同接收天线阵元,sIF(m,t)和n(m,t)分别表示第m路的信号分量和噪声分量。根据采样信号可以构造出接收信号的向量矩阵S:
利用向量矩阵S,计算协方差矩阵R=E{X(t)XH(t)},求得特征向量vi(i=1,2,...,M),令EN=[v1 v2 ... vM]T构造空间谱函数:
其中,a(θ)为目标接收信号的导向矢量阵,aH(θ)为a(θ)的共轭转置矩阵,为EN的共轭转置矩阵。再对上述空间谱函数进行谱峰搜索,再每一帧数据可以进行角度搜索,如附图3所示,获取每个角度下信号的峰值即为手势目标对应的角度值。
4)将计算得到的距离、角度和多普勒频移多帧累积,构造距离-时间图(Range-Time-Map,RTM)如附图4、多普勒-时间图(Doppler-Time-Map,DTM)如附图5和角度-时间图(Angle-Time-Map,ATM)如附图6并归一化处理,具体步骤如下:
4a)在一帧数据内,每个快时间域均可求出其对应的频谱(距离估计谱),在帧内求平均后得到该帧数据所对应的距离估计谱,将多帧距离估计谱进行累积后得到RTM;
4b)根据手势目标所处的距离单元提取出多普勒估计谱,将多帧多普勒估计谱进行累积后得到DTM;
4c)根据一帧数据内8路信号所构成的接收信号向量矩阵,计算协方差矩阵,构造空间谱函数,再对空间谱函数进行谱峰搜索得到角度估计谱,并将多帧角度估计谱进行累积后得到ATM;
4d)由于RTM、DTM和ATM数据图像样本的数值上存在较大差异性,使得卷积神经网络的训练难以收敛。因此需要对数据进行归一化处理,对每张图像数据进行数值缩放:
其中,具有R行和L列的像素点构成了矩阵X,xi,j表示原始像素值,表示更新后的像素值。数值缩放后,图像中每一个像素值均在[-1,1]区间内。
4e)其次,对数据集中每个图像样本Xn逐样本均值消减:
其中,Xn表示原始图像样本,表示均值消减后的图像样本,N表示数据集中样本个数。最后,为了使数据集中图像尺寸保持一致,需要将每张图像尺寸均缩放为128×128。
5)将步骤四得到的RTM、DTM和ATM同步手势类别标签,构建三维参数数据集。
6)将数据集中描述手势动作的RTM、DTM和ATM数据分别送入卷积神经网络模型,进行单个参数的特征提取,具体步骤如下:
6a)将处理好的RTM数据图像送入卷积神经网络的单参数特征提取网络部分。单参数特征提取网络部分共有5层,有N个卷积池化模块。第一层、第二层的卷积-池化模块结构相同,各有Nc个卷积层和Np个池化层,它的输入尺寸、输入通道数和输出通道数各不相同,具体尺寸大小为:
第一层、第二层卷积滤波器Kc尺寸大小为:
其中pij(i=1,2,…,m j=1,2,…,n)表示卷积滤波器的尺寸大小,例如本专利采用m=3,n=3。
池化滤波器Kp的尺寸大小为:
其中qij(i=1,2,…,m j=1,2,…,n)表示池化滤波器的尺寸大小,例如本专利采用m=2,n=2。
6b)单参数网络中第三层、第四层和第五层的卷积-池化模块结构相同,各有No个卷积层和Nv个池化层。其中,每一层卷积-池化模块各有三种不同尺寸的卷积滤波器其尺寸大小分别为:
其中wi(i=1,2,…,k,…,m)只表示卷积滤波器的尺寸大小,例如本专利中m=3,k=1。
池化滤波器的尺寸大小为:
其中rij(i=1,2,…,m j=1,2,…,n)表示池化滤波器的尺寸大小,例如本专利中m=2,n=2。
6c)通过单参数网络前五层的特征提取后,输出对应的RTM数据图像的第六卷积层(fc6层)的特征函数FRTM,具体表示为:
其中(a1,a2,…,am)代表对应RTM数据图像的特征矩阵中的特征向量,(a11,a12,…,aij,…,anm)代表特征向量中具体的特征值,n和m表示特征值的个数。
6d)提取ATM和DTM的单参数网络和提取RTM的单参数网络结构相同,三个分支网络具有相同的结构和平行的处理时序,每个分支网络的输出均为fc6层特征。重复步骤六的以上步骤,提取ATM的fc6层特征函数FDTM和DTM的fc6层特征函数FATM。
其中(b1,b2,…,bm)代表对应DTM数据图像的特征矩阵中的特征向量,(b11,b12,…,bij,…,bnm)代表DTM特征向量中具体的特征值,n和m表示特征值的个数。
其中(c1,c2,…,cm)代表对应ATM数据图像的特征矩阵中的特征向量,(c11,c12,…,cij,…,cnm)代表ATM特征向量中具体的特征值,n和m表示特征值的个数。
7)将步骤六得到的三个特征函数FRTM、FDTM、FATM输入全连接层进行特征融合,具体步骤如下:
7a)将对应RTM、ATM和DTM的三个单参数网络使用全连接层并行处理,融合成为一个端到端的网络,这一部分的输入为RTM、DTM和ATM的fc6层特征函数FRTM、FDTM、FATM。
7b)将特征函数以矩阵的形式并行处理,以如下方式融合,得到融合过后的特征函数Ffusion:
其中(a1,a2,…,am),(b1,b2,…,bm),(c1,c2,…,cm)分别代表FRTM,FDTM,FATM中对应的特征向量。
8)将融合过后的特征函数Ffusion输入softmax分类器,其输出为不同手势类别。
9)将测试手势数据集输入到卷积神经网络中分类,得到手势分类结果y′,根据分类结果y′得到在不同学习率下的准确率图,如图8。
Claims (2)
1.一种基于FMCW雷达的三参数特征融合手势识别方法,其特征在于,包括以下步骤:
1)设计手掌前推、后拉、左摆、右摆、前后推拉和左右摆动六个手势动作,并采集不同手势动作的FMCW雷达信号数据,将每一种手势动作的数据记为不同类别;
2)将发送信号sT(t)和回波信号sR(t)输入到混频器中,得到混频信号sM(t),混频信号sM(t)经过低通滤波器得到中频信号sIF(t);
3)根据中频信号sIF(t)求解得到雷达目标的距离参数R、角度参数θ和多普勒频移参数;
4)将计算得到的距离、角度和多普勒频移进行多帧累积,构造距离-时间图(Range-Time-Map,RTM)、多普勒-时间图(Doppler-Time-Map,DTM)和角度-时间图(Angle-Time-Map,ATM)并归一化处理;
5)将步骤四得到的RTM、DTM和ATM同步手势类别标签,构建三维参数数据集;
6)将数据集中描述手势动作的RTM、DTM和ATM数据分别送入卷积神经网络模型,进行单个参数的特征提取;
7)将步骤六得到的三个特征函数FRTM、FDTM、FATM输入全连接层进行特征融合;
8)将融合过后的特征向量Ffusion输入softmax分类器,其输出为不同手势类别;
9)将测试手势数据集输入到卷积神经网络中分类,得到手势分类结果y′。
2.基于权利要求1中所述的一种基于FMCW雷达的三参数特征融合手势识别方法,其特征在于:所述步骤7)中特征融合的方法,具体包括:
7a)将对应RTM、ATM和DTM的三个单参数网络使用全连接层并行处理,融合成为一个端到端的网络,这一部分的输入为RTM、DTM和ATM的fc6层特征函数FRTM、FDTM、FATM;
7b)将特征函数以矩阵的形式并行处理,以如下方式融合,得到融合过后的特征函数Ffusion:
其中,(a1,a2,…,am),(b1,b2,…,bm),(c1,c2,…,cm)分别代表FRTM,FDTM,FATM中对应的特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810794392.1A CN109271838B (zh) | 2018-07-19 | 2018-07-19 | 一种基于fmcw雷达的三参数特征融合手势识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810794392.1A CN109271838B (zh) | 2018-07-19 | 2018-07-19 | 一种基于fmcw雷达的三参数特征融合手势识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109271838A true CN109271838A (zh) | 2019-01-25 |
CN109271838B CN109271838B (zh) | 2020-11-03 |
Family
ID=65148190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810794392.1A Active CN109271838B (zh) | 2018-07-19 | 2018-07-19 | 一种基于fmcw雷达的三参数特征融合手势识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109271838B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829509A (zh) * | 2019-02-26 | 2019-05-31 | 重庆邮电大学 | 基于融合神经网络的雷达手势识别方法 |
CN110084209A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 一种基于父子分类器的实时性手势识别方法 |
CN110211574A (zh) * | 2019-06-03 | 2019-09-06 | 哈尔滨工业大学 | 基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法 |
CN110222730A (zh) * | 2019-05-16 | 2019-09-10 | 华南理工大学 | 基于惯性传感器的用户身份识别方法及识别模型构建方法 |
CN110348288A (zh) * | 2019-05-27 | 2019-10-18 | 哈尔滨工业大学(威海) | 一种基于77GHz毫米波雷达信号的手势识别方法 |
CN110378204A (zh) * | 2019-06-06 | 2019-10-25 | 东南大学 | 一种基于车载毫米波雷达的多目标分类方法 |
CN110705501A (zh) * | 2019-10-14 | 2020-01-17 | 重庆邮电大学 | 一种提升fmcw雷达手势识别精度的干扰抑制算法 |
CN110988863A (zh) * | 2019-12-20 | 2020-04-10 | 北京工业大学 | 一种新的毫米波雷达手势信号处理方法 |
CN111461037A (zh) * | 2020-04-07 | 2020-07-28 | 电子科技大学 | 一种基于fmcw雷达的端到端手势识别方法 |
WO2020187397A1 (en) * | 2019-03-19 | 2020-09-24 | HELLA GmbH & Co. KGaA | A method for a detection and classification of gestures using a radar system |
CN112198966A (zh) * | 2020-12-08 | 2021-01-08 | 中南大学 | 基于fmcw雷达系统的笔画识别方法以及系统 |
WO2021068470A1 (zh) * | 2020-04-09 | 2021-04-15 | 浙江大学 | 一种基于雷达信号的身份及手势识别方法 |
CN112764002A (zh) * | 2021-01-07 | 2021-05-07 | 北京理工大学重庆创新中心 | 一种基于可变形卷积的fmcw雷达手势识别方法 |
CN113313040A (zh) * | 2021-06-04 | 2021-08-27 | 福州大学 | 基于fmcw雷达信号的人体姿势识别方法 |
CN113591938A (zh) * | 2021-07-10 | 2021-11-02 | 亿太特(陕西)科技有限公司 | 多特征融合交通目标识别方法、系统、计算机设备及应用 |
CN113837131A (zh) * | 2021-09-29 | 2021-12-24 | 南京邮电大学 | 一种基于fmcw毫米波雷达的多尺度特征融合手势识别方法 |
CN113837055A (zh) * | 2021-09-18 | 2021-12-24 | 南京润楠医疗电子研究院有限公司 | 跌倒检测方法、装置、电子设备及存储介质 |
CN114010208A (zh) * | 2021-11-08 | 2022-02-08 | 成都信息工程大学 | 适用于ssvep分类的零填充频域卷积神经网络方法 |
CN115061126A (zh) * | 2022-06-08 | 2022-09-16 | 电子科技大学 | 一种基于多维参数神经网络的雷达集群目标行为识别方法 |
CN116597426A (zh) * | 2023-05-26 | 2023-08-15 | 北京中科睿途科技有限公司 | 一种司乘人员安全状态的识别方法和装置 |
CN118465729A (zh) * | 2024-07-11 | 2024-08-09 | 中国人民解放军海军航空大学 | 一种基于空时图数据傅里叶变换的阵列雷达目标检测方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268514A (zh) * | 2014-09-17 | 2015-01-07 | 西安交通大学 | 一种基于多特征融合的手势检测方法 |
CN104299004A (zh) * | 2014-10-23 | 2015-01-21 | 浙江大学 | 一种基于多特征融合和指尖检测的手势识别方法 |
CN104361313A (zh) * | 2014-10-16 | 2015-02-18 | 辽宁石油化工大学 | 一种基于多核学习异构特征融合的手势识别方法 |
WO2016099026A1 (ko) * | 2014-12-15 | 2016-06-23 | 주식회사 진진 | 사용자의 모션을 인식하는 레이더 디텍터 |
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
US20160259037A1 (en) * | 2015-03-03 | 2016-09-08 | Nvidia Corporation | Radar based user interface |
CN106446801A (zh) * | 2016-09-06 | 2017-02-22 | 清华大学 | 基于超声主动探测的微手势识别方法及系统 |
CN107024685A (zh) * | 2017-04-10 | 2017-08-08 | 北京航空航天大学 | 一种基于距离‑速度特征的手势识别方法 |
CN107220606A (zh) * | 2017-05-22 | 2017-09-29 | 西安电子科技大学 | 基于一维卷积神经网络的雷达辐射源信号的识别方法 |
CN107451552A (zh) * | 2017-07-25 | 2017-12-08 | 北京联合大学 | 一种基于3d‑cnn和卷积lstm的手势识别方法 |
CN107450724A (zh) * | 2017-07-31 | 2017-12-08 | 武汉大学 | 一种基于双声道音频多普勒效应的手势识别方法及系统 |
CN107590432A (zh) * | 2017-07-27 | 2018-01-16 | 北京联合大学 | 一种基于循环三维卷积神经网络的手势识别方法 |
CN107679491A (zh) * | 2017-09-29 | 2018-02-09 | 华中师范大学 | 一种融合多模态数据的3d卷积神经网络手语识别方法 |
CN108200706A (zh) * | 2018-01-25 | 2018-06-22 | 宁波隔空智能科技有限公司 | 一种基于微波雷达手势识别技术的照明灯具及其控制方法 |
CN108197580A (zh) * | 2018-01-09 | 2018-06-22 | 吉林大学 | 一种基于3d卷积神经网络的手势识别方法 |
-
2018
- 2018-07-19 CN CN201810794392.1A patent/CN109271838B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268514A (zh) * | 2014-09-17 | 2015-01-07 | 西安交通大学 | 一种基于多特征融合的手势检测方法 |
CN104361313A (zh) * | 2014-10-16 | 2015-02-18 | 辽宁石油化工大学 | 一种基于多核学习异构特征融合的手势识别方法 |
CN104299004A (zh) * | 2014-10-23 | 2015-01-21 | 浙江大学 | 一种基于多特征融合和指尖检测的手势识别方法 |
WO2016099026A1 (ko) * | 2014-12-15 | 2016-06-23 | 주식회사 진진 | 사용자의 모션을 인식하는 레이더 디텍터 |
US20160259037A1 (en) * | 2015-03-03 | 2016-09-08 | Nvidia Corporation | Radar based user interface |
US20170060254A1 (en) * | 2015-03-03 | 2017-03-02 | Nvidia Corporation | Multi-sensor based user interface |
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
CN106446801A (zh) * | 2016-09-06 | 2017-02-22 | 清华大学 | 基于超声主动探测的微手势识别方法及系统 |
CN107024685A (zh) * | 2017-04-10 | 2017-08-08 | 北京航空航天大学 | 一种基于距离‑速度特征的手势识别方法 |
CN107220606A (zh) * | 2017-05-22 | 2017-09-29 | 西安电子科技大学 | 基于一维卷积神经网络的雷达辐射源信号的识别方法 |
CN107451552A (zh) * | 2017-07-25 | 2017-12-08 | 北京联合大学 | 一种基于3d‑cnn和卷积lstm的手势识别方法 |
CN107590432A (zh) * | 2017-07-27 | 2018-01-16 | 北京联合大学 | 一种基于循环三维卷积神经网络的手势识别方法 |
CN107450724A (zh) * | 2017-07-31 | 2017-12-08 | 武汉大学 | 一种基于双声道音频多普勒效应的手势识别方法及系统 |
CN107679491A (zh) * | 2017-09-29 | 2018-02-09 | 华中师范大学 | 一种融合多模态数据的3d卷积神经网络手语识别方法 |
CN108197580A (zh) * | 2018-01-09 | 2018-06-22 | 吉林大学 | 一种基于3d卷积神经网络的手势识别方法 |
CN108200706A (zh) * | 2018-01-25 | 2018-06-22 | 宁波隔空智能科技有限公司 | 一种基于微波雷达手势识别技术的照明灯具及其控制方法 |
Non-Patent Citations (6)
Title |
---|
B. DEKKER ET AL: "Gesture recognition with a low power FMCW radar and a deep convolutional neural network", 《2017 EUROPEAN RADAR CONFERENCE (EURAD)》 * |
PAVLO MOLCHANOV ET AL: "Short-Range FMCW Monopulse Radar for Hand-Gesture Sensing", 《 2015 IEEE RADAR CONFERENCE (RADARCON)》 * |
QIAN WAN ET AL: "Gesture Recognition for Smart Home Applications using Portable radar sensors", 《2014 36TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》 * |
张佳俊: "基于5GHz频段雷达的手势识别系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
杨文瀚: "基于多流三维卷积神经网络的手势识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王俊等: "基于卷积神经网络的手势动作雷达识别方法", 《北京航空航天大学学报》 * |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829509A (zh) * | 2019-02-26 | 2019-05-31 | 重庆邮电大学 | 基于融合神经网络的雷达手势识别方法 |
CN109829509B (zh) * | 2019-02-26 | 2022-11-22 | 重庆邮电大学 | 基于融合神经网络的雷达手势识别方法 |
CN113646729A (zh) * | 2019-03-19 | 2021-11-12 | 海拉有限双合股份公司 | 使用雷达系统检测和分类姿势的方法 |
WO2020187397A1 (en) * | 2019-03-19 | 2020-09-24 | HELLA GmbH & Co. KGaA | A method for a detection and classification of gestures using a radar system |
CN110084209B (zh) * | 2019-04-30 | 2022-06-24 | 电子科技大学 | 基于父子分类器的实时性手势识别方法 |
CN110084209A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 一种基于父子分类器的实时性手势识别方法 |
CN110222730A (zh) * | 2019-05-16 | 2019-09-10 | 华南理工大学 | 基于惯性传感器的用户身份识别方法及识别模型构建方法 |
CN110348288A (zh) * | 2019-05-27 | 2019-10-18 | 哈尔滨工业大学(威海) | 一种基于77GHz毫米波雷达信号的手势识别方法 |
CN110348288B (zh) * | 2019-05-27 | 2023-04-07 | 哈尔滨工业大学(威海) | 一种基于77GHz毫米波雷达信号的手势识别方法 |
CN110211574B (zh) * | 2019-06-03 | 2022-03-11 | 哈尔滨工业大学 | 基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法 |
CN110211574A (zh) * | 2019-06-03 | 2019-09-06 | 哈尔滨工业大学 | 基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法 |
CN110378204A (zh) * | 2019-06-06 | 2019-10-25 | 东南大学 | 一种基于车载毫米波雷达的多目标分类方法 |
CN110378204B (zh) * | 2019-06-06 | 2021-03-26 | 东南大学 | 一种基于车载毫米波雷达的多目标分类方法 |
CN110705501A (zh) * | 2019-10-14 | 2020-01-17 | 重庆邮电大学 | 一种提升fmcw雷达手势识别精度的干扰抑制算法 |
CN110705501B (zh) * | 2019-10-14 | 2022-09-20 | 重庆邮电大学 | 一种提升fmcw雷达手势识别精度的干扰抑制方法 |
CN110988863A (zh) * | 2019-12-20 | 2020-04-10 | 北京工业大学 | 一种新的毫米波雷达手势信号处理方法 |
CN111461037A (zh) * | 2020-04-07 | 2020-07-28 | 电子科技大学 | 一种基于fmcw雷达的端到端手势识别方法 |
WO2021068470A1 (zh) * | 2020-04-09 | 2021-04-15 | 浙江大学 | 一种基于雷达信号的身份及手势识别方法 |
US11947002B2 (en) | 2020-04-09 | 2024-04-02 | Zhejiang University | Method for recognizing identity and gesture based on radar signals |
CN112198966B (zh) * | 2020-12-08 | 2021-03-16 | 中南大学 | 基于fmcw雷达系统的笔画识别方法以及系统 |
CN112198966A (zh) * | 2020-12-08 | 2021-01-08 | 中南大学 | 基于fmcw雷达系统的笔画识别方法以及系统 |
CN112764002A (zh) * | 2021-01-07 | 2021-05-07 | 北京理工大学重庆创新中心 | 一种基于可变形卷积的fmcw雷达手势识别方法 |
CN112764002B (zh) * | 2021-01-07 | 2022-09-30 | 北京理工大学重庆创新中心 | 一种基于可变形卷积的fmcw雷达手势识别方法 |
CN113313040A (zh) * | 2021-06-04 | 2021-08-27 | 福州大学 | 基于fmcw雷达信号的人体姿势识别方法 |
CN113313040B (zh) * | 2021-06-04 | 2022-05-13 | 福州大学 | 基于fmcw雷达信号的人体姿势识别方法 |
CN113591938A (zh) * | 2021-07-10 | 2021-11-02 | 亿太特(陕西)科技有限公司 | 多特征融合交通目标识别方法、系统、计算机设备及应用 |
CN113837055A (zh) * | 2021-09-18 | 2021-12-24 | 南京润楠医疗电子研究院有限公司 | 跌倒检测方法、装置、电子设备及存储介质 |
CN113837131A (zh) * | 2021-09-29 | 2021-12-24 | 南京邮电大学 | 一种基于fmcw毫米波雷达的多尺度特征融合手势识别方法 |
CN113837131B (zh) * | 2021-09-29 | 2024-04-05 | 南京邮电大学 | 一种基于fmcw毫米波雷达的多尺度特征融合手势识别方法 |
CN114010208A (zh) * | 2021-11-08 | 2022-02-08 | 成都信息工程大学 | 适用于ssvep分类的零填充频域卷积神经网络方法 |
CN114010208B (zh) * | 2021-11-08 | 2023-09-08 | 成都信息工程大学 | 适用于ssvep分类的零填充频域卷积神经网络方法 |
CN115061126A (zh) * | 2022-06-08 | 2022-09-16 | 电子科技大学 | 一种基于多维参数神经网络的雷达集群目标行为识别方法 |
CN116597426A (zh) * | 2023-05-26 | 2023-08-15 | 北京中科睿途科技有限公司 | 一种司乘人员安全状态的识别方法和装置 |
CN116597426B (zh) * | 2023-05-26 | 2024-06-14 | 北京中科睿途科技有限公司 | 一种司乘人员安全状态的识别方法和装置 |
CN118465729A (zh) * | 2024-07-11 | 2024-08-09 | 中国人民解放军海军航空大学 | 一种基于空时图数据傅里叶变换的阵列雷达目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109271838B (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271838A (zh) | 一种基于fmcw雷达的三参数特征融合手势识别方法 | |
US10678244B2 (en) | Data synthesis for autonomous control systems | |
JP2018060512A (ja) | 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法 | |
CN112256589B (zh) | 一种仿真模型的训练方法、点云数据的生成方法及装置 | |
CN103714321B (zh) | 基于距离图像和强度图像的驾驶员人脸定位系统 | |
CN107111746A (zh) | 根据原始飞行时间图像的模型拟合 | |
CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
George et al. | DAARIA: Driver assistance by augmented reality for intelligent automobile | |
WO2018066352A1 (ja) | 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法 | |
CN103902989A (zh) | 基于非负矩阵分解的人体动作视频识别方法 | |
CN104134364A (zh) | 具有自我学习能力的实时交通信号识别方法及系统 | |
Kondyli et al. | Computer assisted analysis of drivers' body activity using a range camera | |
CN113901931A (zh) | 一种基于知识蒸馏模型的红外和可见光视频的行为识别方法 | |
CN112319486A (zh) | 一种基于驾驶数据采集的驾驶检测方法及相关装置 | |
CN117606497A (zh) | 一种实时地图构建方法、系统及导盲眼镜 | |
Biswas et al. | Radar-lidar fusion for classification of traffic signaling motion in automotive applications | |
CN116664873B (zh) | 图像信息处理方法、装置及存储介质 | |
Ennajar et al. | Deep multi-modal object detection for autonomous driving | |
CN109747655A (zh) | 用于自动驾驶车辆的驾驶指令生成方法和装置 | |
CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
Zhang et al. | Application of FMCW radar for dynamic continuous hand gesture recognition | |
CN115082690B (zh) | 目标识别方法、目标识别模型训练方法及装置 | |
CN114120634B (zh) | 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质 | |
Li et al. | Dynamic gesture recognition method based on millimeter-wave radar | |
CN115485647A (zh) | 肢体识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |