CN108509910A - 基于fmcw雷达信号的深度学习手势识别方法 - Google Patents

基于fmcw雷达信号的深度学习手势识别方法 Download PDF

Info

Publication number
CN108509910A
CN108509910A CN201810281177.1A CN201810281177A CN108509910A CN 108509910 A CN108509910 A CN 108509910A CN 201810281177 A CN201810281177 A CN 201810281177A CN 108509910 A CN108509910 A CN 108509910A
Authority
CN
China
Prior art keywords
matrix
signal
network
gesture
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810281177.1A
Other languages
English (en)
Inventor
田增山
王沙沙
吴金君
王勇
赵泽东
贾秀倩
李艳春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810281177.1A priority Critical patent/CN108509910A/zh
Publication of CN108509910A publication Critical patent/CN108509910A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading
    • G06K9/00355Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • G06N3/0454Architectures, e.g. interconnection topology using a combination of multiple neural nets

Abstract

本发明公布了一种基于雷达信号的深度学习手势识别方法,首先通过雷达获取每一种手势的中频信号,并从中提取每一根发射天线和接收天线下的中频信号矩阵;其次,利用傅里叶变换对信号频率进行提取,得到信号中的距离和速度信息并且将数据进行预处理;然后,建立三维卷积神经网络和长短记忆网络,将处理后的雷达信号输入到网络进行训练;最后,根据深度学习网络提取的特征进行手势识别。本发明方法解决了传统识别算法使用条件受限以及鲁棒性差的问题,且能实现多种手势的精确分类。

Description

基于FMCW雷达信号的深度学习手势识别方法
技术领域
[0001] 本发明属于手势识别技术,具体涉及一种基于雷达信号的深度学习手势识别方 法。
背景技术
[0002] 在人机交互迅猛发展的时代,手势识别作为其极其重要的研究领域,已经引起了 世界各国的高度重视。在手势识别初期,人们主要着重于基于传感器(Sensor),特别是基于 数据手套(Data Glove)的手势识别研究。当时,研究人员佩戴一个集成了各种功能传感器 的“手套”。该设备另一端连接到计算机,计算机可以获取到手的位置信息、手指的伸展信息 等,从而进行手势的识别。后来随着计算机视觉的发展,基于视觉的人体手势识别研究成为 实现新一代人机交互的一项关键技术,该技术主要是利用摄像头去采集人体手势动作的图 像或视频,通过图像处理技术和计算机视觉的方法识别人体手势。
[0003] 但以上手势识别技术一般都有很大的使用限制,首先,传统手势识别方法需要对 特定的手势设计相应的特征,当更换手势动作时,相应的特征和权重也需要随之调整,而且 上述方法的学习能力有限且算法鲁棒性较差;第二,摄像头在昏暗的光下很难捕捉到清晰 图像,这样导致识别应用场景受到了很大的限制。
[0004] 为了解决上述问题且为了对手势实现精确的分类,本发明提出了一种新的基于雷 达信号的手势识别方法。
发明内容
[0005] 本发明的目的是提供一种基于雷达信号和深度学习的手势分类方法,它能有效的 解决传统识别使用环境受限以及算法鲁棒性差的问题,且能实现多种手势的精确分类。
[0006] 本发明所述的基于雷达信号和深度学习的手势分类方法,包括以下步骤:
[0007] 步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作,并 且利用调频连续波(Frequency Modulated Continuous Wave,FMCW)雷达采集训练和测试 手势数据集的雷达源数据文件生成原始的中频信号矩阵A,
[0008] 从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵Fk。
[0009] 步骤二、构造汉明窗Whanming,并将其与帧信号矩阵Fk进行旁瓣抑制处理得到帧信号 矩阵Fi/。
[0010] 步骤三、将帧信号矩阵F1/的每一列信号F1/。进行傅里叶变换生成距离信号矩阵 Sko
[0011] 步骤四、根据距离信号矩阵Sk中的频率分量计算信号所表示的实际距离,得到信 号幅值矩阵Rk。
[0012] 步骤五、将帧信号矩阵Sk的每一行行矩阵信号Skr进行傅里叶变换,生成速度信号 矩阵S'k。
[0013] 步骤六、根据速度信号矩阵S\中频率分量计算信号所表示的实际速度,得到信号 幅值矩阵Vk。
[0014] 步骤七、计算信号序列B中各帧信号(B1 ... Bi ... Bf} (1彡i<f)包含手势速度 和距离信息的幅值矩阵(R1 R2 ... Rf)。
[0015] 步骤八、将生成的幅值矩阵(R1 R2 ... Rf)预处理为深度学习网络的输入数据 Xinput,并初始化网络权重。
[0016] 步骤九、将输入信号矩阵行卷积池化操作获取初步的浅层特征结果,得到 池化矩阵Pcroll。
[0017] 步骤十、将池化矩阵Poclll重复步骤九中的卷积核池化操作,设置卷积核个数 ,得到表示特征图的池化结果Ρ™12。
[0018] 步骤十一、对池化结果匕。12进行进一步的卷积池化,提取深度特征结果,得到池化 矩阵Ροο13〇
[0019] 步骤十二、将?。。13按照步骤十一重复两次进行卷积核池化操作,得到IIke3rne3l5个f X n/ Xr/维的特征映射图Ρ〇〇ΐ5。
[0020] 步骤十三、将nkmm个P Xn^ Xr/维的特征映射图Fe3at5维度转置得到S1 X S2维的 特征向量Xfeature。
[0021] 步骤十四、设置长短期记忆网络(Long Short-Term Memory,LSTM)的输入层为上 一步骤中时间步长为SI输入维数为S2的特征向量Xfeatim3,令X = Xfeatim3,其中X的步长为SI,长 短期记忆网络结构图如图9。
[0022] 步骤十五、根据长短记忆网络的输入X,计算网络中输入门I、忘记门F、输出门0和 候选隐藏状态G。
[0023] 步骤十六、同过LSTM各个门计算网络隐层中最后一步的hXl维隐藏状态I,并作 为特征结果X7 feature 〇
[0024] 步骤十七、将最终形如X^eatiire= [XI X2 ... :Xh]T的特征结果送入归一化指数函数 进行计算结果矩阵Xres,得到结果矩阵中值最大的角标y' =max (Xre3s),结果矩阵Xre3s的K个标 量中第j个值表示中频信号矩阵A被三维卷积神经网络模型判别为第j类手势的概率,y'表 示中频信号矩阵A被判别为某一类手势的结果。
[0025] 步骤十八、根据网络判断的结果分类y、计算分类结果的损失函数J (Θ),并根据此 分类函数对网络中的权重进行更新。
[0026] 步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类,得到 手势分类结果
[0027] 所述步骤六包括以下步骤:
[0028] 6.1提取在速度信号矩阵S\的每个行矩阵信号S7kr*的相同频率分量组成列矩阵 信号S'k。,具体形式如下:
[0029] S kc — [(3 k+c+d k+ci C k+n+c+d k+n+ci · · · C k+(m-1) n+c+d k+(m-1) n+ci] (c—I , 2,3 ,, n)
[0030] 6.2计算列矩阵信号。在采样率R下的各个频率分量
Figure CN108509910AD00051
[0031] 6 . 3计算列信号矩阵S 下频率分量为fs时手势相对雷达的径向速度
Figure CN108509910AD00061
其中λ为波长,T。为雷达产生信号矩阵B的时间。
[0032] 6.4将上一步骤计算出的η个速度Vs (S = 1,2,3,…,η)按照步骤十八中η个的频率 分量f。比例生成速度矩阵Y,具体为:
[0033] Y= [VI V2 ... Vn]τ
[0034] 6.5对速度信号矩阵S\的每个元素求幅值,得到结果幅值矩阵Vk,具体如下:
[0035]
Figure CN108509910AD00062
[0036] 所述步骤九包括以下步骤:
[0037] 9.1将输入矩阵信号Xinpu冲每Akerne3IX k_i区域矩阵与rwneii个卷积核矩阵心进 行卷积相乘,生成表示从矩阵信号Χιη_中提取到的浅层特征的特征映射图Fe3atl,具体卷积 操作如图7。
[0038] 9.2将特征映射图Fe3atl矩阵在每个‘。1 XkpciciI区域矩阵内,用该区域中的最大值代 表原来的kpool X kpool区域矩阵,生成表不将特征映射图Featl信息压缩后的池化矩阵Pooll,具 体操作如图8。
[0039] 所述步骤十五包括以下步骤:
[0040] 15.1随机初始化步长为si的乂中第一步X1的状态变量为Sstate3,设置网络中隐层 LSTM单元节点数为h。
[0041] 15.2计算X总步长为81中每一步的输入门I、忘记门F和输出门0并求其隐层状态S, 其中X的第t步计算结果具体形式如下:
[0042]
Figure CN108509910AD00063
[0043] 其中S^1为第t-1步的状态变量,1]\1\1/^、1]°和1°为随机初始化的权重矩阵。
[0044] 15.3计算候选隐藏状态6 =七&amp;1^仏1^+3*-,),内部存储器的细胞状态(^ = (^-1\? +GX I,以及第t步的输出隐层状态为St = tanh (Ct) XO,其中#和,为随机初始化的权重参 数。本发明具有以下优点:本发明首先通过雷达获取各种手势的信号,并从中提取每种手势 的运动参数,并按照时间顺序生成一个序列;然后,利用深度学习网络对采集的序列数据进 行特征提取,得到特征向量;其次,为了更好的利用原序列数据中的连续性信息,根据特征 向量的时间维度,将其送入长短记忆网络进行训练;最后,将最终的特征向量送入分类函 数,得到分类结果。本发明方法采用雷达信号作为数据来源,适用场景广泛,无需考虑光照 等外界因素。本发明利用深度学习网络针对源数据的特点进行特征提取,以达到更好地手 势分类效果。
附图说明
[0045] 图1为本发明的整体流程图;
[0046] 图2为本发明中设计识别的具体手势;
[0047] 图3为步骤十一中的距离信号矩阵Sk的目标距离仿真图;
[0048] 图4为步骤十六中的速度信号矩阵S\的目标速度仿真图;
[0049] 图5为步骤二十结果幅值矩阵1?\仿真出的速度距离图;
[0050] 图6为三维卷积神经网络和长短记忆网络的结构;
[0051] 图7为三维卷积神经网络中的卷积方式;
[0052] 图8为三维卷积神经网络的池化操作;
[0053] 图9为长短记忆网络的网络结构图;
[0054] 图10为长短记忆网络单元各个门的具体情况;
具体实施方式
[0055] 步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作,并 且利用调频连续波(Frequency Modulated Continuous Wave,FMCW)雷达采集训练和测试 手势数据集的雷达源数据文件生成原始的中频信号矩阵A:
[0056]
Figure CN108509910AD00071
[0057] 从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵Fk,其 中u表示矩阵A维度总长的一半,本实验中U = 2097152。具体步骤如下:
[0058] 1.1利用原始中频信号矩阵A生成中频复数信号列矩阵B,令B中第j个元素aj+bji的 实部W和虚部匕b等于A中第2 X j和2 X j+Ι个元素,具体为:
[0059]
Figure CN108509910AD00072
[0060] 1.2将在原始中频信号矩阵A中表示一帧中频信号的列矩阵B拆为f帧(B1 ... Bi ...Bf} (KiSf),使得中频信号矩阵A中的第i帧帧信号Bi (KiSf)为列矩阵B中的第i X 1+1个元素到第(i+1) Xl个元素,具体为:
[0061]
Figure CN108509910AD00073
[0062] 其中f表示原始的中频信号矩阵A中信号的总帧数,1表示每一帧信号的长度,本实 验中 f = 8,l = 65536。
[0063] 1.3将雷达的每根发射天线与每根接收天线成对相组合,计算出组合的总数为t = t X t2,其中t表示发射天线和接收天线组合的总对数,t为雷达的发射天线数目,t2为雷达 接收天线数目,本实验中t = 8,ti = 2,t2 = 4。
[0064] 1.4将帧信号Bi拆为t对发射接收天线生成的帧信号序列{Bii ... Bij ... Bit} (1 第i帧帧信号仏中第j个天线对对应的单对天线帧信号Blj具体为:
[0065]
Figure CN108509910AD00081
[0066] 其中p表示每一对天线对应的单对天线帧信号Bij的长度,本实验中p = 8192。
[0067] 1.5令信号矩阵A中每个帧信号的初始角标k = i X 1+p Xj,使得信号矩阵A中的第i 帧第j对天线对应的单对天线帧信号为Bk=Blj,具体如下:
[0068]
Figure CN108509910AD00082
[0069] 1.6将单对天线帧信号Bk重塑为m X η维的帧信号矩阵Fk,具体如下:
[0070]
Figure CN108509910AD00083
[0071] 其中m为帧信号矩阵Fk的调频连续脉冲数目,η为Fk中每一行信号的采样点数目,本 实验中m = 64, η = 128。
[0072] 步骤二、构造汉明窗Whanming如下:
[0073]
Figure CN108509910AD00084
[0074] 其中CjPc2为汉明窗参数,本实验中C1 = 0.54,C2 = 0.46,并将其与帧信号矩阵Fk进 行旁瓣抑制处理得到帧信号矩阵Fi/,具体步骤如下:
[0075] 2.1将步骤一得到的帧信号矩阵Fk中的每一列信号
Figure CN108509910AD00085
与汉明窗Wh_ing相乘,得到一个主瓣更为集中的 帧信号矩阵F1/,F1/形式如下:
[0076]
Figure CN108509910AD00086
[0077] 步骤三、将帧信号矩阵F1/的每一列信号F\。进行傅里叶变换生成距离信号矩阵 Sk,具体步骤如下:
[0078] 3.1将帧信号矩阵F1/的每一列
Figure CN108509910AD00091
丨进行傅 里叶变换得到由频率与目标到雷达的距离成正比的列矩阵信号:
[0079]
Figure CN108509910AD00092
[0080] 3.2将η个频率与目标到雷达的距离成正比的列矩阵信号Sk。组成距离信号矩阵Sk, 具体形式如下:
[0081]
Figure CN108509910AD00093
[0082] 步骤四、根据距离信号矩阵Sk中的频率分量计算信号所表示的实际距离,得到信 号幅值矩阵Rk,具体计算步骤如下:
[0083] 4.1提取距离信号矩阵Sk的每个列矩阵信号Skc中的相同的频率分量,组成行矩阵 信号:
[0084] Skr — [Gk+0r-l) n+l+dk+0r-l) n+1 Ck+0r-l) n+2+dk+0r-l) n+2 ··· Ck+rn+dk+rn] (Γ —1,2,3 , ''' , Πΐ)
[0085] 计算由每个调频连续脉冲中相同频点组成的行矩阵信号Skr在采样率R下的频率
Figure CN108509910AD00094
,本实验中 R = 2000ks/ps。
[0086] 4.2由彳丁矩阵彳目号Skr的频率分M为fr计算雷达生成巾贞彳目号矩阵Fi^时如方目标手 势的距离dr = 2S X fr/C (r = 1,2,3,…,m),其中S为雷达每个锯齿波频率随着时间增大的斜 率,C为光速,本实验中 S = 105.202MHz/us,C = 3X108m/s〇
[0087] 4.3将上述步骤中行矩阵信号Skr下m个不同频率分量fr计算出的距离dr (r=l,2, 3,···,m)组成一个与雷达信号采样率频率fs均分为m个频率分量fr成正比的距离矩阵X,具体 为:
[0088] X= [di d2 ... dm]T
[0089] 4.4对距离信号矩阵Sk的每个元素求幅值,得到信号幅值矩阵Rk,具体如下:
[0090]
Figure CN108509910AD00095
[0091] 步骤五、将帧信号矩阵Sk的每一行行矩阵信号Skr进行傅里叶变换,生成速度信号 矩阵S'k,具体步骤如下:
[0092] 5.1对所述步骤三计算出的距离信号矩阵Sk的每一行行矩阵信号Skr= [ck+(r-1)n+1+ dk+(r-l) n+li Ck+(r-l) n+2+dk+(r-l) n+2i · · · Ck+rn+dk+rni] (Γ —I,2,3,· · ·,Π1)做傅里叶变换:
[0093]
Figure CN108509910AD00101
[0094] 5.2得到频率与目标相对雷达的速度成正比的行矩阵信号3/1^后,将其组成的速度 信号矩阵S\,具体形式如下:
[0095]
Figure CN108509910AD00102
[0096] 步骤六、根据速度信号矩阵S\中频率分量计算信号所表示手势相对雷达的径向 速度,得到信号幅值矩阵R\,具体计算步骤如下:
[0097] 6.1提取在速度信号矩阵S\的每个行矩阵信号S7kr*的相同频率分量组成列矩阵 信号S'k。,具体形式如下:
[0098] S kc — [C k+c+d k+ci C k+n+c+d k+n+ci · · · C k. (m-1) n+c+d k. (m-1) n+ci] (c—I , 2,3 ,, n)
[0099] 6.2计算列矩阵信号S^。在采样率R下的各个频率分量.
Figure CN108509910AD00103
[0100] 6 . 3计算列信号矩阵S^s下频率分量为fs时手势相对雷达的径向速度
Figure CN108509910AD00104
,其中λ为波长,T。为雷达产生信号矩阵B的时间。
[0101] 6.4将上一步骤计算出的η个速度Vs (S = 1,2,3,…,η)按照步骤十八中η个的频率 分量f。比例生成速度矩阵Y,具体为:
[0102] Y= [VI V2 ... Vn]τ
[0103] 本实验中λ = 〇 · 〇〇4m,Tc = 38us,fs = 2000ksps。
[0104] 6.5对速度信号矩阵S\的每个元素求幅值,得到结果幅值矩阵Rt,具体如下:
[0105]
Figure CN108509910AD00105
[0106] 步骤七、计算信号序列B中各帧信号(B1 ... Bi ... Bf} (1彡i彡f)包含手势速度 和距离信息的幅值矩阵(R1 R2 ... Rf),具体步骤如下:
[0107] 7.1计算出信号列矩阵Bi包含t个信号矩阵(Bil ... Bij ... Bit)对应的幅值矩阵
[0108] 求取t个幅值矩阵VkO^i1 ... Vij ... R\t)的平均值
Figure CN108509910AD00111
,其中I^it 表示中频信号矩阵A中的第i帧帧信号仏的第t对发射接收天线中提取到的运动信息幅值矩 阵。
[0109] 7.2计算信号序列帧信号(B1 B2 ... Bf)的幅值矩阵(R1 R2 ... Rf)。
[0110] 步骤八、将生成的幅值矩阵(R1 R2 ... Rf)预处理为深度学习网络的输入数据 Xinput,并初始化网络权重,具体步骤如下:
[0111] 8.1将生成的f个二维幅值矩阵(R1 R2 ... Rf)合并为维度f XmXn的固定三维输 入信号矩阵Xinput 〇
[0112] 8.2随机生成维度Ske3rne3I X kernel X kernel表示网络权重的卷积核矩阵 K5、K6、K7和KsSllkernell > llkernel2 > nkernel3 > IlkerneM^nkernelS > nkernel6 > nkernel7^Bnkerne 18个,本实验中 Hkernell — 64,Hkernel2 — I 28,Hkernel3 — 256,HkerneM — 256,HkernelS — 5 I 2,Hkernel6 — 5 I 2,Hkernel7 — 51 2,Hkernel8 — 5 I 2 〇
[0113] 步骤九、将输入信号矩阵行卷积池化操作获取初步的浅层特征结果,得到 池化矩阵Pcroll。
[0114] 9.1将输入矩阵信号Xinpu冲每个1^_1 X k_i区域矩阵与rwneii个卷积核矩阵心进 行卷积相乘,生成表示从矩阵信号Xinput中提取到的浅层特征的特征映射图Fe3atl,具体卷积 操作如图7,本实验中nkerneii = 64。
[0115] 9.2将特征映射图Fe3atl矩阵在每个kpooi XkpciciI区域矩阵内,用该区域中的最大值代 表原来的kpool X kpool区域矩阵,生成表不将特征映射图Featl信息压缩后的池化矩阵Pooll,具 体操作如图8。
[0116] 步骤十、将池化矩阵Pcicill重复步骤九中的卷积核池化操作,设置卷积核个数 ,得到表示特征图的池化结果Ρ™12。
[0117] 步骤十一、对池化结果匕。12进行进一步的卷积池化,提取深度特征结果,得到池化 矩阵Pcicil3,具体步骤如下:
[0118] 11.1将池化矩阵Ρ〇〇ΐ2与卷积核矩阵Κ3进行卷积操作,生成特征映射图Feats,再与卷 积矩阵K4卷积,生成特征映射图Fe3at4,再将Fe3at4进行池化,将特征压缩为Pto13。
[0119] 步骤十二、将?。。13按照步骤十一重复两次进行卷积核池化操作,得到Iike3rne3l5个f X Xr/维的特征映射图Ρ〇〇ι5,本实验中f = = =4。
[0120] 步骤十三、将nkmm个P Xn^ Xr/维的特征映射图Fe3at5维度转置得到S1 X S2维的 特征向量Xf eature ? 本实验中 si = 4, S2 = 1024。
[0121] 步骤十四、设置长短期记忆网络(Long Short-TermMemory,LSTM)的输入层为上一 步骤中时间步长为S1输入维数为S2的特征向量Xfe3atee3,令X = Xfe3ature3,其中X的步长为81,长短 期记忆网络结构图如图9。
[0122] 步骤十五、根据长短记忆网络的输入X,计算网络中输入门I、忘记门F、输出门0和 候选隐藏状态G,具体步骤如下:
[0123] 15.1随机初始化步长为81的乂中第一步X1的状态变量为Sstate3,设置网络中隐层 LSTM单元节点数为h,本实验中h = 4096。
[0124] 15.2计算X总步长为81中每一步的输入门I、忘记门F和输出门0并求其隐层状态S, 其中X的第t步计算结果具体形式如下:
[0125]
Figure CN108509910AD00121
[0126] 其中S^1为第t-1步的状态变量,1]\1\1/^、1]°和1°为随机初始化的权重矩阵。
[0127] 15.3计算候选隐藏状态G = tanh (XtlJg+St-iWg),内部存储器的细胞状态Ct = Cu X F +GX I,以及第t步的输出隐层状态为St = tanh (Ct) XO,其中#和,为随机初始化的权重参 数。
[0128] 步骤十六、同过LSTM各个门计算网络隐层中最后一步的hXl维隐藏状态民,,并作 为特征结果X7 feature 〇
[0129] 步骤十七、将最终形如X^eatiire= [XI X2 .…:Xh]T的特征结果送入归一化指数函数 进行计算结果矩阵
Figure CN108509910AD00122
.得到结果矩阵中值最大的角标y ' = max (Xres),结果矩阵Xres的K个标量中第j个值
Figure CN108509910AD00123
_表示中频信号矩阵A被三维卷积神经网 络模型判别为第j类手势的概率,本实验中= 表示中频信号矩阵A被判别为某一类手 势的结果。
[0130] 步骤十八、根据网络判断的结果分类y',计算分类结果的损失函数J (Θ),并根据此 分类函数对网络中的权重进行更新,具体步骤如下:
[0131] 18.1设置损失函数为交叉熵损失函数
Figure CN108509910AD00124
,其中m为 训练样本数,y为训练集真实结果。
[0132] 18.2设置学习率为11,迭代次数为8_,利用损失函数】(0)训练3〇〇顺和1^1网络 结构中随机初试化的权重参数,本实验中其中Ir=〇. 003,Step = 5000。
[0133] 18.3使用反向传播算法:
Figure CN108509910AD00125
t更新三维卷积神经网络的权重参数(K1 K2 ...K8)和长短记忆网络的权重参数1]\1\1^|、1]°、1°、1^和^;,其中0(1)指网络中第1层待更 新的权重参数。
[0134] 步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类,得到 手势分类结果

Claims (6)

1.基于雷达信号的深度学习手势识别方法,其特征在于,包括以下步骤: 步骤一、设计手掌前推、后拉、左摆、右摆、前后推拉和左右挥动六个手势动作,并且利 用调频连续波(Frequency Modulated Continuous Wave,FMCW)雷达采集训练和测试手势 数据集的雷达源数据文件生成原始的中频信号矩阵A; 从原始中频信号矩阵A中提取某一发射天线和接收天线对应的帧信号矩阵Fk; 步骤二、构造汉明窗Whanming,并将其与帧信号矩阵Fk进行旁瓣抑制处理得到帧信号矩阵 Fk7; 步骤三、将帧信号矩阵Fi/的每一列信号F1/。进行傅里叶变换生成距离信号矩阵Sk; 步骤四、根据距离信号矩阵Sk中的频率分量计算信号所表示的实际距离,得到信号幅值 矩阵Rk; 步骤五、将帧信号矩阵Sk的每一行行矩阵信号Skr进行傅里叶变换,生成速度信号矩阵 S7k; 步骤六、根据速度信号矩阵S\中频率分量计算信号所表示的实际速度,得到信号幅值 矩阵Vk; 步骤七、计算信号序列B中各帧信号(B1 ... Bi ... Bf} (KiSf)包含手势速度和距 离信息的幅值矩阵(R1 R2 ... Rf); 步骤八、将生成的幅值矩阵(R1 R2 ... Rf)预处理为深度学习网络的输入数据X_ut,并 初始化网络权重; 步骤九、将输入信号矩阵X_ut进行卷积池化操作获取初步的浅层特征结果,得到池化 矩阵Pcroll ; 步骤十、将池化矩阵Poc1I1重复步骤九中的卷积核池化操作,设置卷积核个数Iike3rne3l2,得 到表示特征图的池化结果Pc1Ol2 ; 步骤十一、对池化结果Pc1Ol2进行进一步的卷积池化,提取深度特征结果,得到池化矩阵 P〇ol3 ; 步骤十二、将Poc1I3按照步骤十一重复两次进行卷积核池化操作,得到Ilke3rne3l5AP Xn^ X V维的特征映射图Pc1Ol5; 步骤十三、将nkernei5个f' XX η'维的特征映射图Feat5维度转置得到S1X S2维的特征向 S-Xfeature ; 步骤十四、设置长短期记忆网络(Long Short-Term Memory,LSTM)的输入层为上一步 骤中时间步长Ss1输入维数为S2的特征向量Xfe3atee3,令X = Xfe3ature3,其中X的步长为81,长短期 记忆网络结构图如图9; 步骤十五、根据长短记忆网络的输入X,计算网络中输入门I、忘记门F、输出门0和候选 隐藏状态G; 步骤十六、同过LSTM各个门计算网络隐层中最后一步的hXl维隐藏状态Ssl,并作为特 征结果X7 feature; 步骤十七、将最终形如X^eature= [X1 X2 ... xh]7的特征结果送入归一化指数函数进行 计算结果矩阵Xres,得到结果矩阵中值最大的角标y ' =max (Xres),结果矩阵Xres的K个标M中 第j个值表示中频信号矩阵A被三维卷积神经网络模型判别为第j类手势的概率,y'表示中 频信号矩阵A被判别为某一类手势的结果; 步骤十八、根据网络判断的结果分类y',计算分类结果的损失函数J (θ),并根据此分类 函数对网络中的权重进行更新; 步骤十九、将测试手势数据集输入到步骤十八得到的深度学习网络中分类,得到手势 分类结果
2. 根据权利要求1所述的基于雷达信号的深度学习手势识别方法,其特征在于将生成 的幅值矩阵(R1 R2 ... Rf)预处理为深度学习网络的输入数据X_ut,利用三维卷积神经网 络提取幅值矩阵中的手势特征。
3. 根据权利要求1或2所述的基于雷达信号的深度学习手势识别方法,其特征在于根据 输入信号X,使用长短记忆网络计算连续手势中的序列信息,所述步骤十五包括以下步骤:
15.1随机初始化步长为中第一步X1的状态变量为Sstate3,设置网络中隐层LSTM单元 节点数为h;
15.2计算X总步长为81中每一步的输入门I、忘记门F和输出门O并求其隐层状态S,其中X 的第t步计算结果具体形式如下: 其中Sh为第t-1步的状态
Figure CN108509910AC00031
变量,1]\1\1^、1\1]°和1°为随机初始 化的权重矩阵;
15.3计算候选隐藏状态G = tanh (XtlJg+St-iWg),内部存储器的细胞状态Ct = Ct-! X F+G X I,以及第t步的输出隐层状态为St = tanh (CO X0,其中Ui^PWg为随机初始化的权重参数。
CN201810281177.1A 2018-04-02 2018-04-02 基于fmcw雷达信号的深度学习手势识别方法 Pending CN108509910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810281177.1A CN108509910A (zh) 2018-04-02 2018-04-02 基于fmcw雷达信号的深度学习手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810281177.1A CN108509910A (zh) 2018-04-02 2018-04-02 基于fmcw雷达信号的深度学习手势识别方法

Publications (1)

Publication Number Publication Date
CN108509910A true CN108509910A (zh) 2018-09-07

Family

ID=63377807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810281177.1A Pending CN108509910A (zh) 2018-04-02 2018-04-02 基于fmcw雷达信号的深度学习手势识别方法

Country Status (1)

Country Link
CN (1) CN108509910A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444820A (zh) * 2020-03-24 2020-07-24 清华大学 一种基于成像雷达的手势识别方法
CN112198966A (zh) * 2020-12-08 2021-01-08 中南大学 基于fmcw雷达系统的笔画识别方法以及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
US20170364160A1 (en) * 2016-06-17 2017-12-21 Texas Instruments Incorporated Hidden markov model-based gesture recognition with fmcw radar

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
US20170364160A1 (en) * 2016-06-17 2017-12-21 Texas Instruments Incorporated Hidden markov model-based gesture recognition with fmcw radar
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHENYUAN ZHANG 等: "Latern: Dynamic Continuous Hand Gesture Recognition Using FMCW Radar Sensor", 《IEEE SENSORS JOURNAL》 *
冯志全 等: "结合手势二进制编码和类-Hausdorff距离的手势识别", 《电子学报》 *
左艳丽 等: "基于改进卷积神经网络的人体检测研究", 《现代电子技术》 *
田增山 等: "LFMCW 雷达测距中的自适应频率校正", 《电讯技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444820A (zh) * 2020-03-24 2020-07-24 清华大学 一种基于成像雷达的手势识别方法
CN112198966A (zh) * 2020-12-08 2021-01-08 中南大学 基于fmcw雷达系统的笔画识别方法以及系统
CN112198966B (zh) * 2020-12-08 2021-03-16 中南大学 基于fmcw雷达系统的笔画识别方法以及系统

Similar Documents

Publication Publication Date Title
CN104732243B (zh) 基于cnn的sar目标识别方法
Wang et al. Generative adversarial networks: introduction and outlook
CN106156744B (zh) 基于cfar检测与深度学习的sar目标检测方法
CN107169435B (zh) 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN106355151B (zh) 一种基于深度置信网络的三维sar图像目标识别方法
CN107229904A (zh) 一种基于深度学习的目标检测与识别方法
CN107103338A (zh) 融合卷积特征和集成超限学习机的sar目标识别方法
CN108182450A (zh) 一种基于深度卷积网络的机载探地雷达目标识别方法
CN107657204A (zh) 深层网络模型的构建方法及人脸表情识别方法和系统
CN108509910A (zh) 基于fmcw雷达信号的深度学习手势识别方法
CN105844627A (zh) 一种基于卷积神经网络的海面目标图像背景抑制方法
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN107316004A (zh) 基于深度学习的空间目标识别方法
CN110472627A (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN107256414A (zh) 基于空域特征图谱的极化sar图像卷积神经网络分类方法
CN103902989A (zh) 基于非负矩阵分解的人体动作视频识别方法
CN108564606A (zh) 基于图像转换的异源图像块匹配方法
CN108008385A (zh) 基于稀疏贝叶斯学习的干扰环境isar高分辨成像方法
CN108182475A (zh) 一种基于自动编码机-超限学习机的多维度数据特征识别方法
Alnujaim et al. Generative adversarial networks for classification of micro-doppler signatures of human activity
Shi et al. Human activity recognition based on deep learning method
Szczuko Deep neural networks for human pose estimation from a very low resolution depth image
Ovcharenko et al. Style transfer for generation of realistically textured subsurface models
Gao et al. Integrated GANs: Semi-supervised SAR target recognition
Guo et al. Radar target recognition based on feature pyramid fusion lightweight CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination