CN111157988B - 一种基于rdtm与atm融合的手势雷达信号处理方法 - Google Patents
一种基于rdtm与atm融合的手势雷达信号处理方法 Download PDFInfo
- Publication number
- CN111157988B CN111157988B CN202010123683.5A CN202010123683A CN111157988B CN 111157988 B CN111157988 B CN 111157988B CN 202010123683 A CN202010123683 A CN 202010123683A CN 111157988 B CN111157988 B CN 111157988B
- Authority
- CN
- China
- Prior art keywords
- rdtm
- equal
- atm
- signal
- intermediate frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于RDTM与ATM融合的手势雷达信号处理方法,包括:A、对手势进行探测并录取中频信号,对一维中频回波作二维重排和动目标显示处理;B、进行分帧重排,得到L帧回波信号;C、对每个单帧信号进行二维加窗处理;D、加窗后的单帧信号,进行二维傅里叶变换并取模得到RDM;E、对RDM的每列数据,进行“小波分解——小波系数处理——小波重构”处理,得到重构后的RDM;F、对L帧回波信号得到的RDM进行合并和掩膜处理,得到RDTM;G、对所有接收天线接收的中频回波,按照虚拟阵列天线方式进行数据处理,得出ATM;H、将RDTM与ATM进行图像融合;I、通过神经网络,完成图像分类进行手势识别。本发明能够解决现有技术不足,手势识别准确率提高了7.5%。
Description
技术领域
本发明属于手势雷达探测与应用技术领域,具体是一种基于RDTM与ATM融合的手势雷达信号处理方法。
背景技术
人手手势识别是近年来兴起的一门新技术,通过光学或雷达传感器实现对人手势的判别,用于游戏、工业控制、医疗、汽车电子等人机交互领域。在手势识别研究领域,已经广泛的进行了使用基于相机、计算机视觉和可穿戴设备的手势识别研究。但是基于相机和计算机视觉的手势识别对周围环境的依赖程度较高,例如,在光线较暗的情况下,光学传感器的性能就会显著下降甚至失效。可穿戴设备主要缺点是用户必须穿戴这些设备才能进行手势识别,可穿戴设备难以作为手势识别的接口。
通过分析由移动物体散射的射频信号引起的多普勒效应,手势雷达可以通过经济高效的小型化架构实现。由于手和手指的运动引起的多普勒相移的频率通常限制在几赫兹的范围内,并且采用相关算法的所需模数转换器和基础设备也很便宜。相比于基于光学传感器,基于雷达的传感器避免了环境光条件的影响,并且也减少了数据处理时间,在实际应用中实时性较好。同时在一些不适合直接接触的应用领域,例如重机械工厂等场合,通过非接触的手势识别技术可以实现远程控制。
在手势雷达探测中,为了获得较好的分辨力,通常利用宽频带雷达进行探测。因此在记录手势回波的同时,不可避免地记录下了宽频带范围内的各种干扰噪声,导致雷达回波图不能准确清晰地反映目标体。因而,需要对接收的手势雷达回波信号进行处理,以改善数据质量,为后续的手势运动参数提取提供高质量数据。而且,大型手势训练数据集在手势识别系统中起着重要作用。但是对于手势识别任务,收集大量带标签的数据非常困难,费力,甚至有时是不可能的。因而,需要加强对手势雷达回波信号特征提取处理,减少数据集,以便后续的手势分类。
2017年,研究人员运用深度学习网络提取其特征并进行手势识别。但是由于噪声和其他干扰源的存在,这使得RDM中的手势信息不明显,识别精度有待提高【参考文献:Molchanov,P.;Gupta,S.;Kim,K.Short-range FMCW monopulse radar for hand-gesturesensing.IEEE Radar Conference-Proceedings.2017,1491-1496】。2018年,研究人员通过信号处理方法求取手势雷达所测目标的距离和速度,将对应的信号幅值映射为参数图。使用该参数图来表示每一时刻的手势,并将参数图输入到深度学习网络中进行特征提取和分类。但该方法只对手势的径向变化比较敏感,限制了对横向变化敏感的角度特征提取,仅达到87%的手势识别率【参考文献:Wang,S.;Song,J.;Lien,J.Interacting with Soli:Exploring Fine-Grained Dynamic Gesture Recognition in the Radio-FrequencySpectrum.the 29th Annual Symposium.ACM.2018】。2020年,研究人员通过对手部反射的雷达回波进行时频分析处理,估计目标的距离多普勒谱、距离谱、多普勒谱和水平方向角度谱并联合多维特征,利用多个卷积神经网络对微动手势特征进行分类。这种方法生成的“距离-多普勒-时间图”杂波噪声较多且需要大量数据集,网络结构复杂,识别精度约为93%,在网络结构设计和识别效果方面,还有较大的提升空间【参考文献:夏朝阳,周成龙,介钧誉,基于多通道调频连续波毫米波雷达的微动手势识别,电子与信息学报,2020,42(1):164-172】。本发明提出了一种结合距离、多普勒和角度特征,适用于数据集小、网络结构简单和有较高识别率要求的手势识别场合。
发明内容
本发明要解决的技术问题是提供一种基于RDTM与ATM融合的手势雷达信号处理方法,能够解决现有技术的不足,提高对于手势目标的识别率。
本发明所述RDTM(Range-Doppler Trajectory Map)为距离多普勒轨迹图,ATM(AngularTime Map)为角度时间图,RDM(Range Doppler Map)为距离多普勒图。RDTM由L帧RDM合成,并做掩膜处理而得。ATM运用CAPON波束成形算法,通过对信号的空间谱函数进行谱峰搜索,获取信号的峰值对应的角度;然后将每帧的计算结果按时间顺序构成而得。
本发明的内容包括以下步骤,
A、手势雷达发射线性调频信号,对手势进行探测并录取回波,经过混频和采样后得到中频信号;中频回波x0(t)为复信号,包含两路相互正交的基带信号。设单个手势所录取的雷达回波包括L帧,每帧包括M个中频信号,每个中频信号经A/D采样后的采样点数为N点;将x0(t)进行重新排列得到二维信号x(n,t);1≤n≤N,1≤t≤T,其中T=L×M为中频回波x0(t)的中频信号总数量。对x(n,t)进行动目标显示处理,抑制干扰信号,得到二维信号
C、对每个单帧信号S(n,m)进行二维加窗处理,得到处理后的矩阵Y(n,m),n和m分别表示回波矩阵中第m列中第n个采样;
D、对Y(n,m)进行二维傅里叶变换并取模,得F(p,q);1≤p≤N,1≤q≤M,该矩阵称为RDM,包含目标距离和速度信息;
E、提取F(p,q)的每道数据G(q)=F(p,q),q为列序号;对该一维信号进行小波分解,提取尺度系数cj,k与小波系数i,j,k∈Z,Z表述整数集,i表示分解层数,j表示尺度,k表示在尺度空间上平移的单位,并保留尺度系数;设计阈值函数,小波系数通过该阈值函数处理,得到处理后的小波系数再运用上述小波系数进行小波重构,得到处理结果逐列进行上述处理,得到每列处理后的一维信号,再合成为一个二维矩阵
F、将L帧单帧信号进行分别上述从步骤C到步骤E的处理,得到L帧处理后的RDM。通过对比L帧RDM图像像素点的较大值并保留较大值,得出合成轨迹图1≤h≤H,1≤z≤Z,图像尺寸为H×Z,为了消除多余的杂波,对作掩膜处理得到RDTM,表示为T(h,z);
G、对所有接收天线接收的中频回波,按照虚拟阵列天线方式进行截取和重排,得到其中Q为阵元数,K=L×M×N,运用CAPON波束成形算法,通过对的空间谱函数进行谱峰搜索,获取信号的峰值对应的角度;然后将每帧的计算结果按时间顺序构成一幅ATMA(l,e),l=1,2,…,L,l为帧序号,e=[-180° -179° …179°]表示角度矢量,遍历-180°到179°的角度区间,角度步进为1°;
H、将步骤F中得到的RDTM与步骤G中获取的ATM进行图像融合,得到融合后的图像I(h,z);
I、将融合两特征的图像I(h,z)输入LeNet-5网络,用于完成图像分类和手势识别。
作为优选,步骤A中,对x(n,t)进行动目标显示,抑制干扰信号的方法为,
其中,x(n,t)表示第t个线性调频信号的中频回波,K∈[0,1]为比例系数。
作为优选,步骤C中,对每个单帧信号S(n,m)进行二维加窗处理的方法为,
Y(n,m)=S(n,m)×W(n,m)
其中,W(n,m)=hT(n)×h(m),h(n)表示长度为n的hanning窗,为一行向量,上标‘T’表示转置。
作为优选,步骤D中,F(p,q)的计算方法为,
作为优选,步骤E中,阈值函数为,
作为优选,步骤F中,L帧中频回波信号对应的RDM合成运算如下:
作为优选,步骤F中,掩膜处理的方法为:
作为优选,步骤G中,设多个接收天线对应的导向矢量矩阵为
其中,Rx=E{x(t)xH(t)}为接收信号的协方差矩阵,上标‘H’表示共轭运算。
作为优选,步骤H中,I(h,z)的融合方法为,
I(h,z)=b×T(h,z)+c×A(h,z)
其中,b和c分别为RDTM与ATM的融合系数,0.2≤b≤0.8,0.2≤c≤0.8,且b+c=1。
本发明通过二维傅里叶变换得出距离与频率之间的关系,即得出RDM。接着对所有帧的距离多普勒图进行合成,得出距离多普勒轨迹图RDTM,并对RDTM作掩膜处理实现杂波抑制。首先使用动目标显示和二维加窗方法对中频回波进行处理,有效抑制了中频回波中的杂波。然后,运用小波阈值去噪方法对RDM进行去噪处理,提高了信噪比,进一步增强RDM中的手势峰值。在小波阈值去噪方法中,对阈值函数进行了改进。将RDTM与ATM进行图像融合,将距离、多普勒和角度特征融合在一幅图像中,作为单个LeNet-5卷积神经网络的输入。对于不同的手势类型,本发明得到的融合图像差异明显,故而可以使用简单的卷积神经网络进行分类识别。在较少量数据集的情况下,六类典型手势的平均识别准确率达到94.5%。
附图说明
图1为本发明一个具体实施方式的流程图。
图2为本发明一个具体实施方式中六种手势示意图。
图3为本发明一个具体实施方式中手势雷达数据采集前3帧中频回波时域波形图。
图4为本发明一个具体实施方式中手势雷达数据采集前6个中频回波时域波形图。
图5为本发明一个具体实施方式中重排后中频回波图。
图6为图5经过MTI处理中频回波图。
图7为本发明一个具体实施方式中经过MTI和加窗处理的某帧回波信号图。
图8为图7经过二维加窗处理后的回波信号图。
图9为图8经过二维FFT处理后的RDM。
图10为图9经过小波阈值处理后的RDM。
图11为本发明一个具体实施方式中第1帧数据通过MWD和2D-FFT的处理结果。
图12为本发明一个具体实施方式中第4帧数据通过MWD和2D-FFT的处理结果。
图13为本发明一个具体实施方式中第7帧数据通过MWD和2D-FFT的处理结果。
图14为本发明一个具体实施方式中第10帧数据通过MWD和2D-FFT的处理结果。
图15为本发明一个具体实施方式中第13帧数据通过MWD和2D-FFT的处理结果。
图16为本发明一个具体实施方式中第16帧数据通过MWD和2D-FFT的处理结果。
图17为本发明一个具体实施方式中第19帧数据通过MWD和2D-FFT的处理结果。
图18为本发明一个具体实施方式中第22帧数据通过MWD和2D-FFT的处理结果。
图19为本发明一个具体实施方式中手势“打钩”的多帧RDM合成轨迹结果。
图20为图19经过掩膜处理后的结果。
图21为经过CAPON算法得出的角度时间图。
图22为本发明一个具体实施方式中手势“向下推”的特征融合图像。
图23为本发明一个具体实施方式中手势“向上拉”的特征融合图像。
图24为本发明一个具体实施方式中手势“水平向左滑动”的特征融合图像。
图25为本发明一个具体实施方式中手势“水平向右滑动”的特征融合图像。
图26为本发明一个具体实施方式中手势“打钩”的特征融合图像。
图27为本发明一个具体实施方式中手势“逆向打钩”的特征融合图像。
图28为本发明一个具体实施方式中LeNet-5的网络结构及设计的参数示意图。
图29为本发明一个具体实施方式中随着迭代次数,手势分类的精度变化曲线。
图30为本发明一个具体实施方式中随着迭代次数,手势分类的损耗变化曲线。
图31为本发明一个具体实施方式中六类手势的混淆矩阵。
图32为本发明一个具体实施方式中在经过MWD处理与未经处理情况下,手势分类的精度变化曲线。
图33为本发明一个具体实施方式中在经过MWD处理与未经处理情况下,手势分类的损耗变化曲线。
图34为本发明方法与现有2D-CNN系统,随着迭代次数识别精度对比结果。
具体实施方式
一种基于RDTM与ATM融合的手势雷达信号处理方法,包括以下步骤,
A、手势雷达发射线性调频信号,对手势进行探测并录取回波,经过混频和采样后得到中频信号;中频回波x0(t)为复信号,包含两路相互正交的基带信号。设单个手势所录取的雷达回波包括L帧,每帧包括M个中频信号,每个中频信号经A/D采样后的采样点数为N点;将x0(t)进行重新排列得到二维信号x(n,t);1≤n≤N,1≤t≤T,其中T=L×M为中频回波x0(t)的中频信号总数量。对x(n,t)进行动目标显示处理,抑制干扰信号,得到二维信号
对x(n,t)进行动目标显示,抑制干扰信号的方法为,
其中,x(n,t)表示第t个线性调频信号的中频回波,K∈[0,1]为比例系数。
C、对每个单帧信号S(n,m)进行二维加窗处理,得到处理后的矩阵Y(n,m),n和m分别表示回波矩阵中第m列中第n个采样;
对每个单帧信号S(n,m)进行二维加窗处理的方法为,
Y(n,m)=S(n,m)×W(n,m)
其中,W(n,m)=hT(n)×h(m),h(n)表示长度为n的hanning窗,为一行向量,上标‘T’表示转置。
D、对Y(n,m)进行二维傅里叶变换并取模,得F(p,q);1≤p≤N,1≤q≤M,该矩阵称为RDM,包含目标距离和速度信息;
F(p,q)的计算方法为,
作为优选,步骤E中,阈值函数为,
E、提取F(p,q)的每道数据G(q)=F(p,q),q为列序号;对该一维信号进行小波分解,提取尺度系数cj,k与小波系数i,j,k∈Z,Z表述整数集,i表示分解层数,j表示尺度,k表示在尺度空间上平移的单位,并保留尺度系数;设计阈值函数,小波系数通过该阈值函数处理,得到处理后的小波系数再运用上述小波系数进行小波重构,得到处理结果逐列进行上述处理,得到每列处理后的一维信号,再合成为一个二维矩阵
阈值函数为,
F、将L帧单帧信号进行分别上述从步骤C到步骤E的处理,得到L帧处理后的RDM。通过对比L帧RDM图像像素点的较大值并保留较大值,得出合成轨迹图1≤h≤H,1≤z≤Z,图像尺寸为H×Z,为了消除多余的杂波,对作掩膜处理得到RDTM,表示为T(h,z);
L帧中频回波信号对应的RDM合成运算如下:
掩膜处理的方法为:
G、对所有接收天线接收的中频回波,按照虚拟阵列天线方式进行截取和重排,得到其中Q为阵元数,K=L×M×N,运用CAPON波束成形算法,通过对的空间谱函数进行谱峰搜索,获取信号的峰值对应的角度;然后将每帧的计算结果按时间顺序构成一幅ATMA(l,e),l=1,2,…,L,l为帧序号,e=[-180° -179° …179°]表示角度矢量,遍历-180°到179°的角度区间,角度步进为1°;
设多个接收天线对应的导向矢量矩阵为
其中,Rx=E{x(t)xH(t)}为接收信号的协方差矩阵,上标‘H’表示共轭运算。
H、将步骤F中得到的RDTM与步骤G中获取的ATM进行图像融合,得到融合后的图像I(h,z);
I(h,z)的融合方法为,
I(h,z)=b×T(h,z)+c×A(h,z)
其中,b和c分别为RDTM与ATM的融合系数,0.2≤b≤0.8,0.2≤c≤0.8,且b+c=1。
I、将融合两特征的图像I(h,z)输入LeNet-5网络,用于完成图像分类和手势识别。
采用TI公司的线性调频连续波雷达传感器IWR1443BOOST发射载频为77GHz的信号,具有两根2发设天线4根接收天线,发射信号共25帧,每帧包括255个线性调频信号的中频回波,采样点数为256。发射信号带宽为4GHz,回波信号经混频后得到中频信号,中频信号的采样率为5MHz。手掌在距离雷达0.5m的位置,使用图示6中手势,利用DCA1000EVM实时采集回波数据,前3帧的时域波形实部如图3所示,第1帧中的前6个时域回波的实部如图4所示。
图11-图18为“打钩”这一手势的第1、4、7、10、13、16、19和22帧数据进行MWD与2D-FFT的结果。其中,RDM横轴表示速度,纵轴表示范围,红框标记对应于手势目标。手势前半部分的动作发生在前11帧,从第1、4、7、10帧中可以看到手的距离在减少,速度先增加后减小;手势的后半部分动作发生在后面14帧中,手的距离一直在增加,速度增加到最大值后又减小。
将经过上述处理后所有帧的RDM合成轨迹,得到RDTM如图19所示,掩膜处理后的结果如图20所示,○表示手势的起始点,手势方向也已在图中标出。运用CAPON波束成形算法,并将每帧的计算结果按时间顺序构成的ATM,如图21所示。将六类手势的RDTM与ATM进行图像融合,这里的融合系数均取0.5,融合结果如图22-27所示。最后将融合图像I(h,z)输入LeNet-5网络,用于完成图像分类进行手势识别。
设计的LeNet-5结构如图28所示,包括输入层,卷积层,池化层,完全连接层和softmax输出层。LeNet-5模型最初是为手写字符集识别而设计的。在输入部分,模型训练的手写数据集的尺寸大小为32×32。由于本发明中为手势融合图像,比手写数据集的图像更为复杂。因此,本实验使用64×64尺寸图像作为数据输入,考虑到颜色信息,输入数据样本的分辨率为64×64×3。在三个卷积层中,卷积内核的大小为5×5,Conv1,Conv2,Conv3分别有16,32,64个通道。在每个卷积层后使用ReLU作为激活函数,该函数用于描述输入和输出之间的高度非线性关系。池化层Pool1进行下采样,用于较小数据的尺寸并使最终输出对噪声的鲁棒性更高,采样窗口步长设置为2,窗口大小为2×2。其余的卷积层和池化层都以类似的方式构造。完全连接层结合了Conv3中所有特征图,而LeNet-5的最后一层是带有6个输出的softmax层。
本实验每类手势包含30个样本,每个样本包含了一个完整手势的两个特征,六类手势的总样本量为180。为了增强所提出方法的鲁棒性,采集了不同测试人员的手势动作以生成数据集,其中80%作为训练集,20%作为测试集。实验过程中,使用了交叉验证,为了防止同一测试者的手势聚集在一起,每种类型的手势数据被随机打乱。为了验证本发明方法的干扰抑制和特征提取的有效性,将训练数据集输入到设计的网络中进行训练,然后将测试数据集用于手势识别。在训练过程中,迭代次数设置为50,批次大小为16。测试精度和损耗结果如图29、30所示,六类手势的混淆矩阵如图31所示。结果表明,随着迭代次数的增加,精度逐步上升损耗逐步下降,最终分别在10和20个迭代次数收敛。平均精度为94.5%。G4与G5被错误的分类到G3与G6,这是因为这几类手势运动存在相似之处,而且轨迹特征完全一致造成的。
为定量评估MWD方法的性能,分别使用下面公式计算去噪前后图像的平均峰值信噪比,
其中,G表示帧数,本发明处理后图像的PSNR提高了4.2785dB。
并且,分别将未处理的手势数据和使用MWD进行处理的数据输入网络进行测试。图32和33显示了在不同迭代次数下识别精度和损失函数的比较图。可从图中看出,MWD提高了精度,损失函数趋势更加平滑。改善了LeNet-5网络的识别准确性和收敛性能。
将本发明提出的方法与基于2D-CNN的手势识别系统进行比较。比较结果如图34所示。从该图可看出,随着迭代次数的增加,识别精度也随之增加。本发明所提出算法的平均识别精度达到94.5%,而基于2D-CNN的系统的平均识别精度为87%,本发明所提的算法的手势识别准确率提高了7.5%。由于基于2D-CNN的系统仅仅关注了空间信息,无法从手势数据中提取时间信息,而且本发明实验只输入了30组数据集,数据集较少以致未能实现高精度。但是本发明特征融合后的图片中包含了时间特征,并且包含整个手部运动轨迹。本发明所提出的方法只需30组数据集,基于较少参数的简单结构网络就能实现高精度识别。
Claims (9)
1.一种基于RDTM与ATM融合的手势雷达信号处理方法,其特征在于包括以下步骤,
A、手势雷达发射线性调频信号,对手势进行探测并录取回波,经过混频和采样后得到中频信号;中频回波x0(t)为复信号,包含两路相互正交的基带信号;设单个手势所录取的雷达回波包括L帧,每帧包括M个中频信号,每个中频信号经A/D采样后的采样点数为N点;将x0(t)进行重新排列得到二维信号x(n,t);1≤n≤N,1≤t≤T,其中T=L×M为中频回波x0(t)的中频信号总数量;对x(n,t)进行动目标显示处理,抑制干扰信号,得到二维信号SIF(n,t);
B、对二维信号SIF(n,t)=[S1(n,m),S2(n,m),…,SL(n,m)]进行分帧重排,即得到L帧的回波信号S(n,m);1≤n≤N,1≤m≤M,尺寸为N×M,每列为一个N点的中频回波,一共有M列;
C、对每个单帧信号S(n,m)进行二维加窗处理,得到处理后的矩阵Y(n,m),n和m分别表示回波矩阵中第m列中第n个采样;
D、对Y(n,m)进行二维傅里叶变换并取模,得F(p,q);1≤p≤N,1q≤M,该矩阵称为RDM,包含目标距离和速度信息;
E、提取F(p,q)的每道数据G(q)=F(p,q),q为列序号;对该一维信号进行小波分解,提取尺度系数cj,k与小波系数Z表述整数集,i表示分解层数,j表示尺度,k表示在尺度空间上平移的单位,并保留尺度系数;设计阈值函数,小波系数通过该阈值函数处理,得到处理后的小波系数再运用上述小波系数进行小波重构,得到处理结果逐列进行上述处理,得到每列处理后的一维信号,再合成为一个二维矩阵
F、将L帧单帧信号进行分别上述从步骤C到步骤E的处理,得到L帧处理后的RDM;通过对比L帧RDM图像像素点的较大值并保留较大值,得出合成轨迹图图像尺寸为H×Z,为了消除多余的杂波,对作掩膜处理得到RDTM,表示为T(h,z);
G、对所有接收天线接收的中频回波,按照虚拟阵列天线方式进行截取和重排,得到其中Q为阵元数,K=L×M×N,运用CAPON波束成形算法,通过对的空间谱函数进行谱峰搜索,获取信号的峰值对应的角度;然后将每帧的计算结果按时间顺序构成一幅ATMA(l,e),l=1,2,…,L,l为帧序号,e=[-180° -179°…179°]表示角度矢量,遍历-180°到179°的角度区间,角度步进为1°;
H、将步骤F中得到的RDTM与步骤G中获取的ATM进行图像融合,得到融合后的图像I(h,z);
I、将融合两特征的图像I(h,z)输入LeNet-5网络,用于完成图像分类和手势识别。
2.如权利要求1所述的基于RDTM与ATM融合的手势雷达信号处理方法,其特征在于:步骤A中,对x(n,t)进行动目标显示,抑制干扰信号的方法为,
SIF(n,t)=x(n,t)-Kx(n,t-1)+x(n,t-2)
其中,x(n,t)表示第t个线性调频信号的中频回波,K∈[0,1]为比例系数。
3.如权利要求2所述的基于RDTM与ATM融合的手势雷达信号处理方法,其特征在于:步骤C中,对每个单帧信号S(n,m)进行二维加窗处理的方法为,
Y(n,m)=S(n,m)×W(n,m)
其中,W(n,m)=hT(n)×h(m),h(n)表示长度为n的hanning窗,为一行向量,上标‘T’表示转置。
9.如权利要求8所述的基于RDTM与ATM融合的手势雷达信号处理方法,其特征在于:步骤H中,I(h,z)的融合方法为,
I(h,z)=b×T(h,z)+c×A(h,z)
其中,b和c分别为RDTM与ATM的融合系数,0.2≤b≤0.8,0.2≤c≤0.8,且b+c=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010123683.5A CN111157988B (zh) | 2020-02-27 | 2020-02-27 | 一种基于rdtm与atm融合的手势雷达信号处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010123683.5A CN111157988B (zh) | 2020-02-27 | 2020-02-27 | 一种基于rdtm与atm融合的手势雷达信号处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111157988A CN111157988A (zh) | 2020-05-15 |
CN111157988B true CN111157988B (zh) | 2023-04-07 |
Family
ID=70566846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010123683.5A Active CN111157988B (zh) | 2020-02-27 | 2020-02-27 | 一种基于rdtm与atm融合的手势雷达信号处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111157988B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813223B (zh) * | 2020-07-09 | 2022-04-22 | 电子科技大学 | 一种基于高分辨雷达信号的手势自动分割识别方法 |
CN112198966B (zh) * | 2020-12-08 | 2021-03-16 | 中南大学 | 基于fmcw雷达系统的笔画识别方法以及系统 |
CN113269084B (zh) * | 2021-05-19 | 2022-11-01 | 上海外国语大学 | 基于观众群体情感神经相似性的影视剧市场预测方法及系统 |
CN113406610B (zh) * | 2021-06-16 | 2023-06-23 | 深圳大学 | 一种目标检测方法、装置、设备和存储介质 |
CN113591684A (zh) * | 2021-07-29 | 2021-11-02 | 北京富奥星电子技术有限公司 | 一种基于cw体制多普勒雷达的手势识别方法 |
CN113567950B (zh) * | 2021-09-24 | 2021-12-17 | 巍泰技术(武汉)有限公司 | 一种毫米波雷达距离速度谱估计方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012219852A1 (de) * | 2012-10-30 | 2014-04-30 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Beeinflussen einer Text-zu-Sprache-Ausgabe |
CN103793059A (zh) * | 2014-02-14 | 2014-05-14 | 浙江大学 | 一种基于时域多普勒手势恢复识别方法 |
CN106291538A (zh) * | 2016-07-29 | 2017-01-04 | 中南大学 | 一种铁路路基病害检测探地雷达信号的多通带滤波方法 |
WO2018073516A1 (fr) * | 2016-10-20 | 2018-04-26 | Coyote System | Systeme d'aide a la conduite d'un vehicule comprenant un smartphone et un dispositif interface deporte |
CN109188414A (zh) * | 2018-09-12 | 2019-01-11 | 北京工业大学 | 一种基于毫米波雷达的手势运动探测方法 |
-
2020
- 2020-02-27 CN CN202010123683.5A patent/CN111157988B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012219852A1 (de) * | 2012-10-30 | 2014-04-30 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Beeinflussen einer Text-zu-Sprache-Ausgabe |
CN103793059A (zh) * | 2014-02-14 | 2014-05-14 | 浙江大学 | 一种基于时域多普勒手势恢复识别方法 |
CN106291538A (zh) * | 2016-07-29 | 2017-01-04 | 中南大学 | 一种铁路路基病害检测探地雷达信号的多通带滤波方法 |
WO2018073516A1 (fr) * | 2016-10-20 | 2018-04-26 | Coyote System | Systeme d'aide a la conduite d'un vehicule comprenant un smartphone et un dispositif interface deporte |
CN109188414A (zh) * | 2018-09-12 | 2019-01-11 | 北京工业大学 | 一种基于毫米波雷达的手势运动探测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111157988A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111157988B (zh) | 一种基于rdtm与atm融合的手势雷达信号处理方法 | |
CN111476058B (zh) | 一种基于毫米波雷达的手势识别方法 | |
CN110187342B (zh) | 一种基于fmcw移动平台的生命体征检测与成像方法 | |
CN113854981A (zh) | 一种基于毫米波雷达的运动多人生命体征监测方法 | |
Kim et al. | Radar-based human activity recognition combining range–time–Doppler maps and range-distributed-convolutional neural networks | |
CN114581958B (zh) | 一种基于csi信号到达角估计的静态人体姿势估计方法 | |
CN114661142A (zh) | 一种手势识别方法以及装置 | |
Budillon et al. | SAR tomography based on deep learning | |
CN107220628A (zh) | 红外干扰源检测的方法 | |
CN116184394A (zh) | 基于多域谱图与多分辨率融合的毫米波雷达手势识别方法及系统 | |
Janakaraj et al. | STAR: Simultaneous tracking and recognition through millimeter waves and deep learning | |
CN115877376A (zh) | 基于多头自注意力机制的毫米波雷达手势识别方法及识别系统 | |
CN113960587A (zh) | 基于类别信息反馈的毫米波雷达多目标跟踪方法 | |
Erdoğan et al. | Object classification on noise-reduced and augmented micro-doppler radar spectrograms | |
Wang et al. | Interference mitigation for automotive fmcw radar based on contrastive learning with dilated convolution | |
CN116794602A (zh) | 一种应用于干扰环境下的毫米波雷达动态手势识别方法 | |
CN114511873B (zh) | 基于毫米波雷达成像的静态手势识别方法及装置 | |
CN114217284B (zh) | 一种基于特征的雷达运动目标检测和干扰抑制方法及系统 | |
Li et al. | Objective evaluation of clutter suppression for micro-Doppler spectrograms of hand gesture/sign language based on pseudo-reference image | |
Raeis et al. | InARMS: Individual activity recognition of multiple subjects with FMCW radar | |
Gupta et al. | Target detection of ISAR data by principal component transform on co-occurrence matrix | |
Zheng et al. | Hand gesture recognition based on range Doppler-angle trajectory and LSTM network using an MIMO radar | |
Yan et al. | Integration of spatial-spectral information for hyperspectral image classification | |
Wang et al. | Research on hand gesture recognition based on millimeter wave radar | |
Wu et al. | Spectra-difference based anomaly-detection for infrared hyperspectral dim-moving-point-target detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |