CN108872984B - 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 - Google Patents

基于多基地雷达微多普勒和卷积神经网络的人体识别方法 Download PDF

Info

Publication number
CN108872984B
CN108872984B CN201810212392.6A CN201810212392A CN108872984B CN 108872984 B CN108872984 B CN 108872984B CN 201810212392 A CN201810212392 A CN 201810212392A CN 108872984 B CN108872984 B CN 108872984B
Authority
CN
China
Prior art keywords
human body
convolution layer
time
dimension
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810212392.6A
Other languages
English (en)
Other versions
CN108872984A (zh
Inventor
李刚
陈兆希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810212392.6A priority Critical patent/CN108872984B/zh
Publication of CN108872984A publication Critical patent/CN108872984A/zh
Application granted granted Critical
Publication of CN108872984B publication Critical patent/CN108872984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9004—SAR image acquisition techniques
    • G01S13/9017—SAR image acquisition techniques with time domain processing of the SAR signals in azimuth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904—SAR modes
    • G01S13/9047—Doppler beam sharpening mode

Abstract

本发明涉及一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，属于雷达目标识别技术领域。本方法中使用多基地雷，缓解了视角变化带来的回波信号差异，增强了识别鲁棒性，提高了识别准确率。采用卷积神经网络进行数据处理，无需手工设计特征，具有一定通用性且识别正确率性能优异。本方法采用迁移学习技术，在卷积神经网络中利用了RGB光学图像预训练权重，并利用具有类似RGB光学图像的三通道多分辨率时频图作为卷积神经网络的输入，在匹配了预训练权重维度的同时，相比单分辨率时频图提供了更多的信息，本方法能够在多种人体识别任务中取得良好的识别准确率。

Description

基于多基地雷达微多普勒和卷积神经网络的人体识别方法
技术领域
本发明涉及一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，属于雷达目标识别技术领域。
背景技术
使用雷达观测目标，具有长距离、全天时全天候的优势。雷达微多普勒效应是指在目标质心运动导致的多普勒效应的基础上，由目标相对质心的震动、转动等引起的附加多普勒效应.目标的微多普勒频移随时间的变化规律，即微多普勒时频图，能够反映目标的运动姿态与结构信息，从而作为目标识别的特征，用于飞行器识别、人体姿态识别、手势识别等应用场景.基于微多普勒特征的经典目标识别算法一般分为特征提取和分类两个步骤。在特征提取步骤中，算法从多普勒时频图中提取若干经验特征(如带宽、质心、周期等)，或利用主成分分析、奇异值分解等不具有数据特异性的数学变换提取代表性信息作为特征.在分类步骤中，上述特征被输入某种经典的分类器(如支持向量机、朴素贝叶斯分类器、近邻分类器等)并输出识别结果。
卷积神经网络是一种近年来兴起的模式识别算法.它在图像、声音、自然语言处理等领域的检测、识别、分割等多种任务中较经典模式识别算法表现出显著的准确率优势，且无需人工选择经验特征、普适性好。
文献J.Park,R.J.Javier,T.Moon and Y.Kim,“Micro-Doppler basedclassification of human aquatic activities via transfer learning ofconvolutional neural networks,”Sensors,vol.16,no.12,p.1990,Nov.2016.公开了利用卷积神经网络进行基于雷达微多普勒特征的目标识别，设计实验区分了人体在水中的不同运动状态，并利用迁移学习技术进一步提升了算法的性能。该文献采用了单基地雷达对目标进行观测。
然而，单基地雷达的明显缺点是仅能获取距离向的多普勒信息，而对方位向的多普勒分量不具有感知能力。在视角剧烈变化(例如分别为0度和90)时，同一目标的微多普勒特征可能表现出巨大的差异，从而降低了目标检测的鲁棒性.而多基地雷达具有多条收发路径，能够从不同角度同时观测目标，能够有效缓和上述问题。其中，一个关键问题是如何融合来自不同节点或收发路径的数据。
文献F.Fioranelli,M.Ritchie and H.Griffiths,“Performance analysis ofcentroid and SVD features for personnel recognition using multistatic micro-Doppler,”IEEE Geoscience Remote Sensing Letter,vol.13,no.5,pp.725-729,May.2016.公开了将排列于一条直线的三个节点构成一发三收的多基地雷达，以区分人体是否持有武器。该文献利用经典目标识别方法处理各节点的数据，并简单地通过多数投票确定最终分类结果。然而经典目标识别方法的具有前文所述的诸多缺点，难以满足复杂和多样的目标识别任务；简单的多数投票融合难以充分利用各节点数据之间的相关性，融合效果仍有提升空间。
发明内容
本发明的目的是克服现有技术的上述缺点和不足，提出一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，为多基地雷达提供了更多观察视角，提升系统鲁棒性；利用卷积神经网络对目标的微多普勒时频图进行分类，实现了高性能的目标识别。
本发明提出的基于多基地雷达微多普勒和卷积神经网络的人体识别方法，包括以下步骤：
(1)采集已知种类的人体时域回波信号：
采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t),s2(t),s2(t),其中t为采集时间；
(2)生成多分辨率时频图，包括以下步骤：
(2a)对三个接收节点分别采集的时域回波信号s1(t),s2(t),s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t),的多分辨率时频图Sn,k(t,f):
Figure BDA0001597578240000021
其中，自变量t为时间，n为三个接收节点的序号，n＝1,2,3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；
(2b)对上述多分辨率时频图Sn,k(t,f)取对数，并将取对数后的多分辨率时频图Sn,k(t,f)的最大值归一化为0分贝，设定一个门限θth，在最大值归一化后的多分辨率时频图Sn,k(t,f)中截去小于门限θth的部分，得到三个接收节点的归一化多分辨率时频图
Figure BDA0001597578240000031
Figure BDA0001597578240000032
(2c)将上述归一化多分辨率时频图
Figure BDA0001597578240000033
的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图
Figure BDA0001597578240000034
的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图Xn,k(t,f)：
Figure BDA0001597578240000035
(3)构建一个训练数据集：
对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图
Figure BDA0001597578240000036
其中，i为对一个已知种类人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3，将第i组零均值的多分辨率时频图
Figure BDA0001597578240000037
与已知人体种类yi构成一个训练样本
Figure BDA0001597578240000038
遍历所有已知种类的人体，重复本步骤，得到所有训练样本
Figure BDA0001597578240000039
将所有训练样本组成一个训练数据集；
(4)构建一个如图3所示的卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率，
每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；
三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；
将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，输出各人体种类的概率分布中概率最大的种类作为识别结果；
(5)对上述步骤(4)的卷积神经网络进行训练：
将步骤(3)生成的训练集中的零均值多分辨率时频图
Figure BDA0001597578240000041
输入步骤(4)构建的卷积神经网络，其中，i为对已知人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3.第一支路，第二支路，第三支路的输入分别为
Figure BDA0001597578240000042
和
Figure BDA0001597578240000043
任意支路的输入的第一维、第二维、第三维分别对应零均值多分辨率时频图
Figure BDA0001597578240000044
的自变量t、f和k，由神经网络的时域平均操作输出的各人体种类的概率分布，引入一个概率分布与已知人体种类yi之间的交叉熵损失函数，采用随机梯度下降方法，对该交叉熵损失函数进行最小化，得到已训练的卷积神经网络；
(6)识别人体种类：
对待识别种类人体，重复步骤(1)和步骤(2)，得到待识别人体的一组零均值多分辨率时频图，将待识别人体的一组零均值多分辨率时频图输入步骤(5)的已训练卷积神经网络，输出待识别人体的种类，完成人体识别。
本发明提出的一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其优点是：
1、本发明方法中使用的多基地雷，缓解了视角变化带来的回波信号差异，增强了识别鲁棒性，提高了识别准确率。
2、本发明方法采用卷积神经网络进行数据处理，无需手工设计特征，具有一定通用性且识别正确率性能优异。
3、本发明方法采用迁移学习技术，在卷积神经网络中利用了RGB光学图像预训练权重，并利用具有类似RGB光学图像的三通道多分辨率时频图作为卷积神经网络的输入，在匹配了预训练权重维度的同时，相比单分辨率时频图提供了更多的信息。
4、将多个接收节点信号的融合置于CNN内部，具有一定的灵活性且性能较好。
附图说明
图1为本发明提出的基于多基地雷达微多普勒和卷积神经网络的人体识别方法的流程框图。
图2为本发明的一个实施例的实验场景设置图。
图3为本发明提出的卷积神经网络结构。
具体实施方式
本发明提出的基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其流程框图如图1所示，包括以下步骤：
(1)采集已知种类的人体时域回波信号：
采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t),s2(t),s3(t),其中t为采集时间；本发明的一个实施例中，使用的多基地雷达为载频2.4GHz、带宽45MHz、脉冲重复频率5kHz的线性调频脉冲雷达，如图2所示，包括等距直线排列的三个节点N1，N2，N3，其中N1，N2，N3均为接收节点，N1同时也是发射节点.已知种类的人体在多基地雷达的前方、N2与N3连线的垂直平分线上(也可以偏离垂直平分线一定距离)持续运动一定时间，与此同时，节点N1连续发射雷达脉冲，节点N1、N2、N3同时分别接收已知种类人体的雷达回波，分别对三路雷达回波进行距离向脉冲压缩，得到包含人体的三路时域回波信号。
(2)生成多分辨率时频图，包括以下步骤：
(2a)对三个接收节点分别采集的时域回波信号s1(t),s2(t),s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t),的多分辨率时频图Sn,k(t,f):
Figure BDA0001597578240000051
其中，自变量t为时间，n为三个接收节点的序号，n＝1,2,3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；不同的窗长对应不同的时间分辨率和频率分辨率，本发明的一个实施例中使用的窗函数均为布莱克曼窗，窗长分别为0.13s、0.26s和0.51s。
(2b)对上述多分辨率时频图Sn,k(t,f)取对数，并将取对数后的多分辨率时频图Sn,k(t,f)的最大值归一化为0分贝，设定一个门限θth，在最大值归一化后的多分辨率时频图Sn,k(t,f)中截去小于门限θth的部分，得到三个接收节点的归一化多分辨率时频图
Figure BDA0001597578240000061
Figure BDA0001597578240000062
本发明的一个实施例中使用的门限值为θth＝-40分贝。
(2c)将上述归一化多分辨率时频图
Figure BDA0001597578240000063
的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图
Figure BDA0001597578240000064
的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图Xn,k(t,f)：
Figure BDA0001597578240000065
每个接收节点的零均值多分辨率时频图可看作一个RGB三通道图像，以便在以此作为输入的卷积神经网络中利用RGB光学图像预训练。
(3)构建一个训练数据集：
对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图
Figure BDA0001597578240000066
其中，i为对一个已知种类人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3，将第i组零均值的多分辨率时频图
Figure BDA0001597578240000067
与已知人体种类yi构成一个训练样本
Figure BDA0001597578240000068
遍历所有已知种类的人体，重复本步骤，得到所有训练样本
Figure BDA0001597578240000069
将所有训练样本组成一个训练数据集；
(4)构建一个如图3所示的卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率。
每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，本发明的一个实施例中使用的第一卷积层、第二卷积层、第三卷积层的权重分别利用在ImageNet数据集上预训练的VGG-F网络的第一卷积层、第二卷积层、第三卷积层进行初始化；第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；本发明的一个实施例中使用的第四卷积层的卷积核的第一维和第二维尺寸分别为1和7，第一维和第二维的补零数均为0，卷积核数量为64。
三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；本发明的一个实施例中实现了人体的二分类，相应使用的第五卷积层和第六卷积层的卷积核数量分别为64和2。
将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，时域平均使得本发明提出的方法在处理较长时间的输入数据时具有更好的鲁棒性，输出各人体种类的概率分布中概率最大的种类作为识别结果；
(5)对上述步骤(4)的卷积神经网络进行训练：
将步骤(3)生成的训练集中的零均值多分辨率时频图
Figure BDA0001597578240000071
输入步骤(4)构建的卷积神经网络，其中，i为对已知人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3.第一支路，第二支路，第三支路的输入分别为
Figure BDA0001597578240000072
和
Figure BDA0001597578240000073
任意支路的输入的第一维、第二维、第三维分别对应零均值多分辨率时频图
Figure BDA0001597578240000074
的自变量t、f和k，本发明的一个实施例中使用的输入数据的第一维和第二维尺寸分别为125和128，由神经网络的时域平均操作输出的各人体种类的概率分布，引入一个概率分布与已知人体种类yi之间的交叉熵损失函数(该函数为本技术领域中公知的用于分类的卷积神经网络常用的损失函数)，采用随机梯度下降方法，对该交叉熵损失函数进行最小化，得到已训练的卷积神经网络；本发明的一个实施例中使用Adam算法进行训练。
(6)识别人体种类：
对待识别种类人体，重复步骤(1)和步骤(2)，得到待识别人体的一组零均值多分辨率时频图，将待识别人体的一组零均值多分辨率时频图输入步骤(5)的已训练卷积神经网络，输出待识别人体的种类，完成人体识别。

Claims (1)

1.一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其特征在于该方法包括以下步骤：
(1)采集已知种类的人体时域回波信号：
采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t)，s2(t)，s3(t)，其中t为采集时间；
(2)生成多分辨率时频图，包括以下步骤：
(2a)对三个接收节点分别采集的时域回波信号s1(t)，s2(t)，s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t)，的多分辨率时频图Sn，k(t，f)：
Figure FDA0003394025010000011
其中，自变量t为时间，n为三个接收节点的序号，n＝1，2，3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；
(2b)对上述多分辨率时频图Sn，k(t，f)取对数，并将取对数后的多分辨率时频图Sn，k(t，f)的最大值归一化为0分贝，设定一个门限θth，在最大值归一化后的多分辨率时频图Sn，k(t，f)中截去小于门限θth的部分，得到三个接收节点的归一化多分辨率时频图
Figure FDA0003394025010000012
Figure FDA0003394025010000013
(2c)将上述归一化多分辨率时频图
Figure FDA0003394025010000014
的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图
Figure FDA0003394025010000015
的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图Xn，k(t，f)：
Figure FDA0003394025010000016
(3)构建一个训练数据集：
对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图
Figure FDA0003394025010000021
其中，i为对一个已知种类人体多次采样的序号，i＝1，2，3…，n为三个接收节点的序号n＝1，2，3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1，2，3，将第i组零均值的多分辨率时频图
Figure FDA0003394025010000022
与已知人体种类yi构成一个训练样本
Figure FDA0003394025010000023
遍历所有已知种类的人体，重复本步骤，得到所有训练样本
Figure FDA0003394025010000024
将所有训练样本组成一个训练数据集；
(4)构建一个卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率，
每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；
三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；
将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，输出各人体种类的概率分布中概率最大的种类作为识别结果；
(5)对上述步骤(4)的卷积神经网络进行训练：
将步骤(3)生成的训练集中的零均值多分辨率时频图
Figure FDA0003394025010000025
输入步骤(4)构建的卷积神经网络，其中，i为对已知人体多次采样的序号，i＝1，2，3…，n为三个接收节点的序号n＝1，2，3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1，2，3.第一支路，第二支路，第三支路的输入分别为
Figure FDA0003394025010000026
和
Figure FDA0003394025010000027
任意支路的输入的第一维、第二维、第三维分别对应零均值多分辨率时频图
Figure FDA0003394025010000031
的自变量t、f和k，由神经网络的时域平均操作输出的各人体种类的概率分布，引入一个概率分布与已知人体种类yi之间的交叉熵损失函数，采用随机梯度下降方法，对该交叉熵损失函数进行最小化，得到已训练的卷积神经网络；
(6)识别人体种类：
对待识别种类人体，重复步骤(1)和步骤(2)，得到待识别人体的一组零均值多分辨率时频图，将待识别人体的一组零均值多分辨率时频图输入步骤(5)的已训练卷积神经网络，输出待识别人体的种类，完成人体识别。
CN201810212392.6A 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 Active CN108872984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810212392.6A CN108872984B (zh) 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810212392.6A CN108872984B (zh) 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法

Publications (2)

Publication Number Publication Date
CN108872984A CN108872984A (zh) 2018-11-23
CN108872984B true CN108872984B (zh) 2022-04-08

Family

ID=64326084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810212392.6A Active CN108872984B (zh) 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法

Country Status (1)

Country Link
CN (1) CN108872984B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965858B (zh) * 2019-03-28 2020-10-30 北京邮电大学 基于超宽带雷达人体生命体征检测方法和装置
CN112034450A (zh) * 2019-06-03 2020-12-04 富士通株式会社 物品检测方法和装置
CN110378204B (zh) * 2019-06-06 2021-03-26 东南大学 一种基于车载毫米波雷达的多目标分类方法
CN110779149A (zh) * 2019-11-14 2020-02-11 宁波奥克斯电气股份有限公司 一种空调控制方法、装置及空调器
CN111007871B (zh) * 2019-11-29 2022-04-29 厦门大学 无人机动态特征识别方法、介质、设备及装置
CN112966888B (zh) * 2019-12-13 2024-05-07 深圳云天励飞技术有限公司 交通管理方法及相关产品
CN111257872B (zh) * 2020-01-07 2023-04-28 哈尔滨工业大学 基于Radon变换与拉普拉斯算子的微多普勒抑制方法
CN111458688B (zh) * 2020-03-13 2024-01-23 西安电子科技大学 一种基于三维卷积网络的雷达高分辨距离像目标识别方法
CN111414843B (zh) * 2020-03-17 2022-12-06 森思泰克河北科技有限公司 手势识别方法及终端设备
CN111931570B (zh) * 2020-07-03 2022-07-01 电子科技大学 一种基于全卷积网络的穿墙成像雷达人体目标检测方法
CN111965620B (zh) * 2020-08-31 2023-05-02 中国科学院空天信息创新研究院 基于时频分析和深度神经网络的步态特征提取与识别方法
CN112241001B (zh) * 2020-10-10 2023-06-23 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质
CN112433207A (zh) * 2020-11-06 2021-03-02 浙江理工大学 基于双通道卷积神经网络的人体身份识别方法
CN112580486B (zh) * 2020-12-15 2022-12-09 北京理工大学 一种基于雷达微多普勒信号分离的人体行为分类方法
CN112668443A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于双通道卷积神经网络的人体姿态识别方法
CN113050060B (zh) * 2021-03-25 2024-04-26 南京敏智达科技有限公司 基于稀疏重构与神经网络的生命探测方法及探测装置
CN113702044B (zh) * 2021-08-13 2022-04-19 华中科技大学 一种轴承故障检测方法及系统
CN113687348B (zh) * 2021-09-18 2024-03-15 无锡威孚高科技集团股份有限公司 基于追踪微多普勒图的行人识别方法和装置
CN114184895A (zh) * 2021-12-02 2022-03-15 广西大学 不受检测距离影响的多芯线缺陷定位与分类系统
CN114580535B (zh) * 2022-03-04 2023-05-23 中国人民解放军空军军医大学 多基雷达人体行为融合识别方法、装置及介质
CN115063884B (zh) * 2022-06-14 2024-04-23 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
CN115563478A (zh) * 2022-12-05 2023-01-03 电子科技大学 基于多类特征融合的毫米波雷达非视距人体行为识别系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748862A (zh) * 2017-09-21 2018-03-02 清华大学 一种基于双频雷达信号时频分布的无人机分类方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748862A (zh) * 2017-09-21 2018-03-02 清华大学 一种基于双频雷达信号时频分布的无人机分类方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Personnel Recognition and Gait Classification Based on Multistatic Micro-Doppler Signatures Using Deep Convolutional Neural Networks;Zhaoxi Chen等;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20180306;第15卷(第5期);全文 *
Regularized 2-D complex-log spectral analysis and subspace reliability analysis of micro-Doppler signature for UAV detection;Jianfeng Ren等;《Pattern Recognition》;20170426;全文 *
Time-Frequency Distributions-A Review;LEON COHEN等;《PROCEEDINGS OF THE IEEE》;19891231;第77卷(第7期);全文 *
基于时频分布的弹道导弹目标识别方法;李陆军等;《火力与指挥控制》;20170615(第06期);全文 *
基于时频图的飞机目标特征提取算法;姜悦等;《现代雷达》;20160415(第04期);全文 *
微多普勒特征提取中的时频分布选择;程旭等;《应用科学学报》;20110730(第04期);全文 *

Also Published As

Publication number Publication date
CN108872984A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108872984B (zh) 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
CN110363151B (zh) 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN111220958B (zh) 基于一维卷积神经网络的雷达目标多普勒像分类识别方法
CN107728142B (zh) 基于二维卷积网络的雷达高分辨距离像目标识别方法
Liao et al. Identification of ground targets from sequential high-range-resolution radar signatures
CN107728143B (zh) 基于一维卷积神经网络的雷达高分辨距离像目标识别方法
Al Hadhrami et al. Transfer learning with convolutional neural networks for moving target classification with micro-Doppler radar spectrograms
Al Hadhrami et al. Ground moving radar targets classification based on spectrogram images using convolutional neural networks
Kim et al. Human detection based on time-varying signature on range-Doppler diagram using deep neural networks
Kazemi et al. Deep learning for direct automatic target recognition from SAR data
Kim Application of machine learning to antenna design and radar signal processing: A review
CN104751172A (zh) 基于去噪自动编码的极化sar图像的分类方法
Huynh-The et al. Rf-uavnet: High-performance convolutional network for rf-based drone surveillance systems
CN115438708A (zh) 一种基于卷积神经网络和多模态融合的分类识别方法
CN113534065B (zh) 一种雷达目标微动特征提取与智能分类方法及系统
CN111563528A (zh) 基于多尺度特征学习网络与双边滤波的sar图像分类方法
KR20220141748A (ko) 레이더 신호로부터 표적 정보를 추출하는 방법 및 컴퓨터 판독가능 저장 매체
Kamal et al. Generative adversarial learning for improved data efficiency in underwater target classification
CN117665807A (zh) 基于毫米波多人零样本的人脸识别方法
Liu et al. An anti‐jamming method in multistatic radar system based on convolutional neural network
CN110361709B (zh) 一种基于动态虚警概率的车载毫米波雷达目标识别方法
CN116894223A (zh) 一种基于自适应对消与ResNet神经网络的机载水下异常检测方法
Qu et al. Indoor human behavior recognition method based on wavelet scattering network and conditional random field model
CN114677419A (zh) 基于三维卷积网络的雷达多普勒信号低慢小目标检测方法
Yu et al. Neural network directed bayes decision rule for moving target classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant