CN108872984A - 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 - Google Patents

基于多基地雷达微多普勒和卷积神经网络的人体识别方法 Download PDF

Info

Publication number
CN108872984A
CN108872984A CN201810212392.6A CN201810212392A CN108872984A CN 108872984 A CN108872984 A CN 108872984A CN 201810212392 A CN201810212392 A CN 201810212392A CN 108872984 A CN108872984 A CN 108872984A
Authority
CN
China
Prior art keywords
human body
time
frequency
convolutional layer
multiresolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810212392.6A
Other languages
English (en)
Other versions
CN108872984B (zh
Inventor
李刚
陈兆希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810212392.6A priority Critical patent/CN108872984B/zh
Publication of CN108872984A publication Critical patent/CN108872984A/zh
Application granted granted Critical
Publication of CN108872984B publication Critical patent/CN108872984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9004—SAR image acquisition techniques
    • G01S13/9017—SAR image acquisition techniques with time domain processing of the SAR signals in azimuth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904—SAR modes
    • G01S13/9047—Doppler beam sharpening mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，属于雷达目标识别技术领域。本方法中使用多基地雷，缓解了视角变化带来的回波信号差异，增强了识别鲁棒性，提高了识别准确率。采用卷积神经网络进行数据处理，无需手工设计特征，具有一定通用性且识别正确率性能优异。本方法采用迁移学习技术，在卷积神经网络中利用了RGB光学图像预训练权重，并利用具有类似RGB光学图像的三通道多分辨率时频图作为卷积神经网络的输入，在匹配了预训练权重维度的同时，相比单分辨率时频图提供了更多的信息，本方法能够在多种人体识别任务中取得良好的识别准确率。

Description

基于多基地雷达微多普勒和卷积神经网络的人体识别方法
技术领域
本发明涉及一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，属于雷达目标识别技术领域。
背景技术
使用雷达观测目标，具有长距离、全天时全天候的优势。雷达微多普勒效应是指在目标质心运动导致的多普勒效应的基础上，由目标相对质心的震动、转动等引起的附加多普勒效应.目标的微多普勒频移随时间的变化规律，即微多普勒时频图，能够反映目标的运动姿态与结构信息，从而作为目标识别的特征，用于飞行器识别、人体姿态识别、手势识别等应用场景.基于微多普勒特征的经典目标识别算法一般分为特征提取和分类两个步骤。在特征提取步骤中，算法从多普勒时频图中提取若干经验特征(如带宽、质心、周期等)，或利用主成分分析、奇异值分解等不具有数据特异性的数学变换提取代表性信息作为特征.在分类步骤中，上述特征被输入某种经典的分类器(如支持向量机、朴素贝叶斯分类器、近邻分类器等)并输出识别结果。
卷积神经网络是一种近年来兴起的模式识别算法.它在图像、声音、自然语言处理等领域的检测、识别、分割等多种任务中较经典模式识别算法表现出显著的准确率优势，且无需人工选择经验特征、普适性好。
文献J.Park,R.J.Javier,T.Moon and Y.Kim,“Micro-Doppler basedclassification of human aquatic activities via transfer learning ofconvolutional neural networks,”Sensors,vol.16,no.12,p.1990,Nov.2016.公开了利用卷积神经网络进行基于雷达微多普勒特征的目标识别，设计实验区分了人体在水中的不同运动状态，并利用迁移学习技术进一步提升了算法的性能。该文献采用了单基地雷达对目标进行观测。
然而，单基地雷达的明显缺点是仅能获取距离向的多普勒信息，而对方位向的多普勒分量不具有感知能力。在视角剧烈变化(例如分别为0度和90)时，同一目标的微多普勒特征可能表现出巨大的差异，从而降低了目标检测的鲁棒性.而多基地雷达具有多条收发路径，能够从不同角度同时观测目标，能够有效缓和上述问题。其中，一个关键问题是如何融合来自不同节点或收发路径的数据。
文献F.Fioranelli,M.Ritchie and H.Griffiths,“Performance analysis ofcentroid and SVD features for personnel recognition using multistatic micro-Doppler,”IEEE Geoscience Remote Sensing Letter,vol.13,no.5,pp.725-729,May.2016.公开了将排列于一条直线的三个节点构成一发三收的多基地雷达，以区分人体是否持有武器。该文献利用经典目标识别方法处理各节点的数据，并简单地通过多数投票确定最终分类结果。然而经典目标识别方法的具有前文所述的诸多缺点，难以满足复杂和多样的目标识别任务；简单的多数投票融合难以充分利用各节点数据之间的相关性，融合效果仍有提升空间。
发明内容
本发明的目的是克服现有技术的上述缺点和不足，提出一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，为多基地雷达提供了更多观察视角，提升系统鲁棒性；利用卷积神经网络对目标的微多普勒时频图进行分类，实现了高性能的目标识别。
本发明提出的基于多基地雷达微多普勒和卷积神经网络的人体识别方法，包括以下步骤：
(1)采集已知种类的人体时域回波信号：
采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t),s2(t),s2(t),其中t为采集时间；
(2)生成多分辨率时频图，包括以下步骤：
(2a)对三个接收节点分别采集的时域回波信号s1(t),s2(t),s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t),的多分辨率时频图Sn,k(t,f):
其中，自变量t为时间，n为三个接收节点的序号，n＝1,2,3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；
(2b)对上述多分辨率时频图Sn,k(t,f)取对数，并将取对数后的多分辨率时频图Sn,k(t,f)的最大值归一化为0分贝，设定一个门限θth，在最大值归一化后的多分辨率时频图Sn,k(t,f)中截去小于门限θth的部分，得到三个接收节点的归一化多分辨率时频图
(2c)将上述归一化多分辨率时频图的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图Xn,k(t,f)：
(3)构建一个训练数据集：
对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图其中，i为对一个已知种类人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3，将第i组零均值的多分辨率时频图与已知人体种类yi构成一个训练样本遍历所有已知种类的人体，重复本步骤，得到所有训练样本将所有训练样本组成一个训练数据集；
(4)构建一个如图3所示的卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率，
每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；
三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；
将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，输出各人体种类的概率分布中概率最大的种类作为识别结果；
(5)对上述步骤(4)的卷积神经网络进行训练：
将步骤(3)生成的训练集中的零均值多分辨率时频图输入步骤(4)构建的卷积神经网络，其中，i为对已知人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3.第一支路，第二支路，第三支路的输入分别为和任意支路的输入的第一维、第二维、第三维分别对应零均值多分辨率时频图的自变量t、f和k，由神经网络的时域平均操作输出的各人体种类的概率分布，引入一个概率分布与已知人体种类yi之间的交叉熵损失函数，采用随机梯度下降方法，对该交叉熵损失函数进行最小化，得到已训练的卷积神经网络；
(6)识别人体种类：
对待识别种类人体，重复步骤(1)和步骤(2)，得到待识别人体的一组零均值多分辨率时频图，将待识别人体的一组零均值多分辨率时频图输入步骤(5)的已训练卷积神经网络，输出待识别人体的种类，完成人体识别。
本发明提出的一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其优点是：
1、本发明方法中使用的多基地雷，缓解了视角变化带来的回波信号差异，增强了识别鲁棒性，提高了识别准确率。
2、本发明方法采用卷积神经网络进行数据处理，无需手工设计特征，具有一定通用性且识别正确率性能优异。
3、本发明方法采用迁移学习技术，在卷积神经网络中利用了RGB光学图像预训练权重，并利用具有类似RGB光学图像的三通道多分辨率时频图作为卷积神经网络的输入，在匹配了预训练权重维度的同时，相比单分辨率时频图提供了更多的信息。
4、将多个接收节点信号的融合置于CNN内部，具有一定的灵活性且性能较好。
附图说明
图1为本发明提出的基于多基地雷达微多普勒和卷积神经网络的人体识别方法的流程框图。
图2为本发明的一个实施例的实验场景设置图。
图3为本发明提出的卷积神经网络结构。
具体实施方式
本发明提出的基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其流程框图如图1所示，包括以下步骤：
(1)采集已知种类的人体时域回波信号：
采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t),s2(t),s3(t),其中t为采集时间；本发明的一个实施例中，使用的多基地雷达为载频2.4GHz、带宽45MHz、脉冲重复频率5kHz的线性调频脉冲雷达，如图2所示，包括等距直线排列的三个节点N1，N2，N3，其中N1，N2，N3均为接收节点，N1同时也是发射节点.已知种类的人体在多基地雷达的前方、N2与N3连线的垂直平分线上(也可以偏离垂直平分线一定距离)持续运动一定时间，与此同时，节点N1连续发射雷达脉冲，节点N1、N2、N3同时分别接收已知种类人体的雷达回波，分别对三路雷达回波进行距离向脉冲压缩，得到包含人体的三路时域回波信号。
(2)生成多分辨率时频图，包括以下步骤：
(2a)对三个接收节点分别采集的时域回波信号s1(t),s2(t),s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t),的多分辨率时频图Sn,k(t,f):
其中，自变量t为时间，n为三个接收节点的序号，n＝1,2,3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；不同的窗长对应不同的时间分辨率和频率分辨率，本发明的一个实施例中使用的窗函数均为布莱克曼窗，窗长分别为0.13s、0.26s和0.51s。
(2b)对上述多分辨率时频图Sn,k(t,f)取对数，并将取对数后的多分辨率时频图Sn,k(t,f)的最大值归一化为0分贝，设定一个门限θth，在最大值归一化后的多分辨率时频图Sn,k(t,f)中截去小于门限θth的部分，得到三个接收节点的归一化多分辨率时频图
本发明的一个实施例中使用的门限值为θth＝-40分贝。
(2c)将上述归一化多分辨率时频图的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图Xn,k(t,f)：
每个接收节点的零均值多分辨率时频图可看作一个RGB三通道图像，以便在以此作为输入的卷积神经网络中利用RGB光学图像预训练。
(3)构建一个训练数据集：
对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图其中，i为对一个已知种类人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3，将第i组零均值的多分辨率时频图与已知人体种类yi构成一个训练样本遍历所有已知种类的人体，重复本步骤，得到所有训练样本将所有训练样本组成一个训练数据集；
(4)构建一个如图3所示的卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率。
每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，本发明的一个实施例中使用的第一卷积层、第二卷积层、第三卷积层的权重分别利用在ImageNet数据集上预训练的VGG-F网络的第一卷积层、第二卷积层、第三卷积层进行初始化；第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；本发明的一个实施例中使用的第四卷积层的卷积核的第一维和第二维尺寸分别为1和7，第一维和第二维的补零数均为0，卷积核数量为64。
三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；本发明的一个实施例中实现了人体的二分类，相应使用的第五卷积层和第六卷积层的卷积核数量分别为64和2。
将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，时域平均使得本发明提出的方法在处理较长时间的输入数据时具有更好的鲁棒性，输出各人体种类的概率分布中概率最大的种类作为识别结果；
(5)对上述步骤(4)的卷积神经网络进行训练：
将步骤(3)生成的训练集中的零均值多分辨率时频图输入步骤(4)构建的卷积神经网络，其中，i为对已知人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3.第一支路，第二支路，第三支路的输入分别为和任意支路的输入的第一维、第二维、第三维分别对应零均值多分辨率时频图的自变量t、f和k，本发明的一个实施例中使用的输入数据的第一维和第二维尺寸分别为125和128，由神经网络的时域平均操作输出的各人体种类的概率分布，引入一个概率分布与已知人体种类yi之间的交叉熵损失函数(该函数为本技术领域中公知的用于分类的卷积神经网络常用的损失函数)，采用随机梯度下降方法，对该交叉熵损失函数进行最小化，得到已训练的卷积神经网络；本发明的一个实施例中使用Adam算法进行训练。
(6)识别人体种类：
对待识别种类人体，重复步骤(1)和步骤(2)，得到待识别人体的一组零均值多分辨率时频图，将待识别人体的一组零均值多分辨率时频图输入步骤(5)的已训练卷积神经网络，输出待识别人体的种类，完成人体识别。

Claims (1)

1.一种基于多基地雷达微多普勒和卷积神经网络的人体识别方法，其特征在于该方法包括以下步骤：
(1)采集已知种类的人体时域回波信号：
采用多基地雷达采集一个已知种类人体的时域回波信号，多基地雷达包含位置各不相同的三个接收节点，三个接收节点同时采集人体的三路时域回波信号s1(t),s2(t),s3(t),其中t为采集时间；
(2)生成多分辨率时频图，包括以下步骤：
(2a)对三个接收节点分别采集的时域回波信号s1(t),s2(t),s3(t)，采用短时傅里叶变换分别计算三个接收节点中任意节点的时域回波信号sn(t),的多分辨率时频图Sn,k(t,f):
其中，自变量t为时间，n为三个接收节点的序号，n＝1,2,3，f为短时傅里叶变换后时域回波信号的多普勒频率，|·|表示取复数的模，j为虚数单位，π为圆周率，hk(t)为三个形式相同但窗长各不相同的短时傅里叶变换窗函数；
(2b)对上述多分辨率时频图Sn,k(t,f)取对数，并将取对数后的多分辨率时频图Sn,k(t,f)的最大值归一化为0分贝，设定一个门限θth，在最大值归一化后的多分辨率时频图Sn,k(t,f)中截去小于门限θth的部分，得到三个接收节点的归一化多分辨率时频图
(2c)将上述归一化多分辨率时频图的最大值和最小值之差归一化为255，并减去归一化多分辨率时频图的均值，得到三个接收节点中每个接收节点的零均值多分辨率时频图Xn,k(t,f)：
(3)构建一个训练数据集：
对一个已知种类中的人体进行多次采样，重复上述步骤(1)和步骤(2)，分别得到多个人体种类的多组零均值多分辨率时频图其中，i为对一个已知种类人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3，将第i组零均值的多分辨率时频图与已知人体种类yi构成一个训练样本遍历所有已知种类的人体，重复本步骤，得到所有训练样本将所有训练样本组成一个训练数据集；
(4)构建一个如图3所示的卷积神经网络，卷积神经网络包括三个输入，对三个输入分别构造结构相同的第一支路、第二支路和第三支路，三条支路的输入分别为一个三维张量，该三维张量的第一维和第二维分别对应时间和多普勒频率，
每条支路由依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，其中第一卷积层、第二卷积层、第三卷积层、第四卷积层的激活函数均为ReLU，第一卷积层、第二卷积层、第三卷积层的权重在不同支路之间共享，且用RGB光学图像预训练权重对第一卷积层、第二卷积层、第三卷积层的权重进行初始化，第四卷积层的卷积核在第二维上的尺寸与第四卷积层的输入在第二维上的尺寸相等，且第四卷积层在第二维上的补零数为0，上述限制使得第四卷积层的输出在第二维上的尺寸为1；
三条支路的输出结果经过融合层求最大值进行融合，后经过依次连接的第五卷积层和第六卷积层计算，其中第五卷积层的激活函数为ReLU，第六卷积层的激活函数为Softmax，第五卷积层和第六卷积层的卷积核在第一维和第二维上的尺寸均为1，且第六卷积层的卷积核数目与待识别人体种类的数目相同，上述限制使得卷积层6的输出在第二维上等于1，在第三维上与人体种类数量相等；
将第六卷积层的输出经过时域平均操作，即将第六卷积层的输出沿第一维做算术平均，输出各人体种类的概率分布，输出各人体种类的概率分布中概率最大的种类作为识别结果；
(5)对上述步骤(4)的卷积神经网络进行训练：
将步骤(3)生成的训练集中的零均值多分辨率时频图输入步骤(4)构建的卷积神经网络，其中，i为对已知人体多次采样的序号，i＝1,2,3…，n为三个接收节点的序号n＝1,2,3，k为三个形式相同但窗长各不相同的短时傅里叶变换窗函数的下标，k＝1,2,3.第一支路，第二支路，第三支路的输入分别为和任意支路的输入的第一维、第二维、第三维分别对应零均值多分辨率时频图的自变量t、f和k，由神经网络的时域平均操作输出的各人体种类的概率分布，引入一个概率分布与已知人体种类yi之间的交叉熵损失函数，采用随机梯度下降方法，对该交叉熵损失函数进行最小化，得到已训练的卷积神经网络；
(6)识别人体种类：
对待识别种类人体，重复步骤(1)和步骤(2)，得到待识别人体的一组零均值多分辨率时频图，将待识别人体的一组零均值多分辨率时频图输入步骤(5)的已训练卷积神经网络，输出待识别人体的种类，完成人体识别。
CN201810212392.6A 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 Active CN108872984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810212392.6A CN108872984B (zh) 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810212392.6A CN108872984B (zh) 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法

Publications (2)

Publication Number Publication Date
CN108872984A true CN108872984A (zh) 2018-11-23
CN108872984B CN108872984B (zh) 2022-04-08

Family

ID=64326084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810212392.6A Active CN108872984B (zh) 2018-03-15 2018-03-15 基于多基地雷达微多普勒和卷积神经网络的人体识别方法

Country Status (1)

Country Link
CN (1) CN108872984B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965858A (zh) * 2019-03-28 2019-07-05 北京邮电大学 基于超宽带雷达人体生命体征检测方法和装置
CN110378204A (zh) * 2019-06-06 2019-10-25 东南大学 一种基于车载毫米波雷达的多目标分类方法
CN110779149A (zh) * 2019-11-14 2020-02-11 宁波奥克斯电气股份有限公司 一种空调控制方法、装置及空调器
CN111007871A (zh) * 2019-11-29 2020-04-14 厦门大学 无人机动态特征识别方法、介质、设备及装置
CN111257872A (zh) * 2020-01-07 2020-06-09 哈尔滨工业大学 基于Radon变换与拉普拉斯算子的微多普勒抑制方法
CN111414843A (zh) * 2020-03-17 2020-07-14 森思泰克河北科技有限公司 手势识别方法及终端设备
CN111458688A (zh) * 2020-03-13 2020-07-28 西安电子科技大学 一种基于三维卷积网络的雷达高分辨距离像目标识别方法
CN111931570A (zh) * 2020-07-03 2020-11-13 电子科技大学 一种基于全卷积网络的穿墙成像雷达人体目标检测方法
CN111965620A (zh) * 2020-08-31 2020-11-20 中国科学院空天信息创新研究院 基于时频分析和深度神经网络的步态特征提取与识别方法
CN112034450A (zh) * 2019-06-03 2020-12-04 富士通株式会社 物品检测方法和装置
CN112241001A (zh) * 2020-10-10 2021-01-19 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质
CN112433207A (zh) * 2020-11-06 2021-03-02 浙江理工大学 基于双通道卷积神经网络的人体身份识别方法
CN112580486A (zh) * 2020-12-15 2021-03-30 北京理工大学 一种基于雷达微多普勒信号分离的人体行为分类方法
CN112668443A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于双通道卷积神经网络的人体姿态识别方法
CN112966888A (zh) * 2019-12-13 2021-06-15 深圳云天励飞技术有限公司 交通管理方法及相关产品
CN113050060A (zh) * 2021-03-25 2021-06-29 南京敏智达科技有限公司 基于稀疏重构与神经网络的生命探测方法及探测装置
CN113687348A (zh) * 2021-09-18 2021-11-23 无锡威孚高科技集团股份有限公司 基于追踪微多普勒图的行人识别方法和装置
CN113702044A (zh) * 2021-08-13 2021-11-26 华中科技大学 一种轴承故障检测方法及系统
CN114184895A (zh) * 2021-12-02 2022-03-15 广西大学 不受检测距离影响的多芯线缺陷定位与分类系统
CN114580535A (zh) * 2022-03-04 2022-06-03 中国人民解放军空军军医大学 基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质
CN115063884A (zh) * 2022-06-14 2022-09-16 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
CN115563478A (zh) * 2022-12-05 2023-01-03 电子科技大学 基于多类特征融合的毫米波雷达非视距人体行为识别系统
CN118131222A (zh) * 2024-02-23 2024-06-04 哈尔滨工业大学（威海） 一种自适应权重决策融合行人步态识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748862A (zh) * 2017-09-21 2018-03-02 清华大学 一种基于双频雷达信号时频分布的无人机分类方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748862A (zh) * 2017-09-21 2018-03-02 清华大学 一种基于双频雷达信号时频分布的无人机分类方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIANFENG REN等: "Regularized 2-D complex-log spectral analysis and subspace reliability analysis of micro-Doppler signature for UAV detection", 《PATTERN RECOGNITION》 *
LEON COHEN等: "Time-Frequency Distributions-A Review", 《PROCEEDINGS OF THE IEEE》 *
ZHAOXI CHEN等: "Personnel Recognition and Gait Classification Based on Multistatic Micro-Doppler Signatures Using Deep Convolutional Neural Networks", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
姜悦等: "基于时频图的飞机目标特征提取算法", 《现代雷达》 *
李陆军等: "基于时频分布的弹道导弹目标识别方法", 《火力与指挥控制》 *
程旭等: "微多普勒特征提取中的时频分布选择", 《应用科学学报》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965858A (zh) * 2019-03-28 2019-07-05 北京邮电大学 基于超宽带雷达人体生命体征检测方法和装置
CN109965858B (zh) * 2019-03-28 2020-10-30 北京邮电大学 基于超宽带雷达人体生命体征检测方法和装置
CN112034450A (zh) * 2019-06-03 2020-12-04 富士通株式会社 物品检测方法和装置
CN110378204A (zh) * 2019-06-06 2019-10-25 东南大学 一种基于车载毫米波雷达的多目标分类方法
CN110779149A (zh) * 2019-11-14 2020-02-11 宁波奥克斯电气股份有限公司 一种空调控制方法、装置及空调器
CN111007871A (zh) * 2019-11-29 2020-04-14 厦门大学 无人机动态特征识别方法、介质、设备及装置
CN111007871B (zh) * 2019-11-29 2022-04-29 厦门大学 无人机动态特征识别方法、介质、设备及装置
CN112966888B (zh) * 2019-12-13 2024-05-07 深圳云天励飞技术有限公司 交通管理方法及相关产品
CN112966888A (zh) * 2019-12-13 2021-06-15 深圳云天励飞技术有限公司 交通管理方法及相关产品
CN111257872A (zh) * 2020-01-07 2020-06-09 哈尔滨工业大学 基于Radon变换与拉普拉斯算子的微多普勒抑制方法
CN111458688B (zh) * 2020-03-13 2024-01-23 西安电子科技大学 一种基于三维卷积网络的雷达高分辨距离像目标识别方法
CN111458688A (zh) * 2020-03-13 2020-07-28 西安电子科技大学 一种基于三维卷积网络的雷达高分辨距离像目标识别方法
CN111414843B (zh) * 2020-03-17 2022-12-06 森思泰克河北科技有限公司 手势识别方法及终端设备
CN111414843A (zh) * 2020-03-17 2020-07-14 森思泰克河北科技有限公司 手势识别方法及终端设备
CN111931570A (zh) * 2020-07-03 2020-11-13 电子科技大学 一种基于全卷积网络的穿墙成像雷达人体目标检测方法
CN111931570B (zh) * 2020-07-03 2022-07-01 电子科技大学 一种基于全卷积网络的穿墙成像雷达人体目标检测方法
CN111965620B (zh) * 2020-08-31 2023-05-02 中国科学院空天信息创新研究院 基于时频分析和深度神经网络的步态特征提取与识别方法
CN111965620A (zh) * 2020-08-31 2020-11-20 中国科学院空天信息创新研究院 基于时频分析和深度神经网络的步态特征提取与识别方法
CN112241001A (zh) * 2020-10-10 2021-01-19 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质
CN112241001B (zh) * 2020-10-10 2023-06-23 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质
CN112433207A (zh) * 2020-11-06 2021-03-02 浙江理工大学 基于双通道卷积神经网络的人体身份识别方法
CN112433207B (zh) * 2020-11-06 2024-05-28 浙江理工大学 基于双通道卷积神经网络的人体身份识别方法
CN112580486A (zh) * 2020-12-15 2021-03-30 北京理工大学 一种基于雷达微多普勒信号分离的人体行为分类方法
CN112668443A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于双通道卷积神经网络的人体姿态识别方法
CN113050060A (zh) * 2021-03-25 2021-06-29 南京敏智达科技有限公司 基于稀疏重构与神经网络的生命探测方法及探测装置
CN113050060B (zh) * 2021-03-25 2024-04-26 南京敏智达科技有限公司 基于稀疏重构与神经网络的生命探测方法及探测装置
CN113702044B (zh) * 2021-08-13 2022-04-19 华中科技大学 一种轴承故障检测方法及系统
CN113702044A (zh) * 2021-08-13 2021-11-26 华中科技大学 一种轴承故障检测方法及系统
CN113687348A (zh) * 2021-09-18 2021-11-23 无锡威孚高科技集团股份有限公司 基于追踪微多普勒图的行人识别方法和装置
CN113687348B (zh) * 2021-09-18 2024-03-15 无锡威孚高科技集团股份有限公司 基于追踪微多普勒图的行人识别方法和装置
CN114184895A (zh) * 2021-12-02 2022-03-15 广西大学 不受检测距离影响的多芯线缺陷定位与分类系统
CN114580535A (zh) * 2022-03-04 2022-06-03 中国人民解放军空军军医大学 基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质
CN115063884B (zh) * 2022-06-14 2024-04-23 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
CN115063884A (zh) * 2022-06-14 2022-09-16 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
CN115563478A (zh) * 2022-12-05 2023-01-03 电子科技大学 基于多类特征融合的毫米波雷达非视距人体行为识别系统
CN118131222A (zh) * 2024-02-23 2024-06-04 哈尔滨工业大学（威海） 一种自适应权重决策融合行人步态识别方法及系统

Also Published As

Publication number Publication date
CN108872984B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN108872984A (zh) 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
CN111220958B (zh) 基于一维卷积神经网络的雷达目标多普勒像分类识别方法
CN109407067B (zh) 基于时频图卷积神经网络的雷达动目标检测与分类一体化方法
CN107728142B (zh) 基于二维卷积网络的雷达高分辨距离像目标识别方法
CN106355151B (zh) 一种基于深度置信网络的三维sar图像目标识别方法
CN111160176B (zh) 基于融合特征的一维卷积神经网络地面雷达目标分类方法
CN105809198B (zh) 基于深度置信网络的sar图像目标识别方法
Al Hadhrami et al. Transfer learning with convolutional neural networks for moving target classification with micro-Doppler radar spectrograms
CN110363151A (zh) 基于双通道卷积神经网络虚警可控的雷达目标检测方法
CN110109059A (zh) 一种基于深度学习网络的雷达辐射源信号识别方法
CN110245581B (zh) 一种基于深度学习和距离-多普勒序列的人体行为识别方法
CN108509910A (zh) 基于fmcw雷达信号的深度学习手势识别方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN110780271A (zh) 基于卷积神经网络的空间目标多模式雷达分类方法
CN112001270A (zh) 基于一维卷积神经网络的地面雷达自动目标分类识别方法
CN114677419A (zh) 基于三维卷积网络的雷达多普勒信号低慢小目标检测方法
Kazemi et al. Deep learning for direct automatic target recognition from SAR data
Rizvi et al. Deep learning approach for fixed and rotary-wing target detection and classification in radars
Feng et al. DAMUN: A domain adaptive human activity recognition network based on multimodal feature fusion
Tang et al. Through-Wall Human Activity Recognition with Complex-valued Range–Time–Doppler Feature and Region-Vectorization ConvGRU
CN118245873A (zh) 用于跨房间非视距声信号识别的域适应神经架构搜索方法
Zhong et al. A climate adaptation device-free sensing approach for target recognition in foliage environments
Sonny et al. Carry Objects Detection utilizing mmWave Radar Sensor and Ensemble Based Extra Tree Classifier on the Edge Computing Systems
CN116311067A (zh) 基于高维特征图谱的目标综合识别方法、装置及设备
Wang et al. Through-wall human motion representation via autoencoder-self organized mapping network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant