CN111368930B - 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统 - Google Patents

基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统 Download PDF

Info

Publication number
CN111368930B
CN111368930B CN202010156222.8A CN202010156222A CN111368930B CN 111368930 B CN111368930 B CN 111368930B CN 202010156222 A CN202010156222 A CN 202010156222A CN 111368930 B CN111368930 B CN 111368930B
Authority
CN
China
Prior art keywords
neural network
time
frequency
spectrogram
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010156222.8A
Other languages
English (en)
Other versions
CN111368930A (zh
Inventor
贾勇
刘宗汶
许璐璐
谭龙飞
郭勇
钟晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN202010156222.8A priority Critical patent/CN111368930B/zh
Publication of CN111368930A publication Critical patent/CN111368930A/zh
Application granted granted Critical
Publication of CN111368930B publication Critical patent/CN111368930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统，采用步进频率连续波雷达收集人体当前的姿态数据，使用三种时频分析方法对数据进行处理得到相应的时频谱图，然后进行神经网络的训练，保持第一级网络训练完成后的模型参数，以及结合第二级网络的权重，形成改良的级联神经网络训练模型，使识别的结果达到最优。该方法使多类谱图相融合，通过两级训练将多类谱图融合起来，有效地将三种时频分析方法结合起来，充分利用了三种时频分析方法的各自优点，整个网络结构清晰简洁，提高了人体运动姿态识别的正确率；另一方面在网络构建后无须进行人工提取特征值，只需获得时频谱图则可完成训练和识别过程，操作简单易行。

Description

基于多类谱图融合与分级学习的雷达人体姿态识别方法及 系统
技术领域
本发明涉及雷达图像目标检测技术领域，特别是一种基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统。
背景技术
目前，人体运动经生物雷达检测后，除成像雷达探测通过人体成像和轨迹跟踪进行运动状态识别外，主要通过对雷达回波信号进行时域分解或时频分析，从而提取雷达信号时域特征或时频特征进行运动状态识别。
其中，常用的运动信号时频分析处理方法主要包括短时傅里叶变换(short-timeFourier transform，STFT)、小波变换(wavelet transform，WT)、希尔伯特-黄变换(Hilbert-Huang transform，HHT)、SPWVD(平滑伪Wigner-Ville分布)、RIDH(降低交叉项的分布(汉宁窗))等。由于不同的时频分析方法有各自的优缺点，造成了在利用这些时频分析方法产生的谱图进行人体运动识别时准确率无法达到最优。
人体运动生物雷达信号经过时域分解或者时频分析后，能够较好进行姿态识别的方法有三大类。第1类主要以人体运动信号雷达回波自身特性或者统计特征量作为特征值，如利用频率上下包络的距离来判断人体行走是否摆臂，将人体运动雷达回波的标准化能量、方差、偏度和峰度作为特征值判断，以及通过对雷达回波进行主成分分析。第2类特征值主要通过人体运动雷达回波信号经过时频分析处理后，从时频谱中提取特征值。第3类主要依靠深度神经网络的方法，将时频谱图或者雷达回波数据送入网络中，可以自动学习并进行分类，无须人工进行特征提取，从而进行运动状态识别和分类。
综上所述，近年来随着机器学习和深度学习技术的不断发展，越来越多的深度学习技术开始应用到各个领域；但是，现有的雷达人体运动姿态识别存在以下问题：(1)基于特征提取的方法需要人工提取特征值，工作量较大，比较复杂；(2)时频分析方法多种多样，性能各异，难以找到合适的时频分析方法，造成识别正确率较低。
发明内容
有鉴于此，本发明的目的在于提供一种基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统，该方法适用于雷达人体姿态检测。
为达到上述目的，本发明提供如下技术方案：
1.基于多类谱图融合与分级学习的雷达人体姿态识别方法，其特征在于：包括以下步骤：
步骤1：获取步进频率连续波雷达收集到的人体姿态运动数据；
步骤2：采用时频分析方法对人体姿态运动数据进行处理得到时频谱图；
步骤3：将时频谱图预处理后送入第一级神经网络的VGG16网络模型中进行训练；
步骤4：将第一级神经网络训练得到的识别结果输入到第二级神经网络，并保持第一级神经网络训练完成后的模型参数不变，通过反向传播算法迭代递归得到第二级神经网络的权重；
步骤5：完成第二级神经网络训练并得到改良的级联神经网络训练模型；
步骤6：使用改良的级联神经网络模型对时频谱图测试集进行识别测试。
进一步，所述步骤1的步进频率连续波雷达收集的人体姿态数据按照以下方式进行预处理：
步骤11：验证人体姿态数据周期的完整性；
步骤12：对验证后的人体姿态数据进行IQ路合成；
步骤13：对人体姿态数据进行加窗处理。
进一步，所述步骤2中的时频谱图是通过以下步骤进行处理的：
采用短时傅里叶变换、平滑伪Wigner-Ville分布、降低交叉项分布三种时频分析方法对人体运动姿态数据进行处理得到相应的时频谱图。
进一步，所述步骤2中的时频分析方法按照以下方式设置参数：
步骤21：所述短时傅里叶变换的窗函数的采用汉宁窗；
步骤22：所述平滑伪Wigner-Ville分布为二次型的时频分析方法，采用汉宁窗和高斯窗作为时域平滑窗和频率平滑窗；
步骤23：所述降低交叉项的分布采用汉宁窗作为时域和频域的平滑窗。
进一步，所述步骤3中时频谱图预处理按照以下方式进行：
将单通道的时频谱图转换成三通道的RGB图像，并使得RGB图像数据适于第一级神经网络的VGG16网络模型输入要求。
进一步，所述步骤3中的第一级神经网络包括三个VGG16网络模型，所述VGG16网络模型训练参数为学习率Lr＝0.01，批尺寸为32，迭代Epoch为5000。
进一步，所述步骤4的第二级神经网络为三层神经网络模型，具体包括
输入层，所述输入层用于接收第一级神经网络的三个VGG16网络模型的识别结果；
中间层，所述中间层与输入层的连接为全连接结构，采用softmax作为激活函数；
输出层，所述输出层用于输出最终的识别结果。
进一步，所述步骤4的第二级神经网络的三层神经网络模型权重更新迭代按照以下方式进行：
步骤41：采用平方误差函数计算损失函数；
步骤42：通过损失函数得到判定结果的误差，按照以下公式更新权重：
Figure BDA0002404139120000031
其中，WMN′为第M个输入层对第N个输出的权重更新值；
WMN为第M个输入层对第N个输出的权重的初始值；
Figure BDA0002404139120000032
为权重的变化值。
Figure BDA0002404139120000033
的目的在于让损失函数减少到最低。
本发明还提供了一种基于多类谱图融合与分级学习的雷达人体姿态识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取步进频率连续波雷达收集到的人体姿态运动数据；
采用短时傅里叶变换、平滑伪Wigner-Ville分布、降低交叉项分布三种时频分析方法对人体运动姿态数据进行处理得到相应的时频谱图；
将时频谱图转换成三通道的RGB图像后分别送入第一级神经网络的三个VGG16网络模型中进行训练；
将第一级神经网络训练得到的识别结果分别输入到第二级神经网络，并保持第一级神经网络训练完成后的模型参数不变，通过反向传播算法迭代递归得到第二级神经网络的权重；
完成第二级神经网络训练并得到改良的级联神经网络训练模型；
使用改良的级联神经网络模型对时频谱图测试集进行识别测试。
进一步，所述第二级神经网络为三层神经网络模型，具体包括
输入层，所述输入层用于接收第一级神经网络的三个VGG16网络模型的识别结果；
中间层，所述中间层与输入层的连接为全连接结构，采用softmax作为激活函数；
输出层，所述输出层用于输出最终的识别结果；
所述第二级神经网络的三层神经网络模型权重更新迭代按照以下方式进行：
采用平方误差函数计算损失函数；
通过损失函数得到判定结果的误差，按照以下公式更新权重：
Figure BDA0002404139120000041
其中，WMN′为第M个输入层对第N个输出的权重更新值；
WMN为第M个输入层对第N个输出的权重的初始值；
Figure BDA0002404139120000042
为权重的变化值。
Figure BDA0002404139120000043
的目的在于让损失函数减少到最低。
本发明的有益效果在于：
本发明提供了基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统，用于雷达人体姿态检测，克服了目前的人体姿态识别方法较复杂和基于单网络和单时频分析的深度学习方法识别率较低的问题。该方法采用步进频率连续波雷达收集人体当前的姿态数据，使用短时傅里叶变换、平滑伪Wigner-Ville分布、降低交叉项的分布(汉宁窗)三种时频分析方法对数据进行处理得到相应的时频谱图，然后进行神经网络的训练。第一级网络用3个VGG16网络模型分别对三种时频谱图进行训练，训练完成后的模型参数保持不变进行第二级网络的训练；第二级网络以第一级三个网络对不同姿态的识别结果作为输入，采用一个三层神经网络通过反向传播算法迭代递归得到该网络的权重，使上一级三个网络的结果结合起来，形成所述的改良的级联神经网络训练模型，使识别的结果达到最优。该方法操作简单易行，改良的神经网络模型使多类谱图相融合，整个网络结构清晰简洁，通过两级训练将多类谱图融合起来，有效地将三种时频分析方法结合起来，充分利用了三种时频分析方法的各自优点，提高了人体运动姿态识别的正确率；另一方面在网络构建后无须进行人工提取特征值，只需获得时频谱图则可完成训练和识别过程，操作简单易行。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的训练和识别流程图。
图2为雷达采集识别人体姿态数据场景示意图。
图3为6种姿态由3种不同时频分析方法产生的谱图。
图4为谱图经过预处理的RGB图像。
图5为VGG16网络模型结构图。
图6为第二级三层神经网络模型。
图7为人体姿态识别流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例1
如图1所示，本实施例提供的基于多类谱图融合与分级学习的雷达人体姿态识别方法，包括以下步骤：
步骤1：从单个步进频率连续波雷达收集人体当前的姿态数据；
本实施例对从步进频率连续波雷达收集的人体姿态数据进行预处理，具体如下：(1)验证数据周期的完整性，对于缺少数据的周期，认为为有损害的数据进行剔除；(2)雷达数据进行IQ路合成；(3)对数据进行加窗处理。
步骤2：采用短时傅里叶变换、平滑伪Wigner-Ville分布、降低交叉项分布三种时频分析方法对人体运动数据进行处理得到相应的时频谱图；
本实施例采用的三种时频分析方法各自设置的参数为：(1)STFT(短时傅里叶变换)受窗函数的影响较大，在该方法中采用长度为20的汉宁窗。(2)SPWVD(平滑伪Wigner-Ville分布)为二次型的时频分析方法，在该方法中采用长度均为19的汉宁窗和高斯窗作为时域平滑窗和频率平滑窗。(3)RIDH(降低交叉项的分布(汉宁窗))采用长度为均为21汉宁窗作为时域和频域的平滑窗。
步骤3：将三种时频谱图预处理后分别送入第一级神经网络的三个VGG16网络模型中，使用小批量梯度下降法算法确认损失函数最小处对应待求参数为最优参数，对网络进行训练。
本实施例中的时频谱图预处理方法为：将单通道的谱图转换成三通道的RGB图像，使得图像数据满足网络输入的尺寸。第一级神经网络VGG16网络模型训练参数为学习率Lr＝0.01，批尺寸为32，迭代Epoch为5000。
步骤4：第一级网络训练完成后的模型参数保持不变进行第二级网络的训练；第二级网络以第一级三个网络对不同姿态的识别结果作为输入，采用一个三层神经网络通过反向传播算法迭代递归得到该网络的权重，将上一级三个网络的结果结合起来，使识别的结果达到最优。
本实施例的第二级神经网络为三层神经网络模型：输入层由第一级的三个VGG16神经网络(其损失函数得到的值已经收敛，训练已经完成)的识别结果组成，中间层为6个分类目标，输入层和中间层的连接为全连接结构，采用softmax作为激活函数，输出层输出最终的识别结果。第二级网络的三层神经网络模型权重更新迭代方法为：
(1)计算损失函数：在此网络中采用平方误差函数；
(2)权重更新：通过损失函数得到判定结果的误差，由误差更新权重，更新方法为：
Figure BDA0002404139120000061
其中WMN′为第M个输入层对第N个输出的权重更新值，WMN为第M个输入层对第N个输出的权重的初始值，
Figure BDA0002404139120000062
为权重的变化值。
Figure BDA0002404139120000063
的目的在于让损失函数减少到最低。
步骤5：当第二级神经网络训练完成后，使用此改良的级联神经网络模型对时频谱图测试集进行识别测试。
本实施例根据该方法形成一种基于多类谱图融合与分级学习的雷达人体姿态识别系统，该系统包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取步进频率连续波雷达收集到的人体姿态运动数据；
采用短时傅里叶变换、平滑伪Wigner-Ville分布、降低交叉项分布三种时频分析方法对人体运动姿态数据进行处理得到相应的时频谱图；
将时频谱图转换成三通道的RGB图像后分别送入第一级神经网络的三个VGG16网络模型中进行训练；
将第一级神经网络训练得到的识别结果分别输入到第二级神经网络，并保持第一级神经网络训练完成后的模型参数不变，通过反向传播算法迭代递归得到第二级神经网络的权重；
完成第二级神经网络训练并得到改良的级联神经网络训练模型；
使用改良的级联神经网络模型对时频谱图测试集进行识别测试。
实施例2
本实施例通过以下具体的方式详细说明基于步进频率连续波雷达的人体姿态数据识别方法，包括以下步骤：
步骤1：采用单个步进频率连续波雷达收集人体当前的姿态数据；
(1)步进频率连续波雷达发射和接受方向与人体角度为90°。
(2)步进频率连续波雷达的起始频率为1.6GHz，截止频率为2.2GHz，频率步进为0.002GHz。
(3)步进频率连续波雷达检测的距离为0到20米。
步骤2：采用STFT(短时傅里叶变换)、SPWVD(平滑伪Wigner-Ville分布)、RIDH(降低交叉项的分布(汉宁窗))三种时频分析方法对数据进行处理得到相应的时频谱图；
步骤3：将三种时频谱图训练集送入第一级神经网络的三个VGG16网络模型中，使用小批量梯度下降法MBGD(mini-batch Gradient Descent)算法，确认损失函数最小处对应待求参数为最优参数，对网络进行训练；
步骤4：第一级网络训练完成后的模型参数保持不变进行第二级网络的训练；第二级网络以第一级三个网络对不同姿态的识别结果作为输入，采用一个三层神经网络通过反向传播算法迭代递归得到该网络的权重，将上一级三个网络的结果结合起来，使识别的结果达到最优。
步骤5：当第二级神经网络训练完成后，使用此改良的级联神经网络模型对时频谱图测试集进行识别测试。
作为优选：步骤1的步进频率连续波雷达收集人体当前的姿态数据在MATLAB环境下预处理方式为：
(1)验证数据周期的完整性，其最大频率为Fmax＝2.2GHz，Fmin＝1.6GHz，调频频率间隔Δf＝0.002GHz。一个周期的谱图数目为：
NumFreq＝(Fmax-Fmin)/Δf (1)
对采集的数据以NumFreq的大小为间隔进行标志位检查，对于缺少数据的周期，认为为有损害的数据进行剔除。
(2)雷达数据进行IQ路合成，其I路数据设为Idata，Q路数据设为Qdata。则IQ路合成数据IQresample1为：
IQresample1＝(Idata1+1j*Qdata1).' (2)
(3)对数据进行加窗处理后的数据设为IQdatawin，其计算公式为：
IQdatawin1＝IQresample1.*repmat(hamming(K).',NS,1) (3)
Repmat表示扩充矩阵，在该公式中是以hamming(K)的内容堆叠在(NSx1)的矩阵中；hamming(K)表示对K进行加汉明窗处理；NS表示需要扩充的维度；
作为优选：步骤2的三种时频分析方法计算公式为：
Figure BDA0002404139120000081
Figure BDA0002404139120000082
Figure BDA0002404139120000083
其中，Rx为：
Figure BDA0002404139120000084
STFTz(t,f)表示对原始信号进行STFT变换的结果；
z(u)表示原始信号；
g(u-t)表示窗函数；
u表示卷积变量；
SPWx(t,v)表示对原始信号进行SPWVD变换的结果；
h(τ)表示频率平滑窗函数；
g(s-t)表示时间平滑窗函数；
S表示原始信号；
s表示卷积变量；τ表示卷积变量；
RIDHx(t,v)表示对原始信号进行RIDH变换的结果；
Rx(t,τ)表示对原始信号进行加时间平滑窗处理的结果；
t表示时间变量；
g(v)表示时间平滑窗函数；
x()表示原始信号；
作为优选：步骤3的第一级神经网络VGG16网络模型结构为：
(1)包括13个卷积层(ConvolutionalLayer)；
(2)包括3个全连接层(FullyconnectedLayer)；
(3)包括5个池化层(Poollayer)；
作为优选：步骤3的第一级神经网络VGG16网络模型特点为：
(1)卷积层均采用相同的卷积核参数；
(2)池化层均采用相同的池化核参数；
(3)模型是由若干卷积层和池化层堆叠(stack)的方式构成，形成较深的网络结构；
作为优选：步骤4的第二级神经网络的三层神经网络模型为：
输入层由第一级的三个VGG16神经网络(其损失函数得到的值已经收敛，训练已经完成)对不同姿态的识别结果组成，设为X1，X2，X3。中间层为6个分类目标，设为：Y1，Y2，Y3，Y4，Y5，Y6。输入层和中间层的连接为全连接结构，其权重设为：W11，W12，W13，W14，W15，W16，W21，W22，W23，W24，W25，W26，W31，W32，W33，W34，W35，W36。
中间层的使用激活函数softmax，其结果为：
Figure BDA0002404139120000091
输出层的结果为[Y1 Y2 Y3 Y4 Y5 Y6]，由于softmax的特性，
Figure BDA0002404139120000092
概率最高者为识别结果。
作为优选：步骤4的第二级神经网络的三层神经网络模型权重更新迭代方法为：
(1)计算损失函数：在此网络中采用平方误差函数(只针对一次输入)：
Figure BDA0002404139120000093
其中TN为正确结果。
(2)权重更新：通过损失函数得到判定结果的误差，由误差更新权重，更新方法为：
Figure BDA0002404139120000094
其中WMN′为第M个输入层对第N个输出的权重更新值，WMN为第M个输入层对第N个输出的权重初始值，
Figure BDA0002404139120000095
为权重的变化值。
Figure BDA0002404139120000096
的目的在于让损失函数减少到最低。
实施例3
本实施例将结合附图对本发明作进一步说明。
如图2所示，在雷达采集识别人体姿态数据场景示意，在图2所示场景中完成数据的采集后，采用图1所示的基于多类谱图融合与分级学习的人体姿态识别方法进行训练和识别。其中，所述雷达为单个步进频率连续波雷达；步进频率连续波雷达发射和接受信号方向与人体角度为90°。步进频率连续波雷达的起始频率为1.6GHz，截止频率为2.2GHz，频率步进为0.002GHz，步进频率连续波雷达检测的距离为0到20米，雷达的高度为0.6m，实验人员为一名1.6m的女性和一名1.7m的男性，如图2所示，图中运动人物为单人匀速跑向雷达，与雷达发射接受天线方向垂直，在实际姿态采集中，运动人物均与雷达在一条直线上，且面向雷达。
步骤1：采用单个步进频率连续波雷达收集人体当前的姿态数据，在采集“跑”“走”两种姿态时，人由距离雷达15m的位置分别以1.5m/s和1m/s的速度向雷达运动。采集“踏步”“摆臂”“匍匐”“投掷”4种姿态时，人在距离雷达5m的位置完成相应的动作。
原始数据采集完成后为一个一维数组OldData(M)，接下来需要对每种姿态的原始数据进行查错以及根据步进频率进行分割，得到不同姿态的300个不同频率对应的人体姿态运动数据NewData(N，300)。
步骤2：分别在6种姿态的NewData(N,300)中随机选取各10组数据，为时频谱图的原始数据。然后分别采用STFT(短时傅里叶变换)、SPWVD(平滑伪Wigner-Ville分布)、RIDH(降低交叉项的分布(汉宁窗))三种时频分析方法对人体姿态原始数据进行处理得到相应的时频谱图。其中，三种时频分析方法的采样频率为Fsam＝100/3Hz，短时傅里叶变换使用长度为20的汉宁窗，傅里叶变换点数为17点；平滑伪Wigner-Ville分布使用长度为19的汉宁窗和高斯窗分别作为时域平滑窗和频率平滑窗；降低交叉项的分布(汉宁窗)采用长度为21汉宁窗作为时域和频域的平滑窗。得到6种姿态的3种时频分析方法谱图，如图3所示，图3中第一行表示经过RIDH变换后得到的六种人体运动姿态数据，图中所示的谱图分辨率最好，然而可以明显观察到存在严重的交叉项干扰。图3中第二行表示经过SPWVD变换后得到的六种人体运动姿态数据，图中所示的谱图分辨率次之，存在较严重的交叉项干扰。图3中第三行表示经过STFT变换后得到的六种人体运动姿态数据，图中所示的谱图分辨率最差，然而不存在交叉项干扰。
所得的谱图共计6000张，每种姿态各1000张，其中450张作为第一级网络训练集，450张作为第二级网络训练集，100张作为测试集。
步骤3：将时频谱图送入第一级神经网络模型的3个网络训练之前，将单通道的谱图转换成三通道的RGB图像，能够满足网络输入的条件,如图4所示，图4中第一行表示经过RIDH变换后得到的RGB图像，图中所示的谱图分辨率最好，然而可以明显观察到存在严重的交叉项干扰。图4中第二行表示经过SPWVD变换后得到的RGB图像，图中所示的谱图分辨率次之，存在较严重的交叉项干扰。图4中第三行表示经过STFT变换后得到的RGB图像，图中所示的谱图分辨率最差，然而不存在交叉项干扰。与图3相比，图4中所示图像的时频分辨率与图3所示图像的时频分辨率相同，但图像转换成了具有红(R)、绿(G)、蓝(B)三个颜色通道的图像。
随后，使用三个VGG16深度学习网络模型对第一级神经网络训练集进行训练，VGG16模型的结构图如图5所示，图5中224x224x3表示，输入的图像维度为224x224x3。224x224x64表示，输入的图像经过具有64个卷积核的卷积层，其维度变为224x224x64。112x112x128表示上一层的图像经过具有128个卷积层的卷积层和2x2的池化，维度变为112x112x128。56x56x256表示上一层的图像经过具有256个卷积层的卷积层和2x2的池化，维度变为56x56x256。28x28x512表示上一层的图像经过具有512个卷积层的卷积层和2x2的池化，维度变为28x28x512。14x14x512表示上一层的图像经过具有512个卷积层的卷积层和2x2的池化，维度变为14x14x512。7x7x512表示上一层的图像经过具有512个卷积层的卷积层和2x2的池化，维度变为7x7x512。1x1x4096表示上一层的图像经过维度为1x1x4096的全连接层，维度变为1x1x4096。1x1x6表示最终输出的结果为一个长度为6的向量，每个量表示对每种姿态的识别正确率。
训练时学习率设置为0.01，该参数值保证了网络权重迭代时不会因为学习率太大而造成的震荡，又有利于较快的使网络能够收敛，兼顾了效率和效用。该网络采用小批量梯度下降法MBGD作为迭代优化算法，设置批尺寸为128，提高了内存的利用率，权衡了优化速度和准确度。
步骤4：在第一级三个VGG16模型训练完成后，保存第一级神经网络参数不变，对第二级三层网络进行训练，该网络结构如图6，如图6所示，第一层为输入层，其值为第一级网络三个VGG16网络分别对6种姿态的识别正确率；第二层为隐藏层，与第一层连接方式为全连接，经过训练后将上级的网络结果进行融合；第三次为输出层，输出最终对6种姿态的识别正确率。
在此网络中采用随机梯度下降法SGD，让每一个样本直接参与改变梯度，参数的更新速度更快，使该方法判断的正确率有效提高。
步骤5：完成训练后，得到了第一级三个已训练的VGG16网络模型，以及第二级网络模型的权重。此时输入测试集图像测试该方法的正确率，识别流程如图7所示，最终的正确率为98％。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (9)

1.基于多类谱图融合与分级学习的雷达人体姿态识别方法，其特征在于：包括以下步骤：
步骤1：获取步进频率连续波雷达收集到的人体姿态运动数据；
步骤2：采用短时傅里叶变换、平滑伪Wigner-Ville分布、降低交叉项分布三种时频分析方法对人体姿态运动数据进行处理得到时频谱图；
步骤3：将时频谱图预处理后送入第一级神经网络的VGG16网络模型中进行训练；
步骤4：将第一级神经网络训练得到的识别结果输入到第二级神经网络，并保持第一级神经网络训练完成后的模型参数不变，通过反向传播算法迭代递归得到第二级神经网络的权重；
步骤5：完成第二级神经网络训练并得到改良的级联神经网络训练模型；
步骤6：使用改良的级联神经网络模型对时频谱图测试集进行识别测试。
2.根据权利要求1所述的方法，其特征在于：所述步骤1的步进频率连续波雷达收集的人体姿态数据按照以下方式进行预处理：
步骤11：验证人体姿态数据周期的完整性；
步骤12：对验证后的人体姿态数据进行IQ路合成；
步骤13：对人体姿态数据进行加窗处理。
3.根据权利要求1所述的方法，其特征在于：所述步骤2中的时频分析方法按照以下方式设置参数：
步骤21：所述短时傅里叶变换的窗函数的采用汉宁窗；
步骤22：所述平滑伪Wigner-Ville分布为二次型的时频分析方法，采用汉宁窗和高斯窗作为时域平滑窗和频率平滑窗；
步骤23：所述降低交叉项的分布采用汉宁窗作为时域和频域的平滑窗。
4.根据权利要求1所述的方法，其特征在于：所述步骤3中时频谱图预处理按照以下方式进行：
将单通道的时频谱图转换成三通道的RGB图像，并使得RGB图像数据适于第一级神经网络的VGG16网络模型输入要求。
5.根据权利要求1所述的方法，其特征在于：所述步骤3中的第一级神经网络包括三个VGG16网络模型，所述VGG16网络模型训练参数为学习率Lr＝0.01，批尺寸为32，迭代Epoch为5000。
6.根据权利要求1所述的方法，其特征在于：所述步骤4的第二级神经网络为三层神经网络模型，具体包括
输入层，所述输入层用于接收第一级神经网络的三个VGG16网络模型的识别结果；
中间层，所述中间层与输入层的连接为全连接结构，采用softmax作为激活函数；
输出层，所述输出层用于输出最终的识别结果。
7.根据权利要求1所述的方法，其特征在于：所述步骤4的第二级神经网络的三层神经网络模型权重更新迭代按照以下方式进行：
步骤41：采用平方误差函数计算损失函数；
步骤42：通过损失函数得到判定结果的误差，按照以下公式更新权重：
Figure FDA0003856967310000021
其中，WMN′为第M个输入层对第N个输出的权重更新值；
WMN为第M个输入层对第N个输出的权重的初始值；
Figure FDA0003856967310000022
为权重的变化值；
Figure FDA0003856967310000023
的目的在于让损失函数减少到最低。
8.基于多类谱图融合与分级学习的雷达人体姿态识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：
获取步进频率连续波雷达收集到的人体姿态运动数据；
采用短时傅里叶变换、平滑伪Wigner-Ville分布、降低交叉项分布三种时频分析方法对人体运动姿态数据进行处理得到相应的时频谱图；
将时频谱图转换成三通道的RGB图像后分别送入第一级神经网络的三个VGG16网络模型中进行训练；
将第一级神经网络训练得到的识别结果分别输入到第二级神经网络，并保持第一级神经网络训练完成后的模型参数不变，通过反向传播算法迭代递归得到第二级神经网络的权重；
完成第二级神经网络训练并得到改良的级联神经网络训练模型；
使用改良的级联神经网络模型对时频谱图测试集进行识别测试。
9.根据权利要求8所述的系统，其特征在于：所述第二级神经网络为三层神经网络模型，具体包括
输入层，所述输入层用于接收第一级神经网络的三个VGG16网络模型的识别结果；
中间层，所述中间层与输入层的连接为全连接结构，采用softmax作为激活函数；
输出层，所述输出层用于输出最终的识别结果；
所述第二级神经网络的三层神经网络模型权重更新迭代按照以下方式进行：
采用平方误差函数计算损失函数；
通过损失函数得到判定结果的误差，按照以下公式更新权重：
Figure FDA0003856967310000031
其中，WMN′为第M个输入层对第N个输出的权重更新值；
WMN为第M个输入层对第N个输出的权重的初始值；
Figure FDA0003856967310000032
为权重的变化值；
Figure FDA0003856967310000033
的目的在于让损失函数减少到最低。
CN202010156222.8A 2020-03-09 2020-03-09 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统 Active CN111368930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010156222.8A CN111368930B (zh) 2020-03-09 2020-03-09 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010156222.8A CN111368930B (zh) 2020-03-09 2020-03-09 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统

Publications (2)

Publication Number Publication Date
CN111368930A CN111368930A (zh) 2020-07-03
CN111368930B true CN111368930B (zh) 2022-11-04

Family

ID=71206608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010156222.8A Active CN111368930B (zh) 2020-03-09 2020-03-09 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统

Country Status (1)

Country Link
CN (1) CN111368930B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111965620B (zh) * 2020-08-31 2023-05-02 中国科学院空天信息创新研究院 基于时频分析和深度神经网络的步态特征提取与识别方法
CN112115863B (zh) * 2020-09-18 2022-10-18 成都理工大学 基于多普勒雷达时频图像序列与交叉卷积神经网络人体动作重构方法及系统
CN112241001B (zh) * 2020-10-10 2023-06-23 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105637540A (zh) * 2013-10-08 2016-06-01 谷歌公司 用于强化学习的方法和设备
CN108460342A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于卷积网和循环神经网络的高光谱图像分类方法
CN108920993A (zh) * 2018-03-23 2018-11-30 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
CN109359597A (zh) * 2018-10-18 2019-02-19 成都理工大学 基于多频融合深度学习的雷达步态识别方法
US10482334B1 (en) * 2018-09-17 2019-11-19 Honda Motor Co., Ltd. Driver behavior recognition
CN110738984A (zh) * 2019-05-13 2020-01-31 苏州闪驰数控系统集成有限公司 人工智能cnn、lstm神经网络语音识别系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105637540A (zh) * 2013-10-08 2016-06-01 谷歌公司 用于强化学习的方法和设备
CN108460342A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于卷积网和循环神经网络的高光谱图像分类方法
CN108920993A (zh) * 2018-03-23 2018-11-30 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
US10482334B1 (en) * 2018-09-17 2019-11-19 Honda Motor Co., Ltd. Driver behavior recognition
CN109359597A (zh) * 2018-10-18 2019-02-19 成都理工大学 基于多频融合深度学习的雷达步态识别方法
CN110738984A (zh) * 2019-05-13 2020-01-31 苏州闪驰数控系统集成有限公司 人工智能cnn、lstm神经网络语音识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人脸识别的宿舍门禁系统的研究;韩潇;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20191216;I138-1867 *

Also Published As

Publication number Publication date
CN111368930A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368930B (zh) 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统
CN111220958B (zh) 基于一维卷积神经网络的雷达目标多普勒像分类识别方法
CN111160176B (zh) 基于融合特征的一维卷积神经网络地面雷达目标分类方法
CN106355151B (zh) 一种基于深度置信网络的三维sar图像目标识别方法
CN107728142B (zh) 基于二维卷积网络的雷达高分辨距离像目标识别方法
CN110109109B (zh) 基于多分辨率注意力卷积网络的hrrp目标识别方法
CN112001270B (zh) 基于一维卷积神经网络的地面雷达自动目标分类识别方法
CN108229404A (zh) 一种基于深度学习的雷达回波信号目标识别方法
CN108182450A (zh) 一种基于深度卷积网络的机载探地雷达目标识别方法
CN114429156A (zh) 雷达干扰多域特征对抗学习与检测识别方法
CN112861813B (zh) 基于复值卷积神经网络的墙后人体行为识别方法
CN112001433A (zh) 一种航迹关联方法、系统、设备及可读取存储介质
CN112966853A (zh) 基于时空残差混合模型的城市路网短时交通流预测方法
CN113050797A (zh) 一种通过毫米波雷达实现手势识别的方法
CN115220007A (zh) 一种针对姿态识别的雷达点云数据增强方法
CN113466852A (zh) 应用于随机干扰场景下的毫米波雷达动态手势识别方法
CN115438708A (zh) 一种基于卷积神经网络和多模态融合的分类识别方法
CN113673312A (zh) 基于深度学习的雷达信号脉内调制识别方法
CN112835008B (zh) 基于姿态自适应卷积网络的高分辨距离像目标识别方法
CN114021458A (zh) 基于并行原型网络的小样本雷达辐射源信号识别方法
CN115937977A (zh) 一种基于多维特征融合的少样本人体动作识别方法
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN114298093A (zh) Iff信号智能分类识别方法
Gao et al. Classification Method of Rape Root Swelling Disease Based on Convolution Neural Network
CN114764580A (zh) 一种基于无穿戴设备的实时人体手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant