CN109359597A - 基于多频融合深度学习的雷达步态识别方法 - Google Patents

Abstract

本发明公开了一种基于多频融合深度学习的雷达步态识别方法，采用多频谱图融合的思想将多个频点的时频图信息融合到一张时频图中，其主要原理是运用引导滤波器将所有时频图分解为不含噪声的基础层以及包含大量噪声和细节等高频信息的细节层，然后对获得的细节层和基础层分别处理后再重组以获取时频图融合图像。此后运用卷积神经网络来提取该图像中的特征并用稀疏自编码器选择用于分类的最佳特征组合，再将其送入到分类器中即可完成分类。本发明的优势在于采用多频谱图融合的思想广泛减少神经网络的构建复杂度，同时提升模型的准确率，具有识别精度高，运行速度快，抗噪性能好等优势，因此能广泛的运用于实际中步态实时检测。

Description

基于多频融合深度学习的雷达步态识别方法

技术领域

本发明涉及一种雷达步态的分类方法，尤其涉及一种基于多频融合深度学习的雷达步态识别方法。

背景技术

在人体步态识别领域，为了实现人体步态的分类，其主要实现方式有两种，基于机器学习和基于深度学习的方式。基于机器学习的方式主要是通过对雷达的回波数据分析获得人体的微多普勒谱图，再从获得的微多普勒谱图中人工提取特征，然后将该特征用于步态分类。但是由于人的主观性和受到专业知识领域的局限，导致所提取的特征不能完美的表达图像中所蕴含的信息，最终往往导致分类效果差或模型的鲁棒性差，不具有实用性。

近年来，深度学习的兴起完美的解决了机器学习中的特征提取问题。它能根据分类任务自动提取图像中与分类有关的所有特征组合。从而极大程度的提升了步态识别准确性，但是随着研究的深入，渐渐发现单个频点的时频图所蕴含的信息往往有限，它限制了准确率的进一步提高。为了解决这个问题，学术界提出了结合多域的方法，这让准确率有了进一步的提升。但是目前却几乎不采用多频的方法。其原因主要有以下两点：(1)相邻频点时频图相似度极高，只有边缘存在微小的变化，无法以有效方式提取这些微小细节中蕴含的信息。(2)采用并行输入的深度学习的方式来提取这些特征，往往由于输入的时频图数量庞大致使网络复杂度极高，从而导致网络难以训练，或无法训练。

发明内容

本发明的目的就在于提供一种解决上述问题，能运用图像融合算法将获得的多个频点的时频图信息融合到一张时频图中，广泛减少神经网络的构建的复杂度的同时提升模型的准确率，从而极大程度的减小对硬件资源的需求同时做到实时检测的效果的基于多频融合深度学习的雷达步态识别方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于多频融合深度学习的雷达步态识别方法，包括以下步骤：

(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为N×M的矩阵，其中，N为采样周期个数，M为一个采样周期中步进频率的个数，n次采样得到一数据集X,

X＝{X_i∈R^N×M|i＝1,2,…,n}

所述R表示复数，N×M为矩阵维数，X_i为X中第i个样本；

(2)将每个X_i的每一列的数据进行平均对消运动滤波，得到矩阵P_i，则数据集X中所有样本进行平均对消运动滤波后构成数据集P

P＝{P_i∈R^N×M|i＝1,2,…,n}；

(3)将每个P_i中的每一列数据进行短时傅里叶变换，得到M个频率的时频图集合则数据集P中所有样本的时频图集合构成数据集其中表示第i个样本的第j个频率点的时频图；

(4)采用引导滤波器对Aⁱ中的所有时频图进行滤波，得到该样本所有时频图的基础层集合其中表示第i个样本的第j个频点的时频图基础层，则数据集A中所有样本滤波后的基础层集合构成数据集

(5)根据公式计算第i个样本的第j个频点的时频图细节层并将进行自适应增强去噪处理和高斯滤波，形成第i个样本的第j个频点的新时频图细节层则所有样本所有频点的新时频图细节层构成数据集

(6)根据公式将第i个样本的所有新时频图细节层叠加形成融合图像细节层Fⁱ，则所有样本的融合图像细节层构成数据集F＝{Fⁱ|i＝1,2,...n}；

(7)根据公式将Bⁱ中所有频点的时频图基础层进行像素加权平均运算，得到第i个样本的融合图像基础层Gⁱ，则所有样本的融合图像基础层构成数据集G＝{Gⁱ|i＝1,2,...n}；

(8)根据公式Iⁱ＝Gⁱ+Fⁱ将第i个样本的融合图像细节层Fⁱ和融合图像基础层Gⁱ叠加形成第i个样本的融合图像Iⁱ，则所有样本的融合图像构成数据集I＝{Iⁱ|i＝1,2,...n}；

(9)建立用于提取融合时频图的深度卷积神经网络，用融合图像构成数据集I训练该网络，得到步态识别模型。

作为优选：步骤(4)中，引导滤波器采用下式对Aⁱ中的所有时频图进行滤波，

其中表示第i个样本的第j个频点的时频图基础层中，第x行第y列的像素点,W_P(x′,y′)表示引导滤波器的核函数，其可通过以下方式获得：

其中w是窗口w_x′,y′中所包含像素值的数量，ε是一个用来描述滤波器的过滤程度的正则化参数。

作为优选：步骤(5)中，采用下式进行自适应增强去噪，

其中为输入的时频图细节层，a,b为线性系数，δ是一个用来描述对的增强去噪的程度的正则化参数。

作为优选：所述用于步态识别的深度卷积神经网络，包括卷积层，池化层、稀疏自编码器和softmax分类器，其中融合图像经卷积层，池化层后得到该融合图像的特征表示，然后用稀疏自编码器选择卷积层提取的特征中用于步态识别的最佳特征组合，softmax分类器用于接受来自稀疏自编码器获取的最佳特征组合来输出分类结果。

与现有技术相比，本发明的优点在于：

(1)人体对不同频率的电磁波有着不同的散射特性，多频率的雷达回波信息能更加完全的反映人体姿态。为此通过频率步进连续波雷达来采集步态样本，并进行平均对消运动滤波、短时傅里叶变换，便能得到所有样本的多频率时频谱图集合，为此只要利用该样本的多频率时频谱图集合中的信息，便能获得更高步态识别准确率。

(2)采用引导滤波器将时频图集合细分为细节层和基础层，并对其分别进行处理，做到保留大部分信息的同时，只对部分小细节进行操作，让信息极大程度的保留在融合图像中。其中步骤(4)得到基础层，步骤(5)得到细节层，由于基础层不包含任何高频或细节信息，因此我们只需将其简单的进行像素加权平均就可完成基础层的融合，由于细节层包含大量细节和噪声等高频信息，所以需要对细节层进行自适应增强去噪处理和高斯滤波；

(3)通过步骤(6)将细节层累加得到我们需要的融合图像细节层，通过步骤(7)将基础层像素加权平均得到我们需要的融合图像基础层，最终只需要组合融合后的细节层和基础层即可获得最终的融合时频图。与此同时由于内部的线性均分融合机制，该方法能自适应的滤除或减弱时频图中噪声特征边缘。此后再通过深度卷积神经网络来完成步态识别，具有精度高，抗噪性能好，运算速度快等优势，因而具有广泛的实用性。

经过本方法构建了一种基于步进频连续波雷达的步态识别模型，通过该模型输出步态的类别。实际操作时，只需要输入待测的未知步态，就可以识别出步态类型。

附图说明

图1为本发明流程图；

图2a为实施例2中采集到正常行走的步态经步骤(3)处理后的时频图；

图2b为实施例2中采集到弓腰行走的步态经步骤(3)处理后的时频图；

图2c为实施例2中采集到匍匐前进的步态经步骤(3)处理后的时频图；

图3a为图2a经步骤(4)处理后的基础层；

图3b为图2b经步骤(4)处理后的基础层；

图3c为图2c经步骤(4)处理后的基础层；

图4a为图2a经步骤(5)处理后的细节层；

图4b为图2b经步骤(5)处理后的细节层；

图4c为图2c经步骤(5)处理后的细节层；

图5a为图2a经步骤(5)处理后的新时频图细节层；

图5b为图2b经步骤(5)处理后的细节层；

图5c为图2c经步骤(5)处理后的细节层；

图6a为正常行走的步态的融合基础层；

图6b为正常行走的步态的融合细节层；

图6c为正常行走的步态的融合图像；

图7为深度卷积神经网络结构图；

图8为深度卷积神经网络结构图的训练结果。

具体实施方式

下面将结合附图对本发明作进一步说明。

实施例1：参见图1，一种基于多频融合深度学习的雷达步态识别方法，包括以下步骤：

(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为N×M的矩阵，其中，N为采样周期个数，M为一个采样周期中步进频率的个数，n次采样得到一数据集X,

X＝{X_i∈R^N×M|i＝1,2,…,n}

所述R表示复数，N×M为矩阵维数，X_i为X中第i个样本；

(2)将每个X_i的每一列的数据进行平均对消运动滤波，得到矩阵P_i，则数据集X中所有样本进行平均对消运动滤波后构成数据集P

P＝{P_i∈R^N×M|i＝1,2,…,n}；

(3)将每个P_i中的每一列数据进行短时傅里叶变换，得到M个频率的时频图集合则数据集P中所有样本的时频图集合构成数据集其中表示第i个样本的第j个频率点的时频图；

步骤(1)—(3)的目的是通过频率步进连续波雷达来获取样本，获得的时频图数量更多，并通过平均对消运动滤波和短时傅里叶变换，得到处理后的时频图，这样得到的时频图信息更多、更精确；

(4)采用引导滤波器对Aⁱ中的所有时频图进行滤波，得到该样本所有时频图的基础层集合其中表示第i个样本的第j个频点的时频图基础层，则数据集A中所有样本滤波后的基础层集合构成数据集

(5)根据公式计算第i个样本的第j个频点的时频图细节层并将进行自适应增强去噪处理和高斯滤波，形成第i个样本的第j个频点的新时频图细节层则所有样本所有频点的新时频图细节层构成数据集

(6)根据公式将第i个样本的所有新时频图细节层叠加形成融合图像细节层Fⁱ，则所有样本的融合图像细节层构成数据集F＝{Fⁱ|i＝1,2,...n}；

(7)根据公式将Bⁱ中所有频点的时频图基础层进行像素加权平均运算，得到第i个样本的融合图像基础层Gⁱ，则所有样本的融合图像基础层构成数据集G＝{Gⁱ|i＝1,2,...n}；

(8)根据公式Iⁱ＝Gⁱ+Fⁱ将第i个样本的融合图像细节层Fⁱ和融合图像基础层Gⁱ叠加形成第i个样本的融合图像Iⁱ，则所有样本的融合图像构成数据集I＝{Iⁱ|i＝1,2,...n}；

步骤(4)-(8)，其目的是将所有时频图分解为不含噪声的基础层以及包含大量噪声和细节等高频信息的细节层，然后对获得的细节层和基础层分别处理后再重组以获取时频图融合图像。

(9)建立用于提取融合时频图的深度卷积神经网络，用融合图像构成数据集I训练该网络，得到步态识别模型。

本实施例中：步骤(4)中，引导滤波器采用下式对Aⁱ中的所有时频图进行滤波，

其中表示第i个样本的第j个频点的时频图基础层中，第x行第y列的像素点,W_P(x′,y′)表示引导滤波器的核函数，其可通过以下方式获得：

其中w是窗口w_x′,y′中所包含像素值的数量，ε是一个用来描述滤波器的过滤程度的正则化参数。

步骤(5)中，采用下式进行自适应增强去噪，

其中为输入的时频图细节层，a,b为线性系数，δ是一个用来描述对的增强去噪的程度的正则化参数。

所述用于步态识别的深度卷积神经网络，包括卷积层，池化层、稀疏自编码器和softmax分类器，其中融合图像经卷积层，池化层后得到该融合图像的特征表示，然后用稀疏自编码器选择卷积层提取的特征中用于步态识别的最佳特征组合，softmax分类器用于接受来自稀疏自编码器获取的最佳特征组合来输出分类结果。本实施例中深度卷积神经网络的结构，可以广泛减少神经网络的构建复杂度，同时提升模型的准确率，具有识别精度高，运行速度快，抗噪性能好等优势，因此能广泛的运用于实际中步态实时检测。

实施例2：参见图1到图8，一种基于多频融合深度学习的雷达步态识别方法，包括以下步骤：

(1)选定一开阔区域，设置好雷达，所述雷达为100个步进频率的频率步进连续波雷达，为了获得最佳的实验结果，分别在室内、室外、晴天、阴天等不同环境下，分别在早、中、晚使用雷达进行采样，其中每种步态的测量时间为200个脉冲，重复周期共6秒。1人在雷达的不同探测方向上分别以正常行走、弯腰行走和匍匐前进。共记采样3000次，每个样本形式上表现为200×100的矩阵，然后将这3000个样本随机打乱，得到数据集X,X＝{X_i∈R^{200 ×100}|i＝1,2,…,3000}，其中X_i为X中第i个样本；

(2)将X_i的每一列数据进行平均对消运动滤波，得到矩阵P_i(i＝1,2,…,3000,)，则对数据集X中所有样本进行平均对消运动滤波构成数据集P＝{P_i∈R^200×100|i＝1,2,…,3000}；

(3)将单个样本P_i中的每一列数据进行短时傅里叶变换，得到100个频率的时频图则数据集P中所有样本的时频图集合构成数据集其中表示第i个样本的第j个频率点的时频图；其结果参见图2；

(4)采用大小为3x3的窗口及正则参数为ε＝7的引导滤波器对Aⁱ中所有时频图进行滤波，得到该样本所有时频图的基础层集合其中表示第i个样本的第j个频点的时频图基础层，则数据集A中所有样本滤波后的基础层集合构成数据集结果参见图3；

(5)根据公式计算第i个样本的第j个频点的时频图细节层则时频图集合A中的所有样本的细节层集合为具体参见图4，再将进行自适应增强去噪处理和高斯滤波，

自适应增强去噪处理为：(采用大小为3x3的窗口和正则参数为σ＝1.0的增益核，且线性系数a＝1.2,b＝0.1对进行自适应增强去噪)

高斯滤波为：采用均值μ＝0.01，方差σ＝0.002的高斯核对细节层集合B进行高斯滤波，滤波后的新细节层集合为其中表示第i个样本第j个频点的细节层滤波后的结果,滤波的结果参见图5。

(6)根据公式将第i个样本的所有新时频图细节层叠加形成融合图像细节层Fⁱ，则所有样本的融合图像细节层构成数据集F＝{Fⁱ|i＝1,2,...3000}

(7)根据公式将Bⁱ中所有频点的时频图基础层进行像素加权平均运算，得到第i个样本的融合图像基础层Gⁱ，则所有样本的融合图像基础层构成数据集G＝{Gⁱ|i＝1,2,...3000}；

(8)根据公式Iⁱ＝Gⁱ+Fⁱ将第i个样本的融合图像细节层Fⁱ和融合图像基础层Gⁱ叠加形成第i个样本的融合图像Iⁱ，则所有样本的融合图像构成数据集I＝{Iⁱ|i＝1,2,...3000}；参见图6；

(9)建立用于提取融合时频图的深度卷积神经网络，用融合图像构成数据集I训练该网络，得到步态识别模型；所述深度卷积神经网络由5个卷积层，3个池化层，1个稀疏自编码器以及一个softmax分类器组成，其中稀疏自编码器的输入神经元数量为1024，中间神经元数量为100，输出神经元数量为150。池化层的步长为2，激活函数采用ReLu激活函数，正则函数采用L2正则。具体结构参见图7，图7中，Conv5-64表示该卷积层采用了64个5x5的卷积核，Conv3-128表示该卷积层采用了128个3x3的卷积核，Conv3-256表示该卷积层采用了256个3x3的卷积核。Pool是池化层的意思。

其训练方法为：

获取集合I中的每一个Iⁱ的步态类别,并为其标记为Lable(Iⁱ),简记为Lⁱ,其中Lⁱ采用one_hot编码，其编码方式如下：

类别	正常行走	匍匐前进	弯腰前进
				One_hot码	1 0 0	0 1 0	0 0 1

从而获得深度卷积神经网络的训练集合T＝{(Iⁱ，Lⁱ)|i＝1,2...3000},然后将T随机平均分为5组，每一组都拥有600个样本即：

T₁＝...T₅＝{(Iⁱ，Lⁱ)|i＝1,2...600}

采用5折交叉验证，即每一组依次作为验证集，其余四组为训练集对DCNN进行交叉训练。总共训练了400个Epoch，大约在170个Epoch时网络开始趋于稳定；其训练结果参见图8。

从图8可知，随着训练周期的增加，其准确率越来越高，并逐步趋于稳定。经过训练后的步态模型，可用于步态的识别。实际操作时，只需要输入待测的未知步态，就可以识别出步态类型。

Claims (4)

1.一种基于多频融合深度学习的雷达步态识别方法，其特征在于：包括以下步骤：

(1)采用频率步进连续波雷达对人体多种不同步态进行n次采样，记录每次采样的步态类别，每次采样得到一个步态样本，所述样本为N×M的矩阵，其中，N为采样周期个数，M为一个采样周期中步进频率的个数，n次采样得到一数据集X,

X＝{X_i∈R^N×M|i＝1,2,…,n}

所述R表示复数，N×M为矩阵维数，X_i为X中第i个样本；

(2)将每个X_i的每一列的数据进行平均对消运动滤波，得到矩阵P_i，则数据集X中所有样本进行平均对消运动滤波后构成数据集P

P＝{P_i∈R^N×M|i＝1,2,…,n}；

(3)将每个P_i中的每一列数据进行短时傅里叶变换，得到M个频率的时频图集合则数据集P中所有样本的时频图集合构成数据集其中表示第i个样本的第j个频率点的时频图；

(4)采用引导滤波器对Aⁱ中的所有时频图进行滤波，得到该样本所有时频图的基础层集合其中表示第i个样本的第j个频点的时频图基础层，则数据集A中所有样本滤波后的基础层集合构成数据集

(5)根据公式计算第i个样本的第j个频点的时频图细节层并将进行自适应增强去噪处理和高斯滤波，形成第i个样本的第j个频点的新时频图细节层则所有样本所有频点的新时频图细节层构成数据集

(6)根据公式将第i个样本的所有新时频图细节层叠加形成融合图像细节层Fⁱ，则所有样本的融合图像细节层构成数据集F＝{Fⁱ|i＝1,2,...n}；

(7)根据公式将Bⁱ中所有频点的时频图基础层进行像素加权平均运算，得到第i个样本的融合图像基础层Gⁱ，则所有样本的融合图像基础层构成数据集G＝{Gⁱ|i＝1,2,...n}；

(8)根据公式Iⁱ＝Gⁱ+Fⁱ将第i个样本的融合图像细节层Fⁱ和融合图像基础层Gⁱ叠加形成第i个样本的融合图像Iⁱ，则所有样本的融合图像构成数据集I＝{Iⁱ|i＝1,2,...n}；

(9)建立用于提取融合时频图的深度卷积神经网络，用融合图像构成数据集I训练该网络，得到步态识别模型。

2.根据权利要求1所述的基于多频融合深度学习的雷达步态识别方法，其特征在于：步骤(4)中，引导滤波器采用下式对Aⁱ中的所有时频图进行滤波，

其中表示第i个样本的第j个频点的时频图基础层中，第x行第y列的像素点,W_P(x′,y′)表示引导滤波器的核函数，其可通过以下方式获得：

其中w是窗口w_x′,y′中所包含像素值的数量，ε是一个用来描述滤波器的过滤程度的正则化参数。

3.根据权利要求2所述的基于多频融合深度学习的雷达步态识别方法，其特征在于：步骤(5)中，采用下式进行自适应增强去噪，

其中为输入的时频图细节层，a,b为线性系数，δ是一个用来描述对的增强去噪的程度的正则化参数。

4.根据权利要求1所述的基于多频融合深度学习的雷达步态识别方法，其特征在于：所述用于步态识别的深度卷积神经网络，包括卷积层，池化层、稀疏自编码器和softmax分类器，其中融合图像经卷积层，池化层后得到该融合图像的特征表示，然后用稀疏自编码器选择卷积层提取的特征中用于步态识别的最佳特征组合，softmax分类器用于接受来自稀疏自编码器获取的最佳特征组合来输出分类结果。