CN115761353A - 一种人体动作多普勒特征图去噪分类方法 - Google Patents

Abstract

本发明公开了一种人体动作多普勒特征图去噪分类方法，包括以下步骤：S1.采集人体动作雷达数据并对采集的数据进行预处理，并生成多普勒特征图；S2.从步骤S1中生成的以多普勒特征图为基准的高信噪比数据，对所述高信噪比数据添加噪声并训练去噪模型；S3.采用步骤S2中的去噪模型进行去噪处理并使用去噪后的数据训练分类识别模型；S4.采集待测人体动作雷达数据并生成雷达多普勒特征图，调用训练好的去噪模型以及分类识别模型即实现人体动作分类。本方法可以有效去除叠加在多普勒特征图上的背景噪声，提高去噪后图像和原图像的图片结构相似性,降低因环境因素引起的对图像分类等步骤的影响,提高人体动作识别的适用性和准确率。

Description

一种人体动作多普勒特征图去噪分类方法

技术领域

本发明属于雷达信号处理和图像处理技术领域，具体为一种人体动作多普勒特征图去噪分类方法。

背景技术

随着人体动作识别、生命体征信号检测等应用场景的兴起，人们对于毫米波雷达技术的研究也快速发展。毫米波雷达具有分辨率高，尺寸小，易于高度集成等优势。相比于利用摄像头进行的人体动作识别，毫米波雷达不仅具有不受光照和视距影响等特点，还能在极大程度上保护用户的个人隐私。基于调频连续波体制的毫米波雷达在自动驾驶、智能家居等领域应用更为广泛，一方面由于其可以降低信号处理的复杂度，同时可以从雷达接收到的中频信号中提取目标与雷达的距离、目标运动速度和目标与雷达角度等信息。

目前大部分研究所采用的方法是借助毫米波雷达采集人体动作数据，通过算法得到不同动作的多普勒特征谱图，将不同动作的频谱图视作图像，利用二维卷积神经网络的图像分类方法识别人体动作，实现复杂人体动作的分类，从而满足智能家居应用场景中对老人、小孩跌倒的及时告警。但是由于毫米波雷达在采集人体动作数据时，环境中存在静态物体等背景杂波的影响，造成人体动作多普勒图像数据噪点多、杂，从而影响后续人体动作分类的准确率。为了降低环境噪声因素对于人体动作数据的影响，需要在卷积神经网络对于图像进行分类前对图像进行去噪，提高目标识别的适用性和准确率。

现有技术中常用的图像去噪算法大体上可分为两类，即空域像素特征去噪算法和变换域去噪算法。前者直接在图像空间中进行处理，后者则是间接地在图像变换域中进行处理。这些方法通过某种特定的数学算法实现对噪声的抑制。然而，这种使用平均的方法抑制噪声的同时可能会引起图像细节信息的损坏。此外，在某些情况下，噪声可能严重覆盖了图像中本身的细节信息，使用常规的去噪算法还原真实的图像细节便十分困难。因此，本发明针对上述去噪方法的不足，提供了一种基于卷积自编码器的图像去噪方法。

发明内容

针对现有技术的不足，本发明提供了一种人体动作多普勒特征图去噪分类方法，解决了上述背景技术中提出的由于背景噪声引起的人体动作分类准确率较低的问题。旨在通过大量的加噪图像及对应的原始图像集训练卷积自编码器，以便自编码器获得对原始图像的内容的理解、判断和预测功能，待训练完成后，将待处理的模糊图像输入自编码器，网络会自动添加补全有意义的细节，相较于传统的图像去噪算法，本方法可以有效去除叠加在多普勒特征图上的背景噪声，提高去噪后图像和原图像的图片结构相似性,保留包含绝大部分人体动作特征，降低因环境因素引起的对图像分类等步骤的影响,提高人体动作识别的适用性和准确率。

为实现以上目的，本发明通过以下技术方案予以实现：一种人体动作多普勒特征图去噪分类方法，包括以下步骤：

S1.使用调频连续波毫米波雷达采集人体动作雷达数据并对采集的数据进行预处理，并生成多普勒特征图数据集；

S2.构建去噪模型，并从步骤S1中生成的多普勒特征图数据集中选取高信噪比数据作为基准，对所述高信噪比数据添加噪声并训练去噪模型，通过完成训练后的去噪模型处理后得到去噪后的数据；

S3.构建分类识别模型，采用步骤S2中的去噪模型进行去噪处理并使用去噪后的数据训练分类识别模型；

S4.根据上述步骤S1、S2、S3，采集待测人体动作雷达数据并生成雷达多普勒特征图，调用训练好的去噪模型以及分类识别模型即实现人体动作分类。

所述分析步骤S1中使用调频连续波雷达连续发射多帧复信号照射目标并接收由目标反射回来的信号，将发射信号和接收信号进行下变频混频后得到实际处理的中频信号。

雷达发射信号和接收信号均为复信号，发射信号可以表示为：

其中，A表示信号的幅值，f_T表示发射信号的频率，

表示发射信号初始相位；

接收信号可以看做具有一个时延τ的发射信号，因此可以表示为：

其中，T表示原信号幅值的增益，f_R表示接收信号的频率，

表示接收信号的相位；

最终实际处理的信号为发射信号和接收信号的下变频混频信号，也称作中频信号，即：

其中，f_IF＝f_T-f_R表示中频信号的频率，

表示中频信号的相位。

优选地，所述分析步骤S1中从不同距离下采集雷达数据，构建具有不同噪声水平的雷达数据集。

优选地，所述分析步骤S1中通过MTI脉冲相消算法消除固定目标和静态杂波，将连续两个发射信号的回波相减进而保留运动目标的信息，获得滤除杂波后的中频信号。

优选地，所述分析步骤S1中由雷达数据生成多普勒特征图的方法在于，调频连续波雷达在一定时间内连续发射K个帧，每个帧由M个持续时间为T_c的啁啾信号组成。对每个啁啾信号以F_s的采样率采样N个点，将每一帧所有的采样数据排列成N×M的数据矩阵。分别对N维距离维以及M维速度维进行FFT操作，获得距离-多普勒谱图，最后，对K帧数据重复上述操作并在距离维度进行累加，保留速度维度和时间维度可以得到多普勒特征图。

由于需要训练的数据为图像数据，当使用标准的神经网络训练模型时，会对数据进行切片或是堆叠操作，因而忽略了图像数据相邻像素点之间的空间关系，使得大量信息丢失。卷积自编码器作为无监督神经网络，不对数据进行堆叠操作，从而保留了图像数据的空间信息，进而在卷积层中提取特征。卷积自编码器可以通过编码器将图像编码为低维表示，再使用解码器将该低维表示解码回图像。

优选地，所述分析步骤S2中训练去噪模型时所使用的数据为雷达采集的高信噪比数据以及添加了不同水平噪声的对应数据。将所述数据按照上述步骤S1中产生多普勒特征图的方法构建多普勒特征图像集合。

优选地，所述分析步骤S2中构建了一个简单的卷积自编码器，包括编码器和解码器，其中，编码器由P个卷积层连接而成，卷积层用于图像特征提取；解码器由P个卷积层连接而成，解码器中的卷积层和编码器中的卷积层卷积核数量相同、顺序相反。训练时直接将图像数据以原尺寸输入编码器，卷积层将通过卷积核逐行扫描提取特征，经过编码器后的图像以低维数据表示，该低维数据经过解码器重构后输出图像数据。

优选地，所述分析步骤S2中训练去噪模型的关键在于通过高信噪比图像集以及添加了不同噪声水平的对应图像训练卷积自编码器，以便自编码器获得对原始图像的内容的理解、判断和预测功能，模型训练完成后，将待处理的模糊图像输入自编码器，网络会自动添加补全有意义的细节，从而输出去噪后的图像结果。

所述分析步骤S3中训练分类模型所需的数据为上述分析步骤S1中从不同距离下采集的数据，将所述数据按照上述步骤S1中产生多普勒特征图的方法构建多普勒特征图像集合并对不同动作特征图标注好标签。

优选地，所述分析步骤S3中构建了一个卷积神经网络用于人体动作分类，其包括Q层卷积层、R层池化层以及全连接层，卷积层用于提取经过步骤S4后去噪图像中的特征，卷积操作使得网络不仅仅对某一个像素点单独处理，而是对一小块区域进行联合处理，便于网络加深对于图像特征的理解；池化层用于降低卷积层输出的特征维度，在保留信息的同时对图像进行下采样，减少网络参数的同时可以防止过拟合；全连接层的作用是根据网络学习到的图像特征将输入判别到某一类中实现最终的动作分类。

所述分析步骤S3中利用不同人体动作的多普勒特征及对应的标签训练卷积神经网络，获得人体动作识别模型。

应用时，按照上述步骤S1、S2、S3采集人体动作雷达数据并生成雷达多普勒特征图，调用训练好的去噪模型以及分类模型即可实现人体动作分类。

有益效果

与未经过去噪的图像相比，本发明提供的基于卷积自编码器的人体动作多普勒特征图去噪处理方法可以有效去除叠加在多普勒特征图上的背景噪声，提高去噪后图像和原图像的图片结构相似性,保留包含绝大部分人体动作特征，降低因环境因素引起的对图像分类等步骤的影响,提高人体动作识别的适用性和准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例采用的设备系统框图；

图2为本发明实施例提供的雷达原始信号采集处理流程框图；

图3为本发明实施例中通过接收到的雷达信号获得多普勒特征图的流程框图；

图4为本实施例中雷达数据经过两次FFT的操作过程示意图；

图5为本发明实施例中提出的基于卷积自编码器的人体动作多普勒特征图去噪处理方法流程框图；

图6为自编码器模型的工作流程图；

图7为不同人体动作分类的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明提供了一种人体动作多普勒特征图去噪分类方法：包括以下步骤：

S1.使用调频连续波毫米波雷达采集人体动作雷达数据并对采集的数据进行预处理，并生成多普勒特征图数据集；

S2.构建去噪模型，并从步骤S1中生成的多普勒特征图数据集中选取高信噪比数据作为基准，对所述高信噪比数据添加噪声并训练去噪模型，通过完成训练后的去噪模型处理后得到去噪后的数据；

S3.构建分类识别模型，采用步骤S2中的去噪模型进行去噪处理并使用去噪后的数据训练分类识别模型；

S4.根据上述步骤S1、S2、S3，采集待测人体动作雷达数据并生成雷达多普勒特征图，调用训练好的去噪模型以及分类识别模型即实现人体动作分类。

如图1所示，本实施例采用的设备系统包括调频连续波毫米波雷达、数据捕捉模块以及PC终端。其中，毫米波雷达用于雷达信号的发射和接收，在设定时间长度内连续发射多帧啁啾信号，并接收由人体反射回来的信号；雷达发射信号和接收信号均为复信号，发射信号可以表示为：

其中，A表示信号的幅值，f_T表示发射信号的频率，

表示发射信号初始相位；

接收信号可以看做具有一个时延τ的发射信号，因此可以表示为：

其中，T表示原信号幅值的增益，f_R表示接收信号的频率，

表示接收信号的相位；

最终实际处理的信号为发射信号和接收信号的下变频混频信号，也称作中频信号，即：

其中，f_IF＝f_T-f_R表示中频信号的频率，

表示中频信号的相位。

数据捕捉模块用于从雷达传感器模块捕获LVDS数据；最后捕获的数据通过1Gbps以太网实时流式传输到PC终端，可以进行后续的算法开发。

如图2所示，本实施例提供的雷达信号采集处理流程包括以下步骤：

基于调频连续波毫米波雷达的人体动作原始数据采集，具体实施过程为分别采集人体距离雷达2m、4m、6m和8m处不同动作原始数据，以2m处的雷达数据作为高信噪比的基准数据。通过MTI脉冲相消算法消除固定目标和静态杂波，将连续两个发射信号的回波相减进而保留运动目标的信息，获得滤除杂波后的中频信号。

图3为雷达信号获得多普勒特征图的过程。

如图4所示，为本实施例中雷达数据经过两次FFT的操作过程示意图，雷达传感器在一定时间内连续发射K个帧，每个帧由M个持续时间为T_c的啁啾信号组成。对每个啁啾信号以F_s的采样率采样N个点，将每一帧所有的采样数据排列成N×M的数据矩阵。

1D-FFT也叫距离维FFT，是指对每个啁啾信号采样N个点，对这N个点进行一次FFT变换求得峰值所在单元，对M个啁啾信号重复以上操作，其中峰值所在单元表示一个距离单元，即图4中经过1D-FFT后的结果中的阴影方格，代表距雷达不同的距离值，最终生成一个N×M的距离时间块；2D-FFT也叫速度维FFT，是指对上述经过1D-FFT后确定的距离时间块中的每一列距离单元进行一次FFT变换并求得峰值所在单元，由此可以得到不同的速度单元，即图4中经过2D-FFT后的结果图中的阴影方格，表示在不同距离处的不同速度值。最后，对K帧数据重复上述操作并在距离维度进行累加，保留速度维度和时间维度可以得到多普勒特征图。

如图5所示，为本实施例中提出的基于卷积自编码器的人体动作多普勒特征图去噪处理方法流程框图。具体实施过程包括以下步骤：

(1)对原始人体动作多普勒特征图添加噪声；

(2)使用加噪图像和对应原始图像训练卷积自编码器模型；

(3)将待去噪的图像输入训练好的自编码器模型中；

(4)输出经过去噪后的图像。

在本实施例中，由于距离拉远从而导致背景噪声增大，为了有效训练自编码器模型，选取2m处所有多普勒特征图作为原始图像，通过手动添加4组不同信噪比的高斯白噪声作为对应的加噪图像，将所有的原始图像及其对应的加噪图像以相同的顺序随机打乱，并分别取前80％的数据作为训练集，剩下的20％作为验证集。

图6为自编码器模型的工作流程图。自编码器通过如下方式获得：

本实施例中构建了一个简单的卷积自编码器，包括编码器和解码器，其中，编码器由2个卷积层连接而成，第一层由16个3×3的卷积核组成，第二层由8个3×3的卷积核组成，卷积层用于图像特征提取；解码器由2个卷积层连接而成，解码器中的卷积层和编码器中的卷积层卷积核数量顺序相反。训练时直接将图像数据以原尺寸输入编码器，卷积层将通过卷积核逐行扫描提取特征，经过编码器后的图像以低维数据表示，该低维数据经过解码器重构后输出图像数据。通过大量的加噪图像及对应的原始图像集训练自编码器，以便自编码器获得对原始图像的内容的理解、判断和预测功能，模型训练完成后，将待处理的模糊图像输入自编码器，网络会自动添加补全有意义的细节，从而输出去噪后的结果。

利用上述选取的80％的数据集作为训练样本，将卷积自编码器的重构输出与输入图像之间的均方误差作为损失函数，均方误差MSE的公式如下所示：

其中，n为样本个数，Y_i和

分别代表真实值和预测值，

通过不断计算损失函数来进行网络参数的迭代，使得输入输出图像之间的重构误差收敛，完成模型的训练。

完成模型训练后，则固定当前的网络参数，令当前状态为去噪状态。分别将4m、6m、8m处的动作多普勒特征图像作为待去噪的图像输入，自编码器模型会根据上述训练过程处理加噪图像从而输出去噪后的结果。

图7为不同人体动作分类的流程图。

本实施例中构建了一个卷积神经网络用于人体动作分类，其包括2层卷积层、2层池化层以及全连接层，第一层卷积层由16个3×3的卷积核组成，第二层由16个3×3的卷积核组成，卷积层用于提取经过步骤S4后去噪图像中的特征，卷积操作使得网络不仅仅对某一个像素点单独处理，而是对一小块区域进行联合处理，便于网络加深对于图像特征的理解；池化层用于降低卷积层输出的特征维度，在保留信息的同时对图像进行下采样，减少网络参数的同时可以防止过拟合；全连接层的作用是根据网络学习到的图像特征将输入判别到某一类中实现最终的动作分类。具体地，在训练卷积神经网络时，采用交叉熵损失函数量化两个概率分布之间差异，从而优化网络的权重和偏置：

应用时，将动作多普勒特征图像输入卷积神经网络用以训练，网络将学习不同动作的特征信息，后续将待分类的图像输入后，网络将经过计算输出分类结果。

本实验例中，所使用的数据集是来自常规室内环境下6位实验对象所做的5种动作，包括弯腰、踢腿、击拳、站立-坐下、行走，将所有动作多普勒特征图像数据划分为70％的训练集和30％的测试集，由于划分前对数据进行打乱操作，所以不保证每种动作所占的比例，可以提高模型对不同动作的鲁棒性。

本实验例中采用了两种方法验证提供的方法的有效性，其一是将4m、6m、8m处的多普勒图像分别划分成70％的训练集和30％的测试集，独立地使用不同距离下的数据训练网络并使用测试集测试，对比去噪前后的分类效果；其二是从4m、6m、8m处的多普勒图像中分别取出70％进行整合后构成训练集训练模型，分别使用不同距离下的测试数据进行测试，对比去噪前后的分类效果。

表1方法一去噪前后平均分类准确率

	4m	6m	8m
				去噪前	86.25％	86.11％	85.00％
去噪后	89.45％	88.20％	87.36％

表2方法二去噪前后平均分类准确率

	4m	6m	8m
				去噪前	83.47％	83.89％	83.75％
去噪后	85.55％	86.39％	85.28％

实验结果表明，本发明提供的一种基于卷积自编码器的人体动作多普勒图像去噪处理方法可有效去除叠加在多普勒特征图像上的背景噪声，提高去噪后图像和原图像的图片结构相似性,保留包含绝大部分人体动作的特征，降低因环境因素引起的对图像分类等步骤的影响,提高人体动作识别的适用性和准确率。实验数据可以体现出本发明提供的去噪方法可以将去噪后的平均分类准确率相较于去噪前的结果提高2％～3％左右。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人体动作多普勒特征图去噪分类方法，其特征在于，包括以下步骤：

S1.使用调频连续波毫米波雷达采集人体动作雷达数据并对采集的数据进行预处理，并生成多普勒特征图数据集；

S2.构建去噪模型，并从步骤S1中生成的多普勒特征图数据集中选取高信噪比数据作为基准，对所述高信噪比数据添加噪声并训练去噪模型，通过完成训练后的去噪模型处理后得到去噪后的数据；

S3.构建分类识别模型，采用步骤S2中的去噪模型进行去噪处理并使用去噪后的数据训练分类识别模型；

S4.根据上述步骤S1、S2、S3，采集待测人体动作雷达数据并生成雷达多普勒特征图，调用训练好的去噪模型以及分类识别模型即实现人体动作分类。

2.根据权利要求1所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述步骤S1中采集人体动作雷达数据的方法为：使用调频连续波雷达连续发射多帧复信号照射目标并接收由目标反射回来的信号。

3.根据权利要求2所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述步骤S1中人体动作雷达数据的预处理方法为：将发射信号和接收信号进行下变频混频后得到实际处理的中频信号，

雷达发射信号和接收信号均为复信号，发射信号可以表示为：

其中，A表示信号的幅值，f_T表示发射信号的频率，

表示发射信号初始相位；

接收信号是具有一个时延τ的发射信号，因此可以表示为：

其中，T表示原信号幅值的增益，f_R表示接收信号的频率，

表示接收信号的相位；

最终实际处理的信号为发射信号和接收信号的下变频混频信号，也称作中频信号，即：

其中，f_IF＝f_T-f_R表示中频信号的频率，

表示中频信号的相位。

4.根据权利要求3所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述步骤S1中人体动作雷达数据的预处理方法还包括：通过MTI脉冲相消算法消除固定目标和静态杂波，将连续两个发射信号的回波相减进而保留运动目标的信息，获得滤除杂波后的中频信号。

5.根据权利要求1所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述步骤S1中人体动作雷达数据从不同距离下采集雷达数据，构建具有不同噪声水平的雷达数据集。

6.根据权利要求3所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述步骤S1中生成多普勒特征图的方法为：调频连续波雷达在一定时间内连续发射K个帧，每个帧由M个持续时间为T_c的啁啾信号组成，对每个啁啾信号以F_s的采样率采样N个点，将每一帧所有的采样数据排列成N×M的数据矩阵，分别对N维距离维以及M维速度维进行FFT操作，获得距离-多普勒谱图，最后，对K帧数据重复上述操作并在距离维度进行累加，保留速度维度和时间维度可以得到多普勒特征图。

7.根据权利要求1所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述去噪模型为卷积自编码器，包括编码器和解码器，所述编码器由P个卷积层连接而成，卷积层用于图像特征提取；解码器由P个卷积层连接而成，解码器中的卷积层的卷积核与编码器卷积层的卷积核数量相同、顺序相反；

所述去噪模型的训练：直接将多普勒特征图以原尺寸输入编码器，卷积层将通过卷积核逐行扫描提取特征，经过编码器后的图像以低维数据表示，该低维数据经过解码器重构后输出去噪后的图像数据。

8.根据权利要求5所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述分类识别模型为卷积神经网络，包括卷积层用于提取经过步骤S2去噪后图像中的特征；池化层用于降低卷积层输出的特征维度，在保留信息的同时对图像进行下采样，减少网络参数的同时可以防止过拟合；全连接层的作用是根据网络学习到的图像特征将输入判别到某一类中实现最终的动作分类。

9.根据权利要求8所述的人体动作多普勒特征图去噪分类方法，其特征在于，所述分类识别模型的训练：训练分类识别模型所需的数据为所述步骤S1中从不同距离下采集的数据，将从不同距离下采集的数据按生成多普勒特征图的方法构建多普勒特征图像集合，并根据不同距离对多普勒特征标注好标签，利用不同人体动作的多普勒特征及对应的标签训练卷积神经网络，完成分类识别模型的训练。

Images