CN115616566A

CN115616566A - 一种基于fmcw毫米波雷达的步态识别方法、系统及存储介质

Info

Publication number: CN115616566A
Application number: CN202211245455.0A
Authority: CN
Inventors: 韩崇; 徐龙华; 严军荣; 赵忠
Original assignee: Sunwave Communications Co Ltd
Current assignee: Sunwave Communications Co Ltd
Priority date: 2022-10-12
Filing date: 2022-10-12
Publication date: 2023-01-17

Abstract

本发明公开了一种基于FMCW毫米波雷达的步态识别方法、系统及存储介质，其方法包括步骤：构建毫米波雷达回波数据矩阵；提取数据矩阵的微多普勒时频谱图像特征；预处理微多普勒时频谱图像；对微多普勒时频谱进行图像分割；使用聚类算法训练数据；根据聚类结果进行步态识别。本发明解决了相关技术中毫米波雷达信号噪声导致的频谱图准确率低以及深度学习过拟合的问题。

Description

一种基于FMCW毫米波雷达的步态识别方法、系统及存储介质

技术领域

本发明属于智慧安防技术领域，特别是涉及一种基于FMCW毫米波雷达的步态识别方法、系统及存储介质。

背景技术

步态识别是一种新兴的生物特征识别技术，旨在从相同的行走行为中寻找和提取个体之间的变化特征，以实现人员自动的身份识别。目前，基于光学图像的步态识别技术在智慧安防、视频监控、智慧警务等领域具有广泛应用。但是，这种技术存在诸多局限，如监控拍摄的视角变化导致捕捉到同一对象的表征明显变化，以及在现实场景中易受到光线、天气等干扰。

毫米波雷达检测与摄像头、激光雷达、红外传感器等检测方法相比，有着检测范围广，不易受到光线、天气、热源等使用条件限制的优势，且极大地提高了观测对象的隐私保护程度。目前毫米波雷达已广泛应用于人体动作识别。在毫米波雷达回波的微多普勒谱中，包含着丰富的人体运动特征信息，如肢体运动频率、躯干微多普勒频率等物理特征，这些物理特征可以有助于提高人体运动特征识别准确度。但是在毫米波雷达人体检测应用中，仅从微多普勒时频谱图提取特征进行动作识别时，识别结果准确率达不到预期效果，而将深度学习应用于人体动作识别中，虽然识别准确率得到提高，但深度学习要求数据量巨大，训练时间过长，在面对训练样本数量不足时容易产生过拟合。

为了解决毫米波雷达信号噪声导致的频谱图准确率低以及深度学习过拟合的问题，提出一种基于FMCW毫米波雷达的步态识别方法、系统及存储介质。

发明内容

本发明实施例提出一种基于FMCW毫米波雷达的步态识别方法、系统及存储介质，以至少解决相关技术中毫米波雷达信号噪声导致的频谱图准确率低以及深度学习过拟合的问题。

根据本发明的一个实施例，提供了一种基于FMCW毫米波雷达的步态识别方法，包括：

构建毫米波雷达回波数据矩阵；

提取数据矩阵的微多普勒时频谱图像特征；

预处理微多普勒时频谱图像；

对微多普勒时频谱进行图像分割；

使用聚类算法训练数据；

根据聚类结果进行步态识别。

在一个示例性实施例中，所述构建毫米波雷达回波数据矩阵，包括步骤：

使用毫米波雷达采集不同测试人员不同步态下的雷达回波原始数据；

对雷达回波原始数据进行采样，将FMCW雷达回波数据表示为二维矩阵S(n,m)，其中n＝0,1,…,N-1,m＝0,1,…,M-1，N是雷达在一个调频周期内的采样点数，M是总的调频周期个数。

在一个示例性实施例中，所述提取数据矩阵的微多普勒时频谱图像特征，包括步骤：

对矩阵S(n,m)的每一列进行离散傅里叶变换得到矩阵R(k,m)，对矩阵R(k,m)进行动目标显示滤波预处理，取模得到距离时间图像；

叠加距离时间图像中的距离单元信号得到矩阵

对矩阵D(m)进行短时傅里叶变换得到矩阵T(p,q)，以此得到微多普勒时频谱图像；

对矩阵R(k,m)的每一行进行离散傅里叶变换得到矩阵V(k,l)，对矩阵V(k,l)取模可得到距离多普勒图像。

在一个示例性实施例中，所述预处理微多普勒时频谱图像，包括步骤：

获取空房间以及非空房间两种情况下的距离多普勒图像；

对空房间和非空房间的距离多普勒图像进行归一化处理后得到归一化直方图；

比较两个归一化直方图得到存在偏正态分布且相对功率低的噪声并计算噪声阈值；

将微多普勒时频谱图像的下限阈值设为噪声阈值。

在一个示例性实施例中，所述对微多普勒时频谱进行图像分割，包括步骤：

以发射超声波的频率为中心选取窗口；

将获得的时频谱图缩放为对数刻度并进行归一化；

将归一化后的时频谱图分割为不同的事件；

计算每个事件的频率分量为时频谱图在事件期间随时间叠加的频率幅度。

在一个示例性实施例中，所述将归一化后的时频谱图分割为不同的事件包括按照预设的事件长度按照顺序将时频谱图分割不同的事件、计算时频谱图的相似度并将相似度高于设定阈值的时频谱图分割为同一事件的任一项或多项组合。

在一个示例性实施例中，所述使用聚类算法训练数据，包括步骤：

将所有数据平均分为训练集和测试集；

事件表示为X＝(x₁,x₂…x_e)，其中e表示时频谱图等分的数量；

将训练集中一个类别的所有事件作为训练数据集；

对每一个事件X，分别计算该事件到每一个集群中心的的欧式距离，将事件X划分给欧式距离最短的集群；

根据集群中事件的数量重新计算每个集群的中心；

将调整后的中心点作为集群中心，重复上述步骤直到集群不再改变。

在一个示例性实施例中，所述根据聚类结果进行步态识别，包括步骤：

令最近邻算法的阈值为最佳集群数量n；

对测试集中每一个数据的所有测试事件，分别计算其与m个类别的n个集群中心点的欧式距离，则对于每一个事件，得到m×n个值；

对于同一测试数据，分别计算该数据的每个事件到每个类别原型的平均距离，则得到m个平均值；

对于每个类别，分别计算该测试数据所有事件到该类别原型的距离之和，则最小值代表的类别即该测试数据分类结果；

重复上述步骤，得到每个测试数据的分类结果，即为步态识别的结果。

根据本发明的另一个实施例，提供了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使计算机执行上述方法。

根据本发明的另一个实施例，提供了一种基于FMCW毫米波雷达的步态识别系统，包括：

数据获取单元；

处理器；

存储器；

以及

一个或多个程序，其中所述一个或多个程序被存储在存储器中，并且被配置成由所述处理器执行，所述程序使计算机执行上述方法。

本发明的基于FMCW毫米波雷达的步态识别方法、系统及存储介质具有的优点是：

(1)提取数据矩阵的微多普勒时频谱图像特征并通过预处理微多普勒时频谱图像减小噪声，可以有效去除所有静态物体反射频率影响，提高步态识别数据的准确性。

(2)对微多普勒时频谱进行图像分割得到不同的事件及各事件的频率分量，将三维图像转化为二维，便于后续适用聚类算法得到更有效的分类结果。

(3)通过FMCW雷达信号构建二维矩阵，使用k均值聚类算法训练数据并通过最近邻算法进行步态识别，不仅检测范围广，不易受到光线、天气、热源等使用条件限制，而且可以有效实现无监督的机器学习，避免深度学习过拟合的问题。

附图说明

图1是本发明实施例的一种基于FMCW毫米波雷达的步态识别方法的流程图；

图2是本发明实施例的子步骤S01的流程图；

图3是本发明实施例的子步骤S02的流程图；

图4是本发明实施例的子步骤S03的流程图；

图5是本发明实施例的子步骤S04的流程图；

图6是本发明实施例的子步骤S05的流程图；

图7是本发明实施例的子步骤S06的流程图；

图8是本发明实施例的一种基于FMCW毫米波雷达的步态识别系统结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例的一种基于FMCW毫米波雷达的步态识别方法，流程图如图1所示，包括步骤：

步骤S01、构建毫米波雷达回波数据矩阵；

步骤S02、提取数据矩阵的微多普勒时频谱图像特征；

步骤S03、预处理微多普勒时频谱图像；

步骤S04、对微多普勒时频谱进行图像分割；

步骤S05、使用聚类算法训练数据；

步骤S06、根据聚类结果进行步态识别。

在一个示例性实施例中，所述步骤S01，流程图如图2所示，包括：

步骤S011、使用毫米波雷达采集不同测试人员不同步态下的雷达回波原始数据；

步骤S012、对雷达回波原始数据进行采样，将FMCW雷达回波数据表示为二维矩阵S(n,m)，其中n＝0,1,…,N-1,m＝0,1,…,M-1，N是雷达在一个调频周期内的采样点数，M是总的调频周期个数。

本实施例中，将采集模块放置在1.5米高度，测试人员以6km/h的速度行走在距离采集模块2.5米的跑步机上，测试人员面向采集模块。对于每个测试人员，采集10次数据，每次持续10s，共m个测试人员。需要注意的是，使用毫米波雷达采集多个测试人员的数据，通过跑步机使得每个测试人员每次行走速度相同，相对雷达距离大致相同，以保证不会出现运动方位带来的变化。对采集的雷达回波原始数据进行采样，设10s的数据中包含M个扫频周期，每个扫频周期T内有N个采样点，将雷达回波采样数据表示为二维矩阵S(n,m)，其中n＝0,1,…,N-1,m＝0,1,…,M-1。

在一个示例性实施例中，所述步骤S02，流程图如图3所示，包括：

步骤S021、对矩阵S(n,m)的每一列进行离散傅里叶变换得到矩阵R(k,m)，对矩阵R(k,m)进行动目标显示滤波预处理，取模得到距离时间图像；

步骤S022、叠加距离时间图像中的距离单元信号得到矩阵

步骤S023、对矩阵D(m)进行短时傅里叶变换得到矩阵T(p,q)，以此得到微多普勒时频谱图像。

步骤S024、对矩阵R(k,m)的每一行进行离散傅里叶变换得到矩阵V(k,l)，对矩阵V(k,l)取模可得到距离多普勒图像。

本实施例中，将FMCW雷达回波数据表示为二维矩阵S(n,m)，其中n＝0,1,…,N-1,m＝0,1,…,M-1，N和M分别是雷达在一个调频周期内的采样点数和总的调频周期个数。对矩阵S(n,m)的每一列进行离散傅里叶变换得到

其中：变量k＝0,1,…,N-1包含探测目标距离雷达天线的距离信息。对矩阵R(k,m)进行动目标显示滤波预处理，取模得到距离时间图像。图像的纵轴为距离轴，图像的每一列对应一维目标距离像；图像的横轴为时间轴。

FMCW雷达距离分辨率ΔR为

其中：B为FMCW雷达的信号带宽，C₀为电磁波在空气中的传播速度。对根据式(1)得到的距离时间图像中感兴趣的距离单元信号进行相加得到

其中：k₁与k₂为所设置距离门的最小和最大限制。如人体目标距离雷达的范围为0-4.5m，距离分辨率为ΔR，则k₁与k₂取值分别为0与4.5/ΔR。

对D(m)进行短时傅里叶变换得到

其中：g(m)为汉明窗函数；p为窗函数移动的索引值，窗函数每次移动时对应的数据重叠率为95％。根据T(p,q)可以得到微多普勒时频谱图像。

对式(1)中的矩阵R(k,m)的每一行进行离散傅里叶变换得到

其中：变量l＝0,1,…,M-1为目标的多普勒频率信息。对矩阵V(k,l)取模可得到距离多普勒图像。图像的纵轴为距离轴，横轴为多普勒频率轴。

在一个示例性实施例中，所述步骤S03，流程图如图4所示，包括：

步骤S031、获取空房间和非空房间两种情况下的距离多普勒图像；

步骤S032、对空房间和非空房间的距离多普勒图像进行归一化处理后得到归一化直方图；

步骤S033、比较两个归一化直方图得到存在偏正态分布且相对功率低的噪声并计算噪声阈值；

步骤S034、将微多普勒时频谱图像的下限阈值设为噪声阈值。

本实施例中，对于同一个房间，测试空房间以及非空房间(人员活动)两种情况下，距离多普勒图像的归一化直方图。比较这组图，可以发现空房间情况的图能够显示存在偏正态分布且相对功率低于某个阈值的噪声，即为噪声阈值。设置该噪声阈值为下限阈值以过滤偏斜正态分布的噪声，从而去除所有静态物体反射频率影响。

在一个示例性实施例中，所述步骤S04，流程图如图5所示，包括步骤：

步骤S041、以发射超声波的频率为中心选取窗口；

步骤S042、将获得的时频谱图缩放为对数刻度并进行归一化；

步骤S043、将归一化后的时频谱图分割为不同的事件；

步骤S044、计算每个事件的频率分量为时频谱图在事件期间随时间叠加的频率幅度。

本实施例中，以发射超声波的频率为中心，选取窗口为+/-600Hz。将获得的频谱图缩放为对数刻度并进行归一化以保持幅度值高于频谱图最大幅度的一半。将频谱图分割为感兴趣的事件，事件长度设置为135毫秒。在本发明中每个文件长度为10s，则每个文件大约有74个事件。对当前频谱图在频率刻度上划分为100等份，将每个频率的幅度在一个事件期间随时间相加，从而给出每个事件的每个频率分量。

在一个示例性实施例中，所述将归一化后的时频谱图分割为不同的事件包括按照预设的事件长度按照顺序将时频谱图分割不同的事件(见上述实施方式)、计算时频谱图的相似度并将相似度高于设定阈值的时频谱图分割为同一事件的任一项或多项组合。

本实施例中，所述计算时频谱图的相似度并将相似度高于设定阈值的时频谱图分割为同一事件是根据时频谱图的频率相似性和/或幅度相似性和/或相位相似性计算相似度并将相似度高于设定阈值的时频谱图分割为同一事件。

所述频率相似性是根据时频谱图的频率偏差平均值或频率偏移方差的任一项与频率相似性的正相关关系计算得到，用变量p表示。

所述幅度相似性是根据时频谱图的幅度偏差平均值或幅度偏移方差的任一项与幅度相似性的正相关关系计算得到，用变量q表示。

所述相位相似性是根据时频谱图的相位偏差平均值或相位偏移方差的任一项与相位相似性的正相关关系计算得到，用变量w表示。

所述根据时频谱图的频率相似性和/或幅度相似性和/或相位相似性计算相似度，是：根据时频谱图的频率相似性与相似度的正相关关系计算相似度、根据时频谱图的幅度相似性与相似度的正相关关系计算相似度、根据时频谱图的相位相似性与相似度的正相关关系计算相似度、根据时频谱图的频率相似性和幅度相似性与相似度的正相关关系计算相似度、根据时频谱图的频率相似性和相位相似性与相似度的正相关关系计算相似度、根据时频谱图的幅度相似性和相位相似性与相似度的正相关关系计算相似度、根据时频谱图的频率相似性和幅度相似性和相位相似性与相似度的正相关关系计算相似度任一项，语义关联度值用变量z表示。

表A中A1～A7表示计算相似度的不同实施方式，其中表A中涉及的时频谱图的频率相似性p、时频谱图的幅度相似性q、时频谱图的相位相似性w采用上述实施方式中的公式得到。

表A 计算相似度的不同实施方式

本实施例中，事先设置的阈值Z＝0.7，若根据表A中任一项计算得到两个时频谱图的相似度z(例如A7)>Z，则判定这两个时频谱图分割为同一事件。

在一个示例性实施例中，所述步骤S05，流程图如图6所示，包括：

步骤S051、将所有数据平均分为训练集和测试集；

步骤S052、事件表示为X＝(x₁,x₂…x_e)，其中e表示时频谱图等分的数量，用a_i表示此事件中第i等份频率处的幅值；

步骤S053、将训练集中一个类别的所有事件作为训练数据集；

步骤S054、对每一个事件X，分别计算该事件到每一个集群中心的的欧式距离，将事件X划分给欧式距离最短的集群；

步骤S055、根据集群中事件的数量重新计算每个集群的中心；

步骤S056、将调整后的中心点作为集群中心，重复上述步骤直到集群不再改变。

本实施例中，时频谱图等分的数量e＝100，则事件表示为数据X＝(x₁,x₂…x₁₀₀)，其中a_i表示此事件中第i等份频率处的幅值。将训练集中一个类别(同一测试人员的文件)的所有事件作为训练数据集。设k＝15，即将这些事件分成15个集群。

首先进行初始化，随机抽取15个事件作为15个集群的种子。记为Y＝(y₁,y₂…y₁₀₀)。

接着对每一个事件X，分别计算该事件到每一个集群中心的Y的欧式距离

在事件X到每个集群的距离中选择最短距离，将X划分给该集群。

重新计算每个集群的中心：设集群A有n个事件，事件X_j＝(x_1j,x_2j…x_100j)，则新的中心点

使用调整后的中心点重复聚类过程，直到集群无变化。则得到的15个中心点为该类别具有代表性的点。将这15个事件拼接，得到代表该类别的一组原型。

对其他类别依次重复上述步骤，得到每个类别的原型。

在一个示例性实施例中，对不同数量的集群(从5到70，步长为5)重复聚类过程，当通过k均值聚类方法得到的原型最接近原始时频图，且各类别原型区别最大时得到最佳值。

在一个示例性实施例中，所述步骤S06，流程图如图7所示，包括：

步骤S061、令最近邻算法的阈值为聚类后的集群数量；

步骤S062、对测试集中每一个数据的所有测试事件，分别计算其与m个类别的n个集群中心点的欧式距离，则对于每一个事件，得到m×n个值；

步骤S063、对于同一测试数据，分别计算该数据的每个事件到每个类别原型的平均距离，则得到m个平均值；

步骤S064、对于每个类别，分别计算该测试数据所有事件到该类别原型的距离之和，则最小值代表的类别即该测试数据分类结果；

步骤S065、重复上述步骤，得到每个测试数据的分类结果，即为步态识别的结果。

本实施例中，令最近邻算法的阈值为步骤5中获得的最佳集群数量n，对测试集中每一个数据的所有测试事件，分别计算其与m个类别的n个集群中心点的欧式距离，则对于每一个传入事件，得到m×n个值；对于同一测试数据，分别计算该数据的每个事件到每个类别原型的平均距离，则得到m个平均值；对于每个类别，分别计算该测试数据所有事件到该类别原型的距离之和，则最小值代表的类别即该测试数据分类结果；重复上述步骤，得到每个测试数据的分类结果，即为步态识别的结果。

本发明实施例的一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使计算机执行上述方法。

本发明实施例的一种基于FMCW毫米波雷达的步态识别系统，结构示意图如图8所示，包括：

数据获取单元；

处理器；

存储器；

以及

当然，本技术领域中的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非作为对本发明的限定，只要在本发明的范围内，对以上实施例的变化、变型都将落入本发明的保护范围。