CN115937977A - 一种基于多维特征融合的少样本人体动作识别方法 - Google Patents

Abstract

一种基于多维特征融合的少样本人体动作识别方法，首先对各种动作的中频信号进行背景帧差处理，消除静态目标和杂波干扰，然后进行二维傅里叶变换和三维傅里叶变换，得到距离‑速度信息和距离‑多普勒‑方位信息，再将距离‑速度信息在速度维方向进行投影压缩，得到微多普勒时频图，同时将距离‑多普勒‑方位信息进行视角提取得到距离‑方位图；为了减小网络计算量，进一步将微多普勒时频图和距离方位图均转化成二值图像，并按照设定比例划分为训练验证集和测试集；最后基于度量学习设计了双流特征融合的残差原型网络以提取人体动作的多维特征，训练出最优模型并测试，实现了少样本条件下的人体动作识别。本发明提高了动作识别的准确度。

Description

一种基于多维特征融合的少样本人体动作识别方法

技术领域

本发明涉及人体动作识别领域，尤其涉及一种基于多维特征融合的少样本人体动作识别方法。

背景技术

近年来，随着机器学习、神经网络等人工智能技术的快速发展，人体动作识别技术已成为计算机视觉、信号处理、模式识别等领域的研究热点之一，在安防监控、人机交互、安全驾驶、智能家居和入侵检测等领域，具有广阔的市场前景和深远的社会应用价值。

目前，国内外常用的人体动作识别主要有基于可穿戴设备、视频图像和无线射频信号三大类。在实际应用中，基于可穿戴传感器的人体动作识别，传感器是接触式的，必须贴身佩戴，普适性小，且节点能耗受限，存在体感上的不适和忘记主动佩戴等问题。基于视频图像的人体动作识别，存在侵犯个人隐私风险，不适合用于洗手间、卧室等隐私场所，同时需要充足的光线，只在视距条件下有效，且需要处理的数据量很大，整体实施较为复杂。近些年，基于连续波(Continuous Wave,CW)雷达、超宽带(Ultra Wide Band,UWB)雷达和调频连续波(Frequency Modulation Continuous Wave,FMCW)毫米波雷达等的人体动作识别方法研究层出不穷，以电磁波为信息载体的雷达系统，是一种与光学系统技术相异、信息互补的主动探测方式，电磁波中蕴含的时、频、相等特征信息反映了目标的散射特性和运动状态，验证了雷达在该领域的良好性能及其鲁棒性、隐私性和安全性。其中FMCW毫米波雷达凭借其研发成本低、市场需求大、测量时间短、峰均功率比低、且可同时测量速度和距离等优势，在人体动作感知识别方面占据了较大的优势。

目前广泛用于人体动作识别的深度学习算法主要依赖于复杂的神经网络(如CNN、LSTM等)和大规模的数据集。但是，对于毫米波雷达来说，整个动作数据采集流程比较耗费时间，尤其深度学习网络需要的大规模数据集一般要花费数十天甚至几个月来进行采集，而复杂的神经网络则对计算机的配置也有着很大的要求。因此如何在小样本的基础上学习和概括不同人体动作类比的特征，降低计算复杂度，从而进行准确的分类识别，成为当前研究的重要目标。

发明内容

为了克服现有的人体动作识别的价格昂贵、探测实现较难、对大数据集的依赖性和计算复杂性的不足，本发明提供一种基于多维特征融合的少样本人体动作识别方法，它能够在很少的数据集的情况下有效实现对人体动作的识别。

本发明所采用的技术方案是：

一种基于多维特征融合的少样本人体动作识别方法，所述方法包括如下步骤：

步骤1：搭建毫米波雷达信息数据采集平台，设置雷达参数；

步骤2：人体站在雷达正前方2-3m处进行七种动作的采集，每个动作持续2-3秒，利用毫米波雷达将发射信号和接收信号进行混频处理，得到中频信号，并以.bin的文件格式存储到PC端；

步骤3：对上述中存储的中频信息先进行背景帧差处理去噪声，然后进行二维傅里叶变换和三位傅里叶变换得到距离多普勒图和距离方位图，再对距离多普勒图进行速度维投影得到距离-速度图；

步骤4：将获得的所有距离-速度谱图和距离-方位谱图转化为二值图像，降低网络计算量，然后将其分为训练集，验证集和测试集；

步骤5：将训练集中的两种特征图输入双流的残差原型网络中，提取人体动作的微多普勒时间特征和距离-方位特征并进行融合，然后训练得到一个参数模型，再通过验证集对这个模型进行验证，取最好的模型进行保存；

步骤6：将保存的最好模型应用到测试集中，得到最终的人体动作分类结果。

进一步，所述步骤1中，采用的毫米波数据采集平台为TI公司的IWRI443BOOST和DCA1000EVM，在采集过程中需要设置的主要参数有：信号帧数、每帧信号啁啾数、每个啁啾信号ADC采样点数、信号起始频率、ADC采样率、调频斜率、发射和接收天线数目。

再进一步，所述步骤2中，人体站在雷达正前方2-3米处进行7种动作的采集，具体为蹲下(由站到蹲)、走路、站立(由坐到站)、坐下(由站到坐)、举手、拳击和鞠躬(由站到弯腰鞠躬)，动作持续时间为2-3秒。

更进一步，所述步骤3中，对数字中频信号进行背景帧差处理和得到人体动作的距离-多普勒图和距离-方位图，采用的背景帧差方法响应了从一帧到另一帧的变化，产生的峰值不一定有一个较低的振幅，不仅能够消除相应的杂波，还能够消除额外的噪声，过程如下：

(3.1)首先将所获得的中频信号按照所设的的帧总数进行划分，然后将每一帧的I/Q数据进行帧减技术处理，也就是后一帧减去前一帧，其计算公式为：

D_q(n,m)＝Y_q(n,m)-Y_q-1(n,m)

其中，Y_q(n,m)是第q帧的雷达数据，Y_q-1(n,m)是第q-1帧的雷达数据，将两帧数据进行减法处理，得到的帧差为D_q(n,m)也就是时间步长q处的校准帧，n、m分别代表快时间轴和慢时间轴上对应的标号；

(3.2)将帧差处理后的每一帧数据都在快时间(行)和慢时间(列)进行加汉明窗，然后做二维傅里叶变换，得到RDM(距离-多普勒图)，使用RD(i,j,t)表示在第t帧下位于RDM的第i距离门和第j速度门下的信号功率值，然后对RDM进行速度维投影，即i维进行压缩，最终得到所需的微多普勒图，对速度维进行投影的公式如下：

(3.3)将帧差后的数据再进行三维傅里叶变换，得到距离-多普勒-方位信息，然后通过切换视角进行输出，最终得到距离-方位图。

所述步骤4中，将获得的所有彩色微多普勒时频图和距离-方位图转化为二值图像，这样可以降低网络计算量，然后按照设定的比例划分为训练验证集和测试集。

所述步骤5中，测试集数据通过特征提取模块对二值化的微多普勒时频图和距离角-度图进行特征提取，然后进行特征融合，再计算每类原型的中心向量，进行对比，得到最终的分类结果，过程如下：

(5.1)首先将训练集的微多普勒时频图和距离方位图输入到本发明中提出的双流残差原型网络中进行训练；本发明中提出的双流残差原型网络，相比与原始的原型网络而言，去除了一个卷积块，但是增加了三个残差块。每一流由三个卷积块以及3个残差块构成，其中卷积块是由一个卷积核大小为3，步长为1的卷积核，一个批处理归一化层、ReLU激活函数以及池大小为2，步长为2的池化层组成。残差层通过将卷积层中的卷积核大小替换成1来形成；残差块则由3个三个卷积层组成，每个卷积层都包括卷积操作，批归一化BN操作和ReLU激活操作。通过卷积神经网络提取图像特征，然后利用自适应平均池化来去除一些不必要的特征，最终得到每个样本的特征向量；

(5.2)然后通过对这些特征向量计算均值得到每个类别的原型μ，其表达式如下所示：

其中μ为类别原型，|S|为样本数量，f_θ为特征提取函数，x_i为输入样本；

(5.3)未知的样本和获得的原型中心向量通过计算；两者之间的欧氏距离进行比较，未知的样本判为每一个类的概率计算的公式如下：

其中x为测试集样本，X为样本x的真实类别，C_X为真实类别的原型中心向量，X′为所有可能的类别，

是样本x的特征向量，得到每一类原型的距离，然后选取距离最近的原型中心为最后的分类结果

计算公式如下：

本发明的技术构思为：毫米波雷达是近些年来一个很热门的研究领域，有许多学者利用各种信号处理方法对人体行为识别进行了研究，验证了通过傅里叶变换对信号进行处理的有效性。本发明的一种基于多维特征融合的少样本人体动作识别方法巧妙的将经过二值处理的微多普勒时频图、距离方位图和基于度量学习的双流的卷积神经网络结合起来，在较少数据集和较低计算量的情况下实现了人体动作识别。

本发明的有益效果是：

1.联合了微多普勒时频图和距离-方位图，加强了每个动作的特征提取能力，提高了动作识别的准确度；

2.通过对图像进行二值处理和归一化，降低了计算量和计算复杂度；

3.通过基于度量学习的方法搭建双流融合的改进残差原型网络进行人体动作识别，使得在很少的数据集下也能达到较高的识别准确率。

附图说明

图1是本发明基于毫米波雷达的人体动作识别方法工作流程图。

图2是本发明实施例定义的七个动作的微多普勒时频图，其中(a)蹲下，(b)走路，(c)站立，(d)坐下，(e)举手，(f)拳击，(g)鞠躬；

图3是本发明实施例定义的八个动作的距离-方位图，其中(a)蹲下，(b)走路，(c)站立，(d)坐下，(e)举手，(f)拳击，(g)鞠躬；

图4是本发明方法的网络结构图,其中(a)是整体的双流融合网络的结构图，(b)是残差块和卷积块的网络结构；

图5是本发明方法的七种动作的分类结果。

具体实施方式

下面我们结合附图对本发明的较好实施例进行详细阐述说明，以使本发明的优点和特征能更简单和快速的被本领域技术人员所理解，从而对本发明的保护范围做出更为清楚明确的划分和界定。

参照图1～图5，一种基于多维特征融合的少样本人体动作识别方法，包括以下步骤：

步骤1：搭建毫米波雷达信息数据采集平台，设置雷达参数；

步骤2：人体站在雷达正前方2-3m处进行七种动作的采集，每个动作持续2-3秒，利用毫米波雷达将发射信号和接收信号进行混频处理，得到中频信号，并以.bin的文件格式存储到PC端；

步骤3：对上述中存储的中频信号先进行背景帧差处理去噪声，然后进行二维傅里叶变换和三位傅里叶变换得到距离多普勒图和距离方位图，再对距离多普勒图进行速度维投影得到为微多普勒时频图；背景帧差方法响应了从一帧到另一帧的变化，产生的峰值不一定有一个较低的振幅，而静态响应通常具有类似的响应，因此不仅能够消除相应的杂波，还能够消除额外的噪声，过程如下：

(3.1)首先将所获得的中频信号按照所设的的帧总数进行划分，然后将每一帧的I/Q数据进行帧减技术处理，也就是后一帧减去前一帧，其计算公式为：

D_q(n,m)＝Y_q(n,m)-Y_q-1(n,m)

其中，Y_q(n,m)是第q帧的雷达数据，Y_q-1(n,m)是第q-1帧的雷达数据，将两帧数据进行减法处理，得到的帧差为D_q(n,m)也就是时间步长q处的校准帧，n、m分别代表快时间轴和慢时间轴上对应的标号；

(3.2)将帧差处理后的每一帧数据都在快时间(行)和慢时间(列)进行加汉明窗，然后做二维傅里叶变换，得到RDM(距离-多普勒图)；使用RD(i,j,t)表示在第t帧下位于RDM的第i距离门和第j速度门下的信号功率值，然后对RDM进行速度维投影，即i维进行压缩，最终得到所需的微多普勒时频图，对速度维进行投影的公式如下：

(3.3)将帧差后的数据再进行三维傅里叶变换，得到距离-多普勒-方位信息，然后通过切换视角进行输出，最终得到距离-方位图；

步骤4：将获得的所有彩色微多普勒时频图和距离-方位图转化为二值图像，这样可以降低网络计算量，然后按照训练验证集：测试集＝1：4的比例进行数据集划分；

步骤5：将训练集中的两种特征图输入双流的残差原型网络中，提取人体动作的微多普勒时间特征和距离-方位特征并进行融合，然后训练得到一个参数模型，再通过验证集对这个模型进行验证，取最好的模型进行保存。首先测试集数据通过特征提取模块对微多普勒时频图和距离方位图进行特征提取，然后进行特征融合，再计算每类原型的中心向量，进行对比，得到最终的分类结果，过程如下：

(5.1)首先将训练集的微多普勒时频图和距离方位图输入到本发明中提出的双流残差原型网络中进行训练，本发明中提出的双流残差原型网络，相比于原始的原型网络而言，去除了一个卷积块，但是增加了三个残差块，每一流由三个卷积块以及3个残差块构成，其中卷积块是由一个卷积核大小为3，步长为1的卷积核，一个批处理归一化层、ReLU激活函数以及池大小为2，步长为2的池化层组成。残差层通过将卷积层中的卷积核大小替换成1来形成；残差块则由3个三个卷积层组成，每个卷积层都包括卷积操作，批归一化BN操作和ReLU激活操作。通过卷积神经网络提取图像特征，然后利用自适应平均池化来去除一些不必要的特征，最终得到每个样本的特征向量；

(5.2)然后通过对这些特征向量计算均值得到每个类别的原型μ，其表达式如下所示：

其中μ为类别原型，|S|为样本数量，f_θ为特征提取函数，x_i为输入样本；

(5.3)未知的样本和获得的原型中心向量通过计算；两者之间的欧氏距离进行比较，未知的样本判为每一个类的概率计算的公式如下：

其中x为测试集样本，X为样本x的真实类别，C_X为真实类别的原型中心向量，X′为所有可能的类别，

是样本x的特征向量，得到每一类原型的距离，然后选取距离最近的原型中心为最后的分类结果

计算公式如下：

步骤6：将上述的模型应用到测试集中，得到最终的人体动作分类结果。

该实施例中采用了由TI公司型号为IWR1443BOOST的毫米波雷达和DCA1000EVM数据采集卡，将接收到的数据传入PC端，整体的方法识别流程如图1所示。具体实施场所为一个空旷实验室，我们将雷达数据采集平台置于高度为1.2m的桌子上，人站在离雷达2到3m左右进行七种动作的雷达信号采集；

每次采集时，为了保证能够完整采集每个动作数据，雷达采集帧数设置为50帧，设置每帧的采集时间为40ms，每个位置点的采集时间一共为2秒。采集完毕后，收集包含人体动作信息的数据包；每个动作都能得到一个.bin文件，一个动作采集200组样本，七个动作一共采集1400个样本；从每个位置的.bin文件中提取出每对天线的I/Q动作信息数据；

利用MATLAB软件对中频数据进行预处理，包括以下两个步骤：(1)将提取出来的信号进行背景帧差处理，消除因为背景复杂所引起的噪声；(2)将经过帧差处理后的数据信息通过二维傅里叶变换和基于速度维投影法得到微多普勒时频图，再进行三维傅里叶变换得到距离-方位图，再将两种特征图进行二值处理，得到最终输入网络的图片格式，每个动作的两种特征图如图2和图3所示；并按照训练验证集：测试集＝1：3的比例进行数据集的划分。

对训练验证集的二值图像经过残差神经网络进行特征提取以及特征融合，残差网络结构以及具体细节如图4所示，首先规定一部分样本作为模型的原型进行学习，得到每类的原型向量，再将需要识别的每个样本的特征向量通过度量学习得到它的向量表示，再与之前学习到的原型向量进行欧氏距离对比，然后经过不断训练，得到一个最优的模型；

将测试集输入已经保存好的训练集最优模型中，进行测试识别。最后该实施例对七种人体动作识别结果的混淆矩阵如图5所示，平均的识别准确率达到了94.67％，验证了本发明提出的一种基于多维特征融合的少样本人体动作识别方法在少样本时候的有效性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于多维特征融合的少样本人体动作识别方法，其特点在于，所述方法包括以下步骤：

步骤1：搭建毫米波雷达信息数据采集平台，设置雷达参数；

步骤2：人体站在雷达正前方2-3m处进行七种动作的采集，每个动作持续2-3秒，利用毫米波雷达将发射信号和接收信号进行混频处理，得到中频信号，并以.bin的文件格式存储到PC端；

步骤3：对上述中存储的中频信号先进行背景帧差处理去噪声，然后进行二维傅里叶变换和三位傅里叶变换得到距离多普勒图和距离方位图，再对距离多普勒图进行速度维投影得到距离-速度图；

步骤4：将获得的所有距离-速度谱图和距离-方位谱图转化为二值图像，降低网络计算量，然后将其分为训练集，验证集和测试集；

步骤5：将训练集中的两种特征图输入双流的残差原型网络中，提取人体动作的微多普勒时间特征和距离-方位特征并进行融合，然后训练得到一个参数模型，再通过验证集对这个模型进行验证，取最好的模型进行保存；

步骤6：将保存的最好模型应用到测试集中，得到最终的人体动作分类结果。

2.根据权利要求1所述的一种基于多维特征融合的少样本人体动作识别方法，其特征在于，所述步骤1中，采用的毫米波数据采集平台为TI公司的IWRI443BOOST和DCA1000EVM，在采集过程中需要设置的参数有：信号帧数、每帧信号啁啾数、每个啁啾信号ADC采样点数、信号起始频率、ADC采样率、调频斜率、发射和接收天线数目。

3.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法，其特征在于，所述步骤2中，人体站在雷达正前方2-3米处进行7种动作的采集，具体为蹲下、走路、站立、坐下、举手、拳击和鞠躬。

4.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法，其特征在于，所述步骤3中，对数字中频信号进行背景帧差处理和得到人体动作的距离-多普勒图和距离-方位图，过程如下：

(3.1)首先将所获得的中频信号按照所设的的帧总数进行划分，然后将每一帧的I/Q数据进行帧减技术处理，也就是后一帧减去前一帧，其计算公式为：

D_q(n,m)＝Y_q(n,m)-Y_q-1(n,m)

其中，Y_q(n,m)是第q帧的雷达数据，Y_q-1(n,m)是第q-1帧的雷达数据，将两帧数据进行减法处理，得到的帧差为D_q(n,m)也就是时间步长q处的校准帧，n、m分别代表快时间轴和慢时间轴上对应的标号；

(3.2)将帧差处理后的每一帧数据都在快时间和慢时间进行加汉明窗，然后做二维傅里叶变换，得到RDM(距离-多普勒图)；使用RD(i,j,t)表示在第t帧下位于RDM的第i距离门和第j速度门下的信号功率值，然后对RDM进行速度维投影，即i维进行压缩，最终得到所需的微多普勒时频图，对速度维进行投影的公式如下：

(3.3)将帧差后的数据再进行三维傅里叶变换，得到距离-多普勒-方位信息，然后通过切换视角进行输出，最终得到距离-方位图。

5.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法，其特征在于，所述步骤4中，将获得的所有彩色微多普勒时频图和距离-方位图转化为二值图像，这样可以降低网络计算量，然后按照设定的比例划分为训练验证集和测试集。

6.根据权利要求1或2所述的一种基于多维特征融合的少样本人体动作识别方法，其特征在于，所述步骤5中，测试集数据通过特征提取模块对二值化的微多普勒时频图和距离角-度图进行特征提取，然后进行特征融合，再计算每类原型的中心向量，进行对比，得到最终的分类结果，过程如下：

(5.1)首先将训练集的微多普勒时频图和距离方位图输入到双流残差原型网络中进行训练，提出,双流残差原型网络，相比与原始的原型网络而言，去除了一个卷积块，但是增加了三个残差块；每一流由三个卷积块以及3个残差块构成，其中卷积块是由一个卷积核大小为3，步长为1的卷积核，一个批处理归一化层、ReLU激活函数以及池大小为2，步长为2的池化层组成。残差层通过将卷积层中的卷积核大小替换成1来形成；残差块则由3个三个卷积层组成，每个卷积层都包括卷积操作，批归一化BN操作和ReLU激活操作；通过卷积神经网络提取图像特征，然后利用自适应平均池化来去除一些不必要的特征，最终得到每个样本的特征向量；

(5.2)然后通过对这些特征向量计算均值得到每个类别的原型μ，其表达式如下所示：

其中μ为类别原型，|S|为样本数量，f_θ为特征提取函数，x_i为输入样本；

(5.3)未知的样本和获得的原型中心向量通过计算；两者之间的欧氏距离进行比较，未知的样本判为每一个类的概率计算的公式如下：

其中x为测试集样本，X为样本x的真实类别，C_X为真实类别的原型中心向量，X^′为所有可能的类别，

是样本x的特征向量，得到每一类原型的距离，然后选取距离最近的原型中心为最后的分类结果

计算公式如下：

Images