CN115345908A - 一种基于毫米波雷达的人体姿态识别方法 - Google Patents

Abstract

本发明公开了一种基于毫米波雷达的人体姿态识别方法，涉及信号处理技术领域，包括以下步骤：步骤1、对待测空间范围通过毫米波雷达发射电磁波信号，基于回波信号得到目标点迹；步骤2、针对目标点迹，将点迹凝聚为不同区域，按条件匹配给已知航迹，得到目标的运动轨迹；步骤3、根据目标点云在3维空间的坐标位置（x,y,z),以及各个点的信噪比强度（l）；步骤4、分别计算动态多普勒谱的速度、距离以及高度变化，并提取动态多普勒谱的运动特征；步骤5、提出滑窗目标区域检测算法，在目标区域内进行目标检测；步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习进行识别。

Description

一种基于毫米波雷达的人体姿态识别方法

技术领域

本发明涉及信号处理技术领域，具体涉及一种基于毫米波雷达的人体姿态识别方法。

背景技术

近两年，国内外毫米波雷达传感器头部厂商，推出了适用于居家监测场景的毫米波雷达产品。作为一种传感器，毫米波雷达健康监测对于物联网技术有天然的亲和力。全屋智能搭载毫米波雷达，用以追踪人体位置、行动轨迹，以实现屋内空调、灯光等的智能调控。借助智能家居行业既有参与者的力量，或许可成为毫米波雷达进入健康监测领域的关键。相较于过往健康监测产品的毫米波雷达具有更舒适，更好保护隐私，能够同时捕捉行动、身体姿势、心率、呼吸等多种类型数据的优势。

在智能家居监测的过程中，人体姿态识别尤为重要，比如我们在夜晚关灯的情况下，毫米波雷达能够根据人体起身动作时所发生的速度、角度、位置变化进行判定，从而判断是翻身还是起身，然后再作为数据范本交由AI系统判定下一步将进行开启夜灯还是开启房间灯的判定，大大提高了准确性也让用户体验更加智能。

又比如，深夜晚归如何不影响在家中熟睡的家人，在回家开门的同时，通过毫米波雷达对数据的收集，能够主动调整光源的亮度，或者开启某一个范围的灯，在确保光源的情况下降低对另一个人的影响；夏天使用空调时，毫米波雷达通过感知人体的位置控制空调的方向，避免直吹；

在卫浴中判断如厕的行为来开启排风或者风暖等等。这都是经由毫米波所收集、传递的信息，再通过AI智能判定，联动不同家居产品所达到的效果，在让人们体验到真正的智能家居同时，也更加绿色环保，低碳节能。所以基于上述思想，围绕居家环境中最频繁出现的一些姿态（躺下、坐下、还是行走），用可行的算法对其进行准确识别，达到对室内空调风扇的启闭以及电灯的启闭提供一些重要的依据。

发明内容

本发明的目的在于提供一种基于毫米波雷达的人体姿态识别方法，以期解决背景技术中存在的技术问题。

为了实现上述目的，本发明采用以下技术方案：

一种基于毫米波雷达的人体姿态识别方法，包括以下步骤：

步骤1、对待测空间范围通过毫米波雷达发射电磁波信号，接受回波信号，并对回波信号进行处理，得到目标点迹；

步骤2、针对目标点迹，将点迹凝聚为不同区域，将凝聚好的点迹区域按条件匹配给已知航迹，得到目标的运动轨迹，从而跟踪目标区域内的人员运动状态；

步骤3、根据目标点云在3维空间的坐标位置（x,y,z),以及各个点的信噪比强度，表示为l，表征成两张RGB图，分别为（x,y,l)和（x,z,l);

步骤4、对检测到的目标点，分别计算动态多普勒谱的速度、距离以及高度变化，在此基础上提取了动态多普勒谱的运动特征；

步骤5、在距离多普勒谱的基础上提出了滑窗目标区域检测算法，在目标区域内进行目标检测；

步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习，然后对未带标签类的数据进行识别。

进一步的，步骤1中，具体包括如下步骤：

所述对回波信号进行处理为去除静态杂波,排除静态物体产生杂波对目标回波的噪声干扰；

对处理后回波信号做一维快速傅里叶变换，结合CFAR检测，得到目标点云的距离、信噪比（SNR）强度；

接着对获取目标距离bin后数据再次做一次快速傅里叶变换，即二维傅里叶变换，再结合CFAR检测获取到目标的多普勒信息；

根据所述目标的距离信息，由天线阵列确定的方向导引矢量，先确定目标的方位角，然后根据恒虚警率算法提取出有效目标的角度，然后再由方向导引矢量算出所提取出的目标的俯仰角；将距离、方位角、俯仰角结合，求解目标点云的横、纵坐标以及高度的三维信息。

进一步的，步骤2中，所述将点迹凝聚为不同区域，即先利用点迹的位置，再利用点迹信噪比值信息找出信噪比峰值点，再对点迹进行聚类，将点迹分为不同区域；

该步骤的有益效果是获取跟踪人员的运动状态，判断轨迹是否有速度，是静止还是运动。

进一步的，步骤3中，所述根据目标点云在3维空间的坐标位置（x,y,z),以及各个点的信噪比强度，表示为l，表征成两张RGB图，具体包括如下步骤：

由步骤1中已经获取了每个点的3维坐标（x,y,z)以及各个点的信噪比强度，在一个水平面xoy平面获取目标的位置信息以及信号强度（x,y,l)，在竖直平面xoz平面获取目标的高度信息以及信号强度（x,z,l)，将这两种位置与信号强度的特征转换为RGB的表征形式，即将每一个数值转换为（0-255）的范围内并对应RGB三基色的值。

进一步的，步骤4中，所述提取动态多普勒谱的运动特征具体包括如下步骤：

点云数据累计一定时间后，比如10s,会形成一个关于目标的距离多普勒的运动轨迹谱图；

与此同时，也会形成一个关于目标的高度变化谱图；

以上两个谱图均为目标的运动特征。

进一步的，步骤5中，所述滑窗目标区域检测算法具体包括如下步骤：

使用滑窗法进行目标区域选择，窗长、窗宽选择需要根据经验确定，通过滑窗内轨迹达到一个完整姿态轨迹的4/5时，即选取目标所在中心区域。

进一步的，步骤6中，所述将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习并对未带标签类的数据进行识别具体包括如下步骤：

所述姿态包括行走、坐下以及躺下或者跌倒三类标签，躺下或者跌倒归为一类；

划分后的标签可以做以下几种处理，如果划分为行走，则辅助查看步骤2中人员的运动状态，判定无误，即可在行走的位置开启对应的灯；如果划分为坐，则开启对应区域的空调，且避免对人直吹；如果划分为躺或者跌倒，则优先根据躺下的高度位置，再做判断，高度小于阈值，则判定为跌倒，启动报警装置，否则即为躺下，可以开启呼吸心率等健康监测。

所述神经网络为卷积神经网络，层数为5层；

所述对未带标签类的数据进行识别就是将网络训练好后，可对实时数据做实时的判断，并给出姿态的类型，以及做出相应的处理。

本申请所提供的一种基于毫米波雷达的人体姿态识别方法具有的有益效果包括但不限于：

本发明所述的一种基于毫米波雷达的人体姿态识别方法，结合跟踪信息和机器学习算法，能比较方便且较为准确的提供智慧家庭所需的人员状态信息，对出现的突发情况，该设备能够及时进行预警，并且其代码复杂度低，计算速度快，计算准确率高，隐私机制保护的好，也能够适应独居公寓或者医院病人监护等诸多场景。

附图说明

图1是实施例1中的人员跟踪的算法流程图。

图2是实施例1中的RGB形成示意图。

图3是实施例1中的姿态识别流程图。

图4是实施例1中的姿态识别后处理示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的优选实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下将结合图1-图4，对本申请实施例所涉及的一种基于毫米波雷达的人体姿态识别方法进行详细说明。值得注意的是，以下实施例，仅仅用于解释本申请，并不构成对本申请的限定。

本申请提供的一种基于毫米波雷达的人体姿态识别方法，可以应用于住宅、公寓、医院或养老院，但不限于这些地方。

实施例1：

一种基于毫米波雷达的人体姿态识别方法，包括以下内容：

步骤1、对待测空间范围通过毫米波雷达发射电磁波信号，接受回波信号，并对回波信号进行处理，得到目标点迹；

步骤2、针对目标点迹，将点迹凝聚为不同区域，将凝聚好的点迹区域按条件匹配给已知航迹，得到目标的运动轨迹，从而跟踪目标区域内的人员运动状态；

步骤3、根据目标点云在3维空间的坐标位置（x,y,z),以及各个点的信噪比强度，表示为l，表征成两张RGB图，分别为（x,y,l)和（x,z,l);

步骤4、对检测到的目标点，分别计算动态多普勒谱的速度、距离以及高度变化，在此基础上提取了动态多普勒谱的运动特征；

步骤5、在多普勒谱的基础上提出了滑窗目标区域检测算法，在目标区域内进行目标检测；步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习，然后对未带标签类的数据进行识别。

本实施例的姿态识别是结合人员跟踪实现的，对应本实施例中的步骤1和步骤2，人员跟踪的算法流程如图1所示，具体处理方法为，收到待测空间传回的回波信号后先去除静态杂波,排除静态物体产生杂波对目标回波的噪声干扰；接着，对去杂波后的信号做一维傅里叶变换（1D-FFT），这就能得出目标所在的距离单元以及信号强度（SNR）；再接着，在该距离单元通过capon-BF，求解目标所在的角度信息。

获取角度后，通过CFAR算法滤除非目标干扰，锁定真正的目标点；再接着，对选取的目标点进行多普勒维的FFT（doppler-FFT),得到目标的速度信息，至此目标点的距离、角度（水平角和俯仰角）、速度以及信噪比（SNR）都已得到；然后，通过DBSCAN聚类算法，将这一类目标点聚为一簇点云，并划分为一个区域，将凝聚好的点迹区域按条件匹配给已知航迹，得到目标的运动轨迹，从而跟踪目标区域内的人员运动状态。

其中，目标点的距离、角度（水平角和俯仰角）、速度以及信噪比（SNR）已知后，是很容易根据正弦或者余弦定理求解出目标的具体3维坐标位置（x,y,z），其中z的值一般表征高度。

通过对毫米波雷达的回波信号进行信号处理，得到待测区域的运动目标距离多普勒方位角信息、目标的高度信息、信噪比信息和跟踪信息，在此基础上提取了动态多普勒谱和高度变化的运动特征和表征位置强度的RGB特征，通过滑窗目标区域检测算法，在目标区域内进行目标检测，将获取到目标的运动特征、RGB及其姿态标签输入到神经网络进行训练学习，然后对未带标签类的数据进行识别，根据得到的标签姿态做出相应的响应。

在步骤3中，xoy平面以及xoz平面的表征点云位置及信号强度的RGB形成如图2所示，由上述步骤已经获取了每个点的3维坐标（x,y,z)以及各个点的信噪比强度（用l表示），在一个水平面xoy平面获取目标的位置信息以及信号强度（x,y, l)，在竖直平面xoz平面获取目标的高度信息以及信号强度（x,z, l)，将这两种位置与信号强度的特征转换为RGB的表征形式，即将每一个数值通过取整转换为（0-255）的范围内并对应RGB三基色的值。

步骤4中，对检测到的目标点，其点云数据累计一定时间后，比如10s,会形成一个关于目标的多普勒的运动轨迹谱图；与此同时，也会形成一个关于目标的高度变化（z的变化）谱图；以上两个谱图均表征目标的运动特征；

步骤5中，所述滑窗目标区域检测算法是指在输入神经网络训练前使用滑窗法进行目标区域选择，选择可以强有力的表征坐、站、躺（跌）3种姿态的多普勒谱图，其窗长、窗宽选择需要根据经验确定，通过滑窗内轨迹达到一个完整姿态轨迹的4/5时，即可选取为目标谱图，不满足条件的谱图放弃；多普勒谱图确定，姿态持续的时间段也就确定，与此时间段相对应的高度变化图也可选定；因为多普勒谱图一定包含了一个完整姿态轨迹的4/5，所以谱图中心的那一帧所对应的姿态一定是可以表征这个姿态的一些信息的，这一帧的点云就被获取并且转换为RGB特征图。

步骤6中，所述将获取到的运动特征、RGB及其姿态标签输入到神经网络进行训练学习并对未带标签类的数据进行识别如图3所示，多普勒谱图、高度图以及RGB图的选取在步骤5中已说明，所述神经网络为卷积神经网络，层数为5层，如图3所示，包含3个卷积层和两个全连接层，做识别前需要先训练网络，本实施例用了16万个样本，识别正确率达到90%以上。

所述检测结果为多分类，包括行走、坐下以及躺下或者跌倒三类标签，因为躺这个动作属于类跌倒动作，容易误判为跌倒，所以就将躺下或者跌倒归为一类，然后再辅助高度变化做进一步的区分。一旦识别为跌到则触发呼叫系统。

所述对未带标签类的数据进行识别就是将网络训练好后，可对实时数据做实时的判断，并给出姿态的类型，以及做出相应的处理。

划分后的标签可以做以下几种处理，如图4所示，但不限于这些处理。如果划分为行走，则辅助查看步骤2中人员的运动状态，确实是有一个常规行走的多普勒速度，则认为判定无误，即可在行走的位置开启对应的灯；如果划分为坐，则开启对应区域的空调，且避免对人直吹；如果划分为躺或者跌倒，则优先根据躺下的高度位置，再做判断，高度小于一定阈值，则判定为跌倒，启动报警装置，否则即为躺下，可以开启呼吸心率等健康监测。

具体而言，通过对毫米波雷达的回波信号进行信号处理，得到待测区域的运动目标距离多普勒方位角信息、目标的高度信息、信噪比信息和跟踪信息，在此基础上提取了动态多普勒谱和高度变化的运动特征和表征位置强度的RGB特征，通过滑窗目标区域检测算法，在目标区域内进行目标检测，将获取到目标的运动特征、RGB及其姿态标签输入到神经网络进行训练学习，然后对未带标签类的数据进行识别，根据得到的标签姿态做出相应的响应。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于毫米波雷达的人体姿态识别方法，其特征在于，包括以下步骤：

步骤1、对待测空间范围通过毫米波雷达发射电磁波信号，接受回波信号，并对回波信号进行处理，得到目标点迹；

步骤2、针对目标点迹，将点迹凝聚为不同区域，将凝聚好的点迹区域按条件匹配给已知航迹，得到目标的运动轨迹，跟踪目标区域内的人员运动状态；

步骤3、根据目标点云在3维空间的坐标位置（x,y,z),以及各个点的信噪比强度（l），表征成两张RGB图，分别为（x,y,l)和（x,z,l);

步骤4、对检测到的目标点，分别计算动态多普勒谱的速度、距离以及高度变化，并提取动态多普勒谱的运动特征；

步骤5、基于多普勒谱的基础上提出滑窗目标区域检测算法，在目标区域内进行目标检测；

步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习，然后对未带标签类的数据进行识别。

2.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1：回波信号后先去除静态杂波,排除静态物体产生杂波对目标回波的噪声干扰；

步骤1.2：对去杂波后的信号做一维傅里叶变换，得出目标所在的距离单元以及信号强度；

步骤1.3：在该距离单元通过capon-BF，求解目标所在的角度信息；

步骤1.4：通过CFAR算法滤除非目标干扰，锁定真正的目标点；

步骤1.5：对选取的目标点进行多普勒维的FFT,得到目标的速度信息。

3.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1：通过DBSCAN聚类算法，将这一类目标点聚为一簇点云，并划分为一个区域；

步骤2.2：将凝聚好的点迹区域按条件匹配给已知航迹，得到目标的运动轨迹。

4.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，步骤3具体包括以下步骤：

步骤3.1： 将目标点云xoy平面点云位置及信号强度的3维表示（x,y,l)表征成RGB形式；

步骤3.2：将目标点云xoz平面点云位置及信号强度的3维表示（x,z,l)表征成RGB形式。

5.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，步骤4具体包括以下步骤：

对检测到的目标点，其点云数据累计后，会形成一个关于目标的多普勒的运动轨迹谱图；以及一个关于目标的高度变化谱图；两个谱图均表征目标的运动特征。

6.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，步骤5所述滑窗目标区域检测算法是指在输入神经网络训练前使用滑窗法进行目标区域选择，选择强有力的表征坐、站、躺3种姿态的多普勒谱图；

其中，通过滑窗内轨迹达到一个完整姿态轨迹的4/5时，即选取为目标谱图，不满足条件的谱图放弃；

基于多普勒谱图确定姿态持续的时间段，以及与此时间段相对应的高度变化图。

7.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，步骤6具体包括以下步骤：

A.所述将获取到的运动特征、RGB及其姿态标签输入到神经网络进行训练学习；

B.对未带标签类的数据进行识别。

8.根据权利要求7所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，所述神经网络为卷积神经网络，至少包含3个卷积层和两个全连接层；

检测的结果为多分类，至少包括行走、坐下以及躺下或者跌倒三类标签；

将躺下或者跌倒归为一类，辅助高度变化进行区分，一旦识别为跌到则触发呼叫系统。

9.根据权利要求7所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，所述对未带标签类的数据进行识别为将网络训练好后，可对实时数据做实时的判断，并给出姿态的类型，以及做出相应的处理。

10.根据权利要求9所述的一种基于毫米波雷达的人体姿态识别方法，其特征在于，所述处理至少包括以下几类：

如果划分为行走，则辅助查看步骤2中人员的运动状态，有一个常规行走的多普勒速度，则认为判定无误，即可在行走的位置开启对应的灯；

如果划分为坐，则开启对应区域的空调；且避免对人直吹；

如果划分为躺或者跌倒，则优先根据躺下的高度位置，再做判断，高度小于阈值，则判定为跌倒，启动报警装置，否则即为躺下，开启呼吸心率健康监测。

Images