CN114190913A - 一种基于毫米波雷达的驾驶人员驾驶状态监测系统及方法 - Google Patents

Abstract

本发明提供了一种基于毫米波雷达的驾驶员驾驶状态监测系统及方法，其中系统主要包括多普勒雷达信号采集模块、人体状态监测评估模块以及人机交互模块。其有益效果在于：多普勒雷达信号采集模块由一个多路输出与多路输入的FMCW毫米波雷达构成，可以精确描绘驾驶员人体特征，根据多发多收天线结合人体点云构建算法形成人体点云，通过人体点云运动状态分类识别实时监测算法解析人体活动状态，同时通过雷达回波可以解析出包括呼吸、心率等生理状态，人体状态监测评估模块用于对人体呼吸、心率状态生理信号有效评估，同时对人体身体活动有效识别，并结合生理状态提出预警，人机交互模块用于驾驶员与设备的交互，当发生异常状态提醒驾驶员安全驾驶并报警。

Description

一种基于毫米波雷达的驾驶人员驾驶状态监测系统及方法

技术领域

本发明属于智能安全驾驶技术领域，涉及毫米波雷达人体运动状态检测技术，生理信号检测技术，特别是面向驾驶环境，驾驶人员生理状态，身体活动状态的检测，具体涉及一种基于毫米波雷达的驾驶人员驾驶状态监测系统及方法。

背景技术

1975年J.C.Lin最早使用微波生物雷达探测人体生理活动的研究。在连续波生物雷达系统中，雷达传感器发射单频连续波，并在目标处发生反射产生回波，雷达接收机电路检测回波，解调出相位的变化信息。从而得到目标的体动信息，并进一步提取出引起这些振动的心跳和呼吸等信息。早期的雷达检测系统很难满足民用应用领域的需求。在检测精度方面，早期的雷达受到制造工艺、天线和其它器件的限制，与激光等技术相比并没有明显的优势。在2000年以前，利用雷达原理探测人体或动物的心肺活动的相关研究处于可行性分析，理论完善阶段。

随着理论研究的完善，以及近年来集成电路技术的发展，雷达射频电路具备了实现集成化、低功耗、低成本的特点。伴随着生物医学工程、雷达、电子、计算机技术的发展，以及军事、医学和社会的需要，越来越多的研究组织关注到生物雷达这一技术领域，并通过实验证明了多普勒雷达技术在非接触式探测人体心肺活动方面的潜力，使生物雷达技术在民用场合的应用研究得到快速发展。到2010年为止，应用微波生物雷达实现非接触式生命体征检测己有较完善的理论研究成果;连续波的生物雷达收发机电路己有集成化设计的报道，Droitcour使用CMOS工艺实现了多普勒雷达前段的单片集成，使用开环振荡器工作频段为1.6到2.4GHz o Li et al设计和实现了U.16-11m, 0.13-11 m CMOS工艺下的5GHz,5.8GHz的生物雷达射频前端。

国内最早开始生物雷达探测技术研究是第四军医大学生物医学工程系，该课题组自1998年开展连续波非接触式体征探测研究，自2004年开展超宽带生物雷达的研究，主要成果有面向穿墙检测应用的“雷达式生命探测仪”。北京理工大学、国防科技大学、西北工业大学、深圳先进技术研究院等也开展了生物雷达技术的研究。

一些近期的研究将在这种生物雷达技术与现有的无线通信技术结合。如Boric-Lubecke et al 在2003年提出将多普勒测量得到的心脏和呼吸频率信息通过无线通信手段收集后，再连网到卫生保健部门，使该项技术更适于家庭健康监护等场合的应用。

中国专利CN112971755A，公开的一种基于车载装备的驾驶员健康监测方法，通过安装在驾驶员座椅靠背上的毫米波雷达传感器可以获取驾驶员的心跳和呼吸频率，根据心率和呼吸率判断驾驶员健康和情绪状况，对车辆的运行进行干涉。但是此方法不包含对驾驶员的驾驶动作进行监测和评估。

中国专利CN109409331A，公开的一种基于雷达的防疲劳驾驶方法，此方法仅检测驾驶员的坐姿，确认驾驶员头部是否发生了安全区域外的偏离，不能够实时监测身体其他微动作，无法实现呼吸和心率的实时人机交互。

中国专利CN211962013U，公开的一种非接触小型监护仪、驾驶室和驾驶员心跳呼吸监控系统，强调了硬件设备的创新设计，重点解决了设备不便于移动的不足，但是缺乏心跳和呼吸信号算法的研究与优化。

中国专利CN111657889A，公开的一种基于毫米波雷达的非接触式驾驶员疲劳检测方法，对采集的心率信号和呼吸信号分离后采取小波变换法计算心跳频率和呼吸频率，对驾驶员疲劳状态进行预测并发出预警，缺少对驾驶员的身体姿态研究，以及实时的人机交互。

发明内容

为达到上述目的，本发明提供如下的技术方案：

本发明提供了一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：包括多普勒雷达信号采集模块、人体状态监测评估模块以及人机交互模块。

所述多普勒雷达信号采集模块，用于对驾驶员状态进行监测，根据雷达对人体的回波信号结合人体点云构建算法，构建人体点云信号。

所述人体状态监测评估模块，用于对人体点云信号实时分析，从雷达回波中识别驾驶员身体活动及心率呼吸等生理状态，并根据点云给出包括疲劳驾驶、危险动作驾驶、正常驾驶的驾驶状态。

所述人机交互模块用于驾驶员与设备的交互，当发生疲劳驾驶和危险动作驾驶的异常驾驶状态时，提醒驾驶员安全驾驶并报警

进一步的，所述的多普勒雷达信号采集模块由一个多路输出与多路输入的FMCW毫米波雷达构成，该雷达具有非常高的水平角分辨率，俯仰角分辨率可以精确描绘驾驶员人体特征，根据多发多收天线形成人体点云。

进一步的，所述的人体状态监测评估模块，主要包括心肺信号分离检测算法、人体点云运动状态分类识别实时监测算法以及安全状态评估算法。

进一步的，所述的人机交互模块用于驾驶员与设备的交互，当发生疲劳驾驶和危险动作驾驶的异常驾驶状态时，提醒驾驶员安全驾驶并报警，其包括语音提醒、显示屏提醒以及报警功能。

进一步的，所述的人体点云构建算法，是通过将在雷达的多个接收信道中，首先通过二维快速傅里叶变换将A/D转换的时域信号转换为距离-多普勒图，得到了散射体的距离和多普勒信息，然后，通过测量距离多普勒图中散射位置的相位值，确定方位角、仰角和距离，就可以得到人体点云图。

进一步的，所述的心肺信号分离检测算法，主要包括对不同频率的呼吸、心率信号进行提取，采用集合经验模态分解（EEMD）以及小波变换融合算法分析，首先采用EEMD算法对使用多普勒雷达采集到的体表位移信号进行初步降噪处理，随后通过小波变换，对不同呼吸频率的信号（心率频率：0.83-3.3Hz）进行特征提取，从而达到心肺信号分离的结果。最终获取人体的心率、呼吸频率等信息

进一步的，所述的人体点云运动状态分类识别实时监测算法，主要包括人类活动识别和实时监测算法框架，该框架下，采用无监督在线学习算法，并采用聚类算法对驾驶员多个状态进行识别，包括头部左转、头部右转、点头、转动方向盘、弯腰、以及其他微动作特征实时识别分类。

进一步的，所述的安全状态评估算法，主要包括但不限于支持向量机的分类算法，通过融合心率、呼吸生理特征，以及包括头部左转、头部右转、点头、转动方向盘、弯腰、以及其他微动动作等特征判别驾驶员包括疲劳驾驶、危险动作驾驶、正常驾驶的驾驶状态。

进一步的，一种基于毫米波雷达的驾驶员驾驶状态监测方法，其特征在于，包括以下几个步骤：

步骤1，多普勒雷达安置在靠近驾驶员的汽车A柱上，多普勒雷达信号采集模块由一个多路输出与多路输入的FMCW毫米波雷达构成，该雷达具有非常高的水平角分辨率，俯仰角分辨率可以精确描绘驾驶员人体特征，根据多发多收天线形成人体点云；

步骤2，根据雷达回波信号，通过心肺信号分离检测算法，计算驾驶员的心率呼吸状况，通过人体点云运动状态分类识别实时监测算法组成，识别驾驶员状态，并根据上述特征通过安全状态评估算法判别驾驶员包括疲劳驾驶、危险动作驾驶、正常驾驶的驾驶状态。

步骤3，通过人机交互模块，当发生疲劳驾驶和危险动作驾驶的异常驾驶状态时，提醒驾驶员安全驾驶并报警，其包括语音提醒、显示屏提醒以及报警功能。

与现有的技术相比，本发明具有以下优点：

（1）本发明使用了一个多路输出与多输入的FMCW毫米波雷达，该雷达具有非常高的水平角分辨率，俯仰角分辨率可以精确描绘驾驶员人体特征，根据多发多收天线形成人体点云；

（2）利用多普勒雷达来采集心肺信号，抗干扰能力更强，可以在较为复杂的环境下获得更加精确的数据；

（3）将多普勒雷达采集到的心肺信号通过EEMD算法进行降噪处理，随后采用小波算法针对不同频率的呼吸信号进行特征提取，从而达到心肺信号分离的结果，提高精度；

（4）通过分离后的心肺信号利用智能诊断算法，能够精确的获取呼吸频率以及心率信息。

附图说明

图1是本发明的心肺信号分离检测算法流程图。

图2是本发明的人体点云构建算法流程图。

图3是本发明的方法流程图。

图4是本发明的系统框图。

具体实施方法

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图所示，本发明提供了一种基于毫米波雷达的驾驶员驾驶状态监测系统及方法，其中，系统主要包括多普勒雷达信号采集模块、人体状态监测评估模块，以及人机交互模块。多普勒雷达信号采集模块由一个多路输出与多路输入的FMCW毫米波雷达构成，该雷达具有非常高的水平角分辨率，俯仰角分辨率可以精确描绘驾驶员人体特征，根据多发多收天线结合人体点云构建算法形成人体点云，通过点云特征可以解析出包括呼吸、心率等生理状态和体动等人体活动状态。人体状态监测评估模块用于对人体呼吸、心率状态生理信号有效评估，同时对人体身体活动有效识别，并结合生理状态提出预警。人机交互模块用于驾驶员与设备的交互，当发生异常驾驶状态时提醒驾驶员安全驾驶并报警。

多普勒雷达信号采集模块是一个多路输出与多输入的FMCW毫米波雷达构成，该雷达具有非常高的水平角分辨率，俯仰角分辨率可以精确描绘驾驶员人体特征，根据多发多收天线，通过将在雷达的多个接收信道中，首先通过二维快速傅里叶变换将A/D转换的时域信号转换为距离-多普勒图，得到了散射体的距离和多普勒信息。然后，通过测量距离多普勒图中散射位置的相位值，确定方位角、仰角和距离，就可以得到人体点云图。

其次，根据雷达原始信号采用心肺信号分离检测算法，主要包括对不同频率的呼吸、心率信号进行提取，采用集合经验模态分解(EEMD)以及小波变换融合算法分析，首先采用EEMD算法对使用多普勒雷达采集到的体表位移信号进行初步降噪处理，随后通过小波变换，对不同呼吸频率的信号（心率频率：0.83-3.3Hz）进行特征提取，从而达到心肺信号分离的结果。最终获取人体的心率、呼吸频率等信息。

然后，根据经过人体状态监测评估模块，对人体点云运动状态分类识别实时监测算法，主要包括二维深度卷积神经网络，对驾驶员多个状态进行识别，包括头部左转、头部右转、点头、转动方向盘、弯腰以及其他微动作特征实时识别分类。通过将驾驶员体动特征，结合心率呼吸算法输入至安全状态评估算法，采用包括但不限于支持向量机的分类算法，通过融合心率、呼吸生理特征，以及包括头部左转、头部右转、点头、转动方向盘、弯腰以及其他微动动作等特征判别驾驶员包括疲劳驾驶、危险动作驾驶的状况，正常驾驶等驾驶状态。

最后，人机交互模块用于驾驶员与设备的交互，当发生异常状态提醒驾驶员安全驾驶并报警，其包括语音提醒，显示屏提醒，以及报警功能。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：包括多普勒雷达信号采集模块、人体状态监测评估模块以及人机交互模块；

所述多普勒雷达信号采集模块，用于对驾驶员状态进行监测，根据雷达对人体的回波信号结合人体点云构建算法，构建人体点云信号；

所述人体状态监测评估模块，用于对人体点云信号实时分析结合原始信号，从中识别驾驶员身体活动及心率呼吸的生理状态，并给出包括疲劳驾驶、危险动作驾驶、正常驾驶的驾驶状态；

所述人机交互模块用于驾驶员与设备的交互，当发生疲劳驾驶和危险动作驾驶的异常驾驶状态时，提醒驾驶员安全驾驶并报警。

2.根据权利要求1所述的一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：所述多普勒雷达信号采集模块由一个多路输出与多路输入的FMCW毫米波雷达构成，通过水平角分辨率和俯仰角分辨率可以精确描绘驾驶员人体特征，根据多发多收天线，结合人体点云构建算法，构建人体点云图。

3.根据权利要求1所述的一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：所述人体状态监测评估模块，包括心肺信号分离检测算法、人体点云运动状态分类识别实时监测算法以及安全状态评估算法。

4.根据权利要求1所述的一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：所述人机交互模块用于驾驶员与设备的交互，当发生疲劳驾驶和危险动作驾驶的异常驾驶状态时，提醒驾驶员安全驾驶并报警，其包括语音提醒、显示屏提醒以及报警功能。

5.根据权利要求2所述的一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：所述人体点云构建算法，是通过将在雷达的多个接收信道中，首先通过二维快速傅里叶变换将A/D转换的时域信号转换为距离-多普勒图，得到了散射体的距离和多普勒信息，然后，通过测量距离多普勒图中散射位置的相位值，确定方位角、仰角和距离，就可以得到人体点云图。

6.根据权利要求3所述一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：所述心肺信号分离检测算法，包括对不同频率的呼吸、心率信号进行提取，采用集合经验模态分解以及小波变换融合算法分析，首先采用经验模态分解算法对使用多普勒雷达采集到的体表位移信号进行初步降噪处理，随后通过小波变换，对不同呼吸频率的信号进行特征提取，从而达到心肺信号分离的结果，最终获取人体的心率、呼吸频率信息。

7.权利要求3所述的一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：所述人体点云运动状态分类识别实时监测算法，包括二维深度卷积神经网络，对驾驶员多个状态进行识别，包括头部左转、头部右转、点头、转动方向盘、弯腰的微动作特征实时识别分类。

8.权利要求3所述的一种基于毫米波雷达的驾驶员驾驶状态监测系统，其特征在于：所述安全状态评估算法，包括但不限于支持向量机的分类算法，通过融合心率、呼吸生理特征以及包括头部左转、头部右转、点头、转动方向盘、弯腰的微动动作特征判别驾驶员包括疲劳驾驶、危险动作驾驶、正常驾驶的驾驶状态。

9.一种基于毫米波雷达的驾驶员驾驶状态监测方法，其特征在于，采用如权利要求1-8任意一项所述的一种基于毫米波雷达的驾驶员驾驶状态监测系统，包括以下步骤：

步骤1，多普勒雷达安置在靠近驾驶员的汽车A柱上，多普勒雷达信号采集模块由一个多路输出与多路输入的FMCW毫米波雷达构成，通过水平角分辨率和俯仰角分辨率可以精确描绘驾驶员人体特征，根据多发多收天线形成人体点云；

步骤2，根据雷达回波信号，通过心肺信号分离检测算法，计算驾驶员的心率呼吸状况，通过人体点云运动状态分类识别实时监测算法，识别驾驶员状态，并根据上述特征通过安全状态评估算法判别驾驶员包括疲劳驾驶、危险动作驾驶和正常驾驶的驾驶状态；

步骤3，通过人机交互模块，当发生疲劳驾驶和危险动作驾驶的异常驾驶状态时，提醒驾驶员安全驾驶并报警，其包括语音提醒、显示屏提醒以及报警功能。

Images