CN114895301B - 一种毫米波雷达和视频辅助的室内跌倒检测方法及装置 - Google Patents

Abstract

本发明公开了一种毫米波雷达和视频辅助的室内跌倒检测方法及装置，其中的方法包括：使用毫米波雷达作为信号源，构建微多普勒图并提取特征矢量，利用经贝叶斯超参数优化的RNN进行分类识别，当被监护对象在室内疑似发生意外跌倒时，开启摄像头，对人体姿势进行进一步的识别判断，若确实发生跌倒事件，则即时发送相关报警信息给监护人；否则关闭摄像头继续使用毫米波雷达进行监测。本发明具有实时跌倒检测功能、预警报警功能；能够提高室内跌倒检测准确性、稳定性、便捷性，减少人力成本，守护生命健康安全；且摄像头平时关闭，在对毫米波雷达信号进行处理后，判断疑似跌倒才会开启摄像头，具有良好的隐私保护性。

Description

一种毫米波雷达和视频辅助的室内跌倒检测方法及装置

技术领域

本发明涉及信号处理与算法技术领域，尤其涉及一种毫米波雷达和视频辅助的室内跌倒检测方法及装置。

背景技术

随着人口老龄化趋势的加剧，空巢老人的总数不断增加，老年人的健康问题受到了越来越多的关注和重视。意外跌倒是危害老年人身心健康的一大杀手，如何检测老年人的意外跌倒，避免由跌倒带来的二次伤害以及并发症，是老人健康监护中急需解决的问题。跌倒检测方法的研究，对于减少老年人的伤残率和死亡率具有重要的意义，可以更大程度上保障老年人的身心健康，促进家庭型医疗模式的发展，对老年人健康安全状况起到预警监测作用。

目前，跌倒检测方法主要分为两大类：基于可穿戴式装置的跌倒检测方法和基于非穿戴式装置的跌倒检测方法。前者主要通过佩戴在人体上或内嵌入人体的各类传感器来检测人体姿态，从而判断是否跌倒。后者通过视频、红外、激光、超声、雷达等非接触式方式来检测跌倒行为。

本申请发明人在实施本发明的过程中，发现现有技术中的方法至少存在如下技术问题：

基于可穿戴式装置的跌倒检测方法主要依赖于各类轻量级传感器，装置灵敏度高、易于携带，且能实时监测，但存在以下缺点：①穿戴式装置存在佩戴舒适性问题，如一些穿戴式马甲在炎热的夏天舒适性差，老人可能会放弃穿戴。②忽略了老年人健忘的可能性，在老人忘记佩戴该装置时，如若发生跌倒情况，则无法及时检测并发出警报，存在很高的漏检率。③穿戴式装置需要考虑到电池的续航问题，增大电池容量可以增加续航能力，但是无疑会增大设备的体积。

基于非穿戴式装置的跌倒检测方法无需被检测人群携带检测装置，而是将检测装置布置在被检测人群经常活动的环境中，测量一些参数或采集信息，从而检测是否有跌倒行为的发生。非穿戴式装置具有无接触的特点，比起穿戴式设备更为方便，但常用的非穿戴式传感器中，视频隐私保护性差、穿透性弱；红外、激光、超声在亮度、湿度、烟雾等环境影响下准确性和稳定性较差。

发明内容

为了解决现有技术中存在的隐私保护性不够、稳定性较差的技术问题，本发明提出了一种毫米波雷达和视频辅助的室内跌倒检测方法及装置，具有实时跌倒检测功能、预警报警功能；能够提高室内跌倒检测准确性、稳定性、便捷性，具有良好的隐私保护性。

本发明第一方面公开了一种毫米波雷达和视频辅助的室内跌倒检测方法，包括：

S1：使用毫米波雷达对被监护对象进行监测，获取毫米波雷达的采样数据，并存储于雷达采样数据矩阵中；

S2：基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式，逐帧构建微多普勒谱图，其中，RDM为距离多普勒图；

S3：从微多普勒图中提取躯干微多普勒特征矢量；

S4：从微多普勒图中提取肢体微多普勒特征矢量；

S5：将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量，通过采集不同时间的人体状态特征矢量，组成人体状态随时间变化的序列；

S6：利用循环神经网络RNN对人体状态随时间变化的序列进行二分类，得到分类结果，分类结果为有摔倒动作和没有摔倒动作；

S7：当分类结果为有摔倒动作时，则对室内画面进行录像识别，定位到图像中的人体区域，提取人体关节点位置，将关节点连线绘制人体姿势图；

S8：根据绘制的人体姿势图进一步判断是否跌倒，如果判断跌倒，则将跌倒情况及视频画面传送给监护人；如果判断没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

在一种实施方式中，步骤S1包括：

通过毫米波雷达发射天线向外发射主信号，经过被监护对象产生反射信号，根据多普勒效应观测到多普勒频移，采集主信号与反射信号的差拍信号；

根据预设信号模型将差拍信号描述为雷达采样数据矩阵Y，包含该雷达于单帧状况下的采样数据。

在一种实施方式中，步骤S2包括：

对雷达采样数据矩阵，在快时间维上的所有列数据加上汉宁窗，执行Range FFT，然后在慢时间维上的所有行数据加上汉宁窗后执行Doppler FFT，并将零频分量搬至频谱中心，得到相应的RDM，其中，RDM用以描述对应帧下所有人体散射点的距离、速度相关信息，Range FFT为距离快速傅里叶变换，Doppler FFT为多普勒快速傅里叶变换；

针对单个人体目标进行研究，将所得每帧下的RDM向距离维投影并按列逐帧积累得到单目标运动轨迹图，其中，单目标运动轨迹图的横轴表示对应的帧标号，纵轴表示其距离门标号对应的目标距离雷达的径向距离；

从单目标运动轨迹图中得到人体目标在运动中距离雷达的最小/最大径向距离所对应的距离门标号，根据距离门标号提取目标运动范围内的RDM，并进一步将提取的RDM向速度维投影并按列逐帧积累，得到目标运动产生的微多普勒谱图，其中，微多普勒谱图的横轴代表对应的帧号，纵轴表示其速度门标号对应的速度值，速度值的正值表示远离雷达，负值表示接近雷达。

在一种实施方式中，步骤S3包括：

从微多普勒图中获取躯干微多普勒曲线，用速度质心序列对该躯干微多普勒曲线进行描述，将速度质心序列作为从谱图中所提取的躯干微多普勒特征矢量。

在一种实施方式中，步骤S4包括：

从微多普勒图中获取肢体微多普勒曲线，提取得到肢体微多普勒特征矢量。

在一种实施方式中，步骤S6包括：

将得到人体状态随时间变化的序列划分为训练集和测试集；

利用RNN，将训练集中的每一个人体状态作为隐状态，将摔倒动作设置为正类，其他动作设置为负类，对RNN进行有监督分类训练，得到训练好的RNN模型；

利用训练好的RNN模型对待处理序列进行分类。

在一种实施方式中，所述方法还包括，在有监督分类训练时采用贝叶斯超参数调整来选择最优超参数。

在一种实施方式中，步骤S8包括：

如果人体姿势为仰卧式、俯卧式或侧卧式的一种，且两髋中心点离地面高度小于人体臀宽大小的一半时，则判断为跌倒，并将跌倒情况及视频画面传送给监护人；

否则判断为没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

基于同样的发明构思，本发明第二方面公开了一种毫米波雷达和视频辅助的室内跌倒检测装置，包括：

雷达信号采集模块，用于使用毫米波雷达对被监护对象进行监测，获取毫米波雷达的采样数据，并存储于采样数据矩阵中；

数据处理模块，用于基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式，逐帧构建微多普勒谱图，其中，RDM为距离多普勒图；

第一特征提取模块，用于从微多普勒图中提取躯干微多普勒特征矢量；

第二特征提取模块，用于从微多普勒图中提取肢体微多普勒特征矢量；

特征处理模块，用于将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量，通过采集不同时间的人体状态特征矢量，组成人体状态随时间变化的序列；

分类模块，用于利用循环神经网络RNN对人体状态随时间变化的序列进行二分类，得到分类结果，分类结果为有摔倒动作和没有摔倒动作；

录像模块，用于当分类结果为有摔倒动作时，则对室内画面进行录像识别，定位到图像中的人体区域，提取人体关节点位置，将关节点连线绘制人体姿势图；

视频辅助判定模块，用于根据绘制的人体姿势图进一步判断是否跌倒，如果判断跌倒，则将跌倒情况及视频画面传送给监护人；如果判断没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

相对于现有技术，本发明的优点和有益的技术效果如下：

本发明提供的一种毫米波雷达和视频辅助的室内跌倒检测方法及装置，使用毫米波雷达作为信号源，构建微多普勒图并提取特征矢量，利用经贝叶斯超参数优化的RNN进行分类识别，当被监护对象在室内疑似发生意外跌倒时，开启摄像头，对人体姿势进行进一步的识别判断，若确实发生跌倒事件，则即时发送相关报警信息给监护人；否则关闭摄像头继续使用毫米波雷达进行监测。该发明能够及时对被监护人进行监护，守护生命健康安全，减少人力成本，具有实时跌倒检测功能、预警报警功能；通过毫米波雷达技术加上视频辅助，能够提高室内跌倒检测准确性、稳定性、便捷性，且摄像头平时关闭，在通过毫米波雷达初步判断疑似跌倒时才会开启摄像头，具有良好的隐私保护性，非常适合独居老人使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种毫米波雷达和视频辅助的室内跌倒检测方法流程图；

图2为本发明实施例中RNN状态矢量序列二分类流程图。

具体实施方式

本发明的目的在于提供一种毫米波雷达和视频辅助的室内跌倒检测方法及装置，使用毫米波雷达作为信号源，构建微多普勒图并提取特征矢量，首先利用RNN进行初步分类判断，当初步判定有跌倒时，则通过视频辅助判断，即对人体姿势进行进一步的识别判断，如果进一步判定有跌倒时，则即时发送相关报警信息给监护人；否则关闭摄像头继续使用毫米波雷达进行监测。本发明具有实时跌倒检测功能、预警报警功能；能够提高室内跌倒检测准确性、稳定性、便捷性，减少人力成本，守护生命健康安全；且摄像头平时关闭，在对毫米波雷达信号进行处理后，判断疑似跌倒才会开启摄像头，具有良好的隐私保护性。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供了一种毫米波雷达和视频辅助的室内跌倒检测方法，包括：

S1：使用毫米波雷达对被监护对象进行监测，获取毫米波雷达的采样数据，并存储于雷达采样数据矩阵中；

S2：基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式，逐帧构建微多普勒谱图，其中，RDM为距离多普勒图；

S3：从微多普勒图中提取躯干微多普勒特征矢量；

S4：从微多普勒图中提取肢体微多普勒特征矢量；

S5：将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量，通过采集不同时间的人体状态特征矢量，组成人体状态随时间变化的序列；

S6：利用循环神经网络RNN对人体状态随时间变化的序列进行二分类，得到分类结果，分类结果为有摔倒动作和没有摔倒动作；

S7：当分类结果为有摔倒动作时，则对室内画面进行录像识别，定位到图像中的人体区域，提取人体关节点位置，将关节点连线绘制人体姿势图；

S8：根据绘制的人体姿势图进一步判断是否跌倒，如果判断跌倒，则将跌倒情况及视频画面传送给监护人；如果判断没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

如图1所示，为本发明实施例提供一种毫米波雷达和视频辅助的室内跌倒检测方法。

在一种实施方式中，步骤S1包括：

通过毫米波雷达发射天线向外发射主信号，经过被监护对象产生反射信号，根据多普勒效应观测到多普勒频移，采集主信号与反射信号的差拍信号；

根据预设信号模型将差拍信号描述为雷达采样数据矩阵Y，包含该雷达于单帧状况下的采样数据。

具体来说，将毫米波雷达安装在室内房间的天花板上，雷达采样数据矩阵的形式为：

式中，n表示快时间采样轴(快时间维)上对应的标号，m表示慢时间采样轴(慢时间维)上对应的标号，T_f表示快时间采样轴上的ADC采样时间间隔，T_s表示慢时间采样轴上的采样时间间隔，j’表示复指数信号里的虚数单位，A_R表示接收功率，f_b表示差频，R表示目标到雷达的单程距离。

在一种实施方式中，步骤S2包括：

对雷达采样数据矩阵，在快时间维上的所有列数据加上汉宁窗，执行Range FFT，然后在慢时间维上的所有行数据加上汉宁窗后执行Doppler FFT，并将零频分量搬至频谱中心，得到相应的RDM，其中，RDM用以描述对应帧下所有人体散射点的距离、速度相关信息，Range FFT为距离快速傅里叶变换，Doppler FFT为多普勒快速傅里叶变换；

针对单个人体目标进行研究，将所得每帧下的RDM向距离维投影并按列逐帧积累得到单目标运动轨迹图，其中，单目标运动轨迹图的横轴表示对应的帧标号，纵轴表示其距离门标号对应的目标距离雷达的径向距离，“其距离门标号”的“其”是指这一帧；

从单目标运动轨迹图中得到人体目标在运动中距离雷达的最小/最大径向距离所对应的距离门标号，根据距离门标号提取目标运动范围内的RDM，并进一步将提取的RDM向速度维投影并按列逐帧积累，得到目标运动产生的微多普勒谱图，其中，微多普勒谱图的横轴代表对应的帧号，纵轴表示其速度门标号对应的速度值，速度值的正值表示远离雷达，负值表示接近雷达。

具体实施过程中，RDM中，用RD(i，j，t)表示在t帧下位于RDM中第i距离门、第j速度门下的信号功率值。

单目标运动轨迹图RP(t,i)的计算公式为：

从单目标运动轨迹图中可以得到其目标(对应的人体目标)在运动中距离雷达的最小/最大径向距离所对应的距离门标号，可以记为i_min及i_max。据此提取目标运动范围内的RDM，并进一步将提取的RDM向速度维投影并按列逐帧积累，则可以得到目标运动产生的微多普勒谱图DP(t,j)。横轴代表对应的帧号，纵轴表示其速度门标号对应的速度值，正值表示远离雷达，负值表示接近雷达。其具体公式为：

在一种实施方式中，步骤S3包括：

从微多普勒图中获取躯干微多普勒曲线，用速度质心序列对该躯干微多普勒曲线进行描述，将速度质心序列作为从谱图中所提取的躯干微多普勒特征矢量。

具体实施过程中，从微多普勒图示意图中观测可得零速度层附近颜色较深的曲线，可表征为躯干微多普勒曲线。然后用速度质心序列来近似描述该躯干微多普勒曲线v_torso(t)，将该序列作为从谱图中所提取的躯干微多普勒特征矢量，其公式为：

其中，v表示速度分量。

在一种实施方式中，步骤S4包括：

从微多普勒图中获取肢体微多普勒曲线，提取得到肢体微多普勒特征矢量。

具体实施过程中，从微多普勒图中可观察到许多速度分量基于躯干微多普勒曲线向四周延伸，可表征为肢体微多普勒曲线，用以下公式近似描述该肢体微多普勒曲线，将该序列作为从谱图中提取的肢体微多普勒特征矢量：

接下来，将v_torso(t)与v_limb(t)组成人体状态特征矢量v′,通过采集不同时间的人体状态特征矢量v′，组成一个人体状态随时间变化的序列v^t。

在一种实施方式中，步骤S6包括：

将得到人体状态随时间变化的序列划分为训练集和测试集；

利用RNN，将训练集中的每一个人体状态作为隐状态，将摔倒动作设置为正类，其他动作设置为负类，对RNN进行有监督分类训练，得到训练好的RNN模型；

利用训练好的RNN模型对待处理序列进行分类。

具体实施过程中，将前述步骤得到的数据v^t划分为训练集v^t _train和测试集v^t _val。利用RNN，将v^t _train中的每一个人体状态作为隐状态，将摔倒动作设置为正类，其他动作设置为负类，对RNN进行有监督分类训练。

请参见图2，为本发明实施例中RNN状态矢量序列二分类流程图。

在一种实施方式中，所述方法还包括，在有监督分类训练时采用贝叶斯超参数调整来选择最优超参数。

为了进一步提升RNN分类性能，可以采用贝叶斯超参数调整来选择最优超参数。贝叶斯超参数调整基于目标函数的历史评估结果来建立新的概率模型，用以将目标函数值最小化，此处的目标函数即为所构建的模型在调用当前调试的超参数下的五折交叉验证损失。

步骤7：通过前述步骤1-6进行初步判断，若有疑似摔倒动作，则通过摄像头辅助识别模块，打开摄像头，对室内画面进行录像识别，将关节点连线绘制人体姿势图。在本发明实施例中具体为：

若疑似有摔倒动作，则通过摄像头辅助识别模块，打开摄像头，对室内画面进行录像识别；定位到图像中的人体区域，提取人体关节点位置，主要包括人体头部、颈部、脊椎、肘部、两髋、膝盖，并将关节点连线绘制人体姿势图。

在一种实施方式中，步骤S8包括：

如果人体姿势为仰卧式、俯卧式或侧卧式的一种，且两髋中心点离地面高度小于人体臀宽大小的一半时，则判断为跌倒，并将跌倒情况及视频画面传送给监护人；

否则判断为没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

具体实施过程中，通过视频处理对人体姿势进行判断，进一步识别是否跌倒。

实施例二

基于同样的发明构思，本发明第二方面提供了一种毫米波雷达和视频辅助的室内跌倒检测装置，包括：

雷达信号采集模块，用于使用毫米波雷达对被监护对象进行监测，获取毫米波雷达的采样数据，并存储于采样数据矩阵中；

数据处理模块，用于基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式，逐帧构建微多普勒谱图，其中，RDM为距离多普勒图；

第一特征提取模块，用于从微多普勒图中提取躯干微多普勒特征矢量；

第二特征提取模块，用于从微多普勒图中提取肢体微多普勒特征矢量；

特征处理模块，用于将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量，通过采集不同时间的人体状态特征矢量，组成人体状态随时间变化的序列；

分类模块，用于利用循环神经网络RNN对人体状态随时间变化的序列进行二分类，得到分类结果，分类结果为有摔倒动作和没有摔倒动作；

录像模块，用于当分类结果为有摔倒动作时，则对室内画面进行录像识别，定位到图像中的人体区域，提取人体关节点位置，将关节点连线绘制人体姿势图；

视频辅助判定模块，用于根据绘制的人体姿势图进一步判断是否跌倒，如果判断跌倒，则将跌倒情况及视频画面传送给监护人；如果判断没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

由于本发明实施例二所介绍的装置，为实施本发明实施例一中毫米波雷达和视频辅助的室内跌倒检测方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置，都属于本发明所欲保护的范围。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，包括：

S1：使用毫米波雷达对被监护对象进行监测，获取毫米波雷达的采样数据，并存储于雷达采样数据矩阵中；

S2：基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式，逐帧构建微多普勒谱图，其中，RDM为距离多普勒图；

S3：从微多普勒图中提取躯干微多普勒特征矢量；

S4：从微多普勒图中提取肢体微多普勒特征矢量；

S5：将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量，通过采集不同时间的人体状态特征矢量，组成人体状态随时间变化的序列；

S6：利用循环神经网络RNN对人体状态随时间变化的序列进行二分类，得到分类结果，分类结果为有摔倒动作和没有摔倒动作；

S7：当分类结果为有摔倒动作时，则对室内画面进行录像识别，定位到图像中的人体区域，提取人体关节点位置，将关节点连线绘制人体姿势图；

S8：根据绘制的人体姿势图进一步判断是否跌倒，如果判断跌倒，则将跌倒情况及视频画面传送给监护人；如果判断没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

2.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S1包括：

通过毫米波雷达发射天线向外发射主信号，经过被监护对象产生反射信号，根据多普勒效应观测到多普勒频移，采集主信号与反射信号的差拍信号；

根据预设信号模型将差拍信号描述为雷达采样数据矩阵Y，包含该雷达于单帧状况下的采样数据。

3.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S2包括：

对雷达采样数据矩阵，在快时间维上的所有列数据加上汉宁窗，执行Range FFT，然后在慢时间维上的所有行数据加上汉宁窗后执行Doppler FFT，并将零频分量搬至频谱中心，得到相应的RDM，其中，RDM用以描述对应帧下所有人体散射点的距离、速度相关信息，RangeFFT为距离快速傅里叶变换，Doppler FFT为多普勒快速傅里叶变换；

针对单个人体目标进行研究，将所得每帧下的RDM向距离维投影并按列逐帧积累得到单目标运动轨迹图，其中，单目标运动轨迹图的横轴表示对应的帧标号，纵轴表示其距离门标号对应的目标距离雷达的径向距离；

从单目标运动轨迹图中得到人体目标在运动中距离雷达的最小/最大径向距离所对应的距离门标号，根据距离门标号提取目标运动范围内的RDM，并进一步将提取的RDM向速度维投影并按列逐帧积累，得到目标运动产生的微多普勒谱图，其中，微多普勒谱图的横轴代表对应的帧号，纵轴表示其速度门标号对应的速度值，速度值的正值表示远离雷达，负值表示接近雷达。

4.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S3包括：

从微多普勒图中获取躯干微多普勒曲线，用速度质心序列对该躯干微多普勒曲线进行描述，将速度质心序列作为从谱图中所提取的躯干微多普勒特征矢量。

5.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S4包括：

从微多普勒图中获取肢体微多普勒曲线，提取得到肢体微多普勒特征矢量。

6.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S6包括：

将得到人体状态随时间变化的序列划分为训练集和测试集；

利用RNN，将训练集中的每一个人体状态作为隐状态，将摔倒动作设置为正类，其他动作设置为负类，对RNN进行有监督分类训练，得到训练好的RNN模型；

利用训练好的RNN模型对待处理序列进行分类。

7.如权利要求6所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，所述方法还包括，在有监督分类训练时采用贝叶斯超参数调整来选择最优超参数。

8.如权利要求1所述的毫米波雷达和视频辅助的室内跌倒检测方法，其特征在于，步骤S8包括：

如果人体姿势为仰卧式、俯卧式或侧卧式的一种，且两髋中心点离地面高度小于人体臀宽大小的一半时，则判断为跌倒，并将跌倒情况及视频画面传送给监护人；

否则判断为没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。

9.一种毫米波雷达和视频辅助的室内跌倒检测装置，其特征在于，包括：

雷达信号采集模块，用于使用毫米波雷达对被监护对象进行监测，获取毫米波雷达的采样数据，并存储于采样数据矩阵中；

数据处理模块，用于基于预设信号模型对毫米波雷达的采样数据采用以RDM向速度维投影的方式，逐帧构建微多普勒谱图，其中，RDM为距离多普勒图；

第一特征提取模块，用于从微多普勒图中提取躯干微多普勒特征矢量；

第二特征提取模块，用于从微多普勒图中提取肢体微多普勒特征矢量；

特征处理模块，用于将躯干微多普勒特征矢量和肢体微多普勒特征矢量组成人体状态特征矢量，通过采集不同时间的人体状态特征矢量，组成人体状态随时间变化的序列；

分类模块，用于利用循环神经网络RNN对人体状态随时间变化的序列进行二分类，得到分类结果，分类结果为有摔倒动作和没有摔倒动作；

录像模块，用于当分类结果为有摔倒动作时，则对室内画面进行录像识别，定位到图像中的人体区域，提取人体关节点位置，将关节点连线绘制人体姿势图；

视频辅助判定模块，用于根据绘制的人体姿势图进一步判断是否跌倒，如果判断跌倒，则将跌倒情况及视频画面传送给监护人；如果判断没有跌倒，则关闭摄像头，继续使用毫米波雷达进行监测。