CN116338684A - 基于毫米波雷达与深度学习的人体跌倒检测方法及系统 - Google Patents

基于毫米波雷达与深度学习的人体跌倒检测方法及系统 Download PDF

Info

Publication number
CN116338684A
CN116338684A CN202310612927.XA CN202310612927A CN116338684A CN 116338684 A CN116338684 A CN 116338684A CN 202310612927 A CN202310612927 A CN 202310612927A CN 116338684 A CN116338684 A CN 116338684A
Authority
CN
China
Prior art keywords
point cloud
human body
data
cluster
falling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310612927.XA
Other languages
English (en)
Inventor
徐标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Microbrain Intelligent Technology Co ltd
Original Assignee
Changsha Microbrain Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Microbrain Intelligent Technology Co ltd filed Critical Changsha Microbrain Intelligent Technology Co ltd
Priority to CN202310612927.XA priority Critical patent/CN116338684A/zh
Publication of CN116338684A publication Critical patent/CN116338684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明属于人体跌倒检测领域，公开了基于毫米波雷达与深度学习的人体跌倒检测方法及系统，方法包括以下步骤：获取毫米波雷达的回波信号；对回波信号进行短时傅里叶变换获取时频图；提取回波信号中的点云数据，从点云数据中提取人体点云簇群特征；将点云特征数据和时频图输入到经过块项分解的LSTM网络中，并通过全连接层进行特征融合，最后使用softmax层进行分类，完成人体跌倒检测识别训练；将实时获取的点云簇群的特征和时频图输入预先训练好的LSTM网络，判断老人是否发生跌倒。本发明降低系统模型的参数量，加快网络的训练速度；将点云数据多种特征输入到深度学习模型中进行训练，具有良好的自适应能力。

Description

基于毫米波雷达与深度学习的人体跌倒检测方法及系统
技术领域
本发明属于跌倒检测技术领域，尤其涉及基于毫米波雷达与深度学习的人体跌倒检测方法及系统。
背景技术
目前主要的跌倒检测分为两类：接触式跌倒检测和非接触式跌倒检测两种。由于接触式跌倒检测存在佩戴不舒服和忘记佩戴等问题，所以非接触式跌倒检测成为了跌倒检测的趋势。基于相机的非接触式跌倒检测方法具有简单方便，准确度高等特点，但不利于隐私的保护，已经在弱光条件下检测效果差，因此该方法不适合在卫生间浴室和晚上使用。相比之下，毫米波雷达不易受到环境因素（例如天气、光照等）的影响，而且具有良好的隐私保护效果，更适应于家居环境下的老人跌倒检测。毫米波雷达主要是通过识别老人的形态、动作等信息，监护老人是否发生跌倒，并在短时间内发出警报，家人或护理人员收到警报后可及时处理，降低对老人的伤害，维护老人的生命安全。然而现存的基于毫米波雷达跌倒检测方法主要分为两类：1）基于点云数据宽高比，速度，最高点，倾斜角等参数中的一个或者几个，与设置的阈值进行比较，从而达到跌倒检测的效果，阈值一旦设定就不会再修改，因此该方法不具有对不同场景不同人群的适应性；2）对毫米波雷达的回波数据进行较为复杂的算法提取时频图，得到时频图的特征再进行机器学习或者深度学习，该方法参数量庞大，对算法和硬件的要求较高，无法在嵌入式端应用。
发明内容
有鉴于此，本发明将块项分解引入到深度学习网络（LSTM）中，降低参数量以及加快网络训练，为将深度学习网络引入到跌倒检测嵌入式端提供了一种可能。
本发明第一方面公开的基于毫米波雷达与深度学习的人体跌倒检测方法，包括以下步骤：
S1：获取毫米波雷达发射的电磁波被人体反射后形成的回波信号；
S2：对回波信号进行短时傅里叶变换获取时频图；
S3：提取回波信号中的点云数据，从点云数据中提取人体点云簇群特征；
S4：将特征数据和时频图输入到经过块项分解的 LSTM 网络中，并通过全连接层进行特征融合，最后使用 softmax 层进行分类，完成人体跌倒检测识别训练；所述经过块项分解的 LSTM 网络把权重矩阵 W、U 和输入数据 x 表征到不同阶的张量之中，在LSTM网络的训练过程中，块项分解层自动学习参数间的关联性，以隐式剪枝掉来自 Wx 的冗余密集连接，并将新的 BTD 层插入到当前的 LSTM 表达式；
S5：将实时获取的点云簇群的特征和时频图输入预先训练好的 LSTM 网络，判断老人是否发生跌倒。
进一步地，所述从点云数据中提取人体点云簇群特征，包括：
获取跌倒阶段和非跌倒阶段的点云数据，包括向前跌倒、向后跌倒、向左跌倒和向右跌倒的点云数据，每种跌倒情况各采集q组，共计4q组跌倒点云数据；非跌倒点云数据包括坐下、蹲下、弯腰和行走情况的数据，每种非跌倒情况各采集q组，共计4q组非跌倒点云数据；
对各组点云数据进行特征提取，特征包括
Figure SMS_1
，并对跌倒的特征数据和时频图打上标签1，非跌倒的特征数据和时频图打上标签-1。
进一步地，将特征数据和时频图数据分为训练数据集和验证数据集，然后将训练数据集的特征数据输入到经过块项分解的 LSTM 网络模型中进行训练，用验证数据集验证训练之后的模型。
进一步地，所述块项分解的分解表达式为：
Figure SMS_2
；
其中，
Figure SMS_3
表示Tucker内积，k =1,2,…,n，d 表示 Tucker 的阶数，/>
Figure SMS_4
和/>
Figure SMS_5
均为表示张量。
进一步地，LSTM 网络结构有4个全连接层，分别对其进行块项分解，以完成对整个LSTM 结构的块项分解，分解之后的公式如下所示：
Figure SMS_6
；
其中BT表示块项分解，
Figure SMS_12
表示/>
Figure SMS_29
，/>
Figure SMS_40
表示/>
Figure SMS_11
，/>
Figure SMS_25
表示/>
Figure SMS_18
，/>
Figure SMS_34
表示/>
Figure SMS_17
，/>
Figure SMS_28
，/>
Figure SMS_13
，/>
Figure SMS_33
，/>
Figure SMS_15
，/>
Figure SMS_26
，/>
Figure SMS_21
，/>
Figure SMS_38
，/>
Figure SMS_14
分别表示记忆单元中对应门的权重相量，
Figure SMS_27
表示输入门的激活值，/>
Figure SMS_16
表示遗忘门的激活值，/>
Figure SMS_36
表示输出门的激活值，/>
Figure SMS_7
和/>
Figure SMS_23
分别代表在时间步 t 和时间步 t-1 记忆单元的状态，/>
Figure SMS_30
表示时间步t记忆单元的输入，/>
Figure SMS_41
和
Figure SMS_8
分别代表在时间步 t 和时间步 t-1 记忆单元的输出，/>
Figure SMS_24
，/>
Figure SMS_9
，/>
Figure SMS_35
，/>
Figure SMS_10
分别表示记忆单元中/>
Figure SMS_32
，/>
Figure SMS_39
，/>
Figure SMS_42
，控制门/>
Figure SMS_19
的偏置，/>
Figure SMS_31
和/>
Figure SMS_22
为激活函数，/>
Figure SMS_37
表示记忆单元的候选状态，/>
Figure SMS_20
表示点乘。
进一步地，从点云数据中提取人体点云簇群特征，包括：
S31：通过对回波信号进行距离维的快速傅里叶转换，获取目标物体的距离信息，将各个通道上的位置信息及速度信息进行合成，得到距离多普勒检测矩阵，然后对距离多普勒检测矩阵进行恒虚警处理和角度计算，过滤掉虚假目标，得到目标物体的点云数据集；所述点云数据集包括位置信息、角度信息、多普勒速度信息和信号强度信息；
S32 对点云数据进行聚类分析和预处理，去除掉噪声点云，并确定人体点云数据所构成的点云簇群的质心点：得到目标物体的点云数据集后，基于 DBSCAN 算法对该点云数据集进行聚类分析和去除噪声点云，对 DBSCAN 算法聚类点数与阈值进行比较，去除噪声点云；
S33基于人体点云簇群各个点云的能量分布计算得到该帧点云簇群的质心位置，点云能量越强，其对质心位置的影响越大；
S34 基于点云簇群的质心点计算人体平面与地面的夹角，并对相邻帧间的夹角作对消处理；
S35 提取人体点云簇群的特征，包括点云簇群的最高高度差ℎ、最大展宽比
Figure SMS_43
、最大夹角、最大速度/>
Figure SMS_44
和最大加速度/>
Figure SMS_45
：
云最大展宽比
Figure SMS_46
的计算公式如下：
Figure SMS_47
；
其中，
Figure SMS_48
分别表示人体点云簇群各个点云在x 轴坐标上的最大值、最小值；/>
Figure SMS_49
分别表示人体点云簇群各个点云在y 轴坐标上的最大值、最小值；
Figure SMS_50
分别表示人体点云簇群各个点云在z 轴坐标上的最大值、最小值；
统计点云簇群的夹角最大值
Figure SMS_51
；
统计点云簇群速度的最大值
Figure SMS_52
；
统计加速度的最大值
Figure SMS_53
；
将特征
Figure SMS_54
组合构成点云簇群的特征。
进一步地，质心位置的计算方法如下：
首先计算该人体点云簇群的总能量 Ep：
Figure SMS_55
；
其中，
Figure SMS_56
为人体点云(k+1)的信噪比，如/>
Figure SMS_57
表示第 1 个点云的信噪比，K 是人体目标点云的个数；
然后根据各个点信噪比占据总能量的比重，得到点云簇群中每个点的权重 ω={ω0, ω1, ⋯,ωk , ⋯, ωK-1}，其中
Figure SMS_58
；
Figure SMS_59
；
其中，ωk表示第k+1个点云的权重；
最后根据权重对各个点的坐标进行加权求和得到该点云簇群的质心位置：
Figure SMS_60
。
进一步地，基于点云簇群的质心点计算人体平面与地面的夹角，并对相邻帧间的夹角作对消处理，包括：
首先根据点云簇群和质心点位置求出协方差矩阵；
然后对协方差矩阵进行特征分解，得到该协方差矩阵的特征值
和对应的特征向量，选取最大特征值对应的特征向量所表示的方向认为是人体目标躯干方向；
最后求取该特征向量与竖直方向相量的夹角，并对相邻帧间的夹角作对消处理。
进一步地，求取该特征向量与竖直方向相量的夹角，并对相邻帧间的夹角作对消处理，包括：
S341协方差矩阵的求解如下式：
Figure SMS_61
；
其中，T 表示矩阵转置，协方差矩阵 C 是 3 × 3 实对称矩阵，表示是各个坐标值之间的相互关系，若三个坐标值两个无关，则 C 中的元素均为 0；
S342接着求解协方差矩阵 C 的特征值和对应的特征向量，得到三个特征值 λ1，λ2 和 λ3 及其对应的三个特征向量 e1, e2 和 e3，其求解式如下：
Figure SMS_62
；
其中，E为单位矩阵；
以这三个特征向量构成的平面为人体平面，人体平面 β 与水平地面 α 之间的夹角反映出人体与地面的倾斜程度，将三个特征向量的三维坐标分别记为
Figure SMS_63
；
记该平面的法向量为u =(x, y, z)，通过求 u 与上述三个向量的乘积得到三个方程，即
Figure SMS_64
；
通过解方程求出法向量 u；
S343计算两平面之间的夹角：将水平地面的法向量用 v= (0,0,1) 表示，那么两平面之间的夹角可以通过两平面的法向量之间的夹角得到，u与v之间的夹角计算公式如下：
Figure SMS_65
；
其中，cos−1表示反余弦函数，⋅表示相量之间相乘，即点乘；
通过相邻帧对消后的夹角反映夹角的变化情况，即
Figure SMS_66
；
其中，θ（k）和θ（k-1）分别表示该帧和上一帧点云的夹角。
本发明第二方面公开的基于毫米波雷达与深度学习的人体跌倒检测系统，包括
毫米波雷达，用于获取毫米波雷达发射的电磁波被人体反射后形成的回波信号；
数据处理模块，对回波信号进行短时傅里叶变换获取时频图；
特征提取模块，提取回波信号中的点云数据，从点云数据中提取人体点云簇群特征；
跌倒检测训练模块：将特征数据和时频图输入到经过块项分解的 LSTM 网络中，并通过全连接层进行特征融合，最后使用 softmax 层进行分类，完成人体跌倒检测识别训练；所述经过块项分解的 LSTM 网络把权重矩阵W、U 和输入数据 x 表征到不同阶的张量之中，在 LSTM 网络的训练过程中，块项分解层自动学习参数间的关联性，以隐式剪枝掉来自 Wx 的冗余密集连接，并将新的 BTD 层插入到当前的 LSTM 表达式；
报警模块：将实时获取的点云簇群的特征和时频图输入预先训练好的 LSTM 网络，判断老人是否发生跌倒。
本发明的有益效果如下：
将块项分解引入到基于 LSTM 网络的跌倒检测方法和系统中，降低系统模型的参数量，加快网络的训练速度；
由于 LSTM 网络模型参数量的降低，这也为在嵌入式端或者移动设备上实现跌倒检测提供了一种可能。
提出一种通过人体平面与地面之间的相邻帧对消后的夹角来反映人体倾斜程度的参数，该两平面之间的夹角越大，则人体倾斜程度越大，发生跌倒的可能性越大；
将雷达点云数据的多种特征输入到深度学习模型中进行训练，得到训练模型，后续基于该模型进行跌倒检测，能够满足在不同场景对不同人群跌倒检测的需求，因此具有良好的自适应能力；
参数与设置阈值的比较通常具有延时性，然而深度学习模型具有实时计算和判断的作用，因此该方法具有较好的实时性。
附图说明
图1本发明的人体检测方法流程图；
图2本发明的y=Wx的块项分解示意图；
图3本发明的人体检测系统结构图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
本发明提供了一种基于毫米波雷达和深度学习方法的人员跌倒检测方法，为将深度学习网络引入到跌倒检测嵌入式端提供了一种可能。实现在不同场景对不同人群以高准确性进行稳定的跌倒检测。该方法包括以下步骤：获取毫米波雷达发射的电磁波被人体反射后形成的回波信号；对回波信号进行短时傅里叶变换获取时频图；将时频图输入到经过块项分解的 LSTM 网络中，并通过全连接层进行特征融合，最后使用 softmax 层进行分类，完成人体跌倒检测识别。
算法流程如图1所示，具体方法步骤介绍如下：
S1获取毫米波雷达发射的电磁波被人体反射后形成的回波信号：配置毫米波雷达波形，通过发射天线向监测区域发射电磁波，碰到人体等目标反射回电磁波，通过接收天线接收到该信号，作混频处理得到中频信号，即回波信号。
S2对回波信号进行短时傅里叶变换获取时频图：由于人体运动过程（包括跌倒和非跌倒过程）是一个连续的过程，在每一个时刻的频率是不一样的，采用傅里叶变换只关注频率，而忽略了时间维度，与运动过程不符合，因此在此采用短时傅里叶变换对人体运动产生的回波信号进行分析处理。短时傅里叶变换的形式如下：
Figure SMS_67
；
其中，
Figure SMS_68
表示信号在时频点（/>
Figure SMS_69
）处的短时傅里叶变换后的结果，/>
Figure SMS_70
表示雷达信号，/>
Figure SMS_71
表示的是窗函数，/>
Figure SMS_72
表示的是信号长度，一般是有限值。
S3提取回波信号中的点云数据，从点云数据中提取人体点云簇群特征：
S31：通过对回波信号进行距离维的快速傅里叶转换（FFT），获取目标物体的距离信息。对该距离信息进行快速傅里叶变换，获得目标物体的速度信息。将各个通道上的位置信息及速度信息进行合成，得到距离多普勒检测矩阵（RDM），然后对 RDM 矩阵进行恒虚警（ConstantFalse-Alarm Rate，CFAR）处理和角度计算（如 FFT、Capon 和 MUSIC 算法等），过滤掉虚假目标，得到目标物体的点云数据集。该点云数据集包括位置信息、角度信息、多普勒速度信息和信号强度信息等信息。位置信息和角度信息通过转换，得到世界坐标系下的坐标值表征，信号强度信息通过信噪比表征。例如点云数据集可以表示成
Figure SMS_73
，其中，/>
Figure SMS_74
，/>
Figure SMS_75
表示N个点云数据中的第i+1个点云，/>
Figure SMS_76
为点云(i+1)的三维坐标，/>
Figure SMS_77
为点云(i+1)的速度，/>
Figure SMS_78
为点云(i+1)的信噪比。
S32 对点云数据进行聚类分析和预处理，去除掉噪声点云，并确定人体点云数据所构成的点云簇群的质心点：得到目标物体的点云数据集后，基于 DBSCAN 算法对该点云数据集进行聚类分析和去除噪声点云，将人体点云数据挑选出来，记作
Figure SMS_79
，其中/>
Figure SMS_80
为K个人体目标点云数据中的第（k+1）个点云，/>
Figure SMS_81
为人体点云(k+1)的三维坐标，/>
Figure SMS_82
为人体点云(k+1)的速度，/>
Figure SMS_83
为人体点云(k+1)的信噪比。
去除噪声点云主要通过对 DBSCAN 算法聚类点数进行限制达到（比如聚类点数应不小于 n），从而保证聚类结果的准确性。
S33基于人体点云簇群各个点云的能量分布计算得到该帧点云簇群的质心位置，点云能量越强，其对质心位置的影响越大。质心位置的计算方法如下：
首先计算该人体点云簇群的总能量Ep：
Figure SMS_84
；
其中，
Figure SMS_85
为人体点云(k+1)的信噪比，/>
Figure SMS_86
表示第 1 个点云的信噪比，K 是人体目标点云的个数；
然后根据各个点信噪比占据总能量的比重，得到点云簇群中每个点的权重 ω={ω0, ω1, ⋯,ωk , ⋯, ωK-1}，其中
Figure SMS_87
；
Figure SMS_88
；
其中，ωk表示第k+1个点云的权重；
最后根据权重对各个点的坐标进行加权求和得到该点云簇群的质心位置：
Figure SMS_89
。
S34 基于点云簇群的质心点计算人体平面与地面的夹角，并对相邻帧间的夹角作对消处理：
首先根据点云簇群和质心点位置求出协方差矩阵，
然后对协方差矩阵进行特征分解，得到该协方差矩阵的特征值
和对应的特征向量，选取最大特征值对应的特征向量所表示的方向认为是人体目标躯干方向，
最后求取该特征向量与竖直方向相量的夹角，并对相邻帧间的夹角作对消处理。其具体算法如下：
S341协方差矩阵的求解如下式：
Figure SMS_90
；
其中，T表示矩阵转置，协方差矩阵 C 是 3 × 3 实对称矩阵，表示是各个坐标值之间的相互关系，若三个坐标值两个无关，则 C 中的元素均为 0；
S342接着求解协方差矩阵 C 的特征值和对应的特征向量，得到三个特征值λ1，λ2和 λ3 及其对应的三个特征向量 e1, e2 和 e3，其求解式如下：
Figure SMS_91
；
其中，E为单位矩阵；
以这三个特征向量构成的平面为人体平面，人体平面β与水平地面α之间的夹角反映出人体与地面的倾斜程度，将三个特征向量的三维坐标分别记为
Figure SMS_92
；
记该平面的法向量为u =(x, y, z)，通过求u与上述三个向量的乘积得到三个方程，即
Figure SMS_93
；
通过解方程求出法向量u；
S343计算两平面之间的夹角：将水平地面的法向量用v= (0,0,1)表示，那么两平面之间的夹角可以通过两平面的法向量之间的夹角得到，u与v之间的夹角计算公式如下：
Figure SMS_94
；
其中，cos−1表示反余弦函数，⋅表示相量之间相乘，即点乘；
通过相邻帧对消后的夹角反映夹角的变化情况，即
Figure SMS_95
；
其中，θ（k）和θ（k-1）分别表示该帧和上一帧点云的夹角。
由于目前的夹角是弧度制表示的，将其转化成角度制，这样能更好区分跌倒和非跌倒过程。转换公式如下：
Figure SMS_96
；
S35 提取人体点云簇群的特征，包括点云簇群的最高点、最大展宽比、最大夹角、速度和加速度等其他特征：跌倒过程和非跌倒过程除了夹角不一样外，人体点云簇群的最高高度差ℎ、最大速度
Figure SMS_97
和最大展宽比/>
Figure SMS_98
和最大加速度/>
Figure SMS_99
等特征也会有区别。
点云最大展宽比
Figure SMS_100
的计算公式如下：
Figure SMS_101
；
其中，
Figure SMS_102
分别表示人体点云簇群各个点云在x 轴坐标上的最大值、最小值；/>
Figure SMS_103
分别表示人体点云簇群各个点云在y 轴坐标上的最大值、最小值；
Figure SMS_104
分别表示人体点云簇群各个点云在z 轴坐标上的最大值、最小值；
统计点云簇群的夹角最大值
Figure SMS_105
；
统计点云簇群速度的最大值
Figure SMS_106
；
统计加速度的最大值
Figure SMS_107
；
将特征
Figure SMS_108
组合构成点云簇群的特征。
步骤三：输入到深度学习模型中进行模型训练，得到训练好的模型。
S4根据点云簇群的特征并基于预先训练好的LSTM网络判断老人是否发生跌倒：将点云簇群的特征输入到预先训练好的深度学习模型中判断老人是否发生跌倒。
获取跌倒阶段和非跌倒阶段的点云数据。跌倒点云数据包括向前跌倒、向后跌倒、向左跌倒和向右跌倒等情况的点云数据，每种跌倒情况各采集q组，共计4q组跌倒点云数据；非跌倒点云数据包括坐下、蹲下、弯腰和行走等情况的数据，每种非跌倒情况各采集q组，共计4q组非跌倒点云数据。
对各组点云数据进行特征提取。特征主要包括
Figure SMS_109
，并对跌倒的特征数据和时频图打上标签1，非跌倒的特征数据和时频图打上标签-1。
将特征数据和时频图输入到经过块项分解的LSTM网络中，并通过全连接层进行特征融合，最后使用softmax层进行分类，完成人体跌倒检测识别训练。将特征数据和时频图数据按照 p1和p2(p1+p2=1)的比例分为训练数据集和验证数据集，然后将训练数据集的特征数据输入到深度学习模型中进行训练，用验证数据集验证训练之后的模型。循环神经网络（RNN）能够循环处理历史数据和对历史数据进行相关建模，因此可以用于处理在时间或者空间序列上有强关联性的信息。在本发明中特征数据和时频图分别为空间和时间数据，而LSTM网络是由RNN发展过来的一种变体，是为了弥补RNN网络无法记忆长时期内信息的问题。LSTM网络包含输入门、遗忘门和输出门，如图2所示，其中
其中BT表示块项分解，
Figure SMS_121
表示/>
Figure SMS_123
，/>
Figure SMS_139
表示/>
Figure SMS_114
，/>
Figure SMS_130
表示/>
Figure SMS_117
，/>
Figure SMS_128
表示
Figure SMS_142
，/>
Figure SMS_145
，/>
Figure SMS_115
，/>
Figure SMS_127
，/>
Figure SMS_133
，/>
Figure SMS_143
，/>
Figure SMS_136
，/>
Figure SMS_144
，/>
Figure SMS_120
分别表示记忆单元中对应门的权重相量，/>
Figure SMS_137
表示输入门的激活值，/>
Figure SMS_122
表示遗忘门的激活值，/>
Figure SMS_135
表示输出门的激活值，/>
Figure SMS_110
和/>
Figure SMS_126
分别代表在时间步t和时间步t-1记忆单元的状态，/>
Figure SMS_118
表示时间步t记忆单元的输入，/>
Figure SMS_129
和/>
Figure SMS_125
分别代表在时间步 t 和时间步 t-1 记忆单元的输出，/>
Figure SMS_138
，/>
Figure SMS_116
，/>
Figure SMS_132
，/>
Figure SMS_119
分别表示记忆单元中/>
Figure SMS_140
，/>
Figure SMS_124
，/>
Figure SMS_141
，控制门/>
Figure SMS_112
的偏置，/>
Figure SMS_131
和/>
Figure SMS_111
为激活函数，/>
Figure SMS_134
表示记忆单元的候选状态，/>
Figure SMS_113
表示点乘。
输入门决定那些新输入的信息允许被更新，或者保存到记忆单元中；遗忘门用于控制记忆单元是否记住或者丢弃之前的状态；输出门决定记忆单元中哪些信息允许被输出。其相关的公式如下所示：
Figure SMS_146
；
巨型矩阵向量乘法，即 Wx 是导致低效率的主要原因-当前的参数密集型设计不仅使模型难以训练，而且会导致高计算复杂度和存储占用。因此，本发明用一种稀疏连接的张量表征（块项分解），即 BTD（Block-Term decomposition），以替代 LSTM 中冗余和密集连接的操作。BTD 是一种低秩逼近的方法，可以把高阶张量分解为多个 Tucker 分解模型的总和。具体讲，我们把权重矩阵（即 W和U）和输入数据x表征到不同阶的张量之中。在LSTM 训练的过程中，BTD 层自动学习参数间的关联性，以隐式剪枝掉来自 Wx 的冗余密集连接。通过将新的BTD层插入到当前的 LSTM 表达式，其表征能力相似，但是参数却少了若干个数量级。
由于 LSTM 网络模型的参数量较大，无法将其应用到移动设备等对设备要求较低的场景中，因此在本发明中将块项分解引入到 LSTM 网络模型中，降低模型的参数即提升训练速度，主要是针对对权重向量。
块项分解模型的设计一方面能降低参数量，另一方面能减少其对输入数据中的噪声数据的敏感性，并且也增加了网络的宽度，从而得到一个具有较强鲁棒性的模型。其分解表达式为：
Figure SMS_147
（1）；
其中，
Figure SMS_148
表示Tucker内积，k =1,2,…,n，d表示Tucker的阶数，/>
Figure SMS_149
和/>
Figure SMS_150
均为表示张量。
那么全连接层 y=Wx+b 中的 W 分解按照式（1）进行块项分解，表示形式简写为 y=BT(W, x)+b。其分解过程如图2所示，将权重矩阵W表示成公式（1）的形式，且输入向量x表示成对应的张量形式，将这两者按照张量乘法进行运算，得到一个输出张量，然后将其变形，就可以得到输出相量y。如果考虑偏置相量b，将其变化为张量形式进行运算即可。
由于 LSTM 结构有4个全连接层，分别对其进行块项分解就可以完成对整个 LSTM结构的块项分解，分解之后的公式如下所示：
Figure SMS_151
；
其中BT表示块项分解，
Figure SMS_156
表示/>
Figure SMS_167
，/>
Figure SMS_182
表示/>
Figure SMS_154
，/>
Figure SMS_171
表示/>
Figure SMS_161
，/>
Figure SMS_179
表示
Figure SMS_163
，/>
Figure SMS_177
，/>
Figure SMS_157
，/>
Figure SMS_172
，/>
Figure SMS_159
，/>
Figure SMS_174
，/>
Figure SMS_164
，/>
Figure SMS_170
，/>
Figure SMS_160
分别表示记忆单元中对应门的权重相量，/>
Figure SMS_181
表示输入门的激活值，/>
Figure SMS_165
表示遗忘门的激活值，/>
Figure SMS_176
表示输出门的激活值，/>
Figure SMS_152
和/>
Figure SMS_175
分别代表在时间步t和时间步 t-1 记忆单元的状态，/>
Figure SMS_169
表示时间步t记忆单元的输入，/>
Figure SMS_185
和/>
Figure SMS_180
分别代表在时间步 t 和时间步 t-1 记忆单元的输出，/>
Figure SMS_186
，/>
Figure SMS_155
，/>
Figure SMS_183
，/>
Figure SMS_166
分别表示记忆单元中/>
Figure SMS_178
，/>
Figure SMS_184
，/>
Figure SMS_187
，控制门/>
Figure SMS_158
的偏置，/>
Figure SMS_173
和/>
Figure SMS_153
为激活函数，/>
Figure SMS_168
表示记忆单元的候选状态，/>
Figure SMS_162
表示点乘。
基于上述的技术方案，提出相对应的跌倒检测系统，如图3所示，毫米波雷达，用于获取毫米波雷达发射的电磁波被人体反射后形成的回波信号；
数据处理模块，对回波信号进行短时傅里叶变换获取时频图；
特征提取模块，提取回波信号中的点云数据，从点云数据中提取人体点云簇群特征；
跌倒检测训练模块：将特征数据和时频图输入到经过块项分解的 LSTM 网络中，并通过全连接层进行特征融合，最后使用 softmax 层进行分类，完成人体跌倒检测识别训练；所述经过块项分解的 LSTM 网络把权重矩阵W、U 和输入数据 x 表征到不同阶的张量之中，在 LSTM 网络的训练过程中，块项分解层自动学习参数间的关联性，以隐式剪枝掉来自 Wx 的冗余密集连接，并将新的 BTD 层插入到当前的 LSTM 表达式；
报警模块：将实时获取的点云簇群的特征和时频图输入预先训练好的LSTM网络，判断老人是否发生跌倒。
本发明的有益效果如下：
将块项分解引入到基于 LSTM 网络的跌倒检测方法和系统中，降低系统模型的参数量，加快网络的训练速度；
由于 LSTM 网络模型参数量的降低，这也为在嵌入式端或者移动设备上实现跌倒检测提供了一种可能。
提出一种通过人体平面与地面之间的相邻帧对消后的夹角来反映人体倾斜程度的参数，该两平面之间的夹角越大，则人体倾斜程度越大，发生跌倒的可能性越大；
将雷达点云数据的多种特征输入到深度学习模型中进行训练，得到训练模型，后续基于该模型进行跌倒检测，能够满足在不同场景对不同人群跌倒检测的需求，因此具有良好的自适应能力；
参数与设置阈值的比较通常具有延时性，然而深度学习模型具有实时计算和判断的作用，因此该方法具有较好的实时性。
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，包括以下步骤：
S1：获取毫米波雷达发射的电磁波被人体反射后形成的回波信号；
S2：对回波信号进行短时傅里叶变换获取时频图；
S3：提取回波信号中的点云数据，从点云数据中提取人体点云簇群特征；
S4：将特征数据和时频图输入到经过块项分解的 LSTM 网络中，并通过全连接层进行特征融合，最后使用 softmax 层进行分类，完成人体跌倒检测识别训练；所述经过块项分解的 LSTM 网络把权重矩阵W、U和输入数据 x 表征到不同阶的张量之中，在LSTM 网络的训练过程中，块项分解层自动学习参数间的关联性，以隐式剪枝掉来自 Wx 的冗余密集连接，并将新的 BTD 层插入到当前的 LSTM 表达式；
S5：将实时获取的点云簇群的特征和时频图输入预先训练好的 LSTM 网络，判断老人是否发生跌倒。
2.根据权利要求1所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，所述从点云数据中提取人体点云簇群特征，包括：
获取跌倒阶段和非跌倒阶段的点云数据，包括向前跌倒、向后跌倒、向左跌倒和向右跌倒的点云数据，每种跌倒情况各采集q组，共计4q 组跌倒点云数据；非跌倒点云数据包括坐下、蹲下、弯腰和行走情况的数据，每种非跌倒情况各采集q组，共计4q组非跌倒点云数据；
对各组点云数据进行特征提取，特征包括
Figure QLYQS_1
，并对跌倒的特征数据和时频图打上标签1，非跌倒的特征数据和时频图打上标签-1。
3.根据权利要求2所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，将特征数据和时频图数据分为训练数据集和验证数据集，然后将训练数据集的特征数据输入到经过块项分解的LSTM网络模型中进行训练，用验证数据集验证训练之后的模型。
4.根据权利要求3所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，所述块项分解的分解表达式为：
Figure QLYQS_2
；
其中，
Figure QLYQS_3
表示 Tucker 内积，k =1,2,…,n，d 表示Tucker的阶数，/>
Figure QLYQS_4
和/>
Figure QLYQS_5
均为表示张量。
5.根据权利要求4所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，LSTM 网络结构有4个全连接层，分别对其进行块项分解，以完成对整个 LSTM 结构的块项分解，分解之后的公式如下所示：
Figure QLYQS_6
；
其中BT表示块项分解，
Figure QLYQS_13
表示/>
Figure QLYQS_29
，/>
Figure QLYQS_40
表示/>
Figure QLYQS_10
，/>
Figure QLYQS_28
表示/>
Figure QLYQS_15
，/>
Figure QLYQS_33
表示
Figure QLYQS_22
，/>
Figure QLYQS_37
，/>
Figure QLYQS_19
，/>
Figure QLYQS_34
，/>
Figure QLYQS_21
，/>
Figure QLYQS_38
，/>
Figure QLYQS_39
，/>
Figure QLYQS_42
，/>
Figure QLYQS_8
分别表示记忆单元中对应门的权重相量，/>
Figure QLYQS_24
表示输入门的激活值，/>
Figure QLYQS_14
表示遗忘门的激活值，/>
Figure QLYQS_31
表示输出门的激活值，/>
Figure QLYQS_7
和/>
Figure QLYQS_23
分别代表在时间步 t 和时间步 t-1 记忆单元的状态，/>
Figure QLYQS_9
表示时间步t记忆单元的输入，/>
Figure QLYQS_25
和/>
Figure QLYQS_32
分别代表在时间步t和时间步 t-1 记忆单元的输出，/>
Figure QLYQS_41
，/>
Figure QLYQS_20
，/>
Figure QLYQS_36
，/>
Figure QLYQS_12
分别表示记忆单元中/>
Figure QLYQS_27
，/>
Figure QLYQS_18
，/>
Figure QLYQS_35
，控制门/>
Figure QLYQS_17
的偏置，/>
Figure QLYQS_30
和/>
Figure QLYQS_11
为激活函数，/>
Figure QLYQS_26
表示记忆单元的候选状态，/>
Figure QLYQS_16
表示点乘。
6.根据权利要求5所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，从点云数据中提取人体点云簇群特征，包括：
S31：通过对回波信号进行距离维的快速傅里叶转换，获取目标物体的距离信息，将各个通道上的位置信息及速度信息进行合成，得到距离多普勒检测矩阵，然后对距离多普勒检测矩阵进行恒虚警处理和角度计算，过滤掉虚假目标，得到目标物体的点云数据集；所述点云数据集包括位置信息、角度信息、多普勒速度信息和信号强度信息；
S32 对点云数据进行聚类分析和预处理，去除掉噪声点云，并确定人体点云数据所构成的点云簇群的质心点：得到目标物体的点云数据集后，基于 DBSCAN 算法对该点云数据集进行聚类分析和去除噪声点云，对 DBSCAN 算法聚类点数与阈值进行比较，去除噪声点云；
S33基于人体点云簇群各个点云的能量分布计算得到该帧点云簇群的质心位置，点云能量越强，其对质心位置的影响越大；
S34 基于点云簇群的质心点计算人体平面与地面的夹角，并对相邻帧间的夹角作对消处理；
S35 提取人体点云簇群的特征，包括点云簇群的最高高度差ℎ、最大展宽比
Figure QLYQS_43
、最大夹角、最大速度/>
Figure QLYQS_44
和最大加速度/>
Figure QLYQS_45
：
点云最大展宽比
Figure QLYQS_46
的计算公式如下：
Figure QLYQS_47
；
其中，
Figure QLYQS_48
分别表示人体点云簇群各个点云在 x 轴坐标上的最大值、最小值；
Figure QLYQS_49
分别表示人体点云簇群各个点云在y轴坐标上的最大值、最小值；/>
Figure QLYQS_50
分别表示人体点云簇群各个点云在 z 轴坐标上的最大值、最小值；
统计点云簇群的夹角最大值
Figure QLYQS_51
；
统计点云簇群速度的最大值
Figure QLYQS_52
；
统计加速度的最大值
Figure QLYQS_53
；
将特征
Figure QLYQS_54
组合构成点云簇群的特征。
7.根据权利要求6所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，质心位置的计算方法如下：
首先计算该人体点云簇群的总能量Ep：
Figure QLYQS_55
；
其中，
Figure QLYQS_56
为人体点云(k+1)的信噪比，/>
Figure QLYQS_57
表示第 1 个点云的信噪比，K 是人体目标点云的个数；
然后根据各个点信噪比占据总能量的比重，得到点云簇群中每个点的权重 ω={ω0 ,ω1 , ⋯,ωk , ⋯, ωK-1 }，其中
Figure QLYQS_58
；
Figure QLYQS_59
；
其中，ωk 表示第k+1个点云的权重；
最后根据权重对各个点的坐标进行加权求和得到该点云簇群的质心位置：
Figure QLYQS_60
。
8.根据权利要求7所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，基于点云簇群的质心点计算人体平面与地面的夹角，并对相邻帧间的夹角作对消处理，包括：
首先根据点云簇群和质心点位置求出协方差矩阵；
然后对协方差矩阵进行特征分解，得到该协方差矩阵的特征值
和对应的特征向量，选取最大特征值对应的特征向量所表示的方向认为是人体目标躯干方向；
最后求取该特征向量与竖直方向相量的夹角，并对相邻帧间的夹角作对消处理。
9.根据权利要求8所述的基于毫米波雷达与深度学习的人体跌倒检测方法，其特征在于，求取该特征向量与竖直方向相量的夹角，并对相邻帧间的夹角作对消处理，包括：
S341协方差矩阵的求解如下式：
Figure QLYQS_61
；
其中，T 表示矩阵转置，协方差矩阵 C 是 3 × 3 实对称矩阵，表示是各个坐标值之间的相互关系，若三个坐标值两个无关，则 C 中的元素均为 0；
S342 接着求解协方差矩阵 C 的特征值和对应的特征向量，得到三个特征值 λ1，λ2和 λ3 及其对应的三个特征向量 e1 ,e2 和 e3，其求解式如下：
Figure QLYQS_62
；
其中，E为单位矩阵；
以这三个特征向量构成的平面为人体平面，人体平面 β 与水平地面 α 之间的夹角反映出人体与地面的倾斜程度，将三个特征向量的三维坐标分别记为
Figure QLYQS_63
；
记该平面的法向量为u =(x, y, z)，通过求u与上述三个向量的乘积得到三个方程，即
Figure QLYQS_64
；
通过解方程求出法向量u；
S343 计算两平面之间的夹角：将水平地面的法向量用 v= (0,0,1)表示，那么两平面之间的夹角通过两平面的法向量之间的夹角得到，u 与 v 之间的夹角计算公式如下：
Figure QLYQS_65
；
其中，cos−1表示反余弦函数，⋅表示相量之间相乘，即点乘；
通过相邻帧对消后的夹角反映夹角的变化情况，即
Figure QLYQS_66
；
其中，θ（k）和θ（k-1）分别表示该帧和上一帧点云的夹角。
10.基于毫米波雷达与深度学习的人体跌倒检测系统，其特征在于，包括
毫米波雷达，用于获取毫米波雷达发射的电磁波被人体反射后形成的回波信号；
数据处理模块，对回波信号进行短时傅里叶变换获取时频图；
特征提取模块，提取回波信号中的点云数据，从点云数据中提取人体点云簇群特征；
跌倒检测训练模块：将特征数据和时频图输入到经过块项分解的LSTM网络中，并通过全连接层进行特征融合，最后使用softmax层进行分类，完成人体跌倒检测识别训练；所述经过块项分解的LSTM网络把权重矩阵W、U和输入数据x表征到不同阶的张量之中，在LSTM网络的训练过程中，块项分解层自动学习参数间的关联性，以隐式剪枝掉来自Wx的冗余密集连接，并将新的BTD层插入到当前的LSTM表达式；
报警模块：将实时获取的点云簇群的特征和时频图输入预先训练好的LSTM网络，判断老人是否发生跌倒。
CN202310612927.XA 2023-05-29 2023-05-29 基于毫米波雷达与深度学习的人体跌倒检测方法及系统 Pending CN116338684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310612927.XA CN116338684A (zh) 2023-05-29 2023-05-29 基于毫米波雷达与深度学习的人体跌倒检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310612927.XA CN116338684A (zh) 2023-05-29 2023-05-29 基于毫米波雷达与深度学习的人体跌倒检测方法及系统

Publications (1)

Publication Number Publication Date
CN116338684A true CN116338684A (zh) 2023-06-27

Family

ID=86884460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310612927.XA Pending CN116338684A (zh) 2023-05-29 2023-05-29 基于毫米波雷达与深度学习的人体跌倒检测方法及系统

Country Status (1)

Country Link
CN (1) CN116338684A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117031434A (zh) * 2023-10-08 2023-11-10 中国科学技术大学 一种基于毫米波雷达的实时跌倒检测方法
CN117892202A (zh) * 2024-03-14 2024-04-16 北京邮电大学 基于毫米波信号的护理动作监测方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719429A (zh) * 2014-07-29 2016-06-29 吴诗蕊 一种基于Kinect的跌倒检测及报警系统及其操作方法
CN107506706A (zh) * 2017-08-14 2017-12-22 南京邮电大学 一种基于三维摄像头的人体跌倒检测方法
CN107798385A (zh) * 2017-12-08 2018-03-13 电子科技大学 基于块张量分解的循环神经网络稀疏连接方法
CN112386248A (zh) * 2019-08-13 2021-02-23 中国移动通信有限公司研究院 人体跌倒的检测方法、装置、设备及计算机可读存储介质
CN112767456A (zh) * 2021-01-18 2021-05-07 南京理工大学 一种三维激光点云快速重定位方法
CN114720977A (zh) * 2022-06-10 2022-07-08 长沙莫之比智能科技有限公司 对象跌倒检测方法、装置、毫米波雷达和存储介质
CN115937903A (zh) * 2022-12-29 2023-04-07 杭州海康威视数字技术股份有限公司 一种跌倒风险评估方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719429A (zh) * 2014-07-29 2016-06-29 吴诗蕊 一种基于Kinect的跌倒检测及报警系统及其操作方法
CN107506706A (zh) * 2017-08-14 2017-12-22 南京邮电大学 一种基于三维摄像头的人体跌倒检测方法
CN107798385A (zh) * 2017-12-08 2018-03-13 电子科技大学 基于块张量分解的循环神经网络稀疏连接方法
CN112386248A (zh) * 2019-08-13 2021-02-23 中国移动通信有限公司研究院 人体跌倒的检测方法、装置、设备及计算机可读存储介质
CN112767456A (zh) * 2021-01-18 2021-05-07 南京理工大学 一种三维激光点云快速重定位方法
CN114720977A (zh) * 2022-06-10 2022-07-08 长沙莫之比智能科技有限公司 对象跌倒检测方法、装置、毫米波雷达和存储介质
CN115937903A (zh) * 2022-12-29 2023-04-07 杭州海康威视数字技术股份有限公司 一种跌倒风险评估方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
""基于姿态估计的跌倒检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 36 - 43 *
焦李成等: "《深度神经网络FPGA涉及与实现》", 西安电子科技大学出版社, pages: 221 - 223 *
袁瑞雪: ""基于张量的高阶长短期记忆网络分析方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 18 - 22 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117031434A (zh) * 2023-10-08 2023-11-10 中国科学技术大学 一种基于毫米波雷达的实时跌倒检测方法
CN117031434B (zh) * 2023-10-08 2024-02-20 中国科学技术大学 一种基于毫米波雷达的实时跌倒检测方法
CN117892202A (zh) * 2024-03-14 2024-04-16 北京邮电大学 基于毫米波信号的护理动作监测方法及电子设备

Similar Documents

Publication Publication Date Title
CN108226892B (zh) 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法
Saucan et al. A multisensor multi-Bernoulli filter
CN116338684A (zh) 基于毫米波雷达与深度学习的人体跌倒检测方法及系统
Ullo et al. Hybrid computerized method for environmental sound classification
CN108932479A (zh) 一种人体异常行为检测方法
CN106646587B (zh) 基于声振动信号的目标检测与识别方法及系统
CN110647788B (zh) 一种基于微多普勒特征的人类日常行为分类方法
CN104637242A (zh) 一种基于多分类器集成的老人跌倒检测方法及系统
CN112617813B (zh) 一种基于多传感器的非侵入式跌倒检测方法及系统
CN110443830B (zh) 一种基于混合高斯背景模型的降水云团检测方法
Qiao et al. Human activity classification based on micro-Doppler signatures separation
CN113050797A (zh) 一种通过毫米波雷达实现手势识别的方法
Janakaraj et al. STAR: Simultaneous tracking and recognition through millimeter waves and deep learning
Shah et al. Data portability for activities of daily living and fall detection in different environments using radar micro-doppler
Teklehaymanot et al. Bayesian target enumeration and labeling using radar data of human gait
Li et al. Study on the detection of pulmonary nodules in CT images based on deep learning
Liang et al. Passive fetal movement recognition approaches using hyperparameter tuned lightgbm model and bayesian optimization
Yang et al. Human activities classification in a complex space using raw radar data
Li et al. Supervised domain adaptation for few-shot radar-based human activity recognition
Pegoraro et al. Deep learning for accurate indoor human tracking with a mm-wave radar
CN103116740A (zh) 一种水下目标识别方法及其装置
CN114994656A (zh) 一种基于毫米波雷达的室内人员跟踪方法
CN106772357B (zh) 信噪比未知条件下的ai-phd滤波器多目标跟踪方法
Qiao et al. Person identification with low training sample based on micro-doppler signatures separation
Ege Human activity classification with deep learning using FMCW radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination