CN115982620A - 基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统 - Google Patents
基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统 Download PDFInfo
- Publication number
- CN115982620A CN115982620A CN202211638770.XA CN202211638770A CN115982620A CN 115982620 A CN115982620 A CN 115982620A CN 202211638770 A CN202211638770 A CN 202211638770A CN 115982620 A CN115982620 A CN 115982620A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- time
- millimeter wave
- signal
- wave radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 230000014509 gene expression Effects 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 13
- 230000002776 aggregation Effects 0.000 claims abstract description 7
- 238000004220 aggregation Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 98
- 230000009466 transformation Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012512 characterization method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供的一种基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统，针对人体目标的雷达回波信号，通过对信号进行分析，堆叠形成三类蕴含不同时频聚集特征和立体关联特征的三维谱图，并构建基于Transformer与交叉注意力的跌倒行为识别网络，从而实现人体跌倒行为识别，该网络针对三维信号，将其划分为固定数量的数值阵列块，并使用线性投影网络将其映射为固定维度特征向量，将获取特征矩阵输入Transformer模块中实现信号表征的抽象，然后将其与其它信号表征进行交叉注意力融合，获取融合特征，用于分类器实现跌倒行为识别，该方法能够实现数据有限条件下更为全面完备的三维行为特征表达，且Transformer具有较强的特征提取能力，具有较高的跌倒行为识别率。
Description
技术领域
本发明涉及雷达信号处理技术领域，特别是一种基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法。
背景技术
人体跌倒行为识别是雷达信号处理及应用领域中的一个重要研究方向，被广泛应用于养老院、医疗机构、独居老人家中。
从2021年全国第七次人口普查数据可以看出，我国正在加速进入老龄化社会。据统计，我国每年约有1/3的65岁以上老年人跌倒，70岁以上的老年人跌倒率为42％，80岁时则上升到50％。跌倒和由此造成的伤害是重大的公共卫生问题，如果老年人跌倒时能够通过跌倒行为识别系统及时发现并发出警报，就能够第一时间通知医护人员或家人，从而得到及时的医疗救助，避免因跌倒后长时间不能得到救助而引起的二次伤害；因此，跌倒行为识别的研究能够有效降低老年人跌倒后的重伤率和死亡率，让老年人的身心健康得到有力的保障。
目前可用于人体跌倒行为识别的技术包括可穿戴设备与非穿戴设备。可穿戴式设备通过老人佩戴安装有加速度传感器、陀螺仪等检测元件的设备对老人的肢体行为与体态信息等进行实时监测，再设计识别方法判断老人是否跌倒。其具有不受环境影响、准确度高的特点，但是这些装置需要老年人实时佩戴，对老年人的生活产生了一定的影响。非穿戴式设备分为可见成像与不可见成像两种。可见成像设备包括红外摄像头、视频监控等，这些设备作为光学仪器在跌倒行为识别领域具有较高的准确率，但其易受观测环境影响，且存在隐私泄露的问题，因此近年来相关领域研究热点逐渐聚焦于不可见成像。
因此，需要一种识别效率高的人体跌倒行为识别方法及系统。
发明内容
有鉴于此，本发明的目的在于提供一种基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统，该方法利用利用雷达信号来实现人体跌倒行为识别，该方法是一种特征表达完备、效率高且准确率高的多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法。
为达到上述目的，本发明提供如下技术方案：
本发明提供的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，包括以下步骤：
(1)在检测区域安装毫米波雷达，且雷达覆盖区域内具有确定数量的目标；
(2)通过毫米波雷达模块对检测区域内的目标进行实时监控，采集目标返回的雷达回波信号，同时上传至系统的行为表征模块，针对同一目标同一行为生成三类蕴含不同时频聚集特征和立体关联特征的三维谱图，并根据不同目标不同行为构建数据集；
(3)设计多表征输入的基于Transformer时空特征提取与交叉注意力特征融合的跌倒行为识别网络，再利用数据集对网络进行训练和测试，并基于此网络设计特征提取与行为识别模块；
(4)在特征提取与行为识别模块中，根据输入的融合特征对目标行为进行分类，实时判断目标是否跌倒；若是，则进入步骤5；若否，则返回步骤4；
(5)通过通信模块向远程监护平台报警，以实现实时的跌倒行为识别。
进一步，步骤(1)中使用的毫米波雷达具体安装细节为：
将毫米波雷达安装检测区域内、高度2.0m至3.0m；与竖直方向夹角约为25°至35°。
进一步，步骤(2)具体为：
(21)对雷达采集到的原始回波信号进行预处理；
(22)对预处理后的信号进行不同阶次短时分数阶傅里叶变换，并将不同阶次的分数阶时频谱图进行堆叠得到分数阶三维特征表达；
(23)对预处理后的信号进行S变换、平滑伪威格纳-维利分布与下采样短时傅里叶变换，并将这些不同类别的二阶时频谱图堆叠形成二阶三维特征表达；
(24)对预处理后的信号进行时间滑窗的短时双谱变换，并将这些高阶时频谱图按照时间顺序进行堆叠，得到高阶三维特征表达。
进一步，步骤(21)具体为：
对原始回波信号进行静态杂波抑制，这里采用相量均值相消算法，首先对所有接收脉冲求平均得出参考接收脉冲，再用每一束接收脉冲减去参考接收脉冲即可得到目标回波信号。
进一步，步骤(22)具体为：
首先对预处理后的信号进行分帧加窗，再对加窗后的数据进行不同阶次的分数阶傅里叶变换，最后将这些不同阶次的分数阶时频谱图按照固定的阶次进行堆叠即可得到分数阶三维特征表达。
进一步，步骤(23)具体为：
首先对信号进行S变换，即先给信号加高度和宽度随频率变化的高斯窗口，再进行傅里叶变换；其次对信号进行SPWVD，即对信号进行加窗、平滑、威格纳-维利分布；最后对信号进行DS-STFT，即先对信号进行下采样，再进行短时傅里叶变换；最后将这些不同类别的二阶时频谱图堆叠形成二阶三维特征表达。
进一步，步骤(24)具体为：
首先对原始信号加窗，再进行双谱变换，并且让窗在原始信号矩阵上进行滑动，得到多张高阶时频谱图，最后将这些时频谱图按照时间顺序进行堆叠则可得到高阶三维特征表达。
进一步，步骤(3)具体为：
首先，将三维信号划分为固定数量的数值阵列块，并使用线性投影网络将其映射为固定维度为特征向量，将获取的特征矩阵输入Transformer结构中实现信号表征的抽象，然后将其与其它信号表征进行交叉自注意力融合，获取融合特征，最后利用逻辑回归对特征进行分类。
本发明提供的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明的有益效果在于：
本发明提供的一种基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统，获取在检测区域的雷达检测目标，采集目标返回的雷达回波信号，同时上传至系统的行为表征模块，针对同一目标同一行为生成三类蕴含不同时频聚集特征和立体关联特征的三维谱图，并根据不同目标不同行为构建数据集；建立跌倒行为识别网络，再利用数据集对网络进行训练和测试，并基于此网络设计特征提取与行为识别模块；在特征提取与行为识别模块中，根据输入的融合特征对目标行为进行分类，实时判断目标是否跌倒；通过通信模块向远程监护平台报警，以实现实时的跌倒行为识别。
本发明针对人体目标的雷达回波信号，通过对信号进行短时分数阶傅里叶变换、二阶时频分析、短时高阶双谱变换，堆叠形成三类蕴含不同时频聚集特征和立体关联特征的三维谱图，并构建基于Transformer时空特征提取与交叉注意力特征融合的跌倒行为识别网络，从而实现人体跌倒行为识别。
本方法利用智能识别网络借助RNN中循环递归的思想，该网络针对三维信号，将其划分为固定数量的数值阵列块，并使用线性投影网络将其映射为固定维度特征向量，将获取特征矩阵输入Transformer结构中实现信号表征的抽象，然后将其与其它信号表征进行交叉注意力融合，获取融合特征，用于分类器实现跌倒行为识别；通过循环递归局部的交叉注意力模块与Transformer模块使其具备任意种类或不同种类信号表征的特征融合，极大的增强了网络的特征融合能力与可扩张性，该方法能够实现数据有限条件下更为全面完备的三维行为特征表达，且Transformer具有较强的特征提取能力，具有较高的跌倒行为识别率。
本发明利用雷达进行跌倒行为识别具有保护用户隐私、不受环境影响等优点；采用多类时频谱图生成的三维特征表达能够实现数据有限条件下更为全面完备的行为特征表达。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法流程图；
图2为毫米波雷达安装示意图；
图3为多类三维表征技术示意图；
图4为基于Transformer与交叉注意力特征融合的跌倒行为识别网络结构；
图5为对该网络进行测试后得到的混淆矩阵；
图6为非视距人体行为识别系统框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例1
雷达作为一种环境传感器，不仅能有效规避隐私侵犯问题，且兼具穿透能力强、距离分辨率高的独特优势，尤其在对不同运动状态下的人体目标进行探测和跟踪等方面具有广阔的应用前景。基于雷达的跌倒行为识别方法主要包括特征表达、特征提取、分类识别三个步骤。首先对雷达回波进行信号处理形成包含行为特征信息的表达图像，然后通过手动提取或智能网络自动提取表达图像中蕴含的特征信息，最后设计分类器根据特征信息对行为进行分类，从而识别跌倒行为。
雷达跌倒行为识别多通过时频分析形成时频谱图以完成特征表达，时频谱图可视为随时间变化的功率谱序列，反映了人体目标多个散射部位运动对雷达信号的多普勒调制效应。采用不同的时频分析方法会产生不同分辨和聚集特性的时频谱图，对同一行为的表达在空间纹理特征和时序转换特征上均存在差异性，即不同的时频谱图对同一行为的特征表达呈现互补性。在已有研究中，多用一种或几种二维时频谱图进行特征表达，而为了充分挖掘利用多种特征表达图像序列包含的互补性空时特征，本发明利用二维特征图像生成三类三维特征表达，以在更高维度空间对行为特征进行更完备的表达，提升人体跌倒行为识别的准确性。
雷达跌倒行为识别中的特征提取方式主要包括手动提取和智能网络自动提取。手动提取特征通过人工设计特征提取方法从数据中获取有用的信息并加以利用，然而在实际操作中，手动提取特征的方法对专业知识的要求较高，难以从原始图像中提取高级判别信息，且高度依赖于特定的分类环境，存在效率低下的缺陷。为提高特征提取的效率及有效性，本发明提出一种基于Transformer时空特征提取与交叉注意力特征融合的跌倒行为识别网络，利用深度学习方法实现跌倒行为识别。
本实施例运用雷达信号处理及深度学习技术实现人体跌倒行为识别，采用STFrFT、ST、SPWVD、DS-STFT、短时双谱变换等方法提取目标不同行为的时频特征，生成多类三维特征谱图，基于Transformer时空特征提取与交叉注意力特征融合的跌倒行为识别网络进行特征提取、特征融合与行为分类，最终实现跌倒行为识别。该方法具有保护用户隐私、不受环境影响、特征表达完备的特点，能够达到较优的识别率。
如图1所示，本实施例提供基于多类特征融合的毫米波雷达非视距人体行为识别方法，包括以下步骤：
(1)在检测区域安装毫米波雷达，且雷达覆盖区域内具有确定数量的目标；
(2)通过毫米波雷达模块对检测区域内的目标进行实时监控，采集目标返回的雷达回波信号，同时上传至系统的行为表征模块，针对同一目标同一行为生成三类蕴含不同时频聚集特征和立体关联特征的三维谱图，并根据不同目标不同行为构建数据集；
(3)设计多表征输入的基于Transformer时空特征提取与交叉注意力特征融合的跌倒行为识别网络，再利用数据集对网络进行训练和测试，并基于此网络设计特征提取与行为识别模块；
(4)在特征提取与行为识别模块中，根据输入的融合特征对目标行为进行分类，实时判断目标是否跌倒；若是，则进入步骤5；若否，则返回步骤4；
(5)通过通信模块向远程监护平台报警，以实现实时的跌倒行为识别。
如图2所示，上述步骤(1)中，为使雷达能够达到最佳的测量效果，将毫米波雷达安装在墙壁上，高度2.0m至3.0m；与竖直方向夹角约为25°至35°；本实施例优选距地面2.5m，同时向下倾斜30°，该毫米波雷达为了TI公司的FMCW 6843ISK雷达。
如图3所示，上述步骤(2)，其具体步骤为：
(21)对雷达采集到的原始回波信号进行预处理；
(22)对预处理后的信号进行不同阶次STFrFT，并将不同阶次的分数阶时频谱图进行堆叠得到分数阶三维特征表达；
(23)对预处理后的信号进行ST、SPWVD与DS-STFT，并将这些不同类别的二阶时频谱图堆叠形成二阶三维特征表达；
(24)对预处理后的信号进行时间滑窗的短时双谱变换，并将这些高阶时频谱图按照时间顺序进行堆叠，得到高阶三维特征表达。
所述步骤(21)具体为：
对原始回波信号进行静态杂波抑制，这里采用相量均值相消算法，首先对所有接收脉冲求平均得出参考接收脉冲，其计算公式为：
其中，m为快时间维采样点，i为慢时间维采样点，C[m]表示参考接收脉冲；R[m,i]表示第m行i列的数据；N表示接收脉冲个数；
再用每一束接收脉冲减去参考接收脉冲即可得到目标回波信号，其计算方法为：
S(m,n)＝R(m,n)-C(m)
其中，S(m,n)表示目标回波信号；R(m,n)表示第m行n列的脉冲数据；C(m)表示参考接收脉冲；
所述步骤(22)具体为：
首先对预处理后的信号进行分帧加窗，再对加窗后的数据进行不同阶次的分数阶傅里叶变换，最后将这些不同阶次的分数阶时频谱图按照固定的阶次进行堆叠即可得到分数阶三维特征表达，其可以通过如下计算公式得到：
其中，s(τ)是目标回波信号，为窗函数，α为变换角度，Kα(t,u)为变换核，STFrFTα(t,u)为得到的分数阶傅里叶变换结果。
Kα(t,u)具体为：
其中，
n为整数；
所述步骤(23)具体为：
首先对信号进行S变换，即先给信号加高度和宽度随频率变化的高斯窗口，再进行傅里叶变换，其计算方法为：
其中，STs(m,f)为S变换的结果；s(m,n)为目标回波第m行n列的数据；f表示频率；
其次对信号进行SPWVD，即对信号进行加窗、平滑、威格纳-维利分布(WVD)，即：
最后对信号进行DS-STFT，即先对信号进行下采样，再进行短时傅里叶变换，抽取后第m列的短时傅里叶变换为：
其中，STFTs(m,f)表示短时傅里叶变换结果；s(k,n)表示目标回波第k行n列的数据；w(m-k)为窗函数。
最后将这些不同类别的二阶时频谱图堆叠形成二阶三维特征表达。
所述步骤(24)具体为：
首先对原始信号加窗，再将已知长度的观测数据序列分成K段，并将分段数据作零均值预处理，再计算各段数据的三阶累积量估计值ck(i,j)，即：
其中，k＝1,2,…,K，sk(n+i)为第k段数据，M为每段数据的观测样本数，M1＝max(0,-i,-j)，M2＝min(M-1,M-1-i,M-1-j)，
接着，求所有各段三阶累积量的均值
即：
最后计算该帧数据的双谱估计
计算方法为：
其中，l＜M-1，w(i,l)为二维滞后窗函数，ω1,ω2为频率。
将时间窗在原始数据上滑动，得到多帧数据的双谱估计，再将各帧数据的谱图进行堆叠得到高阶三维特征表达。
上述步骤(3)具体为：
基于Transformer与交叉注意力机制的特征提取与融合步骤如图4所示，针对三维信号，将其划分为固定数量的N个数值阵列块，并使用线性投影网络将其映射为固定维度为C的特征向量，将获取的N×C的特征矩阵输入Transformer结构中实现信号表征的抽象，然后将其与其它信号表征进行交叉注意力融合，获取融合特征，再将融合特征输入逻辑回归模型进行分类，最终实现跌倒行为识别。
在图4的网络结构中，三个特征抽象模块分别完成对三种高维特征的降维，特征融合模块负责对三种特征表达进行融合，分类器实现对融合特征的分类，从而实现跌倒行为识别。
在图4的网络结构中，分数阶三维特征抽象模块通过对分数阶三维特征进行线性变换得到特征向量Q1；二阶三维特征抽象模块通过对二阶三维特征进行线性变换得到特征向量K1和特征向量V1；高阶三维特征抽象模块通过对高阶三维特征进行线性变换得到特征向量K2和V2，将特征向量Q1、K1、V1输入到特征融合模块1中，通过交叉注意力机制与Transformer编码器对输入的特征进行融合得到特征向量Q2，再将特征向量Q2、K2、V2输入到特征融合模块2，同样利用交叉注意力机制与Transformer编码器对输入特征进行融合得到最终的融合特征,最后将融合特征输入到分类器进行分类，从而实现跌倒行为识别。
利用200组跌倒实测数据与600组非跌倒(行走中坐下、行走中蹲下、行走中停下)实测数据对网络进行训练，再用100组跌倒数据与100组非跌倒数据对网络进行测试得到的混淆矩阵如图5所示，其中，Actual class为实际动作类型，Predict class为该网络识别结果，non-fall为非跌倒，fall为跌倒，由混淆矩阵可以看出，非跌倒动作的识别率为90％，跌倒动作的识别率为96％，总识别率可以达到93％。
实施例2
本实施例提供的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
如图6所示，图6为非视距人体行为识别系统框图，包括毫米波雷达模块、行为表征模块、特征提取与行为识别模块、通信模块、远程监护平台；
所述毫米波雷达模块，用于采集目标的原始回波数据；
所述行为表征模块，用于形成目标行为的多类三维特征表达；
所述特征提取与行为识别模块，用于提取并融合目标三维表征中的特征并对目标行为进行分类从而实现跌倒行为识别；
所述通信模块，用于在雷达模块与远程监护平台之间传输数据与指令，进行通信；
所述远程监护平台，用于显示监测结果，并在有跌倒发生时发出警报，便于监护人员及时处理并向跌倒人员提供帮助。
所述特征提取与行为识别模块是通过基于Transformer与交叉注意力机制的特征提取与融合来实现的，将获取的三维信号划分为固定数量的N个数值阵列块，并使用线性投影网络将其映射为固定维度为C的特征向量，将获取的N×C的特征矩阵输入Transformer结构中实现信号表征的抽象，然后将其与其它信号表征进行交叉注意力融合，获取融合特征，再将融合特征输入逻辑回归模型进行分类，最终实现跌倒行为识别。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (9)
1.基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：包括以下步骤：
(1)在检测区域安装毫米波雷达，且雷达覆盖区域内具有确定数量的目标；
(2)通过毫米波雷达模块对检测区域内的目标进行实时监控，采集目标返回的雷达回波信号，同时上传至系统的行为表征模块，针对同一目标同一行为生成三类蕴含不同时频聚集特征和立体关联特征的三维谱图，并根据不同目标不同行为构建数据集；
(3)设计多表征输入的基于Transformer时空特征提取与交叉注意力特征融合的跌倒行为识别网络，再利用数据集对网络进行训练和测试，并基于此网络设计特征提取与行为识别模块；
(4)在特征提取与行为识别模块中，根据输入的融合特征对目标行为进行分类，实时判断目标是否跌倒；若是，则进入步骤(5)；若否，则返回步骤(4)；
(5)通过通信模块向远程监护平台报警，以实现实时的跌倒行为识别。
2.根据权利要求1所述的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：步骤(1)中使用的毫米波雷达具体安装细节为：
将毫米波雷达安装检测区域内、高度2.0m至3.0m；与竖直方向夹角约为25°至35°。
3.根据权利要求1所述的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：步骤(2)具体为：
(21)对雷达采集到的原始回波信号进行预处理；
(22)对预处理后的信号进行不同阶次短时分数阶傅里叶变换，并将不同阶次的分数阶时频谱图进行堆叠得到分数阶三维特征表达；
(23)对预处理后的信号进行S变换、平滑伪威格纳-维利分布与下采样短时傅里叶变换，并将这些不同类别的二阶时频谱图堆叠形成二阶三维特征表达；
(24)对预处理后的信号进行时间滑窗的短时双谱变换，并将这些高阶时频谱图按照时间顺序进行堆叠，得到高阶三维特征表达。
4.根据权利要求3所述的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：步骤(21)具体为：
对原始回波信号进行静态杂波抑制，这里采用相量均值相消算法，首先对所有接收脉冲求平均得出参考接收脉冲，再用每一束接收脉冲减去参考接收脉冲即可得到目标回波信号。
5.根据权利要求3所述的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：步骤(22)具体为：
首先对预处理后的信号进行分帧加窗，再对加窗后的数据进行不同阶次的分数阶傅里叶变换，最后将这些不同阶次的分数阶时频谱图按照固定的阶次进行堆叠即可得到分数阶三维特征表达。
6.根据权利要求3所述的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：步骤(23)具体为：
首先对信号进行S变换，即先给信号加高度和宽度随频率变化的高斯窗口，再进行傅里叶变换；其次对信号进行SPWVD，即对信号进行加窗、平滑、威格纳-维利分布；最后对信号进行DS-STFT，即先对信号进行下采样，再进行短时傅里叶变换；最后将这些不同类别的二阶时频谱图堆叠形成二阶三维特征表达。
7.根据权利要求3所述的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：步骤(24)具体为：
首先对原始信号加窗，再进行双谱变换，并且让窗在原始信号矩阵上进行滑动，得到多张高阶时频谱图，最后将这些时频谱图按照时间顺序进行堆叠则可得到高阶三维特征表达。
8.根据权利要求1所述的基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法，其特征在于：步骤(3)具体为：
首先，将三维信号划分为固定数量的数值阵列块，并使用线性投影网络将其映射为固定维度为特征向量，将获取的特征矩阵输入Transformer结构中实现信号表征的抽象，然后将其与其它信号表征进行交叉自注意力融合，获取融合特征，最后利用逻辑回归对特征进行分类。
9.基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211638770.XA CN115982620A (zh) | 2022-12-20 | 2022-12-20 | 基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211638770.XA CN115982620A (zh) | 2022-12-20 | 2022-12-20 | 基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115982620A true CN115982620A (zh) | 2023-04-18 |
Family
ID=85958877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211638770.XA Pending CN115982620A (zh) | 2022-12-20 | 2022-12-20 | 基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115982620A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117129947A (zh) * | 2023-10-26 | 2023-11-28 | 成都金支点科技有限公司 | 一种基于miniunet的平面变换法雷达信号识别方法 |
-
2022
- 2022-12-20 CN CN202211638770.XA patent/CN115982620A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117129947A (zh) * | 2023-10-26 | 2023-11-28 | 成都金支点科技有限公司 | 一种基于miniunet的平面变换法雷达信号识别方法 |
| CN117129947B (zh) * | 2023-10-26 | 2023-12-26 | 成都金支点科技有限公司 | 一种基于miniunet的平面变换法雷达信号识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Erol et al. | GAN-based synthetic radar micro-Doppler augmentations for improved human activity recognition | |
| CN110007366B (zh) | 一种基于多传感器融合的生命搜寻方法以及系统 | |
| CN107290741B (zh) | 基于加权联合距离时频变换的室内人体姿态识别方法 | |
| US20180313950A1 (en) | CNN-Based Remote Locating and Tracking of Individuals Through Walls | |
| Chen et al. | Activity recognition based on micro-Doppler signature with in-home Wi-Fi | |
| CN110456320B (zh) | 一种基于自由空间步态时序特征的超宽带雷达身份识别方法 | |
| CN110133610A (zh) | 基于时变距离-多普勒图的超宽带雷达动作识别方法 | |
| CN105787434A (zh) | 基于惯性传感器的人体运动模式识别方法 | |
| CN113447905A (zh) | 双毫米波雷达人体跌倒检测装置及检测方法 | |
| US8098186B2 (en) | Through-the-obstacle radar system and method of operation | |
| CN112782664A (zh) | 一种基于毫米波雷达的卫生间跌倒检测方法 | |
| CN116184394A (zh) | 基于多域谱图与多分辨率融合的毫米波雷达手势识别方法及系统 | |
| CN115982620A (zh) | 基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统 | |
| CN116561700A (zh) | 基于毫米波雷达的室内人体姿态识别方法 | |
| CN113341392A (zh) | 一种基于多站雷达微多普勒运动测向的人体行为分类方法 | |
| CN114814832A (zh) | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 | |
| CN111965620A (zh) | 基于时频分析和深度神经网络的步态特征提取与识别方法 | |
| CN117315886B (zh) | 一种基于uwb雷达的人员即将跌倒检测方法及装置 | |
| CN114387672A (zh) | 一种基于时-空-频三维雷达点云的人体行为分类方法 | |
| Liu et al. | An intelligent signal processing method for motional vital signs detection system based on deep learning | |
| CN114511873B (zh) | 基于毫米波雷达成像的静态手势识别方法及装置 | |
| US20240021062A1 (en) | Target monitoring and alert system and method | |
| Amin | Micro-Doppler classification of activities of daily living incorporating human ethogram | |
| CN114305379A (zh) | 一种基于毫米波雷达的生理数据分析方法、系统及设备 | |
| Schooley et al. | Radar human motion classification using multi-antenna system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |