CN113447905B - 双毫米波雷达人体跌倒检测装置及检测方法 - Google Patents
双毫米波雷达人体跌倒检测装置及检测方法 Download PDFInfo
- Publication number
- CN113447905B CN113447905B CN202110728497.9A CN202110728497A CN113447905B CN 113447905 B CN113447905 B CN 113447905B CN 202110728497 A CN202110728497 A CN 202110728497A CN 113447905 B CN113447905 B CN 113447905B
- Authority
- CN
- China
- Prior art keywords
- human body
- millimeter wave
- time
- layer
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000010355 oscillation Effects 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 1
- 230000009471 action Effects 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010008132 Cerebral thrombosis Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 208000034656 Contusions Diseases 0.000 description 1
- 201000001429 Intracranial Thrombosis Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 230000009519 contusion Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Electromagnetism (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种双毫米波雷达人体跌倒检测装置及检测方法，所述装置包括两个垂直设置的多通道毫米波雷达、信号处理模块和自动特征提取与识别模块，毫米波雷达用于检测人体的姿态信息，信号处理模块用于对人体姿态信息进行处理得到融合时频域图像，自动特征提取与识别模块用于提取融合时频域图像的特征值，进而对人体姿态进行识别，得到人体的跌倒信息；本发明隐私保护性良好，对人体跌倒的检测结果更加准确。
Description
技术领域
本发明属于信号与信息处理技术领域，涉及一种双毫米波雷达人体跌倒检测装置及检测方法。
背景技术
当前世界人口老龄化问题日益加剧，根据世界卫生组织最新发布的老龄化问题报告，预计到2050年60岁以上人口将达到世界总人口的20％，特别是中国等亚洲国家，老龄化人口比例将高达40％，人口老龄化将带来一个突出社会问题就是居家老人的健康护理问题，据世界卫生组织统计，65岁以上老人每年跌倒概率超过28％，跌倒也是造成79岁以上老人死亡的主要原因，一方面是跌倒本身造成的伤害，如骨折、软组织挫伤等，另一方面是老人跌倒后未能及时发现、及时就医引起的并发症，如心脏震荡、脑血栓等，因此迫切需要研究人体跌倒检测的有效方法。
针对人体跌倒检测的研究主要分为三类，第一类是基于可穿戴传感器的室内跌倒检测技术，此类技术通过佩戴在人体或嵌入人体的各类传感器检测人体姿态，从而判断是否出现跌倒事件，典型的有惯性传感器(速度、加速度和陀螺仪)、压力传感器、振动等，该方法具有灵敏度高、实时检测性好等特点，然而该方法是侵入式的，必须携带或穿戴，携带式传感器通常对用户不友好，容易受到损坏，且按钮式报警设备不适合有认知障碍的患者或老年人使用；第二类是基于视频/图像传感器的室内跌倒检测技术，此类检测系统通过高分辨率相机记录一系列人体活动图像/视频，采用动作分类算法对图像/视频进行处理，可以有效检测人体跌倒，但安装摄像头会涉及到侵犯隐私，尤其是卫生间、浴室、卧室等区域，而这些区域又是极易生跌倒的场所，环境中的水雾、灰尘等也会影响摄像头的检测效果，所以对其应用有一定限制；第三类是基于雷达探测人体运动的跌倒检测技术，其利用人体运动会引起雷达回波信号频率发生变化(即多普勒效应)的原理进行检测，具有非接触、隐私保护性好，能穿透雾气等优势，是一种非常具有应用潜力的跌倒检测手段。然而对人体跌倒动作的雷达回波信号进行时频域表征时，高频分量强度较弱，使用短时傅里叶变换的表征方法在高多普勒频率下的时宽测量精度受时间分辨率的影响；另外，传统的单毫米波雷达检测方式存在检测盲区，当人体跌倒方向沿雷达波束方向的切向时，其多普勒域信号能量更加微弱，受噪声影响严重，难以识别。
发明内容
为了达到上述目的，本发明实施例提供一种双毫米波雷达人体跌倒检测装置，该装置结构简单，无需与人体接触即可准确检测人体跌倒情况，隐私保护性良好，在水雾、灰尘等复杂环境中也能对人体跌倒进行准确检测。
本发明实施例还提供一种双毫米波雷达人体跌倒检测方法，利用时频域分析方法，在低信噪比条件下，实现有效反映人体跌倒动作的雷达信号特征增强，同时利用双毫米波雷达的时频信息融合和基于深度学习的自动特征提取方法，实现对人体姿态的精确识别。
本发明实施例所采用的技术方案是，双毫米波雷达人体跌倒检测装置，包括两个毫米波雷达、信号处理模块和自动特征提取与识别模块；
所述毫米波雷达，用于发射检测信号，接收人体反射的回波信号，并对其进行预处理得到多路回波数字信号；
所述信号处理模块，用于对多路回波数字信号进行数字波束形成、FFT运算、Stockwell变换和加权数据融合得到融合时频域图像；
所述自动特征提取与识别模块，用于提取融合时频域图像的特征值，进而对人体姿态进行识别，获得人体的跌倒情况。
进一步的，所述毫米波雷达为多输入多输出的多通道毫米波雷达，所述两个毫米波雷达在检测区域内呈90°放置。
进一步的，所述自动特征提取与识别模块包括依次连接的图像输入层、中间层、全连接层和输出层；
所述图像输入层，用于对融合时频域图像进行预处理；
所述中间层，用于提取预处理后融合时频域图像的特征；
所述全连接层，用于根据提取的特征值对人体姿态进行分类识别；
所述输出层，用于输出人体姿态分类识别结果。
进一步的，所述中间层由第一卷积块、最大池化层、第二卷积块、最大池化层和第三卷积块依次连接组成，所述第一卷积块、第二卷积块、第三卷积块均由依次连接的二维卷积层、批归一化层和修正线性单元层组成，所述二维卷积层的过滤器数目依次为8、16、32。
双毫米波雷达人体跌倒检测方法，包括以下步骤：
步骤S1，两个毫米波雷达同时向检测区域发射检测信号，信号经人体反射后被毫米波雷达的接收天线接收，毫米波雷达接收机前端对回波信号进行预处理得到雷达的多路回波数字信号，并将多路回波数字信号发送至信号处理模块；
步骤S2，对两个毫米波雷达发送的多路回波数字信号分别进行数字波束形成，在对数字波束依次进行快时间维度的FFT运算和慢时间维度的Stockwell变换，得到两个垂直方向的人体姿态多普勒域时频图像；
步骤S3，对两个垂直方向的人体姿态多普勒域时频图像进行加权数据融合得到融合时频域图像；
步骤S4，提取融合时频域图像的特征值，并基于此对人体姿态进行分类识别，得到人体跌倒情况。
进一步的，步骤S1中所述预处理过程如下：首先对回波信号进行低噪声放大，然后将其与本振信号混频后由射频转换到中频，最后使用数模转换器进行中频采样得到毫米波雷达的多路回波数字信号。
进一步的，所述步骤S3中使用以下过程进行加权数据融合：分别提取两个人体姿态多普勒时频域图像的脊线，对两条脊线在同一时刻的频率值进行相加处理得到融合时频域图像。
本发明实施例的有益效果是：1、本发明实施例使用两个多通道毫米波雷达进行垂直采样，避免了单个雷达存在检测盲区的问题，增加了人体跌倒检测的特征数据，使检测结果更加准确；2、本发明实施例对雷达回波信号的数字波束依次进行快时间维度的FFT运算和慢时间维度的Stockwell变换，克服了短时傅里叶变换窗口时宽不变的缺陷，能根据频率变换自适应调整分析时宽，并提供直观的时间频率特征，无需选择窗函数域分析尺度，更适用于微弱信号(尤其是高频微弱分量)的检测，且保留了小波变换和短时傅里叶变换中褪色的相位信息，对信号的时频和特征信息提取具有明显优势，可以明显提高人体跌倒的识别率；3、本发明实施例采用图像脊线提取对两个多通道毫米波雷达的多普勒域信息进行加权融合，放大了人体跌倒动作中易于识别的信息，增强了回波信号中的可分辨特征，将其输入基于卷积神经网络的分类器模型，能够对人体跌倒动作进行准确识别，识别率优于现有的预先定义和人工设计提取特征的方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的结构示意图。
图2是本发明的应用效果图。
图3是本发明的数据处理流程图。
图4是本发明的CNN模型训练流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，双毫米波雷达人体跌倒检测装置包括两个毫米波雷达、信号处理模块和自动特征提取与识别模块，两个毫米波雷达包括两个垂直放置的多通道毫米波雷达，使用计算机控制两个多通道毫米波雷达同时向监控区域发射电磁波，并同时接收人体发射的回波信号，回波信号经预处理后传输至信号处理模块。
信号处理模块对接收的回波信号进行FFT运算和Stockwell变换，做时频分析后对特征进行增强，并融合两个多通道毫米波雷达的多通道多方位信息，再将融合信息传送至自动特征提取与识别模块；自动特征提取与识别模块首先提取融合图像的特征值，再利用基于卷积神经网络的分类算法对信号进行分类识别，从而判断人体的运动状态。
所述多通道毫米波雷达采用多输入多输出(MIMO)工作模式如2发4收等，具有多个发射天线和接收天线，多发多收等效出来的虚拟孔径可以大大提高阵列的有效孔径，从而有效提高雷达的空间分辨率，能准确识别人体的运动状态；如图2所示，两个多通道毫米波雷达在检测区域内呈90°放置，安装高度为1m，安装与墙面平行，天线的水平发射角为0°，保证电磁波垂直发射到检测区域，能更好地解决单个雷达具有检测盲区的问题，提高特征提取的性能。
两个多通道毫米波雷达的参数设定一致，使用计算机控制时在两个多通道毫米波雷达间建立连接，采用硬触发实现两个多通道毫米波雷达间的通信，从而保证数据采集的同步性和频域信息融合的可分析性，使人体跌倒的检测识别结果准确性良好。
如图3所示，双毫米波雷达人体跌倒检测方法，包括以下步骤：
步骤S1，两个多通道毫米波雷达同时向检测区域发射信号，信号经人体反射后传回多通道毫米波雷达的接收天线，回波信号经下变频处理后，由数模转换器(ADC)转换得到多路回波数字信号；
具体过程如下：首先天线接收到回波信号，然后经过低噪声放大器后，再经过混频器与本振信号混频之后由射频转换到中频，然后由ADC进行中频采样，采样后得到雷达的多路回波数字信号；该过程由雷达接收机前端完成；
步骤S2，信号处理模块接收到两个多通道毫米波雷达的多路回波数字信号后，分别对其进行处理；
首先对多路回波数字信号进行数字波束形成，将数据从阵元域变换到波束域，利用数字波束形成技术可以增大雷达的检测范围，更好地对检测区域进行无盲区实时检测；
对回波信号进行快时间维度的FFT运算，再对处理后的信号做慢时间维度的Stockwell变换，从垂直的两个方向得到人体运动的多普勒域时频信息；即先对单个周期Chirp回波序列进行FFT运算，对快时间维度的每一帧数据提取频谱峰值对应的横坐标频率，完成对目标距离的求解，然后经过多个Chirp回波序列积累后，对同一距离单元的Chirp回波序列进行Stockwell变换，获得频率随时间变化的二维数据信息；Stockwell变换公式如下：
其中S表示Stockwell变换，t表示时间，x(t)表示t时刻的分析信号，τ表示窗口函数在时间轴上的位置，f表示频率，S(τ,f)表示变换得到的时频谱矩阵，i表示复数虚部；
采用短时傅里叶变换的方式进行慢时间变换，选择的窗长变长时频率分辨率提升、时间分辨率下降，选择的窗长变短时时间分辨率提升、频率分辨率下降，而Stockwell变换基于可扩展的局部高斯窗并提供频率相关的分辨率，是短时间傅里叶变换(STFT)的变窗变换和小波变换的扩展，适用于微弱信号的检测，尤其对高频微弱分量有增强作用，同时保留了小波变换和短时傅里叶变换中衰减的相位信息，更适用于人体跌倒检测；
步骤S3，采用图像脊线提取数据融合的方法对两个方向的多普勒域时频信息进行加权数据融合得到融合时频域信息；
数据融合的过程如下：分别对两个毫米波雷达回波处理得到的两幅时频分布图进行脊线提取，获得时频域信息中所包含的具有特征信息的时频变化轨迹，由于两个毫米波雷达的数据采集过程是同时触发的，所以两幅图提取的脊线在时间上是对应的；
以时间轴作为X轴、频率轴为Y轴进行加权相加处理，即对两条脊线在同一时刻的频率值进行相加处理，从而放大了人体跌倒动作中易于识别的信息，有效增强回波信号中的可分辨特征，使有效的频率变换变得更加显著，有利于后续的特征提取和识别；
步骤S4，自动特征提取与识别模块提取融合时频域信息的特征值，并基于该特征值对人体姿态进行分类识别，判断人体所处的运动状态。
如图4所示，所述自动特征提取与识别模块由依次连接的图像输入层、中间层、全连接层及输出层组成，图像输入层对输入的融合时频域信息进行预处理后将其输入中间层，中间层对输入的时频分布图进行多层级的特征提取，然后使用全连接层对提取的特征进行重新拟合，减少特征信息的丢失，再基于人体姿态特征对人体姿态进行分类识别，将人体跌倒情况通过输出层输出。
图像输入层对融合时频域信息(即合成的二维时频分布图)进行数据规范化后，将其输入中间层，人体运动姿态包括跌倒动作和非跌倒动作，其中跌倒动作包括前向跌倒、后向跌倒、以及前后向跌倒加手臂支撑，非跌倒动作包括弯腰、快速弯腰和蹲下；
所述中间层由第一卷积块、最大池化层、第二卷积块、最大池化层和第三卷积块依次连接组成，所述第一卷积块、第二卷积块、第三卷积块均包括依次连接的二维卷积层、批归一化层和修正线性单元层，三个二维卷积层的过滤器数目依次为8、16、32；第一卷积块的二维卷积层通过将滤波器沿输入方向垂直和水平移动，计算权值和输入的点积，然后添加偏置项对输入进行卷积，而后进入批归一化层进行标准化，再输入修正线性单元层对每个元素执行阈值操作，最后输入最大池化层，最大池化层通过将输入划分为矩形池化区域，计算每个池化区域的最大值来进行降采样，然后依次经过第二卷积块、最大池化层、第三卷积块处理，将处理结果输入全连接层，全连接层将输入乘以权值矩阵，然后添加偏置向量，得到高维空间数据，减少特征信息的损失，输出层用于输出人体运动状态识别结果。
训练自动特征提取与识别模块时，首先采集大量的跌倒和非跌倒情景下人体姿态的回波数据集合，对其进行数据处理和加权融合后保存融合时频域图像，用作训练样本，对自动特征提取与识别模块进行训练，使用新的跌倒和非跌倒情景下人体姿态回波数据对自动特征提取与识别模块进行验证，得到最终的自动特征提取与识别模块。
分别采集60名志愿者的动作数据作为数据集，每名志愿者均采集两组共14种动作，第一组动作为面向雷达做前向跌倒、后向跌倒、前向跌倒加手臂支撑、后向跌倒加手臂支撑、弯腰、蹲起和坐下，第二组动作面向雷达45°角做上述7种动作，分别使用本发明和传统检测方法对采集的数据进行人体跌倒检测，检测结果如表1所示：
表1本发明与传统检测方法对人体跌倒检测的识别率数据
从表1可以看出：传统的单个毫米波雷达加短时傅里叶变换时频分析的方法，结合训练后的卷积神经网络对跌倒动作的识别率可以达到88％，如果对单毫米波雷达数据使用Stockwell变换进行时频分析，其识别率可以提升到93％，可见Stockwell变换这种方法对跌倒检测的识别正确率有很大的提升，将两个垂直放置的毫米波雷达数据经FFT运算、Stockwell变换再将时频域信息融合后经分类识别，识别率可高达96％，可见使用双毫米波雷达能够无盲区地检测人体的动作数据，通过FFT运算和Stockwell变换能根据频率自适应调整分析时宽，增强回波信号中的高频微弱分量，保留小波变换和短时傅里叶变换中褪色的相位信息，方便对回波信号的时频和特征信息进行提取，基于提取的特征进行人体跌倒检测，检测结果识别率更高。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (5)
1.双毫米波雷达人体跌倒检测装置，其特征在于，包括两个毫米波雷达、信号处理模块和自动特征提取与识别模块；
所述毫米波雷达，用于发射检测信号，接收人体反射的回波信号，并对其进行预处理得到多路回波数字信号；
所述信号处理模块，用于对多路回波数字信号进行数字波束形成、FFT运算、Stockwell变换和加权数据融合得到融合时频域图像；
所述自动特征提取与识别模块，用于提取融合时频域图像的特征值，进而对人体姿态进行识别，获得人体的跌倒情况；
所述自动特征提取与识别模块包括依次连接的图像输入层、中间层、全连接层和输出层；
所述图像输入层，用于对融合时频域图像进行预处理；
所述中间层，用于提取预处理后融合时频域图像的特征；
所述全连接层，用于根据提取的特征值对人体姿态进行分类识别；
所述输出层，用于输出人体姿态分类识别结果；
所述中间层由第一卷积块、最大池化层、第二卷积块、最大池化层和第三卷积块依次连接组成，所述第一卷积块、第二卷积块、第三卷积块均由依次连接的二维卷积层、批归一化层和修正线性单元层组成，所述二维卷积层的过滤器数目依次为8、16、32。
2.根据权利要求1所述的双毫米波雷达人体跌倒检测装置，其特征在于，所述毫米波雷达为多输入多输出的多通道毫米波雷达，所述两个毫米波雷达在检测区域内呈90°放置。
3.使用如权利要求1或2所述装置对人体跌倒进行检测的方法，其特征在于，包括以下步骤：
步骤S1，两个毫米波雷达同时向检测区域发射检测信号，信号经人体反射后被毫米波雷达的接收天线接收，毫米波雷达接收机前端对回波信号进行预处理得到雷达的多路回波数字信号，并将多路回波数字信号发送至信号处理模块；
步骤S2，对两个毫米波雷达发送的多路回波数字信号分别进行数字波束形成，在对数字波束依次进行快时间维度的FFT运算和慢时间维度的Stockwell变换，得到两个垂直方向的人体姿态多普勒域时频图像；
步骤S3，对两个垂直方向的人体姿态多普勒域时频图像进行加权数据融合得到融合时频域图像；
步骤S4，提取融合时频域图像的特征值，并基于此对人体姿态进行分类识别，得到人体跌倒情况。
4.根据权利要求3所述的方法，其特征在于，步骤S1中所述预处理过程如下：首先对回波信号进行低噪声放大，然后将其与本振信号混频后由射频转换到中频，最后使用数模转换器进行中频采样得到毫米波雷达的多路回波数字信号。
5.根据权利要求3所述的方法，其特征在于，所述步骤S3中使用以下过程进行加权数据融合：分别提取两个人体姿态多普勒时频域图像的脊线，对两条脊线在同一时刻的频率值进行相加处理得到融合时频域图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110728497.9A CN113447905B (zh) | 2021-06-29 | 2021-06-29 | 双毫米波雷达人体跌倒检测装置及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110728497.9A CN113447905B (zh) | 2021-06-29 | 2021-06-29 | 双毫米波雷达人体跌倒检测装置及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113447905A CN113447905A (zh) | 2021-09-28 |
| CN113447905B true CN113447905B (zh) | 2024-04-19 |
Family
ID=77814007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110728497.9A Active CN113447905B (zh) | 2021-06-29 | 2021-06-29 | 双毫米波雷达人体跌倒检测装置及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113447905B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793478A (zh) * | 2021-10-11 | 2021-12-14 | 厦门狄耐克物联智慧科技有限公司 | 一种微波感应卫生间跌倒报警系统 |
| CN113866751A (zh) * | 2021-10-15 | 2021-12-31 | 苏州米力特智能科技有限公司 | 基于毫米波雷达的老人行为监测系统和方法 |
| CN114038012A (zh) * | 2021-11-08 | 2022-02-11 | 四川启睿克科技有限公司 | 基于毫米波雷达和机器学习的跌倒检测方法及系统 |
| CN114366052A (zh) * | 2021-12-21 | 2022-04-19 | 山东师范大学 | 一种基于毫米波雷达的养老院智能监护系统及方法 |
| CN114584747B (zh) * | 2022-03-04 | 2023-10-31 | 大连海事大学 | 一种360°环幕无缝投影软矫正方法 |
| CN114814775B (zh) * | 2022-05-24 | 2024-08-13 | 哈尔滨工业大学 | 基于ResNet网络的雷达跌倒检测方法及设备 |
| CN114924249B (zh) * | 2022-07-22 | 2022-10-28 | 中国科学技术大学 | 基于毫米波雷达的人体姿态估计方法、装置及电子设备 |
| WO2024044870A1 (zh) * | 2022-08-29 | 2024-03-07 | 上海金桥(集团)有限公司 | 一种地下停车场通道运行车辆实时检测系统与方法 |
| CN115291184B (zh) * | 2022-10-08 | 2023-03-24 | 四川启睿克科技有限公司 | 一种毫米波雷达与深度学习结合的姿态监测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111166342A (zh) * | 2020-01-07 | 2020-05-19 | 四川宇然智荟科技有限公司 | 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法 |
| CN112617813A (zh) * | 2020-12-15 | 2021-04-09 | 南京邮电大学 | 一种基于多传感器的非侵入式跌倒检测方法及系统 |
| CN112782681A (zh) * | 2020-12-31 | 2021-05-11 | 杭州电子科技大学 | 基于毫米波与物联网的室内定位与跌倒检测系统及方法 |
| WO2021109526A1 (zh) * | 2019-12-03 | 2021-06-10 | 南京汇君半导体科技有限公司 | 基于毫米波雷达的生命体征信号增强方法及设备、提取方法及设备 |
-
2021
- 2021-06-29 CN CN202110728497.9A patent/CN113447905B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021109526A1 (zh) * | 2019-12-03 | 2021-06-10 | 南京汇君半导体科技有限公司 | 基于毫米波雷达的生命体征信号增强方法及设备、提取方法及设备 |
| CN111166342A (zh) * | 2020-01-07 | 2020-05-19 | 四川宇然智荟科技有限公司 | 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法 |
| CN112617813A (zh) * | 2020-12-15 | 2021-04-09 | 南京邮电大学 | 一种基于多传感器的非侵入式跌倒检测方法及系统 |
| CN112782681A (zh) * | 2020-12-31 | 2021-05-11 | 杭州电子科技大学 | 基于毫米波与物联网的室内定位与跌倒检测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 视觉和毫米波雷达信息融合行人识别算法;徐伟;周培义;张芬;黄亮;;同济大学学报(自然科学版);20171215(第S1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113447905A (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113447905B (zh) | 双毫米波雷达人体跌倒检测装置及检测方法 | |
| CN110286368B (zh) | 一种基于超宽带雷达的老人跌倒检测方法 | |
| CN109507653A (zh) | 一种基于uwb的多信息感知生物雷达系统及其获取目标信息的方法 | |
| CN109672485B (zh) | 基于信道状态信息室内人员实时入侵及运动速度检测方法 | |
| CN108038419B (zh) | 基于Wi-Fi的室内人员被动检测方法 | |
| CN112686094B (zh) | 一种基于毫米波雷达的非接触式身份识别方法及系统 | |
| CN112333653A (zh) | 基于WiFi信道状态信息的身份智能识别方法、系统 | |
| CN107462873A (zh) | 一种雷达干扰快速识别方法 | |
| Wang et al. | Multi-classification of UWB signal propagation channels based on one-dimensional wavelet packet analysis and CNN | |
| CN112861813B (zh) | 基于复值卷积神经网络的墙后人体行为识别方法 | |
| CN113453180B (zh) | 一种人体摔倒智能检测方法、系统、信息数据处理终端 | |
| CN114814775A (zh) | 基于ResNet网络的雷达跌倒检测方法及设备 | |
| CN109431526B (zh) | 基于wifi的驾驶状态识别方法及系统 | |
| CN113341392B (zh) | 一种基于多站雷达微多普勒运动测向的人体行为分类方法 | |
| CN114814832A (zh) | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 | |
| Bocus et al. | UWB and WiFi systems as passive opportunistic activity sensing radars | |
| Showmik et al. | Human activity recognition from wi-fi csi data using principal component-based wavelet cnn | |
| CN112147584A (zh) | 一种基于非均匀杂波的mimo雷达扩展目标检测方法 | |
| KR102322480B1 (ko) | 대상체 크기 및 동작강도에 최적화된 검출 임계치를 적용할 수 있는 uwb 위치인식시스템 및 uwb 위치인식방법 | |
| CN115575921B (zh) | 一种基于俯仰向多通道多干扰基压制干扰抑制方法 | |
| CN115390058A (zh) | 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法 | |
| El Amine et al. | Device-free people counting using 5 ghz wi-fi radar in indoor environment with deep learning | |
| CN111329447B (zh) | 人体生理参数检测方法及装置、存储介质 | |
| Muaaz et al. | Wi-Fi-based human activity recognition using convolutional neural network | |
| Yang et al. | Dual mmWave radars fall detection using the Stockwell transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |