CN113311428A - 一种基于毫米波雷达的人体跌倒智能监测系统及识别方法 - Google Patents

一种基于毫米波雷达的人体跌倒智能监测系统及识别方法 Download PDF

Info

Publication number
CN113311428A
CN113311428A CN202110572750.6A CN202110572750A CN113311428A CN 113311428 A CN113311428 A CN 113311428A CN 202110572750 A CN202110572750 A CN 202110572750A CN 113311428 A CN113311428 A CN 113311428A
Authority
CN
China
Prior art keywords
human body
millimeter wave
falling
data
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110572750.6A
Other languages
English (en)
Other versions
CN113311428B (zh
Inventor
温超
钱宇华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN202110572750.6A priority Critical patent/CN113311428B/zh
Publication of CN113311428A publication Critical patent/CN113311428A/zh
Application granted granted Critical
Publication of CN113311428B publication Critical patent/CN113311428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Critical Care (AREA)
  • Emergency Management (AREA)
  • Emergency Medicine (AREA)
  • Nursing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于毫米波雷达的人体跌倒智能监测系统及识别方法。目的是解决现有用户穿戴的多传感器设备需要定期充电，易用性弱、以及受光照影响大的技术问题。技术方案为：一种基于毫米波雷达的人体跌倒智能监测系统，包括毫米波信号收发模块、人体动作数据收集模块、动作识别智能计算模块和无线通信模块，各模块之间电气连接，一种基于毫米波雷达的人体跌倒识别方法，步骤如下：1)采集人体反射信号，2)生成并存储雷达点云数据，3)基于图神经网络的人体动作特征学习，4)判断跌倒分值排名，5)判断跌倒状态。本发明提升了跌倒识别的准确率，克服了基于可见光图像的监测系统在无光或者超高动态场景下难以正常工作的问题。

Description

一种基于毫米波雷达的人体跌倒智能监测系统及识别方法
技术领域
本发明属于电子信息技术领域，具体涉及一种基于毫米波雷达的人体跌倒智能监测系统及识别方法。
背景技术
人身安全与健康问题当前受到社会的广泛关注，突发性疾病或者意外状况导致的人员跌倒直接关乎人身安全与健康问题，人员跌倒监测成为其中重点关注的技术之一，然而，现有技术性能受环境因素影响较大，跌倒动作识别的准确性及用户隐私安全性难以满足实际需求。
目前主流的跌倒监测为基于可穿戴多传感器信息融合的监测和基于可见光图像的监测两种方式。其中，基于可穿戴多传感器信息融合的监测通过采集用户穿戴的多传感器数据，利用信息融合的方法判断用户是否为跌倒状态，缺点是用户穿戴的多传感器设备需要定期充电，易用性弱；基于可见光图像的监测通过利用可见光图像传感器采集被监测用户数据，通过机器学习算法分析，判断用户是否为跌倒状态，基于可见光图像的监测的优点是跌倒检无需穿戴任何设备，测准确率高，缺点是监测性能受光照影响较大，无光或者超高动态场景下难以正常工作，并且容易暴露用户的个人隐私。
发明内容
本发明的目的是解决现有用户穿戴的多传感器设备需要定期充电，易用性弱、以及受光照影响大的技术问题，提供一种基于毫米波雷达的人体跌倒智能监测系统及识别方法。
为解决上述技术问题，本发明采用的技术方案是：
一种基于毫米波雷达的人体跌倒智能监测系统，包括毫米波信号收发模块、人体动作数据收集模块、动作识别智能计算模块和无线通信模块，所述毫米波信号收发模块与人体动作数据收集模块电气连接，所述人体动作数据收集模块与动作识别智能计算模块电气连接，所述动作识别智能计算模块与无线通信模块电气连接；
所述毫米波信号收发模块利用多发射通道和多接收通道的空间多样性，模拟虚拟阵列天线接收信号，用于发射和接收毫米波段射频信号；
所述人体动作数据收集模块利用快速傅里叶变换和波束形成技术，获取目标的距离、方位和俯仰角度信息，并将获取的坐标数据转换生成笛卡儿坐标系的点云数据；
所述动作识别智能计算模块利用图神经网络学习点云数据的人体动作模式信息，并根据得到各个动作类别标记对应的分数值，得到各动作类别的识别概率，进而判断用户是否处于跌倒状态；
所述无线通信模块用于在系统判断用户为跌倒状态条件下，向跌倒防护装置发送启动防护装置信号，或者通过互联网向相关人员发送警报信息，实现对相关人员的远程告警功能，为跌倒用户提供及时的医疗救助响应。
进一步的，所述动作识别智能计算模块采用中央处理器CPU、图形处理器GPU或基于可编程逻辑阵列FPGA处理器中的任意一种。
进一步的，包括如下步骤：
1)采集人体反射信号：
将所述毫米波信号收发模块安装在被监测空间的斜上方位置，毫米波雷达通过多个发射天线发射信号，经过人体反射后，反射信号通过毫米波雷达接收天线接收；
2)所述人体动作数据采集模块根据人体反射信号生成并存储雷达点云数据：
所述人体动作数据采集模块采集用户不同时刻的雷达点云数据，利用快速傅里叶变换和波束形成技术，获取点目标的距离、高度、水平位移和信号强度信息；
3)所述动作识别智能计算模块根据步骤2)所得的雷达点云数据，利用图神经网络学习点云数据的人体动作模式信息，并根据得到各个动作类别标记对应的分数值，得到各动作类别的识别概率，进而判断用户是否处于跌倒状态；
其中：利用图神经网络学习点云数据的人体动作模式信息包括如下步骤：
3.1)将N个三维点云数据初始化为集合P＝{p1，p2，...，pN}；
其中，第i个元素pi＝(xi，si)是一个三维坐标向量xi和状态值向量si表示的点，状态值表示反射信号的强度或者目标经过编码后的特征；
3.2)构造图数据G＝(P，E)；
其中：P表示图的顶点，E表示连接点到邻接点的连边，连边长度为r，则E＝{(pi，pj)|||xi-xj||2＜r}，其中，||xi-xj||2表示第i个和第j个坐标向量之间的欧式距离；
3.3)将点云图数据输入具有自动配准功能的图神经网络，得到配准后的图数据，具体步骤为：
利用相邻顶点的状态值向量sj，更新当前顶点的状态si，该状态在第t+1次迭代中表示为：
Figure BDA0003083160900000031
其中：
Figure BDA0003083160900000032
表示用于顶点配准的坐标偏移量，ht(·)表示利用中心顶点状态值向量计算坐标偏移量，ft(·)表示计算两个顶点间的连边特征，ρ(·)表示取最大值函数，gt(·)表示利用聚合的连边的特征更新顶点的特征。
3.4)将配准后的图数据输入LSTM网络，得到图数据的时域变化特征；
3.5)将图数据的时域变化特征数据经全连接网络，实现对具有时序性图数据的分类，得到各个动作类别标签对应的分数值，得到各动作类别的识别概率。
4)根据用户跌倒对应的分数值在全部动作对应的分数值排名，判断用户跌倒对应的分数值排名是否为第一名；
5)如果跌倒对应的分数值排名为第一名，则判断用户为跌倒状态，如果对应的分数值不是第一名，则判断用户为非跌倒状态，重新采集人体反射信号进行上述操作过程。
进一步的，所述步骤1)中毫米波雷达接收的信号频率为60～80GHz频段。
进一步的，所述步骤2)中的点云数据具有稀疏分布和多维时空结构特征。
进一步的，所述步骤3.2)中通过构造图数据，将点云数据的多维信息关联问题转化为固定半径近邻搜索问题。
一种基于毫米波雷达的人体跌倒识别方法，所述步骤3.3)中的ft(·)、gt(·)和ht(·)模型为多层感知器模型或者具有多层神经网络结构的其他计算模型中的任意一种，并在gt(·)中添加具有残差连接结构的神经网络模型。
与现有技术相比，本发明的有益效果是：
1、本发明构建图神经网络，用于对毫米波雷达点云数据进行分类识别，克服了现有动作识别方法缺乏利用点云数据的多维时空结构信息而导致的动作识别准确率的问题，本发明利用点云数据的图结构能够更好地保留稀疏点云数据的多维时空信息，从而提升跌倒识别的准确率；
2、本发明构建了基于毫米波雷达点云的人体跌倒监测系统，用于全天候的人体动作识别问题，克服了基于可见光图像的监测系统在无光或者超高动态场景下难以正常工作的问题，并且无需用户穿戴任何设备，从而提升跌倒监测系统的多种环境适用性。
附图说明
图1为本发明的一种基于毫米波雷达的人体跌倒智能监测系统的结构示意图；
图2为本发明的一种基于图神经网络的人体跌倒识别方法的流程示意图；
图3为本发明的一种基于图神经网络的人体动作智能识别方法的流程示意图；
图中：1-毫米波信号收发模块、2-人体动作数据收集模块、3-动作识别智能计算模块、4-无线通信模块。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1-3所示，一种基于毫米波雷达的人体跌倒智能监测系统，包括毫米波信号收发模块1、人体动作数据收集模块2、动作识别智能计算模块3和无线通信模块4，所述毫米波信号收发模块1与人体动作数据收集模块2电气连接，所述人体动作数据收集模块2与动作识别智能计算模块3电气连接，所述动作识别智能计算模块3与无线通信模块4电气连接；
所述毫米波信号收发模块1利用多发射通道和多接收通道的空间多样性，模拟虚拟阵列天线接收信号，用于发射和接收毫米波段射频信号；
所述人体动作数据收集模块2利用快速傅里叶变换和波束形成技术，获取目标的距离、方位和俯仰角度信息，并将获取的坐标数据转换生成笛卡儿坐标系的点云数据；
所述动作识别智能计算模块3利用图神经网络学习点云数据的人体动作模式信息，并根据得到各个动作类别标记对应的分数值，得到各动作类别的识别概率，进而判断用户是否处于跌倒状态；
所述无线通信模块4用于在系统判断用户为跌倒状态条件下，向跌倒防护装置发送启动防护装置信号，或者通过互联网向相关人员发送警报信息，实现对相关人员的远程告警功能，为跌倒用户提供及时的医疗救助响应。
所述动作识别智能计算模块3采用中央处理器(CPU)、图形处理器(GPU)或基于可编程逻辑阵列(FPGA)处理器中的任意一种。
一种基于毫米波雷达的人体跌倒识别的方法，包括如下步骤：
1)采集人体反射信号：
将所述毫米波信号收发模块1安装在被监测空间的斜上方位置，毫米波雷达通过多个发射天线发射信号，经过人体反射后，反射信号通过毫米波雷达接收天线接收；
2)所述人体动作数据采集模块2根据人体反射信号生成并存储雷达点云数据：
所述人体动作数据采集模块2采集用户不同时刻的雷达点云数据，利用快速傅里叶变换和波束形成技术，获取点目标的距离、高度、水平位移和信号强度信息；
3)所述动作识别智能计算模块3根据步骤2所得的雷达点云数据，利用图神经网络学习点云数据的人体动作模式信息，并根据得到各个动作类别标记对应的分数值，得到各动作类别的识别概率，进而判断用户是否处于跌倒状态；
其中：利用图神经网络学习点云数据的人体动作模式信息包括如下步骤：
3.1)将N个三维点云数据初始化为集合P＝{p1，p2，...，pN}；
其中，第i个元素pi＝(xi，si)是一个三维坐标向量xi和状态值向量si表示的点，状态值表示反射信号的强度或者目标经过编码后的特征；
3.2)构造图数据G＝(P，E)；
其中：P表示图的顶点，E表示连接点到邻接点的连边，连边长度为r，则E＝{(pi，pj)|||xi-xj||2＜r}，其中，||xi-xj||2表示第i个和第j个坐标向量之间的欧式距离；
3.3)将点云图数据输入具有自动配准功能的图神经网络，得到配准后的图数据，具体步骤为：
利用相邻顶点的状态值向量sj，更新当前顶点的状态si，该状态在第t+1次迭代中表示为：
Figure BDA0003083160900000071
其中：
Figure BDA0003083160900000072
表示用于顶点配准的坐标偏移量，ht(·)表示利用中心顶点状态值向量计算坐标偏移量，ft(·)表示计算两个顶点间的连边特征，ρ(·)表示取最大值函数，gt(·)表示利用聚合的连边的特征更新顶点的特征。
3.4)将配准后的图数据输入LSTM网络，得到图数据的时域变化特征；
3.5)将图数据的时域变化特征数据经全连接网络，实现对具有时序性图数据的分类，得到各个动作类别标签对应的分数值，得到各动作类别的识别概率。
4)根据用户跌倒对应的分数值在全部动作对应的分数值排名，判断用户跌倒对应的分数值排名是否为第一名；
5)如果跌倒对应的分数值排名为第一名，则判断用户为跌倒状态，如果对应的分数值不是第一名，则判断用户为非跌倒状态，重新采集人体反射信号进行上述操作过程。
所述步骤1)中毫米波雷达接收的信号频率为60～80GHz频段。
所述步骤2)中的点云数据具有稀疏分布和多维时空结构特征。
所述步骤3.2)中通过构造图数据，将点云数据的多维信息关联问题转化为固定半径近邻搜索问题。
所述步骤3.3)中的ft(·)、gt(·)和ht(·)模型为多层感知器模型，并在gt(·)中添加具有残差连接结构的神经网络模型。
所述的ft(·)、gt(·)和ht(·)模型还可以是具有多层神经网络结构的其他计算模型中的任意一种。

Claims (7)

1.一种基于毫米波雷达的人体跌倒智能监测系统，其特征在于：包括毫米波信号收发模块(1)、人体动作数据收集模块(2)、动作识别智能计算模块(3)和无线通信模块(4)，所述毫米波信号收发模块(1)与人体动作数据收集模块(2)电气连接，所述人体动作数据收集模块(2)与动作识别智能计算模块(3)电气连接，所述动作识别智能计算模块(3)与无线通信模块(4)电气连接；
所述毫米波信号收发模块(1)利用多发射通道和多接收通道的空间多样性，模拟虚拟阵列天线接收信号，用于发射和接收毫米波段射频信号；
所述人体动作数据收集模块(2)利用快速傅里叶变换和波束形成技术，获取目标的距离、方位和俯仰角度信息，并将获取的坐标数据转换生成笛卡儿坐标系的点云数据；
所述动作识别智能计算模块(3)利用图神经网络学习点云数据的人体动作模式信息，并根据得到各个动作类别标记对应的分数值，得到各动作类别的识别概率，进而判断用户是否处于跌倒状态；
所述无线通信模块(4)用于在系统判断用户为跌倒状态条件下，向跌倒防护装置发送启动防护装置信号，或者通过互联网向相关人员发送警报信息，实现对相关人员的远程告警功能，为跌倒用户提供及时的医疗救助响应。
2.根据权利要求1所述的一种基于毫米波雷达的人体跌倒智能监测系统，其特征在于：所述动作识别智能计算模块(3)采用中央处理器、图形处理器或基于可编程逻辑阵列处理器中的任意一种。
3.使用权利要求1或2所述的基于毫米波雷达的跌倒智能监测系统进行人体跌倒识别的方法，其特征在于：包括如下步骤：
1)采集人体反射信号：
将所述毫米波信号收发模块(1)安装在被监测空间的斜上方位置，毫米波雷达通过多个发射天线发射信号，经过人体反射后，反射信号通过毫米波雷达接收天线接收；
2)所述人体动作数据采集模块(2)根据人体反射信号生成并存储雷达点云数据：
所述人体动作数据采集模块(2)采集用户不同时刻的雷达点云数据，利用快速傅里叶变换和波束形成技术，获取点目标的距离、高度、水平位移和信号强度信息；
3)所述动作识别智能计算模块(3)根据步骤2)所得的雷达点云数据，利用图神经网络学习点云数据的人体动作模式信息，并根据得到各个动作类别标记对应的分数值，得到各动作类别的识别概率，进而判断用户是否处于跌倒状态；
其中：利用图神经网络学习点云数据的人体动作模式信息包括如下步骤：
3.1)将N个三维点云数据初始化为集合P＝{p1,p2,…,pN}；
其中，第i个元素pi＝(xi,si)是一个三维坐标向量xi和状态值向量si表示的点，状态值表示反射信号的强度或者目标经过编码后的特征；
3.2)构造图数据G＝(P,E)；
其中：P表示图的顶点，E表示连接点到邻接点的连边，连边长度为r，则E＝{(pi,pj)|‖xi-xj‖2<r}，其中，‖xi-xj‖2表示第i个和第j个坐标向量之间的欧式距离；
3.3)将点云图数据输入具有自动配准功能的图神经网络，得到配准后的图数据，具体步骤为：
利用相邻顶点的状态值向量sj，更新当前顶点的状态si，该状态在第t+1次迭代中表示为：
Figure FDA0003083160890000021
其中：
Figure FDA0003083160890000031
表示用于顶点配准的坐标偏移量，ht(·)表示利用中心顶点状态值向量计算坐标偏移量，ft(·)表示计算两个顶点间的连边特征，ρ(·)表示取最大值函数，gt(·)表示利用聚合的连边的特征更新顶点的特征；
3.4)将配准后的图数据输入LSTM网络，得到图数据的时域变化特征；
3.5)将图数据的时域变化特征数据经全连接网络，实现对具有时序性图数据的分类，得到各个动作类别标签对应的分数值，得到各动作类别的识别概率；
4)根据用户跌倒对应的分数值在全部动作对应的分数值排名，判断用户跌倒对应的分数值排名是否为第一名；
5)如果跌倒对应的分数值排名为第一名，则判断用户为跌倒状态，如果对应的分数值不是第一名，则判断用户为非跌倒状态，重新采集人体反射信号进行上述操作过程。
4.根据权利要求3所述的一种基于毫米波雷达的人体跌倒识别方法，其特征在于：所述步骤1)中毫米波雷达接收的信号频率为60～80GHz频段。
5.根据权利要求3所述的一种基于毫米波雷达的人体跌倒识别方法，其特征在于：所述步骤2)中的点云数据具有稀疏分布和多维时空结构特征。
6.根据权利要求3所述的一种基于毫米波雷达的人体跌倒识别方法，其特征在于：所述步骤3.2)中通过构造图数据，将点云数据的多维信息关联问题转化为固定半径近邻搜索问题。
7.根据权利要求3所述的一种基于毫米波雷达的人体跌倒识别方法，其特征在于：所述步骤3.3)中的ft(·)、gt(·)和ht(·)模型为多层感知器模型或者具有多层神经网络结构的其他计算模型中的任意一种，并在gt(·)中添加具有残差连接结构的神经网络模型。
CN202110572750.6A 2021-05-25 2021-05-25 一种基于毫米波雷达的人体跌倒智能监测系统及跌倒识别方法 Active CN113311428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110572750.6A CN113311428B (zh) 2021-05-25 2021-05-25 一种基于毫米波雷达的人体跌倒智能监测系统及跌倒识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572750.6A CN113311428B (zh) 2021-05-25 2021-05-25 一种基于毫米波雷达的人体跌倒智能监测系统及跌倒识别方法

Publications (2)

Publication Number Publication Date
CN113311428A true CN113311428A (zh) 2021-08-27
CN113311428B CN113311428B (zh) 2023-05-30

Family

ID=77374712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572750.6A Active CN113311428B (zh) 2021-05-25 2021-05-25 一种基于毫米波雷达的人体跌倒智能监测系统及跌倒识别方法

Country Status (1)

Country Link
CN (1) CN113311428B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837055A (zh) * 2021-09-18 2021-12-24 南京润楠医疗电子研究院有限公司 跌倒检测方法、装置、电子设备及存储介质
CN113947867A (zh) * 2021-09-23 2022-01-18 宁波溪棠信息科技有限公司 目标异常行为的检测方法、系统、电子装置和存储介质
CN114942434A (zh) * 2022-04-25 2022-08-26 西南交通大学 一种基于毫米波雷达点云的跌倒姿态识别方法及系统
CN115376276A (zh) * 2022-07-25 2022-11-22 苏州智瞳威视科技有限公司 一种采用人工智能语音交互方式的老人跌倒监测装置
CN116840835A (zh) * 2022-05-05 2023-10-03 南方科技大学 一种基于毫米波雷达的跌倒检测方法、系统及设备
WO2023210105A1 (ja) * 2022-04-27 2023-11-02 住友電気工業株式会社 インフラ電波センサ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN108968970A (zh) * 2018-05-24 2018-12-11 厦门精益远达智能科技有限公司 一种多普勒毫米波雷达检测人体跌倒的方法、装置和雷达系统
EP3648074A2 (en) * 2018-11-02 2020-05-06 Fujitsu Limited Fall detection method and apparatus
CN111281393A (zh) * 2020-02-25 2020-06-16 山东省科学院自动化研究所 基于非接触式雷达技术的老年人跌倒检测方法及系统
WO2020188748A1 (ja) * 2019-03-19 2020-09-24 日本電気株式会社 監視システム、情報処理装置、転倒検出方法、及び非一時的なコンピュータ可読媒体
CN211826497U (zh) * 2020-02-25 2020-10-30 山东省科学院自动化研究所 基于多普勒雷达技术的老年人跌倒报警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564005A (zh) * 2018-03-26 2018-09-21 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN108968970A (zh) * 2018-05-24 2018-12-11 厦门精益远达智能科技有限公司 一种多普勒毫米波雷达检测人体跌倒的方法、装置和雷达系统
EP3648074A2 (en) * 2018-11-02 2020-05-06 Fujitsu Limited Fall detection method and apparatus
WO2020188748A1 (ja) * 2019-03-19 2020-09-24 日本電気株式会社 監視システム、情報処理装置、転倒検出方法、及び非一時的なコンピュータ可読媒体
CN111281393A (zh) * 2020-02-25 2020-06-16 山东省科学院自动化研究所 基于非接触式雷达技术的老年人跌倒检测方法及系统
CN211826497U (zh) * 2020-02-25 2020-10-30 山东省科学院自动化研究所 基于多普勒雷达技术的老年人跌倒报警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FENG JIN等: "mmFall: Fall Detection using 4D MmWave Radar and a Hybrid Variational RNN AutoEncoder", 《ARXIV》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837055A (zh) * 2021-09-18 2021-12-24 南京润楠医疗电子研究院有限公司 跌倒检测方法、装置、电子设备及存储介质
CN113947867A (zh) * 2021-09-23 2022-01-18 宁波溪棠信息科技有限公司 目标异常行为的检测方法、系统、电子装置和存储介质
CN113947867B (zh) * 2021-09-23 2023-06-27 恒玄科技(上海)股份有限公司 目标异常行为的检测方法、系统、电子装置和存储介质
CN114942434A (zh) * 2022-04-25 2022-08-26 西南交通大学 一种基于毫米波雷达点云的跌倒姿态识别方法及系统
CN114942434B (zh) * 2022-04-25 2024-02-02 四川八维九章科技有限公司 一种基于毫米波雷达点云的跌倒姿态识别方法及系统
WO2023210105A1 (ja) * 2022-04-27 2023-11-02 住友電気工業株式会社 インフラ電波センサ
CN116840835A (zh) * 2022-05-05 2023-10-03 南方科技大学 一种基于毫米波雷达的跌倒检测方法、系统及设备
CN116840835B (zh) * 2022-05-05 2024-05-10 南方科技大学 一种基于毫米波雷达的跌倒检测方法、系统及设备
CN115376276A (zh) * 2022-07-25 2022-11-22 苏州智瞳威视科技有限公司 一种采用人工智能语音交互方式的老人跌倒监测装置

Also Published As

Publication number Publication date
CN113311428B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113311428B (zh) 一种基于毫米波雷达的人体跌倒智能监测系统及跌倒识别方法
Sengupta et al. mm-Pose: Real-time human skeletal posture estimation using mmWave radars and CNNs
Yu et al. Noninvasive human activity recognition using millimeter-wave radar
Jin et al. mmfall: Fall detection using 4-d mmwave radar and a hybrid variational rnn autoencoder
WO2021218753A1 (zh) 一种手势识别方法以及相关装置
US20230014948A1 (en) Microwave identification method and system
Chen et al. Activity recognition based on micro-Doppler signature with in-home Wi-Fi
CN116106855B (zh) 摔倒检测方法及摔倒检测装置
Li et al. A trajectory-based gesture recognition in smart homes based on the ultrawideband communication system
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Liu et al. A multimodal dynamic hand gesture recognition based on radar–vision fusion
Yang et al. Spatial-temporal-circulated GLCM and physiological features for in-vehicle people sensing based on IR-UWB radar
Zhang et al. Application of multi-angle millimeter-wave radar detection in human motion behavior and micro-action recognition
Luo et al. Spectro-temporal modeling for human activity recognition using a radar sensor network
Xie et al. Lightweight midrange arm-gesture recognition system from mmwave radar point clouds
Jin et al. Interference-robust millimeter-wave radar-based dynamic hand gesture recognition using 2D CNN-transformer networks
Wang et al. Real-Time through-wall multihuman localization and behavior recognition based on MIMO radar
Wang et al. Dcs-ctn: Subtle gesture recognition based on td-cnn-transformer via millimeter-wave radar
CN114423034A (zh) 一种室内人员动作识别方法、系统、介质、设备及终端
Qiao et al. Person identification with low training sample based on micro-doppler signatures separation
Song et al. Dual-task human activity sensing for pose reconstruction and action recognition using 4d imaging radar
CN116520315A (zh) 一种目标识别系统、目标识别方法以及目标识别装置
Zhu et al. TWLBR: Multi-Human Through-Wall Localization and Behavior Recognition Based on MIMO Radar
Liu et al. PosMonitor: Fine-grained sleep posture recognition with mmWave radar
CN115937977A (zh) 一种基于多维特征融合的少样本人体动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant