CN115221925A - 基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置 - Google Patents

基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置 Download PDF

Info

Publication number
CN115221925A
CN115221925A CN202210848544.8A CN202210848544A CN115221925A CN 115221925 A CN115221925 A CN 115221925A CN 202210848544 A CN202210848544 A CN 202210848544A CN 115221925 A CN115221925 A CN 115221925A
Authority
CN
China
Prior art keywords
radar
interval
action
data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210848544.8A
Other languages
English (en)
Inventor
朱宝峰
程万军
张霞
刘积仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Original Assignee
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd filed Critical Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority to CN202210848544.8A priority Critical patent/CN115221925A/zh
Publication of CN115221925A publication Critical patent/CN115221925A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请公开了一种基于雷达数据的摔倒检测模型的训练方法，获取雷达采集的包括多帧雷达信号的雷达波谱数据，雷达波谱数据对应有摔倒或非摔倒的分类标签。根据每帧雷达信号的信号强度从雷达波谱数据中提取大于第一预设阈值的雷达信号，组成躯干动作区间，并对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间。根据雷达数据对应的分类标签确定动作区间的每一帧雷达信号对应的分类标签。由多个动作区间拼接为训练数据，训练数据包括预设数量帧雷达信号且每帧雷达信号均对应有分类标签。基于训练数据对摔倒检测模型进行训练，摔倒检测模型能够预测每帧雷达信号的分类结果。如此，获得的摔倒检测模型的实时性好且准确性高。

Description

基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置
技术领域
本申请涉及人工智能技术领域，具体涉及一种基于雷达数据的摔倒检测模型的训练方法、一种基于雷达数据的摔倒检测方法、装置及设备。
背景技术
随着社会经济的发展，越来越多的人关注身体健康问题。而摔倒可能对身体造成严重的损害。因此，当用户摔倒时，尤其用户是老年人时，期望能够及时得知用户的摔倒动作，以便快速通知相关人员进行救助。
目前，可通过训练完成的摔倒检测模型来检测用户是否摔倒。但是，现有的摔倒检测模型的实时性较差，难以满足对实时性和精准性要求较高的实际应用场景，无法达到用户需求。
发明内容
有解决上述问题，本申请实施例提供一种基于雷达数据的摔倒检测模型的训练方法、一种基于雷达数据的摔倒检测方法、装置及设备，能够实时检测用户是否摔倒，满足用户需求。
为实现上述目的，本申请实施例提供的技术方案如下：
本申请实施例提供一种基于雷达数据的摔倒检测模型的训练方法，所述方法包括：
获取雷达波谱数据，所述雷达波谱数据包括多帧雷达信号，所述雷达波谱数据对应有分类标签，所述分类标签包括摔倒或非摔倒；
从所述雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号，组成躯干动作区间；
对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间；
根据所述雷达波谱数据对应的分类标签确定所述动作区间的每一帧雷达信号对应的分类标签；
将多个所述动作区间拼接为训练数据，所述训练数据包括预设数量帧雷达信号，所述训练数据的每一帧雷达信号对应有分类标签；
将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果，根据所述训练数据的每一帧雷达信号对应的预测分类结果以及所述训练数据的每一帧雷达信号对应的分类标签，计算损失值，根据所述损失值对所述摔倒检测模型进行调整，重复执行将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果以及后续步骤，直到达到预设条件，生成训练完成的摔倒检测模型；所述摔倒检测模型包括依次相连的帧特征注意力提取网络、LSTM时序网络以及时序输出网络。
在一种可能的实现方式中，所述帧特征注意力提取网络包括第一全连接层，所述LSTM时序网络包括第二全连接网络、第三全连接网络以及双层LSTM网络，所述时序输出网络包括第四全连接网络以及第五全连接网络；
所述训练数据输入所述第一全连接层，所述第一全连接层的输出与所述训练数据相乘后输入所述第二全连接网络，所述第二全连接网络的输出输入所述第三全连接网络，所述第三全连接网络的输出输入所述双层LSTM网络，所述双层LSTM网络的输出输入所述第四全连接网络，所述第四全连接网络的输出输入所述第五全连接网络，获得所述训练数据的每一帧雷达信号对应的预测分类结果。
在一种可能的实现方式中，所述摔倒检测模型还包括注意力转移网络，所述注意力转移网络包括所述第六全连接网络以及第七全连接网络；
所述第一全连接层的输出与所述训练数据相乘后还输入所述第六全连接网络，所述第六全连接网络的输出输入所述第七全连接网络，所述第七全连接网络的输出与所述双层LSTM网络的输出相乘后输入所述第四全连接网络。
在一种可能的实现方式中，所述根据所述训练数据的每一帧雷达信号对应的预测分类结果以及所述训练数据的每一帧雷达信号对应的分类标签，计算损失值，包括：
根据所述训练数据的每一帧雷达信号对应的预测分类结果、所述训练数据的每一帧雷达信号对应的分类标签以及所述分类标签的损失值权重，计算损失值；其中，摔倒分类标签的损失值权重大于非摔倒分类标签的损失值权重。
在一种可能的实现方式中，所述对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间，包括：
根据动作起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第一动作区间；
和/或，
根据形态学起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第二动作区间；
当仅生成所述第一动作区间时，将所述第一动作区间确定为动作区间；当仅生成所述第二动作区间时，将所述第二动作区间确定为动作区间；当同时生成所述第一动作区间以及所述第二动作区间时，将所述第一动作区间以及所述第二动作区间的起始位置的平均值确定为动作区间的起始位置，将所述第一动作区间以及所述第二动作区间的终止位置的平均值确定为动作区间的终止位置。
在一种可能的实现方式中，所述根据动作起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第一动作区间，包括：
当所述雷达波谱数据对应的分类标签为摔倒时，在所述雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在所述躯干动作区间的终止位置到所述雷达波谱数据的终止位置的第二区间内，选取随机位置作为所述第一动作区间的终止位置；
当所述雷达波谱数据对应的分类标签为非摔倒时，在所述雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在第二目标位置到所述雷达波谱数据的终止位置的第三区间内，选取随机位置作为所述第一动作区间的终止位置；
所述第一目标位置为在所述躯干动作区间的起始位置之后第一预设距离的位置；所述第二目标位置为在所述躯干动作区间的终止位置之前第二预设距离的位置。
在一种可能的实现方式中，所述根据形态学起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第二动作区间，包括：
在所述躯干动作区间的起始位置之前第三预设距离的位置到所述躯干动作区间的起始位置之后第四预设距离的位置的第四区间内，选取信号强度的一阶导数最大的位置作为第三目标位置；在所述第三目标位置到所述躯干动作区间的起始位置的第五区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的起始位置；
和/或，
在所述躯干动作区间的终止位置之前第五预设距离的位置到所述躯干动作区间的终止位置之后第六预设距离的位置的第六区间内，选取信号强度的一阶导数最大的位置作为第四目标位置；在所述第四目标位置到所述躯干动作区间的终止位置的第七区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的终止位置。
在一种可能的实现方式中，在对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间之后，所述方法还包括：
当所述雷达波谱数据对应的分类标签为摔倒时，将所述动作区间的起始位置到第五目标位置的第八区间以及第六目标位置到所述动作区间的终止位置的第九区间从所述动作区间内去除，重新生成动作区间。
本申请实施例还提供一种基于雷达数据的摔倒检测方法，所述方法包括：
获取待分类雷达波谱数据，所述待分类雷达波谱数据包括预设数量帧雷达信号；
将所述待分类雷达波谱数据输入摔倒检测模型，获得所述待分类雷达波谱数据的每一帧雷达信号对应的分类结果，所述分类结果包括摔倒或非摔倒；所述摔倒检测模型是根据上述的基于雷达数据的摔倒检测模型的训练方法训练得到的。
本申请实施例还提供一种基于雷达数据的摔倒检测模型的训练装置所述装置包括：
获取单元，用于获取雷达波谱数据，所述雷达波谱数据包括多帧雷达信号，所述雷达波谱数据对应有分类标签，所述分类标签包括摔倒或非摔倒；
组成单元，用于从所述雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号，组成躯干动作区间；
修正单元，用于对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间；
确定单元，用于根据所述雷达波谱数据对应的分类标签确定所述动作区间的每一帧雷达信号对应的分类标签；
拼接单元，用于将多个所述动作区间拼接为训练数据，所述训练数据包括预设数量帧雷达信号，所述训练数据的每一帧雷达信号对应有分类标签；
训练单元，用于将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果，根据所述训练数据的每一帧雷达信号对应的预测分类结果以及所述训练数据的每一帧雷达信号对应的分类标签，计算损失值，根据所述损失值对所述摔倒检测模型进行调整，重复执行将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果以及后续步骤，直到达到预设条件，生成训练完成的摔倒检测模型；所述摔倒检测模型包括依次相连的帧特征注意力提取网络、LSTM时序网络以及时序输出网络。
本申请实施例还提供一种基于雷达数据的摔倒检测装置，所述装置包括：
第一获取单元，用于获取待分类雷达波谱数据，所述待分类雷达波谱数据包括预设数量帧雷达信号；
第二获取单元，用于将所述待分类雷达波谱数据输入摔倒检测模型，获得所述待分类雷达波谱数据的每一帧雷达信号对应的分类结果，所述分类结果包括摔倒或非摔倒；所述摔倒检测模型是根据上述的基于雷达数据的摔倒检测模型的训练方法训练得到的。
本申请实施例还提供一种电子设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的基于雷达数据的摔倒检测模型的训练方法，或者如上述的基于雷达数据的摔倒检测方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上述的基于雷达数据的摔倒检测模型的训练方法，或者如上述的基于雷达数据的摔倒检测方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例提供了一种基于雷达数据的摔倒检测模型的训练方法，获取雷达采集的包括多帧雷达信号的雷达波谱数据，该雷达波谱数据对应有摔倒或非摔倒的分类标签。根据每帧雷达信号的信号强度从雷达波谱数据中提取大于第一预设阈值的雷达信号，组成躯干动作区间，并对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间。根据雷达数据对应的分类标签确定动作区间的每一帧雷达信号对应的分类标签。基于此，由多个动作区间拼接为训练数据，训练数据包括预设数量帧雷达信号且每帧雷达信号均对应有分类标签。进而，基于训练数据对摔倒检测模型进行训练和参数调整，摔倒检测模型能够预测每帧雷达信号的分类结果。如此，训练完成的摔倒检测模型能够检测得到每帧雷达信号对应的摔倒或非摔倒的分类结果，将摔倒检测模型的检测频率和精准度提升到针对雷达信号的每个采样帧后，能够实时检测用户是否摔倒，且准确率高，可以满足实际场景需要和用户需求。
附图说明
图1为本申请实施例提供的一种示例性应用场景的示意图；
图2为本申请实施例提供的一种基于雷达数据的摔倒检测模型的训练方法的流程图；
图3为本申请实施例提供的一种雷达多普勒波谱图的示意图；
图4为本申请实施例提供的一种训练数据的数据格式示意图；
图5为本申请实施例提供的一种摔倒检测模型的结构示意图；
图6为本申请实施例提供的另一种摔倒检测模型的结构示意图；
图7a为本申请实施例提供的一种躯干动作区间修正示意图；
图7b为本申请实施例提供的另一种躯干动作区间修正示意图；
图8为本申请实施例提供的一种基于雷达数据的摔倒检测方法的流程图；
图9为本申请实施例提供的一种基于雷达数据的摔倒检测模型的训练装置的结构示意图；
图10为本申请实施例提供的一种基于雷达数据的摔倒检测装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
为了便于理解和解释本申请实施例提供的技术方案，下面将先对本申请的背景技术进行说明。
随着社会经济的发展，越来越多的人关注身体健康问题。而摔倒可能对身体造成严重的损害，尤其在老年人摔倒的情况下。因此，当用户摔倒时，期望能够及时得知用户的摔倒动作，以便快速通知相关人员进行救助。
目前，可通过训练完成的摔倒检测模型来检测用户是否摔倒。但是，现有的摔倒检测模型的实时性较差，难以满足对实时性和精准性要求较高的实际应用场景，无法达到用户需求。
基于此，本申请实施例提供了一种基于雷达数据的摔倒检测模型的训练方法，获取雷达采集的包括多帧雷达信号的雷达波谱数据，该雷达波谱数据对应有摔倒或非摔倒的分类标签。根据每帧雷达信号的信号强度从雷达波谱数据中提取大于第一预设阈值的雷达信号，组成躯干动作区间，并对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间。根据雷达数据对应的分类标签确定动作区间的每一帧雷达信号对应的分类标签。基于此，由多个动作区间拼接为训练数据，训练数据包括预设数量帧雷达信号且每帧雷达信号均对应有分类标签。进而，基于训练数据对摔倒检测模型进行训练和参数调整，摔倒检测模型能够预测每帧雷达信号的分类结果。如此，训练完成的摔倒检测模型能够检测得到每帧雷达信号对应的摔倒或非摔倒的分类结果，将摔倒检测模型的检测频率和精准度提升到针对雷达信号的每个采样帧后，能够实时检测用户是否摔倒，且准确率高，可以满足实际场景需要和用户需求。
为了便于理解本申请实施例提供的基于雷达数据的摔倒检测模型的训练方法，下面结合图1所示的场景示例进行说明。参见图1所示，该图为本申请实施例提供的示例性应用场景的框架示意图。作为一种可选示例，该方法可应用于终端设备或服务器。
在实际应用中，获取雷达采集的雷达波谱数据。雷达波谱数据具体为仅包括用户的一个动作的数据，该动作可为摔倒动作或非摔倒动作。由此，该雷达波谱数据对应有摔倒或非摔倒的分类标签。雷达波谱数据包括多帧雷达信号。
为了提取具有明显指示作用的躯干动作区间，根据每帧雷达信号的信号强度从雷达波谱数据中提取大于第一预设阈值的雷达信号。大于第一预设阈值的雷达信号组成躯干动作区间。进而，为了使躯干动作区间更加精准，对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间。动作区间为对躯干动作区间进行修正后得到的。
根据雷达数据对应的分类标签可确定动作区间的每一帧雷达信号对应的分类标签。当根据多组雷达波谱数据获取对应的多个动作区间以及每个动作区间中每一帧雷达信号对应的分类标签后，由多个动作区间拼接为训练数据。训练数据包括预设数量帧雷达信号且每帧雷达信号均对应有分类标签。
进而，将训练数据输入摔倒检测模型中，获取摔倒检测模型输出的训练数据的每一帧雷达信号对应的预测分类结果。根据训练数据的每一帧雷达信号对应的预测分类结果以及训练数据的每一帧雷达信号对应的分类标签，计算损失值，根据损失值调整摔倒检测模型的模型参数。其中，作为一种可选示例，摔倒检测模型包括依次相连的帧特征注意力提取网络、LSTM时序网络以及时序输出网络。
当在训练过程中，满足预设条件时，获取训练完成的摔倒检测模型。当不满足预设条件时，重复执行将训练数据输入摔倒检测模型，获得训练数据的每一帧雷达信号对应的预测分类结果以及后续步骤。直到达到预设条件时，获取训练完成的摔倒检测模型。
本领域技术人员可以理解，图1所示的框架示意图仅是本申请的实施方式可以在其中得以实现的一个示例。本申请实施方式的适用范围不受到该框架任何方面的限制。
为了便于理解本申请，下面结合附图对本申请实施例提供的一种基于雷达数据的摔倒检测模型的训练方法进行说明。
参见图2所示，该图为本申请实施例提供的一种基于雷达数据的摔倒检测模型的训练方法的流程图。该方法可应用于终端设备或服务器中，具体地，可由终端设备或服务器中的软件实现。如图2所示，该方法可以包括S201-S206：
S201：获取雷达波谱数据，雷达波谱数据包括多帧雷达信号，雷达波谱数据对应有分类标签，分类标签包括摔倒或非摔倒。
雷达通过发射一定频率的信号以及接收的返回信号来探测运动的物体。本实施例中，利用雷达按照预设采样频率对用户进行探测。雷达只能检测到运动物体，对静止物体几乎得不到检测反馈。当用户静止时，雷达能够根据发射的信号和返回的信号确定用户静止，此时雷达没有采集到用户动作信号。当用户运动时，雷达能够根据发射的信号和返回的信号确定用户在运动，此时，雷达采集到了用户动作信号。用户动作信号即为雷达接收的返回信号。
雷达对接收到的用户动作信号进行处理之后便可得到雷达波谱数据。进而，基于雷达波谱数据获取训练数据，利用训练数据对本实施例中的摔倒检测模型进行训练。其中，雷达波谱数据可为多组，每组雷达波谱数据包括多帧雷达信号。作为一种可选示例，每隔30ms设置一个采样帧。
作为一种可选示例，可选择Wi-Fi雷达。其中，Wi-Fi雷达可安装于用户室内便于采集用户动作的任一位置，这里不进行限制。
下面对基于雷达接收的用户动作信号获取雷达波谱数据的具体过程进行说明。
雷达接收到的用户动作信号是一个固有的复杂的时间序列，是用户动作信号经过传输过程后的一个时滞、频移结果。用户动作信号包括用户K个身体部位返回的信号，用从K个身体部位返回的叠加信号能够近似获得整个人体的散射信号x[n]。身体部位信息包括躯干动作信息和四肢信息。
x[n]的计算公式如下：
Figure BDA0003753951890000081
其中，Rn,i为时刻n雷达到第i个身体部分的距离范围，fc为发射频率，c为光速，j为虚部。振幅ai为接收到的信号功率的平方根，振幅ai的计算公式如下：
Figure BDA0003753951890000091
其中，G为天线增益，λ和Pt分别为发射信号的波长和功率，σi为第i个身体部分的雷达散射截面RCS，Ls和La分别为系统损耗和大气损耗。
参见图3，图3为本申请实施例提供的一种雷达多普勒波谱图的示意图。对整个人体的散射信号x[n]进行信号处理和转换，即可得到如图3所示的雷达多普勒波谱图。雷达多普勒波谱图中的雷达多普勒信号波谱数据即为本实施例的摔倒检测模型的输入数据形式。在本实施例中，雷达多普勒信号波谱数据简称为雷达波谱数据。
如图3所示，雷达波谱数据的数据格式为二维矩阵格式。其中，横轴为时间轴，单位为ms，表示采样帧或时间帧；纵轴为多普勒频率，单位为HZ。如图3所示，当用户运动时，雷达多普勒波谱图中时间帧对应的多普勒频率有具体的值，显示有波谱，表示用户在进行运动。雷达多普勒波谱图中时间帧对应的多普勒频率没有具体值时，不显示波谱，表示用户静止。其中，多普勒频率为雷达接收到的信号的频率和发送的信号的频率之间的差值。用户运动越快，多普勒频率越高。运动变化越快，多普勒频率变化越快。此外，用户朝向雷达运动，多普勒频率为正，用户远离雷达运动，多普勒频率为负。
本实施例中，雷达波谱数据具体为仅包括用户的一个动作的数据，即一组雷达波谱数据中不包括用户的第二个动作。例如，一组雷达波谱数据的尺寸为256×205，其中256表示该雷达波谱数据中多个动作数据的采样帧组成的时间轴维度，256为采样帧的数量；205表示为每一个30ms的采样帧的雷达数据向量的长度，205也表示205个频率点，205个频率点代表205个不同的频率值。
多普勒波谱图上每个采样帧的205个频率点中的每一个频率点的颜色深度均代表该点的信号强度，颜色越接近红色代表反射波强度越强(图3中未示出彩色图)。另外，信号的强度和雷达信号覆盖到的物体的体积或雷达散射截面RCS呈正相关。例如，RCS越大，雷达反射波能量强度越高。
雷达波谱数据包括的动作数据所表示的动作可为摔倒动作或非摔倒动作。由此，该雷达波谱数据对应有摔倒或非摔倒的分类标签。其中，摔倒动作可以示例性理解为用户产生的摔倒动作，而非摔倒动作可以示例性理解为用户产生了动作，但是并不是摔倒动作。
S202：从雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号，组成躯干动作区间。
在获取雷达波谱数据后，需要对雷达波谱数据进行加工。具体地，由于身体部位信息包括躯干动作信息和四肢信息，用户的躯干具备最大的RCS，则动作中的四肢信息的信号强度弱于躯干动作信息的信号强度。为了使训练得到的摔倒检测模型的准确率更高，将动作中的四肢信息去掉，只保留躯干动作信息，躯干动作信息在摔倒检测中有明显的指示作用。
具体实施时，从雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号。大于第一预设阈值的雷达信号用于表示躯干动作信息。作为一种可选示例，第一预设阈值为80，提取雷达波谱数据中信号强度大于80的雷达信号。
在一种可能的实现方式中，本申请实施例提供了一种从雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号，组成躯干动作区间的具体实施方式，包括：
选取每帧雷达信号的多个信号强度中的信号强度最大值；
逐帧将每帧雷达信号对应的信号强度最大值和第一预设阈值进行比较，获取大于第一预设阈值的第一帧雷达信号以及大于第一预设阈值的最后一帧雷达信号；
将第一帧雷达信号和最后一帧雷达信号之间的区间确定为躯干动作区间。
可以理解的是，先将高度为205的每个采样帧按列取各列最大值，即选取每帧雷达信号的205个信号强度中的信号强度最大值。其中，每个采样帧有205个频率点，每个频率点对应有一个信号强度，每个采样帧对应有205个频率点的信号强度值。每个采样帧即为每帧雷达信号。
信号强度大于第一预设阈值的雷达信号表示躯干动作，小于或等于第一预设阈值的雷达信号表示非躯干动作。信号强度大于第一预设阈值的第一帧雷达信号位置认为是躯干动作的起始位置(起始时刻)，记为original start。信号强度大于第一预设阈值的最后一帧雷达信号位置认为是躯干动作的终止位置(终止时刻)，记为original end。
可理解的是，original start与original end之间的区间[original start：original end]确定为躯干动作区间。由躯干动作区间中每个采样帧对应的信号强度最大值组成躯干动作波形。
S203：对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间。
为了使躯干动作区间更加准确，对躯干动作区间的起始位置或终止位置进行修正，或者对躯干动作区间的起始位置和终止位置一同进行修正，生成动作区间。动作区间的起始位置记为final start，终止位置记为final end。
在一种可能的实现方式中，本申请实施例提供了一种对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间的具体实施方式，具体请见下文。
S204：根据雷达波谱数据对应的分类标签确定动作区间的每一帧雷达信号对应的分类标签。
具体地，当雷达波谱数据对应的分类标签为摔倒时，确定雷达波谱数据中的动作区间对应的标签为摔倒，并确定动作区间的每一帧雷达信号对应的分类标签为摔倒，可用0进行表示。当雷达波谱数据对应的分类标签为非摔倒时，确定雷达波谱数据中的动作区间对应的标签为非摔倒，确定动作区间的每一帧雷达信号对应的分类标签为非摔倒，可用1进行表示。
在实际应用中，分类标签为摔倒的动作区间中首尾部分的动作是不完全确定的，动作不完全确定的区间可描述为摔倒动作不确定性区间。为了使动作区间更加精准，需要确定摔倒动作不确定性区间的位置和大小，从而将摔倒动作不确定性区间从动作区间中去除。
可知，一个动作区间的摔倒动作不确定性区间有两个，其一位于动作区间的开始部分，其二位于动作区间的结束部分。可将摔倒动作不确定性区间中每帧雷达信号对应的信号标签置为不确定标签，用-1进行表示。
在一种可能的实现方式中，在对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间之后，还包括：
当雷达波谱数据对应的分类标签为摔倒时，将动作区间的起始位置到第五目标位置的第八区间以及第六目标位置到动作区间的终止位置的第九区间从动作区间内去除，重新生成动作区间。
其中，第八区间和第九区间均为摔倒动作不确定性区间。第八区间位于动作区间的开始部分，第九区间位于动作区间的结束部分。
本实施例中，动作区间的起始位置为final start，动作区间的终止位置为finalend。躯干动作区间的起始位置为original start，躯干动作区间的终止位置为originalend。
作为一种可选示例，第五目标位置为(original end–final start)–(originalend–max(final start,original start))//4。其中，“//”表示除之后取整。作为一种可选示例，第六目标位置为-(final end–original end)。
因此，第八区间为[final start：(original end–final start)–(original end–max(final start,original start))//4]，第九区间为[-(final end–original end)：final end]。
则，第八区间和第九区间中的每帧雷达信号的标签为-1。进而，将每帧雷达信号对应的标签为-1的第八区间和第九区间从动作区间内去除，重新生成动作区间。因而，重新生成的动作区间是更为准确的动作区间，重新生成的动作区间中的每帧雷达信号的分类标签为0或者1。
S205：将多个动作区间拼接为训练数据，训练数据包括预设数量帧雷达信号，训练数据的每一帧雷达信号对应有分类标签。
当雷达波谱数据为多组时，对每组波谱数据执行S202-S204之后，可获取每组雷达波谱数据中的动作区间。进而，将其中的多个动作区间拼接为训练数据，训练数据的尺寸需要和摔倒检测模型的输入数据的尺寸相同。拼接得到的训练数据包括预设数量帧雷达信号。训练数据的每一帧雷达信号对应有分类标签，分类标签为摔倒或非摔倒，即0或1。
由于训练数据的尺寸需要和摔倒检测模型的输入数据的尺寸相同，则在实际应用中，可根据摔倒检测模型的输入数据的尺寸确定预设数量，再根据预设数量确定动作区间的数量。参见图4，图4为本申请实施例提供的一种训练数据的数据格式示意图。如图4所示，训练数据由多个动作区间拼接得到，预设数量帧为2000帧，训练数据的尺寸为2000×205。其中，205为每一个30ms的采样帧的雷达数据向量的长度，205个点代表205个不同的频率值。2000为多个动作数据的采样帧组成的时间轴维度，2000为帧的数量。
可以理解的是，当多个动作区间拼接后的帧数总长度大于2000时，将多个动作拼接在一起并截取帧数总长度为2000的输入数据长度，得到尺寸为2000×205的训练数据。当多个动作区间拼接后的帧数总长度小于2000的时候，可采取帧补齐操作，以获取帧数总长度为2000的输入数据长度。进行上述数据拼接操作，直至遍历完所有的动作区间，可以获取多组训练数据。
如此，得到的训练数据既能够满足摔倒检测模型的输入尺寸，还满足了不同动作区间拼接的随机形态，使得由训练数据训练得到的摔倒检测模型能够忽略输入数据的拼接形式，而只针对输入数据中的具体采样帧进行检测。
S206：将训练数据输入摔倒检测模型，获得训练数据的每一帧雷达信号对应的预测分类结果，根据训练数据的每一帧雷达信号对应的预测分类结果以及训练数据的每一帧雷达信号对应的分类标签，计算损失值，根据损失值对摔倒检测模型进行调整，重复执行将训练数据输入摔倒检测模型，获得训练数据的每一帧雷达信号对应的预测分类结果以及后续步骤，直到达到预设条件，生成训练完成的摔倒检测模型。
将训练数据输入摔倒检测模型，获得摔倒检测模型输出的训练数据的每一帧雷达信号对应的预测分类结果。进而，根据训练数据的每一帧雷达信号对应的预测分类结果以及训练数据的每一帧雷达信号对应的分类标签，计算损失值。根据损失值对摔倒检测模型进行调整，具体为调整摔倒检测模型的模型参数。其中，关于摔倒检测模型的结构的详细描述，可参见下文。
在调整摔倒检测模型前，需要先确定是否达到预设条件。当达到预设条件时，摔倒检测模型训练结束，获取训练完成的摔倒检测模型。当未达到预设条件时，根据损失值调整摔倒检测模型，直至达到预设条件。作为一种可选示例，预设条件为达到预设训练次数。作为另一种可选示例，预设条件为损失值达到预设损失阈值。预设训练次数和预设损失阈值可根据实际情况进行设定，这里不进行限制。
在一种可能的实现方式中，本申请实施例提供了一种根据训练数据的每一帧雷达信号对应的预测分类结果以及训练数据的每一帧雷达信号对应的分类标签，计算损失值，包括：
根据训练数据的每一帧雷达信号对应的预测分类结果、训练数据的每一帧雷达信号对应的分类标签以及分类标签的损失值权重，计算损失值；其中，摔倒分类标签的损失值权重大于非摔倒分类标签的损失值权重。
具体地，在计算损失值之前，要构建损失函数，通过损失函数计算损失值。例如，损失函数为交叉熵损失函数。在损失函数中设置分类标签的损失值权重，即设置摔倒分类标签的损失值权重以及非摔倒分类标签的损失值权重。在设置分类标签的损失值权重时，设置摔倒分类标签的损失值权重大于非摔倒分类标签的损失值权重。例如，摔倒分类标签的损失值权重为1.5，非摔倒分类标签的损失值权重为1.2。
可以理解的是，由于人摔倒的时间要比非摔倒的时间短，则训练数据中的非摔倒数据的数据量大于摔倒数据的数据量。其中，分类标签为摔倒的多帧雷达信号组成的数据为摔倒数据，分类标签为非摔倒的多帧雷达信号组成的数据为非摔倒数据。因此，设置摔倒分类标签的损失值权重大于非摔倒分类标签的损失值权重，以平衡摔倒数据与非摔倒数据在损失函数中占损失值的比重，得到的损失值为可适配实际摔倒场景的损失值。
作为一种可选示例，设置的1.5可为摔倒分类标签的初始损失值权重，设置的1.2可为非摔倒分类标签的初始损失值，还可采用Adam优化器对损失函数中的权重进行更新优化，以得到摔倒分类标签的权重最优解以及非摔倒分类标签的权重最优解。
基于S201-S206的内容可知，本申请实施例提供了一种基于雷达数据的摔倒检测模型的训练方法，获取雷达采集的包括多帧雷达信号的雷达波谱数据，该雷达波谱数据对应有摔倒或非摔倒的分类标签。根据每帧雷达信号的信号强度从雷达波谱数据中提取大于第一预设阈值的雷达信号，组成躯干动作区间，并对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间。根据雷达数据对应的分类标签确定动作区间的每一帧雷达信号对应的分类标签。基于此，由多个动作区间拼接为训练数据，训练数据包括预设数量帧雷达信号且每帧雷达信号均对应有分类标签。进而，基于训练数据对摔倒检测模型进行训练和参数调整，摔倒检测模型能够预测每帧雷达信号的分类结果。如此，训练完成的摔倒检测模型能够检测得到每帧雷达信号对应的摔倒或非摔倒的分类结果，将摔倒检测模型的检测频率和精准度提升到针对雷达信号的每个采样帧后，能够实时检测用户是否摔倒，且准确率高，可以满足实际场景需要和用户需求。
在实际应用中，获取训练数据对摔倒检测模型进行训练，并基于验证数据对训练完成的摔倒检测模型进行检测。例如，训练数据中摔倒数据为2456个，非摔倒数据为2671个。验证数据中摔倒数据为556个，非摔倒数据为628个。在基于训练数据对摔倒检测模型进行训练，获取训练完成的摔倒检测模型之后，基于验证数据对摔倒检测模型进行验证。进而，可通过准确率、精确率、召回率和F1-分数来对验证结果进行评估。例如，获得验证数据的准确率为97.21％，精确率为96.92％，召回率为89.43％，F1-分数为93.02％。可知，训练完成的摔倒检测模型可以准确地、实时地检测用户是否摔倒，满足用户需要。
参见图5，图5为本申请实施例提供的一种摔倒检测模型的结构示意图。如图5所示，作为一种可选示例，摔倒检测模型包括依次相连的帧特征注意力提取网络、长短期记忆LSTM时序网络以及时序输出网络。
训练数据输入帧特征注意力提取网络，以得到帧特征注意力提取网络的输出。将帧特征注意力提取网络的输出输入长短期记忆LSTM时序网络，以得到长短期记忆LSTM时序网络的输出。将长短期记忆LSTM时序网络的输出输入时序输出网络，以得到时序输出网络输出的训练数据的每一帧雷达信号对应的预测分类结果。
作为一种可选示例，摔倒检测模型还包括注意力转移网络。帧特征注意力提取网络的输出还用于输入到注意力转移网络中，获得注意力转移网络的输出。再将注意力转移网络的输出输入到时序输出网络中。
参见图6，图6为本申请实施例提供的另一种摔倒检测模型的结构示意图。如图6所示，在一个或多个实施例中，帧特征注意力提取网络包括第一全连接层。LSTM时序网络包括第二全连接网络、第三全连接网络以及双层LSTM网络，时序输出网络包括第四全连接网络以及第五全连接网络。
具体地，训练数据输入第一全连接层，得到第一全连接层的输出。第一全连接层用于提取训练数据中每帧雷达信号的内在信息。将第一全连接层的输出与训练数据相乘，能够强化摔倒检测模型对每帧雷达信号的识别能力。进而，将得到的乘积输入第二全连接网络，得到第二全连接网络的输出。
将第二全连接网络的输出输入第三全连接网络，得到第三全连接网络的输出。将第三全连接网络的输出输入双层LSTM网络，得到双层LSTM网络的输出。将双层LSTM网络的输出输入第四全连接网络，得到第四全连接网络的输出。将第四全连接网络的输出输入第五全连接网络，获得训练数据的每一帧雷达信号对应的预测分类结果。
在一个或多个实施例中，第二全连接网络包括依次相连的第二全连接层、第一dropout层、第一激活函数。第三全连接网络包括依次相连的第三全连接层、第二dropout层、第二激活函数；第四全连接网络包括依次相连的第四全连接层、第三dropout层、第三激活函数；第五全连接网络包括依次相连的第五全连接层、第四dropout层、第四激活函数。可以理解的是，dropout层加在全连接层之后，可以防止模型过拟合以提升模型的泛化能力。
作为一种可选示例，摔倒检测模型还包括注意力转移网络。在一个或多个实施例中，注意力转移网络包括第六全连接网络以及第七全连接网络。
第一全连接层的输出与训练数据相乘后还同步输入第六全连接网络，获得第六全连接网络的输出。将第六全连接网络的输出输入第七全连接网络，获得第七全连接网络的输出。将第七全连接网络的输出与双层LSTM网络的输出相乘，能够强化对每帧雷达信号的理解。将得到的乘积输入第四全连接网络。
在一个或多个实施例中，第六全连接网络包括依次相连的第六全连接层、第五dropout层、第五激活函数。第七全连接网络包括依次相连的第七全连接层、第六dropout层、第六激活函数。
在一种可能的实现方式中，本申请实施例提供了一种S203中对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间的具体实施方式，包括：A1和/或A2。具体为：
A1：根据动作起止点修正算法对躯干动作区间的起始位置和/或终止位置进行修正，生成第一动作区间。
动作起止点修正算法用于利用随机值的方式对躯干动作区间的起始位置和/或终止位置进行修正，具体请见下文A11-A12。
A2：根据形态学起止点修正算法对躯干动作区间的起始位置和/或终止位置进行修正，生成第二动作区间。
形态学起止点修正算法用于基于数学公式中一阶导数斜率、二阶导数拐点，计算得到雷达信号的信号强度斜率和拐点，进而基于信号强度斜率和拐点对躯干动作区间的起始位置和/或终止位置进行修正。具体请见下文A21-A22。
作为一种可选示例，可只执行A1步骤，即只根据动作起止点修正算法对躯干动作区间的起始位置和/或终止位置进行修正。执行A1步骤，生成第一动作区间之后，将第一动作区间确定为动作区间。
作为另一种可选示例，可执行A2步骤，即只根据形态学起止点修正算法对躯干动作区间的起始位置和/或终止位置进行修正。执行A2步骤，生成第二动作区间之后，将第二动作区间确定为动作区间。
作为另一种可选示例，可执行A1步骤和A2步骤。生成第一动作区间和第二动作区间之后，将第一动作区间以及第二动作区间的起始位置的平均值确定为动作区间的起始位置，即final start。将第一动作区间以及第二动作区间的终止位置的平均值确定为动作区间的终止位置，即final end。如此，采用两种算法对躯干动作区间的起始位置和/或终止位置进行修正，能够使得得到的动作区间更加精准。
在一种可能的实现方式中，本申请实施例提供了一种A1中根据动作起止点修正算法对躯干动作区间的起始位置和/或终止位置进行修正，生成第一动作区间的具体实施方式，包括：
A11：当雷达波谱数据对应的分类标签为摔倒时，在雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在躯干动作区间的终止位置到雷达波谱数据的终止位置的第二区间内，选取随机位置作为第一动作区间的终止位置。
参见图7a，图7a为本申请实施例提供的一种躯干动作区间修正示意图。如图7a所示，雷达波谱数据的起始位置记为O1，雷达波谱数据的终止位置记为O2，雷达波谱数据的帧数据长度记为length。躯干动作区间的起始位置记为original start，简称为OS；躯干动作区间的终止位置记为original end，简称为OE。
确定第一目标位置，记为a1。第一目标位置为在躯干动作区间的起始位置之后第一预设距离的位置。作为一种可选示例，第一预设距离为雷达波谱数据的帧数据长度的四分之一，即1/4length，则OS+1/4length处的位置为a1，第一区间为[O1,OS+1/4length]。
确定第一动作区间的起始位置为第一区间中的随机位置，记为FS1，即FS1∈random[O1,OS+1/4length]。另外，确定第一动作区间的终止位置为躯干动作区间的终止位置到雷达波谱数据的终止位置的第二区间中的随机位置，记为FE1，即FE1∈random[OE,O2]。
可以理解的是，由于雷达波谱数据对应的分类标签为摔倒，则截取终点的时候需要保留动作的最后的时刻，即FE1为OE或OE之后的位置。
A12：当雷达波谱数据对应的分类标签为非摔倒时，在雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在第二目标位置到雷达波谱数据的终止位置的第三区间内，选取随机位置作为第一动作区间的终止位置。
参见图7b，图7b为本申请实施例提供的另一种躯干动作区间修正示意图。如图7b所示，确定第二目标位置，记为a2。第二目标位置为在躯干动作区间的终止位置之前第二预设距离的位置。作为一种可选示例，第二预设距离为雷达波谱数据的帧数据长度的三分之一，即1/3length，则OE-1/3length的位置为a2，第三区间为[OE-1/3length,O2]。确定第二动作区间的起始位置为第一区间中的随机位置，记为FS2，即FS2∈random[O1,OS+1/4length]。另外，确定第二动作区间的终止位置为第三区间中的随机位置，记为FE2，即FE2∈random[OE-1/3length,O2]。
可以理解的是，由于雷达波谱数据对应的分类标签为非摔倒，则截取终点的时候不需要保留动作的最后的时刻。
在一种可能的实现方式中，本申请实施例提供了一种A2中根据形态学起止点修正算法对躯干动作区间的起始位置和/或终止位置进行修正，生成第二动作区间的具体实施方式，包括A21和/或A22。具体为：
A21：在躯干动作区间的起始位置之前第三预设距离的位置到躯干动作区间的起始位置之后第四预设距离的位置的第四区间内，选取信号强度的一阶导数最大的位置作为第三目标位置；在第三目标位置到躯干动作区间的起始位置的第五区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的起始位置。
作为一种可选示例，第三预设距离为躯干动作区间的起始位置之前10个采样点所包含的距离，即躯干动作区间的起始位置之前0.3s的范围内。第四预设距离为起始位置之后10个采样点所包含的距离，即躯干动作区间的起始位置之后0.3s的范围内。在第四区间内，搜索信号强度的一阶导数最大的位置作为第三目标位置，记为d1。
在第三目标位置到躯干动作区间的起始位置的第五区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的起始位置。即，再从d1点至躯干动作区间的起始位置的第五区间内，计算信号强度的二阶导数拐点值。例如，可设置第二阈值为0.01，则取第五区间内信号强度的二阶导数拐点值低于0.01的第一个位置为第二动作区间的起始位置。
A22：在躯干动作区间的终止位置之前第五预设距离的位置到躯干动作区间的终止位置之后第六预设距离的位置的第六区间内，选取信号强度的一阶导数最大的位置作为第四目标位置；在第四目标位置到躯干动作区间的终止位置的第七区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的终止位置。
作为一种可选示例，第五预设距离为躯干动作区间的终止位置之前10个采样点所包含的距离，即躯干动作区间的终止位置之前0.3s的范围内。第六预设距离为终止位置之后10个采样点所包含的距离，即躯干动作区间的终止位置之后0.3s的范围内。在第六区间内，搜索信号强度的一阶导数最大的位置作为第四目标位置，记为d2。
在第四目标位置到躯干动作区间的终止位置的第七区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的终止位置。即，再从d2点至躯干动作区间的起始位置的第七区间内，计算信号强度的二阶导数拐点值。例如，可设置第二阈值为0.01，则取第七区间内信号强度的二阶导数拐点值低于0.01的第一个位置为第二动作区间的终止位置。
基于A1-A2可知，在获取躯干动作区间后，可对躯干动作区间的起始位置和/或终止位置进行修正，以获得更加精准的动作区间。
参见图8所示，该图为本申请实施例提供的一种基于雷达数据的摔倒检测方法的流程图，如图8所示，该方法可以包括S801-S802：
S801：获取待分类雷达波谱数据，待分类雷达波谱数据包括预设数量帧雷达信号。
可知，待分类雷达波谱数据的尺寸也为2000×205。
S802：将待分类雷达波谱数据输入摔倒检测模型，获得待分类雷达波谱数据的每一帧雷达信号对应的分类结果，分类结果包括摔倒或非摔倒；摔倒检测模型是根据上述任一项实施例的基于雷达数据的摔倒检测模型的训练方法训练得到的。
S801-S802的技术详情可参考上述实施例，这里不再赘述。可知，训练完成的摔倒检测模型能够检测得到每帧雷达信号对应的摔倒或非摔倒的分类结果，将摔倒检测模型的检测频率和精准度提升到针对雷达信号的每个采样帧后，能够实时检测用户是否摔倒，且准确率高，可以满足实际场景需要和用户需求。
基于上述方法实施例提供的一种基于雷达数据的摔倒检测模型的训练方法，本申请实施例还提供了一种基于雷达数据的摔倒检测模型的训练装置，下面将结合附图对基于雷达数据的摔倒检测模型的训练装置进行说明。
参见图9所示，该图为本申请实施例提供的一种基于雷达数据的摔倒检测模型的训练装置的结构示意图。如图9所示，该基于雷达数据的摔倒检测模型的训练装置包括：
获取单元901，用于获取雷达波谱数据，所述雷达波谱数据包括多帧雷达信号，所述雷达波谱数据对应有分类标签，所述分类标签包括摔倒或非摔倒；
组成单元902，用于从所述雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号，组成躯干动作区间；
修正单元903，用于对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间；
确定单元904，用于根据所述雷达波谱数据对应的分类标签确定所述动作区间的每一帧雷达信号对应的分类标签；
拼接单元905，用于将多个所述动作区间拼接为训练数据，所述训练数据包括预设数量帧雷达信号，所述训练数据的每一帧雷达信号对应有分类标签；
训练单元906，用于将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果，根据所述训练数据的每一帧雷达信号对应的预测分类结果以及所述训练数据的每一帧雷达信号对应的分类标签，计算损失值，根据所述损失值对所述摔倒检测模型进行调整，重复执行将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果以及后续步骤，直到达到预设条件，生成训练完成的摔倒检测模型；所述摔倒检测模型包括依次相连的帧特征注意力提取网络、LSTM时序网络以及时序输出网络。
在一种可能的实现方式中，所述帧特征注意力提取网络包括第一全连接层，所述LSTM时序网络包括第二全连接网络、第三全连接网络以及双层LSTM网络，所述时序输出网络包括第四全连接网络以及第五全连接网络；
所述训练数据输入所述第一全连接层，所述第一全连接层的输出与所述训练数据相乘后输入所述第二全连接网络，所述第二全连接网络的输出输入所述第三全连接网络，所述第三全连接网络的输出输入所述双层LSTM网络，所述双层LSTM网络的输出输入所述第四全连接网络，所述第四全连接网络的输出输入所述第五全连接网络，获得所述训练数据的每一帧雷达信号对应的预测分类结果。
在一种可能的实现方式中，所述摔倒检测模型还包括注意力转移网络，所述注意力转移网络包括所述第六全连接网络以及第七全连接网络；
所述第一全连接层的输出与所述训练数据相乘后还输入所述第六全连接网络，所述第六全连接网络的输出输入所述第七全连接网络，所述第七全连接网络的输出与所述双层LSTM网络的输出相乘后输入所述第四全连接网络。
在一种可能的实现方式中，所述训练单元906，包括计算子单元；
所述计算子单元，用于根据所述训练数据的每一帧雷达信号对应的预测分类结果、所述训练数据的每一帧雷达信号对应的分类标签以及所述分类标签的损失值权重，计算损失值；其中，摔倒分类标签的损失值权重大于非摔倒分类标签的损失值权重。
在一种可能的实现方式中，所述修正单元903，包括第一生成子单元和/或第二生成子单元，以及确定子单元；
第一生成子单元，用于根据动作起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第一动作区间；
第二生成子单元，用于根据形态学起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第二动作区间；
确定子单元，用于当仅生成所述第一动作区间时，将所述第一动作区间确定为动作区间；当仅生成所述第二动作区间时，将所述第二动作区间确定为动作区间；当同时生成所述第一动作区间以及所述第二动作区间时，将所述第一动作区间以及所述第二动作区间的起始位置的平均值确定为动作区间的起始位置，将所述第一动作区间以及所述第二动作区间的终止位置的平均值确定为动作区间的终止位置。
在一种可能的实现方式中，所述第一生成子单元，包括：
第一选取子单元，用于当所述雷达波谱数据对应的分类标签为摔倒时，在所述雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在所述躯干动作区间的终止位置到所述雷达波谱数据的终止位置的第二区间内，选取随机位置作为所述第一动作区间的终止位置；
第二选取子单元，用于当所述雷达波谱数据对应的分类标签为非摔倒时，在所述雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在第二目标位置到所述雷达波谱数据的终止位置的第三区间内，选取随机位置作为所述第一动作区间的终止位置；
所述第一目标位置为在所述躯干动作区间的起始位置之后第一预设距离的位置；所述第二目标位置为在所述躯干动作区间的终止位置之前第二预设距离的位置。
在一种可能的实现方式中，所述第二生成子单元，包括第三选取子单元和/或第四选取子单元；
第三选取子单元，用于在所述躯干动作区间的起始位置之前第三预设距离的位置到所述躯干动作区间的起始位置之后第四预设距离的位置的第四区间内，选取信号强度的一阶导数最大的位置作为第三目标位置；在所述第三目标位置到所述躯干动作区间的起始位置的第五区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的起始位置；
第四选取子单元，用于在所述躯干动作区间的终止位置之前第五预设距离的位置到所述躯干动作区间的终止位置之后第六预设距离的位置的第六区间内，选取信号强度的一阶导数最大的位置作为第四目标位置；在所述第四目标位置到所述躯干动作区间的终止位置的第七区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的终止位置。
在一种可能的实现方式中，所述装置还包括：
去除单元，用于在对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间之后，当所述雷达波谱数据对应的分类标签为摔倒时，将所述动作区间的起始位置到第五目标位置的第八区间以及第六目标位置到所述动作区间的终止位置的第九区间从所述动作区间内去除，重新生成动作区间。
基于上述方法实施例提供的一种基于雷达数据的摔倒检测方法，本申请实施例还提供了一种基于雷达数据的摔倒检测装置，下面将结合附图对基于雷达数据的摔倒检测装置进行说明。
参见图10所示，该图为本申请实施例提供的一种基于雷达数据的摔倒检测装置的结构示意图。如图10所示，该基于雷达数据的摔倒检测模型的训练装置包括：
第一获取单元1001，用于获取待分类雷达波谱数据，所述待分类雷达波谱数据包括预设数量帧雷达信号；
第二获取单元1002，用于将所述待分类雷达波谱数据输入摔倒检测模型，获得所述待分类雷达波谱数据的每一帧雷达信号对应的分类结果，所述分类结果包括摔倒或非摔倒；所述摔倒检测模型是根据上述任一项实施例所述的基于雷达数据的摔倒检测模型的训练方法训练得到的。
另外，本申请实施例还提供了一种电子设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述任一项实施例所述的基于雷达数据的摔倒检测模型的训练方法，或者上述任一项实施例所述的基于雷达数据的摔倒检测方法。
另外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上述任一项实施例所述的基于雷达数据的摔倒检测模型的训练方法，或者如上述任一项实施例所述的基于雷达数据的摔倒检测方法。
基于此，本申请实施例提供了一种基于雷达数据的摔倒检测模型的训练装置、一种基于雷达数据的摔倒检测装置、设备及存储介质，获取雷达采集的包括多帧雷达信号的雷达波谱数据，该雷达波谱数据对应有摔倒或非摔倒的分类标签。根据每帧雷达信号的信号强度从雷达波谱数据中提取大于第一预设阈值的雷达信号，组成躯干动作区间，并对躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间。根据雷达数据对应的分类标签确定动作区间的每一帧雷达信号对应的分类标签。基于此，由多个动作区间拼接为训练数据，训练数据包括预设数量帧雷达信号且每帧雷达信号均对应有分类标签。进而，基于训练数据对摔倒检测模型进行训练和参数调整，摔倒检测模型能够预测每帧雷达信号的分类结果。如此，训练完成的摔倒检测模型能够检测得到每帧雷达信号对应的摔倒或非摔倒的分类结果，将摔倒检测模型的检测频率和精准度提升到针对雷达信号的每个采样帧后，能够实时检测用户是否摔倒，且准确率高，可以满足实际场景需要和用户需求。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种基于雷达数据的摔倒检测模型的训练方法，其特征在于，所述方法包括：
获取雷达波谱数据，所述雷达波谱数据包括多帧雷达信号，所述雷达波谱数据对应有分类标签，所述分类标签包括摔倒或非摔倒；
从所述雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号，组成躯干动作区间；
对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间；
根据所述雷达波谱数据对应的分类标签确定所述动作区间的每一帧雷达信号对应的分类标签；
将多个所述动作区间拼接为训练数据，所述训练数据包括预设数量帧雷达信号，所述训练数据的每一帧雷达信号对应有分类标签；
将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果，根据所述训练数据的每一帧雷达信号对应的预测分类结果以及所述训练数据的每一帧雷达信号对应的分类标签，计算损失值，根据所述损失值对所述摔倒检测模型进行调整，重复执行将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果以及后续步骤，直到达到预设条件，生成训练完成的摔倒检测模型；所述摔倒检测模型包括依次相连的帧特征注意力提取网络、LSTM时序网络以及时序输出网络。
2.根据权利要求1所述的方法，其特征在于，所述帧特征注意力提取网络包括第一全连接层，所述LSTM时序网络包括第二全连接网络、第三全连接网络以及双层LSTM网络，所述时序输出网络包括第四全连接网络以及第五全连接网络；
所述训练数据输入所述第一全连接层，所述第一全连接层的输出与所述训练数据相乘后输入所述第二全连接网络，所述第二全连接网络的输出输入所述第三全连接网络，所述第三全连接网络的输出输入所述双层LSTM网络，所述双层LSTM网络的输出输入所述第四全连接网络，所述第四全连接网络的输出输入所述第五全连接网络，获得所述训练数据的每一帧雷达信号对应的预测分类结果。
3.根据权利要求2所述的方法，其特征在于，所述摔倒检测模型还包括注意力转移网络，所述注意力转移网络包括所述第六全连接网络以及第七全连接网络；
所述第一全连接层的输出与所述训练数据相乘后还输入所述第六全连接网络，所述第六全连接网络的输出输入所述第七全连接网络，所述第七全连接网络的输出与所述双层LSTM网络的输出相乘后输入所述第四全连接网络。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述训练数据的每一帧雷达信号对应的预测分类结果以及所述训练数据的每一帧雷达信号对应的分类标签，计算损失值，包括：
根据所述训练数据的每一帧雷达信号对应的预测分类结果、所述训练数据的每一帧雷达信号对应的分类标签以及所述分类标签的损失值权重，计算损失值；其中，摔倒分类标签的损失值权重大于非摔倒分类标签的损失值权重。
5.根据权利要求1所述的方法，其特征在于，所述对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间，包括：
根据动作起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第一动作区间；
和/或，
根据形态学起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第二动作区间；
当仅生成所述第一动作区间时，将所述第一动作区间确定为动作区间；当仅生成所述第二动作区间时，将所述第二动作区间确定为动作区间；当同时生成所述第一动作区间以及所述第二动作区间时，将所述第一动作区间以及所述第二动作区间的起始位置的平均值确定为动作区间的起始位置，将所述第一动作区间以及所述第二动作区间的终止位置的平均值确定为动作区间的终止位置。
6.根据权利要求5所述的方法，其特征在于，所述根据动作起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第一动作区间，包括：
当所述雷达波谱数据对应的分类标签为摔倒时，在所述雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在所述躯干动作区间的终止位置到所述雷达波谱数据的终止位置的第二区间内，选取随机位置作为所述第一动作区间的终止位置；
当所述雷达波谱数据对应的分类标签为非摔倒时，在所述雷达波谱数据的起始位置到第一目标位置的第一区间内，选取随机位置作为第一动作区间的起始位置，和/或，在第二目标位置到所述雷达波谱数据的终止位置的第三区间内，选取随机位置作为所述第一动作区间的终止位置；
所述第一目标位置为在所述躯干动作区间的起始位置之后第一预设距离的位置；所述第二目标位置为在所述躯干动作区间的终止位置之前第二预设距离的位置。
7.根据权利要求5所述的方法，其特征在于，所述根据形态学起止点修正算法对所述躯干动作区间的起始位置和/或终止位置进行修正，生成第二动作区间，包括：
在所述躯干动作区间的起始位置之前第三预设距离的位置到所述躯干动作区间的起始位置之后第四预设距离的位置的第四区间内，选取信号强度的一阶导数最大的位置作为第三目标位置；在所述第三目标位置到所述躯干动作区间的起始位置的第五区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的起始位置；
和/或，
在所述躯干动作区间的终止位置之前第五预设距离的位置到所述躯干动作区间的终止位置之后第六预设距离的位置的第六区间内，选取信号强度的一阶导数最大的位置作为第四目标位置；在所述第四目标位置到所述躯干动作区间的终止位置的第七区间内，选取信号强度的二阶导数小于第二预设阈值的第一个位置作为第二动作区间的终止位置。
8.根据权利要求1-7任一项所述的方法，其特征在于，在对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间之后，所述方法还包括：
当所述雷达波谱数据对应的分类标签为摔倒时，将所述动作区间的起始位置到第五目标位置的第八区间以及第六目标位置到所述动作区间的终止位置的第九区间从所述动作区间内去除，重新生成动作区间。
9.一种基于雷达数据的摔倒检测方法，其特征在于，所述方法包括：
获取待分类雷达波谱数据，所述待分类雷达波谱数据包括预设数量帧雷达信号；
将所述待分类雷达波谱数据输入摔倒检测模型，获得所述待分类雷达波谱数据的每一帧雷达信号对应的分类结果，所述分类结果包括摔倒或非摔倒；所述摔倒检测模型是根据权利要求1-8任一项所述的基于雷达数据的摔倒检测模型的训练方法训练得到的。
10.一种基于雷达数据的摔倒检测模型的训练装置，其特征在于，所述装置包括：
获取单元，用于获取雷达波谱数据，所述雷达波谱数据包括多帧雷达信号，所述雷达波谱数据对应有分类标签，所述分类标签包括摔倒或非摔倒；
组成单元，用于从所述雷达波谱数据中提取信号强度大于第一预设阈值的雷达信号，组成躯干动作区间；
修正单元，用于对所述躯干动作区间的起始位置和/或终止位置进行修正，生成动作区间；
确定单元，用于根据所述雷达波谱数据对应的分类标签确定所述动作区间的每一帧雷达信号对应的分类标签；
拼接单元，用于将多个所述动作区间拼接为训练数据，所述训练数据包括预设数量帧雷达信号，所述训练数据的每一帧雷达信号对应有分类标签；
训练单元，用于将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果，根据所述训练数据的每一帧雷达信号对应的预测分类结果以及所述训练数据的每一帧雷达信号对应的分类标签，计算损失值，根据所述损失值对所述摔倒检测模型进行调整，重复执行将所述训练数据输入摔倒检测模型，获得所述训练数据的每一帧雷达信号对应的预测分类结果以及后续步骤，直到达到预设条件，生成训练完成的摔倒检测模型；所述摔倒检测模型包括依次相连的帧特征注意力提取网络、LSTM时序网络以及时序输出网络。
11.一种基于雷达数据的摔倒检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取待分类雷达波谱数据，所述待分类雷达波谱数据包括预设数量帧雷达信号；
第二获取单元，用于将所述待分类雷达波谱数据输入摔倒检测模型，获得所述待分类雷达波谱数据的每一帧雷达信号对应的分类结果，所述分类结果包括摔倒或非摔倒；所述摔倒检测模型是根据权利要求1-8任一项所述的基于雷达数据的摔倒检测模型的训练方法训练得到的。
12.一种电子设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8任一项所述的基于雷达数据的摔倒检测模型的训练方法，或者如权利要求9所述的基于雷达数据的摔倒检测方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-8任一项所述的基于雷达数据的摔倒检测模型的训练方法，或者如权利要求9所述的基于雷达数据的摔倒检测方法。
CN202210848544.8A 2022-07-19 2022-07-19 基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置 Pending CN115221925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210848544.8A CN115221925A (zh) 2022-07-19 2022-07-19 基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210848544.8A CN115221925A (zh) 2022-07-19 2022-07-19 基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置

Publications (1)

Publication Number Publication Date
CN115221925A true CN115221925A (zh) 2022-10-21

Family

ID=83612775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210848544.8A Pending CN115221925A (zh) 2022-07-19 2022-07-19 基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置

Country Status (1)

Country Link
CN (1) CN115221925A (zh)

Similar Documents

Publication Publication Date Title
CN108520199B (zh) 基于雷达图像与生成对抗模型的人体动作开集识别方法
US11096628B2 (en) Heart rate detection method and apparatus, and electronic terminal thereof
CN107290741B (zh) 基于加权联合距离时频变换的室内人体姿态识别方法
CN110047095A (zh) 基于目标检测的跟踪方法、装置及终端设备
CN110070029B (zh) 一种步态识别方法及装置
CN110600132B (zh) 基于振动检测的数字孪生智能健康预测方法及装置
CN111476058A (zh) 一种基于毫米波雷达的手势识别方法
CN109615616A (zh) 一种基于abc-pcnn的裂缝识别方法及系统
EP3417311A1 (en) A method for motion classification using a pulsed radar system
CN103700118B (zh) 基于脉冲耦合神经网络的动目标检测方法
WO2017188905A1 (en) A method for motion classification using a pulsed radar system
CN110378353A (zh) 一种舌象特征提取方法、系统和计算机可读存储介质
CN115600101B (zh) 一种基于先验知识的无人机信号智能检测方法及装置
CN115221925A (zh) 基于雷达数据的摔倒检测模型训练、摔倒检测方法及装置
CN115469303A (zh) 一种检测人体姿态和生命体征的认知生物雷达方法与装置
CN113192110A (zh) 多目标跟踪方法、装置、设备及存储介质
CN115905945A (zh) 行人动作识别方法、装置、设备及存储介质
CN113608190B (zh) 基于奇异空间三特征的海面目标检测方法及系统
CN114972950A (zh) 多目标检测方法、装置、设备、介质及产品
CN115345216A (zh) 一种融合先验信息的fmcw雷达干扰消除方法
CN114757237A (zh) 一种基于WiFi信号的速度无关步态识别方法
CN114764580A (zh) 一种基于无穿戴设备的实时人体手势识别方法
CN114159075A (zh) Qrs波优化装置、系统及存储介质
CN110488279A (zh) 一种基于雷达的行人与树木区分方法与装置
KR102625707B1 (ko) 마이크로 도플러 레이더에서 스펙트로그램 추출을 위한 전처리 신호처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination