CN115291184B - 一种毫米波雷达与深度学习结合的姿态监测方法 - Google Patents

一种毫米波雷达与深度学习结合的姿态监测方法 Download PDF

Info

Publication number
CN115291184B
CN115291184B CN202211219974.XA CN202211219974A CN115291184B CN 115291184 B CN115291184 B CN 115291184B CN 202211219974 A CN202211219974 A CN 202211219974A CN 115291184 B CN115291184 B CN 115291184B
Authority
CN
China
Prior art keywords
data
model
layer
deep learning
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211219974.XA
Other languages
English (en)
Other versions
CN115291184A (zh
Inventor
张彭豪
周杨
朱文涛
李剑鹏
梁庆真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Qiruike Technology Co Ltd
Original Assignee
Sichuan Qiruike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Qiruike Technology Co Ltd filed Critical Sichuan Qiruike Technology Co Ltd
Priority to CN202211219974.XA priority Critical patent/CN115291184B/zh
Publication of CN115291184A publication Critical patent/CN115291184A/zh
Application granted granted Critical
Publication of CN115291184B publication Critical patent/CN115291184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种毫米波雷达与深度学习结合的姿态监测方法，包括以下步骤：步骤1：采集训练与测试样本数据；步骤2：深度学习模型建立、训练及测试。毫米波雷达与深度学习结合的姿态监测方法在日常生活中可以全天候不间断对室内人员行为进行监测，不仅可以监测用户的行为习惯，而且对于用户发生跌倒行为时可及时报警，从而避免二次伤害，对用户的安全起到了很好的保障，使用过程中也对用户的隐私提供了保护。

Description

一种毫米波雷达与深度学习结合的姿态监测方法
技术领域
本发明涉及信号处理技术领域，具体涉及一种毫米波雷达与深度学习结合的姿态监测方法。
背景技术
人体姿态监测在远程监护、安防监控、公共场所、医院等邻域近年来受到广泛关注，其中利用毫米波雷达传感器可在室内对人体运动过程产生的平动和转动等微小运动信息进行有效捕捉与探测，通过对这些微小的运动变化信息的提取与分类可以达到对人体运动姿态的检测与分类的目的。由于毫米波雷达传感器在做人体姿态检测时大部分用于室内场景，而考虑到对用户个人隐私的保护，因此基于毫米波雷达传感器的姿态检测系统就显得尤为有价值。
目前用于室内人员检测的的装置除了毫米波雷达以外，还包括基于相机及摄像头的视觉识别、基于可穿戴设备和传感器的方法、被动红外传感器等，由于上述方法会受光线、视距及方便性等因素的影响，导致检测准确度和最终效果不佳，并且会有所需设备的成本高、隐私保护弱等问题，本发明提供一种毫米波雷达与深度学习结合的姿态监测方法，能在很大程度上解决上述问题。
发明内容
本发明的目的在于提供一种毫米波雷达与深度学习结合的姿态监测方法，以期解决背景技术中存在的技术问题。
本发明所述的一种毫米波雷达与深度学习结合的姿态监测方法，采用毫米波雷达采集数据并作处理后得到时间-多普勒热度图，利用GAN-CNN深度学习算法进行姿态检测分类，相比于摄像头、红外传感器等，具有隐私性强、精确度高等特点。基于上述原理，本发明具体实施包括以下步骤：
步骤1、毫米波雷达为多发多收的天线系统，并采用BPM模式(二进制调制相位调制)向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；
步骤2、对回波信号进行解码，获得每一对发射-接收回波信号数据，并按照采样点数-chirp数(脉冲数)-天线数-帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据。
步骤3、对获得的每一帧的雷达立方体数据的快时间维度(采样点维度)作快速傅里叶变换，以此区分位于不同距离范围的目标。
步骤4、对步骤3中处理好的每一帧数据沿着慢时间维度(chirp维)作短时傅里叶变换(STFT)，以此获得目标的速度信息。
步骤5、将步骤4中获得的每一帧雷达立方体数据作非相干处理以提高天线增益，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间-多普勒热度图。
步骤6、对步骤5中的时间-多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间-多普勒热度图，并将所述不同姿态的时间-多普勒热度图打上不同姿态所对应的标签。
步骤7、构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间-多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的。
步骤8、将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测。
步骤9、当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒。
上述步骤1中，由于毫米波雷达发射的波束为笔状波束，同时具备方位角和俯仰角，其方位角大小为120°，俯仰角大小为80°，为了使监测更为准确，将毫米波雷达安装在室内天花板的角落，并且使雷达向下倾斜45°，利用两根发射天线同时发射电磁波(BPM模式)，人员测试的活动空间为长、宽、高为4x4x2.7m大小的立体空间，活动空间之外所采集的样本数据可抛弃不用。
上述步骤2中，对BPM模式进行解码，具体操作为：第一根发射天线TX1的相位编码为[1,1]，发射的信号为
Figure 847485DEST_PATH_IMAGE001
，第二根发射天线TX2的相位编码为[1,-1]，发射的信号为/>
Figure 946022DEST_PATH_IMAGE002
，对于接收天线，在第一个chirp周期内接收到的信号/>
Figure 10930DEST_PATH_IMAGE003
，在第二个chirp周期内接收到的信号/>
Figure 737577DEST_PATH_IMAGE004
，进而可解得/>
Figure 246050DEST_PATH_IMAGE005
，/>
Figure 956517DEST_PATH_IMAGE006
；
对于每组采集数据，其包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次重复采集，且每次采集时同时采集chirp数为48和chirp数为256的数据，共获得N组采集数据，所述N组数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y，由于受SPI传输效率的影响，因此在进行步骤8和步骤9时只能利用毫米波雷达采集chirp数为48的样本数据作处理再进行传输。
上述步骤3具体为：对快时间维度的96个采样点采取每3个点求解二项式的方式再进行内插一个点，共获得32个内插点，然后对这128个点作快速傅里叶变换，以获得距离范围。
上述步骤4具体为：在慢时间维作短时傅里叶变换(STFT)，选择汉明窗作为STFT的滑动窗，由于窗口大小越大，其频率分辨率越高，但时间分辨率会随之降低，因此设置其窗口大小为32，且设置滑窗的步长为1，若chirp数为48时选择FFT点数为48,若chirp数为256时选择FFT点数为256,从而获得目标的速度信息。
上述步骤5具体为：将雷达立方体数据中天线维数据的功率值进行叠加，以获得非相干处理的结果，再针对人员活动空间的大小截取每一帧雷达立方体数据中对应的距离单元进行单元积累。
上述步骤6具体为：
步骤6.1、通过确定合适的滑动窗口大小与滑动时间大小在每组时间-多普勒热度图中进行滑动截取从而形成同样形状大小但数据不同的图片，经过测试对比，窗口宽度确定为15(帧)，高度随chirp数的不同分别为48和256，滑动窗口的步长设置为1(帧)；
步骤6.2、采用数量最大法并结合所录制的视频并采用为所截取的图片打上不同姿态对应的标签，所述标签为A,B,C,D,E五类，其余未打上对应姿态标签的图片统一归类为other类。
所述数量最大法具体为：由于每一帧雷达数据都会对应一类标签，若一张15x48(或256)的图片中包含一种完整的姿态动作，假设该姿态对应标签A，且该类姿态所对应的标签数超过8时，则该张图片的标签为A类。
上述步骤7具体为：
步骤7.1、生成对抗网络(GAN)的构建，具体为：生成对抗网络包括生成模型和判别模型，其中生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然估计中参数的转化来将训练偏向转换为指定分布的样本，所述似然函数为:
Figure 825116DEST_PATH_IMAGE007
；
m为从数据集
Figure 812795DEST_PATH_IMAGE008
中随机取出的样本数，/>
Figure 147961DEST_PATH_IMAGE009
为初始给定的一组参数值，高斯混合模型中为均值和方差，/>
Figure 939200DEST_PATH_IMAGE010
为根据数据集/>
Figure 752435DEST_PATH_IMAGE011
定义的概率分布，/>
Figure 719254DEST_PATH_IMAGE012
为能使概率乘积最大化的参数值。
判别模型实际上是个二分类，会对生成模型生成的图像等数据进行判断，判断其是否是真实的训练数据中的数据，若输入为真样本，输出就接近1，输入为假样本，输出就接近0。具体实施过程为：
步骤7.1.1、在x组chirp数为48采样数据中通过上述步骤1-6截取获得若干张15x48的时间-多普勒热度图中进行随机采样m个样本数据，输入到生成模型中得到一组15x256的数据，记作
Figure 301021DEST_PATH_IMAGE013
，且输入和输出数据标签一致；
步骤7.1.2、在y组chirp数为256采样数据中通过上述步骤1-6截取获得若干张15x256的时间-多普勒热度图中进行随机采样m个样本数据，得到一组数据，记作
Figure 517238DEST_PATH_IMAGE014
；
步骤7.1.3、将上两步中产生的
Figure 196481DEST_PATH_IMAGE013
、/>
Figure 548965DEST_PATH_IMAGE014
数据，即/>
Figure 835721DEST_PATH_IMAGE015
、/>
Figure 335973DEST_PATH_IMAGE016
、...、/>
Figure 756590DEST_PATH_IMAGE017
，作为判别网络模型的输入，输出m张15x256的图片并输出每张图片分类的准确度，根据生成器G，判别器D的目标函数/>
Figure 698001DEST_PATH_IMAGE018
并结合随机梯度下降算法不断更新优化模型参数，使得模型准确度达到90%以上方为训练完毕并保存模型；
步骤7.2、卷积神经网络模型的构建，具体为：
第一层包括：归一化层，卷积层，激活层；
第二层包括：归一化层，卷积层，激活层；
第三层包括：归一化层，卷积层，激活层，池化层；
第四层为全连接层，包括：激活层和Dropout层；
第五层为全连接层，包括：Softmax层，输出姿态分类结果。
所述归一化层选择Batch Normalization函数进行归一化；
所述激活层选择Relu函数进行激活；
所述池化层选择最大池化(max pooling)方式，且步长为设置为2；
所述Dropout层选择其Dropout率为0.5；
所述Softmax层输出6个神经元；
所述卷积神经网络模型具体实施过程为：
步骤7.2.1、将y组chirp数为256的采样数据所获得的时间-多普勒热度图通过所述滑窗和选择处理后得到的若干张打好标签的图片作为卷积神经网络的输入，采用minibatch方式迭代训练k个epoch(将遍历一次所有样本的行为称为一个epoch)后保存训练好的模型以备后续使用；
步骤7.2.2、将上述步骤7.1中生成的图片作为训练好的卷积神经网络的输入，经过模型计算后输出姿态分类结果。上述步骤8具体为：通过SPI不断传输15x48的矩阵数据流到服务器端，再利用训练好的模型对该数据流进行姿态分类检测，并输出每一次判断的姿态所属类别的最大概率值及最大概率对应的姿态类型。
上述步骤9具体为：通过服务器判断输入的数据流中连续10帧的图片且每一帧输出某一姿态的最大概率值大于75%时，由屏幕显示该姿态并进行语音提醒。
本申请所提供的一种毫米波雷达与深度学习结合的姿态监测方法具有的有益效果包括但不限于：
本发明所述的一种毫米波雷达与深度学习结合的姿态监测方法在日常生活中可以全天候不间断对室内人员行为进行监测，不仅可以监测用户的行为习惯，而且对于用户发生跌倒行为时可及时报警，从而避免二次伤害，对用户的安全起到了很好的保障，使用过程中也对用户的隐私提供了保护。
附图说明
图1是本发明一种毫米波雷达与深度学习结合的姿态监测方法所涉及的GAN-CNN深度学习模型训练及使用过程图；图1中：G为生成器；D为判别器；z为m组15x48的时间-多普勒热度图；x为通过生成器生成的m组15x256的时间-多普勒热度图；y为真实采样得到的15x256的时间-多普勒热度图；为使用训练完成并保存的GAN模型通过输入15x48的时间-多普勒热度图输出15x256的时间-多普勒热度图，并将其作为CNN模型的输入。
图2是本发明一种毫米波雷达与深度学习结合的姿态监测方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的优选实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下将结合图1-2，对本申请实施例所涉及的一种毫米波雷达与深度学习结合的姿态监测方法进行详细说明。值得注意的是，以下实施例，仅仅用于解释本申请，并不构成对本申请的限定。
本发明所述的一种毫米波雷达与深度学习结合的姿态监测方法，采用毫米波雷达采集数据并作处理后得到时间-多普勒热度图，利用GAN-CNN深度学习算法进行姿态检测分类，相比于摄像头、红外传感器等，具有隐私性强、精确度高等特点。基于上述原理，本发明具体实施包括以下步骤：
步骤1、毫米波雷达为多发多收的天线系统，并采用BPM模式(二进制调制相位调制)向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；
步骤2、对回波信号进行解码，获得每一对发射-接收回波信号数据，并按照采样点数-chirp数(脉冲数)-天线数-帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据。
步骤3、对获得的每一帧的雷达立方体数据的快时间维度(采样点维度)作快速傅里叶变换，以此区分位于不同距离范围的目标。
步骤4、对步骤3中处理好的每一帧数据沿着慢时间维度(chirp维)作短时傅里叶变换(STFT)，以此获得目标的速度信息。
步骤5、将步骤4中获得的每一帧雷达立方体数据作非相干处理以提高天线增益，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间-多普勒热度图。
步骤6、对步骤5中的时间-多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间-多普勒热度图，并将所述不同姿态的时间-多普勒热度图打上不同姿态所对应的标签。
步骤7、构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间-多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的。
步骤8、将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测。
步骤9、当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒。
上述步骤1中，由于毫米波雷达发射的波束为笔状波束，同时具备方位角和俯仰角，其方位角大小为120°，俯仰角大小为80°，为了使监测更为准确，将毫米波雷达安装在室内天花板的角落，并且使雷达向下倾斜45°，利用两根发射天线同时发射电磁波(BPM模式)，人员测试的活动空间为长、宽、高为4x4x2.7m大小的立体空间，活动空间之外所采集的样本数据可抛弃不用。
上述步骤2中，对BPM模式进行解码，具体操作为：第一根发射天线TX1的相位编码为[1,1]，发射的信号为
Figure 624500DEST_PATH_IMAGE019
，第二根发射天线TX2的相位编码为[1,-1]，发射的信号为/>
Figure 877626DEST_PATH_IMAGE020
，对于接收天线，在第一个chirp周期内接收到的信号/>
Figure 570776DEST_PATH_IMAGE021
，在第二个chirp周期内接收到的信号/>
Figure 507639DEST_PATH_IMAGE022
，进而可解得/>
Figure 260831DEST_PATH_IMAGE023
，/>
Figure 1254DEST_PATH_IMAGE024
；
对于每组采集数据，其包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次重复采集，且每次采集时同时采集chirp数为48和chirp数为256的数据，共获得N组采集数据，所述N组数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y，由于受SPI传输效率的影响，因此在进行步骤8和步骤9时只能利用毫米波雷达采集chirp数为48的样本数据作处理再进行传输。
上述步骤3具体为：对快时间维度的96个采样点采取每3个点求解二项式的方式再进行内插一个点，共获得32个内插点，然后对这128个点作快速傅里叶变换，以获得距离范围。
上述步骤4具体为：在慢时间维作短时傅里叶变换(STFT)，选择汉明窗作为STFT的滑动窗，由于窗口大小越大，其频率分辨率越高，但时间分辨率会随之降低，因此设置其窗口大小为32，且设置滑窗的步长为1，若chirp数为48时选择FFT点数为48,若chirp数为256时选择FFT点数为256,从而获得目标的速度信息。
上述步骤5具体为：将雷达立方体数据中天线维数据的功率值进行叠加，以获得非相干处理的结果，再针对人员活动空间的大小截取每一帧雷达立方体数据中对应的距离单元进行单元积累。
上述步骤6具体为：
步骤6.1、通过确定合适的滑动窗口大小与滑动时间大小在每组时间-多普勒热度图中进行滑动截取从而形成同样形状大小但数据不同的图片，经过测试对比，窗口宽度确定为15(帧)，高度随chirp数的不同分别为48和256，滑动窗口的步长设置为1(帧)；
步骤6.2、采用数量最大法并结合所录制的视频并采用为所截取的图片打上不同姿态对应的标签，所述标签为A,B,C,D,E五类，其余未打上对应姿态标签的图片统一归类为other类。
所述数量最大法具体为：由于每一帧雷达数据都会对应一类标签，若一张15x48(或256)的图片中包含一种完整的姿态动作，假设该姿态对应标签A，且该类姿态所对应的标签数超过8时，则该张图片的标签为A类。
上述步骤7具体为：
步骤7.1、生成对抗网络(GAN)的构建，具体为：生成对抗网络包括生成模型和判别模型，其中生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然估计中参数的转化来将训练偏向转换为指定分布的样本，所述似然函数为:
Figure 763674DEST_PATH_IMAGE025
；
其中：m为从数据集
Figure 489797DEST_PATH_IMAGE008
中随机取出的样本数，/>
Figure 945049DEST_PATH_IMAGE009
为初始给定的一组参数值(高斯混合模型中为均值和方差)，/>
Figure 172768DEST_PATH_IMAGE010
为根据数据集/>
Figure 817507DEST_PATH_IMAGE011
定义的概率分布，/>
Figure 853596DEST_PATH_IMAGE012
为能使概率乘积最大化的参数值。
判别模型实际上是个二分类，会对生成模型生成的图像等数据进行判断，判断其是否是真实的训练数据中的数据，若输入为真样本，输出就接近1，输入为假样本，输出就接近0。具体实施过程为：
步骤7.1.1、在x组chirp数为48采样数据中通过上述步骤1-6截取获得若干张15x48的时间-多普勒热度图中进行随机采样m个样本数据，输入到生成模型中得到一组15x256的数据，记作
Figure 542067DEST_PATH_IMAGE027
，且输入和输出数据标签一致；/>
步骤7.1.2、在y组chirp数为256采样数据中通过上述步骤1-6截取获得若干张15x256的时间-多普勒热度图中进行随机采样m个样本数据，得到一组数据，记作
Figure 929186DEST_PATH_IMAGE029
；
步骤7.1.3、将上两步中产生的
Figure 846457DEST_PATH_IMAGE027
、/>
Figure 737053DEST_PATH_IMAGE029
数据，即/>
Figure 2949DEST_PATH_IMAGE015
、/>
Figure 939681DEST_PATH_IMAGE016
、...、/>
Figure 847594DEST_PATH_IMAGE017
，作为判别网络模型的输入，输出m张15x256的图片并输出每张图片分类的准确度，根据生成器G，判别器D的目标函数/>
Figure 202483DEST_PATH_IMAGE030
并结合随机梯度下降算法不断更新优化模型参数，使得模型准确度达到90%以上方为训练完毕并保存模型；
具体训练过程为：
在噪声数据
Figure 498335DEST_PATH_IMAGE031
中进行随机采样m个样本数据，输入生成模型中得到一组假数据，记作/>
Figure 797730DEST_PATH_IMAGE032
；
在真实数据
Figure 319453DEST_PATH_IMAGE033
中进行随机采样m个样本数据，得到一组真实数据，记作/>
Figure 43696DEST_PATH_IMAGE027
；
将上两步中产生的真、假数据作为判别网络的输入，判别网络的输出值为对应输入数据属于真实数据的概率，为真时输出接近1，为假时输出接近0；
根据得到的概率值计算损失函数；
根据判别模型和生成模型的损失函数，利用梯度下降算法更新模型的参数，先更新判别模型的参数，然后再通过再采样得到的噪声数据更新生成模型的参数，其目标函数为：
Figure 651395DEST_PATH_IMAGE034
，
其中G为生成器，D为判别器，
Figure 234823DEST_PATH_IMAGE035
表示从真数据集 />
Figure 563167DEST_PATH_IMAGE036
中随机取出m个样本求出概率取对数后求和，其作用为使真实数据放入到判别模型D(x)输出的计算值和目标函数值尽可能大；/>
Figure DEST_PATH_IMAGE037
表示从假数据集 />
Figure 876337DEST_PATH_IMAGE038
中随机取出m个样本求出概率取对数后求和，其作用为使假数据放入到判别模型D(x)输出的计算值尽可能小和目标函数值尽可能大。
所述梯度下降算法更新判别模型参数具体为：
Figure 389358DEST_PATH_IMAGE039
，
其中
Figure DEST_PATH_IMAGE040
为梯度下降算子，/>
Figure 132186DEST_PATH_IMAGE041
为判别模型更新后的参数，
Figure DEST_PATH_IMAGE042
表示从真数据集和假数据集中随机取m个样本求出每个样本的概率后求对数并进行平均。
所述梯度下降算法更新生成模型参数具体为：
Figure 388855DEST_PATH_IMAGE043
。
其中
Figure DEST_PATH_IMAGE044
为生成模型更新后的参数，/>
Figure 307263DEST_PATH_IMAGE045
表示从假数据集中随机取m个样本依次通过生成器和判别器求出每个样本的概率后求对数并进行平均。/>
步骤7.2、卷积神经网络模型的构建，具体为：
第一层包括：归一化层，卷积层，激活层；
第二层包括：归一化层，卷积层，激活层；
第三层包括：归一化层，卷积层，激活层，池化层；
第四层为全连接层，包括：激活层和Dropout层；
第五层为全连接层，包括：Softmax层，输出姿态分类结果。
所述归一化层选择Batch Normalization函数进行归一化；
所述激活层选择Relu函数进行激活；
所述池化层选择最大池化(max pooling)方式，且步长为设置为2；
所述Dropout层选择其Dropout率为0.5；
所述Softmax层输出6个神经元；
所述卷积神经网络模型具体实施过程为：
步骤7.2.1、将y组chirp数为256的采样数据所获得的时间-多普勒热度图通过所述滑窗和选择处理后得到的若干张打好标签的图片作为卷积神经网络的输入，采用minibatch方式迭代训练k个epoch(将遍历一次所有样本的行为称为一个epoch)后保存训练好的模型以备后续使用；
步骤7.2.2、将上述步骤7.1中生成的图片作为训练好的卷积神经网络的输入，经过模型计算后输出姿态分类结果。上述步骤8具体为：通过SPI不断传输15x48的矩阵数据流到服务器端，再利用训练好的模型对该数据流进行姿态分类检测，并输出每一次判断的姿态所属类别的最大概率值及最大概率对应的姿态类型。
上述步骤9具体为：通过服务器判断输入的数据流中连续10帧的图片且每一帧输出某一姿态的最大概率值大于75%时，由屏幕显示该姿态并进行语音提醒。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，包括以下步骤：
步骤1：采集训练与测试样本数据；
步骤2：深度学习模型建立、训练及测试；
所述采集训练与测试样本数据；包括：
步骤1.1：基于毫米波雷达，采用BPM模式向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；
步骤1.2：对回波信号进行解码，获得N组多帧的雷达立方体数据；
步骤1.3：对获得的每一帧的雷达立方体数据的快时间维度作快速傅里叶变换；以此区分位于不同距离范围的目标；
步骤1.4：对步骤1.3处理好的每一帧数据沿着慢时间维度作短时傅里叶变换，以此获得目标的速度信息；
步骤1.5：将步骤1.4中获得的每一帧雷达立方体数据作非相干处理，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间-多普勒热度图；
步骤1.1中，所述BPM模式为两根发射天线同时发射电磁波；所述所测空间为长、宽、高为4x4x2.7m大小的立体空间；
步骤1.2中，对回波信号进行解码，获得N组多帧的雷达立方体数据包括：
对回波信号进行解码，获得每一对发射-接收回波信号数据，并按照采样点数-chirp数-天线数-帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据；
对回波信号进行解码，具体为：
第一根发射天线TX1的相位编码为[1,1]，发射的信号为
Figure 849816DEST_PATH_IMAGE001
，第二根发射天线TX2的香味编码为[1,-1]，发射的信号为
Figure 290025DEST_PATH_IMAGE002
，对于接收天线，在第一个chirp周期内接收到的信号
Figure 156350DEST_PATH_IMAGE003
，在第二个chirp周期内接收到的信号
Figure 416430DEST_PATH_IMAGE004
，进而可解得
Figure 524938DEST_PATH_IMAGE005
，
Figure 819653DEST_PATH_IMAGE006
；
每组采集数据中包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次采集，共获得N组采集数据；所述N组采集数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y；
步骤1.3中，所述快时间维度作快速傅里叶变换具体为：对96个采样点进行多项式内插至128点再作快速傅里叶变换；
步骤1.5中，所述非相干处理方法具体为：
将雷达立方体数据中天线维数据的功率值进行叠加；
所述深度学习模型建立、训练及测试，具体步骤如下：
步骤2.1：对步骤1.5中的时间-多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间-多普勒热度图，并将所述不同姿态的时间-多普勒热度图打上不同姿态所对应的标签；
步骤2.2：构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间-多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的；
步骤2.3：将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测；
步骤2.4：当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒；
步骤2.1中，对时间-多普勒热度图进行滑窗和选择处理并打上相应标签具体操作为：
通过确定合适的滑动窗口大小与滑动时间大小在每组时间-多普勒热度图中进行滑动截取从而形成同样形状大小但数据不同的图片，并结合所录制的视频为所述图片打上不同姿态对应的标签，所述标签为A,B,C,D,E五类；
步骤2.2中，所述姿态检测深度学习模型的构建具体为：
生成对抗网络；
卷积神经网络；
所述生成对抗网络包括生成模型和判别模型，其中，
生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然函数估计中参数的转化来将训练偏向转换为指定分布的样本，所述似然函数为:
Figure 122458DEST_PATH_IMAGE007
；
其中：m为从数据集
Figure 604255DEST_PATH_IMAGE008
中随机取出的样本数，
Figure 17919DEST_PATH_IMAGE009
为初始给定的一组参数值，高斯混合模型中为均值和方差，
Figure 901561DEST_PATH_IMAGE010
为根据数据集
Figure 375268DEST_PATH_IMAGE008
定义的概率分布，
Figure 78782DEST_PATH_IMAGE011
为能使概率乘积最大化的参数值；
所述判别模型为二分类，会对生成模型生成的图像数据进行判断，判断其是否是真实的训练数据中的数据，若输入为真样本，输出就接近1，输入为假样本，输出就接近0；
生成对抗网络具体为：
在x组chirp数为48采样数据中截取获得若干张15x48的时间-多普勒热度图中进行随机采样m个样本数据，输入到生成模型中得到一组15x256的数据，记作
Figure 797601DEST_PATH_IMAGE012
，且输入和输出数据标签一致；
在y组chirp数为256采样数据中截取获得若干张15x256的时间-多普勒热度图中进行随机采样m个样本数据，得到一组数据，记作
Figure 535750DEST_PATH_IMAGE013
；
将上两步中产生的
Figure 180358DEST_PATH_IMAGE012
、
Figure 636747DEST_PATH_IMAGE013
数据，即
Figure 392214DEST_PATH_IMAGE014
、
Figure 984869DEST_PATH_IMAGE015
、...、
Figure 800378DEST_PATH_IMAGE016
，作为判别网络模型的输入，输出m张15x256的图片并输出每张图片分类的准确度，根据生成器G，判别器D的目标函数
Figure 744064DEST_PATH_IMAGE017
并结合随机梯度下降算法不断更新优化模型参数，使得模型准确度达到90%以上，则为训练完毕并保存模型；目标函数中G(z)为生成器，D(x)为判别器，
Figure 801756DEST_PATH_IMAGE018
表示从真数据集
Figure 514497DEST_PATH_IMAGE019
中随机取出m个样本求出概率取对数后求和，其作用为使真实数据放入到判别模型D(x)输出的计算值和目标函数值尽可能大；
Figure 235329DEST_PATH_IMAGE020
表示从假数据集
Figure 666310DEST_PATH_IMAGE021
中随机取出m个样本求出概率取对数后求和。
2.根据权利要求1所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，卷积神经网络模型的构建，具体为：
第一层包括：归一化层，卷积层，激活层；
第二层包括：归一化层，卷积层，激活层；
第三层包括：归一化层，卷积层，激活层，池化层；
第四层为全连接层，包括：激活层和Dropout层；
第五层为全连接层，包括：Softmax层，输出姿态分类结果；
所述归一化层选择Batch Normalization函数进行归一化；
所述激活层选择Relu函数进行激活；
所述池化层选择最大池化方式，且步长为设置为2；
所述Dropout层选择其Dropout率为0.5；
所述Softmax层输出6个神经元。
3.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，
所述卷积神经网络模型具体实施过程为：
将y组chirp数为256的采样数据所获得的时间-多普勒热度图通过所述滑窗和选择处理后得到的若干张打好标签的图片作为卷积神经网络的输入，采用mini batch方式迭代训练k个epoch后保存训练好的模型以备后续使用；
将上述步骤中生成的图片作为训练好的卷积神经网络的输入，经过模型计算后输出姿态分类结果。
4.根据权利要求1所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤2.3中，利用服务器对待检测的图片流进行姿态检测，具体为：通过SPI不断传输15x48的矩阵数据流到服务器端，再利用训练好的模型对该数据流进行姿态分类检测，并输出每一次判断的姿态所属类别的最大概率值及最大概率对应的姿态类型。
5.如权利要求1所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤2.4中，对用户进行输出提醒，具体为：
通过服务器判断输入的数据流中连续10帧的图片且每一帧输出某一姿态的最大概率值大于75%时，由屏幕显示该姿态并进行语音提醒。
CN202211219974.XA 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法 Active CN115291184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219974.XA CN115291184B (zh) 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219974.XA CN115291184B (zh) 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法

Publications (2)

Publication Number Publication Date
CN115291184A CN115291184A (zh) 2022-11-04
CN115291184B true CN115291184B (zh) 2023-03-24

Family

ID=83833861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219974.XA Active CN115291184B (zh) 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法

Country Status (1)

Country Link
CN (1) CN115291184B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079416B (zh) * 2023-10-16 2023-12-26 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4828144B2 (ja) * 2005-03-29 2011-11-30 三菱電機株式会社 ミリ波レーダモジュール
US20200341114A1 (en) * 2017-03-28 2020-10-29 Sri International Identification system for subject or activity identification using range and velocity data
CN108256488A (zh) * 2018-01-19 2018-07-06 中国人民解放军陆军装甲兵学院 一种基于微多普勒特征提取和深度学习的雷达目标识别方法
CN111134685B (zh) * 2018-11-02 2022-08-09 富士通株式会社 跌倒检测方法和装置
CN109581361A (zh) * 2018-11-22 2019-04-05 九牧厨卫股份有限公司 一种检测方法、检测装置、终端以及检测系统
CN109765539B (zh) * 2019-01-28 2021-06-04 珠海格力电器股份有限公司 室内用户行为监测方法和装置、电器设备和家居监控系统
US11568262B2 (en) * 2020-03-25 2023-01-31 Ventech Solutions, Inc. Neural network based radiowave monitoring of fall characteristics in injury diagnosis
CN111738060A (zh) * 2020-05-07 2020-10-02 复旦大学 基于毫米波雷达的人体步态识别系统
EP3913534B1 (en) * 2020-05-22 2023-11-22 Tata Consultancy Services Limited System and method for real-time radar-based action recognition using spiking neural network(snn)
CN212814633U (zh) * 2020-09-15 2021-03-30 四川长虹电器股份有限公司 一种基于雷达技术的智能防摔系统
WO2022058735A2 (en) * 2020-09-16 2022-03-24 Nodens Medical Ltd Millimeterwave radar system for determining an activity record
US11380181B2 (en) * 2020-12-09 2022-07-05 MS Technologies Doppler radar system with machine learning applications for fall prediction and detection
CN113296087B (zh) * 2021-05-25 2023-09-22 沈阳航空航天大学 一种基于数据增强的调频连续波雷达人体动作识别方法
CN113447905B (zh) * 2021-06-29 2024-04-19 西安电子科技大学 双毫米波雷达人体跌倒检测装置及检测方法
CN113869183A (zh) * 2021-09-24 2021-12-31 青岛海信日立空调系统有限公司 一种跌倒检测方法及装置
CN113850204A (zh) * 2021-09-28 2021-12-28 太原理工大学 一种基于深度学习和超宽带雷达的人体动作识别方法
CN114038012A (zh) * 2021-11-08 2022-02-11 四川启睿克科技有限公司 基于毫米波雷达和机器学习的跌倒检测方法及系统
CN114814832A (zh) * 2022-04-13 2022-07-29 西安理工大学 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
CN114942434B (zh) * 2022-04-25 2024-02-02 四川八维九章科技有限公司 一种基于毫米波雷达点云的跌倒姿态识别方法及系统
CN115063884B (zh) * 2022-06-14 2024-04-23 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法

Also Published As

Publication number Publication date
CN115291184A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
Yang et al. Dense people counting using IR-UWB radar with a hybrid feature extraction method
Cippitelli et al. Radar and RGB-depth sensors for fall detection: A review
Choi et al. People counting using IR-UWB radar sensor in a wide area
Sabek et al. ACE: An accurate and efficient multi-entity device-free WLAN localization system
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
Ruan et al. Tagtrack: Device-free localization and tracking using passive rfid tags
Chen et al. Activity recognition based on micro-Doppler signature with in-home Wi-Fi
CN110456320B (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN115542308B (zh) 基于毫米波雷达的室内人员探测方法、装置、设备及介质
CN115291184B (zh) 一种毫米波雷达与深度学习结合的姿态监测方法
CN116027324B (zh) 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
Li et al. Human behavior recognition using range-velocity-time points
CN113447905A (zh) 双毫米波雷达人体跌倒检测装置及检测方法
CN112782664A (zh) 一种基于毫米波雷达的卫生间跌倒检测方法
El Attaoui et al. Machine learning‐based edge‐computing on a multi‐level architecture of WSN and IoT for real‐time fall detection
CN114814832A (zh) 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
CN114994663A (zh) 一种基于毫米波雷达的跌倒检测方法及系统
Mohan et al. Non-invasive technique for real-time myocardial infarction detection using faster R-CNN
Wong et al. Automatic tropical cyclone eye fix using genetic algorithm
CN114509749A (zh) 一种室内定位检测系统及方法
Liu et al. Human presence detection via deep learning of passive radio frequency data
Aziz et al. A MIMO radar-based metric learning approach for activity recognition
CN115937977A (zh) 一种基于多维特征融合的少样本人体动作识别方法
Ho et al. Automated cyclone discovery and tracking using knowledge sharing in multiple heterogeneous satellite data
Sah et al. Acoustic signal-based indigenous real-time rainfall monitoring system for sustainable environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant