CN115291184A - 一种毫米波雷达与深度学习结合的姿态监测方法 - Google Patents

一种毫米波雷达与深度学习结合的姿态监测方法 Download PDF

Info

Publication number
CN115291184A
CN115291184A CN202211219974.XA CN202211219974A CN115291184A CN 115291184 A CN115291184 A CN 115291184A CN 202211219974 A CN202211219974 A CN 202211219974A CN 115291184 A CN115291184 A CN 115291184A
Authority
CN
China
Prior art keywords
data
deep learning
model
layer
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211219974.XA
Other languages
English (en)
Other versions
CN115291184B (zh
Inventor
张彭豪
周杨
朱文涛
李剑鹏
梁庆真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Qiruike Technology Co Ltd
Original Assignee
Sichuan Qiruike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Qiruike Technology Co Ltd filed Critical Sichuan Qiruike Technology Co Ltd
Priority to CN202211219974.XA priority Critical patent/CN115291184B/zh
Publication of CN115291184A publication Critical patent/CN115291184A/zh
Application granted granted Critical
Publication of CN115291184B publication Critical patent/CN115291184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种毫米波雷达与深度学习结合的姿态监测方法，包括以下步骤：步骤1：采集训练与测试样本数据；步骤2：深度学习模型建立、训练及测试。毫米波雷达与深度学习结合的姿态监测方法在日常生活中可以全天候不间断对室内人员行为进行监测，不仅可以监测用户的行为习惯，而且对于用户发生跌倒行为时可及时报警，从而避免二次伤害，对用户的安全起到了很好的保障，使用过程中也对用户的隐私提供了保护。

Description

一种毫米波雷达与深度学习结合的姿态监测方法
技术领域
本发明涉及信号处理技术领域，具体涉及一种毫米波雷达与深度学习结合的姿态监测方法。
背景技术
人体姿态监测在远程监护、安防监控、公共场所、医院等邻域近年来受到广泛关注，其中利用毫米波雷达传感器可在室内对人体运动过程产生的平动和转动等微小运动信息进行有效捕捉与探测，通过对这些微小的运动变化信息的提取与分类可以达到对人体运动姿态的检测与分类的目的。由于毫米波雷达传感器在做人体姿态检测时大部分用于室内场景，而考虑到对用户个人隐私的保护，因此基于毫米波雷达传感器的姿态检测系统就显得尤为有价值。
目前用于室内人员检测的的装置除了毫米波雷达以外，还包括基于相机及摄像头的视觉识别、基于可穿戴设备和传感器的方法、被动红外传感器等，由于上述方法会受光线、视距及方便性等因素的影响，导致检测准确度和最终效果不佳，并且会有所需设备的成本高、隐私保护弱等问题，本发明提供一种毫米波雷达与深度学习结合的姿态监测方法，能在很大程度上解决上述问题。
发明内容
本发明的目的在于提供一种毫米波雷达与深度学习结合的姿态监测方法，以期解决背景技术中存在的技术问题。
本发明所述的一种毫米波雷达与深度学习结合的姿态监测方法，采用毫米波雷达采集数据并作处理后得到时间-多普勒热度图，利用GAN-CNN深度学习算法进行姿态检测分类，相比于摄像头、红外传感器等，具有隐私性强、精确度高等特点。基于上述原理，本发明具体实施包括以下步骤：
步骤1、毫米波雷达为多发多收的天线系统，并采用BPM模式(二进制调制相位调制)向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；
步骤2、对回波信号进行解码，获得每一对发射-接收回波信号数据，并按照采样点数-chirp数(脉冲数)-天线数-帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据。
步骤3、对获得的每一帧的雷达立方体数据的快时间维度(采样点维度)作快速傅里叶变换，以此区分位于不同距离范围的目标。
步骤4、对步骤3中处理好的每一帧数据沿着慢时间维度(chirp维)作短时傅里叶变换(STFT)，以此获得目标的速度信息。
步骤5、将步骤4中获得的每一帧雷达立方体数据作非相干处理以提高天线增益，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间-多普勒热度图。
步骤6、对步骤5中的时间-多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间-多普勒热度图，并将所述不同姿态的时间-多普勒热度图打上不同姿态所对应的标签。
步骤7、构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间-多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的。
步骤8、将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测。
步骤9、当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒。
上述步骤1中，由于毫米波雷达发射的波束为笔状波束，同时具备方位角和俯仰角，其方位角大小为120°，俯仰角大小为80°，为了使监测更为准确，将毫米波雷达安装在室内天花板的角落，并且使雷达向下倾斜45°，利用两根发射天线同时发射电磁波(BPM模式)，人员测试的活动空间为长、宽、高为4x4x2.7m大小的立体空间，活动空间之外所采集的样本数据可抛弃不用。
上述步骤2中，对BPM模式进行解码，具体操作为：第一根发射天线TX1的相位编码为[1,1]，发射的信号为
Figure 100002_DEST_PATH_IMAGE002
，第二根发射天线TX2的相位编码为[1,-1]，发射的信号为
Figure 100002_DEST_PATH_IMAGE004
，对于接收天线，在第一个chirp周期内接收到的信号
Figure 100002_DEST_PATH_IMAGE006
，在第二个chirp周期内接收到的信号
Figure 100002_DEST_PATH_IMAGE008
，进而可解得
Figure 100002_DEST_PATH_IMAGE010
，
Figure 100002_DEST_PATH_IMAGE012
；
对于每组采集数据，其包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次重复采集，且每次采集时同时采集chirp数为48和chirp数为256的数据，共获得N组采集数据，所述N组数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y，由于受SPI传输效率的影响，因此在进行步骤8和步骤9时只能利用毫米波雷达采集chirp数为48的样本数据作处理再进行传输。
上述步骤3具体为：对快时间维度的96个采样点采取每3个点求解二项式的方式再进行内插一个点，共获得32个内插点，然后对这128个点作快速傅里叶变换，以获得距离范围。
上述步骤4具体为：在慢时间维作短时傅里叶变换(STFT)，选择汉明窗作为STFT的滑动窗，由于窗口大小越大，其频率分辨率越高，但时间分辨率会随之降低，因此设置其窗口大小为32，且设置滑窗的步长为1，若chirp数为48时选择FFT点数为48,若chirp数为256时选择FFT点数为256,从而获得目标的速度信息。
上述步骤5具体为：将雷达立方体数据中天线维数据的功率值进行叠加，以获得非相干处理的结果，再针对人员活动空间的大小截取每一帧雷达立方体数据中对应的距离单元进行单元积累。
上述步骤6具体为：
步骤6.1、通过确定合适的滑动窗口大小与滑动时间大小在每组时间-多普勒热度图中进行滑动截取从而形成同样形状大小但数据不同的图片，经过测试对比，窗口宽度确定为15(帧)，高度随chirp数的不同分别为48和256，滑动窗口的步长设置为1(帧)；
步骤6.2、采用数量最大法并结合所录制的视频并采用为所截取的图片打上不同姿态对应的标签，所述标签为A,B,C,D,E五类，其余未打上对应姿态标签的图片统一归类为other类。
所述数量最大法具体为：由于每一帧雷达数据都会对应一类标签，若一张15x48(或256)的图片中包含一种完整的姿态动作，假设该姿态对应标签A，且该类姿态所对应的标签数超过8时，则该张图片的标签为A类。
上述步骤7具体为：
步骤7.1、生成对抗网络(GAN)的构建，具体为：生成对抗网络包括生成模型和判别模型，其中生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然估计中参数的转化来将训练偏向转换为指定分布的样本，所述似然函数为:
Figure 100002_DEST_PATH_IMAGE014
；
m为从数据集
Figure 100002_DEST_PATH_IMAGE016
中随机取出的样本数，
Figure 100002_DEST_PATH_IMAGE018
为初始给定的一组参数值(高斯混合模型中为均值和方差)，
Figure 100002_DEST_PATH_IMAGE020
为根据数据集
Figure DEST_PATH_IMAGE021
定义的概率分布，
Figure DEST_PATH_IMAGE023
为能使概率乘积最大化的参数值。
判别模型实际上是个二分类，会对生成模型生成的图像等数据进行判断，判断其是否是真实的训练数据中的数据，若输入为真样本，输出就接近1，输入为假样本，输出就接近0。具体实施过程为：
步骤7.1.1、在x组chirp数为48采样数据中通过上述步骤1-6截取获得若干张15x48的时间-多普勒热度图中进行随机采样m个样本数据，输入到生成模型中得到一组15x256的数据，记作
Figure DEST_PATH_IMAGE025
，且输入和输出数据标签一致；
步骤7.1.2、在y组chirp数为256采样数据中通过上述步骤1-6截取获得若干张15x256的时间-多普勒热度图中进行随机采样m个样本数据，得到一组数据，记作
Figure DEST_PATH_IMAGE027
；
步骤7.1.3、将上两步中产生的
Figure DEST_PATH_IMAGE025A
、
Figure DEST_PATH_IMAGE027A
数据，即(
Figure DEST_PATH_IMAGE029
、(
Figure DEST_PATH_IMAGE031
、...、(
Figure DEST_PATH_IMAGE033
，作为判别网络模型的输入，输出m张15x256的图片并输出每张图片分类的准确度，根据生成器G，判别器D的目标函数
Figure DEST_PATH_IMAGE035
并结合随机梯度下降算法不断更新优化模型参数，使得模型准确度达到90%以上方为训练完毕并保存模型；
步骤7.2、卷积神经网络模型的构建，具体为：
第一层包括：归一化层，卷积层，激活层；
第二层包括：归一化层，卷积层，激活层；
第三层包括：归一化层，卷积层，激活层，池化层；
第四层为全连接层，包括：激活层和Dropout层；
第五层为全连接层，包括：Softmax层，输出姿态分类结果。
所述归一化层选择Batch Normalization函数进行归一化；
所述激活层选择Relu函数进行激活；
所述池化层选择最大池化(max pooling)方式，且步长为设置为2；
所述Dropout层选择其Dropout率为0.5；
所述Softmax层输出6个神经元；
所述卷积神经网络模型具体实施过程为：
步骤7.2.1、将y组chirp数为256的采样数据所获得的时间-多普勒热度图通过所述滑窗和选择处理后得到的若干张打好标签的图片作为卷积神经网络的输入，采用minibatch方式迭代训练k个epoch(将遍历一次所有样本的行为称为一个epoch)后保存训练好的模型以备后续使用；
步骤7.2.2、将上述步骤7.1中生成的图片作为训练好的卷积神经网络的输入，经过模型计算后输出姿态分类结果。上述步骤8具体为：通过SPI不断传输15x48的矩阵数据流到服务器端，再利用训练好的模型对该数据流进行姿态分类检测，并输出每一次判断的姿态所属类别的最大概率值及最大概率对应的姿态类型。
上述步骤9具体为：通过服务器判断输入的数据流中连续10帧的图片且每一帧输出某一姿态的最大概率值大于75%时，由屏幕显示该姿态并进行语音提醒。
本申请所提供的一种毫米波雷达与深度学习结合的姿态监测方法具有的有益效果包括但不限于：
本发明所述的一种毫米波雷达与深度学习结合的姿态监测方法在日常生活中可以全天候不间断对室内人员行为进行监测，不仅可以监测用户的行为习惯，而且对于用户发生跌倒行为时可及时报警，从而避免二次伤害，对用户的安全起到了很好的保障，使用过程中也对用户的隐私提供了保护。
附图说明
图1是本发明一种毫米波雷达与深度学习结合的姿态监测方法所涉及的GAN-CNN深度学习模型训练及使用过程图；图1中：G为生成器；D为判别器；z为m组15x48的时间-多普勒热度图；x为通过生成器生成的m组15x256的时间-多普勒热度图；y为真实采样得到的15x256的时间-多普勒热度图；为使用训练完成并保存的GAN模型通过输入15x48的时间-多普勒热度图输出15x256的时间-多普勒热度图，并将其作为CNN模型的输入。
图2是本发明一种毫米波雷达与深度学习结合的姿态监测方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的优选实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下将结合图1-2，对本申请实施例所涉及的一种毫米波雷达与深度学习结合的姿态监测方法进行详细说明。值得注意的是，以下实施例，仅仅用于解释本申请，并不构成对本申请的限定。
本发明所述的一种毫米波雷达与深度学习结合的姿态监测方法，采用毫米波雷达采集数据并作处理后得到时间-多普勒热度图，利用GAN-CNN深度学习算法进行姿态检测分类，相比于摄像头、红外传感器等，具有隐私性强、精确度高等特点。基于上述原理，本发明具体实施包括以下步骤：
步骤1、毫米波雷达为多发多收的天线系统，并采用BPM模式(二进制调制相位调制)向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；
步骤2、对回波信号进行解码，获得每一对发射-接收回波信号数据，并按照采样点数-chirp数(脉冲数)-天线数-帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据。
步骤3、对获得的每一帧的雷达立方体数据的快时间维度(采样点维度)作快速傅里叶变换，以此区分位于不同距离范围的目标。
步骤4、对步骤3中处理好的每一帧数据沿着慢时间维度(chirp维)作短时傅里叶变换(STFT)，以此获得目标的速度信息。
步骤5、将步骤4中获得的每一帧雷达立方体数据作非相干处理以提高天线增益，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间-多普勒热度图。
步骤6、对步骤5中的时间-多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间-多普勒热度图，并将所述不同姿态的时间-多普勒热度图打上不同姿态所对应的标签。
步骤7、构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间-多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的。
步骤8、将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测。
步骤9、当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒。
上述步骤1中，由于毫米波雷达发射的波束为笔状波束，同时具备方位角和俯仰角，其方位角大小为120°，俯仰角大小为80°，为了使监测更为准确，将毫米波雷达安装在室内天花板的角落，并且使雷达向下倾斜45°，利用两根发射天线同时发射电磁波(BPM模式)，人员测试的活动空间为长、宽、高为4x4x2.7m大小的立体空间，活动空间之外所采集的样本数据可抛弃不用。
上述步骤2中，对BPM模式进行解码，具体操作为：第一根发射天线TX1的相位编码为[1,1]，发射的信号为
Figure DEST_PATH_IMAGE037
，第二根发射天线TX2的相位编码为[1,-1]，发射的信号为
Figure DEST_PATH_IMAGE039
，对于接收天线，在第一个chirp周期内接收到的信号
Figure DEST_PATH_IMAGE041
，在第二个chirp周期内接收到的信号
Figure DEST_PATH_IMAGE043
，进而可解得
Figure DEST_PATH_IMAGE045
，
Figure DEST_PATH_IMAGE047
；
对于每组采集数据，其包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次重复采集，且每次采集时同时采集chirp数为48和chirp数为256的数据，共获得N组采集数据，所述N组数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y，由于受SPI传输效率的影响，因此在进行步骤8和步骤9时只能利用毫米波雷达采集chirp数为48的样本数据作处理再进行传输。
上述步骤3具体为：对快时间维度的96个采样点采取每3个点求解二项式的方式再进行内插一个点，共获得32个内插点，然后对这128个点作快速傅里叶变换，以获得距离范围。
上述步骤4具体为：在慢时间维作短时傅里叶变换(STFT)，选择汉明窗作为STFT的滑动窗，由于窗口大小越大，其频率分辨率越高，但时间分辨率会随之降低，因此设置其窗口大小为32，且设置滑窗的步长为1，若chirp数为48时选择FFT点数为48,若chirp数为256时选择FFT点数为256,从而获得目标的速度信息。
上述步骤5具体为：将雷达立方体数据中天线维数据的功率值进行叠加，以获得非相干处理的结果，再针对人员活动空间的大小截取每一帧雷达立方体数据中对应的距离单元进行单元积累。
上述步骤6具体为：
步骤6.1、通过确定合适的滑动窗口大小与滑动时间大小在每组时间-多普勒热度图中进行滑动截取从而形成同样形状大小但数据不同的图片，经过测试对比，窗口宽度确定为15(帧)，高度随chirp数的不同分别为48和256，滑动窗口的步长设置为1(帧)；
步骤6.2、采用数量最大法并结合所录制的视频并采用为所截取的图片打上不同姿态对应的标签，所述标签为A,B,C,D,E五类，其余未打上对应姿态标签的图片统一归类为other类。
所述数量最大法具体为：由于每一帧雷达数据都会对应一类标签，若一张15x48(或256)的图片中包含一种完整的姿态动作，假设该姿态对应标签A，且该类姿态所对应的标签数超过8时，则该张图片的标签为A类。
上述步骤7具体为：
步骤7.1、生成对抗网络(GAN)的构建，具体为：生成对抗网络包括生成模型和判别模型，其中生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然估计中参数的转化来将训练偏向转换为指定分布的样本，所述似然函数为:
Figure DEST_PATH_IMAGE049
；
其中：m为从数据集
Figure 100002_DEST_PATH_IMAGE016A
中随机取出的样本数，
Figure DEST_PATH_IMAGE018A
为初始给定的一组参数值(高斯混合模型中为均值和方差)，
Figure DEST_PATH_IMAGE020A
为根据数据集
Figure DEST_PATH_IMAGE021A
定义的概率分布，
Figure DEST_PATH_IMAGE023A
为能使概率乘积最大化的参数值。
判别模型实际上是个二分类，会对生成模型生成的图像等数据进行判断，判断其是否是真实的训练数据中的数据，若输入为真样本，输出就接近1，输入为假样本，输出就接近0。具体实施过程为：
步骤7.1.1、在x组chirp数为48采样数据中通过上述步骤1-6截取获得若干张15x48的时间-多普勒热度图中进行随机采样m个样本数据，输入到生成模型中得到一组15x256的数据，记作
Figure DEST_PATH_IMAGE051
，且输入和输出数据标签一致；
步骤7.1.2、在y组chirp数为256采样数据中通过上述步骤1-6截取获得若干张15x256的时间-多普勒热度图中进行随机采样m个样本数据，得到一组数据，记作
Figure DEST_PATH_IMAGE053
；
步骤7.1.3、将上两步中产生的
Figure DEST_PATH_IMAGE051A
、
Figure DEST_PATH_IMAGE053A
数据，即(
Figure DEST_PATH_IMAGE055
、(
Figure DEST_PATH_IMAGE057
、...、(
Figure DEST_PATH_IMAGE059
，作为判别网络模型的输入，输出m张15x256的图片并输出每张图片分类的准确度，根据生成器G，判别器D的目标函数
Figure DEST_PATH_IMAGE061
并结合随机梯度下降算法不断更新优化模型参数，使得模型准确度达到90%以上方为训练完毕并保存模型；
具体训练过程为：
在噪声数据
Figure DEST_PATH_IMAGE063
中进行随机采样m个样本数据，输入生成模型中得到一组假数据，记作
Figure DEST_PATH_IMAGE065
；
在真实数据
Figure DEST_PATH_IMAGE067
中进行随机采样m个样本数据，得到一组真实数据，记作
Figure DEST_PATH_IMAGE051AA
；
将上两步中产生的真、假数据作为判别网络的输入，判别网络的输出值为对应输入数据属于真实数据的概率，为真时输出接近1，为假时输出接近0；
根据得到的概率值计算损失函数；
根据判别模型和生成模型的损失函数，利用梯度下降算法更新模型的参数，先更新判别模型的参数，然后再通过再采样得到的噪声数据更新生成模型的参数，其目标函数为：
Figure DEST_PATH_IMAGE068
，
其中G为生成器，D为判别器，
Figure DEST_PATH_IMAGE070
表示从真数据集
Figure DEST_PATH_IMAGE072
中随机取出m个样本求出概率取对数后求和，其作用为使真实数据放入到判别模型D(x)输出的计算值和目标函数值尽可能大；
Figure DEST_PATH_IMAGE074
表示从假数据集
Figure DEST_PATH_IMAGE076
中随机取出m个样本求出概率取对数后求和，其作用为使假数据放入到判别模型D(x)输出的计算值尽可能小和目标函数值尽可能大。
所述梯度下降算法更新判别模型参数具体为：
Figure DEST_PATH_IMAGE078
，
其中
Figure DEST_PATH_IMAGE080
为梯度下降算子，
Figure DEST_PATH_IMAGE082
为判别模型更新后的参数，
Figure DEST_PATH_IMAGE084
表示从真数据集和假数据集中随机取m个样本求出每个样本的概率后求对数并进行平均。
所述梯度下降算法更新生成模型参数具体为：
Figure DEST_PATH_IMAGE086
。
其中
Figure DEST_PATH_IMAGE088
为生成模型更新后的参数，
Figure DEST_PATH_IMAGE090
表示从假数据集中随机取m个样本依次通过生成器和判别器求出每个样本的概率后求对数并进行平均。
步骤7.2、卷积神经网络模型的构建，具体为：
第一层包括：归一化层，卷积层，激活层；
第二层包括：归一化层，卷积层，激活层；
第三层包括：归一化层，卷积层，激活层，池化层；
第四层为全连接层，包括：激活层和Dropout层；
第五层为全连接层，包括：Softmax层，输出姿态分类结果。
所述归一化层选择Batch Normalization函数进行归一化；
所述激活层选择Relu函数进行激活；
所述池化层选择最大池化(max pooling)方式，且步长为设置为2；
所述Dropout层选择其Dropout率为0.5；
所述Softmax层输出6个神经元；
所述卷积神经网络模型具体实施过程为：
步骤7.2.1、将y组chirp数为256的采样数据所获得的时间-多普勒热度图通过所述滑窗和选择处理后得到的若干张打好标签的图片作为卷积神经网络的输入，采用minibatch方式迭代训练k个epoch(将遍历一次所有样本的行为称为一个epoch)后保存训练好的模型以备后续使用；
步骤7.2.2、将上述步骤7.1中生成的图片作为训练好的卷积神经网络的输入，经过模型计算后输出姿态分类结果。上述步骤8具体为：通过SPI不断传输15x48的矩阵数据流到服务器端，再利用训练好的模型对该数据流进行姿态分类检测，并输出每一次判断的姿态所属类别的最大概率值及最大概率对应的姿态类型。
上述步骤9具体为：通过服务器判断输入的数据流中连续10帧的图片且每一帧输出某一姿态的最大概率值大于75%时，由屏幕显示该姿态并进行语音提醒。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，包括以下步骤：
步骤1：采集训练与测试样本数据；
步骤2：深度学习模型建立、训练及测试。
2.根据权利要求1所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，所述采集训练与测试样本数据；包括：
步骤1.1：基于毫米波雷达，采用BPM模式向所测空间中发射线性调频连续波，通过具有固定天线间距的雷达接收机接收所测空间反射的回波信号，并在采集数据过程中录制视频；
步骤1.2：对回波信号进行解码，获得N组多帧的雷达立方体数据；
步骤1.3：对获得的每一帧的雷达立方体数据的快时间维度作快速傅里叶变换；以此区分位于不同距离范围的目标；
步骤1.4：对步骤1.3处理好的每一帧数据沿着慢时间维度作短时傅里叶变换，以此获得目标的速度信息；
步骤1.5：将步骤1.4中获得的每一帧雷达立方体数据作非相干处理，再对距离单元作积累，最终按时间顺序将每一帧雷达立方体数据进行排列从而获得时间-多普勒热度图。
3.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.1中，所述BPM模式为两根发射天线同时发射电磁波；所述所测空间为长、宽、高为4x4x2.7m大小的立体空间。
4.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.2中，对回波信号进行解码，获得N组多帧的雷达立方体数据包括：
对回波信号进行解码，获得每一对发射-接收回波信号数据，并按照采样点数-chirp数-天线数-帧数的格式进行排列得到多帧的雷达立方体数据，该格式的数据表示为一组采集数据，共有N组采集数据；
对回波信号进行解码，具体为：
第一根发射天线TX1的相位编码为[1,1]，发射的信号为
Figure DEST_PATH_IMAGE002
，第二根发射天线TX2的相位编码为[1,-1]，发射的信号为
Figure DEST_PATH_IMAGE004
，对于接收天线，在第一个chirp周期内接收到的信号
Figure DEST_PATH_IMAGE006
，在第二个chirp周期内接收到的信号
Figure DEST_PATH_IMAGE008
，进而可解得
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE012
；
每组采集数据中包括多种人体姿态，所述人体姿态包括走、跌倒、蹲下、弯腰、坐五种动作，选择不同的人进行多次采集，共获得N组采集数据；所述N组数据包括x组chirp数为48和y组chirp数为256的采样数据，即N = x + y。
5.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.3中，所述快时间维度作快速傅里叶变换具体为：对96个采样点进行多项式内插至128点再作快速傅里叶变换。
6.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤1.5中，所述非相干处理方法具体为：
将雷达立方体数据中天线维数据的功率值进行叠加。
7.根据权利要求2所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，所述深度学习模型建立、训练及测试，具体步骤如下：
步骤2.1：对步骤1.5中的时间-多普勒热度图进行滑窗和选择处理以获得每一组采集数据所包含的不同姿态的时间-多普勒热度图，并将所述不同姿态的时间-多普勒热度图打上不同姿态所对应的标签；
步骤2.2：构建姿态检测深度学习模型，利用N组采集数据的不同姿态的时间-多普勒热度图进行所述深度学习模型的训练，得到训练完毕的深度学习模型以此达到对不同姿态进行检测的目的；
步骤2.3：将训练完毕并测试好的深度学习模型加载到服务器上，利用服务器对待检测的图片流进行姿态检测；
步骤2.4：当所述服务器判断输入的图片流中连续几帧的图片输出某一姿态的概率均大于所设定的阈值时，由屏幕显示该姿态并进行语音提醒。
8.根据权利要求7所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤2.1中，对时间-多普勒热度图进行滑窗和选择处理并打上相应标签具体操作为：
通过确定合适的滑动窗口大小与滑动时间大小在每组时间-多普勒热度图中进行滑动截取从而形成同样形状大小但数据不同的图片，并结合所录制的视频为所述图片打上不同姿态对应的标签，所述标签为A,B,C,D,E五类。
9.根据权利要求7所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤2.2中，所述姿态检测深度学习模型的构建具体为：
生成对抗网络；
卷积神经网络；
所述生成对抗网络包括生成模型和判别模型，其中，
生成模型的作用是捕捉样本数据的分布、将原输入信息的分布情况经过极大似然估计中参数的转化来将训练偏向转换为指定分布的样本，所述似然函数为:
Figure DEST_PATH_IMAGE014
；
其中：m为从数据集
Figure DEST_PATH_IMAGE016
中随机取出的样本数，
Figure DEST_PATH_IMAGE018
为初始给定的一组参数值(高斯混合模型中为均值和方差)，
Figure DEST_PATH_IMAGE020
为根据数据集
Figure DEST_PATH_IMAGE016A
定义的概率分布，
Figure DEST_PATH_IMAGE022
为能使概率乘积最大化的参数值；
所述判别模型为二分类，会对生成模型生成的图像数据进行判断，判断其是否是真实的训练数据中的数据，若输入为真样本，输出就接近1，输入为假样本，输出就接近0。
10.根据权利要求9所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，生成对抗网络具体为：
在x组chirp数为48采样数据中截取获得若干张15x48的时间-多普勒热度图中进行随机采样m个样本数据，输入到生成模型中得到一组15x256的数据，记作
Figure DEST_PATH_IMAGE024
，且输入和输出数据标签一致；
在y组chirp数为256采样数据中截取获得若干张15x256的时间-多普勒热度图中进行随机采样m个样本数据，得到一组数据，记作
Figure DEST_PATH_IMAGE026
；
将上两步中产生的
Figure DEST_PATH_IMAGE024A
、
Figure DEST_PATH_IMAGE026A
数据，即(
Figure DEST_PATH_IMAGE028
、(
Figure DEST_PATH_IMAGE030
、...、(
Figure DEST_PATH_IMAGE032
，作为判别网络模型的输入，输出m张15x256的图片并输出每张图片分类的准确度，根据生成器G，判别器D的目标函数
Figure DEST_PATH_IMAGE034
并结合随机梯度下降算法不断更新优化模型参数，使得模型准确度达到90%以上，则为训练完毕并保存模型。
11.根据权利要求9所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，卷积神经网络模型的构建，具体为：
第一层包括：归一化层，卷积层，激活层；
第二层包括：归一化层，卷积层，激活层；
第三层包括：归一化层，卷积层，激活层，池化层；
第四层为全连接层，包括：激活层和Dropout层；
第五层为全连接层，包括：Softmax层，输出姿态分类结果；
所述归一化层选择Batch Normalization函数进行归一化；
所述激活层选择Relu函数进行激活；
所述池化层选择最大池化方式，且步长为设置为2；
所述Dropout层选择其Dropout率为0.5；
所述Softmax层输出6个神经元。
12.根据权利要求9所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，
所述卷积神经网络模型具体实施过程为：
将y组chirp数为256的采样数据所获得的时间-多普勒热度图通过所述滑窗和选择处理后得到的若干张打好标签的图片作为卷积神经网络的输入，采用mini batch方式迭代训练k个epoch后保存训练好的模型以备后续使用；
将上述步骤中生成的图片作为训练好的卷积神经网络的输入，经过模型计算后输出姿态分类结果。
13. 根据权利要求7所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤2.3中，利用服务器对待检测的图片流进行姿态检测，具体为：通过SPI不断传输15x48的矩阵数据流到服务器端，再利用训练好的模型对该数据流进行姿态分类检测，并输出每一次判断的姿态所属类别的最大概率值及最大概率对应的姿态类型。
14.如权利要求7所述的一种毫米波雷达与深度学习结合的姿态监测方法，其特征在于，步骤2.4中，对用户进行输出提醒，具体为：
通过服务器判断输入的数据流中连续10帧的图片且每一帧输出某一姿态的最大概率值大于75%时，由屏幕显示该姿态并进行语音提醒。
CN202211219974.XA 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法 Active CN115291184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219974.XA CN115291184B (zh) 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219974.XA CN115291184B (zh) 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法

Publications (2)

Publication Number Publication Date
CN115291184A true CN115291184A (zh) 2022-11-04
CN115291184B CN115291184B (zh) 2023-03-24

Family

ID=83833861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219974.XA Active CN115291184B (zh) 2022-10-08 2022-10-08 一种毫米波雷达与深度学习结合的姿态监测方法

Country Status (1)

Country Link
CN (1) CN115291184B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079416A (zh) * 2023-10-16 2023-11-17 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275776A (ja) * 2005-03-29 2006-10-12 Mitsubishi Electric Corp ミリ波レーダモジュール
CN108256488A (zh) * 2018-01-19 2018-07-06 中国人民解放军陆军装甲兵学院 一种基于微多普勒特征提取和深度学习的雷达目标识别方法
CN109581361A (zh) * 2018-11-22 2019-04-05 九牧厨卫股份有限公司 一种检测方法、检测装置、终端以及检测系统
CN109765539A (zh) * 2019-01-28 2019-05-17 珠海格力电器股份有限公司 室内用户行为监测方法和装置、电器设备和家居监控系统
CN111134685A (zh) * 2018-11-02 2020-05-12 富士通株式会社 跌倒检测方法和装置
CN111738060A (zh) * 2020-05-07 2020-10-02 复旦大学 基于毫米波雷达的人体步态识别系统
US20200341114A1 (en) * 2017-03-28 2020-10-29 Sri International Identification system for subject or activity identification using range and velocity data
CN212814633U (zh) * 2020-09-15 2021-03-30 四川长虹电器股份有限公司 一种基于雷达技术的智能防摔系统
CN113296087A (zh) * 2021-05-25 2021-08-24 沈阳航空航天大学 一种基于数据增强的调频连续波雷达人体动作识别方法
CN113447905A (zh) * 2021-06-29 2021-09-28 西安电子科技大学 双毫米波雷达人体跌倒检测装置及检测方法
US20210304007A1 (en) * 2020-03-25 2021-09-30 Ventech Solutions, Inc. Neural network based radiowave monitoring of fall characteristics in injury diagnosis
US20210365778A1 (en) * 2020-05-22 2021-11-25 Tata Consultancy Services Limited System and method for real-time radar-based action recognition using spiking neural network(snn)
CN113850204A (zh) * 2021-09-28 2021-12-28 太原理工大学 一种基于深度学习和超宽带雷达的人体动作识别方法
CN113869183A (zh) * 2021-09-24 2021-12-31 青岛海信日立空调系统有限公司 一种跌倒检测方法及装置
CN114038012A (zh) * 2021-11-08 2022-02-11 四川启睿克科技有限公司 基于毫米波雷达和机器学习的跌倒检测方法及系统
WO2022058735A2 (en) * 2020-09-16 2022-03-24 Nodens Medical Ltd Millimeterwave radar system for determining an activity record
US20220180723A1 (en) * 2020-12-09 2022-06-09 MS Technologies Doppler radar system with machine learning applications for fall prediction and detection
CN114814832A (zh) * 2022-04-13 2022-07-29 西安理工大学 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
CN114895301A (zh) * 2022-05-23 2022-08-12 武汉大学 一种毫米波雷达和视频辅助的室内跌倒检测方法及装置
CN114942434A (zh) * 2022-04-25 2022-08-26 西南交通大学 一种基于毫米波雷达点云的跌倒姿态识别方法及系统
CN115063884A (zh) * 2022-06-14 2022-09-16 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275776A (ja) * 2005-03-29 2006-10-12 Mitsubishi Electric Corp ミリ波レーダモジュール
US20200341114A1 (en) * 2017-03-28 2020-10-29 Sri International Identification system for subject or activity identification using range and velocity data
CN108256488A (zh) * 2018-01-19 2018-07-06 中国人民解放军陆军装甲兵学院 一种基于微多普勒特征提取和深度学习的雷达目标识别方法
CN111134685A (zh) * 2018-11-02 2020-05-12 富士通株式会社 跌倒检测方法和装置
CN109581361A (zh) * 2018-11-22 2019-04-05 九牧厨卫股份有限公司 一种检测方法、检测装置、终端以及检测系统
CN109765539A (zh) * 2019-01-28 2019-05-17 珠海格力电器股份有限公司 室内用户行为监测方法和装置、电器设备和家居监控系统
US20210304007A1 (en) * 2020-03-25 2021-09-30 Ventech Solutions, Inc. Neural network based radiowave monitoring of fall characteristics in injury diagnosis
CN111738060A (zh) * 2020-05-07 2020-10-02 复旦大学 基于毫米波雷达的人体步态识别系统
US20210365778A1 (en) * 2020-05-22 2021-11-25 Tata Consultancy Services Limited System and method for real-time radar-based action recognition using spiking neural network(snn)
CN212814633U (zh) * 2020-09-15 2021-03-30 四川长虹电器股份有限公司 一种基于雷达技术的智能防摔系统
WO2022058735A2 (en) * 2020-09-16 2022-03-24 Nodens Medical Ltd Millimeterwave radar system for determining an activity record
US20220180723A1 (en) * 2020-12-09 2022-06-09 MS Technologies Doppler radar system with machine learning applications for fall prediction and detection
CN113296087A (zh) * 2021-05-25 2021-08-24 沈阳航空航天大学 一种基于数据增强的调频连续波雷达人体动作识别方法
CN113447905A (zh) * 2021-06-29 2021-09-28 西安电子科技大学 双毫米波雷达人体跌倒检测装置及检测方法
CN113869183A (zh) * 2021-09-24 2021-12-31 青岛海信日立空调系统有限公司 一种跌倒检测方法及装置
CN113850204A (zh) * 2021-09-28 2021-12-28 太原理工大学 一种基于深度学习和超宽带雷达的人体动作识别方法
CN114038012A (zh) * 2021-11-08 2022-02-11 四川启睿克科技有限公司 基于毫米波雷达和机器学习的跌倒检测方法及系统
CN114814832A (zh) * 2022-04-13 2022-07-29 西安理工大学 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
CN114942434A (zh) * 2022-04-25 2022-08-26 西南交通大学 一种基于毫米波雷达点云的跌倒姿态识别方法及系统
CN114895301A (zh) * 2022-05-23 2022-08-12 武汉大学 一种毫米波雷达和视频辅助的室内跌倒检测方法及装置
CN115063884A (zh) * 2022-06-14 2022-09-16 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FENG JIN等: "Multiple Patients Behavior Detection in Real-time using mmWave Radar and Deep CNNs", 《2019 IEEE RADAR CONFERENCE (RADARCONF)》 *
FRANCESCO FIORANELLI等: "Radar sensing for healthcare", 《ELLECTRONICS LETTERS》 *
WANG PING 等: "A convolution neural network approach for fall detection based on adaptive channel selection of UWB radar signals", 《NEURAL COMPUTING AND APPLICATIONS》 *
袁延鑫等: "基于卷积神经网络和微动特征的人体步态识别技术", 《信号处理》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079416A (zh) * 2023-10-16 2023-11-17 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统
CN117079416B (zh) * 2023-10-16 2023-12-26 德心智能科技(常州)有限公司 基于人工智能算法的多人5d雷达跌倒检测方法及系统

Also Published As

Publication number Publication date
CN115291184B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
Zhao et al. mid: Tracking and identifying people with millimeter wave radar
He et al. WiFi vision: Sensing, recognition, and detection with commodity MIMO-OFDM WiFi
Cippitelli et al. Radar and RGB-depth sensors for fall detection: A review
Yang et al. Dense people counting using IR-UWB radar with a hybrid feature extraction method
Choi et al. People counting using IR-UWB radar sensor in a wide area
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
Li et al. Towards domain-independent and real-time gesture recognition using mmwave signal
Ruan et al. Tagtrack: Device-free localization and tracking using passive rfid tags
Ding et al. Human object estimation via backscattered radio frequency signal
CN115291184B (zh) 一种毫米波雷达与深度学习结合的姿态监测方法
CN113447905A (zh) 双毫米波雷达人体跌倒检测装置及检测方法
Jia et al. ResNet-based counting algorithm for moving targets in through-the-wall radar
El Attaoui et al. Machine learning‐based edge‐computing on a multi‐level architecture of WSN and IoT for real‐time fall detection
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
CN114814832A (zh) 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法
Wong et al. Automatic tropical cyclone eye fix using genetic algorithm
Mohan et al. Non-invasive technique for real-time myocardial infarction detection using faster R-CNN
CN114994663A (zh) 一种基于毫米波雷达的跌倒检测方法及系统
CN109918994B (zh) 一种基于商用Wi-Fi的暴力行为检测方法
Wang et al. Real-time Through-Wall Multi-Human Localization and Behavior Recognition Based on MIMO Radar
Liu et al. Human presence detection via deep learning of passive radio frequency data
Tian et al. Indoor device-free passive localization for intrusion detection using multi-feature PNN
Aziz et al. A MIMO radar-based metric learning approach for activity recognition
Alkasimi et al. Geolocation tracking for human identification and activity recognition using radar deep transfer learning
CN115937977A (zh) 一种基于多维特征融合的少样本人体动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant