CN117292439B - 一种基于室内毫米波雷达的人体姿态识别方法及系统 - Google Patents

一种基于室内毫米波雷达的人体姿态识别方法及系统 Download PDF

Info

Publication number
CN117292439B
CN117292439B CN202311587557.5A CN202311587557A CN117292439B CN 117292439 B CN117292439 B CN 117292439B CN 202311587557 A CN202311587557 A CN 202311587557A CN 117292439 B CN117292439 B CN 117292439B
Authority
CN
China
Prior art keywords
data
target
millimeter wave
human body
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311587557.5A
Other languages
English (en)
Other versions
CN117292439A (zh
Inventor
刘晓东
魏佳妤
蔡琦
王玉皞
王正海
孙艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202311587557.5A priority Critical patent/CN117292439B/zh
Publication of CN117292439A publication Critical patent/CN117292439A/zh
Application granted granted Critical
Publication of CN117292439B publication Critical patent/CN117292439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种基于室内毫米波雷达的人体姿态识别方法及系统，该方法通过获取由调频连续波毫米波雷达设备采集的人体姿态样本数据；将人体姿态样本数据进行预处理，得到多普勒特征图谱构成的第一目标数据集，并进行混合数据增强处理，得到第二目标数据集；构建小样本迁移学习识别网络模型，并将第二目标数据集的数据输入模型中进行训练，得到目标模型；实时获取人体动作数据，输入目标模型中，输出姿态识别结果，具体的，由于对样本数据依次进行预处理和混合数据增强处理，得到扩充的毫米波雷达数据集，同时，为了降低深度学习网络的数据需求，及处理多普勒特征图谱的性能损失，提出了上述模型，以降低过拟合风险。

Description

一种基于室内毫米波雷达的人体姿态识别方法及系统
技术领域
本发明属于电子信息技术领域，具体涉及一种基于室内毫米波雷达的人体姿态识别方法及系统。
背景技术
物联网和无线通信、感知、探测等技术的普及和应用，极大地加快了科学技术和社会的发展进程，特别是大量的人类生产生活陆续由室外转向室内，由此引起了人们对安全可控的室内环境的重视。同时，智能控制、大数据及人工智能技术的兴起为室内环境智能化管理提供了契机。智能管理服务不仅可以让人们获得更安全、更可靠的生活环境，而且能够提高人们生活和社会生产效率。在此背景下，人体姿态感知识别技术对于安全监控、人机交互与用户体验、虚拟现实与增强现实、教育与医疗领域等具有十分重要的意义。
对此，学术界和工业界围绕人体姿态感知识别技术需求相继提出多种不同的实施方案，包括基于摄像头的视觉感知、基于便携式传感器的运动监测、以及基于Wi-Fi的感知识别等方法。这些方法针对不同场景需求，根据其所获取的人体目标识别的原始多维度信号开展人体姿态感知和动作识别。然而，上述方法在发展和运用过程中也暴露了一些问题：传统基于摄像头进行行为识别方法会存隐私泄露风险，其在安全性、准确性和稳定性方面存在一定争议，这限制了该方法的广泛应用；基于便携式传感器的运动监测易受到硬件电路和计算资源的限制，并且其设备应用范围和场景较为有限；基于Wi-Fi的行为识别技术中需要依赖于背景环境，这使得动作感知模型的跨域识别性能不佳，并且Wi-Fi行为识别系统的相对位置感知技术尚未得到完善。
面对以上所存在的问题，基于雷达传感器的无线信号能在很大程度上缓解上述问题，但以毫米波雷达技术为基础实现人体姿态感知识别的方式仍存在不可忽视的技术挑战。首先，传统的毫米波雷达信号处理方法往往依赖于常用物理模型和场景先验信息以提取特征信息，从而实现人体姿态识别，这意味着该类方法更适用于单一或固定的场景和少数特定动作变化。现实生活中往往存在较多复杂多变的场景和动作，因此利用传统方法进行人体动作识别通常效果较差且不易扩展。
为了克服上述缺陷而提高其方法的适用性，得益于深度神经网络和机器学习在数据处理过程中的数据特征归纳能力和泛化能力，研究人员陆续将机器学习和深度学习的数据处理方法应用于毫米波雷达信号处理，以此构成机器学习赋能的毫米波雷达信号特征提取方法。这些方法具备较强的高维特征映射能力，能有效提高其人体姿态识别方法对不同场景和动作的特征信息提取能力，进而提高人体动作行为识别性能。然而，传统机器学习虽具有一定的优点，但需要一定程度的人工干预进行特征工程处理，而且难以处理复杂场景任务、难以适用于新场景任务等。深度学习的方法往往需要较大的训练数据集，由于毫米波雷达人体动作数据采集十分繁琐，且毫米波雷达信号的特征预提取困难，使得毫米波雷达人体动作数据集的数量和多样性难以得到有效保证，这将导致深度学习模型无法得到充足的数据进行训练而出现过拟合的现象。
发明内容
基于此，本发明实施例当中提供了一种基于室内毫米波雷达的人体姿态识别方法及系统，旨在解决现有技术中，毫米波雷达人体动作数据集的数量和多样性不足，导致网络模型过拟合的问题。
本发明实施例的第一方面提供了一种基于室内毫米波雷达的人体姿态识别方法，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述方法包括：
获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集；
构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型，其中，所述小样本迁移学习识别网络模型包括目标提取层和与所述目标提取层连接的目标识别层，其中，所述目标提取层为50层深度的残差神经网络卷积层，所述目标识别层包括依次连接的全局平均池化层、第一随机失活层、第一全连接层、批标准化层、第二随机失活层、第二全连接层及Softmax，所述第一随机失活层超参数设置为0.5，所述第二随机失活层超参数设置为0.6，所述第二全连接层为采用Dense函数创建的一个具有M个神经元的全连接层，以适应所述第二目标数据集的M个类别，所述第二全连接层包含12个输出神经元，再经Softmax进行识别判决，进而得到毫米波人体姿态识别结果；
实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果。
进一步的，所述获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号的步骤中，根据对回波信号的提取，得到静态目标相对于调频连续波毫米波雷达设备的第一距离、运动目标相对于调频连续波毫米波雷达设备的第二距离以及运动目标相对于调频连续波毫米波雷达设备的运动速度，其中，
所述第一距离的表达式为：
；
Rs表示为所述第一距离，c表示为空气中的光速，T表示为调频连续波毫米波雷达发射信号的信号调制周期，B表示为调频连续波毫米波雷达发射信号的有效带宽，fb表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值；
所述第二距离的表达式为：
；
Rd表示为所述第二距离，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值；
所述运动速度的表达式为：
；
v表示为所述运动速度，f0表示为调频连续波毫米波雷达的中心频率，fD表示为多普勒频移。
进一步的，所述将所述人体姿态样本数据进行预处理，得到多普勒特征图谱的步骤包括：
将回波信号解析重组，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；
将所述频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；
将所述目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；
采用零速通道置零算法，舍弃所述二维FFT矩阵中位于零速通道的回波信号，得到所述多普勒特征图谱。
进一步的，所述将回波信号解析重组的步骤包括：
确定调频连续波毫米波雷达设备的接收通道数量；
将预设帧数据中所有采样点的回波信号按各自通道组合所述接收通道数量的二维数组，并与所述接收通道数量的接收通道的数据相加，得到重组后的数据。
进一步的，所述将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集的步骤中，首先采用传统增强方法，对所述第一目标数据集进行数据增强，再随机选取预设比例的数据进行色彩阈值的图像增强，最后经色彩阈值处理后的数据采用Cutout、Hide And Seek、GridMask、Mixup、CutMix五种方法分别进行数据增强处理，得到所述第二目标数据集。
进一步的，所述构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型的步骤中，采用L2正则化技术来进一步降低过拟合风险，经过L2正则化后的损失函数L（x）表示为：
；
其中，xi表示为训练样本，L0（x）表示为原损失函数，β表示为正则化系数，表示为L2正则化项。
本发明实施例的第二方面提供了一种基于室内毫米波雷达的人体姿态识别系统，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述系统包括：
获取模块，用于获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
预处理模块，用于将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
数据增强模块，用于将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集；
训练模块，用于构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型；
输入模块，用于实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果。
本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于室内毫米波雷达的人体姿态识别方法。
本发明实施例的第四方面提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于室内毫米波雷达的人体姿态识别方法。
本发明的有益效果为：该方法通过获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；将人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；将第一目标数据集进行混合数据增强处理，得到第二目标数据集；构建小样本迁移学习识别网络模型，并将第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型；实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入目标模型中，输出姿态识别结果，具体的，由于对样本数据依次进行预处理和混合数据增强处理，得到扩充的毫米波雷达数据集，同时，为了降低深度学习网络的数据需求并针对基于自然图像的迁移学习网络在处理雷达多普勒特征图谱的性能损失，提出了小样本迁移学习识别网络模型，以降低过拟合风险，并且增强模型的鲁棒性，实现小样本数据量的人体姿态识别。
附图说明
图1为本发明实施例一提供的一种基于室内毫米波雷达的人体姿态识别方法的实现流程图；
图2为雷达发射信号与目标回波信号的频率-时间变化曲线图；
图3为数据解析重组示意图；
图4为本发明实施例三提供的一种基于室内毫米波雷达的人体姿态识别系统的结构示意图；
图5为本发明实施例四当中的电子设备的结构框图。
以下具体实施方式将结合上述附图进一步说明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，为本发明实施例一提供的一种基于室内毫米波雷达的人体姿态识别方法的实现流程图，该方法应用于具备多发多收天线的调频连续波毫米波雷达设备中，具体包括步骤S01至步骤S05。
步骤S01，获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号。
具体的，请参阅图2，为雷达发射信号与目标回波信号的频率-时间变化曲线图，需要说明的是，当被测目标相对于雷达静止时，目标的雷达接收信号波形和发射信号的波形形态相同，静态目标的回波信号在时间上延迟了td。其中，td与目标距调频连续波毫米波雷达的距离R有关，关系可表示为：
（1）
其中，c表示为空气中的光速，一般取3×108m/s，在本发明实施例当中，调频连续波毫米波雷达发射信号的信号调制周期为T，调频连续波毫米波雷达发射信号的有效带宽为B，具体的，信号调制周期是指将最低发射频率增大到最高发射频率的时间。因此，调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值fb可通过如下公式计算：
（2）
根据公式（1）和公式（2），可以计算出静态目标相对于调频连续波毫米波雷达设备的第一距离，第一距离的表达式为：
（3）。
进一步的，如图2所示，对于运动目标的探测，调频连续波毫米波雷达与被测运动目标之间存在相对运动关系，其雷达回波信号会受到多普勒频移的影响。多普勒频移fD取决于目标物体相对于雷达的运动速度。因此，调频连续波毫米波雷达可以通过检测目标回波信号中的多普勒频移，从而获得目标相对于雷达的速度信息，多普勒频移fD的计算公式如下：
（4）
（5）
（6）
其中，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，由多普勒原理中多普勒频移与相对速度和中心频率的正比关系，可推算运动目标相对于探测雷达的运动速度v，其表达式给定为：
（7）
v表示为运动速度，f0表示为调频连续波毫米波雷达的中心频率，而运动速度v的正负分别表示为运动目标相对于雷达的靠近和远离的运动方向。在此基础上，利用公式(3)、(5)和(6)可以计算得到运动目标相对于调频连续波毫米波雷达设备的第二距离，其表达式给定为：
（8）
当，公式(8)将简化为(3)，而且公式(7)为0。因此，无论待感知目标是否在运动，通过提取回波信号和发射信号的上升沿和下降沿各自的频差，基于公式(7)和(8)即可得到被测目标与雷达之间的相对速度和距离。
步骤S02，将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集。
为了减少原始数据的复杂程度以及杂波影响，将获取的人体姿态样本数据进行预处理，具体步骤包括，将回波信号解析重组，其中，将回波信号解析重组的步骤包括，确定调频连续波毫米波雷达设备的接收通道数量；将预设帧数据中所有采样点的回波信号按各自通道组合接收通道数量的二维数组，并与接收通道数量的接收通道的数据相加，得到重组后的数据，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；将频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；将目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；采用零速通道置零算法，舍弃二维FFT矩阵中位于零速通道的回波信号，得到多普勒特征图谱。
更为具体的，为了提高探测性能，本发明实施例所采用的毫米波雷达为多发多收天线，并在终端可获得Nr个接收通道的信号。因此，首先将毫米波雷达采集的原始回波数据按通道进行分类，即将NF帧数据中所有Chirp（线性调频信号）的回波信号按各自通道组合Nr个二维数组，接着将Nr个接收通道的数据相加，合并为一个新的二维数据矩阵，这即是总接收通道数据以提高目标回波的强度。然后，通过对重组数据在距离维度上每一个Chirp加上切比雪夫窗后，再对其运用FFT转换到频域信号SR。
为了降低室内环境中存在众多静态物体的杂波干扰并提高测量精度，需对接收回波信号进行求平均采用相量均值相消算法对数据进行处理。具体来说，对频域信号SR取平均得出参考接收信号，接着对接收信号和参考信号在各自对应的采样点取差值得到目标回波信号。然后，对使用相量均值相消算法滤除静态杂波后的信号从速度维进行FFT操作，得到二维FFT矩阵。接下来采用零速通道置零算法，舍弃二维FFT矩阵中位于零速通道的回波信号数据，进一步滤除速度为零的目标单元，保留单边的FFT结果，最终得到处理后更准确的多普勒特征图谱。
步骤S03，将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集。
通过上述生成的由多普勒特征图谱构成的数据集，并不足以用于毫米波雷达人体姿态识别所需的训练数据量，否则这会造成深度学习模型无法完全学习到输入数据的特征和规律，导致了深度学习模型过拟合现象。针对此，本发明实施例采用了数据增强技术对雷达人体动作数据集进行扩充，以提高训练模型的归纳能力。由于雷达人体姿态的速度时间图与时间有一定相关性，不能简单将自然图像的图像分类任务中的数据增强方法移植到雷达人体姿态识别任务中，本发明实施例采用混合数据增强方式。
将第一目标数据集进行混合数据增强处理，得到第二目标数据集的步骤中，首先采用传统增强方法，对第一目标数据集进行数据增强，再随机选取预设比例的数据进行色彩阈值的图像增强，为了改善毫米波雷达探测过程中出现的干扰和失真等问题，最后经色彩阈值处理后的数据采用Cutout、Hide And Seek、GridMask、Mixup、CutMix五种方法分别进行数据增强处理，得到第二目标数据集。
更为具体的，采用传统增强方法，例如旋转、平移、缩放等对雷达采集的样本和Glasgow开源数据集（格拉斯哥开源数据集）中的样本进行数据增强，同时随机选取一定比例的训练集图像进行色彩阈值的图像增强，同时为了保证数据集的多样性，再将经色彩阈值的处理后的图像采用Cutout、Hide And Seek、GridMask、Mixup、CutMix五种方法分别进行数据增强处理。其具体处理方法和所考虑的毫米波雷达探测过程中出现的干扰和失真问题归纳如下。
Cutout数据增强处理：
由于毫米波雷达探测者过程中存在移动物体，会对目标探测区域产生遮挡或阴影效果，因此原始探测图像可能会存在局部区域失真。对此，在输入的图像中随机选取一个矩形区域，设定该矩形区域的最大尺寸，对矩形区域的像素值进行置零、像素值平均、随机取值等操作。这种操作可以让模型在缺失某些区域的情况下仍能准确地识别。
Hide And Seek数据增强处理：
由于毫米波雷达探测者过程中受遮挡或阴影效果的影响，部分区域的直线探测链路无法工作，但与此同时探测信号可能经过多径链路对其进行探测，而这部分的探测结果是存在多径干扰的。为此，将图像随机划分为若干个图像块，在每个图像块中随机选择一些像素，并将其设为隐藏像素。隐藏像素被视为“缺失的”或“损坏的”像素。通过在隐藏像素周围的像素上进行预测，得到一个初步的结果。然后将隐藏的区域恢复，得到一个新的图像，再使用模型对这个新的图像进行预测，得到一个新的结果。最后使用加权平均法将两个结果融合，得到最终结果。重复上述的隐藏、恢复的步骤，直至得到三倍数量的多普勒特征图谱数据样本。
GridMask的数据增强处理：
由于Cutout数据增强所考虑的遮挡的随机的，而同时可能还存在有规律性的遮挡，比如一个人形遮挡，对此，根据设定的遮挡比例，确定遮挡区域大小和位置，并采用网格状遮挡方式。之后，根据遮挡区域的大小和位置，生成一个掩码，掩盖需要遮挡的区域。接下来将生成的遮挡掩码应用到图像上，得到一个新的图像，并使用生成的新图像进行模型训练。
Mixup数据增强处理：
由于毫米波雷达探测过程中可能遇到设备热噪声和信道噪声的干扰，所采集的原始数据和真实数据存在误差，考虑到该部分误差，在数据集中随机选取两个不同的训练样本xi和xj以及它们的标签yi和yj，并随机生成一个服从贝塔分布的权重系数λ，通常在0到1之间。据此，生成一个新的样本xmix和新标签ymix：
（9）
（10）
将生成的新样本xmix和新标签ymix作为训练数据。
CutMix 数据增强处理：
鉴于毫米波探测所获取的数据在存储和读取过程中可能出现图像数据的错位等问题，为了避免该问题对人体识别的影响，首先随机选取两张不同的图像，并随机选取一个矩形区域。将选取的矩形区域从一张图像中裁剪出来，生成裁剪掩码，并将其粘贴到另一张图像中。根据选取的矩形区域计算出粘贴的位置和大小，并进行像素值的插值处理。然后，计算新生成的图像的标签。对于原始的标签，可以将它们进行加权平均，其中一个图像的权重为粘贴的矩形区域所占的比例，另一个图像的权重为剩余区域所占的比例。最后使用生成的新图像和标签进行模型训练。
步骤S04，构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型。
由于毫米波雷达原始数据采集成本较大，上述数据增强的方式虽然能有效增大数据样本和多样性，但将其用于开展大样本模型训练难以获取高性能的识别模型，采用迁移学习是一条可行路径，即采用当前相对较为成熟的网络模型学习并提取图像的共性特征，而再结合所需解决问题的具体特征设计个性提取和识别网络。鉴于ImageNet数据集被广泛运用，并且得益于残差学习可以解决了图像处理过程中卷积神经网络深层网络的梯度弥散和精度下降问题，为此将残差神经网络的特征提取层，即卷积层作为所述目标提取层。同时为了兼顾所提网络的识别效率和性能，所述目标提取层的层深度设置为50。值得注意的是，由于当前残差神经网络卷积层的训练样本，即ImageNet数据集为自然图像，和雷达多普勒特征图谱存在较大差异。同时，由于所述目标提取层的网络层数和节点数过多，导致模型计算大量参数易出现过拟合问题，因此在采用相对成熟的残差神经网络卷积层作为所述目标提取层用于提取图像共性特征的基础上，设计了目标识别层，以达到更好的识别效果。为了确保迁移学习效果，在50层深度的残差神经网络卷积层基础上，提出目标识别层，设计了一个全局平均池化层，两个全连接层，并引入随机失活层、批标准化和Softmax，即最终的小样本迁移学习识别网络（Few-shot learning transfer learning recognition network,FSTLRNet）模型。
由于模型的卷积层负责特征提取，而全连接层负责分类，因此为了保留50层深度的残差神经网络卷积层原始通用特征提取能力，本发明实施例开展模型训练过程中将冻结50层深度的残差神经网络卷积层的所有权重参数，该策略可以显著减少调参的时间和所需的训练样本数量，快速学习全连接层的权重参数。随机失活层主要通过降低神经元节点数，使全连接网络更加稀疏化，减少全连接网络中各个神经元节点的冗余和重复特征，能有效减轻由于数据量不足而出现的过拟合现象。
鉴于目标提取层到目标识别层的第一组平均池化和全连接层的过拟合风险较大，第一随机失活层超参数设置为0.5，而第二组平均池化和全连接层的过拟合风险相对可控，为了提供准确率并经过网络预训练，第二随机失活层超参数设置为0.6。需要说明的是，本发明实施例雷达人体姿态识别数据集支持M个类别，因此采用Dense函数创建了一个具有M个神经元的全连接层以适应自建数据集，其包含12个输出神经元，再经Softmax进行识别判决，从而得到毫米波人体姿态识别结果。
同时，还采用L2正则化技术来进一步降低过拟合风险。具体来说，L2正则化技术是通过增加L 2惩罚项来限制参数，以减少参数的平方计算从而使损失函数更加稳定，加快模型收敛速度并减轻模型的过拟合问题。设原损失函数为L0（x），经过L2正则化后的损失函数L（x）表示为：
（11）
其中，xi表示为训练样本，L0（x）表示为原损失函数，β表示为正则化系数，表示为L2正则化项。基于此对损失函数参数用x求导可得到：
（12）
（13）
（14）
公式(13)中，x在单次梯度下降中更新为。由公式(13)可知，L2正则化后的参数x的系数小于1，这意味着x的变化更平滑，这可以降低x在更新中的权重，有效提升模型的泛化能力。
步骤S05，实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果。
由上可知，本发明实施例从数据集的产生和网络模型的优化两方面入手。一方面扩展数据样本，通过对雷达原始回波信号进行多步骤的数据处理，并引入数据增强技术进行数据集扩增，确保网络训练中模型可以将特征信息进行多维度提取的准确性。另一方面降低数据需求，得益于迁移学习技术可以将一个模型在一个任务上学习到的知识应用到另一个相关任务中，从而有效地利用已有数据和模型权重而加快新任务的学习过程并实现小样本的数据处理。换言之，通过数据增强来增加样本数量，并通过迁移学习技术来降低数据需求且保证高效且准确的特征信息提取能力，是提高人体动作识别准确度和泛化性的关键。
综上，本发明上述实施例当中的基于室内毫米波雷达的人体姿态识别方法，该方法通过获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；将人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；将第一目标数据集进行混合数据增强处理，得到第二目标数据集；构建小样本迁移学习识别网络模型，并将第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型；实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入目标模型中，输出姿态识别结果，具体的，由于对样本数据依次进行预处理和混合数据增强处理，得到扩充的毫米波雷达数据集，同时，为了降低深度学习网络的数据需求并针对基于自然图像的迁移学习网络在处理雷达多普勒特征图谱的性能损失，提出了小样本迁移学习识别网络模型，以降低过拟合风险，并且增强模型的鲁棒性，实现小样本数据量的人体姿态识别。
实施例二
为了验证本发明实施例一提供的一种基于室内毫米波雷达的人体姿态识别方法的有效性，本发明实施例二选取了一个4m×6m的小型室内会议室和6m×8m大型室内会议室作为雷达感知数据采集场景。本发明实施例二所采用的雷达为4发4收毫米波波段雷达，并被安置在离地高度1m的房间角落。根据场景的用户特性，雷达法线朝向房间的中心区域，以便于高效开展人体感知采集。邀请了身体体型不尽相同的8个志愿者（男女比例1:1）随机示范日常生活中经常发生的12个动作。接着借助雷达平台Calterah Client的GUI界面设置数据采集帧数为40，并开始动态数据采集模式，采集雷达时域ADC数据。注意对于每个动作共收集来自8个用户的100个数据量。基于此，将得到总共1200个自制数据。
请参阅图3，为数据解析重组示意图，如图3中上半部分一维数据所示为毫米波雷达的收发数据结构，其中每一帧数据包含255个Chirp，而每个Chirp由255个采样点构成。由于采用的4发4收雷达，则雷达最终将采集到16个通道的一维数据。为了便于接下来使用图像处理网络模型进行数据处理，需要将上述采集到的16个通道的ADC一维数据转化为二维数据。如图3中下半部分所示为二维数据重组，即按通道将相同帧、相同Chirp的255个采样点数据按行进行合并，接着对得到的16个通道的二维数据进行叠加运算得到总体二维数据信息。然后，对重组数据从距离维上对每一个Chirp加切比雪夫窗后并进行FFT运算得到频域信号。再者，通过相量均值相消算法滤除信号中的静态杂波，再对信号从速度维进行FFT得到二维FFT矩阵的信号数据，同时采用零速通道置零算法滤除二维FFT矩阵中速度为零的目标单元，并保留单边的FFT结果，最终得到数据预处理后的多普勒特征图谱。
然后，采用旋转、平移、缩放等传统方式对雷达采集的1200个样本和来自Glasgow开源数据集的1730个样本进行处理得到3600个自制样本和3460个开源样本，同时随机选取25%的图像进行色彩通道打乱、色彩抖动、浮雕、直方图均衡、叠加高斯噪声、叠加随机雪花纹理、乘性噪声、HSV色系转化、色调分离、反转变换、特定阈值反转的色彩阈值处理，并对这些色彩阈值的处理后的图像分别采用Cutout、Hide And Seek、GridMask、Mixup、CutMix五种方法进行数据增强处理以提高数据的多样性，便于探究不同的数据增强方式的性能差异。
基于上述所获得的3600个有效的自制增强数据样本和3460个开源增强数据样本，按8：1：1的数据比例分别用于小样本迁移学习识别网络模型的训练、验证和测试阶段。该模型的目标提取层部分的参数直接采用已训练成熟的权重数据。因此，考虑到迁移学习的50层残差卷积神经网络模型直接采用已从ImageNet50数据库训练好的模型，其卷积层在提取图像特征方面具有通用性，50层残差卷积神经网络模型的卷积层在训练阶段将被冻结，只需利用训练数据对网络优化的分类部分进行学习训练。由于本发明实施例的动作类别为12种，因此图5所示的最后一层全链接层节点数为12个。最后对评估数据采用交叉验证方式选择最佳超参数以优化模型，并利用验证和测试数据集分别用来优化模型和评估模型性能。
通过测试数据评估不同方式的识别准确率可知，对于Glasgow开源数据集，未使用数据增强的小样本迁移学习识别网络模型在测试数据集的准确率仅为0.814，而结合数据增强的小样本迁移学习识别网络模型识别率显著提升，其中传统数据增强方式的准确率可达到0.929，提高了11.5%；同时，使用了Mixup的数据增强的准确率达到0.93，提高了11.6%。而对于自制的数据集，未使用数据增强的识别模型在测试数据集的准确率只有0.898，而结合数据增强的小样本迁移学习识别网络模型识别率显著提升，其中传统数据增强方式的准确率可达到0.917，提高了1.9%；同时，使用了Cutout的数据增强的准确率达到0.95，提高了5.2%。整体而言，结合传统增强方法和迁移学习的模型表现相对稳定，同时，更进一步采用了诸如Mixup和Cutout辅助的数据增强迁移网络可提高模型的表现，增强模型的泛化性，同时提高模型性能。
实施例三
请参阅图4，为本发明实施例三提供的一种基于室内毫米波雷达的人体姿态识别系统的结构示意图，所述基于室内毫米波雷达的人体姿态识别系统200应用于具备多发多收天线的调频连续波毫米波雷达设备中，具体包括：
获取模块21，用于获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号，根据对回波信号的提取，得到静态目标相对于调频连续波毫米波雷达设备的第一距离、运动目标相对于调频连续波毫米波雷达设备的第二距离以及运动目标相对于调频连续波毫米波雷达设备的运动速度，其中，
所述第一距离的表达式为：
；
Rs表示为所述第一距离，c表示为空气中的光速，T表示为调频连续波毫米波雷达发射信号的信号调制周期，B表示为调频连续波毫米波雷达发射信号的有效带宽，fb表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值；
所述第二距离的表达式为：
；
Rd表示为所述第二距离，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值；
所述运动速度的表达式为：
；
v表示为所述运动速度，f0表示为调频连续波毫米波雷达的中心频率，fD表示为多普勒频移；
预处理模块22，用于将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
数据增强模块23，用于将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集，其中，首先采用传统增强方法，对所述第一目标数据集进行数据增强，再随机选取预设比例的数据进行色彩阈值的图像增强，最后经色彩阈值处理后的数据采用Cutout、Hide And Seek、GridMask、Mixup、CutMix五种方法分别进行数据增强处理，得到所述第二目标数据集；
训练模块24，用于构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型，所述小样本迁移学习识别网络模型包括目标提取层和与所述目标提取层连接的目标识别层，其中，所述目标提取层为50层深度的残差神经网络卷积层，所述目标识别层包括依次连接的全局平均池化层、第一随机失活层、第一全连接层、批标准化层、第二随机失活层、第二全连接层及Softmax，所述第一随机失活层超参数设置为0.5，所述第二随机失活层超参数设置为0.6，所述第二全连接层为采用Dense函数创建的一个具有M个神经元的全连接层，以适应所述第二目标数据集的M个类别，所述第二全连接层包含12个输出神经元，再经Softmax进行识别判决，进而得到毫米波人体姿态识别结果，另外，采用L2正则化技术来进一步降低过拟合风险，经过L2正则化后的损失函数L（x）表示为：
；
其中，xi表示为训练样本，L0（x）表示为原损失函数，β表示为正则化系数，表示为L2正则化项；/>
输入模块25，用于实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果。
进一步的，在本发明其它一些实施例当中，所述预处理模块22包括：
解析重组单元，用于将回波信号解析重组，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；
取平均单元，用于将所述频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；
FFT处理单元，用于将所述目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；
舍弃单元，用于采用零速通道置零算法，舍弃所述二维FFT矩阵中位于零速通道的回波信号，得到所述多普勒特征图谱。
进一步的，在本发明其它一些实施例当中，所述解析重组单元包括：
确定子单元，用于确定调频连续波毫米波雷达设备的接收通道数量；
解析重组子单元，用于将预设帧数据中所有采样点的回波信号按各自通道组合所述接收通道数量的二维数组，并与所述接收通道数量的接收通道的数据相加，得到重组后的数据。
实施例四
本发明另一方面还提出一种电子设备，请参阅图5，所示为本发明实施例四当中的电子设备的结构框图，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的基于室内毫米波雷达的人体姿态识别方法。
其中，处理器10在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图5示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于室内毫米波雷达的人体姿态识别方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (8)

1.一种基于室内毫米波雷达的人体姿态识别方法，其特征在于，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述方法包括：
获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集；
构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型，其中，所述小样本迁移学习识别网络模型包括目标提取层和与所述目标提取层连接的目标识别层，其中，所述目标提取层为50层深度的残差神经网络卷积层，所述目标识别层包括依次连接的全局平均池化层、第一随机失活层、第一全连接层、批标准化层、第二随机失活层、第二全连接层及Softmax，所述第一随机失活层超参数设置为0.5，所述第二随机失活层超参数设置为0.6，所述第二全连接层为采用Dense函数创建的一个具有M个神经元的全连接层，以适应所述第二目标数据集的M个类别，所述第二全连接层包含12个输出神经元，再经Softmax进行识别判决，进而得到毫米波人体姿态识别结果；
实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果；
所述将所述人体姿态样本数据进行预处理，得到多普勒特征图谱的步骤包括：
将回波信号解析重组，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；
将所述频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；
将所述目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；
采用零速通道置零算法，舍弃所述二维FFT矩阵中位于零速通道的回波信号，得到所述多普勒特征图谱。
2.根据权利要求1所述的基于室内毫米波雷达的人体姿态识别方法，其特征在于，所述获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号的步骤中，根据对回波信号的提取，得到静态目标相对于调频连续波毫米波雷达设备的第一距离、运动目标相对于调频连续波毫米波雷达设备的第二距离以及运动目标相对于调频连续波毫米波雷达设备的运动速度，其中，
所述第一距离的表达式为：
；
Rs表示为所述第一距离，c表示为空气中的光速，T表示为调频连续波毫米波雷达发射信号的信号调制周期，B表示为调频连续波毫米波雷达发射信号的有效带宽，fb表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值；
所述第二距离的表达式为：
；
Rd表示为所述第二距离，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值；
所述运动速度的表达式为：
；
v表示为所述运动速度，f0表示为调频连续波毫米波雷达的中心频率，fD表示为多普勒频移。
3.根据权利要求2所述的基于室内毫米波雷达的人体姿态识别方法，其特征在于，所述将回波信号解析重组的步骤包括：
确定调频连续波毫米波雷达设备的接收通道数量；
将预设帧数据中所有采样点的回波信号按各自通道组合所述接收通道数量的二维数组，并与所述接收通道数量的接收通道的数据相加，得到重组后的数据。
4.根据权利要求3所述的基于室内毫米波雷达的人体姿态识别方法，其特征在于，所述将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集的步骤中，首先采用传统增强方法，对所述第一目标数据集进行数据增强，再随机选取预设比例的数据进行色彩阈值的图像增强，最后经色彩阈值处理后的数据采用Cutout、Hide And Seek、GridMask、Mixup、CutMix五种方法分别进行数据增强处理，得到所述第二目标数据集。
5.根据权利要求4所述的基于室内毫米波雷达的人体姿态识别方法，其特征在于，所述构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型的步骤中，采用L2正则化技术来进一步降低过拟合风险，经过L2正则化后的损失函数L（x）表示为：
；
其中，xi表示为训练样本，L0（x）表示为原损失函数，β表示为正则化系数，表示为L2正则化项。
6.一种基于室内毫米波雷达的人体姿态识别系统，其特征在于，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述系统包括：
获取模块，用于获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
预处理模块，用于将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
数据增强模块，用于将所述第一目标数据集进行混合数据增强处理，得到第二目标数据集；
训练模块，用于构建小样本迁移学习识别网络模型，并将所述第二目标数据集的数据输入小样本迁移学习识别网络模型中进行训练，得到目标模型；
输入模块，用于实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果；
所述预处理模块包括：
解析重组单元，用于将回波信号解析重组，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；
取平均单元，用于将所述频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；
FFT处理单元，用于将所述目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；
舍弃单元，用于采用零速通道置零算法，舍弃所述二维FFT矩阵中位于零速通道的回波信号，得到所述多普勒特征图谱。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－5任一项所述的基于室内毫米波雷达的人体姿态识别方法。
8.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1－5任一项所述的基于室内毫米波雷达的人体姿态识别方法。
CN202311587557.5A 2023-11-27 2023-11-27 一种基于室内毫米波雷达的人体姿态识别方法及系统 Active CN117292439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311587557.5A CN117292439B (zh) 2023-11-27 2023-11-27 一种基于室内毫米波雷达的人体姿态识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311587557.5A CN117292439B (zh) 2023-11-27 2023-11-27 一种基于室内毫米波雷达的人体姿态识别方法及系统

Publications (2)

Publication Number Publication Date
CN117292439A CN117292439A (zh) 2023-12-26
CN117292439B true CN117292439B (zh) 2024-03-22

Family

ID=89244816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311587557.5A Active CN117292439B (zh) 2023-11-27 2023-11-27 一种基于室内毫米波雷达的人体姿态识别方法及系统

Country Status (1)

Country Link
CN (1) CN117292439B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554379A (zh) * 2019-09-18 2019-12-10 南京慧尔视智能科技有限公司 基于微多普勒的人员检测方法及系统
CN113109785A (zh) * 2020-01-10 2021-07-13 江西商思伏沌科技有限公司 一种mimo雷达多通道分离方法
CN115859078A (zh) * 2022-11-10 2023-03-28 西安邮电大学 一种基于改进Transformer的毫米波雷达跌倒检测方法
CN116338667A (zh) * 2021-12-22 2023-06-27 上海智能制造功能平台有限公司 一种基于微波感知的人体探测方法、系统和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11719787B2 (en) * 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554379A (zh) * 2019-09-18 2019-12-10 南京慧尔视智能科技有限公司 基于微多普勒的人员检测方法及系统
CN113109785A (zh) * 2020-01-10 2021-07-13 江西商思伏沌科技有限公司 一种mimo雷达多通道分离方法
CN116338667A (zh) * 2021-12-22 2023-06-27 上海智能制造功能平台有限公司 一种基于微波感知的人体探测方法、系统和介质
CN115859078A (zh) * 2022-11-10 2023-03-28 西安邮电大学 一种基于改进Transformer的毫米波雷达跌倒检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
一种基于卷积神经网络的雷达目标分类方法;高淑雅;高跃清;;信息技术(01);全文 *
基于字典学习的77 GHz雷达人体动作识别;蒋留兵;魏光萌;车俐;;科学技术与工程(06);全文 *
基于深度迁移学习的窄带雷达群目标识别方法;梁复台;李宏权;张晨浩;;兵器装备工程学报(04);全文 *
蒋留兵 ; 魏光萌 ; 车俐 ; .基于字典学习的77 GHz雷达人体动作识别.科学技术与工程.2020,(06),全文. *
高淑雅 ; 高跃清 ; .一种基于卷积神经网络的雷达目标分类方法.信息技术.2020,(01),全文. *

Also Published As

Publication number Publication date
CN117292439A (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
WO2021000902A1 (zh) 一种sar图像数据增强方法、装置及存储介质
Wang et al. TS-I3D based hand gesture recognition method with radar sensor
CN109740639B (zh) 一种风云卫星遥感影像云检测方法、系统及电子设备
CN107229918B (zh) 一种基于全卷积神经网络的sar图像目标检测方法
Ye et al. Dynamic texture based smoke detection using Surfacelet transform and HMT model
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
Yu et al. Context-based hierarchical unequal merging for SAR image segmentation
CN103927531B (zh) 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN109726649B (zh) 遥感影像云检测方法、系统及电子设备
CN112395987A (zh) 基于无监督域适应cnn的sar图像目标检测方法
CN109325490A (zh) 基于深度学习和rpca的太赫兹图像目标识别方法
CN114595732B (zh) 基于深度聚类的雷达辐射源分选方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN111541511A (zh) 复杂电磁环境下基于目标检测的通信干扰信号识别方法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN114926511A (zh) 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN116047427B (zh) 一种小样本雷达有源干扰识别方法
CN111815640B (zh) 一种基于忆阻器的rbf神经网络医学图像分割算法
Li et al. Fast visual saliency based on multi‐scale difference of Gaussians fusion in frequency domain
Widyantara et al. Gamma correction-based image enhancement and canny edge detection for shoreline extraction from coastal imagery
Ju et al. A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation
Chen et al. Attentive generative adversarial network for removing thin cloud from a single remote sensing image
CN117292439B (zh) 一种基于室内毫米波雷达的人体姿态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant