CN117310646A - 基于室内毫米波雷达的轻量化人体姿态识别方法及系统 - Google Patents

基于室内毫米波雷达的轻量化人体姿态识别方法及系统 Download PDF

Info

Publication number
CN117310646A
CN117310646A CN202311587556.0A CN202311587556A CN117310646A CN 117310646 A CN117310646 A CN 117310646A CN 202311587556 A CN202311587556 A CN 202311587556A CN 117310646 A CN117310646 A CN 117310646A
Authority
CN
China
Prior art keywords
data
layer
millimeter wave
human body
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311587556.0A
Other languages
English (en)
Other versions
CN117310646B (zh
Inventor
刘晓东
王正海
王玉皞
蔡琦
魏佳妤
陈煊邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202311587556.0A priority Critical patent/CN117310646B/zh
Publication of CN117310646A publication Critical patent/CN117310646A/zh
Application granted granted Critical
Publication of CN117310646B publication Critical patent/CN117310646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)

Abstract

本发明提供了一种基于室内毫米波雷达的轻量化人体姿态识别方法及系统，该方法通过获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，将人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；构建mMNYOLOv5轻量级网络模型，并将第一目标数据集的数据输入该网络模型中进行训练，得到目标模型；实时获取人体动作数据，输入目标模型中，输出姿态识别结果，具体的，采用mMNYOLOv5轻量级网络模型可以增强重要特征而弱化非重要特征，并降低传输过程的雷达图谱的特征冗余，进而在极大地降低网络规模和计算量的同时，提高人体姿态识别准确度。

Description

基于室内毫米波雷达的轻量化人体姿态识别方法及系统
技术领域
本发明属于电子信息技术领域，具体涉及一种基于室内毫米波雷达的轻量化人体姿态识别方法及系统。
背景技术
物联网和无线通信、感知、探测等技术的普及和应用，极大地加快了科学技术和社会的发展进程，特别是大量的人类生产生活陆续由室外转向室内，由此引起了人们对安全可控的室内环境的重视。同时，智能控制、大数据及人工智能技术的兴起为室内环境智能化管理提供了契机。智能管理服务不仅可以让人们获得更安全、更可靠的生活环境，而且能够提高人们生活和社会生产效率。在此背景下，人体姿态感知识别技术对于安全监控、人机交互与用户体验、虚拟现实与增强现实、教育与医疗领域等具有十分重要的意义。
对此，学术界和工业界围绕人体姿态感知识别技术需求相继提出多种不同的实施方案，包括基于摄像头的视觉感知、基于便携式传感器的运动监测、以及基于Wi-Fi的感知识别等方法。这些方法针对不同场景需求，根据其所获取的人体目标识别的原始多维度信号开展人体姿态感知和动作识别。然而，上述方法在发展和运用过程中也暴露了一些问题：传统基于摄像头进行行为识别方法会存隐私泄露风险，其在安全性、准确性和稳定性方面存在一定争议，这限制了该方法的广泛应用；基于便携式传感器的运动监测易受到硬件电路和计算资源的限制，并且其设备应用范围和场景较为有限；基于Wi-Fi的行为识别技术中需要依赖于背景环境，这使得动作感知模型的跨域识别性能不佳，并且Wi-Fi行为识别系统的相对位置感知技术尚未得到完善。
面对以上所存在的问题，基于雷达传感器的无线信号能在很大程度上缓解上述问题，但以毫米波雷达技术为基础实现人体姿态感知识别的方式仍存在不可忽视的技术挑战。首先，传统的毫米波雷达信号处理方法往往依赖于常用物理模型和场景先验信息以提取特征信息，从而实现人体姿态识别，这意味着该类方法更适用于单一或固定的场景和少数特定动作变化。现实生活中往往存在较多复杂多变的场景和动作，因此利用传统方法进行人体动作识别通常效果较差且不易扩展。
为了克服上述缺陷而提高其方法的适用性，得益于深度神经网络和机器学习在数据处理过程中的数据特征归纳能力和泛化能力，研究人员陆续将机器学习和深度学习的数据处理方法应用于毫米波雷达信号处理，以此构成机器学习赋能的毫米波雷达信号特征提取方法。这些方法具备较强的高维特征映射能力，能有效提高其人体姿态识别方法对不同场景和动作的特征信息提取能力，进而提高人体动作行为识别性能。然而，传统机器学习虽具有一定的优点，但需要一定程度的人工干预进行特征工程处理，而且难以处理复杂场景任务、难以适用于新场景任务等。
为了提高毫米波雷达人体姿态感知识别的精度，往往需要增大其深度学习网络模型结构，这将产生更多的模型参数，并且模型传输过程容易出现特征冗余问题，这对硬件系统的计算资源和识别的实时性是一个巨大的挑战。
发明内容
基于此，本发明实施例当中提供了一种基于室内毫米波雷达的轻量化人体姿态识别方法及系统，旨在解决现有技术中，为了提高毫米波雷达人体姿态感知识别的精度，而构建复杂的网络模型，导致参数量和计算量大的问题。
本发明实施例的第一方面提供了一种基于室内毫米波雷达的轻量化人体姿态识别方法，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述方法包括：
获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
构建mMNYOLOv5轻量级网络模型，并将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型，所述mMNYOLOv5轻量级网络模型包括组合层、轻量化特征提取层以及检测层，所述组合层包括第一卷积子层、批归一化子层和SiLu激活子层，所述轻量化特征提取层由11层MobileNet Block构成，所述检测层包括若干第二卷积子层、上采样子层和跨阶段局部连接子层，其中，在各层MobileNet Block中，根据输入通道特征图维度和中间层输入特征图维度的大小关系将数据输入至不同的处理流程中，当输入通道特征图维度和中间层输入特征图维度大小相等时，则进行深度卷积操作，当输入通道特征图维度和中间层输入特征图维度不相等时，则先进行通道扩张，再进行批归一化和激活函数处理，最后根据输入通道特征图维度和输出特征图维度的大小关系和步长设置来判断输出操作，步长设置为1；
实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果；
所述将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型的步骤包括：
将第一目标数据集的数据输入所述组合层中，依次进行第一卷积子层、批归一化子层和SiLu激活子层的处理，得到处理后的数据；
将处理后的数据输入由11层MobileNet Block构成的轻量化特征提取层中进行处理，得到特征提取处理后的数据；
将特征提取处理后的数据输入所述检测层中，进行检测操作，输出检测结果，其中，特征提取处理后的数据为经过MobileNet Block 3、MobileNet Block 8及MobileNetBlock 11处理得到的数据，在进行检测操作的过程中，经过第二卷积子层的卷积、上采样子层的上采样和跨阶段局部连接子层的特征融合组合操作，输出3个检测结果，另外，每次进行特征融合后，输入C3模块；
对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型。
进一步的，所述获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号的步骤中，根据对回波信号的提取，得到静态目标相对于调频连续波毫米波雷达设备的第一距离、运动目标相对于调频连续波毫米波雷达设备的第二距离以及运动目标相对于调频连续波毫米波雷达设备的运动速度，其中，
所述第一距离的表达式为：
；
Rs表示为所述第一距离，c表示为空气中的光速，T表示为调频连续波毫米波雷达发射信号的信号调制周期，B表示为调频连续波毫米波雷达发射信号的有效带宽，fb表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值；
所述第二距离的表达式为：
；
Rd表示为所述第二距离，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值；
所述运动速度的表达式为：
；
v表示为所述运动速度，f0表示为调频连续波毫米波雷达的中心频率，fD表示为多普勒频移。
进一步的，所述将所述人体姿态样本数据进行预处理，得到多普勒特征图谱的步骤包括：
将回波信号解析重组，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；
将所述频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；
将所述目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；
采用零速通道置零算法，舍弃所述二维FFT矩阵中位于零速通道的回波信号，得到所述多普勒特征图谱。
进一步的，所述将回波信号解析重组的步骤包括：
确定调频连续波毫米波雷达设备的接收通道数量；
将预设帧数据中所有采样点的回波信号按各自通道组合所述接收通道数量的二维数组，并与所述接收通道数量的接收通道的数据相加，得到重组后的数据。
进一步的，所述mMNYOLOv5轻量级网络模型包括组合层、轻量化特征提取层以及检测层，所述组合层包括第一卷积子层、批归一化子层和SiLu激活子层，所述轻量化特征提取层由11层MobileNet Block构成，所述检测层包括若干第二卷积子层、上采样子层和跨阶段局部连接子层。
进一步的，所述将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型的步骤包括：
将第一目标数据集的数据输入所述组合层中，依次进行第一卷积子层、批归一化子层和SiLu激活子层的处理，得到处理后的数据；
将处理后的数据输入由11层MobileNet Block构成的轻量化特征提取层中进行处理，得到特征提取处理后的数据；
将特征提取处理后的数据输入所述检测层中，进行检测操作，输出检测结果；
对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型。
进一步的，所述对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型的步骤中，mMNYOLOv5轻量级网络模型的损失包括分类损失、定位损失及置信度损失，mMNYOLOv5轻量级网络模型的总损失表示为：
；
其中，gbox、gcls及gobj分别表示在0到1之间的不同损失权重，Lbox表示为定位损失，Lcls表示为分类损失，Lobj表示为置信度损失。
本发明实施例的第二方面提供了一种基于室内毫米波雷达的轻量化人体姿态识别系统，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述系统包括：
获取模块，用于获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
预处理模块，用于将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
训练模块，用于构建mMNYOLOv5轻量级网络模型，并将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型，所述mMNYOLOv5轻量级网络模型包括组合层、轻量化特征提取层以及检测层，所述组合层包括第一卷积子层、批归一化子层和SiLu激活子层，所述轻量化特征提取层由11层MobileNet Block构成，所述检测层包括若干第二卷积子层、上采样子层和跨阶段局部连接子层，其中，在各层MobileNet Block中，根据输入通道特征图维度和中间层输入特征图维度的大小关系将数据输入至不同的处理流程中，当输入通道特征图维度和中间层输入特征图维度大小相等时，则进行深度卷积操作，当输入通道特征图维度和中间层输入特征图维度不相等时，则先进行通道扩张，再进行批归一化和激活函数处理，最后根据输入通道特征图维度和输出特征图维度的大小关系和步长设置来判断输出操作，步长设置为1；
输入模块，用于实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果；
所述训练模块包括：
第一处理单元，用于将第一目标数据集的数据输入所述组合层中，依次进行第一卷积子层、批归一化子层和SiLu激活子层的处理，得到处理后的数据；
第二处理单元，用于将处理后的数据输入由11层MobileNet Block构成的轻量化特征提取层中进行处理，得到特征提取处理后的数据；
检查单元，用于将特征提取处理后的数据输入所述检测层中，进行检测操作，输出检测结果，其中，特征提取处理后的数据为经过MobileNet Block 3、MobileNet Block 8及MobileNet Block 11处理得到的数据，在进行检测操作的过程中，经过第二卷积子层的卷积、上采样子层的上采样和跨阶段局部连接子层的特征融合组合操作，输出3个检测结果，另外，每次进行特征融合后，输入C3模块；
优化单元，用于对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型。
本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于室内毫米波雷达的轻量化人体姿态识别方法。
本发明实施例的第四方面提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于室内毫米波雷达的轻量化人体姿态识别方法。
本发明的有益效果为：该方法通过获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；将人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；构建mMNYOLOv5轻量级网络模型，并将第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型；实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入目标模型中，输出姿态识别结果，具体的，采用mMNYOLOv5轻量级网络模型可以增强重要特征而弱化非重要特征，并降低传输过程的雷达图谱的特征冗余，进而在极大的降低网络规模和计算量的同时，提高人体姿态识别准确度。
附图说明
图1为本发明实施例一提供的一种基于室内毫米波雷达的轻量化人体姿态识别方法的实现流程图；
图2为雷达发射信号与目标回波信号的频率-时间变化曲线图；
图3为mMNYOLOv5轻量级网络模型对于人体姿态识别的流程图；
图4为数据解析重组示意图；
图5为本发明实施例三提供的一种基于室内毫米波雷达的轻量化人体姿态识别系统的结构示意图；
图6为本发明实施例四当中的电子设备的结构框图。
以下具体实施方式将结合上述附图进一步说明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，为本发明实施例一提供的一种基于室内毫米波雷达的轻量化人体姿态识别方法的实现流程图，该方法应用于具备多发多收天线的调频连续波毫米波雷达设备中，具体包括步骤S01至步骤S04。
步骤S01，获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号。
具体的，请参阅图2，为雷达发射信号与目标回波信号的频率-时间变化曲线图，需要说明的是，当被测目标相对于雷达静止时，目标的雷达接收信号波形和发射信号的波形形态相同，静态目标的回波信号在时间上延迟了td。其中，td与目标距调频连续波毫米波雷达的距离R有关，关系可表示为：
（1）
其中，c表示为空气中的光速，一般取3×108m/s，在本发明实施例当中，调频连续波毫米波雷达发射信号的信号调制周期为T，调频连续波毫米波雷达发射信号的有效带宽为B，具体的，信号调制周期是指将最低发射频率增大到最高发射频率的时间。因此，调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值fb可通过如下公式计算：
（2）
根据公式（1）和公式（2），可以计算出静态目标相对于调频连续波毫米波雷达设备的第一距离，第一距离的表达式为：
（3）
进一步的，如图2所示，对于运动目标的探测，调频连续波毫米波雷达与被测运动目标之间存在相对运动关系，其雷达回波信号会受到多普勒频移的影响。多普勒频移fD取决于目标物体相对于雷达的运动速度。因此，调频连续波毫米波雷达可以通过检测目标回波信号中的多普勒频移，从而获得目标相对于雷达的速度信息，多普勒频移fD的计算公式如下：
（4）
（5）
（6）
其中，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，由多普勒原理中多普勒频移与相对速度和中心频率的正比关系，可推算运动目标相对于探测雷达的运动速度v，其表达式给定为：
（7）
v表示为运动速度，f0表示为调频连续波毫米波雷达的中心频率，而运动速度v的正负分别表示为运动目标相对于雷达的靠近和远离的运动方向。在此基础上，利用公式(3)、(5)和(6)可以计算得到运动目标相对于调频连续波毫米波雷达设备的第二距离，其表达式给定为：
（8）
当，公式(8)将简化为(3)，而且公式(7)为0。因此，无论待感知目标是否在运动，通过提取回波信号和发射信号的上升沿和下降沿各自的频差，基于公式(7)和(8)即可得到被测目标与雷达之间的相对速度和距离。
步骤S02，将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集。
为了减少原始数据的复杂程度以及杂波影响，将获取的人体姿态样本数据进行预处理，具体步骤包括，将回波信号解析重组，其中，将回波信号解析重组的步骤包括，确定调频连续波毫米波雷达设备的接收通道数量；将预设帧数据中所有采样点的回波信号按各自通道组合接收通道数量的二维数组，并与接收通道数量的接收通道的数据相加，得到重组后的数据，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；将频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；将目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；采用零速通道置零算法，舍弃二维FFT矩阵中位于零速通道的回波信号，得到多普勒特征图谱。
更为具体的，为了提高探测性能，本发明实施例所采用的毫米波雷达为多发多收天线，并在终端可获得Nr个接收通道的信号。因此，首先将毫米波雷达采集的原始回波数据按通道进行分类，即将NF帧数据中所有Chirp（线性调频信号）的回波信号按各自通道组合Nr个二维数组，接着将Nr个接收通道的数据相加，合并为一个新的二维数据矩阵，这即是总接收通道数据以提高目标回波的强度。然后，通过对重组数据在距离维度上每一个Chirp加上切比雪夫窗后，再对其运用FFT转换到频域信号SR。
为了降低室内环境中存在众多静态物体的杂波干扰并提高测量精度，需对接收回波信号进行求平均采用相量均值相消算法对数据进行处理。具体来说，对频域信号SR取平均得出参考接收信号，接着对接收信号和参考信号在各自对应的采样点取差值得到目标回波信号。然后，对使用相量均值相消算法滤除静态杂波后的信号从速度维进行FFT操作，得到二维FFT矩阵。接下来采用零速通道置零算法，舍弃二维FFT矩阵中位于零速通道的回波信号数据，进一步滤除速度为零的目标单元，保留单边的FFT结果，最终得到处理后更准确的多普勒特征图谱。
步骤S03，构建mMNYOLOv5轻量级网络模型，并将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型。
需要说明的是，由于对人体姿态样本数据进行预处理，转换为多普勒特征图谱，而多普勒特征图谱作为雷达图谱信号，相对于自然图像具有更多的冗余信息，为了降低网络模型规模并提高模型的计算效率和识别精度，构建了mMNYOLOv5轻量级网络模型，请参阅图3，为mMNYOLOv5轻量级网络模型对于人体姿态识别的流程图，其中，该网络模型采用MobileNetV3 Small结构作为YOLOv5轻量化网络中的主干网用于特征提取，并压缩优化模型结构，由此在降低网络深度和传输过程冗余特征信息的同时提高模型识别效率和精度，从而实现有效特征信息的准确传输。
具体的，mMNYOLOv5轻量级网络模型首先对640×640大小的数据样本输入至组合层操作，组合层包括第一卷积子层、批归一化子层和SiLu激活子层，可以理解的，其内部依次执行一次卷积、批归一化和SiLu激活函数（即Swish函数）处理，接下来将数据输入至由11层MobileNet Block构成的轻量化特征提取部分进行数据处理。如图3中MobileNet Block模块的内部处理流程所示，根据输入通道特征图维度和中间层输入特征图维度/>的大小关系将数据输入至不同的处理流程中，当两者相等则直接输入至深度卷积操作中，反之则先进行通道扩张并进行批归一化和激活函数处理，最后根据输入通道特征图维度/>和输出特征图维度/>的大小关系和步长设置来判断输出操作，图3中的步长指的是卷积步长，也即卷积核滑动的步长，若输入输出图谱维度相等且卷积步长为1时则进行恒等映射，即将上一层的输出与本层的输出相加作为本层最终输出数据，此举旨在降低优化难度，反之则直接输出本层数据。
进一步的，轻量化特征提取层中的11层MobileNet Block并不完全相同，MobileNet Block 1、MobileNet Block 4至MobileNet Block 11共9个模组使用SE注意力机制，其作用机理是对两个特征矩阵先进行平均池化，之后经过两个全连接层，第一个是采用ReLU激活函数的全连接层，第二个是采用h-Sigmoid激活函数的全连接层，然后得到两个数值。将这两个值与原矩阵每个元素相乘，从而得到新的特征矩阵，经过上述注意力机制处理得以增强重要特征而弱化非重要特征，以此降低传输过程的特征冗余。同时，MobileNetBlock 1至MobileNet Block 3使用ReLU激活函数，而MobileNet Block 4至MobileNetBlock 11模组使用计算速度更快的非线性激活函数h-Swish，该激活函数可消除由SE注意力机制中的Sigmoid处理所引起的潜在数值精度损失，并且通过减少内存访问数量而降低延迟成本。基于上述不同MobileNet Block的设置，可以确定图3中MobileNet Block模块中<是否使用SE模块>和<h-Swich/ReLU>的具体操作。
更进一步的，经过上述轻量化特征提取层中的11层MobileNet Block的特征提取处理后，接下来将对输出数据进行检测操作。由图3所示，示例性的，MobileNet Block 11特征提取的结果依次进行卷积处理、上采样处理后，与MobileNet Block 8特征提取的结果进行一次特征融合，一次特征融合后的结果依次经过C3模块处理、卷积处理及上采样处理后，与MobileNet Block 3特征提取的结果进行二次特征融合，二次特征融合后的结果经过C3模块处理，最终输出检测结果0，同理，检测结果1和检测结果2可参阅图3的流程方法得到。此外，跨阶段局部连接子层的处理结果输入C3模块的具体操作如图3右下角所示，跨阶段局部连接子层的功能为特征融合，C3模块主要包含3个标准卷积操作和n个Bottleneck模块。需要说明的是Bottleneck借鉴了ResNet的残差结构，并且有两类，考虑本发明实施例的整体模型，选择两个卷积操作构成的0类型，即先采用1×1卷积将特征图通道数减半，然后采用3×3卷积提取特征，n的取值取决于C3输入配置中的参数与整个网络深度的乘积。经过上述第二卷积子层的卷积、上采样子层的上采样和跨阶段局部连接子层的特征融合组合操作，该模型将依次输出三个不同尺寸的检测结果，即检测结果0、检测结果1及检测结果2。
最后，对优化损失函数进行优化以平衡预测框、置信度和类别的训练误差，以提高收敛速度和分类精度。具体的，mMNYOLOv5轻量级网络模型的损失包括分类损失、定位损失及置信度损失，mMNYOLOv5轻量级网络模型的总损失表示为：
；
其中，gbox、gcls及gobj分别表示在0到1之间的不同损失权重，Lbox表示为定位损失，Lcls表示为分类损失，Lobj表示为置信度损失。
在本实施例当中，将上述的Lbox、Lcls及Lobj展开组合设计，首先，对于定位损失Lbox，使用完全交并联合（CIoU）来衡量，相比于最常见的交并联合损失（IoU）评估指标，其能够更准确地度量目标边界框之间的重叠程度，可以表示为：
；
其中，表示交并联合损失，/>表示欧氏距离，/>和/>分别表示预测框和真实框的中心点，/>表示包含预测框和真实框的最小矩形的对角线长度。/>是权重系数，可以表示为：
；
；
其中，用于衡量宽高比的一致性，并且/>、/>和/>、/>分别为预测框的宽、高，以及真实框的宽、高。同时，交并联合损失/>的计算公式如下：
；
其中，真实框为T，预测框为F。
对于分类损失Lcls，由于自建毫米波人体动作数据集中多个动作与单个动作存在包含关系，本发明实施例使用多分类交叉熵函数来计算，可以表示为：
；
其中，为待分类类别的数量；/>为一个符号函数，即当观测样本/>为于真实类别时，/>，否则/>；/>表示观测样本/>属于类别/>的预测概率。
对于置信度损失Lobj，主要用于度量模型对目标框内是否包含目标的置信程度，即是否存在物体，因此只需使用二元交叉熵来评估每个预测框与真实目标框的实际状态之间的差距。该置信度损失Lobj可以表示为：
；
其中，为一个符号函数，即当真实框/>和预测框/>的置信度在[0，1]区间内，，否则/>；/>表示真实框目标概率。
步骤S04，实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果。
综上，本发明上述实施例当中的基于室内毫米波雷达的轻量化人体姿态识别方法，该方法通过获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；将人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；构建mMNYOLOv5轻量级网络模型，并将第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型；实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入目标模型中，输出姿态识别结果，具体的，采用mMNYOLOv5轻量级网络模型可以增强重要特征而弱化非重要特征，并降低传输过程的雷达图谱的特征冗余，进而在极大的降低网络规模和计算量的同时，提高人体姿态识别准确度。
实施例二
为了验证本发明实施例一提供的一种基于室内毫米波雷达的轻量化人体姿态识别方法的有效性，本发明实施例二选取了一个4m×6m的小型室内会议室和6m×8m大型室内会议室作为雷达感知数据采集场景。本发明实施例二所采用的雷达为4发4收毫米波波段雷达，并被安置在离地高度1m的房间角落。根据场景的用户特性，雷达法线朝向房间的中心区域，以便于高效开展人体感知采集。邀请了身体体型不尽相同的8个志愿者（男女比例1:1）随机示范日常生活中经常发生的12个动作。接着借助雷达平台Calterah Client的GUI界面设置数据采集帧数为40，并开始动态数据采集模式，采集雷达时域ADC数据。注意对于每个动作共收集来自8个用户的100个数据量。基于此，将得到总共1200个自制数据。
请参阅图4，为数据解析重组示意图，如图4中上半部分一维数据所示为毫米波雷达的收发数据结构，其中每一帧数据包含255个Chirp，而每个Chirp由255个采样点构成。由于采用的4发4收雷达，则雷达最终将采集到16个通道的一维数据。为了便于接下来使用图像处理网络模型进行数据处理，需要将上述采集到的16个通道的ADC一维数据转化为二维数据。如图4中下半部分所示为二维数据重组，即按通道将相同帧、相同Chirp的255个采样点数据按行进行合并，接着对得到的16个通道的二维数据进行叠加运算得到总体二维数据信息。然后，对重组数据从距离维上对每一个Chirp加切比雪夫窗后并进行FFT运算得到频域信号。再者，通过相量均值相消算法滤除信号中的静态杂波，再对信号从速度维进行FFT得到二维FFT矩阵的信号数据，同时采用零速通道置零算法滤除二维FFT矩阵中速度为零的目标单元，并保留单边的FFT结果，最终得到数据预处理后的多普勒特征图谱。
为了实现数据扩容并提高数据多样性，本发明实施例采用旋转、平移、缩放的传统方式对雷达采集的1200个样本和来自Glasgow开源数据集（格拉斯哥开源数据集）的1730个样本进行处理得到3600个自制样本和3460个开源样本，同时随机选取25%的图像进行色彩通道打乱、色彩抖动、浮雕、直方图均衡、叠加高斯噪声、叠加随机雪花纹理、乘性噪声、HSV色系转化、色调分离、反转变换、特定阈值反转的色彩阈值处理，并对这些色彩阈值的处理后的图像分别采用Cutout、Hide And Seek、GridMask、Mixup、CutMix五种方法进行数据增强处理以提高数据的多样性，便于探究不同的数据增强方式的性能差异。
基于上述所获得的3600个有效的自制增强数据样本和3460个开源增强数据样本，按8：1：1的数据比例分别用于mMNYOLOv5轻量级网络模型的训练、验证和测试，该模型的训练阶段采用了多尺度训练方式迭代300轮，初始学习率设置为0.01，交并联合损失IoU的阈值设置为0.5。由于样本图像原始大小为469×469，为了便于网络处理将其放大到640×640作为模型输入数据，批处理大小为32。该mMNYOLOv5轻量级网络模型中各模块的参数设置如表1所示，此外，该模型中的上采样均为2倍。
表1
为了直观地证明所提出的网络的有效性，本发明实施例对比了经典的YOLOv5s网络模型与本发明实施例所提mMNYOLOv5轻量级网络模型在IoU阈值大于0.5的平均精度（mAP@.5）和网络规模、计算量的性能。性能结果如表2所述，从中可以看出，相比与所参考的YOLOv5s网络模型，本发明实施例提出的mMNYOLOv5轻量级网络模型不仅减少了78.66%的模型参数和81.64%的计算量，并且提高了识别精度，有效验证了本发明实施例所提mMNYOLOv5轻量级网络模型可以降低网络规模的同时有效地保证人体姿态识别精度。
表2
实施例三
请参阅图5，为本发明实施例三提供的一种基于室内毫米波雷达的轻量化人体姿态识别系统的结构示意图，所述基于室内毫米波雷达的轻量化人体姿态识别系统200应用于具备多发多收天线的调频连续波毫米波雷达设备中，具体包括：
获取模块21，用于获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号，根据对回波信号的提取，得到静态目标相对于调频连续波毫米波雷达设备的第一距离、运动目标相对于调频连续波毫米波雷达设备的第二距离以及运动目标相对于调频连续波毫米波雷达设备的运动速度，其中，
所述第一距离的表达式为：
；
Rs表示为所述第一距离，c表示为空气中的光速，T表示为调频连续波毫米波雷达发射信号的信号调制周期，B表示为调频连续波毫米波雷达发射信号的有效带宽，fb表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值；
所述第二距离的表达式为：
；
Rd表示为所述第二距离，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值；
所述运动速度的表达式为：
；
v表示为所述运动速度，f0表示为调频连续波毫米波雷达的中心频率，fD表示为多普勒频移；
预处理模块22，用于将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
训练模块23，用于构建mMNYOLOv5轻量级网络模型，并将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型，所述mMNYOLOv5轻量级网络模型包括组合层、轻量化特征提取层以及检测层，所述组合层包括第一卷积子层、批归一化子层和SiLu激活子层，所述轻量化特征提取层由11层MobileNet Block构成，所述检测层包括若干第二卷积子层、上采样子层和跨阶段局部连接子层，其中，在各层MobileNet Block中，根据输入通道特征图维度和中间层输入特征图维度的大小关系将数据输入至不同的处理流程中，当输入通道特征图维度和中间层输入特征图维度大小相等时，则进行深度卷积操作，当输入通道特征图维度和中间层输入特征图维度不相等时，则先进行通道扩张，再进行批归一化和激活函数处理，最后根据输入通道特征图维度和输出特征图维度的大小关系和步长设置来判断输出操作，步长设置为1，另外，mMNYOLOv5轻量级网络模型的损失包括分类损失、定位损失及置信度损失，mMNYOLOv5轻量级网络模型的总损失表示为：
；
其中，gbox、gcls及gobj分别表示在0到1之间的不同损失权重，Lbox表示为定位损失，Lcls表示为分类损失，Lobj表示为置信度损失；
输入模块24，用于实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果。
进一步的，在本发明其它一些实施例当中，所述预处理模块22包括：
解析重组单元，用于将回波信号解析重组，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；
取平均单元，用于将所述频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；
FFT处理单元，用于将所述目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；
舍弃单元，用于采用零速通道置零算法，舍弃所述二维FFT矩阵中位于零速通道的回波信号，得到所述多普勒特征图谱。
进一步的，在本发明其它一些实施例当中，所述解析重组单元包括：
确定子单元，用于确定调频连续波毫米波雷达设备的接收通道数量；
解析重组子单元，用于将预设帧数据中所有采样点的回波信号按各自通道组合所述接收通道数量的二维数组，并与所述接收通道数量的接收通道的数据相加，得到重组后的数据。
进一步的，在本发明其它一些实施例当中，所述训练模块23包括：
第一处理单元，用于将第一目标数据集的数据输入所述组合层中，依次进行第一卷积子层、批归一化子层和SiLu激活子层的处理，得到处理后的数据；
第二处理单元，用于将处理后的数据输入由11层MobileNet Block构成的轻量化特征提取层中进行处理，得到特征提取处理后的数据；
检查单元，用于将特征提取处理后的数据输入所述检测层中，进行检测操作，输出检测结果，其中，特征提取处理后的数据为经过MobileNet Block 3、MobileNet Block 8及MobileNet Block 11处理得到的数据，在进行检测操作的过程中，经过第二卷积子层的卷积、上采样子层的上采样和跨阶段局部连接子层的特征融合组合操作，输出3个检测结果，另外，每次进行特征融合后，输入C3模块；
优化单元，用于对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型。
实施例四
本发明另一方面还提出一种电子设备，请参阅图6，所示为本发明实施例四当中的电子设备的结构框图，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的基于室内毫米波雷达的轻量化人体姿态识别方法。
其中，处理器10在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图6示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于室内毫米波雷达的轻量化人体姿态识别方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于室内毫米波雷达的轻量化人体姿态识别方法，其特征在于，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述方法包括：
获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
构建mMNYOLOv5轻量级网络模型，并将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型，所述mMNYOLOv5轻量级网络模型包括组合层、轻量化特征提取层以及检测层，所述组合层包括第一卷积子层、批归一化子层和SiLu激活子层，所述轻量化特征提取层由11层MobileNet Block构成，所述检测层包括若干第二卷积子层、上采样子层和跨阶段局部连接子层，其中，在各层MobileNet Block中，根据输入通道特征图维度和中间层输入特征图维度的大小关系将数据输入至不同的处理流程中，当输入通道特征图维度和中间层输入特征图维度大小相等时，则进行深度卷积操作，当输入通道特征图维度和中间层输入特征图维度不相等时，则先进行通道扩张，再进行批归一化和激活函数处理，最后根据输入通道特征图维度和输出特征图维度的大小关系和步长设置来判断输出操作，步长设置为1；
实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果；
所述将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型的步骤包括：
将第一目标数据集的数据输入所述组合层中，依次进行第一卷积子层、批归一化子层和SiLu激活子层的处理，得到处理后的数据；
将处理后的数据输入由11层MobileNet Block构成的轻量化特征提取层中进行处理，得到特征提取处理后的数据；
将特征提取处理后的数据输入所述检测层中，进行检测操作，输出检测结果，其中，特征提取处理后的数据为经过MobileNet Block 3、MobileNet Block 8及MobileNet Block11处理得到的数据，在进行检测操作的过程中，经过第二卷积子层的卷积、上采样子层的上采样和跨阶段局部连接子层的特征融合组合操作，输出3个检测结果，另外，每次进行特征融合后，输入C3模块；
对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型。
2.根据权利要求1所述的基于室内毫米波雷达的轻量化人体姿态识别方法，其特征在于，所述获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号的步骤中，根据对回波信号的提取，得到静态目标相对于调频连续波毫米波雷达设备的第一距离、运动目标相对于调频连续波毫米波雷达设备的第二距离以及运动目标相对于调频连续波毫米波雷达设备的运动速度，其中，
所述第一距离的表达式为：
；
Rs表示为所述第一距离，c表示为空气中的光速，T表示为调频连续波毫米波雷达发射信号的信号调制周期，B表示为调频连续波毫米波雷达发射信号的有效带宽，fb表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号间频率的差值；
所述第二距离的表达式为：
；
Rd表示为所述第二距离，fbdown表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在下降沿间的差值，fbup表示为调频连续波毫米波雷达发射信号与接收到的雷达回波信号在上升沿间的差值；
所述运动速度的表达式为：
；
v表示为所述运动速度，f0表示为调频连续波毫米波雷达的中心频率，fD表示为多普勒频移。
3.根据权利要求2所述的基于室内毫米波雷达的轻量化人体姿态识别方法，其特征在于，所述将所述人体姿态样本数据进行预处理，得到多普勒特征图谱的步骤包括：
将回波信号解析重组，并将重组后的数据在距离维度上的每个采样点加上切比雪夫窗后，再进行FFT转换，得到频域信号；
将所述频域信号取平均，得到参考接收信号，并对参考接收信号和接收的调频连续波毫米波雷达信号在各自对应的采样点取差值，得到目标回波信号；
将所述目标回波信号从速度维进行FFT处理，得到二维FFT矩阵；
采用零速通道置零算法，舍弃所述二维FFT矩阵中位于零速通道的回波信号，得到所述多普勒特征图谱。
4.根据权利要求3所述的基于室内毫米波雷达的轻量化人体姿态识别方法，其特征在于，所述将回波信号解析重组的步骤包括：
确定调频连续波毫米波雷达设备的接收通道数量；
将预设帧数据中所有采样点的回波信号按各自通道组合所述接收通道数量的二维数组，并与所述接收通道数量的接收通道的数据相加，得到重组后的数据。
5.根据权利要求4所述的基于室内毫米波雷达的轻量化人体姿态识别方法，其特征在于，所述C3模块包括3个标准卷积操作和n个Bottleneck模块，n的取值取决于C3输入配置中的参数与整个网络深度的乘积，其中，Bottleneck模块中先采用1×1卷积将特征图通道数减半，然后采用3×3卷积提取特征。
6.根据权利要求5所述的基于室内毫米波雷达的轻量化人体姿态识别方法，其特征在于，所述对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型的步骤中，mMNYOLOv5轻量级网络模型的损失包括分类损失、定位损失及置信度损失，mMNYOLOv5轻量级网络模型的总损失表示为：
；
其中，gbox、gcls及gobj分别表示在0到1之间的不同损失权重，Lbox表示为定位损失，Lcls表示为分类损失，Lobj表示为置信度损失。
7.一种基于室内毫米波雷达的轻量化人体姿态识别系统，其特征在于，应用于具备多发多收天线的调频连续波毫米波雷达设备中，所述系统包括：
获取模块，用于获取由调频连续波毫米波雷达设备采集的人体姿态样本数据，其中，所述人体姿态样本数据为分别对静态目标和运动目标发射并接收的回波信号；
预处理模块，用于将所述人体姿态样本数据进行预处理，得到多普勒特征图谱，并根据多普勒特征图谱，生成由多普勒特征图谱构成的第一目标数据集；
训练模块，用于构建mMNYOLOv5轻量级网络模型，并将所述第一目标数据集的数据输入mMNYOLOv5轻量级网络模型中进行训练，得到目标模型，所述mMNYOLOv5轻量级网络模型包括组合层、轻量化特征提取层以及检测层，所述组合层包括第一卷积子层、批归一化子层和SiLu激活子层，所述轻量化特征提取层由11层MobileNet Block构成，所述检测层包括若干第二卷积子层、上采样子层和跨阶段局部连接子层，其中，在各层MobileNet Block中，根据输入通道特征图维度和中间层输入特征图维度的大小关系将数据输入至不同的处理流程中，当输入通道特征图维度和中间层输入特征图维度大小相等时，则进行深度卷积操作，当输入通道特征图维度和中间层输入特征图维度不相等时，则先进行通道扩张，再进行批归一化和激活函数处理，最后根据输入通道特征图维度和输出特征图维度的大小关系和步长设置来判断输出操作，步长设置为1；
输入模块，用于实时获取由调频连续波毫米波雷达设备采集的人体动作数据，输入所述目标模型中，输出姿态识别结果；
所述训练模块包括：
第一处理单元，用于将第一目标数据集的数据输入所述组合层中，依次进行第一卷积子层、批归一化子层和SiLu激活子层的处理，得到处理后的数据；
第二处理单元，用于将处理后的数据输入由11层MobileNet Block构成的轻量化特征提取层中进行处理，得到特征提取处理后的数据；
检查单元，用于将特征提取处理后的数据输入所述检测层中，进行检测操作，输出检测结果，其中，特征提取处理后的数据为经过MobileNet Block 3、MobileNet Block 8及MobileNet Block 11处理得到的数据，在进行检测操作的过程中，经过第二卷积子层的卷积、上采样子层的上采样和跨阶段局部连接子层的特征融合组合操作，输出3个检测结果，另外，每次进行特征融合后，输入C3模块；
优化单元，用于对mMNYOLOv5轻量级网络模型的损失函数进行优化，以得到所述目标模型。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－6任一项所述的基于室内毫米波雷达的轻量化人体姿态识别方法。
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1－6任一项所述的基于室内毫米波雷达的轻量化人体姿态识别方法。
CN202311587556.0A 2023-11-27 2023-11-27 基于室内毫米波雷达的轻量化人体姿态识别方法及系统 Active CN117310646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311587556.0A CN117310646B (zh) 2023-11-27 2023-11-27 基于室内毫米波雷达的轻量化人体姿态识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311587556.0A CN117310646B (zh) 2023-11-27 2023-11-27 基于室内毫米波雷达的轻量化人体姿态识别方法及系统

Publications (2)

Publication Number Publication Date
CN117310646A true CN117310646A (zh) 2023-12-29
CN117310646B CN117310646B (zh) 2024-03-22

Family

ID=89285138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311587556.0A Active CN117310646B (zh) 2023-11-27 2023-11-27 基于室内毫米波雷达的轻量化人体姿态识别方法及系统

Country Status (1)

Country Link
CN (1) CN117310646B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
KR20180097949A (ko) * 2017-02-24 2018-09-03 오치민 순차적 다중 합성곱 신경망을 이용한 영상 내 관절 자세 예측 방법
US20190379819A1 (en) * 2018-06-12 2019-12-12 Sony Corporation Detection of main object for camera auto focus
US20200356178A1 (en) * 2019-05-06 2020-11-12 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CN112668443A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于双通道卷积神经网络的人体姿态识别方法
US20220198806A1 (en) * 2020-12-21 2022-06-23 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
US20220207868A1 (en) * 2020-12-29 2022-06-30 Tsinghua University All-weather target detection method based on vision and millimeter wave fusion
CN115859078A (zh) * 2022-11-10 2023-03-28 西安邮电大学 一种基于改进Transformer的毫米波雷达跌倒检测方法
CN116264012A (zh) * 2022-10-28 2023-06-16 长春理工大学 一种用于短信报警器的无接触式跌倒方向检测方法
CN116524595A (zh) * 2023-04-24 2023-08-01 东南大学 一种基于联邦学习的毫米波雷达人体姿态识别方法
CN116524537A (zh) * 2023-04-26 2023-08-01 东南大学 一种基于cnn和lstm联合的人体姿态识别方法
CN116561700A (zh) * 2023-04-24 2023-08-08 中仪知联(无锡)工业自动化技术有限公司 基于毫米波雷达的室内人体姿态识别方法
US20230326249A1 (en) * 2022-03-28 2023-10-12 Shenzhen University Few-shot gesture recognition method
US20230333660A1 (en) * 2022-04-13 2023-10-19 Samsung Electronics Co., Ltd. Dynamic gesture recognition using mmwave radar

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097949A (ko) * 2017-02-24 2018-09-03 오치민 순차적 다중 합성곱 신경망을 이용한 영상 내 관절 자세 예측 방법
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
US20190379819A1 (en) * 2018-06-12 2019-12-12 Sony Corporation Detection of main object for camera auto focus
US20200356178A1 (en) * 2019-05-06 2020-11-12 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
US20220198806A1 (en) * 2020-12-21 2022-06-23 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN112668443A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 基于双通道卷积神经网络的人体姿态识别方法
US20220207868A1 (en) * 2020-12-29 2022-06-30 Tsinghua University All-weather target detection method based on vision and millimeter wave fusion
US20230326249A1 (en) * 2022-03-28 2023-10-12 Shenzhen University Few-shot gesture recognition method
US20230333660A1 (en) * 2022-04-13 2023-10-19 Samsung Electronics Co., Ltd. Dynamic gesture recognition using mmwave radar
CN116264012A (zh) * 2022-10-28 2023-06-16 长春理工大学 一种用于短信报警器的无接触式跌倒方向检测方法
CN115859078A (zh) * 2022-11-10 2023-03-28 西安邮电大学 一种基于改进Transformer的毫米波雷达跌倒检测方法
CN116524595A (zh) * 2023-04-24 2023-08-01 东南大学 一种基于联邦学习的毫米波雷达人体姿态识别方法
CN116561700A (zh) * 2023-04-24 2023-08-08 中仪知联(无锡)工业自动化技术有限公司 基于毫米波雷达的室内人体姿态识别方法
CN116524537A (zh) * 2023-04-26 2023-08-01 东南大学 一种基于cnn和lstm联合的人体姿态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
夏朝阳;周成龙;介钧誉;周涛;汪相锋;徐丰;: "基于多通道调频连续波毫米波雷达的微动手势识别", 电子与信息学报, no. 01 *
夏朝阳;周成龙;介钧誉;周涛;汪相锋;徐丰;: "基于多通道调频连续波毫米波雷达的微动手势识别", 电子与信息学报, no. 01, 15 January 2020 (2020-01-15) *

Also Published As

Publication number Publication date
CN117310646B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
Wang et al. TS-I3D based hand gesture recognition method with radar sensor
CN107229918B (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN109740639B (zh) 一种风云卫星遥感影像云检测方法、系统及电子设备
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
Tivive et al. Classification of micro‐Doppler signatures of human motions using log‐Gabor filters
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN105654066A (zh) 一种车辆识别方法及装置
CN111461037B (zh) 一种基于fmcw雷达的端到端手势识别方法
CN109002848B (zh) 一种基于特征映射神经网络的弱小目标检测方法
CN109726649B (zh) 遥感影像云检测方法、系统及电子设备
CN103177458A (zh) 一种基于频域分析的可见光遥感图像感兴趣区域检测方法
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN103824302A (zh) 基于方向波域图像融合的sar图像变化检测方法
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端
CN113536963A (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
Li et al. Fast visual saliency based on multi‐scale difference of Gaussians fusion in frequency domain
CN117310646B (zh) 基于室内毫米波雷达的轻量化人体姿态识别方法及系统
CN117665807A (zh) 基于毫米波多人零样本的人脸识别方法
CN116794602A (zh) 一种应用于干扰环境下的毫米波雷达动态手势识别方法
CN116311067A (zh) 基于高维特征图谱的目标综合识别方法、装置及设备
CN109558771B (zh) 海上船舶的行为状态识别方法、装置、设备及存储介质
CN117292439B (zh) 一种基于室内毫米波雷达的人体姿态识别方法及系统
CN114358056A (zh) 基于深度学习的无人机信号识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant