CN111401180B - 神经网络识别模型训练方法、装置、服务器及存储介质 - Google Patents

神经网络识别模型训练方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111401180B
CN111401180B CN202010158141.1A CN202010158141A CN111401180B CN 111401180 B CN111401180 B CN 111401180B CN 202010158141 A CN202010158141 A CN 202010158141A CN 111401180 B CN111401180 B CN 111401180B
Authority
CN
China
Prior art keywords
radar
data
neural network
human body
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010158141.1A
Other languages
English (en)
Other versions
CN111401180A (zh
Inventor
阳召成
刘海帆
赖佳磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010158141.1A priority Critical patent/CN111401180B/zh
Publication of CN111401180A publication Critical patent/CN111401180A/zh
Application granted granted Critical
Publication of CN111401180B publication Critical patent/CN111401180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种神经网络识别模型训练方法、装置、服务器及存储介质，该方法包括：获取视觉传感器对待检测人体采集的人体骨架数据；将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；获取雷达传感器对所述待检测人体的实测雷达数据；将所述实测雷达数据输入到所述神经网络识别模型进行验证。本发明的技术方案达到了扩充雷达数据库的效果。

Description

神经网络识别模型训练方法、装置、服务器及存储介质
技术领域
本发明实施例涉及雷达识别技术，尤其涉及一种神经网络识别模型训练方法、装置、服务器及存储介质。
背景技术
人体动作识别一直是研究的热点之一，尤其是基于视觉的人体动作识别近年来由于深度学习的兴起而日趋成熟。视觉数据直观，易于理解，并且有很多现成的公开数据库，也有很多的应用场景。然而，视觉数据受环境干扰大，如目标受遮挡、光线强弱等，并且不适合比较隐私的场景，因此也有很多学者采用雷达传感器探测。
然而，基于雷达的人体动作识别一直没有较大的突破，这很大程度上是由于目前互联网上并没有公开的关于人体动作识别的大型雷达数据库，使得雷达数据样本需要研究人员自主获取，而雷达数据又需要先验信息的辅助才能完成标注工作，这就使得雷达传感器无法像视觉传感器一样可以无人值守地采集数据，既费时又费力，限制了很多基于雷达的研究工作。
发明内容
本发明提供一种神经网络识别模型训练方法、装置、服务器及存储介质，以实现扩充雷达数据库。
第一方面，本发明实施例提供了一种神经网络识别模型训练方法，包括：
获取视觉传感器对待检测人体采集的人体骨架数据；
将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
获取雷达传感器对所述待检测人体的实测雷达数据；
将所述实测雷达数据输入到所述神经网络识别模型进行验证。
第二方面，本发明实施例还提供了一种神经网络识别模型训练装置，包括：
人体骨架数据获取模块，用于获取视觉传感器对待检测人体采集的人体骨架数据；
仿真数据生成模块，用于将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
识别模型训练模块，用于使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
实测数据获取模块，用于获取雷达传感器对所述待检测人体的实测雷达数据；
识别模型验证模块，用于将所述实测雷达数据输入到所述神经网络识别模型进行验证。
第三方面，本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的神经网络识别模型训练方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的神经网络识别模型训练方法。
本发明的技术方案通过获取视觉传感器对待检测人体采集的人体骨架数据；将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；获取雷达传感器对所述待检测人体的实测雷达数据；将所述实测雷达数据输入到所述神经网络识别模型进行验证，探索解决现有雷达数据识别模型样本量不够的问题，达到了扩充雷达数据库的效果。
附图说明
图1是本发明实施例一中的神经网络识别模型训练方法的流程图。
图2是本发明实施例二中的神经网络识别模型训练方法的流程图。
图3是本发明实施例二中的雷达与目标几何坐标的示意图。
图4是本发明实施例三中的神经网络识别模型训练装置的结构示意图。
图5是本发明实施例四中的服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一模型为第二模型，且类似地，可将第二模型称为第一模型。第一模型和第二模型两者都是模型，但其不是同一模型。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的神经网络识别模型训练方法的流程图，本实施例可适用于神经网络识别模型训练情况，该方法具体包括如下步骤：
S110、获取视觉传感器对待检测人体采集的人体骨架数据；
本实施例中，视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，通常用图像分辨率来描述视觉传感器的性能。本实施例的视觉传感器即Kinect V2不仅用了光学元件，还利用了深度传感器、红外发射器等来获取深度信息。示例性的，KinectV2传感器是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。其具有骨架追踪功能，能够追踪摄像机视野内至多6位用户的骨架影像，无需佩戴任何辅助仪器。计算机可以利用视觉技术基于视觉传感器的骨架追踪功能采集的人体骨架数据识别出待检测人体的动作姿态形成动作标签，保存动作标签与人体骨架数据的对应关系。待检测人体为作为动作姿态测试的人员。构成人体架构的大部分骨骼可以看成是刚体，骨骼形成的骨架构成了人体运动的架构基础，因此可以以人体骨架作为人体动作姿态体现。视觉传感器自带的骨架追踪功能能识别出待检测人体的人体骨架数据，即可根据预设坐标规则获得人体骨架的坐标数据。
S120、将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
本实施例中，第一模型为回波模型，回波模型为根据人体姿态建模得到的一种有均匀介质构成的适用于研究雷达特征的人体姿态模型推导出的雷达回波表达式。可以将步骤110采集的人体骨架数据的距离、RCS等参数结合雷达回波表达式生成仿真雷达数据，并将和人体骨架数据具有对应关系的动作标签与该仿真雷达数据对应，示例性的，可以对保存仿真雷达数据的文件命名上自动备注动作标签。可选的，所述第一模型为基于以椭球体形式反射雷达回波的回波模型
S130、使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
本实施例中，第二模型采用CNN作为雷达人体动作识别网络模型。该识别网络结构包括层深、层宽等参数，不同的网络结构决定了识别网络的特征表示情况，进而影响识别效果。对结构的研究包括层间结构和层内结构两个部分。层间结构包括层深(网络层数)、连接函数(例如卷积、池化、全连接)等；层内结构包括层宽(同层节点数)、激活函数等。将仿真雷达数据输入到该雷达人体动作识别网络模型进行数据训练，训练过程即为模型学习各层连接权重的过程。在本实施例中，示例性的，首先对各层权重进行高斯初始化，模型通过批量梯度下降的方法来调整各层参数，模型基础学习率可以设定为0.001，每次从训练集里随机选择16张雷达时频特征图供网络训练，雷达时频特征图共有1920个，则遍历所有雷达时频特征图需要120次，可以称遍历所有雷达时频特征图为一个周期，在迭代100个周期后完成训练过程，则可实现用于雷达人体动作识别的神经网络识别模型的训练。
S140、获取雷达传感器对所述待检测人体的实测雷达数据；
本实施例的雷达传感器为毫米波雷达传感器，与摄像头、红外、激光等光学传感器相比，毫米波雷达穿透雾、烟、灰尘的能力强，抗干扰能力强，具有全天候(大雨天除外)全天时的特点。实测雷达数据为用于与仿真雷达数据作比较。
S150、将所述实测雷达数据输入到所述神经网络识别模型进行验证。
本实施例中，可以将雷达传感器检测的多个实测雷达数据输入到步骤130训练的神经网络识别模型中以生成动作标签，可以将生成的动作标签与实际人体姿态对比以验证步骤130训练生成的神经网络识别模型的准确率。
本发明实施例的技术方案通过获取视觉传感器对待检测人体采集的人体骨架数据；将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；获取雷达传感器对所述待检测人体的实测雷达数据；将所述实测雷达数据输入到所述神经网络识别模型进行验证，解决了现有雷达数据识别模型样本量不够的问题，达到了扩充雷达数据库的效果。
实施例二
图2为本发明实施例二提供的神经网络识别模型训练方法的流程图，本实施例在上述实施例的基础上进一步优化，该方法具体包括：
S210、获取视觉传感器对待检测人体采集的人体骨架数据；
本实施例中，视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，通常用图像分辨率来描述视觉传感器的性能。本实施例的视觉传感器即Kinect V2不仅用了光学元件，还利用了深度传感器、红外发射器等来获取深度信息。它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动、骨架追踪等功能。计算机可以利用视觉技术基于视觉传感器的骨架追踪功能采集的人体骨架数据识别出待检测人体的动作姿态形成动作标签，保存动作标签与人体骨架数据的对应关系。待检测人体为作为动作姿态测试的人员。
S220、根据三次样条插值法对所述人体骨架数据进行插值。
本实施例中，三次样条插值是一种工业设计中常用的、得到平滑曲线的一种插值方法，由于视觉传感器与雷达传感器的帧率存在较大差异，示例性的，视觉传感器的帧率为30FPS，雷达传感器的帧率为200FPS，可以通过三次样条插值法将人体骨架数据的帧率调至与雷达数据的帧率相等。
S230、将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
本实施例中，根据人体骨架数据获得的人体骨架的关键坐标数据可以得知在t时刻人体四肢与位于坐标原点的雷达的距离。参照Novelda公司生产的雷达X4M03参数进行说明。X4M03雷达信号为高斯脉冲信号，假设人体部件以椭球体的形式反射回波，则推导可得雷达回波的基带信号公式如下
Figure BDA0002404816180000081
其中，R(k)为第k帧雷达信号由雷达到关键坐标数据的各散射目标点的实时距离，Rb(n)为第n个距离单元到雷达的距离，λc为载波波长，Ts为采样时间，τ是由信号带宽fB决定的一个常数，具体公式如下
Figure BDA0002404816180000082
VRX为雷达回波的幅度，这里简单表示为
Figure BDA0002404816180000083
雷达散射面积RCS由椭圆体的回波公式及解析几何中的位置关系可得，椭球体RCS计算公式为
Figure BDA0002404816180000084
其中，a、b、c分别为椭圆体沿x、y、z方向的半轴长，依靠经验设置，而θ为姿态角，
Figure BDA0002404816180000085
为水平角，可通过几何关系计算得到，如图3所示。由此，即可得到人体各个部件的雷达散射面积RCS。
S240、使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
本实施例中，第二模型采用CNN作为雷达人体动作识别网络模型。将仿真雷达数据输入到该雷达人体动作识别网络模型进行数据训练，则可以获得本方案人体骨架数据与仿真雷达数据对应的神经网络识别模型。
S250、获取雷达传感器对所述待检测人体的实测雷达数据；
本实施例的雷达传感器为毫米波雷达传感器，与摄像头、红外、激光等光学传感器相比，毫米波雷达穿透雾、烟、灰尘的能力强，抗干扰能力强，具有全天候(大雨天除外)全天时的特点。实测雷达数据为用于与仿真雷达数据作比较。
S260、根据短时傅里叶变换算法对经过杂波抑制和目标检测的所述实测雷达数据提取出目标时频特征；
本实施例中，短时傅里叶变换算法是最常用的一种时频分析方法，它通过时间窗内的一段信号来表示某一时刻的信号特征。杂波抑制用于抑制动待检测人体周围的各种固定或运动杂波,尽可能地保留有用信号,从而提高雷达对待检测人体的检测能力。短时傅里叶变换(STFT，Short-time Fourier Transform)处理从人体各个部分反射回来的雷达回波来得到雷达谱图。短时傅里叶变换的出现是为了要解决信号的时域和频域局部化矛盾，其基本思想是：为了得到局部的时域信息，将傅里叶变换进行一定的改变，在信号进行傅里叶变换前乘以一个有限时间长度的窗函数，可以默认平稳信号在窗函数有限时长内也是平稳的，窗函数在时间轴上移动，逐段对信号进行变换，最后得到信号不同时刻的局部频谱，该局部谱图则为目标时频特征。
S270、将所述目标时频特征输入到所述神经网络识别模型对输出的动作标签进行验证。
本实施例中，将不同时刻的目标时频特征输入到步骤250训练的神经网络识别模型中以生成动作标签，可以将生成的动作标签与实际人体姿态对比以验证步骤250训练生成的神经网络识别模型的准确率。可选的，所述雷达传感器为多个，所述将所述目标时频特征输入到所述神经网络识别模型对输出的动作标签进行验证包括：以预设基准时间为参考对多个所述雷达传感器进行时间同步；将基于相同时间检测的多个所述实测雷达数据输入到所述神经网络识别模型对输出的动作标签进行验证。
本实施例中，多个雷达传感器之间可能存在因差异引起的时间不同步问题，需要进行对不同传感器的时间适中同步，以便在将多个实测雷达数据输入神经网络识别模型进行计算的时候同一时间输入的实测雷达数据是针对同一组动作的检测，示例性的，可以基于一个传感器的时间为预设基准时间，其他传感器将时间同步至改预设基准时间，也可以是取所有传感器的中间时间为预设基准时间，将所有传感器的时间同步至改预设基准时间。可选的，所述神经网络识别模型包括3个卷积层、3个全连接层和1个Softmax层。
本实施例中，可以将多个雷达传感器采集的雷达数据经过短时傅里叶变换后提取的目标时频特征图调整为规定大小后分别输入各自的卷积分支，每个分支各3层，每层操作包括卷积、最大值池化层、激活函数ReLU激活。第一层有4个卷积核，大小为15×15，步长为4，池化核大小为9×9，步长为1；第二层有8个卷积核，大小为7×7，步长为2，池化核大小为9×9，步长为2；第三层有16个卷积核，大小为3×3，步长为2，池化核大小为9×9，步长为2。然后，将多个个分支的输出连接后经过3层全连接层，将输出转化为6×1的预测向量。最后，经过Softmax层将输出归一化，得出神经网络识别模型的识别准确率。可选的，多个所述雷达传感器对于所述待检测人体的检测角度不同。
本实施例中，雷达传感器为多个，即不同雷达传感器可以基于不同角度对待检测人体进行数据采集，示例性的，可以设置两组雷达传感器，一组探测目标正面，另一组探测目标侧面，两个雷达传感器视线相互垂直。不同探测角度可以获取更多人体微动多普勒信息，提高识别准确率。进一步的，可以将雷达置于高处，以便能捕捉待检测人体在垂直方向上的多普勒变化。
本发明实施例的技术方案通过根据短时傅里叶变换算法对经过杂波抑制和目标检测的所述实测雷达数据提取出目标时频特征；将所述目标时频特征输入到所述神经网络识别模型对输出的动作标签进行验证，验证了利用雷达仿真数据训练识别网络的有效性。
实施例三
图4所示为本发明实施例三提供的神经网络识别模型训练装置300的结构示意图，本实施例可适用于神经网络识别模型训练情况，具体结构如下：
人体骨架数据获取模块310，用于获取视觉传感器对待检测人体采集的人体骨架数据；
仿真数据生成模块320，用于将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
识别模型训练模块330，用于使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
实测数据获取模块340，用于获取雷达传感器对所述待检测人体的实测雷达数据；
识别模型验证模块350，用于将所述实测雷达数据输入到所述神经网络识别模型进行验证。
可选的，装置300还包括帧率调整模块，用于根据三次样条插值法对所述人体骨架数据进行插值。
可选的，所述第一模型为基于以椭球体形式反射雷达回波的回波模型。
可选的，识别模型验证模块350包括目标时频特征提取单元和识别模型验证单元，
目标时频特征提取单元用于根据短时傅里叶变换算法对经过杂波抑制和目标检测的所述实测雷达数据提取出目标时频特征；
识别模型验证单元用于将所述目标时频特征输入到所述神经网络识别模型对输出的动作标签进行验证。
可选的，识别模型验证单元包括时间同步子单元和识别模型验证子单元，
时间同步子单元用于以预设基准时间为参考对多个所述雷达传感器进行时间同步；
识别模型验证子单元用于将基于相同时间检测的多个所述实测雷达数据输入到所述神经网络识别模型对输出的动作标签进行验证。
可选的，所述神经网络识别模型包括3个卷积层、3个全连接层和1个Softmax层。
可选的，多个所述雷达传感器对于所述待检测人体的检测角度不同。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5是本发明实施例四提供的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例性服务器512的框图。图5显示的服务器512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，服务器512以通用服务器的形式表现。服务器512的组件可以包括但不限于：一个或者多个处理器516，存储装置528，连接不同系统组件(包括存储装置528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
服务器512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)530和/或高速缓存存储器532。终端512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储装置528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储装置528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
服务器512也可以与一个或多个外部设备514(例如键盘、指向终端、显示器524等)通信，还可与一个或者多个使得用户能与该服务器512交互的终端通信，和/或与使得该服务器512能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，服务器512还可以通过网络适配器520与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器520通过总线518与服务器512的其它模块通信。应当明白，尽管图中未示出，可以结合服务器512使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在存储装置528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种神经网络识别模型训练方法，该方法可以包括：
获取视觉传感器对待检测人体采集的人体骨架数据；
将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
获取雷达传感器对所述待检测人体的实测雷达数据；
将所述实测雷达数据输入到所述神经网络识别模型进行验证。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种神经网络识别模型训练方法，该方法可以包括：
获取视觉传感器对待检测人体采集的人体骨架数据；
将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
获取雷达传感器对所述待检测人体的实测雷达数据；
将所述实测雷达数据输入到所述神经网络识别模型进行验证。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种神经网络识别模型训练方法，其特征在于，包括：
获取视觉传感器对待检测人体采集的人体骨架数据；
将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
获取雷达传感器对所述待检测人体的实测雷达数据；
将所述实测雷达数据输入到所述神经网络识别模型进行验证；
所述将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据，包括：
根据所述人体骨架数据获得的人体骨架的关键坐标数据得到在t时刻人体四肢与位于坐标原点的雷达的距离。当雷达信号为高斯脉冲信号时，假设人体部件以椭球体的形式反射回波，则推导可得所述雷达回波的基带信号公式如下
Figure FDA0004109579760000011
其中，R(k)为第k帧雷达信号由雷达到关键坐标数据的各散射目标点的实时距离，Rb(n)为第n个距离单元到雷达的距离，λc为载波波长，Ts为采样时间，τ是由信号带宽fB决定的一个常数，具体公式如下
Figure FDA0004109579760000012
VRX为雷达回波的幅度，简单表示为
Figure FDA0004109579760000013
雷达散射面积RCS由椭圆体的回波公式及解析几何中的位置关系可得，椭球体RCS计算公式为
Figure FDA0004109579760000014
其中，a、b、c分别为椭圆体沿x、y、z方向的半轴长，θ为姿态角，
Figure FDA0004109579760000015
为水平角；由此，即可得到人体各个部件的所述雷达散射面积RCS。
2.根据权利要求1所述的神经网络识别模型训练方法，其特征在于，所述将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据之前，还包括：
根据三次样条插值法对所述人体骨架数据进行插值。
3.根据权利要求1所述的神经网络识别模型训练方法，其特征在于，所述第一模型为基于以椭球体形式反射雷达回波的回波模型。
4.根据权利要求1所述的神经网络识别模型训练方法，其特征在于，所述将所述实测雷达数据输入到所述神经网络识别模型进行验证包括：
根据短时傅里叶变换算法对经过杂波抑制和目标检测的所述实测雷达数据提取出目标时频特征；
将所述目标时频特征输入到所述神经网络识别模型对输出的动作标签进行验证。
5.根据权利要求4所述的神经网络识别模型训练方法，其特征在于，所述雷达传感器为多个，所述将所述目标时频特征输入到所述神经网络识别模型对输出的动作标签进行验证包括：
以预设基准时间为参考对多个所述雷达传感器进行时间同步；
将基于相同时间检测的多个所述实测雷达数据输入到所述神经网络识别模型对输出的动作标签进行验证。
6.根据权利要求5所述的神经网络识别模型训练方法，其特征在于，所述神经网络识别模型包括3个卷积层、3个全连接层和1个Softmax层。
7.根据权利要求5所述的神经网络识别模型训练方法，其特征在于，多个所述雷达传感器对于所述待检测人体的检测角度不同。
8.一种神经网络识别模型训练装置，其特征在于，包括：
人体骨架数据获取模块，用于获取视觉传感器对待检测人体采集的人体骨架数据；
仿真数据生成模块，用于将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据；
识别模型训练模块，用于使用所述仿真雷达数据对第二模型进行训练以获得神经网络识别模型；
实测数据获取模块，用于获取雷达传感器对所述待检测人体的实测雷达数据；
识别模型验证模块，用于将所述实测雷达数据输入到所述神经网络识别模型进行验证；
所述将所述人体骨架数据结合第一模型生成所述待检测人体的仿真雷达数据，包括：
根据所述人体骨架数据获得的人体骨架的关键坐标数据得到在t时刻人体四肢与位于坐标原点的雷达的距离。当雷达信号为高斯脉冲信号时，假设人体部件以椭球体的形式反射回波，则推导可得所述雷达回波的基带信号公式如下
Figure FDA0004109579760000031
其中，R(k)为第k帧雷达信号由雷达到关键坐标数据的各散射目标点的实时距离，Rb(n)为第n个距离单元到雷达的距离，λc为载波波长，Ts为采样时间，τ是由信号带宽fB决定的一个常数，具体公式如下
Figure FDA0004109579760000032
VRX为雷达回波的幅度，简单表示为
Figure FDA0004109579760000041
雷达散射面积RCS由椭圆体的回波公式及解析几何中的位置关系可得，椭球体RCS计算公式为
Figure FDA0004109579760000042
其中，a、b、c分别为椭圆体沿x、y、z方向的半轴长，θ为姿态角，
Figure FDA0004109579760000043
为水平角；由此，即可得到人体各个部件的所述雷达散射面积RCS。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的神经网络识别模型训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的神经网络识别模型训练方法。
CN202010158141.1A 2020-03-09 2020-03-09 神经网络识别模型训练方法、装置、服务器及存储介质 Active CN111401180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010158141.1A CN111401180B (zh) 2020-03-09 2020-03-09 神经网络识别模型训练方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010158141.1A CN111401180B (zh) 2020-03-09 2020-03-09 神经网络识别模型训练方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111401180A CN111401180A (zh) 2020-07-10
CN111401180B true CN111401180B (zh) 2023-06-16

Family

ID=71428640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010158141.1A Active CN111401180B (zh) 2020-03-09 2020-03-09 神经网络识别模型训练方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111401180B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950198B (zh) * 2020-08-10 2024-02-02 北京环境特性研究所 一种基于神经网络的地杂波仿真方法
CN112241001B (zh) * 2020-10-10 2023-06-23 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质
CN112613566B (zh) * 2020-12-25 2023-09-19 深圳大学 人体动作分类方法、装置、终端设备以及存储介质
CN118520305A (zh) * 2024-07-19 2024-08-20 湘江实验室 一种可自扩充雷达数据的人体活动检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317416B2 (en) * 2005-12-22 2008-01-08 Leonard Flom Skeletal topography imaging radar for unique individual identification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法

Also Published As

Publication number Publication date
CN111401180A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111401180B (zh) 神经网络识别模型训练方法、装置、服务器及存储介质
CN109345596B (zh) 多传感器标定方法、装置、计算机设备、介质和车辆
US10607358B2 (en) Ear shape analysis method, ear shape analysis device, and ear shape model generation method
CN109118542B (zh) 激光雷达与相机之间的标定方法、装置、设备及存储介质
CN104076355B (zh) 基于动态规划的强杂波环境中弱小目标检测前跟踪方法
CN103310188A (zh) 用于姿态识别的方法和设备
CN105866740B (zh) 一种基于压缩感知的水声匹配场定位方法
CN107516322A (zh) 一种基于对数极空间的图像物体大小和旋转估计计算方法
CN112241001B (zh) 雷达人体动作识别方法、装置、电子设备和存储介质
CN112116720A (zh) 三维点云的增广方法、装置、存储介质及计算机设备
CN114460588B (zh) 基于主动式声学成像仪的高精度成像方法
CN107992873A (zh) 目标检测方法及装置、存储介质、电子设备
Jekateryńczuk et al. A Survey of Sound Source Localization and Detection Methods and Their Applications
Chen et al. Rf genesis: Zero-shot generalization of mmwave sensing through simulation-based data synthesis and generative diffusion models
CN111382702B (zh) 手势识别方法、装置、移动终端和存储介质
CN113009508B (zh) 用于tof模组的多径干扰校正方法及其系统和电子设备
CN115327505B (zh) 一种多径环境下低空目标角度估计方法及相关设备
CN116467927A (zh) 水下声信道仿真数据处理方法及装置
KR20110129000A (ko) 상관함수를 이용한 별 센서의 별 인식 방법
CN115131756A (zh) 一种目标检测方法及装置
Çavuşlu et al. FPGA implementation of bearing tracking using passive array for underwater acoustics
Zhang et al. Bearing‐only motion analysis of target based on low‐quality bearing‐time recordings map
CN113421281A (zh) 一种基于分割理论的行人微动部位分离方法
US20220221581A1 (en) Depth estimation device, depth estimation method, and depth estimation program
Gyöngy et al. Experimental validation of a convolution-based ultrasound image formation model using a planar arrangement of micrometer-scale scatterers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant