CN111796272B - 穿墙雷达人体图像序列的姿态实时识别方法及计算机设备 - Google Patents

穿墙雷达人体图像序列的姿态实时识别方法及计算机设备 Download PDF

Info

Publication number
CN111796272B
CN111796272B CN202010513674.7A CN202010513674A CN111796272B CN 111796272 B CN111796272 B CN 111796272B CN 202010513674 A CN202010513674 A CN 202010513674A CN 111796272 B CN111796272 B CN 111796272B
Authority
CN
China
Prior art keywords
human body
real
target
time
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010513674.7A
Other languages
English (en)
Other versions
CN111796272A (zh
Inventor
晋良念
毛强
卞粱
谢辉玉
刘庆华
蒋俊正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202010513674.7A priority Critical patent/CN111796272B/zh
Publication of CN111796272A publication Critical patent/CN111796272A/zh
Application granted granted Critical
Publication of CN111796272B publication Critical patent/CN111796272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/887—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • G01S13/888—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons through wall detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明适用于穿墙雷达领域，提供了一种穿墙雷达人体图像序列的姿态实时识别方法及计算机设备。方法包括：根据目标的雷达回波信号通过人体图像生成算法构建隐藏人体目标运动时的人体图像序列；将隐藏人体目标运动时的人体图像序列按照预设的比例划分为训练集样本和测试集样本，并在对应时刻标注相应动作标签；通过3D卷积层和3D卷积门控循环单元相结合的方式构建人体姿态实时识别网络，并通过训练集样本对人体姿态实时识别网络进行训练；将测试集样本输入到训练后的人体姿态实时识别网络中，得到每个时刻的姿态类别。本发明具备了人体行为类型短时判决的能力，有效地解决了固定时间内动作不完整或存在两种动作时就很难区分出来等问题。

Description

穿墙雷达人体图像序列的姿态实时识别方法及计算机设备
技术领域
本发明属于穿墙雷达领域，尤其涉及一种穿墙雷达人体图像序列的姿态实时识别方法及计算机设备。
背景技术
近年来，人类姿态的非接触式穿墙探测与分类技术在公共安全与防护、反恐作战、灾害救援等诸多领域的实际应用中具有重要的应用价值，因此受到了广泛的研究关注。通过对人体姿态的穿墙检测和识别，将有助于决策和制定救援策略，极大地提高救援效率和作战效能。与超声波、光学、红外线等传感器相比，基于雷达的特征提取与识别技术因其全天候的适应性和夜间的可用性而受到众多研究者的关注。
现有的基于雷达的特征识别方法多采用固定时间窗，要求人体在固定时间内完成一个动作后才能生成相应的二维时间距离像和谱图再进行识别，然而在实际探测过程中，人体的运动时间是未知的，行为发生和结束的时间点并不能预测出，如果截取等长的时间段进行识别，在这个时间段内动作不完整或存在两种动作时就很难区分出来。
发明内容
本发明的目的在于提供一种穿墙雷达人体图像序列的姿态实时识别方法、计算机可读存储介质及计算机设备，旨在解决现有的要求人体在固定时间内完成一个动作后才能生成相应的谱图再进行识别，如果在固定时间内动作不完整或存在两种动作时就很难区分出来的问题。
第一方面，本发明提供了一种穿墙雷达人体图像序列的姿态实时识别方法，所述方法包括：
S101、获取目标的雷达回波信号；
S102、根据目标的雷达回波信号通过人体图像生成算法构建隐藏人体目标运动时的人体图像序列；
S103、将隐藏人体目标运动时的人体图像序列按照预设的比例划分为训练集样本和测试集样本，并在对应时刻标注相应动作标签；
S104、通过3D卷积层和3D卷积门控循环单元相结合的方式构建人体姿态实时识别网络，并通过所述训练集样本对所述人体姿态实时识别网络进行训练；
S105、将测试集样本输入到训练后的人体姿态实时识别网络中，得到每个时刻的姿态类别。
第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的穿墙雷达人体图像序列的姿态实时识别方法的步骤。
第三方面，本发明提供了一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的穿墙雷达人体图像序列的姿态实时识别方法的步骤。
在本发明中，由于根据目标的雷达回波信号通过人体图像生成算法构建隐藏人体目标运动时的人体图像序列；将隐藏人体目标运动时的人体图像序列按照预设的比例划分为训练集样本和测试集样本，通过3D卷积层和3D卷积门控循环单元相结合的方式构建人体姿态实时识别网络，并通过所述训练集样本对所述人体姿态实时识别网络进行训练。因此具备了人体行为类型短时判决的能力，有效地解决了固定时间内动作不完整或存在两种动作时就很难区分出来等问题。
附图说明
图1是本发明实施例一提供的穿墙雷达人体图像序列的姿态实时识别方法的流程图。
图2是本发明实施例一提供的穿墙雷达人体图像序列的姿态实时识别方法中，生成的人体图像序列示意图。
图3是本发明实施例三提供的计算机设备的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的穿墙雷达人体图像序列的姿态实时识别方法包括以下步骤：
S101、获取目标的雷达回波信号，所述目标的雷达回波信号是采用二维天线阵列和SFCW(Stepped Frequency Continuous Wave，步进频率连续波)探地雷达的组合来扫描墙后的三维空间获得的。
本发明实施例一中，S101具体可以为：通过以下公式获得目标在多个扫频周期内的多帧雷达回波信号
Figure BDA0002529352740000031
Figure BDA0002529352740000032
q表示第q个扫频周期，共有Q个扫频周期；则单个扫频周期内，单帧雷达回波信号Smn,k为：
Figure BDA0002529352740000033
其中，i表示第i个目标，共有I个目标，σi表示第i个目标的散射系数，j是虚数单位，f0是步进频信号的初始频率，k表示第k个子脉冲，共有K-1个子脉冲，△f是频率步进间隔，τmn,i表示二维天线阵列中的第m行第n列天线到第i个目标的时延，i、I、k、K、m和n都是正整数。
S102、根据目标的多帧雷达回波信号通过人体图像生成算法(3D-CF算法)构建隐藏人体目标运动时的人体图像序列，如图2所示。
在本发明实施例一中，S102具体可以包括以下步骤：
S1021、取单帧雷达回波信号，对目标成像区域利用GPU加速延时求和波束形成方法成像，生成图像H，具体实现步骤为：
延时求和波束形成方法成像是将目标成像区域划分网格点，将目标成像区域划分为a×b×c块网格点，a、b和c是正整数，对任一网格点，记为D(xd,yd,zd)，通过计算目标成像区域内各网格点到接收天线和发射天线之间的时延得到对应的积累轨迹，再将所有积累轨迹在回波域内进行相干累加，得到该网格点在图像中对应的像素值。
本发明实施例一中，通过为每个网格点分配一个独立工作的线程，每个线程都单独执行计算网格点到接收天线和发射天线之间的时延得到对应的积累轨迹，将所有积累轨迹在回波域内进行相干累加，最终完成对每个网格点的像素值计算。
S1022、采用3D-CF算法消除目标的雷达回波信号的旁瓣，得到隐藏人体目标一帧运动时的人体图像H3D-CF，具体实现步骤为：
Figure BDA0002529352740000041
Figure BDA0002529352740000042
CF3D＝CFx·CFy·CFz
H3D-CF＝H·CF3D
其中
Figure BDA0002529352740000051
表示为表示二维天线阵列中的第m行第n列天线到网格点(xd,yd,zd)的时延。
S1023：重复执行步骤S1021和S1022则可获得多帧人体图像构成的人体图像序列。
S103、将隐藏人体目标运动时的人体图像序列按照预设的比例划分为训练集样本和测试集样本，并在对应时刻标注相应动作标签。
预设的比例可以为训练集样本和测试集样本的比例为7：3，当然也可以是其他比例。
S104、通过3D卷积层和3D卷积门控循环单元(3D-ConvGRU)相结合的方式构建人体姿态实时识别网络，并通过所述训练集样本对所述人体姿态实时识别网络进行训练。
人体姿态实时识别网络分别通过多个3D卷积层和3D-ConvGRU相串联的方式实现深度特征的提取，最后分别接全连接层、Softmax层和分类层；将训练集样本输入到人体姿态实时识别网络中得到预测的姿态类别，再利用预测的姿态类别概率值和真实样本标签的交叉损失熵构建优化目标函数，接着通过误差反向传播更新人体姿态实时识别网络中的权值和偏置，重复此过程直到最大迭代次数完成。
在本发明实施例一中，S104具体可以包括以下步骤：
S1041：构建人体姿态实时识别网络，并采用正态分布初始化人体姿态实时识别网络中的权值和偏置；
S1042：将训练集样本输入人体姿态实时识别网络中，每个样本的输入数据尺寸为64×64×64，真实样本标签为姿态类别所对应的数字；
S1043：通过人体姿态实时识别网络得到预测的姿态类别，再利用姿态类别概率值和真实样本标签的交叉损失熵构建优化目标函数，接着对目标函数中的参数进行求导得到各网络层的误差传播梯度，根据梯度和学习率更新人体姿态实时识别网络中的权值和偏置；
S1044：重复S1042至S1043过程直到最大迭代次数完成，得到训练后的人体姿态实时识别网络。
在本发明实施例一中，S1042具体可以包括以下步骤：
S10421：输入64×64×64尺寸的训练集样本到输入层，分别接第一3D卷积层和3D-ConvGRU，3D卷积层起到降维作用，卷积核大小为3×3，步长为2×2，3D-ConvGRU进行特征提取，提取方法是由两个门通道构成，分别为重置门Rt和更新门Zt：
Rt＝σ[Xt*Wxr+Ht-1*Whr+br]
Zt＝σ[Xt*Wxz+Ht-1*Whz+bz]
其中，σ为Sigmoid函数，Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线，Xt为t时刻的3D-ConvGRU中的输入数据，Ht-1为t-1时刻的输出，Wxr,Whr,Wxz,Whz分别为3×3的卷积核，步长为1×1，br,bz分别为重置门和更新门的偏置，*为卷积运算；
通过计算候选隐含状态
Figure BDA0002529352740000061
可得t时刻的输出Ht：
Figure BDA0002529352740000062
Figure BDA0002529352740000063
其中，Wxh,Whh为3×3的卷积核，步长为1×1，bh为候选隐含状态的偏置，⊙为点乘运算，最后得到32×32×32的特征数据；
S10422：将32×32×32的特征数据输入到第二3D卷积层和3D-ConvGRU中，得到16×16×16的特征数据；
S10423：将16×16×16的特征数据输入到第三3D卷积层和3D-ConvGRU中，得到8×8×8的特征数据；
S10424：将8×8×8的特征数据分别接节点数为姿态类别总数的全连接层、Softmax层和分类层，最终得到t时刻的姿态类别。
在本发明实施例一中，S1043中根据梯度和学习率更新人体姿态实时识别网络中的权值和偏置具体可以包括以下步骤：
S10431：通过人体姿态实时识别网络得到预测的姿态类别，再利用姿态类别概率值和真实样本标签的交叉损失熵构建优化目标函数：
Figure BDA0002529352740000071
其中，W，b分别为各网络层的权值和偏差，θ为分类器参数，NTR为一次迭代的训练集个数，δ为狄利克雷函数，yn，Yn(k)分别为第n个输入数据xn的真实样本标签和第k类别标签的概率值，λ1,λ2分别为设置的常量，所述常量的值比较小，例如0.01、0.05等。公式的后两项为正则项，具体表示为
Figure BDA0002529352740000072
其中Wl表示为第l层的权重，F表示为L2正则化，θk为第k类别的分类器参数。
S10432：对目标函数中的参数进行求导得到各网络层的误差传播梯度，根据梯度和学习率更新人体姿态实时识别网络中的权值W和偏置b：
Figure BDA0002529352740000073
其中，α为学习率，Wk,bk,θk分别表示为第k次学习时，各网络层的权重，偏置和分类器参数，
Figure BDA0002529352740000074
分别为目标函数关于各网络层的权重，偏置和分类器参数的梯度值。
S105、将测试集样本输入到训练后的人体姿态实时识别网络中，得到每个时刻的姿态类别。
本发明实施例一提供的穿墙雷达人体图像序列的姿态实时识别方法的举例如下：
步骤(1)、采用SFCW探地雷达探测实验场景，发射信号的频率为1GHz-3GHz，步进间隔为20MHz，发射功率为10dBm，扫描周期为0.02s；经测量墙体厚0.25m，介电常数为6.4。用图像序列生成模块生成8种人体姿态图像序列，分别为(a)跳高、(b)挥拳、(c)喝水、(d)下蹲，(e)小跑、(f)步行、(g)正步走和(h)跳远，每种类型姿态包含了900个样本。
步骤(2)、将数据集按照7:3的比例划分为训练集和测试集，并在对应时刻贴上标签。
步骤(3)、使用训练集对人体姿态实时识别网络对人体动作进行训练，采用的训练优化器为带一阶动量优化的随机梯度下降(SGDM)的优化器，其中一阶动量的参数设置为0.9。网络训练过程中，最大的Epoch值设置为80，采用周期机制来调整学习率，周期设置为10个Epoch，最后分别对初始学习率和学习衰减率进行参数寻优。Epoch是一个超参数，它定义了学习算法在整个训练数据集中的工作次数。
步骤(4)、将测试集输入以训练好的人体姿态实时识别网络，得到每个时刻的姿态类别。
在本发明实施例一中，S102之前，所述方法还可以包括以下步骤：
S1011、用时间窗置零法消除目标的雷达回波信号中的抑制墙体回波和天线耦合波，然后用线性趋势抑制(LTS)进一步消除目标的雷达回波信号中存在的静态杂波和线性趋势干扰；
S1012、将消除了静态杂波和线性趋势干扰后的目标的雷达回波信号进行GPU加速成像，通过由粗扫到精细的三维扫描精确定位墙后目标的位置，以缩小成像空间。
在本发明实施例一中，S1012具体可以包括以下步骤：
S10121、对于人体目标所在区域，人体呈稀疏分布，因此首先通过二维天线阵列中的一部分天线阵元(选取M*N个阵元)对目标区域以粗分辨率(粗划分网格)进行扫描，对目标区域进行极坐标像素划分：
Figure BDA0002529352740000091
其中r为原点到网格点的距离，θ为方位角，
Figure BDA0002529352740000092
为俯仰角，
Figure BDA0002529352740000093
表示目标区域极坐标划分下任意网格点。
对于任意网格点
Figure BDA0002529352740000094
的像素值可以表示为：
Figure BDA0002529352740000095
其中
Figure BDA0002529352740000096
表示为第m行第n列天线到像素点
Figure BDA0002529352740000097
的时延。
S10122、为了降低旁瓣对墙后目标的位置的影响，采用相位相干因子加权(PCF)的方式消除旁瓣，具体过程如下：
Figure BDA0002529352740000098
PCF＝(1-δ(exp(φ(m,n,i))))p
其中p为大于1的常数，δ为标准差，
Figure BDA0002529352740000099
则：IPCF＝I·PCF，IPCF为消除旁瓣后网格点积累像素值。
S10123、采用阈值判定法选择合适的阈值确定目标所在区域以缩小成像区域进行成像。
实施例二：
本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的穿墙雷达人体图像序列的姿态实时识别方法的步骤。
实施例三：
图3示出了本发明实施例三提供的计算机设备的具体结构框图，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的穿墙雷达人体图像序列的姿态实时识别方法的步骤。
在本发明中，由于根据目标的雷达回波信号通过人体图像生成算法构建隐藏人体目标运动时的人体图像序列；将隐藏人体目标运动时的人体图像序列按照预设的比例划分为训练集样本和测试集样本，通过3D卷积层和3D卷积门控循环单元相结合的方式构建人体姿态实时识别网络，并通过所述训练集样本对所述人体姿态实时识别网络进行训练。因此具备了人体行为类型短时判决的能力，有效地解决了固定时间内动作不完整或存在两种动作时就很难区分出来等问题。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种穿墙雷达人体图像序列的姿态实时识别方法，其特征在于，所述方法包括：
S101、获取目标的雷达回波信号；
S102、根据目标的雷达回波信号通过人体图像生成算法构建隐藏人体目标运动时的人体图像序列；
S103、将隐藏人体目标运动时的人体图像序列按照预设的比例划分为训练集样本和测试集样本，并在对应时刻标注相应动作标签；
S104、通过3D卷积层和3D卷积门控循环单元相结合的方式构建人体姿态实时识别网络，并通过所述训练集样本对所述人体姿态实时识别网络进行训练；
S105、将测试集样本输入到训练后的人体姿态实时识别网络中，得到每个时刻的姿态类别；
所述S102具体包括：
S1021、取单帧雷达回波信号，对目标成像区域利用GPU加速延时求和波束形成方法成像，生成图像H；
S1022、采用人体图像生成算法消除目标的雷达回波信号的旁瓣，得到隐藏人体目标一帧运动时的人体图像H3D-CF；
S1023、重复执行步骤S1021和S1022则可获得多帧人体图像构成的人体图像序列。
2.如权利要求1所述的方法，其特征在于，所述目标的雷达回波信号通过以下方式获得：
通过以下公式获得目标在多个扫频周期内的多帧雷达回波信号
Figure FDA0003775831530000011
Figure FDA0003775831530000012
q表示第q个扫频周期，共有Q个扫频周期；则单个扫频周期内，单帧雷达回波信号Smn,k为：
Figure FDA0003775831530000021
其中，i表示第i个目标，共有I个目标，σi表示第i个目标的散射系数，j是虚数单位，f0是步进频信号的初始频率，k表示第k个子脉冲，共有K-1个子脉冲，△f是频率步进间隔，τmn,i表示二维天线阵列中的第m行第n列天线到第i个目标的时延，i、I、k、K、m和n都是正整数；
S1021具体实现步骤为：
延时求和波束形成方法成像是将目标成像区域划分网格点，将目标成像区域划分为a×b×c块网格点，a、b和c是正整数，对任一网格点，记为D(xd,yd,zd)，通过计算目标成像区域内各网格点到接收天线和发射天线之间的时延得到对应的积累轨迹，再将所有积累轨迹在回波域内进行相干累加，得到该网格点在图像中对应的像素值；
S1022具体实现步骤为：
Figure FDA0003775831530000022
Figure FDA0003775831530000023
CF3D＝CFx·CFy·CFz
H3D-CF＝H·CF3D
其中
Figure FDA0003775831530000024
表示为表示二维天线阵列中的第m行第n列天线到网格点(xd,yd,zd)的时延。
3.如权利要求1所述的方法，其特征在于，所述S104具体包括：
S1041：构建人体姿态实时识别网络，并采用正态分布初始化人体姿态实时识别网络中的权值和偏置；
S1042：将训练集样本输入人体姿态实时识别网络中，每个样本的输入数据尺寸为64×64×64，真实样本标签为姿态类别所对应的数字；
S1043：通过人体姿态实时识别网络得到预测的姿态类别，再利用姿态类别概率值和真实样本标签的交叉损失熵构建优化目标函数，接着对目标函数中的参数进行求导得到各网络层的误差传播梯度，根据梯度和学习率更新人体姿态实时识别网络中的权值和偏置；
S1044：重复S1042至S1043过程直到最大迭代次数完成，得到训练后的人体姿态实时识别网络。
4.如权利要求3所述的方法，其特征在于，所述S1042具体包括：
S10421：输入64×64×64尺寸的训练集样本到输入层，分别接第一3D卷积层和3D-ConvGRU，3D卷积层起到降维作用，卷积核大小为3×3，步长为2×2，3D-ConvGRU进行特征提取，提取方法是由两个门通道构成，分别为重置门Rt和更新门Zt：
Rt＝σ[Xt*Wxr+Ht-1*Whr+br]
Zt＝σ[Xt*Wxz+Ht-1*Whz+bz]
其中，σ为Sigmoid函数，Xt为t时刻的3D-ConvGRU中的输入数据，Ht-1为t-1时刻的输出，Wxr,Whr,Wxz,Whz分别为3×3的卷积核，步长为1×1，br,bz分别为重置门和更新门的偏置，*为卷积运算；
通过计算候选隐含状态
Figure FDA0003775831530000031
可得t时刻的输出Ht：
Figure FDA0003775831530000032
Figure FDA0003775831530000033
其中，Wxh,Whh为3×3的卷积核，步长为1×1，bh为候选隐含状态的偏置，⊙为点乘运算，最后得到32×32×32的特征数据；
S10422：将32×32×32的特征数据输入到第二3D卷积层和3D-ConvGRU中，得到16×16×16的特征数据；
S10423：将16×16×16的特征数据输入到第三3D卷积层和3D-ConvGRU中，得到8×8×8的特征数据；
S10424：将8×8×8的特征数据分别接节点数为姿态类别总数的全连接层、Softmax层和分类层，最终得到t时刻的姿态类别。
5.如权利要求3所述的方法，其特征在于，所述S1043中根据梯度和学习率更新人体姿态实时识别网络中的权值和偏置具体包括：
S10431：通过人体姿态实时识别网络得到预测的姿态类别，再利用姿态类别概率值和真实样本标签的交叉损失熵构建优化目标函数：
Figure FDA0003775831530000041
其中，W，b分别为各网络层的权值和偏差，θ为分类器参数，NTR为一次迭代的训练集个数，δ为狄利克雷函数，yn，Yn(k)分别为第n个输入数据xn的真实样本标签和第k类别标签的概率值，λ1,λ2分别为设置的常量；公式的后两项为正则项，具体表示为
Figure FDA0003775831530000042
其中Wl表示为第l层的权重，F表示为L2正则化，θk为第k类别的分类器参数；
S10432：对目标函数中的参数进行求导得到各网络层的误差传播梯度，根据梯度和学习率更新人体姿态实时识别网络中的权值W和偏置b：
Figure FDA0003775831530000043
其中，α为学习率，Wk,bk,θk分别表示为第k次学习时，各网络层的权重，偏置和分类器参数，
Figure FDA0003775831530000044
分别为目标函数关于各网络层的权重，偏置和分类器参数的梯度值。
6.如权利要求1所述的方法，其特征在于，所述S102之前，所述方法还包括：
S1011、用时间窗置零法消除目标的雷达回波信号中的抑制墙体回波和天线耦合波，然后用线性趋势抑制进一步消除目标的雷达回波信号中存在的静态杂波和线性趋势干扰；
S1012、将消除了静态杂波和线性趋势干扰后的目标的雷达回波信号进行GPU加速成像，通过由粗扫到精细的三维扫描精确定位墙后目标的位置，以缩小成像空间。
7.如权利要求6所述的方法，其特征在于，所述S1012具体包括：
S10121、通过二维天线阵列中的一部分天线阵元对目标区域以粗分辨率进行扫描，对目标区域进行极坐标像素划分：
Figure FDA0003775831530000051
其中r为原点到网格点的距离，θ为方位角，
Figure FDA0003775831530000052
为俯仰角，
Figure FDA0003775831530000053
表示目标区域极坐标划分下任意网格点；
对于任意网格点
Figure FDA0003775831530000054
的像素值表示为：
Figure FDA0003775831530000055
其中
Figure FDA0003775831530000056
表示为第m行第n列天线到像素点
Figure FDA0003775831530000057
的时延；
S10122、采用相位相干因子加权的方式消除旁瓣，具体过程如下：
Figure FDA0003775831530000058
PCF＝(1-δ(exp(φ(m,n,i))))p
其中p为大于1的常数，δ为标准差，
Figure FDA0003775831530000059
则：IPCF＝I·PCF，IPCF为消除旁瓣后网格点积累像素值；
S10123、采用阈值判定法选择合适的阈值确定目标所在区域以缩小成像区域进行成像。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的穿墙雷达人体图像序列的姿态实时识别方法的步骤。
9.一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的穿墙雷达人体图像序列的姿态实时识别方法的步骤。
CN202010513674.7A 2020-06-08 2020-06-08 穿墙雷达人体图像序列的姿态实时识别方法及计算机设备 Active CN111796272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010513674.7A CN111796272B (zh) 2020-06-08 2020-06-08 穿墙雷达人体图像序列的姿态实时识别方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010513674.7A CN111796272B (zh) 2020-06-08 2020-06-08 穿墙雷达人体图像序列的姿态实时识别方法及计算机设备

Publications (2)

Publication Number Publication Date
CN111796272A CN111796272A (zh) 2020-10-20
CN111796272B true CN111796272B (zh) 2022-09-16

Family

ID=72802968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010513674.7A Active CN111796272B (zh) 2020-06-08 2020-06-08 穿墙雷达人体图像序列的姿态实时识别方法及计算机设备

Country Status (1)

Country Link
CN (1) CN111796272B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859187B (zh) * 2021-01-06 2022-11-08 路晟（上海）科技有限公司 被探测物的姿态识别方法和装置、设备及系统
CN112861813B (zh) * 2021-03-29 2022-07-22 电子科技大学 基于复值卷积神经网络的墙后人体行为识别方法
CN114895363A (zh) * 2022-05-07 2022-08-12 上海恒岳智能交通科技有限公司 一种路基两侧视觉成像监测入侵物态势识别方法
CN117292330B (zh) * 2023-11-27 2024-02-02 山东海博科技信息系统股份有限公司 一种适用于时序数据运维的智能监测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614993A (zh) * 2018-03-23 2018-10-02 武汉雷博合创电子科技有限公司 一种基于雷达及模式识别的行人姿态识别方法及系统
CN109948532A (zh) * 2019-03-19 2019-06-28 桂林电子科技大学 基于深度卷积神经网络的超宽带雷达人体动作识别方法
CN111220958A (zh) * 2019-12-10 2020-06-02 西安宁远电子电工技术有限公司 基于一维卷积神经网络的雷达目标多普勒像分类识别方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749729B2 (ja) * 1991-08-29 1998-05-13 三菱電機株式会社 磁気記録再生回路
EP1860458A1 (en) * 2006-05-22 2007-11-28 Interuniversitair Microelektronica Centrum Detection of resonant tags by UWB radar
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information
CN103605130B (zh) * 2013-11-26 2015-08-26 桂林电子科技大学 超宽带穿墙雷达隐藏运动目标检测与成像方法
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN108387896B (zh) * 2018-01-03 2020-07-07 厦门大学 一种基于探地雷达回波数据的自动汇聚成像方法
CN108520199B (zh) * 2018-03-04 2022-04-08 天津大学 基于雷达图像与生成对抗模型的人体动作开集识别方法
CN108920993B (zh) * 2018-03-23 2022-08-16 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
CN108509910B (zh) * 2018-04-02 2021-09-28 重庆邮电大学 基于fmcw雷达信号的深度学习手势识别方法
CN109001702B (zh) * 2018-06-04 2022-05-13 桂林电子科技大学 无载波超宽带雷达人体动作识别方法
CN108898066B (zh) * 2018-06-06 2022-01-04 天津大学 一种基于生成式对抗网络的人体运动检测方法
CN110111360B (zh) * 2019-04-19 2022-05-03 电子科技大学 一种基于自组织映射网络的穿墙雷达人体动作表征方法
CN110045348A (zh) * 2019-05-05 2019-07-23 应急管理部上海消防研究所 一种基于改进卷积神经网络的人体运动状态分类方法
CN110568442B (zh) * 2019-10-15 2021-08-20 中国人民解放军国防科技大学 一种基于对抗外推神经网络的雷达回波外推方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614993A (zh) * 2018-03-23 2018-10-02 武汉雷博合创电子科技有限公司 一种基于雷达及模式识别的行人姿态识别方法及系统
CN109948532A (zh) * 2019-03-19 2019-06-28 桂林电子科技大学 基于深度卷积神经网络的超宽带雷达人体动作识别方法
CN111220958A (zh) * 2019-12-10 2020-06-02 西安宁远电子电工技术有限公司 基于一维卷积神经网络的雷达目标多普勒像分类识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于时间距离像的人体动作深度学习分类;谢晓兰 等;《桂林理工大学学报》;20190215;第39卷(第1期);197-203 *

Also Published As

Publication number Publication date
CN111796272A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111796272B (zh) 穿墙雷达人体图像序列的姿态实时识别方法及计算机设备
CN106772365B (zh) 一种基于贝叶斯压缩感知的多径利用穿墙雷达成像方法
Salcedo-Sanz et al. Significant wave height estimation using SVR algorithms and shadowing information from simulated and real measured X-band radar images of the sea surface
CN111551928B (zh) 一种基于墙体低秩稀疏约束的穿墙雷达成像方法
US20150061926A1 (en) Target detection utilizing image array comparison
CN109948532A (zh) 基于深度卷积神经网络的超宽带雷达人体动作识别方法
CN106842165A (zh) 一种基于不同距离角度分辨率雷达集中式异步融合方法
Kılıç et al. Through-wall radar classification of human posture using convolutional neural networks
CN107015214B (zh) 一种基于稀疏贝叶斯学习的空时自适应处理方法
Wu et al. Super-resolution for MIMO array SAR 3-D imaging based on compressive sensing and deep neural network
CN115063884B (zh) 基于多域融合深度学习的毫米波雷达头部动作识别方法
Ng et al. Range-Doppler detection in automotive radar with deep learning
Jia et al. ResNet-based counting algorithm for moving targets in through-the-wall radar
Guo et al. Sea clutter and target detection with deep neural networks
Tivive et al. Toward moving target detection in through-the-wall radar imaging
CN112198506A (zh) 一种超宽带穿墙雷达学习成像的方法、装置、系统和可读存储介质
CN110554384A (zh) 一种基于微波信号的成像方法
Jiang et al. Time-matching extended target probability hypothesis density filter for multi-target tracking of high resolution radar
Kang et al. SAR imaging based on deep unfolded network with approximated observation
Pegoraro et al. Deep learning for accurate indoor human tracking with a mm-wave radar
CN110133641B (zh) 一种尺度自适应的穿墙成像雷达目标跟踪方法
CN113640793B (zh) 基于mrf的实孔径扫描雷达超分辨成像方法
CN111931570B (zh) 一种基于全卷积网络的穿墙成像雷达人体目标检测方法
Pegoraro et al. Human tracking with mmWave radars: A deep learning approach with uncertainty estimation
Song et al. Dual-task human activity sensing for pose reconstruction and action recognition using 4d imaging radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201020

Assignee: Guilin Feimin Electronic Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000182

Denomination of invention: Real time pose recognition method and computer equipment for human body image sequence of through wall radar

Granted publication date: 20220916

License type: Common License

Record date: 20221125

Application publication date: 20201020

Assignee: Guilin Dazhi Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000183

Denomination of invention: Real time pose recognition method and computer equipment for human body image sequence of through wall radar

Granted publication date: 20220916

License type: Common License

Record date: 20221125