CN112433207B - 基于双通道卷积神经网络的人体身份识别方法 - Google Patents
基于双通道卷积神经网络的人体身份识别方法 Download PDFInfo
- Publication number
- CN112433207B CN112433207B CN202011231854.2A CN202011231854A CN112433207B CN 112433207 B CN112433207 B CN 112433207B CN 202011231854 A CN202011231854 A CN 202011231854A CN 112433207 B CN112433207 B CN 112433207B
- Authority
- CN
- China
- Prior art keywords
- human body
- radar
- motion
- component
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000033001 locomotion Effects 0.000 claims abstract description 93
- 239000013598 vector Substances 0.000 claims description 36
- 238000013519 translation Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 22
- 210000000988 bone and bone Anatomy 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 238000002592 echocardiography Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005021 gait Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 abstract description 10
- 210000003414 extremity Anatomy 0.000 description 34
- 210000002414 leg Anatomy 0.000 description 16
- 238000004088 simulation Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/418—Theoretical aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
基于双通道卷积神经网络的人体身份识别方法，属于目标识别领域，为了解决传统基于整体或局部微多普勒特征的人体身份识别算法识别准确率较低的问题，首先，基于Boulic模型构建符合实际场景的人体体态及姿态模型；其次，基于所构建体态及姿态模型估计人体各部位空间位置；而后，基于雷达方程构造人体运动雷达回波模型以获取人体运动微多普勒信息；再次，将微多普勒图变换为梅尔倒谱图以增强全局微多普勒特征，基于分量分离方法去除躯干强反射以增强局部肢体微多普勒特征；最后将增强全局及局部特征经DC‑CNN深度融合以实现有效人体身份识别，实验结果表明，与现有主流识别方法相比，所提方法可有效提升人体身份识别准确率。
Description
技术领域
本发明属于目标识别领域，更进一步涉及一种基于人体运动微多普勒特征的人体身份识别的方法。针对传统基于整体或局部微多普勒特征的人体身份识别算法识别准确率较低的问题，本文提出基于双通道卷积神经网络(Double-Channel Convolutional NeuralNetwork,DC-CNN)的人体身份识别算法。首先，基于Boulic模型构建符合实际场景的人体体态及姿态模型；其次，基于所构建体态及姿态模型估计人体各部位空间位置；而后，基于雷达方程构造人体运动雷达回波模型以获取人体运动微多普勒信息；再次，将微多普勒图变换为梅尔倒谱图以增强全局微多普勒特征，基于分量分离方法去除躯干强反射以增强局部肢体微多普勒特征；最后将增强全局及局部特征经DC-CNN深度融合以实现有效人体身份识别。实验结果表明，与现有主流识别方法相比，所提方法可有效提升人体身份识别准确率。
背景技术
随着社会对公共安全的日益重视，身份识别在诸如防恐反恐、区域监控、健康医疗等应用中的地位愈发重要。相较于传统光电传感器，雷达具有非接触、不侵犯隐私及可穿透非透明物体等优点，由此，基于雷达的人体身份识别获得了学术界和工业界越来越多的关注。
非刚体目标运动时，躯干随之移动，且躯干附属部件需额外做摇摆运动，此运动将于躯干雷达回波中附加频率调制，从而在回波信号主频附近产生额外频率分量，此即为微多普勒效应。微多普勒特征可表征运动目标附属部件与主体之间在形状、结构和速度等方面的差异，从而可据此实现目标分类及识别，比如：基于微多普勒特征，AleksandarAngelov等人对人、自行车、汽车和动物进行分类，而Fugui Qi等人则利用此特征识别不同人体动作。然而，有别于不同动作类别及目标间明显的微多普勒特征差异，完成相同动作的不同人体所产生的微多普勒差异并不显著，因此，如何基于微多普勒数据提取高可分特征以有效识别人体身份仍面临巨大挑战。针对此问题，Fei Luo等人基于诸如躯干/身体径向速度、总多普勒偏置、多普勒总带宽、总能量、周期等手动提取多普勒相关特征识别人体身份和动作类别。然而，由于所提取特征数目较多，且某些特征存在较大个体差异，因而此方法计算复杂度较高且泛化能力较弱。近年来，以卷积神经网络(Convolutional NeuralNetwork,CNN)为代表的深度学习模型以其高可分特征提取、强泛化能力、高鲁棒性以及权值共享所带来的较低计算复杂度等优势，在图像处理、机器视觉、语音识别、动作识别等领域取得了相较于传统手动特征提取方法压倒性的效果。基于此，相关研究人员将深度学习模型引入人体身份识别领域以改善其识别能力。其中，Yang Yang等人提出一种基于微多普勒特征的深度身份识别方法，其将人体微多普勒图输入CNN以抽取深度特征进而基于特定分类器实现非接触、远程以及无光照条件下身份识别，然而，此方法数据来源单一，需要采集巨量数据并加大训练次数以提升识别精度。针对此问题，Qingchao Chen等人基于多个雷达获取多角度微多普勒特征以分辨武装和非武装人员，此方法需要多神经网络提取对应角度特征进而导致网络结构复杂。此外，Mehmet Saygin等人利用深度卷积自编码器(Deep Convolutional Auto-Encoder,DCAE)区分人体动作，由实验结果可知，爬行和匍匐两种高相似度动作识别混淆度20.4％，其源于躯干反射强度强于肢体，因而较难获取强躯干反射场景下相似动作中肢体相关精细特征。基于此，Xingshuai Qiao等人利用微多普勒信号分离算法分辨肢体摆动所得微多普勒信息及躯干移动所产生多普勒频移，从而凸显相同运动不同个体所得肢体微多普勒信号差异，然而其忽略了躯干肢体连接部位的微动特征，从而导致识别精度较为有限。由上述可知，现有文献通常基于整体或局部肢体微多普勒信号提取可分特征，忽视了全局及局部肢体的特征融合，从而使得所提取特征可分性有限进而导致识别精度较低。
针对上述问题，本发明提出融合全局及肢体局部特征的双通道卷积神经网络(Double-Channel Convolutional Neural Network，DC-CNN)人体身份识别方法。所提方法首先基于人体运动模型分别构建人体体态和运动姿态以产生符合实际的差异化人体模型；其次，基于连续波雷达(Continuous Wave,CW)构建人体运动雷达回波模型以获取包含微动特征的微多普勒信号；而后，基于数据增强将人体全局微多普勒图(Global Micro-DopplerDiagram,GMD)变换为梅尔倒谱以构建全局梅尔倒谱图(Global MEL Cepstrum,GMC)从而增强全局特征，采用分量分离方法抑制躯干对肢体微多普勒图(Micro-Doppler Limb,MDL)的影响以凸显肢体特征；最后，将全局和局部肢体谱图输入DC-CNN以提取高可分深度特征进而实现身份识别。
发明内容
针对传统基于整体或局部微多普勒特征的人体身份识别算法识别准确率较低的问题，本发明基于目标识别和深度学习理论，提出了一种基于双通道卷积神经网络的人体身份识别方法，该方法包括如下步骤：
步骤1：构建人体运动模型；
步骤2：人体回波建模；
步骤3：增强时频图像构建；
步骤4：实现人体身份识别的DC-CNN设计。
进一步的，步骤1包括：
(1)人体体态建模
令a、b、c分别为三维直角坐标系中椭球体在X′、Y′、Z′方向上半长轴长度,其中，a、b表示椭球体胖瘦，c为椭球体长度，基于此椭球体模型，通过调整身高、肢体比例和椭球体半长轴大小，模拟不同体态；
(2)人体运动姿态建模
运动姿态取决于运动方程中表征运动的幅度及相位参数，
调整参数β以改变垂直平移，即：
其中，Tv为垂直平移，av＝0.015VR为垂直平移函数，VR为基于腿长归一化给定行走速度，tR为步态周期；
调整参数λ以改变前后向平移，即：
其中，Tr为前后平移，aF为与速度相关的常数，为时间相关常数；
调整参数μ以改变横向平移，即：
其中，Th为横向平移，a1＝-0.032；
人体运动可视为躯干、腿以及手臂三部分周期运动的叠加，且由各自频率、幅度和相位参数决定，运动方程由频率、幅度和相位表示，构建运动矢量方程如下：
其中，⊙表示点积，分别为手臂、腿及躯干的垂直平移频率，分别为手臂、腿及躯干前后平移频率，分别为手臂、腿及躯干横向平移频率；分别为手臂、腿及躯干垂直方向的相位，分别为手臂、腿及躯干前后方向的相位，分别为手臂、腿及躯干横向方向的相位；
根据以上方程同时调整幅度和相位，关节挠曲度调整如下：
调整参数α以改变肩部摆动，即：
RO＝3-αarcos(2πtR) (7)
其中，RO为肩部摆动，ar＝9.88VR；
调整挠曲角度最大值，其对应控制点坐标为y2，由此得：
其中，C1、C2、C3为不同条件下肘部挠曲最大角度对应控制参数。
进一步的，步骤2包括：
人体回波建模
(1)部件空间位置描述
人体由多个大小不等的椭球体模拟，人体沿X轴向雷达发射方向运动，为获得各运动部位细节，计算各部件的运动姿态，其中，雷达坐标系为(X,Y,Z)，原点为O；静止状态下人体相对于雷达的相对坐标系为(X′,Y′,Z′)，原点为O′，方位角及俯仰角分别为α、β；所用人体模型具有17个参考点，第i个部件，与其相邻的参考点分别为前端点p和后端点p′；描述第i个部件在时刻t的局部坐标系为(Xi,t,Yi,t,Zi,t)，原点为Oi,t，方位角及俯仰角分别为αi、βi；
t时刻第i个部件的方向向量由坐标系(X′,Y′,Z′)中前端点和后端点方向向量确定：
当t＝1,i＝1时，人体脊柱基点即根骨点后端点位置向量为：
其中，为根骨点方向向量，为(X1,1,Y1,1,Z1,1)与(X′,Y′,Z′)的坐标变换矩阵，L1为部件长度，由此，当t＝1,i＞1时，其他部件端点位置向量及表示为：
其中，为参考坐标系中第ni,j个根骨的方向向量，j∈[1,Ji]，Ji为第i个部件的根骨数，方向向量表示为：
其中，为t＝1第ni,j个部件的坐标系到第ni,j-1个部件的坐标系的旋转矩阵，Li为第i个部件的长度，当t＞1,i＝1时：
其中，M1,t为时刻t相对于时刻1根骨的旋转矩阵；
根骨后端向量为：
其中，T1,t为在时刻t相对于t＝1根骨的平移向量，由以上可得，当t＞1,i＞1时，和分别表示为：
其中，为t时刻部件ni,j到部件ni,j-1的局部坐标系旋转矩阵，Mi,t为第i个部件t时刻的旋转矩阵，由此，可得部件位置及相对雷达方向参数；
(2)雷达回波生成
CW雷达发射信号s(t)表示为：
s(t)＝Acos(2πfct) (19)
其中，fc为载波频率，A为信号幅值，其接收信号为：
其中，c为电磁波速度，Ar为接收信号幅值，其值由雷达方程确定，R为目标与雷达距离，由此，时刻t距离雷达瞬时距离为Ri,t的第i个人体部位以速度vi(t)，入射视角向雷达方向移动，则此部件回波表示为：
此时部件运动所产生的多普勒频移为:
其中，Ai,t为基于雷达方程估计所得回波时变幅值：
其中，G为雷达天线增益，Pi为发射功率，Ls、La分别为雷达系统和大气损失，λ为波长，δi,t为个部件的反射强度，Ri,t表示为：
R为第i个部件与雷达的初始距离，δi,t表示为：
其中，ai、bi和ci分别为第i个部件在X、Y、Z方向上椭球体的半长轴长度，入射视角φi,t为雷达视线l与Zi,t轴的夹角，αi为方位角，即：
其中，ΔY、ΔX分别为部件端点在XOY平面最大最小方位坐标差值。为便于生成回波，令雷达坐标系与参考坐标系平行，运动方向与l平行，观察俯仰角设为0，则l单位矢量为：
进而入射视角φi,t表示为：
其中，<·>为内积，||·||2为L2范数，
又有：
其中，方向向量为：
而后，结合式(24)、(28)、(29)，即得到瞬时速度为：
其中，基于式(21)得单部件回波，由此，将N个部件回波叠加以获取整体人体运动回波，即：
进一步的，步骤3包括：
频图像构建
(1)时频图像生成
为获得时频图像，对回波信号S(t)做如下STFT：
其中，t和f分别表示时间和频率，g(·)为窗函数：
其中，δ为高斯窗标准偏差，将上式代入(33)可得：
基于上式，人体运动时频图表示为：
由此，表征人体微动特征的时频图；
(2)数据增强
整体微多普勒增强：将所得微多普勒频谱图变换为梅尔倒谱，具体步骤为：首先，构造由N个滤波器组成的滤波器组，第n(n＝1,2,…,N)个滤波器表示为：
其中，f(m)表示边界点，即：
其中m＝0,1,…,M+1，M为边界点个数，fL和fH分别为滤波器中最低及最高频率点，FS为采样频率，B、B-1分别为双曲翘曲函数和反双曲翘曲函数，而后，基于所构造滤波器组对MDD实施滤波，并取对数，即得如下所示梅尔倒谱：
肢体微多普勒增强
沿时间维在躯干频率范围内搜索各采样点最大值以采样累加躯干时频谱图Tmd(t,f)，直至如下所示比值P≥0.26：
其中，M、N分别为时间及频率采样点数。由此，可获得全部躯干分量，而后将所得Tmd(t,f)从Xmd(t,f)减去以获得增强肢体微多普勒图。
进一步的，步骤4包括：
实现人体身份识别的DC-CNN设计
所构建DC-CNN网络中两通道具有相同结构，输入图片大小为256×256，网络共有8层，包括5个卷积层，3个全连接层；第一个卷积层卷积核大小为11×11，步长为4，提取带宽、能量、周期、速度等信息；第二层卷积核尺寸为5×5，步长为2；随后三个卷积层卷积核大小为3×3，步长为1；每个卷积层均采用ReLU激活函数；每个卷积层后均衔接尺寸为3×3的池化层且采用最大池化；第五个卷积层后连接三个全连接层；第三个全连接层后接如下Softmax分类器用于计算输入x属于类别j的概率值p(y＝j|x),j＝1,2,…,k，k为输出类别数；
Softmax函数可表示为：
Softmax分类器基于如下损失函数实现模型参数更新：
其中，为模型参数，i＝1,2,…,m，m为输入类别数，1{yi＝j}为真实标签值。
有益效果：本发明首先通过改变人体体态、运动幅度及相位构建符合实际的差异化运动模型；其次，基于所构建运动模型计算各部位空间运动姿态以获得部位运动姿态，并基于雷达方程获取人体运动回波并生成时频图；而后，基于梅尔倒谱变换全局增强整体微多普勒特征，基于谱分离局部增强肢体微多普勒特征；最后，基于DC-CNN深度融合全局梅尔倒谱图及肢体局部微多普勒图以获得最终识别结果。实验结果表明，与基于SVM、SVM-Bayes、CNN、DCNN以及LSTM等所构建的五种主流身份识别模型相比，所提方法具有较高的身份识别率以及较好的身份识别鲁棒性。实验仿真表明，与基于SVM、SVM-Bayes、CNN、DCNN以及LSTM等所构建的五种主流身份识别模型相比，所提方法具有较高的身份识别率以及较好的身份识别鲁棒性。
附图说明
图1为本发明实现的流程图；
图2为椭球体与雷达位置关系图；
图3为人体运动体态模型图；
图4为人体模型与雷达相对位置图；
图5为雷达与部件相对空间位置关系；
图6为表征人体微动特征的时频图；
图7为所提DN-CNN网络结构；
图8为所得人体识别混淆矩阵图；
图9为不同信噪比对比图；
图10为不同人数对比图；
图11为噪声影响算法对比图。
具体实施方式
下面结合附图对本发明的实现步骤做进一步详细描述：
如图1所示，首先，基于人体运动模型分别构建人体体态和运动姿态以产生符合实际的差异化人体模型，并基于连续波雷达(Continuous Wave,CW)构建人体运动雷达回波模型以获取包含微动特征的微多普勒信号；而后基于数据增强将人体全局微多普勒图变换为梅尔倒谱以构建全局梅尔倒谱图从而增强全局特征，采用分量分离方法抑制躯干对肢体微多普勒图的影响以凸显肢体特征；最后，将全局和局部肢体谱图输入DC-CNN以提取高可分深度特征进而实现身份识别。实验仿真表明，与基于SVM、SVM-Bayes、CNN、DCNN以及LSTM等所构建的五种主流身份识别模型相比，所提方法具有较高的身份识别率以及较好的身份识别鲁棒性。实现本发明的基本思路是，通过改变人体体态、运动幅度及相位构建符合实际的差异化运动模型；其次，基于所构建运动模型计算各部位空间运动姿态以获得部位运动姿态，并基于雷达方程获取人体运动回波并生成时频图；而后，基于梅尔倒谱变换全局增强整体微多普勒特征，基于谱分离局部增强肢体微多普勒特征；最后，基于DC-CNN深度融合全局梅尔倒谱图及肢体局部微多普勒图以获得最终识别结果。具体步骤包含如下：
1构建人体运动模型
(1)人体体态建模
令a、b、c分别为三维直角坐标系中椭球体(即Boulic模型中人体部件)在X′、Y′、Z′方向上半长轴长度,其中，a、b表示椭球体胖瘦，c为椭球体长度，φ、α分别为雷达信号入射角和方位角。基于此椭球体模型，通过调整身高、肢体比例和椭球体半长轴大小，即可模拟不同体态。
(2)人体运动姿态建模
为了构建符合实际的人体运动模型，不仅要改变人体体态，还需调整运动姿态，而运动姿态取决于运动方程中表征运动的幅度及相位参数，因此，须调整相关参数以精确模拟实际运动姿态。由前文可知，人体运动可由如下参数表征：膝盖挠曲度、肘部挠曲度、肩部挠曲度、垂直平移、前后向平移和横向平移。基于此，本节在运动方程中加入可调节参数以适应运动高低起伏、前后及横向平移、关节弯曲从而改变相应运动模式：
调整参数β以改变垂直平移，即：
其中，av＝0.015VR为垂直平移函数，VR为基于腿长归一化给定行走速度，tR为步态周期。
调整参数λ以改变前后向平移，即：
其中，aF为与速度相关的常数，为时间相关常数。
调整参数μ以改变横向平移，即：
其中，a1＝-0.032。
人体运动可视为躯干、腿以及手臂三部分周期运动的叠加，且由各自频率、幅度和相位参数决定。运动方程可由频率、幅度和相位表示，基于此可构建运动矢量方程如下：
其中，⊙表示点积，分别为手臂、腿及躯干的垂直平移频率，分别为手臂、腿及躯干前后平移频率，分别为手臂、腿及躯干横向平移频率；分别为手臂、腿及躯干垂直方向的相位，分别为手臂、腿及躯干前后方向的相位，分别为手臂、腿及躯干横向方向的相位。根据以上方程可同时调整幅度和相位，关节挠曲度调整如下：
调整参数α以改变肩部摆动，即：
RO＝3-αarcos(2πtR) (49)
其中，ar＝9.88VR。
由于肘部挠曲度取值非负，若选用肘部挠曲函数控制点中两个较小值，参数调整时可能出现负值，因此需调整挠曲角度最大值，其对应控制点坐标为y2，由此可得：
其中，C1、C2、C3为不同条件下肘部挠曲最大角度对应控制参数。膝盖挠曲参数调整类似于肘部挠曲，限于篇幅，不再赘述。
2、人体回波建模
(1)部件空间位置描述
t时刻第i个部件的方向向量由坐标系(X′,Y′,Z′)中前端点和后端点方向向量确定：
当t＝1,i＝1时，人体脊柱基点即根骨点[15]后端点位置向量为：
其中，为根骨点方向向量，为(X1,1,Y1,1,Z1,1)与(X′,Y′,Z′)的坐标变换矩阵，L1为部件长度。由此，当t＝1,i＞1时，其他部件端点位置向量及可表示为：
其中，为参考坐标系中第ni,j个根骨的方向向量，j∈[1,Ji]，Ji为第i个部件的根骨数，方向向量
可表示为：
其中，为t＝1第ni,j个部件的坐标系到第ni,j-1个部件的坐标系的旋转矩阵，Li为第i个部件的长度。当t＞1,i＝1时：
其中，M1,t为时刻t相对于时刻1根骨的旋转矩阵。根骨后端向量为：
其中，T1,t为在时刻t相对于t＝1根骨的平移向量。由以上可得，当t＞1,i＞1时，和可分别表示为：
其中，为t时刻部件ni,j到部件ni,j-1的局部坐标系旋转矩阵，Mi,t为第i个部件t时刻的旋转矩阵。
(2)雷达回波生成
CW雷达发射信号s(t)可表示为：
s(t)＝Acos(2πfct) (61)
其中，fc为载波频率，A为信号幅值，其接收信号为：
其中，c为电磁波速度，Ar为接收信号幅值，其值由雷达方程确定，R为目标与雷达距离。由此，时刻t距离雷达瞬时距离为Ri,t的第i个人体部位以速度vi(t)，入射视角向雷达方向移动，则此部件回波可表示为：
此时部件运动所产生的多普勒频移为:
其中，Ai,t为基于雷达方程估计所得回波时变幅值(此处暂不考虑噪声因素)：
其中，G为雷达天线增益，Pi为发射功率，Ls、La分别为雷达系统和大气损失，λ为波长，δi,t为个部件的反射强度，即RCS，Ri,t表示为：
R为第i个部件与雷达的初始距离，δi,t表示为：
其中，ai、bi和ci分别为第i个部件在X、Y、Z方向上椭球体的半长轴长度，入射视角φi,t为雷达视线(Line of Sight,LOS)l与Zi,t轴的夹角，αi为方位角，即：
其中，ΔY、ΔX分别为部件端点在XOY平面最大最小方位坐标差值。为便于生成回波，令雷达坐标系与参考坐标系平行，运动方向与l平行，观察俯仰角设为0，则l单位矢量为：
进而入射视角φi,t可表示为：
其中，<·>为内积，||·||2为L2范数。又有：
其中，方向向量为：
而后，结合式(24)、(28)、(29)，即可得到瞬时速度为：
其中，
基于式(21)可得单部件回波，由此，可将N个部件(即：肢体及躯干)回波叠加以获取整体人体运动回波，即：
(2)时频图像生成
为获得时频图像，可对回波信号S(t)做如下STFT：
其中，t和f分别表示时间和频率，g(·)为窗函数，本文采用如下高斯窗：
其中，δ为高斯窗标准偏差，将上式代入(33)可得：
基于上式，人体运动时频图可表示为：
3数据增强
(1)整体微多普勒增强
语音信号处理中通常将声音频谱变换为可捕获数据相关性的梅尔倒谱以提升特征空间可分性。类似地，本节将上文所得微多普勒频谱图(Micro-Doppler Diagram,MDD)变换为梅尔倒谱以增强特征差异从而改善识别性能。具体步骤为：首先，构造由N个滤波器组成的滤波器组，第n(n＝1,2,…,N)个滤波器可表示为：
其中，f(m)表示边界点，即：
其中m＝0,1,...,M+1，M为边界点个数，fL和fH分别为滤波器中最低及最高频率点，FS为采样频率，B、B-1分别为双曲翘曲函数和反双曲翘曲函数。而后，基于所构造滤波器组对MDD实施滤波，并取对数，即可得如下所示梅尔倒谱：
(2)肢体微多普勒增强
基于躯干反射强度较大且呈现近似正弦调频样式而肢体频率分量较繁杂的事实，可利用分量分离方法去除躯干谱图进而实现局部肢体谱图增强。由所得整体多普勒图Xmd(t,f)可知：躯干频率位于某固定频率(本文所设场景所得此频率为178Hz)附近。此外，由文献[32]可知，躯干谱功率约占整体功率的26％。由此，可沿时间维在躯干频率范围内搜索各采样点最大值以采样累加躯干时频谱图Tmd(t,f)，直至如下所示比值P≥0.26：
其中，M、N分别为时间及频率采样点数。由此，可获得全部躯干分量，而后将所得Tmd(t,f)从Xmd(t,f)减去以获得增强肢体微多普勒图。
4实现人体身份识别的DC-CNN
所构建DC-CNN网络中两通道具有相同结构，由此可保证双通道权值维数相同且各通道权重独立更新。输入图片大小为256×256，网络共有8层，包括5个卷积层，3个全连接层。第一个卷积层卷积核大小为11×11，步长为4，提取带宽、能量、周期、速度等信息；第二层卷积核尺寸为5×5，步长为2；随后三个卷积层卷积核大小为3×3，步长为1；每个卷积层均采用ReLU激活函数以改善非线性映射从而加快收敛速度；每个卷积层后均衔接尺寸为3×3的池化层且采用最大池化以减少冗余信息从而降低网络复杂度；第五个卷积层后连接三个全连接层以充分融合所提取深度特征；第三个全连接层后接如下Softmax分类器用于计算输入x属于类别j的概率值p(y＝j|x),j＝1,2,…,k，k为输出类别数。Softmax函数可表示为：
Softmax分类器基于如下损失函数实现模型参数更新：
其中，为模型参数，i＝1,2,…,m，m为输入类别数，1{yi＝j}为真实标签值。
此外，为防止数据分布变化导致网络收敛速度减缓从而使得学习速度降低，各卷积层后接批量归一化层(Batch Normalization,BN)。由于本实验训练样本较少，因而在全连接层加入Dropout操作防止网络过拟合以增强网络泛化能力；采用随机梯度下降更新网络权值，网络学习率设为0.001，动量为0.9，训练周期为200。
仿真内容：
仿真1：所得混淆矩阵(a)四人(b)六人图。图8所示混淆矩阵为人数变化条件下总体识别率，行列分别表示所提算法对应该人体识别结果以及该人体实际类别，主对角线元素为该人体识别准确率。参与实验个体按身高降序排列，两组实验人数分别为4和6人。
从图8可知，四、六人平均准确率分别为97.8％和94.16％，由此可知，随着参与人数增加识别精度逐渐降低，且识别误差主要集中于相邻类别，其可归因为相邻类别特征相似度较高。
仿真2：不同信噪比对比图。实际场景中测量数据不可避免地受到来自接收机以及非目标回波等噪声干扰。为评估所提方法抗噪性能，本节分别在所得回波中添加信噪比为[0,5,10,15,20,25]dB的高斯噪声。
图9为各噪声水平下DC-CNN皆可获得较高识别率且识别率随信噪比变化幅度较小；
仿真3：不同人数对比图。不同人数规模下，噪声因素对识别率的影响。
图10为人数越少识别准确率越高，反之越低。噪声增大时识别准确率均有所下降，然而与噪声增加幅度相比准确率下降幅度较小
仿真4：噪声对六种算法的影响。考虑不同噪声水平下所提算法与基于传统监督学习方法SVM、SVM-Bayes和深度学习方法CNN、DCNN、LSTM的识别模型的影响。
从图10可知各噪声水平下所提基于DC-CNN的身份识别率皆为最高，DCNN、CNN次之，而传统监督学习方法所得识别率较低，由此可知，所提方法对噪声具有较好的鲁棒性。
表1为SVM，SVM-Bayes，CNN，LSTM，DCNN和本文算法比较结果。
表1
从表1可以看出，深度学习方法所得识别率明显优于传统监督学习方法，这是由于SVM、SVM-Bayes基于手工提取特征，无法获取高可分深度特征，因而识别准确率较低；其次，因基于整体微多普勒图的CNN方法忽略了局部肢体特征，基于肢体特征的DCNN模型忽略了整体特征信息，且基于距离多普勒图的LSTM因实验人数较少引起泛化能力不足，进而导致此三者识别性能有限；最后，所提方法基于梅尔倒谱及谱分离方法增强全局及局部多普勒特征以提升人体运动显著性特征，而后利用DC-CNN深度融合所增强特征，因而所得识别率显著高于对比方法。此外，由表4可知，基于DC-CNN的识别模型识别时间相对较长，其它深度学习方法次之，传统监督学习方法用时较短，其可归因于深度学习方法须自下而上自动提取高可分抽象特征因而耗时较长，而传统监督学习仅需提取预先指定特征因而耗时较短。综上可知，所提算法基于DC-CNN深度融合全局及局部多普勒特征从而实现人体身份有效识别
综上所述，基于DC-CNN可深度融合多类型信息的优势，本文提出综合整体及局部微多普勒特征的人体身份识别方法。首先通过改变人体体态、运动幅度及相位构建符合实际的差异化运动模型；其次，基于所构建运动模型计算各部位空间运动姿态以获得部位运动姿态，并基于雷达方程获取人体运动回波并生成时频图；而后，基于梅尔倒谱变换全局增强整体微多普勒特征，基于谱分离局部增强肢体微多普勒特征；最后，基于DC-CNN深度融合全局梅尔倒谱图及肢体局部微多普勒图以获得最终识别结果。实验结果表明，与基于SVM、SVM-Bayes、CNN、DCNN以及LSTM等所构建的五种主流身份识别模型相比，所提方法具有较高的身份识别率以及较好的身份识别鲁棒性。由此，本发明所提算法可以为工程应用中人体身份识别研究提供坚实的理论与实现依据。
Claims (4)
1.一种基于双通道卷积神经网络的人体身份识别方法，其特征在于，该方法包括如下步骤：
步骤1：构建人体运动模型；
步骤2：人体回波建模；
步骤3：增强时频图像构建；
步骤4：实现人体身份识别的DC-CNN设计；
步骤1包括：
(1)人体体态建模
令a、b、c分别为三维直角坐标系中椭球体在X′、Y′、Z′方向上半长轴长度,其中，a、b表示椭球体胖瘦，c为椭球体长度，基于此椭球体模型，通过调整身高、肢体比例和椭球体半长轴大小，模拟不同体态；
(2)人体运动姿态建模
运动姿态取决于运动方程中表征运动的幅度及相位参数，
调整参数β以改变垂直平移，即：
其中，为垂直平移，av＝0.015VR为垂直平移函数，VR为基于腿长归一化给定行走速度，tR为步态周期；
调整参数λ以改变前后向平移，即：
其中，为前后平移，aF为与速度相关的常数，为时间相关常数；
调整参数μ以改变横向平移，即：
其中，为为横向平移，a1＝-0.032；
人体运动可视为躯干、腿以及手臂三部分周期运动的叠加，且由各自频率、幅度和相位参数决定，运动方程由频率、幅度和相位表示，构建运动矢量方程如下：
其中，⊙表示点积，分别为手臂、腿及躯干的垂直平移频率，分别为手臂、腿及躯干前后平移频率，分别为手臂、腿及躯干横向平移频率；分别为手臂、腿及躯干垂直方向的相位，分别为手臂、腿及躯干前后方向的相位，分别为手臂、腿及躯干横向方向的相位；
根据以上方程同时调整幅度和相位，关节挠曲度调整如下：
调整参数α以改变肩部摆动，即：
RO＝3-αarcos(2πtR) (7)
其中，RO为肩部摆动，ar＝9.88VR；
调整挠曲角度最大值，其对应控制点坐标为y2，由此得：
其中，C1、C2、C3为不同条件下肘部挠曲最大角度对应控制参数。
2.如权利要求1所述的基于双通道卷积神经网络的人体身份识别方法，其特征在于，步骤2包括：
人体回波建模
(1)部件空间位置描述
人体由多个大小不等的椭球体模拟，人体沿X轴向雷达发射方向运动，为获得各运动部位细节，计算各部件的运动姿态，其中，雷达坐标系为(X,Y,Z)，原点为O；静止状态下人体相对于雷达的相对坐标系为(X′,Y′,Z′)，原点为O′，方位角及俯仰角分别为α、β；所用人体模型具有17个参考点，第i个部件，与其相邻的参考点分别为前端点p和后端点p′；描述第i个部件在时刻t的局部坐标系为(Xi,t,Yi,t,Zi,t)，原点为Oi,t，方位角及俯仰角分别为αi、βi；
t时刻第i个部件的方向向量由坐标系(X′,Y′,Z′)中前端点和后端点方向向量确定：
当t＝1,i＝1时，人体脊柱基点即根骨点后端点位置向量为：
其中，为根骨点方向向量，为(X1,1,Y1,1,Z1,1)与(X′,Y′,Z′)的坐标变换矩阵，L1为部件长度，由此，当t＝1,i＞1时，其他部件端点位置向量及表示为：
其中，为参考坐标系中第ni,j个根骨的方向向量，j∈[1,Ji]，Ji为第i个部件的根骨数，方向向量表示为：
其中，为t＝1第ni,j个部件的坐标系到第ni,j-1个部件的坐标系的旋转矩阵，Li为第i个部件的长度，当t＞1,i＝1时：
其中，M1,t为时刻t相对于时刻1根骨的旋转矩阵；
根骨后端向量为：
其中，T1,t为在时刻t相对于t＝1根骨的平移向量，由以上可得，当t＞1,i＞1时，和分别表示为：
其中，为t时刻部件ni,j到部件ni,j-1的局部坐标系旋转矩阵，Mi,t为第i个部件t时刻的旋转矩阵，由此，可得部件位置及相对雷达方向参数；
(2)雷达回波生成
CW雷达发射信号s(t)表示为：
s(t)＝Acos(2πfct) (19)
其中，fc为载波频率，A为信号幅值，其接收信号为：
其中，c为电磁波速度，Ar为接收信号幅值，其值由雷达方程确定，R为目标与雷达距离，由此，时刻t距离雷达瞬时距离为Ri,t的第i个人体部位以速度vi(t)，入射视角向雷达方向移动，则此部件回波表示为：
此时部件运动所产生的多普勒频移为:
其中，Ai,t为基于雷达方程估计所得回波时变幅值：
其中，G为雷达天线增益，Pi为发射功率，Ls、La分别为雷达系统和大气损失，λ为波长，δi,t为个部件的反射强度，Ri,t表示为：
R为第i个部件与雷达的初始距离，δi,t表示为：
其中，ai、bi和ci分别为第i个部件在X、Y、Z方向上椭球体的半长轴长度，入射视角φi,t为雷达视线l与Zi,t轴的夹角，αi为方位角，即：
其中，ΔY、ΔX分别为部件端点在XOY平面最大最小方位坐标差值；为便于生成回波，令雷达坐标系与参考坐标系平行，运动方向与l平行，观察俯仰角设为0，其中βi为俯仰角，则l单位矢量为：
进而入射视角φi,t表示为：
其中，<·>为内积，||·||2为L2范数，
又有：
其中，方向向量为：
而后，结合式(24)、(28)、(29)，即得到瞬时速度为：
其中，
基于式(21)得单部件回波，由此，将N个部件回波叠加以获取整体人体运动回波，即：
3.如权利要求2所述的基于双通道卷积神经网络的人体身份识别方法，其特征在于，步骤3包括：
频图像构建
(1)时频图像生成
为获得时频图像，对回波信号S(t)做如下STFT：
其中，t和f分别表示时间和频率，g(·)为窗函数：
其中，δ为高斯窗标准偏差，将上式代入(33)可得：
基于上式，人体运动时频图表示为：
由此，表征人体微动特征的时频图；
(2)数据增强
整体微多普勒增强：将所得微多普勒频谱图变换为梅尔倒谱，具体步骤为：首先，构造由N个滤波器组成的滤波器组，第n个滤波器表示为：
其中，n＝1,2,...,N；
其中，f(m)表示边界点，即：
其中m＝0,1,...,M+1，M为边界点个数，fL和fH分别为滤波器中最低及最高频率点，FS为采样频率，B、B-1分别为双曲翘曲函数和反双曲翘曲函数，而后，基于所构造滤波器组对MDD实施滤波，并取对数，即得如下所示梅尔倒谱：
肢体微多普勒增强
沿时间维在躯干频率范围内搜索各采样点最大值以采样累加躯干时频谱图Tmd(t,f)，直至如下所示比值P≥0.26：
其中，M、N分别为时间及频率采样点数，由此，可获得全部躯干分量，而后将所得Tmd(t,f)从Xmd(t,f)减去以获得增强肢体微多普勒图。
4.如权利要求3所述的基于双通道卷积神经网络的人体身份识别方法，其特征在于，步骤4包括：
实现人体身份识别的DC-CNN设计
所构建DC-CNN网络中两通道具有相同结构，输入图片大小为256×256，网络共有8层，包括5个卷积层，3个全连接层；第一个卷积层卷积核大小为11×11，步长为4，提取带宽、能量、周期、速度信息；第二层卷积核尺寸为5×5，步长为2；随后三个卷积层卷积核大小为3×3，步长为1；每个卷积层均采用ReLU激活函数；每个卷积层后均衔接尺寸为3×3的池化层且采用最大池化；第五个卷积层后连接三个全连接层；第三个全连接层后接如下Softmax分类器用于计算输入x属于类别j的概率值p(y＝j|x),j＝1,2,…,k，k为输出类别数；
Softmax函数可表示为：
Softmax分类器基于如下损失函数实现模型参数更新：
其中，为模型参数，i＝1,2,…,m，m为输入类别数，1{yi＝j}为真实标签值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011231854.2A CN112433207B (zh) | 2020-11-06 | 2020-11-06 | 基于双通道卷积神经网络的人体身份识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011231854.2A CN112433207B (zh) | 2020-11-06 | 2020-11-06 | 基于双通道卷积神经网络的人体身份识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112433207A CN112433207A (zh) | 2021-03-02 |
| CN112433207B true CN112433207B (zh) | 2024-05-28 |
Family
ID=74699366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011231854.2A Active CN112433207B (zh) | 2020-11-06 | 2020-11-06 | 基于双通道卷积神经网络的人体身份识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112433207B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113109802B (zh) * | 2021-03-05 | 2023-12-26 | 福瑞泰克智能系统有限公司 | 目标运动状态判断方法、装置、雷达设备和存储介质 |
| CN113156430B (zh) * | 2021-04-29 | 2023-07-28 | 中国人民解放军空军工程大学 | 一种基于涡旋电磁波雷达的人体目标步态精细识别方法 |
| CN113296087B (zh) * | 2021-05-25 | 2023-09-22 | 沈阳航空航天大学 | 一种基于数据增强的调频连续波雷达人体动作识别方法 |
| CN114098645B (zh) * | 2021-11-25 | 2023-11-07 | 青岛海信日立空调系统有限公司 | 一种睡眠分期方法及装置 |
| CN114563784B (zh) * | 2022-04-27 | 2022-08-09 | 武汉理工大学 | 一种基于双毫米波雷达的船载环境入侵检测方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021889A (zh) * | 2017-12-05 | 2018-05-11 | 重庆邮电大学 | 一种基于姿态外形和运动信息的双通道红外行为识别方法 |
| CN108459311A (zh) * | 2018-03-22 | 2018-08-28 | 三明学院 | 基于Hough变换的卷积神经网络下微多普勒目标分类方法 |
| CN108564005A (zh) * | 2018-03-26 | 2018-09-21 | 电子科技大学 | 一种基于卷积神经网络的人体跌倒辨识方法 |
| CN108664894A (zh) * | 2018-04-10 | 2018-10-16 | 天津大学 | 基于深度卷积对抗神经网络的人体动作雷达图像分类方法 |
| CN108872984A (zh) * | 2018-03-15 | 2018-11-23 | 清华大学 | 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 |
| CN109190544A (zh) * | 2018-08-27 | 2019-01-11 | 华中科技大学 | 一种基于序列深度图像的人体身份识别方法 |
| CN109409297A (zh) * | 2018-10-30 | 2019-03-01 | 咪付（广西）网络技术有限公司 | 一种基于双通道卷积神经网络的身份识别方法 |
| CN110045348A (zh) * | 2019-05-05 | 2019-07-23 | 应急管理部上海消防研究所 | 一种基于改进卷积神经网络的人体运动状态分类方法 |
| CN110133610A (zh) * | 2019-05-14 | 2019-08-16 | 浙江大学 | 基于时变距离-多普勒图的超宽带雷达动作识别方法 |
| CN110348494A (zh) * | 2019-06-27 | 2019-10-18 | 中南大学 | 一种基于双通道残差神经网络的人体动作识别方法 |
| CN110363151A (zh) * | 2019-07-16 | 2019-10-22 | 中国人民解放军海军航空大学 | 基于双通道卷积神经网络虚警可控的雷达目标检测方法 |
| CN110780271A (zh) * | 2019-10-18 | 2020-02-11 | 西安电子科技大学 | 基于卷积神经网络的空间目标多模式雷达分类方法 |
| CN111273283A (zh) * | 2020-03-06 | 2020-06-12 | 电子科技大学 | 一种基于人体三维微多普勒信号的躯干运动参数提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6548376B2 (ja) * | 2014-10-06 | 2019-07-24 | 日本電産株式会社 | レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム |
-
2020
- 2020-11-06 CN CN202011231854.2A patent/CN112433207B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021889A (zh) * | 2017-12-05 | 2018-05-11 | 重庆邮电大学 | 一种基于姿态外形和运动信息的双通道红外行为识别方法 |
| CN108872984A (zh) * | 2018-03-15 | 2018-11-23 | 清华大学 | 基于多基地雷达微多普勒和卷积神经网络的人体识别方法 |
| CN108459311A (zh) * | 2018-03-22 | 2018-08-28 | 三明学院 | 基于Hough变换的卷积神经网络下微多普勒目标分类方法 |
| CN108564005A (zh) * | 2018-03-26 | 2018-09-21 | 电子科技大学 | 一种基于卷积神经网络的人体跌倒辨识方法 |
| CN108664894A (zh) * | 2018-04-10 | 2018-10-16 | 天津大学 | 基于深度卷积对抗神经网络的人体动作雷达图像分类方法 |
| CN109190544A (zh) * | 2018-08-27 | 2019-01-11 | 华中科技大学 | 一种基于序列深度图像的人体身份识别方法 |
| CN109409297A (zh) * | 2018-10-30 | 2019-03-01 | 咪付（广西）网络技术有限公司 | 一种基于双通道卷积神经网络的身份识别方法 |
| CN110045348A (zh) * | 2019-05-05 | 2019-07-23 | 应急管理部上海消防研究所 | 一种基于改进卷积神经网络的人体运动状态分类方法 |
| CN110133610A (zh) * | 2019-05-14 | 2019-08-16 | 浙江大学 | 基于时变距离-多普勒图的超宽带雷达动作识别方法 |
| CN110348494A (zh) * | 2019-06-27 | 2019-10-18 | 中南大学 | 一种基于双通道残差神经网络的人体动作识别方法 |
| CN110363151A (zh) * | 2019-07-16 | 2019-10-22 | 中国人民解放军海军航空大学 | 基于双通道卷积神经网络虚警可控的雷达目标检测方法 |
| CN110780271A (zh) * | 2019-10-18 | 2020-02-11 | 西安电子科技大学 | 基于卷积神经网络的空间目标多模式雷达分类方法 |
| CN111273283A (zh) * | 2020-03-06 | 2020-06-12 | 电子科技大学 | 一种基于人体三维微多普勒信号的躯干运动参数提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| Robust GAN-Face Detection Based on Dual-Channel CNN Network;Yong Fu et al.;《2019 12th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI)》;20200123;全文 * |
| 基于双通道特征自适应融合的红外行为识别方法;吕静;高陈强;杜银和;程华;;重庆邮电大学学报(自然科学版);20170615(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112433207A (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112433207B (zh) | 基于双通道卷积神经网络的人体身份识别方法 | |
| Seyfioglu et al. | DNN transfer learning from diversified micro-Doppler for motion classification | |
| Wang et al. | A millimetre-wave radar-based fall detection method using line kernel convolutional neural network | |
| CN108509910B (zh) | 基于fmcw雷达信号的深度学习手势识别方法 | |
| CN110045348A (zh) | 一种基于改进卷积神经网络的人体运动状态分类方法 | |
| Ren et al. | Short-time state-space method for micro-Doppler identification of walking subject using UWB impulse Doppler radar | |
| Shi et al. | Human activity recognition based on deep learning method | |
| Yao et al. | Human activities classification based on complex-value convolutional neural network | |
| CN111597867B (zh) | 一种基于毫米波图像的人脸识别方法及系统 | |
| Qu et al. | Human activity recognition based on WRGAN-GP-synthesized micro-doppler spectrograms | |
| Abdulatif et al. | Person identification and body mass index: A deep learning-based study on micro-Dopplers | |
| CN111401180A (zh) | 神经网络识别模型训练方法、装置、服务器及存储介质 | |
| Shi et al. | Human movements separation based on principle component analysis | |
| CN116338684A (zh) | 基于毫米波雷达与深度学习的人体跌倒检测方法及系统 | |
| CN116269259A (zh) | 一种基于改进bp神经网络的人体呼吸心跳检测方法 | |
| Li et al. | Supervised domain adaptation for few-shot radar-based human activity recognition | |
| She et al. | RadarSpecAugment: A simple data augmentation method for radar-based human activity recognition | |
| EP1969389B1 (en) | Method for extracting a semantic parameter, computer system and computer program product | |
| Li et al. | Sea/land clutter recognition for over-the-horizon radar via deep CNN | |
| Hu et al. | mmPose-FK: A Forward Kinematics Approach to Dynamic Skeletal Pose Estimation Using mmWave Radars | |
| Wang et al. | Through-wall human motion representation via autoencoder-self organized mapping network | |
| Sona et al. | A measurement approach based on micro-Doppler maps for human motion analysis and detection | |
| Gong et al. | Human activity recognition with FMCW radar using few-shot learning | |
| CN110111360A (zh) | 一种基于自组织映射网络的穿墙雷达人体动作表征方法 | |
| CN113421281A (zh) | 一种基于分割理论的行人微动部位分离方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |