CN113421281A - 一种基于分割理论的行人微动部位分离方法 - Google Patents
一种基于分割理论的行人微动部位分离方法 Download PDFInfo
- Publication number
- CN113421281A CN113421281A CN202110532313.1A CN202110532313A CN113421281A CN 113421281 A CN113421281 A CN 113421281A CN 202110532313 A CN202110532313 A CN 202110532313A CN 113421281 A CN113421281 A CN 113421281A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- separation
- network
- micro
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 119
- 230000011218 segmentation Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011423 initialization method Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000036299 sexual function Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 14
- 238000009826 distribution Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 244000309466 calf Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于雷达信号处理技术领域，公开了一种基于分割理论的行人微动部位分离方法，该方法利用运动捕获数据构建行人微多普勒的混合信号时频样本和行人微多普勒的分离信号时频样本；其次，利用MFCN构建行人微动部位分离网络；再次，将行人微多普勒的混合信号时频样本数据划分为训练集和测试集，分别对训练样本和标签进行预处理，并同时作为网络输入，优化网络参数至网络收敛，获得行人微动部位分离模型；最后，对测试样本数据进行预处理，将预处理后的测试集送入行人微动部位分离模型，进行行人微动部位的分离。本发明可应对行人微多普勒信号在时频域相互混叠，难以分离的挑战。
Description
技术领域
本发明属于雷达信号处理领域，尤其涉及一种基于分割理论的行人微动部位分离方法，用于从时频图上分离出各微动部位的时频曲线，从而实现对行人各部位的微多普勒信号的分离。
背景技术
雷达作为一种电磁传感器，具有作用距离远、不受天气情况和光照强度影响以及穿透能力强的优势，可以对目标进行全天时、全天候的探测。目前已经在国防军事(战场侦察和态势感知)、国民经济(如交通运输、气象预报和资源探测)和科学研究(如航天、大气物理和天体研究等)领域得到了广泛的应用。
目前，微多普勒信号分离算法主要可以分为参数法和非参数法。参数法的主要思想是使用先验的信号模型对目标的微多普勒进行假设，然后对信号模型进行参数估计，从而重构目标的微多普勒频率。参数法的优点是可解释性强，但只适用于某些特定形式的微多普勒信号，且对多个微多普勒信号进行分离时，需要对参数域进行大量搜索，算法复杂度高。参数法中，Thayaparan T等人将小波变换与时频分析相结合，对直升机和行人的微多普勒信号分别进行了分离和特征提取。Stankovic等人提出在回波时频谱图上采用具有滑动窗口特性的顺序统计技术和基于逆Radon变换的微动部件精细化识别方法，解决了雷达成像中，目标某些部件微运动降低目标主体成像的问题。该算法虽具有精确度高的优点，但是存在算法复杂度高的问题。非参数法的主要思想是直接从时频谱图中提取各微多普勒分量。非参数法中，Cai C等人针对时频分析难以清晰表示弱微动的问题，提出一种基于EMD的车辆振动检测方法，按照振动模式的不同对信号进行分解，从而清晰地显示微多普勒信号。Bai X 等将EMD推广到了复数域，对带有旋转部件的目标进行了微多普勒信号精细化识别，从而实现了目标主体良好的聚焦成像，但是，对于微动幅度较小且与其他微动分量存在较大交叠的弱运动来说，难以分辨其数目。
行人目标具有多个微动部件，其微多普勒信号会发生不同程度的混叠，不利于微动特征提取和运动参数的估计。采用参数法将不但存在分离精度不够的问题，而且算法复杂度较高。因此，需要从非参数法着手，重点研究微动分量存在大量交叠情况下，行人微多普勒分离的问题。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于分割理论的行人微动部位分离方法，利用分割理论构建了行人微动部位分离网络，用于将各微动部位的微多普勒频率分量从目标时频图上分离出来，从而实现行人微动部位的分离，可应对行人微多普勒信号在时频域相互混叠，难以分离的挑战，为雷达地面慢速目标精细化识别研究奠定一定的基础。
本发明的思路是：首先，利用运动捕获数据构建行人整体回波时频样本库和行人各部位回波时频样本库；其次，利用MFCN(Modified Fully Convolutional Networks，MFCN)构建行人微动部位分离网络，进行行人微动部位的分离；网络训练，获得行人微动部位分离模型；最后将行人混合信号输入行人微动部位分离模型进行行人微动部位的分离。
为了达到上述目的，本发明采用以下技术方案予以解决。
一种基于分割理论的行人微动部位分离方法，包括以下步骤：
步骤1，利用现有的运动捕获数据构建行人整体混合回波时频数据和行人各部位回波时频数据；
其中，行人整体混合回波时频数据为训练样本，行人各部位回波时频数据为标签；
步骤2，构建改进的全卷积网络作为行人微动部位的分离网络；
步骤3，对所有训练样本和标签分别进行预处理，采用预处理后的训练样本和标签对行人微动部位的分离网络进行训练，得到训练好的分离网络，即行人微动部位分离模型；
步骤4，获取待测行人微多普勒的混合信号时频数据，对其进行预处理，将预处理后的行人微多普勒的混合信号时频数据输入行人微动部位分离模型进行信号分离，模型的每个通道对应输出的行人一个部位的微多普勒信号分量，实现混合信号的分离。
与现有技术相比，本发明的有益效果为：
(1)本发明将经典的分割理论-全卷积网络(Fully Convolutional Networks，FCN)引入到行人微动部位分离领域，构建了端到端的行人微动部位分离网络。该网络具有结构简单，容易实现的特点，能够有效应对行人微多普勒相互混叠难以分离的难题。
(2)本发明在充分分析背景噪声产生原因的基础上，提出在经典FCN 网络输出层前加入自适应去噪层，能够有效去除对特征图进行上采样的同时引入的背景噪声。
(3)本发明提出了一种基于注意力机制的MSE损失函数，避免了预测分离信号出现结构上的断点问题。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明提供的一种利用分割理论的行人微动部位分离方法的流程图；
图2为基于运动捕获数据的行人模型；
图3为坐标示意图；
图4为基于运动捕获数据行人微多普勒的混合信号时频样本库和行人各部位的分离信号时频样本库示例；其中图4(a)为行人混合信号时频图；图4(b)行人头部信号时频图；图4(c)为行人躯干信号时频图；图4(d)行人左小臂信号时频图；图4(e)行人右小臂信号时频图；图4(f)为行人左手信号时频图；图4(g)为行人右手信号时频图；图4(h)为行人左大腿信号时频图；图4(i)为行人右大腿信号时频图；图4(j)行人左小腿信号时频图；图4(k)为行人右小腿信号时频图；图4(1)为行人左脚信号时频图；图4(m)行人右脚信号时频图；
图5为本发明实施例所构建的行人微动部位分离网络示意图；
图6为本发明实施例中网络的训练误差和测试误差；
图7为本发明实施例中分离信号的自适应阈值系数；
图8为本发明实施例中的测试结果示例图；
图9为本发明实施例中预测分离信号的信噪比的柱状图；
图10为本发明实施例中真实分离信号与预测分离信号的灰度熵的柱状图；
图11为本发明实施例中预测分离信号与真实分离信号的余弦距离的柱状图。
具体实施方式
下面将结合附图对本发明的实施例及效果作进一步详细描述。
参考附图1，本发明提供的一种利用分割理论的行人微动部位分离方法，包括以下步骤：
步骤1，利用现有的运动捕获数据构建行人整体混合回波时频数据和行人各部位回波时频数据；
其中，行人整体混合回波时频数据为训练样本，行人各部位回波时频数据为标签；
具体的，包含以下子步骤：
1.1，由卡内基梅隆大学图形实验室录取的运动捕获数据得到行人各部位的运动轨迹和尺寸；
在运动捕获数据中，将三维行人结构看作由节点相连的刚体集合，并以线段来表示部位，如附图2所示为基于运动捕获数据的行人模型。
1.2，根据行人的各部位尺寸，以椭球体建模，计算各部位雷达散射截面积，构建行人整体混合信号和行人各部位分离信号；
示例性的：
根据基于运动捕获数据的行人模型可以看出，行人的运动可以简化为行人骨架的运动。因此，建立如附图3所示坐标系，建立行人各节点的空间位置坐标系。其中，OXYZ是三维空间中固定的坐标系；O′X′Y′Z′的三个轴与OXYZ 平行，其原点与运动捕获数据中提取出的行人目标的根节点一致，随着行人的运动，O′X′Y′Z′存在平移运动，但不存在旋转运动；Qxyz用于描述行人部位的运动，其原点与O′X′Y′Z′相同，但相对O′X′Y′Z′存在旋转，即当行人某一部位进行旋转时，Qxyz进行相同的旋转。在初始时刻，三个坐标系是重叠的，随着行人的运动，O′X′Y′Z′与Qxyz的运动不断发生变化。
定义子节点相对于其父节点的平移变量为Poffset，父节点在OXYZ的位置为 Pparent，那么子节点的位置P满足：
[1 P]T＝S[1 Pparent]T
其中，S＝[1o；RPoffset 1]为变换矩阵，R＝RX·(RY·RZ)为子节点相对于其父节点的旋转变量，Poffset和R共同组成了子节点的自由变量。定义各节点相对于参考坐标轴的旋转顺序是Z-Y-X，Rx、Ry和Rz为目标绕X、Y和Z轴的旋转矩阵：
其中，α、β和γ分别为节点在X、Y和Z轴的旋转欧拉角。于是，以行人的左脚为例，此节点在全局坐标系中的位置可表示为：
[1，Plfoot]T＝SlfootSltibiaSlfemurSlhipSroot[1，0，0，0]T
其中，Plfoot为左脚在全局坐标系中的位置，Slfoot、Sltibia、Blfemur、Slhip和Sroot分别为左脚、左胫、左股、左臀和根节点的变换矩阵。由根节点开始逐级地进行计算，可获得行人模型中所有节点的三维坐标。
根据行人各节点的三维坐标，计算各个部位实时的运动参数(即坐标和旋转欧拉角)，使用椭球体对各个部位建模，利用运动参数控制椭球体的位置和姿态。
使用椭球体经验公式计算行人运动模型的RCS为：
其中，RCS为雷达散射截面积，a、b、c分别为椭球体的三个半轴在x轴、y 轴、z轴上的长度，θ为入射角，
为方位角。
1.3，使用双基雷达，并分别构建行人整体模型和行人12个部位模型，从而得到行人微多普勒的混合信号回波和行人微多普勒的分离信号回波。
1.4，采用短时傅里叶变换对行人混合信号和行人各部位分离信号进行时频变换，得到行人整体微多普勒的混合信号时频样本库和行人各部位的分离时频样本库，如附图4所示，以行人微多普勒的混合信号时频图作为样本，以行人微多普勒的分离信号时频图为标签；
步骤2，构建改进的全卷积网络作为行人微动部位的分离网络；
所述改进的全卷积网络包含依次级联的多个下采样的卷积模块、多个上采样的转置卷积模块和自适应去噪层，其中，每个卷积模块由多个卷积层和池化层连接组成，每个转置卷积模块由激活层和转置卷积层连接组成；池化层与转置卷积层跳层连接到激活层，使不同尺度的特征图进行连接；所述激活层的激活函数为LeakyReLu；
所述自适应去噪层通过学习一个阈值向量λ，对各个分离信号中数值小于λimi的像素置零，从而去除背景噪声。
全卷积网络(FCN)是一种经典的语义分割网络，本发明在经典的FCN 基础上进行改进来构建行人微动部位分离网络，从而实现行人微动部位的分离。
FCN网络一般包含卷积层、池化层、转置卷积层以及跳层连接(Concat)。
(1)卷积层：卷积层中，卷积核通过滑窗的方式在特征矩阵的感受野进行卷积计算，从而学习数据的特征。
(2)池化层：池化层紧跟在卷积层之后，是一种非线性的降维方法，本发明采用最大池化操作。假设池化核大小为F×F，池化步长为F，输入特征图大小为L1×W1，那么输出特征图的大小为L2×W2，其中L2＝L1/F，W2＝W1/F。池化层能够减小特征图维度，降低计算量，增加网络的平移不变性。
(3)转置卷积层：转置卷积层在卷积层之后，用于使特征图的通道数不断减小，而长和宽不断扩大，实现将小尺寸的高维度特征图恢复回去的目的。
(4)跳层连接：由于经过前面卷积层、池化层等作用后，最后一层的特征图太小，会损失很多细节。因此，采用跳层结构将不同尺度的特征图进行连接，能够融合多尺度的空间特征，从而得到更好的分离效果；
构建自适应去噪层。
由于转置卷积的运算特性，在将特征图进行上采样的同时，势必会引入背景噪声。因此，在网络的输出层前加入一个自适应去噪层以去除这部分背景噪声。
具体而言，设分离信号的个数为K，在网络中设置一个1×K的阈值系数向量λ，其中每个分量λi对应第i个分离信号。设网络最后一层全卷积输出特征图的第i个通道为
对应的真实分离信号时频谱图的最大值为mi，则自适应去噪层计算
其中，·为矩阵点乘，1{·}为示性函数。
本发明实施例的行人微动部位分离网络结构如附图5所示：卷积层1-卷积层2-池化层1-卷积层3-卷积层4-池化层2-卷积层5-卷积层6-卷积层7-池化层3-卷积层8-卷积层9-卷积层10-池化层4-卷积层11-卷积层12-卷积层13- 池化层5-卷积层14-卷积层15-LeakyReLu层1-转置卷积层1-LeakyReLu层2- 转置卷积层2。池化层4与转置卷积层1跳层连接到LeakyReLu层2层；池化层3与转置卷积层2跳层连接到LeakyReLu层3。LeakyReLu层3-转置卷积层3-LeakyReLu层4-转置卷积层4-LeakyReLu层5-转置卷积层5-LeakyReLu 层6-转置卷积层6-自适应去噪层-输出层。其中，卷积层1～卷积层15的卷积核大小均为3×3，卷积层1～卷积层2的深度为8，卷积层3～卷积层4的深度为16，卷积层5～卷积层7的深度为32，卷积层8～卷积层10的深度为64，卷积层11～卷积层12的深度为64，卷积层13～卷积层15的深度为256；池化层使用2×2最大池化；转置卷层1～转置卷积层6的卷积核大小为3×3，转置卷积层1～转置卷积层2的深度为128，转置卷积层3～转置卷积层6的深度依次为224、64、16、4。
网络的输入为包含行人所有部位的微多普勒分量的时频图像，输出为多通道样本，其中每一个通道对应行人某个特定部件的微多普勒分量。
首先，使用多个卷积层和池化层对样本数据进行特征提取。其中，n×n@l 表示该层的卷积核大小为n×n，深度为l，最大池化的窗口大小均为2×2。随着网络前向传播的进行，特征图的深度不断加深，面积不断减小。之后，将第15层卷积特征图输入到LeakyReLu层1，进而经过多个LeakyReLu层、转置卷积层以及跳层连接的作用，得到分离后的初步结果。此时，分离结果中带有转置卷积过程所引入的背景噪声。因此，最后将分离后的初步结果再经过自适应去噪层便得到行人微动部位的最终分离结果。
步骤3，对所有训练样本和标签分别进行预处理，采用预处理后的训练样本和标签对行人微动部位的分离网络进行训练，得到训练好的分离网络，即行人微动部位分离模型；
3.1，网络初始化，对网络中的卷积层和转置卷积层进行随机初始化；网络中的自适应去噪层的初始化：将向量λ的各元素初始化为0.5。λ也是网络参数的一部分。
随着网络的训练不断进行更新。当训练结束时，λ的数值已经固定，因此可以在测试时直接使用。不同分离信号可能具有不同的强度，对每个分离信号分别训练一个阈值系数，能够更好地适应不同微动部件的特性。
3.2，对训练集中行人微多普勒的混合信号时频样本数据和对应的分离信号时频样本数据进行预处理；
本发明使用的行人微多普勒的混合信号时频样本数据和对应的分离信号时频样本数据预处理方法为：对行人微多普勒的混合信号时频样本数据和分离信号时频样本数据进行Max归一化处理，使其数值分布在0～1。这样会避免不必要的数值问题，方便梯度求解，从而有效提升网络的泛化能力和收敛速度。
3.3，将预处理后的训练样本和标签输入行人微动部位的分离网络进行网络参数优化，直至网络收敛，得到行人微动部位的分离模型；
按照附图5所示的网络结构进行网络训练，由于样本数量稀少，为了使网络得到充分训练，采用K-Fold方法进行训练；同时，为了避免梯度下降方法陷入局部最小值或鞍点，在训练过程时，采用指数衰减的策略对学习率进行动态调整。具体为：设置初始学习率为η＝0.01，训练时一个epoch的大小为50，每训练一个epoch数据，相应的学习率更新为η＝η×γindex(epoch)，其中γ为学习率调整的倍数，上标index(epoch)表示当前epoch的索引，本发明中将γ设为0.8。此外，卷积核初始化方法为Xavier，使用SGD优化算法进行网络参数的更新。
具体地，网络通过基于注意力机制的均方误差(Mean Squared Error，MSE) 损失函数进行优化。
设真实分离信号为xi，预测分离信号为yi，MSE将计算|xi-yi|2，而基于注意力机制的MSE计算(1+α·xi)·|xi-yi|2。即相对于MSE，增加了α·xi·|xi-yi|2这一项。对该式的解释为：MSE计算的是信号损失与背景损失，当其与xi进行点乘后，由于真实分离信号的背景像素值为0，因此只保留下了信号的主体损失。其中，α为正则化系数，取为100。
步骤4，获取待测行人微多普勒的混合信号时频数据，对其进行预处理，将预处理后的行人微多普勒的混合信号时频数据输入行人微动部位分离模型进行信号分离，模型的每个通道对应输出的行人一个部位的微多普勒信号分量，实现混合信号的分离。
本发明的待测行人微多普勒的混合信号时频数据为在步骤1中与训练样本同时生成的测试样本，按照随机抽取的方式将行人微多普勒的混合信号时频数据划分为训练样本和测试样本，其中，训练样本数和测试样本数分别占总样本数的80％和20％。
对测试样本中行人微多普勒的混合信号时频样本数据进行预处理，将预处理后测试样本送入行人微动部位的分离模型，进行行人微动部位的信号分离，输出分离结果。
仿真结果分析：
附图6所示为网络的训练误差和测试误差，可以看到网络的误差在前300 个训练轮次中下降较快，之后逐渐达到收敛状态。在前100个训练轮次中，测试误差和训练误差是很接近的，后续存在一定差距。
附图7所示为分离信号的自适应阈值系数，可以看到自适应阈值的数值分布在0.3～0.4之间，这是因为分离信号中存在一些较弱的成分，为了不抑制掉这些成分，网络学习出了较低的自适应阈值系数。
附图8所示为测试结果示例，可以看到预测分离信号基本保持了真实分离信号的结构，但在边缘细节上还存在一定的损失。
为定量分析本发明所提网络在行人微动分离方面的性能，使用以下3个指标衡量预测分离信号与真实分离信号间的差异。
(1)预测分离信号的信噪比，用于衡量预测分离信号的噪声水平。
设真实分离信号为xi，预测分离信号为yi，i＝1，2，...，K表示部位的编号。则定义第i个部位的预测分离信号的信噪比为
在这个定义中，将预测分离信号与真实分离信号的灰度差看作噪声，从而计算信噪比。该信噪比的数值越高，表明预测分离信号包含的噪声越小；反之，表明预测分离信号包含的噪声越大。
(2)预测分离信号和真实分离信号的灰度熵，用于衡量图像灰度分布的聚集性。
计算图像灰度熵可以简要分为三个步骤：第一步，将0～255的灰度范围分为64个灰度级；第二步，统计每个灰度级的出现概率，形成一个[1，64]维的向量；第三步，计算该向量的信息熵，即为原图像的灰度熵。灰度熵越大，表明该统计向量的数值分布越平均，即图像的灰度分布越均衡；灰度熵越小，表明该统计向量的数值分布越集中，即图像的灰度分布越集中。
(3)预测分离信号与真实分离信号的余弦距离，用于衡量预测分离信号与真实分离信号的方向同一性。
对于向量，余弦距离为向量的内积与模之积的比值，该值的取值范围为 -1～1，表明两向量间的角度。将预测分离信号与真实分离信号间的余弦距离定义为：
其中，·表示矩阵点乘，
为真实分离信号的像素值，
为预测分离信号的像素值，m和n分别为对应时频谱图的行数和列数。与向量的余弦距离相同，上式的取值范围为-1～1，取值越大，表明预测分离信号与真实分离信号的方向同一性越高。
表1为预测分离信号的信噪比的具体数值，其对应的柱状图如附图9所示。
表1预测分离信号信噪比
由表1和图9可以看出，第5、6、11、12个信号的信噪比较低，它们表示的是行人的小臂和脚部的信号。对比真实分离信号可以发现，相比其他部位的分离信号，小臂的信号连续性不高，而脚部的分离信号边缘细节较多，因此这两部分的信噪比低于其他部位。另外，前2个信号的信噪比最高，它代表了行人头部和躯干的信号，因信号连续性好、结构简单，因此分离的效果最佳。
表2为真实分离信号与预测分离信号的灰度熵，其对应的柱状图如附图 10所示。
表2真实分离信号与预测分离信号的灰度熵
由表2和图10可以看出，真实分离信号的灰度熵在1.06～2.62左右，而预测分离信号的灰度熵在0.64～2.34左右。对于每一个部位而言，二者灰度熵的差值在0.2～0.5左右。该结果表明真实分离信号的灰度分布是更加均匀，而预测分离信号的灰度分布更加集中。此外，相比基于生物力学的行人微多普勒信号样本库，该样本库中真实分离信号的结构和细节更加复杂，为精准预测分离信号的像素值带来了难度，因此该实验中灰度熵的差值高于前述实验。
表3为预测分离信号与真实分离信号的余弦距离，其对应的柱状图如附图11所示。
表3预测分离信号与真实信号的余弦值
由表3和图11可以看出，除第5、6、11、12个信号外，其余部位的预测分离信号与真实分离信号的余弦距离均在0.85以上，而前者的余弦距离在0.7以上，这个结果与信噪比的结果具有相似性，表明所提出的方法能在一定程度上有效地分离行人各部位的微动信号，在某些难以分离的部位上仍有提升的空间。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种基于分割理论的行人微动部位分离方法，其特征在于，包括以下步骤：
步骤1，利用现有的运动捕获数据构建行人整体混合回波时频数据和行人各部位回波时频数据；
其中，行人整体混合回波时频数据为训练样本，行人各部位回波时频数据为标签；
步骤2，构建改进的全卷积网络作为行人微动部位的分离网络；
步骤3，对所有训练样本和标签分别进行预处理，采用预处理后的训练样本和标签对行人微动部位的分离网络进行训练，得到训练好的分离网络，即行人微动部位分离模型；
步骤4，获取待测行人微多普勒的混合信号时频数据，对其进行预处理，将预处理后的行人微多普勒的混合信号时频数据输入行人微动部位分离模型进行信号分离，模型的每个通道对应输出的行人一个部位的微多普勒信号分量，实现混合信号的分离。
2.根据权利要求1所述的基于分割理论的行人微动部位分离方法，其特征在于，所述利用现有的运动捕获数据构建行人整体混合回波时频数据和行人各部位回波时频数据，具体步骤为：
1.1，由卡内基梅隆大学图形实验室录取的运动捕获数据得到行人各部位的运动轨迹和尺寸；
在运动捕获数据中，将三维行人结构看作由节点相连的刚体集合，并以线段来表示部位；
1.2，根据行人的各部位尺寸，以椭球体建模，使用椭球体经验公式计算行人运动模型的RCS为：
其中，RCS为雷达散射截面积，a、b、c分别为椭球体的三个半轴在x轴、y轴、z轴上的长度，θ为入射角，
为方位角；
1.3，使用双基雷达，分别构建行人整体模型和行人各部位模型，从而得到行人整体微多普勒的混合信号回波和行人各部位微多普勒的分离信号回波；
1.4，采用短时傅里叶变换对行人混合信号和行人各部位分离信号进行时频变换，得到行人整体微多普勒的混合信号时频数据和行人各部位时频数据。
3.根据权利要求1所述的基于分割理论的行人微动部位分离方法，其特征在于，所述改进的全卷积网络包含依次级联的多个下采样的卷积模块、多个上采样的转置卷积模块和自适应去噪层，其中，每个卷积模块由多个卷积层和池化层连接组成，每个转置卷积模块由激活层和转置卷积层连接组成；池化层与转置卷积层跳层连接到激活层，使不同尺度的特征图进行连接；所述激活层的激活函数为LeakyReLu；
所述自适应去噪层通过学习一个阈值向量λ，去除各部位分离信号中的背景噪声。
4.根据权利要求3所述的基于分割理论的行人微动部位分离方法，其特征在于，所述自适应去噪层的去噪过程为：
设分离信号的个数为K，在行人微动部位的分离网络中设置一个1×K的阈值系数向量λ，其中每个分量λi对应第i个分离信号；设网络最后一层全卷积输出特征图的第i个通道为
对应的真实分离信号时频谱图的最大值为mi，则自适应去噪层计算过程为：
其中，·为矩阵点乘，1{·}为示性函数。
5.根据权利要求1所述的基于分割理论的行人微动部位分离方法，其特征在于，所述对所有训练样本和标签分别进行预处理，具体为：对训练样本和标签分别进行Max归一化处理，使其数值分布在0～1之间。
6.根据权利要求1所述的基于分割理论的行人微动部位分离方法，其特征在于，所述采用预处理后的训练样本和标签对行人微动部位的分离网络进行训练，其具体过程为：
3.1，网络初始化：对网络中的卷积层和转置卷积层进行随机初始化；网络中的自适应去噪层的初始化：将向量λ的各元素初始化为0.5，λ是网络参数的一部分；
3.2，将预处理后的训练样本和标签输入行人微动部位的分离网络进行网络参数优化，直至网络收敛，得到行人微动部位的分离模型；
其中，采用基于注意力机制的均方误差作为损失函数对网络参数进行优化更新；基于注意力机制的损失函数为(1+α·xi)·|xi-yi|2：xi为真实分离信号，yi为预测分离信号，α为正则化系数。
7.根据权利要求6所述的基于分割理论的行人微动部位分离方法，其特征在于，所述将预处理后的训练样本和标签输入行人微动部位的分离网络进行网络参数优化，具体为：在训练过程时，采用指数衰减的策略对学习率进行动态调整；设置初始学习率为η0，每训练一个epoch数据，相应的学习率更新为η＝η×γindex(epoch)，其中γ为学习率调整的倍数，上标index(epoch)表示当前epoch的索引，卷积核初始化方法为Xavier，使用SGD优化算法进行网络参数的更新。
8.根据权利要求1所述的基于分割理论的行人微动部位分离方法，其特征在于，所述将预处理后的行人微多普勒的混合信号时频数据输入行人微动部位分离模型进行信号分离，具体过程为：
首先，使用网络的多个卷积层和池化层对预处理后的行人微多普勒的混合信号时频数据进行特征提取；随着网络前向传播的进行，特征图的深度不断加深，面积不断减小；
其次，将最后一个卷积层的特征图输入到第一个激活层，经过多个激活层和转置卷积层的跳层连接作用，得到初步分离信号；其中，一个通道对应一个分离信号；
最后，通过自适应去噪层将每个初步分离信号中由转置卷积过程所引入的背景噪声去除，得到行人微动部位的最终分离结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110532313.1A CN113421281A (zh) | 2021-05-17 | 2021-05-17 | 一种基于分割理论的行人微动部位分离方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110532313.1A CN113421281A (zh) | 2021-05-17 | 2021-05-17 | 一种基于分割理论的行人微动部位分离方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113421281A true CN113421281A (zh) | 2021-09-21 |
Family
ID=77712492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110532313.1A Pending CN113421281A (zh) | 2021-05-17 | 2021-05-17 | 一种基于分割理论的行人微动部位分离方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421281A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492540A (zh) * | 2022-03-28 | 2022-05-13 | 成都数之联科技股份有限公司 | 目标检测模型的训练方法、装置、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100321229A1 (en) * | 2005-10-28 | 2010-12-23 | Raytheon Company | Biometric radar system and method for identifying persons and positional states of persons |
| CN104237865A (zh) * | 2014-10-07 | 2014-12-24 | 电子科技大学 | 一种基于太赫兹雷达回波的人体目标微动信号时频分析方法 |
| CN110045348A (zh) * | 2019-05-05 | 2019-07-23 | 应急管理部上海消防研究所 | 一种基于改进卷积神经网络的人体运动状态分类方法 |
| CN110146872A (zh) * | 2019-05-17 | 2019-08-20 | 西安电子科技大学 | 基于逆Radon变换的人体微多普勒分量提取方法 |
| WO2019200178A1 (en) * | 2018-04-12 | 2019-10-17 | FLIR Belgium BVBA | Adaptive doppler radar systems and methods |
| WO2020037965A1 (zh) * | 2018-08-21 | 2020-02-27 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
-
2021
- 2021-05-17 CN CN202110532313.1A patent/CN113421281A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100321229A1 (en) * | 2005-10-28 | 2010-12-23 | Raytheon Company | Biometric radar system and method for identifying persons and positional states of persons |
| CN104237865A (zh) * | 2014-10-07 | 2014-12-24 | 电子科技大学 | 一种基于太赫兹雷达回波的人体目标微动信号时频分析方法 |
| WO2019200178A1 (en) * | 2018-04-12 | 2019-10-17 | FLIR Belgium BVBA | Adaptive doppler radar systems and methods |
| WO2020037965A1 (zh) * | 2018-08-21 | 2020-02-27 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
| CN110045348A (zh) * | 2019-05-05 | 2019-07-23 | 应急管理部上海消防研究所 | 一种基于改进卷积神经网络的人体运动状态分类方法 |
| CN110146872A (zh) * | 2019-05-17 | 2019-08-20 | 西安电子科技大学 | 基于逆Radon变换的人体微多普勒分量提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李雅欣: "基于深度学习的地面慢速目标分类及精细化识别方法", 硕士电子期刊, vol. 2021, no. 05, 16 April 2021 (2021-04-16), pages 25 - 87 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492540A (zh) * | 2022-03-28 | 2022-05-13 | 成都数之联科技股份有限公司 | 目标检测模型的训练方法、装置、计算机设备及存储介质 |
| CN114492540B (zh) * | 2022-03-28 | 2022-07-05 | 成都数之联科技股份有限公司 | 目标检测模型的训练方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | False-alarm-controllable radar detection for marine target based on multi features fusion via CNNs | |
| CN109683161B (zh) | 一种基于深度admm网络的逆合成孔径雷达成像的方法 | |
| CN106355151B (zh) | 一种基于深度置信网络的三维sar图像目标识别方法 | |
| CN110244303B (zh) | 基于sbl-admm的稀疏孔径isar成像方法 | |
| CN104899567A (zh) | 基于稀疏表示的小弱运动目标跟踪方法 | |
| Qu et al. | Human activity recognition based on WRGAN-GP-synthesized micro-Doppler spectrograms | |
| Guo et al. | Sea clutter and target detection with deep neural networks | |
| CN111401180A (zh) | 神经网络识别模型训练方法、装置、服务器及存储介质 | |
| Zhu et al. | Ground target recognition using carrier-free UWB radar sensor with a semi-supervised stacked convolutional denoising autoencoder | |
| Zhang et al. | Scanning radar forward-looking superresolution imaging based on the Weibull distribution for a sea-surface target | |
| CN113421281A (zh) | 一种基于分割理论的行人微动部位分离方法 | |
| Qu et al. | Indoor human behavior recognition method based on wavelet scattering network and conditional random field model | |
| CN109541567A (zh) | 基于深度学习的高速机动目标检测方法 | |
| Li et al. | A bi-sru neural network based on soft attention for hrrp target recognition | |
| Zheng et al. | Unsupervised human contour extraction from through-wall radar images using dual UNet | |
| Zhao et al. | Design of Forward-Looking Sonar System for Real-Time Image Segmentation with Light Multi-Scale Attention Net | |
| Li et al. | Pedestrian Recognition with Radar Data-Enhanced Deep Learning Approach Based on Micro-Doppler Signatures | |
| Qu et al. | WGAN-GP-based synthetic radar spectrogram augmentation in human activity recognition | |
| Wu et al. | Learning-based High-frame-rate SAR imaging | |
| Halimi et al. | Denoising smooth signals using a Bayesian approach: Application to altimetry | |
| Cheng et al. | Preserving unique structural blocks of targets in ISAR imaging by Pitman–Yor process | |
| Yang et al. | AAE-Dpeak-SC: A novel unsupervised clustering method for space target ISAR images based on adversarial autoencoder and density peak-spectral clustering | |
| Lian et al. | An Attention Based Complex-valued Convolutional Autoencoder for GEO SA-Bi SAR Ship Target Refocusing | |
| Shi et al. | Convolutional neural networks applied on weather radar echo extrapolation | |
| Yang et al. | Elaborated-Structure Awareness SAR Imagery Using Hessian-Enhanced TV Regularization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |