CN108898066B - 一种基于生成式对抗网络的人体运动检测方法 - Google Patents

一种基于生成式对抗网络的人体运动检测方法 Download PDF

Info

Publication number
CN108898066B
CN108898066B CN201810573716.9A CN201810573716A CN108898066B CN 108898066 B CN108898066 B CN 108898066B CN 201810573716 A CN201810573716 A CN 201810573716A CN 108898066 B CN108898066 B CN 108898066B
Authority
CN
China
Prior art keywords
layer
network
convolution
dcgan
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810573716.9A
Other languages
English (en)
Other versions
CN108898066A (zh
Inventor
汪清
郎玥
侯春萍
杨阳
管岱
黄丹阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810573716.9A priority Critical patent/CN108898066B/zh
Publication of CN108898066A publication Critical patent/CN108898066A/zh
Application granted granted Critical
Publication of CN108898066B publication Critical patent/CN108898066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于生成式对抗网络与微多普勒时频图像的人体运动检测方法,包括以下步骤:采集人体运动数据信号。构建微多普勒时频图像数据集。构建生成式对抗网络:采用的生成式对抗网络结构是基于现有的深度卷积生成式对抗网络DCGAN,将DCGAN中的卷积部分换为稠密连接块结构dense block,并改进DCGAN中判别器的输出部分使之能直接输出二分类结果。训练生成式对抗网络:通过适应性矩估计Adam一阶优化算法来进行网络参数的优化,采用梯度惩罚的法防止训练过程中判别器与生成器收敛速度差距过大的问题。

Description

一种基于生成式对抗网络的人体运动检测方法
技术领域
本发明涉及雷达技术领域和模式识别领域,具体涉及一种基于生成式对抗网络的人体运动检测方法。
背景技术
运动人体目标的探测是当前一个新兴的研究热点,并日渐吸引了学术界的广泛关注。人体动目标检测的主要用途有:火灾或地震后对幸存者的搜救、安全防护工作中对未知人员的确认、可用于医疗中对患者的监护,此外还可用于在巷战中确定敌情态势、在反恐怖行动中掌控人员情况等,具有十分广泛的用途。
当前对人体动目标的检测主要依赖于视觉传感器,如摄像机、照相机等,这些传感器采集到的数据直观性强且成本低廉,因此被广泛应用。然而这类传感器的不足在于不能全天候地进行监测,在天气状况不好时难以持续有效地工作。
相比之下雷达系统不易受到天气、温度等实际因素的影响,且其工作的某些频段对墙体等非空气介质具有较好的穿透性,这种特性使得雷达可以检测墙体后的人体目标。人体运动时,四肢的动作则会对雷达回波产生微多普勒调制,这种微多普勒调制可以表现人体的微动特征,是确定人体目标运动状态的重要特征。
目前已有的关于雷达时频图像的人体运动检测的方法,最直观的一种是通过观察雷达时频图像中谱线的变化确定是否有微动发生。然而当背景环境无法确定时,可能会存在某些运动物体的干扰或其他静止物体产生的多径效应干扰,使得雷达谱图存在杂波信号,因此若通过设定频移阈值作为检测目标是否存在运动的门限,这种方法虽然简单但是对尖峰的噪声比较敏感,容易引起误判。
近年来利用深度学习的人体动作识别蓬勃发展,实验表明神经网络对雷达图像的分类具有很好的效果,此外,深度学习中的生成式对抗网络(Generative AdversarialNerworks,GAN)也是当前研究的热点之一且已经有了极好的应用成果。综上,考虑到现有人体运动检测方法的局限性,利用生成式对抗网络检测人体运动是可行且十分必要的。
发明内容
针对现有技术中存在的问题或缺陷,本发明的目的在于,提供一种基于微多普勒时频图像和生成式对抗网络的人体运动检测方法,能够充分发挥超宽带雷达对人体微动的准确捕捉和生成式对抗网络中判别器可以进行二分类的优势,利用改进的生成式对抗网络对微多普勒人体信号时频图像进行分类,从而实现对人体运动的检测。
为了实现上述目的,本发明采用如下技术方案:
一种基于生成式对抗网络与微多普勒时频图像的人体运动检测方法包括以下步骤:
步骤一:采集人体运动数据信号:利用超带宽雷达模块,人体在运动时,雷达的发射天线发射电磁波,经人体运动调制后的反射波被接收天线所接收,接收的电磁波即为人体运动数据信号。
步骤二:构建微多普勒时频图像数据集:对人体运动数据信号,运用对消的方法进行背景杂波抑制,使用短时傅里叶变换进行时频变换获得微多普勒时频图像。将获得的图像数据按照4:1的比例分为训练集和测试集。
步骤三:构建生成式对抗网络:采用的生成式对抗网络结构是基于现有的深度卷积生成式对抗网络DCGAN,将DCGAN中的卷积部分换为稠密连接块结构dense block,并改进DCGAN中判别器的输出部分使之能直接输出二分类结果。
步骤四:训练生成式对抗网络:将步骤二生成的微多普勒时频图像训练数据集输入步骤三中构建好的网络中,再通过适应性矩估计Adam一阶优化算法来进行网络参数的优化,采用梯度惩罚的方法防止训练过程中判别器与生成器收敛速度差距过大的问题。
本发明的技术特点及效果:
1、方法简单,算法复杂度低,容易实现;
2、利用了超带宽雷达能够捕捉人体微动信息的能力,规避了传统光学传感器的缺点;
3、将接收信号转化为微多普勒时频图像,通过生成式对抗网络中的判别器对有动作与无动作的图像自动进行二分类,无需其他复杂操作;
4、效果优于其他现有主流算法。
附图说明
图1是各动作数据采集过程及相应的微多普勒时频图像
图2是本发明所用人体动作检测方法示意图
图3是稠密连接块结构示意图
图4是本发明方法中生成器的网络结构图
图5是本发明方法中判别器的网络结构图
图6是二分类结果说明图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图对本发明进行进一步详细说明。
(1)人体运动数据采集
本实验采用的雷达为超宽带PulsOn 440无线收发器模块。其工作频率3.1G到4.8GHz之间。
本发明在室内环境下采集数据,雷达平稳放置在1.2米左右的高度,使得天线可以正对人体重心部分,发射、接收天线均为定向天线。采集的动作有七种,分别为:站立(standing)、挥拳(boxing)、地面爬行(crawling)、轻手轻脚移动(creeping)、前向立定跳(jumping forward)、跑步(running)。共有四个被试者参与实验,七种动作均被每位被试者重复2~4次以防止采集数据的偶然误差,每个动作采集时间大概为7秒钟。使用短时傅里叶变换(Short-time Fourier Transform,STFT)对采集到的信号进行时频变换获得微多普勒时频图像。数据采样频率为16GHz,脉冲重复频率(Pulse Recurrence Frequency,PRF)为368Hz,相干脉冲间隔(CoherentPulse Interval,CPI)为0.2秒。
采集数据过程及相应的微多普勒时频图像如图1所示,通过图像可以看出,“站立”这一动作的微多普勒特征相对其他动作较弱,而由于微多普勒特征与人体的姿态无关,只与表现出的动作有关,因此用“站立”来表示人体各种静止不动的状态(如坐、卧),在这种前提下,本发明实现人体动作检测的方法即:将“站立”这一动作与其他动作视为两种类别,利用二分类的方法检测人体动作存在的情况(如图2所示)。
(2)构建微多普勒时频图像数据集
利用接收到的雷达信号,运用对消的方法对其进行背景杂波抑制。采用的是1024点的短时傅里叶变换,基本思想是将信号加时间窗,并对窗内信号做傅立叶变换,得到信号的时变频谱。短时傅里叶变换的公式可以写作:
Figure BDA0001686637120000031
式中,w(t)是窗函数,x(t)是采集到的人体回波信号。
本发明采用的滑动窗口长度为0.1秒,窗口滑动步长为0.01秒。每个动作序列均可以得到超过900张的时频图像,将获得的图像调整大小至120*120,每个动作选取500张图像并将这些数据按照4:1的比例随机抽取分为训练集(400张)和测试集(100张)。
(3)构建生成式对抗网络
本发明采用的生成式对抗网络结构是基于现有的深度卷积生成式对抗网络。生成式对抗网络的基本思想源自博弈论的二人零和博弈,由一个生成器和一个判别器构成,通过对抗学习的方式来训练。生成器的输入为随机变量z,通过生成模型之后变为G(z);判别器的输入为生成器生成数据G(z)(标注为0)或真实训练数据(标注为1)。判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器生成数据,而生成器的目的是尽量去学习真实的数据分布即使得D(G(z))=D(z)。两个部分相互对抗并迭代优化,各自提高自己的生成能力和判别能力,这个学习优化过程就是寻找二者之间的一个纳什均衡。生成式对抗网络的目标函数可以表示如下:
Figure BDA0001686637120000032
式中,G表示生成器,D表示判别器,x表示输入样本,z表示输入的随机变量。原始DCGAN中判别器的输出是一个样本来自于训练数据(而非生成数据)的概率,如果样本来自于真实的训练数据,D输出大概率,反之D输出小概率。由于概率并不能直接用于作为人体运动检测的结果,因此本发明加入了卷积神经网络中常用的“softmax”函数来使判别器直接输出二分类的结果:是正样本则输出“1”,否则输出“0”。
本发明结合了稠密卷积网络的优点,将基于深度卷积生成式对抗网络(DeepConvolutional GenerativeAdversarial Nerworks,DCGAN)DCGAN中的卷积部分替换为稠密连接块结构,其结构如图3所示:每一个稠密连接块均包含一个卷积核尺寸为1*1的卷积层和一个卷积核尺寸为3*3的卷积层,每个卷积层后面连接一个批梯度正则化层(BatchNormalization,BN)和一个修正线性单元(RectifiedLinear Units,ReLU)。这种网络结构的每一层均以前馈的形式与其他任一层连接;任意一层的输入都是其前面所有层的特征图,而该层本身的特征图是其随后所有层的输入,如此可以减轻梯度消失的问题并减少网络中参数的数量,使得训练更加稳定。在生成器中,两个相邻稠密连接块由一个卷积层和一个反卷积层连接;在判别器中,两个相邻稠密连接块由一个卷积层和一个均值池化层连接。
生成器和判别器的网络结构如图4、图5所示,各层具体参数如表1所示。
表1 生成式对抗网络各层具体参数
Figure BDA0001686637120000033
Figure BDA0001686637120000041
(4)训练生成式对抗网络
本发明采用适应性矩估计(AdaptiveMomentEstimation,Adam)优化方法来更新网络中各层权重。Adam方法是通过计算梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,其公式如下:
mt=μ*mt-1+(1-μ)*gt
Figure BDA0001686637120000042
Figure BDA0001686637120000043
Figure BDA0001686637120000044
Figure BDA0001686637120000045
式中,mt,nt分别是对梯度的一阶矩估计和二阶矩估计;
Figure BDA0001686637120000046
是对mt,nt的校正。
梯度惩罚策略是为了防止训练过程中,判别器梯度下降过快而导致的回传梯度消失问题,判别器梯度消失会导致生成器无法优化,网络无法收敛。由此本发明的目标函数为:
Figure BDA0001686637120000047
其中λ=10,α是在
Figure BDA0001686637120000048
到1之间的随机变量,
Figure BDA0001686637120000049
为梯度惩罚项且
Figure BDA00016866371200000410
本发明在PyTorch深度学习框架上实施,采用Intel I7-7700k处理器和GTX1080Ti显卡运行。输入生成式对抗网络时,图片的大小被调整为32*32,迭代过程中每次输入网络的图片个数为256,学习率设定为10-4,动向量值为0.9。
(5)验证模型效果
本发明采用的衡量模型效果的指标为常用的F-measure,其取值范围在0到1之间,值越大表示模型分类性能越好。F-measure定义如下:
Figure BDA0001686637120000051
其中,
Figure BDA0001686637120000052
Figure BDA0001686637120000053
TP、TN、FP、FN定义如图6所示。
实验结果表明(如表2所示),采用本发明方法进行人体运动检测时,所得到的F-measure值高于现有主流二分类算法,证明了本发明的有效性。
表2 验证结果
Figure BDA0001686637120000054
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (1)

1.一种基于生成式对抗网络与微多普勒时频图像的人体运动检测方法包括以下步骤:
步骤一:采集人体运动数据信号:利用超带宽雷达模块,人体在运动时,雷达的发射天线发射电磁波,经人体运动调制后的反射波被接收天线所接收,接收的电磁波即为人体运动数据信号;
步骤二:构建微多普勒时频图像数据集:对人体运动数据信号,运用对消的方法进行背景杂波抑制,使用短时傅里叶变换进行时频变换获得微多普勒时频图像;将获得的图像数据按照4:1的比例分为训练集和测试集;
步骤三:构建生成式对抗网络:采用的生成式对抗网络结构是基于现有的深度卷积生成式对抗网络DCGAN,将DCGAN中的卷积部分换为稠密连接块结构dense block,并改进DCGAN中判别器的输出部分使之能直接输出二分类结果;将基于深度卷积生成式对抗网络DCGAN中的卷积部分替换为稠密连接块结构方法如下:每一个稠密连接块均包含一个卷积核尺寸为1*1的卷积层和一个卷积核尺寸为3*3的卷积层,每个卷积层后面连接一个批梯度正则化层BN和一个修正线性单元ReLU;此网络结构的每一层均以前馈的形式与其他任一层连接;任意一层的输入都是其前面所有层的特征图,每一层本身的特征图是其随后所有层的输入;在生成器中,两个相邻稠密连接块由一个卷积层和一个反卷积层连接;在判别器中,两个相邻稠密连接块由一个卷积层和一个均值池化层连接;
步骤四:训练生成式对抗网络:将步骤二生成的微多普勒时频图像训练数据集输入步骤三中构建好的网络中,再通过适应性矩估计Adam一阶优化算法来进行网络参数的优化,采用梯度惩罚的方法防止训练过程中判别器与生成器收敛速度差距过大的问题。
CN201810573716.9A 2018-06-06 2018-06-06 一种基于生成式对抗网络的人体运动检测方法 Active CN108898066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810573716.9A CN108898066B (zh) 2018-06-06 2018-06-06 一种基于生成式对抗网络的人体运动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810573716.9A CN108898066B (zh) 2018-06-06 2018-06-06 一种基于生成式对抗网络的人体运动检测方法

Publications (2)

Publication Number Publication Date
CN108898066A CN108898066A (zh) 2018-11-27
CN108898066B true CN108898066B (zh) 2022-01-04

Family

ID=64343943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810573716.9A Active CN108898066B (zh) 2018-06-06 2018-06-06 一种基于生成式对抗网络的人体运动检测方法

Country Status (1)

Country Link
CN (1) CN108898066B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902729B (zh) * 2019-02-18 2020-10-16 清华大学 基于序列状态演进的行为预测方法及装置
CN110007341B (zh) * 2019-02-28 2020-10-20 长江大学 一种基于IfnoGAN和SSD模型的微地震有效信号的识别方法及系统
CN109949305B (zh) * 2019-03-29 2021-09-28 北京百度网讯科技有限公司 产品表面缺陷检测方法、装置及计算机设备
CN111796272B (zh) * 2020-06-08 2022-09-16 桂林电子科技大学 穿墙雷达人体图像序列的姿态实时识别方法及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN107884768A (zh) * 2017-10-12 2018-04-06 上海无线电设备研究所 基于大数据分析技术的复杂环境自适应主动雷达系统
CN108022213A (zh) * 2017-11-29 2018-05-11 天津大学 基于生成对抗网络的视频超分辨率重建算法
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2845962A1 (en) * 2013-03-20 2014-09-20 Cgg Services Sa A system and method for modelling three dimensional shallow water multiples using predictive sea floor reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN107884768A (zh) * 2017-10-12 2018-04-06 上海无线电设备研究所 基于大数据分析技术的复杂环境自适应主动雷达系统
CN108022213A (zh) * 2017-11-29 2018-05-11 天津大学 基于生成对抗网络的视频超分辨率重建算法
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Human Detection and Activity Classification Based on Micro-Doppler Signatures Using Deep Convolutional Neural Networks;Youngwook Kim etc.;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20160131;第13卷(第1期);全文 *
使用微多普勒信息识别伪装人体目标动作的新方法;陈亦望等;《解放军理工大学学报(自然科学版)》;20121031;第13卷(第5期);全文 *
基于Hough变换的卷积神经网络下微多普勒特征目标分类;邱思杰等;《三明学院学报》;20180430;第35卷(第2期);全文 *

Also Published As

Publication number Publication date
CN108898066A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108226892B (zh) 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法
CN108898066B (zh) 一种基于生成式对抗网络的人体运动检测方法
CN108520199B (zh) 基于雷达图像与生成对抗模型的人体动作开集识别方法
Yang et al. Dense people counting using IR-UWB radar with a hybrid feature extraction method
Pegoraro et al. Multiperson continuous tracking and identification from mm-wave micro-Doppler signatures
Kim et al. Human activity classification based on micro-Doppler signatures using a support vector machine
Fioranelli et al. Multistatic human micro‐Doppler classification of armed/unarmed personnel
Bryan et al. Application of ultra-wide band radar for classification of human activities
Kim et al. Human activity classification based on micro-Doppler signatures using an artificial neural network
Erol et al. Fall motion detection using combined range and Doppler features
Qiao et al. Human activity classification based on moving orientation determining using multistatic micro-Doppler radar signals
KR102275960B1 (ko) 딥러닝 기반의 레이다 표적 탐지 시스템 및 그 방법
Kılıç et al. Through‐Wall Radar Classification of Human Posture Using Convolutional Neural Networks
CN113341392B (zh) 一种基于多站雷达微多普勒运动测向的人体行为分类方法
EP2100153B1 (en) Intelligent biometric radar system
Li et al. Scale-adaptive human target tracking for through-wall imaging radar
Blumrosen et al. Noncontact wideband sonar for human activity detection and classification
Mokhtari et al. Non-wearable UWB sensor to detect falls in smart home environment
Janakaraj et al. STAR: Simultaneous tracking and recognition through millimeter waves and deep learning
Chen et al. A three-stage low-complexity human fall detection method using IR-UWB radar
Bouzabia et al. Deep learning-enabled deceptive jammer detection for low probability of intercept communications
Alkasimi et al. Geolocation tracking for human identification and activity recognition using radar deep transfer learning
Liu et al. An intelligent signal processing method for motional vital signs detection system based on deep learning
Noga Bayesian state-space modelling of spatio-temporal non-Gaussian radar returns
Zhang et al. Feature extraction and classification of human motions with LFMCW radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant