CN110569895A - 一种卷积神经网络的微多普勒雷达人体动作分类方法 - Google Patents

一种卷积神经网络的微多普勒雷达人体动作分类方法 Download PDF

Info

Publication number
CN110569895A
CN110569895A CN201910814336.4A CN201910814336A CN110569895A CN 110569895 A CN110569895 A CN 110569895A CN 201910814336 A CN201910814336 A CN 201910814336A CN 110569895 A CN110569895 A CN 110569895A
Authority
CN
China
Prior art keywords
layer
neural network
convolution
convolutional
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910814336.4A
Other languages
English (en)
Other versions
CN110569895B (zh
Inventor
叶文彬
陈海权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910814336.4A priority Critical patent/CN110569895B/zh
Publication of CN110569895A publication Critical patent/CN110569895A/zh
Application granted granted Critical
Publication of CN110569895B publication Critical patent/CN110569895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种卷积神经网络的微多普勒雷达人体动作分类方法，包括原始数据处理过程和深度卷积神经网络，原始数据处理过程的输出连接到深度卷积神经网络；原始数据处理过程为一维卷积过程，一维卷积过程包括代表实部的第一1D卷积层、代表虚部的第二1D卷积层、第一合并层、第二合并层、总合并层、映射层和激活层，第一1D卷积层之后的第一合并层用于计算实部的平方，第二1D卷积层之后的第二合并层用于计算虚部的平方；总合并层对实部的平方值与虚部的平方值求和，映射层用于计算归一化的平方根值，激活层具有的反正切函数进行非线性变换。本发明的网络的输入是原始雷达信号，输出为动作类别，充分发挥了神经网络中端到端的学习优势。

Description

一种卷积神经网络的微多普勒雷达人体动作分类方法
[技术领域]
本发明涉及人体动作识别技术，尤其涉及一种卷积神经网络的微多普勒雷达人体动作分类方法。
[背景技术]
人体活动分类可用于许多领域，如睡眠监测，老年人护理和反恐监测。对人类日常活动进行分类的传统方法是基于光学相机的。然而，摄像机监控系统受到两个限制：一个是在黑暗环境中的精度相对较低，另一个是它不能用于捕获墙壁或窗帘的障碍物后面的人类活动。为克服这些局限性，许多研究提出用微多普勒雷达取代相机。
用于对雷达信号进行分类的传统算法需要从原始信号中提取特征，然后将提取的特征输入到一个或多个分类器。这些基于手动特征提取的算法主要包括主成分分析(PCA)和线性判别分析。这些特征提取方法无法实现高准确率，因为它们忽略了雷达信号的时间信息。后来，通过短时傅立叶变换(STFT)对原始雷达信号进行预处理，以获得表示信号的时频域信息的频谱图。因此，雷达信号分类可以变为图像(频谱图)分类问题。首先手动提取图像特征，然后将其输入不同的分类器，例如k-最近邻(KNN)分类器和支持向量机。这些分类方法属于机器学习方法的类别，其需要对光谱图像进行预处理以获得特征。随着深度学习的发展，人们开始使用深度卷积神经网络(DCNN)来提取人体动作的频谱图特征。然后在神经网络的最后接全连接层用于分类。
采用STFT的传统网络架构如图1所示，在用于人体动作识别的STFTNet(基于STFT的网络)中，先对雷达信号的原始数据进行STFT处理，然后连接到深度神经网络。原始数据经过STFT处理的频谱图被用作DCNN(深度卷积神经网络)[1]的输入。频谱图是信号表示方式中的一种，因此该方法不是真正意义上的端到端深度学习。所以，这些深度卷积神经网络方法不是端到端的神经网络，因为它们的输入仍然是雷达信号的频谱图(不是原始雷达数据)，无法充分发挥神经网络中端到端的学习优势。
[发明内容]
本发明要解决的技术问题是提供一种能够发挥神经网络中端到端学习优势的卷积神经网络的微多普勒雷达人体动作分类方法。
为了解决上述技术问题，本发明采用的技术方案是，一种卷积神经网络的微多普勒雷达人体动作分类方法，包括原始数据处理过程和深度卷积神经网络，原始数据处理过程的输出连接到深度卷积神经网络；所述的原始数据处理过程为一维卷积过程，一维卷积过程包括两个1D卷积层、第一合并层、第二合并层、总合并层、映射层和激活层，两个1D卷积层包括代表实部的第一1D卷积层、代表虚部的第二1D卷积层；第一1D卷积层之后的第一合并层用于计算实部的平方，第二1D卷积层之后的第二合并层用于计算虚部的平方；总合并层对实部的平方值与虚部的平方值求和，在总合并层之后，映射层用于计算归一化的平方根值，激活层具有的反正切函数进行非线性变换。
以上所述的微多普勒雷达人体动作分类方法，深度卷积神经网络包括三个2D卷积层和两个池化层；顶层为全连接层，用于使用随机失活机制以防止过度拟合。
以上所述的微多普勒雷达人体动作分类方法，两个1D卷积层的大小对应于STFT中权重矩阵的大小。
以上所述的微多普勒雷达人体动作分类方法，1D卷积层卷积核的大小为为51，步长为39。1D卷积层核的数量为150；深度卷积神经网络的三个2D卷积层，分别包括8、16和32个卷积核，卷积核大小都是3×3；两个池化层为最大值池化层，大小分别为3×3和2×3。
以上所述的微多普勒雷达人体动作分类方法，使用Adam优化器进行优化；在训练过程中采用早停法机制，如果网络的准确率在50个时期内没有提升，则停止训练。
本发明的网络的输入是原始雷达信号，输出为动作类别，充分发挥了神经网络中端到端的学习优势。
[附图说明]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是现有技术STFT的传统网络的架构图。
图2是本发明实施例卷积神经网络的微多普勒雷达人体动作分类方法的流程示意图。
图3是现有技术短时傅立叶变换原理图。
图4是本发明实施例被截成为M段的原始信号的1D卷积过程示意图。
图5是本发明实施例RadarNet中原始数据的一维卷积过程示意图。
图6是本发明实施例通过1D卷积获得类似于频谱图的示意图。
图7是本发明实施例卷积神经网络的网络结构示意图。
图8是本发明实施例数据采集场景示意图。
图9是本发明实施例1三种人类睡眠活动的原始数据的波形图。
在图9中，(a)翻身、(b)手部动作、(c)头部动作。
图10是用两个模型对人类睡眠活动分类的表现进行对比的混淆矩阵图。
(a)使用STFT的DCNN的混淆矩阵，(b)RadarNet的混淆矩阵。
图11是本发明实施例2人体日常动作测量的示意图。
在图11中，(a)跑步、(b)走路、(c)举枪走路、(d)爬行、(e)走路拳击、(f)站立拳击、(g)静坐。
图12本发明实施例2七类人体日常动作的原始数据的波形图。
在图12中，(a)跑步、(b)走路、(c)举枪走路、(d)爬行、(e)走路拳击、(f)站立拳击、(g)静坐。
图13是用对人类日常活动分类的表现进行对比的混淆矩阵图。
(a)使用STFT的DCNN的混淆矩阵，(b)RadarNet的混淆矩阵。
图14是通过STFT获得的频谱图(左)和通过本发明方法对三种人体睡眠动作分类的获得的特征图(右)的对比图。
在图14中，(a)翻身、(b)手部动作、(c)头部动作。
图15是通过STFT获得的频谱图(左)和通过本发明方法对七类人体日常动作分类的获得的特征图(右)的对比图。
在图15中，(a)跑步、(b)走路、(c)举枪走路、(d)爬行、(e)走路拳击、(f)站立拳击、(g)静坐。
图16是本发明实施例RadarNet在不同时间窗口的人体活动数据中的准确率的曲线图。
图17是本发明实施例在一维卷积层中使用不同数量滤波器的RadarNet的准确率的曲线图。
[具体实施方式]
1、短时傅里叶变换(STFT)原理分析：
STFT(short-time Fourier transform)是在时域中将原始信号切分成多个短时信号的方法，每段表示为时间ti的信号。然后，通过傅立叶变换分别处理每段信号以获得复数矩阵。矩阵的每个元素记录相应时间点对应频率的幅度和相位。当原始信号(xraw)被分成长度为L的M段时，数学公式表示为
其中xraw是需要转换的原始信号，wn是窗口函数(通常是矩形窗或汉宁窗)，t是时间坐标，并且ω是频率坐标。如果采样频率是ω＝2πk/N，矩形窗用于原始信号。对于t＝1，2，，...，M，n＝0，1，，...，L-1，和k＝0，1，2，...，N-1，公式如下：
其中
和
从公式(2)可以得出结论，STFT可以表示为M段原始信号乘以两个固定系数矩阵(WR和WI)。
频谱图是信号的功率谱密度(Px)，可以计算为
其中Xreal和Ximag分别是XMN的实部和虚部。另外，nfft是原始信号的每段的长度。STFT过程如图3所示。
2.本发明的网络结构：
因为STFT是一种常用信号表示的方法，它不能充分考虑微多普勒雷达的固有特征，所以STFT不是多普勒雷达信号表示的最佳方法。为了克服这个限制，在本发明中将多普勒雷达信号表示过程结合到神经网络中。在本发明的神经网络中，原始STFT步骤由一维卷积过程代替，一维卷积过程包括代表实部和虚部的两个1D(一维)卷积层。两个一维卷积层的大小对应于STFT中权重矩阵(WR和WI)的大小。
为了说明一维卷积过程和STFT之间的对应关系，将原始的多普勒雷达信号分成多段短时信号，将表示为P的重叠步长设置为与STFT相对应。对每段执行卷积。然后将它们拼接在一起以获得与STFT频谱图相同的特征图。该过程如图3所示。
每个原始数据段具有长度L，包括重叠区域。使用两组N个1×L的一维获得2个M×N的特征矩阵(代表WR和WI)。这些矩阵的大小与通过执行宽度为L的窗函数的N点的短时傅里叶变换获得的频谱图的大小相同。但是，在本发明的RadarNet(雷达神经网络)中，将数据分成每段长度为L的M段这个过程通过一维卷积可以很好地实现。具体细节如图4所示。
原始数据通过两组大小为L的N个一维卷积核，其中步幅大小等于L-P。这样得到两个的M×N特征图。说明了利用神经网络取代短时傅里叶变换的可行性。
如在前面所讨论的，频谱图是雷达信号的功率谱密度，是先通过执行STFT得到复数矩阵，然后通过公式(3)计算来获得的。在本发明的RadarNet中，通过两个一维卷积层获得两个特征图，这些特征图对应于通过STFT获得的复数的实部和虚部，如图5所示。
在两个一维卷积层之后的两个合并层分别用于计算实部和虚部的平方。在这两个层之后，使用另一个合并层来对实部和虚部的平方值求和。在该合并层之后，使用映射层来计算归一化的平方根值。这三个合并层和一个映射层用于计算“复数”(两个特征图)的模。最后，使用具有反正切函数(arctan)的激活层来替换公式(3)中的对数函数。
公式(3)中的对数函数的作用可以理解为非线性变换的过程。因此在本发明的RadarNet中使用激活函数。通过将上述层组合在一起，使用STFT计算的频谱图可以由神经网络代替。不像现有方法那样手动将雷达信号转换到时频域，本发明的网络可以通过训练数据来学习这种转换。由于STFT是一般变换方法并且不是针对雷达信号而定制的，因此不能保证这种变换的最优性。在本发明的方法中，转换规则由数据中学习。通常，如果给出足够的数据，则基于学习的变换优于基于固定规则的变换，例如STFT。
本发明的RadarNet的总体架构如图7所示。
本发明的RadarNet使用一维卷积替换STFT，使得信号表示过程可训练。
两个一维卷积层的核的权重值分别初始化为公式(2)中的WR和WI的实部和虚部的值。此外，使用Glorot均匀分布初始化方法初始化其他层，这有助于减少梯度消失问题。
本发明RadarNet激活层后的结构与图1所示的传统DCNN的结构相同。该体系结构具有三个卷积层和两个池化层。顶层是一个全连接层，用于使用随机失活(dropout)机制以防止过度拟合。
本发明的具体实施例如下：
使用Infineon的Sense2GoL多普勒雷达获取用于人体睡眠动作和人体日常动作的微多普勒信号。Sense2GoL中使用的雷达芯片是BGT24LTR11，它是用于信号发射和接收的硅锗MMIC(单芯片微波集成电路)，工作频率从24.05GHz到24.25GHz。Sense2GoL多普勒雷达的最大功率为10mW，它结合了一个接收和一个发射端。RadarNet使用具有32G内存和NVIDIAGTX1080Ti显卡的服务器进行训练。
收集两个实验的雷达数据，采样频率为2kHz，持续3秒。STFT时间窗口的大小设置为25.5ms，重叠时间步长设置为6ms。相应地，在RadarNet中将一维卷积核L的大小设置为51，并且步长大小为39。一维卷积层的核的数量设置为150，其对应于150个点的STFT。整个RadarNet架构如图7所示。它具有三个2D卷积层，分别8,16和32个卷积核，卷积核大小都为3×3。对于两个池化层为最大值池化层，大小分别为3×3和2×3。使用Adam优化器对网络进行优化。为了避免浪费资源，在训练过程中采用早停法(early stop)机制，如果网络的准确率在50个时期内没有提升，则停止训练。
实施例1人体睡眠动作分类：
多普勒雷达用于收集三种人体睡眠活动的数据：(a)翻身，(b)手部动作和(c)头部动作。该数据集来源于四个人。数据采集场景如图8所示。雷达放置在床的一侧，与床的距离约20厘米，与床的水平高度相同。为了获得更灵敏的信号，雷达探测范围大致位于胸部。每个动作的收集时间为3秒。动作数据分布如表1所示。三种人体睡眠动作的原始信号波形如图9所示。
表1 人体睡眠动作类别及组数
在本实验中，使用5折交叉验证将STFTNet与所述的RadarNet进行比较。RadarNet的总训练持续时间为5,814秒，STFTNet的培训持续时间为4,237秒。每折的测试结果显示在表2中。RadarNet方法的平均准确率达到96.35％，比传统的STFTNet高出1.96％。为了验证所提方法的有效性，将与STFTNet和RadarNet中的传统DCNN[1]相同的部分改为InceptionResNetV2[2]，这比[1]更复杂，命名为InceptionResNetV2-STFTNet(I-STFTNet))和InceptionResNetV2-RadarNet(I-RadarNet)分别。I-RadarNet的总训练时间为59,448秒，I-STFTNet的训练时间为50,797秒。这两种模型的结果如表2所示。对于人体睡眠动作分类，I-RadarNet的准确度比I-STFTNet高2％以上。此外，RadarNet和I-RadarNet的每折的准确率优于STFTNet和I-STFTNet。这证明了使用可训练的一维卷积而不是固定STFT的有效性。另外，在该实验中还比较了基于信号的方法[3]，名称为PCA-KNN。PCA用于减少PCA-KNN中数据的维数，然后使用KNN进行分类。这是传统的分类方法，它依赖于手动提取特征。分类准确率仅为85.09％，远低于RadarNet和I-RadarNet。这表明本发明的方法的性能优于基于信号的方法。
表2 5折交叉验证结果
第1折 第2折 第3折 第4折 第5折 平均
STFTNet 94.62％ 95.15％ 93.07％ 94.55％ 94.58％ 94.39％
RadarNet 96.25％ 96.82％ 96.70％ 96.10％ 95.87％ 96.35％
I-STFTNet 96.74％ 95.34％ 93.45％ 94.05％ 95.19％ 94.95％
I-RadarNet 97.65％ 97.08％ 96.67％ 96.97％ 96.52％ 96.98％
PCA-KNN 85.00％ 85.80％ 84.92％ 84.55％ 85.19％ 85.09％
通过评估STFTNet和RadarNet在第1折中最佳模型的分类结果，包括精度，召回率和F1值。结果如表3所示。使用RadarNet的结构，手部动作的评估得到了显着改善。更具体地，如图10所示，通过现有方法将手部动作错误地分类为头部动作和翻身，但是当使用RadarNet时，大多数这些误分类被校正。其他行动分类的准确性仍保持原来的水平。该结果证明了本发明RadarNet的有效性。
表3 第1折测试集的结果评估
STFTNet/RadarNet Precision Recall F1-score Support
(a) 0.96/0.97 0.94/0.96 0.95/0.96 881
(b) 0.93/0.94 0.92/0.96 0.92/0.95 877
(c) 0.95/0.98 0.98/0.98 0.97/0.98 882
Avg/Total 0.95/0.96 0.95/0.96 0.95/0.96 2640
实施例2人体日常动作分类：
为了验证本发明RadarNet的灵活性和稳健性，可以进行了另一项更复杂的实验，对人体日常动作进行了分类。多普勒雷达用于收集七种人类日常活动的数据：(a)跑步、(b)走路、(c)举枪走路、(d)爬行、(e)走路拳击、(f)站立拳击、(g)静坐。这些作用类型与Kim等人的研究中使用的相同[1]。该数据集收集了4个人的数据。这七个动作的姿势如图11所示。雷达放置在离地面1.2米的高度。动作(a)，(b)，(c)，(d)和(e)的收集由实验者从距雷达5米的距离向前移动到雷达收集。其余两项活动是在离雷达0.5米处收集的。(a)，(b)，(c)，(d)和(e)的每个活动的收集时间是6秒。对于动作(a)，在6秒内仅选择3秒有效动作。对于动作(b)，(c)，(d)和(e)，将6秒数据分成两组，每组3秒。其余两项活动的收集时间为3秒。所有运动采集都是面向雷达的。动作分布如表4所示。七个人日常动作的原始数据波形如图12所示。
表4 人体日常动作类别及组数
在本实施例中仍然使用5折交叉验证法对RadarNet和STFTNet进行比较。RadarNet的总训练时间为6,838秒，STFTNet的训练时间为5,150秒。每折的人体日常动作分类的测试结果显示在表5中。RadarNet的结果明显优于STFTNet的结果，因为RadarNet在每折的准确率明显更高。最后，RadarNet的准确率(平均96.31％)比STFTNet高3.26％。更重要的是，I-RadarNet的训练时间为46,968秒，I-STFTNet的训练时间为98,930秒。这两个网络的结果如表5所示。I-RadarNet的准确率比I-STFTNet高0.6％。此外，RadarNet和I-RadarNet用于人体日常动作分类的每折的准确率优于STFTNet和I-STFTNet。这再次证实了可训练的一维卷积用于信号表示的有效性。对于基于信号的方法PCA-KNN，其准确度仅为84.79％。这证明了本发明的方法在基于信号的模型中表现更好。
表5 5折交叉验证结果
第1折 第2折 第3折 第4折 第5折 平均
STFTNet 92.87％ 91.91％ 94.08％ 93.34％ 93.05％ 93.05％
RadarNet 96.65％ 96.26％ 96.08％ 96.19％ 96.36％ 96.31％
I-STFTNet 98.65％ 98.29％ 98.11％ 97.83％ 97.83％ 98.14％
I-RadarNet 99.07％ 98.79％ 98.54％ 98.93％ 98.36％ 98.74％
PCA-KNN 85.67％ 84.50％ 84.07％ 85.57％ 84.14％ 84.79％
RadarNet和STFTNet在第1折中的最佳模型上使用精度，召回率和F1值进行评估。结果如表6所示。通过使用RadarNet，可以明显改善(b)走路，(c)举枪走路，以及(e)走路拳击的结果。更具体地，如图13所示，这三个活动被错误地归类为其他类别，并且在使用RadarNet时大多数都得到了纠正。其他活动分类的表现仍处于原始水平。这证明RadarNet比STFTNet更优越，更稳定。
表6 第1折测试集的结果评估
为了更直观地说明所提方法的作用，可以比较STFT获得的谱图和训练后在RadarNet的两个一维卷积层获得的特征图。如图14和图15所示，可以看出，由所述的一维卷积提取的特征图是稀疏的，因此随后的2D卷积层更容易提取更高级别的特征。这验证了本发明的有效性，即基于学习的转换可以优于现有的规则固定转换(STFT)。
其他因素对本发明RadarNet的影响：
各种大小的时间窗用于雷达数据，而重叠时间保持在6ms，以测试窗口大小在两个实验中对RadarNet的影响。还可以改变一维卷积层中的卷积核数量，并分析了其对分类准确率的影响。
如图16所示，时间窗口的大小对两个实验的结果具有显著影响。巧合的是，当时间窗口大小为25毫秒时，两个实验的准确度达到最大值。当动作被25毫秒的时间窗分割时，区别可能是最明显的。当时间窗口的大小偏离25ms时，分类准确率逐渐降低。
如图17所示，卷积核的数量对两个实验的结果有影响。卷积核的数量从16个开始增加，每次增加16个卷积核，最多增加到352个卷积核。对于人体睡眠动作的分类，当卷积核的数量是48时，准确率达到最大值。随着卷积核的数量从48增加，人体睡眠动作分类的准确率在96.1％附近波动。对于人体日常动作的分类，随着卷积核的数量从16增加，精度逐渐增加，直到卷积核的数量为80，并且准确率最高。随着卷积核的数量的不断增加，精度逐渐降低。这是因为随着卷积核的数量的增加，RadarNet的参数数量增加，并且网络似乎过度拟合，因此精度会相应降低。此外，人体日常动作的七个动作中的一些是相对相似的，因此网络过度拟合将对这些数据的准确性产生更大的影响。相比之下，三种人类睡眠活动之间的差异是显而易见的，因此精确度受过度拟合的影响较小。
在本发明的具体实施方式中，使用两个一维卷积层、三个融合层、一个映射层和一个激活层从原理上来代替STFT过程。雷达信号表示过程被结合到神经网络中，这样就可以通过训练来学习最佳的表示方法，进而实现端到端的神经网络。该方法的优点在于它将特征表示、特征提取和分类过程组合到神经网络中，因此不仅可以像现有的DCNN方法那样学习最优的特征提取，而且还可以学习雷达信号的最佳表示。
本发明的网络的输入是原始雷达信号，输出为动作类别，充分发挥了神经网络中端到端的学习优势。
参考文献：
[1]Y.Kim and T.Moon,"Human detection and activity classificationbased on micro-Doppler signatures using deep convolutional neural networks,"IEEE geoscience and remote sensing letters,vol.13,no.1,pp.8-12,2016.
[2]C.Szegedy,S.Ioffe,V.Vanhoucke,and A.A.Alemi,"Inception-v4,inception-resnet and the impact of residual connections on learning,"in AAAI,2017,vol.4,p.12.
[3]W.Li,B.Xiong,and G.Kuang,"Target classification and recognitionbased on micro-Doppler radar signatures,"in Progress in ElectromagneticsResearch Symposium-Fall(PIERS-FALL),2017,2017,pp.1679-1684:IEEE.

Claims (5)

1.一种卷积神经网络的微多普勒雷达人体动作分类方法，包括原始数据处理过程和深度卷积神经网络，原始数据处理过程的输出连接到深度卷积神经网络，其特征在于，所述的原始数据处理过程为一维卷积过程，一维卷积过程包括两个1D卷积层、第一合并层、第二合并层、总合并层、映射层和激活层，两个1D卷积层包括代表实部的第一1D卷积层、代表虚部的第二1D卷积层；第一1D卷积层之后的第一合并层用于计算实部的平方，第二1D卷积层之后的第二合并层用于计算虚部的平方；总合并层对实部的平方值与虚部的平方值求和，在总合并层之后，映射层用于计算归一化的平方根值，激活层具有的反正切函数进行非线性变换。
2.根据权利要求1所述的微多普勒雷达人体动作分类方法，其特征在于，深度卷积神经网络包括三个2D卷积层和两个池化层；顶层为全连接层，用于使用随机失活机制以防止过度拟合。
3.根据权利要求1所述的微多普勒雷达人体动作分类方法，其特征在于，两个1D卷积层的大小对应于STFT中权重矩阵的大小。
4.根据权利要求2所述的微多普勒雷达人体动作分类方法，其特征在于，1D卷积层卷积核的大小为为51，步长为39，1D卷积层核的数量为150；深度卷积神经网络的三个2D卷积层，分别包括8、16和32个卷积核，卷积核大小都是3×3；两个池化层为最大值池化层，大小分别为3×3和2×3。
5.根据权利要求2所述的微多普勒雷达人体动作分类方法，其特征在于，使用Adam优化器进行优化；在训练过程中采用早停法机制，如果网络的准确率在50个时期内没有提升，则停止训练。
CN201910814336.4A 2019-08-30 2019-08-30 一种卷积神经网络的微多普勒雷达人体动作分类方法 Active CN110569895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910814336.4A CN110569895B (zh) 2019-08-30 2019-08-30 一种卷积神经网络的微多普勒雷达人体动作分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910814336.4A CN110569895B (zh) 2019-08-30 2019-08-30 一种卷积神经网络的微多普勒雷达人体动作分类方法

Publications (2)

Publication Number Publication Date
CN110569895A true CN110569895A (zh) 2019-12-13
CN110569895B CN110569895B (zh) 2023-04-07

Family

ID=68777024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910814336.4A Active CN110569895B (zh) 2019-08-30 2019-08-30 一种卷积神经网络的微多普勒雷达人体动作分类方法

Country Status (1)

Country Link
CN (1) CN110569895B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652040A (zh) * 2020-04-14 2020-09-11 广西万云科技有限公司 一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统
CN113208566A (zh) * 2021-05-17 2021-08-06 深圳大学 一种数据处理方法、装置、电子设备及存储介质
CN117404783A (zh) * 2023-10-18 2024-01-16 广州易而达科技股份有限公司 一种空调的控制方法、装置、空调及存储介质
CN117404783B (zh) * 2023-10-18 2024-05-31 广州易而达科技股份有限公司 一种空调的控制方法、装置、空调及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341142A (en) * 1987-07-24 1994-08-23 Northrop Grumman Corporation Target acquisition and tracking system
CN107728142A (zh) * 2017-09-18 2018-02-23 西安电子科技大学 基于二维卷积网络的雷达高分辨距离像目标识别方法
CN109948532A (zh) * 2019-03-19 2019-06-28 桂林电子科技大学 基于深度卷积神经网络的超宽带雷达人体动作识别方法
US20190220709A1 (en) * 2018-01-18 2019-07-18 Aptiv Technologies Limited Device and a method for image classification using a convolutional neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341142A (en) * 1987-07-24 1994-08-23 Northrop Grumman Corporation Target acquisition and tracking system
CN107728142A (zh) * 2017-09-18 2018-02-23 西安电子科技大学 基于二维卷积网络的雷达高分辨距离像目标识别方法
US20190220709A1 (en) * 2018-01-18 2019-07-18 Aptiv Technologies Limited Device and a method for image classification using a convolutional neural network
CN109948532A (zh) * 2019-03-19 2019-06-28 桂林电子科技大学 基于深度卷积神经网络的超宽带雷达人体动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
殷和义 等: "一维卷积神经网络用于雷达高分辨率距离像识别", 《电讯技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652040A (zh) * 2020-04-14 2020-09-11 广西万云科技有限公司 一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统
CN113208566A (zh) * 2021-05-17 2021-08-06 深圳大学 一种数据处理方法、装置、电子设备及存储介质
CN113208566B (zh) * 2021-05-17 2023-06-23 深圳大学 一种数据处理方法、装置、电子设备及存储介质
CN117404783A (zh) * 2023-10-18 2024-01-16 广州易而达科技股份有限公司 一种空调的控制方法、装置、空调及存储介质
CN117404783B (zh) * 2023-10-18 2024-05-31 广州易而达科技股份有限公司 一种空调的控制方法、装置、空调及存储介质

Also Published As

Publication number Publication date
CN110569895B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
Li et al. Robust capsule network based on maximum correntropy criterion for hyperspectral image classification
KR101812406B1 (ko) 피부질환 진단 방법 및 피부질환 진단 시스템
Santos et al. A fusion approach to unconstrained iris recognition
US20200163590A1 (en) Fall detection method, device, and system
CN104732244B (zh) 基于小波变换、多策略pso和svm集成的遥感图像分类方法
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和系统
CN107103306A (zh) 基于小波分析与支持向量机的冬小麦白粉病遥感监测方法
CN110569895B (zh) 一种卷积神经网络的微多普勒雷达人体动作分类方法
Omara et al. Learning pairwise SVM on deep features for ear recognition
Ye et al. Using an end-to-end convolutional network on radar signal for human activity classification
Deshpande et al. Super resolution and recognition of long range captured multi‐frame iris images
CN112869717B (zh) 一种基于bl-cnn的脉搏特征识别分类系统及方法
Lederman et al. Alternating diffusion for common manifold learning with application to sleep stage assessment
Li et al. Deep neural network for RFID-based activity recognition
Roy et al. A new max-min convolutional network for hyperspectral image classification
Qiao et al. Human activity classification based on micro-Doppler signatures separation
Karayaneva et al. Unsupervised Doppler radar based activity recognition for e-healthcare
CN105631441A (zh) 一种人脸识别方法
Yang et al. Extraction and denoising of human signature on radio frequency spectrums
CN104008389A (zh) 结合Gabor小波和SVM进行物体识别的方法
CN115100733A (zh) Rfid手势识别方法、计算机装置、产品及存储介质
Chitaliya et al. Comparative analysis using fast discrete Curvelet transform via wrapping and discrete Contourlet transform for feature extraction and recognition
Najafi et al. A new approach to MRI brain images classification
Zhang et al. Multi-feature classification of hyperspectral image via probabilistic SVM and guided filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant