CN111178331A - 雷达图像识别系统、方法、设备及计算机可读存储介质 - Google Patents

雷达图像识别系统、方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111178331A
CN111178331A CN202010069755.2A CN202010069755A CN111178331A CN 111178331 A CN111178331 A CN 111178331A CN 202010069755 A CN202010069755 A CN 202010069755A CN 111178331 A CN111178331 A CN 111178331A
Authority
CN
China
Prior art keywords
neural network
radar image
image recognition
layer
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010069755.2A
Other languages
English (en)
Other versions
CN111178331B (zh
Inventor
叶文彬
朱建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010069755.2A priority Critical patent/CN111178331B/zh
Publication of CN111178331A publication Critical patent/CN111178331A/zh
Application granted granted Critical
Publication of CN111178331B publication Critical patent/CN111178331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种雷达图像识别系统、方法、设备及计算机可读存储介质，该雷达图像识别系统包括：数据预处理层和深度神经网络，所述深度神经网络包括一维卷积神经网络、长短期记忆网络和全连接层，所述数据预处理层的输出连接到所述深度神经网络，所述数据预处理层获取微多普勒雷达检测的时域信号，并通过数据预处理将所述时域信号转化为频谱图，所述深度神经网络在所述数据预处理层输出的频谱图中提取多个局部时空特征，并通过所述一维卷积神经网络、所述长短期记忆网络对各所述局部时空特征进行处理，以获取全局时间特征，并通过所述全连接层对所述全局时间特征进行雷达图像识别处理。本发明解决现有技术中人体活动识别精度低的技术问题。

Description

雷达图像识别系统、方法、设备及计算机可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种雷达图像识别系统、方法、设备及计算机可读存储介质。
背景技术
人体活动识别为各种智慧生活场景提供了极具潜力的应用空间，包括个人健康系统，人机交互和反恐监测等。早期人体活动识别的方法主要将光学相机采集到的视频或图像作为输入数据。然而这些方法通常受限于光照条件，且存在个人隐私泄露的风险。近年来，基于传感器的人体活动识别逐渐受到更广泛的关注，这些方法主要依赖诸如陀螺仪，加速度计和雷达等传感器采集数据。在各种监视传感器中，基于雷达的设备具有独特的优势，例如可以穿过障碍物，适应于任何光照条件、全天候工作以及有助于隐私保护。因此，更多的研究聚焦在基于微多普勒雷达的人体活动识别方法。
使用雷达进行活动识别通常依赖由物体的振动或旋转引起的微多普勒效应，这使得雷达回波中通常包含了物体的距离、速度等运动学信息。目前使用最为广泛的是一种二维雷达回波信号：微多普勒签名(也称为时间-多普勒图)。因此，如何从微多普勒签名中提取有用的特征成为人体活动识别研究的关键问题。传统方法采用常规机器学习算法，例如多层感知机、主成分分析、支持向量机和线性判别分析。这些方法先从微多普勒签名中手动提取特征，再将提取到的特征用作分类器的输入。由于启发式的手工特征提取受限于先验知识和分类问题的复杂性，这些传统方法通常只能学习到浅层特征，从而阻碍了模型鲁棒性和通用性的进一步提高。
应用深度学习的人体活动识别方法通常能够克服传统方法的诸多限制。与传统的机器学习方法相比，特征提取和分类过程通常在深度学习模型中同时执行。深度神经网络能够通过分层体系结构自动提取高级的深层特征，不需要依赖人类经验而使模型具有更好的泛化能力。尽管如此，现有的深度学习方法直接将2维雷达回波当作光学图像处理，从而忽略了以下事实：雷达接收的原始信号是复数时间序列，其幅度和相位可能与被观测目标的运动学信息相关。通常，原始数据通过短时傅立叶变换进行预处理以获得频谱图。然后，使用计算机视觉中最新的2维卷积神经网络对时间-普勒图进行分类。尽管频谱图可以被看成光学图像，但每个像素都是时间和频率样本。与光学图像相比，频谱图具有很强的时间相关性。因此，常规的2维方法主要学习雷达回波的空间特征，这使得它们往往识别精度有限、参数量较多。
发明内容
本发明的主要目的在于提供一种雷达图像识别系统、方法、设备及计算机可读存储介质，旨在解决现有技术中人体活动识别精度低的技术问题。
为实现上述目的，本发明实施例提供一种雷达图像识别系统，所述雷达图像识别系统包括数据预处理层和深度神经网络，所述深度神经网络包括一维卷积神经网络、长短期记忆网络和全连接层，所述数据预处理层的输出连接到所述深度神经网络，所述数据预处理层获取微多普勒雷达检测的时域信号，并通过数据预处理将所述时域信号转化为频谱图，所述深度神经网络在所述数据预处理层输出的频谱图中提取多个局部时空特征，并通过所述一维卷积神经网络、所述长短期记忆网络对各所述局部时空特征进行处理，以获取全局时间特征，并通过所述全连接层对所述全局时间特征进行雷达图像识别处理。
可选地，所述深度神经网络包括两个一维卷积层、一个池化层和长短期记忆网络；所述深度神经网络的顶层为全连接层，用于使用随机失活机制。
可选地，所述两个一维卷积层卷积核的大小分别为5和3，步长为1，积层核的数量分别为64和128；所述池化层为最大值池化层；所述长短期记忆网络中隐藏层神经元个数为128。
可选地，所述深度神经网络使用预设优化器进行优化，并在所述深度神经网络训练过程中采用早停法机制。
可选地，所述数据预处理层的数据预处理过程为短时傅里叶变化。
此外，本发明还提供一种雷达图像识别方法，应用于如上所述的雷达图像识别系统，所述雷达图像识别方法，包括：
获取微多普勒雷达测试的多个时域信号，并基于各所述时域信号建立频谱图；
基于预设的深度神经网络提取所述频谱图中的多个局部时空特征，并基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征；
通过所述深度神经网络中的长短期记忆网络对各所述目标局部时空特征进行特征关联，以获取全局时间特征；
通过所述深度神经网络中的全连接层对所述全局时间特征进行逻辑回归训练，并基于所述逻辑回归训练结果确定所述频谱图对应的动作分类。
可选地，所述基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征的步骤，包括：
检测各所述局部时空特征是否满足进行非线性变换的条件；
若是，则根据所述深度神经网络中的线性整流函数激活层和所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行非线性变换，并根据所述非线性变换结果进行特征提取。
可选地，所述基于所述逻辑回归训练结果确定所述频谱图对应的动作分类的步骤，包括：
基于所述逻辑回归训练结果获取所有特征向量，并在各所述特征向量中获取最大特征向量，在预设的映照表中确定所述最大特征向量对应的目标动作分类，并将所述目标动作分类作为所述频谱图对应的动作分类。
此外，为实现上述目的，本发明还提供一种雷达图像识别设备；
所述雷达图像识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：
所述计算机程序被所述处理器执行时实现如上所述的雷达图像识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质；
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的雷达图像识别方法的步骤。
本发明通过获取微多普勒雷达测试的多个时域信号，并基于各所述时域信号建立频谱图；基于预设的深度神经网络提取所述频谱图中的多个局部时空特征，并基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征；通过所述深度神经网络中的长短期记忆网络对各所述目标局部时空特征进行特征关联，以获取全局时间特征；通过所述深度神经网络中的全连接层对所述全局时间特征进行逻辑回归训练，并基于所述逻辑回归训练结果确定所述频谱图对应的动作分类。通过根据深度神经网络提取频谱图中的多个局部时空特征，并根据一维卷积神经网络对各个局部时空特征进行特征提取，再通过长短期记忆网络进行特征关联，并根据全连接层进行逻辑回归训练，以确定频谱图对应的动作分类，从而相对于现有技术中采用二维卷积神经网络，提高了对人体活动识别的精度，且参数量相对于现有技术也明显有所减少。
附图说明
图1为本发明雷达图像识别方法深度神经网络的网络结构示意图；
图2为本发明雷达图像识别方法长短期记忆网络示意图；
图3为本发明雷达图像识别方法另一实施例的流程示意图；
图4为本发明雷达图像识别方法数据采集场景示意图；
图5为本发明雷达图像识别方法实施例中七个动作的频谱图，其中，(a)跑步、(b)走路、(c)举枪走路、(d)爬行、(e)走路拳击、(f)站立拳击、(g)静坐；
图6为本发明雷达图像识别方法第一折的混淆矩阵；
图7是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种雷达图像识别系统，在雷达图像识别系统一实施例中，所述雷达图像识别系统包括数据预处理层和深度神经网络，所述深度神经网络包括一维卷积神经网络、长短期记忆网络和全连接层，所述数据预处理层的输出连接到所述深度神经网络，所述数据预处理层获取微多普勒雷达检测的时域信号，并通过数据预处理将所述时域信号转化为频谱图，所述深度神经网络在所述数据预处理层输出的频谱图中提取多个局部时空特征，并通过所述一维卷积神经网络、所述长短期记忆网络对各所述局部时空特征进行处理，以获取全局时间特征，并通过所述全连接层对所述全局时间特征进行雷达图像识别处理。
进一步地，深度神经网络包括两个一维卷积层、一个池化层和长短期记忆网络；深度神经网络的顶层为全连接层，用于使用随机失活机制以防止过度拟合。
进一步地，两个一维卷积层卷积核的大小分别为5和3，步长为1，积层核的数量分别为64和128；所述池化层为最大值池化层，大小为2；所述长短期记忆网络中隐藏层神经元个数为128。
进一步地，深度神经网络使用预设优化器(如Adam(自适应矩估计)优化器)进行优化，并在所述深度神经网络训练过程中采用早停法机制，如果网络的准确率在50个时期内没有提升，则停止训练。
进一步地，数据预处理层的数据预处理过程为短时傅里叶变化。
在本实施例中，通过数据预处理层对微多普勒雷达测得的时域信号进行数据预处理，即将时域信号转化成时间-多普勒图，也称为频谱图，并且频谱图中包含了目标的运动学信息。而深度神经网络中的第一1D卷积层(即第一一维卷积层)、第一池化层和第二1D卷积层(即第二一维卷积层)用于自动提取频谱图的局部时空特征，每层卷积层都连接了线性整流函数激活层进行非线性变换，长短期记忆网络用于处理数据的全局时间特征，以及全连接层作为分类器。因此在本实施例中将频谱图当作多通道的一维时间序列，实现了对频谱图的时空特征的联合提取，识别精度高于现有网络，且网络结构简单，参数量少。其中，数据预处理可以为短时傅立叶变换(STFT，short-time Fourier transform)。而短时傅里叶变换的原理分析如下：
原始数据是一系列一维时变信号，通常包含I、Q双通道。在人体活动识别中，大多数研究都利用时频变换来获取合适神经网络的输入。STFT是一种高效的线性时频变换算法，可在每个较短时间段内将随时间变化的信号转换到频域。尽管某些DCNN(DeepConvolutional Neural Network,深度卷积神经网络)方法提出可以放弃STFT来实现端到端网络，但我们认为采用STFT有利于在雷达数据的样本较少的情况下提高模型的表达能力。
早在1946年，Gabor就提出了STFT(也称为Gabor变换)，它在传统的傅立叶变换中增加了高斯窗口。1992年，Mann将STFT应用到雷达信号处理中，从那时起，STFT已在该领域得到了广泛的应用。具体来说，STFT首先通过长度为L且重叠为K的时间窗口将信号x[n]分成M个片段。然后，对每个片段执行N点快速傅立叶变换(FFT，fastFouriertransform)。通过滑动窗口函数获得一系列FFT结果，并将结果进行排列以获得二维的表达形式XM×N，称之为频谱图(即能量谱密度)。
另外在本实施例中，如图1所示，图1展示了本实施例的整体网络架构，包括用于数据预处理的STFT，用于局部特征学习的一维卷积神经网络，用于提取全局时间信息的长短期记忆(LSTM，Long Short-Term Memory)网络以及用于分类的全连接层。首先，对原始数据执行N点STFT，以获得频谱图。接着，将频谱图视为具有多个通道的一维时间序列，并将其送入由CNN(Convolutional Neural Networks，卷积神经网络)和RNN(Recurrent NeuralNetwork，循环神经网络)组成的神经网络。CNN部分有两个1-D卷积层，一个最大池化层用于下采样。经过STFT和1D-CNN处理后的特征图仍然可以视为具有多个通道的一维时间序列，时间特性并没有被破坏。因此，在本实施例中使用LSTM层来提取全局时间信息。最后，将LSTM层连接到softmax(逻辑回归)层以获得预测结果。也就是在图1中，将原始数据进行数据预处理，并进行傅立叶变换，得到频率与时间的频谱图，并在一维卷积神经网络中，经过一维卷积、池化层处理，再到循环神经网络进行长短时记忆网络处理，并在全连接层进行逻辑回归以获得预测结果。
卷积神经网络是最流行的深度学习算法之一，已成功地引入到时间序列处理中，例如人体活动识别。与其他模型相比，卷积神经网络具有本地依赖性的优势。这意味着特征图上的相邻点趋于相关，这与雷达信号一致。由于STFT获得的频谱图可以看成是虚拟的2D图像，因此大多数方法都搭建了具有三个卷积层和两个全连接层的模型。本实施例中使用一维卷积层可以更好地保留和利用频谱图的时间特性，并在LSTM层中对全局时间特性加以利用。此外，一维神经网络具有较低的计算复杂度。如图1(b)所示，所提出的网络包含两个1-D卷积层。两层都使用ReLU(Rectified Linear Unit,线性整流函数)函数作为非线性激活函数。第一卷积层后面是最大池化层，其大小为2。第二卷积层中的滤波器数量是第一卷积层的两倍，以对应由池化层导致的下采样。
循环神经网络，尤其是LSTM，在自然语言处理中起着至关重要的作用。与前馈网络不同，RNN包含反馈回路，并且能够根据时间顺序处理任务。为了解决训练传统RNN时可能发生的梯度消失或爆炸的问题，采用如图2所示的LSTM，该LSTM通常包括一个细胞单元，一个遗忘门，一个输入门，一个输出门，S形，正切函数、逐点乘法、逐点加法和矢量连接。在某些基于雷达的动态识别问题中，LSTM被用于对未分段数据流的动态过程进行建模。
在本实施例中，一维CNN和LSTM相结合的特征提取器和分类器识别准确率优于基于DCNN的特征提取器和分类器。此外，采用LSTM使得较浅层的网络也能提供出色的分类性能，这大大降低了模型复杂度。由于一维卷积神经网络的输出可以看作是按时间维度排列的特征向量，因此在本实施例中将这些与时间相关的特征向量送入LSTM单元，以学习上下文时间信息。
本发明还提供一种雷达图像识别方法，参照图3，图3为本发明基于雷达图像识别方法另一实施例的流程示意图。
在本实施例中，该雷达图像识别方法应用于上述实施例的雷达图像识别系统。
该雷达图像识别方法包括以下步骤：
步骤S10，获取微多普勒雷达测试的多个时域信号，并基于各所述时域信号建立频谱图；
在本实施例中，微多普勒雷达可以是雷达中的微多普勒效应，多普勒效应是由于目标和雷达之间的相对运动使雷达回波信号产生多普勒频移的物理现象。时域是描述数学函数或物理信号对时间的关系。例如一个信号的时域波形可以表达信号随着时间的变化。在本实施例中，需要先获取多普勒雷达测试到的多个时域信号，并通过数据预处理层对各个时域信号进行数据预处理，得到频谱图。其中，频谱图中包含了目标的运动学信息。数据预处理可以是短时傅立叶变换。
步骤S20，基于预设的深度神经网络提取所述频谱图中的多个局部时空特征，并基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征；
局部时空特征可以是频谱图中某一小部分区域具有时间和空间上的特征。目标局部时空特征可以是经过一维卷积神经网络对各个局部时空特征进行特征提取的。当在数据预处理层中得到频谱图后，可以通过预设的深度神经网络中的第一一维卷积层、第一池化层和第二一维卷积层提取频谱图的局部时空特征。并且由于在深度神经网络中每层卷积层都连接了线性整流函数激活层，因此可以通过激活层对各个局部时空特征进行非线性变换，再根据非线性变换结果进行特征提取，以获取多个目标局部时空特征。
步骤S30，通过所述深度神经网络中的长短期记忆网络对各所述目标局部时空特征进行特征关联，以获取全局时间特征；
当通过一维卷积神经网络对各个局部时空特征进行特征提取，得到各个目标局部时空特征后，可以再通过深度神经网络中的长短期记忆网络对各个目标局部时空特征进行特征关联，即将各个时空特征串联起来，以得到全局时间特征。其中，全局时间特征包含所有的目标局部时空特征。
步骤S40，通过所述深度神经网络中的全连接层对所述全局时间特征进行逻辑回归训练，并基于所述逻辑回归训练结果确定所述频谱图对应的动作分类。
当获取到全局时间特征后，可以通过深度神经网络中的全连接层对全局时间特征进行逻辑回归训练，并根据逻辑回归训练结果获取多个特征向量，再在这些特征向量中选取最大的特征向量，并获取预设的映照表，再在该预设的映照表中选取该最大的特征向量对应的人体动作，并将此人体动作作为频谱图对应的动作分类。
另外，为辅助理解本实施例中对人体动作雷达图像进行分类，下面进举例说明。
例如，如图4所示，图4显示了人体活动测量的示意图。原始数据由多普勒雷达采集，该雷达在自由空间中的工作频率为24.05GHz至24.25GHz。雷达的-3dB带宽在垂直方向为20度，在水平方向为42度。测量范围在0.5m至5m之间。测量动作包括七种人类活动：(a)跑步，(b)行走，(c)举着枪走路，(d)爬行，(e)向前移动时打拳，(f)站立时打拳，以及(g)坐着。数据是由7位受试者收集的，其中包括5位男性和2位女性。表1中列出了数据采集的详细信息。每个采集过程持续3秒钟，采样率为2kHz。
动作类别 组数
(a)跑步 2075
(b)走路 2367
(c)举枪走路 2064
(d)爬行 1972
(e)走路拳击 1967
(f)站立拳击 2429
(g)静坐 2049
总数 14923
表1人体日常动作类别及组数
需要说明的是，在本实施例中，每个模型都可以使用基于Tensorflow(端到端的开源机器学习平台)后端的Keras(开源人工神经网络库)在Python(计算机程序设计语言)中进行训练。并使用Adam作为反向传播的优化器,批处理大小为32。学习率设置为0.0001，如果20个纪元的测试精度没有提高，则学习率将降低一半。采用早停机制，如果网络的准确率在50个时期内没有提升，则停止训练。使用5折交叉验证来测试本实施例中的所有模型结构的性能。整个数据集分为五个没有交集的子集。每次，将其中一个子集用作验证集，将其余部分用作训练集。最终结果是五折的平均精度。七个动作的频谱图如图5所示。并且基于图5可以获取到图6所示的第一折的预测混淆矩阵。
而本实施例中，雷达图像识别系统的模型网络的具体结构参数可以如下表2所示。并且在雷达图像识别系统中，由于时间序列为复数，输入数据存在有两个通道。假设每个通道有6000个样本。首先可以对原始数据执行150点STFT。并将时间窗口长度设置为25.5ms，对应于2kHz采样率计算的51个采样。并且为了保留更多原始信息，可以采用6ms的重叠并获得具有153个时间像素和150个频率像素的输出频谱图。然后将频谱图送入两个一维卷积层。第一层具有64个长度为5的滤波器，第二层具有128个长度为3的滤波器。并且在第一层卷积层之后连接大小为2的最大池化层。两个一维卷积层都使用RELU作为激活功能，并将padding(填充)设置为same(一样的)。
Figure BDA0002375624220000101
表2网络的结构参数
需要说明的是，在本实施例中除了采用深度神经网络模型，还可以采用其它模型进行相应操作。如表3所示，表3为不同模型的比较结果。
模型 预测准确率(％) 参数量
MLP 66.15 483
SVM 67.67 -
CNN 95.34 738k
CAE 94.88 1.98M
ResNet-18 94.79 11M
本实施例网络模型 98.28 205k
表3不同模型的比较结果
在本实施例中，通过获取微多普勒雷达测试的多个时域信号，并基于各所述时域信号建立频谱图；基于预设的深度神经网络提取所述频谱图中的多个局部时空特征，并基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征；通过所述深度神经网络中的长短期记忆网络对各所述目标局部时空特征进行特征关联，以获取全局时间特征；通过所述深度神经网络中的全连接层对所述全局时间特征进行逻辑回归训练，并基于所述逻辑回归训练结果确定所述频谱图对应的动作分类。通过根据深度神经网络提取频谱图中的多个局部时空特征，并根据一维卷积神经网络对各个局部时空特征进行特征提取，再通过长短期记忆网络进行特征关联，并根据全连接层进行逻辑回归训练，以确定频谱图对应的动作分类，从而相对于现有技术中采用二维卷积神经网络，提高了对人体活动识别的精度，且参数量相对于现有技术也明显有所减少。
进一步地，基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征的步骤，包括：
步骤a，检测各所述局部时空特征是否满足进行非线性变换的条件；
当在本实施例中获取到多个局部时空特征后，可以根据深度神经网络中的一维卷积神经网络对各个局部时空特征进行特征提取，而当一维卷积神经网络对各个局部时空特征进行特征提取时，还需要判断各个局部时空特征是否满足进行非线性变换的条件。并基于不同的判断结果执行不同的操作。
步骤b，若是，则根据所述深度神经网络中的线性整流函数激活层和所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行非线性变换，并根据所述非线性变换结果进行特征提取。
当经过判断发现各个局部时空特征满足进行非线性变换的条件时，可以根据深度神经网络中的线性整流函数激活层对各个局部时空特征进行激活，并根据深度神经网络中的一维卷积神经网络对各个局部时空特征进行卷积处理，从而完成对各个局部时空特征的非线性变换。再根据非线性变换结果对各个局部时空特征进行调整提取，以获取目标局部时空特征。若各个局部时空特征不满足进行非线性变换的条件时，则可以直接通过一维卷积神经网络对各个局部时空特征进行卷积处理，并进行特征提取。其中，线性整流函数(Rectified Linear Unit,ReLU),又称修正线性单元,是一种人工神经网络中常用的激活函数。
在本实施例中，通过在确定对各个局部时空特征进行非线性变换时，根据线性整流函数激活层和一维卷积神经网络对各个局部时空特征进行非线性变换，再根据非线性变换结果进行特征提取，从而进行雷达图像识别的准确性。
进一步地，基于所述逻辑回归训练结果确定所述频谱图对应的动作分类的步骤，包括：
步骤c，基于所述逻辑回归训练结果获取所有特征向量，并在各所述特征向量中获取最大特征向量，在预设的映照表中确定所述最大特征向量对应的目标动作分类，并将所述目标动作分类作为所述频谱图对应的动作分类。
当通过全连接层对全局时间特征进行逻辑回归训练后，可以根据逻辑回归训练结果获取所有的特征向量，并在各个特征向量中获取最大的最大特征向量，再在预设的映照表中获取最大特征向量对应的目标动作分类，并将此目标动作分类作为频谱图对应的动作分类。
在本实施例中，通过根据逻辑回归训练结果获取所有特征向量，并在各个特征向量中获取最大特征向量，再根据预设的映照表确定频谱图对应的动作分类，从而保障了进行雷达图像识别的准确性。
参照图7，图7是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例雷达图像识别设备可以是PC，也可以是智能手机、平板计算机、便携计算机等终端设备。
如图7所示，该雷达图像识别设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该雷达图像识别设备还可以包括目标用户界面、网络界面、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。目标用户界面可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选目标用户界面还可以包括标准的有线界面、无线界面。网络界面可选的可以包括标准的有线界面、无线界面(如WI-FI界面)。
本领域技术人员可以理解，图7中示出的雷达图像识别设备结构并不构成对雷达图像识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及雷达图像识别程序。操作系统是管理和控制雷达图像识别设备硬件和软件资源的程序，支持雷达图像识别程序以及其他软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与雷达图像识别设备中其他硬件和软件之间通信。
在图7所示的雷达图像识别设备中，处理器1001用于执行存储器1005中存储的雷达图像识别程序，实现上述任一项所述的雷达图像识别方法的步骤。
本发明雷达图像识别设备具体实施方式与上述雷达图像识别方法各实施例基本相同，在此不再赘述。
此外，本发明还提供了一种介质，所述介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述雷达图像识别方法各实施例的步骤。
本发明设备及介质(即介质)的具体实施方式的拓展内容与上述雷达图像识别方法各实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种雷达图像识别系统，其特征在于，所述雷达图像识别系统包括数据预处理层和深度神经网络，所述深度神经网络包括一维卷积神经网络、长短期记忆网络和全连接层，所述数据预处理层的输出连接到所述深度神经网络，所述数据预处理层获取微多普勒雷达检测的时域信号，并通过数据预处理将所述时域信号转化为频谱图，所述深度神经网络在所述数据预处理层输出的频谱图中提取多个局部时空特征，并通过所述一维卷积神经网络、所述长短期记忆网络对各所述局部时空特征进行处理，以获取全局时间特征，并通过所述全连接层对所述全局时间特征进行雷达图像识别处理。
2.如权利要求1所述的雷达图像识别系统，其特征在于，所述深度神经网络包括两个一维卷积层、一个池化层和长短期记忆网络；所述深度神经网络的顶层为全连接层，用于使用随机失活机制。
3.如权利要求2所述的雷达图像识别系统，其特征在于，所述两个一维卷积层卷积核的大小分别为5和3，步长为1，积层核的数量分别为64和128；所述池化层为最大值池化层；所述长短期记忆网络中隐藏层神经元个数为128。
4.如权利要求2所述的雷达图像识别系统，其特征在于，所述深度神经网络使用预设优化器进行优化，并在所述深度神经网络训练过程中采用早停法机制。
5.如权利要求1所述的雷达图像识别系统，其特征在于，所述数据预处理层的数据预处理过程为短时傅里叶变化。
6.一种雷达图像识别方法，其特征在于，应用于如权利要求1所述的雷达图像识别系统，所述雷达图像识别方法，包括：
获取微多普勒雷达测试的多个时域信号，并基于各所述时域信号建立频谱图；
基于预设的深度神经网络提取所述频谱图中的多个局部时空特征，并基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征；
通过所述深度神经网络中的长短期记忆网络对各所述目标局部时空特征进行特征关联，以获取全局时间特征；
通过所述深度神经网络中的全连接层对所述全局时间特征进行逻辑回归训练，并基于所述逻辑回归训练结果确定所述频谱图对应的动作分类。
7.如权利要求6所述的雷达图像识别方法，其特征在于，所述基于所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行特征提取，以获取多个目标局部时空特征的步骤，包括：
检测各所述局部时空特征是否满足进行非线性变换的条件；
若是，则根据所述深度神经网络中的线性整流函数激活层和所述深度神经网络中的一维卷积神经网络对各所述局部时空特征进行非线性变换，并根据所述非线性变换结果进行特征提取。
8.如权利要求6-7任一项所述的雷达图像识别方法，其特征在于，所述基于所述逻辑回归训练结果确定所述频谱图对应的动作分类的步骤，包括：
基于所述逻辑回归训练结果获取所有特征向量，并在各所述特征向量中获取最大特征向量，在预设的映照表中确定所述最大特征向量对应的目标动作分类，并将所述目标动作分类作为所述频谱图对应的动作分类。
9.一种雷达图像识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的雷达图像识别程序，所述雷达图像识别程序被所述处理器执行时实现如权利要求6至8中任一项所述的雷达图像识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有雷达图像识别程序，所述雷达图像识别程序被处理器执行时实现如权利要求6至8中任一项所述的雷达图像识别方法的步骤。
CN202010069755.2A 2020-01-20 2020-01-20 雷达图像识别系统、方法、设备及计算机可读存储介质 Active CN111178331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010069755.2A CN111178331B (zh) 2020-01-20 2020-01-20 雷达图像识别系统、方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010069755.2A CN111178331B (zh) 2020-01-20 2020-01-20 雷达图像识别系统、方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111178331A true CN111178331A (zh) 2020-05-19
CN111178331B CN111178331B (zh) 2024-01-09

Family

ID=70652828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069755.2A Active CN111178331B (zh) 2020-01-20 2020-01-20 雷达图像识别系统、方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111178331B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898483A (zh) * 2020-07-14 2020-11-06 杭州飞步科技有限公司 图像识别的方法、装置、电子设备及存储介质
CN111985155A (zh) * 2020-08-10 2020-11-24 武汉大学 基于集成深度神经网络的电路健康状态预计方法及系统
CN112187413A (zh) * 2020-08-28 2021-01-05 中国人民解放军海军航空大学航空作战勤务学院 基于cnn-lstm的识别sfbc的方法及装置
CN112212861A (zh) * 2020-09-21 2021-01-12 哈尔滨工业大学（深圳） 一种基于单惯性传感器的轨迹还原方法
CN112327286A (zh) * 2020-10-13 2021-02-05 深圳大学 低复杂度下日常活动分类方法、装置、设备及存储介质
CN113985393A (zh) * 2021-10-25 2022-01-28 南京慧尔视智能科技有限公司 一种目标检测方法、装置及系统
CN116580460A (zh) * 2023-07-10 2023-08-11 南京隼眼电子科技有限公司 基于雷达的端到端神经网络人体行为识别方法及其装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220606A (zh) * 2017-05-22 2017-09-29 西安电子科技大学 基于一维卷积神经网络的雷达辐射源信号的识别方法
CN110188653A (zh) * 2019-05-27 2019-08-30 东南大学 基于局部特征聚合编码和长短期记忆网络的行为识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220606A (zh) * 2017-05-22 2017-09-29 西安电子科技大学 基于一维卷积神经网络的雷达辐射源信号的识别方法
CN110188653A (zh) * 2019-05-27 2019-08-30 东南大学 基于局部特征聚合编码和长短期记忆网络的行为识别方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898483A (zh) * 2020-07-14 2020-11-06 杭州飞步科技有限公司 图像识别的方法、装置、电子设备及存储介质
CN111898483B (zh) * 2020-07-14 2023-12-19 杭州飞步科技有限公司 图像识别的方法、装置、电子设备及存储介质
CN111985155A (zh) * 2020-08-10 2020-11-24 武汉大学 基于集成深度神经网络的电路健康状态预计方法及系统
CN111985155B (zh) * 2020-08-10 2023-08-04 武汉大学 基于集成深度神经网络的电路健康状态预计方法及系统
CN112187413B (zh) * 2020-08-28 2022-05-03 中国人民解放军海军航空大学航空作战勤务学院 基于cnn-lstm的识别sfbc的方法及装置
CN112187413A (zh) * 2020-08-28 2021-01-05 中国人民解放军海军航空大学航空作战勤务学院 基于cnn-lstm的识别sfbc的方法及装置
CN112212861A (zh) * 2020-09-21 2021-01-12 哈尔滨工业大学（深圳） 一种基于单惯性传感器的轨迹还原方法
CN112212861B (zh) * 2020-09-21 2022-05-06 哈尔滨工业大学（深圳） 一种基于单惯性传感器的轨迹还原方法
CN112327286B (zh) * 2020-10-13 2023-10-20 深圳大学 低复杂度下日常活动分类方法、装置、设备及存储介质
CN112327286A (zh) * 2020-10-13 2021-02-05 深圳大学 低复杂度下日常活动分类方法、装置、设备及存储介质
CN113985393A (zh) * 2021-10-25 2022-01-28 南京慧尔视智能科技有限公司 一种目标检测方法、装置及系统
CN113985393B (zh) * 2021-10-25 2024-04-16 南京慧尔视智能科技有限公司 一种目标检测方法、装置及系统
CN116580460A (zh) * 2023-07-10 2023-08-11 南京隼眼电子科技有限公司 基于雷达的端到端神经网络人体行为识别方法及其装置
CN116580460B (zh) * 2023-07-10 2023-10-24 南京隼眼电子科技有限公司 基于毫米波雷达的端到端神经网络人体行为识别方法及其装置

Also Published As

Publication number Publication date
CN111178331B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111178331B (zh) 雷达图像识别系统、方法、设备及计算机可读存储介质
Wang et al. RF sensing in the Internet of Things: A general deep learning framework
Dang et al. Sensor-based and vision-based human activity recognition: A comprehensive survey
Ding et al. WiFi CSI-based human activity recognition using deep recurrent neural network
Yuan et al. Fast hyperspectral anomaly detection via high-order 2-D crossing filter
Seo et al. Drone detection using convolutional neural networks with acoustic STFT features
US20200341114A1 (en) Identification system for subject or activity identification using range and velocity data
CN110007366B (zh) 一种基于多传感器融合的生命搜寻方法以及系统
US11567580B2 (en) Adaptive thresholding and noise reduction for radar data
CN104346503A (zh) 一种基于人脸图像的情感健康监控方法及手机
Bokhari et al. DGRU based human activity recognition using channel state information
Wang et al. Hand tremor detection in videos with cluttered background using neural network based approaches
CN114814775A (zh) 基于ResNet网络的雷达跌倒检测方法及设备
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN114781463A (zh) 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备
Janakaraj et al. STAR: Simultaneous tracking and recognition through millimeter waves and deep learning
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Ding et al. Sparsity-based human activity recognition with pointnet using a portable fmcw radar
Gholamiangonabadi et al. Personalized models for human activity recognition with wearable sensors: deep neural networks and signal processing
Wang et al. A survey of user authentication based on channel state information
Showmik et al. Human activity recognition from wi-fi csi data using principal component-based wavelet cnn
Singh et al. Performance enhancement of salient object detection using superpixel based Gaussian mixture model
Moshiri et al. CSI-based human activity recognition using convolutional neural networks
Le Kernec et al. Radar sensing in assisted living: An overview
Li et al. An LSTM Approach to Short-range personnel recognition using Radar Signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant