CN111652040A - 一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统 - Google Patents
一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统 Download PDFInfo
- Publication number
- CN111652040A CN111652040A CN202010287798.8A CN202010287798A CN111652040A CN 111652040 A CN111652040 A CN 111652040A CN 202010287798 A CN202010287798 A CN 202010287798A CN 111652040 A CN111652040 A CN 111652040A
- Authority
- CN
- China
- Prior art keywords
- signal
- neural network
- radio frequency
- human body
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000037081 physical activity Effects 0.000 title claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于无线传感器网络、数字信号处理、人工智能、边缘计算等技术领域，尤其为一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，该方法将利用深度神经网络进行人体活动识别，设计了基于射频的自适应信号处理方法，及相应的神经网络模型，并进行了模型压缩，使之能够在计算能力有限的设备上运行，实现了HAR的边缘计算。通过本发明所提的信号处理、神经网络设计方法及硬件设计方案，使得HAR的识别率和计算效率大幅提升，满足HAR实时检测的要求；能够有效的对人体活动进行建模及特征提取；获得了鲁棒性好的人体活动特征，所获得的体征比信道状态信息更为全面、分辨率更好；在通用边缘计算装置上的计算效率提高了2‑3倍。
Description
技术领域
本发明涉及无线传感器网络、数字信号处理、人工智能、边缘计算等技术领域技术领域，具体为一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统。
背景技术
HAR在诸多应用场景有重要的用途，例如医疗健康，跌倒检测，及智能家居等。传统的基于摄像头的方法不能很好的保护隐私，因而难以广泛应用于室内/家居场合。基于红外检测的方法受限于温度及光照条件，检测精度无法满足实用化要求；基于射频(RF)的方案利用人体对无线信号反射造成的无线信号强度及相位变化(即多普勒效应)对人体的姿势变化及行为进行检测，能够很好的保护隐私，也不受环境条件的影响，因为得到了广泛的应用。
目前的自适应卷积神经网络进行人体活动识别的方法与系统存在下列问题：
1、现有方法的无线带宽不足，因此信号处理对活动识别的分辨率不高，导致识别的精度无法满足实用化要求。
2、现有的信号处理方法无法萃取原始射频信号所包含的重要信息。
3、现有方法对设备计算能力要求高，无法满足边缘计算的要求。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，该系统采用超宽频雷达(Ultra Wide Band Radar，UWBRadar)作为射频采集装置，利用自适应信号处理方法对雷达信号进行处理，提取活动识别所需的特征，建立卷积神经网络(convolutional neural Network，CNN)并进行模型压缩，使得计算能力及内存受限的边缘设备能够实现实时的人体活动检测，很好地解决了现有技术中存在的上述问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，包括如下相互依赖、不可独立分割的步骤：
S1：射频信号处理：用于收集人体活动所造成的射频反射信号，进行特征提取，并将非人体活动造成的射频反射信号(如静止背景，运动的家具等)进行滤除，提高后续神经网络输出信号的信噪比；这一步骤主要包括三个子步骤：a)相位噪声校正；b)信噪比增强；c) 运动检测。
S2：信号自适应卷积神经网络设计：传统卷积神经网络CNN主要用于机器视觉；目前将卷积神经网络CNN用于HAR主要是将时域信号或者频域信号作为输入信号并进行特征提取；本发明将时域信号与频域信号进行叠加处理，将给定时间窗口内射频信号的时域与频率信号构造成为自适应热图，反映了人体运动的鲁棒特征，能够大幅提高 CNN用于人体活动识别的精度；在本步骤中，本发明将CNN模型进行了压缩，使得内存及计算能力有限的边缘智能识别能够实时进行人体活动识别。
(三)有益效果
与现有技术相比，本发明提供了一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，具备以下有益效果：
1、该基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，采用UWB雷达对人体各个部分的活动进行信号提取，能够有效的对人体活动进行建模及特征提取。
2、该基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，通过自适应的信号分析，获得了鲁棒性好的人体活动特征，所获得的体征比信道状态信息(Channel State Information， CSI)更为全面，分辨率更好。
3、该基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，设计了信号自适应卷积神经网络并进行了模型压缩，使得神经网络模型仅为现有模型的三分之一，人体活动识别精度高达97％，在通用边缘计算装置上的计算效率提高了2-3倍。
附图说明
图1为某一静止物体在时间窗口内连续两帧射频信号的波形，以及由于STO导致的抖动示意图；
图2为采用相位噪声校正步骤后的波形示意图；
图3为采用信噪比增强步骤的示意图；
图4为滤波后的效果示意图；
图5为来检测连续信号帧的标准差的滑动窗口示意图；
图6为模型设计示意图；
图7为模型压缩示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1-7，本发明提供以下技术方案：一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，包括如下相互依赖、不可独立分割的步骤：
S1：射频信号处理：用于收集人体活动所造成的射频反射信号，进行特征提取，并将非人体活动造成的射频反射信号(如静止背景，运动的家具等)进行滤除，提高后续神经网络输出信号的信噪比；这一步骤主要包括三个子步骤：a)相位噪声校正；b)信噪比增强；c) 运动检测。
S2：信号自适应卷积神经网络设计：传统卷积神经网络CNN主要用于机器视觉；目前将卷积神经网络CNN用于HAR主要是将时域信号或者频域信号作为输入信号并进行特征提取；本发明将时域信号与频域信号进行叠加处理，将给定时间窗口内射频信号的时域与频率信号构造成为自适应热图，反映了人体运动的鲁棒特征，能够大幅提高 CNN用于人体活动识别的精度；在本步骤中，本发明将CNN模型进行了压缩，使得内存及计算能力有限的边缘智能识别能够实时进行人体活动识别。
本发明的具体实施步骤包括如下2个主要步骤。
(1)射频信号处理：用于收集人体活动所造成的射频反射信号，进行特征提取，并将非人体活动造成的射频反射信号(如静止背景，运动的家具等)进行滤除，提高后续神经网络输出信号的信噪比。
(1.1)相位噪声校正
超宽频雷达的模拟数字信号转换(ADC)模块具有采样时间偏移 (samplingtiming offset，STO)，该偏移会影响多普勒效应以及微多普勒效应的计算精度。由此造成的不利影响是：静止物体会被误判为人体运动。下图1显示了某一静止物体在时间窗口内连续两帧射频信号的波形，以及由于STO导致的抖动。
为解决上述抖动问题，本发明采用如下方法：假设静止物体的基带反射信号为Ωp，由STO导致的抖动为Δt(t-kTs)，则静止无敌的反射信号为Ωp+Δt(t-kTs)。对于连续K帧信号，计算平均相位
及其与第k帧参考信号相位的差值，然后根据这一差值对所有帧的相位进行修正。
采用上述步骤后的波形如图2所示，可见波形的稳定性得到了大幅的提升。
(1.2)信噪比增强
雷达接收天线收到的基带信号会受到噪音的干扰。这些噪音会叠加到有效信号中被送入卷积神经网络。卷积神经网络训练过程中会学习到这些噪音，对人体活动分类的精度造成影响，也会导致过拟合，影响神经网络的适用性。为了滤除噪音，本发明采用层叠滤波器来增强信噪比。层叠滤波器包括了一个FIR低通滤波率和一个紧随其后的 5点滑窗平滑滤波器。滤波后的效果如图3及图4所示。
(1.3)运动检测
在实际场景中，人体运动相对于人体静止的时间比例少，因此雷达检测到的人体活动信号是稀疏的。为了减少CNN训练中的类不平衡影响，本发明设计了峰值平均运动检测(peak-average detection)算法，将检测到运动的射频信号提交CNN进行训练及分类。
该算法的步骤是：首先计算连续检测的射频信号的标准差，然后通过一个滑动窗口(如图5所示)来检测连续信号帧的标准差，估算背景噪音的阈值。该阈值可以通过对所有噪音底部位置取平均值进行计算。然后对滑动窗口所有帧进行噪音阈值检测，高于此阈值即视为检测到人体活动。
(2)信号自适应卷积神经网络设计：将接收到的射频信号的时域描述与频域描述进行叠加处理，将给定时间窗口内射频信号的时域与频率信号构造成为自适应热图，反映了人体运动的鲁棒特征，大幅提高CNN用于人体活动识别的精度。将CNN模型进行了压缩，使得内存及计算能力有限的边缘智能识别能够实时进行人体活动识别。
(2.1)模型设计
本发明在CNN的模型设计中考虑射频信号的性质。注意到人体活动时，各肢体的主要反射信号随时间变化。为了更精确的获取人体活动时射频信号的特征，本发明将射频信号的时域与频域特征进行融合，以获取不同人类活动的分类特征。本发明对雷达获取的射频信号进行每秒400帧采样，获得400×90的射频反射信号强度热图。
由于时域与频域特征反映了射频信号不同维度的特征，简单的将两种热图作为不同的图像通道叠加后送入CNN易造成特征干扰。鉴于此，本发明将时域与频域热图作为不同分支进行特征提取，两个分支分别进行卷积层、池化层与激活函数的设计，最后将两个分支获得的特征向量进行叠加后送入softmax函数进行最终的活动分类。上述模型设计如下图6所示。
(2.2)模型压缩
为了将模型进一步压缩，减少CNN所需学习的参数个数，是其能够在内存及计算能力有限的边缘设备中进行分类，本发明采用将卷积因子化(convolution factorization)以降低全卷积的复杂性。a)首先采用基于深度的可分离卷积运算取代全卷积层，从而是待学习的参数数目得到大幅削减。b)考虑到时域热图与频域热图的稀疏特性，采用膨胀卷积运算以获得更大的有效接受域(effective receptive fields)。模型压缩如下图7所示。本发明将热图的通道进行分解，各通道通过膨胀卷积进行特征图融合，然后每一分支的低层接受域相加形成高层的接受域，最后将各分支的特征图进行叠加，并利用逐点卷积实现各分支之间特征的融合。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统，其特征在于，包括如下相互依赖、不可独立分割的步骤：
S1：射频信号处理：用于收集人体活动所造成的射频反射信号，进行特征提取，并将非人体活动造成的射频反射信号（如静止背景，运动的家具等）进行滤除，提高后续神经网络输出信号的信噪比；这一步骤主要包括三个子步骤：a) 相位噪声校正；b) 信噪比增强；c)运动检测，
S2：信号自适应卷积神经网络设计：传统卷积神经网络CNN主要用于机器视觉；目前将卷积神经网络CNN用于HAR主要是将时域信号或者频域信号作为输入信号并进行特征提取；本发明将时域信号与频域信号进行叠加处理，将给定时间窗口内射频信号的时域与频率信号构造成为自适应热图，反映了人体运动的鲁棒特征，能够大幅提高CNN用于人体活动识别的精度；在本步骤中，本发明将CNN模型进行了压缩，使得内存及计算能力有限的边缘智能识别能够实时进行人体活动识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010287798.8A CN111652040A (zh) | 2020-04-14 | 2020-04-14 | 一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010287798.8A CN111652040A (zh) | 2020-04-14 | 2020-04-14 | 一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111652040A true CN111652040A (zh) | 2020-09-11 |
Family
ID=72350399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010287798.8A Pending CN111652040A (zh) | 2020-04-14 | 2020-04-14 | 一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652040A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113852384A (zh) * | 2021-09-27 | 2021-12-28 | 广西万云科技有限公司 | 一种射频信号信噪比增强方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740522A (zh) * | 2018-12-29 | 2019-05-10 | 广东工业大学 | 一种人员检测方法、装置、设备及介质 |
| CN110222748A (zh) * | 2019-05-27 | 2019-09-10 | 西南交通大学 | 基于1d-cnn多域特征融合的ofdm雷达信号识别方法 |
| CN110348296A (zh) * | 2019-05-30 | 2019-10-18 | 北京市遥感信息研究所 | 一种基于人机融合的目标识别方法 |
| CN110569895A (zh) * | 2019-08-30 | 2019-12-13 | 深圳大学 | 一种卷积神经网络的微多普勒雷达人体动作分类方法 |
| CN110799927A (zh) * | 2018-08-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
-
2020
- 2020-04-14 CN CN202010287798.8A patent/CN111652040A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110799927A (zh) * | 2018-08-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
| CN109740522A (zh) * | 2018-12-29 | 2019-05-10 | 广东工业大学 | 一种人员检测方法、装置、设备及介质 |
| CN110222748A (zh) * | 2019-05-27 | 2019-09-10 | 西南交通大学 | 基于1d-cnn多域特征融合的ofdm雷达信号识别方法 |
| CN110348296A (zh) * | 2019-05-30 | 2019-10-18 | 北京市遥感信息研究所 | 一种基于人机融合的目标识别方法 |
| CN110569895A (zh) * | 2019-08-30 | 2019-12-13 | 深圳大学 | 一种卷积神经网络的微多普勒雷达人体动作分类方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113852384A (zh) * | 2021-09-27 | 2021-12-28 | 广西万云科技有限公司 | 一种射频信号信噪比增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111505632B (zh) | 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法 | |
| US20200163590A1 (en) | Fall detection method, device, and system | |
| CN103295221B (zh) | 模拟复眼视觉机制和偏振成像的水面目标运动检测方法 | |
| CN102254319A (zh) | 一种多层次分割的遥感影像变化检测方法 | |
| CN107944354B (zh) | 一种基于深度学习的车辆检测方法 | |
| CN107403134B (zh) | 基于局部梯度三边的图域多尺度红外弱小目标检测方法 | |
| CN101924871A (zh) | 基于均值偏移的视频目标跟踪方法 | |
| Yang et al. | People counting based on CNN using IR-UWB radar | |
| CN109859246B (zh) | 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法 | |
| CN106886747B (zh) | 一种基于扩展小波变换的复杂背景下舰船检测方法 | |
| CN107886526A (zh) | 基于时域滤波的序列图像弱小目标检测方法 | |
| Nigam et al. | Curvelet transform-based technique for tracking of moving objects | |
| CN109448024B (zh) | 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统 | |
| Zhang et al. | A dynamic hand gesture recognition algorithm based on CSI and YOLOv3 | |
| CN111652040A (zh) | 一种基于射频及信号自适应卷积神经网络进行人体活动识别的方法与系统 | |
| CN114581958A (zh) | 一种基于csi信号到达角估计的静态人体姿势估计方法 | |
| CN101789128A (zh) | 一种基于dsp的目标检测与跟踪方法以及数字图像处理系统 | |
| CN112926552A (zh) | 基于深度神经网络的遥感影像车辆目标识别模型及方法 | |
| Guven et al. | Classifying LPI radar waveforms with time-frequency transformations using multi-stage CNN system | |
| Zhang et al. | Adaptive Harris corner detection algorithm based on B-spline function | |
| CN113420778B (zh) | 一种基于Wi-Fi信号和深度相机的身份识别方法 | |
| CN113406589B (zh) | 一种基于simo多普勒雷达的多目标动作识别方法 | |
| Weerachai et al. | Human behavior recognition via top-view vision for intelligent space | |
| Weihua et al. | A real-time detection algorithm for unmanned aerial vehicle target in infrared search system | |
| CN110659629A (zh) | 一种基于双谱和深度卷积神经网络的微弱x射线脉冲星信号辨识方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200911 |