CN115171160A - 软硬件约束下的健壮轻量级跌倒检测神经网络构建方法 - Google Patents

软硬件约束下的健壮轻量级跌倒检测神经网络构建方法 Download PDF

Info

Publication number
CN115171160A
CN115171160A CN202210808643.3A CN202210808643A CN115171160A CN 115171160 A CN115171160 A CN 115171160A CN 202210808643 A CN202210808643 A CN 202210808643A CN 115171160 A CN115171160 A CN 115171160A
Authority
CN
China
Prior art keywords
fall detection
solution
constructing
neural network
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210808643.3A
Other languages
English (en)
Inventor
金龙洙
王洁
张晨歌
石勇
邹余洋
周禀祯
冉旭
高庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Dalian Maritime University
China Hualu Panasonic AVC Networks Co Ltd
Original Assignee
Dalian University of Technology
Dalian Maritime University
China Hualu Panasonic AVC Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Dalian Maritime University, China Hualu Panasonic AVC Networks Co Ltd filed Critical Dalian University of Technology
Priority to CN202210808643.3A priority Critical patent/CN115171160A/zh
Publication of CN115171160A publication Critical patent/CN115171160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种软硬件约束下的健壮轻量级跌倒检测神经网络构建方法，首先根据跌倒检测的硬件和软件性能指标，构建由神经网络的结构超参数组成的搜索空间及基于对抗的性能评估策略；然后依据基于对抗的性能评估策略反馈结果，利用模拟退火算法作为搜索策略，在搜索空间中迭代寻找最优网络结构，即在满足资源约束的条件下设计出满足性能需求的轻量级深度网络，可提升跌倒检测算法与硬件设备的契合度，解决应用环境复杂多变导致的跌倒检测精度下降问题，提升跌倒检测算法的健壮性。

Description

软硬件约束下的健壮轻量级跌倒检测神经网络构建方法
技术领域
本发明涉及一种神经网络构建方法，尤其是一种软硬件约束下的健壮轻量级跌倒检测神经网络构建方法。
背景技术
跌倒是独居老人容易发生的大概率事件，完备的跌倒检测系统能够及时有效地发现跌倒的老人，进而进行救治，对于保护老人的生命健康具有重要意义。
传统的跌倒检测系统根据采集数据类型不同可分为基于可穿戴设备、基于监控视频、基于环境传感器三种，分别存在着相应缺陷。基于可穿戴设备其穿戴繁琐且使用不便；基于监控视频的硬件成本高并且侵犯用户隐私；基于环境传感器受环境影响较大，对环境要求极为苛刻。目前，基于无线技术的跌倒检测方法因其能够保护用户隐私且用户有较为广泛的活动范围，已在跌倒检测领域广泛应用，其中毫米波信号相对于无线技术领域常用的WiFi、4G等信号，具有分辨率高、带宽大、不易干扰等优势，成为研究热点。
常见跌倒检测算法有基于多个阈值进行识别、基于模式识别以及基于深度网络识别三种。
中国专利申请号为202210000820.5的发明专利申请，公开了“一种基于毫米波雷达的室内跌倒检测方法”，具体是根据所设置的高度差阈值进行跌倒判断；孙济舟[1]等人提出一种使用多阈值检测跌倒的算法，该算法通过识别跌倒过程中多个阶段的多个数据特性是否达到预设阈值来实现跌倒检测。但是，由于个体、环境及跌倒方式的多种差异，导致该类算法的阈值很难选取，检测精度较低。
基于模式识别的跌倒检测需采集大量样本，对样本特征进行组合，对带有标签的样本进行训练。该类方法可提取跌倒特征的变化规律，并采用多种分类器进行分类，如K最近邻算法、朴素贝叶斯算法、支持向量机等。许志猛[1]等人使用空间聚类方法实现了较好的分类效果，但是，使用不同的特征组合时，相应的算法也需要进行调整。同时，当采集环境和采集用户发生变化时，分类的准确度明显下降，健壮性较差。
因深度网络良好的特征提取能力，基于深度网络的跌倒检测算法近年来成为研究热点。元志安[2]等人使用深度学习相对提高了跌倒检测的准确率。但是，其神经网络是采用改进已有网络模型的方法进行构建，故网络模型通常较为复杂，难以在资源有限的硬件设备上部署。另外，因家居的移动、电波传播环境的变化等因素会引发应用场景的变化，致使基于深度网络的跌倒检测算法性能急剧下降。
如何构建可在计算与存储资源有限的硬件设备上部署且具有健壮性的神经网络，是亟待解决的技术问题。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种软硬件约束下的健壮轻量级跌倒检测神经网络构建方法。
本发明的技术解决方案是：一种软硬件约束下的健壮轻量级跌倒检测神经网络构建方法，其特征在于按照如下步骤进行：
步骤1.根据跌倒检测的硬件和软件性能指标，构建由神经网络的结构超参数组成的搜索空间；
步骤2.构建基于对抗的性能评估策略；
步骤3.依据基于对抗的性能评估策略反馈结果，利用模拟退火算法作为搜索策略，在搜索空间中迭代的寻找最优网络结构。
所述步骤1构建由神经网络的结构超参数组成的搜索空间如下：
结构：卷积层、池化层、全连接层及激活函数；
功能：卷积层：特征提取；池化层：执行采样；全连接层：平滑处理；激活函数：信号处理；
结构超参数：
卷积层：卷积类型、卷积核数量、卷积核宽度、卷积核高度、水平步长、垂直步长；
池化层：池化类型、池化核宽度、池化核高度、水平步长、垂直步长；
全连接层：神经元数量；
激活函数：类型。
所述步骤2构建基于对抗的性能评估策略是采用对数函数L衡量网络识别精度与功耗，所述对数函数L如下式：
Figure BDA0003739468010000031
式中：a表示基于对抗学习后的深度网络在测试集运行的跌倒检测准确率，即正确判断跌倒动作样本的个数与总样本个数的比值；t和n分别表示基于对抗学习后的深度网络运行时间和网络参数量。
所述步骤3具体如下：
步骤3.1设置初始温度T、迭代停止温度TF、等温迭代次数J和冷却系数k；
步骤3.2从可行解空间中任选一个初始解并作为当前最优解；
步骤3.3在可行解空间中产生一个随机扰动，生成一个新解；
步骤3.4计算新解的性能Lq+1和当前最优解的性能Lq，判断新解的性能Lq+1是否大于或等于当前最优解的性能Lq，是，将新解更新为当前最优解，进行步骤3.6；否，进行步骤3.5；
步骤3.5按照
Figure BDA0003739468010000032
的概率判断是否接收新解，是，新解更新为当前最优解，否，舍弃新解；
步骤3.6判断是否达到等温迭代次数J，是，进行步骤3.7；否，返回步骤3.3；
步骤3.7判断是否达到迭代停止温度TF，是，输出当前最优解并结束，否，返回步骤3.3。
本发明首先根据跌倒检测的硬件和软件性能指标，构建由神经网络的结构超参数组成的搜索空间及基于对抗的性能评估策略；然后依据基于对抗的性能评估策略反馈结果，利用模拟退火算法作为搜索策略，在搜索空间中迭代寻找最优网络结构，即在满足资源约束的条件下设计出满足性能需求的轻量级深度网络，可提升跌倒检测算法与硬件设备的契合度，解决应用环境复杂多变导致的跌倒检测精度下降问题，提升跌倒检测算法的健壮性。
附图说明
图1是本发明实施例的流程框图。
图2是本发明实施例在搜索空间中迭代寻找最优网络结构的流程图。
图3是本发明实施例生成的初始解示意图。
图4是本发明实施例最终得到的最优网络结构示意图。
具体实施方式
本发明的软硬件约束下的健壮轻量级跌倒检测神经网络构建方法如图1所示，按照如下步骤进行：
步骤1.根据跌倒检测的硬件和软件性能指标，构建由神经网络的结构超参数组成的搜索空间；例如可根据用于部署跌倒检测算法的设备所拥有的内存大小和处理器主频等计算资源，以及识别精度和运行时间等对跌倒检测算法的性能需求，构建由神经网络的结构超参数组成的搜索空间，如表1所示：
表1
Figure BDA0003739468010000041
本发明实施例系统配置如下：
1.系统使用60GHz-64GHz毫米波连续调频雷达进行数据采集；
2.系统拥有1.75M内存，600M主频；
3.系统探测距离为5米，方向角为120度；
4.系统跌倒检测的频率为10Hz。
任务：用采集的数据训练出健壮的跌倒检测算法并将网络部署在雷达系统中实现实时跌倒检测。
故本发明实施例构建的搜索空间如下：
表2
网络结构参参数类型 结构参数
卷积层数量 1、2、3
全连接层数量 1、2、3
卷积核个数 4、8、16、32
卷积核移动步长 (1，1)、(2，2)
池化层数量 0、1、2、3
步骤2.构建基于对抗的性能评估策略
具体是采用对数函数L衡量网络识别精度与功耗，所述对数函数L如下式：
Figure BDA0003739468010000051
式中：a表示基于对抗学习后的深度网络为测试集运行的跌倒检测准确率，即正确判断跌倒动作样本的个数与总样本个数的比值；t和n分别表示基于对抗学习后的深度网络运行时间和网络参数量。
步骤3.依据基于对抗的性能评估策略反馈结果，利用模拟退火算法作为搜索策略，在搜索空间中迭代的寻找最优网络结构，具体操作步骤如图2所示：
步骤3.1设置初始温度T、迭代停止温度TF、等温迭代次数J和冷却系数k；
步骤3.2从可行解空间中任选一个初始解并作为当前最优解；
步骤3.3在可行解空间中产生一个随机扰动，生成一个新解；
步骤3.4计算新解的性能Lq+1和当前最优解的性能Lq，判断新解的性能Lq+1是否大于或等于当前最优解的性能Lq，是，将新解更新为当前最优解，进行步骤3.6；否，进行步骤3.5；
计算新解的性能Lq+1和当前最优解的性能Lq是按照如下步骤进行的：
步骤3.4.1基于不同环境、不同人体目标、不同设备条件下采集到的N个域的数据，构建多场景训练数据集S＝[S1，…Si，…Sj，…SN]及测试集，每个域的训练集有U个种类；
本发明实施例基于60GHz毫米波雷达采集6位实验人员在3个不同场景下的10个动作作为数据集，数据集详细信息如表3和表4所示。
表3实验动作信息
Figure BDA0003739468010000052
表4人员场景信息
Figure BDA0003739468010000053
步骤3.4.2以训练集数据分别对抗训练当前最优解及新解(深度网络)
最优解及新解均是在可行解空间中产生的，故具有特征提取器、场景鉴别器及分类器：
输入为r×c×h，输出为r′×c′×h′，具有M层隐藏层的卷积神经网络作为特征提取器，用来提取特征；
输入层为r′×c′×h′个神经元，输出层为2个神经元的全连接网络作为场景鉴别器，用来鉴别当前的训练数据来自于哪个训练场景；
输入层为r′×c′×h′个神经元，输出层为2个神经元的全连接网络作为分类器，用来判断是否有跌倒发生；
基于博弈对抗学习策略同时训练特征提取器、场景鉴别器、分类器。
例如步骤3.2产生的最优解，如图3所示。有2层卷积层conv1、conv2及对应的技激活层relu1、relu2，两个全连接层fc1、fc2等。
特征提取器通过最大化场景鉴别器的损失值和最小化分类器的损失值进行对抗学习，场景鉴别器和分类器的损失函数采用预测标签与真实标签的交叉熵C，如下式所示
Figure BDA0003739468010000061
其中，yβ与
Figure BDA0003739468010000062
表示第β个真实标签向量和预测的标签向量；特征提取器的损失函数采用场景鉴别器和分类器损失函数的组合，如下式所示
CF＝w1C1+w2C2
其中，C1和C2分别表示场景鉴别器和分类器的损失函数，w1与w2为大于0小于1的权重，w1+w2＝1；
经过对抗学习训练，使得特征提取器可提取到与场景无关的健壮本征特征且该特征可用来实现跌倒检测，因此，场景鉴别器无法利用特征提取器提取的特征来判断其对应的场景，分类器可以正确检测跌倒事件。
步骤3.4.3再采用测试集分别测试经过对抗训练的当前最优解及新解(深度网络)，得到当前最优解及新解的跌倒检测准确率a，即正确判断跌倒动作样本的个数与总样本个数的比值；当前最优解及新解运行时间t和网络参数量n，分别按照公式
Figure BDA0003739468010000071
计算出新解的性能Lq+1和当前最优解的性能Lq；
步骤3.5按照
Figure BDA0003739468010000072
的概率判断是否部分接收新解，是，新解更新为当前最优解，否，舍弃新解；
步骤3.6判断是否达到等温迭代次数J，是，进行步骤3.7；否，返回步骤3.3；
步骤3.7判断是否达到迭代停止温度迭代停止温度TF，是，输出当前最优解并结束，否，返回步骤3.3。
所输出的当前最优解结构如图4所示，包括一个输入层，一个卷积层，一个全连接层和一个输出层。
第一层为输入层，输入大小为1×5×20的一维数据；
第二层为输入为1×5×20、输出为16×3×18的卷积层，进行特征提取，使用16个3×3的卷积核，步长为(1，1)进行卷积计算，并使用修正线性单元(ReLU)作为其激活函数；
第三层为全连接层，由864个单元进行全连接组成，分别构建输入为16×3×18个神经元，输出为2个神经元的全连接网络作为场景鉴别器D，用来鉴别当前的训练数据来自于哪个场景；构建输入为16×3×18个神经元，输出为2个神经元的全连接网络作为分类器C，用来判断是否有跌倒发生；
第四层为输出层，输出为检测跌倒行为的概率。
参考文献：
[1]孙济舟,于大泳.基于毫米波雷达的跌倒方式实时检测方法研究[J].软件导刊,2022,21(02):101-108.
[2]许志猛,尹辉斌,林佳慧.基于空间聚类的FMCW雷达双人行为识别方法[J].福州大学学报(自然科学版),2020,48(04):445-450.
[3]元志安,周笑宇,刘心溥,卢大威,邓彬,马燕新.基于RDSNet的毫米波雷达人体跌倒检测方法[J].雷达学报,2021,10(04):656-664.

Claims (4)

1.一种软硬件约束下的健壮轻量级跌倒检测神经网络构建方法，其特征在于按照如下步骤进行：
步骤1.根据跌倒检测的硬件和软件性能指标，构建由神经网络的结构超参数组成的搜索空间；
步骤2.构建基于对抗的性能评估策略；
步骤3.依据基于对抗的性能评估策略反馈结果，利用模拟退火算法作为搜索策略，在搜索空间中迭代寻找最优网络结构。
2.根据权利要求1所述的软硬件约束下的健壮轻量级跌倒检测神经网络构建方法，其特征在于所述步骤1构建由神经网络的结构超参数组成的搜索空间如下：
结构：卷积层、池化层、全连接层及激活函数；
功能：卷积层：特征提取；池化层：执行采样；全连接层：平滑处理；激活函数：信号处理；
结构超参数：
卷积层：卷积类型、卷积核数量、卷积核宽度、卷积核高度、水平步长、垂直步长；
池化层：池化类型、池化核宽度、池化核高度、水平步长、垂直步长；
全连接层：神经元数量；
激活函数：类型。
3.根据权利要求2所述的软硬件约束下的健壮轻量级跌倒检测神经网络构建方法，其特征在于所述步骤2构建基于对抗的性能评估策略是采用对数函数L衡量网络识别精度与功耗，所述对数函数L如下式：
Figure FDA0003739467000000011
式中：α表示基于对抗学习后的深度网络在测试集运行的跌倒检测准确率，即正确判断跌倒动作样本的个数与总样本个数的比值；t和n分别表示基于对抗学习后的深度网络运行时间和网络参数量。
4.根据权利要求3所述的软硬件约束下的健壮轻量级跌倒检测神经网络构建方法，其特征在于所述步骤3具体如下：
步骤3.1设置初始温度T、迭代停止温度TF、等温迭代次数J和冷却系数k；
步骤3.2从可行解空间中任选一个初始解并作为当前最优解；
步骤3.3在可行解空间中产生一个随机扰动，生成一个新解；
步骤3.4计算新解的性能Lq+1和当前最优解的性能Lq，判断新解的性能Lq+1是否大于或等于当前最优解的性能Lq，是，将新解更新为当前最优解，进行步骤3.6；否，进行步骤3.5；
步骤3.5按照
Figure FDA0003739467000000021
的概率判断是否接收新解，是，新解更新为当前最优解，否，舍弃新解；
步骤3.6判断是否达到等温迭代次数J，是，进行步骤3.7；否，返回步骤3.3；
步骤3.7判断是否达到迭代停止温度TF，是，输出当前最优解并结束，否，返回步骤3.3。
CN202210808643.3A 2022-07-11 2022-07-11 软硬件约束下的健壮轻量级跌倒检测神经网络构建方法 Pending CN115171160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210808643.3A CN115171160A (zh) 2022-07-11 2022-07-11 软硬件约束下的健壮轻量级跌倒检测神经网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210808643.3A CN115171160A (zh) 2022-07-11 2022-07-11 软硬件约束下的健壮轻量级跌倒检测神经网络构建方法

Publications (1)

Publication Number Publication Date
CN115171160A true CN115171160A (zh) 2022-10-11

Family

ID=83493421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210808643.3A Pending CN115171160A (zh) 2022-07-11 2022-07-11 软硬件约束下的健壮轻量级跌倒检测神经网络构建方法

Country Status (1)

Country Link
CN (1) CN115171160A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952073A (zh) * 2023-03-13 2023-04-11 广州市易鸿智能装备有限公司 工控机性能评估方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952073A (zh) * 2023-03-13 2023-04-11 广州市易鸿智能装备有限公司 工控机性能评估方法、装置、电子设备及存储介质
CN115952073B (zh) * 2023-03-13 2023-06-13 广州市易鸿智能装备有限公司 工控机性能评估方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Wang et al. m-activity: Accurate and real-time human activity recognition via millimeter wave radar
Luo et al. Temporal convolutional networks for multiperson activity recognition using a 2-d lidar
Kosba et al. RASID: A robust WLAN device-free passive motion detection system
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
CN107290741B (zh) 基于加权联合距离时频变换的室内人体姿态识别方法
CN113033654A (zh) 基于WiFi信道状态信息的室内入侵检测方法及系统
KR102524373B1 (ko) 실내 보안 응용을 위한 인체 감지 레이다 시스템 및 이를 이용한 인체 감지 방법
Moshiri et al. Using GAN to enhance the accuracy of indoor human activity recognition
Qiao et al. Human activity classification based on micro-Doppler signatures separation
CN111901028B (zh) 一种基于多天线上csi的人体行为识别方法
Yang et al. Spatial-temporal-circulated GLCM and physiological features for in-vehicle people sensing based on IR-UWB radar
CN115171160A (zh) 软硬件约束下的健壮轻量级跌倒检测神经网络构建方法
Succetti et al. A fast deep learning technique for Wi-Fi-based human activity recognition
Chen et al. A three-stage low-complexity human fall detection method using IR-UWB radar
CN109001702A (zh) 无载波超宽带雷达人体动作识别方法
Moghaddam et al. A WiFi-based method for recognizing fine-grained multiple-subject human activities
Wang et al. Syncope detection in toilet environments using Wi-Fi channel state information
Qiao et al. Person identification with low training sample based on micro-doppler signatures separation
Tian et al. Indoor device-free passive localization for intrusion detection using multi-feature PNN
Yang et al. An identity perception algorithm based on WiFi channel state information
CN113313165B (zh) 一种基于雷达的人数统计方法、装置、设备及存储介质
Hsieh et al. End-to-end deep learning-based human activity recognition using channel state information
Tian et al. Small CSI Samples‐Based Activity Recognition: A Deep Learning Approach Using Multidimensional Features
Liu et al. UWB vital sign signal recognition method based on SVM
Hao et al. Wi‐Exercise: An Indoor Human Movement Detection Method Based on Bidirectional LSTM Attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination