CN114358162B - 一种基于连续小波变换的跌倒检测方法、装置及电子设备 - Google Patents
一种基于连续小波变换的跌倒检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114358162B CN114358162B CN202111616085.2A CN202111616085A CN114358162B CN 114358162 B CN114358162 B CN 114358162B CN 202111616085 A CN202111616085 A CN 202111616085A CN 114358162 B CN114358162 B CN 114358162B
- Authority
- CN
- China
- Prior art keywords
- state information
- channel state
- data
- neural network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 68
- 230000009471 action Effects 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 61
- 238000012360 testing method Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 24
- 238000010219 correlation analysis Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 239000000969 carrier Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000013336 robust study Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供一种基于连续小波变换的跌倒检测方法、装置及电子设备，包括：从发送端和接收端传输的数据中获取原始信道状态信息；对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息；根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征；根据所述时频域特征应用训练后的神经网络进行分类判断，确定与所述信道状态信息对应的用户活动是否为跌倒事件。本发明能够实现对跌倒进行检测，提高检测准确率。
Description
技术领域
本发明属于电子信息领域，具体涉及到一种基于连续小波变换的跌倒检测方法、装置及电子设备。
背景技术
人们对物理世界的认知已经进入了一个无所不在的智能新阶段，物联网和人工智能技术共同推动人类社会从万物互联走向万物智联。随着传感系统的部署成本越来越高而传感的范围和规模越来越大，部署和维护大规模传感系统长期稳定运行的难度和成本越来越高，现在无线感知技术被广泛用来感知环境信息。无线感知技术主要是通过分析无线信号在传播过程中的变化，获得信号传播空间的特征来感知场景。常用的感知信号是射频信号，通过信号发送机产生的无线电波在传播过程中会发生直射、反射和散射等物理现象，从而形成多条传播路径。这样使得在信号接收机处形成的多径叠加信号携带了反映信号传播空间的信息。
现在有很多系统利用得到的信息除了做跌倒检测之外也可以用来感知人类的行为，检测人们的健康和定位人的位置等功能。用无线感知技术带来便利的同时也会产生一些问题。目前用于跌倒检测的系统主要体现两个问题：使用什么信息来感知环境能更多地包含环境中的信息，以及处理原始数据后使用什么作为特征。
现有技术中，接收信号强度(Received Signal Strength Indication，RSSI)被很多系统广泛使用，主要是根据信号强弱来判断携带者所处的位置。RSSI是一种粗粒度信息，所包含的信息非常有限，会影响识别准确度。现在很多系统使用的是信道状态信息(Channel State Information，CSI)。CSI是关于WiFi通信的细粒度信息，其结合时间延迟、能量衰减和相移的影响来描述信号如何在无线信道中传播。CSI有30个子载波，各个子载波包含振幅和相位信息，不同的子载波对应不同频率的多径传播的振幅和相位。但是CSI相位信息通常包含大量噪音，需要对其进行预处理之后才可使用。
另外，现有用于跌倒检测的系统提取的特征主要分为时域特征和时频域特征两类。时域特征是以时间为变量来描绘出信号的波形，会根据工作环境的改变而发生改变，不够稳定，会降低检测结果的准确度。时频域特征是在时频域提取出待测样本数据的多个统计特征值，有效解决了时域或频域无法观察非平稳振动信号的频率随时间变化而变化的情况。现有的跌倒检测系统大多用短时傅里叶变换(STFT)来处理时频域特征，并不能满足非稳态信号变化的频率要求。
发明内容
本发明提供一种基于连续小波变换的跌倒检测方法、装置及电子设备，以解决现有的跌倒检测不稳定且准确度不高的问题。
基于上述目的，本发明实施例提供了一种基于连续小波变换的跌倒检测方法，包括：从发送端和接收端传输的数据中获取原始信道状态信息；对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息；根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征；根据所述时频域特征应用训练后的神经网络进行分类判断，确定与所述信道状态信息对应的用户活动是否为跌倒事件。
可选的，所述对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息，包括：对所述原始信道状态信息进行线性插值方法补充丢包造成的信息丢失；将进行线性插值后的所述原始信道状态信息进行离散小波变换去噪。
可选的，所述对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息，还包括：对预处理后的所述信道状态信息进行相关度分析筛选。
可选的，所述对预处理后的所述信道状态信息进行相关度分析筛选，包括：对预处理后的所述信道状态信息的各子载波进行相关度分析，保留所述信道状态信息中相关性大于第一相关阈值的子载波；对预处理后的所述信道状态信息的各子载波与预设的非跌倒事件的子载波进行相关度分析，删除所述信道状态信息中与非跌倒事件的子载波相关性大于第二相关阈值的子载波。
可选的，所述根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征，包括：对预处理后得到的所述信道状态信息进行连续小波变换，获取小波系数，作为所述时频域特征；将获取的所述小波系数的绝对值生成尺度图；根据所述尺度图创建RGB图像。
可选的，所述根据所述时频域特征应用训练后的神经网络进行分类判断之前，包括：构建所述神经网络的网络结构并初始化网络参数；获取不同室内环境下的历史数据，对所述历史数据进行预处理并提取历史时频域特征数据，并进行跌倒和非跌倒分类，构建训练数据集；将所述训练数据集划分为训练集和测试集，应用所述训练集对所述神经网络进行训练，并应用所述测试集对训练的所述神经网络进行测试；根据所述神经网络的训练结果修改网络参数，获取训练后的所述神经网络。
可选的，所述获取不同室内环境下的历史数据，包括：在卧室、厨房、浴室、走廊四个不同室内环境分别收集了第一份数据和第二份数据，其中所述第二份数据为对所述第一份数据的采集环境增加和/或移动了一个环境因素采集的数据；所述将所述训练数据集划分为训练集和测试集，包括：对根据所述第一份数据对应得到的数据集和根据所述第二份数据对应得到的数据集进行不同的组合并划分所述训练集和所述测试集，形成所述神经网络的多种训练测试方案。
可选的，所述神经网络为GoogLeNet网络或SqueezeNet网络。
基于同一发明构思，本发明实施例还提出了一种基于连续小波变换的跌倒检测装置，包括：信息获取单元，用于从发送端和接收端传输的数据中获取原始信道状态信息；预处理单元，用于对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息；特征提取单元，用于根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征；跌倒检测单元，用于根据所述时频域特征应用训练后的神经网络进行分类判断，确定所述时频域特征对应的用户活动是否为跌倒事件。
基于同一发明构思，本发明实施例还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项中所述的方法。
本发明的有益效果是：从上面所述可以看出，本发明实施例提供的一种基于连续小波变换的跌倒检测方法、装置及电子设备，通过从发送端和接收端传输的数据中获取原始信道状态信息；对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息；根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征；根据所述时频域特征应用训练后的神经网络进行分类判断，确定与所述信道状态信息对应的用户活动是否为跌倒事件，能够实现对跌倒进行检测，提高检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的基于连续小波变换的跌倒检测方法的流程示意图；
图2为本发明实施例中的去噪前后的信道状态信息的对比示意图；
图3为本发明实施例中的一个动作30个子载波的信道状态信息的分布示意图；
图4为本发明实施例中的不同动作的两个子载波的信道状态信息的分布示意图；
图5为本发明实施例中的不同动作的两个子载波的尺度图的分布示意图；
图6为本发明实施例中的GoogLeNet神经网络的训练测试效果示意图；
图7为本发明实施例中的SqueezeNet神经网络的训练测试效果示意图；
图8为本发明实施例中的基于连续小波变换的跌倒检测方法与现有跌倒检测系统的检测准确度对比示意图；
图9为本发明实施例中的基于连续小波变换的跌倒检测装置的结构示意图；
图10为本发明实施例中电子设备示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本发明实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本发明实施例还提供了一种基于连续小波变换的跌倒检测方法。如附图1所示，基于连续小波变换的跌倒检测方法包括：
步骤S11：从发送端和接收端传输的数据中获取原始信道状态信息。
在本发明实施例中，在室内环境下，用户在发送端和接收端之间活动时，收集发送端和接收端之间传输的数据。具体可以用网卡可以从每个接收到的数据包中输出一组原始信道状态信息(CSI)，设置相应频率可以收到相应数量的数据包。其中，网卡可以是现有的Intel 5300类型或Atheros9390类型的网卡。在本发明的其他实施例中，也可以应用其他电子设备接收数据包。令发射机和接收机的信号频域表示为X(f,t)和Y(f,t)，f为载波频率，两个信号之间的关系为Y(f,t)＝H(f,t)*X(f,t)，H(f,t)是一个复数值，为在t时刻载波频率为f的信道频率响应(Channel Frequency Response，CFR)。CSI基本上包含这些CFR值，令NTx和NRx分别为发射天线和接收天线数，每个CSI包含30个矩阵，维度为NTx*NRx，任何矩阵中的每一项都是在特定时间某一天线对之间的CFR值，把给定天线对的CFR值的时间序列称为CSI流，则CSI值的时间序列中存在30*NTx*NRx的CSI流。
步骤S12：对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息。
刚采集到的原始信道状态信息可能会因为某些原因造成丢包的现象，例如由于非视线链接和墙体穿透等原因导致一些链路信号较弱造成丢包现象。而对于时序数据之后的建模分类要求数据保持完整性以便更好地可视化分析，所以需要采用找到时序数据变化的规律将数据填补进去。由于对于跌到动作或者是非跌倒动作所衍射出的信号都具有很强的趋势，在本发明实施例中，可选地，对所述原始信道状态信息进行线性插值方法补充丢包造成的信息丢失。分段线性插值是将两个相邻的节点用直线连起来形成的直线就是分段线性插值的函数。也就是要插x点时，找到x左右的两个节点，两个节点的坐标为(x1，y1)和(x2，y2)，则插入点x的值原始数据是每个动作收集了10000个数据包，对应于每个天线对有30×10000个原始信道状态信息，用上述的分段线性插值方法将丢失的值补齐。采用线性插值方法可以对每个子载波的信号强度进行内插以抵消丢包造成的信息损失，使所有记录通道具有相同的采样率。
由于获取的原始信道状态信息往往是还有噪声的信号不能直接使用，需要进行去噪处理。在本发明实施例中，可选地，将进行线性插值后的所述原始信道状态信息进行离散小波变换去噪。具体可以采用‘sym3’小波固定式软阈值进行去噪。经过离散小波变换后，信号会被分成几个频率级别，可以从中得到需要的频率级别。比起采用傅里叶变换去噪，离散小波变换有更好的时频局部化特性，通过保留由信号控制的小波系数再去除由噪声控制的小波系数将小波域中的去噪信号转换回时域，得到所需的去噪信号。图2中可以看出一个动作30个子载波去噪前和去噪后的对比，去噪之后信号不会有那么多干扰信息，可以得到干净并且含有丰富信息的信号。用离散小波变换去噪一是可以减少计算量，二是离散小波变换适合大部分的信号特别是对于瞬时信号，可以更精确的得到需要的频段信息。
在本发明实施例中，还可以对预处理后的所述信道状态信息进行相关度分析筛选，以提高跌倒检测的准确度。一个数据包中有30个子载波，每个子载波的数据分布基本一致。经过相关度分析，发现在一个跌到动作和一个非跌倒动作之间，两个数据包中的子载波也存在相关度较高的情形。如此需要通过观察子载波的分布情况，采用相关度分析筛选有代表性的主成分。可选地，对预处理后的所述信道状态信息的各子载波进行相关度分析，保留所述信道状态信息中相关性大于第一相关阈值的子载波；对预处理后的所述信道状态信息的各子载波与预设的非跌倒事件的子载波进行相关度分析，删除所述信道状态信息中与非跌倒事件的子载波相关性大于第二相关阈值的子载波。其中第一相关阈值和第二相关阈值可以相同也可以不相同，在此不作限制。例如，图3是一个动作30个子载波的信道状态信息分布，可以看出每个子载波的分布大致相同，图4是一个跌倒动作和一个非跌倒动作的两个子载波，这两个子载波是高度相关的，表示在不同的动作中也存在相关度高的子载波。通过实验比较发现第一相关阈值和第二相关阈值都设置为0.7的效果最好。如此，先将一个数据包中留下相关性大于0.7的子载波，然后在不同的动作中删除相关性大于0.7的子载波。经过相关度分析筛选处理后，剩下的子载波被用作特征提取的主成分。通过实验发现经过相关度分析筛选处理后的跌倒检测比没有经过相关度分析筛选处理过的跌倒检测明显准确度更高；通过采用相关度分析，删去不必要的子载波，在不降低准确率的情况下还能够减少计算复杂度。
步骤S13：根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征。
经过步骤S12后得到的是不含噪音的具有动作代表性的信道状态信息，在步骤S13中，对步骤S12中得到的信道状态信息做特征提取和分类，以提高检测准确率并减少对环境的依赖。可选地，对预处理后得到的所述信道状态信息进行连续小波变换，获取小波系数，作为所述时频域特征；将获取的所述小波系数的绝对值生成尺度图；根据所述尺度图创建RGB图像。
在本发明实施例中，对信道状态信息进行连续小波变换提取时频域特征时，因为给每个子载波都要创建时频表示而且获取信号的连续小波变换(Continuous WaveletTransform，CWT)时使用的参数都相同，所以预先计算一个CWT滤波器组。一个子载波有10000个采样点，创建了一个具有10000个样本信号的CWT滤波器组。连续小波变换使用的小波优选为“Morse”小波，当然也可以是其他小波，在此不作限制。进行连续小波变换时，如果小波函数满足条件：(1)/>为一平方可积函数；(2)/>则为一个基本小波，其中/>为/>的傅里叶变换。如果/>且/>按b∈R，a∈R-{0}生成的函数族/>叫做连续小波，a、b均为实数，分别称为尺度和平移因子。尺度a控制小波函数的伸缩，平移量b控制小波函数的平移。尺度a就对应于频率(反比)，平移量b就对应于时间。信号f∈L2的连续小波变换定义为为小波系数。频率的窗口宽度随尺度a的变化而变化，但是窗口面积不变，所以当尺度a越小时对应的频率越高，尺度越大时对应频率越小。将连续小波变换后得到的小波系数的绝对值生成尺度图，然后为每个尺度图创建RGB图像，作为分类的输入。
本发明实施例选用连续小波变换来创建时序数据的时频表示，连续小波变换比起傅里叶变换和短时傅里叶变换能更加精准的描述信号特征的分离，并且连续小波变换的基是可以根据信号变化的，而将时序数据转化为图片作为特征分类可解释性更强，跌到动作和非跌到动作生成的时频表示图可以明显地看出不一样。例如，图5是一个跌倒动作和非跌倒动作的单个子载波的尺度图，可以明显看出两个动作的不同。在非跌倒动作中，低频的细条纹表明频率分辨率较高，条纹的跨度较大，这与非跌倒动作的特点相符。在跌到动作中，高频条纹段的存在与较短的条纹跨度间隔表明此时发生了一个短时的高频事件，即跌倒。
步骤S14：根据所述时频域特征应用训练后的神经网络进行分类判断，确定与所述信道状态信息对应的用户活动是否为跌倒事件。
在本发明实施例中，在步骤S14之前，需要构建根据时频域特征进行分类判断的神经网络，并对构建的神经网络完成训练。可选地，构建所述神经网络的网络结构并初始化网络参数；获取不同室内环境下的历史数据，对所述历史数据进行预处理并提取历史时频域特征数据，并进行跌倒和非跌倒分类，构建训练数据集；将所述训练数据集划分为训练集和测试集，应用所述训练集对所述神经网络进行训练，并应用所述测试集对训练的所述神经网络进行测试；根据所述神经网络的训练结果修改网络参数，获取训练后的所述神经网络。对神经网络进行训练时，将匹配真实结果的测试结果被定义为正确预测(CP)，不匹配真实结果的测试结果被定义为不正确预测(IP)。准确度Accuracy被定义为：
在本发明实施例中，应用迁移学习的方法构建神经网络。当面对某个领域的特定问题时很难找到足够的训练数据，如果能使用从其他数据集训练出来的模型再根据具体问题对其进行修改和完善，就可以反复使用解决数据量不足的问题，此即迁移学习。本发明实施例用已经对图像识别进行过预训练的网络来训练现在的数据。本发明实施例中的神经网络可以为GoogLeNet网络或SqueezeNet网络，当然也可以采用其他的神经网络，在此不作限制。基于迁移学习的神经网络前几层网络可以得到图像的轮廓这也可以用来识别小波变换后生成的尺度图，所以在使用GoogLeNet和SqueezeNet这两个网络时，主要是要修改后几层的网络参数，以适用于本发明使用的数据。
在本发明实施例中，获取不同室内环境下的历史数据时，可选地，在卧室、厨房、浴室、走廊四个不同室内环境分别收集了第一份数据A和第二份数据B，其中所述第二份数据B为对所述第一份数据A的采集环境增加和/或移动了一个环境因素采集的数据。例如，采集的数据参见表1，从第一份数据A到第二份数据B，走廊的发送机比原来的位置移动了0.5m，采集时间间隔7天；在卧室除了跌倒的人外还有另一个人在收集环境中，采集时间间隔33天；厨房除了多一个人外还将视线之内的家具移动了，采集时间间隔33天；浴室多了一个人，并且发送机移动了0.5m，采集时间间隔10天。另外，还在实验室采集了一份数据作为鲁棒性研究的训练环境。分别对采集的多份数据进行预处理并提取历史时频域特征数据，同时对每份数据中对应的各动作进行跌倒和非跌倒分类，构建训练数据集，以用于对神经网络的训练。
表1采集的数据
为了测试本发明中神经网络的准确度，采用了多种方案对神经网络进行训练测试。可选地，对根据所述第一份数据对应得到的数据集和根据所述第二份数据对应得到的数据集进行不同的组合并划分所述训练集和所述测试集，形成所述神经网络的多种训练测试方案。以表1采集的数据为例，可以采用四种方案对神经网络进行训练测试，分别是用A数据集训练A数据集测试，用B数据集训练B数据集测试，用A数据集训练B数据集测试，用实验室(Lab)数据集训练A和B数据集测试。其中，用单一数据集对神经网络进行训练和测试时，可以按预设比例将数据集划分为训练集、验证集以及测试集三部分，优选地，70％用于训练，10％用于验证，20％用于测试。在对神经网络进行训练测试的过程中，使用imageDatastore函数自动根据文件夹名称对图像加标签，如此可以在神经网络的训练过程中高效分批读取图像。
在本发明实施例中，GoogLeNet采用的是Inception的结构，将多个卷积或池化操作放在一起组装成一个网络模块。GoogLeNet使用多个卷积核从图像的不同尺度中提取信息将其融合以获得更好的图像表示。GoogLeNet的主要目的是提高知识的准确性，所以采取了深化网络结构和增强卷积模块功能的方法，但这将导致网络和记忆越来越复杂。使用GoogLeNet神经网络时，要在原有结构上进行修改网络参数。为了防止过拟合现象会采用“dropoutLayer”，它会以给定的概率将输入元素随机设置为零，所以本发明实施例采用了一个概率为0.6的“dropoutLayer”替换掉网络中原有的“pool5-drop_7×7_s1”。GoogLeNet中的“loss3-classifier”和“output”这两层是关于如何提取网络特征，并合并为类概率、损失值和预测标签，所以在用GoogLeNet训练本发明的RGB图像时，需要将这两个层替换成适合数据的新层。本发明实施例将“loss3-classifier”替换成一个滤波器数量等于2的全连接层，因为滤波器数量要和本发明实施例的数据的类数量相等，并且增大学习率因子使得新层的学习速度加快。修改好参数之后训练网络，主要是在设置的迭代次数中，使用梯度下降算法更新下降算法权重使得损失函数最小，本发明实施例使用的损失函数是具有动量的随机梯度下降(SGDM)求解器，训练20轮，一次分析15个信号，学习率因子设为0.0001。图6是在四种不同的训练测试情形中四个不同环境使用GoogLeNet的实验结果，单一数据集中实验结果在90％以上；当环境发生改变时该网络的结果根据环境的不同结果不同，在比较开放的厨房卧室结果比较好，在遮挡较多的浴室结果就不太好。
SqueezeNet可以在不降低神经网络模型准确度的情况下最大限度地提高计算速度并且参数数量减少了几十倍，主要是因为SqueezeNet在挤压和扩展两部分有创新可以降低特征图的维度。当使用这两个网络时需要修改两个网络的参数，因为网络中每一层都可以堪称是一个滤波器，前几层主要是识别图像中更为常见的特征比如颜色和边缘等，而后几层更注重于具体的特征。使用SqueezeNet神经网络时，也要在原有结构上进行修改网络参数。SqueezeNet神经网络的后几层主要是一个“drop9”的丢弃层、一个“conv10”的卷积层、一个‘relu_conv10’的修正线性单元、一个“pool10”的平均池化层、一个“prob”的SoftMax层和一个“Classification Layer-predictions”的分类输出层。同样需要根据本发明实施例的数据来修改参数，主要操作是：先将“drop9”的丢弃层换成概率为0.6的丢弃层；然后将卷积层替换成滤波器数量为2的新层，并增大学习率因子；最后将分类层换成没有标签的新分类层，其他的不做修改。然后用修改好的参数训练SqueezeNet神经网络，采用的参数选项和GoogLeNet类似，使用SGDM求解器，训练15轮，一次分析10个信号，学习率因子设为0.0003。图7是在四种不同的训练测试情形中四个不同环境使用SqueezeNet的实验结果。同样，在单一数据集中的实验结果基本都在95％以上，除了B数据集的浴室环境，可能与此环境中发送机的距离更远了有关；当环境发生改变时，SqueezeNet的结果比GoogLeNet好很多，但是不如GoogLeNet稳定，因此SqueezeNet需要多次训练才能得到稳定的结果。
本发明实施例使用了基于迁移学习训练的卷积神经网络，大多数基于WiFi的CSI的跌倒检测系统大多采用支持向量机(SVM)的方法，支持向量机的缺点在于它难以训练大规模的训练样本，因为SVM本质是使用二次规划来求得支持向量的，对大量样本计算和存储耗费的时间和空间都很大。但是神经网络适用于大量的样本，有很强的非线性拟合能力可以映射出复杂的非线性关系，并且具有很强的鲁棒性和强大的自学习能力，所以本发明实施例中选取预训练好的神经网络作为分类，可以提高分类的准确度。
在本发明实施例中，在步骤S14中，将步骤S13中获取的时频域特征输入训练后的神经网络，如GoogLeNet神经网络或SqueezeNet神经网络，经过神经网络的处理，最后输出与信道状态信息对应的用户活动是否为跌倒事件的分类判断结果。本发明实施例应用基于迁移学习的神经网络进行跌检测，能够弥补样本不足的问题，能够实现对跌倒进行检测，提高可解释性，提高检测准确率。图8展示了本发明实施例中GoogLeNet神经网络和SqueezeNet神经网络与现有跌倒检测系统FallDeFi的检测准确度对比示意图。将在四个不同环境的每一种测试情形取平均值进行对比，在同一数据集训练测试时，本发明实施例中的基于连续小波变换的跌倒检测方法的准确度比FallDeFi系统提高了1％-10％。当在同一环境不同数据集训练测试时，本发明实施例中的基于连续小波变换的跌倒检测方法的准确度比FallDeFi的准确度提高了4％-8％，SqueezeNet神经网络的效果最好，准确度在71％以上。当环境发生改变时，SqueezeNet的结果比FallDeFi系统的准确度提高了1％左右。
本发明实施例通过从发送端和接收端传输的数据中获取原始信道状态信息；对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息；根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征；根据所述时频域特征应用训练后的神经网络进行分类判断，确定与所述信道状态信息对应的用户活动是否为跌倒事件，能够实现对跌倒进行检测，提高检测准确率。
上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，本发明实施例提供了一种基于连续小波变换的跌倒检测装置。如附图9所示，基于连续小波变换的跌倒检测装置包括：信息获取单元、预处理单元、特征提取单元和跌倒检测单元。其中，
信息获取单元，用于从发送端和接收端传输的数据中获取原始信道状态信息；
预处理单元，用于对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息；
特征提取单元，用于根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征；
跌倒检测单元，用于根据所述时频域特征应用训练后的神经网络进行分类判断，确定所述时频域特征对应的用户活动是否为跌倒事件。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备，该电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的方法。
图10示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1001、存储器1002、输入/输出接口1003、通信接口1004和总线1005。其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。
处理器1001可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案。
存储器1002可以采用ROM(Read Only Memory，只读存储器)、RAM(RandomAccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1002可以存储操作系统和其他应用程序，在通过软件或者固件来实现本发明实施例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行。
输入/输出接口1003用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1004用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1005包括一通路，在设备的各个组件(例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1001、存储器1002、输入/输出接口1003、通信接口1004以及总线1005，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明实施例方案所必需的组件，而不必包含图中所示的全部组件。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (5)
1.一种基于连续小波变换的跌倒检测方法，其特征是，所述方法包括：
从发送端和接收端传输的数据中获取原始信道状态信息；
对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息，对预处理后的所述信道状态信息进行相关度分析筛选，其中包括：对预处理后的所述信道状态信息的各子载波进行相关度分析，保留所述信道状态信息中相关性大于第一相关阈值的子载波；对预处理后的所述信道状态信息的各子载波与预设的非跌倒事件的子载波进行相关度分析，删除所述信道状态信息中与非跌倒事件的子载波相关性大于第二相关阈值的子载波；
根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征，对预处理后得到的所述信道状态信息进行连续小波变换，获取小波系数，作为所述时频域特征；将获取的所述小波系数的绝对值生成尺度图；根据所述尺度图创建RGB图像；
根据所述时频域特征应用训练后的神经网络进行分类判断，确定与所述信道状态信息对应的用户活动是否为跌倒事件；
其中，根据所述时频域特征应用训练后的神经网络进行分类判断之前，包括：构建所述神经网络的网络结构并初始化网络参数；获取不同室内环境下的历史数据，在卧室、厨房、浴室、走廊四个不同室内环境分别收集第一份数据和第二份数据，其中所述第二份数据为对所述第一份数据的采集环境增加和/或移动了一个环境因素采集的数据，对所述历史数据进行预处理并提取历史时频域特征数据，并进行跌倒和非跌倒分类，构建训练数据集；将所述训练数据集划分为训练集和测试集，对根据所述第一份数据对应得到的数据集和根据所述第二份数据对应得到的数据集进行不同的组合并划分所述训练集和所述测试集，形成所述神经网络的多种训练测试方案，应用所述训练集对所述神经网络进行训练，并应用所述测试集对训练的所述神经网络进行测试；根据所述神经网络的训练结果修改网络参数，获取训练后的所述神经网络。
2.如权利要求1所述的方法，其特征是，所述对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息，包括：
对所述原始信道状态信息进行线性插值方法补充丢包造成的信息丢失；
将进行线性插值后的所述原始信道状态信息进行离散小波变换去噪。
3.如权利要求1所述的方法，其特征是，所述神经网络为GoogLeNet网络或SqueezeNet网络。
4.一种基于连续小波变换的跌倒检测装置，其特征是，所述装置包括：
信息获取单元，用于从发送端和接收端传输的数据中获取原始信道状态信息，对预处理后的所述信道状态信息进行相关度分析筛选，其中包括：对预处理后的所述信道状态信息的各子载波进行相关度分析，保留所述信道状态信息中相关性大于第一相关阈值的子载波；对预处理后的所述信道状态信息的各子载波与预设的非跌倒事件的子载波进行相关度分析，删除所述信道状态信息中与非跌倒事件的子载波相关性大于第二相关阈值的子载波；
预处理单元，用于对所述原始信道状态信息进行预处理，获取具有动作代表性的信道状态信息；
特征提取单元，用于根据预处理后得到的所述信道状态信息应用连续小波变换提取时频域特征，对预处理后得到的所述信道状态信息进行连续小波变换，获取小波系数，作为所述时频域特征；将获取的所述小波系数的绝对值生成尺度图；根据所述尺度图创建RGB图像；
跌倒检测单元，用于根据所述时频域特征应用训练后的神经网络进行分类判断，确定所述时频域特征对应的用户活动是否为跌倒事件；
其中，根据所述时频域特征应用训练后的神经网络进行分类判断之前，包括：构建所述神经网络的网络结构并初始化网络参数；获取不同室内环境下的历史数据，在卧室、厨房、浴室、走廊四个不同室内环境分别收集第一份数据和第二份数据，其中所述第二份数据为对所述第一份数据的采集环境增加和/或移动了一个环境因素采集的数据，对所述历史数据进行预处理并提取历史时频域特征数据，并进行跌倒和非跌倒分类，构建训练数据集；将所述训练数据集划分为训练集和测试集，对根据所述第一份数据对应得到的数据集和根据所述第二份数据对应得到的数据集进行不同的组合并划分所述训练集和所述测试集，形成所述神经网络的多种训练测试方案，应用所述训练集对所述神经网络进行训练，并应用所述测试集对训练的所述神经网络进行测试；根据所述神经网络的训练结果修改网络参数，获取训练后的所述神经网络。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1至3任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111616085.2A CN114358162B (zh) | 2021-12-27 | 2021-12-27 | 一种基于连续小波变换的跌倒检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111616085.2A CN114358162B (zh) | 2021-12-27 | 2021-12-27 | 一种基于连续小波变换的跌倒检测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114358162A CN114358162A (zh) | 2022-04-15 |
| CN114358162B true CN114358162B (zh) | 2024-02-02 |
Family
ID=81103828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111616085.2A Active CN114358162B (zh) | 2021-12-27 | 2021-12-27 | 一种基于连续小波变换的跌倒检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114358162B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035686A (zh) * | 2022-04-29 | 2022-09-09 | 华南师范大学 | 基于信道状态信息的实时化跌倒检测方法、系统及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289793A (zh) * | 2011-07-19 | 2011-12-21 | 天津理工大学 | 一种面向游牧服务的多尺度图像处理方法 |
| CN103632156A (zh) * | 2013-12-23 | 2014-03-12 | 中南大学 | 基于多尺度邻域相关矩阵的泡沫图像纹理特征提取方法 |
| CN108092754A (zh) * | 2017-11-17 | 2018-05-29 | 中兴通讯股份有限公司 | 一种参考信号信道特征配置方法和装置、及通信设备 |
| CN110503063A (zh) * | 2019-08-28 | 2019-11-26 | 东北大学秦皇岛分校 | 基于沙漏卷积自动编码神经网络的跌倒检测方法 |
| CN111225354A (zh) * | 2020-02-14 | 2020-06-02 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
| CN111556453A (zh) * | 2020-04-27 | 2020-08-18 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM的多场景室内动作识别方法 |
| CN112330924A (zh) * | 2020-11-05 | 2021-02-05 | 北京理工大学 | 一种室内环境下基于信道状态信息的跌倒事件检测方法 |
| CN112333653A (zh) * | 2020-09-22 | 2021-02-05 | 西安电子科技大学 | 基于WiFi信道状态信息的身份智能识别方法、系统 |
| CN113554621A (zh) * | 2021-07-23 | 2021-10-26 | 江苏科技大学 | 基于小波尺度图和深度迁移学习的刀具磨损状态识别系统及识别方法 |
-
2021
- 2021-12-27 CN CN202111616085.2A patent/CN114358162B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289793A (zh) * | 2011-07-19 | 2011-12-21 | 天津理工大学 | 一种面向游牧服务的多尺度图像处理方法 |
| CN103632156A (zh) * | 2013-12-23 | 2014-03-12 | 中南大学 | 基于多尺度邻域相关矩阵的泡沫图像纹理特征提取方法 |
| CN108092754A (zh) * | 2017-11-17 | 2018-05-29 | 中兴通讯股份有限公司 | 一种参考信号信道特征配置方法和装置、及通信设备 |
| CN110503063A (zh) * | 2019-08-28 | 2019-11-26 | 东北大学秦皇岛分校 | 基于沙漏卷积自动编码神经网络的跌倒检测方法 |
| CN111225354A (zh) * | 2020-02-14 | 2020-06-02 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
| CN111556453A (zh) * | 2020-04-27 | 2020-08-18 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM的多场景室内动作识别方法 |
| CN112333653A (zh) * | 2020-09-22 | 2021-02-05 | 西安电子科技大学 | 基于WiFi信道状态信息的身份智能识别方法、系统 |
| CN112330924A (zh) * | 2020-11-05 | 2021-02-05 | 北京理工大学 | 一种室内环境下基于信道状态信息的跌倒事件检测方法 |
| CN113554621A (zh) * | 2021-07-23 | 2021-10-26 | 江苏科技大学 | 基于小波尺度图和深度迁移学习的刀具磨损状态识别系统及识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114358162A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hsieh et al. | Deep learning-based indoor localization using received signal strength and channel state information | |
| JP7154295B2 (ja) | 無線信号の特性の機械学習に基づく動き検出 | |
| CN108629380B (zh) | 一种基于迁移学习的跨场景无线信号感知方法 | |
| CN111368980B (zh) | 状态检测方法、装置、设备及存储介质 | |
| US20180131575A1 (en) | Method for clustering wireless channel mpcs based on a kpd doctrine | |
| CN114359738B (zh) | 一种跨场景鲁棒的室内人数无线检测方法及系统 | |
| CN111526119B (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
| CN110533166B (zh) | 一种基于时空间融合特征的室内定位方法 | |
| CN103020478A (zh) | 一种海洋水色遥感产品真实性检验的方法 | |
| CN112733609B (zh) | 一种基于离散小波变换的领域自适应Wi-Fi手势识别方法 | |
| CN108828548A (zh) | 一种基于fmcw雷达的三参数融合数据集构建方法 | |
| CN107180245A (zh) | 一种室内外场景识别方法及装置 | |
| CN114595732B (zh) | 基于深度聚类的雷达辐射源分选方法 | |
| CN112532746A (zh) | 一种云边协同感知的方法及系统 | |
| CN114358162B (zh) | 一种基于连续小波变换的跌倒检测方法、装置及电子设备 | |
| CN107705359A (zh) | 获取无线信道模型的方法和装置 | |
| CN114048773A (zh) | 一种基于迁移学习和WiFi的行为识别方法及系统 | |
| CN111091147A (zh) | 一种图像分类方法、装置及设备 | |
| Palivonaite et al. | Algebraic segmentation of short nonstationary time series based on evolutionary prediction algorithms | |
| CN109766798A (zh) | 基于经验小波的手势数据处理方法、服务器及感知设备 | |
| CN116343261A (zh) | 基于多模态特征融合与小样本学习的手势识别方法和系统 | |
| CN112711032B (zh) | 一种基于图数据和gcn的雷达目标检测方法及系统 | |
| CN117040983B (zh) | 基于大数据分析的数据共享方法及系统 | |
| CN114358161B (zh) | 一种基于小波散射网络的跌倒检测方法、装置及电子设备 | |
| CN116738144A (zh) | 基于rfid的人体行为检测方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |