CN115329800A - 一种基于解耦训练的卷积神经网络活动识别方法 - Google Patents

Abstract

本发明涉及一种基于解耦训练的卷积神经网络活动识别方法，包括：采集人体活动信号数据，对所述人体活动信号数据进行标记，获得活动类型；设置滑动窗口和重叠率为固定长度，基于所述滑动窗口和所述重叠率对所述人体活动信号数据进行预处理，获得样本数据；将所述样本数据输入到RepHAR解耦网络中进行训练，将训练完成的所述RepHAR解耦网络导入可穿戴识别设备，获取活动识别结果；本发明可同时具备多分枝网络高精度和普通网络的实时性优点，实现了速度和精度均衡的活动识别应用。

Description

一种基于解耦训练的卷积神经网络活动识别方法

技术领域

本发明涉及人工智能技术领域，特别是涉及一种基于解耦训练的卷积神经网络活动识别方法。

背景技术

传感技术和可穿戴设备的不断改进，推动了人类活动识别在智能医疗领域从概念到实施的过程。与使用基于视觉方法的人体活动识别相比，基于可穿戴传感器的活动识别方法可以为用户提供高度的舒适性和隐私性。基于可穿戴和移动传感器监测实时的日常活动，特别是老年人的跌倒和事故，在智能医疗中意义重大。

近年来，研究人员将注意力转向了基于深度学习的人体活动方法，这些方法避免了手工提取特征，在不增加劳动设计成本的情况下实现了有效的性能增益。深度神经网络，特别是卷积神经网络，已经在各种活动识别任务中获得了成功。因此，计算机视觉研究正在从特征工程过渡到精心设计的网络工程，这使得模型架构越来越复杂。研究人员最近发现，多分支架构在相同的网络架构深度下，可以比单路径模型提供更好的识别结果，因为多分支架构在对偶性差距方面的非凸性更小。然而，盲目追求准确性的提高是不明智的，因为这也给硬件受限的物联网设备带来了更高的延迟和沉重的计算代价。

根据当前署名发明人的工作发现，基于复杂卷积神经网络的算法模型，提升识别精度的同时将引入极大的计算负担，这导致低成本、弱运算的可穿戴识别设备严重的推理延迟，因此难以部署和推广。另一方面，虽然基于朴素卷积神经网络模型框架可实现低延迟的推理要求，但因有限的特征提取能力，推理精度难以满足识别要求。因此，本发明提供了一种基于解耦训练的卷积神经网络活动识别方法。

发明内容

本发明的目的是提供一种基于解耦训练的卷积神经网络活动识别方法，以实现速度和精度的均衡识别，降低可穿戴识别设备的硬件门槛。

为实现上述目的，本发明提供了如下方案：

一种基于解耦训练的卷积神经网络活动识别方法，包括：

采集人体活动信号数据，对所述人体活动信号数据进行标记，获得活动类型；

设置滑动窗口和重叠率为固定长度，基于所述滑动窗口和所述重叠率对所述人体活动信号数据进行预处理，获得样本数据；

将所述样本数据输入到RepHAR解耦网络中进行训练，将训练完成的所述RepHAR解耦网络导入可穿戴识别设备，获取活动识别结果；

其中，所述RepHAR解耦网络通过结构重参数化方法将模型解耦为多分支网络和卷积神经网络。

优选地，采集所述人体活动信号数据，对所述人体活动信号数据进行标记，获得活动类型包括：

利用可穿戴传感器采集人体活动信号数据，通过录制视频对不同动作类型进行时间戳种类标注。

优选地，采集的所述人体活动信号数据包括加速度信号、陀螺仪信号、磁力计信号。

优选地，对所述滑动窗口和重叠率设置固定长度，包括：

根据采集设备的采样频率计算时间间隔，所述采样频率根据动作类型进行设置；基于所述时间间隔将所述滑动窗口的长度设置为所述采样频率倒数的整倍数，所述重叠率的长度设置为固定阈值，其中所述采集设备为可穿戴传感器。

优选地，对所述人体活动信号数据进行预处理包括：

将采集的所述活动信号数据进行降噪、归一化处理，获得所述样本数据，将所述样本数据输入到所述RepHAR解耦网络中进行训练。

优选地，所述RepHAR解耦网络包括训练子网络和推理子网络；所述训练子网络包括主卷积层、子卷积层和第一全连接层，所述主卷积层和所述子卷积层为并行双拓扑结构，所述主卷积层和所述子卷积层内分别进行特征提取且互不干涉，并通过反向传播算法进行参数更新；所述推理子网络包括整合卷积层和第二全连接层，其中，所述整合卷积层为重参数解耦算法所得；所述RepHAR解耦网络通过最终输出的得分值判断对应的活动类型。

优选地，当所述训练子网络的训练精度满足要求后结束训练循环，即满足给定停机准则后，生成模型网络识别文件，若所述训练精度不满足所述停机准则，则通过超参数调节方法增加识别精度；其中，所述模型网络识别文件用于移植到具备神经网络处理单元的可穿戴识别设备上进行活动识别。

优选地，所述可穿戴识别设备包括但不限于智能手表、智能手机、专业传感器设备以及其他具备神经网络处理单元的识别装置。

优选地，所述RepHAR解耦网络为：

其中，F⁽²⁾为输出特征图，W’_i为等效权重，b’_i为等效偏执。

本发明的有益效果为：

本发明相比于传统的静态的活动识别模型，基于精度和速度权衡的RepHAR解耦网络是一种动态识别网络，可灵活地将网络结构进行解耦重组；本发明可同时具备多分枝网络高精度和普通网络的实时性优点，实现了速度和精度均衡的活动识别应用；本发明中的解耦网络无需高计算力的可穿戴识别设备，极大降低了应用门槛，可方便移植到如智能手机、智能手表等常见移动设备，满足时代发展潮流。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的人体活动识别流程图；

图2为本发明实施例的RepHAR解耦网络原理图；

图3为本发明实施例的RepHAR解耦网络算法原理图；

图4为本发明实施例中训练300次后的精度图；

图5为本发明实施例的RepHAR解耦网络混淆矩阵图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例提供一种基于解耦训练的卷积神经网络活动识别方法，具体包括：

S1，召集多名志愿者，年龄范围为18-60岁，每位志愿者需佩戴可穿戴传感器执行每一种目标动作，通过记录视频的时间戳对活动类型进行标注；

S2，根据采集设备的采样频率设置合理长度的滑动窗口、重叠率，并对数据进行归一化处理，最终按照比例将数据分割为验证集、测试集、训练集；

S3，经过数据预处理后的子序列传感器数据被送入RepHAR解耦网络活动训练，并对人体活动类型进行分类，将训练完成的模型网络保存为pb文件；

S4，将训练完成的模型网络导入可穿戴识别设备，得到实时准确的活动识别结果。

本发明基于精度和速度权衡的RepHAR解耦网络活动识别方法，能对但不限于跌倒，走路，跳绳，上楼，下楼等多种动作类型进行识别。

图1为人体活动识别方法的流程图，从可穿戴传感器收集人体活动时序信号后，并通过降噪、归一化后送入本发明的RepHAR解耦网络进行模型训练，将训练完成后的模型网络移植到具备神经网络处理单元的可穿戴识别设别，最终实现实时识别人体动作的目的。

图2为RepHAR解耦网络结构图，主要包括：训练阶段和推理阶段，训练阶段为多分支卷积神经网络，合计三层主卷积层、三层子卷积层，一个全连接层；推理阶段为重参数技术整合后的卷积网络，合计包括三层整合卷积层，一个全连接层。

双分支网络为并行双拓扑结构，主、子网络内分别进行特征提取且互不干涉，主、子网络参数更新依赖反向传播算法。所述推理阶段中包括整合卷积网络和第二全连接层，其中整合卷积网络为重参数解耦算法所得，推理过程不涉及参数更新，仅进行前向推理过程，所述RepHAR解耦网络通过最终输出的得分值判断对应的活动类型。

本实施例中，根据可穿戴传感器的设备采样率计算时间间隔，窗口长度设置为时间4倍，重叠率取50％，收集的活动时序信号包括但不限于加速度信号、陀螺仪信号、磁力计信号等。采样频率主要根据实际动作类型特点和设备采样频率自行设置合适的值，此处不做限定。

为了训练RepHAR解耦网络，本发明将采集到的样本分为三类，数据中的p％作为训练样本，q％作为测试样本，r％作为验证样本，满足p％+q％+r％＝100％，且60％≤p％≤70％，20％≤q％≤25％，5％≤r％≤20％。

本发明注重应用于可穿戴活动识别的RepHAR解耦网络核心算法，参照图3算法原理解释图。其数学推理及表达式如下：

其中F(B，h1，w1，C1)表示特征图，B为训练批次，h1，w1分别表示高和宽，C1为传感器通道数。BN为批量归一化操作，W¹表示输入特征，μ，σ，γ，β,分别表示BN操作中累积的均值、标准差、倾斜比例因子和偏置。上标(1)表示主干网络，上标(a1)表示支干网络。

忽略非零常数项，那么第i个(1≤i≤c2)通道的BN公式为：

根据卷积的可放缩性质，上述方程(2)可等效地转化为：

根据卷积网络的分配律，上述方程(3)可等效地转化为：

其中F⁽²⁾为输出特征图，W’_i为等效权重，b’_i为等效偏执。

第一层主分支卷积核尺寸为(6，1)，第一层子分支卷积核尺寸为(3，1)；第二层主分支卷积核尺寸为(6，2)，第二层子分支卷积核尺寸为(3，2)；第三层主分支卷积核尺寸为(6，1)，第三层子分支卷积核尺寸为(3，1)；全连接层神经元为512，最后由得分值判断属于对应活动类型；学习率采用动态衰减学习率，初始学习率为0.001。

RepHAR解耦网络分为两个阶段，训练阶段和推理阶段。训练阶段为多分支拓扑结构，训练批次设置为200次，每次输入的批次大小为200。图4为RepHAR解耦网络在四个公开数据上的测试精度图。

当RepHAR解耦网络训练满足停机准则后，可生成模型网络pb文件，将该文件移植到具备神经网络计算处理单元的可穿戴识别设备上使用。当训练精度不能达到预期标准，可通过RepHAR解耦网络的超参数调节增加识别精度。图5为RepHAR解耦网络在人体活动数据集上的混淆矩阵图。

本发明提出了一种资源-效率均衡的动态网络用于低成本、硬件受限的人体活动识别任务。通过人体活动识别中的结构化重参数算法将模型解耦为训练阶段和推理阶段，使模型同时具备普通网络的快速性和多分支拓扑网络的精准性，实现了速度和精度的有效平衡，降低了在低成本、硬件受限的移动可穿戴识别设备的硬件门槛，极大拓宽了可穿戴传感器识别在医疗健康、智能家居、运动辅助等领域的部署和应用。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于解耦训练的卷积神经网络活动识别方法，其特征在于，包括：

采集人体活动信号数据，对所述人体活动信号数据进行标记，获得活动类型；

设置滑动窗口和重叠率为固定长度，基于所述滑动窗口和所述重叠率对所述人体活动信号数据进行预处理，获得样本数据；

将所述样本数据输入到RepHAR解耦网络中进行训练，将训练完成的所述RepHAR解耦网络导入可穿戴识别设备，获取活动识别结果；

其中，所述RepHAR解耦网络通过结构重参数化方法将模型解耦为多分支网络和卷积神经网络。

2.根据权利要求1所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，采集所述人体活动信号数据，对所述人体活动信号数据进行标记，获得活动类型包括：

利用可穿戴传感器采集人体活动信号数据，通过录制视频对不同动作类型进行时间戳种类标注。

3.根据权利要求2所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，采集的所述人体活动信号数据包括加速度信号、陀螺仪信号、磁力计信号。

4.根据权利要求1所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，对所述滑动窗口和重叠率设置固定长度，包括：

根据采集设备的采样频率计算时间间隔，所述采样频率根据动作类型进行设置；基于所述时间间隔将所述滑动窗口的长度设置为所述采样频率倒数的整倍数，所述重叠率的长度设置为固定阈值，其中所述采集设备为可穿戴传感器。

5.根据权利要求1所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，对所述人体活动信号数据进行预处理包括：

将采集的所述活动信号数据进行降噪、归一化处理，获得所述样本数据，将所述样本数据输入到所述RepHAR解耦网络中进行训练。

6.根据权利要求1所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，所述RepHAR解耦网络包括训练子网络和推理子网络；所述训练子网络包括主卷积层、子卷积层和第一全连接层，所述主卷积层和所述子卷积层为并行双拓扑结构，所述主卷积层和所述子卷积层内分别进行特征提取且互不干涉，并通过反向传播算法进行参数更新；所述推理子网络包括整合卷积层和第二全连接层，其中，所述整合卷积层为重参数解耦算法所得；所述RepHAR解耦网络通过最终输出的得分值判断对应的活动类型。

7.根据权利要求6所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，当所述训练子网络的训练精度满足要求后结束训练循环，即满足给定停机准则后，生成模型网络识别文件，若所述训练精度不满足所述停机准则，则通过超参数调节方法增加识别精度；其中，所述模型网络识别文件用于移植到具备神经网络处理单元的可穿戴识别设备上进行活动识别。

8.根据权利要求7所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，所述可穿戴识别设备包括但不限于智能手表、智能手机、专业传感器设备以及其他具备神经网络处理单元的识别装置。

9.根据权利要求1所述的基于解耦训练的卷积神经网络活动识别方法，其特征在于，所述RepHAR解耦网络为：

其中，F⁽²⁾为输出特征图，W’_i为等效权重，b’_i为等效偏执。

Images