CN111860191A - 一种基于信道选择卷积神经网络的人体姿态识别方法 - Google Patents
一种基于信道选择卷积神经网络的人体姿态识别方法 Download PDFInfo
- Publication number
- CN111860191A CN111860191A CN202010589470.1A CN202010589470A CN111860191A CN 111860191 A CN111860191 A CN 111860191A CN 202010589470 A CN202010589470 A CN 202010589470A CN 111860191 A CN111860191 A CN 111860191A
- Authority
- CN
- China
- Prior art keywords
- channel
- neural network
- data
- human body
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000006073 displacement reaction Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 27
- 206010033307 Overweight Diseases 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 claims description 12
- 201000002672 Miura type epiphyseal chondrodysplasia Diseases 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 claims 1
- 230000036544 posture Effects 0.000 description 25
- 238000012544 monitoring process Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种基于信道选择卷积神经网络的人体姿态识别方法，包括：利用移动设备采集人体动作的原始数据，附上动作的标签、利用滑窗和归一化处理并切分为训练样本集和测试样本集、建立基于信道选择卷积神经网络模型，与常规神经网络相比，引入了信道选择卷积核策略，首先是对输入样本利用期望通道损失矩阵判断通道的权重，然后再对权重低的通道进行阻断，权重高的通道进行重分配，为了防止多样性的缺失，在重分配后加入了空间位移经过多层训练后，进行姿态识别。由于空间位移的作用，空间偏置会向中间聚集，所以卷积核相当于被扩大，所以当样本输入时，参数可以被更好的利用，并且保持参数量不变，本发明具有识别精准。
Description
技术领域
本发明属于智能监控领域，尤其涉及一种基于信道选择卷积神经网络的人体姿态识别方法。
背景技术
近年来，随着计算机技术的发展和智能科技的普及，当前已经进入了新一轮的全球科技变革，大规模云计算、物联网、大数据和人工智能等技术也在飞速发展。其中，人体姿态识别技术也在计算机视觉相关领域的一个重要研究趋势。其应用范围十分广泛，可用于健康监视，运动检测，人机交互、影视制作、游戏娱乐等各种领域。人们可以利用人体随身佩戴的传感器来收集人体关节点运动轨迹数据来实现姿态识别，还可以实现3D动画模拟人体运动来制作电影电等。
随着智能可穿戴设备研究的不断发展，基于可穿戴传感器的人体姿态识别已经成为了重要的研究领域，他是通过分析能够反映人体运动行为的相关信息来判断人体运动行为状态的技术。在健康监护、室内定位与导航、用户社交行为分析，体感游戏等。但是目前的人体姿态识别系统大都存在识别精度低，内存使用量大等问题，所以如何建立一个高精度的网络模型同时保持推断速度便成为了亟待解决的问题。
人体姿态识别目前最为广泛的应用是在于智能监控中。智能监控与一般普通监控的区别主要在于将人体姿态识别技术嵌入视频服务器中,运用算法,识别、判断监控画面场景中的动态物体——行人、车辆的行为,提取其中关键信息,当出现异常行为时,及时向用户发出警报。同样,固定场景下的人体姿态识别技术可以应用于家庭监控,如为了预防独居老人摔倒情况的发生,可以通过在家中安装识别摔倒姿态的智能监控设备,对独居老年人摔倒情况的识别,当出现紧急情况时及时做出响应。人类社会的不断发展与生活质量的不断提升,视频监控已经被非常广泛地应用到各个领域,人们生活空间的不断扩大和延展,公共及私人场所的领域也在随之发展,遇到各种突发情况的概率在不断增加,尤其是在公共场所,由于其监控难度较大,人口密集。通过简单的监控,已经无法满足当今社会发展的要求,简单地依靠值班人员的坚守,想要真正做到人体姿态预测还有较大难度,对于社会资源也是一种潜在的浪费。因此,选用独立于个体的智能监控系统已经成为当前社会解决这一根本问题的必由之路,在社交的过程中,人类除了语言以外其肢体动作也能传递一定的信息,通过较为科学合理的预测能够实现动作的含义解读,并且更好帮助人们的实现社交。
深度学习在模式识别上有着很好的发展前景。其中以卷积神经网络为代表的模型架构更是占据了主流地位。卷积神经网络在计算机视觉领域受到极大关注，它不仅可以处理多维数据，而且在大数据量的前提下比传统方法效果更加显。对比传统的机器学习方法，例如逻辑回归，决策树，马尔科夫模型等，精度提高的同时，内存消耗也更多，人体姿态识别更多是应用在小内存和小处理器的基础上。因此节约内存的同时大幅度提高精度是需要进一步研究的。
发明内容
发明目的：因为现在移动设备的兴起，需要更加便携更精确且耗时少的模型来进行人体姿态分类。在保持计算速度、占用内存量不变的基础上，信道选择卷积神经网络可以提升人体姿态分类的精度。
技术方案：本发明提出一种基于信道选择卷积神经网络的人体姿态识别方法，该方法包括如下步骤：
Step1，通过移动传感器采集各活动类别人体姿态动作信号数据(例如躺下，站起，行走，跑步，跌倒等)，设置采样频率并对这些动作信号数据附上相应的动作属性标签；
Step2，对上述采集到的动作信号数据进行数据预处理，并将处理后的数据划分为训练样本集和测试样本集；所述处理包括：数据进行小步长的滑窗处理，减少滑动步长，在同一组数据上可以采样更多次，获取更多数据、将上述处理得到的数据信号进行数据清洗和归一化处理即将其按比例缩放，使之落入特定的(0,1)区间；
Step3，对上述处理后的数据作为输入样本送进信道选择卷积神经网络训练，设置高权重通道数、固定batch大小以后，利用梯度下降不断减小卷积神经网络模型的损失值同时更新各权重参数，最后得到在测试样本集上训练得到神经网络模型；
Step4，将训练好的网络模型保存转换成预设格式文件移植到移动终端上；
Step5，通过移动终端采集待识别的动作信号数据，将所述动作信号数据输入到训练得到神经网络模型识别出人体姿态动作。
进一步的，所述Step1中，降采样频率设定为20Hz-40Hz。
进一步的，所述Step2中，包括对数据进行剔除异常值和空值，并重新整理各个活动类别的数量，使数据集服从于均匀分布，并按照70％和30％分别作为训练样本和测试样本。
进一步的，所述Step3具体包括如下内容：
建立3层卷积神经网络模型，每层均为卷积操作组成，用信道选择卷积层替换传统卷积层；
针对传感器原始数据，采用滑窗技术将多传感器序列沿着时间维度滑动处理，并将经过频率重采样和归一化处理后的新数据送入卷积神经网络，所有的输入数据将会被划分为若干通道，包含大量有效人体姿态信息的通道为高权重通道，含有较少甚至无有效人体姿态信息的通道为低权重通道，高权重的通道会依次替换掉低权重的通道，最后信道选择卷积核重新对输入数据进行卷积操作，可以大幅提升精度。
具体实施如下：
A：使用期望通道损失矩阵判断通道的高低：
为了判断通道的权重，使用期望通道损失矩阵的均值，判断卷积层功能上的差异，期望通道损失矩阵的均值表示为：
ECDM(W；X)i为第i个通道的期望通道损失矩阵的均值，Conv(W；Xi)为第i个卷积层，Conv(W；X)为除去Conv(W；Xi)外的其它卷积层，W为卷积层权重，Xi为第i个输入量，h和w分别为卷积核的高和宽，卷积核在高和宽上差值的期望为Ex，
为高和宽上卷积核差值期望之和的平均值；
B：通道阻断和重分配操作：
一次信道卷积操作能够被表示为：
SelectConv(X；W)∶＝gi.Conv(W；Xi)
SelectConv(X；W)为信道选择卷积层，gi为卷积层的数量参数，X为通道选择卷积层输入量，W为信道选择卷积层的权重，设定一个期望通道水平γ∈(0,1)，当ECDM(W；X)i<γ时，则代表第i个通道为低权重通道，当ECDM(W；X)i>γ时，则代表第i个通道为高权重通道，设置低权重通道数量为N，高权重通道数也为N，将N个高权重的通道覆盖到N个低权重通道的操作称为重分配；
C：空间位移操作：
加入了空间位移，空间位移函数可表示为：
shift(Xn,bh)h为重分配时卷积核在高h的空间位移函数，bh为重分配时卷积核高h上的偏置，Xn为神经网络在高h上的输入，|Xn+bh|为Xn与卷积核高h上的偏置bh和的绝对值，送入取大函数max中取1-|Xn+bh|与0对比并取出较大值。在高h上对Xn和取大函数max(0,1-|Xn+bh|)的乘积求和，求和时高记为n。
shift(Xm,bw)w为重分配时卷积核在宽w的空间位移函数，bw为重分配时卷积核宽w上的偏置，Xm为神经网络在宽w上的输入，|Xm+bw|为Xm与卷积核宽w上的偏置bw和的绝对值，送入取大函数max中取1-|Xm+bw|与0对比并取出较大值。在宽w上对Xm和取大函数max(0,1-|Xm+bw|)的乘积求和，求和时宽记为m。
将信道选择卷积操作表示为：
SelectChannel(X，gi)∶＝gi×shift(X,b)
SelectChannel(X，gi)为信道选择操作；
3.2，导入训练样本调节卷积神经网络模型参数，对神经网络模型进行训练。
进一步的，所述卷积神经网络模型中，第一层卷积核尺寸为(6，1)，步长为为(3，1)；第二层卷积核尺寸为(6，1)，步长为(3，1)；第三层卷积核尺寸为(6，1)，步长为(3，1)；卷积层填充设置为(1，1)，激活函数均使用ReLu并逐层加入BatchNorm以减少过拟合。
有益效果：与现有技术相比，本发明得技术方案具有如下有益效果：
利用移动设备的内置传感器采集各类人体动作的原始数据，并附上动作的属性标签、利用滑窗和归一化处理并切分为训练样本集和测试样本集、建立基于信道选择卷积神经网络模型，与常规神经网络的不同之处在于，该实施引入了信道选择卷积核策略，首先是对输入样本利用期望通道损失矩阵判断通道的重要程度，然后再对重要程度低的通道进行阻断，重要程度高的通道进行重分配，为了防止多样性的缺失，在重分配时加入了空间位移，这样就完成了信道选择，经过多层训练后，进行姿态识别。由于空间位移的作用，空间偏置会向中间聚集，所以卷积核相当于被扩大，所以当样本输入时，参数可以被更好的利用，并且保持参数量不变，本发明具有识别精准、节约内存，同时在运动检测，人机交互和健康监视等方面具有十分重要的作用。
附图说明
图1是本发明的流程图；
图2是本发明的原理图；
图3是本发明原始三轴加速度数据的小批次波形图；
图4是本发明中路由权重的频数分布图；
图5是本发明训练次数对应的精度变化图；
图6是本发明测试数据集的混淆矩阵图。
具体实施方式
以下将结合附图和具体实施，对本发明的技术方案及效果进行详细说明。
本发明提出一种基于条件计算的卷积神经网络用于可穿戴式设备的人体姿态识别方法，包括如下步骤：
Step1，招募志愿者，并佩戴移动传感器，记录志愿者不同身体部位(如腕部、胸部、腿部等)动作(如站立、坐下、上楼梯、下楼梯、跳跃、走路等)下的三轴加速度数据，并对这些动作信号数据附上相应的动作类别标签；
Step2，对采集到的三轴加速度数据进行数据清洗和去除噪声，将清洗后的数据进行频率重采样处理，经过归一化处理后将数据分为训练集和测试集，所述频率重采样处理和归一化处理为：数据进行时间序列信号频率降采样排列为数据信号图、将上述处理得到的数据信号图进行归一化处理即将其按比例缩放，使之落入特定的(0,1)区间；
Step3，上述处理后的数据是一个四维张量，同时包含了数据、特征以及通道信息。接下来，并将上述处理后的数据作为输入样本送进卷积神经网络训练，设置好批次大小和学习率，利用反向传播技术自动更新权重参数，以得到最优卷积神经网络模型；
Step4，将训练好的网络模型保存转换成预设格式文件移植到移动终端上；
Step5，通过移动终端采集待识别的动作信号数据，将所述动作信号数据输入到训练得到神经网络模型识别出人体姿态动作。
本发明基于卷积神经网络用于可穿戴式设备的人体姿态识别方法，能对跳跃，走路，上楼，下楼，站立，坐下六种动作姿态进行识别。
图1为发明对象的流程图，从原始传感器数据采集，经过数据预处理后输入到卷积神经网络进行模型训练，并将训练后得到的理想模型应用于移动智能终端上，以此实现人体姿态的辨别。
图2为基于信道选择卷积神经网络模型的结构图。其中包含了三层卷积和最后的分类层。图包含了条件计算的内部结构，即将除第一层外的普通卷积层都换为信道选择卷积层，最后用信道选择卷积层对输入进行卷积操作。
具体来说，单纯的阻断重要程度低的通道和重分配重要程度高的通道，会导致卷积核的多样性缺失，尺寸过于单一，对精度会有所损害，所以加入卷积核的空间位移来提高多样性且可以达到扩大卷积核的效果。卷积神经网络模型中，第一层卷积核尺寸为(6，1)，步长为为(3，1)；第二层卷积核尺寸为(6，1)，步长为(3，1)；第三层卷积核尺寸为(6，1)，步长为(3，1)；卷积层填充设置为(1，1)。激活函数均使用ReLu并逐层加入BatchNorm以减少过拟合可能性。由于信道选择卷积层可以直接替换普通卷积层，由于第一层输入通道只有一个，所以信道选择卷积层无法起作用，所以我们将除第一层外的普通卷积层全部替换为信道选择卷积层，最后加上全连接层，可以获得更加精确的分类效果。
基于上述问题，该发明将原本的计算公式进行了改进。
具体实施如下：
A：使用期望通道损失矩阵判断通道的高低：
为了判断通道的权重，使用期望通道损失矩阵的均值，判断卷积层功能上的差异，期望通道损失矩阵的均值表示为：
ECDM(W；X)i为第i个通道的期望通道损失矩阵的均值，Conv(W；Xi)为第i个卷积层，Conv(W；X)为除去Conv(W；Xi)外的其它卷积层，W为卷积层权重，Xi为第i个输入量，h和w分别为卷积核的高和宽，卷积核在高和宽上差值的期望为Ex，
为高和宽上卷积核差值期望之和的平均值；
B：通道阻断和重分配操作：
一次信道卷积操作能够被表示为：
SelectConv(X；W)∶＝gi.Conv(W；Xi)
SelectConv(X；W)为信道选择卷积层，gi为卷积层的数量参数，X为通道选择卷积层输入量，W为信道选择卷积层的权重，设定一个期望通道水平γ∈(0,1)，当ECDM(W；X)i<γ时，则代表第i个通道为低权重通道，当ECDM(W；X)i>γ时，则代表第i个通道为高权重通道，设置低权重通道数量为N，高权重通道数也为N，将N个高权重的通道覆盖到N个低权重通道的操作称为重分配；
C：空间位移操作：
加入了空间位移，空间位移函数可表示为：
shift(Xn,bh)h为重分配时卷积核在高h的空间位移函数，bh为重分配时卷积核高h上的偏置，Xn为神经网络在高h上的输入，|Xn+bh|为Xn与卷积核高h上的偏置bh和的绝对值，送入取大函数max中取1-|Xn+bh|与0对比并取出较大值。在高h上对Xn和取大函数max(0,1-|Xn+bh|)的乘积求和，求和时高记为n。
shift(Xm,bw)w为重分配时卷积核在宽w的空间位移函数，bw为重分配时卷积核宽w上的偏置，Xm为神经网络在宽w上的输入，|Xm+bw|为Xm与卷积核宽w上的偏置bw和的绝对值，送入取大函数max中取1-|Xm+bw|与0对比并取出较大值。在宽w上对Xm和取大函数max(0,1-|Xm+bw|)的乘积求和，求和时宽记为m。
将信道选择卷积操作表示为：
SelectChannel(X，gi)∶＝gi×shift(X,b)
SelectChannel(X，gi)为信道选择操作；
3.2，导入训练样本调节卷积神经网络模型参数，得到高准确率的模型；
特别地，所述卷积神经网络模型中，第一层卷积核尺寸为(6，1)，步长为为(3，1)；第二层卷积核尺寸为(6，1)，步长为(3，1)；第三层卷积核尺寸为(6，1)，步长为(3，1)；卷积层填充设置为(1，1)。激活函数均使用ReLu并逐层加入BatchNorm以减少过拟合可能性。网络训练中采用动态学习率确保曲线震荡小，初始学习率设置为0.001，设置为指数衰减
对比普通的卷积神经网络，本实施能够在与普通卷积相同的浮点率下大幅度提高运算精度，模型每次卷积可以对参数更好的利用，减少无用参数占用的内存。通过实验对比可知，该实施在精度上能够明显优于传统的卷积神经网络并且内存占用量不变。
图3是原始传感器三轴加速度数据的小批次波形图。移动传感器的下采样频率优选设定在33Hz左右。
图4是各层上的空间位移图，可以看到偏置有向中间聚集的趋势。
图5是该神经网络模型经过200epochs训练后得到的错误率变化图。
图6是本实施测试集混淆矩阵图，混淆矩阵是用于总结分类算法性能的技术。如果每个类中的样本数量不等，或者数据集中有两个以上的类，则仅用分类准确率作为评判标准的话可能会产生误导。计算混淆矩阵可以让我们更好地了解分类模型的表现情况以及它所犯的错误的类型。在图中我们可以看到，横轴是预测的结果，纵轴是真实的标签结果，主对角线上即为预测结果和真实结果相同的样本数量。
通过对混淆矩阵进行分析，可以得出卷积神经网络模型对不同动作的识别精度情况，从而帮助修改网络参数。最后的模型分类精度为98.52满足实际应用的要求，可将该模型移植到智能终端上使用。
需要说明的是，本发明实施例中的人体姿态识别装置具体可以集成在智能移动终端中，上述智能终端具体可以是智能手机、智能手表等终端，此处不作限定。
由上可见，本发明实施例中的人体姿态识别装置通过采集智能终端的加速度数据，然后对采集到的数据进行时间序列信号频率降采样和归一化处理，并将预处理后的数据输入到一个人体姿态识别神经网络模型，最后得到人体姿态识别结果。由于人体姿态识别模型是基于预设的训练集合卷积神经网络训练得到，因此，通过将加速度数据预处理后输入已训练好的人体姿态识别模型，即可实现对人体姿态的识别，从而实现了基于加速度数据的非视觉手段的人体姿态识别。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (7)
1.一种基于信道选择卷积神经网络的人体姿态识别方法，其特征在于，该方法包括如下步骤：
Step1，通过移动传感器采集各活动类别人体姿态动作信号数据，并对这些动作信号数据附上相应的动作属性标签；
Step2，对上述采集到的动作信号数据进行数据预处理，并将处理后的数据划分为训练样本集和测试样本集；
Step3，对上述处理后的数据作为输入样本送进信道选择卷积神经网络训练，设置期望通道水平、固定批次大小以后，利用梯度下降不断减小卷积神经网络模型的损失值同时更新各权重参数，直到训练模型符合要求，最后在测试样本集上训练得到神经网络模型；
Step4，将训练好的网络模型保存转换成预设格式文件移植到移动终端上；
Step5，通过移动终端采集待识别的动作信号数据，将所述动作信号数据输入到训练得到神经网络模型识别出人体姿态动作。
2.根据权利要求1所述的一种基于信道选择卷积神经网络的人体姿态识别方法，其特征在于，Step2中，所述处理包括：数据进行滑窗处理，通过滑窗处理将一串时序型的数据变成数个或者多个具有时序性的片段；将上述处理得到的数据进行数据异常处理和归一化处理，然后将其按比例缩放，使之落入(0，1)区间。
3.根据权利要求1或2所述的一种基于信道选择卷积神经网络的人体姿态识别方法，其特征在于，所述Step1中，降采样频率设定为20Hz-40Hz。
4.根据权利要求1或2所述的一种基于信道选择卷积神经网络的人体姿态识别方法，其特征在于，所述Step2中，包括对数据进行剔除异常值和空值，并重新整理各个活动类别的数量，使数据集服从于均匀分布，按照一定比例对数据集进行分配作为训练样本和测试样本。
5.根据权利要求1所述的一种基于信道选择卷积神经网络的人体姿态识别方法，其特征在于，所述Step3具体包括如下内容：
(5.1)建立3层卷积神经网络模型，每层均为卷积操作组成，用信道选择卷积层替换传统卷积层；
(5.2)针对传感器采集的原始数据，采用滑窗技术将多传感器序列沿着时间维度滑动处理，并将经过频率重采样和归一化处理后的新数据送入卷积神经网络，所有的输入数据将会被划分为若干通道，设定阈值判断每个通道是否为有效人体姿态信息的通道，将有效人体姿态信息通道作为高权重通道，将无效人体姿态信息通道作为低权重通道，将高权重通道依次替换低权重通道，最后信道选择卷积核重新对输入数据进行卷积操作。
6.根据权利要求1所述的一种基于信道选择卷积神经网络的人体姿态识别方法，其特征在于，步骤(5.2)中的通道判断以及卷积操作如下：
A：使用期望通道损失矩阵判断通道的高低：
为了判断通道的权重，使用期望通道损失矩阵的均值，判断卷积层功能上的差异，期望通道损失矩阵的均值表示为：
ECDM(W；X)i为第i个通道的期望通道损失矩阵的均值，Conv(W；Xi)为第i个卷积层，Conv(W；X)为除去Conv(W；Xi)外的其它卷积层，W为卷积层权重，Xi为第i个输入量，h和w分别为卷积核的高和宽，卷积核在高和宽上差值的期望为Ex，
为高和宽上卷积核差值期望之和的平均值；
B：通道阻断和重分配操作：
一次信道卷积操作能够被表示为：
SelectConv(X；W)：＝gi·Conv(W；Xi)
SelectConv(X；W)为信道选择卷积层，gi为卷积层的数量参数，X为通道选择卷积层输入量，W为信道选择卷积层的权重，设定一个期望通道水平γ∈(0，1)，当ECDM(W；X)i＜γ时，则代表第i个通道为低权重通道，当ECDM(W；X)i＞γ时，则代表第i个通道为高权重通道，设置低权重通道数量为N，高权重通道数也为N，将N个高权重的通道覆盖到N个低权重通道的操作称为重分配；
c：空间位移操作：
加入了空间位移，空间位移函数可表示为：
shift(Xn，bh)h为重分配时卷积核在高h的空间位移函数，bh为重分配时卷积核高h上的偏置，Xn为神经网络在高h上的输入，|Xn+bh|为Xn与卷积核高h上的偏置bh和的绝对值，送入取大函数max中取1-|Xn+bh|与0对比并取出较大值，在高h上对Xn和取大函数max(0，1-|Xn+bh|)的乘积求和，求和时高记为n；
shift(Xm，bw)w为重分配时卷积核在宽w的空间位移函数，bw为重分配时卷积核宽w上的偏置，Xm为神经网络在宽w上的输入，|Xm+bw|为Xm与卷积核宽w上的偏置bw和的绝对值，送入取大函数max中取1-|Xm+bw|与0对比并取出较大值，在宽w上对Xm和取大函数max(0，1-|Xm+bw|)的乘积求和，求和时宽记为m；
将信道选择卷积操作表示为：
SelectChannel(X，gi)：＝gi×shift(X，b)
SelectChannel(X，gi)为信道选择操作；
3.2，导入训练样本调节卷积神经网络模型参数，对神经网络模型进行训练。
7.根据权利要求5或6所述的一种基于信道选择卷积神经网络的人体姿态识别方法，其特征在于，所述卷积神经网络模型中，第一层卷积核尺寸为(6，1)，步长为(3，1)；第二层卷积核尺寸为(6，1)，步长为(3，1)；第三层卷积核尺寸为(6，1)，步长为(3，1)，卷积层填充设置为(1，1)，激活函数均使用ReLu并逐层加入BatchNorm以减少过拟合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589470.1A CN111860191A (zh) | 2020-06-24 | 2020-06-24 | 一种基于信道选择卷积神经网络的人体姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010589470.1A CN111860191A (zh) | 2020-06-24 | 2020-06-24 | 一种基于信道选择卷积神经网络的人体姿态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860191A true CN111860191A (zh) | 2020-10-30 |
Family
ID=72989784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010589470.1A Pending CN111860191A (zh) | 2020-06-24 | 2020-06-24 | 一种基于信道选择卷积神经网络的人体姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860191A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
| CN108345846A (zh) * | 2018-01-29 | 2018-07-31 | 华东师范大学 | 一种基于卷积神经网络的人体行为识别方法及识别系统 |
| CN109726662A (zh) * | 2018-12-24 | 2019-05-07 | 南京师范大学 | 基于卷积和循环组合神经网络的多类别人体姿态识别方法 |
-
2020
- 2020-06-24 CN CN202010589470.1A patent/CN111860191A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
| CN108345846A (zh) * | 2018-01-29 | 2018-07-31 | 华东师范大学 | 一种基于卷积神经网络的人体行为识别方法及识别系统 |
| CN109726662A (zh) * | 2018-12-24 | 2019-05-07 | 南京师范大学 | 基于卷积和循环组合神经网络的多类别人体姿态识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| JONGHEON JEONG等: "《Training CNNs with Selective Allocation of Channels》", 《HTTPS://DOI.ORG/10.48550/ARXIV.1905.04509》, 11 May 2019 (2019-05-11), pages 1 - 15 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Wearable sensor-based human activity recognition using hybrid deep learning techniques | |
| CN110309861B (zh) | 一种基于生成对抗网络的多模态人类活动识别方法 | |
| Singh et al. | A deeply coupled ConvNet for human activity recognition using dynamic and RGB images | |
| CN108960337B (zh) | 一种基于深度学习模型的多模态复杂活动识别方法 | |
| Ghasemzadeh et al. | Physical movement monitoring using body sensor networks: A phonological approach to construct spatial decision trees | |
| US20160259980A1 (en) | Systems and methodologies for performing intelligent perception based real-time counting | |
| CN111860188A (zh) | 一种基于时间和通道双注意力的人体姿态识别方法 | |
| CN111539941B (zh) | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 | |
| Hou | A study on IMU-based human activity recognition using deep learning and traditional machine learning | |
| CN112560723B (zh) | 一种基于形态识别与速度估计的跌倒检测方法及系统 | |
| CN111753683A (zh) | 一种基于多专家卷积神经网络的人体姿态识别方法 | |
| KR102637133B1 (ko) | 온-디바이스 활동 인식 | |
| CN109583331B (zh) | 基于深度学习的人手腕脉口位置精准定位方法 | |
| CN109685037A (zh) | 一种实时动作识别方法、装置及电子设备 | |
| CN111160462A (zh) | 一种基于多传感器数据对齐的无监督个性化人类活动识别方法 | |
| CN112464738A (zh) | 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法 | |
| Dhanraj et al. | Efficient smartphone-based human activity recognition using convolutional neural network | |
| Khatun et al. | Human activity recognition using smartphone sensor based on selective classifiers | |
| Raj et al. | Different techniques for human activity recognition | |
| CN113642432A (zh) | 基于协方差矩阵变换的卷积神经网络用于人体姿态识别方法 | |
| Ishwarya et al. | Performance-enhanced real-time lifestyle tracking model based on human activity recognition (PERT-HAR) model through smartphones | |
| CN111860191A (zh) | 一种基于信道选择卷积神经网络的人体姿态识别方法 | |
| CN111797289A (zh) | 模型处理方法、装置、存储介质和电子设备 | |
| Tao et al. | Attention-based convolutional neural network and bidirectional gated recurrent unit for human activity recognition | |
| CN114821767A (zh) | 基于动态时间扭曲的图卷积神经网络动作识别方法、电子设备及储存介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |