CN106599988A - 一种智能可穿戴设备行为数据的多级语义特征提取方法 - Google Patents

Abstract

本发明公开一种智能可穿戴设备行为数据的多级语义特征提取方法，包括如下步骤：S101、构建单级行为空间，找到行为空间下的一组基；S102、构建多级行为空间，从不同的粒度分析行为数据；S103、提取行为数据在多级行为空间下的多级语义特征。本发明无需人工对数据进行标注，在极大减少人力成本的同时可以适用于任何行为；同时，提取出的语义特征可以从不同粒度上对行为进行分析，可以保证很高的识别精度。本发明与传统的基于预定义特征空间的方法相比准确度有大幅提高，而和现有基于有监督的深度神经网络的方法相比，本发明甚至能提供更高的识别准确度。

Description

一种智能可穿戴设备行为数据的多级语义特征提取方法

技术领域

本发明涉及移动感知领域，尤其涉及一种智能可穿戴设备行为数据的多级语义特征提取方法。

背景技术

近年来，因为通信技术、传感器技术和嵌入式计算技术的日益成熟，智能可穿戴设备如智能手表、手环等市场得到飞速发展。相比于智能手机，智能可穿戴设备更加贴近使用者的日常生活且更容易被使用者长时间佩戴。因此，通过智能可穿戴设备对用户行为数据进行分析和理解将对智能医疗、智能经济、保险等领域的发展产生巨大推动作用。然而现有的应用尚处于比较低水平的阶段：应用市场上大部分应用如微信运动、咕咚跑步等仅可以通过用户的行为数据记录用户的步数，并换算出行走的路程、消耗的热量等信息。有一些研究可以实现对智能可穿戴设备用户日常行为如吃饭、喝水等和键盘输入等行为的理解。然而，由于行为数据不稳定，极容易受到各种环境因素的干扰，对于某一种行为来说，不同的人在不同的时间通过不同的设备收集的数据也很可能反映出来不同的特性，极大地增加了理解的难度。此外，行为的任意性导致无法人工枚举出所有可能发生的行为并对其进行标注，进一步增加了理解、分析行为数据的难度。

当前主要的理解、分析用户行为数据的技术可分为三类。第一类技术是行为建模技术，即通过观察用户行为的特性在数据层面上对行为进行建模，之后利用行为模型对数据进行匹配和识别。这种方法对理解特定行为有比较强的针对性，但是建模过程往往需要长时间的观察和分析，且针对不同行为所建立的模型往往不能通用。第二类技术通过预定义特征空间的方法对行为进行理解，利用不同行为的移动感知数据在特征空间上的分布不同这一特性，通过机器学习的方法对行为进行理解。这一方法不需要预先对行为建模，但预定义的特征空间往往不能提供很好的精度。第三类技术采用有监督的深度神经网络，通过大量的有标注数据对网络进行训练，可以实现比较高的识别精度。密苏里科技大学的研究人员提出利用预先标注好事件类型的行为数据对卷积神经网络进行有监督的学习，可以使识别的准确率达到98％左右。但行为进行标注的过程需要耗费大量的人力物力，且训练出的网络不能对未标注的行为进行理解，这种方法很难被应用到现实场景中。

现有的能提供高识别准确率的方法很大程度上要求研究人员对智能可穿戴设备的使用场景或具体的行为类型有先验知识，限制了其在现实生活中的实用性。事实上，可穿戴设备使用者的使用环境、设备以及行为都存在很强的任意性，人工标注无法枚举出所有可能的情况。随着可穿戴设备的越来越深入人们的日常生活，现有的理解和分析用户行为数据的方法已经远远不能满足需求。

发明内容

本发明的目的在于通过一种智能可穿戴设备行为数据的多级语义特征提取方法，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种智能可穿戴设备行为数据的多级语义特征提取方法，其包括如下步骤：

S101、构建单级行为空间，找到行为空间下的一组基；

S102、构建多级行为空间，从不同的粒度分析行为数据；

S103、提取行为数据在多级行为空间下的多级语义特征。

特别地，所述步骤S101包括：利用卷积核函数处理行为数据，同时利用卷积受限玻尔兹曼机(CRBM)无监督地学习出一组卷积核函数作为行为空间下的一组基。

特别地，所述步骤S101具体包括：利用卷积核函数处理行为数据，同时利用卷积受限玻尔兹曼机(CRBM)无监督地学习出一组卷积核函数作为行为空间下的一组基；基本CRBM模型有两层，分别是可视层(VisibleLayer，V层)和隐藏层(HiddenLayer，H层)，V层负责接收数据输入，经过卷积操作得到H层的输出；以智能可穿戴设备加速度传感器数据为例进行说明，智能可穿戴设备的其它行为数据的处理方法同加速度传感器数据相同：

输入数据I是智能可穿戴设备传感器的数据，其包含三个坐标轴的信息(I₁,I₂,I₃)，与一组卷积核进行卷积后，H层中每个元素h_k,j的取值为1或0，其概率为：

其中*v为卷积操作，b_k为卷积偏置，每一个为大小为参数矩阵；之后根据H层的输出，通过逆卷积的方法对数据进行重建，重建方程为：

其中 ^*f全卷积操作，a为重建偏置；

通过最小化重建数据与原始数据之间的误差，CRBM无监督地学习出一组最优的卷积核以及卷积偏置b_k和重建偏置a；其中重建误差的计算方法为：

同时，把重建公式和向量空间基的线性组合公式相类比，把视为一组基，H层的输出{h₁,h₂,…,h_k}则是空间下中的坐标；从而把输入数据I成功嵌入到由构成的行为空间中。

特别地，所述步骤S102具体包括：在CRBM上添加池化层(PoolingLayer，P层)，组成V-H-P三层结构，P层对H层的输出进行池化操作；所述池化操作即按照池化核的大小n_p将H层的输出进行均匀切分成若干个不重叠的池化窗口，之后取每个池化窗口的最大值组成P层的输出；将多个V-H-P三层结构进行堆叠，同时将每级结构中P层的输出作为上一级V的输入，由低向高逐级对行为空间进行构建；堆叠之后组成的多级结构可以构建多级行为空间。

特别地，所述步骤S103具体包括：在多级行为空间构建完成后，根据行为数据在各级行为空间中的坐标提取出行为在各级的特征f^l，其中l为级别编号，组成多级语义特征{f^l}，特征向量f^l的维度等于该级行为空间中学习到的卷积核的个数；其中，每一级特征的具体提取方法为：

本发明提出的智能可穿戴设备行为数据的多级语义特征提取方法基于无监督的深度学习模型，针对复杂且没有标注的行为数据，自动学习并构建行为空间，之后利用行为空间对行为进行拆分和表示，最终提取出行为数据的多级语义特征。本发明无需人工对数据进行标注，在极大减少人力成本的同时可以适用于任何行为；同时，提取出的语义特征可以从不同粒度上对行为进行分析，可以保证很高的识别精度。本发明分别利用包含一级、两级、三级的语义特征对行为进行识别测试，经过测试，用上述三种多级特征对行为进行识别的平均准确度分别达到了97.8％，98.2和98.9％。本发明与传统的基于预定义特征空间的方法相比准确度有大幅提高，而和现有基于有监督的深度神经网络的方法相比，本发明甚至能提供更高的识别准确度。同时由于本发明完全不需要预先对数据进行人工标注，在实用性上优于已有的方法。

附图说明

图1为本发明实施例提供的智能可穿戴设备行为数据的多级语义特征提取方法流程图；

图2为本发明实施例提供的基本CRBM模型示意图；

图3为本发明实施例提供的V-H-P三层结构示意图；

图4为本发明实施例提供的多级语义特征构成示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容，除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施例，不是旨在于限制本发明。

请参照图1所示，图1为本发明实施例提供的智能可穿戴设备行为数据的多级语义特征提取方法流程图。

分析可知，在向量空间中，如果能确定一组基B＝{e₁,e₂,…,e_n},则空间中的所有向量都可以用这组基的线性组合来表示，即，v＝x₁e₁+x₂e₂+…+x_ne_n，此时，(x₁,x₂,…,x_n)被称为向量v在B下的坐标。基于以上发现，本发明通过研究行为数据的内在特性，构建出行为空间并找到空间下的基，通过将行为数据嵌入到行为空间中，可以得到该行为在空间中的坐标，最终提取出该行为的语义特征。

但是，不同于传统的方法，通过构建行为空间的方法有以下挑战。

首先，人的行为具有任意性，人力无法预先枚举出可能出现的所有行为，这就意味着不能通过人工定义一个普适的行为空间和一组基。

其次，行为数据极易受到各种因素的干扰。即便是同一种行为，不同的人在不同的时间通过不同的设备收集而来的数据往往不尽相同。这要求了行为空间必须能够很好地排除无关因素的干扰。

第三，行为具有多层次的语义特征。以日常生活为例，从较小的粒度可以分析出手臂的上举/下落，随着粒度的不断增大，可以逐渐实现对前进/后退，跑步/走路，工作/休息的区分。因为，为了更好地对行为进行理解，该方法必须能够从不同的粒度对行为进行分析。

本实施例中智能可穿戴设备行为数据的多级语义特征提取方法具体包括如下步骤：

S101、构建单级行为空间，找到行为空间下的一组基。

在本实施例中，利用卷积核函数处理行为数据，同时利用卷积受限玻尔兹曼机(CRBM)无监督地学习出一组卷积核函数作为行为空间下的一组基。利用卷积核函数处理行为数据，同时利用卷积受限玻尔兹曼机(CRBM)无监督地学习出一组卷积核函数作为行为空间下的一组基。如图2所示，基本CRBM模型有两层，分别是可视层(VisibleLayer，V层)和隐藏层(HiddenLayer，H层)，V层负责接收数据输入，经过卷积操作得到H层的输出；以智能可穿戴设备加速度传感器数据为例进行说明，需要说明的是，智能可穿戴设备的其它行为数据的处理方法同加速度传感器数据相同：

输入数据I是智能可穿戴设备传感器的数据，其包含三个坐标轴的信息(I₁,I₂,I₃)，与一组卷积核进行卷积后，H层中每个元素h_k,j的取值为1或0，其概率为：

其中*v为卷积操作，b_k为卷积偏置，每一个为大小为参数矩阵，图2中之后根据H层的输出，通过逆卷积的方法对数据进行重建，重建方程为：

其中 ^*f全卷积操作，a为重建偏置；

通过最小化重建数据与原始数据之间的误差，CRBM无监督地学习出一组最优的卷积核以及卷积偏置b_k和重建偏置a；其中重建误差的计算方法为：

同时，把重建公式和向量空间基的线性组合公式相类比，把视为一组基，H层的输出{h₁,h₂,…,h_k}则是空间下中的坐标；从而把输入数据I成功嵌入到由构成的行为空间中。同时，因为通过无监督学习得到的基可以最小化重建误差，所以H层的输出可以在最大程度上过滤掉行为数据的干扰，保留有用信息。

S102、构建多级行为空间，从不同的粒度分析行为数据。

于本实施例，在CRBM上添加池化层(PoolingLayer，P层)，组成V-H-P三层结构，P层对H层的输出进行池化操作；所述池化操作即按照池化核的大小n_p(图3中n_p＝4)将H层的输出进行均匀切分成若干个不重叠的池化窗口，之后取每个池化窗口的最大值组成P层的输出；将多个V-H-P三层结构进行堆叠，同时将每级结构中P层的输出作为上一级V的输入，由低向高逐级对行为空间进行构建；堆叠之后组成的多级结构可以构建多级行为空间。此外，因为池化操作，每一级结构中的P层都对H层的输出进行了浓缩，使得高级结构中学习到的卷积核函数覆盖了更大范围的原始数据，即从更大的粒度上对行为数据进行分析。

S103、提取行为数据在多级行为空间下的多级语义特征。

具体的，在多级行为空间构建完成后，根据行为数据在各级行为空间中的坐标提取出行为在各级的特征f^l，其中l为级别编号，组成多级语义特征{f^l}，特征向量f^l的维度等于该级行为空间中学习到的卷积核的个数；其中，如图4所示，每一级特征的具体提取方法为：

本发明的技术方案基于无监督的深度学习模型，针对复杂且没有标注的行为数据，自动学习并构建行为空间，之后利用行为空间对行为进行拆分和表示，最终提取出行为数据的多级语义特征。本发明无需人工对数据进行标注，在极大减少人力成本的同时可以适用于任何行为；同时，提取出的语义特征可以从不同粒度上对行为进行分析，可以保证很高的识别精度。本发明分别利用包含一级、两级、三级的语义特征对行为进行识别测试，经过测试，用上述三种多级特征对行为进行识别的平均准确度分别达到了97.8％，98.2和98.9％。本发明与传统的基于预定义特征空间的方法相比准确度有大幅提高，而和现有基于有监督的深度神经网络的方法相比，本发明甚至能提供更高的识别准确度。同时由于本发明完全不需要预先对数据进行人工标注，在实用性上优于已有的方法。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种智能可穿戴设备行为数据的多级语义特征提取方法，其特征在于，包括如下步骤：

S101、构建单级行为空间，找到行为空间下的一组基；

S102、构建多级行为空间，从不同的粒度分析行为数据；

S103、提取行为数据在多级行为空间下的多级语义特征。

2.根据权利要求1所述的智能可穿戴设备行为数据的多级语义特征提取方法，其特征在于，所述步骤S101包括：利用卷积核函数处理行为数据，利用卷积受限玻尔兹曼机无监督地学习出一组卷积核函数作为行为空间下的一组基。

3.根据权利要求2所述的智能可穿戴设备行为数据的多级语义特征提取方法，其特征在于，所述步骤S101具体包括：利用卷积核函数处理行为数据，同时利用卷积受限玻尔兹曼机无监督地学习出一组卷积核函数作为行为空间下的一组基；基本CRBM模型有两层，分别是可视层(VisibleLayer，V层)和隐藏层(HiddenLayer，H层)，V层负责接收数据输入，经过卷积操作得到H层的输出；以智能可穿戴设备加速度传感器数据为例进行说明，智能可穿戴设备的其它行为数据的处理方法同加速度传感器数据相同：

输入数据I是智能可穿戴设备传感器的数据，其包含三个坐标轴的信息(I₁,I₂,I₃)，与一组卷积核进行卷积后，H层中每个元素h_k,j的取值为1或0，其概率为：

$P(h_{k,j}=1|I)=\mathrm{\σ}({\left({\tilde{W}}^K{*}_{v}I\right)}_j+b_k)$

$\mathrm{\σ}\left(x\right)=\frac{1}{1+e^{-x}}$

其中*_v为卷积操作，b_k为卷积偏置，每一个为大小为参数矩阵；之后根据H层的输出，通过逆卷积的方法对数据进行重建，重建方程为：

$I^{\′}=\underset{k}{\Σ}(W_{i,j}^k*{h_f}_k)+a,$

其中*_f全卷积操作，a为重建偏置；

通过最小化重建数据与原始数据之间的误差，CRBM无监督地学习出一组最优的卷积核以及卷积偏置b_k和重建偏置a；其中重建误差的计算方法为：

$O=\underset{x=1}{\overset{3}{\Σ}}|I_x-I_x{|}^2$

同时，把重建公式和向量空间基的线性组合公式相类比，把视为一组基，H层的输出{h₁,h₂,…,h_k}则是空间下中的坐标；从而把输入数据I成功嵌入到由构成的行为空间中。

4.根据权利要求3所述的智能可穿戴设备行为数据的多级语义特征提取方法，其特征在于，所述步骤S102具体包括：在CRBM上添加池化层(PoolingLayer，P层)，组成V-H-P三层结构，P层对H层的输出进行池化操作；所述池化操作即按照池化核的大小n_p将H层的输出进行均匀切分成若干个不重叠的池化窗口，之后取每个池化窗口的最大值组成P层的输出；将多个V-H-P三层结构进行堆叠，同时将每级结构中P层的输出作为上一级V的输入，由低向高逐级对行为空间进行构建；堆叠之后组成的多级结构可以构建多级行为空间。

5.根据权利要求4所述的智能可穿戴设备行为数据的多级语义特征提取方法，其特征在于，所述步骤S103具体包括：在多级行为空间构建完成后，根据行为数据在各级行为空间中的坐标提取出行为在各级的特征f^l，其中l为级别编号，组成多级语义特征{f^l}，特征向量f^l的维度等于该级行为空间中学习到的卷积核的个数；其中，每一级特征的具体提取方法为：