CN107316052A - 一种基于低成本传感器的鲁棒行为识别方法与系统 - Google Patents

Abstract

本发明涉及一种基于低成本传感器的鲁棒行为识别方法和系统，包括：通过安装于用户鞋中的低成本距离传感器，采集用户脚到地面的实时距离数据；采用滑动窗口法对该实时距离数据进行分割，生成数据集；对该数据集按照特性的预处理方式进行特征提取，生成预处理数据，并根据预先训练完成的数据模型对该预处理数据进行识别，得到用户的行为结果，最后将该行为结果显示反馈给用户。由此发明具有穿戴便利、测量精度高且不受环境影响的技术效果。

Description

一种基于低成本传感器的鲁棒行为识别方法与系统

技术领域

本发明涉及行为识别领域，特别涉及一种基于低成本传感器的鲁棒行为识别方法与系统。

背景技术

准确地识别出日常行为对于医学，安全，人机交互等领域都有着巨大的应用价值和研究意义。基于行为识别能够辅助监测人体的健康状态，还能够分析用户生活行为习惯模式。在全球老龄化愈加严重的今天，行为识别还能够帮助监测老人的日常活动，发现异常行为等，为实现智能家居，智慧养老等提供重要支持。

国内外对于行为识别的方法大致可以分为三类：基于图像分析的方法，基于可穿戴传感器的方法，和基于环境信息的方法。基于视频的方法是通过摄像头对人体运动的图像进行采集，然后通过图像识别和处理的方法分析和识别行为。例如：专利201510050043.5通过摄像头采集任意运动图像，然后提取图像中的时空特征，再通过识别模型进行行为判断。这种方法能够有效的识别出行为，但是由于图像处理时信息量巨大，算法比较复杂，另外摄像头覆盖范围有限，因此应用场景受限。而且由于涉及用户的隐私，这种方法只适合于特殊的应用场景。基于可穿戴设备的方法相对来说布设方便，构成可穿戴设备的核心元器件包括加速度计，陀螺仪，磁力计等运动传感器。通过穿戴在人体的特定部位，采集运动过程中的数据信息，再经过处理分析得到行为识别的结果。例如专利201080003387.6，通过采集用户手部的运动数据，检测用户的手部运动模式，再通过行为识别模型识别出行为。这类方法由于设备佩戴在用户身上，所以识别的时间和地点都不受限制。基于环境信息的方法是通过采集人体运动过程中，周围环境的变化信息，来逆向推定出人体的行为。例如专利201410209856.X，提出了一种基于WiFi背景噪声的行为识别方法，利用人体运动时候引起的环境中WiFi信号值的变化来识别行为。但这类方法往往受限于环境的局限性，以及数据噪声的影响，识别精度无法保证。

在上述三种方法类型中，基于可穿戴设备的方法由于穿戴的便利性，以及环境无关性，能够在不同的场景下均很好的识别用户的行为。已有的基于可穿戴设备的行为识别方法的传感器基本以加速度计和陀螺仪为主，加速度传感器能够检测到运动时候空间三个轴上的加速度数据，陀螺仪能够检测到空间三个轴上的角速度数据。佩戴位置以腕部，腰部，脚部等为主，另外还有裤兜，背包等设备最常放置的位置。但是由于行为之间有一定的相似性，在运动传感器数据上的表征难以区分，因此往往会造成识别精度的下降。而且，人体的日常行为非常复杂，行为识别系统只会针对其中的若干种行为进行识别，将其他不输入所涉及范围的行为定义为其他行为。但是对这些行为的误分也会引起识别精度的下降。另外，由于不同的用户之间存在行为的差异性，因此如果所采集的数据和提取的特征与行为之间没有强关联性，容易使得识别效果对于不同的用户存在很大差异。

发明内容

针对以上基于可穿戴的行为识别系统所存在的识别精度不高，无法同时适用多用户等问题，本发明为了降低识别时的错分率，并且使得不同人的识别精度都能够较高，提出了一种基于低成本距离传感器的行为识别装置和方法。

具体来说本发明提供了一种基于低成本传感器的鲁棒行为识别方法，其中包括：

步骤S1、通过安装于用户鞋中的低成本距离传感器，采集用户脚到地面的实时距离数据；

步骤S2、采用滑动窗口法对该实时距离数据进行分割，生成数据集，并将该数据集无线发送至步骤S3；

步骤S3、对该数据集按照特性的预处理方式进行特征提取，生成预处理数据，并根据预先训练完成的数据模型对该预处理数据进行识别，得到用户的行为结果，最后将该行为结果显示反馈给用户。

该基于低成本传感器的鲁棒行为识别方法，其中步骤S3中该预处理方式包括：步骤S31、通过离散快速傅里叶变换对该数据集进行时频转换，再通过特征提取得到多个频域特征和多个时域特征，该时域特征和该频域特征的集合作为该预处理数据。

该基于低成本传感器的鲁棒行为识别方法，其中步骤S3中该数据模型的建立过程包括：

步骤S32、首先规划所要识别的多个行为种类，并选择多位实验者作为训练数据的采集对象，让该实验者分别执行该行为种类，采集该实验者脚部到地面的距离数据，并通过滑动窗口法对采集到的该距离数据进行分割，作为训练距离数据；

步骤S33、根据该训练距离数据，利用极速学习机模型训练生成该数据模型。

该基于低成本传感器的鲁棒行为识别方法，其中步骤2中该滑动窗口法采用的滑动窗口时长为L，且相邻两个滑动窗口间的实时距离数据有L/2的重叠。

该基于低成本传感器的鲁棒行为识别方法，其中该步骤S2中无线发送方式为蓝牙传输或WiFi传输。

本发明还提供一种基于低成本传感器的鲁棒行为识别系统，其中包括：

数据采集单元，包括安装于用户鞋中的低成本距离传感器，用于分别采集用户脚到地面的实时距离数据；

数据传输单元，与该数据采集单元相连，用于根据滑动窗口法对该实时距离数据进行分割，生成数据集，并将该数据集无线发送至数据处理单元；

数据处理单元，运行在移动设备端，用于对该数据集按照特性的预处理方式进行特征提取，生成预处理数据，并根据预先训练完成的数据模型对该预处理数据进行识别，得到用户的行为结果，最后将该行为结果显示反馈给用户。

该基于低成本传感器的鲁棒行为识别系统，其中数据处理单元中该预处理方式包括：通过离散快速傅里叶变换对该数据集进行时频转换，再通过特征提取得到多个频域特征和多个时域特征，该时域特征和该频域特征的集合作为该预处理数据。

该基于低成本传感器的鲁棒行为识别系统，其中数据处理单元中该数据模型包括：

训练数据采集模块，用于采集实验者脚部到地面的距离数据，并通过滑动窗口法对采集到的该距离数据进行分割，作为训练距离数据；

数据模型生成模块，用于根据该训练距离数据，利用极速学习机模型训练生成该数据模型。

该基于低成本传感器的鲁棒行为识别系统，其中数据传输单元中该滑动窗口法采用的滑动窗口时长为L，且相邻两个滑动窗口间的实时距离数据有L/2的重叠。

基于低成本传感器的鲁棒行为识别系统，其中该数据传输单元中无线发送方式为蓝牙传输或WiFi传输。

综上所述本发明具有穿戴便利、测量精度高且不受环境影响，能够在不同的场景下均很好的识别用户的行为这三点优势。

附图说明

图1为本发明的行为识别系统示意图；

图2为本发明所采用的ELM算法的网络结构图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明所提出的行为识别装置如图1所示，由三部分组成，包括数据采集单元、数据传输单元和数据处理单元部分。

数据采集单元，包括两个安装于用户左、右鞋中的低成本距离传感器，具体安装在两只鞋的外侧，距离探测传感器方向向下，在进行各项行为运动的过程中，分别测量用户左、右脚到地面的实时距离数据。

数据传输单元与该数据采集单元相连，用于根据滑动窗口法对该实时距离数据进行分割，生成数据集，该数据传输单元具体包括三个主要组成：控制板，通信模块，供电电池。由距离传感器采集的实时距离数据统一传输到控制板中，再由控制板调用通信模块，将实时距离数据发送到数据处理模块，其中发送方式可为蓝牙传输或者WiFi传输等无线传输方式，电池负责为控制板、通信模块以及距离传感器供电。

数据处理单元，运行在移动设备端，包括了数据接收模块，特征提取模块，识别算法模块和用户界面模块。数据接收模块，用于和数据传输单元中的通信模块配对，建立传输关系，通过自定义的协议进行数据的传输。在特征提取模块中，对接收到的实时距离数据按照特性的预处理方式进行特征提取，生成预处理数据，然后输入到行为识别算法模块中，识别算法模块根据预先训练完成的数据模型对该预处理数据进行识别，得到用户的行为结果，再通过交互界面显示反馈给用户，其中该数据处理单元还包括预处理模块，通过离散快速傅里叶变换对该数据集进行特征提取，得到多个频域特征和多个时域特征，该频域特征和该时域特征的集合作为该预处理数据。

本发明采用的行为识别方法与传统行为识别技术基于的运动传感器不同，本发明提出的识别装置放置在与行为最相关的脚部，并且采集的脚部对地面的距离数据对所识别的行为具有明显的可分性，例如原地踏步和走路在运动传感器的识别下很难区分出二者，但是通过采集实时距离数据，并从中提取距离信息特征，就能够达到很好的区分性。基于所提出的行为识别装置，本专利所提出的行为识别过程主要步骤包括：

步骤S31，确定所要识别的行为的标准。

预先设定所要识别的行为个数(种类)M(M为大于2的正整数)，距离传感器采集数据的频率f，数据处理的滑动窗口大小(时长)L，每次移动步长为L/2，即相邻两个滑动窗口间的实时距离数据会有L/2的重叠。在每个数据窗口里，采集到的数据包括左右两只脚上的距离传感器数据，即实时距离数据。假设用和表示来自第i个时间窗口的左脚和右脚上传感器的时域数据，将时域数据经过FFT(离散快速傅里叶变换)后得到频域数据和本发明要通过对双脚的距离数据进行频域或时域特征提取来构建行为识别的特征向量，本发明一共提取17个时域特征和21个频域特征。时域特征包括左右脚各自数据的均值t_mean、方差t_var、最大值t_max、最小值t_min、第一四分位数t_q1、第二四分位数t_q2、第三四分位数t_q3、过均值数t_mean_cross，以及左右脚时域数据的互相关系数t_corr；频域特征包括左右脚各自距离数据经过FFT(快速傅里叶变换)后的频域前10项系数{f_a1～f_a10},以及左右脚频域数据的互相关系数f_corr，即步骤S3中该预处理方式包括：通过离散快速傅里叶变换对该数据集进行时频转换，再通过特征提取得到多个频域特征和多个时域特征，该时域特征和该频域特征的集合作为该预处理数据。所有特征如表1所示。

表1：

步骤S32，数据采集。选择若干个实验者作为训练数据的采集对象，将行为识别装置佩戴在采集者的双脚的外侧，然后让实验者分别进行步骤S31中设定的M个行为，每个用户每个动作采集一定时长，相应的行为类型由人为进行标定。然后按照步骤S31中规定的滑动窗方法对数据进行分割，形成数据集Dataset。Dataset可以表示为(x_i,y_i)∈R³⁸×R^M,(i＝1,2,...,N)，表示该数据集合共有N条数据。x_i是一个1×38维的向量，表示一个窗口中提取出的38个特征，y_i是一个1×M的One-hot(独热)向量，其中只有一项值为1，其余M-1项全部为0，表示该条数据属于某一个行为类别。

步骤S33，模型训练，生成数据模型。模型的训练目的是使得通过特征x_i能够判断出所对应的类别值y_i，即满足f(x_i)＝y_i,(i＝1,2,...,N)。但是在实际的应用中，很难满足完全的相等关系，因此模型的训练目的是为了尽量最小化与目标之间的误差：min_f||f(x_i)-y_i||。由该步骤得到的数据模型f将用于实时的行为识别中。

步骤S34，实时行为识别。

上述构建好的识别模型将会被内置于识别系统中，用户将传感器装置穿戴在两只脚部的外侧。启动系统后，在运动的过程中，距离数据采集后通过传输模块发送到数据处理模块，数据被按照步骤S31中所述的方法进行数据分割(滑动窗口分割实时距离数据)和特征提取得到x'，然后输入数据模型f，得到最终的行为识别结果y'＝f(x')。

为了对本发明进一步详细说明，下举具体实施例加以详细展示上述步骤，但是本发明不限于下述的实施方式。

步骤1，确定所要识别的行为的标准。

预先设定要识别的行为类别有6类(M＝6)，分别为静止、走路、跑步、上楼梯、下楼梯、原地踏步。设定距离传感器的采集频率为f＝50Hz，即每秒采集50个实时距离数据。设定数据处理的滑动窗口大小为L＝2秒，每次的移动步长为1秒。因此，在每个窗口中就有100个数据点。然后本发明提取该窗口内数据的特征：

其中，

步骤2，数据采集。本发明一共采集4名实验者(3男1女)的数据，每个实验者穿戴好设备后，按照要求依次做上述行为，每个行为类别持续5分钟。并且按照上述的数据分割和特征提取方法，最后得到3374条数据(N＝3374)。

步骤3，模型训练，生成数据模型。本发明的一个实施方案通过使用极速学习机模型(Extreme Learning Machine，ELM)来训练行为识别模型，ELM模式是最近出现的一种机器学习方法，它具有计算速度快、泛化能力强的特点。

如图2所示，ELM是一个具有单隐结点层的前向神经网络，输入层(Input Layer)包含所有输入神经元，每个输入神经元对应样本的一个特征；隐结点层(Hidden Layer)包含所有隐层神经元；输出层(Output Layer)包含所有输出神经元，每个输出神经元对应多分类问题的一个类别。对于含有N个样本的训练集合其中样本是一个行向量，其长度n对应着特征的个数；t_i是一个行向量，其长度m对应着类别的个数，当x_i的类标号为m'时，向量t_i的第m'位为1，其他各位全部为0。

用单隐层前向神经网络对该问题建模，选定输入结点个数为n，隐层结点个数为输出结点个数为m，激励函数为G(a,b,x)。对每一个样本x_i，有：

其中：表示第i个隐结点到所有输入结点之间权值组成的向量；

b_i表示第i个隐结点的偏移量；

a_i和b_i的值随机生成，其取值在[-1,1]之间。

表示第i个输出结点到每一个隐结点之间的权值组成的向量；

[o_i1,o_i2,...,o_im]表示m个输出结点的值组成的向量。

则对于训练集合中所有N个样本，每个样本均可以写成式(4.2)的形式。可以把所有N个等式写成如式(4.3)的矩阵形式：

对于训练集合其对应的单隐层前向网络的优化目标是使得预测误差趋近于0，即：即存在β_i、a_i和b_i，使得：

上式可以采用矩阵的形式，写的更加紧凑一些，即：Hβ＝T，

其中：

按照传统的方法，训练一个单隐层前向网络，本发明需要找到特定的β、a_i、b_i和使得：

a_i和b_i的值无需调整，只需在算法开始时随机生成即可，那么问题就转换为：

则该问题的最小范数二乘解为：

需要注意的是，其中在定义为是矩阵H的Moor-Penrose伪逆。

当用ELM分类器分类新样本x时，ELM输出结点的值可以计算如下：

其中，m是输出结点的个数，也是分类问题中类的个数。相应的，TY就是一个含有m个值的行向量。

ELM根据输出向量决定样本的类标号的方法为，根据ELM的训练过程可知，TY的哪个分量距离1最近，那么该分量相应的下标就是样本x的类标号，即：

j就是样本的类标号。

本发明验证上述算法的分类精度和模型在不同用户间的迁移学习能力。本发明一共采集4名实验者(3男1女)的数据，每个实验者穿戴好设备后，按照要求依次做上述行为，每个行为类别持续5分钟。并且按照上述的数据分割和特征提取方法，最后得到3374条数据(＝3374)。实验的验证环境为Win10操作系统，在Matlab R2013a上进行仿真实验。

对于模型的分类精度测试，本发明将3374条数据随机分成相同的两部分，1687条作为训练数据，另外1687条作为测试数据。测试结果的混合矩阵如表1所示。六种行为的整体查全率为91.5％，查准率为93.2％。

表2：分类结果混合矩阵

行为识别的目的是要求多使用的行为识别系统和方法具有鲁棒性，鲁棒性的要求是对于模型训练中所没有涉及到的用户也能够有很好的行为识别效果。因此，本发明的一个具体实例就是使用“留一法”进行方法效果测试。即使用四个用户中的三个用户的数据训练模型，然后用第四个用户的数据测试模型，来验证本发明所提出的基于低成本距离传感器的行为识别装置和方法能否具有鲁棒的行为识别能力。本发明分别让四个用户的数据作为测试数据，得到的测试结果的混合矩阵如表2至表5所示。其中，用户1的查全率为97.3％，查准率为88.2％；用户2的查全率为94.4％，查准率为96.1％；用户3的查全率为84.05％，查准率为85.5％；用户4的查全率为90.4％，查准率为90.4％。

表3：用户1的行为识别结果混合矩阵

表4：用户2的行为识别结果混合矩阵

表5：用户3的行为识别结果混合矩阵

表6：用户4的行为识别结果混合矩阵

实验结果表明，本发明所提出的基于低成本距离传感器的行为识别装置和方法对于日常行为具有很好的识别效果，并且方法具有很好的鲁棒性，能够适应新用户的行为识别需求。

本发明中“鲁棒”表示所提出的识别方法和系统针对不同人的行为进行识别的时候都有很好的识别效果，精确度稳定，因此本发明属于一种鲁棒的行为识别方法。在具体的实施方式中，通过“留一法”验证了这一结论。

以下为与上述方法实施例对应的系统实施例，本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效，为了减少重复，这里不再赘述。相应地，本实施系统中提到的相关技术细节也可应用在上述实施方式中。

本发明还提供一种基于低成本传感器的鲁棒行为识别系统，其中包括：

数据采集单元，包括安装于用户鞋中的低成本距离传感器，用于分别采集用户脚到地面的实时距离数据；

数据传输单元，与该数据采集单元相连，用于根据滑动窗口法对该实时距离数据进行分割，生成数据集，并将该数据集无线发送至数据处理单元；

数据处理单元，运行在移动设备端，用于对该数据集按照特性的预处理方式进行特征提取，生成预处理数据，并根据预先训练完成的数据模型对该预处理数据进行识别，得到用户的行为结果，最后将该行为结果显示反馈给用户。

该基于低成本传感器的鲁棒行为识别系统，其中数据处理单元中该预处理方式包括：通过离散快速傅里叶变换对该数据集进行时频转换，再通过特征提取得到多个频域特征和多个时域特征，该时域特征和该频域特征的集合作为该预处理数据。

该基于低成本传感器的鲁棒行为识别系统，其中数据处理单元中该数据模型包括：

训练数据采集模块，用于采集实验者脚部到地面的距离数据，并通过滑动窗口法对采集到的该距离数据进行分割，作为训练距离数据；

数据模型生成模块，用于根据该训练距离数据，利用极速学习机模型训练生成该数据模型。

该基于低成本传感器的鲁棒行为识别系统，其中数据传输单元中该滑动窗口法采用的滑动窗口时长为L，且相邻两个滑动窗口间的实时距离数据有L/2的重叠。

基于低成本传感器的鲁棒行为识别系统，其中该数据传输单元中无线发送方式为蓝牙传输或WiFi传输。

虽然本发明以上述实施例公开，但具体实施例仅用以解释本发明，并不用于限定本发明，任何本技术领域技术人员，在不脱离本发明的构思和范围内，可作一些的变更和完善，故本发明的权利保护范围以权利要求书为准。

Claims (10)

1.一种基于低成本传感器的鲁棒行为识别方法，其特征在于，包括：

步骤S1、通过安装于用户鞋中的低成本距离传感器，采集用户脚到地面的实时距离数据；

步骤S2、采用滑动窗口法对该实时距离数据进行分割，生成数据集，并将该数据集无线发送至步骤S3；

步骤S3、对该数据集按照特性的预处理方式进行特征提取，生成预处理数据，并根据预先训练完成的数据模型对该预处理数据进行识别，得到用户的行为结果，最后将该行为结果显示反馈给用户。

2.如权利要求1所述的基于低成本传感器的鲁棒行为识别方法，其特征在于，步骤S3中该预处理方式包括：步骤S31、通过离散快速傅里叶变换对该数据集进行时频转换，再通过特征提取得到多个频域特征和多个时域特征，该时域特征和该频域特征的集合作为该预处理数据。

3.如权利要求1所述的基于低成本传感器的鲁棒行为识别方法，其特征在于，步骤S3中该数据模型的建立过程包括：

步骤S32、首先规划所要识别的多个行为种类，并选择多位实验者作为训练数据的采集对象，让该实验者分别执行该行为种类，采集该实验者脚部到地面的距离数据，并通过滑动窗口法对采集到的该距离数据进行分割，作为训练距离数据；

步骤S33、根据该训练距离数据，利用极速学习机模型训练生成该数据模型。

4.如权利要求1所述的基于低成本传感器的鲁棒行为识别方法，其特征在于，步骤2中该滑动窗口法采用的滑动窗口时长为L，且相邻两个滑动窗口间的实时距离数据有L/2的重叠。

5.如权利要求1所述的基于低成本传感器的鲁棒行为识别方法，其特征在于，该步骤S2中无线发送方式为蓝牙传输或WiFi传输。

6.一种基于低成本传感器的鲁棒行为识别系统，其特征在于，包括：

数据采集单元，包括安装于用户鞋中的低成本距离传感器，用于分别采集用户脚到地面的实时距离数据；

数据传输单元，与该数据采集单元相连，用于根据滑动窗口法对该实时距离数据进行分割，生成数据集，并将该数据集无线发送至数据处理单元；

数据处理单元，运行在移动设备端，用于对该数据集按照特性的预处理方式进行特征提取，生成预处理数据，并根据预先训练完成的数据模型对该预处理数据进行识别，得到用户的行为结果，最后将该行为结果显示反馈给用户。

7.如权利要求6所述的基于低成本传感器的鲁棒行为识别系统，其特征在于，数据处理单元中该预处理方式包括：通过离散快速傅里叶变换对该数据集进行时频转换，再通过特征提取得到多个频域特征和多个时域特征，该时域特征和该频域特征的集合作为该预处理数据。

8.如权利要求6所述的基于低成本传感器的鲁棒行为识别系统，其特征在于，数据处理单元中该数据模型包括：

训练数据采集模块，用于采集实验者脚部到地面的距离数据，并通过滑动窗口法对采集到的该距离数据进行分割，作为训练距离数据；

数据模型生成模块，用于根据该训练距离数据，利用极速学习机模型训练生成该数据模型。

9.如权利要求6所述的基于低成本传感器的鲁棒行为识别系统，其特征在于，数据传输单元中该滑动窗口法采用的滑动窗口时长为L，且相邻两个滑动窗口间的实时距离数据有L/2的重叠。

10.如权利要求6所述的基于低成本传感器的鲁棒行为识别系统，其特征在于，该数据传输单元中无线发送方式为蓝牙传输或WiFi传输。