CN103886323B - 基于移动终端的行为识别方法及移动终端 - Google Patents
基于移动终端的行为识别方法及移动终端 Download PDFInfo
- Publication number
- CN103886323B CN103886323B CN201310439425.8A CN201310439425A CN103886323B CN 103886323 B CN103886323 B CN 103886323B CN 201310439425 A CN201310439425 A CN 201310439425A CN 103886323 B CN103886323 B CN 103886323B
- Authority
- CN
- China
- Prior art keywords
- wavelet
- behavior
- feature
- data
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000006399 behavior Effects 0.000 claims abstract description 129
- 239000013598 vector Substances 0.000 claims abstract description 43
- 230000033764 rhythmic process Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 238000002474 experimental method Methods 0.000 claims description 10
- 238000012512 characterization method Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 9
- 238000005265 energy consumption Methods 0.000 abstract description 27
- 238000000605 extraction Methods 0.000 abstract description 24
- 238000013461 design Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013209 evaluation strategy Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于移动终端的行为识别方法及移动终端,主要针对现有人体行为识别方法中特征集的抽取能耗大而设计。本发明,通过移动终端的传感器采集行为的传感数据;将所述传感数据通过小波函数变换为小波特征向量;基于所述小波特征向量进行行为的特征值的抽取,得到行为的特征集;将所述特征集中的数据进行训练,取得分类器;对未知行为进行识别步骤。本发明通过在小波域下提取人体行为的特征集,在保证了特征集的抽取效率和精准度的前提下,降低了人体行为特征集抽取的能耗。
Description
技术领域
本发明涉及行为识别技术领域,具体涉及一种基于移动终端的行为识别方法及移动终端。
背景技术
近年来随着“智慧”环境、医疗、家庭和办公室等一系列“智慧”概念的提出,行为识别技术作为该技术领域的核心得到了人们的广泛关注。
传统的人体行为识别技术是基于图形图像,利用图形图像处理技术对人体行为进行特征值的抽取和建模,从而得到被判断对象的行为状态。这种基于图形图像对人体行为进行识别的方法存在如下问题:
第一,对数据源的质量要求较高;
第二,图形图像处理算法的复杂度较高,图形图像的特征和内容的识别准确度都相对较低;
第三,利用图形图像处理的方式在实际应用场景中局限性很大。
显然传统基于图形图像的行为识别方法很难满足一系列“智慧”概念的需求,然而随着传感器和可穿戴技术的飞速发展,利用佩带的传感器采集的数据对人体行为进行建模得到了广泛的应用和长足的发展。利用传感器技术进行人体行为识别有如下好处:
第一,传感器成本低、小巧且佩带方便,更容易应用到现实生活场景中;
第二,传感器流数据处理开销较小,模型识别准确率高;
第三,传感器数据类型丰富,模型扩展性好,易于扩展新的数据类型。
然而,近几年来行为识别方面的研究大多数集中在可穿戴传感系统的原型设计、建立人体行为数据库、建立开放数据集、利用机器学习建立行为识别模型等方面。作为交叉领域,通常利用其他领域中比较成熟的建模方法来对人体行为进行模型建立。目前,利用传感器数据进行人体行为分析的领域中,仍然存在着如下的问题:
第一,行为识别的精度不能满足当前应用的需求,尤其是对一些细微的动作的区别;
第二,现有的对传感数据进行特征提取(降维)的方法存在着较大的冗余性,导致特征集对数据区分能力和稳定性下降;
第三,抽取特征的计算能耗较高,一般移动设置的能量存储有限,不利于在移动设备和能量供应受限的平台上工作。
发明内容
针对上述问题,本发明提供一种在效率和精准度较高的前提下,计算能耗较小的基于移动终端的行为识别方法及移动终端。
为达到上述目的,本发明基于移动终端的行为识别方法,所述方法包括:
S1通过移动终端的传感器采集表征行为的传感数据;
S2将所述传感数据通过小波函数变换为小波域下的小波特征向量,所述小波函数为:
其中,为位置j上的尺度为k的小波函数;
dj,k为原时域函数f(x)变换后的小波系数;
S3基于预定的特征值获取方法,对步骤S2中得到的包含行为特征的小波特征向量进行提取计算,得到表征行为的特征集;
S4将所述特征集或/和所述特征集的子集作为训练数据,得到分类器;
S5对行为的识别,即所述传感器采集的未知行为的传感数据进行步骤S2和S3的处理后,通过所述分类器进行识别,判断后输出该行为,并更新所述分类器。
进一步地,所述传感器包括加速度传感器和陀螺仪传感器,所述传感数据分别取自加速度和陀螺仪传感器的x、y、z三个轴。
具体地,所述行为的特征集获得的具体方法包括:
S3.1通过移动终端的传感器采集表征行为的传感数据;
S3.2采用重叠滑动窗口的策略将连续的传感数据流划分为一个固定长度的实体,通过小波函数对所述固定长度的实体进行n级小波变换,得到不同子频段上的小波向量;
S3.3根据预定的韵律特征和节奏特征获取方法提取计算每个子频段上表征行为的小波向量,得到表征行为的特征集,其中
所述韵律特征获取方法具体包括:计算每个子频段上的小波向量系数的平均值、方差、偏度,得到行为的韵律特征集;
所述节奏特征获取方法具体包括:计算当前子频段计算消耗的能量占所有子频段计算消耗能量的百分比,得到行为的节奏特征集,所述节奏特征集计算公式表示如下:
其中,∑|dj|为所有子频段计算消耗的能量;
∑|dsubband|为当前子频段计算消耗的能量。
特别地,所述方法还包括对所述训练数据进行归一化处理的步骤,其中所述归一化处理公式为:fnormalization=fraw-μ/σ,其中,μ为经验平均值,σ为一个特征在行为的标准差。
具体地,将传感数据变换为小波域上小波向量的小波函数通过实验的方法获得。
为达到上述目的,本发明移动终端,包括
传感器单元,用于采集行为的传感数据;
小波变换单元,用于将所述传感数据通过小波函数变换为小波域下的小波特征向量;
特征集获取单元,用于基于预定的特征值获取方法,对小波变换单元得到的包含行为特征的小波特征向量进行计算和/或抽取,得到表征行为的特征集;
数据训练单元,用于将所述特征集获取单元获得的特征集中的数据作为训练数据,得到分类器;
动作识别单元,用于对行为的识别,即所述传感器采集的未知行为的传感数据分别经过小波变换单元和特征集获取单元的处理后,将处理后的数据通过所述分类器进行识别,判断后输出该行为,并更新所述分类器。
进一步地,所述传感器包括加速度传感器和陀螺仪传感器,所述传感数据分别取自加速度和陀螺仪传感器的x、y、z三个轴。
具体地,所述小波变换单元,采用重叠滑动窗口的策略将连续的传感数据流划分为一个固定长度的实体,通过小波函数对所述固定长度的实体进行n级小波变换,得到不同子频段上的小波向量;
所述特征集获取单元包括韵律特征获取单元和节奏特征获取单元,所述韵律特征获取单元,用于根据预定的韵律特征的获取方法,通过计算每个子频段上的小波向量系数的平均值、方差、偏度,得到行为的韵律特征集;
所述节奏特征获取单元,用于根据预定的节奏特征的获取方法,计算当前子频段计算消耗的能量占所有子频段计算消耗能量的百分比,得到行为的节奏特征集。
特别地,所述移动终端还包括数据归一化单元,用于对所述训练数据进行归一化处理。
本发明,通过传感器采集表征行为特征的特征数据,相较于传统的通过图形图像采集表征行为特征的特征数据,应用更加广泛,数据采集更加方便。本发明先将时域下的传感数据变换到小波频域小的小波特征向量,再通过对小波特征向量的提取计算得到行为的特征集,相较于传统的特征集抽取方法,特征的计算冗余性小,降低了特征抽取的计算开销,提高了分类的精确度,降低了计算的能耗,且本发明对传感器数据流进行特征抽取是独立于数据类型的,可以很容易扩展到不同传感器数据类型。
附图说明
图1是本发明基于移动终端的行为识别方法的流程图;
图2是本发明基于统计学特征(SF)集合的计算开销-能耗图结构示意图;
图3是本发明物理特征(PF)集合的计算开销-能耗图结构示意图;
图4是本发明WCF特征集合的计算开销-能耗图结构示意图;
图5是本发明WCF的Best-effort计算开销-能耗结构示意图;
图6是本发明SF,PF和WCF在区分不同个数的行为集合中的准确率的对比结构示意图。
具体实施方式
下面结合说明书附图对本发明做进一步的描述。
本发明基于移动终端的行为识别方法,所述方法包括:
S1通过移动终端的传感器采集行为的传感数据;
S2将所述传感数据通过小波函数变换为小波域下的小波特征向量,所述小波函数为:
其中,为位置j上的尺度为k的小波函数;
dj,k为原时域函数f(x)变换后的小波系数;
S3基于预定的特征值获取方法,对步骤S2中得到的包含行为特征的小波特征向量进行提取计算,得到表征行为的特征集;
S4将所述特征集或/和所述特征集的子集作为训练数据,得到分类器;
S5对行为的识别,即所述传感器采集的未知行为的传感数据进行步骤S2和S3的处理后,通过所述分类器进行识别,判断后输出该行为,并更新所述分类器。
本发明移动终端,包括
传感器单元,用于采集行为的传感数据;
小波变换单元,用于将所述传感数据通过小波函数变换为小波域下的小波特征向量;
特征集获取单元,用于基于预定的特征值获取方法,对小波变换单元得到的包含行为特征的小波特征向量进行计算和/或抽取,得到表征行为的特征集;
数据训练单元,用于将所述特征集获取单元获得的特征集中的数据作为训练数据,得到分类器;
动作识别单元,用于对行为的识别,即所述传感器采集的未知行为的传感数据分别经过小波变换单元和特征集获取单元的处理后,将处理后的数据通过所述分类器进行识别,判断后输出该行为,并更新所述分类器。
本发明所述的基于移动终端的行为识别方法,其中对于特征值抽取计算方法提出了一种基于小波域的特征抽取方法Wavelet Coefficients based Features(WCF)进行特征值的抽取计算方法。
实施例1
如图1所示,本实施例基于移动终端的行为识别方法,所述方法包括:
S1通过移动终端的传感器采集行为的传感数据;
S2将所述传感数据通过小波函数变换为小波域下的小波特征向量,所述小波函数为:
其中,为位置j上的尺度为k的小波函数;
dj,k为原时域函数f(x)变换后的小波系数;
S3基于预定的特征值获取方法,对步骤S2中得到的包含行为特征的小波特征向量进行提取计算,得到表征行为的特征集;
S4将所述特征集或/和所述特征集的子集作为训练数据,得到分类器;
S5对行为的识别,即所述传感器采集的未知行为的传感数据进行步骤S2和S3的处理后,通过所述分类器进行识别,判断后输出该行为,并更新所述分类器。
本实施例中对于特征集的抽取采用一种基于小波域的特征抽取方法WaveletCoefficients based Features(WCF),WCF的具体步骤如下:
步骤1,通过移动终端的传感器采集行为的传感数据;
步骤2,采用重叠滑动窗口的策略将连续的传感数据流划分为一个固定长度的实体,通过小波函数对所述固定长度的实体进行n级小波变换,得到不同子频段上的小波向量;
步骤3,根据预定的韵律特征和节奏特征获取方法提取计算每个子频段上表征行为的小波向量,得到表征行为的特征集,其中
所述韵律特征获取方法具体包括:计算每个子频段上的小波向量系数的平均值、方差、偏度,得到行为的韵律特征集;
所述节奏特征获取方法具体包括:计算当前子频段计算消耗的能量占所有子频段计算消耗能量的百分比,得到行为的节奏特征集,所述节奏特征集计算公式表示如下:
其中,∑|dj|为所有子频段计算消耗的能量;
∑|dsubband|为当前子频段计算消耗的能量。
本实施例中,通过加速度传感器和陀螺仪传感器的x、y、z六个数据通道采集传感数据,定义每一个通道为channel变量,每一个行为实体由6个通道数据组成,C表示channel变量的集合,则公式表示如下:
Activityinstance={sc t|c∈C,[T1,Tm]}
其中,T1-T为实体窗口大小k。
在本实施例中,先将时域数据变换到小波域下的频域数据是数据空间的转变,主要目的是为了减少数据间的冗余信息,同时将原始数据中的时域信息和频域信息分开。对于特征集抽取计算方法WCF,使用n级离散小波变换作为将传感器采集到的实体传感数据转换到小波域上,变换时使用的变换基函数通过实验方法验证得到,本实施例中小波变换基函数使用“db5”,已经有研究证明该小波函数在处理低频数据中的效果较好,而本实施例中的人体行为识别中的传感器的传感数据主要都集中在较低频域中。
传统的针对传感器数据特征抽取方法中,基于统计学的特征(StatisticalFeatures(SF))和物理特征(Physical Features(PF))两大类,基于统计学的特征抽取方法主要利用统计学上的指标来描述原始数据(如均值,方差等),物理特征主要是计算出与人体行为的相关物理指标(如水平方向上的加速度和速度等)。然而,这两种传统意义上的特征抽取方法有如下的不足和弊端:
第一,每一个特征的计算都存在大量的冗余,尤其是提取统计特征集。在行为识别技术中并没有对冗余的量级做出具体定义。冗余信息并没有在很大程度上提高分类的精度,有时候反而混淆的了分类器导致识别结果的误差。大量冗余数据的存在也降低了特征集的稳定性。
第二,每一个特征集的计算能耗较高,特别是在物理特征集中,这会导致数据处理过程严重消耗设备的能耗。
第三,在统计数据集中,虽然可以从多个传感器的多个轴上的数据提取特征集,但是当使用维数过多的数据反而会影响到整个方法的性能。因此,为了在有限能量下获取理想的分类精度,必须降低计算能耗,减少数据冗余并适度降低数据维数。
与传统SF和PF方法相比,本发明具有如下特点与优势:
第一,创新性的将小波变换引入人体行为识别的特征抽取过程中,通过在小波域上进行特征抽取,有效的降低了特征抽取的计算开销,并提高了分类准确率;
第二,WCF抽取出的特征集合具有严格的低冗余性,提高了特征集合的稳定性,并且有利于最终行为判别的准确率;
第三,WCF提出了一种统一的计算框架来对原始传感器数据流进行特征抽取,是独立于数据类型的,可以很容易的扩展到其他传感器数据类型。
传统特征处理方法中抽取的频域相关的特征都是使用FFT(快速傅里叶变换),小波变换的时间复杂度为O(N),其时间复杂度为O(NlogN),而且只需要执行一次,相比于传统的特征抽取方法,降低了计算开销。小波系数反映了数据在特定频域下的时域信息。如在一段数据上的数据相对平滑,根据小波的消失矩特性,相应的小波系数会比较小,同样,大系数意味着在相应时刻的频段上有值得我们注意的重要信息。与传统的傅里叶变换不同,小波变换保留了时域信息,同时刻画了不同频域下时域特征,所以,小波系数能够十分全面的描述原始数据的时频信息。
小波变换的解析结构具有多层次和多分辨率的属性,以最常用的离散小波变换(DWT)为例,一个n级的DWT在不同子波段上将原始数据转换为小波系数,得到的小波系数可以分为两类:低频系数和高频系数。高频系数包含了多个子波段,隐藏着原始数据不同尺度上的详细信息,Dn表示第n级的高频系数集合,高频系数描述的是原始数据的细节特征。低频细数是对原始数据的近似逼近,包含一个子波段我们用A表示。由于小波基函数间具有正交性,不同频段上的系数上信息冗余较小,减少了提取特征集时各子波段的关联性,从而降低了特征间的冗余。基于之前的分析,使用n纬离散小波变换作为预处理滤波器。首先将时间序的原始传感器数据转换成不同频域的子段,然后通过在各子段上的计算得到该段数据所具有的特征,这些特征组成了定义的人体特征集,即WCF。
本发明考虑到最终的分类和建模算法,也即数据训练得到学习器的步骤,将不同量纲下的数据集合统一到统一区间内,这样才不会对分类算法造成偏置和干扰。同时,特征集中每一个特征的计算使用不同的方法,这样得到的特征集难以进行比较处理,会在很大程度上降低学习算法的性能,所以所述方法还包括对所述训练数据进行归一化处理的步骤,其中所述归一化处理公式为:fnormalization=fraw-μ/σ,其中,μ为经验平均值,σ为一个特征在行为的标准差。
本发明通过具体的实验结果来说明在行为识别方法中采用WCF进行特征集抽取优点。
本发明实验通过采用名为MotionNode传感器平台采集的USC-HAD数据集,通过对不同性别、年龄、身高、体重的13个测试者,分别采集加速度传感器和陀螺仪传感器x、y、z共6个通道上的数据。基于USC-HAD数据集,共识别了11种行为模式,分别为直行、左行、右行、上楼梯、下楼梯、跑步、跳跃、坐、站立、睡觉、乘坐电梯进行实验。
实验用支持向量机(SVM)来评估不同特征集的有效性,特征集所包含的特征个数的跨度为10到100,由于研究证明SVM对数据的维度不敏感,故可以有效的作用于对本发明基于移动终端的行为识别方法中特征集抽取方法进行验证。同时使用K最邻近结点算法(KNN)和J48决策树来进行行为的分类。为了不失普遍性,分别使用准确率、召回率、F1-score对特征集进行评估。特征值抽取过程中滑动窗口的大小以及重叠窗口的大小是通过实验方法验证得来的,通过大量实验,在该数据集下,将滑动窗口大小为500,重叠窗口大小为100的实验结果最佳。
实验结果对比说明:
1、基于统计学的特征集合(SF)和物理特征集合(PF)的评估:
对基于统计的特征集合和物理特征集合提取过程中的能耗以及分类精度进行评估。
如图2所示,显示了静态特征集随着特征向量不断增加所消耗的能量以及分类精度。左边的y轴代表分类精度,右边的y轴代表当前使用的数据集的能量消耗。本发明使用的评估策略为:每次增加一组特征到分类器并记录当前状态的分类精度以及能量消耗,每一组特征包含六个通道的特征值。每一个通道上抽取的特征集包含11个特征,六个通道共有66个特征,每次增加一组特征即增加6个特征到特征集向量。从图中可以看出随着特征集数量的增加分类精度并没有显著的提高,特征集向量增加到6组后,计算所消耗的能量大幅度攀升。
如图3所示,为物理特征集的精度和能耗分布。物理特征集包含22个特征,和统计特征分别从单个通道上获取特征值不同之处在于,物理特征视6个通道的数据为一个整体进行特征的提取,所采用的评估策略易于统计特征集的评估策略,每次增加一个物理特征到特征集向量并记录当前的分类精度和能量消耗。我们可以看出,物理特征集的平均能耗高于统计数据集,特征集向量大小从5到10的区间内分类精度大幅度提升,但伴随而来的能量消耗呈线性增长。可以看出,物理数据集在分类精度方面的性能要优于统计数据集,但是能耗方面并没有得到良好的改善,不能满足实际设备对低能耗的要求。
这两种传统意义上的特征抽取方法有如下的不足和弊端:
(1)每一个特征的计算都存在大量的冗余,尤其是提取统计特征集。在行为识别技术中并没有对冗余的量级做出具体定义。冗余信息并没有在很大程度上提高分类的精度,有时候反而混淆的了分类器导致识别结果的误差。大量冗余数据的存在也降低了特征集的稳定性。
(2)每一个特征集的计算能耗较高,特别是在物理特征集中,这会导致数据处理过程严重消耗设备的能耗。
(3)在统计数据集中,可以从多个传感器的多个轴上的数据提取特征集,但是当使用维数过多的数据反而会影响到整个方法的性能。因此,为了在有限能量下获取理想的分类精度,我们必须降低计算能耗,减少数据冗余并适度降低数据维数。
2、WCF特征集合评估
本发明WCF结合了统计特征集和物理特征集的优点,物理特征集具有行为的实际特征意义,且分类精度较高,传统的物理特征集计算开销优于物理特征集。本发明中的WCF算法是在在较低的能量消耗前提下提高了行为识别的精度。
首先找到最有价值的子频段来计算得到频率Timbre数据集,取n=7。只使用韵律特征集(wcftimbre)得到的分类精度如下表1所示,其中Dk表示k级高频子带上的wcftimbre特征集,A表示低频子段上的wcftimbre特征集。可以看出,仅使用A的情况下行为识别精度可以达到92.2%,可见低频子段的wcftimbre特征集在整个WCF特征集中所起到的作用尤为关键。
表1
基于上面的实验,选取A作为基础特征集,每次加入1个子频段的节奏特征集(wcfryhthm)至特征集中。如表2所示,随着子带的加入后分类精度的变化。可以看出,加入小波变换级数为6的wcfryhthm特征集时,行为识别率精度达到95.29%。
表2
然后,本发明使用A的wcftimbre和D6的wcfryhthm组成WCF’特征集,WCF’是WCF算法特征集的一个子集。在实际特征集的抽取过程中,根据实际需要抽取特征集或抽取特征集中的子集进行行为的识别,具体是需要全部特征集还是部分特征子集,根据实验的方式确定。WCF中的timbre特征集包含统计数据集中的大部分特征,不同的是我们采用小波系数来求得各特征值。同样的我们以CPU运行时间作为评估其能耗的标准,我们求得一个窗口大小的实体一级分解所消耗的平均时间为1*10-1ms,7级分解所消耗的平均时间为3.8*10-1ms。如图4所示,显示了WCF’的分类精度以及能量消耗,WCF’相比SF大幅度减小了能量开销,与PF相比有更高的精度。当特征向量尺寸超过10之后分类精度增长趋势逐渐缓慢,这一点同PF的变化趋势相似,但相对于PF能量消耗的线性增长,WCF’的能量消耗在较低能耗的范围内保持稳定。此外,我们使用kNN,决策树(J48)和SVM三种分类算法对SF,PF和WCF’进行了综合的对比分析,如表3所示。通过实验可以看出,WCF’能够有效的降低计算所占用的能耗,同时保证良好的分类精度。
表3
本发明已经验证了WCF’的有效性,WCF’仅包含1个子频段上的wcfryhthm,WCF’只是WCF的一个子集,还未找到WCF的最优子集。现在依次向基础特征中加入其余6个通道每个子带的wcfryhthm。如图5所示,随着特征集的加入,算法性能得到进一步提升。当加入6和7层次的wcfryhthm时,分类精度有一定幅度的下降,这表示该层次的特征集与其他5个层次的特征集作为一个整体时对分类精度以及降低能耗没有突出贡献,这表明不同子带的特征集的组合将产生不同预期的效果。
最后,考虑到WCF的实用性,本发明对WCF作用在不同规模数量的行为实体上的性能做了一系列评测,如图6所示。可以看出当人体行为实体数量较小时PF和WCF特征集都能达到很高的精度,但随着数量的增多,WCF的精度要优于SF和PF。
综上所述,本发明人体行为识别方法中提出的基于小波系数的特征集提取方法WCF,在提高行为识别准确度的同时大幅度减少了计算能耗。WCF由于自身的优势可以有效的在移动手机设备上运行,解决了传统方法因能耗较高不能持续运行在移动设备上的问题。WCF并不是现有方法当中分类精确度最高的特征集提取方法,但WCF权衡了能耗和精度两个方面,在保证分类精度的同时大幅度减少了计算能耗,增加了算法的实用性。
实施例2
本实施例移动终端,包括
传感器单元,用于采集行为的传感数据;
小波变换单元,用于将所述传感数据通过小波函数变换为小波域下的小波特征向量;
特征集获取单元,用于基于预定的特征值获取方法,对小波变换单元得到的包含行为特征的小波特征向量进行计算和/或抽取,得到表征行为的特征集;
数据训练单元,用于将所述特征集获取单元获得的特征集中的数据作为训练数据,得到分类器;
动作识别单元,用于对行为的识别,即所述传感器采集的未知行为的传感数据分别经过小波变换单元和特征集获取单元的处理后,将处理后的数据通过所述分类器进行识别,判断后输出该行为,并更新所述分类器。
进一步地,所述传感器包括加速度传感器和陀螺仪传感器,所述传感数据分别取自加速度和陀螺仪传感器的x、y、z三个轴。
进一步地,所述小波变换单元,采用重叠滑动窗口的策略将连续的传感数据流划分为一个固定长度的实体,通过小波函数对所述固定长度的实体进行n级小波变换,得到不同子频段上的小波向量;
所述特征集获取单元包括韵律特征获取单元和节奏特征获取单元,所述韵律特征获取单元,用于根据预定的韵律特征的获取方法,通过计算每个子频段上的小波向量系数的平均值、方差、偏度,得到行为的韵律特征集;
所述节奏特征获取单元,用于根据预定的节奏特征的获取方法,计算当前子频段计算消耗的能量占所有子频段计算消耗能量的百分比,得到行为的节奏特征集。
特别地,还包括数据归一化单元,用于对所述训练数据进行归一化处理。
本实施例中所述的移动终端为手机,但是本发明所述的移动终端不仅仅限于手机,任何带有传感器且具有计算能力的移动终端都包含在本发明所述的移动终端之内。
本实施例2所述的移动终端能够运行上述实施例1中所述的行为识别方法,但上述实施1中所述的行为识别方法的运行不仅仅限于本实施例所述的移动终端,本实施例所述的移动终端在运行上述实施例1中所述的方法时有和上述实施例1相同的有益效果。
本发明所述的方法及移动终端不仅仅限于人体行为动作的识别,可以应用到任何能够进行数据训练得到分类器的行为识别。
以上,仅为本发明的较佳实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。
Claims (7)
1.一种基于移动终端的行为识别方法,其特征在于:所述方法包括:
S1通过移动终端的传感器采集表征行为的传感数据;
S2将所述传感数据通过小波函数变换为小波域下的小波特征向量,所述小波函数为:
其中,为位置j上的尺度为k的小波函数;
dj,k为原时域函数f(x)变换后的小波系数;
S3基于预定的特征值获取方法,对步骤S2中得到的包含行为特征的小波特征向量进行提取计算,得到表征行为的特征集;
S4将所述特征集或/和所述特征集的子集作为训练数据,得到分类器;
S5对行为的识别,即所述传感器采集的未知行为的传感数据进行步骤S2和S3的处理后,通过所述分类器进行识别,判断后输出该行为,并更新所述分类器;
所述行为的特征集获得的具体方法包括:
S3.1通过移动终端的传感器采集表征行为的传感数据;
S3.2采用重叠滑动窗口的策略将连续的传感数据流划分为一个固定长度的基于移动终端的行为识别方法实体,通过小波函数对所述固定长度的实体进行n级小波变换,得到不同子频段上的小波向量;
S3.3根据预定的韵律特征和节奏特征获取方法提取计算每个子频段上表征行为的小波向量,得到表征行为的特征集,其中
所述韵律特征获取方法具体包括:计算每个子频段上的小波向量系数的平均值、方差、偏度,得到行为的韵律特征集;
所述节奏特征获取方法具体包括:计算当前子频段计算消耗的能量占所有子频段计算消耗能量的百分比,得到行为的节奏特征集,所述节奏特征集计算公式表示如下:
其中,为所有子频段计算消耗的能量;
∑|dsubband|为当前子频段计算消耗的能量。
2.根据权利要求1所述的基于移动终端的行为识别方法,其特征在于:所述传感器包括加速度传感器和陀螺仪传感器,所述传感数据分别取自加速度和陀螺仪传感器的x、y、z三个轴。
3.根据权利要求1所述的基于移动终端的行为识别方法,其特征在于:还包括对所述训练数据进行归一化处理的步骤,其中所述归一化处理公式为:fnormalization=fraw-μ/σ,其中,μ为经验平均值,σ为一个特征在行为的标准差。
4.根据权利要求1所述的基于移动终端的行为识别方法,其特征在于:将传感数据变换为小波域上小波向量的小波函数通过实验的方法获得。
5.一种移动终端,其特征在于:包括
传感器单元,用于采集行为的传感数据;
小波变换单元,用于将所述传感数据通过小波函数变换为小波域下的小波特征向量;
特征集获取单元,用于基于预定的特征值获取方法,对小波变换单元得到的包含行为特征的小波特征向量进行计算和/或抽取,得到表征行为的特征集;
数据训练单元,用于将所述特征集获取单元获得的特征集中的数据作为训练数据,得到分类器;
动作识别单元,用于对行为的识别,即所述传感器采集的未知行为的传感数据分别经过小波变换单元和特征集获取单元的处理后,将处理后的数据通过所述分类器进行识别,判断后输出该行为,并更新所述分类器;
所述小波变换单元,采用重叠滑动窗口的策略将连续的传感数据流划分为一个固定长度的实体,通过小波函数对所述固定长度的实体进行n级小波变换,得到不同子频段上的小波向量;
所述特征集获取单元包括韵律特征获取单元和节奏特征获取单元,所述韵律特征获取单元,用于根据预定的韵律特征的获取方法,通过计算每个子频段上的小波向量系数的平均值、方差、偏度,得到行为的韵律特征集;
所述节奏特征获取单元,用于根据预定的节奏特征的获取方法,计算当前子频段计算消耗的能量占所有子频段计算消耗能量的百分比,得到行为的节奏特征集。
6.根据权利要求5所述的移动终端,其特征在于:所述传感器包括加速度传感器和陀螺仪传感器,所述传感数据分别取自加速度和陀螺仪传感器的x、y、z三个轴。
7.根据权利要求5所述的移动终端,其特征在于:还包括数据归一化单元,用于对所述训练数据进行归一化处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310439425.8A CN103886323B (zh) | 2013-09-24 | 2013-09-24 | 基于移动终端的行为识别方法及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310439425.8A CN103886323B (zh) | 2013-09-24 | 2013-09-24 | 基于移动终端的行为识别方法及移动终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103886323A CN103886323A (zh) | 2014-06-25 |
CN103886323B true CN103886323B (zh) | 2017-02-15 |
Family
ID=50955206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310439425.8A Active CN103886323B (zh) | 2013-09-24 | 2013-09-24 | 基于移动终端的行为识别方法及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103886323B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573048B (zh) * | 2015-01-20 | 2018-10-12 | 电子科技大学 | 一种基于智能手机流量数据的用户基础属性预测方法 |
CN104601817A (zh) * | 2015-01-20 | 2015-05-06 | 电子科技大学 | 一种基于智能手机加速度传感器的用户基础属性预测方法 |
CN104802737B (zh) * | 2015-03-25 | 2017-05-10 | 清华大学 | 一种基于手机的车辆异常驾驶行为检测方法 |
CN105046215B (zh) * | 2015-07-07 | 2018-11-16 | 中国科学院上海高等研究院 | 不受个体佩戴位置和佩戴方式影响的姿态行为识别方法 |
CN106339071A (zh) * | 2015-07-08 | 2017-01-18 | 中兴通讯股份有限公司 | 一种行为识别方法及设备 |
CN105678222B (zh) * | 2015-12-29 | 2019-05-31 | 浙江大学 | 一种基于移动设备的人体行为识别方法 |
CN106406516A (zh) * | 2016-08-26 | 2017-02-15 | 兰州理工大学 | 一种智能手机本地实时的运动轨迹特征提取与识别方法 |
CN106446778A (zh) * | 2016-08-27 | 2017-02-22 | 天津大学 | 基于加速度传感器的人体运动识别方法 |
CN107016347A (zh) * | 2017-03-09 | 2017-08-04 | 腾讯科技(深圳)有限公司 | 一种体感动作识别方法、装置以及系统 |
CN107026928A (zh) * | 2017-05-24 | 2017-08-08 | 武汉大学 | 一种基于手机传感器的行为特征识别认证方法及装置 |
CN107220856B (zh) * | 2017-06-02 | 2020-07-10 | 武汉大学 | 一种移动消费群组识别的系统及方法 |
CN109389141B (zh) * | 2017-08-14 | 2021-04-20 | 比亚迪股份有限公司 | 测量数据的处理方法和装置 |
CN107688790B (zh) * | 2017-09-01 | 2020-09-04 | 东软集团股份有限公司 | 人体行为识别方法、装置、存储介质及电子设备 |
CN107909023B (zh) * | 2017-11-13 | 2020-07-14 | Oppo广东移动通信有限公司 | 运动参数的识别方法、装置、终端及存储介质 |
CN108439111A (zh) * | 2018-02-28 | 2018-08-24 | 武汉大学 | 一种基于小波变换的电梯运动异常实时检测方法 |
CN108363490A (zh) * | 2018-03-01 | 2018-08-03 | 深圳大图科创技术开发有限公司 | 一种交互效果良好的智能机器人系统 |
CN109086667A (zh) * | 2018-07-02 | 2018-12-25 | 南京邮电大学 | 基于智能终端的相似活动识别方法 |
CN109241926A (zh) * | 2018-09-19 | 2019-01-18 | 重庆信络威科技有限公司 | 一种基于小波分析的驾驶行为识别方法 |
CN110046647A (zh) * | 2019-03-08 | 2019-07-23 | 同盾控股有限公司 | 一种验证码机器行为识别方法及装置 |
CN110458033B (zh) * | 2019-07-17 | 2023-01-03 | 哈尔滨工程大学 | 一种基于可穿戴位置传感器的人体行为序列识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894252A (zh) * | 2010-03-29 | 2010-11-24 | 天津大学 | 基于3轴加速度传感器信号的步行运动分类方法 |
CN103020636A (zh) * | 2012-11-16 | 2013-04-03 | 哈尔滨工程大学 | 一种基于三维人体运动能耗仪的上下楼动作识别的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI356357B (en) * | 2007-12-24 | 2012-01-11 | Univ Nat Chiao Tung | A method for estimating a body pose |
-
2013
- 2013-09-24 CN CN201310439425.8A patent/CN103886323B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894252A (zh) * | 2010-03-29 | 2010-11-24 | 天津大学 | 基于3轴加速度传感器信号的步行运动分类方法 |
CN103020636A (zh) * | 2012-11-16 | 2013-04-03 | 哈尔滨工程大学 | 一种基于三维人体运动能耗仪的上下楼动作识别的方法 |
Non-Patent Citations (1)
Title |
---|
基于单个加速度传感器的人体运动模式识别;薛洋;《中国博士学位论文全文数据库 信息科技辑》;20111215(第12期);第8-24,30-31,75-76页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103886323A (zh) | 2014-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103886323B (zh) | 基于移动终端的行为识别方法及移动终端 | |
Chen et al. | Enhancing sentence embedding with generalized pooling | |
Ertuğrul et al. | A novel approach for SEMG signal classification with adaptive local binary patterns | |
CN103294199A (zh) | 一种基于脸部肌音信号的无声信息识别系统 | |
CN109493881A (zh) | 一种音频的标签化处理方法、装置和计算设备 | |
CN112200016A (zh) | 基于集成学习方法AdaBoost的脑电信号情感识别 | |
CN106407960A (zh) | 基于多特征音乐体载的分类方法及系统 | |
Benmalek et al. | Multiclass classification of Parkinson’s disease using different classifiers and LLBFS feature selection algorithm | |
Xu et al. | Constructing balance from imbalance for long-tailed image recognition | |
CN102664010A (zh) | 一种基于多因素频率位移不变特征的鲁棒说话人辨别方法 | |
Souissi et al. | Artificial neural networks and support vector machine for voice disorders identification | |
CN113870903A (zh) | 病理语音的识别方法、装置、设备及存储介质 | |
Hariharan et al. | A hybrid expert system approach for telemonitoring of vocal fold pathology | |
Ge et al. | Feature extraction of time series classification based on multi-method integration | |
CN115758082A (zh) | 一种轨道交通变压器故障诊断方法 | |
Shen et al. | A high-precision feature extraction network of fatigue speech from air traffic controller radiotelephony based on improved deep learning | |
CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
Palo et al. | Classification of emotional speech of children using probabilistic neural network | |
CN108388918B (zh) | 具有结构保持特性的数据特征选择方法 | |
Wankhade et al. | IKKN predictor: An EEG signal based emotion recognition for HCI | |
CN115512721A (zh) | 基于pdan的跨库语音情感识别方法及装置 | |
Li et al. | Feature extraction with convolutional restricted boltzmann machine for audio classification | |
Ankışhan et al. | A hybrid measure for the discrimination of the acoustic signals: Feature matrix (FMx) | |
Sattigeri et al. | A scalable feature learning and tag prediction framework for natural environment sounds | |
Noyum et al. | Boosting the predictive accurary of singer identification using discrete wavelet transform for feature extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |