CN105242779B - 一种识别用户动作的方法和移动智能终端 - Google Patents
一种识别用户动作的方法和移动智能终端 Download PDFInfo
- Publication number
- CN105242779B CN105242779B CN201510613465.9A CN201510613465A CN105242779B CN 105242779 B CN105242779 B CN 105242779B CN 201510613465 A CN201510613465 A CN 201510613465A CN 105242779 B CN105242779 B CN 105242779B
- Authority
- CN
- China
- Prior art keywords
- sequence
- data sequence
- data
- sax
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012360 testing method Methods 0.000 claims abstract description 120
- 230000009467 reduction Effects 0.000 claims abstract description 76
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims description 187
- 230000001133 acceleration Effects 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 61
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000000513 principal component analysis Methods 0.000 claims description 17
- 230000002776 aggregation Effects 0.000 claims description 13
- 238000004220 aggregation Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 82
- 230000008569 process Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Complex Calculations (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种识别用户动作的方法和移动智能终端,该方法包括获取用户动作数据,对用户动作数据进行训练得到特征提取参数以及模板符号序列;在一次用户动作识别中采集需要执行用户动作识别的数据,得到原始数据序列;利用特征提取参数对原始数据序列进行特征提取,得到降维后的测试数据序列;将测试数据序列转换为离散的字符串,得到测试数据序列的符号序列;将测试数据序列的符号序列与模板符号序列进行匹配,当匹配成功时确认模板符号序列对应的用户动作发生。本发明实施例通过利用特征提取参数对原始数据序列进行降维,并将降维后的数据序列符号化,再与模板符号序列匹配,降低了计算复杂性,提高了感知识别效率,具有良好的用户体验。
Description
技术领域
本发明涉及人机交互技术领域,具体涉及一种识别用户动作的方法和移动智能终端。
背景技术
手势动作是一种自然的、直观的交互方式,随着环境的不同,简单的手势可以表达多样的含义。将手势运用到人机交互之中,可以有效提高交互效率,改善用户体验。例如手势动作应用于智能手表、智能手环等智能终端设备中,当用户有抬手动作时,系统可以自动检测出并触发相应的操作(如实现智能手表的抬手亮屏等功能)以实现智能化的交互操作。
目前,人机交互系统中的手势动作识别方案主要可以分为两类:基于视觉的方案和基于传感器的方案。基于视觉的手势动作识别研究较早,识别方法也较为成熟,但是该方案存在对环境敏感,系统复杂,计算量大等弊端。而基于传感器的手势动作识别虽然起步时间较晚,但是灵活可靠,不受环境、光线的影响,实现简单,是一种具有发展潜力的识别方法。手势动作识别的本质是根据手势动作模型利用手势动作识别算法将手势动作分类。手势动作识别算法的优劣直接关系到手势动作识别的效率和精度。
目前的手势识别算法主要有以下几种:
(1)DTW(Dynamic Time Warpin,动态时间规整)。DTW算法虽然能解决输入数据序列和模板数据序列长度不一致的问题,但匹配性能对用户的依赖性较大;
(2)HMM(Hidden Markov Model,隐马尔可夫模型)。由于用户的个体差异,同一手势动作存在着较大差异,难以建立准确的手势动作模板和隐性马尔可夫模型。而且,隐马尔可夫模型HMM在分析手势动作时过于复杂,使得训练和识别的计算量较大;
(3)人工神经网络。人工神经网络识别算法需要大量的训练数据,而且算法复杂度高。
因此,现有基于传感器的识别方案在智能终端上的应用仍然面临着很多待解决的问题,例如:
(1)如何基于传感器实现较高精度的识别。
(2)如何降低识别计算的复杂度。由于智能终端是资源受限的设备,在用户动作识别过程中,智能终端的持续感知需要消耗不少的能量,所以智能终端的用户动作识别需要考虑计算量和功耗问题。
(3)如何提高用户体验。现有技术一般要求在给定的智能终端或一个固定的平面上操作,限制了用户动作的范围,对设备姿态要求较高,这样就给用户使用造成了极大的不便,用户体验较差。
发明内容
为解决或至少部分地解决上述技术问题,本发明提供了一种识别用户动作的方法和移动智能终端,能够提高识别精度,降低计算的复杂度,对用户执行动作时的设备姿态限制少,提高了用户使用体验。
为了达到上述目的,本发明的技术方案是这样实现的:
根据本发明的一个方面,提供了一种识别用户动作的方法,获取用户动作数据,对用户动作数据进行训练,得到特征提取参数以及模板符号序列,该方法还包括:
在一次用户动作识别中,采集需要执行用户动作识别的数据,得到原始数据序列;
利用特征提取参数对原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列;
将测试数据序列转换为离散的字符串,得到测试数据序列的符号序列;
将测试数据序列的符号序列与模板符号序列进行匹配,当匹配成功时,确认模板符号序列对应的用户动作发生。
可选地,模板符号序列为在对用户动作数据训练时采用符号化聚合近似 SAX得到的模板SAX符号序列;
将测试数据序列转换为离散的字符串,得到测试数据序列的符号序列包括:
利用与训练用户动作数据相同的符号化聚合近似SAX将测试数据序列转换为离散的SAX字符串,得到测试数据序列的SAX符号序列。
可选地,获取用户动作数据,对用户动作数据进行训练,得到特征提取参数以及模板符号序列包括:
对同一个用户动作多次采集数据,得到多个训练数据序列;
利用主成分分析对每个训练数据序列进行特征提取,降低训练数据序列的数据维数,得到降维后的训练数据序列;
利用符号化聚合近似SAX计算每个降维后的训练数据序列的训练SAX 符号序列,根据各个训练SAX符号序列之间的距离,确定出用户动作对应的一个模板SAX符号序列。
可选地,采集需要执行用户动作识别的数据,得到原始数据序列包括:
利用传感器采集三轴加速度数据和/或三轴角速度数据,将采集的三轴加速度数据和/或三轴角速度数据分别保存到对应的环形缓冲区中;
按照预定的频率同时从环形缓冲区中采样,并以预定步长的滑动窗对采样数据进行加窗处理,得到预定长度的原始数据序列;
对预定长度的原始数据序列进行滤波处理以滤除干扰噪声;
以及,利用主成分分析对每个训练数据序列进行特征提取,降低训练数据序列的数据维数,得到降维后的训练数据序列;利用符号化聚合近似SAX 计算每个降维后的训练数据序列的训练SAX符号序列,根据各个训练SAX 符号序列之间的距离,确定出用户动作对应的一个模板SAX符号序列包括:
对采集的每个训练数据序列进行滤波,并对滤波后的训练数据序列进行归一化处理;
计算训练数据序列的协方差矩阵的所有特征值以及每个特征值对应的单位特征向量;
从特征值中选择一个最优特征值;
利用最优特征值对应的单位特征向量构成的转换矩阵,对训练数据序列进行降维处理,计算训练数据序列在转换矩阵上的映射,得到降维后的训练数据序列;
利用符号化聚合近似SAX计算每个降维后的训练数据序列的训练SAX 符号序列;
分别计算降维后的每个训练SAX符号序列与剩余其它训练SAX符号序列之间的距离,并对每个训练SAX符号序列的所有距离求平均,从每个训练 SAX符号序列的平均距离中选择最小值,并将最小值所在的训练SAX符号序列,作为该用户动作对应的一个模板SAX符号序列。
可选地,利用特征提取参数对原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列包括:
特征提取参数包括:模板SAX符号序列对应的训练数据序列的各轴向均值、标准差向量以及用于数据降维的转换矩阵,训练数据序列由用户动作数据得到;
利用训练数据序列的各轴向均值和标准差向量对原始数据序列进行归一化处理;
利用转换矩阵,对归一化处理后的原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列。
可选地,利用与训练用户动作数据相同的符号化聚合近似SAX将测试数据序列转换为离散的SAX字符串,得到测试数据序列的SAX符号序列包括:
将长度为N的测试数据序列转换成长度为W的分段累积近似PAA序列;其中,W的数值小于N;
利用给定SAX字母表中的断点,将长度为W的PAA序列与该给定SAX 字母表中的字母建立对应关系,得到由PAA序列对应字母组成的离散的SAX 符号序列。
可选地,将测试数据序列的符号序列与模板符号序列进行匹配,当匹配成功时,确认模板符号序列对应的用户动作发生包括:
通过如下公式计算测试数据序列的SAX符号序列与模板SAX符号序列之间的距离:
其中,为测试数据序列的SAX符号序列,表示测试序列的SAX符号序列中的第i个元素为模板SAX符号序列,表示模板SAX符号序列中的第i个元素,W为模板SAX符号序列和测试数据序列的SAX符号序列的长度,N为测试数据序列的长度,dist()函数表示求取距离;
dist()函数表示为如下公式:
其中,r由确定,c由确定;β表示给定的SAX字母表的断点;
在得到模板SAX符号序列与测试数据序列的SAX符号序列之间的距离后,将距离与一预定阈值进行比较,当距离小于预定阈值时则匹配成功,确认该模板SAX符号序列对应的用户动作发生。
可选地,在利用特征提取参数对原始数据序列进行特征提取之前,方法还包括:
对采集的原始数据序列进行筛选,并在筛选到有效的原始数据序列后,对该有效的原始数据序列利用特征提取参数进行特征提取。
可选地,对采集的原始数据序列进行筛选包括:
分别计算预定长度的原始数据序列每个轴向上所有数据的平均值或者每个轴向上数据尾部预定个数的数据的平均值,判断平均值是否落入对应的预定平均值取值范围内,是则,确定原始数据序列为有效的原始数据序列;
或者,
分别计算预定长度的原始数据序列每个轴向上所有数据的标准差,并由该标准差计算得到平均标准差,判断平均标准差是否小于预定的平均标准差阈值,是则,确定原始数据序列为有效的原始数据序列;
或者,
选取预定长度的原始数据序列每个轴向上数据尾部预定个数的数据进行计算,判断数据尾部预定个数的数据对应的动作结束时刻是否处于静止状态,是则,确定原始数据序列为有效的原始数据序列。
可选地,判断数据尾部预定个数的数据对应的动作结束时刻是否处于静止状态包括:
分别选出原始数据序列每个轴向上数据尾部预定个数的数据中最大值和最小值,根据最大值和最小值,计算动作结束时刻数据的平均波动范围,以及每个轴向均值;
根据每个轴向均值,计算每个轴向均值的平方和的平方根得到均值判决量;
当平均波动范围小于第一预定阈值且均值判决量与重力加速度差的绝对值小于第二阈值时,确定数据尾部预定个数的数据对应的动作结束时刻处于静止状态。
根据本发明的另一个方面,提供了一种移动智能终端,移动智能终端包括:参数获取单元、数据采集单元、降维处理单元、符号化单元和匹配单元;
参数获取单元,用于获取特征提取参数和模板符号序列;
数据采集单元,用于在一次用户动作识别中,采集需要执行用户动作识别的数据,得到原始数据序列;
降维处理单元,用于利用参数获取单元的特征提取参数对原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列;
符号化单元,用于将测试数据序列转换为离散的字符串,得到测试数据序列的符号序列;
匹配单元,用于将测试数据序列的符号序列与参数获取单元的模板符号序列进行匹配,当匹配成功时,确认模板符号序列对应的用户动作发生。
可选地,移动智能终端还包括:误触发判断单元;
误触发判断单元,用于对采集的原始数据序列进行筛选,并在筛选到有效的原始数据序列后,触发降维处理单元对有效的原始数据序列利用参数获取单元的特征提取参数进行特征提取;
误触发判断单元,用于通过如下方式筛选采集的原始数据序列:
分别计算预定长度的原始数据序列每个轴向上所有数据的平均值或者每个轴向上数据尾部预定个数的数据的平均值,判断平均值是否落入对应的预定平均值取值范围内,是则,确定原始数据序列为有效的原始数据序列;
或者,
分别计算预定长度的原始数据序列每个轴向上所有数据的标准差,并由该标准差计算得到平均标准差,判断平均标准差是否小于预定的平均标准差阈值,是则,确定原始数据序列为有效的原始数据序列;
或者,
选取预定长度的原始数据序列每个轴向上数据尾部预定个数的数据进行计算,判断数据尾部预定个数的数据对应的动作结束时刻是否处于静止状态,是则,确定原始数据序列为有效的原始数据序列。
本发明的有益效果是:本发明实施例的技术方案,通过利用训练得到的特征提取参数对需要识别的原始数据序列进行数据降维,例如将三轴加速度或三轴角速度数据分别降低至一维,再对降维后得到的测试数据序列进行符号化处理,从而将多维度的用户动作数据最终变换为一个字符串序列,仅利用该字符串序列与训练得到的模板符号序列匹配。相比于现有在三维数据上分别进行操作的方案,本方案大大降低了计算的复杂度,并且由于将三维数据变成了一维数据,能够降低当用户发出手势指令时对设备姿态的要求,允许用户更加灵活地执行手势动作。
而且采用符号化处理对数据序列降维并进行相似性度量,进一步降低计算复杂度,在保证匹配性能的基础上进一步去除噪声,提高动作识别的准确度。实验证明,本发明的这种用户动作识别方法,可以准确检测出整个、半个抬手动作以及翻转手腕等用户动作,而且对用户执行动作时的姿态、起始点位置都没有严格的要求,可以随意地执行动作,用户体验较好。
此外,本发明实施例还提供了一种移动智能终端,由于本发明的移动智能终端采用了本发明实施例的这种识别用户动作的方法,在用户动作识别执行过程中通过降低维数以及符号化处理使得计算量小、功耗低,可以在移动智能终端设备中实时地运行和识别,很好地满足了实际应用的需要,提高了移动智能终端的用户体验和竞争力。
附图说明
图1是本发明一个实施例的一种识别用户动作方法的流程图;
图2是本发明又一个实施例的一种识别用户动作方法的流程示意图;
图3是本发明又一个实施例的数据采集示意图;
图4是本发明又一个实施例的添加滑动窗处理示意图;
图5是本发明又一个实施例的数据序列转换为离散字符串的示意图;
图6是本发明又一个实施例的一种移动智能终端的框图。
具体实施方式
本发明的主要构思是:针对现有基于传感器的用户动作识别方案存在的问题,本发明实施例预先采集用户动作数据进行训练,得到特征提取参数和模板符号序列,并利用该特征提取参数降低测试数据序列的数据维数(例如将三维加速度数据降至一维),与现有的在采集到的高维数据上直接进行操作以识别的方案相比,去除了噪声,降低了计算复杂度以及用户执行动作时对设备姿态的要求。进一步的,通过将降维后的低维数据序列进行符号化转换为字符串序列能够进一步的去除数据序列中的噪声,降低计算量,提高识别精度。最后将测试数据序列的字符串序列与模板符号序列进行匹配,能够在降低计算复杂度的同时实现准确的人体动作识别,提高用户体验。
本发明实施例的识别用户动作方法可应用在移动智能终端中,图1是本发明一个实施例的一种识别用户动作方法的流程图,识别用户动作的方法包括:获取用户动作数据,对用户动作数据进行训练,得到特征提取参数以及模板符号序列,还包括下列步骤S11至S14,参见图1,
S11,在一次用户动作识别中,采集需要执行用户动作识别的数据,得到原始数据序列;
在执行用户动作识别之前,本实施例还包括一个模板训练过程,在模板训练过程中采集用户动作数据进行训练得到特征提取参数和模板数据序列。模板训练过程并不是每次执行用户动作识别之前都必须的操作,例如,可以在执行所有用户动作识别之前,通过一次模板训练过程得到特征提取参数和模板数据序列并用于后续所有的用户动作识别。
S12,利用特征提取参数对原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列;
S13,将测试数据序列转换为离散的字符串,得到测试数据序列的符号序列;
S14,将测试数据序列的符号序列与模板符号序列进行匹配,当匹配成功时,确认模板符号序列对应的用户动作发生。
经过图1所示的方法,采集需要执行用户动作识别的数据,利用特征提取参数进行数据降维,并将降维后的数据转换为离散的字符串,得到测试数据序列对应的符号序列,将该符号序列与模板符号序列进行匹配,如果匹配成功,则确认模板符号序列关联的用户动作发生。由此可知,通过采用特征提取参数进行数据降维,例如将高维的三轴加速度数据降至一维,可以降低用户动作识别算法的复杂度,并平滑噪声。对得到的低维的测试数据序列进行符号化,转换为离散的字符串,能够进一步去除噪声,降低计算复杂性,并提高用户动作识别的准确度,不需要用户严格按照预定轨迹(例如,动作起始点)执行动作,提高了用户使用体验。
图2是本发明又一个实施例的一种识别用户动作方法的流程示意图;参见图2,本实施例预先训练得到一个或多个模板符号序列,每个模板符号序列对应一个用户动作(例如一个模板符号序列对应用户的抬手这一动作,另一个模板符号序列对应用户翻转手腕这一动作),将模板符号序列存储下来,后续测试时可使用该模板符号序列而不必再进行训练。
参见图2,模板训练包括下列步骤:传感器采集数据;滑动窗处理;滤波处理;步骤205训练数据序列处理(具体包括步骤2051利用主成分分析对训练数据序列进行数据降维处理;步骤2052,符号化聚合近似;步骤2053,获得模板符号序列)。
测试过程包括下列步骤:步骤201,传感器采集数据;步骤202,滑动窗处理;步骤203,滤波处理;步骤204,原始数据序列处理(具体包括步骤 2041利用从主成分分析中获得的特征提取参数对训练数据序列进行数据降维处理,步骤2042,符号化聚合近似;步骤2043,获得测试数据序列对应的符号序列)以及步骤206,用户动作匹配识别。
需要说明的是,模板训练中的传感器采集数据、滑动窗处理、滤波处理分别与测试过程中的步骤201、步骤202、步骤203相对应,且两两执行的操作基本相同,所以在图2中同时示出步骤204和205以清楚说明模板训练和用户动作识别两个过程。
以下以一次用户动作识别为例,对本发明实施例的这种用户动作识别方法的流程进行说明。
参见图2,本实施例的一次用户动作识别过程包括:
步骤201,传感器采集数据;
利用传感器采集三轴加速度数据和/或三轴角速度数据,将采集的三轴加速度数据和/或三轴角速度数据分别保存到对应的环形缓冲区中;
这里的传感器可以是三轴加速度传感器或者是三轴陀螺仪传感器,传感器采集得到用户动作数据,所采集的数据为用户动作的X轴、Y轴、Z轴的三轴加速度或三轴角速度。采集的数据分别保存到长度为Len的环形缓冲区中。
图3是本发明又一个实施例的数据采集示意图,参见图3,其中,31表示三轴加速度传感器,32表示采集得到的加速度数据,33表示环形缓冲区;三轴加速度传感器31采集用户动作的三轴加速度数据32,将采集的三轴加速度数据32放入对应的环形缓冲区33(图3示出了一个环形缓冲区33)中,本实施例采用环形缓冲区33的设计可以节省系统的存储空间,也方便对采集的加速度数据后续进行采样以及后续的添加滑动窗处理。本领域技术人员能够理解,在本发明的其他实施例中,也可以不采用环形缓冲区33放置采集的加速度数据32,对此不作限制。
此外,需要强调的是,图3是以通过加速度传感器采集用户动作的三轴加速度为例进行的示意性说明,后续也是以三轴加速度数据为例进行的训练和对测试数据的降维、匹配操作。但是在本发明的其他实施例中,也可以通过陀螺仪传感器采集用户动作的三轴角速度数据,或者既通过加速度传感器采集三轴加速度数据又通过陀螺仪传感器采集三轴角速度数据,然后分别对加速度数据序列和角速度数据序列进行训练,得到加速度数据序列对应的模板符号序列和角速度数据对应的模板符号序列,对此不做限制。同样的,如果是采集三轴角速度数据或者既采集加速度数据又采集角速度数据的话,在测试时,也需要采集角速度数据;或,既采集加速度数据又采集角速度数据,并将处理后的相应符号序列分别和对应的模板进行匹配,以确定是否匹配成功。进一步地,如果既采集用户动作的加速度数据又采集角速度数据得到两个对应的符号序列,可以对加速度数据对应的符号序列和角速度数据对应的符号序列与它们模板的匹配结果分别设计不同的权重,例如,将加速度数据序列匹配结果的权重设计的较大,并将加权后的匹配结果作为测试数据序列的判断结果。
需要说明的是,模板训练时的传感器采集数据与用户动作识别过程中的传感器采集数据的处理步骤基本相同,主要区别在于模板训练时需要对同一个用户动作多次采集数据,而在执行用户动作识别时,会对实际发生的任一用户动作的数据进行采集,因此,模板训练过程中的传感器采集数据可以参见前述相关描述,后续不再赘述。
步骤202,滑动窗处理;
在采集到三轴加速度数据后,从三个环形缓冲区中取出三轴加速度数据分别添加滑动窗。按照预定的频率同时从环形缓冲区中采样,并以预定步长 (Step)的滑动窗对采样数据进行加窗处理,得到预定长度的原始数据序列。
图4是本发明又一个实施例的添加滑动窗处理示意图;如图4所示,从 X轴、Y轴、Z轴三轴加速度数据的环形缓冲区中,按照预定的频率采样,对采样数据进行加窗处理。本实施例中,采样频率为50Hz(即一分钟采样得到50个数据),每个滑动窗的大小为50个采样数据,滑动窗的移动步长为5 个采样数据。滑动窗的大小即为得到的原始数据序列的长度,也就是说,同时从X轴、Y轴、Z轴三个环形缓冲区中分别取出50个采样数据进行测试。
需要说明的是,本实施例中加窗处理采用的窗函数为矩形窗,矩形窗属于时间变量的零次幂窗。但是在本发明的其他实施例中窗函数不限于矩形窗,也可以使用其它窗函数,对窗函数没有限制。
另外,模板训练时的滑动窗处理过程与一次用户动作识别中的滑动窗处理步骤202基本相同,因此,模板训练过程中的滑动窗处理可以参见前述相关描述。
步骤203,滤波处理;
对加窗后得到的预定长度的原始数据序列进行滤波处理,以滤除干扰噪声。
本实施例中,对预定长度的原始数据序列进行滤波处理以滤除干扰噪声包括:对预定长度的原始数据序列的每个轴向上进行滤波处理的数据点,选取该数据点左侧相邻的预定数目的数据点以及选取该数据点右侧相邻的预定数目的数据点,计算选取出的数据点的均值并由该均值替换滤波处理的数据点的数值。
具体的,本实施例采用K时间近邻均值化滤波进行滤波处理。K时间近邻均值化滤波是通过事先设定时间最近邻的个数K,然后在各轴加速度数据时间序列中,把任意一数据点左边K个近邻数据点和右边K个近邻数据点所组成的序列的均值作为滤波处理后该数据点的值。对于时间序列中前K个数据点和最后K个数据点,须做特殊处理,取尽可能多的邻居数据点作为均值化处理的对象。
以三轴加速度数据中的X轴数据序列为例,K时间近邻均值化滤波为:
其中,N是X轴数据序列的长度,即滑动窗的大小(本实施例中长度为 50),K是预先选取的邻居个数,即选取某一个数据点左、右各多少个最近邻的邻居,axj为加速度信号aj在X轴上的分量,a'xi是axj对应的滤波后的数据。
需要说明的是,本发明其他实施例中,除K时间近邻均值化滤波之外,还可以采用其它滤波处理方法,例如,中值滤波,巴特沃斯(Butterworth) 滤波等,只要能够实现对原始数据序列进行滤波处理即可。另外,模板训练时的滤波处理过程与一次用户动作识别过程中的滤波处理步骤203相同,因此,模板训练过程中的滤波处理可以参见前述相关描述。
步骤204,对原始数据序列进行处理(具体包括获取特征提取参数,步骤2041,数据降维处理,2042,符号化聚合近似;2043,获得测试数据序列对应的符号序列)。以下分别进行说明。
步骤2041,数据降维处理;
本实施例步骤2041数据降维处理中的特征提取参数是从模板训练过程步骤205中利用主成分分析对训练数据序列进行训练时得到的。
这里的主成分分析PCA(Principal Components Analysis)是设法将原来众多的(比如P个)具有一定相关性的指标,重新组合成一组新的互相无关的综合指标来代替原来的指标。PCA研究如何通过少数几个主成分来揭示多个变量间的内部结构,即从原始变量中导出少数几个主成分,使它们尽可能多地保留原始变量的信息,且彼此间互不相关。
PCA的原理为:设F1表示原变量A1,A2,...AP的第一个线性组合所形成的主成分指标,每一个主成分所提取的信息量可用其方差来度量,方差Var(F1) 越大,表示F1包含的原指标的信息越多。因此在所有的线性组合中选取的F1应该是多变量的所有线性组合中方差最大的,故称F1为第一主成分。如果第一主成分不足以代表原来多个指标的信息,再考虑选取第二个主成分指标F2,依此类推构造出的F1,F2...FP为原变量指标A1,A2,...AP的第一个、第二个、…、第 P个主成分。这些主成分之间不仅不相关,而且它们的方差依次递减。
本实施例中挑选前几个最大主成分进行处理(而无需处理全部指标)实现了对训练数据序列进行特征提取。具体的在模板训练过程中可以对训练得到的特征提取参数和模板符号序列进行保存,步骤2051数据降维处理包括如下步骤1至步骤4的操作:
步骤1,对采集的每个训练数据序列进行滤波,并对滤波后的训练数据序列进行归一化处理;
本实施例中,在进行主成分分析PCA处理之前,要对训练数据序列进行归一化处理,将它变换为均值为0,方差为1的数据序列。
具体的,设三个滑动窗中得到的三轴加速度训练数据序列组成的N×P矩阵为A=[A1,...AP],其中,N为滑动窗的长度,P是数据维数,本实施例中P=3,即原始数据序列为三维数据,该矩阵A中的元素表示为aij,i=1,...N;j=1,...P。
步骤2,计算训练数据序列的协方差矩阵的所有特征值以及每个特征值对应的单位特征向量,步骤2包括下述步骤21至步骤22;
步骤21,计算协方差矩阵
计算原始三轴加速度训练数据序列各轴向均值M={Max,May,Maz},以及标准差向量σ={σax,σay,σaz};各轴向均值和标准差向量的计算方法为公知常识,这里不再赘述。
计算训练数据序列组成的矩阵A的协方差矩阵Σ:Σ=(sij)P×P,其中
分别为aki和akj(k=1,2,…,N)的均值,即计算三轴加速度训练数据序列各轴向的均值,i=1,...P;j=1,...P,本实施例中N为50,P=3。
步骤22,求出协方差矩阵Σ的特征值λi及相应的正交化单位特征向量ui;
设协方差矩阵Σ的特征值λ1≥λ2≥…≥λP>0,相应的单位特征向量为 u1,u2,…,uP。A1,A2,...AP的主成分就是以协方差矩阵Σ的特征向量为系数的线性组合,它们互不相关,其方差为Σ的特征值。
设某个时刻采集到的三轴加速度训练数据a={ax,ay,az},则λi对应的单位特征向量ui={ui1,ui2,ui3}就是主成分Fi关于加速度训练数据序列a的组合系数,则三轴加速度训练数据序列的第i个主成分Fi为:
Fi=a·ui=axui1+ayui2+azui3
本实施例中,计算出的训练数据序列的协方差矩阵的特征值具体为 {2.7799,0.2071,0.0130}。
步骤3,从特征值中选择一个最优特征值;即选择主成分。
选择前m个主成分来表示训练数据序列的信息,m的确定是通过方差信息累计贡献率G(m)来确定:
在本实施例中,P=3,这一步骤的处理过程是根据上一步骤中计算得到的主成分即特征值λi,具体在本实施例中选取几个特征值能够更好地代表三轴加速度训练数据序列的信息,通过计算每个特征值的方差信息累计贡献率来确定,实际应用中当方差信息累计贡献率G(m)大于85%时,就认为能足够反映三轴加速度训练数据序列的信息了,对应的m就是待抽取的前几个主成分的个数。
计算选取一个主成分(即特征值)时的方差信息累计贡献率,如果第一个主成分的方差信息累计贡献率大于85%时,则只需选取第一个主成分即可,如果只选取一个第一主成分时的方差信息累计贡献率小于等于85%,则需要接着计算第二主成分,并计算在选取两个主成分时的方差信息累计贡献率是否大于85%,以此类推,来确定m的值即确定选取的主成分的个数。
本实施例中,通过计算得到第一个主成分的方差信息累计贡献率为 92.66%(大于85%),所以只选择一个第一个主成分2.7799就很好地保留了三轴加速度训练数据序列的信息(从三个特征值中选取一个最优特征值)。
此外,如何通过主成分分进行计算选取主成分可以采用现有方案,因而更加详细的原理和计算步骤可以参考现有技术中主成分分析选取主成分的记载,在此不再赘述。
步骤4,利用最优特征值对应的单位特征向量构成的转换矩阵,对训练数据序列进行降维处理,计算训练数据序列在转换矩阵上的映射,得到降维后的训练数据序列。
计算三轴加速度训练数据序列在第一个主成分(特征值)上的得分,也就是在第一主成分上的投影:
F1=a·u1=axu11+ayu12+azu13,
其中u1={u11,u12,u13}是第一个主成分(特征值)对应的单位特征向量,即转换矩阵。
经过降维处理,将三维的加速度训练数据序列降为了一维数据,可以将该一维的数据序列作为一个训练数据序列,或者,进一步的将该一维数据序列进行分帧,求各帧的平均值,然后将各帧平均值组成的数据序列作为一个训练数据序列,这样做能够进一步去除噪声,提高系统的鲁棒性。
在训练过程中,针对每个训练数据序列,经过步骤2051的数据降维处理,都可以计算出该训练数据序列标准差向量,各轴向均值,以及最优特征值对应的单位特征向量(即转换矩阵)。将这三个参数保存下来,以便后续确定出模板符号序列时,把模板符号序列对应的训练数据序列的这一套参数(即标准差向量,各轴向均值,以及转换矩阵)输出给测试过程中的步骤204,使得步骤204中可以利用这一套参数对原始数据序列进行数据降维。
步骤2041中,利用训练数据序列的各轴向均值和标准差向量对滤波处理后的原始数据序列进行归一化处理;
即利用得到的加速度数据各轴向均值M={Max,May,Maz}和标准差向量σ={σax,σay,σaz},以及转换矩阵u={u11,u12,u13}。对滤波后的原始数据序列作如下处理:
在三个滑动窗内,利用各轴向均值M={Max,May,Maz}和标准差向量σ={σax,σay,σaz}对X轴、Y轴、Z轴加速度数据进行归一化处理:
a'x=(ax-Max)/σax
a'y=(ay-May)/σay
a'z=(az-Maz)/σaz
利用转换矩阵,对归一化处理后的原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列。
将归一化后的原始数据序列乘以转换矩阵u,得到降维后的一维数据序列:
d=a’·U=a’xu11+a’yu12+a’zu13
即得到原始数据序列对应的一维测试数据序列。可以将该降维后的一维数据作为一个测试数据序列。或者,进一步的将该一维数据序列进行分帧,求各帧的平均值,然后将各帧平均值组成的数据序列作为一个测试数据序列,这样做能够进一步去除噪声。
与现有技术相比,本发明实施例通过采用主成分分析PCA将原始加速度数据序列降至一维,而以往方法基本都是在三维数据上分别进行操作,因此大大降低了计算复杂度;并且,通过选择最重要的主成分,舍弃次要的成分,可以去除一部分噪声;另外,由于三维数据降为一维数据,可以降低对用户执行动作时的设备姿态要求,使得用户可以比较随意地执行动作,提高了用户使用体验。
在获得了一维测试数据序列之后,利用符号化聚合近似SAX将该测试数据序列转换为离散的字符串,需要说明的是,测试数据序列的SAX符号化过程和训练模板时的SAX符号化过程相同。
步骤2042,符号化聚合近似;
在步骤2041中,利用训练过程中得到的特征提取参数对原始数据序列进行降维处理,可以计算得到一维测试数据序列;在本实施例中,为了进一步的去除噪声,需要对该一维测试数据序列中的数据进行符号化聚合近似。
符号化聚合近似是在分段累积近似(Piecewise Aggregate Approximation,PAA)基础上提出的一种有效的时间序列数据离散化方法,运用时间序列内在的统计规律将连续数据转化为符号序列(即字符串)。它能够约减维数以及进行相似性度量。本实施例中采用PAA对训练数据序列降维,在此基础上将训练数据序列离散化,实现用符号表示数值序列,并度量时间序列之间的相似性的效果。
通过符号化聚合近似SAX可将长度为N的时间序列转化成长度为W的 SAX词。SAX方法在保留数据局部信息的同时有较高的压缩率,对噪声有较高的承受能力,分段过程既实现了消除噪声,又实现了数据平滑处理。
具体的,设步骤2041中得到的一维加速度原始数据序列为 A=a1,a2,…,aN。N为序列长度。在本实施例中N=50;
符号化聚合近似SAX的过程包括下述步骤①至②:
①PAA处理,得到长度为W的PAA序列;
将长度为N的测试数据序列转换成长度为W的分段累积近似PAA序列;其中,W的数值小于N;
长度为N的加速度测试数据序列A可以用W维空间的向量来表示。其中的第i个元素计算如下:
通过PAA处理,将测试数据序列的长度从N降到了W。W代表降维后的一维测试数据序列的长度,也就是测试数据序列中所包含数据的个数。
②离散化
离散化时,映射的字母符号要求具有相等的出现概率。对于一般的时间序列来说,它近似服从高斯分布,因此可以将数据序列的整个取值范围划分为r个等概率的区间,即在高斯概率密度曲线下,划分成面积相等的r个部分,并用相同的字母符号表示处于同一个区间的序列数值,从而得到数值的符号化表示,其中基数r的值与概率空间划分的对应关系如表1所示。
表1
这里表1是一个基数r从3到10的断点查找表,基数r表示对一个时间序列(即测试数据序列),将这个时间序列中数值大致均匀分布时分成的区间个数;断点β表示两个区间的分界点,断点可以理解为这样的数据点:大于该数据点的数据会落入一个区间,而小于等于该数据点的数据会落入另一个区间。例如,当基数r=3,断点β1=-0.43,β2=0.43时,将一个时间序列分为3 个区间,其中时间序列中的数值小于断点β1(即-0.43)的分到一个区间,大于等于β1,小于β2(即0.43)的分到第二个区间,大于等于β2的分到第三个区间。
根据前面的分阶段累积近似PAA处理,可以将测试数据序列转换为一个长度为W的PAA序列,接着利用给定SAX字母表中的断点,将长度为W的 PAA序列与该给定SAX字母表中的字母建立对应关系,得到由PAA序列对应字母组成的离散的SAX符号序列。
步骤2043,测试数据序列对应的符号序列;
设给定的SAX序列字母表为:ALPHABET={a,b,c,d,…}。在获得 PAA序列后,将PAA序列中的所有数据(即元素)分别与划分字母表中字母的断点进行比较,小于最小断点的元素映射为“a”,所有大于等于最小断点而小于第二个断点映射为符号“b”,以此类推。可以将PAA时间序列中的所有数值都用对应的字母来表示。
图5是本发明又一个实施例的数据序列转换为离散字符串的示意图,参见图5,对于一个长度为N的测试数据序列51,经过PAA处理后得到一个长度为W的PAA序列52,图5中的53表示划分区间的断点,图5中示出了两个断点将整个区间划分为3个小区间,每个小区间对应一个字母,即字母a、b、c,将PAA序列中的元素分别和断点进行比较,则图5中的PAA序列对应的SAX符号序列为baabccbc。
设alphai代表给定SAX字母表的第i个元素,即alpha1=a,alpha2=b,以此类推。从PAA序列到SAX字母序列的映射公式为:
其中,表示PAA序列中的第i个元素,alphaj表示给定SAX字母表的第j个元素,βj是给定SAX字母表第j个元素所对应的断点;
通过上述公式可以将PAA序列中的每个数值映射为给定SAX字母表中的一个字母,从而得到测试数据序列对应的SAX符号序列
此外训练时,在步骤2051得到的一维训练数据序列的基础上,利用步骤 2052符号化聚合近似(SAX)将该一维训练数据序列转换为离散的SAX字符串得到步骤2053的模板符号序列。
而模板训练过程的步骤2052,符号化聚合近似;与一次用户动作测试过程中的步骤2042的符号化聚合近似的操作步骤基本相同,因此,模板训练时,对训练数据序列的符号化聚合近似过程可以参见前述说明,这里不再赘述。
接下来介绍,步骤2053模板符号序列。
模板符号序列的确定是通过分别计算降维后的每个训练SAX符号序列与剩余其它训练SAX符号序列之间的距离,并对每个训练SAX符号序列的所有距离求平均,从每个训练SAX符号序列的平均距离中选择最小值,并将最小值所在的训练SAX符号序列,作为该用户动作对应的一个模板SAX符号序列。
即在对模板进行训练时,对同一个用户动作采集N次,处理得到N个训练SAX符号序列,然后利用SAX符号序列距离公式计算出每个训练SAX 符号序列与其它SAX符号序列之间的最小MINDIST距离,并求平均,最终得到N个平均MINDIST距离,选择最小平均MINDIST距离所在的训练SAX 符号序列作为该用户动作的模板SAX符号序列。
其中,计算两个SAX符号序列之间距离的SAX符号序列距离公式表示为:
其中,代表一个训练SAX符号序列,代表另一个训练SAX符号序列,W代表两个训练SAX符号序列的长度,表示的第i个元素,表示的第i个元素。
步骤206,用户动作匹配识别;
本实施例中采用模板匹配进行用户动作识别。模板匹配是将处理后得到的测试数据序列对应的符号序列与预先存储的模板符号序列进行匹配,通过测量两个符号序列之间的相似度(即距离)来完成识别任务。如果它们之间的距离小于一个给定的阈值,则认为测试数据序列对应的符号序列与模板符号序列匹配,模板符号序列对应的用户动作发生。
具体的,设经过步骤2053处理后得到的一个模板符号序列为经过步骤2043处理后得到的测试样本序列对应的符号序列为利用前述计算两个SAX符号序列之间距离的SAX符号序列距离公式MINDIST来表示这两个SAX符号序列之间的距离。
其中,为测试数据序列的SAX符号序列,表示测试数据序列的SAX 符号序列中的第i个元素,为模板SAX符号序列,表示模板SAX符号序列中的第i个元素,w为模板SAX符号序列和测试数据序列的SAX符号序列的长度,N为测试数据序列的长度,dist()函数表示求取距离;
dist()函数表示为如下公式:
其中,r由确定,代表在给定SAX字母表中的位置索引,c由确定,代表在给定SAX字母表中的位置索引;β表示给定的SAX字母表的断点;
需要说明的是,在给定了SAX字母表的大小后,dist()函数的取值可以查找SAX字母距离即可得到,其中SAX字母距离表只需要计算一次,然后存储下来供后续使用时进行快速查找。
a | b | c | d | e | f | g | h | |
a | 0 | 0 | 0.48 | 0.83 | 1.15 | 1.47 | 1.82 | 2.30 |
b | 0 | 0 | 0 | 0.35 | 0.67 | 0.99 | 1.34 | 1.82 |
c | 0.48 | 0 | 0 | 0 | 0.32 | 0.64 | 0.99 | 1.47 |
d | 0.83 | 0.35 | 0 | 0 | 0 | 0.32 | 0.67 | 1.15 |
e | 1.15 | 0.67 | 0.32 | 0 | 0 | 0 | 0.35 | 0.83 |
f | 1.47 | 0.99 | 0.64 | 0.32 | 0 | 0 | 0 | 0.48 |
g | 1.82 | 1.34 | 0.99 | 0.67 | 0.35 | 0 | 0 | 0 |
h | 2.30 | 1.82 | 1.47 | 1.15 | 0.83 | 0.48 | 0 | 0 |
表2
表2是一个SAX字母距离表的示意,参见表2,dist(r,c)中的r代表了表2中的行值或列值,c代表了表2中的列值或行值。例如,r表示行值,c 表示列值,r=3,c=5;则查找表2第3行第5列的值可得,字母c与字母e 之间的距离为0.32,即dist(c,e)的值为0.32。字母c是由测试数据序列的SAX 符号序列的元素确定,字母e由模板SAX符号序列中元素确定。
通过查找上述表2,可以计算得到两个符号序列中任意两个字母之间的距离,并进而求出两个SAX符号序列中所有字母距离的平方和的平方根,计算得到MINDIST。
当然,dist(r,c)的值也可以具体通过上述dist()函数公式计算得到,由于两种计算方式都是基于同一个给定的SAX字母表,所以两种方式下得到的计算结果是一样的,实际应用中可以根据需要进行选择,对此不作限制。
在得到模板SAX符号序列与测试数据序列的SAX符号序列之间的距离 MINDIST后,将这一距离MINDIST与一预定阈值进行比较,当距离MINDIST小于预定阈值时则匹配成功,确认该模板SAX符号序列对应的用户动作发生。
根据步骤206可以得到相应的识别结果,从而可以判断出采集的数据序列对应的是否是一个有效的用户动作,当是一个用户动作时,还可以进一步识别出是哪个模板匹配的用户动作。
需要强调的是,本实施例中是结合图2对一次用户动作识别过程进行的详细说明,在具体描述测试过程中也随带对模板训练过程中的相应步骤进行了介绍,但是,可以理解在具体实施时,本发明实施例可以先按照传感器采集数据→滑动窗处理→滤波处理→步骤205的顺序得到一个用户动作对应的模板符号序列,以及该模板符号序列对应的训练数据序列的特征提取参数,并将特征提取参数和模板符号序列保存下来,以便后续实际执行用户动作识别时使用。
根据本发明的又一个实施例,在对原始数据序列进行数据降维处理之前,还包括筛选原始数据序列的操作。其中本实施例的未尽事项可以参见本发明其他实施例的说明。具体的,本实施例中采用如下措施中的一种或多种保证识别出的是真正的待识别用户动作,尽量降低误触发率。
措施一,均值判断;
这种防止误触发措施基于的原理是:对于真正的用户动作,三轴加速度数据的各轴向平均值具有对应的可能取值范围,如果计算得到的各轴向平均值超出预先设定的可能取值范围,则可判断为不是真正的待识别用户动作,而是误触发。
分别计算预定长度的原始数据序列每个轴向上所有数据的平均值或者每个轴向上数据尾部预定个数的数据的平均值,判断平均值是否落入对应的预定平均值取值范围内,是则,确定原始数据序列为有效的原始数据序列;
这种防止误触发措施包括两种具体实现方式:
一种是,计算三个滑动窗内所有数据的平均值Mx、My、Mz,并将这些平均值和其对应的取值范围进行比较,以判断是否是真正的待识别用户动作;
具体的,在长度为N(例如,N为50)的每个滑动窗内,计算三轴加速度数据中各轴向平均值Mx、My、Mz。这种方式需要分别计算各轴向全部数据的平均值,然后在每个滑动窗内判断Mx、My、Mz是否落在相应的范围内,如果超出这个范围,则认为不是用户动作,不做进一步处理而直接返回。即,每个轴向平均值都对应一个可能的取值范围,将根据一个原始数据序列计算得到的各轴向均值与其对应的取值范围比较。
另一种方式计算三个滑动窗内最后预定数量的数据点的均值EndMx, EndMy,EndMz:
对于真正的待识别动作例如抬手动作,三个端点(即每个滑动窗最后预定数据量的数据点表示的位置)加速度平均值EndMx,EndMy,EndMz也具有相应的可能取值范围。在每个滑动窗内判断EndMx,EndMy,EndMz是否落在相应的范围内,如果超出这个范围,则认为不是待识别用户动作,不做进一步处理而直接返回。
措施二,平均差判断;
分别计算预定长度的原始数据序列每个轴向上所有数据的标准差,并由该标准差计算得到平均标准差,判断平均标准差是否小于预定的平均标准差阈值,是则,确定原始数据序列为有效的原始数据序列;
在长度均为N的三个滑动窗内,计算三轴加速度数据的标准差σx、σy、σz,并计算平均标准差σ:
σ=(σx+σy+σz)/3
如果平均标准差σ小于一个给定的阈值,则认为不是用户动作,不做进一步处理而直接返回。
措施三,动作结束时刻的状态判断;
对于真正的用户动作,在动作结束时刻会有短暂的停顿,因此可以根据这一原理判断采集的原始数据序列代表的是否是用户动作。
分别选出原始数据序列每个轴向上数据尾部预定个数的数据中最大值和最小值,根据最大值和最小值,计算动作结束时刻数据的平均波动范围,以及每个轴向均值;根据每个轴向均值,计算每个轴向均值的平方和的平方根得到均值判决量;当平均波动范围小于第一预定阈值且均值判决量与重力加速度差的绝对值小于第二阈值时,确定数据尾部预定个数的数据对应的动作结束时刻处于静止状态。
具体的,对于三轴加速度原始数据序列,选取每个滑动窗的最后预定数量的数据点,分别找出每个轴向上最后预定数量数据点的最小值和最大值: MinAx,MaxAx,MinAy,MaxAy,MinAz,MaxAz,根据这些最大值和最小值计算出平均波动范围MeanRange:
MeanRange=(MaxAx-MinAx+MaxAy-MinAy+MaxAz-MinAz)/3;
并计算各轴向均值MeanAx,MeanAy,MeanAz
MeanAx=(MinAx+MaxAx)/2
MeanAy=(MinAy+MaxAy)/2
MeanAz=(MinAz+MaxAz)/2
进一步计算均值判断量MeanA:
如果均值判断量MeanRange<E0,且|MeanA-G|<E1,则认为最后预定数量的数据点对应的动作结束时刻处于接近静止状态,则认为该数据序列为有效的原始数据序列继续进行下面的处理,否则,认为最后预定数量的数据点对应的不是用户动作,不做进一步处理而直接返回。其中,G为重力加速度, E0和E1分别为第一阈值和第二阈值。
本实施例中介绍了采用的几种防止误触发的措施,可以看出本实施例中通过深入分析用户动作波形的内在变化规律,进而设置用户动作应满足的限制条件(如三轴加速度的均值变化范围,动作波形终点可能的变化范围,以及动作结束后会有短暂的停顿等),可以很好地抑制误触发的情况,大大降低了非用户动作误识别为用户动作的概率。
以上即为本发明实施例的一次用户动作识别方法的流程描述,由上可知,与现有技术相比,第一,本发明的这种用户动作识别方法通过将原始数据序列降至一维,而以往方法基本都是在三维数据上直接进行操作,因此本发明的方法大大降低了计算复杂度;并且,通过降低数据维度可以去除一部分噪声;另外,由于将三维数据序列转换为一维数据序列,可以降低对用户执行动作时的设备姿态要求,用户可以比较随意地执行动作。
第二,通过将一维的测试数据序列转换为字符串序列,进一步降低了数据维数,降低了计算复杂度。保证了用户动作识别效果。此外,用字符串表示数值序列,也简化了下一步的匹配操作。
第三,通过深入分析手势动作波形的内在变化规律,设置手势动作应满足的限制条件(如三轴加速度的均值变化范围,手势波形终点可能的变化范围,以及手势结束后会有短暂的停顿等),可以很好地抑制误触发的情况,大大降低了用户动作误识别的概率。
另外,本发明还提供了一种移动智能终端,图6是本发明又一个实施例的一种移动智能终端的框图,参见图6,该移动智能终端60包括:参数获取单元 601、数据采集单元602、降维处理单元603、符号化单元604和匹配单元605;
参数获取单元601,用于获取特征提取参数和模板符号序列;
参数获取单元601可以从外部设备输入的信息中得到特征提取参数和模板数据序列,或者,参数获取单元601内部也可以设置一个模板训练模块,由该模板训练模块采集人体动作数据进行训练得到特征提取参数和模板数据序列,并将特征提取参数和模板数据序列输出给参数获取单元601。
数据采集单元602,用于在一次用户动作识别中,采集需要执行用户动作识别的数据,得到原始数据序列;
降维处理单元603,用于利用参数获取单元601的特征提取参数对原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列;
符号化单元604,用于将测试数据序列转换为离散的字符串,得到测试数据序列的符号序列;
匹配单元605,用于将测试数据序列的符号序列与参数获取单元601的模板符号序列进行匹配,当匹配成功时,确认模板符号序列对应的用户动作发生。
在本实施例中,移动智能终端60还包括:误触发判断单元;
误触发判断单元,用于对采集的原始数据序列进行筛选,并在筛选到有效的原始数据序列后,触发降维处理单元对有效的原始数据序列利用参数获取单元601的特征提取参数进行特征提取;
误触发判断单元,用于通过如下方式筛选采集的原始数据序列:
分别计算预定长度的原始数据序列每个轴向上所有数据的平均值或者每个轴向上数据尾部预定个数的数据的平均值,判断平均值是否落入对应的预定平均值取值范围内,是则,确定原始数据序列为有效的原始数据序列;
或者,
分别计算预定长度的原始数据序列每个轴向上所有数据的标准差,并由该标准差计算得到平均标准差,判断平均标准差是否小于预定的平均标准差阈值,是则,确定原始数据序列为有效的原始数据序列;
或者,
选取预定长度的原始数据序列每个轴向上数据尾部预定个数的数据进行计算,判断数据尾部预定个数的数据对应的动作结束时刻是否处于静止状态,是则,确定原始数据序列为有效的原始数据序列。
在本实施例中,模板符号序列为在对用户动作数据训练时采用符号化聚合近似SAX得到的模板SAX符号序列;符号化单元604用于,利用与训练用户动作数据相同的符号化聚合近似SAX将测试数据序列转换为离散的 SAX字符串,得到测试数据序列的SAX符号序列。
在本实施例中,参数获取单元601内设置有一个模板训练模块用于对同一个用户动作多次采集数据,得到多个训练数据序列;利用主成分分析对每个训练数据序列进行特征提取,降低训练数据序列的数据维数,得到降维后的训练数据序列;利用符号化聚合近似SAX计算每个降维后的训练数据序列的训练SAX符号序列,根据各个训练SAX符号序列之间的距离,确定出用户动作对应的一个模板SAX符号序列。
在本实施例中,数据采集单元602具体用于利用传感器采集三轴加速度数据和/或三轴角速度数据,将采集的三轴加速度数据和/或三轴角速度数据分别保存到对应的环形缓冲区中;按照预定的频率同时从环形缓冲区中采样,并以预定步长的滑动窗对采样数据进行加窗处理,得到预定长度的原始数据序列;对预定长度的原始数据序列进行滤波处理以滤除干扰噪声;
以及,参数获取单元601内设置有一个模板训练模块用于利用主成分分析对每个训练数据序列进行特征提取,降低训练数据序列的数据维数,得到降维后的训练数据序列;利用符号化聚合近似SAX计算每个降维后的训练数据序列的训练SAX符号序列,根据各个训练SAX符号序列之间的距离,确定出用户动作对应的一个模板SAX符号序列包括:对采集的每个训练数据序列进行滤波,并对滤波后的训练数据序列进行归一化处理;计算训练数据序列的协方差矩阵的所有特征值以及每个特征值对应的单位特征向量;从特征值中选择一个最优特征值;利用最优特征值对应的单位特征向量构成的转换矩阵,对训练数据序列进行降维处理,计算训练数据序列在转换矩阵上的映射,得到降维后的训练数据序列;利用符号化聚合近似SAX计算每个降维后的训练数据序列的训练SAX符号序列;分别计算降维后的每个训练SAX符号序列与剩余其它训练SAX符号序列之间的距离,并对每个训练SAX符号序列的所有距离求平均,从每个训练SAX符号序列的平均距离中选择最小值,并将最小值所在的训练SAX符号序列,作为该用户动作对应的一个模板 SAX符号序列。
在本实施例中,特征提取参数包括:模板SAX符号序列对应的训练数据序列的各轴向均值、标准差向量以及用于数据降维的转换矩阵,训练数据序列由用户动作数据得到;降维处理单元603具体用于,利用训练数据序列的各轴向均值和标准差向量对原始数据序列进行归一化处理;利用转换矩阵,对归一化处理后的原始数据序列进行特征提取,降低原始数据序列的数据维数,得到降维后的测试数据序列。
在本实施例中,符号化单元604具体用于,将长度为N的测试数据序列转换成长度为W的分段累积近似PAA序列;其中,W的数值小于N;
利用给定SAX字母表中的断点,将长度为W的PAA序列与该给定SAX 字母表中的字母建立对应关系,得到由PAA序列对应字母组成的离散的SAX 符号序列。
在本实施例中,匹配单元605具体用于,通过如下公式计算测试数据序列的SAX符号序列与模板SAX符号序列之间的距离:
其中,为测试数据序列的SAX符号序列,表示测试序列的SAX符号序列中的第i个元素为模板SAX符号序列,表示模板SAX符号序列中的第i个元素,W为模板SAX符号序列和测试数据序列的SAX符号序列的长度,N为测试数据序列的长度,dist()函数表示求取距离;
dist()函数表示为如下公式:
其中,r由确定,c由确定;β表示给定的SAX字母表的断点;
在得到模板SAX符号序列与测试数据序列的SAX符号序列之间的距离后,将距离与一预定阈值进行比较,当距离小于预定阈值时则匹配成功,确认该模板SAX符号序列对应的用户动作发生。
本实施例中移动智能终端60的各单元的具体工作方式可以参见本发明方法实施例中的相关内容,在此不再赘述。
本实施例中的移动智能终端60在进行用户动作识别方法时,先进行数据降维,在将降维后的数据转换为离散的字符串,接着将测试数据序列的字符串与模板符号序列进行匹配,匹配成功则确认模板符号序列对应的用户动作发生,从而避免了现有移动智能终端直接在三维数据上进行处理计算复杂的问题,同时,通过数据降维能够去除一部分噪声,通过将数值转换为字符串进一步降低计算量,提高识别精度。此外,该移动智能终端在进行用户动作识别时还包括了防止误触发的功能,能够进一步的提高动作识别的准确性,减少不必要的功耗损失,提高了产品竞争力。
综上所述,通过利用训练得到的特征提取参数对需要识别的原始数据序列进行数据降维,例如将三轴加速度或三轴角速度数据降低至一维,再对降维后得到的测试数据序列进行符号化处理,从而将多维度的用户动作数据最终变换为一个字符串序列,仅利用该字符串序列与训练得到的模板符号序列匹配。相比于现有在三维数据上分别进行操作的方案,本方案大大降低了计算的复杂度,并且由于将三维数据变成了一维数据,能够降低当用户发出手势指令时对设备姿态的要求,允许用户更加灵活地执行手势动作。
而采用符号化处理进一步对数据序列降维以及进行相似性度量,进一步降低计算复杂度,并能够在保证匹配性能的基础上进一步去除噪声,提高动作识别的准确度。
实验证明,本发明的这种用户动作识别方法,可以准确检测出整个、半个抬手动作以及翻转手腕等用户动作,而且对用户执行动作时的姿态、起始点位置都没有严格的要求,可以随意地执行动作,用户体验更好。
此外,本发明实施例还提供了一种移动智能终端,该移动智能终端包括但不局限于智能手表、智能手环、手机等,由于本发明的移动智能终端采用了本发明实施例的这种识别用户动作的方法,因而在用户动作识别过程中计算量小、功耗低,可以实时地运行和识别,很好地满足了实际应用的需要,提高了移动智能终端的用户体验和竞争力。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (12)
1.一种识别用户动作的方法,其特征在于,获取用户动作数据,对所述用户动作数据进行训练,得到特征提取参数以及模板符号序列,所述方法还包括:
在一次用户动作识别中,采集需要执行用户动作识别的数据,得到原始数据序列;
利用所述特征提取参数对所述原始数据序列进行特征提取,降低所述原始数据序列的数据维数,得到降维后的测试数据序列;
将所述测试数据序列转换为离散的字符串,得到所述测试数据序列的符号序列;
将所述测试数据序列的符号序列与所述模板符号序列进行匹配,计算所述测试数据序列的符号序列与所述模板符号序列之间的距离,当距离小于给定阈值时则匹配成功,确认所述模板符号序列对应的用户动作发生。
2.如权利要求1所述的方法,其特征在于,所述模板符号序列为在对用户动作数据训练时采用符号化聚合近似SAX得到的模板SAX符号序列;
所述将所述测试数据序列转换为离散的字符串,得到所述测试数据序列的符号序列包括:
利用与训练所述用户动作数据相同的符号化聚合近似SAX将所述测试数据序列转换为离散的SAX字符串,得到所述测试数据序列的SAX符号序列。
3.如权利要求2所述的方法,其特征在于,所述获取用户动作数据,对所述用户动作数据进行训练,得到特征提取参数以及模板符号序列包括:
对同一个用户动作多次采集数据,得到多个训练数据序列;
利用主成分分析对每个所述训练数据序列进行特征提取,降低所述训练数据序列的数据维数,得到降维后的训练数据序列;
利用符号化聚合近似SAX计算每个所述降维后的训练数据序列的训练SAX符号序列,根据各个训练SAX符号序列之间的距离,确定出所述用户动作对应的一个模板SAX符号序列。
4.如权利要求3所述的方法,其特征在于,所述采集需要执行用户动作识别的数据,得到原始数据序列包括:
利用传感器采集三轴加速度数据和/或三轴角速度数据,将采集的所述三轴加速度数据和/或三轴角速度数据分别保存到对应的环形缓冲区中;
按照预定的频率同时从所述环形缓冲区中采样,并以预定步长的滑动窗对采样数据进行加窗处理,得到预定长度的原始数据序列;
对所述预定长度的原始数据序列进行滤波处理以滤除干扰噪声;
以及,所述利用主成分分析对每个所述训练数据序列进行特征提取,降低所述训练数据序列的数据维数,得到降维后的训练数据序列;利用符号化聚合近似SAX计算每个所述降维后的训练数据序列的训练SAX符号序列,根据各个训练SAX符号序列之间的距离,确定出所述用户动作对应的一个模板SAX符号序列包括:
对采集的每个训练数据序列进行滤波,并对滤波后的所述训练数据序列进行归一化处理;
计算所述训练数据序列的协方差矩阵的所有特征值以及每个特征值对应的单位特征向量;
从所述特征值中选择一个最优特征值;
利用所述最优特征值对应的单位特征向量构成的转换矩阵,对所述训练数据序列进行降维处理,计算所述训练数据序列在所述转换矩阵上的映射,得到降维后的训练数据序列;
利用符号化聚合近似SAX计算每个所述降维后的训练数据序列的训练SAX符号序列;
分别计算降维后的每个训练SAX符号序列与剩余其它训练SAX符号序列之间的距离,并对每个训练SAX符号序列的所有距离求平均,从每个训练SAX符号序列的平均距离中选择最小值,并将最小值所在的训练SAX符号序列,作为该用户动作对应的一个模板SAX符号序列。
5.如权利要求4所述的方法,其特征在于,所述利用所述特征提取参数对所述原始数据序列进行特征提取,降低所述原始数据序列的数据维数,得到降维后的测试数据序列包括:
所述特征提取参数包括:所述模板SAX符号序列对应的训练数据序列的各轴向均值、标准差向量以及用于数据降维的转换矩阵,所述训练数据序列由所述用户动作数据得到;
利用所述训练数据序列的各轴向均值和标准差向量对所述原始数据序列进行归一化处理;
利用所述转换矩阵,对归一化处理后的所述原始数据序列进行特征提取,降低所述原始数据序列的数据维数,得到降维后的测试数据序列。
6.如权利要求3所述的方法,其特征在于,所述利用与训练所述用户动作数据相同的符号化聚合近似SAX将所述测试数据序列转换为离散的SAX字符串,得到所述测试数据序列的SAX符号序列包括:
将长度为N的测试数据序列转换成长度为W的分段累积近似PAA序列;其中,W的数值小于N;
利用给定SAX字母表中的断点,将长度为W的所述PAA序列与该给定SAX字母表中的字母建立对应关系,得到由所述PAA序列对应字母组成的离散的SAX符号序列。
7.如权利要求4所述的方法,其特征在于,所述将所述测试数据序列的符号序列与所述模板符号序列进行匹配,当匹配成功时,确认所述模板符号序列对应的用户动作发生包括:
通过如下公式计算测试数据序列的SAX符号序列与模板SAX符号序列之间的距离:
其中,为测试数据序列的SAX符号序列,表示测试序列的SAX符号序列中的第i个元素,为模板SAX符号序列,表示模板SAX符号序列中的第i个元素,W为模板SAX符号序列和测试数据序列的SAX符号序列的长度,N为测试数据序列的长度,dist()函数表示求取距离;
dist()函数表示为如下公式:
其中,r由所述确定,c由所述确定;β表示给定的SAX字母表的断点;
在得到所述模板SAX符号序列与所述测试数据序列的SAX符号序列之间的距离后,将所述距离与一预定阈值进行比较,当所述距离小于所述预定阈值时则匹配成功,确认该模板SAX符号序列对应的用户动作发生。
8.如权利要求1所述的方法,其特征在于,在利用所述特征提取参数对所述原始数据序列进行特征提取之前,所述方法还包括:
对采集的原始数据序列进行筛选,并在筛选到有效的原始数据序列后,对该有效的原始数据序列利用特征提取参数进行特征提取。
9.如权利要求8所述的方法,其特征在于,所述对采集的原始数据序列进行筛选包括:
分别计算预定长度的所述原始数据序列每个轴向上所有数据的平均值或者每个轴向上数据尾部预定个数的数据的平均值,判断所述平均值是否落入对应的预定平均值取值范围内,是则,确定所述原始数据序列为有效的原始数据序列;
或者,
分别计算预定长度的所述原始数据序列每个轴向上所有数据的标准差,并由该标准差计算得到平均标准差,判断所述平均标准差是否小于预定的平均标准差阈值,是则,确定所述原始数据序列为有效的原始数据序列;
或者,
选取预定长度的所述原始数据序列每个轴向上数据尾部预定个数的数据进行计算,判断所述数据尾部预定个数的数据对应的动作结束时刻是否处于静止状态,是则,确定所述原始数据序列为有效的原始数据序列。
10.如权利要求9所述的方法,其特征在于,所述判断所述数据尾部预定个数的数据对应的动作结束时刻是否处于静止状态包括:
分别选出所述原始数据序列每个轴向上数据尾部预定个数的数据中最大值和最小值,根据所述最大值和最小值,计算动作结束时刻数据的平均波动范围,以及每个轴向均值;
根据所述每个轴向均值,计算每个轴向均值的平方和的平方根得到均值判决量;
当所述平均波动范围小于第一预定阈值且所述均值判决量与重力加速度差的绝对值小于第二阈值时,确定所述数据尾部预定个数的数据对应的动作结束时刻处于静止状态。
11.一种移动智能终端,其特征在于,所述移动智能终端包括:参数获取单元、数据采集单元、降维处理单元、符号化单元和匹配单元;
所述参数获取单元,用于获取特征提取参数和模板符号序列;
所述数据采集单元,用于在一次用户动作识别中,采集需要执行用户动作识别的数据,得到原始数据序列;
所述降维处理单元,用于利用所述参数获取单元的特征提取参数对所述原始数据序列进行特征提取,降低所述原始数据序列的数据维数,得到降维后的测试数据序列;
所述符号化单元,用于将所述测试数据序列转换为离散的字符串,得到测试数据序列的符号序列;
所述匹配单元,用于将所述测试数据序列的符号序列与所述参数获取单元的模板符号序列进行匹配,计算所述测试数据序列的符号序列与所述模板符号序列之间的距离,当距离小于给定阈值时则匹配成功,确认所述模板符号序列对应的用户动作发生。
12.如权利要求11所述的移动智能终端,其特征在于,所述移动智能终端还包括:误触发判断单元;
所述误触发判断单元,用于对采集的原始数据序列进行筛选,并在筛选到有效的原始数据序列后,触发所述降维处理单元对有效的原始数据序列利用所述参数获取单元的特征提取参数进行特征提取;
所述误触发判断单元,用于通过如下方式筛选采集的原始数据序列:
分别计算预定长度的所述原始数据序列每个轴向上所有数据的平均值或者每个轴向上数据尾部预定个数的数据的平均值,判断所述平均值是否落入对应的预定平均值取值范围内,是则,确定所述原始数据序列为有效的原始数据序列;
或者,
分别计算预定长度的所述原始数据序列每个轴向上所有数据的标准差,并由该标准差计算得到平均标准差,判断所述平均标准差是否小于预定的平均标准差阈值,是则,确定所述原始数据序列为有效的原始数据序列;
或者,
选取预定长度的所述原始数据序列每个轴向上数据尾部预定个数的数据进行计算,判断所述数据尾部预定个数的数据对应的动作结束时刻是否处于静止状态,是则,确定所述原始数据序列为有效的原始数据序列。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510613465.9A CN105242779B (zh) | 2015-09-23 | 2015-09-23 | 一种识别用户动作的方法和移动智能终端 |
US15/541,234 US10339371B2 (en) | 2015-09-23 | 2016-09-09 | Method for recognizing a human motion, method for recognizing a user action and smart terminal |
PCT/CN2016/098582 WO2017050140A1 (zh) | 2015-09-23 | 2016-09-09 | 一种人体动作识别方法、识别用户动作的方法和智能终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510613465.9A CN105242779B (zh) | 2015-09-23 | 2015-09-23 | 一种识别用户动作的方法和移动智能终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105242779A CN105242779A (zh) | 2016-01-13 |
CN105242779B true CN105242779B (zh) | 2018-09-04 |
Family
ID=55040450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510613465.9A Active CN105242779B (zh) | 2015-09-23 | 2015-09-23 | 一种识别用户动作的方法和移动智能终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105242779B (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10339371B2 (en) | 2015-09-23 | 2019-07-02 | Goertek Inc. | Method for recognizing a human motion, method for recognizing a user action and smart terminal |
US11210299B2 (en) | 2015-12-01 | 2021-12-28 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
US11215457B2 (en) | 2015-12-01 | 2022-01-04 | Amer Sports Digital Services Oy | Thematic map based route optimization |
US11144107B2 (en) | 2015-12-01 | 2021-10-12 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
US11137820B2 (en) | 2015-12-01 | 2021-10-05 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
GB2545668B (en) | 2015-12-21 | 2020-05-20 | Suunto Oy | Sensor based context management |
US11838990B2 (en) | 2015-12-21 | 2023-12-05 | Suunto Oy | Communicating sensor data in wireless communication systems |
US11541280B2 (en) | 2015-12-21 | 2023-01-03 | Suunto Oy | Apparatus and exercising device |
US11284807B2 (en) | 2015-12-21 | 2022-03-29 | Amer Sports Digital Services Oy | Engaging exercising devices with a mobile device |
US11587484B2 (en) | 2015-12-21 | 2023-02-21 | Suunto Oy | Method for controlling a display |
CN105718777B (zh) * | 2016-01-19 | 2018-12-25 | 宇龙计算机通信科技(深圳)有限公司 | 一种终端解/锁屏方法、耳机、终端以及系统 |
CN105676860A (zh) * | 2016-03-17 | 2016-06-15 | 歌尔声学股份有限公司 | 一种可穿戴设备、无人机控制装置和控制实现方法 |
CN107870681A (zh) * | 2016-09-23 | 2018-04-03 | 上海葡萄纬度科技有限公司 | 实时识别动作的方法以及相应的手环与计算设备 |
DE102017009171A1 (de) | 2016-10-17 | 2018-04-19 | Amer Sports Digital Services Oy | Eingebettete rechenvorrichtung |
CN106843856A (zh) * | 2016-12-29 | 2017-06-13 | 深圳市宇恒互动科技开发有限公司 | 一种利用动作辨识软件信息的方法及终端 |
CN107480219A (zh) * | 2017-07-31 | 2017-12-15 | 北京微影时代科技有限公司 | 信息处理方法、装置、电子设备及计算机可读存储介质 |
CN108008151A (zh) * | 2017-11-09 | 2018-05-08 | 惠州市德赛工业研究院有限公司 | 一种基于三轴加速度传感器的运动状态识别方法及系统 |
CN108255297A (zh) * | 2017-12-29 | 2018-07-06 | 青岛真时科技有限公司 | 一种可穿戴设备应用控制方法和装置 |
CN109993037B (zh) * | 2018-01-02 | 2021-08-06 | 中国移动通信有限公司研究院 | 动作识别方法、装置、穿戴设备及计算机可读存储介质 |
CN108549856B (zh) * | 2018-04-02 | 2021-04-30 | 上海理工大学 | 一种人体动作和路况识别方法 |
CN109165587B (zh) * | 2018-08-11 | 2022-12-09 | 国网福建省电力有限公司厦门供电公司 | 智能图像信息抽取方法 |
CN109620241B (zh) * | 2018-11-16 | 2021-10-08 | 歌尔科技有限公司 | 一种可穿戴设备及基于其的动作监测方法 |
TWI729596B (zh) * | 2018-12-21 | 2021-06-01 | 芬蘭商亞瑪芬體育數字服務公司 | 感測器資料管理 |
US11294921B2 (en) * | 2019-03-12 | 2022-04-05 | General Electric Company | Multivariate time-series data search |
CN110032585B (zh) * | 2019-04-02 | 2021-11-30 | 北京科技大学 | 一种时间序列双层符号化方法及装置 |
CN110443321B (zh) * | 2019-08-14 | 2023-06-02 | 北京百度网讯科技有限公司 | 模型结构调整方法及装置 |
CN110680337B (zh) * | 2019-10-23 | 2022-08-23 | 无锡慧眼人工智能科技有限公司 | 一种识别动作种类的方法 |
CN111382867B (zh) * | 2020-02-20 | 2024-04-16 | 华为技术有限公司 | 神经网络压缩的方法、数据处理的方法及相关装置 |
CN111580664B (zh) * | 2020-05-11 | 2021-07-27 | 清华大学 | 一种抬起手势的识别方法、系统、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101995947A (zh) * | 2009-08-21 | 2011-03-30 | 香港中文大学 | 通过网络感知用户动作的系统和方法 |
CN104038738A (zh) * | 2014-06-04 | 2014-09-10 | 东北大学 | 一种提取人体关节点坐标的智能监控系统及方法 |
CN104182411A (zh) * | 2013-05-24 | 2014-12-03 | 日电(中国)有限公司 | 基于Map-Reduce的高维数据相似性连接方法和装置 |
-
2015
- 2015-09-23 CN CN201510613465.9A patent/CN105242779B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101995947A (zh) * | 2009-08-21 | 2011-03-30 | 香港中文大学 | 通过网络感知用户动作的系统和方法 |
CN104182411A (zh) * | 2013-05-24 | 2014-12-03 | 日电(中国)有限公司 | 基于Map-Reduce的高维数据相似性连接方法和装置 |
CN104038738A (zh) * | 2014-06-04 | 2014-09-10 | 东北大学 | 一种提取人体关节点坐标的智能监控系统及方法 |
Non-Patent Citations (1)
Title |
---|
基于加速度传感器的放置方式和位置无关运动识别;侯仓健等;《计算机科学》;20141031;第41卷(第10期);第76-79页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105242779A (zh) | 2016-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105242779B (zh) | 一种识别用户动作的方法和移动智能终端 | |
CN105184325B (zh) | 一种移动智能终端 | |
WO2017050140A1 (zh) | 一种人体动作识别方法、识别用户动作的方法和智能终端 | |
Tubaiz et al. | Glove-based continuous Arabic sign language recognition in user-dependent mode | |
Raghuveera et al. | A depth-based Indian sign language recognition using microsoft kinect | |
CN104484644B (zh) | 一种手势识别方法和装置 | |
Mapari et al. | Real time human pose recognition using leap motion sensor | |
CN104504366A (zh) | 基于光流特征的笑脸识别系统及方法 | |
KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
CN105389583A (zh) | 图像分类器的生成方法、图像分类方法和装置 | |
KR20120052610A (ko) | 신경망 학습을 통한 동작 인식 방법 및 장치 | |
WO2009090584A2 (en) | Method and system for activity recognition and its application in fall detection | |
Silanon et al. | Hand motion analysis for Thai alphabet recognition using HMM | |
CN108898623A (zh) | 目标跟踪方法及设备 | |
Fernandez-Lopez et al. | Optimizing resources on smartphone gait recognition | |
CN117237902B (zh) | 基于深度学习的机器人物体识别系统 | |
Meena et al. | Gender recognition using in-built inertial sensors of smartphone | |
Hassan et al. | User-dependent sign language recognition using motion detection | |
CN115273236A (zh) | 一种多模态的人体步态情感识别方法 | |
KR20130062200A (ko) | 손 제스처 인식 장치 및 그 방법 | |
Patel | Point Pattern Matching algorithm for recognition of 36 ASL gestures | |
KR101141936B1 (ko) | 광류장 기반의 손 이미지 영역 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법 | |
CN109858342B (zh) | 一种融合手工设计描述子和深度特征的人脸姿态估计方法 | |
CN109620241B (zh) | 一种可穿戴设备及基于其的动作监测方法 | |
Jarchi et al. | Transition detection and activity classification from wearable sensors using singular spectrum analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268 Applicant after: Goertek Inc. Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268 Applicant before: Goertek Inc. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |