CN110377159B - 动作识别方法和装置 - Google Patents
动作识别方法和装置 Download PDFInfo
- Publication number
- CN110377159B CN110377159B CN201910671411.6A CN201910671411A CN110377159B CN 110377159 B CN110377159 B CN 110377159B CN 201910671411 A CN201910671411 A CN 201910671411A CN 110377159 B CN110377159 B CN 110377159B
- Authority
- CN
- China
- Prior art keywords
- acceleration
- preset
- motion
- preset known
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种动作识别方法和装置。所述方法包括:采集三轴加速度和三轴角速度;计算合加速度,如果合加速度不等于重力加速度,则判定动作开始;对每个时间窗口,执行如下识别步骤:根据每个轴上的加速度标准差、加速度均值、角速度均值,判定该时间窗口内动作的主运动方向,只保留预设动作集合中与主运动方向一致的预设已知动作,再计算并利用该时间窗口内动作的动作特征数据对预设动作集合进行进一步的筛选,筛选后,如果预设动作集合中只有一个预设已知动作,则将该预设已知动作作为识别出的目标动作,否则,执行下一个时间窗口的识别步骤,继续对动作集合进行筛选。该算法简单、运算量小、实时性高,能运行于低存储、低运算能力的设备中。
Description
技术领域
本申请涉及电子信息技术领域,尤其涉及动作识别的方法和装置。
背景技术
动作识别在穿带设备、电子游戏、玩具中具有广泛的应用。申请号为201710139182.4,名称为一种体感动作识别方法、装置以及系统的专利中公布将获取的用户动作特征向量集与存储至少一个预设动作特征向量集进行比较,将相似度最高的预设动作特征向量集对应的已知动作作为识别的动作。这个方法算法复杂,需要大量的矩阵运算和高存储能力,消耗的硬件资源多。如上述专利中所述,该算法适用于个人电脑、平板电脑等装置,这些装置的硬件配置高,运算与存储能力强。但该方法不适合存储能力与运算能力都比较低的设备中。
发明内容
本申请的目的在于提出一种改进的动作识别方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种动作识别方法,所述方法包括:通过传感器采集三轴加速度和三轴角速度;根据所述三轴加速度,计算合加速度,如果所述合加速度不等于重力加速度,则判定动作开始;对于一个时间窗口内的三轴加速度和三轴角速度,执行如下识别步骤:先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,从预设已知动作集合中删除在该时间窗口内预设已知动作的主运动方向不是上述目标主运动方的预设已知动作,之后计算该时间窗口内动作的动作特征数据,如果所述动作特征数据满足上述预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作;判断上述预设已知动作集合中预设已知动作的个数,如果个数大于1,则对以下一个时间窗口的三轴加速度和三轴角速度,重复执行上述识别步骤,直到预设已知动作集合中预设已知动作的个数等于1,则将该预设已知动作集合中唯一的预设已知动作作为识别出的目标动作。
在一些实施例中,所述先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,包括:先计算该时间窗口内,每个轴上的加速度标准差,判断每个轴上的加速度标准差是否满足预设标准差条件,如果只有一个轴上的加速度标准差满足所述预设标准差条件,则将该轴的方向作为目标主运动方向,否则,计算该时间窗口内,每个轴上的加速度均值,依次判断加速度标准差满足所述预设标准差条件的每个轴上的加速度均值是否满足预设加速度条件,如果只有一个加速度均值满足所述预设加速度条件,则将该轴的方向作为目标主运动方向,否则,计算该时间窗口内,每个轴上的角速度均值,依次判断加速度均值满足所述预设加速度条件的每个轴上的角速度均值是否满足预设角速度条件,如果只有一个角速度均值满足所述预设角速度条件,则将该轴的方向作为目标主运动方向。
在一些实施例中,所述先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,包括:先计算该时间窗口内,每个轴上的加速度标准差,比较每个轴上加速度标准差的大小,选取取值最大的加速度标准差、取值第二大的加速度标准差,如果取值第二大的加速度标准差与取值最大加速度标准差的比值不满足预设条件,则将取值最大的加速度标准差对应的轴的方向作为目标主运动方向,否则,计算该时间窗口内,每个轴上的加速度均值,比较取值最大的加速度标准差对应的加速度均值与取值第二大的加速度标准差对应的加速度均值的绝对值的大小,选取绝对值最大的加速度均值的方向作为目标主运动方向。
在一些实施例中,所述动作特征数据包括但不限于:速度特征值、角度特征值、加速度特征值、角速度特征值;所述预设条件包括但不限于:预设不等式、是否等于的逻辑判断。
在一些实施例中,所述计算该时间窗口内动作的动作特征数据,如果所述动作特征数据满足预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,包括:计算该时间窗口内速度特征值,如果速度特征值满足预设已知动作集合中预设已知动作的速度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述速度特征值包括但不限于:速度最大值、速度最小值、速度方向;如果个数大于1,则计算该时间窗口内角度特征值,如果角度特征值满足预设已知动作集合中预设已知动作的角度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述角度特征值包括但不限于:角度最大值、角度最小值、角度方向;如果个数大于1,则计算该时间窗口内加速度特征值,如果加速度特征值满足预设已知动作集合中预设已知动作的加速度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述加速度特征值包括但不限于:加速度最大值、加速度最小值、加速度方向;如果个数大于1,则计算该时间窗口内角速度特征值,如果角速度特征值满足预设已知动作集合中预设已知动作的角速度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述角速度特征值包括但不限于:角速度最大值、角速度最小值、角速度方向。
在一些实施例中,所述方法还包括:对采集的三轴加速度和三轴角速度进行低通滤波处理。
在一些实施例中,所述方法还包括:在执行上述识别步骤之后,如果预设已知动作集合中预设已知动作的个数等于零,则重新执行各个步骤。
第二方面,本申请提供了一种动作识别装置,所述装置包括:数据采集单元,用于采集三轴加速度和三轴角速度;判定动作开始单元,用于根据所述三轴加速度,计算合加速度,如果所述合加速度不等于重力加速度,则判定动作开始;识别单元,先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,从预设已知动作集合中删除在该时间窗口内预设已知动作的主运动方向不是上述目标主运动方的预设已知动作,之后计算该时间窗口内动作的动作特征数据,如果所述动作特征数据满足预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作;判定目标动作单元,用于判断上述预设已知动作集合中预设已知动作的个数,如果个数大于1,则对下一个时间窗口的三轴加速度和三轴角速度,跳转执行识别单元,直到预设已知动作集合中预设已知动作的个数等于1,则将该预设已知动作集合中唯一的预设已知动作作为识别出的目标动作。
在一些实施例中,所述装置还包括低通滤波单元,通滤波单元,用于对采集的三轴加速度和三轴角速度进行低通滤波处理。
在一些实施例中,所述装置还包括蓝牙通信单元,蓝牙通信单元,用于与其相连的终端进行蓝牙通信,向所述终端发送动作识别的目标动作,及接收所述终端发送的指令。
本申请提供的动作识别方法和装置,通过判断合加速度不等于重力加速度,准确判断动作的开始,然后依次先根据每个时间窗口中动作的目标主运动方向筛选预设已知动作集合,再根据动作特征数据是否满足预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,进一步筛选预设已知动作集合,直到筛选出目标动作。上述主要通过逻辑判断的方式筛选预设已知动作集合,运算量低、算法简单、实时性高;存储的数据只有预设已知动作的主运动方向、动作特征数据应当满足的预设条件,所以该方法适用于存储与运算能力低的硬件,降低硬件成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是根据本申请的动作识别方法的一个实施例的流程图;
图2是根据本申请的动作识别装置的一个实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的动作识别方法的一个实施例的流程图。如图所示,该流程图包括如下步骤:
步骤101,通过传感器采集三轴加速度和三轴角速度。
在本实施例中,动作识别方法适用于一些玩具中,该玩具主要有微控制单元MCU和六轴传感器组成,其中,该六轴传感器是体积小、重量轻、功耗低、耐用性好、价格低廉的MEMS(Micro Electro Mechanical System,微机电系统)六轴传感器。该六轴传感器包括一个三轴加速度计和一个三轴陀螺仪,MCU又称单片机。
在本实施例中,动作识别方法运行于微控制单元MCU中,MCU与六轴传感器相连。用户手持上述玩具,做各种动作。MCU通过六轴传感器实时采集三个轴上的加速度和角速度。
在本实施例的一些可选的实现方式中,对采集的三轴加速度和三轴角速度进行低通滤波处理,即对加速度和角速度分别设置一个上限值,将不大于上限值的数据视为有效数据,而高于上限值的数据视为干扰数据,为提高识别的准确性,需要将干扰数据滤出。
步骤102,根据三轴加速度,计算合加速度,如果合加速度不等于重力加速度,则判定动作开始。
对于各种动作识别方法,只有准确判定用户动作的开始时间点,识别结果才更准确。一个物体任意姿态只要对地静止,那么它的合加速度就是一个重力加速度,依据此方法,只要判断到非静止状态,即认为动作开始。在本实施例中,MCU根据采集的三轴加速度,实时计算合加速度,如果合加速度不等于重力加速度,则判定玩具受外力作用,动作开始。
步骤103,先依次计算时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,从预设已知动作集合中删除在该时间窗口内预设已知动作的主运动方向不是上述目标主运动方的预设已知动作,之后计算该时间窗口内动作的动作特征数据,如果所述动作特征数据满足预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作。
在本实施例中,设置一个时间窗口的时间,该时间包括但不限于:0.4秒、0.5秒、0.6秒。MCU将采集的三轴加速度和三轴角速度先存储在内存中,当积累了一个时间窗口的三轴加速度和三轴角速度数据后,先依次根据该时间窗口内的加速度标准差、加速度均值、角速度均值,判断该时间窗口内动作主要发生在三轴的哪个轴上,即动作的主运动方向,从预设已知动作集合中筛选出主运动方向一致的预设已知动作,剔除主运动方向不一致的预设已知动作。然后,再根据动作特征数据进一步细分筛选出符合预设条件的预设已知动作。某个轴上加速度标准差越大,则说明该轴方向上动作的运动幅度越大。
在本实施例中,可识别的动作包括但不限于:上下振动、摇篮,吃食,跳跃、攻击、飞行。其中,将左右缓慢晃动的动作作为摇篮;将头部交替抬起、低下的动作作为吃食;将跳起一定高度,然后往前抛物线运动,最后静止的动作作为跳跃;将快速向前冲的动作作为攻击;将在空间内U型轨迹来回运动的动作作为飞行。
在本实施例的一些可选的实现方式中,通过先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并比较不同轴上加速度标准差、加速度均值、角速度均值是否满足对应的预设条件,来判断该时间窗口内,动作的目标主运动方向。其中,该预设条件包括但不限于大于预设阈值、在预设范围内。示例性的参考表1。表1是根据三轴加速度,计算得到的某个时间窗口内X、Y、Z轴上的加速度标准差及加速度均值。判断每个轴上的加速度标准差是否大于预设标准差阈值10000,发现Y轴与Z轴的加速度标准差满足上述大于10000的预设条件,则再比较Y轴、Z轴的加速度均值的绝对值是否大于预设加速度阈值3000,发现Y轴的加速度均值的绝对值满足上述大于3000的预设条件,则判定目标主运动方向为Y轴。上述预设阈值的大小是根据大量采集的不同预设已知动作的数据,计算得到的。在其它的示例中,如果加速度标准差和/或加速度均值不满足相应的预设条件,则判定此动作是非要识别的动作或是一些轻微的晃动,则重新跳转到步骤101,重新执行动作识别方法。如果有多个轴上的加速度标准差、加速度均值、角速度均值都满足相应的不等式,则判定这些轴都是目标主运动方向,在后续对预设已知动作集合进行筛选时,如果预设已知动作在该时间窗口内的主运动方向是上述多个目标主运动方向之一的,则保留该预设已知动作。
表1
X轴 | Y轴 | Z轴 | |
加速度标准差 | 8854.918 | 20818 | 18095.94 |
加速度均值 | 6499.1 | 4468.989 | -2377.4 |
在本实施例的一些可选的实现方式中,通过依次比较不同轴上加速度标准差、加速度均值、角速度均值之间的大小,来判断该时间窗口内,动作的目标主运动方向。示例性的参考表1。先计算得到该时间窗口内加速度标准差,通过比较可知,Y轴的加速度标准差20818最大,Z轴的加速度标准差18095.94次之,且Z轴的加速度标准差与Y的加速度标准差的比值约为0.87,大于0.85,不满足预设条件小于等于0.85,则判定该时间窗口内动作主要发生在Y轴和Z轴上;然后,通过比较加速均值进一步判定该时间窗口内动作主要发生在Y轴上还是Z轴上。具体的:计算该时间窗口内Y轴、Z轴上加速度均值分别为4468.989、-2377.4,比较绝对值大小,Y轴的加速度均值大于Z轴的加速度均值,则判定目标主运动方向为Y轴。如果Y轴与Z轴上加速度均值的绝对值相等,则可以进一步比较Y轴与Z轴上的角速度均值的大小,判断目标主运动方向。
在本实施例中,因预设已知动作集合中具有较多的预设已知动作,所以大概率存在多个在各个时间窗口中与用户动作的主运动方向一致的预设已知动作。所以除通过主运动方向一致筛选预设已知动作集合,还需要在各个时间窗口中根据动作特征数据,进一步的从主运动方向一致的预设已知动作集合中细分筛选出符合相应预设条件的预设已知动作。
在本实施例中,动作特征数据包括但不限于:速度特征值、角度特征值、加速度特征值、角速度特征值。其中,上述速度特征值包括但不限于:速度最大值、速度最小值、速度方向;上述角度特征值包括但不限于:角度最大值、角度最小值、角度方向;上述加速度特征值包括但不限于:加速度最大值、加速度最小值、加速度方向;上述角速度特征值包括但不限于:角速度最大值、角速度最小值、角速度方向。
在本实施例中,玩具中储存着每个预设已知动作在每个时间窗口内的主运动方向及各个动作特征数据对应的预设条件。该预设条件包括不等式和逻辑是否相等判断。其中,不等式可以为大于预设阈值,也可以为小于预设阈值,还可以为满足某个闭合区间,逻辑是否相等判断是指通过判断正负符号是否相同来判断方向是否一致。不等式中的预设阈值,是根据预先采集的大量预设已知动作进行归类、区分处理得到的。在其它可选的实现方式中,支持用户对其进行修改。
在本实施例中,根据相应数据的正负判断其方向,如果一个时间窗口内,既存在正数据也存在负数据,则分别统计正负数据的个数,以个数多的作为方向的判断依据。
在本实施例中,从判断动作开始的时刻,对加速度进行积分,可得到速度;同理,对角速度进行积分,可得到角度。计算在该时间窗口内每个轴上的速度最大值、速度最小值、速度方向。分别将该速度最大值、速度最小值、速度方向代入筛选后预设已知动作集合中每个预设已知动作在该时间窗口的每个轴上的速度最大值、速度最小值、速度方向对应的预设条件,只保留速度最大值、速度最小值、速度方向都满足相应预设条件的预设已知动作,删除不满足预设条件的预设已知动作,计算此时预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个动作作为识别出的目标动作;如果个数大于1,则再通过角度特征值进一步的筛选预设已知动作集合。具体的:计算在该时间窗口内每个轴上的角度最大值、角度最小值、角度方向。分别将该角度最大值、角度最小值、角度方向代入筛选后预设已知动作集合中每个预设已知动作在该时间窗口的每个轴上的角度最大值、角度最小值、角度方向对应的预设条件,只保留角度最大值、角度最小值、角度方向都满足相应预设条件的预设已知动作,删除不满足预设条件的预设已知动作,计算此时预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个动作作为识别出的目标动作;如果个数大于1,则再通过加速度特征值进一步的筛选预设已知动作集合,具体的:计算在该时间窗口内每个轴上的加速度最大值、加速度最小值、加速度方向。分别将该加速度最大值、加速度最小值、加速度方向代入筛选后预设已知动作集合中每个预设已知动作在该时间窗口的每个轴上的加速度最大值、加速度最小值、加速度方向对应的预设条件,只保留加速度最大值、加速度最小值、加速度方向都满足相应预设条件的预设已知动作,删除不满足预设条件的预设已知动作,计算此时预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个动作作为识别出的目标动作;如果个数大于1,则再通过角速度特征值进一步的筛选预设已知动作集合。具体的:计算在该时间窗口内每个轴上的角速度最大值、角速度最小值、角速度方向。分别将该角速度最大值、角速度最小值、角速度方向代入筛选后预设已知动作集合中每个预设已知动作在该时间窗口的每个轴上的角速度最大值、角速度最小值、角速度方向对应的预设条件,只保留角速度最大值、角速度最小值、角速度方向都满足相应预设条件的预设已知动作,删除不满足预设条件的预设已知动作。
在本实施例的一些可选的实现方式中,同样根据相应数据的正负判断其方向,如果一个时间窗口内,既存在正数据也存在负数据,则不在以该动作特征数据的方向为筛选条件,直接跳到下一个动作特征数据的判断。
步骤104,判断上述预设已知动作集合中预设已知动作的个数是否大于1。
在本实施例中,判断先后经过一个时间窗口的主运动方向和动作特征数据筛选后,预设已知动作集合中预设已知动作的个数,如果该个数大于1,则需要采用下个时间窗口的用户动作的主运动方向和动作特征数据继续对上述预设已知动作集合进行筛选,即跳转执行步骤103,如果该个数不大于1,则跳转执行步骤105。
步骤105,如果预设已知动作集合中预设已知动作的个数等于1,则将该预设已知动作集合中唯一的预设已知动作作为识别出的目标动作。
在本实施例中,经上述筛选后,如果预设已知动作集合中预设已知动作的个数等于1,则将该预设已知动作集合中唯一的预设已知动作作为识别出的目标动作。如果预设已知动作集合中预设已知动作的个数从大于1直接变成零,则表示用户所做的动作不标准或是非录入预设已知动作集合中的动作。则重新执行各个步骤,继续识别用户的动作。
为方便理解,在此给一个示例,预设已知动作集合中具有10个预设已知动作,用户手持玩具左右晃动。经第一时间窗口的筛选,从预设已知动作集合中剔出5个预设已知动作,;在第二时间窗口筛选时,从5个预设已知动作中剔出不符合筛选条件的2个预设已知动作,在第三时间窗口筛选时,从3个预设已知动作中剔出不符合筛选条件的1个预设已知动作,在第四时间窗口筛选时,从2个预设已知动作中剔出不符合筛选条件的1个预设已知动作,此时,将剩下的唯一一个预设已知动作,作为识别出的目标动作。
在本实施例中,对于预设动作集合中的每个预设已知动作,存储的是各个时间窗口动作的主运动方向及对应动作数据应当满足的逻辑判断,存储的数据量小。在动作识别时,在每个时间窗口内,主要进行逻辑判断,运算量小,且随着时间轴即时间窗口的不断变大,运算量越来越小。如此,算法简单,运算量小,且运算快,实时性强,不需要依靠外部设备,对硬件资源要求低,可选择低成本的硬件。如果往预设已知动作集合中增加一条预设已知动作,则增加的需要存储的数据较少,在动作识别过程中,增加的运算量有限,基本不影响实时性,适合对预设已知动作集合需要扩展的情况。
继续参考图2,该图是根据本申请的动作识别装置的一个实施例的结构示意图。如图所示,动作识别装置包括数据采集单元201,判定动作开始单元202、识别单元203、判定目标动作单元204。其中,数据采集单元201包括一个三轴加速度计和一个三轴陀螺仪,三轴加速度计、三轴陀螺仪分别用于实时采集三轴加速度和三轴角速度。判定动作开始单元202用于根据上述三轴加速度,计算合加速度,如果合加速度不等于重力加速度,则判定动作开始;识别单元203用于分时间窗口识别用户的动作。示例性的,对于某个动作的某个时间窗口,先计算每个轴上的加速度标准差,如果存在X轴、Y轴上加速度标准差都大于预设阈值,则计算X轴、Y轴上的加速度均值,如果X轴、Y轴上加速度均值的绝对值都满足预设区间,则计算X轴、Y轴上的角速度均值,如果X轴、Y轴上的角速度均值的绝对值都满足预设区间,则将X轴、Y轴都作为动作的目标主运动方向。删除预设已知动作集合中在该时间窗口中,主运动方向为Z轴的预设已知动作。再根据该时间窗口内的用户动作的速度最小值、速度方向、加速度最小值、加速度方向是否满足预设条件,继续从上述预设已知动作集合中筛选出满足预设条件的预设已知动作。判定目标动作单元204用于判断经识别单元203在某个时间窗口筛选后的预设已知动作集合中,是否存在目标动作,具体的:如果预设已知动作集合中仅存在一个预设已知动作,则将该预设已知动作作为目标动作;如果上述预设已知动作集合中存在多个预设已知动作,则跳转到识别单元203,继续通过下个时间窗口的数据筛选上述预设已知动作集合;如果经识别单元203的筛选后,预设已知动作集合中存在零个预设已知动作,则判定用户所做的动作不是标准的预设动作,需跳转到判定动作开始单元202,重新识别用户的动作。
在本实施例的一些可选的实现方式中,动作识别装置还包括低通滤波单元,该低通滤波单元在数据采集单元201之后,用于对采集的三轴加速度和三轴加速度进行低通滤波处理。
在本实施例的一些可选的实现方式中,动作识别装置还包括蓝牙通信单元,该蓝牙通信单元用于与其相连的终端进行蓝牙通信,向上述终端发送动作识别的结果,及接收上述终端发送的指令。该指令包括但不限于:播放提示音、控制动作识别装置中电机的转动、控制动作识别装置中LED灯的亮灭。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种动作识别方法,其特征在于,所述方法包括:
通过传感器采集三轴加速度和三轴角速度;
根据所述三轴加速度,计算合加速度,如果所述合加速度不等于重力加速度,则判定动作开始;
对于一个时间窗口内的三轴加速度和三轴角速度,执行如下识别步骤:先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,从预设已知动作集合中删除在该时间窗口内预设已知动作的主运动方向不是上述目标主运动方的预设已知动作,之后计算该时间窗口内动作的动作特征数据,如果所述动作特征数据满足上述预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,其中,预先存储每个预设已知动作在每个时间窗口内的主运动方向及各个动作特征数据对应的预设条件,所述动作特征数据包括但不限于:速度特征值、角度特征值、加速度特征值、角速度特征值,所述预设条件包括但不限于:预设不等式、是否等于的逻辑判断;
判断上述预设已知动作集合中预设已知动作的个数,如果个数大于1,则对以下一个时间窗口的三轴加速度和三轴角速度,重复执行上述识别步骤,直到预设已知动作集合中预设已知动作的个数等于1,则将该预设已知动作集合中唯一的预设已知动作作为识别出的目标动作。
2.根据权利要求1所述的动作识别方法,其特征在于,所述先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,包括:
先计算该时间窗口内,每个轴上的加速度标准差,判断每个轴上的加速度标准差是否满足预设标准差条件,如果只有一个轴上的加速度标准差满足所述预设标准差条件,则将该轴的方向作为目标主运动方向,否则,计算该时间窗口内,每个轴上的加速度均值,依次判断加速度标准差满足所述预设标准差条件的每个轴上的加速度均值是否满足预设加速度条件,如果只有一个加速度均值满足所述预设加速度条件,则将该轴的方向作为目标主运动方向,否则,计算该时间窗口内,每个轴上的角速度均值,依次判断加速度均值满足所述预设加速度条件的每个轴上的角速度均值是否满足预设角速度条件,如果只有一个角速度均值满足所述预设角速度条件,则将该轴的方向作为目标主运动方向。
3.根据权利要求1所述的动作识别方法,其特征在于,所述先依次计算该时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,包括:
先计算该时间窗口内,每个轴上的加速度标准差,比较每个轴上加速度标准差的大小,选取取值最大的加速度标准差、取值第二大的加速度标准差,如果取值第二大的加速度标准差与取值最大加速度标准差的比值不满足预设条件,则将取值最大的加速度标准差对应的轴的方向作为目标主运动方向,否则,计算该时间窗口内,每个轴上的加速度均值,比较取值最大的加速度标准差对应的加速度均值与取值第二大的加速度标准差对应的加速度均值的绝对值的大小,选取绝对值最大的加速度均值的方向作为目标主运动方向。
4.根据权利要求1-3任一所述的动作识别方法,其特征在于,所述计算该时间窗口内动作的动作特征数据,如果所述动作特征数据满足预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,包括:
计算该时间窗口内速度特征值,如果速度特征值满足预设已知动作集合中预设已知动作的速度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述速度特征值包括但不限于:速度最大值、速度最小值、速度方向;
如果个数大于1,则计算该时间窗口内角度特征值,如果角度特征值满足预设已知动作集合中预设已知动作的角度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述角度特征值包括但不限于:角度最大值、角度最小值、角度方向;如果个数大于1,则计算该时间窗口内加速度特征值,如果加速度特征值满足预设已知动作集合中预设已知动作的加速度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述加速度特征值包括但不限于:加速度最大值、加速度最小值、加速度方向;如果个数大于1,则计算该时间窗口内角速度特征值,如果角速度特征值满足预设已知动作集合中预设已知动作的角速度特征值对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,并计算预设已知动作集合中预设已知动作的个数,如果个数等于1,将该预设已知动作集合中唯一的一个预设已知动作作为识别出的目标动作,其中,所述角速度特征值包括但不限于:角速度最大值、角速度最小值、角速度方向。
5.根据权利要求1所述的动作识别方法,其特征在于,所述方法还包括:
对采集的三轴加速度和三轴角速度进行低通滤波处理。
6.根据权利要求5所述的动作识别方法,其特征在于,所述方法还包括:
在执行上述识别步骤之后,如果预设已知动作集合中预设已知动作的个数等于零,则重新执行各个步骤。
7.一种动作识别装置,其特征在于,所述装置包括:
数据采集单元,用于采集三轴加速度和三轴角速度;
判定动作开始单元,用于根据所述三轴加速度,计算合加速度,如果所述合加速度不等于重力加速度,则判定动作开始;
识别单元,先依次计算时间窗口内,每个轴上的加速度标准差、加速度均值、角速度均值,并对每个轴上的加速度标准差、加速度均值、角速度均值进行逻辑判断,直到判定出该时间窗口内动作主要发生在三个轴的哪个轴上,并将该轴的方向作为目标主运动方向,从预设已知动作集合中删除在该时间窗口内预设已知动作的主运动方向不是上述目标主运动方的预设已知动作,之后计算该时间窗口内动作的动作特征数据,如果所述动作特征数据满足预设已知动作集合中预设已知动作的动作特征数据对应的预设条件,则保留该预设已知动作,否则,从上述预设已知动作集合中删除该预设已知动作,其中,预先存储每个预设已知动作在每个时间窗口内的主运动方向及各个动作特征数据对应的预设条件,所述动作特征数据包括但不限于:速度特征值、角度特征值、加速度特征值、角速度特征值,所述预设条件包括但不限于:预设不等式、是否等于的逻辑判断;
判定目标动作单元,用于判断上述预设已知动作集合中预设已知动作的个数,如果个数大于1,则对下一个时间窗口的三轴加速度和三轴角速度,跳转执行识别单元,直到预设已知动作集合中预设已知动作的个数等于1,则将该预设已知动作集合中唯一的预设已知动作作为识别出的目标动作。
8.根据权利要求7所述的动作识别装置,其特征在于,所述装置还包括低通滤波单元,具体的:
通滤波单元,用于对采集的三轴加速度和三轴角速度进行低通滤波处理。
9.根据权利要求7或8所述的动作识别装置,其特征在于,所述装置还包括蓝牙通信单元,具体的:
蓝牙通信单元,用于与其相连的终端进行蓝牙通信,向所述终端发送动作识别的目标动作,及接收所述终端发送的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910671411.6A CN110377159B (zh) | 2019-07-24 | 2019-07-24 | 动作识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910671411.6A CN110377159B (zh) | 2019-07-24 | 2019-07-24 | 动作识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110377159A CN110377159A (zh) | 2019-10-25 |
CN110377159B true CN110377159B (zh) | 2023-06-09 |
Family
ID=68255445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910671411.6A Active CN110377159B (zh) | 2019-07-24 | 2019-07-24 | 动作识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110377159B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112790759A (zh) * | 2020-12-29 | 2021-05-14 | 黑龙江惠达科技发展有限公司 | 一种易用的人体动作检测模块 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009134590A (ja) * | 2007-11-30 | 2009-06-18 | Advanced Telecommunication Research Institute International | 行動識別システム、行動識別方法、最適センサ集合決定方法および最適パラメータ決定方法。 |
CN101694693A (zh) * | 2009-10-16 | 2010-04-14 | 中国科学院合肥物质科学研究院 | 基于加速度传感器人体运动识别系统及方法 |
CN103019378A (zh) * | 2012-12-07 | 2013-04-03 | 无锡清华信息科学与技术国家实验室物联网技术中心 | 一种移动电子设备手势控制交互方法、装置及移动终端 |
CN103150018A (zh) * | 2013-03-07 | 2013-06-12 | 深圳泰山在线科技有限公司 | 手势识别方法及装置 |
CN107016342A (zh) * | 2017-03-06 | 2017-08-04 | 武汉拓扑图智能科技有限公司 | 一种动作识别方法及系统 |
CN107273857A (zh) * | 2017-06-19 | 2017-10-20 | 深圳市酷浪云计算有限公司 | 运动动作的识别方法及装置、电子设备 |
CN107992193A (zh) * | 2017-11-21 | 2018-05-04 | 出门问问信息科技有限公司 | 手势确认方法、装置及电子设备 |
CN108596074A (zh) * | 2018-04-19 | 2018-09-28 | 上海理工大学 | 一种基于惯性传感器的人体下肢动作识别方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9352207B2 (en) * | 2012-01-19 | 2016-05-31 | Nike, Inc. | Action detection and activity classification |
CN105824420B (zh) * | 2016-03-21 | 2018-09-14 | 李骁 | 一种基于加速度传感器的手势识别方法 |
CN106598234B (zh) * | 2016-11-28 | 2019-05-28 | 电子科技大学 | 基于惯性传感的手势识别方法 |
CN107167133B (zh) * | 2017-05-24 | 2020-01-03 | 北京慧联科技有限公司 | 一种刷牙评价方法 |
US11720814B2 (en) * | 2017-12-29 | 2023-08-08 | Samsung Electronics Co., Ltd. | Method and system for classifying time-series data |
CN108170274A (zh) * | 2017-12-29 | 2018-06-15 | 南京邮电大学 | 一种基于可穿戴设备的动作识别方法 |
CN108444473B (zh) * | 2018-03-20 | 2020-08-28 | 南京华苏科技有限公司 | 一种行人室内轨迹定位方法 |
CN109086698B (zh) * | 2018-07-20 | 2021-06-25 | 大连理工大学 | 一种基于多传感器数据融合的人体动作识别方法 |
-
2019
- 2019-07-24 CN CN201910671411.6A patent/CN110377159B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009134590A (ja) * | 2007-11-30 | 2009-06-18 | Advanced Telecommunication Research Institute International | 行動識別システム、行動識別方法、最適センサ集合決定方法および最適パラメータ決定方法。 |
CN101694693A (zh) * | 2009-10-16 | 2010-04-14 | 中国科学院合肥物质科学研究院 | 基于加速度传感器人体运动识别系统及方法 |
CN103019378A (zh) * | 2012-12-07 | 2013-04-03 | 无锡清华信息科学与技术国家实验室物联网技术中心 | 一种移动电子设备手势控制交互方法、装置及移动终端 |
CN103150018A (zh) * | 2013-03-07 | 2013-06-12 | 深圳泰山在线科技有限公司 | 手势识别方法及装置 |
CN107016342A (zh) * | 2017-03-06 | 2017-08-04 | 武汉拓扑图智能科技有限公司 | 一种动作识别方法及系统 |
CN107273857A (zh) * | 2017-06-19 | 2017-10-20 | 深圳市酷浪云计算有限公司 | 运动动作的识别方法及装置、电子设备 |
CN107992193A (zh) * | 2017-11-21 | 2018-05-04 | 出门问问信息科技有限公司 | 手势确认方法、装置及电子设备 |
CN108596074A (zh) * | 2018-04-19 | 2018-09-28 | 上海理工大学 | 一种基于惯性传感器的人体下肢动作识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110377159A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2005210778B2 (en) | Gesture control system | |
KR101834374B1 (ko) | 시간 기준 특징들의 시간적 스케일링을 이용한 활동 분류를 위한 방법들, 디바이스들 및 장치들 | |
JP5923593B2 (ja) | モバイルデバイスの尤度関数値を結合して用いる、ユーザ活動を分類するためのシステム、方法、および装置 | |
JP6064280B2 (ja) | ジェスチャを認識するためのシステムおよび方法 | |
EP2699983B1 (en) | Methods and apparatuses for facilitating gesture recognition | |
WO2018149324A1 (zh) | 一种检测方法及终端设备 | |
CN104238743B (zh) | 信息处理装置以及信息处理方法 | |
CN110377159B (zh) | 动作识别方法和装置 | |
CN113031840A (zh) | 腕戴设备的防误触发方法、装置、电子设备及存储介质 | |
CN108567432B (zh) | 表征运动的设备和方法 | |
CN107533371A (zh) | 使用影响手势的用户接口控制 | |
Jung et al. | Gesture recognition based on motion inertial sensors for ubiquitous interactive game Contents | |
KR101685388B1 (ko) | 복수의 센서를 이용한 동작 인식 방법 및 장치 | |
US10751601B2 (en) | Automatic rally detection and scoring | |
CN116251343A (zh) | 基于投掷动作的体感游戏方法 | |
KR101987308B1 (ko) | 노이즈를 고려한 동작 인식 방법 및 장치 | |
JP6608106B2 (ja) | 半導体装置、携帯端末装置および運動検出方法 | |
KR101900754B1 (ko) | 사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치 | |
KR101958334B1 (ko) | 노이즈를 고려한 동작 인식 방법 및 장치 | |
CN110187772B (zh) | 拍掌手势识别的方法 | |
KR20160050758A (ko) | 상황 인지 기반의 동작 인식 장치 및 이를 위한 기록 매체 | |
Karimi et al. | Smartphone Mode Detection for Positioning using Inertial Sensor | |
CN115525141A (zh) | 一种带有ai芯片的智能交互手套及其交互方法、存储介质 | |
CN114326951A (zh) | 一种佩戴检测方法、系统、装置及可穿戴设备 | |
CN116173491A (zh) | 节奏类体感游戏方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |