CN109977890B - 一种动作识别的方法及其识别系统 - Google Patents
一种动作识别的方法及其识别系统 Download PDFInfo
- Publication number
- CN109977890B CN109977890B CN201910253882.5A CN201910253882A CN109977890B CN 109977890 B CN109977890 B CN 109977890B CN 201910253882 A CN201910253882 A CN 201910253882A CN 109977890 B CN109977890 B CN 109977890B
- Authority
- CN
- China
- Prior art keywords
- action
- meta
- information
- data
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种动作识别的方法及其识别系统,其中动作识别的方法具体包括以下步骤:采集动作数据,根据动作数据确定元动作;计算元动作的信息根据元动作的信息量判断是否去除该元动作。本申请提供的动作的识别的方法及其识别系统在进行动作识别前对元动作信息进行处理,能够去除无用的元动作而只对有效的元动作进行识别,增加了动作识别的严谨性,同时也提高了识别的准确率和效率。
Description
技术领域
本申请涉及动作识别领域,具体地,涉及一种动作识别的方法及其识别系统。
背景技术
在自然世界里,人通过触摸来操控物体、通过手势来表达意愿。我们希望人可以通过同样的方式同计算机交互。因此,对“多维机器视觉动作感知”的研究,首先必须研究如何对人体的三维动作进行采集,然后需要对采集到的复杂信息进行处理,识别出有效动作,最后对有效动作进行判断,分析人的意图。传统的有效分析过程中虽然能够解决动作的识别问题,但是在识别过程中,因为掺加了许多无用信息而增加了识别的时间,虽然现有技术中对于去除无用信息已经有了很多解决的手段,但是如何快速有效的甄选无用信息并去除依然是一个难题。
发明内容
本申请的目的在于在进行动作识别前对元动作信息进行处理,去除无用的元动作而只对有效的元动作进行识别,提升了动作识别的严谨性,同时也提高了识别的准确率和效率。
为达到上述目的,本申请提供了一种动作识别的方法,包括以下步骤:采集动作数据,根据动作数据确定元动作;计算元动作的信息根据元动作的信息量判断是否去除该元动作。
如上的,其中,其中对元动作的确定包括如下子步骤:读取时间窗内的动作数据;将动作数据映射到多个象限,形成新动作的运动轨迹数据;在运动轨迹数据中存在大于阈值的第一点时,获取第一点之后的时间窗内的数据作为元动作。
如上的,其中,在确定元动作之前,将动作数据按照时间窗划分为多段数据,使用至少一个处理器分别处理多段数据。
如上的,其中,在所有的动作数据处理完成之后,将处理完成的动作数据合并。
如上的,其中,利用动作预处理层,采用基于熵的信息提取方法对元动作进行预处理,去除元动作中的无用元动作。
其中:X={x1,x2,x3,...,xi},,X为元动作,xi为元动作的子动作,P(xi)为子动作xi的发生概率,W={w1,w2,w3,...,wi}为动作的状态集合,wi代表动作的状态,P(xi|wi)为在某种状态下发生某种动作的后验概率。
如上的,其中,对信息量进行判断,公式为:
一种动作识别系统,具体包括采集确定单元、去除单元以及识别单元;采集确定单元,采集动作数据,根据动作数据确定元动作;去除单元,对元动作进行预处理,去除无用的元动作;识别单元,识别有意义的元动作。
如上的,其中,采集确定单元包括以下子模块,采集模块、读取模块、预设模块以及比较模块、一个或多个处理器;采集模块,采集动作数据,采集的动作数据按照时间顺序放入时间窗口;读取映射模块,读取时间窗内的动作数据,将读取的动作数据映射到多个象限,形成新动作的运动轨迹数据;预设模块,在时间窗内预设第一阈值、第二阈值和第三阈值;比较模块,将运动轨迹数据分别与第一、第二和第三阈值进行比较;一个或多个处理器,根据比较的结果形成多段数据,并将多段数据进行整合形成元动作。
如上的,其中,去除单元包括以下子模块,动作分解模块、信息量计算模块、判断模块;动作分解模块,对元动作进行分解,获得多个子动作;信息量计算模块,根据分解后的子动作计算元动作的信息量;判断模块,根据计算后的结果判断是否去除无用的元动作。
本申请具有以下有益效果:
本申请提供的动作的识别的方法及其识别系统在进行动作识别前对元动作信息进行处理,能够去除无用的元动作而只对有效的元动作进行识别,增加了动作识别的严谨性,同时也提高了识别的准确率和效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的动作识别的方法流程图;
图2是根据本申请实施例提供的动作识别方法的子流程图;
图3是根据本申请实施例提供的动作示意图;
图4是根据本申请实施例提供的识别系统内部结构示意图;
图5是根据本申请实施例提供的识别系统的子模块示意图。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请是一种动作的识别的方法及其识别系统,根据本申请,在进行动作识别前对元动作信息进行处理,去除无用的元动作而只对有效的元动作进行识别,增加了动作识别的严谨性,同时也提高了识别的准确率和效率。
如图1所示为本申请提供的动作识别的方法流程图。
步骤S110:采集动作数据,根据动作数据确定元动作。
具体地,由于人的动作十分协调且具有随意性,所以人在完成一个动作时往往会运用身体的很多部位去协同完成该动作并且即使是同一个人在多次完成同一个动作时其完成的方式也尽不相同。
首先采集动作数据;
读取时间窗内的动作数据,将读取的动作数据映射到多个象限,例如常用的四个或三个象限,形成新动作的运动轨迹数据;
在时间窗内预设第一阈值、第二阈值和第三阈值,具体地,第一阈值代表动作静止点,第二阈值代表动作的开始点,第三阈值代表动作的结束点,将运动轨迹数据与第一阈值进行比较,若运动轨迹数据中存在大于第一阈值的第一点,则说明运动轨迹数据发生了动作的变化,然后将第一点中的运动轨迹数据分别与预设的第二阈值和第三阈值进行比较,若运动轨迹数据中存在数据大于第二阈值小于第三阈值的多个点,则将每个点按照开始和结束的顺序连成线段从而形成多段数据。其中在运动轨迹数据中存在大于阈值的第一点时,所述第一点之后的时间窗内的数据作为元动作。优选地,在确定元动作之前,将动作数据按照时间窗划分为多段数据。
优选地,使用一个或多个处理器分别处理多段数据,在所有的动作数据处理完成之后,将处理完成的动作数据合并。。
示例性地,若人想要拿起一个水杯,可能做得动作有很多种情况,元动作也就有多个,例如拿起身体左前方的水杯,完成该动作的主要动作是伸出左手并拿起水杯(情况A),根据伸出左手、拿起水杯这一过程为新发生动作A的元动作。但人通常的动作是身体微微向左转向水杯,再伸出左手拿起水杯(情况B),根据身体左转、伸出右手、拿起水杯这一过程为新发生动作B的元动作;当然也可能有人会在微微向右转去和同事打个招呼的同时,伸左手拿起水杯(情况C),设置第一阈值为身体静止不动,第二阈值为身体转身,则此时身体右转、伸出左手、伸出右手、拿起水杯这一过程的集合为元动作。
虽然三种情况虽然做得动作不同,但目标都是为了拿起水杯,但是在数据的角度来看,新发生元动作A、B、C中的数据的差异是非常大的,这样并不能够准确快速的识别出目标动作,因此需要对元动作进行处理,执行步骤S120。
步骤S120:计算元动作中的信息量,根据元动作中的信息量判断是否去除该元动作。
具体地,利用动作预处理层,采用基于熵的信息提取方法对元动作进行预处理,去除元动作中的无用元动作,以步骤S120中的情况A、B、C举例,情况B、C中的身体微微向左转和身体微微向右转就是为动作识别增加难度或使识别无意义的无用元动作,因此需要去除,其中计算元动作的信息量具体包括以下步骤:
步骤S210:对元动作进行分解,获得多个子动作。
具体地,元动作中包括姿势信息和动作信息,根据元动作中的姿势信息和动作信息将元动作分解为多个子动作,将与姿势信息相同和/或动作信息相同的划分为同一子动作信息。
优选地,在步骤S110采集动作的同时,采集人体的动作影像,通过动作影像得到姿势信息和动作信息,若姿势信息间的姿势相似度高于预定阈值,则认为二者为同一姿势,将与姿势信息相对应的动作划分为同一子动作。同理,若动作信息间的相似度高于预定阈值,则认为二者为同一动作,将与动作信息相对应的动作划分为同一子动作。
步骤S220:根据子动作计算元动作的信息量。
信息量I(xi;wi)公式如下,其中:X为元动作,X={x1,x2,x3,...,xi},xi为元动作的子动作,P(xi)为子动作xi的发生概率,W={w1,w2,w3,...,wi}为动作的状态集合(工作,生活等),wi代表动作的状态,P(xi|wi)为在某种状态下发生某种动作的后验概率。
优选地,因为有些状态下有些动作不会发生,因此P(xi)≤P(xi|wi)恒成立。I(xi;wi)即为此动作的信息量。
步骤S230:对计算后的信息量进行判断。
若result的结果为1,则说明元动作有意义,则执行步骤S130:对该元动作进行识别。
若result结果为0,则说明该元动作无意义,执行步骤S140:去除该无用的元动作。对于去除的元动作我们不用做任何处理,因为其在该状态下的信息量极小即发生的概率极高,对其进行处理只能增加其发生概率即使其信息量更小,对系统来说没有太大的意义。
如图4所示为本申请实施例提供的动作识别系统内部结构示意图,具体地,识别系统内部包括采集确定单元401、去除单元402以及识别单元403。
采集确定单元401用于采集动作数据,根据动作数据确定元动作。
去除单元402与采集分析单元401连接,用于对元动作进行预处理,去除无用的元动作。
识别单元403与去除单元402连接,用于识别有意义的元动作。
采集确定单元401中包括以下子模块,具体包括采集模块、读取模块、预设模块以及比较模块、一个或多个处理器。
采集模块用于采集动作数据,采集的动作数据按照时间顺序放入时间窗口;
读取映射模块与采集模块连接,用于读取时间窗内的动作数据,将读取的动作数据映射到多个象限,形成新动作的运动轨迹数据。
预设模块用于在时间窗内预设第一阈值、第二阈值和第三阈值。
比较模块与预设模块连接,用于将运动轨迹数据分别与第一、第二和第三阈值进行比较。
一个或多个处理器与比较模连接,用于根据比较的结果形成多段数据,并将多段数据进行整合形成元动作。
其中去除单元402中包括以下子模块,如图5所示,具体包括动作分解模块501、信息量计算模块502、判断模块503。
动作分解模块501用于对元动作进行分解,获得多个子动作。
信息量计算模块502与动作分解模块501连接,用于根据分解后的子动作计算元动作的信息量。
判断模块503与信息量计算模块502连接,用于根据计算后的结果判断是否去除无用的元动作。
本申请具有以下有益效果:
本申请提供的动作的识别的方法及其识别系统在进行动作识别前对元动作信息进行处理,能够去除无用的元动作而只对有效的元动作进行识别,增加了动作识别的严谨性,同时也提高了识别的准确率和效率。
虽然当前申请参考的示例被描述,其只是为了解释的目的而不是对本申请的限制,对实施方式的改变,增加和/或删除可以被做出而不脱离本申请的范围。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种动作识别的方法,其特征在于,包括以下步骤:
采集动作数据,根据动作数据确定元动作;
计算元动作的信息根据元动作的信息量判断是否去除该元动作;
其中对元动作的确定包括如下子步骤:
读取时间窗内的动作数据;
将动作数据映射到多个象限,形成新动作的运动轨迹数据;
在运动轨迹数据中存在大于阈值的第一点时,获取所述第一点之后的时间窗内的数据作为元动作;
元动作中包括姿势信息和动作信息,根据元动作中的姿势信息和动作信息将元动作分解为多个子动作,将与姿势信息相同和/或动作信息相同的划分为同一子动作信息;
其中,使用如下公式计算元动作的信息量:
其中:X={x1,x2,x3,...,xi},X为元动作,xi为元动作的子动作,P(xi)为子动作xi的发生概率,W={w1,w2,w3,...,wi}为动作的状态集合,wi代表动作的状态,P(xi|wi)为在某种状态下发生某种动作的后验概率。
2.如权利要求1所述的动作识别方法,其特征在于,在确定元动作之前,将动作数据按照时间窗划分为多段数据,使用至少一个处理器分别处理所述多段数据。
3.如权利要求2所述的动作识别方法,其特征在于,在所有的动作数据处理完成之后,将处理完成的动作数据合并。
4.如权利要求2所述的动作识别方法,其特征在于,利用动作预处理层,采用基于熵的信息提取方法对元动作进行预处理,去除元动作中的无用元动作。
6.一种动作识别系统,其特征在于,具体包括采集确定单元、去除单元以及识别单元;
采集确定单元,采集动作数据,根据动作数据确定元动作;
去除单元,对元动作进行预处理,去除无用的元动作;
识别单元,识别有意义的元动作;
元动作中包括姿势信息和动作信息,根据元动作中的姿势信息和动作信息将元动作分解为多个子动作,将与姿势信息相同和/或动作信息相同的划分为同一子动作信息;
计算元动作的信息根据元动作的信息量判断是否去除该元动作;
其中,使用如下公式计算元动作的信息量:
其中:X={x1,x2,x3,...,xi},X为元动作,xi为元动作的子动作,P(xi)为子动作xi的发生概率,W={w1,w2,w3,...,wi}为动作的状态集合,wi代表动作的状态,P(xi|wi)为在某种状态下发生某种动作的后验概率。
7.如权利要求6所述的动作识别系统,其特征在于,采集确定单元包括以下子模块,采集模块、读取模块、预设模块以及比较模块、一个或多个处理器;
采集模块,采集动作数据,采集的动作数据按照时间顺序放入时间窗口;
读取映射模块,读取时间窗内的动作数据,将读取的动作数据映射到多个象限,形成新动作的运动轨迹数据;
预设模块,在时间窗内预设第一阈值、第二阈值和第三阈值;
比较模块,将运动轨迹数据分别与第一、第二和第三阈值进行比较;
一个或多个处理器,根据比较的结果形成多段数据,并将多段数据进行整合形成元动作。
8.如权利要求6所述的动作识别系统,其特征在于,去除单元包括以下子模块,动作分解模块、信息量计算模块、判断模块;
动作分解模块,对元动作进行分解,获得多个子动作;
信息量计算模块,根据分解后的子动作计算元动作的信息量;
判断模块,根据计算后的结果判断是否去除无用的元动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910253882.5A CN109977890B (zh) | 2019-03-30 | 2019-03-30 | 一种动作识别的方法及其识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910253882.5A CN109977890B (zh) | 2019-03-30 | 2019-03-30 | 一种动作识别的方法及其识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109977890A CN109977890A (zh) | 2019-07-05 |
CN109977890B true CN109977890B (zh) | 2021-08-17 |
Family
ID=67082000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910253882.5A Active CN109977890B (zh) | 2019-03-30 | 2019-03-30 | 一种动作识别的方法及其识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109977890B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114393578A (zh) * | 2021-12-31 | 2022-04-26 | 广州明珞装备股份有限公司 | 一种工艺动作判断方法、系统、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103941869A (zh) * | 2014-04-21 | 2014-07-23 | 云南电网公司普洱供电局 | 一种基于动作元的体感姿势识别方法 |
CN104899594A (zh) * | 2014-03-06 | 2015-09-09 | 中国科学院沈阳自动化研究所 | 基于表面肌电信号分解的手部动作识别方法 |
CN105809144A (zh) * | 2016-03-24 | 2016-07-27 | 重庆邮电大学 | 一种采用动作切分的手势识别系统和方法 |
CN106569607A (zh) * | 2016-11-08 | 2017-04-19 | 上海交通大学 | 一种基于肌电及运动传感器的头部动作识别系统 |
CN107220597A (zh) * | 2017-05-11 | 2017-09-29 | 北京化工大学 | 一种基于局部特征和词袋模型人体动作识别过程的关键帧选取方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102500094B (zh) * | 2011-10-28 | 2013-10-30 | 北京航空航天大学 | 一种基于kinect的动作训练方法 |
US8867786B2 (en) * | 2012-10-31 | 2014-10-21 | Microsoft Corporation | Scenario-specific body-part tracking |
CN106934366B (zh) * | 2017-03-10 | 2020-11-27 | 湖南科技大学 | 一种杂乱背景下人体动作特征的检测方法 |
CN109190605B (zh) * | 2018-10-30 | 2020-05-15 | 宁波大学 | 一种基于csi的人体连续动作计数方法 |
-
2019
- 2019-03-30 CN CN201910253882.5A patent/CN109977890B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899594A (zh) * | 2014-03-06 | 2015-09-09 | 中国科学院沈阳自动化研究所 | 基于表面肌电信号分解的手部动作识别方法 |
CN103941869A (zh) * | 2014-04-21 | 2014-07-23 | 云南电网公司普洱供电局 | 一种基于动作元的体感姿势识别方法 |
CN105809144A (zh) * | 2016-03-24 | 2016-07-27 | 重庆邮电大学 | 一种采用动作切分的手势识别系统和方法 |
CN106569607A (zh) * | 2016-11-08 | 2017-04-19 | 上海交通大学 | 一种基于肌电及运动传感器的头部动作识别系统 |
CN107220597A (zh) * | 2017-05-11 | 2017-09-29 | 北京化工大学 | 一种基于局部特征和词袋模型人体动作识别过程的关键帧选取方法 |
Non-Patent Citations (1)
Title |
---|
基于改进信息增益的人体动作识别视觉词典建立;吴峰 等;《计算机应用》;20170810;第2240-2243页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109977890A (zh) | 2019-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145742B (zh) | 一种行人识别方法及系统 | |
Wang et al. | Automatic fall detection of human in video using combination of features | |
CN111275040A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
CN111508006A (zh) | 一种基于深度学习的运动目标同步检测、识别与跟踪方法 | |
Gawali et al. | 3d face recognition using geodesic facial curves to handle expression, occlusion and pose variations | |
CN109977890B (zh) | 一种动作识别的方法及其识别系统 | |
Saeed | A framework for recognition of facial expression using HOG features | |
CN109993118B (zh) | 一种动作的识别方法及其识别系统 | |
Liban et al. | Latent fingerprint enhancement based on directional total variation model with lost minutiae reconstruction | |
Kekre et al. | An effectual method for extraction of ROI of palmprints | |
Gervei et al. | 3D face recognition using modified PCA methods | |
Khodadoust et al. | Design and implementation of a multibiometric system based on hand’s traits | |
CN110909678B (zh) | 一种基于宽度学习网络特征提取的人脸识别方法及系统 | |
CN112101293A (zh) | 人脸表情的识别方法、装置、设备及存储介质 | |
Rodrigues et al. | A simple approach for biometrics: Finger-knuckle prints recognition based on a sobel filter and similarity measures | |
Mayya et al. | Iris and palmprint decision fusion to enhance human recognition | |
Vezzetti et al. | Application of geometry to rgb images for facial landmark localisation-a preliminary approach | |
Abdulbaqi et al. | Biometrics detection and recognition based-on geometrical features extraction | |
Yu et al. | Fingerprint image preprocessing based on whole-hand image captured by digital camera | |
CN112801034A (zh) | 一种指静脉识别装置 | |
CN112016610B (zh) | 一种图像特征匹配方法及系统 | |
CN112613421B (zh) | 人脸图片降维特征分析比对方法 | |
CN111222116A (zh) | 一种智能终端 | |
Yashodha et al. | Rotation invariant palmprint recognition: An overview and implementation | |
Abd Almisreb et al. | Kernel graph cut for robust ear segmentation in various illuminations conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210720 Address after: 621000 No. 35 Mian'an Road, Fucheng District, Mianyang City, Sichuan Province (Software Industry Park, China (Mianyang) Science and Technology City) Applicant after: Mianyang silicon based Intelligent Technology Co.,Ltd. Address before: 100045 75 Yuetan South Street, Xicheng District, Beijing Applicant before: Qian Yifan |
|
GR01 | Patent grant | ||
GR01 | Patent grant |