CN108596150A - 一种可排除异常动作的行为识别系统及其工作方法 - Google Patents
一种可排除异常动作的行为识别系统及其工作方法 Download PDFInfo
- Publication number
- CN108596150A CN108596150A CN201810441825.5A CN201810441825A CN108596150A CN 108596150 A CN108596150 A CN 108596150A CN 201810441825 A CN201810441825 A CN 201810441825A CN 108596150 A CN108596150 A CN 108596150A
- Authority
- CN
- China
- Prior art keywords
- action
- abnormal operation
- data
- module
- activity recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 62
- 230000000694 effects Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 26
- 230000001133 acceleration Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种可排除异常动作的行为识别系统及其工作方法。该系统包括：朝向检测模块、数据处理模块和动作识别模块。朝向检测模块用于确定人体在地球坐标系中的朝向信息，数据处理模块用于采集数据和处理数据，动作识别模块用于排除异常动作以及对动作进行分类。该系统运行于可穿戴智能终端，其中内置了加速度计、陀螺仪和磁力计传感器。当系统检测到用户的动作时，对该动作执行期间的数据进行处理，提取出动作特征，由此判断该动作是否属于异常动作，对不属于异常的动作进行分类。本发明不仅可以对人的动作进行分类，还可以排除与预定义动作之间差异很大的异常动作，提高识别准确率。
Description
技术领域
本发明涉及行为识别技术领域，具体是一种可排除异常动作的行为识别系统及其工作方法。
背景技术
行为识别是指对人的动作进行识别和分类，通常用于运动监测、特殊人群监护、人机交互、身份认证等应用。目前的行为识别方案主要是基于惯性传感器、图形图像、无线信号等来实现的，使用了模式识别和机器学习中常用的算法，达到对动作进行准确分类的目的。
目前，惯性传感器已经成为可穿戴设备上的标配，这极大地丰富了可穿戴设备的功能和应用，基于惯性传感器的行为识别方案也受到了越来越多的关注。已有的方法通常是为预定义的几类动作训练模板或者模型，当需要对一个未知动作进行识别时，采用模板匹配或者模型分类的方法，得到该未知动作所属的类别。因此，即使某个未知动作与预定义的几类动作的差异都非常大(即异常动作)，也会被分为其中的某一类，导致误判或统计不准等结果。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种可排除异常动作的行为识别系统及其工作方法，本发明不仅可以对人的动作进行分类，还可以排除与预定义动作之间差异很大的异常动作，提高识别准确率。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种可排除异常动作的行为识别系统，包括：
朝向检测模块，用于确定人体在地球坐标系中的初始朝向，且能够实时更新人体的朝向信息，该朝向检测模块按照固定的频率将朝向信息发送给数据处理模块；
数据处理模块，用于处理采集的传感器数据和来自朝向检测模块的朝向信息，并从数据中提取出用于行为识别的动作特征；
动作识别模块，用于模型训练和行为识别，并根据训练的异常动作判断模型进行异常动作判断，及根据训练的动作分类模板进行动作分类。
优选地，所述的异常动作是指与需要识别的预定义动作之间存在较大差异的动作。
优选地，所述的行为识别系统运行于可穿戴智能终端，并佩戴在用户四肢上需要检测动作的部位。
优选地，所述的朝向检测模块包括：
第一数据采集模块，用于采集人体的加速度、磁场和角速度数据；
朝向计算模块，用于根据加速度和磁场数据确定人体在地球坐标系中的初始朝向，并实时地根据角速度数据更新朝向信息。
优选地，所述的数据处理模块包括：
第二数据采集模块，用于实时地采集人体的加速度和磁场数据，并接收来自朝向检测模块的朝向信息；
特征提取模块，用于对第二数据采集模块得到的数据进行转换、切割、分类，并从数据中提取出动作特征。
优选地，所述的动作识别模块包括：
模型训练模块，用于训练异常动作判断模型和动作分类模板；
异常动作判断模块，利用异常动作判断模型来判断动作是否属于异常动作；
动作分类模块，利用与动作分类模板进行匹配的方法对动作进行分类。
本发明的一种可排除异常动作的行为识别系统的工作方法，包括以下步骤：
1)可穿戴智能终端佩戴在用户四肢上需要检测动作的部位；
2)用户做指定动作以确定人体在地球坐标系中的初始朝向信息；
3)朝向检测模块实时采集人体的角速度数据以更新朝向信息，并按照固定的频率发送给数据处理模块；
4)数据处理模块实时采集人体的加速度和磁场数据，并接收朝向信息；
5)当检测到一个完整的未知动作时，数据处理模块对该动作执行期间的数据进行处理，通过转换、切割、分类后，提取出动作特征；
6)根据异常动作判断模型来判断该未知动作是否属于异常动作；
7)若未知动作属于异常动作，则忽略该动作；
8)若未知动作不属于异常动作，则根据分类模板对该未知动作进行分类。
优选地，上述步骤6)中异常动作判断模型是利用半监督学习方法得到的，包括以下步骤：
61)对于m类预定义动作，每一类分别采集k次作为正类训练数据样本；
62)采集m×k个异常动作作为反类训练数据样本；
63)提取正类训练数据样本的特征，并标记其中的a％为“+1”，a的默认值为90；
64)提取反类训练数据样本的特征，并标记其中的b％为“-1”，b的默认值为10；
65)其余的数据样本都标记为“0”；
66)利用步骤63)，64)，65)得到的数据训练半监督学习模型。
本发明的有益效果：
本发明相比于现有的行为识别系统，该行为识别系统的动作识别准确率高，对用户的使用限制少，训练成本低，具体表现为：
(1)准确率高：在对未知动作进行分类之前，系统先判断该动作是否属于异常动作，如果是异常动作则直接过滤掉该动作。因此，可以排除掉那些用户无意中做的动作，使识别准确率更高。
(2)使用限制少：不必要求用户在使用的过程中不能有其他多余的动作，这些多余的动作都会被过滤掉。
(3)训练成本低：采用了半监督学习，只需要对少量的异常动作进行标记，就能对更多类似的异常动作进行识别。
附图说明
图1为本发明可排除异常动作的行为识别系统架构图；
图2为工作方法流程图；
图3为系统中异常动作判断模块的特征选择示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种可排除异常动作的行为识别系统，该系统运行于可穿戴智能终端，其中内置了加速度计、陀螺仪和磁力计传感器等。可穿戴智能终端佩戴在用户四肢上需要检测动作的部位，实时地采集传感器数据。该系统包括：朝向检测模块、数据处理模块和动作识别模块。其中，朝向检测模块主要由第一数据采集模块和朝向计算模块组成，数据处理模块主要由第二数据采集模块和特征提取模块组成，动作识别模块主要由模型训练模块、异常动作判断模块和动作分类模块组成。系统各组成部分的功能如下：
朝向检测模块，用于确定人体在地球坐标系中的初始朝向，并能够实时更新人体的朝向信息，该模块按照固定的频率将朝向信息发送给数据处理模块；
数据处理模块，用于处理采集的传感器数据和来自朝向检测模块的朝向信息，并从数据中提取出用于行为识别的动作特征；
动作识别模块，用于模型训练和行为识别，并根据训练的异常动作判断模型进行异常动作判断，及根据训练的动作分类模板进行动作分类。
参照图2所示，本发明的一种可排除异常动作的行为识别系统的工作方法，包括步骤如下：
1)可穿戴智能终端佩戴在用户四肢上需要检测动作的部位；
2)用户做指定动作以确定人体在地球坐标系中的初始朝向信息；
3)朝向检测模块实时采集人体的角速度数据以更新朝向信息，并按照固定的频率发送给数据处理模块；
4)数据处理模块实时采集人体的加速度和磁场数据，并接收朝向信息；
5)当检测到一个完整的未知动作时，数据处理模块对该动作执行期间的数据进行处理，通过转换、切割、分类后，提取出动作特征；
6)根据异常动作判断模型来判断该未知动作是否属于异常动作；
7)若未知动作属于异常动作，则忽略该动作；
8)若未知动作不属于异常动作，则根据分类模板对该未知动作进行分类。
上述步骤8)中对动作进行分类的过程如下：
假设预定义动作有p类，每类预定义动作采集q次作为模板动作，因此，模板动作共有p×q个。对于每一个动作，其包含3维子动作序列α，β，γ，分别计算动作样本的3维子动作序列与每个模板动作的3维子动作序列对应维度的编辑距离dα，dβ，dγ，3个维度的编辑距离之和为：
共得到动作样本与模板动作的p×q个编辑距离之和，选择其中的最小值对应的模板动作类别作为动作样本的分类结果。
参照图3所示，异常动作的判断使用了半监督学习模型，其特征提取方法如下：
假设预定义动作有m类，每类预定义动作采集n次作为参考动作，因此，参考动作共有m×n个。对于每一个动作，其包含3维子动作序列α，β，γ，分别计算动作样本的3维子动作序列与每个参考动作的3维子动作序列对应维度的编辑距离dα，dβ，dγ，共可以得到3×m×n个特征。
半监督学习模型的训练过程如下：
a.对于m类预定义动作，每一类分别采集k次作为正类训练数据样本；
b.采集m×k个异常动作作为反类训练数据样本；
c.提取正类训练数据样本的特征，并标记其中的a％为“+1”，a的默认值为90；
d.提取反类训练数据样本的特征，并标记其中的b％为“-1”，b的默认值为10；
e.其余的数据样本都标记为“0”；
f.利用步骤c，d，e得到的数据训练半监督学习模型。
半监督学习模型的测试过程如下：
g.按照上述特征提取方法计算数据样本的特征；
h.输入特征到半监督学习模型；
i.输出分类结果：“+1”或“-1”。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (8)
1.一种可排除异常动作的行为识别系统，其特征在于，包括：
朝向检测模块，用于确定人体在地球坐标系中的初始朝向，且能够实时更新人体的朝向信息，该朝向检测模块按照固定的频率将朝向信息发送给数据处理模块；
数据处理模块，用于处理采集的传感器数据和来自朝向检测模块的朝向信息，并从数据中提取出用于行为识别的动作特征；
动作识别模块，用于模型训练和行为识别，并根据训练的异常动作判断模型进行异常动作判断，及根据训练的动作分类模板进行动作分类。
2.根据权利要求1所述的可排除异常动作的行为识别系统，其特征在于，所述的异常动作是指与需要识别的预定义动作之间存在较大差异的动作。
3.根据权利要求1所述的可排除异常动作的行为识别系统，其特征在于，所述的行为识别系统运行于可穿戴智能终端，并佩戴在用户四肢上需要检测动作的部位。
4.根据权利要求1所述的可排除异常动作的行为识别系统，其特征在于，所述的朝向检测模块包括：
第一数据采集模块，用于采集人体的加速度、磁场和角速度数据；
朝向计算模块，用于根据加速度和磁场数据确定人体在地球坐标系中的初始朝向，并实时地根据角速度数据更新朝向信息。
5.根据权利要求1所述的可排除异常动作的行为识别系统，其特征在于，所述的数据处理模块包括：
第二数据采集模块，用于实时地采集人体的加速度和磁场数据，并接收来自朝向检测模块的朝向信息；
特征提取模块，用于对第二数据采集模块得到的数据进行转换、切割、分类，并从数据中提取出动作特征。
6.根据权利要求1所述的可排除异常动作的行为识别系统，其特征在于，所述的动作识别模块包括：
模型训练模块，用于训练异常动作判断模型和动作分类模板；
异常动作判断模块，利用异常动作判断模型来判断动作是否属于异常动作；
动作分类模块，利用与动作分类模板进行匹配的方法对动作进行分类。
7.一种可排除异常动作的行为识别系统的工作方法，其特征在于，包括以下步骤：
1）可穿戴智能终端佩戴在用户四肢上需要检测动作的部位；
2）用户做指定动作以确定人体在地球坐标系中的初始朝向信息；
3）朝向检测模块实时采集人体的角速度数据以更新朝向信息，并按照固定的频率发送给数据处理模块；
4）数据处理模块实时采集人体的加速度和磁场数据，并接收朝向信息；
5）当检测到一个完整的未知动作时，数据处理模块对该动作执行期间的数据进行处理，通过转换、切割、分类后，提取出动作特征；
6）根据异常动作判断模型来判断该未知动作是否属于异常动作；
7）若未知动作属于异常动作，则忽略该动作；
8）若未知动作不属于异常动作，则根据分类模板对该未知动作进行分类。
8.根据权利要求7所述的可排除异常动作的行为识别系统的工作方法，其特征在于，所述步骤6）中异常动作判断模型是利用半监督学习方法得到的，包括以下步骤：
61）对于类预定义动作，每一类分别采集次作为正类训练数据样本；
62）采集个异常动作作为反类训练数据样本；
63）提取正类训练数据样本的特征，并标记其中的%为“+1”，的默认值为90；
64）提取反类训练数据样本的特征，并标记其中的%为“-1”，的默认值为10；
65）其余的数据样本都标记为“0”；
66）利用步骤63），64），65）得到的数据训练半监督学习模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810441825.5A CN108596150A (zh) | 2018-05-10 | 2018-05-10 | 一种可排除异常动作的行为识别系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810441825.5A CN108596150A (zh) | 2018-05-10 | 2018-05-10 | 一种可排除异常动作的行为识别系统及其工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108596150A true CN108596150A (zh) | 2018-09-28 |
Family
ID=63636872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810441825.5A Pending CN108596150A (zh) | 2018-05-10 | 2018-05-10 | 一种可排除异常动作的行为识别系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596150A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583729A (zh) * | 2018-11-19 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 用于平台在线模型的数据处理方法和装置 |
| CN109946538A (zh) * | 2019-03-14 | 2019-06-28 | 上海交通大学 | 一种基于磁感应信号的移动设备监控方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719216A (zh) * | 2009-12-21 | 2010-06-02 | 西安电子科技大学 | 基于模板匹配的运动人体异常行为识别方法 |
| CN102799873A (zh) * | 2012-07-23 | 2012-11-28 | 青岛科技大学 | 一种人体异常行为识别方法 |
| CN105809144A (zh) * | 2016-03-24 | 2016-07-27 | 重庆邮电大学 | 一种采用动作切分的手势识别系统和方法 |
| CN107092882A (zh) * | 2017-04-19 | 2017-08-25 | 南京大学 | 一种基于子动作感知的行为识别系统及其工作方法 |
| CN107273866A (zh) * | 2017-06-26 | 2017-10-20 | 国家电网公司 | 一种基于监控系统的人体异常行为识别方法 |
| CN107609477A (zh) * | 2017-08-09 | 2018-01-19 | 五邑大学 | 一种基于深度学习与智能手环相结合的摔倒检测方法 |
-
2018
- 2018-05-10 CN CN201810441825.5A patent/CN108596150A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719216A (zh) * | 2009-12-21 | 2010-06-02 | 西安电子科技大学 | 基于模板匹配的运动人体异常行为识别方法 |
| CN102799873A (zh) * | 2012-07-23 | 2012-11-28 | 青岛科技大学 | 一种人体异常行为识别方法 |
| CN105809144A (zh) * | 2016-03-24 | 2016-07-27 | 重庆邮电大学 | 一种采用动作切分的手势识别系统和方法 |
| CN107092882A (zh) * | 2017-04-19 | 2017-08-25 | 南京大学 | 一种基于子动作感知的行为识别系统及其工作方法 |
| CN107273866A (zh) * | 2017-06-26 | 2017-10-20 | 国家电网公司 | 一种基于监控系统的人体异常行为识别方法 |
| CN107609477A (zh) * | 2017-08-09 | 2018-01-19 | 五邑大学 | 一种基于深度学习与智能手环相结合的摔倒检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583729A (zh) * | 2018-11-19 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 用于平台在线模型的数据处理方法和装置 |
| CN109946538A (zh) * | 2019-03-14 | 2019-06-28 | 上海交通大学 | 一种基于磁感应信号的移动设备监控方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN108647625A (zh) | 一种表情识别方法及装置 | |
| CN104036236A (zh) | 一种基于多参数指数加权的人脸性别识别方法 | |
| WO2020194497A1 (ja) | 情報処理装置、個人識別装置、情報処理方法及び記憶媒体 | |
| CN112149512A (zh) | 一种基于两阶段深度学习的安全帽佩戴识别方法 | |
| CN108446733A (zh) | 一种基于多传感器数据的人体行为监测及智能识别方法 | |
| CN109697430A (zh) | 基于图像识别的工作区域安全帽佩戴的检测方法 | |
| CN105310696A (zh) | 一种跌倒检测模型构建方法及相应的跌倒检测方法和装置 | |
| CN107133607B (zh) | 基于视频监控的人群统计方法及系统 | |
| CN110811578A (zh) | 计步装置及其计步方法、控制器和可读存储介质 | |
| CN109213882A (zh) | 图片排序方法及终端 | |
| CN105825233B (zh) | 一种基于在线学习随机蕨分类器的行人检测方法 | |
| CN109543542A (zh) | 一种特定场所人员着装是否规范的判定方法 | |
| CN111680637A (zh) | 基于深度学习和图像识别技术的口罩检测方法及检测系统 | |
| CN109740590A (zh) | 基于目标跟踪辅助的roi精确提取方法及系统 | |
| CN112464738B (zh) | 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法 | |
| CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
| CN110348494A (zh) | 一种基于双通道残差神经网络的人体动作识别方法 | |
| CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| CN109740654A (zh) | 一种基于深度学习的舌体自动检测方法 | |
| CN103500342A (zh) | 一种基于加速度计的人体行为识别方法 | |
| CN110502962A (zh) | 视频流中目标的检测方法、装置、设备和介质 | |
| CN108596150A (zh) | 一种可排除异常动作的行为识别系统及其工作方法 | |
| CN110149531A (zh) | 一种识别视频数据中视频场景的方法和装置 | |
| CN110598599A (zh) | 基于Gabor原子分解的人体异常步态检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |
|
| RJ01 | Rejection of invention patent application after publication |