CN102867190A - 一种利用移动设备内置传感器进行行为识别的方法 - Google Patents

一种利用移动设备内置传感器进行行为识别的方法 Download PDF

Info

Publication number
CN102867190A
CN102867190A CN2012103150069A CN201210315006A CN102867190A CN 102867190 A CN102867190 A CN 102867190A CN 2012103150069 A CN2012103150069 A CN 2012103150069A CN 201210315006 A CN201210315006 A CN 201210315006A CN 102867190 A CN102867190 A CN 102867190A
Authority
CN
China
Prior art keywords
mobile device
behavior
sensors
information
device built
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103150069A
Other languages
English (en)
Other versions
CN102867190B (zh
Inventor
詹德川
周志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201210315006.9A priority Critical patent/CN102867190B/zh
Publication of CN102867190A publication Critical patent/CN102867190A/zh
Application granted granted Critical
Publication of CN102867190B publication Critical patent/CN102867190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开一种利用移动设备内置传感器进行行为识别的方法，包括识别装置训练步骤和识别装置识别步骤；首先对于特定的行为动作利用移动设备内置传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类和识别。本发明的方法实施过程中占用资源少，适用性强。

Description

一种利用移动设备内置传感器进行行为识别的方法
技术领域
本发明涉及动作姿态识别和人机交互技术，特别涉及一种利用个人手持移动设备如智能手机、PDA等的内置传感器进行动作姿态识别的方法。
背景技术
目前，用户行为姿态识别已经在身份鉴别、生产控制、人机交互等方面得到了广泛应用。而行为姿态识别的效果严重依赖于硬件的数据采集技术，当前的行为姿态识别的硬件设备可以分为两类：基于影像技术的和基于特定输入设备的。前者如高速摄像机，这类设备对硬件设备要求高，识别系统往往占用大量的资源，并且容易收到背景光线的影响。基于特定输入设备的硬件如可穿戴的生物静电传感设备，这类特定输入设备往往造价高昂，不具备普遍适用性。
而具有无线接入、信息管理并装载开放性操作系统的手持移动设备，如智能手机近年来得到了极大的发展。特别是，大部分移动设备除了能够进行声音、图像信息的采集（如智能手机能够进行通话、拍摄）之外，还能够采集如重力加速度、光线强弱、距离、方向、磁场和温度等多种类型的信息。因此需要一种综合利用这些传感器收集的数据，对人的行为姿态进行识别的方法。
发明内容
发明目的：目前的动作姿态识别技术往往依赖于特定的硬件设备，或者占用大量资源或者不具备普适性，针对上述问题，本发明提供一种利用移动设备内置传感器进行行为识别的方法，具体来说，首先对于特定的行为动作利用移动设备内置传感器进行数据收集，然后采用能够利用多种不同类型数据的学习方法对这些数据进行融合处理，并且进行分类学习，最后在实际使用中利用训练完毕的分类器对采集到的多种传感数据进行分类和识别。
技术方案：一种利用移动设备内置传感器进行行为识别的方法，包括识别装置训练步骤和识别装置识别步骤；
所述识别装置训练步骤具体为：
步骤100，初始化移动设备；
步骤101，通过移动设备内置传感器离线采集信息作为行为姿态样本用于训练；
步骤102，将移动设备内置传感器离线采集的信息进行数据预处理；
步骤103，判断是否将经数据预处理后的信息作为未标记样本加以接受，如果否，则人工对行为姿态进行标记；如果是，则判断是否已经取得预设数量的行为姿态样本；如果否，则转入步骤101；如果已经取得足够多的行为姿态样本用于训练，则进行学习器训练取得识别模型M； 
识别装置的识别步骤具体为：
步骤200，初始化移动设备；
步骤201，通过移动设备内置传感器在线采集信息；
步骤202，将移动设备内置传感器在线采集的信息进行数据预处理；
步骤203，使用识别模型M对进行数据预处理后的信息加以识别，判断后输出目前进行的动作姿态。
所述移动设备内置传感器包括加速度传感器、方向传感器、光线传感器。
所述在移动设备内置传感器离线或者在线采集信息之前，还包括检测移动设备内置传感器是否能正常工作的步骤，如果正常工作，则采集信息；如果出现故障，则提示用户。
所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补的处理。
所述识别模型M训练工作流程为：首先使用利用标记的行为姿态样本各种传感器返回的信息训练n个分类器m1, m2, m3, …, mn；然后分别使用这些分类器对未标记行为姿态样本池U中的部分行为姿态样本进行标记，并将标记后的行为姿态样本从未标记行为姿态样本池U中移至标记行为姿态样本L，利用新的记行为姿态样本L更新分类器m1, m2, m3, …, mn，重复上述步骤直至未标记行为姿态样本池为空或者达到预设的次数；将这n个面向各种传感信息的分类器集成为识别模型M并输出。
有益效果：与现有技术相比，本发明所提供的利用移动设备内置传感器进行行为识别的方法，实施过程中占用资源少，适用性强。
附图说明
图1为本发明实施例的行为识别装置训练工作流程图；
图2为本发明实施例的行为识别装置识别工作流程图；
图3为本发明实施例的行为识别模型M训练工作流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
行为姿态识别装置的训练阶段工作流程如图1所示。行为姿态识别装置在训练阶段需要收集一定数量的带标记（也可以附加一部分不带标记）的行为姿态样本用于训练，具体来说，首先初始化移动设备（步骤10）；然后携带移动设备改变动作和姿态（步骤11），其中初始化指的是：移动设备加电至加载操作系统和后台系统服务完成的全部过程；判断移动设备内置传感器是否正常（步骤12a, 12c, 12d）；如果工作正常，则分别提取重力加速度、光线强弱、距离、方向、磁场和温度等多种类型的信息（步骤13a, 13b, 13c, 13d）；使用有线或者无线（例如WIFI、蓝牙）将移动设备内置传感器获取的信息导出并进行数据预处理（信号滤波，去噪，缺失传感器数据填补，步骤14），判断是否将提取的多种类型信息作为未标记样本加以接受（步骤15），如果否，则人工对行为姿态进行标记（步骤16）；判断是否已经取得足够多的训练样本（步骤17）；如果否，则转入步骤11；如果已经取得足够多的行为姿态样本则进行学习器训练取得识别模型M（步骤18）。注：识别模型M的训练过程会消耗大量的计算资源，本发明中可以在高性能计算机上使用导出的多种内置传感器信号数据对模型M加以训练。
行为姿态识别装置的识别阶段工作流程如图2所示。首先初始化移动设备（步骤20）；然后在进行特定动作和姿态时携带移动设备（步骤21）；判断移动设备内置传感器工作是否正常（步骤22a, 22c, 22d）；如果工作正常，则分别提取重力加速度、光线强弱、距离、方向、磁场和温度等多种传感器信息（步骤23a, 23b, 23c, 23d）；对收集的数据进行预处理（步骤24），使用识别模型M对多类传感器信息加以识别（步骤25），判断后输出目前进行的动作姿态（步骤26）。注：行为姿态识别阶段，识别模型M可以选择内置在移动设备或者存放在高性能计算机内。
行为识别模型M训练工作流程如图3所示。首先使用利用标记行为姿态样本L各种传感器返回的信息训练n个分类器m1, m2, m3, …, mn（步骤180），分别使用这些分类器对未标记行为姿态样本池U中的部分行为姿态样本进行标记（步骤184），并将标记后的行为姿态样本从未标记样本池U中移至标记行为姿态样本L（步骤185），利用新的行为姿态样本L更新分类器m1, m2, m3, …, mn（步骤186），重复上述步骤直至未标记样本池为空（步骤183）或者达到预设的次数（步骤187）。将这n个面向各种传感信息的分类器集成为M并输出（步骤188）。

Claims (5)

1.一种利用移动设备内置传感器进行行为识别的方法，其特征在于：包括识别装置训练步骤和识别装置识别步骤；
所述识别装置训练步骤具体为：
步骤100，初始化移动设备；
步骤101，通过移动设备内置传感器离线采集信息作为行为姿态样本用于训练；
步骤102，将移动设备内置传感器离线采集的信息进行数据预处理；
步骤103，判断是否将经数据预处理后的信息作为未标记样本加以接受，如果否，则人工对行为姿态进行标记；如果是，则判断是否已经取得预设数量的行为姿态样本；如果否，则转入步骤101；如果已经取得足够多的行为姿态样本用于训练，则进行学习器训练取得识别模型M； 
识别装置的识别步骤具体为：
步骤200，初始化移动设备；
步骤201，通过移动设备内置传感器在线采集信息；
步骤202，将移动设备内置传感器在线采集的信息进行数据预处理；
步骤203，使用识别模型M对进行数据预处理后的信息加以识别，判断后输出目前进行的动作姿态。
2.如权利要求1所述的利用移动设备内置传感器进行行为识别的方法，其特征在于：所述移动设备内置传感器包括加速度传感器、方向传感器、光线传感器。
3.如权利要求1所述的利用移动设备内置传感器进行行为识别的方法，其特征在于：所述在移动设备内置传感器离线或者在线采集信息之前，还包括检测移动设备内置传感器是否能正常工作的步骤，如果正常工作，则采集信息；如果出现故障，则提示用户。
4.如权利要求1所述的利用移动设备内置传感器进行行为识别的方法，其特征在于：所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补的处理。
5.如权利要求1所述的利用移动设备内置传感器进行行为识别的方法，其特征在于：所述识别模型M训练工作流程为：首先使用利用标记的行为姿态样本各种传感器返回的信息训练n个分类器m1, m2, m3, …, mn；然后分别使用这些分类器对未标记行为姿态样本池U中的部分行为姿态样本进行标记，并将标记后的行为姿态样本从未标记行为姿态样本池U中移至标记行为姿态样本L，利用新的记行为姿态样本L更新分类器m1, m2, m3, …, mn，重复上述步骤直至未标记行为姿态样本池为空或者达到预设的次数；将这n个面向各种传感信息的分类器集成为识别模型M并输出。
CN201210315006.9A 2012-08-30 2012-08-30 一种利用移动设备内置传感器进行行为识别的方法 Active CN102867190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210315006.9A CN102867190B (zh) 2012-08-30 2012-08-30 一种利用移动设备内置传感器进行行为识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210315006.9A CN102867190B (zh) 2012-08-30 2012-08-30 一种利用移动设备内置传感器进行行为识别的方法

Publications (2)

Publication Number Publication Date
CN102867190A true CN102867190A (zh) 2013-01-09
CN102867190B CN102867190B (zh) 2016-04-27

Family

ID=47446054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210315006.9A Active CN102867190B (zh) 2012-08-30 2012-08-30 一种利用移动设备内置传感器进行行为识别的方法

Country Status (1)

Country Link
CN (1) CN102867190B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905460A (zh) * 2014-04-14 2014-07-02 夷希数码科技(上海)有限公司 一种多重识别方法及装置
CN104864873A (zh) * 2015-06-09 2015-08-26 中国科学院上海高等研究院 一种利用人体运动特征辅助地图定位的方法
CN107220856A (zh) * 2017-06-02 2017-09-29 武汉大学 一种移动消费群组识别的系统及方法
CN110251080A (zh) * 2014-02-11 2019-09-20 苹果公司 检测正在穿戴可穿戴电子设备的肢体
CN110547718A (zh) * 2018-06-04 2019-12-10 常源科技（天津）有限公司 一种智能翻盖马桶以及控制方法
CN110969216A (zh) * 2019-12-20 2020-04-07 南京大学 基于多模态传感器数据的移动设备后台应用预测方法
US11166104B2 (en) 2014-02-11 2021-11-02 Apple Inc. Detecting use of a wearable device
US11432766B2 (en) 2017-09-05 2022-09-06 Apple Inc. Wearable electronic device with electrodes for sensing biological parameters
US11504057B2 (en) 2017-09-26 2022-11-22 Apple Inc. Optical sensor subsystem adjacent a cover of an electronic device housing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694693A (zh) * 2009-10-16 2010-04-14 中国科学院合肥物质科学研究院 基于加速度传感器人体运动识别系统及方法
CN202004844U (zh) * 2011-03-14 2011-10-05 北京播思软件技术有限公司 一种利用重力传感器识别用户使用习惯的移动终端
CN102246125A (zh) * 2008-10-15 2011-11-16 因文森斯公司 具有运动姿态识别的移动设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246125A (zh) * 2008-10-15 2011-11-16 因文森斯公司 具有运动姿态识别的移动设备
CN101694693A (zh) * 2009-10-16 2010-04-14 中国科学院合肥物质科学研究院 基于加速度传感器人体运动识别系统及方法
CN202004844U (zh) * 2011-03-14 2011-10-05 北京播思软件技术有限公司 一种利用重力传感器识别用户使用习惯的移动终端

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11166104B2 (en) 2014-02-11 2021-11-02 Apple Inc. Detecting use of a wearable device
CN110251080A (zh) * 2014-02-11 2019-09-20 苹果公司 检测正在穿戴可穿戴电子设备的肢体
CN110251080B (zh) * 2014-02-11 2022-04-26 苹果公司 检测正在穿戴可穿戴电子设备的肢体
US11281262B2 (en) 2014-02-11 2022-03-22 Apple Inc. Detecting a gesture made by a person wearing a wearable electronic device
CN103905460A (zh) * 2014-04-14 2014-07-02 夷希数码科技(上海)有限公司 一种多重识别方法及装置
CN104864873A (zh) * 2015-06-09 2015-08-26 中国科学院上海高等研究院 一种利用人体运动特征辅助地图定位的方法
CN104864873B (zh) * 2015-06-09 2017-09-01 中国科学院上海高等研究院 一种利用人体运动特征辅助地图定位的方法
CN107220856A (zh) * 2017-06-02 2017-09-29 武汉大学 一种移动消费群组识别的系统及方法
CN107220856B (zh) * 2017-06-02 2020-07-10 武汉大学 一种移动消费群组识别的系统及方法
US11432766B2 (en) 2017-09-05 2022-09-06 Apple Inc. Wearable electronic device with electrodes for sensing biological parameters
US11504057B2 (en) 2017-09-26 2022-11-22 Apple Inc. Optical sensor subsystem adjacent a cover of an electronic device housing
CN110547718A (zh) * 2018-06-04 2019-12-10 常源科技（天津）有限公司 一种智能翻盖马桶以及控制方法
CN110969216A (zh) * 2019-12-20 2020-04-07 南京大学 基于多模态传感器数据的移动设备后台应用预测方法

Also Published As

Publication number Publication date
CN102867190B (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
CN102867190B (zh) 一种利用移动设备内置传感器进行行为识别的方法
CN102024151B (zh) 手势动作识别模型的训练方法和手势动作识别方法
CN102945362B (zh) 基于异构数据融合的传感器协同手势识别方法及系统
Zheng Human activity recognition based on the hierarchical feature selection and classification framework
CN105353881B (zh) 基于rfid的手势识别方法及系统
CN102985897A (zh) 高效姿势处理
KR20130110565A (ko) 사용자 행동 실시간 인식장치 및 방법
CN110163082A (zh) 一种图像识别网络模型训练方法、图像识别方法及装置
CN102109954A (zh) 一种电子设备的手写和软键盘混合输入方法
CN104915351A (zh) 图片排序方法及终端
Zhang et al. CSI-based human activity recognition with graph few-shot learning
CN103914132A (zh) 识别基于手指的手势的方法和系统
CN112101329A (zh) 一种基于视频的文本识别方法、模型训练的方法及装置
CN107688790A (zh) 人体行为识别方法、装置、存储介质及电子设备
CN104376308B (zh) 一种基于多任务学习的人体动作识别方法
CN108170274A (zh) 一种基于可穿戴设备的动作识别方法
CN107077316A (zh) 基于功率和感测的分布式语音输入处理
Hawke et al. Wrong today, right tomorrow: Experience-based classification for robot perception
CN105511623A (zh) 交互方法及装置
Alvee et al. Application of machine learning classifiers for predicting human activity
CN104298975B (zh) 一种分布式图像识别方法
KR102077669B1 (ko) 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
AU2020102094A4 (en) GROUP ACTIVITY RECOGNITION BY INTEGRATION AND FUSION OF INDIVIDUAL MULTISENSORY IoT DATA
CN108596150A (zh) 一种可排除异常动作的行为识别系统及其工作方法
CN106815264A (zh) 一种信息处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant