CN108810272A - 基于移动终端多传感器的行为识别模型训练方法及装置 - Google Patents

Abstract

本发明提供一种基于移动终端多传感器的行为识别模型训练方法及装置。该方法包括：步骤1、按照预设采样频率采集移动终端上多个传感器的原始数据，并将所有原始数据按照采集对象的行为模式进行分类，得到不同行为模式的采样数据集；步骤2、针对每个行为模式的采样数据集，比较每个传感器在相邻采样时刻的原始数据，确定每个行为模式的多组特征向量；步骤3、采用改进马尔可夫链假设或朴素贝叶斯分类器对所述每个行为模式的多组特征向量进行概率统计，以每个行为模式中概率最高的特征向量作为所述行为模式的行为识别向量。本发明提高了数据的利用率，降低了识别过程的复杂程度，所识别的行为内容更具体更贴近实际，发生频率较高，应用意义较强。

Description

基于移动终端多传感器的行为识别模型训练方法及装置

技术领域

本发明涉及数据分析技术领域，尤其涉及基于移动终端多传感器的行为识别模型训练方法及装置。

背景技术

在较早期研究中，研究者在参与实验人员的不同身体部位如腰部、手腕等处放置专用的运动传感器来存储行为信息数据再进行转换以用于进行分析识别，这些传感器对佩戴者的活动造成很大影响，不能进行正常工作生活。因此，上述研究方法不能为活动监督或预测提供一个长期有效的解决方案。随后，摄像机的不断发展使视频录制成为该领域的一个重要手段，研究者用摄像机录制被观察者的行为，根据需求可以记录详细部位的行为数据，该方法与从附着在身体上的传感器获取数据相比有一定便捷性与可行性，但该方法造成隐私泄露严重，同时无法达到实时预测或无感知情况下的个人行为监督。

随着智能手机的普及以及智能手机中传感器功能的不断完善，为解决上述问题提供了可行方案。作为日常生活中不可或缺的一部分，手机随身携带解决了数据来源的难题，且手机中的多个传感器均可记录大量关于运动的数据和信息。

然而，目前利用手机传感器数据进行行为识别的研究中，大部分研究利用传感器数量较少，数据类型单一，可识别的行为内容简单且算法实现难度较大，可行性有待改进。

发明内容

为解决现有技术中存在的上述问题，本发明提供一种基于移动终端多传感器的行为识别模型训练方法及装置，基于移动终端中多个传感器数据特性，并结合机器学习算法对人们的五种基础活动的行为识别模型进行训练。

一方面，本发明提供一种基于移动终端多传感器的行为识别模型训练方法，该方法包括：

步骤1、按照预设采样频率采集移动终端上多个传感器的原始数据，并将所有原始数据按照采集对象的行为模式进行分类，得到不同行为模式的采样数据集；

步骤2、针对每个行为模式的采样数据集，比较每个传感器在相邻采样时刻的原始数据，确定每个行为模式的多组特征向量；

步骤3、采用改进马尔可夫链假设或朴素贝叶斯分类器对所述每个行为模式的多组特征向量进行概率统计，以每个行为模式中概率最高的特征向量作为所述行为模式的行为识别向量。

进一步地，所述行为模式包括：手持移动终端步行模式、移动终端置于口袋或包中步行模式、语音通话模式、视频通话模式和闲置模式。

进一步地，所述多个传感器包括加速度传感器，陀螺仪，光线传感器和距离传感器。

进一步地，所述预设采样频率包括第一预设采样频率和第二预设采样频率，所述第一预设采样频率大于所述第二预设采样频率。

另一方面，本发明提供一种基于上述移动终端多传感器的行为识别模型训练方法的训练装置，该装置包括：

数据采集模块，按照预设采样频率采集移动终端上多个传感器的原始数据，并将所有原始数据按照采集对象的行为模式进行分类，得到不同行为模式的采样数据集；

特征向量计算模块，针对每个行为模式的采样数据集，比较每个传感器在相邻采样时刻的原始数据，确定每个行为模式的多组特征向量；

行为识别模型计算模块，采用改进马尔可夫链假设或朴素贝叶斯分类器对所述每个行为模式的多组特征向量进行概率统计，以每个行为模式中概率最高的特征向量作为所述行为模式的行为识别向量。

本发明的有益效果：

本发明提供的基于移动终端多传感器的行为识别模型训练方法及装置，具有如下有益效果：

(1)通过比较相邻时刻原始数据的变化情况，提高了数据的利用率，降低了识别模型训练过程的复杂程度；

(2)通过选用光线传感器、距离传感器、加速度传感器和陀螺仪这四种传感器进行行为识别，由于前两种传感器属于敏感度较低的传感器，数据处理比较简单。并且多传感器综合利用进行预测，与传统行为识别只利用运动传感器相比数据结构和内容更加丰富具体，训练过程更加准确实现更加容易；

(3)训练得到的行为识别模型所识别的五种行为分别是手持手机步行、手机置于口袋或包中步行、语音通话(使用听筒)、视频通话(竖直持手机)及闲置，行为内容更具体更贴近实际，发生频率较高，应用意义较强；

(4)训练过程所使用的方法为改进马尔可夫链和朴素贝叶斯分类器，实现起来比较容易，是典型的低能耗高效果的机器学习分类算法。

附图说明

图1为本发明实施例提供的基于移动终端多传感器的行为识别模型训练方法的流程示意图；

图2为本发明实施例提供的基于移动终端多传感器的行为识别模型训练方法的训练装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于移动终端多传感器的行为识别模型训练方法的流程示意图。如图1所示，该方法包括以下步骤：

S101、按照预设采样频率采集移动终端上多个传感器的原始数据，并将所有原始数据按照采集对象的行为模式进行分类，得到不同行为模式的采样数据集；

具体地，移动终端可以是内部集成有多个传感器的智能手机、智能个人数字助理等。目前版本的Android、IOS或黑莓系统都没有任何管理传感器或记录传感器信息流的管理机制。任何应用程序都可以通过访问传感器应用程序接口(application programinterface，API)从而访问运动传感器。本发明实施例主要以Android系统为目标进行实验，但本领域技术人员可以理解的是，本步骤所采用的方法经适当调整也可推广到其他系统。利用Android智能手机内部传感器组织框架，首先在数据收集阶段集成了一个小型应用程序用于获取训练和测试所需的无许可传感器数据。Android传感器组织框架可用来访问智能手机的内置传感器，并提供了有助于完成数据采集工作的大量接口，这些接口可用于在采集中确定内置传感器种类，并在注册和注销传感器权限时执行监听。应用程序通过软件开发工具包向API平台发送访问传感器的请求，然后将应用程序注册到相应的传感器；如果不止一个应用程序同时尝试注册相同的传感器，API平台会运行多路复用程序，使不同的应用程序可以在同一个传感器中注册。硬件抽象层(Hardware Abstract Layer，HAL)是一个接口，可以将传感器硬件与Android中的设备驱动程序绑定。HAL有两个部分：Sensors.h是HAL接口；Sensors.cpp为HAL实现工作。通过HAL本机库，不同的应用程序可以与底层的Linux内核通信，读取和写入与传感器相关的文件。对于大多数传感器，访问这些文件不需要任何权限。而对于需许可传感器，需要用户一个明确的授权，以确保应用程序可以正确的访问一个特定的文件。这个用户权限会在Android系统清单(Android Mani-fest)中声明，一旦用户选择接受，即使没有其他明确许可应用程序也可访问其他无许可传感器。正常实用的情况下用户会允许一些应用程序对部分需许可传感器进行状态修改，利用综上框架和权限即可时刻获取所用无需许可的传感器的数据。

本步骤所采集的原始数据为用户的完全正向数据集，所谓完全正向数据集是指所有的原始数据在采集时是预先知道用户当时的具体行为模式的，所以，可以按照采集对象的行为模式对所有的原始数据进行准确分类，得到每个行为模式的采样数据集。

S102、针对每个行为模式的采样数据集，比较每个传感器在相邻采样时刻的原始数据，确定每个行为模式的多组特征向量；

具体地，针对每个行为模式，将一组传感器是否变化作为一个随时间变化的条件变量，该条件变量指示出当前采样时刻传感器值与前一采样时刻传感器值相比是否发生实时变化，而不是传感器实时数值，这个条件变量即为特征向量。若S表示某行为模式下，一个数量为n的特征向量。S可以如下公式(1)表示：

S103、采用改进马尔可夫链假设或朴素贝叶斯分类器对所述每个行为模式的多组特征向量进行概率统计，以每个行为模式中概率最高的特征向量作为所述行为模式的行为识别向量。

具体地，马尔科夫链算法可以描述为一个离散时间的随机过程，表示一组随机变量并定义了这些变量随时间的变化。应用马尔可夫链来表示发生的一系列事件，后一状态取决于前一个状态。在本发明中，一系列事件即为用户活动，各状态即为传感器值的变化情况，当前时刻的状态仅与前一时刻状态相关。根据马尔可夫链假设，如公式(2)中，X_t表示时刻t的状态：

P(X_t+1＝x|X₁＝x₁,...,X_t＝x_t)＝P(X_t+1＝x|X_t＝x_t) (2)

其中P(X₁＝x₁,...,X_t＝x_t)＞0。

本步骤中，为达到准确提取行为特征的目的，第一种方法可使用马尔科夫链的改进版本，即不是利用该算法预测下一刻可能发生的状态变化，而是通过训练得出进行某项活动时两个相邻时刻传感器发生状态转换的概率。在训练阶段接受的数据来自真实用户收集的完全正向数据集，由于数据集是已完全准确分类，排除个体差异后的状态转移应具有较明显的特征。

本步骤中，为达到准确提取行为特征的目的，第二种方法可使用朴素贝叶斯分类器。朴素贝叶斯分类器是一种基于贝叶斯算法的简单概率估计方法，其主要假设是用户活动中的特定传感器对该事件包含的其他传感器没有影响，每个用户活动的概率可以通过观察一组传感器的变化来计算。依据传感器的协同依赖特性，一个传感器的变化对其他传感器是否变化没有影响，即一个传感器的条件不能控制其他传感器的条件。总的来说，所有传感器的变化条件就可以决定正在进行何种活动。假设B表示某行为模式的数据集合，m表示特征向量总数，以下公式(3)来确定一组传感器的特征向量X被归类为某行为模式的概率：

当X中所有条件概率之和为1时，可得到方程(4)，并推导出公式(5)：

通过这种方式计算，最后可得出指定时间段内进行某种活动时传感器最有可能发生的某种变化。

本发明实施例提供的基于移动终端多传感器的行为识别模型训练方法，通过利用每个传感器在相邻采样时刻原始数据的变化情况，而不是原始数据本身来训练行为识别模型，提高了数据的利用率，降低了识别过程的复杂程度；并且通过使用改进马尔可夫链或朴素贝叶斯分类器这两种低能耗高效果的机器学习分类算法，使得训练过程比较容易。

在上述实施例的基础上，所述行为模式包括：手持移动终端步行模式、移动终端置于口袋或包中步行模式、语音通话模式、视频通话模式和闲置模式。

具体地，手持移动终端步行模式和移动终端置于口袋或包中步行模式相比，二者的区别在于移动终端所接触到的光线强弱不一致，前者表示移动终端处在光线较强的条件下，后者表示移动终端被置于光线较弱的条件下。语音通话模式为用户手持移动终端使用听筒语音通话而非耳机，期间没有其他动作。视频通话模式为移动终端的屏幕垂直于地面，光线较强，不使用耳机，期间没有其他动作。闲置模式为移动终端相对于地面静止。

在上述各实施例的基础上，所述多个传感器包括加速度传感器，陀螺仪，光线传感器和距离传感器。

具体地，智能手机中的传感器可分为如下两类：(1)无需许可的传感器(no-permission-imposed sensors)：无需许可的传感器为不需要任何用户许可或权限就可激活，且一旦激活便长时间处于活动状态可时刻提供数据，应用程序获取数据时也不需任何用户授权。这类传感器也称为面向数据的传感器，因为它们提供的是具体数值来反应用户行为情况或用户活动情况。(2)需许可传感器(permission-imposed sensors)：需许可传感器是指需要用户明确授权后应用程序才可访问或开启的传感器。这些传感器用逻辑状态(开/关)表示不同的用户活动，因此也称这类传感器为逻辑导向的传感器。

同时，传感器具有以下便于利用的特性：(1)传感器协同依赖性，即各传感器是独立实体但在进行活动时存在一定程度的依存关系，且这种依存关系不会相互影响已有状态。例如当用户手持手机走路时运动传感器和光传感器是时刻变化的，而如果用户将手机置于口袋或包中步行时光传感器不再活跃而距离传感器将保持活跃。(2)传感器数据采样具有自适应性，即不同的传感器可具有不同的采样频率。根据不同传感器的敏感程度和数值变化规律进行采样频率设定，保证数据准确性的同时也提高了资源利用率。(3)足够量的数据，即移动终端上的现代高精度传感器具有高分辨率，传感器即使在很小的时间间隔内也能产生较明显变化继而提供大量的数据。

本发明实施例中的加速度传感器和陀螺仪属于运动传感器，对于空间中的变化信息记录能力很强；距离传感器判断距离手机屏幕较近距离内是否有遮挡物，对于判断移动终端的放置位置具有很大作用；光线传感器用于感知光线强弱，减小了空间判断的难度；距离传感器和光线传感器结合使用降低了移动终端屏幕朝向判断的难度。其他传感器如重力传感器(感知三轴重力加速度变化，数据类型对行为识别的影响与运动传感器作用相似、压力传感器(检测环境气压)、磁场传感器、声音传感器(判断接收到声音的大小)等不能提供行为识别的关键数据，故本发明选用光线传感器、距离传感器、加速度传感器、陀螺仪的原始数据作为训练行为识别模型的源数据。

在上述各实施例的基础上，所述预设采样频率包括第一预设采样频率和第二预设采样频率，所述第一预设采样频率大于所述第二预设采样频率。

具体地，根据不同传感器的敏感程度和数值变化规律进行采样频率设定，加速度传感器和陀螺仪可采用第一预设采样频率，距离传感器和光线传感器可采用第二预设采样频率。如此，保证数据准确性的同时也提高了资源利用率。

下面通过又一个具体实施例对本发明所提供的方法进一步解释说明。本实施例训练和测试所用数据来自来自不同年龄、不同身高、不同性别的志愿者所提供得到原始数据。所述原始数据按照行为模式分为5个采样数据集，每个行为模式的采样数据集中均有500组数据样本，共计2500组数据样本，每个样本数据的时间长度大约为5秒钟。每个采样数据集的前80％完全正向分类后的数据为训练所用(即每个行为模式有400个训练样本数据)，后20％的样本数据混合后进行行为模型测试(共计500个测试样本)。加速度传感器和陀螺仪的取样频率为1000Hz，光线传感器和距离传感器为500Hz，按每秒15个数据点进行选取形成向量，每组数据取平稳进行该活动3秒时的一组向量，每个向量由加速度计3轴、陀螺仪3轴、光传感器和距离传感器变化情况组成，参照前一采样时刻数值发生改变即为1，不变即为0。最后使用两个指标对测试结果进行评估：Fβ-score和准确度(Accuracy)。考虑到精确度和召回率同等重要，所以β取1，就是F1-score。所得结果如下：(Walk1为手持移动终端步行，Walk2移动终端置于口袋或包中步行)。

表1 F1-score

表2准确度

	Walk1	Walk2	语音通话	视频通话	闲置
						马尔可夫链	0.936	0.934	0.898	0.908	0.972
朴素贝叶斯	0.950	0.942	0.912	0.892	0.968

由此可见，两种方法中视频通话的F1-score和准确度均是最低，移动终端闲置的识别率最高。分析初始数据结果发现，由于不同光线传感器敏感程度不同导致部分“视频通话”样本被误分到“手持移动终端步行”类中，而光线较差的部分样本被误分到“移动终端置于口袋或包中步行”类中，导致“视频通话”真正的数量下降；由于移动终端传感器抗干扰能力差，极其容易受到外界影响，导致小部分闲置的样本数据在采集时刻上并不完全静止，但检测效果已经十分乐观。其他现有人类行为识别研究目前所能识别的行为只有简单的“躺”、“坐”、“站”等，且实验过程中将移动终端固定于实验者腰间，影响正常活动难以推广同时实验结果无法提供比较。总体来说，数据采集时目标较明确，实际应用时情况比实验环境更为复杂，对数据应加以清洗处理再进行预测。

通过本实施例可见，使用较少特征和较简单算法也可以获得与以前HAR研究相似的效果，准确率可以达到90％。而对于各行为模式的识别而言，语音通话和视频通话的识别率与其他活动相比有所差距，数据处理和特征提取等方面还可继续优化，“手持移动终端步行”准确率较高，可以进行下一步场景中的应用，对所需识别的人员和移动终端进行识别。

本发明设计最初阶段首先认为小规模数据集就可以达到活动模式的提取，训练数据从100组开始训练，但测试效果不理想，特征提取不充分，难以区分“手持手机步行”和“视频通话”。几次数据采样增加训练样本之后才可以达到比较可观的水平，可见后续工作在资源允许的条件下应适当增加训练样本数量，对准确率的改善还会有一定的帮助。空间利用控制和算法训练时间在移动终端环境中特别重要，因为移动终端的输入/输出和存储能力有限。因此在数据采集时还需要考虑数据采集的应用程序是否有较低的能量需求，能否导致电池过热或存储限制等问题。

图2为本发明实施例提供的基于移动终端多传感器的行为识别模型训练方法的训练装置的结构示意图。如图2所示，该装置包括：数据采集模块201、特征向量计算模块202和行为识别模型计算模块203。其中：

数据采集模块201按照预设采样频率采集移动终端上多个传感器的原始数据，并将所有原始数据按照采集对象的行为模式进行分类，得到不同行为模式的采样数据集；特征向量计算模块202针对每个行为模式的采样数据集，比较每个传感器在相邻采样时刻的原始数据，确定每个行为模式的多组特征向量；行为识别模型计算模块203采用改进马尔可夫链假设或朴素贝叶斯分类器对所述每个行为模式的多组特征向量进行概率统计，以每个行为模式中概率最高的特征向量作为所述行为模式的行为识别向量。

需要说明的是，本发明实施例提供的基于移动终端多传感器的行为识别模型训练装置是为了实现上述方法实施例的，其功能具体可参考上述方法实施例，此处不在赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.基于移动终端多传感器的行为识别模型训练方法，其特征在于，该方法包括：

步骤1、按照预设采样频率采集移动终端上多个传感器的原始数据，并将所有原始数据按照采集对象的行为模式进行分类，得到不同行为模式的采样数据集；

步骤2、针对每个行为模式的采样数据集，比较每个传感器在相邻采样时刻的原始数据，确定每个行为模式的多组特征向量；

步骤3、采用改进马尔可夫链假设或朴素贝叶斯分类器对所述每个行为模式的多组特征向量进行概率统计，以每个行为模式中概率最高的特征向量作为所述行为模式的行为识别向量。

2.根据权利要求1所述的方法，其特征在于，所述行为模式包括：手持移动终端步行模式、移动终端置于口袋或包中步行模式、语音通话模式、视频通话模式和闲置模式。

3.根据权利要求1所述的方法，其特征在于，所述多个传感器包括加速度传感器，陀螺仪，光线传感器和距离传感器。

4.根据权利要求3所述的方法，其特征在于，所述预设采样频率包括第一预设采样频率和第二预设采样频率，所述第一预设采样频率大于所述第二预设采样频率。

5.基于权利要求1-4任一所述移动终端多传感器的行为识别模型训练方法的训练装置，其特征在于，包括：

数据采集模块，按照预设采样频率采集移动终端上多个传感器的原始数据，并将所有原始数据按照采集对象的行为模式进行分类，得到不同行为模式的采样数据集；

特征向量计算模块，针对每个行为模式的采样数据集，比较每个传感器在相邻采样时刻的原始数据，确定每个行为模式的多组特征向量；

行为识别模型计算模块，采用改进马尔可夫链假设或朴素贝叶斯分类器对所述每个行为模式的多组特征向量进行概率统计，以每个行为模式中概率最高的特征向量作为所述行为模式的行为识别向量。