CN107396306A - 基于移动终端的用户活动状态识别方法、装置及移动终端 - Google Patents
基于移动终端的用户活动状态识别方法、装置及移动终端 Download PDFInfo
- Publication number
- CN107396306A CN107396306A CN201710527097.5A CN201710527097A CN107396306A CN 107396306 A CN107396306 A CN 107396306A CN 201710527097 A CN201710527097 A CN 201710527097A CN 107396306 A CN107396306 A CN 107396306A
- Authority
- CN
- China
- Prior art keywords
- user activity
- classification
- activity state
- state
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供了一种基于移动终端的用户活动状态识别方法、装置及移动终端。该方法包括:读取移动终端的传感器采集的传感器数据;从读取的所述传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别。本发明实施例充分利用了移动终端本身具备的传感器,读取传感器采集的传感器数据,并基于传感器数据和分类模型能够识别出使用该移动终端的用户的日常活动状态。并且,本发明实施例中传感器采集的传感器数据是实时的,因而本发明可以基于实时的传感器数据来识别用户实时的活动状态,识别结果全面且准确,能够满足用户后续的各种个性化需求。
Description
技术领域
本发明涉及互联网应用技术领域,特别是一种基于移动终端的用户活动状态识别方法、装置及移动终端。
背景技术
目前,移动终端(如智能手机、平板电脑、智能手表等)已经成为人们日常工作、学习和娱乐不可或缺的工具。例如,用户可以通过移动终端来通话、拍照、阅读、听音乐、玩游戏,还可以实现包括定位、信息处理、指纹扫描、身份证扫描、条码扫描以及酒精含量检测等丰富的功能。
在实际生活中,人们还希望通过移动终端来管理自身的日常活动状态(如静止、步行、驾车、乘坐公共交通等),将日常的活动轨迹分享给家人、好友,可以实现与家人、好友之间的互动。因此,如何灵活、准确地识别用户活动状态成为亟待解决的技术问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于移动终端的用户活动状态识别方法、装置及移动终端。
依据本发明的一方面,提供了一种基于移动终端的用户活动状态识别方法,包括:
读取移动终端的传感器采集的传感器数据;
从读取的所述传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;
利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别。
可选地,在利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别之后,所述方法还包括:
基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息;
利用所述辅助识别信息来调整识别出的用户活动状态的类别。
可选地,基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息,包括:判断所述移动终端上的指定通信模块是否接入相应协议类型的通信设备;若是,则获取所述移动终端上的通信模块接入的通信设备的相关信息;
利用所述辅助识别信息来调整识别出的用户活动状态的类别,包括:基于获取的所述相关信息来调整识别出的用户活动状态的类别。
可选地,基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息,包括:获取所述移动终端上的指定应用程序的业务数据;
利用所述辅助识别信息来调整识别出的用户活动状态的类别,包括:基于获取的所述业务数据来调整识别出的用户活动状态的类别。
可选地,所述方法还包括:
当发生调整识别出的用户活动状态的类别的事件时,获取调整后的用户活动状态的类别;
利用所述传感器数据中的特征向量与所述调整后的用户活动状态的类别对所述分类模型进行训练,以修正所述分类模型。
可选地,在识别出用户活动状态的类别之后,所述方法还包括:
判断本次识别是否为初次识别操作;
若是,则将本次识别出的用户活动状态的类别作为本次确定的用户活动状态的类别;
若否,则获取上一次确定的用户活动状态的类别,并基于上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别,确定本次用户活动状态是否发生切换。
可选地,基于上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别,确定本次用户活动状态是否发生切换,包括:
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别相同,则确定本次用户活动状态未发生切换;
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别不相同,则将上一次确定的用户活动状态的类别称为第一类别,本次识别出的用户活动状态的类别称为第二类别,并继续进行上述的读取、识别操作,当后续识别出的用户活动状态的类别为所述第二类别的次数超出阈值,则确定超出阈值时对应的用户活动状态发生切换。
可选地,通过以下步骤训练得到从特征向量到用户活动状态的类别的分类模型,包括:
收集移动终端上传感器采集的数据,得到数据序列;
将所述数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练从特征向量到用户活动状态的类别的分类模型。
可选地,所述传感器采集的数据包括多个方向上的数据,所述数据序列包括相应的各个方向上的数据序列。
可选地,当所述传感器包括多种类型的传感器时,所述收集移动终端上传感器采集的数据,得到数据序列,包括:
对所述多种类型的传感器进行组合,得到多组传感器,其中,各组传感器中包含一类或多类传感器;
收集移动终端上的各组传感器采集的数据,得到各组传感器中各类传感器对应的数据序列。
可选地,将所述数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练从特征向量到用户活动状态的类别的分类模型,包括:
将所述各组传感器中各类传感器对应的数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练所述各组传感器的从特征向量到用户活动状态的类别的分类模型。
可选地,所述传感器包括下列至少之一:加速度传感器、地磁传感器、陀螺仪。
可选地,将所述数据序列作为训练样本提取其中的特征向量,包括:
选取不同的时间窗口对所述数据序列进行分割处理,得到各个时间窗口对应的训练样本;
对于各个时间窗口对应的训练样本提取其中的特征向量。
可选地,选取不同的时间窗口对所述数据序列进行分割处理,得到各个时间窗口对应的训练样本,包括:
在利用各个时间窗口对所述数据序列进行分割处理时,每时间窗口生成一个子序列,子序列之间互不重叠,得到该时间窗口对应的多个子序列作为训练样本;或者
在利用各个时间窗口对所述数据序列进行分割处理时,将各个时间窗口在所述数据序列上进行滑动,每滑动指定时长生成当前时间窗口对应的子序列,得到各个时间窗口各自对应的多个子序列作为训练样本。
可选地,对于各个时间窗口对应的训练样本提取其中的特征向量,包括:
对训练样本中各个子序列提取其中的特征向量。
可选地,所述数据序列对应有用户活动状态的类别的标签,将特征向量映射到用户活动状态的类别,包括:
将所述数据序列对应的用户活动状态的类别的标签作为其特征向量的标签,从而将所述数据序列的特征向量映射到用户活动状态的类别。
可选地,所述方法还包括:
收集识别出的用户活动状态的类别和相应的时间信息,其中,所述用户活动状态的类别包括静止、步行、跑步、驾车、乘坐公共交通中的一项或多项;
基于收集的用户活动状态的类别和相应的时间信息,确定用户活动状态为静止状态的时间区间;
当到达所述时间区间时,获取用户所在的地理位置信息;
将获取的所述地理位置信息所在的地点作为用户的常停留点。
依据本发明的另一方面,还提供了一种基于移动终端的用户活动状态识别装置,包括:
读取模块,适于读取移动终端的传感器采集的传感器数据;
提取模块,适于从读取的所述传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;
识别模块,适于利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别。
可选地,所述识别模块还适于:
在利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别之后,基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息;
利用所述辅助识别信息来调整识别出的用户活动状态的类别。
可选地,所述识别模块还适于:
判断所述移动终端上的指定通信模块是否接入相应协议类型的通信设备;
若是,则获取所述移动终端上的通信模块接入的通信设备的相关信息;
基于获取的所述相关信息来调整识别出的用户活动状态的类别。
可选地,所述识别模块还适于:
获取所述移动终端上的指定应用程序的业务数据;
基于获取的所述业务数据来调整识别出的用户活动状态的类别。
可选地,所述装置还包括:
模型修正模块,适于当发生调整识别出的用户活动状态的类别的事件时,获取调整后的用户活动状态的类别;利用所述传感器数据中的特征向量与所述调整后的用户活动状态的类别对所述分类模型进行训练,以修正所述分类模型。
可选地,所述装置还包括:
状态切换确定模块,适于在所述识别模块识别出用户活动状态的类别之后,判断本次识别是否为初次识别操作;以及
若是,则将本次识别出的用户活动状态的类别作为本次确定的用户活动状态的类别;
若否,则获取上一次确定的用户活动状态的类别,并基于上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别,确定本次用户活动状态是否发生切换。
可选地,所述状态切换确定模块还适于:
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别相同,则确定本次用户活动状态未发生切换;
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别不相同,则将上一次确定的用户活动状态的类别称为第一类别,本次识别出的用户活动状态的类别称为第二类别,并继续进行上述的读取、识别操作,当后续识别出的用户活动状态的类别为所述第二类别的次数超出阈值,则确定超出阈值时对应的用户活动状态发生切换。
可选地,所述装置还包括:
分类模型建立模块,适于收集移动终端上传感器采集的数据,得到数据序列;将所述数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练从特征向量到用户活动状态的类别的分类模型。
可选地,所述传感器采集的数据包括多个方向上的数据,所述数据序列包括相应的各个方向上的数据序列。
可选地,所述分类模型建立模块还适于:
当所述传感器包括多种类型的传感器时,对所述多种类型的传感器进行组合,得到多组传感器,其中,各组传感器中包含一类或多类传感器;
收集移动终端上的各组传感器采集的数据,得到各组传感器中各类传感器对应的数据序列。
可选地,所述分类模型建立模块还适于:
将所述各组传感器中各类传感器对应的数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练所述各组传感器的从特征向量到用户活动状态的类别的分类模型。
可选地,所述传感器包括下列至少之一:加速度传感器、地磁传感器、陀螺仪。
可选地,所述分类模型建立模块还适于:
选取不同的时间窗口对所述数据序列进行分割处理,得到各个时间窗口对应的训练样本;
对于各个时间窗口对应的训练样本提取其中的特征向量。
可选地,所述分类模型建立模块还适于:
在利用各个时间窗口对所述数据序列进行分割处理时,每时间窗口生成一个子序列,子序列之间互不重叠,得到该时间窗口对应的多个子序列作为训练样本;或者
在利用各个时间窗口对所述数据序列进行分割处理时,将各个时间窗口在所述数据序列上进行滑动,每滑动指定时长生成当前时间窗口对应的子序列,得到各个时间窗口各自对应的多个子序列作为训练样本。
可选地,所述分类模型建立模块还适于:
对训练样本中各个子序列提取其中的特征向量。
可选地,所述分类模型建立模块还适于:
所述数据序列对应有用户活动状态的类别的标签,将所述数据序列对应的用户活动状态的类别的标签作为其特征向量的标签,从而将所述数据序列的特征向量映射到用户活动状态的类别。
可选地,所述装置还包括:
常停留点确定模块,适于收集识别出的用户活动状态的类别和相应的时间信息,其中,所述用户活动状态的类别包括静止、步行、跑步、驾车、乘坐公共交通中的一项或多项;基于收集的用户活动状态的类别和相应的时间信息,确定用户活动状态为静止状态的时间区间;当到达所述时间区间时,获取用户所在的地理位置信息;将获取的所述地理位置信息所在的地点作为用户的常停留点。
依据本发明的又一方面,还提供了一种移动终端,包括处理器和存储器,其中,
所述存储器用于存储执行上述的基于移动终端的用户活动状态识别方法的程序;
所述处理器被配置为用于执行所述存储器中存储的程序。
在本发明实施例中,读取移动终端的传感器采集的传感器数据,从读取的传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;进而利用分类模型识别读取的传感器数据对应的用户活动状态的类别。可以看到,本发明实施例无需额外增加硬件工具,充分利用了移动终端本身具备的传感器,读取传感器采集的传感器数据,并基于传感器数据和分类模型能够识别出使用该移动终端的用户的日常活动状态。并且,本发明实施例中传感器采集的传感器数据是实时的,因而本发明可以基于实时的传感器数据来识别用户实时的活动状态,识别结果全面且准确,能够满足用户后续的各种个性化需求。进一步地,本发明实施例在对传感器数据处理时,针对性地提取其中的特征向量,能够提高识别结果的精确度。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一实施例的基于移动终端的用户活动状态识别方法的流程示意图;
图2示出了根据本发明一实施例的分类模型的训练方法的流程示意图;
图3A示出了根据本发明一实施例的常停留点作为搜索建议词进行推荐的示意图;
图3B示出了根据本发明另一实施例的常停留点作为搜索建议词进行推荐的示意图;
图4示出了根据本发明一实施例的展示导航路线的示意图;
图5示出了根据本发明一实施例的用户个性标签的示意图;
图6示出了根据本发明一实施例的基于移动终端的用户活动状态识别装置的结构示意图;以及
图7示出了根据本发明另一实施例的基于移动终端的用户活动状态识别装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
目前,人们可以利用移动终端上的GPS(Global Positioning System,全球定位系统)来定位移动终端的位置,进而结合时间值来计算移动终端的移动速度,从而根据移动速度的大小来识别用户活动状态,例如,移动速度为零,则用户可能处于静止状态;移动速度为6公里/小时,则用户可能处于步行状态,等等。然而,这种方式需要GPS一直处于开启状态,对于移动终端来说非常耗电,续航时间短。
为解决上述技术问题,本发明实施例提供了一种基于移动终端的用户活动状态识别方法,该方法无需GPS一直处于开启状态,增加了移动终端的续航时间。图1示出了根据本发明一实施例的基于移动终端的用户活动状态识别方法的流程示意图,在图1中,该方法至少可以包括以下步骤S102至S106。
步骤S102,读取移动终端的传感器采集的传感器数据。
步骤S104,从读取的传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型。
步骤S106,利用上述分类模型识别读取的传感器数据对应的用户活动状态的类别。
在本发明实施例中,读取移动终端的传感器采集的传感器数据,从读取的传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;进而利用分类模型识别读取的传感器数据对应的用户活动状态的类别。可以看到,本发明实施例无需额外增加硬件工具,充分利用了移动终端本身具备的传感器,读取传感器采集的传感器数据,并基于传感器数据和分类模型能够识别出使用该移动终端的用户的日常活动状态。并且,本发明实施例中传感器采集的传感器数据是实时的,因而本发明可以基于实时的传感器数据来识别用户实时的活动状态,识别结果全面且准确,能够满足用户后续的各种个性化需求。进一步地,本发明实施例在对传感器数据处理时,针对性地提取其中的特征向量,能够提高识别结果的精确度。
上文步骤S102中提及的传感器可以是加速度计(accelerometer)、磁力计(magnetometer)、陀螺仪(gyroscope)等,本发明实施例不限于此。这些传感器中,加速度计测量作用于设备的三个轴方向x、y、z的加速度,包含了重力加速度,加速度计是本发明实施例用户活动状态识别最主要的传感器;地磁传感器监测三个轴方向x、y、z的磁场强度值;陀螺仪测量设备三个轴x、y、z旋转的速度。
在读取到传感器数据之后,步骤S104从读取的传感器数据中提取特征向量,由于提取的特征向量是输入分类模型中来识别用户活动状态的类别,如静止、步行、骑行、跑步、登山、驾车、坐公交、坐地铁、坐火车等等,分类模型中的特征向量与提取的特征向量是对应的,因此,本发明实施例首先介绍分类模型的训练步骤,图2示出了根据本发明一实施例的分类模型的训练方法的流程示意图,在图2中,该方法至少可以包括以下步骤S202至S204。
步骤S202,收集移动终端上传感器采集的数据,得到数据序列。
步骤S204,将数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练从特征向量到用户活动状态的类别的分类模型。
上述的步骤S202和步骤S204主要可以包括数据收集、预处理、数据分割、特征提取以及机器学习,详细介绍如下。
在数据收集步骤中,收集移动终端上传感器采集的数据,得到数据序列。即,从前面介绍的各传感器中可以获得活动期间的传感器数据序列,具体可以以恒定采样频率(如50赫兹等)来采样得到数据。并且,传感器采集的数据可以包括多个方向上的数据,这样,数据序列也可以包括相应的各个方向上的数据序列。例如,加速度计、地磁传感器、陀螺仪都有三个轴的读数,因而对于每个传感器,都会得到三个轴x、y、z的信号值序列。在数据收集过程中,本发明实施例对前述的各个类别的用户活动状态都需要收集充分的样本,同一类别的用户活动状态,也可以考虑移动终端的姿态等各种不同的情况。
在预处理步骤中,有些移动终端不一定支持所有的传感器,因此,本发明实施例从收集的数据中,提取不同传感器组合的数据。即,对多种类型的传感器进行组合,得到多组传感器,其中,各组传感器中包含一类或多类传感器;进而收集移动终端上的各组传感器采集的数据,得到各组传感器中各类传感器对应的数据序列。由于加速度计是最主要的传感器,本发明实施例选择以下三种可能的组合:(1)加速度计;(2)加速度计和地磁传感器;(3)加速度计、地磁传感器和陀螺仪,对这三种情况的数据将分别进行训练。
在数据分割步骤中,将传感器数据序列分割成子序列,每个子序列映射到一个对应的活动标签。对于加速度计、地磁传感器和陀螺仪这些以恒定采样频率采样的数据,本发明实施例将整个传感器数据序列分割为时间间隔相等的子序列。选择最佳的时间窗口大小或时间间隔是影响识别效果的关键因素之一,因此,本发明实施例分别选择1至6秒的不同间隔进行分割得到子序列,后面通过机器学习分类时,对不同尺度的数据分别进行学习,得到基于不同时间窗口大小的识别模型,然后对不同的模型评测其识别效果,以选择最佳的分割间隔。需要说明的是,这里选取的1至6秒的时间间隔仅是示意性的,并不对本发明实施例进行限制,在实际应用中,还可以选取7或8秒等时间间隔来对序列进行分割。
数据分割完毕后得到的样本集中,可以选取一部分作为后续机器学习的输入,剩下的部分作为测试集,用来评测分类模型的分类效果。
在本发明的可选实施例中,在利用各个时间窗口对数据序列进行分割处理时,每时间窗口生成一个子序列,子序列之间互不重叠,得到该时间窗口对应的多个子序列作为训练样本;或者,将各个时间窗口在数据序列上进行滑动,每滑动指定时长生成当前时间窗口对应的子序列,得到各个时间窗口各自对应的多个子序列作为训练样本。
在特征提取步骤中,对于分割后的传感器数据子序列,本发明实施例举例以下公式来计算以下特征量来得到序列的特征向量,但需要说明的是,本发明保护的技术方案并不局限以下及说明书中列的各个公式实现的方案,本领域技术人员能够想到通过合理变化、增减比例、调整系数、增加权重等方式依然可以实现本发明技术方案,而这些未穷举的方案也都在本发明保护范围内。
1)均值(mean)
对于大小为n的序列S,其均值为n个信号值相加的总和除以序列大小,计算公式如下:
Mean(S)=Sum(S)/n
2)标准差(standard deviation)
标准差是各信号值与均值离差平方的算术平均数的平方根,可以反映样本的变化度。
对于大小为n的序列x1,x2...xn,其均值为μ,标准差公式为:
3)中位数(median)
中位数为数据序列按顺序排列后位于中间位置的数。对于大小为n的序列,将该序列按升序排序,如果n为奇数,则取(n+1)/2个数为中位数;如果n为偶数,则取第n/2个数和第n/2+1个数的平均数为中位数。
4)中位数绝对偏差(median absolute deviation)
当存在异常值可能影响平均值的一些情况下,中位数绝对偏差相对标准差可以提供更好的变化度测量。将序列的各项减去序列的中位数后求绝对值,得到新序列,对于新序列求中位数,即可以得到中位数绝对偏差。
对于序列x1,x2...xn,中位数绝对偏差为:
MAD=Median(|xi-Median(X)|)
5)零交叉(zero crossing)
零交叉为信号值与中位置相交的次数,这个特征量用于区分快运动和慢运动。计算方法是遍历序列的各项值,如果中位数大于当前项且小于后一项,或者小于当前项且大于后一项,则零交叉次数加1。
6)相关性(correlation)
多分量的传感器,其各个分量之间存在相关性,如加速度计的x、y、z三个方向相互之间的相关性。不同的活动状态各分量的相关性可能存在差异。对于大小为n的序列x和y,其相关性的计算公式如下:
7)峰-峰振幅
该值表示信号的峰值到谷值之差,即数据序列的最大值与最小值之差,计算公式如下:
P2PA(S)=Max(S)-Min(S)
8)信号能量
信号能量指信号曲线与时间轴之间构成的区域的面积,对于传感器数值序列,信号能量可以表示为平方值之和:
以上介绍了本发明实施例从数据序列或子序列中主要提取的特征向量,当然本发明并不限于此。
接下来,在机器学习步骤中,本发明实施例使用监督学习方法,将特征向量映射到用户活动状态的类别,建立从特征向量到用户活动状态的类别的分类模型。这里,如前文介绍,数据序列对应有用户活动状态的类别的标签,这样在将特征向量映射到用户活动状态的类别时,可以将数据序列对应的用户活动状态的类别的标签作为其特征向量的标签,从而将数据序列的特征向量映射到用户活动状态的类别。
针对不同的传感器组合,本发明实施例将训练不同的分类模型,之后就可以利用这些分类模型,识别新的样本对应的用户活动状态的类别。
不同的监督学习算法对活动的识别效果有明显的差异,本发明实施例选取支持向量机(Support Vector Machine,SVM)作为主要的监督学习方法。SVM的目标是使预测精度最大化而又不会引起数据的过拟合,对于二元分类,SVM算法在特征空间里建立一个区域模型,将数据(特征向量)在多维空间中分隔成两个不同的类别,使分类边界离最近的数据点的距离尽量远。对活动进行分类属于多类别问题,多类别问题可以分解为多个二元分类问题,本发明实施例选择一对一方法,即最大赢选举法(maximum-wins voting)来处理活动分类问题,对每对不同的活动类别,训练一个SVM模型,最终得到K(K-1)/2个SVM分类器,对新样本分类时,每个分类器将得出一个分类,记录每个类别的得票数,得票最多的分类胜出,即确定为新样本对应的用户活动状态的类别。
需要说明的是,此处列举的机器学习SVM算法仅是示意性的,本发明实施例还可以使用决策树、人工神经网络、朴素贝叶斯等算法来实现分类,并且还可以对比评估不同学习算法的效果,从而选择合适的学习算法。具体地,利用测试样本集可以实现学习效果的评测,本发明实施例选择召回率、准确率、F-Score作为评测指标,通过不断调整训练样本、特征向量等相关参数以达到更佳的标准,优化识别效果。
在训练得到分类模型之后,接下来就可以利用分类模型来识别用户活动状态的类别。即,在步骤S102中读取移动终端的传感器采集的传感器数据,在步骤S104中从读取的传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型,在步骤S106中利用上述分类模型识别读取的传感器数据对应的用户活动状态的类别。这里,在读取传感器数据时,可以以固定时间间隔生成样本,有以下两种生成样本的方式:
第一,假设样本所需持续时间为5秒,每5秒生成一个样本,样本之间互相不重叠;
第二,假设样本所需持续时间为5秒,每1秒生成一个样本,取之前5秒内的数据,样本之间会相互重叠。
在提取特征向量时,提取的特征向量与训练时相同,即,可以利用上文特征提取步骤中提及的方法计算数据序列或子序列的均值、标准差、中位数、中位数绝对偏差、零交叉、相关性、峰-峰振幅、信号能量,将这些特征值作为序列的特征向量。接下来,根据移动终端支持的传感器,选择合适的分类模型,使得训练好的分类模型对样本进行分类,识别出读取的传感器数据对应的用户活动状态的类别。
在本发明的可选实施例中,为了进一步提高识别的准确率,在步骤S106利用上述分类模型识别读取的传感器数据对应的用户活动状态的类别之后,还可以基于移动终端获取用于识别用户活动状态的类别的辅助识别信息,进而利用辅助识别信息来调整识别出的用户活动状态的类别。也就是说,将利用分类模型识别用户活动状态的类别称为初步识别,可以利用辅助识别信息来调整初步识别的识别结果。
在利用辅助识别信息来调整识别出的用户活动状态的类别时,本发明实施例可以判断移动终端上的指定通信模块(如蓝牙、WIFI、ZigBee等,本发明实施例不限于此)是否接入相应协议类型的通信设备;若是,则获取移动终端上的通信模块接入的通信设备的相关信息,进而基于获取的相关信息来调整识别出的用户活动状态的类别。下面通过几个实例来详细介绍。
情况一,蓝牙连接状态
本发明实施例可以获取蓝牙连接状态及连接的蓝牙设备类型,查看连接的蓝牙设备类型可以识别车载蓝牙设备,当确认移动终端连接了车载蓝牙设备,且初步识别的用户活动状态为驾车或与驾车接近的状态,则可以确认或纠正为驾车状态。
情况二,周边蓝牙设备
通过蓝牙扫描可以得到周边的蓝牙设备列表,分析其中的设备类型及数量,统计发现驾车时扫描到的蓝牙设备数量通过不会太多。因此,可以设定数量阈值,如果该数量超过了数量阈值且无车载蓝牙设备,而初步识别为驾车,则认为是误识别。
情况三,GPS
通过GPS可以获得当前的位置及移动速度,通过设定速度阈值,可以确认是否在行驶的车辆上。由于GPS长时间使用功耗较高,因此,本发明实施例仅在用户活动状态可能发生切换,进行确认时才使用GPS辅助判断。
情况四,WIFI
目前,许多公交车上都会安装WIFI,这些WIFI通常都有较明显的特征(如名称等),通过数据收集与分析可以提取这些特征,如果移动终端连接了WIFI,通过判断当前连接的WIFI的特征,可以辅助判断是否在公交车上。
情况五,历史状态
历史状态用于状态切换,在判断是否可以切换到新的状态时,需要考察历史状态,确认新的状态是否已经持续了指定时长,若是,则确认切换到新的状态;若否,则不认为切换到新的状态。
在利用辅助识别信息来调整识别出的用户活动状态的类别时,本发明实施例还可以获取移动终端上的指定应用程序的业务数据,进而基于获取的业务数据来调整识别出的用户活动状态的类别。例如,用户开启指定应用程序,利用指定应用程序打开自行车车锁,然后进入骑行状态,该指定应用程序从开锁到关锁一直会记录用户的骑行时间,本发明实施例从指定应用程序获取到这些业务数据时,则确认用户活动状态为骑行状态。又例如,用户开启刷公共交通卡功能,刷卡之后,该公共交通卡功能会记录用户乘坐公共交通的时间或站点,本发明实施例从公共交通卡功能处获取到这些业务数据时,则确认用户活动状态为乘坐公共交通状态。
在本发明的可选实施例中,当发生调整识别出的用户活动状态的类别的事件时,获取调整后的用户活动状态的类别,进而利用传感器数据中的特征向量与调整后的用户活动状态的类别对分类模型进行训练,以修正分类模型。
在本发明的可选实施例中,还可以确定用户活动状态是否发生切换。具体地,在识别出用户活动状态的类别之后,可以判断本次识别是否为初次识别操作;若是,则将本次识别出的用户活动状态的类别作为本次确定的用户活动状态的类别;若否,则获取上一次确定的用户活动状态的类别,并基于上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别,确定本次用户活动状态是否发生切换。
进一步地,若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别相同,则确定本次用户活动状态未发生切换;若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别不相同,则将上一次确定的用户活动状态的类别称为第一类别,本次识别出的用户活动状态的类别称为第二类别,并继续进行上述的读取、识别操作,当后续识别出的用户活动状态的类别为第二类别的次数超出阈值,则确定超出阈值时对应的用户活动状态发生切换。
举例来说,通过上文步骤S102至步骤S106识别出用户活动状态的类别为静止状态,为了确定用户活动状态是否发生切换,首先判断本次识别是否为初次识别操作,若是,则将本次识别出的用户活动状态的类别作为本次确定的用户活动状态的类别;若否,则获取到上一次确定的用户活动状态的类别为步行,此时不会立即确定用户活动状态切换为静止状态,而是继续通过步骤S102至步骤S106识别出用户活动状态的类别,若通过多次识别用户活动状态的类别为静止,则确定用户活动状态切换为静止状态。
在本发明的可选实施例中,当确定用户活动状态为第一活动状态后,从移动终端的传感器处读取当前的传感器数据,并基于当前的传感器数据识别出用户活动状态为第二活动状态;若第二活动状态与第一活动状态不相同、且用户活动状态为第二活动状态的持续时长大于第一指定时间阈值,则确定用户活动状态从第一活动状态切换为第二活动状态。这里的第一指定时间阈值可以基于第一活动状态和第二活动状态来确定。
若第二活动状态与第一活动状态不相同、且用户活动状态为第二活动状态的持续时长小于第一指定时间阈值,则继续从移动终端的传感器处读取当前的传感器数据,并基于当前的传感器数据识别出用户活动状态为第三活动状态。若第三活动状态与第一活动状态、第二活动状态不相同,并且用户活动状态为第三活动状态的持续时长大于第二指定时间阈值,则确定用户活动状态从第一活动状态切换为第三活动状态。这里的第二指定时间阈值可以基于第一活动状态和第三活动状态来确定,也可以基于第一活动状态、第二活动状态以及第三活动状态来确定。
通过上面介绍可以看到,本发明实施例在状态发生变化时,进入新的状态前,需要一段时间进行确认,以确保状态的准确性,以下是状态切换时的基本策略。
首先是初始状态。在初次识别之前,由于还无法确定状态,可以将状态设为未知。
其次是状态进入。无论原先是未知状态或其它已识别的状态,进入新的状态都需要持续一段时间的稳定状态,才确认切换到新的状态。
再次是状态退出。通常有三种情况会退出原来的状态:
a.进入新的状态;
b.未确认进入新状态,但已经连续有一段时间识别的状态不符合旧的状态。对于简单的状态,这个时间相对较短(如30秒);对于复杂的状态(如驾车、公交等),这些状态持续期间通常会包含其它状态,如等红绿灯时静止,因此只有持续较长时间(如5分钟)未识别为原来的状态才退出;
c.系统或应用退出。
最后是状态维持。进入新的状态之后,将一直维持该状态,直到满足退出条件。
接下来针对各种状态,详细描述其切换条件。
1)关于静止状态
从未知、步行、跑步等状态到静止状态,只需要静止状态持续稳定一段时间(如5-15秒),即可确认切换到静止状态。
从驾车状态到静止状态,为避免等红绿灯这类情况下状态变化,需要静止的稳定持续时间更长(如超过2分钟)才会切换状态。
从坐公交状态到静止状态,通常不应该从坐公交状态直接切换到静止状态,为避免异常情况,设置一个较长的确认时间即可(如5分钟以上)。
2)关于步行、跑步状态
从未知、静止等状态到步行或跑步状态,只需步行或跑步状态持续稳定一段时间(如5-15秒),即可确认切换到新状态。
步行和跑步之间的切换,为避免像快走和慢跑等这类很接近的状态导致状态来回变化,步行与跑步之间的状态切换需要的确认时间更长(如15-30秒)。
从驾车状态到步行、跑步状态,因驾车状态较为复杂,而且驾车过程中经过颠簸道路时,有可能误识别为步行等其它状态,因此从驾车状态切换到步行或跑步状态,需要确保新状态稳定持续了较长时间(如30秒以上)。在驾车和步行之间通常存在停车静止状态(时间较短未切换到静止),如果步行状态之前存在静止状态,可适当降低确认时间。为了确保准确性,还可以利用GPS确认当前速度没有超过步行的速度。
从坐公交状态到步行、跑步状态,乘坐公交时,因可能在车厢内走动,还可能站立,因此进入步行、跑步状态需要确保新状态持续较长时间(如30秒以上)。为了确保准确性,还可以利用GPS确认当前速度没有超过步行的速度。
3)关于驾车状态
从未知、静止状态到驾车状态,需要驾驶状态稳定持续较长的时间(如30秒以上),且在确认期间开启GPS获取当前速度,如果连续一段时间(如15秒内)速度太低(如小于10千米每小时)或无GPS信号,则不进入驾车状态。
从步行、跑步状态到驾车状态,进入的条件类似从未知或静止进入驾车,但相比上一种情况,从步行或跑步到驾车状态之间,刚进入车内还未开动时,通常会有一段时间的静止状态(时间太短未切换到静止),因此需额外再增加驾车状态前的静止状态判断,如不存在静止状态,需要适当增加确认时间。
从坐公交到驾车状态,通常不允许从坐公交状态直接切换为驾车状态。
4)坐公交、地铁
坐公交相比驾车是更复杂的状态,因其状态相对更不稳定,比如乘客可坐可站,也可能频繁操作移动终端等,因此仅仅通过初步识别的状态结合WIFI、GPS等,还不足以准确识别,需要进一步结合公交站点及线路数据来进行判断。
具体地,在本发明的可选实施例中,当基于移动终端的传感器数据识别出用户活动状态为预设状态时,获取移动终端用户所在的第一位置信息;随后,将第一位置信息与公共交通站点和线路数据进行匹配,若匹配上,则在指定时长后获取移动终端用户所在的第二位置信息和移动速度;之后,将第二位置信息与公共交通站点和线路数据进行匹配,若匹配上,且移动速度符合预设条件,则确定用户活动状态为乘坐公共交通状态。
在确定上述的指定时长时,若第一位置信息匹配上公共交通站点,则基于匹配上的公共交通站点的类型确定指定时长,其中,公共交通站点的类型包括起始站点、中间站点以及结束站点中任意之一;若第一位置信息匹配上公共交通线路,则基于匹配上的公共交通线路的相关信息确定指定时长,其中,公共交通线路的相关信息包括红绿灯情况和/或实时路况。
从未知、步行、跑步状态到乘坐公共交通状态,上车时通常会识别为步行,因此从步行状态切换为乘坐公共交通是进入乘坐公共交通状态比较普遍的方式。在确认是否进入乘坐公共交通状态期间,本发明实施例开启移动终端上的GPS,通过开启的GPS获取移动终端用户所在的第一位置信息。接着,将第一位置信息与公共交通站点和线路数据进行匹配,判断当前是否在公共交通站点或其附近,或者是否沿公共交通线路行驶,若匹配上,则在指定时长后获取移动终端用户所在的第二位置信息和移动速度,若匹配上,且移动速度符合预设条件,则确定用户活动状态为乘坐公共交通状态。
从静止到乘坐公共交通状态,通过定位位置结合公共交通站点和线路数据,判断当前是否在公共交通站点附近及站点是否为始发站,如果不是从始发站上车,通常不会存在静止状态,即便存在,也可能持续时间很短,因此设定阈值,静止时间超过阈值则不认为是乘坐公共交通状态;如果是始发站,则该阈值可以设为较长的时间,同时还需要判断静止之前的历史状态,需存在步行状态才可以识别为乘坐公共交通状态。
在确定用户活动状态是否发生切换时,本发明实施例还可以基于移动终端的状态变化来确定。具体地,当移动终端的状态发生变化时,获取移动终端上的用于识别用户活动状态的相关数据,并基于获取的相关数据识别用户活动状态为待定活动状态;接着,判断在待定活动状态之前是否存在已确定的第一活动状态;若存在,则基于待定活动状态与第一活动状态,确定用户的第二活动状态。这里,移动终端的状态发生变化可以是多种情况,例如,从移动终端的传感器处读取传感器数据,若读取的传感器数据的振幅变化大于幅度阈值,则确定移动终端的状态发生变化;又例如,当监测到移动终端上的指定通信模块接入相应协议类型的通信设备,则确定移动终端的状态发生变化,等等,本发明实施例不限于此。
进一步,在基于待定活动状态与第一活动状态确定用户的第二活动状态时,若用户活动状态为待定活动状态的持续时长大于时间阈值,则将待定活动状态确定为用户的第二活动状态。若用户活动状态为待定活动状态的持续时长小于时间阈值,则继续监测移动终端的状态是否发生变化。
举例来说,若从移动终端的传感器处读取传感器数据,若读取的传感器数据的振幅变化大于幅度阈值,此时移动终端的状态发生变化,则获取移动终端上的用于识别用户活动状态的相关数据,并基于获取的相关数据识别用户活动状态为待定活动状态,具体为静止状态。若在静止状态之前存在已确定的第一活动状态,具体为步行状态。如果用户活动状态为静止状态的持续时长大于时间阈值(如15秒),则确定用户的第二活动状态为静止状态。如果用户活动状态为静止状态的持续时长小于15秒,则继续监测移动终端的状态是否发生变化。若监测到移动终端上的指定通信模块接入相应协议类型的通信设备,此时移动终端的状态发生变化,则基于接入的通信设备的相关信息识别出用户活动状态为待定活动状态,具体为驾车状态。如果用户活动状态为驾车状态的持续时长大于时间阈值(如30秒),则确定用户的第二活动状态为驾车状态。如果用户活动状态为驾车状态的持续时长小于30秒,则继续监测移动终端的状态是否发生变化,以此类推。
通过以上方式识别用户活动状态的类别之后,本发明实施例还可以基于这些识别出的用户活动状态的类别进行各种功能、信息或服务的推荐,以满足用户个性化的需求,下面将分别进行详细介绍。
1)常停留点的确定
在本发明实施例中,可以收集识别出的用户活动状态的类别和相应的时间信息,其中,用户活动状态的类别可以包括静止、步行、跑步、驾车、乘坐公共交通等,本发明不限于此;进而,基于收集的用户活动状态的类别和相应的时间信息,确定用户活动状态为静止状态的时间区间;之后,当到达该时间区间时,获取用户所在的地理位置信息;最后,将获取的地理位置信息所在的地点作为用户的常停留点。
在确定了用户的常停留点之后,本发明实施例可以在搜索框中将这些常停留点作为搜索建议词进行推荐,如图3A和3B所示。在图3A中,“输入地点”所在位置为搜索框,“搜索发现”部分为推荐的常停留点,当光标置于“输入地点”时,用户点击“北京邮电大学”,则将“北京邮电大学”复制到搜索框中,再点击“搜索”按钮就可以进行相关搜索。
在图3B中,“我的位置”和“输入终点”所在位置均为输入框,“搜索发现”部分为推荐的常停留点,当光标置于“输入终点”时,用户点击“小月河”,则将“小月河”复制到输入框中,发起路线搜索。
在本发明的可选实施例中,还可以定时或不定时地向用户推荐与这些常停留点相关的推荐信息,如商家信息、实时新闻等。
2)调起与用户活动状态相关的功能或服务
在本发明的可选实施例中,在确定用户活动状态从第一活动状态切换为第二活动状态之后,可以向移动终端用户推荐与第二活动状态相关的信息,也可以调起移动终端上与第二活动状态相关的功能。举例来说,当第二活动状态为驾车状态时,可以调起移动终端上的地图导航功能,也可以调起移动终端上的语音交互驾驶模式,等等。
具体地,当第二活动状态为驾车状态时,在用户交互上,可以直接点亮移动终端的屏幕,显示地图导航功能,并展示导航路线,如图4所示。在图4中,三角形所在位置为用户驾车的起始位置,当确定用户处于驾车状态时,直接点亮移动终端的屏幕,显示图4所示的导航路线。
当第二活动状态为驾车状态时,在调起移动终端上的语音交互驾驶模式时,可以启动移动终端的操作系统控制功能,利用操作系统控制功能将移动终端的操作系统以及其上运行的各应用调整为语音交互驾驶模式,这里的语音交互驾驶模式是指应用能够接收用户的语音指令并执行。
当第二活动状态为驾车状态时,在调起移动终端上的语音交互驾驶模式时,还可以启动移动终端的操作系统控制功能,利用操作系统控制功能开启移动终端上的具有将各应用调整为语音交互驾驶模式的应用程序,由该应用程序启动语音交互驾驶模式。
3)提供与用户活动状态相关的地图内容
识别出的用户活动状态如静止、步行、骑行、跑步、登山、驾车、坐公交、坐地铁、坐火车等等,本发明实施例可以针对不同的用户活动状态提供相应的地图内容。例如,当用户活动状态为步行状态时,可以突出显示包含购物、餐饮、卫生间等信息的地图内容;当用户活动状态为坐公交状态时,可以突出显示包含公交路线和站点等信息的地图内容;当用户活动状态为驾车状态时,可以突出显示包含加油站、维修站、停车场等信息的地图内容,等等。
4)与用户活动状态相关的个性标签
根据识别出的用户活动状态,可以确定用户的个性标签,如购物狂、美食、电影、旅游、读书、爱狗、运动等,如图5所示,并给用户进行个性化的信息推荐。
以上内容示意性地介绍了本发明实施例基于这些识别出的用户活动状态的类别进行各种功能、信息或服务的推荐,当然并不限于上述内容,例如用户活动状态为驾车状态且速度为零时,可以认为用户处于等待红绿灯或路况拥堵状态,此时可以向用户推荐前方路况信息或实时新闻等。
需要说明的是,实际应用中,上述所有可选实施方式可以采用结合的方式任意组合,形成本发明的可选实施例,在此不再一一赘述。
基于上文各个实施例提供的基于移动终端的用户活动状态识别方法,基于同一发明构思,本发明实施例还提供了一种基于移动终端的用户活动状态识别装置。图6示出了根据本发明一实施例的基于移动终端的用户活动状态识别装置的结构示意图。如图6所示,该装置至少可以包括读取模块610、提取模块620以及识别模块630。
现介绍本发明实施例的基于移动终端的用户活动状态识别装置的各组成或器件的功能以及各部分间的连接关系:
读取模块610,适于读取移动终端的传感器采集的传感器数据;
提取模块620,与读取模块610相耦合,适于从读取的所述传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;
识别模块630,与提取模块620相耦合,适于利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别。
在本发明一实施例中,所述识别模块630还适于:
在利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别之后,基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息;
利用所述辅助识别信息来调整识别出的用户活动状态的类别。
在本发明一实施例中,所述识别模块630还适于:
判断所述移动终端上的指定通信模块是否接入相应协议类型的通信设备;
若是,则获取所述移动终端上的通信模块接入的通信设备的相关信息;
基于获取的所述相关信息来调整识别出的用户活动状态的类别。
在本发明一实施例中,所述识别模块630还适于:
获取所述移动终端上的指定应用程序的业务数据;
基于获取的所述业务数据来调整识别出的用户活动状态的类别。
在本发明一实施例中,如图7所示,上文图6展示的装置还可以包括:
模型修正模块710,与识别模块630相耦合,适于当发生调整识别出的用户活动状态的类别的事件时,获取调整后的用户活动状态的类别;利用所述传感器数据中的特征向量与所述调整后的用户活动状态的类别对所述分类模型进行训练,以修正所述分类模型。
在本发明一实施例中,如图7所示,上文图6展示的装置还可以包括:
状态切换确定模块720,与识别模块630相耦合,适于在所述识别模块630识别出用户活动状态的类别之后,判断本次识别是否为初次识别操作;以及
若是,则将本次识别出的用户活动状态的类别作为本次确定的用户活动状态的类别;
若否,则获取上一次确定的用户活动状态的类别,并基于上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别,确定本次用户活动状态是否发生切换。
在本发明一实施例中,所述状态切换确定模块720还适于:
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别相同,则确定本次用户活动状态未发生切换;
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别不相同,则将上一次确定的用户活动状态的类别称为第一类别,本次识别出的用户活动状态的类别称为第二类别,并继续进行上述的读取、识别操作,当后续识别出的用户活动状态的类别为所述第二类别的次数超出阈值,则确定超出阈值时对应的用户活动状态发生切换。
在本发明一实施例中,如图7所示,上文图6展示的装置还可以包括:
分类模型建立模块730,与提取模块620相耦合,适于收集移动终端上传感器采集的数据,得到数据序列;将所述数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练从特征向量到用户活动状态的类别的分类模型。
在本发明一实施例中,所述传感器采集的数据包括多个方向上的数据,所述数据序列包括相应的各个方向上的数据序列。
在本发明一实施例中,所述分类模型建立模块730还适于:
当所述传感器包括多种类型的传感器时,对所述多种类型的传感器进行组合,得到多组传感器,其中,各组传感器中包含一类或多类传感器;
收集移动终端上的各组传感器采集的数据,得到各组传感器中各类传感器对应的数据序列。
在本发明一实施例中,所述分类模型建立模块730还适于:
将所述各组传感器中各类传感器对应的数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练所述各组传感器的从特征向量到用户活动状态的类别的分类模型。
在本发明一实施例中,所述分类模型建立模块730还适于:
选取不同的时间窗口对所述数据序列进行分割处理,得到各个时间窗口对应的训练样本;
对于各个时间窗口对应的训练样本提取其中的特征向量。
在本发明一实施例中,所述分类模型建立模块730还适于:
在利用各个时间窗口对所述数据序列进行分割处理时,每时间窗口生成一个子序列,子序列之间互不重叠,得到该时间窗口对应的多个子序列作为训练样本;或者
在利用各个时间窗口对所述数据序列进行分割处理时,将各个时间窗口在所述数据序列上进行滑动,每滑动指定时长生成当前时间窗口对应的子序列,得到各个时间窗口各自对应的多个子序列作为训练样本。
在本发明一实施例中,所述分类模型建立模块730还适于:
对训练样本中各个子序列提取其中的特征向量。
在本发明一实施例中,所述分类模型建立模块730还适于:
所述数据序列对应有用户活动状态的类别的标签,将所述数据序列对应的用户活动状态的类别的标签作为其特征向量的标签,从而将所述数据序列的特征向量映射到用户活动状态的类别。
在本发明一实施例中,如图7所示,上文图6展示的装置还可以包括:
常停留点确定模块740,与识别模块630、状态切换确定模块720相耦合,适于收集识别出的用户活动状态的类别和相应的时间信息,其中,所述用户活动状态的类别包括静止、步行、跑步、驾车、乘坐公共交通中的一项或多项;基于收集的用户活动状态的类别和相应的时间信息,确定用户活动状态为静止状态的时间区间;当到达所述时间区间时,获取用户所在的地理位置信息;将获取的所述地理位置信息所在的地点作为用户的常停留点。
本发明实施例还提供了一种移动终端,包括处理器和存储器,其中,
所述存储器用于存储执行上述的基于移动终端的用户活动状态识别方法的程序;
所述处理器被配置为用于执行所述存储器中存储的程序。
根据上述任意一个可选实施例或多个可选实施例的组合,本发明实施例能够达到如下有益效果:
在本发明实施例中,读取移动终端的传感器采集的传感器数据,从读取的传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;进而利用分类模型识别读取的传感器数据对应的用户活动状态的类别。可以看到,本发明实施例无需额外增加硬件工具,充分利用了移动终端本身具备的传感器,读取传感器采集的传感器数据,并基于传感器数据和分类模型能够识别出使用该移动终端的用户的日常活动状态。并且,本发明实施例中传感器采集的传感器数据是实时的,因而本发明可以基于实时的传感器数据来识别用户实时的活动状态,识别结果全面且准确,能够满足用户后续的各种个性化需求。进一步地,本发明实施例在对传感器数据处理时,针对性地提取其中的特征向量,能够提高识别结果的精确度。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于移动终端的用户活动状态识别装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (10)
1.一种基于移动终端的用户活动状态识别方法,包括:
读取移动终端的传感器采集的传感器数据;
从读取的所述传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;
利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别。
2.根据权利要求1所述的方法,其中,在利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别之后,所述方法还包括:
基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息;
利用所述辅助识别信息来调整识别出的用户活动状态的类别。
3.根据权利要求1-2中任一项所述的方法,其中,
基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息,包括:判断所述移动终端上的指定通信模块是否接入相应协议类型的通信设备;若是,则获取所述移动终端上的通信模块接入的通信设备的相关信息;
利用所述辅助识别信息来调整识别出的用户活动状态的类别,包括:基于获取的所述相关信息来调整识别出的用户活动状态的类别。
4.根据权利要求1-3中任一项所述的方法,其中,
基于所述移动终端获取用于识别用户活动状态的类别的辅助识别信息,包括:获取所述移动终端上的指定应用程序的业务数据;
利用所述辅助识别信息来调整识别出的用户活动状态的类别,包括:基于获取的所述业务数据来调整识别出的用户活动状态的类别。
5.根据权利要求1-4中任一项所述的方法,其中,所述方法还包括:
当发生调整识别出的用户活动状态的类别的事件时,获取调整后的用户活动状态的类别;
利用所述传感器数据中的特征向量与所述调整后的用户活动状态的类别对所述分类模型进行训练,以修正所述分类模型。
6.根据权利要求1-5中任一项所述的方法,其中,在识别出用户活动状态的类别之后,所述方法还包括:
判断本次识别是否为初次识别操作;
若是,则将本次识别出的用户活动状态的类别作为本次确定的用户活动状态的类别;
若否,则获取上一次确定的用户活动状态的类别,并基于上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别,确定本次用户活动状态是否发生切换。
7.根据权利要求1-6中任一项所述的方法,其中,基于上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别,确定本次用户活动状态是否发生切换,包括:
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别相同,则确定本次用户活动状态未发生切换;
若上一次确定的用户活动状态的类别与本次识别出的用户活动状态的类别不相同,则将上一次确定的用户活动状态的类别称为第一类别,本次识别出的用户活动状态的类别称为第二类别,并继续进行上述的读取、识别操作,当后续识别出的用户活动状态的类别为所述第二类别的次数超出阈值,则确定超出阈值时对应的用户活动状态发生切换。
8.根据权利要求1-7中任一项所述的方法,其中,通过以下步骤训练得到从特征向量到用户活动状态的类别的分类模型,包括:
收集移动终端上传感器采集的数据,得到数据序列;
将所述数据序列作为训练样本提取其中的特征向量,将特征向量映射到用户活动状态的类别,使用机器学习算法训练从特征向量到用户活动状态的类别的分类模型。
9.一种基于移动终端的用户活动状态识别装置,包括:
读取模块,适于读取移动终端的传感器采集的传感器数据;
提取模块,适于从读取的所述传感器数据中提取特征向量,并输入从特征向量到用户活动状态的类别的分类模型;
识别模块,适于利用所述分类模型识别读取的所述传感器数据对应的用户活动状态的类别。
10.一种移动终端,包括处理器和存储器,其中,
所述存储器用于存储执行权利要求1至8中任一项所述的基于移动终端的用户活动状态识别方法的程序;
所述处理器被配置为用于执行所述存储器中存储的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710527097.5A CN107396306A (zh) | 2017-06-30 | 2017-06-30 | 基于移动终端的用户活动状态识别方法、装置及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710527097.5A CN107396306A (zh) | 2017-06-30 | 2017-06-30 | 基于移动终端的用户活动状态识别方法、装置及移动终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107396306A true CN107396306A (zh) | 2017-11-24 |
Family
ID=60335017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710527097.5A Pending CN107396306A (zh) | 2017-06-30 | 2017-06-30 | 基于移动终端的用户活动状态识别方法、装置及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107396306A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965609A (zh) * | 2018-08-31 | 2018-12-07 | 南京宽塔信息技术有限公司 | 移动终端应用场景的识别方法和装置 |
CN109447324A (zh) * | 2018-09-30 | 2019-03-08 | 深圳个人数据管理服务有限公司 | 行为活动预测方法、装置、设备及情绪预测方法 |
CN110009869A (zh) * | 2019-04-01 | 2019-07-12 | 珠海格力电器股份有限公司 | 活动信息的监控方法、装置和系统 |
CN110428016A (zh) * | 2019-08-08 | 2019-11-08 | 中国联合网络通信集团有限公司 | 特征向量生成方法和系统、用户识别模型生成方法和系统 |
CN111736196A (zh) * | 2019-06-14 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 一种满足应用定位需求的方法及用户设备 |
US10976173B2 (en) | 2017-07-14 | 2021-04-13 | Allstate Insurance Company | Distributed data processing systems for processing remotely captured sensor data |
CN113569590A (zh) * | 2020-04-28 | 2021-10-29 | 三赢科技(深圳)有限公司 | 扫描装置及其扫描方法 |
CN115348198A (zh) * | 2022-10-19 | 2022-11-15 | 中国电子科技集团公司第三十研究所 | 基于特征检索的未知加密协议识别分类方法、设备及介质 |
WO2023130934A1 (zh) * | 2022-01-05 | 2023-07-13 | 荣耀终端有限公司 | 乘车工具识别方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102036163A (zh) * | 2009-10-02 | 2011-04-27 | 索尼公司 | 行为模式分析系统、移动终端、行为模式分析方法和程序 |
CN102682041A (zh) * | 2011-03-18 | 2012-09-19 | 日电(中国)有限公司 | 用户行为识别设备及方法 |
CN104680046A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 一种用户活动识别方法及装置 |
CN106096662A (zh) * | 2016-06-24 | 2016-11-09 | 深圳市颐通科技有限公司 | 基于加速度传感器的人体运动状态识别 |
CN106157657A (zh) * | 2015-04-14 | 2016-11-23 | 香港生产力促进局 | 一种移动用户的运动状态识别系统及其方法 |
CN106295675A (zh) * | 2016-07-25 | 2017-01-04 | 南京邮电大学 | 一种高准确性的基于智能手机的行为识别方法 |
CN106778652A (zh) * | 2016-12-26 | 2017-05-31 | 东软集团股份有限公司 | 人体活动识别方法及装置 |
-
2017
- 2017-06-30 CN CN201710527097.5A patent/CN107396306A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102036163A (zh) * | 2009-10-02 | 2011-04-27 | 索尼公司 | 行为模式分析系统、移动终端、行为模式分析方法和程序 |
CN102682041A (zh) * | 2011-03-18 | 2012-09-19 | 日电(中国)有限公司 | 用户行为识别设备及方法 |
CN104680046A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 一种用户活动识别方法及装置 |
CN106157657A (zh) * | 2015-04-14 | 2016-11-23 | 香港生产力促进局 | 一种移动用户的运动状态识别系统及其方法 |
CN106096662A (zh) * | 2016-06-24 | 2016-11-09 | 深圳市颐通科技有限公司 | 基于加速度传感器的人体运动状态识别 |
CN106295675A (zh) * | 2016-07-25 | 2017-01-04 | 南京邮电大学 | 一种高准确性的基于智能手机的行为识别方法 |
CN106778652A (zh) * | 2016-12-26 | 2017-05-31 | 东软集团股份有限公司 | 人体活动识别方法及装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11187550B2 (en) | 2017-07-14 | 2021-11-30 | Allstate Insurance Company | Distributed data processing systems for processing remotely captured sensor data |
US10976173B2 (en) | 2017-07-14 | 2021-04-13 | Allstate Insurance Company | Distributed data processing systems for processing remotely captured sensor data |
US11015946B2 (en) | 2017-07-14 | 2021-05-25 | Allstate Insurance Company | Distributed data processing systems for processing remotely captured sensor data |
US11067408B2 (en) | 2017-07-14 | 2021-07-20 | Allstate Insurance Company | Distributed data processing systems for processing remotely captured sensor data |
US11067409B2 (en) * | 2017-07-14 | 2021-07-20 | Allstate Insurance Company | Distributed data processing systems for processing remotely captured sensor data |
US11933624B2 (en) | 2017-07-14 | 2024-03-19 | Allstate Insurance Company | Distributed data processing systems for processing remotely captured sensor data |
CN108965609A (zh) * | 2018-08-31 | 2018-12-07 | 南京宽塔信息技术有限公司 | 移动终端应用场景的识别方法和装置 |
CN109447324A (zh) * | 2018-09-30 | 2019-03-08 | 深圳个人数据管理服务有限公司 | 行为活动预测方法、装置、设备及情绪预测方法 |
CN110009869A (zh) * | 2019-04-01 | 2019-07-12 | 珠海格力电器股份有限公司 | 活动信息的监控方法、装置和系统 |
CN111736196A (zh) * | 2019-06-14 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 一种满足应用定位需求的方法及用户设备 |
CN110428016A (zh) * | 2019-08-08 | 2019-11-08 | 中国联合网络通信集团有限公司 | 特征向量生成方法和系统、用户识别模型生成方法和系统 |
CN113569590A (zh) * | 2020-04-28 | 2021-10-29 | 三赢科技(深圳)有限公司 | 扫描装置及其扫描方法 |
WO2023130934A1 (zh) * | 2022-01-05 | 2023-07-13 | 荣耀终端有限公司 | 乘车工具识别方法及装置 |
CN115348198A (zh) * | 2022-10-19 | 2022-11-15 | 中国电子科技集团公司第三十研究所 | 基于特征检索的未知加密协议识别分类方法、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107396306A (zh) | 基于移动终端的用户活动状态识别方法、装置及移动终端 | |
CN107391603A (zh) | 用于移动终端的用户画像建立方法及装置 | |
AU2019101806A4 (en) | Methods and systems for providing information for an on-demand service | |
CN107402397A (zh) | 基于移动终端的用户活动状态确定方法、装置及移动终端 | |
AU2018270758B2 (en) | Using telematics data to identify a type of a trip | |
CN107172590A (zh) | 基于移动终端的活动状态信息处理方法、装置及移动终端 | |
Li et al. | Prediction of urban human mobility using large-scale taxi traces and its applications | |
CN107391605A (zh) | 基于地理位置的信息推送方法、装置及移动终端 | |
CN104737523B (zh) | 通过指派用于数据群集的情境标签来管理移动装置中的情境模型 | |
CN107241697A (zh) | 用于移动终端的用户行为确定方法、装置及移动终端 | |
CN109429506A (zh) | 用于路线规划的系统和方法 | |
KR20180006871A (ko) | 주문들을 분배하기 위한 방법들 및 시스템들 | |
CN107391604A (zh) | 基于活动状态的地图样式显示方法、装置及移动终端 | |
CN107277154A (zh) | 信息推送方法、装置及移动终端 | |
CN109154509A (zh) | 在路线规划中使用路线偏好而提高的用户效率 | |
US20190066250A1 (en) | A system and apparatus for ridesharing | |
CN107315519A (zh) | 驾驶状态下的os切换方法、装置及移动终端 | |
CN107341226A (zh) | 信息展示方法、装置及移动终端 | |
CN107368553A (zh) | 基于活动状态提供搜索建议词的方法及装置 | |
CN116757348A (zh) | 一种基于人工智能的出行信息智能规划管理系统及方法 | |
CN107368850A (zh) | 基于移动终端的用户活动状态切换方法、装置及移动终端 | |
CN107317934A (zh) | 基于移动终端的用户活动状态确定方法、装置及移动终端 | |
WO2018181430A1 (ja) | 経路探索装置及びコンピュータプログラム | |
CN107146445A (zh) | 移动终端路况信息提示方法、装置及移动终端 | |
CN115092157A (zh) | 车辆行程点的确定方法、装置及目标车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171124 |