CN109032342B - 一种融合运动、生理和位置传感数据的复杂活动识别方法 - Google Patents

一种融合运动、生理和位置传感数据的复杂活动识别方法 Download PDF

Info

Publication number
CN109032342B
CN109032342B CN201810708770.XA CN201810708770A CN109032342B CN 109032342 B CN109032342 B CN 109032342B CN 201810708770 A CN201810708770 A CN 201810708770A CN 109032342 B CN109032342 B CN 109032342B
Authority
CN
China
Prior art keywords
sensing data
motion
matrix
physiological
complex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810708770.XA
Other languages
English (en)
Other versions
CN109032342A (zh
Inventor
陈岭
彭梁英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810708770.XA priority Critical patent/CN109032342B/zh
Publication of CN109032342A publication Critical patent/CN109032342A/zh
Application granted granted Critical
Publication of CN109032342B publication Critical patent/CN109032342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种融合运动、生理和位置传感数据的复杂活动识别方法,包括:1)采集运动、生理和位置传感数据;2)对运动传感数据提取统计特征,对统计特征进行K‑Means聚类和LDA主题提取,得到运动传感数据的主题分布,并建立基于运动传感数据的子分类器;3)对生理传感数据提取结构特征和瞬态特征,并建立基于生理传感数据的子分类器;4)将城市地图划分为网格单元,引入微博签到、ATUS和POI数据集,利用矩阵分解建立网格单元与复杂活动间的关系,将用户位置传感数据映射到相应网格单元,得到基于位置传感数据的子分类器;5)采用分数级融合的方法将这些子分类器的输出进行融合,获得复杂活动的概率。

Description

一种融合运动、生理和位置传感数据的复杂活动识别方法
技术领域
本发明涉及活动识别领域,具体涉及一种融合运动、生理和位置传感数据的复杂活动识别方法。
背景技术
随着智能设备(如智能手机、智能手表等)和穿戴式设备(如胸带、手环等)的发展,加速度、角速度等运动传感数据,心电、心率、呼吸率等生理传感数据,以及GPS点等位置相关传感数据的获取变得日益便捷,如何利用这些数据进行活动识别成为了业界关注的焦点,相应技术在医疗保健、老年人辅助、技能评估等领域具有广阔的应用前景。
人类活动可分为简单和复杂活动。简单活动通常由周期性的动作或者人体单一姿势组成,如站立、坐、走路、跑步等。相比简单活动,复杂活动通常规律性不强,持续时间更长,且具有高级语义,如吃饭、工作、购物等。传统基于智能设备和穿戴式设备的活动识别方法通常首先采集用户的活动相关数据,然后对其进行预处理和分割,接着进行特征提取,最后利用特征数据训练一个活动识别模型。然而传统方法大部分仅基于运动传感数据,且通常只在简单活动上取得较高的识别准确率。识别简单活动不能满足许多实际应用的需求,复杂活动更能反映用户的日常生活。
与简单活动相比,复杂活动的另一特点是与用户场所紧密相关。场所的语义能在一定程度上限制用户能进行的复杂活动,并帮助识别在传感器数据层面很相似的活动。目前出现了三种引入用户位置信息的活动识别方法:
1)根据位置信息,先识别用户所在场所,然后为每个场所类分别建立活动识别模型;
2)将场所类别信息作为特征,并与其他传感数据特征拼接在一起,建立活动识别模型;
3)利用用户活动日志或领域知识建立基于场所的活动概率分布,将其与基于其他传感数据的活动概率分布进行融合。
然而这些方法要么需要大量的标记数据,要么没有充分利用用户场所信息,并且当用户访问一个新类型场所时,活动识别模型无法工作。
发明内容
本发明的目的是提供一种融合运动、生理和位置传感数据的复杂活动识别方法,该复杂活动识别方法充分利用的用户场所信息,在新旧类型场所中均能够实现对复杂活动的准确识别。
为实现上述发明目的,本发明提供以下技术方案:
一种融合运动、生理和位置传感数据的复杂活动识别方法,包括以下步骤:
(1)采集用户在复杂活动时的运动传感数据、生理传感数据以及位置传感数据,并对这些数据进行异常值消除、时间窗口划分处理,根据位置传感数据确定用户位置信息;
(2)对经步骤(1)处理后的运动传感数据依次进行特征统计、K-Means聚类以及LDA主题提取,获得运动传感数据的主题分布,根据该主题分布构建基于运动传感数据的子分类器;
(3)提取经步骤(1)处理后的生理传感数据的结构特征和瞬态特征,并根据生理传感数据的结构特征和瞬态特征构建基于生理传感数据的子分类器;
(4)基于微博签到数据集、ATUS数据集以及POI数据集构建网格单元的场所类型分布向量、场所类型-复杂活动矩阵以及网格单元-特征矩阵,并根据场所类型分布向量和场所类型-复杂活动矩阵构建网格单元-复杂活动矩阵,根据网格单元-特征矩阵确定网格单元相似性矩阵后,利用网格单元相似性矩阵对网格单元-复杂活动矩阵进行矩阵分解与重构,获得的新矩阵即为基于位置传感数据的子分类器;
(5)利用基于运动传感数据的子分类器、基于生理传感数据的子分类器以及基于位置传感数据的子分类器输出的概率向量构建复杂活动分类模型;
(6)利用步骤(2)中构建的基于运动传感数据的子分类器获得待测运动传感数据在每个复杂活动上的概率向量pa,利用步骤(3)中构建的基于生理传感数据的子分类器获得待测生理传感数据在每个复杂活动上的概率向量pv,利用步骤(4)中构建的基于位置传感数据的子分类器获得待测位置传感数据在每个复杂活动上的概率向量pl
(7)将概率向量pa、pv以及pl输入至步骤(5)中构建的复杂活动分类模型中,经计算获得复杂活动的概率,即实现对复杂活动的识别。
具体地,步骤(1)中,对运动传感数据、生理传感数据以及位置传感数据进行异常值消除的具体过程为:
针对运动传感数据、生理传感数据:对运动和生理传感数据进行异常值检测,将运动和生理传感数据中无效值消除或进行均值填充,其中无效值为超出正常值范围的值和/或零值;
针对位置传感数据:对位置传感数据进行异常值检测,并将位置传感数据中的无效值消除,其中无效值为偏离正常序列的值。
步骤(1)中,针对运动传感数据,将时间窗口设为2秒钟,对运动传感数据进行时间窗口划分处理;针对生理传感数据和位置传感数据,将将时间窗口设为1分钟,对生理传感数据和位置传感数据进行时间窗口划分处理。
步骤(2)中,所述对运动传感数据依次进行特征统计、K-Means聚类以及LDA主题提取,获得运动传感数据的主题分布包括:
(a)提取运动传感数据的统计特征,该统计特征包括运动传感数据的均值、方差、标准差、中位数、最小值、最大值、四分位距、平均绝对偏差以及根均方,并根据这些统计特征构建运动传感数据特征向量fa
(b)对运动传感数据特征向量fa进行K-Means聚类,得到K个簇,每个簇相当于无语义的简单活动,即K个“词”;
(c)将N个窗口的运动传感数据视作一个复杂活动,即“文档”。统计每个文档在K个词上的分布,得到文档在词上的分布p(w|d);
(d)利用LDA主题模型,通过p(w|d)学习出“文档”在T个“主题”上的分布p(z|d),主题即复杂活动的潜在语义。
其中,所述根据该主题分布构建基于运动传感数据的子分类器包括:
以运动传感数据的主题分布视作复杂活动的高级特征,以运动传感数据的主题分布作为决策树分类器的输入,以运动传感数据在每个复杂活动上的概率向量pa作为决策树分类器的输出,对决策树分类器进行训练,获得基于运动传感数据的子分类器。
其中,所述提取经步骤(1)处理后的生理传感数据的结构特征和瞬态特征包括:
利用函数拟合生理传感数据变化,与生理传感数据最拟合的函数系数即为结构特征;
瞬态特征为生理传感数据的变化趋势和变化幅度。
所述根据生理传感数据的结构特征和瞬态特征构建基于生理传感数据的子分类器包括:
根据生理传感数据的结构特征和瞬态特征构建生理传感数据特征向量,以生理传感数据特征向量作为决策树分类器的输入,以生理传感数据在每个复杂活动上的概率向量pv作为决策树分类器的输出,对决策树分类器进行训练,获得基于生理传感数据的子分类器。
优选地,步骤(4)包括:
(4-1)将城市地图划分为边长为d的矩形网格单元;
(4-2)基于微博签到数据集,统计每个矩形网格单元内不同类型场所的微博签到数目,得到网格单元的场所类型分布向量b;
(4-3)统计ATUS数据集中不同类型场所的复杂活动时长分布,构建场所类型-复杂活动矩阵LA;
(4-4)基于POI数据集,统计每个矩阵网格单元内不同类型的POI数目,得到网格单元的POI类型分布向量q,根据网格单元的POI类型分布向量q构建网格单元-特征矩阵GF;
(4-5)针对每个网格单元,计算场所类型分布向量b与场所类型-复杂活动矩阵LA的乘积,得到网格单元-复杂活动矩阵GA;
(4-6)根据网格单元-特征矩阵,计算两个网格单元之间的余弦相似性,得到网格单元相似性矩阵Sim;
(4-7)对网格单元-复杂活动矩阵GA进行矩阵分解与重构,分解过程引入网格单元相似性矩阵Sim,将重构的新矩阵G·AT作为基于位置传感数据的子分类器。
其中,步骤(4-4)中,利用公式(1)构建网格单元-特征矩阵GF:
Figure BDA0001716191940000061
其中,qij为第i个网格单元内第j个POI类型的POI数目,totali为第i个网格单元内所有POI类型的POI数目,sj为包含第j个POI类型的网格单元数目,n为网格单元总数,r为POI类型总数;
步骤(4-6)中,利用公式(2)获得网格单元相似性矩阵Sim:
Figure BDA0001716191940000062
其中,gfi和gfu分别表示第i个网格单元和的第u个网格单元的网格单元-特征向量。
步骤(4-7)中,利用公式(3)通过低阶近似,将网格单元-复杂活动矩阵GAn×m分解为表示网格单元的矩阵G和表示复杂活动的矩阵A;
GA≈G·AT (3)
矩阵分解过程中,在减少分解损失的同时,减少网格单元的相似性损失,损失函数见公式(4):
Figure BDA0001716191940000063
In×m为指示矩阵,若网格单元i中从事过活动j,则Iij=1,否则Iij=0。操作符
Figure BDA0001716191940000065
表示点乘运算,
Figure BDA0001716191940000064
表示矩阵的二范数,S(i)表示网格单元i的相似网格单元集合,λ1和λ2分别为控制相似性矩阵和防止过拟合的参数。
本发明结合聚类、主题模型和矩阵分解来进行复杂活动识别,在引入三个额外数据集的同时,充分利用位置传感数据;此外,采用模型层融合的方法,保持运动、生理和位置传感数据的独立性。与现有的方法相比,其优点在于:
(1)将复杂活动看作简单活动组合,通过K-Means聚类和LDA主题模型表示复杂活动的层次化结构,进而提高识别性能.
(2)引入微博签到、ATUS和POI数据集,有效解决标记数据不足的问题;通过矩阵分解与重构,能充分利用位置信息,同时避免了“冷启动”问题。
(3)先针对不同的传感器数据,训练不同的识别子分类器,然后再进行模型层融合,解决不同传感器数据类型不兼容的问题,能充分整合运动、生理和位置传感数据对复杂活动的表征能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是本发明提供的融合运动、生理和位置传感数据的复杂活动识别方法的整体框架图;
图2是本发明提供的复杂活动的表示图;
图3是本发明提供的三个子分类器的融合示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
图1是本发明提供的融合运动、生理和位置传感数据的复杂活动识别方法的整体框架图,如图1所示,本发明提供的复杂活动识别方法包括数据处理阶段、子分类器构建阶段、复杂活动分类模型构建阶段以及复杂活动识别阶段四个阶段。
数据处理阶段
该数据处理阶段主要进行运动传感数据、生理传感数据以及位置传感数据的采集和预处理,以供子分类器的构建。具体包括以下步骤:
S101,采用智能设备和穿戴式设备采集用户在复杂活动时的运动传感数据、生理传感数据以及位置传感数据。
具体地,首先,使用智能设备记录复杂活动时的各类运动和位置传感数据,同时使用穿戴式设备来记录复杂活动时的各类生理传感数据,对于每一项复杂活动,用户通过智能设备手动标记当前的活动类型;然后,对收集的运动、生理和位置传感数据按照活动类型的标记进行分割。
目前,智能设备包括智能手机、智能手表等,该类智能设备一般都配置了加速度计、陀螺仪等运动传感器以及GPS定位系统。本发明方法中,智能手机按指定方式放置在用户裤子口袋中,智能手表放置在用户手腕,智能手机和手表内置的传感器分别用来获取用户在复杂活动中腿部和手腕的运动传感数据。可穿戴的胸带式生理传感设备主要用于获取用户的各项生理指标,比如心率、心电、呼吸率、心率变异率等。智能手机内置的GPS定位系统用于获取用户的位置传感数据。所有录制的数据,都通过蓝牙,传送并保存在智能手机中。每次进行一项活动时,通过智能手机手动标记当前的活动类型。
S102,对运动传感数据、生理传感数据以及位置传感数据进行异常值消除处理,并将处理后的数据进行时间窗口划分。
具体过程为:
首先,对运动和生理传感数据进行异常值检测,将运动和生理传感数据中无效值消除或进行均值填充,其中无效值为超出正常值范围的值和/或零值,该正常值范围的值是预先设定的阈值,根据实际情况而定,不受限制;
然后,对位置传感数据进行异常值检测,并将位置传感数据中的无效值消除,其中无效值为偏离正常序列的值;
最后,将处理后的运动、生理与位置传感数据进行时间窗口划分,由于运动传感数据变化比其他两种传感数据迅速,因此将其时间窗口长度设置得较小,为2秒。生理和位置传感数据窗口大小为1分钟。为了将运动传感数据与生理传感数据和位置传感数据在时间上对齐,将子模型构建阶段基于运动传感数据的子模型构建中“文档”大小设置为与生理和位置传感数据时间窗口相等的1分钟。
S103,从每个时间窗口中位置传感数据中挖掘用户轨迹,得到用户位置loc。
位置传感数据以GPS点的形式被记录,在一个时间窗口长度内,这些GPS点形成一条轨迹,这条轨迹所在的区域即为用户位置。
子分类器构建阶段
子分类器构建阶段分为三部分,即基于运动、生理、位置传感数据的子分类器构建,具体流程如下:
S201,构建基于运动传感数据的子分类器。
该主要是构建基于运动传感数据的子分类器,具体包括:
S2011,提取每个时间窗口的运动传感数据的常用统计特征,并构建运动传感数据特征向量fa
运动传感数据提取的统计特征为常用的时域特征,包括均值(Mean)、方差(Var)、标准差(Std)、中位数(Median)、最小值(Min)、最大值(Max)、四分位距(Iqr)、平均绝对偏差(Mad)、根均方(Rms)。
S2012,将所有窗口的运动传感数据特征向量fa通过K-Means聚类,得到K个簇,每个簇相当于无语义的简单活动,即K个“词”。
具体地,K-Means聚类的具体步骤为:
首先,输入运动传感数据特征向量,并输入期望得到的簇数目K;
然后,通过K-Means聚类,得到每个时间窗口运动传感数据对应的簇编号。
S2013,将N个窗口的运动传感数据视作一个复杂活动,即“文档”。统计每个文档在K个词上的分布,即统计“词频”,得到文档在词上的分布p(w|d)。
因为运动传感数据窗口大小为2秒,生理和位置传感数据窗口大小为1分钟。为了将运动与生理和位置传感数据在时间上对齐,这里“文档”大小同样设置为1分钟,因此N=30。
S2014,利用LDA主题模型,通过p(w|d)学习出“文档”在T个“主题”上的分布p(z|d),主题即复杂活动的潜在语义。
LDA是一种经典的主题模型,其主要思想在于将“文档”看作由若干“词”组成,每一个“文档”都是通过以一定概率选择了某个“主题”,并从这个“主题”中以一定概率选择某个“词”这样的过程得到的。“文档”在“词”上的分布p(w|d)可由“文档”在“主题”上的分布p(z|d)和“主题”在“词”上的分布p(w|z)计算得出,公式如下:
Figure BDA0001716191940000101
主题提取步骤包括:
(a)将S2012得到的簇看作“词”,将用户复杂活动看作“文档”,将复杂活动的潜在语义看作“主题”,其中“词”的大小为2秒,“文档”的大小为1分钟,以便运动传感数据与其他两种传感数据在时间上对齐。复杂活动表示图如图2所示;
(b)将运动传感数据在簇上的数目分布看作“文档”中的“词频”,输入“文档”中的“词频”p(w|d),通过主题模型,得到“文档”在“主题”上的分布p(z|d)。
S2015,将运动传感数据的主题分布p(z|d)视作复杂活动的高级特征,在此基础上建立相应分类器,p(z|d)作为分类器的输入,输出运动传感数据在每个复杂活动上的概率向量pa=[pa1,...,pam],m为复杂活动类别数目。
根据运动传感数据的主题分布p(z|d),训练决策树分类器,即为基于运动传感数据的子分类器。
该过程将复杂活动看作简单活动组合,通过K-Means聚类和LDA主题模型表示复杂活动的层次化结构,进而提高识别性能。
S202,构建基于生理传感数据的子分类器。
该主要是构建基于生理传感数据的子分类器,具体包括:
S2021,对每个时间窗口的生理传感数据提取结构特征和瞬态特征,并构建生理传感数据特征向量fv
生理传感数据变化过程相对缓慢,本方法对每类生理传感数据提取结构特征和瞬态特征。用函数拟合生理传感数据变化,与生理传感数据最拟合的函数系数即为结构特征。这里采用一次、二次和三次函数:f1=a0+a1t,f2=a2+a3t+a4t2,f3=a5+a6t+a7t2+a8t3,当用函数拟合生理传感数据变化,与生理传感数据最拟合的函数系数即为结构特征f1,f2和f3拟合生理传感数据取得平方误差和最小时,a0,...,a8就是生理传感数据的9个结构特征。
瞬态特征有两种,一是数据的变化趋势trend(上升、下降和维持不变);二是数据的变化幅度magnitude。
S2022,在生理传感数据特征向量fv的基础上,建立相应分类器,fv作为分类器的输入,输出生理传感数据在每个复杂活动上的概率向量pv=[pv1,...,pvm]。
根据生理传感数据的特征向量,训练决策树分类器,即为基于生理传感数据的子分类器。
S203,构建基于位置传感数据的子分类器。
该步骤主要是构建基于位置传感数据的子分类器,具体过程为:
S2031,将城市地图划分为边长为d的矩形网格单元。
S2032,统计每个矩形网格单元内不同类型场所的微博签到数目,得到矩形网格单元的场所类型分布向量b=[b1,...,bl],l为场所类型数目。
微博签到是用户在社交网络上分享某个场所的行为。微博签到数据包含签到地址、经纬度、时间、场所类型等,其中场所类型有住宅区、公司、餐厅、商店、体育馆、银行、图书馆等。
获得矩形网格单元的场所类型分布向量的步骤为:
首先,统计矩形网格单元内的所有微博签到数据数目;
然后,计算每种类型场所的微博签到数目占所有微博签到数目的比率,得到网格单元的场所类型分布向量。
S2033,统计ATUS数据集中不同类型场所的复杂活动时长分布,构建场所类型-复杂活动矩阵LAl×m
ATUS(American Time Use Survey)数据集是一个长期的时间使用调查数据集,采用电话访问和问卷的方式获得受访者的行程,因此ATUS数据集包含用户在不同类型场所进行不同日常活动的时长。
构建场所类型-复杂活动矩阵LAl×m的步骤包括:
首先,对每种类型场所,根据ATUS数据集,统计用户进行不同活动的时长;
然后,将活动时长进行归一化处理,得到所有类型场所的复杂活动分布,构建场所类型-复杂活动矩阵LAl×m
S2034,对每个网格单元,计算其场所类型分布向量b与场所类型-复杂活动矩阵LAl×m的乘积,得到网格单元的复杂活动概率分布,构建网格单元-复杂活动矩阵GAn×m,n为网格单元总数目。
S2035,统计每个网格单元内,不同类型的POI数目,得到网格单元的POI类型分布向量q=[q1,...,qr],r为POI类型数目,并将其作为网格单元特征,构建网格单元特征矩阵GFn×r
POI(point of interest)数据集提供一定范围区域内,各种POI类型(如商店、医院、银行、体育馆)的数目,在一定程度上反映该区域的特点。
构建网格单元-特征矩阵步骤包括:
首先,选择r个最常用的POI类型,统计网格单元各类型POI的数目,得到网格单元POI类型分布向量q=[q1,...,qr];
然后,统计网格单元i内所有类型POI数目
Figure BDA0001716191940000131
接下来,统计包含POI类型j的网格单元数目sj
最后,用公式(2)构建网格单元特征矩阵GFn×r,其中i表示网格单元,j表示POI类型,n为网格单元总数目;
Figure BDA0001716191940000141
S2036,根据网格单元特征矩阵,计算网格单元两两之间的余弦相似性,得到网格单元相似性矩阵Simn×n
对任意两个网格单元i和u,其POI特征向量分别表示为gfi和gfu,用公式(3)计算两个网格单元间的相似性:
Figure BDA0001716191940000142
S2037,对网格单元-复杂活动矩阵GAn×m进行矩阵分解与重构,分解过程引入网格单元相似性矩阵Simn×n,将重构的新矩阵G·AT视为网格单元的复杂活动概率分布。
如公式(4)所示,通过低阶近似,网格单元-复杂活动矩阵GAn×m可被分解为表示网格单元的矩阵G和表示复杂活动的矩阵A。矩阵分解过程中,在减少分解损失的同时,减少网格单元的相似性损失,损失函数见公式(5):
GA≈G·AT (4)
Figure BDA0001716191940000143
In×m为指示矩阵,若网格单元i中从事过活动j,则Iij=1,否则Iij=0。操作符
Figure BDA0001716191940000145
表示点乘运算,
Figure BDA0001716191940000144
表示矩阵的二范数,S(i)表示网格单元i的相似网格单元集合,λ1和λ2分别为控制相似性矩阵和防止过拟合的参数。
S2038,将用户位置loc映射到相应网格单元中,从重构的新矩阵G·AT中输出用户位置loc的复杂活动概率向量pl=[pl1,...,plm]。
新矩阵G·AT为基于位置传感数据的子分类器,通过新矩阵G·AT即可获得用户位置loc的复杂活动概率向量pl=[pl1,...,plm]。
构建的基于位置传感数据的子分类器中引入微博签到、ATUS和POI数据集,有效解决标记数据不足的问题;通过矩阵分解与重构,能充分利用位置信息,同时避免了“冷启动”问题。
复杂活动分类模型构建阶段
该子复杂活动分类模型构建阶段主要是将基于运动、生理、位置传感数据的子分类器的输出结果进行融合,以获得最终的复杂活动分类模型。如图3所示,具体包括:
将基于运动、生理、位置传感数据的子分类器的输出的概率向量pa、pv和pl作为逻辑回归模型的特征数据,对逻辑回归模型进行训练,确定逻辑回归模型的参数,以获得复杂活动分类模型。
复杂活动分类模型构建阶段进行模型层融合,解决不同传感器数据类型不兼容的问题,能充分整合运动、生理和位置传感数据对复杂活动的表征能力。
复杂活动识别阶段
该阶段的具体过程为:
针对运动传感数据:采集运动传感数据,并按照S102、S2011~S2015对采集的运动传感数据依次进行处理,获得运动传感数据的主题分布p(z|d),将该运动传感数据的主题分布p(z|d)输入至基于运动传感数据的子分类器,经计算获得运动传感数据在每个复杂活动上的概率向量pa=[pa1,...,pam]。
针对生理传感数据:采集生理传感数据,并按照S102、S2021对采集的生理传感数据依次进行处理,获得生理传感数据特征向量fv,并将生理传感数据特征向量fv输入至基于生理传感数据的子分类器中,经计算获得生理传感数据在每个复杂活动上的概率向量pv=[pv1,...,pvm]。
针对位置传感数据:采集位置传感数据,按照S103确定用户位置loc,并将用户位置loc映射到相应网格单元中,并从新矩阵G·AT中查找获得用户位置loc的复杂活动概率向量pl=[pl1,...,plm]。
将获得的概率向量pa=[pa1,...,pam]、pv=[pv1,...,pvm]以及pl=[pl1,...,plm]输入至复杂活动分类模型中,经计算获得复杂活动的概率,即实现对复杂活动的识别。
本实施例提供的复杂活动识别方法充分利用的用户场所信息,在新旧类型场所中均能够实现对复杂活动的准确识别。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种融合运动、生理和位置传感数据的复杂活动识别方法,包括以下步骤:
(1)采集用户在复杂活动时的运动传感数据、生理传感数据以及位置传感数据,并对这些数据进行异常值消除、时间窗口划分处理,根据位置传感数据确定用户位置信息;
(2)对经步骤(1)处理后的运动传感数据依次进行特征统计、K-Means聚类以及LDA主题提取,获得运动传感数据的主题分布,根据该主题分布构建基于运动传感数据的子分类器;
(3)提取经步骤(1)处理后的生理传感数据的结构特征和瞬态特征,并根据生理传感数据的结构特征和瞬态特征构建基于生理传感数据的子分类器;
(4)基于微博签到数据集、ATUS数据集以及POI数据集构建网格单元的场所类型分布向量、场所类型-复杂活动矩阵以及网格单元-特征矩阵,并根据场所类型分布向量和场所类型-复杂活动矩阵构建网格单元-复杂活动矩阵,根据网格单元-特征矩阵确定网格单元相似性矩阵后,利用网格单元相似性矩阵对网格单元-复杂活动矩阵进行矩阵分解与重构,获得的新矩阵即为基于位置传感数据的子分类器;
ATUS数据集是一个长期的时间使用调查数据集,采用电话访问和问卷的方式获得受访者的行程,因此ATUS数据集包含用户在不同类型场所进行不同日常活动的时长;
(5)利用基于运动传感数据的子分类器、基于生理传感数据的子分类器以及基于位置传感数据的子分类器输出的概率向量构建复杂活动分类模型;
(6)利用步骤(2)中构建的基于运动传感数据的子分类器获得待测运动传感数据在每个复杂活动上的概率向量pa,利用步骤(3)中构建的基于生理传感数据的子分类器获得待测生理传感数据在每个复杂活动上的概率向量pv,利用步骤(4)中构建的基于位置传感数据的子分类器获得待测位置传感数据在每个复杂活动上的概率向量pl
(7)将概率向量pa、pv以及pl输入至步骤(5)中构建的复杂活动分类模型中,经计算获得复杂活动的概率,即实现对复杂活动的识别;
步骤(4)包括:
(4-1)将城市地图划分为边长为d的矩形网格单元;
(4-2)基于微博签到数据集,统计每个矩形网格单元内不同类型场所的微博签到数目,得到网格单元的场所类型分布向量b;
(4-3)统计ATUS数据集中不同类型场所的复杂活动时长分布,构建场所类型-复杂活动矩阵LA;
(4-4)基于POI数据集,统计每个矩阵网格单元内不同类型的POI数目,得到网格单元的POI类型分布向量q,根据网格单元的POI类型分布向量q构建网格单元-特征矩阵GF,利用公式(1)构建网格单元-特征矩阵GF:
Figure FDA0002294262550000021
其中,qij为第i个网格单元内第j个POI类型的POI数目,totali为第i个网格单元内所有POI类型的POI数目,sj为包含第j个POI类型的网格单元数目,n为网格单元总数,r为POI类型总数;
步骤(4-6)中,利用公式(2)获得网格单元相似性矩阵Sim:
Figure FDA0002294262550000031
其中,gfi和gfu分别表示第i个网格单元和的第u个网格单元的网格单元-特征向量;
(4-5)针对每个网格单元,计算场所类型分布向量b与场所类型-复杂活动矩阵LA的乘积,得到网格单元-复杂活动矩阵GA;
(4-6)根据网格单元-特征矩阵,计算两个网格单元之间的余弦相似性,得到网格单元相似性矩阵Sim;
(4-7)对网格单元-复杂活动矩阵GA进行矩阵分解与重构,分解过程引入网格单元相似性矩阵Sim,将重构的新矩阵G·AT作为基于位置传感数据的子分类器,利用公式(3)通过低阶近似,将网格单元-复杂活动矩阵GAn×m分解为表示网格单元的矩阵G和表示复杂活动的矩阵A;
GA≈G·AT (3)
矩阵分解过程中,在减少分解损失的同时,减少网格单元的相似性损失,损失函数见公式(4):
Figure FDA0002294262550000032
In×m为指示矩阵,若网格单元i中从事过活动j,则Iij=1,否则Iij=0,操作符
Figure FDA0002294262550000033
表示点乘运算,
Figure FDA0002294262550000034
表示矩阵的二范数,S(i)表示网格单元i的相似网格单元集合,λ1和λ2分别为控制相似性矩阵和防止过拟合的参数。
2.如权利要求1所述的融合运动、生理和位置传感数据的复杂活动识别方法,其特征在于,步骤(1)中,对运动传感数据、生理传感数据以及位置传感数据进行异常值消除的具体过程为:
针对运动传感数据、生理传感数据:对运动和生理传感数据进行异常值检测,将运动和生理传感数据中无效值消除或进行均值填充,其中无效值为超出正常值范围的值和/或零值;
针对位置传感数据:对位置传感数据进行异常值检测,并将位置传感数据中的无效值消除,其中无效值为偏离正常序列的值。
3.如权利要求1所述的融合运动、生理和位置传感数据的复杂活动识别方法,其特征在于,步骤(1)中,针对运动传感数据,将时间窗口设为2秒钟,对运动传感数据进行时间窗口划分处理;针对生理传感数据和位置传感数据,将将时间窗口设为1分钟,对生理传感数据和位置传感数据进行时间窗口划分处理。
4.如权利要求1所述的融合运动、生理和位置传感数据的复杂活动识别方法,其特征在于,步骤(2)中,所述对运动传感数据依次进行特征统计、K-Means聚类以及LDA主题提取,获得运动传感数据的主题分布包括:
(a)提取运动传感数据的统计特征,该统计特征包括运动传感数据的均值、方差、标准差、中位数、最小值、最大值、四分位距、平均绝对偏差以及根均方,并根据这些统计特征构建运动传感数据特征向量fa
(b)对运动传感数据特征向量fa进行K-Means聚类,得到K个簇,每个簇相当于无语义的简单活动,即K个“词”;
(c)将N个窗口的运动传感数据视作一个复杂活动,即“文档”,统计每个文档在K个词上的分布,得到文档在词上的分布p(w|d);
(d)利用LDA主题模型,通过p(w|d)学习出“文档”在T个“主题”上的分布p(z|d),主题即复杂活动的潜在语义。
5.如权利要求1或4所述的融合运动、生理和位置传感数据的复杂活动识别方法,其特征在于,所述根据该主题分布构建基于运动传感数据的子分类器包括:
以运动传感数据的主题分布视作复杂活动的高级特征,以运动传感数据的主题分布作为决策树分类器的输入,以运动传感数据在每个复杂活动上的概率向量pa作为决策树分类器的输出,对决策树分类器进行训练,获得基于运动传感数据的子分类器。
6.如权利要求1所述的融合运动、生理和位置传感数据的复杂活动识别方法,其特征在于,所述提取经步骤(1)处理后的生理传感数据的结构特征和瞬态特征包括:
利用函数拟合生理传感数据变化,与生理传感数据最拟合的函数系数即为结构特征;
瞬态特征为生理传感数据的变化趋势和变化幅度。
7.如权利要求1或6所述的融合运动、生理和位置传感数据的复杂活动识别方法,其特征在于,所述根据生理传感数据的结构特征和瞬态特征构建基于生理传感数据的子分类器包括:
根据生理传感数据的结构特征和瞬态特征构建生理传感数据特征向量,以生理传感数据特征向量作为决策树分类器的输入,以生理传感数据在每个复杂活动上的概率向量pv作为决策树分类器的输出,对决策树分类器进行训练,获得基于生理传感数据的子分类器。
CN201810708770.XA 2018-07-02 2018-07-02 一种融合运动、生理和位置传感数据的复杂活动识别方法 Active CN109032342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810708770.XA CN109032342B (zh) 2018-07-02 2018-07-02 一种融合运动、生理和位置传感数据的复杂活动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810708770.XA CN109032342B (zh) 2018-07-02 2018-07-02 一种融合运动、生理和位置传感数据的复杂活动识别方法

Publications (2)

Publication Number Publication Date
CN109032342A CN109032342A (zh) 2018-12-18
CN109032342B true CN109032342B (zh) 2020-06-30

Family

ID=65522158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810708770.XA Active CN109032342B (zh) 2018-07-02 2018-07-02 一种融合运动、生理和位置传感数据的复杂活动识别方法

Country Status (1)

Country Link
CN (1) CN109032342B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176446B (zh) * 2019-12-24 2021-03-30 浙江大学 一种基于多图卷积神经网络的可穿戴复杂人类活动识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970271A (zh) * 2014-04-04 2014-08-06 浙江大学 融合运动和生理传感数据的日常活动识别方法
CN105183870A (zh) * 2015-09-17 2015-12-23 武汉大学 一种利用微博位置信息的城市功能区探测方法及系统
WO2017102326A1 (en) * 2015-12-17 2017-06-22 Jaguar Land Rover Limited In vehicle system and method for providing information regarding points of interest
CN106886782A (zh) * 2017-01-16 2017-06-23 浙江大学 融合运动和生理传感数据的层次化复杂活动识别方法
CN107092592A (zh) * 2017-04-10 2017-08-25 浙江鸿程计算机系统有限公司 一种基于多情境数据和代价敏感集成模型的场所个性化语义识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198135A (zh) * 2013-04-12 2013-07-10 武汉大学 一种地理区域格网划分的微博签到数据在线获取方法
KR20180056352A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 트랜잭션 정보 기반 콘텐트 생성 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970271A (zh) * 2014-04-04 2014-08-06 浙江大学 融合运动和生理传感数据的日常活动识别方法
CN105183870A (zh) * 2015-09-17 2015-12-23 武汉大学 一种利用微博位置信息的城市功能区探测方法及系统
WO2017102326A1 (en) * 2015-12-17 2017-06-22 Jaguar Land Rover Limited In vehicle system and method for providing information regarding points of interest
CN106886782A (zh) * 2017-01-16 2017-06-23 浙江大学 融合运动和生理传感数据的层次化复杂活动识别方法
CN107092592A (zh) * 2017-04-10 2017-08-25 浙江鸿程计算机系统有限公司 一种基于多情境数据和代价敏感集成模型的场所个性化语义识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Schedule a Rich Sentimental Travel via Sentimental POI Mining and Recommendation";Peiliang Lou 等;《2016 IEEE Second International Conference on Multimedia Big Data》;20160818;第II-III节 *
"基于微博数据的深圳市居民生活空间研究";陈名娇;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20170731;第C038-762 *

Also Published As

Publication number Publication date
CN109032342A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
Guo et al. Smartphone-based patients’ activity recognition by using a self-learning scheme for medical monitoring
Yuan et al. An overview of human activity recognition based on smartphone
Niu et al. Integrating multi-source big data to infer building functions
Ermagun et al. Real-time trip purpose prediction using online location-based search and discovery services
Ellis et al. Identifying active travel behaviors in challenging environments using GPS, accelerometers, and machine learning algorithms
Schneider et al. Urban growth in Chengdu, Western China: application of remote sensing to assess planning and policy outcomes
Jiang et al. Clustering daily patterns of human activities in the city
Khan et al. Exploratory data analysis of acceleration signals to select light-weight and accurate features for real-time activity recognition on smartphones
Rawashdeh et al. A knowledge-driven approach for activity recognition in smart homes based on activity profiling
Lee et al. Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data
He et al. A smart device enabled system for autonomous fall detection and alert
Tian et al. Robust human activity recognition using single accelerometer via wavelet energy spectrum features and ensemble feature selection
Bao et al. An unsupervised approach to modeling personalized contexts of mobile users
CN115017423A (zh) 对自然语言表述的解译的地理映射
Quiroz et al. Feature selection for activity recognition from smartphone accelerometer data
Khowaja et al. VIRFIM: an AI and Internet of Medical Things-driven framework for healthcare using smart sensors
Zhu et al. Deep ensemble learning for human activity recognition using smartphone
CN109032342B (zh) 一种融合运动、生理和位置传感数据的复杂活动识别方法
Sharma et al. Activities tracking by smartphone and smartwatch biometric sensors using fuzzy set theory
Walse et al. A study on the effect of adaptive boosting on performance of classifiers for human activity recognition
Permatasari et al. Inertial sensor fusion for gait recognition with symmetric positive definite Gaussian kernels analysis
da Penha Natal et al. Efficient out-of-home activity recognition by complementing GPS data with semantic information
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Solomon et al. Predicting application usage based on latent contextual information
Uçar et al. NTRS: A new travel recommendation system framework by hybrid data mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant