CN104091053B - 用于自动检测行为模式的方法和设备 - Google Patents

用于自动检测行为模式的方法和设备 Download PDF

Info

Publication number
CN104091053B
CN104091053B CN201410295063.4A CN201410295063A CN104091053B CN 104091053 B CN104091053 B CN 104091053B CN 201410295063 A CN201410295063 A CN 201410295063A CN 104091053 B CN104091053 B CN 104091053B
Authority
CN
China
Prior art keywords
behavior
mrow
msub
detected
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410295063.4A
Other languages
English (en)
Other versions
CN104091053A (zh
Inventor
李南君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410295063.4A priority Critical patent/CN104091053B/zh
Publication of CN104091053A publication Critical patent/CN104091053A/zh
Application granted granted Critical
Publication of CN104091053B publication Critical patent/CN104091053B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)

Abstract

本公开提供了一种用于自动检测行为模式的方法和设备。该方法包括:(a)获取与待检测行为相关的一种或多种行为数据;(b)至少根据一种或多种行为数据中的全部或部分行为数据来确定行为特征向量;(c)确定所述行为特征向量与一个或多个行为特征参考向量的相似度;以及(d)将所述待检测行为的行为模式确定为与具有最高相似度的行为特征参考向量相对应的行为模式。

Description

用于自动检测行为模式的方法和设备
技术领域
本公开涉及模式识别领域,更具体地涉及用于自动检测行为模式的方法和设备。
背景技术
在现有的人类行为模式识别技术中,通常利用某一种传感器或某几种传感器的简单组合来检测人的行为。其具有以下主要缺点:(1)功能通常比较单一,且通常只能预先指定行为模式(例如,可穿戴健身配件“Jawbone”腕带需在使用前设定跑步、白天或睡眠模式),而不能自动判定人类的复杂行为模式和行为模式的变化;(2)测量不够准确,严重依赖某一传感器的精度,例如Jawbone、“健走伙伴”、Sports Tracker等对步伐和里程计算存在较大误差,在若干次实测中,平均误差大于20%;以及(3)通常缺乏实时行为检测结果和长期数据的分析:如Jawbone为离线统计,无法实时告知用户统计结果。
发明内容
为了解决上述问题,提供了根据本发明的用于自动检测行为模式的方法和设备。
根据本发明的第一方面,提供了一种用于自动检测行为模式的方法。该方法包括:(a)获取与待检测行为相关的一种或多种行为数据;(b)至少根据一种或多种行为数据中的全部或部分行为数据来确定行为特征向量;(c)确定所述行为特征向量与一个或多个行为特征参考向量的相似度;以及(d)将所述待检测行为的行为模式确定为与具有最高相似度的行为特征参考向量相对应的行为模式。
在一些实施例中,所述一种或多种行为数据是从以下至少一种传感器获取到的:陀螺仪、加速度计、GPS、气压计、光照计、地磁仪、温度计、和/或湿度计。
在一些实施例中,所述一种或多种行为数据至少包括以下各项:所述待检测行为的加速度在设备坐标系中的各维度分量。
在一些实施例中,步骤(b)还包括:将所述待检测行为的加速度在设备坐标系下的各维度分量变换为在大地坐标系下的相应维度分量。
在一些实施例中,所述大地坐标系的各维度正方向分别是:向北、向东、以及向地心。
在一些实施例中,所述行为特征向量包括以下至少一项:指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示;和/或指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示。
在一些实施例中,指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示是通过下式得到的:
其中,d0、d1、d2分别是指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,以及Mx,thrsh、My,thrsh、Mz,thrsh分别是相应维度的预定阈值。
在一些实施例中,指示所述待检测行为的加速度在指定周期内的低频振动、中频振动和高频振动在大地坐标系中的各维度分量的布尔型指示是分别通过以下公式得到的:
其中,d3、d4、d5分别是指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示,d6、d7、d8分别是指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示,d9、d10、d11分别是指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,flow和fhigh是用于区分低频、中频、高频振动的划分频率,Ax,low、Ay,low、Az,low分别是相应维度的低频振动阈值,Ax,mid、Ay,mid、Az,mid分别是相应维度的中频振动阈值,Ax,hi、Ay,hi、Az,hi分别是相应维度的高频振动阈值,以及Ax,n、Ay,n、Az,n分别是相应维度上频率为n/T的正弦波长振幅。
在一些实施例中,Ax,n、Ay,n、Az,n分别通过以下傅立叶级数展开来得到:
其中,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,ax,0、ay,0、az,0分别是常数振幅偏移,以及Φx,n、Φy,n、Φz,n分别是各维度的相应正弦波的初相。
在一些实施例中,指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示是通过以下公式得到的:
其中,为所述待检测行为的速度,vthrsh为速率阈值,Δp为气压变化,以及Δpthrsh为气压变化阈值。
在一些实施例中,Mx,thrsh、My,thrsh、Mz,thrsh的取值范围为[0.15,100)。
在一些实施例中,所述行为特征向量是归一化行为特征向量。
在一些实施例中,步骤(c)包括:计算所述行为特征向量与一个或多个行为特征参考向量的内积,作为相似度。
在一些实施例中,所述一个或多个行为特征参考向量与以下至少一项行为相对应:静止、室内行走、上下楼梯、室外行走、登山、跑步、骑自行车、乘电梯、和/或驾驶机动车。
在一些实施例中,在步骤(d)之后,所述方法还包括:(e)获得对所确定的行为模式的反馈结果;以及(f)根据所述反馈结果来调整所述一个或多个行为特征参考向量,以供后续使用。
在一些实施例中,在步骤(d)之后,所述方法还包括:(g)向远程服务器提交所确定的行为模式和相关传感器数据,供远程监控和/或长期数据统计之用。
在一些实施例中,在步骤(d)之后,所述方法还包括:(h)向指定地址发送与所确定的行为模式相关的通知。
在一些实施例中,当判断所述待检测行为的行为模式是行走时,所述方法还包括用于获得步伐频率的以下步骤:
计算Az,mid_max=arg maxn(|Az,n|),n∈[flow,fhigh],其中,Az,mid_max是地心向中频[flow,fhigh]频域的最大振幅,以及该振幅所对应频率fz,mid_max;以及
通过以下公式来得到步伐频率:
是用于判断步伐的振幅阈值。
在一些实施例中,当判断所述待检测行为的行为模式是驾驶时,所述方法还包括用于检测危险驾驶的以下步骤:
计算Ax,low_max=arg maxn(|Ax,n|),n∈[0,flow]以及Ay,low_max=arg maxn(|Ay,n|),n∈[0,flow],其中,Ax,low_max和Ay,low_max分别是水平两个方向低频[0,flow]频域的最大振幅;以及
通过以下公式来检测危险驾驶:
其中Adrive_thrsh是用于判断是否危险驾驶的振幅阈值。
根据本发明的第二方面,提供了一种用于自动检测行为模式的设备。包括:行为数据获取单元,用于获取与待检测行为相关的一种或多种行为数据;特征向量确定单元,用于至少根据一种或多种行为数据中的全部或部分行为数据来确定行为特征向量;相似度确定单元,用于确定所述行为特征向量与一个或多个行为特征参考向量的相似度;以及行为模式确定单元,用于将所述待检测行为的行为模式确定为与具有最高相似度的行为特征参考向量相对应的行为模式。
在一些实施例中,所述一种或多种行为数据是从以下至少一种传感器获取到的:陀螺仪、加速度计、GPS、气压计、光照计、地磁仪、温度计、和/或湿度计。
在一些实施例中,所述一种或多种行为数据至少包括以下各项:所述待检测行为的加速度在设备坐标系中的各维度分量。
在一些实施例中,所述特征向量确定单元还用于:将所述待检测行为的加速度在设备坐标系中的各维度分量变换为在大地坐标系下的相应维度分量。
在一些实施例中,所述大地坐标系的各维度正方向分别是:向北、向东、以及向地心。
在一些实施例中,所述行为特征向量包括以下至少一项:指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示;和/或指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示。
在一些实施例中,指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示是通过下式得到的:
其中,d0、d1、d2分别是指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,以及Mx,thrsh、My,thrsh、Mz,thrsh分别是相应维度的预定阈值。
在一些实施例中,指示所述待检测行为的加速度在指定周期内的低频振动、中频振动和高频振动在大地坐标系中的各维度分量的布尔型指示是分别通过以下公式得到的:
其中,d3、d4、d5分别是指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示,d6、d7、d8分别是指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示,d9、d10、d11分别是指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,flow和fhigh是用于区分低频、中频、高频振动的划分频率,Ax,low、Ay,low、Az,low分别是相应维度的低频振动阈值,Ax,mid、Ay,mid、Az,mid分别是相应维度的中频振动阈值,Ax,hi、Ay,hi、Az,hi分别是相应维度的高频振动阈值,以及Ax,n、Ay,n、Az,n分别是相应维度上频率为n/T的正弦波长振幅。
在一些实施例中,Ax,n、Ay,n、Az,n分别通过以下傅立叶级数展开来得到:
其中,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,ax,0、ay,0、az,0分别是常数振幅偏移,以及Φx,n、Φy,n、Φz,n分别是各维度的相应正弦波的初相。
在一些实施例中,指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示是通过以下公式得到的:
其中,为所述待检测行为的速度,vthrsh为速率阈值,Δp为气压变化,以及Δpthrsh为气压变化阈值。
在一些实施例中,Mx,thrsh、My,thrsh、Mz,thrsh的取值范围为[0.15,100)。
在一些实施例中,所述行为特征向量是归一化行为特征向量。
在一些实施例中,所述相似度确定单元还用于:计算所述行为特征向量与一个或多个行为特征参考向量的内积,作为相似度。
在一些实施例中,所述一个或多个行为特征参考向量与以下至少一项行为相对应:静止、室内行走、上下楼梯、室外行走、登山、跑步、骑自行车、乘电梯、和/或驾驶机动车。
在一些实施例中,所述设备还包括:反馈结果获得单元,用于获得对所确定的行为模式的反馈结果;以及参考向量调整单元,用于根据所述反馈结果来调整所述一个或多个行为特征参考向量,以供后续使用。
在一些实施例中,所述设备还包括:数据提交单元,用于向远程服务器提交所确定的行为模式和相关传感器数据,供远程监控和/或长期数据统计之用。
在一些实施例中,所述设备还包括:通知发送单元,用于向指定地址发送与所确定的行为模式相关的通知。
在一些实施例中,当判断所述待检测行为的行为模式是行走时,所述设备还包括:
振幅频率计算单元,用于计算Az,mid_max=arg maxn(|Az,n|),n∈[flow,fhigh],其中,Az,mid_max是地心向中频[flow,fhigh]频域的最大振幅,以及该振幅所对应频率fz,mid_max;以及
步伐频率获得单元,用于通过以下公式来得到步伐频率:
其中Astep_thrsh是用于判断步伐的振幅阈值。
在一些实施例中,当判断所述待检测行为的行为模式是驾驶时,所述设备还包括:
振幅计算单元,用于计算Ax,low_max=arg maxn(|Ax,n|),n∈[0,flow]以及Ay,low_max=arg maxn(|Ay,n|),n∈[0,flow],其中,Ax,low_max和Ay,low_max分别是水平两个方向低频[0,flow]频域的最大振幅;以及
危险驾驶检测单元,用于通过以下公式来检测危险驾驶:
其中Adrive_thrsh是用于判断是否危险驾驶的振幅阈值。
根据本发明的第三方面,提供了一种用于行为模式检测和管理的系统,包括:一个或多个根据本发明第二方面的设备;以及用于从一个或多个所述设备接收行为模式确定结果和相关传感器数据并进行分析的服务器。
根据本发明的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当该计算机程序由处理器运行时,使得处理器执行根据本发明第一方面的方法。
通过使用本发明的方法和设备,可以自动检测人(终端设备)的复杂行为。被检测行为模式包括但不限于:静止、室内行走、上下楼梯、室外行走、登山、跑步、自行车、乘电梯、驾驶机动车(包括判断是否危险驾驶和路面状况)等。此外,通过基于多个传感器的数据对人的行为进行综合判断,并依照判断结果来压制某些传感器噪声数据(如GPS随机漂移、加速度计零偏等),从而进一步提高了精度。此外,通过使用本发明的方法和设备,可以建立实时行为追踪,以对不安全行为实时提示,并对长期个人大数据进行分析,可提供如健康指南和驾驶(出行)建议。
附图说明
通过下面结合附图说明本发明的优选实施例,将使本发明的上述及其它目的、特征和优点更加清楚,其中:
图1是示出了根据本发明实施例的用于自动检测行为模式的系统的示例应用场景的示意图。
图2是示出了根据本发明实施例的用于行为模式分析的示例神经网络架构图。
图3是示出了根据本发明实施例的用于行为模式分析的示例系统架构图。
图4是示出了根据本发明实施例的大地坐标系和设备坐标系的示例示意图。
图5是示出了根据本发明实施例的在检测步伐频率时各个方向上的加速度变化频率的示意图。
图6是示出了根据本发明实施例的在设备处执行的用于自动检测行为模式的示例方法的流程图。
图7是示出了根据本发明实施例的用于执行图6所示方法的示例设备的框图。
具体实施方式
下面参照附图对本发明的优选实施例进行详细说明,在描述过程中省略了对于本发明来说是不必要的细节和功能,以防止对本发明的理解造成混淆。以下,以本发明应用于无线移动通信系统的场景为例,对本发明进行了详细描述。但本发明并不局限于此,本发明也可以应用于固定通信系统、有线通信系统,或者应用于无线移动通信系统、固定通信系统、有线通信系统等的任意混合结构。就移动通信系统而言,本发明并不局限于所涉及的各个移动通信设备的具体通信协议,可以包括(但不限于)2G、3G、4G、5G网络,WCDMA、CDMA2000、TD-SCDMA系统等,不同的移动设备可以采用相同的通信协议,也可以采用不同的通信协议。此外,本发明并不局限于移动设备的具体操作系统,可以包括(但不限于)iOS、Windows Phone、Symbian(塞班)、Android(安卓)等,不同的移动设备可以采用相同的操作系统,也可以采用不同的操作系统。
图1是示出了根据本发明的行为模式检测系统1000的应用场景的示意图。如图1所示,系统1000可以包括设备100和可选的服务器200。为了清楚起见,图中仅示出了一个设备100、一个服务器200,但本发明并不局限于此,可以包括两个或更多数目的设备和/或服务器等等。设备100可以属于用户或者可以由用户操作。设备100和服务器200可以通过通信网络300进行通信。通信网络300的示例可以包括(但不限于):互联网、移动通信网络、固定线路(如xDSL、光纤等)等。此外,在单独使用设备100的情况下,可以不需要服务器200和/或通信网络300,这并不影响根据本发明实施例的设备100的正常使用。
在图1所示实施例中,为了在设备100上对(用户的)行为模式进行检测和/或识别,将根据本发明的实施例的行为模式检测客户端150(以下简称为客户端150)安装在设备100上。客户端150可以由用户以软件的形式自行安装在设备100中,或者可以由生产厂商以硬件或固件的形式安装在设备100中。在一些实施例中,客户端150可以是例如在用户购买了设备100之后从网络中下载的专门用于本发明的应用软件,例如iOS或安卓平台上的app。在另一些实施例中,客户端150可以是例如由生产厂商以固件或硬件形式预先安装在设备100中的应用程序。在又一些实施例中,客户端150可以是由生产厂商生产的硬件模块或设备100本身。以下当不特别指明时,可以将设备100和客户端150交换使用。
接下来,将结合图2和图3来详细描述根据本发明实施例的用于检测用户和/或设备100的行为模式的神经网络架构。
在一些实施例中,设备100可以是移动设备,例如智能手机、平板计算机、膝上型计算机、上网本、或其他任何专用便携式设备(例如,可穿戴设备)等。如图2最下层以及图3左下侧所示,在这些移动设备上,通常会安装多种传感器,常见的传感器包括例如(但不限于):加速度计、陀螺仪、GPS等。此外,在另一些移动设备上,例如由专业人员使用的一些专用移动设备上,还可能搭载诸如地磁仪、气压计、光照计、温度计、湿度计等。在另一些实施例中,设备100也可以不具有这些传感器,而是通过通信方式从外部传感器获取这些数据。通过使用这些传感器实时获取的数据,设备100和/或获取到设备100的这些传感器数据的另一装置可以确定设备100的各种环境数据。在一些实施例中,环境数据可以包括例如(但不限于):经度、纬度、海拔、速度、加速度、温度、湿度、光照强度、地磁倾角、地磁偏角、地磁强度、气压等等。
在本发明的一些实施例中,这些传感器数据可以作为图2所示的行为模式检测神经网络的输入数据。在图2所示实施例中,在该神经网络的第一级中,设备100可以从其包含的或与其可通信相连的一个或多个传感器获取实时数据。
下面,先简要介绍一下与本发明的一些实施例密切相关的大地坐标系。在大地坐标系中,可以分别以向北、向东、以及向地心三个方向为大地坐标系x轴、大地坐标系y轴、和大地坐标系z轴的正方向,原点可以为设备100的重心。当然,本发明不限于此,而是可以使用任何恰当的坐标系。例如,可以使用向东、向北、以及来自地心的方向,又或者原点可以选择地心等等。该坐标系可以是如上所述的右手坐标系,也可以是左手坐标系(例如,向北、向东、以及来自地心的方向等)。实际上,在一些实施例中,只要在该坐标系下能够体现设备100的加速度的各向分量及其变化即可。当设备100想要将其获得的各种传感器数据(例如,加速度等)变换到大地坐标系下时,其可以在第一级中先计算出用于进行这种变换的变换矩阵。
在设备100是例如移动电话的示例中,由于用户手持电话的方式和用户本身的运动,设备100的姿态相对于大地坐标系随时都可能变化。因为设备100内置的例如3D加速度计是与其结构绑定的,所以设备100的3D加速度计测量得出的加速度(a)的各向分量是相对于设备坐标系而言的。在本发明的一些实施例中,一个关键的创造性理念是:可以经过实时3D坐标变换将设备坐标系中的加速度的各向分量换算为大地坐标系中各轴上的分量,并进而可以允许对其做进一步的分析(例如,傅立叶变换和/或频域分析等)。
设备坐标系的设定方法可以有很多种。在一些实施例中,如图4所示,可以将设备100的短边方向设定为X0,长边设定为Y0,屏幕法向方向为Z0。类似地,大地坐标系的设定方法也可以有很多种。在图4所示实施例中,可以设定北方为X,东方为Y,以及地心方向为Z(即大地坐标系中的北-东-下(north-east-down,简称为NED)系统,具体可以参考http://en.wikipedia.org/wiki/North_east_down)。在另一些实施例中,大地坐标系也可以使用东-北-上(east-north-up,简称为ENU)系统。
如图4所示,假定某时刻设备100上的3D加速度计(或其他类似传感器)测量的加速度各向分量分别是(x0,y0,z0),则可以如下计算其在大地坐标系下的相应分量(x,y,z)=(x0,y0,z0)R,其中,R是3x3的旋转(线性)变换矩阵。该矩阵可以根据设备100的陀螺仪、地磁仪等的实时数值换算得到。本领域中存在若干种获得不同坐标系之间的变换矩阵的方式,因此本申请中将不对其进行详细描述。在一些实施例中,通过上述方式可以将设备100的加速度在设备坐标系下的各向分量实时转换为大地坐标系下的对应分量,供后续分析之用。
此外,在一些实施例中,还可以对这些数据进行简单的滤波。
返回图2,在神经网络的第二级中,设备100除了可以根据在第一级中得到的坐标系变换矩阵(例如,矩阵R),将从3D加速度计等接收到的加速度在设备坐标系下各向分量数据如上所述变换为大地坐标系下的对应分量之外,还可以根据例如陀螺仪的数据等来导出设备100的当前姿态、角速度、根据GPS接收机的数据等来导出设备100的各向线速度、根据气压计的数据导出气压变化(海拔变化)等等。从而得到图2中作为第三级处理基础的各种中间数据(也称为简单行为特征)。此外,神经网络的第二级还可以对第一级的之前一段时间内获取到的各种数据进行保存,以形成各种数据的历史记录。
如图2所示,在神经网络的第三级中,设备100可以从这些中间数据(简单行为特征)中提取出设备(和/或其用户)运动的复杂行为特征。例如,设备100可以根据上述导出的简单行为特征和历史记录等,计算出加速度在例如大地坐标系下各方向的瞬时振幅、频率和不定时间长内的平均振幅、频谱等用于描述设备100行为特征的数据。该复杂行为特征数据包括例如(但不限于):加速度在各个方向上的各向频谱分布、各向振幅分布、和/或融合的位置、高度、速度、加速度等。这些复杂行为特征数据以量化的方式描述了设备100在运动方式上的各种特性,例如是否存在突然转向、加速度短时震荡变化、或者是否存在规律性周期振动等等。下文中将给出如何导出复杂行为特征的一些具体示例。
同样如图2所示,在神经网络的第四级中,设备100可以根据复杂运动特征和地理位置信息等,结合预设的各行为参考模型,计算出该行为与各参考模型的相似度,并确定最终行为分析结果。例如,行为模式的参考模型可以包括(但不限于):静止、步行、上下楼梯、奔跑、乘电梯、骑自行车、驾驶机动车等等。
此外,参见图3左侧中部和上部框图,其总体上示出了上述神经网络的大致工作内容。
建模和模型匹配
在本发明的一些实施例中,可以使用m维的欧式实向量空间Rm对人的行为(模式)进行建模。在一个实施例中,m可以设定为15。当然,本发明不限于此,Rm的维度可以大于或小于15,也可以仅包括本实施例中各维度的子集和/或包括本实施例中并未描述的其他维度。
具体地,在该实向量空间Rm中,设备100的行为可以用向量d=(d0,d1,...,d14)来表示,其中,d0~d14是该待确定行为的不同特征分量,其分别描述了该行为的特性的不同方面,下面给出对本实施例中各个维度分量的具体解释。
d0、d1、d2:分别为大地坐标系x轴、大地坐标系y轴、大地坐标系z轴正方向上在指定周期内设备100的加速度的平均振幅的布尔型指示。即,如果平均振幅超过阈值,则其值为1,反之为0。
以d0为例,在一个实施例中,可以通过如下公式来得到d0
其中,T为取均值周期(例如,5秒),Δt为取值时间间隔(例如5ms),xk为当前时刻至之前第k×Δt时刻X轴正方向的加速度数值,Mx,thrsh为用于判断振幅的总量级(magnitude)的阈值。类似地通过以下方式定义Y轴正方向和Z轴正方向的布尔型指示d1和d2
在一些实施例中,阈值Mx,thrsh、My,thrsh、Mz,thrsh可以在半闭半开区间[0.15,100)中取值。此外,对于以上各参数的取值,本发明不限于上述具体数值。实际上,可以根据实际需要来选取任何恰当的值,下文中出现的参数当无特别说明时,也同样可以选取任何恰当的值。
d3、d4、d5:依次为设备100的加速度在X轴、Y轴、Z轴正方向在T时间段内振动布尔型指示,其记录了经过傅立叶分解后的低频分量之和(f≤flow),在本实施例中,其代表了由刹车、猛拐等造成的振动。
在一个实施例中,d3、d4、d5的获取方法如下:
设所取频谱区间为[1,T·N]赫兹,经傅立叶变换,当前时间前第k×Δt时刻的X轴正方向加速度振幅xk可以分解为:
其中,Ax,n为X正方向上频率为n/T的正弦波长振幅,ax,0为常数振幅偏移,Φx,n为该正弦波的初相。类似地,Y轴和Z轴的正方向加速度振幅yk和zk分解为:
其中,Ay,n、Az,n为Y轴和Z轴正方向上频率为n/T的正弦波长振幅,ay,0、az,0为相应的常数振幅偏移,Φy,n、Φz,n为相应正弦波的初相。根据傅立叶展开得到振幅系数Ax,n、Ay,n、Az,n后,d3、d4、d5的布尔值由相关阈值决定:
d6、d7、d8:依次为X轴、Y轴、Z轴正方向在T时间段内振动的布尔型指示,记录了经过傅立叶分解后的中频分量之和(flow<f<fhigh),在本示例中,其代表了在走路、跑步、骑车等时由摇摆等造成的振动。其类似于上述d3、d4、d5,定义为:
d9、d10、d11:依次为X轴、Y轴、Z轴正方向在T时间段内振动布尔型指示,记录了经过傅立叶分解后的高频分量之和(f≥fhigh),代表路面振动、背景噪音等特征。其类似于上述d3~d8,定义为:
在一些实施例中,flow和fhigh可以分别取约1.2和约4.2。当然本发明不限于此,它们也可以分别取其他任何合适的值,只要它们能够将不同行为特征的各个频率区间进行恰当划分即可。在一些实施例中,对频率区间的该划分可以通过实际试验数据给出的。
d12、d13、d14:依次为水平面(即,X轴和Y轴所形成的平面)上的静止、运动、高程变化布尔型指示,其中,表示速度,vthrsh为速率阈值,Δp为气压变化,Δpthrsh为气压变化阈值。
在一些实施例中,Δpthrsh可以取0.09mbar。当然本发明不限于此,它们也可以分别取其他任何合适的值,只要它们能够将不同行为特征导致的气压变化进行恰当描述即可。
至此,已获得了本实施例所需的全部15个行为特征分量,进而可以据此构造行为特征向量d=(d0,…,d14)。在一些实施例中,为了方便后续处理,可以对该特征向量d进行归一化处理或准归一化处理,即进行缩放以令或近似为1。当然,这不是必须的操作,也可以不对其进行归一化处理。实际上,只需在上述过程中采取统一标准来处理不同的行为特征向量,以使得不同的行为/参考行为可以在这15个特征分量的意义上进行比较,就足以实现本公开的理念。
然后,将该待检测行为的行为特征向量d与预先设定的一个或多个行为参考向量进行比对,得到d与这些参考向量之间的相似度。在一个实施例中,该相似度可以通过向量内积方式来求得,例如,如以下公式所示:
Lk=d·λk (19)
其中向量λk=(λ0 k,λ1 k,…,λ14 k)T为第k个参考行为的行为特征参考向量的转置(即,由行向量变为列向量),Lk为当前行为与第k个参考行为模型的相似度(内积)。在一些实施例中,该参考特征向量也可以是归一化向量。当然,该参考特征向量也可以不是归一化向量,只要其对于待确定行为模式的各行为向量保持一致即可。
当计算出待确定行为模式的行为向量与所有参考行为向量的相似度之后,若L满足以下公式,则可以判断与L相对应的参考行为模式(模型)为设备100的行为模式:
L=arg maxk(Lk)或L=maxk(Lk) (20)
其中,argmax()为求使得L为最大值的Lk的运算,max()为求最大值运算。在一些实施例中,如果L不唯一,则可依照上下文判断。
下面将给出一些行为特征参考向量的具体示例。
例如,室内平地步行的λ模型可以为(但不限于):
(0,0,0.1,0,0,0,0.1,0.1,0.85,0,0,0,0,0.5,0)
又例如,室内上下楼的λ模型可以为(但不限于):
(0,0,0.1,0,0,0,0.1,0.1,0.85,0,0,0,0.3,0,0.4)
此外,设备100还可以根据Δp的正负来进一步判断是上楼还是下楼。
再例如,驾驶机动车的λ模型可以为(但不限于):
(0.1,0.1,0.1,0.3,0.3,0.1,0.1,0.1,0.1,0,0,0.33,0,0.8,0)
此外,同样如图2中第四级所示,可以根据设备100的用户对设备100所判定的行为模式结果给出的反馈,来修正相应参考向量的相应分量。例如,当用户发现给出的判定行为模式结果符合其现在的运动状态,其可以向设备100提供正反馈,以例如加强上述神经网络将设备100的类似行为判定为该行为模式的概率(例如,修改分量以提高其相似度)。反之,如果用户发现给出的判定行为模式结果不符合其现在的运动状态,其可以向设备100提供负反馈,以例如降低上述神经网络将设备100的类似行为判定为该行为模式的概率(例如,修改分量以降低其相似度)。
此外,在一些实施例中,设备100在完成行为模式识别后,如图3右侧所示,可以实时或定期将数据上传到远程管理服务器(例如,图1所示服务器200),以进行长期数据记录和分析,并提供相应的健康和出行建议。例如,当发现设备100的用户在较长时间段期间没有跑步或类似运动行为时,可以提示设备100的用户进行体育锻炼等等。又例如,当发现设备100的用户在驾驶时经常出现急刹、急加速、急转弯等不良驾驶行为时,可以提示设备100的用户注意安全驾驶等等。
此外,在一些实施例中,如图3右侧所示,设备100可根据用户的社交网络设定,对用户行为进行实时跟踪。例如,可以将用户正在进行跑步等运动的情况发布到社交网站上,例如跑步路线、跑步速度等。又例如,可以将用户(例如,老人)在非通常睡眠时间时长时间静止不动的行为发送给关注方(例如,老人的子女),以方便关注方对用户的健康情况进行及时确认等等。
下面给出可以应用本发明实施例的一些更详细的应用场景。
自动记录个人行为和实时分享
用户无须预先向手机告知其行为模式,且任何人都可准确计算自己每天运动量(包括走路、跑步、上下楼)、生活环境(如温湿度、PM2.5等)、驾驶记录(包括急刹、猛拐等不良驾驶习惯),并进行长期行为分析和获取建议。此外,任何人都可通过社交网络等实时分享有特殊意义的经历:如登上珠峰、自驾游、探险、自行车环城赛和马拉松等。
在一些实施例中,可以通过如下方式来测量携带设备100的用户的步伐频率。在执行了上述3D实时坐标变换和后续傅立叶分解后,可以发现用户在步行时北、东、地心三轴的加速度振幅和频谱分布如图3所示(其中,E_W表示东西向,N_S表示南北向,以及_G_表示地心向)。在这些实施例中,可以认为地心方向(_G_)在中频区域(例如1~4.2Hz)的最大值为人的步伐频率。这是因为由于人(以及设备100)在行走时重心会上下起伏,因此设备100的加速度在地心方向上会有一个位于中频区域的振动频率。从而可以据此计算出一个周期内(例如,2秒)的步数。请注意:该步数可以是小数。然后,通过将各个周期内步数的累计,可以计算出指定时间段内的总步数。
在这些实施例中,具体计算过程可以是:先计算z轴(地心向)中频[flow,fhigh]频域的最大振幅Az,mid_max,以及该振幅所对应频率fz,mid_max
Az,mid_max=arg maxn(|Az,n|),n∈[flow,fhigh] (21)
然后,可以通过与过滤阈值Astep_thrsh进行比较来得到步伐频率:
其中,上述阈值等可以通过实际试验得到。通过上述方式,本发明人发现以这种方法计算的步数误差在5%以内,这远低于其他现有技术的测量结果中的误差。
此外,在一些实施例中,还可以类似地提供用于检测危险驾驶的方法。与步伐频率检测相似,区别在于检测区间为低频[0,flow]以及检测方向为水平方向(北和/或东)的分量。当状态检测为开车、且低频最大值超过阈值时,可以判断设备100的用户处于危险驾驶状态(例如,急刹、猛拐)。
行为关注类
成年子女可通过关注父母(如身体健康有一定问题、独居的老人),及时了解他们每天的运动量、大致活动和突发事件(如非睡眠时间长时间不动)等。
地点关注类
家长可通过关注的学龄子女每天下学后的行踪;旅游团互相关注,以免在陌生地区走失;快递员可以让公司或客户知道他们送货的状态(如途经地点、当前状态)。
当然,本发明不限于上述应用场景,其也可以应用于任何恰当的场景。
至此,详细描述了根据本发明实施例的用于自动检测行为模式的方法和设备。使用该方法和设备,可通过建模和神经网络来自动识别人的复杂行为模式,并可随着传感器性能提升和功能扩展,进一步扩大可识别行为的范畴和提高精度。此外,利用神经网络的神经元前向反馈机制改进模型,可以使单项数据分析的准确性提高:如计步器平均误差<5%、有效过滤GPS漂移等。此外,可通过建立特定社交网络,对特定人群进行实时监控,如老人、儿童、旅游团成员、快递员等。此外,可对设备(或其用户)的行为模式进行长期记录,识别长期行为(习惯)并提出改进建议。
图6是示出了根据本发明实施例的在设备100中执行的用于自动检测行为模式的方法400的流程图。如图6所示,方法400可以包括步骤S410、S420、S430和S440。根据本发明实施例,方法400的一些步骤可以单独执行或组合执行,以及可以并行执行或顺序执行,并不局限于图6所示的具体操作顺序。在一些实施例中,方法400可以由图1所示的设备100和/或其上安装的客户端150来执行。
图7是示出了根据本发明实施例的用于自动检测行为模式的示例设备100的框图。如图7所示,设备100可以包括:行为数据获取单元110、特征向量确定单元120、相似度确定单元130、和行为模式确定单元140。
行为数据获取单元110可以用于获取与待检测行为相关的一种或多种行为数据。行为数据获取单元110可以是设备100的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等,其可以与设备100的总线和/或传感器合作,从一个或多个传感器获取与待检测行为相关的一种或多种行为数据。
特征向量确定单元120可以用于至少根据一种或多种行为数据中的全部或部分行为数据来确定行为特征向量。特征向量确定单元120可以是设备100的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等,其可以与设备100的存储器(例如,SD卡)合作,根据存储器中存储的全部或部分行为数据来确定行为特征向量。
相似度确定单元130可以用于确定行为特征向量与一个或多个行为特征参考向量的相似度。相似度确定单元130可以是设备100的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等,其可以与设备100的存储器(例如,SD卡)合作,确定行为特征向量与存储器中事先存储的一个或多个行为特征参考向量的相似度。
行为模式确定单元140可以用于将待检测行为的行为模式确定为与具有最高相似度的行为特征参考向量相对应的行为模式。行为模式确定单元140可以是设备100的中央处理单元(CPU)、数字信号处理器(DSP)、微处理器、微控制器等等,其可以用于将待检测行为的行为模式确定为与上述一个或多个行为特征参考向量中具有与待检测行为的行为模式的最高相似度的行为特征参考向量相对应的行为模式。
此外,设备100还可以包括图7中未示出的其他单元,例如反馈结果获得单元、参考向量调整单元、数据提交单元、通知发送单元等。在一些实施例中,反馈结果获得单元可以用于获得对所确定的行为模式的反馈结果。在一些实施例中,参考向量调整单元可以用于根据反馈结果来调整一个或多个行为特征参考向量,以供后续使用。在一些实施例中,数据提交单元可以用于向远程服务器提交所确定的行为模式和相关传感器数据,供远程监控和/或长期数据统计之用。在一些实施例中,通知发送单元可以用于向指定地址发送与所确定的行为模式相关的通知。
以下将结合图6和图7,对根据本发明实施例的在设备100上执行的用于自动检测行为模式的方法400和设备100进行详细的描述。
方法400开始于步骤S410,在步骤S410中,可以由设备100的行为数据获取单元110来获取与待检测行为相关的一种或多种行为数据。
在步骤S420中,可以由设备100的特征向量确定单元120至少根据一种或多种行为数据中的全部或部分行为数据来确定行为特征向量。
在步骤S430中,可以由设备100的相似度确定单元130确定行为特征向量与一个或多个行为特征参考向量的相似度。
在步骤S440中,可以由设备100的行为模式确定单元140将待检测行为的行为模式确定为与具有最高相似度的行为特征参考向量相对应的行为模式。
在一些实施例中,一种或多种行为数据可以是从以下至少一种传感器获取到的:陀螺仪、加速度计、GPS、气压计、光照计、地磁仪、温度计、和/或湿度计。
在一些实施例中,一种或多种行为数据可以至少包括以下各项:待检测行为的加速度在设备坐标系中的各维度分量。
在一些实施例中,步骤S420还可以包括:将待检测行为的加速度在设备坐标系下的各维度分量变换为在大地坐标系下的相应维度分量。
在一些实施例中,大地坐标系的各维度正方向可以分别是:向北、向东、以及地心向。
在一些实施例中,行为特征向量可以包括以下至少一项:指示待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示;指示待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示;指示待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示;指示待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示;和/或指示待检测行为在水平面上静止、运动、海拔变化的布尔型指示。
在一些实施例中,指示待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示可以是通过下式得到的:
其中,d0、d1、d2分别是指示待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示,T为指定周期,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,以及Mx,thrsh、My,thrsh、Mz,thrsh分别是相应维度的预定阈值。
在一些实施例中,指示待检测行为的加速度在指定周期内的低频振动、中频振动和高频振动在大地坐标系中的各维度分量的布尔型指示可以是分别通过以下公式得到的:
其中,d3、d4、d5分别是指示待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示,d6、d7、d8分别是指示待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示,d9、d10、d11分别是指示待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示,T为指定周期,flow和fhigh是用于区分低频、中频、高频振动的划分频率,Ax,low、Ay,low、Az,low分别是相应维度的低频振动阈值,Ax,mid、Ay,mid、Az,mid分别是相应维度的中频振动阈值,Ax,hi、Ay,hi、Az,hi分别是相应维度的高频振动阈值,以及Ax,n、Ay,n、Az,n分别是相应维度上频率为n/T的正弦波长振幅。
在一些实施例中,Ax,n、Ay,n、Az,n可以分别通过以下傅立叶级数展开来得到:
其中,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,ax,0、ay,0、az,0分别是常数振幅偏移,以及Φx,n、Φy,n、Φz,n分别是各维度的相应正弦波的初相。
在一些实施例中,指示待检测行为在水平面上静止、运动、海拔变化的布尔型指示可以是通过以下公式得到的:
其中,为待检测行为的速度,vthrsh为速率阈值,Δp为气压变化,以及Δpthrsh为气压变化阈值。
在一些实施例中,Mx,thrsh、My,thrsh、Mz,thrsh的取值范围可以为[0.15,100)。
在一些实施例中,行为特征向量可以是归一化行为特征向量。
在一些实施例中,步骤S430可以包括:计算行为特征向量与一个或多个行为特征参考向量的内积,作为相似度。
在一些实施例中,一个或多个行为特征参考向量可以与以下至少一项行为相对应:静止、室内行走、上下楼梯、室外行走、登山、跑步、骑自行车、乘电梯、和/或驾驶机动车。
在一些实施例中,在步骤S440之后,方法400还可以包括:(S450)获得对所确定的行为模式的反馈结果;以及(S460)根据反馈结果来调整一个或多个行为特征参考向量,以供后续使用。
在一些实施例中,在步骤S440之后,方法400还可以包括:(S470)向远程服务器提交所确定的行为模式和相关传感器数据,供远程监控和/或长期数据统计之用。
在一些实施例中,在步骤S440之后,方法400还可以包括:(S480)向指定地址发送与所确定的行为模式相关的通知。
在一些实施例中,当判断所述待检测行为的行为模式是行走时,所述方法还包括用于获得步伐频率的以下步骤:
计算Az,mid_max=arg maxn(|Az,n|),n∈[flow,fhigh],其中,Az,mid_max似是地心向中频[flow,fhigh]频域的最大振幅,以及该振幅所对应频率fz,mid_max;以及
通过以下公式来得到步伐频率:
其中Astep_thrsh是用于判断步伐的振幅阈值。
在一些实施例中,当判断所述待检测行为的行为模式是驾驶时,所述方法还包括用于检测危险驾驶的以下步骤:
计算Ax,low_max=arg maxn(|Ax,n|),n∈[0,flow]以及Ay,low_max=arg maxn(|Ay,n|),n∈[0,flow],其中,Ax,low_max和Ay,low_max分另是水平两个方向低频[0,flow]频域的最大振幅;以及
通过以下公式来检测危险驾驶:
其中Adrive_thrsh是用于判断是否危险驾驶的振幅阈值。
此外,本领域技术人员将认识到,本公开所述主题的机制能够作为多种形式的程序产品进行分发,并且无论实际用来执行分发的信号承载介质(计算机可读存储介质)的具体类型如何,本公开所述主题的示例性实施例均适用。信号承载介质(计算机可读存储介质)的示例包括(但不限于):可记录型介质,如软盘、硬盘驱动器、高密度盘(CD)、数字多功能盘(DVD)、数字带、计算机存储器等;以及传输型介质,如数字和/或模拟通信介质(例如,光纤光缆、波导、有线通信链路、无线通信链路等)。在一个实施例中,本发明实施例可以体现在一种计算机可读存储介质中,该计算机可读存储介质其上存储有计算机程序,当该计算机程序由处理器运行时,使得处理器执行根据本发明实施例的各方法步骤。
至此已经结合优选实施例对本发明进行了描述。应该理解,本领域技术人员在不脱离本发明的精神和范围的情况下,可以进行各种其它的改变、替换和添加。因此,本发明的范围不局限于上述特定实施例,而应由所附权利要求所限定。

Claims (33)

1.一种用于自动检测行为模式的方法,包括:
(a)获取与待检测行为相关的一种或多种行为数据,所述一种或多种行为数据至少包括以下各项:所述待检测行为的加速度在设备坐标系中的各维度分量;
(b)将所述待检测行为的加速度在设备坐标系下的各维度分量变换为在大地坐标系下的相应维度分量,并至少根据所述待检测行为在大地坐标系下的各维度分量中的全部或部分来确定行为特征向量;
(c)确定所述行为特征向量与一个或多个行为特征参考向量的相似度;以及
(d)将所述待检测行为的行为模式确定为与具有最高相似度的行为特征参考向量相对应的行为模式,
其中,所述行为特征向量包括以下至少一项:
指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示;
指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示;
指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示;
指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示;和/或
指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示。
2.根据权利要求1所述的方法,其中,指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示是通过下式得到的:
其中,d0、d1、d2分别是指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,以及Mx,thrsh、My,thrsh、Mz,thrsh分别是相应维度的预定阈值。
3.根据权利要求1所述的方法,其中,指示所述待检测行为的加速度在指定周期内的低频振动、中频振动和高频振动在大地坐标系中的各维度分量的布尔型指示是分别通过以下公式得到的:
其中,d3、d4、d5分别是指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示,d6、d7、d8分别是指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示,d9、d10、d11分别是指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,flow和fhigh是用于区分低频、中频、高频振动的划分频率,Ax,low、Ay,low、Az,low分别是相应维度的低频振动阈值,Ax,mid、Ay,mid、Az,mid分别是相应维度的中频振动阈值,Ax,hi、Ay,hi、Az,hi分别是相应维度的高频振动阈值,以及Ax,n、Ay,n、Az,n分别是相应维度上频率为n/T的正弦波长振幅。
4.根据权利要求3所述的方法,其中,Ax,n、Ay,n、Az,n分别通过以下傅立叶级数展开来得到:
<mrow> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>a</mi> <mrow> <mi>x</mi> <mo>,</mo> <mn>0</mn> </mrow> </msub> <mn>2</mn> </mfrac> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>A</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mfrac> <mrow> <mn>2</mn> <mi>n</mi> <mi>&amp;pi;</mi> <mo>&amp;CenterDot;</mo> <mi>k</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>t</mi> </mrow> <mi>T</mi> </mfrac> <mo>+</mo> <msub> <mi>&amp;Phi;</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>a</mi> <mrow> <mi>y</mi> <mo>,</mo> <mn>0</mn> </mrow> </msub> <mn>2</mn> </mfrac> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>A</mi> <mrow> <mi>y</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mfrac> <mrow> <mn>2</mn> <mi>n</mi> <mi>&amp;pi;</mi> <mo>&amp;CenterDot;</mo> <mi>k</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>t</mi> </mrow> <mi>T</mi> </mfrac> <mo>+</mo> <msub> <mi>&amp;Phi;</mi> <mrow> <mi>y</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>a</mi> <mrow> <mi>z</mi> <mo>,</mo> <mn>0</mn> </mrow> </msub> <mn>2</mn> </mfrac> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>A</mi> <mrow> <mi>z</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mfrac> <mrow> <mn>2</mn> <mi>n</mi> <mi>&amp;pi;</mi> <mo>&amp;CenterDot;</mo> <mi>k</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>t</mi> </mrow> <mi>T</mi> </mfrac> <mo>+</mo> <msub> <mi>&amp;Phi;</mi> <mrow> <mi>z</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
其中,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,ax,0、ay,0、az,0分别是常数振幅偏移,以及Φx,n、Φy,n、Φz,n分别是各维度的相应正弦波的初相。
5.根据权利要求1所述的方法,其中,指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示是通过以下公式得到的:
其中,为所述待检测行为的速度,vthrsh为速率阈值,Δp为气压变化,以及Δpthrsh为气压变化阈值。
6.根据权利要求4所述的方法,其中,当判断所述待检测行为的行为模式是行走时,所述方法还包括用于获得步伐频率的以下步骤:
计算Az,mid_max=arg maxn(|Az,n|),n∈[flow,fhigh],其中,Az,mid_max是地心向中频[flow,fhigh]频域的最大振幅,以及该振幅所对应频率fz,mid_max;以及
通过以下公式来得到步伐频率:
其中Astep_thrsh是用于判断步伐的振幅阈值。
7.根据权利要求1所述的方法,其中,所述一种或多种行为数据是从以下至少一种传感器获取到的:陀螺仪、加速度计、GPS、气压计、光照计、地磁仪、温度计、和/或湿度计。
8.根据权利要求1所述的方法,其中,所述大地坐标系的各维度正方向分别是:向北、向东、以及向地心。
9.根据权利要求2所述的方法,其中,Mx,thrsh、My,thrsh、Mz,thrsh的取值范围为[0.15,100)。
10.根据权利要求1所述的方法,其中,所述行为特征向量是归一化行为特征向量。
11.根据权利要求1所述的方法,其中,步骤(c)包括:计算所述行为特征向量与一个或多个行为特征参考向量的内积,作为相似度。
12.根据权利要求1所述的方法,其中,所述一个或多个行为特征参考向量与以下至少一项行为相对应:静止、室内行走、上下楼梯、室外行走、登山、跑步、骑自行车、乘电梯、和/或驾驶机动车。
13.根据权利要求1所述的方法,其中,在步骤(d)之后,所述方法还包括:
(e)获得对所确定的行为模式的反馈结果;以及
(f)根据所述反馈结果来调整所述一个或多个行为特征参考向量,以供后续使用。
14.根据权利要求1所述的方法,其中,在步骤(d)之后,所述方法还包括:
(g)向远程服务器提交所确定的行为模式和相关传感器数据,供远程监控和/或长期数据统计之用。
15.根据权利要求1所述的方法,其中,在步骤(d)之后,所述方法还包括:
(h)向指定地址发送与所确定的行为模式相关的通知。
16.根据权利要求4所述的方法,其中,当判断所述待检测行为的行为模式是驾驶时,所述方法还包括用于检测危险驾驶的以下步骤:
计算Ax,low_max=arg maxn(|Ax,n|),n∈[0,flow]以及Ay,low_max=arg maxn(|Ay,n|),n∈[0,flow],其中,Ax,low_max和Ay,low_max分别是水平两个方向低频[0,flow]频域的最大振幅;以及
通过以下公式来检测危险驾驶:
其中Adrive_thrsh是用于判断是否危险驾驶的振幅阈值。
17.一种用于自动检测行为模式的设备,包括:
行为数据获取单元,用于获取与待检测行为相关的一种或多种行为数据,所述一种或多种行为数据至少包括以下各项:所述待检测行为的加速度在设备坐标系中的各维度分量;
特征向量确定单元,用于将所述待检测行为的加速度在设备坐标系中的各维度分量变换为在大地坐标系下的相应维度分量,并至少根据所述待检测行为在大地坐标系下的各维度分量中的全部或部分来确定行为特征向量;
相似度确定单元,用于确定所述行为特征向量与一个或多个行为特征参考向量的相似度;以及
行为模式确定单元,用于将所述待检测行为的行为模式确定为与具有最高相似度的行为特征参考向量相对应的行为模式,
其中,所述行为特征向量包括以下至少一项:指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示;指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示;和/或指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示。
18.根据权利要求17所述的设备,其中,所述一种或多种行为数据是从以下至少一种传感器获取到的:陀螺仪、加速度计、GPS、气压计、光照计、地磁仪、温度计、和/或湿度计。
19.根据权利要求17所述的设备,其中,所述大地坐标系的各维度正方向分别是:向北、向东、以及向地心。
20.根据权利要求17所述的设备,其中,指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示是通过下式得到的:
其中,d0、d1、d2分别是指示所述待检测行为的加速度在指定周期内的平均振幅在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,以及Mx,thrsh、My,thrsh、Mz,thrsh分别是相应维度的预定阈值。
21.根据权利要求17所述的设备,其中,指示所述待检测行为的加速度在指定周期内的低频振动、中频振动和高频振动在大地坐标系中的各维度分量的布尔型指示是分别通过以下公式得到的:
其中,d3、d4、d5分别是指示所述待检测行为的加速度在指定周期内的低频振动在大地坐标系中的各维度分量的布尔型指示,d6、d7、d8分别是指示所述待检测行为的加速度在指定周期内的中频振动在大地坐标系中的各维度分量的布尔型指示,d9、d10、d11分别是指示所述待检测行为的加速度在指定周期内的高频振动在大地坐标系中的各维度分量的布尔型指示,T为所述指定周期,flow和fhigh是用于区分低频、中频、高频振动的划分频率,Ax,low、Ay,low、Az,low分别是相应维度的低频振动阈值,Ax,mid、Ay,mid、Az,mid分别是相应维度的中频振动阈值,Ax,hi、Ay,hi、Az,hi分别是相应维度的高频振动阈值,以及Ax,n、Ay,n、Az,n分别是相应维度上频率为n/T的正弦波长振幅。
22.根据权利要求21所述的设备,其中,Ax,n、Ay,n、Az,n分别通过以下傅立叶级数展开来得到:
<mrow> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>a</mi> <mrow> <mi>x</mi> <mo>,</mo> <mn>0</mn> </mrow> </msub> <mn>2</mn> </mfrac> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>A</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mfrac> <mrow> <mn>2</mn> <mi>n</mi> <mi>&amp;pi;</mi> <mo>&amp;CenterDot;</mo> <mi>k</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>t</mi> </mrow> <mi>T</mi> </mfrac> <mo>+</mo> <msub> <mi>&amp;Phi;</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>a</mi> <mrow> <mi>y</mi> <mo>,</mo> <mn>0</mn> </mrow> </msub> <mn>2</mn> </mfrac> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>A</mi> <mrow> <mi>y</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mfrac> <mrow> <mn>2</mn> <mi>n</mi> <mi>&amp;pi;</mi> <mo>&amp;CenterDot;</mo> <mi>k</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>t</mi> </mrow> <mi>T</mi> </mfrac> <mo>+</mo> <msub> <mi>&amp;Phi;</mi> <mrow> <mi>y</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>z</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>a</mi> <mrow> <mi>z</mi> <mo>,</mo> <mn>0</mn> </mrow> </msub> <mn>2</mn> </mfrac> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>A</mi> <mrow> <mi>z</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mfrac> <mrow> <mn>2</mn> <mi>n</mi> <mi>&amp;pi;</mi> <mo>&amp;CenterDot;</mo> <mi>k</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>t</mi> </mrow> <mi>T</mi> </mfrac> <mo>+</mo> <msub> <mi>&amp;Phi;</mi> <mrow> <mi>z</mi> <mo>,</mo> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
其中,Δt为取样间隔,xk、yk、zk分别为k×Δt时刻到(k+1)×Δt时刻的加速度的相应维度分量,ax,0、ay,0、az,0分别是常数振幅偏移,以及Φx,n、Φy,n、Φz,n分别是各维度的相应正弦波的初相。
23.根据权利要求17所述的设备,其中,指示所述待检测行为在水平面上静止、运动、海拔变化的布尔型指示是通过以下公式得到的:
其中,为所述待检测行为的速度,vthrsh为速率阈值,Δp为气压变化,以及Δpthrsh为气压变化阈值。
24.根据权利要求20所述的设备,其中,Mx,thrsh、My,thrsh、Mz,thrsh的取值范围为[0.15,100)。
25.根据权利要求17所述的设备,其中,所述行为特征向量是归一化行为特征向量。
26.根据权利要求17所述的设备,其中,所述相似度确定单元还用于:计算所述行为特征向量与一个或多个行为特征参考向量的内积,作为相似度。
27.根据权利要求17所述的设备,其中,所述一个或多个行为特征参考向量与以下至少一项行为相对应:静止、室内行走、上下楼梯、室外行走、登山、跑步、骑自行车、乘电梯、和/或驾驶机动车。
28.根据权利要求17所述的设备,其中,所述设备还包括:
反馈结果获得单元,用于获得对所确定的行为模式的反馈结果;以及
参考向量调整单元,用于根据所述反馈结果来调整所述一个或多个行为特征参考向量,以供后续使用。
29.根据权利要求17所述的设备,其中,所述设备还包括:
数据提交单元,用于向远程服务器提交所确定的行为模式和相关传感器数据,供远程监控和/或长期数据统计之用。
30.根据权利要求17所述的设备,其中,所述设备还包括:
通知发送单元,用于向指定地址发送与所确定的行为模式相关的通知。
31.根据权利要求22所述的设备,其中,当判断所述待检测行为的行为模式是行走时,所述设备还包括:
振幅频率计算单元,用于计算Az,mid_max=arg maxn(|Az,n|),n∈[flow,fhigh],其中,Az,mid_max是地心向中频[flow,fhigh]频域的最大振幅,以及该振幅所对应频率fz,mid_max;以及
步伐频率获得单元,用于通过以下公式来得到步伐频率:
其中Astep_thrsh是用于判断步伐的振幅阈值。
32.根据权利要求22所述的设备,其中,当判断所述待检测行为的行为模式是驾驶时,所述设备还包括:
振幅计算单元,用于计算Ax,low_max=arg maxn(|Ax,n|),n∈[0,flow]以及Ay,tow_max=argmaxn(|Ay,n|),n∈[0,flow],其中,Ax,low_max和Ay,low_max分别是水平两个方向低频[0,flow]频域的最大振幅;以及
危险驾驶检测单元,用于通过以下公式来检测危险驾驶:
其中Adrive_thrsh是用于判断是否危险驾驶的振幅阈值。
33.一种用于行为模式检测和管理的系统,包括:
一个或多个根据权利要求17~32中任一项所述的设备;以及
用于从一个或多个所述设备接收行为模式确定结果和相关传感器数据并进行分析的服务器。
CN201410295063.4A 2014-06-26 2014-06-26 用于自动检测行为模式的方法和设备 Expired - Fee Related CN104091053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410295063.4A CN104091053B (zh) 2014-06-26 2014-06-26 用于自动检测行为模式的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410295063.4A CN104091053B (zh) 2014-06-26 2014-06-26 用于自动检测行为模式的方法和设备

Publications (2)

Publication Number Publication Date
CN104091053A CN104091053A (zh) 2014-10-08
CN104091053B true CN104091053B (zh) 2017-09-29

Family

ID=51638769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410295063.4A Expired - Fee Related CN104091053B (zh) 2014-06-26 2014-06-26 用于自动检测行为模式的方法和设备

Country Status (1)

Country Link
CN (1) CN104091053B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589977B (zh) * 2014-10-23 2019-01-25 安徽华米信息科技有限公司 一种运动次数监测方法及装置
CN104581939B (zh) * 2015-01-04 2018-03-30 中国科学院信息工程研究所 一种基于多种异构传感器的排队行为检测方法及系统
CN104793014A (zh) * 2015-04-22 2015-07-22 蒋憧 基于分布式加速度传感器的行为检测系统和方法
CN105307120B (zh) * 2015-09-24 2019-02-05 Oppo广东移动通信有限公司 乘用升降装置的安全提醒方法和系统
CN105913089B (zh) * 2016-04-13 2019-05-03 北京航空航天大学 用户行为模式的识别方法及装置
CN106302112A (zh) * 2016-08-06 2017-01-04 张阳 跑步运动的分享方法及系统
CN107515413A (zh) * 2017-08-16 2017-12-26 广东远峰电子科技股份有限公司 一种基于智能手表的gps漂移过滤方法和该智能手表
CN110059794A (zh) * 2018-01-18 2019-07-26 北京京东金融科技控股有限公司 人机识别方法及装置、电子设备、存储介质
CN111327757A (zh) * 2018-12-15 2020-06-23 宁波团团工业设计有限公司 一种上下楼梯的警示装置
CN112180319B (zh) * 2020-08-21 2022-11-29 天津市山石机器人有限责任公司 一种基于左、右手性空间定位系统及其定位方法
CN115127545B (zh) * 2022-03-31 2024-09-24 广东小天才科技有限公司 运动状态识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0744721A2 (de) * 1995-05-24 1996-11-27 Siemens Aktiengesellschaft System zur Erfassen der Daten von Artikeln
CN101788861A (zh) * 2009-01-22 2010-07-28 华硕电脑股份有限公司 三维动作识别方法与系统
CN102036163A (zh) * 2009-10-02 2011-04-27 索尼公司 行为模式分析系统、移动终端、行为模式分析方法和程序
CN102227616A (zh) * 2009-05-27 2011-10-26 松下电器产业株式会社 行为识别装置
CN102772211A (zh) * 2012-08-08 2012-11-14 中山大学 一种人体运动状态检测系统及检测方法
CN103489000A (zh) * 2013-09-18 2014-01-01 柳州市博源环科科技有限公司 一种人体动作识别训练系统的实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2933657B1 (fr) * 2008-07-09 2010-08-20 Renault Sas Dispositif d'evaluation de l'acceleration transversale d'un vehicule automobile et procede correspondant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0744721A2 (de) * 1995-05-24 1996-11-27 Siemens Aktiengesellschaft System zur Erfassen der Daten von Artikeln
CN101788861A (zh) * 2009-01-22 2010-07-28 华硕电脑股份有限公司 三维动作识别方法与系统
CN102227616A (zh) * 2009-05-27 2011-10-26 松下电器产业株式会社 行为识别装置
CN102036163A (zh) * 2009-10-02 2011-04-27 索尼公司 行为模式分析系统、移动终端、行为模式分析方法和程序
CN102772211A (zh) * 2012-08-08 2012-11-14 中山大学 一种人体运动状态检测系统及检测方法
CN103489000A (zh) * 2013-09-18 2014-01-01 柳州市博源环科科技有限公司 一种人体动作识别训练系统的实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A survey on smartphone-based systems for opportunistic user context recognition;SEYED AMIR HOSEINI-TABATABAEI等;《ACM computing surveys》;20130630;第45卷(第3期);ARTICLE 27 *
Extreme learning machine-based device displacement free activity recognition model;Yiqiang Chen等;《Soft Computing》;20120207;第16卷(第4期);第1617-1625页 *
基于单个加速度传感器的人体运动模式识别;薛洋;《中国博士学位论文全文数据库 信息科技辑》;20111215;第2章引言、第2.1节、第3.2节引言、第4.2.3节、结论,表4-2,图2-1 *

Also Published As

Publication number Publication date
CN104091053A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN104091053B (zh) 用于自动检测行为模式的方法和设备
US10687752B2 (en) Detecting unmeasurable loads using heart rate and work rate
US10699594B2 (en) Calculating an estimate of wind resistance experienced by a cyclist
US10496881B2 (en) PU classifier for detection of travel mode associated with computing devices
EP2330975B1 (en) Sensor fusion for activity identification
US9228836B2 (en) Inference of vehicular trajectory characteristics with personal mobile devices
US20150213555A1 (en) Predicting driver behavior based on user data and vehicle data
US20130316310A1 (en) Methods for determining orientation of a moving vehicle
US20210068712A1 (en) Detecting the end of cycling activities on a wearable device
CN106030247A (zh) 用于测量骑车节奏的设备
US10952026B2 (en) Neural network classifier for detection of travel mode associated with computing devices
US10136265B2 (en) Trace/trajectory reconstruction via wearable and/or mobile sensors for indoor/outdoor location
US11312430B2 (en) Method and system for lean angle estimation of motorcycles
US12109453B2 (en) Detecting outdoor walking workouts on a wearable device
US20210093918A1 (en) Detecting the end of hiking activities on a wearable device
JP2018524553A (ja) 歩行者推測航法用の技術
US9158740B2 (en) Systems and methods for speed estimation based on stride data using predictive modeling
US10401181B2 (en) Detection of travel mode associated with computing devices
CN106772496A (zh) 一种海拔的测量方法和系统
US20160271449A1 (en) Method, Apparatus and Mobile Phone for Calculating Amount of Exercise
JP6063268B2 (ja) 位置表示情報提供装置、ユーザ端末、位置表示情報提供方法、位置情報取得制御方法、及びプログラム
CA3038399A1 (en) Systems and methods for monitoring the activity of wheelchair users
US10285649B1 (en) Wheelchair movement measurement and analysis
CA3012403A1 (fr) Procede d&#39;estimation de l&#39;activite physique d&#39;un membre superieur
US20200228923A1 (en) Estimating orientation of a mobile device with respect to a vehicle using global displacement information and local motion information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170929

Termination date: 20200626