CN108334833A - 基于fft模型的行为识别方法及系统、设备及存储介质 - Google Patents

Abstract

本发明涉及行为识别技术领域，具体涉及一种基于FFT模型的行为识别方法及系统、设备及存储介质。该方法包括：获取一个或多个传感器信号；对所述一个或多个传感器信号进行处理，以从传感器信号的时域数据中提取特征向量；根据所述特征向量中的第一部分特征确定用户的二元状态；基于快速傅里叶变换模型对所述特征向量进行分析，以确定用户行为状态。本发明提取到特征向量后，先进行二元状态判断，避免了对静止状态的特征向量的处理，提升了特征向量的有效处理率；活动状态下，利用快速傅里叶变换模型分析特征向量，对于长时间和复杂的时间观测序列中的变化，比阈值方法模型有更高的鲁棒性；在使用单独的训练观测序列来进行优化时局限性小。

Description

基于FFT模型的行为识别方法及系统、设备及存储介质

技术领域

本发明涉及行为识别技术领域，具体涉及一种基于FFT模型的行为识别方法及系统、设备及存储介质。

背景技术

过去几十年来，活动行为识别引起了极大的关注。识别现实环境中实时活动行为的类型，将为许多分析系统提供基础，特别是在人工智能领域。活动行为识别的目的之一在于提供用户活动行为有关信息，从而能让计算设备主动协助用户完成任务，同时还可以自动借助控制事件来更改或调整设备。近年来，移动计算设备装备了功能强大的MEMS(微机电系统)传感器和高速处理器，可以为各种便携式设备的应用程序提供先进的活动行为识别能力。各种类型的MEMS传感器，例如加速器、陀螺仪传感器，或两个传感器的组合主要用于分类人类活动行为。一些方法采用与人员活动有关的周期模式的动态模型来获取诸如行走、跑步、驾驶等活动行为的周期性。有些活动行为识别的方法采用概率图模型。在这个方面，大部分工作都利用了隐马尔可夫模型。

通过使用MEMS传感器，尤其是使用三轴加速器来识别人类活动具有一定意义。一般来说，该技术提出了一种阈值方法模型来将观察到的传感器活动识别为有意义的人类行为状态。虽然阈值方法模型可以有效地相对于观测的时间分割变化，但是当应用于长而复杂的时间观测序列的推理时，它倾向于缺乏随机观测之间的条件依赖结构。因此，包含“边缘”的人类行为识别的概率可能很高。概率图模型的技术对于某些类型的活动行为识别问题已经非常有效，然而，在使用单独的训练观察序列来设计最优标准方面可能有所局限。

发明内容

本发明第一方面提供了一种基于FFT模型的行为识别方法，该方法包括：

获取一个或多个传感器信号；

对所述一个或多个传感器信号进行处理，以从传感器信号的时域数据中提取特征向量；

根据所述特征向量中的第一部分特征确定用户的二元状态，所述二元状态为静止状态或活动状态，所述第一部分特征包括传感器信号能量和/或传感器信号方差；

基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态。

优选地，在“基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态”步骤中，对所述特征向量进行时频转换以得到所述特征向量的多个频域特征，所述特征向量包括信号总量和/或低能量。

优选地，在“对所述一个或多个传感器信号进行处理，以从传感器信号的时域数据中提取特征向量”步骤中，采用滑动窗口法对传感器信号对应的数据进行分割以生成用于提取特征向量的传感器数据。

优选地，在“基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态”之后，还包括如下步骤：

根据所确定的用户行为状态对电子计算设备的事件进行预测、更改和/或调整。

本发明第二方面提供了一种基于FFT模型的行为识别系统，该系统包括：

一个或多个传感器；

一个或多个传感器处理器，所述传感器处理器被配置为对所述一个或多个传感器信号进行处理以从传感器信号的时域数据中提取特征向量，并根据所述特征向量中的第一部分特征确定用户的二元状态；其中，所述二元状态为静止状态或活动状态，所述第一部分特征包括传感器信号能量和/或传感器信号方差；

一个活动识别器，所述活动识别器被配置为基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态。

优选地，所述活动识别器对所述特征向量进行时频转换以得到所述特征向量的多个频域特征，所述特征向量包括信号总量和/或低能量。

优选地，所述传感器处理器采用滑动窗口法对传感器信号对应的数据进行分割以生成用于提取特征向量的传感器数据。

优选地，该系统还包括：

调节器，用于根据所确定的用户行为状态对电子计算设备的事件进行预测、更改和/或调整。

本发明第三方面提供了一种电子计算设备，该电子计算设备包括：

一个或多个传感器；

一个或多个传感器处理器；

一个处理器；

一个存储器；

所述一个或多个传感器、一个或多个传感器处理器、一个处理器和一个存储器在工作时实现上述任一项所述的基于快速傅里叶变换模型的行为识别方法。

本发明第四方面提供了一种存储介质，该存储介质内存储有程序，所述程序在被执行时实现上述任一项所述的基于快速傅里叶变换模型的行为识别方法。

与现有技术相比，本发明提取到特征向量后，先进行二元状态判断，避免了对静止状态的特征向量的处理，从而提升了特征向量的有效处理率。此外，活动状态下，利用快速傅里叶变换模型分析特征向量，对于长时间和复杂的时间观测序列中的变化，比阈值方法模型有更高的鲁棒性；在使用单独的训练观测序列来进行优化时局限性小。

附图说明

图1是根据本发明的一个实施例的行为识别系统的示例图；

图2是根据本发明的一个实施例的行为识别方法的流程图；

图3是行走状态下的滑动窗口的时域信号图；

图4是行走状态下的滑动窗口的频域信号图；

图5是驾驶状态下的滑动窗口的时域信号图；

图6是驾驶状态下的滑动窗口的频域信号图；

图7是根据本发明的一个实施例的行为识别方法所提取特征向量随时间的状态变化图；

图8是根据本发明的一个实施例的行为识别方法所确定的用户行为状态变化图；

图9是根据本发明的一个实施例的电子计算设备的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。

本说明书中所述例如“处理”、“计算”、“运算”、“确定”、“建立”、“分析”、“检查”等术语可以指代计算机、计算平台、计算系统或其它电子计算设备的以下操作和/或处理，这些操作和/或处理将计算机的寄存器和/或存储器的物理(电子)量所表示的数据操控和/或变换为计算机寄存器和/或存储器或可以存储指令以执行操作和/或处理的其它信息存储介质的物理量所类似地表示的其它数据。

图1示出了本发明基于FFT模型的行为识别系统的一个实施例。在本实施例中，该基于FFT模型的行为识别系统100包括一个活动识别器110、一个或多个传感器处理器120、一个或多个传感器130。一个或多个传感器处理器120可以是传感器的组件或专用处理器,用于获取和存储来自一个或多个传感器130的数据。一个或多个传感器130可以是加速度计、陀螺传感器或其他类型的传感器。

其中，传感器处理器120被配置为对所述一个或多个传感器信号进行处理以从传感器信号的时域数据中提取特征向量，并根据该特征向量中的第一部分特征确定用户的二元状态；其中，二元状态为静止状态或活动状态，该第一部分特征包括传感器信号能量和/或传感器信号方差。传感器处理器120提取特征向量之后，利用该特征向量中的部分内容进行一个预判断，确定用户是否处于活动状态。根据该特征向量中的第一部分特征确定用户的二元状态，即为：根据该特征向量中的第一部分特征确定用户是处于静止状态还是处于活动状态。

其中，活动识别器110被配置为基于FFT模型对特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态。其中，在一个优选实施方式中，所述特征向量包括信号总量和/或低能量。

具体地，活动识别器110对所述特征向量进行时频转换以得到所述特征向量的多个频域特征。

进一步地，该系统100还包括：调节器，用于根据所确定的用户行为状态对电子计算设备的事件进行预测、更改和/或调整。

根据披露的实施例,一个或多个传感器处理器120可以以大约50Hz或其他频率的采样速率从多个传感器访问/处理感知信号。可以对时域中的原始传感器信号进行预处理以获得该系统的特征向量140(即，观测值)。在某些实现中,从传感器信号中提取的特征可以是信号的能量。在某些实现中,从传感器信号中提取的特征可以是有限时间窗上信号振幅的平均值和方差。

根据披露的实施例,一个或多个传感器处理器120可以生成二元状态。二元状态可以是静止状态或活动状态。一个或多个传感器处理器120可以使用特征向量的部分特征(例如,信号的能量或方差)来确定人们是否处于静止状态。若确定为活动状态(非静止状态)，将通过活动识别器110来处理特征向量140，从而确定用户行为状态(人类各个方面的活动)，如行走、跑步、骑车、驾车或其它活动。在某些实现中,活动识别器110可能会决定人们是否处于行走状态。在某些实现中,活动识别器110可能会决定人们是否处于骑自行车的状态。

根据披露的实施例,基于FFT模型160的活动识别器110分析了特征向量140,以确定用户行为状态，即与人类活动相关的一个或多个状态。在某些实现中,可以包括一个或多个FFT模型160来分析特征向量140。用户行为状态(与人类活动相关的状态)可能包括步行、跑步、骑自行车、开车等等。从状态信息中,一个或多个电子计算设备事件170可以根据确定的状态进行预测、更改、调整和/或调整。在某些实现中,基于位置的应用程序可以根据状态信息调用和调整,例如,基于确定的状态将导航消息显示到前台。在某些实现中,可以控制的其他事件包括定时(例如,基于确定状态延迟/转发地图消息)、更改或调整一个或多个控件(例如,根据确定状态自动调节不同时隙上的位置服务提供商信息,根据确定的状态自动调用/调整电源使用)。

图2示出了本发明基于FFT模型的行为识别方法的一个实施例。该方法包括如下步骤：

S210，获取一个或多个传感器信号；

S220，对所述一个或多个传感器信号进行处理，以从传感器信号的时域数据中提取特征向量；

S230，根据所述特征向量中的第一部分特征确定用户的二元状态，所述二元状态为静止状态或活动状态，所述第一部分特征包括传感器信号能量和/或传感器信号方差；

S240，基于FFT模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态。

其中，在一个优选实施方式中，在步骤S240中，所述特征向量包括信号总量和/或低能量。

具体地，上述方法可以由上述实施例的基于FFT模型的行为识别系统100执行，在S210中,一个或多个传感器处理器120从一个或多个传感器130获取一个或多个传感器信号。

在S220中,从每个传感器时域中的数据确定一个特征向量。

在S230中,基于所得特征向量中的部分特征确定二元状态,其中状态可以是静止状态或活动状态,特征向量中的部分特征可以是信号的能量或方差。如果人们处于静止状态,则进程返回到S210。如果人们是在活动状态,过程继续S240。

在S240,如果由一个或多个传感器处理器120确定的二元状态不是静止状态而是活动状态,活动识别器110根据特征向量确定用户行为状态(人类各个方面的活动),在一个实施例中，特征向量可以包括信号的总量、低能量或者两者的组合。

根据披露的实施例,识别人类活动的过程(用户行为识别)采用了FFT模型。特征(即观测序列)需要从时域转换到频域。在形式上，假设一组T观测值，在时域中给出在一个实施方式中，每个观测包括多个样本，样本每隔几秒采集一次。例如，如果传感器信号的采样速率为50Hz，样本每3秒采集一次，则每次观测包括150个样本。在一个实施方式中，使用滑动窗口方法来形成一组观测。所选的窗口大小是每窗口150个样本。该方法使用重叠67％的窗口。在一个优选实施方式中，观测(即特征)可以是从这些样本计算的能量。FFT的解决方案是寻找与给定观测相关的最佳状态序列

在步骤S240之后还包括如下步骤：

S250，根据所确定的用户行为状态对电子计算设备的事件进行预测、更改和/或调整。

图3至图6是示出根据本发明的一个方面使用，FFT将实时人类行为的观测从时域转换到频域的示例方法的图。图3示出了以时域中呈现的滑动窗口(例如3秒)中的行走实验的观测。如图3所示，可以在窗口中检测多个峰，在一个实施例中，一个峰可以被看作行走实验中的一步。图4示出了以频域中呈现的滑动窗口中的行走实验的观测。如图4所示，可以在0～5Hz的频率分量的窗口中检测到一个主峰。图5和图6分别示出了以时域和频域呈现的，在滑动窗口中的驾驶实验的观测。如图5和图6所示，时域和频域的分量都均匀分布，没有高峰。很明显，基于FFT的行为识别器可以用于将观察到的传感器活动识别为有意义的人类行为状态。

图7和图8是示出根据本发明的一个方面的用于呈现描述人类行为的观测序列的示例方法的图。如图7所示，观测序列在时域中展开，观测是在真实环境中道路数据所获取的信号的总能量、低能量或两者的组合。图8是示出根据本发明的一个方面的用于确定与人类行为相关的状态序列的示例方法的图。状态序列是基于图7中的观测序列通过采用行为识别器确定的。在实时人类行为状态可以是行走和驾驶的应用中。本发明是试图找到正确的状态序列的方法。应该清楚的是，除了退化模型的情况外，没有找到正确的序列。因此，针对实际情况，本发明通常采用频率分析来尽可能好地解决问题。

在更定量的研究中，请参阅表1所示，将FFT模型的表现与概率图模型和阈值方法模型的表现进行比较。在一个方面，注意到对于相同数量的观测，FFT模型和概率图模型的误差率低于阈值方法模型的误差率。另一方面，观察到FFT模型和概率图模型，对于长时间和复杂的时间观测序列中的变化，比阈值方法模型有更高的鲁棒性。一般来说，除非模型已经被高度调谐到特定的数据条件，否则无法达到阈值方法模型的合理表现。相比之下，概率图模型提供了随机观测之间的条件依赖结构，因此识别人员移动的准确性受观测时间区段变化的影响较小，然而，在使用单独的训练观测序列来设计最优标准方面可能有所局限，而FFT模型则避免了这种局限。

表1

识别方法	行为识别计数	误差率(％)
			快速傅里叶变化模型	1436	0.00
概率图模型	1436	0.21
			阈值方法模型	1436	0.49

图9是本发明电子计算设备900的示例框图。电子计算设备900可以是任何类型的设备,如笔记本电脑,平板电脑,智能手机,可穿戴的电子设备以及类似的。电子计算设备900在参照图1至2可执行上述的行为识别。在图9的示例中,电子计算设备900可能包括一个主应用处理器910；一个或多个传感器处理器920,该一个或多个传感器处理器可以是传感器的组件或专用处理器,用于从多个传感器获取和存储数据；一个或多个物理传感器930(例如,加速度计,陀螺仪或类似的)；和存储器940,该存储器可与处理器耦合以存储处理器执行的数据或指令,所以它是处理器可读存储器或计算机可读存储器。

其中，本实施例的电子计算设备的一个或多个传感器930、一个或多个传感器处理器920、一个主应用处理器910和一个存储器940在工作时实现上述的基于FFT模型的行为识别方法。

根据所需的配置,主要应用处理器910可以是任何类型,包括但不限于微处理器,数字信号处理器,多核处理器或类似的。内存控制器(未显示)也可与主应用处理器910一起使用,或者在某些实现中,内存控制器可以是主应用处理器910的内部组件。

根据所需的配置,存储器940可以是任何类型,包括但不限于易失性存储器(如RAM)、非易失存储器(如ROM、闪存等)或其任何组合。存储器940可能包括一个或多个应用程序和程序数据。根据披露的实施例,应用程序可以包括一个算法,被安排来确定活动行为。程序数据可以包括可定向到任意数量的数据类型的程序信息。在某些示例实施例中,可以安排应用程序使用操作系统上的程序数据进行操作。

根据披露的实施例,每个传感器930可以与传感器处理器920连接或通信。所述一个或多个传感器处理器920被配置为通过使用比所述主应用处理器910消耗更少的功率来从一个或多个传感器930获取并存储传感器数据。处理从一个或多个传感器930接收到的数据以获得所述时域中的数据的特征向量；以及基于所述部分特征确定二元状态，其中所述状态信息可以是静止和移动。

根据披露的实施例,在某些实现中,一个或多个传感器处理器920可以作为图1中的示例的活动识别器110来执行基于特征向量的活动行为辨识。在这种情况下,主应用处理器910被配置为根据确定的活动状态来更改、调整和/或调整一个或多个电子计算设备事件。在一些实施方式中，主应用处理器910不仅被配置为执行活动行为识别，而且被配置为根据所确定的行为状态执行一个或多个计算机设备事件。

根据披露的实施例,电子计算设备900基于确定的活动行为状态信息可以根据需要调用和/或调整基于位置的应用。例如，该电子计算设备900可以包括显示单元950。主应用处理器910基于所确定的活动行为状态可以执行将导航消息显示带到前台。在其他实施例中，电子计算设备900基于确定的活动行为状态信息可以控制其他事件包括定时(例如，主应用处理器910可以基于确定的状态执行在显示单元950上延迟/提前地图消息)，改变或调整一个或多个控制。例如，电子计算设备900可以包括无线子系统960(例如，蜂窝、WiFi、蓝牙)和GNSS单元970。主应用处理器910可以基于所确定的状态根据不同的时间段自动调谐由无线子系统和/或GNSS单元提供的位置。又例如，电子计算设备900可以包括电源单元980。主应用处理器910可以基于所确定的状态自动地调用/调整电源使用。

本发明实施例还提供了一种存储介质，该存储介质内存储有程序，该程序在被执行时实现上述任一项的基于FFT模型的行为识别方法。

需要说明的是，本实施例中存储介质可以是只读存储器、可存储静态信息和指令的静态存储设备、随机存取存储器、或者可存储信息和指令的动态存储设备，也可以是电可擦可编程只读存储器、只读光盘、或其他光盘存储、光碟存储、磁盘存储介质或者其他磁存储设备。

需要说明的是，本实施例中的程序可被一种或更多编程语言的任何组合来书写，包括面向对象的编程语言，如JAVA、Smalltalk、C++或类似的编程语言，还包括传统的过程编程语言，如“C”编程语言或类似的编程语言。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于FFT模型的行为识别方法，其特征在于，该方法包括：

获取一个或多个传感器信号；

对所述一个或多个传感器信号进行处理，以从传感器信号的时域数据中提取特征向量；

根据所述特征向量中的第一部分特征确定用户的二元状态，所述二元状态为静止状态或活动状态，所述第一部分特征包括传感器信号能量和/或传感器信号方差；

基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态。

2.根据权利要求1所述的基于FFT模型的行为识别方法，其特征在于，在“基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态”步骤中，对所述特征向量进行时频转换以得到所述特征向量的多个频域特征，所述特征向量包括信号总量和/或低能量。

3.根据权利要求1所述的基于FFT模型的行为识别方法，其特征在于，在“对所述一个或多个传感器信号进行处理，以从传感器信号的时域数据中提取特征向量”步骤中，采用滑动窗口法对传感器信号对应的数据进行分割以生成用于提取特征向量的传感器数据。

4.根据权利要求1所述的基于FFT模型的行为识别方法，其特征在于，在“基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态”之后，还包括如下步骤：

根据所确定的用户行为状态对电子计算设备的事件进行预测、更改和/或调整。

5.一种基于FFT模型的行为识别系统，其特征在于，该系统包括：

一个或多个传感器；

一个或多个传感器处理器，所述传感器处理器被配置为对所述一个或多个传感器信号进行处理以从传感器信号的时域数据中提取特征向量，并根据所述特征向量中的第一部分特征确定用户的二元状态；其中，所述二元状态为静止状态或活动状态，所述第一部分特征包括传感器信号能量和/或传感器信号方差；

一个活动识别器，所述活动识别器被配置为基于快速傅里叶变换模型对所述特征向量进行分析，以对处于活动状态的用户进行行为识别，确定用户行为状态。

6.根据权利要求5所述的基于FFT模型的行为识别系统，其特征在于，所述活动识别器对所述特征向量进行时频转换以得到所述特征向量的多个频域特征，所述特征向量包括信号总量和/或低能量。

7.根据权利要求5所述的基于FFT模型的行为识别系统，其特征在于，所述传感器处理器采用滑动窗口法对传感器信号对应的数据进行分割以生成用于提取特征向量的传感器数据。

8.根据权利要求5所述的基于FFT模型的行为识别系统，其特征在于，该系统还包括：

调节器，用于根据所确定的用户行为状态对电子计算设备的事件进行预测、更改和/或调整。

9.一种电子计算设备，其特征在于，该电子计算设备包括：

一个或多个传感器；

一个或多个传感器处理器；

一个处理器；

一个存储器；

所述一个或多个传感器、一个或多个传感器处理器、一个处理器和一个存储器在工作时实现权利要求1至4中任一项所述的基于快速傅里叶变换模型的行为识别方法。

10.一种存储介质，其特征在于，该存储介质内存储有程序，所述程序在被执行时实现权利要求1至4中任一项所述的基于快速傅里叶变换模型的行为识别方法。