CN102438521A - 用于确定人的姿势的系统和方法 - Google Patents

用于确定人的姿势的系统和方法 Download PDF

Info

Publication number
CN102438521A
CN102438521A CN2010800224939A CN201080022493A CN102438521A CN 102438521 A CN102438521 A CN 102438521A CN 2010800224939 A CN2010800224939 A CN 2010800224939A CN 201080022493 A CN201080022493 A CN 201080022493A CN 102438521 A CN102438521 A CN 102438521A
Authority
CN
China
Prior art keywords
posture
low frequency
probability density
state
motion sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800224939A
Other languages
English (en)
Inventor
P·雅隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Movea SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Movea SA filed Critical Commissariat a lEnergie Atomique CEA
Publication of CN102438521A publication Critical patent/CN102438521A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing

Abstract

本发明涉及一种用于确定人的姿势的系统,其包括至少一个具有至少一个测量轴的运动传感器(CM),所述运动传感器设有固定模块(MF),用于将所述运动传感器(CM)牢靠地连接到用户身上,所述系统包括适于确定用户的姿势的分析模块(AN),这些分析模块(AN)结合了:-所述低频分量和高频分量的联合概率密度函数,这些概率密度函数是针对每一姿势定义的;以及-两种连续的姿势之间的转换概率。

Description

用于确定人的姿势的系统和方法
本发明涉及用于确定人的姿势的系统和方法。
涉及以隐马尔可夫模型为基础的移动分析的系统和方法是已知的,例如,如Daniel Wilson和Andy Wilson的文章“Gesture recognition usingthe XWand”以及P.V.Borza的文章“Motion-based gesture recognitionwith an accelerometer”(学士学位论文)中所述。
文献“A hidden Markov model-based stride segmentation techniqueapplied to equine inertial sensor trunk movement data”,Journal ofBiomechanics 41(2008)216-220,by Thilo Pfau,Marta Ferrari,KevinParsons,and Alan Wilson涉及对马的步态的分析。
然而,这些系统和方法的准确度有限。
本发明的一个目的在于提高确定移动元素,尤其是生物的活动的准确性,所述生物可以是人,也可以是动物。
根据本发明的一个方面,提出了一种用于确定人的姿势的系统,其包括至少一个具有至少一个测量轴的运动传感器,其设有固定装置,用于将所述运动传感器牢靠地连接到用户身上。
所述系统包括:
-滤波器,其针对所述运动传感器的每一测量轴选择高于第一阈值的高频以及低于第二阈值的低频,所述第二阈值低于或等于所述第一阈值;
-用于确定等于所述运动传感器所考虑的测量轴的所述高频的平方之和的一维高频分量和在尺度上等于所述运动传感器考虑的测量轴的数量的低频分量的模块;
-用于计算所述高频分量的概率密度和所述低频分量的概率密度的模块,所述高频分量的概率密度是以等于所述运动传感器考虑的测量轴的数量的自由度通过Chi-2定律定义的,所述的低频分量的概率密度是由高斯定律定义的;以及
-适于确定用户的姿势的分析模块,这些分析模块结合了:
-所述低频和高频分量的联合概率密度,这些概率密度是针对每一姿势定义的;以及
-两种连续的姿势之间的转换概率。
需要提醒的是,隐马尔可夫模型是由两个随机过程定义的:第一个随机过程在本申请中被称为“状态”,不需对其观测,换言之,该随机过程是隐藏的,第二个随机过程是对指定时刻上的概率密度取决于同一时刻的状态的值的观察。根据本发明的第一方面,状态采取离散值。
这一类型的系统能够以提高的准确度确定移动元素,尤其是既可以是人也可以是动物的生物的活动。
在一个实施例中,所述确定模块适于确定等于根据运动传感器考虑的测量轴得到的测量结果的线性组合的一维低频分量,所述高频分量是以一自由度通过Chi-2定律定义的。
根据一个实施例,一对低频分量和高频分量的值的概率密度包括获得低频分量的值的概率密度与获得高频分量的值的概率密度的乘积,所述概率密度是通过下述表达式针对每一状态i确定的:
P x , i ( x ( n ) ) = 1 2 π σ xi · e - ( x ( n ) - μ x , i ) 2 2 σ x , i 2 p y , i ( y ( n ) ) = 1 2 k σ y , i k Γ ( k 2 ) y ( n ) k / 2 - 1 e - y ( n ) 2 σ y , i 2
其中:
x(n)是维度1的信号,其表示具有索引样本n的低频分量;
μx,i表示与所述低频分量具有相同维度的矢量,该矢量表示所涉及的隐马尔可夫模型的状态i;
σx,i表示低频分量x的方差的平方根,其表示所涉及的隐马尔可夫模型的状态i;
y(n)表示具有索引样本n的高频分量;
k表示运动传感器考虑的测量轴的数量;
σy,i是与状态i中的变量y(n)的瞬时平均值成比例的量。例如,σy,i是变量y(n)的瞬时平均值除以k,
Γ是验证 Γ ( 1 2 ) = π , Γ(1)=1以及 Γ ( n + 1 + 1 2 ) = nΓ ( n + 1 2 ) 的伽马函数。
对这一类型的观测信号的建模适用于大多数可能的情况。
在一个实施例中,所述系统包括显示模块。
根据一个实施例,所述运动传感器包括加速度计和/或磁强计和/或陀螺仪。
在一个实施例中,所述系统包括具有测量轴的加速度计和适于将所述第一加速度计固定到用户的躯干上的固定模块,所述采取的固定方式使得所述测量轴与用户直立时身体的纵轴VT一致。
根据一个实施例,所述分析模块适于利用隐马尔可夫模型确定与时间相关的用户的姿势,所述隐马尔可夫模型最多具有从站姿或坐姿、行走姿势、倾斜姿势到躺卧姿势的四种状态。
于是,通过下述内容定义隐马尔可夫模型:
-表示状态的不加以观测的离散过程,其采取来自下述内容的四个值:站姿或坐姿、行走姿势、倾斜姿势和躺卧姿势。这一变量或状态是阶为1的马尔可夫序列,因此其以从一种状态转换到另一种状态的概率为特征;以及
-隐马尔可夫模型的观测过程是多维信号(x(n),y(n)),所述多维信号的概率密度取决于指定时刻上的状态(所述隐藏过程)。
这一概率密度对应于先前通过下述关系定义的联合概率密度:
P(x(n),y(n)|State=i)=PiState(x(n),y(n))=Px,i(x(n))Py,i(y(n))
可以在下文中找到根据不同状态或姿势的概率密度Px,i和Py,i的参数的例子。词语“状态”和“姿势”在本申请中通篇都是同义的。
-对于站姿或坐姿而言,μx∈[0.7;1.3],σx∈[0.05;0.4],
Figure BDA0000111362480000041
-对于行走姿势而言,μx∈[0.7;1.3],σx∈[0.05;0.4],
Figure BDA0000111362480000042
-对于倾斜姿势而言,μx∈[0.7;1.3],σx∈[0.05;0.4],
Figure BDA0000111362480000043
-对于躺卧姿势而言,μx∈[-0.3;0.3],σx∈[0.05;0.4],
Figure BDA0000111362480000044
Pi(x(n),y(n))表示x(n)和y(n)的与时刻n上的状态i相关的概率密度。其对应于先前定义的概率密度Px,i(x(n))和Py,i(y(n))的乘积。如果考虑结合了观测数据x(n)和y(n)的量θ(n),那么可以将其写作Pi(x(n),y(n))=Pi(θ(n)=p(θ(n)/E(n)=i),其中E(n)表示时刻n上的状态。θ(n)={x(n),y(n)}。
然而,纯粹基于观测数据y(n)和相关的概率密度Py,i(y(n))确定时刻n上的状态E(n)通常无法令人满意。实际上,单个样本的观测通常无法确定姿势:必须观察多个样本。
因而,如果E(0:N)表示时刻n=0和时刻n=N之间的状态序列,θ(0:N)表示在时刻n=0和时刻n=N之间观测到的数据,那么将对应于状态序列E(0),E(1)…E(N)的状态序列E(0:N)的概率写作p(E(0:N)|θ(0:N-1)),其与下述内容成比例:
p ( E ( 0 ) ) p ( θ ( 0 ) / E ( 0 ) ) Π n = 1 N p ( E ( n ) / E ( n - 1 ) ) p ( θ ( n ) / E ( n ) )
例如,对于序列E(0:N)={i,i,i,…..,i}而言,将这一概率写作下式:
p ( E ( 0 ) = i ) p ( θ ( 0 ) | E ( 0 ) = i ) ) Π n = 1 N p ( E ( n ) = i | E ( n - 1 ) = i ) ) p ( θ ( n ) | E ( n ) = i ) ) - - - ( 1 )
所估算的状态序列E(0:N)是具有最高概率的序列。在实践中,可以有利地采用维特比算法估算这一序列,而不是考虑所有的可能的序列并计算每者的概率。
P(E(0))表示与初始状态E(0)相关的概率。例如,如果n=0,那么可以选择每种可能的状态的等概率分布。
-p(θ(0)/E(0))表示在时刻E(0)上观测到数据θ(0)的概率。其对应于概率Pi(x(n=0),y(n=0)),其中E(n)=i。
-p(E(n)/E(n-1))表示在时刻n-1上处于状态E(n-1)的情况下在时刻n上处于状态E(n)的概率。
-p(θ(n)/E(n))表示当处于状态E(n)时观测到量θ(n)的概率。其对应于E(n)=i的情况下的概率Pi(x(n),y(n))。
在一个实施例中,所述系统还包括具有测量轴的第二加速度计和适于将所述第二加速度计固定到用户的大腿上的固定模块,其采取的方式使得所述测量轴与用户直立时身体的纵轴VT一致。
例如,所述分析模块适于利用隐马尔可夫模型确定与时间相关的用户的姿势,所述隐马尔可夫模型最多具有从站姿或坐姿、行走姿势、倾斜姿势到躺卧姿势的四种状态。
这种类型的系统能够实时计算人的姿势。
根据一个实施例,在具有索引样本n的情况下,x(n)表示所述两个加速度计的相应低频分量对,y(n)表示所述第二加速度计的高频分量,获得对应于状态i的值x(n)的概率密度是由下述表达式定义的:
其中: P x , i ( x ( n ) ) = 1 ( 2 π ) 2 | Σ x , i | · e - 1 2 ( x ( n ) - μ x , i ) T Σ x , ii - 1 ( x ( n ) - μ x , i )
x,i是描述针对所述模型的状态i的信号x(n)的协方差矩阵的具有维度2的对角矩阵。
μx,i表示一种二分量列向量,其表示所述模型的状态i。
采用下述参数,通过上述概率定义了与这些状态相关的变量x(n)和y(n)的概率:
-对于站姿(状态1)而言,概率密度的参数定义如下:μx,1=[1 1]T以及
Figure BDA0000111362480000061
对于高频分量y(n)而言,其参数如下:σy,1=3e-2
-对于坐姿(状态2)而言,概率密度的参数定义如下:μx,2=[1 0]T以及
Figure BDA0000111362480000062
对于高频分量y(n)而言,其参数如下::σy,2=3e-2
-对于躺卧姿势(状态3)而言,概率密度的参数定义如下:μx,3=[0 0]T以及
Figure BDA0000111362480000063
对于高频分量y(n)而言,其参数如下:σy,3=3e-2
-对于行走姿势(状态4)而言,概率密度的参数定义如下:μx,4=[1 1]T以及
Figure BDA0000111362480000064
对于高频分量y(n)而言,其参数如下:σy,4=1.2e-1
因而,根据上述详细阐释的推理,如果E(0:N)表示时刻n=0和时刻n=N之间的状态序列,θ(0:N)表示在时刻n=0和时刻n=N之间观测到的数据,那么E(0,N)对应于使下述表达式最大化的状态序列E(0),E(1)…E(N):
p ( E ( 0 ) ) p ( θ ( 0 ) / E ( 0 ) ) Π n = 1 N p ( E ( n ) / E ( n - 1 ) ) p ( θ ( n ) / E ( n ) ) - - - ( 1 )
根据这一实施例,θ(n)={x(n),y(n)},其中x(n)和y(n)分别是在时刻n上由所述两个加速度计测得的信号S(n)的所述低频和高频分量。
根据本发明的一个不同的方面,还提出了一种用于确定人的姿势的方法,其特征在于:
-执行滤波,从而针对所述运动传感器的每一测量轴选择高于第一阈值的高频以及低于第二阈值的低频,所述第二阈值低于或等于所述第一阈值;
-确定等于所述运动传感器考虑的测量轴的所述高频的平方之和的一维高频分量和在尺度上等于所述运动传感器考虑的测量轴的数量的低频分量;
-计算所述高频分量的概率密度和所述低频分量的概率密度,所述高频分量是以等于所述运动传感器考虑的测量轴的数量的自由度通过Chi-2定律定义的,所述低频分量是由高斯定律定义的;以及
-采用隐马尔可夫模型确定与时间相关的用户的姿势,所述隐马尔可夫模型具有N个分别对应于N个姿势的状态,可以通过结合下述内容执行这一确定:
-所述低频和高频分量的联合概率密度,这些概率密度是针对每一姿势定义的;以及
-两种连续的姿势之间的转换概率。
通过研究作为非限制性实例描述并通过附图加以图示的若干实施例能够更好地理解本发明,其中:
-图1示出了根据本发明的一个方面的系统;
-图2示出了根据本发明的一个方面的系统的记录的例子;
-图3示出了根据本发明的不同方面的系统的记录的例子。
图1示出了一种用于确定人的姿势的系统,其包括至少一个具有至少一个测量轴的运动传感器CM,其设置在外壳BT内,所述外壳设有用于将所述运动传感器CM牢靠地连接至用户的包括(例如)弹性元件的固定机构。所述运动传感器CM可以是具有一个、两个或三个测量轴的加速度计、磁强计或陀螺仪。
所述系统包括滤波器FILT,其针对所述运动传感器CM的每一测量轴选择高于第一阈值S1的高频以及低于第二阈值S2的低频,所述第二阈值S2低于或等于所述第一阈值S1。所述系统还包括确定模块DET,其用于确定等于所述运动传感器CM考虑的测量轴的所述高频的平方之和的一维高频分量HF和等于根据所述运动传感器CM考虑的测量轴得到的测量结果的线性组合的一维低频分量BF。
所述系统还包括计算模块CALC,其用于计算所述高频分量HF的概率Py的方差的平方、所述低频分量BF的概率Px的方差的平方,所述高频分量HF是以一自由度通过Chi-2定律定义的,所述低频分量BF是由高斯定律定义的。
分析模块AN能够采用隐马尔可夫模型确定与时间相关的用户的姿势,所述隐马尔可夫模型具有分别对应于N个姿势的N个状态。
对于每一状态i而言,获得低频分量BF和高频分量HF的一对值(x(n),y(n))的联合概率Pi(x(n),y(n))的概率密度等于获得低频分量BF的值x(n)的概率密度Px,i与获得高频分量HF的值y(n)的概率密度Py,i的乘积,概率密度Px,i、Py,i是通过下述表达式针对每一状态i定义的:
P x , i ( x ( n ) ) = 1 2 π σ x , i · e - ( x ( n ) - μ x , i ) 2 2 σ x , i 2 p y , i ( y ( n ) ) = 1 2 k σ y , i k Γ ( k 2 ) y ( n ) k / 2 - 1 e - y ( n ) 2 σ y , i 2
其中:
x(n)表示具有索引样本n的低频分量;
μx,i表示与所述低频分量具有相同维度的矢量,该矢量表示所涉及的隐马尔可夫模型的状态i;
σx,i表示低频分量x的方差的平方根,其表示所涉及的隐马尔可夫模型的状态i;
y(n)表示具有索引样本n的高频分量;
k表示运动传感器考虑的测量轴的数量;
σy,i是与状态i中的变量y(n)的瞬时平均值成比例的量。例如σy,i是变量y(n)的瞬时平均值除以k,
Γ是验证 Γ ( 1 2 ) = π , Γ(1)=1以及 Γ ( n + 1 + 1 2 ) = nΓ ( n + 1 2 ) 的伽马函数。
所述系统还包括显示屏AFF。
在第一个例子中,所述系统包括具有测量轴的加速度计和用于将所述加速度计固定到用户的躯干上的固定元件,所述固定所采取的方式使得测量轴与用户直立时身体的纵轴VT一致。
所采用的隐马尔可夫模型包括对应于四种姿势的四个状态,所述四种姿势为站姿或坐姿(状态1)、行走姿势(状态2)、倾斜姿势(状态3)和躺卧姿势(状态4)。隐马尔可夫模型的状态定义如下:
-站姿或坐姿(状态1):μx,1=1,σx,1=0.2并且σy=3e-2
-行走姿势(状态2):μx=1,σx,2=0.2并且σy=1.2e-1
-倾斜姿势(状态3):μx=0.5,σx,3=0.2并且σy=3e-2
-躺卧姿势(状态4):μx=0,σx,4=0.2并且σy=3e-2
因而,在每一时刻n上,可以将人的状态定义如下:
E ( n ) = arg max i ( P x , i ( x ( n ) ) P y , i ( y ( n ) ) = arg max i ( P i ( x ( n ) , y ( n ) )
如果在时刻n上人处于状态i,那么E(n)=i。
Pi(x(n),y(n))表示x(n)和y(n)的与时刻n上的状态i相关的概率密度。其对应于先前定义的概率密度Px,i(x(n))和Py,i(y(n))的乘积。如果考虑结合了观测数据x(n)和y(n)的量θ(n),那么可以写出Pi(x(n),y(n))=Pi(θ(n)=p(θ(n)/E(n)=i),其中E(n)表示时刻n上的状态。
然而,纯粹基于观测数据x(n)和y(n)以及分别与这些数据相关的相关概率密度Px,i(x(n))和Py,i(y(n))确定时刻n上的状态E(n)通常无法令人满意。
经验表明必须考虑先验值和(例如)在时刻n-1中确定的状态E(n-1)。
因而,如果E(0:N)表示时刻n=0和时刻n=N之间的状态序列,θ(0:N)表示在时刻n=0和时刻n=N之间观测到的数据,那么将对应于状态序列E(0),E(1)…E(N)的状态序列E(0:N)的概率写作p(E(0:N)|θ(0:N-1)),其与下述内容成比例:
p ( E ( 0 ) ) p ( θ ( 0 ) / E ( 0 ) ) Π n = 1 N p ( E ( n ) / E ( n - 1 ) ) p ( θ ( n ) / E ( n ) )
例如,对于序列E(0:N)={i,i,i,…..,i}而言,将这一概率写作:
p ( E ( 0 ) = i ) p ( θ ( 0 ) | E ( 0 ) = i ) ) Π n = 1 N p ( E ( n ) = i | E ( n - 1 ) = i ) ) p ( θ ( n ) | E ( n ) = i ) ) - - - ( 1 )
所估算的状态序列E(0:N)是具有最高概率的序列。在实践中,可以有利地采用维特比算法估算这一序列,而不是考虑所有的可能的序列并计算每者的概率。
P(E(0))表示与初始状态E(0)相关的概率。例如,如果n=0可以选择每一可能状态的等概率分布。
-p(θ(0)/E(0))表示在时刻E(0)上观测到数据θ(0)的概率。其对应于概率Pi(x(n=0),y(n=0)),其中E(n)=i。
-p(E(n)/E(n-1))表示当在时刻n-1上状态E(n-1)占优势时处于状态E(n)的概率。
-p(θ(n)/E(n))表示当处于状态E(n)时观测到量θ(n)的概率。其对应于概率Pi(x(n),y(n)),其中E(n)=i。
概率p(E(n)/E(n-1))对应于从状态E(n-1)到状态E(n)的转换概率。通过采取注释E(n-1)=j和E(n)=i在下述表格中指示了这些概率。
例如,可以采用本领域技术人员公知的维特比算法获得使表达式(1)最大化的状态序列E(0)…E(N)
因而,
1)通过针对每一状态E(n)建立:
-在状态E(n)中观测到量θ(n)的概率,其表示为p(θ(n)/E(n))
-状态E(n-1)到状态E(n)的转换概率,其表示为p(E(n)/E(n-1))
2)通过建立与每一状态E(0)相关的概率,
3)通过获得处于n=0和n=N之间的每一时刻n上的观测值θ(n),能够获得最为可能的状态序列E(0)….E(N)
需要提醒的是,在本说明书中,θ(n)={x(n),y(n)},其中,x(n)和y(n)分别是加速度计在时刻n上测得的信号S(n)的所述低频和高频分量。
从对应于隐马尔可夫模型的一个姿势的状态statei到对应于隐马尔可夫模型的一个姿势的不同状态statej的转换概率密度P(statei/statej)如下,通过某种方式对其加以选择从而为所述系统提供良好的稳定性:
Figure BDA0000111362480000121
在输入信号和所定义的隐马尔可夫模型的基础上,分析模型AN通过(例如)在考虑观测信号的情况下计算所有可能状态序列的相关概率并保持最为可能的序列而确定了根据常规流程最为可能的状态(姿势)序列,例如,如文献“An introduction to hidden Markov models”by L.R.Rabinerand B.H.Juang,IEEE ASSP Magazine,January 1986以及Springer的“Springer series in statistics”丛书中Cappé,Moulines和Ryden的“Inference in Hidden Markov Models”一书中所述。
例如,可以将所述系统的不同元件集成到图1a所示的同一外壳BT内,或者,可以使一些元件处于外部,例如,处于便携式计算机OP上,如图1b所示。
图2通过下方图表示出了第一个例子中的系统的用户的记录的例子,此外图2还示出了系统提供的结果,其表明用户处于站姿或坐姿(状态1)36秒,之后处于行走姿势(状态2)16秒,之后处于站姿或坐姿(状态1)8秒,之后处于倾斜姿势(状态3)18秒,之后处于站姿或坐姿(状态1)6秒,之后处于行走姿势(状态2)30秒,之后处于倾斜姿势(状态3)38秒,之后处于站姿或坐姿(状态1)8秒,之后处于行走姿势(状态2)51秒,最后结束于站姿或坐姿(状态1)。
在第二个例子中,所述系统包括具有测量轴的第一加速度计和用于将所述第一加速度计固定到用户的躯干上的第一固定元件,所述固定采取的方式使得所述测量轴与用户直立时身体的纵轴VT一致,所述系统还包括具有测量轴的第二加速度计和用于将所述第二加速度计固定到用户大腿上的第二固定元件,所述固定采取的方式使得所述测量轴与用户直立时身体的纵轴VT一致。
所采用的隐马尔可夫模型包括对应于四种姿势的四个状态,所述四种姿势为站姿(状态1)、坐姿(状态2)、躺卧姿势(状态3)和行走姿势(状态4)。
在这种情况下,在具有索引样本n的情况下,x(n)表示所述两个加速度计的相应低频分量BF组成的对,y(n)表示所述第二加速度计的高频分量HF,获得值x(n)的概率密度Px是通过下述表达式定义的:
P x , i ( x ( n ) ) = 1 ( 2 π ) 2 | Σ x , i | · e - 1 2 ( x ( n ) - μ x , i ) T Σ x , i - 1 ( x ( n ) - μ x , i )
其中:
x,i是描述针对所述模型的状态i的信号x(n)的协方差矩阵的具有维度2的对角矩阵。
μx,i表示一种二分量列向量,其表示所述模型的状态i。
采用下述参数,通过上述概率定义了与这些状态相关的变量x(n)和y(n)的概率:
-对于站姿(状态1)而言,概率密度的参数定义如下:μx,1=[1 1]T并且
Figure BDA0000111362480000141
对于高频分量y(n)而言,其参数如下:σy,1=3e-2
-对于坐姿(状态2)而言,概率密度的参数定义如下:μx,2=[1 0]T以及
Figure BDA0000111362480000142
对于高频分量y(n)而言,其参数如下:σy,2=3e-2
-对于躺卧姿势(状态3)而言,概率密度的参数定义如下:μx,3=[0 0]T以及对于高频分量y(n)而言,其参数如下:σy,3=3e-2
-对于行走姿势(状态4)而言,概率密度的参数定义如下:μx,4=[1 1]T以及
Figure BDA0000111362480000144
对于高频分量y(n)而言,其参数如下:σy,4=1,2e-1
因而,根据上述详细阐释的推理,如果E(0:N)表示时刻n=0和时刻n=N之间的状态序列,θ(0:N)表示在时刻n=0和时刻n=N之间观测到的数据,那么E(0,N)对应于使下述表达式最大化的状态序列E(0),E(1)…E(N):
p ( E ( 0 ) ) p ( θ ( 0 ) / E ( 0 ) ) Π n = 1 N p ( E ( n ) / E ( n - 1 ) ) p ( θ ( n ) / E ( n ) ) - - - ( 1 )
根据这一实施例,θ(n)={x(n),y(n)},其中x(n)和y(n)分别是在时刻n上由所述两个加速度计测得的信号S(n)的所述低频和高频分量。
从对应于隐马尔可夫模型的一个姿势的状态statei到对应于隐马尔可夫模型的一个姿势的不同状态statej的转换概率密度P(statei/statej)如下,通过某种方式对其加以选择从而为所述系统提供良好的稳定性:
Figure BDA0000111362480000151
在输入信号和所定义的隐马尔可夫模型的基础上,分析模型AN通过(例如)在考虑观测信号的情况下计算所有可能状态序列的相关概率并保持最为可能的序列而确定了根据常规流程最为可能的状态(姿势)序列,例如,如文献“An introduction to hidden Markov models”by L.R.Rabinerand B.H.Juang,IEEE ASSP Magazine,January 1986以及Springer的“Springer series in statistics”丛书中Cappé,Moulines和Ryden的“Inference in Hidden Markov Models”一书中所述。
图3在下方图表中示出了第一个例子中所示的系统的用户的记录的例子,并且示出了所述系统提供的结果,其表明用户处于坐姿(状态2)50秒,之后处于行走姿势(状态4)85秒,之后处于站姿(状态1)50秒,之后处于行走姿势(状态4)61秒,之后处于坐姿(状态2)8秒,之后处于躺卧姿势(状态3)94秒,之后处于行走姿势(状态4)54秒,最后结束于坐姿(状态2)。
本发明通过准确地确定姿势的变化以降低的成本和提高的准确度通过实时或延迟的方式实现了对人的姿势的确定。

Claims (13)

1.一种用于确定人的姿势的系统,其包括至少一个具有至少一个测量轴的运动传感器(CM),所述运动传感器设有固定模块(MF),用于将所述运动传感器(CM)牢靠地连接到用户身上,所述系统的特征在于其包括:
-滤波器(FILT),其针对所述运动传感器(CM)的每一测量轴选择高于第一阈值(S1)的高频以及低于第二阈值(S2)的低频,所述第二阈值(S2)低于或等于所述第一阈值(S1);
-确定模块(DET),用于确定等于所述运动传感器(CM)考虑的测量轴(k)的所述高频的平方之和的一维高频分量(HF)和在尺度上等于所述运动传感器(CM)考虑的测量轴的数量(k)的低频分量(BF);
-计算模块(CALC),用于计算所述高频分量(HF)的概率密度(Py)和所述低频分量(BF)的概率密度(Px),所述高频分量(HF)的概率密度是以等于所述运动传感器(CM)考虑的测量轴的数量(k)的自由度通过Chi-2定律定义的,所述低频分量(BF)的概率密度是由高斯定律定义的;以及
-分析模块(AN),适于确定用户的姿势,这些分析模块(AN)结合了:
-所述低频分量和所述高频分量的联合概率密度,这些概率密度是针对每一姿势定义的;以及
-两种连续的姿势之间的转换概率。
2.根据权利要求1所述的系统,其中,所述确定模块(DET)适于确定等于根据所述运动传感器(CM)考虑的测量轴得到的测量结果的线性组合的一维低频分量(BF),所述高频分量是以一自由度通过Chi-2定律定义的。
3.根据权利要求1或2所述的系统,其中,所述低频分量(BF)和所述高频分量(HF)的一对值(x(n),y(n))的概率密度(P(x(n),y(n)))包括获得所述低频分量(BF)的值(x(n))的概率密度(Px)和获得所述高频分量(HF)的值(y(n))的概率密度(Py)的乘积,所述概率密度(Px,Py)是根据下述表达式针对每一状态i定义的:
P x , i ( x ( n ) ) = 1 2 π σ xi · e - ( x ( n ) - μ x , i ) 2 2 σ x , i 2 p y , i ( y ( n ) ) = 1 2 k σ y , i k Γ ( k 2 ) y ( n ) k / 2 - 1 e - y ( n ) 2 σ y , i 2
其中,
x(n)是维度1的信号,其表示具有索引样本n的低频分量;
μx,i表示与所述低频分量具有相同维度的矢量,该矢量表示所涉及的隐马尔可夫模型的状态i;
σx,i表示低频分量x的方差的平方根,其表示所涉及的隐马尔可夫模型的状态i;
y(n)表示具有索引样本n的高频分量;
k表示所述运动传感器考虑的测量轴的数量;
σy,i是与状态i中的变量y(n)的瞬时平均值成比例的量。例如σy,i是变量y(n)的瞬时平均值除以k,以及
Γ是验证 Γ ( 1 2 ) = π , Γ(1)=1和 Γ ( n + 1 + 1 2 ) = nΓ ( n + 1 2 ) 的伽马函数。
4.根据前述权利要求之一所述的系统,其包括显示模块(AFF)。
5.根据前述权利要求之一所述的系统,其中,所述运动传感器(CM)包括加速度计和/或磁强计和/或陀螺仪。
6.根据前述权利要求之一所述的系统,其包括具有测量轴的第一加速度计和适于将所述第一加速度计固定到用户的躯干上的固定模块,所述固定所采取的方式使得所述测量轴与用户直立时身体的纵轴VT一致。
7.根据权利要求6所述的系统,其中,所述分析模块(AN)适于利用隐马尔可夫模型确定与时间相关的用户的姿势,所述隐马尔可夫模型最多具有从站姿或坐姿、行走姿势、倾斜姿势到躺卧姿势的四种状态。
8.根据权利要求7所述的系统,其中:
-对于站姿或坐姿而言,μx∈[0.7;1.3],σx∈[0.05;0.4],
-对于行走姿势而言,μx∈[0.7;1.3],σx∈[0.05;0.4],
Figure FDA0000111362470000032
-对于倾斜姿势而言,μx∈[0.7;1.3],σx∈[0.05;0.4],
Figure FDA0000111362470000033
并且
-对于躺卧姿势而言,μx∈[-0.3;0.3],σx∈[0.05;0.4],
Figure FDA0000111362470000034
9.根据权利要求6所述的系统,所述系统还包括具有测量轴的第二加速度计和适于将所述第二加速度计固定到用户的大腿上的固定模块,所述固定所采取的方式使得所述测量轴与用户直立时身体的纵轴VT一致。
10.根据权利要求9所述的系统,其中,所述分析模块(AN)适于利用隐马尔可夫模型确定与时间相关的用户的姿势,所述隐马尔可夫模型最多具有从站姿、坐姿、躺卧姿势到行走姿势的四种状态。
11.根据权利要求10所述的系统,其中,x(n)表示所述两个加速度计的一对相应低频分量(BF),y(n)表示所述第二加速度计的高频分量(HF),其中索引样本为n,获得值x(n)的概率密度(Px)是通过下述表达式定义的:
P x , i ( x ( n ) ) = 1 ( 2 π ) 2 | Σ x , i | · e - 1 2 ( x ( n ) - μ x , i ) T Σ x , ii - 1 ( x ( n ) - μ x , i )
其中:
x,i是描述针对所述模型的状态i的信号x(n)的协方差矩阵的2维对角矩阵,
μx,i表示一种二分量列向量,其表示所述模型的状态i。
12.根据权利要求11所述的系统,其中:
-对于站姿而言,μx,1=[1 1]T
Figure FDA0000111362470000041
并且σy,1=3e-2
-对于坐姿而言,μx,2=[1 0]T并且σy,2=3e-2
-对于躺卧姿势而言,μx,3=[0 0]T
Figure FDA0000111362470000043
并且σy,3=3e-2;以及
-对于行走姿势而言,μx,4=[1 1]T
Figure FDA0000111362470000044
并且σy,4=1,2e-1
13.一种用于确定人的姿势的方法,其特征在于:
-执行滤波(FILT),从而针对运动传感器(CM)的每一测量轴选择高于第一阈值(S1)的高频以及低于第二阈值(S2)的低频,所述第二阈值(S2)低于或等于所述第一阈值(S1);
-确定(DET)等于所述运动传感器(CM)考虑的测量轴(k)的所述高频之和的一维高频分量(HF)和在维度上等于所述运动传感器(CM)考虑的测量轴的数量(k)的低频分量(BF);
-计算(CALC)所述高频分量(HF)的概率密度(Py)和所述低频分量(BF)的概率密度(Px),所述高频分量(HF)是以等于所述运动传感器(CM)考虑的测量轴的数量(k)的自由度通过Chi-2定律定义的,所述低频分量(BF)是由高斯定律定义的;以及
-采用隐马尔可夫模型确定与时间相关的用户的姿势,所述隐马尔可夫模型具有分别对应于N个姿势的N个状态,可以通过结合下述内容执行这一确定:
-所述低频分量和所述高频分量的联合概率密度,这些概率密度是针对每一姿势定义的,以及
-两种连续的姿势之间的转换概率。
CN2010800224939A 2009-04-24 2010-04-26 用于确定人的姿势的系统和方法 Pending CN102438521A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0952694 2009-04-24
FR0952694 2009-04-24
PCT/EP2010/055562 WO2010122174A1 (fr) 2009-04-24 2010-04-26 Systeme et procede de determination de la posture d'une personne

Publications (1)

Publication Number Publication Date
CN102438521A true CN102438521A (zh) 2012-05-02

Family

ID=41200528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800224939A Pending CN102438521A (zh) 2009-04-24 2010-04-26 用于确定人的姿势的系统和方法

Country Status (6)

Country Link
US (1) US9445752B2 (zh)
EP (1) EP2421436A1 (zh)
JP (1) JP2012524579A (zh)
KR (1) KR20120027229A (zh)
CN (1) CN102438521A (zh)
WO (1) WO2010122174A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108261585A (zh) * 2016-12-30 2018-07-10 上海移宇科技股份有限公司 一种人工胰腺闭环控制的系统和方法
CN111035394A (zh) * 2014-09-02 2020-04-21 苹果公司 身体活动和健身监视器
CN114252073A (zh) * 2021-11-25 2022-03-29 江苏集萃智能制造技术研究所有限公司 一种机器人姿态数据融合方法
US11564103B2 (en) 2020-02-14 2023-01-24 Apple Inc. User interfaces for workout content
US11580867B2 (en) 2015-08-20 2023-02-14 Apple Inc. Exercised-based watch face and complications
US11660503B2 (en) 2016-06-11 2023-05-30 Apple Inc. Activity and workout updates
US11712179B2 (en) 2018-05-07 2023-08-01 Apple Inc. Displaying user interfaces associated with physical activities
US11791031B2 (en) 2019-05-06 2023-10-17 Apple Inc. Activity trends and workouts
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information
US11931625B2 (en) 2021-05-15 2024-03-19 Apple Inc. User interfaces for group workouts
US11972853B2 (en) 2022-09-23 2024-04-30 Apple Inc. Activity trends and workouts

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8898041B2 (en) * 2009-04-24 2014-11-25 Commissariat A L'energie Atomique Et Aux Energies Alternatives System and method for determining the activity of a person lying down
US9072461B2 (en) 2011-02-25 2015-07-07 Embraer S.A. Posture observer for ergonomic observation, posture analysis and reconstruction
FR2981561B1 (fr) 2011-10-21 2015-03-20 Commissariat Energie Atomique Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
CN102488522A (zh) * 2011-11-22 2012-06-13 哈尔滨工业大学 基于Zigbee加速度传感网络的人体坐姿检测系统及检测方法
CN103957777B (zh) * 2011-12-07 2018-01-09 捷通国际有限公司 行为跟踪和修正系统
US8965599B2 (en) * 2013-05-01 2015-02-24 Delphi Technologies, Inc. Passive entry and passive start system with operator walking detection
EP2835769A1 (en) 2013-08-05 2015-02-11 Movea Method, device and system for annotated capture of sensor data and crowd modelling of activities
US10264996B2 (en) * 2015-10-19 2019-04-23 Sayfe Kiaei Method and apparatus for wirelessly monitoring repetitive bodily movements
CN107582061B (zh) * 2017-07-21 2020-03-27 青岛海信移动通信技术股份有限公司 一种识别人体运动状态的方法及智能移动设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1731097A2 (en) * 2005-06-09 2006-12-13 Sony Corporation Activity recognition apparatus, method and program
US20070175406A1 (en) * 2000-11-24 2007-08-02 Clever Sys, Inc. Unified system and method for animal behavior characterization in home cages using video analysis
CN101078936A (zh) * 2007-06-08 2007-11-28 北京航空航天大学 一种基于遗传最优request和gupf的高精度组合定姿方法
US20080275349A1 (en) * 2007-05-02 2008-11-06 Earlysense Ltd. Monitoring, predicting and treating clinical episodes

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678902A (ja) * 1992-09-04 1994-03-22 Res:Kk 移動手段判別法
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム
US8152694B2 (en) * 2009-03-16 2012-04-10 Robert Bosch Gmbh Activity monitoring device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070175406A1 (en) * 2000-11-24 2007-08-02 Clever Sys, Inc. Unified system and method for animal behavior characterization in home cages using video analysis
EP1731097A2 (en) * 2005-06-09 2006-12-13 Sony Corporation Activity recognition apparatus, method and program
US20080275349A1 (en) * 2007-05-02 2008-11-06 Earlysense Ltd. Monitoring, predicting and treating clinical episodes
CN101078936A (zh) * 2007-06-08 2007-11-28 北京航空航天大学 一种基于遗传最优request和gupf的高精度组合定姿方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEFF A.BILMES: "《A Gentle tutorial of the EM Algorithm and its Application to and Hidden Markov Models》", 31 December 1998, article "Covariance Functions", pages: 112-137 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11798672B2 (en) 2014-09-02 2023-10-24 Apple Inc. Physical activity and workout monitor with a progress indicator
CN111035394A (zh) * 2014-09-02 2020-04-21 苹果公司 身体活动和健身监视器
US11580867B2 (en) 2015-08-20 2023-02-14 Apple Inc. Exercised-based watch face and complications
US11908343B2 (en) 2015-08-20 2024-02-20 Apple Inc. Exercised-based watch face and complications
US11918857B2 (en) 2016-06-11 2024-03-05 Apple Inc. Activity and workout updates
US11660503B2 (en) 2016-06-11 2023-05-30 Apple Inc. Activity and workout updates
CN108261585A (zh) * 2016-12-30 2018-07-10 上海移宇科技股份有限公司 一种人工胰腺闭环控制的系统和方法
US11712179B2 (en) 2018-05-07 2023-08-01 Apple Inc. Displaying user interfaces associated with physical activities
US11791031B2 (en) 2019-05-06 2023-10-17 Apple Inc. Activity trends and workouts
US11716629B2 (en) 2020-02-14 2023-08-01 Apple Inc. User interfaces for workout content
US11611883B2 (en) 2020-02-14 2023-03-21 Apple Inc. User interfaces for workout content
US11638158B2 (en) 2020-02-14 2023-04-25 Apple Inc. User interfaces for workout content
US11564103B2 (en) 2020-02-14 2023-01-24 Apple Inc. User interfaces for workout content
US11931625B2 (en) 2021-05-15 2024-03-19 Apple Inc. User interfaces for group workouts
US11938376B2 (en) 2021-05-15 2024-03-26 Apple Inc. User interfaces for group workouts
CN114252073A (zh) * 2021-11-25 2022-03-29 江苏集萃智能制造技术研究所有限公司 一种机器人姿态数据融合方法
CN114252073B (zh) * 2021-11-25 2023-09-15 江苏集萃智能制造技术研究所有限公司 一种机器人姿态数据融合方法
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information
US11972853B2 (en) 2022-09-23 2024-04-30 Apple Inc. Activity trends and workouts

Also Published As

Publication number Publication date
US20120143094A1 (en) 2012-06-07
EP2421436A1 (fr) 2012-02-29
US9445752B2 (en) 2016-09-20
KR20120027229A (ko) 2012-03-21
JP2012524579A (ja) 2012-10-18
WO2010122174A1 (fr) 2010-10-28

Similar Documents

Publication Publication Date Title
CN102438521A (zh) 用于确定人的姿势的系统和方法
Ha et al. Convolutional neural networks for human activity recognition using multiple accelerometer and gyroscope sensors
Ha et al. Multi-modal convolutional neural networks for activity recognition
US11234890B2 (en) Method and apparatus for recognizing gait task
US20110282828A1 (en) Method of identification and devices thereof
CN102438522A (zh) 用于确定移动元素的活动的系统和方法
Tian et al. MEMS-based human activity recognition using smartphone
CN105678222A (zh) 一种基于移动设备的人体行为识别方法
Hou A study on IMU-based human activity recognition using deep learning and traditional machine learning
CN109344692A (zh) 一种运动质量评价方法及系统
CN104598880A (zh) 一种基于模糊支持向量机的行为识别方法
Olsen et al. Simultaneous inference for misaligned multivariate functional data
Oshin et al. ERSP: An energy-efficient real-time smartphone pedometer
Kazlauskaite et al. Gaussian process latent variable alignment learning
Bernardo et al. Nonparametric Bayes regression and classification through mixtures of product kernels
CN102129477A (zh) 一种多模态联合的图像重排序方法
Cleland et al. Collection of a diverse, realistic and annotated dataset for wearable activity recognition
US20220142850A1 (en) Method and apparatus for recognizing gait task
Siirtola et al. Personal models for eHealth-improving user-dependent human activity recognition models using noise injection
Hajjej et al. Deep human motion detection and multi-features analysis for smart healthcare learning tools
Singh et al. Har using bi-directional lstm with rnn
Rivera et al. An integrated ARMA-based deep autoencoder and GRU classifier system for enhanced recognition of daily hand activities
Seok et al. Recognition of human motion with deep reinforcement learning
US8898041B2 (en) System and method for determining the activity of a person lying down
Makni et al. Attitude estimation for posture detection in ehealth services

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120502