CN104515521B - 步行者观测系统、记录介质及行进方向推定方法 - Google Patents
步行者观测系统、记录介质及行进方向推定方法 Download PDFInfo
- Publication number
- CN104515521B CN104515521B CN201410466340.3A CN201410466340A CN104515521B CN 104515521 B CN104515521 B CN 104515521B CN 201410466340 A CN201410466340 A CN 201410466340A CN 104515521 B CN104515521 B CN 104515521B
- Authority
- CN
- China
- Prior art keywords
- information
- acceleration
- pedestrian
- vertical direction
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
- G01C22/006—Pedometers
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种用于在姿势的自由度高的携带型装置中响应性良好、计算量少且误测少的用于推定步行者的行进方向的技术。在作为步行者观测系统的终端装置(1)上设有:水平方向检测部(105),其基于水平面上的加速度成分αE、αN,来求出水平面上的加速度的功率,并获取观测到该功率的极大值的时间及此时的加速度成分αE、αN,作为峰值信息(114);铅直方向检测部(104),其获取观测到铅直方向上的加速度成分αU的极大值及极小值的时间,作为峰值信息(114);峰值分析部(106),其基于峰值信息(114),来对与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息(116);行进方向推定部(107),其基于推定用峰值信息(116),来获取表示步行者的行进方向的行进方向信息(117)。
Description
技术领域
本发明涉及利用携带式终端装置来推定步行者的行进方向的技术。
背景技术
以往,提出了在姿势自由度高的携带式终端装置中确定步行者的行进方向的技术。特别地,已知有使步行者携带这样的终端装置来观测步行者的移动轨迹的应用程序(PDR:Pedestrian Dead Reckoning)等,在这样的应用程序中需要确定步行者的行进方向。
现有技术文献
专利文献
专利文献1:日本特开2003-302419号公报
专利文献2:日本特开2008-116315号公报
专利文献3:日本特再公表2006-104140号公报
专利文献4:日本特开2012-145457号公报
专利文献5:日本特开2012-168004号公报
专利文献6:日本特开2012-242179号公报
但是,在专利文献1所记载的技术中,虽然说是姿势自由度高的终端装置,但是将在步行动作中使终端装置保持静止时的姿势作为前提,因此存在缺乏实用性的问题。另外,由于直接分析传感器的数据,因此存在抗噪声性差的问题。而且,逐次保持加速度数据,因此还存在携带性差的问题。
另外,在专利文献2所记载的技术中,对多个步行步骤进行统计计算,因此存在响应性差的问题。
另外,专利文献3、4、6所记载的技术是与频率变换、自相关处理等相关联的技术,因此存在计算量大的问题。
而且,在专利文献5所记载的技术中,需要定义步态迈步期、步态站立期,但难以对此明确地进行定义,因而存在误测变多的问题。
发明内容
本发明是鉴于上述问题而提出的,其目的在于,提供一种用于在姿势的自由度高的携带型装置中响应性良好、计算量少且误测少的用于推定步行者的行进方向的技术。
为了解决上述问题,第一技术方案的发明是步行者观测系统,该步行者观测系统具有:加速度检测单元,其与步行者相随,按照独立定义的终端坐标系来获取加速度信息;水平方向检测单元,其基于与铅直方向垂直的第一方向上的加速度成分和与铅直方向及所述第一方向垂直的第二方向上的加速度成分,来求出水平面上的加速度的功率,由此获取观测到所述功率的极大值的时间、观测到该功率的极大值时的所述第一方向上的加速度成分以及观测到该功率的极大值时的所述第二方向上的加速度成分,来作为水平方向峰值信息,其中,所述第一方向上的加速度成分和所述第二方向上的加速度成分是根据由所述加速度检测单元获取的加速度信息来求出的;铅直方向检测单元,其基于由所述加速度检测单元获取的加速度信息,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息;峰值分析单元,其基于由所述铅直方向检测单元获取的铅直方向峰值信息,来对由所述水平方向检测单元获取的水平方向峰值信息中所含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息;行进方向推定单元,其基于由所述峰值分析单元获取的推定用峰值信息,来获取表示所述步行者的行进方向的行进方向信息。
另外,第二技术方案的发明,在第一技术方案的发明的步行者观测系统的基础上,还具有:姿势推定单元,其获取姿势信息,该姿势信息表示所述加速度检测单元在适于观测所述步行者的步行动作的观测坐标系上的姿势,变换单元,其基于由所述姿势推定单元获取的姿势信息,对由所述加速度检测单元获取的加速度信息进行坐标变换,来将该加速度信息变换为所述观测坐标系上的坐标,来作为已变换加速度信息,低通滤波处理单元,从由所述变换单元获取的已变换加速度信息中提取低频成分,来作为检测用加速度信息;所述水平方向检测单元基于由所述低通滤波处理单元获取的检测用加速度信息,获取所述水平方向峰值信息,所述铅直方向检测单元基于由所述低通滤波处理单元获取的检测用加速度信息,获取所述铅直方向峰值信息。
另外,第三技术方案的发明,在第二技术方案的发明的步行者观测系统的基础上,所述姿势推定单元实质上实时地获取所述姿势信息。
另外,第四技术方案的发明,在第二技术方案的发明的步行者观测系统的基础上,所述观测坐标系是与所述步行者的动作相独立的坐标系。
另外,第五技术方案的发明,在第二技术方案的发明的步行者观测系统的基础上,所述观测坐标系是对所述步行者的身体定义的坐标系。
另外,第六技术方案的发明,在第一技术方案的发明的步行者观测系统的基础上,所述铅直方向检测单元获取与所述步行者的迈出脚相关的迈出脚信息;所述峰值分析单元基于由所述铅直方向检测单元获取的迈出脚信息,来将所述推定用峰值信息中所含的与功率的极大值相关的信息和用于识别迈出脚的信息建立关联。
另外,第七技术方案的发明,在第一技术方案的发明的步行者观测系统的基础上,还具有判断单元,该判断单元判断所述步行者是否一边前后摆动保持有所述加速度检测单元的臂部一边步行;所述铅直方向检测单元,在由所述判断单元判断为所述步行者一边前后摆动保持有所述加速度检测单元的臂部一边步行时,基于由所述加速度检测单元获取的加速度信息,来获取铅直方向上的加速度的极小值,来作为铅直方向峰值信息;所述峰值分析单元根据所述判断单元的判断结果来获取推定用峰值信息。
另外,第八技术方案的发明,在第七技术方案的发明的步行者观测系统的基础上,所述行进方向推定单元根据时序上的新的铅直方向上的加速度的极小值和时序上的旧的铅直方向上的加速度的极小值之间的大小关系,来获取行进方向信息。
另外,第九技术方案是步行者观测系统,在该步行者观测系统中,具有:获取单元,其从加速度检测单元获取加速度信息,该加速度信息是由与步行者相随的所述加速度检测单元按照在所述加速度检测单元中定义的终端坐标系来获取的加速度信息,姿势推定单元,其获取姿势信息,该姿势信息表示所述加速度检测单元在适于观测所述步行者的步行动作的观测坐标系上的姿势,变换单元,其基于由所述姿势推定单元获取的姿势信息,对由所述获取单元获取的加速度信息进行坐标变换,来将该加速度信息变换为所述观测坐标系上的坐标,来作为已变换加速度信息,低通滤波处理单元,从由所述变换单元获取的已变换加速度信息中提取低频成分,来作为检测用加速度信息;基于所述检测用加速度信息,来计算表示所述步行者的行进方向的行进方向信息。
另外,第十技术方案的发明,在第九技术方案的发明的步行者观测系统的基础上,所述姿势推定单元实质上实时地获取所述姿势信息。
另外,第十一技术方案的发明,在第九技术方案的发明的步行者观测系统的基础上,所述观测坐标系是与所述步行者的动作相独立的坐标系。
另外,第十二技术方案的发明,在第九技术方案的发明的步行者观测系统的基础上,所述观测坐标系是对所述步行者的身体定义的坐标系。
另外,第十三技术方案的发明是一种记录介质,记录有计算机能够读取的程序,通过使所述计算机执行所述程序,来使所述计算机发挥如下的计算机的功能,该计算机具有:水平方向检测单元,其基于与铅直方向垂直的第一方向上的加速度成分和与铅直方向及所述第一方向垂直的第二方向上的加速度成分,来求出水平面上的加速度的功率,由此获取观测到所述功率的极大值的时间、观测到该功率的极大值时的所述第一方向上的加速度成分以及观测到该功率的极大值时的所述第二方向上的加速度成分,来作为水平方向峰值信息,其中,所述第一方向上的加速度成分和所述第二方向上的加速度成分是根据由与步行者相随的加速度检测单元按照在所述加速度检测单元中定义的终端坐标系获取的加速度信息来求出的;铅直方向检测单元,其基于由所述加速度检测单元获取的加速度信息,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息;峰值分析单元,其基于由所述铅直方向检测单元获取的铅直方向峰值信息,来对由所述水平方向检测单元获取的水平方向峰值信息中所含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息;行进方向推定单元,其基于由所述峰值分析单元获取的推定用峰值信息,来获取表示所述步行者的行进方向的行进方向信息。
另外,第十四技术方案的发明是一种记录介质,记录有计算机能够读取的程序,通过使所述计算机执行所述程序,来使所述计算机发挥如下的计算机的功能,该计算机具有:获取单元,其从加速度检测单元获取加速度信息,该加速度信息是由与步行者相随的所述加速度检测单元按照在所述加速度检测单元中定义的终端坐标系来获取的加速度信息,姿势推定单元,其获取姿势信息,该姿势信息表示所述加速度检测单元在适于观测所述步行者的步行动作的观测坐标系上的姿势,变换单元,其基于由所述姿势推定单元获取的姿势信息,对由所述获取单元获取的加速度信息进行坐标变换,来将该加速度信息变换为所述观测坐标系上的坐标,来作为已变换加速度信息,低通滤波处理单元,从由所述变换单元获取的已变换加速度信息中提取低频成分,来作为检测用加速度信息;该计算机基于所述检测用加速度信息,来计算表示所述步行者的行进方向的行进方向信息。
另外,第十五技术方案的发明是一种行进方向推定方法,该行进方向推定方法包括:与步行者相随,按照独立定义的终端坐标系来获取加速度信息的工序;基于与铅直方向垂直的第一方向上的加速度成分和与铅直方向及所述第一方向垂直的第二方向上的加速度成分,来求出水平面上的加速度的功率,由此获取观测到所述功率的极大值的时间、观测到该功率的极大值时的所述第一方向上的加速度成分以及观测到该功率的极大值时的所述第二方向上的加速度成分,来作为水平方向峰值信息的工序,其中,所述第一方向上的加速度成分和所述第二方向上的加速度成分是根据所获取的加速度信息来求出的;基于所获取的加速度信息,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息的工序;基于所获取的铅直方向峰值信息,来对所获取的水平方向峰值信息中所含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息的工序;基于所获取的推定用峰值信息,来获取表示所述步行者的行进方向的行进方向信息的工序。
另外,第十六技术方案的发明是一种行进方向推定方法,该行进方向推定方法包括:由与步行者相随的加速度检测单元按照在所述加速度检测单元中定义的终端坐标系来获取加速度信息的工序,获取姿势信息的工序,该姿势信息表示所述加速度检测单元在适于观测所述步行者的步行动作的观测坐标系上的姿势,基于所述姿势信息,对所述加速度信息进行坐标变换,来将该加速度信息变换为所述观测坐标系上的坐标,来作为已变换加速度信息的工序,从已变换加速度信息中提取低频成分,来作为检测用加速度信息的工序;基于所述检测用加速度信息,来计算表示所述步行者的行进方向的行进方向信息。
根据第一技术方案至第八技术方案、第十三技术方案及第十五技术方案所记载的发明,与步行者相随,按照独立定义的终端坐标系来获取加速度信息;基于与铅直方向垂直的第一方向上的加速度成分和与铅直方向及第一方向垂直的第二方向上的加速度成分,来求出水平面上的加速度的功率,由此获取观测到功率的极大值的时间、观测到该功率的极大值时的第一方向上的加速度成分以及观测到该功率的极大值时的第二方向上的加速度成分,来作为水平方向峰值信息,其中,所述第一方向上的加速度成分和所述第二方向上的加速度成分是根据由加速度检测单元获取的加速度信息来求出的;基于由加速度检测单元获取的加速度信息,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息;基于由铅直方向检测单元获取的铅直方向峰值信息,来对由水平方向检测单元获取的水平方向峰值信息中所含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息;基于由峰值分析单元获取的推定用峰值信息,来获取表示步行者的行进方向的行进方向信息。由此,能够抑制计算量,因此能够执行响应性良好且精度高的行进方向推定。
另外,根据第九技术方案至第十二技术方案、第十四技术方案及第十六技术方案所记载的发明的步行者观测系统,从加速度检测单元获取加速度信息,该加速度信息是由与步行者相随的加速度检测单元按照在加速度检测单元中定义的终端坐标系来获取的加速度信息;获取姿势信息,该姿势信息表示加速度检测单元在适于观测步行者的步行动作的观测坐标系上的姿势;基于姿势信息,对加速度信息进行坐标变换,来将该加速度信息变换为观测坐标系上的坐标,来作为已变换加速度信息;从由变换单元获取的已变换加速度信息中提取低频成分,来作为检测用加速度信息;基于检测用加速度信息,来计算表示步行者的行进方向的行进方向信息。由此,能够抑制旋转的噪声。
附图说明
图1是示出了第一实施方式的终端装置的图。
图2是终端装置的框图。
图3是一起示出了终端装置所具备的功能块和数据的传送的图。
图4是示出了人的步行动作中的加速度的典型模式的图。
图5是示出了终端装置所执行的行进方向推定处理的流程图。
图6是示出了第一实施方式的终端装置所执行的铅直方向上的峰值检测处理的流程图。
图7是示出了第一实施方式的终端装置所执行的水平方向上的峰值检测处理的流程图。
图8是将横轴设定为时间来例示了加速度成分αE、αN和水平面上的加速度的功率PW的图。
图9是示出峰值分析处理的流程图。
图10是示意性示出了用于搜索适当的功率峰值的情况的图。
图11是示出了第二实施方式的终端装置的图。
图12是一起示出了第三实施方式的终端装置所具备的功能块和数据的传送的图。
图13是示出了第三实施方式的终端装置所执行的行进方向推定处理的流程图。
图14是示出了第三实施方式的终端装置所执行的铅直方向上的峰值检测处理的流程图。
图15是示出了第三实施方式的终端装置所执行的臂部摆动时的分析处理的流程图。
图16是例示了臂部摆动状态下的加速度成分的变化的图。
图17是示出了第三实施方式的终端装置所执行的行进方向计算处理的流程图。
其中,附图标记说明如下:
1、2、3:终端装置
10:CPU
100:姿势推定部
101:峰值检测部
102:坐标变换部
103:LPF处理部
104、104a:铅直方向检测部
105:水平方向检测部
106、106a:峰值分析部
107、107a:行进方向推定部
108:加速度信息调整部
11:存储装置
110:程序
111:姿势信息
112:已变换加速度信息
113:检测用加速度信息
114:峰值信息
115:迈出脚信息
116:推定用峰值信息
117:行进方向信息
118:已调整加速度信息
12:操作部
13:显示部
14:加速度传感器
140:加速度信息
15:陀螺仪传感器
150:角速度信息
16:磁传感器
160:地磁信息
具体实施方式
下面,一边参照附图,一边对本发明的优选的实施方式进行详细说明。其中,为了便于进行该说明,只要没有在下面的说明中特别地提前说明,关于方向及朝向的描述,与附图相对应,例如并不用于限定实施品、产品或者权利范围等。
<1.第一实施方式>
图1是示出了第一实施方式的终端装置1的图。图1所示的ENU(East-North-Up:站立)坐标系,是与终端装置1独立的坐标系,而且是“与步行者的动作独立的坐标系”。在ENU坐标系中,将向东的轴定义为E轴,将向北的轴定义为N轴,将在铅直方向上向上的轴定义为U轴。另外,图1所示的XYZ坐标系是在终端装置1上定义的坐标系(终端坐标系),在本实施方式中,将其原点定义在显示部13的画面的中心附近。其中,在本实施方式中,基于相对的位置关系来计算行进方向及距离,因此图1所示的原点的位置,是为了方便而定义的,也可以定义在其它位置上。
在图1中,X轴与E轴一致,Y轴与N轴一致,Z轴与U轴一致。但是,XYZ坐标系和ENU坐标系之间的相对关系根据终端装置1的姿势(例如,步行者携带终端装置1的方式等)来发生变化。即,在本实施方式中,说明终端装置1在步行者身上未固定的例子。
图2是终端装置1的框图。终端装置1具有CPU10和存储装置11,虽然在后面详细说明,但是将终端装置1作为用于对携带终端装置1的人(下面,称为“步行者”)的步行动作的行进方向进行推定的装置。
CPU10用于读取保存在存储装置11中的程序110并执行该程序110,并且用于计算各种数据、生成控制信号等。由此,CPU10发挥对控制终端装置1所具备的各结构进行控制并且计算并生成各种数据的功能。即,终端装置1构成为一般的计算机。
存储装置11提供在终端装置1中存储各种数据的功能。换句话讲,存储装置11在终端装置1中保存以电的形式固定的信息。特别地,本实施方式的存储装置11用于存储程序110。
作为存储装置11,包括用作CPU10的暂时性的工作区域的RAM或缓冲器、读取专用的ROM、非易失性的存储器(例如与非存储器等)、用于存储比较大的数据的硬盘、用于连接到专用的读取装置上的能够携带的存储介质(CD-ROM、PC卡、SD卡、USB存储器等)等。在图2中,如一个结构体那样图示了存储装置11。但是,通常,存储装置11由上述例示的各种装置(或者介质)中的根据需要采用的多种装置构成。即,存储装置11是具有存储数据的功能的装置组的总称。
另外,实际的CPU10是一种内部具有能够高速访问的RAM的电路。但是,为了便于说明,将这样的CPU10所具备的存储装置,也说明为包括在存储装置11中。即,在本实施方式中,假设CPU10自身暂时存储的数据也由存储装置11中进行存储,进行说明。
如图2所示,终端装置1具有操作部12和显示部13。
操作部12是操作人员(步行者)为了向终端装置1输入各种信息而操作的硬件。作为操作部12,包括各种按钮类,键,旋转式选择器或触控面板等。
显示部13发挥通过显示各种信息来进行输出的输出部的功能。即,显示部13是以使操作人员视觉观察的状态输出信息的硬件。作为显示部13,例如包括液晶面板、液晶显示器、有机EL显示器、灯或LED等。
而且,终端装置1具备加速度传感器14、陀螺仪传感器15及磁传感器16,作为用于观测终端装置1自身的运动的装置组。加速度传感器14、陀螺仪传感器15及磁传感器16都固定设置在终端装置1的内部。因此,通过由步行者携带终端装置1,加速度传感器14、陀螺仪传感器15及磁传感器16都处于与该步行者相随的状态。另外,加速度传感器14、陀螺仪传感器15及磁传感器16固定设置在终端装置1的内部,由此在终端装置1上定义的XYZ坐标系,成为对上述传感器定义的坐标系。
此外,虽然在后面进行详细说明,但是终端装置1基于从上述装置组得到的信息,来对携带该终端装置1的步行者的步行动作进行间接的观测。即,第一实施方式的终端装置1,构成本发明的步行者观测系统。
加速度传感器14通过检测终端装置1的加速度,来获取加速度信息140。加速度传感器14作成基于在终端装置1上定义的XYZ坐标系来表现的输出值,作为加速度信息140。
陀螺仪传感器15测定终端装置1的角速度,来获取角速度信息150。本实施方式的陀螺仪传感器15是所谓的三轴陀螺仪传感器,用于测定以相互垂直的3个轴(X、Y、Z轴)方向为旋转轴旋转的角速度,并输出该测定值来作为角速度信息150。
磁传感器16通过检测地磁来获取地磁信息160。地磁信息160是为了决定方位而使用的信息。此外,在本实施方式的终端装置1中,也可以通过适当采用用于对磁传感器16所获取的地磁信息160进行修正的以往的技术,来提高地磁信息160的精度。
此外,除了图2所示的结构之外,终端装置1例如也可以具有扬声器、话筒、照相机、通信部、卡槽、各种连接器等。
图3是一起示出了终端装置1所具备的功能块和数据的传送的图。图3所示的姿势推定部100、峰值检测部101、峰值分析部106、行进方向推定部107及加速度信息调整部108是通过由CPU10按照程序110进行动作来实现的功能块。
此外,在本实施方式中,为了便于说明,说明利用软件来实现终端装置1所具备的所有功能块的例子。但是,实际上,优选通过硬件(芯片化)实现该功能块中的一部分或全部,以提高处理速度,从而提高实时性。即,是能够根据成本、装置尺寸、要求的处理速度等,来适当选择利用专用的逻辑电路等硬件来实现功能块中的哪些功能块部并利用软件来实现哪些功能块部。
姿势推定部100实质上实时地获取姿势信息111,该姿势信息111用于表示在与步行者的运动独立的ENU坐标系上的终端装置1的姿势。本实施方式的姿势推定部100利用卡尔曼滤波器对加速度传感器14、陀螺仪传感器15及磁传感器16的输出值(加速度信息140、角速度信息150及地磁信息160)进行复合处理,并通过计算来获取用于表示终端装置1的当前的姿势(ENU坐标系和XYZ坐标系之间的相对关系)的姿势信息111。
对于由姿势推定部100获取姿势信息111的方法,能够适当采用以往的各种技术,因此在此省略详细的说明。其中,只要能够获取用于表示在与步行者的运动独立的坐标系上的终端装置1的姿势的姿势信息111即可,并不限定于本实施方式的方法,例如还能够考虑对照相机拍摄周围的环境得到的图像进行分析来利用的方法、利用超声波或红外线来观测周围的方法、利用GPS信号的方法、或组合多个方法来相互补充的方法等。
另外,在此,“实质上实时地”是指,在推定步行者的行进方向时,以能够忽视的程度的间隔获取或者延迟获取的情况。如上面说明,姿势推定部100基于加速度传感器14、陀螺仪传感器15及磁传感器16的输出值,来求出姿势信息111。并且,上述传感器以规定的传感检测间隔(测定间隔)输出各输出值,因此从严格的意思来说不能连续地持续测定。因此,只能够至少以与传感检测间隔相对应的间隔,获取姿势信息111。另外,在得到输出值之后通过计算来求出姿势信息111,因此还产生与计算时间相对应的延迟。但是,鉴于步行者(人)的步行动作的特性,上述间隔及延迟充分短的情况下,能够认为以“实质上实时地”获取姿势信息111。此外,具体地,以何种程度的间隔及延迟获取姿势信息111才相当于“能够忽视的程度”,根据对最终推定的行进方向(行进方向信息117)进行利用的应用程序等而不同,不能一概决定。
峰值检测部101基于加速度传感器14所获取的加速度信息140和姿势推定部100所获取的姿势信息111,来获取峰值信息114,并且获取与步行者的迈出脚相关的迈出脚信息115。
此外,在后面说明峰值信息114。
另外,迈出脚信息115表示步行者切换了迈出脚的时间,表示切换该迈出脚的时刻。其中,为了推定行进方向,合成基于左右脚的移动矢量,因此本实施方式的迈出脚信息115不需包括用于表示迈出了左右脚中的哪只脚的信息。在下面的说明中,利用“第一脚”及“第二脚”这样的称呼,作为不确定左右脚的迈出脚的称呼。即,第一脚可以是左右脚中的任一只脚,是与第二脚不同的脚。
如图3所示,本实施方式的峰值检测部101具有坐标变换部102、LPF(低通滤波)处理部103、铅直方向检测部104及水平方向检测部105。
坐标变换部102基于姿势推定部100所获取的姿势信息111,通过对加速度传感器14所获取的加速度信息140进行变换来变换为ENU坐标系上的坐标,由此获取已变换加速度信息112。即,坐标变换部102基于来自姿势推定部100的输入,来对加速度传感器14的输出进行变换,由此输出已变换加速度信息112。
这样,将加速度信息140预先变换为能够稳定地观测步行者的步行动作的坐标系(在本实施方式的例子中是ENU坐标系),来作为已变换加速度信息112,从而能够防止通过步行者的步行动作、查看动作等来使终端装置1旋转而产生的噪声。
LPF处理部103通过从坐标变换部102所获取的已变换加速度信息112中提取低频成分,来获取检测用加速度信息113。即,LPF处理部103发挥对坐标变换部102的输出进行滤波的低通滤波器的功能,用于输出检测用加速度信息113。
这样,通过除去高频成分,能够除去与人的动作(步行动作)没相关系的噪声等,因此能够提高计算(推定)精度。此外,在本实施方式中,LPF处理部103的切割频率(cuttingfrequency)大概为5HZ至10HZ。但是,切割频率并不限定于此,优选根据步行者的步行动作的特性等来适当决定。
铅直方向检测部104参照来自LPF处理部103的输出即检测用加速度信息113,来检测U轴方向(铅直方向)上的加速度成分(下面,表示为“αU”)的极大值和极小值。然后,分别保存检测出该极大值和极小值的时间来作为峰值信息114。即,峰值信息114中记录有观测到由终端装置1进行动作时的铅直方向上的加速度的极大值及极小值的时刻。即,峰值信息114包括本发明的铅直方向峰值信息。此外,此时,在本实施方式中,并不记录极大值及极小值,但也可以将上述信息记录到峰值信息114中。
另外,当检测出U轴方向(铅直方向)上的加速度成分αU的极大值时,铅直方向检测部104认为步行者切换了迈出的脚,从而记录该时刻来作为迈出脚信息115。
在人的步行动作中,迈出的脚的迈出方向成为大概的行进方向。因此,可认为行进方向通常根据步行者的迈出的每一脚来发生变化。更详细地说,步行者每当切换迈出的脚时,行进方向以大概成为“Z”字形的方式发生变化。即,通过参照迈出脚信息115,能够决定人的步行动作中的应切换行进方向的时刻。
水平方向检测部105一边参照来自LPF处理部103的输出即检测用加速度信息113,一边合成E轴方向上的加速度成分(下面,表示为“αE”)和N轴方向上的加速度成分(下面,表示为“αN”),由此根据公式1来计算水平面上的功率(下面,表示为“PW”)。
数学式1
…公式l
然后,水平方向检测部105检测所计算出的水平面上的功率PW的极大值,将该极大值、检测出该极大值时的E轴方向上的加速度成分αE及N轴方向上的加速度成分αN保存至峰值信息114。此时,水平方向检测部105将检测出该极大值的时间也保存至峰值信息114。
这样,峰值信息114是包括检测出功率PW的极大值的时间、此时的功率PW值(极大值)、检测出功率PW的极大值时的加速度成分αE及αN的信息。即,峰值信息114包括本发明的水平方向峰值信息。
峰值分析部106基于由铅直方向检测部104获取的铅直方向峰值信息,来对由水平方向检测部105获取的水平方向峰值信息中包含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息116。
另外,峰值分析部106基于由峰值检测部101获取的峰值信息114和迈出脚信息115,来获取推定用峰值信息116。在后面说明用于作成推定用峰值信息116的具体的方法,。
行进方向推定部107基于由峰值分析部106获取的推定用峰值信息116,来计算表示步行者的行进方向的行进方向信息117。例如可求出相对于ENU坐标系中E轴的相位角,作为本实施方式的行进方向信息117(步行者的行进方向)。即,通过求出行进方向信息117,能够决定步行者的行进方向的方位。
加速度信息调整部108基于行进方向信息117,来对检测用加速度信息113进行变换,由此获取已调整加速度信息118。
在此,说明由加速度信息调整部108获取已调整加速度信息118的内容。
图4是示出了人的步行动作中的加速度的典型模式的图。在图4中,将横轴设定为时间轴,来表示铅直方向上的加速度成分的变化和该步行动作中的行进方向上的加速度成分的变化。
在PDR(Pedestrian Dead Reckoning,步行者航位推算)等中,为了准确地分析步行者的步行动作,如图4所示,优选获取该步行动作的铅直方向上的加速度成分和行进方向上的加速度成分。并且,为了获取上述加速度成分,设置有加速度传感器。
但是,一般的加速度传感器被设计为用于输出与独立定义的坐标系(终端坐标系,本实施方式的XYZ坐标系)相对应的输出值。因此,需要从加速度传感器输出的输出值(终端坐标系的输出值)中,提取铅直方向上的加速度成分和步行者的行进方向上的加速度成分。
为了高精度地实现这样的提取(变换),需要高精度地推定终端坐标系和铅直方向及行进方向之间的相对关系(旋转角)。只要能够推定出该相对关系,就能够利用该相对关系,基于与终端坐标系相对应的输出值(加速度传感器输出的输出值)来求出铅直方向上的加速度成分和步行者的行进方向上的加速度成分。
针对铅直方向,例如能够基于定期观测到的重力加速度来比较容易地推定出。即,能够根据以往技术,来比较准确地求出终端坐标系和铅直方向之间的相对关系,。
针对行进方向,也已提出了推定该方向的技术(例如,专利文献1至6)。但是,如上所述,上述以往技术是还存在很多问题的技术。因此,即使应用上述技术,也难以高精度地推定步行者的行进方向。
加速度信息调整部108基于推定出的行进方向(行进方向信息117),来对加速度传感器14输出的输出值即加速度信息140(在本实施方式中,是对加速度信息140进一步进行了适当处理的检测用加速度信息113)进行变换,由此获取已调整加速度信息118。由此,现实中步行者处于步行动作中时的已调整加速度信息118,可成为图4所示的典型的模式。因此,能够通过分析已调整加速度信息118,来准确地判断出步行者是否处于步行动作中,而且还能够准确地分析步行动作。
此外,本实施方式的加速度信息调整部108对铅直方向上的加速度成分不进行提取处理。原因是:在本实施方式中,利用已说明的坐标变换部102,已从加速度信息140中提取铅直方向上的加速度成分来作成了已变换加速度信息112,而作成检测用加速度信息113时,不需对该已变换加速度信息112的坐标系进行变换。这样,检测用加速度信息113是已经提取了铅直方向上的加速度成分的信息,因此不需利用加速度信息调整部108来提取铅直方向上的加速度成分。
上面,对第一实施方式的终端装置1的结构及功能进行了说明。接着,对于利用终端装置1推定步行者的行进方向的方法进行说明。
图5是示出了由终端装置1进行的行进方向推定处理的流程图。第一实施方式的终端装置1在通过接通电源来起动时,在执行规定的初始设定之后,开始执行图5所示的行进方向推定处理。此外,在未特别说明的情况下,CPU10按照程序110来进行动作,由此控制终端装置1的各结构,从而实现图5所示的行进方向推定处理。
当开始进行行进方向推定处理时,CPU10处于一边监视测定时刻的到来和推定时刻的到来(步骤Sl、S8)一边执行铅直方向上的峰值检测处理(步骤S6)和水平方向上的峰值检测处理(步骤S7)的状态。下面,将该状态称为“通常状态”。
此外,在通常状态下,终端装置1(CPU10)也可以监视其它状态,或者执行其它处理。例如,也可以在通常状态下,监视上述时刻,并且在其它应用程序被起动时,适当执行该应用程序所需的处理。
测定时刻是指,利用安装在终端装置1上的各传感器(加速度传感器14、陀螺仪传感器15及磁传感器16)来测定各自的测定对象的时刻。在本实施方式(图5)中,为了便利,将各传感器的测定时刻设定为共同的时刻来进行说明,但是上述测定时刻也可以各不相同。另外,为了提高实时性,鉴于步行动作的特性,优选以充分短的间隔设定测定时刻的周期。
另外,推定时刻是指,通过推定行进方向来作成行进方向信息117的时刻。
在通常状态下,当测定时刻到来时,CPU10在步骤S1中判断为“是”,并执行测定处理(步骤S2)。测定处理是指,使加速度传感器14、陀螺仪传感器15及磁传感器16分别测定加速度、角速度及地磁的处理。通过执行步骤S2,获取加速度信息140、角速度信息150及地磁信息160。即,每当执行步骤S2时,将此时的加速度传感器14输出的输出值记录到加速度信息140中,并将此时的陀螺仪传感器15输出的输出值记录到角速度信息150,并将此时的磁传感器16输出的输出值记录到地磁信息160中。
若通过执行步骤S2,来利用新测定出的值更新了加速度信息140、角速度信息150及地磁信息160,则接着由CPU10(姿势推定部100)推定终端装置1的姿势(步骤S3)。
在步骤S3中,姿势推定部100基于在步骤S2中由加速度传感器14、陀螺仪传感器15及磁传感器16测定出的值,来重新推定终端装置1的姿势,由此作成姿势信息111。如上面的说明,在本实施方式中,例如能够适当采用以往的技术,来进行推定终端装置1的姿势的处理,因此省略详细说明。
另外,在本实施方式中,从图5可知,每当执行步骤S2时都执行步骤S3。即,每当由各传感器获取新的测定值时,姿势推定部100都重新推定终端装置1的姿势。但是,并不是必须在每当获取新的测定值时都要重新推定姿势。例如,也可以在获取了规定次数的测定值时,执行步骤S3。或者,也可以仅在基于重新获取的测定值来认为终端装置1的姿势发生变化的情况下,执行步骤S3。
若重新求出了姿势信息111,则坐标变换部102基于该重新求出的姿势信息111,来对加速度信息140进行变换(坐标变换),由此作成已变换加速度信息112(步骤S4)。由此,将加速度信息140(XYZ坐标系)变换为ENU坐标系,来作成已变换加速度信息112。
接着,LPF处理部103通过从已变换加速度信息112中除去高频成分,来作成检测用加速度信息113(步骤S5)。
这样,终端装置1根据通过测定处理(步骤S2)获取的加速度信息140来作成检测用加速度信息113。由此,将加速度信息140变换为适于观测步行动作的ENU坐标系,并且通过除去因终端装置1旋转而产生的噪声来使该加速度信息140变成检测用加速度信息113。此外,在作成了检测用加速度信息113时,终端装置1返回通常状态。
接着,说明在通常状态下执行的铅直方向上的峰值检测处理(步骤S6)。
图6是示出了第一实施方式的终端装置1所执行的铅直方向上的峰值检测处理的流程图。
当开始进行铅直方向上的峰值检测处理时,首先,由铅直方向检测部104一边参照检测用加速度信息113,一边对检测用加速度信息113中包含的铅直方向上的加速度成分αU进行峰值(极大值或者极小值)的检测(步骤S21)。下面,将在步骤S21中检测出的峰值设为“Pn”。n是用于表示该峰值为第n次检测出的峰值的下标,是1或1以上的自然数。另外,P0为预先设定的常数,能够适当决定。
当在步骤S21中,在检测出峰值Pn时,铅直方向检测部104判断该峰值Pn是否是极大值(步骤S22)。
在峰值Pn为极小值的情况(在步骤S22中为“否”的情况)下,进一步判断之前检测出的峰值Pn-l是否为极大值(步骤S23)。
在步骤S23中判断为“是”时,铅直方向检测部104执行步骤S25(后述)。在步骤S23中判断为“是”的情况是指,重新检测出的峰值Pn为极小值,且之前检测出的峰值Pn-l为极大值的情况。即,表示在检测出极小值之后检测出极大值的情况(其中,生成的顺序是极大值在先,极小值在后)。此时,铅直方向检测部104执行步骤S25。
在步骤S22中峰值Pn为极大值的情况(在步骤S22中为“是”的情况)下,进一步判断之前检测出的峰值Pn-l是否为极大值(步骤S24)。
在步骤S24中判断为“否”时,铅直方向检测部104执行步骤S25(后述)。在步骤S24中判断为“否”的情况是指,重新检测出的峰值Pn为极大值,且之前检测出的峰值Pn-l为极小值的情况。即,表示在检测出极大值之后检测出了极小值(其中,生成的顺序为极小值在先,极大值在后)。此时,铅直方向检测部104执行步骤S25。
这样,通过执行步骤S22、S23、S24,步骤S25成为在交替检测出极大值和极小值的情况下执行的处理。
在交替检测出极大值和极小值的情况下,铅直方向检测部104判断加速度成分αU的振幅是否大于阈值Q(步骤S25)。此外,对阈值Q预先设定有初始值。虽然省略详细说明,但是在本实施方式中,例如,计算所检测出的铅直方向上的加速度成分αU的振幅的一定比例,来动态地更新阈值Q的适当值。
若该振幅在阈值Q以下(在步骤S25中为“否”),则不采用重新检测出的峰值Pn作为峰值,跳过步骤S26至S30,返回图5所示的处理。此时,不对n加1(不执行步骤S30)。
另一方面,在该振幅大于阈值Q的情况(在步骤S25中为“是”)下,无论峰值Pn是否为极大值,铅直方向检测部104都记录检测出峰值Pn的时间(时刻),来作为峰值信息114(步骤S26)。由此,采用本次检测出的峰值Pn作为峰值。
此外,在步骤S26中获取的峰值信息114成为表示由铅直方向检测部104获取的观测到铅直方向上的加速度成分αU的极大值及极小值的时间的信息。因此,峰值信息114包括相当于本发明的铅直方向峰值信息的信息。在下面的说明中,将观测到铅直方向上的加速度成分αU的极大值的时间成为“Tmax”,将观测到铅直方向上的加速度成分αU的极小值的时间称为“Tmin”。
当执行步骤S26时,铅直方向检测部104判断峰值Pn是否为极大值(步骤S27)。
在峰值Pn为极小值的情况(在步骤S27中为“否”)下,铅直方向检测部104跳过步骤S28、S29,对n加1(S30),并结束铅直方向上的峰值检测处理,返回图5所示的处理。即,在峰值Pn为极小值的情况下,并不记录检测出该峰值Pn的时刻作为迈出脚信息115,另外,也不执行峰值分析处理(步骤S29)。
另一方面,在峰值Pn为极大值的情况(在步骤S27中为“是”)下,铅直方向检测部104将检测出该峰值Pn的时间(时刻)看作步行者切换了迈出脚的时刻,并记录该时刻作为迈出脚信息115(步骤S28)。
另外,当执行步骤S28时,峰值分析部106执行峰值分析处理(步骤S29)。在后面说明步骤S29的峰值分析处理,但是峰值分析处理是指,每当检测出峰值Pn(铅直方向上的加速度成分αU的极大值)时,对峰值Pn-l(之前检测出的峰值)进行分析的处理。
当执行步骤S29时,铅直方向检测部104对n加1(步骤S30),并结束铅直方向上的峰值检测处理,返回图5所示的处理。
接着,在图6中,说明铅直方向检测部104在步骤S23中判断为“否”的情况或在步骤S24中判断为“是”的情况。
在步骤S23中判断为“否”的情况是指,重新检测出的峰值Pn为极小值、而且这之前检测出的峰值Pn-l为极小值的情况。即,表示连续地检测出极小值的情况。通常,在峰值检测中不会连续地检测出极小值。但是,在本实施方式中,根据不同状况(例如,在步骤S25中判断为“否”的情况等),存在不采用检测出的峰值作为峰值的情况。因此,在不采用检测出极小值之后检测出的极大值的情况等下,可认为产生了连续检测出极小值的情况。在该情况下,铅直方向检测部104执行步骤S31(后述)。
另外,在步骤S24中判断为“是”的情况是指,重新检测出的峰值Pn为极大值,而且这之前检测出的峰值Pn-l为极大值的情况。即,表示连续地检测出极大值的情况。通常,在峰值检测中不会连续地检测出极大值。但是,在本实施方式中,如上述那样,根据不同状况,有时不采用检测出的峰值作为峰值。因此,在不采用检测出极大值之后检测出的极小值的情况等下,可认为产生了连续检测出极大值的情况。此时,铅直方向检测部104也执行步骤S31。
这样,通过执行步骤S22、S23、S24,步骤S31成为,在连续地检测出极大值(或者极小值)的情况下执行的处理。
在连续地检测出极大值(或者极小值)的情况下,铅直方向检测部104对本次检测出的峰值Pn的绝对值和之前检测出的峰值Pn-l的绝对值进行比较,判断本次检测出的峰值Pn的绝对值是否更大(步骤S31)。
在检测出的Pn的绝对值更大的情况下(在步骤S31中为“是”),铅直方向检测部104利用本次检测出的与峰值Pn相关的信息来覆盖已记录在迈出脚信息115及峰值信息114中的与峰值Pn-l相关的记录(步骤S32)。即,将峰值信息114中的检测出峰值Pn-l的时刻改写为检测出峰值Pn的时刻。另外,在峰值Pn为极大值的情况(此时,峰值Pn-l也是极大值)下,将迈出脚信息115中的检测出峰值Pn-l的时刻改写为检测出峰值Pn的时刻。但是,还没有对峰值Pn-l进行峰值分析处理,因此不需要修正峰值Pn-l。
在步骤S31中判断为“是”的情况是指,连续检测出极大值(或者极小值)的情况(执行步骤S31的情况),并且本次检测出的峰值Pn的绝对值大于这之前检测出的峰值Pn-l的绝对值的情况。这样的情况是指,与这之前检测出的峰值Pn-l相比,本次检测出的峰值Pn更适合作为峰值。因此,在步骤S31中判断为“是”的情况下,铅直方向检测部104为了不采用之前检测出的峰值P作为峰值,而执行步骤S32。此外,当执行步骤S32时,铅直方向检测部104结束铅直方向上的峰值检测处理,返回图5所示的处理。
另一方面,在步骤S31中判断为“否”的情况是指,连续地检测出极大值(或者极小值)的情况(执行步骤S31的情况),而且这之前检测出的峰值Pn-l的绝对值在本次检测出的峰值Pn的绝对值以上的情况。这样的情况是指,与本次检测出的峰值Pn相比,这之前检测出的峰值Pn-l更适合作为要记录的峰值。因此,在步骤S31中判断为“否”的情况下,铅直方向检测部104不保留与本次检测出的峰值Pn相关的记录,结束铅直方向上的峰值检测处理,返回图5所示的处理。
这样,在连续检测出极大值(或者极小值)的情况下,通过执行步骤S32来不采用(消除记录)这之前检测出的峰值Pn-l或者不采用(不记录)本次检测出的峰值Pn。即,仅记录并保留峰值Pn-1或峰值Pn中的一个峰值。由此,在峰值信息114中一定交替地记录有铅直方向上的加速度成分αU的极大值及极小值。
接着,说明在通常状态下执行的水平方向上的峰值检测处理(步骤S7)。
图7是示出了第一实施方式的终端装置1所执行的水平方向上的峰值检测处理的流程图。
当开始进行水平方向上的峰值检测处理时,水平方向检测部105通过参照检测用加速度信息113,基于该检测用加速度信息113所表示的加速度成分αE、αN,根据公式1来计算水平面上的加速度的功率PW(步骤S41)。即,在步骤S41中,水平方向检测部105基于与铅直方向垂直的第一方向(E轴方向)的加速度成分(加速度成分αE)、与铅直方向及第一方向垂直的第二方向(N轴方向)的加速度成分(加速度成分αN),来求出水平面上的加速度的功率PW。
图8是将横轴设定为时间来例示了加速度成分αE、αN和水平面上的加速度的功率PW的图。但是,在图8中,为了容易观察,通过对功率PW进行正负反转来进行表示。
若基于图8中例示的水平方向上的加速度成分αE、αN来执行步骤S41,则可求出图8中例示的功率PW(其中,在图8中正负反转)。
当求出了功率PW时,水平方向检测部105检测所求出的功率PW的峰值(功率峰值)(步骤S42)。
在进行步骤S42的检测峰值的处理中,检测在规定时间内(在从前一次检测时刻开始所经过的时间内)存在的功率PW的极大值及极小值。即,不仅检测极大值,还检测极小值。但是,在本实施方式中,在推定行进方向时,在水平方向上,只有功率PW的极大值成为问题(只需要考虑功率PW的极大值)。因此,水平方向检测部105判断在步骤S42中检测出的各功率峰值是否是极大值(步骤S43)。
在检测出的功率峰值为极大值的情况(在步骤S43中为“是”)下,进一步判断检测出的该功率峰值是否大于阈值R(步骤S44)。
在检测出的功率峰值大于阈值R的情况(在步骤S44中为“是”)下,水平方向检测部105记录检测出该功率峰值的时间(时刻)、峰值的值、检测出该功率峰值时的加速度成分αE、αN,来作为峰值信息114(步骤S45)。
由此,峰值信息114包括观测到功率PW的极大值的时间、观测到该功率的极大值时的第一方向(E轴方向)的加速度成分、观测该功率的极大值时的第二方向(N轴方向)的加速度成分。即,峰值信息114包括相当于本发明的水平方向峰值信息的信息。
此外,本实施方式的峰值信息114还包括功率峰值的值(成为极大值时的功率PW)。但是,也可以不存储功率峰值的值作为峰值信息114,而在需要时,基于峰值信息114所包括的加速度成分αE、αN,根据公式1重新计算功率峰值的值。另外,对阈值R预先设定有初始值。并且,在本实施方式中,例如,计算所检测出的水平面上的功率峰值的一定比例,来动态地更新阈值R的适当值。
在步骤S44中,所检测出的功率峰值在阈值R以下的情况下,水平方向检测部105跳过步骤S45。即,并不将与该功率峰值相关的信息记录到峰值信息114中。
另一方面,在步骤S43中,所检测出的功率峰值为极小值的情况下,水平方向检测部105跳过步骤S44、S45。即,并不将与水平方向的功率PW的极小值相关的信息记录到峰值信息114中。
当对一个功率峰值的处理结束时,水平方向检测部105判断对在步骤S42中检测出的所有峰值的处理是否结束(步骤S46)。然后,在存在未进行处理的峰值的情况(在步骤S46中为“否”)下,返回步骤S43,反复对未处理的峰值进行处理。
这样,通过执行水平方向上的峰值检测处理,在图8所示的例子中,将与位于被四角框包围的部位的峰值(由于进行了反转,因此看起来是极小值,但实际上是极大值)、位于被圆圈包围的部位的峰值(由于反转,因此看起来是极小值,但实际上是极大值)相关的信息,记录到峰值信息114中。
在对步骤S42中检测出的所有峰值的处理结束的情况(步骤S46中为“是”)下,水平方向检测部105结束水平方向上的峰值检测处理,返回图5所示的处理。
在上述说明中,明确了如何作成峰值信息114和迈出脚信息115以及峰值信息114和迈出脚信息115是何种信息,因此说明图6所示的峰值分析处理(步骤S29)。
图9是示出了峰值分析处理的流程图。此外,虽然已经进行了说明,但是峰值分析处理是指,每当检测出峰值Pn(铅直方向上的加速度成分αU的极大值)时,对峰值Pn-1(之前检测出的峰值)进行分析的处理。
当开始进行峰值分析处理时,峰值分析部106参照峰值信息114,来获取峰值Pn-2的检测时间(峰值Pn-2为极大值,因此该检测时间为“Tmax”)和峰值Pn-l的检测时间(峰值Pn-l为极小值,因此该检测时间为“Tmin”)(步骤S51)。
接着,峰值分析部106通过执行公公式2及公式3,来求出边界时间b0、b1(步骤S52)。
数学公式2
b0=Tmax-A(Tmin-Tmax)…公式2
数学式3
b1=Tmax+B(Tmin-Tmax)…公式3
其中,公式2及公式3中的A、B都是任意系数。
当求出了边界时间b0、b1时,峰值分析部106参照峰值信息114,搜索在从边界时间b0到边界时间bl的期间(搜索期间)内检测出的水平面上的功率PW的峰值的极大值,来作为适当的功率峰值(步骤S53)。
图10是示意性地示出了用于搜索适当的功率峰值的情况的图。
根据在步骤S51中从峰值信息114中获取的Tmax及Tmin,执行步骤S52来求出边界时间b0、b1,由此决定峰值信息114内的用于搜索功率峰值的期间(搜索期间)。当决定了搜索期间时,从已经检测并记录到峰值信息114中的水平面上的功率PW的峰值中,决定位于该搜索期间内的功率峰值。
若此时在搜索期间内发现多个峰值,则通过对执行峰值进行比较,来决定最大峰值。即,为了在搜索期间内发现了多个峰值时搜索出最大的峰值,参照峰值信息114所包括的功率PW的值(峰值)。
由此,从峰值信息114中提取图10中标注有星号的部位的峰值,来作为水平面上的适当的功率峰值。这样,作为适当的功率峰值来搜索(提取)出的功率峰值是在图8中位于被圆圈包围的部位的功率峰值。相反地,在图8中位于被四角框包围的部位的功率峰值,此后也不会包含在搜索期间内,也不会被提取。
在图8中,可认为位于被四角框包围的部位的功率峰值是水平方向上的速度的加速方向的峰值。在人的步行动作中,加速时受到因迈出脚的产生的各种噪声的影响。因此,在利用加速方向的峰值时,行进方向上的可靠性较低的可能性高。另一方面,在减速时,步行动作会处于自然产生的减速状态,因此可认为减速方向的峰值在行进方向上的可靠性高。由此,在通过PDR推定行进方向时,不考虑加速时的峰值。因此,在本实施方式中,通过峰值分析处理,除去这样的峰值。
当在步骤S53中提取了功率峰值时,从迈出脚信息115中确定检测出该功率峰值的时间的迈出脚,并将该迈出脚(第一脚或者第二脚的区分)作为与该功率峰值相关的信息来与该功率峰值建立关联(步骤S54)。由此,峰值分析部106作成推定用峰值信息116。
这样,通过执行峰值分析处理来作成的推定用峰值信息116是,表示推定出行进方向上的加速度在减少方向上成为最大的时间(检测出适当的功率峰值的时间)、此时的功率PW的值、此时E轴方向上的加速度成分αE、此时的N轴方向上的加速度成分αN以及此时的迈出脚的信息。
上面,说明了图6的步骤S29的峰值分析处理。
返回图5,在通常状态下,当推定时刻到来时,CPU10在步骤S8中判断为“是”,并基于推定用峰值信息116,推定步行者的行进方向(步骤S9)。
在步骤S9中,行进方向推定部107一边参照推定用峰值信息116,一边针对记录的各峰值,基于处于该峰值时的加速度成分αE、αN来执行公式4,由此求出处于各峰值时的与E轴之间的相位角θ。
数学式4
…公式4
其中,利用加速度成分αN、αE来决定象限。
在公式4中求出的相位角成为此时的步行者的行进方向和E轴之间的相对关系。因此,行进方向推定部107针对各峰值,将相位角θ作为进行与该峰值建立关联的迈出脚时的步行者的行进方向,来记录为行进方向信息117。即,通过执行步骤S9,每进行一步之间的迈出脚时,将行进方向作为与E轴之间的相位角来保存到行进方向信息117中。
当执行步骤S9来更新了行进方向信息117时,加速度信息调整部108进行调整处理(步骤S10)。
在调整处理中,加速度信息调整部108基于行进方向信息117,通过对检测用加速度信息113进行坐标变换,来变换为行进方向上的加速度成分αf、和与行进方向垂直且向右的加速度成分αs,由此作成已调整加速度信息118。此外,此时不需对铅直方向上的加速度成分αU进行变换。
这样,若图示在步骤S10中作成的已调整加速度信息118的铅直方向上的加速度成分αU和行进方向上的加速度成分αf,则成为图4那样。即,高精度地推定了行进方向,因此能够高精度地提取行进方向上的加速度成分αf,从而能够高精度地分析步行者的步行动作。
如上所述,第一实施方式的终端装置1构成步行者观测系统,该终端装置1具有:加速度传感器14,其与步行者相随,按照独立定义的终端坐标系来获取加速度信息140;水平方向检测部105,其基于与铅直方向垂直的东方向(第一方向)上的加速度成分αE和与铅直方向及东方向垂直的北方向(第二方向)上的加速度成分αN,来求出水平面上的加速度的功率PW,由此获取观测到该功率PW的极大值的时间、观测到该功率PW的极大值时的加速度成分αE、观测到该功率PW的极大值时的加速度成分αN,来作为水平方向峰值信息,其中,所述东方向上的加速度成分αE和所述北方向上的加速度成分αN是根据由加速度传感器14获取的加速度信息140来求出的;
铅直方向检测部104,其基于由加速度传感器14获取的加速度信息140,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息;峰值分析部106,其基于由铅直方向检测部104获取的铅直方向峰值信息,来对由水平方向检测部105获取的水平方向峰值信息中所含的与功率PW的极大值相关的信息进行筛选,由此获取推定用峰值信息116;行进方向推定部107,基于由峰值分析部106获取的推定用峰值信息116,来获取表示步行者的行进方向的行进方向信息117。由此,能够抑制计算量,因此响应性良好,而且能够高精度地推定行进方向。
另外,终端装置1还具有:姿势推定部100,其获取姿势信息111,该姿势信息111表示在适于观测步行者的步行动作的观测坐标系上的终端装置1(加速度传感器14)的姿势,坐标变换部102,基于由姿势推定部100获取的姿势信息111,对由加速度传感器14获取的加速度信息140进行坐标变换来变换,将该加速度信息140变换为该观测坐标系上的坐标,来作为已变换加速度信息112,LPF处理部103,其从由坐标变换部102获取的已变换加速度信息112中提取低频成分,来作为检测用加速度信息113;水平方向检测部105基于由LPF处理部103获取的检测用加速度信息113来获取水平方向峰值信息;铅直方向检测部104基于由LPF处理部103获取的检测用加速度信息113来获取铅直方向峰值信息。由此,即使在适用于姿势自由度高的终端装置1的情况下,也能够抑制因旋转而产生的噪声,从而能够提高精度。即,并不是直接分析加速度信息140来推定行进方向,而是通过检测与加速度相关的峰值来对其进行峰值分析处理,由此即使在步行者瞬间改变携带终端装置1的方式的情况下,也不会受到因改变携带方式而产生的加速度的瞬间变化引起的影响,从而能够稳定地推定行进方向。
另外,姿势推定部100实质上实时地获取姿势信息111,由此进一步提高了响应性。
另外,铅直方向检测部104获取与步行者的迈出脚相关的迈出脚信息115,峰值分析部106基于由铅直方向检测部104获取的迈出脚信息115来对与推定用峰值信息116中包含的功率PW的极大值相关信息和用于识别迈出脚的信息建立关联,由此能够抑制峰值的误测,从而提高了精度。
<2.第二实施方式>
在第一实施方式中,说明了终端装置1没有固定于步行者的情况。在这种情况下,不仅需要利用加速度传感器14,还需要利用陀螺仪传感器15及磁传感器16来推定终端装置1的姿势。但是,在利用PDR等应用程序的情况下,还可考虑将用于观测步行者的步行动作的终端装置固定在步行者的身体上的情况。例如,将终端装置固定在步行者的腰上,或者放进胸兜中。若限定于这样的利用方式,则能够比第一实施方式更容易地推定行进方向。
图11是示出了第二实施方式的终端装置2的图。假设图11所示的终端装置2在放进步行者的胸兜中的状态下测定行进方向。另外,终端装置2与终端装置1同样地,构成本发明的步行者观测系统。
在第二实施方式中,作为适于观测步行者的步行动作的观测坐标系,定义了设定有铅直朝上的U轴、与U轴垂直的I轴(步行者的前向的轴)、与U轴及I轴垂直的J轴(步行者的右向的轴)的坐标系(下面,称为“IJU坐标系”)。由此,I轴及J轴是定义在水平面上的轴。此外,假设终端装置2的终端坐标系与终端装置1相同。
IJU坐标系并不是与第一实施方式的ENU坐标系那样与步行者的运动独立的坐标系。因此,IJU坐标系根据步行者的运动而朝向发生变化。
但是,在步行者携带终端装置2的期间,IJU坐标系和终端坐标系(XYZ坐标系)之间的相对关系不发生变化。另外,能够预先获取如第二实施方式那样将终端装置2放进胸兜中的情况下的IJU坐标系和XYZ坐标系之间的相对关系,来将其存储到终端装置2中。
利用该相对关系,若利用与第一实施方式的坐标变换部102同样的结构来将加速度信息140变换为已变换加速度信息112,则能够与第一实施方式同样地推定行进方向。下面,省略对第二实施方式的详细说明。
如上所述,在第二实施方式的终端装置2中,也能够得到与第一实施方式同样的效果。
另外,将终端装置2固定到步行者的身体上,并且利用在步行者的身体上定义的IJU坐标系来作为观测坐标系,由此不需随时推定姿势,而能够以简单的结构及少的计算量推定行进方向。
此外,也可以利用支持物(holder)等来将终端装置2固定到步行者的腰等上。即,只要固定终端坐标系和观测坐标系(在本实施方式中1JU坐标系)之间的相对关系即可,可将终端装置2固定在任何位置上。
另外,在第二实施方式中,说明了预先获取IJU坐标系和XYZ坐标系之间的相对关系来将其存储到终端装置2中的情况。但是,也可以在最初以与第一实施方式同样的方法仅推定一次姿势,然后一直利用该推定方法。此时,虽然终端装置2也需要相当于陀螺仪传感器15、磁传感器16的结构,但是仅需要进行一次用于推定姿势的计算及测定,因此抑制了计算负荷,可提高响应性。
此外,能够根据各种状况判断终端装置2(加速度传感器14)是否处于大致固定在步行者的身体上的状况。例如也可以由步行者预先对操作部12进行操作来向终端装置2输入这样的状况。或者,在终端装置2上设置照相机,通过由该照相机拍摄周围来分析所拍摄的图像信息,由此能够根据周围的亮度、被拍摄体的运动等来判断这样的状况。在终端装置2容置于胸兜或固定在支持物上的状态下,通过检测出周围昏暗或者被拍摄体(衣兜、支持物的内侧)几乎不移动等现象。
<3.第三实施方式>
在第二实施方式中,说明了终端装置2(加速度传感器14)大致固定在步行者的身体上的例子。但是,在利用PDR的状况下,也比较频繁地发生步行者一边将携带式装置保持在自身的臂部上,一边前后摆动该臂部来步行的状况(下面,称为“臂部摆动状态”)。此外,这里所说的“臂部”包括“手部”、“手指”、等。即,“保持在臂部”包括:用“手部”握持的状态、在如戒指式装置那样戴在“手指”上的状态、如手表式装置那样用带子等戴在“手腕”上的状态、或以手链那样的形式戴在“前臂”上的状态、等。
图12是一起示出了第三实施方式的终端装置3所具备的功能块与数据的传送的图。在下面的说明中,对终端装置3的与终端装置1同样的结构标注相同附图标记,适当省略说明。
在终端装置3中,取代铅直方向检测部104而具备铅直方向检测部104a,取代峰值分析部106而具备峰值分析部106a,取代行进方向推定部107而具备行进方向推定部107a,而且,在具备判断部109这一点上,与终端装置1不同。
判断部109具有判断步行者是否一边前后摆动保持有终端装置3(加速度传感器14)的臂部一边步行的功能。即,判断部109判断是否处于臂部摆动状态。
终端装置3的判断部109根据来自操作部12的输入信号,来判断臂部摆动状态。即,通过对操作部12的操作来输入步行者是否处于臂部摆动状态,并将该输入传递至判断部109。
但是,判断部109为了判断是否处于臂部摆动状态而参照的信息,并不限定于从操作部12传递来的信息。例如,判断部109也可以通过参照检测用加速度信息113,来对铅直方向上的加速度成分的周期和水平方向上的加速度成分进行比较,由此进行分析来进行判断。
另外,在臂部摆动状态下,具有功率PW的极大值变大的趋势。因此,判断部109通过参照峰值信息114,来对峰值信息114中包含的水平方向的功率PW(在峰值信息114中仅保存有功率PW的极大值。)和阈值进行比较,由此,若功率PW大于该阈值,则判断为臂部摆动状态。作为这样的阈值,例如能够利用0.5[G](G为重力加速度),但是并不限定于该值。
另外,或者也能够在终端装置3上设置照相机来拍摄周围,并由判断部109分析所拍摄的图像信息,来判断是否处于臂部摆动状态。
判断部109将判断结果(用于表示是否处于臂部摆动状态的信息)传递至铅直方向检测部104a及峰值分析部106a。
铅直方向检测部104a与铅直方向检测部104同样地,具有作成峰值信息114、迈出脚信息115的功能。但是,铅直方向检测部104a与铅直方向检测部104不同地,在作成峰值信息114、迈出脚信息115之前,参照从判断部109传递来的判断结果。
并且,在步行者的步行动作不处于臂部摆动状态的情况下,铅直方向检测部104a通过进行与铅直方向检测部104同样的处理,来作成峰值信息114及迈出脚信息115。即,在步行动作中判断部109判断为不处于臂部摆动状态的情况下,在终端装置3中作成的峰值信息114及迈出脚信息115与在终端装置1中作成的峰值信息114及迈出脚信息115相同。
另一方面,在由判断部109判断为步行动作处于臂部摆动状态的情况下,铅直方向检测部104a采用与铅直方向检测部104不同的处理,来作成峰值信息114。另外,此时,铅直方向检测部104a不作成迈出脚信息115。
后面详细说明在处于臂部摆动状态时由终端装置3的铅直方向检测部104a执行的处理。
峰值分析部106a与峰值分析部106同样地,具有作成推定用峰值信息116的功能。但是,峰值分析部106a与峰值分析部106不同地,在作成推定用峰值信息116之前,参照从判断部109传递来的判断结果。
并且,在步行者的步行动作不处于臂部摆动状态的情况下,峰值分析部106a通过进行与峰值分析部106同样的峰值分析处理,来作成推定用峰值信息116。即,在由判断部109判断为步行动作不处于臂部摆动状态的情况下,在终端装置3中作成的推定用峰值信息116与在终端装置1中作成的推定用峰值信息116相同。
另一方面,在由判断部109判断为步行动作处于臂部摆动状态的情况下,峰值分析部106a采用与峰值分析部106不同的分析处理,来作成推定用峰值信息116。即,在处于臂部摆动状态时,峰值分析部106a采用与臂部摆动状态相对应的特殊的分析处理。由此,在终端装置3中,提高处于臂部摆动状态时的行进方向的推定精度。
后面详细说明在处于臂部摆动状态时由终端装置3的峰值分析部106a执行的分析处理。
行进方向推定部107a与行进方向推定部1070同样地具有基于推定用峰值信息116来推定步行者的行进方向并由此作成行进方向信息117的功能。但是,行进方向推定部107a与行进方向推定部107不同地,在作成行进方向信息117之前,判断推定用峰值信息116中是否包含铅直方向上的加速度成分αU的两个极小值。
并且,在推定用峰值信息116中不包含铅直方向上的加速度成分αU的极小值的情况下,行进方向推定部107a通过与行进方向推定部107同样的计算(公式4),来作成行进方向信息117。
另一方面,在推定用峰值信息116中包含铅直方向上的加速度成分αU的两个极小值的情况下,行进方向推定部107a根据该极小值的大小关系,分开使用行进方向的计算式,来求出该行进方向。
此外,终端装置3的推定用峰值信息116中包括铅直方向上的加速度成分αU的两个极小值的情况是指,由判断部109判断为步行动作处于臂部摆动状态的情况。即,在不处于臂部摆动状态时,行进方向推定部107a进行与行进方向推定部107同样的处理。在后面详细说明由行进方向推定部107a求出行进方向的处理。
上面,说明了终端装置3的结构及功能。接着,说明利用终端装置3推定步行者的行进方向的方法。
图13是示出了第三实施方式的终端装置3所执行的行进方向推定处理的流程图。终端装置3的行进方向推定处理与终端装置1的行进方向推定处理(图5)不同点在于,执行步骤S60来代替步骤S6,并且执行步骤S90来代替步骤S9。下面,说明步骤S60及步骤S90。
图14示出了第三实施方式的终端装置3所执行的铅直方向上的峰值检测处理(步骤S60)的流程图。此外,图14所示的步骤S61至S65是与在图6中已经说明的步骤S21至S25同样的步骤,因此在此省略说明。另外,图14所示的步骤S71至S77是与在图6中已经说明的步骤S26至S32同样的步骤,因此同样省略说明。
在步骤S65中判断为“是”时,铅直方向检测部104a判断是否处于臂部摆动状态(步骤S66)。此外,步骤S65是与终端装置1的情况同样地,在交替检测出铅直方向上的加速度成分αU的极大值和极小值的情况下执行的处理。另外,在步骤S66中,铅直方向检测部104a基于从判断部109传递来的判断结果来进行判断。
在步骤S66中判断为“否”的情况(不处于臂部摆动状态的情况)下,终端装置3执行步骤S71至S75的处理,结束铅直方向上的峰值检测处理(步骤S60),返回图13所示的行进方向推定处理。这样,在步行动作不处于臂部摆动状态的情况下,终端装置3执行与终端装置1的步骤S26至S30同样的处理,由此作成峰值信息114、迈出脚信息115及推定用峰值信息116。
另一方面,在步骤S66中判断为“是”的情况(处于臂部摆动状态的情况)下,终端装置3执行臂部摆动时分析处理(步骤S67)。即,臂部摆动时分析处理地仅在判断为步行者处于将携带式装置保持在自身的臂部上而且前后摆动该臂部来步行的状况(臂部摆动状态)下执行的处理。
图15是示出了第三实施方式的终端装置3所执行的臂部摆动时分析处理的流程图。
当开始进行臂部摆动时分析处理时,铅直方向检测部104a判断在步骤S61中检测出的铅直方向上的加速度成分αU的峰值Pn是否是极大值(步骤S81)。如上面说明,存在步骤S61中检测出的峰值Pn是铅直方向上的加速度成分αU的极大值的情况和该峰值Pn是极小值的情况。
在步骤S61中检测出的峰值Pn是极小值的情况(在步骤S81中为“否”)下,存储检测出该峰值Pn的时刻(即,“Tmin”)、峰值Pn(即,铅直方向上的加速度成分αU的极小值),来作为峰值信息114(步骤S82)。
图16是例示了臂部摆动状态下的加速度成分的变化的图。图16中表示铅直方向上的加速度成分αU、行进方向上的加速度成分αf、水平面上的功率PW。
臂部摆动时分析处理是在检测出铅直方向上的加速度成分αU的极大值或极小值的时刻执行的处理。因此,在图16所示的例子中,分别在时间T1、T2、T3、T4执行。
例如,说明时间T3时的例子,时间T3是观测到铅直方向上的加速度成分αU的极小值的时间,因此此时的峰值Pn为极小值。因此,此时在步骤S81中判断为“否”,从而记录时间T3(检测出的时刻)和峰值Pn(时间T3的铅直方向上的加速度成分αU的值),来作为峰值信息114。
当执行步骤S82时,终端装置3结束臂部摆动时分析处理。另外,当结束臂部摆动时分析处理时,终端装置3执行步骤S75,结束铅直方向上的峰值检测处理(步骤S60),并返回图13所示的行进方向推定处理。
另一方面,在步骤S61中检测出的峰值Pn是极大值的情况(在步骤S81中为“是”)下,存储检测出该峰值Pn的时刻(即,“Tmax”),来作为峰值信息114(步骤S83)。
在图16所示的例子中,说明时间T4时的例子,时间T4是观测到铅直方向上的加速度成分αU的极大值的时间,因此此时的峰值Pn为极大值。因此,此时在步骤S81中判断为“是”,从而记录检测出峰值Pn的时刻(即,时间T4)来作为峰值信息114。换句话讲,在峰值Pn为极大值的情况下,并不记录该峰值Pn来作为峰值信息114。这仅仅是因为在后面的处理中不会利用铅直方向上的加速度成分αU的极大值。
当执行了步骤S83时,峰值分析部106a参照峰值信息114,确定搜索期间(步骤S84)。在步骤S84中,峰值分析部106a从最近追溯,确定分别检测出垂直加速度成分αU的两个极小值的两个时间(即,“Tmin”)。接着,确定位于所确定的两个Tmin之间的检测出垂直加速度成分αU的极大值的时间(即,“Tmax”)。然后,确定从已经确定的两个Tmin中的时间旧的Tmin到确定的Tmax的时间,来作为搜索期间。
在峰值Pn为极大值的情况下,执行步骤S84,因此在图16所示的例子中,说明时间T4时的例子。此时,从最近追溯而确定的两个Tmin是时间Tl及T3。并且,位于它们之间的Tmax是时间T2。而且,两个Tmin即T1、T3中的时间旧的Tmin是时间Tl。因此,在时间T4时通过执行步骤S84来确定的搜索期间是从图16所示的时间Tl到时间T2的期间。
当确定了搜索期间时,峰值分析部106a确定搜索期间内的功率PW的极大值的极大值(步骤S85)。即,峰值分析部106a检测搜索期间内的功率PW的极大值,并且在该搜索期间内存在多个功率PW的极大值的情况下,确定它们之中的最大值。
接着,确定在步骤S85中确定的极大值的时间,并确定该时间的东方向(第一方向)上的加速度成分αE、北方向(第二方向)上的加速度成分αN(步骤S86)。
然后,将所确定的加速度成分αE、αN和在步骤S84中确定的Tmin的两个极小值包括起来,作成推定用峰值信息116(步骤S87)。即,将所确定的加速度成分αE、αN和作为极小值的峰值Pn-3、Pn-l相互建立关联来并进行存储,来作为推定用峰值信息116。
此外,在步骤S84中不能检测出两个Tmin的情况下,峰值分析部106a将本来应该保存至推定用峰值信息116中的极小值即峰值Pn-3、Pn-l作为虚拟信息(能够识别为虚拟信息的值)来进行保存。下面,省略详细说明,但是在推定用峰值信息116中保存有作为虚拟信息的两个极小值的情况下,行进方向推定部107a在后述步骤S91(图17)中判断为处于臂部摆动状态,不推定新的行进方向,并保持之前推定的行进方向。
当执行了步骤S87时,终端装置3结束臂部摆动时分析处理。另外,当结束了臂部摆动时分析处理时,终端装置3执行步骤S75,结束铅直方向上的峰值检测处理(步骤S60),返回图13所示的行进方向推定处理。
在臂部摆动状态下,步行动作对终端装置3的上下运动带来的影响产生偏差。该偏差,明显表现在铅直方向上的加速度成分αU的极小值上。观察图16可知,在臂部摆动状态下,铅直方向上的加速度成分αU的极小值,交替地反复出现比较大的值和比较小。另外,在从铅直方向上的加速度成分αU的极小值到极大值之间,产生行进方向加速度成分αf的峰值,各峰值的相位与垂直加速度成分的极小值的大小关系具有很大的联系。终端装置3捕捉在处于臂部摆动状态时观察到的这样的特征,来更高精度地推定行进方向。
上面,说明了垂直方向上的峰值检测处理(步骤S60)。接着,说明行进方向计算处理(图13:步骤S90)。
图17是示出了第三实施方式的终端装置3所执行的行进方向计算处理的流程图。行进方向计算处理是在图13所示的步骤S8中判断为“是”的情况下执行的处理。
当开始进行行进方向计算处理时,行进方向推定部107a判断步行者的步行动作是否处于臂部摆动状态(步骤S91)。此外,行进方向推定部107a参照推定用峰值信息116,根据该推定用峰值信息116中是否包含铅直方向上的加速度成分αU的极小值的峰值Pn-3、Pn-1,来判断是否处于臂部摆动状态。若不处于臂部摆动状态,则不执行步骤S87,因为铅直方向上的加速度成分αU的值不会包含在推定用峰值信息116中。但是,例如也可以在执行步骤S91之前,从判断部109直接向行进方向推定部107a传递判断结果。
在不处于臂部摆动状态的情况(在步骤S91中为“否”)下,行进方向推定部107a基于记录在推定用峰值信息116中的加速度成分αE、αN,计算θ=arctan[-αN/-αE](即,公式4),从而求出相位θ。由此,推定步行者的行进方向(步骤S92)。这样,在步行者的步行动作不处于臂部摆动状态的情况下,行进方向推定部107a与行进方向推定部107同样地,推定该步行者的行进方向。
在处于臂部摆动状态的情况(在步骤S91中为“是”)下,行进方向推定部107a进一步确认存储在推定用峰值信息116中的峰值Pn-3、Pn-1的大小关系。即,判断两个峰值Pn-3、Pn-1中的时序上新的峰值Pn-1是否小于时序上旧的峰值Pn-3(步骤S93)。
然后,在Pn-1<Pn-3不成立(在步骤S93中为“否”)时,行进方向推定部107a通过执行步骤S92来推定行进方向。
能够推定出在步骤S93中判断为“否”的情况下与该两个峰值Pn-3、Pn-1建立关联来记录的加速度成分αE、αN是在步行者相对于行进方向而从后方向前方摆动保持有终端装置3的臂部时记录的。因此,此时行进方向推定部107a根据公式4求出相位θ。
另一方面,在成立Pn-1<Pn-3(在步骤S93中为“是”)时,行进方向推定部107a根据下公式5推定行进方向。
数学式5
…公式5
能够推定出在步骤S93中判断为“是”的情况下与该两个峰值Pn-3、Pn-1建立关联来记录的加速度成分αE、αN是在步行者相对于行进方向而从前方向后方摆动保持有终端装置3的臂部时记录的。因此,此时行进方向推定部107a根据使公式5求出相位θ。
当执行了步骤S92或S94时,终端装置3结束行进方向计算处理(步骤S90),返回图13所示的处理。
如上所述,终端装置3还具有用于判断步行者是否一边前后摆动保持有终端装置3(加速度传感器14)的臂部一边步行的判断部109,在由判断部109判断出步行者一边前后摆动保持有加速度传感器14的臂部一边步行时,铅直方向检测部104a基于加速度传感器14所获取的加速度信息140来获取铅直方向上的加速度的极小值作为峰值信息114,峰值分析部106a根据判断部109的判断结果类获取推定用峰值信息116。
由此,在不处于臂部摆动状态的情况下,终端装置3与终端装置1同样地推定步行者的行进方向,从而在不处于臂部摆动状态的情况下能够取得与终端装置1同样的效果。
另一方面,在处于臂部摆动状态时,通过捕捉在臂部摆动状态下特有的现象及特征,来推定步行者的行进方向,从而能够更高精度地推定行进方向。具体地说,在处于臂部摆动状态时确定搜索期间、区分保持有终端装置3的臂部从前方朝向后方摆动时、或者从后方朝向前方摆动时,来推定行进方向。
<4.变形例>
上面,说明了本发明的实施方式,但是本发明并不限定于上述实施方式,而能够进行各种变形。
例如,在上述实施方式中表示的各工序仅为例示,并不限定于上述顺序及内容。即,只要能够获取同样的效果,也可以适当地变更顺序及内容。
另外,在上述第一实施方式及第二实施方式中,通过将每步的相位角θ作为行进方向信息117,来作成已调整加速度信息118。但是,在人的步行动作中,也能够将迈出左右脚的期间(即,两步的期间)作为基准来进行分析。即,也可以将第一脚和第二脚分别迈出一次的期间的行进方向,作为行进方向信息117。此时,例如也可以将连续的两步中的各步的相位角θ的中间值,作为该两步之间的行进方向,来作成行进方向信息117。另外,或者也可以根据功率PW的值和这时的相位角,求出连续的两步各步的移动矢量,对两个移动矢量进行矢量合成来决定行进方向矢量,将该行进方向矢量的朝向作为行进方向信息117。
另外,在上述实施方式中,说明了当启动终端装置1、2、3时分别监视测定时刻及推定时刻的情况。但是,终端装置1并不是必须总是持续推定行进方向。例如也可以仅在需要推定行进方向时(例如,在起动与PDR相关的应用程序时),监视上述时刻。
另外,在上述实施方式中,说明了仅通过终端装置1、2、3构成步行者观测系统的方式。即,说明了用一个装置构成步行者观测系统的例子。但是,也可以从与步行者相随的终端装置中获取加速度信息140、角速度信息150及地磁信息160,而通过外部的计算机等来执行行进方向的计算。例如也可以通过具有加速度传感器14的终端装置和能够与该终端装置进行数据通信的服务器装置来构成步行者观测系统,并将相当于铅直方向检测部104、水平方向检测部105等的功能块设置在该服务器装置中。
另外,在上述实施方式中,都说明了利用铅直方向检测部104及水平方向检测部105,基于检测用加速度信息113,来作成峰值信息114及迈出脚信息115的例子。即,在上述实施方式中,都由峰值分析部106基于峰值信息114及迈出脚信息115来作成推定用峰值信息116。但是,即使在通过LPF处理部103进行除去高频成分的处理之前,仅基于姿势信息111,对加速度信息140进行坐标变换来作成已变换加速度信息112,也能够与以往技术相比,抑制旋转的影响,能够提高PDR的检测精度。
而且,说明了执行峰值分析处理(步骤S29)的时刻是在铅直方向的峰值处理(步骤S6)中检测出铅直方向的极大值的时刻的情况。但是,峰值分析处理并不一定需要在该时刻执行,只要在需要重新推定行进方向之前执行即可。
Claims (10)
1.一种步行者观测系统,其特征在于,
具有:
加速度检测单元,其与步行者相随,按照独立定义的终端坐标系来获取加速度信息;
水平方向检测单元,其基于与铅直方向垂直的第一方向上的加速度成分和与铅直方向及所述第一方向垂直的第二方向上的加速度成分,来求出水平面上的加速度的功率,由此获取观测到所述功率的极大值的时间、观测到该功率的极大值时的所述第一方向上的加速度成分以及观测到该功率的极大值时的所述第二方向上的加速度成分,来作为水平方向峰值信息,其中,所述第一方向上的加速度成分和所述第二方向上的加速度成分是根据由所述加速度检测单元获取的加速度信息来求出的;
铅直方向检测单元,其基于由所述加速度检测单元获取的加速度信息,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息;
峰值分析单元,其基于由所述铅直方向检测单元获取的铅直方向峰值信息,来对由所述水平方向检测单元获取的水平方向峰值信息中所含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息;
行进方向推定单元,其基于由所述峰值分析单元获取的推定用峰值信息,来获取表示所述步行者的行进方向的行进方向信息。
2.根据权利要求1所述的步行者观测系统,其特征在于,
还具有:
姿势推定单元,其获取姿势信息,该姿势信息表示所述加速度检测单元在适于观测所述步行者的步行动作的观测坐标系上的姿势,
变换单元,其基于由所述姿势推定单元获取的姿势信息,对由所述加速度检测单元获取的加速度信息进行坐标变换,来将该加速度信息变换为所述观测坐标系上的坐标,来作为已变换加速度信息,
低通滤波处理单元,从由所述变换单元获取的已变换加速度信息中提取低频成分,来作为检测用加速度信息;
所述水平方向检测单元基于由所述低通滤波处理单元获取的检测用加速度信息,获取所述水平方向峰值信息,
所述铅直方向检测单元基于由所述低通滤波处理单元获取的检测用加速度信息,获取所述铅直方向峰值信息。
3.根据权利要求2所述的步行者观测系统,其特征在于,
所述姿势推定单元实质上实时地获取所述姿势信息。
4.根据权利要求2所述的步行者观测系统,其特征在于,
所述观测坐标系是与所述步行者的动作相独立的坐标系。
5.根据权利要求2所述的步行者观测系统,其特征在于,
所述观测坐标系是对所述步行者的身体定义的坐标系。
6.根据权利要求1所述的步行者观测系统,其特征在于,
所述铅直方向检测单元获取与所述步行者的迈出脚相关的迈出脚信息;
所述峰值分析单元基于由所述铅直方向检测单元获取的迈出脚信息,来将所述推定用峰值信息中所含的与功率的极大值相关的信息和用于识别迈出脚的信息建立关联。
7.根据权利要求1所述的步行者观测系统,其特征在于,
还具有判断单元,该判断单元判断所述步行者是否一边前后摆动保持有所述加速度检测单元的臂部一边步行;
所述铅直方向检测单元,在由所述判断单元判断为所述步行者一边前后摆动保持有所述加速度检测单元的臂部一边步行时,基于由所述加速度检测单元获取的加速度信息,来获取铅直方向上的加速度的极小值,来作为铅直方向峰值信息;
所述峰值分析单元根据所述判断单元的判断结果来获取推定用峰值信息。
8.根据权利要求7所述的步行者观测系统,其特征在于,
所述行进方向推定单元根据时序上的新的铅直方向上的加速度的极小值和时序上的旧的铅直方向上的加速度的极小值之间的大小关系,来获取行进方向信息。
9.一种记录介质,记录有计算机能够读取的程序,其特征在于,
所述程序在被所述计算机执行时,实现行进方向推定方法,该行进方向推定方法包括:
加速度检测步骤,与步行者相随,按照独立定义的终端坐标系来获取加速度信息;
水平方向检测步骤,基于与铅直方向垂直的第一方向上的加速度成分和与铅直方向及所述第一方向垂直的第二方向上的加速度成分,来求出水平面上的加速度的功率,由此获取观测到所述功率的极大值的时间、观测到该功率的极大值时的所述第一方向上的加速度成分以及观测到该功率的极大值时的所述第二方向上的加速度成分,来作为水平方向峰值信息,其中,所述第一方向上的加速度成分和所述第二方向上的加速度成分是根据所获取的加速度信息来求出的;
铅直方向检测步骤,基于所获取的加速度信息,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息;
峰值分析步骤,基于所获取的铅直方向峰值信息,来对所获取的水平方向峰值信息中所含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息;
行进方向推定步骤,基于所获取的推定用峰值信息,来获取表示所述步行者的行进方向的行进方向信息。
10.一种行进方向推定方法,其特征在于,
包括:
与步行者相随,按照独立定义的终端坐标系来获取加速度信息的工序;
基于与铅直方向垂直的第一方向上的加速度成分和与铅直方向及所述第一方向垂直的第二方向上的加速度成分,来求出水平面上的加速度的功率,由此获取观测到所述功率的极大值的时间、观测到该功率的极大值时的所述第一方向上的加速度成分以及观测到该功率的极大值时的所述第二方向上的加速度成分,来作为水平方向峰值信息的工序,其中,所述第一方向上的加速度成分和所述第二方向上的加速度成分是根据所获取的加速度信息来求出的;
基于所获取的加速度信息,来获取观测到铅直方向上的加速度的极大值及极小值的时间,来作为铅直方向峰值信息的工序;
基于所获取的铅直方向峰值信息,来对所获取的水平方向峰值信息中所含的与功率的极大值相关的信息进行筛选,由此获取推定用峰值信息的工序;
基于所获取的推定用峰值信息,来获取表示所述步行者的行进方向的行进方向信息的工序。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013199278 | 2013-09-26 | ||
JP2013-199278 | 2013-09-26 | ||
JP2014157281A JP6358889B2 (ja) | 2013-09-26 | 2014-08-01 | 歩行者観測システム、プログラムおよび進行方向推定方法 |
JP2014-157281 | 2014-08-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104515521A CN104515521A (zh) | 2015-04-15 |
CN104515521B true CN104515521B (zh) | 2018-01-30 |
Family
ID=51726304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410466340.3A Expired - Fee Related CN104515521B (zh) | 2013-09-26 | 2014-09-12 | 步行者观测系统、记录介质及行进方向推定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9175962B2 (zh) |
EP (1) | EP2871446A3 (zh) |
JP (1) | JP6358889B2 (zh) |
CN (1) | CN104515521B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10921342B2 (en) | 2015-03-20 | 2021-02-16 | Qualcomm Incorporated | Arm swing compensation techniques |
US10042057B2 (en) * | 2015-05-15 | 2018-08-07 | Casio Computer Co., Ltd. | Information processing device, traveling direction estimation method and storage medium |
KR102521900B1 (ko) * | 2015-06-26 | 2023-04-13 | 인텔 코포레이션 | 보행자 추측 항법 기술 |
JP6190423B2 (ja) * | 2015-06-30 | 2017-08-30 | ヤフー株式会社 | 推定装置、移動方向推定方法及び移動方向推定プログラム |
US20180136742A1 (en) * | 2015-09-29 | 2018-05-17 | Sharp Kabushiki Kaisha | Information processing device, electronic apparatus, method of controlling information processing device, and control program |
EP3363360B1 (en) * | 2015-10-13 | 2021-03-24 | Alps Alpine Co., Ltd. | Walking measurement device, walking measurement method and corresponding computer program |
DE102015220997A1 (de) * | 2015-10-27 | 2017-04-27 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Bestimmung, ob ein vertikaler Schritt erfolgt ist |
WO2017175720A1 (ja) * | 2016-04-08 | 2017-10-12 | シャープ株式会社 | 行動判定装置および行動判定方法 |
WO2018030734A1 (ko) * | 2016-08-09 | 2018-02-15 | 주식회사 비플렉스 | 3d 시뮬레이션 방법 및 장치 |
US10041800B2 (en) * | 2016-09-23 | 2018-08-07 | Qualcomm Incorporated | Pedestrian sensor assistance in a mobile device during typical device motions |
JP6795190B2 (ja) * | 2017-03-02 | 2020-12-02 | 公立大学法人広島市立大学 | 歩行感覚呈示装置及び呈示方法 |
CN108537094B (zh) * | 2017-03-03 | 2022-11-22 | 株式会社理光 | 图像处理方法、装置和系统 |
JP6407368B2 (ja) * | 2017-07-05 | 2018-10-17 | ヤフー株式会社 | 推定装置、移動方向推定方法及び移動方向推定プログラム |
JP6837942B2 (ja) * | 2017-08-09 | 2021-03-03 | オムロンヘルスケア株式会社 | 測定装置、送信方法およびプログラム |
JP2019190937A (ja) * | 2018-04-23 | 2019-10-31 | シャープ株式会社 | 進行方向計算装置、進行方向決定方法、および制御プログラム |
CN110068322B (zh) * | 2019-04-18 | 2024-03-01 | 中国电子科技集团公司电子科学研究院 | 一种基于终端的行人定位方法及行人定位装置 |
CN110686672A (zh) * | 2019-10-23 | 2020-01-14 | 北京航空航天大学 | 一种适用于配带智能手机行人的行走航向检测方法 |
WO2023122282A1 (en) * | 2021-12-23 | 2023-06-29 | Dolby Laboratories Licensing Corporation | Determination of movement direction |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102313555A (zh) * | 2010-05-14 | 2012-01-11 | 卡西欧计算机株式会社 | 判别移动状态的装置以及判别移动状态的方法 |
JP2012242179A (ja) * | 2011-05-17 | 2012-12-10 | Sony Corp | 進行方位算出装置、進行方位算出方法及び進行方位算出プログラム並びにナビゲーション装置 |
WO2013016875A1 (en) * | 2011-08-04 | 2013-02-07 | Google Inc. | Moving direction determination with noisy signals from inertial navigation systems on mobile devices |
CN103245797A (zh) * | 2012-02-07 | 2013-08-14 | 精工爱普生株式会社 | 状态检测装置、电子设备以及状态检测方法 |
CN103267524A (zh) * | 2013-04-24 | 2013-08-28 | 华中科技大学 | 一种穿戴式的人员步态检测室内定位系统及方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4126388B2 (ja) * | 2002-04-08 | 2008-07-30 | カシオ計算機株式会社 | 歩行方向検出装置及びプログラム |
JP4243684B2 (ja) | 2003-10-07 | 2009-03-25 | 独立行政法人産業技術総合研究所 | 歩行動作検出処理装置および歩行動作検出処理方法 |
JP2006105640A (ja) * | 2004-10-01 | 2006-04-20 | Hitachi Ltd | ナビゲーション装置 |
JP4691345B2 (ja) | 2004-10-07 | 2011-06-01 | テルモ株式会社 | 糖類測定用蛍光モノマー化合物、糖類測定用蛍光センサー物質および体内埋め込み用の糖類測定用センサー |
WO2006104140A1 (ja) | 2005-03-28 | 2006-10-05 | Asahi Kasei Emd Corporation | 進行方向計測装置及び進行方向計測方法 |
JP4926424B2 (ja) * | 2005-08-01 | 2012-05-09 | 旭化成エレクトロニクス株式会社 | 携帯機器及びその描画処理制御方法 |
JP4967368B2 (ja) * | 2006-02-22 | 2012-07-04 | ソニー株式会社 | 体動検出装置、体動検出方法および体動検出プログラム |
JP4793223B2 (ja) | 2006-11-02 | 2011-10-12 | ヤマハ株式会社 | 歩行ナビゲーション方法、システムおよびプログラム |
JP5105598B2 (ja) | 2007-11-29 | 2012-12-26 | Kddi株式会社 | 地磁気センサのみを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 |
JP2009133691A (ja) | 2007-11-29 | 2009-06-18 | Kddi Corp | 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 |
JP5072093B2 (ja) | 2007-12-26 | 2012-11-14 | Kddi株式会社 | 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 |
JP5072100B2 (ja) | 2008-03-25 | 2012-11-14 | Kddi株式会社 | 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 |
JP4993758B2 (ja) * | 2008-04-24 | 2012-08-08 | Kddi株式会社 | 加速度センサを用いて歩行者の進行向きを決定する携帯端末、プログラム及び方法 |
JP2009288022A (ja) * | 2008-05-28 | 2009-12-10 | Sumitomo Electric Ind Ltd | 地磁気センサの異常判定装置、移動方位特定装置、コンピュータプログラム及び地磁気センサの異常判定方法 |
JP5294983B2 (ja) | 2009-05-21 | 2013-09-18 | Kddi株式会社 | 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 |
JP5704561B2 (ja) | 2011-01-12 | 2015-04-22 | 独立行政法人産業技術総合研究所 | 進行方向推定装置、携帯端末、制御プログラム、コンピュータ読み取り可能な記録媒体、および進行方向推定方法 |
JP5695436B2 (ja) | 2011-02-14 | 2015-04-08 | Kddi株式会社 | 遊脚期の加速度データを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法 |
US20130029681A1 (en) * | 2011-03-31 | 2013-01-31 | Qualcomm Incorporated | Devices, methods, and apparatuses for inferring a position of a mobile device |
JP5935365B2 (ja) * | 2012-02-07 | 2016-06-15 | セイコーエプソン株式会社 | 状態検出装置、電子機器及びプログラム |
JP6093971B2 (ja) | 2012-03-23 | 2017-03-15 | 株式会社フジシール | シュリンクラベル付き容器及びシュリンクラベル |
JP6273674B2 (ja) | 2013-02-15 | 2018-02-07 | 東洋紡株式会社 | 画像表示装置 |
-
2014
- 2014-08-01 JP JP2014157281A patent/JP6358889B2/ja not_active Expired - Fee Related
- 2014-09-12 CN CN201410466340.3A patent/CN104515521B/zh not_active Expired - Fee Related
- 2014-09-23 US US14/494,017 patent/US9175962B2/en not_active Expired - Fee Related
- 2014-09-25 EP EP14186336.5A patent/EP2871446A3/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102313555A (zh) * | 2010-05-14 | 2012-01-11 | 卡西欧计算机株式会社 | 判别移动状态的装置以及判别移动状态的方法 |
JP2012242179A (ja) * | 2011-05-17 | 2012-12-10 | Sony Corp | 進行方位算出装置、進行方位算出方法及び進行方位算出プログラム並びにナビゲーション装置 |
WO2013016875A1 (en) * | 2011-08-04 | 2013-02-07 | Google Inc. | Moving direction determination with noisy signals from inertial navigation systems on mobile devices |
CN103245797A (zh) * | 2012-02-07 | 2013-08-14 | 精工爱普生株式会社 | 状态检测装置、电子设备以及状态检测方法 |
CN103267524A (zh) * | 2013-04-24 | 2013-08-28 | 华中科技大学 | 一种穿戴式的人员步态检测室内定位系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150088408A1 (en) | 2015-03-26 |
CN104515521A (zh) | 2015-04-15 |
EP2871446A3 (en) | 2015-05-27 |
JP6358889B2 (ja) | 2018-07-18 |
EP2871446A2 (en) | 2015-05-13 |
US9175962B2 (en) | 2015-11-03 |
JP2015087377A (ja) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104515521B (zh) | 步行者观测系统、记录介质及行进方向推定方法 | |
CN103946670B (zh) | 用于改进定向数据的系统和方法 | |
CN106228200B (zh) | 一种不依赖于动作信息采集设备的动作识别方法 | |
CN109579853B (zh) | 基于bp神经网络的惯性导航室内定位方法 | |
Sabatini | Quaternion-based extended Kalman filter for determining orientation by inertial and magnetic sensing | |
CN104406586B (zh) | 基于惯性传感器的行人导航装置和方法 | |
CN106662443B (zh) | 用于垂直轨迹确定的方法和系统 | |
CN110553643B (zh) | 一种基于神经网络的行人自适应零速更新点选取方法 | |
CN105051492B (zh) | 移动终端装置、记录介质以及修正方法 | |
EP2982422A1 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
CN104091053B (zh) | 用于自动检测行为模式的方法和设备 | |
CN101317188A (zh) | 身体运动检测设备、身体运动检测方法及身体运动检测程序 | |
US10648997B2 (en) | Rotation rate detecting apparatus and rotation rate detecting method | |
CN106705959A (zh) | 检测移动终端航向的方法和装置 | |
CN107644229A (zh) | 基于多传感器信息融合的室内异常行为检测方法 | |
US20150120022A1 (en) | Training supporting apparatus and system for supporting training of walking and/or running | |
CN104380043B (zh) | 在用户携带的便携式电子设备中的信息确定 | |
CN105452979A (zh) | 用于在体育应用中输入信息的设备和方法 | |
CN108629170A (zh) | 身份识别方法以及相应的装置、移动终端 | |
CN106108909A (zh) | 一种人体姿态检测穿戴设备、系统及控制方法 | |
Zhang et al. | Low-cost inertial measurement unit calibration with nonlinear scale factors | |
PL424408A1 (pl) | Sposób ustalenia pozycji obiektu, w szczególności człowieka i urządzenie do ustalania pozycji człowieka | |
Susi et al. | Detection of quasi-static instants from handheld MEMS devices | |
CN106886288A (zh) | 一种姿态动态捕捉方法及装置 | |
Fu et al. | A survey on artificial intelligence for pedestrian navigation with wearable inertial sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180130 Termination date: 20200912 |