JP2011245285A - Device for estimating condition of moving body - Google Patents

Device for estimating condition of moving body Download PDF

Info

Publication number
JP2011245285A
JP2011245285A JP2011100632A JP2011100632A JP2011245285A JP 2011245285 A JP2011245285 A JP 2011245285A JP 2011100632 A JP2011100632 A JP 2011100632A JP 2011100632 A JP2011100632 A JP 2011100632A JP 2011245285 A JP2011245285 A JP 2011245285A
Authority
JP
Japan
Prior art keywords
acceleration
output
angular velocity
moving body
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011100632A
Other languages
Japanese (ja)
Other versions
JP5750742B2 (en
Inventor
Masakatsu Korogi
正克 興梠
Takeshi Kurata
武志 蔵田
Takatsugu Makita
孝嗣 牧田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2011100632A priority Critical patent/JP5750742B2/en
Publication of JP2011245285A publication Critical patent/JP2011245285A/en
Application granted granted Critical
Publication of JP5750742B2 publication Critical patent/JP5750742B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a device for estimating condition of a moving body capable of measuring the position and direction (posture) of the moving body and estimating the condition of the same based on a self-contained type measuring means of the moving body.SOLUTION: An acceleration vector-measuring means 1002 and an angular speed vector-measuring means 1001 are measuring means installed on the moving body and measure the acceleration vector and the angular speed vector of the moving body. A posture angle estimating device 1004 inputs the acceleration vector (sensor coordinate system) and the angular speed vector (sensor coordinate system) and estimates the posture angle of the same. An acceleration vector/angular speed component disassembling device 1005 outputs output data of total 6 components of an acceleration component in a gravity direction, an angular acceleration component around a gravity axis, an acceleration component in a travelling direction, an angular speed component around the travelling axis, an acceleration component in a lateral direction, an angular speed component around a lateral axis to the moving body from the above three kinds of outputs, and the movement of the moving body is discriminated by the mighty discriminators 1011 to 101x.

Description

本発明は、移動体の位置を計測すると共に移動体が置かれている状態を推定することができる移動体の状態推定装置に関するものである。   The present invention relates to a state estimation apparatus for a moving body capable of measuring the position of the moving body and estimating a state where the moving body is placed.

測位の対象を歩行者に限定する歩行者デッドレコニング(PDR)に基づく位置・方位取得手法は、ここ数年深く研究がなされており、多くの報告がなされている。歩行者が持つ制約条件を利用することで、IMU(Inertial Measurement Unit:慣性計測ユニット)を装着するだけで実現できることが明らかになりつつあり、たくさんの成果が出ている分野である。   A position / orientation acquisition method based on pedestrian dead reckoning (PDR) that limits the target of positioning to pedestrians has been studied extensively in recent years, and many reports have been made. It is becoming clear that it can be realized simply by wearing an IMU (Inertial Measurement Unit) by using the constraints that pedestrians have, and this is a field where many results have been obtained.

ここで利用されるIMUは、センサ一式をパッケージ化した製品として、市販されており、性能・コスト(重量)の観点からは、ローエンドからハイエンドまで様々な製品が入手可能である。低コストIMUの利用が広がっている。   The IMU used here is commercially available as a packaged sensor set, and various products are available from the low end to the high end from the viewpoint of performance and cost (weight). The use of low-cost IMUs is spreading.

非特許文献1乃至非特許文献4に示されるように、PDRの主な手法は、IMUの装着場所によって、以下の二つに大きく分類することができる。
(1)足先装着型PDR(例えば、非特許文献1、非特許文献2)
(2)腰部装着型PDR(例えば、非特許文献3、非特許文献4)
As shown in Non-Patent Document 1 to Non-Patent Document 4, the main methods of PDR can be broadly classified into the following two depending on the IMU mounting location.
(1) Foot-mounted PDR (for example, Non-Patent Document 1, Non-Patent Document 2)
(2) Waist-mounted PDR (for example, Non-Patent Document 3 and Non-Patent Document 4)

足先装着型PDRは、靴やブーツの中などの足先にIMUを装着することで、足が着地してから離れるまでの間に静止する制約条件を効果的に用いることで、IMUにおけるデッドレコニング処理におけるゼロ速度更新を実現する。それによって、移動速度の推定誤差の累積を抑えることができるため、最近の多くの研究報告では、この手法が用いられている。しかしながら、足先に装着されたIMUは、歩行者が作り出す運動のうち歩行動作以外の重心移動を伴う足先がほとんど動かないような動作(たとえば、椅子に座る/立ち上がる、くぐり抜けるなど)については、十分な精度で感知することは原理的に困難である。   The toe-mountable PDR effectively attaches the IMU to the toes such as shoes and boots, and effectively uses the constraint condition that the foot stays until the foot leaves the ground. Achieve zero-speed update in the reckoning process. As a result, the accumulation of the estimation error of the moving speed can be suppressed, and this method is used in many recent research reports. However, the IMU attached to the toes of the pedestrian creates movements that move the center of gravity other than walking movements with little movement of the center of gravity (for example, sitting / standing up on a chair, passing through) In principle, it is difficult to detect with sufficient accuracy.

一方で、腰部装着型PDRは、人体の重心位置に近い腰部にIMUを装着することにより、歩行者の運動をパターンとして捉えて識別して、その速度や歩幅の大きさの計量を試みるアプローチである。腰部に装着されたIMUは足先装着型PDRの手法のようにはゼロ速度更新を行うことができないが、人の重心の移動を伴う運動を効果的に計測できる特長がある。このため、腰部装着型PDRの手法には、単一のIMUを用いて位置と方位の計測に加えて動作の認識を実現できる利点がある。一方で、加速度と角速度の積算による姿勢と速度の計測は、ゼロ速度更新を行うべきタイミングを検知することが難しいために、低コストIMUによるセンサデータでは実現できない。   On the other hand, the waist-mounted PDR is an approach that attempts to measure the speed and stride size by identifying the pedestrian's movement as a pattern by attaching an IMU to the waist near the center of gravity of the human body. is there. The IMU attached to the waist cannot perform zero-speed update unlike the foot-mounted PDR method, but has an advantage that it can effectively measure the movement accompanied by the movement of the center of gravity of the person. For this reason, the waist-worn PDR technique has an advantage that it can realize motion recognition in addition to position and orientation measurement using a single IMU. On the other hand, since it is difficult to detect the timing at which the zero speed update should be performed, the measurement of the posture and speed by integrating the acceleration and the angular velocity cannot be realized by the sensor data by the low cost IMU.

このため、我々の過去の研究を含め、腰部装着型PDRの手法では、加速度と角速度のデータに対してパターン認識の技術を適用することで歩行動作を検知し、その大きさ(すなわち歩行速度または歩幅)を推定している。(特許文献1、特許文献2)   For this reason, the method of the waist-mounted PDR, including our previous research, detects the walking motion by applying pattern recognition technology to the acceleration and angular velocity data, and the magnitude (ie, walking speed or Step length). (Patent Document 1, Patent Document 2)

特開2004−264028号公報JP 2004-264028 A 特開2005−114537号公報JP 2005-114537 A

E. Foxlin, “Pedestrian Tracking with Shoe-Mounted Inertial Sensors”, In IEEE Computer Graphics and Applications, Volume 25, Issue 6 (November 2005), pp. 38-46, 2005.E. Foxlin, “Pedestrian Tracking with Shoe-Mounted Inertial Sensors”, In IEEE Computer Graphics and Applications, Volume 25, Issue 6 (November 2005), pp. 38-46, 2005. O. Woodman and R. Harle, “Pedestrian localisation for indoor environments”, In Proc. of the 10th Int. Conf. on Ubiquitous computing (UbiComp), 2008.O. Woodman and R. Harle, “Pedestrian localization for indoor environments”, In Proc. Of the 10th Int. Conf. On Ubiquitous computing (UbiComp), 2008. Tom Judd and Toan V, “Use of a New Pedometric Dead Reckoning Module in GPS Denied Environments”, In Proc. IEEE/ION Poisition, Location and Navigation (PLANS2008), pp. 120-128, 2008.Tom Judd and Toan V, “Use of a New Pedometric Dead Reckoning Module in GPS Denied Environments”, In Proc. IEEE / ION Poisition, Location and Navigation (PLANS2008), pp. 120-128, 2008. M. Kourogi, and T. Kurata, “Personal Positioning Based on Walking Locomotion Analysis with Self-Contained Sensors and a Wearable Camera”, In Proc. 2nd IEEE and ACM Int. Symp. on Mixed and Augmented Reality (ISMAR2003), pp. 103-112, 2003.M. Kourogi, and T. Kurata, “Personal Positioning Based on Walking Locomotion Analysis with Self-Contained Sensors and a Wearable Camera”, In Proc. 2nd IEEE and ACM Int. Symp. On Mixed and Augmented Reality (ISMAR2003), pp. 103-112, 2003.

製造業、サービス産業(外食、介護、宿泊、ビルメンテナンスなど)の現場の多くにおいて、作業者の生産性と効率の向上のために、作業者の位置と方位に加えてその動作を取得することが強く要望されている。作業者の移動が頻発する現場においては、作業者の動線解析に加えて、作業者の業務に関わる動作認識が、その動線上に紐付けて実現されることにより、作業の効率や生産性を効果的に可視化して、業務の改善のための解析につなげることができる。特に、労働集約型産業において、作業者の効率と生産性の改善は労務費の節減に直結するため、大きなインパクトがある。   In many manufacturing and service industries (restaurants, nursing care, lodging, building maintenance, etc.), in order to improve the productivity and efficiency of workers, acquire their movements in addition to their positions and orientations. Is strongly demanded. In a site where workers move frequently, in addition to analyzing the flow of workers, the recognition of movements related to the work of the workers is realized by linking them to the flow lines, thereby improving work efficiency and productivity. Can be effectively visualized and used for analysis for business improvement. In particular, in labor-intensive industries, improvements in worker efficiency and productivity have a significant impact because they are directly linked to labor cost savings.

作業者の動きを捉える手段として、計測手段に自蔵式センサ(加速度・ジャイロ・磁気センサ)を用いるアプローチは有望である。歩行動作を含む人の動作の多くは主としてその角速度と加速度ベクトルに特徴的なパターンが現れるからである。   An approach that uses a self-contained sensor (acceleration, gyroscope, magnetic sensor) as a measuring means is promising as a means for capturing the movement of the worker. This is because most of human movements including walking movements mainly show characteristic patterns in their angular velocities and acceleration vectors.

センサ一式をパッケージ化した製品であるIMUは、性能・コスト(重量)の観点からは、ローエンドからハイエンドまで様々な製品が入手可能となっているが、高コスト・高性能(ハイエンド)なIMUを、このような産業に従事する各作業者が装着することは、その重量とサイズの観点から業務内容の妨げとなる恐れがあり、またそのコストの観点からも現実的ではない。   From the viewpoint of performance and cost (weight), IMU, which is a product packaged with a set of sensors, is available in a variety of products from low end to high end. However, high cost and high performance (high end) IMUs are available. Wearing by each worker engaged in such an industry may hinder the work contents from the viewpoint of weight and size, and is not realistic from the viewpoint of cost.

したがって、本発明の目的は、移動体のうちでも歩行者に取り付けられた加速度・角速度ベクトル計測手段を含む自蔵式計測手段に基づいて、その位置と方位(姿勢)を計測するとともに、その状態を推定することができる移動体の状態推定装置を提供することにある。   Therefore, the object of the present invention is to measure the position and orientation (attitude) based on the self-contained measuring means including the acceleration / angular velocity vector measuring means attached to the pedestrian among the moving objects, and the state. It is an object of the present invention to provide a state estimation device for a moving body that can estimate the above.

上記のような目的を達成するため、本発明による移動体の状態推定装置は、基本的な考え方として、計測対象を歩行者の動作に限定し、その運動の拘束条件を利用する歩行者デッドレコニング(PDR)に基づくアプローチをとることで、小型・低コストIMUによる実現を可能とし、歩行者の位置・方位の計測に加えて、その動作の種別を取得することで移動体の状態推定を行う。   In order to achieve the above-described object, the state estimation device for a moving body according to the present invention has a basic idea that a measurement target is limited to a pedestrian's motion and a pedestrian dead reckoning that uses a constraint condition of the motion. (PDR) -based approach enables realization with a small and low-cost IMU, and in addition to measuring the position and orientation of pedestrians, the state of a moving body is estimated by acquiring the type of motion .

具体的に、本発明による移動体の状態推定装置は、移動体に装着されて移動体の加速度ベクトルを計測する加速度ベクトル計測手段と、移動体に装着されて移動体の角速度ベクトルを計測する角速度ベクトル計測手段と、前記加速度ベクトル計測手段の出力と前記角速度ベクトル計測手段の出力に基づいて移動体の姿勢角を推定する姿勢角推定装置と、前記加速度ベクトル計測手段の出力、前記角速度ベクトル計測手段の出力、および姿勢角推定装置の出力に基づいて、重力方向の加速度成分と重力軸回りの角速度成分、進行方向の加速度成分と進行軸回りの角速度成分、横方向の加速度成分と横軸周りの角速度成分の計6つの成分に分解する加速度・角速度成分分解装置と、計N(Nは整数)個の状態についてそれぞれ真か偽を識別する予め学習済みの強識別器と、を備え、前記強識別器は、前記加速度・角速度成分分解装置の出力である計6つの成分を入力として、それぞれ、真または偽の出力を提示することを特徴とするものである。   Specifically, the state estimation device for a moving body according to the present invention includes an acceleration vector measuring unit that is mounted on the moving body and measures an acceleration vector of the moving body, and an angular velocity that is mounted on the moving body and measures an angular velocity vector of the moving body. A vector measuring unit, a posture angle estimating device for estimating a posture angle of a moving body based on an output of the acceleration vector measuring unit and an output of the angular velocity vector measuring unit, an output of the acceleration vector measuring unit, and the angular velocity vector measuring unit And the output of the posture angle estimator, the acceleration component in the gravity direction and the angular velocity component around the gravity axis, the acceleration component in the traveling direction and the angular velocity component around the traveling axis, the lateral acceleration component and around the horizontal axis An acceleration / angular velocity component decomposing apparatus that decomposes the angular velocity component into a total of six components, and a total of N (N is an integer) states that are to be identified as true or false. A strong classifier that has been learned, and the strong classifier is configured to input a total of six components that are outputs of the acceleration / angular velocity component decomposition apparatus and present a true or false output, respectively. To do.

また、この場合に、移動体の状態推定装置において、前記強識別器は、それぞれに閾値を持ち、計N個の状態についてそれぞれに真か偽を識別するN個の強識別器であることを特徴とするものである。   Further, in this case, in the mobile state estimation apparatus, the strong classifiers are N strong classifiers each having a threshold value and identifying true or false for each of a total of N states. It is a feature.

本発明の移動体の状態推定装置によれば、歩行者デッドレコニングに基づくアプローチによって、(1)歩行者の位置・方位推定と動作認識を同一データに基づいて実現する枠組みが有効となり、(2)機械学習を用いた動作認識を用いて、位置の補正の利用するによって測位性能が向上し、更には、(3)位置・方位の計測結果を用いてその動作認識の識別率を向上できるように構成された移動体の状態推定装置が提供される。   According to the mobile body state estimation apparatus of the present invention, a framework for realizing (1) pedestrian position / orientation estimation and motion recognition based on the same data by an approach based on pedestrian dead reckoning is effective (2 ) Positioning performance is improved by using position correction using action recognition using machine learning, and (3) the recognition rate of action recognition can be improved using position / orientation measurement results. An apparatus for estimating a state of a moving body configured as described above is provided.

本発明による移動体の状態推定装置の基本的な構成を説明するブロック図である。It is a block diagram explaining the basic composition of the state estimating device of the mobile object by the present invention. 本発明による移動体の状態推定装置における一つの強識別器の処理を示すフローチャートである。It is a flowchart which shows the process of one strong discriminator in the state estimation apparatus of the moving body by this invention. 弱識別器における入力データの短期的な変動(正値ピークから負値ピークのパターン)を説明する第1の図である。It is a 1st figure explaining the short-term fluctuation | variation (pattern of a positive value peak to a negative value peak) of the input data in a weak discriminator. 弱識別器における入力データの短期的な変動(負値ピークから正値ピークのパターン)を説明する第2の図である。It is a 2nd figure explaining the short-term fluctuation | variation (pattern of a negative value peak to a positive value peak) of the input data in a weak discriminator. 弱識別器における入力データの短期的な変動(正値ピークのパターン)を説明する第3の図である。It is a 3rd figure explaining the short-term fluctuation | variation (positive value peak pattern) of the input data in a weak discriminator. 弱識別器における入力データの短期的な変動(負値ピークのパターン)を説明する第4の図である。It is a 4th figure explaining the short-term fluctuation | variation (negative value peak pattern) of the input data in a weak discriminator. 弱識別器における入力データの短期的な変動(正値から負値のパターン)を説明する第5の図である。It is a 5th figure explaining the short-term fluctuation | variation (pattern from a positive value to a negative value) of the input data in a weak discriminator. 弱識別器における入力データの短期的な変動(負値から正値のパターン)を説明する第6の図である。It is a 6th figure explaining the short-term fluctuation | variation (pattern from a negative value to a positive value) of the input data in a weak discriminator. 強識別器を学習する処理の流れ図をあらわす図である。It is a figure showing the flowchart of the process which learns a strong discriminator. 強識別器が5つの弱識別器で構成される一例をあらわす図である。It is a figure showing an example with which a strong discriminator is comprised with five weak discriminators. 本発明による移動体の状態推定装置における別の実施例を説明するブロック図である。It is a block diagram explaining another Example in the state estimation apparatus of the moving body by this invention. 加速度成分と角速度成分に加えて、位置・方位情報を入力として用いる強識別器を構成する実施例の処理の流れ図である。It is a flowchart of the process of the Example which comprises the strong discriminator which uses position and azimuth | direction information as an input in addition to an acceleration component and an angular velocity component.

以下、本発明を実施するための一形態について、図面を参照して説明する。図1は、本発明による移動体の状態推定装置の基本的な構成を説明するブロック図である。図1において、1001は角速度ベクトル計測手段、1002は加速度ベクトル計測手段、1003は慣性計測ユニット(IMU)、1004は姿勢角推定装置、1005は加速度・角速度成分分解装置、1011は第1の強識別器(重み付き弱識別器)、1012は第2の強識別器(重み付き弱識別器)、101xは第xの強識別器(重み付き弱識別器)である。ここではx個の動作・状態を識別する装置を構成する例を示している。   Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a basic configuration of a moving object state estimation apparatus according to the present invention. In FIG. 1, 1001 is an angular velocity vector measuring means, 1002 is an acceleration vector measuring means, 1003 is an inertial measurement unit (IMU), 1004 is an attitude angle estimating device, 1005 is an acceleration / angular velocity component decomposing device, and 1011 is a first strong identification. 1012 is a second strong classifier (weighted weak classifier), and 101x is an xth strong classifier (weighted weak classifier). Here, an example is shown in which a device for identifying x operations / states is configured.

ここでの加速度ベクトル計測手段1002と角速度ベクトル計測手段1001は、移動体に装着される計測手段であって、移動体の加速度ベクトルと各速度ベクトルを計測する手段である。   The acceleration vector measuring means 1002 and the angular velocity vector measuring means 1001 here are measuring means attached to the moving body, and are means for measuring the acceleration vector and each velocity vector of the moving body.

角速度ベクトル計測手段1002は、ジャイロセンサだけではなくて、磁気センサの差分出力によって角速度を推定する計測手段によっても実装されてもよく、また、加速度ベクトル計測手段1002と角速度ベクトル計測手段1001は一つのパッケージ化された慣性計測ユニット(IMU)1003によって実現される。   The angular velocity vector measuring unit 1002 may be implemented not only by the gyro sensor but also by a measuring unit that estimates the angular velocity based on the differential output of the magnetic sensor, and the acceleration vector measuring unit 1002 and the angular velocity vector measuring unit 1001 are one. It is realized by a packaged inertial measurement unit (IMU) 1003.

姿勢角推定装置1004は、加速度ベクトル計測手段1002の出力である加速度ベクトル(センサ座標系)と角速度ベクトル計測手段1001の出力である角速度ベクトル(センサ座標系)を入力として、その姿勢角を推定する装置である。例えば、特開2004−264028号公報に記載されているように、本発明者が開発している姿勢角推定装置を用いることができる。   The posture angle estimation apparatus 1004 receives the acceleration vector (sensor coordinate system) that is the output of the acceleration vector measuring unit 1002 and the angular velocity vector (sensor coordinate system) that is the output of the angular velocity vector measuring unit 1001 and estimates the posture angle. Device. For example, as described in Japanese Patent Application Laid-Open No. 2004-264028, a posture angle estimation device developed by the present inventor can be used.

ここで姿勢角とは、世界座標系(NED、North, East Down座標系)における、センサ座標系の姿勢を一意に決定するものであり、二つの座標系間の変換を行う回転行列や四元数などによって表現されうる。   Here, the attitude angle uniquely determines the attitude of the sensor coordinate system in the world coordinate system (NED, North, East Down coordinate system), and is a rotation matrix or quaternion that performs conversion between the two coordinate systems. It can be expressed by numbers.

加速度・角速度成分分解装置1005は、加速度計測手段である角速度ベクトル計測手段1002の出力である加速度ベクトル(センサ座標系)と、角速度計測手段である角速度ベクトル計測手段1001の出力である角速度ベクトル(センサ座標系)と、更に姿勢角推定装置1004の出力である姿勢角を入力として、移動体に対する重力方向への加速度成分、重力軸回りの角速度成分、進行方向への加速度成分、進行軸回りの角速度成分、側方方向への加速度成分と側方軸回りの角速度成分の計6つの成分の出力データを出力する。   The acceleration / angular velocity component decomposition apparatus 1005 includes an acceleration vector (sensor coordinate system) that is an output of the angular velocity vector measuring unit 1002 that is an acceleration measuring unit, and an angular velocity vector (sensor that is an output of the angular velocity vector measuring unit 1001 that is an angular velocity measuring unit. Coordinate system) and the posture angle which is the output of the posture angle estimation device 1004 as input, the acceleration component in the gravity direction with respect to the moving body, the angular velocity component around the gravity axis, the acceleration component in the traveling direction, and the angular velocity around the traveling axis Output data of a total of six components, that is, a component, an acceleration component in the lateral direction, and an angular velocity component around the side axis are output.

出力されたデータは、第1の強識別器(重み付き弱識別器)1011、第2の強識別器(重み付き弱識別器)1012、・・・、第xの強識別器(重み付き弱識別器)101xに入力されて、それぞれの識別器でIMUを装着している移動体の動作が識別される。   The output data includes a first strong classifier (weighted weak classifier) 1011, a second strong classifier (weighted weak classifier) 1012,..., An xth strong classifier (weighted weak classifier). The discriminator) is input to the discriminator 101x, and each discriminator discriminates the operation of the moving object wearing the IMU.

次に、これらの強識別器について、説明する。
(動作認識のフレームワーク)
強識別器で用いるAdaBoost、または、適応的ブースティング(Adaptive Boosting)は、機械学習のアルゴリズムの一つであり、性能が十分ではない複数の異なる識別器(ただし、誤答率は0.5未満であることが必要であり、これらは弱識別器と呼ばれる)を重み付けによって組み合わせ、最終的に性能が高い識別器を生成する。AdaBoostによって動作認識のフレームワークを構築するためには、解析対象となるセンサデータセットを決定し、これらのデータセットから動作識別を行う弱識別器を定める必要がある。
Next, these strong classifiers will be described.
(Action recognition framework)
AdaBoost or adaptive boosting used in strong classifiers is one of machine learning algorithms, and a plurality of different classifiers whose performance is not sufficient (however, the error rate is less than 0.5) (These are called weak classifiers) are combined by weighting to ultimately produce a classifier with high performance. In order to construct a framework for motion recognition using AdaBoost, it is necessary to determine sensor data sets to be analyzed and to determine weak classifiers that perform motion discrimination from these data sets.

発明による移動体の状態推定装置では、識別器としては、AdaBoostを用いて、識別すべき動作として適切にラベル付されたセンサデータを訓練データとして複数の弱識別器を組み合わせてその重み付けを学習することで、動作認識を実現する構成とする。   In the mobile object state estimation apparatus according to the invention, AdaBoost is used as a discriminator, and a plurality of weak discriminators are combined as training data using sensor data appropriately labeled as an operation to be discriminated, and the weight is learned. In this way, the operation recognition is realized.

図2は、本発明による移動体の状態推定装置における一つの強識別器の処理を示すフローチャートである。一つの強識別器は一つの動作または状態の認識処理装置に対応している。この認識をおこなう処理は、まず、S201において、IMUから加速度ベクトル(3軸・センサ座標系)を取得する。S202において、IMUから角速度ベクトル(3軸・センサ座標系)を取得する。ここで、角速度ベクトルは外部の温度補償テーブルや別のドリフト補償系(たとえば国際公開WO2010/1968に示されるような手法)によってそのオフセット出力が補償されていても良い。S203では、S201とS202で取得された加速度・角速度成分に基づいて、IMUの世界座標系に対する姿勢角を推定する。姿勢角とは、たとえばIMUのセンサ座標系と世界座標系との変換をあらわす回転行列C(3x3行列)によって表現されるものである。   FIG. 2 is a flowchart showing the processing of one strong classifier in the moving object state estimation apparatus according to the present invention. One strong classifier corresponds to a recognition processing device for one operation or state. In the process of performing this recognition, first, in S201, an acceleration vector (3-axis / sensor coordinate system) is acquired from the IMU. In S202, an angular velocity vector (3-axis / sensor coordinate system) is acquired from the IMU. Here, the offset output of the angular velocity vector may be compensated by an external temperature compensation table or another drift compensation system (for example, a method as shown in International Publication WO2010 / 1968). In S203, the attitude angle of the IMU with respect to the world coordinate system is estimated based on the acceleration / angular velocity components acquired in S201 and S202. The attitude angle is expressed by, for example, a rotation matrix C (3 × 3 matrix) representing conversion between the IMU sensor coordinate system and the world coordinate system.

S204では、この姿勢角に基づいて、S201で取得されたセンサ座標系での加速度ベクトルを、鉛直方向と進行方向、横方向の3つの加速度成分に分解する。S205では、S203で推定された姿勢角に基づいて、S202で取得されたセンサ座標系での角速度ベクトルを、ヨー軸・ピッチ軸・ロール軸周りの3つの角速度成分に分解する。次に、強識別器の本体処理に入る前の初期化処理をS206で行う。S206では、イテレータ変数iと総和変数Sをそれぞれ0に初期化する。S207では、i番目の弱識別器(i)について、弱識別器のデータセット、すなわち閾値パラメータセットと重み(信頼度)α(i)を取得する。   In S204, based on this attitude angle, the acceleration vector in the sensor coordinate system acquired in S201 is decomposed into three acceleration components in the vertical direction, the traveling direction, and the lateral direction. In S205, based on the attitude angle estimated in S203, the angular velocity vector in the sensor coordinate system acquired in S202 is decomposed into three angular velocity components around the yaw axis, pitch axis, and roll axis. Next, an initialization process before entering the main body process of the strong classifier is performed in S206. In S206, the iterator variable i and the summation variable S are each initialized to 0. In S207, for the i-th weak classifier (i), a weak classifier data set, that is, a threshold parameter set and a weight (reliability) α (i) are acquired.

S208では、弱識別器(i)が処理の対象とする角速度成分もしくは加速度成分に対して、弱識別器による処理を適用して、その出力W(i)を{+1, -1}の値として得る。S209では、S208で得られた弱識別器の出力W(i)をS207で取得された重みα(i)に乗じて、弱識別器(i)としての出力O(i)を得る。S210では、出力O(i)を総和変数Sに加算し、イテレータ変数iに+1を加算する。S211では、イテレータ変数がN(学習によって得られた弱識別器の個数)と一致するかを判定し、一致しない場合は、処理S207を実行し、一致する場合はループ処理を終了してS212の処理に移る。S212では、総和変数Sの値の正負判定をおこない、正である場合は、動作もしくは状態Xがあったと判定する。総和変数の値が負である場合は、動作もしくは状態Xがないと判定する。   In S208, the weak discriminator (i) applies the processing by the weak discriminator to the angular velocity component or acceleration component to be processed, and the output W (i) is a value of {+1, -1}. Get as. In S209, the output O (i) as the weak classifier (i) is obtained by multiplying the weight α (i) acquired in S207 by the output W (i) of the weak classifier obtained in S208. In S210, the output O (i) is added to the total variable S, and +1 is added to the iterator variable i. In S211, it is determined whether or not the iterator variable matches N (the number of weak classifiers obtained by learning). If they do not match, the process S207 is executed. If they match, the loop process is terminated and the process in S212 is completed. Move on to processing. In S212, whether the value of the sum variable S is positive or negative is determined. If it is positive, it is determined that there is an operation or state X. If the value of the sum variable is negative, it is determined that there is no action or state X.

(解析するセンサデータ)
人の重心付近に装着された加速度・ジャイロセンサのデータは、センサの座標系での出力であるため、そのまま学習データとして用いると、ローカルな情報が含まれているために、動作識別の詳細を記述する上では適切でない可能性がある。そこで、人の座標系において、重力方向と進行方向、その二つの方向に直交する外積ベクトル(すなわち側方)の方向の3つの軸に、加速度ベクトルと角速度ベクトルを分解して、それぞれの成分を機械学習の入力データとして用いる。すなわち、加速度ベクトルについて3つの成分、角速度について3つの成分があるので、計6つの成分が解析対象の候補となる。
(Sensor data to be analyzed)
The data of the acceleration / gyro sensor mounted near the center of gravity of the person is output in the sensor's coordinate system, so if it is used as it is as learning data, it contains local information. It may not be appropriate to describe. Therefore, in the human coordinate system, the acceleration vector and the angular velocity vector are decomposed into three axes, ie, the direction of gravity, the direction of travel, and the direction of the outer product vector (ie, the side) orthogonal to the two directions, and the respective components are separated. Used as input data for machine learning. That is, since there are three components for the acceleration vector and three components for the angular velocity, a total of six components are candidates for analysis.

(動作識別に用いる弱識別器)
前述した解析対象となる入力データの各成分の短期的な変動について、
(1)一定の閾値以上の正値のピークに続いて一定の閾値以下の負値のピークが現れるパターン(図3)、
(2)一定の閾値以下の負値のピークに続いて一定の閾値以上の正値のピークが現れるパターン(図4)、
(3)一定の閾値以上の正値のピークだけ現れるパターン(図5)、
(4)一定の閾値以下の負値のピークだけ現れるパターン(図6)、
(5)一定の閾値以上の正値から一定の閾値以下の負値に変化するパターン(図7)、
(6)一定の閾値以下の負値から一定の閾値以上の正値に変化するパターン(図8)などが、弱識別器として利用可能なパターンとして挙げられる。
(Weak classifier used for motion identification)
Regarding the short-term fluctuations of each component of the input data subject to analysis described above,
(1) A pattern in which a negative peak below a certain threshold appears following a positive peak above a certain threshold (FIG. 3),
(2) A pattern in which a positive peak above a certain threshold appears after a negative peak below a certain threshold (FIG. 4),
(3) A pattern (FIG. 5) that appears only for positive peaks above a certain threshold.
(4) A pattern that appears only for negative peaks below a certain threshold value (FIG. 6),
(5) A pattern (FIG. 7) that changes from a positive value above a certain threshold value to a negative value below a certain threshold value,
(6) A pattern that changes from a negative value below a certain threshold value to a positive value above a certain threshold value (FIG. 8) can be cited as a pattern that can be used as a weak classifier.

各成分の長期的変動の特徴については、高速フーリエ変換器(FFT)などにより周波数分析を行い、各成分を周波数領域でみたときに、
(A)その成分の周波数領域のパワースペクトラムにおけるピークとなるパワーが、全体のパワーに対して、その比が一定の閾値以上となるパターンが挙げられる。
また、二つの成分間については、
(a)成分間の相互相関が一定の閾値以上、もしくは一定の閾値以下となるパターン、(b)各成分の正・負値ピークを取る時刻間の差分値が一定の中心値±閾値の範囲内であるパターン、
(c)各成分をFFTなどにより周波数領域に変換したときに、そのパワースペクトラムにおいてピークとなる周波数の位相差が一定の中心値±閾値以内に収まるパターン、の3つが弱識別器として利用可能なパターンとして挙げられる。
Regarding the characteristics of long-term fluctuation of each component, when performing frequency analysis with a Fast Fourier Transform (FFT) etc. and looking at each component in the frequency domain,
(A) There is a pattern in which the peak power in the frequency spectrum of the frequency domain of the component has a ratio equal to or greater than a certain threshold with respect to the total power.
Also, between the two components,
(A) A pattern in which the cross-correlation between components is greater than or equal to a certain threshold value, or less than a certain threshold value, (b) A range in which the difference value between the positive and negative peak times of each component is constant ± threshold value Patterns that are within,
(C) When each component is converted to the frequency domain by FFT or the like, three patterns, in which the phase difference of the peak frequency in the power spectrum falls within a certain central value ± threshold, can be used as weak classifiers. As a pattern.

(強識別器の学習方法)
前述した強識別器は、AdaBoost(Adaptive Boosting)と呼ばれる枠組みで学習される。図9にその処理の流れ図の一例を示す。本処理の前提として必要となるのは、学習用データ(M個)と弱識別器(N個)である。この学習用データには、世界座標系に合わせた角速度成分、加速度成分、装着者の位置・方位の時系列データが含まれている。
(Strong classifier learning method)
The above-described strong classifier is learned in a framework called AdaBoost (Adaptive Boosting). FIG. 9 shows an example of a flowchart of the processing. What is necessary as a premise of this processing is learning data (M) and weak classifiers (N). This learning data includes time-series data of angular velocity components, acceleration components, and the position / orientation of the wearer in accordance with the world coordinate system.

処理手順S901では強識別器が使用する弱識別器の個数Nを、学習させる前の段階で設定する。Nの大きさについては、十分大きい値を設定するほど認識精度が向上することが分かっているが、一定値以上では精度向上が飽和する。一方で、Nを大きくするほど認識フェーズで計算コストが比例して高くなる。このため、事前にサンプルデータに対して異なるNの値で学習させ、それを適用した上で、最適と考えられるNの値を設定することが望ましい。S902では、閾値パラメータセットを含む弱識別器をN個分だけ決めて設定する。S903では、事前に準備されている学習用データ(j)(計M個)に対して、重みβ(j)を与えて初期化する。   In the processing procedure S901, the number N of weak classifiers used by the strong classifiers is set at a stage before learning. As for the magnitude of N, it is known that the recognition accuracy improves as a sufficiently large value is set, but the accuracy improvement is saturated at a certain value or more. On the other hand, as N is increased, the calculation cost is proportionally increased in the recognition phase. For this reason, it is desirable to set the N value that is considered to be optimal after learning with different N values for the sample data in advance and applying it. In S902, N weak classifiers including the threshold parameter set are determined and set. In S903, the learning data (j) prepared in advance (a total of M pieces) is given a weight β (j) and initialized.

S904では、後述のループの初期化処理をおこなう。イテレータ変数iに0をセットして初期化する。S905では、学習用データの加速度・角速度・位置・方位を弱識別器(i)に適用して、この学習用データに対して最適となる閾値パラメータセットとその重みα(i)(信頼度)を算出する。なお、ここで最適となる閾値パラメータセットの探索範囲は、加速度成分については、+3Gから-3Gの間を0.01G程度の刻み幅と設定すると効果的である。加速度・角速度成分については、このような動作・状態を取る典型的なデータを収集しておき、その範囲を前もって計測しておくと、この値の設定に寄与できる。   In S904, a loop initialization process described later is performed. Set the iterator variable i to 0 and initialize it. In S905, the acceleration, angular velocity, position, and orientation of the learning data are applied to the weak classifier (i), and the optimum threshold parameter set for the learning data and its weight α (i) (reliability) Is calculated. Note that the optimum threshold parameter set search range here is effective when the acceleration component is set to a step size of about 0.01G between + 3G and -3G. Concerning the acceleration / angular velocity component, collecting typical data for such an operation / state and measuring the range in advance can contribute to the setting of this value.

S906では、学習用データに対して最適となる閾値パラメータセットを用いた弱識別器(i)に適用して、出力W(i){+1 or -1}を得る。S907では、S906で得られた出力W(i)に基づいて学習用データの重みβ(j)を更新する。S908では、ループ処理でイテレータ変数i←i+1と更新する。S909では、イテレータ変数がNに到達したかの判定処理をおこなう。Nと一致していない場合は、S905に戻り、処理を続け、一致した場合は、S910に進む。   In S906, an output W (i) {+1 or -1} is obtained by applying to the weak classifier (i) using the threshold parameter set that is optimal for the learning data. In S907, the weight β (j) of the learning data is updated based on the output W (i) obtained in S906. In S908, the iterator variable i ← i + 1 is updated by loop processing. In S909, it is determined whether or not the iterator variable has reached N. If it does not match N, the process returns to S905 to continue the process, and if it matches, the process proceeds to S910.

S910では、S905〜S907で得られた各弱識別器(i)とその重みα(i)に基づいて、強識別器を構成する。   In S910, a strong classifier is configured based on each weak classifier (i) and its weight α (i) obtained in S905 to S907.

図10は、上述のような学習結果により構成された強識別器の一例である。図10は、強識別器が5つの弱識別器で構成される場合を示している。それぞれの弱識別器には異なった成分、重み、閾値が設定されている。それぞれの強識別器は、このような異なったパラメータを持つ一以上の弱識別器により構成されている。   FIG. 10 is an example of a strong classifier configured by the learning result as described above. FIG. 10 shows a case where the strong classifier is composed of five weak classifiers. Different components, weights, and threshold values are set for each weak classifier. Each strong classifier is composed of one or more weak classifiers having such different parameters.

本発明の移動体の状態推定装置によれば、歩行者の腰部に装着された低コストIMUを用いて、その位置と方位(姿勢)の推定と同時に、その動作を識別する手法を実現する移動体の状態推定装置が提供される。   According to the state estimation device for a moving body of the present invention, a movement that realizes a method for identifying a motion at the same time as estimating the position and orientation (posture) by using a low-cost IMU mounted on the waist of a pedestrian. A body state estimation device is provided.

歩行動作と異なる動作のいくつか(たとえば、腰をかがめてくぐり抜ける動作や椅子に座る動作など)は、ほとんどの場合、特定の場所でしか起きず、したがって、その動作を識別することによってその位置の絞り込みが可能となる。逆に、他の手段によって位置とその属性が特定されていると、その位置で起きうる動作は限定されるため、そのコンテキスト情報は、動作の識別率の向上に寄与する。   Some of the movements that differ from walking movements (for example, bending over and sitting in a chair, etc.) most often occur only in a specific location, and therefore identify the movement by identifying that movement. It becomes possible to narrow down. Conversely, if the position and its attribute are specified by other means, the actions that can occur at the position are limited, and the context information contributes to the improvement of the action identification rate.

また、人の姿勢状態(立っているか、座っているか、膝立ちしているかなど)を取得することで、歩行が発生しうる状態かどうかを判定できるため、歩行動作と誤認識されやすい動作を排除することできると期待される。   Also, by acquiring the posture state of a person (standing, sitting, standing on knees, etc.), it is possible to determine whether or not walking can occur. It is expected that it can be eliminated.

図11は、位置と方位を用いて強識別器の一つを構成した場合の別の実施例である。図1に示した本発明の基本構成に加えて、測位装置1107と進行方向推定装置1106を備える。測位装置1107は、いわゆるPDR(Pedestrian Dead Reckoning)の枠組みなどによって測位対象(歩行者)の位置を推定する装置によって構成可能である。また、進行方向推定装置1106は、前述のPDRの枠組みによって構成可能であり、測位装置1107を構成する上で必須となる構成要素の一つである。   FIG. 11 shows another embodiment in which one of the strong classifiers is configured using the position and the direction. In addition to the basic configuration of the present invention shown in FIG. 1, a positioning device 1107 and a traveling direction estimation device 1106 are provided. The positioning device 1107 can be configured by a device that estimates the position of a positioning target (pedestrian) using a so-called PDR (Pedestrian Dead Reckoning) framework. Further, the traveling direction estimation device 1106 can be configured by the above-described PDR framework, and is one of the essential components for configuring the positioning device 1107.

データの流れは下記の通りである。まず、IMUによって加速度・角速度ベクトル(3軸・センサ座標系)が計測され、これが、姿勢角推定装置1104と測位装置1107、進行方向推定装置1106、加速度・角速度成分分解装置1105にそれぞれ入力される。なお、姿勢角推定装置1104においては、磁気ベクトル計測手段を別途備え、これによって計測される磁気ベクトル(3軸・センサ座標系)を入力として加えて、地磁気に基づく方位角補正をおこなっても良い。姿勢角推定装置1104では、たとえばセンサ座標系と世界座標系との関係を記述する回転行列C(3x3行列)を姿勢角として推定し、この姿勢角を加速度・角速度成分分解装置1105、測位装置1107,進行方向推定装置1106に入力として与える。   The data flow is as follows. First, an acceleration / angular velocity vector (3-axis / sensor coordinate system) is measured by the IMU, and this is input to the attitude angle estimation device 1104, the positioning device 1107, the traveling direction estimation device 1106, and the acceleration / angular velocity component decomposition device 1105, respectively. . Note that the attitude angle estimation device 1104 may be provided with a magnetic vector measuring unit separately, and a magnetic vector (three axes / sensor coordinate system) measured thereby may be added as an input to perform azimuth correction based on geomagnetism. . The posture angle estimation device 1104 estimates, for example, a rotation matrix C (3 × 3 matrix) describing the relationship between the sensor coordinate system and the world coordinate system as a posture angle, and this posture angle is an acceleration / angular velocity component decomposition device 1105 and a positioning device 1107. , And given as an input to the traveling direction estimation device 1106.

加速度・角速度成分分解装置1105は、IMUによって入力された加速度ベクトルをセンサ座標系から、鉛直方向・進行方向・横方向の3つの成分に分解する。また、角速度ベクトルについては、ヨー軸・ピッチ軸・ロール軸周りの3つの成分に分解して、合計6つの成分を強識別器111kに対して入力する。測位装置1107は、IMUから得られる加速度・角速度成分と姿勢角推定装置1104から得られる姿勢角、進行方向推定装置1106から得られる進行方向に基づいて、PDRの枠組みなどによって測位対象の位置を計測する装置である。推定結果である位置と不確かさ(たとえば、カルマンフィルタにおける誤差分散共分散行列)を、強識別器111kの入力として与える。なお、測位装置1107の入力である加速度・角速度ベクトルはセンサ座標系ではなく、加速度・角速度成分分解装置1105などによって世界座標系に変換された加速度・角速度ベクトルであっても良い。   The acceleration / angular velocity component decomposition apparatus 1105 decomposes the acceleration vector input by the IMU into three components in the vertical direction, the traveling direction, and the horizontal direction from the sensor coordinate system. The angular velocity vector is decomposed into three components around the yaw axis, pitch axis, and roll axis, and a total of six components are input to the strong discriminator 111k. The positioning device 1107 measures the position of the positioning target using a PDR framework or the like based on the acceleration / angular velocity component obtained from the IMU, the posture angle obtained from the posture angle estimation device 1104, and the traveling direction obtained from the traveling direction estimation device 1106. It is a device to do. The estimation result position and uncertainty (for example, the error variance covariance matrix in the Kalman filter) are given as inputs to the strong classifier 111k. The acceleration / angular velocity vector that is input to the positioning device 1107 may be an acceleration / angular velocity vector converted into the world coordinate system by the acceleration / angular velocity component decomposition device 1105 or the like instead of the sensor coordinate system.

進行方向推定装置1106は、IMUから得られる加速度・角速度成分と姿勢角推定装置1104から得られる姿勢角に基づいて、測位対象(たとえば歩行者)の進行方向である方位を推定する装置である。PDRの枠組みを用いることによって、測位対象の進行方向を推定し、これを測位装置1107と強識別器111kの入力としてそれぞれ与える。強識別器111kでは、成分分解された加速度・角速度成分と位置・方位を入力として、動作・状態kについて認識処理をおこない、動作・状態kがあったとみなされるときTrueを返し、それ以外の時Falseを返す。   The traveling direction estimation device 1106 is a device that estimates an orientation that is a traveling direction of a positioning target (for example, a pedestrian) based on the acceleration / angular velocity component obtained from the IMU and the posture angle obtained from the posture angle estimation device 1104. By using the PDR framework, the traveling direction of the positioning target is estimated, and this is given as an input to the positioning device 1107 and the strong classifier 111k, respectively. The strong discriminator 111k receives the component-resolved acceleration / angular velocity component and position / orientation, performs recognition processing for the motion / state k, returns True when the motion / state k is considered to exist, and otherwise Returns False.

図11で構成される、加速度・角速度成分に加えて位置・方位情報を考慮した強識別器を実現するその処理のフローチャートを図12に示す。まず、S1201でIMUから加速度ベクトル(3軸・センサ座標系)を取得し、S1202でIMUから角速度ベクトル(3軸・センサ座標系)を取得する。S1203では、姿勢角推定装置1104によって前記加速度ベクトルと角速度ベクトルに基づいて姿勢角を推定する。S1204では、S1201,S1202で得られた加速度ベクトルと角速度ベクトル、S1203で得られた姿勢角に基づいて、IMUの進行方向を推定する。S1205では、S1201,S1202で取得された加速度ベクトルと角速度ベクトル、S1203で得られた姿勢角、S1204で得られた進行方向に基づいて、位置とその不確からしさを推定する。   FIG. 12 is a flowchart of the process for realizing the strong classifier configured in FIG. 11 in consideration of the position / orientation information in addition to the acceleration / angular velocity component. First, in S1201, an acceleration vector (3-axis / sensor coordinate system) is acquired from the IMU, and in S1202, an angular velocity vector (3-axis / sensor coordinate system) is acquired from the IMU. In S1203, the posture angle estimation device 1104 estimates the posture angle based on the acceleration vector and the angular velocity vector. In S1204, the traveling direction of the IMU is estimated based on the acceleration vector and angular velocity vector obtained in S1201 and S1202, and the attitude angle obtained in S1203. In S1205, the position and its uncertainty are estimated based on the acceleration vector and angular velocity vector acquired in S1201 and S1202, the attitude angle obtained in S1203, and the traveling direction obtained in S1204.

S1206では、S1201,S1202で取得された加速度ベクトルと角速度ベクトル、S1203で得られた姿勢角に基づいて、加速度ベクトルを鉛直方向・進行方向・横方向の成分に分解し、角速度ベクトルをヨー軸・ピッチ軸・ロール軸周りの成分に分解する。S1207では、S1206で得られた加速度成分と角速度成分、S1205で得られた位置とその不確からしさ、S1204で得られた進行方向を入力として、動作もしくは状態kを判定認識する強識別器による処理をおこない、その判定結果をTrue/Falseで出力する。   In S1206, based on the acceleration vector and angular velocity vector obtained in S1201 and S1202, and the attitude angle obtained in S1203, the acceleration vector is decomposed into vertical, traveling, and lateral components, and the angular velocity vector is Breaks down into components around the pitch and roll axes. In S1207, using the acceleration component and angular velocity component obtained in S1206, the position obtained from S1205 and its uncertainty, and the direction of travel obtained in S1204 as input, processing by a strong classifier that recognizes the motion or state k is performed. And output the result as True / False.

外食・介護・ビルメンテナンスなどのサービス産業や製造業の現場を、主となるターゲットドメインと捉えて、人の重心付近である腰部に装着されたプロトタイプIMU(加速度・磁気・ジャイロ・気圧センサ)からのデータに基づいて、位置・高度と方位に加えて人の動作を識別する手法として利用可能である。   From the prototype IMU (acceleration, magnetism, gyroscope, barometric pressure sensor) attached to the waist near the center of gravity of the person, considering the service industry such as restaurant, nursing care, and building maintenance as the main target domain. Based on this data, it can be used as a method for identifying human movements in addition to position, altitude and direction.

腰部装着型PDRの測位システムとして備えるべき機能としては、歩行者が通常のモードで移動する状態を識別する機能が必要であり、(1)前進歩行+階段昇降、(2)横歩き、(3)後ろ歩きの3つを判別することである。本発明の移動体の状態推定装置では、これらの3つの基本動作に加えて、重心の移動を伴う複数の特徴的な動作を判別することができる構成となっている。動作を識別することで、その動作が発生しうる位置に推定結果を補正することができるほか、位置の推定結果に基づいてその動作の発生頻度を事前確率として用いることで、動作認識の精度を高めることができる。   As a function to be provided as a positioning system for the waist-mounted PDR, a function for identifying a state in which a pedestrian moves in a normal mode is necessary. (1) Forward walking + step up / down, (2) sidewalk, (3 ) It is to discriminate three of the backward walking. In addition to these three basic operations, the mobile body state estimation device of the present invention is configured to be able to discriminate a plurality of characteristic operations involving the movement of the center of gravity. By identifying the motion, the estimation result can be corrected to the position where the motion can occur, and the frequency of motion occurrence is used as a prior probability based on the position estimation result, thereby improving the accuracy of motion recognition. Can be increased.

1001 角速度ベクトル計測手段、
1002 加速度ベクトル計測手段
1003 慣性計測ユニット(IMU)
1004 姿勢角推定装置
1005 加速度・角速度成分分解装置
1011 第1の強識別器(重み付き弱識別器)
1012 第2の強識別器(重み付き弱識別器)
101x 第xの強識別器(重み付き弱識別器)
1001 Angular velocity vector measuring means,
1002 Acceleration vector measuring means 1003 Inertial measurement unit (IMU)
1004 Posture angle estimation apparatus 1005 Acceleration / angular velocity component decomposition apparatus 1011 First strong classifier (weighted weak classifier)
1012 Second strong classifier (weighted weak classifier)
101x xth strong classifier (weighted weak classifier)

Claims (3)

移動体に装着されて移動体の加速度ベクトルを計測する加速度ベクトル計測手段と、
移動体に装着されて移動体の角速度ベクトルを計測する角速度ベクトル計測手段と、
前記加速度ベクトル計測手段の出力と前記角速度ベクトル計測手段の出力に基づいて移動体の姿勢角を推定する姿勢角推定装置と、
前記加速度ベクトル計測手段の出力、前記角速度ベクトル計測手段の出力、および姿勢角推定装置の出力に基づいて、重力方向の加速度成分と重力軸回りの角速度成分、進行方向の加速度成分と進行軸回りの角速度成分、横方向の加速度成分と横軸周りの角速度成分の計6つの成分に分解する加速度・角速度成分分解装置と、
計N(Nは整数)個の状態についてそれぞれ真か偽を識別する予め学習済みの強識別器と、
を備え、
前記強識別器は、前記加速度・角速度成分分解装置の出力である計6つの成分を入力として、それぞれ、真または偽の出力を提示する
ことを特徴とする移動体の状態推定装置。
An acceleration vector measuring means mounted on the moving body for measuring the acceleration vector of the moving body;
Angular velocity vector measuring means mounted on the moving body for measuring the angular velocity vector of the moving body;
A posture angle estimating device for estimating a posture angle of a moving body based on an output of the acceleration vector measuring unit and an output of the angular velocity vector measuring unit;
Based on the output of the acceleration vector measuring means, the output of the angular velocity vector measuring means, and the output of the attitude angle estimating device, the acceleration component in the gravity direction and the angular velocity component around the gravity axis, the acceleration component in the traveling direction and the rotation around the traveling axis. An acceleration / angular velocity component decomposing device that decomposes into six components, an angular velocity component, a lateral acceleration component, and an angular velocity component around the horizontal axis;
A pre-learned strong classifier that identifies true or false for each of a total of N (N is an integer) states;
With
The strong classifier receives a total of six components, which are outputs of the acceleration / angular velocity component decomposition apparatus, and presents a true or false output, respectively, and presents a state estimation apparatus for a moving body.
請求項1に記載の移動体の状態推定装置において、
前記強識別器は、強識別器ごとにそれぞれ異なった成分の閾値を有しており、計N個の状態についてそれぞれに真か偽を識別するN個の強識別器である
ことを特徴とする移動体の状態推定装置。
The apparatus for estimating a state of a moving body according to claim 1,
The strong discriminator has threshold values of components different for each strong discriminator, and is N strong discriminators that discriminate true or false for a total of N states. Mobile body state estimation device.
請求項1に記載の移動体の状態推定装置において、
前記加速度ベクトル計測手段の出力と、前記角速度ベクトル計測手段の出力と、前記姿勢角推定装置の出力とに基づいて前記移動体の進行方向である方位を推定する進行方向推定装置と、
前記加速度ベクトル計測手段の出力と、前記角速度ベクトル計測手段の出力と、前記姿勢角推定装置の出力と、前記姿勢角推定装置の出力と、前記進行方向推定装置の出力とに基づいて、前記移動体の位置を計測する測位装置と、をさらに備え、
前記強識別器は、前記6つの成分に加え、さらに前記進行方向推定装置の出力である方位と、前記測位装置の出力である位置を入力として、それぞれ真または偽の出力を提示することを特徴とする移動体の状態推定装置。
The apparatus for estimating a state of a moving body according to claim 1,
A traveling direction estimation device that estimates an orientation that is a traveling direction of the moving body based on an output of the acceleration vector measurement unit, an output of the angular velocity vector measurement unit, and an output of the posture angle estimation device;
Based on the output of the acceleration vector measuring unit, the output of the angular velocity vector measuring unit, the output of the posture angle estimating device, the output of the posture angle estimating device, and the output of the traveling direction estimating device, the movement A positioning device that measures the position of the body,
The strong discriminator, in addition to the six components, further presents a true or false output, respectively, with an azimuth as an output of the traveling direction estimation device and a position as an output of the positioning device as inputs. A state estimation device for a moving body.
JP2011100632A 2010-04-30 2011-04-28 Mobile object state estimation device Active JP5750742B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011100632A JP5750742B2 (en) 2010-04-30 2011-04-28 Mobile object state estimation device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010105790 2010-04-30
JP2010105790 2010-04-30
JP2011100632A JP5750742B2 (en) 2010-04-30 2011-04-28 Mobile object state estimation device

Publications (2)

Publication Number Publication Date
JP2011245285A true JP2011245285A (en) 2011-12-08
JP5750742B2 JP5750742B2 (en) 2015-07-22

Family

ID=45411249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011100632A Active JP5750742B2 (en) 2010-04-30 2011-04-28 Mobile object state estimation device

Country Status (1)

Country Link
JP (1) JP5750742B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103142234A (en) * 2013-01-25 2013-06-12 中国科学院深圳先进技术研究院 Sensor system and method for judging body falldown and body protection device
WO2014010727A1 (en) * 2012-07-13 2014-01-16 独立行政法人産業技術総合研究所 Device for estimating moving object travel direction and method for estimating travel direction
WO2014020718A1 (en) * 2012-08-01 2014-02-06 株式会社日立製作所 Gait discrimination system, gait discrimination device, and gait discrimination method
JP2014078398A (en) * 2012-10-10 2014-05-01 Ricoh Co Ltd Illumination control device, illumination control system and program
WO2015105146A1 (en) * 2014-01-08 2015-07-16 独立行政法人産業技術総合研究所 Travel direction estimation device and travel direction estimation method
JP2017010206A (en) * 2015-06-19 2017-01-12 株式会社デンソー Driving operation determination device
KR101753525B1 (en) * 2015-04-23 2017-07-19 모토로라 모빌리티 엘엘씨 Detecting physical separation of portable devices
WO2019216132A1 (en) * 2018-05-09 2019-11-14 ソニー株式会社 Information processing device, information processing method, and program
CN111879325A (en) * 2020-08-05 2020-11-03 东北大学 IMU attitude angle estimation method with high precision and anti-interference capability
US20220146280A1 (en) * 2019-03-27 2022-05-12 Nec Corporation Walk discrimination device, walk discrimination method, and program recording medium
WO2022124323A1 (en) * 2020-12-10 2022-06-16 国立研究開発法人産業技術総合研究所 Information processing device, information processing method, and control program
US12123742B2 (en) * 2019-03-27 2024-10-22 Nec Corporation Walk discrimination device, walk discrimination method, and program recording medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007151948A (en) * 2005-12-07 2007-06-21 Kansai Electric Power Co Inc:The Method and device for determining falling down
JP2009080539A (en) * 2007-09-25 2009-04-16 Toshiba Corp Gesture recognition device and method therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007151948A (en) * 2005-12-07 2007-06-21 Kansai Electric Power Co Inc:The Method and device for determining falling down
JP2009080539A (en) * 2007-09-25 2009-04-16 Toshiba Corp Gesture recognition device and method therefor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6014027249; 興梠正克: '"装着型自蔵センサモジュールを用いた歩行者の位置・方位計測技術"' 電子情報通信学会誌 第92巻、第4号, 20090401, p.268-275, 社団法人 電子情報通信学会 *
JPN6014027252; 興梠正克: '"ウェアラブルカメラと慣性センサ群のデータ統合に基づくパーソナルポジショニング"' 画像ラボ 第14巻、第6号, 20030601, p.9-14, 日本工業出版 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10288431B2 (en) 2012-07-13 2019-05-14 National Institute Of Advance Industrial Device for estimating moving object travel direction and method for estimating travel direction
WO2014010727A1 (en) * 2012-07-13 2014-01-16 独立行政法人産業技術総合研究所 Device for estimating moving object travel direction and method for estimating travel direction
JPWO2014010727A1 (en) * 2012-07-13 2016-06-23 国立研究開発法人産業技術総合研究所 Traveling direction estimation apparatus and traveling direction estimation method for moving body
WO2014020718A1 (en) * 2012-08-01 2014-02-06 株式会社日立製作所 Gait discrimination system, gait discrimination device, and gait discrimination method
JPWO2014020718A1 (en) * 2012-08-01 2016-07-11 株式会社日立製作所 Walking style discrimination system, walking style discrimination device, and walking style discrimination method
JP2014078398A (en) * 2012-10-10 2014-05-01 Ricoh Co Ltd Illumination control device, illumination control system and program
CN103142234A (en) * 2013-01-25 2013-06-12 中国科学院深圳先进技术研究院 Sensor system and method for judging body falldown and body protection device
WO2015105146A1 (en) * 2014-01-08 2015-07-16 独立行政法人産業技術総合研究所 Travel direction estimation device and travel direction estimation method
JPWO2015105146A1 (en) * 2014-01-08 2017-03-23 国立研究開発法人産業技術総合研究所 Traveling direction estimation apparatus and traveling direction estimation method
US10317423B2 (en) 2014-01-08 2019-06-11 National Institute Of Advanced Industrial Science And Technology Travel direction estimation device and travel direction estimation method
KR101753525B1 (en) * 2015-04-23 2017-07-19 모토로라 모빌리티 엘엘씨 Detecting physical separation of portable devices
JP2017010206A (en) * 2015-06-19 2017-01-12 株式会社デンソー Driving operation determination device
WO2019216133A1 (en) * 2018-05-09 2019-11-14 ソニー株式会社 Information processing device, information processing method, and program
WO2019216132A1 (en) * 2018-05-09 2019-11-14 ソニー株式会社 Information processing device, information processing method, and program
CN112136020A (en) * 2018-05-09 2020-12-25 索尼公司 Information processing apparatus, information processing method, and program
US20220146280A1 (en) * 2019-03-27 2022-05-12 Nec Corporation Walk discrimination device, walk discrimination method, and program recording medium
US12123742B2 (en) * 2019-03-27 2024-10-22 Nec Corporation Walk discrimination device, walk discrimination method, and program recording medium
CN111879325A (en) * 2020-08-05 2020-11-03 东北大学 IMU attitude angle estimation method with high precision and anti-interference capability
WO2022124323A1 (en) * 2020-12-10 2022-06-16 国立研究開発法人産業技術総合研究所 Information processing device, information processing method, and control program
JP7493840B2 (en) 2020-12-10 2024-06-03 国立研究開発法人産業技術総合研究所 Information processing device, information processing method, and control program

Also Published As

Publication number Publication date
JP5750742B2 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
JP5750742B2 (en) Mobile object state estimation device
EP3194889B1 (en) Inertial tracking based determination of the position of a mobile device carried by a user in a geographical area
Chen et al. Deep neural network based inertial odometry using low-cost inertial measurement units
Wang et al. Pedestrian dead reckoning based on walking pattern recognition and online magnetic fingerprint trajectory calibration
Kourogi et al. A method of pedestrian dead reckoning using action recognition
Elloumi et al. Indoor pedestrian localization with a smartphone: A comparison of inertial and vision-based methods
Altun et al. Pedestrian dead reckoning employing simultaneous activity recognition cues
Ju et al. A pedestrian dead-reckoning system that considers the heel-strike and toe-off phases when using a foot-mounted IMU
US20200355503A1 (en) Determining the location of a mobile device
Manos et al. Walking direction estimation using smartphone sensors: A deep network-based framework
US20130179112A1 (en) Robust method for signal segmentation for motion classification in personal navigation
Gobana Survey of Inertial/magnetic Sensors Based pedestrian dead reckoning by multi-sensor fusion method
Marron et al. Multi sensor system for pedestrian tracking and activity recognition in indoor environments
Soni et al. A survey of step length estimation models based on inertial sensors for indoor navigation systems
Inderst et al. 3D pedestrian dead reckoning and activity classification using waist-mounted inertial measurement unit
US20230258453A1 (en) Indoor positioning with plurality of motion estimators
Tateno et al. Improvement of pedestrian dead reckoning by heading correction based on optimal access points selection method
Hoseinitabatabaei et al. Towards a position and orientation independent approach for pervasive observation of user direction with mobile phones
Filardo et al. C-IPS: A smartphone based indoor positioning system
Qian et al. Continuous motion recognition for natural pedestrian dead reckoning using smartphone sensors
Lee et al. Evaluation of a pedestrian walking status awareness algorithm for a pedestrian dead reckoning
Susi Gait analysis for pedestrian navigation using MEMS handheld devices
JP6147446B1 (en) Inertial sensor initialization using soft constraints and penalty functions
Zhou et al. Pedestrian navigation with foot-mounted inertial sensors in wearable body area networks
Wang et al. Posture recognition and adaptive step detection based on hand-held terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150427

R150 Certificate of patent or registration of utility model

Ref document number: 5750742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250