JP2016090371A - センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置 - Google Patents

センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置 Download PDF

Info

Publication number
JP2016090371A
JP2016090371A JP2014224738A JP2014224738A JP2016090371A JP 2016090371 A JP2016090371 A JP 2016090371A JP 2014224738 A JP2014224738 A JP 2014224738A JP 2014224738 A JP2014224738 A JP 2014224738A JP 2016090371 A JP2016090371 A JP 2016090371A
Authority
JP
Japan
Prior art keywords
information
data
coordinate system
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014224738A
Other languages
English (en)
Inventor
車谷　浩一
Koichi Kurumaya
浩一 車谷
宏謙 富樫
Hirokane Togashi
宏謙 富樫
池田　剛
Tsuyoshi Ikeda
剛 池田
明男 幸島
Akio Kojima
明男 幸島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2014224738A priority Critical patent/JP2016090371A/ja
Priority to PCT/JP2015/079268 priority patent/WO2016072240A1/ja
Publication of JP2016090371A publication Critical patent/JP2016090371A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Telephone Function (AREA)

Abstract

【課題】モーションセンサを備える装置の向きに依存せずに、動作種類及び動作方向を認識するセンサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置を提供する。【解決手段】情報処理装置１０は、モーションセンサにより計測されるデータを取得する取得部１１２と、データを、モーションセンサの向きに依存する第１座標系からモーションセンサの向きに依存しない第２座標系に変換する変換部１１４と、過去の第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換部１１４により変換された第２座標系のデータから所定動作を認識する認識部１１６とを備える。【選択図】図２

Description

本発明は、センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置に関する。
歩行者ナビゲーションに代表される移動支援サービスにおいて、有効な情報提供を実現するためには、歩行者の動作認識は重要な要素技術となっている。近年の携帯端末装置、例えばスマートフォン、タブレットに搭載されているモーションセンサは高度化しており、歩行者の動作認識と歩行者ナビゲーションを単一端末上で実現する基盤は整っている。モーションセンサは、例えば、加速度センサ、角速度センサ、地磁気センサなどのうちの少なくとも１つである。
ここで、歩行者の動作認識の例として、「直進」、「右折」、「左折」という３種類の動作の識別について検討する。「直進」と、「右折」及び「左折」との識別は、動作種類の認識問題であり、「右折」と「左折」との識別は、動作方向の認識問題である。
つまり、歩行者の動作認識という問題は、（１）動作種類の認識、（２）動作方向の認識、という２種類の認識問題を含む。しかし、従来技術では、（１）の動作種類の認識のみを主眼とした事例がほとんどである。また、（２）の動作方向の認識を可能とする従来技術では、認識のために用いる機材について特殊な条件、例えば、特定機材の使用、又は装置の向きや固定方法に制約がある（携帯端末装置を固定位置に装着する）などの条件が求められている。
他方、近年の携帯端末装置に実装されるモーションセンサを用いて動作認識する手法において、携帯端末装置についての特殊な条件（特殊機材の使用や装置の向きや固定方法の制約）があると、使い勝手が悪い。
よって、動作認識手法の使い勝手等を良くするため、モーションセンサを備える一般的な携帯端末装置を用い、装置の向きや固定方法に依存せずに、動作認識を行う技術が研究されている（例えば、非特許文献１〜３参照）。
嶋谷健太郎 他, 「スマートフォンを用いたコンテンツ検索支援のための動作認識」, 電子情報通信学会技術研究報告. PRMU, pp.47-52, 2012. Zhen-Yu He and Lian-Wen Jin, "Activity recognition from acceleration data using AR model representation and SVM", 2008 International Conference on Machine Learning and Cybernetics, pp.2245-2250, 2008. T. Kobayashi, K. Hasida and N. Otsu, "Rotation invariant feature extraction from 3-D acceleration signals", Proceedings of International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pp. 3684-3687,
しかしながら、上記の従来技術では、動作種類のみを認識するだけであり、動作方向の認識については、実現されていない。よって、モーションセンサを備える一般的な携帯端末装置を用いて、その装置の向きや固定方法に依存せずに、動作種類のみならず動作方向についても認識することが可能な動作認識手法が求められている。
そこで、本発明は、モーションセンサを備える一般的な携帯端末装置を用いて、その装置の向きや固定方法に依存せずに、動作種類及び動作方向を認識することができる情報処理装置、情報管理システム及び情報処理方法を提供する。なお、簡単のため、以降では「装置の向きや固定方法」のことを「装置の向き」と略記する。
本発明の一態様における情報処理装置は、モーションセンサにより計測されるデータを取得する取得部と、前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、を備える。
第１実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態における情報処理装置の機能構成の一例を示すブロック図である。 動作認識の対象とする歩行動作の一例を示す図である。 座標変換を説明するための図である。 地上座標系、デバイス座標系及びオイラー角の関係を示す図である。 左折時の理想的な角速度（ｚ軸回り）データの波形形状の一例を示す図である。 格納場所Ａを説明するための図である。 格納場所Ｂを説明するための図である。 格納場所Ｃを説明するための図である。 格納場所Ｂにおける格納向きＡを説明するための図である。 格納場所Ｂにおける格納向きＢを説明するための図である。 格納場所Ｃにおける格納向きＡを説明するための図である。 格納場所Ｃにおける格納向きＢを説明するための図である。 直線の歩行動作を計測する場所を説明するための図である。 右折及び左折の歩行動作を計測する場所を説明するための図である。 第１実施形態における動作認識手法の認識精度を示す図である。 ウェーブレット特徴量を用いた場合の認識精度を示す図である。 自己相関行列を用いた場合の認識精度を示す図である。 本動作認識手法における向き及び位置を固定した場合の認識精度を示す図である。 本動作認識手法における向きを固定し、位置を固定しない場合の認識精度を示す図である。 第１実施形態における動作認識処理の一例を示すフローチャートである。 第２実施形態における情報管理システムの一例を示す概念図である。 第２実施形態におけるサーバ装置のハードウェア構成の一例を示す図である。 第２実施形態におけるサーバ装置の機能構成の一例を示すブロック図である。 動作管理情報の一例である。 適用例１における一画面例を説明するための図である。 適用例１における他の画面例を説明するための図である。 見守る人に送信される情報の一例を示す図である。 適用例２における一画面例を説明するための図である。 適用例２における過去の軌跡を拡大した図である。 第３実施形態における情報処理装置の機能構成の一例を示すブロック図である。 第３実施形態における表示例１を示す図である。 第３実施形態における表示例２を示す図である。 第３実施形態における表示例３を示す図である。 第４実施形態における情報管理システムの概要を説明するための図である。 第４実施形態におけるセンサの種類と観測値との関係を示す図である。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
［第１実施形態］
以下、本発明の第１実施形態における情報処理装置について説明する。第１実施形態における情報処理装置は、例えば、スマートフォンやタブレット端末などの携帯端末装置などである。
＜ハードウェア構成＞
まず、情報処理装置１０のハードウェア構成について説明する。図１は、第１実施形態における情報処理装置１０のハードウェア構成の一例を示すブロック図である。
図１に示す情報処理装置１０は、移動体通信用アンテナ３０、移動体通信部３２、無線ＬＡＮ通信用アンテナ３４、無線ＬＡＮ通信部３６、記憶部３８、主制御部４０を少なくとも有し、さらに、スピーカ１６、マイクロフォン１８、ハードボタン２０、ハードキー２２、カメラ２６や音声出力端子２４を含む外部インタフェース４２、９軸センサ２８Ａ、他センサ２８Ｂなどを有する。
タッチパネル１４は、表示装置および入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１４Ａと、入力機能を担うタッチセンサ１４Ｂとで構成される。
ディスプレイ１４Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１４Ｂは、ディスプレイ１４Ａその上面に配置された接触操作を検知するための素子およびその上に積層された透明な操作面を備えて構成される。タッチセンサ１４Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。
タッチパネル１４は、主制御部４０による記憶部３８に記憶されているプログラムの実行により生成される画像を表示する。入力装置としてのタッチパネル１４は、操作面に対して接触する接触物（ユーザの指やタッチペンなどを含む。以下、「指」である場合を代表例として説明する）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部４０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１４の短辺方向および長辺方向の二軸上の座標値として表される。
９軸センサ２８Ａは、モーションセンサであり、３軸加速度センサ、３軸角速度センサ、３軸地磁気センサを含む。なお、各センサは、別々に設けられてもよい。９軸センサ２８Ａにより計測された加速度データ（第１データ）、角速度データ（第２データ）、地磁気データ（第３データ）は、主制御部４０に入力される。
他センサ２８Ｂは、１つまたは複数のセンサの総称であり、温度センサ、湿度センサ、気圧センサ、心電位センサ、風向風速センサ、放射線検出センサ、及び土壌成分検出センサなどの少なくとも１つのセンサである。また、他センサ２８Ｂは、例えば外付け用の各センサであり、情報処理装置１０に装着されてもよい。他センサ２８Ｂにより計測されたセンサデータは、主制御部４０に入力される。
主制御部４０は、各種データや各種情報を取得し、情報処理装置１０を制御する。例えば、主制御部４０は、記憶部３８に記憶されたプログラムを実行することで、各センサからの計測データを取得して、動作認識を行う。主制御部４０の動作認識処理に対する主な機能は、図２を用いて後述する。
情報処理装置１０は、ネットワーク測位又はＧＰＳ（Global Positioning System）などにより現在位置の位置情報を取得する。
情報処理装置１０は、移動体通信用アンテナ３０や無線ＬＡＮ通信用アンテナ３４を通じてネットワーク（インターネット）Ｎに接続され、サーバ装置（不図示）との間でデータ通信をすることが可能である。
＜機能構成＞
図２は、第１実施形態における情報処理装置１０の機能構成の一例を示すブロック図である。図２に示す情報処理装置１０は、第１送信部１０２、第１受信部１０４、及び動作認識部１０６を含む。
第１送信部１０２は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第１送信部１０２は、各センサにより計測された計測データや、この計測データに基づき認識された動作内容を、ネットワークを介して送信してもよい。
第１受信部１０４は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第１受信部１０４は、例えば、サーバ装置から動作認識を行うためのプログラム（動作認識アプリケーション）を受信する。受信されたプログラムは、記憶部３８に記憶され、主制御部４０により実行されることで、後述する、動作認識を行うための各機能が実行される。
動作認識部１０６は、例えば主制御部４０等により実現されうる。動作認識部１０６は、例えば情報処理装置１０を保持するユーザの動作内容を認識する。この動作内容には、動作種別と動作方向とを含む。動作認識部１０６は、動作内容を認識するため、取得部１１２、変換部１１４、及び認識部１１６を含む。
取得部１１２は、モーションセンサにより計測されたデータを取得する。例えば、取得部１１２は、９軸センサ２８Ａに含まれる加速度センサにより計測される加速度データ、角速度センサにより計測される角速度データ、及び地磁気センサにより計測される地磁気データを取得する。また、取得部１１２は、他センサ２８Ｂにより計測された計測データを取得してもよい。取得された各データは、変換部１１４に出力される。取得部１１２は、各センサから連続的に計測された各データの部分データを取得してもよい。部分データへの切り出しは、例えば動作認識部１０６が行えばよい。
変換部１１４は、モーションセンサにより計測されたデータを用いて、各センサの向きに依存する第１座標系から各センサの向きに依存しない第２座標系に変換する。例えば、変換部１１４は、加速度データ及び地磁気データを用いて、加速度データ及び角速度データを、各センサの向きに依存する第１座標系から各センサの向きに依存しない第２座標系に変換する。第１座標系は、デバイス座標系とも称し、第２座標系は、地上座標系とも称す。これにより、各センサの向きに依存しない軸を適切に設定することができる。
第２座標系は、例えば９軸センサ２８Ａの装着位置や向きから独立した地上座標系であり、具体的には、鉛直方向、南北方向、ならびに前記鉛直方向及び前記南北方向の両方向に直行する方向を３つの軸とする座標系である。
変換部１１４は、分離部１２２、第１算出部１２４、第２算出部１２６を含む。分離部１２２は、加速度データを重力成分と動作成分とに分離する。この分離には、加速度データをローパスファイルに通す、統計処理によって固定的なベクトルを算出する等の方法で実現できる。変換部１１４は、分離された重力成分及び地磁気データを用いて座標変換処理を行ってもよい。これにより、鉛直上方方向を軸とする際に、加速度データの重力成分を分離して用いるので、座標変換精度を上げることができる。
第１算出部１２４は、第２座標系に含まれる各軸を順に回転させ、第１座標系と向きを一致させることで各回転角を求め、この各回転角に基づいて第２座標系の第１データを求める。これにより、加速度データを適切に座標変換することができる。
第２算出部１２６は、求められた各回転角に基づいて第２座標系の第２データを求める。これにより、角速度データを適切に座標変換することができる。
認識部１１６は、過去の第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換部１１４により変換された第２座標系のデータから所定動作を認識する。例えば、認識部１１６は、過去の第２座標系の加速度データ及び角速度データを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換部１１４により変換された第２座標系の加速度データ及び角速度データから所定動作を認識する。これにより、各センサを有する装置の向きに依存する座標系からこの装置の向きに依存しない座標系に変換し、機械学習及び分類をすることにより、動作種類及び動作方向を含む動作を適切に認識することができる。また、上記手法によれば、各センサを有する装置の装着位置または格納位置にも依存せずに、適切に動作認識を行うことができる。
また、認識部１１６は、動作認識機能を実現させるため、抽出部１３２、学習部１３４、及び分類部１３６を含んでもよい。
抽出部１３２は、第２座標系の加速度データ及び角速度データそれぞれの特徴量を抽出する。例えば、抽出部１３２は、高速フーリエ変換やウェーブレット変換などを行って、第２座標系の加速度データ及び角速度データから、学習、分類のために特徴量を抽出する。また、特徴量として、加速度データ及び角速度データの積分値や、高速フーリエ変換やウェーブレット変換の結果の積分値も利用できる。これにより、後続の処理の学習、分類の精度が良くなり、計算量も減らすことができるが、抽出処理は必ずしも必要な処理ではない。
学習部１３４は、過去の第２座標系の加速度データ及び角速度データを用いて、動作種類及び動作方向を含む複数の動作を機械学習する。機械学習の手法は、既存の方法、例えばＳＶＭ（Support Vector Machine：サポートベクターマシン）等を用いればよい。
分類部１３６は、学習部１３４により学習された学習データを用いて、変換部１１４により変換された第２座標系の加速度データ及び角速度データを所定動作に分類する。分類手法は、既存の方法を用いればよい。
なお、学習部１３４及び分類部１３６は、加速度データ及び角速度データからそれぞれ特徴量が抽出されていれば、この特徴量を用いて学習、分類を行う。これにより、計算量を削減するとともに、動作の認識精度を高めることができる。学習部１３４及び分類部１３６は、機能的に分けて説明したが、１つの機能として構成されてもよい。
＜具体例＞
次に、第１実施形態における動作認識手法を、歩行動作の認識に適用する場合の具体例について説明する。以下では、情報処理装置１０に９軸センサ２８Ａが設けられているとする。
情報処理装置１０は、自装置に搭載された９軸センサ２８Ａ（加速度センサ、角速度センサ、地磁気センサ）の情報を解析して、歩行動作の計測・学習・分類によって歩行動作の種類及び方向を認識する。
この手法の特徴は、情報処理装置１０上での動作認識の課題の一つである「装置の向きによらず正しく動作を認識できる」ことを実現することができる。この手法は、一例として、動作の特徴量としてフーリエ係数を用い、この特徴量をＳＶＭによって学習・分類し、動作認識を行う。この際、情報処理装置１０は、９軸センサ２８Ａの計測値を自装置から独立した座標系での値に変換した後にフーリエ変換を行って装置の向きに依存しない特徴量を抽出し、学習・分類を行う。これにより、装置の向きに依存せず動作認識を可能とすることができる。
≪対象とする歩行動作≫
図３は、動作認識の対象とする歩行動作の一例を示す図である。図３に示す例では、情報処理装置１０を所持する対象者が以下の動作を行うときに、動作認識をお行う。
ｍｏ１：前方に歩く
ｍｏ２：前方に走る
ｍｏ３：右折する
ｍｏ４：左折する
ｍｏ５：右平行移動する
ｍｏ６：左平行移動する
ｍｏ７：後退する
≪センサデータの切り出し≫
情報処理装置１０は、実際の応用例の一つである歩行者ナビゲーションと連携する場合、歩行動作の認識を一定間隔で連続的に行うことが必要である。連続的に計測されるセンサデータを用いて定期的に動作認識を行う場合には、データの一部分を切り出して分類計算に利用する方法が実用的である。
また、ＳＶＭに入力する特徴量は、一定の次元数、または長さであることが必要であるため、センサデータから一定の長さにデータを切り出す手法を検討する。センサデータは、例えば９軸センサ２８Ａにより計測されたデータである。
連続したデータに対するデータ切り出し手法はいくつか存在するが、これらのうち広く利用されており、簡便な手法がスライディングウインドウという手法である。スライディングウインドウのパラメータは、ウインドウ幅とずらし幅であり、動作認識部１０６は、これらのパラメータを用いて連続したデータから固定長のデータ（部分データ）を切り出す。
具体例における認識対象は歩行動作であるから、歩行動作の認識に有効なスライディングウインドウのウインドウ幅およびずらし幅は、歩行周期と関係性があると推測される。
一般的な人の歩行周期は、１秒間で２歩程度と近似されるため、具体例においては、ウインドウ幅を１秒（約２歩分）、ずらし幅を０．５秒（約１歩分）に設定したスライディングウインドウを適用し、動作認識部１０６は、取得部１１２が取得したセンサデータから部分データを切り出す。
≪座標変換≫
図４は、座標変換を説明するための図である。図４に示す例では、９軸センサ２８Ａの向きに依存しない、または９軸センサ２８Ａが搭載された情報処理装置１０の向きに依存しない動作認識を実現するため、各センサデータの座標変換が行われる。
変換部１１４は、例えば、装置に依存する座標系（以下「デバイス座標系」とも称する）での値から、鉛直方向と南北方向、およびこの２方向に直交な軸（東西方向）により構成される９軸センサ２８Ａの向きに依存しない座標系（以下「地上座標系」とも称する）に変換する。なお、デバイス座標系は、（ｘdev，ｙdev，ｚdev）で表され、地上座標系は、（ｘter，ｙter，ｚter）で表される。
座標変換の一つの方法として、加速度センサの計測値を用いて鉛直上方方向を検出し、地磁気センサの計測値を用いて磁北方向を検出する方法がある。
まず、鉛直上方方向について説明する。鉛直上方方向は、加速度センサにより重力加速度を計測できれば検出することが可能である。一般に、歩行動作中に加速度センサによって計測される加速度は、（１）重力加速度、および（２）歩行動作の加速度が加算された値である。これら（１）と（２）とを分離する手法として一般的なものがローパスフィルタである。
すなわち、重力加速度は周波数が０に近い成分であるため、ローパスフィルタを用いることで、加速度センサにより計測された加速度から重力成分を分離することが可能である。
ローパスフィルタを実現する簡便な計算手法としては移動平均フィルタがあり、例えば分離部１２２は、この移動平均フィルタを用いる。なお、移動平均における過去の成分の重みづけであるフィルタ係数αは、例えば０．９とする。また、加速度に関するパラメータを以下のとおり定義する。
分離部１２２は、移動平均フィルタを用いて、重力成分Ｓａｇを以下のように求める。
よって、分離部１２２は、歩行動作成分Ｓａｗを以下のように求める。
次に、磁北方向について説明する。地磁気センサの読み取り値は、磁北を示すベクトルをデバイス座標系にて表現した値である。したがって、磁北方向の検出は、地磁気センサの読み取り値を用いて行われる。
よって、
以上より、センサデータの座標変換は、加速度の重力成分Ｓａｇと地磁気センサの読み取り値Ｓｍを用いて行われる。
第１算出部１２４は、地上座標系の座標（ｘter，ｙter，ｚter）を以下の順で回転させる。
（１）ｚter軸回り
（２）ｙter軸回り
（３）ｘter軸回り
第１算出部１２４は、軸回りに回転させることで、地上座標系とデバイス座標系（ｘdev，ｙdev，ｚdev）との向きを一致させた場合、このときの回転角（オイラー角）を以下の変数として定義する。
第１算出部１２４は、これらのオイラー角を用いて、地上座標系からデバイス座標系への座標変換を次のように表現する。はじめに、各軸回りの回転行列Ｒｘ、Ｒｙ、Ｒｚは、以下のとおりに定義される。
よって、第１算出部１２４は、地上座標系からデバイス座標系への座標変換を、以下のように表現する。
地上座標系における重力加速度はｇ＝９．８（ｍ／ｓ2）を用いて
と表すことができる。第１算出部１２４は、この式を式（６）の左辺に、デバイス座標系での加速度の重力成分Ｓａｇを式（６）の右辺にそれぞれ代入する。これにより、加速度センサの計測時刻ｔaにおけるオイラー角θta,xterおよびθta,yterは、以下のように求められる。
また、地磁気センサの計測時刻ｔmにおけるｚter軸回りのオイラー角θtm,zterは、地磁気の地上座標系上での水平分力
から求められる。地磁気の水平分力は、地磁気センサデータの読み取り値
を（１）ｘter軸回り、（２）ｙter軸回りの順に回転することで求められる。
しかしながら、情報処理装置１０上に搭載された各センサは、独立して計測を行っているため、加速度センサの計測時刻ｔaと地磁気センサの計測時刻ｔmは一致しないことが多い。したがって、時刻ｔmにおけるオイラー角θtm,xter、θtm,yterは、加速度の重力成分から直接求めることができないため、θtm,xter、θtm,yterは、時刻ｔmの直前１個、直後１個のオイラー角をｔmとの時間差に応じて内分することで求められている。
なお、時刻ｔmの直前のオイラー角が存在しない場合、θtm,xter、θtm,yterは、直後２個の値をｔmとの時間差に応じて外分することで求められる。また、時刻ｔmの直後のオイラー角が存在しない場合、θtm,xter、θtm,yterは、直前２個の値をｔmとの時間差に応じて外分することで求められる。よって、時刻ｔmにおけるオイラー角は求められる。
上述したことを用いることで、地磁気データの水平分力は、以下のように求められる。
地磁気データの水平分力より、オイラー角θtm,zterは、以下のように求められる。
以上により求めたオイラー角θta,xter、θta,yter、θtm,zterおよび回転行列Ｒｘ、Ｒｙ、Ｒｚを用いることで、地上座標系での各センサの値が求められる。はじめに加速度について述べると、座標空間上で加速度はベクトルとして存在するから、回転行列による計算のみで任意の座標系での値を得ることができる。
歩行動作の認識には加速度の歩行動作成分のみが必要なため、ここでは地上座標系における加速度の歩行動作成分Ｓａｗを以下のように求める。なお、時刻ｔaにおけるｚter軸回りのオイラー角θta,zterは、時刻ｔaの直前１個、直後１個のオイラー角を時間差に応じて内分することで求めている。
次に、地上座標系における角速度データを求めるにあたっては、端末の回転を地上座標系で表現する方法の検討が必要である。ここでは、時刻ｔにおける、地上座標系でのオイラー角の時間微分
地上座標系での角速度
およびデバイス座標系での角速度
の関係について考えることで、地上座標系における角速度データが求められる。はじめに、オイラー角の時間微分とデバイス座標系での角速度との間には、図５に示す関係が存在する。
図５は、地上座標系、デバイス座標系及びオイラー角の関係を示す図である。
よって、オイラー角の時間微分は以下のように求められる。
また、オイラー角の時間微分より、地上座標系での角速度
は以下のように求められる。
第２算出部１２６は、式（１４）に、式（１３）で求めたオイラー角の時間微分を代入することで、デバイス座標系での角速度から、地上座標系での角速度データを以下の式で求める。
時刻ｔωにおけるジャイロセンサの読み取り値
は、デバイス座標系で観測した角速度データである。この角速度データを式（１５）の左辺に代入することで、式（１６）のように地上座標系での角速度データが得られる。
なお、時刻ｔωにおけるオイラー角θtω,xter、θtω,yter、θtω,zterは、時刻ｔωの直前１個、直後１個のオイラー角を時間差に応じて内分することで求められている。
式（１６）は式（１１）と同じ形をしていることから、角速度も加速度と同じくベクトルとしての性質を持つことが分かる。
≪特徴量の生成≫
抽出部１３２は、例えば、センサデータの波形形状を表す特徴量として各センサ、各軸のデータから抽出したフーリエ係数を用いる。具体的には、抽出部１３２は、（１）地上座標系における加速度の歩行動作成分のシーケンス、および（２）地上座標系における角速度のシーケンスに対して、（１）及び（２）の各軸についてフーリエ係数を求める。
ここで、歩行動作により発生する加速度データおよび角速度データは、低い周波数の領域に多く存在し、高い周波数の領域にはほとんど存在しないと考えられる。これにより、抽出部１３２は、求められたフーリエ係数のうち、０〜２０Ｈｚの成分を後述するＳＶＭに入力する特徴量として用いる。
ここで、理想的な角速度（ｚ軸回り）データの波形形状について検討する。図６は、左折時の理想的な角速度（ｚ軸回り）データの波形形状の一例を示す図である。図６の横軸は時間で、縦軸は角速度の大きさを示す。
図６に示すように、角速度αが小さい場合には、データの波形形状のみでは直進と左折の識別が困難であると考えられる。この識別の困難性に対しては、センサデータの積分値を特徴量に追加することが有効であると考えられる。
例えば、センサデータが概ね定期的に計測される場合には、センサデータの積分値は、センサの計測値と計測間隔の積の総和により近似することができ、さらに計測間隔は定数と見なすことができる。よって、抽出部１３２は、センサデータの総和もデータ波形の積分値を表す特徴量として用いることができる。
以上の理由により、抽出部１３２は、センサデータの波形形状に対してフーリエ係数として表現し、データの波形形状の積分値をセンサデータの総和として表現し、これらをＳＶＭに入力する特徴量として用いる。具体的には、抽出部１３２は、以下に示すように特徴量を構成する。
≪学習・分類≫
学習部１３４及び分類部１３６は、機能的に分けて説明するが、１つの機能として構成されてもよい。認識部１１６は、例えばＳＶＭを用いて、機械学習によるデータ分類を行う。ＳＶＭは、動作認識以外にも幅広い分類・認識問題の分類器として用いられている。
ＳＶＭは、計算に要する時間が短い、学習データの件数が少ない場合においても高精度な分類を行うことができる、等の特徴を持つ。認識部１１６は、多クラス分類がone-against-one手法およびone-against-all手法により、既知の非線形問題の分類もカーネル関数の導入によりそれぞれ可能となっている。また汎化性能についても、誤分類を許す代わりにペナルティを課す「コスト」の概念を導入することで向上している。
有効な情報提供には、歩行動作をリアルタイムに認識することが必要であり、学習データの件数も実用的には限られることから、第１実施形態においては、学習部１３４及び分類部１３６は、学習・分類としてＳＶＭを用いて動作認識を行う。
ＳＶＭの多クラス分類を行う手法は、分類計算の回数は多くなるものの個々の計算が単純なため短時間で計算でき、かつ高い精度を得やすい点に着目し、one-against-one手法を用いる。またＳＶＭのカーネル関数は、入力データに関する事前知識が不要であり、汎用性の高いガウシアンカーネルを用いる。
これにより、学習部１３４及び分類部１３６は、抽出部１３２により抽出された特徴量を入力し、上述した７つの歩行動作を学習し、分類する。
＜実験概要＞
次に、上述した具体例に対して、発明者らが行った実験について説明する。この実験では、ユーザの所持する情報処理装置１０により歩行動作のセンサデータを取得する。この実験における情報処理装置１０は、９軸センサ２８Ａを搭載するスマートフォンなどの携帯端末装置１０として説明する。
使用する携帯端末装置１０は、Google Nexus4 (LG社製)であり、本実験において利用したセンサの概要は以下のとおりである。
利用センサとサンプリングレート
加速度センサ：２００Ｈｚ（５ｍｓごとに１回計測）
角速度センサ：２００Ｈｚ（５ｍｓごとに１回計測）
地磁気センサ：５０Ｈｚ（２０ｍｓごとに１回計測）
本実験においては、携帯端末装置１０をユーザのズボンのポケットおよびスマートフォンホルダに格納して歩行動作のセンサデータが取得される。具体的な格納箇所は図７〜９に示し、格納向きは図１０〜１３に示すとおりである。
図７は、格納場所Ａを説明するための図である。図６に示すように、携帯端末装置１０は、格納場所Ａとしてユーザのズボンの左ポケットに格納される。
図８は、格納場所Ｂを説明するための図である。図７に示すように、携帯端末装置１０は、格納場所Ｂとしてユーザのズボンの右ポケットに格納される。
図９は、格納場所Ｃを説明するための図である。図８に示すように、携帯端末装置１０は、格納場所Ｃとしてユーザの腰背部の中央に装着されたスマートフォンホルダに格納される。
図１０は、格納場所Ｂにおける格納向きＡを説明するための図である。図１０に示すように、携帯端末装置１０の画面方向は、進行方向と同じ向きになっている。
図１１は、格納場所Ｂにおける格納向きＢを説明するための図である。図１１に示すように、携帯端末装置１０の画面方向は、進行方向と逆向きになっている。なお、図１０及び図１１について、格納場所Ｂを例にして説明したが、格納場所Ａについても同様に、軽端末装置１０の画面方向を進行方向、及び逆方向にする。
図１２は、格納場所Ｃにおける格納向きＡを説明するための図である。図１２に示すように、携帯端末装置１０の画面方向は、進行方向と同じ向きになっている。
図１３は、格納場所Ｃにおける格納向きＢを説明するための図である。図１３に示すように、携帯端末装置１０の画面方向は、進行方向と逆向きになっている。
この実験において、これらの格納箇所Ａ〜Ｃ、格納向きＡ〜Ｂの組み合わせ全ての６通りに対して、１被験者あたり、上述した７種類の歩行動作のセンサデータが各２回ずつ取得される。
被験者数は２人とし、取得されたセンサデータの総数は、１６８（＝６（組み合わせ）×７（歩行動作）×２（回）×２（人））である。各歩行動作を計測した場所は、図１４、図１５に示すとおりである。
図１４は、直線の歩行動作を計測する場所を説明するための図である。図１４に示す直線部分の歩行距離は、約１６．５ｍである。
図１５は、右折及び左折の歩行動作を計測する場所を説明するための図である。図１５に示す直角部分の歩行距離は、約６．５ｍである。
上述した１６８のセンサデータを用い、情報処理装置１０の一例であるデスクトップＰＣ（Personal Computer）が、動作認識の計算を行うことで第１実施形態における認識手法の精度が評価される。計算に用いたデスクトップＰＣの性能概要は以下のとおりであり、動作認識の計算にはオープンソースの統計ソフト"R"（ R Core Team , "R: A Language and Environment for Statistical Computing", 2013, Available : http://www.R-project.org）及びそのパッケージ群が利用される。
モデル：Lenovo社製 ThinkCentre M72e Tower
ＣＰＵ：Intel Core i7-3770, 3.40 GHz
メモリ：16.0 GB, DDR3-1600
ＳＶＭによる動作認識の評価に際して、デスクトップＰＣは、取得されたセンサデータを上述したスライディングウインドウにより分割して部分データを切り出し、分割後の部分データを用いた３分割交差検定により認識精度を求める。ＳＶＭのパラメータについて、ＳＶＭのコストは１，５，１０，２５，５０，１００の６通りが設定され、ガウシアンカーネルのパラメータσは（座標系の軸数＝３）／（特徴量ベクトルの次元数）を用いて評価が行われる。
＜実験結果＞
≪単一の被験者による結果≫
図１６は、第１実施形態における動作認識手法（以下、本動作認識手法とも称す。）の認識精度を示す図である。図１６に示す左側（single-user）は、単一の被験者による動作認識の結果を示す。ＳＶＭのコストが２５の場合において、全体として約９０％、誤認識の多い動作（「右折」「左折」）についても８０％以上の認識精度が得られている。よって、本動作認識手法は、一定以上の認識精度を達成したことが分かる。
≪複数の被験者による評価結果≫
図１６に示す中央（user-dependent）は、複数の被験者のセンサデータを用い、本動作認識手法により動作認識を行った結果を示す。それぞれの被験者のデータは、学習データと分類データに分割して評価が行われている。
被験者ごとに認識精度の差はあるものの、全体として９０％程度、誤認識の多い動作についても８５％程度の動作認識精度が得られた。したがって、user-dependentではいずれのユーザにおいても、一定以上の認識精度が得られると考えられる。
動作ごとの精度について、「右折」「左折」の認識精度は、他の動作と比較して単一被験者の場合からの変化が大きい。この理由は、これらの動作が、被験者ごとの差異が他の動作よりも大きいためであると考えられる。
図１６に示す右側（mixed-user）は、全被験者のデータをランダムに分割して、学習と分類とを行い、動作認識を行った結果を示す。mixed-userにおいて得られた認識精度は、user-dependentと比較して、全体的な認識精度および誤認識の傾向はほぼ同じである。
＜既存の特徴量を適用する手法との比較＞
次に、特徴量を抽出する既存手法を、歩行動作の認識に応用した場合の認識精度を評価することで、本動作認識手法と既存手法を応用した手法との動作認識精度を比較する。ここでは、座標変換を行わずにウェーブレット係数をもとにした特徴量を用いる手法を手法Ａ、及びセンサの向きに依存しない特徴量を用いる手法を手法Ｂとし、この２通りの特徴量をＳＶＭに入力することで歩行動作の認識を行い、認識精度の比較を行う。
≪本動作認識手法と手法Ａとの比較≫
ウェーブレット係数をもとにした特徴量を用いる手法Ａの一つとして、非特許文献１に記載された手法に示された特徴量を用いる場合について説明する。手法Ａでは、ウェーブレット特徴量をＳＶＭに入力して歩行動作の認識が行われる。
図１７は、ウェーブレット特徴量を用いた場合の認識精度を示す図である。この手法Ａにおいて、マザーウェーブレットに対して複数通りの伸縮・平行移動が行われ、各変形に対して得られるウェーブレット係数の最大・最小値が求められることで、ウェーブレット特徴量が抽出される。
図１７に示す左側のsingle-userにおいて、単一の被験者において、特徴量としてウェーブレット係数を用いた場合の認識精度は、特徴量としてフーリエ係数を用いた場合と比較して、全体の認識精度はほぼ同等である。しかし、図１７に示すように、「右折」及び「左折」の認識精度は、特徴量としてウェーブレット係数を用いた場合の方が、図１６に示す「右折」及び「左折」の認識精度よりも低い傾向にある。
user-dependentにおける動作認識の認識精度は、図１７に示す中央部分である。mixed-userにおける認識結果は、図１７に示す右側部分である。特徴量としてウェーブレット係数を用いることで得られた精度は、特徴量としてフーリエ係数を用いた場合とほぼ同等である。しかし、「右折」及び「左折」の認識精度は、特徴量としてフーリエ係数を用いた場合のほうが５％程度高い（図１６参照）。
≪本動作認識手法と手法Ｂとの比較≫
センサの向きに依存しない特徴量を用いる手法Ｂの一つとして、非特許文献３に記載された、提案されたセンサの向きに依存しない特徴量としての自己相関行列を用いる場合について説明する。手法Ｂでは、自己相関行列をＳＶＭに入力して歩行動作の認識が行われる。
図１８は、自己相関行列を用いた場合の認識精度を示す図である。図１８に示す左側のsingle-userにおいて、全体の認識精度は８５％程度である。特徴量として自己相関行列を用いた場合の認識精度は、特徴量としてフーリエ係数を用いた場合の認識精度と比較して、５％程度低い（図１６参照）。また、動作種類ごとに精度を評価すると、「右折」および「左折」の認識精度が２０％以上低下しており、他の動作の認識精度と比較して大きく劣化している。
次に、user-dependentにおける動作認識の認識精度は、図１８に示す中央部分である。user-dependenの場合の認識精度は、単一の被験者のデータを用いた場合の認識精度の傾向・精度ともにほぼ同じである。
また、mixed-userにおける動作認識の認識精度は、図１８に示す右側部分である。mixed-userの場合の認識精度は、単一の被験者のデータを用いた場合の認識精度の傾向と同じである。
≪向き及び位置の影響≫
次に、携帯端末装置１０の向き及び携帯端末装置１０の格納位置（以下、単に「向き及び位置」という。）が、動作認識に及ぼす影響について説明する。
図１９は、本動作認識手法における向き及び位置を固定した場合の認識精度を示す図である。図１９に示す認識精度は、single-userでＳＶＭコストを２５にしたときの実験結果である。
図１９に示す正解率と、図１６に示す正解率（single-user、ＳＶＭコスト＝２５）とを比較すると、向き及び位置を固定した場合の方が、全体の認識精度は高かったが、両認識精度の差は５％程度であったため、本動作認識手法は、携帯端末装置１０の向きや位置の変化に対して頑健であるといえる。
また、発明者らは、携帯端末装置１０の格納位置は固定せず、携帯端末装置１０の向きを進行方向と反対に固定した場合についても実験した。図２０は、本動作認識手法における向きを固定し、位置を固定しない場合の認識精度を示す図である。図２０に示すように、この場合の認識精度の傾向は、携帯端末装置１０の向きを固定しない場合（図１６参照）と大きく変わらなかった。そのため、端末の向きの固定は、認識精度の向上に貢献しないと考えられる。以上のことより、本動作認識手法は、携帯端末装置１０の格納位置及び向きに依存しない動作認識を達成することができる。
＜考察＞
≪座標変換が動作認識に及ぼす影響≫
本動作認識手法において、センサデータの読み取り値を図４に示した絶対座標軸での値に変換して認識計算に利用することで、情報処理装置１０の向きに依存しない特徴量を生成する。
しかし、歩行者の進行方向と本動作認識手法における絶対座標系の各軸は必ずしも一致しないため、この不一致が歩行動作の認識に及ぼす影響について説明する。
まず、「歩く」、「走る」及び「後退」については、動作自体の違いに着目した動作認識の側面が強いため、座標変換による影響は少ないと考えられる。
次に、「右折」及び「左折」について、これらは「時計回りの回転」及び「反時計回りの回転」として区別することができる。これらの回転運動は、理想的な条件下で考えれば角速度センサの積分値を参照することで判別可能であるため、座標変換による影響は少ない。
最後に、「右平行移動」及び「左平行移動」について、これらは動作として近似しており「右折」及び「左折」のように簡略化して区別することも難しい。しかし、厳密には「右平行移動」と「左平行移動」は同じ動作とはならないため、この違いを抽出することにより、これらを判別することが可能だと考えられる。
≪被験者の違いが動作認識に及ぼす影響≫
発明者らは、被験者ごとの認識精度の違いについて分析したところ、同一被験者のデータを分割して学習と認識を行った場合(user-dependent)には、認識精度や誤認識の傾向は異なる被験者間において大きく変わらないことが判明した。
また、全被験者のデータをランダムに分割して学習と認識を行った場合(mixed-user)とuser-dependentの認識精度や誤認識の傾向もほぼ同様である。よって、本動作認識手法は、複数のユーザが混在する環境においても、対象となるユーザの動作を正しく認識することができる。
他方で、学習データと認識データの被験者が一致しない場合(user-independent)に得られた精度は、mixed-user, user-dependentのいずれと比較しても大きく劣化しており、正しく歩行動作を認識することができていない。したがって、本動作認識手法により歩行動作の認識を行うためには、事前に動作認識の対象となるユーザの歩行動作のセンサデータを収集することが必要である。
＜実験のまとめ＞
本動作認識手法では、「歩く」「走る」「右折」「左折」等の歩行動作を識別可能であり、歩行動作の種類と動作方向との両方を同時に認識することができる。
本動作認識手法では、一般的な携帯端末装置１０に搭載されたモーションセンサ（９軸センサ２８Ａ）を用いて歩行者の動作を計測することができる。
本動作認識手法では、モーションセンサの計測値を、携帯端末装置１０の向きに依存しない絶対座標系に変換した後に、センサデータの波形形状に基づく特徴量を生成し、この特徴量をＳＶＭに入力することで、歩行動作の学習と認識を行う。
複数の被験者の歩行動作から取得したセンサデータを用いた評価結果から、本動作認識手法では、歩行動作を全体として約９０％の精度で認識することができる。
＜動作＞
次に、第１実施形態における情報処理装置１０の動作について説明する。図２１は、第１実施形態における動作認識処理の一例を示すフローチャートである。図２１に示すステップＳ１０２で、取得部１１２は、９軸センサ２８Ａにより計測されたセンサデータを取得し、動作認識部１０６は、計測されたセンサデータを部分データとして切り出す。
ステップＳ１０４で、分離部１２２は、加速度データの部分データに対し、加速度成分と、動作成分とに分離する。
ステップＳ１０６で、第１算出部１２４は、デバイス座標系と、地上座標系とを一致させるためのオイラー角を計算する。
ステップＳ１０８で、第１算出部１２４は、加速度データを、計算されたオイラー角を用いて、デバイス座標系から地上座標系に変換する。また、第２算出部１２６は、角速度データを、計算されたオイラー角を用いて、デバイス座標系から地上座標系に変換する。
ステップＳ１１０で、抽出部１３２は、地上座標系に変換された加速度データ及び角速度データからそれぞれ特徴量を抽出する。特徴量としては、例えばフーリエ係数などやウェーブレット係数がある。
ステップＳ１１２で、学習部１３４及び分類部１３６は、抽出された特徴量を入力し、複数の動作に対して機械学習を行い、所定の動作に分類する。
以上の処理により、第１実施形態における情報処理装置１０は、各種モーションセンサを備える装置の向きに依存せずに、動作種類及び動作方向を認識することができる。
例えば、情報処理装置１０は、歩行者の動作認識を実現するに当たり、使用する機材としてはごく一般的なスマートフォンやタブレット端末を用いることができる。
さらに、使用する情報処理装置１０の向きや人体への装着方法に特別の条件を設定する必要がない。例えば、ポケットの中に入れておいた情報処理装置１０が、ポケットの中で回転しても問題なく動作認識を行うことができる。
また、情報処理装置１０は、動作種類の認識及び動作方向の認識の２種類の問題を、単一の学習・分類器により実現することができる。
さらに、上述した具体例では、歩行動作として７つの動作を例に挙げたが、動作内容がこの例に限定されることはない。例えば、うつ伏せや仰向けやなどのその他の動作についても機械学習させることで、適切に分類することが可能になる。
また、上述した動作認識処理は、この動作認識処理を情報処理装置１０に実行させるためのプログラムを記録した記録媒体として実装されてもよい。
［第２実施形態］
次に、本発明の第２実施形態における情報管理システムについて説明する。第２実施形態における情報管理システムは、例えば、第１実施形態における情報処理装置１０を保持又は装着する対象（人や装置等）の動きを見守るシステムなどである。以下に示す情報管理システムは、情報処理装置１０を保持するユーザの行動を見守るシステムを例に挙げて説明するが、情報処理装置１０が装着された機器などの動きを監視するシステムなどにも適用することができる。
＜情報管理システムの概要＞
図２２は、第２実施形態における情報管理システムの一例を示す概念図である。図２２に示すように、例えば情報処理システムは、ユーザが保持する情報処理装置１０Ａ、１０Ｂ、１０Ｃと、情報処理装置１０Ａ〜Ｃから送信される情報管理するサーバ装置５０、６０がネットワークＮを介して接続される。サーバ装置５０、６０は、情報を分散管理してもよいし、いずれか一方の装置で管理するようにしてもよい。以下では、情報の管理の仕方として、サーバ装置５０において一元管理することを例に挙げて説明する。
各情報処理装置は、個別に区別して説明する場合には符号１０Ａ、１０Ｂ、１０Ｃを用い、個別に区別する必要がなく、まとめて説明する場合には符号１０を用いる。
情報処理装置１０は、ネットワークＮを介してサーバ装置５０にオンライン接続し、第１実施形態で上述した動作認識処理で認識された動作示す動作情報を含む情報を送信する。
サーバ装置５０は、例えば複数のユーザが動作認識アプリケーションを起動した情報処理装置１０から、ネットワークＮを介して、動作認識された動作を示す動作情報と、この動作を行った対象を示す対象情報とを受信する。なお、サーバ装置５０は、情報処理装置１０から他の情報、例えば外付けセンサの計測データなどの情報を取得してもよい。サーバ装置５０は、情報処理装置１０から取得した各情報を関連付けて管理し、保存する。
ネットワークＮは、インターネット等であり、無線ＬＡＮのアクセスポイントや携帯電話の基地局などを含む。
＜ハードウェア構成＞
まず、情報処理装置１０のハードウェア構成は、図１に示す構成と同様であるため、その説明を省略する。
次に、サーバ装置５０のハードウェア構成について説明する。図２３は、第２実施形態におけるサーバ装置５０のハードウェア構成の一例を示す図である。図２３に示すように、サーバ装置５０は、制御部２０２と、通信インタフェース２０６と、記憶部２０８と、表示部２１４と、入力部２１６と、を有し、各部はバスラインを介して接続される。
制御部２０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ２０４等を含む。制御部２０２は、記憶部２０８に記憶される管理プログラム２１０等を実行することにより、一般的なサーバ装置としての機能に加え、例えば情報処理装置１０を保持する対象を管理する処理を実現するように構成される。
また、ＲＡＭ２０４は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。
通信インタフェース２０６は、ネットワークＮを介したサーバ装置６０、情報処理装置１０との通信を制御する。
記憶部２０８は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、管理プログラム２１０を記憶する。また、記憶部２０８は、情報記憶部２１２を有している。
管理プログラム２１０は、管理に関する処理を行うためのプログラムであり、情報処理装置１０から各情報を取得し、各情報を情報記憶部２１２に記憶して管理するプログラムである。管理プログラム２１０は、コンピュータに読み取り可能な記録媒体に保存され、この記録媒体から読み出されて、記憶部２０８に記憶されてもよい。
情報記憶部２１２は、例えば各センサにより計測されたデータや、動作情報、対象情報、時刻情報などを関連付けて記憶する。
表示部２１４は、管理者に情報を表示する。入力部２１６は、管理者からの入力を受け付けたり、管理者からの指示を受け付けたりする。また、サーバ装置５０は、表示部２１４と入力部２１６とを必ずしも設ける必要はなく、表示部２１４及び入力部２１６は、外部からサーバ装置５０に接続されるようにしてもよい。
なお、サーバ装置６０は、サーバ装置５０と同様の構成を有するため、その説明を省略する。
＜機能構成＞
次に、第２実施形態における情報処理装置１０の機能構成について説明する。基本的な構成は、図２に示す構成と同様である。第２実施形態では、第１送信部１０２は、例えば、動作認識された動作を示す動作情報、情報処理装置１０を保持する対象を示す対象情報、ＧＰＳなどの位置取得機能から取得された位置情報、各センサにより計測された各センサデータなどを、定期的、又は所定のタイミングでサーバ装置５０に送信する。
図２４は、第２実施形態におけるサーバ装置５０の機能構成の一例を示すブロック図である。図２４に示すサーバ装置５０は、第２送信部３０２、第２受信部３０４、及び動作管理部３０６を含む。
第２送信部３０２は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２送信部３０２は、後述する動作管理部３０６による動作管理情報を、ネットワークを介して、センサデータ等を送信した情報処理装置１０とは異なる情報処理装置１０に送信してもよい。動作管理情報の送信先となる情報処理装置は、予め設定されていればよい。
例えば、センサデータ等を送信する情報処理装置を保持する対象者は、子供、高齢者、労働者などであり、動作管理情報を受信する情報処理装置を保持する対象者は、親、経営者などである。
第２受信部３０４は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２受信部３０４は、例えば、情報処理装置１０から動作認識された動作を示す動作情報、情報処理装置１０を保持する対象を示す対象情報、自装置の位置情報、各センサにより計測された各センサデータなどを受信する。
動作管理部３０６は、例えば制御部２０２、記憶部２０８等により実現されうる。動作管理部３０６は、例えば情報処理装置１０から取得された各情報を関連付けて管理する。例えば、動作管理部２０６は、位置情報、動作情報及び対象情報を関連付けて管理する。また、動作管理部３０６は、各種情報を管理するため、管理部３１０、記憶部３１２、及び表示部３１４を含む。
管理部３１０は、例えば、所定領域ごとに、この所定領域に含まれる位置情報、動作情報及び対象情報を関連付けて管理してもよい。これにより、管理部３１０は、所定領域（所定地域）内にいるユーザの細かい動作や、人の流れなどを管理することができる。
管理部３１０は、所定対象ごとに、位置情報、及び動作情報を関連付けて時系列で管理してもよい。これにより、管理部３１０は、指定された人の過去の動作管理情報を蓄積しておき、ユーザの現在位置と、過去のデータとを比較することが可能であり、時間的に動作情報を管理することができる。
管理部３１０は、所定領域ごとに、この所定領域に含まれる各対象に、位置情報及び動作情報を関連付けて時系列で管理してもよい。これにより、サーバ装置５０は、複数のユーザに対し、空間的に動画のように再生して実現することができる。また、スライダーを画面内に用意し、このスライダーを動かすことで、時間軸に沿って動作状況の変化が表示される。
記憶部３１２は、動作管理情報を記憶する。図２５は、動作管理情報の一例である。図２５に示す動作管理情報は、対象情報である「Ｕ００００１」ごとに、通知時刻、位置、動作、心拍、温度、湿度、気圧、放射線量（不図示）などを関連付けて記憶する。通知時刻は、サーバ装置５０の時計機能を用いて取得されたり、情報処理装１０から送信されたりすればよい。位置、動作、心拍、温度、湿度、気圧、放射線量などの情報は、情報処理装置１０から送信された情報である。
図２５に示すように、動作管理情報は、動作種別及び動作方向を含む動作のミクロな情報を管理することができる。例えば、位置取得機能において取得される位置では、数メートルほどの誤差があり、動作管理部３０６は、位置情報だけを用いてはミクロな動作を管理することができない。
図２４に戻り、表示部３１４は、動作管理情報を必要に応じて表示する。表示部３１４は、動作管理情報をどのように見せるかは、管理者の指示により変更することができる。
例えば、適用例１として、管理者が所定領域を指定した場合には、表示部３１４は、所定領域内に含まれるユーザの動作管理情報を表示するようにしてもよい。
また、適用例２として、管理者が所定対象者を選択した場合には、表示部３１４は、この所定対象者の現在の位置と、過去の位置とを比較して表示してもよい。
また、適用例３として、管理者が所定領域を指定した場合には、表示部３１４は、指定された領域の空間において、対象者の動作状況を時間的に変化させて表示するようにしてもよい。以下、各適用例について具体例を用いて説明する。
≪適用例１≫
図２６は、適用例１における一画面例を説明するための図である。図２６に示す具体例では、所定領域で、情報処理装置１０を保持し、農作業を行うユーザを見守るシステムである。図２６（Ａ）において、ユーザは、情報処理装置１０の動作認識アプリケーションを起動する。これにより、情報処理装置１０は、自動的に各種情報をサーバ装置５０に送信する。
図２６（Ｂ）において、例えばユーザがいる地点とは異なる遠隔地点、例えば事務所にいる管理者が、サーバ装置５０に送信されてくる動作管理情報を確認、監視する。
図２６（Ｃ）において、サーバ装置５０は、所定領域内にいる複数のユーザの動作状況を管理する。また、サーバ装置５０は、ユーザの位置や、動作情報を取得した時刻などを管理することで、どのユーザが、何時に何をしていたかを管理することができる。さらに、サーバ装置５０は、異常な状態を検出した時、強調表示したり、緊急時に設定されている人にメール送信したりするようにしてもよい。異常な状態は、分類される動作の中から予め設定されていればよい。
例えば、「ｉｋｅｄａ」の行動が「うつぶせ」になっており、この場合、表示部３１４は、この行を通常とは異なる色で表示したりするなどして強調表示してもよい。
図２７は、適用例１における他の画面例を説明するための図である。図２７に示す例では、或るユーザの過去、例えば前日の移動軌跡ｔｒ１０と現在位置とが表示される。また、或るユーザに対するセンサデータをリアルタイムに表示する領域ａｒ１０が表示される。
これにより、作業をする人の仲間や会社などが、遠隔地で作業する人の動作や生体情報や環境情報などを適切に見守ることができるようになる。図２６や図２７に示す画面情報は、予め設定されたユーザ、つまり見守る人に送信されてもよい。
図２８は、見守る人に送信される情報の一例を示す図である。図２８（Ａ）は、図２６に示す「ｉｋｅｄａ」さんの現在の状況を示す画面例である。図２８（Ｂ）は、図２６に示す「ｉｋｅｄａ」さんの現在のセンサデータを示す画面例である。図２８に示すように、サーバ装置５０は、予め設定された見守る人の情報処理装置に、動作管理情報を送信することで、「ｉｋｅｄａ」さんの現在の状況を、見守る人に知らせることができる。
≪適用例２≫
図２９は、適用例２における一画面例を説明するための図である。図２９に示すように、画面には、単一のユーザにおける過去の軌跡ｔｒ２０を表示する領域と、センサデータを表示する領域ａｒ２０とを含む。
指定された単一のユーザの過去の動作情報及び／又は位置情報における軌跡ｔｒ２０が画面に表示される。これにより、現在位置と過去の行動との比較が可能になる。また、このときのセンサデータの時系列的な変化も画面に表示される。
図３０は、適用例２における過去の軌跡ｔｒ２０を拡大した図である。図３０に示すように、軌跡ｔｒ２０を拡大して表示することも可能であり、細かな行動についても表示することが可能である。
≪適用例３≫
適用例３は、適用例１と適用例２との組み合わせであり、複数のユーザを空間的に見守るシステムである。適用例３のシステムでは、適用例１のように、指定された農地等で作業する複数人のユーザを、遠隔地で見守ることができ、各ユーザの移動を動画のように再生して実現することができる。
また、表示画面に時間経過を示すスライダーが用意され、このスライダーを管理者等が動かすことで、その時間軸に沿って状況の変化が表示画面に表示される。
以上、第２実施形態によれば、第１実施形態で説明した動作認識を、対象を見守るシステムに適用することができる。また、第２実施形態によれば、人の流れや、所定領域内で複数人が倒れているなど、対象としての人やモノの細かな動きを認識することができる。
なお、第２実施形態において、情報処理装置１０がセンサデータ等をサーバ装置５０に送信し、サーバ装置５０が、センサデータ等に基づいて動作認識処理を行うようにしてもよい。
［第３実施形態］
次に、本発明の第３実施形態における情報表示システムについて説明する。第３実施形態における情報表示システムは、例えば、サーバ装置５０が、位置情報及びその位置において計測された物理量などを管理し、これらの情報を可視化する。
例えば、第３実施形態における情報表示システムは、サーバ装置５０の管理者が圃場の所定範囲を指定し、所定範囲内の物理量（例えば土壌のｐＨ値・温度・化学成分等）を可視化して表示することができる。また、第３実施形態における情報表示システムは、可視化する情報を、情報処理装置１０から取得することもできる。
＜情報表示システムの概要＞
第３実施形態における情報表示システムは、図２２に示すシステム構成と同様である。なお、第３実施形態における情報表示システムの情報処理装置１０は、必ずしも第１実施形態で説明した動作認識機能を有していなくてもよい。
＜ハードウェア構成＞
まず、情報処理装置１０のハードウェア構成は、図１に示す構成と同様であるため、その説明を省略する。サーバ装置５０のハードウェア構成は、図２３に示す構成と同様であるため、その説明を省略する。
＜機能構成＞
第３実施形態におけるサーバ装置５０の機能構成は、第２実施形態にサーバ装置５０の機能構成と同様であるため、同じ符号を用いて説明する。
第２送信部３０２は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２送信部３０２は、後述する動作管理部３０６により管理される所定領域の物理量を、ネットワークを介して、物理量を要求している情報処理装置１０に送信してもよい。例えば、所定領域は、作業場、工事現場、圃場、山岳地域、又は事故現場などであり、物理量は、温度、湿度、照度、気圧、風向風力、土壌のｐＨ値・温度・化学成分、放射線量などの少なくとも１つである。
また、第２送信部３０２は、後述する動作管理部３０６による動作管理情報を、ネットワークを介して、センサデータ等を送信した情報処理装置１０とは異なる情報処理装置１０に送信してもよい。動作管理情報の送信先となる情報処理装置は、予め設定されていればよい。
第２受信部３０４は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２受信部３０４は、例えば、位置情報と物理量とを関連付けて他の装置から受信する。また、受信部３０４は、所定の装置から物理量を可視化する要求を受信する。
また、第２受信部３０４は、情報処理装置１０から動作認識された動作を示す動作情報、情報処理装置１０を保持する対象を示す対象情報、自装置の位置情報、各センサにより計測された各センサデータなどを受信してもよい。
動作管理部３０６は、例えば制御部２０２、記憶部２０８等により実現されうる。動作管理部３０６は、例えば情報処理装置１０から取得された各情報を関連付けて管理する。例えば、動作管理部３０６は、位置情報及び物理量を関連付けて管理し、さらに動作情報及び対象情報を関連付けて管理してもよい。
管理部３１０は、例えば、位置情報及び物理量を関連付けて管理し、さらに動作情報及び対象情報を関連付けて管理してもよい。管理部３１０は、例えば、位置情報及び物理量は事前に設定されていてもよい。これにより、管理部３１０は、位置情報と物理量を関連付けるので、所定領域（所定地域）内での物理量を可視化し、物理量をユーザに分かりやすく表示させることができる。
記憶部３１２は、物理量情報、又は動作管理情報を記憶する。物理量情報は、位置ごとに物理量が関連付けられた情報である。
表示部３１４は、物理量や動作管理情報を必要に応じて表示する。表示部３１４は、物理量や動作管理情報をどのように見せるかは、管理者の指示により変更することができる。
次に、第３実施形態における情報処理装置１０の機能構成について説明する。図３１は、第３実施形態における情報処理装置１０の機能構成の一例を示すブロック図である。図３１に示す第３実施形態における情報処理装置１０の機能について、図２に示す第１実施形態における情報処理装置１０の機能と同様のものは同じ符号を付す。以下、第１実施形態における機能と異なる機能について説明する。
第１送信部１０２は、後述する設定部５０２により設定された所定領域に関連付けられた物理量を送信するよう、サーバ装置５０に要求する。第１受信部１０４は、所定領域に関連付けられた物理量を受信する。
設定部５０２は、所定領域を設定したり、物理量の１又は複数の閾値を設定したりする。設定された所定領域は第１送信部１０２に出力され、設定された閾値は、表示部５０６に出力される。
可視化部５０４は、指定又は設定されている所定範囲内の物理量を量に応じて可視化する。例えば、可視化部５０４は、色の濃淡が、物理量の大小を示すようにする。これにより、例えば圃場等の土壌ｐＨ値・土壌温度・化学成分などを可視化することができる。
また、可視化部５０４は、物理量に関連付けて、動作情報を表示するようにしてもよい。また、可視化部５０４は、設定部５０２により設定された閾値に基づき、物理量の可視化を行ってもよい。例えば、閾値以下の物理量、閾値以上の物理量、第１閾値以上第２閾値（＞第１閾値）以下、又は第１閾値以下及び第２閾値以上の物理量を可視化するようにしてもよい。
表示部５０６は、可視化部５０４により可視化された物理量を表示する。表示部５０６は、位置情報に、動作情報等がさらに関連付けられている場合は、動作情報等も表示する。
なお、第３実施形態において、動作情報を位置情報に関連付ける必要がない場合は、動作認識部１０６は設けられなくてもよい。
以下、第３実施形態における情報処理装置１０に動作認識部１０６を設けない場合と設ける場合とに分けて具体例を用いて説明する。
≪動作認識部１０６を設けない場合≫
サーバ装置５０は、位置情報及び物理量を予め管理しておく。物理量は、例えば圃場における土壌ｐＨ値とする。情報処理装置１０は、所定位置（例えば現在位置）を指定し、この所定位置をサーバ装置５０に送信する。また、情報処理装置１０は、所定範囲を指定し、所定範囲を送信するようにしてもよい。
サーバ装置５０は、情報処理装置１０から受信した位置を含む所定領域、又は指定された所定領域内の各位置に関連付けられた物理量を、情報処理装置１０に送信する。
情報処理装置１０は、サーバ装置５０から受信した所定範囲内の物理量を可視化し、表示部に表示する。このとき、閾値が設定され、閾値に基づいて可視化されてもよい。次に、閾値に基づく表示例を図３２〜３４を用いて説明する。
図３２は、第３実施形態における表示例１を示す図である。図３２に示す例では、圃場が表示され、画面左中央に、ｐＨ値を示すゲージＧ１０が表示される。図３２に示す例では、画面内の３つの圃場のうちの中央の圃場について、土壌ｐＨ値が５．５以上の領域ａｒ３２が可視化されている。ｐＨ値５．５という閾値については、ゲージＧ１０を用いることで、ユーザは容易に設定を変えることができる。
図３３は、第３実施形態における表示例２を示す図である。図３３に示す例では、画面内の３つの圃場のうちの中央の圃場について、土壌ｐＨ値が５．５未満の領域ａｒ３４が可視化されている。
図３４は、第３実施形態における表示例３を示す図である。図３４に示す例では、画面内の３つの圃場のうちの中央の圃場について、土壌ｐＨ値が５．５以上６．０未満の領域ａｒ３６が可視化されている。
以上より、第３実施形態においては、設定部５０２により設定された閾値を用いて物理量を可視化することができ、さらに、ユーザが閾値を容易に変更することもできる。
≪動作認識部１０６を設ける場合≫
サーバ装置５０は、情報処理装置１０により計測された位置情報及び動作情報に加え、温度、湿度、照度、気圧、風向風力、土壌ｐＨ値、土壌温度、土壌化学成分、放射線量などの物理量を管理する。物理量は、例えば圃場における土壌ｐＨ値とする。情報処理装置１０は、現在位置の土壌ｐＨ値を検知するセンサから土壌ｐＨ値を取得し、この所定位置及び動作情報や土壌ｐＨ値、その他の情報をサーバ装置５０に送信する。
サーバ装置５０は、所定位置及び動作情報や土壌ｐＨ値、その他の情報を取得し、管理する。サーバ装置５０は、情報処理装置１０から指定された所定範囲を取得し、所定範囲を送信するようにしてもよい。
サーバ装置５０は、情報処理装置１０から受信した位置を含む所定領域、又は指定された所定領域内の各位置に関連付けられた物理量及び動作情報、土壌ｐＨ値等を、情報処理装置１０に送信する。
情報処理装置１０は、サーバ装置５０から受信した所定範囲内の物理量（土壌ｐＨ値）及び動作情報等を可視化し、表示部に表示する。このとき、閾値が設定された場合、閾値に基づいて物理量が可視化される。
以上、第３実施形態における情報表示システムは、所定範囲を指定し、所定範囲内の位置に関連付けられた物理量を可視化して表示することができる。また、第３実施形態における情報表示システムは、可視化する情報を、情報処理装置１０から取得することもできる。
［第４実施形態］
次に、本発明の第４実施形態における情報管理システムについて説明する。第４実施形態における情報管理システムは、例えば、第１実施形態における動作認識に関する情報と、既存のカメラシステム、例えば監視カメラで得られる情報とを関連付けて管理する。詳細は後述するが、これにより、人物特定に役立てたり、高精度の移動トラッキングを行ったり、携帯端末装置による屋内測位を可能にしたりする。
＜情報管理システムの概要＞
図３５は、第４実施形態における情報管理システムの概要を説明するための図である。図３５に示す対象ユーザは、第１実施形態において説明した情報処理装置１０を保持し、所定の動作を行うとする。情報処理装置１０により動作認識を行うシステムを、以下、動作認識システムと称す。
図３５に示すカメラシステムは、既存のカメラシステムであり、例えば監視カメラシステムであり、カメラシステムにより対象ユーザの動作が撮像され、この動作の動作情報が取得される。
情報管理システムは、動作認識システムから取得される情報と、カメラシステムから取得される情報とを関連付けて記憶し、人物特定や移動トラッキングや屋内測位などの行動認識タスクに適用する。
＜ハードウェア構成＞
まず、情報処理装置１０のハードウェア構成は、図１に示す構成と同様であるため、その説明を省略する。サーバ装置５０のハードウェア構成は、図２３に示す構成と同様であるため、その説明を省略する。また、カメラシステムは既存のシステムを適用すればよいため、その説明を省略する。
＜機能構成＞
第４実施形態におけるサーバ装置５０の機能構成は、第２実施形態にサーバ装置５０の機能構成と同様であるため、同じ符号を用いて説明する。第２受信部３０２は、動作認識システムから送信される動作認識に関する情報と、カメラシステムから送信される動作に関する情報とを受信する。
動作認識システムからの動作認識に関する情報とは、例えば、動作情報、加速度情報、角速度情報、位置情報、平面方位角情報などである。また、カメラシステムからの動作に関する情報とは、位置情報、回転角情報、平面方位角情報、ジェスチャー等の人の行動情報である。この行動情報は、動作情報とも同義である。
既存のカメラシステムにおいて、上述した位置情報、回転角情報、平面方位角情報、動作情報などを自動的に抽出することが可能であり、さらに、移動軌跡や時間局所的な動き、向き、姿勢なども抽出することが可能である。すなわち、既存のカメラシステムは、撮像部であるカメラと、撮像部により撮像された画像を解析し、対象の移動及び／又は動作を認識する認識部と、認識された移動及び／又は動作に関する情報を送信する送信部とを少なくとも含む。
動作管理部３０６は、受信したこれらの情報を関連付けて記憶し、管理する。動作管理部３０６は、２つのシステムから取得した情報を解析し、次の問題を解決することができるようになる。
動作管理部３０６は、動作認識システム及びカメラシステムの各々から得られる人の動作の履歴、例えば時系列に並んだ動作列データを関連付けて、ある特定の情報処理装置１０を持つ人をカメラシステムのカメラ画像内で特定するという問題、又は、あるカメラ画像内の人を指定したときにその人が持つ情報処理装置１０を特定するという問題を解く。以上を「人物の特定問題」と呼ぶ。人物の特定問題を解くための方法は以下のとおりである。
ここで、センサの種類と観測値との関係について説明する。図３６は、第４実施形態におけるセンサの種類と観測値との関係を示す図である。図３６は、動作認識システム及びカメラシステムで直接観測可能な物理量と、その物理量から微分・積分・幾何的計算によって導出される物理量とを比較したものである。
図３６に示す縦軸は、動作認識システムで用いられるモーションセンサ、例えば９軸センサ２８Ａであり、カメラシステムで用いられる所定の環境に設置されたカメラを示す。図３６に示す横軸は、直接的又は間接的に観測される物理量であり、例えば位置、速度、加速度、回転角、角速度、平面方位角、行動情報などである。
図３６に示す表から分かるように、これら２種類のセンサで共通に直接計測可能な量は平面方位角のみであるが、動作管理部３０６は、得られたデータを微分・積分・幾何的変換をすることにより、多くの共通のデータを生成することができる。この計算には従来から存在する微分・積分・幾何計算のソフトウェアパッケージを使用すれば良い。動作管理部３０６は、それぞれのシステムで生成されたデータに対し、対応するデータのマッチングを取ることにより、人物の特定問題を解くことができる。
例えば、動作管理部３０６は、マッチングされる人物を検出するためには、動作の履歴の数列の距離ｒを計算する。
r = (m1-c1)2 + (m2-c2)2 + … + (mn-cn)2
ただし、ｍiは、図３６に示す第２行のi+1項目、ciは、図３６に示す第３行のi+1項目である。ｒの値が小さいほど、同じ人物である可能性が高いことを示す。距離として、ここではユークリッド空間のノルム（長さ）で説明したが、他の距離・距離関数を用いてもよい。以下、このアルゴリズムを「第１人物特定アルゴリズム」と称す。
また、動作管理部３０６は、次の方法により、人物特定の精度を上げることができる。例えば、動作管理部３０６は、人物特定精度を向上させるため、各センサの計測誤差、微積分・幾何的計算の誤差を見積りつつ、ＳＶＭ等による機械学習を用いたクラスタリングを実行する。
具体的には、動作管理部３０６は、２種のセンサから得られる動作の履歴データに加えて、それらのデータに内在する誤差項ならびにデータの信頼度といった項目を機械学習の学習パラメータとして新たに追加して学習を行う。これにより、データマッチングの精度、すなわち人物特定の精度を向上させることができる。このアルゴリズムを「第２人物特定アルゴリズム」と称す。
第４実施形態において、上述した「第１人物特定アルゴリズム」「第２人物特定アルゴリズム」のいずれかを適用することで、以下のような行動認識の応用タスクを実現することができる。ただし、第１人物特定アルゴリズムよりも第２人物特定アルゴリズムを使った方が好適である。
≪人物の特定≫
第４実施形態において、カメラシステムのカメラ画像内に多くの人がいたとしても、情報処理装置１０のモーションセンサからの動作データが与えられると、動作管理部３０６は、マッチング処理を行うことで、その情報処理装置１０を持つ人をカメラ画像内で特定することが可能である。
他方、カメラ画像内で、管理者等が人を指定すると、その人が持つ情報処理装置１０の識別情報を特定することができる。この識別情報は、例えば情報処理装置のＩＰアドレス、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）のＭＡＣアドレス等、その端末がデータの送受信をしている情報である。
≪移動トラッキング≫
第４実施形態において、モーションセンサの動作認識の結果を使用することにより、カメラ画像内でのトラッキング、すなわちカメラ画像内に存在する人物を追跡するタスクの精度を向上させることができる。
また、第４実施形態において、既存のトラッキングシステムに、モーションセンサの動作認識の結果を使用することにより、複数のカメラの間での連続的トラッキングを実行することができる可能性を高めることができる。
例えば、単一のカメラでのトラッキングシステム及び複数のカメラ間での連続トラッキングシステムは既に提案されており、モーションセンサの動作認識を用いて人物を高精度に特定することにより、両システムのソフトウェアの性能向上に貢献することができる。
≪屋内測位≫
ＧＰＳ等が利用できず、情報処理装置１０のみでは自分の位置を計測できない状況がある。この状況において、第４実施形態では、モーションセンサの情報を用いて認識された動作情報から自分自身を対象として人物の特定を行う。第４実施形態では、この結果を用いてカメラ画像内で自位置が検出され、そのカメラ画像内の位置から自分の空間内の位置が割り出されることで、精度の高い屋内測位を実現することができる。屋内測位については、例えば、特開２０１１−９９７５３号公報に記載された方法を用いて測定することもできるが、特開２０１１−９９７５３号公報に記載された方法では測位のための観測情報（例えば Wi-Fi 無線信号の信号の強度等）を必要とするに対し、本発明手法では情報端末装置に搭載されたモーションセンサの情報とカメラの情報とのみで屋内測位が可能であり、これら２種類の方法はどちらかが優位なものではなく、相補的な関係にある。また、カメラシステムで撮像された画像情報を情報処理装置１０が取得することで、カメラシステムのカメラに写る自画像を情報処理装置１０で表示することなどが可能になる。
以上、第４実施形態において、動作認識システムから取得される情報と、カメラシステムから取得される情報とを関連付けて記憶し、管理することで、人物特定や移動トラッキングや屋内測位などの行動認識タスクに適用することができる。
以上の説明において、ＣＰＵは、以上説明した各処理を実行する各部として機能するものであることは言うまでもない。また、メモリ及び／又は外部記憶装置はＣＰＵが実行する各種処理のためのデータを記憶する記憶部として機能し、この記憶部としてのメモリを外部記憶装置、外部記憶装置をメモリに置き換えてもシステムに変更を加えることなく動作が可能であり、そのような実施形態も本発明の実施の一形態となる。
１０ 情報処理装置
４０ 主制御部
２８Ａ ９軸センサ
２８Ｂ 他センサ
５０ サーバ装置
１０２ 第１送信部
１０４ 第１受信部
１０６ 動作認識部
１１２ 取得部
１１４ 変換部
１１６ 認識部
３０２ 第２送信部
３０４ 第２受信部
３０６ 動作管理部

Claims (24)

  1. モーションセンサにより計測されるデータを取得する取得部と、
    前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    を備える、情報処理装置。
  2. 前記第２座標系は、前記各センサの向きから独立した地上座標系である、請求項１に記載の情報処理装置。
  3. 前記第２座標系は、鉛直方向、南北方向、ならびに前記鉛直方向及び前記南北方向の両方向に直行する方向を３つの軸とする座標系である、請求項１又は２に記載の情報処理装置。
  4. 前記認識部は、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習する学習部と、
    前記学習部により学習された学習データを用いて、前記変換部により変換された第２座標系のデータを所定動作に分類する分類部と、
    を含む、請求項１乃至３いずれか一項に記載の情報処理装置。
  5. 前記認識部は、
    前記第２座標系のデータの特徴量を抽出する抽出部をさらに含み、
    前記認識部は、
    過去の特徴量を用いて前記複数の動作を学習した学習データに基づき、前記抽出部により抽出されたデータの特徴量を所定動作に分類する、請求項４に記載の情報処理装置。
  6. 前記取得部は、
    前記モーションセンサから計測されたデータの部分データを取得する、請求項１乃至５いずれか一項に記載の情報処理装置。
  7. 前記モーションセンサは、
    加速度センサ、角速度センサ、及び地磁気センサを含み、
    前記取得部は、
    加速度センサにより計測される第１データ、角速度センサにより計測される第２データ、及び地磁気センサにより計測される第３データを取得し、
    前記変換部は、
    前記第１データ及び前記第３データを用いて、前記第１データ及び前記第２データを、前記第１座標系から前記第２座標系に変換し、
    前記認識部は、
    過去の前記第２座標系の第１データ及び第２データを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系の第１データ及び第２データから所定動作を認識する、請求項１乃至６いずれか一項に記載の情報処理装置。
  8. 前記変換部は、
    前記第１データに対し、ローパスフィルタ又は統計処理を用いて重力成分と動作成分とに分離し、前記重力成分及び前記第３データを用いて座標変換処理を行う、請求項７に記載の情報処理装置。
  9. 前記変換部は、
    前記第２座標系に含まれる各軸を順に回転させ、前記第１座標系と向きを一致させることで各回転角を求め、該各回転角に基づいて前記第２座標系の第１データを求める第１算出部と、
    前記各回転角に基づいて前記第２座標系の第２データを求める第２算出部と、
    を含む、請求項７又は８に記載の情報処理装置。
  10. ネットワークを介して接続された１又は複数の情報処理装置及びサーバ装置を備える情報管理システムであって、
    前記情報処理装置は、
    当該情報処理装置の位置情報、及びモーションセンサにより計測されるデータを取得する取得部と、
    前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    前記位置情報と、前記所定動作を示す動作情報と、前記所定動作の対象を示す対象情報とを前記サーバ装置に送信する送信部と、
    を備え、
    前記サーバ装置は、
    前記位置情報、前記動作情報及び前記対象情報を前記情報処理装置から受信する受信部と、
    受信された前記位置情報、前記動作情報及び前記対象情報を関連付けて管理する管理部と、
    を備える、情報管理システム。
  11. 前記管理部は、
    所定領域ごとに、該所定領域に含まれる前記位置情報、前記動作情報及び前記対象情報を関連付けて管理する、請求項１０に記載の情報管理システム。
  12. 前記管理部は、
    所定対象ごとに、前記位置情報、及び前記動作情報を関連付けて時系列で管理する、請求項１０に記載の情報管理システム。
  13. 前記管理部は、
    所定領域ごとに、該所定領域に含まれる各所定対象に前記位置情報及び前記動作情報を関連付けて時系列で管理する、請求項１０に記載の情報管理システム。
  14. 前記情報処理装置は、
    温度センサ、湿度センサ、照度センサ、気圧センサ、風向風速センサ、心電位センサ、放射線センサ、及び土壌ｐＨ値・土壌温度・土壌化学成分計測センサの少なくとも１つを備え、
    前記送信部は、
    各センサにより計測される各計測データをさらに送信し、
    前記受信部は、
    前記各計測データをさらに受信し、
    前記管理部は、
    前記各計測データをさらに関連付けて管理する、請求項１０乃至１３いずれか一項に記載の情報管理システム。
  15. ネットワークを介して接続された１又は複数の情報処理装置及びサーバ装置を備える情報表示システムであって、
    前記サーバ装置は、
    所定位置毎に計測された物理量を管理する管理部と、
    前記情報処理装置から指定された位置を含む所定範囲内の物理量を前記情報処理装置に送信する送信部と、を備え、
    前記情報処理装置は、
    位置情報を送信する送信部と、
    前記位置情報が示す位置を含む所定範囲内の位置に関連する物理量を前記サーバ装置から受信する受信部と、
    前記所定範囲内の物理量を可視化する可視化部と、
    可視化された物理量を表示する表示部と、を備える、情報表示システム。
  16. 前記情報処理装置は、
    １又は複数の閾値を設定する設定部をさらに備え、
    前記可視化部は、
    前記設定部により設定された閾値に基づき、前記物理量の可視化を行う、請求項１５に記載の情報表示システム。
  17. 前記情報処理装置とは異なる他の情報処理装置は、
    前記他の情報処理装置の位置情報、及びモーションセンサにより計測されるデータを取得する取得部と、
    前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    前記位置情報と、前記所定動作を示す動作情報と、前記所定動作の対象を示す対象情報とを前記サーバ装置に送信する送信部と、を備え、
    前記サーバ装置の管理部は、
    前記位置情報が示す所定位置ごとに、前記物理量、前記動作情報及び前記対象情報を関連付けて管理し、
    前記サーバ装置の送信部は、
    前記物理量及び前記動作情報を送信し、
    前記情報処理装置の可視化部は、
    前記物理量及び前記動作情報を可視化し、
    前記情報処理装置の表示部は、
    可視化された物理量及び動作情報を表示する、請求項１５又は１６に記載の情報表示システム。
  18. ネットワークを介して接続された１又は複数の情報処理装置、カメラシステム及びサーバ装置を備える情報管理システムであって、
    前記情報処理装置は、
    当該情報処理装置の位置情報、及びモーションセンサにより計測されるデータを取得する取得部と、
    前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    前記位置情報と、前記所定動作を示す動作情報と、前記所定動作の対象を示す対象情報とを前記サーバ装置に送信する送信部と、を備え、
    前記カメラシステムは、
    撮像部と、
    前記撮像部により撮像された画像を解析し、対象の移動及び／又は動作を認識する認識部と、
    認識された移動及び／又は動作に関する情報を前記サーバ装置に送信する送信部と、を備え、
    前記サーバ装置は、
    前記情報処理装置から送信された情報と、前記カメラシステムから送信された情報を受信する受信部と、
    受信された両情報を分析し、所定の対象又は所定の情報処理装置を特定する管理部と、を備える、情報管理システム。
  19. 前記管理部は、
    前記両情報のうち、対応する情報同士の差分に基づいて、前記所定の対象又は前記所定の情報処理装置を特定する、請求項１８に記載の情報管理システム。
  20. 前記管理部は、
    前記両情報以外に、パラメータを追加して学習させた学習データを用いて、前記所定の対象又は前記所定の情報処理装置を特定する、請求項１８に記載の情報管理システム。
  21. コンピュータが、
    モーションセンサにより計測されるデータを取得することと、
    前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換することと、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換された第２座標系のデータから所定動作を認識することと、
    を実行する、情報処理方法。
  22. コンピュータに
    モーションセンサにより計測されるデータを取得することと、
    前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換することと、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換された第２座標系のデータから所定動作を認識することと、
    を実行させる、プログラム。
  23. コンピュータに
    モーションセンサにより計測されるデータを取得することと、
    前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換することと、
    過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換された第２座標系のデータから所定動作を認識することと、
    を実行させる、プログラムを記録したコンピュータ読み取り可能な記録媒体。
  24. 情報処理装置の位置情報、種類及び方向を含む動作を示す動作情報及び前記動作の対象を示す対象情報を前記情報処理装置から受信する受信部と、
    受信された前記位置情報、前記動作情報及び前記対象情報を関連付けて管理する管理部と、
    を備える、サーバ装置。
JP2014224738A 2014-11-04 2014-11-04 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置 Pending JP2016090371A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014224738A JP2016090371A (ja) 2014-11-04 2014-11-04 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置
PCT/JP2015/079268 WO2016072240A1 (ja) 2014-11-04 2015-10-16 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014224738A JP2016090371A (ja) 2014-11-04 2014-11-04 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置

Publications (1)

Publication Number Publication Date
JP2016090371A true JP2016090371A (ja) 2016-05-23

Family

ID=55908967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014224738A Pending JP2016090371A (ja) 2014-11-04 2014-11-04 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置

Country Status (2)

Country Link
JP (1) JP2016090371A (ja)
WO (1) WO2016072240A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494702B2 (en) 2018-07-05 2022-11-08 Fujitsu Limited Task estimation method and information processing apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017002477T5 (de) * 2016-06-13 2019-02-21 Hitachi, Ltd. Rotordiagnosevorrichtung, Rotordiagnoseverfahren und Rotordiagnoseprogramm
JP7292854B2 (ja) * 2018-11-05 2023-06-19 株式会社クボタ 農業支援装置及び農業支援方法
CN112651414B (zh) * 2019-10-10 2023-06-27 马上消费金融股份有限公司 运动数据处理和模型训练方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318537B2 (ja) * 2003-11-19 2009-08-26 パナソニック株式会社 マップマッチング方法とそれを実施する装置
JP5072093B2 (ja) * 2007-12-26 2012-11-14 Ｋｄｄｉ株式会社 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法
JP5708362B2 (ja) * 2011-08-11 2015-04-30 富士通株式会社 携帯端末及び位置及び方位推定プログラム
JP5987538B2 (ja) * 2012-08-03 2016-09-07 株式会社リコー 制御装置、プログラムおよび制御システム
JP6187052B2 (ja) * 2012-09-12 2017-08-30 株式会社リコー 情報管理システム、無線端末及び周囲環境管理方法
JP6152511B2 (ja) * 2013-03-29 2017-06-28 株式会社メガチップス 携帯端末装置、プログラムおよび補正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494702B2 (en) 2018-07-05 2022-11-08 Fujitsu Limited Task estimation method and information processing apparatus

Also Published As

Publication number Publication date
WO2016072240A1 (ja) 2016-05-12

Similar Documents

Publication Publication Date Title
Kang et al. A novel walking detection and step counting algorithm using unconstrained smartphones
Sunny et al. Applications and challenges of human activity recognition using sensors in a smart environment
AU2015316575B2 (en) Inertial tracking based determination of the position of a mobile device carried by a user in a geographical area
Al-Qaness et al. Channel state information from pure communication to sense and track human motion: A survey
Susi et al. Motion mode recognition and step detection algorithms for mobile phone users
Pei et al. Human behavior cognition using smartphone sensors
JP2019534721A (ja) 水泳分析のシステム及び方法
Zhang et al. Cost-effective wearable indoor localization and motion analysis via the integration of UWB and IMU
Chen et al. Activity recognition based on micro-Doppler signature with in-home Wi-Fi
Zhang et al. SmartMTra: Robust indoor trajectory tracing using smartphones
US20170307393A1 (en) Information processing apparatus, information processing method, and program
Edel et al. An advanced method for pedestrian dead reckoning using BLSTM-RNNs
WO2016072240A1 (ja) センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置
Marron et al. Multi sensor system for pedestrian tracking and activity recognition in indoor environments
Deng et al. Carrying position independent user heading estimation for indoor pedestrian navigation with smartphones
Guo et al. Human Activity Recognition via Wi-Fi and Inertial Sensors with Machine Learning
Guo et al. Multimode pedestrian dead reckoning gait detection algorithm based on identification of pedestrian phone carrying position
Qi et al. Walking detection using the gyroscope of an unconstrained smartphone
US10678337B2 (en) Context aware movement recognition system
CN103826202A (zh) 基于手机传感器信息改进WiFi定位结果跳动的方法
EP2889724B1 (en) System and method for selecting features for identifying human activities in a human-computer interacting environment
Gil et al. inContexto: A fusion architecture to obtain mobile context
Wang et al. Posture recognition and adaptive step detection based on hand-held terminal
Alarfaj et al. Detection of human body movement patterns using imu and barometer
Atashi Multiple Model-based Indoor Localization via Bluetooth Low Energy and Inertial Measurement Unit Sensors