JP2018000229A - 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム - Google Patents

自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム Download PDF

Info

Publication number
JP2018000229A
JP2018000229A JP2016126450A JP2016126450A JP2018000229A JP 2018000229 A JP2018000229 A JP 2018000229A JP 2016126450 A JP2016126450 A JP 2016126450A JP 2016126450 A JP2016126450 A JP 2016126450A JP 2018000229 A JP2018000229 A JP 2018000229A
Authority
JP
Japan
Prior art keywords
teacher data
posture
data creation
acceleration information
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016126450A
Other languages
English (en)
Other versions
JP6599821B2 (ja
Inventor
拓郎 宇田川
Takuro Udagawa
拓郎 宇田川
山中 章裕
Akihiro Yamanaka
章裕 山中
雅人 澤田
Masahito Sawada
雅人 澤田
俊哉 山田
Toshiya Yamada
俊哉 山田
幹樹 堀
Motoki Hori
幹樹 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
NTT TechnoCross Corp
Original Assignee
Nippon Telegraph and Telephone Corp
NTT TechnoCross Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT TechnoCross Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016126450A priority Critical patent/JP6599821B2/ja
Publication of JP2018000229A publication Critical patent/JP2018000229A/ja
Application granted granted Critical
Publication of JP6599821B2 publication Critical patent/JP6599821B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】姿勢および運動状態を識別するための教師データを容易に作成することを可能とする。【解決手段】自動教師データ作成装置は、ユーザの姿勢および運動状態によって質的または量的に異なる加速度が生じる箇所に装着される2個以上のセンサから取得される加速度情報に基づき、ユーザの姿勢および運動状態を識別する。自動教師データ作成装置は、識別した姿勢および運動状態を2個以上のセンサの少なくとも一つから取得した加速度情報と対応づけて教師データを作成する。【選択図】図1

Description

本発明は、自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラムに関する。
近年、人の身体に装着することができる情報処理端末いわゆるウェアラブル機器(以下、ウェアラブル機器)の利用が広がっている。ウェアラブル機器はユーザが日常的に身に着けて携帯することが可能であるという点から、ユーザの健康状態や生活習慣を継続的・長期的にモニタするためにも利用できる。
赤堀 顕光、岸本 圭史、小栗 宏次、「単一3軸加速度センサを用いた行動推定」、電子情報通信学会技術研究報告、MBE、MEとバイオサイバネティックス、一般社団法人電子情報通信学会、2005年12月2日、105巻、456号、p.49-52
本発明者らは、ウェアラブル機器によってユーザの姿勢や運動状態を検知するとともに、ユーザの生体信号を測定し、姿勢や運動状態と生体信号とを関連づけることで、ユーザの健康管理や疾病予防に結び付けることを検討した。そして、本発明者らは、ウェアラブル機器を用いて逐次姿勢識別を行ったり、自律神経機能情報を取得し評価したりする発明について特許出願を行っている(特願2015−028850号)。
ところで、機械学習を用いて姿勢識別を実現するためには、入力されるデータ(たとえば加速度情報)と対応する姿勢の情報が明確になっているデータが必要である。すなわち、教師データとして、入力データ(たとえば加速度情報)と対応する姿勢とが対応づけられたデータが必要である。
しかし、教師データを作成するためには、加速度情報等のデータとともに、当該加速度情報等に対応する姿勢および運動状態の情報が必要である。また、両者を対応づけて記録することが必要である。上記のようにウェアラブル機器を用いれば加速度情報を取得して、当該加速度情報が取得された時間を示す時間情報と対応付けて記録することは可能である。しかし、当該加速度情報に対応する姿勢および運動状態の情報を、ユーザごとに取得することは手間がかかる。たとえば、機械学習を実行する際に、まず手動で姿勢および運動状態に対応するラベルを入力し、ユーザに所定の姿勢および運動状態をとらせる、という処理を実行することになる。かかる処理を姿勢および運動状態ごと、かつ、ユーザごとに実行することは手間や時間がかかる。
また、自動的に姿勢および運動状態を識別するために、上記技術では機械学習によってユーザごとに構築した識別モデルを利用することを考えた。さらに、構築した識別モデルを逐次的に更新していくことも考えられる。しかし、識別モデルを逐次的に更新していくためには、やはり、教師データとなる、対応する姿勢が判明している加速度情報が必要である。
開示の実施形態は、上記に鑑みてなされたものであって、姿勢および運動状態を識別するための教師データを容易に作成することができる技術を提供することを目的とする。
開示する自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラムは、ユーザの姿勢および運動状態によって質的または量的に異なる加速度が生じる箇所に装着される2個以上のセンサから取得される加速度情報に基づき、ユーザの姿勢および運動状態を識別する。また、開示する自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラムは、識別した姿勢および運動状態を2個以上のセンサの少なくとも一つから取得した加速度情報と対応づけて教師データを作成する。
開示する自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラムは、姿勢および運動状態を識別するための教師データを容易に作成することができるという効果を奏する。
図1は、第1の実施形態にかかる自動教師データ作成システムの構成の一例を示す図である。 図2は、第1の実施形態にかかる自動教師データ作成装置における処理の大まかな流れの一例を示すフローチャートである。 図3は、第1の実施形態にかかる自動教師データ作成装置における識別モデル作成処理の流れの一例を示すフローチャートである。 図4は、第1の実施形態にかかる自動教師データ作成装置における教師データ作成処理の流れの一例を示すフローチャートである。 図5は、第1の実施形態にかかる自動教師データ作成処理についてさらに説明するための図である。 図6は、第1の実施形態におけるセンサの取り付け位置について説明するための図である。 図7は、第2の実施形態にかかる自動教師データ作成システムの構成の一例を示す図である。 図8は、第2の実施形態にかかる自動教師データ作成装置における処理の大まかな流れの一例を示す図である。 図9は、実施形態にかかる自動教師データ作成処理を実行した場合の識別精度について説明するための図である。 図10は、開示の技術に係る自動教師データ作成プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
以下に、開示する自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、各実施形態は適宜組み合わせることができる。
(第1の実施形態)
第1の実施形態にかかる自動教師データ作成装置は、少なくとも二つのセンサにより取得した加速度情報に基づき作成される識別モデルを使用する。そして、自動教師データ作成装置は、作成された識別モデルを用いて、少なくとも二つのセンサにより取得した加速度情報に対して姿勢識別処理を実行する。自動教師データ作成装置は、姿勢識別処理の結果、各加速度情報に対応する姿勢および運動状態を識別する。そして、自動教師データ作成装置は、識別した姿勢および運動状態と、少なくとも二つのセンサにより取得した加速度情報のうち、一つのセンサにより取得した加速度情報とを対応付けて、教師データを作成する。
(自動教師データ作成システム1の構成の一例)
図1は、第1の実施形態にかかる自動教師データ作成システム1の構成の一例を示す図である。図1に示す自動教師データ作成システム1は、ウェアラブル機器10と、自動教師データ作成装置20と、を備える。ウェアラブル機器10と自動教師データ作成装置20とは通信可能に接続される。なお、装置の接続の態様は特に限定されず、相互に情報を送受信できる態様であれば、有線でも無線でもよく、必要に応じて接続できれば常時接続状態である必要はない。ただし、ウェアラブル機器10を装着するユーザの行動を妨げないためには、無線ネットワークはたとえば、Bluetooth(登録商標)で接続したスマートフォン等を利用したり、Wi−Fi等を利用することが好ましい。
(ウェアラブル機器10の構成の一例)
ウェアラブル機器10は、ユーザが装着して携帯することができる電子機器である。図1の例では、ウェアラブル機器10はユーザが着脱できるシャツ形状であってもよい。ただしウェアラブル機器10の形状はシャツに限定されず、たとえばベルト形状等、任意の形状でよい。また、ウェアラブル機器10として、プロセッサやメモリを備えるウェアラブルコンピュータを用い、計測した情報を適宜ウェアラブル機器10内に記憶するように構成してもよい。
ウェアラブル機器10は、第1のセンサ110と、第2のセンサ120と、を備える。第1のセンサ110と第2のセンサ120とは、それぞれユーザがウェアラブル機器10を装着したときに、異なる位置に装着されるよう構成される。
たとえば、第1のセンサ110と第2のセンサ120とは、ユーザの姿勢および運動状態によって量的または質的に異なる加速度が生じる箇所に装着される。たとえば、第1のセンサ110と第2のセンサ120とは、ユーザの姿勢および運動状態によって異なる方向に加速度が生じる箇所に装着される。
たとえば、ユーザがウェアラブル機器10を装着した際に、第1のセンサ110はユーザの体幹部分に装着され、第2のセンサ120はユーザの四肢部分に装着される。またたとえば、ユーザがウェアラブル機器10を装着した際に、第1のセンサ110はユーザの上半身に装着され、第2のセンサ120は下半身に装着される。またたとえば、ユーザがウェアラブル機器10を装着した際に、第1のセンサ110はユーザの胸部前方に装着され、第2のセンサ120は大腿部側方に装着される。すなわち、第1のセンサ110と第2のセンサ120とは、ウェアラブル機器10を装着するユーザの姿勢および運動状態の変化に伴って変化する加速度等の情報を計測することができる位置にそれぞれ装着される。第1のセンサ110と第2のセンサ120とは、ウェアラブル機器10を装着するユーザの姿勢および運動状態に応じて質的または量的に異なる加速度情報を取得できる位置に装着されればよく、装着箇所は上記の例に限定されない。第1のセンサ110および第2のセンサ120の装着位置に関してはさらに後述する。
第1のセンサ110および第2のセンサ120各々の形状は装着される箇所に適合するよう構成される。また、第1のセンサ110および第2のセンサ120のうち、第1のセンサ110は、自動教師データ作成装置20による識別モデル作成処理、教師データ作成処理および教師データを用いた姿勢識別処理の実行中、ユーザに装着される。他方、第2のセンサ120は、自動教師データ作成装置20による識別モデル作成処理、教師データ作成処理の実行中はユーザに装着されるが、教師データを用いた姿勢識別処理の実行中はユーザに装着されない。このため、第2のセンサ120は、ウェアラブル機器10から着脱可能に構成することが好ましい。
第1のセンサ110は、加速度情報計測部111、送受信部112および入力部113を備える。加速度情報計測部111は、ユーザの体の動きを検知、計測するセンシングデバイスである。加速度情報計測部111は、ユーザの体の加速度情報を計測する。たとえば、加速度情報計測部111は、加速度センサたとえば3軸加速度センサで構成される。加速度情報計測部111は、前後軸、左右軸、上下軸の3軸にそったユーザの体の動きの加速度を計測する。また、加速度情報計測部111は所定の時間間隔で加速度を計測する。
送受信部112は、加速度情報計測部111が計測した加速度情報をウェアラブル機器10の外部に送信する。また、送受信部112は、ウェアラブル機器10の外部から送信される信号を受信する。送受信部112は、加速度情報計測部111が情報を取得するとその都度外部に当該情報を送信する。たとえば、送受信部112は、無線通信機能により情報を送信する。具体的には、送受信部112は、加速度情報を自動教師データ作成装置20に送信する。
入力部113は、外部からの情報の入力を受け付ける。たとえば、入力部113は、ユーザ等がウェアラブル機器10に入力する情報を受け付ける。たとえば、入力部113は、ユーザ等が入力するラベルを受け付ける。ラベルとは、識別すべき姿勢および運動状態を特定する情報である。たとえば、「立位」「座位」「臥位」「走行」「歩行」等がラベルとして入力される。受け付けられたラベルは送受信部112に送られ、自動教師データ作成装置20に送信される。自動教師データ作成装置20は、予め定められた処理手順に基づき、ラベルとその後受信する加速度情報とを対応づける。また、ラベルは、入力部113からではなく自動教師データ作成装置20が備える入力部240(後述)から入力するものとしてもよい。また、ウェアラブル機器10は入力部113を備えない構成としてもよい。また、入力部113は、自動教師データ作成装置20に識別モデル作成処理を実行させる識別モデル作成モード、または、自動教師データ作成装置20に教師データ作成処理を実行させる教師データ作成モードのいずれかを選択するためにも用いることができる。
第2のセンサ120は、第1のセンサ110と同様の構成および機能を有する。第2のセンサ120は、加速度情報計測部121、送受信部122および入力部123を備える。加速度情報計測部121、送受信部122および入力部123の構成および機能は第1のセンサ110が備える加速度情報計測部111、送受信部112および入力部113の構成および機能と同様である。なお、第1のセンサ110と第2のセンサ120の各々に送受信部112,122、入力部113,123を備えるのではなく、ウェアラブル機器10全体に1つの送受信部、入力部を設けて、第1のセンサ110および第2のセンサ120と接続するように構成してもよい。
このほか、ウェアラブル機器10には、加速度情報以外の情報をユーザから計測するための計測部(たとえば生体情報を計測する生体情報計測部)や、計測した加速度情報その他の情報を記憶するための記憶部等を設けてもよい。
(自動教師データ作成装置20の構成の一例)
自動教師データ作成装置20は、送受信部210と、制御部220と、記憶部230と、入力部240と、を備える。
送受信部210は、自動教師データ作成装置20と外部との間での通信を実行する。たとえば、送受信部210は、ウェアラブル機器10の送受信部112,122から送信される加速度情報を受信する。また、送受信部210は、ウェアラブル機器10からユーザが入力したラベルの情報を受信する。
送受信部210は、第1のセンサ110および第2のセンサ120が所定の時点に取得した加速度情報を受信したことを判定する機能を有する。送受信部210は、第1のセンサ110および第2のセンサ120から加速度情報を受信したことを確認すると、受信した加速度情報およびラベルを、特徴量抽出部221(後述)に送る。送受信部210はまた、受信した加速度情報のうち、第1のセンサ110から受信した加速度情報を第1センサデータ記憶部231(後述)に記憶する。
制御部220は、自動教師データ作成装置20における各種処理を制御する。制御部220としては、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路を採用できる。制御部220は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部220は、各種のプログラムが動作することにより各種の処理部として機能する。
制御部220は、特徴量抽出部221と、識別モデル作成部223と、姿勢識別部225と、教師データ作成部227と、を備える。
特徴量抽出部221は、第1のセンサ110および第2のセンサ120から送信される加速度情報を、送受信部210を介して受信する。特徴量抽出部221は、受信した加速度情報の特徴量を抽出する。特徴量の抽出手法は特に限定されない。特徴量はたとえば、第1のセンサ110により取得される胸部前後方向の加速度10データから算出した移動平均値である。抽出する特徴量は、ユーザの姿勢識別を実行するために使用できる特徴量であればよい。また、特徴量抽出部221は、第1のセンサ110により取得される加速度情報および第2のセンサ120により取得される加速度情報の各々から別個の特徴量を抽出しなくともよい。たとえば、特徴量抽出部221は、第1のセンサ110により取得される加速度情報と第2のセンサ120により取得される加速度情報とを統合して、1つの特徴量を抽出するように構成してもよい。また、特徴量抽出部221は、第1のセンサ110により取得される加速度情報と、第2のセンサ120により取得される加速度情報の双方から同じ種類の特徴量を同じ手法で抽出しなくともよい。たとえば、特徴量抽出部221は、第1のセンサ110により取得された加速度情報から所定の種類の特徴量を抽出し、第2のセンサ120により取得された加速度情報から他の種類の特徴量を抽出してもよい。特徴量抽出部221が抽出する特徴量の種類は、識別モデル作成部223が作成し、姿勢識別部225が識別処理に使用する識別モデルの特性に応じて選択する。
特徴量抽出部221は、抽出した特徴量を、識別モデル作成部223および姿勢識別部225に送信する。
識別モデル作成部223は、特徴量抽出部221が抽出した特徴量とラベルとに基づき、ユーザの姿勢および運動状態を識別するための識別モデルを作成する。識別モデル作成部223は、二つのセンサ(第1のセンサ110および第2のセンサ120)により取得される加速度情報から抽出される特徴量に基づき、識別モデルを作成する。識別モデル作成部223が作成する識別モデルは、全ての姿勢および運動状態を一つの識別モデルで識別するものでもよく、複数識別モデルで複数の姿勢および運動状態を識別するものであってもよい。
姿勢識別部225は、識別モデル作成部223が作成した識別モデルと、第1のセンサ110および第2のセンサ120により取得した加速度情報に基づき、ユーザの姿勢および運動状態を識別する。なお、姿勢識別部225において識別する姿勢および運動状態は、識別モデル作成時に入力されるラベルに対応する。たとえば、ラベルとして、「立位」「座位」「臥位」「歩行」「走行」等が入力された場合、姿勢識別部225は、「立位」「座位」「臥位」「歩行」「走行」等を、ユーザの姿勢および運動状態として識別する。
教師データ作成部227は、姿勢識別部225による識別結果すなわち、姿勢および運動状態のラベルと、第1のセンサ110により取得され第1センサデータ記憶部231に記憶される加速度情報と、を対応づけて教師データを作成する。
記憶部230は、各種のデータを記憶する記憶デバイスである。例えば、記憶部230は、ハードディスク、SSD(Solid State Drive)、光ディスクなどの記憶装置である。なお、記憶部230は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。
記憶部230は、第1センサデータ記憶部231と、識別モデル記憶部232と、教師データ記憶部233と、を備える。
第1センサデータ記憶部231は、送受信部210が受信した第1のセンサ110の加速度情報を記憶する。
識別モデル記憶部232は、識別モデル作成部223が作成した識別モデルを記憶する。
教師データ記憶部233は、教師データ作成部227が作成した教師データを記憶する。
入力部240は、自動教師データ作成装置20の外部からの情報入力を受け付ける。入力部240はたとえば、キーボードやタッチパッド等の入力デバイスであってよい。入力部240は、ウェアラブル機器10の入力部113,123と同様、ユーザ等がラベルを入力するために用いることができる。また、入力部240は、ユーザ等が識別モデル作成モードや教師データ作成モードを選択するために用いることができる。
(第1の実施形態における自動教師データ作成処理の流れの一例)
図2は、第1の実施形態にかかる自動教師データ作成装置20における処理の大まかな流れの一例を示すフローチャートである。図2に示すように、自動教師データ作成装置20は、まずウェアラブル機器10から入力すなわち加速度情報を受信する。二つのセンサ(第1のセンサ110および第2のセンサ120)から入力を受信していない場合(ステップS21、否定)、自動教師データ作成装置20は、二つのセンサからの入力を受信するまでステップS21の判断ステップを繰り返す。二つのセンサ(第1のセンサ110および第2のセンサ120)から入力を受信した場合(ステップS21、肯定)、自動教師データ作成装置20は、識別モデル作成モードの指示入力を受信しているか否かを判定する(ステップS22)。識別モデル作成モードの指示入力を受信している場合(ステップS22、肯定)、自動教師データ作成装置20は、識別モデル作成処理を実行する(ステップS23)。他方、識別モデル作成モードの指示入力を受信していない場合(ステップS22、否定)、自動教師データ作成装置20は、教師データ作成処理を実行する(ステップS24)。以上が、自動教師データ作成装置20における処理のおおまかな流れの一例である。
(識別モデル作成処理の流れの一例)
図3は、第1の実施形態にかかる自動教師データ作成装置20における識別モデル作成処理の流れの一例を示すフローチャートである。図3に示す処理は概ね、図2のステップS23(「識別モデル作成」)に対応する。
識別モデル作成処理においては、まず、送受信部210が第1のセンサ110および第2のセンサ120の双方から同じ時点の加速度情報を受信する(ステップS31)。そして、送受信部210は、第1のセンサ110および第2のセンサ120からの加速度情報を受信したことを確認すると、受信した加速度情報を特徴量抽出部221に送信する。特徴量抽出部221は、加速度情報から特徴量を抽出する(ステップS32)。特徴量抽出部221は抽出した特徴量を、識別モデル作成部223に送信する。識別モデル作成部223は、特徴量とラベルとを対応づけて、識別モデルを作成する(ステップS33)。ラベルは、第1のセンサ110および第2のセンサ120から送信される加速度情報とともに受信され、送受信部210から識別モデル作成部223に送信されるものとする。識別モデル作成部223は、識別モデルの作成が完了すると、識別モデル記憶部232に識別モデルを記憶する(ステップS34)。以上で、識別モデル作成処理が終了する。
(教師データ作成処理の流れの一例)
図4は、第1の実施形態にかかる自動教師データ作成装置20における教師データ作成処理の流れの一例を示すフローチャートである。図4に示す処理は概ね、図2のステップS24(「教師データ作成」)に対応する。
教師データ作成処理においては、まず、送受信部210が第1のセンサ110および第2のセンサ120の双方から所定時点の加速度情報を受信する(ステップS51)。そして、送受信部210は、第1のセンサ110および第2のセンサ120からの加速度情報を受信したことを確認すると、第1のセンサ110から受信した加速度情報を第1センサデータ記憶部231に記憶する(ステップS52)。送受信部210は、第1のセンサ110および第2のセンサ120の加速度情報を特徴量抽出部221に送信する。特徴量抽出部221は、受け取った加速度情報から特徴量を抽出する(ステップS53)。特徴量抽出部221は、抽出した特徴量を、姿勢識別部225に送信する。姿勢識別部225は、特徴量を受信すると、識別モデル記憶部232に記憶される識別モデルと受信した特徴量とに基づき、姿勢識別処理を実行する(ステップS54)。すなわち、姿勢識別部225は、特徴量に対応する姿勢および運動状態を、識別モデルを適用して識別する。姿勢識別部225はたとえば、「立位」「座位」「臥位」「歩行」「走行」等を姿勢および運動状態として識別する。姿勢識別部225は、姿勢識別処理の識別結果を教師データ作成部227に送信する。教師データ作成部227は、受信した識別結果と、当該識別結果に対応する第1のセンサ110から受信した加速度情報と、を対応付けて、教師データを作成する(ステップS55)。そして、自動教師データ作成装置20は、次のデータを受信したか否かを判定する(ステップS56)。自動教師データ作成装置20は、次の時点に対応する加速度情報を二つのセンサから受信したと判定すると(ステップS56、肯定)、再びステップS52に戻って送受信部210の処理を実行させる。他方、自動教師データ作成装置20は、次の時点に対応する加速度情報を二つのセンサから受信していないと判定すると(ステップS56、否定)、処理を終了する。
図5は、第1の実施形態にかかる自動教師データ作成処理についてさらに説明するための図である。図5は、ウェアラブル機器10を装着したユーザ側の動作と、自動教師データ作成装置20側の処理との関係を示す。まず、ユーザは、ウェアラブル機器10を装着し、所定の場所に第1のセンサ110と第2のセンサ120とを取り付けて、所定の姿勢を取る。図5の例では、ユーザは、姿勢A(「座っている」)を取る(図5の(1))。そして、電源投入や指示入力により教師データ作成処理が開始する(図5の(2))。
第1のセンサ110および第2のセンサ120は予め設定された時間間隔でユーザの加速度情報を計測し、自動教師データ作成装置20に送信する。加速度情報には、センサを一意に識別する情報や、当該加速度が計測された日時を示す情報などが付され、以後の処理に使用される。自動教師データ作成装置20の送受信部210は、第1のセンサ110から送信されるデータ(加速度情報)を受信する(図5の(3))。また、送受信部210は、第2のセンサ120から送信されるデータ(加速度情報)を受信する(図5の(4))。送受信部210は、第1のセンサ110および第2のセンサ120の双方から同じ時点に対応する加速度情報を受信したことを確認すると、第1のセンサ110から受信した加速度情報を第1センサデータ記憶部231に記憶する(図5の(5))。
そして、送受信部210は、加速度情報を特徴量抽出部221に送る。特徴量抽出部221は加速度情報から特徴量を抽出する(図5の(6))。特徴量抽出部221は、抽出した特徴量を姿勢識別部225に送信する。姿勢識別部225は、特徴量と、識別モデル記憶部232に記憶された識別モデルとに基づき、識別処理を実行する(図5の(7))。図5の例では、ユーザは「座っている」すなわち「座位」を取っているため、姿勢識別部225は、識別結果として「座位」を出力する。姿勢識別部225は、識別結果を教師データ作成部227に送信する。教師データ作成部227は、識別結果「座位」と、第1センサデータ記憶部231に記憶された第1のセンサ110から送信された加速度情報とを対応づけて、教師データを作成する(図5の(8))。これにより、どのような加速度情報が「座位」を示すか、の対応付け情報すなわち教師データが生成される。
ユーザが「座位」を取っている間、ウェアラブル機器10から自動教師データ作成装置20に、所定間隔で加速度情報が送信され続ける。そして、自動教師データ作成装置20は、所定間隔で図5の(3)〜(8)の処理を繰り返す(図5の(9),(10)…)。さらにユーザが姿勢A(「座位」)から他の姿勢に体の状態を変化させた場合(図5の(11))も、ウェアラブル機器10から自動教師データ作成装置20への加速度情報の送信が続く。ユーザは、ウェアラブル機器10を装着して、所定の姿勢を一定期間継続し、次に他の姿勢をとる。ユーザは、識別対象とする全ての姿勢を取るまで、この処理を繰り返す。自動教師データ作成装置20は、加速度情報を受信するたびに、対応する姿勢を識別して第1のセンサ110から受信した加速度情報と対応付けて、教師データの生成を続ける。
このように、第1の実施形態の自動教師データ作成装置20では、二つのセンサにより取得した加速度情報に基づき作成された識別モデルを用いて各時点のユーザの姿勢および運動状態を識別する。そして、自動教師データ作成装置20は、識別した姿勢および運動状態と、第1のセンサ110により取得した加速度情報とを対応づける。
第1の実施形態にかかる自動教師データ作成装置20は、識別モデルを作成する際および自動教師データを作成する際は、ユーザに二つのセンサを装着させた上で処理を実行することになる。しかし、作成される教師データは、姿勢および運動状態のラベルと一つのセンサにより取得される加速度情報とを対応づける情報であるため、作成した教師データを用いて逐次姿勢識別処理を実行する際には、ユーザに一つのセンサを装着するだけでよい。このため、ユーザの身体的負荷を減じつつ、逐次姿勢識別処理において高い精度を実現することが可能である。
(少なくとも二つのセンサを用いる意義)
ここで、本実施形態において少なくとも二つのセンサから取得した加速度情報を用いる意義について説明する。本実施形態では、識別モデルを作成する際に、ウェアラブル機器10から取得する加速度情報を、一つのセンサによって取得するのではなく、ユーザの身体上の異なる位置に装着された少なくとも二つのセンサ(第1のセンサ110および第2のセンサ120)から取得する。図6は、第1の実施形態におけるセンサの取り付け位置について説明するための図である。
図6に示すように、第1の実施形態では、二つのセンサ(第1のセンサ110および第2のセンサ120)を、ユーザの姿勢および運動状態によって質的または量的に異なる加速度が生じる箇所に装着する。ここで、「質的に異なる」とは、たとえば加速度情報によって振幅の異なる振動状態が検知される場合や、軸方向が異なる加速度が検知される場合などを意味する。また、「量的に異なる」とは、たとえば加速度情報によって示される加速度の大きさが異なる場合等を意味する。
第1の実施形態では、たとえば、二つのセンサ(第1のセンサ110および第2のセンサ120)のうち、一方をユーザの体幹部分(たとえば胸郭部、背中、腹部、腰部)に、他方をユーザの四肢部分(たとえば上腕部、前腕部、手首、大腿部、下腿部)に装着する。体幹部分と四肢部分とでは、ユーザの姿勢および運動状態に伴い、加速度の軸方向が相互にねじれる関係となる。このため、体幹部分と四肢部分にセンサを装着することで、ユーザの姿勢および運動状態によって質的または量的に異なる加速度情報を取得することができる。
二つのセンサ(第1のセンサ110および第2のセンサ120)のうち、一方をユーザの体幹部分に、他方をユーザの四肢部分に装着する。これは、人の体幹部分と四肢部分とにおいて計測される加速度は、姿勢や運動状態によって異なる方向に生じることが多いためである。また、体幹部分だけでは加速度に違いがない姿勢間でも四肢部分に生じる加速度を加味することで、精度高く識別することができる場合が多いからである。このため、本実施形態では、ユーザが異なる姿勢および運動状態となったときに、二つのセンサのうち少なくとも一方のセンサにおいて、上下、前後、左右の何れかの方向が明確に変化するよう、二つのセンサの装着位置を決定する。
装着位置をこのように決定する理由は第一に、センサによって得られる加速度情報が3軸、6軸等、軸毎に取得される情報であるためである。センサが取得する加速度情報の軸方向は、センサ本体の方向によって決定される。したがって、センサ本体の向きが変化すると、センサが計測する加速度情報にも変化が生じる。
第二に、センサによって得られる加速度情報には重力加速度が含まれることが挙げられる。つまり、センサが計測する軸毎の加速度情報には常に重力加速度が含まれ、重力加速度は特定の軸に対する加速度として計測される。このため、重力加速度が観察される軸方向を調べることで、地面に対するセンサの方向を知ることが出来る。
第三に、座位、立位、臥位のそれぞれにおいて、体幹部分と四肢部分との地面に対する関係が相互に異なるためである。座位と立位では、体幹部分は基本的に地面に対してほぼ垂直な方向となる。このため、ユーザの体幹部分にセンサを装着した場合、座位と立位では大きな差異が検出されにくい。つまり、座位と立位の場合にユーザの体幹部分において計測される加速度情報は、同様の軸に対する同様の重力加速度となる。これに対して、四肢部分特に大腿部等の下半身にセンサを装着した場合、座位と立位では大きな差異が検出される。つまり、大腿部に装着されたセンサは、ユーザが立位の場合は地面に対して垂直方向に配置されることになるが、ユーザが座位の場合は地面に対して水平方向に配置される。このため、四肢部分においては、立位と座位との間で、異なる軸に重力加速度が計測される。
このように、異なる姿勢や運動状態間を精度高く識別するためには、異なる姿勢および運動状態において少なくともいずれかのセンサにおいて異なる方向に加速度が検知されるよう、センサを配置することが有利である。つまり、座位、立位、臥位等の識別対象である姿勢について、所定の軸に対して重力加速度や移動の加速度が計測できるよう、センサを装着することが有利である。
図6は、ユーザの胸部前方に第1のセンサ110(センサ1)を装着し、ユーザの右大腿部右側に第2のセンサ120(センサ2)を装着したところを示す。ユーザが立位の場合(図6の(A))、第1のセンサ110は、地面に対してほぼ垂直となる。また第2のセンサ120も、地面に対してほぼ垂直方向に配置される。次に、ユーザが座位の場合(図6の(B))、第1のセンサ110は地面に対してほぼ垂直となる。また第2のセンサ120は大腿部が水平方向になるため、同様に地面に対してほぼ水平方向に配置される。次に、ユーザが臥位の場合(図6の(C))、第1のセンサ110は地面に対して水平方向に配置される。また第2のセンサ120は地面に対してほぼ水平方向に配置される。
すなわち、立位と座位とにおいては、第2のセンサ120の方向がそれぞれ、地面に対して垂直方向と水平方向となり、立位と座位との間で第2のセンサ120が計測する加速度に明確な差が生じる。また、座位と臥位とにおいては、第2のセンサ120の方向はいずれも、地面に対してほぼ水平と同様であるが、第1のセンサ110の方向は地面に対して垂直方向と水平方向となる。したがって、座位と臥位との間で、第1のセンサ110が計測する加速度に明確な差が生じる。さらに、立位と臥位との間では、第1のセンサ110も第2のセンサ120も配置される方向が異なる。したがって、立位と臥位との間では、第1のセンサ110および第2のセンサ120のいずれが計測する加速度に明確な差が生じる。このため、二つのセンサを用いて、姿勢間で少なくとも一方のセンサの加速度に明確な差異が生じるよう装着箇所を選択することで、精度高い姿勢識別が可能である。
なお、識別モデル作成処理時および教師データ作成処理時に装着する二つのセンサは、処理対象とする情報の種類を統一するという点では、同一種類であることが好ましい。しかし、姿勢識別を精度高く実現する観点からは、異種のセンサを用いてもよい。また、二つのうち一方は、教師データを用いた姿勢識別処理を実行する際に用いるセンサと同一のセンサとすることが好ましい。また装着箇所も、識別モデル作成処理時、教師データ作成処理時、教師データを用いた姿勢識別処理時の間で略同一の装着箇所とすることが好ましい。二つのセンサのうち他方のセンサは、教師データを用いた姿勢識別処理時に用いるセンサと同一種類であってもよいし、異種のセンサであってもよい。
このように、本実施形態では、二つのセンサにより取得した加速度情報を用いて識別モデルおよび教師データを作成するため、精度高い姿勢識別を実現することができる。このため、姿勢および運動状態の識別においてユーザの個人差を捨象して汎用的な識別モデルを作成し教師データの作成に使用することができる。
なお、精度高い姿勢識別という観点からはセンサの装着箇所やセンサの数を増やせばよいとも考えられるが、ウェアラブル機器10を装着するユーザにとっての利便性は妨げられる可能性がある。このため、第1の実施形態の自動教師データ作成装置20は、識別モデル作成処理時および教師データ作成処理時のみ、センサを2つユーザに装着させる。そして、自動教師データ作成装置20は、教師データを用いた逐次姿勢識別処理は一つのセンサにより取得した加速度情報に基づいて実行できるよう、教師データを一つのセンサにより取得した加速度情報と対応づける。
(第1の実施形態の効果)
このように、第1の実施形態にかかる自動教師データ作成装置は、ユーザの姿勢および運動状態によって質的または量的に異なる加速度が生じる箇所に装着される2個以上のセンサから取得される加速度情報に基づき、ユーザの姿勢および運動状態を識別する姿勢識別部と、識別した姿勢および運動状態を2個以上のセンサの少なくとも一つから取得した加速度情報と対応づけて教師データを作成する教師データ作成部と、を備える。このため、自動教師データ作成装置は、姿勢および運動状態を識別するための教師データを容易に作成することができる。
また、自動教師データ作成装置は、姿勢および運動状態の識別において、2個以上のセンサから取得される加速度情報を用いるため、精度の高い識別処理を実現することができる。また、自動教師データ作成装置は、2個以上のセンサの少なくとも一つから取得した加速度情報と、識別した姿勢および運動状態とを対応づけて教師データを作成するため、以後教師データを用いて逐次姿勢識別を実行する場合に、一つのセンサから取得した加速度情報に基づいて姿勢を特定することを可能にする。
また、自動教師データ作成装置において用いる2個以上のセンサから取得される加速度情報は、異なる姿勢または運動状態に対して、少なくとも一つが異なる軸に対して計測される。このため、自動教師データ作成装置は、異なる姿勢および運動状態を高精度に識別して教師データを作成することができる。
また、自動教師データ作成装置において用いる2個以上のセンサから取得される加速度情報は、一つはユーザの体幹部分において計測される加速度情報であり、他の一つはユーザの四肢部分において計測される加速度情報である。このため、体幹部分および四肢部分のいずれかにおいて姿勢や運動状態ごとに生じる加速度情報の差異が小さい場合であっても、自動教師データ作成装置は異なる姿勢および運動状態を高精度に識別して教師データを作成することができる。
また、自動教師データ作成装置において、姿勢識別部は、ユーザに装着される2個以上のセンサから取得される加速度情報に基づき作成される識別モデルに基づき、姿勢および運動状態を識別する。このため、自動教師データ作成装置は、個人差が少ない識別モデルを予め準備した上で、ユーザごとに教師データを作成することができ、高精度な逐次姿勢識別に資することができる。このため、自動教師データ作成装置は、ユーザがいちいちラベルを手入力する手間をなくし、容易に教師データを作成することを可能にする。
また、自動教師データ作成装置は、2個以上のセンサから取得される加速度情報に基づき、ユーザの姿勢および運動状態を識別するための識別モデルを作成する識別モデル作成部をさらに備える。このため、自動教師データ作成装置において、任意の時点で識別モデルを作成した上で、教師データを作成することができる。
(第2の実施形態)
第2の実施形態にかかる自動教師データ作成装置20Aは、第1の実施形態にかかる自動教師データ作成装置20と同様の機能および構成を有する。第2の実施形態にかかる自動教師データ作成装置20Aは、さらに、識別結果から姿勢が変動している間のデータを除去して、教師データの精度を向上させる。姿勢が変動する前後の加速度情報に対して姿勢識別処理を実行した場合、確実な識別結果が得られないことが多い。このため、精度の高い教師データを作成するという観点からは不適当なデータともいえる。そこで、第2の実施形態では、姿勢が変化している期間や姿勢変化の前後に該当する期間のデータを、教師データとして採用するデータから除外する。
図7は、第2の実施形態にかかる自動教師データ作成システム1Aの構成の一例を示す図である。図7に示すように、自動教師データ作成システム1Aは、第1の実施形態にかかる自動教師データ作成システム1と同様、ウェアラブル機器10と自動教師データ作成装置20Aとを備える。ウェアラブル機器10と自動教師データ作成装置20Aとの接続態様は、第1の実施形態と同様である。また、ウェアラブル機器10の構成および機能は、第1の実施形態のウェアラブル機器10の構成および機能と同様である。図7に示すウェアラブル機器10が備える各部の機能および構成も図1に示す各部の機能および構成と同様である。
(自動教師データ作成装置20Aの構成の一例)
自動教師データ作成装置20Aは、送受信部210と、制御部220Aと、記憶部230と、入力部240と、を備える。
図7に示す送受信部210、記憶部230および入力部240の構成および機能は、図1に示す送受信部210、記憶部230および入力部240の構成および機能と同様である。
また、図7に示す制御部220Aが備える特徴量抽出部221、識別モデル作成部223、姿勢識別部225、教師データ作成部227の構成および機能も、図1に示すものと同様である。
図7に示す第2の実施形態の自動教師データ作成装置20Aは、制御部220Aが変化点除去部226を備える点で、第1の実施形態の自動教師データ作成装置20と異なる。
変化点除去部226は、姿勢識別部225の識別結果から姿勢が変化している期間(変化点)に対応する識別結果を除去し、姿勢が安定している期間に対応する識別結果を残す。そして、変化点除去部226は、残った識別結果のみを教師データ作成部227に送る。
教師データ作成部227は、変化点が除去された識別結果と加速度情報とを対応づけて教師データを作成する。
このように、第2の実施形態の自動教師データ作成装置20Aは、姿勢および運動状態が変化している期間に対応するデータを教師データから除外することで、教師データの精度を高めることができる。
(第2の実施形態の自動教師データ作成処理の流れの一例)
図8は、第2の実施形態にかかる自動教師データ作成装置20Aにおける処理の大まかな流れの一例を示す図である。図8では、識別モデル作成処理の流れと、教師データ作成処理の流れとをまとめて示す。
まず、識別モデル作成処理時の処理の流れについて説明する。ウェアラブル機器10において、第1のセンサ110の加速度情報計測部111がユーザの身体の加速度情報を計測する。計測した加速度情報は、送受信部112に送られ、送受信部112は、加速度情報を自動教師データ作成装置20Aの送受信部210に送信する(図8の(1))。
また、ウェアラブル機器10において、第2のセンサ120の加速度情報計測部121がユーザの身体の加速度情報を計測する。計測した加速度情報は、送受信部122に送られ、送受信部122は、加速度情報を自動教師データ作成装置20Aの送受信部210に送信する(図8の(2))。
送受信部210は、第1のセンサ110および第2のセンサ120から送信された加速度情報を特徴量抽出部221に送信する(図8の(3))。特徴量抽出部221は、加速度情報から特徴量を抽出し、識別モデル作成部223に送信する(図8の(4))。識別モデル作成部223は作成した識別モデルを識別モデル記憶部232に記憶する。
識別モデル作成処理時は、図8の(1)、(2)、(3)、(4)の処理の流れにそって識別モデルが作成される。
次に、教師データ作成処理時の処理の流れについて説明する。ウェアラブル機器10において、第1のセンサ110の加速度情報計測部111がユーザの身体の加速度情報を計測する。計測した加速度情報は、送受信部112に送られ、送受信部112は、加速度情報を自動教師データ作成装置20Aの送受信部210に送信する(図8の(1))。
また、ウェアラブル機器10において、第2のセンサ120の加速度情報計測部121がユーザの身体の加速度情報を計測する。計測した加速度情報は、送受信部122に送られ、送受信部122は、加速度情報を自動教師データ作成装置20Aの送受信部210に送信する(図8の(2))。ここまでの流れは、識別モデル作成処理時と同様である。
送受信部210は、第1のセンサ110および第2のセンサ120から送信された加速度情報を特徴量抽出部221に送信する(図8の(3))。また、送受信部210は、第1のセンサ110から送信された加速度情報を第1センサデータ記憶部231に記憶する(図8の(5))。
特徴量抽出部221は、受信した加速度情報の特徴量を抽出する。そして、特徴量抽出部221は、抽出した特徴量を姿勢識別部225に送信する(図8の(6))。姿勢識別部225は、特徴量と、識別モデル記憶部232に記憶される識別モデルとに基づいて、姿勢および運動状態を識別する。姿勢識別部225は、識別結果である姿勢情報を変化点除去部226に送信する(図8の(7))。変化点除去部226は、姿勢情報が姿勢が変化している期間に該当するか否かを判定する。変化期間に該当すると判定した場合、変化点除去部226は当該姿勢情報を除去する。変化点除去部226は、変化点を除去した姿勢情報を、教師データ作成部227に送信する(図8の(8))。教師データ作成部227は、第1センサデータ記憶部231に記憶された第1のセンサ110の加速度情報(図8の(9))と、変化点除去後の姿勢情報とを対応づける。これによって教師データ作成処理が終了する。
変化点除去部226による変化点除去の手法は特に限定されない。ユーザの姿勢および運動状態が変化している期間に該当する部分を抽出することができれば、任意の手法を用いて変化点を除去することができる。
(第2の実施形態の効果)
第2の実施形態にかかる自動教師データ作成装置は、第1の実施形態にかかる自動教師データ作成装置が奏する効果に加え、以下の効果を奏する。
第2の実施形態にかかる自動教師データ作成装置は、姿勢識別部が識別した姿勢および運動状態が変化した部分を、教師データから除去する変化点除去部をさらに備える。このため、自動教師データ作成装置は、教師データに適さない精度の低い識別結果を教師データから除外して、精度の高い教師データを作成することができる。
(変形例−センサの数)
上記第1および第2の実施形態においては、二つのセンサ(第1のセンサ110および第2のセンサ120)を用いるものとした。ただし、センサの数は特に限定されず、識別モデル作成部223は、3以上のセンサによって取得した加速度情報を用いて、識別モデルを作成してもよい。また、姿勢識別部225は、3以上のセンサによって取得した加速度情報を用いて、ユーザの姿勢および運動状態を識別してもよい。
たとえば、3つのセンサのうち、一つをユーザの胸郭部に、もう一つをユーザの上腕部に、残りの一つをユーザの大腿部に装着してもよい。この場合、胸郭部、上腕部、大腿部においては、ユーザの姿勢および運動状態によってそれぞれ異なる方向に加速度が生じ、加速度の質や量も相互に相違することが予想される。このため、3以上のセンサを、質的または量的に異なる加速度情報を取得できる位置に装着することで、識別精度を向上させることができる。
また、たとえば、3つのセンサのうち、一つをユーザの右胸前方に、もう一つをユーザの左胸前方に、残りの一つをユーザの腹部に装着することも考えられる。すなわち、3以上のセンサをすべてユーザの体幹部分に装着することも考えられる。たとえば、特にユーザの体幹部分の姿勢や運動状態を精密に測定したい場合等には、体幹部分の複数位置に複数のセンサを装着して、測定精度ひいては識別精度を向上させるように構成してもよい。
このように、ユーザの姿勢および運動状態によって質的または量的に異なる加速度情報が取得できるのであれば、任意の数のセンサを用いて加速度情報を取得してよい。
(変形例−センサの装着位置)
また、上記第1および第2の実施形態においては、二つのセンサ(第1のセンサ110および第2のセンサ120)を各々、たとえばユーザの体幹部分と四肢部分に装着する例を説明した(図6)。ただし、この例に限らず、センサの装着位置は、識別対象とする姿勢や運動状態、ユーザの状態等に応じて、適宜調整することができる。
また、センサの装着位置は、ユーザの身体上の位置に限定しなくともよい。たとえば、ユーザが車椅子を使用している場合、二つのセンサのうち一方をユーザの体幹部分に装着し、他方を車椅子に装着してもよい。センサを直接車椅子に装着することで、センサが計測する加速度情報(振動情報)に基づき、ユーザが自分で車輪を回している場合や、付添者が車椅子を押している場合等の差異をより正確に検知することができる。また、ユーザの身体以外にセンサを装着する物は、ユーザの姿勢および運動状態を反映する物であれば特に限定されない。たとえば、リハビリテーション中のユーザであれば、リハビリテーションに使用する器具にセンサを装着して、リハビリテーションによる姿勢や運動状態の改善度合いを検知できるようにしてもよい。
センサをユーザ以外の、ユーザの姿勢および運動状態に連動する物体に装着する場合、当該センサは、ウェアラブル機器10とは別体として構成してもよい。
このように、自動教師データ作成装置において、2個以上のセンサのうち、一つのセンサはユーザの身体に装着され、他の一つのセンサはユーザの姿勢および運動状態に連動するユーザ以外の物体に装着されるよう構成される。このため、ユーザ自身の身体に限らず、ユーザの姿勢および運動状態をよりよく反映する物体にセンサを装着して、教師データを作成することができ、姿勢識別の精度を向上させることができる。
(変形例−汎用的識別モデルの利用等)
なお、上記第1および第2の実施形態においては、自動教師データ作成装置において識別モデル作成部223が識別モデルを作成するものとした。これに限らず、別の装置において、同様にユーザに装着した二つのセンサにより取得した加速度情報から識別モデルを作成し、予め自動教師データ作成装置に記憶させるように構成してもよい。このように構成することで、自動教師データ作成装置は、手動でのラベル入力なしで、すぐに各ユーザに適した教師データ作成処理を実行することができる。
このように構成した場合であっても、自動教師データ作成装置は、二つのセンサにより取得した加速度情報から作成された識別モデルと、二つのセンサにより取得した加速度情報を用いて姿勢識別を実行する。このため、自動教師データ作成装置は、姿勢識別精度の高い教師データを作成することができる。
また、第1および第2の実施形態において、自動教師データ作成装置は、識別モデルの作成と教師データの作成を並行して実行してもよい。すなわち、識別モデル作成部223の処理と姿勢識別部225の処理とを並行的に実行してもよい。
(変形例−逐次姿勢識別装置での利用)
また、第1および第2の実施形態にかかる自動教師データ作成装置20,20Aは、ユーザの姿勢を逐次識別する逐次姿勢識別装置に組み入れてもよい。たとえば、ユーザから計測される加速度情報に基づき識別モデルを作成して、識別モデルを適用することで逐次姿勢を識別する逐次姿勢識別装置に、自動教師データ作成装置20,20Aの機能を組み込み、作成した教師データを用いて識別モデルの作成を実行させるように構成してもよい。このようにすれば、識別モデルを容易に更新することができ、ユーザがいちいちラベルを入力する手間を省略することができる。
(変形例−教師データに用いる加速度情報)
なお、第1および第2の実施形態においては、教師データ作成において姿勢情報と対応づける加速度情報は第1のセンサ110が計測した加速度情報のみとした。しかし、これに限らず、複数のセンサが計測した加速度情報を、姿勢情報と対応づけて教師データを作成するように自動教師データ作成装置を構成してもよい。
(実施例1)
図9は、実施形態にかかる自動教師データ作成処理を実行した場合の識別精度について説明するための図である。図9の表の左は、実際に2台のセンサを用いて自動で教師データを作成し、当該教師データを用いて逐次姿勢識別処理を実行した場合の識別結果を示す。また、図9の表の右は、1台のセンサを用いて手動でラベル付をおこなって教師データを作成し、当該教師データを用いて逐次姿勢識別処理を実行した場合の識別結果を示す。自動での教師データ作成では、第2の実施形態のように変化点を除去する処理を用いた。
実験では、まず、それぞれの方法で教師データ(学習データ)を作成した。そして、教師データの半分を用いて識別モデルを作成した。作成した識別モデルを使用して、教師データの残りの半分に対して姿勢識別処理を実行した。つまり、教師データを作成した後、半分を教師データとして用いて新たに取得した加速度情報の機械学習を実行して、姿勢および運動状態の識別モデルを作成する。そして、作成した識別モデルを、残り半分の教師データ(すなわち加速度情報)に適用して姿勢および運動状態を識別する。その結果得られた識別結果と、教師データのラベルとを比較した。
このため、それぞれのデータ中ラベル付けされたデータ量が相互に異なる。ユーザ「u01」では、加速度情報のデータ約1100秒を取得し、手動で実験観察記録に基づき、教師データに適した箇所を抽出した結果、1075.2秒分のデータが教師データとしてラベル付けされた。これに対し、自動教師データ作成処理を使用した場合、教師データとして作成されたのは1027.2秒分であり、手動の場合より約5%ほど少ない。
手動の方法でも、観察記録と実際のデータに基づき、データ中ノイズとみなすことができる部分を除去した。除去対象となったのは、特に教師データの前後のノイズである。ただし、手動の方法の場合、観察記録とデータとを正確に対応づけることが難しく、完全にノイズを除去することは困難であった。
図9の例では、ユーザ「u01」「u02」「u03」の3名についてそれぞれの手法により逐次姿勢識別処理を実行した。図中、網掛けを付した部分は、正しく判別された回数、点々を付した部分は、誤判別された回数を示す。図9の実験結果からは、手動の方法の場合の正判別率(たとえばユーザ「u03」で0.962)よりも、自動教師データ作成処理を用いた場合の正判別率(「u03」で0.987)の方が、若干精度が高くなることが確認された。
(プログラム)
図10は、開示の技術に係る自動教師データ作成プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。図10に例示するように、コンピュータ1000は、例えば、メモリ1010と、CPU(Central Processing Unit)1020と、ハードディスクドライブ1080と、ネットワークインタフェース1070とを有する。コンピュータ1000の各部はバス1100によって接続される。
メモリ1010は、図10に例示するように、ROM(Read Only Memory)1011およびRAM(Random Access Memory)1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。
ここで、図10に例示するように、ハードディスクドライブ1080は、例えば、OS1081、アプリケーションプログラム1082、プログラムモジュール1083、プログラムデータ1084を記憶する。すなわち、開示の実施の形態に係る自動教師データ作成プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュール1083として、例えばハードディスクドライブ1080に記憶される。例えば、制御部220,220Aの各部と同様の情報処理を実行する手順各々が記述されたプログラムモジュール1083が、ハードディスクドライブ1080に記憶される。
また、記憶部230に記憶されるデータのように、自動教師データ作成プログラムによる情報処理に用いられるデータは、プログラムデータ1084として、例えばハードディスクドライブ1080に記憶される。そして、CPU1020が、ハードディスクドライブ1080に記憶されたプログラムモジュール1083やプログラムデータ1084を必要に応じてRAM1012に読み出し、各種の手順を実行する。
なお、自動教師データ作成プログラムに係るプログラムモジュール1083やプログラムデータ1084は、ハードディスクドライブ1080に記憶される場合に限られない。例えば、プログラムモジュール1083やプログラムデータ1084は、着脱可能な記憶媒体に記憶されてもよい。この場合、CPU1020は、ディスクドライブなどの着脱可能な記憶媒体を介してデータを読み出す。また、同様に、自動教師データ作成プログラムに係るプログラムモジュール1083やプログラムデータ1084は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。この場合、CPU1020は、ネットワークインタフェース1070を介して他のコンピュータにアクセスすることで各種データを読み出す。
(その他)
なお、本実施形態で説明した自動教師データ作成プログラムは、インターネット等のネットワークを介して配布することができる。また、自動教師データ作成プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読取可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
なお、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1,1A 自動教師データ作成システム
10 ウェアラブル機器
110 第1のセンサ
111 加速度情報計測部
112 送受信部
113 入力部
120 第2のセンサ
121 加速度情報計測部
122 送受信部
123 入力部
20,20A 自動教師データ作成装置
210 送受信部
220 制御部
221 特徴量抽出部
223 識別モデル作成部
225 姿勢識別部
226 変化点除去部
227 教師データ作成部
230 記憶部
231 第1センサデータ記憶部
232 識別モデル記憶部
233 教師データ記憶部
240 入力部

Claims (8)

  1. ユーザの姿勢および運動状態によって質的または量的に異なる加速度が生じる箇所に装着される2個以上のセンサから取得される加速度情報に基づき、前記ユーザの姿勢および運動状態を識別する姿勢識別部と、
    識別した姿勢および運動状態を前記2個以上のセンサの少なくとも一つから取得した加速度情報と対応づけて教師データを作成する教師データ作成部と、
    を備えることを特徴とする自動教師データ作成装置。
  2. 前記2個以上のセンサから取得される加速度情報は、異なる姿勢または運動状態に対して、少なくとも一つが異なる軸に対して計測されることを特徴とする請求項1に記載の自動教師データ作成装置。
  3. 前記2個以上のセンサから取得される加速度情報は、一つは前記ユーザの体幹部分において計測される加速度情報であり、他の一つは前記ユーザの四肢部分において計測される加速度情報であることを特徴とする請求項1または2に記載の自動教師データ作成装置。
  4. 前記2個以上のセンサのうち、一つのセンサは前記ユーザの身体に装着され、他の一つのセンサは前記ユーザの姿勢および運動状態に連動する前記ユーザ以外の物体に装着されるよう構成されることを特徴とする請求項1から3のいずれか1項に記載の自動教師データ作成装置。
  5. 前記2個以上のセンサから取得される加速度情報に基づき、前記ユーザの姿勢および運動状態を識別するための識別モデルを作成する識別モデル作成部をさらに備えることを特徴とする請求項1から4のいずれか1項に記載の自動教師データ作成装置。
  6. 前記姿勢識別部が識別した姿勢および運動状態が変化した部分を、前記教師データから除去する変化点除去部をさらに備えることを特徴とする請求項1から5のいずれか1項に記載の自動教師データ作成装置。
  7. コンピュータにより、ユーザの姿勢および運動状態によって質的または量的に異なる加速度が生じる箇所に装着される2個以上のセンサから取得される加速度情報に基づき、前記ユーザの姿勢および運動状態を識別する識別工程と、
    コンピュータにより、前記識別工程において識別した姿勢および運動状態を前記2個以上のセンサの少なくとも一つから取得した加速度情報と対応づけて教師データを作成する教師データ作成工程と、
    を備えることを特徴とする自動教師データ作成方法。
  8. ユーザの姿勢および運動状態によって質的または量的に異なる加速度が生じる箇所に装着される2個以上のセンサから取得される加速度情報に基づき、前記ユーザの姿勢および運動状態を識別する識別手順と、
    前記識別手順において識別した姿勢および運動状態を前記2個以上のセンサの少なくとも一つから取得した加速度情報と対応づけて教師データを作成する教師データ作成手順と、
    を備えることを特徴とする自動教師データ作成プログラム。
JP2016126450A 2016-06-27 2016-06-27 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム Active JP6599821B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016126450A JP6599821B2 (ja) 2016-06-27 2016-06-27 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016126450A JP6599821B2 (ja) 2016-06-27 2016-06-27 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム

Publications (2)

Publication Number Publication Date
JP2018000229A true JP2018000229A (ja) 2018-01-11
JP6599821B2 JP6599821B2 (ja) 2019-10-30

Family

ID=60945953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016126450A Active JP6599821B2 (ja) 2016-06-27 2016-06-27 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム

Country Status (1)

Country Link
JP (1) JP6599821B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020151267A (ja) * 2019-03-20 2020-09-24 トヨタ自動車株式会社 人等の身体動作推定システム
JP2021003491A (ja) * 2019-06-27 2021-01-14 トヨタ自動車株式会社 学習装置、歩行訓練システム、方法、プログラム、及び学習済みモデル
JP2021524111A (ja) * 2018-05-23 2021-09-09 コグニティヴ システムズ コーポレイション センサデバイスからのデータを用いた動き検出システムのためのトレーニングデータ
JP7429877B2 (ja) 2018-12-28 2024-02-09 パナソニックIpマネジメント株式会社 推定方法および推定装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012106770A1 (en) * 2011-02-10 2012-08-16 Dorsavi Pty. Ltd. Apparatus and method for classifying orientation of a body of a mammal
JP2013041323A (ja) * 2011-08-11 2013-02-28 Nec Corp 行動識別装置、行動識別方法、及びプログラム
JP2013077969A (ja) * 2011-09-30 2013-04-25 Oki Electric Ind Co Ltd 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US20150313529A1 (en) * 2014-05-01 2015-11-05 Ramot At Tel-Aviv University Ltd. Method and system for behavioral monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012106770A1 (en) * 2011-02-10 2012-08-16 Dorsavi Pty. Ltd. Apparatus and method for classifying orientation of a body of a mammal
JP2013041323A (ja) * 2011-08-11 2013-02-28 Nec Corp 行動識別装置、行動識別方法、及びプログラム
JP2013077969A (ja) * 2011-09-30 2013-04-25 Oki Electric Ind Co Ltd 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US20150313529A1 (en) * 2014-05-01 2015-11-05 Ramot At Tel-Aviv University Ltd. Method and system for behavioral monitoring

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524111A (ja) * 2018-05-23 2021-09-09 コグニティヴ システムズ コーポレイション センサデバイスからのデータを用いた動き検出システムのためのトレーニングデータ
JP7174073B2 (ja) 2018-05-23 2022-11-17 コグニティヴ システムズ コーポレイション センサデバイスからのデータを用いた動き検出システムのためのトレーニングデータ
JP7429877B2 (ja) 2018-12-28 2024-02-09 パナソニックIpマネジメント株式会社 推定方法および推定装置
JP2020151267A (ja) * 2019-03-20 2020-09-24 トヨタ自動車株式会社 人等の身体動作推定システム
JP7107264B2 (ja) 2019-03-20 2022-07-27 トヨタ自動車株式会社 人等の身体動作推定システム
JP2021003491A (ja) * 2019-06-27 2021-01-14 トヨタ自動車株式会社 学習装置、歩行訓練システム、方法、プログラム、及び学習済みモデル
JP7211280B2 (ja) 2019-06-27 2023-01-24 トヨタ自動車株式会社 学習装置、歩行訓練システム、方法、プログラム、及び学習済みモデル

Also Published As

Publication number Publication date
JP6599821B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
Slade et al. An open-source and wearable system for measuring 3D human motion in real-time
US20230363708A1 (en) Detection and calculation of heart rate recovery in non-clinical settings
EP3205269B1 (en) System and method for analyzing gait and postural balance of a person
US11679300B2 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
TWI498846B (zh) 步態分析方法及步態分析系統
JP6599821B2 (ja) 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム
US11023950B2 (en) Systems and methods for analyzing lower body movement to recommend footwear
JP6362521B2 (ja) 行動分類システム、行動分類装置及び行動分類方法
JP4590010B1 (ja) 動作解析装置、および動作解析方法
EP3298955A1 (en) Method and system for determining postural balance of a person
CN108836344B (zh) 步长步频估算方法和装置及步态检测仪
Bevilacqua et al. Automatic classification of knee rehabilitation exercises using a single inertial sensor: A case study
US20220409098A1 (en) A wearable device for determining motion and/or a physiological state of a wearer
US20190069829A1 (en) Method and apparatus for monitoring urination of a subject
US20170360380A1 (en) Meal time estimation method, meal time estimation device, and recording medium
JP6530350B2 (ja) 逐次姿勢識別装置、逐次姿勢識別方法および逐次姿勢識別プログラム
EP3847961B1 (en) Walking state determination program, walking state determination method, and information processing device
JP6970645B2 (ja) 脈拍検出方法、および、脈拍検出システム
Balachandran et al. Experimental recording and assessing gait phases using mobile phone sensors and EEG
Poli et al. ADLs Monitoring by accelerometer-based wearable sensors: effect of measurement device and data uncertainty on classification accuracy
Gjoreski et al. Human activity recognition: From controlled lab experiments to competitive live evaluation
WO2023127013A1 (ja) 静的バランス推定装置、静的バランス推定システム、静的バランス推定方法、および記録媒体
Wahab et al. Labview-based gait analysis system for rehabilitation monitoring
JP2024018807A (ja) 情報処理システム、サーバ、情報処理方法、プログラム及び学習モデル
EP3566648A1 (en) Information processing device, information processing system, and information processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160628

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191003

R150 Certificate of patent or registration of utility model

Ref document number: 6599821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250