JP2013031625A

JP2013031625A - 移動体の動き分類方法及び移動体の動き分類システム

Info

Publication number: JP2013031625A
Application number: JP2011235809A
Authority: JP
Inventors: Mayumi Matsubara; 真弓松原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-07-07
Filing date: 2011-10-27
Publication date: 2013-02-14
Anticipated expiration: 2031-10-27
Also published as: JP5874963B2

Abstract

【課題】認識率が低くなる傾向がある移動体の動きを分類され易くする。
【解決手段】情報処理部によって計測部で得られた動き変化データから解析データを生成し、解析データの平均値から正規化データを生成する。そして、正規化データから移動体の動きの特徴量を算出し、特徴量と移動体の動きに対する分類用特徴量とを比較して所定の特徴量に類似する移動体の動きに分類する。分類されなかった移動体の動きに対する解析データについてあらためて当該解析データの平均値から正規化データを生成し、当該正規化データから特徴量算出及び分類処理を行う一連の処理を複数回繰り返す。
【選択図】図５

Description

本発明は、移動体の動き分類方法及び移動体の動き分類システムに関するものである。

人間、動物或いは機械などの移動体の動きに伴う状態変化を計測する計測手段を移動体に取り付け、計測手段による計測結果に基づいて移動体の動きを分類する分類方法として、特許文献１に記載されたものが知られている。ここで、移動体の動きを分類するとは、データベース化した動きの種類の中からどの動きの種類かを特定することを意味する。この特許文献１の分類方法では、計測手段としての例えば加速度センサを移動体に取り付け、この加速度センサから得られた動き変化データである加速度データを例えば時間周波数解析（ウェーブレット解析）などの周波数解析を行って解析データであるウェーブレット係数に変換する。そして、このウェーブレット係数を正規化する。移動体の動きの種類ごとに時間周波数特性が異なるため、正規化された周波数スペクトルは動きの種類に応じて異なる。その正規化されたウェーブレット係数に基づいて移動体の動きの特徴量が算出される。そして、算出された特徴量と、予め計測されデータベース化された移動体の動きの種類に対応する分類用特徴量とを比較し当該分類用特徴量に類似する移動体の各動きから計測対象の移動体の動きを分類している。

しかしながら、上記特許文献１の分類方法において、データベース化された移動体の動きの種類としては、移動体が例えば人間である場合、歩く、走る、といった繰返しの多い周期的な動作は認識率が高い動きである。加えて、繰り返しのない動作の場合でも、動きが大きい動作、つまり単位時間あたりの動きの変化量が大きい動作の場合も、認識率が高い動きである。ところが、移動体が人間であれば、歩く、走る、という認識率が高い移動体の動き以外に、周期的な動きでなかったり、動きそのものがちいさかったり、といった認識率が低くなる傾向がある移動体の動きがある。上記特許文献１の分類方法におけるウェーブレット係数を正規化する処理では、ウェーブレット係数の平均を求めた平均値を用いて正規化している、例えば平均値を閾値としその閾値より大きいウェーブレット係数を残す閾値処理を行って正規化している。このため、ウェーブレット係数が当該閾値より小さい値である認識率が低くなる傾向がある移動体の動きは分類されにくい。

本発明は以上の問題点に鑑みなされたものであり、その目的は、認識率が低くなる傾向がある移動体の動きを分類され易くする、移動体の動き分類方法及び移動体の動き分類システムを提供することである。

上記目的を達成するために、請求項１の発明は、センサを装着する移動体の動きに伴う動き変化データを計測する計測部と、前記計測部で計測された動き変化データを処理する情報処理部とを備え、移動体の動きを分類する移動体の動き分類方法において、前記情報処理部によって、前記計測部で得られた動き変化データから解析データを生成する解析データ生成工程と、前記解析データの平均値から正規化データを生成する正規化データ生成工程と、前記正規化データから前記移動体の動きの特徴量を算出する特徴量算出工程と、前記特徴量と、予め計測した移動体の各動きに対する各分類用特徴量とを比較して、所定の特徴量に類似する移動体の動きに分類する分類処理工程と、を有し、前記分類処理工程で、分類されなかった移動体の動きに対する前記解析データについて、前記正規化データ生成工程によりあらためて前記解析データの平均値から正規化データを生成し、前記特徴量算出工程により、当該正規化データから特徴量を算出し、前記分類処理工程により当該特徴量に基づいて、前記移動体の動きを分類する一連の工程を複数回繰り返すことを特徴とするものである。

本発明においては、計測部で得られた動き変化データから解析データを生成する。この解析データの平均値を求め、少なくとも当該平均値を用いて解析データを正規化する。この正規化処理を行うことで解析データの中で解析値が高いものは、ノイズが低減され、予め計測した移動体の各動きに対する各分類用特徴量と比較して所定の特徴量に類似すると判断できるだけの解析値が残り、分類することが可能となる。このときの抽出した解析データに対応する正規化データから算出した特徴量は解析の対象となるデータの中では大きな値となる。このような処理を行うことで移動体の動きの認識率を上がることができ分類することが可能となる。正規化処理では解析データの平均値を用いて解析データを正規化しているため、解析値が小さい値の解析データは解析値の大きい値にまるめこまれ、解析値が小さくなり、予め計測した移動体の各動きに対する各分類用特徴量と比較して所定の特徴量に類似すると判断できるだけの解析値がなく、分類されない。分類されなかった移動体の動きに対する解析データだけに対してあらためて正規化する。分類されなかった移動体の動きに対する解析データだけの平均値は、分類されなかった移動体の動きに対する解析データの解析値が小さい値であるので、全時間領域における解析データの平均値より低い値となる。その低い値となった平均値を用いてあらためて正規化することで、解析値が小さい解析データであって上記分類されなかった移動体の動きでも分類されるようになる。このような分類されなかった移動体の動きに対する解析データに行う正規化工程、特徴量算出工程及び分類処理工程の一連の工程を複数回繰り返す。これにより、認識率が低くなる傾向がある移動体の動きが分類できる。

以上、本発明によれば、認識率が低くなる傾向がある移動体の動きを分類され易くするという効果が得られる。

本実施形態の移動体の動き分類システムにおける認識フェーズの構成を示すブロック図である。本実施形態の移動体の動き分類システムにおける学習フェーズの構成を示すブロック図である。認識フェーズと学習フェーズとの関係を示す図である。学習フェーズと認識フェーズの入出力の概略を示す図である。認識フェーズにおける作業ならびに動作を分類する処理を示すフローチャートである。学習フェーズにおける作業ならびに動作を分類する処理を示すフローチャートである。波形記録部に格納されるデータの一例を示す図である。フラグを用いて波形記録部に格納されるデータを更新したときデータを示す図である。波形記録部に格納されるデータを更新するために値を代入する方法を用いたときのデータを示す図である。分類結果記録部に格納されるデータを示す図である。付帯情報記録部に格納されるデータのフェーズによる違いについて説明する図である。正規化処理のセンサ信号の波形図である。全作業／動作のフラグ判断後の波形データの読み込み後に正規化処理を行う様子をについて説明する図である。

以下、本発明を適用した移動体の動き分類システムの一実施形態について図面を参照して詳細に説明する。
図１は本実施形態の移動体の動き分類システムの構成を示すブロック図である。同図に示す移動体の動き分類システムは認識フェーズにおける動き分類システム構成であり、計測部１００、情報処理部２００及び通信部３００を含んで構成されている。計測部１００は人間、動物あるいは機械などの移動体の動作又は行動の動きに伴う状態変化を計測し、波形取得部１０１、センサ１０２及び移動体１０３を含んで構成されている。情報処理部２００は計測部１００で計測した移動体の行動に伴う状態変化のデータを通信部３００を介して受信して処理し、波形記録部２０１、解析データ生成部２０２、正規化処理部２０３、特徴量算出部２０４、分類処理部２０５、分類結果判定部２０６及び分類結果記録部２０７を含んで構成されている。通信部３００は計測部１００と情報処理部２００の間でデータを送受信する。

そして、計測部１００において、波形取得部１０１はセンサ１０２で検出された波形データのセンサ信号を取得する。センサ１０２は移動体の動作又は行動の動きを検出し、具体的には加速度センサや角速度センサである。移動体１０３は計測する対象物又は対象の人間である。また、情報処理部２００において、波形記録部２０１には解析データ生成部２０２のデータや波形取得部１０１で得られ通信部３００を介して送られてきたデータを記録される。解析データ生成部２０２は、波形取得部１０１で得られ、通信部３００を介して送られてきた波形データをＡＤ変換したデータを生成し、必要があれば解析が必要な箇所がわかるようなフラグや変換をさらに行う。正規化処理部２０３は、解析データ生成部２０２で生成されたデータを解析処理に合わせて変形する処理を行う。特徴量算出部２０４は、正規化処理部２０３のデータから移動体の動きの特徴を抽出する処理を行う。分類処理部２０５は、特徴量算出部２０４で抽出された移動体の動きの特徴から、学習フェーズで得られる教師データとの類似度を算出し、作業または動作の動きの分類の処理を行う。ここで分類とは、特徴量算出部２０４で抽出された移動体の動きの特徴から、学習フェーズで得られる学習データとの類似度を算出し、類似度が最も高い作業または動作などの動きの種類を特定することをいう。ここで学習データは教師データとも呼ばれ、学習フェーズで使用されるデータをさし、学習フェーズでは学習データから分類器を生成する。分類結果判定部２０６は、分類処理部２０５で得られた類似度が予め定められた閾値により分類の結果を採用するか否かを判定する。分類結果記録部２０７は、分類結果判定部２０６で判定された分類結果２０８を記録しておく記録装置である。自動分類システムは、計測部１０１に含まれる。また、自動分類システムは、図１に示す認識フェーズと図２に示す学習フェーズの２つのフェーズを持っている。

このような構成を有する本実施形態の移動体の動き分類システムによれば、計測部１００において波形取得部１０１は、移動体１０３に装着された加速度センサや角速度センサのセンサ１０２からのセンサ信号を取得する。そして、取得したセンサ信号のデータは通信部３００を使用して情報処理部２００に転送される。情報処理部２００に転送されたデータは、解析データ生成部２０２にて解析され、解析データ生成部２０２で生成されたデータは波形記録部２０１に一時格納される。ここで生成されるデータは、情報処理部２００に転送されたデータをＡＤ変換したものである。生成されたデータは、ＡＤ変換されたそのものの場合もあれば、ＡＤ変換の後解析に必要な部分を表すフラグを付与する場合や、解析に必要でない部分に０を代入する処理を行う場合もある。そして、生成されたデータは、正規化処理部２０３にて正規化処理される。正規化処理の具体的な方法の詳細は後述する。正規化処理部２０３で正規化処理されたデータから移動体１０３の動きの特徴が特徴量算出部２０４で抽出され、特徴量算出部２０４で抽出された移動体の動きの特徴について分類処理部２０５で作業または動作の動きの分類が行われる。具体的な方法は後述する。そして、分類処理部２０５で分類された作業または動作の動きの分類について、分類結果判定部２０６にて分類の可否が判定され、分類結果判定部２０６での判定結果が分類結果記録部２０７に格納される。分類結果判定部２０６にて分類が全て終了した場合、分類結果２０８が出力される。一方、分類結果判定部２０６にて分類が全て終了していない場合、分類結果記録部２０７に記録された情報をもって、再び解析データ生成部２０２にて上記手順を繰り返すことで、分類結果２０８が出力される。

次に、学習フェーズにおける作業ならびに動作の自動分類システムの概要について図２を用いて説明する。
図２は本実施形態の移動体の動き分類システムの構成を示すブロック図である。同図において、図１と同じ参照符号は同じ構成要素を示す。同図に示す本実施形態の学習フェーズにおける動き分類システムにおいて、図１に示す認識フェーズにおける動き分類システムと異なる構成要素としては付帯情報記録部２０９及び分類器２１０である。付帯情報記録部２０９はデータに付帯した情報を記録する。付帯した情報とは、例えば動作を表すラベルである。分類器２１０は予め定められた閾値以上の精度を持つ分類器を出力するものである。そして、同図に示す分類処理部２０５は、特徴量算出部２０４で抽出された特徴と、付帯情報記録部２０９に記録されている情報を用いて作業または動作の動きの分類のための学習の処理を行う。分類結果判定部２０６は、分類処理部２０５で生成された分類器を、予め定められた閾値により分類器の可否の判定を行う。分類器２１０は予め定められた閾値以上の精度をもつ分類器である。ここで学習とは分類を行う機械学習のことである。例えば、サポートベクターマシンを用いて、作業または動作の識別関数を決めることで分類を行うことができる。

具体的な処理方法は、例えば、入力データｘ_ｉ＝（ｘ_i1，ｘ_i2，ｘ_i3，・・・，ｘ_iｎ）^ｔと作業または動作を表すラベルｙ_ｉ∈｛+1，-1｝の組を持つｎ組（ｎは正の整数）のデータ（ｘ₁ ^ｔ，ｙ₁），（ｘ₂ ^ｔ，ｙ₂），・・・，（ｘ_ｎ ^ｔ，ｙ_ｎ）が与えられとする。

２つのクラスに分類するための識別関数は、下記の式（１）で算出され、ｎ組のデータから式（２）を満たすように一意に決定される。ここで、２つのクラスに分類することは１つのクラスとそのクラス以外のクラスとに分類することなどを意味し、クラスのとりうる数が２である２クラス分類、３以上である多クラス分類で区別している。

識別関数ｙ_i（ｘ_ｉ ^ｔβ＋ｂ）≧１−ξ_ｉ（１）

なお、ｂはしきい値、βは未知パラメータ、ξ_ｉはスラック変数とする。

制約条件 ξ_ｉ≧０，y_ｉ（x_ｉ ^ｔβ＋ｂ）≧１−ξ_ｉ，ｉ＝１，２，・・・，ｎ
δは調整パラメータである。

なお、学習の手法は、線形判別やニューラルネットワークなどがあり、サポートベクターマシンに限るものではない。

分類結果判定部２０６にて分類の学習の可否が判定され、分類結果記録部２０７に分類結果、例えば作業または動作の動き毎に、学習の可否並びにそれらの時間領域が格納される。そして、分類結果判定部２０６にて分類の学習がすべて終了した場合、分類器２１０が出力される。

一方、分類結果判定部２０６にて分類の学習が全て終了していない場合、分類結果記録部２０７に格納された情報をもって、再び解析データ生成部１２０２にて上記手順を繰り返すことで、分類器２１０が出力される。

図３は学習フェーズと認識フェーズとの関係を示す図である。
図１及び図２は異なるフェーズにおけるシステムの概要を示すものであった場合、学習フェーズ４００と認識フェーズ５００の関係は先に学習フェーズ４００を行い、学習フェーズ４００が終了した後に認識フェーズ５００へと移行する。

図４は学習フェーズと認識フェーズの入出力の概略を示す図である。同図において、学習フェーズ４００は、センサ波形並びにセンサ波形に関係する付帯情報４０１が入力で、上記入力を図１の学習フェーズの分類システムにて、分析の対象としている作業または動作を分類することが可能な分類器４０２が出力となる。一方、認識フェーズ５００は、センサ波形並びに学習フェーズの出力である分類器５０１が入力で、上記入力を図２の認識フェーズの分類システムにて、分類器を用いて分析の対象としている作業または動作の動きの特定と、その時間領域が分類結果５０２として出力される。

図５は認識フェーズにおける作業ならびに動作の動きを分類する処理を示すフローチャートである。説明を容易にするため、分類を試みる作業ならびに動作の動きの種類が複数あり、移動体に取り付けられたセンサから、分類の対象とする全データが、通信手段によりホストＰＣに転送されている状態を想定する。また、予め決められた時間領域を「窓」とする。図５のフローチャートの処理を行う前に、窓のサイズと移動量ならびに正規化処理や特徴量算出の際に用いるパラメータを設定しておくこととする。

はじめに、波形取得部１０１から得られたデータ、例えば加速度データが通信部３００を介して解析データ生成部２０２へ入力されると、作業ならびに動作の動きを分類する処理が開始され、ループが開始される（ステップＳ１０１）。波形取得部１０１から得られたデータ、例えば加速度のセンサ信号とその波形に対応するタイムスタンプを用いて、解析データ生成部２０２で入力されたデータを読み込む処理が行わる（ステップＳ１０２）。そして、解析データ生成部２０２で読み込まれたデータを用いて解析データ生成部２０２で記録する処理が行われ、波形記録部２０１に読み込まれたデータが格納される（ステップＳ１０３）。次に、解析データ生成部２０２で解析データを生成する処理が行われる（ステップＳ１０４）。そして、生成された解析データを用いて正規化処理部２０３で解析データを正規化する処理が行われる（ステップＳ１０５）。正規化された解析データを用いて、特徴量算出部２０４で特徴量、例えば各々の窓のサイズにおける平均や分散、周波数特性などが算出される処理が行われる（ステップＳ１０６）。次に、この特徴量を用いて分類処理部２０５で分類器２１０を用いて、作業または動作の動きの認識の処理が行われ、窓ごとに作業ならびに動作の動きの認識結果が出力される（ステップＳ１０７）。具体的には、窓ごとに作業ならびに動作の動きを行っていたと認識されるか否かが判定される。次に、窓ごとに判定された作業ならび動作の動きを用いて、分類結果判定部２０６で認識の結果の精度を示す値が下記の式(３)で算出される処理が行われ、算出された精度と予め設定された閾値との比較が行われ、算出された精度が閾値以上のときにフラグ１を、算出された精度が閾値未満のときにフラグの０が出力される。なお、上記出力は分類結果判定部２０６でフラグと時間を表すタイムスタンプと関連付けて分類結果記録部２０７に格納される（ステップＳ１０８）。

（精度）＝（時間分解能）×（誤判定の個数）（３）

分類結果判定部２０６から出力されたフラグを用いて、分類結果判定部２０６で分類の結果の状況、つまり分類の結果が予め設定された閾値以上の精度で解析の対象としている作業または動作が全て分類されたか否かが判定され、全ての時間領域に対してフラグの値が全て１のときは処理を終了する。全ての時間領域に対してフラグの値が全て１ではないときは分類結果判定部２０６で、分類したい作業または動作以外のデータが混入しているか否かが判定され、フラグの値が１である時間領域において、分類器で認識可能な作業または動作の動きが全て含まれているときは処理を終了する。分類器の認識可能な作業または動作の動きが全て含まれていないときはステップＳ１０１の処理へ移る。

ステップＳ１０９からステップＳ１０１に移行された場合、ステップＳ１０１では解析データ生成部２０２にて波形記録部２０１ならびに分類結果記録部２０７に格納されているデータを読み込み、すでに分類が終了している時間領域に対して、センサ信号が加工される。センサ信号の加工とは、例えばフラグを用いて分類が終了していない時間領域だけをデータとして受け渡すことや、例えば分類が修了している時間領域に他のデータに影響がないような値、例えば０を代入することなどがある。

ステップＳ１０８またはステップＳ１０９の出力結果、処理を終了するという結果を用いて分類結果判定部２０６で、作業または動作の動きを分類する処理が終了し、分類結果２０８、つまり予め定められた閾値以上の精度で分類された作業または動作の存在と、その時間領域が出力される。

図６は学習フェーズにおける作業ならびに動作の動きを分類する処理を示すフローチャートである。処理の概略は、認識フェーズにおける作業ならびに動作を分類する処理（ステップＳ２０１〜Ｓ２０４）である図５の処理フロー（ステップＳ１０１〜Ｓ１０４）と同様であるが、特徴量の算出を行うステップ２０５以降の処理が一部異なる。特徴量が抽出されると、分類処理部２０５にて付帯情報記録部２０８に格納されているデータが読み込まれる。そして、付帯情報が読み込まれると、分類処理部２０５にて付帯情報と抽出された特徴量を用いて分類器の生成が行われる（ステップＳ２０５、Ｓ２０６）。認識が行われると、分類結果判定部２０６にて分類器の性能を示す値、例えば下記の式（４）で算出されるＦ値が算出される。

算出された性能は、予め設定された閾値、例えばＦ値が０．８以上か未満かを判定し、閾値以上の場合はフラグに１を、閾値未満の場合はフラグに０が付与される。フラグが付与されると、分類結果記録部２０７にて算出されたフラグの結果が格納される。

Ｆ値＝２precision×recall/(precision)+(recall) （４）
ただし、precision＝TP/(TP+FP) recall＝TP/(TP+FN)
ここで、precisionとは、適合率のことである。recallとは、再現率のことである。TPとはTrue Positiveの略であり、真であるものを真と判定した数である。FPとはFalse Positiveの略であり、であるものを真と判断した数である。FNとはFalse Negativeの略であり、であるものを偽と判断した数である。

上記（４）には含まれないが、同様のものでTNもあり、True Negativeの略で、真であるものを偽と判断した数である。
図６のステップＳ２１１において、解析の対象としているデータに対して、全てのフラグに１が付与されると、図２の分類器２１０が出力され、処理が終了される。

図７は波形記録部に格納されるデータの一例を示す図である。同図において、格納されるデータは時刻ならびにセンサ信号である。そして、センサ信号は、加速度（図７の（ａ））や角速度（図７の（ｂ））、あるいは加速度と角速度（図７の（ｃ））であり、もしくは画像や音など他の情報を付加してもかまわない。例えば、移動体の動きに係る検出点にマーカーを付してそのマーカーを撮影することでマーカーの位置変化を検出し移動体の動きデータを取得する。取得した動きデータを本実施形態での分類処理の分類判定に利用して分類確率を上げることが可能となる。また、音データも同様に、動きにおける特有の音を計測して時系列における音データを本実施形態での分類処理の分類判定に利用して分類確率を上げることが可能となる。

図８はフラグを用いて波形記録部に格納されるデータを更新したときデータを示す図である。図５に示す認識フェーズにおける作業並び動作の動きの分類の処理において、図８の（ａ）は図５のステップＳ１０１、Ｓ１０２での処理、つまり処理開始から波形データを読み込んだ後の格納されるデータを示し、図８の（ｂ）は図５のステップＳ１０９で全ての時間領域に対してフラグの値が全て１ではないときの格納されるデータを示す。そして、この両図を比べると、図８の（ａ）に示すデータからは、未だ一度も作業または動作の動きの分類を実施していない状況であることがわかる。つまり、認識ができたことを示すフラグ１がどの時間領域でも格納されていない。一方、図８の（ｂ）に示すデータからは、図５のステップＳ１０９の処理により一度分類を実施した状態である。つまり、認識できた作業または動作の動きの時間領域においてフラグ１が格納されている。このように、図５のステップＳ１０９の処理を通して既に分類された時間領域の情報はフラグを用いて更新されている。

図９は波形記録部に格納されるデータを更新するために値を代入する方法を用いたときのデータを示す図である。図８に示すデータと異なる点は、既に認識された時間領域の情報がフラグではなく、予め決められた値を代入する方法を用いている点である。図９の（ａ）は図５のステップＳ１０１、Ｓ１０２での処理、つまり処理開始から波形データを読み込んだ後の格納されるデータを示し、図９の（ｂ）は図５のステップＳ１０９で全ての時間領域に対してフラグの値が全て１ではないときの格納されるデータを示す。そして、この両図を比べると、図９の（ａ）に示すデータからは、未だ一度も作業または動作の動きの分類を実施していない状況であることがわかる。つまり、加速度データの値には計測された値が格納されている。一方、図９の（ｂ）に示すデータからは、図５のステップＳ１０９の処理により一度分類を実施した状態である。つまり、すでに認識が完了した時間領域における加速度の値は、予め決められた値、例えば０が入力されている。この入力される値は、認識が完了していない時間領域の値に影響がでないような値であれば０でなくてもよく、むしろセンサの値と照らし合わせて検討することが望ましい。

図１０は分類結果記録部に格納されるデータを示す図である。同図において、ここでは説明のため、４つの動作（Ａ、Ｂ、Ｃ、Ｄ）について分類を行う場合を考える。全ての動作の分類を行うためには図５の処理を何度か繰り返し行う必要がある。ここでは、２回繰り返しで全ての動作の分類が完了した場合を考える。１度目の処理で分類できる動作は動作Ｃと動作Ｄ、２度目の処理で分類が完了する動作は動作Ａと動作Ｂとする。図１０の（ａ）は１度目の処理が行われた際の図１の分類結果記録部２０７に格納されたデータを表したものである。１度目の処理では、動作Ｃと動作Ｄが認識され、動作Ａと動作Ｂは認識されていない状況である。この場合、分類結果記憶部２０７に格納されるデータは、動作Ｃと動作Ｄについて、その動作が行われた時間領域にフラグ１を格納したものになる。一方、図１０の（ｂ）は２度目の処理が行われた際の図１の分類結果記録部２０７に格納されたデータを表したものである。２度目の処理では、１度目の処理で既に認識された動作Ｃと動作Ｄについては分類を行わず、まだ分類されていない動作Ａと動作Ｂについてのみ分類を行う。２度目の処理において動作Ａと動作Ｂについて分類を試みた結果両動作の認識が完了した場合、分類結果記録部２０７は１度目の処理の結果に対して両動作が認識された時間領域にフラグ１が格納し、データの更新が行われる。

図１１は付帯情報記録部に格納されるデータのフェーズによる違いについて説明する図である。付帯情報記録部に格納されるデータには、時刻及びフラグ、並びに動作または作業の種類を示すラベルが付される。これにより、格納されたデータが時系列における変化する動作または作業のどの種類かがわかるようになる。

図１２は具体的な正規化処理のセンサ信号の波形図である。図５のステップＳ１０１〜Ｓ１０３の処理を行った後にステップＳ１０４で正規化処理を行う様子について説明する。ここでは、分析の対象を動作Ａ、Ｂ、Ｃ、Ｄの４動作とし、その正規化処理から動作分類までの処理の流れを説明する。なお、動作Ａ、動作Ｂ、動作Ｃ、動作Ｄは、連続して行われる動作であり、動作が行われる順は、Ａ→Ｂ→Ｃ→Ｄである。また、動作Ｃ、Ｄは動作Ａ、Ｂに比べて、大きな動きを伴う動作であるとする。用いたセンサ信号は加速度とする。図１２の（ａ）は図５のステップＳ１０２へ移行した後の生成される解析データのステップＳ１０３の時に得られるセンサ信号である。図１２中の太い実線は、動作または作業の変化点を表している。この例では、分析の対象となる作業または動作は全部で４つある。説明のため、左から動作Ａ、動作Ｂ、動作Ｃ、動作Ｄとする。４つの動作を比較すると、動作Ｃと動作Ｄは動作Ａと動作Ｂに比べて加速度センサ信号の変化量が大きいため、移動体は比較的大きな動きをしていると考えられる。一方、動作Ａと動作Ｂは加速度センサ信号の変化量が動作Ｃと動作Ｄに比べて小さいため、移動体は比較的小さな動きをしていると考えられる。図１２の（ｂ）は、図１２の（ａ）を正規化したステップＳ１０４の処理で得られるセンサ信号である。説明のためにここでは加速度センサ信号を１軸だけ取り出した場合を考える。ここでの正規化処理は、ローパスフィルタを通した後、全時間領域でのセンサ信号の絶対値の最大値を基準として加速度センサ信号を算出したものである。上記の正規化処理されたデータは、時刻ｔのときのセンサの値をｘ_ｔとすると下記の式（５）で算出される。

なお、正規化の方法はさまざまである。上記式（５）の他には波形記録部２０１に格納されるデータの更新が図９のように値を代入する場合には、下記に示す方法を用いることも可能である。正規化処理されたデータは、全時間領域におけるセンサの値の平均をμ、標準偏差をσとし、時刻ｔにおける正規化された値ｘ_ｔ’を下記の式（６）で算出される。

ｘｔ’＝（ｘｔ−μ）／σ （６）

図１２の（ｂ）からわかることは、動作Ｃと動作Ｄは正規化前の波形に現れるセンサ信号の変化量を捕らえているが、動作Ａと動作Ｂは動作Ｃと動作Ｄに比べてセンサ信号の変化量が相対的に小さいために、センサ信号の値がほぼ横ばいとなり、特徴が消えてしまっている時間領域が存在することである。よって、図１２の（ｂ）のセンサ信号を用いて図５のステップＳ１０６以降の処理を行うと、動作Ｃと動作Ｄは動作の認識率が閾値より高い値をとるため、動作の分類を行うことができるが、動作Ａと動作Ｂは動作の認識率が閾値より低い値をとるため、動作の分類を行うことができない。

図１３は全作業／動作のフラグ判断後の波形データの読み込み後に正規化処理を行う様子をについて説明する図である。図１３の（ａ）は図５のステップＳ１０９からステップＳ１０１へ移行した後に、ステップＳ１０３で生成されるセンサ信号である。図１３の（ｂ）は図５のステップＳ１０９からステップＳ１０１へ移行した後に、ステップＳ１０４で正規化処理を行った後のセンサ信号である。図１３の（ａ）では、図５のステップＳ１０３で生成される解析データが、既に分類されている時間領域、つまり動作Ｃと動作Ｄの時間領域はセンサ信号の値に０が代入される様子を示している。ここでは、既に分類されている時間領域にセンサ信号の値を０としているが、センサ信号に０を代入せずに、分類済みの領域についてフラグを用いて判断し、後術の処理において、処理を行う領域と行わない領域を用意する形でもよい。

図１３の（ｂ）では、図５のステップＳ１０３で生成される解析データをSステップＳ１０４で正規化処理を行ったセンサ信号の様子を示している。ここでの正規化処理は、図１２にて用いた正規化処理の式を用いて正規化した。図１３の（ｂ）と図１２の（ｂ）を比較すると、図１２の（ｂ）では相対的に大きな動作である動作Ｃと動作Ｄによってかき消されていた動作Ａと動作Ｂのセンサ信号の特徴が、図１３の（ｂ）では相対的に大きな動作である動作Ｃと動作Ｄの時間領域にセンサ信号を０としたために、相対的に小さな値でも特徴が残っていることがわかる。

よって、図１３の（ｂ）のセンサ信号を用いて図５の処理を行うと、認識率が閾値より低い値をとるために動作の分類が行えなかった動作Ａと動作Ｂも、閾値よりも高い認識率を算出することができ、分類が可能となる。このように、相対的に小さな動きは、正規化と認識の処理を１度しか行わない場合は、認識率が低くなることから動作ならびに作業の分類を行うことはできないが、領域を分けて正規化と認識の処理を複数回繰り返すことで、認識率が低くなりがちな動作ならびに作業についても精度よく、分類することが可能となる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
正規化データ生成工程により正規化データを生成し、当該正規化データから移動体の動きの特徴量を特徴量算出工程により算出する。そして、算出された特徴量と予め計測した移動体の各動きに対する各分類用特徴量とを比較して所定の特徴量に類似する移動体の動きに分類処理工程を行う。そして、分類されなかった移動体の動きに対する解析データについて正規化データ生成工程によりあらためて解析データの平均値から正規化データを生成する。正規化データから特徴量を特徴量算出工程により算出し、当該特徴量に基づいて分類処理工程を行う。これらの一連の工程を複数回繰り返す。これによれば、上記実施形態について説明したように、認識率が低くなる傾向がある移動体の動きを分類され易くする。
（態様Ｂ）
（態様Ａ）において、正規化データ生成工程における正規化データの生成は、線形変換又は非線形変換を用いている。これによれば、上記実施形態について説明したように、認識率が低くなる傾向がある移動体の動きを分類できる。
（態様Ｃ）
（態様Ａ）において、正規化データ生成工程では全時間領域でのセンサのセンサ信号の絶対値の最大値を基準としてセンサ信号を正規化する。これによれば、上記実施形態について説明したように、認識率が低くなる傾向がある移動体の動きを分類され易くする。
（態様Ｄ）
（態様Ａ）において、正規化データ生成工程では全時間領域におけるセンサの値の分散を用いて正規化する。これによれば、上記実施形態について説明したように、認識率が低くなる傾向がある移動体の動きを分類され易くする。
（態様Ｅ）
（態様Ａ）において、正規化データ生成工程では全時間領域におけるセンサの値の平均を用いて正規化する。これによれば、上記実施形態について説明したように、認識率が低くなる傾向がある移動体の動きを分類され易くする。
（態様Ｆ）
（態様Ａ）において、計測部から得られるデータは移動体の特徴を表すデータである。そのデータは加速度、角速度、又は加速度と角速度の両方を用いている。これによれば、上記実施形態について説明したように、認識率が低くなる傾向がある移動体の動きを分類され易くする。
（態様Ｇ）
特徴量算出部で算出された特徴量を時間領域ごとに分類し、分類結果で時間領域に分類されなかった特徴量に対して再び正規化データ生成部で正規化データを生成する。そして、特徴量算出部は正規化データ生成部によって生成された正規化データから特徴量を算出し、分類処理部で当該特徴量と予め計測した移動体の各動きに対する各分類用特徴量とを比較して移動体の動きを分類することを、複数回繰り返す。これによれば、上記実施形態について説明したように、認識率が低くなる傾向がある移動体の動きを分類され易くする。

１００計測部
１０１波形取得部
１０２センサ
１０３移動体
２００情報処理部
２０１波形記録部
２０２解析データ生成部
２０３正規化処理部
２０４特徴量算出部
２０５分類処理部
２０６分類結果判定部
２０７分類結果記憶部
２０８分類結果
２０９付帯情報記録部
２１０分類器
３００通信部
４００学習フェーズ
５００認識フェーズ

特許第３５７０１６３号公報

Claims

センサを装着する移動体の動きに伴う動き変化データを計測する計測部と、前記計測部で計測された動き変化データを処理する情報処理部とを備え、移動体の動きを分類する移動体の動き分類方法において、
前記情報処理部によって、
前記計測部で得られた動き変化データから解析データを生成する解析データ生成工程と、
前記解析データの平均値から正規化データを生成する正規化データ生成工程と、
前記正規化データから前記移動体の動きの特徴量を算出する特徴量算出工程と、
前記特徴量と、予め計測した移動体の各動きに対する各分類用特徴量とを比較して、所定の特徴量に類似する移動体の動きに分類する分類処理工程と、を有し、
前記分類処理工程で、分類されなかった移動体の動きに対する前記解析データについて、前記正規化データ生成工程によりあらためて前記解析データの平均値から正規化データを生成し、前記特徴量算出工程により、当該正規化データから特徴量を算出し、前記分類処理工程により当該特徴量に基づいて、前記移動体の動きを分類する一連の工程を複数回繰り返すことを特徴とする移動体の動き分類方法。
請求項１記載の移動体の動き分類方法において、
前記正規化データ生成工程における正規化データの生成は、線形変換又は線形変換を用いることを特徴とする移動体の動き分類方法。
請求項１記載の移動体の動き分類方法において、
前記正規化データ生成工程では、全時間領域での前記センサのセンサ信号の絶対値の最大値を基準としてセンサ信号を正規化することを特徴とする移動体の動き分類方法。
請求項１記載の移動体の動き分類方法において、
前記正規化データ生成工程では、全時間領域における前記センサの値の分散を用いて正規化することを特徴とする移動体の動き分類方法。
請求項１記載の移動体の動き分類方法において、
前記正規化データ生成工程では、全時間領域における前記センサの値の平均を用いて正規化することを特徴とする移動体の動き分類方法。
請求項１記載の移動体の動き分類方法において、
前記計測部から得られるデータは、移動体の特徴を表すデータであることを特徴とする移動体の動き分類方法。
請求項６記載の移動体の動き分類方法において、
前記計測部から得られるデータは、加速度を用いていることを特徴とする移動体の動き分類方法。
請求項６記載の移動体の動き分類方法において、
前記計測部から得られるデータは、角速度を用いていることを特徴とする移動体の動き分類方法。
請求項６記載の移動体の動き分類方法において、
前記計測部から得られるデータは、加速度と角速度の両方を用いていることを特徴とする移動体の動き分類方法。
センサを装着する移動体の動きに伴う動き変化データを計測する計測部と、前記計測部で計測された動き変化データを処理する情報処理部と、前記計測部と前記情報処理部との間でデータの送受信を行う通信部とを備え、移動体の動きを分類する移動体の動き分類システムにおいて、
前記情報処理部は、
前記計測部で得られ前記通信部を介して受信した動き変化データから解析データを生成する解析データ生成部と、
前記動き変化データを記録する波形記録部と、
前記解析データの平均値から正規化データを生成する正規化データ生成部と、
前記正規化データから前記移動体の動きの特徴量を所定の時間領域毎に算出する特徴量算出部と、
前記特徴量と、予め計測した移動体の各動きに対する各分類用特徴量とを比較して、所定の特徴量に類似する移動体の動きに分類する分類処理部と、を備え、
前記分類処理部で、分類されなかった移動体の動きに対する前記解析データについて、前記正規化データ生成部によりあらためて前記解析データの平均値から正規化データを生成し、前記特徴量算出部により、当該正規化データから特徴量を算出し、前記分類処理部により当該特徴量に基づいて、前記移動体の動きを分類する一連の工程を複数回繰り返すことを特徴とする移動体の動き分類システム。