JP2011177300A - 特徴量変換装置、および特徴量変換方法 - Google Patents

Abstract

【課題】被験者の動作を個人ごとに適応して識別でき、識別精度を向上した新しい特徴量変換装置を提供する。
【解決手段】少なくとも１以上の基準者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得する部と、少なくとも１以上の基準者の基準者特徴量、および被験者の被験者特徴量を抽出する部と、少なくとも１以上の基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出する算出部と、前記標準特徴量と被験者特徴量との間の変換行列を算出する部と、被験者の識別対象動作をした場合の識別対象動作データを取得する部と、被験者の識別対象動作データから、被験者の識別対象特徴量を抽出する抽出部と、識別対象動作データの識別対象特徴量を、変換行列を用いて変換する部と、を有する特徴量変換装置。
【選択図】図１

Description

本開示は、特徴量変換装置、および特徴量変換方法に関する。

加速度センサやジャイロセンサなどの運動計測装置を人体に装着させて、被験者の動作を計測して識別する動作識別技術が一般的に知られている（たとえば、非特許文献１参照）。

Ling Bao, Stephen S. Intille, "Activity Recognition from User-Annotated Acceleration Data", In Second International Conference on Pervasive Computing, pp.1-17, 2004

しかしながら、従来の動作識別技術では、運動計測装置から計測して得られたセンサデータ（動作データ）から、被験者の動作に応じた特徴量を抽出し、その被験者の動作を識別するものであるが、動作を個人ごとに適応して識別するものではなく、その識別精度が低くなってしまうという問題点があった。

すなわち、異なる２人が同じ動作をした場合であっても、性別・年齢などの体格差、利き手・利き足などの個人差、およびセンサ装着位置のズレなどの差異に起因して、両者の動作データは異なり、したがって、動作データから抽出した特徴量も異なるのが一般的である。学習段階においては、そのような異なる動作データ、特徴量に対して同一の動作であると識別するように識別器を作成しなければならないため、識別器の精度が低下する。また識別段階においては、学習時の被験者と異なる体格等の対象者に対して、識別ミスをする可能性が高まる。

そこで、識別器において被験者の動作を個人ごとに適応して識別でき、識別精度を向上した新しい特徴量変換装置や特徴量変換方法を提供することが望まれる。

本開示の特徴量変換装置は、少なくとも１以上の基準者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得する規定動作データ取得部と、前記各規定動作データから、前記少なくとも１以上の基準者の規定動作データの基準者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出する第１特徴量抽出部と、前記少なくとも１以上の前記基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出する算出部と、前記算出された標準特徴量と前記被験者特徴量との間の変換行列を算出する変換行列算出部と、前記被験者の識別対象動作をした場合の識別対象動作データを取得する識別対象動作データ取得部と、前記被験者の識別対象動作データから、前記被験者の識別対象動作データの識別対象特徴量を抽出する第２特徴量抽出部と、前記識別対象動作データの識別対象特徴量を、前記変換行列を用いて変換する変換部と、を有する。

また、本開示の特徴量変換装置は、前記基準者は複数であり、前記標準特徴量算出部が、複数の前記標準特徴量を算出する場合、前記変換行列算出部は、前記各標準特徴量と前記被験者特徴量との差分値をそれぞれ算出し、該算出した差分値が最も小さい１の前記標準特徴量と前記被験者特徴量との間の変換行列を算出することができる。

さらに、本開示の特徴量変換装置は、前記変換部で前記変換された識別対象特徴量から前記被験者の識別対象動作を識別する識別部をさらに有することができる。

さらに、本開示の特徴量変換装置は、前記少なくとも１以上の基準者と前記被験者とのそれぞれの規定動作データを用いて、前記少なくとも１以上の基準者と前記被験者との各規定動作データの対応する区間を抽出する対応区間抽出部をさらに有し、前記変換行列算出部は、前記抽出された対応する区間の情報に基づいて、前記標準特徴量と前記被験者特徴量との間の変換行列を算出することもできる。

本開示の特徴量変換方法は、制御ユニットと、記憶ユニットとを有する情報処理装置が実行する特徴量変換方法であって、前記制御ユニットが、少なくとも１以上の基準者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得して前記記憶ユニットに記憶することと、前記制御ユニットが、前記記憶ユニットに記憶された前記各規定動作データを読み出し、該読み出した各規定動作データから、前記少なくとも１以上の基準者の規定動作データの基準者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出することと、前記制御ユニットが、前記少なくとも１以上の前記基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出することと、前記制御ユニットが、前記算出された標準特徴量と前記被験者特徴量との間の変換行列を算出して前記記憶ユニットに記憶することと、前記制御ユニットが、前記被験者の識別対象動作をした場合の識別対象動作データを取得して前記記憶ユニットに記憶することと、前記制御ユニットが、前記記憶ユニットに記憶された前記被験者の識別対象動作データを読み出し、該読み出した識別対象動作データから、前記被験者の識別対象動作データの識別対象特徴量を抽出することと、前記制御装置が、前記記憶ユニットに記憶された前記変換行列を読み出し、該読み出した変換行列を用いて前記識別対象動作データの識別対象特徴量を変換することと、を有する。

本実施形態の動作識別システム１の概略構成を示すブロック図である。 本実施形態の運動計測装置１０を被験者等に装着させた一例を示す図である。 本実施形態の特徴量変換装置２０のハードウェア構成を示す概略図である。 本実施形態の右手データを左手データに変換するための回転行列Ｒを説明するための図である。 本実施形態の基準者特徴量をクラスタリングした一例を示す図である。 本実施形態の特徴量変換装置２０の特徴量変換方法におけるフローチャートの一例を示す。

以下、本開示を実施するための好適な実施形態を、図面を参照しながら説明する。

図１は、本実施形態の動作識別システム１の概略構成を示すブロック図である。

動作識別システム１は、図１に示すとおり、運動計測装置１０ａ〜１０ｅと、特徴量変換装置２０とを含んで構成され、各運動計測装置１０ａ〜１０ｅと特徴量変換装置２０とは無線または有線で通信可能に接続され、データの送受信を行うことができる。なお、各運動計測装置１０ａ〜１０ｅと特徴量変換装置２０とは、無線または有線で通信可能に接続される場合に限られず、たとえば、ＵＳＢメモリなどのメディアを介してデータの受け渡しを行うこともできる。

運動計測装置１０ａ〜１０ｅは、模範者や、基準者と被験者との身体に装着される装置であって、加速度センサ１１と、ジャイロセンサ１２と、各センサで計測されたセンサデータを特徴量変換装置２０に送信する通信部１３と、該通信部１３および各センサ１１，１２を制御する制御部１４を有する。複数の運動計測装置１０ａ〜１０ｅは、模範者、基準者および被験者の各部位、たとえば、図２に示すように、右手首（１０ａ）、左手首（１０ｂ）、腰（１０ｃ）、右足（１０ｄ）、左足（１０ｅ）に装着される。なお、図２では、運動計測装置を装着させる部位の数を５つとした場合を例示しているが、これに限られず、少なくとも身体の１つ以上の部位に運動計測装置を装着させることができる。

ここで、本実施形態における被験者とは、特徴量変換装置２０を用いて、動作を識別する対象者である。また、本実施形態における基準者とは、後述するように、特徴量変換装置２０において、被験者の動作を識別する際に用いる変換行列の算出に必要な標準特徴量を生成するため、該標準特徴量の生成に必要な動作データの基となる動作をする者である。また、基準者とは、特徴量変換装置２０の識別部が被験者の動作を識別する際に、識別部に予め学習しておく基準となる動作をする者でもある。さらに、模範者とは、後述するように、特徴量変換装置２０において、基準者と被験者との各動作データの対応区間を推定するために用いる動作データの基となる動作をする者である。

本実施形態の運動計測装置１０において、加速度センサ１１は、３次元の軸方向（ｘ軸方向、ｙ軸方向、ｚ軸方向）の加速度成分を計測する３軸加速度センサであり、また、ジャイロセンサ１２は、３次元の軸回り（ｘ軸回り、ｙ軸回り、ｚ軸回り）の角速度成分を計測する３軸ジャイロセンサである。

なお、運動計測装置１０ａ〜１０ｅの構成および機能や、該運動計測装置１０ａ〜１０ｅで用いられる加速度センサ１１およびジャイロセンサ１２の構成および機能は、一般的に知られている運動計測装置や、加速度センサおよびジャイロセンサのものと原則として共通とすることができるので、ここでの詳細な説明は省略する。また、加速度センサ１１は、上記のように、３軸加速度センサに限られず、１軸加速度センサまたは２軸加速度センサを用いることもできる。ジャイロセンサ１２の場合も同様である。

特徴量変換装置２０は、被験者に装着された運動計測装置１０ａ〜１０ｅから、被験者の識別対象動作をした場合のセンサデータを取得し、該センサデータから算出した識別対象特徴量を変換する装置である。なお、本実施形態においては、特徴量変換装置２０は、被験者の動作を識別する動作識別装置としての機能を併せもつ。

特徴量変換装置２０は、ハードウェアとして、図３に示すように、たとえば、ＣＰＵ、ＣＰＵにバス結合されたＲＯＭ、ＲＡＭ、記憶部、入力部、表示部、および入出力インタフェースなど、通常のコンピュータ装置と同様のハードウェアを備える。これら特徴量変換装置２０は、物理的には、専用化したシステム、あるいは汎用の情報処理装置のいずれであってもよい。たとえば、一般的な構成の情報処理装置において、本開示の特徴量変換方法における各処理を規定したソフトウェアを起動することにより、特徴量変換装置２０を実現することもできる。

特徴量変換装置２０は、機能的には、図１に示すように、規定動作データ取得部２１、対応区間抽出部２２、左右データ変換部２３、第１特徴量抽出部２４、標準特徴量算出部２５、変換行列算出部２６、識別対象動作データ取得部２７、第２特徴量抽出部２８、変換部２９、識別部３０、およびデータベース３１を有する。これら各部は、たとえば、主にＣＰＵ（制御ユニット）がＲＯＭやＲＡＭに格納されるプログラムを実行し、各ハードウェアを制御することによって実現することができ、データベース３１は、ＲＡＭや記憶部（記憶ユニット）を用いて実現することができる。

データベース３１は、模範者、少なくとも１以上の基準者、および被験者がそれぞれ規定動作を計測・取得した動作データ（規定動作データ）を記憶する。なお、模範者の規定動作データは、規定動作を分節化し、各区間に行動の識別情報（行動ラベル）を予めラベリングされたデータであって、後述するように、基準者と被験者との各規定動作データの対応区間を推定するために用いる動作データである。

規定動作データ取得部２１は、少なくとも１以上の基準者（たとえば、基準者Ａ１〜Ａ４の４人）と被験者Ｂとが規定動作をした場合のそれぞれの規定動作データを取得する。すなわち、規定動作データ取得部２１は、基準者Ａ１の身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された、各運動計測装置１０ａ〜１０ｅごとの規定動作データＡ１ａ〜Ａ１ｅを受信して取得する。基準者Ａ２，Ａ３，Ａ４、および被験者Ｂも同様に、それぞれ、規定動作データＡ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅ、およびＢａ〜Ｂｅを取得する。各規定動作データＡ１ａ〜Ａ１ｅ，Ａ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅ、およびＢａ〜Ｂｅはそれぞれ、３次元の軸方向の加速度成分と３次元の軸回りの角速度成分とを含む６次元ベクトルν＝（ｇ_ｘ，ｇ_ｙ，ｇ_ｚ，ａ_ｘ，ａ_ｙ，ａ_ｚ）の時系列データとして表現することができる。

ここで、規定動作とは、模範者Ｃや、基準者Ａ１〜Ａ４と被験者Ｂとが運動計測装置１０を装着させて行う予め規定された一連の姿勢・動作である。規定動作は、たとえば、「気をつけ」の姿勢から腕を真っ直ぐ前方に出して「前へならえ」の姿勢をし、次にそのまま腕を真っ直ぐ上方にもってきて「手先を天に向けた」姿勢をし、次に自分の身体の正面に平行に腕を下げて「両腕を横に広げた」姿勢をし、次にさらに自分の身体の正面に平行に腕を下げて「気をつけ」の姿勢をするといったいわゆる「深呼吸」の一連の姿勢・動作とすることができる。また、各姿勢では、一定時間、静止状態を保つように、たとえば、加速度センサで計測されたデータの場合、運動計測装置を装着した部位にかかる重力加速度成分が０、もしくは最大・最小値（±１Ｇ）の値を取るような姿勢を含むようにする。その結果、各姿勢における静止状態、および各姿勢から次の姿勢までの動作状態を一区間（検出区間）として分節化が可能となる。たとえば、上記の「深呼吸」の一連の姿勢・動作の例でいえば、「気をつけ」の姿勢、「気をつけ」の姿勢から「前へならえ」の姿勢までの動作、「前へならえ」の姿勢、「前へならえ」の姿勢から「手先を天に向けた」姿勢までの動作、「手先を天に向けた」姿勢、「手先を天に向けた」姿勢から「両腕を横に広げた」姿勢までの動作、「両腕を横に広げた」姿勢、「両腕を横に広げた」姿勢から「気をつけ」の姿勢までの動作、「気をつけ」の姿勢と、９個の規定姿勢・動作に分節化が可能となる。

なお、規定動作は、上記「深呼吸」の場合の他にも、上半身全体、下半身全体、または全身を用いる姿勢や動作を組み合わせて行う一連の規定姿勢・動作、たとえば、ラジオ体操等の全身運動を含んだ一連の動作からなるシナリオや、種々の業態での作業者が行う可能性のある動作（看護師が実施する衛生的手洗いや消毒、バイタル計測、点滴作成作業など）とすることができる。さらに、規定動作は、基準者Ａ１〜Ａ４や被験者Ｂの利き手や利き足を用いた特徴的な規定姿勢・動作、たとえば、右手でボールを投げる、右手で包丁を使う、および左足でボールを蹴るなどの一連の規定姿勢・動作を含むことができる。

規定動作データ取得部２１は、基準者Ａ１〜Ａ４に装着された運動計測装置１０ａ〜１０ｅごとに計測され、上記規定動作を分節化した区間ごとの６次元ベクトルの時系列データからなる規定動作データＡ１ａ〜Ａ１ｅ，Ａ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅに対して、行動の識別情報（行動ラベル）をラベリングし、データベース３１に記憶する。なお、基準者Ａ１〜Ａ４および被験者Ｂに規定動作をそれぞれ複数回させ、各規定動作データをそれぞれ複数回分取得することができる。

対応区間抽出部２２は、基準者と被験者とのそれぞれの規定動作データを用いて、基準者と被験者との各規定動作データの対応する区間を抽出する。具体的には、対応区間抽出部２２は、各規定動作データの対応する区間を抽出するために、予め計測・取得した模範者の規定動作データＣａ〜Ｃｅをデータベース３１から取得し、該取得した模範規定動作データＣａ〜Ｃｅと、各規定動作データＡ１ａ〜Ａ１ｅ，Ａ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅ，Ｂａ〜Ｂｅとをそれぞれ対比し、ＤＰマッチングなどの２つの時系列データ間の類似度を検知する手法を用いて基準者Ａ１〜Ａ４および被験者Ｂと模範者Ｃとのそれぞれ対応する区間を抽出することで、基準者と被験者との各規定動作データの対応する区間を抽出する。

すなわち、ＤＰマッチングを用いて、模範者Ｃの規定動作データの上記分節化された区間・行動ラベルに対応する基準者Ａ１〜Ａ４および被験者Ｂの規定動作データの区間・行動ラベルを推定する。たとえば、模範者Ｃと基準者Ａ１とが右手首の部位に運動計測装置１０ａを装着して計測された規定動作データＣａと規定動作データＡ１ａとの対応する区間を抽出する場合、模範者Ｃの「気をつけ」の姿勢の一区間の規定動作データと、該区間に対応する基準者Ａ１の「気をつけ」の姿勢の一区間の規定動作データとを抽出する。なお、ＤＰマッチングを用いる上記手法は、従来のＤＰマッチングと同様の手法を用いることができるので、ここでの詳細な説明は省略するが、ＤＰマッチングの距離尺度は、たとえば、生データ間のユークリッド距離を用いる。

左右データ変換部（データ変換部）２３は、被験者Ｂの利き手および利き足の少なくともいずれかの部位が基準者Ａ１〜Ａ４の利き手および利き足の部位と異なる場合に、該当する被験者Ｂの規定動作データと基準者Ａ１〜Ａ４の規定動作データとを対応させるようにデータ変換する。なお、基準者Ａ１〜Ａ４は、たとえば、予め利き手・利き足（たとえば、右手・右足）が同じ者とすることができる。

左右データ変換部２３は、たとえば、基準者Ａ１〜Ａ４と被験者Ｂとの利き手および利き足情報が予め特徴量変換装置２０に入力されるものとし、基準者Ａ１〜Ａ４が右利きで、被験者Ｂが左利きの場合には、被験者Ｂの左手首に装着された運動計測装置１０ａで計測された左手首の規定動作データ（左手データ）に対して、これを右手首の規定動作データ（右手データ）にデータ変換する。なお、利き手・利き足で無い他方の手・足も同様に変換することができる。この変換は、たとえば、図４に示すように、身体の対称性を利用して簡単な回転行列Ｒを用いて行うことができる。すなわち、図４のように計測時の座標系を設定している場合、左手首の動作を計測した規定動作データを、右手首の動作を計測した規定動作データとして鏡像に変換するには、加速度成分はｘ軸で計測した加速度データのみを反転するように数式（１）を用いて、角速度成分はｘ軸以外の要素が反転するように数式（２）を用いることができる。なお、回転行列Ｒは、計測時の座標系、具体的には、運動計測装置を各部位に付ける向きなどに合わせて設定することができる。

よって、図４に示す場合であれば、左手首の規定動作データ（左手データ）に対して、これを右手首の規定動作データ（右手データ）に変換する左右変換行列は、下記の数式（３）となる。

第１特徴量抽出部２４は、規定動作データ取得部２１で取得された基準者Ａ１〜Ａ４の規定動作データＡ１ａ〜Ａ１ｅ，Ａ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅ、および被験者Ｂの規定動作データＢａ〜Ｂｅから、部位ごとに、基準者Ａ１〜Ａ４の各規定動作データの基準者特徴量（基準者特徴ベクトル）、および被験者Ｂの規定動作データの被験者特徴量（被験者特徴ベクトル）を抽出する。なお、規定動作データ取得部２１において、基準者Ａ１〜Ａ４および被験者Ｂの各規定動作データをそれぞれ複数回取得した場合、それぞれ複数回分の基準者特徴量および被験者特徴量を抽出する。

ここで、特徴量の抽出方法について説明する。第１特徴量抽出部２４は、各規定動作データ（加速度データおよび角速度データ）から各基準者特徴量および被験者特徴量を抽出する際に、各規定動作データの検出区間ごとに、たとえば、時系列のデータに一定時間のスライディングウィンドウ（一定の時間窓）を適用し、そのウィンドウ毎にウィンドウ内の各データの平均および標準偏差を平均特徴ベクトルおよび標準偏差ベクトルとして求める。そして、各規定動作データの検出区間ごとに、その区間に含まれる各ウィンドウの平均特徴ベクトルおよび標準偏差ベクトルについての平均値を求め、平均ベクトルμ（６次元ベクトル）と偏差ベクトルσ（６次元ベクトル）、すなわち１２次元の特徴ベクトルを得る。平均ベクトルμおよび偏差ベクトルσを、規定動作を分割した検出区間ごとに抽出することにより、規定姿勢・動作の検出区間が全部でｎ個である場合、１つの運動計測装置１０ａで計測された規定動作データに対して１２次元の特徴量（特徴ベクトル）をｎ区間分抽出することができる。そして、他の運動計測装置１０ｂ〜１０ｅから計測された規定動作データに対しても同様に特徴量（特徴ベクトル）を抽出する。なお、このような特徴量を抽出する手法は、上記非特許文献１などに記載の技術を利用することができる。

標準特徴量算出部２５は、基準者Ａ１〜Ａ４ごとに抽出された各基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出する。１つの標準特徴量を算出する場合、たとえば、基準者Ａ１〜Ａ４ごとに抽出された各基準者特徴量の平均特徴量とする。また、複数の標準特徴量を算出する場合、たとえば、各基準者特徴量を複数のクラスタにクラスタリングし、クラスタごとに含まれる基準者特徴量の平均特徴量とする。クラスタリング手法としては、ｋ−ｍｅａｎｓ法や、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）法などの手法を用いることができる。たとえば、図５に、基準者Ａ１〜Ａ４による同一動作の特徴量をクラスタリングした例を示す。クラスタリングされた特徴量（特徴クラスタ）は、一般に多変量正規分布で表現でき、ある規定動作ａ_ｉ∈｛ａ_１，ａ_２，・・・，ａ_ｎ｝について４個のクラスタに分割できたとすると、各平均ベクトルをμ_ｋ（ｋ＝１，２，３，４）とし、標準特徴量モデルとする。これをｎ個の検出区間について全て求めておき、それぞれの検出区間について適切なクラスタ数を持つ標準特徴量モデルを構成する。

変換行列算出部２６は、部位ごとに、標準特徴量と被験者特徴量との間の変換行列を、上記抽出された対応する区間の情報に基づいて算出する。複数の標準特徴量を算出する場合、変換行列算出部２６は、各標準特徴量と被験者特徴量との差分値をそれぞれ算出し、該算出した差分値が最も小さい１の標準特徴量と被験者特徴量との間の変換行列を算出する。各標準特徴量と被験者特徴量との差分値は、被験者の被験者特徴量の平均ベクトルμ_ａと、標準特徴量の各平均ベクトルμ_ｋ（ｋ＝１，２，３，４）との間のユークリッド距離で表すことができる。変換行列算出部２６は、該ユークリッド距離が最短の特徴クラスタ、すなわち、差分値が最も小さい１の標準特徴量を選択し、該１の標準特徴量と被験者特徴量との間の変換行列を算出する。該算出した変換行列は、データベース３１に記憶する。

ここで、上記変換行列の算出方法について説明する。１の基準者（たとえば、基準者Ａ１）および被験者Ｂにおいて対応する部位ａで計測された規定動作データＡ１ａ，Ｂａから抽出した一検出区間ｉにおける各特徴ベクトル（１２次元のベクトル）をそれぞれμ_ｉ，Ａ１，μ_ｉ，Ｂとすると、これらの関係はアフィン変換として数式（４）で表現することができる。したがって、数式（４）より、一検出区間ｉにおける基準者の特徴ベクトルから被検者の特徴ベクトルへアフィン変換する変換行列Ｔ_ａｉを算出することができる。本実施形態では、各区間について算出した変換行列Ｔ_ａｉ（ｉ＝１，・・・，ｎ）の平均を求め、これを被検者の被検者特徴量から基準者の基準者特徴量へアフィン変換する変換行列（特徴標準化行列）Ｔとして用いる。なお、特徴標準化行列Ｔは、たとえば、音声認識の話者適応技術で広く用いられる最尤回帰（ＭＬＬＲ：Maximum Likelihood Linear Regression）法、最大事後確率推定（ＭＡＰ：Maximum A Posteriori Probability）法、またはこれら両者を組み合わせたＭＬＬＲ−ＭＡＰ法（参考文献：Digalakis, V.V.; Neumeyer, L.G., “Speaker Adaptation using Combined Transformation and Bayesian methods”, IEEE Trans. On Speech and Audio Processing, Vol.4, Issue 4, pp.294-300, 1996）などの方法を用いることができる。

識別対象動作データ取得部２７は、被験者Ｂが識別対象動作をした場合の識別対象動作データを取得する。すなわち、識別対象動作データ取得部２７は、被験者Ｂの身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された識別対象動作データＸａ〜Ｘｅを受信して取得する。該取得した識別対象動作データは、データベース３１に記憶する。

第２特徴量抽出部２８は、計測された被験者の識別対象動作データから、部位ごとに、被験者Ｂの識別対象動作データの識別対象特徴量（識別対象特徴ベクトル）ｘを抽出する。なお、第２特徴量抽出部は、第１特徴量抽出部と同様の手法で、識別対象特徴量ｘを抽出することができる。

変換部２９は、識別対象動作データの識別対象特徴量ｘを、変換行列Ｔを用いて被験者用標準特徴量（標準特徴ベクトル）ｘ^＊に変換する。

識別部３０は、被験者用標準特徴量から被験者の識別対象の動作を識別する識別器である。識別部３０は、クラスタごとに、各クラスタに対応する基準者から識別対象動作データを取得し、該取得した識別対象動作データから抽出した特徴量を学習データとして識別器を作成する。たとえば、識別部３０は、基準者Ａ１〜Ａ４の各基準者特徴量が４つのクラスタＰ１〜Ｐ４にクラスタリングされたとすると、クラスタＰ１に対応する基準者特徴量を学習データとして識別器を作成する。クラスタＰ２〜Ｐ４に対応する基準者特徴量に関しても同様である。よって、１のクラスタに対応する変換行列を用いて、被験者の識別対象動作データの識別対象特徴量から被験者用標準特徴量に変換することで、そのクラスタに対応する体格等を仮定した場合の被験者の特徴量を得ることができる。その結果、被験者の未知の行動に対して、被験者の体格等と、そのクラスタに対応する体格等との差を吸収し、被験者の識別対象動作を高精度で識別することができる。なお、本実施形態において、識別部として、サポートベクトルマシン（ＳＶＭ）やｋ−ＮＮ、ＨＭＭなど種々の識別手法を適用することができる。

以下、図６に示すフローチャートを参照して、特徴量変換装置２０を用いて実施される本実施形態の特徴量変換方法を説明する。図６のフローでは、基準者Ａ１〜Ａ４と被験者Ｂとの各規定動作データを計測し、変換行列を算出する変換行列算出段階と、変換行列を算出した後、実際の被験者の識別対象動作を識別する識別段階とを含む。なお、データベース３１には、模範者の規定動作を予め計測・取得した模範者の規定動作データであって、規定動作を分節化し、各区間に行動の識別情報（行動ラベル）を予めラベリングした規定動作データが記憶されているものとする。また、各図のフローチャートで示される各処理は、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。

まず、変換行列算出段階として、特徴量変換装置２０は、基準者Ａ１〜Ａ４が規定動作をした場合のそれぞれの規定動作データを取得する（ステップＳ１００）。すなわち、特徴量変換装置２０は、基準者Ａ１の身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された、各運動計測装置１０ａ〜１０ｅごとの規定動作データＡ１ａ〜Ａ１ｅを受信して取得する。基準者Ａ２，Ａ３，Ａ４も同様に、それぞれ、規定動作データＡ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅを取得する。また、特徴量変換装置２０は、基準者Ａ１〜Ａ４に装着された運動計測装置１０ａ〜１０ｅごとに計測された規定動作データＡ１ａ〜Ａ１ｅ，Ａ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅに対して、行動の識別情報（行動ラベル）をラベリングし、データベース３１に記憶する。

次いで、特徴量変換装置２０は、基準者Ａ１〜Ａ４と模範者Ｃとのそれぞれの規定動作データを用いて、基準者Ａ１〜Ａ４と模範者Ｃとの各規定動作データの対応する区間を抽出する（ステップＳ１０１）。すなわち、特徴量変換装置２０は、各規定動作データＡ１ａ〜Ａ１ｅ，Ａ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅと、予め計測され、規定動作を分節化した区間に対してラベリングされた模範者の規定動作データＣａ〜Ｃｅとをそれぞれ対比し、ＤＰマッチングなどの２つの時系列データ間の類似度を検知する手法を用いて基準者Ａ１〜Ａ４と模範者Ｃとのそれぞれ対応する区間を抽出する。なお、基準者Ａ１〜Ａ４に規定動作をそれぞれ複数回させ、各規定動作データをそれぞれ複数回分取得することができる。

次いで、特徴量変換装置２０は、基準者Ａ１〜Ａ４の規定動作データＡ１ａ〜Ａ１ｅ，Ａ２ａ〜Ａ２ｅ，Ａ３ａ〜Ａ３ｅ，Ａ４ａ〜Ａ４ｅから、部位ごとに、基準者Ａ１〜Ａ４の各規定動作データの基準者特徴量を抽出する（ステップＳ１０２）。上述の抽出方法を用いて抽出した結果、部位ごとに、各基準者特徴量としてそれぞれ１２次元のベクトルを規定動作のｎ区間分得ることができる。

次いで、部位ごとに、基準者Ａ１〜Ａ４ごとに抽出された各基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出する（ステップＳ１０３）。複数の標準特徴量を算出する場合、たとえば、各基準者特徴量を複数のクラスタにクラスタリングし、クラスタごとに含まれる基準者特徴量の平均特徴量とする。図５に、基準者Ａ１〜Ａ４による同一動作の特徴量をクラスタリングした例を示す。クラスタリングされた特徴量（特徴クラスタ）は、一般に多変量正規分布で表現でき、ある規定動作ａ_ｉ∈｛ａ_１，ａ_２，・・・，ａ_ｎ｝について４個のクラスタに分割できたとすると、各平均ベクトルをμ_ｋ（ｋ＝１，２，３，４）とし、標準特徴量モデルとする。

次いで、特徴量変換装置２０は、被験者Ｂが規定動作をした場合の規定動作データを取得する（ステップＳ１０４）。すなわち、特徴量変換装置２０は、上述した基準者Ａ１〜Ａ４の場合と同様に、被験者Ｂの規定動作データＢａ〜Ｂｅを取得し、該取得した規定動作データＢａ〜Ｂｅに対して、行動の識別情報（行動ラベル）をラベリングし、データベース３１に記憶する。

次いで、特徴量変換装置２０は、被験者Ｂと模範者Ｃとのそれぞれの規定動作データを用いて、被験者Ｂと模範者Ｃとの各規定動作データの対応する区間を抽出する（ステップＳ１０５）。すなわち、特徴量変換装置２０は、規定動作データＢａ〜Ｂｅと、模範者の規定動作データＣａ〜Ｃｅとを対比し、ＤＰマッチングなどの２つの時系列データ間の類似度を検知する手法を用いて被験者Ｂと模範者Ｃとのそれぞれ対応する区間を抽出する。なお、被験者Ｂに規定動作をそれぞれ複数回させ、各規定動作データをそれぞれ複数回分取得することができる。

次いで、特徴量変換装置２０は、被験者Ｂの利き手および利き足の少なくともいずれかの部位が基準者Ａ１〜Ａ４の利き手および利き足の部位と異なる場合に、該当する被験者Ｂの規定動作データと基準者Ａ１〜Ａ４の規定動作データとを対応させるようにデータ変換する（ステップＳ１０６）。基準者Ａ１〜Ａ４と被験者Ｂとの利き手および利き足情報が予め特徴量変換装置２０に入力されるものとし、基準者Ａ１〜Ａ４が右利きで、被験者Ｂが左利きの場合には、被験者Ｂの左手首に装着された運動計測装置１０ａで計測された左手首の規定動作データ（左手データ）に対して、これを右手首の規定動作データ（右手データ）にデータ変換する。

次いで、特徴量変換装置２０は、被験者Ｂの規定動作データＢａ〜Ｂｅから、部位ごとに、被験者Ｂの規定動作データの被験者特徴量を抽出する（ステップＳ１０７）。上述の抽出方法を用いて抽出した結果、部位ごとに、被験者特徴量として１２次元のベクトルを規定動作のｎ区間分得ることができる。

次いで、特徴量変換装置２０は、部位ごとに、標準特徴量と被験者特徴量との間の変換行列を、上記抽出された対応する区間の情報に基づいて算出する（ステップＳ１０８）。複数の標準特徴量を算出する場合、各標準特徴量と被験者特徴量との差分値をそれぞれ算出し、該算出した差分値が最も小さい１の標準特徴量と被験者特徴量との間の変換行列を、上記抽出された対応する区間の情報に基づいて算出する。たとえば、クラスタＰ１の標準特徴量と被験者特徴量との差分値が最も小さい場合、上述の変換行列の算出方法を用いて、クラスタＰ１の標準特徴量と被験者特徴量との間の変換行列Ｔを求めることができる。該取得した変換行列Ｔは、データベース３１に記憶する。

次に、識別段階として、まず、特徴量変換装置２０は、被験者Ｂが識別対象動作をした場合の識別対象動作データを取得する（ステップＳ１０９）。すなわち、特徴量変換装置２０は、被験者Ｂの身体の各部位に装着された各運動計測装置１０ａ〜１０ｅを用いて計測された識別対象動作データＸａ〜Ｘｅを受信して取得する。該取得した識別対象動作データＸａ〜Ｘｅは、データベース３１に記憶する。

次いで、特徴量変換装置２０は、計測された被験者の識別対象動作データから、部位ごとに、被験者Ｂの識別対象動作データの識別対象特徴量を抽出する（ステップＳ１１０）。上述の抽出方法を用いて抽出した結果、部位ごとに、識別対象特徴量として、１２次元のベクトルをｎ区間分得ることができる。

次いで、特徴量変換装置２０は、識別対象動作データの識別対象特徴量ｘを、変換行列Ｔを用いて被験者用標準特徴量ｘ^＊に変換する（ステップＳ１１１）。たとえば、被験者Ｂの識別対象特徴量μ^Ｂ(ｔ)を変換行列Ｔを用いて被験者用標準特徴量μ^Ｂ→Ａ１(ｔ)に変換する。

次いで、特徴量変換装置２０は、被験者用標準特徴量ｘ^＊に基づいて被験者の識別対象動作を識別する（ステップＳ１１２）。なお、特徴量変換装置２０において、被験者の識別対象動作を識別する前に、クラスタごとに、各クラスタに対応する基準者から識別対象動作データを取得し、該取得した識別対象動作データから抽出した特徴量を学習データとして識別器を予め作成しておく。

以上のように、本実施形態の特徴量変換装置および特徴量変換方法によれば、基準者Ａ１〜Ａ４と被験者Ｂとの各規定動作データを予め計測して各基準者特徴量および被験者特徴量を算出し、算出した各基準者特徴量から標準特徴量を算出し、被験者の被験者特徴量を標準特徴量に変換する変換行列を求めておき、被験者の識別対象動作の識別対象特徴量をかかる変換行列を用いて変換することで、性別・年齢などの体格差、利き手・利き足などの個人差、およびセンサ装着位置のズレなどの差異を考慮した被験者の識別対象動作を識別することができる。

また、本開示の特徴量変換装置および特徴量変換方法は、センサデータを用いた特徴量変換を必要とするあらゆるアプリケーションに適用することができる。具体的には、人の動作認識を用いたゲーム等のアミューズメント業界、俳優の動作をＣＧキャラクターの動作に変換するための映画・アニメーション業界、医師・看護師等の動作を認識し遠隔の患者への治療支援を行うなどの医療・介護・リハビリテーション業界、または原子力プラントや宇宙・深海など危険空間でのロボットオペレーションなど様々な業界で使用するアプリケーションに適用することができる。
＜変形例＞

以上のように本開示の好適な実施形態について説明したが、本開示は、以上の実施形態に限定されるべきものではなく、特許請求の範囲に表現された思想および範囲を逸脱することなく、種々の変形、追加、および省略が当業者によって可能である。

たとえば、上記実施形態では、加速度センサおよびジャイロセンサの両方が組み込まれた運動計測装置を例にとって説明したが、本開示はこれに限られず、たとえば、加速度センサのみ、またはジャイロセンサのみを用いることもできる。

また、上記実施形態では、対応区間抽出部２２を有し、対応する分節化された区間を特定する場合を例にとって説明したが、本開示はこれに限られず、対応区間抽出部２２を省略することもできる。この場合、たとえば、予め基準者Ａ１の規定動作データを計測し、該規定動作データの対応区間を定めておき、特徴量変換装置２０が、基準者Ａ２〜Ａ４および被験者Ｂに対応区間ごとの姿勢・動作を行うように促すように提示することで、基準者Ａ１〜Ａ４と被験者Ｂの規定動作データの共通する区間を対応づけることができる。

さらに、上記実施形態では、基準者Ａ１〜Ａ４と被験者Ｂとの利き手・利き足を考慮した例を説明したが、本開示はこれに限られず、利き手・利き足を限定して特徴量変換装置を用いることもできる。この場合、左右データ変換部２３は省略することができる。

さらに、上記実施形態では、基準者を４人の場合を例にとって説明したが、本開示はこれに限られず、基準者は少なくとも１以上であればよく、たとえば、基準者を１人とし、該基準者と被験者との変換行列を算出するようにすることもできる。

さらに、上記実施形態では、特徴量変換装置２０において、それぞれの処理機能を有する各部が備えられている構成を説明したが、本開示はこれに限られず、各部の一部または全部が特徴量変換装置２０と通信可能に接続されたネットワークの他の装置に分散して配されていてもよい。たとえば、識別部３０を特徴量変換装置２０自体に設けるのではなく、他の装置として利用することができる。

さらに、特徴量変換装置２０には、用途に応じた各部がそれぞれ備えられているが、特徴量変換装置２０に備えられている各部は、そのいくつかを一纏めにして構成されていてもよいし、一つの部をさらに複数の部に分割して構成されていてもよい。

１ 動作識別システム、
１０ａ〜１０ｅ 運動計測装置、
１１ 加速度センサ、
１２ ジャイロセンサ、
２０ 特徴量変換装置、
２１ 規定動作データ取得部、
２２ 対応区間抽出部、
２３ 左右データ変換部、
２４ 第１特徴量抽出部、
２５ クラスタリング部、
２６ 変換行列算出部、
２７ 識別対象動作データ取得部、
２８ 第２特徴量抽出部、
２９ 変換部、
３０ 識別部、
３１ データベース。

Claims (6)

1. 少なくとも１以上の基準者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得する規定動作データ取得部と、
   前記少なくとも１以上の基準者と前記被験者とのそれぞれの規定動作データを用いて、前記少なくとも１以上の基準者と前記被験者との各規定動作データの対応する区間を抽出する対応区間抽出部と、
   前記各規定動作データから、前記少なくとも１以上の基準者の規定動作データの基準者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出する第１特徴量抽出部と、
   前記少なくとも１以上の前記基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出する標準特徴量算出部と、
   前記算出された標準特徴量と前記被験者特徴量との間の変換行列を算出する変換行列算出部と、
   前記被験者が識別対象動作をした場合の識別対象動作データを取得する識別対象動作データ取得部と、
   前記被験者の識別対象動作データから、前記被験者の識別対象動作データの識別対象特徴量を抽出する第２特徴量抽出部と、
   前記識別対象動作データの識別対象特徴量を、前記変換行列を用いて変換する変換部と、
   前記変換された標準特徴量から前記被験者の識別対象動作を識別する識別部と、
   を有する特徴量変換装置。
2. 少なくとも１以上の基準者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得する規定動作データ取得部と、
   前記各規定動作データから、前記少なくとも１以上の基準者の規定動作データの基準者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出する第１特徴量抽出部と、
   前記少なくとも１以上の前記基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出する標準特徴量算出部と、
   前記算出された標準特徴量と前記被験者特徴量との間の変換行列を算出する変換行列算出部と、
   前記被験者の識別対象動作をした場合の識別対象動作データを取得する識別対象動作データ取得部と、
   前記被験者の識別対象動作データから、前記被験者の識別対象動作データの識別対象特徴量を抽出する第２特徴量抽出部と、
   前記識別対象動作データの識別対象特徴量を、前記変換行列を用いて変換する変換部と、
   を有する、特徴量変換装置。
3. 前記基準者は複数であり、
   前記標準特徴量算出部が、複数の前記標準特徴量を算出する場合、
   前記変換行列算出部は、前記各標準特徴量と前記被験者特徴量との差分値をそれぞれ算出し、該算出した差分値が最も小さい１の前記標準特徴量と前記被験者特徴量との間の変換行列を算出する、請求項２に記載の特徴量変換装置。
4. 前記変換部で前記変換された識別対象特徴量から前記被験者の識別対象動作を識別する識別部をさらに有する、請求項２に記載の特徴量変換装置。
5. 前記少なくとも１以上の基準者と前記被験者とのそれぞれの規定動作データを用いて、前記少なくとも１以上の基準者と前記被験者との各規定動作データの対応する区間を抽出する対応区間抽出部をさらに有し、
   前記変換行列算出部は、前記抽出された対応する区間の情報に基づいて、前記標準特徴量と前記被験者特徴量との間の変換行列を算出する、請求項２に記載の特徴量変換装置。
6. 制御ユニットと、記憶ユニットとを有する情報処理装置が実行する特徴量変換方法であって、
   前記制御ユニットが、少なくとも１以上の基準者と被験者とが規定動作をした場合のそれぞれの規定動作データを取得して前記記憶ユニットに記憶することと、
   前記制御ユニットが、前記記憶ユニットに記憶された前記各規定動作データを読み出し、該読み出した各規定動作データから前記少なくとも１以上の基準者の規定動作データの基準者特徴量、および前記被験者の規定動作データの被験者特徴量を抽出することと、
   前記制御ユニットが、前記少なくとも１以上の前記基準者特徴量に基づいて、少なくとも１つの標準特徴量を算出することと、
   前記制御ユニットが、前記算出された標準特徴量と前記被験者特徴量との間の変換行列を算出して前記記憶ユニットに記憶することと、
   前記制御ユニットが、前記被験者の識別対象動作をした場合の識別対象動作データを取得して前記記憶ユニットに記憶することと、
   前記制御ユニットが、前記記憶ユニットに記憶された前記被験者の識別対象動作データを読み出し、該読み出した識別対象動作データから、前記被験者の識別対象動作データの識別対象特徴量を抽出することと、
   前記制御装置が、前記記憶ユニットに記憶された前記変換行列を読み出し、該読み出した変換行列を用いて、前記識別対象動作データの識別対象特徴量を変換することと、
   を有する、特徴量変換方法。