JP2015132877A - 動作認識システム及び動作認識方法 - Google Patents

Abstract

【課題】ユーザに特別なアクションを要求せず、端末に特別な装置を搭載しないで、簡易に且つ精度良く端末の把持状態を識別する。【解決手段】動作認識システム１では、端末の把持開始から終了までの把持データを用いて時間変動状態の確率密度関数が算出され、得られた確率密度関数と基準の確率密度関数との相違度を特徴量として特徴ベクトルが求められ、該特徴ベクトルと事前に用意した各把持行動コーパスの代表特徴ベクトルとの類似度に基づく個人照合用特徴ベクトルの学習が行われる。また、同様の手順で検証用把持データに対し求められた検証用特徴ベクトルと個人照合用特徴ベクトルとの類似尺度が算出され、得られた類似尺度を用いて端末の把持状態が判定される。【選択図】図１

Description

本発明は、携帯電話等の端末の把持状態を判定する動作認識システム及び動作認識方法に関する。本発明は、例えば、端末の持ち方に応じて計測される時系列的な把持データからユーザが端末を利用している最中にそのユーザが端末の所有者か否かを判定する個人認証技術や、ユーザによる端末の把持状態を識別して当該把持状態に応じたコマンド入力を行うためのＵＩ技術等に適用される。

端末所有者が端末から離れた隙に他人に当該端末を利用されてしまう（例えば他人に画面を盗み見られてしまう等）といった不都合が従来より存在する。そのため、端末を利用しているユーザが当該端末の所有者自身であるか否かを識別することは、プライバシー保護の観点からニーズは大きい。

一方で、満員電車の中といった端末を自由に操作しづらい状況で、マナーモードへの切り替え等のコマンド入力を、端末の画面を開いて画面から操作することなく実行したいというニーズもある。

特開２０１１−２４４４１９号公報 特開２００８−２８２０８４号公報

T. Feng, K. Kwon, W. Shi et al., "Continuous mobile authentication using touch-screengestures, "To appear in IEEE HST, 2012. C. Stewartetal., " Characteristics of pressure-based input formobile devices, "CHI ’10, pp. 801 -810, 2010. K. Kim et al., " Hand grip pattern recognition for mobile userinterfaces, "IAAI ’06, pp. 1789 -1794, 2006. W. E. Eltahir, W. K. Lai, A. F. Ismail et al., " Hardware design,development and evaluation of a pressure-based typing biometrics authenticationsystem, "DICTA 2003, pp. 49 -54, 2003. M. O. Derawi, C. Nickely, P. Bours et al.," Unobtrusiveuserauthentication on mobile phones using biometric gait recognition, "IIHMSP2010, pp. 306 -311, 2010. I. Oliveira, O. Grigore, N. Guimaraes et al., " Relevance of eeginput signals in the augmented human reader, " Proceedings of the 1st AugmentedHuman International Conference, pp. 1 -9, 2010. Y. Boykov and D. P. Huttenlocher, " Adaptive bayesian recognition intracking rigid objects, "Computer Vision and Pattern Recognition, 2000.Proceedings. IEEE Con-ference on, pp. 2697 -2697.

背景技術に記載した前者の端末「利用中」での個人認証については、利用中ユーザの指紋によって当該ユーザが端末の所有者か否かを識別する方法が知られているが、個人認証のための所定のアクションをユーザに実行してもらう必要があった。利用中ユーザの音声によって上記識別を行う方法も知られているが、音声通話サービス利用時のみの対応であり、メール等の非音声サービス利用時には実行困難であった。端末を振動させることで上記識別を行う方法も知られているが、振動させるための特別な装置が必要であるという欠点があった。

また、背景技術に記載した後者の、端末の画面を開いて画面から操作することなくコマンド入力を実行する方法として、端末をタクトのように動かすことで、当該端末に搭載された加速度センサやジャイロセンサの検出値に応じてコマンド入力を実行する方法が知られている。しかし、この方法は、満員電車の中といった端末を自由に操作しづらい状況では実行するのが難しい、という欠点があった。

さらに、一般的に、識別で用いられるセンサには、様々なノイズが重畳されており、特にヒステリシス型のノイズ（例えば把持状態を識別するセンサの場合は、握った状態が残存するノイズ）は、識別の的中率の低下を招く原因になっていた。

本発明は、上記のような課題を解決するために成されたものであり、個人認証やコマンド入力にも適用できるように、ユーザに特別なアクションを要求せず、端末に特別な装置を搭載しないで、簡易に且つ精度良く端末の把持状態を識別することを目的とする。

本発明に係る動作認識システムは、端末の持ち方に応じて計測される学習用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する学習用把持データを取得する学習用把持データ取得手段と、取得された学習用把持データからノイズを除去し、時間変動情報として学習用時間変動把持データを算出する学習用時間変動把持データ算出手段と、算出された学習用時間変動把持データを用いて、時間変動状態の確率密度関数を算出する学習用確率密度関数算出手段と、算出された学習用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を学習用特徴ベクトルとして規定する学習用特徴ベクトル導出手段と、導出された学習用特徴ベクトルと事前に用意された各把持行動コーパスの代表特徴ベクトルとを用いて、個人照合用特徴ベクトルを学習させる個人照合用特徴ベクトル学習手段と、学習された個人照合用特徴ベクトルを把持情報データベースに格納する把持情報格納手段と、端末の持ち方に応じて計測される検証用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する検証用把持データを取得する検証用把持データ取得手段と、取得された検証用把持データからノイズを除去し、時間変動情報として検証用時間変動把持データを算出する検証用時間変動把持データ算出手段と、算出された検証用時間変動把持データを用いて、時間変動状態の確率密度関数を算出する検証用確率密度関数算出手段と、算出された検証用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を検証用特徴ベクトルとして規定する検証用特徴ベクトル導出手段と、導出された検証用特徴ベクトルと前記把持情報データベースに格納された個人照合用特徴ベクトルとの類似尺度を算出し、算出された類似尺度と予め設定された閾値とに基づいて、端末の把持状態を判定する把持状態判定手段と、を備える。

このような動作認識システムでは、端末の持ち方に応じて計測される学習用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する学習用把持データが取得され、取得された学習用把持データからノイズが除去され、時間変動情報として学習用時間変動把持データが算出され、算出された学習用時間変動把持データを用いて、時間変動状態の確率密度関数が算出され、算出された学習用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度が特徴量として算出され、得られた特徴量は学習用特徴ベクトルとして規定され、上記のように導出された学習用特徴ベクトルと事前に用意された各把持行動コーパスの代表特徴ベクトルとを用いて、個人照合用特徴ベクトルの学習が行われ、学習された個人照合用特徴ベクトルが把持情報データベースに格納される。

そして、同様に、端末の持ち方に応じて計測される検証用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する検証用把持データが取得され、取得された検証用把持データからノイズが除去され、時間変動情報として検証用時間変動把持データが算出され、算出された検証用時間変動把持データを用いて、時間変動状態の確率密度関数が算出され、算出された検証用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度が特徴量として算出され、得られた特徴量は検証用特徴ベクトルとして規定され、上記のように導出された検証用特徴ベクトルと把持情報データベースに格納された個人照合用特徴ベクトルとの類似尺度が算出され、算出された類似尺度と予め設定された閾値とに基づいて端末の把持状態が判定される。

以上のような動作認識システムによって、ユーザに特別なアクションを要求せず、端末に特別な装置を搭載しないで、簡易に且つ精度良く端末の把持状態を識別することができる。そして、個人認証やコマンド入力にも適用可能とされる。

なお、動作認識システムは、判定された把持状態に対応する追加学習用特徴ベクトルの方が前記学習用特徴ベクトルよりも、個人照合用特徴ベクトルとの類似性が高い場合、追加学習用特徴ベクトルを用いて、個人照合用特徴ベクトルを学習させる学習データ更新処理手段、をさらに備えてもよい。この場合、追加学習が実施され、個人照合用特徴ベクトルは随時更新される。

上記の動作認識システムに係る発明は、動作認識方法に係る発明として捉えることもでき、以下のように記述することができる。即ち、本発明に係る動作認識方法は、動作認識システムによって実行される動作認識方法であって、端末の持ち方に応じて計測される学習用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する学習用把持データを取得するステップと、取得された学習用把持データからノイズを除去し、時間変動情報として学習用時間変動把持データを算出するステップと、算出された学習用時間変動把持データを用いて、時間変動状態の確率密度関数を算出するステップと、算出された学習用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を学習用特徴ベクトルとして規定するステップと、導出された学習用特徴ベクトルと事前に用意された各把持行動コーパスの代表特徴ベクトルとを用いて、個人照合用特徴ベクトルを学習させるステップと、学習された個人照合用特徴ベクトルを把持情報データベースに格納するステップと、端末の持ち方に応じて計測される検証用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する検証用把持データを取得するステップと、取得された検証用把持データからノイズを除去し、時間変動情報として検証用時間変動把持データを算出するステップと、算出された検証用時間変動把持データを用いて、時間変動状態の確率密度関数を算出するステップと、算出された検証用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を検証用特徴ベクトルとして規定するステップと、導出された検証用特徴ベクトルと前記把持情報データベースに格納された個人照合用特徴ベクトルとの類似尺度を算出し、算出された類似尺度と予め設定された閾値とに基づいて、端末の把持状態を判定するステップと、を備える。

本発明によれば、ユーザに特別なアクションを要求せず、端末に特別な装置を搭載しないで、簡易に且つ精度良く端末の把持状態を識別することができる。そして、個人認証やコマンド入力にも適用できる。

発明の実施形態に係る動作認識システムの構成図である。 学習段階における処理のフロー図である。 検証段階における処理のフロー図である。 把持状態識別サーバのハードウェア構成例を示す図である。

以下、図面を用いて、本発明の動作認識システム及び動作認識方法に係る実施形態を説明する。

［動作認識システムの構成］
図１には、動作認識システム１の一構成例を示す。図１に示すように、動作認識システム１は、端末１０と把持状態識別サーバ２０とを含んで構成される。このうち端末１０は、例えば携帯電話やスマートフォン等の、ユーザが携帯可能な情報通信装置全般に該当する。

端末１０は、ユーザによる端末１０の把持状態に関する把持データを取得するための把持センサ１１と、把持行動開始から把持行動終了までの把持データを取得するセンサデータ取得部１３と、取得された把持データを把持状態識別サーバ２０へ送信するセンサデータ送信部１４とを備える。把持センサ１１は複数存在し、複数の把持センサ１１は、ユーザが端末１０を把持する際にユーザの手が接触する箇所に、タイル状に隙間なく配置されている。

また、端末１０は、把持行動開始と把持行動終了を判定するために、端末１０の状態を検出するモーションセンサ（加速度センサ等）１２をさらに備えてもよい。ただし、モーションセンサ１２は必須構成要件ではなく、モーションセンサ１２を設けることなく上記把持センサ１１を用いてもよい。本実施形態では、把持センサ１１を用いて把持行動開始と把持行動終了を判定する例を、後述する。

把持状態識別サーバ２０は、端末１０から送信された把持データを受信するセンサデータ受信部２１と、受信された把持データからノイズを除去し、時間変動情報として時間変動把持データを算出するセンサデータ前処理部２２と、算出された時間変動把持データから現在の時間変動の頻度分布を確率密度関数として算出し、詳細は後述するが、事前に用意された基準時間変動把持データの確率密度関数との相違度（例えばＪＳ情報量）に基づく学習用特徴ベクトルの導出、学習用特徴ベクトルと事前に用意された各把持行動コーパスの代表特徴ベクトルとの類似度に基づく個人照合用特徴ベクトルの学習、及び、学習後の個人照合用特徴ベクトルの格納を実行する把持状態推定部２３と、個人照合用特徴ベクトルと検証用特徴ベクトルとの類似尺度を算出し、算出された類似尺度と予め設定された閾値とに基づいて端末の把持状態を判定する把持状態判定部２４と、判定された把持状態に対応する追加学習用特徴ベクトルの方が上記学習用特徴ベクトルよりも、個人照合用特徴ベクトルとの類似性が高い場合、追加学習用特徴ベクトルを用いて、個人照合用特徴ベクトルを追加的に学習させる学習データ更新処理部２５と、把持状態判定部２４による判定結果を出力（例えば表示出力）する出力部２６と、後述する個人照合用特徴ベクトル等を格納するための把持情報データベース２７と、を備える。

上記のうち、把持状態推定部２３は、学習用（又は検証用）時間変動把持データを用いて、時間変動状態の確率密度関数を算出する確率密度関数算出部２３Ａと、学習用（又は検証用）時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を学習用（又は検証用）特徴ベクトルとして規定する特徴ベクトル導出部２３Ｂと、学習用特徴ベクトルと事前に用意された各把持行動コーパスの代表特徴ベクトルとを用いて、個人照合用特徴ベクトルを学習させる個人照合用特徴ベクトル学習部２３Ｃと、学習された個人照合用特徴ベクトルを把持情報データベース２７に格納する把持情報格納部２３Ｄと、を備える。また、把持情報データベース２７は、端末１０から送信されてくる学習用把持データ及び検証用把持データ、予め用意された基準時間変動把持データの確率密度関数、予め用意された様々な把持行動コーパスの代表特徴ベクトル、並びに、後述する個人照合用特徴ベクトルを格納するために使用される。

なお、図１に示すように、端末１０が備える各構成要素及び把持状態識別サーバ２０が備えるセンサデータ受信部２１は特許請求の範囲における「学習用把持データ取得手段、検証用把持データ取得手段」に対応し、センサデータ前処理部２２は「学習用時間変動把持データ算出手段、検証用時間変動把持データ算出手段」に対応する。また、確率密度関数算出部２３Ａは「学習用確率密度関数算出手段、検証用確率密度関数算出手段」に対応し、特徴ベクトル導出部２３Ｂは「学習用特徴ベクトル導出手段、検証用特徴ベクトル導出手段」に対応する。また、個人照合用特徴ベクトル学習部２３Ｃは「個人照合用特徴ベクトル学習手段」に対応し、把持情報格納部２３Ｄは「把持情報格納手段」に対応する。さらに、把持状態判定部２４は「把持状態判定手段」に対応し、学習データ更新処理部２５は「学習データ更新処理手段」に対応する。

ところで、図１には、把持情報データベース２７及び出力部２６が把持状態識別サーバ２０と一体である構成例を示したが、把持情報データベース２７及び出力部２６のうち一方又は両方は把持状態識別サーバ２０と別体であってもよい。

また、把持状態識別サーバ２０は、ハードウェアとしては通常の情報処理装置の基本構成と同様であり、特別なハードウェア構成を必要とするものではない。例えば、図４に示すように、把持状態識別サーバ２０は、ＣＰＵ２０Ａ、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、キーボードやマウス等の入力装置２０Ｄ、外部との通信を行う通信装置２０Ｅ、ハードディスク等の補助記憶装置２０Ｆ、及び、ディスプレイやプリンタ等の出力装置２０Ｇを備える。図１のように把持情報データベース２７及び出力部２６を把持状態識別サーバ２０と一体に構成する場合、補助記憶装置２０Ｆにより把持情報データベース２７を構成し、出力装置２０Ｇにより出力部２６を構成してもよい。

［動作認識方法に係る処理］
以下、動作認識方法に係る処理として、「学習段階における処理（図２）」と、「検証段階における処理（図３）」とを順に説明する。後者の「検証段階における処理」は、前者の「学習段階における処理」により個人照合用特徴ベクトルの学習が行われた後に実行される。なお、これら処理の開始トリガーは特定のものに限定されず、例えば端末１０における所定のオペレータ操作や、端末１０に事前設定した開始条件（開始時刻等）などを開始トリガーとしてもよい。

［学習段階における処理（図２）］
（ステップＬ１：学習用把持データの取得）
端末１０がユーザにより把持されている状態において、複数（Ｎ個）の把持センサ１１により検出された時系列的な把持データはセンサデータ取得部１３へ出力される。ここで、時刻tにおけるi番目のセンサから把持データをf_i(t)とすると、複数（Ｎ個）の把持センサ１１から得られる把持データは以下の式(7.1)のように表される。

センサデータ取得部１３は、以下のようにして把持行動開始及び把持行動終了を判定し、把持行動開始から把持行動終了までの学習用把持データを上記把持センサ１１から得られた把持データから切り出して取得する。

即ち、センサデータ取得部１３は、把持センサ１１又はモーションセンサ１２により検出された端末１０の状態に基づいて把持行動開始及び把持行動終了を判定する。その判定方法は特定の方法に限定されない。例えば、把持センサ１１により検出された情報（例えば把持の圧力値）を用いる場合は、予め設定された閾値以上の圧力値を検出した把持センサ１１の数がある一定数以上となったことをもって把持行動開始と判定し、その後、上記閾値以上の圧力値を検出した把持センサ１１の数が上記一定数を下回ったことをもって把持行動終了と判定する方法を採用してもよい。また、モーションセンサ１２として加速度センサを用いるとき、加速度センサにより検出された加速度の値又はその時間変動が予め設定された閾値以上となったことをもって把持行動開始と判定し、その後、加速度の値又はその時間変動が上記閾値を下回ったことをもって把持行動終了と判定する方法を採用してもよい。

ここでは、前者の方法（把持センサ１１を用いる方法）を示す。センサデータ取得部１３は、時刻tにおいてＮ個の把持センサ１１のうち、予め設定された閾値Th_sen以上の圧力値を検出した把持センサの数をカウントし、カウント値が予め設定された閾値Th_num以上となった時、把持行動開始と判定し、把持データ取得タイミングを制御するための取得フラグFlagを１にセットして、この時の時刻tを開始時刻T_sにセットする。この状態（取得フラグFlagが１の状態）が続いている間は、Ｎ個の把持センサ１１により計測された把持データf_tを、センサデータ取得部１３内のバッファ（不図示）に蓄積する。その後、センサデータ取得部１３は、閾値Th_sen以上の圧力値を検出した把持センサの数（カウント値）が閾値Th_numを下回った時、把持行動終了と判定し、取得フラグFlagを０にリセットし、この時の時刻tを終了時刻T_eにセットして、把持データf_tの蓄積を終了する。これにより、開始時刻T_sから終了時刻T_eまでの把持データf_t（「学習用把持データf_i(t)」という）が切り出され、センサデータ取得部１３内のバッファに蓄積される。

（ステップＬ２：学習用把持データの送信）
蓄積された学習用把持データf_i(t)は、センサデータ送信部１４へ転送され、センサデータ送信部１４により、例えばパケット通信で把持状態識別サーバ２０へ送信される。

（ステップＬ３：学習用把持データの受信・格納）
そして、把持状態識別サーバ２０のセンサデータ受信部２１は、端末１０から送信された学習用把持データf_i(t)を受信し、得られた学習用把持データf_i(t)を把持情報データベース２７へ格納するとともにセンサデータ前処理部２２へ転送する。

（ステップＬ４：学習用時間変動把持データの算出）
センサデータ前処理部２２は、学習用把持データf_i(t)からノイズを除去し、時間変動情報として学習用時間変動把持データを算出する。ここでのノイズの除去方法は特定の方法に限定されないが、本実施形態では、例えば、下記の５つのノイズ除去処理を実行する。

第１の処理として、センサデータ前処理部２２は、学習用把持データf_tの取得された時刻tをT_s≦t≦T_eとすると、過渡状態と思われる取得開始直後（即ち、時刻T_s〜時刻（T_s＋δt）の期間）及び取得終了直前（即ち、時刻（T_e−δt）〜時刻T_e）の期間）における学習用把持データを除去する。なお、δtは予め定められた短い期間を意味する。これにより、学習用把持データf_i(t)は、以下の式(7.2)のように表される。

次に、第２の処理として、センサデータ前処理部２２は、学習用把持データf_i(t)が以下の式(7.3)の条件を満たす場合は当該把持データはパルスノイズを含むものと判断し、そのフレームデータ（即ち、該当する時刻tにおける把持データ）を利用しないように学習用把持データf_i(t)から除去する。

ここで、ThresholdOfSensorValueは予め設定されたパルスノイズ閾値を表す。

次に、第３の処理として、センサデータ前処理部２２は、以下のようにしてWavelet Shrinkageによるデノイズを施す。即ち、学習用把持データf_i(t)をウェーブレット基底関数

で展開した時のウェーブレット係数は、

と表され、このウェーブレット係数に基づきノイズの標準偏差δが推定される。

また、このノイズの標準偏差δに基づき閾値λが算出される。

ただし、Nはウェーブレット係数の総数を表す。そして、この閾値λを用いて下記のSoft Threshold処理が施される。

上記で選択されたウェーブレット係数

を逆ウェーブレット変換することで、式(7.8)に示すデノイズされた把持データ

が求められる。

次に、第４の処理として、センサデータ前処理部２２は、直流成分の影響を排除するために、デノイズされた学習用把持データ

において式(7.9)のように時間平均を減算することで直流成分を除去し、交流成分を得る。

ここで、T_allは、１データセットの全時間を表し、T_e−T_s−2δtに相当する。

さらに、第５の処理として、センサデータ前処理部２２は、直流成分除去後の学習用把持データに対し、データ平滑化のために、式(7.10)のようにガウス関数Gauss(t_ne,σ)とのコンボリューションによりガウスノイズを除去する。

ここで、σはガウス関数のハイパーパラメータを表し、t_neは時間tの近傍を表す。

そして、センサデータ前処理部２２は、ガウスノイズ除去後の学習用把持データから時間変動y_i(t)を算出する。その算出方法は特定の方法に限定されないが、ここでは、下記の式(7.11)に従って時間変動y_i(t)が算出される。

N個の把持センサ１１全体での学習用把持データの時間変動は、式(7.12)のように表され、確率密度関数算出部２３Ａへ転送される。

（ステップＬ５：確率密度関数の算出）
確率密度関数算出部２３Ａは、算出された学習用時間変動把持データ（即ち、学習用把持データの時間変動を表すデータ）

の確率密度関数を算出する。その算出方法は特定の方法に限定されない。例えば、カーネル密度推定方法なども考えられるが、本実施形態では、確率密度関数算出部２３Ａは、以下のように単純な頻度分布（ヒストグラム）に基づいて確率密度関数を算出する。

i番目の把持センサ１１に係る時間変動データの時間方向ヒストグラム hist_i(k)は、

となる。ここで、r(k)は、ヒストグラムにおけるk番目の刻み値を表し、

となる。確率密度関数算出部２３Ａは、以下の式(7.16)に従って確率密度関数を算出する。なお、Tは１データセットのＩＤを表す。

算出された確率密度関数は特徴ベクトル導出部２３Ｂへ転送される。

（ステップＬ６：JS情報量特徴ベクトルの算出）
次に、特徴ベクトル導出部２３Ｂは、事前に把持情報データベース２７に格納された基準時間変動把持データの確率密度関数

を把持情報データベース２７から取り出し、ステップＬ５で算出された学習用時間変動把持データの確率密度関数

と、基準時間変動把持データの確率密度関数との確率分布の相違度を算出する。相違度の算出方法は特定の方法に限定されないが、ここでは、JS情報量

により算出する。ただし、JS情報量は以下のように定義される。

ここで、R(x)=(P(x)+Q(x))/2である。
特徴ベクトル導出部２３Ｂは、Ｎ個の把持センサ（i=1,2,…,N）それぞれに係る学習用時間変動把持データの確率密度関数についてJS情報量を算出し、得られたJS情報量を式(7.18)に示すJS情報量特徴ベクトルとして定義する。

得られたJS情報量特徴ベクトルは個人照合用特徴ベクトル学習部２３Ｃへ転送される。

（ステップＬ７：個人照合用特徴ベクトルの学習）
次に、個人照合用特徴ベクトル学習部２３Ｃは、事前に把持情報データベース２７に登録された様々な把持行動コーパスの代表特徴ベクトルを把持情報データベース２７から取り出し、学習用時間変動把持データに基づき導出されたJS情報量特徴ベクトル

と、上記の様々な把持行動コーパスの代表特徴ベクトルとを用いて、個人照合用特徴ベクトルを学習させる。その学習方法は特定の方法に限定されないが、ここでは、KSOMを用いる。学習の際に用いるKSOMの尺度及び更新ルールは下記の通りである。

ここで、

は、それぞれ、

の最隣接セルとなる把持行動コーパスの代表特徴ベクトル、

に最も近い把持行動コーパスの代表特徴ベクトル、時刻tでの入力特徴ベクトル、そして、KSOMを構成する一つのセルであり各把持行動コーパスの代表であることを表す。これらのパラメータは、対象ごとに適切な値を設定する。また、δ(t)、h_ci、そしてr(t)はそれぞれ、学習レート、勝者ユニットn_cの近傍カーネル、そして、近傍半径を表す。

学習後、学習データの特性が２次元のセル配列で表現された特徴マップが得られ、学習された個人照合用特徴ベクトルに含まれている。また、この特徴マップには、ユーザ個人に特化した把持行動コーパスの出現頻度に関する情報が保持されている。上記のように学習された個人照合用特徴ベクトルは、把持情報格納部２３Ｄへ転送される。

（ステップＬ８：個人照合用特徴ベクトル等の格納）
そして、把持情報格納部２３Ｄは、学習された個人照合用特徴ベクトル

を把持情報データベース２７に格納する。以上で、図２に示す学習段階における処理を終了する。

［検証段階における処理（図３）］
（ステップＶ１〜Ｖ６の処理について）
次に、図３に示す検証段階における処理を説明する。図３の処理はステップＶ１〜Ｖ８を備える。このうちステップＶ１〜Ｖ６では、処理対象を、検証用把持データ又は検証用把持データから導出されたデータとして、前述した図２のステップＬ１〜Ｌ６と同様の処理が実行される。ここでは、重複した説明を省くため、ステップＶ１〜Ｖ６の説明を省略する。

なお、ステップＶ１〜Ｖ４により得られる検証用時間変動把持データは、以下の式(7.21)で表され、

さらにステップＶ５〜Ｖ６により、上記検証用時間変動把持データに基づくJS情報量特徴ベクトル

が算出され、把持状態判定部２４へ転送される。

（ステップＶ７：把持状態の判定）
把持状態判定部２４は、把持情報データベース２７に格納された個人照合用特徴ベクトル

を把持情報データベース２７から取り出し、検証用時間変動把持データに基づくJS情報量特徴ベクトル

と、上記の個人照合用特徴ベクトルとの間における下記の類似尺度

を算出し、得られた類似尺度と予め設定された閾値Th_judgeとの比較結果に基づいて、以下のように把持状態の判定を行う。

類似尺度

は特定のものに限定されないが、ここでの類似尺度は、比較するJS情報量特徴ベクトル同士のユークリッド距離とし、以下の式(7.23)により算出される。

このようにユークリッド距離を用いる場合は、類似尺度が小さいほど、JS情報量特徴ベクトルと個人照合用特徴ベクトルとの類似性が高いと判断できるため、把持状態判定部２４は、算出された類似尺度

が閾値Th_judge以下のとき（式(7.22)を満たすとき）、検証対象の把持状態を、把持情報データベース２７に登録された人物の把持状態に一致すると判定する。

把持状態判定部２４による判定結果は出力部２６及び学習データ更新処理部２５へ転送され、出力部２６により出力（例えば表示出力）される。

（ステップＶ８：個人照合用特徴ベクトルの更新）
学習データ更新処理部２５は、上記判定結果の中で、把持情報データベース２７に登録された人物の把持状態に一致すると判定された検証対象の把持状態に関する検証用時間変動把持データを、追加学習用データと見做す。そして、学習データ更新処理部２５は、追加学習用データに対し、上記ステップＶ５〜Ｖ７の処理を行うことでJS情報量特徴ベクトル群

を算出し、式（7.22）に従って類似尺度

も算出する。

そして、学習データ更新処理部２５は、追加学習用データの類似尺度

と、学習用データの類似尺度

とを下記のように比較し、追加学習用データの方が学習用データよりも類似性が高い場合（以下の式(7.24)の条件を満たす場合）は、追加学習用データから得られたJS情報量特徴ベクトル群

によって個人照合用特徴ベクトルを更新し、更新後の個人照合用特徴ベクトル

を把持情報データベース２７に登録する。

なお、

であり、ここでは評価値EvalDBが小さいほど、類似性が高いと判断される。以上で、図３に示す検証段階における処理を終了する。

以上説明した本発明に係る実施形態によれば、以下のさまざまな効果が得られる。

様々な把持行動コーパスを予め用意し、また、端末の状態（例えば把持の圧力値等）に応じて自動的に、把持行動開始から把持行動終了までの把持データを切り出しているので、ユーザに特別なアクションを要求することなく、ユーザの自然な動作（把持状態）を学習できる。

また、学習用特徴ベクトルを用いて代表的な特徴ベクトルを個人適用させているので、個々の把持行動のクセを学習できる。そのため、個人認証やコマンド入力などへの応用が可能である。

また、統計確率的なアプローチを用いているので、突発的なノイズに対し高いロバスト性を有する。

また、時間変動状態を入力データに用いているだけでなく、基準となる時間変動データとの分布の相違度を特徴量としているので、把持センサのヒステリスノイズに対しても高いロバスト性を有する。

さらに、個人照合用特徴ベクトルを随時学習しているので、個々のユーザの把持状態の経年変化に対応することが可能である。

なお、上記実施形態では、動作認識システム１が端末１０と把持状態識別サーバ２０とを含んで構成された例を示したが、把持状態識別サーバ２０に設けられた構成要素を端末１０内に設けることで、端末１０単体で動作認識システム１を構成してもよい。その場合、センサデータ送信部１４及びセンサデータ受信部２１は不要となる。

１…動作認識システム、１０…端末、１１…把持センサ、１２…モーションセンサ、１３…センサデータ取得部、１４…センサデータ送信部、２０…把持状態識別サーバ、２０Ａ…ＣＰＵ、２０Ｂ…ＲＡＭ、２０Ｃ…ＲＯＭ、２０Ｄ…入力装置、２０Ｅ…通信装置、２０Ｆ…補助記憶装置、２０Ｇ…出力装置、２１…センサデータ受信部、２２…センサデータ前処理部、２３…把持状態推定部、２３Ａ…確率密度関数算出部、２３Ｂ…特徴ベクトル導出部、２３Ｃ…個人照合用特徴ベクトル学習部、２３Ｄ…把持情報格納部、２４…把持状態判定部、２５…学習データ更新処理部、２６…出力部、２７…把持情報データベース。

Claims (3)

1. 端末の持ち方に応じて計測される学習用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する学習用把持データを取得する学習用把持データ取得手段と、
   取得された学習用把持データからノイズを除去し、時間変動情報として学習用時間変動把持データを算出する学習用時間変動把持データ算出手段と、
   算出された学習用時間変動把持データを用いて、時間変動状態の確率密度関数を算出する学習用確率密度関数算出手段と、
   算出された学習用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を学習用特徴ベクトルとして規定する学習用特徴ベクトル導出手段と、
   導出された学習用特徴ベクトルと事前に用意された各把持行動コーパスの代表特徴ベクトルとを用いて、個人照合用特徴ベクトルを学習させる個人照合用特徴ベクトル学習手段と、
   学習された個人照合用特徴ベクトルを把持情報データベースに格納する把持情報格納手段と、
   端末の持ち方に応じて計測される検証用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する検証用把持データを取得する検証用把持データ取得手段と、
   取得された検証用把持データからノイズを除去し、時間変動情報として検証用時間変動把持データを算出する検証用時間変動把持データ算出手段と、
   算出された検証用時間変動把持データを用いて、時間変動状態の確率密度関数を算出する検証用確率密度関数算出手段と、
   算出された検証用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を検証用特徴ベクトルとして規定する検証用特徴ベクトル導出手段と、
   導出された検証用特徴ベクトルと前記把持情報データベースに格納された個人照合用特徴ベクトルとの類似尺度を算出し、算出された類似尺度と予め設定された閾値とに基づいて、端末の把持状態を判定する把持状態判定手段と、
   を備える動作認識システム。
2. 判定された把持状態に対応する追加学習用特徴ベクトルの方が前記学習用特徴ベクトルよりも、個人照合用特徴ベクトルとの類似性が高い場合、追加学習用特徴ベクトルを用いて、個人照合用特徴ベクトルを学習させる学習データ更新処理手段、
   をさらに備える請求項１に記載の動作認識システム。
3. 動作認識システムによって実行される動作認識方法であって、
   端末の持ち方に応じて計測される学習用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する学習用把持データを取得するステップと、
   取得された学習用把持データからノイズを除去し、時間変動情報として学習用時間変動把持データを算出するステップと、
   算出された学習用時間変動把持データを用いて、時間変動状態の確率密度関数を算出するステップと、
   算出された学習用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を学習用特徴ベクトルとして規定するステップと、
   導出された学習用特徴ベクトルと事前に用意された各把持行動コーパスの代表特徴ベクトルとを用いて、個人照合用特徴ベクトルを学習させるステップと、
   学習された個人照合用特徴ベクトルを把持情報データベースに格納するステップと、
   端末の持ち方に応じて計測される検証用連続把持データから、端末の状態に基づき把握される把持行動開始から把持行動終了までに対応する検証用把持データを取得するステップと、
   取得された検証用把持データからノイズを除去し、時間変動情報として検証用時間変動把持データを算出するステップと、
   算出された検証用時間変動把持データを用いて、時間変動状態の確率密度関数を算出するステップと、
   算出された検証用時間変動把持データに関する確率密度関数と事前に用意された基準用時間変動把持データに関する確率密度関数との相違度を特徴量として算出し、得られた特徴量を検証用特徴ベクトルとして規定するステップと、
   導出された検証用特徴ベクトルと前記把持情報データベースに格納された個人照合用特徴ベクトルとの類似尺度を算出し、算出された類似尺度と予め設定された閾値とに基づいて、端末の把持状態を判定するステップと、
   を備える動作認識方法。