JP2017215976A - 端末装置、モーション認識方法及びプログラム - Google Patents

Abstract

【課題】ユーザが操作として行う腕等のモーションの認識精度を向上させたリスト端末を提供する。【解決手段】ＣＰＵ５１における判断部は、ユーザの腕に装着されるリスト端末の表示部が水平方向に対するなす角度が閾値の範囲内にある場合、リスト端末が水平な姿勢を取っている基準状態であると判断する。モーション認識部７１は、基準状態からのリスト端末のデバイスの動きを認識する。閾値設定部７３は、カウント部７４により計時された時間と、加速度センサ部により検出された加速度値に基づくリスト端末の運動状態とに応じて、閾値を可変設定する。【選択図】図３

Description

本発明は、情報処理装置及びプログラムに関する。

従来より、ユーザの腕に装着された腕時計型のデバイスにおいて、当該デバイスに搭載された加速度センサ等の検出結果に基づいて、ユーザにより操作として行われた腕等のモーションを認識し、その認識結果を操作入力として受け付けることで、当該デバイスを入力装置として利用する技術が存在する（特許文献１乃至３参照）。

特開２０１１−１７５３１５号公報 特開２００２−３５８１４９号公報 特開２００８−１３６６９７号公報

しかしながら、特許文献１乃至３を含め従来のモーションの認識技術では、ユーザが日常生活で行う腕等の動きを、ユーザが操作として行う腕等のモーションとして誤認識してしまう可能性が高い。

本発明は、このような状況に鑑みてなされたものであり、ユーザが操作として行う腕等のモーションの認識精度を向上させることを目的とする。

上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内に
ある場合、当該デバイスが基準状態であると判断する判断手段と、
前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準
状態からの動きを認識する認識手段と、
前記認識手段により認識した前記デバイスの基準状態からの動きに対応する入力操作を
入力する入力手段と、
時間を計時する計時手段と、
前記デバイスの動き状態を検出する検出手段と、
前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの
動き状態とに応じて、前記閾値を可変設定する設定手段と、
を備えることを特徴とする。

本発明によれば、ユーザが操作として行う腕等のモーションの認識精度を向上させることができる。

本発明の情報処理装置の一実施形態に係るリスト端末の外観構成の概略を示す模式図である。 図１のリスト端末のハードウェアの構成を示すブロック図である。 図２のリスト端末の機能的構成のうち、モーション認識処理を実行するための機能的構成を示す機能ブロック図である。 ユーザの手首及び腕のモーションの第１のパターンを説明する模式図である。 ユーザの手首及び腕のモーションの第２のパターンを説明する模式図である。 ユーザの手首及び腕のモーションの第３のパターンを説明する模式図である。 ユーザの手首及び腕のモーションの第１のパターンを説明する模式図である。 モーションの認識に用いる閾値の違いを示す図である。 図３のリスト端末により可変設定される閾値の時間推移を示すタイミングチャートである。 図３の機能構成を有する図２のリスト端末１１が実行する、モーション認識処理の流れの一例を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の情報処理装置の一実施形態に係るリスト端末の外観構成の概略を示す模式図である。
リスト端末１１は、図１に示すように、ユーザの腕に嵌められるリスト型の携帯端末であり、少なくとも、自己の姿勢を認識する機能を有している。本実施形態では、リスト端末１１は、加速度センサ（後述の図２参照）を有し、当該加速度センサの検出結果に基づいて、自己の姿勢として、水平状態を基準として、当該水平状態から移動したか否かを検出することができる。
本実施形態では、大地に垂直に立つユーザが、図１に示すように腕を水平に維持した場合において、水平方向のうち、肘から手に向かう方向が「ｘ方向」とされており、腕に対して直角の方向（ユーザからみて手前の親指から奥側の小指に向かう方向）が「ｙ方向」とされており、鉛直上向き方向が「ｚ方向」とされている。

図２は、図１のリスト端末１１のハードウェアの構成を示すブロック図である。
リスト端末１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５３と、バス５４と、入出力インターフェース５５と、入力部５６と、表示部５７と、記憶部５８と、通信部５９と、加速度センサ部６０と、ドライブ６１と、を備えている。

ＣＰＵ５１は、ＲＯＭ５２に記録されているプログラム、又は、記憶部５８からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ５３には、ＣＰＵ５１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ５１、ＲＯＭ５２及びＲＡＭ５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インターフェース５５も接続されている。入出力インターフェース５５には、入力部５６、表示部５７、記憶部５８、通信部５９、加速度センサ部６０、及びドライブ６１が接続されている。

入力部５６は、例えば表示部５７の表示画面に積層される静電容量式又は抵抗膜式の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、入力部５６に対する物体（ユーザの指やタッチペン等）の接触又は近接の操作をいう。
表示部５７は、ディスプレイにより構成され、画像を表示する。
即ち、本実施形態では、入力部５６と表示部５７とにより、タッチパネルが構成されている。
記憶部５８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部５９は、Ｂｌｕｅｔｏｏｔｈ（登録商標）により図示せぬ携帯端末等と無線通信したり、Ｗｉ−Ｆｉによりインターネットを含むネットワークを介して、図示せぬ他端末と通信する制御を実行する。
加速度センサ部６０は、ピエゾ抵抗型もしくは静電容量型の検出機構により３軸加速度成分を検出して、その検出結果を表す３軸成分毎の加速度データを出力する。
なお、加速度センサ部３０により検出される３軸成分は、どのように実装されても構わないが、本実施形態では図１に示す３軸成分（ｘ，ｙ，ｚ）が採用されている。

ドライブ６１には、必要に応じて、リムーバブルメディア６２が適宜装着される。ドライブ６１によってリムーバブルメディア６２から読み出されたプログラムは、必要に応じて記憶部５８にインストールされる。また、リムーバブルメディア６２は、記憶部５８に記憶されている画像のデータ等の各種データも、記憶部５８と同様に記憶することができる。

図３は、このようなリスト端末１１の機能的構成のうち、モーション認識処理を実行するための機能的構成を示す機能ブロック図である。
モーション認識処理とは、加速度センサ部３０の検出結果に基づいて、ユーザが行い得るモーションのうち、手首及び腕のモーション（本実施形態では後述の図４乃至図８に示す各パターンのモーション）を認識するまでの一連の処理をいう。
後述の図４乃至図８に示す各パターンのモーションの各々には、所定の入力操作が対応付けられており、モーション認識処理により所定モーションが認識されると、認識された当該所定モーションのパターンに対応付けられた入力操作がなされたと判断され、後段において、当該入力操作に応じた処理が実行される。ここで、後段の処理とは、リスト端末１１内で実行される場合もあるし、リスト端末１１と通信可能な別の装置（図示せず）で実行される場合もある。即ち、本実施形態では、リスト端末１１は、ユーザのモーションを利用した、リスト端末１１自体又は別の装置に対する入力装置として機能する。

モーション認識処理が実行される場合には、リスト端末１１のＣＰＵ５１においては、図３に示すように、モーション認識部７１と、処理実行部７２と、閾値設定部７３と、カウント部７４とが機能する。

モーション認識部７１は、加速度センサ部３０の検出結果に基づいて、図４乃至図８に示す各パターンの、ユーザの手首及び腕のモーションを夫々認識する。

図４乃至図７は、ユーザの手首及び腕のモーションの各パターンの夫々を説明する模式図である。
まず、リスト端末１１を手首に嵌めたユーザは、当該リスト端末１１の表示部５７を水平上向きにして静止した状態を取る。この状態を、以下、「水平静止状態」と呼ぶ。水平静止状態は、図４乃至図８の何れのパターンでも基準状態として採用されている。
図４に示すパターンでは、ユーザは、水平静止状態から動作を開始し、手首を自身から見て外側に回転させることで、リスト端末１１の表示部５７を傾ける、といったモーションをする。
図５に示すパターンでは、ユーザは、水平静止状態から動作を開始し、手首を自身から見て内側に回転させる（図４のパターンとは逆回転させる）ことで、リスト端末１１の表示部５７を傾ける、といったモーションをする。
図６に示すパターンでは、ユーザは、水平静止状態から動作を開始し、肘から上を上向きに動かすことで、リスト端末１１の表示部５７を傾ける、といったモーションをする。
図７に示すパターンでは、ユーザは、水平静止状態から動作を開始し、肘から上を下向き（図６のパターンとは逆方向）に動かすことで、リスト端末１１の表示部５７を傾ける、といったモーションをする。

ＣＰＵ５１における判断部（図示せず）は、加速度センサ部３０の検出結果に基づいて、先ず、水平静止状態を基準状態であると判断する。そして、モーション認識部７１は、判断部（図示せず）によって基準状態であると判断された場合、リスト端末１１の当該基準状態の検出後規定時間が経過した時点で、図４乃至図８に示す各パターンのうち所定パターンのモーションを認識する。
処理実行部７２は、モーション認識部７１により認識されたモーションのパターンに対応付けられた入力操作の内容に基づいて、所定の処理を実行する。

ここで、モーション認識部７１によるモーションの認識手法は、規定時間が短ければ、ユーザの操作（腕を動かすという単純なモーション）に対して素早く応答するので操作性が良い。しかしながら、腕を動かすという単純なモーションは、日常生活の中に類似した動きが多く存在する。従って、モーション認識部７１は、何らかの方法で、ユーザがリスト端末１１を操作するためにモーションを行ったのか、それとも日常生活の中での動きだったのかを判別しなければ、モーションの誤検出をしてしまう。
そこで、モーション認識部７１は、水平静止状態を検出した場合、ユーザがリスト端末１１を操作するためにモーションを開始する態勢を取ったと認識し、規定時間が経過した時点で、図４乃至図８に示す各パターンのうち所定パターンのモーションを認識する。
本実施形態では、水平静止状態の検出方法として、加速度センサ部６０の検出結果に基づいて判断される、リスト端末１１の姿勢（水平方向に対してなす角度）が、所定の閾値の範囲内の場合、水平と検出する、といった手法が採用されている。

図８は、モーションの認識に用いる閾値の違いを示す図である。
図８（Ａ）に示す閾値Ｔｈ１の方が、図８（Ｂ）に示す閾値Ｔｈ２と比較して、閾値が小さい、即ち水平とみなす許容角度が小さいことになる。

即ち、図８（Ａ）の閾値Ｔｈ１のように、閾値が小さい場合、モーション認識部７１は、リスト端末１１の表示部５７が少しでも傾いていたら水平とはみなさず、即ち水平静止状態を検出しない。
その結果、ユーザが、たとえ操作としてモーションを行ったつもりでも、リスト端末１１を静止させることがうまくできずに、リスト端末１１の表示部５７を少しでも傾けてしまった場合には、モーション認識部７１は、当該モーションを認識することができない。
一方で、ユーザが、日常生活の中で、腕を軽く振ったり、別の動作中に腕を軽く動かした場合であっても、モーション認識部７１は、水平静止状態を検出しないので、モーションの誤認識を防止することができる。

これに対して、図８（Ｂ）の閾値Ｔｈ２のように、閾値が大きい場合、モーション認識部７１は、リスト端末１１の表示部５７が多少傾いても水平とみなすので、水平静止状態を検出する。
その結果、ユーザが、操作としてモーションを開始しようとしたところ、リスト端末１１を静止させることがうまくできずに、リスト端末１１の表示部５７を多少傾けてしまったような場合であっても、モーション認識部７１は、水平静止状態を検出することができる。その結果、次のシーケンスでユーザがリスト端末１１の表示部５７を大きく傾ければ、モーションの認識を確実に行うことができる。
一方で、ユーザが、日常生活の中で、腕を軽く振ったり、別の動作中に腕を軽く動かした場合であっても、モーション認識部７１は、水平静止状態と検出してしまう。その結果、その後、ユーザが操作をするつもりがないのにリスト端末１１の表示部５７を大きく傾けてしまった場合、モーション認識部７１は、モーションの誤認識をしてしまう。

このようにし、閾値は、大きくても小さくても、状況に応じた一長一短があり、固定して用いることは不適である。即ち、閾値は、時間とリスト端末１１の運動状態とによって動的に変化させると好適である。
そこで、本実施形態では、図３に示すように、モーション認識処理が実行される場合、ＣＰＵ５１においては、閾値設定部７３とカウント部７４とが機能する。
閾値設定部７３は、時間と、リスト端末１１の運動状態とに応じて、閾値を可変設定する。
カウント部７４は、カウント動作をし、その動作結果（カウント値）を、閾値の可変設定に必要な時間の情報として、閾値設定部７３に供給する。

図９は、閾値設定部７３により可変設定される閾値の時間推移を示すタイミングチャートである。
縦軸は、水平判定のための閾値を示し、横軸は、時間軸を示している。なお、時間については、カウント部７４のカウント値により計時されるものとする。
閾値設定部７３は、リスト端末１１が静止して一定時間経ったとき（時刻ｔ１）、ユーザが操作のためにモーションを行う可能性は低いと判断し、閾値を減少させる。
閾値設定部７３は、リスト端末１１が運動を開始したとき（時刻ｔ２）、ユーザがこの後操作のためのモーションを行う可能性が高まったと判断し、閾値を増加させる。
閾値設定部７３は、モーションが認識された直後のとき（時刻ｔ３）は、リスト端末１１が運動していることと、ユーザがリスト端末１１を十分に水平にしないまま次のモーションを行う可能性があることを考慮し、閾値をさらに増加させる。
閾値設定部７３は、モーションが認識されてから一定時間経過したとき（時刻ｔ４）、ユーザが操作をやめたのでその後操作以外で腕を動かす可能性があると判断し、閾値を減少させる。
なお、閾値の増減は、一度に変化させても、経過時間によって多段階に変化させても構わない。

次に、かかる機能的構成を有するリスト端末１１が実行する、撮像制御処理について説明する。

図１０は、図３の機能構成を有する図２のリスト端末１１が実行する、モーション認識処理の流れの一例を示すフローチャートである。
閾値を変化させるための判定は、加速度センサ部６０の検出結果（３軸の加速度値）によって行われる。
図１０の例では、任意の時刻に設定されている水平判定のための閾値ａｔｈ、任意の時刻における３軸の加速度値ａｘ，ａｙ，ａｚ、及び３軸の加速度の微分値△ａｘ、Δａｙ、Δａｚが用いられる。また、加速度値の閾値として設定可能な３種類として、閾値ａｔｈ０ ＜ 閾値ａｔｈ１ ＜ 閾値ａｔｈ２が予め定義されている。
また、カウント部７４が用いるカウント値（時間）としては、リスト端末１１が静止状態のときにのみ進むカウント値ｔ０、及びリスト端末１１が水平状態であるかどうかに関わらず進むカウント値ｔ１が用いられている。
また、閾値設定部７３が閾値ａｔｈを変えるカウント値（時間）のタイミング（閾値）としては、静止状態が検知されたことによる閾値ａｔｈが変化するタイミングｔｔｈ０ ＞ モーションの検出後に閾値ａｔｈが変化するタイミングｔｔｈ１が予め定義されている。
また、運動状態判定のための閾値も用いられているため、以下、水平判定のための閾値と区別すべく、「運動状態判定閾値」と呼ぶ。同様に、水平判定のための閾値を、以下、運動状態判定閾値と区別すべく、「水平判定閾値」と呼ぶ。
運動状態判定閾値としては、加速度の微分値△ａｔｈが定義されている。

このような定義等がなされたリスト端末１１の電源が投入されて所定の条件が満たされると、モーション認識処理が開始されて、次のようなステップＳ１以降の処理が実行される。

ステップＳ１において、カウント部７４は、カウント値ｔ１がタイミングｔｔｈ１を超えていないか否かを判定する。

カウント値ｔ１がタイミングｔｔｈ１を超えていない場合には、即ち前回のモーションが認識された時点（後述のステップＳ１６参照）から所定時間ｔｔｈ１が経過していない場合（図９の例では時刻ｔ３以降にモーションが認識され、それ以降であって時刻ｔ４よりも前の場合）には、ステップＳ１においてＮＯであると判定されて、水平判定閾値ａｔｈは変化されずに、処理はステップＳ３に進む。
ステップＳ３において、カウント部７４は、カウント値ｔ１を、１だけインクリメントする（ｔ１＋＋）。その後、処理はステップＳ５に進むが、ステップＳ５以降の処理については後述する。

これに対して、カウント値ｔ１がタイミングｔｔｈ１を超えていた場合には、即ち前回のモーションが認識された時点（後述のステップＳ１６参照）から所定時間ｔｔｈ１が経過した場合（図９の例では時刻ｔ４の場合）、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
ステップＳ２において、閾値設定部７３は、現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ１を超えているか否かを判定する。
現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ１以下の場合には、ステップＳ２においてＮＯであると判定されて、水平判定閾値ａｔｈは変化されずに、処理はステップＳ５に進む。なお、ステップＳ５以降の処理については後述する。
これに対して、現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ１を超えていた場合には、即ち、閾値ａｔｈ２である場合には、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ４に進む。
ステップＳ４において、閾値設定部７３は、水平判定閾値ａｔｈの設定を、閾値ａｔｈ１に下げるように変化させる（ａｔｈ＝ａｔｈ１：図９の例では時刻ｔ４における変化参照）。これにより、処理はステップＳ５に進む。

ステップＳ５において、閾値設定部７３は、３軸の加速度の微分値△ａｘ、Δａｙ、Δａｚの各々が、運動状態判定閾値△ａｔｈを超えていないか否かを判定する（△ａｘ＜△ａｔｈ、Δａｙ＜△ａｔｈ、かつΔａｚ＜△ａｔｈ）。即ち、ステップＳ５においては、リスト端末１１が静止状態であるか否かが判定される。

３軸の加速度の微分値△ａｘ、Δａｙ、Δａｚ全てが、運動状態判定閾値△ａｔｈを超えていない場合（例えば図９の例では、時刻ｔ５以降又は時刻ｔ２以前の場合）、静止状態であるとして、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
ステップＳ３において、カウント部７４は、カウント値ｔ０を、１だけインクリメントする（ｔ０＋＋）。
ステップＳ９において、カウント部７４は、カウント値ｔ０がタイミングｔｔｈ０を超えていないか否かを判定する。

カウント値ｔ０がタイミングｔｔｈ０を超えていない場合には、即ち静止状態の継続時間が規定時間ｔｔｈ０を超えていない場合（図９の例では時刻ｔ５〜ｔ６の間や、時刻ｔ１よりも前の場合）には、ステップＳ９においてＮＯであると判定されて、水平判定閾値ａｔｈは変化されずに、処理はステップＳ１３に進む。なお、ステップＳ１３以降の処理については後述する。

これに対して、カウント値ｔ０がタイミングｔｔｈ０を超えていた場合には、即ち規定時間ｔｔｈ０の間静止状態が継続した場合（図９の例では時刻ｔ６や時刻ｔ１の場合）、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１０に進む。
ステップＳ１０において、閾値設定部７３は、現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ０を超えているか否かを判定する。
現在設定されている水平判定閾値ａｔｈが、最低の閾値ａｔｈ０の場合には、ステップＳ１０においてＮＯであると判定されて、水平判定閾値ａｔｈは変化されずに、処理はステップＳ１３に進む。なお、ステップＳ１３以降の処理については後述する。
これに対して、現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ０を超えていた場合には、即ち、閾値ａｔｈ１又は閾値ａｔｈ２である場合には、ステップＳ１０においてＹＥＳであると判定されて、処理はステップＳ１２に進む。
ステップＳ１２において、閾値設定部７３は、水平判定閾値ａｔｈの設定を、閾値ａｔｈ０に下げるように変化させる（ａｔｈ＝ａｔｈ０：図９の例では時刻ｔ６や時刻ｔ１における変化参照）。これにより、処理はステップＳ１３に進む。なお、ステップＳ１３以降の処理については後述する。

以上、リスト端末１１が静止状態の場合、即ちステップＳ５においてＹＥＳであると判定された場合の一連の処理に付いて説明した。
次に、リスト端末１１が運動状態の場合、即ち３軸の加速度の微分値△ａｘ、Δａｙ、Δａｚのうち少なくとも１つが、運動状態判定閾値△ａｔｈを超えている場合（例えば図９の例では、時刻ｔ２〜時刻ｔ５の間の場合）の一連の処理について説明する。この場合、ステップＳ５においてＮＯであると判定されて、処理はステップＳ７に進み、次のような一連の処理が実行される。

ステップＳ７において、閾値設定部７３は、現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ１未満か否かを判定する。
現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ１（又は閾値ａｔｈ２）の場合には、ステップＳ７においてＮＯであると判定されて、水平判定閾値ａｔｈは変化されずに、処理はステップＳ１１に進む。なお、ステップＳ１１以降の処理については後述する。
これに対して、現在設定されている水平判定閾値ａｔｈが、閾値ａｔｈ０の場合には、ステップＳ７においてＹＥＳであると判定されて、処理はステップＳ８に進む。
ステップＳ８において、閾値設定部７３は、水平判定閾値ａｔｈの設定を、閾値ａｔｈ１に上げるように変化させる（ａｔｈ＝ａｔｈ１：図９の例では時刻ｔ２における変化参照）。これにより、処理はステップＳ１１に進む。
ステップＳ１１において、カウント部７４は、カウント値ｔ０を、０にリセットする（ｔ０＝０）。
このようにして０にリセットされたカウント値ｔ０は、リスト端末１１が運動状態にある限りインクリメントされることはなく、従って、水平判定閾値ａｔｈとして閾値ａｔｈ０になることもない。

ステップＳ１３において、モーション認識部７１は、モーション認識アルゴリズムに従って、モーションの認識を試みる。
この場合、モーション認識部７１は、リスト端末１１の水平方向に対するなす角度が、ステップＳ１乃至Ｓ１２の処理で適宜変更された水平判定閾値ａｔｈ以内に入っている場合に、リスト端末１１が水平静止状態にあると判断する。具体的には、リスト端末１１の水平方向に対する角度は、加速度センサ部６０の検出結果のうち、ｘ軸の加速度値ａｘ及びｙ軸の加速度値ａｙよりも特定可能であるため、モーション認識部７１は、ｘ軸の加速度値ａｘ及びｙ軸の加速度値ａｙが水平判定閾値ａｔｈの範囲内に入っている場合に、リスト端末１１が水平静止状態にあると判断する。
そして、モーション認識部７１は、水平静止状態にあると判断後、リスト端末１１の移動軌跡等に基づいて、上述の図３乃至図７の各パターンのうち何れのパターンのモーションが行われたのかを認識する。上述のように、水平静止状態が前提としてモーションが認識されるので、ｘ軸の加速度値ａｘ及びｙ軸の加速度値ａｙが水平判定閾値ａｔｈの範囲内に入っていない場合には、水平静止状態が検出されず、その結果モーションの認識には至らない。

ステップＳ１４において、閾値設定部７３は、モーションが認識されたか否かを判定する。
モーションが認識されなかった場合には、ステップＳ１４においてＮＯであると判定されて、水平判定閾値ａｔｈは変化されずに、処理はステップＳ１に戻され、それ以降の処理が繰り返し実行される。
これに対して、モーションが認識された場合には、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
ステップＳ１５において、閾値設定部７３は、水平判定閾値ａｔｈの設定を、閾値ａｔｈ２に上げるように変化させる（ａｔｈ＝ａｔｈ２：図９の例では時刻ｔ３における変化参照）。
ステップＳ１６において、カウント部７４は、カウント値ｔ１を、０にリセットする（ｔ１＝０）。
その後処理はステップＳ１に戻され、それ以降の処理が繰り返される。

以上説明したように、本発明の情報処理装置の一実施形態に係るリスト端末１１は、ＣＰＵ５１における判断部（図示せず）と、モーション認識部７１と、入力部３６と、カウント部７４と、加速度センサ部６０と、閾値設定部７３とを備える。
ＣＰＵ５１における判断部（図示せず）は、ユーザの腕に装着されるリスト端末１１の表示部５７が水平方向に対するなす角度が閾値（水平判定閾値ａｔｈ）の範囲内にある場合、当該リスト端末１１が水平な姿勢を取っている基準状態であると判断する。
モーション認識部７１は、判断部（図示せず）によって基準状態であると判断された場合、リスト端末１１のデバイスの当該基準状態からの動き（即ちモーション）を認識する。
入力部３６は、認識したリスト端末１１の基準状態からの動きに対応する入力操作を入力する。
カウント部７４は、カウント動作をすることで、時間を計時する。
加速度センサ部６０は、３軸の加速度値を、リスト端末１１の運動状態として検出する。
閾値設定部７３は、カウント部７４により計時された時間と、加速度センサ部６０により検出されたリスト端末１１の運動状態とに応じて、閾値（水平判定閾値ａｔｈ）を可変設定する。
これにより、ユーザが操作として行う腕等のモーションの認識精度を向上させることができる。
即ち、閾値が動的に変化されるので、ユーザが操作を行う可能性が高いときのモーションの認識精度を一定以上維持しつつ、ユーザが操作を行う可能性の低いときにおけるモーションの誤認識を防止することができる。

カウント部７４は、リスト端末１１が静止したことが加速度センサ部６０により検出されると、計時を開始し、
閾値設定部７３は、カウント部７４により一定時間が計時されたとき（図９の時刻ｔ１等）、閾値を減少させる設定をすることができる。
このように、ユーザが操作のためにモーションを行う可能性が低いときに閾値を減少させることで、ユーザが操作を行う可能性の低いときにおけるモーションの誤認識を防止することができる。

閾値設定部７３は、リスト端末１１が運動を開始したことが加速度センサ部６０により検出されたとき（図９の時刻ｔ２等）、閾値を増加させる設定をすることができる。
このように、リスト端末１１が運動を開始した後にはユーザがモーションを行う可能性が高まるため、閾値を増加させることで、ユーザが操作を行う可能性が高いときのモーションの認識精度を一定以上維持することができる。

閾値設定部７３は、モーション認識部７１によりモーション（リスト端末１１の動き）が認識されたとき、閾値を増加させる設定をすることができる。
このように、モーションが認識された直後のとき（図９の時刻ｔ３等）は、リスト端末１１が運動していることと、ユーザがリスト端末１１を十分に水平にしないまま次のモーションを行う可能性があるため、閾値を増加させることで、ユーザが操作を行う可能性が高いときのモーションの認識精度を一定以上維持することができる。

カウント部７４は、モーション認識部７１によりモーション（リスト端末１１の動き）が認識されると、計時を開始し、
閾値設定部７３は、カウント部７４により一定時間が計時されたとき、閾値を減少させる設定をすることができる。
このように、モーションが認識されてから一定時間経過したとき（図９の時刻ｔ４等）、ユーザが操作をやめたのでその後操作以外で腕を動かす可能性があるため、閾値を減少させることで、ユーザが操作を行う可能性の低いときにおけるモーションの誤認識を防止することができる。

以上説明したように、リスト端末１１の運動状態を検出する検出手段は、本実施形態では、加速度センサであり、閾値は、加速度値で表される。
このように、リスト端末１１を水平だと認識する加速度値の閾値が、時間と加速の状態で動的に変化する。これにより、ユーザが操作を行う可能性が高いときのモーションの認識精度を維持しつつ、ユーザが操作を行う可能性の低いときはモーションの誤認識を防止することができる。

以上説明したように、本発明の情報処理装置の一実施形態はリスト端末１１である。即ち、リスト端末１１自体に、モーション認識部７１と、カウント部７４と、加速度センサ部６０と、閾値設定部７３とが設けられている。
これにより、ユーザは、他に特別な機器を用意しなくても、リスト端末１１を腕にはめるだけで、当該リスト端末１１を単純な動きで操作することができる。その際、日常生活の動きで腕も動くことがあっても、操作としてのモーションとして誤認識されることは少なくなる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、モーション認識処理として、図１０のフローチャートに従った処理が採用されていたが、図１０は、水平判定閾値として３種類、閾値を変えるタイミングの指標となるカウンタが２種類、及び運動状態判定閾値として１種類が用いられる例に過ぎない。即ち、モーション認識処理において、水平判定閾値として任意の２種類以上が採用されていれば足り、カウンタも任意の２種類以上が採用されていれば足りる。

上述の実施形態では、加速度センサ部６０が採用されたが、特にこれに限定されず、リスト端末１１の運動状態として検出する機能を有していれば、任意のセンサデバイスを採用することができる。

また、上述の実施形態では、リスト端末１１に、閾値を可変設定する機能が搭載されていたが、特にこれに限定されず、閾値を可変設定する機能は図示せぬ別の装置に搭載されていてもよい。同様に、モーションを認識する機能等その他の機能についても、リスト端末１１に必ずしも搭載されている必要はなく、図示せぬ別の装置（この場合１台である必要は無く複数台でも構わない）に搭載されていてもよい。

換言すると、上述の実施形態では、本発明が適用される情報処理装置は、リスト端末を例として説明したが、特にこれに限定されない。
例えば、本発明は、ユーザの腕等に装着されるデバイス自体、又は当該デバイスと通信をする機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がリスト端末１１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
ユーザの腕に装着されるデバイスの表示部が水平方向に対するなす角度が閾値の範囲内にある場合、当該デバイスが水平な姿勢を取っている基準状態であると判断する判断手段と、
前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
前記認識した前記デバイスの基準状態からの動きに対応する入力操作を入力する入力手段と、
時間を計時する計時手段と、
前記デバイスの運動状態を検出する検出手段と、
前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの運動状態とに応じて、前記閾値を可変設定する設定手段と、
を備える情報処理装置。
［付記２］
前記計時手段は、前記デバイスが静止したことが前記検出手段により検出されると、計時を開始し、
前記設定手段は、前記計時手段により一定時間が計時されたとき、前記閾値を減少させる設定をする、
付記１に記載の情報処理装置。
［付記３］
前記設定手段は、前記デバイスが運動を開始したことが前記検出手段により検出されたとき、前記閾値を増加させる設定をする、
付記１に記載の情報処理装置。
［付記４］
前記設定手段は、前記認識手段により前記デバイスの動きが認識されたとき、前記閾値を増加させる設定をする、
付記１に記載の情報処理装置。
［付記５］
前記計時手段は、前記認識手段により前記デバイスの動きが認識されると、計時を開始し、
前記設定手段は、前記計時手段により一定時間が計時されたとき、前記閾値を減少させる設定をする、
付記１に記載の情報処理装置。
［付記６］
前記検出手段は、加速度センサであり、
前記閾値は、加速度値で表される、
付記１乃至５のうち何れか１つに記載の情報処理装置。
［付記７］
前記情報処理装置は、前記デバイスである、
付記１乃至６のうち何れか１つに記載の情報処理装置。
［付記８］
情報処理装置が実行するステップとして、
ユーザの腕に装着されるデバイスの表示部が水平方向に対するなす角度が閾値の範囲内にある場合、当該デバイスが水平な姿勢を取っている基準状態であると判断する判断ステップと、
この判断ステップによって基準状態であると判断された場合に、当該基準状態からの前記デバイスの動きを認識する認識ステップと、
この認識ステップによって認識した前記基準状態からの動きに対応する入力操作を入力する入力手段と、
時間を計時する計時ステップと、
前記デバイスの運動状態を検出する検出ステップと、
前記計時ステップの処理により計時された時間と、前記検出ステップの処理により検出された前記デバイスの運動状態とに応じて、前記閾値を可変設定する設定ステップと、
を含む情報処理方法。
［付記９］
ユーザの腕に装着されるデバイスの表示部が水平方向に対するなす角度が閾値の範囲内にある場合、当該デバイスが水平な姿勢を取っている基準状態であると判断する判断手段と、
前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
時間を計時する計時手段と、
前記デバイスの運動状態を検出する検出手段と、
を備える情報処理装置を制御するコンピュータを、
前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの運動状態とに応じて、前記閾値を可変設定する設定手段、
として機能させるプログラム。

１１ リスト端末、５１ ＣＰＵ、６０ 加速度センサ部、７１ モーション認識部、７２ 処理実行部、７３ 閾値設定部、７４ カウント部

本発明は、端末装置、モーション認識方法及びプログラムに関する。

本発明は、モーションの認識精度を向上させることを目的とする。

請求項１は、端末装置に対する動きを検出する検出手段と、前記端末装置に対するユーザによる任意の動きを前記検出手段が検出した際は、当該動きの種類に応じて複数のモーションの内の何れかのモーションを認識する認識手段と、前記端末装置の動きを検出した後は、当該端末装置における以後の動きを前記モーションとして認識させる開始の動きとして検出させる閾値の範囲を増加変更させ、前記端末装置の静止を検出した後は、前記閾値を減少変更させる閾値変更手段と、を具備したことを特徴とする。
請求項４は、端末装置に対する動きを検出する検出手段と、前記端末装置に対するユーザによる任意の動きを前記検出手段が検出した際は、当該動きの種類に応じて複数のモーションの内の何れかのモーションを認識する認識手段と、前記認識手段で前記モーションを認識した後は、当該端末装置における以後の動きを前記モーションとして認識させる開始の動きとして検出させる閾値の範囲を増加変更させ、前記認識手段で前記モーションを認識した後の所定時間経過後は、前記閾値を減少変更させる閾値変更手段と、を具備したことを特徴とする。
請求項５は、端末装置に対する動きを検出する検出手段と、基準状態にある端末装置に対する任意の動きを前記検出手段が検出した際は、当該動きの種類に応じて複数のモーションの内の何れかのモーションを認識する認識手段と、前記基準状態として特定するための状態の閾値の範囲を、前記端末装置が動いた後は増加させ、前記端末装置が静止した後は減少させることで、前記基準状態の閾値を動的に変更させる閾値変更手段と、を具備したことを特徴とする。
請求項６は、端末装置に対する動きを検出する検出手段と、基準状態にある端末装置に対する任意の動きを前記検出手段が検出した際は、当該動きの種類に応じて複数のモーションの内の何れかのモーションを認識する認識手段と、前記基準状態として特定するための状態の閾値の範囲を、前記モーションを認識した後では増加させ、前記モーションを認識した後の所定時間経過後は減少させることで、前記基準状態の閾値を動的に変更させる閾値変更手段と、を具備したことを特徴とする。

本発明によれば、モーションの認識精度を向上させることができる。

Claims (10)

1. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
   前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
   前記認識手段により認識した前記デバイスの基準状態からの動きに対応する入力操作を
   入力する入力手段と、
   時間を計時する計時手段と、
   前記デバイスの動き状態を検出する検出手段と、
   前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段と、
   を備え、
   前記計時手段は、前記デバイスが静止したことが前記検出手段により検出されると、計時を開始し、
   前記設定手段は、前記計時手段により一定時間が計時されたとき、前記閾値を減少させ
   る設定をする、情報処理装置。
2. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
   前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
   前記認識手段により認識した前記デバイスの基準状態からの動きに対応する入力操作を入力する入力手段と、
   時間を計時する計時手段と、
   前記デバイスの動き状態を検出する検出手段と、
   前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段と、
   を備え、
   前記設定手段は、前記デバイスが動いたことが前記検出手段により検出されたとき、前記閾値を増加させる設定をする、情報処理装置。
3. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
   前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
   前記認識手段により認識した前記デバイスの基準状態からの動きに対応する入力操作を入力する入力手段と、
   時間を計時する計時手段と、
   前記デバイスの動き状態を検出する検出手段と、
   前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段と、
   を備え、
   前記設定手段は、前記認識手段により前記デバイスの動きが認識されたとき、前記閾値を増加させる設定をする、情報処理装置。
4. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
   前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
   前記認識手段により認識した前記デバイスの基準状態からの動きに対応する入力操作を入力する入力手段と、
   時間を計時する計時手段と、
   前記デバイスの動き状態を検出する検出手段と、
   前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段と、
   を備え、
   前記計時手段は、前記認識手段により前記デバイスの動きが認識されると、計時を開始し、
   前記設定手段は、前記計時手段により一定時間が計時されたとき、前記閾値を減少させる設定をする、情報処理装置。
5. 前記検出手段は、加速度センサであり、
   前記閾値は、加速度値で表される、
   請求項１乃至４のうち何れか１項に記載の情報処理装置。
6. 前記情報処理装置は、前記デバイスである、
   請求項１乃至５のうち何れか１項に記載の情報処理装置。
7. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
   前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
   時間を計時する計時手段と、
   前記デバイスの動き状態を検出する検出手段と、
   を備える情報処理装置を制御するコンピュータを、
   前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段、
   として機能させ、
   前記計時手段は、前記デバイスが静止したことが前記検出手段により検出されると、計時を開始し、
   前記設定手段は、前記計時手段により一定時間が計時されたとき、前記閾値を減少させる設定をする、プログラム。
8. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
   前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
   時間を計時する計時手段と、
   前記デバイスの動き状態を検出する検出手段と、
   を備える情報処理装置を制御するコンピュータを、
   前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段、
   として機能させ、
   前記設定手段は、前記デバイスが動いたことが前記検出手段により検出されたとき、前記閾値を増加させる設定をする、プログラム。
9. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
   前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
   時間を計時する計時手段と、
   前記デバイスの動き状態を検出する検出手段と、
   を備える情報処理装置を制御するコンピュータを、
   前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段、
   として機能させ、
   前記設定手段は、前記認識手段により前記デバイスの動きが認識されたとき、前記閾値を増加させる設定をする、プログラム。
10. ユーザに装着されるデバイスの表示部が所定の方向に対してなす角度が閾値の範囲内にある場合、当該デバイスが基準状態であると判断する判断手段と、
    前記判断手段によって前記基準状態であると判断された場合、前記デバイスの当該基準状態からの動きを認識する認識手段と、
    時間を計時する計時手段と、
    前記デバイスの動き状態を検出する検出手段と、
    を備える情報処理装置を制御するコンピュータを、 前記計時手段により計時された時間と、前記検出手段により検出された前記デバイスの動き状態とに応じて、前記閾値を可変設定する設定手段、
    として機能させ、
    前記計時手段は、前記認識手段により前記デバイスの動きが認識されると、計時を開始し、
    前記設定手段は、前記計時手段により一定時間が計時されたとき、前記閾値を減少させる設定をする、プログラム。

Images