JP2015146058A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】身体動作の処理を統合できる情報処理装置、情報処理方法および情報処理プログラムを提供する。【解決手段】情報処理装置は、検出部と推定部と認識部と決定部と出力制御部とを有する。検出部は、ユーザの身体の動作を動作データとして検出する。推定部は、動作データに基づいて、身体の軌道を推定する。認識部は、推定された軌道に基づいて、ジェスチャを認識する。決定部は、軌道に基づいて、認識されたジェスチャのうち、所定の動作のジェスチャを除外して出力ジェスチャを決定する。出力制御部は、軌道、ジェスチャおよび出力ジェスチャのいずれか１つまたは複数を出力する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

身体の動きをジェスチャとして認識して、例えばＰＣ（Personal Computer）、ゲーム機、テレビジョン受像機等を操作することが知られている。また、施設の点検業務等において、ユーザが端末装置を装着し、ＨＭＤ（Head Mount Display）等を用いてマニュアルを閲覧することが知られている。例えば、マニュアルを閲覧するために、ユーザは作業中に端末装置の操作を行うことが必要となる。このため、例えば手を動かすジェスチャを認識して、端末装置の操作を行うことが提案されている。

特開２００１−２１６０６９号公報 特開２０１２−１４６３０３号公報 特開２０１２−１３８０８４号公報

しかしながら、端末装置を操作するためのジェスチャは、ＨＭＤ等に表示される画面の内容により、様々に変化する。例えば、連続的な軌道による文字入力が必要な場合は、例えば手の動きの軌道が必要となる。また、例えば、複数の選択肢においてカーソルを移動させる場合には、手の動きに基づいたジェスチャとして、「右」、「左」といったような単発のコマンド入力が必要となる。さらに、例えば、複数の選択肢の一番左にカーソルがあり一番右の選択肢を選択する場合には、手の動きに基づいたジェスチャとして、「右」という同一のコマンドを連続して入力する必要がある。このため、端末装置に、これらの様々な軌道やジェスチャの入力に対応する認識部を各々設けると、コストが増大する。

一つの側面では、本発明は、身体動作の処理を統合できる情報処理装置、情報処理方法および情報処理プログラムを提供することにある。

一つの態様では、情報処理装置は、検出部と推定部と認識部と決定部と出力制御部とを有する。当該情報処理装置の検出部は、ユーザの身体の動作を動作データとして検出する。当該情報処理装置の推定部は、前記動作データに基づいて、前記身体の軌道を推定する。当該情報処理装置の認識部は、推定された前記軌道に基づいて、ジェスチャを認識する。当該情報処理装置の決定部は、前記軌道に基づいて、認識された前記ジェスチャのうち、所定の動作のジェスチャを除外して出力ジェスチャを決定する。当該情報処理装置の出力制御部は、前記軌道、前記ジェスチャおよび前記出力ジェスチャのいずれか１つまたは複数を出力する。

身体動作の処理を統合できる。

図１は、実施例の情報処理装置の構成の一例を示すブロック図である。 図２は、検出装置の装着の一例を示す説明図である。 図３は、検出された動作を２次元平面に投影した一例を示す説明図である。 図４は、身体の姿勢の一例を示す説明図である。 図５は、身体の姿勢の推定方法の一例を示す説明図である。 図６は、軌道の推定の一例を示す説明図である。 図７は、身体の姿勢とジェスチャとの関係の一例を示す説明図である。 図８は、戻り動作のジェスチャの除外の一例を示す説明図である。 図９は、反復する連続動作の一例を示す説明図である。 図１０は、ジェスチャ間の時間差によるフィルタの一例を示す説明図である。 図１１は、ジェスチャ順によるフィルタの一例を示す説明図である。 図１２は、元のジェスチャ認識の一例を示す説明図である。 図１３は、ジェスチャの統合の一例を示す説明図である。 図１４は、ジェスチャの分割の一例を示す説明図である。 図１５は、ジェスチャの除外の一例を示す説明図である。 図１６は、表示画面の一例を示す説明図である。 図１７は、実施例の情報処理装置の動作の概要の一例を示す説明図である。 図１８は、実施例の情報処理装置の処理の一例を示すフローチャートである。 図１９は、フィルタ処理の一例を示すフローチャートである。 図２０は、情報処理プログラムを実行するコンピュータの一例を示す説明図である。

以下、図面に基づいて、本願の開示する情報処理装置、情報処理方法および情報処理プログラムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例の情報処理装置の構成の一例を示すブロック図である。図１に示す情報処理装置１は、検出装置１０と、端末装置２０とを有する。検出装置１０および端末装置２０は、有線または無線により、相互に通信可能に接続されている。検出装置１０は、情報処理装置１の検出部を構成し、ユーザの手足等に装着され、手足等の動作を検出する。検出装置１０は、慣性センサ１１と、スイッチ１２と、制御部１３と、通信部１４とを有する。

慣性センサ１１は、例えば、加速度センサ、角速度センサ等を用いることができる。慣性センサ１１は、例えば、加速度センサとして、静電容量型、ピエゾ抵抗型またはガス温度分布型等のＭＥＭＳ（Micro Electro Mechanical Systems）を用いた加速度センサを用いることができる。また、慣性センサ１１は、例えば、角速度センサとして、音叉型、ビーム型またはリング型等のＭＥＭＳジャイロを用いることができる。慣性センサ１１は、検出した加速度、角速度等のセンサ情報を制御部１３に出力する。

スイッチ１２は、検出装置１０での動きの検出を行うか否かを設定するスイッチである。スイッチ１２は、例えば、押しボタンスイッチを用いることができ、スイッチ１２のＯＮまたはＯＦＦを制御部１３に出力する。スイッチ１２は、例えば、押下されてＯＮ状態となったときに、慣性センサ１１から制御部１３に入力されるセンサ情報を有効とし、離されてＯＦＦ状態となったときにセンサ情報を無効とする。なお、スイッチ１２は、１回押下で押下状態を保持し、もう１回押下されると押下状態を解除するスイッチとしてもよい。また、検出装置１０は、他のスイッチとして、図示しないジェスチャ認識ＯＮ／ＯＦＦスイッチ、フィルタＯＮ／ＯＦＦスイッチ、適用フィルタ切替スイッチ等を設け、各スイッチの状態を制御部１３に出力する。

制御部１３は、検出装置１０を制御する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。

制御部１３は、慣性センサ１１からセンサ情報が入力され、スイッチ１２からＯＮまたはＯＦＦが入力される。制御部１３は、スイッチ１２がＯＮである場合には、ＯＮであるスイッチ情報を生成する。また、制御部１３は、スイッチ１２がＯＦＦである場合には、ＯＦＦであるスイッチ情報を生成する。さらに、制御部１３は、スイッチ１２がＯＮである場合には、センサ情報が有効であるとして、センサ情報を動作データとして、スイッチ情報とともに通信部１４に出力する。また、制御部１３は、スイッチ１２がＯＦＦである場合には、センサ情報が無効であるとして、スイッチ情報を通信部１４に出力する。

通信部１４は、例えば、無線通信モジュール等によって実現される。通信部１４は、例えば、無線通信の規格として、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等を用いることができる。また、通信部１４は、例えば、ＵＳＢ（Universal Serial Bus）等の有線通信モジュールを用いて、有線通信を行ってもよい。通信部１４は、制御部１３からスイッチ情報および動作データのうち１つ以上が入力される。通信部１４は、入力されたスイッチ情報および動作データのうち１つ以上を端末装置２０に送信する。

ここで、検出装置１０の装着の一例について説明する。図２は、検出装置の装着の一例を示す説明図である。図２に示すように、検出装置１０は、例えば、（ａ）手首、（ｂ）足首、または、（ｃ）頭部に固定具１５を用いて装着される。検出装置１０は、装着された部位の動作を検出する。図２に示すように、スイッチ１２は、例えば、検出装置１０を手首に装着した場合には、手首の動きによってＯＮ／ＯＦＦを切り替えることができる。

図１の説明に戻って、端末装置２０は、通信部２１と、記憶部２２と、制御部２３と、出力部２９とを有する。なお、端末装置２０は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。端末装置２０は、例えば、各種の携帯端末装置を採用することができる。例えば、携帯端末装置の一例として、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末、ウェアラブルＰＣなどが挙げられる。また、端末装置２０は、パーソナルコンピュータなどの据置き型の端末を用いてもよい。

通信部２１は、例えば、無線通信モジュール等によって実現される。通信部２１は、例えば、無線通信の規格として、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ等を用いることができる。また、通信部２１は、例えば、ＵＳＢ等の有線通信モジュールを用いて、有線通信を行ってもよい。通信部２１は、検出装置１０からスイッチ情報および動作データのうち１つ以上を受信する。通信部２１は、受信したスイッチ情報および動作データのうち１つ以上を制御部２３に出力する。

記憶部２２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部２２は、制御部２３での処理に用いる情報を記憶する。

制御部２３は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部２３は、取得部２４と、推定部２５と、認識部２６と、決定部２７と、出力制御部２８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２３の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

取得部２４は、通信部２１からスイッチ情報および動作データのうち１つ以上が入力されると、入力されたスイッチ情報および動作データのうち１つ以上を取得する。取得部２４は、取得した動作データを推定部２５に出力する。また、取得部２４は、検出装置１０から入力されたスイッチ１２のスイッチ情報に基づいて、情報処理装置１の処理、つまり、ユーザの身体の動作に応じた処理を終了するか否かを判定する。取得部２４は、スイッチ１２のスイッチ情報がＯＦＦである場合には各部に対して処理の終了を通知し、スイッチ１２のスイッチ情報がＯＮの場合は各部に対して処理の続行を通知する。つまり、取得部２４は、スイッチ１２のスイッチ情報に基づいて、ユーザの身体の動作による入力を行うか否かを判定する。これは、例えば、入力動作が不要なときに、作業中の手の動きによって情報処理装置１が意図しない動作を行わないためである。また、取得部２４は、検出装置１０に設けた図示しないジェスチャ認識ＯＮ／ＯＦＦスイッチ、フィルタＯＮ／ＯＦＦスイッチ、適用フィルタ切替スイッチ等のスイッチ情報を取得する。取得部２４は、取得した各スイッチ情報を認識部２６および決定部２７に出力する。

推定部２５は、取得部２４から動作データが入力されると、動作データに基づいて、ユーザの身体の姿勢および軌道を推定する。図３は、検出された動作を２次元平面に投影した一例を示す説明図である。図３に示すように、推定部２５は、例えば、動作データを２次元平面に投影することで、動作の特徴量θを算出する。動作の特徴量θは、例えば、動作データのうち、角速度センサのセンサ情報である角速度を積分することで求めることができる。さらに、推定部２５は、動作の特徴量θを積分することで移動距離を求めることができる。また、推定部２５は、動作データのうち、加速度センサのセンサ情報に基づいて重力方向を推定する。推定部２５は、推定した重力方向に基づいて身体の姿勢を推定する。なお、推定部２５は、検出された動作を２次元平面に投影することに限定されず、３次元空間等に投影するようにしてもよい。

図４は、身体の姿勢の一例を示す説明図である。図４に示すように、推定部２５は、例えば、手首の向きとして、手首断面と平行な平面上の向きを用いることができる。図５は、身体の姿勢の推定方法の一例を示す説明図である。図５の例では、推定部２５は、例えば手首の姿勢を下記の式（１）によって推定する。なお、ψは手首の向きを示し、ａ_ｘはセンサのｘ軸方向の加速度を示し、ａ_ｚはセンサのｚ軸方向の加速度を示す。

ψ ＝ ｔａｎ^−１（ａ_ｘ／ａ_ｚ） ・・・（１）

また、推定部２５は、動作の特徴量θに基づいて軌道を推定する。推定部２５は、例えば、２次元平面に投影された動作データについて、動作データの取得開始からの動きの軌跡を軌道として推定する。推定部２５は、推定した姿勢および軌道を認識部２６および決定部２７に出力する。また、推定部２５は、推定した軌道を出力制御部２８に出力する。なお、動作の特徴量θは、情報処理装置１の電源投入時に初期化され、その後の累積値を記憶し続けるパラメータと、１つのジェスチャごとに累積値がリセットされるパラメータの２つのパラメータを有する。すなわち、累積値を記憶し続けるパラメータは、ジェスチャごとの切り替えでは初期化しない。なお、推定部２５は、動作データが入力される限り姿勢および軌道を推定し続け、１つのジェスチャごとに、累積値がリセットされるパラメータの動作の特徴量θ、つまり移動量をリセットする。

ここで、図６を用いて軌道の推定について説明する。図６は、軌道の推定の一例を示す説明図である。図６に示すように、例えば、ユーザが手を動かす動作として、図６中の（１）番の位置から（２）番の位置に動かす動作Ａと、（２）番の位置から（１）番の位置に動かす動作Ｂとを行った場合を説明する。推定部２５は、ユーザが動作Ａ、Ｂを連続して行った場合に、推定例５１に示すような連続的な軌道を推定する。

図１の説明に戻って、認識部２６は、推定部２５から姿勢および軌道が入力されると、ジェスチャを認識する。認識部２６は、例えば、図６に示すようにユーザが動作Ａ、Ｂを連続して行った場合には、姿勢および軌道に基づいて、「左」、「右」といったジェスチャを認識する。認識部２６は、例えば、２次元平面の中心点の周り３６０°を４分割して３１５°から４５°を「右」、４５°から１３５°を「上」、１３５°から２２５°を「左」、２２５°から３１５°を「下」として、軌道がどのエリアに入るかでジェスチャを認識できる。認識部２６は、認識されたジェスチャを決定部２７および出力制御部２８に出力する。また、認識部２６は、取得部２４から入力されたジェスチャ認識ＯＮ／ＯＦＦスイッチのスイッチ情報に基づいて、ジェスチャ認識がＯＦＦであるか否かを判定する。認識部２６は、ジェスチャ認識がＯＮの場合に、ジェスチャ認識処理を行う。なお、認識部２６は、姿勢および軌道のうちいずれか１つに基づいて、ジェスチャを認識してもよい。

図１の説明に戻って、決定部２７は、推定部２５から姿勢および軌道が入力され、認識部２６からジェスチャが入力される。決定部２７は、姿勢および軌道に基づいて、入力されたジェスチャを出力ジェスチャとするか否かを決定する。決定部２７は、姿勢に対応する軌道に基づいて、ジェスチャを識別する。すなわち、決定部２７は、入力されたジェスチャのうち、動作の終了位置から開始位置に戻る戻り動作のジェスチャを識別する。

ここで、図７を用いて身体の姿勢とジェスチャとの関係について説明する。図７は、身体の姿勢とジェスチャとの関係の一例を示す説明図である。決定部２７は、例えば、２次元平面に投影された動作データを、図７に示すように４つに分けて、それぞれ上下左右を割り当てる。このとき、決定部２７は、例えば、手首の姿勢とジェスチャとが一致する場合には、そのジェスチャを出力ジェスチャとし、手首の姿勢とジェスチャとが一致しない場合には、そのジェスチャを戻り動作のジェスチャであるとして出力しない。決定部２７は、出力ジェスチャを出力制御部２８に出力する。

決定部２７は、例えば、図７中、ユーザが掌を上に向けて腕を上に移動させる動作を行った場合には、手首の姿勢とジェスチャとが、共に「上」であるので、当該動作を「上」という出力ジェスチャとする。決定部２７は、例えば、ユーザが掌を上に向けて腕を下に移動させる動作を行った場合には、手首の姿勢は「上」であり、ジェスチャは「下」であるので、当該ジェスチャを出力しない。なお、決定部２７は、図７中の左右の動作も同様に決定できる。

ジェスチャを出力しない場合の一例として、戻り動作のジェスチャの除外について図８を用いて説明する。図８は、戻り動作のジェスチャの除外の一例を示す説明図である。図８に示すように、例えば、ユーザが手を動かす動作として、図８中の（１）番の位置から（２）番の位置に動かす動作Ａと、（２）番の位置から（１）番の位置に動かす動作Ｂとを行った場合を説明する。決定部２７は、ジェスチャフィルタとして、姿勢とジェスチャとが共に「左」であるフィルタを設定する。決定部２７は、動作Ａの場合には、姿勢である手首の向きが「左」、ジェスチャが「左」であるので、フィルタを通過させ、当該動作を出力ジェスチャとして出力する。これに対し、決定部２７は、動作Ｂの場合には、姿勢である手首の向きが「左」、ジェスチャが「右」であるので、フィルタを通過させず、当該動作は出力されない。すなわち、決定部２７は、ユーザが動作Ａと動作Ｂとを繰り返す反復動作を行っても、動作Ａに対応する「左」というジェスチャのみを出力することができる。

また、決定部２７は、反復する連続動作として上述した左右だけでなく、回転動作に対してフィルタを行ってもよい。図９は、反復する連続動作の一例を示す説明図である。図９に示すように、決定部２７は、ユーザが手首を回転させる、つまり、ひねる動作についても、ユーザから見て右回転の動作Ｃと、左回転の動作Ｄとから必要なジェスチャを出力できる。決定部２７は、例えば、姿勢として手首の向きが「下」であり、ジェスチャ（回転方向）が「右」の場合はフィルタを通過させる。また、決定部２７は、例えば、姿勢として手首の向きが「下」以外であり、ジェスチャ（回転方向）が「左」の場合はフィルタを通過させないことで、右回転のみを出力ジェスチャとして出力できる。決定部２７は、同様に、例えば、姿勢として手首の向きが「下」であり、ジェスチャ（回転方向）が「左」の場合はフィルタを通過させる。また、決定部２７は、例えば、姿勢として手首の向きが「下」以外であり、ジェスチャ（回転方向）が「右」の場合はフィルタを通過させないことで、左回転のみをジェスチャとして出力できる。これらの手首の向きとジェスチャとの関係は、例えば、記憶部２２にデータベースとして予め格納し、決定部２７が記憶部２２から当該データベースを読み込むようにできる。すなわち、当該データベースには、ジェスチャフィルタが格納されることになる。

さらに、決定部２７は、ジェスチャフィルタとして、ジェスチャ間の時間差を用いてもよい。図１０は、ジェスチャ間の時間差によるフィルタの一例を示す説明図である。図１０に示すように、決定部２７は、第１のジェスチャである動作Ａに対応するジェスチャＡと、第２のジェスチャである動作Ｂに対応するジェスチャＢとの時間差５３が所定値以下である場合には、ジェスチャＢを戻り動作のジェスチャとして出力しない。決定部２７は、第２のジェスチャであるジェスチャＢと、次に来るジェスチャＡとの時間差５４が所定値を超える場合には、次に来るジェスチャＡを第１のジェスチャと判定して、出力ジェスチャとして出力する。なお、所定値は、任意の値でよいが、例えば、１秒とすることができる。決定部２７は、第１のジェスチャであるジェスチャＡと、第２のジェスチャであるジェスチャＢとの時間差５５についても、時間差５３と同様に判定し、時間差５３が所定値以下である場合には、第２のジェスチャであるジェスチャＢを出力しない。このように、決定部２７は、第１のジェスチャと、第２のジェスチャとの時間差が所定値以下の場合には、第２のジェスチャを戻り動作のジェスチャとすることで、第１のジェスチャのみを出力することができる。

また、決定部２７は、ジェスチャフィルタとして、ジェスチャ順を用いてもよい。図１１は、ジェスチャ順によるフィルタの一例を示す説明図である。図１１に示すように、決定部２７は、１番目のジェスチャである動作Ａに対応するジェスチャＡを第１のジェスチャとすると、２番目のジェスチャである動作Ｂに対応するジェスチャＢを第２のジェスチャとする。決定部２７は、第１のジェスチャと対になる第２のジェスチャを戻り動作のジェスチャと判定し、第１のジェスチャであるジェスチャＡのみを出力ジェスチャとして出力する。また、決定部２７は、一定時間５６の経過後に１番目のジェスチャとしてジェスチャＢが入力された場合には、ジェスチャ順をリセットし、ジェスチャＢを第１のジェスチャとし、その直後のジェスチャＡを対になる第２のジェスチャとする。この場合には、第１のジェスチャであるジェスチャＢのみを出力ジェスチャとして出力する。すなわち、決定部２７は、奇数番目のジェスチャのみを出力することで、戻り動作のジェスチャを除外することができる。なお、一定時間５６は、図１０の時間差の所定値よりも長く設定することが好ましく、２つの操作を区別できる時間であれば任意の時間とでき、例えば、２秒とすることができる。また、第１のジェスチャと対になる第２のジェスチャは、予め記憶部２２に格納する。なお、ジェスチャ順を用いるジェスチャフィルタは、図９に示すような回転するジェスチャについても適用できる。

さらに、決定部２７は、ジェスチャフィルタとして、認識部２６で認識されたジェスチャに対して軌道に基づいてフィルタをかけて、ジェスチャの統合、分割または除外を行うようにしてもよい。決定部２７に、例えば、認識部２６からジェスチャとして上下左右に４分割されたジェスチャ、つまり４種類のジェスチャが入力される場合について説明する。図１２は、元のジェスチャ認識の一例を示す説明図である。図１２に示すように、決定部２７は、認識部２６から上下左右の４種類のうちいずれかのジェスチャが入力される。

まず、ジェスチャの統合について説明する。図１３は、ジェスチャの統合の一例を示す説明図である。図１３に示すように、決定部２７は、例えば、軌道に基づいて、「右」の範囲の中心、すなわち、θ＝０°±９０°の範囲を「右」とし、θ＝１８０°±９０°の範囲を「左」とすることができる。決定部２７は、出力ジェスチャとして、「右」または「左」を出力する。これにより、決定部２７は、上下のジェスチャ認識が不要な場合に、認識部２６の認識結果はそのままに、左右と認識するジェスチャの範囲を拡大することができる。

次に、ジェスチャの分割について説明する。図１４は、ジェスチャの分割の一例を示す説明図である。図１４に示すように、決定部２７は、例えば、軌道に基づいて、上下左右の各エリアをさらに２等分し、「右」を例にとると、「右−上」と「右−下」に分割する。決定部２７は、他のエリアも同様に２分割する。決定部２７は、出力ジェスチャとして、例えば、「右−上」、「右−下」等の元のジェスチャをさらに細かく分割したジェスチャを出力する。これにより、決定部２７は、より精度の高いジェスチャが必要な場合に、認識部２６の認識結果はそのままに、ジェスチャの分解能を高めることができる。

続いて、ジェスチャの除外について説明する。図１５は、ジェスチャの除外の一例を示す説明図である。図１５に示すように、決定部２７は、例えば、軌道に基づいて、上下左右の各エリアのうち、左右のジェスチャを除外して上下のジェスチャのみを出力する。これにより、決定部２７は、元のジェスチャの認識範囲（エリア）を変更せずに、不要なジェスチャを除外することができる。

図１の説明に戻って、出力制御部２８は、推定部２５から軌道が入力され、認識部２６からジェスチャが入力され、決定部２７から出力ジェスチャが入力される。出力制御部２８は、軌道、ジェスチャおよび出力ジェスチャのいずれか１つまたは複数を出力する。すなわち、出力制御部２８は、軌道、ジェスチャおよび出力ジェスチャのいずれか１つまたは複数に応じた、制御部２３で実行されるアプリケーションの動作の結果を出力部２９に出力する。出力制御部２８は、例えば、出力部２９が表示部であり、複数の選択肢が画面に表示されている場合には、出力ジェスチャに応じてカーソルを移動させる。出力制御部２８は、例えば、画面に４つの選択肢が表示され、１番左の選択肢にカーソルがある場合に、出力ジェスチャとして「右」が２回入力されると、カーソルを右に２つ動かして左から３番目の選択肢を選択する。また、出力制御部２８は、例えば、出力部２９がスピーカである場合に、出力ジェスチャとして「下」が入力されると、マニュアルの次の文章を読み上げるようにすることもできる。また、出力制御部２８は、例えば、出力ジェスチャに応じて、点検結果の正常または異常等のステータスを入力できるようにしてもよい。

出力部２９は、例えば、表示部、スピーカ等で構成される。出力部２９は、ユーザに対してユーザの身体動作に応じた結果を出力する。出力部２９は、表示部としては、例えば、液晶ディスプレイ、ＨＭＤ等が挙げられる。また、出力部２９は、スピーカとして、ユーザに対して音声等で案内を出力する。なお、出力部２９は、スピーカの他にヘッドホン等であってもよいし、表示部とスピーカの双方を備える構成としてもよい。

ここで、出力部２９に表示される表示画面の一例について説明する。図１６は、表示画面の一例を示す説明図である。図１６に示すように、ユーザは、例えば、手首に検出装置１０を装着し、端末装置２０を上着のポケット内に装着し、頭部に出力部２９としてＨＭＤを装着する。情報処理装置１は、例えば、画面７１に示すように、カーソルが選択肢Ｅにあった場合に、ユーザが検出装置１０を装着した腕を、掌を外側にして右に動かすジェスチャを行うと、「右」というジェスチャを認識し、カーソルを選択肢Ｆに移動させる。このとき、情報処理装置１は、ユーザが右に動かした腕を左に戻す動作を行ったとしても、「左」というジェスチャは戻り動作のジェスチャと認識してカーソルは選択肢Ｆから移動させない。また、情報処理装置１は、例えば、ユーザが複数回、右のジェスチャを行うと、カーソルを選択肢Ｇ、選択肢Ｈと移動させる。

また、情報処理装置１は、例えば、画面７２に示すように、上、右、下、左に選択肢Ｉ〜Ｌが配置される画面とすることもできる。画面７２の例では、ユーザの「上」のジェスチャが入力されると選択肢Ｉ、「右」のジェスチャが入力されると選択肢Ｊといったように、各ジェスチャと上、右、下、左の選択肢を対応付ける。さらに、情報処理装置１は、例えば、画面７３に示すように、ユーザの手の動きの軌道に応じて、カーソル７４を動かすことで任意の線を入力できるようにしてもよい。また、情報処理装置１は、例えば、画面７５に示すように、スピーカのボリューム７６を、左右の手の動きに応じて左右に移動させることもできる。

次に、実施例の情報処理装置１の動作について説明する。まず図１７を用いて、情報処理装置１の動作の概要について説明する。図１７は、実施例の情報処理装置の動作の概要の一例を示す説明図である。図１７に示すように、情報処理装置１は、検出装置１０の慣性センサ１１で加速度および角速度を取得して、センサ情報、つまりスイッチ情報および動作データのうち１つ以上を端末装置２０に送信する（ステップＳ１０１）。情報処理装置１は、端末装置２０の推定部２５で姿勢および軌道を推定する（ステップＳ１０２）。情報処理装置１は、スイッチ６１に従って、推定した姿勢および軌道を認識部２６および／または出力制御部２８に出力する。なお、スイッチ６１は、ソフトウエア的に実装されて画面の表示内容に応じて切り替えるようにしてもよいし、例えば、検出装置１０にジェスチャ認識ＯＮ／ＯＦＦスイッチとして物理的に実装されてもよい。

情報処理装置１は、推定した姿勢および軌道に基づいて、認識部２６でジェスチャを認識する（ステップＳ１０３）。情報処理装置１は、スイッチ６２に従って、認識したジェスチャを決定部２７および／または出力制御部２８に出力する。なお、スイッチ６２はスイッチ６１と同様に、ソフトウエア的に実装されてもよいし、フィルタＯＮ／ＯＦＦスイッチとして物理的なスイッチとして実装されてもよい。情報処理装置１は、決定部２７において、ジェスチャフィルタに基づいて認識したジェスチャをフィルタする（ステップＳ１０４）。なお、ジェスチャフィルタは、複数のフィルタを同時に利用してもよいし、切り替えて利用してもよい。なお、ジェスチャフィルタの切り替えは、検出装置１０に物理的に実装された、適用フィルタ切替スイッチによって切り替えるようにしてもよい。情報処理装置１は、フィルタリングした結果を出力ジェスチャとして出力制御部２８に出力する。情報処理装置１は、出力制御部２８において、連続的な軌道と、認識された１つ１つのジェスチャと、フィルタ後の出力ジェスチャとを、アプリケーション等に応じて切り替える（ステップＳ１０５）。このように、情報処理装置１は、身体動作の認識として、連続的な軌道と、単発のジェスチャと、フィルタ後の出力ジェスチャとを適宜切り替えて用いることができる。

次に、図１８を用いて、情報処理装置１の動作の詳細について説明する。図１８は、実施例の情報処理装置の処理の一例を示すフローチャートである。情報処理装置１は、電源が投入されると、検出装置１０および端末装置２０の初期化を実行する（ステップＳ１）。検出装置１０は、制御部１３により慣性センサ１１および通信部１４の初期化を実行する。端末装置２０は、制御部２３により通信部２１の初期化を実行するとともに、推定部２５の動作の特徴量θ等の各種のパラメータを初期化する。なお、情報処理装置１は、初期化時に、検出装置１０と端末装置２０との通信を確立する。

端末装置２０の推定部２５は、初期姿勢の推定完了を表す値Ｆに、未完了を示す「０」を設定する（ステップＳ２）。取得部２４は、検出装置１０から入力されたスイッチ１２のスイッチ情報に基づいて、情報処理装置１の処理、つまり、ユーザの身体の動作に応じた処理を終了するか否かを判定する（ステップＳ３）。取得部２４は、スイッチ１２のスイッチ情報がＯＦＦである場合には（ステップＳ３：肯定）、各部に対して処理の終了を通知して情報処理装置１の処理を終了する。取得部２４は、スイッチ１２のスイッチ情報がＯＮの場合には（ステップＳ３：否定）、各部に対して処理の続行を通知する。

続いて、検出装置１０の制御部１３は、センサ情報を動作データとして、順次、通信部１４を介して端末装置２０に送信する。端末装置２０の取得部２４は、検出装置１０から通信部２１を介して動作データを受信すると、受信した動作データを推定部２５に出力する（ステップＳ４）。推定部２５は、取得部２４から動作データが入力されると、値Ｆが「０」か否かを判定する（ステップＳ５）。推定部２５は、値Ｆが「０」である場合には（ステップＳ５：肯定）、動作データに基づいて、ユーザの身体の初期姿勢を推定し、値Ｆを「１」とする（ステップＳ６）。推定部２５は、値Ｆが「０」でない場合には（ステップＳ５：否定）、既に初期姿勢を推定済みとして次の処理に進む。

推定部２５は、例えば、動作データを２次元平面に投影することで、動作の特徴量θを算出する。推定部２５は、例えば、動作の特徴量θを身体の移動量とし、検出装置１０から順次送信される動作データに基づいて、身体の移動量を更新する（ステップＳ７）。また、推定部２５は、検出装置１０から順次送信される動作データに基づいて身体の姿勢を推定する。また、推定部２５は、身体の移動量、つまり動作の特徴量θを累積して軌道を推定する。推定部２５は、推定した身体の姿勢および軌道を認識部２６および決定部２７に出力する。また、推定部２５は、推定した軌道を出力制御部２８に出力する。

認識部２６は、取得部２４から入力されたジェスチャ認識ＯＮ／ＯＦＦスイッチのスイッチ情報に基づいて、ジェスチャ認識がＯＦＦであるか否かを判定する（ステップＳ８）。認識部２６は、ジェスチャ認識がＯＦＦである場合には（ステップＳ８：肯定）、出力制御部２８に対して軌道を出力するように指示してステップＳ３の処理に戻る（ステップＳ９）。認識部２６は、ジェスチャ認識がＯＮである場合には（ステップＳ８：否定）、姿勢および軌道に基づいて、ジェスチャ認識を行う（ステップＳ１０）。

認識部２６は、ジェスチャ認識の結果、ジェスチャを認識したか否かを判定する（ステップＳ１１）。認識部２６は、ジェスチャを認識しなかった場合には（ステップＳ１１：否定）、ステップＳ３の処理に戻る。認識部２６は、ジェスチャを認識した場合には（ステップＳ１１：肯定）、認識されたジェスチャを決定部２７および出力制御部２８に出力する。

決定部２７は、取得部２４から入力されたフィルタＯＮ／ＯＦＦスイッチのスイッチ情報に基づいて、フィルタがＯＦＦであるか否かを判定する（ステップＳ１２）。決定部２７は、フィルタがＯＦＦである場合には（ステップＳ１２：肯定）、出力制御部２８に対して認識されたジェスチャを出力するように指示してステップＳ３の処理に戻る（ステップＳ１３）。決定部２７は、フィルタがＯＮである場合には（ステップＳ１２：否定）、入力されたジェスチャに対して、取得部２４から入力された適用フィルタ切替スイッチのスイッチ情報に基づくジェスチャフィルタを適用する（ステップＳ１４）。決定部２７は、ジェスチャフィルタ適用後の出力ジェスチャを出力制御部２８に出力する（ステップＳ１５）。決定部２７は、出力制御部２８に対して出力ジェスチャを出力するように指示してステップＳ３の処理に戻る。これにより、情報処理装置１は、身体動作の軌道、単体のジェスチャおよび出力ジェスチャの処理を統合でき、これらを任意の組み合わせで出力することができる。

次に、より具体的な説明として、図１９を用いて、ユーザの手首に検出装置１０が装着され、ジェスチャ認識およびフィルタのスイッチ情報がＯＮである場合における情報処理装置１の動作の詳細について説明する。図１９は、フィルタ処理の一例を示すフローチャートである。ステップＳ２１からステップＳ２７までの処理は、図１８に示す情報処理装置１の処理のフローチャートのステップＳ１からＳ７までの処理と同様であるので、その説明を省略する。

認識部２６は、推定部２５から入力された姿勢および軌道に基づいて、ジェスチャ認識を行う（ステップＳ２８）。認識部２６は、ジェスチャ認識の結果、ジェスチャを認識したか否かを判定する（ステップＳ２９）。認識部２６は、ジェスチャを認識しなかった場合には（ステップＳ２９：否定）、後述するステップＳ３３の処理に進む。認識部２６は、ジェスチャを認識した場合には（ステップＳ２９：肯定）、認識されたジェスチャを決定部２７および出力制御部２８に出力する。

決定部２７は、入力されたジェスチャに対して、取得部２４から入力された適用フィルタ切替スイッチのスイッチ情報に基づくジェスチャフィルタとの対応を照合する（ステップＳ３０）。決定部２７は、入力されたジェスチャとジェスチャフィルタとが対応しているか否かを判定する（ステップＳ３１）。すなわち、決定部２７は、例えば、ジェスチャフィルタの手首の姿勢が「右」、ジェスチャが「右」と設定されている場合に、入力されたジェスチャの手首の姿勢が「右」、ジェスチャが「右」であれば対応していると判定する。また、決定部２７は、例えば、ジェスチャフィルタの手首の姿勢が「右」、ジェスチャが「右」と設定されている場合に、入力されたジェスチャの手首の姿勢が「右」、ジェスチャが「左」といったように一致していないときには対応していないと判定する。

決定部２７は、入力されたジェスチャとジェスチャフィルタとが対応している場合には（ステップＳ３１：肯定）、入力されたジェスチャを出力ジェスチャとして出力制御部２８に出力する（ステップＳ３２）。決定部２７は、入力されたジェスチャとジェスチャフィルタとが対応していない場合には（ステップＳ３１：否定）、後述するステップＳ３３に進む。

決定部２７には、推定部２５から推定された姿勢および軌道が順次入力される。決定部２７は、ジェスチャフィルタに対応する姿勢および軌道を、順次入力される姿勢および軌道で更新する（ステップＳ３３）。すなわち、決定部２７には、例えば、今まで動いていた手が止まった場合や、手の動く方向が変わった場合には、ジェスチャフィルタとの対応を照合する姿勢および軌道について、当該動きに応じた姿勢および軌道が入力される。

決定部２７は、ジェスチャフィルタに対応する姿勢および軌道が更新されると、更新された姿勢および軌道に基づいて、ジェスチャの区切りを検出したか否かを判定する（ステップＳ３４）。すなわち、決定部２７は、例えば、今まで動いていた手が止まった場合には、入力されたジェスチャの手首の姿勢が「右」、ジェスチャが「右」から、手首の姿勢が「右」、ジェスチャが「なし」に変わった場合に、ジェスチャの区切りを検出する。また、決定部２７は、例えば、手の動く方向が変わった場合には、入力されたジェスチャの手首の姿勢が「右」、ジェスチャが「右」から、手首の姿勢が「右」、ジェスチャが「左」に変わった場合に、ジェスチャの区切りを検出する。また、決定部２７は、ステップＳ２９でジェスチャを認識しなかった場合には、例えば、入力されたジェスチャの手首の姿勢が「右」、ジェスチャが「なし」から、手首の姿勢が「右」、軌道の移動量が所定値以上に変わった場合に、ジェスチャの区切りを検出する。

決定部２７は、ジェスチャの区切りを検出した場合には（ステップＳ３４：肯定）、ステップＳ２８で認識したジェスチャを初期化してステップＳ２３に戻る（ステップＳ３５）。決定部２７は、ジェスチャの区切りを検出しない場合には（ステップＳ３４：否定）、ステップＳ２３に戻る。これにより、連続動作中に情報処理装置１や身体の状態を頻繁に切り替えることなく、不要なジェスチャの出力をフィルタできる。

このように、情報処理装置１は、ユーザの身体の動作を動作データとして検出し、動作データに基づいて、身体の軌道を推定し、推定された軌道に基づいて、ジェスチャを認識する。また、情報処理装置１は、軌道に基づいて、認識されたジェスチャのうち、所定の動作のジェスチャを除外して出力ジェスチャを決定し、軌道、ジェスチャおよび出力ジェスチャのいずれか１つまたは複数を出力する。その結果、身体動作の処理を統合できる。すなわち、情報処理装置１は、ジェスチャを認識する認識器を変えずに、出力先の状況に応じて容易に出力である身体動作の認識結果を変更できる。

また、情報処理装置１は、所定の動作として、ジェスチャの終了位置から開始位置に戻る動作である戻り動作のジェスチャを除外して出力ジェスチャを決定する。その結果、連続したジェスチャ操作を容易にし、ユーザの負担を軽減できる。言い換えると、情報処理装置１は、ジェスチャ入力の精度を向上することができる。

また、情報処理装置１は、ジェスチャのうち、第１のジェスチャと第２のジェスチャとの時間差が所定値以下の場合には、第２のジェスチャを戻り動作のジェスチャと決定する。その結果、反復する動作に係る戻り動作を容易に除外でき、ユーザの操作ストレスを軽減できる。

また、情報処理装置１は、ジェスチャのうち、第１のジェスチャと第２のジェスチャとの順序に基づいて、第１のジェスチャと対になる第２のジェスチャを戻り動作のジェスチャと決定する。その結果、動きが遅い反復する動作に係る戻り動作でも容易に除外でき、ユーザの操作ストレスを軽減できる。

また、情報処理装置１は、軌道に基づいて、戻り動作のジェスチャを決定する。その結果、任意のジェスチャに対して戻り動作を決定でき、複雑なジェスチャに対してもユーザの操作ストレスを軽減できる。

また、情報処理装置１は、軌道に基づいて、認識されたジェスチャに対してジェスチャの統合、分割または除外を行う。その結果、状況に応じてジェスチャをフィルタでき、ジェスチャの誤認識を軽減できる。

なお、上記実施例では、検出装置１０に、ジェスチャ認識ＯＮ／ＯＦＦスイッチ、フィルタＯＮ／ＯＦＦスイッチ、適用フィルタ切替スイッチ等を設け、各スイッチの状態を制御部１３に出力したが、これに限定されない。例えば、情報処理装置１は、制御部２３で実行されるアプリケーションの状態遷移によって、上記の各スイッチのスイッチ情報に相当する情報を生成し、当該情報によって出力を制御するようにしてもよい。これにより、情報処理装置１は、アプリケーションの画面遷移に基づいて、入力を受け付けるジェスチャを適宜選択することができる。

また、上記実施例では、ジェスチャの認識結果に応じて、選択中の選択肢を変更するようにしたが、これに限定されない。例えば、情報処理装置１は、軌道の動きに応じて、徐々にカーソルを動かしていくようなプレ動作を加えてもよい。これにより、情報処理装置１は、ユーザに次の動きを予測させることができ、よりスムーズなジェスチャ入力を行うことができる。

また、上記実施例では、ジェスチャの分割を行う際に、分割後の範囲を例えば「右−上」等で表現したが、これに限定されない。例えば、２次元平面に東西南北を割り当てて、「北北東」、「東北東」といった表現を用いてもよい。これにより、地図等のアプリケーションとの親和性を向上することができる。

また、上記実施例では、情報処理装置１として、検出装置１０と端末装置２０とを有する構成としたが、これに限定されない。例えば、検出装置１０と端末装置２０とを一体化して、１つの情報処理装置１としてもよい。また、例えば、出力部２９についても、端末装置２０または情報処理装置１と一体化してもよいし、分離してもよい。これにより、情報処理装置１の構成を用途に応じて柔軟に変更できる。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上記実施例の認識部２６と決定部２７とを統合してもよいし、検出装置１０と端末装置２０とを統合して一体化してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図２０は、情報処理プログラムを実行するコンピュータの一例を示す説明図である。

図２０が示すように、コンピュータ１００は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、コンピュータ１００は、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、検出装置１１１と有線または無線により接続するための通信装置１０７とを有する。また、コンピュータ１００は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、各装置１０１〜１０９は、バス１１０に接続される。

ハードディスク装置１０９には、図１に示した取得部２４、推定部２５、認識部２６、決定部２７および出力制御部２８の各処理部と同様の機能を有する情報処理プログラムが記憶される。また、ハードディスク装置１０９には、情報処理プログラムを実現するための各種データが記憶される。入力装置１０２は、例えばコンピュータ１００の管理者から管理情報の入力を受け付ける。モニタ１０３は、例えばユーザが操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、検出装置１１１と接続され、スイッチ情報、動作データや制御情報等の各種情報をやりとりする。検出装置１１１は、図１に示した検出装置１０と同様の機能を有する。

ＣＰＵ１０１は、ハードディスク装置１０９に記憶された各プログラムを読み出して、ＲＡＭ１０８に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ１００を図１に示した取得部２４、推定部２５、認識部２６、決定部２７および出力制御部２８として機能させることができる。

なお、上記の情報処理プログラムは、必ずしもハードディスク装置１０９に記憶されている必要はない。例えば、コンピュータ１００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ１００が読み出して実行するようにしてもよい。コンピュータ１００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）等に接続された装置にこの情報処理プログラムを記憶させておき、コンピュータ１００がこれらから情報処理プログラムを読み出して実行するようにしてもよい。

１ 情報処理装置
１０ 検出装置
１１ 慣性センサ
１２ スイッチ
１３ 制御部
１４ 通信部
２０ 端末装置
２１ 通信部
２２ 記憶部
２３ 制御部
２４ 取得部
２５ 推定部
２６ 認識部
２７ 決定部
２８ 出力制御部
２９ 出力部

Claims (8)

1. ユーザの身体の動作を動作データとして検出する検出部と、
   前記動作データに基づいて、前記身体の軌道を推定する推定部と、
   推定された前記軌道に基づいて、ジェスチャを認識する認識部と、
   前記軌道に基づいて、認識された前記ジェスチャのうち、所定の動作のジェスチャを除外して出力ジェスチャを決定する決定部と、
   前記軌道、前記ジェスチャおよび前記出力ジェスチャのいずれか１つまたは複数を出力する出力制御部と
   を有することを特徴とする情報処理装置。
2. 前記決定部は、前記所定の動作として、ジェスチャの終了位置から開始位置に戻る動作である戻り動作のジェスチャを除外して出力ジェスチャを決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定部は、前記ジェスチャのうち、第１のジェスチャと第２のジェスチャとの時間差が所定値以下の場合には、前記第２のジェスチャを前記戻り動作のジェスチャと決定することを特徴とする請求項２に記載の情報処理装置。
4. 前記決定部は、前記ジェスチャのうち、第１のジェスチャと第２のジェスチャとの順序に基づいて、前記第１のジェスチャと対になる前記第２のジェスチャを前記戻り動作のジェスチャと決定することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記決定部は、前記軌道に基づいて、前記戻り動作のジェスチャを決定することを特徴とする請求項２〜４のいずれか１項に記載の情報処理装置。
6. 前記決定部は、前記軌道に基づいて、認識された前記ジェスチャに対して前記ジェスチャの統合、分割または除外を行うことを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. コンピュータが、
   ユーザの身体の動作を動作データとして検出し、
   前記動作データに基づいて、前記身体の軌道を推定し、
   推定された前記軌道に基づいて、ジェスチャを認識し、
   前記軌道に基づいて、認識された前記ジェスチャのうち、所定の動作のジェスチャを除外して出力ジェスチャを決定し、
   前記軌道、前記ジェスチャおよび前記出力ジェスチャのいずれか１つまたは複数を出力する
   処理を実行することを特徴とする情報処理方法。
8. コンピュータに、
   ユーザの身体の動作を動作データとして検出し、
   前記動作データに基づいて、前記身体の軌道を推定し、
   推定された前記軌道に基づいて、ジェスチャを認識し、
   前記軌道に基づいて、認識された前記ジェスチャのうち、所定の動作のジェスチャを除外して出力ジェスチャを決定し、
   前記軌道、前記ジェスチャおよび前記出力ジェスチャのいずれか１つまたは複数を出力する
   処理を実行させることを特徴とする情報処理プログラム。

Images