JP2014209336A - 情報処理装置および入力支援方法 - Google Patents

Abstract

【課題】ホバー状態を適切に検出することができる情報処理装置および入力支援方法を提供する。
【解決手段】タッチパネルはユーザのホバー状態を検出することができる。ホバー制御部１０２は、この状態から位置を取得し、ジェスチャー制御部１０３は、その位置に応じたエフェクト情報を取得し、そして、エフェクト部１０６は、取得されたエフェクト情報に従ってユーザに対してエフェクト通知を行う。これにより、いわゆるホバー状態に対する入力をユーザは適切に把握することができる。
【選択図】図１

Description

本発明は、ホバー状態を検出する情報処理装置およびその入力支援方法に関する。

従来から、タッチパネルをタッチすることにより、そのユーザからの入力を受け付けることは一般的に知られている。近年では、さらにタッチすることなく、そのタッチ面上方にあるユーザの指の位置を検出するタッチパネルが知られている。いわゆるホバー状態を検出することができるタッチパネルが知られている。

例えば、下記特許文献１には、このようなホバー状態を検出することができるタッチパネルを利用した装置についての記載がある。

特表２０１２−５３３１２２号公報

このホバー状態を検出する入力方法にあっては、正しくホバー状態が検出されたものであるか操作者が把握することが困難であり、正確な操作を行うことが難しかった。例えば、機器に誤って操作してしまったか否か、ホバー状態が検出できた否か、またはアプリケーションを起動するための操作が受け付けられたか否か、を操作者が認識することは困難であった。

そこで、本発明においては、ホバー状態を適切に検出することができる情報処理装置および入力支援方法を提供することを目的とする。

上述の課題を解決するために、本発明の情報処理装置は、タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルと、前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得手段と、前記位置取得手段により取得された位置情報に応じたエフェクト情報を取得するエフェクト取得手段と、前記エフェクト取得手段により取得されたエフェクト情報に基づいたエフェクトをユーザに対して通知するエフェクト通知手段と、を備えている。

また、本発明の入力支援方法は、タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルを備える情報処理装置の入力支援方法において、前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得ステップと、前記位置取得ステップにより取得された位置情報に応じたエフェクト情報を取得するエフェクト取得ステップと、前記エフェクト取得ステップにより取得されたエフェクト情報に基づいたエフェクトをユーザに対して通知するエフェクト通知ステップと、を備えている。

この発明によれば、タッチパネルにおいて検出された入力指示部分における、所定間隔空けたホバー入力空間の位置に応じたエフェクトをユーザに対して通知する。これにより、いわゆるホバー状態に対する入力をユーザは適切に把握することができる。

また、本発明の情報処理装置において、前記エフェクト取得手段は、前記位置取得手段により取得された位置情報で示される入力指示部分と前記タッチパネルの中心部分との位置関係に応じたエフェクト情報を取得する。

この発明によれば、入力指示部分とタッチパネルの中心部分との位置関係（例えば、距離）に応じたエフェクトを通知する。これにより、ユーザが指などの入力指示部分をどの位置においているか、視覚により認識することなく、聴覚や触覚などで適切に把握することができる。

また、本発明の情報処理装置において、前記エフェクト取得手段は、前記位置取得手段により取得された位置情報で示される入力指示部分の、前記タッチパネルのタッチ面に対する高さに対応したエフェクト情報を取得する。

この発明によれば、入力指示部分の、タッチパネルのタッチ面に対する高さに対応したエフェクトを通知する。これにより、ユーザが指などの入力指示部分を、タッチ面に対してどれぐらいの高さにおいているか、視覚により認識することなく、聴覚や触覚などで適切に把握することができる。

また、本発明の情報処理装置において、前記エフェクト取得手段は、前記位置取得手段が入力指示部分の位置情報を取得できなくなる前記タッチパネルの検出範囲の直前に、前記入力指示部分が移動したと判断されたとき、その位置に応じたエフェクト情報を取得する。

この発明によれば、タッチパネルにおいて入力指示部分を検出できなくなる範囲の直前に、入力指示部分が移動したときに、あらかじめ定めたエフェクトによる通知を行う。これにより、ホバー状態検出範囲外にユーザの指などの入力指示部分が移動したことをユーザは適切に把握することができる。

また、本発明の情報処理装置は、前記位置取得手段において取得された一連の位置情報群に基づいて、あらかじめ定められたジェスチャーであるか否かを判断するジェスチャー判断手段をさらに備え、前記エフェクト取得手段は、前記ジェスチャー判断手段が前記位置取得手段により取得された一連の位置情報群があらかじめ定めたジェスチャーを示したものであると判断した場合、前記ジェスチャーに応じたエフェクト情報を取得し、前記エフェクト通知手段は、位置情報に応じたエフェクトの通知を行うことなく、ジェスチャーに応じたエフェクトを通知する。

この発明によれば、取得された一連の位置情報があらかじめ定めたジェスチャーであると判断した場合、そのジェスチャーに応じたエフェクト情報を取得し、位置情報に応じたエフェクトの通知を行うことなく、ジェスチャーに応じたエフェクトを通知する。これにより、ジェスチャーに応じたエフェクトを適切に行うことが得きる。よって、ユーザは、ジェスチャーによる操作が受け付けられたことを把握することができる。

また、本発明の情報処理装置において、前記エフェクト通知手段は、機器を振動させるバイブレーション機能によりエフェクト通知を行う。

この発明によれば、振動によりユーザはホバー状態を把握することができる。

また、本発明の情報処理装置において、前記通知手段は、音を発することによりエフェクト通知を行う。

この発明によれば、ユーザは音によりホバー状態を把握することができる。

また、本発明の情報処理装置は、ユーザに装着可能なウエアラブル端末と通信接続する情報処理装置において、タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルと、前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得手段と、前記位置取得手段により取得された位置情報に応じたエフェクト情報を取得するエフェクト取得手段と、前記エフェクト取得手段により取得されたエフェクト情報を、ユーザに装着されているウエアラブル端末に対してエフェクト情報を無線通信により送信する送信手段と、を備え、前記ウエアラブル端末は、前記エフェクト情報に基づいたエフェクトをユーザに対して通知する。

また、本発明の入力支援方法は、タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルを有し、ユーザに装着可能なウエアラブル端末と通信接続する情報処理装置の入力支援方法において、前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得ステップと、前記位置取得ステップにより取得された位置情報に応じたエフェクト情報を取得するエフェクト取得ステップと、前記エフェクト取得ステップにより取得されたエフェクト情報を、ユーザに装着されているウエアラブル端末に対してエフェクト情報を無線通信により送信する送信ステップと、を備え、前記ウエアラブル端末は、前記エフェクト情報に基づいたエフェクトをユーザに対して通知する。

この発明によれば、ユーザはウエアラブル端末を使ってエフェクト情報の通知を受けることができる。これにより、いわゆるホバー状態に対する入力をユーザは適切に把握することができる。

また、本発明の情報処理装置に接続されるウエアラブル端末は、ユーザの頭部に装着可能なメガネ型で構成されており、骨伝導によりエフェクト通知を行う。これにより、ユーザは骨伝導によりエフェクト通知を受けることができ、いわゆるホバー状態に対する入力をユーザは適切に把握することができる。

また、本発明の情報処理装置は、前記エフェクト取得手段により取得されたエフェクト情報に基づいたエフェクトをユーザに対して通知するエフェクト通知手段と、前記ウエアラブル端末がユーザに装着されているか否かを判断する判断手段と、をさらに備え、前記判断手段により、ウエアラブル端末がユーザに装着されていると判断されると、前記エフェクト通知手段による通知処理は行われずに、前記送信手段がエフェクト情報を送信し、未装着であると判断されると、前記送信手段による送信を行うことなく、前記エフェクト通知手段が、エフェクト通知を行う。

この発明によれば、ユーザがウエラブル端末を装着している場合には、そのウエアラブル端末でエフェクト情報の通知を受けることができ、未装着である場合には、そのエフェクト情報の通知を情報処理装置側で受けることができる。よって、ユーザの状態に応じて適切なエフェクト情報の通知を受けることができる。

この発明によれば、いわゆるホバー状態に対する入力をユーザは適切に把握することができる。

本実施形態の情報処理装置である携帯端末１００の機能構成を示すブロック図である。 携帯端末１００のハードウェア構成図である。 エフェクトＤＢ１０４の具体例を示す説明図である。 ジェスチャーＤＢ１０５の具体例を示す説明図である。 携帯端末１００の動作を示すフローチャートである。 ジェスチャーにおける概念図である。 第二の実施形態における携帯端末１００ａの機能構成を示すブロック図である。 ウエアラブル端末２００に対してエフェクト情報を送信するときの携帯端末１００ａの処理を示すフローチャートである。 変形例における携帯端末１００ｂの機能構成を示すブロック図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

［第一実施形態］
図１は、本実施形態の情報処理装置である携帯端末１００の機能構成を示すブロック図である。図１に示されるように、携帯端末１００は、インタフェース部１０１、ホバー制御部１０２（位置取得手段）、ジェスチャー制御部１０３（エフェクト取得手段、ジェスチャー判断手段）、エフェクトＤＢ１０４、ジェスチャーＤＢ１０５、およびエフェクト部１０６（エフェクト通知手段）を含んで構成されている。なお、エフェクト部１０６は、バイブレータ制御部１０６ａ、バイブレータ１０６ｂ、スピーカ制御部１０６ｃ、およびスピーカ１０６ｄを含んだものである。

図２は、携帯端末１００のハードウェア構成図である。図１に示される携帯端末１００は、物理的には、図２に示すように、ＣＰＵ１１、主記憶装置であるＲＡＭ１２及びＲＯＭ１３、入力デバイスであるキーボード及びマウス等の入力装置１４、ディスプレイ等の出力装置１５、ネットワークカード等のデータ送受信デバイスである通信モジュール１６、半導体メモリ等の補助記憶装置１７などを含むコンピュータシステムとして構成されている。図１における各機能は、図２に示すＣＰＵ１１、ＲＡＭ１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１の制御のもとで入力装置１４、出力装置１５、通信モジュール１６を動作させるとともに、ＲＡＭ１２や補助記憶装置１７におけるデータの読み出し及び書き込みを行うことで実現される。以下、図１に示す機能ブロックに基づいて、各機能ブロックを説明する。

インタフェース部１０１は、タッチパネル１５ｂにおいて検出された、ユーザの指やタッチペンなどの指示部分のホバー状態（入力値：位置情報の変換前の情報）を受け付ける部分である。なお、指示部分の検出は、タッチパネル１５ｂに限るものではなく、例えば、赤外線センサ、ＲＧＢカメラ、静電容量検知等の技術を用いてホバー状態を受け付けることができる。

ホバー制御部１０２は、あらかじめ定められたルールに従って、ホバー状態（入力値）を位置情報に変換し、その位置情報をジェスチャー制御部１０３に通知する。この通知は、所定タイミングごとに行われ、例えば６０ミリ秒ごとに行われる。

ジェスチャー制御部１０３は、ホバー制御部１０２から通知された位置情報に基づいて、エフェクトＤＢ１０４およびジェスチャーＤＢ１０５からエフェクト情報およびジェスチャー情報を取得し、取得したエフェクト情報またはジェスチャー情報に基づいて取得したエフェクト情報をエフェクト部１０６に通知する部分である。まず、基本動作として、ジェスチャー制御部１０３は、ホバー制御部１０２から取得した位置情報を用いて、そのエフェクト情報の問い合わせをエフェクトＤＢ１０４に対して行う。そして、ジェスチャー制御部１０３は、エフェクトＤＢ１０４から、問い合わせに対するエフェクト情報を取得する。

エフェクトＤＢ１０４は、位置情報およびジェスチャー情報とエフェクト情報とを対応付けて記憶する部分である。エフェクト情報とは、そのジェスチャーに応じたユーザに対する通知方法を示したものである。例えば、バイブレータ１０６ｂによる振動より通知するか、スピーカ１０６ｄによるアラーム音により通知するか示したものである。

図３は、エフェクトＤＢ１０４の具体例を示す説明図である。図３に示すようにエフェクトＤＢ１０４は、エフェクト情報と、その位置情報との関係を示した情報を記述している。例えば、図３（ａ）においては、エフェクト情報と高さ情報とが対応付けられている。ここでの高さ情報は、タッチパネル１５ｂのタッチ面から垂直方向における、ユーザの指などの指示部分の位置を示したものである。図３（ａ）においては、ジェスチャー制御部１０３は、高さｚｎ１の位置にユーザの指があった場合には、振動パターン１を出力することを決定する。

また、図３（ｂ）においては、エフェクト情報と指示部分の検出エリア範囲の最大値とを対応付けていることを示している。すなわち、ジェスチャー制御部１０３は、この範囲を超えてユーザの指が位置したと判断した場合、エフェクトＤＢ１０４で定められたアラーム音で鳴動することを決定する。例えば、図３（ｂ）においては、座標（＊、ｙ２、＊）のうち、ｙ軸方向においてｙ２が最大値であることを示しており、このｙ軸において、入力指示部分がｙ２に達した場合、ホバー検出エリア外にあるとみなして（またはそのエリアの境界線にいる）、アラーム音１が鳴動することが決められている。

なお、図３においては示していないが、これらエフェクトＤＢは、タッチパネル１５ｂの中心座標をあらかじめ決めておき、その中心座標とユーザの指などの入力指示部分との位置関係（例えば、距離）とエフェクト情報とを対応付けてもよい。これにより、エフェクト部１０６は、中心座標からのユーザの指の動きに応じたエフェクトを通知することができる。

また、ジェスチャー制御部１０３は、ジェスチャー検知処理として、ジェスチャーＤＢ１０５を参照して、一連の位置情報からなる位置情報群に対応するジェスチャー情報を取得し、そのジェスチャー情報に基づいてエフェクト情報を取得する。具体的には、このジェスチャー制御部１０３は、ホバー制御部１０２から時系列的に連続して取得された所定個数の位置情報、例えば６０ｍ秒ごとに取得された１０個の位置情報を用いて、ジェスチャーＤＢ１０５に問い合わせを行うことにより、ジェスチャー情報の判断を行う。そして、ジェスチャー制御部１０３は、ジェスチャー情報に対応するエフェクト情報を取得する。

なお、ここでの問い合わせ処理は、ホバー制御部１０２における位置情報の取得タイミングより大きく、例えば６００ｍｓごとに行われるが、これに限るものではなく、位置情報の取得タイミングと同時に行うようにしてもよい。その場合、ジェスチャーを構成する位置情報は、時間的に一単位ずれたものを取得される。例えば、時間ｔ０〜ｔ９の位置情報からなる軌跡を比較対象としていた場合、次のタイミングでは、時間ｔ１〜ｔ１０の位置情報からなる軌跡を比較対象とすることになる。

また、ジェスチャーＤＢ１０５においては、軌跡は、絶対座標で定義されているが、これに限るものではなく、入力指示部分の起点に基づいた相対的な位置関係をもってして、軌跡を定義づけてもよい。

ジェスチャーＤＢ１０５は、位置情報とジェスチャー情報とを対応付けて記憶する部分である。ジェスチャー制御部１０３はこのジェスチャーＤＢ１０５に基づいて、ジェスチャー情報を取得して、取得することができる。図４にその具体例を示す。図４に示される通り、ジェスチャーＤＢ１０５は、ジェスチャー情報と、その軌跡（時系列的に並べられた位置情報）及びその時間とを対応付けて記憶する部分である。すなわち、ジェスチャー情報は、軌跡とその軌跡が形成される時間によって、ジェスチャーと判断できるような情報により構成されている。ジェスチャー制御部１０３は、このジェスチャーＤＢ１０５を参照することにより、ホバー制御部１０２により取得した一連の位置情報群と、ジェスチャーＤＢ１０５に記述されている軌跡とを比較することにより、ジェスチャーＤＢ１０５において定義されたジェスチャー情報であるか否かを判断することができる。

なお、ジェスチャーＤＢ１０５においては、一つのジェスチャー情報に対して、複数の軌跡を定義づけると、いろいろなユーザに対して対応することができる。すなわち、ユーザによって、ジェスチャーは微妙に変わるため、それぞれの軌跡パターンを設定すると、ジェスチャーの認識性をあげることができる。

エフェクト部１０６は、ジェスチャー制御部１０３により判断されたジェスチャー情報に基づいて取得されたエフェクト情報をユーザに通知する部分である。さらに具体的には、エフェクト部は、バイブレータ制御部１０６ａ、バイブレータ１０６ｂ、スピーカ制御部１０６ｃ、およびスピーカ１０６ｄを含んで構成されている。

バイブレータ制御部１０６ａは、バイブレータ１０６ｂを制御する部分であり、ジェスチャー制御部１０３により取得されたジェスチャー情報に従ったエフェクト処理を行う。すなわち、バイブレータ１０６ｂを所定のパターンで振動させる。

スピーカ制御部１０６ｃは、スピーカ１０６ｄを制御する部分であり、ジェスチャー制御部１０３により取得されたジェスチャー情報に従ったエフェクト処理を行う。すなわち、スピーカ１０６ｄから所定のアラーム音を発するよう制御する。

このように構成された携帯端末１００の入力支援方法の動作について説明する。図５は、携帯端末１００の動作を示すフローチャートである。まず、タッチパネル１５ｂにおいて、ユーザの指などの指示部分のホバー状態を示す入力値が検出され、ホバー制御部１０２により、その入力値から座標情報に変換され、座標情報が取得される（Ｓ１０１）。そして、取得された座標情報は、所定タイミングごと（例えば６０ｍｓごと）にジェスチャー制御部１０３に通知される（Ｓ１０２）。

そして、ジェスチャー制御部１０３により、座標情報に基づいた問い合わせが、エフェクトＤＢ１０４に対して行われる（Ｓ１０３）。この問い合わせに対して、ジェスチャー制御部１０３により、座標情報に対応するエフェクト情報が取得される（Ｓ１０４）。つぎに、ジェスチャー制御部１０３により、ジェスチャーＤＢ１０５に対して問い合わせが行われる（Ｓ１０５）。ここでは、ジェスチャー制御部１０３により、その問い合わせ直前に取得された時系列的に連続した所定個数の座標情報が、ジェスチャーＤＢ１０５に記憶されている軌跡情報と一致しているか、またはそれに近似したものの有無が判断される（Ｓ１０６）。

そして、ジェスチャー情報があると判断されると（Ｓ１０６：ＹＥＳ）、ジェスチャー制御部１０３により、エフェクトＤＢ１０４に対して、取得されたジェスチャー情報を用いた問い合わせ処理が行われる（Ｓ１０７）。そして、ジェスチャー制御部１０３により、ジェスチャー情報に一致するエフェクト情報が取得され（Ｓ１０８）、エフェクト部１０６により、そのエフェクト情報に従ったエフェクト処理が行われる（Ｓ１０９）。Ｓ１０６において、ジェスチャー情報がないと判断されると（Ｓ１０６：ＮＯ）、Ｓ１０４においてジェスチャー制御部１０３により取得されたエフェクト情報に従って、エフェクト部１０６によるエフェクト処理が行われる（Ｓ１１０）。

つぎに、本実施形態の携帯端末１００についての作用効果について説明する。本実施形態の携帯端末１００によれば、タッチパネル１５ｂからの出力に基づいてホバー制御部１０２は、タッチパネル１５ｂのタッチ面から所定間隔空けたホバー入力空間のうちどの位置にいるか、その位置情報を取得する。そして、ジェスチャー制御部１０３は、その位置情報に応じたエフェクト情報を取得し、エフェクト部１０６は、そのエフェクト情報に応じたエフェクトをユーザに対して通知する。これにより、いわゆるホバー状態に対する入力をユーザは適切に把握することができる。本実施形態では、エフェクトとは、アラーム音であったり、バイブレータによる振動であったりする。なお、そのほか発光などであってもよい。

また、本実施形態の携帯端末１００によれば、ジェスチャー制御部１０３は、ホバー制御部１０２により取得された位置情報で示される入力指示部分とタッチパネル１５ｂの中心部分との距離などの位置関係に応じたエフェクト情報を取得する。これにより、ユーザが指などの入力指示部分をどの位置においているか、視覚により認識することなく、聴覚や触覚などで適切に把握することができる。

また、本実施形態の携帯端末１００によれば、ジェスチャー制御部１０３は、ホバー制御部１０２により取得された位置情報で示される入力指示部分の、タッチパネル１５ｂのタッチ面に対する高さに対応したエフェクト情報を取得し、エフェクト部１０６は、そのエフェクト情報に従ったエフェクト処理を行う。これにより、ユーザが指などの入力指示部分を、タッチ面に対してどれぐらいの高さにおいているか、視覚により認識することなく、聴覚や触覚などで適切に把握することができる。

例えば、図６（ａ）にホバー検出位置として、タッチ面からの高さを検出するときの概念図を示す。図に示される通り、高さｚ１からｚ３に向けてユーザの指が移動している。この高さｚ１、ｚ２、およびｚ３ごとにエフェクトを変えることにより、ユーザは、自分の指がどのホバー状態にあるかを簡単に判断することができる。

また、本実施形態の携帯端末１００によれば、ジェスチャー制御部１０３は、ホバー制御部１０２が入力指示部分の位置情報を取得できなくなるタッチパネル１５ｂの検出範囲の直前に、入力指示部分が移動したと判断されたとき、その位置に応じたエフェクト情報を取得し、エフェクト部１０６は、そのエフェクト情報に従ったエフェクト処理を行う。これにより、ホバー状態検出範囲外にユーザの指などの入力指示部分が移動したことをユーザは適切に把握することができる。

例えば、図６（ｂ）にホバー検出範囲外にユーザの指が移動したときの概念図を示す。図に示される通り、ユーザの指が座標（Ｘ１、Ｙ１、Ｚ１）にあったとする。ｙ軸座標Ｙ２がタッチパネル１５ｂのホバー検出範囲外であるとして、ユーザの指が座標（Ｘ１、Ｙ２、Ｚ１）に移動した場合、Ｙ２に移動する前のタッチパネル１５ｂの検出範囲内の最大座標にユーザの指が位置したときにエフェクトを通知するようにする。これにより、入力指示部分が検出範囲外に行くことを、ユーザは把握することができる。

また、本実施形態の携帯端末１００によれば、ジェスチャー制御部１０３がジェスチャーＤＢ１０５を参照して、ホバー制御部１０２により取得された一連の位置情報があらかじめ定めたジェスチャーに該当すると判断した場合、当該ジェスチャー制御部１０３は、エフェクトＤＢ１０４を参照して、そのジェスチャーに応じたエフェクト情報を取得する。そして、エフェクト部１０６は、位置情報に応じたエフェクトの通知を行うことなく、ジェスチャーに応じたエフェクトを通知する。これにより、ジェスチャーに応じたエフェクトを適切に行うことが得きる。よって、ユーザは、ジェスチャーによる操作が受け付けられたことを把握することができる。

例えば、ジェスチャーとは、図６（ｃ）に示されるユーザの指などの軌跡により特定されるものである。図６（ｃ）においては、座標（Ｘ１、Ｙ１、Ｚ１）から座標（Ｘ１０、Ｙ１０、Ｚ１０）に対して移動しているときを示している。

なお、ここでは、ユーザの指１本のみにより描かれた軌跡を示しているが、これに限るものではなく、複数の指により描かれた軌跡を判断するように指定もよい。たとえば、二つの軌跡がそれぞれ別地点から同一点近傍に０．５秒以内に遷移した後、そのまま同一点で０．５秒以上静止した状態であることを検知することで、いわゆる“つまむ”というジェスチャーを認識することができる。さらに、ピンチインとの区別も、同一点における静止時間に基づいて識別することもできる。

フリックについては、ＸＹＺ軸ともに直線的な軌跡が、所定時間内で描かれている否かで判断することができる。また、Ｘ軸、Ｙ軸に対して平行であるか否か判断することもできる。

［第二実施形態］
つぎに、第二実施形態について説明する。この第二実施形態においては、携帯端末は、ユーザに装着可能なウエアラブル端末、例えば腕時計型端末、ブレスレット型端末、眼鏡型端末などに対して、エフェクト通知を行なうものである。

図７は、第二の実施形態における携帯端末１００ａの機能構成を示すブロック図である。図７に示されるように、携帯端末１００は、インタフェース部１０１、ホバー制御部１０２（位置取得手段）、ジェスチャー制御部１０３ａ（エフェクト取得手段、ジェスチャー判断手段）、エフェクトＤＢ１０４、ジェスチャーＤＢ１０５、エフェクト部１０６（エフェクト通知手段）、および近距離無線通信部１０７（送信手段）を含んで構成されている。なお、エフェクト部１０６は、バイブレータ制御部１０６ａ、バイブレータ１０６ｂ、スピーカ制御部１０６ｃ、およびスピーカ１０６ｄを含んだものである。この携帯端末１００ａは、第一実施形態に記載されているものと同様に、図２に示されるようなハードウェア構成をとるものである。

この携帯端末１００ａは、第一実施形態における携帯端末１００とは、近距離無線通信部１０７を備えて、ウエアラブル端末２００と通信し、ウエアラブル端末２００においてエフェクト通知を行う点で相違している。以下、その相違点となる構成要件について説明する。

ジェスチャー制御部１０３ａは、第一実施形態のジェスチャー制御部１０３の機能に加えて、ウエアラブル端末２００がユーザに装着されているか否かを判断する部分である。具体的には、ジェスチャー制御部１０３ａは、ウエアラブル端末２００から近距離無線通信部１０７を介して、ウエアラブル端末２００が装着状態か否かを示す情報に基づいて、その装着状態を判断する。

そして、ジェスチャー制御部１０３ａは、ウエアラブル端末２００が装着状態であると判断すると、近距離無線通信部１０７を介してエフェクト情報の送信処理を行なう。また、装着状態ではないと判断すると、エフェクト部１０６にエフェクト処理を指示する。

近距離無線通信部１０７は、ウエアラブル端末２００と、近距離無線通信（例えば、ブルートゥースなど）により通信を行う部分でありウエアラブル端末２００からは、その装着状態を示す信号を受信したり、ウエアラブル端末２００に対して、エフェクト情報を送信したりする部分である。

このように本実施形態の携帯端末１００ａは、ウエアラブル端末２００に対してエフェクト処理を実行させることができる。

つぎに、このウエアラブル端末２００の構成について説明する。図７に示される通り、ウエアラブル端末２００は、近距離無線通信部２０１、バイブレータ制御部２０２、およびバイブレータ２０３を含んで構成されている。以下、各構成について説明する。

近距離無線通信部２０１は、携帯端末１００ａと近距離無線通信により通信を行う部分である。

バイブレータ制御部２０２は、バイブレータ２０３を制御する部分であり、ジェスチャー制御部１０３ａにより取得されたジェスチャー情報に従ったエフェクト処理を行う。すなわち、バイブレータ２０３を所定のパターンで振動させる。

装着状態取得部２０４は、ウエアラブル端末２００がユーザに装着されたか否かを示す情報を取得する部分であり、例えば、接触センサによる検出や、ジャイロによる所定の振動または傾きの検出、若しくはユーザによる所定の操作を受け付けることにより、装着状態であることを示す情報を取得する。装着状態取得部２０４は、装着状態であることを示す情報を取得すると近距離無線通信部２０１を介して、携帯端末１００ａに対して装着状態を示す情報を送信する。

図８は、ウエアラブル端末２００に対してエフェクト情報を送信するときの携帯端末１００ａの処理を示すフローチャートである。図８に示される通り、Ｓ１０１からＳ１０８における処理は、第一実施形態における携帯端末１００の処理と同じである。

ジェスチャー制御部１０３により、ジェスチャー情報に一致するエフェクト情報が取得されると（Ｓ１０８）、ジェスチャー制御部１０３ａによりウエアラブル端末２００が装着状態であるか否かが判断される（Ｓ１０９ａ）。

ここで、装着されていると判断されると、近距離無線通信部１０７を介して、エフェクト情報がウエアラブル端末２００に送信される（Ｓ１１１）。ウエアラブル端末２００では、受信したエフェクト情報に基づいてエフェクト処理が実行される。一方、装着されていないと判断されると、エフェクト部１０６により、そのエフェクト情報に従ったエフェクト処理が行われる（Ｓ１０９）。

このようにして、ウエアラブル端末２００の装着状態に応じて、エフェクト処理がウエアラブル端末２００で行われるか、携帯端末１００ａにおいて行われるかが切り換えられる。

つぎに、第二実施形態の変形例について説明する。図９は、変形例における携帯端末１００ｂの機能構成を示すブロック図である。図９に示される通り、携帯端末１００ｂは、インタフェース部１０１、ホバー制御部１０２（位置取得手段）、ジェスチャー制御部１０３ｂ（エフェクト取得手段、ジェスチャー判断手段）、エフェクトＤＢ１０４、ジェスチャーＤＢ１０５、および近距離無線通信部１０７（送信手段）を含んで構成されている。なお、この携帯端末１００ａは、第一実施形態に記載されているものと同様に、図２に示されるようなハードウェア構成をとるものである。

この携帯端末１００ｂは、第二実施形態における携帯端末１００ａとは、エフェクト部１０６を備えていない点で相違する。この変形例における携帯端末１００ｂにおいては、ジェスチャー制御部１０３ｂは、第一実施形態におけるジェスチャー制御部１０３の機能に加えて、ウエアラブル端末２００が装着状態であるか否かを判断することなく、近距離無線通信部１０７を介して、ジェスチャー情報をウエアラブル端末２００に対して送信する。ウエアラブル端末２００においては、送信されたジェスチャー情報に基づいてエフェクト処理が行われる。

上述第二実施形態及びその変形例においては、いずれもバイブレータによりエフェクト処理を実行しているが、これに限るものではない。例えば、ウエアラブル端末２００はディスプレイを備え、そのディスプレイにエフェクト情報として、所定の色を発光させたりしてもよい。また、スピーカを備え、所定の効果音をエフェクト情報として出力してもよい。さらに、ウエアラブル端末２００を眼鏡型端末の形態とした場合、バイブレータ等の代わりに、またはそれに加えて、骨伝導スピーカを備え、骨伝導によりエフェクト情報を通知するようにしてもよい。ウエアラブル端末２００にした場合においても、所定色の発行によりエフェクト情報を通知するようにしてもよい。その場合、眼鏡のフレーム部分に発光させるためのＬＥＤ等の発光装置を備え、例えばフリックで赤色、掴むで黄色、放すで緑色など、その指の動作に応じた色を発光させるような形態が考えられる。

つぎに、この第二実施形態の携帯端末１００ａおよび１００ｂの作用効果について説明する。この第二の実施形態の携帯端末１００ａによれば、ユーザはウエアラブル端末２００を使ってエフェクト情報の通知を受けることができる。すなわち、ユーザは、ウエアラブル端末２００を装着した場合には、その旨を近距離無線通信部１０７を介して携帯端末１００ａに通知し、携帯端末１００ａにおいては、その装着した旨の装着状態情報を受信した場合には、ウエアラブル端末２００に対してエフェクト情報を通知するものである。装着した旨の装着状態情報を受信しない場合には、その携帯端末１００ａが内部に備えているエフェクト部１０６を用いてエフェクト処理を行なう。これにより、いわゆるホバー状態に対する入力をユーザは適切に把握することができる。

また、変形例における携帯端末１００ｂにおいては、装着状態情報を受けることなく、エフェクト通知をウエアラブル端末２００に送ることができる。

１５ｂ…タッチパネル、１００…携帯端末、１０１…インタフェース部、１０２…ホバー制御部、１０３…ジェスチャー制御部、１０４…エフェクトＤＢ、１０５…ジェスチャーＤＢ、１０６…エフェクト部、１０６ａ…バイブレータ制御部、１０６ｂ…バイブレータ、１０６ｃ…スピーカ制御部、１０６ｄ…スピーカ、１０７…近距離無線通信部、２００…ウエアラブル端末、２０１…近距離無線通信部、２０２…バイブレータ制御部、２０３…バイブレータ、２０４…装着状態取得部。

Claims (12)

1. タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルと、
   前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得手段と、
   前記位置取得手段により取得された位置情報に応じたエフェクト情報を取得するエフェクト取得手段と、
   前記エフェクト取得手段により取得されたエフェクト情報に基づいたエフェクトをユーザに対して通知するエフェクト通知手段と、を備える情報処理装置。
2. 前記エフェクト取得手段は、
   前記位置取得手段により取得された位置情報で示される入力指示部分と前記タッチパネルの中心部分との位置関係に応じたエフェクト情報を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記エフェクト取得手段は、
   前記位置取得手段により取得された位置情報で示される入力指示部分の、前記タッチパネルのタッチ面に対する高さに対応したエフェクト情報を取得することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記エフェクト取得手段は、
   前記位置取得手段が入力指示部分の位置情報を取得できなくなる前記タッチパネルの検出範囲の直前に、前記入力指示部分が移動したと判断されたとき、その位置に応じたエフェクト情報を取得することを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記位置取得手段において取得された一連の位置情報群に基づいて、あらかじめ定められたジェスチャーであるか否かを判断するジェスチャー判断手段をさらに備え、
   前記エフェクト取得手段は、
   前記ジェスチャー判断手段が前記位置取得手段により取得された一連の位置情報群があらかじめ定めたジェスチャーを示したものであると判断した場合、前記ジェスチャーに応じたエフェクト情報を取得し、
   前記エフェクト通知手段は、
   位置情報に応じたエフェクトの通知を行うことなく、ジェスチャーに応じたエフェクトを通知することを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
6. 前記エフェクト通知手段は、機器を振動させるバイブレーション機能によりエフェクト通知を行うことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記通知手段は、音を発することによりエフェクト通知を行うことを特徴とする請求項１から６のいずれか一項に記載の情報処理装置。
8. ユーザに装着可能なウエアラブル端末と通信接続する情報処理装置において、
   タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルと、
   前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得手段と、
   前記位置取得手段により取得された位置情報に応じたエフェクト情報を取得するエフェクト取得手段と、
   前記エフェクト取得手段により取得されたエフェクト情報を、ユーザに装着されているウエアラブル端末に対してエフェクト情報を無線通信により送信する送信手段と、
   を備え、
   前記ウエアラブル端末は、前記エフェクト情報に基づいたエフェクトをユーザに対して通知する情報処理装置。
9. 前記ウエアラブル端末は、
   ユーザの頭部に装着可能なメガネ型で構成されており、
   骨伝導によりエフェクト通知を行うことを特徴とする請求項８に記載の情報処理装置。
10. 前記エフェクト取得手段により取得されたエフェクト情報に基づいたエフェクトをユーザに対して通知するエフェクト通知手段と、
    前記ウエアラブル端末がユーザに装着されているか否かを判断する判断手段と、をさらに備え、
    前記判断手段により、ウエアラブル端末がユーザに装着されていると判断されると、前記エフェクト通知手段による通知処理は行われずに、前記送信手段がエフェクト情報を送信し、未装着であると判断されると、前記送信手段による送信を行うことなく、前記エフェクト通知手段が、エフェクト通知を行う、ことを特徴とする請求項８または９に記載の情報処理装置。
11. タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルを備える情報処理装置の入力支援方法において、
    前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得ステップと、
    前記位置取得ステップにより取得された位置情報に応じたエフェクト情報を取得するエフェクト取得ステップと、
    前記エフェクト取得ステップにより取得されたエフェクト情報に基づいたエフェクトをユーザに対して通知するエフェクト通知ステップと、を備える入力支援方法。
12. タッチ面から所定間隔空けたホバー入力空間の入力指示部分を検出するタッチパネルを有し、ユーザに装着可能なウエアラブル端末と通信接続する情報処理装置の入力支援方法において、
    前記タッチパネルにおいて検出された入力指示部分の位置情報を取得する位置取得ステップと、
    前記位置取得ステップにより取得された位置情報に応じたエフェクト情報を取得するエフェクト取得ステップと、
    前記エフェクト取得ステップにより取得されたエフェクト情報を、ユーザに装着されているウエアラブル端末に対してエフェクト情報を無線通信により送信する送信ステップと、
    を備え、
    前記ウエアラブル端末は、前記エフェクト情報に基づいたエフェクトをユーザに対して通知する入力支援方法。
    
    
    

Images