JP2017509957A

JP2017509957A - 情報処理の方法、装置、およびデバイス

Info

Publication number: JP2017509957A
Application number: JP2016548222A
Authority: JP
Inventors: 磊 ▲陳▼
Original assignee: ▲華▼▲為▼▲終▼端有限公司
Priority date: 2014-01-26
Filing date: 2015-01-23
Publication date: 2017-04-06
Anticipated expiration: 2035-01-23
Also published as: US20160342217A1; KR20160110992A; RU2016134720A3; CN103793057A; CN103793057B; EP3089018A1; WO2015110063A1; KR101877823B1; RU2662408C2; EP3089018A4; RU2016134720A; BR112016017206B1; JP6249316B2; EP3089018B1; US9965044B2

Abstract

本発明は、情報処理の方法、装置、およびデバイスを開示する。情報処理方法では、ユーザによって入力されたモード有効化ジェスチャ情報が取得された後、ユーザによって入力されたモード有効化ジェスチャ情報に従って、対応する入力モードに入り、特定された入力モードにおいてユーザのジェスチャ情報が識別され、さらに、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ユーザの意図が識別される。上記の入力モードは、キーボード入力モードおよびマウス入力モードを含む。このようにして、ユーザは、従来通りの入力操作方式、たとえば、タップ操作およびタッチスライド操作のみを使用することによって、よく知っている入力モード環境において、端末の便利な制御を実現することができる。この方法では、装置およびデバイスは、ジェスチャ動作と操作との間の複数の対応関係を覚えることをユーザに要求しない。ユーザの従来通りの基本入力操作と標準的なキーボードおよび／またはマウスの操作イベントとの間の対応関係をシステムにあらかじめ埋め込むことによってのみ、従来通りの操作方式においてユーザにより端末を制御する目的を達成することができる。

Description

本発明は、情報処理技術の分野に関し、より詳細には、情報処理の方法、装置、およびデバイスに関する。

近年、インテリジェントデバイスは、科学および技術の発展とともに、ますます広範囲に展開および適用されている。インテリジェントデバイスのより豊富な機能およびより多様な形態に対して増大するユーザ要件を満たすために、インテリジェンスデバイスの入力方式はより知的で豊富になっている。

従来技術において、ユーザがインテリジェントデバイスと対話することを便利にするために、ジェスチャ制御アームリングが開発されている。使用するとき、ジェスチャ制御アームリングは、ユーザの手首の周りに装着される必要があり、ユーザが動いているときに腕または手首の筋肉によって発生する生体電気の変化を検出することにより、腕の物理的動作の監視と組み合わせて、人間とコンピュータとの対話を実現する。ジェスチャ制御アームリングは、特定の動作を使用することによって操作をトリガすることができる。たとえば、ユーザが握り拳を作り、次いで手首を上下に3回振る動作は、デバイスを有効にするための対応動作として設定される場合がある。

しかしながら、インテリジェントデバイスに対して実行され得る多くの操作が存在する。ユーザが従来技術におけるジェスチャ制御アームリングを使用することによってインテリジェントデバイスを操作することを望む場合、ユーザはジェスチャ動作と操作との間の多くの対応関係を覚える必要があり、それにより、ユーザがインテリジェントデバイスを使用することが極めて不便になる。

この点から見て、特定のトリガ操作が特定のジェスチャ動作に対応する必要があるので、ユーザがジェスチャ動作と操作との間の複数の対応関係を覚える必要があるという従来技術における問題を解決するために、本発明は、情報処理の方法、装置、およびデバイスを提供する。

上記の目的を達成するために、本発明は以下の技術的解決策を提供する。

第1の態様によれば、本出願は、
ユーザのモード有効化ジェスチャ情報を取得することと、
モード有効化ジェスチャ情報に対応する入力モードを有効にすることであって、入力モードがキーボード入力モードおよびマウス入力モードを含む、有効にすることと、
入力モードにおいてユーザのジェスチャ情報を取得することであって、ジェスチャ情報がタップジェスチャ情報および／またはスライドジェスチャ情報を含む、取得することと、
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成することと
を含む、情報処理方法を開示する。

第1の態様の第1の可能な実装方式では、入力モードがキーボード入力モードであるとき、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在し、
入力モードにおいてユーザのジェスチャ情報を取得することは、キーボード入力モードにおいて、ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得することを含み、
それに対応して、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成することは、
タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、タップジェスチャ情報に対応する操作命令を生成すること
を含む。

第1の態様の第2の可能な実装方式では、入力モードがマウス入力モードであるとき、入力モードにおいてユーザのジェスチャ情報を取得することは、
マウス入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の上でスライドするスライドジェスチャ情報、ならびに／または指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得すること
を含み、
それに対応して、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成することは、
スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、スライドジェスチャ情報および／またはタップジェスチャ情報に対応する操作命令を生成すること
を含み、
スライドジェスチャ情報はマウスポインタの動き追跡情報に対応し、タップジェスチャ情報は左または右のマウスボタンのトリガ情報に対応する。

第1の態様の第3の可能な実装方式では、モード有効化ジェスチャ情報に対応する入力モードを有効にすることは、
モード有効化ジェスチャ情報がユーザの人差し指、中指、薬指、および小指を伸ばすジェスチャに対応するとき、キーボード入力モードを有効にすることと、
モード有効化ジェスチャ情報がユーザの手のひらの方へ人差し指、中指、薬指、および小指を丸めるジェスチャに対応するとき、マウス入力モードを有効にすることと
を含み、
モード有効化ジェスチャ情報またはジェスチャ情報は、ユーザの手首または手のひらに配置されたセンサによって検出される。

第1の態様の第4の可能な実装方式では、ユーザのモード有効化ジェスチャ情報を取得すること、または入力モードにおいてユーザのジェスチャ情報を取得することは、
ユーザの手首または手のひらに配置されたセンサがユーザの入力モード有効化ジェスチャ動作またはジェスチャ動作を検出するとき、手首または手のひらの各部の圧力値を取得することと、
圧力値に従って、ユーザの手首または手のひらの上のセンサの変位値を決定することと、
変位値に従って、ユーザによって入力されたモード有効化ジェスチャ情報を特定することと
を含む。

第1の態様の上記の実装方式のうちのいずれか1つでは、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成することの後に、方法は、
端末が操作命令に応答するように、端末に操作命令を送信すること
をさらに含む。

第2の態様によれば、
キーボード入力モードに入ったことを確認することであって、キーボード入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在する、確認することと、
ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得することと、
タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、タップジェスチャ情報に対応する操作命令を生成することと
を含む、情報処理方法が開示される。

第3の態様によれば、
マウス入力モードに入ったことを確認することと、
人差し指、中指、薬指、および小指の上のユーザのスライドジェスチャ情報、ならびに／または、ユーザにより人差し指、中指、薬指、および小指の指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得することと、
スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、スライドジェスチャ情報および／またはタップジェスチャ情報に対応する操作命令を生成することと
を含む、情報処理方法が開示され、
スライドジェスチャ情報はマウスポインタの動き追跡情報に対応し、タップジェスチャ情報は左または右のマウスボタンのトリガ情報に対応する。

第4の態様によれば、
ユーザのモード有効化ジェスチャ情報を取得するように構成された第1の取得モジュールと、
モード有効化ジェスチャ情報に対応する入力モードを有効にするように構成されたモード有効化モジュールであって、入力モードがキーボード入力モードおよびマウス入力モードを含む、モード有効化モジュールと、
入力モードにおいてユーザのジェスチャ情報を取得するように構成された第2の取得モジュールであって、ジェスチャ情報がタップジェスチャ情報および／またはスライドジェスチャ情報を含む、第2の取得モジュールと、
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成するように構成された命令生成モジュールと
を含む、情報処理装置が開示される。

第4の態様の第1の可能な実装方式では、入力モードがキーボード入力モードであるとき、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在し、第2の取得モジュールは、具体的に、
キーボード入力モードにおいて、ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得すること
を行うように構成される。

第4の態様の第2の可能な実装方式では、入力モードがマウス入力モードであるとき、第2の取得モジュールは、具体的に、
マウス入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の上でスライドするスライドジェスチャ情報、ならびに／または指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得すること
を行うように構成され、
スライドジェスチャ情報はマウスポインタの動き追跡情報に対応し、タップジェスチャ情報は左または右のマウスボタンのトリガ情報に対応する。

第4の態様の第3の可能な実装方式では、モード有効化モジュールは、
モード有効化ジェスチャ情報がユーザの人差し指、中指、薬指、および小指を伸ばすジェスチャに対応するとき、キーボード入力モードを有効にするように構成された第1のモード有効化モジュールと、
モード有効化ジェスチャ情報がユーザの手のひらの方へ人差し指、中指、薬指、および小指を丸めるジェスチャに対応するとき、マウス入力モードを有効にするように構成された第2のモード有効化モジュールと
を含む。

第4の態様の第4の可能な実装方式では、モード有効化ジェスチャ情報またはジェスチャ情報は、ユーザの手首または手のひらに配置されたセンサによって検出される。

第4の態様の第5の可能な実装方式では、第1の取得モジュールまたは第2の取得モジュールは、
ユーザの手首または手のひらに配置されたセンサがユーザの入力モード有効化ジェスチャ動作またはジェスチャ動作を検出するとき、手首または手のひらの各部の圧力値を取得するように構成された取得サブモジュールと、
圧力値に従って、ユーザの手首または手のひらの上のセンサの変位値を決定するように構成された計算モジュールと、
変位値に従って、ユーザによって入力されたモード有効化ジェスチャ情報を特定するように構成されたジェスチャ特定モジュールと
を含む。

第4の態様の上記の可能な実装方式のうちのいずれか1つでは、装置は、
端末が操作命令に応答するように、端末に操作命令を送信するように構成された命令転送モジュール
をさらに含む。

第5の態様によれば、
システムがキーボード入力モードに入ったことを確認するように構成された第1の入力有効化モジュールであって、キーボード入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在する、第1の入力有効化モジュールと、
ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得するように構成された第1のジェスチャ取得モジュールと、
タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、タップジェスチャ情報に対応する操作命令を生成するように構成された第1の命令生成モジュールと
を含む、情報処理装置が開示される。

第6の態様によれば、
システムがマウス入力モードに入ったことを確認するように構成された第2の入力有効化モジュールと、
人差し指、中指、薬指、および小指の上のユーザのスライドジェスチャ情報、ならびに／または、ユーザにより人差し指、中指、薬指、および小指の指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得するように構成された第2のジェスチャ取得モジュールと、
スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、スライドジェスチャ情報および／またはタップジェスチャ情報に対応する操作命令を生成するように構成された第2の命令生成モジュールと
を含む、情報処理装置が開示される。

第7の態様によれば、情報処理デバイスが開示され、情報処理デバイスは、上記の情報処理装置のうちのいずれか1つを含む。

第8の態様によれば、インテリジェント端末が開示され、インテリジェント端末は、上記の情報処理装置のうちのいずれか1つを含む。

従来技術と比べて、本発明の実施形態は情報処理の方法、装置、およびデバイスを開示することを、上記の技術的解決策から学ぶことができる。情報処理方法では、ユーザによって入力されたモード有効化ジェスチャ情報が最初に取得され、次いでユーザによって入力されたモード有効化ジェスチャ情報に従って、対応する入力モードに入り、特定された入力モードにおいてユーザのジェスチャ情報が識別され、さらに、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ユーザの意図が識別される。上記の入力モードは、キーボード入力モードおよびマウス入力モードを含む。このようにして、ユーザは、従来通りの入力操作方式、たとえば、タップ操作およびタッチスライド操作のみを使用することによって、よく知っている入力モード環境において、端末の便利な制御を実現することができる。この方法では、装置およびデバイスは、特定のジェスチャ動作と特定の操作との間の複数の対応関係を覚えることをユーザに要求しない。ユーザの従来通りの基本入力操作と標準的なキーボードおよび／またはマウスの操作イベントとの間の対応関係を、情報処理方法の実行体にあらかじめ埋め込むことによってのみ、従来通りの操作方式においてユーザにより端末を制御する目的を達成することができる。

本発明の実施形態または従来技術における技術的解決策をより明確に記載するために、以下で、実施形態または従来技術を記載するために必要な添付図面を簡単に紹介する。明らかに、以下の説明における添付図面は本発明のいくつかの実施形態を示すにすぎず、当業者は、創造的な努力なしに、これらの添付図面から他の図面をさらに導出することができる。

本発明の一実施形態による、情報処理方法のフローチャートである。本発明の一実施形態による、12キーのキーパッドの12個のキーの間の対応関係の概略図である。本発明の一実施形態により、ユーザのモード有効化ジェスチャ情報またはジェスチャ情報を取得することのフローチャートである。本発明の一実施形態による、リストバンド内に配置されたセンサの位置の概略図である。本発明の一実施形態による、別の情報処理方法のフローチャートである。本発明の一実施形態による、第3の情報処理方法のフローチャートである。本発明の一実施形態による、第4の情報処理方法のフローチャートである。本発明の一実施形態による、情報処理装置の概略構造図である。本発明の一実施形態による、第1の取得モジュールの概略構造図である。本発明の一実施形態による、別の情報処理装置の概略構造図である。本発明の一実施形態による、第3の情報処理装置の概略構造図である。本発明の一実施形態による、第4の情報処理装置の概略構造図である。本発明の一実施形態による、情報処理デバイスと端末との間の通信の概略図である。本発明の一実施形態による、情報処理デバイスの概略構造図である。本発明の一実施形態による、別の情報処理デバイスの概略構造図である。

以下で、本発明の実施形態における添付図面を参照して、本発明の実施形態における技術的解決策を明確かつ完全に記載する。明らかに、記載される実施形態は、本発明の実施形態のうちのいくつかにすぎず、すべてではない。創造的な努力なしに本発明の実施形態に基づいて、当業者によって取得されるすべての他の実施形態は、本発明の保護範囲内に入るべきである。

図1は、本発明の一実施形態による、情報処理方法のフローチャートである。図1に示されたように、方法は以下を含む場合がある。

ステップ101：ユーザのモード有効化ジェスチャ情報を取得する。

本発明のこの実施形態では、ユーザのための複数の入力モードが存在する場合があり、各入力モードは1つのモード有効化ジェスチャに対応する。このようにして、本発明のこの実施形態において開示される情報処理方法の実行体は、ユーザによって入力されたモード有効化ジェスチャ情報に従って、ユーザが現在望んでいる入力モードを自動的に識別することができ、それにより、ユーザの使用が容易になる。

ステップ102：モード有効化ジェスチャ情報に対応する入力モードを有効にする。

入力モードは、キーボード入力モードおよびマウス入力モードを含む場合がある。本明細書に記載されたキーボード入力モードは、このモードにおいて、ユーザが指の一部をタップすることによって既知のキーボード上の文字を直接トリガできることを示し、文字は、数字、英字、または、固定機能を有する記号、たとえば「＃」キーであり得る。確かに、ユーザにより指の一部をタップまたはトリガするジェスチャ情報と、既知のキーボードの各キーとの間の対応関係を事前構成することが必要とされる。上記のマウス入力モードは、このモードにおいて、ユーザがマウスを操作するように指または手のひらの上で対応する操作を実行できることを示す。この場合、操作は、スライド操作およびタップ操作を含む場合がある。たとえば、ユーザの親指が指または手のひらの上で左方向にスライドすると、それはマウスポインタの左方向スライドに対応し、ユーザが指または手のひらの一部をタップすると、それは左マウスボタン上のクリックに対応する。確かに、この場合も、ユーザのジェスチャ情報と標準的なマウスの操作イベントとの間の対応関係を事前構成することが必要とされる。

ステップ103：入力モードにおいてユーザのジェスチャ情報を取得する。

ジェスチャ情報は、タップジェスチャ情報および／またはスライドジェスチャ情報を含む場合がある。

同じジェスチャ情報について、様々な入力モードにおいて様々な処理および応答の結果が得られる場合があり、1個のジェスチャ情報が、ある入力モードでは処理および応答される場合があるが、別の入力モードでは処理および応答されない場合があることに留意されたい。キーボード入力モードでは、ユーザがトリガすることを望む文字は、ユーザにより手のひらの一部をタップするジェスチャ情報を取得することによって特定され得ることが、上記に記載されている。このモードでは、ユーザがスライドジェスチャ情報を入力する場合、システムはスライドジェスチャ情報を処理せず、それに対して応答しない。しかしながら、ユーザがマウス入力モードにおいてスライドジェスチャ情報を入力する場合、スライドジェスチャ情報はマウスポインタの動き操作に対応している場合があるので、スライドジェスチャ情報は処理および応答される。加えて、そのような対応関係は、従来技術では、マウスを使用することによってコンピュータインターフェース上の入力操作を実行すること、またはタッチスクリーンインターフェース上で直接入力操作を実行することのユーザ習慣と一致する。たとえば、ユーザは、手のひらの上で親指を上、下、左、および右に動かすことによって、タッチスクリーン上の対応する上、下、左、および右のページめくり操作を体験することができる。

ステップ104：ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成する。

ジェスチャ情報と操作命令との間の対応関係は、システムプログラムにあらかじめ埋め込まれ、それは従来技術を使用することによって実現することができる。しかしながら、本発明のこの実施形態では、複数の入力モードが導入され、上述されているように、同じジェスチャ情報について、様々な入力モードにおいて様々な処理および応答の結果が得られる場合があるので、各入力モードにおいてジェスチャ情報と操作命令との間に個別の対応関係が存在する。

さらに、ユーザのジェスチャ情報に従って生成される操作命令は端末に転送される場合があり、その結果、端末は操作命令に従って応答動作を実行する。

この実施形態における情報処理方法では、ユーザによって入力されたモード有効化ジェスチャ情報が最初に取得され、次いでユーザによって入力されたモード有効化ジェスチャ情報に従って、対応する入力モードに入り、特定された入力モードにおいてユーザのジェスチャ情報が識別され、さらに、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ユーザの意図が識別される。上記の入力モードは、キーボード入力モードおよびマウス入力モードを含む。このようにして、ユーザは、従来通りの入力操作方式、たとえば、タップ操作およびタッチスライド操作のみを使用することによって、よく知っている入力モード環境において、端末の便利な制御を実現することができる。この方法では、ユーザは、特定のジェスチャ動作と特定の操作との間の複数の対応関係を覚える必要がない。ユーザの従来通りの基本入力操作と標準的なキーボードおよびマウスの操作イベントとの間の対応関係を、情報処理方法の実行体にあらかじめ埋め込むことによってのみ、従来通りの操作方式においてユーザにより便利に入力操作を実行し端末を制御する目的を達成することができる。

上記の実施形態では、システムによって取得されたモード有効化ジェスチャ情報がキーボード入力モードに対応するモード有効化ジェスチャであるとき、システムはキーボード入力モードを有効にする。このモードでは、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在する場合がある。12キーのキーパッドは、1、2（abc）、3（def）、4（ghi）、5（jkl）、6（mno）、7（pqrs）、8（tuv）、9（wyxz）、＊、0、および＃のキーを含むことがすべての人に知られている。加えて、手の構造において、人差し指、中指、薬指、および小指の各々は、3つの指の関節および3つの指の節骨を含み、人差し指、中指、薬指、および小指は、全体で12個の指の関節および12個の指の節骨を含む。加えて、12キーのキーパッドの12個のキーの4＊3アレイは、手の構造における人差し指、中指、薬指、および小指の12個の指の関節または指の節骨の4＊3アレイと同じである。図2を参照することができ、図2は、本発明の一実施形態による、12キーのキーパッドの12個のキーの間の対応関係の概略図である。人差し指の第1の指の節骨は「1」キーに対応する場合があり、人差し指の第2の指の節骨は「2」キーに対応する場合があり、．．．、小指の第3の指の節骨は「＃」キーに対応する場合がある。

確かに、12キーのキーパッドのキーと12個の指の関節または指の節骨との間の対応関係は、上記のように固定的に限定されない。小指の3つの指の関節がそれぞれ「1」キー、「2」キー、および「3」キーに対応し、人差し指の3つの指の関節がそれぞれ「＊」キー、「0」キー、および「＃」キーに対応ように設定される場合もある。ユーザの選好および習慣に応じて、固有の対応関係を設定することができる。

このようにして、上記の実施形態では、入力モードにおいてユーザのジェスチャ情報を取得するステップ103は、キーボード入力モードにおいて、ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得することを含む場合がある。

それに対応して、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成するステップ104は、タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、タップジェスチャ情報に対応する操作命令を生成することを含む場合がある。

この実施形態では、12キーのキーパッドのキーは、それぞれ12個の指の関節または指の節骨に1対1で対応し、そのような対応関係はシステム内で事前構成される。基本的に、すべてのユーザは12キーのキーパッドの使用方法に極めて精通しており、いくつかの指の関節または指の節骨の位置を正確に検知することもできるので、ユーザは、12キーのキーパッドの各キーと固定されたジェスチャ動作との間の対応関係を覚える必要なしに、情報の入力を便利かつ迅速に実施することができる。

第1の実施形態では、システムによって取得されたモード有効化ジェスチャ情報がマウス入力モードに対応するモード有効化ジェスチャであるとき、システムはマウス入力モードを有効にする。このモードでは、入力モードにおいてユーザのジェスチャ情報を取得するステップ103は、マウス入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の上でスライドするスライドジェスチャ情報、ならびに／または指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得することを含む場合がある。

それに対応して、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成するステップ104は、スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、スライドジェスチャ情報および／またはタップジェスチャ情報に対応する操作命令を生成することを含む場合がある。

マウス入力モードでは、ユーザのスライドジェスチャ情報がマウスポインタの動き追跡情報に対応し、ユーザのタップジェスチャ情報が左または右のマウスボタンのトリガ情報に対応するように事前構成される場合がある。具体的には、ユーザは、親指を除く4つの指を丸めて「パネル」を形成することができる。親指は、「パネル」の上を動いてディスプレイスクリーン上のマウスの動きをシミュレートすることができる。確かに、ユーザのジェスチャ情報と標準的なマウスの操作イベントとの間の対応関係は、事前構成される必要がある。パッドを使用し、マウスを使用することによって操作を実行するユーザ習慣を考慮すると、ユーザの左方向へのスライドジェスチャ情報は、左方向へのマウスポインタの動き操作に直接対応する場合あり、ユーザの上方向へのスライドジェスチャ情報は、上方向へのマウスポインタの動き操作に直接対応する場合あり、以下同様である。このようにして、ユーザの親指は、4つの指によって形成される「パネル」上のマウスに相当し、「パネル」はディスプレイスクリーンに相当する。「パネル」上のユーザの親指のジェスチャ情報は、物理的なタッチスクリーンを操作するユーザ操作イベントに対応する場合もあり、その結果、ユーザは、4つの指によって形成される「パネル」を使用することによって、タッチスクリーン上の操作を体験することができる。

実際のシナリオでは、マウスは左ボタンと右ボタンを含む。ユーザの使用を容易にするために、この実施形態では、マウス入力モードにおいて、ユーザにより人差し指、中指、薬指、および小指の任意の指先をタップするジェスチャ動作は、左マウスボタンのトリガ操作として定義される場合があり、ユーザにより人差し指、中指、薬指、および小指の任意の指の根元をタップするジェスチャ動作は、右マウスボタンのトリガ操作として定義される場合がある。代替として、ユーザにより人差し指の指先をタップするジェスチャ動作が、左マウスボタンのトリガ操作として定義される場合があり、ユーザにより中指の指先をタップするジェスチャ動作が、右マウスボタンのトリガ操作として定義される場合などがあり、それは本明細書において限定されない。

この実施形態では、ユーザの固定されたジェスチャ情報のいくつかの部分がマウス操作のいくつかの基本操作に対応し、その結果、ユーザは、便利で効率的な、よく知っているマウス操作方式またはタッチスクリーン操作方式で手のひらの上でジェスチャ動作を実行することによって入力操作を直接実施し、ユーザは、ジェスチャ動作と操作との間の複数の対応関係を覚える必要がない。

上記の実施形態では、様々な入力モードに対応するモード有効化ジェスチャは固定的に限定されないことを理解することができる。ユーザの使用を容易にするために、この実施形態では、第1の実施形態において、モード有効化ジェスチャ情報に対応する入力モードを有効にするステップ102は、具体的に、モード有効化ジェスチャ情報がユーザの人差し指、中指、薬指、および小指を伸ばすジェスチャに対応するとき、キーボード入力モードを有効にすること、ならびに、モード有効化ジェスチャ情報がユーザの手のひらの方へ人差し指、中指、薬指、および小指を丸めるジェスチャに対応するとき、マウス入力モードを有効にすることである。

ユーザは、人差し指、中指、薬指、および小指の様々な指の関節または指の節骨をタップするとき、いくつかの指を無意識に区別する場合があるので、ユーザの人差し指、中指、薬指、および小指を伸ばすジェスチャはキーボード入力モードに対応し、ユーザの手のひらの方へ人差し指、中指、薬指、および小指を丸めるジェスチャはマウス入力モードに対応し、4つの丸められた指によって形成される「パネル」は、ディスプレイスクリーンをシミュレートするために使用される場合があり、それはユーザの操作習慣に比較的近い。確かに、キーボード入力モードおよびマウス入力モードのモード有効化ジェスチャは、固定的に限定されない。

上記の実施形態では、モード有効化ジェスチャ情報またはジェスチャ情報は、ユーザの手首または手のひらに配置されたセンサによって検出される場合がある。

ユーザの手首または手のひらに配置されたセンサは、センサを有する手のモード有効化ジェスチャ動作またはジェスチャ動作を検出することができることに留意されたい。

図3は、本発明の一実施形態により、ユーザのモード有効化ジェスチャ情報またはジェスチャ情報を取得することのフローチャートである。図3に示されたように、ユーザのモード有効化ジェスチャ情報を取得すること、またはユーザのジェスチャ情報を取得することの特定のプロセスは、以下を含む場合がある。

ステップ301：ユーザの手首または手のひらに配置されたセンサがユーザの入力モード有効化ジェスチャ動作またはジェスチャ動作を検出するとき、手首または手のひらの各部の圧力値を取得する。

ユーザの手首に配置されるセンサは、リストバンド内に配置される場合があり、ユーザの手のひらに配置されるセンサは、手袋またはミトン内に配置される場合がある。センサがユーザの手首に配置される場合、ユーザのジェスチャ動作は、ユーザが様々なジェスチャを行うときの手首の各部の筋肉変化および動作変化によって引き起こされる異なる圧力に従って特定することができる。センサがユーザの手のひらに配置される場合、ユーザのジェスチャ動作は、手のひらの各部の筋肉変化および動作変化によって引き起こされる異なる圧力に従って特定することができる。センサがユーザの指に配置される場合、指の上のセンサは、ユーザの親指の接触情報を直接検出して、ユーザのジェスチャ情報をさらに特定することができる。ユーザの手に配置されたセンサの位置にかかわらず、センサは、モード有効化ジェスチャの関連する検知情報を検出するために使用される場合があるだけでなく、システムがキーボード入力モードまたはマウス入力モードに入った後、ユーザが手のひらまたは指の上でスライド操作またはタップ操作を実行するときの関連するジェスチャの検知情報を検出するために使用される場合もあることに留意されたい。

ステップ302：圧力値に従って、ユーザの手首または手のひらの上のセンサの変位値を決定する。

一般に、大きい圧力変化は大きい変位値を示す。ユーザがセンサ付きの装置を装着した後、ユーザがいかなるジェスチャ動作も行わない場合、センサ付きの装置とユーザの手の皮膚との間の接触圧力は、基本的に安定した初期値を有する。しかしながら、ユーザがジェスチャ動作を行うと、手の一部の圧力値は、大きくなる場合も、小さくなる場合もある。したがって、手の筋肉の変位も様々なベクトル方向を有する。大きい圧力は、元の位置からシフトするセンサの大きい変位値を示す。この実施形態では、ユーザの手首または手のひらに配置される複数のセンサが存在する場合があり、センサは、検出結果の確度を向上させるために、要件に応じて様々な部分に配置される場合がある。

ステップ303：変位値に従って、ユーザによって入力されたモード有効化ジェスチャ情報を特定する。

図4は、本発明の一実施形態による、リストバンド内に配置されたセンサの位置の概略図である。図4に示されたように、円形の圧力センサがリストバンド内に配置される場合があり、ユーザのジェスチャが変化すると、測定された圧力の変動値に従って、各センサは、センサの元の位置（すなわち、ユーザがいかなる動作も行わず、手が自然な状態にあるときのセンサの位置）からのセンサの位置オフセットを取得することができる。このようにして、ユーザの手首の筋肉グループが指の動作に起因して変化するかぎり、センサによって検出されたデータに従って、ユーザのジェスチャ動作を最終的に特定することができる。指に近い筋肉グループは、よりはっきりと変化する。したがって、リストバンド内のセンサは、指に近い位置に配置される場合がある。

実際の状況では、毎回ユーザがリストバンドを装着する位置は異なる場合がある。したがって、毎回リストバンド内のセンサによって検出されるデータも異なり、それにより、検出結果の確度が影響を受ける。この実施形態では、検出結果の確度に関する上記の問題の影響に対処するために、以下で、2つの解決策を提供する。

解決策1：できるだけ包括的なデータベースを構築して、リストバンドが様々な位置にあるときの、センサによって検出されたデータとジェスチャ動作との間の対応関係を記憶する。

解決策2：リストバンド内に複数の円形のセンサを配置する。初めてリストバンドを使用するとき、ユーザは、リストバンドの中央に位置する円形のセンサによって検出されたデータを使用し、リストバンドの中央に位置する円形のセンサがユーザのジェスチャ動作を正確に識別できることを保証するために、関連する較正作業を完成することができる。ユーザがその後リストバンドを使用するとき、リストバンドの位置は前の位置とは異なる場合がある。この場合、リストバンド内の各円形のセンサは、関連する変位データに従ってリストバンドの現在位置を直接特定することができ（手首の様々な位置は様々な直径を有し、したがって、手首の上のリストバンドの位置を推定するために、センサによって検出された変位データに従う計算によって、現在の円形のセンサによって形成される断面形状を取得することができ）、偏差補正を完成するために、センサの現在位置とリストバンドが初めて使用されたときのセンサの位置との間の位置差分を計算することができる。代替として、リストバンドを使用するプロセスでは、各円形のセンサに対応する現在の位置情報に従って、リストバンドが初めて使用されたときのリストバンドの中央に位置する円形のセンサに最も近い円形のセンサが自動的に見つかり、見つかった円形のセンサによって検出されたデータが使用される。

較正プロセスは以下のようであり得る。1．ユーザがリストバンドを装着する。2．リストバンドが端末との通信を確立する。3．較正モードを有効にする。4．端末のディスプレイスクリーンに較正インターフェースを表示する。5．リストバンドが「1」キーを表示するように端末に命令する。6．ユーザがリストバンドを有する手の親指を使用して人差し指の第1の指の関節に接触し、それは「1」キーが押下されたことを示し、接触は端末が識別を完了するまで続く。7．リストバンド内のセンサの現在の位置情報がリストバンドに記録され、現在の位置情報は、「1」キーの較正を完了するために基準値として使用される。他のキーの較正プロセスについては、「1」キーの上記の較正プロセスを参照されたい。

確かに、ユーザのモード有効化ジェスチャ情報を取得するための上記の方法は、ユーザの他のジェスチャ情報を取得することにも適用可能である。

この実施形態では、モード有効化ジェスチャ情報を取得するための特定の方法が与えられるが、それはユーザのジェスチャ情報を取得するための唯一の方法ではない。たとえば、ユーザのジェスチャ情報は、生体電気を使用することによりユーザのジェスチャ情報を識別するための方法を使用することによって、かつ接触センサが手袋の指の位置に取り付けられた方法を使用することによって、さらに取得することができる。ユーザの手に配置されたセンサの位置にかかわらず、センサは、モード有効化ジェスチャの関連する検知情報を検出するために使用される場合があるだけでなく、システムがキーボード入力モードまたはマウス入力モードに入った後、ユーザが手のひらまたは指の上でスライド操作またはタップ操作を実行するときの関連するジェスチャの検知情報を検出するために使用される場合もあることに留意されたい。

図5は、本発明の一実施形態による、別の情報処理方法のフローチャートである。図5に示されたように、情報処理方法は以下を含む場合がある。

ステップ501：ユーザのモード有効化ジェスチャ情報を取得する。

ステップ502：モード有効化ジェスチャ情報に対応する入力モードを有効にする。

入力モードは、キーボード入力モードおよびマウス入力モードを含む場合がある。

ステップ503：入力モードにおいてユーザのジェスチャ情報を取得する。

ステップ504：ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成する。

ステップ505：端末に操作命令を送信する。

操作命令はステップ505において端末に送信され、その結果、端末は操作命令に応答し、それにより、人間とコンピュータとの対話を実現する。

この実施形態では、ユーザは、従来通りの入力操作方式、たとえば、タップ操作およびタッチスライド操作を使用することによって、端末の便利な制御を実現することができる。この方法では、ユーザは、特定のジェスチャ動作と特定の操作との間の複数の対応関係を覚える必要がない。ユーザの従来通りの基本入力操作と標準的なキーボードおよびマウスの操作イベントとの間の対応関係を、情報処理方法の実行体にあらかじめ埋め込むことによってのみ、便利に入力操作を実行し端末を制御する目的を達成することができる。

図6は、本発明の一実施形態による、第3の情報処理方法のフローチャートである。図6に示されたように、情報処理方法は以下を含む場合がある。

ステップ601：キーボード入力モードに入ったことを確認する。

キーボード入力モードでは、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在する。

ステップ602：ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得する。

ステップ603：タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、タップジェスチャ情報に対応する操作命令を生成する。

図7は、本発明の一実施形態による、第4の情報処理方法のフローチャートである。図7に示されたように、方法は以下を含む場合がある。

ステップ701：マウス入力モードに入ったことを確認する。

ステップ702：人差し指、中指、薬指、および小指の上のユーザのスライドジェスチャ情報、ならびに／または、ユーザにより人差し指、中指、薬指、および小指の指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得する。

ステップ703：スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、スライドジェスチャ情報および／またはタップジェスチャ情報に対応する操作命令を生成する。

スライドジェスチャ情報はマウスポインタの動き追跡情報に対応し、タップジェスチャ情報は左または右のマウスボタンのトリガ情報に対応する。

本発明において開示された上記の実施形態は、詳細に方法を記載する。本発明における方法は、複数の形態の装置を使用することによって実施することができる。したがって、本発明は、特定の実施形態を使用することによって以下で詳細に記載される装置をさらに開示する。

図8は、本発明の一実施形態による、情報処理装置の概略構造図である。図8に示されたように、情報処理装置80は、第1の取得モジュール801と、モード有効化モジュール802と、第2の取得モジュール803と、命令生成モジュール804とを含む場合がある。

第1の取得モジュール801は、ユーザのモード有効化ジェスチャ情報を取得するように構成される。

本発明のこの実施形態では、ユーザのための複数の入力モードが存在する場合があり、各入力モードは1つのモード有効化ジェスチャに対応する。

モード有効化モジュール802は、モード有効化ジェスチャ情報に対応する入力モードを有効にするように構成される。

入力モードは、キーボード入力モードおよびマウス入力モードを含む場合がある。本明細書に記載されたキーボード入力モードは、このモードにおいて、ユーザが指の一部をタップすることによって既知のキーボード上の文字を直接トリガできることを示し、文字は、数字、英字、または、固定機能を有する記号であり得る。上記のマウス入力モードは、このモードにおいて、ユーザがマウスを操作するように手のひらの上で操作を実行できることを示す。この場合、操作は、スライド操作およびタップ操作を含む場合がある。確かに、上記の2つのケースでは、ユーザのジェスチャ情報と標準的なキーボードまたはマウスの操作イベントとの間の対応関係を事前構成することが必要とされる。

第2の取得モジュール803は、入力モードにおいてユーザのジェスチャ情報を取得するように構成され、
ジェスチャ情報は、タップジェスチャ情報および／またはスライドジェスチャ情報を含む。

同じジェスチャ情報について、様々な入力モードにおいて様々な処理および応答の結果が得られる場合があり、1個のジェスチャ情報が、ある入力モードでは処理および応答される場合があるが、別の処理モードでは処理および応答されない場合があることに留意されたい。

命令生成モジュール804は、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成するように構成される。

この実施形態では、情報処理装置は、ユーザによって入力されたモード有効化ジェスチャ情報を最初に取得し、次いでユーザによって入力されたモード有効化ジェスチャ情報に従って、対応する入力モードに入り、特定された入力モードにおいてユーザのジェスチャ情報を識別し、さらに、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ユーザの意図を識別することができる。上記の入力モードは、キーボード入力モードおよびマウス入力モードを含む。このようにして、ユーザは、従来通りの入力操作方式、たとえば、タップ操作およびタッチスライド操作のみを使用することによって、よく知っている入力モード環境において、端末の便利な制御を実現することができる。装置は、特定のジェスチャ動作と特定の操作との間の複数の対応関係を覚えることをユーザに要求しない。ユーザの従来通りの基本入力操作と標準的なキーボードおよびマウスの操作イベントとの間の対応関係を、情報処理方法の実行体にあらかじめ埋め込むことによってのみ、従来通りの操作方式においてユーザにより便利に入力操作を実行し端末を制御する目的を達成することができる。

上記の実施形態では、入力モードがキーボード入力モードであるとき、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在し、第2の取得モジュールは、具体的に、キーボード入力モードにおいて、ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得するように構成される場合がある。

12キーのキーパッドの12個のキーの4＊3アレイは、手の構造における人差し指、中指、薬指、および小指の12個の指の関節または指の節骨の4＊3アレイと同じであり、したがって、12キーのキーパッドの12個のキーは、12個の指の関節または指の節骨に1対1で対応する場合があることを理解することができる。しかしながら、この実施形態では、特定の対応順序は具体的に限定されず、具体的には、ユーザの選好または習慣に応じて設定される場合がある。

第1の実施形態では、入力モードがマウス入力モードであるとき、第2の取得モジュールは、具体的に、マウス入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の上でスライドするスライドジェスチャ情報、ならびに／または指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得するように構成される場合がある。

マウス入力モードでは、ユーザのスライドジェスチャ情報がマウスポインタの動き追跡情報に対応し、ユーザのタップジェスチャ情報が左または右のマウスボタンのトリガ情報に対応するように事前構成される場合がある。

具体的には、ユーザの使用を容易にするために、この実施形態では、マウス入力モードにおいて、ユーザにより人差し指、中指、薬指、および小指の任意の指先をタップするジェスチャ動作は、左マウスボタンのトリガ操作として定義される場合があり、ユーザにより人差し指、中指、薬指、および小指の任意の指の根元をタップするジェスチャ動作は、右マウスボタンのトリガ操作として定義される場合がある。

上記の実施形態では、様々な入力モードに対応するモード有効化ジェスチャは固定的に限定されないことを理解することができる。ユーザの使用を容易にするために、この実施形態では、モード有効化モジュールは第1のモード有効化モジュールと第2のモード有効化モジュールとを含み、第1のモード有効化モジュールは、モード有効化ジェスチャ情報がユーザの人差し指、中指、薬指、および小指を伸ばすジェスチャに対応するとき、キーボード入力モードを有効にするように構成される場合があり、第2のモード有効化モジュールは、モード有効化ジェスチャ情報がユーザの手のひらの方へ人差し指、中指、薬指、および小指を丸めるジェスチャに対応するとき、マウス入力モードを有効にするように構成される場合がある。

上記の実施形態では、第1の取得モジュール801は、具体的に、ユーザの手首または手のひらに配置されたセンサによって検出されるユーザのモード有効化ジェスチャ情報を取得するように構成される場合がある。それに対応して、第2の取得モジュールは、具体的に、ユーザの手首または手のひらに配置されたセンサによって検出されるユーザのジェスチャ情報を取得するように構成される場合がある。ユーザの手首または手のひらに配置されたセンサは、センサを有する手のジェスチャ動作情報を検出することができる。

図9は、本発明の一実施形態による、第1の取得モジュールの概略構造図である。図9に示されたように、第1の取得モジュール801は、具体的に、取得サブモジュール901と、計算モジュール902と、ジェスチャ特定モジュール903とを含む場合がある。

取得サブモジュール901は、ユーザの手首または手のひらに配置されたセンサが入力モード有効化ジェスチャ動作またはジェスチャ動作を検出するとき、手首または手のひらの各部の圧力値を取得するように構成される。

ユーザの手首に配置されるセンサは、リストバンド内に配置される場合があり、ユーザの手のひらに配置されるセンサは、手袋またはミトン内に配置される場合がある。センサがユーザの手首に配置される場合、ユーザのジェスチャ動作は、ユーザが様々なジェスチャを行うときの手首の各部の筋肉変化および動作変化によって引き起こされる異なる圧力に従って特定することができる。センサがユーザの手のひらに配置される場合、ユーザのジェスチャ動作は、手のひらの各部の筋肉変化および動作変化によって引き起こされる異なる圧力に従って特定することができる。センサがユーザの指に配置される場合、指の上のセンサは、ユーザの親指の接触情報を直接検出して、ユーザのジェスチャ情報をさらに特定することができる。

計算モジュール902は、圧力値に従って、ユーザの手首または手のひらの上のセンサの変位値を決定するように構成される。

一般に、大きい圧力変化は大きい変位値を示す。圧力が大きくなるか、または小さくなる2つの場合がある。したがって、変位も様々な方向を有する。大きい圧力は、元の位置からシフトするセンサの大きい変位値を示す。この実施形態では、ユーザの手首または手のひらに配置される複数のセンサが存在する場合があり、センサは、検出結果の確度を向上させるために、要件に応じて様々な部分に配置される場合がある。

ジェスチャ特定モジュール903は、変位値に従って、ユーザによって入力されたモード有効化ジェスチャ情報を特定するように構成される。

センサが指により近いと、筋肉グループはよりはっきりと変化する。したがって、リストバンド内のセンサは、指に近い位置に配置される場合がある。

この実施形態では、モード有効化ジェスチャ情報を取得するための特定の方法が与えられるが、それはユーザのジェスチャ情報を取得するための唯一の方法ではない。たとえば、ユーザのジェスチャ情報は、生体電気を使用することによりユーザのジェスチャ情報を識別するための方法を使用することによって、かつ接触センサが手袋の指の位置に取り付けられた方法を使用することによって、さらに取得することができる。

図10は、本発明の一実施形態による、別の情報処理装置の概略構造図である。図10に示されたように、情報処理装置100は、
ユーザのモード有効化ジェスチャ情報を取得するように構成された第1の取得モジュール801と、
モード有効化ジェスチャ情報に対応する入力モードを有効にするように構成されたモード有効化モジュール802であって、
入力モードがキーボード入力モードおよびマウス入力モードを含む、モード有効化モジュール802と、
入力モードにおいてユーザのジェスチャ情報を取得するように構成された第2の取得モジュール803であって、
ジェスチャ情報がタップジェスチャ情報および／またはスライドジェスチャ情報を含む、第2の取得モジュール803と、
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成するように構成された命令生成モジュール804と、
端末が操作命令に応答するように、端末に操作命令を送信するように構成された命令転送モジュール1001と
を含む場合がある。

命令転送モジュール1001は、端末に操作命令を送信し、その結果、端末は操作命令に応答し、それにより、人間とコンピュータとの対話を実現する。

この実施形態では、ユーザは、従来通りの入力操作方式、たとえば、タップ操作およびタッチスライド操作を使用することによって、端末の便利な制御を実現することができる。この方法では、ユーザは、特定のジェスチャ動作と特定の操作との間の複数の対応関係を覚える必要がない。ユーザの従来通りの基本入力操作と標準的なキーボードおよびマウスの操作イベントとの間の対応関係を、情報処理方法の実行体にあらかじめ埋め込むことによってのみ、人間とコンピュータとの対話のプロセスを便利に実現することができる。

図11は、本発明の一実施形態による、第3の情報処理装置の概略構造図である。図11に示されたように、情報処理装置110は、
システムがキーボード入力モードに入ったことを確認するように構成された第1の入力有効化モジュール1101であって、キーボード入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在する、第1の入力有効化モジュール1101と、
ユーザにより人差し指、中指、薬指、および小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得するように構成された第1のジェスチャ取得モジュール1102と、
タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、タップジェスチャ情報に対応する操作命令を生成するように構成された第1の命令生成モジュール1103と
を含む場合がある。

図12は、本発明の一実施形態による、第4の情報処理装置の概略構造図である。図12に示されたように、情報処理装置120は、
システムがマウス入力モードに入ったことを確認するように構成された第2の入力有効化モジュール1201と、
人差し指、中指、薬指、および小指の上のユーザのスライドジェスチャ情報、ならびに／または、ユーザにより人差し指、中指、薬指、および小指の指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得するように構成された第2のジェスチャ取得モジュール1202と、
スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、スライドジェスチャ情報および／またはタップジェスチャ情報に対応する操作命令を生成するように構成された第2の命令生成モジュール1203と
を含む場合がある。

スライドジェスチャ情報はマウスポインタの動き追跡情報に対応する場合があり、タップジェスチャ情報は左または右のマウスボタンのトリガ情報に対応する場合がある。

さらに、本発明の一実施形態は、情報処理デバイスをさらに開示し、情報処理デバイスは、上記の実施形態において開示された情報処理装置のうちのいずれか1つを含む。情報処理デバイスは、上記の実施形態において開示された情報処理装置のうちのいずれか1つを含むので、情報処理デバイスも、ユーザによって入力されたモード有効化ジェスチャ情報を最初に取得し、次いでユーザによって入力されたモード有効化ジェスチャ情報に従って、対応する入力モードに入り、特定された入力モードにおいてユーザのジェスチャ情報を識別し、さらに、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ユーザの意図を識別することができる。上記の入力モードは、キーボード入力モードおよびマウス入力モードを含む。このようにして、ユーザは、従来通りの入力操作方式、たとえば、タップ操作およびタッチスライド操作のみを使用することによって、よく知っている入力モード環境において、端末の便利な制御を実現することができる。デバイスは、特定のジェスチャ動作と特定の操作との間の複数の対応関係を覚えることをユーザに要求しない。ユーザの従来通りの基本入力操作と標準的なキーボードおよびマウスの操作イベントとの間の対応関係を、情報処理方法の実行体にあらかじめ埋め込むことによってのみ、従来通りの操作方式においてユーザにより端末を制御する目的を達成することができる。

好ましくは、情報処理デバイスは、処理機能を有する任意のデバイスであり得るし、ユーザの手に装着することができる。情報処理デバイスは、ワイヤレス通信方式またはBluetooth方式で、端末と情報を交換することができる。具体的には、情報処理デバイスは、ユーザのジェスチャ情報に従って生成される操作命令を端末に転送することができ、その結果、端末は操作命令に従って応答動作を実行する。図13は、本発明の一実施形態による、情報処理デバイスと端末との間の通信の概略図である。

好ましくは、情報処理デバイスは、上記の情報処理装置と端末機能を統合するインテリジェント端末、たとえば、ポータブルインテリジェント端末であり得る。スマートウォッチは、ポータブルインテリジェント端末の一例として使用される。センサは腕時計の腕時計バンド内に配置される場合があり、腕時計バンド内のセンサは、ユーザが様々なジェスチャを行うときの手首の各部の筋肉変化および動作変化によって引き起こされる異なる圧力に従って、ユーザのジェスチャ動作を特定することができる。このようにして、ユーザの手首の筋肉グループが指の動作に起因して変化するかぎり、ユーザのジェスチャ動作は、センサによって検出されたデータに従って、最終的に特定することができ、次いで、センサは、検出されたジェスチャ情報を情報処理装置に転送することができる。ユーザのジェスチャ情報を取得し、対応する操作命令を生成することの後に、情報処理装置は、ワイヤレス通信モジュールまたはBluetoothモジュールを使用することによって、スマートウォッチに操作命令を転送する必要はないが、スマートウォッチ内部の通信ラインを使用することによって、操作命令を転送する必要だけある。加えて、操作命令を受信した後、スマートウォッチは、操作命令に正常応答することもできる。したがって、上記の覚え易い利点に加えて、特に、情報処理デバイスが上記の情報処理装置と端末機能を統合するインテリジェント端末、たとえば、ポータブルインテリジェント端末であるとき、入力の確度を向上させることもできる。スマートウォッチは、ポータブルインテリジェント端末の一例として使用される。スマートウォッチの入力インターフェースは、スマートウォッチの可搬性の故に比較的小さい。例として電話番号を入力することを使用する。指を使用することによって数字1、2、．．．、9、および0が入力されるとき、入力インターフェースが小さいため、通常、数字を正確に入力することができない。しかしながら、本発明のこの実施形態における情報処理方法を使用することによって、各数字は1個の固定された対応するジェスチャ情報を有する。したがって、ユーザが入力することを望む数字は、ユーザのジェスチャ情報を識別することによって正確に特定することができ、それにより、ユーザが情報を正確に入力することができないケースは、かなり低減され、回避さえされる。

図14は、本発明の一実施形態による、情報処理デバイスの概略構造図である。図14に示されたように、情報処理デバイス140は、センサ1401と、プロセッサ1402と、通信装置1403と、メモリ1404と、バス1405とを含む場合がある。

センサ1401、プロセッサ1402、通信装置1403、およびメモリ1404は、バス1405を介して相互通信を完成する。

センサ1401は、ユーザのジェスチャ情報を収集するように構成される。センサ1401は、接触センサ、圧力センサ、または生物静電センサであり得る。センサがユーザの異なるモード有効化ジェスチャ情報およびジェスチャ情報を検出することができるかぎり、センサはこの実施形態において適用することができる。

メモリ1404は、一群のプログラム命令を記憶するように構成される。

メモリは、高速RAMメモリであり得るか、または不揮発性メモリ（non−volatile memory）、たとえば、少なくとも1つの磁気ディスクメモリであり得る。

プロセッサ1402は、
ユーザのモード有効化ジェスチャ情報を取得することであって、モード有効化ジェスチャ情報がセンサによって検出され、次いでプロセッサ1402によって転送される場合がある、取得することと、
モード有効化ジェスチャ情報に対応する入力モードを有効にすることであって、入力モードがキーボード入力モードおよびマウス入力モードを含む、有効にすることと、
入力モードにおいてユーザのジェスチャ情報を取得することであって、ジェスチャ情報がタップジェスチャ情報および／またはスライドジェスチャ情報を含む、取得することと、
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成することと
を行うために、メモリ1404に記憶されたプログラム命令を起動するように構成される。

この実施形態では、ユーザのための複数の入力モードが存在する場合があり、各入力モードは1つのモード有効化ジェスチャに対応する。このようにして、プロセッサ1402は、ユーザによって入力されたモード有効化ジェスチャ情報に従って、ユーザが現在望んでいる入力モードを自動的に識別することができ、それにより、ユーザの使用が容易になる。

キーボード入力モードは、このモードにおいて、ユーザが指の一部をタップすることによって既知のキーボード上の文字を直接トリガできることを示し、文字は、数字、英字、または、固定機能を有する記号、たとえば「＃」キーであり得る。確かに、ユーザにより指の一部をタップまたはトリガするジェスチャ情報と、既知のキーボードの各キーとの間の対応関係を事前構成することが必要とされる。

プロセッサ1402は、中央処理装置（CPU）もしくは特定用途向け集積回路ASIC（Application−Specific Integrated Circuit）であり得るか、または本発明のこの実施形態を実装するように構成された1つもしくは複数の集積回路である。

通信装置1403は、サービス動作タスクにおいてデータを受信するように構成される。通信装置1403は、具体的には、ワイヤレス通信装置またはBluetooth装置であり得るし、その結果、プロセッサ1402によって生成された操作命令が、ワイヤレス通信装置またはBluetooth装置を使用することによって端末に転送され、端末は操作命令に応答することができる。

図15は、本発明の一実施形態による、別の情報処理デバイスの概略構造図である。図15に示されたように、インテリジェント端末150は、センサ1501と、プロセッサ1502と、メモリ1503と、バス1504とを含む場合がある。

センサ1501、プロセッサ1502、およびメモリ1503は、バス1504を介して相互通信を完成する。

センサ1501は、ユーザのジェスチャ情報を収集するように構成される。センサ1501は、接触センサ、圧力センサ、または生物静電センサであり得る。センサがユーザの異なるモード有効化ジェスチャ情報およびジェスチャ情報を検出することができるかぎり、センサはこの実施形態において適用することができる。

メモリ1503は、一群のプログラム命令を記憶するように構成される。

プロセッサ1502は、
ユーザのモード有効化ジェスチャ情報を取得することであって、モード有効化ジェスチャ情報がセンサによって検出される場合がある、取得することと、
モード有効化ジェスチャ情報に対応する入力モードを有効にすることであって、入力モードがキーボード入力モードおよびマウス入力モードを含む、有効にすることと、
入力モードにおいてユーザのジェスチャ情報を取得することであって、ジェスチャ情報がタップジェスチャ情報および／またはスライドジェスチャ情報を含む、取得することと、
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、ジェスチャ情報に対応する操作命令を生成することと、
操作命令に応答することと
を行うために、メモリ1503に記憶されたプログラム命令を起動するように構成される。

この実施形態では、ユーザのための複数の入力モードが存在する場合があり、各入力モードは1つのモード有効化ジェスチャに対応する。このようにして、プロセッサ1502は、ユーザによって入力されたモード有効化ジェスチャ情報に従って、ユーザが現在望んでいる入力モードを自動的に識別することができ、それにより、ユーザの使用が容易になる。

プロセッサ1502は、中央処理装置CPUもしくは特定用途向け集積回路ASIC（Application−Specific Integrated Circuit）であり得るか、または本発明のこの実施形態を実装するように構成された1つもしくは複数の集積回路である。

情報処理デバイスは、端末に統合される。したがって、ユーザのジェスチャ情報を取得し、対応する操作命令を生成することの後に、プロセッサは、ワイヤレス通信モジュールまたはBluetoothモジュールを使用することによって、ポータブルインテリジェント端末に操作命令を転送する必要はないが、ポータブルインテリジェント端末内部の通信ラインを使用することによって、操作命令を転送する必要だけある。加えて、操作命令を受信した後、ポータブルインテリジェント端末のプロセッサは、操作命令に正常応答することもできる。加えて、情報処理デバイスが上記の情報処理装置と端末機能を統合する情報処理デバイス、たとえば、ポータブルインテリジェント端末であるとき、入力の確度を向上させることもできる。

本明細書内の実施形態は、すべて順次方式で記載され、実施形態内の同じまたは同様の部分について、これらの実施形態に対して参照が行われる場合があり、各実施形態は他の実施形態との差異に焦点を当てる。実施形態において開示された装置は、基本的に、実施形態において開示された方法と同様であり、したがって、簡単に記載され、関連する部分の場合、方法の部分的な説明に対して参照が行われる場合がある。

本明細書では、第1および第2などの関係語は、あるエンティティまたは動作を別のエンティティまたは動作から区別するために使用されるにすぎず、必ずしもこれらのエンティティまたは動作の間にいずれかの実際の関係または順番が存在することを必要としないか、または意味しないことにさらに留意されたい。その上、「含む」、「含む」という用語、またはそれらの任意の他の変形態は、非排他的包含をカバーするものであり、そのため、要素のリストを含むプロセス、方法、物品、またはデバイスは、それらの要素を含むだけでなく、明確に列挙されていない他の要素も含むか、またはそのようなプロセス、方法、物品、もしくはデバイスに固有の要素をさらに含む。「．．．を含む」の「．．．」に当たる要素は、多くの制約がなく、その要素を含むプロセス、方法、物品、またはデバイス内のさらなる同一の要素の存在を排除しない。

本明細書において開示された実施形態と組み合わせて、方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはそれらの組合せによって実施される場合がある。ソフトウェアモジュールは、ランダムアクセスメモリ（RAM）、メモリ、読取り専用メモリ（ROM）、電気的プログラマブルROM、電気的消去可能プログラマブルROM、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当技術分野でよく知られている任意の他の形態の記憶媒体において構成される場合がある。

開示された実施形態は、当業者が本発明を実施または使用することを可能にするために、上記において記載されている。実施形態に対する様々な修正が当業者には明らかであり、本明細書において定義された一般原理は、本発明の趣旨または範囲から逸脱することなく、他の実施形態に実装することができる。したがって、本発明は、本明細書に記載された実施形態に限定されず、本明細書において開示された原理および新規性と一致する最も広い範囲にまで及ぶ。

80 情報処理装置
801 第1の取得モジュール
802 モード有効化モジュール
803 第2の取得モジュール
804 命令生成モジュール
901 取得サブモジュール
902 計算モジュール
903 ジェスチャ特定モジュール
100 情報処理装置
1001 命令転送モジュール
110 情報処理装置
1101 第1の入力有効化モジュール
1102 第1のジェスチャ取得モジュール
1103 第1の命令生成モジュール
120 情報処理装置
1201 第2の入力有効化モジュール
1202 第2のジェスチャ取得モジュール
1203 第2の命令生成モジュール
140 情報処理デバイス
1401 センサ
1402 プロセッサ
1403 通信装置
1404 メモリ
1405 バス
150 インテリジェント端末
1501 センサ
1502 プロセッサ
1503 メモリ
1504 バス

Claims

ユーザのモード有効化ジェスチャ情報を取得するステップと、
前記モード有効化ジェスチャ情報に対応する入力モードを有効にするステップであって、前記入力モードがキーボード入力モードおよびマウス入力モードを含む、ステップと、
前記入力モードにおいて前記ユーザのジェスチャ情報を取得するステップであって、前記ジェスチャ情報がタップジェスチャ情報および／またはスライドジェスチャ情報を含む、ステップと、
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記ジェスチャ情報に対応する操作命令を生成するステップと
を含む、情報処理方法。
前記入力モードが前記キーボード入力モードであるとき、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在し、
前記入力モードにおいて前記ユーザのジェスチャ情報を取得する前記ステップが、前記キーボード入力モードにおいて、前記ユーザにより前記人差し指、前記中指、前記薬指、および前記小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得するステップを含み、
それに対応して、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記ジェスチャ情報に対応する操作命令を生成する前記ステップが、
タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記タップジェスチャ情報に対応する操作命令を生成するステップ
を含む、請求項1に記載の情報処理方法。
前記入力モードが前記マウス入力モードであるとき、前記入力モードにおいて前記ユーザのジェスチャ情報を取得する前記ステップが、
前記マウス入力モードにおいて、前記ユーザの人差し指、中指、薬指、および小指の上でスライドするスライドジェスチャ情報、ならびに／または指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得するステップ
を含み、
それに対応して、ジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記ジェスチャ情報に対応する操作命令を生成する前記ステップが、
スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記スライドジェスチャ情報および／または前記タップジェスチャ情報に対応する操作命令を生成するステップ
を含む、請求項1に記載の情報処理方法。
前記スライドジェスチャ情報がマウスポインタの動き追跡情報に対応し、前記タップジェスチャ情報が左または右のマウスボタンのトリガ情報に対応する、請求項3に記載の情報処理方法。
前記モード有効化ジェスチャ情報に対応する入力モードを有効にする前記ステップが、
前記モード有効化ジェスチャ情報が前記ユーザの人差し指、中指、薬指、および小指を伸ばすジェスチャに対応するとき、前記キーボード入力モードを有効にするステップと、
前記モード有効化ジェスチャ情報が前記ユーザの手のひらの方へ前記人差し指、前記中指、前記薬指、および前記小指を丸めるジェスチャに対応するとき、前記マウス入力モードを有効にするステップと
を含む、請求項1に記載の情報処理方法。
前記モード有効化ジェスチャ情報または前記ジェスチャ情報が、前記ユーザの手首または手のひらに配置されたセンサによって検出される、請求項1に記載の情報処理方法。
ユーザのモード有効化ジェスチャ情報を取得する前記ステップ、または前記入力モードにおいて前記ユーザのジェスチャ情報を取得する前記ステップが、
前記ユーザの前記手首または前記手のひらに配置された前記センサが前記ユーザの入力モード有効化ジェスチャ動作またはジェスチャ動作を検出するとき、前記手首または前記手のひらの各部の圧力値を取得するステップと、
前記圧力値に従って、前記ユーザの前記手首または前記手のひらの上の前記センサの変位値を決定するステップと、
前記変位値に従って、前記ユーザによって入力されたモード有効化ジェスチャ情報を特定するステップと
を含む、請求項6に記載の情報処理方法。
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記ジェスチャ情報に対応する操作命令を生成する前記ステップの後に、前記方法が、
端末が前記操作命令に応答するように、前記端末に前記操作命令を送信するステップ
をさらに含む、請求項1から7のいずれか一項に記載の情報処理方法。
キーボード入力モードに入ったことを確認するステップであって、前記キーボード入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在する、ステップと、
前記ユーザにより前記人差し指、前記中指、前記薬指、および前記小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得するステップと、
タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記タップジェスチャ情報に対応する操作命令を生成するステップと
を含む、情報処理方法。
マウス入力モードに入ったことを確認するステップと、
人差し指、中指、薬指、および小指の上のユーザのスライドジェスチャ情報、ならびに／または、前記ユーザにより前記人差し指、前記中指、前記薬指、および前記小指の指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得するステップと、
スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記スライドジェスチャ情報および／または前記タップジェスチャ情報に対応する操作命令を生成するステップと
を含む、情報処理方法。
前記スライドジェスチャ情報がマウスポインタの動き追跡情報に対応し、前記タップジェスチャ情報が左または右のマウスボタンのトリガ情報に対応する、請求項10に記載の情報処理方法。
ユーザのモード有効化ジェスチャ情報を取得するように構成された第1の取得モジュールと、
前記モード有効化ジェスチャ情報に対応する入力モードを有効にするように構成されたモード有効化モジュールであって、前記入力モードがキーボード入力モードおよびマウス入力モードを含む、モード有効化モジュールと、
前記入力モードにおいて前記ユーザのジェスチャ情報を取得するように構成された第2の取得モジュールであって、前記ジェスチャ情報がタップジェスチャ情報および／またはスライドジェスチャ情報を含む、第2の取得モジュールと、
ジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記ジェスチャ情報に対応する操作命令を生成するように構成された命令生成モジュールと
を備える、情報処理装置。
前記入力モードが前記キーボード入力モードであるとき、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に12対1の対応関係が存在し、前記第2の取得モジュールが、具体的に、
前記キーボード入力モードにおいて、前記ユーザにより前記人差し指、前記中指、前記薬指、および前記小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得すること
を行うように構成される、請求項12に記載の情報処理装置。
前記入力モードが前記マウス入力モードであるとき、前記第2の取得モジュールが、具体的に、
前記マウス入力モードにおいて、前記ユーザの人差し指、中指、薬指、および小指の上でスライドするスライドジェスチャ情報、ならびに／または指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得すること
を行うように構成される、請求項12に記載の情報処理装置。
前記スライドジェスチャ情報がマウスポインタの動き追跡情報に対応し、前記タップジェスチャ情報が左または右のマウスボタンのトリガ情報に対応する、請求項14に記載の情報処理装置。
前記モード有効化モジュールが、
前記モード有効化ジェスチャ情報が前記ユーザの人差し指、中指、薬指、および小指を伸ばすジェスチャに対応するとき、前記キーボード入力モードを有効にするように構成された第1のモード有効化モジュールと、
前記モード有効化ジェスチャ情報が前記ユーザの手のひらの方へ前記人差し指、前記中指、前記薬指、および前記小指を丸めるジェスチャに対応するとき、前記マウス入力モードを有効にするように構成された第2のモード有効化モジュールと
を備える、請求項12に記載の情報処理装置。
前記モード有効化ジェスチャ情報または前記ジェスチャ情報が、前記ユーザの手首または手のひらに配置されたセンサによって検出される、請求項12に記載の情報処理装置。
前記第1の取得モジュールまたは前記第2の取得モジュールが、
前記ユーザの前記手首または前記手のひらに配置された前記センサが前記ユーザの入力モード有効化ジェスチャ動作またはジェスチャ動作を検出するとき、前記手首または前記手のひらの各部の圧力値を取得するように構成された取得サブモジュールと、
前記圧力値に従って、前記ユーザの前記手首または前記手のひらの上の前記センサの変位値を決定するように構成された計算モジュールと、
前記変位値に従って、前記ユーザによって入力されたモード有効化ジェスチャ情報を特定するように構成されたジェスチャ特定モジュールと
を備える、請求項17に記載の情報処理装置。
端末が前記操作命令に応答するように、前記端末に前記操作命令を送信するように構成された命令転送モジュール
をさらに備える、請求項12から18のいずれか一項に記載の情報処理装置。
システムがキーボード入力モードに入ったことを確認するように構成された第1の入力有効化モジュールであって、前記キーボード入力モードにおいて、ユーザの人差し指、中指、薬指、および小指の12個の指の関節または指の節骨と、12キーのキーパッドの12個のキーとの間に1対1の対応関係が存在する、第1の入力有効化モジュールと、
前記ユーザにより前記人差し指、前記中指、前記薬指、および前記小指の任意の指の関節または指の節骨をタップするタップジェスチャ情報を取得するように構成された第1のジェスチャ取得モジュールと、
タップジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記タップジェスチャ情報に対応する操作命令を生成するように構成された第1の命令生成モジュールと
を備える、情報処理装置。
システムがマウス入力モードに入ったことを確認するように構成された第2の入力有効化モジュールと、
人差し指、中指、薬指、および小指の上のユーザのスライドジェスチャ情報、ならびに／または、前記ユーザにより前記人差し指、前記中指、前記薬指、および前記小指の指の関節もしくは指の節骨をタップするタップジェスチャ情報を取得するように構成された第2のジェスチャ取得モジュールと、
スライドジェスチャ情報および／またはタップジェスチャ情報と操作命令との間のプリセット対応関係に従って、前記スライドジェスチャ情報および／または前記タップジェスチャ情報に対応する操作命令を生成するように構成された第2の命令生成モジュールと
を備える、情報処理装置。
請求項12から19のいずれか一項に記載の情報処理装置を備えるか、請求項20に記載の情報処理装置を備えるか、または請求項21に記載の情報処理装置を備える、情報処理デバイス。
請求項12から21のいずれか一項に記載の情報処理装置を備える、インテリジェント端末。