JP2013525891A - ユーザのタッチジェスチャを判別する方法及びデバイス - Google Patents

Abstract

本発明は、デバイス、特にタッチ感知デバイス、更にはシングルタッチ配置システムに基づく特性を用いる、ズーム、回転、フリックなどのジェスチャを認識するように構成されたシングルタッチ感知デバイスに関する。本発明は、一度に一つのシングルポイントを認識できるシングルタッチ感知デバイスなどを備えるローエンドデバイス内の、ズーム、回転、フリックなどのジェスチャを認識／特定する方法にも関する。

Description

本発明は、インターアクションサーフェス、及び、タッチイベントを分析する手段を含むタッチ感知デバイス内で、ズーム、回転若しくはフリックなどの、ユーザのタッチジェスチャを判別する方法に関する。

タッチ感知デバイスのインターアクションサーフェス上へのタッチジェスチャは、ユーザが或る期間直接的に若しくは間接的にタッチ感知デバイスにタッチし、同時にインターアクションサーフェスに亘って通常移動する、連続タッチに関連する。ユーザのタッチジェスチャを判別できるそのようなデバイスは、周知である。精緻なタッチジェスチャを認識するオぺレーテイングシステムは、マルチタッチ感知機能を伴うタッチ感知インターフェースを有する、通常の集積デバイスである。オペレーテイングシステムはマルチタッチ能力を要求する。というのは、選択、ブラウズ、ハイライト、更にはズーム、回転などの、複数の複雑なジェスチャは、例えば、ズーム等の、これらのジェスチャの幾つかに対して、タッチ感知デバイスのインターアクションサーフェスにおいて同時に２つのフィギュアを動かすことに関連する、タッチイベントから判別される必要があるからである。しかしながら、このようなマルチタッチ能力を有することは、デバイスのコストを相当に増加させるものであり、従って、通常、ハイエンドサービスのために確保されるものである。

従って、市況ではあまり精緻なタッチスクリーンソリューションを利用するものでないローエンドデバイスにも実装され得るような、簡素化されたユーザのタッチジェスチャを判別する方法及びデバイスを提供することが、本発明の目的である。

前記目的は、請求項１に係る方法、及び、請求項１８に係るデバイスにより、達成される。

インターアクションサーフェス、及び、継続シングルタッチのイベント若しくは継続マルチタッチのタッチイベントの、シングルタッチポイントの位置を分析できるに過ぎない手段を含む、タッチ感知デバイスで、ユーザのタッチジェスチャを判別する本発明に係る方法は、
ａ）ユーザのタッチジェスチャの際、インターアクションサーフェス上で少なくとも一つの継続タッチイベントの、複数の継続タッチポイント座標を判別するステップと、
ｂ）ステップａ）で判別されるタッチポイント座標間の所定の関係に基づいて、所定のシングルタッチのパターン、若しくは、マルチタッチのタッチパターンを判別するステップと、
ｃ）ステップｂ）で判別されるタッチパターンに対応する所定のアクションを決定するステップと
を含む。

本発明に係る方法により、シングルタッチ感知機能を用いて一度に一つのタッチのみを分析できるに過ぎなくとも、複数のタッチポイントの配置の間の位置的及び／又は時間的関係を利用してマルチタッチの性能をシミュレートすることも可能となる。結果として、ローエンドアプリケーションでも、利用するシングルタッチ技術によりマルチタッチの解決策と対比してデバイスのコストがより低く保持され得るので、ズームのようなより複雑なジェスチャに対して断念をしなくてもよい。インターアクションサーフェス上でユーザが複数の指を用いるとしても、ステップｂ）で判別されるタッチポイントインターアクション座標が、軌跡間に割り振られる。

この場合、「タッチイベント」の用語は、タッチ感知インターアクションサーフェスとのユーザのインターアクションに関する。それは、サーフェス上の単純なタップでも、滑動動作でも、保持動作でも、又は、少なくとも二本の指若しくはスタイラスが同時にインターアクションサーフェスと相互作用するマルチタッチイベントでもよい。「継続（連続９タッチイベント」は、例えば、インターアクションサーフェス上でのユーザの一本若しくはそれ以上の指の、滑動動作若しくは保持動作に関する。「タッチポイント座標」の用語は、分析手段により判別されるタッチイベントの軌跡上における一つのポイントの配置の座標に関する。

本発明の方法のステップａ）は、所定の間隔、特に４００〜８００ミリ秒の間隔で実行され得る。本発明の方法のステップｂ）は、所定のタッチポイント座標の数が最小限の閾値より大きく、及び／又は、少なくとも二つのタッチポイント座標の間の距離が所定の値より大きいならば、ステップｂ）が実行され得る。よって、ステップｂ）における分析に入る前に、タッチイベントがジェスチャに実効的に関連しこれにより計算パワーを減少できるか否かが判別される。実際に、タッチポイント座標の数が小さ過ぎる、若しくはタッチ配置座標の間の距離が小さ過ぎるならば、ユーザのタッチイベントは複雑なジェスチャに関連し得るのではなく、インターアクションサーフェス上の単純なタップに関連し得る。

本発明の方法のステップｂ）は、タッチポイント座標が基本的にライン上にあるのか否かを分析するステップを含むのが好ましい。そのようなアルゴリズムを行うことは、線形回帰のように、ステップａ）で判別されるタッチポイント座標に適用される。タッチポイント座標がライン上に位置するならば、一本若しくは二本の指がインターアクションサーフェス上にアーク形状のタッチイベントを描く、回転のような、複数の複雑なジェスチャは、複雑な分析の必要なく、排除され得る。

ステップｂ）が、所定の数の、継続して判別されたタッチポイント座標が以下の数１の関係を満たすかどうかを判別することにより、タッチポイント座標が基本的にライン上に位置するかどうかを特定するステップを含み、
〔数１〕
ｙ_ｉ＝ａｘ_ｉ＋ｂ±△、又は、ｘ_ｉ＝ｃ±△
ここで、ｙ_ｉ及びｘ_ｉは、所定の数の、継続タッチポイント座標におけるタッチiのタッチポイント座標に対応し、ａは特に整数である第１の定数であり、ｂは第２の定数であり、ｃは第３の定数であり、Δは第４の定数であり、ａは、所定の数の様々な離散値に限定され、所定の数は特に５０より少なく、更に特に１０より少なく、また更に特に５より少ない。この種のデータ分析のため、分析を実行するのに必要な電子機器が簡素となり得るように計算量は低く保持され得る。利用可能な計算パワーを最適化するために、異なる値の量は、２のべき乗、例えば、４、８、１６、若しくは３２などである。

本発明では、ローエンドプロセッサにより数式が容易に処理され得るように、少ない数の所定値のみを利用することが好ましい。パラメータａとして、０及び±１のうちの一つ、又は、０、±１／２、±１、及び±２のうちの一つを用いることにより、システムはせいぜい４タイプ若しくは８タイプの線形ジェスチャを特定することができ、それら線形ジェスチャは、上下、左右、並びに斜め左及び斜め右であり、第２の変形例では、これらの方向間の一つの更なる分解された線形の方向を伴う。しかしながら、大抵の利用例では、これで十分である。よって、分析は更に簡素化され得る。よって、ローエンドアプリケーションであっても、タッチ感知デバイスに対して線形ジェスチャ特定能力を与えることができる。

ステップｂ）において、タッチポイント座標がライン上に位置することが判別されるならば、本発明に係る方法が、二つの基本的に線形の、特に同時の、異なる方向を伴う軌跡が継続タッチイベント内で特定されるか否か分析することにより継続タッチイベントがマルチタッチのイベント、特にズームイベントに関連するか否かを判別する更なるステップｂ１）を含み得る。シングルタッチ機能のみがタッチポイント座標を取得するのに用いられるとしても、それにもかかわらず、種々の座標の複数のタッチポイント間の関係の方向特性を見ることにより、二本の指のズームアクションをシミュレートすることができる。この場合の「同時」の用語は、一本の指が単に一方向に動き続いて別の方向に動く動作に関して、区別をすることができるように、同時にインターアクションサーフェス上で、例えば二本の指に帰することができる、二つの軌跡の存在に関連する。

ステップｂ１）が更に、増加から減少の座標ｘ_i及び／若しくはｙ_iの、少なくとも一つの、好ましくは一つ以上の、転換、並びに／又は、減少から増加の座標ｘ_i及び／若しくはｙ_iの、少なくとも一つの、好ましくは一つ以上の、転換が、判別されるならば、継続タッチイベントはマルチタッチのタッチイベントに関連すると決定するステップを含むのが好ましい。そのような転換の観察は、シングルタッチ分析能力のみを用いてマルチタッチジェスチャを特定する、容易なしかし信頼性のある方法である。

方法は、タッチポイント座標の対に対するベクトルを決定するステップを含み、ベクトルの始点が、ベクトルの終点と対比して、継続タッチイベント内のより早いタッチポイントのタッチポイント座標と関連してもよい。更に、ステップｂ１）が、ベクトルの対のスカラ積を判別し、反対の符号のスカラ積が判別されたときマルチタッチのイベントが発生したと決定するステップを、含んでもよい。ベクトル間の特性を分析することにより、シングルタッチ分析能力のみを用いるマルチタッチジェスチャの特定が、可能となる。

発明の実施形態において、ステップｂ）にて、タッチポイント座標がライン上に位置することが判別されるとき、ステップｂ）が、第１のタッチポイントのタッチポイント座標がラインの先端におけるタッチポイント座標により規定されるラインの内部に位置するならば、マルチタッチのタッチイベントがズームイベントに関連すると判別し、第１のタッチポイントのタッチポイント座標がタッチポイント座標により規定されるラインの先端に位置するならば、マルチタッチのタッチイベントがズームアウトイベントに関連すると判別し、ステップｃ）にてズームイン若しくはズームアウトに帰するステップｂ２）を含む。ズームイン、ズームアウトジェスチャの幾何学的特性を利用して、シングルタッチ分析手段を用いて判別される一連のタッチポイント座標から二つのジェスチャのうちの一つを特定する。

ステップｂ）は、タッチポイント座標がアーク形状の軌跡を追随するか否かを分析するステップを含み得る。タッチポイント座標がアーク形状の軌跡を追随するならば、継続タッチイベントが回転イベントに関連するとしてもよい。

ステップｂ）は、タッチポイント座標の対に対するベクトル、特に、直接に連続するタッチポイント座標のタッチポイントの全ての対に対するベクトルを判別するステップを含んでもよく、ここで、ベクトルの始点は、ベクトルの終点と対比して継続タッチイベント内のより早い時期のタッチポイントのタッチポイント座標と関連する。ここで、「直接に連続する」は時間ドメインに関連し、よって、第２の変形例では、ベクトルは、配置ｔ_ｉの第１のタッチポイントと、タイムスタンプｔ_ｉ＋１の次のタッチポイントとに対して、決定される。所得したベクトル情報、特にベクトルの方向に基づいて、過度の計算パワーを必要とすること無く、ステップｂ）にてジェスチャが特定され得る。

本発明の方法は、連続する所定の数のベクトル間の角度を加算するステップを含んでもよく、合計が所定の閾値を超えれば、ステップｃ）にて回転アクションに帰せられる。回転アクションは、角度合計に比例するものでも、所定値となるものでもよい。よって、ベクトル特性に基づいても、シングルタッチ機能のみを用いて複雑なジェスチャを特定することが可能である。

合計が第１の閾値を超える場合には正の向きの回転アクションに帰され、合計が第２の閾値を下回る場合には負の向きの回転アクションに帰されてもよい。

ステップｂ）が、タッチポイントの位置ｉとｉ＋２との間の距離ｄ１_i、及び、タッチポイントの位置ｉ＋１とタッチポイントの位置ｉ、ｉ＋２により規定されるラインとの間の距離ｄ２_iを測定し、所定の数の継続タッチポイントの配置に対して、ｄ１_ｉ／ｄ２_ｉ＝ｄ±Δ及び／又はｄ１_ｉ＊ｄ１_ｉ／ｄ２_ｉ＝ｅ±Δであるならば、タッチイベントがアーク形状の軌跡であると決定するステップを含んでもよい。ここで、ｉ、ｉ＋１、及びｉ＋２は、三つの継続タッチポイントの位置を示し、ｄ及びｅは定数であり、Δは所定のパラメータである。この方法は、アーク形状のジェスチャを分析する簡素なしかし安定的なやり方を示すものであり、よって、過度の計算パワーを必要としない。

別途の実施形態によると、タッチポイント座標の選択のみがアーク形状のジェスチャを特定するのに用いられる。更に、アーク形状のジェスチャは、（ｘ_i−ｘ_i+1）と（ｙ_i−ｙ_i+1）の間の比率を計算し値を合計することで分析されるのが好ましい。このように見積もられる全ての角度が同じ符号を有する場合のみ、回転が決定される。

タッチポイント座標がライン上に位置するならば、本発明に係る方法は、線形軌跡で一つの方向が特定される場合にのみ継続タッチイベントがフリックイベントに関連すると決定してもよい。よって、ズーム操作若しくは回転アクションが無い場合には、更なる線形のジェスチャを利用して、例えば一つのスクリーンから次にシフトできる。

本発明は、本発明に係る方法のステップを実行するコンピュータ実行可能な命令を有する一つ若しくはそれ以上のコンピュータ読み取り可能媒体を含む、コンピュータプログラムプロダクトにも関する。

本発明は、タッチ感知インターアクションサーフェス、一度に一つのタッチポイントの配置を特定できるに過ぎない、該サーフェス上のインターアクションの配置を判別する手段、及び、本発明係る、インターアクションサーフェス上の継続タッチイベントの連続するタッチポイントの配置を分析する手段を含む、タッチ感知デバイスにも関連する。このデバイスにより、本発明の方法及びその変形例の利点が達成され得る。

タッチ感知デバイスでは、タッチポイント座標は、音響信号の分析に基づいて、決定されるのが好ましい。分解能は通常計算パワーによってのみ限定されるので、インターアクションサーフェスを屈曲波として伝搬する音響信号の特定に基づく音響技術は特に有利である。よって、所与のデバイス内で利用可能なパワーによって、軌跡内部で決定され得るタッチポイント座標の数は増えることも減ることも有り得るが、シングルタッチ機能により、分析される軌跡から複雑なジェスチャを決定できる可能性が緩むことはない。

本発明に係るタッチ感知デバイスの実施形態を示す。 本発明に係るユーザのタッチジェスチャを判別する方法を示す。 タッチポイント配置がライン上に位置するかどうかを判別する本発明に係る方法を示す。 本発明に係るマルチタッチイベントの分析を示す。 本発明の実施形態に係るズームインイベントを示す。 本発明の実施形態に係るズームアウトイベントを示す。 本発明の実施形態に係る、分析されたローテーションイベントを示す。 変形例に係る、分析されたローテーションイベントを示す。

本発明の有利な実施形態は、添付の図面に関連して記載される。

図１に示すように、例えば、携帯電話、電子ブック、MP3プレーヤ、コンピュータや他の電子デバイスのためのスクリーン等の、家電デバイスのような、発明に係るタッチ感知デバイス１は、タッチ感知インターアクションサーフェス３、及び該サーフェス３上のタッチイベントの配置を判別するための判別手段５を含む。本発明においては、判別手段５は、シングルタッチ配置確定システムを用いて同時に一つのタッチポイントの配置を特定することのみができる。タッチ感知デバイス１は更に、継続タッチイベントに関する連続タッチポイント配置を分析してインターアクションサーフェス３上でのデバイス１のユーザのジェスチャを判別する分析手段７を含む。タッチポイント配置は、タッチイベント後タッチ感知インターフェース３内を屈曲波として伝搬して、少なくとも一つのトランスデユーサ（ここでは２つ、９a、９b）、例えば、圧電トランスデユーサを用いて電気信号に変換される、音響信号の分析により、判別される。

しかしながら、本発明は、音響タッチ配置判別技術に限定されるものではなく、本発明においては容量若しくは表面音響も用いられ得る。ジェスチャが特定されると、分析手段７は、対応するアクションを、ズームイン若しくはズームアウト、又はローテーションアクションのような、ユーザのジェスチャに帰した上で、そのアウトプット１１を介して対応する命令を出力できる。

本発明によりジェスチャが特定される、図１に示すタッチ感知デバイス１により用いられる方法は、図２に示される。

本発明に係る方法のステップ２１では、一つ若しくはそれ以上の指を用いる、ユーザによるインターアクションサーフェス３上への、少なくとも一つの連続タッチイベント、例えば、スライデイングアクションの、複数の連続タッチポイント座標は、判別手段５により判別される。ステップ２１は、インターアクションサーフェス３上でユーザにより実現されるジェスチャの通常の期間に対応する、所定の期間、特に、４００−８００ミリ秒、特に少なくとも６００ミリ秒の期間で、実行される。

本発明に係る方法のステップ２３では、判別されたタッチポイント座標は分析手段７により分析される。分析ステップは、タッチポイント座標により形成される軌跡を特定して特徴付ける。好適な変形例では、このステップは、所定の期間に取得される、判別されたタッチポイント座標の数が最小限の閾値より大きい場合のみ、実行される。このことにより、ジェスチャタイプインプットがユーザにより与えられたことが実際に保証される。更なる変形例では、ジェスチャタイプインプットがユーザにより与えられたことを保証する程度に、少なくとも二つのタッチポイント座標の間の距離が所定の値より大きい場合のみ、ステップ２３が実行される。実際に、タッチポイント座標のクラウドが所定の値の範囲内にあれば、ユーザは同じ配置を複数回ヒットしている、若しくは、一つの配置でホールドアクションをしていることになる。最小限の閾値は、４タッチの値とすることができ、所定の値は、スクリーンの対角線のサイズの１パーセントの値とすることができる。

上記方法のステップ２５では、タッチポイント座標が基本的にライン上に位置するか否かが、分析手段７により決定される。

図３は、タッチポイント座標が基本的にライン上に位置するか否かを特定するのに用いられるプロセスを示す。

図３は、インターアクションサーフェス３及び座標軸ｘ、ｙを示す。更に、４つの異なる連続タッチイベントに対応する、４つの異なる軌跡５１、５３、５５、５７が示される。請求項１のステップa)において、個々の軌跡５１、５３、５５、５７に対して、複数の継続タッチポイント座標が、図１に示す分析手段７により判別される。図３においては、種々のタッチポイントのタッチポイント座標は、軌跡５１に対してはドットにより表され、軌跡５３に対しては符号「＋」により表され、軌跡５５に対しては三角で表され、軌跡５７に対しては符号「＊」により表されている。

データ分析を実行するために、分析手段７は、タッチポイント座標が次の関係を満足するかどうかを分析するように構成されている。
〔数２〕
ｙ_ｉ＝ａｘ_ｉ＋ｂ±△、又は、ｘ_ｉ＝ｃ±△

ここで、ｙ_ｉとｘ_ｉは、所定数の継続タッチポイント座標のタッチポイントｉのタッチポイント座標に対応し、ａは、特に整数の、第１の定数であり、ｂは第２の定数であり、ｃは第３の定数であり、△は第４の定数であり、それらはｘとｙとで異なってもよい。△は、シングルタッチ配置システムの精密さに通常連結する。システムの精密さが優れるほど、Δは低くなり得る。

この実施形態では、データ分析のために必要な計算能力をできるだけ低く保持するために、ａに対する３つの値のみが判別手段により分析される。この実施形態では、ａは０、＋１、及び−１に限定される。もちろん、パラメータａは、異なる値も取り得、更に例えば１０や５０の異なる値も取り得るが、大抵の利用例では、これら４つの方向の一つを特定できれば十分である。更に好適な実施形態によると、ａは、０、±１／２、±１、及び±２の値を取り得る。よって、この変形例でのシステムは、８個の線形方向に分解するように構成されている。図３における状況と対比して、図３に示す４方向に対して更なる線形方向も、システムにより特定され得る。

前述の実施形態とは別の実施形態においては、線形軌跡が存在するかどうかの分析は、ステップ２１で判別されるタッチポイント座標上に線形方程式を適合することによっても、達成され得る。

図３に示すように、タッチポイント座標が基本的にライン上に位置するならば、本発明に係る方法のステップ２７は、継続タッチイベントがズームイベントに対応するかどうかを評価する。

このステップの間、タッチポイント座標の対に対するベクトル、特に、ベクトルの始点
がベクトルの終点よりもより早いタッチポイントに常に関連する、タッチポイントの全ての対に対するベクトルや、ライン上の直接に継続するタッチポイント座標に対するベクトルが、判別される。更に、ベクトル間で得られるスカラ積の符号に基づいて、ズームジェスチャがユーザにより為されたかどうかが判別される。実際に、２つのベクトルに対するスカラ積の符号で変動が観られる場合は、対向する引っ張り方向を伴う２つの線形軌跡が生じていたことに間違いはなく、これにつきスカラ積を用いて特定される。

この状況は図４に示されており、図４はタッチポイント６１〜６８の継続タッチイベントを示しており、そのタッチイベントは基本的にラインに追随している。この継続タッチイベントは判別手段５により順に判別されたものである。タッチポイント６１〜６８に基づいて、直接に継続するタッチポイント間の、複数の対応ベクトル７１〜７７が形成され得る。スカラ積７１・７２、７２・７３、７４・７５、及び７５・７６は負符号を有し、一方で、スカラ積７３・７４、及び７６・７７は正符号を有する。負符号を伴うスカラ積の存在は、マルチタッチのタッチイベントが生じたに違いないということを特定する、簡素な、しかし信頼性のある方法である。

実際、負符号を伴うスカラ積に対しては、始点と終点が異なる軌跡に属さなければならないことは明白である。いくつかの符号の変動が観られるという事実は、この認定を確認するものである。

よって、この簡素な分析に基づいて、分析手段７は、タッチポイント６１、６３、６６が一つの軌跡を形成し、タッチポイント６２、６４、６５、６７が別の軌跡を形成することを、特定できるであろう。

基本的には同時に発生しているが異なる方向を有する２つの軌跡の存在は、更に、タッチイベントがマルチタッチのタッチイベントに関連することを示している。よって、一度に一つのタッチを分析できるに過ぎない判別手段５を用いて、マルチタッチのタッチジェスチャを特定することが可能である。事実、判別手段５は、同時に発生する２つのタッチイベントのうち一つのタッチポイントを検知できるに過ぎない。判別されたタッチポイントの配置が一つの若しくは他の軌跡に属するかどうかは、任意である。

ベクトルの特性を分析することの代わりに、若しくはそのことに加えて、タッチポイント６１〜６８のｘ及び／又はｙ座標が一つのポイントから他のポイントへ単調に増加するのか若しくは単調に減少するのか、又は、一つ若しくはそれ以上の逆転が観られ得るのか、を分析することにより、マルチタッチのタッチイベントの存在を特定することも可能である。例えば、ポイント６１からポイント６２へは、ｘ及びｙの両方の座標が増加し、ポイント６２からポイント６３へは、両方が減少する。更に、ポイント６３からポイント６４へは、ｘ及びｙの両方の座標が増加するので、逆転が観られる。このように、座標に関する逆転の存在で、分析手段７は、マルチタッチのタッチイベントが生じたことを決定できる。

異なる方向を伴う２つの基本的に線形の軌跡の存在で、ステップ２７において、継続タッチイベントが、例えば、請求項１の（ステップｂに係る）ズームイベントに関連することが、判別され得る。

プロセスにおける次（ステップ２９）では、ズームジェスチャがズームインジェスチャに関するのかズームアウトジェスチャに関するのか、判別される。

ズームインジェスチャの間には、ユーザは、２本の指を離すように動かし、例えば、タッチ感知インターフェース３に横たわるスクリーンに表示される画像を拡大若しくは拡張する。ズームアウトジェスチャの間には、ユーザは、当初それぞれから離れて配置されていた２本の指を共により近づけ、スクリーンに表示される画像を縮小若しくは短縮する。

このために、図５及び図６に示すように、分析手段７は、図５の軌跡８３、及び図６の軌跡９３における、図５のポイント８１、及び図６のポイント９１である、(時間における)第１のタッチポイントの位置、並びに、軌跡における（空間上の）２つの先端、図５の８５と８７、図６の９５と９７を、判別する。２つの先端８３及び８７、並びに、９３及び９７は、それぞれ、相互から最大限の距離を有する２つのタッチポイントに対応する。

第１のタッチポイント８１のタッチポイント座標が、図５のタッチポイント座標８３、８５により規定されるラインの範囲内に位置するならば、ステップ３１内でズームインジェスチャが判別される。この状況はそれぞれに関して２本の指が離れることに対応するからである。従って、ステップ３３において分析手段７によりズームインアクションコマンドが出力される。

更に、第１のタッチポイント９１のタッチポイント座標が、図６のタッチポイント座標９３、９５により規定されるラインの先端に位置するならば、ステップ３１内でズームアウトジェスチャが判別される。２本の指が相互に向かって移動するからである。従って、ステップ３５において分析手段７によりズームアウトアクションコマンドが出力される。

本発明に係る方法を更に改良するために、実施形態の変形例に従って、ステップ２１とステップ２９の間のどこにでも、更なるステップが導入され得る。このステップは、例えば、以下の数３の式を計算することにより、若しくは、より概略には以下の数４の式を計算することにより、２つの継続タッチポイント座標の間の距離を判別することからなる。
〔数３〕

〔数４〕

タッチポイント座標の少なくとも一つに対して、この値が或る所定の値を超えるならば、指が同じ方向に沿って共に移動する、インターアクションサーフェス上の２本の指の平行移動は、排除され得る。更に、マルチタッチのタッチイベントが存在するのであれば、所定の値より小さい距離を有する継続タッチポイントが同じ軌跡に帰するものとなり、この基準を満足しない継続タッチポイントが異なる軌跡に帰するものとなるように、分析手段７は構成され得る。

ステップ２７において線形軌跡にて一つの方向のみが特定されると、ユーザにより線形継続シングルタッチイベントが為されたと、分析手段７は決定する。ステップ３７において、通常はフリックアクションに関連する、対応するアクションコマンドが出力される。

更に、軌跡の方向に依って、左から右へのフリック、右から左へのフリック、上から下へのフリック、若しくは下から上へのフリックは、ステップｃ）の継続タッチイベントに帰することができる。左から右へのフリック、若しくは右から左へのフリックは、例えば、インターアクションサーフェスにおける指の短い水平方向の移動に、つまり、図３の軌跡５３に、対応する。上から下へのフリック、若しくは下から上へのフリックは、例えば、インターアクションサーフェスにおける指の短い垂直方向の移動に、つまり、図３の軌跡５１に、対応する。個別のタッチポイントのタイムスタンプから、軌跡の方向、すなわち、軌跡５１に対する上若しくは下、又は、軌跡５３に対する左若しくは右が、一義的に導出され得る。

ステップ２５において、タッチポイント座標が線形軌跡を形成しないと決定されたら、本実施形態に係るプロセスは、図２のステップ３９に進む。ステップ３９は、タッチイベントの軌跡がアーク形状軌跡に対応するかどうかを判別することから成る。

アーク形状軌跡を特定するために、分析手段７は、本発明に係る以下の方法を適用する。

判別手段５は、ステップ２１において、タッチポイント１０１〜１０８のタッチポイント座標を特定する。分析手段は、ステップ２１において判別される一連のタッチポイント座標に対して、一つのタッチポイントと、次の但し一つ後のタッチポイントとの間の距離ｄ１を、例えば、タッチポイント１０１と１０３との間の距離１１１、タッチポイント１０２と１０４との間の距離１１２、及びタッチポイント１０３と１０５との間の距離１１３を、判別する。次に、距離が既に判別されたタッチポイントの間に挟まれたタッチポイントの間の距離ｄ２、例えば、タッチポイント１０２と、タッチポイント１０１及び１０３により規定されるラインとの間の距離１１４、又は、タッチポイント１０３と、タッチポイント１０２及び１０４により規定されるラインとの間の距離１１５が、判別される。

ステップ２１で判別されるタッチポイント座標に対して、比率ｄ２／ｄ１及び／又は（ｄ２＊ｄ２）／ｄ１が基本的に、定数±所定値Δである場合に、分析手段７はアーク形状軌跡が存在すると決定する。つまり、例えば、許容値Δの範囲内で、１１４／１１１＝１１５／１１２、若しくは、１１４＊１１４／１１１＝１１５＊１１５／１１２であることである。第１の比率は、ジェスチャの角速度に比例する一種の尺度であるが、第２の一つは、アーク形状軌跡の半径に比例する目算を与える。

ステップ４１及び４５は、或る上方の若しくは下方の角閾値が超えられたかどうかを特定することから成り、ステップ４３及び４７にて右への回転若しくは左への回転を命じる。図７に示される、軌跡によりカバーされる角度は、ステップ３９で判別される距離の値を用いて分析手段７によっても、概算され得る。

別例によると、ズームイベント評価におけるように、終点より早い段階のタッチポイント座標に対応する始点を伴う、連続タッチポイント座標の対に対するベクトルは、軌跡がアーク形状軌跡に関連するか否か特定するために判別され得る。

図８に示すように連続ベクトル１２１、１２２、１２３、１２４及び１２５の間の角度は増加され、合計が所定の第１の閾値を超えるならば、ステップ４１において、「右への回転のジェスチャ」がユーザにより為された、と決定される。従って、ステップ４３において、分析手段７は、対応するアクションコマンドを出力する。

角度の合計が第１の閾値より小さい場合には、本発明に係る方法は、ステップ４５において、合計が第２の閾値より小さいかどうかチェックし、小さい場合には、ユーザは「左への回転のジェスチャ」を為したことになり、よって分析手段７は、ステップ４７において対応するアクションコマンドを出力する。

最終的には、プロセスは、全ての角度が同じ符号を有するかどうかをチェックする検証ステップを含んでもよい。

更なる別途例においては、例えば、プリンタ、スキャナなどの周辺機器のための、高解像度を必要としない小サイズのスクリーンが用いられる場合に特に興味深い、以下の簡素化された概算を用いて、アーク形状ジェスチャが特定される。

この別途例においては、ステップ２１で特定される、数個のみのタッチポイント、例えば、３〜５個のタッチポイントが、分析ステップ３９のめに用いられる。固定された間隔のタッチポイントが選ばれてもよい。

選択されたタッチポイントのｘ、ｙ座標を用いて、この選択と離脱の２つの連続するポイント間の角度は、（ｘ_i−ｘ_i+1）と（ｙ_i−ｙ_i+1）の間の比率を計算することで、見積もられる。結局、第２の選択のステップが実行され、所定の量の固定角、例えば、１６の様々な値からの一つを、見積もり角、例えば、見積もり角に最も近いものに、帰することになる。

角度の合計が前述の第１の閾値より大きい、又は、前述の第２の閾値より小さいものであり、更に、全ての角度が同じ符号を有するならば、分析手段７は、回転を有効にする。

このようにして、アーク形状ジェスチャにより覆われる角度の範囲を特定するのに必要な計算パワーは、三角関数の式を適用する必要が無いので、更に減少され得る。

ステップ４３若しくは４７の際に出力される回転コマンドは、例えば、９０度回転の、固定角に関するものであるか、若しくは、更なる閾値が交差するならば段階的なものの、いずれかであるが、合計と比例してもよい。第１の閾値に対する通常の値は、少なくとも９０度より大きく、第２の閾値に対する通常の値は、少なくとも−９０度より小さい。

ステップ３９にて、アーク形状の軌跡が検出されなければ、ステップ４９にて、ズーム、回転若しくはフリックのジェスチャが存在しなかった、と決定される。ステップ４１及びステップ４５にて判別された角度の合計が２つの閾値の間に位置する場合には、同じ決定が為される。

本発明は、図２から図７に関して記載した方法に限定されるものではなく、他のコマンドアクションも種々のアクションに帰することが可能であり、及び／又は、方法も、幾つかのジェスチャにのみ、例えば、ズーム及び／又は回転を検出することにのみ、限定されてもよい。

図１に示すようなデバイ内に組み込まれる、本発明に係る方法によると、ジェスチャがズームジェスチャのようなマルチタッチジェスチャであっても、シングルタッチの機能のみを用いて複雑なジェスチャを特定することが可能である。このことは、複数のタッチポイント座標の間の関係を分析することにより、達成される。更に、本発明により、８ビット技術利用コンポーネントのような、簡素な電子コンポーネントにより実行され得る簡素なプロセスで線形及び／又はアーク形状軌跡を特定することができる。よって、ローエンドデバイスであっても、複雑なジェスチャを特定できるタッチ感知インターフェースを備えることが可能である。

１・・・タッチ感知デバイス、３・・・タッチ感知インターアクションサーフェス、５・・・判別手段、９ａ、９ｂ・・・トランスデユーサ。

Claims (19)

1. インターアクションサーフェス、及び、継続シングルタッチのイベント若しくは継続マルチタッチのタッチイベントの、シングルタッチポイントの位置を分析できるに過ぎない手段を含む、タッチ感知デバイスで、ユーザのタッチジェスチャを判別する方法であって、
   前記方法は、
   ａ）ユーザのタッチジェスチャの際、インターアクションサーフェス上で少なくとも一つの継続タッチイベントの、複数の継続タッチポイント座標を判別するステップと、
   ｂ）ステップａ）で判別されるタッチポイント座標間の所定の関係に基づいて、所定のシングルタッチのパターン、若しくは、マルチタッチのタッチパターンを判別するステップと、
   ｃ）ステップｂ）で判別されるタッチパターンに対応する所定のアクションを決定するステップと
   を含む方法。
2. ステップａ）が、所定の間隔、特に４００〜８００ミリ秒の間隔で実行され、
   所定のタッチポイント座標の数が最小限の閾値より大きく、及び／又は、少なくとも二つのタッチポイント座標の間の距離が所定の値より大きいならば、ステップｂ）が実行される
   ことを特徴とする請求項１に記載の方法。
3. ステップｂ）が、タッチポイント座標が基本的にライン上にあるのか否かを分析するステップを含む
   請求項１又は２に記載の方法。
4. 所定の数の、継続して判別されたタッチポイント座標が以下の数１の関係を満たすかどうかを判別することにより、タッチポイント座標が基本的にライン上に位置するかどうかを特定するステップを、ステップｂ）が含み、
   〔数１〕
   ｙ_ｉ＝ａｘ_ｉ＋ｂ±△、又は、ｘ_ｉ＝ｃ±△
   ここで、ｙ_ｉ及びｘ_ｉは、所定の数の、継続タッチポイント座標におけるタッチiのタッチポイント座標に対応し、aは特に整数である第１の定数であり、bは第２の定数であり、cは第３の定数であり、Δは第４の定数であり、
   aは、所定の数の様々な離散値に限定され、所定の数は特に５０より少なく、更に特に１０より少なく、また更に特に５より少ない
   請求項３に記載の方法。
5. ａは、０及び±１のうちの一つ、又は、０、±１／２、±１、及び±２のうちの一つである
   請求項４に記載の方法。
6. ステップｂ）において、タッチポイント座標が基本的にライン上に位置することが判別されるならば、ステップｂ）が、二つの基本的に線形の、特に同時の、異なる方向を伴う軌跡が継続タッチイベント内で特定されるか否か分析することにより継続タッチイベントがマルチタッチのタッチイベント、特にズームイベントに関連するか否かを判別する更なるステップｂ１）を含む
   請求項３〜５のうちのいずれか一に記載の方法。
7. ステップｂ１）が更に、増加から減少の座標ｘ_i及び／若しくはｙ_iの、少なくとも一つの、好ましくは一つ以上の、転換、並びに／又は、減少から増加の座標ｘ_i及び／若しくはｙ_iの、少なくとも一つの、好ましくは一つ以上の、転換が、判別されるならば、継続タッチイベントはマルチタッチのタッチイベントに関連すると判別するステップを含む
   請求項６に記載の方法。
8. ステップｂ１）がタッチポイント座標の対に対するベクトルを決定するステップを含み、
   ベクトルの始点が、ベクトルの終点と対比して、継続タッチイベント内のより早いタッチポイントのタッチポイント座標と関連する
   請求項６又は７に記載の方法。
9. ステップｂ１）が更に、ベクトルの対のスカラ積を判別し、反対の符号を伴うスカラ積が判別したときにはマルチタッチのイベントが発生したと決定するステップを更に含む
   請求項８に記載の方法。
10. ステップｂ）において、タッチポイント座標が基本的にライン上に位置することが判別されるならば、
    ステップｂ）が、
    第１のタッチポイントのタッチポイント座標が先端におけるタッチポイント座標により規定されるラインの内部に位置するならば、マルチタッチのタッチイベントがズームイベントに関連すると判別し、第１のタッチポイントのタッチポイント座標がタッチポイント座標により規定されるラインの先端に位置するならば、マルチタッチのタッチイベントがズームアウトイベントに関連すると判別し、ステップｃ）にてズームイン若しくはズームアウトに帰する
    ステップｂ２）を含む
    請求項３〜７のうちのいずれか一に記載の方法。
11. ステップｂ）が、タッチポイント座標がアーク形状の軌跡を追随するか否かを分析するステップを含む
    請求項１〜１０のうちのいずれか一に記載の方法。
12. タッチポイント座標がアーク形状の軌跡を追随するならば、ステップｃ）にて回転アクションに帰せられる
    請求項１１に記載の方法。
13. ステップｂ）が、タッチポイント座標の対に対する、特に、タッチポイントの全ての対、若しくは、直接に連続するタッチポイント座標に対する、ベクトルを判別するステップを含み、
    ベクトルの始点は、ベクトルの終点と対比して、継続タッチイベント内のより早いタッチポイントのタッチポイント座標と関連する
    請求項１１又は１２に記載の方法。
14. 連続する所定の数のベクトルの間の角度が合計され、合計が所定の閾値を超えれば、ステップｃ）にて回転アクションに帰される
    請求項１３に記載の方法。
15. 合計が第１の閾値を超える場合には正の向きの回転アクションに帰され、合計が第２の閾値を下回る場合には負の向きの回転アクションに帰される
    請求項１４に記載の方法。
16. ステップｂ）が、
    タッチポイントの位置ｉとｉ＋２との間の距離ｄ１_i、及び、タッチポイントの位置ｉ＋１と１タッチポイントの位置ｉ、ｉ＋２により規定されるラインとの間の距離ｄ２_iを測定し、所定の数の継続タッチポイントの位置に対して、ｄ１_ｉ／ｄ２_ｉ＝ｄ±Δ及び／又はｄ１_ｉ＊ｄ１_ｉ／ｄ２_ｉ＝ｅ±Δであるならば、タッチイベントがアーク形状の軌跡であると判別する
    ステップを含み、
    ここで、ｉ、ｉ＋１、及びｉ＋２は、三つの継続タッチポイントの位置を示し、ｄ及びｅは定数であり、Δは所定のパラメータである
    請求項１１〜１５のうちのいずれか一に記載の方法。
17. 請求項１〜１６のうちのいずれか一に記載の方法のステップを実行するコンピュータ実行可能命令を格納する一つ若しくはそれ以上のコンピュータ読み取り可能媒体を含む、コンピュータプログラムプロダクト。
18. タッチ感知インターアクションサーフェス、及び前記サーフェス上のインターアクションの配置を判別する手段とを含むタッチ感知デバイスであって、
    前記判別する手段は一度に一つのタッチポイントの配置のみを特定でき、
    更に、前記タッチ感知デバイスは、請求項１〜１７のうちのいずれか一に記載の方法により、インターアクションサーフェス上の継続タッチイベントの連続するタッチポイントの配置を分析する手段を含む
    タッチ感知デバイス。
19. タッチポイント座標が音響信号の分析に基づいて計測される
    請求項１８に記載のタッチ感知デバイス。

Images