JP2015200948A - マルチ入力ターゲットに関連付けられた１つ又はそれ以上の入力を入力するためのシステム及び方法 - Google Patents

Abstract

【課題】マルチ入力ターゲットに関連付けられた１つ又はマルチ入力ターゲット以外のデフォルト入力を入力する。【解決手段】ユーザインタフェース及び予測エンジンを含むシステムであって、ユーザインタフェースは、第１のユーザ選択事象を受けると対応するマルチ入力ターゲットを表示する。第１のユーザ選択事象から空間的に離れた位置で第２のユーザ選択事象を受けると、予測エンジンはユーザが選択することを意図した確率を求め、マルチ入力ターゲットのうち１つを選択して入力する。予測エンジンは、第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間に基づいて、ユーザがマルチ入力ターゲットから１つの入力を選択することを意図した確率とユーザが第１の入力を入力し次に第１の入力を再度選択することを意図した確率とを推定し、マルチ入力ターゲットから１つの入力または第１の入力の再度入力の一方を行うようにしてもよい。【選択図】図１

Description

本発明は、電子デバイスのマルチ入力ターゲットに関連付けられた入力選択肢の入力に関し、具体的な一実施形態では、キーボード上のマルチ文字キーに関連付けられた１つ又はそれ以上の文字の入力に関する。

例えば、携帯電話又はタブレットコンピュータのような電子デバイスの公知のユーザインタフェースは、複数の文字又は複数の文字バリアント（異字）を表わすキーを含み、複数の文字又は異字が、所望の文字又は異字をデバイスに入力するためのユーザ選択に利用可能である。ユーザは、複数の文字又は異字に関連付けられたキー上で又はそれを横切って１つ又はそれ以上のジェスチャを行うことによってユーザが入力を望む文字又は異字を選択することができる。

所望の異字を入力するために使用される公知のマルチ入力ターゲットの例が、図１ａからｃに示されている。図１ａは、ＱＷＥＲＴＹキーボードレイアウトを含むユーザインタフェースの画面図を示している。図１ｂでは、ユーザが「ａ」キーを押下した場合、そのキーに関して異字のリスト「＠、
、
、
、
」がユーザに提示される。ユーザは、所望の異字に指をドラッグすることによって所望の異字を選択でき、指の全円は、ユーザの指が画面上のどこにあるかを示す。ユーザは、指を離すことによって選択された異字を入力でき（「ドラッグアンドリフト」方式）、ここで図１ｃは、所望の異字「
」の選択を示している。ユーザインタフェースは、文字キーに対するジェスチャを終了するのではなく所望の異字の１次元指示を受け付けるように構成することができ、例えば、ユーザは、異字の列の下で画面を横切って横向きにドラッグして所望の異字を選択することができる。

日本語の文字を入力するために所望の文字を入力するのに使用される公知のマルチ入力ターゲットの一例が図２ａから２ｃに示されているが、この公知の入力方法は、任意の言語に適しており、２７より多くの文字を有する言語に特に適している（すなわち、ＱＷＥＲＴＹレイアウトではない）。この公知の入力方法は、ヒンディー語のようなインドの言語、及び中国語、韓国語、又は漢字又はロゴグラムが文書で使用される他の任意の言語に適しており、絵文字又は顔文字の選択及び入力に使用することができる。図２ａは、日本語文字を入力するためのドラッグアンドリフト方式に関する１２キーレイアウトを含むユーザインタフェースを示している。図２ｂは、ユーザが、例えばマルチ文字キーを押下することによって、これらの文字を表わすマルチ文字キーを選択した後の、ユーザによる選択に用いることができる文字の選択肢が示されている。図２ｃでは、ユーザは、入力を望む文字にユーザの指をドラッグすることによって所望の文字を選択することができ、その文字を選択するために、そのポイントでタッチスクリーンとの接触を中断して選択された文字を入力する。特定の文字は、ユーザが、文字を選択するためにマルチ文字キーにタッチしドラッグアンドリフト動作を行わない場合に入力されるデフォルト文字として選択される。

日本語文字を入力するために、ドラッグアンドリフトジェスチャを介して選択し選択した文字選択肢を入力するための代替的なユーザインタフェースが、図３ａからｃに示されている（このユーザインタフェースは他の言語にも同様に利用可能である）。図３ａに示されるキーボードは、１２マルチ文字キーを含み、図２ａのキーボードと同様に見える。キーを押下することによってキーボードのマルチ文字キーが選択された時点で、そのマルチ文字キーに関連付けられた文字の選択肢がユーザに提示される（図３ｂに図示）。所望の文字キーを選択するためにドラッグし、その文字キーが選択された時点で画面との接触を中断（「リフト」）することによって、その文字を入力することができる。図３ｃは、右側のキーを選択するために右方向へのドラッグを行い、そのキーの選択時に画面との接触を中断することによる文字の選択を示している。図３ｃから分かるように、文字を選択するためのドラッグは、ユーザの指が表示された文字キー上で終了する必要があるということを意味するものではなく、ドラッグの方向及び距離がその文字キーを選択する程度であることを意味するものである。

上述したユーザインタフェースを含む電子システムは、ユーザが、マルチ文字キーを介したユーザ選択に用いることができる複数の文字又は異字から選択された文字又は異字を入力できるようにするための手段を提供する。しかしながら、上述したシステムでは、選択された入力は、ユーザが入力選択肢を選択した場合、ユーザがその選択された選択肢の入力を実際に意図したか否かに関わらず、入力された入力選択肢であるという点で決定論的であり、例えば、ユーザは、間違った方向にドラッグする場合、又はドラッグアンドリフトジェスチャで指をリフトするのが早すぎる場合がある。

ユーザがデバイスへの入力に関する選択肢を選択できる精度は、多数の要因、例えば、ユーザが複数の選択肢から選択する精度に影響を与える可能性がある以下の要因、すなわち、ユーザが所望の入力選択肢を選択するのに要する時間、ユーザが選択を行っている間に集中しているか否か（例えば、ユーザが選択肢を選択する間に歩行又は会話しているため）、入力選択肢のユーザインタフェースレイアウト、選択肢を選択するのに必要なジェスチャ、利用の容易性（例えば、手の安定性、指の長さ）、使用されるデバイス（物理的な画面サイズなど）、ユーザの習慣（例えば、常にキーの中心に触れる）、他のうちの１つ又はそれ以上に応じて異なる。

現在のシステムでは、ユーザが複数の入力選択肢から１つの入力選択肢を選択することに基づく間違い訂正手段が存在しない。すなわち、ユーザ選択事象は、ユーザの間違いを考慮に入れるようにはモデル化されていない。この選択事象に関する間違いのモデル化が存在しないことにより、入力が不正確なものとなり、神経質にさせるユーザエクスペリエンスがもたらされる可能性がある。

間違って入力された文字は、言語モデル化を介して訂正される場合がある。例えば、ユーザが以前に見たことがない文字列を入力した場合、その文字列は、言語モデル又は公知の用語辞書に公知の文字列に訂正される場合がある。しかしながら、文字の訂正は、言語モデル化に基づき、ユーザの選択事象に基づくものではない。テキスト予測は、最初に又は代替的にユーザ選択事象において訂正することによって、より多くの入力がシステムによって考慮されるので、より正確にすることができる。絵文字又は顔文字が入力された場合などのように入力が言語モデル化によってモデル化されていない場合に、ユーザ選択事象を訂正することにより、ユーザが意図した入力のより正確な又は代替的な予測を提供することができる。

マルチ文字キーから文字入力を選択する別の公知の方法は、マルチタップ方式である。各キーは、図２ａ及び図３ａの１２マルチ文字キーによって示される複数の文字を表わしている。所望の文字を入力するために、ユーザは、キーを所望の回数タップすることによって利用可能な文字選択肢を循環させる。ユーザが素早く続けてタップする場合、ユーザは、文字を循環させて所望の文字を選択することができる。選択した文字を入力し次の文字の入力に進むために、ユーザは、所定の時間（入力の所望の文字を選択してから）が経過するまで待つ必要がある。図６ａは、このマルチタップ方式に関する確率関数Ｐ（ｔ）を示しており、例えば、所定の時間は４５０ｍｓに設定されている。図６ａから分かるように、確率関数Ｐ（ｔ）は、階段関数であり、確率関数は、ユーザが新しい文字を入力する（既存の文字を変更するのではなく）ことを意図している確率を表わす。２つの具体的なタップ間で所定の期間が超過していない場合、選択された文字に切り替えられる。しかしながら、最後のキー押下から所定の期間が経過した場合、最後のキー押下に対応する文字が入力され、新しい文字入力シーケンスが開始する。従って、経過時間は、入力選択肢を互いに区別することにおいて決定論的である。例えば、ユーザが「あ」キーをタップした場合、ユーザは、タップを続けながら、あ、い、う、え、おの入力の中から選択する。ユーザが２つの文字、例えばその両方が同じキーから入力される２つの文字、例えば「ああ」を入力することを望む場合、ユーザは、最初の文字「あ」をタイプした後で第２の文字「あ」をタイプする前に、所定の閾値が経過するまで待つ必要がある。文字を選択するためのマルチタップ方式は、いずれの言語にも適しており、現在、世界中の携帯電話におけるテキスト入力に利用されている。

このようなマルチタップシステムの上級ユーザは、より素早くタップすることができるが、待つことを要求される。一方で、初心者は、新しい文字を入力するのではなく文字を変更する程度に素早くタップできないので文字の入力が難しい場合がある。これは、テキストを入力するのに神経質にさせる緩慢な手段をもたらす場合がある。

ＷＯ２０１２／１５６６８６

上述した問題の１つ又はそれ以上に対処することが本発明の目的である。

本発明の第１の態様では、ユーザ選択による入力に用いることができる複数の入力選択肢に関連付けられたマルチ入力ターゲットを含むユーザインタフェースを備えるシステムが提供される。ユーザインタフェースは、第１のユーザ選択事象の受け取り時にマルチ入力ターゲット選択し、第２のユーザ選択事象の受け取り時に複数の入力選択肢から１つの入力を選択するように構成されており、第２のユーザ選択事象は、第１のユーザ選択事象から空間的に離れている。本システムは更に、予測エンジンを含み、予測エンジンは、ユーザが選択された入力以外で複数の入力から１つの入力を選択することを意図した確率を、第２のユーザ選択事象に基づいて求めるように構成されている。

予測エンジンは、ユーザが選択された入力以外で複数の入力から１つの入力を選択することを意図した確率を、第１のユーザ選択事象及び第２のユーザ選択事象に基づいて求めるように構成されているのが好ましい。

予測エンジンは、第１のユーザ選択事象の位置及び第２のユーザ選択事象の位置を使用して確率を求めるように構成されているのが好ましい。

好ましい実施形態では、第１のユーザ選択事象は、第１のタップ又はドラッグアンドリフトジェスチャの開始に対応し、第２のユーザ選択事象は、第２のタップ又はドラッグアンドリフトジェスチャのリフトに対応する。予測エンジンは、第１のユーザ選択事象の位置と第２のユーザ選択事象の位置との間の距離及び方向を決定するように構成することができる。

予測エンジンは、複数の入力の各入力に関する４Ｄ確率分布モデルを含むのが好ましい。予測エンジンは、その入力に関連付けられたモデルに、第１の位置及び第２の位置、又は第１の位置、第１の位置と第２の位置との間の距離、及びその方向を問い合わせることによって、ユーザが複数の入力から１つの入力を選択することを意図した確率を求めることができる。モデルは４Ｄガウス分布とすることができる。

一実施形態では、第１のユーザ選択事象は、フリックジェスチャの開始に対応し、第２のユーザ選択事象はフリックジェスチャの終了に対応する。予測エンジンは、開始位置及び終了位置によりフリックの方向を決定し、ユーザが複数の入力から１つの入力を選択することを意図した確率を、フリックの開始位置及び方向に基づいて求めるように構成されている。

予測エンジンは、複数の入力選択肢の各々に対してユーザが所与の入力選択肢を選択することを意図した確率を生成するように構成することができる。

ユーザインタフェースは、複数のマルチ入力ターゲットを含むことができ、予測エンジンは、ユーザが選択されたマルチ入力ターゲットを選択することを意図した確率を、第１の選択事象に基づいて求めるように構成することができる。

第１のユーザ選択事象に応じて、ユーザインタフェースは、空間的に離れた複数の入力選択肢を表示するように構成することができる。

予測エンジンは、好ましくは、複数のモデルを含み、その１つが前記複数の入力の各入力選択肢に対応し、各モデルは、複数の入力からの１つの入力に対応する以前の第１及び第２のユーザ選択事象をその入力に関係付けし、予測エンジンは、複数のモデルに関して、第１及び第２のユーザ選択事象が複数の入力の特定の入力に関係する確率を生成するように構成されている。

マルチ入力ターゲットは、複数の文字入力選択肢を表わす仮想的なキーボード上のマルチ文字キーとすることができる。

本発明の第２の態様では、ユーザ選択による入力に用いることができる複数の入力選択肢に関連付けられたマルチ入力ターゲットを含むユーザインタフェースを備えるシステムが提供される。ユーザインタフェースは、マルチ入力ターゲットで指示された第１のユーザ選択事象の受け取り時に複数の入力選択肢の第１の入力を識別し、マルチ入力ターゲットで指示された第２のユーザ選択事象の受け取り時に、識別された入力を第１の入力から複数の入力選択肢の第２の入力に変更するように構成されている。本システムは、予測エンジンを含み、予測エンジンは、第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間を決定し、経過時間が所定の閾値よりも短いことを判定し、ユーザが第２の入力を選択することを意図した確率及びユーザが第１の入力を入力し次に第１の入力を再度選択することを意図した確率を、経過時間に基づいて求めるように構成されている。所定の閾値は、経過時間が所定の閾値より長い場合、第１の入力が１の確率でシステムに入力され、第１の入力が再度選択されるように設定される。

マルチ入力ターゲットは、複数の文字入力選択肢を表わす仮想的なキーボード上のマルチ文字キーであることが好ましい。

第１のユーザ選択事象は、第１の入力を選択するマルチ文字ターゲットにおける第１のタップに対応し、第２のユーザ入力事象は、選択された入力を第２の入力に変更するマルチ文字ターゲット上の第２のタップに対応する。

第１のユーザ選択事象と所定の閾値の間の確率は、シグモイド関数によってモデル化することができる。シグモイド関数は、式
を用いることができ、Ｐは、ユーザが第２の入力を入力することを意図した推定確率であり、ｔは、第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間であり、ｔ_{ｐ＝０．５}は、モデル化されたシグモイド確率分布における確率が０．５に等しい場合の経過時間である。

本発明の第３の態様では、予測エンジンを使用して、マルチ入力キーを介して利用可能な複数の入力選択肢を表示するユーザインタフェースの入力をユーザが選択することを意図した確率を求める方法が提供される。本方法は、マルチ入力ターゲットを選択するための第１のユーザ選択事象をユーザインタフェースで受け取る段階と、第１のユーザ選択事象から空間的に離れ、表示された複数の入力選択肢から１つの入力を選択するための第２のユーザ選択事象をユーザインタフェースで受け取る段階と、ユーザが選択された入力確率以外で複数の入力から１つの入力を選択することを意図した確率を、第２のユーザ選択事象に基づいて求める段階とを含む。

確率は、第１のユーザ選択事象及び第２のユーザ選択事象に基づいて求められるのが好ましい。確率は、第１のユーザ選択事象の位置及び第２のユーザ選択事象の位置を使用して決定されるのが好ましい。

第１のユーザ選択事象は、第１のタップ又はドラッグアンドリフトジェスチャの開始に対応し、第２のユーザ選択事象は、第２のタップ又はドラッグアンドリフトジェスチャのリフトに対応するのが好ましい。

本方法は、第１のユーザ選択事象の位置と第２のユーザ選択事象の位置との間の距離及び方向を決定する段階を含むことができる。

予測エンジンは、複数の入力の各入力に関する４Ｄ確率分布モデルを含むのが好ましい。ユーザが複数の入力から１つの入力を選択することを意図した確率を求める段階は、その入力に関連付けられたモデルに第１の位置及び第２の位置、又は第１の位置、第１の位置と第２の位置との間の距離、及びその方向を問い合わせる段階を含むことができる。本モデルは、４Ｄガウス分布とすることができる。

第１のユーザ選択事象は、フリックジェスチャの開始に対応することができ、第２のユーザ選択事象は、フリックジェスチャの終了に対応する。このような場合、本方法は、予測エンジンを使用してフリックの方向を決定する段階と、フリックの開始位置及び方向を使用して、ユーザが複数の入力から１つの入力を選択することを意図した確率を求める段階とを含む。

本方法は、複数の入力選択肢の各々に関して所与の入力選択肢をユーザが選択することを意図した確率を求める段階を含むことができる。

ユーザインタフェースは、複数のマルチ入力ターゲットを含むことができ、予測エンジンを使用して求める段階は更に、ユーザが選択されたマルチ入力ターゲットを選択することを意図した確率を、第１の選択事象に基づいて求める段階を含むことができる。

予測エンジンは、複数のモデルを含み、その１つが前記複数の入力の各入力選択肢に対応することができ、各モデルは、複数の入力からの１つの入力に対応する以前の第１及び第２のユーザ選択事象をその入力に関係付けし、予測エンジンは、複数のモデルに関して、第１及び第２のユーザ選択事象が複数の入力の特定の入力に関係する確率を生成するように構成されている。

本発明の第４の態様では、ユーザが２つの入力選択肢の１つを選択することを意図した確率を、予測エンジンを使用してユーザインタフェース上の第１のユーザ選択事象及び第２のユーザ選択事象に基づいて決定する方法が提供され、ユーザインタフェースは、ユーザ選択による入力に用いることができる複数の入力選択肢に関連付けられたマルチ入力ターゲットを含む。本方法は、マルチ入力ターゲットで指示され複数の入力選択肢の第１の入力を識別するための第１のユーザ選択事象をユーザインタフェースで受け取る段階と、マルチ入力ターゲットで指示された第２のユーザ選択事象を第２のユーザインタフェースで受け取り、識別された入力を第１の入力から複数の入力選択肢の第２の入力に変更する段階とを含む。本方法は更に、予測エンジンを使用して第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間を決定する段階と、予測エンジンを使用して、経過時間が所定の閾値よりも短いことを決定する段階と、ユーザが第２の入力を選択することを意図した確率及びユーザが第１の入力を入力し次に第１の入力を再度選択することを意図した確率を、経過時間に基づいて求める段階とを含む。所定の閾値は、経過時間が所定の閾値よりも長い場合、第１の入力が１の確率でシステムに入力され、第１の入力が再度選択されるように設定される。

マルチ入力ターゲットは、複数の文字入力選択肢を表わす仮想的なキーボード上のマルチ文字キーとすることができる。

第１のユーザ選択事象は、第１の入力を選択するマルチ文字ターゲット上の第１のタップに対応することができ、第２のユーザ入力事象は、選択された入力を第２の入力に変更するマルチ文字ターゲット上の第２のタップに対応する。

第１のユーザ選択事象と所定の閾値の間の確率は、シグモイド関数に従って予測エンジンによってモデル化することができる。シグモイド関数は、式
を用いることができ、Ｐは、ユーザが第２の入力を入力することを意図した推定確率であり、ｔは、第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間であり、ｔ_{ｐ＝０．５}は、モデル化されたシグモイド確率分布における確率が０．５に等しい場合の経過時間である。

本発明の第５の態様では、プロセッサに上記の任意の方法を実行させるためのコンピュータプログラム手段が格納されているコンピュータ可読媒体を含むコンピュータプログラム製品が提供される。

ここで本発明を、添付図面に関して詳細に説明する。

ユーザがＱＷＥＲＴＹキーボード上の文字を選択してその文字に関する異字を表示させ、ドラッグアンドリフトジェスチャを施して所望の異字を選択することによって異字を入力するように構成された、異字を入力するための公知のユーザインタフェースを示す。 キーを選択してそのキーに関する文字の選択肢を表示させ、ドラッグアンドリフトジェスチャを施して所望の文字を選択することによって、ユーザが特定の文字を入力できるように構成された１２マルチ文字キーを含む公知のユーザインタフェースを示す。 キーを選択してそのキーに対する文字の選択肢を表示させ、ドラッグアンドリフトジェスチャを施して所望の文字を選択することによって、ユーザが特定の文字を入力できるように構成された１２マルチ文字キーを含む公知のユーザインタフェースを示す。 キー上のタッチジェスチャのような点分布をモデル化するために使用できるガウス分布を示す図である。 文字選択肢を選択するための例示的なパネルディスプレイであり、確率を求めることができる方法を示す。 公知のマルチタップ方式において文字が変更されたが或いは新しい文字が入力されたかを判定するための階段確率関数を示す。 本発明によるマルチタップ方式において、ユーザが既存の文字を変更する又は新しい文字を入力することを意図する確率を判定するための、本発明による確率関数を示す。 ドラッグアンドリフトジェスチャに関する確率分布であり、開始位置とリフト位置との間の距離とドラッグアンドリフトジェスチャの確率との関係を示す。 フリックジェスチャに関する確率分布であり、開始位置とリフト位置との間の距離とフリックジェスチャの確率との関係を示す。 本発明の第１の方法のフローチャートである。 本発明の第２の方法のフローチャートである。

本発明は、複数の入力選択肢から１つの入力を選択するのに使用されるユーザ選択事象における間違いをモデル化するためのシステム及び方法を提供する。特に、本システム及び方法は、ユーザが選択事象によって選択された入力選択肢以外の入力選択肢を選択することを意図していた可能性を予測して、ユーザ選択事象によって選択された入力選択肢以外の入力選択肢をシステムに入力できるようにする。

本発明によるシステムは、概してユーザインタフェース及び予測エンジンを含む。ユーザインタフェースは、ユーザがシステムと対話して、マルチ入力ターゲットに関連付けられた複数の入力選択肢から所望の入力選択肢を選択し、その所望の入力をシステムに入力できるようにするための任意の適切な手段とすることができる。例えば、ユーザインタフェースは、ユーザがディスプレイから項目を選択できるようにするためのマウスを含むこと、又は眼／手／腕の動きを追跡し、眼／手／腕の動きを利用して、ユーザがシステムによって表示されたオブジェクトを選択できるようにするための手段を含むことができる。本システムの好ましい実施形態では、ユーザインタフェースは、ユーザ選択事象を介したユーザ選択に関する表示対象及び入力選択肢を表示するように構成されたディスプレイ及び処理回路を含む。例示的な実施形態によると、本システムは、携帯電話、タブレット、又はコンピュータの１つであり、ユーザインタフェースは、タッチセンサ式ディスプレイを介してユーザ選択に関するオブジェクトを表示しユーザ入力選択事象を受け取るように構成されたタッチスクリーンディスプレイである。

ユーザ選択事象は、それによってユーザがユーザインタフェースのオブジェクトを選択する任意の事象であり、ユーザが表示された複数のマルチ入力ターゲットから１つのマルチ入力ターゲットを選択すること、及びユーザが複数の入力選択肢から１つの入力選択肢を選択することを含む。選択事象は、適切な任意の方法で実行することができる。好ましい実施形態では、選択事象は、タッチスクリーン上の又はそれを横切るジェスチャに対応する。ジェスチャは、指又は適切なポインティングオブジェクトによって実行される以下のジェスチャ、すなわち、クリック又はタップ、タッチスクリーンを横切るストローク又はドラッグ、及びフリックのうちの１つ又はそれ以上を含むことができる。「第１のユーザ選択事象」及び「第２のユーザ選択事象」は、同じジェスチャの一部分とすることができる。非限定的な実施例によって、フリック動作の開始は、その開始位置がマルチ入力ターゲットを選択するので、第１のユーザ選択事象に対応することができ、フリックの終了（すなわち、ユーザがスクリーンとの接触を中断したポイント）は、フリックの方向を判定して入力選択肢を選択できるので、第２のユーザ選択事象に対応することができる。ドラッグアンドリフトジェスチャに関して、第１のユーザ選択事象は、ドラッグの開始位置とすることができ、第２のユーザ選択事象は、ユーザがスクリーンとの接触を中断した位置とすることができる。従って、第１のユーザ選択事象及び第２のユーザ選択事象は、同じジェスチャの一部分、並びに別のジェスチャ（例えば、空間的に離れた２つ又はそれ以上のタップ）を包含することを意図している。

ユーザ選択に関して複数の入力選択肢に関連付けられたマルチ入力ターゲットは、ユーザが入力することを望む任意の適切な入力に対応することができる。好ましい実施形態では、マルチ入力ターゲットは、ユーザ選択及びデバイスへの入力に用いることができる複数の文字選択肢を表示するマルチ文字ターゲットである。「文字（Ｃｈａｒａｃｔｅｒ）」という用語は、任意の文字、数字、共通の句読点（「．」又は「−」など）、空白、及び書記言語で使用される記号、例えば、国語、日本語、韓国語、インド語、又はいずれかの他の言語で使用される任意の記号を対象として含むことが意図されている。本発明の文脈では、「文字」は更に、異字、例えば
を含む。

しかしながら、本発明のシステムの別の実施形態は、複数の画像を表わすマルチ画像ターゲット、例えば、ユーザが、関連の食べ物の絵文字を選択できるようにする食べ物絵文字キー、又はユーザが、伝えたい感情を表す顔文字／絵文字を選択できるようにする顔文字又は顔絵文字キーなどを含むことができる。このように、ユーザはマルチ入力ターゲットを介してテキスト以外のデータの入力を要求できることが想定される。

マルチ入力ターゲットからの入力に用いることができる入力選択肢は、ターゲットが選択された時に表示パターン内に表示されるのが好ましい。一実施形態では、ディスプレイは、その所望の入力選択肢に対応するキーのユーザ選択に関して入力選択肢に対応する一組のキーを含む。しかしながら、代替的な実施形態（例えば、マルチタップ方式）では、押下された際に選択肢を表示パターン内に表示するのではなく、マルチ入力ターゲットが、ターゲットで利用可能な選択肢を表示することができる。

上記の説明から理解されるように、本発明の好ましい実施形態では、マルチ入力ターゲットは、タッチスクリーンの仮想的なキーボード上のマルチ文字キーである。

予測エンジンは、例えば、仮想的なキーボード上のジェスチャ位置、ジェスチャの状態、ジェスチャの距離、ジェスチャが行われた時間、選択事象間の経過時間、そのユーザ及びその入力選択肢に関する現在の選択事象と前の選択事象の間の比較などの１つ又はそれ以上に基づいて、ユーザ選択事象に基づく確率推定値を生成することができるいずれかの手段である。本発明の一実施形態では、予測エンジンは、利用可能な入力選択肢をモデル化するための複数のモデルを含む。

非限定的な実施例によって、本発明の具体的な間違い訂正の実施例を、幾つかの代替的な実施例を説明しながら、背景技術で説明した公知の入力方法に関して説明する。しかしながら、本発明のシステム及び方法は、これらの実施例に限定されるものではなく、ユーザが２つのユーザ選択事象を必要とするマルチ入力ターゲットから１つの入力選択肢の選択する種類であれば、どのような種類にも適用することができる。

ドラッグアンドリフトジェスチャ
背景技術のセクションで説明したように、マルチ文字キーの押下（又は、押下及び保持）に対応する第１のユーザ選択事象に応答して、ユーザインタフェースは、一組の文字キー（図２ｂ及び３ｂに示される実施例）を介したユーザ選択に用いることができる文字選択肢を表示する。ユーザは、要求する文字キーを選択するためにスクリーンを横切って指をドラッグすることによって、表示された文字選択肢のうちの１つを選択することができる（図２ｃ及び３ｃに図示）。所望のキーがユーザインタフェース上で選択される際に（反転表示されたキーによって示すことができる）、図２ｃ及び３ｃに示されるように、ユーザは、指を持ち上げてスクリーンとの接触を中断してその選択されたキーの文字を入力することができる。

本発明のシステムでは、予測エンジンが、ドラッグアンドリフトジェスチャをモデル化して、ユーザがそのジェスチャを介して所与の文字選択肢を選択することを意図した確率を求めるように構成されている。予測エンジンは、複数の入力選択肢の確率を求めるように構成されており、例えば、予測エンジンは、ユーザのジェスチャによってユーザインタフェースで選択されたものではない入力選択肢をユーザが選択することを意図した確率を求めるように構成されている。従って、ユーザ選択事象は決定論的ではなく、選択事象における間違いがモデル化される。

本発明の好ましい実施形態では、予測エンジンは、４次元分布に従ってドラッグアンドリフトジェスチャをモデル化するように構成されている。予測エンジンは、モデル化に関する入力としてドラッグアンドリフトジェスチャからの座標の２つのセット、すなわち１）ユーザがマルチ文字キーを選択するために最初にタッチした開始点（ｘ_１，ｙ_１）、及び２）ユーザが指を持ち上げてスクリーンとの接触を中断した終了点（ｘ_２，ｙ_２）を用いる。

一実施形態では、予測エンジンは、相対座標（ｘ_２−ｘ_１，ｙ_２−ｙ_１）を求め、ドラッグアンドリフトジェスチャの距離ｄ及び方向θ（所与の軸に関して定義される）を求める。しかしながら、座標の２つのセットは、方向及び距離情報を符号化するのでモデル化に関して使用することができる。ドラッグの距離及び方向は、ドラッグアンドリフトジェスチャの開始及び終了点間の直線から求められる。より複雑な経路に関して、同じ方式に従うこうことができ、ジェスチャの開始及び終了位置が入力として用いられ、中間経路が無視される。

予測エンジンは、所与のマルチ文字キーの各文字の選択肢に関するモデルである４Ｄ確率密度分布を含む。一実施形態では、文字選択肢は、各マルチ文字キーに関して同じ表示パターンで表示され、予測エンジンが、マルチ文字キーに関して存在する文字選択肢の数と同じ数のモデルを格納する。しかしながら、幾つかのマルチ文字キーは他よりも押下するのが困難な場合があるので（デバイス上の手の位置などに応じて）、マルチ文字キーの文字キーに対するドラッグアンドリフトジェスチャは、別のマルチ文字キー上の対応する文字キーへのドラッグアンドリフトジェスチャとは異なるパターンを、それらマルチ文字キーが同じパターンの文字キーを表示する場合でさえ、有する可能性がある。従って、予測エンジンは、各マルチ文字キーの各文字キーに関して１つのモデルに対応する複数のモデルを含むことができる。

好ましい実施形態では、４Ｄ確率密度分布が多変量ガウス分布に従ってモデル化され、例えば、ラプラス分布又はガンマ分布、或いは円周上の変数に変換されたガウス分布に相当するフォンミーゼス分布のような他の４Ｄ分布を使用することができる。

各ドラッグアンドリフト入力に関しては、確率生成器が、関連のマルチ文字キーの各文字選択肢に対応する各ガウス分布に問い合わせを行い（ドラッグアンドリフトパラメータｘ_１，ｙ_１，ｄ，θを用いて）、パラメータｘ_１、ｙ_１、ｄ、θで推定されたガウス確率密度関数を返すことによって、ユーザがジェスチャを介してその文字を選択することを意図していたか否かに関する確率推定値が提供される。

従って、確率生成器は、マルチ文字キーの各文字選択肢に関する確率推定値を求めることができる。しかしながら、例えば各ドラッグアンドリフト入力に関する最高確率を有するＮ文字を用いる好適な枝刈りを適用することができる。

代替的な単純化された実施形態では、予測エンジンは、ユーザがタッチスクリーンとの接触を中断した位置に基づいて意図された文字入力に関する予測値を生成する、すなわち、第２の選択事象のみに基づき、ドラッグジェスチャの距離及び方向を無視して予測値を生成するように構成されている。例えば、予測エンジンは、接触の中断が入力として行われた位置の座標を用いて２Ｄガウス分布を使用して点分布（図４を参照）をモデル化すること、又は接触の中断が行われた位置と文字キーの中心又はキーを通過する線との距離を比較することによって、特定の文字キーをユーザが選択することを意図した確率を求めるように構成することができる。図５は、予測エンジンが、接触の中断点（星印によって図示）からキーの中心を通過する線までの距離に基づいて確率を求めることができる（ここで、距離Ｓ_１、Ｓ_２は、中心線Ｓ_１、Ｓ_２に垂直な方向の距離である）。これらの単純化されたモデルでは、ドラッグアンドリフトジェスチャの開始点及び終了点は無関係であるとみなされる。

単純化されたモデルは計算を必要としないが、正確ではない。距離及び方向を考慮に入れることによって、予測エンジンは、ユーザが意図した入力のより正確な予測を提供することができる。

代替的な実施形態では、入力選択肢の１次元選択、例えば文字の単一の線から１つの文字を選択することに基づいて（例えば図１ａからｃに関して異字に対して説明したように、関与する距離が、文字の線に沿った第１の選択事象と第２の選択事象間の距離のみである場合）、予測エンジンは、入力として開始位置ｘ_１及び終了位置ｘ_２を用いて、又は開始位置ｘ_１及び位置ｘ_１、ｘ_２の間の距離ｄを用いて、２Ｄガウス分布に従ってドラッグアンドリフトジェスチャをモデル化して、ユーザが文字選択肢を入力することを意図した確率を求めるように構成することができる。上述された単純なモデルに沿って、予測エンジンは、中断ポイント位置のみを考慮し中断ポイント位置とキーの中心の間の様々な距離に基づいて確率を求めることができる。

マルチタップ（空間的に離れている）
マルチ文字キー上のタップに対応する第１のユーザ選択事象に応答して、ユーザインタフェースは、一組の文字キーを介した選択に用いることができる選択肢を表示する（実施例を図２ｂに図示）。ユーザは、所望の文字キーをタップすることによって（タップ位置間の経路をたどることなく）表示された文字選択肢の１つを選択することができる。

ドラッグアンドリフト方式と同じ方式をマルチタップ方式に適用することができ、第１のタップ位置及び第２のタップ位置は、ドラッグの開始位置及びドラッグの終了におけるタッチスクリーンとの接触の中断位置と同様に考慮することができる。従って、予測エンジンは、入力として第１のタップ位置（ｘ_１、ｙ_１）及び第２のタップ位置（ｘ_２、ｙ_２）を用いた（又は入力としてｘ_１、ｙ_１、ｄ、θを用いて）４Ｄ分布に従ってダブルタップ入力をモデル化して確率を求めることができる。

更に、上記に示したように、予測エンジンは単純化されたモデルを使用することができ、例えば、２Ｄガウス分布を使用して点分布をモデル化し入力として第２のタップの２Ｄ位置を用いること、又は第２のタップの位置と文字キーの中心又はキーを通過する線までの距離を比較することなどによって、第１のタップ位置と無関係に第２のタップ位置をモデル化することができる。

更に、入力選択肢の１次元選択は、ダブルタップ方式に適用することができ、第１及び第２のタップの位置は、２Ｄガウス分布、又は確率が第２のタップ位置と文字キーの中心との間の距離に基づく単純な方式に関する入力として用いられる。

フリックジェスチャ
上述したように、マルチ文字キーから１つの文字を選択するためのドラッグアンドリフトジェスチャ又はダブルタップに加えて、ユーザインタフェースは、入力選択肢を選択するためにフリックジェスチャを受け付けるように構成することができる。本出願の文脈では、フリックジェスチャは、開始点及び方向的な移動量から構成されるジェスチャである。ユーザは、所望の入力文字にフリックを伸ばしてその文字を選択するように制約されているのではなく、移動の方向は、所望の文字を指示する程度である。

上述したように、マルチ文字キーの押下（又は、押下及び保持）に対応する第１のユーザ選択事象に応答して、公知のユーザインタフェースは、一組の文字キーを介したユーザ選択に用いることができる文字選択肢を表示する（実施例を図３ｂに図示）。文字入力選択肢を表示するためのマルチ文字キーの最初のタッチの観点から説明しているが、このユーザインタフェースの設計は、必須ではなく、例えば、マルチ文字キーは、選択するための方向をマルチ文字キー上に示して、利用可能な文字選択肢を表示することができる。

ユーザが入力を望む文字の方向にフリックすることによって、ユーザは所望の文字を入力することができる。

ユーザがフリックジェスチャを介して特定の文字を選択することを意図した確率は、フリックの開始点と、文字キーに対する公知の方向と比較したフリックの方向とに基づいてモデル化することができる。従って、複数の文字選択肢の各文字キーは、変数ｘ、ｙ、及びθを含む３Ｄ分布に従ってモデル化することができ、座標ｘ、ｙは、フリックジェスチャの開始のタッチ位置（すなわち、「第１のユーザ選択事象」）を表わし、θは、このタッチ位置からキーへのフリックの角度（所与の軸に対して規定）を表わす。

フリックの方向は、開始位置から離れたフリックの第２の位置（「第２のユーザ選択事象」）を用いることによって求められ、第２の位置は、ユーザがスクリーンとの接触を中断したフリックの終了位置であるのが好ましい。

予測エンジンは、パラメータｘ、ｙ、θを用いて、ユーザがフリックジェスチャを介してそのキーを選択することを意図した確率を各キーに関して求める（３Ｄ確率密度分布にパラメータを用いて問い合わせることによる）。

好ましい実施形態では、３Ｄ分布は、多変量ガウス分布である。しかしながら、円周上の変数に変換されたガウス分布に相当するフォンミーゼス分布を含む任意の適切な３Ｄ分布を使用することができる。

これは、フリックの距離を考慮に入れていない（ドラッグアンドリフトジェスチャの４Ｄモデルよりも）単純なモデルである。しかしながら、この単純なモデルは、多くのユーザインタフェース、例えば角度に伴う文字の曖昧性がないユーザインタフェース、すなわち、距離では互いに離れているが同じ角度の方向に沿った文字が複数存在しないユーザインタフェースには十分とすることができる。

本方式の利点は、距離並びに方向を考慮する方式と比較して単純化された計算である。しかしながら、本方式は一般的に正確ではない。

例えば、図５を参照すると、キーの中心までの距離が長くなるので、ユーザが中心の開始位置から半径方向に移動させるほど、２つの入力選択肢の区別が容易になる。従ってジェスチャの距離、並びに開始位置及び角度を調べることによって、予測エンジンは、ユーザが意図した入力選択肢を正確に予測することができる。

マルチ入力ターゲットの選択及びそのマルチ入力ターゲットからの１つの入力選択肢の選択のモデル化
上述したように、予測エンジンは、複数の入力選択肢から１つの入力選択肢を選択することをモデル化し、ユーザが複数の入力選択肢から特定の入力選択肢を選択することを意図した確率を求めるように構成され、複数の入力選択肢の１つは、ユーザによって実際に選択される。

本発明の予測エンジンは、マルチ文字キーの選択並びにマルチ文字キーからの１つの文字の選択に関する訂正モデル化を提供するように構成することができる。従って、予測エンジンは、ユーザが、実際に選択されたマルチ文字キー以外のマルチ文字キーから文字を入力することを意図した確率を予測するように構成されている。各マルチ文字キーは、キーに中心合わせされた２Ｄガウス分布（又は任意の２Ｄ分布）によってモデル化することができる。特定のマルチ文字キーの選択に対応するタッチ位置は、入力として用いることができ、ユーザがそのキーを選択することを意図した確率を返す（ガウス分布モデルに問い合わせることによる）。代替的に、選択事象のタッチ位置からマルチ入力ターゲットの中心までの距離を求めて関連する確率値を提供することができる。選択事象のタッチ位置は、ダブルタップ方式の第１のタップ、ドラッグアンドリフトジェスチャの開始位置、又はフリックジェスチャの開始位置に対応することができる。

このような実施形態では、予測エンジンは、Ｐ（文字キー｜ターゲットキー）＊Ｐ（ターゲットキー）としてマルチ文字キーの文字をユーザが選択することを意図した確率を求めるように構成されており、ここでＰ（文字キー｜ターゲットキー）は、特定のターゲットキー（例えば、４Ｄガウス分布方式によって決定された）が与えられた場合にユーザが特定の文字キーを選択することを意図した確率であり、Ｐ（ターゲットキー）は、選択されたターゲットキーが意図されたものである確率であり、これは２Ｄガウス分布モデル化によって求めることができる。

このようにして、予測エンジンは、ジェスチャを介してユーザが特定の文字キーを選択することを意図した確率を求め、他のマルチ文字キー選択肢に関してその特定の文字キーがどの文字に対応するかを求めることができる。

以前のユーザ入力のモデル化
上記に加えて、予測エンジンは、マルチターゲットキーとキーボードの文字キーとのユーザの対話履歴に基づいて選択事象における間違いをモデル化する、すなわち特定の文字キー表示が与えられた場合にユーザがどのように特定の文字キーを選択するかをモデル化する及び／又はユーザがどのようにマルチ文字キーを選択するかをモデル化するように構成することができる。

「ユーザ入力予測」という名称のＷＯ２０１２／１５６６８６は、ユーザに適応しユーザのテキスト入力方法を学習するシステムを記述している。ユーザのシステムとの対話履歴をモデル化することによって、ＷＯ２０１２／１５６６８６のシステムは、入力事象が与えられた場合にユーザが入力することを意図した文字を正確に予測することができる。同様の対話履歴モデル化は、上述したようにユーザがマルチ入力ターゲットから入力選択肢を選択することにおける間違いをモデル化するためのシステム及び方法に適用することができる。具体的には、同様の対話履歴モデル化を使用して、選択されたマルチ入力ターゲット及び／又は選択された入力選択肢をユーザが選択することを意図した確率を求めることができ、その確率は、１つ又はそれ以上のユーザ選択事象に関係付けられたタッチ位置に基づく。最後に、２０１２年１１月２２日に公開された「ユーザ入力予測」という名称のＷＯ２０１２／１５６６８６は、その全体が引用により本明細書に組み込まれる。

ＷＯ２０１２／１５６６８６の１４ページ１１行から１９行は、入力事象が与えられた場合、入力確率生成器が、各ターゲットｃに関して、ユーザが入力事象によってそのターゲットを選択することを意図した確率
を生成するシステムの実施例を提供する。所与のターゲットに関する確率値を生成するために、入力確率生成器は、そのターゲットのモデルへの問い合わせを行い、モデルパラメータの現在のＭＡＰ推定値、
を返す。次に入力確率生成器は、モデルパラメータを使用して、入力位置
で推定されるガウス分布確率密度関数の値、
を計算する。

本発明の文脈では、「入力事象」は、ユーザがマルチ文字キーから１つの文字を選択するためのドラッグアンドリフトジェスチャの開始位置及びリフト位置又はダブルタップ方式の２つのタップを表わす２つの位置に対応することができる。モデル
は、上記に説明したように４Ｄガウス分布であり、そのモデルへの問い合わせを行うために使用されるパラメータ
は、ｘ_１、ｙ_１、ｄ、θである。このように、マルチ文字ターゲットの各文字キーに関する固定パラメータを含む４Ｄガウス分布関数を使用するのではなく、予測エンジンは、そのキーのユーザ選択によって変化するパラメータを含む４Ｄガウス分布を使用する。

同様に、予測エンジンは、フリックジェスチャによるキーの以前のユーザ選択をモデル化するように構成することができ、予測エンジンは、所与のキーに関するユーザのフリック方法を考慮に入れた確率推定値を提供する。これは、特定のフリック方向がユーザにとって難しい場合に有用であり、そのキーに関する一般的なモデルの方向以外の方向に常に焦点が合わせられるフリックをもたらす。

第１及び第２のユーザ選択事象に関するタッチ／リフト位置が単独で処理される単純化された方式では、ＷＯ２０１２／１５６６８６に記載された方式を、第１のユーザ入力事象によるマルチ文字キーの選択及び第２のユーザ選択事象を介した文字選択肢の選択（選択事象がポイント位置として単独でモデル化される場合）に直接適用することができる。

ＷＯ２０１２／１５６６８６（１５ページの４−２２行）は、どのユーザ入力事象がどの文字に対応するかを認識するために（対応する文字モデルを更新するために）、テキスト予測を介して選択された文字がユーザ入力事象にどのようにマッピングされるかを記述している。同様のマッピング方式を本実施例に適用することができ、例えば、所与のドラッグアンドリフトジェスチャのパラメータを、ユーザが入力することを意図した文字に対応するキーにマッピングする。

ジェスチャの組合せ
上記の実施形態に加えて、選択事象としてドラッグアンドリフトジェスチャ並びにフリックジェスチャ及び／又はタップジェスチャを受け取るようにユーザインタフェースを構成することができる。

このような実施形態では、ユーザがジェスチャに基づいて特定の文字を入力することを意図した確率を求めるために、ユーザ選択事象が特定のジェスチャに対応する確率を求めるように予測エンジンを構成することができる。

ジェスチャに関する初期開始位置と接触が中断された位置との間の距離ｘが与えられた場合のドラッグアンドリフトジェスチャ事象の確率は、図７ａに示される確率関数によってモデル化することができる。図７ｂは、フリックジェスチャに関する例示的な確率関数を提供する。ジェスチャがフリックであるか或いはドラッグアンドリフトジェスチャであるかに基づいて、予測エンジンは、それぞれ３Ｄ又は４Ｄガウス分布を使用する。

この方法は、フリック又はドラッグアンドリフトジェスチャの確率が、開始位置から無視できる程度の距離ｘでは非常に小さくなるので、ユーザがマルチ入力キーをタップしてそのキーに関するデフォルト入力を挿入することを意図したか、或いはドラッグアンドリフト又はフリックしてキーの特定の入力を選択することを意図したかを判定するように使用することができる。図７ａ及び７ｂから分かるように、フリックジェスチャは、文字を選択するためには、一般的にドラッグアンドリフトジェスチャよりも短いジェスチャであるので、短いジェスチャをフリックジェスチャと決定することができ、長いジェスチャをドラッグアンドリフトジェスチャと決定することができる。

マルチタップ（文字循環）
上記の背景技術のセクションで説明したように、マルチタップ方式で所望の文字を入力するために、ユーザは、キーを所望の回数タップすることによって利用可能な文字選択肢を循環させる。ユーザが連続して素早くタップしている場合、ユーザは、文字を循環して所望の文字を選択することができる。図５ａに関して前述したように、公知のマルチタップ方式では、同じキー上のタップ間の経過時間が、入力選択肢を互いに区別する（すなわち、選択された文字を文字循環の次の文字に変更するか、或いは選択された文字を入力し新しい文字入力を開始するか）点において決定論的である。

本発明のマルチタップ（文字循環）態様では、キーストローク間の経過時間を使用して、ユーザが、最後のキーストロークを介して、新しい文字を入力することを意図したか或いは選択された現在の文字を変更することを意図したかを決定するための確率推定値を提供するために使用される。

本発明の好ましい実施形態では、予測エンジンは、シグモイド関数に従って、第１のタップ（すなわち、「第１のユーザ選択事象」）と所定の期間の期限との間の確率関数、Ｐ（ｔ）をモデル化するように構成されている。従って、本発明のシステムは、文字選択肢を循環させることによってユーザが新しい文字を開始すること又は現在の選択されている文字を訂正することを意図した確率を求めるために、（決定論的方式を実行するのではなく）期限切れの前の曖昧性を提供する。

適切な確率関数の実施例は、
であり、ｔは、第１のキー押下からの時間であり、ｔ_{ｐ＝０．５}は、確率関数が０．５の値を有する場合の時間であり、すなわち、ユーザが文字選択を循環させることを意図することと、同じキーから新しい文字サイクルを開始することを意図することの確率は、等しい。図６ｂに示された実施例では、経過時間に関する所定の閾値が４５０秒である場合、ｔ_{ｐ＝０．５}＝３００ｍｓである。

従って、ｔ_ｐは、予測エンジンが、それを超過すると、第２のタップ（すなわち、第２のユーザ選択事象）が既存の文字循環の文字を訂正するのではなく新しい文字循環を開始することを意図していると判定する閾値時間である。予測エンジンは、経過時間に関する閾値に向けて又はそれから離れてｔ_ｐをバイアスするように構成することができ、以前の文字を入力し新しい文字シーケンスを開始することに関しては、確率が１である。これは、ユーザが、様々な速度で連続的にタップを入力できるからである。閾値経過時間は、ユーザによって手動で変更すること又は事前に設定することができる。各マルチ文字キーに関するｔ_ｐ値を保持し選択的に更新するように予測エンジンを構成することができる。例えば、ユーザは、１つのマルチ文字キーが他のキーより難しい位置にあることを発見することできるが、これは、そのキーのタップが、より利用し易いキーよりも時間的に長い間隔が空けられていることを意味する。

従って、所定の有効期限に等しい又はそれより長い期間によって時間的な間隔が空けられていない２つのタップに関して、２つの可能性のある入力選択肢が存在する。例えば、ユーザがキーＡ｜Ｂ｜Ｃをダブルタップした場合、予測エンジンは以下の２つの入力を提供する。
Ｐ（Ｂ）＝１−Ｐ（ｔ１）
Ｐ（Ａ，Ａ）＝Ｐ（ｔ１）
ここで、ｔ_１は第１及び第２のタップ間の期間であり、Ｐ（Ａ，Ａ）は、ユーザが文字「Ａ」を二回入力することを意図した確率であり、Ｐ（Ｂ）はユーザが文字「Ｂ」を入力することを意図した確率である。

更なるタップ（すなわち２より多い）が存在する場合、予測エンジンは、新しいタップが、新しい文字であることが意図されているか、又は以前の別の選択肢の各々に対する既存の文字の変更であることが意図されているかどうかを考慮に入れ、例えばキー「Ａ｜Ｂ｜Ｃ」の第３のタップに関して、ｔ２が、第２のタップと第３のタップとの間の時間であり、
Ｐ（Ｃ）＝（１−Ｐ（ｔ_１））＊（１−Ｐ（ｔ_２））
Ｐ（Ｂ，Ａ）＝（１−Ｐ（ｔ_１））＊Ｐ（ｔ_２）
Ｐ（Ａ，Ｂ）＝Ｐ（ｔ_１）＊（１−Ｐ（ｔ_２））
Ｐ（Ａ，Ａ，Ａ）＝Ｐ（ｔ_１）＊Ｐ（ｔ_２）
である。

必要とされる計算量を削減するために、考慮される可能性のある文字入力選択肢の数を枝刈りするように予測エンジンを構成することができる。好ましい実施形態では、予測エンジンは、各キー押下に関してＮ個の最有力候補文字を取り入れるように構成される。代替的に、予測エンジンは、関連する確率が閾値確率値を超えた文字のみを保持するように構成することができ、この閾値は、所定の水準に経験的に設定される、使用での経験によって決定される、或いはメモリ又はプロセッサの制約のようなデバイス制約を動的に使用して設定される。

文字を循環させるこのマルチタップ方式では、同じキー上での複数のタップはそのキーの選択に対応し、それらのタップ位置の間での任意の差分は、一般的には無視できる程度であるので無視されると仮定される。しかしながら、必要に応じて、本明細書で説明するように、ユーザがそのマルチキーを選択することを意図した確率（２Ｄガウス分布方式を介して）、並びにユーザがそのキーの文字を循環させることを意図した確率が考慮される。

本発明は更に、予測エンジンを使用して、ユーザが特定の入力選択肢を選択又は識別することを意図した確率を求めるための対応する方法を提供する。

本発明の方法の第１の態様では、予測エンジンを使用して、ユーザが、マルチ入力キーを介して利用可能な複数の入力選択肢を表示するユーザインタフェースの入力を選択することを意図した確率を求めるための方法が提供される。図８に関して、本方法は、マルチ入力ターゲットを選択するための第１のユーザ選択事象をユーザインタフェースで受け取る段階（１０）と、第１のユーザ選択事象から空間的に離れ、表示された複数の入力選択肢の入力を選択するための第２のユーザ選択事象をユーザインタフェースで受け取る段階（２０）と、第２のユーザ選択事象に基づいて、ユーザが選択された入力確率以外の複数の入力の１つの入力を選択することを意図した確率を求める段階（３０）とを含む。

本発明の方法の第２の態様では、予測エンジンを使用して、ユーザインタフェース上での第１のユーザ選択事象及び第２のユーザ選択事象に基づいて、ユーザが２つの入力選択肢の１つを選択することを意図した確率を求める方法が提供され、ユーザインタフェースは、ユーザ選択による入力に用いることができる複数の入力選択肢に関連付けられたマルチ入力ターゲットを含む。図９に関して、本方法は、マルチ入力ターゲットで指示された第１のユーザ選択事象をユーザインタフェースで受け取り、複数の入力選択肢の第１の入力を識別する段階（１００）と、マルチ入力ターゲットの第２のユーザ選択事象を第２のユーザインタフェースで受け取り、識別された入力を複数の入力選択肢の第１の入力から第２の入力に変更する段階（２００）と、予測エンジンを使用して、第１のユーザ選択事象と第２のユーザ選択事象との間での経過時間を決定する段階（３００）と、予測エンジンを使用して、経過時間が所定の閾値よりも短いことを判定する段階（４００）と、経過時間に基づいて、ユーザが第２の入力を選択することを意図した確率、及びユーザが第１の入力を入力し次に第１の入力を再度選択することを意図した確率を求める段階（５００）とを含む。経過時間が所定の閾値よりも長い場合、第１の入力が１の確率でシステムに入力され、第１の入力が再度選択されるように、所定の閾値が設定される。

本発明の方法の他の態様は、上記のシステムの説明から類推して容易に明らかにすることができる。

本発明は更に、本発明による方法の１つ又はそれ以上をプロセッサに実行させるためのコンピュータプログラム手段が格納されたコンピュータ可読媒体を含むコンピュータプログラム製品を提供する。

コンピュータプログラム製品は、データ記憶媒体の外部のプロセッサ、すなわち電子デバイスのプロセッサに、本発明による方法を実行させるためのコンピュータプログラム手段が格納されたデータ記憶媒体とすることができる。コンピュータプログラム製品は、例えば記憶媒体から或いはインターネット又は他の利用可能なネットワークによって供給者からダウンロードでき、例えば移動デバイス（携帯電話又はタブレットなど）にアプリケーションとしてダウンロードするか、或いはコンピュータ、モバイル機器、タブレット又はダウンロードされた後にコンピュータプログラム手段を実行するためのプロセッサを含むコンピュータにダウンロードすることができる。

単に一例として本発明を説明したが、特許請求の範囲に規定される本発明の範囲から逸脱することなく、説明した実施形態に変更及び修正を行うことができることが理解されるであろう。

Claims (37)

1. ユーザ選択による入力に用いることができる複数の入力選択肢に関連付けられたマルチ入力ターゲットを含むユーザインタフェースを備えるシステムであって、
   前記ユーザインタフェースは、
   第１のユーザ選択事象の受け取り時に前記マルチ入力ターゲットを選択し、
   前記第１のユーザ選択事象から空間的に離れている第２のユーザ選択事象の受け取り時に前記複数の入力選択肢から１つの入力を選択するように構成されており、
   前記システムは、
   前記ユーザが前記選択された入力以外の前記複数の入力から１つの入力を選択することを意図した確率を、前記第２のユーザ選択事象に基づいて求めるように構成されている予測エンジンを含む、システム。
2. 前記予測エンジンは、前記第１のユーザ選択事象及び前記第２のユーザ選択事象に基づいて、前記ユーザが前記選択された入力以外の前記複数の入力から１つの入力を選択することを意図した確率を求めるように構成されている、請求項１に記載のシステム。
3. 前記予測エンジンは、前記第１のユーザ選択事象の位置及び前記第２のユーザ選択事象の位置を使用して前記確率を求めるように構成されている、請求項２に記載のシステム。
4. 前記第１のユーザ選択事象は、第１のタップ又はドラッグアンドリフトジェスチャの開始に対応し、前記第２のユーザ選択事象は、第２のタップ又は前記ドラッグアンドリフトジェスチャのリフトに対応する、請求項３に記載のシステム。
5. 前記予測エンジンは、前記第１のユーザ選択事象の位置と第２のユーザ選択事象の位置との間の距離及び方向を決定するように構成されている、請求項３に記載のシステム。
6. 前記予測エンジンは、前記複数の入力の各入力に関する４Ｄ確率分布モデルを含む、請求項３、４、又は５に記載のシステム。
7. 前記予測エンジンは、前記ユーザが前記複数の入力から１つの入力を選択することを意図した確率を、その入力に関連付けられたモデルに、前記第１の位置及び第２の位置を問い合わせることによって、又は、前記第１の位置及び、前記第１の位置と第２位置との間の距離及びその方向を問い合わせることによって求める、請求項６に記載のシステム。
8. 前記モデルは４Ｄガウス分布である、請求項６又は７に記載のシステム。
9. 前記第１のユーザ選択事象は、フリックジェスチャの開始に対応し、前記第２のユーザ選択事象は、前記フリックジェスチャの終了に対応し、前記予測エンジンは、
   前記開始及び終了の位置から前記フリック方向を決定し、
   前記ユーザが前記複数の入力から１つの入力を選択することを意図した前記確率を、前記フリックの開始の位置及び前記フリックの方向に基づいて求めるように構成されている、請求項３に記載のシステム。
10. 前記予測エンジンは、ユーザが前記複数の入力選択肢の各々に関して所与の入力選択肢を選択することを意図した確率を生成する、請求項１から９のいずれか一つに記載のシステム。
11. 前記ユーザインタフェースは、複数のマルチ入力ターゲットを含み、前記予測エンジンは更に、
    前記ユーザが前記選択されたマルチ入力ターゲットを選択することを意図した確率を、前記第１の選択事象に基づいて求めるように構成されている、請求項１から１０のいずれかに記載のシステム。
12. 前記ユーザインタフェースは、前記第１のユーザ選択事象に応じて、空間的に離れた前記複数の入力選択肢を表示するように構成されている、請求項１から１１のいずれかに記載のシステム。
13. 前記予測エンジンは、複数のモデルを含み、その１つが前記複数の入力の各入力選択肢に対応し、各モデルは、前記複数の入力からの１つの入力に対応する以前の第１及び第２のユーザ選択事象をその入力に関係付けし、前記予測エンジンは、前記複数のモデルに関して、前記第１及び第２のユーザ選択事象が前記複数の入力の特定の入力に関係する確率を生成するように構成されている、請求項２から１２のいずれかに記載のシステム。
14. 前記マルチ入力ターゲットは、複数の文字入力選択肢を表わす仮想的なキーボード上のマルチ文字キーである、請求項１から１３のいずれかに記載のシステム。
15. ユーザ選択による入力に用いることができる複数の入力選択肢に関連付けられたマルチ入力ターゲットを含むユーザインタフェースを含むシステムであって、
    前記ユーザインタフェースは、
    前記マルチ入力ターゲットで指示された第１のユーザ選択事象の受け取り時に、前記複数の入力選択肢の第１の入力を識別し、
    前記マルチ入力ターゲットで指示された第２のユーザ選択事象の受け取り時に、前記識別された入力を前記第１の入力から前記複数の入力選択肢の第２の入力に変更するように構成され、
    前記システムは、予測エンジンを含み、該予測エンジンは、
    前記第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間を決定し、
    前記経過時間が所定の閾値よりも短いことを判定し、
    前記ユーザが前記第２の入力を選択することを意図した確率及び前記ユーザが前記第１の入力を入力し次に前記第１の入力を再度選択することを意図した確率を、前記経過時間に基づいて求めるように構成されており、
    前記所定の閾値は、前記経過時間が前記所定の閾値よりも長い場合、前記第１の入力が１の確率で前記システムに入力され、前記第１の入力が再度選択されるように設定される、システム。
16. 前記マルチ入力ターゲットは、複数の文字入力選択肢を表わす仮想的なキーボード上のマルチ文字キーである、請求項１５に記載のシステム。
17. 前記第１のユーザ選択事象は、前記第１の入力を選択する前記マルチ文字ターゲット上の第１のタップに対応し、前記第２のユーザ入力事象は、前記選択された入力を前記第２の入力に変更する前記マルチ文字ターゲット上の第２のタップに対応する、請求項１６に記載のシステム。
18. 前記第１のユーザ選択事象と前記所定の閾値との間の確率は、シグモイド関数によってモデル化される、請求項１５から１７のいずれかに記載のシステム。
19. 前記シグモイド関数は、式
    を用い、Ｐは、前記ユーザが前記第２の入力を入力することを意図した推定確率であり、ｔは、前記第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間であり、ｔ_{ｐ＝０．５}は、前記モデル化された確率分布における確率が０．５に等しい場合の経過時間である、請求項１８に記載のシステム。
20. ユーザがマルチ入力キーを介して利用可能な複数の入力選択肢を表示するユーザインタフェースの入力を選択することを意図した確率を、予測エンジンを使用して求める方法であって、該方法は、
    第１のユーザ選択事象を前記ユーザインタフェースで受け取り、前記マルチ入力ターゲットを選択する段階と、
    第２のユーザ選択事象を前記ユーザインタフェースで受け取り、前記第１のユーザ選択事象から空間的に離れ、表示された前記複数の入力選択肢から１つの入力を選択する段階と、
    前記ユーザが前記選択された入力確率以外の前記複数の入力から１つの入力を選択することを意図した確率を、前記第２のユーザ選択事象に基づいて求める段階と、
    を含む方法。
21. 前記確率は、前記第１のユーザ選択事象及び前記第２のユーザ選択事象に基づいて求められる、請求項２０に記載の方法。
22. 前記確率は、前記第１のユーザ選択事象の位置及び前記第２のユーザ選択事象の位置を使用して求められる、請求項２１に記載の方法。
23. 前記第１のユーザ選択事象は、第１のタップ又はドラッグアンドリフトジェスチャの開始に対応し、前記第２のユーザ選択事象は、第２のタップ又は前記ドラッグアンドリフトジェスチャのリフトに対応する、請求項２２に記載の方法。
24. 前記方法は、前記第１のユーザ選択事象の位置と第２のユーザ選択事象の位置との間の距離及び方向を決定する段階を含む、請求項２３に記載の方法。
25. 前記予測エンジンは、前記複数の入力の各入力に関する４Ｄ確率分布モデルを含む、請求項２２、２３、又は２４に記載の方法。
26. 前記ユーザが前記複数の入力から１つの入力を選択することを意図した確率を求める段階は、その入力に関連付けられたモデルに、前記第１の位置及び第２の位置を問い合わせる、又は、前記第１の位置及び、前記第１の位置と第２の位置との間の距離及びその方向を問い合わせる段階を含む、請求項２５に記載の方法。
27. 前記モデルは４Ｄガウス分布である、請求項２５又は２６に記載の方法。
28. 前記第１のユーザ選択事象は、フリックジェスチャの開始に対応し、前記第２のユーザ選択事象は、前記フリックジェスチャの終了に対応し、前記方法は、
    前記予測エンジンを使用して前記フリックの方向を決定する段階と、
    前記ユーザが前記複数の入力から１つの入力を選択することを意図した確率を、前記フリックの開始の位置及び前記フリックの方向を使用して求める段階と、
    を含む、請求項２２に記載の方法。
29. ユーザが前記複数の入力選択肢の各々に関して所与の入力選択肢を選択することを意図した確率を求める段階を含む、請求項２０から２８のいずれかに記載の方法。
30. 前記ユーザインタフェースは、複数のマルチ入力ターゲットを含み、前記予測エンジンを使用して求める段階は更に、前記ユーザが前記選択されたマルチ入力ターゲットを選択することを意図した確率を、前記第１の選択事象に基づいて求める段階を含む、請求項２０から２９のいずれかに記載の方法。
31. 前記予測エンジンは、複数のモデルを含み、その１つが前記複数の入力の各入力選択肢に対応し、各モデルは、前記複数の入力からの１つの入力に対応する以前の第１及び第２のユーザ選択事象をその入力に関係付けし、前記予測エンジンは、前記複数のモデルに関して、前記第１及び第２のユーザ選択事象が前記複数の入力の特定の入力に関係する確率を生成するように構成されている、請求項２１から３０のいずれか記載の方法。
32. ユーザがユーザインタフェース上の第１のユーザ選択事象及び第２のユーザ選択事象に基づいて２つの入力選択肢の１つを選択することを意図した確率を、予測エンジンを使用して求める方法であって、
    前記ユーザインタフェースは、ユーザ選択による入力に用いることができる複数の入力選択肢に関連付けられたマルチ入力ターゲットを含み、
    前記方法は、
    前記マルチ入力ターゲットで指示された第１のユーザ選択事象を前記ユーザインタフェースで受け取り、前記複数の入力選択肢の第１の入力を識別する段階と、
    前記マルチ入力ターゲットでの第２のユーザ選択事象を第２のユーザインタフェースで受け取り、前記識別された入力を前記第１の入力から前記複数の入力選択肢の第２の入力に変更する段階と、
    前記第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間を、前記予測エンジンを使用して決定する段階と、
    前記予測エンジンを使用して、前記経過時間が所定の閾値よりも短いことを判定する段階と、
    前記ユーザが前記第２の入力を選択することを意図した確率及び前記ユーザが前記第１の入力を入力し次に前記第１の入力を再度選択することを意図した確率を、前記経過時間に基づいて求める段階と、
    を含み、
    前記所定の閾値は、前記経過時間が所定の閾値よりも長い場合、前記第１の入力は１の確率で前記システムに入力され、前記第１の入力が再度選択されるように設定される、方法。
33. 前記マルチ入力ターゲットは、複数の文字入力選択肢を表わす仮想的なキーボード上のマルチ文字キーである、請求項３２に記載の方法。
34. 前記第１のユーザ選択事象は、前記第１の入力を選択する前記マルチ文字ターゲット上の第１のタップに対応し、前記第２のユーザ入力事象は、前記選択された入力を前記第２の入力に変更する前記マルチ文字ターゲット上の第２のタップに対応する、請求項３３に記載の方法。
35. 前記第１のユーザ選択事象と前記所定の閾値との間の確率は、シグモイド関数に従って、前記予測エンジンによってモデル化される、請求項３２から３４のいずれかに記載の方法。
36. 前記シグモイド関数は、式
    を用い、Ｐは、前記ユーザが前記第２の入力を入力することを意図した推定確率であり、ｔは、前記第１のユーザ選択事象と第２のユーザ選択事象との間の経過時間であり、ｔ_{ｐ＝０．５}は、前記モデル化されたシグモイド確率分布における確率が０．５に等しい場合の経過時間である、請求項３５に記載のシステム。
37. 請求項２０から３６のいずれかの方法をプロセッサに実行させるためのコンピュータプログラム。