本発明によるデータ入力システムは、少数化したキー(例えば、ハードキー、ソフトキー、仮想的な複製キー、等)を用いて(例えば、それらのキーを有するキーパッドを用いて)、少なくとも任意の文字/テキストを入力するシステムを開示する。このデータ入力システムは少なくとも1つの言語のアルファベット文字を少なくとも備える多数の記号を使用でき、文字の少なくとも2つが少なくとも1つのキーに割当て可能なように記号をキーに分散的に割り当てることができる。
本システムにおいてキーの押下動作のような(例えば、予め定義された)対話は、キーに割り当てた任意の記号/文字に曖昧に対応できる(例えば、本特許出願において、キーを「曖昧である」と称し、対話を「曖昧な」対話と称することができる)。例えば、前述のように、キーに割り当てた(例えば文字のような)記号の1つを入力するため、ユーザはキーの押下動作のようなキーとの予め定義された対話をし、記号に対応する音声情報を与えて(例えば、文字(例えば、その呼称)を発話して)、キー(との対話)に割り当てた記号(例えば、文字)の中から記号(例えば、文字)を選択することができる。この場合、音声情報をユーザの声及び/又はユーザの唇の動きのうち少なくとも1つに基づいて検出及び分析できる。
記号の数は、英数字、句読点、テキストの入力又は編集、あるいはコンピュータの操作のいずれかに対するコマンドといった、実質的にすべての基本記号を含むことができることに留意しなければならない。例えば、句読点文字を入力するため、ユーザは対応するキーを押下し、その文字を発話できる。マクロ、単語の一部分、等のような他の記号を、少数化したキーに分散的に割り当てることもできる。
音声がないことも音声情報として考慮できる。キーに割り当てた少なくとも1つの記号を、音声がない状態で前記キーとの予め定義された対話を与えることで入力することができ、音声がない状態をシステムが検知できる。例えば、キーに割り当てた予め定義された句読点を入力するために、ユーザはその文字に対応する予め定義されたキー押下動作を発話なしで使用することができる。
1つの方法によると、少数化したキーは電話型のキーパッドを再現することができる。この文字割当ては電話型のキーパッドの文字割当てに類似してもよい。
別の方法によると、アルファベット文字を少数化したキーのうち4つのキーに割り当てることができる。
1つの方法によると、曖昧に類似する予め定義された音声を有し、かつ対応する音声を通して互いを区別することが困難である文字のような記号を、互いから切り離して異なるキーに割り当てることができる。
また、単語の少なくとも一部分の入力のような他の関連入力技術(例えば、対応する音声情報と組み合わせた1つ又は複数の対応キーの押下/グライド動作を用いた部分毎データ入力システム(例えば、音声がない状態も音声情報とみなされるように予め定義できる))を詳細に説明する。(例えば、ハード、ソフト/スクリーン上の)フルPCキーボード及び/又は手書き認識システムのような他のデータ入力方法を本明細書では、本発明の(例えば、押下及び発話)データ入力システムと組合せ/併用してテキスト/データを入力することができる。
(例えば、正確な文字を与える)データ入力システムを、単語予測システム(例えば、単語のキャラクタ/文字に対応する曖昧なキーの押下動作と、かつ単語と対応する各単語のキー押下情報とのデータベースの使用に基づく単語予測システム。その単語予測システムの原理は当業界の技術者に公知である。)の原理と組み合わせて、(例えば、非常に)少数のキー(例えば、明らかに少なくとも幾つかのキーは曖昧なキーである)を用いて(例えば、候補語の中から単語を選択するためのユーザの音声又はユーザの対話を最小化するように、ユーザの対話を最小化することができる)非常に正確なデータ/テキスト入力システムを与えることができる。本発明の押下‐発話データ入力システムを用いることで、ユーザは単語の少なくとも1つの正確な文字を与えることができ、単語の残りの文字に対応する(曖昧な)キーを押下して単語を入力できる。単語の少なくとも1つの正確な文字を考慮し、その単語の残りの文字に対応するキー押下を考慮することで、このシステムは対応する単語をより正確に予測することができる。
本発明の(例えば、発話/発話なしの)押下/グライド及び音声情報のデータ入力システムは、(曖昧なキーを有する)キーパッドに与えたキー押下に基づく単語予測システムのような他のデータ入力システムとの組合せが可能である。キー押下(例えば、キー押下のみに)に基づく単語予測システムの原理は当業界の技術者には公知である。ある言語の単語を、その単語の(好ましくは開始)文字(又はキャラクタ(単語は、文字以外にキャラクタを含んでもよい))の少なくとも1つを正確に入力し、その単語の他の文字(又はキャラクタ)に対応するキー押下のみを(発話なしで)与える本発明の押下/グライド及び発話データ入力システムを用いて入力できる。例えば、単語「ball」を入力するためにユーザは単語の先頭文字(例えば、「b」)を、電話型キーパッドを用いて文字に対応するキーを押下して文字に対応する音声を与えることで入力でき、(例えば、次に)単語の他の文字(例えば、本例では文字列「all」)に対応するキーを発話なしで押下できる。この例では、(例えば、発話なしで)一連のキー押下のみを単語「ball」の(例えば、対応する)すべての文字(文字「b」を含む)に与えることは、単語「call」に対応するかもしれない。しかしながら、上記例においては、先頭文字「b」が正確に入力されるので、システムは単語「call」とは考えない。別の例によると、同一のキーパッドを用いて単語「home」を入力するために、ユーザは先頭文字「ho」に対応するキーを発話なしで最初に押下できる。ユーザは次いで次の文字「m」に対応するキーを押下し、その文字を発話する(例えば、正確に文字を入力する)ことができる。次いでユーザは最後の文字「e」に対応するキーを発話なしで押下することができる。一連のキー押下は単語「gone」にも対応しうるが、システムは所望の単語の3番目の文字が文字「m」であると正確に認識しているので、単語「home」が選択/入力される。
単語の少なくとも(例えば、先頭)文字を正確に与えること(からなる第1の情報の種類を考慮すること)、また残りのキー押下(例えば、単語の残りの文字に対応するキー押下)を与えること(からなる少なくとも第2の情報の種類を考慮することと組み合わせること)により、大抵の場合は、システムは組み合わせた情報に一致する所望の対応する単語を自身の単語辞書内に見つけることができる。この例において、文字「b」を正確に入力することで、システムは更なるユーザの対話(例えば、「Select」キーを押下して別の選択肢にスクロールすること)を必要とせずに単語「ball」を選択する。
1つの方法によると、ユーザは単語の文字に対応するキー押下を与え、ユーザの音声が対応するキー押下と同期されていない(例えば、同時に与えられない)場合でもキー押下中にその文字のうち任意のものを発話できることに留意されたい。
本発明の一実施形態によると、ユーザは単語の文字に対応するキー押下を与え、その単語を発話ことができる。
キー押下情報に基づく単語予測システムは、少なくとも単語辞書及び対応するキー押下のデータベースとを使用する。
本発明の一実施形態によると、テキストの入力中にユーザは単語(例えば、辞書内に存在する単語、辞書外の単語、単語辞書に存在しない文字列、等)を、単語の文字/キャラクタに対応するキー押下を与えること、及び単語(例えば、単語の文字)に対応する音声情報を与えることにより入力できる。他方、ユーザが望む場合、ユーザは対応するキー押下を入力(例えば、提供)することにより、辞書に存在する単語を入力できる(例えば、単語の文字に対応するキー押下のみを与えることは、システムの単語データベース内部にある多数の単語(例えば、選択肢)に対応するかもしれない)。例えば正確性向上及び選択肢の数の最小化のため、単語の開始(及び/又は中間、及び/又は最後)のキー(単語の先頭及び/又は中間、及び/又は最後の文字に対応するキー)の押下中に、ユーザはその単語の先頭(及び/又は中間、及び/又は最後)の文字を発話することができる(例えば、上述のように、単語の少なくとも1つの文字に対応するキー押下及び音声を与えることで、その少なくとも1つの文字を正確に入力できる)。したがって、少なくとも1つの文字と単語の残りの文字に対応するキー押下とを考慮することで、選択肢の数(例えば、単語候補)を劇的に削減できる。本出願を通し、上記システムを「組合せデータ入力システム」又は単にデータ入力システムと称し、特に述べない限り本発明のコンテキストにおいてそれらの用語を置き換え可能な状態で使用する。
上記組合せデータ入力システムの基本的前提は、例えば本明細書に記載した本発明者出願の引用で既に説明されており、本発明の実施形態は上記の組合せデータ入力システムを拡張するシステム及び方法を構成する。
(例えば、本発明の部分毎データ入力システムとして述べた)少なくとも単語の一部分のデータ入力方法を組み合わせることで、テキストの入力を可能とする本発明の押下‐発話データ入力システムが、本明細書に記載した本発明者出願の引用で詳細に説明されている。本発明の単語予測データ入力システムの一実施形態によると、1つの文字を入力する代わりに、ユーザは単語の少なくとも(例えば、先頭)部分を正確に入力するため本発明の押下/グライド及び音声データ入力システムを用いて単語の一部分を入力し、その単語の他の文字に対応するキー押下のみを(例えば、発話なしで)与えることができる。例えば、単語「predefined」を入力するために、ユーザはキーパッドの対応するキーに押下/グライド動作を行うことで「pre」の部分を入力してその部分を発話し、次いで発話なしで単語の残りの文字「defined」に対応するキーを押下することができる。明らかに、単語の残りの文字に対応するキー押下動作中に、ユーザが望むならばキー押下に対応する少なくとも幾つかの文字に対応する音声を与え(例えば、文字を発話し)、その少なくとも幾つかの文字を正確に入力することができる。
前述のように、(例えば、組合せ)システムを用いることで、ユーザは(例えば、発話なしで)キー押下のみに基づいてテキストの一部分を入力してもよい。例えば、ユーザは予め、ユーザが入力しようとしている単語がそのキー押下のみに基づいて組合せシステムにより認識可能であることを知ることができる。この場合、ユーザは単語の入力中に音声を与えなくともよい。例えば、電話型キーパッドを用いることで、単語「array」を(文字を発話する必要なしに)その文字のみに対応するキー押下に基づいて認識できる。
上述のシステムを、電話型キーパッドのような予め定義されたキーパッド、又は本明細書で記載した本発明者出願の引用で説明されるキーパッドのような、他のキーパッドが使用可能であることは理解されよう。キーパッドは任意の予め定義された数のキーを有することができる。図1aから図1cは、先行特許出願で示され、説明された、それぞれ少なくとも12、6、及び4つのキーを有する3種類のキーパッドを示す。図1aは電話型キーパッドを示す。図1bは少なくとも6つのキーを有するキーパッドを示し、その6つのキーは少なくとも言語のアルファベット文字を表す。一方では、互いに関連する曖昧に類似した音声を有する文字が(例えば予め詳細に説明した)異なるキーであるか、又は好ましくは異なるキーに割り当てられるように、文字をキー上に配置するか又はキーに割り当てることが望ましい。他方では、システムの(例えば、英語)単語辞書データベースの単語に対応するキー押下(例えば、キー押下値)が、同一の(例えば、一連の)キー押下(例えば、キー押下値)を有する単語の最小(例えば、紛らわしさを軽減した)グループを与えるように、文字を配置することができる。図1cは少なくとも4つのキーを有するキーパッドを示し、その4つのキーは少なくとも言語のアルファベット文字を表す。一方では、互いに関連する曖昧に類似した音声を有する文字が(例えば予め詳細に説明した)異なるキーであるか、又は好ましくは異なるキーに割り当てられるように、文字をキー上に配置するか又はキーに割り当てることが望ましい。他方では文字は、システムの(例えば、英語)単語辞書データベースの単語に対応するキー押下(例えば、キー押下値)が、同一の(例えば、一連の)キー押下(例えば、キー押下値)を有する単語の最小(例えば、紛らわしさを軽減した)グループを与えるようなものであるか、又は文字をそのように配置してもよい。
より多くのキーを用いてより小規模な(例えば、より少ない)数の言語の文字をキーの各々に割り当てる(例えば、表現する)ことで、単語を入力するためにユーザが与えたキー押下(提供される場合はそれとともに音声)の情報に対応して選択される単語候補の数が最小化されることが理解されよう。
本発明の一実施形態によると、単語に対応するキー押下を入力し、単語の少なくとも1つの(例えば、先頭)文字に対応する音声を与えた後、単語末尾信号を与えることができる。この信号は、単語の末尾に空白文字を入力する「Space」キーの押下でもよい。別の方法によると、単語の末尾に空白文字を含まないような別の単語末尾信号を与えることができる。例えば、単語の後に(例えば、予め定義された)PCキーボードコマンド又は関数又は(例えば、予め定義された)句読点文字を入力することで、単語末尾信号とみなすことができる。
別の方法によると、ユーザは本発明の押下/グライド及び発話データ入力システムを用いて単語の最初の文字/部分を入力し、発話なしで単語の残りの文字に対応するキーを押下し、キー押下の最後で(単語末尾信号を与えずに)、ユーザは本発明の押下/グライド及び発話データ入力システムを用いて第2の単語の最初の文字/部分を入力することで次の単語の入力に進むことができ、第2の音声が次の単語の少なくとも先頭文字に対応することを理解するようシステムを予め定義することができる。したがって音声に対応する第1のキー押下(例えば、第1のキー押下から開始するキー押下)は次の単語に属することができる。これは第1の単語に対する単語末尾信号とみなすことができる。次いで、1つの予め定義された方法によると、システムは単語間に空白文字を入力することができる(例えば、自動的なスペーシング手順)。別の予め定義された方法によると、システムは(例えば、互いに対して単語を連結するために)単語間に空白文字を入力しない。
別の方法によると、2つの単語入力の間における少なくとも予め定義されたラップ時間の一時停止を、単語の第1の単語に対する単語末尾信号として考慮できる。
上述のように、単語の入力に本発明の単語予測システムを用いることで、ユーザがキー押下情報(例えば、及び最終的には、単語の少なくとも1つの文字に対応する音声情報のような、正確な文字を入力するための追加情報)を与えた後、ユーザの情報があれば、システムからの少なくとも3種類のフィードバックのうち少なくとも1つが存在しうる。すなわち、
1−システムは1つの単語のみをユーザの情報に関連付ける。その単語を最終結果として入力することができる。
2−システムは少なくとも2つの単語の選択結果をユーザが与えた情報に関連付けることができる。システムを予め定義して、選択結果内の他の単語に対して最優先度を有する単語をユーザに提示(例えば、強調表示)できる。その単語がユーザが入力を意図したものである場合、1つの方法によると、ユーザはテキストの次の部分(例えば、単語)の入力に進むことができ、システムは自動的にその単語を入力する。入力した単語がユーザが入力を望むものではない場合、1つの方法によると、システムが選択結果の単語の中から該当する単語を認識するように例えばキーを押下(及び保持)し、所望の単語の(先頭)文字の少なくとも幾つかを発話することで、ユーザは選択/補正キーのような選択/補正手段を使用することができる。ユーザは所望の単語の少なくとも幾つかの(先頭)文字を発話する間、その単語に対応するキー押下を再度入力しなくともよいことは理解されよう。補正方法に対して、システムは元のキー押下情報と音声情報を補正手順に使用することができる。補正音声情報の提供の最後に、ユーザは補正キーを放すことができる。キーを押下(及び保持)することで、システムに補正音声手順の開始(及び終了)を知らせることができる。不要に長い補正音声を回避するため、システムは選択結果のすべての単語をユーザに提示し、その結果、ユーザは必要でなければ、選択結果の文字すべてを発話する前に発話を止めたり、二重押下動作、グライド動作、等のような他の手段を押下(及び保持)動作の代わりに使用できることは理解されよう。
別の方法によると、補正/選択キーを使用する代わりに、ユーザはマウスポインタの使用によるスタイラスペン、等のようなポインティングデバイスで単語をポインティングし、音声情報を与えることができる。補正手順の最後に、ユーザはポインティング手順を終了できる。ポインティング状況におけるその手段をポインティングする(及び保持する)ことで、システムに補正音声手順の開始(及び終了)を知らせることができる。候補単語の中から所望の単語の文字を発話する代わりに、ユーザはその単語を発話できる。
別の選択方法によると、システムが少なくとも2つの単語の選択結果をユーザの情報に対して関連付け/選択し、及びユーザに対して提示(例えば、強調表示)した(例えば、そのように予め定義した)単語が、ユーザが入力を意図したものではない場合、ユーザは(例えば、多方向)キーのような手段を使用して、選択した単語の中をナビゲートしてユーザが望む単語を選択することができる。単語を多数の選択した単語から選択するためにナビゲート/切替キーを用いる実証方法及び選択方法は、当業界の技術者に公知である(例えば、ポップアップリスト、ポップアップメニューを上下にナビゲートすること、等)。
3−システムは所望の単語(例えば、辞書外の単語)入力に与えられたユーザの情報に対して単語を照合させなくともよく、1つの方法によると、ユーザは例えば補正キーを押下(及び保持)することで補正手段を使用し、対応するキー押下を再度与えずに単語のキャラクタ(例えば、文字)を発話できる。システムは元のキー押下情報と音声情報とを補正手順中に使用して単語を入力することができる。ユーザが望むならば、単語は(例えば、自動的、又は手動的に)辞書に追加可能であることは理解されよう。
辞書の単語に与えた、又は割り当てた(例えば、使用頻度に基づく)優先度は、本発明の組合せデータ入力システムをユーザがより良く受け入れる上で重要な問題かもしれない。ユーザが与えたキー押下(及び音声)情報に関連して、システムが単語グループから選択した単語をユーザが介入して選択することを最小限にするように、優先度を割り当てることができる。例として、図2は単語辞書データベース12600のページを示す。列12601はデータベースの幾つかの単語を示す。列12602は互いに関する単語の使用頻度値を示す。使用頻度値を、単語に割り当てた優先度値とみなされるように予め定義できる。列12603は、キーパッド12609のキー12605、12606、12607、12608にそれぞれ割り当てたキー値(例えば、1、2、3、4)に基づいて単語に割り当てたキー押下値を示す。
1つの方法によると、例えば、単語「doing」を入力するため、ユーザは発話なしでキー12606、12608、12606、12606、12608を押下することができる(例えば、キー押下値は24224となる)。この例では、キー押下に対応する4つの単語からなるグループ12604をシステムが選択することができる。システムは次の場合を除いて最優先度を有する単語(例えば、「doing」)を自動的に入力することができる。
−ユーザが単語「coins」のような別の単語を1つの方法に従って入力することを意図する場合、ユーザは前述したもののような補正/選択手段を使用できる。例えば、ユーザは選択/補正キーを押下及び保持して文字「c」を発話できる。システムはユーザが文字「c」で始まる単語の入力を意図していることを理解できる。その単語は単語「coins」である。別の方法によると、ユーザはシステムが提供する4つの単語を備えるポップアップリスト内をナビゲートして単語「coins」を選択することができる。なお別の方法に従うと、システムは最初に最優先度を有する単語「doing」を示すことができる。ユーザは予め定義された補正/選択キーを押下できる。システムは4つの単語のうち2番目に高い優先度を有する単語「dying」を示すことができる。ユーザは再度、予め定義された補正/選択キーを押下できる。システムは4つの単語のうち3番目に高い優先度を有する単語「pupil」を示すことができる。最後に、ユーザは再度、予め定義された補正/選択キーを押下できる。システムは4つの単語のうち4番目に高い優先度を有する単語「coins」を示すことができる。ユーザは例えば次の単語の入力に進むことで、その単語を確定することができる。
−ユーザが単語「dying」の入力を意図する場合、ユーザは前述したような補正/選択手段を使用することができる。例えば、ユーザは選択/補正キーを押下及び保持して、少なくとも文字「dy」を発話できる(2つの単語「doing」と「dying」は同一文字「d」で始まるので、複数の文字を発話する必要がある)。システムは、ユーザが文字「dy」で始まる単語の入力を意図していることを理解できる。その単語は単語「coins」である。
別の方法によると、例えば、単語「coins」を入力するため、ユーザはキー12606、12608、12606、12606、12608を押下し(例えば、キー押下値は24224となる)、少なくとも文字「c」を発話できる。データベース内の1つの単語(例えば、「coins」)のみがそのキー押下及び音声に対応できる。システムは自動的に単語(例えば、「coins」)を入力できる。
別の方法によると、例えば、単語「clive」を入力するため、ユーザはキー12606、12608、12606、12608、12607を押下し(例えば、キー押下値は24243となる)、文字「c」を発話できる。データベース内の2つの単語(例えば、「cycle」と「clive」)がそのキー押下及び音声に対応できる。システムはその2つの単語のうち最優先度を有する単語(例えば、「cycle」)を自動的に入力できる。ユーザは上述の切替え方法を使用して次の単語にスクロールすることができる。システムは、キー押下及び音声情報に対応する第2の単語「clive」を示す(例えば、単語「noise」がそのキー押下に対応する最優先度を有するが、ユーザが発音した文字「c」で始まらず、したがって、システムはそれを無視する)。
以下は、切替え/ナビゲート選択の実施形態の1つに対する概要の例である。
−発話なしで単語のキー押下を与え、対応する単語のすべてを選択する。対応する単語とはすなわち、
■先頭文字にかかわらず、最優先度の単語
●先頭文字にかかわらず、次に高い優先度の単語
○等々
−単語の少なくとも1つの(例えば、先頭)文字をキー押下及び発話し、その文字で始まる対応する単語のグループを選択する。
■グループ内で最優先度の単語
●グループ内で次に高い優先度の単語
○等々
本発明の一実施形態によると、同じキー押下(例えば、同じキー押下値)を有する単語グループのうち第1の単語を予め定義して、対応するキー押下を音声なしで与えることで選択できる。ユーザがグループ内の、同じキー押下値を有し、第1単語と同じ先頭文字を有し、2番目に高い優先度(例えば、第1単語より低く、その特性を有するグループ内の他の単語より高い優先度)を有する別の単語の入力を望む場合、ユーザはその(例えば、少なくとも)先頭文字をキー押下及び発話できる。例えば、単語「doing」を入力するため、ユーザは対応するキー押下を発話なしで与えることができる。したがって、単語「dying」を入力するために、ユーザは対応するキー押下を与え、文字「d」を発話できる。本発明の一実施形態によると、最優先度を有する単語に対して音声情報を与えずに対応するキー押下を与えるように割り当てられ、ユーザがそのキー押下を与えてその単語の少なくとも(先頭)文字を間違って言い、ユーザが与えた情報(例えば、キー押下及び音声)に対応する別の単語をシステムが選択する場合、システムは提示した選択肢内にキー押下のみに対応する単語を含めることもでき、その結果、ユーザは望むならばその単語を選択できる。
システムに慣れると、ユーザは対応しているキー押下のみに基づいて(例えば、発話なしで)入力した可能性のある多数の単語を思い出すかもしれない。ユーザはその単語を(例えば、キー)対話のみに割り当てることでき、その結果、ユーザは同じキー押下値を有し、かつ同じ文字で始まる単語を、単語の(先頭)文字のキーを押下及び発話することから構成される対話に対して入力できる(例えば、発話なしでの「doing」、少なくとも文字「d」の音声での「dying」)。
本発明の一実施形態によると、ユーザは自身が所望する単語をシステムの単語データベースに追加できる。ユーザは単語の優先度を(例えば、ユーザによる使用頻度に基づいて)変更することもできる。
システムの単語辞書とその内部の単語優先度を、市場セグメントのニーズ(例えば、医療、保険、等)に適応させることもできる。システムはユーザが使用する単語を学習し、それに応じて優先度をその単語に割り当てることができる。
テキストのようなデータ入力中に、発話、補正/選択手順のような幾つかのユーザ対話を最小化するように、ユーザは幾つかのパラメータを考慮できる。例えば、ユーザは多数の共通単語、多数の長い単語、等を通常は自身のキー押下のみに基づいて入力できることを思い出すかもしれない。
先行特許出願で述べたように本発明の組合せ(例えば、予測を含む)データ入力システムでは、例えば使用を容易にする理由で、文字を表すキーで表現又はキーに割り当てたやはり文字を表す句読点又はコマンドを、文字入力に用いる対話とは異なる予め定義された対話により入力できる。例えば、句読点又はコマンドを、2つのキーを好ましくは同時に押下すること(例えば、「Shift」キーを押下及び保持し、句読点又はコマンドに対応するキーを押下すること)に割り当てることができる。それらを、対応するキーに対するグライド動作又は1つのキーの長押し動作(例えば、単語に含まれる文字又は他の文字の入力に対しては短い押下動作を使用できる)のような別種の対話に割り当てることもできる。これらの事は、本明細書に記載した本発明者出願の引用で既に詳細に説明されている。
別の方法によると、(例えば、単語末尾信号を与えることで)単語を入力した後、ユーザは、音声がない状態で押下動作に割り当てた予め定義された句読点、又はコマンドを入力するよう発話せず、言語の幾つかの文字及び少なくとも句読点/コマンドのような記号とを表すキーを押下できる。これらの事は、本明細書に記載した本発明者出願の引用で既に詳細に説明されている。
上述の補正/選択原理に基づいて、単語の入力直後にその単語を補正/選択するのではなく、ユーザは先に進んで、後からそれらを補正/選択してもよい(例えば、文書全体の入力の最後、又は会議中にメモを取った後に、それらを編集/補正する)。
本発明の一実施形態によると、システムは、ユーザが単語入力のために与えたキー押下及びそれらに対応する音声のうち少なくとも1つを記憶する(例えば、正確な文字及び曖昧なキー押下を覚えておくようなシステムを設計することもできる)。図3に示すように、ユーザの情報に基づいてシステムが提示した単語(例えば、「codes」)をユーザが所望する単語に変更したい場合、ユーザは最初に対応する装置12700の画面上にテキスト12701を可視化し、次いで不要な単語「codes」12702に対して12705をポインティングする(例えば、単語をポインティング又は選択するマウス、又はスタイラスペンを用いる)。システムは予めユーザが与えたキー押下情報(及び音声情報。先行出願で述べたように、発話しないことはシステムにより音声情報としてみなされうることに留意されたい)を覚えておき、ユーザの情報に関連する他の単語の選択肢12703、12704を提示できる。ユーザは例えば(ポップアップメニュー内の)方向/ナビゲートキーのような手段を用いること、マウス又はスタイラスペン等のようなポインタを用いることにより、システムが提示した単語の中から所望の単語「ducks」12704を選択するか、又はユーザはシステムが他の提示語/候補語の中から所望の単語を認識するようにその単語の少なくとも幾つかの文字を発話できる(例えば、この場合、現在の例を参照すると、他の単語「docks」から単語「ducks」を区別するために文字「du」を発話することで十分であり、その結果、ユーザは単語「ducks」の文字すべてを発話しなくてもよい。システムはユーザが対応する音声を終える前にその単語を理解し、印字できる)(例えば、やはりこの場合で説明したように、システムはキー押下情報を覚えてそれを使用することができ、その結果、ユーザはその単語にキー押下を再度与える必要はない)。本例では、ユーザは最初にキー押下のみを入力しており、したがってシステムはそのキー押下に関して最優先度を有する単語「codes」を選択した。その単語をポインティングした後、ユーザはシステムが他の提示語のなかから所望の単語「ducks」を認識かつ選択するために少なくとも文字「du」を発話できる(例えば、単語「docks」は最初に「d」、2番目の文字として「o」で始まる)。
本発明の組合せデータ入力システムには単語に対応するキー押下が必要であり、辞書内の単語の入力に対して少ない量の音声を必要とする可能性がある。述べたように、辞書外の単語に対して、例えばキーを押下して文字を発話することで、ユーザは1文字ずつ単語を入力できる。
本発明の一実施形態によると、文書中の辞書にない単語のような単語(又は複数の単語)を入力するため、ユーザは発話なしで(又はその単語を発話するか、又は単語の数個の文字を発話して)単語に対応するキー押下を与え、文書の他の単語の入力に進むことができる。システムは(辞書外の)単語に対応する情報を既存の単語と照合して不要な単語を与えたり、又はシステムは辞書の単語をその情報に照合することができないかのいずれかの可能性がある。この場合は、単語の代わりに、システムはキー値のような押下されていた文字列(例えば、あるいは「*」又は「X」文字のような一連の予め定義された文字)を印字できる(ユーザが例えば、辞書外の単語の1つ又は複数の文字に対応する音声も与えている場合は、システムはその文字及びキー押下値又はその単語の他の文字に関連する他の予め定義された文字を印字できる)。後にユーザは、文書を取り出して(前述のように)誤った単語/不要な単語をポインティングすることができる。次いでユーザは、単語に対応するキー押下を再度与えずにその単語に対応する文字を発話できる(例えば、システムはそのキー押下を覚えておくことができる)。ユーザが単語の音声を忘れた場合、ユーザはその単語に対応する元のキー押下を入力する間に、ユーザが予め与えた単語の音声を聞くことができる。誤った単語/不要な単語をポインティングすることで、システムは単語の入力中にユーザが与えた単語に対応する音声を再生することもできる。例えば、英語の単語辞書データベースに含まれない可能性がある単語「Cannes」(フランス語)を入力するため、ユーザは対応するキーを押下してその単語を(例えば、フランス語で「kan」と発音して)発話できる。システムはそのキー押下と音声とに対応する単語を発見できないかもしれない(例えば、その音声が、そのキー押下情報を有する英語の(例えば、単語の)音声に対応しない可能性がある)。この場合、システムはその音声情報とキー押下情報とを記憶し、その間に、単語の入力に対して割り当てたキー押下値(例えば、「212234」)に対応する文字列を与えることができる。その後、例えば、必要ならば後でユーザはその文字列をポインティングすることができ、システムはユーザが与えた音声を与えてユーザが単語の入力中に行ったことを思い出させることができる。次いでユーザは単語を(例えば、キー押下を再度与えずに)1文字ずつ発話できる。システムは元のキー押下と最新のユーザの音声とを考慮して、辞書外の単語「Cannes」を与えることができる。
上記で説明した実施形態は幾つかの環境において非常に有用でありうる。例えば、会議中又は会議室において、ユーザは自身が入力した単語に対応するキー押下を与えることでメモをとる/入力することでき、必要なときに、ユーザは自身が入力した単語に対応する非常に短い音声(例えば、文字、音節、(短い)単語の発話)を与えること(又はその単語の発話)ができる。また、例えば、会議の後にユーザは文書を戻して、上述のようにメモの補正/編集に進むことができる。
別の方法によると、ユーザは高速なデータ入力のために略語を入力することもできる。なお別の方法によると、後に正確に入力すべき単語に対応する(ランダムな)文字列を与えるため、ユーザは1つ又は複数のキー(例えば、ランダム又は予め定義された、対応のないキー)を押下して単語を発話できる。後に、ユーザは文書を取り出して、文字列をポインティングし、自身の音声を聞き、対応するキー押下を正確に再入力し、必要ならばその単語の正確な入力に必要な多数の文字の音声を与えることができる。
別の実施形態によると、辞書外の単語のような単語を入力するため、ユーザは(例えば、音声を与えずに)対応するキー押下のみを与えることができる。後で、ユーザがその単語をポインティングするとき、ユーザはキー押下に基づいてその単語(例えば、その音声)を覚えていて、上述のようにその単語を補正することができる。
ポップアップリストを通してナビゲートするような他の選択/補正方法を同一目的に使用することも可能であることは理解されよう。
メモリを節約するため、ユーザが会議中又は会議室にいる間のような一定期間に音声(例えば、ユーザの音声)のみを記憶するように、システムはキーのような手段を備えることができる。ユーザは後に補正/入力すべき単語の入力中に音声のみを記憶することもできる。
別の方法によると、後に補正/入力すべき単語を手書きで入力できる(例えば、単語を直後又は後に手書き認識システムにより認識できる。ユーザはそれらを、上述のテキスト入力及び補正方法により後で入力できる)。
多数の方法及び手段をシステムと併用して、本発明の組合せ(例えば、予測を含む)データ入力システムの使いやすさを向上させることができる。
本発明の一実施形態によると、システムの単語辞書は(例えば、対応する言語の)単語の一部分も備え、本発明の(例えば、予測を含む)データ入力システムと併用できる。システムのアーキテクチャに依存して、単語の一部分を単語辞書に含めてもよいし、単語の一部分が別個のデータベースを構成してもよい。
また、キー押下のみに基づいて単語を入力可能であることをユーザに知らせるよう、単語の入力後に、システムは例えばその単語を太字で印字すること、別の色で印字すること、点滅させること、等により、対応する装置のスクリーン上でその単語を強調表示できる。
単語がデータベース内に存在しないが、その末尾部分などの一部分を削除することでデータベース内に存在する可能性がある場合は、ユーザはその部分を削除し、削除した部分をその単語の末尾に入力することができる。例えば、単語「prescription」はデータベース内に含まれているかもしれないが、単語「prescriptions」は含まれていないかもしれない。例えば、単語「prescriptions」に対応する情報を与えた後、システムがどの単語も選択しない(しかしながらユーザは単語「prescription」がシステムのデータベース内に存在することを知っている)場合、ユーザは「BkSp」キーを使用して最後の文字「s」に対応する最後のキー押下を削除できる。システムは単語「prescription」を選択し、ユーザは文字「s」を単語の末尾に追加できる。
予め定義された単一文字の幾つか(例えば、英語の「a」、「e」、「i」)を異なるキーに割り当て、対応するキーの押下動作のような対話により、音声を与えずにそれらを予め定義されたように入力することができる。
単語の入力中に、ユーザは本発明の部分毎データ入力システムを用いることで単語の一部分を入力できる。例えば、ユーザは発話なしで単語の(先頭)文字に対応するキーを押下し始め、単語の中間又は末尾部分に対応するキーを押下/グライドし、発話をすることができる(又は、逆もまた真である、等)。これには幾つかの利点がある。例えば、その部分を正確に入力することで、単語全体を認識しやすくなる。また、単語の入力も速くなる(例えば、キー押下が減る)。例えば、単語「recognition」を入力するため、ユーザは最初に発話なしで文字「recogni」に対応するキーを押下し、次いで文字「t」(「tion」部分の先頭文字)に対応するキーを押下してその部分を発話できる。
前述のように、言語モデル/規則、単語補完システム、自動補正システム、等を用いるような他のデータ入力拡張を、本発明のデータ入力システムと併用することもできる。やはり前述のように、指、フィンガーキャップ、等を本発明のデータ入力システムのキーに対する代替又は追加として使用できる。また、ユーザの声に対する代替又は追加として、ユーザの唇といった身体の部分の動きを考慮してもよい。これらの事は、本明細書に記載した本発明者出願の引用で既に詳細に説明されている。
本発明の一実施形態によると、マルチタップ又は手書きのような他のデータ入力方法を、単語の先頭文字のような少なくとも1つの文字を正確に入力するために使用できる。単語の残りに対応する情報を、発話又は発話なしで単語の残りの文字に対応する(例えば、単一の)キー押下を与えることで入力できる。
単語の少なくとも1つの文字を正確に入力し、単語の他の文字の少なくとも1つ(好ましくはすべて)に対応する(例えば、曖昧な)キー押下を(例えば、発話なしで)正確に与えるため、押下/グライド及び発話、及び/又は手書き入力及び認識システム、及び/又はフル(例えば、PC)キーボードを用いることで、迅速性(例えば、手書きのみでは遅い)及び正確性(例えば、キー押下のみに基づく単語予測システムは苛立たしくかつ不正確で、当業界の技術者に公知な他の制限を有する)を与えることができ、必要な音声又は手書きを削減することもできる。また、システムが要求するメモリ量と処理能力/速度も低減できる。例えば、(対応するキー押下と組み合わせた)音声認識システムは単語の音声を除外することができる(例えば、一般に、単語を入力するには文字の入力で十分でありうる)。また、手書き認識システムは単語レベルの入力を除外することができ、一般に文字の入力に基づいて動作することができる。これは、上述のように、(例えば、対応する小規模キーパッドの)(例えば、曖昧な)キー押下と組み合わせた正確な文字入力方法を用いて本発明の予測データ入力システムを使用することで、音声及び/又は手書きシステムの使用を劇的に最小化することができるからである。
キー押下を与え、単語の少なくとも幾つかの(例えば、先頭)文字を発話することで、あまり正確でなく多量のメモリ及び処理能力を使用する可能性のあるキー押下及び単語の発話と比較して、(例えば、組合せデータ入力)システムは更なる正確性を与えることができ、少量のメモリ及び処理能力を使用することができる。したがって、メモリと処理能力に限りがある装置に対しては少なくとも、非常に少量の語彙(例えば、文字、数字、幾つかの句読点、幾つかのコマンド)を必要とする文字毎レベルのアプローチを用いることが薦められる。
補正/変更されているものに対して単語を選択/ポインティングするために、ポインティング位置を予め定義して、単語上、又は単語の前、又は単語の後、等をポインティングしておくことができることは明白であることに留意しなければならない。例えば、カーソルを単語の最後の文字の後、又は単語の文字内に置いて、その単語をポインティングすることができる。
本発明の一実施形態によると、単語が辞書内に存在しないが接頭辞(例えば、「re」)又は接尾辞(例えば、「tion」)を包含又は除外する単語が(単語の)システムデータベース内に存在する場合、システムは接頭辞又は接尾辞を伴わないか又は伴う単語を提示できる。ユーザは、次いで他の部分を単語に追加するか、又は単語から削除することができる。例えば、ユーザが単語「understanding」の入力を試み、システムがその単語を発見しない場合、その単語が接尾辞「ing」を備えると認識することで、システムは(例えば、その単語に与えた最後の3つのキー押下を考慮しないことで)単語「understand」を検索できる。システムが単語「understand」を発見する場合、システムはそれをユーザに提示し、ユーザは例えばその単語の残りの文字「ing」を入力することでその単語を受け入れることができる。別の方法によると(例えば、与えたキー押下を分析することで)、システムは自動的に接頭辞又は接尾辞を単語に追加できる。
前述したように、本発明の組合せデータ入力システムと併用されるキーパッドは、システムの使いやすさと正確性を最大化するようなものであることが好ましい。キーの数、キー上の文字の構成、等のようなパラメータをそれぞれのキーパッド毎に別個に考えることができる。図4は例としてキーパッド12800を示す。この中で、4つのキー12801−12804は英語のアルファベットの文字すべてに十分に対応する(例えば、それらの文字は4つのキーに分散的方法で割り当てられる)。キーパッドは、本発明の組合せ(例えば、予測を含む)データ入力システムと併用されるよう設計できる。例えば、一方で、「m、l、n」、及び「p、b」、及び「d、e」、及び「j、k」及び「t、d」、等のような文字グループの中の文字といった曖昧に類似する音声を有する文字を異なるキーに別個に割り当て、本発明の押下/グライド及び発話データ入力システムの正確性を最大化することができる。他方では、「e、o、i、a」、及び「s、d、r」、等のような文字グループを互いに別々に異なるキーに割り当て、本発明の(例えば、組合せ)単語予測システムを用いた際の同様なキー押下を有する単語の数を最小化することができる。例えば、そうすることにより、「drives、driver」、又は「forces、forced、forcer」、等のような単語は別個の対応するキー押下を有することができる。ちょうど議論した方法を、12個のキーを有するキーパッドのような少数のキーを有する任意のキーパッド(例えば、電話型キーパッドのキー配置を有するキーパッド)に適応できることは理解されよう。
上述のように、本発明の組合せ(予測を含む)データ入力システムにより単語を(例えば前述のように、発話なしで、又は単語の少なくとも1つの(例えば、先頭)文字を発話することで、対応する単語の文字に対応するキー押下に基づいて)入力するとき、ユーザは本発明の押下/グライド及び発話データ入力方法により単語の少なくとも1つの先頭文字を(例えば、正確に)入力し、単語の残りの文字に対応するキーを押下することが好ましい。本発明の一実施形態によると、少なくとも1つの単語、単語の末尾に付加した少なくとも単語の一部分(例えば、接尾辞)、等のような他の文字を与えることをユーザが望む場合、ユーザは本発明の押下/グライド及び発話データ入力方法により単語の一部分の先頭文字の少なくとも1つを与えることができ、例えば、その単語の残りの文字に対応するキーを押下し続けることができる。これにより、結合語がシステムの単語辞書データベースに存在しない場合でも、結合語を作成及び入力することが可能となる。例えば、本方法及びシステムの単語辞書データベースに存在する単語「friend」及び「ship」を考慮することにより、単語「friendship」を2つの部分「friend−ship」で入力するために(例えば、単語friendshipはシステムのデータベースに存在しないかもしれない)、ユーザは最初に上述した本発明の単語予測データ入力システムの方法により単語「friend」を入力する(例えば、単語の文字に対応するキー押下を発話なしで与えるか、又は単語の少なくとも(例えば、先頭)文字(例えば、「f」)に対応するキー押下を与えてその文字を発話し、単語の残りの文字(例えば、「riend」)に対応するキー押下を発話なしで与える)ことができる。ユーザは次いで、単語の少なくとも(例えば、先頭)文字(例えば、「s」)に対応するキー押下を与え、かつその文字を発話することで次の単語「ship」の入力に進み、単語の残りの文字(例えば、「hip」)に対応するキー押下を発話なしで与えることができる。第2の単語の先頭文字に対応するキー押下及び音声により、第2の単語の先頭と先行語の末尾(例えば、単語末尾信号として考えられる)とをシステムに知らせることができる。
上述のように、ユーザは同じ方法を用いることで単語末尾に接尾辞のような少なくとも単語の一部分を入力することもできる。例えば、単語「management」を2つの部分「manage−ment」 (例えば、単語及び単語の一部分がシステムの単語辞書データベースに存在すると考慮した上での、単語「manage」及び接尾辞「ment」)で入力するために、ユーザは上記で説明した方法により単語を入力できる。
単語に加え、システムの単語辞書データベースは少なくとも1つの言語に対応する単語の一部分も備えうることに再度留意しなければならない。数個の短い単語を含む単語「workmanship」(例えば、「work−man−ship」)のような複数の部分又は単語からなる単語も、同じ方法を通して入力できる。
別の方法によると、文字列(例えば、単語データベース、辞書外の単語、任意の文字列、等)を、例えば、本発明の文字毎の押下/グライド及び発話データ入力システムを用いて、単語の末尾に入力又は付加できる。例えば、単語「manage」がシステムの単語辞書データベースに存在すると考えると、単語「management」を2つの部分「manage−ment」で入力するため、前述のようにユーザは最初に単語「manage」を入力できる(例えば、単語の文字に対応するキー押下を発話なしで与えること、又は例えば、単語の少なくとも(例えば、先頭)文字(例えば、「m」)に対応するキー押下を与え、かつその文字を発話すること、及び単語の残りの文字(例えば、「anage」)に対応するキー押下を発話なしで与える)。ユーザは本発明の文字毎の押下/グライド及び発話データ入力システムを用いることで、文字列「ment」を単語末尾に入力できる。
一実施形態によると、ユーザが次の単語の入力に進む(例えば、その入力を第1の単語に添付する)ときに画面がちらつかないように、予め定義されたキーの押下のような単語末尾信号が単語の入力の最後に必要な場合がある。
ちょうど説明した実施形態により、大幅に単語数を削減した単語データベースを本発明の組合せデータ入力システムと併用できる。例えば、共通の接尾辞(例えば、「ed」、「s」、「ing」、「ment」、「ture」、等)で終わる単語をデータベース内に含めなくともよい。また、複数の短い単語からなる単語(例えば、この場合、その短い単語はデータベース内に存在する)を辞書内に含めなくともよい。システムは、例えば結合語を自動的に補正するような自動補正システムを含むこともできる。例えば、ユーザが単語「memorize」を入力し、部分「ing」をその末尾に追加する場合、システムは自動的にその結合語を「memorizing」に修正して、単語「 memorizing」を与えることができる。
前述のように、本発明の組合せデータ入力システムの単語予測システムを用いて単語を入力するとき、システムは例えば、ユーザが入力を意図しなかった単語を提示するかもしれない。また、例えば、システムはユーザの情報(例えば、キー押下情報、及び存在したならば音声情報)をデータベースの任意の単語と照合しなくともよい(前述のように、この場合は、システムはユーザのキー押下に対応する予め定義された文字のような予め定義された文字列又は任意の文字列を印字してもよいし、又はシステムは対応するユーザのキー押下に対応する数値を印字してもよい、等)。1つの方法によると、例えば、ユーザが誤った単語(例えば、最初に入力した対応するキー押下に基づいて与えた誤った単語)を(例えば、前述のように)ポインティングした後で、ユーザが所望でない単語(例えば、又は文字列)を補正するか、又は所望の単語を選択することを望む場合、システムは文字列を考慮することで、単語を入力するために与えたユーザのキー押下を認識できる(例えば、システムは印字した文字をその対応するキーに容易に関連付けることができるのは明らかである)。例えば、ユーザは(例えば、単語がデータベースに存在しない場合、又は他の便宜上の理由で、等)単語をポインティングして、その単語に対応する少なくとも幾つかの文字を発話できる(例えば、その代わりユーザはその単語を発話することもできる)。音声の最後に、ユーザは単語からポインタを除去するような音声末尾信号を与えることができる(例えば、ユーザは他の方法を使用してシステムに音声の開始と終了を知らせることもできる)。例えば、前述のように、ユーザは予め定義されたキーを押下及び保持して、補正/選択に対応する音声の開始をシステムに知らせることができ、音声終了時にキーを開放してシステムに音声の終了を知らせることができる。単語の補正/選択方法は本明細書に記載した本発明者出願の引用で既に説明されている。
句読点文字及びコマンドを本発明の組合せデータ入力システムにおいて使用する方法を考慮することにより、ユーザによる組合せシステムの使いやすさを最大化できる。本明細書に記載した本発明者出願の引用で説明されるように、句読点文字又は数字のような最も特殊な記号の各々を、その対応キーと対話すること及び特殊記号に対応する音声を与えることで入力できる。そうすることによって、任意の上記句読点文字又はコマンドを、本発明の組合せデータ入力システムにより、テキストの入力中に入力できる。
先行特許出願で述べたように、本発明のデータ入力システムをよりユーザフレンドリーにするため、発話なしで対応キーを押下することにより入力可能な幾つかの特殊記号(例えば、単語末尾に与えられる文字「.」)を存在させることができる。幾つかの特殊記号を、文字が割り当てられるキー以外のキーに割り当てることができる。しかしながら、システムが使用するキーは少ないことが好ましいので、幾つかの他の特殊記号を、文字を表すキーに割り当ててもよい。最後に述べた記号を単語内で用いるとき、問題が生ずる可能性がある(例えば、本発明の組合せデータ入力システムの単語予測システムを通して単語を入力する際の、単語末尾にある「?」、等)。例えば、ユーザは、本発明の組合せデータ入力システムの単語予測システムを用いることにより、又は発話なしで単語の文字に対応するキー押下を与えることにより、あるいは単語の少なくとも(例えば、先頭)文字(例えば、「r」)に対応するキー押下を与えてその文字を発話し、発話なしで特殊記号を含む単語の残りの文字(例えば、「eady?」)に対応するキー押下を与えることにより、(例えば、「クエスチョンマーク」を含む)単語「ready?」の入力を試みることができる。システムは、入力した単語が特殊記号で終わることを知らなくとも良い。したがって、システムは5つ及び6つの両方の文字を有する単語を探すことができる。これにより、ユーザに提示される選択肢を多数与えることができる。この問題を解決するため、以降では、(例えば、コマンド及び関数を含む)特殊記号の入力方法を説明する。
本発明の一実施形態によると、本発明の組合せデータ入力システムを用いつつ、単語、文字、及び特殊記号のような他の記号を同じ文字列に混合して入力することができる。ユーザは1つ又は複数の連続的な単語、文字列、特殊文字の列、等を、その単語、文字列、特殊文字の列に対応するキーを押下し、その単語、文字列、特殊文字の列の少なくとも最初の文字を発話することで入力できる。記号列の最初の記号が文字を表すキー以外のキーに割り当てられている(例えば、発話なしでその対応キーを押下することで入力される)「非音声」記号である場合、又は記号列の最初の記号が、少なくとも幾つかの文字を割り当てた同一キーに割り当てられているが、文字の入力に必要なキー上のキー対話(例えば、単一の押下動作)とは異なるキーとの対話(例えば、二重押下動作、キーと別のキーを同時に押下すること、等)により入力されるような(例えば、発話なしで対応するキー押下により与えられる)「非音声」記号である場合、ユーザは特殊文字の列の先頭位置で発話なしに対応する押下動作を与えることで、特殊文字を入力できる。例えば、キーパッド12800を考慮した上で、http://www.textentry.comなるURLを入力するために、ユーザは以下を行うことができる:
−例えば、本発明の文字毎の押下及び発話データ入力方法を用いて文字列「http」を入力する(例えば、文字に対応するキーを押下し、その文字を発話する)。次いでユーザはキー12802の二重押下動作のような予め定義された対話、又はキー12805(例えば、先行特許出願で説明されるように、例えば別のキーと同時に押下される場合、「Shift」キーとしても考えられる)及び12802の発話なしでの押下といった別の対話を与えて、発話なしで特殊記号「:」(例えば、音声がない場合にキー対話に対して割り当てられるよう、この記号を予め定義することができる)を入力し、続けて、発話なしでキー12803に対し(例えば、予め定義された)単一の押下動作を2回与えることで特殊記号「//」を入力できる。最初の特殊文字を一連の特殊文字の先頭位置で入力すると、文字が入力されるまで(例えば、キーが押下され、文字が発話されるまで)、後に続いて入力される文字は特殊文字であることをシステムに知らせることができる。
−次いで、ユーザは上述した本発明の文字毎の押下及び発話データ入力方法を用いて文字列「www」を入力することができる。
−ユーザは次いで、例えば、発話なしでキー12806と対話(例えば、1回押下)すること、又は例えば「dot」と言う(例えば、発話、及び発話なしの両方にその記号を割り当てることができる)ことにより、記号「.」を入力できる。
−ユーザは次いで文字列「textentry」を、例えば本発明の文字毎の押下及び発話データ入力方法を用いること、又は2つの部分で入力する(例えば、システムの単語辞書データベースに存在する2つの単語「text」及び「entry」)ことのいずれかにより入力できる。それを行うため、ユーザは最初に文字「t」に対応するキー12802を押下してその文字を言い、続いて単語「text」の残りの文字「ext」に対応するキーを押下し続けることができる。次いで、ユーザは文字「e」に対応するキー12803を押下してその文字を言い、続いて単語「entry」の残りの文字「ntry」に対応するキーを押下し続けることができる。
−ユーザは次いで、発話なしでキー12805を押下すること、又は「dot」を言うことにより、記号「.」を入力できる(例えば、発話及び発話なしの両方にその記号を割り当てることができる)。
−(例えば、最後に)ユーザは文字列「com」を、例えば本発明の文字毎の押下及び発話データ入力方法を用いることで入力できる。
文字列「http」、「www」、及び「com」を、(例えば、単語が本発明の単語辞書データベースに存在する場合は)本発明の組合せデータ入力システムの単語予測システムにより入力できることに留意しなければならない。その目的のため、ユーザは以下を行うことができる。
−発話なしで単語の文字に対応するキー押下を与えること、又は例えば単語の(例えば、少なくとも)(例えば、先頭)文字(例えば、「h」)に対応するキー押下を与えてその文字を発話することのいずれか、及び単語の残りの文字(例えば、「ttp」)に対応するキー押下を与えることにより、単語「http」を入力する。
−例えば単語の(例えば、少なくとも)(例えば、先頭)文字(例えば、「w」)に対応するキー押下を与えてその文字を発話し、単語の残りの文字(例えば、「ww」)に対応するキー押下を与えることで、単語「www」を入力する。
−例えば単語の(例えば、少なくとも)(例えば、先頭)文字(例えば、「c」)に対応するキー押下を与えてその文字を発話し、単語の残りの文字(例えば、「om」)に対応するキー押下を与えることで、単語「com」を入力する。
一般的に、ユーザが入力記号の種類の間で切り替える度に、最初の記号を発話するか、又は、最初の記号が非音声記号の場合は文字を表すキー以外のキーを通して最初の文字を入力するか、又は少なくとも文字が割り当てらてれる同一キーに非音声記号を割り当てた場合は、そのキーに割り当てた予め定義された対話(例えば、二重押下、2つのキーの同時押下、等)を通して記号を入力する(この場合、予め定義された対話はキー上の文字を入力するのに必要な対話(例えば、1回の押下)とは異なる)かのいずれかであることに留意されたい。また、文字の混合列の先頭位置にある単語を、その単語の最初の文字に対応する音声を与えずに、本発明の組合せデータ入力システムの単語予測システムにより入力できることに留意しなければならない。他方で、文字列が特殊文字で始まる場合は、少なくとも最初の文字は上述の方法に従うことができる。
別の方法によると、システムが(例えば、キー)対話に対して(例えば、タッチ、圧力)センシティブ面を使用する場合、例えば、キー上の文字に割り当てた単一押下動作のような対話以外の対話の1つは、キー上のグライド動作であることができる。これらの事は既に詳述した。
上述の混合文字列のような任意の文字列を、本明細書に記載した本発明者出願の引用で説明されるように、本発明の文字毎の押下及び発話データ入力システムを用いて入力可能であることは理解されよう(例えば、非音声の句読点文字及びコマンドを同じキーで使用すること、及び文字を割り当てた同種のキー対話で使用することが可能である)。本発明の一実施形態によると、モードキーのような切替え手段を与えて、本発明の押下/グライド及び発話データ入力システムと本発明の組合せデータ入力システムとの間で切り替えることができる。
前述のように、単語を入力するための情報提供の最後に与える空白文字、句読点(例えば、「,」、「.」、「!」、「?」、等)、関数又はコマンド(例えば、「Enter」、「Tab」、等)といった特殊記号を、単語に対する単語末尾信号とみなすように予め定義することができる。また、単語の末尾に与えた幾つかの単語の部分(例えば、「s」、「n’t」、等といった、句読点のような特殊文字を除くか又は含む文字の組合せ)を、その単語に対する単語末尾信号とみなすことができる。例えば、単語「doesn’t」は、最初に単語「does」を入力してその最後に部分「n’t」に対応するキーを押下し、その部分に対応する予め定義された音声を発話することで入力できる。句読点文字(例えば、「’」、「−」、「_」)を含む単語も辞書データベースの単語であり、例えばその単語の文字(例えば、句読点)に対応するキーを(例えば、発話又は発話なしで)押下することで入力できることは明白である。
本発明の組合せ(例えば、単語予測を含む)データ入力システムの一実施形態によると、対応するキーとの予め定義された対話に割り当てられた文字の1つを、対応する音声を与えて、及び/又は与えずにそのキーとの対話によって入力することができる。例えば、図4に示すように、英語において意味を持つ文字「a」及び「I」の各々を別々のキー(又は同じキーでの別々の対話)に割り当て、その対応キーを押下してその文字を発話する及び/又は発話しないことにより入力できる。
4つのキーといった少数のキーを有するキーパッドを使用する利点は、本明細書に記載した本発明者出願の引用で説明及び実証されている。そのキーパッドは例えば仮想/ソフト(例えば、固定的、動的な)キーパッドであってもよく、電子装置の(例えば、タッチ)スクリーン上で使用され、本発明の組合せデータ入力システムのような本発明のデータ入力システムと併用することができる。例えば、多種のタップ動作に加えて、例えば少なくともキーパッドのキー上でのグライド動作(例えば、単一グライド、二重グライド、タップアンドグライド、等)から派生する対話といった他の対話を本発明のデータ入力システムの記号のうち、少なくとも一部の割り当てに対して考慮することができる。その結果、一方では記号を互いにより良く区別することができ、他方では非常に少数のキーを使用してテキスト入力のようなデータ入力のすべてを容易かつ迅速に行うことができる。図5は例として、4つのキーを有するキーパッド12900を示す。例えば、本発明の単語予測データ入力システムを通して単語(例えば、「driver」)を入力し、その単語の(例えば、直ぐ)後に「空白」文字を入力するために、ユーザは発話なしでその単語の文字に対応するキー押下を与えるか、又は例えばその単語の(例えば、少なくとも)(例えば、先頭)文字(例えば、「d」)に対応するキー押下を与えてその文字を発話し、その単語の残りの文字(例えば、「river」)に対応するキー押下を与えるかのいずれかを行うことができる。キー押下を与える最後に、ユーザはキー12902をグライドしてその単語の(例えば、直ぐ)後に、発話なしで空白文字を入力することができる(例えば、「Space」文字を、キー12902のグライド動作に割り当てることができる)。これは単に例であって、異なるキー及びそのキーとの異なる対話、さらに他の数のキーに対して他の記号を割り当てることも考慮できることに留意しなければならない。例えば、キー上の文字はそのキー上のグライド動作に対応することができ(例えば、及びその文字を発話することで入力できる。又は、単語の入力中に本発明の単語予測システムを通して、音声なしでキー押下動作により文字を入力する場合は、発話なしで入力することができる)、「空白」文字は(例えば、音声がない場合の)キーの押下動作に対応することができる。これらの事は、本特許出願と、本明細書に記載した本発明者出願の引用とにおいて既に詳細に説明してある。
前述のように、本発明の単語辞書データベースは複数の言語の単語(例えば、及び単語の部分)を備えることができる。別の実施形態によると、少なくとも最初のキーを押下してその少なくとも1つの文字を発話することにより、単語の少なくとも(先頭)文字を入力し、単語の残りの文字に対応するキー押下を与えた後、互いに曖昧に類似する音声を有する少なくとも最初のキーの2つの文字間でシステムが迷う場合、システムは例えばその文字の各々で始まるキー押下に対応する単語を提示することができる。
文字のような記号をキーパッドのキーに割り当てるときに考慮すべき別のパラメータは、2つの親指の使用といった両手指の使用の際に調和が取れるような、ユーザの手が各キーを使用する頻度である(例えば、同じ手の指で複数回連続して対話することを回避する)。図6aから6bは、キーパッドの4つのキーに対して文字を割り当てた別の例を示す。この割当てを、例えば、上述の原理と前述の本発明の組合せデータ入力システムの原理とを考慮することで、本発明の組合せデータ入力システムと併用することができる。
前述のように、本発明の一実施形態によると、押下/グライド及び発話データ入力システムを、他のデータ入力システムと連動しているが、それと独立して使用することができる。例えば、電子装置で利用可能なキー押下のみに基づいて(例えば、発話せずにキー押下に基づく単語予測システムのように音声を与えずに)、システムは別のデータ入力システムと並んで、又は別のデータ入力システムとともに機能することができるが、別システムと独立して機能し、その結果、例えば単語のようなテキスト部分に対応するキー押下といった情報を与えるときに対応する音声が与えられない場合(例えば、対応する電子装置が音声を検知しない場合)、情報(例えば、キー押下のみ)を別システムで解釈することができ、この場合、その別システムは別データ入力システムの原理に基づいてテキスト部分(例えば、単語)を入力することができる。
他方では、前述のように、単語のようなテキストの一部分に対応するキー押下の入力に関連し(例えば、入力中)、ユーザがテキストの一部分又はテキストの一部分の少なくとも幾つかの文字に対応する音声を与える場合(例えば、対応する電子装置が音声の存在を検知する場合)、テキストの一部分/単語に対応する情報(例えば、キー押下及び音声)を本発明の押下/グライド及び発話データ入力システムにより解釈/考慮することができ、この場合、押下/グライド及び発話データ入力システムは(例えば、前述した本発明の単語予測システムを含む)本発明の押下/グライド及び発話データ入力システムの原理に基づいてテキストの一部分(例えば、単語)を入力することができる。
本発明の別の実施形態によると、単語が他のデータ入力システムにより入力される場合でも、入力した単語の補正/選択を、前述したように本発明の押下/グライド及び発話システムにより与えることができる。例えば、ユーザは誤った単語をポインティングし(例えば、その単語をマウス/方向キー、等を用いて選択し)、(例えば、対応するキーを押下するか又は押下せずに(例えば、誤った単語/所望でない単語の文字により、対応するキー押下をシステムに知らせることができる))所望の単語に対応する文字を発話できる。
(例えば、発話せずに)キー押下のみに基づく単語予測システムを用いた単語入力において最も紛らわしく、苛立たしい問題の1つは、システムが提示した単語がユーザが入力を意図したものでない場合に所望の単語を選択することである。例えば、このシステムに基づくと、所望の単語がユーザが与えたキー押下に対応する単語のうち最も使用頻度が低い単語の1つである場合、その単語がユーザにより選択されるまでシステムは数回の「select」キーの押下及びユーザがディスプレイに大いに集中することとを要求する可能性があることに留意しなければならない。このキー操作と常時のディスプレイへの集中とを、前述の本発明の組合せデータ入力システム、本発明のデータ入力及び補正システム(例えば、単語入力のために与えたキー押下の幾つかを少なくとも考慮したことに基づく押下/グライド及び発話、かつ単語予測データ入力システム)を用いて削減又は排除することができる。
前述のように、本発明の組合せデータ入力システムを用いるとき、単語のようなテキストの一部分に対応するキー押下の入力に関連させて(例えば、入力中に)、ユーザはテキストの一部分又はテキストの一部分の少なくとも幾つかの文字に対応する音声を与えることができる。システムは音声の有無を検知することができる。前述した本発明の組合せデータ入力システムの原理に基づいて、以降で説明するもののような本発明の組合せデータ入力システムの中で異なるシステムを考慮することができ、この場合、システムの各々は独自の利点を有することができる。
例1
−本発明の一実施形態によると、
−システムの単語辞書データベースの1つの単語のみが、単語入力のために対応する音声を与えずにユーザが与えた(例えば、その単語の文字に対応する)一連のキー押下に対応しうることが予め定義される。かつ
−1つの言語において同一のキー押下列に対応する他の単語はデータベースに含まれなくともよいことが予め定義される。ユーザが他の単語の1つを入力したい場合、例えば本発明の文字毎の押下及び発話データ入力システムを用いることで、ユーザは前述のように他の単語を辞書外単語として入力できる。例えば、単語が辞書内に存在しないことをユーザが予め知っている場合、ユーザは対応する文字のキー押下と音声とを(例えば、実質的に同時に)与えることができる。例えば、単語が辞書内に存在しないことをユーザが予め知らず、発話なしでキー押下した後にそのことに気づく場合、ユーザは例えば、その単語の文字を発話するか、又は前述のようにその単語を発話することができる。
例えば、図8のキーパッド13200を考慮した上で、システムの単語辞書データベース内にある1つの単語(例えば、「doing」)のみをキー押下13202、13204、13202、13202、13204に対応するように予め定義する。ユーザが同一のキー押下情報を有する「coins」のような別の単語を入力したい場合、キー押下に加えて、ユーザはその単語の文字を発話してもよいし、又は(例えば、前述のように)その単語を発話してもよい。
上記で説明したシステムにより、曖昧さなく単語を入力することができる。単語入力のための発話なしでのキーパッドのキーに対する各キーストローク列は、辞書内の1つの単語のみに対応することができる。その単語は、共通的に使用される単語のような予め定義された単語であってもよいし、ユーザが決定した単語又は予め定義された環境で用いる単語であってもよい。ユーザはキーパッドのキーを操作することで苛立つことなく別の単語を選択することができる。入力した単語がユーザの望むものでない場合、ユーザは(例えば、対応するキー押下を再度与えずに)単に、その単語を発話するか、又はその単語の文字を発話するかのいずれかを行うことができる。これは迅速で容易である。
例2
−本発明の一実施形態によると、
−システムの単語辞書データベースの1つの単語のみが、単語入力のためにユーザが対応する音声を与えずに、与えた一連のキー押下に対応しうることが予め定義される。かつ
−単語データベースの最大で1つの単語のみがユーザが与えた情報に対応でき、その情報には、ユーザが与えた同一のキー押下列と、ユーザが与えた単語の少なくとも1つの(例えば、先頭)文字の音声に対応する音声とが含まれることが予め定義される。かつ
−同一のキー押下列を有するシステムの単語データベースの他の単語はデータベースに含まれなくともよいことが予め定義される。ユーザが他の単語の1つを入力したい場合、ユーザは前述のようにそれを辞書外単語として入力することができる。
例えば、図8のキーパッド13200を考慮した上で、システムの単語辞書データベース内の1つの単語(例えば、「doing」)のみを、発話なしでのキー押下13202、13204、13202、13202、13204に対応するように予め定義する。ユーザが同一のキー押下情報を有する「coins」又は「dying」又は「pupil」のような別の単語を入力したい場合、キー押下に加えて、ユーザは少なくとも単語の(例えば、先頭)文字を発話するか、又は(例えば、前述のように)その単語を発話することができる。示したように、同じキー押下情報を有し、かつ入力した先頭文字の音声を要求するデータベースの単語の各々(例えば、「coins」又は「dying」又は「pupil」)は異なる文字で始まり、その結果、ユーザが単語を与え、例えば単語の最初の文字を発話すると、ユーザは自身が与えた情報に対応する1つの単語のみをシステムが与えるであろうことを知る。単語「doing」は同じキー押下情報を有しかつ単語「d」で始まるが、その単語は発話なしでのキー押下動作に割り当てられることに留意されたい。
上記で説明したシステムにより、曖昧さなく単語を入力することができる。単語入力のための発話なしでのキーパッドのキーに対する各キーストローク列は、辞書内の1つの単語のみに対応することができる。その単語は、共通的に使用される単語のような予め定義された単語であってもよいし、ユーザが決定した単語又は予め定義された環境で用いる単語であってもよい。他方で、単語入力のために対応する音声を与えることと組み合わせたキーパッドのキーに対する同一キーストロークの各列は、辞書内の1つの単語のみに対応することができる。その単語は、キー押下列を有しかつ音声情報に対応する単語のうち最も共通的に使用されるような、予め定義された単語であることができる。入力した単語がユーザの望むものでない場合、ユーザは(例えば、対応するキー押下を再度与えずに)単に、その単語を発話するか、又はその単語の少なくとも複数のあるいはすべての文字を発話するかのいずれかを行うことができる。これは迅速で容易である。
例3
−本発明の一実施形態によると、
−システムの単語辞書データベースの1つの単語のみが、単語入力のためにユーザが対応する音声を与えずに、ユーザが与えた一連のキー押下に対応しうることが予め定義される。かつ
−(例えば、ユーザが与えた)同一のキー押下列に対応する単語データベースの他の単語を、キー押下を与えること、及びその単語の(例えば、先頭)文字の少なくとも1つの音声に対応する音声を与えることにより、ユーザが入力できることが予め定義される。
上記で説明したシステムにより、予め定義された単語を曖昧さなく入力することができる。単語入力のための発話なしでのキーパッドのキーに対する各キーストローク列は、辞書内の1つの単語のみに対応することができる。その単語は、共通的に使用される単語のような予め定義された単語であってもよいし、ユーザが決定した単語又は予め定義された環境で用いる単語であってもよい。他方で、キーパッドのキーに対するそれぞれの同一キーストローク列を、十分に対応する(例えば、同じキー押下に対応しかつ対応する音声の入力を要求する他の単語から、その単語を区別するために必要なものと少なくとも同程度な)音声を与えることと組み合わせる。入力した単語がユーザの望むものでない場合、ユーザは(例えば、対応するキー押下を再度与えずに)単に、その単語を発話するか、又はその単語の少なくとも複数のあるいはすべての文字を発話するかのいずれかを行うことができる。これは迅速で容易である。
例えば、図8のキーパッド13200を考慮した上で、システムの単語辞書データベース内の1つの単語(例えば、「noise」)のみを、発話なしでのキー押下13202、13204、13202、13202、13203に対応するように予め定義することができる。ユーザが同一のキー押下情報を有する「cycle」又は「clive」のような別の単語を入力したい場合、キー押下に加えて、ユーザはその単語の少なくとも(例えば、先頭の)1つ又は複数の文字を発話するか、又は(例えば、前述のように)その単語を発話することができる。示したように、同じキー押下情報を有しかつ入力される先頭文字に対する音声を要求するデータベースの単語の各々(例えば、「cycle」又は「clive」)は同じ文字で始まることができ、その結果、それら単語を互いに区別するために、ユーザは例えば、対応する単語の複数の文字を発話して選択結果の他の単語から区別できる。文字(又は単語)に対応する音声を、少なくとも1つのキー押下が与えられている時間に関連する予め定義されたラップ時間で与えうることに留意しなければならない。例えば、音声を対応するキー押下を与えるのと実質的に同時に、又は最大でもキー押下前後の予め定義されたラップ時間前後に与えることができる。キー押下入力中にユーザが十分な音声情報を与えず(例えば、この例では1つの文字「c」のみを発話する)、システムが所望でない単語(例えば、「cycle」)を与える場合、所望の単語(例えば、「clive」)を入力するため、ユーザは前述の補正/選択手順に進むことができる。
1つの方法によると、好ましくは、例えば対応するキーを押下し対応する文字(又は単語の一部分/単語)を発話することでユーザが単語の少なくとも最初のキャラクタ(例えば、文字)を入力し、発話なしで単語の残りの文字に対応する残りのキー押下を与えた後は、システムはその文字で始まる候補語を見つけようと試みようとする。この場合、候補語の残りのキャラクタ(例えば、文字)はユーザが発話なしで与えたキー押下に対応することに留意しなければならない。文字(又は単語)に対応する音声を、少なくとも1つのキー押下が与えられている時間に関連した、少なくとも予め定義された時間に与えうることにも留意しなければならない。例えば、音声を対応するキー押下と実質的に同時に、又は最大でもキー押下前後の予め定義されたラップ時間前後に与えることができる。
前述のように、本発明の一実施形態によると、文字キー以外のキーと対話すること、又はキー上の文字の入力に用いる対話モード以外の文字キーとの対話モードを与えることを、システムによる単語末尾信号として考慮することができる。例えば、単語の少なくとも先頭文字の入力に対応する入力情報を与え、単語の一部分の最初の文字に対応するキーのグライド動作又は二重押下動作を与えることにより単語の接尾辞といった単語の一部分を入力した後で、1つの方法によると、システムはその単語の一部分を単語の最終部分とみなし、ユーザが与えた情報のすべてに基づいて、その情報のすべてに対応する少なくとも1つの単語を選択することができる。別の方法によると、システムは単語の一部分をユーザが与えた先行情報に対応する単語への連結部とみなすことができ、その先行情報に基づいて少なくとも1つの単語を選択した後、システムは単語の一部分を少なくとも1つの単語の終わりに連結することができる。前述のように、1つの方法によると実質的に単語の一部分すべてを、キー上の(例えば、キーに割り当てた)文字のようなキャラクタの入力に必要な対話以外の、キーとの少なくとも1種類の対話に割り当てることができる。本明細書に記載した本発明者出願の引用で述べたように、1つの方法によると、データベースの少なくとも実質的にすべての単語の一部分各々を、単語の一部分の先頭文字に対応するキーに割当て可能であることに留意しなければならない。
前述のように、実質的には単語入力の直後又は後で、補正手順を与えることができる。ユーザはテキストを保存し、後でそれを開いて電子装置のスクリーンに可視化し、ユーザが変更したい単語をポインティングして(例えば、ポインティング方法は誤った単語/所望でない単語全体を選択することでよい)、単語の入力に必要な単語の少なくとも1つ又は複数の(例えば、先頭)文字を発話できる。単語全体の選択のように予め定義されたポインティング信号を与えることで、システムはユーザが単語全体の変更を望んでいる可能性があることを理解できる。その後、別の方法によると、単語の1つ(又は複数の)文字を修正するため、ユーザはその文字をポインティングし(例えば、その文字の直後の位置をポインティングし)、補正を与えることができる。
単語の1つをポインティング/選択することのように、候補語の中から単語を選択する他の方法を、上述の単語(例えば、単語の少なくとも幾つかの文字)を発話することと独立又は連動して使用可能であることは理解されよう。
前述のように、本発明のデータ入力システムは、電子装置のタッチセンシティブスクリーン上のオンスクリーン(例えば、QWERTY)キーボードのようなキーボードを使用することができる。前述のように、ユーザがスクリーン上でタイプするとき、ユーザが押下を意図したキー近傍のキーボード(例えば、キー)領域を(例えば、誤って)叩く可能性がある。システムは、押下領域(例えば、キー)近傍の少なくとも幾つかのキーを考慮することができる。これにより一連のキーを与えることができる。一連のキーの各々は、単語入力中の各ユーザの押下動作とともに考慮すべき文字のような少なくとも1つのキャラクタを有する。キーボード上のそれぞれの押下動作により選択されたキーの数の各々は、文字のような幾つかのキャラクタを有するキーパッドのキーを再現するように、文字のような少なくとも1つのキャラクタに関連することができる。次いでその原理に基づいて、システムはキーパッドを使用し、本発明の押下/グライド及び発話データ入力システム又は本発明の組合せデータ入力システムのような本発明の異なるデータ入力システムを有する方法を使用できる。例えば、図7に示すように、オンスクリーンキーボード13100を使用することで、単語「have」を入力するため、ユーザはその単語に対応するキー近傍のゾーン13101−13104を押下する可能性がある。インパクトゾーンの各々に対して、システムは例えばゾーンを囲むキー上の文字を考慮できる。例として、本例では、システムは少なくとも文字「h、j、y、u」の少なくとも幾つかをインパクトゾーン13101に対して考慮でき、システムは少なくとも文字「a、s、z」の少なくとも幾つかをインパクトゾーン13102に対して考慮でき、システムは少なくとも文字「f、g、v、c、b」 の少なくとも幾つかをインパクトゾーン13103に対して考慮でき、システムは少なくとも文字「e、r、s、d、v」 の少なくとも幾つかをインパクトゾーン13104に対して考慮できる。前述の押下動作に対応する文字を本発明のデータ入力システムと併用可能であることは理解されよう。例えば、更なる正確性のため、キーの押下中に、少なくとも1つのキー押下に対応する少なくとも1つの音声を与えることで、少なくとも1つの文字をより良く認識できる。例えば、ユーザはキーの押下中に文字「h」を発話することができる。システムは、例えば、ユーザが与えた残りの押下動作に対応する文字を考慮することで、単語がその文字で始まることを認識することができ、システムは単語「have」を与えることができる。これらのことは既に詳述した。QWERTYキーボードの代わりに、任意数のキー、任意の文字割当て、等を有する任意の他のキーボードを使用可能であることは理解されよう。
多数の実施形態ではキーを電子装置の入力手段として図示及び説明したが、ユーザの指、フィンガーキャップ、スタイラスペン、又は電子装置の(例えば、傾動)動作、等のような、キー及び/又はキーとの対話を再現する電子装置に与えた任意の他の入力手段が同じ目的に使用可能であることに留意しなければならない。これらの事は既に前述した。
また、本発明の別の実施形態によると、ユーザの入力情報に基づいて単語を選択した後に、ユーザがスクリーンを見ずに単語を変更又は確定したいかどうかを決定できるように、システムはその単語を発話できる(例えば、テキスト音声システム)。例えば、システムを聴いた後に、ユーザがそれを確定したい場合、ユーザは次の文字/単語等の入力に進むことができる。また例えば、システムを聴いた後、ユーザが単語を変更したい場合、ユーザは例えばその単語の少なくとも1つの文字を発話するか、又はその単語を発話すること等ができる(例えば、対応するキー押下はユーザにより既に与えられている)。単語の変更又は確定は上で詳述した。
前述のように、本発明のデータ入力システムに与えた音声情報は、少なくとも1つのユーザの声又は唇の動きのうちの1つに基づくことができる。本発明の読唇認識システム(例えば、この場合、言語の文字を異なるキーに分散させる)を使用するとき、それぞれの発話された文字間に休止を伴う文字のような孤立した文字を発話することで、文字認識の正確性を大幅に向上させることができる。本明細書に記載した本発明者出願の引用で説明したように、互いに関して曖昧に類似する音声を有する文字を異なるキーに割り当てることができる。
本発明の一実施形態によると、読唇認識システムを本発明の(例えば、上述の単語予測システムを含む)組合せデータ入力システムと併用することができる。例えば前述のように、単語を入力するために、ユーザは対応するキーを押下しその文字を発話することで、少なくとも最初のキャラクタ(例えば、文字)のような文字グループの少なくとも1つのキャラクタを正確に入力することができる。ユーザは次いで、その単語の残りの文字に対応するキー押下を与えることができる。単語に対応する文字を発話し、発話なしで残りのキー押下を与えることで、文字を発話した後の音声休止ラップ時間を与えることができる。ユーザが連続して単語を与える場合、その連続語の(例えば、最初の)文字の音声を与える間に(例えば、大抵は)休止があってもよい。(例えば、最初の発話された文字を認識するため、読唇認識システムを使用することができる。これにより、本発明のデータ入力システムに更なる自由度を追加できる。
システムが本実施形態を通してユーザが与えた情報に基づいて、ユーザの所望の単語を認識/選択しない場合、ユーザは、例えば単語を1文字ずつ発話するか、又は単語を発話することで、前述の補正/選択手順に進むことができる。補正/選択手順に与えた音声をユーザの声に基づいて認識できることが好ましい(例えば、音声認識は特にユーザが別々に1つ又は複数の文字を発話するときは読唇に基づくこともできるのは明らかである)。これは、複雑な音声(例えば、単語の音声、速い音声、休止なしの文字音声)の認識に対して、現在は音声認識システムが読唇システムよりも高性能化されているからである。高度な読唇システムが存在する場合、そのシステムを使用してユーザの唇の動きに基づいて音声を認識可能であることは理解されよう。
ユーザが単語の先頭文字に関わる音声を与える際に休止を与えない(例えば、複数の文字を発話する)場合、読唇システムはユーザの音声の(例えば、実質的には単語の最初の文字に対応する)先頭部分のみ考慮すればよいことに留意しなければならない。
前述のように、対応するキー押下を発話なしで与えることで辞書データベースの単語を入力することもできる。システムが読唇システムを使用して単語の最初の文字のような文字を正確に認識する場合、ユーザによる音声が単語の先頭位置で与えられたか否かをシステムが認識できない(例えば、ユーザの唇が動いたかどうかを判定できない)場合がありうる。この場合、本発明の音声認識システムを使用して、音声があったかどうかを確認できる。したがって、唇の動きのみによって単語の文字を発話しようとする際は、ユーザの音声も与える(例えば、非常にばらばらであっても、一部がユーザにより与えられたものであったことをマイクが検知するので、その結果、システムに読唇システムを使用するよう知らせてユーザの音声を認識する)と便利である。
音声認識の正確性を上げるため、音声認識及び読唇認識の両方を使用(例えば、組合せ)可能であることは理解されよう。
互いに関して曖昧に類似する音声を有する文字のようなキャラクタがキーパッド(例えば、電話型キーパッド)の同じキー(及びそのキーとの同種の対話)に割り当てられる場合、本発明の単語予測データ入力システムは、同じキー押下を有しかつ曖昧な文字のうち任意のもので始まる単語を考慮できる。例えば、それぞれの対が電話型キーパッドの同一のキー上に位置する文字対「d、e」又は文字対「j、k」の各々の音声(例えば、声又は唇の動き)は、読唇システム又は音声認識システムを用いてさえも、曖昧である可能性がある。例えば、本発明の組合せデータ入力システムと併用した電話型キーパッドを用いることで、単語「keep」を入力するため、ユーザは文字「k」に対応するキーを押下してその単語を発話できる。ユーザは次いで、残りのキー押下を発話なしで続けることができる。システムは、文字「j」で始まり、かつ同じ残りのキー押下を有する単語(例えば、「jeep」)を考慮する(例えば、そのように予め定義する)こともできる。
(例えば、対応する電子装置内に実装されているか、又は電子装置に接続した周辺装置/取り外し可能装置として用いられる)マイク及び/又はカメラのような、ユーザの音声を検出するための別の手段を考慮ことができる。検出及び分析したユーザの唇の動きの画像は3D(例えば、3次元)にすることができる。前述のように、発話するときのユーザの顔の他の部分(例えば、歯、顎、等)も考慮できる。これらは既に詳述した。
図7のタッチセンシティブキーボード及び対応する実施形態を引き続き参照すると、実施形態において前述したように、ユーザは(例えば、発話なしで)対応する単語の(例えば、先頭)文字に対応する(例えば、先頭)キー押下の少なくとも1つを(例えば、正確に/曖昧さなく)正確に与え、その単語の残りの文字に対応するキー押下を(例えば、本発明の少数化したキーパッドの曖昧なキーを通して)曖昧に与えることができることが好ましい。これにより、(例えば、音声を使用せずに)単語を選択するのに十分な情報を与えることができる。対応する音声情報を本発明のデータ入力システムの原理に基づいて与えることも考慮可能であることは理解されよう。前述のように、正確な文字は手書き入力と認識システムとにより入力できる。
前述のように、本発明の単語予測データ入力システムを用いることで、例えば文字に対応するキーの予め定義された押下/グライド動作を与えること、及びその文字に対応する音声情報を与えること(例えば、その文字を発話すること)、及び単語の残りの文字の少なくとも1つ(好ましくは、すべて)に対応するキーを押下/グライドすることで、単語の少なくとも1つの文字を正確に/曖昧さなく入力し、単語を入力することができる。明らかに、本発明の(例えば、予測)データ入力システムの任意の実施形態において、単語の少なくとも1つの正確な/曖昧でない文字を入力するための対応するキーの押下/グライド動作と対応する音声とを、手書き入力及び認識システム、フル(例えば、PC)キーボード、等のような別の正確な/曖昧でないデータ(例えば、文字)入力システムを用いて置き換えることができる。また、本発明の補正/選択手順において、ユーザの音声を用いる代わりに、手書き入力及び認識システム、フル(例えば、PC)キーボード、等のような別の正確な/曖昧でないデータ(例えば、文字)入力システムを用いることで、ユーザは単語の選択/補正/入力に必要な1つ又は複数の文字を与えることができる。
本発明の組合せデータ入力システムを引き続き参照する。システムと併用される、少なくとも1つの言語データベースの(例えば、完全な)単語辞書及び少なくとも1つの言語における単語の一部分のデータベースの辞書を互いに分離することができる。システムを予め定義して、キーを押下することが言語の単語入力に対応し、例えばグライド動作を与えることが言語の単語一部分の入力に対応しうることをシステムに知らせることができる。システムは対応する辞書データベース内で単語を検索することができる。
本発明の組合せデータ入力システムは任意のデータベースを別々に含むか、又はそれらの両方を含むことが可能であることは理解されよう。これらの事は既に詳述した。
本発明の「組合せ」データ入力システムは本出願、及び本明細書に記載した本発明者出願の引用において様々な形態で述べたが、このシステムは、本発明の押下/グライド及び発話データ入力システムと単語予測データ入力システムとを組み合わせた本発明のデータ入力システムを指し、単語の少なくとも1つの(例えば、先頭)キャラクタ(例えば、文字)を発話しない、又は発話して単語を入力するために、単語の文字に対応する少なくとも幾つか(例えば、好ましくはすべて)のキー押下を与えることに基づくことに再度留意しなければならない。これらの事は既に詳述した。
例えば電話型キーパッドにユーザが与えた(曖昧な)キー押下(例えば、キーに割り当てた任意の幾つかの任意のキャラクタ/文字に対応しうるキー押下)のみに基づいて単語データベース内の単語を検索することは、何年も前から公知である。上述のように、ユーザが提供した一連のキー押下はデータベースの1つ又は複数の単語に対応することができ、この場合、通常は最高使用頻度を有する単語が最初の選択結果としてユーザに提示される。単語がユーザが入力を意図したものでない場合に、その単語を受け入れるか又は別の単語を選択するために、様々な方法が提案されている。ノキアフォンで使用されている最も一般的な単語予測システム(例えば、T9)によると、単語「pda」を入力するには、空白文字のような単語末尾信号を含む追加7回のキー押下と、システムが提示する次の単語の各々を検証するためにディスプレイに非常に集中することが必要である。単語「pda」が候補語の中で最も優先度が低い単語の1つであることをユーザが予め知っている場合でも、ユーザは同様の段階を追ってそれを選択しなければならない。単語間をナビゲートした後、システムが提示した単語の中にユーザが意図した単語がないことをユーザが認識したときが最悪である。この時点でユーザは単語を入力するために、マルチタップシステムのような別の方法に切り替え、その単語の文字の各々に対応するそれぞれのキーに対して一般的に複数回のタップを与えなければならない。リアルタイムな状況では、入力されるテキストの大部分は辞書外の単語を備える可能性がある(例えば、名前、住所、URL、数字、句読点、別言語の単語、略語、公式、等)。その理由で、単語予測システムは、コンパクトで迅速かつ容易なデータ入力システムが非常に不足しているタブレットPC又はPDAのようなコンピュータでの一般的なデータ入力には用いられない。携帯電話においても、多数の人々はそれが遅くてもまだマルチタップシステムを使用しているが、ユーザはテキストを1文字ずつ入力し、「タイプしたものがそのまま得られる」ということを知っている。
前述のように、本発明の組合せデータ入力システムは、辞書内の単語に対応する情報(例えば、単語の文字に対応するキー押下と単語に対応する音声情報。この場合、音声情報は様々な種類の情報であることができる。その情報には例えば、単語の少なくとも幾つかの文字を発話することのような少なくとも単語の一部を発話すること、又は単語を発話すること、又は音声を与えないことがあり、この場合、その音声情報はシステムにより検出及び分析される。これらの事は、本明細書に記載した本発明者出願の引用で既に詳述した。)を入力した後ユーザの追加の対話を極度に最小化及び排除することができる(例えば、システムは所望の単語の入力に対するキーとの追加の対話を排除し、表示ユニットとの対話を極度に最小化及び排除することができる。なぜならば、経験豊富なユーザはどの単語が対応する音声を必要とするか、及び最終的には必要な音声の量又は種類を予め知ることができるからである)。
このシステムの別の大きな利点は、単語のような辞書外の文字列を入力できることである。前述のように、例えば、ユーザが与えた情報の入力後にシステムが文字列(例えば、単語)を辞書データベース内に発見しない場合、ユーザは追加のキーを押下せずに文字列に対応するキャラクタ(例えば、文字)を発話することでその文字列を入力することができる。前述のように、システムは元のキー押下を考慮できる。
システムの別の大きな利点は、好ましくは文字当たり最大でも1回のキー押下、又は2つのキーの同時押下により、任意の文字列(例えば、正式な名前、住所、数字、句読点のような特殊文字を含む文字列、等)を迅速かつ容易に入力できることである。例えば、自身が入力しようとしている(例えば、別言語の単語又はURLのような)文字列がデータベースに存在しない任意の文字列であることをユーザが予め知っている場合、ユーザは(例えば、文字列を1文字ずつ入力するために)本発明の押下/グライド及び発話データ入力システムを(例えば、文字毎のデータ入力システムを用い、文字に対応するキーを押下し、文字に対応する音声情報を与えることにより)使用することができる。
少なくとも4つ程度の少数のキー(例えば、この場合、キーの4つのキーに対して実質的に言語の文字すべてが分散的に割り当てられる)をキー押下のみに基づいて単語予測データ入力システムで用いることは、一連のキー押下に対応する単語の数が多数であるので面倒であり、実に非実用的である。本発明の組合せデータ入力システムにより、少数のキーの使用、及び迅速かつ容易なデータ入力システムの使用が可能となる。本発明のデータ入力システムで少数のキー(例えば、この場合、そのうち4つは少なくとも1つの言語の文字に対応し、例えばキーは2つのグループに分割され、各グループは例えばタブレットPCの片側に位置する)を用いる利点は、既に詳述した。
また、(例えば、少なくとも最小回数の対応音声情報を与えることの利点を用いずに)キー押下のみに基づくデータ入力システムは、辞書データベースが複数言語の単語を含む場合、一連のキー押下に対応する単語が多数となるので非実用的であろう。本発明の組合せデータ入力システムにより、(例えば、同一データベース内の)複数言語の同時使用と、迅速かつ容易なデータ入力システムの使用が可能となる。
また、上で詳述したように、空白文字、数字、句読点文字、及びコマンド(例えば、「Enter」機能)のような実質的にすべての特殊記号を、一般に最大でも1つの押下動作をキーに与えるか又は同時に2つのキーを押下することで、曖昧さなく(例えば、単語のような文字列内に、又は独立して)入力することができる。その主な目的に加え、単語に対応する情報の入力の最後に曖昧でない特殊記号を与えることで、システムに単語の末尾を知らせることもできる。これは、本発明の組合せデータ入力システムの別の大きな利点でありうる。単語に対応する情報の入力後に、ユーザは少なくとも1つの特殊記号のような所望の記号を入力することができる。その特殊記号をシステムが単語末尾信号とみなすことができる。加えて、システムは単語の後に記号を挿入又は実行することができる(例えば、幾つかの特殊記号を単語内部で使用することができ(例えば、使用することもでき)、キーに割り当てた曖昧な文字の一部となりうることに留意しなければならない)。
本発明の一実施形態によると、本発明の組合せデータ入力システムの単語予測システムを用いてユーザが単語を入力するとき、システムはテキスト音声システムのようなシステムを使用して、選択した単語をユーザに与えることができる。大抵の場合、その単語は所望の単語であり、ユーザは例えば次の文字又は次の単語の入力に進むことで、システムに選択した単語の受け入れを知らせることもできる。選択した単語がユーザが入力を望んだ単語でない場合、ユーザは上述のように(例えば、その単語又はその単語の少なくとも幾つかの文字を発話することで)選択/補正手順に進むことができる。本実施形態は、完全にアイフリーで迅速なデータ入力及び補正システムを、キー押下動作を追加せずに与えることができる。
前述のように、本発明の一実施形態によると、本発明の組合せデータ入力システムの単語予測システムは単語辞書データベースを使用することができる。この場合、単語は、ユーザが発話なしで与えた一連のキー押下に1つの単語のみが対応しうるように配置される。データベースの別の編成方法及び検索方法を、例えば以下の異なる方法のように考慮することができる。
−1つのデータベース配置方法によると、システムは2つの異なる単語データベースを備えることができる。第1の単語データベースでは、単語の各々はユーザが音声なしで与えた異なる一連のキー押下に対応することができ(例えば、それぞれの単語は異なるキー押下列に対応する)、第2の単語データベースでは、単語の各々はユーザが与えた一連のキー押下に対応することができ、この場合ユーザは前述のように対応する音声も与える(例えば、少なくとも1つの単語は異なるキー押下列に対応することができる)。ユーザが一連のキー押下を与え、対応する音声を与えない場合、システムはユーザの音声がないことを検知することができる。次いで、システムは対応する単語を第1のデータベース内で検索することができる。第1のデータベース内には最大で1つの対応する単語が存在する可能性がある。その単語を入力し、かつユーザが入力したテキストを表示する対応ディスプレイ上に印字することもできる。その単語がユーザが入力を望むものである場合、ユーザは次の単語の入力といった次のタスクに進むことができる。その単語がユーザが入力を望んだ単語でない場合、ユーザは前述したような補正/選択の手順に進むことができる。より高速なデータ入力のため、ユーザは単語の入力直後に補正/選択手順に進まなくともよい。ユーザはテキストの次の部分(例えば、次の単語)の入力等のような次のタスクに進むことができ、ユーザは後で前述の補正/選択手順に進むことができる。
ユーザが一連のキー押下を与え、対応する音声を与える場合、システムはユーザの音声を検出することができ、第2のデータベース内で対応する単語を検索することができる。第2のデータベース内にはユーザのキー押下及び音声に対応する1つ又は複数の単語がありうる。例えば、ユーザが単語の少なくとも1つの先頭キャラクタ(例えば、文字)に少なくとも対応する少なくとも1つのキーを押下し、その少なくとも1つの文字を発話し、単語の少なくとも幾つか(好ましくはすべて)の残りの文字に対応するキー押下を続けるとき、1つの検索方法によると、システムはその少なくとも1つの文字を認識することができ、第2の単語辞書データベース内で、その少なくとも1つの認識した文字で始まる単語を検索することができ、この場合、その単語の残りの文字はユーザが与えた残りのキー押下に対応する。別の検索方法によると、システムは第2の単語辞書データベース内で、単語の文字がユーザが与えたキー押下列に対応するような単語を検索することができ、この場合、それらの先頭文字は少なくとも1つの認識した文字に対応する。これらの検索方法は例として説明したことは理解されよう。当業界の技術者は他の検索方法を考慮ことができる。
本実施形態の説明を続ける。第2のデータベース内には1つ又は複数の対応する候補語が存在できる。1つの対応する単語のみが存在する場合、システムはそれを入力することができる。複数の候補語が存在する場合、1つの方法によると、候補の中から予め定義された単語を入力することができる。別の方法によると、他のものと比べて高い優先度を有する候補語の1つを自動的に入力することができる(第2の単語データベースの各単語は、例えばそれらの使用頻度に基づく優先度値を有することができる)。その単語を、ユーザが入力したテキストを表示する対応ディスプレイに印字することもできる。その単語がユーザが入力を望むものである場合、ユーザは次の単語を入力するなどといった次のタスクに進むことができる。選択した単語がユーザが入力を望む単語でない場合、別の方法によると、ユーザはその単語の残りの文字の少なくとも幾つかを発話することといった、より多くの音声情報を与えることができ、ユーザは前述したもののような補正/選択手順に進むことができる。ユーザが望むならば、別の方法によると、ユーザは選択キーのような切替え手段を使用して、ユーザが所望の単語を発見するまで(例えば、それらの使用頻度に基づいて1つずつユーザに提示した)候補語内をナビゲート可能であることは理解されよう。
前述のように、(例えば、会議中の)より高速なデータ入力のため、ユーザは所望しない単語を受け取った直後に補正/選択手順に進まなくともよい。ユーザはテキストの次の部分(例えば、次の単語)の入力、等のような次のタスクに進むことができ、ユーザは後で前述の補正/選択手順に進むことができる。
別の方法によると、システムは2つの上述のデータベースを含む1つの単語データベースを備えうることは理解されよう。
−別のデータ配置方法によると、システムは1つの単語データベースを備えることができ、その中で単語の各々は例えばその使用頻度に基づく優先度値を有する。ユーザが発話なしで所望の単語に対応するキー押下を与えるとき、システムはそのキー押下に対応し、かつ(例えば、もしあれば)同じキーに対応する他の単語に対して最高使用頻度を有する単語を選択することができる。本方法では、キー押下に加えて、ユーザが単語の1つ又は複数の先頭文字を発話することのような音声を与える場合、組合せ情報に基づき、かつその組合せ情報に対応する他の単語に対して最優先度を有する対応語を選択することができる。その単語が所望の単語でない場合、ユーザは前述の選択/補正方法に進むことができる。
別の方法によると、システムは1つの単語データベースを備えることができ、その中でデータベースの単語の各々は、自身の音声状況を示す(例えば、音声を必要とする(例えば「1」)か必要としない(例えば、「0」)追加の情報(例えば、フラグ)を含むか又はそれに関連することができる。一連のキー押下を与えるときにシステムが音声を検知しない場合、自身の音声インジケータが「音声を必要としない」と示す単語のみを考慮でき、その逆も真である。1つの方法によると、発話なしでのキー押下の各列に対し、最大で1個の単語がデータベース内に存在することができる。入力及び選択/補正の手順は前述したものに類似することができる。
前述のように、ユーザが与えたキー押下の列は、句読点文字、数字、コマンド(例えば、「Tab」、「Enter」)、空白文字といった1つ又は複数の特殊記号のような単語末尾信号を含むことができ、単語末尾の文字のようなキャラクタの入力、及び文字の発話、等を含むことができる。記号は一般に曖昧さなく入力されるので、1つの方法によると、システムはキー押下列の中で特殊記号に対応するキー押下を検索目的で考慮しなくともよい。所望の単語の入力後にシステムは特殊記号を入力することができる。ユーザは、キー押下を追加せずに次の単語の入力といった次のタスクに進むことができる。
また、前述のように、別種の単語末尾信号は次の単語に対応するキー押下を与えていること、及び次の単語の(例えば、先頭部分/先頭文字)の音声を発話していることでもありうる。1つの方法によると、システムは単語間に自動的に空白文字を与えることができる。
本発明の組合せデータ入力システムの異なる補正/選択方法は既に詳述した。
前述のように、既に入力した単語を変更するため、ユーザは(例えば、最初に)その単語をポインティングすることができる。別の単語により単語を置き換える目的でその単語をポインティングすることは、文字を単語の後又は内部に挿入することのような別の目的に与えたポインティング動作を妨害しないように定義することができる。例えば、ユーザは例えば単語のダブルクリック動作によって単語を選択することができるか、又はユーザはカーソルを、空白文字、句読点、等のような特殊文字を包含又は排除する単語の最後の文字の後に置くことができる。別の方法によると、ユーザは単語内部の任意の位置(先頭、内部、末尾)にカーソルを置いて、予め定義されたキーを押下及び保持し、別の文字列(例えば、単語)を選択/入力するために所望の音声を与えることができる。
曖昧でない単語の入力に必要な最小限の音声量を与えるため、ユーザは単語の最初の文字を発話できることが好ましい。その情報(例えば、キー押下及び音声)に一致する単語が複数ある場合、ユーザはシステムが所望の単語を与えるまで次の文字を発話すること等ができる。1つの方法によると、ユーザが文字を発話する度に、システムはユーザが既に与えた情報(例えば、キー押下及び音声)に対応する任意の残りの単語を曖昧さなく入力するのに必要な(例えば、次の文字の)最大音声数を示すことができる。
別の方法によると、文書内で単語を選択するため、ユーザは例えば単語を発話すること、又は単語の少なくとも1つの先頭文字を発話すること、又は単語の少なくとも1つの先頭文字/部分を押下/グライド及び発話すること、又は発話なしで単語の1つ又は複数の(例えば、先頭)文字に対応する1つ又は複数の押下動作を与えること、等を行うことができる。システムはユーザが与えた情報を単語又は文書内の単語に対応する情報と比較して、その文書内で所望の単語を発見することができる。これは、マウスのようなナビゲート手段の使用を必要とせず、極度に高速かつ正確にすることができる。例えば図9を参照してキーパッド13300を考慮すると、単語「doing」を単語「coins」で置き換えるため、ユーザはその単語を言うか、又はその単語の幾つかの先頭文字(例えば、「do」)を言うことができる。システムはその音声を文書内の単語の先頭文字と比較して、単語「doing」を発見することができる。システムは複数の単語を発見する可能性がある。ユーザはユーザが発見したい単語に到達するために、単語間をナビゲートすることができる。また、例えば図9を参照してキーパッド13300を考慮すると、単語「doing」を単語「coins」で置き換えるため、ユーザは例えば、単語の2つの先頭文字(例えば、「do」)に対応するキー13304、13303を押下することができる。システムはキー押下動作と文書内の単語の先頭文字に対応するキー押下を比較して単語「doing」を発見することができる。システムは複数の単語を発見する可能性がある。ユーザはユーザが発見したい単語に到達するために、単語間をナビゲートすることができる。
本発明の一実施形態によると、単語に対応する一連のキー押下を入力する(及び最終的には、単語の少なくとも一部分の音声を与える)最中(例えば、単語末尾信号を与える前)に、ユーザが新しいキー押下を与える度にシステムは候補語を提示することができる。1つの方法によると、ユーザが最後のキー押下を入力したとき、ユーザは前述のように本発明の受入れ又は補正/選択方法に進むことができる。別の方法によると、新しいキー押下列を入力する度に、システムはその時点までに入力したキー押下より多い文字を有する単語を提示することもできる。ユーザは単語に対応する残りのキー押下を与えずに単語を選択することができる(例えば、単語補完システム)。
単語に対応するキー(例えば、及び与えられれば音声情報)の押下中に、単語補完システムはそのキー押下(例えば、及び音声)で始まる単語を考慮(例えば、及び提示)することができる。最優先度を有する単語はユーザが入力したテキスト内部に印字したものであることができる(例えば、及び提示した単語末尾にカーソルを置くことができる)。ユーザが新しいキー押下(例えば、及び音声)を入力し続け、そのキー押下(例えば、及び音声)がなお単語の次の文字に対応する場合、その単語(例えば、及びカーソル)は同じ位置に留まることができる。次のキー押下(例えば、及び音声)がその単語に対応しないが、同じ開始(例えば、キー押下)情報を有する別の単語(例えば、又は他の複数の単語)に対応する場合、それらの中で最優先度を有する単語をユーザが入力したテキスト内部に印字することができる(例えば、及び提示した単語の末尾にカーソルを置くことができる)。キー押下動作(例えば、及び音声)中の任意の時点で、提示/印字した単語がユーザが望むものである場合、ユーザは前述の特殊記号のような単語末尾信号を与え、次のタスクに進むことができる。
本発明の異なる実施形態を説明するためにキーを使用したが、本発明者による異なる特許出願において以前に何度も述べたように、任意の他の入力手段(例えば、ユーザの指の対話、電子装置の動作、等)を同じ目的(例えば、キー及び/又はキー対話の再現)に使用できることに留意しなければならない。
上述のように、本発明の単語予測システムにより迅速かつ容易な単語入力システムが可能となる。一実施形態によると、どの単語にも優先度を割り当てなくてよい。音声を与えない押下動作のそれぞれの列に対し、最大で1つの対応する単語が存在しうることが好ましい。同じキー押下列を有する他の単語のうち任意のものを、その単語の少なくとも1つの(例えば、先頭)文字に対応するユーザの音声により、又はその単語を発話することにより、互いに区別することができる。単語の各々が互いに対する優先度(例えば、値)を有する場合でも、本システムを用いることで任意の単語に(例えば、直接)アクセスすることができ、それらを迅速に入力できる。
上述のように、同じ(その)キー押下列を有する他の候補語を、(前述のように)その単語に対応するユーザの音声により(例えば、キー押下に加えて、更に音声を与えることにより)、あるいは他の従来手段又はユーザの音声と他の従来手段との混合を与えることにより、互いから区別することができる。ユーザに知らせるため、他の候補語をユーザに対して、一覧で、又は1つずつ、表示ユニット上に提示することができる。上述のように、別の実施形態によると、他の候補語をユーザに提示しなくともよい。ユーザが他の単語の1つを入力したい場合、ユーザは表示ユニットと更に対話せずに(例えば、上述のように)単に対応する音声を与える。
前述のように、本発明のデータ入力システムを番号案内のような多数のアプリケーションで使用することができる。例として、本発明者が出願した国際出願PCT/US2002/22385号明細書のような別のPCT特許出願で説明されるように、本発明のデータ入力システムの1つ又は複数の適切な実施形態を通して与えた(例えば、テキスト)情報を、(例えば、単語又はフレーズのデータベースを有する)対応するアプリケーションにより使用して(例えば、予め定義された)タスクを与えることができる。例えば、システムを使用して以下を行うことができる。
−電話をかけること;
−番号案内に対して入力を与えること;
−対話型コールセンタに入力を与えること;
−ユーザの(例えば、テキスト)入力に基づいて予め定義されたタスクを与えるシステムに情報を与えること;
−等
本発明の一実施形態によると、例として、テキストのようなデータの入力方法を上記アプリケーションにおいて考慮できる。この方法は例として、少なくとも以下のステップのうち少なくとも1つを含むことができる。
1)ユーザは単語のようなテキスト情報に対応するキー押下を、発話なしで与えることができる。
2)システムがそのテキスト(例えば、単語)を認識する場合、システムはステップ4に進むことができる。
認識しない場合、
3)システムはユーザから例えば以下のような更なる情報を要求することができる。
○テキスト(例えば、単語)を発話すること、又は
○ユーザが与えたキー押下に対応する少なくとも幾つかの文字を発話すること。テキスト(例えば、単語)を同じキー押下列を有する他のテキスト(例えば、単語)から区別するために発話すべき最小数の文字を、システムにより動的に定義することができる。
データベース内の複数のテキスト(例えば、単語)がユーザが与えた情報に対応する場合、システムは更なる情報を与えるようユーザに問い合わせることができる。例えば、システムを使用して個人又は会社のような電話をかけるべき実体の名前に基づいて電話をかける場合、システムは例えば郵便番号、職場/自宅情報、等のような、電話をかけるべき実体の住所の少なくとも一部を入力するための更なる情報をユーザに問い合わせることができる。
4)ユーザの入力の認識に成功した後、システムはそれに応じて次の予め定義されたタスクに進むことができる。
例として、前述のように、システムを番号案内と併用して、例えば少なくとも電話をかけるべき名前に基づいて電話をかけること、又はかけるべき電話番号を呼び出し側に自動的に与えること、等が可能である。
本発明の一実施形態によると、ユーザは電話をかけるべき名前を、例えばその名前の文字に対応するキーの各々を押下すること、及びそれぞれの押下動作と同時に対応する文字を発話することにより、本発明の文字毎のデータ入力システムを用いて入力することができる。
本発明の別の実施形態によると、ユーザは電話をかけるべき名前を、例えばその名前の文字に対応するキーを押下することにより本発明の文字毎のデータ入力システムを用いて入力することができ、(システムが必要とするか又はシステムが要求する場合は)その後にユーザはその名前の少なくとも1つの文字を発話するか、又はその名前を発話することができる。キー情報と音声情報とを異なるラップ時間で与えることは、例えばタッチトーンの電話を用いるときのような場合に便利である。タッチトーン電話を用いるときにキーの押下と発話を同時に行うと、キートーンと対応する音声とが組み合わされ、したがって認識システムが混乱する。
例えば、ユーザが「TheCompany」と呼ばれる会社に例えば電話型キーパッドを用いて電話をかけたい場合、1つの方法によると、ユーザは最初にその名前の文字に対応するキー押下を与えることができる。そのキー押下列がデータベース内の1つの入力(例えば、名前)にのみ対応する場合、システムは次の予め定義されたタスクに進むことができるか、又はシステムは次の予め定義されたタスクに進む前に確定の問合せをすることができる。
他方で、例えば、ユーザが「TheMarkers」と呼ばれる会社に例えば電話型キーパッドを用いて電話をかけたい場合、ユーザは最初にその名前の文字に対応するキー押下を与えることができる。そのキー押下はデータベース内の複数のエントリに対応するかもしれない。例えば、データベース内の別のエントリは「TheMaskers」と呼ばれる別の会社の名前でありうる。名前を互いから区別するため、システムはユーザに問合せて、所望の名前の少なくとも6つの先頭文字(例えば、「themas」)を発話することのような音声情報をユーザに与えさせて、ユーザが入力を意図するものはどの名前かを定義することができる。別の方法によると、システムはユーザにその名前を音声情報として発話するよう問合せることができる。
情報の処理をローカルに(例えば、電話内部で)実行できるか、システムを(例えば、番号案内を請け負う)サーバ内にインストールしてリモートに処理させることができることに留意しなければならない。この場合、キー押下と音声情報をサーバに送信して処理し、結果又は追加要求をサーバによりユーザに送信することができる。
本発明の一実施形態によると、通話を国際的に行うことができる。この目的のため、1つの方法によると、システムは少なくとも幾つかの国の個人又は会社のような電話をかけるべき実体のデータベースを含むことができ、その結果、情報をローカルに処理し、国際電話を相手に向けることができる。一方で、別の方法によると、システムはユーザが与えた情報の一部を使用して、ユーザが与えた情報の少なくとも一部を対応する国の電話帳のサーバに向け、そこで処理させることができる。
例えば、ユーザはテキスト「Benjamin Ghassabian NY USA」を入力することができる。システムは「Benjamin Ghassabian NY」のような情報を米国の対応する電話帳に向け、そこで処理させることができる。別の方法によると、システムは「Benjamin Ghassabian」のような情報を米国のニューヨーク州の対応する電話帳に向け、そこで処理させることができる。テキストにおける単語の順序を予め定義することができるか、又はシステムが、テキスト内部の単語の順序を自由に与えることが十分可能な程度に「知的」であってよい。
本発明の一実施形態によると、電話をかけるべき実体の入力前後に「#」キーの押下のような予め定義された信号により、ユーザが与えたキー押下(例えば、及び音声)の目的(例えば、種類)を定義することができる。例えば、「#」のような予め定義されたキーを一連のキー押下の前に押下することで、例えば、「#」キーの押下後に与えたキー押下は、電話をかけるべき相手の名前を入力することに対応する可能性があることをシステムに知らせることができ、その名前の入力後にシステムは自動的にその相手に電話をかけることができる。したがって、例えば、「*」キーのような予め定義されたキーを一連のキー押下の前(例えば、又は後)に押下することで、例えば、「*」キーの押下後に与えたキー押下は電話をかけるべき相手の名前を入力することに対応する可能性があることをシステムに知らせることができ、例えば、その名前の入力後にシステムは相手の電話番号(例えば、又は相手の住所等のような他の情報)を呼び出し側に与えることができる。又は、逆も真である。なお本発明の一実施形態によると、予め定義された信号を一連のキー押下前後に与えないことで、例えば、ユーザが与えたキー押下は電話番号をダイヤルすることに対応することをシステムに知らせることができる。
データベース内のエントリは複数の単語(例えば、姓、名、ミドルネーム)を備えうることに留意しなければならない。1つの方法によると、ユーザは、それぞれの単語の入力を、その単語の対応するキーを押下すること、及び必要ならばその単語の入力用の対応音声を与えることで実現し、次の単語の入力に進む前に、エントリを1単語ずつ入力することができる。一方で別の方法によると、ユーザはエントリの単語すべてに対応するキー押下を最初に与え、次いで単語各々の入力に必要な音声情報を与えることができる。
本発明のデータ入力システムにより、声のみに基づく対話型コールセンタを拡張するか、又は置き換えることができる。例えば、ユーザが会社に電話をかけるとき、会社の自動音声システムがユーザに提示する選択肢のすべてを聴く(これは大半の場合は時間を浪費し混乱を招く)のではなく、本発明のデータ入力システムを通して任意のテキストを入力する能力を有することで、ユーザはコールシステムが提供するステップの少なくとも幾つかをスキップし、ユーザが入力を望む情報を直接入力することができる。例えば、会社の自動コールセンタに電話をかけた後、ユーザは本発明のデータ入力システムを用いて自身の希望をタイプすることで特定のサポートを求めることができる。また、例えば、誰もいない場合は、ユーザは会社が(例えば、後に)連絡できるように自身の名前、及び/又は住所、及び/又は自身の電話番号、等のような自身の連絡先情報を入力することができる。
本特許出願で与えた実施形態、方法、及び例は、本発明のデータ入力システムの様々な応用例における使用概念を実証するためだけに用いられることに留意しなければならない。本発明のデータ入力システムの原理に基づく他の実施形態、方法、及び例、それらの異なる応用例における使用、等を当業界の技術者は考えうることは理解されよう。
上記で説明した実施形態に要求される音声は少なくてもよいが、それら実施形態では対応するディスプレイに対してユーザが更に集中すること、又は対応するディスプレイとユーザが更に対話することが要求されることに留意しなければならない。他の実施形態において前述したように、最初に提示した単語がユーザが入力を意図した単語でない場合、ユーザはその単語を(例えば、それをワードプロセッシングウィンドウ内で選択することで)ポインティングし、その単語の(例えば、少なくとも幾つかの)文字に対応する音声を与えるか、又はその単語を発話して、ディスプレイへの集中を最小化できることは理解されよう。
番号案内、コールセンタ、自動応答センタ、等のようなアプリケーションの機能は当業界の技術者に公知である。これらアプリケーションを本発明のデータ入力システムと組み合わせることで、目標を達成するためのシステムとの対話がより高速となり、複雑なテキストの容易かつ迅速な入力が可能となる。
システムが提示した所望でない単語の選択/補正に関する異なる手順は前述した。所望でない単語を別の単語で置き換えるために必要な音声を最小化する別の方法を、以下で説明する。
本発明の一実施形態によると、本発明の(例えば、単語予測を含む)データ入力システムを用いて単語を入力するとき、システムが選択した単語がユーザが入力を望んだものでない場合、ユーザは(例えば、所望でない単語をポインティング/選択した後に)その単語に対応する文字を1つずつ発話し始めることができる。例えば、単語の最初の文字を発話した後、データベースで(例えば、所望でない単語以外の)複数の他の単語を選択した結果がユーザが与えた最初のキー押下と対応し、発話した文字で始まる場合、システムは選択結果の中で他の単語に対して最優先度を有する単語をユーザに提示することができる。提示した単語がまだユーザが入力を意図したものでない場合、ユーザは所望の単語の次の文字を発話することができる。システムは(例えば、選択結果の中から)2つの発話した文字で始まる別の単語を提示することができる。複数の文字がその2つの文字で始まる場合、システムは最優先度を有するものをユーザに提示することができる。1つの方法によると、以前に提示した単語も同じ2つの文字で始まる場合、その単語が2つの発話した文字に対応する単語の中で最優先度を有する場合でも、システムはその単語を無視することができる。ユーザが所望の単語の次の文字の発話に進むことで、システムは、システムが提示した単語がユーザが望むものではないことを知る。最後に提示した単語がまだユーザが入力を意図したものでない場合、ユーザは所望の単語の次の文字を発話するなどを行うことができる。
例として、図10は少なくとも4つのキーを有するキーパッド13400を示す。キーパッドの4つのキー13401−13404は言語のアルファベットの文字を表す。値1−4はそれに応じてそれぞれ、対応するキー11401から13404に割り当てる。一連のキー押下13401、13401、13402、13402(例えば、値「1122」)に対応する本システムの単語データベースの部分13405も示してある。本例では、ユーザがキー13401、13401、13402、13402(例えば、キー押下値「1122」)を発話なしで押下する場合、最優先度を有するキー押下に対応する単語を選択するようにシステムを予め定義することができる。本例では、その単語は単語「what」である。キー押下を与えた直後又は後の、提示した単語(例えば、「what」)をポインティングすることによる補正/選択手順の間に、ユーザは文字「n」を(例えば、キー押下を与えずに)発話することができる。システムは初期のキー押下(13401、13401、13402、13402)に対応する単語を提示することができる。単語は、文字「n」で始まり、同一キー押下に対応しかつ同じ文字「n」で始まる他の単語に対して最優先度を有する。本例では、その単語は単語「next」である。提示した単語がまだユーザが入力を意図したものでない場合、ユーザは所望の単語の次の文字「e」を(例えば、キー押下を与えずに)発話できる。1つの方法によると、追加の文字を発話することにより、発話した文字がその単語(例えば、「next」)の次の文字に対応する場合でも現在提示した単語(例えば、「next」)を無視するようシステムに知らせる。システムは既に提示した単語(例えば、「next」)を除外することにより、同じ初期のキー押下を有し、(例えば、先頭)文字の2つが対応するユーザの音声に対応し、同じキー押下情報を有しかつ(例えば、先頭)文字の2つが対応するユーザの音声に一致する他の単語に対して最優先度を有するような、単語を提示することができる。本例では、その単語は単語「near」である。単語「near」がまだユーザが入力を意図するものでない場合、ユーザは所望の単語の次の文字を発話することに進むことができ、システムは前述の原理に基づいて行動する、等である。本例において、次の文字「a」を言うことで、システムは例えばユーザが入力を意図したものである単語「neat」を提示する。
前述のように、本発明の予測データ入力システムのような本発明のデータ入力システムを、手書き入力及び/又は認識システム、マルチタップシステム、等のような他のデータ入力システムと組み合わせることができる。
例えば、本発明の単語予測方法を手書き認識システムと組み合わせることができ、その結果、手書き入力及び認識システムが追加の認識システムとして使用されるか、又は本発明の音声認識システムにより置き換えられるかのいずれかである。例えば、ユーザは単語に対応するキー押下を発話なしで与えることにより単語を入力することができる。単語がキー押下列に対応する唯一の単語でない場合、ユーザは、手書き認識システムを用いてその単語の少なくとも幾つかの(例えば、先頭)文字を、その単語の入力中又は前述の補正/選択手順中のような予め定義されたラップ時間で、正確に入力することができる。例えば、図11aに示すように、タブレットPC13500の少なくとも4つのキー13501から13504を有する(例えば、既に説明したキーパッドの1つに従う)分離キーパッドを用いることで、及びシステムの単語データベース13508の一部を考慮することで、単語「has」を入力するためにユーザは発話なしで対応するキー13501、13502、13504を押下することができる。システムは、同じキー押下列に対応しかつ最優先度を有する所望でない単語「was」を提示する可能性がある。次いで、図11bに示すようにユーザは、例えば所望の単語「has」を同じキー押下列を有する他の単語から区別するのに必要な数の(例えば、先頭)文字を少なくとも書くことで、(例えば、その時点/瞬間に、又は後に、単語「was」のポインティング/選択13507により)所望でない単語を変更することができる。本例では、単語「was」を単語「has」で置き換えるために唯一の文字「h」13505を与えることで十分であろう。なぜならば、単語「has」はデータベース内において、ユーザが与えた同じキー押下に対応しかつ文字「h」で始まる他の単語に対して、最優先度を有するからである。本システムはより低速で、より苛立たせるものであるかも知れないが、本システムによりユーザの音声を用いずにデータ入力及び補正が可能となる。本発明の一実施形態によると、手書き入力及び認識システムを音声認識システムも使用可能な本発明の単語予測データ入力システムとともに実装することができ、その結果、ユーザは例えば(例えば、静かな)環境又は(例えば、迅速で容易なデータ入力を必要とする)状況に従って、上述の単語予測データ入力システム(例えば、この単語予測データ入力システムは少数のキーを有するキーパッドのキーを用いる。この場合、少数のキーには例えば、少なくとも1つの言語の少なくとも文字がその少なくとも4つのキーに割り当てられるような少数のキーがある。)を有する任意のデータ入力システムを使用できることは理解されよう。
上の例はシステムの単語補正手順を実証する。前述のように、ユーザは単語の入力中に手書き文字を入力することができることは明らかである。例えば、(例えば、単語「was」及び「has」が同じキー押下列に対応し、単語「was」が最優先度を有することをユーザが予め知っている場合)単語「has」を入力するため、ユーザは最初に文字「h」を書き、次いでその単語の残りの文字「as」に対応するキーを押下することができる。
本発明の一実施形態によると、
−所望でない単語のような所望でないテキストに関する(例えば、内部の)位置をポインティングし、所望の単語を発話するといった音声を与えるか、又はキー押下を与えずに(例えば、システムは、ユーザが所望でない単語の入力に対して与えた最初のキー押下を考慮できる)所望の単語に対応する少なくとも幾つかの文字を発話することで、その所望でない単語をその所望の単語で置き換えることができる。
−システムが与えた単語のようなテキストに関する(例えば、内部の)位置をポインティングし、キー押下列を与えてそのキー押下列に対応する音声のような音声を与えること、又はそのキー押下列に対応する少なくとも幾つかの文字を発話することにより、又は与えた単語に関する(例えば、内部の)位置に、対応するテキスト(例えば、単語)を挿入することができる。
本発明の一実施形態によると、文書の単語を(例えば、それらを他の単語で置き換えるために)ポインティング/選択するためのナビゲーション方法を考慮することができる。例えば、1つの方法によると、本発明のデータ入力システムの(例えば、4つの)矢印を使用して文書の単語をナビゲートし、文書の単語をポインティング/選択することができる。別の方法によると、選択手段を単語上で前方及び/又は後方に(例えば、キー)移動させる前進手段及び/又は後進手段を、(例えば、1単語ずつ選択して)同じ目的に使用することができる。
本発明の一実施形態によると、会議中にメモを取るといった環境でのデータ入力中に、ユーザは会議後といった後の時間に、単語、長語、又は辞書外の単語といった一連の辞書外の文字、又は(例えば、複雑な)フレーズ、関数、等(例えば、以降、「入力困難テキスト」)といったテキストの一部を入力することを決めることができる。本目的のため、以下のような様々な方法を考慮することができる。
−1つの方法によると、ユーザは、例えば予め定義されたキーを押下し単語のような「入力困難テキスト」を発話することといった予め定義された信号を与えることで、システムに知らせることができる。システムはその音声を記録して1つ又は複数の記号を文書内の対応する位置に置くことができ、ユーザがその位置(例えば、1つ又は複数の記号)をポインティング/選択するとき、システムは記録した音声をユーザに与え、その結果ユーザは自分が話したことを思い出し、それに応じて文書内の「入力困難テキスト」(例えば、単語)を、
−「入力困難テキスト」(例えば、単語)の少なくとも幾つかの(例えば、先頭)文字に対応するキーを押下し、その文字又は「入力困難テキスト」(例えば、単語)を発話すること、あるいは
−その単語を手書き入力及び認識システムにより入力すること、
−等
により入力する。
例えば、ユーザがメモを取るとき、個人の名前(例えば、「Alexandrite」)のような辞書外の単語を、単語の最初の文字に対応するキーのような予め定義されたキーを押下すること、及びその単語を発話することにより、入力することができる。その単語を認識しないことで、システムは1つ又は複数の(例えば、予め定義された)記号をテキスト内の対応する位置に与え、やはりその位置(例えば、対応する1つ又は複数の(例えば、予め定義された)記号)に対応する音声を記憶することができ、その結果、ユーザが対応する1つ又は複数の(例えば、予め定義された)記号をポインティング/選択するとき、ユーザが自分が話したことを思い出し上述のようにそれに応じてテキストを入力するようにシステムはユーザの音声(例えば、記録した音声)をユーザに与える。
−別の方法によると、前述のように、ユーザは、「入力困難テキスト」(例えば、単語)の少なくとも幾つか(例えば、好ましくはすべて)の文字に対応する一連の押下動作を与え、テキスト(例えば、単語)を発話することができる。システムが単語を認識しない場合、システムは音声を記録し、ユーザが押下したキー値のような一連の予め定義された文字といった文字列を文書内の対応位置に与えることができ、ユーザが(例えば、その文字に対する)位置をポインティング/選択するとき、システムは記録した音声をユーザに与え、その結果ユーザは自分が話したことを思い出し、それに応じてテキストを
−キーを再入力せずに1つずつ文字を発話すること(例えば、前述のように、キー値のような記録した文字列を考慮することでシステムは初期キー押下を覚えている)、あるいは
−単語を手書き入力及び認識システムにより入力すること、
−等
により入力する。
例えば、ユーザがメモを取るとき、個人の名前(例えば、「Alexandrite」)のような辞書外の単語を、その単語の文字に対応するキーを押下すること、及びその単語を発話することにより、入力することができる。単語を認識しないことで、システムはユーザが与えた予め定義されたキー押下値のような、予め定義された記号をテキスト内部の対応位置に与え、やはり位置(例えば、対応する(例えば、予め定義された)記号)に対応する音声を記録することができ、その結果、ユーザがその対応する(例えば、予め定義された)記号をポインティング/選択するとき、ユーザが自分が話したことを思い出し上述のようにそれに応じてテキストを入力するように、システムはユーザの音声(例えば、記録した音声)をユーザに与える。
−なお別の方法によると、手書きにより「入力困難テキスト」(例えば、単語)を入力して即座にデジタル化すること、あるいはグラフティによりそのまま入力して後にそれをデジタル化した文字(例えば、印字文字)に変換すること、又は文書内にそのまま保持すること、のいずれかを行うことができる。
例えば、ユーザがメモを取るとき、個人の名前(例えば、「Alexandrite」)のような辞書外の単語を、例えば手書き入力(例えば、及び認識)システムにより入力することができる。1つの方法によると、システムはテキストをそのまま文書内の対応位置に与えることができ、その結果、望むならばユーザは後にそれをデジタル化した文字(例えば、印字文字)に変換することができる。別の方法によると、システムはテキストをデジタル化した文字(例えば、印字文字)に即座に変換することができる。
−オンスクリーンキーボードのような(例えば、曖昧でない文字を与える)他の入力方法、又は本発明のデータ入力システムの原理に基づくもののような他の入力方法も使用して、「入力困難テキスト」(例えば、単語)を入力することができる。
テキストの任意部分の単語全体を、手書き入力及び認識システムを用いて入力できることに留意しなければならない。タイピング手順(例えば、キー押下)に切り替えることで、システムにテキスト部分の手書き入力手順の終了を知らせることができる。
テキスト部分の一部に対するユーザの音声(例えば、声)をデータ入力中に記録することには少量のメモリが必要だが、それによりユーザは大量の自由度と柔軟性を得られることにも留意しなければならない。
標準的なPCキーボードを用いることにより、多数のコンテンツ検索方法が存在する。本発明のデータ入力システムにより少なくともPCキーボードの機能性を再現することが可能であり、したがってコンテンツ検索方法を再現することが可能である。
本発明のデータ入力システムを、コンテンツ検索手順のような一般的な対話型手順、PC、対話型TV、等と対話するような対話型コンピューティングシステムといった一般的な対話型手順に使用することができる。例えば、システムをMedia Center PCのリモコンと併用して、映画又は曲の検索及び再生、TVチャンネルサーバの質問への回答、TVの他ユーザとの(例えば、TVメッセージングを通した)遠隔対話、等を行うことができる。
本発明の一実施形態によると、コンテンツデータベース内でコンテンツ(例えば、曲名データベース内部の曲名、映画名データベース内部の映画名、電話帳データベース内部の人名又は会社名、等)を検索するため、ユーザは本発明のデータ入力システムを使用することができる。コンテンツは1つ又は複数の単語のような1つ又は複数の文字列からなることができる。コンテンツの各々は様々なフィールドからなることができ、フィールドの各々は1つ又は複数の文字列を含むことができる。例えば、図12は曲名データベースの一部13600を示す。例えば、曲に対応するそれぞれのレコードは、曲のタイトル13601、歌手13602、アルバム13603、等のような数個のフィールドを含むことができ、フィールドの各々は1つ又は複数の単語を含むことができる。
本発明のデータ入力システムは、アルファベットの複数の文字が少なくとも1つのキーに割り当てられる少数のキーを有するので、以降述べるもののようなコンテンツを検索するための様々な入力手段を考慮することができる。
第1の方法によると、ユーザは、文字に対応するキー押下を与え、必要ならばキー押下に対応する音声を与える(例えば、キー押下の少なくとも幾つかに対応する文字を発話する、又はキー押下が表す所望の単語を発話する)ことで、少なくとも1つのフィールドの文字すべてを入力することができる。音声をキー押下動作と同時に与えることができるか、又は音声をキー押下の入力後に与えることができる(例えば、システムは音声をキー押下の処理後に動的に要求することができる)。本方法はコンテンツを発見するため通常はより多くのキー押下を要求する可能性がある。
第2の方法によると、ユーザは、文字に対応するキー押下を与え、必要ならばキー押下に対応する音声を与える(例えば、キー押下に対応する文字を発話する、又はキー押下に関連する単語を発話する)ことで、少なくとも1つのフィールドの文字の一部を入力することができる。音声をキー押下動作と同時に与えることができるか、又は音声をキー押下の入力後に与えることができる(例えば、システムは音声をキー押下の処理後に動的に要求することができる)。本方法はコンテンツを発見するために通常はより少ないキー押下を要求するが、より多くの音声を要求する可能性がある。
例えば、ユーザがMedia Center PCに関連する音楽再生装置上の曲を聴きたい場合、ユーザは例えば、曲の少なくともタイトルの少なくとも幾つかの(例えば、好ましくは先頭)文字に対応するキーを押下することで、本発明のデータ入力システムを通して曲のタイトルの少なくとも幾つかの文字を入力することができる。ユーザは、曲の歌手名のような少なくとも別のフィールドの少なくとも幾つかの文字も、例えば歌手の少なくとも幾つかの(例えば、好ましくは先頭)文字に対応するキーを押下することで、本発明のデータ入力システムを通して入力できることが望ましい。2つのキー押下列の間に、予め定義されたキーの押下のような区切り信号を与えることができる。
システムはデータベースの曲タイトルの領域内を検索して、所望の曲タイトルに対応するユーザが与えたキー押下列(例えば、値)に対応するタイトルを発見することができる。システムは、所望のタイトルに関連してユーザが与えたキー押下に対応する1つ又は複数のタイトルを発見することができる。システムがユーザの対応するキー押下に一致するタイトルを1つだけ発見する場合、システムは、曲を選択してユーザの再生装置に送信し再生させることのような次のタスクに進むことができる。一実施形態によると、次のタスクは、ユーザが選択した曲を確認するようユーザに求めること等であることができる。
所望のタイトルに関してユーザが与えたキー押下に対応するタイトルが複数ある場合、システムはタイトルを選択し、ユーザが与えた対応するキー押下(例えば、第2のキー押下列)に一致する歌手名を選択した歌手フィールド内で検索する。システムがユーザの対応するキー押下に一致する曲を1つだけ発見する場合、システムは、曲を選択してユーザの再生装置に送信し再生させることのような次のタスクに進むことができる。一実施形態によると、次のタスクは、ユーザが選択した曲を確認するようユーザに求めること等であることができる。
所望のタイトルと歌手に関連してユーザが与えたキー押下に対応するタイトルが複数ある場合、システムは、例えばユーザがタイトル及び/又は歌手の入力のために与えた少なくとも幾つかのキー押下に対応する文字を発話し、アルバム名、歌詞の一部、等のような任意のフィールド又は他のフィールドからなる、より多くの文字に対応するキー押下(例えば、及び音声)を与えることといった、より多くの情報を与えるようにユーザに求めることができる。
上記で説明した例は曲の検索に関するが、検索方法を任意の種類のコンテンツに適用できることに留意しなければならない。例えば、映画データベースは、映画のタイトル、映画の少なくとも1人の俳優、映画監督、等のような様々なフィールドを含むことができる。別の例によると、番号案内データベースは個人の名、個人の姓、住所、郵便番号、等を含むことができる。また、上述の検索方法は、本発明の押下/グライド及び発話データ入力システムと組み合わせた本発明の予測データ入力システムのような本発明のデータ入力システムの効率性と、様々なアプリケーションで用いるそれらの能力とを示す例示的な方法に過ぎない。上述のように、当業界の技術者は多種のコンテンツ検索を考えることができる。例えば、別の検索方法によると、本発明の予測データ入力システムに基づいて、ユーザが例えば映画タイトルに対応する一連のキー押下とデータベースの複数の映画名に対応するキー押下とを与える場合、システムは(例えば、前述のように)映画タイトルの文字のような多数の(例えば、先頭、中間、又は末尾の)文字を与えるよう求めることといった、より多くの情報を求めることができる。別のシステムによると、例えばユーザの音声を用いること又は文字を(例えば、手で)書くことで、ユーザは文字を入力することができる。ユーザが与えた情報が少なくとも2つの映画に対応するとき、システムは映画俳優の1人の名前の少なくとも(例えば、先頭)部分といった更なる情報を求めることができ、この場合、ユーザは例えば映画タイトルの提供に用いる同一手順を与えること等により情報を与えることができる。
上述のように、前述のコンテンツ検索を汎用的な検索及び対話に使用することができること、及び映画の検索を例として説明したが、曲の検索、質問への回答、質問、テキストの入力、等の検索又は対話手順を任意のコンテンツに適用できることに留意しなければならない。
以降、図12を参照して例を与える。図12において、リモコン13605は電話型キーパッド13607を有する。リモコンはスピーカ13608、マイク13604、ライティングパッド13609、表示ユニット13606、等を有することができる。図12には前述の曲データベース13600の一部も示してある。
一検索方法によると、Frank Sinatraが歌う曲名「who」を入力するため、ユーザは例えば、単語「who」に対応するキー136011、13612、13613をそれぞれ押下することができる。ユーザは次いで「#」キー13615の押下のような区切り信号を与え、歌手名に対応する文字「F」(例えば、文字列「Frank Sinatra」の先頭文字)に対応するキー13614を押下することができる。システムは押下動作を対応フィールドと比較することができる。本例では、ユーザが与えたキー押下に対応する2つのエントリ(例えば、曲)、すなわち、
−Frank Sinatraが歌う「Who」、及び
−David Bowieが歌う「Win」
がある。
システムは2つの曲の最初の文字が同じ(例えば、同じ文字「W」)であることを認識でき、したがってシステムは動的に判断して、どちらの曲をユーザが選択したいのかを認識するために、タイトルの少なくとも2つの先頭文字を発話するよう求めることができる。音声の代わりにシステムは、曲名の2番目の文字又は末尾の文字を発話すること、歌手の姓に対応するキーを押下すること(例えば、及び必要ならば歌手の姓を発話すること)のような他の情報、又は前述の他の情報をユーザに求めることができることは理解されよう。
電話帳内でのコンテンツ検索に関する別の例(例えば、電話番号を問い合わせること、又は電話をかけること)を、図13を考慮して実証する。図13には、電話帳の例示的データベースの一部を示してある。例えば、ユーザが自動電話帳を呼んで電話13709のキーパッド13708を用いることで「Eve Miller」の電話番号を要求したい場合、ユーザは例えば姓「Miller」の3つの先頭文字「mil」に対応する3つのキー押下13711、13712、13713を与え、それに続いてシャープキー13714の押下のような区切り記号を押下し、その人の名「Eve」の2つの先頭文字に対応する2つのキー押下13715、13716を与えることができる。上述のように、本発明のデータ入力システムの原理に基づくと、システムは例えば、
Milker Evelyn (212) 112 2222
Miller Eve (212) 111 2221
Nikky Dudu (212) 333 2222
のような、キー押下情報に対応する幾つかのエントリがデータベース内にあることを認識することができる。選択結果を分析することにより、システムは所望の人の少なくとも4つの先頭文字(例えば、又は少なくとも末尾の2文字)を入力して発話するようユーザに求めることができる。
前述のように、キーを押下しかつ要求された音声を与えるようなユーザのコマンドを待機する代わりに、ユーザはキーを押下して(例えば、同時、又は対応する押下動作を与えた直後に)対応する音声を与え、その結果、例えば本発明の文字毎の押下/グライド及び発話データ入力システムに基づいて文字列を入力することができる。
本発明の一実施形態によると、情報(例えば、キー押下及び/又は音声)に基づいて選択したデータベースエントリを対応する電子装置のスクリーン上に与えることができ、その結果、ユーザは所望のエントリを選択するために与えるべき追加情報を決定することに留意しなければならない。
データベースエントリ内のフィールドが複数の単語(例えば、単語間の空白)を含む場合、ユーザは例えば「*」キーのような予め定義されたキーを予め定義された回数押下することで空白文字を与えることができる。フィールド内のコンテンツは数字等の任意の記号に対応しうることに留意しなければならない。また、検索手順を各押下(例えば、及び発話)動作のような各情報の入力後に動的に実行できることにも留意しなければならない。また、1つの方法によると、システムが要求するか又はシステムに与えられる(例えば、追加)情報は、キー押下が与えられなかった単語末尾文字を発話することのような(対応するキー押下がない)音声のみであってもよい。
曲、映画、等の一覧、及び歌手名、俳優名、等のようなそれらの対応する情報の一覧といったコンテンツデータベースはユーザのMedia Center PC内部のようにローカルに利用可能であるか、あるいはケーブルTV又は衛星TV会社、又はインターネットを通してアクセス可能な会社又は個人のサーバ、等のようなサービスプロバイダのようなものがリモート位置内部で利用可能であることにも留意しなければならない。
クレジットカード番号は通常は予め定義された数の数字を有する。数字の各々は0から9まででよい。ユーザが電話を通して品物を購入するとき、ユーザはタッチトーン電話のキーを通して自身のクレジットカード番号を入力して品物の代金を支払うことができる。タッチトーン電話にはキー当たり1つのトーンしかない。(例えば、キーを押下し、記号を発話することで)電話を通した(例えば、PCキーボードの)任意の記号入力を可能とする本発明のデータ入力システムを用いることで、英数字を最低限含むある種のクレジットカード番号を考え、クレジットカード番号をより安全にし、タッチトーン電話を通して数字の入力を可能とすることができる。
本発明の一実施形態によると、本発明の予測データ入力システムをテキスト入力に用いるとき、対応するキー押下列がシステムの単語データベース内部で複数の単語に対応しうるような単語を、(例えば、別の色をつける、下線を引く、太字化する等を行って)強調することができる。例えば、(例えば、後の時点で)システムが提示した所望でない単語をユーザの所望の単語で置き換えることをユーザが望む場合、所望でない単語を発見するため、ユーザは強調した単語のみに集中(例えば、その単語内部を検索)することができる。
前述のように、少なくともタブレットPCのディスプレイのようなデジタイザ上に、句読点文字のような少なくとも幾つかの特殊文字を、(例えば、対応するキーパッドのソフト/仮想キーを用いて、あるいはキー及び/又はキーとの対話を再現する指及び/又はフィンガーキャップによる)グライド動作を含む対話に割り当てることができる。これらの事は、本明細書に記載した本発明者出願の引用で既に詳細に説明されている。例えば、予め定義された句読点文字を、予め定義された音声情報と組み合わせて対応するキー上のグライド動作、及び/又は最初の予め定義されたキーの押下と保持及び予め定義された音声情報と組み合わせた対応するキーの押下に割り当てることができる。
前述のように、本発明の任意のデータ入力システムを拡張するために言語規則を使用することができる。例えば図11aの、データベース部分13508とキーパッドのキー13501から13504とを考慮すると、発話なしで対応するキーを押下することで「there is no way」のようなフレーズを入力するとき、システムは別のフレーズ「there is no was」(例えば、「was」は「has」より高い優先度を有する)を入力する可能性がある。言語規則を含むシステムを用いることで、単語「way」は単語「was」の入力に対して与えたキー押下に対応するデータベースの単語のうちフレーズ内で意味がある唯一の単語であるので、システムが与える結果を自動的に「there is no way」に修正することができる。
前述のように、システムの単語データベースの単語は単語全体であるか、又は単語全体の一部(例えば、先頭、中間、末尾)であるかのいずれかであることができる。また、上述のように、本発明の予測データ入力システムを用いて単語の入力中に与えたそれぞれのキー(例えば、押下)対話(例えば、及び存在していれば対応する音声)情報の後に、システムはユーザが与えたキー(例えば、押下)対話(例えば、及び存在すれば対応する音声)情報に先頭文字(例えば、又は文字全体)が対応する対応語を(例えば、その時点まで)考慮することができる。
別の原理及び/又は方法によると、キー押下(例えば、及び与えられていれば対応する音声)情報に対応する文字列を提示することを単語入力中に考慮することができる。
本発明の一実施形態によると、ユーザが単語を入力するために与えたキー押下列(例えば、及び存在すれば音声)情報の間にユーザが与えたそれぞれのキー押下(例えば、及び存在すれば対応する音声)情報の後で、システムは全体の単語のうち最優先度を有する単語をユーザに提示することができる。この場合、単語の各々の文字すべてはユーザが与えた一連の情報に対応する。システムが上記単語を発見しない場合、システムは単語の中で最優先度を有する単語をユーザに提示することができる。この場合、単語の予め定義された部分(例えば、好ましくは先頭文字)はユーザが与えた一連の情報に対応する。キーパッド13800を考慮し、図14に例としてテーブル13805を示す。テーブル13805は数個の(例えば、先頭)ステップを実証する。ステップは、本方法に従って単語「information」の入力中にユーザが与えた一連の情報(例えば、本例ではキー押下のみ)の先頭部分に対応する文字列を提示する。
本発明の別の実施形態によると、ユーザが単語を入力するために与えたキー押下列(例えば、及び存在すれば音声)情報の間にユーザが与えたそれぞれのキー押下(例えば、及び存在すれば対応する音声)情報の後で、システムは全体の単語のうち最優先度を有する単語をユーザに提示することができる。この場合、単語の少なくとも一部(例えば、少なくとも先頭文字、又は文字全体)はユーザが与えた一連の情報(例えば、キー押下、及び与えられれば対応する音声)に対応する。キーパッド13800を考慮し、図14に例としてテーブル13806を示す。テーブル13806は数個の(例えば、先頭)ステップを実証する。ステップは、本方法に従って単語「information」の入力中にユーザが与えた一連の情報(例えば、本例ではキー押下のみ)の先頭部分に対応する文字列を提示する、本方法によると、任意の時点で、ユーザが単語末尾信号(例えば、空白文字)を与え、提示した文字列が(例えば、より長い文字列を有する)単語の(例えば、先頭)部分である(例えば、換言すれば文字列が不完全な単語である)場合、システムは、ユーザが与えた(例えば、キー押下、及び与えられれば音声)情報が単語各々の文字すべてに対応するデータベースの単語を考慮することができ、例えば単語のうち最優先度を有する単語を提示することができる。13806の例において、3つのキー押下の後にユーザが単語末尾信号(例えば、空白文字)を与えた場合、システムは、文字列「int」(例えば、単語「into」の先頭文字)を(例えば、ユーザが与えた情報が単語各々の文字すべてに対応する単語のうち、最高使用頻度を有する)単語「put」により置き換えることができる。
本発明の一実施形態によると、一連の情報を与える間にユーザが1つ又は複数の正確な文字を入力する場合、
−1つの方法によると、システムは他の文字をそのまま保持することができ、正しい文字を他の文字の末尾に追加することができる。
−別の方法によると、システムは他の文字の入力が与える情報と1つ又は複数の正しい文字が与える情報とを組み合わせることができ、それらをデータベースの単語と比較して対応する単語を与える。対応する単語がない場合、システムは他の文字をそのまま保持することができ、正しい文字を他の文字の末尾に追加することができる。
1文字ずつの入力、単語の一部分/単語の入力、予測的な入力、等のような本発明のデータ入力方法の任意(例えば、又は組合せ)により文字列を入力可能であることに留意しなければならない。上で詳述したように、各々の(例えば、文字毎の)文字入力又は(例えば、単語の一部分/単語毎の)単語の一部分/単語入力を、対応するキーとの様々な対話を与えるような異種の入力信号に割り当てることができる。例えば、1つの方法によると、キャラクタ/文字の入力を、文字に対応するキーの単一押下動作及び対応する音声の提供により与えることができ、単語の一部分の入力を対応するキー(例えば、単語の一部分に対応するキー)のグライド動作及び対応する音声の提供により与えることができる。また例えば、別の方法によると単語の一部分の入力を、2つのキーの押下(例えば、シフトキー及び単語の一部分に対応するキーの押下)及び対応する音声の提供により与えることができる。これらの事は既に詳述した。例として、図14に示すようにキーパッド13800を考慮すると、単語「revolutionize」を入力するため、ユーザは最初に単語「revolution」の先頭文字「revolu」に対応するキー押下を含む情報を(例えば、発話なしで)与えることができる(例えば、少なくとも幾つかのキー押下を、対応する音声を発話せずに与えることができる)。ユーザは次いで、キー13802のグライド動作を含む第2の情報を与え、部分「tion」の音声を(例えば、「shen」と言うことで)与えることができる。システムは第1及び第2の情報を組み合わせて、それをデータベースの単語と比較し、単語「revolution」を出力することができる。次いでユーザはキー13804のグライド動作と部分「ize」の音声とを含む第3の情報を与えることができる。システムは第1、第2、及び第3の情報を組み合わせて、それをデータベースの単語と比較する。システムは組み合わせた情報に対応する単語を発見しないかもしれない。この場合、システムは文字列(例えば、単語)「revolution」をそのまま出力し、部分「ize」をその末尾に付加し、文字列/単語「revolutionize」を与えることができる。本発明の部分毎のデータ入力システムを本発明の予測データ入力システムと統合することで、本発明のデータ入力システムの速度を加速すること、必要なキー押下及び音声を少なくすること、ユーザの綴りミスを最小化すること、等が可能となる。
上で詳述したように、本発明の別の実施形態によると、文字毎の入力又は単語の一部分/単語の入力を、同じ入力信号に割り当てることができることに留意しなければならない。同じ入力信号には例えば、対応するキーに単一押下を与えるような同一対話を与えることがある。
本明細書に記載した本発明者出願の引用で前述したように本発明の一実施形態によると、単語の一部分を、部分の文字すべてのような複数の文字に対応するキー押下を与えること、及び部分を発話することにより入力できることに留意しなければならない。例えば、部分「tion」を入力するため、ユーザはキー13802、13804、13803、13804を押下し、部分を(例えば、「shen」と言うことで)言うことができる。
本発明の一実施形態によると、ユーザが単語を入力するために本発明の予測データ入力を用いて情報を入力する間に、システムはデータベースの少なくとも1つの単語に対応する情報に対応する文字列が唯一となるまで、システムが提示した文字列を印字しなくともよい。これにより、スクリーンのちらつきを削減することができる。1つの方法によると、それまで例えば対応するキー番号のような他の予め定義された記号をスクリーンに印字することができる。
前述のように、本発明の予測データ入力システムのような本発明のデータ入力システムを、手書き入力及び/又は認識システム、マルチタップシステム、オンスクリーン(例えば、QWERTY)キーボード、等のような他のデータ入力システムと組み合わせて、単語の少なくとも1つ又は複数の文字を正確に入力することができる。他のデータ入力システムを、本発明のデータ入力システムの任意のデータ入力方法(たとえば、実施形態)及び/又は置換/補正システムにより使用することができる。例えば、本発明の対応する実施形態において、単語/単語の一部分の1つ又は複数の文字を入力する代わりに、手書き入力/認識システムにより、又は文字に対応するキーの押下及び文字を発話することにより、ユーザは仮想(例えば、QWERTY)キーボードを用いて単語の1つ又は複数の文字を入力することができる。これらの事は既に詳述した。
前述のように、本発明の補正方法の1つによると、ユーザが所望でない単語をポインティングし、単語を所望の単語で置き換えるための音声を与えるとき、音声は所望の単語の1つ又は複数の文字を発話できる。
本発明の一実施形態によると、ユーザが所望でない単語をポインティングして、単語を所望の単語で置き換えるための音声を提供するとき、単語の1つの(例えば、最初又は最後又は中間として予め定義した)文字を発話することか、又は所望の単語の文字すべてを発話することの少なくともいずれかのうち1つであるように、音声を予め定義することができる。これによりシステムの正確性を大幅に向上させることができる。1つの方法によると、システムは両方の仮定を考慮し、最も一致する単語をそれに従って与えることができる。大抵の場合は単語の最初の文字を与えることが所望でない単語の補正/置換には十分であるので、ユーザは最初の試みとして所望の単語の1つの(例えば、先頭)文字を発話できることが好ましい。システムがなおユーザの音声に対応する別の所望でない単語を与える場合、例えば再度その所望でない単語をポインティングし、所望の単語の文字すべてを発話することで、ユーザは別の補正/置換の試みを行うことができる。前に詳述したように、別の方法によると補正/置換手順中に単語を補正/置き換えるために所望の単語の任意数の文字を発話することができることは理解されよう。
データ(例えば、テキスト)入力中に、タイプ(例えば、キー対話)エラーが発生する可能性がある。本分析の予測データ入力システムを用いるとき、これによりシステムは誤った単語とみなすか、又は対応する単語を発見しないかのいずれかとなりうる。ユーザは「バックスペース」キーのような消去手段を用いて、キー(例えば、押下)対話(例えば、及び与えられているならば対応音声)を消去することができる。一実施形態によると、それぞれの「バックスペース」動作は最後のキー(例えば、押下)対話(例えば、及び与えられているならば対応音声)と、対応する1つ又は複数の文字とを削除できることに留意しなければならない。システムは残りのキー押下(例えば、及び音声)情報に対応する単語を考慮することができる。1つの方法によると、システムは候補語の対応する文字を印字することができる。1つの方法によると、ユーザは単語の残りの文字に対応する押下動作(例えば、及び望むならば対応音声)を与えることができる。残りの初期情報とバックスペース手順後に与えた追加情報とを考慮することで、システムは対応する単語を予測することができる。
複数の文字を削除するキーに割り当てた特殊バックスペースコマンドのような特殊バックスペース手段は、本明細書に記載した本発明者出願の引用で説明した。本発明の一実施形態によると、本発明の特殊バックスペースコマンドを本発明の予測データ入力システムと併用することができる。1つの方法によると、特殊バックスペース動作を与えること(例えば、特殊バックスペースコマンドを割り当てたキーの押下動作との対応対話を与えること)により、ユーザが入力した(例えば、カーソルの前の)最後の完全又は不完全な単語を消去することができる。それぞれの追加の特殊バックスペース動作は(例えば、カーソルの前の)追加の最後の完全又は不完全な単語を消去することができる。
別の方法によると、特殊バックスペース動作を与えることにより、ユーザの対応する発話(例えば、キー、及び(与えられる場合)音声情報を含む)に対応する(例えば、カーソルの前の)最後の文字列を消去することができる。それぞれの追加の特殊バックスペース動作は別のユーザの発話(例えば、キー、及び(与えられる場合)音声情報)に対応する(例えば、カーソルの前の)追加の最後の文字列の1つを消去することができる。ユーザの発話(例えば、キー、及び(与えられる場合)音声情報を含む)は、2つの予め定義されたラップ時間の間に情報を与えることに対応できる。発話は、文字、単語の一部のような文字列、完全な単語に対応するか、又は少なくとも1つの単語と別の単語の少なくとも一部とを含む文字列に対応することができる。文字列は特殊文字を含むこともできる。
前述のように、本発明の単語/単語の一部分データ入力システムを用いる本発明の予測データ入力システムの1つの方法によると、対応するキーとの対話(例えば、対応音声を与えること)により対応する文字列を提供/出力することができる。本発明の一実施形態によると、(例えば、カーソルが文字列の末尾にあるとき)単一の「バックスペース」(例えば、ユーザ及び/又はシステム設計者の定義に依存して、通常又は特殊な「バックスペース」)は文字列を消去することができる。1つの方法によると、文字列の後に空白文字又は句読点文字のような1つ又は複数の特殊文字があり、カーソルが特殊文字の後にある場合、特殊文字も消去することができる。
単語辞書データベースは句読点文字のような任意の特殊文字を備えることができる。例えば、図14を考慮すると、(例えば、データベースに存在する)単語「don’t」を入力するために、ユーザはキー13804、13803、13804、(例えば、アポストロフィー文字13809を含む)13802、13802を押下し、望むならば/必要ならば、対応する音声を与えることができる。
本発明の一実施形態によると、本発明の予測データ入力システムを通して単語入力の前又は最中に「shift」キーを押下することで、単語の対応する(例えば、最初の)文字を大文字にすることができる。別の方法によると、ユーザはシフトキーを押下(例えば、及び保持)し、本発明の予測データ入力システムを通して入力されている所望の単語の(例えば、最初の)文字に対応するキーを押下し、文字を発話することができる。ユーザは次いで、(例えば、保持したキーを放して)単語の残りの文字に対応するキー押下を与えることができる。文字を単語内で大文字にすることができる。別の方法によると、押下動作の代わりに、対応するキーのグライド動作(例えば、及び対応する音声)を、同じ目的を与えるように予め定義することができる。明らかに、キー対話を与えるとき、ユーザが対応する音声を与えない場合、システムはキー対話を曖昧なキー対話とみなし、予測した単語内部の対応する文字を大文字にすることができる。
本発明の一実施形態によると、単語内の1つ又は複数の文字を削除又は変更することができる。
1つの方法によると、システムは修正した単語のキー対話(例えば、及び音声)情報を考慮し、それをデータベースの単語と比較して、(例えば、詳述したように)対応する単語を与えることができる。別の方法によると、システムは新しい文字列(例えば、単語)をそのまま保持することができる。
本発明の多数の実施形態においてキーを入力信号を与える入力手段として述べたが、明らかに、任意の他の入力手段(例えば、タッチスクリーン上の指対話、フィンガーキャップ、等)を入力信号の入力に使用可能であることに留意しなければならない。
本発明の一実施形態によると、単語に対応する情報の入力の間(例えば、その任意の時点)に、ユーザはシステムが提示した対応文字列の1つ又は複数の先頭文字(例えば、キャラクタ)を(例えば、同じ対応するキー対話を有する他の文字で)置き換えることができる。キー対話を与えないか、又は予め定義されたキーのような予め定義された手段を用いることで、ユーザは1つ又は複数の文字を発話することができる。1つの方法によると、修正した文字と文字列の残りに対して与えた情報とを考慮し、システムのデータベースとの比較に基づいて、システムは1つ(例えば、又は複数)の新しい候補文字列(例えば、単語)を考えてユーザに提示することができる。
本発明の一実施形態によると、単語のような文字列の1つ(例えば、又は複数)の文字を(例えば、同じ対応するキー対話を有する他の文字により)修正するために、ユーザはカーソルを文字に関連する予め定義された位置に置いて、所望の文字に対応する音声を与えることができる。
本発明の一実施形態によると、本発明の予測データ入力システムの補正/置換手順中に、キーのような予め定義された手段を用いることで、ユーザはシステムに、ユーザが対応する提示語を補正/置換するために与えた音声(例えば、1つ又は複数の文字を発話すること)が、単語の終了ゾーンのような単語の予め定義されたゾーンに関連することを、知らせることができる。
本発明の一実施形態によると、本発明の予測データ入力システムの補正/置換手順中に、単語の部分(例えば、1つ又は複数の文字)を選択/ポインティングするような予め定義された手段を用いることで、ユーザはシステムに、ユーザが対応する提示語を補正/置き換えるために与えた音声(例えば、1つ又は複数の文字を発話すること)が、単語の一部分に関連することを、知らせることができる。その部分は単語の任意の部分であることができ、(例えば、選択/ポインティング)手段は、単語の一部を選択又はポインティングするための任意の手段であることができる。1つの方法によると、ユーザは完全又は不完全な単語のような文字列(例えば、提示した文字列)内部の位置を(例えば、カーソルを位置に置くことで)ポインティングすることができ、システムを(例えば、設計したように)カーソル前後の文字列の文字のすべて又は一部を選択するように予め定義することができる。ユーザは次いで選択部分に対応する所望の音声を与えることができる。1つの方法によると、システムは、文字列の他の文字の修正文字とキー(例えば、押下)対話情報(例えば、及びユーザが与えたものがあれば対応音声)を考慮して、それに応じて(例えば、詳述したように対応する候補を考慮し、それらの1つを提示して)文字列全体を修正することができる。
幾つかのパラグラフにおいては単語の先頭位置については、ユーザが正確な文字の入力のために与えた対応する情報として言及するが、明らかに単語の任意の部分と対応するユーザの情報とを、本発明の組合せデータ入力システムの原理に基づく単語入力として考慮できることに再度留意されたい。
また、幾つかのパラグラフにおいてキー押下のみをユーザが提供又は考慮する情報として述べるが、明らかに本発明のデータ入力システムに基づくと、情報は与えられていればユーザの対応音声を含みうることに再度留意されたい。
(例えば、本発明の予測データ入力システムのような、又はそれを含む)本発明のデータ入力システムは幾つかの言語を同時に使用することができる。例えば、複数言語の音声を本発明のデータ入力システムの(例えば、ローマ)文字、単語、単語の一部分、等に割り当てることができる。例として、キーパッドのキーに割り当てたローマアルファベットの文字の各々に、複数言語での文字の音声を割り当てることができる。例えば、文字の各々に、英語及びフランス語のような2つの言語での文字の音声を割り当てることができる。例えば、文字「z」をそれに応じて「z iy」又は「z eh d」と発音することができる。本発明の多言語データ入力システムは、本発明の(例えば、単語)予測データ入力システムを含み、多言語の単語(例えば、及び単語の一部分)を含む単語データベースを備えることもでき、又は例えば英語、フランス語、等のような多言語の複数の(例えば、単語)(例えば、及び単語の一部分)データベースを備えることができる。(例えば、データ入力の正確性を向上するため)(例えば、テキストのような)データを1つの言語で入力する一方でシステムが他の言語を考慮しないために、様々な実施形態を考慮することができる。
本発明の一実施形態によると、キー又はユーザの(例えば、声による)コマンドのような手段を使用してある言語から別の言語に切り替えることができる。
本発明の別の実施形態によると、言語間の切替えをシステムにより自動で行うことができる。1つの方法によると、ユーザが(例えば、文字、単語、等のような)記号を入力するとき、対応するキーと対話すること及び対応音声を与えることにより、システムが音声を言語の1つに対応する音声であるとして認識することができる。システムは次いでユーザが記号の音声を別言語で与えるまで、その言語に切り替え、他の言語を考慮しなくてよい。例えば、フレーズ「my mother in English means ma mere in French」を入力するために、例えば本発明の単語予測データ入力システムを用いることで、最初にユーザは最初の部分「my mother in English means」を本発明のデータ入力システムの1つにより通常通り入力することができる。ユーザは次いで、単語に対応するキーを押下して単語の少なくとも1つの文字に対応する(例えば、フランス語での)音声を与えること、又は(例えば、データ入力方法に依存して)フランス語で単語を発話することにより、単語「ma」(例えば、フランス語の単語)を入力できる。システムは単語がフランス語であることを認識し、それに応じて行動することができる。例えば、単語の入力に用いるデータ入力方法が本発明の(例えば、単語)予測データ入力方法である場合、システムは単語の入力に本発明のフランス語の単語データベースを使用することができる。システムは、ユーザが別言語で音声を与えるまで、ユーザがデータをフランス語で入力すると考えることができる。本例では、対応するキーを押下することによりユーザは次の単語「mere」(例えば、フランス語)を入力できる(例えば、ユーザが予測データ入力方法を用いる場合は音声を与える必要がなく、システムは単語の入力に本発明のフランス語の単語データベースを使用することができる)。
ユーザは次いで、最後の部分「in French」を本発明のデータ入力システムの1つにより入力することができる。単語「in」に対応するキー押下を与える間、例えば単語「in」の少なくとも1つの文字に対応する音声を与えること(例えば、単語を言うこと、又は単語の「ay」のような少なくとも1つの文字を言うこと)のような音声情報を英語で与えることで、ユーザは自動的に英語に切り替えるようシステムに知らせることができる。
他の手動又は自動切換え方法を考えうることは理解されよう。例えば、ユーザが入力/選択した言語の以前の単語に基づいて、ユーザが別言語に切り替えるための(例えば、上記で説明したもののような)情報を与えない場合、システムは次の単語が言語の単語であるとみなすことができる。
本発明の予測データ入力システムの一実施形態によると、システムによりキャラクタのような記号を、単語の一部分のデータベースであるとみなすか(例えば、単語の入力に対する一連のキー押下の間に、(例えば、音声あり又は音声なしとして予め定義される)その対応するキー押下が与えられるとき、記号は単語予測手順により予測されるべき単語の部分であるとみなされる)、又は単語外の記号としてみなされるよう予め定義できるかのいずれかであるか、あるいは両方として予め定義することができる。
同じ記号を、第1のキー又は第2のキーとの任意の予め定義された種類の対話に割り当てることができ、それぞれ、単語の一部分又は単語外の記号とみなすことができる(例えば、又は逆も真である)。
同じ記号をキーは同じだが2つの異種の情報に割り当てることができる。この場合、キーとの第1の種類の対話を与えることでシステムは記号を単語の一部分の記号であるとみなし、キーとの第2の種類の対話を与えることでシステムは記号を単語外の記号であるとみなす(例えば、逆も真である)。
同じ記号をキーと情報の種類は同じだが2つの異種の予め定義された音声情報に割り当てることができる。この場合、キーとの対話と第1の音声情報とを与えることでシステムは記号を単語の一部分の記号であるとみなし、キーとの対話と第2の音声情報とを与えることでシステムは記号を単語外の記号であるとみなす(例えば、逆も真である)。
例えば、記号「−」は単語「semi−final」のようなデータベースの単語の一部であるか、あるいは公式で使用されるか又は2つの独立した単語間の区切り文字(例えば、「single−double」)として使用されるような単語外の文字であることができる。予め定義されたユーザの行動のような予め定義された対話(例えば、キー対話の種類、及び/又は音声情報)によりシステムに記号の性質を知らせることができる。例えば、単語「semi−final」(例えば、データベース内の単語)を入力するとき、ユーザは記号「−」に対応する音声を与えずに対応するキーを押下することができる(例えば、本例では、例えば音声を与えずにキーを1回押下すると、文字「−」はシステムに対して、キー押下に対応する文字はシステムが予測すべき単語の一部であることを知らせることができる)。他方で、例えば、ユーザが記号「−」に対応する音声を発話する場合、システムは記号を単語外の記号とみなすことができ、記号を前の単語の単語末尾信号とみなす。例えば、区切り記号を含む2つの単語「single−double」を入力するため、ユーザは単語「single」に対応するキーを押下し、次いで区切り記号に対応するキーを押下し、記号を発話することができる。システムは、発話した記号(例えば、句読点)が前の単語の一部でないことを理解する。システムは単語「single」と区切り文字「−」を入力し、次のキー押下(例えば、及び対応する音声)を次の単語(例えば、本例では「double」)の一部であるとみなす。
別の例によると、単語「semi−final」(例えば、データベース内の単語)を入力するときユーザは対応するキーを押下し、それによりユーザが記号「−」に対応するキーを押下したとき、ユーザは前記記号に対応する予め定義された音声を与えることができる(例えば、本例では、(例えば、音声あり又は音声なしでの)単一押下動作を文字「−」に対応するキーに与えることで、前記キーの前記キー押下動作に対応する文字は入力すべき単語の一部であることをシステムに知らせることができる)。文字「−」を割り当てた(例えば、音声の提供あり又はなしでと予め定義した)前記キー又は別の予め定義されたキーに別の押下動作を予め定義することで、(例えば、予測)システムは前記対話が与える文字を単語の一部であるとみなさなくてよいことをシステムに知らせることができる。
上述の原理に基づき、製造者又はユーザにより予め定義された、例えばユーザが与えた対話の種類に基づいて、本発明のデータ入力システムの記号の各々を単語の一部、又は単語外、又は両方であるように割り当てることができる。更なる例として、接尾辞「tion」のような本発明の単語の一部分を単語の一部とみなし、対応するキーの単一又は二重押下動作及び単語の一部分に対応する音声の提供といった第1の種類の対話に割り当てることができる。さらに例えば、本発明の同じ単語の一部分(例えば、接尾辞「tion」)を単語外の記号とみなし、対応するキーの単一又は二重グライド動作及び単語の一部分に対応する音声の提供のような別の種類の対話に割り当てることができる。
本発明の予測データ入力システムのような本発明のデータ入力システムに関する本出願の幾つかのパラグラフでは、単語末尾信号という用語を単語外の文字を説明するために用いることに留意しなければならない。
上述の原理に基づいて、手書き入力及び認識システム、フルキーボード、等のような他システムが与える(例えば、及び本発明の単語予測システムと併用される)文字のような記号も、単語の一部分の記号、又は単語外の記号、あるいは両方のいずれかであると予め定義することができる。
前述のように、本発明の予測データ入力システムでは、記号を少なくとも2種類のユーザの対話に予め割り当てることができる。この場合、対話の1つにおいて記号は(例えば、システムの単語辞書の単語と比較して)単語の一部であることができるか、又は記号を単語外の記号とみなすことができる。例えば、文字「a」をキーに割り当て、例えば発話なしで対応するキーに対応する押下動作を与えることで、単語の一部として入力することができる。他方で、例えば、対応するキーの対応するグライド動作を与えて文字を発話することで、同じ文字「a」を単語外の文字をみなし、文字を入力できる。
上述の方法の例として、例えば文字「a」をキーに割り当て、例えば音声の提供あり、又はなしで対応キーの単一押下動作のような予め定義された押下動作を与えることで単語の一部として入力することができる(例えば、前記文字を発話することで前記文字を正確に入力することができる。また、前記文字を発話しないことで、前記キー押下動作が曖昧であり、かつキーとの前記予め定義された対話に割り当てた文字「a」を含む任意の記号に対応しうることを、システムに知らせることができる)。他方で、例えば、同じ文字「a」を単語外の文字とみなすことができ、例えば対応するキーとの別の予め定義された対話(例えば、グライド動作、長時間の押下動作、キーを強く押下すること、第1キーの押下及び保持動作及び対応キーの押下といった2つのキーの押下、等)を発話あり又は発話なしで与えることで入力できる(例えば、1つの例によると、前記文字を前記対話及び前記文字を発話することにより予め正確に入力することができる。別の例によると、前記文字を、音声がない状態での前記キーの対話を与えて正確に入力されるように前記キーに割り当てた唯一の文字であると、予め定義することができる。本例では文字の入力を方法の説明に用いてきたが、音声がない状態での前記キーの対話を与えて入力されるキーに割り当てた記号は、文字ではなく句読点文字又はコマンド/記号のような記号であることが好ましい)。
説明した例を、文字及び句読点文字のような、本発明のデータ入力システムの任意の種類の記号に適用できることは理解されよう。
前述のように、本発明の予測データ入力システムにおいて、単語末尾信号を使用して、単語に対応する一連のキー押下(例えば、及び音声情報)の終わりをシステムに知らせることができる。例えば、上述のように、本発明の一実施形態によると、単語末尾信号は単語外の文字であるか、又は(例えば、予め定義されたキーに対する予め定義された押下動作のような)文字を与えない信号であることができる。さらに上述のように、本発明の別実施形態によると、単語末尾信号は(例えば、次の)単語の先頭文字であると定義可能な文字のようなキャラクタであることができる。これらの事は既に詳述した。
本発明の一実施形態によると、(例えば、本発明の予測データ入力システムにおいて)複数のシフトキーで、様々な種類の情報をデータ入力することができると考えられる。例えば、最初にシフトキーを押下(例えば、及び保持)して文字に対応する別のキーを押下することで、大文字を与えることができる。別の方法によると、文字を発話することで、例えば、
−文字が大文字であり単語外の文字として予め定義されうること、又は
−文字が大文字であり(例えば、次の)単語の先頭文字と見なされるよう定義されうること、又は
−文字が大文字であり現在の単語の一部とみなされうること
−等
をシステムに知らせることができる。1つの方法によると、例えば、文字を発話しないことで、対応する(例えば、認識した)単語内部の対応する文字が大文字でありうることを知らせることができる。
また例えば、第2のシフトキーは、少なくとも本発明の単語の一部分データ入力システムと併用できると考えられる。例えば、単語の一部分を、第2のシフトキーを押下(例えば、及び保持)して単語の一部分に対応する別のキーを押下し、単語の一部分に対応する予め定義された音声を発話することで与えることができる。また例えば、第2のシフトキーを押下(例えば、保持)し、発話なしで別のキーを押下することは、句読点文字又は関数のような特殊文字といった他種の記号に対応することができる。
タッチスクリーンのようなセンシティブ面を有する装置では、単一又は二重グライド動作(例えば、又はタップにグライドを加えた動作)(例えば、キーの)(例えば、及び必要ならば対応音声)のようなその他又は追加の入力方法を、例えばさらに多くの種類の記号に対応するデータの入力に備えることができる。例えば、シフトキーの押下(例えば、及び保持)及び単語の一部分に対応する別のキーの押下の代わりに、その部分を入力するために、その部分に対応する対応ゾーン/キーのグライド動作とその部分に対応する予め定義された音声を発話することを与えることができる。
前述のように、本発明の一実施形態によると、本発明の予測データ入力システムは本発明の文字データ入力システムと本発明の単語の一部分データ入力システムとを含むことができる。音声が少ない一部の場合(例えば、少なくとも3つか又は4つの音節といった複数の音節を単語が有することが望ましい)では、音声を与えることなく対応するキーとの対話により単語の一部分を入力することができる。ユーザが入力した単語の部分及び他の部分又は文字に基づいて、システムは対応する単語を認識することができる。
本発明の一実施形態によると、本発明の予測データ入力システムの原理に基づいて、各記号が単語の一部分又は単語外であると予め定義される記号テーブルを考慮することができる。記号の各々を、対応する音声が存在する場合又は音声がない場合(例えば、又は両方)のいずれかにおいて、対応するキーとの少なくとも1つの予め定義された種類の対話(例えば、第1キーの押下及び保持動作のようなものと対話すること、及び対応するキーとの予め定義された種類の対話を与えることも、キーとのある種の対話とみなすことができる)に割り当てることができる。記号テーブルを製造者及び/又はユーザにより生成又は修正することができる。
前述のように、本発明の一実施形態によると、面上の4つの異なる位置を叩くことは、本発明のデータ入力システムが使用する4つのキーに対応することができる。本発明の一実施形態によると、面上の4つの異なる位置を叩くことで別の対応する音又は振動、等を与えることができ、システムは音の各々と対応する予め定義された仮想キーとを認識し、それを本発明のデータ入力システムにより使用することができる。本原理は例えば、(例えば、本発明のデータ入力システムの原理に基づいて対応する音声と組み合わせた)コンピュータの非タッチセンシティブスクリーン上の4つの異なる位置を叩くことによるデータ入力に有用でありうる。別の方法によると、(例えば、国際出願PCT/US/01/49450号明細書(「スタイラスコンピュータ」出願)のような本発明者出願の別の特許出願で前述したように)面上の4つの異なる方向にグライドして4つの異なる音を与えることを同じ目的で使用することも可能である。PCT特許出願の発明の少なくとも幾つかを、本発明の組合せデータ入力システムと組み合わせ/併用することができる。組み合わせの幾つかは本特許出願で詳述する。
前述したように、本発明のデータ入力システムを手書き入力及び認識システムと組み合わせることができる。やはり前述したように、例えば、本発明の予測データ入力システムに基づく単語入力中に、単語の文字(例えば、又は単語の一部)のような少なくとも1つの正確な文字の各々を入力するためにキー対話を使用及び対応する音声情報を与えることの代替又は追加として、(例えば、離散的とするために)文字/部分を例えば電子装置のセンシティブ入力面のような対応する入力装置上に(例えば、ユーザにより)書くことができる。単語の他の文字に対応する情報は、(例えば、本発明の予測データ入力システムの原理に基づいて)発話なしで対応キーを押下することであることができる。上記データ入力システムは(例えば、少なくとも4つのキーを有する)本発明の動的キーパッドのような、本明細書に記載した本発明者出願の引用で説明したものといった任意の種類の(例えば、縮小)キーボードを使用可能であることは理解されよう。
(例えば、先行特許出願で説明したように、動的キーパッドシステムは、(タッチセンシティブ)面の予め定義していない部分の上の(例えば、仮想)予め定義されたキーパッドモデルとの対話(例えば、押下動作、グライド動作、等)を(例えば、指、スタイラスペン、マウス、等により)再現する。面上の位置に与えた対話を認識しかつ位置をキーパッドモデルの対応するキーに関連付ける手順は、互いに関連する予め定義されたキーパッドモデルのキー位置の間の関係と関連した、ユーザが接触した面上の接触位置と他の(例えば、以前及び/又は次の)異なる位置との間の関係を認識することに基づく。これらの事は本特許出願で詳述した)。
例えば、本発明の(例えば、4つのキーを有する)(例えば、動的)キーパッドを用いることで、単語の他の文字の入力に対応して、又はそれを目的として、ユーザは単語の文字を(例えば、手書き入力/認識システムの入力パネル上、又はデータ入力面に対応するスクリーン上の任意の位置に)書き、(例えば、前述の)タップ/グライド対話を使用することができる。システムは書き込み動作とタップ動作を容易に区別することができる。本例では、動的キーパッドを使用して本発明の実施形態の原理を実証したが、上述のように、任意の他のキーパッドを本発明の実施形態と併用することができる。
1つの方法によると、書き込み及び/又はタップ動作が同一入力面を使用可能である(例えば、それらがタッチスクリーン面の任意の位置を使用できる)とき、書き込み/グライド動作は手書き入力に対応することができ、タップ動作はキー押下動作に対応することができる。例として、単語「book」を入力するため、ユーザは文字「b」を(例えば、対応するスタイラスペン、又はユーザの指により)タブレットPCのタッチスクリーンに書くことで最初の(例えば、正確な)情報を与え、次いで残りの文字「ook」に対応する、システムと併用した対応キーパッド/キーボードの(例えば、ハード/ソフト/仮想/動的、等)キーを押下することで第2の(例えば、曖昧な)情報を与えることができる。前述のように、ユーザは単語の任意の1つ又は複数の文字を書くことができ、単語の他の文字に対応するキー押下を与えることができる。別の例によると、単語の先頭文字(例えば、本例では「bo」)に対応するキーを押下することで最初の(例えば、曖昧な)情報を与え、次いで単語の残りの文字(例えば、本例では「ok」)を電子装置の表面上に書くことで第2の(例えば、正確な)情報を与えること等によりユーザは単語「book」を入力することができる。
本発明のデータ入力システムの任意数のシステム、方法、特徴、等を組み合わせて、対応する環境で使用可能な特殊データ入力システムを与えうることに再度留意しなければならない。
前述のように、(例えば、本発明の予測データ入力システムを通した単語入力用の情報を与えるための)それぞれの異種の入力情報を対応キーとの異種の対話に割り当てることができる。例えば、曖昧な文字を小文字で入力することを発話なしでの対応するキーの短い単一押下動作に割り当てることができ、同一文字を大文字で入力することを発話なしでのキーの長い押下動作に割り当てることができる。また例えば、正確な文字を小文字で入力することで対応するキーの短い単一押下動作及び文字の発話に割り当てることができ、同一の正確な文字を大文字で入力することで対応するキーの長い単一押下動作及び文字の発話に割り当てることができる。また例えば、単語の一部分の入力を対応するキーの二重押下又はグライド動作(例えば、及び対応する音声の提供)に割り当てることができる。また例えば、少なくとも幾つかの句読点又は関数又はコマンドのうち1つの入力で第1の(例えば修飾/シフト)キーの押下及び保持及び発話あり/発話なしでの対応キーの押下動作の提供に割り当てることができる、等である。
上記で述べた対話及び割当ては実証のみに使用されることは理解されよう。任意の(例えば、種類の)対話、及び対話に対する(例えば、任意の種類の)記号割当てを、説明した原理に基づいて考慮することができる。
本発明の予測データ入力システムに対応するシステムが提示した所望でない単語の補正に関する様々な方法は前述した。他の補正方法を考慮することもできる。例えば、所望でない単語を選択/ポインティングしたとき、1つの方法によると、所望の単語がの所望でない単語と同じ(先頭)文字で始まる場合、ユーザは発話なしで予め定義されたキーの押下といった予め定義された信号を与えることができる。システムは単語グループから、所望でない単語と同じキー押下に対応し、かつ所望でない単語と同一文字で始まり、さらに好ましくは単語グループの文字で始まる単語の中で次に高い優先度を有する、別の単語を提示することができる。また例えば、所望の単語が所望でない単語と同一の(先頭)文字で始まらない場合、ユーザは所望の単語の先頭文字に対応する音声を与えること(例えば、又は書くこと)ができる。システムは単語グループから、所望でない単語と同一のキー押下に対応しかつユーザの音声(例えば、又は手書き文字)に対応する文字で始まり、さらに好ましくは単語グループの文字で始まる単語の中で最優先度を有する単語を提示することができる。
上述の方法に対応する例として、キーパッド13900を考慮し、図15にテーブル13909を示す。テーブル13909は、キー押下列13904、13903、13901(例えば、それらのキー押下値は「431」である)に対応する、システムの単語データベースの単語を含む。前述のように、1つの方法によると、キー押下列13904、13903、13901を発話なしで与えることは、それらの単語の中で最優先度を有する単語「now」に対応することができる。単語がテキストの入力中に与えた所望でない単語である場合、単語を選択/ポインティングしつつ、ユーザが例えば音声を与えずに予め定義された(例えば、補正)キーを押下するならば、システムは文字「n」で始まる単語グループ13906に対応する単語「nvq」を提示することができる。この場合、単語は単語グループの中で単語「now」の次に高い優先度を有する。また例えば、ユーザが(例えば、補正キーの押下とともに)「d」の発声のような音声を与える場合、システムは文字「d」で始まる単語グループ13905の単語の中で最優先度を有する単語「doe」を提示することができる。(例えば、発話なしで)補正キーの追加の押下動作によりグループ13905の別の単語(例えば、本例では「dye」)を与えることができ、この場合、単語は単語グループ内で単語「doe」の次に高い優先度を有する。(例えば、発話なしで)補正キーのさらに別の追加の押下動作によりグループ13905の別の単語(例えば、本例では「dow」)を与えることができ、この場合、単語は単語グループ内で単語「doe」と「dye」の次に高い優先度を有する、等である。
1つの補正方法によると、ユーザがシステムにより提示された所望でない単語の補正に進み、例えば補正キーを押下し、所望でない単語と同一の先頭文字を有する所望の単語の先頭文字を発話する場合、システムは所望でない単語と同一のキー押下に対応しかつ文字で始まる単語グループの中から単語を提示することができる。この場合、提示した単語は単語グループの中で所望でない単語の次に高い優先度を有する。
別の補正方法によると、ユーザがシステムにより提示された所望でない単語の補正に進み、例えば補正キーを押下し、所望でない単語と同一の先頭文字を有する所望の単語の先頭文字を発話する場合、システムは所望でない単語と同一のキー押下に対応し、かつその文字で始まる単語グループの中から単語を提示することができる。この場合、提示した単語は単語グループの中で最優先度を有する(例えば、所望でない単語が単語グループの中で最優先度を有する場合、システムはその単語を再度提示することができる)。
1つの補正方法によると、幾つかの場合では補正手順は更に空白文字を与えることができる。例えば、単語に対応する情報(例えば、キー押下、及び必要ならば音声)に対する入力の直後、及び空白文字のような単語末尾信号の入力前にユーザが現在提示された単語の補正を望む場合、ユーザはスペースキー又は補正キーを押下することのような予め定義された信号を与え、対応する音声を発話する(例えば、所望の単語の先頭文字を発話する)ことができる。システムはそれに応じて単語を置換し、単語の後に空白文字を与えることができる。
上述の補正方法の代わりにユーザは任意の他の補正方法を使用可能であることは理解されよう。その補正方法には例えば、単語の文字の一部又はすべてを発話することといった前述したものの1つがある。
本発明の一実施形態によると、システムはユーザのテキスト入力習慣を自動的に学習することができ、ユーザによる単語使用頻度に基づいてユーザの使用単語に対応する優先度を与えることができる。
前述のように、文字を入力するためユーザは文字を割り当てたキーを押下し、文字に対応する音声を与える(例えば、文字を発話する)ことができる。一実施形態によると、例えば文字が子音の場合、音声は次に少なくとも母音音素が続く子音音素の発音であることができる。1つの方法によると、母音音素は言語の少なくとも任意の母音音素であることができる。例えば、対応するキーを押下して以下の組合せのうち少なくとも1つを言うことで、文字「t」を入力することができる。
−「ta」(例えば、単語「tap」の先頭の音声に対応する)
−「te」(例えば、単語「test」の先頭の音声に対応する)
−「te」(例えば、単語「tee」の先頭の音声に対応する)
−「to」(例えば、単語「told」の先頭の音声に対応する)
−「tu」(例えば、単語「tune」の先頭の音声に対応する)
−「ti」(例えば、単語「ride」の先頭の音声に対応する)
本方法を本発明の組合せ(例えば、予測を含む)データ入力システムと併用することができる。例えば、単語「test」を入力するため、ユーザは文字「t」に対応するキーを押下し、(単語の対応する(例えば、最初の)音節の母音に対応する)「teh」 と言い、発話なしで単語の残りの文字に対応するキーを押下することができる。また例えば、単語「told」を入力するため、ユーザは文字「t」に対応するキーを押下し、「toh」と言い、発話なしで単語の残りの文字に対応するキーを押下することができる。一部のユーザに対しては、これは文字を言う(例えば、「ti」と言う)ことよりもユーザフレンドリーでありうる。前述のように、ユーザは子音とそれに続く母音よりも多くのものを与えうることは理解されよう。例えば、ユーザは対応する単語の最初の子音、それに続く母音、及びそれに続く子音を発音することができる。これらの事は、本明細書に記載した本発明者出願の引用で既に詳述した。
前述のように、ユーザの音声の代わりに、他のユーザ対話をユーザのキー対話と組み合わせ可能であることに留意しなければならない。ユーザの思考に基づく文字入力の実験を研究室で行っている。例えば、まだ実現されていないが、文字のような記号を入力するためにユーザは対応する文字を押下して文字を考えることができる。データ入力の正確性を強化するように、記号を対応するキーパッドのキーに分散することができる。
前述のように、ユーザの音声に対する追加/置換として、文字のような正確なキャラクタを入力する他のシステムを(例えば、実質的に言語のすべての文字が割り当てられる4つのキーのような少数のキーを用いる)本発明の予測データ入力システムと併用することができる。やはり上述したように、(文字グループに対応する)曖昧な文字に対応する入力信号を与えるシステムの入力手段との対話に加えて、本発明のデータ入力システムは、(例えば、システムの曖昧な4つのキーに加えてQWERTY型キーボードを用いる)仮想又は物理キーボード、(例えば、正確な文字を入力するための)手書き入力及び認識方法、等との対話のような、正確な文字の提供に対応する所与の他の入力信号を使用することができる。
図16aは例として、(例えば、それぞれのキー上に示すように)言語の文字が割り当てられる4つのキーを有する多方向キーパッドを示す。例えば、キーの中央で押下することでキーに割り当てた文字の1つを曖昧に入力することに対応できる。所望の単語に対応する上記キー押下列を予測データ入力システムにより考慮して、少なくとも1つの対応する単語を与えることができる。他方で、キー上の文字(例えば、文字ゾーン)のようなキャラクタの押下動作によりキャラクタを正確に入力することができる。例えば、図16aのキーパッド14000を考慮すると、キー14002、14001、14003、14002の(例えば、中心の)押下動作列は単語「test」、及び「best」に対応することができる。単語「best」は一般に高い使用頻度を有する。したがって、システムは押下動作の結果として単語を提示することができる。本例では、ユーザが単語「test」の入力を望む場合、ユーザは最初にキー14002の14005の文字「t」(例えば、そのゾーン)を押下し、キー14001、14003、14002の中心を押下することができる。システムは、キー14002、14001、14003、14002のキー押下列に対応する単語は「t」で始まることを理解する。したがって本例では、システムは単語「test」を提示することができる。
図16bは例としてキーパッド14010を示す。キーパッド14010はタッチセンシティブキーを有し、キーパッド14010のキーの対応するゾーンに触れることで多方向キーパッド14000の機能性を再現する。本例において、別の入力方法によると、キーパッド14010のキーの任意のゾーンに対する押下動作はキー上の曖昧な文字に対応することができ、例えばキー上の(例えば、キーに印字した)文字に向かうか又はその上のキーのグライド動作は、キー上の(例えば、正確な)文字に対応することができる。
本発明の(例えば、組合せ)データ入力システムの少数のキーに対する記号割り当ての原理に基づいて、数字、句読点文字、コマンド、関数、等のような任意の特殊文字を、音声の提供あり又はなしでキー(例えば、又は追加のキー)との予め定義された対話に割り当てることができる。
単一の文字/キャラクタも本発明の予測データ入力システムにおいて互いに対する優先度を有することができる。例えば、(例えば、英語を考慮することで)文字「a」及び「i」は明らかに、他の英語の文字に対して高い使用頻度/優先度を有することができる。例えば、図16aのキーパッド14000を考慮すると、文字「m」、「a」、「s」、及び「i」はそれぞれの対応するキー14001、14002、14003、14004の他の文字に対して最優先度を有することができる。ユーザは、文字への優先度割当てによりキー押下のみに基づいて一部の単語を入力する利益を得ることができ、割当てがなければ幾分かの音声を必要とするだろう。例えば、キーパッド14000を考慮すると、ユーザが発話なしで対応するキー14002、14003を押下することで単語「as」を入力したい場合、システムは同一のキー押下列に対応するがより高い使用頻度/優先度を有する単語「to」を提示することができる。単語「as」を発話なしで入力するため、ユーザは文字「a」に対応するキー14002を押下し、次いで(例えば、対応するキーを押下することで)空白文字(のような任意の文字)を与えない単語末尾信号を与え、次いで文字「s」に対応するキー14003を押下することができる。本例では、文字「a」がキー14002(例えば、その単一押下動作)に割り当てた文字の中で最優先度を有する。システムは文字を提示する。単語末尾信号を与えることで、システムは文字を保持し、次の単語入力用のキー押下が次/別の単語の入力に対応することを知る。本例では、文字「s」がキー14003(例えば、その単一押下動作)に割り当てた文字の中で最優先度を有する。発話なしでキー14003を押下することで、システムは文字「s」を提示し、それを文字「a」の直後に印字して単語「as」を与える。
手書き入力及び認識システムを本発明の(例えば、予測)データ入力システムと併用することは既に説明した(例えば、システムのキーパッドと対話し、正確な文字を面上に書くことで、例えば本発明の予測システムがより正確に単語を予測することを支援する)。本発明の一実施形態によるとユーザは、システムのキーパッドの(例えば、センシティブ/仮想)キー/ゾーン上の文字のような、文字に対応するキャラクタを書くことができる。手書き認識システムはユーザの書いた文字を、キー/ゾーンに割り当てた文字の1つと照合することができる。したがって、処理時間を削減することができ、認識の正確性を向上させることができる。
手書き入力を、面上でスタイラスペン又はユーザの指のような手段を用いて書くことにより実施することができる。本発明の一実施形態によると、(例えば、タッチセンシティブ面を有する装置の反対側に置いた)本システムのキーパッドの分割版を用いるとき、ユーザは対応する親指でキーを押下し、必要ならば指(例えば、親指、人差し指、等)で面に書いて、本発明の(例えば、予測)データ入力システムと併用可能な正確な文字を与えることができる(例えば、手書き入力/認識システムで単語の少なくとも1つの文字を正確に入力することからなる第1の種類の情報を与えること、及び単語の残りの文字の少なくとも幾つかに対応する(例えば、曖昧な)キー押下を与えることからなる少なくとも第2の種類の情報を与えることにより、予測データ入力システムを通して単語を入力することは上で詳述した)。
前述のように、本発明のデータ入力システムを任意のアプリケーション又は装置と併用することができる。有名な装置の1つはiPOD音楽/メディアプレイヤーである。装置は、円形タッチセンシティブ面の円形グライド動作によりメニューをスクロールすることからなるコンテンツ検索手段を有する。コンテンツリストが長い場合、手順は時間を浪費するものとなる。本発明のデータ入力システムは検索(例えば、及び選択)手順を置き換えるか、又はそれを高速にするよう支援するかのいずれかを行うことができる。例えば、ユーザは所望のコンテンツ(例えば、曲、歌手、又はその両方、等)に対応する1つ又は複数の(例えば、先頭)文字を入力することができる。装置のポップアップメニューはそれに応じて(例えば、少数の)コンテンツをユーザに提示することができ、ユーザは装置の(例えば、円形)コンテンツ検索手段を用いることで縮小リスト内を検索することができる。
ユーザの身体動作(例えば、ユーザのキー押下に対応する音声を与えるユーザの唇の動作)のような動作を本発明のデータ入力システムと併用することは前述した。動作を本発明の予測データ入力システムと併用して、ユーザが与えるべき声による音声量を削減することができる。
本発明の一実施形態によると、単語の入力中、又は本発明の補正手順を与えてユーザの(例えば、キー押下列、及び/又は音声)情報に対応する単語リスト内の次の単語へユーザが切り替えたいことをシステムに知らせる際に、動作感知手段を本発明の(例えば、予測)データ入力システムと併用することができる。例えば、動作感知手段は、唇の動きのようなユーザの身体動作を検知するカメラを含むことができる。例えば、図16aのキーパッド14000を考慮すると、キー14002、14001、14003、14002の(例えば、中心上の)キー押下動作列は単語「test」及び「best」に対応することができる。単語「best」は一般により高い使用頻度を有するであろう。したがって、システムは単語を押下動作の結果として提示することができる。本例では例えば、ユーザが単語「test」を入力したい場合、対応するキーの押下中に、ユーザは(例えば、声を出さずに)(例えば、文字「t」、又は「next」、等を言うことで)唇の動作を与えることができる。対応する装置のカメラは動作を検出することができ、システムは、唇の動作がユーザにより与えられなかった場合にシステムが通常提示するであろうもの(例えば、「best」)の後にリスト内の(例えば、2番目に高い優先度/使用頻度を有する)次の単語をユーザが望むことを理解できる。本システムは読唇及び認識システムとは異なる。本実施形態においてシステムはユーザの発言を認識する必要がなく、動作があったことを検知するだけである。他のユーザの対話及び対応する検出手段を同一目的に使用可能であることは理解されよう。例えば、カメラの代わりに熱感知手段を使用してユーザの発話を検知することができる。別の実施形態によると、ユーザが与える動作の検知手段は、携帯電話のような対応する装置内に与えた動作感知手段であることができる。唇の動作の代わりに、対応するキー押下列を与える際にユーザは装置に予め定義された動作を与えることができる。
前述のように、システムの正確性を向上させるため、(例えば、キー上の)他の記号に関して曖昧に類似する音声を有する幾つかの記号に対して、異なる音声を割り当てることができ、記号が他の記号から区別可能である。例えば、文字「m」の音声(例えば、「em」と発音する)を文字「n」の音声(例えば、「en」と発音する)からより良く区別するため、文字「m」の標準的な音声の代替又は追加として、「ma」のような別の音声を文字「m」に割り当て、文字「n」の音声から区別することができる。
上で詳述したように、本発明のデータ入力システムは少なくとも6つのキーを有するキーパッドのような、少数のキーを有するキーパッドを使用することができる。この場合、言語の実質的にすべての文字が6つのキーに割り当てられる。QWERTYキーボードの順序を再現するようにキーに対して文字を割り当てることができる。例えば、図17に示すように、縮小キーボード14110の6つのキーのグループ(例えば、3つの行14117−14119と2つの列14111−14112)を使用して、PCキーボード14100のQWERTY配列を再現することができる(例えば、仮想的に、キーボード14100のアルファベット文字を備える行14107−14109及び列14101−14102を再現する)。例として、左上のキー14113は文字「QWERT」を含み、PCキーボード14100の上列14107の左側14101のキーにある文字に対応することができる。6つのキーからなるグループの他のキーは同一の原理に従い、PCキーボード14100の対応する行及び端のキー上の対応する文字を含む。
QWERTYキーボードの熟練者は通常、キーボード上のそれぞれの文字の位置を正確に知っている。運動反射によりユーザはQWERTYキーボード上で迅速にタイプすることができる。上述の6つのキー上でQWERTY配置を再現することで、ユーザは少数のキーを有するキーボード上でタッチタイプ(高速タイピング)を行うことができる。ユーザは例えば、両手の親指(左の親指は左の列、右の親指は右の列)を使用してデータを入力することができる。これにより、高速なデータ入力を可能とするPCキーボード上のタイピングを思い出させる。前述のように、例えば、キーの列の各々は電子装置の反対側にあり、本発明のデータ入力システムと併用することができる。
上記の例で説明したキーボードの左側及び右側の文字定義は例として示したに過ぎないことは理解されよう。定義をユーザの習慣に従って再検討することができる。例えば、文字「G」が左側でなく右側に属すると考えることができる。
システムの正確性を向上するために、前述のように、カスタマイズした音声を互いに関して曖昧に類似する音声を有する(例えば、異なるキー又は同一のキー上の)少なくとも幾つかの文字(例えば、電話型キーパッドの文字「m」及び「n」、又は図17のキーパッド14110上の文字「m」及び「n」)に割り当て、文字を互いから区別することができる。例えば、文字「m」(例えば、呼称「em」)に対して「ma」のような別の呼称(例えば、音声)を割り当て、それを文字「n」(例えば、呼称「en」)から区別することができる。
図17の例を引き続き参照すると、同じ原理を適用して、「i,y」、「s、f」、「d、g」、「j、k」、「z、c」、等のような曖昧に類似する音声を有する他の文字を互いに区別することができる。
キーパッド、キー構成、キーパッドのキーに対する文字割当てのような記号、記号のカスタマイズした呼称、等を例として説明し、示したことは理解されよう。当業界の技術者は他のキーパッド、キー構成、キーパッドのキーに対する文字割当てのような記号、記号のカスタマイズした呼称、等を考慮できる。例えば、キーパッドをアルファベット順にすることができ、文字割当てのような記号を、(例えば、標準的な音声に加えて)複数のカスタマイズした音声を文字に割当て可能なようにすることができる。
名前で電話をかけることは、本明細書に記載した本発明者出願の引用で説明した。名前で電話をかけることは、例えば同姓同名の2人といった曖昧さを生む原因となりうる。本発明の一実施形態によると、電話をかけるとき、転送/切替えセンタ、オペレータ、サービスプロバイダ、等が(例えば、要求時に)データベースを使用するか又はその場で情報を取得して、電話の相手に関する情報をユーザ/呼び出し側に与えることができる。例えば、ユーザがユーザの名前に基づいて電話をかけるとき、センタは住所、画像、予め定義されたフレーズ、パスワードの要求、等のような電話の相手に関する情報を与えることができ、その結果、ユーザはシステムが正しい相手に電話をかけることを確実にすることができる。電話の相手は個人、会社、及び組織、等であることができる。電話の相手に関する情報を電話の相手自身及び/又は第3者が、その場で、又は転送センタが使用するデータベースを通して与えることができる。例えば、住所に加えて個人は、自分に電話をかけた呼び出し側に少なくとも情報の一部を送信できるように自分の画像、好きな曲、又は他の情報を転送センタに与えることができ、その結果、呼び出し側は情報に基づいて電話の相手の信頼性を検証し、それに基づいて電話を確認又はキャンセルすることができる。ユーザに与えた情報は声であることができるか、又は情報をユーザの電子装置(例えば、電話)のディスプレイに表示できることに留意しなければならない。
前述のように、少数のキーと単語入力用の音声とを使用する本発明の予測データ入力システムを用いるとき、音声の使用の代替又は追加として、単語の少なくとも1つの文字を手書き(及び認識)システム、又は(例えば、メカニカル、仮想、等の)キーボードのような他のデータ入力手段又は方法を用いて正確に入力することができる。この場合、キーボード(例えば、標準的なQWERTYキーボード)のキー(例えば、一部の場合では複数のキー)の予め定義された押下動作が一般に単一の文字又は関数に対応する。これらの事は既に前述した。前述のように、他の入力手段又は方法は異なる形態を有してもよいことは理解されよう。例えば、キーボードは、装置の(例えば、タッチスクリーンの)反対側で2つの半円部に分離するか又は2つの4分割の円部分に分離した、標準的なPCキーボード形、円形、等を有するオンスクリーンキーボードであることができる。
別の例として、図18はタッチスクリーンディスプレイを有するタブレットPCのような電子装置14200を示す。少数のキー(例えば、本例では2つのグループ14205及び14206に分離したメカニカルキー)を用いる本発明の予測データ入力システムを装置内部に統合してある。例として、及び前述したように、4つのキー14201、14202、14203、14204(例えば、それぞれ、キーパッドモデル14210のキー14211、14212、14213、14214を再現する)に対し、4つのキーの各々が(例えば、対応する)キーに割り当てた文字グループの任意の文字を曖昧に表すように、言語の実質的にすべての文字を割り当てることができる(例えば、4つのキーのような少数のキーに言語の文字を割り当てること、及び本発明の予測データ入力システムでキーを使用することは既に詳述した)。本例では、少数のメカニカルキーに加えて、(例えば、前述のように)正確な文字を与える(例えば、2つの部分14207、14208に分割した)オンスクリーンキーボードを、本発明の(例えば、予測)データ入力システムと利用可能である。例として、単語の入力中に、本発明の予測データ入力システムを通してオンスクリーンキーボードを使用して1つ又は複数の単語の文字を正確に入力することができる。例えば、単語「day」を入力するために、ユーザは最初にオンスクリーンキーボードのキー14209を押下して文字「d」を正確に入力することができる。ユーザは次いで文字「a」、及び「y」に対応する曖昧なキー14202及び14203を押下することができる。与えた情報に基づいてシステムは、入力情報に対応する単語の中で最優先度を有する単語「day」を与える(例えば、本例では、曖昧なキーの列14204、14202、14203を押下することは、単語「day」より高い優先度を有する単語「its」に対応することができる)。
上で示した例は実証の目的のみに使用されることに留意しなければならない。前述のように、(例えば、異なる形態を有する)他の入力手段を使用して正確なキャラクタ(例えば、文字)又は関数を入力可能であることは理解されよう。
本明細書に記載した本発明者出願の引用で説明したように、少数の(例えば、メカニカル、仮想、等の)キーを有する外部(例えば、携帯)キーパッドと、マイク、カメラ、マウス、等のような幾つかの他のコンポーネントとを、本発明のデータ入力システムと併用されるように製造することができる。
本発明の一実施形態によると、外部キーパッドは、(例えば、使用中でないときは)対応装置に取り付け可能又は対応装置内に収容可能なように設計した、取り外し可能/取り付け可能なキーパッドであることができる。例えば、キーパッドは対応装置の外面に取り付け可能な平面形状を有するか、又はキーパッドをPCMCIAカードの形を有するよう設計して装置のPCMCIAスロット内にスライド可能とすることができる。キーパッドを対応装置に対して、無線又は有線で接続することができる。
一実施形態によると、外部キーパッドは再充電可能なバッテリーを含むことができ、キーパッドをその対応装置に取り付ける(例えば、PCMCIAスロット内にスライドするか、又はUSBポート内に引っ掛ける、等)際に装置を通してバッテリーを充電することができる。
キーパッドは任意の他の形状を有することが可能で、その対応装置に任意の他の手段により取り付け可能で、任意の他の手段を使用して再充電可能であることは理解されよう。例えば、キーパッドはクレジットカードの大きさを有することができる。
前述のように、システムの単語辞書内に少なくとも一部が存在する単語を、本発明の組合せデータ入力システムを通して入力することができる。本発明の一実施形態によると、単語を入力するため、ユーザは予め定義された分割入力信号(例えば、1つ又は複数の予め定義されたキーとの予め定義された対話)を、単語の2つの連続部分に対応する入力情報(例えば、キー押下、及び与えられれば音声)の間に与えることができ、その結果、システムに単語の先行部入力の最後及び/又は後続部入力の開始を知らせることができる。この場合、単語の後続部に対応する入力(例えば、キー押下、及び必要/望むならば恐らく音声)情報の(例えば、最終的には、本発明の単語予測システムを用いる場合は検索手順を含む)プロセス中に、システムは単語の後続部より前の部分に対応する入力情報(例えば、キー押下及び音声)を考慮しなくてもよい。
単語は、部分の各々がシステムの単語辞書のエントリ(例えば、単語、単語の一部分のような項目)であるような複数の部分の1つを組み合わせたもの、及び/又はシステムの単語辞書のエントリでない(例えば、システムの単語辞書内部に含まれない)1つ又は複数の部分であることが可能であることは理解されよう。単語をユーザにより別々の部分に任意に分割可能であることに留意しなければならない。
上記で説明した複合語の可能性の1つに対する例として、単語(例えば、2つの部分「pc」と「board」に分割可能な単語「pcboard」)を一連の単一文字の入力(例えば、本例では、本発明の文字毎のデータ入力システムにより文字「p」と「c」を入力)の最後に入力するとき、ユーザは分割入力信号を入力して、ユーザがその単語の新規部分(例えば、本例では本発明の予測データ入力システムにより入力可能な、部分/単語「board」)を入力したときにシステムが検索手順において先行部分(例えば、本例では単一文字の列)を考慮しなくてよいことをシステムに知らせることができる。複合語(例えば、「handheld」)は、システムの単語辞書内に含めることが可能な少なくとも2つの連続部分(例えば、単語の一部分)(例えば、「hand」と「held」)から構成可能であることは理解されよう。この場合、例えば、両方の部分を本発明の予測データ入力システムにより入力することができ、2つの部分のうち1つ目の部分を入力する最後に分割入力信号を与えることができる。
前述のように、本発明の予測データ入力システムを用いて単語を入力するとき、第1の検索‐選択手順によると、ユーザの入力情報(例えば、キー押下、及び与えられれば音声)の提供中に、入力情報のそれぞれの例(例えば、それぞれの連続的なキー押下、及び与えられれば対応する音声)に対し、システムは単語各々の文字列全体が与えられた入力情報に対応するようなシステムの単語データベースの単語の中で、最優先度を有する単語をその例になるまで与える(例えば、ユーザに示す)ことができる。例として、図19aのキーパッド14300を考えると、ユーザが(例えば、本例では、音声を与えずに)単語「forget」の入力を試みる場合、ユーザはキー14302、14303、14302、14303、14301、14302を押下することができる。テーブル14309は、例としてシステムの単語データベースを示す。テーブル14305は、例として、システムの単語データベースの6つの単語14306を示す。これらは、単語「forget」の入力中に発話なしで与えた連続的なキー押下(例えば、1番目のキー押下、1番目と2番目のキー押下、1番目と2番目と3番目のキー押下、等)を与えることからなる入力情報の6つの例に対応する。この検索方法、選択方法、及び単語の提示方法は既に詳述した。
前述のように、1つの方法によると、入力情報のそれぞれの例において、その文字のすべてがユーザの入力情報(例えば、キー押下、及び与えられれば音声)に対応する単語を本発明の単語予測システムが発見しない場合、システムはその先頭文字が入力情報に対応する長い単語をデータベースから探し、その先頭文字が入力情報に対応する単語の中で最優先度を有する単語の(例えば、少なくとも)対応する先頭文字を一般に提示可能であることに留意しなければならない。先頭文字が入力情報に対応する長い単語をシステムが発見しない場合、システムの予め定義されたアーキテクチャに依存して、システムは例えば予め定義された文字(例えば、最後のキー押下に対応する文字、及び与えられていれば音声)を、ユーザに提示した(例えば、その単語入力以前に与えられた入力情報の例に対応する)最後の文字列(例えば、単語)の末尾に追加することができる。
また、前述のように、第2の検索‐選択手順によると、ユーザの入力情報(例えば、キー押下、及び与えられれば音声)の提供中に表示ユニットのちらつきを削減するため、入力情報のそれぞれの例(例えば、それぞれの連続的なキー押下、及び与えられたものがあれば音声)に対し、システムは、少なくとも先頭文字が入力情報(例えば、その例)(例えば、その時点まで与えられる、単語に対応する入力情報)に対応するシステムデータベースの単語の中で、最優先度を有する単語の少なくとも(例えば、対応する)先頭文字を与える(例えば、ユーザに示す)ことができる(例えば、そのように設計する場合、システムは単語の残りの文字も示すことができる。残りの文字を先頭文字から分離するため、システムは例えばそれらをカーソルの後に置くか、又は別の色で印字することにより、目立つように印字することができる)。例として、図19aのキーパッド14300を考えると、ユーザが(例えば、本例では、音声を与えずに)単語「forget」の入力を試みる場合、ユーザはキー14302、14303、14302、14303、14301、14302を押下することができる。テーブル14307は、例として、6つの文字列14308を示す。これらは、単語「forget」の入力中に(例えば、本例では、発話なしで)連続的なキー押下(例えば、1番目のキー押下、1番目と2番目のキー押下、1番目と2番目と3番目のキー押下、等)を与えることからなる入力情報の6つの例に対応する。この場合、単語の各々は、単語「forget」の入力中に与えた入力情報(例えば、本例では、発話なしで与えたキー押下列)の同じ対応する例に少なくとも単語の先頭文字が対応するシステムの単語データベースの単語の中で、最優先度(例えば、最高使用頻度)を有する。本手順によると、例として、ユーザが第1のキー14302を押下するとき、システムはシステムの単語データベース14309の単語の中で、ユーザが与えた第1のキー押下に対応する文字で始まり最高使用頻度を有する単語「and」の文字「a」を表示することができる。ユーザは次いで、第2のキー14303を押下することができる。システムは、ユーザが与えた第1及び第2のキー押下に対応する文字で始まるシステムの単語データベース14309の単語の中で最高使用頻度を有する対応単語「to」の少なくとも先頭文字(例えば、この場合、すべての文字)に対応する文字列「to」を提示することができる。ユーザは次いで、第2のキー14302を押下することができる。システムは、ユーザが与えた第1及び第2及び第3のキー押下に対応する文字で始まるシステムの単語データベース14309の単語の中で最高使用頻度を有する対応単語「for」の少なくとも先頭文字(例えば、この場合、すべての文字)に対応する文字列「 for」を提示することができる。ユーザは次いで、第4のキー14302を押下することができる。システムは文字「g」を、既に表示されている文字列「for」に追加し(例えば、ディスプレイはちらつかない)、ユーザが与えたキー押下に対応する文字で始まるシステムの単語データベースにある単語の中で最高使用頻度を有する対応単語「forget」の先頭文字に対応する文字列「 forg」を与えることができる。ユーザは次いで、第5のキー14301を押下することができる。システムは文字「e」を、既に表示されている文字列「forg」に追加し(例えば、ディスプレイはちらつかない)、ユーザが与えたキー押下に対応する文字で始まるシステムの単語データベースにある単語の中で最高使用頻度を有する対応単語「forget」(例えば、その先頭文字)に対応する文字列「 forge」を与えることができる。ユーザは次いで、第6のキー14302を押下することができる。システムは文字「t」を、既に表示されている文字列「forge」に追加し(例えば、ディスプレイはちらつかない)、ユーザが与えたキー押下に対応するシステムの単語データベースにある単語の中で最高使用頻度を有する対応単語「forget」を与えることができる。
示したように、検索‐選択手順の各々による単語「forget」の入力中に、与えられた提示した文字列14306、14308と比較することで、第2の検索‐選択手順を用いる際は表示ユニットがあまりちらつかないことに気づくであろう。
本発明の一実施形態によると、第1及び第2の手順を組み合わせて、両方の手順をユーザに与えうる効率的な第3の手順を与えることができる。単語入力に対する入力情報のそれぞれの例において、その時点までユーザが与えた入力情報にすべての文字が対応する単語の中で最優先度を有する単語と、その時点までユーザが与えた入力情報に先頭文字が対応する単語の中で最優先度を有する単語との両方を示すことで、ユーザが容易で、素早く、より正確なデータ入力を与えることを支援できる(例えば、前に説明したように、第1の手順が対応する単語を発見しない場合、第2の手順が提示した対応する単語の先頭文字を印字/提示することができる)。
例として、図19bは本発明の単語データベース14319を示す。図19aのキーパッド14309を考慮すると、単語「informative」を(例えば、本例では発話なしでキー押下を与えることで)入力するために、単語の最初にある4つの先頭文字に対応するキーを押下した後、(例えば、ステップ4に示す)第1の手順に基づいて、システムはスクリーン14310上のテキストライン14315に第1の単語14311(例えば、単語「into」)を挿入することで、提示することができ、好ましくは同時に、第2の手順に基づいてシステムは、例えば第1の単語(例えば、「into」)の下に印字することで第2の単語(例えば、単語「information」)14312を選択肢として提示することもできる。第1の単語14311の末尾に位置するカーソル14314に加えて、カーソル14313を自動的に第2の単語14312の対応する位置に置くことができる。継続するために、ユーザは以下の方法の1つを用いるといった様々な選択肢を有することができる。
1)所望の単語(例えば、「informative」)の次の文字(例えば、「r」)に対応するキーを押下すること、又は
2)予め定義されたキーの予め定義された押下動作のような予め定義された入力信号を与えて、テキストライン14315内で単語「into」を単語「information」で置き換えること、又は
3)予め定義されたキーの予め定義された押下動作のような予め定義された入力信号を与えて、第1の手順が提示したN個の文字を有する第1の単語(例えば、「into」)を、第2の手順が提示した第2の単語(例えば、「information」)のN+1個の先頭文字(例えば、「infor」)で置き換えること。これにより、文字に対応するキーを押下する必要なしに所望の単語の少なくとも先頭の正確な文字を入力することが可能となる。明らかに、追加されたそれぞれの予め定義された入力信号(例えば、予め定義されたキーの押下動作)は、第2の単語の後続のキャラクタ/文字と同じ文字をN+1個の文字に追加することができる。又は、
4)予め定義されたキーの予め定義された押下動作のような予め定義された入力信号を与えて、第1の単語(例えば、「into」)を、第2の手順が提示した第2の単語(例えば、「information」)の最長先頭文字列(例えば、「informati」)で置き換えること。この場合、文字列は、その文字列に対応する同一キー押下に対応する本発明の単語データベースの単語すべての先頭文字である。
本例では、例えば上述の方法3、又は4の1つを使用することで、ユーザは単語「into」を文字列「informati」で置き換えることができる(例えば、ステップ5を参照)。ユーザは次いで(例えば、ステップ6を参照)、例えば、文字「v」に対応するキー14304を押下することができる。本発明の単語予測システムに基づいて、システムは文字「v」を文字列「informati」の末尾に追加して第1の選択肢として「informativ」を与えることができ、明らかに単語「informative」(例えば、本例では、第1の選択肢として提示した単語の先頭文字を与える組合せ入力信号が2つの単語「informative」と「informatively」に対応し、この場合は単語「informative」が高い優先度を有する)を第2の手順による第2の選択肢として印字することができる。ユーザは次いで(ステップ7を参照)、文字「e」に対応するキー14301を押下することができる。本発明の単語予測システムに基づいて、システムは文字「e」を第1の文字列「informativ」に追加して、単語「informative」を第1の提示語として与えることができる。本ステップで、システムは第2の手順により単語「informatively」(例えば、第1の選択肢として単語「informative」を与える組合せ入力信号は、唯一の単語「informatively」の先頭文字に対応することができる)も与えることができる。ユーザは空白文字を与えるといった単語末尾信号を与えて、所望の単語「informative」の入力を終えることができる。
更なる正確性及びディスプレイの更なるちらつき削減のため、単語の入力中にユーザは本発明の(例えば、押下‐発話)データ入力システムの原理に基づいて対応する音声情報を与えることもできることに再度留意しなければならない。例として、及び比較の目的で、図19cに(例えば、上述のように)発話なしで入力情報(例えば、キー押下)を与えることで単語「informative」を入力するステップを示し、図19dに入力情報(例えば、キー押下)を与えることで同じ単語「informative」を入力するステップを示す。この場合、ステップ3で、文字「f」に対応するキー押下に加えてユーザは文字を発話する。入力情報を考えることで、システムは第1の手順により単語「udf」を与えることができ、本ステップで第2の手順により単語「information」を提示することもできる(例えば、本例では、図19cの例による同じ単語の入力と比較して、初期ステップで単語情報を第2の手順により提示する)。
前述のように、本発明の予測データ入力システムを用いるとき、ユーザは空白文字のような単語末尾信号の入力中に単語を修正することができる。この目的のため、例えば空白文字を押下するとき、ユーザは単語の少なくとも1つのキャラクタ(例えば、文字)を発話することができる。少なくとも1つの発話した文字は、単語の任意の文字であることができる。例えば、図19aのキーパッド14300を用いて単語「this way」を入力するため、ユーザは最初にキー14302、14301、14304、14303(例えば、それぞれ、単語「this」の文字に対応する)を発話なしで押下することができる。システムは単語を入力する(例えば、文字に対応するキー押下を与える)最中に任意の音声を検知できず、したがって、システムはデータベースの単語の中で最優先度を有する、(例えば、音声がない状態で与えた)キー押下のみに対応する単語(例えば、「this」)を与えることができる。単語の入力の最後に、ユーザは発話なしで「Space」キーを押下して単語の後に空白文字を入力することができる。ユーザは次いで、例えば文字(例えば、文字列)「wa」に対応するキーを発話なしで押下し、文字「y」に対応するキーを押下して文字を発話することで、単語「way」の入力に進むことができる。ユーザが与えたキー押下及び音声情報は、システムの単語データベースの少なくとも2つの単語「may」及び「way」に対応することができる。システムは、ユーザの入力情報(例えば、ユーザが単語を入力するために与えたキー押下及び音声)に対応する単語の中で最優先度を有する単語「may」を出力することができる。別の補正方法は前述した。本発明の1つの方法によると、単語の入力の最後において、システムが提示した単語がユーザが望むものでない場合、(例えば、好ましくは)「Space」キーの押下のような予め定義された信号を与える間にユーザは単語の(例えば、少なくとも)1つの文字を単語に対応する追加入力情報として発話することができる。既に与えた(例えば、好ましくはすべての)入力情報と追加情報とを考慮することで、システムは新しい検索プロセスを与え、新しい結果を与えることができる。本例では、(例えば、好ましくは)「Space」キーの押下中に、ユーザは文字「w」を言うことができる。既に与えた情報(例えば、結果として生じる単語「may」)と(例えば、キー14301に対応する)文字「w」の音声とを考慮することで、システムは(例えば、単語「may」内の文字「m」を置き換えることで)単語「way」を与えることができる(例えば、本例では、文字「w」は文字「y」を置換できない。なぜならば、対応するキーの押下と文字「y」を発話することにより、文字「y」が既に正確に入力されたからである)。本例では、修正とともに、システムは単語の後に空白文字を与えうることは理解されよう。別の例では、単語「no」を入力するために、ユーザが発話なしでキー14304、14303を押下する場合、システムは、入力情報に対応しかつ対応する最優先度を有する単語「is」を与えることができる。ユーザは次いで「Space」キーを押下して、所望の単語「no」の文字の1つ(例えば、「n」)を言うことができる。システムは、ユーザが与えた組合せ情報(例えば、初期キー押下、及び追加の音声)に対応する単語「no」を与えることができる。さらに別の例において、単語「ok」を入力するため、ユーザは発話なしでキー押下14303、14303を与えることができる。システムは最優先度を有する単語「so」を与えることができる。ユーザは次いで「Space」キーを押下し、例えば文字「k」を言うことができる。本例では、文字は2つ(例えば、両方)のキー押下に対応する。システムは、キー押下に対応しかつ単語の各々の少なくとも1つの文字が(例えば、文字「k」に対応するキー押下に対応する位置に)文字「k」を含む単語辞書を考慮することができ、最優先度を有する単語を与える。本例では、単語「ok」を与えることができる。
本発明の補正手順を単語の入力中(例えば、その途中)に実施可能であることに留意しなければならない。例えば、単語の入力中(例えば、その途中)に(例えば、予め、補正信号を与えるか、又は与えずに)ユーザが音声情報を与える場合、音声情報は、音声情報を与える前に単語の入力に与えた予め定義されたキー押下情報に対応することができる。1つの方法によると、音声情報を与えた後に与えうるキー押下に対応するように、音声情報を予め定義可能であることに留意しなければならない。
多くの場合では発話なしでキー押下することが所望の単語の入力に対して十分であり、本発明の単語予測データ入力システムの原理によると、装置のスクリーンはキー押下を与える間に別の単語を与えうることになお留意されたい。(例えば、特に長い単語に対して)スクリーンのちらつきを削減するか又は時には削除するために、単語に対応するキー押下の入力中に、ユーザは単語の少なくとも幾つかの(例えば、好ましくは先頭)キャラクタ/文字に対応する音声情報を与え、文字を正確に入力することができる。これによりスクリーンのちらつきを大幅に削減することができる。例えば、図19aのキーパッド14300を用いることで、キー押下のみで単語「for」を入力する最中に、システムは文字列「a」、「to」、「for」を提示することができる。例えば、最初のキー押下動作中にユーザが文字「f」も話したならば、システムは(例えば、本例ではスクリーンのちらつきなしで)文字列「f」、「fo」、「for」を提示するであろう。
前述のように、(例えば、本発明の)単語予測データ入力システムを通した単語の入力中に、入力情報(例えば、キー押下動作、及び要求されれば音声情報)の実体において、システムは単語/文字列を提示することができる。この場合、単語/文字列の先頭文字は、ユーザが与えた(例えば、ディスプレイがちらつく)単語に対応する入力情報の先行実体において提示した単語/文字列とは異なる。本発明の一実施形態によると、ユーザが先行文字列を保持して文字列に追加の文字を追加して所望の単語を与えたい場合、ユーザは予め定義された入力信号を先行文字列に対応する入力情報の後に与えることができる。例えば、図19aのキーパッド14300を考慮すると、単語「then」を入力するためユーザが対応するキーの単一押下動作を発話なしで与える場合、システムは単語「then」より高い優先度を有する単語「been」を与えることができる。ユーザが与えた最初の3つのキー押下により単語「the」を与えることができる。システムに文字列(例えば,「the」)を保持することを知らせるために、次の文字(例えば、「n」)に対応する入力情報を与える前に、ユーザは予め定義されたキーに予め定義された対話(例えば、二重押下動作又はグライド動作、等)を与えることができる。ユーザは次いで、文字に対応する入力情報を与えることができる(例えば、キー14304を押下する)。本発明の予測システムは文字列「the」と文字「n」に対応する入力情報とを考慮する(例えば、かつ文字列に対応する入力情報を考慮しない)(例えば、本例では、予測システムは、文字列「the」で始まり文字「iucdnvj」の1つで終わる単語の中で最優先度を有する単語を検索し、単語「then」を与える)。ユーザは次いで、空白文字のような単語末尾信号を与えて単語の入力を終わらせることができる。
前に詳述したように、単語の文字に対応する入力情報は、単語の先行(例えば、及び/又は後続)文字に関する情報も含むことができる。例えば、キー14301の単一押下動作により、システムが現在の単語の入力に対する予測手順において文字「ehmqwz」の1つを考慮するよう、単語予測システムに知らせることができる。他方で、やはり例として、キー14301に対する別の対話(例えば、二重押下動作、長い押下動作(例えば、キーを予め定義されたラップ時間だけ押下及び保持する動作)、別のキー及びそのキーを同時に押下すること、等)により、単語予測システムに例えば現在の入力情報が後続の単語に属することを知らせることができる(例えば、明らかに、先行の単語の入力が終わることもシステムに知らせる)。以前の実施形態を継続して参照し、上記で説明した原理を考慮することで、システムに先行文字列(例えば、「the」)を保持するよう知らせる入力信号を、単語(例えば、「then」)の後続文字(例えば、本例では「n」)に対応する入力情報を与える間に与えることができる。同じ目的のため、別の方法によると予め定義された音声入力(例えば、「keep」、「end」、等を言うこと)を、後続文字に対応するキー対話の間又はそれとともに、与えることができる。例えば、文字「n」に対応するキーの単一押下動作に加えて、ユーザは「keep」と言い、システムが文字列「the」を、今入力した追加情報(例えば、文字「n」に対応するキーの単一押下動作)と組み合わせた所望の単語の先頭文字とみなしうることをシステムに知らせることもできる。
先行又は後続文字に対応する入力信号を、単語入力に与えた入力情報内部に含めることは、ユーザには紛らわしい可能性があるはずである。したがって、(例えば、詳述したように)入力信号を別々に与えうることが好ましい。
図23は例として本発明のキーパッド14700を示す。この場合、PCキーボードの実質的にすべての記号(例えば、文字、句読点、コマンド、関数)のような記号をキーパッド14700のキーに割り当てる。本発明の予測データ入力システムの少なくとも幾つかの原理に基づいてキーパッドを生成する。例えば英語の文字を、以下のようにその4つのキー14701、14702、14703、14704に割り当てることができる。すなわち、
−曖昧に類似する音声を有する文字を、互いから別々に、異なるキーに割り当てる。及び/又は
−本発明の単語予測方法を用いることで単語をキー押下(例えば、及び要求/提供されれば音声)に基づいて入力するときに最高頻度の単語が別のキー押下列に対応することが好ましいように、文字を互いから別々に異なるキーに割り当てる。その結果、追加の入力情報(例えば、正確な文字を入力するための音声、手書き、等)を要求せずに単語の文字/キャラクタに対応するキーを押下/対話することで、(例えば、テキストの入力中に)多くの場合は意図した単語を入力することができる。また、同じキー押下列に対応する単語数が最小化されるように割り当て可能であることが好ましい。
−テキストの入力時にユーザができるだけ等しく4つのキーと対話できるように、文字を互いから別々に異なるキーに割り当てる。及び/又は
システムが単語の少なくとも幾つかの文字の入力に(例えば、音声情報に対する追加/代用として)手書きも使用する場合、手書きの正確性を向上するためシステムは、文字を割り当てた対応センシティブキー上で手書きを行うことで正確な文字/キャラクタの入力を可能となる。この場合、曖昧な手書きグラフを有する文字を異なるキーに割り当てることができる。
上述の原理の少なくとも1つに基づく例示的キーパッド14700とキーパッドのキーへの文字割当てとは例として示しており、原理の少なくとも1つに基づくキーパッドのキーに対する他の文字割当てを考慮できることに留意しなければならない。例えば、図8のキーパッド13200(例えば、部分的に示してある。キーパッドは多くの実施形態で説明したものより多数のキーパッドを有することができる。ここでは、ローマ字/英語のアルファベットの文字を割り当てたキーのみ示してある)も上述の原理に基づいて構成してある。
本発明の予測データ入力システムの原理に基づいて、例としてキー14702の1つを参照すると、システムは文字「abfrtx−_」147021(例えば、文字は小文字である)を、本発明の単語予測システムを通して単語を構成しうる要素の一部とみなすことができる。任意の文字に対応する入力情報は、キーとの第1の予め定義された種類の対話(例えば、キーの単一押下動作)を与えていることができる。対応する音声を与えない(例えば、キーとの)第1の予め定義された種類の対話を与えることは、キャラクタ(例えば、文字)の1つに曖昧に対応することができ、文字の1つに対応する(例えば、予め定義された)音声を与えることと組み合わせた(例えば、キーとの)予め定義された対話を与えると、キャラクタ(例えば、文字)を正確に与えることができる。
本例では、キー14702との第2の予め定義された種類の対話(例えば、キーの二重押下動作、(少なくとも)予め定義されたラップ時間だけ押下及び保持する動作、等)は大文字147022での任意の曖昧な文字に対応することができ、文字の1つに対応する音声を与えることと組み合わせた予め定義された対話を与えると、文字を正確に大文字で与えることができる。キーパッド14700を継続して参照する。本発明の予測データ入力システムの原理に基づいて、例として、キー14702を参照すると、キー14702との第3の予め定義された種類の対話(例えば、キーの単一グライド動作、修飾キー14707の押下、及び好ましくは同時に単一押下動作を与えること、等)は、本発明の単語予測システムを通して単語(例えば、前述のように、単語外の文字)を構成しうる要素の一部とシステムがみなすことができない文字(例えば、本例では、文字「−」147023)に対応することができる。(例えば、発話あり又は発話なしと予め定義した)第3の種類の対話を与えると、本発明の文字毎のデータ入力システムにより、本発明の単語予測手順(例えば、その検索及び選択方法)を経ずに対応する文字を与えることができる。
本例では、キー14702との第4の予め定義された種類の対話(例えば、キーの二重グライド動作、修飾キー14707の押下、及び好ましくは同時に二重押下動作を与えること、修飾キー14707を押下して好ましくは同時に少なくとも予め定義されたラップ時間だけ押下及び保持動作を与えること、等)は、本発明の単語予測システムを通して単語を構成しうる要素の一部とシステムがみなすことができない(例えば、別の)文字(例えば、本例では、文字「_」147024)に対応することができる。
説明したキー14702に対応する原理を、本発明の組合せデータ入力システムと併用される任意のキーパッドのキーに適用することができる。この場合、キーパッドは少数のキーを有し、少なくとも幾つかのキーの各々は言語の数個の文字を表す。本例では、説明したキー14702に対応する原理を(例えば、対応する文字を入力するための)キー14701、14703、14704に適用することもできる。
キー14706に関して、本例では、キー14706との第1の予め定義された種類の対話(例えば、キーの単一押下動作)は、空白文字を与えることに対応できる。そのキーとの第2の予め定義された種類の対話(例えば、キーの二重押下動作)は、(例えば、PCキーボードの)「Enter」コマンドに対応できる。
キー14706との第3の予め定義された種類の対話(例えば、キーの単一グライド動作、修飾キー14707の押下、及び好ましくは同時に単一押下動作を与えること、等)は、(例えば、前に詳述したように)本発明の予測方法を通して単語を入力するために、入力情報の先行実体の提示した先頭文字列を保つことに対応することができる。キー14706との第4の予め定義された種類の対話(例えば、キーの二重グライド動作、修飾キー14707の押下、及び好ましくは同時に二重押下動作を与えること、修飾キー14707を押下して好ましくは同時に少なくとも予め定義されたラップ時間だけ押下及び保持動作を与えること、等)は、「Tab」関数に対応できる。
上述のキー14706に対応する原理をキー14705に適用することもできる。例えば、発話なしでキー14705との第1の予め定義された種類の対話を与えることは、「BkSp」コマンドを与えることに対応することができる。また例えば、発話なしでキー14705との第3の予め定義された種類の対話を与えることは、「SubBk」(例えば、本明細書に記載した本発明者出願の引用で説明したような、複数の文字を削除する超/特殊バックスペースコマンド)に対応することができる。
キー14707及び14708の各々は、少なくとも修飾(例えば、「Shift」)キーとして少なくとも機能することができる。
キー14707に関して、本例では、発話なしでキーとの第1の予め定義された種類の対話を与えることは、「,」文字を与えることに対応できる。文字「()@#‘$&」の任意を入力するため、ユーザはキー14707との予め定義された第1種類の対話を与え、文字を発話することができる。
発話なしでキー14707との第2の予め定義された種類の対話を与えることは、「Shift」関数に対応することができる。組合せ文字列「’s」、「’d」、「’m」、「’ll」(例えば、前に詳述したように、アポストロフィー文字を含む文字列)の任意を入力するため、ユーザはキー14707との第2の予め定義された種類の対話を与え、組合せ文字列に対応する音声情報を与えることができる(例えば、記号割当ての別方法によると、文字列の各々を文字列の最初の文字を表すキーに割り当てることができる)。
キーパッド14700を継続して参照する。本発明の予測データ入力システムの原理に基づいて、例として、キー14707を参照すると、発話なしでキー14707との第3の予め定義された種類の対話を与えることは「CapsLock」関数に対応できる。本例では、発話なしでキー14707との第4の予め定義された種類の対話を与えることは、文字/記号(例えば、本例では、文字「(」)に対応できる。
キー14707に対して説明したキー14706に対応する原理(例えば、キー対話、及び与えられるときは対応する音声)を、キー14708に適用することができる。例えば、発話なしでキー14708との第1の予め定義された種類の対話を与えることは、「,」文字を与えることに対応できる。(例えば、算術)文字「<>0−9+−/*=%#」の任意を入力するために、ユーザはキー14707との第1の予め定義された種類の対話を与え、文字を発話することができる。
発話なしでキー14708との第2の予め定義された種類の対話を与えることは、「EOW」関数(例えば、前述のように通常は複合語を与えるために用いる単語末尾信号)に対応できる。任意の数字列(例えば、対応するそれぞれの音声「百」、「千」、「百万」を有する「00」、「000」、「000,000」)の任意を入力するために、ユーザはキー14708との第2の予め定義された種類の対話を与え、数字列に対応する音声情報を与えることができる。
キーパッド14700を継続して参照する。本発明の予測データ入力システムの原理に基づいて、例として、キー14708を参照すると、発話なしでキー14708との第3の予め定義された種類の対話(例えば、ここではキー14708と併用している修飾キーはキー14707であることができる)を与えることは、「Correction」キー(例えば、前述のように、本発明の予測データ入力システムが提示した単語を補正するための補正/選択手順の開始を示す、補正キーインジケータ)に対応することができる。F1からF12のファンクションの1つを与えるため、ユーザは第3の予め定義された種類の対話を与え、関数に対応する予め定義された音声情報(例えば、ファンクション番号を言うこと)を与えることができる。
本例では、発話なしでキー14708との第4の予め定義された種類の対話(例えば、ここでは、キー14708と併用している修飾キーはキー14707であることができる)を与えることは、文字/記号(例えば、本例では、文字「)」)に対応することができる。数字と文字を組み合わせた文字列(例えば、0th、1st、2nd、3rd、4th、...、9th)を与えるため、ユーザは第4の予め定義された種類の対話を与え、組合せ文字列に対応する音声情報(例えば、「zero」、「first」、「second」、「third」、「fourth」、...、「nineth」とそれぞれ言うこと)を与えることができる。
キーへの記号割当て及び異種の対話は実証として用いているに過ぎないことに留意しなければならない。任意の記号を、本例で割り当てたものとは別の(例えば、キー)対話に割り当てることができる。また、他の(例えば、キー)対話をキーパッドに対して考慮することができる。
これまでに言及したように、音声がない場合又は対応する音声が存在する場合のキーパッドのそれぞれのキーに対する数個の予め定義された種類の対話を、(例えば、別の)対応する記号(例えば、文字、文字列、句読点文字、関数、等)の入力に使用することができる。これらの原理を考慮し、様々な数のキーを用いること等のような他のパラメータも考慮することで、多種のキーボードを与えて本発明の(例えば、予測)データ入力システムと併用することができる。例えば、少なくとも1つのPCキーボード機能(例えば、Ctrl、Alt、Del)をキー14707に割り当てることができる。この場合、任意の機能を、対応する対話(例えば、本例では、キー14707に対する第4の予め定義された種類の対話を与え、キーボード機能に割り当てた対応する予め定義された音声情報を与えること)を与えることで入力することができる。
前述のように、本発明のデータ入力システムを、iPODプレイヤーと併用してコンテンツ(例えば、曲、映画、等)を検索及び/又は選択するもの(例えば、オーディオ、ビデオ、等)といった、円形タッチセンシティブ面と併用することができる。(例えば、コンテンツをリストから選択するための)円形面上のグライド動作に加えて、円形面は(例えば、面の予め定義された部分に対する)タップ動作に応答して、テキストのようなデータを入力するための本発明のデータ入力システムと併用されるキーパッドを再現することもできる。図20は例として、上述の円形タッチセンシティブ面を示す。円形面は数個の予め定義されたゾーンを有することができる。この場合、それぞれのゾーンはシステムの予め定義された(例えば、仮想)キーパッドのキーに対応することができる。本例では、ゾーン14401から14406は、本明細書に記載した本発明者出願の引用で説明した、少なくとも本発明の幾つかのキーパッドの原理を再現することができる。例えば、4つのキー14401、14402、14403、14404に、言語の実質的にすべての文字を分散的に割り当てることができる。
本発明の一実施形態によると、ゾーン上のタップ動作をテキスト入力に使用して円形面上の(例えば、円形)グライド動作を選択の目的に使用できるように、キーパッドを本発明の組合せデータ/テキスト入力システムと併用することができる。例えば、単語「bell」を入力するために、本発明の一実施形態によると、ユーザは音声を与えずに対応するキー14402、14404、14403、14403を押下することができる(例えば、本発明の予測システムはキー押下のみに基づくことができるか、又はユーザは発話することを望まなくともよい、等)。システムは、入力情報に対応する単語リスト14412をユーザに示すことができる(例えば、使用頻度の図が表示される)。ユーザは次いで、(例えば、円形)グライド動作14410/14411を円形面上に与えることができ、その結果、リスト内をナビゲートして所望の単語を選択することができる。例えば、所望の単語を選択した後、ユーザは円形キーパッドの中央ゾーン14407のタップ動作を与え、単語を選択/入力することができる。別の例によると、キー押下に加えて、例えば第1のキー14402の押下中に、ユーザは対応する文字「b」を発話することができる。この場合、システムはリスト14413を示すことができる(例えば、使用頻度の図が表示される)。ユーザは次いで、(例えば、円形)グライド動作14410/14411を円形面上に与え、リスト内をナビゲートして所望の単語を選択することができる。
説明したデータ入力手順をコンテンツ検索及び選択に適用することができる。例えば、タップ動作(例えば、最終的には、対応する音声を与えること)を使用することで、ユーザはコンテンツの部分的又は完全な文字に対応するテキスト形式のコンテンツ情報(例えば、コンテンツのタイトル)を入力することができ、(例えば、システムにより)ユーザの入力情報に対応するコンテンツリストを(例えば、それらをスクリーン上に印字することで)与えた後、ユーザは面上のグライド動作を使用してユーザの所望のコンテンツを選択することができる。
本例で示した円形キーパッドは例として与えたに過ぎないことに留意しなければならない。当業界の技術者は他種のキーパッドを考えうることは理解されよう。例えば、図20aに示すように、本発明のデータ入力システムと併用した、8つのキーを再現する8つの予め定義されたゾーンを有する円形キーパッド14410を考慮することができる。
図21に例として示すように本発明の一実施形態によると、分割して少なくとも2つの部分14501、14502を形成するように、本発明のデータ入力システムと併用した外部キーパッド14500を製造することができる。この場合、その部分の各々を独立/別々に対応する電子装置14509に取り付け(例えば、及びその部分の各々を好ましくは独立に、及び好ましくは無線で、接続することができる)、本発明のデータ入力システムと併用することができる。分割した部分を互いに取り付け可能であるように設計して、統合キーパッド14500を形成し、電子装置に付随する外部キーパッドとして使用する(例えば、及び本発明のデータ入力システムと併用する)ことができる。本例では、(例えば、例として)4つのキー(例えば、図中のより濃いキー)に、言語の実質的にすべての文字を割り当てることができる。統合キーパッドは、本発明のデータ入力システムと併用される少なくとも1つのマイクを備えることができる。例えば、キーパッドが電子装置の端の分割部分内にあるとき、マイク14503、14504も電子装置の端に分散されてユーザの声をより良く取得できるように、分割キーパッドのそれぞれの部分は統合マイクを備えることができる。
電話型キーパッドは電話に対して一般的なダイヤル手段となっている。したがって、キーパッドを大部分の音声通信装置に含めることができる。本発明の一実施形態によると、本発明のデータ入力(例えば、予測を含む)システムを使用可能な音声通信装置及び/又はデータ通信装置は、(例えば、ダイヤル用の)電話型キーパッドと(例えば、データ/テキスト入力用の)本発明の(例えば、分割)キーパッドとの両方を含むことができる。公知なように、電話型キーパッドは電話の対応する側の表面の大部分を占め、その側において表示ユニットに割り当てた面を減少させる。この問題を克服するため、装置本体外部に拡張される(例えば、図22bに示すように装置の最大長さの軸方向が好ましい)ように、キーパッドを製造することができる。図22aは例えば、2つの部分14601、14602に分割したキーパッドを用いる本発明の(例えば、組合せ)データ入力システムを含む、音声通信装置及び/又はデータ通信装置14600を示す。装置は電話型キーパッド(例えば、ここでは収納位置にあり、示していない。)を含むこともできる。電話型キーパッドが収納位置にあるとき、又はユーザがテキストのようなデータを本発明のデータ入力システムを通して分割キーパッドを用いて入力するとき、表示ユニット14608は(例えば、好ましくは自動的に)横位置に存在し、スクリーンに印字したテキスト14609をより良く見せることができる。装置はポインティング手段14613及び選択手段14614を含んで、(例えば、本発明のデータ入力システムにより)スクリーン上のコンピュータマウスの機能を再現することもできる。図22bは同一の装置14600(例えば、図22aの装置)を示す。この場合、電話型キーパッドの位置14611は装置本体の外部に拡張している。キーパッドが拡張位置にあるとき、電話型キーパッド14611を通して与えた電話番号14619のような入力を電話型キーパッドが示すのに適するように、装置の表示ユニット14608は(例えば、好ましくは自動的に)方位を(例えば、描写位置に)変更することができる。
音声認識システムに対する代替又は追加として、読唇システムを本発明のデータ入力システムと併用してユーザの音声を認識できることに再度留意しなければならない。例えば、読唇システムは本発明の予測データ入力システムと正確に動作することができる。なぜならば、システムが要求する音声は少なく、離れた文字の音声を要求することがほとんどであるからである。これにより、さらに離散的なデータ入力手順が可能となる。
本明細書に記載した本発明者出願の引用で説明及び示したように、本発明のデータ入力システム(例えば、予測データ入力システムを含む)と併用されるキーパッドは(例えば、様々な使用タイプの)様々なキー構成を有することができ、明らかに、キーパッドのキーは様々な形状を有することができる。やはり前述のように、例えば、キーを2つのグループに分割し、対応する電子装置の面の反対側に置くことができる。例えば、図23のキーパッド14700のキー14701から14708(例えば、及びそれらの機能性)を、図23aに示すようにキー(本例では、14711から14718であり、図23のキー14701から14708にそれぞれ対応するか、又はそれらを再現する)が楕円形(例えば、又は円形)でありうるように、再現/製造することができる。キーを2つのキーグループ147111、147112に分割することができ、対応する電子装置14719の面の反対側に取り付け/統合することができる。互いに関連するそれぞれのグループのキー構成は、(例えば、電子ゲームコンソールの)方向キーパッドのキー構成を再現することができる。本例では、それぞれのグループにおいて、キーのうち2つ(例えば、文字を割り当てたものが好ましい)を列位置に置き、グループの3番目のキーを2つのキーの右側、それらの間に置き、グループの4番目のキーを2つのキーの右側、それらの間に置く。携帯データ入力システムはユーザの移動中にデータ入力を可能とすることが好ましい。携帯装置を保持するには、ユーザの指の幾つかを使用することが必要である。したがって、ユーザの親指をデータ入力に使用できることが理想的である。ここで説明したキー構成により、単語を書く間にユーザの指がキー上を移動する必要がないように、文字キーをユーザの親指の下に置くことができる。ユーザの親指を用いることで、本構成によりテキストの文字を迅速に入力することができる。
オンスクリーンキーパッド/キーボードのような入力手段を本発明のデータ入力システムを通したデータ入力に使用することは、本明細書に記載した本発明者出願の引用で詳述した。また、ユーザの指、フィンガーキャップ、グローブ、スタイラスペン、等のような他の入力手段を使用して、本発明のデータ入力システムと併用される(例えば、図23のキーパッド14700のような、8つのキーといった少数のキーを有する)キーパッドのキー及びキーとの対話を再現することは、本発明者が出願した本明細書に記載した異なる引用で詳述した(例えば、明らかに、入力手段を本発明の予測データ入力システムと併用することもできる)。例えば、図24aに示しかつ前述したように、少なくとも4つ(例えば、4つから8つ)のキーを有する動的キーパッド(例えば、この場合、本出願及び本明細書に記載した本発明者出願の引用で説明した原理に基づいて、キーのうち4つに対して少なくとも言語の文字が分散的に割り当てられる)を、面に対するユーザの指の対話により与えることができる。動的キーパッドのキー及びそれらとの対話を定義するための原理は、本明細書に記載した本発明者出願の引用で(例えば、及び本特許出願内で手短に)詳述した。前述のように、動的キーパッドを本発明のデータ入力システム(例えば、予測データ入力システムを含む)と併用することができる。例えば、前に詳述したように、ポインタ14801(例えば、又はスタイラスペン)のような少なくとも1つのユーザの指を用いたタブレットPCの(例えば、タッチ)スクリーン14800のようなセンシティブ面上の指の対話により、ユーザは図23のキーパッド14700の少なくともキー14701から14704と、キーとの対話(例えば、単一押下動作、二重押下動作、グライド動作、等)を再現することができる。キー(例えば、シフトキー)の押下及び保持、及び(例えば、同時に)別のキーを押下することも与えることができる。例えば、ユーザはスクリーン上の(例えば、ユーザのポインタの指14801に対して左側にある)ユーザの親指14803による押下及び保持動作を与え、例えば、動的キーパッドの所望のキーに対するユーザのポインタの指14801との対応する対話(例えば、単一押下動作、二重押下動作、等)を同時に与えることができる。組合せ対話の各々に対して、本発明の対応する記号グループを割り当てることができる。また、例えば、ユーザはスクリーン上の押下及び保持動作を(例えば、ポインタの指14801に対して右側に位置する)人差し指14802により与えることができ、同時に、例えば動的キーパッドの所望のキー上のポインタの指14801との対応する対話(例えば、単一押下動作、二重押下動作、等)を与えることができる。組合せ対話の各々に対して、本発明の対応する記号グループを割り当てることができる。システムは(例えば、動的キーパッドの押下動作の左側、又は右側に位置する)押下及び保持対話の各々に対して別々に応答することができることに留意しなければならない。ここで示し、説明した予め定義されたキーパッドを再現するユーザの指は例として使用されることに留意しなければならない。明らかに、本発明の原理に基づくと、ユーザは別の指を使用してキーパッド又は他のキーパッドを与えることができる。
(例えば、統合)タッチセンシティブシステム/面を有するフィンガーキャップを着けた指の(例えば、先端部、平坦部、等との)動作による、押下(例えば、タップ)動作(例えば、及び/又はグライド動作)のような対話を与えることからなる入力の手段及び方法を詳述した(例えば、本特許出願で詳述したように、指/フィンガーキャップの先端部での単一又は二重タップ動作はそれぞれ、予め定義されたキーパッドモデルの第1の予め定義されたキーに対する単一又は二重押下動作を再現するか、又はそれらに対応する。また例えば、(例えば、その)指/フィンガーキャップの平坦部での単一又は二重タップ動作はそれぞれ、予め定義されたキーパッドモデルの第2の予め定義されたキーに対する単一又は二重押下動作を再現するか、又はそれらに対応する。対話の手段及び方法により、ユーザが入力の対話を行う電子装置のタッチスクリーンといったタッチセンシティブパネルの使用を排除することができる)。上記入力の手段及び方法においては、それぞれの指が本発明のキーパッドの1つ又は複数の(例えば、好ましくは2つの)キーを再現することができ、それらを本発明のデータ入力システムと併用することができる。明らかに、入力の手段及び方法を本発明のデータ入力(例えば、予測を含む)システムと併用することができる。また、先行特許出願で説明したように、及び図24bの例を考えると、それぞれが本発明のフィンガーキャップを着けた4つの指14811から14814を使用することで、図23のキーパッド14700のような本発明のキーパッドと、キーパッドのキーとの対話(単一押下動作、二重押下動作、グライド動作、等)を再現し、本発明の予測データ入力システムと併用することができる。
例えば、フィンガーキャップ14811の平坦部での予め定義された押下動作(例えば、単一、又は二重、又は長時間、等の押下動作)のような対話を与えることは、キーパッド14700のキー14701と対話すること(例えば、キー14701との対話を与えること)に対応することができる。また例えば、フィンガーキャップ14811の先端部での予め定義された押下動作のような対話を与えることは、キーパッド14700のキー14703と対話すること(例えば、キー14703との対話を与えること)に対応することができる。また例えば、フィンガーキャップ14812の平坦部での予め定義された押下動作のような対話を与えることは、キーパッド14700のキー14702と対話すること(例えば、キー14702との対話を与えること)に対応することができる。また例えば、フィンガーキャップ14812の先端部での予め定義された押下動作のような対話を与えることは、キーパッド14700のキー14704と対話すること(例えば、キー14704との対話を与えること)に対応することができる。
また例えば、フィンガーキャップ14813の平坦部での予め定義された押下動作のような対話を与えることは、キーパッド14700のキー14705と対話すること(例えば、キー14705との対話を与えること)に対応することができる。また例えば、フィンガーキャップ14813の先端部での予め定義された押下動作のような対話を与えることは、キーパッド14700のキー14707と対話すること(例えば、キー14707との対話を与えること)に対応することができる。また例えば、フィンガーキャップ14814の平坦部での予め定義された押下動作のような対話を与えることは、キーパッド14700のキー14706と対話すること(例えば、キー14706との対話を与えること)に対応することができる。最後に、フィンガーキャップ14814の先端部での予め定義された押下動作のような対話を与えることは、キーパッド14700のキー14708と対話すること(例えば、キー14708との対話を与えること)に対応することができる。
キー(例えば、シフト/修飾キー)を押下及び保持すること、及び(例えば、同時に)別のキーを押下することを再現することができる。例えば、ユーザはユーザの指14813(例えば、明らかにフィンガーキャップ)の平坦部で面を押下及び保持する動作を与えることができ、例えば発話なしでフィンガーキャップ14811の先端部で所望の押下動作を与えて、(例えば、図23のキーパッド14700を用いるときに、文字の入力に必要な対話を再現するために)文字「/」を与えることができる。
センシティブ面に接触する別の部分の各々に対して別の入力信号を与え(例えば、この場合、システムは面の接触面積の大きさに基づいてその部分を認識する)、少数のキーを有しかつ本発明のデータ入力システムと併用される本発明のキーパッドのキーを再現するための、タッチセンシティブ面上でユーザの指(例えば、先端、平坦部)の別の部分と対話することに基づく対話手段は、本明細書に記載した本発明者出願の引用で詳述した。対話方法を本発明の予測データ入力システムと併用することができる。対話のシステムにより、前述の実施形態におけるフィンガーキャップの必要性を排除することができる。例えば、ユーザの指の各々は(例えば、タッチセンシティブ面と対話する先端部及び平坦部を用いることで)、システムの対応するキーパッドモデルの2つのキーを再現することができる。ユーザが(例えば、本実施形態の原理を用いることで)テキストをタイプするとき、センシティブ面への他ユーザの(例えば、異なる垂直ゾーンへの)指の衝撃位置に関連するユーザの指の接触衝撃位置に基づいて(例えば、一連のデータ入力中に、様々なユーザの指の任意部分による面のタイピング/タップ動作が一般に面の同一又は異なる垂直ゾーン内部で与えられることを考慮することで)、システムは指を認識することができ、対話を与えた指の部分(例えば、先端又は平坦部)を考慮することで、システムは対話を本発明の予め定義されたキーパッドの対応キーに関連付けることができる。
前述のように手書き認識システムを使用して単語の1つ又は複数の正確な(例えば、曖昧でない)文字を入力することができる。この場合、単語の少なくとも1つの他の文字を(例えば、数個の文字を割り当てたキーを押下/グライドすることで)曖昧に入力し、予測データ入力システムの認識を高める。上記の例(例えば、図20から図24bで示し、説明したもの)では、ハード又はソフトキーを用いるとき、又は指、フィンガーキャップ、グローブ、等を用いるとき、キー対話を再現するため、キー対話に対応するタップ/グライド動作に加えて、ユーザは文字のようなキャラクタをタッチスクリーンのような対応するセンシティブ面に書くことができる。1つの方法によると、システムを、手書き動作とタップ/グライド動作(例えば、キーパッドとの対話/再現‐対話)を区別できるように設計することができる。別の方法によると、タップ動作はキー対話に対応することができ、グライド動作は手書きに対応することができる。別方法によると、システムのキーパッドの(例えば、ソフト)キーのタップ/グライド動作はキー対話に対応することができ、キーパッドのセンシティブ面/タッチスクリーン(例えば、キーパッドのゾーン上又は外部ゾーン)への書込み(例えばタップ、グライド)は手書き入力に対応することができる(例えば、図20から20aのメディアプレイヤーの例では、ゾーン14407を手書き入力に使用することができる)。
与えた例は実証のために過ぎないことは理解されよう。他の指、フィンガーキャップを有する他の指、異なる数の指又はフィンガーキャップ、スタイラスペン、グローブ、等を本発明の組合せ(例えば、予測を含む)データ入力システムと併用することができる。
異なる実施形態において電話型キーパッド又は、キーの4つに言語の少なくとも実質的にすべての文字が割り当てられる少なくとも4つのキーを有するキーパッドのような異なるキーパッドを使用して本発明の様々な実施形態の原理を実証したが、明らかに、キーパッドの少なくとも幾つかのキーが曖昧である任意数のキー、ハード又はソフトキーのような任意の種類のキー、キーパッドのキーに対する任意の予め定義された種類の対話に割り当てた記号の任意の構成、等を有する任意の他種のキーパッドを、本発明の組合せデータ入力システムの実施形態と併用できることに留意しなければならない。
本発明の組合せデータ入力システムを説明する多くのパラグラフにおいて「キー」を用いて実施形態を説明したが、予め定義された種類の対話により用いられ、様々な予め定義された入力信号を与える他の入力手段を考慮して、本発明の実施形態におけるキー及びキー対話の再現/置換を置き換えることができる。例えば、指又はフィンガーキャップの対話のようなユーザの対話、及び本明細書及び本明細書に記載した本発明者出願の引用で説明したようなキーとキー対話を再現する対応する対話を、実施形態で使用することができる。
いくつかのパラグラフでは、用語「押下」はキーとの対話の種類の例であり、対話はキーに対する接触/グライド/ポインティング、等のような任意の他の種類の対話でもよいことに留意されたい。
多くのパラグラフではキーパッド(例えば、又は少数のキー)を使用して本発明の組合せデータ入力システムの実施形態を実証したが、キーパッドは幾つかの曖昧なキーを有することが理解されることに留意しなければならない(例えば、曖昧なキーは前述した)。
本発明のデータ入力システムの原理を頻繁に繰り返さないため、本出願の多くのパラグラフでは、文字/単語/単語の一部分/関数、等のような1つ又は複数の記号をキー(例えば、又はキー以外の入力オブジェクト)に割り当てることができることを述べている。特に述べない限り、記号は一般にキーとの予め定義された最も簡単な対話に割り当てるよう意図され、その対話は(本発明の多くの実施形態で説明したように)キーの単一押下動作でありうることは理解されよう。
本発明の様々な実施形態において(例えば、マイクを有する)音声認識システムがユーザの音声を知覚及び認識するよう使用されると述べたかもしれないが、(例えば、カメラを有する)読唇システムを音声認識システムに対する代替又は追加として使用し、ユーザの音声を知覚及び認識することができる(又は、逆も真である)。
また、前述のように、本発明のデータ入力システムの方法の一部又は全部は、テキスト入力認識システムの言語学的規則を使用することができる。その規則には例えば、一致する可能性がある単語の音節数、認識可能な文の単語数、単語のフレーズ内の位置、等がある。これらの事は当業界の技術者により公知である。
幾つかのパラグラフにおいて用語「部分毎」を、用語「少なくとも単語の一部分」(例えば、「少なくとも単語の一部分によって」)を簡略化するために用いたことに留意しなければならない。
簡略化の理由で、多くのパラグラフでは本発明のデータ入力システムを「本発明のデータ入力システム」、「本発明の押下/グライドデータ入力システム」、「本発明の押下/グライド及び発話データ入力システム」、等のようなフレーズで述べたが、多くのパラグラフで詳述したように、上記フレーズはユーザの音声情報と組み合わせた押下/グライド動作を考慮する本発明のデータ入力システムの原理を指し、この場合、音声情報は対応する音声の存在下又はユーザの音声が存在しない状態でのものであること(例えば、単語の入力中に単語の少なくとも1つの正確な文字をシステムを通して入力するとき、システムを一般に本発明の組合せデータ入力システムと併用すること、及び単語の入力に与えた少なくとも1つのキー押下が曖昧であること)に留意されたい。これらの事は既に詳述した。また、多くのパラグラフにおいて、本発明の押下/グライド及び発話データ入力システムと本発明の1つのような単語予測データ入力システムとを組み合わせた本発明のデータ入力システムを、本発明の「組合せデータ入力システム」といったフレーズで述べた。
本発明のデータ入力システムの多くの実施形態においてタッチセンシティブパッド又はタッチスクリーンのようなセンシティブ面を例として用いたが、任意の面とのユーザの対話を検知及び分析する任意の他の技術を使用してソフト(例えば、動的)キーパッドのゾーン/キーを定義及び/又は使用可能であることが理解されることに留意されたい。例えば、上述のように、技術は光学的検知技術、又は(例えば、キーパッドの4つのキー/ゾーンに対して言語の少なくとも実質的にすべての文字が割り当てられるような、少数のキー/ゾーンを有する)仮想キーパッドを(通常の)面上に与え、ユーザの指がキーパッドのキー/ゾーンに接触することを検知するIR技術であることができる。
また、1つの方法によると、ユーザが本発明の組合せデータ入力システムの予測システムを用いて単語を入力する間、システムはユーザが与えた入力情報に対応する最も可能性のある単語をその時点(例えば、単語末尾信号を与える前)まで印字できることに留意しなければならない。表示した単語は、ユーザが単語に対応する追加のキーを押下する度に変更できることは理解されよう。
例えば、明らかに、本発明の実施形態の原理の全部又は一部及び本発明者の他の発明及び/又はそれらの機能を独立に使用するか、又は互いに組み合わせることができる。例えば、テキストの少なくとも1つの単語/少なくとも単語の一部分を、本発明のデータ入力システムの異なる方法又は実施形態を組み合わせることで入力することができる。例えば、本明細書に記載した本発明者出願の引用で説明したセンシティブ面のタップ/グライド動作(例えば、ユーザの指、ペン、グローブ、等により与えたタップ及び/又はグライド動作。本動作は、例えば、キーパッドの少なくとも4つのキーとの対話のような少数のキーとの対話を再現する。この場合、本明細書に記載した本発明者出願の引用で説明したキーのうち4つのキーのような少数の予め定義されたキーに少なくとも言語の文字が割り当てられる。本発明のデータ入力システムのグローブも、本明細書に記載した本発明者出願の引用で説明したキーを再現する、等)を、本発明の予測データ入力システムと併用することができる。
多くの例では、単語の入力に与えた入力情報をキー押下に基づくものとして述べたが、望むならば/可能ならば、(例えば、更なる正確性のため)キー押下に加えて、ユーザはキー押下の少なくとも幾つかに対応する音声も与えうることが理解されることに留意しなければならない。
本発明のデータ入力システムの方法を説明する多くのパラグラフにおいて、ユーザが与えた入力情報は単語の文字に対応しうるとして説明したが、明らかに、システムのアーキテクチャに依存して、一部の場合では入力情報は対応する単語の文字列に対応しうる(例えば、本発明の単語の一部分データ入力システムを参照)ことに留意しなければならない。明らかに、前に詳述したように、本発明の単語の一部分入力システムと組み合わせた本発明の文字データ入力システムを、本発明の(例えば、単語)予測データ入力システムと併用することができる。例えば、単語「action」を入力するため、ユーザは最初に文字「a」及び「c」に対応するキーを押下し、次いで「tion」を表すよう予め定義したキーのグライド動作を与え、その部分を発話する(例えば、「shen」と言う)ことができる。ユーザが与えた入力情報に基づいて、本発明の予測データ入力システムは例えば、先頭文字が2つのキー押下に対応し、かつ残りの文字が文字列「tion」である単語を探すことができる。システムは単語「action」を考えることができ、その使用頻度に依存して、システムは単語をユーザに提示することができる。上の例では、ユーザは文字「a」又は「c」のうち任意の文字を、その文字を(例えば、対応するキーの押下中に)発話することで正確に入力し、システム/ユーザは例えば高速/より正確に所望の単語を与えることを支援することもできる。本発明の予測データ入力システムと組み合わせた本発明の文字及び単語の一部分データ入力システムを使用することは前に詳述した。前述のように、上記システムはオンスクリーンフルキーボード又は手書き入力/認識システムのような少なくとも1つの他のデータ入力システムを含むか、又はそれらとともに動作して、単語の少なくとも一部に対応しうる文字を正確に入力することもできる。本パラグラフで説明したような本発明の他のデータ入力方法を通して与えた単語に対応する正確な文字及び追加入力情報を、本発明の予測データ入力システムにより考慮して所望の単語を与えることができる。
また例えば、本発明の組合せデータ入力システムを、示したような拡張可能コンピュータと(例えば、本発明の分割キーパッドを用いることにより)併用/対話することができる(例えば、記載した国際出願PCT/US04/12082号明細書における図70aから図70h及び対応する説明を参照)。
システムのアーキテクチャに依存して、言語の単語の一部分を言語の単語辞書データベースに含めるか、又は言語の単語の一部分が別々のデータベースを構成して本発明の組合せ(例えば、予測を含む)データ入力システムと併用することができるかのいずれかであることに再度留意しなければならない。
文字に対応する音声情報は一般的に文字を発話することであることに留意しなければならない。
単語の少なくとも1つの文字に対応するキー押下は一般的に、(逐次的に)文字に対応するキー押下列を与えることを意味することにも留意しなければならない。
上で詳述したように、キーとの予め定義された対話は別のキーの押下及び保持動作を与えること、及びキーの押下動作を与えることも指すことに留意しなければならない。
本発明の方法/特徴を説明する多くのパラグラフにおいてキー押下を単語の入力に対して述べたが、明らかに前記方法/特徴は、前記キー押下情報に加えて対応する音声のような他の入力情報をユーザが与えうることを考慮できることに留意しなければならない。
このように、本発明の基本的な新規特徴を本発明の代替実施形態に適用されるように図示及び説明及び指摘したが、本発明の精神から逸脱することなく、開示した本発明の形態及び詳細において様々な省略及び置換及び修正を当業界の技術者により加えうることは理解されるであろう。したがって、添付請求項の範囲で示すようにのみ限定するよう意図している。図面は必ずしも拡大して描かれておらず、実際は単に概念的であることは理解されるべきである。