JP2015536000A - 手書き入力の進捗状況の表示 - Google Patents

手書き入力の進捗状況の表示 Download PDF

Info

Publication number
JP2015536000A
JP2015536000A JP2015534576A JP2015534576A JP2015536000A JP 2015536000 A JP2015536000 A JP 2015536000A JP 2015534576 A JP2015534576 A JP 2015534576A JP 2015534576 A JP2015534576 A JP 2015534576A JP 2015536000 A JP2015536000 A JP 2015536000A
Authority
JP
Japan
Prior art keywords
handwritten
display
text
user device
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015534576A
Other languages
English (en)
Other versions
JP6324969B2 (ja
Inventor
フランツ・ジョセフ・オック
トーマス・デセラーズ
ダニエル・マーティン・キーサーズ
ヘンリー・アラン・ローリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2015536000A publication Critical patent/JP2015536000A/ja
Application granted granted Critical
Publication of JP6324969B2 publication Critical patent/JP6324969B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/127Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/226Character recognition characterised by the type of writing of cursive writing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

コンピュータによって実施される方法は、ユーザデバイスにおいて、認識エンジンを使用して認識しようとする手書きテキストに対応するユーザ入力を受信するステップと、ユーザデバイスにおいて、手書きテキストの画像を受信するステップとを有する。画像は、個々の手書き文字に分解された手書きテキストを含む。方法は、手書き文字列を第1の指示子を使用してユーザデバイスのディスプレイに表示するステップと、ユーザデバイスにおいて、手書き文字列のうちの1つの手書き文字として認識されたテキスト文字の識別情報を受信するステップと、テキスト文字をディスプレイに表示するステップと、受信した識別情報に応答して、手書き文字列のうちの1つの手書き文字の表示を、第1指示子を使用する表示から第2指示子を使用する表示に変更するステップとをさらに有する。第1指示子と第2指示子とは互いに異なる。

Description

この出願は、2012年9月26日付けで出願された米国特許出願第13/626963号の優先権を主張するものである。上記米国出願のすべての開示内容が本明細書に援用される。
本開示は、ユーザデバイスに関し、詳細には、ユーザデバイスに入力される手書きテキストの認識に関する。
ここで提供される背景技術の記載は、開示の背景を広く提供することを目的とする。発明者として挙げられている者の研究は、この背景技術のセクションに記載される限り、かつ出願時に従来技術とみなされ得ない記載の態様に限り、本開示に対する従来技術として明示的にも黙示的にも認識されない。
一般に、「ユーザデバイス(user device)」は、ユーザインタフェースと、ディスプレイと、プロセッサとを備えたコンピューティングデバイスを指す。例えば、ユーザデバイスは、デスクトップコンピュータであってよい。また、ユーザデバイスは、携帯電話器、タブレットコンピュータなどのモバイルユーザデバイスであってもよい。ユーザデバイスは、インターネット及び/又は携帯電話ネットワークなどのネットワークに選択的に接続し得る。ユーザは、キーボードなどのユーザインタフェース(又は「キャラクタレイアウト(character layout)」)を介して、ユーザデバイスに情報、例えば、テキストを入力し得る。
しかしながら、サイズ的な制約により、多くのユーザデバイス、例えば、モバイルユーザデバイスは、部分的なQWERTY配列ベースの物理的キーボードを有し得る。さらに又はあるいは、ユーザデバイスは、ユーザへの情報の表示と、ユーザからの入力の受信との両方を行うタッチディスプレイ、例えば、静電容量方式の感知ディスプレイを有し得る。例えば、これらのユーザデバイスは、部分的なQWERTY配列ベースのキーボードと同様のキャラクタレイアウトをユーザに対して表示し得る。
一態様において、コンピュータによって実施される第1の方法は、ユーザデバイスにおいて、認識しようとする手書きテキストに対応するユーザ入力を受信するステップと、手書きテキストの認識のために、手書きテキストの画像をユーザデバイスからサーバに転送するステップと、ユーザデバイスにおいて、手書き文字列の指示情報をサーバから受信するステップとを有する。手書き文字列は、手書きテキストの画像に基づいてサーバによって決定される。方法は、手書き文字列を第1の色を使用してユーザデバイスのディスプレイに表示するステップと、テキスト文字の指示情報を別個の時間にサーバから受信するステップとをさらに有する。テキスト文字は、手書き文字列に基づいてサーバによってそれぞれ決定される。方法は、指示情報がそれぞれ受信されると、テキスト文字をディスプレイに表示するステップと、テキスト文字の指示情報をそれぞれ受信したことに応答して、ディスプレイ上の手書き文字列の色を第1の色から第2の色に変更するステップと、テキスト文字がすべて表示された後にだけ、ディスプレイ上から手書き文字列の表示を除去するステップとをさらに有する。第1の色と第2の色とは互いに異なる。
一態様において、コンピュータによって実施される第2の方法は、ユーザデバイスにおいて、認識エンジンを使用して認識しようとする手書きテキストに対応するユーザ入力を受信するステップと、ユーザデバイスにおいて、手書きテキストの画像を受信するステップとを有する。画像は、個々の手書き文字に分解された手書きテキストを含む。第2の方法は、手書き文字列を第1指示子を使用してユーザデバイスのディスプレイに表示するステップと、ユーザデバイスにおいて、手書き文字列のうちの1つの手書き文字として認識されたテキスト文字の識別情報を受信するステップと、テキスト文字をディスプレイに表示するステップと、ユーザデバイスにおいて、受信した識別情報に応答して、手書き文字列のうちの1つの手書き文字の表示を第1指示子を使用する表示から第2指示子を使用する表示に変更するステップとをさらに有する。第1識別子と第2識別子とは互いに異なる。
別の態様において、第1指示子は第1の色であり、かつ第2指示子は第2の色である。
さらに別の態様において、第2の方法は、ユーザデバイスにおいて、手書き文字列のうちの第2の手書き文字として認識された第2のテキスト文字の第2の識別情報を受信するステップと、ユーザデバイスにおいて、受信した第2の識別情報に応答して、手書き文字列のうちの第2の手書き文字の表示を第1指示子を使用する表示から第2指示子を使用する表示に変更するステップとをさらに有する。
さらなる態様において、第2の方法は、ユーザデバイスにおいて、テキスト文字及び第2のテキスト文字に基づいて、手書きテキストに対する候補語幹を決定するステップと、候補語幹をディスプレイに表示するステップとをさらに有する。
よりさらなる態様において、第2の方法は、ユーザデバイスにおいて、候補語幹の選択を示すユーザ入力を受信するステップと、ユーザデバイスにおいて、候補語幹に基づいて、手書きテキストに対する候補語を決定するステップと、候補語幹の選択を示すユーザ入力を受信したことに応答して、候補語をディスプレイに表示するステップとをさらに有する。
別の態様において、第2の方法は、認識済みの手書きテキストの量を示すプログレスバーをディスプレイに表示するステップをさらに有する。
さらに別の態様において、第2の方法は、量に対応するパーセンテージをディスプレイに表示するステップをさらに有する。
さらなる態様において、第2の方法は、手書き文字列に対して認識されたテキスト文字がすべて表示された後にだけ、手書き文字列のうちの少なくとも1つの手書き文字の表示をディスプレイ上から除去するステップをさらに有する。
よりさらなる態様において、ディスプレイはタッチディスプレイであり、かつユーザ入力はタッチディスプレイを介して受信される。
別の態様において、第2の方法は、ユーザデバイスにおいて、認識エンジンを使用して認識しようとする追加的な手書きテキストに対応する第2のユーザ入力を受信するステップと、第2のユーザ入力に応答して、表示された手書き文字列のサイズを変更するステップとをさらに有する。
一態様において、ユーザデバイスは、ディスプレイと、プロセッサと、ユーザインタフェースモジュールとを具備する。ユーザインタフェースモジュールは、認識エンジンを使用して認識しようとする手書きテキストに対応するユーザ入力を受信する手順と、手書きテキストの画像を受信する手順とを実行する。画像は、個々の手書き文字に分解された手書きテキストを含む。ユーザインタフェースモジュールは、手書き文字列を第1指示子を使用してディスプレイに表示する手順と、手書き文字列のうちの1つの手書き文字として認識されたテキスト文字の識別情報を受信する手順と、テキスト文字をディスプレイに表示する手順と、受信した識別情報に応答して、手書き文字列のうちの1つの手書き文字の表示を第1指示子を使用する表示から第2指示子を使用する表示に変更する手順とをさらに実行する。第1識別子と第2識別子とは互いに異なる。
別の態様において、第1指示子は第1の色であり、かつ第2指示子は第2の色である。
さらに別の態様において、ユーザインタフェースモジュールは、手書き文字列のうちの第2の手書き文字として認識された第2のテキスト文字の第2の識別情報を受信する手順と、受信した第2の識別情報に応答して、手書き文字列のうちの第2の手書き文字の表示を第1指示子を使用する表示から第2指示子を使用する表示に変更する手順とをさらに実行する。
さらなる態様において、ユーザインタフェースモジュールは、テキスト文字及び第2のテキスト文字に基づいて、手書きテキストに対する候補語幹を決定する手順と、候補語幹をディスプレイに表示する手順とをさらに実行する。
よりさらなる態様において、ユーザインタフェースモジュールは、候補語幹の選択を示すユーザ入力を受信する手順と、候補語幹に基づいて、手書きテキストに対する候補語を決定する手順と、候補語幹の選択を示すユーザ入力を受信したことに応答して、候補語をディスプレイに表示する手順とをさらに実行する。
別の態様において、ユーザインタフェースモジュールは、認識済みの手書きテキストの量を示すプログレスバーをディスプレイに表示する手順をさらに実行する。
さらに別の態様において、ユーザインタフェースモジュールは、量に対応するパーセンテージをディスプレイに表示する手順をさらに実行する。
さらなる態様において、ユーザインタフェースモジュールは、手書き文字列に対して認識されたテキスト文字がすべて表示された後にだけ、手書き文字列のうちの少なくとも1つの手書き文字の表示をディスプレイ上から除去する手順をさらに実行する。
よりさらなる態様において、ディスプレイはタッチディスプレイであり、かつユーザ入力はタッチディスプレイを介して受信される。
別の態様において、ユーザインタフェースモジュールは、認識エンジンを使用して認識しようとする追加的な手書きテキストに対応する第2のユーザ入力を受信する手順と、第2のユーザ入力に応答して、表示された手書き文字列のサイズを変更する手順とをさらに実行する。
追加的な態様において、コンピューティングデバイスが開示される。コンピューティングデバイスは、非一時的なコンピュータ読み取り可能な記録媒体と、少なくとも1つのプロセッサとを含んでよい。非一時的なコンピュータ読み取り可能な記録媒体は、先に記載したコンピュータによって実施される方法、詳細には、手書き入力認識方法そのもののいずれか又はすべてを実行するための実行可能なコンピュータプログラムコードを含んでよく、かつ少なくとも1つのプロセッサは、実行可能なコンピュータプログラムコードを実行するように構成されてよい。
さらなる態様において、実行可能なコンピュータプログラム命令を記録した非一時的なコンピュータ読み取り可能な記録媒体が開示される。コンピュータプログラム命令は、先に記載したコンピュータによって実施される方法のいずれか又はすべてを実行するための命令を含んでよい。
本開示の適応可能なさらなる範囲は、以下に提供される詳細な説明から明らかとなろう。詳細な説明及び特定の例は、例示のみを目的としたものであって、開示の範囲を限定することを意図しないことに留意されたい。
本開示については、詳細な説明及び添付の図面からより完全な理解が得られよう。
本開示のいくつかの実施形態による、ユーザが例示的なユーザデバイスと対話する例を示す図である。 図1の例示的なユーザデバイスの機能的な構成図である。 図1のユーザデバイスのユーザインタフェースモジュールの例の機能的な構成図である。 本開示のいくつかの実施形態による、手書きテキストの認識の間のさまざまなタイミングのユーザディスプレイの例を示す図である。 本開示のいくつかの実施形態による、手書きテキストの認識の間のさまざまなタイミングのユーザディスプレイの例を示す図である。 本開示のいくつかの実施形態による、手書きテキストの認識の間のさまざまなタイミングのユーザディスプレイの例を示す図である。 本開示のいくつかの実施形態による、手書きテキストの認識の間のさまざまなタイミングのユーザディスプレイの例を示す図である。 本開示のいくつかの実施形態による、手書きテキストの認識の間のさまざまなタイミングのユーザディスプレイの例を示す図である。 本開示のいくつかの実施形態による、図1の例示的なユーザデバイス及び例示的なサーバの機能的な構成図である。 本開示のいくつかの実施形態による、ユーザデバイスにおいて手書き入力の認識を実行する例示的な手法を示すフロー図である。 本開示のいくつかの実施形態による、手書き入力の認識を実行するためにユーザデバイスによって実行され得る例示的な手法を示すフロー図である。 本開示のいくつかの実施形態による、手書き入力の認識を実行する例示的な手法を示すフロー図である。
図1を参照すると、ユーザが例示的なユーザデバイス100と対話する例が示されている。ユーザデバイス100は、(図示されたように)携帯電話器、タブレットコンピュータ、ラップトップコンピュータ、又はデスクトップコンピュータなどの任意のコンピューティングデバイスであってよい。
ユーザデバイス100は、ディスプレイ104を備える。例えば、ディスプレイ104は、図示されたようにタッチディスプレイであってよい。さらに又はあるいは、ユーザデバイス100は、部分的なQWERTY配列ベースのキーボード(図示せず)などの物理的キャラクタレイアウトを備えてもよい。
タッチディスプレイ104は、情報を表示するとともに、ユーザ108からの入力を受信し得る。一例として、ユーザ108は、指112などの1本又は複数本の指を用いて、タッチディスプレイ104を介してユーザデバイス100に情報を入力し得る。さらに又はあるいは、ユーザ108は、スタイラス、マウス、トラックボール等を使用して、タッチディスプレイ104を介してユーザデバイス100に情報を入力してもよい。
ユーザデバイスは、広い分野で利用可能であり、したがって、世界中のさまざまな国で使用され得る。ユーザデバイスは、さまざまな機能を実行する。また、ユーザデバイスは、サーバとの接続を介するなどして、さまざまな機能の遠隔的な実行を容易にし得る。ユーザデバイス100によって実行され得る又は遠隔的に実行され得る機能の一例としては、ユーザデバイス100に入力される手書きテキストの認識がある。
ユーザは、指112などの1本又は複数本の指を使用して、認識のためにユーザデバイス100に手書き入力を行える。さらに又はあるいは、ユーザ108は、スタイラス、マウス、トラックボール、ペン等を使用して、タッチディスプレイ104を介して、認識のためにユーザデバイス100に手書き入力を提供してもよい。
一般に、手書き入力は、1つ又は複数のストローク、例えば、単一点又は連続する線を含み、それらは、個々に又は集合的に、ライティングシステムにおける1つ以上の文字(キャラクタ)を表す。「ストローク(stroke)」は、文字の一部分、1つ以上の完全な文字、語(ワード)若しくは語の一部分、複数の語からなる句(フレーズ)、又は完成された文(センテンス)を形成できる。認識エンジンは、手書き入力を個々の手書き文字に分解する。認識エンジンは、手書き文字に基づいて、テキスト文字をそれぞれ決定する。決定されたテキスト文字列は、ユーザに対して表示される。明細書中では、一度に単一の文字を認識するように説明されているが、本開示物は、一度に、1つの文字に満たないもの(文字の一部分)又は複数の単一文字を認識するように等しく適用可能であることに留意されたい。したがって、明細書中で、「文字(character)」を決定するための手書き入力の認識について説明するとき、用語「文字」は、単一の文字、(語、複数の語、句、文等を含む)複数の文字、及び1つの文字の一部分を包含することを意図していることに留意されたい。
手書き入力の認識は、ローカルで、クラウド上で(ネットワークを介してユーザデバイス100に接続されたサーバで)、又はそれらの組合せによって実行できる。「サーバ(sever)」で実行されるものとして明細書中に記載される手法は、分散配置された2つ以上のサーバ又は並列サーバ配列で実行できることに留意されたい。したがって、明細書中で使用される用語「サーバ」は、単一のサーバ及び連携して動作する複数のサーバを包含することを意味していることに留意されたい。
ユーザデバイス100は、タッチディスプレイ104に2つの表示部、すなわち、テキスト表示部と、手書き入力表示部とを生成する。手書き入力表示部において、ユーザデバイス100は、現在のところ認識を行っている手書き入力と、まだ認識されていない任意の追加的な手書き入力とを表示する。テキスト表示部において、ユーザデバイス100は、手書き語に対応するテキスト及び/又は以前に認識済みの手書き文字を表示する。
手書き入力の認識が実行されていることを意識しているときには特に、ユーザ108は、認識プロセスの進捗状況(プログレス)に興味を持ち得る。したがって、ユーザデバイス100は、手書き入力の認識の進捗状況の1つ以上の視覚的指示子(インジケータ)を生成する。手書き入力の認識の進捗状況をユーザ108に通知するために、1つ以上の手法が利用されてよい。
1つの例示的な手法は、認識の進捗状況を示すために、パーセンテージ付き又は無しのプログレスバーを表示することを含む。別の例示的な手法は、手書き文字が認識されると、手書き入力の手書き文字として決定された文字を1つずつ表示することを含む。さらに別の例示的な手法は、既に認識済みの手書き入力の手書き文字をある色で表示し、まだ認識されていない手書き入力の手書き文字を別の色で表示することを含む。
手書き入力の認識が行われている間に、手書き入力によって示された手書き語の候補語幹(stem)と、1つ以上の候補語幹に対する候補完全語(whole word)とを認識できる。ユーザデバイス100は、候補語幹をユーザ108に対して表示してよい。ユーザデバイス100は、候補語幹に対して1つ以上の候補完全語が認識済みであるとき、候補語幹と共に候補語の指示子を表示してもよい。
ユーザは、候補語指示子と共に表示される候補語幹を選択できる。候補語幹が選択されたとき、ユーザデバイス100は、候補語幹に対して識別された候補語を表示する。ユーザ108は、手書き入力の認識が完了するよりも前に、複数の候補語のうちの1つ又は複数の候補語幹のうちの1つを選択できる。これは、手書き入力のより高速な認識を実現し得る。
手書き入力の認識が行われている間に、ユーザが別の手書き入力を入力し始めると、ユーザデバイス100は、現在のところ認識が行われている第1の手書き入力及びまだ認識されていない(複数の)手書き入力のサイズを変更してよい。また、ユーザデバイス100は、手書き入力の認識が現在行われているとき及び/又は認識しようとする1つ以上の追加的な手書き入力が存在するとき、ユーザ108に対して認識保留中の指示子を表示してもよい。
図2を参照すると、ユーザデバイス100の一例がより詳細に示されている。先に記載の通り、ユーザデバイス100は、タッチディスプレイ104を備える。タッチディスプレイ104は、静電容量式感知ディスプレイなどの任意のタッチ感知ディスプレイデバイスを含んでよい。タッチディスプレイ104は、ユーザ108に情報を表示するとともに、ユーザ108によって入力された情報を受信する。先に記載の通り、さらに又はあるいは、ユーザデバイス100は、ユーザ108からの入力を受信するための物理的キャラクタレイアウト、例えば、部分的なQWERTY配列ベースのキーボードを備えてもよい。さまざまな実施形態において、物理的キャラクタレイアウトは、「ソフトウェアキーボード(soft keyboard)」として、タッチディスプレイ104の一部分にレンダリングされてもよい。
ユーザデバイス100は、ユーザインタフェースモジュール200と、プロセッサ204と、通信モジュール208とをさらに備えてよい。ユーザデバイス100は、メモリ及び電源などの追加的なコンピューティングコンポーネントを備えてもよく、かつユーザインタフェースモジュール200及び通信モジュール208の機能は、プロセッサ204によって全体的又は部分的に実行されてよいことに留意されたい。したがって、明細書中で使用される用語「ユーザインタフェースモジュール200」及び「通信モジュール208」は、記載した手法をユーザデバイス100に実行させる命令を実行する、プロセッサ204などの1つ又は複数のプロセッサを含んでよい。
ユーザインタフェースモジュール200は、ユーザデバイス100のタッチディスプレイ104を介するユーザ108との通信をコントロールできる。ユーザインタフェースモジュール200は、ユーザデバイス100のタッチディスプレイ104を介して、さまざまな入力形態でユーザ108に提供されてよい。例えば、ユーザインタフェースモジュール200は、ユーザデバイス100のタッチディスプレイ104を介して、標準的なQWERTY配列キーボードの形式でユーザ108に提供されてよい。さらに又はあるいは、ユーザインタフェースモジュール200は、認識のために手書き入力を入力するためのインタフェースとしてユーザ108に提供されてもよい。
手書き入力の認識は、ユーザデバイス100においてローカルに実行されるか、遠隔サーバにおいて(「クラウド(cloud)上で」)実行されるか、又はそれらの組み合わせによって実行されてよい。ユーザインタフェースモジュール200は、タッチディスプレイ104を介して、手書き入力に対して認識されたテキストを表示する。また、ユーザインタフェースモジュール200は、タッチディスプレイ104上に、手書き入力の認識の進捗状況の1つ以上の視覚的指示子を表示する。
プロセッサ204は、ユーザデバイス100の多くの動作をコントロールするとともに、ユーザインタフェースモジュール200及び通信モジュール208の両方と通信を行い得る。例えば、プロセッサ204は、これらに限定されないが、ユーザデバイス100のオペレーティングシステムのロード/コントロール、プログラム及び関数のロード/実行、通信モジュール208の通信パラメータのロード/設定、手書き入力認識パラメータのコントロール、及びメモリの格納/取出し動作のコントロールなどのタスクを実行してよい。単一のプロセッサ204が図示されているが、単一のプロセッサの代わりに、並列動作するか又は分散配置されて動作する複数の個々のプロセッサを利用できることに留意されたい。したがって、明細書中で使用される用語「(プロセッサ204などの)プロセッサ(processor)」は、記載した手法を実行するように動作する1つ以上のプロセッサを包含することを意味する。
通信モジュール208は、ユーザデバイス100と他のデバイスらとの間の通信をコントロールする。一例として、通信モジュール208は、ユーザデバイス100とユーザ108及び/又はインターネットに関連した他のユーザらとの間の通信のために提供されてよい。ユーザデバイス100は、インターネット(以下、「ネットワーク250」と称する)、携帯電話(セルラー)ネットワーク254、衛星ネットワーク258、及び/又は他の任意の適切な通信媒体などのコンピューティングネットワーク250を介して通信を行ってよい。通信モジュール208は、有線及び無線の両方のネットワーク接続、無線周波数(RF)通信等のために構成されてもよい。
図3を参照すると、ユーザインタフェースモジュール200の一例の機能的構成図が示されている。ユーザインタフェースモジュール200は、認識エンジン300と、ユーザインタフェース制御モジュール304と、認識データストア308とを含んでよい。明細書中では3つのモジュールと単一のデータストアとが示され、説明されるが、ユーザインタフェースモジュール200は、他のメモリなどの追加的なコンピューティングコンポーネントを含んでもよい。
ユーザインタフェース制御モジュール312は、認識のためにユーザ108がユーザデバイス100に手書き入力を行うために、タッチディスプレイ104上に手書き入力認識インタフェースを表示する。また、ユーザインタフェース制御モジュール312は、手書き入力に基づいて認識されたテキストがユーザ108に対して表示されるように動作する。
タッチディスプレイ104に表示される手書き入力認識インタフェース400の一例が図4に示される。図3及び図4を参照すると、手書き入力認識インタフェース400は、2つの部分、すなわち、手書き入力表示部404と、テキスト表示部408とを含んでよい。また、手書き入力認識インタフェース400は、ユーザ108がスペース、リターン、句読点、記号等を入力可能な、QWERTY配列ベースのキーボード、T9ベースのキーボード、又は他の適切なタイプのインタフェースなどの完全な又は部分的なキーボードを含んでもよい。図4の例では、手書き入力認識インタフェース400は、ユーザ108がスペース、リターン、句読点、記号等を入力可能なインタフェースを備えずに、タッチディスプレイ104に表示されている。
ユーザ108は、タッチディスプレイ104上の任意の場所、又は手書き入力表示部404内などのタッチディスプレイ104のより狭い部分内で、認識のための手書き入力を行い得る。ユーザインタフェースモジュール200は、ユーザ108によって手書き入力が行われると、リアルタイムで、手書き入力の認識の間に、又はその両方によって、手書き入力を表示してよい。リアルタイムは、入力と表示との間に許容可能な量の遅延を含んでよいことに留意されたい。
ユーザ108が手書き入力を提供すると、ユーザインタフェースモジュール200は、手書き入力認識インタフェース400の手書き入力表示部404内に手書き入力を表示してよい。図4の例では、手書き入力「hand」が手書き入力表示部404内に表示される。ユーザ108は、筆記体又は(ブロック体とも称される)活字体を使用して手書き入力を提供できる。英語での手書き入力が説明され、示されているが、明細書に記載される認識及び表示の手法は、他の言語での手書き入力にも適用可能である。
手書き入力に対して認識されたテキストは、手書き入力認識インタフェース400のテキスト表示部408でユーザ108に表示される。図4の例では、手書き入力のどの部分もまだ認識されていないので、テキスト表示部408にテキストは表示されない。
認識エンジン300は、手書き入力を、1つ以上の手書き文字などのさまざまな部分に分解し得る。例えば、認識エンジン300は、手書き入力「hand」を、手書き入力を形成する4つの手書き文字に分解できる。さまざまな言語において、文字は、語に対応してよい。
認識エンジン300は、認識データストア308に格納されたデータを使用して、手書き入力を手書き文字に分解してよい。ユーザインタフェース制御モジュール304は、1つ以上の手書き文字を使用して手書き入力の画像を表示するように、表示される内容を更新してよい。図5は、4つの手書き文字を使用して手書き入力表示部404に表示された手書き入力「hand」の例示的な画像を示す。
認識データストア308に格納されたデータに基づき、認識エンジン300は、手書き入力の手書き文字を1つずつ認識できる。換言すれば、認識エンジン300は、一度に1つの手書き文字について、手書き文字に対するテキスト文字を決定し得る。いくつかの実施形態において、認識エンジン300は、一度に、手書き入力の複数の手書き文字を認識してもよい。認識エンジン300が手書き文字を認識する順序は、英語に対する左から右への認識など、論理的な読み取り順であってよい。
ユーザインタフェース制御モジュール304は、タッチディスプレイ104上の手書き文字の認識の進捗状況の視覚的指示子を生成する。視覚的指示子は、認識の進捗状況をタッチディスプレイ104介してユーザ108に視覚的に表示する1つ以上の機能の組合せを含んでよい。
例えば、ユーザインタフェース制御モジュール304は、タッチディスプレイ104にプログレスバーを表示し、手書き文字が決定されると、プログレスバーを更新してよい。プログレスバーは、完了した認識のパーセンテージについての数値的なパーセンテージ指示子を含んでよく、又は含まなくてもよい。
別の例において、ユーザインタフェース制御モジュール304は、テキスト文字が決定されたとき、テキスト表示部408内にそのテキスト文字を表示する。図5は、手書き入力「hand」のうちの最初の2つの手書き文字から決定されたテキスト文字「h」及び「a」が表示されている例である。テキスト文字が決定されたときにテキスト文字を追加表示することは、ユーザ108に、認識の進捗状況の視覚的指示を提供する。
さらに別の例において、ユーザインタフェース制御モジュール304は、手書き文字が認識されると、手書き入力の少なくとも一部分の色を変更する。この手法において、テキスト文字が決定済みの手書き文字は、第1の色で表示され、かつテキスト文字がまだ決定されていない手書き文字は、第1の色とは異なる第2の色で表示される。また、図5は、4つの手書き文字のうちの最初の2つの手書き文字が第1の色で表示され、一方、4つの手書き文字のうちの後の2つの手書き文字が第1の色とは異なる第2の色で表示されることを図示している。
図6は、4つの手書き文字に基づく決定の後に、テキスト文字「h」、「a」、「n」、及び「d」がそれぞれ表示されることを図示している。また、図6は、4つの手書き文字に対するテキスト文字が決定済みであるので、手書き入力「hand」の4つの手書き文字のすべてが第2の色で表示されることを図示している。手書き入力の手書き文字のすべてが認識され、かつ決定されたテキスト文字が表示された後に、ユーザインタフェース制御モジュール304は、表示されている手書き入力を除去してよい。
手書き入力が認識されると、認識エンジン300は、手書き入力の候補語幹を識別してよい。また、認識エンジン300は、手書き入力が認識された後に、手書き入力の候補語幹を識別してもよい。認識エンジン300は、手書き入力に対して決定されたテキスト文字に基づいて候補語幹を決定してよい。語幹は、語の一部分、句、及び/又は文を指してよい。また、語幹は、接辞(affix)(例えば、接尾辞(suffix))を付けることができるすべての語を指してもよい。
例えば、図5において、手書き入力の最初の2つの手書き文字から文字「h」及び「a」が認識されると、認識エンジン300は、「ha」、「hat」、「Ina」、「Ira」等を含む候補語幹を決定し得る。ユーザインタフェース制御モジュール304は、タッチディスプレイ104に候補語幹を選択的に表示する。ユーザインタフェース制御モジュール304は、候補語幹が表示されるタッチディスプレイ104の領域中でユーザ108がタッチディスプレイ104に触れることに応答して、他の候補語幹を表示してもよい。
認識エンジン300は、候補語幹に対して1つ以上の候補完全語が識別されたとき、候補語幹と共に候補語の指示子を表示してよい。例えば、図5及び図6の例において、1つ以上の候補完全語が識別された候補語幹と共に、候補語指示子「...」が表示される。一例として、候補語幹「ha」に対して「hands」などの1つ以上の完全語が識別されたので、図5の例では、候補語幹「ha」は、候補語指示子「...」と共に表示される。
ユーザ108は、候補語指示子と共に表示される候補語幹を選択できる。ユーザ108は、例えば、候補語幹の周りに定義される範囲で又はその範囲の近辺でタッチディスプレイ104に触れることによって、候補語幹を選択できる。候補語幹が選択されるとき、ユーザインタフェース制御モジュール304は、選択された候補語幹に対して識別される候補完全語を表示する。例えば、ユーザインタフェース制御モジュール304は、図7の例において例示されるように、ユーザ108が候補語幹「han」を選択することに応答して、候補完全語「hand」、「hands」、「handed」、及び「handle」を表示し得る。ユーザインタフェース制御モジュール304は、ポップアップ若しくはドロップダウンメニューで又は他の適切な手法で、候補完全語を表示してよい。
ユーザ108は、手書き語の認識が完了する前に、複数の候補完全語のうちの1つを選択できる。これは、手書き入力のより高速な認識を可能にし得る。さらに、手書き語全体が認識された後であっても1つ以上の候補完全語が識別され得るので、速記手書き入力が使用され得る。例えば、図6の例では、手書き入力「hand」が識別されており、テキスト表示部に表示されている。しかしながら、「hand」は、候補語幹としても識別されており、1つ以上の候補完全語が、候補語幹「hand」に対して識別されている。候補語幹「hand」に基づいて識別され得る候補完全語の例としては、例えば、「hands」、「handed」、「handle」がある。
ユーザ108が最初の手書き入力が認識される前に別の手書き入力の提供を開始した場合、ユーザインタフェース制御モジュール304は、最初の手書き入力を縮小してよい。図8は、手書き入力「hand」の縮小版の一例である。
また、ユーザインタフェース制御モジュール304は、最初の手書き入力の認識が行われているとき及び/又は認識対象となる1つ以上の追加の手書き入力が存在するとき、ディスプレイのテキスト表示部内に認識保留中の指示子を表示してよい。例えば、ユーザインタフェース制御モジュール304は、図5から図7に示されるように、認識保留中指示子として「...」を表示してよく、又は1つ以上の手書き入力の認識が保留中であることを示す他の適切な指示子を表示してもよい。
図9を参照すると、別の例示的な手書き入力認識システムの機能的な構成図が示されている。先に記載の通り、手書き入力の認識は、遠隔サーバ500によって完全に又は部分的に実行されてよい。ユーザインタフェースモジュール200は、タッチディスプレイ104に入力される手書き入力のデジタル画像をキャプチャし得る。通信モジュール208は、デジタル画像を、ネットワーク502を介してサーバ500に転送し得る。ネットワーク502は、例えば、ネットワーク250、セルラーネットワーク254、衛星ネットワーク258、又は他の適切なタイプのネットワークであってよい。サーバ500は、通信モジュール500と、入力決定モジュール508と、認識データストア512と、認識エンジン516とを含んでよい。サーバ500は、1つ以上のプロセッサ、メモリ、電源、及び他の適切なコンピューティングコンポーネントなどの追加的なコンピューティングコンポーネントを含んでよいことに留意されたい。
サーバ500は、通信モジュール504を介してデジタル画像を受信し得る。認識エンジン508は、デジタル画像を手書き文字に分解し得る。認識エンジン508は、例えば、認識データストア512に格納されたデータを使用して、手書き入力を手書き文字に分解してよい。サーバ500は、ユーザデバイス100がユーザ108に対して手書き文字を表示するために、手書き文字の1つ以上の画像をユーザデバイス100に返送してよい。
認識エンジン508は、一度に1つずつ又は2つ以上、手書き文字に対する手書き文字を決定し得る。例えば、認識エンジン508は、認識データストア512に格納されたデータを使用して、手書き文字に対するテキスト文字を決定してよい。サーバ500は、テキスト文字が決定されると、手書き文字に対するテキスト文字の指示子をユーザデバイス100に転送できる。ユーザデバイス100は、指示子に基づいて、テキスト文字を決定し、該テキスト文字を、タッチディスプレイ104を介してユーザ108に対して表示する。
また、ユーザデバイス100は、タッチディスプレイ104を介して、先に記載した複数の視覚的指示子のうちの1つ以上の指示子などの、手書き入力の認識の進捗状況の1つ以上の視覚的指示子を表示する。ユーザデバイス100は、テキスト文字に基づいて候補語幹及び候補完全語を決定し得る。例えば、ユーザデバイス100は、ユーザデバイス100のメモリ内に実装される辞書データストア(図示せず)を使用して、候補語幹及び候補完全語を決定してよい。
図10を参照すると、ユーザデバイス100における、手書き入力の認識及び手書き入力の進捗状況の表示の例示的手法600が示されている。手法600は、ユーザデバイス100がタッチディスプレイ104を介してユーザ108から手書き入力を受信するステップ604から開始され得る。ステップ608において、ユーザデバイス100は、手書き入力を1つ以上の手書き文字に分解する。ユーザデバイス100は、ステップ612において、手書き入力を形成する手書き文字をタッチディスプレイ104に表示してよい。また、ユーザデバイス100は、ステップ612において、手書き入力の認識の進捗状況を示す1つ以上の視覚的指示子を表示してもよい。
ユーザデバイス100は、ステップ616において、1つ以上の手書き文字のうちの最初の1つに対するテキスト文字を決定する。ユーザデバイス100は、例えば、手書き文字列のうちの最初の1つの手書き文字と、手書き文字に基づいてテキスト文字を決定するためのデータとに基づいて、テキスト文字を決定してよい。ステップ620において、ユーザデバイス100は、手書き文字列のうちの最初の1つの手書き文字に対して決定されたテキスト文字を表示し、手書き入力の認識の進捗状況をユーザ108に示すために表示される1つ以上の視覚的指示子を更新する。
ステップ624において、ユーザデバイス100は、1つ以上の手書き文字のうちの第2の手書き文字に対するテキスト文字を決定する。ユーザデバイス100は、例えば、手書き文字列のうちの第2の手書き文字と、手書き文字に基づいてテキスト文字を決定するためのデータとに基づいて、テキスト文字を決定してよい。ステップ628において、ユーザデバイス100は、手書き文字列のうちの第2の手書き文字に対して決定されたテキスト文字を表示し、手書き入力の認識の進捗状況をユーザ108に示すために表示される1つ以上の視覚的指示子を更新する。ユーザデバイス100は、もしあれば、残りの手書き文字に対してテキスト文字を決定し、決定されたテキスト文字を表示し、表示された1つ以上の視覚的指示子を更新する動作を続けてよい。ステップ632において、すべての手書き文字が識別され、かつ決定されたテキスト文字が表示されると、ユーザデバイス100は、手書き文字をタッチディスプレイ104から除去してよい。
図11を参照すると、手書き入力の認識がサーバ500で実行される場合に、ユーザデバイス100によって実行され得る例示的な手法700が示されている。手法は、ユーザデバイス100がタッチディスプレイ104を介してユーザ108から手書き入力を受信するステップ704から開始され得る。ステップ708において、ユーザデバイス100は、手書き入力の画像をキャプチャし得る。ユーザデバイス100は、ステップ712において、手書き入力の認識のために、手書き入力の画像をサーバ500に転送する。ステップ716において、ユーザデバイス100は、サーバ500によって分解された手書き入力の手書き文字の1つ以上の指示子を受信する。また、ユーザデバイス100は、タッチディスプレイ104を介して手書き文字を表示してもよい。
ユーザデバイス100は、ステップ720において、手書き入力の認識の進捗状況の1つ以上の視覚的指示子を表示する。ユーザデバイス100は、ステップ724において、手書き入力の第1の手書き文字に対応するテキスト文字を受信する。ユーザデバイス100は、ステップ728において、第1の手書き文字に対応するテキスト文字を表示し、認識の進捗状況の1つ以上の視覚的指示子を更新する。
ステップ732において、ユーザデバイス100は、手書き入力の第2の手書き文字に対応するテキスト文字を受信する。ユーザデバイス100は、ステップ736において、第2の手書き文字に対応するテキスト文字を表示し、認識の進捗状況の1つ以上の視覚的指示子を更新する。ユーザデバイス100は、もしあれば、サーバ500から残りの手書き文字に対応するテキスト文字を受信し、決定されたテキスト文字を表示し、それらが受信されたときに表示された1つ以上の視覚的指示子を更新する動作を続けてよい。ステップ740において、すべての手書き文字が識別されると、ユーザデバイス100は、手書き入力の認識が完了したことを示す指示子をサーバ500から受信してよい。ユーザデバイス100は、ステップ744において、手書き文字をタッチディスプレイ104から手除去してよい。
図12を参照すると、サーバ500によって実行され得る例示的な手法800が示されている。手法は、サーバ500がユーザデバイス100などのユーザデバイスから手書き入力の画像を受信するステップ804から開始され得る。サーバ500は、ステップ808において、画像を1つ以上の手書き文字に分解する。サーバ500は、ステップ812において、ユーザデバイスに手書き文字の1つ以上の指示子を転送する。
ステップ816において、サーバ500は、1つ以上の手書き文字のうちの最初の1つの手書き文字に対応するテキスト文字を決定する。サーバ500は、ステップ820において、最初の1つの手書き文字に対応するテキスト文字の指示子を転送する。ステップ824において、サーバ500は、1つ以上の手書き文字のうちの第2の手書き文字に対応するテキスト文字を決定し得る。サーバ500は、ステップ828において、第2の手書き文字に対応するテキスト文字の指示子を転送する。サーバ500は、もしあれば、残りの手書き文字に対応するテキスト文字を決定し、それらが決定されると、テキスト文字の指示子を転送する動作を続けてよい。手書き文字列の各々に対してテキスト文字が決定されると、サーバ500は、ステップ836において、ユーザデバイスに認識完了指示子を転送してよい。
この開示を完全なものとし、当業者らにその範囲が十分に伝わるよう、例示的な実施形態が提供された。本開示の実施形態の完全な理解を提供するために、特定のコンポーネント、デバイス、及び手法の例などの多くの特定の詳細が説明された。しかしながら、特定の詳細を採用しなくてもよいこと、例示的な実施形態がさまざまな形態で実装されてよいこと、及び開示の範囲を限定すると見なされてはならないことが当業者には明らかであろう。いくつかの例示的な実施形態において、既知の手順、既知のデバイス構成、及び既知の技術は、その詳細を記載していない。
明細書中で使用された用語は、例示的な実施形態を詳細に説明することだけを目的とするものであって、限定することを意図しない。明細書中で使用された単数形「1つの(a, an, the)」は、文脈中で明確に指定されない限り、複数形も包含することを意図している。用語「及び/又は(and/or)」は、列挙した関連する要素のうちの1つ以上の任意の又はすべての組合せを含む。用語「含む、備える、有する(comprise, comprising, including, having)」は、包括的に用いられ、したがって、記載した特徴、数量、ステップ、動作、要素、及び/又は構成要素の存在を明らかにするとともに、1つ以上の他の特徴の存在又は追加を排除しない。明細書中に記載された技術的なステップ、プロセス、及び動作は、実行の順序が特に規定されていない限り、それらが説明又は例示された特定の順序で実行される必要があると解釈してはならない。また、追加的な又は代替的なステップが採用されてよいことに留意されたい。
用語「第1の(first)」、「第2の(second)」、「第3の「third」」等がさまざまな要素、構成要素、部位、層、及び/又は区域を記載するために明細書中で使用されているが、これらの要素、構成要素、部位、層、及び/又は区域は、これらの用語によって限定されてはならない。これらの用語は、他の部位、層、又は区域から、ある要素、構成要素、部位、層、又は区域を区別するためだけに使用され得る。明細書中で使用されるとき、「第1」、「第2」などの用語及び他の数値的用語は、文脈中で明確に指定されていない限り、順序又は順番の意味を含まない。したがって、記載された第1の要素、構成要素、部位、層、又は区域は、例示的な実施形態の教示を逸脱しない限り、第2の要素、構成要素、部位、層、又は区域を指すことができる。
明細書中で使用された用語「モジュール」は、特定用途向け集積回路(ASIC)、電子回路、組合せ論理回路、利用者書込み可能ゲートアレイ(FPGA)、コードを実行する(共有、専用、又はグループ化)プロセッサ、若しくはプロセッサの分散配置ネットワークによって実行されるプロセス及びネットワーク化されたクラスタ又はデータセンタのストレージ、記載した機能を提供する他の適切なコンポーネント、又は、システムオンチップなどによるこれらのうちのいくつか又はすべての組合せ、を含むか又はその一部分となることを指してよい。用語「モジュール(module)」は、1つ以上のプロセッサによって実行されるコードを格納する(共有、専用、又はグループ化)メモリを含んでよい。
先に使用された用語「コード(code)」は、ソフトウェア、ファームウェア、バイトコード、及び/又はマイクロコードを含んでよく、プログラム、ルーチン、関数、クラス、及び/又はオブジェクトを指してよい。先に使用された用語「共有(shared)」は、複数のモジュールからのいくつかの又はすべてのコードが単一の(共有される)プロセッサを使用して実行され得ることを意味する。さらに、複数のモジュールからのいくつかの又はすべてのコードは、単一の(共有された)メモリによって格納されてよい。先に使用された用語「グループ(group)」は、単一のモジュールからのいくつかの又はすべてのコードが複数のプロセッサからなるグループを使用して実行され得ることを意味する。さらに、単一のモジュールからのいくつかの又はすべてのコードは、複数のメモリからなるグループを使用して格納されてよい。
明細書中に記載された手法は、1つ以上のプロセッサによって実行される1つ以上のコンピュータプログラムによって実装されてよい。コンピュータプログラムは、非一時的な有形のコンピュータ読み取り可能な記録媒体に格納されるプロセッサ実行可能な命令を含む。また、コンピュータプログラムは、格納済みのデータを含んでよい。非一時的な有形のコンピュータ読み取り可能な記録媒体の非限定的な例は、不揮発性メモリ、磁気ストレージ、及び光学ストレージである。
先の記載のうちのある部分は、情報操作のアルゴリズム及び記号的表現として明細書中に記載された手法を提示する。これらのアルゴリズム的記載及び表現は、データ処理の分野の他の当業者らにこれらの働きの本質を効果的に伝えるために、データ処理の分野の当業者らによって使用される手段である。これらの動作は、機能的又は論理的に記載されていても、コンピュータプログラムによって実装されることに留意されたい。さらにまた、これらの動作は、時には都合に合わせて、普遍性を欠くことなく、これらの動作の配置をモジュールと称したり、機能的な名称で呼ばれたりする。
先の記載において明らかであると特に明言した場合を除き、明細書の記載を通して、「処理する(processing)」、「演算する(computing)」、「算出する(calculating)」、「決定する(determining)」、又は「表示する(displaying)」などの用語を用いた説明は、コンピュータシステムのメモリ若しくはレジスタ、又は他の情報格納、送信、若しくは表示デバイス内で、物理的(電子的)量として表されるデータを操作し、変更する、コンピュータシステム又は同様の電子演算デバイスの動作及びプロセスを指すことに留意されたい。
記載された手法のうちのある態様は、アルゴリズムの形式で明細書中に記載されたプロセスステップ及び命令を含む。記載されたプロセスステップ及び命令は、ソフトウェア、ファームウェア、又はハードウェアとして実装でき、ソフトウェアで実装された場合、リアルタイムネットワークオペレーティングシステムによって使用されるさまざまなプラットフォーム内にダウンロードされ、そこで動作できることに留意されたい。
また、本開示は、明細書中の動作を実行するための装置に関する。この装置は、要求された目的のために特別に構成されてよく、又は、コンピュータによってアクセス可能なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムによって選択的に起動又は構成される汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、これらに限定されないが、フロッピー(登録商標)ディスク、光ディスク、CD−ROM、光磁気ディスクを含む任意のタイプのディスク、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気若しくは光カード、特定用途向け集積回路(ASIC)、又は電子的命令を格納するために適し、コンピュータシステムバスに接続された任意のタイプの媒体などの、有形のコンピュータ読み取り可能な記憶媒体に格納されてよい。さらに、明細書中で言及されるコンピュータは、単一のプロセッサを含んでよく、又はコンピューティング能力を増大させるように設計されたマルチプロセッサを利用するアーキテクチャであってもよい。
明細書中に記載されたアルゴリズム及び動作は、任意の特定のコンピュータ又はその他の装置に固有のものではない。また、明細書中の教示に従って、さまざまな汎用システムがプログラムと共に使用されてよく、かつ、そのようなシステムは、より専門的な装置を構成して必要とされる技術的ステップを実行するために好都合であり得る。さまざまなそれらのシステムに必要とされる構成は、均等な変形例と共に、当業者らに明らかとなろう。さらに、本開示は、いかなる特定のプログラミング言語に準拠するものとして記載されていない。当然ながら、明細書に記載されたような本開示の教示物を実施するために、さまざまなプログラミング言語が使用されてよく、本発明の実施可能性及び最良の実施形態を開示するために、特定の言語への任意の準拠が提供される。
本開示は、多数のトポロジーを介する多様なコンピュータネットワークシステムに適合している。この分野において、大規模ネットワークの構築及び管理は、インターネットのようなネットワークを介して他のコンピュータ及びストレージデバイスに通信可能に接続された、複数のストレージデバイス及び複数のコンピュータを含む。
以上の実施形態の記載は、例示及び説明を目的として提供されたものである。そのような記載は、開示物を網羅すること又は限定することを意図しない。一般に、詳細な実施形態の個々の要素又は特徴は、そのような詳細な実施形態に限定されず、特に図示又は記載されていなくとも、応用可能であり、相互交換可能であり、選択された実施形態に使用可能である。また、同一物がさまざまに変更されてよい。そのような変形例は、開示物から逸脱するものとは見なされず、かつすべての修正例は、開示物の範囲内に包含される。
100 ユーザデバイス
104 タッチディスプレイ
108 ユーザ
112 指
200 ユーザインタフェースモジュール
204 プロセッサ
208 通信モジュール
250 ネットワーク
254 携帯電話(セルラー)ネットワーク
258 衛星ネットワーク
300 認識エンジン
304 ユーザインタフェース制御モジュール
308 認識データベース
500 サーバ
502 ネットワーク
504 通信モジュール
508 認識エンジン
512 認識データストア

Claims (20)

  1. コンピュータによって実施される方法であって、
    ユーザデバイスにおいて、認識しようとする手書きテキストに対応するユーザ入力を受信するステップと、
    前記手書きテキストの認識のために、前記手書きテキストの画像を、前記ユーザデバイスからサーバに転送するステップと、
    前記ユーザデバイスにおいて、前記手書きテキストの前記画像に基づいて前記サーバによって決定される手書き文字列の指示情報を、前記サーバから受信するステップと、
    前記手書き文字列を、第1の色を使用して前記ユーザデバイスのディスプレイに表示するステップと、
    前記手書き文字列に基づいて前記サーバによってそれぞれ決定されるテキスト文字の指示情報を、別個の時間に前記サーバから受信するステップと、
    前記指示情報がそれぞれ受信されると、前記テキスト文字を前記ディスプレイに表示するステップと、
    前記テキスト文字の前記指示情報をそれぞれ受信したことに応答して、前記ディスプレイ上の前記手書き文字列の色を、前記第1の色から前記第1の色とは異なる第2の色に変更するステップと、
    前記テキスト文字がすべて表示された後にだけ、前記ディスプレイ上から前記手書き文字列の表示を除去するステップと
    を有する方法。
  2. コンピュータによって実施される方法であって、
    ユーザデバイスにおいて、認識エンジンを使用して認識しようとする手書きテキストに対応するユーザ入力を受信するステップと、
    前記ユーザデバイスにおいて、個々の手書き文字に分解された前記手書きテキストを含む、前記手書きテキストの画像を受信するステップと、
    前記個々の手書き文字からなる手書き文字列を、第1指示子を使用して前記ユーザデバイスのディスプレイに表示するステップと、
    前記ユーザデバイスにおいて、前記手書き文字列のうちの1つの手書き文字として認識されたテキスト文字の識別情報を受信するステップと、
    前記テキスト文字を前記ディスプレイに表示するステップと、
    前記ユーザデバイスにおいて、受信した前記識別情報に応答して、前記手書き文字列のうちの前記1つの手書き文字の表示を、前記第1指示子を使用する表示から前記第1指示子とは異なる第2指示子を使用する表示に変更するステップと
    を有する方法。
  3. 前記第1指示子が第1の色であり、
    前記第2指示子が第2の色である、請求項2に記載の方法。
  4. 前記ユーザデバイスにおいて、前記手書き文字列のうちの第2の手書き文字として認識された第2のテキスト文字の第2の識別情報を受信するステップと、
    前記ユーザデバイスにおいて、受信した前記第2の識別情報に応答して、前記手書き文字列のうちの前記第2の手書き文字の表示を、前記第1指示子を使用する表示から前記第2指示子を使用する表示に変更するステップと
    をさらに有する、請求項2に記載の方法。
  5. 前記ユーザデバイスにおいて、前記テキスト文字及び前記第2のテキスト文字に基づいて、前記手書きテキストに対する候補語幹を決定するステップと、
    前記候補語幹を前記ディスプレイに表示するステップと
    をさらに有する、請求項4に記載の方法。
  6. 前記ユーザデバイスにおいて、前記候補語幹の選択を示すユーザ入力を受信するステップと、
    前記ユーザデバイスにおいて、前記候補語幹に基づいて、前記手書きテキストに対する候補語を決定するステップと、
    前記候補語幹の前記選択を示すユーザ入力を受信したことに応答して、前記候補語を前記ディスプレイに表示するステップと
    をさらに有する、請求項5に記載の方法。
  7. 認識済みの前記手書きテキストの量を示すプログレスバーを前記ディスプレイに表示するステップをさらに有する、請求項2に記載の方法。
  8. 前記量に対応するパーセンテージを前記ディスプレイに表示するステップをさらに有する、請求項7に記載の方法。
  9. 前記手書き文字列に対して認識されたテキスト文字がすべて表示された後にだけ、前記手書き文字列のうちの少なくとも1つの手書き文字の表示を、前記ディスプレイ上から除去するステップをさらに有する、請求項2に記載の方法。
  10. 前記ディスプレイがタッチディスプレイであり、
    前記ユーザ入力が前記タッチディスプレイを介して受信される入力である、請求項2に記載の方法。
  11. 前記ユーザデバイスにおいて、前記認識エンジンを使用して認識しようとする追加的な手書きテキストに対応する第2のユーザ入力を受信するステップと、
    前記第2のユーザ入力に応答して、表示された前記手書き文字列のサイズを変更するステップと
    をさらに有する、請求項2に記載の方法。
  12. ディスプレイと、
    前記ディスプレイに接続された少なくとも1つのプロセッサと、
    実行可能なコンピュータプログラムコードを記録した非一時的なコンピュータ読み取り可能な記録媒体と
    を具備し、
    前記少なくとも1つのプロセッサは、前記実行可能なコンピュータプログラムコードを実行して、複数の手順を実行するように構成され、
    前記複数の手順は、
    認識エンジンを使用して認識しようとする手書きテキストに対応するユーザ入力を受信する手順と、
    個々の手書き文字に分解された前記手書きテキストを含む、前記手書きテキストの画像を受信する手順と、
    前記個々の手書き文字からなる手書き文字列を、第1指示子を使用して前記ディスプレイに表示する手順と、
    前記手書き文字列のうちの1つの手書き文字として認識されたテキスト文字の識別情報を受信する手順と、
    前記テキスト文字を前記ディスプレイに表示する手順と、
    受信した前記識別情報に応答して、前記手書き文字列のうちの前記1つの手書き文字の表示を、前記第1指示子を使用する表示から前記第1指示子とは異なる第2指示子を使用する表示に変更する手順と
    を含む、コンピューティングデバイス。
  13. 前記第1指示子が第1の色であり、
    前記第2指示子が第2の色である、請求項12に記載のコンピューティングデバイス。
  14. 前記複数の手順が、
    前記手書き文字列のうちの第2の手書き文字として認識された第2のテキスト文字の第2の識別情報を受信する手順と、
    受信した前記第2の識別情報に応答して、前記手書き文字列のうちの前記第2の手書き文字の表示を、前記第1指示子を使用する表示から前記第2指示子を使用する表示に変更する手順と
    をさらに含む、請求項12に記載のコンピューティングデバイス。
  15. 前記複数の手順が、
    前記テキスト文字及び前記第2のテキスト文字に基づいて、前記手書きテキストに対する候補語幹を決定する手順と、
    前記候補語幹を前記ディスプレイに表示する手順と
    をさらに含む、請求項14に記載のコンピューティングデバイス。
  16. 前記複数の手順が、
    前記候補語幹の選択を示すユーザ入力を受信する手順と、
    前記候補語幹に基づいて、前記手書きテキストに対する候補語を決定する手順と、
    前記候補語幹の前記選択を示すユーザ入力を受信したことに応答して、前記候補語を前記ディスプレイに表示する手順と
    をさらに含む、請求項15に記載のコンピューティングデバイス。
  17. 前記複数の手順が、
    認識済みの前記手書きテキストの量を示すプログレスバーを前記ディスプレイに表示する手順をさらに含む、請求項12に記載のコンピューティングデバイス。
  18. 前記複数の手順が、
    前記量に対応するパーセンテージを前記ディスプレイに表示する手順をさらに含む、請求項17に記載のコンピューティングデバイス。
  19. 前記複数の手順が、
    前記手書き文字列に対して認識されたテキスト文字がすべて表示された後にだけ、前記手書き文字列のうちの少なくとも1つの手書き文字の表示を、前記ディスプレイ上から除去する手順をさらに含む、請求項12に記載のコンピューティングデバイス。
  20. 前記複数の手順が、
    前記認識エンジンを使用して認識しようとする追加的な手書きテキストに対応する第2のユーザ入力を受信する手順と、
    前記第2のユーザ入力に応答して、表示された前記手書き文字列のサイズを変更する手順と
    をさらに含む、請求項12に記載のコンピューティングデバイス。
JP2015534576A 2012-09-26 2013-09-23 手書き入力の進捗状況の表示 Active JP6324969B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/626,963 US10254952B2 (en) 2012-09-26 2012-09-26 Progress display of handwriting input
US13/626,963 2012-09-26
PCT/US2013/061130 WO2014052223A1 (en) 2012-09-26 2013-09-23 Progress display of handwriting input

Publications (2)

Publication Number Publication Date
JP2015536000A true JP2015536000A (ja) 2015-12-17
JP6324969B2 JP6324969B2 (ja) 2018-05-16

Family

ID=50338354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015534576A Active JP6324969B2 (ja) 2012-09-26 2013-09-23 手書き入力の進捗状況の表示

Country Status (5)

Country Link
US (2) US10254952B2 (ja)
JP (1) JP6324969B2 (ja)
KR (2) KR102240663B1 (ja)
CN (2) CN104885041B (ja)
WO (1) WO2014052223A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US20140361983A1 (en) * 2013-06-09 2014-12-11 Apple Inc. Real-time stroke-order and stroke-direction independent handwriting recognition
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
US10489051B2 (en) * 2014-11-28 2019-11-26 Samsung Electronics Co., Ltd. Handwriting input apparatus and control method thereof
US9779293B2 (en) * 2016-01-27 2017-10-03 Honeywell International Inc. Method and tool for post-mortem analysis of tripped field devices in process industry using optical character recognition and intelligent character recognition
DK179329B1 (en) 2016-06-12 2018-05-07 Apple Inc Handwriting keyboard for monitors
US20190155895A1 (en) * 2017-11-20 2019-05-23 Google Llc Electronic text pen systems and methods
CN109582158A (zh) * 2018-12-17 2019-04-05 北京金山安全软件有限公司 一种用于终端输入显示的方法、装置及终端
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
KR20210017090A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 필기 입력을 텍스트로 변환하는 방법 및 전자 장치
CN111563514B (zh) * 2020-05-14 2023-12-22 广东小天才科技有限公司 一种三维字符的显示方法及装置、电子设备、存储介质
CN112686219B (zh) * 2021-03-11 2021-06-18 北京世纪好未来教育科技有限公司 手写文本识别方法及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227863A (ja) * 1999-01-20 2000-08-15 Hewlett Packard Co <Hp> 改良された長いコンピュ―タプロセスのための進行モニタと情報表示方法
JP2002007962A (ja) * 2000-06-27 2002-01-11 Sharp Corp 手書き文字入力装置
JP2002015282A (ja) * 2000-04-20 2002-01-18 Matsushita Electric Ind Co Ltd 手書き文字認識装置及び手書き文字認識プログラム並びに手書き文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005202959A (ja) * 2004-01-14 2005-07-28 Internatl Business Mach Corp <Ibm> 手書き文字認識のために手書き文字入力をスケーリングする方法および装置
US20110279379A1 (en) * 2010-05-13 2011-11-17 Jonas Morwing Method and apparatus for on-top writing
US20110313757A1 (en) * 2010-05-13 2011-12-22 Applied Linguistics Llc Systems and methods for advanced grammar checking
JP2012042985A (ja) * 2010-05-28 2012-03-01 Yahoo Inc ウェブクエリにおけるオンライン手書き認識のためのシステム及び方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550930A (en) 1991-06-17 1996-08-27 Microsoft Corporation Method and system for training a handwriting recognizer at the time of misrecognition
US7740371B1 (en) * 1998-03-19 2010-06-22 Charles A. Lemaire Method and apparatus for pulsed L.E.D. illumination for a camera
US6931153B2 (en) 2000-04-20 2005-08-16 Matsushita Electric Industrial Co., Ltd. Handwritten character recognition apparatus
CN1495645A (zh) * 2002-04-08 2004-05-12 北京捷通华文信息技术有限公司 中华笔多媒体汉字教学系统
US7567239B2 (en) 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
US8411958B2 (en) * 2004-05-04 2013-04-02 Nokia Corporation Apparatus and method for handwriting recognition
HU226347B1 (en) * 2004-12-13 2008-09-29 Gabor Hrotko Computer system and method for teaching handwriting and reading
WO2006091156A1 (en) 2005-02-28 2006-08-31 Zi Decuma Ab Recognition graph
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
US8760389B2 (en) * 2005-06-24 2014-06-24 Nokia Corporation Handwriting recognition in electronic devices
US7734094B2 (en) 2006-06-28 2010-06-08 Microsoft Corporation Techniques for filtering handwriting recognition results
CN101101706A (zh) * 2006-07-05 2008-01-09 香港理工大学 中文书写学习机及中文书写学习方法
KR100850313B1 (ko) * 2006-11-01 2008-08-04 이용직 필기형 유무선 복합 인스턴트 메신저 서비스 시스템 및 그서비스 방법
CN101311887A (zh) * 2007-05-21 2008-11-26 刘恩新 一种计算机手写输入系统及输入方法和编辑方法
US7502017B1 (en) 2007-11-20 2009-03-10 International Business Machines Corporation Handwriting recognizer user interface methods
US8908973B2 (en) * 2008-03-04 2014-12-09 Apple Inc. Handwritten character recognition interface
CN101599262A (zh) * 2008-06-03 2009-12-09 张岩 一种在手持设备中显示文字字符的方法
CN101620681B (zh) * 2008-07-01 2013-01-16 中兴通讯股份有限公司 一种在手写输入设备上快速识别手写文字的方法
JP5531412B2 (ja) * 2009-01-14 2014-06-25 シャープ株式会社 電子機器および情報処理方法
CN102156609B (zh) * 2010-12-10 2012-12-19 上海合合信息科技发展有限公司 一种重叠书写的手写输入方法
CN102629158B (zh) * 2012-02-29 2015-04-08 广东威创视讯科技股份有限公司 基于触摸屏系统的文字输入方法及装置
KR101952177B1 (ko) * 2012-07-30 2019-02-26 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140359434A1 (en) * 2013-05-30 2014-12-04 Microsoft Corporation Providing out-of-dictionary indicators for shape writing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227863A (ja) * 1999-01-20 2000-08-15 Hewlett Packard Co <Hp> 改良された長いコンピュ―タプロセスのための進行モニタと情報表示方法
JP2002015282A (ja) * 2000-04-20 2002-01-18 Matsushita Electric Ind Co Ltd 手書き文字認識装置及び手書き文字認識プログラム並びに手書き文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002007962A (ja) * 2000-06-27 2002-01-11 Sharp Corp 手書き文字入力装置
JP2005202959A (ja) * 2004-01-14 2005-07-28 Internatl Business Mach Corp <Ibm> 手書き文字認識のために手書き文字入力をスケーリングする方法および装置
US20110279379A1 (en) * 2010-05-13 2011-11-17 Jonas Morwing Method and apparatus for on-top writing
US20110313757A1 (en) * 2010-05-13 2011-12-22 Applied Linguistics Llc Systems and methods for advanced grammar checking
JP2012042985A (ja) * 2010-05-28 2012-03-01 Yahoo Inc ウェブクエリにおけるオンライン手書き認識のためのシステム及び方法

Also Published As

Publication number Publication date
US10656829B2 (en) 2020-05-19
US20140085215A1 (en) 2014-03-27
US20190235749A1 (en) 2019-08-01
KR102186428B1 (ko) 2020-12-04
CN104885041A (zh) 2015-09-02
CN109358766A (zh) 2019-02-19
CN104885041B (zh) 2018-10-23
JP6324969B2 (ja) 2018-05-16
KR102240663B1 (ko) 2021-04-16
US10254952B2 (en) 2019-04-09
CN109358766B (zh) 2021-12-21
KR20200136505A (ko) 2020-12-07
KR20150060760A (ko) 2015-06-03
WO2014052223A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
JP6324969B2 (ja) 手書き入力の進捗状況の表示
US20180129391A1 (en) Auto-scrolling input in a dual-display computing device
US8812302B2 (en) Techniques for inserting diacritical marks to text input via a user device
US9390341B2 (en) Electronic device and method for manufacturing the same
KR101825154B1 (ko) 중첩 쓰기 핸드라이팅 입력방법
US10838513B2 (en) Responding to selection of a displayed character string
CN102855082A (zh) 用于重叠文本用户输入的字符识别
US10325018B2 (en) Techniques for scheduling language models and character recognition models for handwriting inputs
JP5832980B2 (ja) 手書き入力支援装置、方法およびプログラム
US20160154997A1 (en) Handwriting input apparatus and control method thereof
CN111052064A (zh) 自动提供基于手势的自动完成建议的方法及其电子设备
KR20180119647A (ko) 문자열에 문자를 삽입하기 위한 방법 및 대응하는 디지털 디바이스
US9626354B2 (en) Systems and methods for using tone indicator in text recognition
US20150277745A1 (en) Computer input using hand drawn symbols
KR20220038477A (ko) 텍스트 라인 추출
JP2018010532A (ja) 情報処理装置、プログラム及び情報処理方法
KR20120063407A (ko) 터치스크린을 이용한 빠른 문자입력방법 및 문자입력장치
CN111176456B (zh) 用于输入地理位置名称的输入法编辑器
KR101582155B1 (ko) 문자 수정이 용이한 문자 입력 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
JP6342194B2 (ja) 電子機器、方法及びプログラム
US20160078013A1 (en) Fault-tolerant input method editor
KR20180030966A (ko) 중첩된 필기 인식 기술을 위한 시스템 및 방법
JP2017062584A (ja) 電子機器及び方法
CN107870678A (zh) 一种手写输入方法及装置
CN113836939A (zh) 基于文本的数据分析方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180411

R150 Certificate of patent or registration of utility model

Ref document number: 6324969

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250