JP2007511003A - 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法 - Google Patents

電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法 Download PDF

Info

Publication number
JP2007511003A
JP2007511003A JP2006539459A JP2006539459A JP2007511003A JP 2007511003 A JP2007511003 A JP 2007511003A JP 2006539459 A JP2006539459 A JP 2006539459A JP 2006539459 A JP2006539459 A JP 2006539459A JP 2007511003 A JP2007511003 A JP 2007511003A
Authority
JP
Japan
Prior art keywords
character
existing
stylus
input
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006539459A
Other languages
English (en)
Other versions
JP4746555B2 (ja
JP2007511003A5 (ja
Inventor
ダブリュ.ペティロス ジェフリー
ジュリー デイビス シャワナ
ビー.ケリー ルロア
ガーサイド アドリアン
エイ.ジェリニスキー トビアツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2007511003A publication Critical patent/JP2007511003A/ja
Publication of JP2007511003A5 publication Critical patent/JP2007511003A5/ja
Application granted granted Critical
Publication of JP4746555B2 publication Critical patent/JP4746555B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0236Character input methods using selection techniques to select from displayed items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

ペンベースのコンピューティングシステムにおいてテキストを編集するためのユーザインターフェースは、(a)テキストを表示する表示部と、(b)そのテキストの少なくとも一部に対応する編集可能なテキスト部分を表示する訂正インターフェースとを含んでいる。訂正インターフェースは、スタイラスを介して入力を受け入れて編集可能なテキスト部分を1文字ずつ変更する(例えば、個々の文字を追加、削除、又は変更する)ことを可能にする。訂正インターフェースはさらに、編集可能なテキスト部分に代入する代替候補を含む「候補リスト」部、及び/又は訂正インターフェースで使用可能な、ありうるアクションを表示する「タスクリスト」部を含むか、関係付けることができる。また、そのようなインターフェースを起動、提供及び操作するためのシステム、方法及びコンピュータ読取可能な媒体にも関する。

Description

本発明は、電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法に関し、より詳細には、電子テキストを修正又は編集する、ペンベースのコンピューティングシステム及び/又は他のコンピューティングシステムにおいてペン(スタイラス)入力の受け入れ及び/又は処理を行うためのユーザインターフェース、システム、方法及びコンピュータ実行可能命令を格納するコンピュータ読取可能な媒体に関する。
一般的なコンピュータシステム、特にグラフィカルユーザインターフェース(GUI)を用いるコンピュータシステムは、1つ又は複数の独立した入力デバイス(例えば、テキストを入力するキーボード)及びポインティングデバイス(例えば、1つ又は複数のボタンを持ち、ユーザインターフェースを操作するマウス)からのユーザ入力を受け入れることに最適化されている。そのようなGUIの一例が、(Microsoft Corporation of Redmond,Wash.から入手可能な)Windows(登録商標)コンピュータオペレーティングシステムのユーザインターフェースである。広く普及しているキーボード及びマウスのインターフェースを使用して、文書、スプレッドシート、データベースフィールド、図面、写真、Webページなどの作成や修正をすばやく行うことができる。
これに対し、最近では、タブレットPCなどのペンベースのコンピューティングシステムが広まりつつある。ペンベースのコンピューティングシステムでは、ユーザ入力は、電子「ペン」(スタイラス)を用いて(例えば、ペンや鉛筆で紙に書くように)有利に取り込まれる。実際、少なくともいくつかのペンベースのコンピューティングシステムでは、すべてのユーザ入力を、電子ペン入力デバイスを用いて入力及び操作でき、そのユーザインターフェースは、電子ペンだけで完全に制御できる。
ペンベースのコンピューティングシステムが広まるにつれ、ユーザは、ますます多くのデータを電子インクの形で入力するようになっている。多くの場合、ユーザは、オリジナルの電子インクデータを、マシン生成テキスト、すなわち、従来のワードプロセシングプログラムなどのアプリケーションプログラムでの使用及び操作に適したテキストに変換したいと考えるであろう。手書きされた電子インクテキストをマシン生成テキストに変換する手書き認識技術は近年進歩が見られるが、この種の認識エンジン(recognizer)はいまだ誤認識がかなり多く、特に、読みにくい字を書くユーザ、角度を付けて書くユーザ、及び/又は非常に速く書くユーザの場合は誤認識がよく起こる。したがって、認識エンジンが生成したマシン生成テキストの多くは、ユーザがさらに訂正及び/又は変更あるいは編集する必要がある。
また、コンピューティングシステム及びそれに関連付けられたネットワークの大きな有利点の1つは、複数のユーザが、電子文書へのアクセス、及びそれらの評価、編集、あるいは変更やコメント付けを行うことができる点である。したがって、ペンベースのコンピューティングシステムのユーザも、ペンベースのコンピューティングシステムとそれに関連付けられた電子ペンを用いて、電子ファイル内のテキストや様々なソースにある文書へのアクセス、及びそれらの評価、編集、変更、加筆などを行う必要がある。これらの電子ファイルや文書のオリジナルがすべて電子インクデータであるか、かつ/又は手書き認識プログラム又はエンジンによるものとは限らない。
電子ペン及びペンベースのコンピューティングシステムだけを用いてマシン生成テキストを編集、変更、及び/又は訂正するための既存のユーザインターフェースの少なくともいくつかは、稚拙であり、非効率的であり、使いにくい可能性がある。また、多くのアプリケーションプログラムや文書タイプでは、電子文書自体の変更又は編集を電子ペンだけで行うことはできない。ペンベースのコンピューティングシステムでマシン生成テキスト及び文書の訂正や編集を電子ペンを用いて行ううえでのこうした問題は、ユーザのフラストレーションを招きかねず、ペンベースのコンピューティングシステムの利用や採用を阻害することになりうる。そこで、当該技術分野においては、ユーザが、ペンベースのコンピューティングシステムに関連付けられた電子インク及び/又は電子ペンを用いてマシン生成テキストへのアクセス、及びそれらの評価、編集、変更を迅速、容易、かつ効率的に行うための改良された訂正インターフェースが求められている。
本発明は、このような状況に鑑みてなされたもので、その目的とするところは、電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法を提供することにある。
本発明の実施態様は、電子テキストと対話するためのユーザインターフェースと、電子テキストを修正するためにペンベースのコンピューティングシステムでペン(スタイラス)入力を用いるシステム及び方法とに関する。そのようなユーザインターフェースとして次のものが挙げられる。(a)オリジナルのテキスト(例えば、マシン生成テキスト)を表示する表示部。(b)オリジナルのテキストの少なくとも一部に対応する編集可能なテキスト部分を表示する訂正インターフェース。この訂正インターフェースは、スタイラスによる入力を受け入れ、表示されている編集可能なテキスト部分の1文字ずつの変更を可能にする。この訂正インターフェースはさらに、編集可能なテキストに代入する代替候補を少なくとも1つ含む「候補リスト」部(例えば、従来のスペルチェックプログラムや手書き認識プログラムで提供される候補リストに似たもの)、及び/又は、このインターフェースからアクセス及び/又は利用できる1つ又は複数のありうる操作を表示する「タスクリスト」部を含むか、関係付けることができる。本発明の少なくともいくつかの態様によるシステム及び方法は、上述のようなユーザインターフェースを起動し、かつ/又は使用する。本発明のさらなる実施態様は、(a)上述のようなユーザインターフェースを起動かつ/又は提供することと、(b)上述のようなシステム及び方法を含め、各種方法を実行かつ/又は各種システムを操作することのための、コンピュータで実行可能な命令を格納するコンピュータ読取可能な媒体に関する。
本発明の、上記及び他の目的、特徴、及び利点については、以下の詳細な説明を、添付図面と併せて読むことにより、容易に明らかになり、よりよく理解されることであろう。
添付図面のうちの複数の図面で同じ参照符号を用いている場合は、異なる図面間で同じか同等の要素、特徴、又はステップを示している。
上述のように、本発明の態様は、ペンベースのコンピューティングシステムにおける電子データの処理及び電子テキストとの対話のためのユーザインターフェース、システム、方法及びコンピュータ読取可能な媒体に関する。以下の説明は、読みやすさのためにいくつかのサブセクションに分かれている。これらのサブセクションは、「用語」、「本発明の各種態様の概要」、「ハードウェアの実施例」、「本発明によるユーザインターフェース、システム、方法及びコンピュータ読取可能な媒体の実施例」及び「結論」である。
I.用語
本明細書では以下の用語を用いており、特に断らない限り、あるいは文脈から明らかである限り、これらの用語は以下に示す意味で用いている。
「ペン」−電子インクを入力すること、及び/又は、電子文書及び/又はコンピュータオペレーティングシステムを操作又は制御することに有用な任意のタイプのユーザ入力デバイス。本明細書では、「ペン」と「スタイラス」を同じ意味で用いる。
「ペンダウンイベント」−ペンがデジタイザに接触した時点で開始されるイベント。通常、ペンダウンイベントは、ペンがデジタイザ表面から離れた時点で終了する(この離れるイベントを本明細書では「ペンアップイベント」ともいう)。
「ホバリング」−ペンが動いているかどうかにかかわらず、ペンを、デジタイザ表面に接触させないで、デジタイザ表面の近傍に位置させること。特定の場所に位置して経過する時間や、特定の場所で動きを止めていることは、「ホバリング」動作に必須の条件ではない。例えば、「ホバリング」は、ユーザがペンをデジタイザ表面に向かって連続的に移動させ、デジタイザ表面に接触させるまでの間に発生する。
「レンダリング」−画面上であれ、印刷であれ、その他の出力形式であれ、(テキスト、グラフィックス、及び/又は電子インクを含め)情報をどのように印刷するかを決定するプロセス。
「コンピュータ読取可能な媒体」は、コンピュータシステムにおいてユーザがアクセスできる任意の市販媒体を意味する。限定ではなく例示として、「コンピュータ読取可能な媒体」は、コンピュータ記憶媒体及び通信媒体を含む場合がある。「コンピュータ記憶媒体」として、コンピュータ可読命令、データ構造、プログラムモジュール、その他のデータなどの情報を記憶するための任意の方法又は技術に実装される、揮発性及び不揮発性、リムーバブル及び非リムーバブルの媒体が挙げられる。「コンピュータ記憶媒体」には、RAM、ROM、EEPROM、フラッシュメモリ、その他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、その他の光記憶デバイス、磁気カセット、磁気テープ、磁気ディスク、その他の磁気記憶デバイス、あるいは、必要な情報を格納するために使用でき、コンピュータからアクセスできる他の任意の媒体が含まれ、これらに限定されない。「通信媒体」は、通常、コンピュータ可読命令、データ構造、プログラムモジュールなどのデータを、搬送波や他の搬送メカニズムのような変調データ信号で表現するものであり、任意の情報配信媒体を含んでいる。「変調されたデータ信号」は、その1つ又は複数の特性が、信号中のエンコード情報に従って設定又は変更された信号を意味する。限定ではなく例示として、通信媒体には、有線ネットワークや直接有線接続などの有線媒体や、音、RF、赤外線などの無線媒体が含まれる。上記の任意の組合せも「コンピュータ読取可能な媒体」の範囲に含まれる。
II.本発明の各種態様の概要
本発明の実施態様は、ペンベースのコンピューティングシステムにおいてペン入力を用いて電子テキストの編集及び/又は電子テキストとの対話を行うために用いることのできる、適切な表示デバイスに表示できるユーザインターフェースに関する。そのようなインターフェースとして次のものが挙げられる。(a)オリジナルのテキスト(例えば、手書き認識エンジン又はその他の何らかのソースによって提供されるマシン生成テキスト)を表示する表示部。(b)オリジナルのテキストの少なくとも一部に対応する編集可能なテキスト部分を表示する訂正インターフェース。この訂正インターフェースは、ペンによる入力を受け入れ、表示されている編集可能なテキスト部分のテキストの1文字ずつの変更を可能にする。本発明の少なくともいくつかの態様によるユーザインターフェースは、いくつかの実施例ではさらに、ペンで選択できる、編集可能なテキスト部分に代入する代替候補を少なくとも1つ含む「候補リスト」部(例えば、従来のスペルチェックプログラム、手書き認識プログラム、音声認識プログラムなどで提供される候補リストに似たもの)を含むことができる。本発明によるユーザインターフェースのさらに他の実施例は、「アクションアイテム」部又は「タスクリスト」部(例えば、ペンで選択できるアクションアイテム又はタスクが少なくとも1つあるメニューを含む部分)を含むことができる。本発明の少なくともいくつかの実施例では、候補リスト部及び/又はタスクリスト部は、訂正インターフェースの一部として含まれるか、訂正インターフェースに接続又は関連付けられるか、かつ/又は、訂正インターフェースが表示されるか、利用可能か、アクセス可能なときに適切なタイミングで適切な位置に表示されることが可能である。
本発明の少なくともいくつかの実施例では、訂正インターフェースは(任意で候補リスト部及び/又はタスクリスト部とともに)、オリジナルのテキストの少なくともいくつかの部分が選択されたときに、例えば「ポップアップ」パネル又は「ポップアップ」部として自動的に表示され、インターフェースのこれらの要素は、本発明から逸脱することなく、表示部の任意の所望の位置又は適切な位置(例えば、表示部に表示されたテキストの選択された部分の近傍)に表示できる。それに加えて(又はその代わりに)、ユーザが(例えば、メニューアイテムを起動することによって)起動したときに、訂正インターフェース(及び/又は他の任意の関連するインターフェース部)が表示されるようにもできる。
本発明の少なくともいくつかの態様によって設けられた訂正インターフェースで編集できる電子テキスト又はマシン生成テキストは、任意の適切なソースから取得できる。例えば、それらのテキストの少なくともいくつかは、タブレットPCなどのペンベースのコンピューティングシステムにおいてユーザが書いた手書き電子インク入力を手書き認識エンジンが認識し、そのエンジンが提供したマシン生成テキストであってもよい。また、編集対象のマシン生成テキストは、(ハード又はソフト)キーボードからの入力であることも、音声認識からの入力であることも、外部ソースからダウンロードされた入力であることも、かつ/又は他の入力デバイス又は入力メカニズムからの入力であることも、本発明から逸脱することなく可能である。さらに、編集対象のマシン生成テキストは、任意の好適な、又は所望のアプリケーションプログラムの中にあることも、そこから取得することも、本発明から逸脱することなく可能である。例えば、ワードプロセシングアプリケーションプログラム、スプレッドシート、Webブラウザ、Webページ、電子メールプログラム、文書管理プログラム、又は他の任意の所望のプログラムや他のソースの中にあることも、そこから取得することも、本発明から逸脱することなく可能である。
上述のように、本発明の少なくともいくつかの実施例によるユーザインターフェースは、訂正インターフェース又は訂正部が、訂正インターフェース内の編集可能なテキスト部分を1文字ずつ変更する電子ペン入力を受け入れることを可能にすることができる。本発明によるユーザインターフェースでは、訂正インターフェースの編集可能なテキスト部分においてテキストを編集する様々な方法を用いることができる。例えば、訂正インターフェースへの少なくともいくつかの入力は、編集可能なテキスト部分にある既存の連続する2文字の間に少なくとも1つの追加文字を挿入できる。他の実施例として、訂正インターフェースへの少なくともいくつかの入力は、編集可能なテキスト部分から既存の文字を削除できる。さらに他の実施例として、訂正インターフェースへの少なくともいくつかの入力は、編集可能なテキスト部分にある1つ又は複数の既存の文字を変更できる。本発明の少なくともいくつかの実施例では、編集可能なテキスト部分におけるこれらの変更はさらに、表示部に表示されているオリジナルのテキストにおいて対応する変更をトリガできる。
本発明の他の実施態様は、既に概略的に説明したユーザインターフェースのように、マシン生成テキストを編集又は修正するためのユーザインターフェースを提供及び/又は使用するシステム及び方法に関する。上述のようなユーザインターフェースを呼び出し、かつ/又は起動するシステム及び方法は、例えば、(a)(任意の好適な、又は使用可能な入力デバイス又は入力要素からの)訂正インターフェースを要求する入力を受け取ることと、(b)その入力に応答して訂正インターフェースを起動することとを含むことができる。そのようなユーザインターフェースを用いるシステム及び方法の実施例は、例えば、(a)オリジナルのテキスト(例えば、電子インクテキスト、マシン生成テキスト、又はコンピュータにある他の情報)の少なくとも一部を選択する(例えば任意のタイプの入力要素又は入力デバイスからの)入力を受け取ることと、(b)その入力に応答して訂正インターフェースを起動することとを含むことができる。本発明によるシステム及び方法の少なくともいくつかの実施例では、訂正インターフェースは、上述のような構成及び機能を有することができる。
本発明の実施態様は、また上述のようにユーザインターフェースを提供及び起動することと、上述のようなシステム及び方法を含むそのようなインターフェースを用いて各種方法を実行し、かつ/又は各種システムを操作することの、コンピュータで実行可能な命令を格納するコンピュータ読取可能な媒体にも関する。
III.ハードウェアの実施例
図1は、本発明の各種態様を実装するために用いることのできる汎用デジタルコンピューティング環境の概略図である。図1に示したコンピュータ100は、処理装置110、システム120及びシステムバス130を含み、システムバス130は、システムメモリ120を含む各種システムコンポーネントを処理装置110に結合されている。システムバス130には、メモリバス又はメモリコントローラ、ペリフェラルバス、任意の各種バスアーキテクチャを用いるローカルバスなど、様々なタイプのバス構造を任意に用いることができる。システムメモリ120は、読み出し専用メモリ(ROM)140及びランダムアクセスメモリ(RAM)150を含むことができる。
基本入出力システム160(BIOS)は、起動時などにコンピュータ100内の要素間での情報の転送を支援する基本ルーチンを含み、ROM140に格納されている。コンピュータ100は、さらにハードディスク(図示せず)を読み書きするハードディスクドライブ170と、リムーバブル磁気ディスク190を読み書きする磁気ディスクドライブ180と、CD−ROMや他の光媒体などのリムーバブル光ディスク192を読み書きする光ディスクドライブ191を含むことができる。ハードディスクドライブ170、磁気ディスクドライブ180、及び光ディスクドライブ191は、それぞれ、ハードディスクドライブインターフェース192、磁気ディスクドライブインターフェース193、及び光ディスクドライブインターフェース194によってシステムバス130に接続されている。これらのドライブとこれらに関連付けられたコンピュータ読取可能な媒体は、パーソナルコンピュータ100で用いられるコンピュータ可読命令、データ構造、プログラムモジュール、及びその他のデータの不揮発性記憶を実現する。当業者であれば、コンピュータからアクセスできるデータを格納できるその他のタイプのコンピュータ読取可能な媒体(磁気カセット、フラッシュメモリカード、デジタルビデオディスク、Bernoulliカートリッジ、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)など)も実施例の運用環境で用いることができる。
ハードディスクドライブ170、磁気ディスク190、光ディスク192、ROM140、又はRAM150には、オペレーティングシステム195、1つ又は複数のアプリケーションプログラム196、他のプログラムモジュール197、及びプログラムデータ198を含む多数のプログラムモジュールを格納できる。ユーザは、キーボード101及びポインティングデバイス102(マウスなど)などの入力デバイスを用いてコマンドや情報をコンピュータ100に入力できる。他の入力デバイス(図示せず)として、マイク、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナなども挙げられる。これらの入力デバイスや他の入力デバイスは、多くの場合、システムバス130に結合されたシリアルポートインターフェース106を介して処理装置110に接続されるが、他のインターフェース(パラレルポート、ゲームポート、ユニバーサルシリアルバス(USB)など)に接続される場合もある。さらにまた、これらのデバイスは、しかるべきインターフェース(図示せず)を介してシステムバス130に直接結合される場合もある。
モニタ107や他のタイプのディスプレイデバイスも、ビデオアダプタ108などのインターフェースを介してシステムバス130に接続できる。パーソナルコンピュータは、通常、モニタ107のほかに、スピーカやプリンタなど、他のペリフェラル出力デバイス(図示せず)を含んでいる。一実施例では、手描き入力をデジタルキャプチャするために、ペンデジタイザ165と、付随するペン(スタイラス)166が設けられる。図1では、ペンデジタイザ165とシリアルポートインターフェース106との接続を示したが、実際には、ペンデジタイザ165を処理装置110に直接結合したり、何らかの適切な方法(例えば周知のように、パラレルポート又は他のインターフェースとシステムバス130とを介する方法)で処理装置110に結合したりできる。さらに、図1ではデジタイザ165とモニタ107が離れているが、デジタイザ165の利用可能な入力領域をモニタ107の表示領域とつなげることができる。さらにまた、デジタイザ165を、モニタ107に組み込んだり、モニタ107と重なり合うか、それ以外の形でモニタ107に付加された他のデバイスとすることができる。
コンピュータ100は、1つ又は複数のリモートコンピュータ(リモートコンピュータ109など)との論理接続を用いたネットワーク環境で動作することができる。リモートコンピュータ109としてサーバー、ルーター、ネットワークPC、ピアデバイス、又は他の共通ネットワークノードを用いることができ、リモートコンピュータ109は、通常、コンピュータ100について上述した要素のほとんど又はすべてを含むが、簡潔さのために、図1ではメモリ記憶デバイス111だけを示した。図1に示した論理接続は、ローカルエリアネーム(LAN)112とワイドエリアネットワーク(WAN)113を含んでいる。このようなネットワーキング環境は、有線接続と無線接続の両方を用い、オフィス、企業規模コンピュータネットワーク、イントラネット、及びインターネットではおなじみである。
コンピュータ100は、LANネットワーキング環境で用いられる場合は、ネットワークインターフェース又はアダプタ114を介してローカルエリアネットワーク112に接続されている。パーソナルコンピュータ100は、WANネットワーキング環境で用いられる場合は、通常、インターネットなどのワイドエリアネットワーク113上で通信リンクを確立するためのモデム115又は他の手段を含む。モデム115は、コンピュータ100に内蔵又は外付けでき、シリアルポートインターフェース106を介してシステムバス130に接続されている。ネットワーク環境では、パーソナルコンピュータ100に関して示されたプログラムモジュール又はプログラムモジュールの一部は、リモートメモリ記憶デバイスに格納されている。
図示したネットワーク接続は実施例であり、コンピュータ間の通信リンクを確立する他の手法も使用可能である。TCP/IP、イーサネット(登録商標)、FTP、HTTP、UDPなどのよく知られた各種プロトコルのいずれかが当然存在すると考えられ、システムは、ユーザ−サーバー構成で動作して、ユーザがWebベースのサーバーからWebページを取得することを可能にできる。Webページのデータの表示や操作には、何種類もある通常のWebブラウザをどれでも用いることができる。
図1に示した環境は、1つの実施例の環境であり、他のコンピューティング環境も用いることができる。例えば、本発明の1つ又は複数の実施例では、図1に示して説明した各実施態様のすべてより少ない態様を有する環境を用いることができ、それらの実施態様は、当業者には自明な各種の組合せ及び下位の組合せになる。
図2は、本発明の各実施態様に従って用いることのできるペンベースのパーソナルコンピュータ(PC)を示す図である。図2のコンピュータ201は、図1のシステムの特徴、サブシステム、及び機能のいずれか又はすべてを含むことができる。ペンベースのパーソナルコンピュータシステム201は、複数のウィンドウ203を表示する大きな表示部表面202(例えば、液晶ディスプレイ(LCD)画面などのデジタイズ用フラットパネルディスプレイ)を含んでいる。ユーザは、スタイラス204を用いて、デジタイズ表示領域上で選択、ハイライト、書き込みなどを行い、それによって、電子インクデータをシステムに入力することができる。好適なデジタイズ用ディスプレイパネルとして、Mutoh Co.(現在はFinePoint Innovations Co.)製又はWacom Technology Co.製のペンデジタイザのような電磁ペンデジタイザが挙げられる。他のタイプのペンデジタイザ(例えば、光デジタイザ)も用いることができる。データを操作し、テキストを電子インクとして入力し、通常のコンピュータアプリケーションタスク(スプレッドシートの作成、編集、修正、ワードプロセシングプログラム、その他)を実行するためにスタイラス204を用いて行われたジェスチャを、ペンベースのコンピューティングシステム201が解釈する。
スタイラス204は、その機能を強化するためにボタンや他の機能を備えることができる。一実施例として、スタイラス204は、一端が筆記部を構成し、他端が「消しゴム」端を構成する「鉛筆」又は「ペン」として実装できる。そして、ディスプレイの端から端までスタイラス204を動かすと、消されるべき電子インク部分がディスプレイ上に表示される。他のタイプの入力デバイス(マウス、トラックボール、キーボードなど)も用いることができる。また、ユーザが自分の指を入力デバイスとして用い、例えば、タッチ感応型(touch−sensitive)又は近接感応型(proximity−sensitive)ディスプレイに表示されたイメージの一部を選択したり、示したりすることができる。したがって、本明細書で用いる「ユーザ入力デバイス」という用語は、広い意味を持ち、よく知られた入力デバイスの様々な変形形態を包含するものである。
本システムは、各実施例において、インクプラットフォームを、一式のCOM(コンポーネントオブジェクトモデル)サービスとして提供する。オペレーティングシステム及び/又はアプリケーションプログラムは、このCOMサービスを用いて、インク及び/又は他のペンによるアクションやイベントの取り込み、操作、及び保存を行うことができる。インクプラットフォームは、拡張可能マークアップ言語(XML)のような言語を含むマークアップ言語も含むことができる。インクプラットフォームの他の実施例は、DCOM(分散コンポーネントオブジェクトモデル)実装を用いることができる。さらに他の実施態様は、Microsoft CorporationのWin32プログラミングモデル及び.Netプログラミングモデルを含んで用いることができる。これらのプラットフォームは市販されており、当該技術分野においては周知である。
本発明の実施態様は、最高性能のペンベースのコンピューティングシステムや「タブレットPC」(例えば、コンバーチブルラップトップや「石板」タイプのタブレットPC)で用いるのに加えて、電子インクとしてのデータの受け入れ、及び/又は電子ペン(スタイラス)入力の受け入れ、処理、又は表示を行う他のタイプのペンベースのコンピューティングシステム及び/又は他のデバイスと併せて用いることができる。それらの他のタイプのシステムやデバイスとして、ハンドヘルド又はパームトップコンピューティングシステム、携帯情報端末、ポケットパーソナルコンピュータ、携帯(及びセルラ)電話、ページャ、その他の通信機器、時計、電気器具、及び他の任意の、モニタ又は他のディスプレイ機器及び/又はデジタイザを含むか、印刷情報又はグラフィカル情報をユーザに提示し、かつ/又は電子ペン(スタイラス)による入力を可能にするか、他のデバイスで収集された電子インクを処理できる機器又はシステム(例えば、タブレットPCで収集された電子インクを処理できる従来のデスクトップコンピュータ)が挙げられる。
以下、本発明の説明を、残りの図面と併せて行う。これらの図面は、本発明の各実施例ならびに本発明の説明を補う情報を示す。以下の詳細説明に含まれる個々の図や情報は、けっして本発明を限定するものではない。
IV.本発明によるユーザインターフェース、システム、方法及びコンピュータ読取可能な媒体の実施例
上述のように、本発明の実施態様は、主に、ペンベースのコンピューティングシステム及び他の、ペンを入力デバイスとして用いるコンピューティングシステムを用いて、電子テキストと対話したり、電子テキストを処理したりするためのユーザインターフェース、システム及び方法に関する。マウス(又は他の何らかのポインティングデバイス)及び/又はキーボードを含む従来のコンピューティングシステムでは、マシン生成テキストを編集することは比較的簡単であり、そのようなシステム及び方法はユーザに非常になじみがある。しかしながら、ペンベースのコンピューティングシステムが普及するにつれ、そのような従来の、ハードウェアベースの編集ツールは、ユーザが常に利用可能であるとは限らず、また、ユーザに好まれるともかぎらない(特に、すべてのデータの入力や、コンピュータのユーザインターフェース及びオペレーティングシステムのすべての操作を、ペンだけを用いて行っているユーザの場合)。場合によっては、ユーザはソフトキーボードを呼び出し、それとペンを用いてテキストを編集することができるが、そのような操作は遅く、効率が悪く、いらいらする可能性がある。特に、大量のテキストをレビューして編集しなければならない場合はそうなる。
図3Aは、ペンベースのコンピューティングシステムでの手書きユーザ入力の例を示す図である。この例では、ユーザは、ペンベースのコンピューティングシステムのデジタイザ画面300にペンで「confection」という単語を書き、コンピュータは、当業者には周知の従来の方法で、この情報を電子インクとして保存する。電子インクデータは、ISF(Ink Serialized Format)形式など、当該技術分野では周知の従来の方法や形式を用いることを含め、本発明から逸脱することなく、任意の好適な方法で収集でき、任意の好適な形式で保存できる。
本発明の少なくともいくつかの実施例によるシステム及び方法は、電子インクデータの収集中又は収集後の任意の適切なタイミングで、このデータを、当該技術分野では周知であるように、手書き認識エンジンに送り、このエンジンは、その手書き入力データに対応するテキストを認識しようとする。本発明によるシステム及び方法では、(Microsoft Corporation of Redmond,Wash.から入手可能な)Windows(登録商標) XP Tablet PC Edition(商標)オペレーティングシステムで用意される1つ又は複数の手書き認識エンジンや、他の周知又は従来の手書き認識エンジンなど、任意の所望の手書き認識エンジンを用いることができる。本発明の少なくともいくつかの実施例によるシステム及び方法は、任意で、データの収集中、ユーザがインクの入力を中止してから所定の時間内、及び/又は他の任意の好適な、又は所望のタイミング又は間隔で、データを手書き認識エンジンに自動的に送ることができる。他の代替実施例として、ユーザは、少なくともいくつかの場合に、例えば(任意に、利用可能な手書き入力のいくつか又はすべてを選択した後に)アイコン及び/又はメニューアイテムをペンでタップすることによって、データを手書き認識エンジンに送る適切なアクションを実行できる。手書き認識は、手書き電子インクテキストをマシン生成テキスト(例えば、従来のコンピュータオペレーティングシステムや、ワードプロセシングプログラム、スプレッドシート、Webブラウザ、電子メールプログラム、インスタントメッセージングプログラムなどの従来のアプリケーションプログラムでより使いやすいテキスト)に変換するために用いることができる。
ただし、手書き認識ソフトウェアは、オリジナルの手書きインク入力に正確に対応するマシン生成テキストを常に生成できるとは限らない。これは、認識エンジンのエラー、読みにくい手書き文字、認識エンジンの辞書の内容不足などが原因である。そのような場合、ユーザは、手書き認識エンジンが生成したマシン生成テキストを訂正して、オリジナルの書き手の意志を正確に反映させたいであろう。さらに、場合によっては、手書き認識ソフトウェアがオリジナルの手書きテキストを正確に認識していても、ユーザがペンベースのコンピューティングシステムにおいてペンを用いてテキストを修正又は編集することが必要になるかもしれない。本発明の実施態様は、またユーザが、任意のソースからのマシン生成テキストを、ペン及びペンベースのコンピューティングシステムを用いて1文字ずつ自由に編集することを可能にする。
したがって、様々な理由により、ユーザは、ペンベースのコンピューティングシステムで動作しているアプリケーションプログラムに存在するマシン生成テキストを変更又は編集したい場合がある。これは、本発明の少なくともいくつかの実施例では、編集又は修正する1つ又は複数の単語を選択し、選択した単語もしくは単語群に対応するマシン生成テキストを1文字ずつ編集又は修正することを可能にする「訂正部」又は他の訂正インターフェースを呼び出すか要求することによって達成される。図3Aに示した例で、この手書きテキストが従来の手書き認識ソフトウェアに送られ、このソフトウェアが手書きの単語「confection」の認識を試みたものの、単語「correction」と誤認識したとする。ユーザがマシン生成テキスト「correction」を選択すると(あるいは、任意で、オリジナルのインクテキストを選択すると)、訂正インターフェース(例えば、図3Bに示した、実施例の訂正部310)が表示される。
本発明のこの実施例による訂正部310は、「correction」とつづられた単語を含み(このマシン生成テキストは手書き認識ソフトウェアから取得されている)、この単語の各文字は、個他の文字スロット312に入っている。隣接する文字間にスペース314が確保され、この実施例ではさらに、空白開始端スロット(blank leading end slot)316及び空白終了端スロット(blank trailing end slot)318も設けられる。スクロール矢印320は、ユーザが、編集中又は修正中のマシン生成テキスト内を文字単位及び/又は単語単位で前方又は後方に移動することを可能にする。これについては後で詳述する。スクロールバー320による移動は、文字単位、単語単位、及び/又は他の任意の好適な、又は所望の方法で行うことができる。
図4A乃至図4Gは、例えば、図3Bに示した訂正部を含む各種の訂正インターフェースと併せての実現及び使用が可能な、想定される修正、訂正、又は編集のアクションの例を示す図である。図4Aに示すように、訂正部310には、「correction」とつづられた単語が1文字ずつ表示される。ただし、図4Aの例では、ユーザが、その単語の2つ目の「r」を選択している。この選択アクションの表示は、任意の好適な形式で行うことができるが(必要であれば、表示しないことも可能であるが)、図示した例では、選択は、選択された文字の色を変えることで示され(例えば、図示した例のややグレイがかった文字、太文字、その他)、表示は、この選択された文字に関してドロップダウンメニューが使用可能なインジケータ402を含んでいる。
選択は、任意の好適な、又は所望の方法で、あるいは、任意の好適な、又は所望のアクションの結果として、本発明から逸脱することなく行うことができる。例えば、本発明によるユーザインターフェース、システム、及び方法のいくつかの実施例では、ペンでデジタイザ画面又はディスプレイ画面をタッチすると(「ペンダウンイベント」)、接触位置に文字があればその文字の選択が行われる(例えば、訂正部310内の文字又は文字スロット312で占められている「バウンディングボックス」の内側でペンがデジタイザ画面に接触すると、このアクションの結果として、その文字を選択できる)。本発明によるシステム及び方法の他の実施例では、ペンがデジタイザ表面の近傍をホバリングしている間、デジタイザがペンを検知できる。本発明の少なくともいくつかの実施例では、ホバリングイベント(及びその結果である、ホバリング位置において対応する文字又は文字スロット312の選択)は、ユーザが、訂正部310と対話するためにデジタイザ表面に向かってペンを移動している間に何らかの方法で検知が可能であり、実行が可能である。
ペンのホバリングイベントの検出は、当業者には周知の従来の方法を含め、任意の好適な方法で、本発明から逸脱することなく達成できる。例えば、ペンベースのコンピューティングシステムで用いられるペンには「アクティブ」なものがある。「アクティブ」なペンとは、本明細書では、ペンがデジタイザ表面の近傍に位置するときに、デジタイザによって送信され、かつ/又はデジタイザによって検出できるエネルギー、データ、又は他の情報を送信するか、反射するか、変化させるか、修正するペンを意味する。実施例として、ペンは、デジタイザから放出されたエネルギーを受け取り、かつ/又はデジタイザから送信され、かつ/又はデジタイザによって検知される磁界又は電界を変化させる回路又は他の構造を含むことができ、デジタイザ表面の近傍のペンの存在が、検知された磁界又は電界の変化によって、デジタイザに検知されるようにできる。他の実施例として、ペンは、少なくともペンがデジタイザ表面の近傍に位置するときに、デジタイザが検出できるデータ、電界又は磁界、又は他のエネルギー又は情報を送信又は反射できる。ペンがデジタイザ表面の近傍に位置するときにペンの存在を検知又は検出する任意の好適な、又は所望の方法を、本発明から逸脱することなく用いることができる。
ペンとデジタイザの組合せは、デジタイザ表面に対してほぼ任意の、ほどほどの位置にあるペンの検知を可能にするように設計できるが、少なくともいくつかの、アクティブペンを有する従来のペンベースのコンピューティングシステムでは、ペンは、最初はデジタイザ表面から約1.5から2インチ(3.81から5.08cm)にあるときに検知可能であり、いくつかの例では、約0.5から1インチ(1.27から2.54cm)にあるときに検知可能である。そのようなシステムでは、必要であれば、訂正インターフェースのデジタイザ又はディスプレイ画面の表面の上方でペンがホバリングしたときに、文字又は文字スロット(又は単語(これについては後で詳述))が選択されるようにできる。この場合は、ホバリングアクション中にペンの先端のすぐ下又はすぐ近くにある文字又は文字スロット(又は単語)が、選択される文字又は文字スロット(又は単語)になる(例えば、文字又は文字スロット(又は単語)のバウンディングボックスの上でホバリングアクションが実行されると、その文字又は文字スロット(又は単語)が選択される)。
図4Aに示した訂正部310の実施例を用いて、様々な方法で、マシン生成テキストの変更を行うことができる。例えば、図4Bに示すように、ユーザは、ペンを用いて、オリジナルの文字又は文字スロット312(この図の例では2つ目の「r」)の上又は近くに電子インクで所望の新しい文字(この図の例では「f」)を書くだけで、マシン生成テキストの文字を変更できる。この新しい電子インク文字が手書き認識エンジンに送られ、その新しく手書きされた文字に対応する新しいマシン生成文字に、オリジナルのマシン生成文字が置き換えられる。必要であれば、任意で、新しく書かれた文字の左側及び/又は右側にある1つ又は複数の文字又は単語に関連付けられたマシン生成テキスト及び/又はオリジナルのインクも認識エンジンに送ることができる。これは、例えば、新しく書かれた文字についてより多くの文脈を提供すること、及び(認識エンジンに関連付けられた辞書をよりよく用いることを可能にして)より正確な認識を支援することを意図するものである。本発明の少なくともいくつかの実施例及び/又は少なくともいくつかの場合には、手書き認識ソフトウェアは、文字スロット312にあるオリジナルの文字(オリジナルの「r」)を意識しており、新しいマシン生成文字が確定したときにこのオリジナルの文字を選択することを避ける(すなわち、オリジナルの文字が正しければ、ユーザは変更をしないだろうという想定により、オリジナルの「r」を新しい「r」で置き換えない)。ただし、本システム及び方法は、ユーザが単語の全体又は一部分を書き直していることを(例えば、連続する複数の文字に関連付けられるインク入力を比較的高速な方法で記録することによって)確認した場合には、ユーザが単語の全体又は一部を書き直していると見なして、上述の文字認識制約を適用しなくてもよい(ユーザによっては、前に正しく認識された文字も含めて、訂正部310内の単語の全体又は一部を手早く書き直してしまうことがある。特に訂正部310内に変更しなければならない文字が複数ある場合はそのようにするだろう)。
図4Bには、訂正部310で行われる訂正又は変更の実際の電子インクを示しているが、これは必要条件ではない。むしろ、デジタイザは、文字スロット312で電子インクを実際にレンダリングすることはせずに、入力を単純に収集して認識エンジンに送ることができる。他の方法として、所定の時間内及び/又は認識エンジンから提供される新しく認識されたマシン生成文字に置き換えられるまで、文字スロット312内でインクをレンダリングしておくこともできる。
図4Bに示した変更を行うことにより、この例のマシン生成文字は、図4Cに示すように、文字列「corfection」を含んでいる。この修正の続きとして、図4Cに示すように、ユーザは、例えば上述のペンダウンイベント又はホバリング選択アクションにより、次の変更対象として1つ目の「r」を選択した。この選択は、再び、その文字の色変更と、その文字スロット312に関連付けられたドロップダウンメニューインジケータ402の表示によって示される。この実施例では、ユーザは、この実施例のドロップダウンメニューで可能なオプションを用いてテキストをさらに編集することを決め、ドロップダウンメニューインジケータ402をペンでタッチする。それにより、メニュー404の全体が表示される。もちろん、ドロップダウンメニュー404は、任意の所望の方法で(又は任意の所望のアクションの結果として)、本発明から逸脱することなく起動できる。
この実施例のドロップダウンメニュー404は、種々の代替文字選択のリストを含んでおり、ユーザは、このリストで選択した文字を、当初認識されていた文字に対応するマシン生成文字に代入できる。ユーザは、(例えば、所望の代替文字をペンでタッチするか、他の何らかの好適な方法で)メニュー404から特定の文字(又は、可能であれば文字列)を選択でき、この選択された代替文字に対応するマシン生成テキストに、オリジナルのマシン生成テキストが置き換えられる。図4Cに示した例では、ユーザがメニュー404の文字「n](図4Cのクロスハッチ部分)をペンでタップすることによって代替文字「n」が選択され、これによって、図4Dに示すように、最終的に単語「confection」が生成される。
図4Cに示すように、ドロップダウンメニュー404に含まれるのは、他の代替文字だけでなくてもよい。それ以外に、ドロップダウンメニュー404は、本発明から逸脱することなく、句読点及び/又は他の植字上の記号を含むことができる。さらに、1つの一般的な方法として、ドロップダウンメニュー404は、訂正部310に最初からある文字と同じ文字であって、オリジナルのマシン生成文字と大文字小文字が逆である文字を含むこともできる(この図の例では「R」)。かつ/又は、最初からある文字と同じ文字であって、マシン生成文字の内容を明確にする(例えば、大文字「O」と「0(ゼロ)」を区別するための)説明テキストを含むこともできる。さらにまた、ドロップダウンメニュー404は、選択された文字に関してユーザが様々なアクションを実行することを可能にすることもできる(例えば、文字を削除する、(任意で、インクインターフェースを呼び出して)電子インクで文字を書き直す、文字の前又は後にスペースを挿入するなど)。ドロップダウンメニュー404により、任意の好適な、又は所望の文字、記号、又はアクションを、本発明から逸脱することなく利用可能にすることができる。
さらに、ドロップダウンメニュー404のリストにある文字、記号、アクション、その他を、本発明から逸脱することなく、任意の好適なソースから取得できる。例えば、ドロップダウンメニュー404は、文字が最初に認識されたときに手書き認識エンジンから取得した文字又は記号のリストを提供できる。他の実施例として、認識エンジンによって特定のマシン生成文字が生成された場合に、可能な選択肢のあらかじめ決められたリストが生成され、ユーザに提供されるようにできる(例えば、認識エンジンによって小文字の「l」が認識された場合には、ドロップダウン404で提供される可能な選択肢に必ず大文字の「I」と感嘆符「!」が含まれるようにしたり、「I」又は感嘆符「!」が認識された場合に必ず残りの2つが同様に含まれるようにしたりできる)。さらに他の実施例として、ドロップダウンメニュー404が起動されたら、各文字に対して、すべての可能な選択肢のリストが提供される(又は利用可能になる)ようにできる。
図4Eには、本発明の少なくともいくつかの実施例による訂正部310でのテキスト編集の他の手続きを示している。この図示した例では、ユーザが、(例えば、ペンダウンイベント又はホバリングアクションで)文字「f」を選択し、選択した文字の上で、電子インクで削除ジェスチャ410(例えば、この例では「×印で削除する」ジェスチャか「線を引いて削除する」ジェスチャ)を書く。このアクションは、本発明の少なくともこの実施例では、その文字と、その文字に関連付けられたスペースを削除する(その結果が、図4Fに示すマシン生成文字列「conection」である)。あるいは、本発明によるシステム及び方法のいくつかにおいて、必要であれば、削除ジェスチャは、その文字だけを削除し、その文字スロット312に関連付けられた空白スペースを残すことができる。
本発明の少なくともいくつかの実施例では、開始スペース316及び/又は終了スペース318の削除を特他の扱いにすることができる。具体的には、必要に応じて、開始スペース316又は終了スペース318の削除を、その削除されるスペースによって区切られている2つの単語を1つの単語にまとめるために行うことができる。
削除ジェスチャは、図4Eに示すような、線を引く削除であることも、他の任意のタイプのジェスチャであることも、本発明から逸脱することなく可能である。もちろん、当該技術分野では周知の標準的な編集機能に対応するジェスチャを含め、他のジェスチャも、任意の好適な、又は所望の機能を実行するために、本発明から逸脱することなく用いることができる。例えば、ジェスチャを用いて、小文字を大文字に変更したり、大文字を小文字に変更したりできる。他の実施例として、ジェスチャを用いて、連続する2つの文字列の順序を入れ替えることができる。さらに他の実施例として、文字スロット312の行のすぐ下で2つの文字スロット312の間に配置される上矢印又は挿入記号(カレット)を、空白スペースの挿入を示すジェスチャとして用いることができる(この空白文字は、後で必要に応じて、任意の所望の文字で埋めることができる)。他のジェスチャも可能である。本発明の少なくともいくつかの実施例では、ユーザは、各自の固有の編集スタイルに合わせてインターフェースをパーソナライズするために、特定の機能、アクション、文字、又は記号に対応する特定のジェスチャを指定及び/又は作成できる。
図4Fには、本発明のこの実施例の訂正部310を用いてテキストを1文字ずつ編集する方法の、さらに他の実施例を示している。この実施例では、ユーザが、隣接する文字スロット312同士の間のスペース314に所望の文字をペンで書くだけで、隣接する既存の2つの文字の間に新しい文字を挿入する。具体的に図示した例では、ユーザは、1つ目の「n」を含む文字スロット312と、「e」を含む文字スロット312との間のスペース314に電子インクで文字「v」を書く。書かれた新しいインクが手書き認識エンジンに送られ、訂正部310の文字列に新しい文字スロット312が追加され、新しく認識されたマシン生成文字が、対応するマシン生成テキストに含められる。この例では、結果として得られた語句は、図4Gに示すように、単語「convection」を含む。上述のように、電子インクが実際にレンダリングされることは必要条件ではないが、本発明の実施例によるシステム及び方法は、必要に応じてそれを行うことができる。
本発明によるシステム及び方法の少なくともいくつかの実施例では、ユーザは、訂正インターフェースにある隣接する2つの文字の間(例えば、隣接する文字スロット312同士の間のスペース314)に複数の文字を書くことができ、このアクションが、本システム及び方法によって、その場所にある単語にすべての新しい文字が挿入される挿入アクションとして解釈されるようにできる。いくつかの実施例では、書くアクションがすべて実行されたときだけ、訂正インターフェース上の既存の2つの文字の間に複数の文字を挿入できる。他の実施例では、任意に複数の文字を書くことが、最初に書かれた文字の場所での挿入、又は最初に書かれた文字の場所に対応するスペースでの挿入として扱われるようにできる(例えば、挿入する書き込みの一部がスペース314を含んだり、文字スロット312に重なったりしても、そのようにできる)。複数文字の挿入処理の、他の任意の好適な、又は所望の方法も、本発明から逸脱することなく用いることができる。
もちろん、ここまで図3Aから図4Gと併せて例示及び説明した訂正インターフェースの実施例は、本発明による訂正インターフェースの少なくともいくつかの実施例で利用可能な機能及びアクションの実施例を与える。当業者であれば、説明したそれらの機能やアクションのすべてが、本発明によるすべてのユーザインターフェース、システム及び方法で必要であるとは限らないこと、ならびに説明した機能やアクションのすべてが、あらゆる時間帯及び/又はあらゆる状況で利用可能でなければならないとは限らないことを認識されよう。むしろ、これまでに具体的に説明した訂正機能、アクション、及び/又はそれらの組合せ、及び/又はその他の機能、アクション、及び/又はそれらの組合せを含む、任意の好適な、又は所望の訂正機能、アクション、及び/又はそれらの組合せが、訂正インターフェースを通して、本発明から逸脱することなく利用可能であるようにできる。
図3Aから図4Gの実施例では、編集中の選択された単語が、訂正部310の割り当てられたスペースに完全に収まっている。これは常に当てはまるとは限らない。例えば、図5は、「antidisestablishmentarianism」という単語が選択されている訂正部310の例を示す。この場合、単語の全体が訂正部310に収まりきらないため、その一部が表示される(図では文字「blishmentari」)。この種の長い単語が選択された場合、任意で、訂正部310は、最初に開始空白文字スロット316を表示し、訂正部310の空きスロット312が埋まるまで、選択された単語の最初の文字群(又は複数の単語が選択された場合は最初の単語)が表示される。上述のように、ユーザは、スクロールボタン320を用いて1文字ずつ移動できる。必要であれば、選択された単語の先頭及び/又は末尾まで、あるいは選択された範囲の先頭の単語及び/又は末尾の単語まで(複数の単語が選択された場合)、あるいは文書又はページの先頭の単語及び/又は末尾の単語まで、あるいは単語から単語まで、あるいはその他の場所までユーザを誘導するために、スクロールボタン320(あるいは、追加スクロールボタン又は他のメニューアイテム)を、本発明から逸脱することなく設けることができる。
図3Aから図5と併せて説明した訂正インターフェース又は訂正部は、より完結した、より汎用性のある訂正インターフェースの全体の一部を構成することができる。図6Aは、本発明のさらなる態様による訂正インターフェース、システム、及び方法を有するペンベースのコンピューティングシステムのいくつかの実施例で用いられたときに電子インク入力を含むディスプレイ画面600の実施例を示す。この実施例では、ディスプレイ600はユーザの電子インク入力(行602及び604)を含み、この電子インク入力は手書き認識エンジンに送られている。その認識結果は、それぞれが対応するインク行602及び604の下に隣接するマシン生成テキスト行606及び608として与えられる。この場合、手書き認識エンジンは、いくつかの認識エラーを起こしている。具体的には、電子インク入力行602(「All together now.」)が「All to get her now.」(行606)と誤認識されている。さらに、電子インク入力行604(「Sample text.Sample text.」)が「Sample text.Simple text.」(行608)と誤認識されている。
このように認識エンジンにエラーがあるので(かつ/又は他の任意の要求上の理由により)、ユーザは、テキストの編集をこのアプリケーションプログラムの中で行うよう決めることができる。この実施例のシステム及び方法によれば、ユーザは、マシン生成テキスト及び/又は電子インクテキストの中の1つ又は複数の単語を選択することによって、訂正又は編集の手続きを開始又は起動できる。選択は、上述の様々な方法のどれでも行うことができる。例えば、選択対象の単語をペンでタッチ又はタップする方法(例えば、選択対象の単語が複数の場合は、ペンでタッチアンドドラッグアクションを行う方法)や、選択対象の単語の上でペンをホバリングさせる方法(例えば、選択対象の単語が複数の場合は、ペンでホバリングアンドドラッグアクションを行う方法)や、他の任意の好適な、又は所望の方法で行うことができる。図示した例では、図6Aにハッチングで示したように、ユーザは、マシン生成テキストの単語「get」610を選択している。
この実施例の訂正手続きが開始されると、図6Bで表示部600の上に重なるパネルとして示される訂正インターフェース620が起動される(電子インクテキスト行602とこれに対応する認識されたマシン生成テキスト行606はそのまま表示される)。少なくともこの実施例の訂正インターフェース620は、最初に選択されたマシン生成テキスト610の近くに位置する。この実施例の訂正インターフェース620は、図3Aから図5と併せて例示及び説明した各種編集操作(例えば、1文字ずつの修正、削除、追加や、スペースの削除や追加など)をサポートできる訂正部622を含んでいる。この図示した実施例では、選択された単語610(この例では「get」)が訂正部622の中央に表示され、何らかの方法(図示した例では太字書体)で強調表示されて、それが選択された単語であることを示す。この例では、選択された単語610が比較的短いので、選択された単語610の直前及び直後の文字及び単語も、強調ではない書式(図示した例では、細字書体)で訂正部622に表示される。注目すべきは、マシン生成テキスト行606がディスプレイ600に表示されたままであり、選択された単語610が選択されたままになっていることである。ユーザは、上述のように、必要に応じて、移動矢印及び/又は他の任意の好適な方法を用いて1文字ずつ又は1語ずつ移動できる。あるいは、必要であれば、本発明から逸脱することなく、選択された単語610が、先頭の単語として訂正部622に表示されるようにできる(任意で開始空白スペースを付けることができる)。
この実施例の訂正インターフェース620は、訂正部622のほかに、「候補リスト」624を含んでいる。候補リスト624は、認識エンジンが最初に与えた単語を置き換える候補として認識エンジンが返した様々な代替単語624aを含む。図示した例では、単語「get」610が選択されているが、認識エンジンは、可能性のある6つの代替単語624aを候補リスト624に提示している。すなわち、「Get」(語頭が大文字)、「got」、「goat」、「gel」、「jet」、及び「jot」である。オリジナルの単語と置き換えるべき正しいマシン生成単語が認識エンジンから返されて候補リスト624に含まれる場合は、ユーザが候補リスト624から所望の単語624aを(例えば、そのアイコンをペンでタップするか、他の任意の適切な方法で)選択でき、本発明のこの実施例によるシステム及び方法は、最初に認識されていたマシン生成テキスト610を削除し、それを候補リスト624において新しく選択されたマシン生成テキスト624aで置き換える。必要であれば、この選択が行われた後、訂正インターフェース620が閉じられ、新しく選択されたマシン生成テキスト624aがマシン生成テキスト行606に表示されるようにできる。
もちろん、本発明から逸脱することなく、候補リスト624に任意の数の代替候補を表示させることができる。さらに、本発明から逸脱することなく、訂正インターフェース620が起動されると自動的に候補リスト624が表示されるようにしたり、候補リスト624が訂正インターフェース620及び/又は訂正部622から離れて、それらと別に起動できるようにしたりできる。例えば、必要であれば、ユーザが起動できるポップアップディスプレイ又は他のインターフェース要素に候補リスト624及び/又は追加代替候補の全体が表示されるようにできる。さらに、図示した実施例では個々の代替候補624aが個他のアイコンとして表示されているが、本発明から逸脱することなく、任意の好適な形式又は書式で各種代替候補を表示できる。
本発明の少なくともいくつかの実施例では、ユーザが訂正部622で個々の文字を変更すると、訂正部622でのユーザによる変更が考慮及び尊重されて、候補リスト624とそれにリストされている個々の代替候補624aが更新及び変更されるようにできる。さらに、訂正部622でのユーザによる変更に対応して、(任意で、ユーザによる変更が入力及び認識された後ただちに)行606及び/又は608のマシン生成テキストが変更されるようにできる。さらに、本発明の少なくともいくつかの実施例では、個々の代替候補624aの1つが、文字単位での認識エンジンの最良の決定に対応するようにでき、これは、結果として得られる文字列が認識エンジンの辞書にない場合でも可能である。この機能は、特に認識エンジンの辞書にないテキストがオリジナルの手書きに含まれる場合(例えば、外国語、頭字語、略語などの場合)に、候補リスト624aが正しい文字列を含む可能性を高める。本発明のさらに他の実施例では、選択可能な代替候補624aの1つが、オリジナルのマシン生成テキストの語頭の大文字小文字を逆にしたものであるようにできる(少なくとも、その単語の語頭が大文字のものと小文字のものの両方が認識エンジンの辞書にある場合、かつ/又はその単語の語頭が大文字のものも小文字のものも認識エンジンの辞書にない場合)。
本発明のこの実施例の訂正インターフェース620はさらに、「タスクリスト」部626を含んでいる。タスクリスト部626は、訂正インターフェース620で選択されている単語又は単語群に関してユーザが実行する可能性のある各種のタスクやアクションを含んでいる。例えば、図示した実施例の訂正インターフェース620でタスクリスト626が含んでいるアクションは、「単語を削除する」(選択された単語をマシン生成テキスト行606から削除する)、「辞書に単語を追加する」、「フランス語として認識する」(選択内容に含まれる個々の単語又は一連の単語に対して言語及びその言語に対応した手書き認識エンジンをユーザが指定することを可能にする)、「ドイツ語として認識する」、及び「認識機能を改良する」(個々のユーザの癖や筆跡の特徴に基づく認識エンジンのカスタマイズを支援する)である。ユーザは、任意の所望のアクションを、デジタイザの、そのアクションに関連付けられた場所をペンでタッチすることによって選択できる。もちろん、本発明から逸脱することなく、例えば、単語を結合(マージ)する、大文字小文字を変更する、その他を含め、任意の所望のアクション又はタスクをタスクリスト626の一部として含めることができる。任意で、本発明の少なくともいくつかの実施例では、訂正インターフェースにおいて単語が訂正されると(任意で、同じ訂正が所定回数行われた後、かつ/又は同じ単語又は文字列が所定回数入力された後に)、その単語又は文字列が自動的にユーザの辞書に追加されるようにできる(必要な場合)。この方法で、システムは、個々のユーザの書くことの内容、特徴及びスタイルに自動的に適応でき、それによって、その後の認識結果をよりよいものにできる。
図7A及び図7Bは、本発明の他の実施例によるユーザインターフェースの各種追加機能を示す図である。この図示した例では、ディスプレイ600に表示される手書きテキスト行602及び604と、マシン生成テキスト行606及び608は、図6A及び図6Bの例と同じである。ただし、(図示した例において選択されているマシン生成単語「get」610のように)この実施例でマシン生成テキスト又は手書きテキストが選択されると、より短縮された訂正インターフェース700が、少なくとも最初は表示される。図示した実施例では、短縮された訂正インターフェース700は、候補リスト624(例えば、図6Bと併せて説明したものと同様)及び短縮されたタスクリスト626aを含む。
本発明の少なくともいくつかの実施例では、必要であれば、ユーザが候補リスト624又は短縮されたタスクリスト626aから代替候補の1つを選択するまで、あるいは、ユーザが何らかの適切な方法で(例えば、「閉じる」ボックス704をペンでタップする、他のアクションを開始する、訂正インターフェース700の外側をタップするなどして)このインターフェースを閉じるまで、この短縮された訂正インターフェース700を表示されたままにしておくことができる。あるいは、さらなるユーザ入力がないまま所定時間が経過した場合、かつ/又はユーザがペンをディスプレイ600から離してから所定時間が経過した場合に、(任意で所定のしきい値時間の間)訂正インターフェースを消すことができる。
最初に表示された候補リスト624及び/又は短縮されたタスクリスト626aにユーザの所望の代替単語及び/又はアクションが含まれない場合、ユーザは、さらに完備した訂正インターフェースを起動できる。より完備したユーザインターフェースの起動は、本発明から逸脱することなく、任意の好適な方法で行うことができる。例えば、より完備したインターフェースは、短縮されたタスクリスト626aにある「その他(more)」アイコン706をペンでタップすることによって起動できる。図7Aでは、「その他」アイコン706の選択をアイコン706のハッチングで示した。図7Bに示すように、図6Bの訂正インターフェース620など、任意の好適な、又は所望の訂正インターフェースが表示されるようにできる。ありうる他の選択肢として、本発明から逸脱することなく、例えば、短縮された訂正インターフェース700が起動されてから所定の時間内にさらなるユーザ入力がない場合に、訂正インターフェース620の全体が自動的に表示されるようにできる。本発明から逸脱することなく、より完備した訂正インターフェースを起動する他の任意の所望の方法を用意することもできる。
ありうる他の選択肢として、図7Bのインターフェース620から、例えば「その他」アイコン706を再度ペンでタップすることによって、さらなる代替訂正インターフェース(例えば、さらに長い、より完備した訂正インターフェース)が起動されるようにできる。本発明から逸脱することなく、短縮された訂正インターフェース700、より完備された訂正インターフェース620、及び/又は任意のさらなる訂正インターフェースから、任意の好適な、又は所望のタスク、プログラム、代替候補、又は訂正オプションを起動し、使用可能にすることができる。
図8は、少なくともいくつかの例、又は本発明の少なくともいくつかの実施例において用いることのできる他の訂正インターフェースの実施例を示す図である。この実施例のインターフェース800は、認識された単語が長すぎて、図6B及び図7Bに示した文字単位の訂正インターフェース622に収まりきらない場合に特に有用である。この種の長い単語は、特にドイツ語、ノルウェー語、及びその他のスカンジナビア系言語では一般的である。この実施例では、図6Aから図7Bに示したディスプレイ600と同様に、ディスプレイ画面600に電子インク行602及び604と、それらに対応する、認識されたマシン生成テキスト行606及び608とが、既に概略的に説明したとおりに表示されている(この例では、第2の電子インク行604が、上に重なっている訂正インターフェース800に完全に覆われている)。訂正インターフェース800が最初に表示されたとき(例えば、ユーザによる選択か、他の任意の所望の方法で起動されたとき)には、様々な単語が縦に並んだリストを含む候補リスト802が表示され、タスクリスト804も表示される。任意で、必要であれば、(図5に示した訂正インターフェース310と、図6B及び図7Bに示した訂正インターフェース622とに似た)文字単位の訂正インターフェースを、訂正インターフェース800から起動することができる。これは、例えば、「その他」アイコン806をペンでタップする方法や、所定時間後に自動的に起動される方法など、任意の好適な方法で起動できる。さらに他の方法として、必要であれば、本発明から逸脱することなく、インターフェース800が起動されたときに文字単位の訂正インターフェースも自動的に表示されるようにもできる。
図9A及び図9Bは、本発明の少なくともいくつかの実施例及び実施態様による機能を含む他の訂正インターフェースの実施例を表示するディスプレイ画面を示す図である。この実施例では、ディスプレイ画面600は、電子インク情報及び電子インク入力を表示し、かつ/又は受け入れるインキングパネル(又は部)902と、認識エンジンによって生成される、対応するマシン生成テキストを表示するマシン生成テキスト部(又はパネル)904とを含む。図6Aから図8と併せて説明した実施例と同様に、ユーザは、例えばインク又はマシン生成単語をペンタップ又はホバリングアクションで選択することによって、認識されたテキストを訂正できる。図9Aの例では、ハッチングで示すように、単語「get」906が選択されている。
本発明による、この実施例のシステム及び/又は方法で単語を選択すると、図9Bに示すように、訂正インターフェース900が表示される。図示した実施例の訂正インターフェース900は、図6Bと併せて例示及び説明した訂正インターフェース620の機能(文字単位の訂正部908、候補部910、タスク部912など)を有するが、当業者であれば、(上述の種々の性質、機能、及びアクションを含む)任意の好適な、又は所望の性質、機能、及びアクションを含む任意の好適な訂正インターフェースを、本発明から逸脱することなく用いることができる。
注目すべきは、この図示した実施例において、訂正インターフェース900が、選択された単語906に隣接し、マシン生成テキストパネル(又は部)904に対するオーバーレイとして表示されることである。もちろん、訂正インターフェース900は、本発明から逸脱することなく、ディスプレイ600上の任意の好適な、又は所望の位置に表示されるようにできる。さらに、訂正インターフェース900は、本発明から逸脱することなく、ユーザが電子インクパネル(又は部)902で1つ又は複数の電子インク単語を選択したときに起動されるようにしたり、選択されたインク単語に隣接して位置するようにしたりできる。
本発明は、電子インク入力及び/又は手書き認識エンジンから取得されるマシン生成テキストとの使用だけに限定されるものではない。むしろ、本発明の各種態様による訂正インターフェースは、ペンベースのコンピューティングシステムを用いて、任意のオリジナルソースから得られたマシン生成テキストを変更、編集、又は訂正するために有用でありうる。そのオリジナルソースには、例えば、ワードプロセシングプログラム、Webページ又はWebブラウザ、スプレッドシート、電子メール管理プログラム、文書管理プログラム、音声認識プログラム、その他でオリジナルが作成されたマシン生成テキストが含まれている。図10A及び図10Bは、そのようなシステム及び方法の実施例を示す図である。この実施例では、ワードプロセシングプログラム又は他のアプリケーションプログラムのファイル又は文書が、ペンベースのコンピューティングシステムのディスプレイ1000に表示されているマシン生成テキスト1002を含んでいる。ペンベースのコンピューティングシステムでテキスト1002をレビューしているユーザが、テキスト1002の一部を変更したいと考えるかもしれないが、このユーザは、このコンピュータに関連付けられたハードキーボード又はソフトキーボードにアクセスできないか、かつ/又はそれらのキーボードを使いたいとは考えない可能性がある。むしろ、このユーザは、入力デバイスとしてペンだけを使ってテキスト1002の永続的変更を行いたいと考えるだろう。
図10A及び図10Bに示したような本発明の実施例では、ユーザは、(図10A及び図10Bでは単語1004に関連付けられたハッチングで示されているように)1つ又は複数の単語を選択することによってマシン生成テキスト1002を変更できる。選択は、目的の単語をペンでタップ又はタッチするか、タップアンドドラッグアクションを実行するか、ホバリングアクションを実行するか、ホバリングアンドドラッグアクションを実行するか、他の任意の好適な、又は所望の方法によって、本発明から逸脱することなく達成できる。既に概略的に説明した方法で、選択によって訂正インターフェース1006が表示される。図示した実施例では訂正インターフェース1006が、既に説明した訂正インターフェースの各種実施例とほぼ同様に、文字単位の訂正パネル(又は部)1008と、候補パネル(又は部)1010と、タスクパネル(又は部)1012とを含むが、当業者であれば、このインターフェースは、任意の所望の、又は好適な性質、機能、又はアクションを、本発明から逸脱することなく含むことができる。
既に説明した、本発明の具体的な実施例は、通常の英語及び他のラテン系言語をベースとする単語及びテキストの形式の電子インクデータ及びマシン生成テキストの処理のために最適化されているが(例えば、左から右に、上から下に読む)、本発明は、それらのタイプの言語、及びその種の電子インクデータ及びマシン生成テキストに対する使用に限定されない。当業者であれば、本発明の態様が、本発明から逸脱することなく、任意の言語の、任意の方向で読み書きされる手書きテキスト又は文字を含む、任意のタイプの電子インクデータ及び/又はマシン生成オブジェクトに適用できることを認識されよう。さらに、本発明の態様は、本発明から逸脱することなく、チャート、ダイアグラム、グラフ、フローチャートなどの中のデータ及び要素、音楽のデータ又は記号、数学又は科学のデータ又は記号、図面など、他のタイプのデータ及びマシン生成オブジェクトの認識及び処理にも適応できる。
最後に、本発明は、訂正インターフェースを提供すること、各種方法を実行すること、及び/又は既に説明した訂正インターフェース、システム、及び/又は方法を含む各種システムにおいて使用することのための、コンピュータで実行可能な命令を格納するコンピュータ読取可能な媒体にも関する。コンピュータ読取可能な媒体は、コンピュータ読取可能な媒体の、既に説明した各種の具体的な実施例に格納される、コンピュータで実行可能な命令を構成できる。
V.結論
本発明の各実施例について説明してきたが、当業者であれば、それらの実施例のすべての組合せ及び下位の組合せが本発明の技術的範囲に含まれることを理解されよう。さらに、当業者であれば、これまで説明してきた実施例が、本発明の各実施態様を例示したものに過ぎないことを理解されよう。添付の特許請求項で定義されるように、本発明の趣旨及び技術的範囲から逸脱することなく、様々な変更及び修正を行うことが可能である。
本発明のいくつかの態様を実装できる汎用デジタルコンピューティング環境の概略図である。 本発明のいくつかの態様を実装できるペンベースのパーソナルコンピューティング(PC)環境を示す図である。 電子インクデータの入力と、本発明のいくつかの実施例で提供される訂正部の例において、その入力をマシン生成テキストとして利用できることを示す図である。 電子インクデータの入力と、本発明のいくつかの実施例で提供される訂正部の例において、その入力をマシン生成テキストとして利用できることを示す図である。 本発明のいくつかの実施例によるシステム及び方法で提供される訂正部において可能な編集操作の様々な例を示す図(その1)である。 本発明のいくつかの実施例によるシステム及び方法で提供される訂正部において可能な編集操作の様々な例を示す図(その2)である。 本発明のいくつかの実施例によるシステム及び方法で提供される訂正部において可能な編集操作の様々な例を示す図(その3)である。 本発明のいくつかの実施例によるシステム及び方法で提供される訂正部において可能な編集操作の様々な例を示す図(その4)である。 本発明のいくつかの実施例によるシステム及び方法で提供される訂正部において可能な編集操作の様々な例を示す図(その5)である。 本発明のいくつかの実施例によるシステム及び方法で提供される訂正部において可能な編集操作の様々な例を示す図(その6)である。 本発明のいくつかの実施例によるシステム及び方法で提供される訂正部において可能な編集操作の様々な例を示す図(その7)である。 本発明によるシステム及び方法のいくつかの実施例で提供される訂正部において利用可能なさらなる特徴の一例を示す図である。 本発明のいくつかの実施例で提供される訂正インターフェース及び各種特徴の一例を示す図(その1)である。 本発明のいくつかの実施例で提供される訂正インターフェース及び各種特徴の一例を示す図(その2)である。 本発明のいくつかの実施例で提供される訂正インターフェース及び各種特徴の他の例を示す図(その1)である。 本発明のいくつかの実施例で提供される訂正インターフェース及び各種特徴の他の例を示す図(その2)である。 本発明のいくつかの実施例で提供される訂正インターフェース及び各種特徴のさらに他の例を示す図である。 本発明のいくつかの実施例による訂正インターフェースの他の実施例を示す図(その1)である。 本発明のいくつかの実施例による訂正インターフェースの他の実施例を示す図(その2)である。 本発明のいくつかの実施例による訂正インターフェースのさらに他の実施例を示す図(その1)である。 本発明のいくつかの実施例による訂正インターフェースのさらに他の実施例を示す図(その2)である。

Claims (53)

  1. ディスプレイ機器に表示されるテキストを編集するためのユーザインターフェースであって、
    オリジナルのテキストを表示する表示部と、
    前記オリジナルのテキストの少なくとも一部に対応する編集可能なテキスト部分を表示する訂正インターフェースとを備え、
    該訂正インターフェースが、スタイラスを介して入力を受け入れて前記編集可能なテキスト部分を1文字ずつ変更することを可能にすることを特徴とするユーザインターフェース。
  2. 前記オリジナルのテキストの少なくとも一部が、手書き認識エンジンによって提供されることを特徴とする請求項1に記載のユーザインターフェース。
  3. 前記訂正インターフェースへの少なくともいくつかの入力は、前記編集可能なテキスト部分にある、既存の連続する2文字の間に少なくとも1つの追加文字を挿入することを特徴とする請求項1に記載のユーザインターフェース。
  4. 前記少なくとも1つの追加文字は、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、前記少なくとも1つの追加文字を前記既存の連続する2文字の間に書くことによって挿入されることを特徴とする請求項3に記載のユーザインターフェース。
  5. 前記訂正インターフェースへの少なくともいくつかの入力は、前記編集可能なテキスト部分から既存の文字を削除することを特徴とする請求項1に記載のユーザインターフェース。
  6. 前記既存の文字は、削除対象の前記既存の文字に関連付けられたメニューから削除アクションを前記スタイラスで選択することによって削除されることを特徴とする請求項5に記載のユーザインターフェース。
  7. 前記既存の文字は、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、削除対象の前記既存の文字の場所に削除ジェスチャを書くことによって削除されることを特徴とする請求項5に記載のユーザインターフェース。
  8. 前記訂正インターフェースへの少なくともいくつかの入力は、前記編集可能なテキスト部分にある既存の文字を変更することを特徴とする請求項1に記載のユーザインターフェース。
  9. 前記既存の文字は、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、変更対象の前記既存の文字の場所に所望の新しい文字を書くことによって変更されることを特徴とする請求項8に記載のユーザインターフェース。
  10. 前記訂正インターフェースに受け入れられた少なくともいくつかの入力は、前記表示部に表示されている前記オリジナルのテキストにおける対応する変更をトリガすることを特徴とする請求項1に記載のユーザインターフェース。
  11. ディスプレイ機器に表示されるテキストを編集するためのユーザインターフェースであって、
    前記テキストの少なくとも一部に対応する編集可能なテキスト部分を表示し、スタイラスを介して入力を受け入れて前記編集可能なテキスト部分を1文字ずつ変更することを可能にする第1の部分と、
    前記編集可能なテキストに代入するために前記スタイラスを用いて選択できる少なくとも1つの代替候補を含む第2の部分と、
    前記スタイラスで選択できる少なくとも1つのアクションアイテムを有するメニューを含む第3の部分と
    を備えることを特徴とするユーザインターフェース。
  12. 前記第1の部分、前記第2の部分及び前記第3の部分は、前記ユーザインターフェースが起動されたときに単一のポップアップ訂正インターフェースとして表示されることを特徴とする請求項11に記載のユーザインターフェース。
  13. 前記編集可能テキスト部分は、前記第1の部分にある既存の連続する2文字の間に少なくとも1つの追加文字を追加することによって編集できることを特徴とする請求項11に記載のユーザインターフェース。
  14. 前記少なくとも1つの追加文字は、前記第1の部分に対応するデジタイザの領域で、前記スタイラスを用いて、前記少なくとも1つの追加文字を前記既存の連続する2文字の間に書くことによって追加されることを特徴とする請求項13に記載のユーザインターフェース。
  15. 前記編集可能なテキスト部分は、前記第1の部分にある既存の文字を削除することによって編集できることを特徴とする請求項11に記載のユーザインターフェース。
  16. 前記既存の文字は、削除対象の前記既存の文字に関連付けられたメニューから削除アクションを前記スタイラスで選択することによって削除されることを特徴とする請求項15に記載のユーザインターフェース。
  17. 前記既存の文字は、前記第1の部分に対応するデジタイザの領域で、前記スタイラスを用いて、削除対象の前記既存の文字の場所に削除ジェスチャを書くことによって削除されることを特徴とする請求項15に記載のユーザインターフェース。
  18. 前記編集可能なテキスト部分は、前記第1の部分にある既存の文字を変更することによって編集できることを特徴とする請求項11に記載のユーザインターフェース。
  19. 前記既存の文字は、前記第1の部分に対応するデジタイザの領域で、前記スタイラスを用いて、変更対象の前記既存の文字の場所に所望の新しい文字を書くことによって変更されることを特徴とする請求項18に記載のユーザインターフェース。
  20. 前記第2の部分における前記少なくとも1つの代替候補は、前記編集可能なテキスト部分において選択された単語を置き換えるために使用可能な単語のリストを含むことを特徴とする請求項11に記載のユーザインターフェース。
  21. 前記第3の部分の前記メニューにある少なくとも1つのアクションアイテムは、指定された辞書を用いて、前記編集可能なテキスト部分において選択された単語を認識することを含むことを特徴とする請求項11に記載のユーザインターフェース。
  22. オリジナルのテキストの一部を選択する入力を受け取るステップと、
    前記オリジナルのテキストの前記一部に対応する編集可能なテキスト部分を表示する訂正インターフェースを起動するステップとを有し、
    前記訂正インターフェースが、スタイラスを介して入力を受け入れて前記編集可能なテキスト部分を1文字ずつ変更することを可能にすることを特徴とする方法。
  23. 前記編集可能なテキスト部分にある既存の連続する2文字の間に少なくとも1つの追加文字を挿入する入力を受け取るステップをさらに有することを特徴とする請求項22に記載の方法。
  24. 前記少なくとも1つの追加文字を挿入する入力は、ユーザが、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、前記少なくとも1つの追加文字を前記既存の連続する2文字の間に書くことの結果として受け取られることを特徴とする請求項23に記載の方法。
  25. 前記編集可能なテキスト部分から既存の文字を削除する入力を受け取るステップをさらに有することを特徴とする請求項22に記載の方法。
  26. 前記既存の文字を削除する入力は、ユーザが、削除対象の前記既存の文字に関連付けられたメニューから削除アクションを前記スタイラスで選択することの結果として受け取られることを特徴とする請求項25に記載の方法。
  27. 前記既存の文字を削除する入力は、ユーザが、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、削除対象の前記既存の文字の場所に削除ジェスチャを書くことの結果として受け取られることを特徴とする請求項25に記載の方法。
  28. 前記編集可能なテキスト部分にある既存の文字を変更する入力を受け取るステップをさらに有することを特徴とする請求項22に記載の方法。
  29. 前記既存の文字を変更する入力は、ユーザが、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、変更対象の前記既存の文字の場所に所望の新しい文字を書くことの結果として受け取られることを特徴とする請求項28に記載の方法。
  30. 前記訂正インターフェースに受け入れられた少なくともいくつかの入力は、前記オリジナルのテキストにおける対応する変更をトリガすることを特徴とする請求項22に記載の方法。
  31. 前記訂正インターフェースは、(a)前記編集可能なテキスト部分を含む第1の部分と、(b)前記スタイラスで選択できる、前記オリジナルのテキストの前記部分に代入する代替候補を少なくとも1つ含む第2の部分と、(c)前記スタイラスで選択できる少なくとも1つのアクションアイテムを有するメニューを含む第3の部分とを有することを特徴とする請求項22に記載の方法。
  32. 請求項22に記載の方法を実行する、コンピュータで実行可能な命令を格納することを特徴とするコンピュータ読取可能な媒体。
  33. 訂正インターフェースを要求する入力を受け取るステップと、
    前記訂正インターフェースを起動するステップとを有し、
    前記訂正インターフェースは、オリジナルのテキストの少なくとも一部に対応する編集可能なテキスト部分を表示し、前記訂正インターフェースは、スタイラスを介して入力を受け入れて前記編集可能なテキスト部分を1文字ずつ変更することを可能にすることを特徴とする方法。
  34. 前記オリジナルのテキストの前記部分を選択する入力を受け取るステップをさらに有することを特徴とする請求項33に記載の方法。
  35. 前記訂正インターフェースは、(a)前記編集可能なテキスト部分にある既存の連続する2文字の間に少なくとも1つの追加文字を挿入する入力を受け取ることと、(b)前記編集可能なテキスト部分から既存の文字を削除する入力を受け取ることと、(c)前記編集可能なテキスト部分にある既存の文字を変更する入力を受け取ることによって、前記編集可能なテキスト部分を変更することを可能にする入力を受け入れることを特徴とする請求項33に記載の方法。
  36. (a)前記少なくとも1つの追加文字を挿入する入力は、ユーザが、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、前記少なくとも1つの追加文字を前記既存の連続する2文字の間に書くことの結果として受け取られ、
    (b)前記既存の文字を削除する入力は、ユーザが、削除対象の前記既存の文字に関連付けられたメニューから削除アクションを前記スタイラスで選択することの結果として、又は、ユーザが、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、削除対象の前記既存の文字の場所に削除ジェスチャを書くことの結果として受け取られ
    (c)前記既存の文字を変更する入力は、ユーザが、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、変更対象の前記既存の文字の場所に所望の新しい文字を書くことの結果として受け取られる
    ことを特徴とする請求項35に記載の方法。
  37. 前記訂正インターフェースは、(a)前記編集可能なテキスト部分を含む第1の部分と、(b)前記スタイラスで選択できる、前記オリジナルのテキストの前記部分に代入する代替候補を少なくとも1つ含む第2の部分と、(c)前記スタイラスで選択できる少なくとも1つのアクションアイテムを有するメニューを含む第3の部分とを有することを特徴とする請求項33に記載の方法。
  38. 請求項33に記載の方法を実行する、コンピュータで実行可能な命令を格納することを特徴とするコンピュータ読取可能な媒体。
  39. オリジナルのテキストの一部の選択を受け取るように適合された入力要素と、
    前記オリジナルのテキストの前記一部に対応する編集可能なテキスト部分を表示する訂正インターフェースを起動するようにプログラム及び適合されたプロセッサとを備え、
    前記訂正インターフェースは、スタイラスを介して入力を受け入れて前記編集可能なテキスト部分を1文字ずつ変更することを可能にすることを特徴とするシステム。
  40. 前記プロセッサはさらに、前記編集可能なテキスト部分にある既存の連続する2文字の間に少なくとも1つの追加文字を挿入する入力を受け取るようにプログラム及び適合されていることを特徴とする請求項39に記載のシステム。
  41. 前記プロセッサは、前記少なくとも1つの追加文字が、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、前記既存の連続する2文字の間に書かれたときに、前記少なくとも1つの追加文字に対応する入力を受け取ることを特徴とする請求項40に記載のシステム。
  42. 前記プロセッサは、さらに前記編集可能なテキスト部分から既存の文字を削除する入力を受け取るようにプログラム及び適合されていることを特徴とする請求項39に記載のシステム。
  43. 前記プロセッサは、削除対象の前記既存の文字に関連付けられたメニューから削除アクションが選択されたときに、削除対象の前記既存の文字を表示する入力を受け取ることを特徴とする請求項42に記載のシステム。
  44. 前記プロセッサは、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、削除対象の前記既存の文字の場所に削除ジェスチャが書かれたときに、削除対象の前記既存の文字を表示する入力を受け取ることを特徴とする請求項42に記載のシステム。
  45. 前記プロセッサは、さらに前記編集可能なテキスト部分にある既存の文字の変更を表示する入力を受け取るようにプログラム及び適合されていることを特徴とする請求項39に記載のシステム。
  46. 前記プロセッサは、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、変更対象の前記既存の文字の場所に所望の新しい文字が書かれたときに、変更対象の前記既存の文字を表示する入力を受け取ることを特徴とする請求項45に記載のシステム。
  47. 前記訂正インターフェースに受け入れられた少なくともいくつかの入力は、前記オリジナルのテキストにおける対応する変更をトリガすることを特徴とする請求項39に記載のシステム。
  48. 前記訂正インターフェースは、(a)前記編集可能なテキスト部分を含む第1の部分と、(b)前記スタイラスで選択できる、前記オリジナルのテキストの前記部分に代入する代替候補を少なくとも1つ含む第2の部分と、(c)前記スタイラスで選択できる少なくとも1つのアクションアイテムを有するメニューを含む第3の部分とを備えたことを特徴とする請求項39に記載のシステム。
  49. 訂正インターフェースの起動の要求を受け取るように適合された入力要素と、
    前記訂正インターフェースを起動するようにプログラム及び適合されたプロセッサとを備え、
    前記訂正インターフェースは、オリジナルのテキストの少なくとも一部に対応する編集可能なテキスト部分を表示し、かつスタイラスを介して入力を受け入れて前記編集可能なテキスト部分を1文字ずつ変更することを可能にすることを特徴とするシステム。
  50. 前記プロセッサは、さらに(a)前記編集可能なテキスト部分にある既存の連続する2文字の間に少なくとも1つの追加文字を挿入する入力を受け取り、(b)前記編集可能なテキスト部分から既存の文字を削除する入力を受け取り、(c)前記編集可能なテキスト部分にある既存の文字の変更を表示する入力を受け取るようにプログラム及び適合されていることを特徴とする請求項49に記載のシステム。
  51. (a)前記プロセッサは、前記少なくとも1つの追加文字が、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、前記既存の連続する2文字の間に書かれたときに、前記少なくとも1つの追加文字に対応する入力を受け取り、
    (b)前記プロセッサは、削除対象の前記既存の文字に関連付けられたメニューから削除アクションが選択されたとき、又は、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、削除対象の前記既存の文字の場所に削除ジェスチャが書かれたときに、削除対象の前記既存の文字を表示する入力を受け取り、
    (c)前記プロセッサは、前記訂正インターフェースに対応するデジタイザの領域で、前記スタイラスを用いて、変更対象の前記既存の文字の場所に所望の新しい文字が書かれたときに、変更対象の前記既存の文字を表示する入力を受け取る
    ことを特徴とする請求項50に記載のシステム。
  52. 前記訂正インターフェースに受け入れられた少なくともいくつかの入力は、前記オリジナルのテキストにおける対応する変更をトリガすることを特徴とする請求項49に記載のシステム。
  53. 前記訂正インターフェースは、(a)前記編集可能なテキスト部分を含む第1の部分と、(b)前記スタイラスで選択できる、前記オリジナルのテキストの前記部分に代入する代替候補を少なくとも1つ含む第2の部分と、(c)前記スタイラスで選択できる少なくとも1つのアクションアイテムを有するメニューを含む第3の部分とを備えたことを特徴とする請求項49に記載のシステム。
JP2006539459A 2003-11-10 2004-07-28 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法 Expired - Fee Related JP4746555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/704,126 US6989822B2 (en) 2003-11-10 2003-11-10 Ink correction pad
US10/704,126 2003-11-10
PCT/US2004/024193 WO2005047400A2 (en) 2003-11-10 2004-07-28 Ink correction pad

Publications (3)

Publication Number Publication Date
JP2007511003A true JP2007511003A (ja) 2007-04-26
JP2007511003A5 JP2007511003A5 (ja) 2007-09-27
JP4746555B2 JP4746555B2 (ja) 2011-08-10

Family

ID=34552055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006539459A Expired - Fee Related JP4746555B2 (ja) 2003-11-10 2004-07-28 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法

Country Status (6)

Country Link
US (2) US6989822B2 (ja)
EP (1) EP1719109A2 (ja)
JP (1) JP4746555B2 (ja)
KR (1) KR101098642B1 (ja)
CN (1) CN100543835C (ja)
WO (1) WO2005047400A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034280A (ja) * 2009-07-31 2011-02-17 Sharp Corp 電子機器、文字受付方法、および文字受付プログラム
JP2012094038A (ja) * 2010-10-28 2012-05-17 Nec Casio Mobile Communications Ltd 入力表示制御装置、入力表示制御方法およびプログラム
JP2013077302A (ja) * 2011-09-29 2013-04-25 Samsung Electronics Co Ltd 携帯端末機のユーザインターフェース提供方法および装置
WO2014041607A1 (ja) * 2012-09-11 2014-03-20 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP2014521171A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション コンテキストベースメニュー用ランチャ
JP2014521172A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション 動的コンテキストベースメニュー
WO2016170690A1 (ja) * 2015-04-24 2016-10-27 富士通株式会社 入力制御プログラム、入力制御装置、入力制御方法、文字修正プログラム、文字修正装置、及び文字修正方法
WO2016170691A1 (ja) * 2015-04-24 2016-10-27 富士通株式会社 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
JP2018180883A (ja) * 2017-04-12 2018-11-15 株式会社アドバンスト・メディア 端末装置及びプログラム

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7751623B1 (en) 2002-06-28 2010-07-06 Microsoft Corporation Writing guide for a free-form document editor
US7188309B2 (en) 2002-06-28 2007-03-06 Microsoft Corporation Resolving document object collisions
US7259752B1 (en) 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US7185278B1 (en) 2002-06-28 2007-02-27 Microsoft Corporation Separating and moving document objects using the movement of a wiper bar
US7079713B2 (en) * 2002-06-28 2006-07-18 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
US7174042B1 (en) * 2002-06-28 2007-02-06 Microsoft Corporation System and method for automatically recognizing electronic handwriting in an electronic document and converting to text
US7721226B2 (en) 2004-02-18 2010-05-18 Microsoft Corporation Glom widget
US7358965B2 (en) * 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7659890B2 (en) * 2004-03-19 2010-02-09 Microsoft Corporation Automatic height adjustment for electronic highlighter pens and mousing devices
US8321786B2 (en) * 2004-06-17 2012-11-27 Apple Inc. Routine and interface for correcting electronic text
US20080143692A1 (en) * 2005-02-23 2008-06-19 Hewlett-Packard Development Company, L.P. Method and System for Recognising Handwritten Data
US7526737B2 (en) * 2005-11-14 2009-04-28 Microsoft Corporation Free form wiper
US20080143691A1 (en) * 2005-11-23 2008-06-19 Quiteso Technologies, Llc Systems and methods for enabling tablet PC/pen to paper space
JP4908518B2 (ja) * 2005-12-08 2012-04-04 ノキア コーポレイション 電子デバイスの改善された文章入力
US20070152961A1 (en) * 2005-12-30 2007-07-05 Dunton Randy R User interface for a media device
US7786979B2 (en) * 2006-01-13 2010-08-31 Research In Motion Limited Handheld electronic device and method for disambiguation of text input and providing spelling substitution
JP4744317B2 (ja) * 2006-02-16 2011-08-10 富士通株式会社 単語検索装置、単語検索方法、及びコンピュータプログラム
CN101421693B (zh) * 2006-04-20 2012-11-28 诺基亚(中国)投资有限公司 使用写来向电子设备输入数据
US7661068B2 (en) * 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
JP2008003805A (ja) * 2006-06-21 2008-01-10 Brother Ind Ltd 印刷装置
KR100814909B1 (ko) * 2007-02-21 2008-03-19 에스케이 텔레콤주식회사 전자펜 시스템에서의 정확한 문자 입력 지원 방법과 이를위한 전자펜 시스템 및 이동통신 단말기
JP5303865B2 (ja) * 2007-05-23 2013-10-02 株式会社リコー 情報処理装置、及び、情報処理方法
US9024864B2 (en) 2007-06-12 2015-05-05 Intel Corporation User interface with software lensing for very long lists of content
US7821524B2 (en) * 2007-06-26 2010-10-26 Microsoft Corporation Adaptive contextual filtering
US10001920B2 (en) * 2007-12-20 2018-06-19 Microsoft Technology Licensing, Llc Symbol lists for grammar-driven data entry
US8064702B2 (en) * 2007-12-21 2011-11-22 Microsoft Corporation Handwriting templates
US8116569B2 (en) * 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
US8255822B2 (en) * 2007-12-21 2012-08-28 Microsoft Corporation Incorporated handwriting input experience for textboxes
AU2009206251B2 (en) * 2008-01-27 2014-03-27 Citrix Systems, Inc. Methods and systems for remoting three dimensional graphics
KR101513023B1 (ko) * 2008-03-25 2015-04-22 엘지전자 주식회사 단말기 및 이것의 정보 디스플레이 방법
KR101012379B1 (ko) * 2008-03-25 2011-02-09 엘지전자 주식회사 단말기 및 이것의 정보 디스플레이 방법
TWI375162B (en) 2008-05-02 2012-10-21 Hon Hai Prec Ind Co Ltd Character input method and electronic system utilizing the same
KR101521920B1 (ko) * 2008-08-29 2015-05-20 엘지전자 주식회사 이동 단말기 및 그의 음악재생 제어방법
US20100171754A1 (en) * 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
WO2010099224A1 (en) * 2009-02-24 2010-09-02 Adapx Inc. Systems and methods for reviewing digital pen data
US20110035209A1 (en) * 2009-07-06 2011-02-10 Macfarlane Scott Entry of text and selections into computing devices
KR101142270B1 (ko) * 2009-12-23 2012-05-07 주식회사 디오텍 문서 편집 기능을 갖는 필기 입력 장치 및 그 방법
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
JP5741079B2 (ja) * 2011-03-09 2015-07-01 セイコーエプソン株式会社 画像生成装置およびプロジェクター
US20130212515A1 (en) * 2012-02-13 2013-08-15 Syntellia, Inc. User interface for text input
US8286104B1 (en) * 2011-10-06 2012-10-09 Google Inc. Input method application for a touch-sensitive user interface
US9176666B2 (en) * 2011-12-23 2015-11-03 Symbol Technologies, Llc Method and device for a multi-touch based correction of a handwriting sentence system
KR20130080515A (ko) * 2012-01-05 2013-07-15 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 장치에 표시된 문자 편집 방법.
US9280524B2 (en) * 2012-06-28 2016-03-08 Texas Instruments Incorporated Combining a handwritten marking with a rendered symbol to modify the rendered symbol
KR20140014510A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말
KR102129374B1 (ko) * 2012-08-27 2020-07-02 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR102091710B1 (ko) * 2012-08-28 2020-04-14 삼성전자주식회사 좌표 측정 장치 및 그 제어 방법
US8584049B1 (en) 2012-10-16 2013-11-12 Google Inc. Visual feedback deletion
KR102105101B1 (ko) * 2012-11-07 2020-04-27 삼성전자주식회사 디스플레이 장치 및 이의 문자 수정 방법
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
JP2014115894A (ja) * 2012-12-11 2014-06-26 Canon Inc 表示装置
WO2014106911A1 (ja) * 2013-01-04 2014-07-10 株式会社ユビキタスエンターテインメント 情報処理装置及び情報更新プログラム
JP2014211701A (ja) * 2013-04-17 2014-11-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20150116283A1 (en) * 2013-10-24 2015-04-30 Livescribe Inc. Paper Strip Presentation Of Grouped Content
KR102240279B1 (ko) * 2014-04-21 2021-04-14 삼성전자주식회사 컨텐트 처리 방법 및 그 전자 장치
US9576348B2 (en) 2014-11-14 2017-02-21 Adobe Systems Incorporated Facilitating text identification and editing in images
US10671795B2 (en) * 2014-12-23 2020-06-02 Lenovo (Singapore) Pte. Ltd. Handwriting preview window
US10698597B2 (en) * 2014-12-23 2020-06-30 Lenovo (Singapore) Pte. Ltd. Reflow of handwriting content
US10037137B2 (en) * 2014-12-23 2018-07-31 Lenovo (Singapore) Pte. Ltd. Directing input of handwriting strokes
WO2016119146A1 (en) * 2015-01-28 2016-08-04 Motorola Solutions, Inc. Method and device for inputting handwriting character
US10248640B2 (en) * 2015-02-05 2019-04-02 Microsoft Technology Licensing, Llc Input-mode-based text deletion
US9898841B2 (en) * 2015-06-29 2018-02-20 Microsoft Technology Licensing, Llc Synchronizing digital ink stroke rendering
JPWO2017029737A1 (ja) * 2015-08-19 2018-05-31 富士通株式会社 文字列選択方法、プログラム及び情報処理装置
US20170244768A1 (en) * 2016-02-19 2017-08-24 Microsoft Technology Licensing, Llc Participant-specific functions while interacting with a shared surface
US20170285932A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Ink Input for Browser Navigation
US10210141B2 (en) * 2016-05-09 2019-02-19 Adobe Systems Incorporated Stylizing text by replacing glyph with alternate glyph
KR102037179B1 (ko) * 2016-08-26 2019-10-28 스타십벤딩머신 주식회사 이미지 콘텐츠 생성 방법 및 장치
CN109032495B (zh) * 2018-08-15 2019-06-04 掌阅科技股份有限公司 内容输入方法、电子设备及计算机存储介质
US10783323B1 (en) * 2019-03-14 2020-09-22 Michael Garnet Hawkes Analysis system
CN111063223B (zh) * 2020-01-07 2022-02-08 杭州大拿科技股份有限公司 英语单词拼写练习方法及装置
US11886801B1 (en) * 2022-12-22 2024-01-30 Huawei Technologies Co., Ltd. System, method and device for multimodal text editing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5710832A (en) * 1991-06-17 1998-01-20 Microsoft Corporation Method and system for displaying handwritten data and recognized symbols
JP2001014096A (ja) * 1999-06-25 2001-01-19 Toshiba Corp ペン入力装置、及び同装置に於ける文字入力方法
JP2002132438A (ja) * 2000-10-27 2002-05-10 Sharp Corp 手書入力装置および方法、ならびに手書入力プログラムが記録されたコンピュータで読取可能な記録媒体
JP2003115032A (ja) * 2001-10-05 2003-04-18 Fujitsu Ltd 手書き文字入力装置及びそれを実現するプログラム
JP2003308480A (ja) * 2002-04-16 2003-10-31 Fujitsu Ltd オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666139A (en) * 1992-10-15 1997-09-09 Advanced Pen Technologies, Inc. Pen-based computer copy editing apparatus and method for manuscripts
US5710831A (en) * 1993-07-30 1998-01-20 Apple Computer, Inc. Method for correcting handwriting on a pen-based computer
US5778404A (en) * 1995-08-07 1998-07-07 Apple Computer, Inc. String inserter for pen-based computer systems and method for providing same
US5682439A (en) * 1995-08-07 1997-10-28 Apple Computer, Inc. Boxed input correction system and method for pen based computer systems
US6111985A (en) * 1997-06-06 2000-08-29 Microsoft Corporation Method and mechanism for providing partial results in full context handwriting recognition
CA2330133C (en) 1998-04-24 2008-11-18 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
US6791537B1 (en) * 2001-07-06 2004-09-14 Mobigence, Inc. Display of ink for hand entered characters
US6661409B2 (en) * 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US6986106B2 (en) * 2002-05-13 2006-01-10 Microsoft Corporation Correction widget
US7002560B2 (en) * 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5710832A (en) * 1991-06-17 1998-01-20 Microsoft Corporation Method and system for displaying handwritten data and recognized symbols
JP2001014096A (ja) * 1999-06-25 2001-01-19 Toshiba Corp ペン入力装置、及び同装置に於ける文字入力方法
JP2002132438A (ja) * 2000-10-27 2002-05-10 Sharp Corp 手書入力装置および方法、ならびに手書入力プログラムが記録されたコンピュータで読取可能な記録媒体
JP2003115032A (ja) * 2001-10-05 2003-04-18 Fujitsu Ltd 手書き文字入力装置及びそれを実現するプログラム
JP2003308480A (ja) * 2002-04-16 2003-10-31 Fujitsu Ltd オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034280A (ja) * 2009-07-31 2011-02-17 Sharp Corp 電子機器、文字受付方法、および文字受付プログラム
JP2012094038A (ja) * 2010-10-28 2012-05-17 Nec Casio Mobile Communications Ltd 入力表示制御装置、入力表示制御方法およびプログラム
US9582187B2 (en) 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
JP2014521171A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション コンテキストベースメニュー用ランチャ
JP2014521172A (ja) * 2011-07-14 2014-08-25 マイクロソフト コーポレーション 動的コンテキストベースメニュー
US9746995B2 (en) 2011-07-14 2017-08-29 Microsoft Technology Licensing, Llc Launcher for context based menus
JP2013077302A (ja) * 2011-09-29 2013-04-25 Samsung Electronics Co Ltd 携帯端末機のユーザインターフェース提供方法および装置
WO2014041607A1 (ja) * 2012-09-11 2014-03-20 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JPWO2014041607A1 (ja) * 2012-09-11 2016-08-12 株式会社東芝 情報処理装置、情報処理方法およびプログラム
WO2016170691A1 (ja) * 2015-04-24 2016-10-27 富士通株式会社 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
WO2016170690A1 (ja) * 2015-04-24 2016-10-27 富士通株式会社 入力制御プログラム、入力制御装置、入力制御方法、文字修正プログラム、文字修正装置、及び文字修正方法
JPWO2016170691A1 (ja) * 2015-04-24 2018-02-01 富士通株式会社 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
JPWO2016170690A1 (ja) * 2015-04-24 2018-02-08 富士通株式会社 入力制御プログラム、入力制御装置、入力制御方法、文字修正プログラム、文字修正装置、及び文字修正方法
US11080472B2 (en) 2015-04-24 2021-08-03 Fujitsu Limited Input processing method and input processing device
JP2018180883A (ja) * 2017-04-12 2018-11-15 株式会社アドバンスト・メディア 端末装置及びプログラム

Also Published As

Publication number Publication date
WO2005047400A2 (en) 2005-05-26
US20060007190A1 (en) 2006-01-12
CN100543835C (zh) 2009-09-23
CN1802689A (zh) 2006-07-12
US6989822B2 (en) 2006-01-24
US7701449B2 (en) 2010-04-20
EP1719109A2 (en) 2006-11-08
JP4746555B2 (ja) 2011-08-10
US20050099406A1 (en) 2005-05-12
KR101098642B1 (ko) 2011-12-23
KR20060123028A (ko) 2006-12-01
WO2005047400A3 (en) 2005-11-17

Similar Documents

Publication Publication Date Title
JP4746555B2 (ja) 電子テキストと対話するためのユーザインターフェース及び電子テキストを修正するためのシステム並びに方法
KR101120850B1 (ko) 잉크의 스케일링된 텍스트로의 대체
KR101015291B1 (ko) 동적으로 확장하는 입력 패널로 사용자 입력을 추가하는방법
US8074184B2 (en) Modifying electronic documents with recognized content or other associated data
JP4694606B2 (ja) ジェスチャ判定方法
US7925987B2 (en) Entry and editing of electronic ink
US7137076B2 (en) Correcting recognition results associated with user input
US7506271B2 (en) Multi-modal handwriting recognition correction
US7336828B2 (en) Multiple handwriting recognition engine selection
US20050120302A1 (en) Adding and removing white space from a document
US7406662B2 (en) Data input panel character conversion

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110513

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4746555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees