JP2004070938A - 認識されたテキストおよびオブジェクトと共にインクオブジェクトを表示しリンクする方法、およびシステム - Google Patents
認識されたテキストおよびオブジェクトと共にインクオブジェクトを表示しリンクする方法、およびシステム Download PDFInfo
- Publication number
- JP2004070938A JP2004070938A JP2003188925A JP2003188925A JP2004070938A JP 2004070938 A JP2004070938 A JP 2004070938A JP 2003188925 A JP2003188925 A JP 2003188925A JP 2003188925 A JP2003188925 A JP 2003188925A JP 2004070938 A JP2004070938 A JP 2004070938A
- Authority
- JP
- Japan
- Prior art keywords
- page
- text
- electronic ink
- word
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
Abstract
【課題】編集処理の終了の前に必要に応じて動作を中断するかシステムから抜けることができる、電子インクから変換されたテキストを編集する方法およびシステムを提供する。
【解決手段】ユーザインターフェースは、ディスプレイ１４７の１つのセクションに電子インクを、ディスプレイの別のセクションに、電子インク認識システム１２１，１２２から生成された対応する認識されたまたは変換されたテキストを表示することができる。電子インクの各ページおよび変換または認識されたテキストの対応する各ページは、互いにリンクされる。変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージが受け取られたならば、電子インクページとそれに対応する変換されたテキストページの間のリンクが壊される。
【選択図】 図１
【解決手段】ユーザインターフェースは、ディスプレイ１４７の１つのセクションに電子インクを、ディスプレイの別のセクションに、電子インク認識システム１２１，１２２から生成された対応する認識されたまたは変換されたテキストを表示することができる。電子インクの各ページおよび変換または認識されたテキストの対応する各ページは、互いにリンクされる。変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージが受け取られたならば、電子インクページとそれに対応する変換されたテキストページの間のリンクが壊される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、認識されたテキストおよびオブジェクトと共にインクオブジェクトを表示しリンクする方法、およびシステムに関するものである。
【０００２】
さらに詳述すると、本発明は、認識された電子インク文書を編集するための、コンピュータで実行可能な方法、および、電子インクおよび前記電子インクから変換されたテキストを編集するコンピュータシステムに関するものである。
【０００３】
換言すると本発明は、電子文書（ｅｌｅｃｔｒｏｎｉｃ ｄｏｃｕｍｅｎｔｓ）の編集（ｅｄｉｔｉｎｇ）に関し、具体的には、電子インク（ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ）から変換された電子文書におけるテキストを編集するユーザインターフェースに関する。
【０００４】
【従来の技術】
情報を記録し、通信する最も単純な方法の１つは、ペンなどの書く道具を用いて紙に情報を書くという従来の方法である。紙に手で情報を書くことは、安価であり、ほとんど準備なしですばやく簡単に行うことができる。この従来の方法は、書き手が、一般にページのどこにでもあらゆるフォーマットで書き込むことができるという点で柔軟でもある。手書き作業に関する制限の１つは、操作または他のコンテキスト（ｃｏｎｔｅｘｔ）への変換が簡単でないことである。言い換えると、手書きテキストの変更（ｃｈａｎｇｉｎｇ）または転送（ｔｒａｎｓｆｅｒｒｉｎｇ）は、通常は、そのテキストを別の媒体（ｍｅｄｉｕｍ）に再書き込みすること（ｒｅｗｒｉｔｉｎｇ）を必要とする。
【０００５】
パーソナルコンピュータの使用が広く行きわたっているので、テキスト情報が、パーソナルコンピュータで動作するワードプロセッシングソフトウェアを使用して記録されることがしばしばである。そのような、情報を記録する電子的な方法の長所は、情報を簡単に記憶でき、他のリモートコンピューティングデバイスおよび電子メディアに転送できることである。そのような電子的に記録されたテキストを、さまざまな異なる形で簡単に訂正、修正、および操作することもできる。
【０００６】
通常のコンピュータシステム、特に、Ｍｉｃｒｏｓｏｆｔ ＷＩＮＤＯＷＳ（登録商標）などのグラフィカルユーザインターフェース（ＧＵＩ）システムを使用するコンピュータシステムは、１つまたは複数の離散的入力デバイスからユーザ入力を受け入れるように最適化される。一般的な入力デバイスには、テキストを入力するキーボードと、ユーザインターフェースを制御する、１つまたは複数のボタンを有するマウスなどのポインティングデバイスが含まれる。キーボードおよびマウスのインターフェースは、テキスト、スプレッドシート、データベースフィールド、ドローイング、および写真を含む電子文書の作成および修正を容易にする。
【０００７】
従来のＧＵＩシステムに関する制限の１つは、ユーザが、一般に、パーソナルコンピュータに入力するテキストをキーボードを使用してタイプしなければならないことである。キーボードを使用するテキストの入力は、一般に、手書きより低速であり、面倒である。パーソナルコンピュータのサイズの縮小において、最近の進歩があるが、パーソナルコンピュータは、まだ従来の紙とペンほどポータブルではなく、簡単にアクセス可能ではない。さらに、従来の紙とペンは、ユーザに対して、文書の編集、余白へのメモの記録、および図形の描画に関してかなりの柔軟性を提供する。いくつかの場合に、ユーザは、キーボードおよびマウスのインターフェースの制限の外で自由にメモを書く能力のゆえに、オンスクリーンで文書をレビューするよりも、文書にペンで書き加えることを好む可能性がある。
【０００８】
従来のキーボードおよびマウスのインターフェースの短所に対処するために、手書きを記録できる電子タブレット（ｅｌｅｃｔｒｏｎｉｃ ｔａｂｌｅｔ）を作成するさまざまな試みが行われてきた。そのような電子タブレットには、通常は、スクリーンと、ペンに似たハンドヘルドデバイス（スタイラスとも称する）が含まれる。ユーザは、このペンを操作して、従来のペンと紙の使用に似た形で電子タブレットに書き込むことができる。電子タブレットは、ハンドヘルドデバイスを用いるユーザの手書きのストロークを「読み取る」ことができ、その手書きを、電子形式でタブレットのスクリーンおよび／またはコンピュータのディスプレイに「電子インク」としてレンダリングすることができる。これらの電子タブレット手法は、パーソナルコンピュータ上およびハンドヘルドコンピューティングデバイス上を含むさまざまな形で実施することができる。
【０００９】
最近、電子インクのより洗練された作成および操作を提供する他のコンピュータシステムが開発された。たとえば、一部の従来のソフトウェアアプリケーションでは、文書への電子インクの追加が可能になる。このソフトウェアアプリケーションは、インクを記憶（ｓｔｏｒｅ）し、要求された時にユーザに供給する。他のアプリケーション（たとえば、ＰａｌｍオペレーティングシステムおよびＰｏｃｋｅｔＰＣオペレーティングシステムに関連するドローイングアプリケーション）では、ドローイングを取り込み保管（ｃａｐｔｕｒｅ ａｎｄ ｓｔｏｒａｇｅ）することができる。このドローイングには、ドローイングを構成するのに使用されたインクストロークに関連する他のプロパティが含まれる。たとえば、線の幅および色を、インクと共に記憶することができる。これらのシステムの目標の１つは、紙に書かれる物理的なインクのルックアンドフィール（ｌｏｏｋ ａｎｄ ｆｅｅｌ）を再現（ｒｅｐｌｉｃａｔｅ）することである。
【００１０】
物理的なインクのルックアンドフィールを再現するには、電子インクを扱うコンピュータシステムが、この電子インクを、ディスプレイデバイスに表示できる従来の電子テキストおよび電子イメージと異なる形で扱う必要がある。テキストおよびイメージなど、１つまたは２つのタイプのページオブジェクトだけを処理するワードプロセッサと異なって、電子インクを扱うコンピュータシステムは、通常は、ビットマップイメージ、ドローイングオブジェクト、およびアウトラインオブジェクトを含めることができる複数のタイプのページオブジェクトを扱う必要がある。各アウトラインオブジェクトには、１つまたは複数のノードを含めることができ、各ノードに、テキスト、ピクチャ、およびインクオブジェクトの少なくとも１つを含めることができる。
【００１１】
従来のコンピュータシステムは、電子インクを扱う能力を有するが、従来のコンピュータシステムは、電子インクを認識（ｒｅｃｏｇｎｉｚｅ）し、テキスト（ｔｅｘｔ）に変換（ｃｏｎｖｅｒｔ）する、非常に限られた電子インク変換システム（ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ ｃｏｎｖｅｒｓｉｏｎ ｓｙｓｔｅｍ）を有する。従来の電子インク変換システムの制限は、通常は、テキストエディタ（ｔｅｘｔ ｅｄｉｔｏｒ）において明白になる。電子インクから変換されたテキストの訂正は、従来の技術を用いると、非常に困難で時間を消費するものになる可能性がある。具体的に言うと、複数のページの電子インクが同時に変換される場合に、変換後のテキストのエディタは、モーダルな形（ｍｏｄａｌ ｆａｓｈｉｏｎ）で動作する。これは、従来の技術のテキストエディタを開始する時に、すべてのページが訂正されるまで、編集処理を停止できないことを意味する。また、編集処理から一時的に抜けることが、許容されない。これは、複数のページのうちの数ページだけを訂正することが望まれる場合に、その複数のページより少ない数のページを処理できないことを意味する。
【００１２】
従来のコンピュータシステムに関するもう１つの問題は、電子インクから変換されたワードの訂正を支援する方法がめったに提供されないことである。言い換えると、従来の技術は、通常、電子インクと変換されたテキスト（ｃｏｎｖｅｒｔｅｄ ｔｅｘｔ）の間の食い違い（ｄｉｓｃｒｅｐａｎｃｙ）または変換エラー（ｃｏｎｖｅｒｓｉｏｎ ｅｒｒｏｒ）の発見についてユーザに頼っている。従来の技術は、インク認識システムによって不注意に組み合わされたワードを分割（ｓｐｌｉｔ）する便利でユーザフレンドリなものを提供しない。
【００１３】
従来のコンピュータシステムのもう１つの短所は、テキストエディタが、適切な支援をユーザに提供しないことである。言い換えると、電子インクをテキストに変換する従来のコンピュータシステムは、通常は、つづりを間違えたワードまたはコンピュータシステムの辞書の一部でない可能性がある新しいワードに関する推薦のランク付き順序（ｒａｎｋｅｄ ｏｒｄｅｒ ｏｆ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）を提供しない。
【００１４】
【特許文献１】
米国特許出願第０９／８５２７９９号、２００１年５月１１日出願、表題「Ｓｅｒｉａｌ Ｓｔｏｒａｇｅ ｏｆ Ｉｎｋ ａｎｄ Ｉｔｓ Ｐｒｏｐｅｒｔｉｅｓ」
【特許文献２】
米国特許出願第０９／４３０１５０号、１９９９年１０月２９日出願、表題「Ｕｎｉｖｅｒｓａｌ Ｆｉｌｅ Ｆｏｒｍａｔ ｆｏｒ Ｄｉｇｉｔａｌ Ｒｉｃｈ Ｉｎｋ Ｄａｔａ」。
【００１５】
【発明が解決しようとする課題】
このように、当技術分野には、編集処理の完了（ｃｏｍｐｌｅｔｉｏｎ ｏｆ ｅｄｉｔｉｎｇ）の前に必要に応じて動作を中断するかシステムから抜けることができる、電子インクから変換されたテキスト（ｔｅｘｔ ｃｏｎｖｅｒｔｅｄ ｆｒｏｍ ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ）を編集する方法およびシステムの必要が存在する。当技術分野には、複数のページのうちの少数のページだけが編集された場合であっても編集処理を完了できる必要も存在する。当技術分野には、各テキストページの編集を完了する時にテキストページの保管（ｓｔｏｒａｇｅ）を可能にする方法およびシステムの必要も存在する。当技術分野には、電子インクからテキストに変換することが困難なワードに関する論理的でランク付きの推薦（ｌｏｇｉｃａｌ ａｎｄ ｒａｎｋｅｄ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）を提供できる方法およびシステムの必要が存在する。当技術分野には、インク変換システムによって不注意に組み合わされたワードのグループにおけるブレークポイント（ｂｒｅａｋ ｐｏｉｎｔ）の選択を可能にする方法およびシステムの必要が存在する。
【００１６】
【課題を解決するための手段】
本発明は、認識された電子インク（ｒｅｃｏｇｎｉｚｅｄ ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ）から変換（ｃｏｎｖｅｒｔ）することができるテキストを編集する効率的な形を提供する。具体的に言うと、ユーザインターフェースは、ディスプレイデバイスのあるセクションに電子インクを表示でき、電子インク認識システムから生成された対応する認識されたテキストまたは変換されたテキストを、ディスプレイデバイスの別のセクションに表示することができる。変換されたまたは認識されたテキストを、電子インクと簡単に比較して、インク変換エラーが存在する場合のインク変換エラーを検出することができる。ディスプレイデバイスの各セクションに表示されるデータの量を、１ページとすることができる。しかし、いくつかの場合に、電子インクのサイズ、変換されたテキストのフォントサイズ、およびディスプレイデバイスのサイズに応じて、ページ全体が表示可能である場合とそうでない場合がある。そのような、変換されたテキストと電子インクの両方についてページ全体を表示できない場合に、電子インクセクションおよび変換されたテキストページセクションのスクロール可能なページを、ユーザインターフェースによって表示することができる。
【００１７】
ユーザインターフェースに表示されるテキストセクションでワードが選択される時に、ユーザインターフェースは、強調表示（ｈｉｇｈｌｉｇｈｔｉｎｇ）などのメカニズムを介して対応する電子インクワードを識別（ｉｄｅｎｔｉｆｙ）することができる。用語「選択された（ｓｅｌｅｃｔｅｄ）」または「選択（ｓｅｌｅｃｔ）」は、後の動作のためにディスプレイデバイスに表示されたオブジェクトにマークを付けるか識別することを意味するものとすることができる。同様に、電子インクセクションのワードが選択される時に、ユーザインターフェースは、強調表示を介して対応する変換されたテキストを識別することができる。
【００１８】
本発明の１つの態様によれば、電子インクの各ページおよび変換されたまたは認識されたテキストの対応する各ページは、互いにリンクされる。言い換えると、電子インクの各ページを、変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージを受け取るまで、それに対応する変換されたまたは認識されたテキストのページだけと共に表示することができる。変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージが受け取られたならば、電子インクページとそれに対応する変換されたテキストページの間のリンクが、壊される。これは、変換されたテキストページを、それに対応する電子インクページと独立にセーブできることを意味する。
【００１９】
本発明のもう１つの態様は、電子インクページの組が変換された場合に、リンクされたページの編集を独立に完了できることである。これは、単一の電子インクページおよびそれに対応する変換されたテキストの編集を完了した時に、変換されたテキストを、それに対応する電子インクと別に、編集されなかった残りの変換されたテキストページとも別に、セーブできることを意味する。
【００２０】
もう１つの態様によれば、ユーザインターフェースを、いつでも停止させるか割り込むことができる。これは、たとえば、変換されたテキストの複数のページおよび電子インクが、編集され、完了として示される場合に、ユーザインターフェースが、他のプログラムへのアクセスを可能にするために、編集されなかったページとは別に変換されたテキストページを保管できるようにすることができることを意味する。従来の電子インク変換システムと異なって、本発明は、モーダルではなく、これは、アクセスが他のプログラムに許可される前に、ユーザが電子インクの編集を完了することを強制されないことを意味する。本発明は、柔軟であり、望みの数のリンクされたページの編集を可能にする。この形で、ユーザは、リンクされたページの編集が前に停止されたのと同一の点で、リンクされたページの組の編集に戻ることができる。
【００２１】
本発明のもう１つの例示的な態様によれば、変換されたテキストに関する推薦を含むメニュー（ａ ｍｅｎｕ ｃｏｍｐｒｉｓｉｎｇ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ）を、ユーザインターフェースの変換されたテキストセクションにおけるワードの選択時に表示することができる。具体的に言うと、１つの例示的実施形態によれば、変換されたテキストのワードを選択し、マウスなどのスクリーンポインティングデバイスを「右クリック」する際に、ユーザインターフェースは、テキストを変換する時に電子インク認識システムが作る推薦に対応する、変換されたテキストワードの代替の綴りのメニューを表示することができる。リストのからのより低いランクのワードが、変換中の正しい電子インクワードの近くになる可能性を高めるために、代替ワードのリストに、インク認識システムによってランクを付けることができる。
【００２２】
本発明のもう１つの代替の例示的態様によれば、ユーザインターフェースは、不注意に単一のワードとして一緒にグループ化された可能性がある変換されたテキストをユーザが分割できるようにする分割メカニズム（ｓｐｌｉｔｔｉｎｇ ｍｅｃｈａｎｉｓｍ）を表示することができる。言い換えると、本発明は、グループ化されたテキストを複数のワードとして認識しなければならなかった時に、ワードの間の区切りの位置（ｔｈｅ ｌｏｃａｔｉｏｎ ｏｆ ｔｈｅ ｂｒｅａｋ）に関してユーザ入力を受け取る。
【００２３】
より具体的に述べると、本発明の態様１は、認識された電子インク文書を編集するための、コンピュータで実行可能な方法であって、インターフェースから入力を受け取るステップと、前記インターフェースからの前記入力を電子インクのページに変換するステップと、前記電子インクのページをディスプレイデバイス上に表示するステップと、前記電子インクのページをテキストのページに変換するステップと、前記テキストのページを前記電子インクのページにリンクするステップと、前記電子インクのページに隣接して前記ディスプレイデバイス上に前記テキストを表示するステップと、編集完了コマンドの受け取りに応答して、前記電子インクのページから前記テキストのページをリンク解除するステップとを含む方法である。
【００２４】
本発明の態様２は、前記テキストのページにおけるワードを選択するステップと、前記テキストのページにおけるワードの選択に応答して、前記電子インクのページにおける対応するワードを選択するステップとをさらに含む本発明の態様１に記載の方法である。
【００２５】
本発明の態様３は、前記電子インクのページにおけるワードを選択するステップと、前記電子インクのページにおけるワードの選択に応答して、前記テキストのページにおける対応するワードを選択するステップとをさらに含む本発明の態様１に記載の方法である。
【００２６】
本発明の態様４は、前記テキストのページにおけるワードを強調表示するステップと、前記テキストのページにおけるワードの選択に応答して、前記電子インクのページにおける対応するワードを強調表示するステップとをさらに含む本発明の態様１に記載の方法である。
【００２７】
本発明の態様５は、前記インターフェースから前記テキストの編集を受け取るステップと、前記編集を前記ディスプレイデバイス上に表示するステップとをさらに含む本発明の態様１に記載の方法である。
【００２８】
本発明の態様６は、前記テキストと辞書を比較するステップと、前記テキストが前記辞書におけるワードと一致しない場合には、インジケータと共に前記テキストを表示するステップとをさらに含む本発明の態様１に記載の方法である。
【００２９】
本発明の態様７は、前記ディスプレイデバイス上の前記テキストのページにおけるワードの選択に応答して、代替ワードのランク付きリストを含むメニューを表示するステップをさらに含む本発明の態様１に記載の方法である。
【００３０】
本発明の態様８は、選択されたワードを編集するためのオプションのリストを含むメニューを表示するステップをさらに含む本発明の態様１に記載の方法である。
【００３１】
本発明の態様９は、前記オプションのリストは、前記テキストのページにおける選択されたワードに対応した電子インクの分類を変更すること、選択されたワードを辞書に追加すること、前記テキストのページから選択されたワードを切り取ること、前記テキストのページから選択されたワードをコピーすること、前記テキストのページにおける選択されたワードの上に別のワードを貼り付けることのいずれか１つを含む本発明の態様８に記載の方法である。
【００３２】
本発明の態様１０は、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示するステップと、１つまたは複数のワードのブレークポイントを定義する入力を受け取るステップとをさらに含む本発明の態様１に記載の方法である。
【００３３】
本発明の態様１１は、前記ブレークポイントに対応した１つまたは複数のスペースと共に前記テキストのページにおけるワードを再表示するステップをさらに含む本発明の態様１０に記載の方法である。
【００３４】
本発明の態様１２は、前記ブレークポイントに対応した１つまたは複数のスペースと共に前記電子インクのページにおけるワードを再表示するステップをさらに含む本発明の態様１０に記載の方法である。
【００３５】
本発明の態様１３は、ページのグループの一部であるテキストのページを編集するステップと、前記編集されたページをそれに対応する電子インクからリンク解除するステップと、残りの未編集ページのグループとは別に、前記編集されたページをセーブするステップとをさらに含む本発明の態様１に記載の方法である。
【００３６】
本発明の態様１４は、電子インクのページから生成されたテキストページを編集するための、コンピュータで実行可能な方法であって、テキストのページを電子インクのページにリンクするステップと、前記電子インクのページに隣接してディスプレイデバイス上に前記テキストのページを表示するステップと、編集完了コマンドの受け取りに応答して、前記テキストのページを前記電子インクのページからリンク解除するステップと、選択されたワードの編集に関するオプションのリストを含むメニューを表示するステップと、前記メニューに関連した入力を受け取るステップとを含む方法である。
【００３７】
本発明の態様１５は、インターフェースから前記テキストの編集を受け取るステップと、前記編集を前記ディスプレイデバイス上に表示するステップとをさらに含む本発明の態様１４に記載の方法である。
【００３８】
本発明の態様１６は、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示するステップと、１つまたは複数のワードのブレークポイントを定義する入力を受け取るステップとをさらに含む本発明の態様１４に記載の方法である。
【００３９】
本発明の態様１７は、電子インクおよび前記電子インクから変換されたテキストを編集するコンピュータシステムであって、処理ユニットと、メモリストレージデバイスと、データを表示するために前記処理ユニットに結合されたディスプレイデバイスと、前記処理ユニットに命令を供給するために前記メモリストレージデバイスに記憶されたプログラムとを含み、前記処理ユニットは、前記プログラムの前記命令の受け取りに応答して、電子インクのページをテキストのページに変換し、前記電子インクのページを前記テキストのページにリンクし、前記電子インクのページおよび前記テキストのページの両方を同時に表示し、前記テキストに関する編集を受け取り、編集完了コマンドの起動に応答して、前記テキストのページをそれに対応した電子インクからリンク解除し、前記編集されたテキストのページを記憶するように動作可能であるコンピュータシステムである。
【００４０】
本発明の態様１８は、前記処理ユニットは、さらに、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示し、１つまたは複数のワードのブレークポイントを定義する入力を受け取るように動作可能である本発明の態様１７に記載のコンピュータシステムである。
【００４１】
本発明の態様１９は、前記処理ユニットは、さらに、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示し、１つまたは複数のワードのブレークポイントを定義する入力を受け取り、前記ブレークポイントに対応した１つまたは複数のスペースと共に前記テキストのページにおけるワードを再表示するように動作可能である本発明の態様１７に記載のコンピュータシステムである。
【００４２】
本発明の態様２０は、前記処理ユニットは、さらに、ワードを選択する入力を受け取り、前記選択されたワードを編集するためのオプションのリストを含むメニューを表示するように動作可能であり、前記オプションのリストは、前記テキストのページにおける選択されたワードに対応した電子インクの分類を変更すること、選択されたワードを辞書に追加すること、前記テキストのページから選択されたワードを切り取ること、前記テキストのページから選択されたワードをコピーすること、前記テキストのページにおける選択されたワードの上に別のワードを貼り付けることのいずれか１つを含む本発明の態様１７に記載のコンピュータシステムである。
【００４３】
なお本願は、下記の特許出願にも関連している。米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７３）、表題「Ｗｒｉｔｉｎｇ Ｇｕｉｄｅ ｆｏｒ ａ Ｆｒｅｅ−Ｆｏｒｍ Ｄｏｃｕｍｅｎｔ Ｅｄｉｔｏｒ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７４）、表題「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｅｄｉｔｉｎｇ Ｅｌｅｃｔｒｏｎｉｃ Ｉｎｋ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７５）、表題「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｓｅｌｅｃｔｉｎｇ Ｏｂｊｅｃｔｓ ｏｎ ａ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７６）、表題「Ｒｅｓｏｌｖｉｎｇ Ｄｏｃｕｍｅｎｔ Ｏｂｊｅｃｔ Ｃｏｌｌｉｓｉｏｎｓ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７７）、表題「Ｓｐａｃｅ Ｍａｎａｇｅｍｅｎｔ ｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｄｏｃｕｍｅｎｔｓ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７８）、表題「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｒｅｃｏｇｎｉｚｉｎｇ Ｅｌｅｃｔｒｏｎｉｃ Ｈａｎｄｗｒｉｔｉｎｇ ｉｎ ａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｄｏｃｕｍｅｎｔ ａｎｄ Ｃｏｎｖｅｒｔｉｎｇ ｔｏ Ｔｅｘｔ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７９）、表題「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｄｅｓｉｇｎａｔｉｎｇ Ｄａｔａ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｄｅｓｉｇｎａｔｉｏｎ Ｔｏｏｌｓ」。これらの特許出願および本願は、すべてが同一の日付、２００２年６月２８日に出願され、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎに譲渡されている。
【００４４】
【発明の実施の形態】
ユーザインターフェースは、ディスプレイデバイスの１つのセクションに電子インクを、ディスプレイデバイスの別のセクションに、電子インク認識システム（ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ）から生成された対応する認識された（ｒｅｃｏｇｎｉｚｅｄ）または変換された（ｃｏｎｖｅｒｔｅｄ）テキストを表示することができる。電子インクの各ページおよび変換または認識されたテキストの対応する各ページは、互いにリンクされる。言い換えると、電子インクの各ページを、変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージを受け取るまで、それに対応する変換されたまたは認識されたテキストのページだけと共に表示することができる。変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージが受け取られたならば、電子インクページとそれに対応する変換されたテキストページの間のリンクは壊される（ｂｒｏｋｅｎ）。これは、変換されたテキストページを、それに対応する電子インクページと独立にセーブできることを意味する。これによって、編集された時に、ページをセーブし、変換することができるようになる。
【００４５】
例示的オペレーティング環境
本発明の例示的実施形態を、図面を用いて以下に説明する。図面では、類似する符号によって、複数の図面を通じて類似する要素が表される。図１は、本発明の実施形態の例示的オペレーティング環境を示す。例示的オペレーティング環境には、通常のパーソナルコンピュータ１２０の形の汎用コンピューティングデバイスが含まれる。一般に、パーソナルコンピュータ１２０には、処理ユニット１２１、システムメモリ１２２、および、システムメモリ１２２を含むさまざまなシステムコンポーネントを処理ユニット１２１に結合するシステムバス１２３が含まれる。システムバス１２３は、メモリバスまたはメモリコントローラ、周辺バス、およびさまざまなバスアーキテクチャのいずれかを使用するローカルバスを含む、複数のタイプのバス構造のいずれかとすることができる。システムメモリには、読み取り専用メモリ（ＲＯＭ）１２４およびランダムアクセスメモリ（ＲＡＭ）１２５が含まれる。起動（ｓｔａｒｔ−ｕｐ）中などにパーソナルコンピュータ１２０における要素の間の情報の転送（ｔｒａｎｓｆｅｒ）を助ける基本ルーチンを含む基本入出力システム（ＢＩＯＳ）１２６が、ＲＯＭ１２４に記憶される。
【００４６】
パーソナルコンピュータ１２０には、さらに、ハードディスク（図示せず）から読み取り、これに書き込むハードディスクドライブ１２７、取外し可能磁気ディスク１２９から読み取り、これに書き込む磁気ディスクドライブ１２８、およびＣＤ−ＲＯＭまたは他の光学媒体などの取り外し可能光ディスク１３１から読み取り、これに書き込む光ディスクドライブ１３０が含まれる。ハードディスクドライブ１２７、磁気ディスクドライブ１２８、および光ディスクドライブ１３０は、それぞれハードディスクドライブインターフェース１３２、磁気ディスクドライブインターフェース１３３、および光ディスクドライブインターフェース１３４によってシステムバス１２３に接続される。本明細書で説明する例示的実施形態では、ハードディスク１２７、取り外し可能磁気ディスク１２９、および取り外し可能光ディスク１３１が使用されるが、当業者は、磁気カセット、フラッシュメモリカード、ディジタル多用途ディスク、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭ、および類似物など、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体も、例示的オペレーティング環境で使用できることを諒解するに違いない。ドライブおよびそれに関連したコンピュータ可読媒体（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉａ）は、コンピュータ実行可能命令、データ構造、プログラムモジュール、およびパーソナルコンピュータ１２０の他のデータの不揮発性ストレージを提供する。
【００４７】
オペレーティングシステム１３５、文書エディタ１３６、スペース管理モジュール１３８、および電子文書１３９を含む複数のプログラムモジュールを、ハードディスク１２７、磁気ディスク１２９、光ディスク１３１、ＲＯＭ１２４、またはＲＡＭ１２５に記憶することができる。プログラムモジュールには、特定のタスクを実行するか特定の抽象データ型を実施するルーチン、サブルーチン、プログラム、オブジェクトコンポーネント、データ構造などが含まれる。本発明の諸態様は、スタイラスおよびインクモジュール２２８と共に動作して電子文書１３９を編集できるインク処理モジュール２２５の形で実施することができる。
【００４８】
ユーザは、キーボード１４０およびポインティングデバイス１４２などの入力デバイスを介してパーソナルコンピュータ１２０にコマンドおよび情報を入力することができる。ポインティングデバイスに、マウス、トラックボール、電子タブレットと共に使用することができる電子ペンを含めることができる。他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、スキャナ、および類似物を含めることができる。これらおよび他の入力デバイスは、しばしば、システムバス１２３に結合されるシリアルポートインターフェース１４６を介して処理ユニット１２１に接続されるが、パラレルポート、ゲームポート、ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ（ＵＳＢ）、または類似物などの他のインターフェースによって接続することができる。ディスプレイデバイス１４７も、ビデオアダプタ１４８などのインターフェースを介してシステムバス１２３に接続することができる。モニタのほかに、パーソナルコンピュータには、通常は、スピーカおよびプリンタなどの他の周辺出力デバイス（図示せず）が含まれる。
【００４９】
パーソナルコンピュータ１２０は、１つまたは複数のリモートコンピュータ１４９への論理接続を使用して、ネットワーク化された環境で動作することができる。リモートコンピュータ１４９は、もう１つのパーソナルコンピュータ、サーバ、クライアント、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードとすることができる。メモリストレージデバイス１５０だけが図に示されているが、リモートコンピュータ１４９には、通常は、パーソナルコンピュータ１２０に関して上で説明した要素の多数またはすべてが含まれる。図に示された論理接続には、ローカルエリアネットワーク（ＬＡＮ）１５１および広域ネットワーク（ＷＡＮ）１５２が含まれる。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットでありふれたものである。
【００５０】
ＬＡＮネットワーキング環境で使用される時には、パーソナルコンピュータ１２０は、ネットワークインターフェースまたはネットワークアダプタ１５３を介してローカルエリアネットワーク１５１に接続される。ＷＡＮネットワーキング環境で使用される時には、パーソナルコンピュータ１２０に、通常はモデム１５４または、インターネットなどのＷＡＮ１５２を介する通信を確立する他の手段が含まれる。モデム１５４は、内蔵または外付けとすることができるが、シリアルポートインターフェース１４６を介してシステムバス１２３に接続される。ネットワーク化された環境では、パーソナルコンピュータ１２０に関して図示されたプログラムモジュール、またはその一部を、リモートメモリストレージデバイス１５０に記憶することができる。図示のネットワーク接続が、例示的であり、コンピュータの間で通信リンクを確立する他の手段を使用することができることを諒解されたい。
【００５１】
さらに、当業者は、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な民生用電子機器、ネットワークパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ、および類似物を含む他のコンピュータシステム構成で本発明を実施できることを了解するであろう。本発明は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境でも実践することができる。分散コンピューティング環境（ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｍｐｕｔｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）では、プログラムモジュールを、ローカルとリモートの両方のメモリストレージデバイスに配置することができる。
【００５２】
図２を参照すると、本発明の実施形態による電子インクを編集する例示的アーキテクチャ２００が示されている。図２には、機能的展望からの、本発明を動作させるのに使用される通常のハードウェアコンポーネントおよびソフトウェアコンポーネントが示されている。通常の入力デバイスとして、キーボード２６０およびポインティングデバイス（マウス）２６５によって表される。ユーザは、入力デバイスを使用して、コンピュータ２０にコマンドおよび情報を入力することができる。他の入力デバイス（図示せず）として、マイクロホン、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、およびスキャナを含めることができる。モニタ２７０などの通常の出力デバイスが、コンピュータ２０からの情報を表示するのに使用される。他の出力デバイス（図示せず）として、プリンタまたはスピーカを含めることができる。図２に示された他のハードウェアコンポーネントには、電子タブレット２５０および付随するスタイラス２５５が含まれる。タブレット２５０およびスタイラス２５５は、手書きストロークを入力するのに使用され、この手書きストロークが、電子インクとして表すことができるデータの集合に変換される。電子インクは、電子文書２２０に組み込むことができ、電子タブレット２５０、モニタ２７０のいずれかまたは両方に表示することができる。電子タブレット２５０およびモニタ２７０は、別個であるものとして図示されているが、好ましい実施形態では、これらが、結合されるか、単一のコンポーネントを形成する。結合されたタブレット／モニタコンポーネントは、情報を表示し、スタイラス２５５から入力を受け取る能力を有する。ハードウェアコンポーネントの間に、ハードドライブまたはＲＡＭなどの通常の電子ストレージデバイス２４５が示されている。
【００５３】
代表的なアーキテクチャ２００では、ハードウェアコンポーネントのすべてが、インク処理ソフトウェアモジュール２２５に結合される。当業者は、図２が、代表的なものにすぎず、実際には、ハードウェアコンポーネントが、通常は図１に示された要素に結合されることを理解するに違いない。インク処理モジュール２２５は、電子タブレット２５０および／またはスタイラス２５５からデータを受け取り、そのデータを電子インクとしてレンダリングするように動作可能である。好ましい例示的な実施形態において、インク処理モジュール２２５は、手書きストロークを電子インクとしてレンダリングする異なるタスクを実行するソフトウェアモジュールの集合である。たとえば、スタイラスおよびインクモジュール２２８は、一連の手書きストロークのスタイラスの位置および角度を記述したデータを受け取ることができる。スタイラスおよびインクモジュール２２８は、電子インクをレンダリングするためにデータを解釈することができる。ジェスチャレコグナイザ（ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｚｅｒ）２３０およびワードレコグナイザ２３５などの他のソフトウェアモジュールを、ある手書きストロークを識別し、特定の重要性を割り当てるように設計することができる。たとえば、×印（ｃｒｏｓｓ−ｏｕｔ）などのあるジェスチャを認識し、他の編集処理に関連付けることができる。インク処理モジュール２２５に、前にレンダリングされた電子インクを除去する消去機能モジュール２４０も含めることができる。
【００５４】
インク処理モジュールは、当技術分野で既知であり、電子タブレットが機能することを必要とするが、必要なものは、図２に示されたものなどの、電子タブレットの性能を強化する文書編集モジュールである。具体的に言うと、文書編集モジュール２０５は、電子インクの操作を容易にし、その結果、ユーザが、非常に簡単に洗練された形で電子文書２２０を作成でき、操作できるようにする。文書編集モジュール２０５には、通常は、モニタ２７０にレンダリングされる電子インクを制御し、操作するソフトウェアモジュールの集合が含まれる。たとえば、解析モジュール（ｐａｒｓｉｎｇ ｍｏｄｕｌｅ）２１０を使用して、編集のためにユーザによって選択される手書きストロークを識別（ｉｄｅｎｔｉｆｙ）することができる。選択されたストロークは、どのストロークが編集されるのかをユーザが識別するのを助けるために、強調表示する（ｈｉｇｈｌｉｇｈｔｅｄ）か陰付き（ｓｈａｄｅｄ）にすることができる。クラシファイヤモジュール（ｃｌａｓｓｉｆｉｅｒ ｍｏｄｕｌｅ）２１５は、ある手書きストロークを、ワードまたはドローイングの部分として識別することができる。レイアウトモジュール２１６およびスペース挿入モジュール（ｉｎｓｅｒｔ ｓｐａｃｅ ｍｏｄｕｌｅ）２１７などのソフトウェアモジュールを、電子インクをレンダリング（ｒｅｎｄｅｒ）し移動（ｍｏｖｅ）する方法を制御するように設計することができる。他のモジュールに、選択マネージャ２８０、コンテキストメニューマネージャ２８５、ミュー（ｍｉｅｗ）ビューマネージャ２９０、テキスト入力マネージャ２９５、およびユーザインターフェース言語入力プロセッサ２９７を含めることができる。選択マネージャ２８０は、変換されたテキストまたは電子インクが、ユーザによって編集のためにどのように選択されたかを監視することができる。コンテキストメニューマネージャ２８５は、ユーザが変換されたテキストのワードを編集する時に表示することができる代替ワードのリストの選択を監視することができる。ミュービューマネージャ２９０は、対応する電子インクのページにリンクされた変換されたテキストのページを有するディスプレイスクリーンを含むユーザインターフェースをレンダリングすることができる。テキスト入力マネージャ２９５は、文脈を介するワードの認識を支援するのに言語規則を使用するユーザインターフェース言語入力プロセッサ２９７のインターフェースとして動作することができる。
【００５５】
図２に示されたモジュールは、代表的なものでり、当業者は、他のモジュールを文書編集モジュール２０５の一部にするかこれに結合することもできることを理解するに違いない。たとえば、文書編集モジュール２０５は、テキストの選択部分の監視および制御とワードラップなどの追加された機能性を提供するリッチエディットモジュール２７５と共に働くこともできる。
【００５６】
本発明には、本明細書で説明され、例示的ディスプレイスクリーンおよび添付の流れ図に示された機能を実施する複数のコンピュータプログラムが含まれる。しかし、コンピュータプログラミングで本発明を実施する多数の異なる形がありえることは明白であり、本発明を、コンピュータプログラム命令の１つの組に制限されるものと解釈してはならない。さらに、熟練したプログラマは、たとえば例示的ディスプレイスクリーンおよび流れ図と本明細書の関連する説明に基づいて、苦もなく、開示される発明を実施するためにそのようなコンピュータプログラムを記述することができる。したがって、プログラムコード命令の特定の組の開示を、本発明を作成し、使用する方法の適切な理解に必要とみなしてはならない。請求されるコンピュータプログラムの発明的機能性を、機能およびプログラムフローを示す残りの図に関して下記の説明で詳細に説明する。
【００５７】
図３を参照すると、例示的なディスプレイスクリーン３００を、タブレット２５０またはモニタ２７０などのディスプレイデバイスによって生成することができる。しかし、本発明は、電子タブレット環境に制限されない。本発明は、電子インク、電子テキスト、電子イメージ、またはこれらの組合せを扱うことができるディスプレイデバイスを有するすべてのコンピュータシステムで動作することができる。
【００５８】
例示的なディスプレイスクリーン３００として、オリジナル電子インクセクション（ｏｒｉｇｉｎａｌ ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ ｓｅｃｔｉｏｎ）３１０から線３０７によって分離される変換されたテキストセクション３０５を含めることができる。当業者は、変換されたテキストセクション３０５および電子インクセクション３１０のサイズをユーザが調節できることを諒解するであろう。すなわち、異なるサイズの変換されたテキストセクション３０５が望まれる場合に、線３０７を、ディスプレイスクリーン３００に関して上向きまたは下向きのいずれかに移動することができる。
【００５９】
変換されたテキストセクション３０５には、電子オリジナルインク（ｅｌｅｃｔｒｏｎｉｃ ｏｒｉｇｉｎａｌ ｉｎｋ）３２０に対応する変換されたテキスト３１５が含まれる。変換されたテキストセクション３０５には、さらに、電子インクセクション３１０のピクチャ３２５に対応するピクチャ３２５が含まれる。
【００６０】
変換されたテキストセクション３０５において、ワード「ｆｌｕｔｔｅｒｙｌ」３３０を選択することができる。用語「選択された」または「選択する」は、後の動作のためにディスプレイデバイスに表示されたオブジェクトにマークを付けるか識別することを意味するものとすることができる。ワード「ｆｌｕｔｔｅｒｙｌ」３３０の選択は、強調表示（ｈｉｇｈｌｉｇｈｔｉｎｇ）３３５などのメカニズムを用いて識別することができる。しかし、強調表示以外の他の識別メカニズム（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｅｃｈａｎｉｓｍ）は、本発明の範囲を超えない。たとえば、強調表示３３５を用いてワード「ｆｌｕｔｔｅｒｙｌ」３３０を識別するのではなく、ワード「ｆｌｕｔｔｅｒｙｌ」３３０を、斜体、太字、またはユーザによるテキストの選択をはっきりと表示する他の類似する方法を用いて識別することができる。
【００６１】
変換されたテキスト３１５のワードのどれかが選択された時に、電子オリジナルインク３２０における対応するワードも、再検討のためにフラグを立てられるか識別される。したがって、変換されたテキスト３１５のワード「ｆｌｕｔｔｅｒｙｌ」３３０が選択された時に、「ｆｌａｔｔｅｒｙ」３４０である電子オリジナルインク３２０における対応するワードが、フラグを立てられるか、もう１つの強調表示部分３４５によって識別される。
【００６２】
変換されたテキスト３１５の各ワードを、電子辞書内のワードと比較する。綴りが誤っているおよび電子辞書に存在しない、いずれかであるワードは、波形の下線３５０などのマーカーによってフラグが立てられる。
【００６３】
ディスプレイスクリーン３００の変換されたテキストセクション３０５には、さらに、変換されたテキストのページ全体をナビゲートするのに使用することができるスクロールバー３５５が含まれる。同様に、電子インクセクション３１０にも、ディスプレイスクリーン３００の電子インクセクション３１０をナビゲートできるようにするスクロールバー３６０が含まれる。
【００６４】
電子インクセクション３１０には、変換されたテキストセクション３０５および電子インクセクション３１０の編集が完了した時にアクティブにすることができる完了ボタン３６５も含まれる。しかし、本発明は、オンスクリーンのボタン３６５に制限されない。ボタン３６５の機能は、簡単に、ドロップダウンメニューまたは他の類似するユーザインターフェースの一部とすることができる。完了ボタンまたは「ｄｏｎｅ（終了）」ボタン３６５がアクティブにされる時に、変換されたテキストセクション３０５と電子インクセクション３１０の間のリンクが、図８に関して下で説明するように、破壊される。
【００６５】
図４を参照すると、この図には、ワード「ｆｌｕｔｔｅｒｙｌ」３３０の「右クリック」に応答してメニュー４０５が表示されている例示的なディスプレイスクリーン４００が示されている。メニュー４０５には、１つまたは複数のランク付き推薦（ｒａｎｋｅｄ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）４１０ならびに、再分類コマンド４１５、辞書コマンド４２０、切り取りコマンド４２５、コピーコマンド４３０、および貼り付けコマンド４３５を含めることができる。推薦（ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）４１０には、電子インク３２０が処理される時にユーザインターフェース言語入力プロセッサ２９７によって生成された他のワードを含めることができる。ユーザインターフェース言語入力プロセッサ２９７は、辞書のどのワードが、認識される電子インク３２０に最も近いと思われるかを判定する。
【００６６】
推薦４１０は、ランク付きであるが、これは、ユーザインターフェース言語入力プロセッサ２９７が、メニュー４０５からユーザが選択を行った後に認識されるワードのパターンを「学習」できることを意味する。より低い数のランキングを有する推薦４１０は、通常は、認識される電子インク３２０に関して正しい対応するワードである確率が最も高いワードである。
【００６７】
メニュー４０５から選択されるコマンドまたはオプションは、図２に関して上で説明したコンテキストメニューマネージャ（ｃｏｎｔｅｘｔ ｍｅｎｕ ｍａｎａｇｅｒ）２８５によって生成され、監視される。再分類コマンド（ｒｅｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｏｍｍａｎｄ）４１５を用いると、認識された電子インクが、テキストではなくドローイングであることを意図されたものである場合に、認識されたインクをドローイングとして再分類できるようになる。辞書への追加コマンド（ａｄｄ ｔｏ ｔｈｅ ｄｉｃｔｉｏｎａｒｙ ｃｏｍｍａｎｄ）４２０を用いると、現在のテキストを新しいワードとして辞書に追加できるようになり、その結果、後続のスペルチェックで現在のワードが認識されるようになる。
【００６８】
図５を参照すると、この図には、ブレークポイント（ｂｒｅａｋ ｐｏｉｎｔ）５１０を選択できる分割メカニズム（ｓｐｌｉｔｔｉｎｇ ｍｅｃｈａｎｉｓｍ）５０５を含む例示的なディスプレイスクリーン５００が示されている。分割メカニズム５０５の他に、例示的なディスプレイスクリーン５００には、さらに、分割メカニズム５０５を使用できる方法を説明するテキスト５１５が含まれる。分割メカニズム５０５は、ユーザインターフェース言語入力プロセッサ２９７によって不注意に一緒にグループ化されたワードの分離（ｓｅｐａｒａｔｉｏｎ ｏｆ ｗｏｒｄｓ）を可能にするように設計されたものである。図５に示された例示的な実施形態では、ワード「ｂａｃｋｐａｃｋｉｎｇ」を、メカニズム分割メカニズム５０５を用いて分離または分割することができる。分割メカニズム５０５は、図２に示し、図２に関して上で説明した解析モジュール２１０によって監視し、制御することができる。
【００６９】
図６を参照すると、この図には、前の図５で選択されたブレークポイント５１０に対応する例示的なディスプレイスクリーン６００が示されている。具体的に言うと、スペース６０５が、テキスト「ｂａｃｋ」６１５およびテキスト「ｐａｃｋｉｎｇ」６２０の間に表示されている。同様に、電子インク３２０に関して、ワード「ｂａｃｋ」６２５が、スペース６１０によって電子インクワード「ｐａｃｋｉｎｇ」６３０から分離されている。言い換えると、図６に示された例示的な実施形態では、変換されたテキスト３１５の間のブレークポイントまたはスペースが、電子インク３２０に変換されている。しかし、図示されない１つの例示的な実施形態では、変換されたテキスト３１５に対して分割メカニズム５０５を用いて作られたスペーシングまたは新しいブレークポイントのすべてが、電子インク３２０に変換されないことに留意されたい。すなわち、図示されない１つの例示的実施形態では、変換されたテキストワード「ｐａｃｋｉｎｇ」６２０からテキストワード「ｂａｃｋ」６１５を分離するためにブレークポイントが選択される場合、スペース６１０は、電子インク３２０について生成されない。
【００７０】
図７を参照すると、この図には、変換されたテキスト３１５について、前に表示された電子インク３２０とは完全に別に表示された例示的なディスプレイスクリーン７００が示されている。図７には、変換されたテキストの編集が終了されるか打ち切られる完了ボタンまたは「ｄｏｎｅ」ボタン３６５の起動に応答して表示することができるディスプレイスクリーン７００が示されている。図７には、変換されたテキストページのすべてを一時に編集する必要なしに、電子インクの単一のページを変換し、編集することができることも示されている。
【００７１】
図８を参照すると、この図には、電子オリジナルインク３２０と変換されたテキスト３１５との間に存在するリンク８００を示す機能ブロック図が示されている。リンク８００には、図３から６に示された「ミュー」ビュー８０５が含まれる。言い換えると、ミュービュー８０５は、分離線（ｓｅｐａｒａｔｉｏｎ ｌｉｎｅ）３０７によって電子インクセクション３１０から分離された変換されたテキストセクション３０５を含むディスプレイスクリーンまたはユーザインターフェースである。ミュービュー８０５は、「モード（ｍｏｄｅ）」動作と認識されたテキストの「ビュー（ｖｉｅｗ）」の組合せである。したがって、ミュー（ｍｉｅｗ）ビュー８０５と称する。ミュービューリンク８０５が破壊されたならば、変換されたテキスト３１５またはオリジナルインク（ｏｒｉｇｉｎａｌ ｉｎｋ）３２０を別々にセーブすることができる。あるいは、オリジナルインク３２０は、変換されたテキスト３１５に関して別のストレージエリアにすでに記憶されており、電子インクを含むファイルまたはページには、ミュービュー８０５がまだ起動（ａｃｔｉｖａｔｅ）されており、したがって図３から６に示されているように、変換されたテキスト３１５のすべてを電子インク３２０と同時に示す必要があることを示すフラグを含めることができる。上で注記したように、完了ボタンまたは「ｄｏｎｅ」ボタン３６５を選択する際に、ミュービューリンク８０５を、電子オリジナルインク３２０に関して終了するか除去することができ、前にミュービュー８０５に表示された変換されたテキスト３１５を、電子オリジナルインク３２０に関して別のスクリーンに表示することができる。
【００７２】
図９を参照すると、この図には、本発明の１つの例示的実施形態による、ディスプレイデバイスに存在することができる異なるタイプのページオブジェクトの階層（ｈｉｅｒａｒｃｈｙ）９００を示す機能ブロック図である。ページ９０５には、３つのタイプのページオブジェクトすなわち、ビットマップイメージまたはイメージ９１０、アウトラインオブジェクト１００５、およびドローイングオブジェクト９４０の１つを含めることができる。しかし、当業者は、他のタイプのページオブジェクトが、本発明の範囲を超えないことを諒解するであろう。
【００７３】
各アウトラインオブジェクトには、１つまたは複数のノード９１５を含めることができる。各ノード９１５には、３つのタイプのノード要素すなわち、テキスト９２０、ビットマップイメージまたはピクチャ９１０、およびインクオブジェクト９３０の１つを含めることができる。しかし、上で説明したページオブジェクトと同様に、当業者は、異なるタイプのノード要素は、本発明の範囲および趣旨を超えないことを認識するであろう。インクオブジェクト９３０には、通常は、そのようなオブジェクトをペンと紙を用いて形成する方法に非常に似た、スタイラスまたは他のスクリーンポインティングデバイスを用いて作成されるオブジェクトが含まれる。一方、ピクチャ９１０には、メモリ内のファイルに記憶された既存のイメージまたはソフトウェアプログラムを用いて形成されるイメージを含めることができる。
【００７４】
図１０を参照すると、この図には、選択されている変換されたテキスト３１５または電子インク３２０の強調表示を追跡（ｔｒａｃｋ）するために選択マネージャ（ｓｅｌｅｃｔｉｏｎ ｍａｎａｇｅｒ）２８０によってアクセスできるマッピングまたはツリー階層１０００を示す機能ブロック図が示されている。階層ツリー１０００には、電子インクページ３１０および変換されたテキストページ３０５が含まれる。電子インクページ３１０のツリー構造には、さらに、第１アウトラインオブジェクト１００５が含まれる。第１アウトラインオブジェクト１００５には、さらに、第１ノードＡ１０１０および第２ノードＢ１０２５が含まれる。第１ノードＡ１０１０には、さらに、第１インクオブジェクト１０１５および第２インクオブジェクト１０２０が含まれる。第２ノードＢ１０２５には、さらに、第３インクオブジェクト１０３０および第４インクオブジェクト１０３５が含まれる。
【００７５】
一方、変換されたテキストページ３０５には、第１インクアウトラインオブジェクト（ｉｎｋ ｏｕｔｌｉｎｅ ｏｂｊｅｃｔ）１０４０が含まれる。第１アウトラインオブジェクト１０４０には、さらに、第１ノードＡ１０１０に直接に対応する第１ノードＡ１０４５が含まれる。変換されたテキストページ３０５の第１ノードＡ１０４５には、さらに、第１インクオブジェクト１０５０および第２インクオブジェクト１０５５が含まれる。第１ノードＡ１０４５の第１インクオブジェクト１０５０は、Ａ１のアドレスを有する第１インクオブジェクト１０１５に直接に対応する。同様に、第２インクオブジェクト１０５５も、Ａ２のアドレスを有する第２インクオブジェクト１０２０に対応する。
【００７６】
変換されたテキストページ３０５の第２ノードＢ１０６５には、さらに、第３インクオブジェクト１０７０および第４インクオブジェクト１０７５が含まれ、これらは、それぞれ、上で述べた第３インクオブジェクト１０３０および第４インクオブジェクト１０３５に直接に対応する。図１０には、電子インク３２０の選択または変換されたテキスト３１５の選択のいずれかに応答して選択マネージャ２８０によってアクセスできる例示的なツリー構造１０００が示されている。言い換えると、選択マネージャ２８０は、ディスプレイデバイスの電子インクセクションの現在のワードが、変換されたテキストセクションの別のワードに対応することおよびその逆を強調表示するか示すために例示的なアーキテクチャ的構造１０００にアクセスすることができる。言い換えると、変換されたテキスト３１５の選択時に、選択マネージャ２８０は、例示的な階層ツリー構造１０００を使用して、変換された電子インクの対応するアドレスを見つけることができる。本発明は、図１０に示された例示的なデータ構造１０００に制限されない。当業者は、選択されたテキストを対応する電子インクにマッピングするか、電子インクを対応する電子テキストにマッピングする他の方法が存在することを理解するであろう。
【００７７】
下で説明する処理のあるステップは、説明通りに本発明が機能するために、当然、他のステップに先立つ必要がある。しかし、本発明は、そのような順序またはシーケンスによって本発明の機能性が変更されない限り、説明されるステップの順序に制限されない。すなわち、本発明の範囲および趣旨から逸脱せずに、あるステップを他のステップの前または後もしくは他のステップと並列に実行することができることを理解されたい。
【００７８】
図１１を参照すると、この図には、認識されたテキストおよびオブジェクトに関する作成の表示およびリンクの例示的処理の概要を示す論理流れ図が示されている。処理１１００の最初のステップは、インターフェースから入力を受け取るステップ１１０３である。たとえば、タブレット２５０が、スタイラス２５５から入力を受け取ることができる。
【００７９】
次に、ステップ１１０６において、入力を電子インクに変換することができる。たとえば、スタイラス２５５から受け取られたインク生成コマンドを、クラシファイヤモジュール２１５に送ることができる。クラシファイヤモジュール２１５は、受け取られたコマンドが実際にインクであることを確認し、この情報を文書編集モジュール／ユーザインターフェース２０５に送り返す。文書編集モジュール２０５は、当業者に既知の数学的スムージング方程式に従ってインクをスムージングすることによってインクを「乾かす」。電子インクを「乾か」した後に、文書編集モジュール２０５は、電子インクの変換を完了し、ステップ１１０９による表示のためにタブレット２５０またはモニタ２７０に電子インクを送る。
【００８０】
ステップ１１１２において、電子インク３２０をテキストに変換するコマンドを受け取る。次に、ルーチン１１１５において、電子インク３２０をテキスト３１５に変換する。文書編集モジュール／ユーザインターフェース２０５が、電子インクをワードレコグナイザ２３５に送る。ワードレコグナイザ２３５は、各認識された電子インクワードの代替物のリストを生成する。電子インクから認識された各ワードの代替物のリストを生成した後に、変換されたテキストを、文書編集モジュール２０５に送り返す。文書編集モジュール２０５は、そのテキストをリッチエディットモジュール２７５に転送し、リッチエディットモジュール２７５は、テキストのワードラップおよび選択部分を監視し、制御する。文書編集モジュール２０５は、いくつかの情報をテキスト入力マネージャ２９５に転送する。テキスト入力マネージャ２９５は、その情報をユーザインターフェース言語入力プロセッサ２９７に転送する。ユーザインターフェース言語入力プロセッサ２９７は、追加のインク認識を実行し、認識されたワード（ｒｅｃｏｇｎｉｚｅｄ ｗｏｒｄｓ）に関する追加の代替物（ａｄｄｉｔｉｏｎａｌ ａｌｔｅｒｎａｔｅｓ）を供給する。
【００８１】
電子インクをテキストに変換した後に、任意選択のステップ（ｏｐｔｉｏｎａｌ ｓｔｅｐ）１１１８において、変換されたテキストのスペルチェックを行う。しかし、変換されたテキストのスペルチェックは、必要ではなく、望まれる場合にそのようなステップをスキップできることに留意されたい。ステップ１１１８のスペルチェックの後に、ステップ１１２１において、電子インク３２０のページを、変換されたテキスト３１５のページにリンクする。リンクされたページは、図３に示されているように、タブレット２５０またはモニタ２７０などのディスプレイデバイスに表示される。ステップ１１２７において、綴りに誤りがあるか認識不能なワードを、タブレット２５０およびモニタ２７０などのディスプレイデバイスで指摘する。次に、判断ステップ１１３０において、変換されたテキスト３１５が選択されたかどうかを判定する。用語「選択」または「選択する」は、後の動作のためにディスプレイデバイスに表示されたオブジェクトにマークを付けるか識別することを意味するものとすることができる。
【００８２】
判断ステップ（ｄｅｃｉｓｉｏｎ ｓｔｅｐ）１１３０の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってルーチン１１３３に進み、対応する電子インク３２０を識別する。ルーチン１１３３のさらなる詳細を、下で図１３に関して説明する。判断ステップ１１３０の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１３６に進む。
【００８３】
判断ステップ１１３６において、電子インク３２０が選択されているかどうかを判定する。判断ステップ１１３６の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってルーチン１１３９に進み、対応する変換されたテキスト３１５を識別する。ルーチン１１３９のさらなる詳細を、下で図１３に関して説明する。
【００８４】
判断ステップ１１３６の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１４２に進む。判断ステップ１１４２では、変換されたテキスト３１５の単一のワードが、追加のオプションについて選択されているかどうかを判定する。判断ステップ１１４２の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってルーチン１１４５に進み、選択された変換されたワードに関するランク付きのオプションおよびコマンドをメニュー４０５に表示する。ルーチン１１４５のさらなる詳細を、下で図１４に関して説明する。
【００８５】
判断ステップ１１４８では、ワードについてドロップダウンメニュー４０５に表示されたオプションが選択されたかどうかを判定する。具体的に言うと、選択マネージャ２８０は、オプションまたはコマンドがメニュー４０５から選択されたかどうかを監視することができる。判断ステップ１１４８の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってステップ１１５１に進み、選択されたオプションを実行する。たとえば、置換ワードが、代替ワードのランク付きリスト４１０から選択された場合には、選択されたワードを、選択されたオプションに置換する。判断ステップ１１４８の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１５４に進む。
【００８６】
判断ステップ１１５４において、変換されたテキストが編集されたかどうかを判定する。判断ステップ１１５４の問い合わせが否定である場合には、「ｙｅｓ」分岐に従ってステップ１１５７に進み、１つまたは複数のワードに関する編集を受け取る。ステップ１１６０において、編集されたワードを表示する。
【００８７】
判断ステップ１１５４の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１６３に進む。判断ステップ１１６３では、変換されたテキストにおけるワードを分割または分離する必要があるかどうかを判定する。判断ステップ１１６３の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってステップ１１６６に進み、分割メカニズム５０５をディスプレイデバイス２５０または２７０に表示する。判断ステップ１１６３の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１７８に進む。
【００８８】
ステップ１１６９において、分離選択（ｓｐｌｉｔ ｓｅｌｅｃｔｉｏｎ）を分割メカニズム５０５から受け取る。次に、ステップ１１７２において、図６に示されているように、変換されたテキストワードを、分離して再表示する。任意選択のステップ１１７５（破線で表示）において、テキストの分割または分離されたワードに対応する電子インクワードも分離する。
【００８９】
判断ステップ１１７８において、ユーザが、現在表示されているリンクされたページの編集を完了または終了したかどうかを判定する。判断ステップ１１７８の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１８１に進む。判断ステップ１１７８の問い合わせが否定の場合には、処理は判断ステップ１１８４に継続される。
【００９０】
判断ステップ１１７８の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１８１に進み、図３から図６に示されているように、電子インク３２０を変換されたテキスト３１５からリンク解除する。
【００９１】
判断ステップ１１８４の問い合わせが否定の場合には、「ｎｏ」分岐に従って判断ステップ１１９０に進む。判断ステップ１１８４の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１８７に進み、リンクされたページの次の組の選択範囲を受け取り、リンクされたページも選択する。
【００９２】
判断ステップ１１９０において、変換されたインクページをセーブすることができるかどうかを判定する。ステップ１１９０の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１９３に進み、ページが、リンクされ、シャットダウンされる。ステップ１１９３では、編集されなかったページについてリンクが記憶されるようにページがセーブされる。
【００９３】
図１３を参照すると、この図には、対応する電子インクまたは対応する変換されたテキストを識別する、図１１のサブプロセス１１３３および１１３９が示されている。副方法またはサブプロセス１１３３および１１３９は、ステップ１３０５で開始され、選択範囲のアドレスが識別される。これは、変換されたテキストが選択される場合に、選択範囲の対応するアドレスが、選択マネージャ２８０に送られることを意味する。次に、ステップ１３１０において、選択マネージャ２８０は、対応する変換されたテキストページまたは電子インクページの一致するアドレスを捜し出すことができる。たとえば、少し図１０を参照すると、インクオブジェクト１０１５が選択される場合に、対応するテキストインクオブジェクト１０５０が表示される。
【００９４】
次に、ステップ１３１５において、一致するアドレスを有する対応したインクまたは変換されたテキストを強調表示する。この処理は、その後、判断ステップ１１３６または判断ステップ１１４２のいずれかにリターンする。
【００９５】
図１４を参照すると、この図には、図４に示されたメニュー４０５を作ることができる方法１１４５の機能ブロック図が示されている。ステップ１４０５において、使用のコンテキストから導出できる代替ワードのランク付きリスト（ｒａｎｋｅｄ ｌｉｓｔ ｏｆ ａｌｔｅｒｎａｔｅ ｗｏｒｄｓ）４１０を、選択されたワードについて表示する。代替ワード（ａｌｔｅｒｎａｔｅ ｗｏｒｄｓ）に関する入力の監視（ｍｏｎｉｔｏｒｉｎｇ）は、図２に関して上で説明したように、コンテキストメニューマネージャ２８５によって実行することができる。
【００９６】
ステップ１４１０において、選択マネージャ（ｓｅｌｅｃｔｉｏｎ ｍａｎａｇｅｒ）２８０は、選択されたワードについてさらなるコマンド４１５、４２０、４２５、４３０、４３５、および４４０を表示することができる。ステップ１４１５において、代替ワードまたはコマンドの選択範囲（ｓｅｌｅｃｔｉｏｎ）を受け取ることができる。その後、この処理は、終了し、判断ステップ１１４８にリターンする。
【００９７】
本発明を、さまざまな例示的実施形態に関して説明してきたが、当業者は、請求項の範囲内で多数の修正を行うことができることを理解するであろう。したがって、本発明の範囲は、上の説明によって制限されることを意図されたものではなく、請求項を参照することのみによって決定される。
【図面の簡単な説明】
【図１】本発明のさまざまな実施形態を実施する例示的オペレーティング環境を示すブロック図である。
【図２】例示的自由形式文書エディタおよび関連する入力デバイスの主機能コンポーネントを示すブロック図である。
【図３】本発明の１つの例示的実施形態による、ユーザインターフェースの電子インクセクション内で強調表示されるワードに対応してテキストセクションのワードがどのように強調表示されるかを示す例示的ディスプレイスクリーンの図である。
【図４】本発明の１つの例示的実施形態による、変換されたテキストの推薦を含むメニューを示す例示的ディスプレイスクリーンの図である。
【図５】本発明の１つの例示的実施形態による、変換されたテキストの分離または分割を可能にする例示的なメカニズム分割メカニズムを示す例示的ディスプレイスクリーンの図である。
【図６】本発明の１つの例示的実施形態による、図５に示された変換されたテキストがどのように分割されるかを示す例示的ディスプレイスクリーンの図である。
【図７】本発明の１つの例示的実施形態による、電子インクの対応するページからリンク解除される変換されたテキストのページを示す例示的ディスプレイスクリーンの図である。
【図８】本発明の１つの例示的実施形態による、電子インクのページと変換されたテキストのページの間のリンクを示す機能ブロック図である。
【図９】本発明の１つの例示的実施形態による、ディスプレイデバイスに存在することができる異なるタイプのページオブジェクトの階層を示す機能ブロック図である。
【図１０】本発明の１つの例示的実施形態による、電子インクのページと変換されたテキストのページの間に存在することができる例示的なマッピング構造を示す機能ブロック図である。
【図１１】本発明の１つの例示的実施形態による、認識されたテキストおよびオブジェクトに関する作成の表示およびリンクに関する例示的処理の概要を示す論理流れ図である。
【図１２】本発明の１つの例示的実施形態による例示的処理の概要の、図１１に示された論理流れ図の継続である論理流れ図である。
【図１３】本発明の１つの例示的実施形態による、図１１に示された論理流れ図の一部である対応するインクまたは対応するテキストを識別する副方法を示す論理流れ図である。
【図１４】本発明の１つの例示的実施形態による、図１１に示された論理流れ図の一部である代替ワードのランク付きリストを含むメニューを表示するもう１つの副方法を示す論理流れ図である。
【符号の説明】
９００ 階層
９０５ ページ
９１５ ノード
９１０ ビットマップイメージまたはピクチャ
９２０ テキスト
９３０ インクオブジェクト
９４０ ドローイングオブジェクト
１００５ アウトラインオブジェクト
【発明の属する技術分野】
本発明は、認識されたテキストおよびオブジェクトと共にインクオブジェクトを表示しリンクする方法、およびシステムに関するものである。
【０００２】
さらに詳述すると、本発明は、認識された電子インク文書を編集するための、コンピュータで実行可能な方法、および、電子インクおよび前記電子インクから変換されたテキストを編集するコンピュータシステムに関するものである。
【０００３】
換言すると本発明は、電子文書（ｅｌｅｃｔｒｏｎｉｃ ｄｏｃｕｍｅｎｔｓ）の編集（ｅｄｉｔｉｎｇ）に関し、具体的には、電子インク（ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ）から変換された電子文書におけるテキストを編集するユーザインターフェースに関する。
【０００４】
【従来の技術】
情報を記録し、通信する最も単純な方法の１つは、ペンなどの書く道具を用いて紙に情報を書くという従来の方法である。紙に手で情報を書くことは、安価であり、ほとんど準備なしですばやく簡単に行うことができる。この従来の方法は、書き手が、一般にページのどこにでもあらゆるフォーマットで書き込むことができるという点で柔軟でもある。手書き作業に関する制限の１つは、操作または他のコンテキスト（ｃｏｎｔｅｘｔ）への変換が簡単でないことである。言い換えると、手書きテキストの変更（ｃｈａｎｇｉｎｇ）または転送（ｔｒａｎｓｆｅｒｒｉｎｇ）は、通常は、そのテキストを別の媒体（ｍｅｄｉｕｍ）に再書き込みすること（ｒｅｗｒｉｔｉｎｇ）を必要とする。
【０００５】
パーソナルコンピュータの使用が広く行きわたっているので、テキスト情報が、パーソナルコンピュータで動作するワードプロセッシングソフトウェアを使用して記録されることがしばしばである。そのような、情報を記録する電子的な方法の長所は、情報を簡単に記憶でき、他のリモートコンピューティングデバイスおよび電子メディアに転送できることである。そのような電子的に記録されたテキストを、さまざまな異なる形で簡単に訂正、修正、および操作することもできる。
【０００６】
通常のコンピュータシステム、特に、Ｍｉｃｒｏｓｏｆｔ ＷＩＮＤＯＷＳ（登録商標）などのグラフィカルユーザインターフェース（ＧＵＩ）システムを使用するコンピュータシステムは、１つまたは複数の離散的入力デバイスからユーザ入力を受け入れるように最適化される。一般的な入力デバイスには、テキストを入力するキーボードと、ユーザインターフェースを制御する、１つまたは複数のボタンを有するマウスなどのポインティングデバイスが含まれる。キーボードおよびマウスのインターフェースは、テキスト、スプレッドシート、データベースフィールド、ドローイング、および写真を含む電子文書の作成および修正を容易にする。
【０００７】
従来のＧＵＩシステムに関する制限の１つは、ユーザが、一般に、パーソナルコンピュータに入力するテキストをキーボードを使用してタイプしなければならないことである。キーボードを使用するテキストの入力は、一般に、手書きより低速であり、面倒である。パーソナルコンピュータのサイズの縮小において、最近の進歩があるが、パーソナルコンピュータは、まだ従来の紙とペンほどポータブルではなく、簡単にアクセス可能ではない。さらに、従来の紙とペンは、ユーザに対して、文書の編集、余白へのメモの記録、および図形の描画に関してかなりの柔軟性を提供する。いくつかの場合に、ユーザは、キーボードおよびマウスのインターフェースの制限の外で自由にメモを書く能力のゆえに、オンスクリーンで文書をレビューするよりも、文書にペンで書き加えることを好む可能性がある。
【０００８】
従来のキーボードおよびマウスのインターフェースの短所に対処するために、手書きを記録できる電子タブレット（ｅｌｅｃｔｒｏｎｉｃ ｔａｂｌｅｔ）を作成するさまざまな試みが行われてきた。そのような電子タブレットには、通常は、スクリーンと、ペンに似たハンドヘルドデバイス（スタイラスとも称する）が含まれる。ユーザは、このペンを操作して、従来のペンと紙の使用に似た形で電子タブレットに書き込むことができる。電子タブレットは、ハンドヘルドデバイスを用いるユーザの手書きのストロークを「読み取る」ことができ、その手書きを、電子形式でタブレットのスクリーンおよび／またはコンピュータのディスプレイに「電子インク」としてレンダリングすることができる。これらの電子タブレット手法は、パーソナルコンピュータ上およびハンドヘルドコンピューティングデバイス上を含むさまざまな形で実施することができる。
【０００９】
最近、電子インクのより洗練された作成および操作を提供する他のコンピュータシステムが開発された。たとえば、一部の従来のソフトウェアアプリケーションでは、文書への電子インクの追加が可能になる。このソフトウェアアプリケーションは、インクを記憶（ｓｔｏｒｅ）し、要求された時にユーザに供給する。他のアプリケーション（たとえば、ＰａｌｍオペレーティングシステムおよびＰｏｃｋｅｔＰＣオペレーティングシステムに関連するドローイングアプリケーション）では、ドローイングを取り込み保管（ｃａｐｔｕｒｅ ａｎｄ ｓｔｏｒａｇｅ）することができる。このドローイングには、ドローイングを構成するのに使用されたインクストロークに関連する他のプロパティが含まれる。たとえば、線の幅および色を、インクと共に記憶することができる。これらのシステムの目標の１つは、紙に書かれる物理的なインクのルックアンドフィール（ｌｏｏｋ ａｎｄ ｆｅｅｌ）を再現（ｒｅｐｌｉｃａｔｅ）することである。
【００１０】
物理的なインクのルックアンドフィールを再現するには、電子インクを扱うコンピュータシステムが、この電子インクを、ディスプレイデバイスに表示できる従来の電子テキストおよび電子イメージと異なる形で扱う必要がある。テキストおよびイメージなど、１つまたは２つのタイプのページオブジェクトだけを処理するワードプロセッサと異なって、電子インクを扱うコンピュータシステムは、通常は、ビットマップイメージ、ドローイングオブジェクト、およびアウトラインオブジェクトを含めることができる複数のタイプのページオブジェクトを扱う必要がある。各アウトラインオブジェクトには、１つまたは複数のノードを含めることができ、各ノードに、テキスト、ピクチャ、およびインクオブジェクトの少なくとも１つを含めることができる。
【００１１】
従来のコンピュータシステムは、電子インクを扱う能力を有するが、従来のコンピュータシステムは、電子インクを認識（ｒｅｃｏｇｎｉｚｅ）し、テキスト（ｔｅｘｔ）に変換（ｃｏｎｖｅｒｔ）する、非常に限られた電子インク変換システム（ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ ｃｏｎｖｅｒｓｉｏｎ ｓｙｓｔｅｍ）を有する。従来の電子インク変換システムの制限は、通常は、テキストエディタ（ｔｅｘｔ ｅｄｉｔｏｒ）において明白になる。電子インクから変換されたテキストの訂正は、従来の技術を用いると、非常に困難で時間を消費するものになる可能性がある。具体的に言うと、複数のページの電子インクが同時に変換される場合に、変換後のテキストのエディタは、モーダルな形（ｍｏｄａｌ ｆａｓｈｉｏｎ）で動作する。これは、従来の技術のテキストエディタを開始する時に、すべてのページが訂正されるまで、編集処理を停止できないことを意味する。また、編集処理から一時的に抜けることが、許容されない。これは、複数のページのうちの数ページだけを訂正することが望まれる場合に、その複数のページより少ない数のページを処理できないことを意味する。
【００１２】
従来のコンピュータシステムに関するもう１つの問題は、電子インクから変換されたワードの訂正を支援する方法がめったに提供されないことである。言い換えると、従来の技術は、通常、電子インクと変換されたテキスト（ｃｏｎｖｅｒｔｅｄ ｔｅｘｔ）の間の食い違い（ｄｉｓｃｒｅｐａｎｃｙ）または変換エラー（ｃｏｎｖｅｒｓｉｏｎ ｅｒｒｏｒ）の発見についてユーザに頼っている。従来の技術は、インク認識システムによって不注意に組み合わされたワードを分割（ｓｐｌｉｔ）する便利でユーザフレンドリなものを提供しない。
【００１３】
従来のコンピュータシステムのもう１つの短所は、テキストエディタが、適切な支援をユーザに提供しないことである。言い換えると、電子インクをテキストに変換する従来のコンピュータシステムは、通常は、つづりを間違えたワードまたはコンピュータシステムの辞書の一部でない可能性がある新しいワードに関する推薦のランク付き順序（ｒａｎｋｅｄ ｏｒｄｅｒ ｏｆ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）を提供しない。
【００１４】
【特許文献１】
米国特許出願第０９／８５２７９９号、２００１年５月１１日出願、表題「Ｓｅｒｉａｌ Ｓｔｏｒａｇｅ ｏｆ Ｉｎｋ ａｎｄ Ｉｔｓ Ｐｒｏｐｅｒｔｉｅｓ」
【特許文献２】
米国特許出願第０９／４３０１５０号、１９９９年１０月２９日出願、表題「Ｕｎｉｖｅｒｓａｌ Ｆｉｌｅ Ｆｏｒｍａｔ ｆｏｒ Ｄｉｇｉｔａｌ Ｒｉｃｈ Ｉｎｋ Ｄａｔａ」。
【００１５】
【発明が解決しようとする課題】
このように、当技術分野には、編集処理の完了（ｃｏｍｐｌｅｔｉｏｎ ｏｆ ｅｄｉｔｉｎｇ）の前に必要に応じて動作を中断するかシステムから抜けることができる、電子インクから変換されたテキスト（ｔｅｘｔ ｃｏｎｖｅｒｔｅｄ ｆｒｏｍ ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ）を編集する方法およびシステムの必要が存在する。当技術分野には、複数のページのうちの少数のページだけが編集された場合であっても編集処理を完了できる必要も存在する。当技術分野には、各テキストページの編集を完了する時にテキストページの保管（ｓｔｏｒａｇｅ）を可能にする方法およびシステムの必要も存在する。当技術分野には、電子インクからテキストに変換することが困難なワードに関する論理的でランク付きの推薦（ｌｏｇｉｃａｌ ａｎｄ ｒａｎｋｅｄ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）を提供できる方法およびシステムの必要が存在する。当技術分野には、インク変換システムによって不注意に組み合わされたワードのグループにおけるブレークポイント（ｂｒｅａｋ ｐｏｉｎｔ）の選択を可能にする方法およびシステムの必要が存在する。
【００１６】
【課題を解決するための手段】
本発明は、認識された電子インク（ｒｅｃｏｇｎｉｚｅｄ ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ）から変換（ｃｏｎｖｅｒｔ）することができるテキストを編集する効率的な形を提供する。具体的に言うと、ユーザインターフェースは、ディスプレイデバイスのあるセクションに電子インクを表示でき、電子インク認識システムから生成された対応する認識されたテキストまたは変換されたテキストを、ディスプレイデバイスの別のセクションに表示することができる。変換されたまたは認識されたテキストを、電子インクと簡単に比較して、インク変換エラーが存在する場合のインク変換エラーを検出することができる。ディスプレイデバイスの各セクションに表示されるデータの量を、１ページとすることができる。しかし、いくつかの場合に、電子インクのサイズ、変換されたテキストのフォントサイズ、およびディスプレイデバイスのサイズに応じて、ページ全体が表示可能である場合とそうでない場合がある。そのような、変換されたテキストと電子インクの両方についてページ全体を表示できない場合に、電子インクセクションおよび変換されたテキストページセクションのスクロール可能なページを、ユーザインターフェースによって表示することができる。
【００１７】
ユーザインターフェースに表示されるテキストセクションでワードが選択される時に、ユーザインターフェースは、強調表示（ｈｉｇｈｌｉｇｈｔｉｎｇ）などのメカニズムを介して対応する電子インクワードを識別（ｉｄｅｎｔｉｆｙ）することができる。用語「選択された（ｓｅｌｅｃｔｅｄ）」または「選択（ｓｅｌｅｃｔ）」は、後の動作のためにディスプレイデバイスに表示されたオブジェクトにマークを付けるか識別することを意味するものとすることができる。同様に、電子インクセクションのワードが選択される時に、ユーザインターフェースは、強調表示を介して対応する変換されたテキストを識別することができる。
【００１８】
本発明の１つの態様によれば、電子インクの各ページおよび変換されたまたは認識されたテキストの対応する各ページは、互いにリンクされる。言い換えると、電子インクの各ページを、変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージを受け取るまで、それに対応する変換されたまたは認識されたテキストのページだけと共に表示することができる。変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージが受け取られたならば、電子インクページとそれに対応する変換されたテキストページの間のリンクが、壊される。これは、変換されたテキストページを、それに対応する電子インクページと独立にセーブできることを意味する。
【００１９】
本発明のもう１つの態様は、電子インクページの組が変換された場合に、リンクされたページの編集を独立に完了できることである。これは、単一の電子インクページおよびそれに対応する変換されたテキストの編集を完了した時に、変換されたテキストを、それに対応する電子インクと別に、編集されなかった残りの変換されたテキストページとも別に、セーブできることを意味する。
【００２０】
もう１つの態様によれば、ユーザインターフェースを、いつでも停止させるか割り込むことができる。これは、たとえば、変換されたテキストの複数のページおよび電子インクが、編集され、完了として示される場合に、ユーザインターフェースが、他のプログラムへのアクセスを可能にするために、編集されなかったページとは別に変換されたテキストページを保管できるようにすることができることを意味する。従来の電子インク変換システムと異なって、本発明は、モーダルではなく、これは、アクセスが他のプログラムに許可される前に、ユーザが電子インクの編集を完了することを強制されないことを意味する。本発明は、柔軟であり、望みの数のリンクされたページの編集を可能にする。この形で、ユーザは、リンクされたページの編集が前に停止されたのと同一の点で、リンクされたページの組の編集に戻ることができる。
【００２１】
本発明のもう１つの例示的な態様によれば、変換されたテキストに関する推薦を含むメニュー（ａ ｍｅｎｕ ｃｏｍｐｒｉｓｉｎｇ ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ）を、ユーザインターフェースの変換されたテキストセクションにおけるワードの選択時に表示することができる。具体的に言うと、１つの例示的実施形態によれば、変換されたテキストのワードを選択し、マウスなどのスクリーンポインティングデバイスを「右クリック」する際に、ユーザインターフェースは、テキストを変換する時に電子インク認識システムが作る推薦に対応する、変換されたテキストワードの代替の綴りのメニューを表示することができる。リストのからのより低いランクのワードが、変換中の正しい電子インクワードの近くになる可能性を高めるために、代替ワードのリストに、インク認識システムによってランクを付けることができる。
【００２２】
本発明のもう１つの代替の例示的態様によれば、ユーザインターフェースは、不注意に単一のワードとして一緒にグループ化された可能性がある変換されたテキストをユーザが分割できるようにする分割メカニズム（ｓｐｌｉｔｔｉｎｇ ｍｅｃｈａｎｉｓｍ）を表示することができる。言い換えると、本発明は、グループ化されたテキストを複数のワードとして認識しなければならなかった時に、ワードの間の区切りの位置（ｔｈｅ ｌｏｃａｔｉｏｎ ｏｆ ｔｈｅ ｂｒｅａｋ）に関してユーザ入力を受け取る。
【００２３】
より具体的に述べると、本発明の態様１は、認識された電子インク文書を編集するための、コンピュータで実行可能な方法であって、インターフェースから入力を受け取るステップと、前記インターフェースからの前記入力を電子インクのページに変換するステップと、前記電子インクのページをディスプレイデバイス上に表示するステップと、前記電子インクのページをテキストのページに変換するステップと、前記テキストのページを前記電子インクのページにリンクするステップと、前記電子インクのページに隣接して前記ディスプレイデバイス上に前記テキストを表示するステップと、編集完了コマンドの受け取りに応答して、前記電子インクのページから前記テキストのページをリンク解除するステップとを含む方法である。
【００２４】
本発明の態様２は、前記テキストのページにおけるワードを選択するステップと、前記テキストのページにおけるワードの選択に応答して、前記電子インクのページにおける対応するワードを選択するステップとをさらに含む本発明の態様１に記載の方法である。
【００２５】
本発明の態様３は、前記電子インクのページにおけるワードを選択するステップと、前記電子インクのページにおけるワードの選択に応答して、前記テキストのページにおける対応するワードを選択するステップとをさらに含む本発明の態様１に記載の方法である。
【００２６】
本発明の態様４は、前記テキストのページにおけるワードを強調表示するステップと、前記テキストのページにおけるワードの選択に応答して、前記電子インクのページにおける対応するワードを強調表示するステップとをさらに含む本発明の態様１に記載の方法である。
【００２７】
本発明の態様５は、前記インターフェースから前記テキストの編集を受け取るステップと、前記編集を前記ディスプレイデバイス上に表示するステップとをさらに含む本発明の態様１に記載の方法である。
【００２８】
本発明の態様６は、前記テキストと辞書を比較するステップと、前記テキストが前記辞書におけるワードと一致しない場合には、インジケータと共に前記テキストを表示するステップとをさらに含む本発明の態様１に記載の方法である。
【００２９】
本発明の態様７は、前記ディスプレイデバイス上の前記テキストのページにおけるワードの選択に応答して、代替ワードのランク付きリストを含むメニューを表示するステップをさらに含む本発明の態様１に記載の方法である。
【００３０】
本発明の態様８は、選択されたワードを編集するためのオプションのリストを含むメニューを表示するステップをさらに含む本発明の態様１に記載の方法である。
【００３１】
本発明の態様９は、前記オプションのリストは、前記テキストのページにおける選択されたワードに対応した電子インクの分類を変更すること、選択されたワードを辞書に追加すること、前記テキストのページから選択されたワードを切り取ること、前記テキストのページから選択されたワードをコピーすること、前記テキストのページにおける選択されたワードの上に別のワードを貼り付けることのいずれか１つを含む本発明の態様８に記載の方法である。
【００３２】
本発明の態様１０は、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示するステップと、１つまたは複数のワードのブレークポイントを定義する入力を受け取るステップとをさらに含む本発明の態様１に記載の方法である。
【００３３】
本発明の態様１１は、前記ブレークポイントに対応した１つまたは複数のスペースと共に前記テキストのページにおけるワードを再表示するステップをさらに含む本発明の態様１０に記載の方法である。
【００３４】
本発明の態様１２は、前記ブレークポイントに対応した１つまたは複数のスペースと共に前記電子インクのページにおけるワードを再表示するステップをさらに含む本発明の態様１０に記載の方法である。
【００３５】
本発明の態様１３は、ページのグループの一部であるテキストのページを編集するステップと、前記編集されたページをそれに対応する電子インクからリンク解除するステップと、残りの未編集ページのグループとは別に、前記編集されたページをセーブするステップとをさらに含む本発明の態様１に記載の方法である。
【００３６】
本発明の態様１４は、電子インクのページから生成されたテキストページを編集するための、コンピュータで実行可能な方法であって、テキストのページを電子インクのページにリンクするステップと、前記電子インクのページに隣接してディスプレイデバイス上に前記テキストのページを表示するステップと、編集完了コマンドの受け取りに応答して、前記テキストのページを前記電子インクのページからリンク解除するステップと、選択されたワードの編集に関するオプションのリストを含むメニューを表示するステップと、前記メニューに関連した入力を受け取るステップとを含む方法である。
【００３７】
本発明の態様１５は、インターフェースから前記テキストの編集を受け取るステップと、前記編集を前記ディスプレイデバイス上に表示するステップとをさらに含む本発明の態様１４に記載の方法である。
【００３８】
本発明の態様１６は、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示するステップと、１つまたは複数のワードのブレークポイントを定義する入力を受け取るステップとをさらに含む本発明の態様１４に記載の方法である。
【００３９】
本発明の態様１７は、電子インクおよび前記電子インクから変換されたテキストを編集するコンピュータシステムであって、処理ユニットと、メモリストレージデバイスと、データを表示するために前記処理ユニットに結合されたディスプレイデバイスと、前記処理ユニットに命令を供給するために前記メモリストレージデバイスに記憶されたプログラムとを含み、前記処理ユニットは、前記プログラムの前記命令の受け取りに応答して、電子インクのページをテキストのページに変換し、前記電子インクのページを前記テキストのページにリンクし、前記電子インクのページおよび前記テキストのページの両方を同時に表示し、前記テキストに関する編集を受け取り、編集完了コマンドの起動に応答して、前記テキストのページをそれに対応した電子インクからリンク解除し、前記編集されたテキストのページを記憶するように動作可能であるコンピュータシステムである。
【００４０】
本発明の態様１８は、前記処理ユニットは、さらに、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示し、１つまたは複数のワードのブレークポイントを定義する入力を受け取るように動作可能である本発明の態様１７に記載のコンピュータシステムである。
【００４１】
本発明の態様１９は、前記処理ユニットは、さらに、前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示し、１つまたは複数のワードのブレークポイントを定義する入力を受け取り、前記ブレークポイントに対応した１つまたは複数のスペースと共に前記テキストのページにおけるワードを再表示するように動作可能である本発明の態様１７に記載のコンピュータシステムである。
【００４２】
本発明の態様２０は、前記処理ユニットは、さらに、ワードを選択する入力を受け取り、前記選択されたワードを編集するためのオプションのリストを含むメニューを表示するように動作可能であり、前記オプションのリストは、前記テキストのページにおける選択されたワードに対応した電子インクの分類を変更すること、選択されたワードを辞書に追加すること、前記テキストのページから選択されたワードを切り取ること、前記テキストのページから選択されたワードをコピーすること、前記テキストのページにおける選択されたワードの上に別のワードを貼り付けることのいずれか１つを含む本発明の態様１７に記載のコンピュータシステムである。
【００４３】
なお本願は、下記の特許出願にも関連している。米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７３）、表題「Ｗｒｉｔｉｎｇ Ｇｕｉｄｅ ｆｏｒ ａ Ｆｒｅｅ−Ｆｏｒｍ Ｄｏｃｕｍｅｎｔ Ｅｄｉｔｏｒ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７４）、表題「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｅｄｉｔｉｎｇ Ｅｌｅｃｔｒｏｎｉｃ Ｉｎｋ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７５）、表題「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｓｅｌｅｃｔｉｎｇ Ｏｂｊｅｃｔｓ ｏｎ ａ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７６）、表題「Ｒｅｓｏｌｖｉｎｇ Ｄｏｃｕｍｅｎｔ Ｏｂｊｅｃｔ Ｃｏｌｌｉｓｉｏｎｓ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７７）、表題「Ｓｐａｃｅ Ｍａｎａｇｅｍｅｎｔ ｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｄｏｃｕｍｅｎｔｓ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７８）、表題「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｒｅｃｏｇｎｉｚｉｎｇ Ｅｌｅｃｔｒｏｎｉｃ Ｈａｎｄｗｒｉｔｉｎｇ ｉｎ ａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｄｏｃｕｍｅｎｔ ａｎｄ Ｃｏｎｖｅｒｔｉｎｇ ｔｏ Ｔｅｘｔ」、米国特許出願第 号（ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ ｎｕｍｂｅｒ０６５７６．１０５０７９）、表題「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｄｅｓｉｇｎａｔｉｎｇ Ｄａｔａ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｄｅｓｉｇｎａｔｉｏｎ Ｔｏｏｌｓ」。これらの特許出願および本願は、すべてが同一の日付、２００２年６月２８日に出願され、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎに譲渡されている。
【００４４】
【発明の実施の形態】
ユーザインターフェースは、ディスプレイデバイスの１つのセクションに電子インクを、ディスプレイデバイスの別のセクションに、電子インク認識システム（ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ）から生成された対応する認識された（ｒｅｃｏｇｎｉｚｅｄ）または変換された（ｃｏｎｖｅｒｔｅｄ）テキストを表示することができる。電子インクの各ページおよび変換または認識されたテキストの対応する各ページは、互いにリンクされる。言い換えると、電子インクの各ページを、変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージを受け取るまで、それに対応する変換されたまたは認識されたテキストのページだけと共に表示することができる。変換されたまたは認識されたテキストの編集が完了したことのコマンドまたはメッセージが受け取られたならば、電子インクページとそれに対応する変換されたテキストページの間のリンクは壊される（ｂｒｏｋｅｎ）。これは、変換されたテキストページを、それに対応する電子インクページと独立にセーブできることを意味する。これによって、編集された時に、ページをセーブし、変換することができるようになる。
【００４５】
例示的オペレーティング環境
本発明の例示的実施形態を、図面を用いて以下に説明する。図面では、類似する符号によって、複数の図面を通じて類似する要素が表される。図１は、本発明の実施形態の例示的オペレーティング環境を示す。例示的オペレーティング環境には、通常のパーソナルコンピュータ１２０の形の汎用コンピューティングデバイスが含まれる。一般に、パーソナルコンピュータ１２０には、処理ユニット１２１、システムメモリ１２２、および、システムメモリ１２２を含むさまざまなシステムコンポーネントを処理ユニット１２１に結合するシステムバス１２３が含まれる。システムバス１２３は、メモリバスまたはメモリコントローラ、周辺バス、およびさまざまなバスアーキテクチャのいずれかを使用するローカルバスを含む、複数のタイプのバス構造のいずれかとすることができる。システムメモリには、読み取り専用メモリ（ＲＯＭ）１２４およびランダムアクセスメモリ（ＲＡＭ）１２５が含まれる。起動（ｓｔａｒｔ−ｕｐ）中などにパーソナルコンピュータ１２０における要素の間の情報の転送（ｔｒａｎｓｆｅｒ）を助ける基本ルーチンを含む基本入出力システム（ＢＩＯＳ）１２６が、ＲＯＭ１２４に記憶される。
【００４６】
パーソナルコンピュータ１２０には、さらに、ハードディスク（図示せず）から読み取り、これに書き込むハードディスクドライブ１２７、取外し可能磁気ディスク１２９から読み取り、これに書き込む磁気ディスクドライブ１２８、およびＣＤ−ＲＯＭまたは他の光学媒体などの取り外し可能光ディスク１３１から読み取り、これに書き込む光ディスクドライブ１３０が含まれる。ハードディスクドライブ１２７、磁気ディスクドライブ１２８、および光ディスクドライブ１３０は、それぞれハードディスクドライブインターフェース１３２、磁気ディスクドライブインターフェース１３３、および光ディスクドライブインターフェース１３４によってシステムバス１２３に接続される。本明細書で説明する例示的実施形態では、ハードディスク１２７、取り外し可能磁気ディスク１２９、および取り外し可能光ディスク１３１が使用されるが、当業者は、磁気カセット、フラッシュメモリカード、ディジタル多用途ディスク、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭ、および類似物など、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体も、例示的オペレーティング環境で使用できることを諒解するに違いない。ドライブおよびそれに関連したコンピュータ可読媒体（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉａ）は、コンピュータ実行可能命令、データ構造、プログラムモジュール、およびパーソナルコンピュータ１２０の他のデータの不揮発性ストレージを提供する。
【００４７】
オペレーティングシステム１３５、文書エディタ１３６、スペース管理モジュール１３８、および電子文書１３９を含む複数のプログラムモジュールを、ハードディスク１２７、磁気ディスク１２９、光ディスク１３１、ＲＯＭ１２４、またはＲＡＭ１２５に記憶することができる。プログラムモジュールには、特定のタスクを実行するか特定の抽象データ型を実施するルーチン、サブルーチン、プログラム、オブジェクトコンポーネント、データ構造などが含まれる。本発明の諸態様は、スタイラスおよびインクモジュール２２８と共に動作して電子文書１３９を編集できるインク処理モジュール２２５の形で実施することができる。
【００４８】
ユーザは、キーボード１４０およびポインティングデバイス１４２などの入力デバイスを介してパーソナルコンピュータ１２０にコマンドおよび情報を入力することができる。ポインティングデバイスに、マウス、トラックボール、電子タブレットと共に使用することができる電子ペンを含めることができる。他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、スキャナ、および類似物を含めることができる。これらおよび他の入力デバイスは、しばしば、システムバス１２３に結合されるシリアルポートインターフェース１４６を介して処理ユニット１２１に接続されるが、パラレルポート、ゲームポート、ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ（ＵＳＢ）、または類似物などの他のインターフェースによって接続することができる。ディスプレイデバイス１４７も、ビデオアダプタ１４８などのインターフェースを介してシステムバス１２３に接続することができる。モニタのほかに、パーソナルコンピュータには、通常は、スピーカおよびプリンタなどの他の周辺出力デバイス（図示せず）が含まれる。
【００４９】
パーソナルコンピュータ１２０は、１つまたは複数のリモートコンピュータ１４９への論理接続を使用して、ネットワーク化された環境で動作することができる。リモートコンピュータ１４９は、もう１つのパーソナルコンピュータ、サーバ、クライアント、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードとすることができる。メモリストレージデバイス１５０だけが図に示されているが、リモートコンピュータ１４９には、通常は、パーソナルコンピュータ１２０に関して上で説明した要素の多数またはすべてが含まれる。図に示された論理接続には、ローカルエリアネットワーク（ＬＡＮ）１５１および広域ネットワーク（ＷＡＮ）１５２が含まれる。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットでありふれたものである。
【００５０】
ＬＡＮネットワーキング環境で使用される時には、パーソナルコンピュータ１２０は、ネットワークインターフェースまたはネットワークアダプタ１５３を介してローカルエリアネットワーク１５１に接続される。ＷＡＮネットワーキング環境で使用される時には、パーソナルコンピュータ１２０に、通常はモデム１５４または、インターネットなどのＷＡＮ１５２を介する通信を確立する他の手段が含まれる。モデム１５４は、内蔵または外付けとすることができるが、シリアルポートインターフェース１４６を介してシステムバス１２３に接続される。ネットワーク化された環境では、パーソナルコンピュータ１２０に関して図示されたプログラムモジュール、またはその一部を、リモートメモリストレージデバイス１５０に記憶することができる。図示のネットワーク接続が、例示的であり、コンピュータの間で通信リンクを確立する他の手段を使用することができることを諒解されたい。
【００５１】
さらに、当業者は、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な民生用電子機器、ネットワークパーソナルコンピュータ、ミニコンピュータ、メインフレームコンピュータ、および類似物を含む他のコンピュータシステム構成で本発明を実施できることを了解するであろう。本発明は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境でも実践することができる。分散コンピューティング環境（ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｍｐｕｔｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）では、プログラムモジュールを、ローカルとリモートの両方のメモリストレージデバイスに配置することができる。
【００５２】
図２を参照すると、本発明の実施形態による電子インクを編集する例示的アーキテクチャ２００が示されている。図２には、機能的展望からの、本発明を動作させるのに使用される通常のハードウェアコンポーネントおよびソフトウェアコンポーネントが示されている。通常の入力デバイスとして、キーボード２６０およびポインティングデバイス（マウス）２６５によって表される。ユーザは、入力デバイスを使用して、コンピュータ２０にコマンドおよび情報を入力することができる。他の入力デバイス（図示せず）として、マイクロホン、ジョイスティック、ゲームパッド、衛星放送用パラボラアンテナ、およびスキャナを含めることができる。モニタ２７０などの通常の出力デバイスが、コンピュータ２０からの情報を表示するのに使用される。他の出力デバイス（図示せず）として、プリンタまたはスピーカを含めることができる。図２に示された他のハードウェアコンポーネントには、電子タブレット２５０および付随するスタイラス２５５が含まれる。タブレット２５０およびスタイラス２５５は、手書きストロークを入力するのに使用され、この手書きストロークが、電子インクとして表すことができるデータの集合に変換される。電子インクは、電子文書２２０に組み込むことができ、電子タブレット２５０、モニタ２７０のいずれかまたは両方に表示することができる。電子タブレット２５０およびモニタ２７０は、別個であるものとして図示されているが、好ましい実施形態では、これらが、結合されるか、単一のコンポーネントを形成する。結合されたタブレット／モニタコンポーネントは、情報を表示し、スタイラス２５５から入力を受け取る能力を有する。ハードウェアコンポーネントの間に、ハードドライブまたはＲＡＭなどの通常の電子ストレージデバイス２４５が示されている。
【００５３】
代表的なアーキテクチャ２００では、ハードウェアコンポーネントのすべてが、インク処理ソフトウェアモジュール２２５に結合される。当業者は、図２が、代表的なものにすぎず、実際には、ハードウェアコンポーネントが、通常は図１に示された要素に結合されることを理解するに違いない。インク処理モジュール２２５は、電子タブレット２５０および／またはスタイラス２５５からデータを受け取り、そのデータを電子インクとしてレンダリングするように動作可能である。好ましい例示的な実施形態において、インク処理モジュール２２５は、手書きストロークを電子インクとしてレンダリングする異なるタスクを実行するソフトウェアモジュールの集合である。たとえば、スタイラスおよびインクモジュール２２８は、一連の手書きストロークのスタイラスの位置および角度を記述したデータを受け取ることができる。スタイラスおよびインクモジュール２２８は、電子インクをレンダリングするためにデータを解釈することができる。ジェスチャレコグナイザ（ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｚｅｒ）２３０およびワードレコグナイザ２３５などの他のソフトウェアモジュールを、ある手書きストロークを識別し、特定の重要性を割り当てるように設計することができる。たとえば、×印（ｃｒｏｓｓ−ｏｕｔ）などのあるジェスチャを認識し、他の編集処理に関連付けることができる。インク処理モジュール２２５に、前にレンダリングされた電子インクを除去する消去機能モジュール２４０も含めることができる。
【００５４】
インク処理モジュールは、当技術分野で既知であり、電子タブレットが機能することを必要とするが、必要なものは、図２に示されたものなどの、電子タブレットの性能を強化する文書編集モジュールである。具体的に言うと、文書編集モジュール２０５は、電子インクの操作を容易にし、その結果、ユーザが、非常に簡単に洗練された形で電子文書２２０を作成でき、操作できるようにする。文書編集モジュール２０５には、通常は、モニタ２７０にレンダリングされる電子インクを制御し、操作するソフトウェアモジュールの集合が含まれる。たとえば、解析モジュール（ｐａｒｓｉｎｇ ｍｏｄｕｌｅ）２１０を使用して、編集のためにユーザによって選択される手書きストロークを識別（ｉｄｅｎｔｉｆｙ）することができる。選択されたストロークは、どのストロークが編集されるのかをユーザが識別するのを助けるために、強調表示する（ｈｉｇｈｌｉｇｈｔｅｄ）か陰付き（ｓｈａｄｅｄ）にすることができる。クラシファイヤモジュール（ｃｌａｓｓｉｆｉｅｒ ｍｏｄｕｌｅ）２１５は、ある手書きストロークを、ワードまたはドローイングの部分として識別することができる。レイアウトモジュール２１６およびスペース挿入モジュール（ｉｎｓｅｒｔ ｓｐａｃｅ ｍｏｄｕｌｅ）２１７などのソフトウェアモジュールを、電子インクをレンダリング（ｒｅｎｄｅｒ）し移動（ｍｏｖｅ）する方法を制御するように設計することができる。他のモジュールに、選択マネージャ２８０、コンテキストメニューマネージャ２８５、ミュー（ｍｉｅｗ）ビューマネージャ２９０、テキスト入力マネージャ２９５、およびユーザインターフェース言語入力プロセッサ２９７を含めることができる。選択マネージャ２８０は、変換されたテキストまたは電子インクが、ユーザによって編集のためにどのように選択されたかを監視することができる。コンテキストメニューマネージャ２８５は、ユーザが変換されたテキストのワードを編集する時に表示することができる代替ワードのリストの選択を監視することができる。ミュービューマネージャ２９０は、対応する電子インクのページにリンクされた変換されたテキストのページを有するディスプレイスクリーンを含むユーザインターフェースをレンダリングすることができる。テキスト入力マネージャ２９５は、文脈を介するワードの認識を支援するのに言語規則を使用するユーザインターフェース言語入力プロセッサ２９７のインターフェースとして動作することができる。
【００５５】
図２に示されたモジュールは、代表的なものでり、当業者は、他のモジュールを文書編集モジュール２０５の一部にするかこれに結合することもできることを理解するに違いない。たとえば、文書編集モジュール２０５は、テキストの選択部分の監視および制御とワードラップなどの追加された機能性を提供するリッチエディットモジュール２７５と共に働くこともできる。
【００５６】
本発明には、本明細書で説明され、例示的ディスプレイスクリーンおよび添付の流れ図に示された機能を実施する複数のコンピュータプログラムが含まれる。しかし、コンピュータプログラミングで本発明を実施する多数の異なる形がありえることは明白であり、本発明を、コンピュータプログラム命令の１つの組に制限されるものと解釈してはならない。さらに、熟練したプログラマは、たとえば例示的ディスプレイスクリーンおよび流れ図と本明細書の関連する説明に基づいて、苦もなく、開示される発明を実施するためにそのようなコンピュータプログラムを記述することができる。したがって、プログラムコード命令の特定の組の開示を、本発明を作成し、使用する方法の適切な理解に必要とみなしてはならない。請求されるコンピュータプログラムの発明的機能性を、機能およびプログラムフローを示す残りの図に関して下記の説明で詳細に説明する。
【００５７】
図３を参照すると、例示的なディスプレイスクリーン３００を、タブレット２５０またはモニタ２７０などのディスプレイデバイスによって生成することができる。しかし、本発明は、電子タブレット環境に制限されない。本発明は、電子インク、電子テキスト、電子イメージ、またはこれらの組合せを扱うことができるディスプレイデバイスを有するすべてのコンピュータシステムで動作することができる。
【００５８】
例示的なディスプレイスクリーン３００として、オリジナル電子インクセクション（ｏｒｉｇｉｎａｌ ｅｌｅｃｔｒｏｎｉｃ ｉｎｋ ｓｅｃｔｉｏｎ）３１０から線３０７によって分離される変換されたテキストセクション３０５を含めることができる。当業者は、変換されたテキストセクション３０５および電子インクセクション３１０のサイズをユーザが調節できることを諒解するであろう。すなわち、異なるサイズの変換されたテキストセクション３０５が望まれる場合に、線３０７を、ディスプレイスクリーン３００に関して上向きまたは下向きのいずれかに移動することができる。
【００５９】
変換されたテキストセクション３０５には、電子オリジナルインク（ｅｌｅｃｔｒｏｎｉｃ ｏｒｉｇｉｎａｌ ｉｎｋ）３２０に対応する変換されたテキスト３１５が含まれる。変換されたテキストセクション３０５には、さらに、電子インクセクション３１０のピクチャ３２５に対応するピクチャ３２５が含まれる。
【００６０】
変換されたテキストセクション３０５において、ワード「ｆｌｕｔｔｅｒｙｌ」３３０を選択することができる。用語「選択された」または「選択する」は、後の動作のためにディスプレイデバイスに表示されたオブジェクトにマークを付けるか識別することを意味するものとすることができる。ワード「ｆｌｕｔｔｅｒｙｌ」３３０の選択は、強調表示（ｈｉｇｈｌｉｇｈｔｉｎｇ）３３５などのメカニズムを用いて識別することができる。しかし、強調表示以外の他の識別メカニズム（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｅｃｈａｎｉｓｍ）は、本発明の範囲を超えない。たとえば、強調表示３３５を用いてワード「ｆｌｕｔｔｅｒｙｌ」３３０を識別するのではなく、ワード「ｆｌｕｔｔｅｒｙｌ」３３０を、斜体、太字、またはユーザによるテキストの選択をはっきりと表示する他の類似する方法を用いて識別することができる。
【００６１】
変換されたテキスト３１５のワードのどれかが選択された時に、電子オリジナルインク３２０における対応するワードも、再検討のためにフラグを立てられるか識別される。したがって、変換されたテキスト３１５のワード「ｆｌｕｔｔｅｒｙｌ」３３０が選択された時に、「ｆｌａｔｔｅｒｙ」３４０である電子オリジナルインク３２０における対応するワードが、フラグを立てられるか、もう１つの強調表示部分３４５によって識別される。
【００６２】
変換されたテキスト３１５の各ワードを、電子辞書内のワードと比較する。綴りが誤っているおよび電子辞書に存在しない、いずれかであるワードは、波形の下線３５０などのマーカーによってフラグが立てられる。
【００６３】
ディスプレイスクリーン３００の変換されたテキストセクション３０５には、さらに、変換されたテキストのページ全体をナビゲートするのに使用することができるスクロールバー３５５が含まれる。同様に、電子インクセクション３１０にも、ディスプレイスクリーン３００の電子インクセクション３１０をナビゲートできるようにするスクロールバー３６０が含まれる。
【００６４】
電子インクセクション３１０には、変換されたテキストセクション３０５および電子インクセクション３１０の編集が完了した時にアクティブにすることができる完了ボタン３６５も含まれる。しかし、本発明は、オンスクリーンのボタン３６５に制限されない。ボタン３６５の機能は、簡単に、ドロップダウンメニューまたは他の類似するユーザインターフェースの一部とすることができる。完了ボタンまたは「ｄｏｎｅ（終了）」ボタン３６５がアクティブにされる時に、変換されたテキストセクション３０５と電子インクセクション３１０の間のリンクが、図８に関して下で説明するように、破壊される。
【００６５】
図４を参照すると、この図には、ワード「ｆｌｕｔｔｅｒｙｌ」３３０の「右クリック」に応答してメニュー４０５が表示されている例示的なディスプレイスクリーン４００が示されている。メニュー４０５には、１つまたは複数のランク付き推薦（ｒａｎｋｅｄ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）４１０ならびに、再分類コマンド４１５、辞書コマンド４２０、切り取りコマンド４２５、コピーコマンド４３０、および貼り付けコマンド４３５を含めることができる。推薦（ｒｅｃｏｍｍｅｎｄａｔｉｏｎ）４１０には、電子インク３２０が処理される時にユーザインターフェース言語入力プロセッサ２９７によって生成された他のワードを含めることができる。ユーザインターフェース言語入力プロセッサ２９７は、辞書のどのワードが、認識される電子インク３２０に最も近いと思われるかを判定する。
【００６６】
推薦４１０は、ランク付きであるが、これは、ユーザインターフェース言語入力プロセッサ２９７が、メニュー４０５からユーザが選択を行った後に認識されるワードのパターンを「学習」できることを意味する。より低い数のランキングを有する推薦４１０は、通常は、認識される電子インク３２０に関して正しい対応するワードである確率が最も高いワードである。
【００６７】
メニュー４０５から選択されるコマンドまたはオプションは、図２に関して上で説明したコンテキストメニューマネージャ（ｃｏｎｔｅｘｔ ｍｅｎｕ ｍａｎａｇｅｒ）２８５によって生成され、監視される。再分類コマンド（ｒｅｃｌａｓｓｉｆｉｃａｔｉｏｎ ｃｏｍｍａｎｄ）４１５を用いると、認識された電子インクが、テキストではなくドローイングであることを意図されたものである場合に、認識されたインクをドローイングとして再分類できるようになる。辞書への追加コマンド（ａｄｄ ｔｏ ｔｈｅ ｄｉｃｔｉｏｎａｒｙ ｃｏｍｍａｎｄ）４２０を用いると、現在のテキストを新しいワードとして辞書に追加できるようになり、その結果、後続のスペルチェックで現在のワードが認識されるようになる。
【００６８】
図５を参照すると、この図には、ブレークポイント（ｂｒｅａｋ ｐｏｉｎｔ）５１０を選択できる分割メカニズム（ｓｐｌｉｔｔｉｎｇ ｍｅｃｈａｎｉｓｍ）５０５を含む例示的なディスプレイスクリーン５００が示されている。分割メカニズム５０５の他に、例示的なディスプレイスクリーン５００には、さらに、分割メカニズム５０５を使用できる方法を説明するテキスト５１５が含まれる。分割メカニズム５０５は、ユーザインターフェース言語入力プロセッサ２９７によって不注意に一緒にグループ化されたワードの分離（ｓｅｐａｒａｔｉｏｎ ｏｆ ｗｏｒｄｓ）を可能にするように設計されたものである。図５に示された例示的な実施形態では、ワード「ｂａｃｋｐａｃｋｉｎｇ」を、メカニズム分割メカニズム５０５を用いて分離または分割することができる。分割メカニズム５０５は、図２に示し、図２に関して上で説明した解析モジュール２１０によって監視し、制御することができる。
【００６９】
図６を参照すると、この図には、前の図５で選択されたブレークポイント５１０に対応する例示的なディスプレイスクリーン６００が示されている。具体的に言うと、スペース６０５が、テキスト「ｂａｃｋ」６１５およびテキスト「ｐａｃｋｉｎｇ」６２０の間に表示されている。同様に、電子インク３２０に関して、ワード「ｂａｃｋ」６２５が、スペース６１０によって電子インクワード「ｐａｃｋｉｎｇ」６３０から分離されている。言い換えると、図６に示された例示的な実施形態では、変換されたテキスト３１５の間のブレークポイントまたはスペースが、電子インク３２０に変換されている。しかし、図示されない１つの例示的な実施形態では、変換されたテキスト３１５に対して分割メカニズム５０５を用いて作られたスペーシングまたは新しいブレークポイントのすべてが、電子インク３２０に変換されないことに留意されたい。すなわち、図示されない１つの例示的実施形態では、変換されたテキストワード「ｐａｃｋｉｎｇ」６２０からテキストワード「ｂａｃｋ」６１５を分離するためにブレークポイントが選択される場合、スペース６１０は、電子インク３２０について生成されない。
【００７０】
図７を参照すると、この図には、変換されたテキスト３１５について、前に表示された電子インク３２０とは完全に別に表示された例示的なディスプレイスクリーン７００が示されている。図７には、変換されたテキストの編集が終了されるか打ち切られる完了ボタンまたは「ｄｏｎｅ」ボタン３６５の起動に応答して表示することができるディスプレイスクリーン７００が示されている。図７には、変換されたテキストページのすべてを一時に編集する必要なしに、電子インクの単一のページを変換し、編集することができることも示されている。
【００７１】
図８を参照すると、この図には、電子オリジナルインク３２０と変換されたテキスト３１５との間に存在するリンク８００を示す機能ブロック図が示されている。リンク８００には、図３から６に示された「ミュー」ビュー８０５が含まれる。言い換えると、ミュービュー８０５は、分離線（ｓｅｐａｒａｔｉｏｎ ｌｉｎｅ）３０７によって電子インクセクション３１０から分離された変換されたテキストセクション３０５を含むディスプレイスクリーンまたはユーザインターフェースである。ミュービュー８０５は、「モード（ｍｏｄｅ）」動作と認識されたテキストの「ビュー（ｖｉｅｗ）」の組合せである。したがって、ミュー（ｍｉｅｗ）ビュー８０５と称する。ミュービューリンク８０５が破壊されたならば、変換されたテキスト３１５またはオリジナルインク（ｏｒｉｇｉｎａｌ ｉｎｋ）３２０を別々にセーブすることができる。あるいは、オリジナルインク３２０は、変換されたテキスト３１５に関して別のストレージエリアにすでに記憶されており、電子インクを含むファイルまたはページには、ミュービュー８０５がまだ起動（ａｃｔｉｖａｔｅ）されており、したがって図３から６に示されているように、変換されたテキスト３１５のすべてを電子インク３２０と同時に示す必要があることを示すフラグを含めることができる。上で注記したように、完了ボタンまたは「ｄｏｎｅ」ボタン３６５を選択する際に、ミュービューリンク８０５を、電子オリジナルインク３２０に関して終了するか除去することができ、前にミュービュー８０５に表示された変換されたテキスト３１５を、電子オリジナルインク３２０に関して別のスクリーンに表示することができる。
【００７２】
図９を参照すると、この図には、本発明の１つの例示的実施形態による、ディスプレイデバイスに存在することができる異なるタイプのページオブジェクトの階層（ｈｉｅｒａｒｃｈｙ）９００を示す機能ブロック図である。ページ９０５には、３つのタイプのページオブジェクトすなわち、ビットマップイメージまたはイメージ９１０、アウトラインオブジェクト１００５、およびドローイングオブジェクト９４０の１つを含めることができる。しかし、当業者は、他のタイプのページオブジェクトが、本発明の範囲を超えないことを諒解するであろう。
【００７３】
各アウトラインオブジェクトには、１つまたは複数のノード９１５を含めることができる。各ノード９１５には、３つのタイプのノード要素すなわち、テキスト９２０、ビットマップイメージまたはピクチャ９１０、およびインクオブジェクト９３０の１つを含めることができる。しかし、上で説明したページオブジェクトと同様に、当業者は、異なるタイプのノード要素は、本発明の範囲および趣旨を超えないことを認識するであろう。インクオブジェクト９３０には、通常は、そのようなオブジェクトをペンと紙を用いて形成する方法に非常に似た、スタイラスまたは他のスクリーンポインティングデバイスを用いて作成されるオブジェクトが含まれる。一方、ピクチャ９１０には、メモリ内のファイルに記憶された既存のイメージまたはソフトウェアプログラムを用いて形成されるイメージを含めることができる。
【００７４】
図１０を参照すると、この図には、選択されている変換されたテキスト３１５または電子インク３２０の強調表示を追跡（ｔｒａｃｋ）するために選択マネージャ（ｓｅｌｅｃｔｉｏｎ ｍａｎａｇｅｒ）２８０によってアクセスできるマッピングまたはツリー階層１０００を示す機能ブロック図が示されている。階層ツリー１０００には、電子インクページ３１０および変換されたテキストページ３０５が含まれる。電子インクページ３１０のツリー構造には、さらに、第１アウトラインオブジェクト１００５が含まれる。第１アウトラインオブジェクト１００５には、さらに、第１ノードＡ１０１０および第２ノードＢ１０２５が含まれる。第１ノードＡ１０１０には、さらに、第１インクオブジェクト１０１５および第２インクオブジェクト１０２０が含まれる。第２ノードＢ１０２５には、さらに、第３インクオブジェクト１０３０および第４インクオブジェクト１０３５が含まれる。
【００７５】
一方、変換されたテキストページ３０５には、第１インクアウトラインオブジェクト（ｉｎｋ ｏｕｔｌｉｎｅ ｏｂｊｅｃｔ）１０４０が含まれる。第１アウトラインオブジェクト１０４０には、さらに、第１ノードＡ１０１０に直接に対応する第１ノードＡ１０４５が含まれる。変換されたテキストページ３０５の第１ノードＡ１０４５には、さらに、第１インクオブジェクト１０５０および第２インクオブジェクト１０５５が含まれる。第１ノードＡ１０４５の第１インクオブジェクト１０５０は、Ａ１のアドレスを有する第１インクオブジェクト１０１５に直接に対応する。同様に、第２インクオブジェクト１０５５も、Ａ２のアドレスを有する第２インクオブジェクト１０２０に対応する。
【００７６】
変換されたテキストページ３０５の第２ノードＢ１０６５には、さらに、第３インクオブジェクト１０７０および第４インクオブジェクト１０７５が含まれ、これらは、それぞれ、上で述べた第３インクオブジェクト１０３０および第４インクオブジェクト１０３５に直接に対応する。図１０には、電子インク３２０の選択または変換されたテキスト３１５の選択のいずれかに応答して選択マネージャ２８０によってアクセスできる例示的なツリー構造１０００が示されている。言い換えると、選択マネージャ２８０は、ディスプレイデバイスの電子インクセクションの現在のワードが、変換されたテキストセクションの別のワードに対応することおよびその逆を強調表示するか示すために例示的なアーキテクチャ的構造１０００にアクセスすることができる。言い換えると、変換されたテキスト３１５の選択時に、選択マネージャ２８０は、例示的な階層ツリー構造１０００を使用して、変換された電子インクの対応するアドレスを見つけることができる。本発明は、図１０に示された例示的なデータ構造１０００に制限されない。当業者は、選択されたテキストを対応する電子インクにマッピングするか、電子インクを対応する電子テキストにマッピングする他の方法が存在することを理解するであろう。
【００７７】
下で説明する処理のあるステップは、説明通りに本発明が機能するために、当然、他のステップに先立つ必要がある。しかし、本発明は、そのような順序またはシーケンスによって本発明の機能性が変更されない限り、説明されるステップの順序に制限されない。すなわち、本発明の範囲および趣旨から逸脱せずに、あるステップを他のステップの前または後もしくは他のステップと並列に実行することができることを理解されたい。
【００７８】
図１１を参照すると、この図には、認識されたテキストおよびオブジェクトに関する作成の表示およびリンクの例示的処理の概要を示す論理流れ図が示されている。処理１１００の最初のステップは、インターフェースから入力を受け取るステップ１１０３である。たとえば、タブレット２５０が、スタイラス２５５から入力を受け取ることができる。
【００７９】
次に、ステップ１１０６において、入力を電子インクに変換することができる。たとえば、スタイラス２５５から受け取られたインク生成コマンドを、クラシファイヤモジュール２１５に送ることができる。クラシファイヤモジュール２１５は、受け取られたコマンドが実際にインクであることを確認し、この情報を文書編集モジュール／ユーザインターフェース２０５に送り返す。文書編集モジュール２０５は、当業者に既知の数学的スムージング方程式に従ってインクをスムージングすることによってインクを「乾かす」。電子インクを「乾か」した後に、文書編集モジュール２０５は、電子インクの変換を完了し、ステップ１１０９による表示のためにタブレット２５０またはモニタ２７０に電子インクを送る。
【００８０】
ステップ１１１２において、電子インク３２０をテキストに変換するコマンドを受け取る。次に、ルーチン１１１５において、電子インク３２０をテキスト３１５に変換する。文書編集モジュール／ユーザインターフェース２０５が、電子インクをワードレコグナイザ２３５に送る。ワードレコグナイザ２３５は、各認識された電子インクワードの代替物のリストを生成する。電子インクから認識された各ワードの代替物のリストを生成した後に、変換されたテキストを、文書編集モジュール２０５に送り返す。文書編集モジュール２０５は、そのテキストをリッチエディットモジュール２７５に転送し、リッチエディットモジュール２７５は、テキストのワードラップおよび選択部分を監視し、制御する。文書編集モジュール２０５は、いくつかの情報をテキスト入力マネージャ２９５に転送する。テキスト入力マネージャ２９５は、その情報をユーザインターフェース言語入力プロセッサ２９７に転送する。ユーザインターフェース言語入力プロセッサ２９７は、追加のインク認識を実行し、認識されたワード（ｒｅｃｏｇｎｉｚｅｄ ｗｏｒｄｓ）に関する追加の代替物（ａｄｄｉｔｉｏｎａｌ ａｌｔｅｒｎａｔｅｓ）を供給する。
【００８１】
電子インクをテキストに変換した後に、任意選択のステップ（ｏｐｔｉｏｎａｌ ｓｔｅｐ）１１１８において、変換されたテキストのスペルチェックを行う。しかし、変換されたテキストのスペルチェックは、必要ではなく、望まれる場合にそのようなステップをスキップできることに留意されたい。ステップ１１１８のスペルチェックの後に、ステップ１１２１において、電子インク３２０のページを、変換されたテキスト３１５のページにリンクする。リンクされたページは、図３に示されているように、タブレット２５０またはモニタ２７０などのディスプレイデバイスに表示される。ステップ１１２７において、綴りに誤りがあるか認識不能なワードを、タブレット２５０およびモニタ２７０などのディスプレイデバイスで指摘する。次に、判断ステップ１１３０において、変換されたテキスト３１５が選択されたかどうかを判定する。用語「選択」または「選択する」は、後の動作のためにディスプレイデバイスに表示されたオブジェクトにマークを付けるか識別することを意味するものとすることができる。
【００８２】
判断ステップ（ｄｅｃｉｓｉｏｎ ｓｔｅｐ）１１３０の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってルーチン１１３３に進み、対応する電子インク３２０を識別する。ルーチン１１３３のさらなる詳細を、下で図１３に関して説明する。判断ステップ１１３０の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１３６に進む。
【００８３】
判断ステップ１１３６において、電子インク３２０が選択されているかどうかを判定する。判断ステップ１１３６の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってルーチン１１３９に進み、対応する変換されたテキスト３１５を識別する。ルーチン１１３９のさらなる詳細を、下で図１３に関して説明する。
【００８４】
判断ステップ１１３６の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１４２に進む。判断ステップ１１４２では、変換されたテキスト３１５の単一のワードが、追加のオプションについて選択されているかどうかを判定する。判断ステップ１１４２の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってルーチン１１４５に進み、選択された変換されたワードに関するランク付きのオプションおよびコマンドをメニュー４０５に表示する。ルーチン１１４５のさらなる詳細を、下で図１４に関して説明する。
【００８５】
判断ステップ１１４８では、ワードについてドロップダウンメニュー４０５に表示されたオプションが選択されたかどうかを判定する。具体的に言うと、選択マネージャ２８０は、オプションまたはコマンドがメニュー４０５から選択されたかどうかを監視することができる。判断ステップ１１４８の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってステップ１１５１に進み、選択されたオプションを実行する。たとえば、置換ワードが、代替ワードのランク付きリスト４１０から選択された場合には、選択されたワードを、選択されたオプションに置換する。判断ステップ１１４８の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１５４に進む。
【００８６】
判断ステップ１１５４において、変換されたテキストが編集されたかどうかを判定する。判断ステップ１１５４の問い合わせが否定である場合には、「ｙｅｓ」分岐に従ってステップ１１５７に進み、１つまたは複数のワードに関する編集を受け取る。ステップ１１６０において、編集されたワードを表示する。
【００８７】
判断ステップ１１５４の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１６３に進む。判断ステップ１１６３では、変換されたテキストにおけるワードを分割または分離する必要があるかどうかを判定する。判断ステップ１１６３の問い合わせが肯定である場合には、「ｙｅｓ」分岐に従ってステップ１１６６に進み、分割メカニズム５０５をディスプレイデバイス２５０または２７０に表示する。判断ステップ１１６３の問い合わせが否定である場合には、「ｎｏ」分岐に従って判断ステップ１１７８に進む。
【００８８】
ステップ１１６９において、分離選択（ｓｐｌｉｔ ｓｅｌｅｃｔｉｏｎ）を分割メカニズム５０５から受け取る。次に、ステップ１１７２において、図６に示されているように、変換されたテキストワードを、分離して再表示する。任意選択のステップ１１７５（破線で表示）において、テキストの分割または分離されたワードに対応する電子インクワードも分離する。
【００８９】
判断ステップ１１７８において、ユーザが、現在表示されているリンクされたページの編集を完了または終了したかどうかを判定する。判断ステップ１１７８の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１８１に進む。判断ステップ１１７８の問い合わせが否定の場合には、処理は判断ステップ１１８４に継続される。
【００９０】
判断ステップ１１７８の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１８１に進み、図３から図６に示されているように、電子インク３２０を変換されたテキスト３１５からリンク解除する。
【００９１】
判断ステップ１１８４の問い合わせが否定の場合には、「ｎｏ」分岐に従って判断ステップ１１９０に進む。判断ステップ１１８４の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１８７に進み、リンクされたページの次の組の選択範囲を受け取り、リンクされたページも選択する。
【００９２】
判断ステップ１１９０において、変換されたインクページをセーブすることができるかどうかを判定する。ステップ１１９０の問い合わせが肯定の場合には、「ｙｅｓ」分岐に従ってステップ１１９３に進み、ページが、リンクされ、シャットダウンされる。ステップ１１９３では、編集されなかったページについてリンクが記憶されるようにページがセーブされる。
【００９３】
図１３を参照すると、この図には、対応する電子インクまたは対応する変換されたテキストを識別する、図１１のサブプロセス１１３３および１１３９が示されている。副方法またはサブプロセス１１３３および１１３９は、ステップ１３０５で開始され、選択範囲のアドレスが識別される。これは、変換されたテキストが選択される場合に、選択範囲の対応するアドレスが、選択マネージャ２８０に送られることを意味する。次に、ステップ１３１０において、選択マネージャ２８０は、対応する変換されたテキストページまたは電子インクページの一致するアドレスを捜し出すことができる。たとえば、少し図１０を参照すると、インクオブジェクト１０１５が選択される場合に、対応するテキストインクオブジェクト１０５０が表示される。
【００９４】
次に、ステップ１３１５において、一致するアドレスを有する対応したインクまたは変換されたテキストを強調表示する。この処理は、その後、判断ステップ１１３６または判断ステップ１１４２のいずれかにリターンする。
【００９５】
図１４を参照すると、この図には、図４に示されたメニュー４０５を作ることができる方法１１４５の機能ブロック図が示されている。ステップ１４０５において、使用のコンテキストから導出できる代替ワードのランク付きリスト（ｒａｎｋｅｄ ｌｉｓｔ ｏｆ ａｌｔｅｒｎａｔｅ ｗｏｒｄｓ）４１０を、選択されたワードについて表示する。代替ワード（ａｌｔｅｒｎａｔｅ ｗｏｒｄｓ）に関する入力の監視（ｍｏｎｉｔｏｒｉｎｇ）は、図２に関して上で説明したように、コンテキストメニューマネージャ２８５によって実行することができる。
【００９６】
ステップ１４１０において、選択マネージャ（ｓｅｌｅｃｔｉｏｎ ｍａｎａｇｅｒ）２８０は、選択されたワードについてさらなるコマンド４１５、４２０、４２５、４３０、４３５、および４４０を表示することができる。ステップ１４１５において、代替ワードまたはコマンドの選択範囲（ｓｅｌｅｃｔｉｏｎ）を受け取ることができる。その後、この処理は、終了し、判断ステップ１１４８にリターンする。
【００９７】
本発明を、さまざまな例示的実施形態に関して説明してきたが、当業者は、請求項の範囲内で多数の修正を行うことができることを理解するであろう。したがって、本発明の範囲は、上の説明によって制限されることを意図されたものではなく、請求項を参照することのみによって決定される。
【図面の簡単な説明】
【図１】本発明のさまざまな実施形態を実施する例示的オペレーティング環境を示すブロック図である。
【図２】例示的自由形式文書エディタおよび関連する入力デバイスの主機能コンポーネントを示すブロック図である。
【図３】本発明の１つの例示的実施形態による、ユーザインターフェースの電子インクセクション内で強調表示されるワードに対応してテキストセクションのワードがどのように強調表示されるかを示す例示的ディスプレイスクリーンの図である。
【図４】本発明の１つの例示的実施形態による、変換されたテキストの推薦を含むメニューを示す例示的ディスプレイスクリーンの図である。
【図５】本発明の１つの例示的実施形態による、変換されたテキストの分離または分割を可能にする例示的なメカニズム分割メカニズムを示す例示的ディスプレイスクリーンの図である。
【図６】本発明の１つの例示的実施形態による、図５に示された変換されたテキストがどのように分割されるかを示す例示的ディスプレイスクリーンの図である。
【図７】本発明の１つの例示的実施形態による、電子インクの対応するページからリンク解除される変換されたテキストのページを示す例示的ディスプレイスクリーンの図である。
【図８】本発明の１つの例示的実施形態による、電子インクのページと変換されたテキストのページの間のリンクを示す機能ブロック図である。
【図９】本発明の１つの例示的実施形態による、ディスプレイデバイスに存在することができる異なるタイプのページオブジェクトの階層を示す機能ブロック図である。
【図１０】本発明の１つの例示的実施形態による、電子インクのページと変換されたテキストのページの間に存在することができる例示的なマッピング構造を示す機能ブロック図である。
【図１１】本発明の１つの例示的実施形態による、認識されたテキストおよびオブジェクトに関する作成の表示およびリンクに関する例示的処理の概要を示す論理流れ図である。
【図１２】本発明の１つの例示的実施形態による例示的処理の概要の、図１１に示された論理流れ図の継続である論理流れ図である。
【図１３】本発明の１つの例示的実施形態による、図１１に示された論理流れ図の一部である対応するインクまたは対応するテキストを識別する副方法を示す論理流れ図である。
【図１４】本発明の１つの例示的実施形態による、図１１に示された論理流れ図の一部である代替ワードのランク付きリストを含むメニューを表示するもう１つの副方法を示す論理流れ図である。
【符号の説明】
９００ 階層
９０５ ページ
９１５ ノード
９１０ ビットマップイメージまたはピクチャ
９２０ テキスト
９３０ インクオブジェクト
９４０ ドローイングオブジェクト
１００５ アウトラインオブジェクト
Claims (20)
- 認識された電子インク文書を編集するための、コンピュータで実行可能な方法であって、
インターフェースから入力を受け取るステップと、
前記インターフェースからの前記入力を電子インクのページに変換するステップと、
前記電子インクのページをディスプレイデバイス上に表示するステップと、
前記電子インクのページをテキストのページに変換するステップと、
前記テキストのページを前記電子インクのページにリンクするステップと、
前記電子インクのページに隣接して前記ディスプレイデバイス上に前記テキストを表示するステップと、
編集完了コマンドの受け取りに応答して、前記電子インクのページから前記テキストのページをリンク解除するステップと
を含むことを特徴とする方法。 - 前記テキストのページにおけるワードを選択するステップと、
前記テキストのページにおけるワードの選択に応答して、前記電子インクのページにおける対応するワードを選択するステップと
をさらに含むことを特徴とする請求項１に記載の方法。 - 前記電子インクのページにおけるワードを選択するステップと、
前記電子インクのページにおけるワードの選択に応答して、前記テキストのページにおける対応するワードを選択するステップと
をさらに含むことを特徴とする請求項１に記載の方法。 - 前記テキストのページにおけるワードを強調表示するステップと、
前記テキストのページにおけるワードの選択に応答して、前記電子インクのページにおける対応するワードを強調表示するステップと
をさらに含むことを特徴とする請求項１に記載の方法。 - 前記インターフェースから前記テキストの編集を受け取るステップと、
前記編集を前記ディスプレイデバイス上に表示するステップと
をさらに含むことを特徴とする請求項１に記載の方法。 - 前記テキストと辞書を比較するステップと、
前記テキストが前記辞書におけるワードと一致しない場合には、インジケータと共に前記テキストを表示するステップと
をさらに含むことを特徴とする請求項１に記載の方法。 - 前記ディスプレイデバイス上の前記テキストのページにおけるワードの選択に応答して、代替ワードのランク付きリストを含むメニューを表示するステップをさらに含むことを特徴とする請求項１に記載の方法。
- 選択されたワードを編集するためのオプションのリストを含むメニューを表示するステップをさらに含むことを特徴とする請求項１に記載の方法。
- 前記オプションのリストは、
前記テキストのページにおける選択されたワードに対応した電子インクの分類を変更すること、選択されたワードを辞書に追加すること、前記テキストのページから選択されたワードを切り取ること、前記テキストのページから選択されたワードをコピーすること、前記テキストのページにおける選択されたワードの上に別のワードを貼り付けることのいずれか１つを含むことを特徴とする請求項８に記載の方法。 - 前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示するステップと、
１つまたは複数のワードのブレークポイントを定義する入力を受け取るステップと
をさらに含むことを特徴とする請求項１に記載の方法。 - 前記ブレークポイントに対応した１つまたは複数のスペースと共に前記テキストのページにおけるワードを再表示するステップをさらに含むことを特徴とする請求項１０に記載の方法。
- 前記ブレークポイントに対応した１つまたは複数のスペースと共に前記電子インクのページにおけるワードを再表示するステップをさらに含むことを特徴とする請求項１０に記載の方法。
- ページのグループの一部であるテキストのページを編集するステップと、
前記編集されたページをそれに対応する電子インクからリンク解除するステップと、
残りの未編集ページのグループとは別に、前記編集されたページをセーブするステップと
をさらに含むことを特徴とする請求項１に記載の方法。 - 電子インクのページから生成されたテキストページを編集するための、コンピュータで実行可能な方法であって、
テキストのページを電子インクのページにリンクするステップと、
前記電子インクのページに隣接してディスプレイデバイス上に前記テキストのページを表示するステップと、
編集完了コマンドの受け取りに応答して、前記テキストのページを前記電子インクのページからリンク解除するステップと、
選択されたワードの編集に関するオプションのリストを含むメニューを表示するステップと、
前記メニューに関連した入力を受け取るステップと
を含むことを特徴とする方法。 - インターフェースから前記テキストの編集を受け取るステップと、
前記編集を前記ディスプレイデバイス上に表示するステップと
をさらに含むことを特徴とする請求項１４に記載の方法。 - 前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示するステップと、
１つまたは複数のワードのブレークポイントを定義する入力を受け取るステップと
をさらに含むことを特徴とする請求項１４に記載の方法。 - 電子インクおよび前記電子インクから変換されたテキストを編集するコンピュータシステムであって、
処理ユニットと、
メモリストレージデバイスと、
データを表示するために前記処理ユニットに結合されたディスプレイデバイスと、
前記処理ユニットに命令を供給するために前記メモリストレージデバイスに記憶されたプログラムとを含み、
前記処理ユニットは、前記プログラムの前記命令の受け取りに応答して、
電子インクのページをテキストのページに変換し、
前記電子インクのページを前記テキストのページにリンクし、
前記電子インクのページおよび前記テキストのページの両方を同時に表示し、
前記テキストに関する編集を受け取り、
編集完了コマンドの起動に応答して、前記テキストのページをそれに対応した電子インクからリンク解除し、
前記編集されたテキストのページを記憶する
ように動作可能である
ことを特徴とするコンピュータシステム。 - 前記処理ユニットは、さらに、
前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示し、
１つまたは複数のワードのブレークポイントを定義する入力を受け取る
ように動作可能であることを特徴とする請求項１７に記載のコンピュータシステム。 - 前記処理ユニットは、さらに、
前記テキストのページにおける１つまたは複数のワードを分離する分割メカニズムを表示し、
１つまたは複数のワードのブレークポイントを定義する入力を受け取り、
前記ブレークポイントに対応した１つまたは複数のスペースと共に前記テキストのページにおけるワードを再表示する
ように動作可能であることを特徴とする請求項１７に記載のコンピュータシステム。 - 前記処理ユニットは、さらに、
ワードを選択する入力を受け取り、
前記選択されたワードを編集するためのオプションのリストを含むメニューを表示するように動作可能であり、
前記オプションのリストは、前記テキストのページにおける選択されたワードに対応した電子インクの分類を変更すること、選択されたワードを辞書に追加すること、前記テキストのページから選択されたワードを切り取ること、前記テキストのページから選択されたワードをコピーすること、前記テキストのページにおける選択されたワードの上に別のワードを貼り付けることのいずれか１つを含む
ことを特徴とする請求項１７に記載のコンピュータシステム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/186,463 US7079713B2 (en) | 2002-06-28 | 2002-06-28 | Method and system for displaying and linking ink objects with recognized text and objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004070938A true JP2004070938A (ja) | 2004-03-04 |
| JP4235500B2 JP4235500B2 (ja) | 2009-03-11 |
Family
ID=29718025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003188925A Expired - Fee Related JP4235500B2 (ja) | 2002-06-28 | 2003-06-30 | 認識されたテキストおよびオブジェクトと共にインクオブジェクトを表示しリンクする方法、およびシステム |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US7079713B2 (ja) |
| EP (1) | EP1376448B1 (ja) |
| JP (1) | JP4235500B2 (ja) |
| AT (1) | ATE342551T1 (ja) |
| CA (1) | CA2430802C (ja) |
| DE (1) | DE60308952T2 (ja) |
Families Citing this family (228)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US7188309B2 (en) | 2002-06-28 | 2007-03-06 | Microsoft Corporation | Resolving document object collisions |
| US7185278B1 (en) | 2002-06-28 | 2007-02-27 | Microsoft Corporation | Separating and moving document objects using the movement of a wiper bar |
| US7751623B1 (en) | 2002-06-28 | 2010-07-06 | Microsoft Corporation | Writing guide for a free-form document editor |
| US7259752B1 (en) | 2002-06-28 | 2007-08-21 | Microsoft Corporation | Method and system for editing electronic ink |
| US7079713B2 (en) * | 2002-06-28 | 2006-07-18 | Microsoft Corporation | Method and system for displaying and linking ink objects with recognized text and objects |
| US7174042B1 (en) * | 2002-06-28 | 2007-02-06 | Microsoft Corporation | System and method for automatically recognizing electronic handwriting in an electronic document and converting to text |
| US7137077B2 (en) * | 2002-07-30 | 2006-11-14 | Microsoft Corporation | Freeform encounter selection tool |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US20060104515A1 (en) * | 2004-07-19 | 2006-05-18 | King Martin T | Automatic modification of WEB pages |
| US7358965B2 (en) * | 2004-02-18 | 2008-04-15 | Microsoft Corporation | Tapping to create writing |
| US7721226B2 (en) * | 2004-02-18 | 2010-05-18 | Microsoft Corporation | Glom widget |
| US7659890B2 (en) * | 2004-03-19 | 2010-02-09 | Microsoft Corporation | Automatic height adjustment for electronic highlighter pens and mousing devices |
| US9008447B2 (en) | 2004-04-01 | 2015-04-14 | Google Inc. | Method and system for character recognition |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US8081849B2 (en) | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| US7372993B2 (en) | 2004-07-21 | 2008-05-13 | Hewlett-Packard Development Company, L.P. | Gesture recognition |
| US20060190424A1 (en) * | 2005-02-18 | 2006-08-24 | Beale Kevin M | System and method for dynamically linking |
| US7350716B2 (en) * | 2005-05-10 | 2008-04-01 | International Business Machines Corporation | Mechanism for ensuring authenticity of written and printed documents |
| US7357333B2 (en) * | 2005-05-10 | 2008-04-15 | International Business Machines Corporation | Mechanism for storing authenticity information about a written or printed document |
| US20070038955A1 (en) * | 2005-08-09 | 2007-02-15 | Nguyen Mitchell V | Pen-based computer system having first and second windows together with second window locator within first window |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US7526737B2 (en) * | 2005-11-14 | 2009-04-28 | Microsoft Corporation | Free form wiper |
| US8250486B2 (en) * | 2006-01-19 | 2012-08-21 | International Business Machines Corporation | Computer controlled user interactive display interface for accessing graphic tools with a minimum of display pointer movement |
| EP2067119A2 (en) | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US20080195931A1 (en) * | 2006-10-27 | 2008-08-14 | Microsoft Corporation | Parsing of ink annotations |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8638363B2 (en) | 2009-02-18 | 2014-01-28 | Google Inc. | Automatically capturing information, such as capturing information using a document-aware device |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
| US20130124242A1 (en) | 2009-01-28 | 2013-05-16 | Adobe Systems Incorporated | Video review workflow process |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| WO2010105246A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Accessing resources based on capturing information from a rendered document |
| US8819597B2 (en) * | 2009-04-10 | 2014-08-26 | Google Inc. | Glyph entry on computing device |
| US8943431B2 (en) | 2009-05-27 | 2015-01-27 | Adobe Systems Incorporated | Text operations in a bitmap-based document |
| US8943408B2 (en) | 2009-05-27 | 2015-01-27 | Adobe Systems Incorporated | Text image review process |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US20110167350A1 (en) * | 2010-01-06 | 2011-07-07 | Apple Inc. | Assist Features For Content Display Device |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US8478777B2 (en) * | 2011-10-25 | 2013-07-02 | Google Inc. | Gesture-based search |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US8504842B1 (en) | 2012-03-23 | 2013-08-06 | Google Inc. | Alternative unlocking patterns |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9280524B2 (en) * | 2012-06-28 | 2016-03-08 | Texas Instruments Incorporated | Combining a handwritten marking with a rendered symbol to modify the rendered symbol |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| KR102091000B1 (ko) * | 2013-05-31 | 2020-04-14 | 삼성전자 주식회사 | 사용자 제스처를 이용한 데이터 처리 방법 및 장치 |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| CN110442699A (zh) | 2013-06-09 | 2019-11-12 | 苹果公司 | 操作数字助理的方法、计算机可读介质、电子设备和系统 |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US10671795B2 (en) * | 2014-12-23 | 2020-06-02 | Lenovo (Singapore) Pte. Ltd. | Handwriting preview window |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
| US10210383B2 (en) * | 2015-09-03 | 2019-02-19 | Microsoft Technology Licensing, Llc | Interacting with an assistant component based on captured stroke information |
| US10387034B2 (en) | 2015-09-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Modifying captured stroke information into an actionable form |
| US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10976918B2 (en) * | 2015-10-19 | 2021-04-13 | Myscript | System and method of guiding handwriting diagram input |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10228775B2 (en) * | 2016-01-22 | 2019-03-12 | Microsoft Technology Licensing, Llc | Cross application digital ink repository |
| US11373033B2 (en) * | 2016-01-26 | 2022-06-28 | Lenovo (Singapore) Pte. Ltd. | Display of ink input and digital recognition results |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10970476B2 (en) * | 2017-05-17 | 2021-04-06 | Microsoft Technology Licensing, Llc | Augmenting digital ink strokes |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US11076039B2 (en) | 2018-06-03 | 2021-07-27 | Apple Inc. | Accelerated task performance |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US10957080B2 (en) * | 2019-04-02 | 2021-03-23 | Adobe Inc. | Automatic illustrator guides |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
| US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
Family Cites Families (153)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2354332A (en) * | 1942-05-22 | 1944-07-25 | Wladimir J Polydoroff | Loop antenna |
| US5063376A (en) | 1989-05-05 | 1991-11-05 | Chang Ronald G | Numeric mouse one hand controllable computer peripheral pointing device |
| US5133076A (en) * | 1989-06-12 | 1992-07-21 | Grid Systems Corporation | Hand held computer |
| GB8919283D0 (en) | 1989-08-24 | 1989-10-04 | Phase Track Limited | Active loop antenna |
| US5063600A (en) | 1990-05-14 | 1991-11-05 | Norwood Donald D | Hybrid information management system for handwriting and text |
| US5339391A (en) * | 1990-05-14 | 1994-08-16 | Microelectronics And Computer Technology Corporation | Computer display unit with attribute enhanced scroll bar |
| US5379376A (en) | 1990-06-04 | 1995-01-03 | International Business Machines Corporation | Bi-directional graphics attribute conversion profile |
| US5347295A (en) * | 1990-10-31 | 1994-09-13 | Go Corporation | Control of a computer through a position-sensed stylus |
| US5491495A (en) * | 1990-11-13 | 1996-02-13 | Wang Laboratories, Inc. | User interface having simulated devices |
| US5442742A (en) * | 1990-12-21 | 1995-08-15 | Apple Computer, Inc. | Method and apparatus for the manipulation of text on a computer display screen |
| US5953735A (en) * | 1991-03-20 | 1999-09-14 | Forcier; Mitchell D. | Script character processing method and system with bit-mapped document editing |
| US5231698A (en) * | 1991-03-20 | 1993-07-27 | Forcier Mitchell D | Script/binary-encoded-character processing method and system |
| US5220649A (en) | 1991-03-20 | 1993-06-15 | Forcier Mitchell D | Script/binary-encoded-character processing method and system with moving space insertion mode |
| US5327342A (en) * | 1991-03-31 | 1994-07-05 | Roy Prannoy L | Method and apparatus for generating personalized handwriting |
| US5946406A (en) * | 1991-06-17 | 1999-08-31 | Microsoft Corporation | Method and system for data entry of handwritten symbols |
| US5539427A (en) * | 1992-02-10 | 1996-07-23 | Compaq Computer Corporation | Graphic indexing system |
| US5583542A (en) * | 1992-05-26 | 1996-12-10 | Apple Computer, Incorporated | Method for deleting objects on a computer display |
| US5523775A (en) * | 1992-05-26 | 1996-06-04 | Apple Computer, Inc. | Method for selecting objects on a computer display |
| US5579467A (en) | 1992-05-27 | 1996-11-26 | Apple Computer, Inc. | Method and apparatus for formatting a communication |
| US5764818A (en) * | 1992-05-27 | 1998-06-09 | Apple Computer, Inc. | Method for locating and displaying information in a pointer-based computer system |
| US5477447A (en) | 1992-05-27 | 1995-12-19 | Apple Computer, Incorporated | Method and apparatus for providing computer-implemented assistance |
| US5592566A (en) * | 1992-05-27 | 1997-01-07 | Apple Computer, Incorporated | Method and apparatus for computerized recognition |
| US5544295A (en) * | 1992-05-27 | 1996-08-06 | Apple Computer, Inc. | Method and apparatus for indicating a change in status of an object and its disposition using animation |
| US5390281A (en) * | 1992-05-27 | 1995-02-14 | Apple Computer, Inc. | Method and apparatus for deducing user intent and providing computer implemented services |
| US5321768A (en) * | 1992-09-22 | 1994-06-14 | The Research Foundation, State University Of New York At Buffalo | System for recognizing handwritten character strings containing overlapping and/or broken characters |
| US5446882A (en) * | 1992-10-02 | 1995-08-29 | Apple Computer, Inc. | Interface for a computerized database having card and list views |
| US5666139A (en) * | 1992-10-15 | 1997-09-09 | Advanced Pen Technologies, Inc. | Pen-based computer copy editing apparatus and method for manuscripts |
| US5465325A (en) | 1992-11-16 | 1995-11-07 | Apple Computer, Inc. | Method and apparatus for manipulating inked objects |
| US5588105A (en) | 1992-11-16 | 1996-12-24 | Apple Computer, Inc. | Status bar for application windows |
| US5404442A (en) * | 1992-11-30 | 1995-04-04 | Apple Computer, Inc. | Visible clipboard for graphical computer environments |
| US5428805A (en) * | 1992-12-22 | 1995-06-27 | Morgan; Michael W. | Method and apparatus for recognizing and performing handwritten calculations |
| US5513309A (en) * | 1993-01-05 | 1996-04-30 | Apple Computer, Inc. | Graphic editor user interface for a pointer-based computer system |
| JPH0773190A (ja) * | 1993-04-29 | 1995-03-17 | Matsushita Electric Ind Co Ltd | ペンベースコンピューターシステム用絵文字ネーミング |
| US5559942A (en) * | 1993-05-10 | 1996-09-24 | Apple Computer, Inc. | Method and apparatus for providing a note for an application program |
| US6535897B1 (en) | 1993-05-20 | 2003-03-18 | Microsoft Corporation | System and methods for spacing, storing and recognizing electronic representations of handwriting printing and drawings |
| US5517578A (en) * | 1993-05-20 | 1996-05-14 | Aha! Software Corporation | Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings |
| US5613019A (en) * | 1993-05-20 | 1997-03-18 | Microsoft Corporation | System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings |
| US5528743A (en) * | 1993-05-27 | 1996-06-18 | Apple Computer, Inc. | Method and apparatus for inserting text on a pen-based computer system |
| US5479596A (en) | 1993-05-27 | 1995-12-26 | Apple Computer, Inc. | Method and apparatus for formatting paragraphs |
| US5710831A (en) * | 1993-07-30 | 1998-01-20 | Apple Computer, Inc. | Method for correcting handwriting on a pen-based computer |
| US5367453A (en) | 1993-08-02 | 1994-11-22 | Apple Computer, Inc. | Method and apparatus for correcting words |
| US5596350A (en) * | 1993-08-02 | 1997-01-21 | Apple Computer, Inc. | System and method of reflowing ink objects |
| US6021218A (en) * | 1993-09-07 | 2000-02-01 | Apple Computer, Inc. | System and method for organizing recognized and unrecognized objects on a computer display |
| US5500937A (en) * | 1993-09-08 | 1996-03-19 | Apple Computer, Inc. | Method and apparatus for editing an inked object while simultaneously displaying its recognized object |
| US5555363A (en) * | 1993-09-30 | 1996-09-10 | Apple Computer, Inc. | Resetting the case of text on a computer display |
| US5596697A (en) * | 1993-09-30 | 1997-01-21 | Apple Computer, Inc. | Method for routing items within a computer system |
| BR9405791A (pt) * | 1993-12-01 | 1995-12-12 | Motorola Inc | Processo combinado baseado em dicionário e de conjunto de caracteres semelhantes para reconhecimento de caligrafia |
| JPH07200155A (ja) * | 1993-12-10 | 1995-08-04 | Microsoft Corp | ペン型コンピュータシステムの非目的結果検出 |
| US5561446A (en) * | 1994-01-28 | 1996-10-01 | Montlick; Terry F. | Method and apparatus for wireless remote information retrieval and pen-based data entry |
| US6154758A (en) | 1994-05-13 | 2000-11-28 | Apple Computer, Inc. | Text conversion method for computer systems |
| US5434929A (en) * | 1994-07-12 | 1995-07-18 | Apple Computer, Inc. | Method and apparatus for setting character style preferences in a pen-based computer system |
| JP3399665B2 (ja) * | 1994-11-04 | 2003-04-21 | シャープ株式会社 | 情報処理装置 |
| US5760773A (en) * | 1995-01-06 | 1998-06-02 | Microsoft Corporation | Methods and apparatus for interacting with data objects using action handles |
| US5880743A (en) * | 1995-01-24 | 1999-03-09 | Xerox Corporation | Apparatus and method for implementing visual animation illustrating results of interactive editing operations |
| US6295372B1 (en) * | 1995-03-03 | 2001-09-25 | Palm, Inc. | Method and apparatus for handwriting input on a pen based palmtop computing device |
| US5801702A (en) | 1995-03-09 | 1998-09-01 | Terrabyte Technology | System and method for adding network links in a displayed hierarchy |
| US5649133A (en) * | 1995-06-13 | 1997-07-15 | Apple Computer, Inc. | Method for collision avoidance for user interface for object with multiple handles |
| US5778404A (en) * | 1995-08-07 | 1998-07-07 | Apple Computer, Inc. | String inserter for pen-based computer systems and method for providing same |
| US5634102A (en) * | 1995-08-07 | 1997-05-27 | Apple Computer, Inc. | Methods and apparatus for a selectable backdrop |
| US5682439A (en) | 1995-08-07 | 1997-10-28 | Apple Computer, Inc. | Boxed input correction system and method for pen based computer systems |
| US5745716A (en) * | 1995-08-07 | 1998-04-28 | Apple Computer, Inc. | Method and apparatus for tab access and tab cycling in a pen-based computer system |
| US5838819A (en) | 1995-11-14 | 1998-11-17 | Lucent Technologies Inc. | System and method for processing and managing electronic copies of handwritten notes |
| US5930813A (en) | 1995-12-21 | 1999-07-27 | Adobe Systems Incorporated | Method and system for designating objects |
| US6081829A (en) * | 1996-01-31 | 2000-06-27 | Silicon Graphics, Inc. | General purpose web annotations without modifying browser |
| US5757383A (en) * | 1996-05-10 | 1998-05-26 | Apple Computer, Inc. | Method and system for highlighting typography along a geometric path |
| JP3378900B2 (ja) * | 1996-06-25 | 2003-02-17 | 富士通株式会社 | オブジェクト編集方法，オブジェクト編集システム及び記録媒体 |
| US6049329A (en) | 1996-06-04 | 2000-04-11 | International Business Machines Corporartion | Method of and system for facilitating user input into a small GUI window using a stylus |
| US5864635A (en) * | 1996-06-14 | 1999-01-26 | International Business Machines Corporation | Distinguishing gestures from handwriting in a pen based computer by stroke analysis |
| JP3829366B2 (ja) * | 1996-07-16 | 2006-10-04 | カシオ計算機株式会社 | 入力装置、および入力方法 |
| US6128007A (en) | 1996-07-29 | 2000-10-03 | Motorola, Inc. | Method and apparatus for multi-mode handwritten input and hand directed control of a computing device |
| US5911145A (en) * | 1996-07-29 | 1999-06-08 | Rae Technology, Inc. | Hierarchical structure editor for web sites |
| US5933531A (en) * | 1996-08-23 | 1999-08-03 | International Business Machines Corporation | Verification and correction method and system for optical character recognition |
| US5838326A (en) | 1996-09-26 | 1998-11-17 | Xerox Corporation | System for moving document objects in a 3-D workspace |
| US6304272B1 (en) | 1996-12-10 | 2001-10-16 | Micrografx, Inc. | Graphics system and method having objects conformed to a template |
| US6069626A (en) * | 1997-02-27 | 2000-05-30 | International Business Machines Corporation | Method and apparatus for improved scrolling functionality in a graphical user interface utilizing a transparent scroll bar icon |
| US5874957A (en) * | 1997-02-28 | 1999-02-23 | International Business Machines Corporation | Method and apparatus for improved scrolling functionality in a graphical user interface utilizing a software tether |
| US5970455A (en) | 1997-03-20 | 1999-10-19 | Xerox Corporation | System for capturing and retrieving audio data and corresponding hand-written notes |
| US6128633A (en) | 1997-03-25 | 2000-10-03 | Microsoft Corporation | Method and system for manipulating page-breaks in an electronic document |
| US6061472A (en) * | 1997-06-06 | 2000-05-09 | Microsoft Corporation | Method and mechanism to reduce handwriting recognizer errors using multiple decision trees |
| US6035324A (en) * | 1997-08-28 | 2000-03-07 | International Business Machines Corporation | Client-side asynchronous form management |
| US6279014B1 (en) * | 1997-09-15 | 2001-08-21 | Xerox Corporation | Method and system for organizing documents based upon annotations in context |
| US6223145B1 (en) * | 1997-11-26 | 2001-04-24 | Zerox Corporation | Interactive interface for specifying searches |
| US6154219A (en) | 1997-12-01 | 2000-11-28 | Microsoft Corporation | System and method for optimally placing labels on a map |
| US6091395A (en) | 1997-12-15 | 2000-07-18 | International Business Machines Corporation | Computer system and method of manipulating a graphical user interface component on a computer display through collision with a pointer |
| US6112216A (en) * | 1997-12-19 | 2000-08-29 | Microsoft Corporation | Method and system for editing a table in a document |
| GB2335822B (en) * | 1998-03-25 | 2003-09-10 | Nokia Mobile Phones Ltd | Context sensitive pop-up window for a portable phone |
| CA2330133C (en) * | 1998-04-24 | 2008-11-18 | Natural Input Solutions Inc. | Pen based edit correction interface method and apparatus |
| US6570541B2 (en) * | 1998-05-18 | 2003-05-27 | Db Tag, Inc. | Systems and methods for wirelessly projecting power using multiple in-phase current loops |
| US6199125B1 (en) * | 1998-05-26 | 2001-03-06 | Bentley Systems, Incorporated | Input manager for a computer application with display icons mapped to a user selectable set of standard keyboard keys |
| JP3270403B2 (ja) | 1998-09-08 | 2002-04-02 | エヌイーシーモバイリング株式会社 | 装置角度制御方式 |
| US6188405B1 (en) * | 1998-09-14 | 2001-02-13 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory, to objects |
| US6195094B1 (en) * | 1998-09-29 | 2001-02-27 | Netscape Communications Corporation | Window splitter bar system |
| US6345389B1 (en) * | 1998-10-21 | 2002-02-05 | Opentv, Inc. | Interactive television system and method for converting non-textual information to textual information by a remote server |
| US6337698B1 (en) * | 1998-11-20 | 2002-01-08 | Microsoft Corporation | Pen-based interface for a notepad computer |
| US6348935B1 (en) * | 1998-11-30 | 2002-02-19 | International Business Machines Corporation | Programmable tree viewer graphical user interface with integrated control panel |
| US6380957B1 (en) * | 1998-12-15 | 2002-04-30 | International Business Machines Corporation | Method of controlling view of large expansion tree |
| US6529215B2 (en) * | 1998-12-31 | 2003-03-04 | Fuji Xerox Co., Ltd. | Method and apparatus for annotating widgets |
| US6487569B1 (en) | 1999-01-05 | 2002-11-26 | Microsoft Corporation | Method and apparatus for organizing notes on a limited resource computing device |
| US6552719B2 (en) | 1999-01-07 | 2003-04-22 | Microsoft Corporation | System and method for automatically switching between writing and text input modes |
| US6650347B1 (en) | 1999-02-24 | 2003-11-18 | Cisco Technology, Inc. | Heirarchical GUI representation for web based network management applications |
| US6565611B1 (en) * | 1999-02-26 | 2003-05-20 | Xerox Corporation | Automatic index creation for handwritten digital ink notes |
| US7091959B1 (en) | 1999-03-31 | 2006-08-15 | Advanced Digital Systems, Inc. | System, computer program product, computing device, and associated methods for form identification and information manipulation |
| US6243258B1 (en) * | 1999-05-07 | 2001-06-05 | Intermec Ip Corp. | Hand held user computer interface |
| US6822639B1 (en) * | 1999-05-25 | 2004-11-23 | Silverbrook Research Pty Ltd | System for data transfer |
| CA2392446C (en) | 1999-05-27 | 2009-07-14 | America Online Incorporated | Keyboard system with automatic correction |
| US6559871B1 (en) * | 1999-09-29 | 2003-05-06 | International Business Machines Corporation | Asynchronous tree navigator graphical user interface and associated methods |
| US6546397B1 (en) * | 1999-12-02 | 2003-04-08 | Steven H. Rempell | Browser based web site generation tool and run time engine |
| JP2003524259A (ja) * | 2000-02-22 | 2003-08-12 | メタカルタ インコーポレイテッド | 情報の空間符号化及び表示 |
| US6859909B1 (en) * | 2000-03-07 | 2005-02-22 | Microsoft Corporation | System and method for annotating web-based documents |
| US6727927B1 (en) * | 2000-03-08 | 2004-04-27 | Accenture Llp | System, method and article of manufacture for a user interface for a knowledge management tool |
| US20020126153A1 (en) * | 2000-03-13 | 2002-09-12 | Withers James G. | Apparatus and method for navigating electronic files using an array display |
| US6683600B1 (en) * | 2000-04-19 | 2004-01-27 | Microsoft Corporation | Adaptive input pen mode selection |
| US7259753B2 (en) | 2000-06-21 | 2007-08-21 | Microsoft Corporation | Classifying, anchoring, and transforming ink |
| US6792475B1 (en) | 2000-06-23 | 2004-09-14 | Microsoft Corporation | System and method for facilitating the design of a website |
| US6355889B1 (en) * | 2000-06-28 | 2002-03-12 | International Business Machines Corporation | Method and apparatus for linking electronic ink to electronic personal information systems |
| US6836759B1 (en) | 2000-08-22 | 2004-12-28 | Microsoft Corporation | Method and system of handling the selection of alternates for recognized words |
| US6891551B2 (en) * | 2000-11-10 | 2005-05-10 | Microsoft Corporation | Selection handles in editing electronic documents |
| US6944830B2 (en) * | 2000-12-21 | 2005-09-13 | Xerox Corporation | System and method for browsing hierarchically based node-link structures based on an estimated degree of interest |
| US6741749B2 (en) * | 2001-01-24 | 2004-05-25 | Advanced Digital Systems, Inc. | System, device, computer program product, and method for representing a plurality of electronic ink data points |
| US7240284B2 (en) | 2001-02-15 | 2007-07-03 | Denny Jaeger | Method for formatting text by hand drawn inputs |
| US7240300B2 (en) | 2001-02-15 | 2007-07-03 | Nbor Corporation | Method for creating user-defined computer operations using arrows |
| US6690364B1 (en) * | 2001-05-31 | 2004-02-10 | Palm Source, Inc. | Method and system for on screen text correction via pen interface |
| US7039234B2 (en) * | 2001-07-19 | 2006-05-02 | Microsoft Corporation | Electronic ink as a software object |
| US6661409B2 (en) | 2001-08-22 | 2003-12-09 | Motorola, Inc. | Automatically scrolling handwritten input user interface for personal digital assistants and the like |
| US6978445B2 (en) | 2001-09-28 | 2005-12-20 | Siebel Systems, Inc. | Method and system for supporting user navigation in a browser environment |
| US20030071850A1 (en) | 2001-10-12 | 2003-04-17 | Microsoft Corporation | In-place adaptive handwriting input method and system |
| US6907234B2 (en) * | 2001-10-26 | 2005-06-14 | Microsoft Corporation | System and method for automatically tuning an antenna |
| US7096432B2 (en) | 2002-05-14 | 2006-08-22 | Microsoft Corporation | Write anywhere tool |
| US20030214531A1 (en) | 2002-05-14 | 2003-11-20 | Microsoft Corporation | Ink input mechanisms |
| US7925987B2 (en) | 2002-05-14 | 2011-04-12 | Microsoft Corporation | Entry and editing of electronic ink |
| US7191411B2 (en) | 2002-06-06 | 2007-03-13 | Moehrle Armin E | Active path menu navigation system |
| US7370288B1 (en) | 2002-06-28 | 2008-05-06 | Microsoft Corporation | Method and system for selecting objects on a display device |
| US7062090B2 (en) | 2002-06-28 | 2006-06-13 | Microsoft Corporation | Writing guide for a free-form document editor |
| US7353453B1 (en) | 2002-06-28 | 2008-04-01 | Microsoft Corporation | Method and system for categorizing data objects with designation tools |
| US7259752B1 (en) | 2002-06-28 | 2007-08-21 | Microsoft Corporation | Method and system for editing electronic ink |
| US7188309B2 (en) * | 2002-06-28 | 2007-03-06 | Microsoft Corporation | Resolving document object collisions |
| US7185278B1 (en) | 2002-06-28 | 2007-02-27 | Microsoft Corporation | Separating and moving document objects using the movement of a wiper bar |
| US7079713B2 (en) * | 2002-06-28 | 2006-07-18 | Microsoft Corporation | Method and system for displaying and linking ink objects with recognized text and objects |
| US7174042B1 (en) | 2002-06-28 | 2007-02-06 | Microsoft Corporation | System and method for automatically recognizing electronic handwriting in an electronic document and converting to text |
| US7137077B2 (en) * | 2002-07-30 | 2006-11-14 | Microsoft Corporation | Freeform encounter selection tool |
| US7002560B2 (en) * | 2002-10-04 | 2006-02-21 | Human Interface Technologies Inc. | Method of combining data entry of handwritten symbols with displayed character data |
| US7814439B2 (en) | 2002-10-18 | 2010-10-12 | Autodesk, Inc. | Pan-zoom tool |
| US7218779B2 (en) | 2003-01-21 | 2007-05-15 | Microsoft Corporation | Ink divider and associated application program interface |
| US7218783B2 (en) | 2003-06-13 | 2007-05-15 | Microsoft Corporation | Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations |
| US7055110B2 (en) * | 2003-07-28 | 2006-05-30 | Sig G Kupka | Common on-screen zone for menu activation and stroke input |
| US6989822B2 (en) * | 2003-11-10 | 2006-01-24 | Microsoft Corporation | Ink correction pad |
| US7358965B2 (en) | 2004-02-18 | 2008-04-15 | Microsoft Corporation | Tapping to create writing |
| US7721226B2 (en) * | 2004-02-18 | 2010-05-18 | Microsoft Corporation | Glom widget |
| US20050179647A1 (en) | 2004-02-18 | 2005-08-18 | Microsoft Corporation | Automatic detection and switching between input modes |
| US7659890B2 (en) | 2004-03-19 | 2010-02-09 | Microsoft Corporation | Automatic height adjustment for electronic highlighter pens and mousing devices |
| US20060001656A1 (en) | 2004-07-02 | 2006-01-05 | Laviola Joseph J Jr | Electronic ink system |
| US20060267967A1 (en) | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Phrasing extensions and multiple modes in one spring-loaded control |
| US7526737B2 (en) * | 2005-11-14 | 2009-04-28 | Microsoft Corporation | Free form wiper |
-
2002
- 2002-06-28 US US10/186,463 patent/US7079713B2/en active Active
-
2003
- 2003-05-28 DE DE60308952T patent/DE60308952T2/de not_active Expired - Lifetime
- 2003-05-28 AT AT03012063T patent/ATE342551T1/de not_active IP Right Cessation
- 2003-05-28 EP EP03012063A patent/EP1376448B1/en not_active Expired - Lifetime
- 2003-06-02 CA CA2430802A patent/CA2430802C/en not_active Expired - Lifetime
- 2003-06-30 JP JP2003188925A patent/JP4235500B2/ja not_active Expired - Fee Related
-
2006
- 2006-06-15 US US11/455,056 patent/US7916979B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP1376448A3 (en) | 2005-01-12 |
| US20040001649A1 (en) | 2004-01-01 |
| JP4235500B2 (ja) | 2009-03-11 |
| US20060233464A1 (en) | 2006-10-19 |
| ATE342551T1 (de) | 2006-11-15 |
| US7916979B2 (en) | 2011-03-29 |
| EP1376448A2 (en) | 2004-01-02 |
| CA2430802C (en) | 2011-09-27 |
| CA2430802A1 (en) | 2003-12-28 |
| EP1376448B1 (en) | 2006-10-11 |
| US7079713B2 (en) | 2006-07-18 |
| DE60308952T2 (de) | 2007-03-08 |
| DE60308952D1 (de) | 2006-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4235500B2 (ja) | 認識されたテキストおよびオブジェクトと共にインクオブジェクトを表示しリンクする方法、およびシステム | |
| RU2358316C2 (ru) | Разделитель чернил и интерфейс соответствующей прикладной программы | |
| US7793233B1 (en) | System and method for customizing note flags | |
| US7715630B2 (en) | Interfacing with ink | |
| US7231597B1 (en) | Method, apparatus, and computer-readable medium for creating asides within an electronic document | |
| US7701449B2 (en) | Ink correction pad | |
| US9122654B2 (en) | Method and system for deriving and matching local formatting in an electronic document | |
| US20040001627A1 (en) | Writing guide for a free-form document editor | |
| JPH09505422A (ja) | テキストドキュメント及びイメージドキュメントを同期化、ディスプレイ、及び操作するための方法及び装置 | |
| US7284200B2 (en) | Organization of handwritten notes using handwritten titles | |
| JPH06208654A (ja) | ペン入力図形編集システム | |
| US20160196251A1 (en) | Method and apparatus for annotating an electronic document | |
| US7370288B1 (en) | Method and system for selecting objects on a display device | |
| US7185278B1 (en) | Separating and moving document objects using the movement of a wiper bar | |
| US20060188162A1 (en) | Common interface for ink trees | |
| Madduri et al. | PATRAM-a handwritten word processor for Indian languages | |
| JPS63101928A (ja) | 学習によるメニユ−項目選択表示処理方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060601 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080527 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20080827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080924 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080827 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081114 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4235500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |