JP2005085285A - ペンベースのコンピューティングシステムでの注釈の管理 - Google Patents

ペンベースのコンピューティングシステムでの注釈の管理 Download PDF

Info

Publication number
JP2005085285A
JP2005085285A JP2004264678A JP2004264678A JP2005085285A JP 2005085285 A JP2005085285 A JP 2005085285A JP 2004264678 A JP2004264678 A JP 2004264678A JP 2004264678 A JP2004264678 A JP 2004264678A JP 2005085285 A JP2005085285 A JP 2005085285A
Authority
JP
Japan
Prior art keywords
annotation
keywords
user
annotations
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004264678A
Other languages
English (en)
Other versions
JP4806178B2 (ja
JP2005085285A5 (ja
Inventor
Chen Tsuen
チェン ツェン
Barn-Wan Li
リ バン−ワン
Jian Wang
ワン チャン
Wei-Ying Ma
マ ウェイ−イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005085285A publication Critical patent/JP2005085285A/ja
Publication of JP2005085285A5 publication Critical patent/JP2005085285A5/ja
Application granted granted Critical
Publication of JP4806178B2 publication Critical patent/JP4806178B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink

Abstract

【課題】 ペンベースのコンピューティングシステムにおいて注釈を管理するためのシステムおよび方法を提供すること。
【解決手段】 本明細書に記載されているシステムおよび方法は、手書きの注釈により入力された個人情報を収集し、管理し、探索し、共有する方法を提供する。注釈は、アプリケーションを駆動し、ジェスチャとして働き、関連した情報を見つけ、さらに情報を管理するために使用される。コンテキスト情報はユーザが注釈を入力したときに得られ、ローカルコンピュータまたはインターネットもしくは他のネットワークにある同じ文書であれ異なる文書であれ、ユーザが関心を持つ可能性のある適切なコンテンツを決定し、探し出す際の助けのために使用される。
【選択図】 図2

Description

本明細書に記載されているシステムおよび方法は、ペンベースのコンピューティングシステムに関する。より詳細には、本明細書に記載されているシステムおよび方法は、ペンベースのコンピューティングシステムでの注釈(annotation)の管理に関する。
ネットワーク技術および高度のストレージ技術を介して利用可能な多量の情報は、今や1人の人が大量の情報を集めることができるようになった理由の一部にすぎない。こうした情報は、個人の文書、ウェブページ、マルチメディアコンテンツなどを含め多くの形態をとる。
しかし、1人のユーザが蓄積する情報量は非常に増加しており、ユーザがすべての情報にアクセスし使用することが現実的であるように、すべての情報を管理するというロジスティック上の問題がある。こうした情報を効率的に管理するには、ユーザは、情報を探索し、データをファイル間で移動し、情報を有するアプリケーションプログラムを使用し、情報を他と共有するなどの設備を持つ必要がある。
伝統的なキーボードベースのプラットフォームは、パーソナルデジタルアシスタント(PDA)、ポケットPC、高機能電話およびページャなど、ますますペンベースのプラットフォームに取って代わられており、伝統的な方法では、ペンベースのシステムが必ずしも有効でないため、情報管理にはまだ克服すべき問題がある。
一方、ペンベースシステムは、ペン機能によってユーザが手書きの注釈(annotation)を電子文書に入力できるようになるという点で、情報を管理するための新規のツールを提供する。こうした手書きの注釈の適切な管理は、ペンベースのコンピューティングシステムにおいてより簡単でより効率的な情報管理をもたらすことができる。
ペンベースのコンピューティングシステムにおいて注釈を管理するためのシステムおよび方法が記載されている。本明細書に記載されているシステムおよび方法は、手書きの注釈によって入力された個人情報を収集し、管理し、探索し、共有する方法を提供する。手書きの注釈には、下線、丸、ブロック、矢印、コールアウト(callout)など多数のタイプのマーク付け(mark−up)が含まれる。
本明細書に記載されている1つまたは複数の実装形態では、注釈は、アプリケーションを実行し、ジェスチャとして働き、ユーザにとって関心のある関連した情報を見つけ、そしてさらに情報を管理するために使用される。ユーザが注釈を入力したときにコンテキスト情報が得られ、ローカルコンピュータまたはインターネットもしくは他のネットワークにある同じ文書であれ異なる文書であれ、ユーザが関心を持つ関連性があるコンテンツを決定し探し出す際の助けとするために使用される。
注釈は、ワードプロセッサ、ウェブブラウザ、個人情報管理プログラムなど、いくつかのプラットフォームおよびアプリケーションにわたって使用することができる。注釈を文書にアンカーして、文書がリコール(recall)される度に注釈が再び現れるようにすることもできる。また、1つまたは複数の文書に注釈が付けられると、その注釈は文書の任意の他の部分と同様に探索することができる。
添付の図面と併せて、以下の詳細な説明を参照することによって、本発明の例示の方法および構成についてより完全な理解が得られるであろう。
ペンベースのコンピューティングシステムで注釈(annotation)を管理するためのシステムおよび方法を以下に記載する。記載のシステムおよび方法では、ユーザが見ているコンテンツに関連したユーザの対話(interaction)、すなわち注釈を利用することによって、個人情報を自動的に収集し、管理し、探索し、共有することができる。
(例示のコンピューティング環境)
図1は、本明細書に記載のコンピュータ、ネットワークおよびシステムアーキテクチャを完全にまたは部分的に実装することができるコンピューティング環境100の一例を示す。例示のコンピューティング環境100は、コンピューティングシステムの一例にすぎず、ネットワークアーキテクチャの使用または機能の範囲についていかなる限定を示唆するものではない。コンピューティング環境100は、例示のコンピューティング環境100に示した構成要素の任意の1つまたは組合せに関して依存または要件を有するものとして解釈されるべきではない。
コンピュータおよびネットワークアーキテクチャは、多くの他の汎用または専用のコンピューティングシステム環境または構成で実装することができる。使用に適している可能性がある周知のコンピューティングシステム、環境および/または構成の例には、パーソナルコンピュータ、サーバコンピュータ、シン(thin)クライアント、シック(thick)クライアント、ハンドヘルドもしくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な民生用電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、ゲーミングコンソール、任意の上記のシステムまたはデバイスを含む分散コンピューティング環境などが含まれるが、それだけに限定されない。
クリックスルー(click−through)トラッキングでのページビュー記録は、コンピュータによって実行されるプログラムモジュールなどコンピュータ実行可能命令の一般的なコンテキストで記述することができる。通常、プログラムモジュールには、特定のタスクを実行するか、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。クリックスルートラッキングでのページビュー記録は、タスクが通信ネットワークを介してリンクされたリモート処理デバイスによって実行される分散コンピューティング環境でも行うことができる。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含む、ローカルおよびリモートの両方のコンピュータ記憶媒体に位置付けることができる。
コンピューティング環境100は、コンピュータ102の形態の汎用コンピューティングシステムを含む。コンピュータ102の構成要素には、1つまたは複数のプロセッサもしくは処理ユニット104、システムメモリ106、プロセッサ104を含む様々なシステム構成要素をシステムメモリ106に結合するシステムバス108が含まれうるが、それだけに限定されない。
システムバス108は、メモリバスもしくはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、および多様なバスアーキテクチャの任意のものを使用するプロセッサもしくはローカルバスを含む、いくつかのタイプのバス構造の任意の1つまたは複数を表す。例として、このようなアーキテクチャには、ISA(Industry Standard Architecture)バス、MCA(Micro Channel Architecture)バス、EISA(Enhanced ISA)バス、VESA(Video Electronics Standards Association)ローカルバス、およびメザニンバスとしても知られているPCI(Peripheral Component Interconnects)バスを含むことができる。
コンピュータシステム102は通常、多様なコンピュータ可読媒体を含む。このような媒体は、コンピュータ102によってアクセス可能である任意の使用可能な媒体とすることができ、揮発性および不揮発性、取外し可能および取外し不可の両媒体を含む。システムメモリ106は、ランダムアクセスメモリ(RAM)110などの揮発性メモリ、および/または読取り専用メモリ(ROM)112などの不揮発性メモリの形態のコンピュータ可読媒体を含む。起動中などにコンピュータ102内の要素間で情報転送の助けをする基本ルーチンが入っている基本入出力システム(BIOS)114は、ROM112に格納される。RAM110は通常、処理ユニット104によって直接アクセス可能であり、そして/または現在操作されているデータおよび/またはプログラムモジュールを収容する。
コンピュータ102は、他の取外し可能/取外し不可、揮発性/不揮発性のコンピュータ記憶媒体を含むことができる。例として、図1は、取外し不可の不揮発性の磁気媒体(図示せず)と読取りおよび書込みを行うためのハードディスクドライブ116、取外し可能な不揮発性の磁気ディスク120(たとえば「フロッピー(登録商標)ディスク」)と読取りおよび書込みを行うための磁気ディスクドライブ118、およびCD−ROM、DVD−ROMまたは他の光媒体など取外し可能な不揮発性の光ディスク124と読取りおよび/または書込みを行うための光ディスクドライブ122を示している。ハードディスクドライブ116、磁気ディスクドライブ118、および光ディスクドライブ122は、それぞれ1つまたは複数のデータ媒体インターフェース125によってシステムバス108に接続される。あるいは、ハードディスクドライブ116、磁気ディスクドライブ118、および光ディスクドライブ122をSCSIインターフェース(図示せず)によってシステムバス108に接続することができる。
ディスクドライブおよびその関連付けられたコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータ102のための他のデータの不揮発性ストレージを提供する。この例は、ハードディスク116、取外し可能な磁気ディスク120、および取外し可能な光ディスク124を示しているが、理解されるように、磁気カセットもしくは他の磁気記憶デバイス、フラッシュメモリカード、CD−ROM、デジタル多用途ディスク(DVD)もしくは他の光学ストレージ、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的に消去可能でプログラム可能な読取り専用メモリ(EEPROM)など、コンピュータによってアクセス可能なデータを格納することができる、他のタイプのコンピュータ可読媒体を使用して、例示のコンピューティングシステムおよび環境を実装することもできる。
例として、オペレーティングシステム126、1つまたは複数のアプリケーションプログラム128、他のプログラムモジュール130、およびプログラムデータ132を含む、任意の数のプログラムモジュールは、ハードディスク116、磁気ディスク120、光ディスク124、ROM112、および/またはRAM110に格納することができる。このような各オペレーティングシステム126、1つまたは複数のアプリケーションプログラム128、他のプログラムモジュール130、およびプログラムデータ132(またはそのいくつかの組合せ)のそれぞれは、クリックスルートラッキングでのページビュー記録の実施形態を含むことができる。
コンピュータシステム102は、通信媒体として識別される多様なコンピュータ可読媒体を含むことができる。通信媒体は通常、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを、搬送波または他のトランスポートメカニズムなどの変調データ信号で表し、任意の情報配送媒体を含む。用語「変調データ信号」は、情報を信号に符号化するようにその1つまたは複数の特性が設定または変更された信号を指す。限定ではなく、例として、通信媒体には、有線ネットワークまたは直接配線接続などの有線媒体、および音響、RF、赤外線および他の無線媒体などの無線媒体が含まれる。上記の任意の組合せもコンピュータ可読媒体の範囲に含まれる。
ユーザは、キーボード134およびポイティングデバイス136(たとえば「マウス」)などの入力デバイスを介して、コンピュータシステム102にコマンドおよび情報を入力することができる。他の入力デバイス138(特に図示せず)には、マイクロフォン、ジョイスティック、ゲームパッド、衛星アンテナ、シリアルポート、スキャナなどを含まれうる。上記およびその他の入力デバイスは、システムバス108に結合された入出力インターフェース140を介して処理ユニット104に接続することができるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス(USB)など他のインターフェースおよびバス構造によって接続することもできる。
モニタ142または他のタイプの表示デバイスは、ビデオアダプタ144などのインターフェースを介してシステムバス108に接続することもできる。モニタ142の他に、他の出力周辺デバイスには、入出力インターフェース140を介してコンピュータシステム102に接続することができるスピーカ(図示せず)およびプリンタ146などの構成要素が含まれうる。
コンピュータ102は、リモートコンピューティングデバイス148など、1つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク化された環境で動作することができる。例として、リモートコンピューティングデバイス148は、パーソナルコンピュータ、ポータブルコンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、または他の共通ネットワークノードなどでもよい。リモートコンピューティングデバイス148は、コンピュータシステム102に関連して本明細書で述べた要素および機能の多くまたは全てを含むことができるポータブルコンピュータとして示してある。
コンピュータ102とリモートコンピュータ148の間の論理接続は、ローカルエリアネットワーク(LAN)150および一般的なワイドエリアネットワーク(WAN)152として示してある。このようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットで一般的である。LANネットワーク環境で実装される場合、コンピュータ102はネットワークインターフェースまたはアダプタ154を介してローカルネットワーク150に接続される。WANネットワーク環境で実装される場合、コンピュータ102は通常、広域ネットワーク152を介して通信を確立するためのモデム156または他の手段を含む。モデム156は、コンピュータ102の内蔵または外付けとすることができ、入出力インターフェース140または他の適したメカニズムを介してシステムバス108に接続することができる。理解されるように、図示したネットワーク接続は例示のものであり、コンピュータ102と148の間に通信リンクを確立する他の手段を用いることができる。
コンピューティング環境100で示したようなネットワーク環境では、コンピュータ102またはその一部に関して示したプログラムモジュールはリモートメモリ記憶デバイスに格納することができる。例として、リモートアプリケーションプログラム158はリモートコンピュータ148のメモリデバイスに常駐している。例示の目的で、オペレーティングシステムなどのアプリケーションプログラムおよび他の実行可能なプログラムコンポーネントは、ここでは個別のブロックとして示してあるが、認識されるように、このようなプログラムおよびコンポーネントは、いろいろな時点で、コンピュータシステム102の様々なストレージコンポーネントに存在し、コンピュータのデータプロセッサによって実行される。
(例示のアーキテクチャ)
図2は、記載のシステムおよび方法による例示の注釈システム200のブロック図である。注釈システム200は、記憶層202、抽出層204、およびアプリケーション層206を含む。各特定の層に示した様々なコンポーネントは、各特定の実装形態で変わる可能性がある。
一般に、記憶層202は、未処理のストローク(raw stroke)、マーク付け(mark−up)、自由なノート(free note)および文書(document)を入力として取り込み、分類および認識された注釈(annotation)と、そのアンカーされたそのテキストを注釈および文書データベース208に格納する。記憶層202は、アンカリングモジュール210および注釈再編モジュール212を含む。アンカリングモジュール210は、文書ページ上のオブジェクトに関して各注釈の位置についての情報を収集する。それによって、注釈をアンカーして、文書がリコール(recall)される度にその注釈が同じ位置に現れるようにすることができるようになる。注釈再編モジュール212は、ページがリコールされるとアンカリングデータを取り出し、そのページがレンダリングされると各注釈をその適切な位置に再編(re−form)するように構成される。
抽出層204は、注釈およびアクションから関連した意味上の特徴(semantic feature)を抽出するコンポーネントを含む。注釈自体およびその注釈に関連したコンテキスト情報の2種類の特徴が抽出される。コンテキスト情報には、時間、位置、周囲のテキストなどが含まれうるが、それだけに限定されない。
抽出層204は、抽出モジュール220、特徴データベース222、学習モジュール224、照会修正モジュール226および情報フィルタリングモジュール228を含む。抽出モジュール220は、文書の特徴、注釈を付けたテキスト、注釈の特徴、コンテキストなどを含む全ての種類の情報を抽出するように構成される。抽出された特徴は、特徴データベース222に格納される。
学習モジュール224は、ユーザの振る舞いを追跡し、それから得た情報を使用して注釈システムを洗練するように構成される。照会修正モジュール226は、ユーザが関心を持つ可能性があるコンテンツおよびローカルキーワードを探し出すのに使用される探索照会(search query)を構築するにあたって支援するように構成される。情報フィルタリングモジュール228は、探索で得られた未加工の情報をユーザに対するより適切な提示のためにフィルタし、洗練するように構成される。特徴データベース222はまた、システムの各特定のユーザおよびシステムのすべてのユーザの探索タームを格納する履歴229を含む。この履歴229は、(以下でより詳細に説明するように)コンテキスト探索およびキーワード探索のための探索タームに重み付けをするときに参照される。
アプリケーション層206は、注釈を利用し、サポートするアプリケーションを収容する。図示した例では、アプリケーション層206は個人情報管理アプリケーション230およびウェブブラウザ232を含む。注釈要約アプリケーション234もアプリケーション層206に格納され、システムに入力された注釈についての情報を収集し要約するために使用される。複数のユーザに提供されるシステムでは、注釈要約アプリケーション234は、各ユーザの注釈の間に差異を付け、それらを別々に、または全体として要約することができる。
(注釈のアンカリング)
必ずしも必要ではないが、いくつかの実装形態では、注釈をオブジェクトにアンカーして、ページがリフレッシュされるか、またはユーザが以前に注釈を付けたページに戻る場合など、ページが再編されるときに、注釈がページの同じ相対位置に再編されるようにすることが望ましい場合がある。以下の例は、注釈をアンカーするための1つの技法だけを示す。以下の例ではインターネットエクスプローラ(Internet Explorer)(登録商標)に関して説明してあるが、記載の技法は他のコンテキストで使用することもできる。
注釈をアンカーするには、注釈モジュール210は、ウェブページに関連付けられたドキュメントオブジェクトモデル(DOM)ツリーからウェブページの各オブジェクトについて長方形の境界ボックスを得る。この情報から、各オブジェクトについて2次元の位置が導出される。注釈も2次元空間のポリゴンとしてモデル化される。この場合、注釈をアンカーする問題は、基本的にポリゴン交差(polygon intersection)の問題である。オブジェクトおよび注釈情報(たとえば位置)は、注釈および文書データベース208に格納される。
ページが再描画(re−draw)されるとき、注釈再編モジュール212は、注釈および文書データベース208から位置情報を取り出す。各ページオブジェクトとアンカーされたオブジェクト間の類似性を計算して、それらが同じであるかどうかを判断する。同じである場合、そのページにあるどの注釈も、ページオブジェクトに対してオブジェクトが当初現れたのと同じ位置に再編される。
ウェブページがテキストパラグラフを含む場合は、特別な問題が起こる。というのは、テキストパラグラフは単に1つのオブジェクトとなるからである。そのような場合、テキストオブジェクトは、より小さいオブジェクトに分割され、たとえば1つのパラグラフの各ワードが1つのオブジェクト(すなわち1つの「ワードオブジェクト」)になる。ワードオブジェクト毎に擬似タグを挿入し、ワードオブジェクト毎に2次元の位置を得る。このプロセスは上記のように継続する。
(注釈でのタスクの起動)
タスクの起動は、ペンベースのコンピューティングシステムでは重要な機能である。他のタイプのコンピュータでは、タスクは、ツールバーまたはアイコン上でマウスを数回クリックして起動させることができる。ペンベースのシステムでは、ペンがマウスの代わりになり、異なって使用される。また、多くのペンベースのシステムでは、表示空間は貴重であるため、ツールバーおよびアイコンを提示してタスクを起動する簡単な方法を提供することができない。システムでアイコンを使用してタスクを起動することができる場合でも、アイコンは他のアプリケーションが動作しているときは使用できないことがある。
本明細書に記載したシステムおよび方法では、タスクを特定のタイプの注釈から自動的に起動することができる。たとえば、日付注釈を認識し、日付注釈が検出された場合、カレンダータスクを自動的に起動させるようにアプリケーションを構成することができる。この機能は、必要ならユーザが自動的な起動をディスエーブルする方法を提供する。
(例示の方法の実装形態−タスクのスケジューリング)
通常のシステムでは、ユーザが個人情報管理アプリケーション(たとえば図2の230)でタスクをスケジュールすることを望む場合、ユーザは、アプリケーションを起動し、日付および時間情報(たとえば開始日、終了日、期限日など)をセットアップしなければならない。さらに、ユーザは、タスクの名前を記述するタスクタイトルとタスクを簡単に説明する本文の記述も入力しなければならない。このような情報の入力は、キーボードの使用が可能な場合は非常に簡単である。しかし、ペンベースのシステムでは非常に時間がかかる。以下に述べる方法の実装形態は、こうしたタスクを簡単にする助けとなる。
図3は、注釈からタスクをスケジューリングする方法の実装形態を示す流れ図300である。ブロック302で、抽出モジュール220は開いた文書を監視して、注釈の入力を検出する。開いた文書は、インターネットのページ、ワードプロセッシング文書、電子メールのメッセージなどでもよい。上記で論じたように、抽出モジュールは、ユーザによって入力されたマーク付けまたは手書きの文字を監視する。この特定の例では、抽出モジュール220は、日付、すなわち日付形式の文字を含む注釈を監視する。注釈は、日付に丸を付けたり、日付に下線を引いたり、日付を手書きしたりするなどでもよい。
たとえば、ユーザによって下線が引かれ、その行の読みが「11月7日に起動するTablet PC」である、テキストの行を含むインターネットのページを考える。抽出モジュール220は、「11月7日」を日付として識別するように構成され、それによって、今説明した機能を開始することになる。
注釈が日付であると認識されない場合(ブロック304の「No」分岐)、抽出モジュール220は、単にブロック302で引き続き注釈を監視する。しかし、注釈が日付であると認識された場合(ブロック304の「Yes」分岐)、抽出モジュールは、日付起動機能がイネーブルされているかどうかを判断する。この機能がイネーブルされていない場合(ブロック306の「No」分岐)、抽出モジュール220はブロック302で引き続き注釈を監視する。この機能がイネーブルされている場合(ブロック306の「Yes」分岐)、関連付けられたアプリケーション(この例では、図2の個人情報管理アプリケーション230)がブロック308で起動される。このアプリケーションがすでに稼動しており、最小化されている場合、ブロック308でアプリケーションは単に最大化される。
ブロック310で、注釈で識別された日付と関連付けられたページにアプリケーションを開く。抽出モジュールは、注釈が付けられた日付の位置にあるコンテンツのコンテキストを調べて(ブロック312)、その特定の日付での入力に推奨のタイトルおよび本文の記述を導出する。ここでは、コンテキストから導出された推奨タイトルは「Tablet PC」であり、本文の記述は「Tablet PCの起動」と読むことができる。
ブロック314で、推奨のタイトルおよび本文の記述が、ユーザにポップアップタイプの通知で提示される。その推奨を受諾することを望む場合、ユーザは推奨された応答を単にタップする(または受け入れる)ことによって受諾することができ(ブロック316の「Yes」分岐)、ブロック320でタイトルおよび本文の記述が入力される。推奨が受諾されない場合(ブロック316の「No」分岐)、ボックスがユーザに提示され、ユーザは、その中にタイトルおよび本文の記述を入力することができる(ブロック318)。ユーザの入力が受け取られた後、ブロック320でそれらが入力される。
ブロック322で、特定の実装形態に応じてアプリケーションが閉じられ、または最小化され、プロセスはブロック302に戻り、そこで注釈の監視が継続される。
上記の技法を使用して、ペンベースのコンピューティングシステムのユーザは、時間管理アプリケーションでタスクをより効率的に入力することができる。
(方法の実装形態−注釈ベースのコンテンツ探索)
ユーザは電子文書を読んでいるときに、その文書で扱われている事項をさらに調べることに関心を持つことがある。通常のコンピュータシステムでは、ユーザはローカルマシンの探索ボックスまたはインターネット探索エンジンに照会(query)を単にタイプして関連した情報を見つけることができる。しかし、ペンベースのコンピュータシステムでは、これはそれほど簡単なタスクではない。さらに、探索タームを探索ボックスに入力するだけでは、ユーザの照会のコンテキストが明らかにならず、そのため、探索ターム自体には関連性があるが、ユーザが想定していた実際の照会とはあまり関連性がない可能性のあるいくつかの結果が得られる。
図4は、ユーザの注釈および注釈のコンテキストから収集されたキーワードに基づいたコンテンツ探索の方法の実装形態を示す流れ図400である(図2の照会修正モジュール226によって実行される)。図4に示したコンテンツ探索プロセスは、ユーザの注釈によって駆動され、探索を駆動するのに使用される注釈のコンテキストを考慮している。流れ図400には示していないが、流れ図400で示した機能は、ユーザによって都合よくディスエーブルすることができることに留意されたい。その場合、監視するステップ以外の以下に記載したプロセスのステップは実行されないことになる。
照会コンテキストを使用して、探索結果をユーザの関心に対してさらに洗練することができる2つの方法がある。1つの方法は、照会生成であり、コンテキストを使用して探索照会を形成する。他の方法は、探索結果の再ランキングであり、通常の検索を注釈から導出された1つまたは複数のキーワードに関して実行し、次いでコンテキストを探索結果に適用し、探索結果を関連性がより高い結果を関連性がより低い結果の前にリストするように再ランキングする。
流れ図400および以下の記載は、照会コンテキストを使用する照会生成に焦点を合わせている。当業者には理解されるように、異なる順序で実行される同じステップを使用して、探索結果の再ランキング技法を提供することができる。
ブロック402で、開いた文書で注釈が監視される。この文書は、ウェブページ、ワードプロセッシング文書、電子メールなど、任意のタイプの電子文書とすることができる。コンテンツ探索をトリガする注釈が入力されない限り(ブロック404の「No」分岐)、ブロック402で監視が継続される。コンテンツ探索をトリガする注釈であると判断される注釈が入力された場合(ブロック404の「Yes」分岐)、基本照会タームが注釈から取り込まれて(ブロック406)、最終的に探索で使用されることになる照会の構築が始まる。
コンテンツ探索がシステムによって認識され、開始される2つの異なる方法がある。第1の実装形態では、ユーザが興味のあるタームに注釈を付け、次いでコンテンツ探索を実行するようにシステムに伝える操作を行う。この操作は、探索アイコンを選択するなどして、システムが、コンテンツ探索を実行するコマンドとして認識する注釈を生成することでもよい。少なくとも1つの実装形態では、システムは、注釈を認識し次第、またはユーザがペンまたはスタイラスを注釈上に動かした場合に、コンテンツ探索のオプションを含むメニューをポップアップすることができる。ユーザは、次いでポップアップメニューからコンテンツ探索のオプションを選択することができる。
第2の実装形態では、システムは、ユーザがコンテンツ探索を実行することを望んでいることを認識することによって、コンテンツ探索を自動的に開始する。これは、特定の注釈にコンテンツ探索を開始させることによって実施することができる。たとえば、システムをプログラミングして、ユーザが特定の用語に丸を付けたとき、ユーザがテキストに二重下線を引いたとき、ユーザがテキストを強調表示したときなどに、コンテンツ探索を開始するようにすることができる。
基本照会タームを導出する一例として、ユーザが「インディアン」ブランドのオートバイに熱中している人たちのためのオートバイクラブについてのウェブページの記事を読んでおり、ユーザがたまたまオートバイの購入に興味を持ち、「インディアン」オートバイに関するさらなる情報を見たいと望んでいるとする。そのため、ユーザは記事を読んでいるときに、ワード「インディアン」について注釈を付ける。この注釈は、そのワードを丸で囲む、そのワードに二重下線を引くなどでもよい。
次いで、探索照会の定式化が基本ワード「インディアン」と共に開始される。しかし、探索がこの単一のタームに関して実行された場合、ユーザは、アメリカンインディアンに関する記事からインド国に関する記事まで、「ニュージーランドのインディアンサマー」と題する本に関する書評にまで及ぶ結果を得るであろう。「インディアン」オートバイに関する消費者報告など、ユーザが真に興味を持つ可能性のある記事は、リストのはるか下の方にある可能性が高く、ユーザが興味のあるものを探し出す前に、かなりの数のタイトルを通読しなければならない。
しかし、ブロック408で、<レベル1>のキーワードが、その文書に関連付けられたドキュメントオブジェクトモデル(DOM)ツリー内で探し出され、照会に追加される。<レベル1>のキーワードは、DOMツリーの注釈に比較的近い文書オブジェクトの特徴として定義される。その注釈に正確にどの程度近いかは、特定のアプリケーション毎に定義することができる実装形態の詳細である。この例では、追加の探索ターム「オートバイ」を基本照会ターム「インディアン」に追加することができる。それによって、探索結果がかなり絞り込まれる。
さらにブロック410で、<レベル2>のキーワードがDOMツリー内で探し出される。<レベル2>のキーワードは、<レベル1>の特徴よりもDOMツリーの注釈からさらに離れた範囲にある特徴である。この例では、「集会」、「情報」、および「ニュース」など追加の探索タームを(「会員は毎月集会を開き、そこでインディアンオートバイに関連した情報、ニュース、および逸話を共有している」という文から)追加することができる。
次いでブロック412で、探索タームに特定の「重み」が割り当てられる。注釈が付けられた、または基本のタームには、最高の重みが与えられ、<レベル2>のタームには最低の重みが与えられ、<レベル1>のタームには、その2つの中間の重みが与えられる。照会探索タームおよびそれぞれの重みを使用して、ブロック414でキーワードベクトルが生成される。
キーワードベクトルは、それぞれがそのキーワードに関連付けられた重みを有するキーワードを含む。この例では、キーワードベクトルは[(インディアン,0.6)(オートバイ,0.4)(情報,0.1)(集会,0.1)]として導出することができる。その後の探索は、それらの重みに従って結果をランキングする。
キーワードベクトルを当技術分野で周知の任意の方法で使用して、重み付けされた探索を行なうことができる。少なくとも1つの実装形態では、キーワードベクトルは余弦測定(cosine measurement)と共に使用して、文書との類似性を計算する。
Figure 2005085285
ブロック416で、ユーザに、探索を実行すべきドメインを指定するためのポップアップメニューが提供される。たとえば、ポップアップメニューは、ローカルコンピュータ、ローカルネットワークドライブ、インターネットなどを指定することができる。さらに、ポップアップメニューは、ユーザが探索を取り消すことができる「探索しない」オプションを指定することもできる。次いでブロック418で、指定されたドメインが探索され、ブロック420でユーザにその結果が戻される。
理解されるように、重みがつけられたターム「インディアン」、「オートバイ」、「集会」、「情報」、および「ニュース」を含む照会は、「インディアン」という単なる照会よりも、ユーザが本当に捜し求めているものを扱う結果を上位に戻す可能性が高い。このように、ユーザは、ユーザにとって使用可能なこうした機能を持つことによって、時間および労力を節約する。
前に述べたように、上記の照会生成に対する代替案は、結果を再ランキングすることである。このようなプロセスでは、最初に注釈ターム「インディアン」だけを使用して探索を実行する。キーワードベクトルを上記のように生成して、多数の結果を受信した後に、結果をキーワードベクトルに従って再ランキングする。このような技法は、照会生成方法を使用して得られる結果と同様の結果をもたらす。
(方法の実装形態−注釈ベースのキーワード探索)
他の例では、ユーザは、ユーザが現在読んでいる文書内でキータームを見つけることを望む場合がある。現在の文書で見つけるためにキータームを探索ボックスに入力する通常の方法は、ペンベースのシステムでは実行するのは難しい。さらに、ユーザが文書内で見つけたいと思うキーターム毎に、この方法を繰り返さなければならない。
ペンベースのシステムでは、ユーザが読んでいる文書内でユーザが探し出したいと思う1つまたは複数のキータームにユーザが注釈を付け、そのキータームを自動的に探し出すのがより効率的である。以下に記載した注釈ベースのキーワード探索は、このようなプロセスを示している。
図5は、注釈ベースのキーワード探索の方法の実装形態を示す流れ図500である。ブロック502で、開いた文書内の注釈が監視される。上記で論じたように、文書は、ウェブページ、ワードプロセッシング文書、電子メールメッセージなど、任意のタイプの電子文書とすることができる。キーワード探索をトリガする注釈が入力されない限り(ブロック504の「No」分岐)、ブロック502で監視が継続される。キーワード探索をトリガする注釈であると判断される注釈が入力された場合(ブロック504の「Yes」分岐)、ユーザに関心のある可能性が高いキーワードがブロック506で決定される。
キーワード探索をトリガすることになる1つまたは複数の注釈の決定を、1つまたは複数のいくつかの方法で実装することができる。たとえば、ユーザが注釈上にペンを移動してメニューをポップアップし、次いでそのメニューからキーワード探索項目を選択すると、キーワード探索を開始するようにシステムをプログラミングすることができる。少なくとも1つの他の実装形態では、特定のタイプの注釈を使用してキーワード探索をトリガすることができる。
どのワードがユーザに関心のある可能性が高いか決定するための方法が4つあり、これらはこのステップで使用することができる。この特定の実装形態では、情報フィルタリングモジュール228(図2)は、以下に記載するタスクを実行するように構成される。
第1の方法は、Pr(w|u)を決定する:現在のユーザを(u)とし、どのワード(w)がユーザに関心があるかとする。このような決定を行うには、学習モジュール(図2の224)は、ユーザの振る舞いを監視して、その振る舞いに関連した特定のデータを特徴データベース(図2の222)に格納するように構成される。
長期の関心のモデルを実装するため、学習モジュール224は、ユーザが読んだ文書全てに現れるワードを追跡し、情報フィルタリングモジュール228は、現在の文書のワードが学習モジュール224によって追跡された頻度を決定することによって、現在の文書に現れるワードの重要度を決定する。
各特定のワードの追跡は、システムに過度の負荷のかかるタスクをもたらす可能性がある。それゆえ、こうした実装形態では、文書に通常現れる文法の特定の部分を規定どおりに省くことができる。たとえば、「その」、「または」、「なぜなら」などのワードを追跡しなくてもよい。
このようなプロセスで、ユーザの短期の関心にさらに焦点を合わせることが望ましい。そのような場合、ユーザによって最近アクセスされた文書に出現するワードだけを、現在の文書のワードと比較することができる。たとえば、現在の文書のワードをユーザが先週アクセスした文書のワードとだけ比較することができる。
ユーザに関心のある可能性が高いキーワードを決定するための第2の方法では、ユーザが付けた注釈に焦点を合わせる。このような実装形態では、情報フィルタリングモジュール228は、注釈が付けられたワードを含む文書内に頻繁に出現するワードを決定する。次いで、こうしたワードを、ユーザに関心のある可能性が高いキーワードとして決定する。
ユーザに関心のある可能性が高いキーワードを決定するための第3の方法では、ユーザの過去の注釈に基づいて、キーに関連したワードを決定する。このような実装形態では、ユーザの過去の注釈の履歴が維持される。キーワードは履歴と比較され、キーワードに関連付けられた重みは、そのキーワードが履歴に存在するかどうか、もし存在する場合は、そのキーワードがユーザによって注釈として最後に入力されたときに従って調整される。
ユーザによって比較的最近入力されたと(履歴を参照して)判明したキーワードに、より高い重みが関連付けられる。同様に、履歴内で発見されたが大分以前に使用されたキーワードは、より低い重みの調整を受け取ることになる。履歴で発見されなかったキーワードは、高められた重みを持たず、通常の重みを維持するか、またはすでに割り当てられた重みを低減することになる。
第4の方法は、現在のユーザだけでなくすべてのユーザの過去の注釈が考慮される以外は、第3の方法と同様である。ここでも、すべてのユーザからのすべての注釈を含む履歴が使用される以外は、注釈の履歴を使用する上記と同じ技法が使用される。
ユーザに関心のある可能性が高いキーワードが決定された後、こうしたキーワードが推奨キーワードとしてユーザに提示される(ブロック508)。次いでブロック510で、ユーザは1つまたは複数の推奨キーワードを選択する。次いでブロック512で、選択されたキーワードが文書を通して強調表示され、各固有のキーワードが様々な色で強調表示される(システムのディスプレイがカラーディスプレイの場合)。
(方法の実装形態−注釈ベースのジェスチャ)
注釈を使用して、ペンベースのコンピューティングシステムをより簡単に管理することができる他の方法は、ユーザが特定のタスクを特定のジェスチャに割り当てることができる場合である。ジェスチャは、手書きまたは描画のインクオブジェクトではなく、コンピュータの機能を統御または制御するインクオブジェクトである。そのため、ユーザは注釈を付け、次いで基礎となるタスクをその注釈と関連付けることができる。その後、システムが同じ注釈を検出すると、システムは、その注釈に関連付けられたタスクを実行することになる。
図6は、ペンベースのシステムで注釈をジェスチャとして使用する方法の実装形態を示す流れ図600である。ブロック602で、抽出モジュール220(図2)は、開いた電子文書の注釈を監視する。ジェスチャを意味する注釈が検出されない限り(ブロック604の「No」分岐)、ブロック602で監視が継続される。ジェスチャが検出された場合(ブロック604の「Yes」分岐)、そのジェスチャが新規のジェスチャであるか、または以前に使用されたジェスチャであるかが判断される。
特定の注釈がジェスチャであることをユーザがシステムに示すことができる多くの方法がある。一実装形態では、ユーザは注釈を付け、その注釈を1秒より長く押す。長い時間ペンでタップすることによって、指し示された注釈がジェスチャであることをシステムに示す。
ジェスチャが示されると、システムは、特徴データベース222を探索してそのジェスチャが以前に使用されたかどうかを判断しなければならない。ジェスチャが新規のジェスチャである場合(ブロック606の「Yes」分岐)、注釈が記録される、すなわち特徴データベース222に格納される(ブロック608)。ユーザによってジェスチャの指示がなされた後、ユーザは、そのジェスチャの注釈と関連付けられるべき1つまたは複数のコマンドを入力する。ジェスチャに関連したこれらのコマンドは、ブロック612で受け取られ、ブロック614で関連の注釈と共に特徴データベース222に格納される。次いでブロック616で、ジェスチャコマンドが実行される。
ジェスチャの指示が検出された後にそのジェスチャが特徴データベース222の中で特定された場合、すなわちそのジェスチャが新規のジェスチャではないが、以前に使用されたことがある場合(ブロック606の「No」分岐)、そのジェスチャに関連付けられたコマンドは、特徴データベース222から取り出され、ブロック616で実行される。
一例として、ジェスチャを生成してカレンダアプリケーションを開くことを望んでいるユーザを考える。このユーザは、無限大の印(∞)を使用してカレンダアプリケーションを起動することにすると決める。ユーザは、開いている電子文書に注釈(無限大の印)をマーク付けし、次いでその無限大の印にペンをタップし保持する。ユーザが最初にこれを行うとき、システムはジェスチャを発見せず、ユーザにコマンドを入力して注釈と関連付けるように促すことになる。ユーザは次に、カレンダアプリケーションを起動するステップを実行する。その後、こうしたステップが無限大の印と関連付けられ、注釈および関連付けられたステップが格納される。
ユーザが次にカレンダアプリケーションを起動させることを望むと、ユーザは無限大の印を作成して、その印をタップし保持する。システムはそのジェスチャを認識することになり、コマンドを実行してカレンダアプリケーションを起動し、そのためユーザはアプリケーションを起動する時間およびステップを省くこととなる。
他の機能と同様に、システムは、ユーザが望む場合にこの機能を停止することができる便利な方法を含む。
(まとめ)
ゆえに、記載のシステムおよび方法は、ペンベースのシステムにおいて注釈をより良好に管理する方法を提供して、ユーザがこのシステムを使用して通常のタスクをより簡単に実行するようにする。ユーザにとって、使用するのがより便利なペンベースのシステムを提供することで、市場におけるペンベースのシステムの使用を促進する。
上記で特定の実装形態および実施形態を詳細に述べたが、このような詳細は、添付の特許請求の範囲を限定することではなく、法による開示の義務に従うことを意図している。ゆえに、特許請求の範囲によって定義される本発明は、上記の特定の特徴に限定されるものではない。本発明はむしろ、添付の請求項の適切な範囲に入る任意の本発明の形態および変更形態において権利を主張し、均等の原理によって適切に解釈されるものである。
例示のコンピューティング環境を示す図である。 注釈システムアーキテクチャの単純化したブロック図である。 注釈でタスクをスケジューリングする方法の実装形態を示す流れ図である。 注釈および注釈のコンテキストから導出されたキーワードを使用するコンテンツ探索の方法の実装形態を示す流れ図である。 注釈を使用するキーワード探索の方法の実装形態を示す流れ図である。 ジェスチャとして注釈を使用する方法の実装形態を示す流れ図である。
符号の説明
200 注釈システム
202 記憶層
204 抽出層
206 アプリケーション層
208 注釈および文書データベース
210 アンカリングモジュール
212 注釈再編モジュール
220 抽出モジュール
222 特徴データベース
224 学習モジュール
226 照会修正モジュール
228 情報フィルタリングモジュール
229 履歴
230 個人情報管理アプリケーション
232 ウェブブラウザ
234 注釈要約アプリケーション

Claims (32)

  1. ユーザの注釈について電子文書を監視することと、
    前記電子文書への注釈の入力を認識することと、
    前記注釈およびコンテキストデータを使用して前記注釈に関連した情報を探し出すことと、
    前記注釈に近いコンテキストデータを収集することと
    を備えることを特徴とする方法。
  2. 前記コンテキストデータを収集することは、前記注釈に近いテキストから1つまたは複数の語を抽出することをさらに備えることを特徴とする請求項1に記載の方法。
  3. 前記コンテキストデータを収集することは、前記注釈に関連付けられたドキュメントオブジェクトモデル(DOM)内の注釈オブジェクトに近いオブジェクトを探し出すことをさらに備えることを特徴とする請求項1に記載の方法。
  4. 前記コンテキストデータを収集することは、
    前記注釈からの第1の距離を規定することと、
    前記注釈からの第2の距離を規定することと、
    前記注釈からの前記第1の距離内にある1つまたは複数のキーワードを探し出すことと、
    前記注釈からの前記第2の距離内にあるが、前記注釈からの前記第1の距離内にはない1つまたは複数のキーワードを探し出すことと、
    前記注釈からの距離に従って前記1つまたは複数のキーワードを重み付けし、前記第1の距離内のキーワードは、前記第2の距離内にあるが前記第1の距離内にはないキーワードよりも高い重みを有することと
    をさらに備え、
    前記注釈に関連した情報を探し出すことは、前記キーワードに割り当てられた重みに従って前記キーワードを使用することを特徴とする請求項1に記載の方法。
  5. 前記コンテキストデータを収集することは、
    少なくとも2つの探索タームを導出することと、
    前記探索タームを探索タームの履歴と比較することと、
    特定の探索タームが前記探索タームの履歴に含まれているかどうかによって前記探索タームのそれぞれを重み付けし、前記探索タームの履歴に含まれている探索タームにより高い重みが割り当てられることと
    をさらに備えることを特徴とする請求項1に記載の方法。
  6. 前記探索タームの履歴は、特定のユーザによって使用された探索タームの履歴をさらに備えることを特徴とする請求項5に記載の方法。
  7. 前記探索タームの履歴は、ユーザの特定のグループのすべてのユーザによって使用された探索タームの履歴をさらに備えることを特徴とする請求項5に記載の方法。
  8. 前記注釈に関連した情報を探し出すことは、前記注釈と一致または類似するタームについて電子文書を探索することをさらに備えることを特徴とする請求項1に記載の方法。
  9. 前記注釈に関連した情報を探し出すことは、前記注釈と一致または類似するタームを含む文書についてリモートサイトを探索することをさらに備えることを特徴とする請求項1に記載の方法。
  10. 前記注釈に関連した情報を探し出すことは、
    前記ユーザによってアクセスされた以前の文書に含まれた前記注釈およびワードに基づいて、ユーザに関心のある可能性が高いキーワードを決定することと、
    前記キーワードを使用して情報を探し出すことと
    をさらに含むことを特徴とする請求項1に記載の方法。
  11. 前記以前の文書は、指定された期間内にアクセスされた文書に限定されることを特徴とする請求項5に記載の方法。
  12. 前記注釈に関連した情報を探し出すことは、
    前記ユーザによってアクセスされた以前の文書内の前記注釈および前記注釈と共に出現するワードに基づいて、ユーザに関心のある可能性が高いキーワードを決定することと、
    前記キーワードを使用して情報を探し出すことと
    をさらに備えることを特徴とする請求項1に記載の方法。
  13. 注釈は、丸、下線、ブロック、矢印、コールアウト、自由なノート、ポストイットノートの注釈のタイプのうちの1つをさらに備えることを特徴とする請求項1に記載の方法。
  14. 注釈の入力について電子文書を監視するように構成された注釈監視モジュールと、
    前記電子文書に入力された注釈の近くに現れるコンテキストデータを収集し、前記コンテキストデータから1つまたは複数のキーワードを抽出するように構成された抽出モジュールと、
    前記注釈および前記キーワードを使用して、関連したコンテキストを探し出すように構成された情報処理モジュールと
    を備えたことを特徴とするシステム。
  15. 前記システムにおいて以前に使用された1つまたは複数の履歴のキーワードを含む履歴モジュールをさらに備え、
    前記抽出モジュールは、前記キーワードが前記履歴モジュールに含まれているか否かによってキーワードを重み付けするようにさらに構成されていることを特徴とする請求項14に記載のシステム。
  16. 前記コンテキストデータは、前記注釈に最も近いテキストから導出された複数のキーワードをさらに備え、
    前記抽出モジュールは、前記キーワードの前記注釈からの相対距離に従って各キーワードを重み付けするようにさらに構成され、
    前記情報処理モジュールは、前記注釈および前記重み付けされたキーワードに基づいて探索を開始するようにさらに構成されたことを特徴とする請求項14に記載のシステム。
  17. 前記探索は、前記注釈を探索タームとして使用して実行され、前記探索の結果は前記重み付けされたキーワードに従って再ランキングされることを特徴とする請求項16に記載のシステム。
  18. 前記探索は、前記注釈および前記重み付けされたキーワードから導出された照会を使用して実行されることを特徴とする請求項16に記載のシステム。
  19. 前記情報処理モジュールによって探し出された前記関連したコンテンツは、前記電子文書に含まれたキーワードをさらに備えたことを特徴とする請求項14に記載のシステム。
  20. 前記情報処理モジュールによって探し出された前記関連したコンテンツは、1つまたは複数の前記キーワードを含むネットワーク上の文書をさらに備えたことを特徴とする請求項14に記載のシステム。
  21. 前記情報処理モジュールは、同じ注釈が入力され、前記ユーザによってアクセスされた他の文書に現れる前記注釈およびワードに基づいて、前記ユーザに関心のある可能性が高い推奨キーワードを決定するようにさらに構成されたことを特徴とする請求項14に記載のシステム。
  22. 前記推奨キーワードを前記ユーザに提示し、前記ユーザによる1つもしくは複数の推奨キーワードの選択または選択のないことを提供するように構成されたユーザインターフェースをさらに備えたことを特徴とする請求項21に記載のシステム。
  23. コンピュータ実行可能命令を含み、コンピュータで実行されたときに、
    ユーザによって電子文書に入力された注釈を認識することと、
    前記注釈の位置に関連したコンテキストデータを収集することと、
    前記注釈によって示された1つまたは複数のワード、および前記コンテキストデータから導出された1つまたは複数のキーワードで探索を実行することによって、前記ユーザに関心のある可能性がある追加のコンテンツを探し出すことと
    を実行することを特徴とする1つまたは複数のコンピュータ可読媒体。
  24. 前記注釈は、丸、ボックス、矢印、下線、二重下線、括弧、ハイライト、手書き文字、自由なノート、ポストイットノートの注釈のセットに含まれる注釈であることを特徴とする請求項23に記載の1つまたは複数のコンピュータ可読媒体。
  25. 前記注釈の位置に関連したコンテキストデータを収集することは、注釈オブジェクトに関連付けられたドキュメントオブジェクトモデル内の前記注釈オブジェクトから一定の距離内に出現するオブジェクトを収集することをさらに備えたことを特徴とする請求項23に記載の1つまたは複数のコンピュータ可読媒体。
  26. 前記追加のコンテンツを探し出すことは、前記電子文書の中で1つまたは複数のローカルキーワードを探し出すことをさらに備えたことを特徴とする請求項23に記載の1つまたは複数のコンピュータ可読媒体。
  27. 前記追加のコンテンツを探し出すことは、前記注釈によって示された1つまたは複数のワード、または前記コンテキストデータから導出された1つまたは複数のキーワードを含むネットワーク上の1つまたは複数の文書を探し出すことをさらに備えたことを特徴とする請求項23に記載の1つまたは複数のコンピュータ可読媒体。
  28. 前記追加のコンテンツを探し出すことは、前記ユーザによってアクセスされた他の文書中の前記注釈と共に頻繁に現れるワードを識別することによって、前記コンテキストデータから前記1つまたは複数のキーワードを導出することをさらに備えることを特徴とする請求項23に記載の1つまたは複数のコンピュータ可読媒体。
  29. 前記追加のコンテンツを探し出すことは、前記ユーザによってアクセスされた他の文書中の前記注釈と共に頻繁に現れるワードを識別することによって、前記コンテキストデータから前記1つまたは複数のキーワードを導出することをさらに含むことを特徴とする請求項23に記載の1つまたは複数のコンピュータ可読媒体。
  30. 前記キーワードを重み付けすることと、
    前記重み付けられたキーワードに従って探索結果をランキングすることと
    をさらに備えたことを特徴とする請求項23に記載の1つまたは複数のコンピュータ可読媒体。
  31. 現ユーザによって以前に使用されたキーワードを含むキーワードの履歴表を参照することをさらに備え、前記キーワードを重み付けすることは、前記キーワードの履歴表に含まれるキーワードにより高い重みを割り当てることをさらに備えたことを特徴とする請求項30に記載の1つまたは複数のコンピュータ可読媒体。
  32. ユーザのグループのすべてのユーザによって以前に使用されたキーワードを含むキーワードの履歴表を参照することをさらに備え、前記キーワードを重み付けすることは、前記キーワードの履歴表に含まれるキーワードにより高い重みを割り当てることをさらに備えることを特徴とする請求項30に記載の1つまたは複数のコンピュータ可読媒体。
JP2004264678A 2003-09-10 2004-09-10 ペンベースのコンピューティングシステムでの注釈の管理 Expired - Fee Related JP4806178B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/659,568 US7555705B2 (en) 2003-09-10 2003-09-10 Annotation management in a pen-based computing system
US10/659,568 2003-09-10

Publications (3)

Publication Number Publication Date
JP2005085285A true JP2005085285A (ja) 2005-03-31
JP2005085285A5 JP2005085285A5 (ja) 2007-10-25
JP4806178B2 JP4806178B2 (ja) 2011-11-02

Family

ID=34136760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004264678A Expired - Fee Related JP4806178B2 (ja) 2003-09-10 2004-09-10 ペンベースのコンピューティングシステムでの注釈の管理

Country Status (5)

Country Link
US (1) US7555705B2 (ja)
EP (1) EP1515242A3 (ja)
JP (1) JP4806178B2 (ja)
KR (1) KR101122869B1 (ja)
CN (1) CN1637741B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151792A (ja) * 2007-12-21 2009-07-09 Ricoh Co Ltd 電子文書をマーキングする方法及び命令と共に記録媒体を有する製品
JP2011170418A (ja) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd 画像イメージを検索するタグデータの生成方法
US8312369B2 (en) 2008-09-25 2012-11-13 Fujitsu Limited Information display apparatus, method, and recording medium for saving and displaying note information in association with contextual information
JP2013127823A (ja) * 2013-03-28 2013-06-27 Seiko Epson Corp 検索装置およびプログラム
JP2013544397A (ja) * 2010-11-05 2013-12-12 楽天株式会社 キーワード抽出に関するシステム及び方法
WO2014076777A1 (ja) 2012-11-14 2014-05-22 富士通株式会社 医療情報解析プログラム、医療情報解析装置、および医療情報解析方法
US9134833B2 (en) 2012-08-06 2015-09-15 Kabushiki Kaisha Toshiba Electronic apparatus, method, and non-transitory computer-readable storage medium

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155061B2 (en) * 2000-08-22 2006-12-26 Microsoft Corporation Method and system for searching for words and phrases in active and stored ink word documents
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US8005835B2 (en) * 2004-03-15 2011-08-23 Yahoo! Inc. Search systems and methods with integration of aggregate user annotations
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060078866A1 (en) * 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US20050210042A1 (en) * 2004-03-22 2005-09-22 Goedken James F Methods and apparatus to search and analyze prior art
JP4081056B2 (ja) * 2004-08-30 2008-04-23 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US20060080286A1 (en) * 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
US7685209B1 (en) * 2004-09-28 2010-03-23 Yahoo! Inc. Apparatus and method for normalizing user-selected keywords in a folksonomy
US7672512B2 (en) 2005-03-18 2010-03-02 Searete Llc Forms for completion with an electronic writing device
US8102383B2 (en) * 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
JP4733415B2 (ja) 2005-04-05 2011-07-27 シャープ株式会社 電子文書の表示装置及び方法、並びにコンピュータプログラム
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7779347B2 (en) * 2005-09-02 2010-08-17 Fourteen40, Inc. Systems and methods for collaboratively annotating electronic documents
US20070118509A1 (en) * 2005-11-18 2007-05-24 Flashpoint Technology, Inc. Collaborative service for suggesting media keywords based on location data
US7895223B2 (en) * 2005-11-29 2011-02-22 Cisco Technology, Inc. Generating search results based on determined relationships between data objects and user connections to identified destinations
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US8037051B2 (en) * 2006-11-08 2011-10-11 Intertrust Technologies Corporation Matching and recommending relevant videos and media to individual search engine results
JP4398454B2 (ja) * 2006-12-13 2010-01-13 富士通株式会社 アノテーション管理プログラム、アノテーション管理装置、アノテーション編集プログラム及びアノテーション編集装置
US7739304B2 (en) * 2007-02-08 2010-06-15 Yahoo! Inc. Context-based community-driven suggestions for media annotation
US20080227076A1 (en) * 2007-03-13 2008-09-18 Byron Johnson Progress monitor and method of doing the same
US8737908B1 (en) * 2007-03-30 2014-05-27 University Of South Florida Interactive book and spatial accountability method
TWI399652B (zh) * 2007-08-09 2013-06-21 Yahoo Inc 文書頁面中註解聚合及傳遞系統與方法
US8972458B2 (en) 2007-08-09 2015-03-03 Yahoo! Inc. Systems and methods for comments aggregation and carryover in word pages
JP5157318B2 (ja) * 2007-08-24 2013-03-06 富士ゼロックス株式会社 文書監視装置、文書監視プログラムおよび文書監視システム
US20090058820A1 (en) 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
US8694887B2 (en) * 2008-03-26 2014-04-08 Yahoo! Inc. Dynamic contextual shortcuts
US20100205190A1 (en) * 2009-02-09 2010-08-12 Microsoft Corporation Surface-based collaborative search
US8095524B2 (en) * 2009-03-18 2012-01-10 International Business Machines Corporation Method and system for integrating personal information search and interaction on web/desktop applications
US20100306670A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Gesture-based document sharing manipulation
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US9049258B2 (en) 2009-09-17 2015-06-02 Border Stylo, LLC Systems and methods for anchoring content objects to structured documents
US8683317B2 (en) * 2009-09-23 2014-03-25 Fisher-Rosemount Systems, Inc. Dynamically linked graphical messages for process control systems
WO2011041547A1 (en) * 2009-09-30 2011-04-07 Georgia Tech Research Corporation Systems and methods to facilitate active reading
WO2012044363A1 (en) 2010-09-30 2012-04-05 Georgia Tech Research Corporation Systems and methods to facilitate active reading
US11023675B1 (en) 2009-11-03 2021-06-01 Alphasense OY User interface for use with a search engine for searching financial related documents
US20120078979A1 (en) * 2010-07-26 2012-03-29 Shankar Raj Ghimire Method for advanced patent search and analysis
KR20120021061A (ko) * 2010-08-31 2012-03-08 삼성전자주식회사 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치
US9262390B2 (en) 2010-09-02 2016-02-16 Lexis Nexis, A Division Of Reed Elsevier Inc. Methods and systems for annotating electronic documents
KR101731968B1 (ko) * 2010-11-01 2017-05-04 삼성전자주식회사 로봇의 리로케이션 장치 및 방법
JP5699623B2 (ja) * 2011-01-20 2015-04-15 村田機械株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム
US8984003B2 (en) * 2012-01-31 2015-03-17 Bank Of America Corporation System and method for processing, maintaining, and verifying data
JP5694236B2 (ja) * 2012-05-28 2015-04-01 株式会社東芝 文書検索装置、方法およびプログラム
US8903813B2 (en) * 2012-07-02 2014-12-02 International Business Machines Corporation Context-based electronic document search using a synthetic event
US10380233B2 (en) 2012-07-26 2019-08-13 International Business Machines Corporation Launching workflow processes based on annotations in a document
US11210457B2 (en) 2014-08-14 2021-12-28 International Business Machines Corporation Process-level metadata inference and mapping from document annotations
US20160164814A1 (en) * 2014-12-05 2016-06-09 Kobo Incorporated Persistent anchored supplementary content for digital reading
CN104881451A (zh) * 2015-05-18 2015-09-02 百度在线网络技术(北京)有限公司 图片搜索方法及装置
US10430437B2 (en) 2017-02-08 2019-10-01 Bank Of America Corporation Automated archival partitioning and synchronization on heterogeneous data systems
KR102382478B1 (ko) 2017-10-13 2022-04-05 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108415778A (zh) * 2018-03-29 2018-08-17 北京中油瑞飞信息技术有限责任公司 任务排序方法、装置及调度系统
US11531673B2 (en) 2018-05-24 2022-12-20 Sap Se Ambiguity resolution in digital paper-based interaction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207901A (ja) * 1997-01-22 1998-08-07 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及びシステム
JPH11161682A (ja) * 1997-09-29 1999-06-18 Toshiba Corp 情報検索装置、情報検索方法及び記録媒体
JP2001092832A (ja) * 1999-09-21 2001-04-06 Matsushita Electric Ind Co Ltd 情報推薦方法
JP2001167124A (ja) * 1999-12-13 2001-06-22 Sharp Corp 文書分類装置及び文書分類プログラムを記録した記録媒体
JP2002108918A (ja) * 2000-09-27 2002-04-12 Nec Corp 嗜好学習装置、嗜好学習システム、嗜好学習方法および記録媒体
JP2003173352A (ja) * 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> 検索ログ解析方法および装置、文書情報検索方法および装置、検索ログ解析プログラム、文書情報検索プログラム、および記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554085A (ja) * 1991-08-28 1993-03-05 Fuji Xerox Co Ltd 動画像検索支援装置
JP4183311B2 (ja) * 1997-12-22 2008-11-19 株式会社リコー 文書の注釈方法、注釈装置および記録媒体
US6509912B1 (en) * 1998-01-12 2003-01-21 Xerox Corporation Domain objects for use in a freeform graphics system
US6941321B2 (en) * 1999-01-26 2005-09-06 Xerox Corporation System and method for identifying similarities among objects in a collection
US7091959B1 (en) * 1999-03-31 2006-08-15 Advanced Digital Systems, Inc. System, computer program product, computing device, and associated methods for form identification and information manipulation
US6397213B1 (en) * 1999-05-12 2002-05-28 Ricoh Company Ltd. Search and retrieval using document decomposition
US6868525B1 (en) * 2000-02-01 2005-03-15 Alberti Anemometer Llc Computer graphic display visualization system and method
CN1227611C (zh) * 2001-03-09 2005-11-16 北京大学 判断一组查询关键字或词在网页中位置相关性的方法
US6778979B2 (en) * 2001-08-13 2004-08-17 Xerox Corporation System for automatically generating queries
US7107261B2 (en) * 2002-05-22 2006-09-12 International Business Machines Corporation Search engine providing match and alternative answer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207901A (ja) * 1997-01-22 1998-08-07 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及びシステム
JPH11161682A (ja) * 1997-09-29 1999-06-18 Toshiba Corp 情報検索装置、情報検索方法及び記録媒体
JP2001092832A (ja) * 1999-09-21 2001-04-06 Matsushita Electric Ind Co Ltd 情報推薦方法
JP2001167124A (ja) * 1999-12-13 2001-06-22 Sharp Corp 文書分類装置及び文書分類プログラムを記録した記録媒体
JP2002108918A (ja) * 2000-09-27 2002-04-12 Nec Corp 嗜好学習装置、嗜好学習システム、嗜好学習方法および記録媒体
JP2003173352A (ja) * 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> 検索ログ解析方法および装置、文書情報検索方法および装置、検索ログ解析プログラム、文書情報検索プログラム、および記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151792A (ja) * 2007-12-21 2009-07-09 Ricoh Co Ltd 電子文書をマーキングする方法及び命令と共に記録媒体を有する製品
US8312369B2 (en) 2008-09-25 2012-11-13 Fujitsu Limited Information display apparatus, method, and recording medium for saving and displaying note information in association with contextual information
JP2011170418A (ja) * 2010-02-16 2011-09-01 Lenovo Singapore Pte Ltd 画像イメージを検索するタグデータの生成方法
JP2013544397A (ja) * 2010-11-05 2013-12-12 楽天株式会社 キーワード抽出に関するシステム及び方法
US9134833B2 (en) 2012-08-06 2015-09-15 Kabushiki Kaisha Toshiba Electronic apparatus, method, and non-transitory computer-readable storage medium
WO2014076777A1 (ja) 2012-11-14 2014-05-22 富士通株式会社 医療情報解析プログラム、医療情報解析装置、および医療情報解析方法
JP2013127823A (ja) * 2013-03-28 2013-06-27 Seiko Epson Corp 検索装置およびプログラム

Also Published As

Publication number Publication date
US7555705B2 (en) 2009-06-30
EP1515242A3 (en) 2006-06-14
CN1637741A (zh) 2005-07-13
CN1637741B (zh) 2010-07-21
JP4806178B2 (ja) 2011-11-02
US20050055628A1 (en) 2005-03-10
KR20050026902A (ko) 2005-03-16
KR101122869B1 (ko) 2012-03-20
EP1515242A2 (en) 2005-03-16

Similar Documents

Publication Publication Date Title
JP4806178B2 (ja) ペンベースのコンピューティングシステムでの注釈の管理
US11294970B1 (en) Associating an entity with a search query
US11580181B1 (en) Query modification based on non-textual resource context
US10275606B2 (en) Indexing and searching documents with restricted portions
US8073877B2 (en) Scalable semi-structured named entity detection
US7793230B2 (en) Search term location graph
US7769771B2 (en) Searching a document using relevance feedback
US7739304B2 (en) Context-based community-driven suggestions for media annotation
US9195717B2 (en) Image result provisioning based on document classification
US10552467B2 (en) System and method for language sensitive contextual searching
US20100228744A1 (en) Intelligent enhancement of a search result snippet
US9342233B1 (en) Dynamic dictionary based on context
JP2006127509A (ja) 地理的検索機能を提供するシステムおよび方法
US8090715B2 (en) Method and system for dynamically generating a search result
CN109918555B (zh) 用于提供搜索建议的方法、装置、设备和介质
TW201541266A (zh) 呈現搜索結果的方法和裝置
US8799257B1 (en) Searching based on audio and/or visual features of documents
US20120023089A1 (en) Method to search a task-based web interaction
KR20120130196A (ko) 정보 엔터티들의 자동 연관
TWI609280B (zh) 在電子閱讀器環境中基於內容及物件元資料的搜尋
TWI460601B (zh) 用於資訊致動的物件關聯系統與方法以及計算機系統
CN111310421A (zh) 一种文本批量标记方法、终端及计算机存储介质
US11720626B1 (en) Image keywords
US10496698B2 (en) Method and system for determining image-based content styles
JP2004206654A (ja) 情報検索方法、情報検索処理システム、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110628

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110812

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees