JP2015533002A - 書き込みのメモとデジタルコンテンツの相関 - Google Patents

Abstract

システムおよび方法は、複数のデータストリームをスマートペン装置およびコンピュータ装置から受信し、当該データストリームを、同期した時間インデックスにインデックス付けする。プロセッサは、スマートペン装置によりキャプチャされたジェスチャデータを表す第１のデータストリーム、および、コンピュータ装置上で実行されるアプリケーションに関連する状態のシーケンスを表す第２のデータストリームを受信し、各状態が、ジェスチャデータがキャプチャされる間にコンピュータ装置により表示されるコンテンツを識別するようにする。例えば、状態は、コンピュータ装置により表示されるデジタル文書の特定のページとすることができる。第１および第２のデータストリームを受信した後、プロセッサは、データストリームを、同期した時間インデックスにインデックス付けし、インデックス付けされたデータストリームをメモリに記憶する。

Description

（関連出願の相互参照）
本出願は、２０１２年１０月２６日に出願された米国仮特許出願第６１／７１９，２９０号の利益を主張するものであり、その開示は全体が参照により本明細書に組み込まれる。

本発明は、ペンベースのコンピュータシステムに関し、特に、記録された書き込み、音声、およびデジタルコンテンツをスマートペン環境において同期させることに関する。

スマートペンは、ユーザの書き込みジェスチャをデジタル処理でキャプチャして、キャプチャしたジェスチャを、様々なアプリケーションで利用可能なデジタル情報に変換する電子機器である。例えば、光学ベースのスマートペンでは、当該スマートペンが、デジタル処理でエンコードされる表面（例えば、ドットパターン）に対する書き込みの間に、ペンの座標を検出し、かつ記録する光学センサを含む。加えて、従来のスマートペンには、埋め込みマイクを含み、当該スマートペンが、書き込みジェスチャのキャプチャと同期して音声をキャプチャすることを可能にするものがある。そして、同期された音声とジェスチャのデータを、再現（replay）することができる。従って、スマートペンは、紙の領域での操作の利便性と、デジタル環境に関連する機能性および柔軟性との両方を提供することにより、豊かなノート取り経験（note taking experience）をユーザに提供することができる。

本発明の実施形態は、複数のデータストリームをスマートペン装置およびコンピュータ装置から受信し、当該データストリームを、同期した時間インデックスにインデックス付けするためのシステムおよび方法を提供する。プロセッサは、スマートペン装置によりキャプチャされたジェスチャデータを表す第１のデータストリーム、および、コンピュータ装置上で実行されるアプリケーションに関連する状態のシーケンスを表す第２のデータストリームを受信する。各状態は、ジェスチャデータがキャプチャされる間にコンピュータ装置により表示されるコンテンツを識別する。状態は、例えば、コンピュータ装置により所与の時間に表示されるデジタル文書の特定のページ、所与の時間に表示されるデジタル文書のページの一部がズームされた項目、コンピュータ装置により所与の時間に記憶されるユーザ入力、または、コンピュータ装置により所与の時間に再生される映像の再生フレームとすることができる。

第１および第２のデータストリームを受信した後、プロセッサは、データストリームを、同期した時間インデックスにインデックス付けし、インデックス付けされたデータストリームをメモリに記憶する。一実施形態において、プロセッサはまた、音声キャプチャシステムによりキャプチャされた、音声データを表す第３のデータストリームを受信し、当該第３のデータストリームをインデックス付けして記憶する。一実施形態において、インデックス付けされて記憶されたデータストリームは、ユーザから再生の要求があると読み出され（retrieved）、読み出されたデータストリームの一部が、同期した時間インデックスと相関関係にあるジェスチャデータ、または状態のシーケンスを表示することにより、再現される。別の実施形態において、第１のデータストリームの一部が、デジタル文書の一部に関連付けられる。

スマートペンベースのコンピュータ環境の一実施形態の概略図である。 ペンベースのコンピュータシステムにおいて使用するためのスマートペン装置の一実施形態を示す図である。 スマートペン装置の一実施形態によりキャプチャされた、同期された書き込み、音声、およびデジタルコンテンツのデータフィードの一例を示すタイムライン図である。 スマートペンベースのコンピュータシステムにおけるコンテンツデータの取得および再閲覧の一実施形態のフロー図である。 一実施形態のフロー図である。

図面は種々の実施形態を説明のみの目的で示す。当業者は、本明細書において説明される構造および方法の代替実施形態が、本明細書に記載される原理から逸脱することなく採用されてよいことを、以下の説明から容易に認識するであろう。

（ペンベースのコンピュータ環境の概要）
図１は、ペンベースのコンピュータ環境１００の一実施形態を示す。ペンベースのコンピュータ環境は、音声源１０２、書き込み面１０５、スマートペン１１０、コンピュータ装置１１５、ネットワーク１２０、およびクラウドサーバ１２５を備える。代替実施形態では、異なるまたは追加的な装置、例えば、追加的なスマートペン１１０、書き込み面１０５、およびコンピュータ装置１１５などがあってよい（または、１つまたは複数の装置が無くてもよい）。

スマートペン１１０は、書き込み面１０５との対話（例えば、書き込みジェスチャおよび／またはコントロール入力）をデジタル処理でキャプチャし、同時に音声源１０２から音声をキャプチャする電子機器である。スマートペン１１０は、直接またはネットワーク１２０を介して、コンピュータ装置１１５と通信可能に連結される。キャプチャされた書き込みジェスチャ、コントロール入力、および／または音声は、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションでの使用のために、スマートペン１１０からコンピュータ装置１１５に（例えば、リアルタイムで、またはその後に）転送されてよい。さらに、デジタルデータおよび／またはコントロール入力は、スマートペン１１０上で実行されるアプリケーションでの使用のために、コンピュータ装置１１５からスマートペン１１０に（リアルタイム、またはオフライン処理で）通信されてよい。クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５による利用が可能な、リモート記憶装置および／またはアプリケーションサービスを提供する。従って、コンピュータ環境１００は、紙およびデジタルの両領域におけるユーザ対話を結びつける多様なアプリケーションを可能にする。

一実施形態において、スマートペン１１０は、ペン（例えば、インクベースのボールペン、インク不使用のスタイラス装置、ディスプレイ上に「デジタルインク」を残留させるスタイラス装置、フェルトペン、鉛筆、または他の書き込み装置）を、埋め込まれたコンピュータ構成要素および種々の入力／出力機能と共に、備える。ユーザは、ユーザが従来のペンで行う様に、スマートペン１１０を用いて書き込み面１０５上に書き込むことができる。操作の間、スマートペン１１０は、書き込み面１０５上になされる書き込みジェスチャをデジタル処理でキャプチャし、書き込みジェスチャの電子的表現を記憶する。キャプチャされた書き込みジェスチャは、空間成分と時間成分の両方を有する。例えば、一実施形態において、スマートペン１１０は、種々のサンプル時間でのスマートペン１１０の書き込み面１０５に対する位置のサンプル（例えば、座標情報）をキャプチャし、キャプチャした位置情報を、各サンプルのタイミング情報と共に記憶する。キャプチャした書き込みジェスチャには、異なる書き込み面１０５でキャプチャしたデータ間を区別するために、特定の書き込み面１０５に関連する識別情報、例えば、特定のノートの特定のページの識別情報などが、さらに含まれてよい。一実施形態において、スマートペン１１０はまた、ユーザにより選択される、書き込みジェスチャの他の属性をキャプチャする。例えば、インクの色は、スマートペン１１０上の物理的なキーを押下すること、書き込み面上のプリントされたアイコンをタップすること、コンピュータディスプレイ上のアイコンを選択すること、などにより選択することができる。このインク情報（色、線の幅、線のスタイルなど）はまた、キャプチャしたデータ内にエンコードされてよい。

スマートペン１１０は、加えて、書き込みジェスチャをキャプチャしながら同時に、音声源１０２（例えば、環境音）から音声をキャプチャすることができる。スマートペン１１０は、キャプチャした音声データを、キャプチャした書き込みジェスチャと同期させて記憶する（すなわち、キャプチャしたジェスチャとキャプチャした音声間の相対的タイミングが保存される）。さらに、スマートペン１１０は、加えて、書き込みジェスチャおよび／または音声をキャプチャしながら同時に、デジタルコンテンツをコンピュータ装置１１５からキャプチャすることができる。デジタルコンテンツには、例えば、コンピュータ装置１１５とのユーザ対話、または、コンピュータ装置１１５上で閲覧されている時間ベースのコンテンツ（例えば、映像）に関連する同期情報（例えば、キューポイント）、が含まれてよい。スマートペン１１０は、キャプチャした書き込みジェスチャおよび／またはキャプチャした音声データと時間的に同期させた、デジタルコンテンツを記憶する（すなわち、キャプチャしたジェスチャ、音声、およびデジタルコンテンツ間の相対的タイミング情報が保存される）。

同期は、様々な異なる方法で確保されてよい。例えば、一実施形態において、ユニバーサルクロックが異なる装置間の同期に使用される。別の実施形態において、ローカルの装置間の同期が、２つまたはそれ以上の装置間で行われてよい。別の実施形態において、外部のコンテンツを、最初にキャプチャしたデータと結びつけること、また、特定のセッション中にキャプチャされたコンテンツに同期させること、ができる。

一代替実施形態において、音声および／またはデジタルコンテンツは、スマートペン１１０によってキャプチャされることに代えて、または加えて、代わりにコンピュータ装置１１５によってキャプチャされてよい。キャプチャした書き込みジェスチャ、音声データ、および／またはデジタルデータの同期は、スマートペン１１０、コンピュータ装置１１５、リモートサーバ（例えば、クラウドサーバ１２５）、または、装置の組み合わせにより行うことができる。さらに、一代替実施形態において、書き込みジェスチャのキャプチャは、スマートペン１１０の代わりに書き込み面１０５によって行うことができる。

一実施形態において、スマートペン１１０は、視覚および／または音声の情報を出力することが可能である。スマートペン１１０はさらに、異なる入力に応答して種々の出力およびスマートペン１１０の操作をコントロールする、１つまたは複数のソフトウェアアプリケーションを実行することができる。

一実施形態において、スマートペン１１０は、さらに、書き込み面１０５上のテキストまたは他の事前にプリントされたコンテンツを検出することができる。例えば、スマートペン１１０は、書き込み面１０５上の特定の単語または画像をタップすることができ、また、次に、スマートペン１１０は、コンテンツの認識に応じて他の動作を行うことができ、例えば、サウンドを再生する、または、何らかの他の機能を実行することができる。例えば、スマートペン１１０は、ページ上の単語の翻訳を、翻訳を画面上に表示すること、または、その音声記録を再生することにより、行うことができる（例えば、中国語文字を英語の単語に翻訳する）。

一実施形態において、書き込み面１０５は、用紙（または、書き込み可能な任意の他の適切な材料）を備え、スマートペン１１０によって読み込み可能なパターン（例えば、ドットパターン）を用いてエンコードされる。パターンは、書き込み面１０５に対するスマートペン１１０の相対的な位置決め（例えば、相対的または絶対的）を、スマートペン１１０が判定可能であるべく十分に一意的である。別の実施形態において、書き込み面１０５は、電子ペーパすなわちｅ−ペーパを備え、または、電子機器（例えば、タブレット）の表示画面を備えてよい。これらの実施形態において、検知は、書き込み面１０５によって、または、スマートペン１１０と連動して、全体的に行われてよい。スマートペン１１０の動きは、例えば、スマートペン装置の光学的検知を介して、スマートペン装置の動き検知を介して、書き込み面１０５の接触検知を介して、音響検知を介して、基準マーキングを介して、または他の適切な手段により、検知することができる。

ネットワーク１２０により、スマートペン１１０、コンピュータ装置１１５、およびクラウドサーバ１２５間の通信が可能とされる。ネットワーク１２０により、スマートペン１１０は、例えば、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、キャプチャしたデジタルコンテンツを転送すること、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、制御信号を通信すること、および／または、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、種々の他のデータ信号を通信することが可能となり、種々のアプリケーションを有効にされる。ネットワーク１２０には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ、セルラーネットワーク、赤外線通信、音波通信、またはカスタムプロトコルなどの無線通信プロトコルが含まれてよく、および／または、ＵＳＢまたはＥｔｈｅｒｎｅｔ（登録商標）などの有線通信プロトコルが含まれてよい。あるいはまたは加えて、スマートペン１１０およびコンピュータ装置１１５は、ネットワーク１２０を必要としない有線または無線の接続を介して直接通信することができる。

コンピュータ装置１１５には、例えば、タブレットコンピュータ装置、携帯電話、ラップトップもしくはデスクトップ型のコンピュータ、または他の電子機器（例えば、別のスマートペン１１０）が含まれてよい。コンピュータ装置１１５は、スマートペン１１０と連動して使用可能な１つまたは複数のアプリケーションを実行することができる。例えば、スマートペン１１０によってキャプチャされたコンテンツは、記憶、再生、編集、および／またはさらなる処理のために、コンピュータシステム１１５に転送されてよい。加えて、コンピュータ装置１１５上で利用可能なデータおよび制御信号は、スマートペン１１０に転送されてよい。さらに、スマートペン１１０およびコンピュータ装置１１５上で同時に実行されるアプリケーションは、スマートペン１１０とコンピュータ装置１１５との間の、様々な異なるリアルタイムの対話を有効にすることができる。例えば、スマートペン１１０と書き込み面１０５との間の対話を使用して、コンピュータ装置１１５上で実行されるアプリケーションに、入力を与えることができる（または、逆も同様である）。

スマートペン１１０とコンピュータ装置１１５との間の通信を有効にするために、スマートペン１１０およびコンピュータ装置は、お互いに「ペアリング」を確立することができる。ペアリングにより、装置は、お互いを認識し、２つの装置間のデータ転送を承認することができる。一度ペアリングされると、データおよび／または制御信号を、有線または無線手段を通じて、スマートペン１１０とコンピュータ装置１１５との間を送信させることができる。

一実施形態において、スマートペン１１０とコンピュータ装置１１５の両方は、そのそれぞれのネットワークアダプタにリンクされるＴＣＰ／ＩＰネットワークスタックを持つ。装置１１０、１１５は従って、直接（ＴＣＰ）およびブロードキャスト（ＵＤＰ）のソケットを使用する通信であって、これらのソケットを使用した通信が可能なスマートペン１１０およびコンピュータ装置１１５のそれぞれで実行されるアプリケーションとの通信、をサポートする。

クラウドサーバ１２５には、スマートペン１１０および／またはコンピュータ装置１１５にネットワーク１２０を介して連結されるリモートコンピュータシステムが含まれる。例えば、一実施形態において、クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５によってキャプチャされたデータのためのリモート記憶装置を提供する。さらに、クラウドサーバ１２５上に記憶されるデータは、種々のアプリケーションとの関係で、スマートペン１１０および／またはコンピュータ装置１１５によりアクセスまたは使用が可能である。

（スマートペンシステムの概要）
図２は、スマートペン１１０の一実施形態を示す。例示の実施形態において、スマートペン１１０は、マーカ２０５、撮像システム（imaging system）２１０、ペンダウンセンサ２１５、１つまたは複数のマイクロフォン２２０、スピーカ２２５、音声ジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、および電池２５５を備える。スマートペン１１０にはまた、電源ボタンまたは音声記録ボタン、および／または、ステータス表示ライト、などのボタンが含まれてよい。代替実施形態において、スマートペン１１０は、図２に示すものより少ないもしくは追加的な、または異なる構成要素を有することができる。

マーカ２０５は、任意のインクベースもしくはグラファイトベースのマーキング装置、または、書き込みに使用可能な任意の他の装置を含む、任意の適切なマーキング機構を備える。マーカ２０５は、感圧素子などのペンダウンセンサ２１５に連結される。ペンダウンセンサ２１５は、マーカ２０５が面に対して押される際に出力を生み出し、それにより、スマートペン１１０が使用されて面に書き込みがされている時、または、書き込み面１０５上でのコントロールまたはボタン（例えば、タッピング）と対話している時を検出する。一代替実施形態において、異なるタイプの「マーキング」センサを使用して、ペンがマークをマーキングしている時、または、書き込み面１１０と対話している時を判定することができる。例えば、ペンアップセンサを使用して、スマートペン１１０が書き込み面１０５と対話していない時を検出してもよい。あるいは、スマートペン１１０は、書き込み面１０５上のパターンが焦点にある時を（例えば、キャプチャされた画像の高速フーリエ変換に基づき）判定することができ、そして、それに従って、スマートペンが書き込み面１０５の範囲内にある時を判定することができる。別の代替実施形態において、スマートペン１１０は、ペンが書き込みしている時、または、書き込み面１０５上のコントロールと対話している時を示す振動を検出することが可能である。

撮像システム２１０は、マーカ２０５近辺の面の領域を撮像するための十分な光学装置およびセンサを備える。撮像システム２１０を使用して、スマートペン１１０でなされる手書きおよびジェスチャをキャプチャすることができる。例えば、撮像システム２１０には、マーカ２０５の近く全体の書き込み面１０５を照らす赤外光源が含まれてよく、それにおいて、書き込み面１０５にはエンコードされたパターンが含まれる。エンコードされたパターンの画像を処理することにより、スマートペン１１０は、マーカ２０５が、書き込み面１０５に関連してどこにあるのかを判定することができる。そして、撮像システム２１０の撮像アレイにより、マーカ２０５近辺の面が撮像され、その視野内にある符号化されたパターンの部分がキャプチャされる。

スマートペン１１０の他の実施形態において、書き込みジェスチャをキャプチャするための適切な代替機構が使用されてよい。例えば、一実施形態において、単語または写真もしくは他の画像の一部などの事前にプリントされたマークを使用して、ページ上の位置が判定される。検出されたマークをデジタル版の文書に相関させることにより、スマートペン１１０の位置を判定することができる。例えば、一実施形態において、プリントされた新聞に対するスマートペンの位置は、スマートペン１１０の撮像システム２１０によってキャプチャされた画像を、クラウドベースのデジタル版の新聞と比較することにより判定することができる。本実施形態において、書き込み面１０５上のエンコードされたパターンは、必ずしも必要ではなく、なぜなら、ページ上の他のコンテンツを基準点として使用することができるからである。

一実施形態において、撮像システム２１０によってキャプチャされたデータは、続いて処理され、文字認識などの１つまたは複数のコンテンツ認識アルゴリズムを、受信データに適用することができる。別の実施形態において、撮像システム２１０を使用して、既に書き込み面１０５上に存在する書き込まれたコンテンツをスキャンかつキャプチャすることができる。これは、例えば、書き込み面１０５上の手書きもしくはプリントされたテキスト、画像、またはコントロールを認識するために使用することができる。さらに、撮像システム２１０をペンダウンセンサ２１５と組み合わせて使用して、マーカ２０５が書き込み面１０５に接触している時を判定してもよい。例えば、スマートペン１１０は、ユーザが、書き込み面１０５の特定の場所にあるマーカ２０５をタップする時を検知することができる。

スマートペン１１０はさらに、音声をキャプチャするための１つまたは複数のマイクロフォン２２０を備える。一実施形態において、１つまたは複数のマイクロフォン２２０は、プロセッサ２４５、または、信号プロセッサ（不図示）により実行される信号処理ソフトウェアに連結され、これは、マーカ２０５が書き込み面上を移動する際に発生するノイズ、および／または、スマートペン１１０が書き込み面に接触するまたは書き込み面から離れる際に発生するノイズを除去するものである。上記で説明したように、キャプチャした音声データは、音声データとキャプチャしたジェスチャとの間の相対的なタイミングを保存する様式で記憶されてよい。

入力／出力（Ｉ／Ｏ）装置２４０により、スマートペン１１０とネットワーク１２０および／またはコンピュータ装置１１５との間の通信が可能となる。Ｉ／Ｏ装置２４０には、有線および／または無線の通信インターフェース、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、赤外線、または超音波のインターフェースなど、が含まれてよい。

スピーカ２２５、音声ジャック２３０、およびディスプレイ２３５は、データ提示のためにスマートペン１１０のユーザに対して出力を提供する出力装置である。音声ジャック２３０は、イヤホンに連結され、スピーカ２２５とは異なり、ユーザの周囲の人の邪魔をせずにユーザが音声出力を聴くことができるようにする。一実施形態において、音声ジャック２３０はまた、各イヤピースにスピーカとマイクロフォンの両方が含まれる両耳用のヘッドセットの場合は、マイクロフォンジャックとしても機能する。両耳用のヘッドセットを使用することにより、より現実的な音声をキャプチャすることが可能とされ、なぜなら、マイクロフォンがユーザの耳の近辺に配置されるからであり、従って、ユーザが室内で聴いているような音声がキャプチャされる。

ディスプレイ２３５は、視覚フィードバックを提供するための、有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの、任意の適切なディスプレイシステムを備えてよく、スマートペン１１０は視覚的な出力を提供することができる。使用時、スマートペン１１０は、これらの出力構成要素のいずれか使用して、音声または視覚フィードバックを通信することができ、データは複数の出力様式を使用して提供される。例えば、スピーカ２２５および音声ジャック２３０は、スマートペン１１０上で実行中のアプリケーションに従って、音声フィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を通信することができ、また、ディスプレイ２３５は、そのようなアプリケーションによる指示の通りに、語句、静的もしくは動的な画像、またはプロンプトを表示することができる。加えて、スピーカ２２５および音声ジャック２３０を使用して、マイクロフォン２２０を使用して記録してある音声データを再生することもできる。スマートペン１１０はまた、ユーザに触覚フィードバックを与えてもよい。触覚フィードバックには、例えば、単純な振動通知、または、仮想ボタンもしくは他のプリント／表示されたコントロールと対話する感覚を提供する、スマートペン１１０のさらに洗練された動き、が含まれてよい。例えば、プリントされたボタン上をタップすることにより、「クリック」音およびボタンが押下されたという感覚を生み出してもよい。

プロセッサ２４５、オンボードメモリ２５０（例えば、非一時的なコンピュータ可読記憶媒体）、および電池２５５（または、任意の他の適切な電源）は、コンピューティング機能がスマートペン１１０上の少なくとも一部において実行されることを可能にする。プロセッサ２４５は、入力装置および出力装置、ならびに、上述の他の構成要素に連結され、それにより、スマートペン１１０上で実行中のアプリケーションがそれらの構成要素を使用できるようにする。その結果、実行可能なアプリケーションは、オンボードメモリ２５０の非一時的なコンピュータ可読記憶媒体に記憶され、かつ、プロセッサ２４５により実行されて、本明細書において記載されるスマートペン１１０に起因する種々の機能を行うことが可能となる。メモリ２５０はさらに、記録された音声、手書き、およびデジタルコンテンツを、無期限に、またはスマートペン１１０からコンピュータシステム１１５またはクラウドサーバ１２５にオフロードされるまで、記憶することができる。

一実施形態において、プロセッサ２４５およびオンボードメモリ２５０には、ファイルシステムまたはアプリケーションメニューを通じてメニュー構造およびナビゲーションをサポートかつ有効にする、１つまたは複数の実行可能アプリケーションが含まれ、アプリケーションまたはアプリケーションの機能を起動することができる。例えば、メニュー項目間のナビゲーションには、ユーザによる発話されたおよび／または書き込まれたコマンドおよび／またはジェスチャ、ならびに、スマートペンコンピュータシステムからの音声および／または視覚フィードバックに関与する、ユーザとスマートペン１１０との間の対話が含まれる。一実施形態において、ペンコマンドは、「起動ライン」を使用してアクティブにすることができる。例えば、ドットペーパ上で、ユーザは水平な線を右から左に描き、次に、最初の線分上を戻り、この時、ペンはユーザにプロンプトしてコマンドを求める。そして、ユーザは、ラインの上にアクセス対象の所望のコマンドまたはメニュー（例えば、Ｗｉ−Ｆｉ設定、再生記録、など）を（例えば、ブロック文字を使用して）プリントする。統合文字認識（ＩＣＲ）を使用して、ペンは、書き込まれたジェスチャを、コマンドまたはデータの入力用のテキストに変換することができる。代替実施形態において、異なるタイプのジェスチャを認識して、起動ラインを有効にすることができる。従って、スマートペン１１０は、入力を受け取り、様々な様式からメニュー構造をナビゲートすることができる。

（書き込み、音声、およびデジタルのデータストリームの同期）
操作の間、スマートペン１１０は収集コンテンツを取得するが、該収集コンテンツには２つの主要な形式があり、すなわち、どこかで生成されてシステムの枠内で閲覧されるもの、および、ユーザが生成して入力したもの、である。両形式とも、一般に何らかの形式のインデックス付けまたは関連性を持ち、データコンテンツの要素がお互いに何らかの関係を有するものとされる。図３は、スマートペン環境１００におけるスマートペン１１０の操作中に存在する（および、選択的に記憶される）、種々のデータフィードの一例を示す。例えば、一実施形態において、書き込みデータフィード３００、音声データフィード３０５、およびデジタルコンテンツデータフィード３１５が全て、共通の時間インデックス３１５に同期している。

書き込みデータフィード３００は、例えば、特定の書き込み面１０５（例えば、ドットペーパまたはデジタル面）に対するスマートペンの位置の座標情報（例えば、「Ｘ」および「Ｙ」座標）をエンコードしたデジタルサンプルのシーケンス、および、時間的座標（例えば、スマートペン１１０が特定の空間的位置に位置決めされた時を示す時間インデックス３１５からの時間値）を表す。空間的および時間的な座標は、組み合わせられて、書き込みデータフィード３００の一部として記録されるジェスチャデータ（または、「ストローク」データ）を含むものである。加えて、一実施形態において、座標情報には、ペンの角度、ペンの回転、ペンの速度、ペンの加速度、またはスマートペン１１０の位置、角度、もしくは動きについての他の特徴が含まれてよい。書き込み面１０５は、時間と共に変化してよく、従って、書き込み面の識別情報も、キャプチャされる（例えば、面のタイプ、ページ番号、ノートＩＤ、デジタルファイル参照事項など）。例えば、ユーザは、ノートのページを変更したり、ノートを切り替えたりする。あるいは、ユーザは、スマートペン１１０のスタイラスモードに変更してよく、スタイラスモードでは、インクが付着せず、かつ、ユーザがデジタル表示面（例えば、タブレット）上に直接書き込むことができる。書き込みデータフィード３００にはまた、ユーザが書き込みしているのか、または、書き込み面１０５上にカーソルを重ねているのか、を識別する（例えば、ペンアップ／ペンダウンセンサ情報）、または、スマートペン１１０との他のタイプの対話を識別する、スマートペン１１０によってキャプチャされる他の情報が含まれてよい。

ジェスチャデータが、一度書き込みデータフィード３００内にキャプチャされると、データは、その後、書き込みデータフィード３００内の時間的または空間的な座標のどちらかに基づいて、クエリされてよい。書き込みデータフィード３００内のデータが、一度他のデータフィードと相関されると、ジェスチャデータもまた、時間的、空間的（例えば、ジェスチャの位置決め）、またはその他（例えば、ページ番号）を含む、いずれかのデータフィードのインデックスまたは座標に基づき、クエリされてよい。例えば、時間インデックス３１５内の特定の時刻位置を用いてデータをクエリすると、そのクエリされた時刻にキャプチャが開始されたジェスチャデータが返される。さらに、空間的座標をクエリすることができ（例えば、ページ上の特定の場所をタップすることにより）、書き込みデータフィード３００内のその空間位置に関連する時刻位置が返されるようにすることができる。そして、後述するように、時刻位置をインデックスとして使用して、他のデータフィードからデータを読み出すことができる。

音声データフィード３０５は、例えば、特定のサンプル時間においてキャプチャされたデジタル音声サンプルのシーケンスを表す。いくつかの実施形態において、音声データフィード３０５には、多重音声信号（例えば、ステレオ音声データ）が含まれてよい。キャプチャされた音声サンプルを記録する前に、スマートペン１１０は、音声サンプルをフィルタを介して処理して、バックグラウンドノイズ（例えば、ペンで書き込む際の擦る音、シューっという空気音、およびブンブンというバックグラウンドの音）を低下させることができる。音声データフィード３０５はまた、後の参照または再生用に、時間インデックス３１５にリンクさせることもできる。

デジタルコンテンツデータフィード３１０は、例えば、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションに関連する状態のシーケンスを示す。例えば、デジタルコンテンツデータフィード３１０には、特定のサンプル時間におけるコンピュータ装置１１５の状態をそれぞれが表すデジタルサンプルのシーケンスが含まれてよい。状態情報は、例えば、所与の時間においてコンピュータ装置１１５により表示されているデジタル文書の特定のページ表すことができる。さらに、状態情報には、閲覧しているページの一部がズームされている項目が含まれてよい。別の実施形態において、状態情報は、コンピュータ装置１１５により再生されている映像の現在の再生フレーム、所与の時間においてコンピュータ装置１１５により記憶されている入力のセット、などを表す。コンピュータ装置１１５の状態は、コンピュータ装置１１５とのユーザ対話に基づき、時間と共に変化してよい。例えば、ユーザがデジタル文書のページを変更するとき、この状態の変化がデジタルコンテンツデータフィード３１０に記録される。他のシナリオにおいて、コンピュータ装置１１５の状態は、書き込みデータフィード３００からのコマンドもしくは入力（例えば、ジェスチャコマンド）または音声データフィード３０５からのコマンドもしくは入力（例えば、音声コマンド）に応答して、変化してよい。例えば、書き込みデータフィード３００により、コンピュータ装置１１５の状態に対してリアルタイムの更新を行ってよい。あるモードでは、コンピュータ装置１１５は、キャプチャしたままの書き込みデータフィード３００をリアルタイムで表示することができる。別の例において、コンピュータ装置１１５の表示を、書き込みデータフィード３００のキャプチャしたジェスチャにより表される入力に基づき変更することができる。ユーザは、スマートペン１１０を用いてジェスチャを行い、コンピュータ装置１１５に、閲覧しているデジタル文書のページを変更させてもよい。

デジタルコンテンツデータフィード３１０内のデータに対して時間的座標を構築することにより、ノート取りセッション中に、コンピュータ装置１１５上に表示される参照事項を複製する「閲覧セッション」を確立することもできる。デジタル文書を開くと、「閲覧セッション」が再現されるように、デジタルコンテンツデータフィード３１０内のデータを、デジタル文書に直接関連付けることもできる。デジタルコンテンツが、一度デジタルコンテンツデータフィード３１０内にキャプチャされると、データは、その後、時間インデックスまたはデジタルコンテンツのどちらかに基づいて、クエリされてよい。例えば、時間インデックス３１５内の特定の時刻位置を用いてデータをクエリすると、そのクエリされた時刻に記録された（例えば、閲覧されているデジタル文書の特定のページ）デジタルコンテンツが返される。さらに、デジタルコンテンツの特定の部分を用いて（例えば、デジタル文書の特定のページに移ることにより）データをクエリすることができ、デジタルコンテンツデータフィード３１０内のデジタル文書の一部分に関連する時刻位置が返されるようにすることができる。そして、時刻位置をインデックスとして使用して、他のデータフィード（例えば、書き込みデータフィード３００および／または音声データフィード３０５）からデータを読み出すことができる。

図３に示す具体例は、例えば、教室の設定におけるスマートペンコンピュータシステムの使用を表す。ユーザが０：００：００にて記録セッションを開始すると３２０、３つのデータフィード３００、３０５、３１０がデータの記録を開始する。これら３つのフィードは全て、時間インデックス３１５に対して相関される。ユーザは、ノードパッド３５０の７ページにメモ（notes）の書き込みを開始し、一方、同時に、コンピュータ装置１１５上のデジタルテキストブック３５５のページ５５を閲覧している。時刻００：２０：００にて、ユーザは、デジタルテキストブック３５５の５６ページに移り３４５、また、ノードパッド３５０の８ページに移る。００：３６：００辺りで、ユーザは、ノードパッド３５０のｐ．７に戻り、スマートペン１１０が、時間インデックス３１５と相関するページ上の追加のメモをキャプチャする。００：４７：００前後に、ユーザは、デジタルテキストブック３５５の４２ページに移り、一方、ノードパッド３５０のｐ．７上のメモを取り続けている。００：５１：００前後に、ユーザは、ノードパッド３５０のｐ．８に戻り、追加のメモを取る。そして、ユーザは、記録を終了する３２５。このセッションに続いて、ユーザは次に、書き込みデータ、音声、デジタル文書３５５の一部、の相関する部分を、クエリして読み出すことができる。

一代替操作モードにおいて、ユーザは、デジタルテキストブック３５５のページ上の「仮想メモ」を取るという選択ができる。本モードにおいて、ユーザは、書き込み面１０５（例えば、ノードパッド３５０）に書き込みを行い、書き込みデータフィード３００が、コンピュータ装置１１５にリアルタイムで転送される。そして、書き込みジェスチャは、ユーザがデジタルテキストブック３５５上に書き込みをしているかのように、デジタルテキストブック３５５のページ上にリアルタイムでスーパーインポーズされる。このジェスチャデータは、デジタルテキストブック３５５のページに直接リンクさせて、後でテキストブックが閲覧される際に利用可能であるようにすることもできる。

図３は一代表例を提供するが、他の実施形態では、例示したものより少ないまたは追加的な、データフィード（他のタイプのデータフィードが含まれる）、他のタイプの参照事項、または、他の時間期間が含まれてよい。

時間インデックス３１５は、ジェスチャデータ、音声データ、および／または、デジタルコンテンツの間の関連をキャプチャするための一基準点を提供するが、他の非時間的な関連を確立することもできる。例えば、ユーザは、特定の組の書き込まれたジェスチャデータまたは音声クリップの特定の部分を、デジタル文書の選択されたページに関連付けるという選択を手動で行うことができ、最初にキャプチャされた際の同一の時間インデックスにそれらが同期していなくても、可能である。これらの関係は、後の使用のために、記憶させておくこともできる。関係が一度確立されてしまうと、種々のデータフィード３００、３０５、３１０からのデータは、後のアクセスの便宜上、種々の形式で記憶させることができる。例えば、一実施形態において、書き込みデータフィード３００、音声データフィード３０５、およびデジタルコンテンツデータフィード３１０のそれぞれからのデータを、フォーマットして、デジタル文書に関連する（または、デジタル文書に直接埋め込まれた）メタデータファイル内に記憶させることができる。一例として図３を使用すると、書き込みデータフィード３００に記録されるジェスチャデータ、デジタルテキストブック３５５（デジタルコンテンツデータフィード３１０で表される）の個々のページ閲覧のタイミング、および音声データフィード３０５を記憶する音声ファイルへの参照事項、は全て、デジタルテキストブック３５５に関連するメタデータファイル内に記憶させることができる。さらに、一実施形態において、個々のフィードからの未修正のコンテンツも、種々のアプリケーションによる使用のために、別に記憶させておくことができる。

（スマートペンベースのシステムにおけるコンテンツの取得および再閲覧）
図４および５は、データを後で再閲覧できるように、スマートペン１１０およびコンピュータ装置１１５により、書き込み、音声、およびデジタルコンテンツをキャプチャして加工するための処理の、可能な実施形態を示す。不定期にデータが送信され４１５／５１５（通常、ネットワーク１２０を介する）、スマートペン１１０とコンピュータ装置１１５との両方により収集されたデータが、さらなるデータ加工のために１つの装置において集約される。図４は、データが、スマートペン１１０において集約されて相関された後に、スマートペン１１０とコンピュータ装置１１５との両方でセーブされる、処理の一例を示す。この処理の一代替実施形態が図５に示され、ここにおいては、データは、コンピュータ装置１１５において集約されて相関された後に、コンピュータ装置１１５とスマートペン１１０との両方にセーブされる。データを収集して加工することの意図は、コンテンツの複数のストリームまたは収集物の、つながりと相関を可能にして、他のリンクされたコンテンツを使用することに基づき、異なるコンテンツ収集物の発見および読み出しが可能となるようにすることである。例えば、個々のジェスチャは、ジェスチャが書き込まれた時間とその時に見えていたページと、に基づき特定のページにリンクされる。この関係が一度確立されると、ページに付随するジェスチャは、リンクされたページが閲覧される際に、簡単に読み出すことができる。さらに、ノードパッドに記録されたジェスチャ上をタップすることで、書き込みの時に閲覧されていたデジタルコンテンツ内のページを、表示することもできる。デジタルコンテンツページの任意の他の属性もトリガされてよい（例えば、ページの特定の部分にズームインすること、複数の異なるデジタルコンテンツを開くこと、閲覧している領域内に、何らかの方法でコンテンツのウィンドウを編成すること、などにより）。

まず、図４の例を参照すると、スマートペン１１０は、ユーザの操作から、書き込みデータストリーム３００および音声データストリーム３０５をキャプチャする。当該ペンの任意の他の動きに沿ったユーザの手書きは、上述の様式で、書き込みデータストリーム３００内にジェスチャとして記録される。さらに、マイクロフォン２２０が、ユーザの周囲から音声をキャプチャし、それを音声データストリーム３０５に加工する。加えて、接続されたコンピュータ装置１１５上に表示される外部のデジタルコンテンツへの参照事項も、キャプチャして、これらのデータストリームに組み込むことができる。同時に、スマートペン１１０に（無線または有線のどちらかで）接続されたコンピュータ装置１１５が、コンピュータ装置１１５の状態変化（例えば、デジタル文書のページが変更されること）をキャプチャし４０５、該変化はデジタルコンテンツデータストリーム３１０に記録される。

一実施形態において、コンピュータ装置は、これらの状態を時間インデックス３１５に相関させた後、キャプチャした状態変化およびタイミング情報をスマートペン１１０に送信する４１５。あるいは、コンピュータ装置１１５は、状態変化を示すデータを、スマートペン１１０にリアルタイムで送信４１５してもよく、その後、スマートペン１１０が、受信したデータのタイミングを時間インデックス３１５に相関させる。

次に、スマートペン１１０では、データ加工を簡単にするために、種々のデータストリーム３００、３０５、３１０のうちの１つまたは複数を集約する４２０ことができる。これには、対応する時間インデックス３１５を一致させて、関連するデータストリーム間の関係を形成することが含まれてよい。異なるデータストリームからのデータを、最初にキャプチャされた際には時間の相関が無い場合でも、他のデータストリームにリンク４２５または記録させることができる。例えば、ジェスチャを、ユーザからの指示に基づき、デジタル文書の一部に手動でリンクさせることができる。別の例において、特定の間隔離れた時間からの音声データを、書き込み面１０５の対応する選択区域にリンクさせることができ、または、デジタル文書の選択部分にリンクさせることができる。そして、データは、スマートペン１１０上で組み合わせられかつセーブされる４３０。データは、さらに、コンピュータ装置１１５に送信されて４３２、そこでセーブされてよい４３４（例えば、デジタル文書にリンクされるメタデータファイルとして）。

ユーザから再生および再閲覧の要求があると、コンピュータ装置１１５は、セーブされたデータを読み出し４３５、要素データフィード３００、３０５、３１０のうちの１つまたは複数が、同期して再現されるようにすることができる。例えば、書き込みデータフィード３００および音声データフィード３０５は、例えば、キャプチャした書き込みジェスチャの「動画」としてコンピュータ装置１１５のディスプレイ上に、音声データフィード３０５と共に再現させることができる。さらに、デジタルコンテンツデータフィード３１０は、以前記録した状態のシーケンス間をキャプチャしたタイミングに従って、コンピュータ装置１１５を遷移させる「動画」として、再現させることができる。このように、ユーザは、記録中の音声、キャプチャされてあったジェスチャ、および、特定の期間に渡って閲覧されたページ、を発見して再閲覧することができる。

別の実施形態においては、ユーザは、様々な異なる方法で、記録データと対話することが可能である。例えば、一実施形態において、ユーザは、以前キャプチャした書き込みに対応する書き込み面１０５上の特定の場所と対話する（例えば、タップする）ことができ、または、ユーザは、コンピュータ装置１１５上のキャプチャしたジェスチャの描画と対話することができる。次に、空間的座標を推定することができる。そして、その特定の場所での書き込みが発生した時に対応する時刻位置を、判定することができる。次に、時刻位置に対応する音声を再現することができ、コンピュータ装置１１５は、判定された時刻位置に関連するデジタル文書の部分を表示するべく更新されてよい。閲覧されたコンピュータ装置１１５上で開かれていたデジタルコンテンツも、閲覧用に読み出すことができる。デジタルコンテンツの追加的な属性、例えば、閲覧中の画面上で、ページのどの部分がズームされていたのか、コンテンツのウィンドウがどのように配置されていたのか、および、他のどのデジタルコンテンツが同時に開かれていたのかについても、再閲覧中に読み出してコンピュータ装置１１５上に反映させることができる。

一実施形態において、複数のデジタル文書を、１組のジェスチャデータと関連付けることができる。そして、ユーザが、書き込まれたテキストを選択（例えば、タップ）すると、複数の文書がコンピュータ装置１１５上で更新されて、ジェスチャがキャプチャされた時のそれら文書の状態を示す。例えば、ユーザが、コンピュータ装置１１５上で３つのデジタル文書を開く。第１の文書は、２ページの図がズームされる。第２の文書は、特別に興味のある引用句がズームされる。第３の文書では、重要な参照事項のリストを表示する。各ウィンドウは、所望の通りに配置することができ（重なり合わせる、または、並べる）、次に、レベルが書き込み面１０５上に書き込まれ（例えば、「提示ディスプレイ」）、ラベルは現在の提示状態のデジタル文書にリンクされる。その後、ラベルが選択されると（例えば、スマートペン１１０で「提示ディスプレイ」上の書き込まれた語句をタップすることにより）、デジタル文書の関連するページが読み出されて、配置されてあった通りに表示される。本実施形態は、例えば、提示を編成すること、または、ユーザが後日再考したい「山積みの作業」を保存することには有益である。

あるいは、記録された音声を再生しながら、コンピュータ装置１１５上のスライダナビゲーションツールを使用することにより、時刻位置を識別することができる。そして、ジェスチャおよびデジタルコンテンツ（例えば、デジタル文書のページ）を、時刻位置に対応して表示させることができる。

別の例において、コンピュータ装置１１５を、デジタルコンテンツデータフィード２１０内の特定の時刻位置に一意的な状態に、置くことができる（例えば、特定の時刻に対してインデックス付けされるページをフリップすることにより）。音声データフィード３０５、デジタルコンテンツデータフィード３１０、およびまたは書き込みデータフィードは、識別された時刻位置から開始して再現させることができる。デジタルコンテンツデータフィード３１０内のデジタル文書のページも、書籍またはページの積み重なりと同様にパラパラとめくる（フリップする）ことができる。ユーザは、ページに関連する任意の書きこまれたジェスチャまたは記録された音声を、読み出されるページに対して、そのページが見える状態で関連付けることができる。ジェスチャは、ページ上に重なり合わせてもよいし、ページの可視的なシーケンスで空間的にインターリーブさせてもよい。加えて、ユーザは、データフィード３００、３０５、３１０のうちの１つまたは複数について、識別された時刻位置において追加または修正を行うことができる。

一代替実施形態において、スマートペン１１０によって実行されているような、図４に示されるステップのうちの１つまたは複数は、代わりに、コンピュータ装置１１５（または、クラウドサーバ１２５）により実行されてもよく、その逆も可能である。例えば、図５に示される処理では、スマートペン１１０が、上述のように、書き込まれた（および、選択的に音声の）データストリームをキャプチャし４００、コンピュータ装置１１５が、デジタルコンテンツストリームをキャプチャする４０５。スマートペン１１０からのデータは、コンピュータ装置１１５に送信され５１５、そこで、集約されて５２０、他のデータストリーム３００、３０５にリンクされる５２５。得られる結合データは、コンピュータ装置１１５内にセーブされ４３５、スマートペン１１０に送信５３２されてセーブ４３０されてよい。そして、データは、上述の様式と同じ様式で、読み出され４３５、再閲覧４４０されてよい。

他の代替実施形態において、上述の図４または５の処理ステップのうちの１つまたは複数が、スマートペン１１０またはコンピュータ装置１１５によって実行されることに代えて（または、加えて）、クラウドサーバ１２５によって実行されてよい。

（追加の実施形態）
実施形態についての上記の説明は、例示の目的で提示されたものであり、包括的であることも、開示される正確な形式に本発明を限定することも意図されない。当該技術を有する者は、上記の開示に照らして、多くの修正および変更が可能であることを理解することができる。

本説明のある部分では、情報に対する操作のアルゴリズムおよび象徴的な表現の観点から、実施形態を説明する。これらのアルゴリズム的な説明および表現は、データ処理技術を有する者により共通に使用されて、彼らの作業の内容が他の技術を有する者に効果的に伝達される。これらの操作は、機能的、コンピュータ的、または論理的に説明されるが、コンピュータプログラムもしくは等価の電気回路、またはマイクロコード、などにより実装されることが理解される。さらに、操作についてのこれらの構成を、普遍性を失うことなくモジュールとして、言及することは、時には好都合であることも証明された。説明した操作および関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせにおいて具現化されてよい。

本明細書に記載されるステップ、操作、または処理のいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他の装置との組み合わせで、実行または実装することができる。一実施形態において、ソフトウェアモジュールは、記載されるステップ、操作、または処理のいずれかまたは全てを実行するための、コンピュータプロセッサにより実行可能であるコンピュータプログラム命令を含有する、非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。

実施形態はまた、本明細書に記載される操作を実行するための装置にも関係してよい。この装置は、必要とされる目的のために特別に構築されてよく、および／または、コンピュータ内に記憶されるコンピュータプログラムにより選択的に起動または再構成される汎用コンピュータ装置を備えてよい。かかるコンピュータプログラムは、電子的な命令を記憶するのに適した、かつ、コンピュータシステムバスに連結される任意のタイプの有形の媒体を含む、有形のコンピュータ可読記憶媒体に記憶されてよい。さらに、明細書において言及される任意のコンピュータシステムは、単一のプロセッサを含んでよく、または、増大する計算能力のためのマルチプロセッサ設計を採用するアーキテクチャであってよい。

最後に、明細書内で使用される言語は、主に読みやすさおよび教示の目的で選択されたものであり、発明の主題の輪郭を描くことまたは境界線を描くことのために選択されてはいないものとする。従って、本発明の範囲は、本詳細な説明によって制限されるのではなく、むしろ、本明細書に基づく応用に由来する任意の請求項により制限されることが意図される。従って、本発明の実施形態の開示では、以下の請求項において記載される本発明の範囲を、非制限的に、例証することが意図される。

Claims (21)

1. プロセッサにより、書き込み面と対話するスマートペン装置のジェスチャキャプチャシステムによりキャプチャされた、ジェスチャデータを表す第１のデータストリームを受信するステップと、
   前記プロセッサにより、コンピュータ装置上で実行される１つまたは複数のアプリケーションに関連する、状態のシーケンスを表す第２のデータストリームを受信するステップであって、各状態は、前記ジェスチャキャプチャシステムが前記ジェスチャデータをキャプチャする間にコンピュータ装置により表示されるコンテンツを識別する、ステップと、
   前記プロセッサにより、前記第１および第２のデータストリームを、同期した時間インデックスにインデックス付けするステップと、
   前記インデックス付けされた第１および第２のデータストリームをメモリに記憶するステップと
   を含むことを特徴とするコンピュータに実装される方法。
2. 前記プロセッサにより、音声キャプチャシステムによりキャプチャされた、音声データを表す第３のデータストリームを受信するステップと、
   前記プロセッサにより、前記第３のデータストリームを、同期した時間インデックスにインデックス付けするステップと
   前記インデックス付けされた第３のデータストリームをメモリに記憶するステップと
   さらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
3. 前記状態のシーケンス内の１つの状態が、前記コンピュータ装置により所与の時間に表示される、デジタル文書の特定のページを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
4. 前記状態のシーケンス内の１つの状態が、前記コンピュータ装置により所与の時間に表示される、デジタル文書のページの一部がズームされている項目を含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
5. 前記状態のシーケンス内の１つの状態が、前記コンピュータ装置により所与の時間に記憶される、１つまたは複数のユーザ入力を含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
6. 前記状態のシーケンス内の１つの状態が、前記コンピュータ装置により所与の時間に再生される、映像の再生フレームを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
7. 前記状態のシーケンスが、１つまたは複数の状態変化を含み、前記状態変化は、同期した時間インデックスに対して時間的に相関されることを特徴とする請求項１に記載のコンピュータに実装される方法。
8. 前記インデックス付けするステップが、前記第１および第２のデータストリームを、前記データストリームが生成された時間に基づき、時間的に同期させるステップを含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
9. ユーザから再生の要求があると、前記インデックス付けされて記憶されたデータストリームの少なくとも１つを読み出すステップと、
   前記読み出されたデータストリームの一部を再現するステップであって、前記再現するステップが、前記ジェスチャデータ、または前記同期した時間インデックスと相関関係にある前記状態のシーケンスを表示するステップと
   をさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
10. 前記再現するステップが、
    前記スマートペンと前記書き込み面との間の対話に基づき、以前キャプチャしたジェスチャの一部を識別するステップと、
    前記以前キャプチャしたジェスチャの識別された一部を、前記時間インデックス内の特定の時点に相関させるステップと、
    前記以前キャプチャしたジェスチャの識別された一部を、前記特定の時点から開始して再現するステップと
    をさらに含むことを特徴とする請求項９に記載のコンピュータに実装される方法。
11. 前記再現するステップが、
    前記コンピュータ装置により表示されるコンテンツに基づき、以前キャプチャした状態の一部を識別するステップと、
    前記以前キャプチャした状態の識別された一部を、前記時間インデックス内の特定の時点に相関させるステップと、
    前記以前キャプチャした状態の識別された一部を、前記特定の時点から開始して再現するステップと
    をさらに含むことを特徴とする請求項９に記載のコンピュータに実装される方法。
12. 前記第１のデータストリームの一部を識別するステップと、
    前記第１のデータストリームの一部をデジタル文書の一部に関連付けるという要求を受け取るステップと、
    前記第１のデータストリームの一部と前記デジタル文書の一部との間の関連を記憶するステップと
    をさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
13. 音声キャプチャシステムによりキャプチャされた、音声データを表す第３のデータストリームに一部を識別するステップと、
    前記第３のデータストリームの一部を、前記書き込み面の選択区域の一部に関連付けるという要求を受け取るステップと、
    前記第３のデータストリームの一部と前記書き込み面の選択区域との間の関連を記憶するステップと
    をさらに含むことを特徴とする請求項１２に記載のコンピュータに実装される方法。
14. コンピュータプログラムコードを記憶しかつスマートペン装置内に統合される、非一時的コンピュータ可読記憶媒体を備える、スマートペンコンピュータシステムであって、前記コンピュータプログラムコードは、プロセッサにより実行されるべく構成され、前記コンピュータプログラムコードは、
    前記プロセッサにより、書き込み面と対話する前記スマートペン装置のジェスチャキャプチャシステムによりキャプチャされた、ジェスチャデータを表す第１のデータストリームを受信するステップと、
    前記プロセッサにより、コンピュータ装置上で実行される１つまたは複数のアプリケーションに関連する、状態のシーケンスを表す第２のデータストリームを受信するステップであって、各状態は、前記ジェスチャキャプチャシステムが前記ジェスチャデータをキャプチャする間にコンピュータ装置により表示されるコンテンツを識別する、ステップと、
    前記プロセッサにより、前記第１および第２のデータストリームを、同期した時間インデックスにインデックス付けするステップと、
    前記インデックス付けされた第１および第２のデータストリームをメモリに記憶するステップと
    のための命令を含む、コンピュータプログラムコードである
    をことを特徴とするスマートペンコンピュータシステム。
15. 前記プロセッサが内部に統合されるスマートペンと、
    前記プロセッサに連結され、書き込みデータをキャプチャするためのものである、前記スマートペン内に統合されるジェスチャキャプチャシステムと
    をさらに含むことを特徴とする請求項１４に記載のスマートペンコンピュータシステム。
16. 前記コンピュータプログラムコードが、
    前記プロセッサにより、音声キャプチャシステムによりキャプチャされた、音声データを表す第３のデータストリームを受信するステップと、
    前記プロセッサにより、前記第３のデータストリームを、同期した時間インデックスにインデックス付けするステップと
    前記インデックス付けされた第３のデータストリームをメモリに記憶するステップと
    のための命令をさらに含むことを特徴とする請求項１４に記載のスマートペンコンピュータシステム。
17. 前記状態のシーケンス内の１つの状態が、前記コンピュータ装置により所与の時間に表示される、デジタル文書のページの一部がズームされている項目を含むことを特徴とする請求項１４に記載のスマートペンコンピュータシステム。
18. 前記状態のシーケンス内の１つの状態が、前記コンピュータ装置により所与の時間に記憶される、１つまたは複数のユーザ入力を含むことを特徴とする請求項１４に記載のスマートペンコンピュータシステム。
19. 前記インデックス付けするステップが、前記第１および第２のデータストリームを、前記データストリームが生成された時間に基づき、時間的に同期させるステップを含むことを特徴とする請求項１４に記載のスマートペンコンピュータシステム。
20. 前記コンピュータプログラムコードが、
    ユーザから再生の要求があると、前記インデックス付けされて記憶されたデータストリームの少なくとも１つを読み出すステップと、
    前記読み出されたデータストリームの一部を再現するステップであって、前記再現するステップが、前記ジェスチャデータ、または前記同期した時間インデックスと相関関係にある前記状態のシーケンスを表示するステップと
    のための命令をさらに含むことを特徴とする請求項１４に記載のスマートペンコンピュータシステム。
21. 前記コンピュータプログラムコードが、
    前記第１のデータストリームの一部を識別するステップと、
    前記第１のデータストリームの一部をデジタル文書の一部に関連付けるという要求を受け取るステップと、
    前記第１のデータストリームの一部と前記デジタル文書の一部との間の関連を記憶するステップと
    のための命令をさらに含むことを特徴とする請求項１４に記載のスマートペンコンピュータシステム。