JP2005065262A - イベントマーカーの伝送方法 - Google Patents

Abstract

【課題】 記録された情報の提示を容易とし、記録された情報中の書き留められたイベントを識別し、書き留められたイベントに対応する時間における記録された情報へアクセスしうるよう、情報ストリームを処理する方法を提供することを目的とする。
【解決手段】 情報ストリーム（メディアストリーム）は、情報ストリーム中での関心となるイベントの発生時点を記録するためにイベントマーカーで「ブックマーク」されうる。イベントの繰り返しの発生は、同じイベントマーカーで記録されうる。関心となるイベントは事前に決定される必要はない。実際に、予期しないイベントが容易に記録されうる。
【選択図】 図１

Description

［関連出願に対する相互参照］
本願は、以下の共有の同時継続中の米国特許出願に関連する。これらは全ての目的のために本願に参照として組み入れられる。

・代理人事件整理番号第０１５３５８−００９２００ＵＳ、名称「Associating Pre-generated Indicia with Temporal Events」、同時出願
・米国特許出願第１０／１７５，５４０号明細書、名称「Device For Generating A Multimedia Paper Document」、２００２年６月１８日出願
・米国特許出願第１０／００１，８９５号明細書、名称「Paper-Based Interface For Multimedia Information」、２００１年１１月１９日出願
・米国特許出願第１０／００１，８９４号明細書、名称「Techniques for Retrieving Multimedia Information Using A Paper-Based Interface」、２００１年１１月１９日出願
・米国特許出願第１０／００１，８９３号明細書、名称「Techniques for Generating A Coversheet For A Paper-Based Interface for Multimedia Information」、２００１年１１月１９日出願
・米国特許出願第１０／００１，８９１号明細書、名称「Paper-Based Interface for Multimedia Information Stored by Multiple Multimedia Documents」、２００１年１１月１９日出願
・米国特許出願第１０／００１，８４９号明細書、名称「Techniques for Annotating Multimedia Information」、２００１年１１月１９日出願
［技術分野］
本発明は、概して情報ストリームの処理に関連し、特に情報ストリームの部分の提示に関する。

メディアストリームにインデックス付けを行い、インデックス付けに基づき後にメディアストリームへアクセスすることが可能であることがしばしば望まれる。マーケティングリサーチを行う場面での具体的な例について考える。

マーケットリサーチに関与する社会学者は、しばしば、行動の理解のためにフォーカスグループを観察する。社会学者は、セッションのビデオ記録物を補うものとして手書きで書き留める。慣習上、モデレータ（司会）がフォーカスグループの行動を調べる。モデレータは、ビデオをレビューするとき、自分たちの観察及びノートをビデオ記録物と関連付けることができるよう、自分たちの時計をビデオ時間に合わせる。

１つのシナリオでは、マーケティング・リサーチャは、フォーカスグループのメンバが試作品パッケージの包装の開け方について観察することがある。セッション中、フォーカスグループのモデレータは、包装を開けているときの参加者の行動のビデオを記録し、重要なイベントについての書き留め、後のレビューのためにこれらに付箋をつけておく。例えば、モデレータは、「ハサミを使用」、「フォイルを外す」等といった特定のイベントを見ることを予想しうる。フォーカスグループのメンバがパッケージを開けるのに「ハサミを使用」するたびに、一人又はそれ以上のモデレータは、その活動の時間を自分のノートに記録する。フォーカスグループのメンバが「フォイルを外す」場合、その活動の発生の時間がノートに書き留められる。

ビデオ記録物及びモデレータが書き留めたことについてのレビューは、情報を照合し整理するのにかなりの努力を必要とする。この努力は、様々な書き留められたイベントを関連付ける必要もあるときは、特に飽き飽きするようなものである。これは、大勢のモデレータのノートの中に記録されたイベントの時間に対応するビデオの断片を得るために、１つ又はそれ以上のビデオ記録を潜在的に何時間にも亘って探すことを必要とするかもしれない。

従って、記録された情報の提示（presentation）を容易とする必要性が生ずる。記録された情報中の書き留められたイベントを識別する可能性、及び、書き留められたイベントに対応する時間における記録された情報へのアクセスの可能性が必要とされる。

本発明の様々な面によれば、情報ストリーム（メディアストリーム）は、情報ストリーム中の関心点を示すためにイベントマーカーでタイムスタンプが付されうる。情報ストリーム中の関心イベントが繰り返し発生されるときは、同じマーカーでタイムスタンプが付されうる。タイムスタンプが付された情報（メディア）ストリームは、情報ストリームの後のレビューを容易とするよう同じタイムスタンプを有する情報ストリームのセグメントが一緒にグループ化されうる。

本発明について、以下の説明とともに添付の図面によって理解されるであろう。図１は、本発明の様々な面を示すイベントマーク付けシステムのハイレベル・ブロック図である。情報記録装置１０２は、「何か」の記録物を生成する。「何か」は、オーディオ・ビジュアル記録物であってもよく、例えば人々が互いに交流を図っている活動の記録物であってもよい。記録物は、一連の画像であってもよい。センサの出力を記録してもよく、例えば、加工工場内の力変換器は、記録されうる一連のセンサの表示度数を生じさせるよう、圧力を監視し、力を荷重するため等に使用されうる。従って、情報ストリームは、オーディオ、ビデオ、生データ（センサデータ）、又は任意の他の時間に基づくメディア等の任意の形のデータでありうる。

上述のことから暗にわかるように、情報記録装置１０２は情報（メディア）ストリームを生成する。オーディオ・ビジュアル記録物等の場合、情報ストリームは連続的なストリームとなる。或いは、情報ストリームは、一連の画像を生成するディジタルカメラの場合のように、不連続な情報を含んでもよい。センサの例では、情報ストリームはセンサの瞬間的な表示度数の連続的な記録物であるか、又は情報ストリームは不連続な時間間隔で得られた表示度数を表わす不連続なデータであってもよい。

以下の説明では、「情報」という用語は、ディジタル情報であるとアナログ情報であるとにかかわらず、処理されている情報の記録されたストリームを指すために使用される。共通の情報ストリームは、オーディオ・ビジュアル情報を有するメディア（マルチメディア）ストリームである。しかしながら、本発明は、オーディオ又はビジュアルデータ以外の情報のストリームにも等しく適用可能である。上述のように、センサデータは、監視目的のために、ある期間に亘って記録されうる。このようなデータは、通常はマルチメディアストリームに関連付けられていないが、本発明に従ってタイムスタンプが付され処理されうるデータストリームとして処理されうる。

イベントマーク付け装置１０４は、イベントの発生を示すためにユーザによって使用されうる。ユーザは、注目すべきイベントを観察すると、イベントマーク付け装置をトリガするための所定の方法を行う（「イベントのマーク付け」）。これに応じて、イベントマーク付け装置は、トリガ動作の発生を適当なタイミング情報とともにマーク付けし、どのイベントが発生し、いつイベントが発生したかを示すタイムスタンプ付けされたマーカーを生成する。多数の記録装置がある場合、タイムスタンプマーカーには、イベントマーク付け装置が関連付けられる特定の記録装置を示す情報が含まれてもよい。以下詳述するように、このようなトリガ動作の１つは、バーコードのスキャンである。他のトリガ動作は、ユーザが言葉を話すこと、視覚ディスプレイ上でコンピュータグラフィックを選択していること、又は、他の方法で何らかの検出可能なジェスチャを行っていることを含みうる。本発明の１つの面によれば、注目すべきイベントの繰り返しの発生は同じトリガ動作によってマーク付けされる。例えば、人が部屋に入るたびに、そのイベントは同じバーコードをスキャンすることによって、又は同じ言葉を話すことによって等によりマーク付けされうる。

トリガ動作は、特定のトリガ動作の表現（例えばバーコードは数で表わされる）を記録すること、また、トリガイベントの発生の時間インデックス又は何らかの他の適当なタイミング情報を記録することによって記されうる。タイミング情報１１６は、情報記録装置１０２とイベントマーク付け装置１０４とに共通なタイミング源でありうる。或いは、タイミング情報は、情報記録装置によって及びイベントマーク付け装置によって、互いに独立に導出されえ、例えば各装置はそれ自身のクロックを有しうる。イベントマーク付け装置１０４は、装置内に設けられた記録装置中にタイムスタンプ付けされたマーカー（タイムスタンプ）を記録するよう構成されえ、従って、記録中の情報記録装置との相互作用を必要としない。或いは、イベントマーク付け装置は、イベントマーク付け装置が適当な記録装置を具備していない場合は、通信リンク１１４を通じて、情報記録装置へ又は遠隔記録構成要素（図示せず）へタイムスタンプを通信するよう構成されうる。

プレゼンテーション（presentation）エンジン１０６は、情報記録装置１０２から情報ストリーム１１２ａを、イベントマーク付け装置１０４（又は記録構成要素）から一組のタイムスタンプ１１２ｂを受信する。プレゼンテーションエンジンは、各トリガイベントを情報ストリームの一部と関連付けるために情報ストリームをタイムスタンプと同期させる。プレゼンテーションエンジンは、情報ストリームの１つ又はそれ以上の部分の適当なプレゼンテーション１３２を、タイムスタンプによって特定されるように発生する。あるいは、イベントマーカー１０４は、記憶構成要素１０８の中、例えばタイムスタンプファイル等の中に、タイムスタンプ情報を記憶しうる。するとプレゼンテーションエンジンは、タイムスタンプファイルからタイムスタンプ情報へアクセスしうる。

プレゼンテーション１３２は、印刷可能な媒体上に形成されうる。或いは、プレゼンテーションは、コンピュータ端末上又はハンドヘルド装置上といった視覚ディスプレイ装置上でなされうる。プレゼンテーションは仮想的であってもよく、例えば、プレゼンテーションを投影するためにヘッドアップ表示装置等のバーチャル・リアリティー装置が使用されうる。

図１Ａは、１つ又はそれ以上の情報記録装置１０２’が提供されうる本発明の他の面を示す図である。この形態では、情報ストリーム１１２ａ’は、各情報記録装置からの情報ストリームを表わす１つ又はそれ以上の別個のストリームを有することとなる。或いは、幾つかの情報記録装置は、単一のストリームを生成するようそれらの出力を結合するよう構成されてもよい。

図１Ａはまた、１又はそれ以上のユーザが１つ又はそれ以上のイベントマーク付け装置１０４’を用いて、イベントが記録されることをトリガしうる本発明の更なる面を示す。流れ１１２ｂ’は、１つ又はそれ以上のイベントマーク付け装置からのタイムスタンプ付けされたマーカーの１つ又はそれ以上のストリームを表わす。以下詳述するように、タイムスタンプ付けされたマーカーは、タイムスタンプ付けされたマーカーを生成する特定のイベントマーク付け装置１０４’を識別するための更なる情報を含んでもよい。

図２は、特定の実施についての例を示す、イベントマーク付けシステムの例示的な実施例を示す。記録装置２０２は、ディジタル複合機（ＭＦＰ：multi-function peripheral）２０６へ連続的な情報ストリーム２１２ａを与えるディジタル記録装置でありうる。或いは、記録装置は、ＭＦＰへ画像の不連続な情報ストリームを供給するディジタルカメラでありうる。

図２に示す特定の実施では、イベントは、一組のタイムスタンプ付けされたマーカーを生成するようバーコード２０４ｂをスキャン入力するバーコードリーダ２０４ａを用いてマーク付けされうる。まず、ユーザには、一意（ユニーク）でありいかなるイベント又はコンテキストとも事前には関連付けられていない予め印刷されたバーコード２０４ｂのシートが与えられ、バーコードは初期的には「ブランク（空白）」である。

ユーザは、準備ができると、所与の特定の用途に従って各バーコードにイベント名を割り当てることができる。例えば、新規なパッケージについての製品テストグループの中の観察者は、「パッケージを開けるのにハサミを使用した人」又は「パッケージからフォイルを外した人」等のイベントを調べることに関心がありうる。ユーザは、図２に示すように、各イベントをバーコード２１４ａ，２１４ｂに割り当てることができる。図示するように、観察者は幾つかのバーコードを未割り当てのままにすることができる。

観察セッション中、参加者の行動は、セッションの記録物を作るために適当な記録装置を用いて記録される。観察者は、誰かがパッケージを開けるのにハサミを用いていることに気づくと、イベントをマーク付けすることによりその発生を示すために当該のイベントに関連するバーコード２１４ａをスキャンしうる。同様に、誰かがパッケージからフォイルを外すことは、「フォイルを取り外した」イベントに関連するバーコード２１４ｂをスキャンすることによって記されうる。このようにして、情報ストリーム（ここでは記録されたセッション）は、実際にはバーコードでタイムスタンプ付けされうる。本発明の面によれば、イベントの繰り返しの発生は、当該のイベントに関連するバーコードの繰り返しのスキャンによって記されうる。従って、所与のバーコードは、タイムスタンプ付けされた情報ストリーム中で確実に１回よりも多く出現しうる。

スキャンされたバーコードはデータストリームへ変換され、適当なタイミング情報と共にバーコード読み取り装置２０４ａの中に記憶されうる。データストリームはタイミング情報と共に、後にデータ収集局へ通信されうる。或いは、データは収集と同時に通信されてもよい。特定のバーコード読み取り装置に、適当な長期記憶容量がない場合は、データストリーム及びいかなる必要なタイミング情報は、別のデータ収集局（図示せず）へ（例えばワイヤレスに）通信されうる。以下説明するように、タイミング情報は、相対的な又は絶対的なタイミング情報でありうる。

本発明の面によれば、バーコードの意味は、観察セッションに先立って与えられる必要はない。例えば、観察者は、誰かが歯を使って袋を開けているといった予期しない行動を目撃することがある。観察者は、予期しない行動を見たとき、未割り当てのバーコード２１６のうちの１つをスキャンし、その時点以降、「歯を使う」行動が観察されるたびに同じバーコードをスキャンしうる。観察者は、新しい行動を識別するために、図示するような「歯」というイベント名をバーコードシート２０４ａに記すことができる。以下、本発明のこの面の更なる詳細及び変形について説明する。

ＭＦＰ２０６は、記録装置から情報ストリーム２１２ａを受信し、同様に、バーコード読み取り装置２０４ａによって収集されたスキャンされたバーコード２１２ｂを受信する。ＭＦＰは、情報ストリームにバーコードで「タイムスタンプ付け」するために、情報ストリームを処理する。スキャンされたバーコードは、「タイムスタンプ付けされたマーカー」の具体的な例を表わす。スキャンされたバーコードを情報ストリーム中の時間と関連付けることは、情報ストリームの「タイムスタンプ付け」の具体的な例を表わす。以下、本発明のこの面の更なる詳細及び変形について説明する。

バーコードシート２０４ｂがＭＦＰへ供給されると、ＭＦＰはタイムスタンプ付けされた情報ストリームのプレゼンテーション２３２を生成しうる。例えば、図２の例に示す画像は、調査セッション中に収集されたタイムスタンプ付けされたマーカーを表わす。図２に示す特定の実施では、プレゼンテーション２３２は、「ビデオペーパー」出力でありうる。ビデオペーパーは、オーディオ・ビジュアル情報を紙といった印刷可能な媒体上へ提示する技術である。この技術は、上記した同時継続中の米国特許出願のうちの１つ又はそれ以上の中により詳細に記載されている。ビデオペーパー・プレゼンテーション２３２は、タイムスタンプ付けされた情報ストリームの部分の代表的なサムネイル画像２５２ａ，２５２ｂを含む。情報ストリームのうちの同一のバーコードでタイムスタンプ付けされた部分は、ビデオペーパー上に一緒に「グループ化」されうる。

グループの配置は、多数の方法のうちのいずれによって指示されてもよい。１つの例では、何らかの自動レイアウトを用いた単純なグループ化が使用されえ、このときユーザからのいかなる配置情報の入力もなしに配置が作成される。例えば、特定のバーコードの集合に対して特定でない単純なリストである。他の例では、発生された出力のフォーマッティングを指示するために、元のバーコードに含まれる文書のフォーマットの電子的な表現が使用されうる。この電子フォーマットは、クリップの挿入用の明示的な空間を含みうる。更なる他の例では、配置を指示するために、ユーザによって準備され紙上にバーコードと他のマークを有する紙が使用されうる。紙は、スキャンされ、スキャンされた画像の新しいバージョンは、紙上のバーコードの位置に依存して挿入されるクリップと共に発生される。

オーディオ・ビジュアル情報ストリームの場合、代表的なサムネイル画像は、ビデオのフレームでありうる。従って、「ハサミを使用」イベントに関連する画像２６２は一緒にグループ化されて示される。同様に、「フォイルを外す」に関連する画像２６４は一緒にグループ化されて示される。同様に、予期しないイベント「歯」に関連する画像２６６は一緒にグループ化されて示される。「歯を使う」というイベントは予期しないものであるが、本発明はそれでもユーザが情報ストリーム中の予期しないイベントの発生を識別し、予期しないイベントの発生を後に一緒にグループ化することを可能とすることを思い出されたい。

グループを識別するために用いられる、ビデオペーパー中に出現するラベルは、バーコードシート２０４ｂからとられうる。ＭＦＰ２０６は、予期しないイベントの名前を含む、ユーザによって与えられたイベント名を含むセグメントを得るよう、バーコードシートのスキャン入力画像の所定の位置で単純な「カット」操作を行うことができる。続く「ペースト」操作は、図示するように、ビデオペーパー中にグループラベルを与えるようビデオペーパー画像に対して行われうる。所定の場所に書き込まれたテキストを抽出するために、光学的文字認識（ＯＣＲ）処理が適用されうることが認められうる。しかしながら、カット・アンド・ペースト・アプローチは、ユーザがテキストに加えて付しうる全てのテキストでないマークを保つこととなる。

例えば、カット・アンド・ペースト技術の実施により、スキャンされたバーコードシート（及びユーザによって与えられたマーク）の画像は、周知のマッチング・アルゴリズムを用いて、元々印刷されていたようなシートの電子画像と比較されうる。差を含む全ての領域が抽出されえ、印刷されるべきシート上に配置され、差は、ユーザが作ったマークである。

他の実施では、出力画像（例えばビデオペーパー画像）は、ユーザによってマークが付されたバーコードシートのスキャン入力された画像に基づいて生成されうる。ＭＦＰ２０６は、スキャンされたバーコードシート上の各バーコードの位置を見つけ、各バーコードの真下に、当該のバーコードに関連する全てのクリップを入れるために出力画像中に十分な空間を挿入しうる。スキャンされたバーコードシートの画像の残る部分は、この空間を作るために「押し下げられる」。ページ区切りを再配置するといった新しいフローは、適切であれば、出力画像をフォーマットするのに使用されうる。

ビデオペーパー２３２の特徴は、ユーザが後に、サムネイル画像によって表わされる情報ストリームの部分にアクセスしうることである。これは、再生動作モードを構成する。簡単にいえば、ビデオペーパー上に形成された各サムネイル画像には、バーコード２５４といったグラフィックな印が関連付けられている。ユーザがバーコードをスキャンすると、バーコードＩＤは再生装置（図示せず）へ送信される。再生装置は次に、情報ストリームにアクセスでき、サムネイル画像に関連する情報ストリームの部分を再生できる。ビデオペーパーのこの面に関する更なる詳細については、上述の米国特許出願のうちの１つ又はそれ以上に記載されている。本発明のこの特定の実施例のビデオペーパー・コンポーネントは、情報ストリームへのアクセスを更に容易とするために追加的な情報を作成、記憶、及び管理するために使用されうることが認められる。

図２は、ビデオ表示装置２３４上に形成されるプレゼンテーションを示す。適当なユーザインタフェースは、ユーザが、情報ストリームの同じバーコードでタイムスタンプ付けされた部分にアクセスすることを可能とするよう提供されうることが認められる。例えば、ビデオペーパー２３２上に出現する画像のような表示は、ビデオ表示装置上に提示されうる。適当な入力装置を用いて、ユーザはサムネイル画像を選択し、情報ストリームの対応する部分を見ることができる。例えば、情報ストリームの１０秒の断片が再生されうる。或いは、ユーザインタフェースは、選択されたサムネイル画像に関連するタイムスタンプに基づいて決定される位置から始まる情報ストリームの再生を可能としうる。本発明の上述及び他の再生の面について、以下詳述する。

［イベントマーカー］
本発明の実施例による情報ストリームにタイムスタンプ付けするステップは、図５に示されている。以下の説明から、幾つかのステップは、フローチャートに示される順番で実行される必要はないことが認識されるであろう。各ステップは、説明を容易とするためにフローチャートの形で示されているだけである。

一般的に、ブランクマーカーの源として、イベントマーカーのシート上に一組のイベントマーカーが与えられる。本発明のこの面の特定の実施例のステップ５０２では、イベントマーカーは、一組の一意の予め印刷されたバーコードである。予め印刷されたバーコードは、製造され、小売業者へ配布されえ、小売業者はこれらをユーザへ販売する。バーコードは、予め印刷された紙のシート２０４ｂ（図２）、一巻きのステッカー、ノートの形等で与えられうる。

上述のように、バーコードは、本発明のこの面の特定の実施で使用され、情報ストリームは、関心イベントに対応するバーコードをスキャン入力することによって関心イベントをマーク付けするよう「タイムスタンプ付け」される。しかしながら、以下説明するように、他の形のマーカーも可能である。

本発明の特定の実施例では、バーコードは、基礎となる技術に適した形で表わされうる（ステップ５０４）。従って、ソフトウエアに基づく実施例の場合、マーカーは、一意の番号（マーカーＩＤ）、例えばＮビットのデータとしてソフトウエアによって表わされる可能性が高い。

一意に識別されたマーカーが望ましいことの１つの理由は、衝突を防止することである。例えば、２つの異なるプロジェクトで同じスキャン装置が用いられた場合、プロジェクトＡのタイムスタンプ付けされたイベントをプロジェクトＢのものと取り違える危険性はない。また、既存のマーカーとの衝突について心配することなく、追加的なマーカーが任意の時間に追加されうる。一意のマーカーの使用は、制限のないＩＤ空間を可能とするが、これはマーカーが入力装置につながれている場合は可能でないであろう。例えば、３ボタンマウスのボタンに対応するマーカーを発生することは、ＩＤ空間を３つの異なるマーカーに制限すること、従って、３つのイベントに制限することとなる。完全なキーボードは、約１００の一意のマーカーを与えるが、やや取り扱いにくく、依然としてイベントの数としては限られている。

一意に識別可能なバーコードを用いる第２の理由は、これらが特定の紙片をイベントマーカーに関連付けるのに使用されうることである。例えば、特定の警察官の捜査ノートのページをイベントマーカーと結びつける可能性は、特定のイベントにおいて警察官の存在を確認するのに有用である。このようなノートの各ページにいくつかのマーカーが置かれている場合、コンテキスト中にそれらが存在することは、警察官が実際に特定のイベントをマーク付けした人物であったという強い証拠となる。マーク及びバーコードは、どの証言が得られるかに関して実世界のイベントと「絡み合っている」ため、これらは、特定の人物が特定のイベントをマーク付けしたことについてより強い証拠のつながりを与える。

情報ストリームにタイムスタンプ付けするために、バーコード以外の一意に識別可能な「マーカー」が使用されうることが認められ得る。例えば、ユーザには、例えばタブレットＰＣ等のビデオ装置上の視覚インタフェースが与えられうる。視覚インタフェースは、一組のチェックボックス等の一組のグラフィックスを有してもよい。各チェックボックスは、一意に識別されうる。ユーザは、これらのチェックボックスのうちの幾つかを、調べられている観察に特有の特別なイベント、例えば「ゲートが開く」、「人が部屋に入る」、「ネズミがシリアルを食べる」、「ネズミがチーズを食べる」等と関連付けることができる。例えば、インタフェースは、ユーザが、チェックボックスに関連付けられ得るイベントについての記述的な情報を入力することを可能とする入力画面を与えうる。

イベントが観察されるたび、対応するチェックボックスが、適当な入力を用いて「選択され」ることができ、それによりイベントにマーク付けされる。インタフェースは、次に、チェックボックスの特定の識別情報を記録し、当該の特定のチェックボックスがいつ選択されたかを示すタイミング情報を関連付け、それによりタイムスタンプ付けされたマーカーを作成する。この情報は、対応する情報ストリームをチェックボックス識別子でタイムスタンプ付けする基礎となる。バーコードの場合のように、ユーザは、幾つかのチェックボックスを未割り当てのままとしうる。未割り当てのチェックボックスは、次に、予期しないイベントが生じているときに、進行中に割り当てられ得る。

上述の実施例では、ユーザに一組の所定のマーカーが与えられた。例えば、予め印刷されたバーコードが与えられねばならないか、グラフィックインタフェース上のチェックボックスがユーザへ提示されねばならなかった。これらの所定のマーカーは、イベントの関連付けを行うための視覚的な合図として役立つ。

本発明のこの面の他の実施例によれば、情報ストリームにタイムスタンプ付けをするために音声に基づくイベントマーカーが使用されうる。本発明のこの特定の実施例は、予め定義され予め印刷されたマーカーの使用を未然に防ぎ、マーカーは観察セッション中に、進行中に定義されうる。観察者は、特定の行動（イベント）が生じている間に特定の言葉を話すだけでよい。例えば、「ハサミを使用」、「フォイルを外す」、「歯！」等である。適当な音声認識処理は、発話を捕捉し、これを解析し、認識された発話に一意の識別子を関連付けるのに適用されうる。従って、ユーザが、「ハサミを使用」と話すたび、音声認識処理は、同一の一意の識別子を生成し、情報に関連する任意の必要とされるタイムスタンプと共に記憶しうる。このようにして、情報ストリームは、話された観察結果とともにタイムスタンプ付けされうる。

本発明の更なる面は、イベントがマーク付けされたとき、関連付けられる情報をタイムスタンプされたマーカーと共に符号化することである。イベントがマーク付けされたときに、マーカー（例えばバーコード）を一意に識別する識別子（マーカーＩＤ）を記憶することに加え、特定の記録装置を示す装置識別子（装置ＩＤ）がマーカーＩＤに関連付けられ得る。１つの実施例によれば、装置識別子は、記録装置に関連付けられるバーコードをスキャンすることによって決定されうる。装置を識別するバーコードは、記録装置自体の上に形成されうる。ユーザは単純に、記録装置上でバーコードをスキャンする。装置を識別するバーコードは、記録装置に関連付けられる操作マニュアル上に印刷されてもよく、又は、記録装置に関連付けられるバーコードのシート上に印刷されうる。他の実施によれば、装置を識別するバーコードは、スキャン装置によってなされた一連のキーの押し下げとして手動で入力されうる。更なる他の実施例が可能であることが認められる。例えば、他の実施によれば、装置識別子は、工場において記録装置へとプログラムされうる。

記録装置識別子を記憶することは、タイムスタンプ付けされたマーカー（タイムスタンプ）と記録装置との間に関連性を与える。本発明のこの面は、多数の情報ストリームの源及び多数の組のタイムスタンプがＭＦＰ２０６装置へ提示されうるとき特に有用である。ＭＦＰ（又は他の同様の装置）は、どの情報ストリームがどの一組のタイムスタンプに伴うのかをユーザに手動で示させる必要なく、所与の一組のタイムスタンプに関連付けられる装置ＩＤに基づいて正しい情報ストリームにアクセスしうる。

他の関連付けられる情報は、ユーザを識別する情報を含みうる。これは、ＭＦＰが、情報ストリームのうちの、特定のユーザによってタイムスタンプが付された情報ストリームの一部にアクセスすることを可能とする。他の有用な情報がタイムスタンプに関連付けられうることが認められうる。

図４は、各イベントマーカーに注釈が関連付けられ得ることを示す。従って、特定の実施例では、図２のバーコードシート２０４ｂと同様のバーコードシート４０４ｂは、観察者によって作られ特定のイベントマーカーに関連付けられる注釈４１２を含みうる。図４は、注釈が「ハサミを使用」についてのイベントマーカーに関連付けられることを示す。次に、注釈は、注釈が付されたイベントマーカーに対応するアイコンのグループに関連付けられた注釈情報４１４としてビデオペーパー印刷物４３２ａに提示される。上述のように、ＭＦＰ２０６は、バーコードシートの画像中の、ユーザが注釈を付しうる所定の領域において「カット」操作を行うことができる。続く「ペースト」操作は、次に、注釈を紙の出力４３２ａの中に配置するために行われうる。

図４は、バーコードシート４０４ｂ上の注釈領域がＮ個の部分へ分割される他の実施例を示す。この実施例によれば、各部分（例えば一行のテキスト）は、マーカーに対応するイベントの発生に関連付けられうる注釈である。しかしながら、明らかな物理的な制限により、イベントのＮ回の発生のために十分な空間しかない。バーコードシート４０４ｂでは、Ｎは３であると想定する。ビデオペーパーは、出力４３２ｂのように見えるかもしれない。ここで、「ハサミを使用」というイベントに対する最初の３つのサムネイル４６２に注釈が付されているが、続くイベントの発生には注釈は付されていない。

［情報ストリームのタイムスタンプ付け］
図５を参照するに、「バーコード関連付け」のステップ５０６が示されている。本発明の１つの面は、情報ストリームにイベントマーカーで「タイムスタンプ付け」をするという考えである。本発明の更なる面は、情報ストリーム中の点は、「同じ」イベントの発生を示すために同じイベントマーカーでタイムスタンプ付けされうることである。同時に、「同じであること」の概念はユーザによって定義され、情報ストリームの内容のシステムによる事前の決定又は評価を必要としない。上述のように、このことは、予期しないイベントの発生をマーク付けするために、ユーザが情報ストリームに「未割り当て」マーカーでマーク付けすることを可能とする。実際、音声によるマーカーでマーク付けする考えは、マーカー自体は予め定義されている必要はないという本発明の面をはっきりと示す。

図２の特定の実施例では、イベントマーカーはバーコードであり、より特定的には、一意の番号といったバーコードの適当な表現である。しかしながら、上述したように、他の「マーカー」が使用されうる。本発明によれば、マーカーは一意に識別され、ある形のタイミング情報は各マーカーに関連付けられる。より特定的には、イベントマーカーが生成されるとき、生成の時間はイベントマーカーに関連付けられる。従って、例えば、一組のバーコードが与えられているとき、バーコードのうちの１つがスキャンされると、イベントマーカーはスキャンされたバーコードによって表現され、当該のイベントマーカーには、バーコードがスキャンされた時間が関連付けられる。音声に基づくイベントマーカーの場合、イベントは、イベントが話された時間に関連付けられ得る。このことは、マーカーが情報ストリームに時間的に関連付けられることを可能とする。これは、マーカーの各発生を、情報ストリーム中の時点と関連付ける情報を作る。このようにして情報ストリームをマーカーと関連付けること（ステップ５０６）は、情報ストリームをマーカーで事実上「タイムスタンプ付け」する。

図３を参照するに、例えば、マークＭ₁が時間ｔ₁においてタイムスタンプ付けされていたとする。即ち、時間ｔ₁において第１のバーコードがスキャンされたか、時間ｔ₁において第１の言葉が話されたとする。更に、マークＭ₂が時間ｔ₂においてタイムスタンプ付けされ、マークＭ₁が時間ｔ₃において再びタイムスタンプ付けされたとする。本発明によれば、マークＭ₁は時間ｔ₁において情報ストリームと関連付けられ（３０２ａ）、時間ｔ₃において情報ストリームと関連付けられる（３０２ｂ）。同様に、マークＭ₂は、時間ｔ₂において情報ストリームと関連付けられる（３０４）。

マークを１又はそれ以上の時間と関連付けることは多くの方法で表現されうる。例えば、１つの実施例では、マークと時間の関連付けは、以下のデータ構造、即ち、
Ｍ₁：１２：３２：０５，１２：３５：２２，１２：３８：１４
Ｍ₂：１２：３４：１９等
を有し、或いは、マーク・時間の関連付けは、以下のデータ構造、即ち、
Ｍ₁：１２：３２：０５
Ｍ₁：１２：３５：２２
Ｍ₁：１２：３８：１４
Ｍ₂：１２：３４：１９等
を有する。当業者は、他の表現的な構造が使用されうることを容易に認識するであろう。

上述の説明から、当業者は、多数の方法のうちのいずれかによって本発明のこの面について実現するであろう。本発明の特定的な実施例では、ＭＦＰ２０６は、情報ストリーム及びタイムスタンプの「ストリーム」（即ち、適当なタイミング情報を有するマーカー）を受信し、情報ストリームをタイムスタンプと進行中に関連付け、例えばビデオペーパー２３２出力を生成する。或いは、各タイムスタンプに対する情報ストリームファイルの中のポインタを与えるテーブルが保持されうる。この内部的な表現は、タイムスタンプが付された情報ストリームのビデオディスプレイ表現を容易とし、情報ストリームに繰り返し再インデックス付けをする必要を未然に防ぐ。

本発明のこの面の特定の実施によれば、各マーク付けされたイベント（タイムスタンプ）に対してデータ構造が作成される。データ構造は、マーカーのＩＤ、イベントの時刻、情報ストリーム（メディア）へのポインタ、並びに、再生のための開始点及び終了点を含む。開始点及び終了点は、後の時点に、ビデオペーパーが印刷された後であってもされうる。

上述のように、同じ形式のタイミング情報はマーカーに関連付けされる。この情報は、情報ストリームがマーカーと同期されることを可能とすることが認められうる。本発明の１つの実施例によれば、絶対的な時間が使用されうる。従って、情報ストリームは、それに関連付けられる絶対時間値を有しうる。ディジタルカメラからの画像といった不連続なメディアの場合、各画像は時間値と関連付けられ得る。記録装置２０２は、時間値を情報ストリームに関連付けるために、クロック又は他の適当な時間基準を有してもよい。

同様に、バーコードスキャナ２０４ａといったイベントマーク付け装置は、イベントをマーク付けするたびに、装置がマーカーを表わすデータ（例えば、バーコードを表わす一意の番号、又はディジタル化された音声等）及びマークが作られた時間を表わすデータ（例えば、スキャンされたバーコード、話された音声）を生成するようクロックを含んでもよい。この特定の実施例では、情報ストリームと、それらの対応する時間値を有する一組のマーカーは、タイムスタンプ付けされた情報ストリームを集合的に表わす。この技術は、連続的な情報ストリーム及び不連続な情報ストリームのいずれにも適用可能であるが、特に、不連続な媒体に対しては、各「フレーム」は時間値でマーク付けされているため適用可能である。すると、タイムスタンプ付けする処理は、各マーカーに関連する時間値を情報ストリーム中の時間値と一致させることに等しくなる。実際上は、イベントマーク付け装置（例えばバーコードスキャナ）中の時間基準と記録装置の時間基準との間のクロックの歪みにより、正確な一致は保証されていない。従って、許容誤差が与えられるべきであり、誤差の量は、ミリ秒単位、秒単位、分単位等であるとにかかわらず、記録されている対称の性質に依存する。

連続的な情報ストリームを同期させるのに最も適した技術は、時間的な基準点を確立し、その基準点に対して時間が測定されうるようにすることである。例えば、情報ストリームは、最初にイベントマーク付け装置（例えばバーコードスキャナ）内のタイマを「ゼロにする」ために使用されうる基準点を含んでもよい。システム（例えばＭＦＰ）が検出しうる特別な信号が媒体の始まりに挿入されうる。従って、タイマがゼロとされた５分後に生ずるマーク付けイベントは、特別な信号から測定して情報ストリームへ５分間入ったところの情報ストリーム中の点に対応する。タイミングが重要であれば、クロックのドリフトを考慮するために記録装置とイベントマーク付け装置の中のクロックを定期的に再同期させるための更なる基準点が与えられうる。もちろん、クロックの再同期の発生を示すために更なる情報が必要となることが認められ得る。

情報ストリームを一連のイベントマーカーと同期させる他の技術は、ＳＴＡＲＴ−ＳＴＯＰ標識を用いるものである。この方法では、ＳＴＡＲＴとラベル付けされたバーコードは、記録装置が開始されるのと略同じ時間にスキャンされる。バーコードデータとビデオがマージされるとき、システムはＳＴＡＲＴ標識を認識し、関連する時間をビデオの始まりにマップする。このように、この時間から他のバーコードに関連付けられるタイムスタンプまでのずれは、ビデオ記録の中へインデックスを付け、適切なクリップを引き出すために用いられる。任意に、記録が完了したときにＳＴＯＰコードがスキャンされうる。これは、単一の情報ストリーム中に、例えば単一のビデオテープ上に、幾つかの記録セッションが含まれる場合に特に有用である。その場合、ＳＴＯＰ標識と次のＳＴＡＲＴ標識の間の情報ストリームの部分は、タイムスタンプＩＤからビデオへインデキシングするときに解釈されうる。

或いは、「イベントのマーク付けＳＴＡＲＴ」標識及び［当該イベントのマーク付けＳＴＯＰ］標識が使用される。関心となる各イベントは、これらの一対の標識によって区切られうる。更に、各区切られたイベントに対する周囲の前後関係は、各区切られたイベントの始まり及び／又は終わりを情報ストリームのセグメントでパディングすることによって与えられうる。周囲の前後関係は、例えば再生中に与えられうる。

図５は、「バーコード記憶」のステップ５０８を示す。本発明の１つの面によれば、タイムスタンプ情報は、それ自体がイベントマーク付け装置１０４（図１）の中に記憶されうる。このように、本発明の特定の実施例では、バーコードスキャナは、タイムスタンプを記憶するための適当なメモリ部品を有するよう構成される。メモリ部品は、データ収集中に装置のオン・オフが切り換えられることが予想されるときは、不揮発性メモリの形であり得る。ディスクドライブユニットが設けられてもよい。タイムスタンプ情報は、スキャンされたバーコードの符号化されたものと、各バーコードがいつスキャンされたかを示す何らかのタイミング情報とを含みうる。追加的な情報は、各バーコードがスキャンされた回数といった測定基準を含みうる。

バーコードスキャン（より一般的には、イベントマーク付け装置１０４）は、記憶されたタイムスタンプを後の処理用の適当な大容量記憶装置へ通信するよう構成されうる。或いは、イベントマーク付け装置は、１つのタイムスタンプを受信するとすぐにタイムスタンプを送信するよう構成されえ、従って、イベントマーク付け装置自体の中にタイムスタンプ用の適当な記憶装置を設ける必要性をなくすよう構成されうる。

このステップ５０８における典型的な処理は、
・スキャンされたバーコード、選択されたグラフィック、ディジタル化された話された言葉等のマーカーを受信し、マーカーを適当な内部表現（例えば一意の数）へ変換し、
・マーカーが以前に受信されていなければ、マーカーを記憶し、その受信の時間を示すための関連する何らかのタイミング情報をマーカーに関連付け、
・マーカーが以前に受信されていれば、単にその受信の時間を示すために何らかの時間情報をマーカーに関連付けること、
を含む。当業者は、上述の処理を、バーコードスキャナといった適当なイベントマーク付け装置１０４において容易に行うことができる。

［タイムスタンプ付けされた情報ストリームの操作］
図５はまた、「ビデオペーパーを作成する」ステップ５１０を示す。図２を参照して、本発明のこの面の２つの実施例について、タイムスタンプ付けされたメディアに関連する情報について説明した。ビデオペーパー２３２は、サムネイル画像のうちの１つに関連するバーコード２５４を選択することによって情報ストリームの部分にアクセスするために使用されうる。図２はまた、タイムスタンプ付けされた情報ストリームを再生するビデオ表示装置２３４を示す。ビデオ表示装置は、情報ストリームにアクセスするためにユーザにより多数のオプション及び制御を提供しうる。

図５は、「提示する」ステップ５１２を示す。本発明のこの面によれば、「再生」の概念は、情報ストリームのセグメントを再生することを含む。例えば、図３に示すメディアセグメント３１２は、タイムスタンプＭ₁に関連付けられるセグメントである。或いは、情報ストリームは、選択されたタイムスタンプの時間に基づく時間から始めて再生されうる。図３は、情報ストリームの再生がタイムスタンプＭ₁の前の時間３１４に、又はタイムスタンプの後の時間３１６に始まりうることを示す。

しかしながら、タイムスタンプ付けされた情報ストリームの再生は、ビデオペーパーのプリントアウト２３２から再生を開始するのではなく、バーコードシート２０４（図２）自体から開始されうることが認められ得る。バーコードスキャナは、所望の再生機能を実行するために、ケーブル又はワイヤレス接続を介して適当な構成とされた再生装置と協働するよう構成されうる。再生装置及び記録装置は、同一であってもよい。

ユーザは、バーコードシート上のバーコードをスキャンすることによって再生を開始させうる。従って、例えば、「歯を用いる」についてのバーコードを最初に「通す」（スキャン）することは、イベントに対応するバーコードでタイムスタンプ付けされた情報ストリーム中の第１の時点の再生を生じさせうる。同じバーコードを２回目に通すことは、第２のタイムスタンプにおける情報ストリームの再生を生じさせうる等である。同じバーコードを連続して通すことは、最終的には、情報ストリームを「完了」させ、タイムスタンプの最初の発生から再生を開始する。

或いは、バーコードに関連する全てのクリップは、バーコードを一回通すことによって再生されうる。例えば、ユーザが「歯を使う」に対応するバーコードを通すとき、当該のバーコードに関連付けられる各クリップが再生されうる。各クリップ間の適当な遅延は、１つのクリップから次のクリップへの過渡期間として与えられうる。

本発明の更なる他の実施例によれば、ＩＤのスキャンは、単に、当該のＩＤに関連する全てのクリップのリストを表示する。例えば、各クリップに対する１つ又はそれ以上の代表的なサムネイル画像が表示されうる。これは、ビデオペーパーをプリントアウトすることなくユーザが書いた全ての書き留めたものの文脈で元のバーコードシートからクリップをとって再生するのに有用でありうる。

本発明の１つの実施例では、イベントマーク付け装置２０４ａ（図２）は、シングル・ボタン・バーコード・スキャナである。ボタンを押すことにより、スキャン動作が作動され、装置にバーコードを読み込ませ、対応するＩＤをタイミング情報と共に記憶する。装置がＭＦＰ２０６に結合されるとき、ＩＤ及びタイムスタンプは、バーコードスキャナからＭＦＰへ送信され、記録されたストリーム２１２ａをタイムスタンプ付けするために用いられる。タイムスタンプ付け情報と共に、ＭＦＰは、後の再生のための情報の中に、各タイムスタンプに関連付けられるＩＤを含む。バーコードスキャナは、上述の同時継続中の米国特許出願のうちの１つ又はそれ以上に記載されているように、情報ストリームの再生のために、表示システムを適当に構成するよう結合されうる。スキャン動作を作動させることは、装置にバーコードを読み取り、対応するＩＤを表示システムへ送信させる。識別子を受信すると、表示システムは、当該のＩＤを伴う１つ又はそれ以上のタイムスタンプの位置を見つけ、記録メディアの対応する部分を表示する。同じＩＤの追加的なインスタンスを受け取ることにより、システムを次の対応するタイムスタンプへスキップさせる。

尚、記録されたイベントに関連する情報ストリームへのタイムスタンプ付けと、受信した識別子に応じたストリームの部分の表示の両方に対して同じ装置が使用されうる。この場合、装置（ＭＦＰ）は、「関連付け」モードと「再生」モードの間で切り換える方法を有するべきである。これは、装置上の制御部によって、又は、特別な「モード切替」識別子を送信することによってなされうる。

他の実施例では、バーコードスキャン装置は、２つのボタン、即ちＲＥＣＯＲＤボタン及びＰＬＡＹボタンを具備する。ＲＥＣＯＲＤボタンを押すことにより、スキャン動作が開始され、続いて、上述と同様に、スキャンされたＩＤが関連するタイミング情報と共に記憶部に保存される。ＰＬＡＹボタンを押すことは、また、スキャン動作を開始させる。更に、装置は、それ自身のローカルメモリを、同じＩＤで以前に記憶されたイベントについてサーチする。イベントが見つかれば、ＩＤ及び当該イベントに関連付けられるタイミング情報が、表示システムへ送信される。スキャン装置はまた、ＩＤに対してどのイベントが表示されたかを示す「ＰＲＥＶＩＯＵＳ」ポインタを記憶しうる。２つ以上のイベントが見つかれば、「ＰＲＥＶＩＯＵＳ」ポインタが存在し、このＩＤに対する次のイベントが（例えば、後のタイムスタンプと共に）表示システムへ送信される。イベントが見つからなければ、ＩＤは再生要求である標識と共に表示システムへ送信されてもよく、他の実施例と同様に、記録されたストリームを表示システムに位置を見つけさせ表示させる。

本発明の他の面によれば、「再生」アクションは、タスク特定マーカーの使用によって制御されうる。本発明のこの面の特定の実施例では、再生装置は、ＤＶＤプレーヤ又はオーディオ増幅器でありうる。「再生」「巻き戻し」又は「通常音量」といった適当な再生制御を表わしうる特別な「再生制御」バーコードが設けられ得る。これらのバーコードは、紙の用紙上のバーコードがカスタム「遠隔制御カード」を形成するよう配置されうるステッカー又は何らかの他のマーク付け方法でありうる。このように、ビデオペーパーの場合、プリントアウトされたものは、その上に印刷された再生制御バーコードを有しうる。元のバーコードシート（例えば、図２の参照番号２０４ｂ）からの再生が所望である場合、所定の機能を有するバーコードステッカーがシートに固定され、再生制御を与えうる。或いは、予め印刷されたシートは、予め印刷された「再生制御」バーコードも含みうる。

例えば、図２のビデオペーパー２３２は、適当な制御バーコードを単に通すことによって再生装置を動作させる制御バーコードを含みうる。これは、タイムスタンプされたメディアを再生するためにバーコードスキャナが既に使用されており、メディアが多数の再生装置に記憶されている場合に都合がよい。ユーザは、自分の再生環境へアクセスするのに、バーコードリーダと多数の異なる遠隔制御部との間で絶えず切り換える必要はない。１つ以上のＴＶモニタが、１つ以上のＤＶＤプレーヤ、ＣＤプレーヤのバンク、ビデオカセットレコード（ＶＣＲ）等を含み、そのうちの幾つかの装置がデイジーチェーン接続され、例えばＤＶＤからのビデオがＶＣＲを通じて供給されうるようにする、多数のソース供給に接続されうるよくあるシナリオについて考える。所望のソースを所望のモニタに接続するために多くの遠隔制御器を操作することは、非常に骨の折れることである。

しかしながら、機器にコンピュータ作動式スイッチが設けられていれば、適当な制御バーコードを有するビデオペーパーは、再生タスクを大きく簡単化しうる。ユーザは、単に、所望の動作に対応するバーコードを通すだけでよい。通されたバーコードは、アクセスされたメディアを含むメディア再生装置をユーザのディスプレイに接続するために機器を作動させるよう、適当な制御ソフトウエアによって検出されうる。従って、例えば、再生装置Ａ上のメディアに対応するバーコードが通された場合、制御ソフトウエアは、再生装置Ａをユーザのディスプレイに接続するために適当なスイッチを制御しうる。次に、ユーザが、関連するメディアが再生装置Ｂ上にあるバーコードを通すと、制御ソフトウエアは、ユーザのディスプレイと再生装置Ｂとを接続しうる。

多数のディスプレイが設けられている場合、ビデオペーパーは、選択されたタイムスタンプ付けされたメディアセグメントがその上に提示されるディスプレイを示すバーコードを含みうる。例えば、ディスプレイ装置Ａに関連するバーコードを通すことは、タイムスタンプ付けされたメディアを通すという続く全ての動作は、ユーザが異なるディスプレイ装置用のバーコードを通すまで、ディスプレイ装置Ａ上に表示されることを示すものでありうる。

タスクに特定のマーカーは、例えば「誕生会」を撮影する等の特定の目的のために一般的に使用される一組の製造者ＩＤでありうる。全ての「誕生会」ページは、「ろうそくを吹き消す」「ケーキを食べる」等に対して同じＩＤを有しうる。各タスクに対する特別なフォーマットは、プリントアウトの生成において用いられうる。これらの特別なＩＤと様々な動作（例えばプリントフォーマット）の間の関連付けは、ウェブサイト又は他の公開レポジトリ上で入手可能とされうる。ＩＤ自体もまた、かかる情報中に対してアドレスを符号化しうる。

本発明の他の実施例によれば、タイムスタンプ付けは、再生されている情報ストリーム上で行われうる。本発明の上述の面は、記録されている情報ストリームに対して適用される。即ち、情報ストリームは、記録処理中にタイムスタンプ付けされている。

しかしながら、本発明は、後にレビューされ、以前に記録された情報ストリームに対しても等しく適用可能である。ユーザは、以前に記録された情報ストリームを再生するとき、タイムスタンプのストリームを生じさせるよう再生中にユーザが観察するイベントをマークするためにイベントマーカー１０４（例えばバーコードスキャナ）を使用しうる。これらのタイムスタンプは、次に、上述と同様に、以前に記憶された情報ストリームと同期されうる。従って、タイムスタンプ付け動作は、記録がなされている間に行われる必要はなく、記録の後の時間に行われうることが認められよう。

本発明の更なる他の面は、以前にタイムスタンプ付けされた情報ストリームをタイムスタンプ付けすることである。以前にタイムスタンプ付けされた情報ストリームのレビューの間、ユーザは、情報ストリームを更にタイムスタンプ付けするためにイベントマーカーを使用しうる。ユーザが、例えば、タイムスタンプ付けされた情報をブラウズし、１分間のクリップを見ているとする。ユーザは、クリップ中の何か関心となるものにマーク付けするために、クリップ自体にタイムスタンプ付けしうる。より一般的には、以前にタイムスタンプ付けされた情報ストリームの任意の部分は、追加的なタイムスタンプで注釈が付けられ得る。

［情報ストリームへのタイムスタンプの組込み］
本発明の他の面によれば、タイムスタンプは、タイムスタンプ付けされたストリームを生成するよう、「メタデータ」として情報（メディア）ストリームへ組み込まれうる。図６は、本発明のこの面の例示的な実施例を示す図である。記録装置６０２は、一般的には、情報ストリームを提供するのに用いられるが、情報ストリームは任意の適当な源から与えられうることが認められ得る。情報ストリームは、以前の情報の記録物の再生であってもよく、又は情報ストリームは、進行中の行動の記録物の結果であってもよい。

イベントマーク付け装置６０４ａは、情報ストリームをタイムスタンプ付けするマーカーのソースを提供する。マーカーは、適当な通信路６１２を通じて記録（又は他の適当な）装置６０２へ伝送される。或いは、マーカーは、タイミング情報と関連付けられ、記憶されうる。記憶されたマーカー及び関連付けられるタイミング情報は、後の時間にアクセスされ、情報ストリームをタイムスタンプ付けするよう再生装置へ伝送される。通信路は、例えば電気接続又は光学的な接続といった有線路でありうる。しかしながら、一般的に通信路はワイヤレス路であることがより便利である。例えば、赤外線、Bluetooth等の多くのワイヤレス規格が利用可能である。

装置６０２は、タイムスタンプ付け情報を受信し、タイムスタンプ情報を含む第２の情報ストリームを生成するよう、情報をメタデータとしてストリーム上に組み込む。図２中のビデオペーパー・プレゼンテーション２３２といったプレゼンテーションは、この第２の情報ストリームから直接生成されうる。情報ストリームは、タイムスタンプ情報によって「注釈付け」されているため、本発明の上述の面のようにタイムスタンプ情報のための別個のソースへアクセスする必要はない。

図６に示す特定の実施例は、バーコードの予め印刷されたシート６２２ａを含む。イベントマーク付け装置６０４ａは、ユーザが、シート上のバーコード６２４ａをスキャンすることによってイベントにタイムスタンプ付けすることを可能とするバーコードスキャナである。スキャンされたバーコードを示す情報は、ワイヤレス式に適当な記録装置へ通信されえ、記録装置ではタイムスタンプを組み込んだ情報ストリームが作成されうる。

図６は、２つ又はそれ以上のイベントマーク付け装置６０４ａ、６０４ｂが使用されうる本発明の更なる面を示す。この形態は、多数のユーザが記録装置６０２へマーカーを伝送することを可能とする。各マーカーは、特定のユーザを識別する何らかの情報を含む。

同じバーコード又は一組のバーコードをスキャンするために２つ以上のスキャナが使用されうる。図中、紙のシートが、１つのスキャナごとに、個々にバーコードを含むことが示されているが、かならずしもそうであることは要求されていない。ある場合は、同じバーコード及び注釈を多数のユーザ及びスキャナ装置と共有することがより興味深い。例えば、２人の観察者が、一枚のバーコードシートを共有し、交替で手渡すことがある。ある場合は、どの特定の装置がイベントマークを作っているかに注意することが有用である。例えば、２人の警官が長い時間に亘って容疑者を観察していたとき、どの警官がどのイベントを目撃したかを区別することができ、更に、同じ一組のバーコードを用いることにより、観察全体に関する注釈の単一の記録をとることが重要であり得る。

同様に、記録装置は、イベントマーカー中の装置識別子を探し、記録装置に関連する識別子と一致する装置識別子を有するイベントマーカーに対してのみ応答するよう構成されうる。この構成は、多数の記録装置が使用されることを可能とする。本発明の更なる他の面では、イベントマーカーは、記録装置識別子のリストを有し、１つ又はそれ以上の記録装置が単一の伝送されたイベントマーカーによってタイムスタンプ付けされることを可能としうる。

タイムスタンプ付けメタデータを情報ストリームへ組み込むことは、関連付けられるデータを情報ストリームへ組み込むための様々な公知の技術のうちのいずれによっても達成されうる。特定の技術は、情報ストリームの性質に依存する。例えば、ビデオストリームを考える。近年のビデオ形式は、ビデオ中にテキストメタ情報を含めるための様々な手段与える。クローズド・キャプション（字幕）では、アナログビデオ及び様々なディジタルビデオストリーム（例えば、ＭＰＥＧ標準の様々な具体化）は、タイミング付けされたテキスト要素をビデオストリームへ挿入する方法を与える。メタデータは、テキスト要素として含まれねばならず、従って、ビデオストリームフォーマットについての許された文字セット内におさまる符号化スキームを用いねばならない。全てのフォーマットに対してうまくいく単純な方法は、４ビットごとの情報が１６進数として符号化される１６進（「hex」）表記を用いて符号化することである。

標準ＮＴＳＣクロースド・キャプションは、１２０文字／秒が送信されることを可能とし、これは、３秒ごとの注釈（タイムスタンプメタデータ）等を可能とする。本発明では、タイムスタンプメタデータは、タイミング情報を含みうるため、メタデータはビデオと正確に同期付けて配置されることが便利であるが、そのように配置される必要はないことが認められ得る。ＮＴＳＣ標準は、ＥＩＡ−６０８又は「ライン２１」クロースド・キャプションと称される。ＰＡＬ形式に対しては、ＥＩＡ−６０８はライン２２上で使用される。ＤＶＤ標準は、ＥＩＡ−７０８キャプションを用い、これはＤＴＶＣＣとしても知られている。

他のメタデータ挿入技術は、Apple Computer社のQuicktime（登録商標）フォーマットであり、これはＭＰＥＧ−４標準に非常によく関連付けられている。このフォーマットは、情報を含むテキストトラックを含む。従って、本発明のこの面の実施例では、タイムスタンプメタデータは、挿入された「テキスト」の表示がオフとされたテキストトラックとしてQuicktime（登録商標）ビデオ中に入れられ得る。

更なる他のメタデータ挿入技術は、Microsoft社のWindows（登録商標）Mediaに基づくものである。このフォーマットは、ストリーム中の特定の時間をマーク付けするためにコンテンツマーカーオブジェクトをテキストデータとともに挿入することを可能とする。このオブジェクトは、タイムスタンプメタデータ全体を含みうる。或いは、メタデータパッケージを含むバイナリオブジェクト又はファイルオブジェクト等のストリーム中の他のオブジェクトを指すポインタ情報が挿入されうる。

本発明の１つの面は、タイムスタンプを含むメタデータに関連する情報を加えることを提供することにより、情報ストリーム中にユーザによって与えられた注釈情報を与えることを可能とする。例えば、メタデータは、識別及び／又は認証目的でユーザのバイオメトリック情報（例えば、指紋、声紋、網膜をスキャンしたもの等）を含みうる。メタデータは、イベントマーク付け装置（例えばバーコードスキャナ）に関する装置特定の情報を含みうる。ユーザは、テキストの又は話された注釈をビデオトラックへ組み込みうる。上述したように、本発明の面は、イベント（例えば「ハサミを使用」）といったイベントの反復を、同じイベントマーカー（例えばバーコード）を用いてタイムスタンプ付けすることである。追加的な情報は、例えば「袋を開けるためにハサミを突き刺すようにして用いる」といったイベントの注釈を更に付けるために使用されうる。

メタデータ情報は、安全でない情報でありうる。これは、認証が必要でない使用環境で適切である。例えば、パーソナル・ビデオ・レコーダ（ＰＶＲ）は、テレビジョン放送を記憶しうる。ユーザが覚書きを書き留めることができる、予め印刷されたバーコードを有するノートが与えられうる。プログラム中の関心対象となる点は、ノートに書き留められうる。次に、関連するバーコードは、放送の注釈付けされた複製を生成するよう番組にタイムスタンプを付すためにスキャンされうる。番組のある局面が再び起こることは、同じバーコードをスキャンすることによって記録されえ、例えば、ゴルフトーナメントのテレビジョン放送では、ユーザはバーコードを「素晴らしいティーショット」に指定しうる。プレーヤが素晴らしいティーショットであると思うものを見るたびに、ユーザは、記録された放送をタイムスタンプ付けするためにバーコードをスキャンし、後に全ての「素晴らしいティーショット」を再び見ることができる。

しかしながら、タイムスタンプ付けがいつ行われたかの証拠を与えること、タイムスタンプ付け装置の認証性を与えること、情報ストリームを公証すること、又はその他の方法で情報ストリーム上で同様の認証を行うことが可能であることが重要でありうる。一般的に、記録物の検証が可能であることが必要である。本発明の他の目的は、かかる認証の必要性に対応しうる。

本発明のこの面では、イベントマーク付け装置６０４ａ及びイベントマーク付け装置からタイムスタンプを受信する記録装置６０２は、暗号化方法を伴うよう構成されうる。本発明のこの面の特定の実施例では、公開鍵／秘密鍵暗号化技術が用いられる。十分なサイズの情報を保持しうるため２次元バーコードが用いられる。例えば、１２８ビットの情報を含むバーコードは、内容が十分にランダムである場合は推測するのが極めて困難（事実上不可能）である。従って、十分に大きいサイズの符号化されたデータストリームを与えることにより推測を困難とし、２次元バーコードは、スキャン可能なバーコードがこの程度のデータを保持するようにするのに最も実際的な手段である。

本発明のこの実施例によるイベントマーク付け装置は、以下の特徴を有するバーコードリーダでありうる。
・公開鍵及び秘密鍵を含むこと（例えばＲＳＡ暗号化）
・イベントマーク付け装置の「全体集合（universe）」のうちで一意に識別可能であること
・「現在時刻」を与えるようクロック（時間基準）を維持しうること
・テキストストリングを組立て、テキストストリング上でハッシュアルゴリズムを実行し、テキストストリングを暗号化する方法を含むこと。

この実施例による受信（記録）装置は、以下の特徴を有するビデオレコーダでありうる。
・公開鍵及び秘密鍵を含むこと（例えばＲＳＡ暗号化）
・受信装置の「全体集合（universe）」のうちで一意に識別可能であること
・「現在時刻」を与えるようクロック（時間基準）を維持しうること
・テキストストリングを組立て、テキストストリング上でハッシュアルゴリズムを実行し、テキストストリングを暗号化する方法を含むこと
・ビデオストリームにメタデータを挿入する方法を含むこと。
本発明のこの面は、情報ストリームの認証に関する。従って、受信装置が記録装置であり、情報ストリームは作られているときに認証されること、即ち、関心対象は、リアルタイムで記録される可能性が高い。例えば、パトカーは、警察官の行動が記録されうるようしばしばビデオレコーダを含む。警察官は、自分のノートに注釈を記入し、ノートのページに浮き出し加工（エンボス）又は他の方法でしっかりと印刷された関連するバーコードをスキャンし、ビデオストリーム中に配置されるべきイベントマークを記録させうる。後に、パトカーからのテープが証拠のためにレビューされる場合は、ビデオ記録物は、警察官がいて、そのときにノートに記入をしていたことを証明するために使用されうる情報を含むこととなる。警察官は、次に、証言をするよう求められ、警察官が書き留めたものは一定の場所及び時間に作られたものであることが確認されうる。

上述の実施例は、暗号化技術として公開鍵／秘密鍵暗号化を用い、特に、ＲＳＡ暗号化が用いられる。しかしながら、ＲＳＡ以外の非対称暗号化技術も使用されうる。公開鍵／秘密鍵暗号化技術の面は、鍵のうちの１つを公開することである。本発明では、このような公開は必要でないことが認められる。従って、一般的に、任意の非対称暗号化技術が使用されうることが認識される。実際に、イベントマーク付け装置は、受信装置で用いられる暗号化技術とは異なる暗号化（対称であると非対称であるとを問わない）を使用しうる。暗に述べたように、対称暗号化が使用されうる。しかしながら、認証されてないアクセスに対して鍵を安全とする必要性により、対称暗号化はあまり便利でない暗号化技術である。

図７を参照するに、本発明のこの面の特定の実施例による伝送のためにタイムスタンプメタデータを符号化する典型的なプロセスシーケンスを示す。ステップ７０２において、イベントマーク付け装置６０４ａ（例えばバーコードリーダ）は、バーコードを読むよう作動される。スキャンされたバーコードを表わす対応するビットストリングが形成される。現在時刻が得られ、バーコードビットストリングに関連付けられる。一意の装置識別子もまた、関連付けられた公開鍵及び任意の他の適当な情報とともに、バーコードビットストリングに関連付けられる。結果として得られる情報の関連付けは、伝送されるべきタイムスタンプメタデータである。特定の実施では、メタデータは、以下の内容を含みうる。
・平文バーコードデータ：１２８ビット（１６進符号化されたとき３２個の１６進文字）
・平文タイムスタンプ：YYYYMMDDHHMMSS（１７文字）
・平文送信器装置ＩＤ：６４ビット（１６進符号化された１６文字）
・平文人間読み取り可能なメタデータ：例えば１１１文字。これはキーボードを介して入力されてもよく、音声インタフェースから書き写されてもよい
・平文公開鍵：１２８ビット（１６進符号化された３２文字）。

ステップ７０４では、上述のデータはUnicodeテキストメッセージ「xmsg」へフォーマットされる。ステップ７０６では、xmsgはＭＤ５ハッシュ関数を受け、ハッシュされたメッセージ「xhsh」が生成される。ステップ７０８において、ハッシュメッセージは、装置の秘密鍵を用いて暗号化され、暗号化されたメッセージ「xehsh」が生成される。テキストメッセージxmsg及び暗号化されたメッセージxehshは、ステップ７１０で連結され、送信メッセージ「xmit-msg」が生成される。送信メッセージは、
・上述の「xmsg」の内容
・「xehsh」から構成される署名（ＭＤ５ハッシュでは、このメッセージは３２個の１６進文字で符号化されうる）
全体の長さ＝２４０文字
を含む。
次に、送信メッセージは、バーコードリーダによって伝送される。

図８を参照するに、本発明のこの面の特定の実施例により受信したメッセージをビデオストリームへ組み込む一般的な処理シーケンスが示されている。ステップ８０２において、受信装置はxmit-msgを受信する。現在時刻が得られ、受信されたメッセージと関連付けられる。一意の受信器装置識別子もまた、関連する公開鍵及び任意の他の適当な情報と共に、受信されたメッセージに関連付けられる。結果として得られる情報の関連付けは、以下の内容を含みうる。
・受信されたメッセージの平文パッケージ：（２４０文字）
・平文タイムスタンプ（１７文字）
・平文受信器装置ＩＤ（１６文字）
・平文人間読み取り可能なメタデータ（例えば、２４文字）
・平文受信器公開鍵（１６進符号化された３２文字）。

受信されたxmit-msgが特定の受信装置用であることが意図されるかどうかを決定するために更なるテストがなされうる（図示せず）ことが認められ得る。xmit-msgは、受信装置の識別子を含まねばならず、送信端では包含関係が生じていることが理解される。受信装置は、当該の装置用ではない全てのマーカーメッセージを無視しうる。

上述のデータは、ステップ８０４において、Unicodeテキストメッセージ「rmsg」としてフォーマットされる。ステップ８０６において、rmsgにＭＤ５ハッシュアルゴリズムが適用され、ハッシュされたメッセージ「rhsh」が生成される。ステップ８０８において、ハッシュされたメッセージは、受信装置の公開鍵を用いて暗号化され、暗号化されたメッセージ「rehsh」が生成される。最後にステップ８１０において、rmsg及びrehshから構成される連結されたメッセージが生成される。連結されたメッセージは、認証されたタイムスタンプ付けされたビデオストリームを生成するようビデオストリームへ挿入される。

メタデータへ追加される任意のデータ注釈は、保護され、認証されうる。タイムスタンプ付けされたビデオストリームは、特定の時間に特定の送信器（即ちバーコードリーダ等のイベントマーク付け装置）から特定の受信器へ送信されたことが検証されうる。バイオメトリック情報が与えられていれば（例えばスキャンされた指紋）、又は、パスワード等の何らかの同様に信頼できるユーザ認証方法が提供されていれば、ユーザが照合されうる。

図９を参照するに、タイムスタンプ付けされた情報ストリームの検証の典型的な処理シーケンスを示す。処理は、適当なソフトウエアにより検証処理を行うよう構成された再生装置によって実行されうる。或いは、処理は、メタデータの視覚可能なフォーマットが利用可能とされれば、人間によれる転写によって行われうる。従って、ステップ９０２において、ベリファイア（機械であると人間であるとを問わない）は、送信器の公開鍵を用いて、送信されたメタデータxmit-msgのxehshメッセージを復号し、復号されたメッセージ「xrchsh」を生成する。ステップ９０４において、送信されたメタデータのxmsg部分に対してＭＤ５ハッシュが行われ、「xhsh2」が生成される。

次に、ステップ９０１において、復号されたメッセージxrchshが「デハッシュ」されたメッセージxhsh2と一致するかどうか判定が行われる。一致しない場合、検証は失敗し、ステップ９２２において、適当な応答が生成される。このような検証がされなければ、注釈が後の時間に他の装置によって偽造されたものでないという保証はない。このアルゴリズムは、情報が特定の符号化装置から来たものであることを検証し、なぜならばその装置のみが、送信されたメッセージのＭＤ５ハッシュを暗号化するために用いられる秘密鍵を有するからである。このような検証が重要でない場合、アルゴリズムは、図中のステップ９０６へ入りうる。

一致が見いだされれば、ステップ９０６において、タイムスタンプ付けされたビデオストリームに組み込まれたメタデータ（rmsg+rehsh）が処理される。これは、受信器の公開鍵を用いてメッセージrehshを復号し、「rrchsh」を生成することを含む。ＭＤ５ハッシュは、ステップ９０８においてrmsgに適用され、「デハッシュ」されたメッセージ「rhsh2」が生成される。

ステップ９０３において、デハッシュされたメッセージrhsh2が復号されたメッセージrrchshと一致するかどうかの判定がされる。一致が見いだされなければ、ステップ９２４において、失敗した検証に対する適当な応答が行われる。一致が見いだされれば、ステップ９２６において適当な検証応答がなされる。

本発明のこの面は、マルチユーザ環境を容易とする。ユーザは、注釈付けされた情報ストリームを再び見ることによって他の注釈を見つけうる。逆に言えば、ストリームに追加的な材料を組み込むことにより情報ストリームに更に注釈付けすることが便利である。注釈は情報ストリーム自体に組み込まれるため、注釈タイムスタンプの異なるソースを維持する必要はない。

本発明のこの面は、リアルタイムデータストリームの「公証」を容易とする。暗号化と予測不可能なイベントマーカーの組合せ（十分に多くの量のランダムとされたデータを保持するために２次元バーコードを用いることによって容易とされうる）は、情報ストリームを「偽造」することを困難とする。

注釈は情報ストリームへ組み込まれるため、観察者のクロックとデータソースのクロックとの間の「クロックドリフト」は回避されうる。注釈はタイムスタンプの受信の時間に情報ストリームへ組み込まれるため、同期された時間基準を確保する必要はない。実際に、送信器の時間値とデータストリームの時間値の間の違いにより、ユーザは、ビデオストリームが元々受信された時間よりもはるか遅くにそのビデオストリームにマーク付けすることを可能とする。例えば、受信器は、元々の記録の日付の数年後にビデオ中のイベントにマーク付けすることができる。日付及び時間は、注釈の中に直接捕捉され注釈がいつストリームに加えられたかの正確な決定のための後の解析を可能とする。

マルチユーザタイムスタンプ付けは、タイムスタンプ付けされた情報ストリームのうちユーザに関連する部分を識別することによって要約することができる。すると、そのユーザについて、タイムスタンプ付けされた情報ストリームの部分は、画像等によって表現されえ、イベントマーカーに従ってグループ化されうる。これは、各ユーザについて繰り返されうる。このマルチユーザ設定は、タイムスタンプ付けされた情報が情報ストリームとは別に記憶されていると情報ストリームに組み込まれているとを問わずに適用可能である。

本発明の一面を示すハイレベル概略ブロック図である。 複数の情報ストリーム及び／又は複数のイベントマーカーストリームが生成されうる本発明の一面を示す図である。 本発明の例示的な実施例を示す概略ブロック図である。 情報ストリームのタイムスタンプ付けを示す図である。 ペーパー・プレゼンテーションの様々な実施例を示す図である。 本発明の特定の実施の段階に注目したフローチャートである。 タイムスタンプが記録装置へ通信される構成を示す図である。 伝送のためにタイムスタンプメッセージをパッケージングする段階に注目したハイレベル・フローチャートである。 受信したタイムスタンプメッセージを処理する段階に注目したハイレベル・フローチャートである。 タイムスタンプ付けされた情報ストリームの検証の段階に注目したハイレベル・フローチャートである。

符号の説明

１０２ 情報記録装置
１０４ イベントマーク付け装置
１０６ プレゼンテーションエンジン
１０８ 記憶装置
１１２ａ 情報ストリーム
１１２ｂ タイムスタンプ
１１４ 通信リンク
１１６ タイミング情報
１３２ プレゼンテーション

Claims (51)

1. 第１の情報ストリームを生成する段階と、
   複数の所定のマーカーから選択されたマーカーを示すイベントマーカーを受信する段階と、
   各受信されたイベントマーカーについて、各イベントマーカーが前記複数の所定のマーカーからのその選択の時間に関して前記第１の情報ストリームと同期された第２の情報ストリームを生成するよう、前記イベントマーカーの表現を前記第１の情報ストリームへ組み込む段階と、
   記録された情報として前記第２の情報ストリームを記憶する段階とを有する、
   情報を記録する方法。
2. 前記イベントマーカーを受信する段階は、前記イベントマーカーを表わす送信された信号を受信することを含む、請求項１記載の方法。
3. 前記複数の所定のマーカーは、バーコードの印の印刷されたシートを含み、前記送信された信号は１つ又はそれ以上のバーコードの印の上でのバーコードスキャナのスキャンによって生成される信号である、請求項２記載の方法。
4. 前記所定のマーカーはビデオディスプレイ上に提示されるグラフィックスである、請求項１記載の方法。
5. 前記各イベントマーカーは、前記所定のマーカーのうちの１つを選択している間の時間に生成された暗号化された成分を含む、請求項１記載の方法。
6. 前記暗号化された成分を生成するのに非対称暗号化技術を用いる段階を更に含む、請求項５記載の方法。
7. 前記暗号化された成分を生成するのに対称暗号化技術を用いる段階を更に含む、請求項６記載の方法。
8. 前記組み込む段階は、非対称暗号化技術を用いて前記イベントマーカーを暗号化することを含む、請求項６記載の方法。
9. 前記組み込む段階は、対称暗号化技術を用いて前記イベントマーカーを暗号化することを含む、請求項６記載の方法。
10. 前記生成する段階は、前記第１の情報ストリームを作成することを含み、前記イベントマーカーは前記第１の情報ストリームの生成中に生成される、請求項１記載の方法。
11. 前記生成する段階は、以前に記録された情報ストリームを再生することを含み、前記イベントマーカーは前記以前に記録された情報ストリームの再生中に受信される、請求項１記載の方法。
12. 前記第１の情報ストリームは、再生されている以前に記録された情報ストリームであり、前記イベントマーカーは以前に発生されたイベントマーカーである、請求項１記載の方法。
13. 各イベントマーカーはメタデータに関連付けられ、前記組み込む段階は、前記メタデータに前記第１の情報ストリームを関連付けることを含む、請求項１記載の方法。
14. 前記イベントマーカーを受信する段階は、第１のユーザから第１のイベントマーカーを受信し、第２のユーザから第２のイベントマーカーを受信することを含む、請求項１記載の方法。
15. 第１の情報ストリームを生成する段階と、
    話された言葉を表わすイベントマーカーを受信する段階と、
    各受信されたイベントマーカーについて、各イベントマーカーがそれに対応する話された言葉が話された時間に関して前記第１の情報ストリームと同期された第２の情報ストリームを生成するよう、前記イベントマーカーの表現を前記第１の情報ストリームへ組み込む段階と、
    前記第２の情報ストリームを記録された情報として記憶する段階とを有する、情報を記録する方法。
16. 第１の情報ストリームを受信する段階と、
    第１のタイムスタンプを受信する段階と、
    前記第１の情報ストリーム中における前記第１のタイムスタンプの受信時と同期する時点に、前記第１のタイムスタンプの表現を前記第１の情報ストリームへ組み込む段階と、
    追加的なタイムスタンプを受信する段階と、
    前記追加的なタイムスタンプを前記第１のタイムスタンプと同様に前記第１の情報ストリームへ組み込み、それにより第２の情報ストリームを生成する段階と、
    前記タイムスタンプに含まれるイベントマーカーに基づいて前記第２の情報の部分をグループ化し、
    前記第２の情報ストリームの各部分を表わす画像を生成し、
    同じイベントマーカーに関連する前記第２の情報ストリームの当該部分に対応する画像は一緒にグループ化されるよう、視覚媒体上に前記画像を提示する、
    前記第２の情報ストリームの部分を提示する段階とを有し、
    各タイムスタンプは、複数の所定のマーカーからマーカーを選択することによって生ずる、
    情報を記録する方法。
17. 前記第１の情報ストリームを受信する段階は、イベントを記録している記録装置から信号を受信することを含む、請求項１６記載の方法。
18. 前記第１の情報ストリームを受信する段階は、以前に記録された情報ストリームを再生することを含む、請求項１６記載の方法。
19. 各タイムスタンプは、第１の暗号化された成分を有し、前記第１の暗号化された成分は第１の暗号鍵で生成され、前記第１の暗号鍵は前記タイムスタンプを発生するタイムスタンプ装置に関連付けられる、請求項１６記載の方法。
20. 前記タイムスタンプ装置は、バーコードスキャナ装置である、請求項１９記載の方法。
21. 前記第１の暗号化された成分は非対称暗号化技術を用いて暗号化される、請求項１９記載の方法。
22. 前記第１の暗号化された成分は対称暗号化技術を用いて暗号化される、請求項１９記載の方法。
23. 前記方法は記録装置で実行され、前記組み込む段階は、前記タイムスタンプを第２の暗号鍵で暗号化することを含み、前記第２の暗号鍵は前記記録装置に関連付けられる、請求項１９記載の方法。
24. 前記第１の暗号化された成分は第１の暗号化技術を用いて生成され、前記タイムスタンプを第２の暗号鍵で暗号化する段階は前記第１の暗号化技術を用いて行われる、請求項２３記載の方法。
25. 前記第１の暗号化された成分は第１の暗号化技術を用いて生成され、前記タイムスタンプを第２の暗号鍵で暗号化する段階は前記第１の暗号化技術とは異なる第２の暗号化技術を用いて行われる、請求項２３記載の方法。
26. 前記タイムスタンプを第２の暗号鍵で暗号化する段階は、非対称暗号化技術を用いて行われる、請求項２３記載の方法。
27. 前記タイムスタンプを第２の暗号鍵で暗号化する段階は、対称暗号化技術を用いて行われる、請求項２３記載の方法。
28. 各タイムスタンプは、前記タイムスタンプの源を識別する装置識別子を更に含む、請求項１６記載の方法。
29. 各タイムスタンプは、ユーザに関連するバイオメトリック情報を更に含む、請求項１６記載の方法。
30. 各タイムスタンプは、ユーザ識別情報を更に含む、請求項１６記載の方法。
31. 少なくとも第１の情報ストリームを生成する段階と、
    複数の所定のマーカーから選択されたマーカーを示す複数の第１のイベントマーカーを受信する段階と、
    前記第１のイベントマーカーを表わし、前記マーカーの選択の時間に基づいて前記第１の情報ストリームと同期されたマーカー情報を前記第１の情報ストリームへ組み込む段階と、
    前記第１の情報ストリームを前記マーカー情報と共に記憶する段階と、
    を有する方法を実行するよう動作可能なデータ処理コンポーネントを有する、情報ストリームを記録する記録装置。
32. 前記生成する段階は、前記第１の情報ストリームを形成する段階である、請求項３１記載の記録装置。
33. 前記再生する段階は、以前に記録された情報ストリームを再生する段階である、請求項３１記載の記録装置。
34. 前記イベントマーカーは、スキャンされたバーコードを表わす、請求項３１記載の記録装置。
35. 前記複数の第１のイベントマーカーを受信する段階は、各イベントマーカーに関連付けられる追加的な情報を受信することを含み、前記追加的な情報は前記第１の情報ストリームへ組み込まれる、請求項３１記載の記録装置。
36. 前記追加的な情報は、イベントマーカーの源を識別する第１の装置識別子、ユーザを表わすバイオメトリック情報、及び前記記録装置を識別する第２の装置識別子のうちの１つ又はそれ以上を含む、請求項３５記載の記録装置。
37. 前記追加的な情報は、前記記録装置を識別する装置識別子を含み、前記データ処理コンポーネントは、装置識別子が前記記録装置に一致するイベントマーカーのみを組み込むよう更に動作可能である、請求項３１記載の記録装置。
38. 前記データ処理コンポーネントは、前記イベントマーカーを暗号化するよう更に動作可能である、請求項３１記載の記録装置。
39. 前記イベントマーカーは、非対称暗号化技術及び対称暗号化技術のうちの一方を用いて暗号化される、請求項３８記載の記録装置。
40. 前記イベントマーカーは夫々が暗号化された成分を有する、請求項３９記載の記録装置。
41. 前記暗号化された成分は、前記イベントマーカーを生成するのに用いられる装置に関連する暗号鍵を用いて暗号化される、請求項４０記載の記録装置。
42. 前記情報ストリームは、マルチメディア・データストリーム、アナログストリーム、複数の画像フレーム、及びセンサデータのストリームのうちの１つを含む、請求項３１記載の記録装置。
43. 各タイムスタンプが情報ストリーム中の時点に関連付けられ、各タイムスタンプが関連するイベントマーカーを表わす、複数のタイムスタンプを表わす情報を有する情報ストリームを受信する手段と、
    前記タイムスタンプに関連付けられる時点において前記情報ストリームの部分にアクセスする手段と、
    前記情報ストリームのアクセスされた部分の表現を発生する手段と、
    前記表現の画像を形成し、前記画像を提示する手段とを有し、
    前記関連付けられたイベントマーカーは、複数の所定のマーカーから選択されたマーカーによって生成される、
    情報ストリームへアクセスする装置。
44. 前記画像は、前記イベントマーカーに基づいてグループ化される、請求項４３記載のシステム。
45. 各タイムスタンプは、関連付けられたユーザ識別子を更に有し、前記画像は前記ユーザ識別子及び前記イベントマーカーに従ってグループ化される、請求項４３記載のシステム。
46. 各タイムスタンプはユーザ識別子に更に関連付けられ、前記画像は前記ユーザ識別子に基づいて更にグループ化され、第１のユーザ識別子に関連する第１の画像は一緒にグループ化され、前記第１の画像は次に前記イベントマーカーに基づいてグループ化される、請求項４５記載のシステム。
47. 前記タイムスタンプは夫々、暗号化された部分を有し、前記アクセスする手段は、前記暗号化された部分を復号する手段を含む、請求項４３記載のシステム。
48. 各タイムスタンプに関連付けられるイベントマーカーは暗号化された部分を有し、前記アクセスする手段は更に、前記イベントマーカーの前記暗号化された部分を復号する手段を有する、請求項４７記載のシステム。
49. 追加的なタイムスタンプを受信し、第２の情報ストリームを生成するよう前記タイムスタンプを前記情報ストリームへ組み込む手段を更に有する、請求項４３記載のシステム。
50. 前記画像を形成する手段はプリンタである、請求項４３記載のシステム。
51. 前記画像を形成する手段は視覚ディスプレイ装置である、請求項４３記載のシステム。

Images