JP2008507195A - コンテントとリニア・メディアを対応付けるための方法及びシステム - Google Patents

コンテントとリニア・メディアを対応付けるための方法及びシステム Download PDF

Info

Publication number
JP2008507195A
JP2008507195A JP2007521427A JP2007521427A JP2008507195A JP 2008507195 A JP2008507195 A JP 2008507195A JP 2007521427 A JP2007521427 A JP 2007521427A JP 2007521427 A JP2007521427 A JP 2007521427A JP 2008507195 A JP2008507195 A JP 2008507195A
Authority
JP
Japan
Prior art keywords
content
linear media
media
user
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007521427A
Other languages
English (en)
Other versions
JP5363727B2 (ja
Inventor
クレイグ ジョージ コッカートン
ピーター フィリップ ムーディー
パトリック マティアス クンツ
Original Assignee
タンドバーグ エヌゼット リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タンドバーグ エヌゼット リミテッド filed Critical タンドバーグ エヌゼット リミテッド
Publication of JP2008507195A publication Critical patent/JP2008507195A/ja
Application granted granted Critical
Publication of JP5363727B2 publication Critical patent/JP5363727B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本発明は、コンテントをリニア・メディアと対応付けるための方法及びシステムに関連する。より詳細には、しかし排他的でなく、本発明は、コンテントをリニア・メディアの一部にリンクすることによって、非同期的なコンテントを、リニア・メディアと対応付けるための方法及びシステムであって、リニア・メディアに関連するコンテントを生成し(5)、コンテントに対応付けられたリニア・メディアの一部を識別し(4)、そして、
コンテントを一部にリンクする(6)、ステップを含み、コンテントが、リニア・メディアと同期されず、コンテントが、リニア・メディアの生成とは非同時発生的に生成される方法及びシステムに関連する。本発明の方法を実行するためのサーバ、システム、装置、及び、ソフトウェアと共に、協動的なメディアを提供し、リニア・メディアにアクセスするための方法もまた開示される。

Description

本発明は、コンテント(content)とリニア・メディア(linear media)を対応付けるための方法及びシステムに関連する。より詳細には、しかし、限定的でなく、本発明は、コンテントをリニア・メディアの一部にリンクすることによって、コンテントをリニア・メディアに対応付けるための方法及びシステムに関連する。
ビデオ・コンフェレンスにおける協動は、現在、同期が取られた方法に基づくのが通例である。ビデオ・コンフェレンスが行われるときには、参加者は、ライブ・チャット、共有されたホワイト・ボード、及び、文書共有のような特徴を利用する。コンフェレンスが行われている間においてこれらの特徴は有用であるが、コンフェレンスが終了したときには、その価値を失う。何故なら、これらの特徴は、人々が、同時に出席することを要求するからである。
記録されたビデオ・コンフェレンスと、非同期的な協動作業方法を結合することによって、ビデオ・コンフェレンスの参加者と、ビデオ・コンフェレンスに参加できない他の者の双方にとって、彼ら自身の時間において、ビデオ・コンフェレンスに再訪問し、ビデオ(又は音声)を検討し、そのコンテントについての議論に、非同期的に参加することが可能となる。しかし、単に、ビデオへのリンクを提供し、次に、議論へのリンクを提供することは、非常に限定的であり、小さな付加価値しか提供しない。同期的メディア(リニア・メディア)と、非同期的協動をリンク付けするコンセプトは、それらを一緒にし、それらを、2つの組合せではなく、単一の技術として提示することによって、2つの、深いレベルの統合(integration)を提供する。
リニア・メディアと非同期的技術(例えば、非同期的協動)をリンクするための現在の方法は、それらのリンキングの範囲及び有効性において限定されている。
オンンライン・ディスカッション・フォーラムのような非同期的協動環境において、ユーザは、リンク(例えばURL)を含むメッセージを、ストリーミング・ビデオのようなリニア・メディアのいくつかのフォーラムに提示することが許される。これは1方向のリンクであり、読み手がそれを眺めることができるように、読み手を、ストリーム化されたメディアに向ける目的だけを提供する。このストリーム化されたビデオについて議論が行われ得るが、それらのテキスト全体を通じた参照によって、メッセージ・ポスティングがストリーム化されたビデオを参照するようなやり方によってのみ議論が行われ得る。ストリーム化されたビデオ内の特定のポイントへの参照は、メッセージ・ポスティング・テキスト(例えば、「(リンクが提供された)ビデオの16分位の位置において」)内で説明されなければならない。そして、次に、視聴者は、正確な位置を探しながら、そのポイントを探すことが要求される。ビデオは、それを開始させるために、メッセージ内のリンク上をクリックすることによってのみ視聴され得る。そして、メッセージ自体は、ストリーム化されたビデオへの更なる参照(reference)を保持しない。
標準的なURL上の前進(advancement)は、「しおり(bookmark)」である。この場合には、ユーザは、ストリーミング・ビデオのようなリニア・メディアのフォームへのリンクを生成できるだけでなく、このリンクを、ストリーミング・ビデオ内の時間のポイントに生成することが可能である。これは、リンクを、より特定的に(specific)し、ユーザが、ストリーミング・ビデオ内の時間の特定のポイントを識別することを可能とする。しおりの上をクリックすることによって、視聴者がビデオを開始してその位置を探索せねばならぬのではなく、視聴者はメッセージ・ポスター(poster)が参照されている特定のポイントに連れていかれる。しかし、このリンクもまた1方向性であり、メッセージは、ストリーミング・ビデオについての更なる情報を全く保持しない。
2つの、以上の例が、単純な表現で、リニア・メディアと非同期的技術をリンクすることが既に可能であることを示した一方、それらのリンクの1方向性によって、それらは、それらの使用において限定される。
本発明の目的は、非同期的コンテントをリニア・メディアと対応付けるための方法及びシステムを提供することによって、従来技術の不利な点を克服すること、又は、少なくとも、有用な代替物を提供することである。
本発明の第1の特徴によれば、
(i)リニア・メディアに関連するコンテントを生成し、
(ii)前記コンテントに対応付けられる前記リニア・メディアの一部を識別し、そして、
(iii)コンテントを前記一部にリンクする、
ステップを含み、
前記コンテントが、前記リニア・メディアと同期されておらず、
前記コンテントが、前記リニア・メディアの生成と非同時発生的に生成される、
コンテントをリニア・メディアに対応付ける方法が提供される。
本方法は、ステップ(i)の前に、リニア・メディアを記録するステップを含むことが好ましい。
前記一部は、
・リニア・メディアを再生する、
・ユーザがリンクするためにコンテントを選ぶ、
・ユーザが、コンテントを提供する、
ことによってステップ(ii)で識別され得る。ここで、識別された前記一部は、ユーザがリンクするためにコンテントを選ぶときの前記リニア・メディア内の位置であり、ユーザがコンテントを提供するときにリニア・メディアは再生し続ける。
前記一部は、
・リニア・メディアを再生する、
・ユーザが、コンテントをリンクするために選択する(electing)、
・リニア・メヂィアを休止する、
・ユーザが、コンテントを提供する、
ことによってステップ(ii)において識別され(identified)得る。ここで、識別された前記一部は、ユーザがコンテントをリンクするために選択するときのリニア・メディア内の位置である。
好ましくは、リンクは、2方向リンクである。
リニア・メディアが、
・ストリーミング・ビデオ(例えばRealMedia, Windows(登録商標) Media, QuickTime ビデオ)、
・ストリーミング音声(例えば、RealMedia, Windows(登録商標) Media, QuickTime audio)
・ストリーミング・プレゼンテーション(ビデオ/音声及びスチル画、例えば、SMILプレゼンテーション)、
・フラッシュ(Flash)・プレゼンテーション、
・監督/オーサー・ウェア(Authorware)・プレゼンテーション、
・HTTP擬似ストリーミング・ビデオ(例えば、QuickTime高速スタート映画)、
・HTTP擬似ストリーミング音声
・CD/DVDベースのビデオ、
・CD/DVDベースの音声、
・CD/DVDベースの同期化されたメディア・プレゼンテーション、
・ハード・ディスク・ベースのビデオ、
・ハード・ディスク・ベースの音声、
・ハード・ディスク・ベースの同期化されたメディア・プレゼンテーション、
・イメージ・シーケンス(フォト・モンタージュ等)
・IPTV、
・デジタル・テレビ(即ち、HDTV)
・3Gビデオ、
・音声CD
のいずれか1つであることが好ましい。
コンテントは、
・テキスト的な(テキスト/キャラクター・ベースのメッセージ・ポスティング)、
・チャット・トランスクリプト、
・リニア・メディアの音声コンテントのスピーチからテキストへのトランスクリプト、
・ストリーミング音声/ストリーミング・ビデオ応答(非同期的ビデオ・コンフェレンスの一種)
・ダウンロードされた音声/ビデオ(音声/ビデオ・メール応答を残すような)
・スチル画像、
・発明の他の例(instance)へのリンク、
・ウェブ・サイト又はウェブ・サイト上のコンテントへのリンク、
・上述のリニア・メディアのいずれか
の1つあるいはそれより多いことが好ましい。
リニア・メディア内の一部を識別する(identify)ユーザが、コンテントを生成することが好ましい。或いは、コンテントは、前記一部を識別するユーザによって生成されないかもしれない。
前記一部は、時間又は時間範囲における特定のポイントであり得る。
前記一部は、ユーザの助けによって識別され得る。
前記一部は、より早い時点でユーザによって有効とされたルールに基づく、コンピュータの助けによって識別され得る。
前記一部は、
・メディアへのビューイング(viewing)/聞き取り(listening)に基づくユーザ選択による、時間内の特定のポイント、
・メディアへのビューイング(viewing)/聞き取り(listening)に基づくユーザ選択による時間の範囲、
・ユーザによって現在見られているコンテントに基づく時間の範囲(例えば、ビデオで見られている現在のスライドの開始及び終了時刻)、
・エラーのマージンを伴う(例えば、+/−30秒のユーザ選択)、ユーザ選択に基づく、時間における特定のポイント又は範囲、
・ランダムに選択される、
・(スライドの変化、メディア源の変化、等による)特定の事象(event)
−H.323アンブレラの元でカバーされるプロトコルを含む、H.323プロトコルが、特定の事象を識別するために使用される。
・ワード、又はフレーズ(例えば、スピーチからテキストへの認識)、
・ビデオ・コンテント(例えば、ビデオ分析が、特定の人がビデオに現れたことを知らせる)、
・一部を既に識別しているコンテントへのリンクを通じた参照によって識別される、
・所定のルールの組に基づく自動化された選択(例えば、コンピュータがメディアを処理)、
・利用可能なコンテントの組をグルーピングし、最も早い開始及び最も最近の終了時間を識別することによる、
の1つによって識別され得る。
本方法が、ステップ(i)の前に、ユーザ・コンピュータにストリーミングし、ユーザ・コンピュータにダウンローディングし、又は、ユーザコンピュータによって使用するために記録可能メディア上に記憶するステップを含むことが好ましい。
リニア・メディアがビデオであり、コンテントがテキストであることが好ましい。
本方法は、ユーザが、第2のコンテントで、コンテントに応答するステップを含み得る。そのような場合、本方法は、更に、第2のコンテントを、コンテントによってリンクされた一部にリンクするステップを含み得る。
本方法は、コンテントの生成にタイム・スタンピングするステップを含み得る。
好ましくは、一部を識別している情報は、コンテントとともに記憶される。
本発明の他の特徴によれば、
i)複数のユーザの夫々が、リニア・メディア内の一部を識別する;
ii)各ユーザが、対応する一部に関係するコンテントを生成する;そして
iii)各コンテントを、その、対応する一部にリンクする;
ステップを含み、
コンテントがリニア・メディアと同期されておらず、リニア・メディアの生成と共に、コンテントが、非同時発生的に生成される、コンテントを、リニア・メディアに対応付ける方法が提供される。
本方法は、各コンテントの生成をタイム・スタンピングするステップを含み得る。
好ましくは、各リンクは、2方向リンクである。
本発明の他の特徴によると、
i)リニア・メディアを記録し、
ii)複数のユーザが、リニア・メディア内の一部を識別し、
iii)各ユーザが、対応する一部に関連するコンテントを生成し、
iv)各コンテントを、その、対応する一部にリンクし、
v)複数のコンテントを含むインターフェースを、ユーザに表示し、
vi)ユーザが、1つのコンテントを選択し、そして
vii)インターフェースが、選択されたコンテントに対応するリニア・メディアの一部を表示するステップを含み、
少なくとも1つのコンテントがリニア・メディアと非同時発生的であり、少なくとも1つのコンテントが、リニア・メディアの生成とは非同時発生的に生成される、協働的なメディアを提供する方法が提供される。
本方法は、各コンテントの生成をタイム・スタンピングするステップを含み得る。
各リンクが、2方向リンクであることが好ましい。
好ましくは、コンテントのいずれも、リニア・メディアと同期されていない。
好ましくは、コンテントの全てが、リニア・メディアの生成とは非同時発生的に生成される。
本発明の他の特徴によれば、
i)ユーザが、非同期的コンテントを選択し;そして
ii)コンテントにリンクされた一部からリニア・メディアを再生する;
ステップを含み、
コンテントが、リニア・メディアの生成とは非同時発生的に生成されたものである、リニア・メディアにアクセスする方法が提供される。
本発明の他の特徴によれば、
i)ユーザが、時間の範囲を選択するために探索し、
ii)時間の範囲内のリニア・メディアの一部にリンクされた非同期的なコンテントを表示し;そして
iii)時間の範囲内のリニア・メディアを表示する、
ステップを含み、
コンテントが、リニア・メディアの生成とは非同時発生的に生成されたものである、リニア・メディアにアクセスする方法が提供される。
本発明の他の特徴によれば、
i)リニア・メディアを表示し、そして
ii)リニア・メディア内の一時的な位置において、その一時的な位置に関連するリニア・メディアの一部にリンクされた非同期的なコンテントを表示するステップを含み、
コンテントが、リニア・メディアの生成とは非同時発生的に生成されたものである、リニア・メディアにアクセスする方法が提供される。
本発明の他の特徴によれば、
サーバが、メディアを、クライアント装置にストリーミングするようにされ;そして
クライアント装置が、コンテントを生成するために、そして、コンテントを一部にリンクするために、ユーザ入力を受け取ってリニア・メディアの一部を識別するために、リニア・メディアを受信するようにされるステップを含む、コンテントをリニア・メディアと対応付けるためのシステムが提供される。
好ましくは、サーバは、インターネットを介して、クライアント装置と通信する。より好ましくは、システムは、複数のクラアント装置を含む。
本発明の他の特徴によれば、
コンテントを生成するために、そして、コンテントを一部にリンクするために、ユーザ入力を受け取ってリニア・メディアの一部を識別するために、リニア・メディアを表示するようにされた第1の装置、及び
ユーザ入力を受け取ってコンテントを選択するために、そして、コンテントにリンクされたリニア・メディアの一部を表示するために、コンテントを表示するようにされた第2の装置、を含む、協動的メディアを提供するためのシステムが提供される。
本発明の他の特徴によれば、
リニア・メディアを記憶し、コンテントを記憶するようにされたメモリ、
リニア・メディアを、ユーザに出力するようにされた出力装置、
ユーザ入力を受け取って、リニア・メディアの一部の識別を支援するようにされた入力装置、及び
リニア・メディアの一部を、コンテントにリンクするようにされたプロセッサ、
を含む、コンテントをリニア・メディアに非同期的に対応付けるための装置が提供される。
好ましくは、入力装置は更に、ユーザ入力を受け取ってコンテントを生成するようにされる。
本発明の他の特徴によれば、コンテントを、コンテントを受け取るようにされたリニア・メディアに非同期的に対応付け、リニア・メディアの一部の識別(identification)を受け取り、そして、コンテントを、リニア・メディアにリンクするためのサーバであって、
コンテントが、リニア・メディアの生成とは非同時発生的に生成されるものである、サーバが提供される。
本発明の他の特徴によれば、非同期なコンテントを、コンテントを生成するようにされたリニア・メディアに対応付け、ユーザ入力を受け取って、リニア・メディアの一部の識別を支援し、コンテント及び識別をサーバに送るためのクライアントであって、
コンテントは、リニア・メディアの生成とは非同時発生的に生成されるものであるクライアントが提供される。
本発明の他の特徴によれば、
リニア・メディアを表示し、ユーザ入力を受け取ってリニア・メディアの一部を識別し、そして、ユーザ入力を受け取ってコンテントの生成を支援するようにされたユーザ・インターフェース、及び、
コンテントを、リニア・メディアの一部にリンクするようにされた協動モジュール、
を含み、
コンテントが、リニア・メディアとは非同時発生的に生成される、非同期的なコンテントをリニア・メディアと対応付けるためのソフトウェアが提供される。
本発明の他の特徴によれば、本発明の何らかのシステム内の、サーバとクライアントの間に送信される信号が提供される。
本発明の他の特徴によれば、本発明の方法、システム、ソフトウェア、装置、サーバ、又は、クライアントのいずれかに起因する(resulting from)協動的メディアが提供される。
本発明の他の特徴によれば、
リニア・メディア、
コンテント;及び
コンテントを、リニア・メディアの一部にリンクするタイミング情報、
を含む協働的(collaborative)メディアが提供される。
添付の図面を参照して、例示の目的のみによって、本発明の実施例についてこれから説明する。
本発明は、コンテントを、リニア・メディアの一部にリンクすることによって、非同期的なコンテントを、リニア・メディアに対応付けるための方法及びシステムを記載する。
本発明の方法について、図1を参照して、これから説明される。
ステップ1において、リニア・メディアが記録される。リニア・メディアは、規定された開始時間、及び、好ましくは、規定された停止時間を有する何らかのメディアである。
以下のメディア・タイプは、本発明で使用され得るリニア・メディアのタイプのいくつかの例である。
・ストリーミング・ビデオ(例えばRealMedia, Windows(登録商標) Media, QuickTime ビデオ)、
・ストリーミング音声(例えば、RealMedia, Windows(登録商標) Media, QuickTime audio)
・ストリーミング・プレゼンテーション(ビデオ/音声及びスチル画、例えば、SMILプレゼンテーション)、
・フラッシュ(Flash)・プレゼンテーション、
・監督/オーサー・ウェア(Authorware)・プレゼンテーション、
・HTTP擬似ストリーミング・ビデオ(例えば、QuickTime高速スタート映画)、
・HTTP擬似ストリーミング音声
・CD/DVDベースのビデオ、
・CD/DVDベースの音声、
・CD/DVDベースの同期化されたメディア・プレゼンテーション、
・ハード・ディスク・ベースのビデオ、
・ハード・ディスク・ベースの音声、
・ハード・ディスク・ベースの同期化されたメディア・プレゼンテーション、
・イメージ・シーケンス(フォト・モンタージュ等)
・IPTV、
・デジタル・テレビ(即ち、HDTV)
・3Gビデオ、
・音声CD
上述のメディア・タイプのいくつかのために記録され得るデータの例は、
●ライブのビデオ
−スタジオ・ベース
−家庭で記録された
−ビデオ・コンフェレンス
−ウェブ・カム
−スクリーン・キャプチャ
●ライブの音声
−話された言葉
−音楽
−音声効果
−自然音
●アニメーション(ビデオ)
−セル・フレーム・アニメーション
−シミュレーション
−ストップ・モーション
●コンピュータ生成されたアニメーション(ビデオ)
−ユーザ・インターフェース
−コンピュータ・ベースのシミュレーション
−マルチプルの可能な結果的環境(outcome environment)(例えば、ゲーム)
●コンピュータ生成された音声
●時限式の(timed)スライド・ショー
−プレゼンテーション
−写真
−テスト
●ループ化されたビデオ
●ループ化された音声
●ループ化されたスライド・ショー
である。
ステップ2aにおいて、リニア・メディアは、ユーザのコンピュータにストリームされる。或いは、ステップ2bのように、リニア・メディアはユーザ・コンピュータにダウンロードされ得る。或いは、ステップ2cのように、ユーザコンピュータによる使用のために、記録可能なメディア上に記憶され得る。
ステップ3において、ユーザは、リニア・メディアを、ユーザ・コンピュータ上で見る/聞く。
ステップ4において、リニア・メディアの一部が、識別される(identified)。
一部は、ユーザがリニア・メディアを直接見る/聞くか、又は、より早い時刻において実効化された(put in place)ルールに基づく機械的手段によるかのいずれかによって、規定され(defined)、識別され得る。
一部は、時間の範囲であり得、或いは、リニア・メディア内の時間における特定のポイントであり得る。
一部は、以下のやり方いずれかにおいて識別され得る:
・メディアへのビューイング(viewing)/聞き取り(listening)に基づくユーザ選択による、時間内の特定のポイント、
・メディアへのビューイング(viewing)/聞き取り(listening)に基づくユーザ選択による時間の範囲、
・ユーザによって現在見られているコンテントに基づく時間の範囲(例えば、ビデオで見られている現在のスライドの開始及び終了時刻)、
・エラーのマージンを伴う(例えば、+/−30秒のユーザ選択)、ユーザ選択に基づく、時間における特定のポイント又は範囲、
・ランダムに選択される、
・(スライドの変化、メディア源の変化、等による)特定の事象(event)
・ワード、又はフレーズ(例えば、スピーチからテキストへの認識)、
・ビデオ・コンテント(例えば、ビデオ分析が、特定の人がビデオに現れたことを知らせる)、
・一部を既に識別しているコンテントへのリンクを通じた参照によって識別される、
・所定のルールの組に基づく自動化された選択(例えば、コンピュータがメディアを処理)、
・利用可能なコンテントの組をグルーピングし、最も早い開始及び最も最近の終了時間を識別することによる、
特定の事象による、一部の識別は、H.245、H.225.0、及び、H.263 G.711のような、H.323アンブレラの元でカバーされるプロトコルを含む、H.323プロトコルの支援によって、実現され得る。
H.323は、パケット・ベースのマルチメディア通信システムのための、国際電気通信連合の勧告である。この勧告は、必ずしも、保証されたサービスの品質(QoS)を提供しない、パケット・ベースのネットワークを介してマルチメディア通信を提供する主体(entity)に適用される。それは、H.323の主体が提供し得、如何にしてそれらが通信するかの、メディア通信の形式(form)を指定する。
そのような通信は、文書カメラへの変更、スナップショット(静止画)の受信、マルチポイント・コールにおける異なった場所へのスイッチング、及び、時刻であって当該時刻内でビデオコンフェレンス中に特定の場所がアクティブであった時刻の識別のような、ビデオ・コンフェレンス内の特定の事象を識別するインデックスを含み得る。これらのインデックスは、一旦獲得されると次に、ビデオ・コンフェレンス内の特定の事象の選択によって、非同期的コンテント及びリニア・メディアのリンクのための時間内の一部を識別するための基礎を形成できる。
ステップ5において、ユーザはコンテントを生成する。これは、リニア・メディアの生成とは、非同時発生的に発生する。例えば、もし、リニア・メディアが、テレコンフェレンスならば、コンテントは、記録されたテレコンフェレンスの検討後に生成されたテレコンフェレンスの一部についての議論であり得る。ステップ5は、ステップ4の前に発生し得る。
以下は、使用され得るコンテントのタイプの例である:
・テキスト的な(テキスト/キャラクター・ベースのメッセージ・ポスティング)、
・チャット・トランスクリプト、
・リニア・メディアの音声コンテントのスピーチからテキストへのトランスクリプト、
・ストリーミング音声/ストリーミング・ビデオ応答(非同期的ビデオ・コンフェレンスの一種)
・ダウンロードされた音声/ビデオ(音声/ビデオ・メール応答を残すような)
・スチル画像
・発明の他の例(instance)へのリンク、
・ウェブ・サイト又はウェブ・サイト上のコンテントへのリンク、
・上述のリニア・メディアの殆どを含む。
ステップ6において、コンテントは、リニア・メディアの識別部分にリンクされる。
この、リンクされたコンテント及びリニア・メディアが、今、ユーザによってアクセスされ得るような、いくつかのやり方が存在する:
a)ステップ7aにおいて、ユーザは、リニア・メディア内の特定の時間範囲を探索する。その時間範囲内のリニア・メディアにリンクされたコンテントは表示され(8)、その時間範囲に対するリニア・メディアが再生される(9)。
b)ステップ7bにおいて、リニア・メディアにリンクされた全てのコンテントのリストが、ユーザに提示される。ユーザは、表示されたコンテントの1つを選択する10。コンテントにリンクされたリニア・メディアの一部が再生される11。又は
c)ステップ7cにおいて、リニア・メディアが再生され、再生中のリニア・メディアの一部にリンクされたコンテントが表示される12。
(メッセージのような)コンテントは、それがリンクするリニア・メディアについてのタイミング情報に関連する情報を保持する。そして、それは、いつ、それが生成されたか、及び、(もし、コンテントが編集されたならば)いつそれが編集されたかについてのタイミング情報をも維持する。コンテント生成時間は、コンテントの、年代順の(chronological)順序付けを可能とすることによって、ステップ7bでユーザに提示されたときに、コンテントのリストが、コンテント・ポスティング(posting)の自然な時間順序に従うようにできる。
リニア・メディア内の時間のリンクされた一部に関連してコンテント生成時間が使用されるときに、ユーザは、リニア・メディアにおける興味の対象の一部に関連するものとして、コンテント・ポスティングの年代順の履歴を追う(follow)ことができる。
(メッセージのような)コンテントは、スレッデッド・モード(threaded mode)において、ユーザにも表示され得る。これによって、コンテントは、年代順に組織化されるが、新たに年代順に並べられたメッセージ・スレッドを生成するために、メッセージに応答することを可能とする。
図2は、リニア・メディア・ストリーム内の時間におけるポイントを識別する、非同期的コンテントの一つの場合(instance)を示す。時間内のこのポイントは、コンテント内の「しおり」タイプのリンクによってではなく、コンテント・インスタンスの別個の要素を通じた参照によって参照される。この参照要素は、単に、「しおり」タイプのリンクにおけるような、コンテントの小さなサブセット(subset)ではなく、コンテント全体として、リニア・メディア・ストリームにリンクすることを可能とする。これは2方向のリンクである。コンテントが、リニア・メディア・ストリーム内の時間の特定のポイントを参照する一方、メディア・ストリーム自身は、その特定のコンテント・インスタンスを発見するために使用され得る。
図3は、非同期的なコンテントが、リニア・、エディア・ストリーム内の時間の範囲を識別する一つの場合を説明する。時間内のこの範囲は、コンテント・インスタンス内の、1つあるいはそれより多い参照要素(elements)によって参照され得る。参照要素の例は開始時間、開始時間及び期間、開始時間及び終了時間、等である。これは、2方向リンクである。コンテントが、リニア・メディア・ストリーム内の時間の範囲を参照する一方、メディア・ストリーム自体は、時間の範囲に基づいて、その特定のコンテント・インスタンスを発見するために使用され得る。
図4は、時間のポイントと、時間の範囲の双方を識別する非同期的コンテントの一つの場合(instance)を説明する。それは、時間のポイント及び時間の範囲の識別及びリンキングを取り扱うために、図2及び図3で説明された方法を用いる。この例は、時間のポイントと、時間の範囲の双方が与えられた、完全な2方向リンキングを与える。
図5は、コンテント1が、時間の範囲によってリニア・メディア・ストリームにリンクされた非同期的コンテントである状態(及び、その逆)を示す。コンテント2は、コンテント1への応答である。しかし、コンテント1への参照におけるコンテント2のコンテキスト(context)は、コンテント1及びリニア・メディアのインテント(intent)の外側にある。これは、コンテント2が、リニア・メディア・ストリームとは、直接的には関連しないことを意味する。コンテント3は、コンテント2への応答(reply)であるが、それは、リニア・メディアのコンテキストの中にある。コンテント3は、(参照時間が維持されるが、「不活性(inactive)」としてマーキングされるので)コンテント2を通じてコンテント1に、それ故、リニア・メディアの位置に参照され得る。リニア・メディア内の識別された一部から関連するコンテント見ることは、結果として、コンテント2を生み出さないであろう。何故なら、それは、特別に関連しないことになろうからである。
図6は、如何にして、本発明が、ソフトウェア・モジュールに亘って展開(deployed)され得るかを示す。ウェブ・サーバ及び協動(Collaboration)エンジンは、1つの共通インターフェース内にハウジングされる。これは次に、メディア及びコンテントのアクセスのために、ファイル・システムにリンクする。このシステムでホストとされた(hosted)コンテントは、次に、ウェブ・サーバ、協動エンジン、及び、ファイル・システムのコア・ファシリティー(core facilities)の外部の他のシステムにリンクされる。
ウェブ・サーバと協動エンジンの組合せは、2つの形式(forms)を採り得る。最初は、ウェブ・サーバと相互作用する(interacting with)CGIアプリケーションの形式の協動エンジンである。この場合には、ウェブ・サーバは、通信リクエストを取扱い、これらのリクエストを、処理のために協動エンジンに渡す(passing)ことによって、ユーザと協動エンジンの間の仲介者として動作する。協動エンジンは、次に、リクエストの結果を、ユーザへのプレゼンテーションのために、ウェブ・サーバに戻して渡す。
第2の形式(form)は、ウェブ・サーバと協動エンジンが、1つの主体(entity)であるものである。この形式は、リクエストがユーザからウェブ・サーバを介して受信され、協動エンジンによって処理され、結果が、ウェブ・サーバを介してユーザに送り戻されること(そしてこれら全てが同じアプリケーション内にあること)によって、そしてそれにより、第1の形式のウェブ・サーバと協動エンジンの間のパイプのボトルネックを除去することによって処理の速度の点で利点をもつ。
双方の場合において、非同期的コンテントとリニア・メディアのリンキングの背後の技術は、(協動エンジン内の)サーバ側と、(ユーザのウェブ・ブラウザ内の)クライアント側の双方の、スクリプティング(scripting)技術を利用する。サーバ側のスクリプティングは、サーバ上の協動エンジン内で走り、ユーザは、これらのスクリプトの結果だけを見る。しかし、クライアント側のスクリプトは、協動エンジンによって生成され、協動エンジンからの結果の一部として、それら全体が送られ、ユーザのウェブ・ブラウザを通じて、ユーザのコンピュータ上で実行される。
図7は、そこにおいて、本発明が異なったハードウェアに亘ってホストされる、サンプル分散された展開(sample distributed deployment)を示す。技術の各々は他の者(others)と通信し、インターネットを介してユーザと相互作用する。この図は、本発明が、単一のマシン上での展開に限定されないことを示す。ハードウェアは、配置場所が異なり、異なったオペレーティング・システムを走られている、異なったタイプのものであり得ることが理解されるであろう。
本発明は、以下のいずれかのやりかたでも展開され得る:
・ソフトウェアがPCのようなハードウェアの上で走るような単純な展開。ホストされたコンテントのための協動エンジン及びファイル・システムをホスティングするウェブ・サーバとして作動する。他のサーバ上の他のコンテント・タイプ(外部ストリーミング・サーバ上のストリーム化されたメディアのような)へのリンクを提供する。
・ターン・キー・ハードウェア・ソリューションとして展開される、埋め込まれたシステム。協動エンジン、ウェブ・サーバ、ストリーミング・サーバ、及び、コンテント・アクイジション・ツール(H.323ビデオ・コンフェレンス・レコーダのような)を含む。
・第三者の協動エンジンへのソフトウェア・プラグ・イン(例えば、Moodle)。
如何にして、本発明が、非同期的なビデオ・コンフェレンスために使用され得るかの例が、以下、説明される。
この展開は、非同期的な協動エンジンの標準的構造(structure)を使用し得るが、全てのメッセージは、ビデオ、及び/又は、音声メッセージ(ストリーム化された、又は、ダウンロードされた)としてポスト(posted)され得る。継続的プレゼンス(presence)としての、標準マルチ・ポイントのビデオ・コンフェレンスのオプションは、マルチプルのメッセージから、ビデオ画像と音声形式を、所定のルールの組に従って、一緒に混合することによって模擬され得る。応答(reply)としてポストされたメッセージは、オリジナルのメッセージにリンク・バック(linking back)する、同じ方法を使用する。これは、エンド・ユーザが、1つの完全なビデオ/音声プログラムとしての特定のスレッドに続く、全体の協動を通じた、特定のビデオ/音声パス(path)に従う(follow)ことを可能とする。
図8を参照して、本発明のソフトウェアの実行が説明される。
グラフィカル・ユーザ・インターフェース(GUI)は、4つの情報のパネル(panes)を提供する:
1.コンテンツのテーブル、又は、インデックス・パネル。これは、メディア・コンテント内の特定の事象又はポイントへのリンクを含む。
2.マルチメディア・パネル。特定のメディア要素自体。
3.プレゼンテーション・パネル。コンフェレンス中に利用可能な、何らかのスライド、プレゼンテーション画像、又は、二重(dual)ストリーム・ビデオ。
4.非同期的協動パネル。非同期的協動及び相互作用の全てが行われる部分。
協動エリアは、フォルダ及び議論(Discussions)の階層に分けられる。議論は、常に、フォルダ内に含まれ、フォルダは、他のフォルダを含み得る。リンキング技術は、議論及びメッセージ・タイプに為された修正を伴う、異なった形式のフォルダとして実現される。
リンキング技術フォルダは、リンクしているメディア要素についての情報、及び、両方の要素を表示するために用いられるレイアウト(テーマ/テンプレート)を維持する。特定のリンキング技術フォルダの名称は、フォルダ項目(item)を設定するときに、ユーザによって与えられる。この時点で、どのユーザがそのコンテントへのアクセスを持つか、及び、どんな種類のアクセスか(非アクセス、リード・オンリー、リード・ライト、仲介された(moderated)のような)、について取り扱っているフォルダのためのアクセス・リストが更に提供される。フォルダ項目は、メディア要素についての必要な情報(例えば、位置、期間、メディア・タイプ、サポートされるビットレート)をも含む。
ビデオ・コンフェレンスの完了時点において、1つのサブ・フォルダが自動的に生成される:
・特定のコメント − インデックス化された要素の各々のための個々の議論を含む(パネル1に示されるように)。
メディアが再生しているときに、ユーザは、何時でも、メッセージをポスト(post)する機会を持つ。このメッセージは、メディア内の時間の特定のポイントか、メディア内の時間の範囲かのいずれかに関連するか、又は、特定の時間には関連せず、メディア全体に関連し得る。このメッセージをポスティングするときに、ユーザは、メッセージを「一時停止し、ポストする」、又は、メッセージを「ポスト」して、メディアを継続させる能力を持つ。
・「一時停止及びポスト」は、メディアが再生することを停止させ、ユーザを「ポスト・メッセージ」形式(form)に連れて行き、彼らにメッセージを作成させる。この時点で、”一時停止及びポスト”メッセージが活性化(activated)されるような”時間の特定のポイント”、及び、現在の時間がその中に含まれる、インデックス化された要素のための”時間の範囲”(即ち、スライドの開始から終了までの範囲)、に関連する2つの組のタイミングが、ビデオから採用される。この時間の範囲は、インデックス番号、又は、名称を記憶し、そこからのタイムスタンプ、及び、次の事象のためのタイムスタンプを参照するような、他の方法によっても計算され得る。
・”ポスト”メッセージは、メディアから、”一時停止及びポスト”方法と同じタイミング情報を採用するが、ユーザが、メッセージ・ポスティングを完了させる間にメディアの再生を継続する。
「特定のポイント」及び「時間の範囲」のためのタイミング情報は、議論ノード(discussion node)の属性として記憶されることによって、何時でも、システムによって検索され得る。議論が関連するメディアは、議論ノード要素との特定的な関係では記憶されないが、それは、このフォルダ項目に対して、フォルダ/議論の階層を、頂上レベル・フォルダまで登る(working up)ことによって導かれる。
メッセージをポスティングするときに、一旦、ユーザが、彼らのメッセージのタイピングを完了すると、彼らは、メッセージを、彼らがポストしたような時間の範囲によってカバーされている事象についての特定のコメント内に直接ポスティングするか、又は、一般的コメント議論の中にポストするオプションを持つ。”一般的なコメント”の場合には、タイミング情報のポスティングは、”不活性(inactive)”としてマーキングされるが、いずれの場合でも、メディア内のどこにメセージがポストされたかについてのタイミング情報は含まれている。不活性なマーキングは、このコメントが、時間が特定されたサーチに戻されることを停止させる。しかし、タイミング情報を維持することによって、このメッセージは、(”アクティブである(active)”としてマーキングすることによって)後の時間において、メディアと再リンクし得る。
タイミング情報が、議論メッセージ内に記憶された状態において、今、ユーザは、議論内でリンク上をクリックして、ビデオ内のポイント(ここにおいて、メッセージが、ポストされている)に直接行く能力、又は、メッセージがポストされた範囲の開始部分に行く能力を提供される。ビデオ内の特定のポイントに移動させることは、容易に、特定のポイント+又は−時間増分(例えば、+/−30秒及び+/−1分)に行く能力を提供することによって更に強化される。
ユーザが、メディア内のポイントを発見し、次に、そのポイントにリンクされた議論にアクセスすることによって、逆転(reverse)もまた利用可能である。再度、これも、「特定のポイント」又は「時間の範囲」を基礎として為され得る。もし、時間の「特定のポイント」で為されたならば、そのポイントは、このポイントから後の、又は、再び+/−時間の増分から後の、議論を示すように設定され得る。
ユーザが、彼らのこのシステムとの最初のコンタクトとして、メディアか議論かのいずれかを彼ら自身で使用できる一方、議論(discussion)内の直接リンクと類似するやり方で(on a similar basis)リンクを、メディアに戻すことになる探索もまた、実行され得る。
如何にして、本発明が使用されるかの例が、これから説明される。
<シナリオ1−教育>
教師が、教授コンセプトが、以下のメディアで、リニアなやり方(linear fashion)で捕捉されることを除いて、通常のやり方で教育活動に従事する:
ビデオ、音声、スライド・プレゼンテーション。
このメディアは、次に、オン・デマンド状態で学習者に提示される。彼らは、彼ら自身が、ストリーム化されたビデオ及び音声教材(material)を、1つあるいはそれより多いストリーム(スライド教材が、年代順に、ストリーム化されたビデオ及び音声にリンクされる)として利用可能にできる。学習者1はリニアなメディアを見る。そして、スライド3が現れたポイントにおいて、彼は、リニア・メディアのその部分に関連する疑問を持つ。彼は、このポイント・ボタンにおいて、ポスト・メッセージの上をクリックし、彼の質問をエンターする。学習者1が、メッセージをポスト(posts)するや否や、学習コミュニティの他のメンバーは、通知システムによって知らされ得る。学習者2は、電子メールを介して通知されるべきことを選択する。彼女は次に、学習者1によって提示されたメッセージを見、その質問を反復する応答をポストする。教師は次に、彼女のメッセージの通知(notification)に応答し、メッセージを見て、学習者1によって参照されたリニア・メディア部分を見ることを選択する。提示されたビデオ、音声、及びスライドを検討した後に、教師は次に、学習者1及び2に、彼らの質問への回答で応答する。
<シナリオ2−健康>
医学の教授が、大規模な回診(Grand Rounds)を、ビデオ・コンフェレンス装置を介して接続された、教育病院のグループに提示する。種々のポイントにおいて、提示中に、カメラが、議論されている神経外科手順の光景(views)をクローズアップするようにスイッチされる。大規模な回診のライブの提示中に、医学生が、電極プローブを用いた神経系の機能のためのテストを伴う手順の説明を求めるメッセージをポストする。大規模な回診の終了後に、教育病院の1つにおける他の神経学の教授が、この手順についての説明によってポストに応答する。3ヶ月後に、遠隔の病院で業務を行う神経外科医が、彼女がこれから行おうとする手術のための準備において、この提示を検討した。彼女は、リニア・メディアを見る前に議論を検討し、そうする間に、サーチ・エンジンを用いて、医学生によって始められた探針(probing)手順の議論を発見する。議論を検討した後に、彼女は次に、リンクを用いて、リニア・メディアの関連する一部に戻り、彼女の患者に関連する提示の、その一部を見た。
<シナリオ3−商業>
製品Xのための販売プレゼンテーションが記録され、次に、本発明を用いて利用可能とされた。このプレゼンテーションは、次に、全ての製品Xの潜在的バイヤーに利用可能とされた。各々の潜在的バイヤーは、製品プレゼンテーションの要素(elements)についてコメントを述べることができる。このコメントは、直接、販売スタッフによって戻し参照(referred back)され得る。もし、コメントが肯定的ならば、販売スタッフは、そのマテリアル(material)を含むようにプレゼンテーションを修正できる。もし、コメントが否定的ならば、プレセンテーションは、それに従って修正され得る。更に、販売及び開発スタッフは、特定の質問及び懸念を、直接潜在的なバイヤーに提出できる。マーケティング・スタッフは、次に、リニア・メディアに作られたリンクを分析でき、その情報を使用して、直接、購入者をターゲットとされたマテリアルの販売及びマーケティングの修正の手助けとできる。
従来的な形式のリンキングが、非同期的スライドの一部が、メディアについての限定された情報だけを知ることを可能とする一方、本発明の2方向リンクは、メディアが、非同期的技術について知り、非同期的技術が、メディアについてのより詳細な情報を知ることができることを可能とするという利点を提供する。これによって、ユーザが、ストリーム化されたビデオのようなリニア・メディアの形式(form)を監視すること、及び、如何なるポイントにおいても、そのポイントにおいて、又は、その周りの時間において行われた、非同期的な協動を見ることが可能となる。視聴者(viewer)は、メディア内のそのポイントの周りで行われた全ての非同期的協動、又は、特に時間のそのポイントに関連する非同期的協動の一部(pieces)だけ、にアクセスできる。この技術は、時間のポイントだけには限定されず、それは、その時間範囲内に行われた、メディア内の時間の範囲の非同期的協動へのリンキングにおいても有用である。
リンキングの従来的な形式を進めて、本発明は、メッセージの特定のメッセージ又はグループ(例えば、議論スレッド)に基づいて、これらのメセージのいずれも、メディア内へのコンテント内の特定のリンクを要求すること無しに、ユーザが、メディアの関連する一部を見るための能力を導入する。
非同期的技術のコンテントのポスティング中にメッセージ、議論、又はフォルダに追加される特定のタイミング情報の追加を通じて、本発明はこれを実現する。このタイミング情報は、コンテントが関連するメディア内の時間の特定のポイント,コンテントが関連する時間の範囲の開始,コンテントが関連する時間の範囲の終了,のような(しかし、これに限定されない)情報を保持する。本発明はまた、コンテントをメディアにリンクする能力を提供することによって、コンテントが、非同期的協動技術(technology)にポストされるやり方を変更する。
本発明が、その実施例の説明によって説明されてきた一方、そして、実施例は、詳細部を考えて説明されてきた一方、添付の請求項の範囲を、そのような詳細に限定、又は、何らかのやり方で制限することは、出願人の意図ではない。追加的な利点及び修正が、当業者にとって直ぐに、明白となるであろう。それ故、その、より広い特徴における本発明は、特定の詳細に表現された装置及び方法、及び、ここに示され、説明された説明的な例に限定されない。従って、出願人の全体的な発明概念の思想及び範囲から離れること無しに、そのような詳細からの離脱が為され得る。
本発明の方法を説明するフロー図を示す。 如何にして、コンテントが、リニア・メディアの、時間における特定のポイントを示している一部にリンクされ得るかを説明する図面を示す。 如何にして、コンテントが、リニア・メディアの、時間における範囲を示している一部にリンクされ得るかを説明する図面を示す。 如何にして、コンテントが、リニア・メディアの、時間部分における範囲と、時間部分における特定のポイントの双方にリンクされ得るかを説明する図面を示す。 如何にして、マルチプルのコンテントが、リニア・メディアの単一の一部にリンクされ得るかを説明する図面を示す。 如何にして、本発明の方法が、ソフトウェアで実施され得るかを説明する図面を示す。 如何にして、本発明が、ハードウェア上で展開(deployed)されるかを説明する図面を示す。 本発明の動作を説明するスクリーン・ショットを示す。

Claims (47)

  1. コンテントを、リニア・メディアに対応付ける方法であって、
    i)前記リニア・メディアに関連するコンテントを生成し、
    ii)前記コンテントに対応付けられた前記リニア・メディアの一部を識別し、そして、
    iii)前記コンテントを、前記一部にリンクする、
    ステップを含み、
    前記コンテントが前記リニア・メディアと同期されておらず、そして、前記コンテントが、前記リニア・メディアの生成とは非同時発生的に生成される、
    コンテントを、リニア・メディアに対応付ける方法。
  2. ステップ(i)の前に前記リニア・メディアを記録するステップを含む、
    請求項1に記載の方法。
  3. 前記一部が、
    前記リニア・メディアを再生し、そして
    ユーザが、コンテントをリンクするために選択する、
    というサブ・ステップによってステップ(ii)で識別され、
    識別された前記一部が、ユーザが、コンテントをリンクするために選択するときの前記リニア・メディア内の一部である、
    以上の請求項のいずれかに記載の方法。
  4. ユーザが前記コンテントをリンクするために選択した後に、ユーザが前記コンテントを提供し
    ユーザが前記コンテントを提供するときに前記リニア・メディアが再生を継続する、
    する、
    請求項3に記載の方法。
  5. ユーザが前記コンテントをリンクするために選択した後に、ユーザが前記コンテントを提供し、
    ユーザが前記コンテントを提供するときに、前記リニア・メディアの前記再生が一時停止される、
    請求項3に記載の方法。
  6. ステップ(iii)における前記リンクが、2方向リンク(two-way link)である、
    以上のいずれかの請求項に記載された方法。
  7. 前記リニア・メディアが、ストリーミング・ビデオ、ストリーミング音声、ストリーミング・プレゼンテーション、フラッシュ・プレゼンテーション、監督/オーサー・ウェア(Authorware)・プレゼンテーション、HTTP擬似ストリーミング・ビデオ、HTTP擬似ストリーミング音声、CD/DVDベースのビデオ、CD/DVDベースの音声、CD/DVDベースの同期化されたメディア・プレゼンテーション、ハード・ディスク・ベースのビデオ、ハード・ディスク・ベースの音声、ハード・ディスク・ベースの同期化されたメディア・プレゼンテーション、イメージ・シーケンス、IPTV、デジタル・テレビ、3Gビデオ、及び、音声CDの組から選択された、1つあるいはそれより多いものである、
    以上の請求項のいずれかに記載の方法。
  8. 前記コンテントが、テキスト的なもの、チャット・トランスクリプト、リニア・メディアの音声コンテントのスピーチからテキストへのトランスクリプト、ストリーミング音声/ストリーミング・ビデオ応答、ダウンロードされた音声/ビデオ、スチル画像、発明の他の例(instance)へのリンク、ウェブ・サイト又はウェブ・サイト上のコンテントへのリンク、ストリーミング・ビデオ、ストリーミング音声、ストリーミング・プレゼンテーション、フラッシュ・プレゼンテーション、監督/オーサー・ウェア(Authorware)・プレゼンテーション、HTTP擬似ストリーミング・ビデオ、HTTP擬似ストリーミング音声、CD/DVDベースのビデオ、CD/DVDベースの音声、CD/DVDベースの同期化されたメディア・プレゼンテーション、ハード・ディスク・ベースのビデオ、ハード・ディスク・ベースの音声、ハード・ディスク・ベースの同期化されたメディア・プレゼンテーション、イメージ・シーケンス、IPTV、デジタル・テレビ、3Gビデオ、及び、音声CD、の組から選択された1つあるいはそれより多いものである、
    以上の請求項のいずれかに記載の方法。
  9. ユーザが、前記リニア・メディア内の前記一部を識別して、前記コンテントを生成する、以上の請求項のいずれかに記載の方法。
  10. ユーザが、前記リニア・メディア内の前記一部を識別するが、前記コンテントを生成しない、請求項1ないし8のいずれかに記載の方法。
  11. 前記一部が、時間の特定のポイントである、以上の請求項のいずれかに記載の方法。
  12. 前記一部が、時間の範囲である、請求項1ないし10のいずれかに記載の方法。
  13. 前記一部が、ユーザの支援によって識別される、以上の請求項のいずれかに記載の方法。
  14. 前記一部が、より早い時点においてユーザによって有効化された、コンピュータベースのルールの支援によって識別される、以上の請求項のいずれかに記載の方法。
  15. 前記一部が、
    a.前記リニア・メディアを見ること/聞くことに基づいて、ユーザが前記一部に対する時間の特定のポイントを選択する、
    b.前記リニア・メディアを見ること/聞くことに基づいて、ユーザが前記一部に対する時間の範囲を選択する、
    c.ユーザによって見られるリニア・メディアの時間の前記範囲に基づいて前記一部を識別する、
    d.ランダムな選択に基づいて前記一部を識別する、
    e.前記リニア・メディア内の特定の事象に基づいて前記一部を識別する、
    f.前記リニア・メディア内のワード又はフレーズの位置に基づいて前記一部を識別する、
    g.リニア・メディアのビデオ・コンテントの分析によって前記一部を識別する、
    h.一部を既に識別しているコンテントへのリンクを通じた参照によって前記一部を識別する、
    i.ルールの所定の組に基づいて前記一部を識別する、及び
    j.コンテントの組に基づいて前記一部を識別するものであって、当該組内の各コンテントが、リニア・メディアの一部にリンクされ、識別された部分が、コンテントの組の中の最も早いリンクから、コンテントの組の中の最も遅いリンクへのリニア・メディア内の時間の範囲である、
    組から選択された1つあるいはそれより多いステップによってステップ(ii)で識別される、以上の請求項のいずれかに記載の方法。
  16. 前記一部が、前記リニア・メディア内の特定の事象に基づいて識別され、
    H.323、SIP、若しくは、H.234/Mプロトコル、又は、H.323アンブレラの下でカバーされるプロトコル、が使用されて、前記特定の事象を識別する、
    請求項15に記載の方法。
  17. 前記一部が、エラーのマージンを有するユーザ選択に基づいて識別される、
    以上のいずれかの請求項に記載の方法。
  18. ユーザ・コンピュータによって使用するための、ユーザへのストリーミング、ユーザ・コンピュータへのダウンローディング、及び、記録可能なメディア上での記憶、の組から選択される、いずれか1つのステップを含み、
    これらのステップが、ステップ(i)の前に発生する、
    以上のいずれかの請求項に記載の方法。
  19. 前記リニア・メディアがビデオであり、前記コンテントがテキストである、
    以上のいずれかの請求項に記載の方法。
  20. ユーザが、第2のコンテントで(with)前記コンテントに応答するステップを含む、
    以上のいずれかの請求項に記載の方法。
  21. 前記第2のコンテントが、前記コンテントによってリンクされた前記一部にリンクされる、請求項20に記載の方法。
  22. 前記第2のコンテントが、前記コンテントによってリンクされた前記一部にリンクされていない、請求項20に記載の方法。
  23. 前記コンテントの前記生成をタイム・スタンピングするステップを含む、
    以上のいずれかの請求項に記載の方法。
  24. 前記一部を識別する情報が前記コンテントと共に記憶される、以上のいずれかの請求項に記載の方法。
  25. コンテントを、リニア・メディアと対応付ける方法であって、
    i)複数のユーザの各々が、前記リニア・メディア内の一部を識別し、
    ii)各ユーザが、対応する前記一部に関連するコンテントを生成し、そして
    iii)各コンテントを、その対応する一部にリンクする、
    ステップを含み、
    前記コンテントが前記リニア・メディアと同期されておらず、そして、前記コンテントが、前記リニア・メディアの生成とは非同時発生的に生成される方法。
  26. 各コンテントの前記生成をタイム・スタンピングするステップを含む、請求項25に記載の方法。
  27. 各リンクが、2方向リンクである、請求項25から26のいずれかに記載される方法。
  28. 協働的メディアを提供する方法であって、
    i)リニア・メディアを記録し、
    ii)複数のユーザが、前記リニア・メディア内の一部を識別し、
    iii)各ユーザが、対応する前記一部に関連するコンテントを生成し、
    iv)各コンテントを、その対応する一部にリンクし、
    v)前記複数のコンテントを含むインターフェースを、ユーザに表示し、
    vi)ユーザが、1つのコンテントを選択し、そして
    vii)前記インターフェースが、前記選択されたコンテントに対応する前記リニア・メディアの前記一部を表示する、
    ステップを含み、
    少なくとも1つのコンテントが、前記リニア・メディアと同期されておらず、そして、少なくとも1つのコンテントが、前記リニア・メディアの前記生成とは非同時生成的に生成される方法。
  29. 各コンテントの前記生成をタイム・スタンピングするステップを含む、請求項28に記載の方法。
  30. 各リンクが、2方向リンクである、請求項28から29のいずれかに記載される方法。
  31. 前記コンテントのいずれも、前記リニア・メディアと同期されていない、請求項28から30に記載の方法。
  32. 前記コンテントの全てが、前記リニア・メディアの前記生成とは非同時生成的に生成される、請求項28から31のいずれかに記載の方法。
  33. リニア・メディアにアクセスする方法であって、
    i)ユーザが、非同期的コンテントを選択し、そして、
    ii)前記コンテントにリンクされた一部から前記リニア・メディアを再生する、
    ステップを含み、
    前記コンテントが、前記リニア・メディアの生成と非同時生成的に生成されたものである方法。
  34. リニア・メディアにアクセスする方法であって、
    i)ユーザが、時間の範囲を選択するために探索し、
    ii)前記時間の範囲内の前記リニア・メディアの一部にリンクされたコンテントを非同期的に表示し、
    ii)前記時間の範囲内の前記リニア・メディアを表示する、
    ステップを含み、
    前記コンテントが、前記リニア・メディアの生成とは非同時生成的に生成されたものである方法。
  35. リニア・メディアにアクセスする方法であって、
    i)前記リニア・メディアを表示し、そして、
    ii)前記リニア・メディア内の一時的な位置において、その一時的位置に関連する前記リニア・メディアの一部にリンクされた非同期的コンテントを表示する、
    ステップを含み、
    前記コンテントが、前記リニア・メディアの生成とは非同時生成的に生成されたものである方法。
  36. コンテントを、リニア・メディアと対応付けるためのシステムであって、
    リニア・メディアを、クライアント装置にストリーミングするようにされたサーバ、および、
    コンテントを生成するために、そして、当該コンテントを、前記一部とリンクするために、ユーザ入力を受け入れ(accepting)て、前記リニア・メディアの一部を識別するために、前記リニア・メディアを受信するようにされたクライアント装置、
    を備えるシステム。
  37. 前記サーバが、デジタル・ネットワークを介して、前記クライアント装置と通信する、請求項36に記載のシステム。
  38. 複数の前記クライアント装置を含む、請求項36から37に記載のシステム。
  39. 協働的なメディアを提供するためのシステムであって、
    コンテントを生成するために、そして、前記コンテントを前記一部とリンクするために、ユーザ入力を受け入れて、前記リニア・メディアの一部を識別するために、リニア・メディアを表示するようにされた第1の装置、及び、
    ユーザ入力を受け入れて、前記コンテントを選択するために、そして、前記コンテントにリンクされた前記リニア・メディアの前記一部を表示するために、前記コンテントを表示するようにされた第2の装置、
    を備えるシステム。
  40. 非同期的なコンテントを、リニア・メディアと対応付けるための装置であって、
    前記リニア・メディアを記憶し、前記コンテントを記憶するようにされたメモリ、
    前記リニア・メディアを、ユーザに出力するようにされた出力装置、
    ユーザ入力を受信して、前記リニア・メディアの一部の識別を支援するようにされた入力装置、及び、
    前記リニア・メディアの一部を、前記コンテントにリンクするようにされたプロセッサ、
    を備える装置。
  41. 前記入力装置が、更に、ユーザ入力を受信して、前記コンテントを生成するようにされた、請求項40に記載された装置。
  42. 非同期的なコンテントを、リニア・メディアと対応付けるためのサーバであって、
    コンテントを受信し、
    前記リニア・メディアの一部の識別を受信し、そして、
    前記コンテントを、前記リニア・メディアにリンクする、
    ようにされ、
    前記コンテントが、前記リニア・メディアの前記生成とは非同時発生的に生成される、
    サーバ。
  43. 非同期的コンテントをリニア・メディアと対応付けるためのクライアントであって、
    前記コンテントを生成し、
    ユーザ入力を受信して、前記リニア・メディアの一部の識別を支援し、
    前記コンテント及び前記識別を、サーバに送る、
    ようにされ、
    前記コンテントが、前記リニア・メディアの前記生成とは非同時生成的に生成される、
    クライアント。
  44. 非同期的コンンテントを、リニア・メディアと対応付けるためのソフトウェアであって、
    前記リニア・メディアを表示するようにされたユーザ・インターフェースであって、ユーザ入力を受信して前記リニア・メディアの一部を識別し、ユーザ入力を受信してコンテントの前記生成を支援する、インターフェース、及び、
    前記コンテントを、前記リニア・メディアの前記一部にリンクするようにされた協動モジュール、
    を含み、
    前記コンテントが、前記リニア・メディアとは非同時生成的に生成されるものであるソフトウェア。
  45. 請求項36から38のいずれかに記載されたシステム内の前記サーバと前記クライアントの間を送信される電気的信号。
  46. 以上のいずれかの請求項に記載された、方法、システム、装置、又は、ソフトウェアのいずれかから生み出される(resulting from)、協働的メディア。
  47. リニア・メディア、
    コンテント、及び、
    前記コンテントと前記リニア・メディアの一部のをリンクするタイミング情報、
    を含む協動的メディア。
JP2007521427A 2004-07-14 2005-06-30 コンテントとリニア・メディアを対応付けるための方法及びシステム Expired - Fee Related JP5363727B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NZ534100A NZ534100A (en) 2004-07-14 2004-07-14 Method and system for correlating content with linear media
NZ534100 2004-07-14
PCT/NZ2005/000150 WO2006006875A2 (en) 2004-07-14 2005-06-30 Method and system for correlating content with linear media

Publications (2)

Publication Number Publication Date
JP2008507195A true JP2008507195A (ja) 2008-03-06
JP5363727B2 JP5363727B2 (ja) 2013-12-11

Family

ID=35784270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007521427A Expired - Fee Related JP5363727B2 (ja) 2004-07-14 2005-06-30 コンテントとリニア・メディアを対応付けるための方法及びシステム

Country Status (6)

Country Link
US (1) US8363084B2 (ja)
EP (1) EP1782276B1 (ja)
JP (1) JP5363727B2 (ja)
CN (1) CN101057237B (ja)
NZ (1) NZ534100A (ja)
WO (1) WO2006006875A2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285809B2 (en) * 2005-12-13 2012-10-09 Audio Pod Inc. Segmentation and transmission of audio streams
US20070157071A1 (en) * 2006-01-03 2007-07-05 William Daniell Methods, systems, and computer program products for providing multi-media messages
US20080014567A1 (en) * 2006-06-27 2008-01-17 Loretta Schlachta-Fairchild Clinical healthcare education process and system using remote technologies
US20090024922A1 (en) * 2006-07-31 2009-01-22 David Markowitz Method and system for synchronizing media files
US8296315B2 (en) * 2006-11-03 2012-10-23 Microsoft Corporation Earmarking media documents
US8751475B2 (en) * 2007-02-14 2014-06-10 Microsoft Corporation Providing additional information related to earmarks
KR20090000647A (ko) * 2007-03-15 2009-01-08 삼성전자주식회사 실시간 스트리밍 서비스에서 부가 데이터를 실시간으로출력하는 방법 및 장치
US8542266B2 (en) 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
JP4677486B2 (ja) * 2008-12-26 2011-04-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 返信メールの作成を支援する装置、方法及びコンピュータプログラム
CN102025761B (zh) * 2009-09-21 2013-07-17 腾讯科技(深圳)有限公司 实现Web装置与Flash装置协同工作的方法与系统
US8677240B2 (en) 2009-10-05 2014-03-18 Harris Corporation Video processing system providing association between displayed video and media content and related methods
US9516272B2 (en) 2010-03-31 2016-12-06 Polycom, Inc. Adapting a continuous presence layout to a discussion situation
US20120166953A1 (en) * 2010-12-23 2012-06-28 Microsoft Corporation Techniques for electronic aggregation of information
JP2013232697A (ja) * 2012-04-27 2013-11-14 Sony Corp コンテンツ転送装置及びコンテンツ転送方法、コンテンツ再生装置及びコンテンツ再生方法、コンテンツ配信システム、並びにコンピューター・プログラム
US20170024097A1 (en) * 2012-09-13 2017-01-26 Bravo Ideas Digital Co., Ltd. Method and Host Server for Creating a Composite Media File
WO2014144589A1 (en) * 2013-03-15 2014-09-18 The Nielsen Company (Us), Llc Systems, methods, and apparatus to identify linear and non-linear media presentations
US9294815B2 (en) 2013-03-15 2016-03-22 The Nielsen Company (Us), Llc Methods and apparatus to discriminate between linear and non-linear media
US9692831B1 (en) * 2013-05-31 2017-06-27 Google Inc. Pausing interactive sessions
CN104751866A (zh) * 2013-12-25 2015-07-01 上海那里信息科技有限公司 基于音频的web flash站外播放方法和播放器系统
CN104378697A (zh) * 2014-11-07 2015-02-25 重庆晋才富熙科技有限公司 一种用于全视频标记的方法
CN104469542A (zh) * 2014-11-07 2015-03-25 重庆晋才富熙科技有限公司 一种用于全视频标记的装置
US10127115B2 (en) * 2016-03-18 2018-11-13 Microsoft Technology Licensing, Llc Generation and management of social graph
US11102540B2 (en) * 2019-04-04 2021-08-24 Wangsu Science & Technology Co., Ltd. Method, device and system for synchronously playing message stream and audio-video stream

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998374A (ja) 1995-10-03 1997-04-08 Canon Inc データの管理方式及び装置
JP2003099453A (ja) * 2001-09-26 2003-04-04 Hitachi Ltd 情報提供システムおよびプログラム
JP2003259268A (ja) * 2002-03-05 2003-09-12 Canon Inc 動画像管理方法及び装置
JP2004007539A (ja) * 2002-04-19 2004-01-08 Sumitomo Electric Ind Ltd ビジュアル情報の記録/再生方法、その装置及び通信システム
JP2004151898A (ja) 2002-10-29 2004-05-27 Fuji Xerox Co Ltd 表示制御方法、情報表示処理システム、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US6006241A (en) * 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6449653B2 (en) * 1997-03-25 2002-09-10 Microsoft Corporation Interleaved multiple multimedia stream for synchronized transmission over a computer network
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
US7412643B1 (en) * 1999-11-23 2008-08-12 International Business Machines Corporation Method and apparatus for linking representation and realization data
KR20040041082A (ko) 2000-07-24 2004-05-13 비브콤 인코포레이티드 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
US7548565B2 (en) 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
US20050160113A1 (en) * 2001-08-31 2005-07-21 Kent Ridge Digital Labs Time-based media navigation system
WO2003027893A1 (en) 2001-09-27 2003-04-03 The Trustees Of Columbia University In The City Of New York Method and system for annotating audio/video data files
US7739584B2 (en) 2002-08-08 2010-06-15 Zane Vella Electronic messaging synchronized to media presentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998374A (ja) 1995-10-03 1997-04-08 Canon Inc データの管理方式及び装置
JP2003099453A (ja) * 2001-09-26 2003-04-04 Hitachi Ltd 情報提供システムおよびプログラム
JP2003259268A (ja) * 2002-03-05 2003-09-12 Canon Inc 動画像管理方法及び装置
JP2004007539A (ja) * 2002-04-19 2004-01-08 Sumitomo Electric Ind Ltd ビジュアル情報の記録/再生方法、その装置及び通信システム
JP2004151898A (ja) 2002-10-29 2004-05-27 Fuji Xerox Co Ltd 表示制御方法、情報表示処理システム、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013016854; David Bargeron, Anoop Gupta, Jonathan Grudin, Elizabeth Sanocki: 'Annotations for streaming video on the Web: system design and usage studies' Computer Networks Volume 31, 19990517, p.1139〜1153, Elsevier Science B.V.

Also Published As

Publication number Publication date
WO2006006875A3 (en) 2006-09-08
CN101057237A (zh) 2007-10-17
US20070273754A1 (en) 2007-11-29
EP1782276A2 (en) 2007-05-09
EP1782276A4 (en) 2011-04-20
WO2006006875A2 (en) 2006-01-19
JP5363727B2 (ja) 2013-12-11
EP1782276B1 (en) 2017-06-14
NZ534100A (en) 2008-11-28
US8363084B2 (en) 2013-01-29
CN101057237B (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
JP5363727B2 (ja) コンテントとリニア・メディアを対応付けるための方法及びシステム
US10541824B2 (en) System and method for scalable, interactive virtual conferencing
US11217109B2 (en) Apparatus, user interface, and method for authoring and managing lesson plans and course design for virtual conference learning environments
Brotherton et al. Lessons learned from eClass: Assessing automated capture and access in the classroom
US10630738B1 (en) Method and system for sharing annotated conferencing content among conference participants
US7733366B2 (en) Computer network-based, interactive, multimedia learning system and process
AU2011214952B2 (en) Public collaboration system
US20020120939A1 (en) Webcasting system and method
US20140123014A1 (en) Method and system for chat and activity stream capture and playback
US20030097408A1 (en) Communication method for message information based on network
US20100005394A1 (en) Method and system for collaborative viewing
US20220014580A1 (en) Smart Storyboard for Online Events
KR20060035729A (ko) 가상교실에서의 수업내용을 제공 및 기록하는 방법 및시스템
US20160378728A1 (en) Systems and methods for automatically generating content menus for webcasting events
Bargeron et al. Asynchronous collaboration around multimedia and its application to on-demand training
Snelson Web-Based Video for e-Learning: Tapping into the YouTubeTM Phenomenon
US20220114210A1 (en) Social media video sharing and cyberpersonality building system
Decrop et al. Translating a bright and noisy experience: videography for tourism research
Dafgård Digital Distance Education–A Longitudinal Exploration of Video Technology
Brotherton Enriching everyday activities through the automated capture and access of live experiences. Eclass: Building, observing and understanding the impact of capture and access in an educational domain
Rocha et al. Hyper-linked Communications: WebRTC enabled asynchronous collaboration
Chunwijitra An advanced cloud-based e-learning platform for higher education for low speed internet
Bauer et al. A concept to analyze user navigation behavior inside a recorded lecture (to identify difficult spots)
Hirashima et al. Development and evaluation of a minutes system focusing on importance in a meeting
Nakajima Realtime feedback and on-demand playback system for teaching skill improvement

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100810

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110517

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121205

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130906

R150 Certificate of patent or registration of utility model

Ref document number: 5363727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees