JP2012507925A - 補足音声/映像コンテンツを提供する方法、装置およびシステム - Google Patents

補足音声/映像コンテンツを提供する方法、装置およびシステム Download PDF

Info

Publication number
JP2012507925A
JP2012507925A JP2011534462A JP2011534462A JP2012507925A JP 2012507925 A JP2012507925 A JP 2012507925A JP 2011534462 A JP2011534462 A JP 2011534462A JP 2011534462 A JP2011534462 A JP 2011534462A JP 2012507925 A JP2012507925 A JP 2012507925A
Authority
JP
Japan
Prior art keywords
data stream
main data
content
segment
complementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011534462A
Other languages
English (en)
Inventor
ベレン ベニテス、アナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2012507925A publication Critical patent/JP2012507925A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333Processing operations in response to a pause request
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8541Content authoring involving branching, e.g. to different story endings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本発明の態様は、補足音声/映像コンテンツを例えばノンリニア提示で提供する方法、システムおよび装置を提供する。本発明の様々な態様によれば、ユーザは、ユーザの好みに応じて、主提示と関連する追加の補足コンテンツをリアルタイムにシームレスに取得することができる。例えば、コンテンツの連続するカテゴリ化された複数のセグメントを含む主データ・ストリームを、この主データ・ストリーム中のカテゴリ化された複数のセグメントと関連する補足コンテンツを含む1つまたは複数の補完データ・ストリームと同時に伝送することができる。次いで、補完データ・ストリームを選択するようにユーザを促することができ、ユーザ選択に応答して、その補完データ・ストリームをユーザに提示することができる。

Description

本発明は、一般に、音声/映像コンテンツの伝送および提示に関し、さらに詳細には、ノンリニア提示で音声/映像コンテンツを伝送および提示する方法、装置およびシステムに関する。
従来の放送システムは、通常、リニア方式でコンテンツを提示する。例えば、ニュース番組では、個々のニュースを時間的に連結して、1つのニュースが終わると別のニュースが始まるように順番に視聴者に提示する。リニア提示内のコンテンツをカスタマイズするというオプションは基本的にユーザには与えられていないが、既存のシステムでも、限定的な方法ではコンテンツをカスタマイズしてパーソナル化することができる。ディジタル・ビデオ・レコーダ(DVR)は、「再生」、「一時停止」、「早送り」、「巻戻し」などの制御を利用することによって、ダウンロードしたコンテンツの提示および順序付けをユーザが制御することができる一例である。さらに、DVRでは、ユーザは、以前の視聴履歴に基づいて自動的に番組を記録し、視聴することができる。
既存のシステムでも、ある程度はコンテンツの提示をユーザが制御することができるが、提示に関する補足コンテンツをユーザがリアルタイムで追加して取得するための便利な手段は備えていない。例えば、ニュース番組中に、ユーザが特に関心を持っている、国際ニュース、スポーツ、政治などの主提示で報告されているトピックスに関する追加コンテンツを視聴するオプションは、ユーザには与えられていない。
本原理の様々な態様による方法、システムおよび装置は、提示中に補足コンテンツのリアルタイムなアクセスをユーザに提供することによって、従来技術の欠点に対処するものである。
本原理の一態様では、補足音声/映像コンテンツをノンリニア提示で提供する方法は、コンテンツの連続するカテゴリ化された複数のセグメントを含む主データ・ストリームを伝送するステップと、主データ・ストリーム中の関連するセグメントを補足するコンテンツを含む少なくとも1つの補完データ・ストリームを主データ・ストリームと共に伝送するステップと、関連するセグメントの提示中に、少なくとも1つの補完データ・ストリームを選択するようにユーザを促すステップとを含む。この方法は、少なくとも1つの補完データ・ストリームのユーザ選択に応答して、少なくとも1つの補完データ・ストリームを提示するステップをさらに含むこともできる。
本原理の代替の態様では、補足音声/映像コンテンツをノンリニア提示で提供するシステムは、主データ・ストリームおよび少なくとも1つの補完データ・ストリームを伝送するように構成されたコーダと、主データ・ストリームおよび少なくとも1つの補完データ・ストリームを受信し、関連するセグメントの提示中に少なくとも1つの補完データ・ストリームを選択するようにユーザを促し、少なくとも1つの補完データ・ストリームのユーザ選択に応答して少なくとも1つの補完データ・ストリームの提示を引き起こすように構成されたデコーダと、を有する。このような態様では、主データ・ストリームは、コンテンツの連続するカテゴリ化された複数のセグメントを含むことができ、少なくとも1つの補完データ・ストリームは、主データ・ストリーム中の関連するセグメントを補足するコンテンツを含むことができる。
本原理の代替の態様では、補足音声/映像コンテンツをノンリニア提示で提供する装置は、連続するカテゴリ化された複数のセグメントを含むデータ・ストリームを生成するように構成された主データ生成器と、主データ・ストリーム中の関連するセグメントを補足するコンテンツを含む少なくとも1つの補完データ・ストリームを生成するように構成された補完データ・モジュールと、を有する。本発明の上述の装置の一態様では、この装置は、関連するセグメントの提示中に少なくとも1つの補完データ・ストリームを選択するようにユーザが促されるように、主データ・ストリームおよび少なくとも1つの補完データ・ストリームをユーザに提示するために伝送するように構成されている。代替の態様では、本発明のこの装置は、主データ・ストリーム中のカテゴリ化された複数のセグメントの1つの開始が補足コンテンツの終了と一致するように、少なくとも1つの補完データ・ストリームの伝送を主データ・ストリームの伝送と同期させるように構成された制御器をさらに有することができる。
本原理の代替の態様では、補足音声/映像コンテンツをノンリニア提示で提供する装置は、主データ・ストリームおよび少なくとも1つの補完データ・ストリームを受信し、主データ・ストリームの関連するセグメントの提示中に少なくとも1つの補完データ・ストリームを選択するようにユーザを促し、少なくとも1つの補完データ・ストリームのユーザ選択に応答して少なくとも1つの補完データ・ストリームの提示を引き起こすように構成されたデコーダを有する。
本発明の教示は、以下の詳細な説明を添付の図面と関連付けて考慮することにより、容易に理解することができる。
本発明の一実施形態による、カテゴリ化およびセグメント化されたノンリニア提示のためのデータ・ストリームを示す図である。 本発明の代替の実施形態による、カテゴリ化およびセグメント化されたノンリニア提示のための複数のデータ・ストリームを示す図である。 本発明の一実施形態による、主データ・ストリームおよび複数の補完データ・ストリームを示す図である。 本発明の一実施形態による、補足音声/映像コンテンツをノンリニア提示で提供するシステムを示すハイレベル・ブロック図である。 本発明の一実施形態による、補足音声/映像コンテンツをノンリニア提示で提供する方法を示すフロー図である。 本発明の代替の実施形態による、主データ・ストリームおよび複数の補完データ・ストリームの代替例を示す図である。
図面は本発明の概念を例示するためのものであり、必ずしも本発明を示す唯一の可能な構成を示しているわけではないことを理解されたい。理解を容易にするために、各図に共通する同一の要素は、可能な限り同一の参照番号を使用して示してある。
本原理は、補足音声/映像コンテンツをノンリニア提示で提供する方法、装置およびシステムを有利に提供する。主として放送システムおよびコーダ/デコーダ装置に関連して本発明の実施形態を説明するが、例示する本原理の実施形態は、本発明の範囲を限定するものとして扱うべきものではない。本原理の概念は、他の音声/映像提示方法およびシステムにも有利に適用することができることを、当業者なら理解し、本原理の教示から知るであろう。例えば、本原理の概念は、ディジタル・ビデオ・ディスク・プレイヤ装置、衛星ラジオ放送システム、インターネット・マルチキャスト・システムなどのシステムで実施することができる。
図面に示す様々な要素の機能は、専用のハードウェアを使用して、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用して、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいは一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「コントローラ」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶する読取り専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)および不揮発性記憶装置(ただしこれらに限定されない)を暗に含むことがある。さらに、本発明の原理、特徴および実施形態ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物(すなわち、構造に関わらず、同じ機能を実行する将来開発される任意の要素)も含まれるものとする。
従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的なシステム・コンポーネントおよび/または回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に記述され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行することができる様々なプロセスを表すことも理解されたい。
次に、図面、まずは図1および図2を詳細に参照し、本発明の1つまたは複数の実施形態による補足音声/映像コンテンツを提供する際に使用される例示的なデータ・ストリーム100〜200を説明する。分かり易いようにニュース番組を例にとると、ノンリニアの電子コンテンツは、複数のタイムラインおよびストーリ(story)を含むことができ、これらのタイムラインおよびストーリを様々な点で結合して、視聴者が1つの特定のタイムラインおよびストーリを見ながら別のタイムラインおよびストーリを視聴用に選択することができるようになっている。このようにして、本発明の実施形態によれば、ユーザはノンリニアにコンテンツを閲覧することができる。
図1および図2を参照すると、本原理の1つまたは複数の態様によるリニア提示およびノンリニア提示の例がそれぞれ示されている。図1のデータ・ストリーム100および図2のデータ・ストリーム200は、同時タイムラインの形態で示されている。図1は、異なるストーリおよび/またはカテゴリ102〜110に従ってコンテンツをセグメント化することができるデータ・ストリーム100に関するリニア・タイムラインを示す。図2は、第1のデータ・ストリーム100を第2のデータ・ストリーム200と連動して視聴することができるノンリニア提示を示している。第2のデータ・ストリーム200も異なるストーリおよび/またはカテゴリに従ってセグメント化されるコンテンツを含むことができ、ここではそれらはセグメント202および204として示されている。図2に示すように、ユーザは、交差線201,203,205および207に沿ってデータ・ストリーム間の切り替えを行うことによって、ノンリニアにコンテンツを視聴することができる。図2に示す例では、ユーザは、データ・ストリーム200および200の何れかをリニアに視聴する代わりに、例えば、102,202,104,106,108,204,セグメント110をスキップ、という順序で、データ・ストリームのコンテンツの各セグメントを視聴している。
図3を参照すると、本発明の一実施形態によれば、コンテンツの1つまたは複数の補完データ・ストリームは、主データ・ストリーム中の対応するコンテンツ・セグメントを補足する追加のコンテンツ・セグメントを提供することができる。例えば、補完音声/映像データ・ストリーム302,304および306は、それぞれ、主音声/映像データ・ストリーム100のコンテンツ・セグメント104,106および108を補足するコンテンツ・セグメント303,305および307を含むことができる。ニュース番組のモデルで話を続けると、セグメント104は、国際ニュース・ストーリに対応することができ、コンテンツ・セグメント303は、セグメント104内のコンテンツを補足する当該国際ニュース・ストーリに関するさらに詳細な情報を含むことができる。従って、コンテンツ・セグメント104を視聴すると、ユーザは、コンテンツ・セグメント303を選択して、コンテンツ・セグメント104で提示されたストーリに関する追加の素材(material)を取得することができる。図3に示すように、主データ・ストリーム100中の1つまたは複数のニュース・ストーリ(例えばコンテンツ・セグメント106中のもの)を視聴した後で、ユーザは、複数の補完データ・ストリームの1つの中(例えばコンテンツ・セグメント307の中)の同じストーリに関する素材を引き続き視聴することもできるし、あるいは、主データ・ストリーム中の次のストーリ(例えばセグメント108)に進むこともできる。さらに、ユーザは、図3に示すように交差線310〜320に沿って主データ・ストリーム100と補完データ・ストリーム302,304および306との間で切替えを行うことによって、全てのコンテンツ・セグメントを視聴することもできる。従って、本発明の様々な実施形態によれば、ユーザが特に関心を持っている国際ニュース、スポーツ、政治などの主なメディアコンテンツ・トピックスに関連する追加コンテンツを例えばリアルタイムに視聴するオプションをユーザに与えることができる。
図4は、本発明の一実施形態による、補足音声/映像コンテンツをノンリニア提示で提供する例示的なシステム400を示す図である。システム400は、例えば、従来の衛星、ケーブルおよび/またはインターネットのマルチキャスト/ブロードキャスト・システムで実施することができる。例示的に、コーダ402およびデコーダ412はシステム400に含まれ、例えば、コーダ402はブロードキャスト・サイトに配置され、デコーダ412はクライアント・サイトに配置されて、提示装置に接続される。コーダ412は、主データ・ストリーム(MDS)生成器404、補完データ・ストリーム・モジュール406、メモリ手段410および制御器(コントローラ)408を含むことができる。本発明の一実施形態では、主データ・ストリーム生成器404、補完データ・ストリーム・モジュール406および制御器408は、メモリ410内のソフトウェアを実行する1つまたは複数のプロセッサで実施することができる。主データ・ストリーム生成器404および補完データ・ストリーム・モジュール406は、上述した主データ・ストリームおよび補完データ・ストリームをそれぞれ生成するように構成することができる。制御器408は、主データ・ストリーム生成器404および補完データ・ストリーム・モジュール406からデータ・ストリームを受信することができ、デコーダ412に同時伝送されるデータ・ストリームを準備するように構成することができる。例えば、制御器408は、データ・ストリームを符号化し、それらをトランスポート・ストリーム中にパケット化することができる。メモリ410は、主データ・ストリーム生成器404、補完データ・ストリーム・モジュール406および制御器408の何れか1つまたは複数によって、主データ・ストリームおよび/または補完データ・ストリームを記憶するために利用され得る。
デコーダ412は、コーダ402からの主データ・ストリームおよび補完データ・ストリームを受信して復号するように構成することができ、プロセッサ414およびメモリ416を含むことができる。メモリ416は、主データ・ストリームおよび補完データ・ストリームを記憶および/またはバッファリングするように構成することができる。さらに、プロセッサ414は、主データ・ストリームおよび補完データ・ストリームの復号を引き起こし、これらを以下に方法500に関連してさらに詳細に述べるように処理することができる。さらに、デコーダ412は、復号したデータ・ストリームを、ユーザに提示するために、例えば伝送線418に沿って、テレビジョン、コンピュータ・ディスプレイおよび/またはスピーカなどの提示装置に通信することができる。図4にはデコーダを1つしか示していないが、本発明の代替の実施形態によれば、システム400は、1つまたは複数のコーダ402からコンテンツを受信する複数のクライアントに対応する複数のデコーダを含むこともできることを理解されたい。
図3および図4に加えて図5を参照すると、本発明の実施形態による補足音声/映像コンテンツをノンリニア提示で提供する方法500を示すハイレベル・フロー図が示されている。方法500は、主データ・ストリームを伝送するステップ502から開始される。主データ・ストリームは、コンテンツの連続するカテゴリ化された複数のセグメントを含むことができる。例えば、図1〜図3に関連して上述したニュース番組のモデルを用いて続けると、主データ・ストリームは、国際ニュース、スポーツ、政治、地域ニュースなどのトピックスに対応する様々なストーリまたはトピックスにセグメント化することができる。また、主データ・ストリームは、上述のようにコーダ402によって生成し、伝送することができる。次いで、方法500はステップ504に進む。
ステップ504で、1つまたは複数の補完データ・ストリームを、主データ・ストリームと同時に伝送する。図3に関連して上述したように、1つまたは複数の補完データ・ストリームは、主データ・ストリーム中の関連するコンテンツ・セグメントを補足するコンテンツ・セグメントを含むことができる。再び図3を参照すると、従来のブロードキャスト・システムまたはケーブル・システムにおける例示的な実施例では、チャネルAを通して主データ・ストリーム100を伝送および提示する一方で、チャネルB,CおよびDをそれぞれ通して補完データ・ストリーム302,304および306を同時に伝送および提示することができる。コーダ420は、例えば、補完データ・ストリームを主データ・ストリームと同時に生成および伝送するように構成することができる。例えば、補完データ・ストリーム・モジュール406によって補完データ・ストリームを生成し、制御器408によって同時伝送を行うことができる。次いで、方法500はステップ506に進む。
ステップ506で、主データ・ストリーム内の関連するセグメントの提示中に補完データ・ストリームを選択するようにユーザを促すことができる。例えば、主データ・ストリームの提示中に、各ニュース・ストーリ、すなわちコンテンツ・セグメントの終わりが近づくと、補足コンテンツを含む1つまたは複数の補完データ・ストリームに対応するチャネル番号をディスプレイに提示することにより、補完データ・ストリームを選択するようにユーザを促すことができる。チャネル番号は、例えば、「燃料価格上昇の原因に関する詳しい情報は、チャネルBでご覧下さい。」のような、別のチャネル上で補足コンテンツが提示されることを示すテキストと共に、テレビジョン画面上に示すことができる。図3を参照すると、例えば、主データ・ストリーム100中のコンテンツ・セグメント102の終了時に、補足コンテンツ・セグメント303を表示するデータ・ストリーム302を選択するようにユーザを促すことができる。さらに、デコーダ412は、ステップ506を実行するように構成することができることを理解されたい。例えば、デコーダ412は、ユーザに提示する主データ・ストリームおよび補完データ・ストリームを受信することができる。メモリ416を利用するプロセッサ414は、上述のように、データ・ストリームを復号して、それらを提示/表示装置に伝送するように構成することができる。さらに、主データ・ストリームは、例えば上述のように関連するセグメントの提示中に少なくとも1つの補完ストリームを選択するようにユーザを促すようにすることもできる。次いで、方法500はステップ508に進む。
ステップ508で、補完データ・ストリームのユーザ選択に応答して、補完データ・ストリームをユーザに提示することができる。例えば、分かり易いように従来のブロードキャスト・テレビジョンまたはケーブル・テレビジョンの例を引き続き用いると、ステップ506に関連して上述したように、補完コンテンツ・セグメント303を表示するデータ・ストリーム302を選択するようにユーザが促された後に、ユーザは、セグメント303で提供される補足情報のシームレスな提示(すなわち、媒体の視聴および音声の聴取)を促されたチャネルを選択することにより、補完データ・ストリーム302を選択することができる。このチャネル選択に応答して、ステップ506で促された補完データ・ストリームを含むチャネルをユーザに提示することができる。例示的な実施例では、デコーダ412のプロセッサ414はステップ508を実行するように構成することができる。次いで、方法500はステップ510に進む。
ステップ510で、オプションで、少なくとも1つの補完ストリームの提示中に主データ・ストリームをバッファリングして、補足コンテンツの終了時にユーザがシームレスに主データ・ストリームを視聴できるようにすることができる。例えば、デコーダは、ユーザが補完データ・ストリームを選択した後に、主データ・ストリーム100をバッファリングし続けるように構成することができる。図3を参照すると、例えば、補完コンテンツ・セグメント303の提示終了時に、ユーザは、主データ・ストリームを選択して、主データ・ストリーム中におけるセグメント102の後の次の連続するセグメント104を視聴することができる。主データ・ストリームをバッファリングすることにより、主データ・ストリーム中の次の連続するセグメントをシームレスに視聴することができる。例示的な一実施形態では、デコーダ412のメモリ416を利用するプロセッサ414は、ステップ510を実行するように構成することができる。次いで、方法500はステップ512に進む。
ステップ512で、オプションで、主データ・ストリーム中の次の連続するセグメントを、補足コンテンツの終了時に自動的に提示することができる。例えば、再び図3を参照すると、補足コンテンツ・セグメント303の提示の終了時に、主データ・ストリーム中におけるコンテンツ・セグメント102の後の次の連続するセグメントであるコンテンツ・セグメント104を、ユーザのいかなる介入もなしに、自動的にユーザに提示することができる。さらに、デコーダ412のプロセッサは、ステップ512を実行するように構成することができる。例えば、デコーダ412のプロセッサ414は、セグメント303の提示の終了を検出し、セグメント303の提示の終了時にユーザのいかなる介入もなしに自動的にセグメント104を表示するように構成することができる。その後、方法500を終了することができる。
本発明の代替の実施形態は、主データ・ストリーム中のカテゴリ化された複数のセグメントの1つの開始が、1つまたは複数の補完データ・ストリーム中の補足コンテンツの終了と一致するように、1つまたは複数の補完データ・ストリームの伝送を対応する主データ・ストリームと同期させることを含むこともできる。例えば、図3を参照すると、補完データ・ストリーム306および/または主データ・ストリーム100を、補足コンテンツ・セグメント307の終了がコンテンツ・セグメント110の開始と一致するように構成することができる。さらに、補足コンテンツ・セグメントが終了すると、ユーザのいかなる介入もなしに自動的に主データ・ストリームを提示することもできる。さらに、本発明の様々な実施形態において、本発明の制御器408は、主データ・ストリーム中のカテゴリ化された複数のセグメントの1つの開始が、1つまたは複数の補完データ・ストリーム中の補足コンテンツの完了と一致するように、1つまたは複数の補完データ・ストリームの伝送を対応する主データ・ストリームと同期させるように構成することができる。さらに、本発明の代替の実施形態では、デコーダ412のプロセッサ414は、補足コンテンツが終了するとに、ユーザのいかなる介入もなしに自動的に主データ・ストリームを提示するように構成することができる。
本原理の他の態様によれば、ステップ502で、連続するカテゴリ化された複数のセグメントを主データ・ストリーム中で繰り返し伝送して、主データ・ストリーム中の次の連続するセグメントの開始を対応する補足コンテンツの終了と同期させることができる。例えば、再び図3を参照すると、上述のように、ユーザは、セグメント102を視聴して、セグメント102を補足するセグメント303を提示するストリーム302を選択することができる。セグメント303の提示が終了すると、主データ・ストリーム中での上記複数のセグメントの伝送を絶え間なく繰り返すことによりセグメント303の終了とセグメント104の開始とが一致するように、主データ・ストリームを構成することができる。主データ・ストリーム中でセグメント102の後の次の連続するセグメントは、セグメント104である。このように、主データ・ストリームの繰り返しによってセグメント303の終了とセグメント104の開始とが同期するので、視聴者は、セグメント303の補足コンテンツが終了すると、主データ・ストリーム中の次の連続するセグメントをシームレスに視聴することができる。
本発明のさらに他の代替の実施形態では、ステップ502で、連続するカテゴリ化された複数のセグメントを主データ・ストリーム中で繰り返し伝送して、主データ・ストリーム中の次の連続するセグメントの開始を補足コンテンツの終了と同期させることができるように、コーダ402の制御器408を、主データ・ストリーム生成器404および補完データ・ストリーム・モジュール406を制御するように構成することができる。
あるいは、本発明の様々な実施形態において、補完データ・ストリームが、主データ・ストリーム中の複数のセグメントを含むこともできる。例えば、1つまたは複数の補完ストリーム内の補足コンテンツ・セグメントが、それらが補足する主データ・ストリーム中のコンテンツを含むことができる。このようにして、ユーザが単に専用の補足データ・ストリームを選択して、主データ・ストリーム中のコンテンツと補足コンテンツとの両方を視聴することができるという意味において、補足セグメントを「コンプリート」することができる。さらに、この構成は、全ての主データ・コンテンツおよび全ての補足コンテンツを連続して含み、提示に関連する全ての利用可能なコンテンツを視聴するというオプションをユーザに与える専用の補完データ・ストリームを実施するのに適していてもよい。従って、専用の補完データ・ストリームは、主データ・ストリーム中の関連する複数のセグメントに対応する複数の包括コンテンツ・セグメントを含むことができる。
図6は、本発明の代替の実施形態による主データ・ストリームおよび補完データ・ストリームを示す図である。図6では、主データ・ストリーム100と補完データ・ストリーム602および604とが、チャネルA,BおよびCでそれぞれ伝送され、提示される。さらに、ユーザが補足コンテンツ・セグメント606,608および610にシームレスに切り替えることができるように、交差線603,605,607,609,611および613に対応する主データ・ストリーム中のコンテンツ・セグメントの終了前および/または終了時に、プロンプトを提示することができる。さらに、例えばデータ・ストリーム602に示すように、補完データ・ストリームは、複数の主データ・ストリーム・コンテンツ・セグメントに対応する複数の補足コンテンツ・セグメントを含むことができる。
補足音声/映像コンテンツをノンリニア提示で提供する方法、装置およびシステムの実施例(例示を目的としたものであり、制限するためのものではない)について説明したが、当業者なら、上記の教示に照らして様々な修正および改変を加えることができることに留意されたい。例えば、主としてニュース番組に関連して本原理について説明したが、本原理は、連続ドラマ、リアリティー番組、クイズ番組、映画、スポーツ、報道など、その他のタイプの番組でも実施することができる。さらに、本原理の態様は、MHEG(Multimedia and Hypermedia Experts Group)、MPEG−4(Motion Picture Experts Group−4)、SMIL(Synchronized Multimedia Integration Language)などに基づくことができるディジタル・ビデオ・ディスク・プレイヤおよびインタラクティブ・テレビジョンでも実施することができる。従って、開示した本原理の具体的な実施態様には、添付の特許請求の範囲によって概要が述べられている本発明の範囲および趣旨の範囲内において様々な変更を加えることができることを理解されたい。上記の説明は、本原理の様々な実施態様を対象としたものであるが、本原理の基本的範囲を逸脱することなく、本原理のその他のさらなる実施態様を考案することができる。

Claims (23)

  1. 補足音声/映像コンテンツを提供する方法(500)であって、
    コンテンツの連続するカテゴリ化された複数のセグメントを含む主データ・ストリームを伝送するステップ(502)と、
    前記主データ・ストリーム中の少なくとも1つの関連するセグメントを補足するコンテンツを含む少なくとも1つの補完データ・ストリームを前記主データ・ストリームと共に伝送するステップ(504)と、
    前記関連するセグメントの提示中に、少なくとも1つの補完データ・ストリームを選択するようにユーザを促すステップ(506)と、を含む前記方法。
  2. 前記少なくとも1つの補完データ・ストリームのユーザ選択に応答して、前記少なくとも1つの補完データ・ストリームを提示するステップ(508)をさらに含む、請求項1に記載の方法。
  3. 前記補足コンテンツの終了時に前記ユーザが前記主データ・ストリームをシームレスに視聴することができるようにするために、前記少なくとも1つの補完データ・ストリームの提示中に前記主データ・ストリームをバッファリングするステップ(510)をさらに含む、請求項1に記載の方法。
  4. 前記補足コンテンツの終了時に、前記主データ・ストリーム中の前記関連するセグメントの後の次の連続するセグメントを自動的に提示するステップ(512)をさらに含む、請求項3に記載の方法。
  5. 前記主データ・ストリーム中の前記カテゴリ化された複数のセグメントの1つの開始が前記補足コンテンツの終了と一致するように、前記少なくとも1つの補完データ・ストリームと前記主データ・ストリームとの前記伝送(502,504)が同期している、請求項1に記載の方法。
  6. 前記連続するカテゴリ化された複数のセグメントを前記主データ・ストリーム中で繰り返し伝送して、前記主データ・ストリーム中の前記関連するセグメントの後の次の連続するセグメントの前記開始を前記補足コンテンツの前記終了と同期させる、請求項5に記載の方法。
  7. 前記少なくとも1つの補完データ・ストリームは、前記主データ・ストリームの前記関連するデータ・セグメントを含む、請求項1に記載の方法。
  8. 前記少なくとも1つの補完データ・ストリームは、前記主データ・ストリーム中の複数の関連するセグメントに対応する複数の包括コンテンツ・セグメントを含む、請求項7に記載の方法。
  9. 補足音声/映像コンテンツを提供するシステム(400)であって、
    主データ・ストリームおよび少なくとも1つの補完データ・ストリームを伝送するように構成されたコーダ(402)と、
    前記主データ・ストリームおよび前記少なくとも1つの補完データ・ストリームを受信し、関連するセグメントの提示中に少なくとも1つの補完データ・ストリームを選択するようにユーザを促し、前記少なくとも1つの補完データ・ストリームのユーザ選択に応答して前記少なくとも1つの補完データ・ストリームの提示を引き起こすように構成されたデコーダ(412)と、を有する前記システム。
  10. 前記主データ・ストリームは、コンテンツの連続するカテゴリ化された複数のセグメントを含み、前記少なくとも1つの補完データ・ストリームは、前記主データ・ストリーム中の前記関連するセグメントを補足するコンテンツを含む、請求項9に記載のシステム。
  11. 前記デコーダ(412)は、前記補足コンテンツの終了時に前記ユーザが前記主データ・ストリームをシームレスに視聴することができるようにするために、前記少なくとも1つの補完データ・ストリームの提示中に前記主データ・ストリームをメモリ(416)にバッファリングするようにさらに構成されている、請求項9に記載のシステム。
  12. 前記デコーダ(412)は、前記補足コンテンツの終了時に、前記主データ・ストリーム中の前記関連するセグメントの後の次の連続するセグメントを自動的に提示するようにさらに構成されている、請求項11に記載のシステム。
  13. 前記コーダ(402)は、前記主データ・ストリーム中の前記カテゴリ化された複数のセグメントの1つの開始が前記補足コンテンツの終了と一致するように、前記少なくとも1つの補完データ・ストリームの伝送を前記主データ・ストリームの伝送と同期させるようにさらに構成されている、請求項9に記載のシステム。
  14. 前記コーダ(402)は、前記連続するカテゴリ化された複数のセグメントを前記主データ・ストリーム中で繰り返し伝送して、前記主データ・ストリーム中の前記関連するセグメントの後の次の連続するセグメントの前記開始を前記補足コンテンツの前記終了と同期させるようにさらに構成されている、請求項13に記載のシステム。
  15. 前記少なくとも1つの補完データ・ストリームは、前記主データ・ストリームの前記関連するデータ・セグメントを含む、請求項9に記載のシステム。
  16. 前記少なくとも1つの補完データ・ストリームは、前記主データ・ストリーム中の複数の関連するセグメントに対応する複数の包括コンテンツ・セグメントを含む、請求項15に記載のシステム。
  17. 前記主データ・ストリームと前記少なくとも1つの補完データ・ストリームとが、異なるチャネルでブロードキャストされる、請求項9に記載のシステム。
  18. 補足音声/映像コンテンツを提供する装置(402)であって、
    連続するカテゴリ化された複数のセグメントを含むデータ・ストリームを生成するように構成された主データ生成器(404)と、
    前記主データ・ストリーム中の関連するセグメントを補足するコンテンツを含む少なくとも1つの補完データ・ストリームを生成するように構成された補完データ・モジュール(406)と、を有し、
    前記関連するセグメントの提示中に少なくとも1つの補完データ・ストリームを選択するようにユーザが促され得るように、前記主データ・ストリームおよび前記少なくとも1つの補完データ・ストリームを前記ユーザに提示するために伝送するように構成されている、前記装置。
  19. 前記主データ・ストリーム中の前記カテゴリ化された複数のセグメントの1つの開始が前記補足コンテンツの終了と一致するように、前記少なくとも1つの補完データ・ストリームの伝送を前記主データ・ストリームの伝送と同期させるように構成された制御器(408)をさらに有する、請求項18に記載の装置。
  20. 前記制御器(408)は、前記連続するカテゴリ化された複数のセグメントを前記主データ・ストリーム中で繰り返し伝送して、前記主データ・ストリーム中の前記関連するセグメントの後の次の連続するセグメントの前記開始を前記補足コンテンツの前記終了と同期させるようにさらに構成されている、請求項19に記載の装置。
  21. 前記少なくとも1つの補完データ・ストリームは、前記主データ・ストリームの前記関連するデータ・セグメントを含む、請求項18に記載の装置。
  22. 前記少なくとも1つの補完データ・ストリームは、前記主データ・ストリーム中の複数の関連するセグメントに対応する複数の包括コンテンツ・セグメントを含む、請求項21に記載の装置。
  23. 補足音声/映像コンテンツを提供する装置(402)であって、
    主データ・ストリームおよび少なくとも1つの補完データ・ストリームを受信し、前記主データ・ストリームの関連するセグメントの提示中に少なくとも1つの補完データ・ストリームを選択するようにユーザを促し、前記少なくとも1つの補完データ・ストリームのユーザ選択に応答して前記少なくとも1つの補完データ・ストリームの提示を引き起こすように構成されたデコーダ(412)を有する、前記装置。
JP2011534462A 2008-10-31 2008-10-31 補足音声/映像コンテンツを提供する方法、装置およびシステム Pending JP2012507925A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/012380 WO2010050920A1 (en) 2008-10-31 2008-10-31 Method, apparatus and system for providing supplemental audio/video content

Publications (1)

Publication Number Publication Date
JP2012507925A true JP2012507925A (ja) 2012-03-29

Family

ID=40673342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011534462A Pending JP2012507925A (ja) 2008-10-31 2008-10-31 補足音声/映像コンテンツを提供する方法、装置およびシステム

Country Status (7)

Country Link
US (1) US20160191971A1 (ja)
EP (1) EP2359599A1 (ja)
JP (1) JP2012507925A (ja)
KR (1) KR20110082062A (ja)
CN (1) CN102197648A (ja)
BR (1) BRPI0823122A2 (ja)
WO (1) WO2010050920A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017028512A (ja) * 2015-07-23 2017-02-02 西日本電信電話株式会社 コンテンツ配信システム、サーバ、及び受信端末

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130178961A1 (en) * 2012-01-05 2013-07-11 Microsoft Corporation Facilitating personal audio productions
US10356484B2 (en) 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
KR102201826B1 (ko) * 2013-03-15 2021-01-12 삼성전자주식회사 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법
US20150143439A1 (en) * 2013-11-19 2015-05-21 Sony Corporation Providing increased bandwidth for transmission of audio video content and supplemental content associated therewith
US9699111B2 (en) * 2014-06-25 2017-07-04 Alcatel Lucent Control of supplemental content in a data flow
US10516909B2 (en) * 2016-07-09 2019-12-24 N. Dilip Venkatraman Method and system for recommending dynamic, adaptive and non-sequentially assembled videos
US10659505B2 (en) * 2016-07-09 2020-05-19 N. Dilip Venkatraman Method and system for navigation between segments of real time, adaptive and non-sequentially assembled video
US10085049B2 (en) 2016-07-09 2018-09-25 N. Dilip Venkatraman Method and system for serving advertisements during streaming of dynamic, adaptive and non-sequentially assembled video
US11128914B2 (en) * 2018-04-25 2021-09-21 Roku, Inc. Client side stitching of content into a multimedia stream
FR3096539A1 (fr) * 2019-06-27 2020-11-27 Orange Procédés d’enrichissement d’un contenu multimédia et de restitution d’un contenu multimédia enrichi, dispositifs et programmes d’ordinateurs correspondants
US11573999B2 (en) * 2020-07-31 2023-02-07 Adobe Inc. Accessible multimedia content

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946305A (ja) * 1995-07-31 1997-02-14 Sony Corp Isdb用送信装置およびその受信装置
JPH0951513A (ja) * 1995-08-08 1997-02-18 Sony Corp Isdb用送信装置およびその受信装置
JPH0955921A (ja) * 1995-08-17 1997-02-25 Sony Corp Isdb用送信装置およびその受信装置
JPH0955920A (ja) * 1995-08-11 1997-02-25 Sony Corp Isdb用送信装置およびその受信装置
JP2000152215A (ja) * 1998-06-30 2000-05-30 Tokyo Hoso:Kk デジタル放送システムおよびデジタルストリ―ムの制御方法並びに端末装置
JP2002325214A (ja) * 2001-04-25 2002-11-08 Nippon Hoso Kyokai <Nhk> 関連番組参照型受信装置および関連番組参照型送信装置ならびに関連番組参照型プログラム
US6483986B1 (en) * 2000-05-26 2002-11-19 Keen Personal Media, Inc. Method and apparatus for recording streaming video data upon selection of alternative subject matter
JP2005159592A (ja) * 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
US20080089672A1 (en) * 1999-04-23 2008-04-17 Gould Eric J Player for audiovisual system with interactive seamless branching and/or telescopic advertising

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7870592B2 (en) * 2000-12-14 2011-01-11 Intertainer, Inc. Method for interactive video content programming
US8161412B2 (en) * 2006-01-13 2012-04-17 At&T Intellectual Property I, L.P. Systems, methods, and computer program products for providing interactive content

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946305A (ja) * 1995-07-31 1997-02-14 Sony Corp Isdb用送信装置およびその受信装置
JPH0951513A (ja) * 1995-08-08 1997-02-18 Sony Corp Isdb用送信装置およびその受信装置
JPH0955920A (ja) * 1995-08-11 1997-02-25 Sony Corp Isdb用送信装置およびその受信装置
JPH0955921A (ja) * 1995-08-17 1997-02-25 Sony Corp Isdb用送信装置およびその受信装置
JP2000152215A (ja) * 1998-06-30 2000-05-30 Tokyo Hoso:Kk デジタル放送システムおよびデジタルストリ―ムの制御方法並びに端末装置
US20080089672A1 (en) * 1999-04-23 2008-04-17 Gould Eric J Player for audiovisual system with interactive seamless branching and/or telescopic advertising
US6483986B1 (en) * 2000-05-26 2002-11-19 Keen Personal Media, Inc. Method and apparatus for recording streaming video data upon selection of alternative subject matter
JP2002325214A (ja) * 2001-04-25 2002-11-08 Nippon Hoso Kyokai <Nhk> 関連番組参照型受信装置および関連番組参照型送信装置ならびに関連番組参照型プログラム
JP2005159592A (ja) * 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017028512A (ja) * 2015-07-23 2017-02-02 西日本電信電話株式会社 コンテンツ配信システム、サーバ、及び受信端末

Also Published As

Publication number Publication date
EP2359599A1 (en) 2011-08-24
US20160191971A1 (en) 2016-06-30
WO2010050920A1 (en) 2010-05-06
KR20110082062A (ko) 2011-07-15
CN102197648A (zh) 2011-09-21
BRPI0823122A2 (pt) 2015-06-16

Similar Documents

Publication Publication Date Title
JP2012507925A (ja) 補足音声/映像コンテンツを提供する方法、装置およびシステム
US10368119B2 (en) Method, device and computer program product for outputting a transport stream
CN102782609B (zh) 共享数字媒体内容的方法和系统
JP5719873B2 (ja) 向上された特殊再生機能のためのシステムおよび方法
EP2056603A2 (en) Systems and methods to play out advertisements
US20160366464A1 (en) Method, device, and system for interactive television
US20140199053A1 (en) Systems and methods to modify playout or playback
US20030095790A1 (en) Methods and apparatus for generating navigation information on the fly
EP2842309A1 (en) Video display system
TW200536397A (en) Interactive video
CN113923530B (zh) 一种互动信息展示方法、装置、电子设备及存储介质
KR101980721B1 (ko) 멀티미디어 스트리밍 서비스 프레젠테이션 방법, 관련 장치 및 관련 시스템
US8302124B2 (en) High-speed programs review
JP2005277946A (ja) 映像受信装置
JP2010109993A (ja) コンテンツ受信装置及びコンテンツ再生方法
KR20120093616A (ko) 스트리밍 데이터의 전송 및 재생방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130402

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130409

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130610

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130619

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140731

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140807

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140829