JP2016007015A - 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体 - Google Patents

再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP2016007015A
JP2016007015A JP2015154651A JP2015154651A JP2016007015A JP 2016007015 A JP2016007015 A JP 2016007015A JP 2015154651 A JP2015154651 A JP 2015154651A JP 2015154651 A JP2015154651 A JP 2015154651A JP 2016007015 A JP2016007015 A JP 2016007015A
Authority
JP
Japan
Prior art keywords
combination
content
information
representation
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015154651A
Other languages
English (en)
Inventor
渡部 秀一
Shuichi Watabe
秀一 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2015154651A priority Critical patent/JP2016007015A/ja
Publication of JP2016007015A publication Critical patent/JP2016007015A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】同時に再生するコンテンツの選択を容易にする装置、方法及びプログラムを提供する。【解決手段】クライアント1は、MPD(Media Presentation Description)に含まれる、同時に再生するコンテンツの組合せを示すコンビネーションのアトリビュートに従ってコンテンツを選択するコンテンツ選択部13と、コンテンツ選択部13が選択したコンテンツの送信をサーバ2に要求するリクエスト実行部14と、リクエスト実行部14のリクエストの要求に応じてサーバ2から送信されたコンテンツを、コンテンツ選択部13が選択した組合せで再生するコンテンツ再生部15とを備える。【選択図】図1

Description

本発明は、通信ネットワークを介して取得したコンテンツを再生する再生装置等に関し、より詳細にはコンテンツに関する情報を含む記述情報を参照して、取得するコンテンツを決定する再生装置等に関する。
従来から、通信ネットワークを介してコンテンツの提供を行う技術が広く用いられている。例えば、下記の特許文献1には、クライアントからサーバにHTTPでコンテンツのリクエストを送信し、クライアントがこのリクエストに対する応答として受信したコンテンツをストリーミング再生するコンテンツストリーミングサービスシステムが開示されている。
このようなシステムの1つとして、3GPPのAHS(Adaptive HTTP Streaming)が
あげられる。3GPPのAHSでは、MPD(Media Presentation Description)と呼ばれる記述情報(メタデータ)を用いることが知られている。MPDには、コンテンツ(メディア)の属性、再生順序などが記述されており、ストリーミングサービスの事前あるいはサービス途中に、クライアントへと送付される。そして、クライアントは、受信したMPDを参照して、サーバにリクエストするコンテンツを決定する。
ここで、MPDを用いてコンテンツを選択し、選択したコンテンツを再生する処理を図24に基づいて説明する。図24は、MPDを用いてコンテンツを選択し、選択したコンテンツを再生する従来技術を示す図であり、同図の(a)はクライアント−サーバ間で送受信されるデータの流れを示し、同図の(b)はMPDのデータ例を示し、同図の(c)はリクエストのデータ例を示し、同図の(d)はコンテンツのデータ例を示している。
同図の(a)に示すように、クライアントとサーバは、ネットワークを介して通信する構成となっている。そして、サーバは、クライアントにMPD(1)を送信する。なお、ここでは、HTTPにてMPDを送信することを想定しているが、MPDの送信態様は特に限定されない。
このMPDは、時間の区間を示すピリオド(Period)と、その区間に再生されるコンテンツの情報を示すリプリゼンテーション(Representation)とで記述される。MPDは、例えば同図の(b)に示すようなデータであってもよい。
同図(b)のMPDには、<Period start=”PT0S”>で始まり、</Period>で終わるピリオド(のエレメント)が含まれており、この次に<Period start=”PT10S”>で始まり、</Period>で終わるピリオドが含まれている。
また、<Period start=”PT0S”>で始まるピリオドには、<Representation〜>で始まり
、</Representation>で終わるリプリゼンテーション(のエレメント)が3つ含まれてい
る。このように、1つのピリオド中に含まれる複数のリプリゼンテーションは、コンテンツの選択肢を示す。言い換えれば、同一ピリオドに含まれる複数のリプリゼンテーションは、その何れかを選択して再生可能であることを示している。
また、各リプリゼンテーション(のエレメント)は、そのリプリゼンテーションに対応するコンテンツの属性を示すアトリビュート(Attribute)を含むことができる。リプリ
ゼーションが持つことのできるアトリビュートには、コーデック、ビットレート、フレームレート、解像度等のコンテンツに関する情報(特にコンテンツの再生に関する情報)を含めることができる。クライアントは、これらのアトリビュートの値を参照して、リプリゼンテーションを選択する。
例えば、同じ映像コンテンツについて、コーデック、ビットレート、フレームレート、解像度等が異なる複数のリプリゼンテーションが記述されている場合には、クライアントは、自機の再生可能なコーデック、ビットレート、フレームレート、解像度等に応じたリプリゼンテーションを選択する。
なお、図示の例では、アトリビュートとして、再生可能なデータ形式を示すMIMEタイプ(mimeType)、そのリプリゼンテーションの識別子(id)、及びビットレート(図ではバンド幅:bandwidth)が記述されているが、アトリビュートはこの例に限られない。
ここで、リプリゼンテーションを選択したクライアントは、同図の(a)に示すように、選択したリプリゼンテーションに対応するコンテンツを要求するリクエスト(2)をサーバに送信する。
このリクエストは、同図の(c)のようなデータであってもよい。同図の(c)の例では、コンテンツを取得するためのGETメソッドを用いて、「seg256.3gp」のコンテンツを要求する例を示している。つまり、同図の(c)では、同図の(b)の上から2番目のid=”2”で示されるリプリゼンテーションを選択した場合のリクエストのデータ例を示している。また、同図の(b)のMPDから、”video/3gp”のコンテンツを取得可能であ
ることを特定できるため、同図の(c)の例では、自機がこのコンテンツを再生可能であることをAcceptヘッダで示している。
そして、このようなリクエストを受信したサーバは、同図の(a)に示すように、リクエストされたコンテンツ(3)をクライアントに送信する。
このコンテンツは、例えば同図の(d)のようなレスポンスメッセージ形式で送信されてもよい。同図の(d)の例では、リクエストを正常に受け付けたことを示すステータスコード(200 OK)と、コンテンツの種類を示すヘッダ行(Content-Type:〜)と、リクエ
ストされたコンテンツのデータ実体(seg256.3gpのバイナリデータ)とを含んでいる。
また、MPDのリプリゼンテーションには、グループ(group)というアトリビュート
を記述することができる。グループに設定された値が異なる場合、異なるコンポーネントであることを示す。同じグループのリプリゼンテーションは同時に再生することができないが、異なるグループのリプリゼンテーションは同時に再生することができる。
これについて、図25に基づいて説明する。図25は、従来技術を示す図であり、グループのアトリビュートを含むMPDのデータ例を示す図である。この例では、”PT0S”から開始するピリオドに、id=1〜5の5つのリプリゼンテーションが含まれている。
この5つのリプリゼンテーションのうち、id=1〜3のリプリゼンテーションはグループ
が”1”となっており、残る2つのリプリゼンテーションはグルーが”2”となっている。この場合、同一のグループに属するid=1〜3のリプリゼンテーションは同時に再生できず
、また、id=4,5のリプリゼンテーションも同時に再生することはできない。しかしながら、グループが”1”のリプリゼンテーションと、グループが”2”のリプリゼンテーションとは同時に再生することができる。例えば、id=1のリプリゼンテーションは、id=4または5のリプリゼンテーションと同時に再生することができる。
日本国公開特許公報「特開2005−110244号公報(2005年4月21日公開)」
しかしながら、リプリゼンテーションはどのような組合せで選択してもよいとは限らない。このため、上述のような従来技術では、クライアントは、複数のリプリゼンテーションの中から、リプリゼンテーションの組合せを適切に選択しなければならず、リプリゼンテーションの選択に関する処理の負担が大きいという問題がある。なお、リプリゼンテーションは、コンテンツを示すものであるから、リプリゼンテーションの選択は、コンテンツの選択と読み替えることができる。
例えば、クライアントは、1つのコンテンツを選択し、このコンテンツと他のコンテンツとを同時に再生しようとしたときには、まず、取得可能なコンテンツのそれぞれについて、選択したコンテンツとの組合せが可能であるかを確認する必要がある。このとき、選択可能であるか否かはコンテンツの種別や組合せによっても条件が変わり得る。そして、組合せが可能であることが確認された全コンテンツの中から、組み合わせるコンテンツを、そのコンテンツの属性情報(アトリビュート)を参照する等して選択する必要がある。このため、クライアントの行う処理は、増大し、複雑化してしまう。また、コンテンツの製作者の意図しない組合せでコンテンツが再生される可能性もあった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、同時に再生するコンテンツを容易に選択する再生装置等を提供することにある。
上記の課題を解決するために、本発明の再生装置は、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツの送信を上記サーバに要求する要求手段と、上記要求手段の要求に応じて上記サーバから送信されたコンテンツを、上記選択手段が選択した組合せで再生する再生手段とを備えていることを特徴としている。
また、本発明の再生装置の制御方法は、上記の課題を解決するために、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置の制御方法であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択ステップと、上記選択ステップで選択したコンテンツの送信を上記サーバに要求する要求ステップと、上記要求ステップにおける要求に応じて上記サーバから送信されたコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップとを含むことを特徴としている。
上記の構成によれば、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報には、同時に再生するコンテンツの組合せを示す組合せ情報が含まれている。そして、この組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送
信を要求し、要求に応じて送信されたコンテンツを、選択した上記組合せで再生する。
したがって、上記の構成によれば、組合せ情報が示す組合せで、コンテンツを同時に再生することができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
また、本発明の生成装置は、上記の課題を解決するために、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段とを備えていることを特徴としている。
そして、本発明の生成装置の制御方法は、上記の課題を解決するために、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置の制御方法であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップとを含むことを特徴としている。
上記の構成によれば、コンテンツの組合せ条件を示す組合せ条件情報を参照して、同時に再生するコンテンツの組合せを決定し、決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する。
したがって、再生装置は、このようにして生成された選択対象コンテンツ情報を取得することによって、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
これにより、再生装置に、組合せ条件を満たす組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、組合せ条件を満たす組合せでコンテンツを容易に選択することができる。
また、本発明の記録媒体は、上記の課題を解決するために、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を記録したコンピュータ読み取り可能な記録媒体であって、上記選択対象コンテンツ情報は、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含むことを特徴としている。
この記録媒体から選択対称コンテンツ情報を読み出した再生装置は、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
これにより、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
また、本発明のデータ構造は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報のデータ構造であって、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、上記再生装置が、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することを特徴としている。
上記のデータ構造は、サーバに要求可能なコンテンツを示す情報と、同時に再生するコンテンツの組合せを示す組合せ情報とを含んでいるため、再生装置は、このデータ構造を利用することにより、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することができる。
したがって、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
以上のように、本発明の再生装置は、選択対象コンテンツ情報に含まれる、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツの送信を上記サーバに要求する要求手段と、上記要求手段の要求に応じて上記サーバから送信されたコンテンツを、上記選択手段が選択した組合せで再生する再生手段とを備えている構成である。
また、本発明の再生装置の制御方法は、以上のように、選択対象コンテンツ情報に含まれる、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択ステップと、上記選択ステップで選択したコンテンツの送信を上記サーバに要求する要求ステップと、上記要求ステップにおける要求に応じて上記サーバから送信されたコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップとを含む構成である。
また、本発明の生成装置は、以上のように、コンテンツの組合せ条件を示す組合せ条件情報を参照して、サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段とを備えている構成である。
そして、本発明の生成装置の制御方法は、以上のように、コンテンツの組合せ条件を示す組合せ条件情報を参照して、サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップとを含む構成である。
また、本発明の記録媒体は、以上のように、選択対象コンテンツ情報は、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含む構成である。
また、本発明のデータ構造は、以上のように、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、上記再生装置が、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生する構成である。
上記の構成によれば、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報には、同時に再生するコンテンツの組合せを示す組合せ情報が含まれている。そして、再生装置は、この組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を要求し、要求に応じて送信されたコンテンツを、選択した上記組合せで再生する。
したがって、再生装置に、各コンテンツの組合せの適否を判断させることなく、適切な組合せでコンテンツを容易に選択させることができるという効果を奏する。
本発明の一実施形態にかかるコンテンツ送受信システムに含まれるクライアントとサーバの要部構成を示すブロック図である。 組合せ情報の種類及び具体例を示す図であり、同図の(a)は組合せの候補を示す組合せ情報とその具体例を示し、同図の(b)〜(d)は組合せの対象を特定する組合せ情報とその具体例を示している。 2つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの一例を示す図である。 3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの一例を示す図である。 3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの他の例を示す図である。 組合せ対象をグループ単位で指定するMPDの一例を示す図である。 組合せ対象をグループの識別情報で指定するMPDの一例を示す図である。 2つのリプリゼンテーションを組み合わせるcombination_requiredとcombination_optionalとを含むMPDの一例を示す図である。 3つのリプリゼンテーションを組み合わせるcombination_requiredとcombination_optionalとを含むMPDの一例を示す図である。 combination_requiredとcombination_optionalとを含み、組合せ対象または組合せ候補をグループ単位で指定するMPDの一例を示す図である。 combination_requiredとcombination_optionalとを含み、組合せ対象または組合せ候補をグループの識別情報で指定するMPDの一例を示す図である。 多視点映像符号化されたコンテンツに好適なMPDの一例を示す図である。 combination_all_requiredを含むMPDの一例を示す図である。 組合せ情報としてcombination_optionalのみを含むMPDの一例を説明する図であり、同図の(a)はMPDの例を示し、同図の(b)(c)は該MPDに基づく画面の表示例を示す。 クライアント及びサーバが実行する処理の一例を示すフローチャートである。 グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの一例を示す図である。 グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの他の例を示す図である。 グループ3のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの例を示す図である。 グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの例を示す図である。 グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの他の例を示す図である。 一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に、クライアントが実行する処理の一例を示すフローチャートである。 リプリゼンテーションの組合せをエレメントで記述したMPDの一例を示す図である。 リプリゼンテーションの組合せを記述するエレメントのスキーマの一例を示す図である。 MPDを用いてコンテンツを選択し、選択したコンテンツを再生する従来技術を示す図であり、同図の(a)はクライアント−サーバ間で送受信されるデータの流れを示し、同図の(b)はMPDのデータ例を示し、同図の(c)はリクエストのデータ例を示し、同図(d)はコンテンツのデータ例を示している。 従来技術を示す図であり、グループのアトリビュートを含むMPDのデータ例を示す図である。 リプリゼンテーションの組合せをエレメントで記述したMPDの他の例を示す図である。 リプリゼンテーションの組合せを記述するエレメントのスキーマの他の例を示す図である。 グループに対してコンビネーションアトリビュートを付加したMPDの一例を示す図である。 組合せidによって組合せ対象を特定する例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図の(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。 組合せidによって組合せ対象を特定する他の例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。
〔実施の形態1〕
以下、本発明の一実施形態について、図1〜図15に基づいて詳細に説明する。
〔システムの概要〕
まず、本実施形態のコンテンツ送受信システムの概要を図1に基づいて説明する。図1は、本発明の一実施形態を示すものであり、コンテンツ送受信システム3に含まれるクライアント(再生装置)1とサーバ(生成装置)2の要部構成を示すブロック図である。
図示のように、クライアント1は、クライアント1の動作を統括して制御するクライアント制御部10と、クライアント1で使用されるデータを記憶するクライアント記憶部11と、クライアント1が外部の装置とネットワークを介して通信するためのクライアント通信部(通信部)12とを備えている。また、クライアント制御部10には、コンテンツ選択部(選択手段)13と、リクエスト実行部(要求手段)14と、コンテンツ再生部(再生手段)15とが含まれている。
コンテンツ選択部13は、サーバ2に要求可能なコンテンツを示す情報を含むコンテンツの記述情報(メタデータ)を取得し、取得した記述情報に従って、サーバ2にリクエストするコンテンツを選択する。具体的には、コンテンツ選択部13は、サーバ2から記述
情報としてMPD(選択対象コンテンツ情報)を受信し、MPDに記述された各リプリゼンテーションの属性情報(アトリビュート)を参照することによって、サーバ2にリクエストするコンテンツを選択する。
詳細については後述するが、本実施形態におけるMPDには、コンテンツの組合せを指定する組合せ情報が含まれている。コンテンツ選択部13は、この組合せ情報を参照することによって、適切な組合せのコンテンツを容易に選択することができる。
リクエスト実行部14は、コンテンツ選択部13が選択したコンテンツを要求するリクエストをサーバ2に送信し、これによりコンテンツを取得する。なお、ここでは、リクエスト実行部14が、HTTPでリクエストを送信する例について説明する。したがって、リクエスト実行部14は、図24の(c)に示したような形式のリクエストを生成して送信する。
コンテンツ再生部15は、リクエスト実行部14のリクエストによって受信されたコンテンツを、コンテンツ選択部13が選択した組合せで再生する。なお、再生したコンテンツは、クライアント1が備えるディスプレイやスピーカ等から出力してもよいし、クライアント1に有線または無線接続されているディスプレイやスピーカ等から出力してもよい。
一方、サーバ2は、サーバ2の動作を統括して制御するサーバ制御部20、サーバ2で使用されるデータを記憶するサーバ記憶部21、及びサーバ2が外部の装置とネットワークを介して通信するためのサーバ通信部22とを備えている。また、サーバ制御部20には、記述情報送信部23とレスポンス実行部24とが含まれており、サーバ記憶部21にはコンテンツ25と記述情報(選択対象コンテンツ情報)26とが格納されている。
記述情報送信部(組合せ決定手段、生成手段)23は、記述情報をクライアント1に送信する。具体的には、記述情報送信部23は、サーバ記憶部21に格納されている記述情報26を読み出して、サーバ通信部22を介してクライアント1に送信する。上述のように、ここでは記述情報としてMPDを用いる。
レスポンス実行部24は、クライアント1から受信したリクエストに応じたコンテンツをクライアント1に送信する。具体的には、レスポンス実行部24は、リクエストを受信したときに、サーバ記憶部21に格納されているコンテンツ25を読み出して、サーバ通信部22を介してクライアント1に送信する。
コンテンツ25は、クライアント1からのリクエストの対象となるデータであり、例えばビデオデータ、オーディオデータ、文字データ等である。
記述情報26は、サーバ2からクライアント1に提供可能なコンテンツ(ここでは、サーバ記憶部21に格納されているコンテンツ25)に関する情報である。具体的には、記述情報26は、選択候補となるコンテンツのリプリゼンテーションがピリオド毎に記述され、各リプリゼンテーションには、そのリプリゼンテーションのアトリビュート(コーデック、ビットレート、フレームレート、解像度等)が記述されたMPDである。
なお、コンテンツ25及び記述情報26の何れかまたは両方は、サーバ2に着脱可能な外部の記録媒体に記録されていてもよいし、サーバ2がアクセス可能な外部の装置に記憶されていてもよい。すなわち、コンテンツ25及び記述情報26は、サーバ2が取得可能な状態で格納されていればよく、格納先は特に限定されない。
また、サーバ2もしくは上述した外部の装置は、コンテンツを符号化するコンテンツ符号化部、及び記述情報26を生成する記述情報生成部を備えていてもよく、これらの構成により、コンテンツ25及び記述情報26の少なくとも一方がリアルタイムで生成されてもよい。リアルタイムで生成されるコンテンツ25の配信は、いわゆるライブ配信にあたる。
また、コンテンツ送受信システムが複数のサーバ2によって構成され、コンテンツ25、記述情報26のそれぞれが異なるサーバ2から提供される構成であっても構わない。
〔組合せ情報〕
ここでは、上述の組合せ情報の詳細を図2に基づいて説明する。図2は、組合せ情報の種類及び具体例を示す図であり、同図の(a)は組合せの候補を示す組合せ情報とその具体例を示し、同図の(b)〜(d)は組合せの対象を特定する組合せ情報とその具体例を示している。
同図の(a)は、combination_optionalというアトリビュート(選択可能情報)の例を示している。このアトリビュートでは、combination_optional=”(組合せ候補のリプリゼ
ンテーション)”の形式で、組合せ候補を示す。なお、組合せ候補は、1つであってもよいし、複数であってもよい。複数の場合には、各リプリゼンテーションを特定する情報を複数並べて記載する。つまり、図示の例では、このアトリビュートを、複数のリプリゼンテーションのリストを記述できるベクトル型(VectorType)で表記している。
例えば、図示の例では、id=1のリプリゼンテーション(以下、♯1のリプリゼンテーションと記載する。また、他のリプリゼンテーションについても同様に記載する。)には、combination_optional=”4 5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの少なくとも1つと組み合わせて再生する(同時に再生する)ことが可能である(この組合せで再生することが推奨される)ことを示している。なお、ここではリプリゼンテーションを特定する情報としてidを用いているが、リプリゼンテーションを特定できる情報であればidに限られず適用可能である。
したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1のみ、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の9通りの再生が可能であることになる。
なお、不可能な組合せ(同じグループに属するリプリゼンテーション間の組合せ)は除外される。例えば、図示の例では、♯4、♯5のリプリゼンテーションが同じグループ2(group=”2”のグループ。以降、これをグループ2と表記する。他のグループについて
も以降同様に表記する。)に属しているので、♯1のリプリゼンテーションにcombination_optional=”4 5 7 8”と記述されていたとしても、♯4、♯5のリプリゼンテーションの両方を♯1のリプリゼンテーションに組み合わせることはない。
また、同図の(b)は、combination_requiredというアトリビュート(選択必須情報)の例を示している。このアトリビュートでは、combination_required=”(組合せ対象の
リプリゼンテーション)”の形式で、組合せ対象を特定する。なお、組合せ対象は、1つであってもよいし、複数であってもよい。複数の場合には、複数のリプリゼンテーションを並べて記載する。つまり、このアトリビュートも、複数のリプリゼンテーションのリストを記述できるベクトル型で表記される。また、組合せ対象が複数である場合には、複数の組合せ対象から少なくとも1つを選択する。つまり、combination_requiredは、組合せ対象の選択が必須である点で、combination_optionalと異なっている。
例えば、図示の例では、♯1のリプリゼンテーションには、combination_required=”4
5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの少なくとも1つと組み合わせて再生する(同時に再生する)ことが必須であることを示している。
したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の8通りの再生が可能であることになる。
さらに、同図の(c)は、combination_all_requiredというアトリビュート(選択必須情報)の例を示している。このアトリビュートでは、combination_all_required=”(組
合せ対象のリプリゼンテーション)”の形式で、組合せ対象を特定する。
combination_all_requiredで指定する組合せ対象は、基本的に複数であり、組合せ対象のリプリゼンテーションを並べて記載する。つまり、このアトリビュートも、複数のリプリゼンテーションのリストを記述できるベクトル型で表記される。combination_all_requiredは、指定された組合せ対象の全ての選択を必須とするアトリビュートである。つまり、combination_all_requiredは、組合せ対象の全選択が必須である点で、combination_requiredと異なっている。
例えば、図示の例では、♯1のリプリゼンテーションには、combination_all_required=”4 5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの全てと組合せて再生する(同時に再生する)ことが必須であることを示している。ただし、同じグループに属するリプリゼンテーション間の組合せは不可であるため、♯4と♯5、♯7と♯8の組合せは除外される。
したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の4通りの再生が可能であることになる。
また、同図の(d)は、combination_one_requiredというアトリビュート(選択必須情報)の例を示している。このアトリビュートでも、combination_one_required=”(組合
せ対象のリプリゼンテーション)”の形式で、組合せ対象を特定する。
combination_one_requiredで指定する組合せ対象は複数であり、組合せ対象のリプリゼンテーションを並べて記載する。つまり、このアトリビュートも、複数のリプリゼンテーションのリストを記述できるベクトル型で表記される。そして、combination_one_requiredのアトリビュートを含むリプリゼンテーションについては、該アトリビュートに記載された複数のリプリゼンテーションのうち1つを必ず選択する。
例えば、図示の例では、♯1のリプリゼンテーションには、combination_one_required=”4 5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの何れか1つと組み合わせて再生する(同時に再生する)ことが必須であることを示している。
したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8の4通りの再生が可能であることになる。なお、組み合わせるリプリゼンテーションの数を2以上に限定することも可能である。例えば、2つのリプリゼンテーションの選択を必須とするcombination_two_requiredのようなアト
リビュートを定義してもよい。
ここで説明した組合せ情報にあたるcombination_xxxで表記されるアトリビュートを、
これ以降、コンビネーションのアトリビュートもしくはコンビネーションアトリビュートと呼ぶ。以上のようなコンビネーションのアトリビュートを用いることによって、コンテンツの組合せ方を指定することができる。例えば、グループ2、3のリプリゼンテーションが、共にグループ1のリプリゼンテーションと同時に再生することが可能な場合に、グループ1のリプリゼンテーションと、グループ2または3の少なくとも何れかとを同時に再生させたいときには、グループ1のリプリゼンテーションにcombination_requiredのアトリビュートを記述して、グループ2、3のリプリゼンテーションを組合せ対象とすればよい。
また、例えば、グループ1〜3のリプリゼンテーションを同時に再生させたいときには、グループ1のリプリゼンテーションにcombination_all_requiredのアトリビュートを記述して、グループ2、3のリプリゼンテーションを組合せ対象とすればよい。
以下では、以上のようなコンビネーションのアトリビュートを含むMPDについて、具体例を挙げて説明する。無論、コンビネーションのアトリビュートを含むMPDは、以下で説明する例に限られない。
なお、1対1で密に結びついたリプリゼンテーションであれば、多重化して1つのリプリゼンテーションとして取り扱えばよい。本発明は、コンテンツの組合せに選択の余地を残すので、1対多、多対1、多対多で緩やかに結びついたリプリゼンテーションの関係を記述する場合に好適である。
〔combination_requiredのアトリビュートを含むMPDの例〕まず、combination_requiredのアトリビュートを含むMPDの例を図3に基づいて説明する。図3は、combination_requiredのアトリビュートを含むMPDの一例を示す図である。
図示の例では、♯1〜♯3のリプリゼンテーションがグループ1に属し、♯4〜♯6のリプリゼンテーションがグループ2に属している。そして、♯1のリプリゼンテーションは、combination_requiredによって組合せ対象が♯4、♯5のリプリゼンテーションに指定されている。同様に、♯2は♯5、♯6に、♯3は♯6に、♯4は♯1に、♯5は♯1、♯2に、そして♯6は♯2、♯3に組合せ対象が指定されている。
このようなMPDは、例えば、グループ1が(オーディオを含まない)ビデオコンテンツであり、グループ2がオーディオコンテンツである場合に、ビデオコンテンツの解像度(画質)に応じた適切な再生品質のオーディオコンテンツを選択させるために適用することができる。
なお、コンビネーションのアトリビュートによって組み合わされるコンテンツは、ビデオコンテンツとオーディオコンテンツのように、種類が異なっていてもよいし、種類が同じ(ビデオ同士、オーディオ同士、文字同士の組合せ等)であってもよい。ここでは、出力方式の異なるコンテンツを種類の異なるコンテンツとする。例えば、ビデオは、動画像として出力され、オーディオは音響や音声として出力され、文字は静止画像として出力されるので、これらのコンテンツは種類が異なるものとする。無論、コンテンツの種類は、これらの例に限定されない。また、再生品質は、例えば解像度、画像サイズ、ビットレート等のように、コンテンツを再生するときの質(クオリティ)を示すものである。
ここで、例えば、図示の♯1〜♯3のリプリゼンテーションがビデオコンテンツに対応
し、♯4〜♯6のリプリゼンテーションがオーディオコンテンツに対応しており、idの小さいものほど解像度が高い並びに再生品質が高い場合を考える。
このような場合、このMPDを参照したクライアント1は、まず、自機の再生能力等に応じたリプリゼンテーションを選択すればよい。なお、何れのリプリゼンテーションを選択するかは、各リプリゼンテーションに付された他のアトリビュートを参照して決定すればよい。例えば、アトリビュートにコンテンツの表示幅、表示高さ(width、height)が
含まれている場合には、これらを参照することによってHD(High Definition)のビデ
オコンテンツに対応するリプリゼンテーションを特定することもできる。
次に、クライアント1は、選択したリプリゼンテーションに含まれるコンビネーションのアトリビュート(ここでは、combination_required)を参照することによって、そのリプリゼンテーションと組み合わせるべき適切なリプリゼンテーションを特定する。そして、選択したリプリゼンテーション、特定したリプリゼンテーションをサーバ2にリクエストする。最後に、リクエストに応じて送信されるコンテンツを再生する。
ここで、図示の例では、最も解像度の高いビデオコンテンツ♯1のリプリゼンテーションのcombination_requiredでは、最も再生品質の高いオーディオコンテンツ♯4と、中程度の再生品質のオーディオコンテンツ♯5が組合せ対象として特定されている。つまり、最も解像度の高いビデオコンテンツ♯1については、再生品質が最も低いオーディオコンテンツ♯6との組合せが除外されている。
また、最も解像度の低いビデオコンテンツ♯3であるリプリゼンテーションのcombination_requiredでは、再生品質の最も低いオーディオコンテンツ♯6のみが組合せ対象として特定されている。つまり、最も解像度の低いビデオコンテンツ♯3については、再生品質が最も高いオーディオコンテンツ♯4、中程度の再生品質のオーディオコンテンツ#5との組合せがともに除外されている。
これにより、高解像度の画像と低再生品質の音声の組合せや、低解像度の画像と高再生品質の音声の組合せのようなアンバランスなコンテンツ再生が行われることを防ぎ、画像の再生品質に応じた再生品質の音声でコンテンツ再生が行われることを保証することができる。これは、リビングのテレビ(高解像度、高音声品質)とモバイル端末(低解像度、低音声品質)といった、再生装置の性能の違いによる再生コンテンツ選択の条件付けとも整合している。
そして、クライアント1は、コンビネーションのアトリビュートを参照することによって、このような適切な組合せを特定することができる。よって、MPDに含まれる各リプリゼンテーションの組合せが適切か否かを判断する必要がなく、容易かつ迅速にコンテンツを選択することができる。また、組合せの選択の際も、コンビネーションのアトリビュートによって、組合せの選択肢が絞り込まれるので、容易かつ迅速な選択が可能になる。
これに対し、コンビネーションのアトリビュートを含まない従来のMPDを用いてリプリゼンテーションを選択する場合、何れのリプリゼンテーションとの組合せが適切であるか否かを、各リプリゼンテーションのそれぞれについてクライアント1が判断する必要があった。このため、クライアント1においてリプリゼンテーションを選択する処理が煩雑であり、またコンテンツ提供者が意図していない組合せでリプリゼンテーションが選択されるおそれがあったが、本発明のコンビネーションのアトリビュートを含むMPDを用いることによって、このような問題は解決される。
〔3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを
含むMPDの例1〕
続いて、3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの例を図4に基づいて説明する。図4は、3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの一例を示す図である。
なお、3つ以上のリプリゼンテーションを組み合わせる場合とは、3つ以上のグループが存在する場合に生じ得る。例えば、ビデオコンテンツのグループと、ビデオコンテンツと同時に再生するオーディオコンテンツのグルーと、ビデオコンテンツ及びオーディオコンテンツの何れかまたは両方と同時に再生(表示)する文字情報コンテンツ(文字放送など)のグループとが存在するような場合には、3つ以上のリプリゼンテーションの組合せが生じる。なお、ここでは3つのリプリゼンテーションを組み合わせる例について説明するが、同様にして4つ以上のリプリゼンテーションを組み合わせることも可能である。
図示の例では、♯1〜♯3のリプリゼンテーションがグループ1に属し、♯4〜♯6のリプリゼンテーションがグループ2に属し、♯7〜♯9のリプリゼンテーションがグループ3に属している。そして、♯1のリプリゼンテーションは、combination_requiredによって組合せ対象が♯4、♯5、♯7、♯8に指定されている。同様に、♯2は♯5、♯6、♯8、♯9に、♯3は♯6、♯9に、♯4は♯1に、♯5は♯1、♯2に、♯6は♯2、♯3に、♯7は♯1に、♯8は♯1、♯2に、♯9は♯2、♯3に組合せ対象が指定されている。
このようなMPDは、例えば、グループ1がビデオコンテンツであり、グループ2がオーディオコンテンツであり、グループ3が文字情報コンテンツである場合に適用することができる。
ここで、上述のように、combination_requiredは、組合せ対象のリプリゼンテーションのうち、少なくとも1つを必ず選択することを指定するアトリビュートである。また、同一のグループ内に含まれるリプリゼンテーションは組合せの対象から外される。
したがって、♯1のリプリゼンテーション(グループ1)のcombination_required=”4
5 7 8”は、♯1のリプリゼンテーションを、♯4または♯5のリプリゼンテーション(グループ2)と、♯7または♯8のリプリゼンテーション(グループ3)との何れかまたは両方と組み合わせることを示す。
具体的には、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の8通りの組合せの何れかで再生することになる。
〔3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの例2〕
続いて、3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの他の例を図5に基づいて説明する。図5は、3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの他の例を示す図である。
図示の例では、図4の例と同様に、♯1〜♯3のリプリゼンテーションがグループ1に属し、♯4〜♯6のリプリゼンテーションがグループ2に属し、♯7〜♯9のリプリゼンテーションがグループ3に属している。
ここで、図5の♯1、♯2のリプリゼンテーションには、2つのcombination_required
が記述されている。具体的には、♯1のリプリゼンテーションには、組合せ対象を♯4、♯5とするcombination_requiredと、組合せ対象を♯7、♯8とするcombination_requiredとが記述されている。また、♯2のリプリゼンテーションには、組合せ対象を♯5、♯6とするcombination_requiredと、組合せ対象を♯8、♯9とするcombination_requiredとが記述されている。
combination_requiredは、組合せ対象から少なくとも1つの選択を必須とするアトリビュートであるから、図5の例のように、複数のcombination_requiredを用いた場合、各combination_requiredの組合せ対象から少なくとも1つを選択することが必須となる。
したがって、図5の♯1のリプリゼンテーションを選択した場合には、♯4、♯5の何れかを選択し、かつ♯7、♯8の何れかを選択することが必須となる。また、♯2のリプリゼンテーションを選択した場合には、♯5、♯6の何れかを選択し、かつ♯8、♯9の何れかを選択することが必須となる。
すなわち、図5のMPDを取得し、♯1のリプリゼンテーションを選択したクライアント1は、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、♯1+♯5+♯8の4通りの組合せの何れかで再生することになる。
なお、combination_all_requiredを用いて同様の組合せを指定することもできる。すなわち、図5の例において、♯1のアトリビュートに2つのcombination_requiredを記述する代わりに、combination_all_required=”4 5 7 8”を記述し、♯2のアトリビュートに2つのcombination_requiredを記述する代わりに、combination_all_required=”5 6 8 9”を記述した場合であっても、図5と同じ組合せによる再生が行われる。
〔グループ単位での指定1〕
上述の例では、組合せ対象をリプリゼンテーションのidで特定する例を示したが、組合せ対象を特定する方法はidに限られない。要は、クライアント1が組合せ対象を特定することができるように、MPDに組合せ対象が記述されていればよい。combination_optionalで指定する組合せ候補についても同様である。
例えば、グループを指定することによって組合せ対象(候補)を特定することができるようにしてもよい。これについて、図6、図7に基づいて説明する。
図6は、組合せ対象をグループ単位で指定するMPDの一例を示す図である。
図示の例でも、図4、図5の例と同様に、♯1〜♯3のリプリゼンテーションがグループ1に属し、♯4〜♯6のリプリゼンテーションがグループ2に属し、♯7〜♯9のリプリゼンテーションがグループ3に属している。
ここで、図6の♯1のリプリゼンテーションのcombination_requiredでは、組合せ対象が”4 5 group#3”と記述されている。これは、♯1のリプリゼンテーションは、♯4、
♯5、及びグループ3のリプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。この例では、グループ3に♯7〜♯9のリプリゼンテーションが含まれているので、♯4、♯5、♯7〜♯9の少なくとも1つとの組合せが必須ということになる。
なお、同一グループからは1つのリプリゼンテーションのみ選択可能であるから、♯1のリプリゼンテーションを選択した場合、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯9、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯4+♯9、♯1+♯
5+♯7、♯1+♯5+♯8、及び♯1+♯5+♯9の11通りの組合せの何れかで再生することになる。
また、図6の♯9のリプリゼンテーションのcombination_requiredでは、組合せ対象が”group#1”と記述されている。これは、♯9のリプリゼンテーションは、グループ1の
リプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。この例では、グループ1に♯1〜♯3のリプリゼンテーションが属しているので、♯1〜♯3の何れか1つとの組合せが必須ということになる。
これにより、♯9のリプリゼンテーションを選択したときには、必ずグループ1のリプリゼンテーションが選択されることになる。このため、例えばグループ1がビデオコンテンツであり、グループ3が文字情報コンテンツであるような場合に、このMPDを適用することにより、ビデオコンテンツが再生されず、文字情報コンテンツのみが再生されることを防ぐことができる。
〔グループ単位での指定2〕
また、図6の例では、”group#n”といった文字列を使ってグループ単位で特定のグル
ープを指定する例を示したが、各グループに識別情報(id)を割り当てて、その識別情報でリプリゼンテーションと同様にグループを指定してもよい。ここでは、図7に基づいて識別情報でグループを指定する例について説明する。図7は、組合せ対象をグループの識別情報で指定するMPDの一例を示す図である。なお、図7のMPDは、グループを指定する方式が変わっているだけで、このMPDで特定される組合せは、図6の例と同じである。
図7の例は、新たにリプリゼンテーショングループ(RepresentationGroup)というエ
レメントを定義し、グループに含まれるリプリゼンテーション(Representation)を、リプリゼンテーショングループエレメントの内部エレメントとして記述した例である。そして、このリプリゼンテーショングループに対して、グループのidを示すアトリビュートを貼付する。つまり、図示の例で〈RepresentationGroup id=” ”〉から〈/RepresentationGroup〉までの間に記述されているリプリゼンテーションは、〈RepresentationGroup id=” ”〉に記述されているidのグループに属していることを示している。コンビネーションアトリビュートは、このidアトリビュートを使ってグループを特定する。
すなわち、図示の例では、idがg1のグループと、g2のグループと、g3のグループとが規定されており、g1のグループには、♯1〜♯3のリプリゼンテーションが属し、g2のグループには、♯4〜♯6のリプリゼンテーションが属し、g3のグループには、♯7〜♯9のリプリゼンテーションが属している。
そして、♯1のリプリゼンテーションのcombination_requiredでは、組合せ対象が”4 5 g3”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、及びidがg3のグループのリプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。
また、♯9のリプリゼンテーションのcombination_requiredでは、組合せ対象が”g1”と記述されている。これは、♯9のリプリゼンテーションは、idがg1のグループのリプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。
〔combination_requiredとcombination_optionalの組合せの例1〕上述の例では、combination_requiredを用いたMPDについて説明した。MPDでは、combination_requiredとcombination_optionalとを組み合わせて用いることもできる。これについて図8に基づ
いて説明する。図8は、combination_requiredとcombination_optionalとを含むMPDの一例を示す図である。
図示の例では、♯1〜♯3のリプリゼンテーションがグループ1に属し、♯4〜♯6のリプリゼンテーションがグループ2に属している。そして、♯1のリプリゼンテーションは、combination_optionalによって組合せ候補が♯4、♯5に指定されている。同様に、♯2は♯5、♯6に、♯3は♯6に組合せ候補が指定されている。
一方、♯4のリプリゼンテーションは、combination_requiredによって組合せ対象が♯1に指定されている。同様に、♯5は♯1、♯2に、♯6は♯2、♯3に組合せ対象が指定されている。
すなわち、図8のMPDでは、グループ1のリプリゼンテーションは、グループ2のリプリゼンテーションとの組合せが推奨されているが必須ではない。一方で、グループ2のリプリゼンテーションは、グループ1のリプリゼンテーションとの組合せが必須となっている。言い換えれば、グループ1のリプリゼンテーションは、単体での再生が許容されているが、グループ2のリプリゼンテーションは、単体での再生が許容されていない。
このようなMPDは、例えば、グループ1がビデオコンテンツ(main video)であり、グループ2が製作者コメンタリPinP(Picture in Picture)等のサブビデオコンテンツ(sub/auxiliary video)である場合に好適に適用することができる。例えば、グルー
プ1のビデオコンテンツの解像度と同じ解像度のサブビデオコンテンツを選択させることや、ビデオコンテンツの解像度と破綻なく表示可能な大きさのサブビデオコンテンツを選択させることもできる。
また、このようなMPDは、例えばグループ1がビデオコンテンツ(main video)であり、グループ2がビデオコンテンツの字幕(timed-text)である場合にも好適に適用することができる。例えば、ビデオコンテンツの解像度に応じた適切な文字数(あるいはフォント)の字幕を選択させることもできる。
ここで、図8の♯1〜♯3のリプリゼンテーションがビデオコンテンツに対応し、♯4〜♯6のリプリゼンテーションが字幕に対応しており、idの小さいものほど解像度(再生品質)が高い場合を考える。なお、字幕は、表示文字数が多く、フォントが高精細なものほど再生品質が高いものとする。具体的には、例えば、♯4は表示文字数が多く、かつ高精細フォントであり、♯5は表示文字数が♯4と同じで、かつ低精細フォントであり、♯6は♯4、♯5よりも表示文字数が少なく、かつ低精細フォントであるとする。
このような場合、このMPDを参照したクライアント1は、まず、自機の再生能力等に応じたリプリゼンテーションを選択すればよい。なお、何れのリプリゼンテーションを選択するかは、各リプリゼンテーションに付された他のアトリビュートを参照して決定すればよい。
次に、クライアント1は、選択したリプリゼンテーションに含まれるコンビネーションのアトリビュートを参照することによって、そのリプリゼンテーションと組み合わせることができる(または組合せが必須の)リプリゼンテーションを特定する。そして、クライアント1は、選択したリプリゼンテーション、特定したリプリゼンテーションをサーバ2にリクエストし、リクエストに応じて送信されるコンテンツを再生する。
ここで、図示の例では、最も解像度の高いビデオ♯1のリプリゼンテーションのcombination_optionalでは、最も再生品質の高い字幕♯4と、中程度の再生品質の字幕♯5が組
合せ対象として指定されている。つまり、最も解像度の高いビデオ♯1については、再生品質が最も低い字幕♯6との組合せが除外されている。
また、最も解像度の低いビデオ♯3のリプリゼンテーションのcombination_optionalでは、再生品質の最も低い字幕♯6のみが組合せ対象として指定されている。つまり、最も解像度の低いビデオ♯3については、再生品質が最も高い字幕♯4、中程度の再生品質の字幕#5との組合せがともに除外されている。
これにより、高解像度の画像と、低精細フォントの文字数が少ない字幕との組合せや、低解像度の画像と高精細フォントの文字数が多い字幕との組合せのようなアンバランスなコンテンツ再生が行われることを防ぎ、画像の再生品質に応じた再生品質の字幕でコンテンツ再生が行われることを保証することができる。これは、リビングのテレビ(高解像度、詳細な字幕表示可)とモバイル端末(低解像度、詳細な字幕表示不可)といった、再生装置の性能の違いによる再生コンテンツ選択の条件付けとも整合している。
また、ビデオコンテンツに対応するグループ1のリプリゼンテーションにはcombination_optionalを使用しているので、字幕無しのコンテンツ再生も可能となる。さらに、字幕に対応するグループ2のリプリゼンテーションにはcombination_requiredで組合せ対象が指定されているので、グループ1のリプリゼンテーションを選択する前に、グループ2のリプリゼンテーションを選択した場合であっても、字幕のみが選択されて再生されることはない。つまり、図8のMPDを用いた場合、字幕のみが再生されることを防ぐことができる。
〔3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの例3〕
続いて、3つ以上のリプリゼンテーションを組み合わせるcombination_requiredとcombination_optionalとを含むMPDの例を図9に基づいて説明する。図9は、combination_requiredとcombination_optionalとを含み、3つのリプリゼンテーションを組合せるMPDの一例を示す図である。
図9のMPDは、グループ1のリプリゼンテーションにおけるコンビネーションのアトリビュートがcombination_optionalとなっている点を除けば、図4の例と同様である。図9の例では、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっていることにより、グループ1のリプリゼンテーション単体での再生が可能となっている。
すなわち、クライアント1は、図9のMPDから♯1のリプリゼンテーションを選択した場合、♯1、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の9通りの組合せの何れかで再生することになる。
このようなMPDは、グループ1が単体で再生可能なコンテンツのリプリゼンテーションで構成されるグループであり、グループ2、3が、単体では再生しないが、グループ1のコンテンツと同時に再生することを想定したコンテンツのリプリゼンテーションで構成されるグループであるような場合に好適に適用できる。例えば、グループ1がオーディオを含むビデオコンテンツのリプリゼンテーションで構成され、グループ2が副音声のコンテンツのリプリゼンテーションで構成され、グループ3が字幕のコンテンツのリプリゼンテーションで構成されるような場合にも適用できる。
〔グループ単位での指定3〕
MPDがcombination_requiredとcombination_optionalとを含む場合であっても、組合せ対象(候補)をグループ単位で指定することが可能である。これについて、図10、図11に基づいて説明する。
図10は、combination_requiredとcombination_optionalとを含み、組合せ対象または組合せ候補をグループ単位で指定するMPDの一例を示す図である。
図10のMPDは、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっている点を除けば、図6の例と同様である。図10の例では、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっていることにより、グループ1のリプリゼンテーション単体での再生が可能となっている。
このようなMPDは、図9の例と同様に、グループ1が単体で再生可能なコンテンツであり、グループ2、3が、単体では再生しないが、グループ1のコンテンツと同時に再生することを想定したコンテンツであるような場合に好適に適用できる。
図10のMPDから♯1のリプリゼンテーションを選択した場合、クライアント1は、組合せの候補が、♯4、♯5、及びグループ3に含まれるリプリゼンテーション(♯7〜♯9)であることを特定することができる。このため、クライアント1は、♯1、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯9、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯4+♯9、♯1+♯5+♯7、♯1+♯5+♯8、及び♯1+♯5+♯9の12通りの組合せの何れかで再生することになる。
〔グループ単位での指定4〕
MPDがcombination_requiredとcombination_optionalとを含む場合であっても、組合せ対象(候補)をグループの識別情報で指定することができる。ここでは、図11に基づいて、combination_requiredとcombination_optionalとを含み、識別情報でグループを指定するMPDの例について説明する。図11は、combination_requiredとcombination_optionalとを含み、組合せ対象をグループの識別情報で指定するMPDの一例を示す図である。なお、このMPDで特定される組合せは、図10の例と同じである。
図11のMPDは、グループ1のリプリゼンテーションのコンビネーシンョンアトリビュートがcombination_optionalとなっている点を除けば、図7の例と同様である。図11の例では、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっていることにより、グループ1のリプリゼンテーション単体での再生が可能となっている。
このようなMPDは、図9、図10の例と同様に、グループ1が単体で再生可能なコンテンツのリプリゼンテーションで構成されるグループであり、グループ2、3が、単体では再生しないが、グループ1のコンテンツと同時に再生することを想定したコンテンツのリプリゼンテーションで構成されるグループであるような場合に好適に適用できる。
図11のMPDから♯1のリプリゼンテーションを選択した場合、クライアント1は、組合せの候補が、♯4、♯5、及びidがg3のグループに属するリプリゼンテーション(♯7〜♯9)であることを特定することができる。
〔combination_requiredとcombination_optionalの組合せの例2〕
combination_requiredとcombination_optionalとを含むMPDは、例えばMVC(multiview video coding)で多視点映像符号化されたビデオコンテンツの再生にも好適に適用
できる。MVCとは、映像符号化方式の国際標準化組織であるMPEG(Moving Picture
Experts Group、正式名称はISO/IECJTC1/SC29 WG11)において標準化されている多視点
映像符号化方式である。例えば、3眼映像のMVC符号化映像データは、第1から第3の符号化映像データで構成されて、第1と第2のデータの復号映像を左右それぞれの視点の映像としてステレオ視視聴する、第3と第1のデータの復号映像を左右それぞれの視点の映像としてステレオ視視聴する、といったことを可能とする。ここでは、MVCのコンテンツに好適に適用できるMPDについて図12に基づいて説明する。図12は、MVCのコンテンツに好適なMPDの一例を示す図である。
図12のMPDには、3つのリプリゼンテーションが含まれており、各リプリゼンテーションには、MIMEタイプ(mimeType)のアトリビュートと、リプリゼンテーションのidを示すアトリビュートと、グループを示すアトリビュートと、コンビネーションのアトリビュートとが含まれている。
具体的には、♯1のリプリゼンテーションには、コンビネーションのアトリビュートとして、combination_optionalが含まれ、♯2、♯3のリプリゼンテーションにはcombination_requiredが含まれている。また、mimeTypeのアトリビュートには”video/mp4; codecs=mvc1”と記述されており、これらのリプリゼンテーションがMVCのコンテンツに対応するものであることを示している。そして、グループを示すアトリビュートから、同図の一番上のリプリゼンテーションはグループ1に属し、他の2つのリプリゼンテーションはグループ2に属していることがわかる。
♯1のリプリゼンテーションのcombination_optionalでは、組合せの候補として♯2、♯3のリプリゼンテーションが指定されている。つまり、♯1のリプリゼンテーションは、単体で再生することもできるし、♯2または♯3のリプリゼンテーションの何れかと組合せて再生することもできる。
一方、♯2、♯3のリプリゼンテーションのcombination_requiredでは、何れも組合せの対象として、♯1のリプリゼンテーションが指定されている。つまり、♯2、♯3のリプリゼンテーションは、単体で再生することはできず、♯1のリプリゼンテーションと組み合わせて再生することが必須である。
これは、例えばグループ1がベースビデオコンテンツ(base video)のリプリゼンテーションで構成されるグループであり、グループ2がエンハンスビデオコンテンツ(enhance video)のリプリゼンテーションで構成されるグループである場合に好適である。具体
的には、#1単体では通常の2次元の映像として視聴可能であるとともに、♯1+♯2、または♯1+♯3の組合せによって、ステレオ視映像を表示、視聴可能とするような場合が想定される。例えば、#1+#2の場合に#1を左眼映像、#2を右目映像として、#1+#3の場合に#3を左眼映像、#1を右目映像として視聴する。
ステレオ視映像を表示、視聴可能なクライアント1が、このようなMPDを取得した場合、グループ1のリプリゼンテーション♯1を選択し、このリプリゼンテーションのcombination_optionalの値から、ステレオ視映像として組合せ可能なリプリゼンテーションが、♯2または♯3であることを特定する。
また、クライアント1は、上記のように特定したリプリゼンテーション♯2または♯3を選択し、リプリゼンテーション♯1に対応するコンテンツと、リプリゼンテーション♯1とともに選択したリプリゼンテーション(リプリゼンテーション♯2または♯3)に対応するコンテンツとをサーバ2にリクエストする。そして、リクエストに応じて送信されるコンテンツを受信して、同時に再生する。これにより、クライアント1は、♯1+♯2
、または♯1+♯3の組合せによるステレオ視映像を表示することができる。
〔combination_all_requiredを含むMPDの例〕
続いて、combination_all_requiredを含むMPDの例を図13に基づいて説明する。図13は、combination_all_requiredを含むMPDの一例を示す図である。図13のMPDには、3つのリプリゼンテーションが含まれており、各リプリゼンテーションには、MIMEタイプ(mimeType)のアトリビュートと、リプリゼンテーションのidを示すアトリビュートと、グループを示すアトリビュートと、バンド幅(bandwidth)を示すアトリビュート
とが含まれている。図示のように、3つのリプリゼンテーション(♯1〜♯3)は、それぞれグループ1〜3に属している。
また、♯2のリプリゼンテーションには組合せ対象として♯1を指定するcombination_all_requiredが含まれ、♯3のリプリゼンテーションには組合せ対象として♯1、♯2を指定するcombination_all_requiredが含まれている。
これにより、♯2のリプリゼンテーションは、♯1のリプリゼンテーションとの組合せが必須であり、♯3のリプリゼンテーションは、♯1及び♯2のリプリゼンテーションとの組合せが必須であることが特定される。
つまり、このMPDによれば、♯1、♯1+♯2、及び♯1+♯2+♯3の何れかの再生が可能であることが分かる。これは、例えばグループ1〜3のリプリゼンテーションに対応するコンテンツが、SVC(scalable video coding)のコンテンツである場合に好
適に適用できる。SVCとは、上述したMPEGにおいて標準化されている階層映像符号化方式である。例えば、3階層のSVC符号化映像データは、第1から第3の符号化映像データで構成されて、第1の映像データのみからは低画質の映像が復号されて、第1と第2の映像データからは中間画質の映像が復号されて、第1から第3までの映像データからは高画質の映像が復号され再生されるといったように、復号するデータ量によって画質の異なる映像を階層的に復号、再生可能とした方式である。
このMPDを用いる場合、クライアント1は、各グループに含まれるリプリゼンテーションのバンド幅の値を参照して、所望のリプリゼンテーションを選択することができる。ここで、3つのリプリゼンテーションのうち、最もバンド幅の大きい♯3のリプリゼンテーションを選択したとする。この場合、クライアント1は、♯3のcombination_all_requiredによって、♯3のコンテンツの再生には、♯1及び♯2が必要であることを特定する(#3の再生には♯1及び♯2が必須のため、♯3のリプリゼンテーションに示されるバンド幅には、#1から#3のデータ分を含めた値が記されている)。
そして、クライアント1は、♯1〜♯3の全てをサーバ2にリクエストし、リクエストに応じて受信したコンテンツを再生する。これにより、♯1〜♯3のリプリゼンテーションに対応するコンテンツを組合せた(正確には階層符号化データを組み合わせて再生される)コンテンツ再生が可能になる。
なお、♯1は、♯2と組み合わせて再生することが可能であるから、図13のMPDの♯1のリプリゼンテーションのアトリビュートにcombination_optionalを追記して、#1の組合せ候補として♯2を指定するようにしてもよい。また、♯2は、♯1が共に組み合わされることを必須条件として♯3との組合せが可能である。よって、図13のMPDの♯2のリプリゼンテーションのアトリビュートに、既にあるcombination_all_requiredに追加してcombination_optionalを記述して、#2の組合せ候補として♯3を指定するようにしてもよい。
また、図13の♯2のリプリゼンテーションでは、combination_all_requiredで♯1を指定しているが、このように1つのリプリゼンテーションのみを指定する場合には、combination_requiredを用いてもよい。
〔combination_optionalのみを含むMPDの例〕
続いて、組合せ情報としてcombination_optionalのみを含むMPDの例を図14に基づいて説明する。図14は、組合せ情報としてcombination_optionalのみを含むMPDの一例を説明する図であり、同図の(a)はMPDの例を示し、同図の(b)および(c)は該MPDに基づく画面の表示例を示す。
図14の(a)のMPDには、♯1〜♯6の6つのリプリゼンテーションが含まれており、♯1〜♯3がグループ1に属し、♯4〜♯6がグループ2に属している。また、♯1〜♯6のリプリゼンテーションは、それぞれcombination_optionalのアトリビュートを含み、これにより、組合せ候補が、♯6、♯5、♯4、♯3、♯2、及び♯1にそれぞれ指定されている。
つまり、図14の(a)のMPDでは、♯1+♯6、♯2+♯5、♯3+♯4の組合せが推奨されている。なお、combination_optionalでは、その組合せ候補の中からの選択が必須ではないので、各々単体での再生が可能となっている。また、組合せ候補の中からの選択が必須ではないので、これら以外の組合せも可能とする。選択が必須ではない分、クライアント1における選択処理の負担が発生するが、combination_optionalを用いることによって、柔軟な組合せに対応することができる。また、combination_optionalによって、選択候補が絞り込まれるため、従来のMPDを用いる場合と比べれば、適切なコンテンツを容易に選択することができる。
このようなMPDは、例えば同時に表示可能な複数のビデオコンテンツに好適に適用できる。例えば、グループ1のビデオコンテンツと、グループ2のビデオコンテンツとを1つの画面に同時に表示可能な場合に、グループ1のビデオコンテンツの解像度に応じた適切な解像度のグループ2のビデオコンテンツを選択させることもできる。
ここで、図14の(a)の♯1〜♯3のリプリゼンテーションがビデオコンテンツに対応し、♯4〜♯6のリプリゼンテーションが♯1〜♯3のリプリゼンテーションと同時に再生可能なビデオコンテンツに対応し、idの小さいものほど解像度(再生品質)が高い場合を考える。
このような場合、図14の(a)の例のように、解像度の高い♯1のリプリゼンテーションの組合せ候補として、解像度の低い♯6を記述することにより、1つの画面に同時に表示するのに適当な2つの解像度のビデオコンテンツを容易に選ぶことができる。例えば、解像度に合せて#1を画面上大きく、#6を画面上小さく表示する。この場合、#1のリプリゼンテーションに対応するビデオコンテンツを高解像度、高画質で表示できるから、♯1のリプリゼンテーションに対応するビデオコンテンツの印象を強めることができる。加えて、解像度の高いビデオコンテンツはデータ量も多いため、高解像度のコンテンツと低解像度のコンテンツの組合せを常に選ばせることで、トータルのデータ量を容易に平均的に抑えることができるといった効果がある。同様に、図14の(a)の例のように、解像度の低い♯3のリプリゼンテーションの組合せ候補としては、解像度の高い♯4を記述する。
なお、解像度の高いリプリゼンテーション同士や、解像度の低いリプリゼンテーション同士を組合せ候補としてもよく、また、解像度が同じまたは同等のリプリゼンテーション同士を組合せ候補としてもよい。この場合には、バンド幅に応じて伝送可能なリプリゼン
テーションの組合せを選びつつ、かつ、画面全体として均一な解像度、画質での映像の表示、視聴が可能になる。
2つのビデオコンテンツを同時に表示する態様としては、例えば図14の(b)および(c)に示すような態様が挙げられる。なお、図14の(b)および(c)の例では、♯1のリプリゼンテーションに対応するビデオコンテンツを同図の「♯1」で示す領域に表示し、♯6のリプリゼンテーションに対応するビデオコンテンツを同図の「♯6」で示す領域に表示することを示している。同様に、♯2〜♯5に対応するビデオコンテンツを同図の「♯2」〜「♯5」で示す領域に表示することを示している。
図14の(b)に示すように、各グループのリプリゼンテーションに対応するビデオコンテンツを重畳せずに表示してもよい。なお、表示領域の配置は図示の例に限られず、例えば表示領域が縦(画面の垂直方向)に並ぶようにしてもよいし、表示画面全体を複数の領域に分割(例えば4分割)し、分割した領域の1つに各グループのリプリゼンテーションに対応するビデオコンテンツを表示してもよい。
また、ビデオコンテンツの表示領域のサイズは、解像度に応じたサイズとしてもよい。つまり、解像度に差があるビデオコンテンツを同時に表示する場合には、解像度の大きいビデオコンテンツをより大きく表示してもよい。
さらに、図14の(c)に示すように、各グループのリプリゼンテーションに対応するビデオコンテンツを重畳して表示してもよい。なお、図14の(c)の場合も、ビデオコンテンツの表示領域のサイズを解像度に応じたサイズとしてもよい。しかし、同じサイズの表示領域を重畳するとコンテンツの視認性が悪化するので、表示領域のサイズが同じ場合には、図示の例(#2と#5の例)のように重畳せずに表示することが好ましい。また、表示領域の一部が重畳するような態様で複数のビデオコンテンツを同時に表示してもよい。
〔処理の流れ〕
続いて、クライアント1及びサーバ2が実行する処理の流れを図15に基づいて説明する。図15は、クライアント1及びサーバ2が実行する処理の一例を示すフローチャートである。
まず、サーバ2の記述情報送信部23は、MPDを取得する(S11)。具体的には、記述情報送信部23は、サーバ記憶部21に格納されている記述情報26をMPDとして取得する。なお、MPDの取得方法はこれに限られず、例えばサーバ2の外部の記録媒体に記録されているMPDを取得してもよいし、MPDを生成または格納する他の装置から取得してもよい。また、記述情報送信部23は、MPDを生成してもよい。MPDの生成については後述する。
MPDを取得した記述情報送信部23は、取得したMPDを、サーバ通信部22を介してクライアント1に送信する(S12)。なお、MPDは、サーバ2からコンテンツの配信を受ける複数のクライアントにマルチキャスト送信してもよい。
クライアント1のコンテンツ選択部13は、クライアント通信部12を介してMPDを受信する(S1)と、受信したMPDに含まれるリプリゼンテーションの選択を終了するか確認する(S2)。なお、コンテンツ選択部13は、受信したMPDに含まれる全グループについて、リプリゼンテーションの選択可否の確認が済んでいればリプリゼンテーションの選択を終了すると判断し、選択可否を確認していないグループがあればリプリゼンテーションの選択を終了しないと判断する。
ここで、リプリゼンテーションの選択を終了しないと判断した場合(S2でNO)、コンテンツ選択部13は、選択可否を確認していないグループから1つのグループを選択する(S3)。なお、グループの選択基準は特に限定されず、例えばグループidの昇順または降順で選択してもよいし、予め定められた種類のコンテンツ(例えばビデオコンテンツ)に対応するグループから選択してもよい。コンテンツの種類は、MPDに記載されている各リプリゼンテーションのアトリビュート等を用いて特定することができる。
次に、コンテンツ選択部13は、選択したグループに属するリプリゼンテーションから1つのリプリゼンテーションを選択する(S4)。なお、リプリゼンテーションの選択基準も特に限定されない。例えば、リプリゼンテーションidの昇順または降順で選択してもよいし、解像度等のアトリビュートを参照して、コンテンツ再生部15が再生可能であるという条件を満たすリプリゼンテーションを選択してもよい。そして、選択されたグループを選択済みとする。なお、S3でグループを選択済みとしてもよい。
続いて、コンテンツ選択部13は、選択したリプリゼンテーションにコンビネーションのアトリビュートが含まれているか確認する(S5)。S5でコンビネーションのアトリビュートが含まれていないことを確認した場合(S5でNO)、S2の処理に戻る。
ここで、図2に示すように、コンビネーションのアトリビュートには、指定された組合せ候補との組合せが必須ではない「combination_optional」と、指定された組合せ対象との組合せが必須となる「combination_required」等とが含まれる。
このため、コンビネーションのアトリビュートが含まれていることを確認した場合(S5でYES)に、そのアトリビュートがcombination_optionalであれば、コンテンツ選択部13は、コンビネーションのアトリビュートで指定された組合せ候補からリプリゼンテーションを選択するか否かを判断する(S6)。なお、アトリビュートがcombination_required等のリプリゼンテーションの選択が必須となるものであれば、S6の処理は行わず、S7に進む。
ここで、combination_optionalで指定された候補からリプリゼンテーションを選択しないことを確認した場合(S6でNO)には、S2の処理に戻る。なお、S6で、combination_optionalで指定された候補から特定のグルーに属するリプリゼンテーションを全て選択しないと判断した場合、選択の可否の判断はなされたため、そのグループは選択済みとする。
なお、combination_optionalで指定された候補からリプリゼンテーションを選択するか否かは、ユーザに選択させてもよいし、コンテンツ選択部13が決定してもよい。コンテンツ選択部13が決定する場合、例えば、解像度等のアトリビュートを参照して、そのリプリゼンテーションに対応するコンテンツをコンテンツ再生部15が再生可能であるか確認し、再生可能であれば選択し、再生不可であれば選択しない構成としてもよい。
一方、リプリゼンテーションを選択することを確認した場合(S6でYES)、またはS5で存在を確認したコンビネーションアトリビュートが、リプリゼンテーションの選択が必須となるもの(combination_required等)である場合には、コンテンツ選択部13は、このアトリビュートに従って、S4で選択したリプリゼンテーションと組み合わせるリプリゼンテーションを選択する(S7)。
S7では、未選択のグループに属するリプリゼンテーションを選択の対象とする。即ち、S5で確認されたコンビネーションアトリビュートによって組合せ候補とされたリプリ
ゼンテーションをリプリゼンテーションmとし、リプリゼンテーションmの属するグループがグループkであったとすると、このグループkがS4(またはS3)、S6、S7で未だ選択済みとされていないグループであった場合に、コンビネーションアトリビュートで指定されたリプリゼンテーションmを選択する。コンビネーションアトリビュートでグループkに属する複数のリプリゼンテーションmが組合せ候補として指定されていた場合には、その中の1つを選択する。そして、リプリゼンテーションmを選択した後は、リプリゼンテーションmの属するグループkを選択済みとする。
すなわち、コンテンツ選択部13は、グループidを示すアトリビュート(グループ属性情報)を参照して、コンビネーションのアトリビュートで指定されたリプリゼンテーションのうち、これまでに選択された何れのリプリゼンテーションとも異なるグループに属するリプリゼンテーションが組み合わされるように選択する。
なお、S7において、コンビネーションのアトリビュートで指定されたリプリゼンテーションから、選択するリプリゼンテーションを決定する方法は特に限定されない。例えば、グループの番号の昇順または降順で、選択するリプリゼンテーションのグループを決定し、決定したグループに含まれるリプリゼンテーションから、idの昇順または降順でリプリゼンテーションを選択してもよい。また、リプリゼンテーションのアトリビュートを参照して特定した再生品質を基準として選択してもよいし、リプリゼンテーションのアトリビュートを参照することにより、クライアント1が再生可能であると判定されたものを選択してもよい。
S7でリプリゼンテーションを選択した後、処理はS2に戻り、コンテンツ選択部13は、リプリゼンテーションの選択が終了したか確認する。ここで、リプリゼンテーションの選択が終了したことを確認した場合(S2でYES)、コンテンツ選択部13は、選択したリプリゼンテーションをリクエスト実行部14に通知する。
この通知を受信したリクエスト実行部14は、通知されたリプリゼンテーションに対するリクエストを生成し、クライアント通信部12を介してサーバ2に送信することによって、コンテンツ選択部13が選択したリプリゼンテーションのデータ(リプリゼンテーションに対応するコンテンツ)をサーバ2にリクエストする(S8)。
サーバ2のレスポンス実行部24は、このリクエストを受信し(S13)、リクエストされたデータ(コンテンツ)をサーバ記憶部21から読み出して、サーバ通信部22を介してクライアント1に送信する(S14)。なお、送信するコンテンツは、サーバ記憶部21から取得してもよいし、他の記録媒体や他の装置から取得してもよい。また、他の装置に指示して、その装置からクライアント1に送信させてもよい。これにより、サーバ2における処理は終了する。
クライアント1のコンテンツ再生部15は、リクエスト実行部14がリクエストしたデータ(コンテンツ)を、クライアント通信部12を介して受信し(S9)、これを再生する(S10)。これにより、クライアント1の処理は終了する。
なお、コンテンツ選択部13は、コンテンツ再生部15がコンテンツの再生を開始する前に、コンテンツ選択部13が選択したリプリゼンテーションの組合せを示す情報をコンテンツ再生部15に送信してもよい。これにより、コンテンツ再生部15は、コンテンツ選択部13が選択したリプリゼンテーションの組合せ通りにコンテンツを組み合わせて再生することができる。
また、リクエスト実行部14が、リクエストしたコンテンツの組合せを示す情報をコン
テンツ再生部15に送信するようにしてもよい。この場合にも、コンテンツ再生部15は、コンテンツ選択部13が選択したリプリゼンテーションの組合せ通りにコンテンツを組み合わせて再生することができる。
なお、図15の例は、簡単のため、MPDに1つのピリオドのみが含まれている場合の処理を示している。MPDに複数のピリオドが含まれている場合には、図示の処理を各ピリオドについて実行する。
〔実施の形態2〕
次に、本発明の実施形態2について、図16から図21に基づいて説明する。実施形態2は、コンビネーションのアトリビュートを一部省略したMPDを用いてコンテンツの選択を行う点を除けば実施形態1と同様であり、システム及び装置の構成(図1参照)は、実施形態1と同じである。
〔一部のコンビネーションのアトリビュートを省略したMPDの例1〕まず、一部のコンビネーションのアトリビュートを省略したMPDの例について、図16に基づいて説明する。図16は、グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの一例を示す図である。
図16のMPDは、図8のMPDと同様の構成であるが、グループ2のリプリゼンテーションが、何れもコンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDは、グループ1のリプリゼンテーションを先に選択し、その後グループ2のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
例えば、グループ1がビデオコンテンツ(main video)のリプリゼンテーションで構成されるグループであり、グループ2が製作者コメンタリPinP等のサブビデオコンテンツ(sub/auxiliary video)のリプリゼンテーションで構成されるグループであり、クラ
イアント1において、ビデオコンテンツのリプリゼンテーションから先に選択することが決まっているような場合に好適に適用できる。
〔一部のコンビネーションのアトリビュートを省略したMPDの例2〕続いて、一部のコンビネーションのアトリビュートを省略したMPDの他の例について、図17に基づいて説明する。図17は、グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの他の例を示す図である。
図17のMPDは、図12のMPDと同様の構成であるが、グループ2のリプリゼン
テーションが、何れもコンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDも、グループ1のリプリゼンテーションを先に選択し、その後グループ2のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
例えば、グループ1がベースビデオコンテンツ(base video)のリプリゼンテーションで構成されるグループであり、グループ2がエンハンスビデオコンテンツ(enhance video)のリプリゼンテーションで構成されるグループであり、クライアント1において、ベ
ースビデオコンテンツのリプリゼンテーションから先に選択することが決まっているような場合に好適に適用できる。
〔一部のコンビネーションのアトリビュートを省略したMPDの例3〕
続いて、一部のコンビネーションのアトリビュートを省略したMPDのさらに他の例について、図18に基づいて説明する。図18は、グループ3のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの例を示す図である。
図18のMPDは、図13のMPDと同様の構成(同様の再生の態様を実現するため
の構成)であるが、combination_optionalのみで記述し、グルー3のリプリゼンテーションが、コンビネーションのアトリビュートを含んでいない点で異なっている。なお、図18の例ではバンド幅(bandwidth)のアトリビュートが記述されていないが、記述されて
いても構わない。このようなMPDも、グループ1のリプリゼンテーションを先に選択し、その後にグループ2、グループ3のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
例えば、グループ1〜3がSVC(scalable video coding)のコンテンツのリプリゼ
ンテーションで構成されるグループである場合に、クライアント1において、グループ1のコンテンツから順に選択することが決まっているような場合に好適に適用できる。
図18のMPDにおいて、#1のリプリゼンテーションには、combination_optionalで#2のリプリゼンテーションとの組合せが可能であることが示されている。このため、この時点でクライアント1は、#1のみか、#1+#2とするかが選択できる。#1+#2を選択した場合、#2のリプリゼンテーションには、combination_optionalで#3のリプリゼンテーションとの組合せが更に可能であることが示されている。従って、この時点でクライアント1は、#1+#2のみか、#1+#2+#3とするかが選択できる。このようにしてクライアント1は、#1か、#1+#2か、#1+#2+#3かを選択する。
〔一部のコンビネーションのアトリビュートを省略したMPDの例4〕続いて、一部のコンビネーションのアトリビュートを省略したMPDのさらに他の例について、図19に基づいて説明する。図19は、グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの例を示す図である。
図19のMPDは、図3のMPDと同様の構成であるが、グループ1のリプリゼンテーションが、コンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDは、グループ2のリプリゼンテーションを先に選択し、その後グループ1のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
図19のMPDでは、グループ2のリプリゼンテーションの組合せ対象が、何れもグループ1のリプリゼンテーションとなっているcombination_requiredを含む。これにより、クライアント1は、グループ2のリプリゼンテーションは、単独で再生できないコンテンツに対応するものであることを容易に認識することができる。
このようなMPDは、例えば、グループ1のリプリゼンテーションに対応するコンテンツがメインのビデオコンテンツであり、グループ2のリプリゼンテーションに対応するコンテンツがサブのビデオコンテンツであり、クライアント1において、グループ2のコンテンツのリプリゼンテーションを先に選択することが決まっているような場合に好適に適用できる。
〔一部のコンビネーションのアトリビュートを省略したMPDの例5〕
続いて、一部のコンビネーションのアトリビュートを省略したMPDのさらに他の例について、図20に基づいて説明する。図20は、グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの他の例を示す図である。
図20のMPDは、図12のMPDと同様の構成であるが、グループ1のリプリゼンテーションが、コンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDは、グループ2のリプリゼンテーションを先に選択し、その後グループ1の
リプリゼンテーションを選択することが予め決まっている場合に適用できる。
図20のMPDでは、グループ2のリプリゼンテーションが何れも組合せ対象がグループ1のリプリゼンテーションとなっているcombination_requiredを含む。これにより、クライアント1は、グループ2のリプリゼンテーションは、単独で再生できないコンテンツに対応するものであることを容易に認識することができる。
このようなMPDは、例えば、グループ1、2のリプリゼンテーションに対応するコンテンツがMVC(multiview video coding)のコンテンツである場合に、クライアント1において、グループ2のコンテンツのリプリゼンテーションを先に選択することが決まっているような場合に好適に適用できる。
〔コンビネーションのアトリビュートを省略したMPDを用いる場合の処理の流れ〕
続いて、一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に、クライアント1が実行する処理の流れを図21に基づいて説明する。図21は、一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に、クライアント1が実行する処理の一例を示すフローチャートである。なお、サーバ2が実行する処理は、図15の例と同様であるからここでは説明を省略する。また、図21のフローチャートのS21〜S30の処理は、図15のS1〜S10の処理とほぼ同様であるから、ここでは図15との相違点を中心に説明する。
クライアント1のコンテンツ選択部13は、クライアント通信部12を介してMPDを受信する(S21)と、受信したMPDに含まれるリプリゼンテーションの選択を終了するか確認する(S22)。
ここで、リプリゼンテーションの選択を終了しないと判断した場合(S22でNO)、コンテンツ選択部13は、選択可否を確認していないグループから1つのグループを選択する(S23)。
なお、グループの選択基準は特に限定されないが、ここでは、コンビネーションアトリビュートが付されたリプリゼンテーションを含むグループから順に選択する。例えば、グループidの小さいグループにコンビネーションアトリビュートが付されたリプリゼンテーションが含まれている場合には、グループidの昇順で選択する。また、グループidの大きいグループにコンビネーションアトリビュートが付されたリプリゼンテーションが含まれている場合にはグループidの降順で選択する。さらに、例えば、予め定められた種類のコンテンツに対応するグループから選択してもよい。本実施の形態において既に説明したように、メインのビデオコンテンツを先に選択するなど、予め決められた順序関係で選択してもよい。コンテンツの種類は、リプリゼンテーションに付された他のアトリビュート等から特定することができる。
また、このように選択の順番を決定するためのルールを決めておく方法の他、選択の優先度を示すアトリビュート(priorityアトリビュート)を記述することによって、選択順を特定させる方法を適用することもできる。さらに、取得したMPDの各リプリゼンテーションを参照してコンビネーションのアトリビュートが付されたリプリゼンテーションが含まれているか否かを確認して、コンビネーションのリプリゼンテーションが含まれているグルーから選択するようにしてもよい。
次に、コンテンツ選択部13は、選択したグループに属するリプリゼンテーションから1つのリプリゼンテーションを選択する(S24)。続いて、コンテンツ選択部13は、選択したリプリゼンテーションにコンビネーションのアトリビュートが含まれているか確
認する(S25)。ここで、コンビネーションのアトリビュートが含まれていないことを確認した場合(S25でNO)、S22の処理に戻る。
ここで、コンビネーションのアトリビュートが含まれていることを確認した場合(S25でYES)に、そのアトリビュートがcombination_optionalであれば、コンテンツ選択部13は、コンビネーションのアトリビュートで指定された組合せ候補からリプリゼンテーションを選択するか否かを判断する(S26)。なお、アトリビュートがcombination_required等のリプリゼンテーションの選択が必須となるものであれば、S26の処理は行わず、S27に進む。
S26において、combination_optionalで指定された候補からリプリゼンテーションを選択しないことを確認した場合(S26でNO)には、S22の処理に戻る。一方、リプリゼンテーションを選択することを確認した場合(S26でYES)、またはS25で存在を確認したアトリビュートが、リプリゼンテーションの選択が必須となるものである場合には、コンテンツ選択部13は、このアトリビュートに従って、S24で選択したリプリゼンテーションと組み合わせるリプリゼンテーションを選択する(S27)。
S27でリプリゼンテーションを選択した後、処理はS25に戻り、コンテンツ選択部13は、S27で選択したリプリゼンテーションに、コンビネーションのアトリビュートが含まれているかをさらに確認する。
すなわち、本実施形態では、リプリゼンテーションを選択したときには、そのリプリゼンテーションに、コンビネーションのアトリビュートが含まれているか確認する点が、図15の例と異なっている。このように、選択したリプリゼンテーションのアトリビュートから、組合せ対象(候補)のリプリゼンテーションを辿ることにより、一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に対応することが可能となる。なお、コンビネーションのアトリビュートを省略しない場合であっても、図21の処理でリプリゼンテーションを選択してもよい。
そして、S25において、コンビネーションのアトリビュートが含まれていないことを確認した場合には、S22の処理に戻る。
S22で、リプリゼンテーションの選択が終了したことを確認した場合(S22でYES)、コンテンツ選択部13は、選択したリプリゼンテーションをリクエスト実行部14に通知する。そして、この通知を受信したリクエスト実行部14は、通知されたリプリゼンテーションのデータをサーバ2にリクエストする(S28)。
続いて、クライアント1のコンテンツ再生部15は、リクエスト実行部14がリクエストしたデータ(コンテンツ)を、クライアント通信部12を介して受信し(S29)、これを再生する(S30)。これにより、クライアント1の処理は終了する。
なお、図21の例は、簡単のため、MPDに1つのピリオドのみが含まれている場合の処理を示している。MPDに複数のピリオドが含まれている場合には、図示の処理を各ピリオドについて実行する。
〔実施の形態3〕
上述の実施形態では、リプリゼンテーションの組合せを示すアトリビュート、すなわちコンビネーションのアトリビュートを用いる例を示したが、リプリゼンテーションの組合せは、アトリビュート以外の形式で記述してもよい。ここでは、エレメント(element)
によってリプリゼンテーションの組合せを記述する例を図22及び図23に基づいて説明
する。なお、本実施形態においても、システム及び装置の構成(図1参照)は、実施形態1と同じである。
図22は、リプリゼンテーションの組合せをエレメントで記述したMPDの一例を示す図である。図示の例では、”PT0S”から開始するピリオドに、グループ1に属するリプリゼンテーション♯1と、グループ2に属するリプリゼンテーション♯4とが含まれている。
このうち、♯1のリプリゼンテーションには、該リプリゼンテーションと組み合わせる候補となるリプリゼンテーションを示す、〈combination〉で開始し、〈/combination〉
で終了するエレメント(コンビネーションエレメント)が記述されている。また、このエレメントには、〈representation_id〉で開始し、〈/representation_id〉で終了するエ
レメント(リプリゼンテーションidエレメント)が含まれており、これにより♯1のリプリゼンテーションと組み合わせるリプリゼンテーションのidが特定されている。これは、上記実施形態におけるcombination_optionalに相当するエレメントである。
一方、♯4のリプリゼンテーションには、該リプリゼンテーションと組み合わせる対象となるリプリゼンテーションを示す、〈combination relation=”required”〉で開始し
、〈/combination〉で終了するエレメント(コンビネーションエレメント)が記述されている。これは、上記実施形態におけるcombination_requiredに相当するエレメントである。
つまり、このエレメントは、♯4のリプリゼンテーションを選択したときには、該エレメントで指定された組合せ対象のリプリゼンテーションから少なくとも1つを選択することが必須であることを示している。このように、relation=”(組み合わせの種類)”の
形式で組合せの種類を指定することもできる。
また、このエレメントには、♯1のリプリゼンテーションと同様に、〈representation_id〉で開始し、〈/representation_id〉で終了するエレメント(リプリゼンテーションidエレメント)が含まれており、これにより♯4のリプリゼンテーションと組み合わせる
リプリゼンテーションのidが特定されている。つまり、この例では、♯4のリプリゼンテーションは、♯1のリプリゼンテーションとの組合せが必須ということになる。
なお、このようなエレメントを用いたMPDを用いる場合であっても、クライアント1及びサーバ2が実行する処理の流れは、図15や図21の例と同様である。
このようなエレメントのスキーマは、例えば図23のように表される。図23は、リプリゼンテーションの組合せ情報を記述するコンビネーションエレメントのスキーマの一例を示す図である。
図23のスキーマでは、エレメントのタイプが”combinationType”のエレメント“combination”が定義されている。そして、”combinationType”は、タイプが”integerType”である1つ以上の”representation_id”エレメントと、タイプが”relationType”で
かつデフォルト(default)が”optional”で定義される“relation”アトリビュートか
らなるタイプであると定義されている。”relationType”は、“optional”、“required”、“all_required”の3つの文字列(string)の値をとり得るタイプである。
なお、同様にして、”one_required”等を定義することもできる。
つまり、”combination”のエレメントは、”combinationType”で定義された構造を持
ち、”combinationType”には、”representation_id”を整数値で複数個、シーケンシャルに指定することができる(<sequence>から</sequence>の記述がそれにあたる)ことが
定義されている。そして、”combinationType”では、”relation”のアトリビュートで
”relationType”を指定することができ、”relationType”はデフォルトで”optional”とすることが定義されている。
すなわち、“relation”が記述されていない図22のMPDの♯1のリプリゼンテーションは、“relationType”が”optional”ということになる。一方、♯4のリプリゼンテーションでは、“combination”の後に“relation”のアトリビュートを記述して、”required”を指定している。
〔実施の形態4〕
次に、本発明の実施形態4について、図26、図27に基づいて説明する。図26、図27は、実施形態3(図22、23)と同様に、リプリゼンテーションの組合せをエレメントで記述したMPDの例、及びこのエレメントのスキーマの例をそれぞれ示している。実施形態3と同様、コンビネーションエレメントの形式で記述されるが、"relation"アトリビュートのタイプ"relationType"の定義のみが、実施形態3と異なっている。なお、本実施形態においても、システム及び装置の構成(図1参照)は、実施形態1と同じである。
実施形態3のコンビネーションエレメントでは、このコンビネーションエレメントが付されたリプリゼンテーションと、コンビネーションエレメント中の"representation_id"
エレメントが指し示すリプリゼンテーションとの組合せ時の依存関係が、"relationType"タイプのアトリビュート"relation"によって示されていた。なお、簡便のため、ここでは、上記コンビネーションエレメントが付されたリプリゼンテーションを「リプリゼンテーションA」、上記コンビネーションエレメント中の"representation_id"エレメントが指
し示すリプリゼンテーションを「リプリゼンテーションB」と表記して説明する。
即ち、"relation="required""であれば、リプリゼンテーションAを再生する際にリプ
リゼンテーションBの再生が必須であることを示す。また、"relation="optional""であ
れば、リプリゼンテーションAを再生する際にリプリゼンテーションBが同時再生する候補となる(必須ではない)ことを示す。
そして、この、リプリゼンテーションAに付された"relation"アトリビュートが"relation="optional""の時、"representation_id"エレメントが指し示すリプリゼンテーションBの方に"relation="required""が付され、"representation_id"エレメントでリプリゼンテーションAが示されていれば、リプリゼンテーションBに対してAは必須、リプリゼンテーションAに対してBは組合せ候補となる。つまり、リプリゼンテーションBは、リプリゼンテーションAに対して従属の関係(リプリゼンテーションAは単独で再生可であるが、リプリゼンテーションBはA無しで再生不可、の関係)にあることになる。
本実施形態4では、このようなリプリゼンテーションどうしの依存関係を"relationType"タイプのアトリビュート"relation"で表す別の方法を示す。本実施形態4におけるリプリゼンテーションどうしの依存関係を示すアトリビュート"relation"は、図27の"relationType"タイプの定義で示されるように、コンビネーションエレメントが付されたリプリゼンテーション自身が、"representation_id"で示された組合せ再生するリプリゼンテー
ションに対して、メインのコンテンツである("main")か、サブコンテンツである("sub")か、あるいは補助的なコンテンツである("auxiliary")か、を示すアトリビュートであるとする。即ち、"relation"の取り得る値は、"main"、"sub"、"auxiliary"の何れかとする。また、"relation"アトリビュートのデフォルト値は"main"とし、"relation"アトリ
ビュートの記述が無ければ"main"と解釈されることとする。
ここで、メインのコンテンツ("main")とは、常に再生されるコンテンツ、単独で再生可能なコンテンツを指すものとする。つまり、"relation"アトリビュートが"main"であるコンテンツは選択が必須のコンテンツである。
サブコンテンツ("sub")とは、メインコンテンツが常に再生されるコンテンツである
のに対し、再生が指示された際にのみ再生されるコンテンツを指すものとする。つまり、"relation"アトリビュートが"sub"であるコンテンツは選択候補となるコンテンツである
補助コンテンツ("auxiliary")とは、再生が指示された際にのみメイン(あるいはサ
ブ)のコンテンツと組合せて再生されるコンテンツであり、単独で再生不可なコンテンツを指すものとする。つまり、"relation"アトリビュートが"auxiliary"であるコンテンツ
は単独での選択ができないコンテンツである。
なお、既に示した他の実施形態においては、サブ("sub")コンテンツと補助("auxiliary")コンテンツとはメインコンテンツと組み合わせて再生されるものとして区別していないが、ここでは、単独での再生が禁止されているものを特に補助コンテンツとして区別する。"main"コンテンツが存在しない場合には、"sub"コンテンツは単独で再生可能であ
るが、"auxiliary"コンテンツは"main"コンテンツが存在しない場合であっても単独で再
生することはできない。
即ち、上記したように、実施形態3では、指定先のリプリゼンテーションと組み合わせて再生するのが必須か、オプションかといったリプリゼンテーション間の依存関係が"relation"で直接指定された。これに対し、本実施形態4では、各リプリゼンテーションのメイン、サブといった役割が"relation"で示されることで、リプリゼンテーション間の依存関係が間接的に示される。何れもリプリゼンテーション間の依存関係を示しているという点で共通である。
図26のリプリゼンテーション#1(グループ1)では、コンビネーションエレメントにて、リプリゼンテーション#4(グループ2)が指定されている。このコンビネーションエレメントでは"relation"アトリビュートが明示されていないため、デフォルトの属性である"main"のコンテンツであることがわかる。即ち、リプリゼンテーション#1は常に再生される。
一方、リプリゼンテーション#4では、コンビネーションエレメントにて、リプリゼンテーション#1が指定されていると共に、"relation="sub"が記述されている。これによ
り、リプリゼンテーション#4は、サブコンテンツであることがわかる。即ち、リプリゼンテーション#1が再生されている間、再生が指示された場合にのみリプリゼンテーション#4は再生される。
このように、本実施形態4のコンビネーションエレメントは、リプリゼンテーション間の依存関係を各リプリゼンテーションの役割を示すことで間接的に示すアトリビュート"relation"を含むことにより、適切な組合せでコンテンツを再生可能とする。
なお、本実施形態4のコンビネーションエレメントは、コンビネーションエレメントが付されたリプリゼンテーション自身の役割を示すため、ピリオドに含まれているリプリゼンテーションが限られ、組み合わせて再生するリプリゼンテーションが自明な場合に、"representation_id"を省略することも可能である。
つまり、アトリビュート"relation"は、コンテンツの組合せを示す組合せ情報として利用することができ、クライアント1(コンテンツ選択部13)はこの組合せ情報に従ってコンテンツを選択する。例えば、取得したMPDに、"relation=main"のコンテンツが含まれていればこれを選択し、他に、"relation=sub"や"relation=auxiliary"のコンテンツがあればその選択要否をユーザに問い合わせる等して決定する。このような構成によっても、選択対象のコンテンツを絞り込むことができるので、適切なコンテンツを容易に選択することができる。
〔組合せ対象となるコンテンツ〕
上述の各実施形態では、ビデオコンテンツとオーディオコンテンツの組合せ、ビデオコンテンツ(メイン)とビデオコンテンツ(サブ)の組合せ、ビデオコンテンツと字幕(timed_text)の組合せ等をアトリビュートまたはエレメントで記述する例を示したが、組合せ対象となるコンテンツは、同時に再生可能または使用可能なものであればよく、これらの例に限られない。例えば、UGC(User Generated Contents)をビデオコンテンツ等
と組み合わせても構わないし、上述した以外のコンテンツを組み合わせても構わない。それらの組合せであっても、本願発明の組合せ情報を同様に適用することが可能である。
また、上述の各実施形態では、リプリゼンテーションを起点として、リプリゼンテーションどうしの組合せ、リプリゼンテーションとグループの組合せを、起点としたリプリゼンテーションに付したアトリビュートまたはエレメントを用いて記述する例を示したが、グループどうしの組合せを示す情報を記述して組合せ対象のコンテンツの選択を容易にしてもよい。
図28は、グループに対してコンビネーションアトリビュートを付加したMPDの一例を示す図である。図28の例では、"g1"のリプリゼンテーショングループに"combination_optional="g2""を付加して、"g1"のリプリゼンテーショングループに属している#1、
#2、#3のリプレゼンテーションをそれぞれ独立に、あるいは"g2"のリプリゼンテーショングループに属している#4、#5、#6のリプレゼンテーションの何れかと組合せて再生可能であることを示している。
"g2"のリプリゼンテーショングループには"combination_required="g1""を付加して、"g2"のリプリゼンテーショングループに属している#4、#5、#6のリプレゼンテーシ
ョンが独立では再生できず、"g1"のリプリゼンテーショングループに属している#1、#2、#3のリプレゼンテーションの何れかと組み合わせて再生することが必須であることを示している。このように、コンビネーションアトリビュートをグループに対して付加した場合には、コンビネーションアトリビュートは組合せの対象となるグループを指定するグループ指定情報として機能することになる。
以上のように、本発明のコンビネーションアトリビュートまたはコンビネーションエレメントは、コンテンツを組み合わせて再生するのが必須か、組合せ再生の候補であるかを示す組合せ情報であることに主たる特徴があり、単一のコンテンツであるリプリゼンテーションにも、コンテンツの集合であるグループ(リプリゼンテーショングループ)にも、同様に適用可能である。
さらに、上述の各実施形態では、組み合わせるリプリゼンテーションがそれらのidを用いて示されているが、組み合わせるリプリゼンテーションを示す方法はこれに限らない。例えば、組み合わせ相手のリプリゼンテーションidを直接に指定せず、組合せ自体に特定のid(組合せ識別子又は組合せid)を割り振り、その組合せのidをそれぞれのリプリゼンテーション中のコンビネーションアトリビュート(またはエレメント)に記述してもよい
。この場合、クライアント1は、同じ組合せidを持ったリプリゼンテーションを、組み合わせ対象のコンテンツとして特定することができる。
これについて、図29、図30に基づいて説明する。図29は、組合せidによって組合せ対象を特定する例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図の(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。また、図30は、組合せidによって組合せ対象を特定する他の例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図の(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。なお、組合せidは、"Cn"(nは正の整数)としている。
図29は、#1+#4、#1+#7の2通りの再生のいずれかが必須であることを示した記述例である。同図の(b)では、#1+#4、#1+#7の組合せそれぞれに組合せid、"C1"、"C2"が割り振られて記述されている。
クライアント1のコンテンツ選択部13は、このMPDを用いてコンテンツを選択する場合、コンビネーションアトリビュート(one_required)に従い、C1、C2のいずれかの組合せを必ず選択する。そして、C1を選択した場合には、同じ組合せid(C1)が対応付けられている♯4を選択し、一方、C2を選択した場合には、同じ組合せid(C2)が対応付けられている♯7を選択する。
図30は、#1+#4+#7の組合せによる再生が必須であることを示した記述例である。同図の(b)では、#1+#4+#7の組合せに対して組合せidである"C1"が割り振られて記述されている。
クライアント1のコンテンツ選択部13は、このMPDを用いてコンテンツを選択する場合、コンビネーションアトリビュート(required)に従い、C1の組合せを選択して必須に再生する。つまり、同じ組合せid(C1)が対応付けられている♯1、♯4、♯7を全て選択する。
図29、図30に示されるように、組合せ自体に特定のidを割り振り、同じidを持つリプリゼンテーションを組み合わせるリプリゼンテーションであるとする指定方法では、組み合わせる個々のリプリゼンテーションのidをそれぞれのリプリゼンテーションに逐一記述する必要が無いため、記述を簡単にすることができる。また、既存の組合せに新たなリプリゼンテーションを追加するといった際に編集が容易であるといった特徴がある。
〔サーバ2によるMPDの生成〕
上述のように、MPDは予め作成されたものを読み出して使用してもよいし、サーバ2の記述情報送信部23が生成してもよい。ここでは、記述情報送信部23がMPDを生成する処理について説明する。
記述情報送信部23は、まず、コンテンツの組合せ条件を示す組合せ条件情報を参照して、同時に再生するコンテンツの組合せを決定する。そして、決定した組合せを示すコンビネーションのアトリビュートを含むMPDを生成する。なお、MPDの生成の際には、従来のMPD(コンビネーションのアトリビュートを含まないMPD)に対してコンビネーションのアトリビュートを追加してもよい。
組合せ条件情報は、コンテンツの組合せ条件を示すものであれば特に限定されないが、例えば以下のような例が挙げられる。
すなわち、組合せの対象となるコンテンツが、ビデオコンテンツとオーディオコンテンツである場合、組合せ条件情報は、予め設定された許容可能な再生品質の組合せを示す情報であってもよい。
この組合せ条件情報を用いる場合、記述情報送信部23は、ある再生品質のビデオコンテンツと、組合せ条件情報から特定される、その再生品質と組み合わせるべき再生品質のオーディオコンテンツとを組み合わせるコンビネーションのアトリビュートを生成する。
なお、組合せを必須とするか否か(combination_required等を用いるかcombination_optionalを用いるか)は、コンテンツの属性等(アトリビュート等を参照して特定が可能)に応じて決めればよい。例えば、アトリビュートから、音声のないビデオコンテンツとオーディオコンテンツとの組合せのように、単体での再生が望ましくないコンテンツの組合せであることを特定した場合には、組合せを必須とすればよい。一方、単体での再生が可能なコンテンツであれば、組合せを必須とする必要はないので、combination_optionalを用いればよい。
そして、このアトリビュートを、MPDにおける上記ビデオコンテンツ及び上記オーディオコンテンツに対応するリプリゼンテーションの少なくとも一方のアトリビュートとして記述することによって、このコンテンツの組合せを指定するMPDが生成される。
なお、許容可能な再生品質の組合せを示す情報とは、ビデオコンテンツの再生品質または再生品質の範囲を示す情報と、オーディオコンテンツの再生品質または再生品質の範囲を示す情報とが対応付けられた情報である。
例えば、ビデオコンテンツのビットレートの範囲を示す情報と、該ビデオコンテンツと同時に再生されるオーディオコンテンツのビットレートの範囲を示す情報とが対応付けられた情報であってもよい。
記述情報送信部23は、このような情報を参照することによって、組合せの対象となるビデオコンテンツまたはオーディオコンテンツのビットレートから、そのコンテンツと組み合わせるべきビデオコンテンツまたはオーディオコンテンツのビットレートの範囲を特定する。
そして、記述情報送信部23は、組合せの対象となるビデオコンテンツまたはオーディオコンテンツに対応するコンビネーションのリプリゼンテーションに、特定した範囲内のビットレートを有するビデオコンテンツまたはオーディオコンテンツのリプリゼンテーションを記述することによって、MPDを生成する。
また、組合せの対象となるコンテンツが、ビデオコンテンツと字幕(timed-text)である場合、組合せ条件情報は、予め設定されたビデオコンテンツの表示サイズを示す情報と、字幕の表示態様を示す情報が対応付けられた情報であってもよい。
この組合せ条件情報を用いる場合、記述情報送信部23は、ビデオコンテンツのアトリビュートを参照して、その表示サイズを特定し、組合せ条件情報からその表示サイズに対応する字幕の表示態様を特定する。そして、この表示態様の字幕と上記ビデオコンテンツとを組み合わせるコンビネーションのアトリビュートを生成し、このアトリビュートを含むMPDを生成する。
この組合せ条件情報は、例えばビデオコンテンツの表示サイズまたは表示サイズの範囲を示す情報と、該表示サイズまたは表示サイズの範囲であれば、各文字を問題なく読むこ
とのできる字幕のフォント及び一画面に表示する文字数を示す情報とが対応付けられた情報であってもよい。
記述情報送信部23は、このような情報を参照することによって、ビデオコンテンツの画面サイズから、そのコンテンツと組み合わせるべき字幕のフォント及び表示文字数を特定する。
そして、記述情報送信部23は、ビデオコンテンツに対応するコンビネーションのリプリゼンテーションに、特定したフォント及び表示文字数の字幕のリプリゼンテーションをコンビネーションアトリビュートで記述することによって、ビデオコンテンツとそのビデオコンテンツに好適な字幕とが対応付けられたMPDを生成する。
また、組合せの対象となるコンテンツがメインのビデオコンテンツとサブのビデオコンテンツ(例えばPinPのコンテンツ)である場合、組合せ条件情報は、予め設定されたメインのビデオコンテンツの表示サイズまたは表示サイズの範囲を示す情報と、そのサイズのビデオコンテンツに重畳表示可能なサブのビデオコンテンツの表示サイズまたは表示サイズの範囲を示す情報とが対応付けられた情報であってもよい。
この組合せ条件情報を用いる場合、記述情報送信部23は、メインのビデオコンテンツのアトリビュートを参照して、その表示サイズを特定し、組合せ条件情報からその表示サイズに対応する表示サイズまたはその範囲を特定する。そして、特定した表示サイズまたはその範囲のサブのビデオコンテンツと上記メインのビデオコンテンツとを組み合わせるコンビネーションのアトリビュートを生成し、このアトリビュートを含むMPDを生成する。
また、コンテンツの配信を受ける(サーバ2からコンテンツをダウンロードする)際の伝送帯域に上限がある場合には、組合せ条件情報は、伝送帯域の上限を示す情報であってもよい。
この場合、記述情報送信部23は、組合せ条件情報が示す上限を超えない範囲でコンテンツを組み合わせるコンビネーションのアトリビュートを生成し、そのアトリビュートを含むMPDを生成する。
例えば、予め想定される伝送帯域幅を設定し、設定された帯域幅毎に、通過可能なビデオコンテンツ同士の組合せ、ビデオコンテンツとオーディオコンテンツの組合せ、その他のコンテンツの組合せを、各コンテンツのビットレート情報を利用して抽出し、抽出した組合せを基にMPDを生成してもよい。これにより、ダウンロードするコンテンツのビットレートが予め設定された帯域幅を超えることを防ぎ、コンテンツのダウンロードを安定的に行うことができる。
なお、上記では、コンテンツの組合せを示す情報として、コンビネーションのアトリビュートを生成(記述)する例を示したが、記述情報送信部23は、コンテンツの組合せを示す情報として、図22に示すようなエレメントで記述された情報を生成してもよい。組合せ情報または組合せ情報を含む記述情報(例えばMPD)を生成する方法も、本発明の範疇に含まれる。
また、このような情報を生成する主体はサーバ2に限られず、サーバ2とは別の装置が生成してもよい。この場合、その装置が生成した情報を、サーバ2を介してクライアント1に送信してもよいし、その装置から直接クライアント1に送信してもよい。さらに、その装置が生成した情報を記録した記録媒体をクライアント1に提供し、クライアント1が
その記録媒体から情報を読み出すようにしてもよい。
〔組合せ情報のデータ構造、及び組合せ情報を記録した記録媒体について〕
上述の実施形態で説明した、コンビネーションのアトリビュートやエレメント等のような、同時に再生するコンテンツの組合せを示す組合せ情報を含む記述情報のデータ構造は、本発明の範疇に含まれる。
また、コンビネーションのアトリビュートやエレメント等のような、同時に再生するコンテンツの組合せを示す組合せ情報を記録した記録媒体も、本発明の範疇に含まれる。この記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/BD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。なお、上記記録媒体には、組合せ情報が含まれていればよく、必ずしもMPDとして記述されている必要はない。
〔実施形態の組合せについて〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔ソフトウェアによる構成例〕
最後に、クライアント1及びサーバ2の各ブロック、特にクライアント制御部10及びサーバ制御部20は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア
的に実現してもよい。
後者の場合、クライアント1及びサーバ2は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記ログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるクライアント1及びサーバ2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記クライアント1及びサーバ2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/BD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPG
A(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、クライアント1及びサーバ2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想
専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用
可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric
Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance
)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
〔本発明の好ましい形態〕
以上のように、本発明の再生装置は、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツの送信を上記サーバに要求する要求手段と、上記要求手段の要求に応じて上記サーバから送信されたコンテンツを、上記選択手段が選択した組合せで再生する再生手段とを備えていることを特徴としている。
また、本発明の再生装置の制御方法は、以上のように、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置の制御方法であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択ステップと、上記選択ステップで選択したコンテンツの送信を上記サーバに要求する要求ステップと、上記要求ステップにおける要求に応じて上記サーバから送信されたコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップとを含むことを特徴としている。
上記の構成によれば、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報には、同時に再生するコンテンツの組合せを示す組合せ情報が含まれている。そして、この組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を要求し、要求に応じて送信されたコンテンツを、選択した上記組合せで再生する。
したがって、上記の構成によれば、組合せ情報が示す組合せで、コンテンツを同時に再生することができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが必須であるコンテンツを示す選択必須情報であり、上記選択手段は、選択したコンテンツに上記選択必須情報が対応付けられていた場合、該選択必須情報が示すコンテンツも選択することが好ましい。
上記の構成によれば、選択したコンテンツに選択必須情報が対応付けられていた場合、その選択必須情報が示すコンテンツも選択する。つまり、選択必須情報が対応付けられているコンテンツは、単体で選択することはなく、選択必須情報が示すコンテンツと組み合
わせて選択する。
したがって、単体で選択されることが好ましくないコンテンツに選択必須情報を対応付けておくことにより、そのコンテンツが単体で再生されることを防ぎ、適切なコンテンツと組み合わせた再生を行うことができる。
なお、選択必須情報が示すコンテンツは、1つであってもよいし、複数であってもよい。また、選択必須情報が示すコンテンツが複数である場合には、その複数のコンテンツのうち、予め定めた数のコンテンツの選択を必須としてもよいし、選択可能な全てのコンテンツの選択を必須としてもよい。
また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが可能であるコンテンツを示す選択可能情報であり、上記選択手段は、選択したコンテンツに上記選択可能情報が対応付けられていた場合、該選択可能情報が示すコンテンツを選択の候補とすることが好ましい。
上記の構成によれば、選択したコンテンツに選択可能情報が対応付けられていた場合、その選択可能情報が示すコンテンツを選択の候補とする。つまり、選択可能情報が対応付けられているコンテンツは、単体で選択することもできるし、選択可能情報が示すコンテンツと組み合わせて選択することもできる。
したがって、単体で選択されてもよいし、他のコンテンツと組み合わせて選択されてもよいコンテンツに選択可能情報を対応付けておくことにより、そのコンテンツが単体で再生されることを許容しつつ、組み合わせて再生する場合には、適切なコンテンツと組み合わせた再生を行うことができる。
また、上記再生装置は、外部の装置から上記選択対象コンテンツ情報を受信するための通信部を備え、上記選択手段は、上記通信部を介して受信した上記選択対象コンテンツ情報を用いてコンテンツを選択することが好ましい。
上記の構成によれば、再生装置が通信部を介して受信した選択対象コンテンツ情報を用いてコンテンツを選択するので、再生装置に選択対象コンテンツ情報を送信することによって、送信した選択対象コンテンツ情報に基づいたコンテンツ再生を再生装置に行わせることができる。
なお、上記外部の装置は、上記サーバであってもよいし、他の装置であってもよい。また、選択対象コンテンツ情報は、上記サーバによって生成されたものであってもよいし、それ以外の装置で生成されたものであってもよい。
また、上記選択対象コンテンツ情報では、上記サーバに要求可能な複数のコンテンツの一部について、上記組合せ情報が対応付けられており、上記選択手段は、上記組合せ情報が対応付けられているコンテンツを選択すると共に、該コンテンツに対応付けられている上記組合せ情報に従って、該コンテンツと同時に再生するコンテンツを選択することが好ましい。
上記の構成によれば、組合せ情報が対応付けられているコンテンツを選択し、そのコンテンツに対応付けられている組合せ情報に従って、そのコンテンツと同時に再生するコンテンツを選択する。
したがって、上記の構成によれば、選択対象コンテンツ情報に、組合せ情報が対応付けられていないコンテンツが含まれている場合であっても、組合せ情報に従った適切な選択が可能になる。
また、上記コンテンツは複数のグループに分類されており、異なるグルーに属するコンテンツは同時に再生することが可能であり、上記選択対象コンテンツ情報は、各コンテンツが属するグループを示すグループ属性情報を含み、上記選択手段は、上記グループ属性情報を参照して、上記組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択することが好ましい。
上記構成のように、コンテンツをグループ分けすることにより、コンテンツの管理が容易になる。そして、上記の構成によれば、グループ属性情報を参照して、組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択するので、同時に再生可能なコンテンツの組合せが選択される。
また、上記再生装置は、上記選択対象コンテンツ情報では、上記グループ毎に上記組合せ情報が対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、上記グループの少なくとも1つを指定するグループ指定情報であり、上記選択手段は、選択したコンテンツの属するグループに上記グループ指定情報が対応付けられていた場合、当該グループ指定情報で指定されるグループに属するコンテンツを選択するか、または選択の候補とすることが好ましい。
上記の構成によれば、選択対象コンテンツ情報ではグループ毎に組合せ情報が対応付けられており、組合せ情報の少なくとも1つは少なくとも1つのグループを指定するグループ指定情報である。そして、選択したコンテンツの属するグループにグループ指定情報が対応付けられていた場合、当該グループ指定情報で指定されるグループに属するコンテンツを選択するか、または選択の候補とする。
すなわち、上記の構成によれば、グループ指定情報によって選択する(または選択の候補とする)グループを絞り込むので、適切な組合せでコンテンツを容易に選択することができる。
また、上記再生装置は、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、対応付けられているコンテンツが、選択必須であること、選択可能であること、または単独で選択することができないことを示す情報を含み、上記選択手段は、該情報に従ってコンテンツを選択することが好ましい。
上記の構成によれば、選択対象コンテンツ情報では、コンテンツと組合せ情報とが対応付けられており、組合せ情報の少なくとも1つは、対応付けられているコンテンツが、選択必須であること、選択可能であること、または単独で選択することができないことを示す情報を含み、該情報に従ってコンテンツを選択する。
すなわち、上記の構成によれば、選択必須であることを示す情報が対応付けられているコンテンツがあればこれを選択し、選択可能であることを示す情報が対応付けられているコンテンツがあればこれを選択の候補とする。また、単独で選択することができないことを示す情報が対応付けられているコンテンツがあれば、他のコンテンツを選択している場合にのみこれを選択するかまたは選択の候補とする。したがって、適切な組合せでコンテンツを容易に選択することができる。
また、上記再生装置は、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記組合せ情報は、コンテンツの組み合わせ毎に設定された組合せ識別子であり、上記選択手段は、同一の組合せ識別子が対応付けられているコンテンツを選択するか、または選択の候補とする構成であってもよい。
上記の構成によれば、選択対象コンテンツ情報では、コンテンツと組合せ情報とが対応付けられており、組合せ情報は、コンテンツの組み合わせ毎に設定された組合せ識別子であり、同一の組合せ識別子が対応付けられているコンテンツを選択するか、または選択の候補とする。
すなわち、上記の構成によれば、同一の組合せ識別子が対応付けられたコンテンツを選択する(または選択の候補とする)ので、適切な組み合わせのコンテンツに同一の組合せ識別子を予め設定しておくことにより、適切な組合せでコンテンツを容易に選択することができる。
さらに、上記の構成によれば、組み合わせ対象となるコンテンツを直接的に指定していないため、新たなコンテンツを選択対象コンテンツ情報に追加する場合に、追加するコンテンツに適当な組合せ識別子を対応付けるという簡易な処理で、このコンテンツを組み合わせに含めることができる。
また、本発明の生成装置は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段とを備えていることを特徴としている。
そして、本発明の生成装置の制御方法は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置の制御方法であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップとを含むことを特徴としている。
上記の構成によれば、コンテンツの組合せ条件を示す組合せ条件情報を参照して、同時に再生するコンテンツの組合せを決定し、決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する。
したがって、再生装置は、このようにして生成された選択対象コンテンツ情報を取得することによって、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
これにより、再生装置に、組合せ条件を満たす組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、組合せ条件を満たす組合せでコンテンツを容易に選択することができる。
また、本発明の記録媒体は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を記録したコンピュータ読み
取り可能な記録媒体であって、上記選択対象コンテンツ情報は、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含むことを特徴としている。
この記録媒体から選択対称コンテンツ情報を読み出した再生装置は、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
これにより、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
また、本発明のデータ構造は、コンテンツを再生する再生装置がサーバに要求可能な
コンテンツを示す情報を少なくとも含む選択対象コンテンツ情報のデータ構造であって、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、上記再生装置が、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することを特徴としている。
上記のデータ構造は、サーバに要求可能なコンテンツを示す情報と、同時に再生するコンテンツの組合せを示す組合せ情報とを含んでいるため、再生装置は、このデータ構造を利用することにより、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することができる。
したがって、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
また、上記データ構造では、上記組合せ情報が示すコンテンツの組合せは、異なる種類のコンテンツの組合せであってもよい。
この場合、異なるコンテンツの組合せによるバラエティに富んだコンテンツを提供することができる。なお、異なる種類のコンテンツとは、例えばビデオコンテンツ、オーディオコンテンツ、及び文字コンテンツのような、データの出力形式が異なるコンテンツを指す。また、組み合わせるコンテンツは、2種類であってもよいし、3種類以上であってもよい。
また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが必須であるコンテンツを示す選択必須情報であり、上記再生装置が、選択したコンテンツに上記選択必須情報が対応付けられていた場合、該選択必須情報が示すコンテンツも選択することが好ましい。
上記の構成によれば、再生装置は、選択したコンテンツに選択必須情報が対応付けられていた場合、その選択必須情報が示すコンテンツも選択する。つまり、選択必須情報が対
応付けられているコンテンツは、単体で選択されることはなく、選択必須情報が示すコンテンツと組み合わせて選択される。
したがって、上記データ構造によれば、単体で選択されることが好ましくないコンテンツに選択必須情報を対応付けておくことにより、そのコンテンツが単体で再生されることを防ぎ、適切なコンテンツと組み合わせた再生を再生装置に行わせることができる。
また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが可能であるコンテンツを示す選択可能情報であり、上記再生装置が、選択したコンテンツに上記選択可能情報が対応付けられていた場合、該選択可能情報が示すコンテンツを選択の候補とすることが好ましい。
上記の構成によれば、再生装置は、選択したコンテンツに選択可能情報が対応付けられていた場合、その選択可能情報が示すコンテンツを選択の候補とする。つまり、選択可能情報が対応付けられているコンテンツは、単体で選択することもできるし、選択可能情報が示すコンテンツと組み合わせて選択することもできる。
したがって、上記データ構造によれば、単体で選択されてもよいし、他のコンテンツと組み合わせて選択されてもよいコンテンツに選択可能情報を対応付けておくことにより、そのコンテンツを再生装置が単体で再生することを許容しつつ、組み合わせて再生する場合には、適切なコンテンツと組み合わせた再生を行わせることができる。
また、上記コンテンツは複数のグループに分類されており、異なるグルーに属するコンテンツは同時に再生することが可能であり、上記選択対象コンテンツ情報は、各コンテンツが属するグループを示すグループ属性情報を含み、上記再生装置が、上記グループ属性情報を参照して、上記組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択することが好ましい。
上記構成のように、コンテンツをグループ分けすることにより、コンテンツの管理が容易になる。そして、再生装置は、グループ属性情報を参照して、組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択する。
したがって、上記のデータ構造によれば、同時に再生可能なコンテンツの組合せを再生装置に選択させることができる。
なお、上記再生装置及び上記生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記再生装置及び上記生成装置の各手段として動作させることにより、上記再生装置及び上記生成装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
本発明は、ネットワークを介して取得したコンテンツを再生する再生装置等に利用することができる。
1 クライアント(再生装置)
2 サーバ(生成装置)
12 クライアント通信部(通信部)
13 コンテンツ選択部(選択手段)
14 リクエスト実行部(要求手段)
15 コンテンツ再生部(再生手段)
23 記述情報送信部(組合せ決定手段、生成手段)
25 コンテンツ
26 記述情報(選択対象コンテンツ情報)

Claims (7)

  1. サーバから取得可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバから取得し、取得されたコンテンツを再生する再生装置であって、
    上記選択対象コンテンツ情報は、上記サーバから取得可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、
    上記組合せ情報に従って、上記選択対象コンテンツ情報が示すコンテンツの中から、取得するコンテンツを選択する選択手段と、
    上記選択手段が選択したコンテンツを上記サーバから取得する取得手段と、
    上記取得手段が取得したコンテンツを、上記選択手段が選択した組合せで再生する再生手段と、を備え、
    上記選択対象コンテンツ情報は、上記組合せ情報として、コンテンツ間の依存関係を示す依存関係情報を含み、
    上記依存関係情報は、1つのコンテンツに対して、該コンテンツと組み合わせる対象となるコンテンツを記述した情報であり、上記選択対象コンテンツ情報には、相互参照的に記述された上記依存関係情報が少なくとも一組記述されている、ことを特徴とする再生装置。
  2. サーバから取得可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバから取得し、取得したコンテンツを再生する再生装置の制御方法であって、
    上記選択対象コンテンツ情報は、上記サーバから取得可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、
    上記組合せ情報に従って、上記選択対象コンテンツ情報が示すコンテンツの中から、取得するコンテンツを選択する選択ステップと、
    上記選択ステップで選択したコンテンツを上記サーバから取得する取得ステップと、
    上記取得ステップで取得したコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップと、を含み、
    上記選択対象コンテンツ情報は、上記組合せ情報として、コンテンツ間の依存関係を示す依存関係情報を含み、
    上記依存関係情報は、1つのコンテンツに対して、該コンテンツと組み合わせる対象となるコンテンツを記述した情報であり、上記選択対象コンテンツ情報には、相互参照的に記述された上記依存関係情報が少なくとも一組記述されている、ことを特徴とする再生装置の制御方法。
  3. コンテンツを再生する再生装置がサーバから取得可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置であって、
    上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバから取得可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、
    上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段と、を備え、
    上記選択対象コンテンツ情報は、上記組合せ情報として、コンテンツ間の依存関係を示す依存関係情報を含み、
    上記依存関係情報は、1つのコンテンツに対して、該コンテンツと組み合わせる対象となるコンテンツを記述した情報であり、上記選択対象コンテンツ情報には、相互参照的に記述された上記依存関係情報が少なくとも一組記述されている、ことを特徴とする生成装置。
  4. コンテンツを再生する再生装置がサーバから取得可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置の制御方法であって、
    上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバから取得可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、
    上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップと、を含み、
    上記選択対象コンテンツ情報は、上記組合せ情報として、コンテンツ間の依存関係を示す依存関係情報を含み、
    上記依存関係情報は、1つのコンテンツに対して、該コンテンツと組み合わせる対象となるコンテンツを記述した情報であり、上記選択対象コンテンツ情報には、相互参照的に記述された上記依存関係情報が少なくとも一組記述されている、ことを特徴とする生成装置の制御方法。
  5. 請求項1に記載の再生装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  6. 請求項3に記載の生成装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  7. 請求項5または6に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2015154651A 2011-01-07 2015-08-05 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体 Pending JP2016007015A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015154651A JP2016007015A (ja) 2011-01-07 2015-08-05 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011002046 2011-01-07
JP2011002046 2011-01-07
JP2011133654 2011-06-15
JP2011133654 2011-06-15
JP2015154651A JP2016007015A (ja) 2011-01-07 2015-08-05 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012551883A Division JP5829626B2 (ja) 2011-01-07 2012-01-06 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2016007015A true JP2016007015A (ja) 2016-01-14

Family

ID=46457564

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012551883A Expired - Fee Related JP5829626B2 (ja) 2011-01-07 2012-01-06 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
JP2015154651A Pending JP2016007015A (ja) 2011-01-07 2015-08-05 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012551883A Expired - Fee Related JP5829626B2 (ja) 2011-01-07 2012-01-06 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体

Country Status (6)

Country Link
US (1) US20130282876A1 (ja)
EP (1) EP2663073A4 (ja)
JP (2) JP5829626B2 (ja)
CN (2) CN103299616A (ja)
DE (1) DE112012000421B4 (ja)
WO (1) WO2012093714A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130956A (ja) * 2011-01-12 2017-07-27 シャープ株式会社 再生装置
WO2018142945A1 (ja) * 2017-01-31 2018-08-09 ソニー株式会社 情報処理装置および方法
WO2018173876A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム
JPWO2021033234A1 (ja) * 2019-08-19 2021-02-25

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906594B2 (en) * 2012-02-21 2018-02-27 Prysm, Inc. Techniques for shaping real-time content between multiple endpoints
JP6174326B2 (ja) * 2013-01-23 2017-08-02 日本放送協会 音響信号作成装置及び音響信号再生装置
GB2513140B (en) 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
JP2014212456A (ja) * 2013-04-18 2014-11-13 ソニー株式会社 送信装置、メタファイル送信方法、受信装置および受信処理方法
KR102269311B1 (ko) * 2013-07-05 2021-06-28 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2015013720A1 (en) * 2013-07-26 2015-01-29 Futurewei Technologies Inc. Spatial adaptation in adaptive streaming
US20150271541A1 (en) * 2014-03-19 2015-09-24 Time Warner Cable Enterprises Llc Apparatus and methods for recording a media stream
JP2015201822A (ja) * 2014-04-02 2015-11-12 シャープ株式会社 送信装置および受信装置
US10375452B2 (en) 2015-04-14 2019-08-06 Time Warner Cable Enterprises Llc Apparatus and methods for thumbnail generation
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
CN109845273A (zh) * 2016-10-13 2019-06-04 夏普株式会社 用于实现与数字媒体分发相关联的通信的系统和方法
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282774A (ja) * 1998-03-31 1999-10-15 Nippon Telegr & Teleph Corp <Ntt> マルチメディア統合化方法及びシステム並びにマルチメディア統合化プログラムを記録した記録媒体
JP2001346139A (ja) * 2000-06-05 2001-12-14 Canon Inc 情報処理方法及び装置
JP2001352517A (ja) * 2000-06-08 2001-12-21 Nec Corp データ記録方法、装置、およびプログラムを記録した記録媒体
JP2004070646A (ja) * 2002-08-06 2004-03-04 Yamaha Corp 情報端末装置、サーバ装置、コンテンツ配信システム、コンテンツの同時再生制限方法、及びプログラム
JP2004272712A (ja) * 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd 受信装置および情報閲覧方法
JP2007280580A (ja) * 2006-04-12 2007-10-25 Kenwood Corp データ再生装置、データ再生方法、ならびに、プログラム
JP2008022568A (ja) * 2005-08-25 2008-01-31 Sony Corp データ生成方法、データ構造、記録装置および方法、並びに、プログラム
US20080209482A1 (en) * 2007-02-28 2008-08-28 Meek Dennis R Methods, systems. and products for retrieving audio signals
JP2009239966A (ja) * 2002-12-12 2009-10-15 Sharp Corp マルチメディアデータ処理装置およびマルチメディアコンテンツデータのデータ構造
WO2011059291A2 (en) * 2009-11-13 2011-05-19 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving data

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
US7908628B2 (en) * 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
KR100892977B1 (ko) * 2002-11-16 2009-04-10 엘지전자 주식회사 대화형 광디스크 장치에서의 콘텐츠 정보 재생방법과,콘텐츠 제공서버에서의 콘텐츠 정보 제공방법
US7650625B2 (en) * 2002-12-16 2010-01-19 Lsi Corporation System and method for controlling audio and video content via an advanced settop box
KR100608715B1 (ko) 2003-09-27 2006-08-04 엘지전자 주식회사 QoS보장형 멀티미디어 스트리밍 서비스 시스템 및 방법
JP4232745B2 (ja) * 2005-02-09 2009-03-04 ソニー株式会社 コンテンツ再生システム、コンテンツ再生装置、コンテンツ再生方法
US7974253B2 (en) * 2005-03-08 2011-07-05 Qualcomm Incorporated Methods and apparatus for implementing and using a rate indicator
WO2006109228A1 (en) * 2005-04-15 2006-10-19 Koninklijke Philips Electronics N.V. Method, end user system, signal and transmission system for combining broadcasted audio-video content with locally available information
US8004535B2 (en) * 2006-06-01 2011-08-23 Qualcomm Incorporated Apparatus and method for selectively double buffering portions of displayable content
CN102427557B (zh) * 2006-06-15 2016-08-17 索尼株式会社 信息处理装置以及信息处理方法
JP4720676B2 (ja) * 2006-08-25 2011-07-13 ソニー株式会社 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
US20090319931A1 (en) * 2006-11-07 2009-12-24 Hutchings Christopher J Visual Intelligence Systems
JP4379471B2 (ja) * 2006-12-29 2009-12-09 ソニー株式会社 再生装置および再生制御方法
FR2923305B1 (fr) * 2007-11-02 2011-04-29 Inside Contactless Procede et dispositifs de protection d'un microcircuit contre des attaques visant a decouvrir une donnee secrete
JP4958748B2 (ja) * 2007-11-27 2012-06-20 キヤノン株式会社 音声処理装置、映像処理装置及びそれらの制御方法
US8265137B2 (en) * 2008-07-31 2012-09-11 At&T Intellectual Property I, L.P. Adaptive language descriptors
US8655146B2 (en) * 2009-03-31 2014-02-18 Broadcom Corporation Collection and concurrent integration of supplemental information related to currently playing media
RU2011147112A (ru) * 2009-04-20 2013-05-27 Конинклейке Филипс Электроникс Н.В. Верификация и синхронизация файлов, полученных отдельно от видеоконтента
US9917874B2 (en) * 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
KR101786051B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
US9323921B2 (en) * 2010-07-13 2016-04-26 Microsoft Technology Licensing, Llc Ultra-low cost sandboxing for application appliances
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282774A (ja) * 1998-03-31 1999-10-15 Nippon Telegr & Teleph Corp <Ntt> マルチメディア統合化方法及びシステム並びにマルチメディア統合化プログラムを記録した記録媒体
JP2001346139A (ja) * 2000-06-05 2001-12-14 Canon Inc 情報処理方法及び装置
JP2001352517A (ja) * 2000-06-08 2001-12-21 Nec Corp データ記録方法、装置、およびプログラムを記録した記録媒体
JP2004070646A (ja) * 2002-08-06 2004-03-04 Yamaha Corp 情報端末装置、サーバ装置、コンテンツ配信システム、コンテンツの同時再生制限方法、及びプログラム
JP2009239966A (ja) * 2002-12-12 2009-10-15 Sharp Corp マルチメディアデータ処理装置およびマルチメディアコンテンツデータのデータ構造
JP2004272712A (ja) * 2003-03-10 2004-09-30 Matsushita Electric Ind Co Ltd 受信装置および情報閲覧方法
JP2008022568A (ja) * 2005-08-25 2008-01-31 Sony Corp データ生成方法、データ構造、記録装置および方法、並びに、プログラム
JP2007280580A (ja) * 2006-04-12 2007-10-25 Kenwood Corp データ再生装置、データ再生方法、ならびに、プログラム
US20080209482A1 (en) * 2007-02-28 2008-08-28 Meek Dennis R Methods, systems. and products for retrieving audio signals
WO2011059291A2 (en) * 2009-11-13 2011-05-19 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SYNCHRONIZED MULTIMEDIA INTEGRATION LANGUAGE (SMIL) 1.0 SPECIFICATION, JPN6014053848, 15 June 1998 (1998-06-15), ISSN: 0003367329 *
TEXT OF ISO/IEC 23001-6: DYNAMIC ADAPTIVE STREAMING OVER HTTP (DASH) ISO/IEC JTC 1/SC 29 N 11662, JPN6015007122, 21 October 2010 (2010-10-21), pages 58 - 59, ISSN: 0003367330 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130956A (ja) * 2011-01-12 2017-07-27 シャープ株式会社 再生装置
JP2018117362A (ja) * 2011-01-12 2018-07-26 シャープ株式会社 再生装置
WO2018142945A1 (ja) * 2017-01-31 2018-08-09 ソニー株式会社 情報処理装置および方法
WO2018173876A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム
JPWO2018173876A1 (ja) * 2017-03-24 2020-01-30 ソニー株式会社 コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム
JPWO2021033234A1 (ja) * 2019-08-19 2021-02-25
JP7351340B2 (ja) 2019-08-19 2023-09-27 日本電信電話株式会社 制御装置、制御方法、及びプログラム
US11838452B2 (en) 2019-08-19 2023-12-05 Nippon Telegraph And Telephone Corporation Control apparatus, control method and program

Also Published As

Publication number Publication date
JPWO2012093714A1 (ja) 2014-06-09
CN107087223A (zh) 2017-08-22
EP2663073A4 (en) 2015-04-15
EP2663073A1 (en) 2013-11-13
CN103299616A (zh) 2013-09-11
DE112012000421B4 (de) 2018-02-15
WO2012093714A1 (ja) 2012-07-12
DE112012000421T5 (de) 2013-10-10
US20130282876A1 (en) 2013-10-24
JP5829626B2 (ja) 2015-12-09

Similar Documents

Publication Publication Date Title
JP5829626B2 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
JP6449494B2 (ja) 再生装置
US9591361B2 (en) Streaming of multimedia data from multiple sources
KR102551081B1 (ko) 고품질의 경험을 위한 오디오 메시지들의 효율적인 전달 및 사용을 위한 방법 및 장치
US20110208829A1 (en) Method and apparatus for transmitting and receiving data
CN104904225A (zh) 用于对视频数据进行流传输的方法和相应装置
JP6868783B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP7238948B2 (ja) 情報処理装置および情報処理方法
JP6944131B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JPWO2018142946A1 (ja) 情報処理装置および方法
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
JPWO2018142947A1 (ja) 情報処理装置および方法
JP2018074349A (ja) 映像処理装置、映像処理方法および映像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160929

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20161104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170404