WO2012093714A1 - 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体 - Google Patents

再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2012093714A1
WO2012093714A1 PCT/JP2012/050147 JP2012050147W WO2012093714A1 WO 2012093714 A1 WO2012093714 A1 WO 2012093714A1 JP 2012050147 W JP2012050147 W JP 2012050147W WO 2012093714 A1 WO2012093714 A1 WO 2012093714A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
combination
information
selection
representation
Prior art date
Application number
PCT/JP2012/050147
Other languages
English (en)
French (fr)
Inventor
渡部 秀一
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to EP12732314.5A priority Critical patent/EP2663073A4/en
Priority to JP2012551883A priority patent/JP5829626B2/ja
Priority to DE112012000421.3T priority patent/DE112012000421B4/de
Priority to CN2012800048527A priority patent/CN103299616A/zh
Priority to US13/978,274 priority patent/US20130282876A1/en
Publication of WO2012093714A1 publication Critical patent/WO2012093714A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors

Definitions

  • the present invention relates to a playback device that plays back content acquired via a communication network, and more particularly to a playback device that determines content to be acquired with reference to descriptive information including information about the content.
  • Patent Document 1 discloses a content streaming service system in which a request for content is transmitted from a client to a server by HTTP, and the content received as a response to the request by the client is streamed.
  • 3GPP AHS Adaptive HTTP Streaming
  • MPD Media Presentation Description
  • the MPD describes the attributes of the content (media), the playback order, etc., and is sent to the client in advance or during the service of the streaming service. Then, the client refers to the received MPD and determines the content requested from the server.
  • FIG. 24 is a diagram showing a conventional technique for selecting content using MPD and reproducing the selected content.
  • FIG. 24A shows a flow of data transmitted and received between the client and the server.
  • B shows an example of MPD data
  • c in the figure shows an example of request data
  • d in the figure shows an example of content data.
  • the client and server communicate with each other via a network. Then, the server transmits MPD (1) to the client.
  • MPD is transmitted by HTTP
  • the transmission mode of MPD is not particularly limited.
  • the MPD is described by a period indicating a time interval and a representation indicating information of content to be reproduced in the interval.
  • the MPD may be data as shown in FIG.
  • a plurality of representations included in one period indicate content options. In other words, a plurality of representations included in the same period can be selected and reproduced.
  • each representation can include an attribute (Attribute) indicating an attribute of the content corresponding to the representation.
  • the attributes that can be included in the replication can include information related to the content such as codec, bit rate, frame rate, and resolution (particularly information related to the reproduction of the content).
  • the client refers to the values of these attributes and selects a representation.
  • the client can reproduce the codec, bit rate, frame rate, Representation according to resolution etc. is selected.
  • the MIME type (mimeType) indicating the reproducible data format, the representation identifier (id), and the bit rate (bandwidth in the figure) are described as attributes.
  • the attributes are not limited to this example.
  • the client that has selected the representation sends a request (2) for requesting the content corresponding to the selected representation to the server, as shown in FIG.
  • This request may be data as shown in FIG.
  • (c) of the same figure the example which requests
  • requires the content of "seg256.3gp” using the GET method for acquiring a content is shown. That is, (c) in the figure shows an example of request data when the second representation indicated by id “2” from the top in (b) in the figure is selected. Further, since it is possible to specify that the content of “video / 3gp” can be acquired from the MPD in FIG. 5B, in the example in FIG. 5C, the own device can reproduce this content. This is indicated by the Accept header.
  • the server that receives such a request transmits the requested content (3) to the client as shown in (a) of FIG.
  • This content may be transmitted in a response message format as shown in FIG.
  • the status code (200 OK) indicating that the request has been normally received
  • the header line (Content-Type: ⁇ ) indicating the type of content
  • the data entity of the requested content Boary data of seg256.3gp
  • an attribute called a group can be described in the MPD representation. If the value set for the group is different, it indicates a different component. Representations of the same group cannot be played back simultaneously, but representations of different groups can be played back simultaneously.
  • FIG. 25 is a diagram illustrating a related art, and is a diagram illustrating an example of MPD data including group attributes.
  • the representation with the group “1” and the representation with the group “2” can be reproduced simultaneously.
  • Japanese Patent Publication Japanese Patent Laid-Open No. 2005-110244 (published on April 21, 2005)”
  • the representation may not be selected in any combination. For this reason, in the conventional technology as described above, the client must appropriately select a combination of representations from among a plurality of representations, and the processing load relating to the selection of the representation is heavy. There's a problem. Since the representation indicates the content, the selection of the representation can be read as the selection of the content.
  • the client when a client selects one content and tries to play back this content and other content at the same time, the client first checks whether each of the obtainable contents can be combined with the selected content. There is a need to. At this time, whether or not the selection is possible can be changed depending on the type and combination of contents. Then, it is necessary to select the content to be combined from all the content that has been confirmed to be combinable by referring to the attribute information (attribute) of the content. For this reason, the processing performed by the client increases and becomes complicated. Further, there is a possibility that the content is reproduced in a combination not intended by the content producer.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a playback device and the like for easily selecting contents to be played back simultaneously.
  • the playback apparatus of the present invention requests the server to select content that is selected with reference to selection target content information including at least information indicating content that can be requested from the server, and responds to the request.
  • a playback device for playing back content transmitted in this manner wherein the selection means selects content according to combination information indicating a combination of content to be played simultaneously among the content that can be requested from the server, included in the selection target content information
  • the playback apparatus control method of the present invention requests the server to select content selected with reference to selection target content information including at least information indicating content that can be requested from the server.
  • a method for controlling a playback apparatus for playing back content transmitted in response to the request, wherein the combinations indicate content combinations that can be requested simultaneously from the content included in the selection target content information and that can be requested from the server A selection step for selecting content according to the information; a request step for requesting the server to transmit the content selected in the selection step; and a content transmitted from the server in response to the request in the request step. Including a playback step of playing back the selected combination. That.
  • the selection target content information including at least information indicating content that can be requested from the server includes combination information indicating a combination of content to be reproduced simultaneously. Then, the content is selected according to the combination information, the transmission of the selected content is requested, and the content transmitted in response to the request is reproduced with the selected combination.
  • the content can be simultaneously reproduced with the combination indicated by the combination information. Then, by determining the content with reference to the combination information, the playback device can easily select the content with an appropriate combination without determining whether the combination of the contents is appropriate.
  • the generation device of the present invention is a generation device that generates selection target content information including at least information indicating content that can be requested to a server by a playback device that plays back content.
  • the combination condition information indicating the combination condition of the contents, and indicates the combination determined by the combination determining means for determining the combination of the contents to be reproduced at the same time among the contents that can be requested from the server, and the combination determined by the combination determining means It is characterized by comprising generation means for generating selection target content information including combination information.
  • the generation apparatus control method of the present invention is a generation apparatus that generates selection target content information including at least information indicating content that can be requested to a server by a reproduction apparatus that reproduces content.
  • a combination determination step for determining a combination of the contents to be reproduced simultaneously among the contents that can be requested from the server with reference to combination condition information indicating a combination condition of the contents, and the combination determination step And a generation step of generating selection target content information including combination information indicating the combination determined in (1).
  • the combination condition information indicating the combination condition of the content is referred to, the combination of the contents to be reproduced simultaneously is determined, and the selection target content information including the combination information indicating the determined combination is generated.
  • the playback device can specify the content that can be requested from the server by acquiring the selection target content information generated in this manner, and can also select a combination of content that satisfies the combination condition indicated by the combination condition information. Can be identified.
  • the playback device can play back the content simultaneously in a combination that satisfies the combination conditions. Then, by determining the content with reference to the combination information, the playback device can easily select the content with the combination that satisfies the combination condition without determining whether the combination of the contents is appropriate.
  • the recording medium of the present invention is a computer-readable recording medium on which selection target content information including at least information indicating content that can be requested from a server by a playback device that plays back the content is recorded.
  • the selection target content information includes combination information indicating a combination of contents to be reproduced simultaneously among the contents that can be requested from the server.
  • the playback device that has read the selected symmetric content information from the recording medium can specify the content that can be requested from the server and can also specify the combination of content that satisfies the combination condition indicated by the combination condition information.
  • the playback device can simultaneously play back the content in the combination indicated by the combination information. Then, by determining the content with reference to the combination information, the playback device can easily select the content with an appropriate combination without determining whether the combination of the contents is appropriate.
  • the data structure of the present invention is a data structure of selection target content information including at least information indicating content that can be requested from the server by a playback device that plays back the content. Including combination information indicating a combination of contents to be played back, wherein the playback device selects content according to the combination information from the content indicated by the selection target content information, requests the server to transmit the selected content, and sends the request Accordingly, the content transmitted from the server is reproduced in a selected combination.
  • the playback device uses the data structure to select the selection target. Selecting content from the content indicated by the content information according to the combination information, requesting the server to transmit the selected content, and reproducing the content transmitted from the server in response to the request in the selected combination it can.
  • the playback device can easily select the content with an appropriate combination without determining whether the combination of the contents is appropriate.
  • the playback apparatus of the present invention includes a selection unit that selects content according to combination information indicating a combination of content to be played simultaneously, among the contents that can be requested from the server, included in the selection target content information, and the above selection Requesting means for requesting the server to transmit the content selected by the means, and reproducing means for reproducing the content transmitted from the server in response to the request from the requesting means in the combination selected by the selecting means. It is the composition which is.
  • the method for controlling a playback device selects a content according to combination information indicating a combination of content to be played back simultaneously from the contents that can be requested from the server, included in the selection target content information.
  • the generation apparatus of the present invention refers to the combination condition information indicating the combination condition of the contents, and among the contents that can be requested from the server, the combination determination unit that determines the combination of the contents to be reproduced at the same time And generating means for generating selection target content information including combination information indicating the combination determined by the combination determining means.
  • generation apparatus of this invention determines the combination of the said content reproduced
  • the configuration includes a combination determination step and a generation step for generating selection target content information including combination information indicating the combination determined in the combination determination step.
  • the recording medium of the present invention has a configuration in which the selection target content information includes combination information indicating a combination of content to be reproduced at the same time among the contents that can be requested from the server.
  • the data structure of the present invention includes combination information indicating a combination of contents to be reproduced simultaneously among the contents that can be requested from the server, and the reproduction apparatus uses the contents indicated by the selection target content information.
  • the content is selected according to the combination information, the transmission of the selected content is requested to the server, and the content transmitted from the server in response to the request is reproduced with the selected combination.
  • the selection target content information including at least information indicating content that can be requested from the server includes combination information indicating a combination of content to be reproduced simultaneously. Then, the playback device selects content according to the combination information, requests transmission of the selected content, and plays back the content transmitted in response to the request with the selected combination.
  • FIG. 1 It is a block diagram which shows the principal part structure of the client and server which are contained in the content transmission / reception system concerning one Embodiment of this invention. It is a figure which shows the kind of combination information, and a specific example, (a) of the figure shows combination information indicating a combination candidate and a specific example thereof, and (b) to (d) of FIG. Combination information to be performed and a specific example thereof. It is a figure which shows an example of MPD containing the combination attribute which combines two representations. It is a figure which shows an example of MPD containing the combination attribute which combines three representations. It is a figure which shows the other example of MPD containing the combination attribute which combines three representations.
  • MPD which designates a combination object in a group unit. It is a figure which shows an example of MPD which designates a combination object with the identification information of a group. It is a figure which shows an example of MPD containing combination_required and combination_optional which combine two representations. It is a figure which shows an example of MPD containing combination_required and combination_optional which combine three representations. It is a figure which shows an example of MPD which contains combination_required and combination_optional and designates the combination object or combination candidate in a group unit. It is a figure which shows an example of MPD including combination_required and combination_optional and designating a combination target or a combination candidate with group identification information.
  • FIG. 1 It is a figure which shows an example of MPD suitable for the content by which the multi-view video encoding was carried out. It is a figure which shows an example of MPD containing combination_all_required. It is a figure explaining an example of MPD containing only combination_optional as combination information, (a) of the figure shows the example of MPD, (b) (c) of the figure shows the example of a display based on this MPD . It is a flowchart which shows an example of the process which a client and a server perform. It is a figure which shows an example of MPD containing combination_optional which abbreviate
  • FIG. 10 is a flowchart illustrating an example of processing executed by a client when using an MPD in which some combination attributes are omitted.
  • FIG. 1 shows an embodiment of the present invention, and is a block diagram showing a main configuration of a client (playback apparatus) 1 and a server (generation apparatus) 2 included in a content transmission / reception system 3.
  • the client 1 includes a client control unit 10 that controls and controls the operation of the client 1, a client storage unit 11 that stores data used by the client 1, and a client 1 that connects an external device and a network. And a client communication unit (communication unit) 12 for communication via the network.
  • the client control unit 10 includes a content selection unit (selection unit) 13, a request execution unit (request unit) 14, and a content reproduction unit (reproduction unit) 15.
  • the content selection unit 13 acquires content description information (metadata) including information indicating content that can be requested from the server 2, and selects the content requested from the server 2 according to the acquired description information. Specifically, the content selection unit 13 receives MPD (selection target content information) as description information from the server 2, and refers to the attribute information (attribute) of each representation described in the MPD. 2. Select the requested content.
  • content description information metadata
  • MPD selection target content information
  • the MPD in the present embodiment includes combination information for specifying a combination of contents.
  • the content selection unit 13 can easily select an appropriate combination of content by referring to the combination information.
  • the request execution unit 14 transmits a request for requesting the content selected by the content selection unit 13 to the server 2, thereby acquiring the content.
  • a request for requesting the content selected by the content selection unit 13 to the server 2, thereby acquiring the content.
  • the request execution unit 14 transmits a request by HTTP. Therefore, the request execution unit 14 generates and transmits a request having a format as shown in FIG.
  • the content reproduction unit 15 reproduces the content received by the request of the request execution unit 14 in the combination selected by the content selection unit 13.
  • the reproduced content may be output from a display, a speaker, or the like included in the client 1, or may be output from a display, a speaker, or the like that is wired or wirelessly connected to the client 1.
  • the server 2 has a server control unit 20 that controls the operation of the server 2 in an integrated manner, a server storage unit 21 that stores data used by the server 2, and the server 2 communicates with external devices via a network. And a server communication unit 22 for this purpose.
  • the server control unit 20 includes a description information transmission unit 23 and a response execution unit 24, and the server storage unit 21 stores content 25 and description information (selection target content information) 26. .
  • the description information transmission unit (combination determination means, generation means) 23 transmits description information to the client 1. Specifically, the description information transmission unit 23 reads the description information 26 stored in the server storage unit 21 and transmits it to the client 1 via the server communication unit 22. As described above, MPD is used as description information here.
  • the response execution unit 24 transmits content corresponding to the request received from the client 1 to the client 1. Specifically, when the response execution unit 24 receives the request, the response execution unit 24 reads the content 25 stored in the server storage unit 21 and transmits the content 25 to the client 1 via the server communication unit 22.
  • the content 25 is data that is a target of a request from the client 1, and is video data, audio data, character data, or the like, for example.
  • the description information 26 is information relating to content that can be provided from the server 2 to the client 1 (in this case, the content 25 stored in the server storage unit 21). Specifically, in the description information 26, the representation of the content that is a selection candidate is described for each period, and each representation has an attribute of the representation (codec, bit rate, frame rate, resolution, etc.). ) Is an MPD described.
  • either or both of the content 25 and the description information 26 may be recorded on an external recording medium that can be attached to and detached from the server 2, or may be stored in an external device accessible by the server 2. . That is, the content 25 and the description information 26 may be stored in a state that can be acquired by the server 2, and the storage destination is not particularly limited.
  • the server 2 or the external device described above may include a content encoding unit that encodes content and a description information generation unit that generates description information 26. At least one of 26 may be generated in real time. Distribution of the content 25 generated in real time corresponds to so-called live distribution.
  • the content transmission / reception system may be configured by a plurality of servers 2, and the content 25 and the description information 26 may be provided from different servers 2.
  • FIG. 2 is a diagram showing types and specific examples of combination information.
  • FIG. 2A shows combination information indicating combination candidates and specific examples thereof, and FIG. 2B to FIG. The combination information for specifying the target and specific examples thereof are shown.
  • (A) in the figure shows an example of an attribute (selectable information) called combination_optional.
  • a plurality of pieces of information specifying each representation are described side by side.
  • this attribute is represented by a vector type (VectorType) that can describe a plurality of representation lists.
  • combination_optional 4optional5 7 8 ”is written.
  • # 1 representation can be reproduced (reproduced simultaneously) in combination with at least one of the # 4, # 5, # 7, and # 8 representations (reproduced in this combination). Is recommended).
  • id is used as information for specifying a representation.
  • any information that can specify a representation can be applied without being limited to id.
  • # 1 + # 4 + # 7, # 1 + # 8 are possible.
  • combination_required an attribute (selection required information) called combination_required.
  • a plurality a plurality of representations are listed side by side. That is, this attribute is also expressed in a vector type that can describe a list of a plurality of representations.
  • combination_required is different from combination_optional in that it is essential to select a combination target.
  • # 1 + # 4, # 1 + # 5, # 1 + # 7, # 1 + # 8, # 1 + # 4 + # 7, # 1 + # 4 + # 8 , # 1 + # 5 + # 7 and # 1 + # 5 + # 8 can be reproduced in eight ways.
  • combination_all_required an attribute (selection required information) called combination_all_required.
  • the combination target specified by combination_all_required is basically plural, and the representation of the combination target is listed side by side. That is, this attribute is also expressed in a vector type that can describe a list of a plurality of representations.
  • the combination_all_required is an attribute that makes it necessary to select all of the specified combination targets. That is, combination_all_required is different from combination_required in that all selection of combination targets is essential.
  • combination_one_required an attribute (selection required information) called combination_one_required.
  • combination_one_required There are multiple combinations to be specified in combination_one_required, and the combination target representations are listed side by side. That is, this attribute is also expressed in a vector type that can describe a list of a plurality of representations. As for the representation including the combination_one_required attribute, one of the plurality of representations described in the attribute is always selected.
  • # 1 + # 4 # 1 + # 5, # 1 + # 7, and # 1 + # 8 are possible in combination with the # 1 representation.
  • the number of representations to be combined can be limited to two or more.
  • an attribute such as combination_two_required that requires selection of two representations may be defined.
  • combination_xxx The attribute described by combination_xxx corresponding to the combination information described here is hereinafter referred to as a combination attribute or a combination attribute.
  • combination attributes as described above, it is possible to specify how to combine contents. For example, when both the group 2 and 3 representations can be reproduced simultaneously with the group 1 representation, the group 1 representation and at least one of the groups 2 and 3 are reproduced simultaneously. If desired, the combination_required attribute is described in the group 1 representation, and the group 2 and 3 representations are to be combined.
  • the combination_all_required attribute may be described in the representation of group 1 and the representations of groups 2 and 3 may be combined.
  • the MPD including the above combination attributes will be described with a specific example.
  • the MPD including the combination attribute is not limited to the example described below.
  • a representation is closely connected in a one-to-one relationship, it may be multiplexed and handled as one representation. Since the present invention leaves room for selection in the combination of contents, it is suitable for describing representation relationships that are loosely connected in a one-to-many, many-to-one, or many-to-many manner.
  • FIG. 3 is a diagram illustrating an example of an MPD including a combination_required attribute.
  • the representations # 1 to # 3 belong to group 1, and the representations # 4 to # 6 belong to group 2.
  • the # 1 representation is designated as a combination of # 4 and # 5 by combination_required.
  • # 2 is # 5
  • # 6 is # 3
  • # 4 is # 1
  • # 5 is # 1
  • # 2 is # 3
  • # 4 is # 1
  • # 5 is # 1
  • # 2 is # 3. It is specified.
  • MP1 is video content (not including audio) and group 2 is audio content
  • group 2 is audio content
  • MPD can be used to display audio content with appropriate reproduction quality according to the resolution (image quality) of the video content. Can be applied to let you choose.
  • the content combined by the combination attribute may be of different types, such as video content and audio content, or the same type (video, audio, character combination, etc.).
  • contents with different output methods are assumed to be different types of contents.
  • video is output as a moving image
  • audio is output as sound or sound
  • characters are output as a still image. Therefore, these types of contents are different.
  • the type of content is not limited to these examples.
  • the reproduction quality indicates the quality (quality) at the time of reproducing the content, such as resolution, image size, bit rate, and the like.
  • the representations # 1 to # 3 shown in the figure correspond to the video contents
  • the representations # 4 to # 6 correspond to the audio contents.
  • the client 1 referring to this MPD may first select a representation according to the playback capability of the own device.
  • which representation should be selected may be determined with reference to other attributes attached to each representation. For example, when the display width and display height (width, height) of the content are included in the attribute, the representation corresponding to the HD (High Definition) video content is specified by referring to these. You can also.
  • the client 1 identifies an appropriate representation to be combined with the representation by referring to the combination attribute (here, combination_required) included in the selected representation. Then, the server 2 requests the selected representation and the specified representation from the server 2. Finally, the content transmitted in response to the request is reproduced.
  • combination attribute here, combination_required
  • the audio content # 4 with the highest reproduction quality and the audio content # 5 with the medium reproduction quality are specified as the combination targets. Has been. That is, for the video content # 1 with the highest resolution, the combination with the audio content # 6 with the lowest reproduction quality is excluded.
  • the combination_required of the presentation that is the video content # 3 with the lowest resolution
  • only the audio content # 6 with the lowest reproduction quality is specified as the combination target. That is, for video content # 3 with the lowest resolution, combinations of audio content # 4 with the highest reproduction quality and audio content # 5 with a medium reproduction quality are excluded.
  • the client 1 can specify such an appropriate combination by referring to the combination attribute. Therefore, it is not necessary to determine whether or not the combination of each representation included in the MPD is appropriate, and the content can be selected easily and quickly. Also, when selecting a combination, the combination options are narrowed down by the combination attribute, so that easy and quick selection is possible.
  • the client 1 determines whether or not a combination with any representation is appropriate for each representation. There was a need to judge. For this reason, the processing for selecting the representation in the client 1 is complicated, and there is a possibility that the representation is selected in a combination that is not intended by the content provider, but the combination attribute of the present invention is included. Such a problem is solved by using MPD.
  • FIG. 4 is a diagram illustrating an example of an MPD including a combination attribute that combines three representations.
  • the combination of three or more representations can occur when there are three or more groups. For example, there are a group of video content, a group of audio content that is played back simultaneously with the video content, and a group of text information content (such as text broadcasting) that is played back (displayed) simultaneously with one or both of the video content and the audio content. In such a case, a combination of three or more representations occurs. Although an example of combining three representations will be described here, four or more representations can be combined in the same manner.
  • the # 1 to # 3 representations belong to group 1
  • the # 4 to # 6 representations belong to group 2
  • the # 7 to # 9 representations belong to group 3.
  • the combination target is specified as # 4, # 5, # 7, and # 8 by combination_required.
  • # 2 is # 5, # 6, # 8, # 9, # 3 is # 6, # 9, # 4 is # 1, # 5 is # 1, # 2, # 6 is # 6 2, # 3, # 7 is designated as # 1, # 8 is designated as # 1, # 2, # 9 is designated as # 2, and # 3 is designated as a combination target.
  • Such MPD can be applied, for example, when group 1 is video content, group 2 is audio content, and group 3 is text information content.
  • the combination_required is an attribute that specifies that at least one of the combination target representations should be selected.
  • representations included in the same group are excluded from combinations.
  • combination_required “4 5 7 8” in the # 1 representation (group 1) is equivalent to the # 1 representation, the # 4 or # 5 representation (group 2), and the # 7 or # 5.
  • # 1 + # 4, # 1 + # 5, # 1 + # 7, # 1 + # 8, # 1 + # 4 + # 7, # 1 + # 4 + # 8, # 1 + # 5 + # 7, and # 1 + # Playback is performed in any of eight combinations of 5 + # 8.
  • FIG. 5 is a diagram showing another example of MPD including a combination attribute that combines three representations.
  • the representations # 1 to # 3 belong to the group 1
  • the representations # 4 to # 6 belong to the group 2
  • the presentation belongs to group 3.
  • combination_required are described in the # 1 and # 2 representations in FIG. Specifically, in the # 1 representation, combination_required with combination targets # 4 and # 5 and combination_required with combination targets # 7 and # 8 are described. Also, in the # 2 representation, combination_required with combination targets # 5 and # 6 and combination_required with combination targets # 8 and # 9 are described.
  • combination_required is an attribute that requires at least one selection from the combination target, when multiple combination_required is used as shown in the example of FIG. 5, it is essential to select at least one from the combination targets of each combination_required It becomes.
  • the client 1 that has obtained the MPD of FIG. 5 and selected the # 1 representation is # 1 + # 4 + # 7, # 1 + # 4 + # 8, # 1 + # 5 + # 7, # 1 + # 5 + # 8 Playback is performed in any of the four combinations.
  • the combination target is specified by the id of the representation.
  • the method for specifying the combination target is not limited to id.
  • the combination target is described in the MPD so that the client 1 can specify the combination target.
  • a combination target (candidate) may be specified by specifying a group. This will be described with reference to FIGS.
  • FIG. 6 is a diagram illustrating an example of an MPD that designates a combination target in units of groups.
  • the representations # 1 to # 3 belong to the group 1
  • the representations # 4 to # 6 belong to the group 2
  • # 7 to # 3 as in the examples of FIGS. 9 representations belong to group 3.
  • the combination target is described as “4-5 group # 3”. This indicates that the # 1 representation must be combined with at least one of the # 4, # 5, and Group 3 representations.
  • the group 3 includes representations # 7 to # 9, a combination with at least one of # 4, # 5, and # 7 to # 9 is essential.
  • the combination target is described as “group # 1”. This indicates that the # 9 representation must be combined with at least one of the group 1 representations. In this example, since the representations # 1 to # 3 belong to the group 1, a combination with any one of # 1 to # 3 is essential.
  • the group 1 representation is always selected. Therefore, for example, when group 1 is video content and group 3 is text information content, by applying this MPD, video content is not played back, but only text information content is played back. Can be prevented.
  • FIG. 7 is a diagram illustrating an example of an MPD that designates a combination target using group identification information. Note that the MPD in FIG. 7 only has a different group designation method, and the combination specified by this MPD is the same as the example in FIG.
  • the combination attribute specifies the group using this id attribute.
  • a group with id g1, a group with g2, and a group with g3 are defined.
  • Representations of # 1 to # 3 belong to the group of g1, and the group of g2 ,
  • the # 4 to # 6 representations belong, and the g3 group has the # 7 to # 9 representations.
  • combination_required of # 1 representation the combination target is described as “4 5 g3”. This indicates that the # 1 representation must be combined with at least one of # 4, # 5, and the representation of the group with id g3.
  • the combination target is described as “g1”. This indicates that the # 9 representation must be combined with at least one of the representations of the group with id g1.
  • FIG. 8 is a diagram illustrating an example of MPD including combination_required and combination_optional.
  • the representations # 1 to # 3 belong to group 1, and the representations # 4 to # 6 belong to group 2.
  • combination candidates are designated as # 4 and # 5 by combination_optional.
  • # 2 is designated as a combination candidate at # 5 and # 6
  • # 3 is designated as # 6.
  • # 4 the combination target is specified as # 1 by combination_required.
  • # 5 is designated as # 1
  • # 2 is designated as # 2, # 3.
  • the combination of the group 1 representation and the group 2 representation is recommended but not essential.
  • the group 2 representation must be combined with the group 1 representation. In other words, the group 1 representation is permitted to be reproduced alone, but the group 2 representation is not permitted to be reproduced alone.
  • Such MPD is suitably applied when, for example, group 1 is video content (main video) and group 2 is sub-video content (sub / auxiliary video) such as producer commentary PinP (Picture in Picture). can do.
  • group 1 is video content (main video)
  • group 2 is sub-video content (sub / auxiliary video) such as producer commentary PinP (Picture in Picture).
  • sub-video content such as producer commentary PinP (Picture in Picture).
  • MPD can be suitably applied when, for example, group 1 is video content (main video) and group 2 is video content caption (timed-text). For example, it is possible to select a subtitle having an appropriate number of characters (or font) according to the resolution of the video content.
  • the representations # 1 to # 3 in FIG. 8 correspond to video contents
  • the representations # 4 to # 6 correspond to subtitles
  • the smaller the id the higher the resolution (reproduction quality).
  • the subtitles have a higher reproduction quality as the number of displayed characters is larger and the font is higher in definition.
  • # 4 is a high-definition font with a large number of display characters
  • # 5 is a low-definition font with the same number of display characters as # 4
  • # 6 is more than # 4 and # 5 Is a low-definition font with a small number of display characters.
  • the client 1 referring to this MPD may first select a representation according to the playback capability of the own device. Note that which representation should be selected may be determined with reference to other attributes attached to each representation.
  • the client 1 refers to the combination attribute included in the selected representation, and identifies a representation that can be combined with the representation (or a combination is essential). Then, the client 1 requests the selected representation and the identified representation to the server 2 and reproduces the content transmitted in response to the request.
  • the subtitle # 4 with the highest reproduction quality and the subtitle # 5 with the medium reproduction quality are designated as combination targets. . That is, for the video # 1 with the highest resolution, the combination with the subtitle # 6 with the lowest reproduction quality is excluded.
  • unbalanced content playback such as a combination of a high-resolution image and a subtitle with a small number of characters in a low-definition font or a combination of a low-resolution image and a subtitle with a large number of characters in a high-definition font is performed It is possible to ensure that the content reproduction is performed with subtitles of reproduction quality corresponding to the reproduction quality of the image. This is consistent with the conditional selection of playback content depending on the performance of the playback device, such as a living room TV (high resolution, detailed caption display is possible) and a mobile terminal (low resolution, detailed caption display is not possible).
  • combination_optional is used for the presentation of the group 1 corresponding to the video content, it is possible to reproduce the content without subtitles. Furthermore, since the combination target is specified in combination_required for the group 2 representation corresponding to the subtitles, the group 2 representation is selected before the group 1 representation is selected. However, only subtitles are not selected and played back. That is, when MPD in FIG. 8 is used, it is possible to prevent only subtitles from being reproduced.
  • FIG. 9 is a diagram showing an example of an MPD that includes combination_required and combination_optional and combines three representations.
  • the MPD in FIG. 9 is the same as the example in FIG. 4 except that the combination attribute in the group 1 representation is combination_optional.
  • the combination attribute of the group 1 representation is combination_optional, reproduction of the group 1 representation alone is possible.
  • Such an MPD is a group configured by a representation of content that Group 1 can play by itself, and it is assumed that Groups 2 and 3 do not play alone but play simultaneously with the content of Group 1
  • the present invention can be suitably applied to a case where a group is composed of representations of content that has been made.
  • group 1 is composed of a representation of video content including audio
  • group 2 is composed of a representation of sub-audio content
  • group 3 is composed of a representation of subtitle content It can also be applied to.
  • FIG. 10 is a diagram illustrating an example of an MPD that includes combination_required and combination_optional, and specifies a combination target or combination candidate in units of groups.
  • MPD is content that Group 1 can play by itself, and Groups 2 and 3 do not play by itself but play simultaneously with the content of Group 1. It can be suitably applied to content.
  • the client 1 When the # 1 representation is selected from the MPD in FIG. 10, the client 1 has a combination candidate of representations (# 7 to # 9) included in # 4, # 5, and group 3 Can be specified. Therefore, the client 1 has # 1, # 1 + # 4, # 1 + # 5, # 1 + # 7, # 1 + # 8, # 1 + # 9, # 1 + # 4 + # 7, # 1 + # 4 + # 8, # Playback is performed in one of 12 combinations of 1 + # 4 + # 9, # 1 + # 5 + # 7, # 1 + # 5 + # 8, and # 1 + # 5 + # 9.
  • FIG. 11 is a diagram illustrating an example of an MPD that includes combination_required and combination_optional and designates a combination target with group identification information. Note that the combinations specified by this MPD are the same as in the example of FIG.
  • Such an MPD is a group constituted by a representation of content that can be played back by itself, as in the example of FIGS. 9 and 10, and groups 2 and 3 are not played back by itself.
  • the present invention can be suitably applied to a group composed of content representations that are assumed to be reproduced simultaneously with the content of group 1.
  • the client 1 is a representation (# 7 to # 9) in which the combination candidates belong to the group of # 4, # 5, and id is g3. It can be identified.
  • MPD including combination_required and combination_optional can be suitably applied to playback of video content that has been multi-view video coded by, for example, MVC (multiview video coding).
  • MVC multiview video coding
  • MPEG Motion Picture Experts Group, official name is ISO / IEC JTC1 / SC29 WG11
  • the MVC encoded video data of the three-lens video is composed of the first to third encoded video data, and the decoded video of the first and second data is viewed in stereo as the left and right viewpoint videos.
  • FIG. 12 is a diagram illustrating an example of an MPD suitable for MVC content.
  • the MPD in FIG. 12 includes three representations.
  • Each representation includes an attribute of MIME type (mimeType), an attribute indicating the id of the representation, an attribute indicating the group, And combination attributes.
  • the # 1 representation includes combination_optional as a combination attribute
  • the # 2 and # 3 representations include combination_required.
  • the # 2 and # 3 representations are designated as combination candidates. That is, the # 1 representation can be reproduced alone or in combination with either the # 2 or # 3 representation.
  • the # 1 representation is designated as a combination target.
  • the # 2 and # 3 representations cannot be reproduced alone, but must be reproduced in combination with the # 1 representation.
  • the group 1 is a group configured by the presentation of the base video content (base video) and the group 2 is a group configured by the representation of the enhanced video content (enhance video). It is. More specifically, there is a case where # 1 alone can be viewed as a normal two-dimensional image, and a stereoscopic image can be displayed and viewed by a combination of # 1 + # 2 or # 1 + # 3. is assumed. For example, in the case of # 1 + # 2, # 1 is viewed as a left-eye image, # 2 is viewed as a right-eye image, # 1 + # 3 is viewed as # 3 as a left-eye image, and # 1 is viewed as a right-eye image.
  • the client 1 When the client 1 that can display and view the stereo view image acquires such an MPD, it can select the representation # 1 of the group 1 and combine it as a stereo view image from the combination_optional value of this representation. It is specified that the correct representation is # 2 or # 3.
  • the client 1 selects the representation # 2 or # 3 specified as described above, and the content corresponding to the representation # 1 and the representation (representation) selected together with the representation # 1.
  • the content transmitted in response to the request is received and reproduced simultaneously.
  • the client 1 can display a stereoscopic video image by a combination of # 1 + # 2 or # 1 + # 3.
  • FIG. 13 is a diagram illustrating an example of MPD including combination_all_required.
  • the MPD in FIG. 13 includes three representations.
  • Each representation includes an attribute of MIME type (mimeType), an attribute indicating the id of the representation, an attribute indicating the group, And an attribute indicating a bandwidth.
  • the three representations (# 1 to # 3) belong to groups 1 to 3, respectively.
  • the # 2 representation includes combination_all_required that specifies # 1 as a combination target
  • the # 3 representation includes combination_all_required that specifies # 1 and # 2 as combination targets.
  • the # 2 representation must be combined with the # 1 representation
  • the # 3 representation must be combined with the # 1 and # 2 representations. Is identified.
  • SVC scalable video coding
  • three-layer SVC encoded video data is composed of first to third encoded video data, and low-quality video is decoded from only the first video data, and the first and second Hierarchical images with different image quality depending on the amount of data to be decoded, such as intermediate-quality video is decoded from video data, and high-quality video is decoded and played from the first to third video data
  • the client 1 can select a desired representation with reference to the bandwidth value of the representation included in each group.
  • the # 3 representation having the largest bandwidth is selected from the three representations.
  • the client 1 specifies that # 1 and # 2 are necessary for the reproduction of the content of # 3 by the combination_all_required of # 3 (# 1 and # 2 are essential for the reproduction of # 3) Therefore, the band width indicated in the # 3 representation includes a value including data from # 1 to # 3).
  • the client 1 requests all of # 1 to # 3 from the server 2 and reproduces the received content in response to the request. As a result, it is possible to perform content reproduction in which the contents corresponding to the representations # 1 to # 3 are combined (more accurately, the reproduction is performed by combining the hierarchically encoded data).
  • # 1 can be played back in combination with # 2
  • combination_optional is added to the representation attribute of # 1 in MPD in FIG. 13 and # 2 is designated as a combination candidate of # 1 You may make it do.
  • # 2 can be combined with # 3 under the condition that # 1 is combined together. Therefore, combination_optional may be described in addition to existing combination_all_required in the # 2 representation attribute of MPD in FIG. 13, and # 3 may be designated as a combination candidate of # 2.
  • # 1 is specified by combination_all_required. However, when only one representation is specified in this way, combination_required may be used.
  • FIG. 14 is a diagram for explaining an example of MPD including only combination_optional as combination information.
  • FIG. 14 (a) shows an example of MPD
  • FIGS. 14 (b) and (c) show screens based on the MPD. A display example is shown.
  • the MPD in FIG. 14A includes six representations # 1 to # 6, where # 1 to # 3 belong to group 1 and # 4 to # 6 belong to group 2. Yes.
  • the representations # 1 to # 6 each include a combination_optional attribute, whereby the combination candidates are designated as # 6, # 5, # 4, # 3, # 2, and # 1, respectively. Yes.
  • Such MPD can be suitably applied to a plurality of video contents that can be displayed simultaneously, for example.
  • the video content of group 1 and the video content of group 2 can be simultaneously displayed on one screen, the video content of group 2 having an appropriate resolution corresponding to the resolution of the video content of group 1 is selected. You can also.
  • the representations # 1 to # 3 in FIG. 14A correspond to the video contents, and the representations # 4 to # 6 can be reproduced simultaneously with the representations # 1 to # 3.
  • the resolution reproduction quality
  • # 6 having a low resolution is described as a combination candidate of a high resolution # 1 and displayed simultaneously on one screen. It is possible to easily select video contents of two resolutions suitable for the above. For example, according to the resolution, # 1 is displayed larger on the screen and # 6 is displayed smaller on the screen. In this case, since the video content corresponding to the # 1 representation can be displayed with high resolution and high image quality, the impression of the video content corresponding to the # 1 representation can be strengthened. In addition, since video content with high resolution has a large amount of data, it is possible to easily suppress the total amount of data by averaging by always selecting a combination of high-resolution content and low-resolution content. is there. Similarly, as in the example of FIG. 14A, # 4 with a high resolution is described as a combination candidate for a low-resolution # 3 representation.
  • representations with high resolutions or representations with low resolutions may be combined candidates, or representations with the same or equivalent resolution may be combined candidates.
  • the video content corresponding to the # 1 representation is displayed in the area indicated by “# 1” in FIG. 14 and corresponds to the # 6 representation.
  • the video content to be displayed is displayed in the area indicated by “# 6” in FIG.
  • the video contents corresponding to # 2 to # 5 are displayed in the areas indicated by “# 2” to “# 5” in the same figure.
  • video content corresponding to each group's representation may be displayed without being superimposed.
  • the arrangement of the display area is not limited to the example shown in the figure.
  • the display area may be arranged vertically (in the vertical direction of the screen), or the entire display screen is divided into a plurality of areas (for example, divided into four areas).
  • Video content corresponding to each group's representation may be displayed in one of the divided areas.
  • the size of the display area of the video content may be a size corresponding to the resolution. That is, when video content having a difference in resolution is displayed at the same time, video content having a large resolution may be displayed larger.
  • video content corresponding to the representation of each group may be displayed in a superimposed manner.
  • the size of the display area of the video content may be set according to the resolution.
  • the visibility of the content deteriorates when the display area of the same size is superimposed, when the size of the display area is the same, it is displayed without being superimposed as in the illustrated example (example of # 2 and # 5). It is preferable. Further, a plurality of video contents may be simultaneously displayed in such a manner that a part of the display area is superimposed.
  • FIG. 15 is a flowchart illustrating an example of processing executed by the client 1 and the server 2.
  • the description information transmission unit 23 of the server 2 acquires the MPD (S11). Specifically, the description information transmission unit 23 acquires the description information 26 stored in the server storage unit 21 as an MPD.
  • the MPD acquisition method is not limited to this.
  • the MPD recorded on a recording medium external to the server 2 may be acquired, or may be acquired from another device that generates or stores the MPD.
  • the description information transmission part 23 may produce
  • the description information transmitting unit 23 that acquired the MPD transmits the acquired MPD to the client 1 via the server communication unit 22 (S12).
  • the MPD may be multicast transmitted to a plurality of clients that receive content distribution from the server 2.
  • the content selection unit 13 of the client 1 receives the MPD via the client communication unit 12 (S1)
  • the content selection unit 13 confirms whether the selection of the representation included in the received MPD is finished (S2).
  • the content selection unit 13 determines that the selection of the representation is to be finished for all the groups included in the received MPD and has confirmed whether or not the selection of the representation is complete, and has not confirmed whether or not the selection is possible. If there is, it is determined not to end the selection of representation.
  • the content selection unit 13 selects one group from the groups that have not been checked for selection (S3).
  • the group selection criteria are not particularly limited, and may be selected, for example, in ascending or descending order of the group id, or may be selected from a group corresponding to a predetermined type of content (for example, video content).
  • the type of content can be specified using an attribute of each representation described in the MPD.
  • the content selection unit 13 selects one representation from the representations belonging to the selected group (S4).
  • the selection criteria for the representation are not particularly limited.
  • the presentation id may be selected in ascending or descending order, or a representation that satisfies the condition that the content playback unit 15 can play back may be selected with reference to attributes such as resolution.
  • the selected group is selected. Note that the group may be selected in S3.
  • the content selection unit 13 confirms whether the combination attribute is included in the selected representation (S5). If it is confirmed in S5 that the combination attribute is not included (NO in S5), the process returns to S2.
  • the combination attribute includes “combination_optional” in which the combination with the designated combination candidate is not essential and “combination_required” in which the combination with the designated combination target is indispensable. Is included.
  • the content selection unit 13 makes a representation from the combination candidate specified by the combination attribute. It is determined whether or not to select (S6). Note that if the attribute is required to select a representation such as combination_required, the process of S6 is not performed and the process proceeds to S7.
  • the content selection unit 13 may determine whether or not to select a representation from the candidates specified in combination_optional may be selected by the user, or the content selection unit 13 may determine.
  • the content selection unit 13 determines, for example, referring to attributes such as resolution
  • the content reproduction unit 15 confirms whether the content reproduction unit 15 can reproduce the content corresponding to the representation. If reproduction is not possible, the configuration may not be selected.
  • the content selection unit 13 selects a representation to be combined with the representation selected in S4 (S7).
  • a representation belonging to an unselected group is selected. That is, if a representation m that is a combination candidate confirmed in S5 is a representation m and the group to which the representation m belongs is a group k, this group k is S4 (or S3), If the group has not been selected in S6 and S7, the representation m designated by the combination attribute is selected. When a plurality of representations m belonging to the group k are designated as combination candidates by the combination attribute, one of them is selected. Then, after selecting the representation m, the group k to which the representation m belongs is selected.
  • the content selection unit 13 refers to an attribute (group attribute information) indicating a group id, and among the representations specified by the combination attribute, a group different from any of the representations selected so far The representations belonging to are selected to be combined.
  • the method for determining the representation to be selected from the representation designated by the combination attribute is not particularly limited.
  • the representation group to be selected may be determined in ascending or descending order of the group number, and the representation may be selected in the ascending or descending order of id from the representations included in the determined group.
  • the playback quality specified by referring to the representation attribute may be selected as a reference, or the one determined that the client 1 can be played back by referring to the representation attribute is selected. May be.
  • the process returns to S2, and the content selection unit 13 confirms whether the selection of the representation has been completed.
  • the content selection unit 13 notifies the request execution unit 14 of the selected representation.
  • the request execution unit 14 Upon receiving this notification, the request execution unit 14 generates a request for the notified representation, and transmits the request to the server 2 via the client communication unit 12, thereby representing the representation data selected by the content selection unit 13. Request (contents corresponding to the representation) to the server 2 (S8).
  • the response execution unit 24 of the server 2 receives this request (S13), reads the requested data (content) from the server storage unit 21, and transmits it to the client 1 via the server communication unit 22 (S14).
  • the content to be transmitted may be acquired from the server storage unit 21, or may be acquired from another recording medium or another device. Moreover, you may instruct
  • the content reproduction unit 15 of the client 1 receives the data (content) requested by the request execution unit 14 via the client communication unit 12 (S9) and reproduces it (S10). Thereby, the processing of the client 1 ends.
  • the content selection unit 13 may transmit information indicating the combination of representations selected by the content selection unit 13 to the content reproduction unit 15 before the content reproduction unit 15 starts reproducing the content.
  • the content reproduction unit 15 can reproduce the content in combination according to the combination of representations selected by the content selection unit 13.
  • the request execution unit 14 may transmit information indicating the requested combination of contents to the content reproduction unit 15. Also in this case, the content reproduction unit 15 can reproduce the content in combination according to the combination of representations selected by the content selection unit 13.
  • FIG. 15 shows processing when the MPD includes only one period for the sake of simplicity.
  • the illustrated process is executed for each period.
  • FIGS. 1 a second embodiment of the present invention will be described with reference to FIGS.
  • the second embodiment is the same as the first embodiment except that content is selected using an MPD in which some combination attributes are omitted.
  • the configuration of the system and apparatus (see FIG. 1) is the same as that of the first embodiment. The same.
  • FIG. 16 is a diagram illustrating an example of MPD including combination_optional in which the combination attribute of group 2 is omitted.
  • the MPD in FIG. 16 has the same configuration as the MPD in FIG. 8, except that the group 2 representations do not include any combination attributes. Such MPD can be applied when the group 1 representation is selected first, and then the group 2 representation is selected in advance.
  • group 1 is a group composed of representations of video content (main video)
  • group 2 is a group composed of representations of sub video content (sub / auxiliary video) such as producer commentary PinP. Therefore, the present invention can be suitably applied to the case where the client 1 has decided to select the video content from the presentation first.
  • FIG. 17 is a diagram illustrating another example of MPD including combination_optional in which the combination attribute of group 2 is omitted.
  • the MPD in FIG. 17 has the same configuration as the MPD in FIG. 12, except that the group 2 representations do not include any combination attributes. Such MPD can also be applied when it is determined in advance that the group 1 representation is selected first and then the group 2 representation is selected.
  • group 1 is a group composed of representations of base video content (base video)
  • group 2 is a group composed of representations of enhanced video content (enhance video)
  • client 1 The present invention can be suitably applied to a case where it is determined that the presentation of the base video content is selected first.
  • FIG. 18 is a diagram illustrating an example of MPD including combination_optional in which the combination attribute of group 3 is omitted.
  • the MPD in FIG. 18 has the same configuration as the MPD in FIG. 13 (configuration for realizing the same playback mode), but is described only with combination_optional, and the group 3 representation includes a combination attribute. It is different in that it is not. In the example of FIG. 18, the bandwidth attribute is not described, but may be described. Such MPD can also be applied when the group 1 representation is selected first and then the group 2 and group 3 representations are selected in advance.
  • the client 1 is determined to select the content of the group 1 in order. It can be suitably applied.
  • SVC scalable video coding
  • the client 1 can select only # 1 or # 1 + # 2.
  • # 1 + # 2 it is indicated that the combination of the # 3 representation and the # 3 representation can be further combined with the # 2 representation. Therefore, at this time, the client 1 can select only # 1 + # 2 or # 1 + # 2 + # 3. In this way, the client 1 selects # 1, # 1 + # 2, or # 1 + # 2 + # 3.
  • FIG. 19 is a diagram illustrating an example of an MPD including combination_required in which the combination attribute of group 1 is omitted.
  • the MPD in FIG. 19 has the same configuration as the MPD in FIG. 3, except that the group 1 representation does not include a combination attribute. Such MPD can be applied when it is predetermined that the group 2 representation is selected first and then the group 1 representation is selected.
  • the combination target of the group 2 representation includes combination_required which is the group 1 representation.
  • the client 1 can easily recognize that the representation of the group 2 corresponds to content that cannot be reproduced independently.
  • the content corresponding to the group 1 representation is the main video content
  • the content corresponding to the group 2 representation is the sub video content.
  • the present invention can be suitably applied to the case where it is determined that the representation of the content of the content is to be selected first.
  • FIG. 20 is a diagram illustrating another example of MPD including combination_required in which the combination attribute of group 1 is omitted.
  • the MPD in FIG. 20 has the same configuration as the MPD in FIG. 12, except that the group 1 representation does not include a combination attribute. Such MPD can be applied when it is predetermined that the group 2 representation is selected first and then the group 1 representation is selected.
  • all of the group 2 representations include combination_required in which the combination target is the group 1 representation.
  • the client 1 can easily recognize that the representation of the group 2 corresponds to content that cannot be reproduced independently.
  • the MPD first selects the content representation of the group 2 in the client 1. It can be suitably applied to cases where it is decided to do so.
  • FIG. 21 is a flowchart illustrating an example of processing executed by the client 1 when an MPD in which some combination attributes are omitted is used.
  • the processing executed by the server 2 is the same as that in the example of FIG. Further, since the processing of S21 to S30 in the flowchart of FIG. 21 is substantially the same as the processing of S1 to S10 of FIG. 15, here, the difference from FIG. 15 will be mainly described.
  • the content selection unit 13 of the client 1 receives the MPD via the client communication unit 12 (S21)
  • the content selection unit 13 confirms whether or not the selection of the representation included in the received MPD is completed (S22).
  • the content selection unit 13 selects one group from the groups that have not been checked for selection (S23).
  • the selection criteria of a group are not specifically limited, Here, it selects in order from the group containing the representation to which the combination attribute was attached
  • a method of specifying the order of selection by describing an attribute (priority attribute) indicating the priority of selection may be applied. it can. Further, referring to each representation of the acquired MPD, it is checked whether or not a representation with a combination attribute is included, and a selection is made from a group that includes the combination representation. You may do it.
  • the content selection unit 13 selects one representation from the representations belonging to the selected group (S24). Subsequently, the content selection unit 13 checks whether or not the combination attribute is included in the selected representation (S25). If it is confirmed that the combination attribute is not included (NO in S25), the process returns to S22.
  • the content selection unit 13 makes a representation from the combination candidate specified by the combination attribute. It is determined whether or not to select (S26). Note that if the attribute is required to select a representation such as combination_required, the process of S26 is not performed and the process proceeds to S27.
  • the process returns to S25, and the content selection unit 13 further confirms whether or not the combination attribute is included in the representation selected in S27.
  • this embodiment is different from the example of FIG. 15 in that, when a representation is selected, it is confirmed whether the representation includes a combination attribute.
  • the representation may be selected in the process of FIG.
  • the content selection unit 13 When it is confirmed in S22 that the selection of the representation has been completed (YES in S22), the content selection unit 13 notifies the request execution unit 14 of the selected representation. Upon receiving this notification, the request execution unit 14 requests the notified data from the server 2 (S28).
  • the content reproduction unit 15 of the client 1 receives the data (content) requested by the request execution unit 14 via the client communication unit 12 (S29) and reproduces it (S30). Thereby, the processing of the client 1 ends.
  • FIG. 21 shows processing in the case where only one period is included in the MPD for the sake of simplicity.
  • the illustrated process is executed for each period.
  • FIG. 22 is a diagram illustrating an example of an MPD in which a combination of representations is described using elements.
  • a period starting from “PT0S” includes a presentation # 1 belonging to group 1 and a representation # 4 belonging to group 2.
  • the # 1 representation describes an element (combination element) that starts with ⁇ combination> and ends with ⁇ / combination>, which indicates a candidate for combination with the representation. Yes.
  • this element includes an element (representation id element) that starts with ⁇ representation_id> and ends with ⁇ / representation_id>, whereby a representation id to be combined with the # 1 representation Has been identified. This is an element corresponding to combination_optional in the above embodiment.
  • this element indicates that, when the # 4 representation is selected, it is essential to select at least one of the combination target representations specified by the element.
  • This element includes an element (representation id element) that starts with ⁇ representation_id> and ends with ⁇ / representation_id>, as in the # 1 representation.
  • the id of the representation combined with the representation is specified. That is, in this example, the # 4 representation must be combined with the # 1 representation.
  • FIG. 23 is a diagram illustrating an example of a schema of a combination element describing combination information of representations.
  • “CombinationType” is a type consisting of one or more "representation_id” elements of type “integerType” and a “relation” attribute defined with type “relationType” and default (default) "optional”
  • “RelationType” is a type that can take three string values “optional”, “required”, and “all_required”.
  • the “combination” element has a structure defined by “combinationType”, and multiple “representation_id” can be sequentially specified as integer values in “combinationType” (from ⁇ sequence> ⁇ / sequence> is defined as that).
  • “combinationType” can be specified by an attribute “relation”
  • “relationType” is defined as “optional” by default.
  • FIGS. 26 and 27 show an example of MPD in which a combination of representation is described by an element and an example of a schema of this element, respectively, as in the third embodiment (FIGS. 22 and 23). Similar to the third embodiment, it is described in the form of a combination element, but only the definition of the type “relationType” of the “relation” attribute is different from the third embodiment. In this embodiment, the configuration of the system and apparatus (see FIG. 1) is the same as that of the first embodiment.
  • the dependency relationship between the representation to which the combination element is attached and the representation indicated by the “representation_id” element in the combination element is an attribute “relationType” type attribute.
  • the representation with the combination element is represented as “Representation A”
  • the representation indicated by the “representation_id” element in the combination element is represented as “Representation B”.
  • the attribute “relation” indicating the dependency relationship between the representations is represented by the “representation_id” of the representation itself to which the combination element is added as shown in the definition of the “relationType” type in FIG. Whether the main content ("main"), sub-content ("sub”), or auxiliary content ("auxiliary”) for the presentation of combination playback shown in It is assumed that the attribute indicates. That is, the possible value of “relation” is any one of “main”, “sub”, and “auxiliary”. The default value of the “relation” attribute is “main”. If there is no description of the “relation” attribute, it is interpreted as “main”.
  • main indicates content that is always played back and content that can be played back independently. That is, content whose “relation” attribute is “main” is content that must be selected.
  • the sub-content refers to content that is played back only when the playback is instructed, while the main content is content that is always played back. That is, the content whose “relation” attribute is “sub” is content that is a selection candidate.
  • auxiliary content is content that is reproduced in combination with the main (or sub) content only when reproduction is instructed, and indicates content that cannot be reproduced independently. That is, content whose “relation” attribute is “auxiliary” cannot be selected alone.
  • sub (“sub”) content and auxiliary (“auxiliary”) content are not distinguished as being played back in combination with the main content. What is prohibited from being reproduced is particularly distinguished as auxiliary content.
  • main content does not exist
  • auxiliary content cannot be reproduced independently even when the “main” content does not exist.
  • the dependency relationship between the representations such as whether the reproduction in combination with the designated representation is required or optional is directly designated by “relation”.
  • the roles such as main and sub of each representation are indicated by “relation”, so that the dependency relationship between the representations is indirectly indicated. Both are common in that they show dependencies between representations.
  • the representation # 4 (group 2) is designated by the combination element.
  • the “relation” attribute is not specified, it is understood that the content is the content of the default attribute “main”. That is, the representation # 1 is always reproduced.
  • the combination element of the fourth embodiment includes the attribute “relation” that indirectly indicates the dependency between the representations by indicating the role of each representation, thereby allowing the content to be combined in an appropriate combination. It can be played back.
  • the combination element of the fourth embodiment shows the role of the representation itself to which the combination element is added, the representation included in the period is limited, and the representation to be reproduced in combination is obvious. In this case, “representation_id” can be omitted.
  • FIG. 28 is a diagram showing an example of MPD in which a combination attribute is added to a group.
  • the combination attribute or combination element of the present invention is mainly characterized in that it is combination information indicating whether it is essential to reproduce content in combination or whether it is a candidate for combination reproduction.
  • the present invention can be similarly applied to a representation that is a group of contents (representation group).
  • the representations to be combined are shown using their ids, but the method of indicating the combined representations is not limited to this.
  • a specific id (combination identifier or combination id) is allocated to the combination itself, and the combination id is the combination attribute (or element) in each representation. May be described.
  • the client 1 can specify a representation having the same combination id as the content to be combined.
  • FIG. 29 is a diagram for explaining an example in which a combination target is specified by a combination id.
  • FIG. 29A shows an example of an MPD that specifies a combination target without using a combination id
  • FIG. Shows an example of an MPD that identifies the same combination target as in FIG.
  • FIG. 30 is a diagram for explaining another example in which the combination target is specified by the combination id.
  • FIG. 30A shows an example of the MPD that specifies the combination target without using the combination id.
  • (B) shows an example of an MPD that specifies the same combination target as (a) in FIG.
  • the combination id is “Cn” (n is a positive integer).
  • FIG. 29 is a description example showing that any one of the two reproductions of # 1 + # 4 and # 1 + # 7 is essential.
  • the combinations id, “C1”, and “C2” are assigned to the combinations of # 1 + # 4 and # 1 + # 7, respectively.
  • the content selection unit 13 of the client 1 selects content using this MPD, it always selects one of the combinations C1 and C2 according to the combination attribute (one_required). If C1 is selected, # 4 associated with the same combination id (C1) is selected. On the other hand, if C2 is selected, the same combination id (C2) is associated. Select # 7.
  • FIG. 30 is a description example showing that reproduction by the combination of # 1 + # 4 + # 7 is essential.
  • the combination id “C1” is described with respect to the combination of # 1 + # 4 + # 7.
  • the content selection unit 13 of the client 1 selects content using this MPD
  • the content selection unit 13 selects the combination of C1 according to the combination attribute (required) and reproduces it indispensably. That is, all of # 1, # 4, and # 7 associated with the same combination id (C1) are selected.
  • the ids of the individual representations to be combined are respectively set. Since it is not necessary to describe each presentation in the presentation, the description can be simplified. In addition, there is a feature that editing is easy when a new representation is added to an existing combination.
  • the MPD created in advance may be read and used, or the description information transmission unit 23 of the server 2 may generate it.
  • a description will be given of a process in which the description information transmission unit 23 generates an MPD.
  • the description information transmitting unit 23 refers to combination condition information indicating a combination condition of contents, and determines a combination of contents to be reproduced simultaneously. Then, an MPD including a combination attribute indicating the determined combination is generated.
  • a combination attribute may be added to a conventional MPD (an MPD that does not include a combination attribute).
  • the combination condition information is not particularly limited as long as it indicates the content combination condition, but examples include the following examples.
  • the combination condition information may be information indicating a preset allowable reproduction quality combination.
  • the description information transmitting unit 23 When this combination condition information is used, the description information transmitting unit 23 generates a combination attribute that combines video content having a certain reproduction quality and audio content having a reproduction quality to be combined with the reproduction quality specified from the combination condition information. To do.
  • combination_required or combination_optional may be determined according to the content attribute or the like (can be specified with reference to the attribute or the like). For example, when it is specified from the attributes that the content is not desired to be reproduced alone, such as a combination of video content without audio and audio content, the combination may be required. On the other hand, in the case of content that can be played back by itself, the combination need not be required, so combination_optional may be used.
  • this attribute is generated.
  • the information indicating an acceptable combination of reproduction quality is information in which information indicating the reproduction quality of video content or the range of reproduction quality is associated with information indicating the reproduction quality of audio content or the range of reproduction quality It is.
  • the information indicating the range of the bit rate of the video content and the information indicating the range of the bit rate of the audio content reproduced simultaneously with the video content may be associated with each other.
  • the description information transmission unit 23 refers to such information, and specifies the bit rate range of the video content or audio content to be combined with the content from the bit rate of the video content or audio content to be combined. .
  • the description information transmitting unit 23 describes the representation of the video content or audio content having the bit rate within the specified range in the combination representation corresponding to the video content or audio content to be combined. As a result, MPD is generated.
  • the combination condition information includes information indicating the preset display size of the video content and information indicating the display mode of the subtitles. It may be associated information.
  • the description information transmitting unit 23 refers to the attribute of the video content, specifies the display size, and specifies the display mode of the caption corresponding to the display size from the combination condition information. Then, an attribute of a combination that combines the subtitle of this display mode and the video content is generated, and an MPD including this attribute is generated.
  • This combination condition information includes, for example, information indicating the display size or display size range of the video content, subtitle font and one screen that can read each character without any problem within the display size or display size range. It may be information associated with information indicating the number of characters to be displayed.
  • the description information transmitting unit 23 refers to such information, and specifies the font of the subtitle and the number of display characters to be combined with the content from the screen size of the video content.
  • the description information transmitting unit 23 is suitable for the video content and the video content by describing the representation of the caption with the specified font and the number of display characters with the combination attribute in the representation of the combination corresponding to the video content.
  • MPDs associated with various subtitles are generated.
  • the combination condition information indicates a preset display size or display size range of the main video content.
  • the information shown may be associated with the information indicating the display size or display size range of the sub video content that can be superimposed on the video content of that size.
  • the description information transmission unit 23 refers to the attribute of the main video content, identifies the display size, and identifies the display size or range corresponding to the display size from the combination condition information. To do. Then, an attribute of a combination that combines the video content of the specified display size or its range and the main video content is generated, and an MPD including this attribute is generated.
  • the combination condition information may be information indicating the upper limit of the transmission band.
  • the description information transmission unit 23 generates a combination attribute for combining contents within a range not exceeding the upper limit indicated by the combination condition information, and generates an MPD including the attribute.
  • a transmission bandwidth that is assumed in advance is set, and for each set bandwidth, a combination of video contents that can be passed, a combination of video contents and audio contents, and a combination of other contents are set according to the bit rate of each content. Extraction may be performed using information, and MPD may be generated based on the extracted combination. Thereby, it is possible to prevent the bit rate of the content to be downloaded from exceeding a preset bandwidth and to download the content stably.
  • the description information transmitting unit 23 uses an element as illustrated in FIG. 22 as information indicating a combination of contents.
  • Information described in (1) may be generated.
  • a method for generating combination information or descriptive information including combination information (for example, MPD) is also included in the scope of the present invention.
  • the entity that generates such information is not limited to the server 2 and may be generated by a device other than the server 2.
  • the information generated by the device may be transmitted to the client 1 via the server 2 or may be transmitted directly from the device to the client 1.
  • a recording medium on which information generated by the apparatus is recorded may be provided to the client 1, and the client 1 may read the information from the recording medium.
  • a recording medium that records combination information indicating a combination of contents to be reproduced simultaneously, such as combination attributes and elements, is also included in the scope of the present invention.
  • the recording medium include tapes such as magnetic tape and cassette tape, magnetic disks such as floppy (registered trademark) disks / hard disks, and optical disks such as CD-ROM / MO / MD / DVD / BD / CD-R.
  • Including disks, cards such as IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, or PLD (Programmable logic device) or FPGA (Field Programmable Gate Array) Such logic circuits can be used.
  • the recording medium only needs to include combination information, and is not necessarily described as MPD.
  • each block of the client 1 and the server 2, particularly the client control unit 10 and the server control unit 20 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or a CPU (Central Processing Unit) may be used for software implementation.
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the client 1 and the server 2 include a CPU that executes instructions of a program that realizes each function, a ROM (Read Memory) that stores the program, a RAM (Random Access Memory) that expands the program, and the program And a storage device (recording medium) such as a memory for storing various data.
  • An object of the present invention is a recording medium in which program codes (execution format program, intermediate code program, source program) of control programs for the client 1 and the server 2 which are software for realizing the functions described above are recorded so as to be readable by a computer. Can also be achieved by reading the program code recorded on the recording medium and executing it by the computer (or CPU or MPU).
  • Examples of the recording medium include tapes such as magnetic tape and cassette tape, magnetic disks such as floppy (registered trademark) disks / hard disks, and optical disks such as CD-ROM / MO / MD / DVD / BD / CD-R.
  • Including disks, cards such as IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, or PLD (Programmable logic device) or FPGA (Field Programmable Gate Array) Such logic circuits can be used.
  • the client 1 and the server 2 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (Virtual Private Network), telephone line network, mobile communication network, satellite communication network, etc. can be used.
  • the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by wireless such as High Data Rate, NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, and terrestrial digital network.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the playback device of the present invention requests the selected content with reference to the selection target content information including at least information indicating content that can be requested from the server, and is transmitted in response to the request.
  • a playback device for playing back content wherein the selection means for selecting content according to combination information indicating a combination of content to be played simultaneously among the content that can be requested from the server included in the selection target content information, and the selection Requesting means for requesting the server to transmit the content selected by the means, and reproducing means for reproducing the content transmitted from the server in response to the request from the requesting means in the combination selected by the selecting means. It is characterized by being.
  • the control method for the playback device of the present invention requests the server to select the content selected with reference to the selection target content information including at least information indicating the content that can be requested from the server.
  • a reproduction step of reproducing is a reproduction step of reproducing.
  • the selection target content information including at least information indicating content that can be requested from the server includes combination information indicating a combination of content to be reproduced simultaneously. Then, the content is selected according to the combination information, the transmission of the selected content is requested, and the content transmitted in response to the request is reproduced with the selected combination.
  • the content can be simultaneously reproduced with the combination indicated by the combination information. Then, by determining the content with reference to the combination information, the playback device can easily select the content with an appropriate combination without determining whether the combination of the contents is appropriate.
  • the selection target content information the content and the combination information are associated with each other, and at least one of the combination information included in the selection target content information indicates content that must be reproduced at the same time.
  • the selection means selects the content indicated by the selection essential information when the selection essential information is associated with the selected content.
  • the content indicated by the selection required information is also selected. That is, the content associated with the selection essential information is not selected alone, but is selected in combination with the content indicated by the selection essential information.
  • the content indicated by the selection-required information may be one or plural.
  • the content and the combination information are associated with each other, and at least one of the combination information included in the selection target content information indicates content that can be reproduced simultaneously. It is selectable information, and when the selectable information is associated with the selected content, the selecting means preferably uses the content indicated by the selectable information as a selection candidate.
  • the content indicated by the selectable information is set as a selection candidate. That is, the content associated with the selectable information can be selected alone or in combination with the content indicated by the selectable information.
  • the content is allowed to be reproduced alone, while being combined. Can be reproduced in combination with appropriate content.
  • the playback device includes a communication unit for receiving the selection target content information from an external device, and the selection unit selects content using the selection target content information received via the communication unit. It is preferable to do.
  • the playback device since the playback device selects content using the selection target content information received via the communication unit, by transmitting the selection target content information to the playback device, the transmitted selection target content information Based on this, it is possible to cause the playback apparatus to perform content playback.
  • the external device may be the server or another device.
  • the selection target content information may be generated by the server or may be generated by another device.
  • the combination information is associated with a part of the plurality of contents that can be requested from the server, and the selection unit selects the content associated with the combination information.
  • the selection unit selects content to be played simultaneously with the content in accordance with the combination information associated with the content.
  • the content associated with the combination information is selected, and the content to be reproduced simultaneously with the content is selected according to the combination information associated with the content.
  • the selection target content information includes content that is not associated with the combination information, appropriate selection according to the combination information is possible.
  • the contents are classified into a plurality of groups, and contents belonging to different groups can be reproduced simultaneously.
  • the selection target content information includes group attribute information indicating a group to which each content belongs,
  • the selecting means refers to the group attribute information and selects a combination of contents belonging to different groups from among the combinations indicated by the combination information.
  • the combination information is associated with each group in the selection target content information, and at least one of the combination information included in the selection target content information is at least one of the groups. If the group designation information is associated with the group to which the selected content belongs, the selection means selects content belonging to the group designated by the group designation information. Or a candidate for selection.
  • the combination information is associated with each group in the selection target content information, and at least one of the combination information is group designation information for designating at least one group. If the group designation information is associated with the group to which the selected content belongs, the content belonging to the group designated by the group designation information is selected or selected.
  • the groups to be selected are narrowed down according to the group designation information, so that the content can be easily selected in an appropriate combination.
  • the playback device associates content with the combination information, and at least one of the combination information included in the selection target content information is associated content. Includes information indicating that selection is essential, selection is possible, or selection alone is not allowed, and the selection unit preferably selects content according to the information.
  • the content and the combination information are associated with each other, and at least one of the combination information is selectable because the associated content is required to be selected. It includes information indicating that it is present or cannot be selected alone, and selects content according to the information.
  • the selection target content information associates the content with the combination information
  • the combination information is a combination identifier set for each combination of the contents.
  • a configuration may be used in which content associated with the same combination identifier is selected or selected.
  • the content and the combination information are associated with each other, and the combination information is a combination identifier set for each combination of the contents, and the same combination identifier is associated with the combination information. Selected content or selection candidates.
  • the same combination identifier is set in advance for the appropriate combination of content.
  • the content can be easily selected in an appropriate combination.
  • the generation device of the present invention is a generation device that generates selection target content information including at least information indicating content that can be requested by a playback device that reproduces content, and the combination condition indicating the combination condition of the content
  • the content to be selected including the combination determining means for determining the combination of the contents to be reproduced simultaneously among the contents that can be requested from the server with reference to the information, and the combination information indicating the combination determined by the combination determining means.
  • the generation device control method of the present invention is a generation device control method for generating selection target content information including at least information indicating content that can be requested from a server by a playback device that plays back content.
  • a combination determination step for determining a combination of the contents to be simultaneously played out of the contents that can be requested from the server with reference to combination condition information indicating a combination condition, and combination information indicating the combination determined in the combination determination step.
  • a generation step of generating selection target content information is a generation device control method for generating selection target content information including at least information indicating content that can be requested from a server by a playback device that plays back content.
  • the combination condition information indicating the combination condition of the content is referred to, the combination of the contents to be reproduced simultaneously is determined, and the selection target content information including the combination information indicating the determined combination is generated.
  • the playback device can specify the content that can be requested from the server by acquiring the selection target content information generated in this manner, and can also select a combination of content that satisfies the combination condition indicated by the combination condition information. Can be identified.
  • the playback device can play back the content simultaneously in a combination that satisfies the combination conditions. Then, by determining the content with reference to the combination information, the playback device can easily select the content with the combination that satisfies the combination condition without determining whether the combination of the contents is appropriate.
  • the recording medium of the present invention is a computer-readable recording medium in which selection target content information including at least information indicating content that can be requested by a playback apparatus that plays back content is recorded on the computer. Is characterized in that it includes combination information indicating a combination of contents to be reproduced simultaneously among the contents that can be requested from the server.
  • the playback device that has read the selected symmetric content information from the recording medium can specify the content that can be requested from the server and can also specify the combination of content that satisfies the combination condition indicated by the combination condition information.
  • the playback device can simultaneously play back the content in the combination indicated by the combination information. Then, by determining the content with reference to the combination information, the playback device can easily select the content with an appropriate combination without determining whether the combination of the contents is appropriate.
  • the data structure of the present invention is a data structure of selection target content information including at least information indicating content that can be requested from the server by a playback device that plays back the content. Including combination information indicating a combination of contents to be played back, wherein the playback device selects content according to the combination information from the content indicated by the selection target content information, requests the server to transmit the selected content, and sends the request Accordingly, the content transmitted from the server is reproduced in a selected combination.
  • the playback device uses the data structure to select the selection target. Selecting content from the content indicated by the content information according to the combination information, requesting the server to transmit the selected content, and reproducing the content transmitted from the server in response to the request in the selected combination it can.
  • the playback device can easily select the content with an appropriate combination without determining whether the combination of the contents is appropriate.
  • the combination of contents indicated by the combination information may be a combination of different types of contents.
  • contents can be provided by combining different contents.
  • different types of content refer to content having different data output formats, such as video content, audio content, and character content.
  • the content to be combined may be two types, or three or more types.
  • the content and the combination information are associated with each other, and at least one of the combination information included in the selection target content information indicates content that must be reproduced at the same time. It is preferable selection information, and when the selection information is associated with the selected content, it is preferable that the playback device also selects the content indicated by the selection required information.
  • the playback device when the selection-required information is associated with the selected content, the playback device also selects the content indicated by the selection-required information. That is, the content associated with the selection-required information is not selected alone but is selected in combination with the content indicated by the selection-required information.
  • the content and the combination information are associated with each other, and at least one of the combination information included in the selection target content information indicates content that can be reproduced simultaneously. If the selectable information is associated with the selected content, the playback apparatus preferably uses the content indicated by the selectable information as a selection candidate.
  • the playback device when the selectable information is associated with the selected content, the playback device sets the content indicated by the selectable information as a candidate for selection. That is, the content associated with the selectable information can be selected alone or in combination with the content indicated by the selectable information.
  • the content can be selected by itself or can be selected in combination with other content, and the content can be selected by associating the content with the playback device. In the case of reproducing in combination while allowing reproduction, reproduction combined with appropriate content can be performed.
  • the contents are classified into a plurality of groups, and contents belonging to different groups can be reproduced simultaneously.
  • the selection target content information includes group attribute information indicating a group to which each content belongs, It is preferable that the playback device refers to the group attribute information and selects a combination of contents belonging to different groups from the combinations indicated by the combination information.
  • the playback device refers to the group attribute information and selects a combination of contents belonging to different groups from the combinations indicated by the combination information.
  • the playback device and the generation device may be realized by a computer.
  • the playback device and the generation device are operated by causing the computer to operate as each unit of the playback device and the generation device.
  • a control program realized by a computer and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention can be used in a playback device that plays back content acquired via a network.
  • Client (playback device) 2 Server (Generator) 12 Client communication department (communication department) 13 Content selection section (selection means) 14 Request execution part (request means) 15 Content playback unit (playback means) 23 Description information transmission unit (combination determination means, generation means) 25 Content 26 Description information (selection target content information)

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 クライアント(1)は、MPDに含まれる、同時に再生するコンテンツの組合せを示すコンビネーションのアトリビュートに従ってコンテンツを選択するコンテンツ選択部(13)と、選択されたコンテンツの送信をサーバ(2)に要求するリクエスト実行部(14)と、要求されたリクエストに応じてサーバ(2)から送信されたコンテンツを、選択された組合せで再生するコンテンツ再生部(15)とを備えている。

Description

再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体
 本発明は、通信ネットワークを介して取得したコンテンツを再生する再生装置等に関し、より詳細にはコンテンツに関する情報を含む記述情報を参照して、取得するコンテンツを決定する再生装置等に関する。
 従来から、通信ネットワークを介してコンテンツの提供を行う技術が広く用いられている。例えば、下記の特許文献1には、クライアントからサーバにHTTPでコンテンツのリクエストを送信し、クライアントがこのリクエストに対する応答として受信したコンテンツをストリーミング再生するコンテンツストリーミングサービスシステムが開示されている。
 このようなシステムの1つとして、3GPPのAHS(Adaptive HTTP Streaming)があげられる。3GPPのAHSでは、MPD(Media Presentation Description)と呼ばれる記述情報(メタデータ)を用いることが知られている。MPDには、コンテンツ(メディア)の属性、再生順序などが記述されており、ストリーミングサービスの事前あるいはサービス途中に、クライアントへと送付される。そして、クライアントは、受信したMPDを参照して、サーバにリクエストするコンテンツを決定する。
 ここで、MPDを用いてコンテンツを選択し、選択したコンテンツを再生する処理を図24に基づいて説明する。図24は、MPDを用いてコンテンツを選択し、選択したコンテンツを再生する従来技術を示す図であり、同図の(a)はクライアント-サーバ間で送受信されるデータの流れを示し、同図の(b)はMPDのデータ例を示し、同図の(c)はリクエストのデータ例を示し、同図の(d)はコンテンツのデータ例を示している。
 同図の(a)に示すように、クライアントとサーバは、ネットワークを介して通信する構成となっている。そして、サーバは、クライアントにMPD(1)を送信する。なお、ここでは、HTTPにてMPDを送信することを想定しているが、MPDの送信態様は特に限定されない。
 このMPDは、時間の区間を示すピリオド(Period)と、その区間に再生されるコンテンツの情報を示すリプリゼンテーション(Representation)とで記述される。MPDは、例えば同図の(b)に示すようなデータであってもよい。
 同図の(b)のMPDには、<Period start=”PT0S”>で始まり、</Period>で終わるピリオド(のエレメント)が含まれている。そして、この次に<Period start=”PT10S”>で始まり、</Period>で終わるピリオドが含まれている。
 また、<Period start=”PT0S”>で始まるピリオドには、<Representation ~>で始まり、</Representation>で終わるリプリゼンテーション(のエレメント)が3つ含まれている。このように、1つのピリオド中に含まれる複数のリプリゼンテーションは、コンテンツの選択肢を示す。言い換えれば、同一ピリオドに含まれる複数のリプリゼンテーションは、その何れかを選択して再生可能であることを示している。
 また、各リプリゼンテーション(のエレメント)は、そのリプリゼンテーションに対応するコンテンツの属性を示すアトリビュート(Attribute)を含むことができる。リプリゼーションが持つことのできるアトリビュートには、コーデック、ビットレート、フレームレート、解像度等のコンテンツに関する情報(特にコンテンツの再生に関する情報)を含めることができる。クライアントは、これらのアトリビュートの値を参照して、リプリゼンテーションを選択する。
 例えば、同じ映像コンテンツについて、コーデック、ビットレート、フレームレート、解像度等が異なる複数のリプリゼンテーションが記述されている場合には、クライアントは、自機の再生可能なコーデック、ビットレート、フレームレート、解像度等に応じたリプリゼンテーションを選択する。
 なお、図示の例では、アトリビュートとして、再生可能なデータ形式を示すMIMEタイプ(mimeType)、そのリプリゼンテーションの識別子(id)、及びビットレート(図ではバンド幅:bandwidth)が記述されているが、アトリビュートはこの例に限られない。
 ここで、リプリゼンテーションを選択したクライアントは、同図の(a)に示すように、選択したリプリゼンテーションに対応するコンテンツを要求するリクエスト(2)をサーバに送信する。
 このリクエストは、同図の(c)のようなデータであってもよい。同図の(c)の例では、コンテンツを取得するためのGETメソッドを用いて、「seg256.3gp」のコンテンツを要求する例を示している。つまり、同図の(c)では、同図の(b)の上から2番目のid=”2”で示されるリプリゼンテーションを選択した場合のリクエストのデータ例を示している。また、同図の(b)のMPDから、”video/3gp”のコンテンツを取得可能であることを特定できるため、同図の(c)の例では、自機がこのコンテンツを再生可能であることをAcceptヘッダで示している。
 そして、このようなリクエストを受信したサーバは、同図の(a)に示すように、リクエストされたコンテンツ(3)をクライアントに送信する。
 このコンテンツは、例えば同図の(d)のようなレスポンスメッセージ形式で送信されてもよい。同図の(d)の例では、リクエストを正常に受け付けたことを示すステータスコード(200 OK)と、コンテンツの種類を示すヘッダ行(Content-Type:~)と、リクエストされたコンテンツのデータ実体(seg256.3gpのバイナリデータ)とを含んでいる。
 また、MPDのリプリゼンテーションには、グループ(group)というアトリビュートを記述することができる。グループに設定された値が異なる場合、異なるコンポーネントであることを示す。同じグループのリプリゼンテーションは同時に再生することができないが、異なるグループのリプリゼンテーションは同時に再生することができる。
 これについて、図25に基づいて説明する。図25は、従来技術を示す図であり、グループのアトリビュートを含むMPDのデータ例を示す図である。この例では、”PT0S”から開始するピリオドに、id=1~5の5つのリプリゼンテーションが含まれている。
 この5つのリプリゼンテーションのうち、id=1~3のリプリゼンテーションはグループが”1”となっており、残る2つのリプリゼンテーションはグループが”2”となっている。この場合、同一のグループに属するid=1~3のリプリゼンテーションは同時に再生できず、また、id=4,5のリプリゼンテーションも同時に再生することはできない。しかしながら、グループが”1”のリプリゼンテーションと、グループが”2”のリプリゼンテーションとは同時に再生することができる。例えば、id=1のリプリゼンテーションは、id=4または5のリプリゼンテーションと同時に再生することができる。
日本国公開特許公報「特開2005-110244号公報(2005年4月21日公開)」
 しかしながら、リプリゼンテーションはどのような組合せで選択してもよいとは限らない。このため、上述のような従来技術では、クライアントは、複数のリプリゼンテーションの中から、リプリゼンテーションの組合せを適切に選択しなければならず、リプリゼンテーションの選択に関する処理の負担が大きいという問題がある。なお、リプリゼンテーションは、コンテンツを示すものであるから、リプリゼンテーションの選択は、コンテンツの選択と読み替えることができる。
 例えば、クライアントは、1つのコンテンツを選択し、このコンテンツと他のコンテンツとを同時に再生しようとしたときには、まず、取得可能なコンテンツのそれぞれについて、選択したコンテンツとの組合せが可能であるかを確認する必要がある。このとき、選択可能であるか否かはコンテンツの種別や組合せによっても条件が変わり得る。そして、組合せが可能であることが確認された全コンテンツの中から、組み合わせるコンテンツを、そのコンテンツの属性情報(アトリビュート)を参照する等して選択する必要がある。このため、クライアントの行う処理は、増大し、複雑化してしまう。また、コンテンツの製作者の意図しない組合せでコンテンツが再生される可能性もあった。
 本発明は、上記の問題点に鑑みてなされたものであり、その目的は、同時に再生するコンテンツを容易に選択する再生装置等を提供することにある。
 上記の課題を解決するために、本発明の再生装置は、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツの送信を上記サーバに要求する要求手段と、上記要求手段の要求に応じて上記サーバから送信されたコンテンツを、上記選択手段が選択した組合せで再生する再生手段とを備えていることを特徴としている。
 また、本発明の再生装置の制御方法は、上記の課題を解決するために、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置の制御方法であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択ステップと、上記選択ステップで選択したコンテンツの送信を上記サーバに要求する要求ステップと、上記要求ステップにおける要求に応じて上記サーバから送信されたコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップとを含むことを特徴としている。
 上記の構成によれば、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報には、同時に再生するコンテンツの組合せを示す組合せ情報が含まれている。そして、この組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を要求し、要求に応じて送信されたコンテンツを、選択した上記組合せで再生する。
 したがって、上記の構成によれば、組合せ情報が示す組合せで、コンテンツを同時に再生することができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
 また、本発明の生成装置は、上記の課題を解決するために、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段とを備えていることを特徴としている。
 そして、本発明の生成装置の制御方法は、上記の課題を解決するために、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置の制御方法であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップとを含むことを特徴としている。
 上記の構成によれば、コンテンツの組合せ条件を示す組合せ条件情報を参照して、同時に再生するコンテンツの組合せを決定し、決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する。
 したがって、再生装置は、このようにして生成された選択対象コンテンツ情報を取得することによって、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
 これにより、再生装置に、組合せ条件を満たす組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、組合せ条件を満たす組合せでコンテンツを容易に選択することができる。
 また、本発明の記録媒体は、上記の課題を解決するために、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を記録したコンピュータ読み取り可能な記録媒体であって、上記選択対象コンテンツ情報は、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含むことを特徴としている。
 この記録媒体から選択対称コンテンツ情報を読み出した再生装置は、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
 これにより、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
 また、本発明のデータ構造は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報のデータ構造であって、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、上記再生装置が、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することを特徴としている。
 上記のデータ構造は、サーバに要求可能なコンテンツを示す情報と、同時に再生するコンテンツの組合せを示す組合せ情報とを含んでいるため、再生装置は、このデータ構造を利用することにより、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することができる。
 したがって、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
 以上のように、本発明の再生装置は、選択対象コンテンツ情報に含まれる、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツの送信を上記サーバに要求する要求手段と、上記要求手段の要求に応じて上記サーバから送信されたコンテンツを、上記選択手段が選択した組合せで再生する再生手段とを備えている構成である。
 また、本発明の再生装置の制御方法は、以上のように、選択対象コンテンツ情報に含まれる、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択ステップと、上記選択ステップで選択したコンテンツの送信を上記サーバに要求する要求ステップと、上記要求ステップにおける要求に応じて上記サーバから送信されたコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップとを含む構成である。
 また、本発明の生成装置は、以上のように、コンテンツの組合せ条件を示す組合せ条件情報を参照して、サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段とを備えている構成である。
 そして、本発明の生成装置の制御方法は、以上のように、コンテンツの組合せ条件を示す組合せ条件情報を参照して、サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップとを含む構成である。
 また、本発明の記録媒体は、以上のように、選択対象コンテンツ情報は、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含む構成である。
 また、本発明のデータ構造は、以上のように、サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、上記再生装置が、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生する構成である。
 上記の構成によれば、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報には、同時に再生するコンテンツの組合せを示す組合せ情報が含まれている。そして、再生装置は、この組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を要求し、要求に応じて送信されたコンテンツを、選択した上記組合せで再生する。
 したがって、再生装置に、各コンテンツの組合せの適否を判断させることなく、適切な組合せでコンテンツを容易に選択させることができるという効果を奏する。
本発明の一実施形態にかかるコンテンツ送受信システムに含まれるクライアントとサーバの要部構成を示すブロック図である。 組合せ情報の種類及び具体例を示す図であり、同図の(a)は組合せの候補を示す組合せ情報とその具体例を示し、同図の(b)~(d)は組合せの対象を特定する組合せ情報とその具体例を示している。 2つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの一例を示す図である。 3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの一例を示す図である。 3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの他の例を示す図である。 組合せ対象をグループ単位で指定するMPDの一例を示す図である。 組合せ対象をグループの識別情報で指定するMPDの一例を示す図である。 2つのリプリゼンテーションを組み合わせるcombination_requiredとcombination_optionalとを含むMPDの一例を示す図である。 3つのリプリゼンテーションを組み合わせるcombination_requiredとcombination_optionalとを含むMPDの一例を示す図である。 combination_requiredとcombination_optionalとを含み、組合せ対象または組合せ候補をグループ単位で指定するMPDの一例を示す図である。 combination_requiredとcombination_optionalとを含み、組合せ対象または組合せ候補をグループの識別情報で指定するMPDの一例を示す図である。 多視点映像符号化されたコンテンツに好適なMPDの一例を示す図である。 combination_all_requiredを含むMPDの一例を示す図である。 組合せ情報としてcombination_optionalのみを含むMPDの一例を説明する図であり、同図の(a)はMPDの例を示し、同図の(b)(c)は該MPDに基づく画面の表示例を示す。 クライアント及びサーバが実行する処理の一例を示すフローチャートである。 グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの一例を示す図である。 グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの他の例を示す図である。 グループ3のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの例を示す図である。 グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの例を示す図である。 グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの他の例を示す図である。 一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に、クライアントが実行する処理の一例を示すフローチャートである。 リプリゼンテーションの組合せをエレメントで記述したMPDの一例を示す図である。 リプリゼンテーションの組合せを記述するエレメントのスキーマの一例を示す図である。 MPDを用いてコンテンツを選択し、選択したコンテンツを再生する従来技術を示す図であり、同図の(a)はクライアント-サーバ間で送受信されるデータの流れを示し、同図の(b)はMPDのデータ例を示し、同図の(c)はリクエストのデータ例を示し、同図(d)はコンテンツのデータ例を示している。 従来技術を示す図であり、グループのアトリビュートを含むMPDのデータ例を示す図である。 リプリゼンテーションの組合せをエレメントで記述したMPDの他の例を示す図である。 リプリゼンテーションの組合せを記述するエレメントのスキーマの他の例を示す図である。 グループに対してコンビネーションアトリビュートを付加したMPDの一例を示す図である。 組合せidによって組合せ対象を特定する例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図の(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。 組合せidによって組合せ対象を特定する他の例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。
 〔実施の形態1〕
 以下、本発明の一実施形態について、図1~図15に基づいて詳細に説明する。
 〔システムの概要〕
 まず、本実施形態のコンテンツ送受信システムの概要を図1に基づいて説明する。図1は、本発明の一実施形態を示すものであり、コンテンツ送受信システム3に含まれるクライアント(再生装置)1とサーバ(生成装置)2の要部構成を示すブロック図である。
 図示のように、クライアント1は、クライアント1の動作を統括して制御するクライアント制御部10と、クライアント1で使用されるデータを記憶するクライアント記憶部11と、クライアント1が外部の装置とネットワークを介して通信するためのクライアント通信部(通信部)12とを備えている。また、クライアント制御部10には、コンテンツ選択部(選択手段)13と、リクエスト実行部(要求手段)14と、コンテンツ再生部(再生手段)15とが含まれている。
 コンテンツ選択部13は、サーバ2に要求可能なコンテンツを示す情報を含むコンテンツの記述情報(メタデータ)を取得し、取得した記述情報に従って、サーバ2にリクエストするコンテンツを選択する。具体的には、コンテンツ選択部13は、サーバ2から記述情報としてMPD(選択対象コンテンツ情報)を受信し、MPDに記述された各リプリゼンテーションの属性情報(アトリビュート)を参照することによって、サーバ2にリクエストするコンテンツを選択する。
 詳細については後述するが、本実施形態におけるMPDには、コンテンツの組合せを指定する組合せ情報が含まれている。コンテンツ選択部13は、この組合せ情報を参照することによって、適切な組合せのコンテンツを容易に選択することができる。
 リクエスト実行部14は、コンテンツ選択部13が選択したコンテンツを要求するリクエストをサーバ2に送信し、これによりコンテンツを取得する。なお、ここでは、リクエスト実行部14が、HTTPでリクエストを送信する例について説明する。したがって、リクエスト実行部14は、図24の(c)に示したような形式のリクエストを生成して送信する。
 コンテンツ再生部15は、リクエスト実行部14のリクエストによって受信されたコンテンツを、コンテンツ選択部13が選択した組合せで再生する。なお、再生したコンテンツは、クライアント1が備えるディスプレイやスピーカ等から出力してもよいし、クライアント1に有線または無線接続されているディスプレイやスピーカ等から出力してもよい。
 一方、サーバ2は、サーバ2の動作を統括して制御するサーバ制御部20、サーバ2で使用されるデータを記憶するサーバ記憶部21、及びサーバ2が外部の装置とネットワークを介して通信するためのサーバ通信部22とを備えている。また、サーバ制御部20には、記述情報送信部23とレスポンス実行部24とが含まれており、サーバ記憶部21にはコンテンツ25と記述情報(選択対象コンテンツ情報)26とが格納されている。
 記述情報送信部(組合せ決定手段、生成手段)23は、記述情報をクライアント1に送信する。具体的には、記述情報送信部23は、サーバ記憶部21に格納されている記述情報26を読み出して、サーバ通信部22を介してクライアント1に送信する。上述のように、ここでは記述情報としてMPDを用いる。
 レスポンス実行部24は、クライアント1から受信したリクエストに応じたコンテンツをクライアント1に送信する。具体的には、レスポンス実行部24は、リクエストを受信したときに、サーバ記憶部21に格納されているコンテンツ25を読み出して、サーバ通信部22を介してクライアント1に送信する。
 コンテンツ25は、クライアント1からのリクエストの対象となるデータであり、例えばビデオデータ、オーディオデータ、文字データ等である。
 記述情報26は、サーバ2からクライアント1に提供可能なコンテンツ(ここでは、サーバ記憶部21に格納されているコンテンツ25)に関する情報である。具体的には、記述情報26は、選択候補となるコンテンツのリプリゼンテーションがピリオド毎に記述され、各リプリゼンテーションには、そのリプリゼンテーションのアトリビュート(コーデック、ビットレート、フレームレート、解像度等)が記述されたMPDである。
 なお、コンテンツ25及び記述情報26の何れかまたは両方は、サーバ2に着脱可能な外部の記録媒体に記録されていてもよいし、サーバ2がアクセス可能な外部の装置に記憶されていてもよい。すなわち、コンテンツ25及び記述情報26は、サーバ2が取得可能な状態で格納されていればよく、格納先は特に限定されない。
 また、サーバ2もしくは上述した外部の装置は、コンテンツを符号化するコンテンツ符号化部、及び記述情報26を生成する記述情報生成部を備えていてもよく、これらの構成により、コンテンツ25及び記述情報26の少なくとも一方がリアルタイムで生成されてもよい。リアルタイムで生成されるコンテンツ25の配信は、いわゆるライブ配信にあたる。
 また、コンテンツ送受信システムが複数のサーバ2によって構成され、コンテンツ25、記述情報26のそれぞれが異なるサーバ2から提供される構成であっても構わない。
 〔組合せ情報〕
 ここでは、上述の組合せ情報の詳細を図2に基づいて説明する。図2は、組合せ情報の種類及び具体例を示す図であり、同図の(a)は組合せの候補を示す組合せ情報とその具体例を示し、同図の(b)~(d)は組合せの対象を特定する組合せ情報とその具体例を示している。
 同図の(a)は、combination_optionalというアトリビュート(選択可能情報)の例を示している。このアトリビュートでは、combination_optional=”(組合せ候補のリプリゼンテーション)”の形式で、組合せ候補を示す。なお、組合せ候補は、1つであってもよいし、複数であってもよい。複数の場合には、各リプリゼンテーションを特定する情報を複数並べて記載する。つまり、図示の例では、このアトリビュートを、複数のリプリゼンテーションのリストを記述できるベクトル型(VectorType)で表記している。
 例えば、図示の例では、id=1のリプリゼンテーション(以下、♯1のリプリゼンテーションと記載する。また、他のリプリゼンテーションについても同様に記載する。)には、combination_optional=”4 5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの少なくとも1つと組み合わせて再生する(同時に再生する)ことが可能である(この組合せで再生することが推奨される)ことを示している。なお、ここではリプリゼンテーションを特定する情報としてidを用いているが、リプリゼンテーションを特定できる情報であればidに限られず適用可能である。
 したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1のみ、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の9通りの再生が可能であることになる。
 なお、不可能な組合せ(同じグループに属するリプリゼンテーション間の組合せ)は除外される。例えば、図示の例では、♯4、♯5のリプリゼンテーションが同じグループ2(group=”2”のグループ。以降、これをグループ2と表記する。他のグループについても以降同様に表記する。)に属しているので、♯1のリプリゼンテーションにcombination_optional=”4 5 7 8”と記述されていたとしても、♯4、♯5のリプリゼンテーションの両方を♯1のリプリゼンテーションに組み合わせることはない。
 また、同図の(b)は、combination_requiredというアトリビュート(選択必須情報)の例を示している。このアトリビュートでは、combination_required=”(組合せ対象のリプリゼンテーション)”の形式で、組合せ対象を特定する。なお、組合せ対象は、1つであってもよいし、複数であってもよい。複数の場合には、複数のリプリゼンテーションを並べて記載する。つまり、このアトリビュートも、複数のリプリゼンテーションのリストを記述できるベクトル型で表記される。また、組合せ対象が複数である場合には、複数の組合せ対象から少なくとも1つを選択する。つまり、combination_requiredは、組合せ対象の選択が必須である点で、combination_optionalと異なっている。
 例えば、図示の例では、♯1のリプリゼンテーションには、combination_required=”4 5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの少なくとも1つと組み合わせて再生する(同時に再生する)ことが必須であることを示している。
 したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の8通りの再生が可能であることになる。
 さらに、同図の(c)は、combination_all_requiredというアトリビュート(選択必須情報)の例を示している。このアトリビュートでは、combination_all_required=”(組合せ対象のリプリゼンテーション)”の形式で、組合せ対象を特定する。
 combination_all_requiredで指定する組合せ対象は、基本的に複数であり、組合せ対象のリプリゼンテーションを並べて記載する。つまり、このアトリビュートも、複数のリプリゼンテーションのリストを記述できるベクトル型で表記される。combination_all_requiredは、指定された組合せ対象の全ての選択を必須とするアトリビュートである。つまり、combination_all_requiredは、組合せ対象の全選択が必須である点で、combination_requiredと異なっている。
 例えば、図示の例では、♯1のリプリゼンテーションには、combination_all_required=”4 5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの全てと組合せて再生する(同時に再生する)ことが必須であることを示している。ただし、同じグループに属するリプリゼンテーション間の組合せは不可であるため、♯4と♯5、♯7と♯8の組合せは除外される。
 したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の4通りの再生が可能であることになる。
 また、同図の(d)は、combination_one_requiredというアトリビュート(選択必須情報)の例を示している。このアトリビュートでも、combination_one_required=”(組合せ対象のリプリゼンテーション)”の形式で、組合せ対象を特定する。
 combination_one_requiredで指定する組合せ対象は複数であり、組合せ対象のリプリゼンテーションを並べて記載する。つまり、このアトリビュートも、複数のリプリゼンテーションのリストを記述できるベクトル型で表記される。そして、combination_one_requiredのアトリビュートを含むリプリゼンテーションについては、該アトリビュートに記載された複数のリプリゼンテーションのうち1つを必ず選択する。
 例えば、図示の例では、♯1のリプリゼンテーションには、combination_one_required=”4 5 7 8”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、♯7、♯8のリプリゼンテーションの何れか1つと組み合わせて再生する(同時に再生する)ことが必須であることを示している。
 したがって、この例では、♯1のリプリゼンテーションとの組合せとして、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8の4通りの再生が可能であることになる。なお、組み合わせるリプリゼンテーションの数を2以上に限定することも可能である。例えば、2つのリプリゼンテーションの選択を必須とするcombination_two_requiredのようなアトリビュートを定義してもよい。
 ここで説明した組合せ情報にあたるcombination_xxxで表記されるアトリビュートを、これ以降、コンビネーションのアトリビュートもしくはコンビネーションアトリビュートと呼ぶ。以上のようなコンビネーションのアトリビュートを用いることによって、コンテンツの組合せ方を指定することができる。例えば、グループ2、3のリプリゼンテーションが、共にグループ1のリプリゼンテーションと同時に再生することが可能な場合に、グループ1のリプリゼンテーションと、グループ2または3の少なくとも何れかとを同時に再生させたいときには、グループ1のリプリゼンテーションにcombination_requiredのアトリビュートを記述して、グループ2、3のリプリゼンテーションを組合せ対象とすればよい。
 また、例えば、グループ1~3のリプリゼンテーションを同時に再生させたいときには、グループ1のリプリゼンテーションにcombination_all_requiredのアトリビュートを記述して、グループ2、3のリプリゼンテーションを組合せ対象とすればよい。
 以下では、以上のようなコンビネーションのアトリビュートを含むMPDについて、具体例を挙げて説明する。無論、コンビネーションのアトリビュートを含むMPDは、以下で説明する例に限られない。
 なお、1対1で密に結びついたリプリゼンテーションであれば、多重化して1つのリプリゼンテーションとして取り扱えばよい。本発明は、コンテンツの組合せに選択の余地を残すので、1対多、多対1、多対多で緩やかに結びついたリプリゼンテーションの関係を記述する場合に好適である。
 〔combination_requiredのアトリビュートを含むMPDの例〕
 まず、combination_requiredのアトリビュートを含むMPDの例を図3に基づいて説明する。図3は、combination_requiredのアトリビュートを含むMPDの一例を示す図である。
 図示の例では、♯1~♯3のリプリゼンテーションがグループ1に属し、♯4~♯6のリプリゼンテーションがグループ2に属している。そして、♯1のリプリゼンテーションは、combination_requiredによって組合せ対象が♯4、♯5のリプリゼンテーションに指定されている。同様に、♯2は♯5、♯6に、♯3は♯6に、♯4は♯1に、♯5は♯1、♯2に、そして♯6は♯2、♯3に組合せ対象が指定されている。
 このようなMPDは、例えば、グループ1が(オーディオを含まない)ビデオコンテンツであり、グループ2がオーディオコンテンツである場合に、ビデオコンテンツの解像度(画質)に応じた適切な再生品質のオーディオコンテンツを選択させるために適用することができる。
 なお、コンビネーションのアトリビュートによって組み合わされるコンテンツは、ビデオコンテンツとオーディオコンテンツのように、種類が異なっていてもよいし、種類が同じ(ビデオ同士、オーディオ同士、文字同士の組合せ等)であってもよい。ここでは、出力方式の異なるコンテンツを種類の異なるコンテンツとする。例えば、ビデオは、動画像として出力され、オーディオは音響や音声として出力され、文字は静止画像として出力されるので、これらのコンテンツは種類が異なるものとする。無論、コンテンツの種類は、これらの例に限定されない。また、再生品質は、例えば解像度、画像サイズ、ビットレート等のように、コンテンツを再生するときの質(クオリティ)を示すものである。
 ここで、例えば、図示の♯1~♯3のリプリゼンテーションがビデオコンテンツに対応し、♯4~♯6のリプリゼンテーションがオーディオコンテンツに対応しており、idの小さいものほど解像度が高い並びに再生品質が高い場合を考える。
 このような場合、このMPDを参照したクライアント1は、まず、自機の再生能力等に応じたリプリゼンテーションを選択すればよい。なお、何れのリプリゼンテーションを選択するかは、各リプリゼンテーションに付された他のアトリビュートを参照して決定すればよい。例えば、アトリビュートにコンテンツの表示幅、表示高さ(width、height)が含まれている場合には、これらを参照することによってHD(High Definition)のビデオコンテンツに対応するリプリゼンテーションを特定することもできる。
 次に、クライアント1は、選択したリプリゼンテーションに含まれるコンビネーションのアトリビュート(ここでは、combination_required)を参照することによって、そのリプリゼンテーションと組み合わせるべき適切なリプリゼンテーションを特定する。そして、選択したリプリゼンテーション、特定したリプリゼンテーションをサーバ2にリクエストする。最後に、リクエストに応じて送信されるコンテンツを再生する。
 ここで、図示の例では、最も解像度の高いビデオコンテンツ♯1のリプリゼンテーションのcombination_requiredでは、最も再生品質の高いオーディオコンテンツ♯4と、中程度の再生品質のオーディオコンテンツ♯5が組合せ対象として特定されている。つまり、最も解像度の高いビデオコンテンツ♯1については、再生品質が最も低いオーディオコンテンツ♯6との組合せが除外されている。
 また、最も解像度の低いビデオコンテンツ♯3であるリプリゼンテーションのcombination_requiredでは、再生品質の最も低いオーディオコンテンツ♯6のみが組合せ対象として特定されている。つまり、最も解像度の低いビデオコンテンツ♯3については、再生品質が最も高いオーディオコンテンツ♯4、中程度の再生品質のオーディオコンテンツ#5との組合せがともに除外されている。
 これにより、高解像度の画像と低再生品質の音声の組合せや、低解像度の画像と高再生品質の音声の組合せのようなアンバランスなコンテンツ再生が行われることを防ぎ、画像の再生品質に応じた再生品質の音声でコンテンツ再生が行われることを保証することができる。これは、リビングのテレビ(高解像度、高音声品質)とモバイル端末(低解像度、低音声品質)といった、再生装置の性能の違いによる再生コンテンツ選択の条件付けとも整合している。
 そして、クライアント1は、コンビネーションのアトリビュートを参照することによって、このような適切な組合せを特定することができる。よって、MPDに含まれる各リプリゼンテーションの組合せが適切か否かを判断する必要がなく、容易かつ迅速にコンテンツを選択することができる。また、組合せの選択の際も、コンビネーションのアトリビュートによって、組合せの選択肢が絞り込まれるので、容易かつ迅速な選択が可能になる。
 これに対し、コンビネーションのアトリビュートを含まない従来のMPDを用いてリプリゼンテーションを選択する場合、何れのリプリゼンテーションとの組合せが適切であるか否かを、各リプリゼンテーションのそれぞれについてクライアント1が判断する必要があった。このため、クライアント1においてリプリゼンテーションを選択する処理が煩雑であり、またコンテンツ提供者が意図していない組合せでリプリゼンテーションが選択されるおそれがあったが、本発明のコンビネーションのアトリビュートを含むMPDを用いることによって、このような問題は解決される。
 〔3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの例1〕
 続いて、3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの例を図4に基づいて説明する。図4は、3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの一例を示す図である。
 なお、3つ以上のリプリゼンテーションを組み合わせる場合とは、3つ以上のグループが存在する場合に生じ得る。例えば、ビデオコンテンツのグループと、ビデオコンテンツと同時に再生するオーディオコンテンツのグループと、ビデオコンテンツ及びオーディオコンテンツの何れかまたは両方と同時に再生(表示)する文字情報コンテンツ(文字放送など)のグループとが存在するような場合には、3つ以上のリプリゼンテーションの組合せが生じる。なお、ここでは3つのリプリゼンテーションを組み合わせる例について説明するが、同様にして4つ以上のリプリゼンテーションを組み合わせることも可能である。
 図示の例では、♯1~♯3のリプリゼンテーションがグループ1に属し、♯4~♯6のリプリゼンテーションがグループ2に属し、♯7~♯9のリプリゼンテーションがグループ3に属している。そして、♯1のリプリゼンテーションは、combination_requiredによって組合せ対象が♯4、♯5、♯7、♯8に指定されている。同様に、♯2は♯5、♯6、♯8、♯9に、♯3は♯6、♯9に、♯4は♯1に、♯5は♯1、♯2に、♯6は♯2、♯3に、♯7は♯1に、♯8は♯1、♯2に、♯9は♯2、♯3に組合せ対象が指定されている。
 このようなMPDは、例えば、グループ1がビデオコンテンツであり、グループ2がオーディオコンテンツであり、グループ3が文字情報コンテンツである場合に適用することができる。
 ここで、上述のように、combination_requiredは、組合せ対象のリプリゼンテーションのうち、少なくとも1つを必ず選択することを指定するアトリビュートである。また、同一のグループ内に含まれるリプリゼンテーションは組合せの対象から外される。
 したがって、♯1のリプリゼンテーション(グループ1)のcombination_required=”4 5 7 8”は、♯1のリプリゼンテーションを、♯4または♯5のリプリゼンテーション(グループ2)と、♯7または♯8のリプリゼンテーション(グループ3)との何れかまたは両方と組み合わせることを示す。
 具体的には、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の8通りの組合せの何れかで再生することになる。
 〔3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの例2〕
 続いて、3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの他の例を図5に基づいて説明する。図5は、3つのリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの他の例を示す図である。
 図示の例では、図4の例と同様に、♯1~♯3のリプリゼンテーションがグループ1に属し、♯4~♯6のリプリゼンテーションがグループ2に属し、♯7~♯9のリプリゼンテーションがグループ3に属している。
 ここで、図5の♯1、♯2のリプリゼンテーションには、2つのcombination_requiredが記述されている。具体的には、♯1のリプリゼンテーションには、組合せ対象を♯4、♯5とするcombination_requiredと、組合せ対象を♯7、♯8とするcombination_requiredとが記述されている。また、♯2のリプリゼンテーションには、組合せ対象を♯5、♯6とするcombination_requiredと、組合せ対象を♯8、♯9とするcombination_requiredとが記述されている。
 combination_requiredは、組合せ対象から少なくとも1つの選択を必須とするアトリビュートであるから、図5の例のように、複数のcombination_requiredを用いた場合、各combination_requiredの組合せ対象から少なくとも1つを選択することが必須となる。
 したがって、図5の♯1のリプリゼンテーションを選択した場合には、♯4、♯5の何れかを選択し、かつ♯7、♯8の何れかを選択することが必須となる。また、♯2のリプリゼンテーションを選択した場合には、♯5、♯6の何れかを選択し、かつ♯8、♯9の何れかを選択することが必須となる。
 すなわち、図5のMPDを取得し、♯1のリプリゼンテーションを選択したクライアント1は、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、♯1+♯5+♯8の4通りの組合せの何れかで再生することになる。
 なお、combination_all_requiredを用いて同様の組合せを指定することもできる。すなわち、図5の例において、♯1のアトリビュートに2つのcombination_requiredを記述する代わりに、combination_all_required=”4 5 7 8”を記述し、♯2のアトリビュートに2つのcombination_requiredを記述する代わりに、combination_all_required=”5 6 8 9”を記述した場合であっても、図5と同じ組合せによる再生が行われる。
 〔グループ単位での指定1〕
 上述の例では、組合せ対象をリプリゼンテーションのidで特定する例を示したが、組合せ対象を特定する方法はidに限られない。要は、クライアント1が組合せ対象を特定することができるように、MPDに組合せ対象が記述されていればよい。combination_optionalで指定する組合せ候補についても同様である。
 例えば、グループを指定することによって組合せ対象(候補)を特定することができるようにしてもよい。これについて、図6、図7に基づいて説明する。
 図6は、組合せ対象をグループ単位で指定するMPDの一例を示す図である。
 図示の例でも、図4、図5の例と同様に、♯1~♯3のリプリゼンテーションがグループ1に属し、♯4~♯6のリプリゼンテーションがグループ2に属し、♯7~♯9のリプリゼンテーションがグループ3に属している。
 ここで、図6の♯1のリプリゼンテーションのcombination_requiredでは、組合せ対象が”4 5 group#3”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、及びグループ3のリプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。この例では、グループ3に♯7~♯9のリプリゼンテーションが含まれているので、♯4、♯5、♯7~♯9の少なくとも1つとの組合せが必須ということになる。
 なお、同一グループからは1つのリプリゼンテーションのみ選択可能であるから、♯1のリプリゼンテーションを選択した場合、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯9、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯4+♯9、♯1+♯5+♯7、♯1+♯5+♯8、及び♯1+♯5+♯9の11通りの組合せの何れかで再生することになる。
 また、図6の♯9のリプリゼンテーションのcombination_requiredでは、組合せ対象が”group#1”と記述されている。これは、♯9のリプリゼンテーションは、グループ1のリプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。この例では、グループ1に♯1~♯3のリプリゼンテーションが属しているので、♯1~♯3の何れか1つとの組合せが必須ということになる。
 これにより、♯9のリプリゼンテーションを選択したときには、必ずグループ1のリプリゼンテーションが選択されることになる。このため、例えばグループ1がビデオコンテンツであり、グループ3が文字情報コンテンツであるような場合に、このMPDを適用することにより、ビデオコンテンツが再生されず、文字情報コンテンツのみが再生されることを防ぐことができる。
 〔グループ単位での指定2〕
 また、図6の例では、”group#n”といった文字列を使ってグループ単位で特定のグループを指定する例を示したが、各グループに識別情報(id)を割り当てて、その識別情報でリプリゼンテーションと同様にグループを指定してもよい。ここでは、図7に基づいて識別情報でグループを指定する例について説明する。図7は、組合せ対象をグループの識別情報で指定するMPDの一例を示す図である。なお、図7のMPDは、グループを指定する方式が変わっているだけで、このMPDで特定される組合せは、図6の例と同じである。
 図7の例は、新たにリプリゼンテーショングループ(RepresentationGroup)というエレメントを定義し、グループに含まれるリプリゼンテーション(Representation)を、リプリゼンテーショングループエレメントの内部エレメントとして記述した例である。そして、このリプリゼンテーショングループに対して、グループのidを示すアトリビュートを貼付する。つまり、図示の例で〈RepresentationGroup id=” ”〉から〈/RepresentationGroup〉までの間に記述されているリプリゼンテーションは、〈RepresentationGroup id=” ”〉に記述されているidのグループに属していることを示している。コンビネーションアトリビュートは、このidアトリビュートを使ってグループを特定する。
 すなわち、図示の例では、idがg1のグループと、g2のグループと、g3のグループとが規定されており、g1のグループには、♯1~♯3のリプリゼンテーションが属し、g2のグループには、♯4~♯6のリプリゼンテーションが属し、g3のグループには、♯7~♯9のリプリゼンテーションが属している。
 そして、♯1のリプリゼンテーションのcombination_requiredでは、組合せ対象が”4 5 g3”と記述されている。これは、♯1のリプリゼンテーションは、♯4、♯5、及びidがg3のグループのリプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。
 また、♯9のリプリゼンテーションのcombination_requiredでは、組合せ対象が”g1”と記述されている。これは、♯9のリプリゼンテーションは、idがg1のグループのリプリゼンテーションのうち、少なくとも1つとの組合せが必須であることを示している。
 〔combination_requiredとcombination_optionalの組合せの例1〕
 上述の例では、combination_requiredを用いたMPDについて説明した。MPDでは、combination_requiredとcombination_optionalとを組み合わせて用いることもできる。これについて図8に基づいて説明する。図8は、combination_requiredとcombination_optionalとを含むMPDの一例を示す図である。
 図示の例では、♯1~♯3のリプリゼンテーションがグループ1に属し、♯4~♯6のリプリゼンテーションがグループ2に属している。そして、♯1のリプリゼンテーションは、combination_optionalによって組合せ候補が♯4、♯5に指定されている。同様に、♯2は♯5、♯6に、♯3は♯6に組合せ候補が指定されている。
 一方、♯4のリプリゼンテーションは、combination_requiredによって組合せ対象が♯1に指定されている。同様に、♯5は♯1、♯2に、♯6は♯2、♯3に組合せ対象が指定されている。
 すなわち、図8のMPDでは、グループ1のリプリゼンテーションは、グループ2のリプリゼンテーションとの組合せが推奨されているが必須ではない。一方で、グループ2のリプリゼンテーションは、グループ1のリプリゼンテーションとの組合せが必須となっている。言い換えれば、グループ1のリプリゼンテーションは、単体での再生が許容されているが、グループ2のリプリゼンテーションは、単体での再生が許容されていない。
 このようなMPDは、例えば、グループ1がビデオコンテンツ(main video)であり、グループ2が製作者コメンタリPinP(Picture in Picture)等のサブビデオコンテンツ(sub/auxiliary video)である場合に好適に適用することができる。例えば、グループ1のビデオコンテンツの解像度と同じ解像度のサブビデオコンテンツを選択させることや、ビデオコンテンツの解像度と破綻なく表示可能な大きさのサブビデオコンテンツを選択させることもできる。
 また、このようなMPDは、例えばグループ1がビデオコンテンツ(main video)であり、グループ2がビデオコンテンツの字幕(timed-text)である場合にも好適に適用することができる。例えば、ビデオコンテンツの解像度に応じた適切な文字数(あるいはフォント)の字幕を選択させることもできる。
 ここで、図8の♯1~♯3のリプリゼンテーションがビデオコンテンツに対応し、♯4~♯6のリプリゼンテーションが字幕に対応しており、idの小さいものほど解像度(再生品質)が高い場合を考える。なお、字幕は、表示文字数が多く、フォントが高精細なものほど再生品質が高いものとする。具体的には、例えば、♯4は表示文字数が多く、かつ高精細フォントであり、♯5は表示文字数が♯4と同じで、かつ低精細フォントであり、♯6は♯4、♯5よりも表示文字数が少なく、かつ低精細フォントであるとする。
 このような場合、このMPDを参照したクライアント1は、まず、自機の再生能力等に応じたリプリゼンテーションを選択すればよい。なお、何れのリプリゼンテーションを選択するかは、各リプリゼンテーションに付された他のアトリビュートを参照して決定すればよい。
 次に、クライアント1は、選択したリプリゼンテーションに含まれるコンビネーションのアトリビュートを参照することによって、そのリプリゼンテーションと組み合わせることができる(または組合せが必須の)リプリゼンテーションを特定する。そして、クライアント1は、選択したリプリゼンテーション、特定したリプリゼンテーションをサーバ2にリクエストし、リクエストに応じて送信されるコンテンツを再生する。
 ここで、図示の例では、最も解像度の高いビデオ♯1のリプリゼンテーションのcombination_optionalでは、最も再生品質の高い字幕♯4と、中程度の再生品質の字幕♯5が組合せ対象として指定されている。つまり、最も解像度の高いビデオ♯1については、再生品質が最も低い字幕♯6との組合せが除外されている。
 また、最も解像度の低いビデオ♯3のリプリゼンテーションのcombination_optionalでは、再生品質の最も低い字幕♯6のみが組合せ対象として指定されている。つまり、最も解像度の低いビデオ♯3については、再生品質が最も高い字幕♯4、中程度の再生品質の字幕#5との組合せがともに除外されている。
 これにより、高解像度の画像と、低精細フォントの文字数が少ない字幕との組合せや、低解像度の画像と高精細フォントの文字数が多い字幕との組合せのようなアンバランスなコンテンツ再生が行われることを防ぎ、画像の再生品質に応じた再生品質の字幕でコンテンツ再生が行われることを保証することができる。これは、リビングのテレビ(高解像度、詳細な字幕表示可)とモバイル端末(低解像度、詳細な字幕表示不可)といった、再生装置の性能の違いによる再生コンテンツ選択の条件付けとも整合している。
 また、ビデオコンテンツに対応するグループ1のリプリゼンテーションにはcombination_optionalを使用しているので、字幕無しのコンテンツ再生も可能となる。さらに、字幕に対応するグループ2のリプリゼンテーションにはcombination_requiredで組合せ対象が指定されているので、グループ1のリプリゼンテーションを選択する前に、グループ2のリプリゼンテーションを選択した場合であっても、字幕のみが選択されて再生されることはない。つまり、図8のMPDを用いた場合、字幕のみが再生されることを防ぐことができる。
 〔3つ以上のリプリゼンテーションを組み合わせるコンビネーションアトリビュートを含むMPDの例3〕
 続いて、3つ以上のリプリゼンテーションを組み合わせるcombination_requiredとcombination_optionalとを含むMPDの例を図9に基づいて説明する。図9は、combination_requiredとcombination_optionalとを含み、3つのリプリゼンテーションを組合せるMPDの一例を示す図である。
 図9のMPDは、グループ1のリプリゼンテーションにおけるコンビネーションのアトリビュートがcombination_optionalとなっている点を除けば、図4の例と同様である。図9の例では、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっていることにより、グループ1のリプリゼンテーション単体での再生が可能となっている。
 すなわち、クライアント1は、図9のMPDから♯1のリプリゼンテーションを選択した場合、♯1、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯5+♯7、及び♯1+♯5+♯8の9通りの組合せの何れかで再生することになる。
 このようなMPDは、グループ1が単体で再生可能なコンテンツのリプリゼンテーションで構成されるグループであり、グループ2、3が、単体では再生しないが、グループ1のコンテンツと同時に再生することを想定したコンテンツのリプリゼンテーションで構成されるグループであるような場合に好適に適用できる。例えば、グループ1がオーディオを含むビデオコンテンツのリプリゼンテーションで構成され、グループ2が副音声のコンテンツのリプリゼンテーションで構成され、グループ3が字幕のコンテンツのリプリゼンテーションで構成されるような場合にも適用できる。
 〔グループ単位での指定3〕
 MPDがcombination_requiredとcombination_optionalとを含む場合であっても、組合せ対象(候補)をグループ単位で指定することが可能である。これについて、図10、図11に基づいて説明する。
 図10は、combination_requiredとcombination_optionalとを含み、組合せ対象または組合せ候補をグループ単位で指定するMPDの一例を示す図である。
 図10のMPDは、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっている点を除けば、図6の例と同様である。図10の例では、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっていることにより、グループ1のリプリゼンテーション単体での再生が可能となっている。
 このようなMPDは、図9の例と同様に、グループ1が単体で再生可能なコンテンツであり、グループ2、3が、単体では再生しないが、グループ1のコンテンツと同時に再生することを想定したコンテンツであるような場合に好適に適用できる。
 図10のMPDから♯1のリプリゼンテーションを選択した場合、クライアント1は、組合せの候補が、♯4、♯5、及びグループ3に含まれるリプリゼンテーション(♯7~♯9)であることを特定することができる。このため、クライアント1は、♯1、♯1+♯4、♯1+♯5、♯1+♯7、♯1+♯8、♯1+♯9、♯1+♯4+♯7、♯1+♯4+♯8、♯1+♯4+♯9、♯1+♯5+♯7、♯1+♯5+♯8、及び♯1+♯5+♯9の12通りの組合せの何れかで再生することになる。
 〔グループ単位での指定4〕
 MPDがcombination_requiredとcombination_optionalとを含む場合であっても、組合せ対象(候補)をグループの識別情報で指定することができる。ここでは、図11に基づいて、combination_requiredとcombination_optionalとを含み、識別情報でグループを指定するMPDの例について説明する。図11は、combination_requiredとcombination_optionalとを含み、組合せ対象をグループの識別情報で指定するMPDの一例を示す図である。なお、このMPDで特定される組合せは、図10の例と同じである。
 図11のMPDは、グループ1のリプリゼンテーションのコンビネーシンョンアトリビュートがcombination_optionalとなっている点を除けば、図7の例と同様である。図11の例では、グループ1のリプリゼンテーションのコンビネーションアトリビュートがcombination_optionalとなっていることにより、グループ1のリプリゼンテーション単体での再生が可能となっている。
 このようなMPDは、図9、図10の例と同様に、グループ1が単体で再生可能なコンテンツのリプリゼンテーションで構成されるグループであり、グループ2、3が、単体では再生しないが、グループ1のコンテンツと同時に再生することを想定したコンテンツのリプリゼンテーションで構成されるグループであるような場合に好適に適用できる。
 図11のMPDから♯1のリプリゼンテーションを選択した場合、クライアント1は、組合せの候補が、♯4、♯5、及びidがg3のグループに属するリプリゼンテーション(♯7~♯9)であることを特定することができる。
 〔combination_requiredとcombination_optionalの組合せの例2〕
 combination_requiredとcombination_optionalとを含むMPDは、例えばMVC(multiview video coding)で多視点映像符号化されたビデオコンテンツの再生にも好適に適用できる。MVCとは、映像符号化方式の国際標準化組織であるMPEG(Moving Picture Experts Group、正式名称はISO/IEC JTC1/SC29 WG11)において標準化されている多視点映像符号化方式である。例えば、3眼映像のMVC符号化映像データは、第1から第3の符号化映像データで構成されて、第1と第2のデータの復号映像を左右それぞれの視点の映像としてステレオ視視聴する、第3と第1のデータの復号映像を左右それぞれの視点の映像としてステレオ視視聴する、といったことを可能とする。ここでは、MVCのコンテンツに好適に適用できるMPDについて図12に基づいて説明する。図12は、MVCのコンテンツに好適なMPDの一例を示す図である。
 図12のMPDには、3つのリプリゼンテーションが含まれており、各リプリゼンテーションには、MIMEタイプ(mimeType)のアトリビュートと、リプリゼンテーションのidを示すアトリビュートと、グループを示すアトリビュートと、コンビネーションのアトリビュートとが含まれている。
 具体的には、♯1のリプリゼンテーションには、コンビネーションのアトリビュートとして、combination_optionalが含まれ、♯2、♯3のリプリゼンテーションにはcombination_requiredが含まれている。また、mimeTypeのアトリビュートには”video/mp4; codecs=mvc1”と記述されており、これらのリプリゼンテーションがMVCのコンテンツに対応するものであることを示している。そして、グループを示すアトリビュートから、同図の一番上のリプリゼンテーションはグループ1に属し、他の2つのリプリゼンテーションはグループ2に属していることがわかる。
 ♯1のリプリゼンテーションのcombination_optionalでは、組合せの候補として♯2、♯3のリプリゼンテーションが指定されている。つまり、♯1のリプリゼンテーションは、単体で再生することもできるし、♯2または♯3のリプリゼンテーションの何れかと組合せて再生することもできる。
 一方、♯2、♯3のリプリゼンテーションのcombination_requiredでは、何れも組合せの対象として、♯1のリプリゼンテーションが指定されている。つまり、♯2、♯3のリプリゼンテーションは、単体で再生することはできず、♯1のリプリゼンテーションと組み合わせて再生することが必須である。
 これは、例えばグループ1がベースビデオコンテンツ(base video)のリプリゼンテーションで構成されるグループであり、グループ2がエンハンスビデオコンテンツ(enhance video)のリプリゼンテーションで構成されるグループである場合に好適である。具体的には、#1単体では通常の2次元の映像として視聴可能であるとともに、♯1+♯2、または♯1+♯3の組合せによって、ステレオ視映像を表示、視聴可能とするような場合が想定される。例えば、#1+#2の場合に#1を左眼映像、#2を右目映像として、#1+#3の場合に#3を左眼映像、#1を右目映像として視聴する。
 ステレオ視映像を表示、視聴可能なクライアント1が、このようなMPDを取得した場合、グループ1のリプリゼンテーション♯1を選択し、このリプリゼンテーションのcombination_optionalの値から、ステレオ視映像として組合せ可能なリプリゼンテーションが、♯2または♯3であることを特定する。
 また、クライアント1は、上記のように特定したリプリゼンテーション♯2または♯3を選択し、リプリゼンテーション♯1に対応するコンテンツと、リプリゼンテーション♯1とともに選択したリプリゼンテーション(リプリゼンテーション♯2または♯3)に対応するコンテンツとをサーバ2にリクエストする。そして、リクエストに応じて送信されるコンテンツを受信して、同時に再生する。これにより、クライアント1は、♯1+♯2、または♯1+♯3の組合せによるステレオ視映像を表示することができる。
 〔combination_all_requiredを含むMPDの例〕
 続いて、combination_all_requiredを含むMPDの例を図13に基づいて説明する。図13は、combination_all_requiredを含むMPDの一例を示す図である。図13のMPDには、3つのリプリゼンテーションが含まれており、各リプリゼンテーションには、MIMEタイプ(mimeType)のアトリビュートと、リプリゼンテーションのidを示すアトリビュートと、グループを示すアトリビュートと、バンド幅(bandwidth)を示すアトリビュートとが含まれている。図示のように、3つのリプリゼンテーション(♯1~♯3)は、それぞれグループ1~3に属している。
 また、♯2のリプリゼンテーションには組合せ対象として♯1を指定するcombination_all_requiredが含まれ、♯3のリプリゼンテーションには組合せ対象として♯1、♯2を指定するcombination_all_requiredが含まれている。
 これにより、♯2のリプリゼンテーションは、♯1のリプリゼンテーションとの組合せが必須であり、♯3のリプリゼンテーションは、♯1及び♯2のリプリゼンテーションとの組合せが必須であることが特定される。
 つまり、このMPDによれば、♯1、♯1+♯2、及び♯1+♯2+♯3の何れかの再生が可能であることが分かる。これは、例えばグループ1~3のリプリゼンテーションに対応するコンテンツが、SVC(scalable video coding)のコンテンツである場合に好適に適用できる。SVCとは、上述したMPEGにおいて標準化されている階層映像符号化方式である。例えば、3階層のSVC符号化映像データは、第1から第3の符号化映像データで構成されて、第1の映像データのみからは低画質の映像が復号されて、第1と第2の映像データからは中間画質の映像が復号されて、第1から第3までの映像データからは高画質の映像が復号され再生されるといったように、復号するデータ量によって画質の異なる映像を階層的に復号、再生可能とした方式である。
 このMPDを用いる場合、クライアント1は、各グループに含まれるリプリゼンテーションのバンド幅の値を参照して、所望のリプリゼンテーションを選択することができる。ここで、3つのリプリゼンテーションのうち、最もバンド幅の大きい♯3のリプリゼンテーションを選択したとする。この場合、クライアント1は、♯3のcombination_all_requiredによって、♯3のコンテンツの再生には、♯1及び♯2が必要であることを特定する(#3の再生には♯1及び♯2が必須のため、♯3のリプリゼンテーションに示されるバンド幅には、#1から#3のデータ分を含めた値が記されている)。
 そして、クライアント1は、♯1~♯3の全てをサーバ2にリクエストし、リクエストに応じて受信したコンテンツを再生する。これにより、♯1~♯3のリプリゼンテーションに対応するコンテンツを組合せた(正確には階層符号化データを組み合わせて再生される)コンテンツ再生が可能になる。
 なお、♯1は、♯2と組み合わせて再生することが可能であるから、図13のMPDの♯1のリプリゼンテーションのアトリビュートにcombination_optionalを追記して、#1の組合せ候補として♯2を指定するようにしてもよい。また、♯2は、♯1が共に組み合わされることを必須条件として♯3との組合せが可能である。よって、図13のMPDの♯2のリプリゼンテーションのアトリビュートに、既にあるcombination_all_requiredに追加してcombination_optionalを記述して、#2の組合せ候補として♯3を指定するようにしてもよい。
 また、図13の♯2のリプリゼンテーションでは、combination_all_requiredで♯1を指定しているが、このように1つのリプリゼンテーションのみを指定する場合には、combination_requiredを用いてもよい。
 〔combination_optionalのみを含むMPDの例〕
 続いて、組合せ情報としてcombination_optionalのみを含むMPDの例を図14に基づいて説明する。図14は、組合せ情報としてcombination_optionalのみを含むMPDの一例を説明する図であり、同図の(a)はMPDの例を示し、同図の(b)および(c)は該MPDに基づく画面の表示例を示す。
 図14の(a)のMPDには、♯1~♯6の6つのリプリゼンテーションが含まれており、♯1~♯3がグループ1に属し、♯4~♯6がグループ2に属している。また、♯1~♯6のリプリゼンテーションは、それぞれcombination_optionalのアトリビュートを含み、これにより、組合せ候補が、♯6、♯5、♯4、♯3、♯2、及び♯1にそれぞれ指定されている。
 つまり、図14の(a)のMPDでは、♯1+♯6、♯2+♯5、♯3+♯4の組合せが推奨されている。なお、combination_optionalでは、その組合せ候補の中からの選択が必須ではないので、各々単体での再生が可能となっている。また、組合せ候補の中からの選択が必須ではないので、これら以外の組合せも可能とする。選択が必須ではない分、クライアント1における選択処理の負担が発生するが、combination_optionalを用いることによって、柔軟な組合せに対応することができる。また、combination_optionalによって、選択候補が絞り込まれるため、従来のMPDを用いる場合と比べれば、適切なコンテンツを容易に選択することができる。
 このようなMPDは、例えば同時に表示可能な複数のビデオコンテンツに好適に適用できる。例えば、グループ1のビデオコンテンツと、グループ2のビデオコンテンツとを1つの画面に同時に表示可能な場合に、グループ1のビデオコンテンツの解像度に応じた適切な解像度のグループ2のビデオコンテンツを選択させることもできる。
 ここで、図14の(a)の♯1~♯3のリプリゼンテーションがビデオコンテンツに対応し、♯4~♯6のリプリゼンテーションが♯1~♯3のリプリゼンテーションと同時に再生可能なビデオコンテンツに対応し、idの小さいものほど解像度(再生品質)が高い場合を考える。
 このような場合、図14の(a)の例のように、解像度の高い♯1のリプリゼンテーションの組合せ候補として、解像度の低い♯6を記述することにより、1つの画面に同時に表示するのに適当な2つの解像度のビデオコンテンツを容易に選ぶことができる。例えば、解像度に合せて#1を画面上大きく、#6を画面上小さく表示する。この場合、#1のリプリゼンテーションに対応するビデオコンテンツを高解像度、高画質で表示できるから、♯1のリプリゼンテーションに対応するビデオコンテンツの印象を強めることができる。加えて、解像度の高いビデオコンテンツはデータ量も多いため、高解像度のコンテンツと低解像度のコンテンツの組合せを常に選ばせることで、トータルのデータ量を容易に平均的に抑えることができるといった効果がある。同様に、図14の(a)の例のように、解像度の低い♯3のリプリゼンテーションの組合せ候補としては、解像度の高い♯4を記述する。
 なお、解像度の高いリプリゼンテーション同士や、解像度の低いリプリゼンテーション同士を組合せ候補としてもよく、また、解像度が同じまたは同等のリプリゼンテーション同士を組合せ候補としてもよい。この場合には、バンド幅に応じて伝送可能なリプリゼンテーションの組合せを選びつつ、かつ、画面全体として均一な解像度、画質での映像の表示、視聴が可能になる。
 2つのビデオコンテンツを同時に表示する態様としては、例えば図14の(b)および(c)に示すような態様が挙げられる。なお、図14の(b)および(c)の例では、♯1のリプリゼンテーションに対応するビデオコンテンツを同図の「♯1」で示す領域に表示し、♯6のリプリゼンテーションに対応するビデオコンテンツを同図の「♯6」で示す領域に表示することを示している。同様に、♯2~♯5に対応するビデオコンテンツを同図の「♯2」~「♯5」で示す領域に表示することを示している。
 図14の(b)に示すように、各グループのリプリゼンテーションに対応するビデオコンテンツを重畳せずに表示してもよい。なお、表示領域の配置は図示の例に限られず、例えば表示領域が縦(画面の垂直方向)に並ぶようにしてもよいし、表示画面全体を複数の領域に分割(例えば4分割)し、分割した領域の1つに各グループのリプリゼンテーションに対応するビデオコンテンツを表示してもよい。
 また、ビデオコンテンツの表示領域のサイズは、解像度に応じたサイズとしてもよい。つまり、解像度に差があるビデオコンテンツを同時に表示する場合には、解像度の大きいビデオコンテンツをより大きく表示してもよい。
 さらに、図14の(c)に示すように、各グループのリプリゼンテーションに対応するビデオコンテンツを重畳して表示してもよい。なお、図14の(c)の場合も、ビデオコンテンツの表示領域のサイズを解像度に応じたサイズとしてもよい。しかし、同じサイズの表示領域を重畳するとコンテンツの視認性が悪化するので、表示領域のサイズが同じ場合には、図示の例(#2と#5の例)のように重畳せずに表示することが好ましい。また、表示領域の一部が重畳するような態様で複数のビデオコンテンツを同時に表示してもよい。
 〔処理の流れ〕
 続いて、クライアント1及びサーバ2が実行する処理の流れを図15に基づいて説明する。図15は、クライアント1及びサーバ2が実行する処理の一例を示すフローチャートである。
 まず、サーバ2の記述情報送信部23は、MPDを取得する(S11)。具体的には、記述情報送信部23は、サーバ記憶部21に格納されている記述情報26をMPDとして取得する。なお、MPDの取得方法はこれに限られず、例えばサーバ2の外部の記録媒体に記録されているMPDを取得してもよいし、MPDを生成または格納する他の装置から取得してもよい。また、記述情報送信部23は、MPDを生成してもよい。MPDの生成については後述する。
 MPDを取得した記述情報送信部23は、取得したMPDを、サーバ通信部22を介してクライアント1に送信する(S12)。なお、MPDは、サーバ2からコンテンツの配信を受ける複数のクライアントにマルチキャスト送信してもよい。
 クライアント1のコンテンツ選択部13は、クライアント通信部12を介してMPDを受信する(S1)と、受信したMPDに含まれるリプリゼンテーションの選択を終了するか確認する(S2)。なお、コンテンツ選択部13は、受信したMPDに含まれる全グループについて、リプリゼンテーションの選択可否の確認が済んでいればリプリゼンテーションの選択を終了すると判断し、選択可否を確認していないグループがあればリプリゼンテーションの選択を終了しないと判断する。
 ここで、リプリゼンテーションの選択を終了しないと判断した場合(S2でNO)、コンテンツ選択部13は、選択可否を確認していないグループから1つのグループを選択する(S3)。なお、グループの選択基準は特に限定されず、例えばグループidの昇順または降順で選択してもよいし、予め定められた種類のコンテンツ(例えばビデオコンテンツ)に対応するグループから選択してもよい。コンテンツの種類は、MPDに記載されている各リプリゼンテーションのアトリビュート等を用いて特定することができる。
 次に、コンテンツ選択部13は、選択したグループに属するリプリゼンテーションから1つのリプリゼンテーションを選択する(S4)。なお、リプリゼンテーションの選択基準も特に限定されない。例えば、リプリゼンテーションidの昇順または降順で選択してもよいし、解像度等のアトリビュートを参照して、コンテンツ再生部15が再生可能であるという条件を満たすリプリゼンテーションを選択してもよい。そして、選択されたグループを選択済みとする。なお、S3でグループを選択済みとしてもよい。
 続いて、コンテンツ選択部13は、選択したリプリゼンテーションにコンビネーションのアトリビュートが含まれているか確認する(S5)。S5でコンビネーションのアトリビュートが含まれていないことを確認した場合(S5でNO)、S2の処理に戻る。
 ここで、図2に示すように、コンビネーションのアトリビュートには、指定された組合せ候補との組合せが必須ではない「combination_optional」と、指定された組合せ対象との組合せが必須となる「combination_required」等とが含まれる。
 このため、コンビネーションのアトリビュートが含まれていることを確認した場合(S5でYES)に、そのアトリビュートがcombination_optionalであれば、コンテンツ選択部13は、コンビネーションのアトリビュートで指定された組合せ候補からリプリゼンテーションを選択するか否かを判断する(S6)。なお、アトリビュートがcombination_required等のリプリゼンテーションの選択が必須となるものであれば、S6の処理は行わず、S7に進む。
 ここで、combination_optionalで指定された候補からリプリゼンテーションを選択しないことを確認した場合(S6でNO)には、S2の処理に戻る。なお、S6で、combination_optionalで指定された候補から特定のグループに属するリプリゼンテーションを全て選択しないと判断した場合、選択の可否の判断はなされたため、そのグループは選択済みとする。
 なお、combination_optionalで指定された候補からリプリゼンテーションを選択するか否かは、ユーザに選択させてもよいし、コンテンツ選択部13が決定してもよい。コンテンツ選択部13が決定する場合、例えば、解像度等のアトリビュートを参照して、そのリプリゼンテーションに対応するコンテンツをコンテンツ再生部15が再生可能であるか確認し、再生可能であれば選択し、再生不可であれば選択しない構成としてもよい。
 一方、リプリゼンテーションを選択することを確認した場合(S6でYES)、またはS5で存在を確認したコンビネーションアトリビュートが、リプリゼンテーションの選択が必須となるもの(combination_required等)である場合には、コンテンツ選択部13は、このアトリビュートに従って、S4で選択したリプリゼンテーションと組み合わせるリプリゼンテーションを選択する(S7)。
 S7では、未選択のグループに属するリプリゼンテーションを選択の対象とする。即ち、S5で確認されたコンビネーションアトリビュートによって組合せ候補とされたリプリゼンテーションをリプリゼンテーションmとし、リプリゼンテーションmの属するグループがグループkであったとすると、このグループkがS4(またはS3)、S6、S7で未だ選択済みとされていないグループであった場合に、コンビネーションアトリビュートで指定されたリプリゼンテーションmを選択する。コンビネーションアトリビュートでグループkに属する複数のリプリゼンテーションmが組合せ候補として指定されていた場合には、その中の1つを選択する。そして、リプリゼンテーションmを選択した後は、リプリゼンテーションmの属するグループkを選択済みとする。
 すなわち、コンテンツ選択部13は、グループidを示すアトリビュート(グループ属性情報)を参照して、コンビネーションのアトリビュートで指定されたリプリゼンテーションのうち、これまでに選択された何れのリプリゼンテーションとも異なるグループに属するリプリゼンテーションが組み合わされるように選択する。
 なお、S7において、コンビネーションのアトリビュートで指定されたリプリゼンテーションから、選択するリプリゼンテーションを決定する方法は特に限定されない。例えば、グループの番号の昇順または降順で、選択するリプリゼンテーションのグループを決定し、決定したグループに含まれるリプリゼンテーションから、idの昇順または降順でリプリゼンテーションを選択してもよい。また、リプリゼンテーションのアトリビュートを参照して特定した再生品質を基準として選択してもよいし、リプリゼンテーションのアトリビュートを参照することにより、クライアント1が再生可能であると判定されたものを選択してもよい。
 S7でリプリゼンテーションを選択した後、処理はS2に戻り、コンテンツ選択部13は、リプリゼンテーションの選択が終了したか確認する。ここで、リプリゼンテーションの選択が終了したことを確認した場合(S2でYES)、コンテンツ選択部13は、選択したリプリゼンテーションをリクエスト実行部14に通知する。
 この通知を受信したリクエスト実行部14は、通知されたリプリゼンテーションに対するリクエストを生成し、クライアント通信部12を介してサーバ2に送信することによって、コンテンツ選択部13が選択したリプリゼンテーションのデータ(リプリゼンテーションに対応するコンテンツ)をサーバ2にリクエストする(S8)。
 サーバ2のレスポンス実行部24は、このリクエストを受信し(S13)、リクエストされたデータ(コンテンツ)をサーバ記憶部21から読み出して、サーバ通信部22を介してクライアント1に送信する(S14)。なお、送信するコンテンツは、サーバ記憶部21から取得してもよいし、他の記録媒体や他の装置から取得してもよい。また、他の装置に指示して、その装置からクライアント1に送信させてもよい。これにより、サーバ2における処理は終了する。
 クライアント1のコンテンツ再生部15は、リクエスト実行部14がリクエストしたデータ(コンテンツ)を、クライアント通信部12を介して受信し(S9)、これを再生する(S10)。これにより、クライアント1の処理は終了する。
 なお、コンテンツ選択部13は、コンテンツ再生部15がコンテンツの再生を開始する前に、コンテンツ選択部13が選択したリプリゼンテーションの組合せを示す情報をコンテンツ再生部15に送信してもよい。これにより、コンテンツ再生部15は、コンテンツ選択部13が選択したリプリゼンテーションの組合せ通りにコンテンツを組み合わせて再生することができる。
 また、リクエスト実行部14が、リクエストしたコンテンツの組合せを示す情報をコンテンツ再生部15に送信するようにしてもよい。この場合にも、コンテンツ再生部15は、コンテンツ選択部13が選択したリプリゼンテーションの組合せ通りにコンテンツを組み合わせて再生することができる。
 なお、図15の例は、簡単のため、MPDに1つのピリオドのみが含まれている場合の処理を示している。MPDに複数のピリオドが含まれている場合には、図示の処理を各ピリオドについて実行する。
 〔実施の形態2〕
 次に、本発明の実施形態2について、図16から図21に基づいて説明する。実施形態2は、コンビネーションのアトリビュートを一部省略したMPDを用いてコンテンツの選択を行う点を除けば実施形態1と同様であり、システム及び装置の構成(図1参照)は、実施形態1と同じである。
 〔一部のコンビネーションのアトリビュートを省略したMPDの例1〕
 まず、一部のコンビネーションのアトリビュートを省略したMPDの例について、図16に基づいて説明する。図16は、グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの一例を示す図である。
 図16のMPDは、図8のMPDと同様の構成であるが、グループ2のリプリゼンテーションが、何れもコンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDは、グループ1のリプリゼンテーションを先に選択し、その後グループ2のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
 例えば、グループ1がビデオコンテンツ(main video)のリプリゼンテーションで構成されるグループであり、グループ2が製作者コメンタリPinP等のサブビデオコンテンツ(sub/auxiliary video)のリプリゼンテーションで構成されるグループであり、クライアント1において、ビデオコンテンツのリプリゼンテーションから先に選択することが決まっているような場合に好適に適用できる。
 〔一部のコンビネーションのアトリビュートを省略したMPDの例2〕
 続いて、一部のコンビネーションのアトリビュートを省略したMPDの他の例について、図17に基づいて説明する。図17は、グループ2のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの他の例を示す図である。
 図17のMPDは、図12のMPDと同様の構成であるが、グループ2のリプリゼンテーションが、何れもコンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDも、グループ1のリプリゼンテーションを先に選択し、その後グループ2のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
 例えば、グループ1がベースビデオコンテンツ(base video)のリプリゼンテーションで構成されるグループであり、グループ2がエンハンスビデオコンテンツ(enhance video)のリプリゼンテーションで構成されるグループであり、クライアント1において、ベースビデオコンテンツのリプリゼンテーションから先に選択することが決まっているような場合に好適に適用できる。
 〔一部のコンビネーションのアトリビュートを省略したMPDの例3〕
 続いて、一部のコンビネーションのアトリビュートを省略したMPDのさらに他の例について、図18に基づいて説明する。図18は、グループ3のコンビネーションのアトリビュートを省略した、combination_optionalを含むMPDの例を示す図である。
 図18のMPDは、図13のMPDと同様の構成(同様の再生の態様を実現するための構成)であるが、combination_optionalのみで記述し、グループ3のリプリゼンテーションが、コンビネーションのアトリビュートを含んでいない点で異なっている。なお、図18の例ではバンド幅(bandwidth)のアトリビュートが記述されていないが、記述されていても構わない。このようなMPDも、グループ1のリプリゼンテーションを先に選択し、その後にグループ2、グループ3のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
 例えば、グループ1~3がSVC(scalable video coding)のコンテンツのリプリゼンテーションで構成されるグループである場合に、クライアント1において、グループ1のコンテンツから順に選択することが決まっているような場合に好適に適用できる。
 図18のMPDにおいて、#1のリプリゼンテーションには、combination_optionalで#2のリプリゼンテーションとの組合せが可能であることが示されている。このため、この時点でクライアント1は、#1のみか、#1+#2とするかが選択できる。#1+#2を選択した場合、#2のリプリゼンテーションには、combination_optionalで#3のリプリゼンテーションとの組合せが更に可能であることが示されている。従って、この時点でクライアント1は、#1+#2のみか、#1+#2+#3とするかが選択できる。このようにしてクライアント1は、#1か、#1+#2か、#1+#2+#3かを選択する。
 〔一部のコンビネーションのアトリビュートを省略したMPDの例4〕
 続いて、一部のコンビネーションのアトリビュートを省略したMPDのさらに他の例について、図19に基づいて説明する。図19は、グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの例を示す図である。
 図19のMPDは、図3のMPDと同様の構成であるが、グループ1のリプリゼンテーションが、コンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDは、グループ2のリプリゼンテーションを先に選択し、その後グループ1のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
 図19のMPDでは、グループ2のリプリゼンテーションの組合せ対象が、何れもグループ1のリプリゼンテーションとなっているcombination_requiredを含む。これにより、クライアント1は、グループ2のリプリゼンテーションは、単独で再生できないコンテンツに対応するものであることを容易に認識することができる。
 このようなMPDは、例えば、グループ1のリプリゼンテーションに対応するコンテンツがメインのビデオコンテンツであり、グループ2のリプリゼンテーションに対応するコンテンツがサブのビデオコンテンツであり、クライアント1において、グループ2のコンテンツのリプリゼンテーションを先に選択することが決まっているような場合に好適に適用できる。
 〔一部のコンビネーションのアトリビュートを省略したMPDの例5〕
 続いて、一部のコンビネーションのアトリビュートを省略したMPDのさらに他の例について、図20に基づいて説明する。図20は、グループ1のコンビネーションのアトリビュートを省略した、combination_requiredを含むMPDの他の例を示す図である。
 図20のMPDは、図12のMPDと同様の構成であるが、グループ1のリプリゼンテーションが、コンビネーションのアトリビュートを含んでいない点で異なっている。このようなMPDは、グループ2のリプリゼンテーションを先に選択し、その後グループ1のリプリゼンテーションを選択することが予め決まっている場合に適用できる。
 図20のMPDでは、グループ2のリプリゼンテーションが何れも組合せ対象がグループ1のリプリゼンテーションとなっているcombination_requiredを含む。これにより、クライアント1は、グループ2のリプリゼンテーションは、単独で再生できないコンテンツに対応するものであることを容易に認識することができる。
 このようなMPDは、例えば、グループ1、2のリプリゼンテーションに対応するコンテンツがMVC(multiview video coding)のコンテンツである場合に、クライアント1において、グループ2のコンテンツのリプリゼンテーションを先に選択することが決まっているような場合に好適に適用できる。
 〔コンビネーションのアトリビュートを省略したMPDを用いる場合の処理の流れ〕
 続いて、一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に、クライアント1が実行する処理の流れを図21に基づいて説明する。図21は、一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に、クライアント1が実行する処理の一例を示すフローチャートである。なお、サーバ2が実行する処理は、図15の例と同様であるからここでは説明を省略する。また、図21のフローチャートのS21~S30の処理は、図15のS1~S10の処理とほぼ同様であるから、ここでは図15との相違点を中心に説明する。
 クライアント1のコンテンツ選択部13は、クライアント通信部12を介してMPDを受信する(S21)と、受信したMPDに含まれるリプリゼンテーションの選択を終了するか確認する(S22)。
 ここで、リプリゼンテーションの選択を終了しないと判断した場合(S22でNO)、コンテンツ選択部13は、選択可否を確認していないグループから1つのグループを選択する(S23)。
 なお、グループの選択基準は特に限定されないが、ここでは、コンビネーションアトリビュートが付されたリプリゼンテーションを含むグループから順に選択する。例えば、グループidの小さいグループにコンビネーションアトリビュートが付されたリプリゼンテーションが含まれている場合には、グループidの昇順で選択する。また、グループidの大きいグループにコンビネーションアトリビュートが付されたリプリゼンテーションが含まれている場合にはグループidの降順で選択する。さらに、例えば、予め定められた種類のコンテンツに対応するグループから選択してもよい。本実施の形態において既に説明したように、メインのビデオコンテンツを先に選択するなど、予め決められた順序関係で選択してもよい。コンテンツの種類は、リプリゼンテーションに付された他のアトリビュート等から特定することができる。
 また、このように選択の順番を決定するためのルールを決めておく方法の他、選択の優先度を示すアトリビュート(priorityアトリビュート)を記述することによって、選択順を特定させる方法を適用することもできる。さらに、取得したMPDの各リプリゼンテーションを参照してコンビネーションのアトリビュートが付されたリプリゼンテーションが含まれているか否かを確認して、コンビネーションのリプリゼンテーションが含まれているグループから選択するようにしてもよい。
 次に、コンテンツ選択部13は、選択したグループに属するリプリゼンテーションから1つのリプリゼンテーションを選択する(S24)。続いて、コンテンツ選択部13は、選択したリプリゼンテーションにコンビネーションのアトリビュートが含まれているか確認する(S25)。ここで、コンビネーションのアトリビュートが含まれていないことを確認した場合(S25でNO)、S22の処理に戻る。
 ここで、コンビネーションのアトリビュートが含まれていることを確認した場合(S25でYES)に、そのアトリビュートがcombination_optionalであれば、コンテンツ選択部13は、コンビネーションのアトリビュートで指定された組合せ候補からリプリゼンテーションを選択するか否かを判断する(S26)。なお、アトリビュートがcombination_required等のリプリゼンテーションの選択が必須となるものであれば、S26の処理は行わず、S27に進む。
 S26において、combination_optionalで指定された候補からリプリゼンテーションを選択しないことを確認した場合(S26でNO)には、S22の処理に戻る。一方、リプリゼンテーションを選択することを確認した場合(S26でYES)、またはS25で存在を確認したアトリビュートが、リプリゼンテーションの選択が必須となるものである場合には、コンテンツ選択部13は、このアトリビュートに従って、S24で選択したリプリゼンテーションと組み合わせるリプリゼンテーションを選択する(S27)。
 S27でリプリゼンテーションを選択した後、処理はS25に戻り、コンテンツ選択部13は、S27で選択したリプリゼンテーションに、コンビネーションのアトリビュートが含まれているかをさらに確認する。
 すなわち、本実施形態では、リプリゼンテーションを選択したときには、そのリプリゼンテーションに、コンビネーションのアトリビュートが含まれているか確認する点が、図15の例と異なっている。このように、選択したリプリゼンテーションのアトリビュートから、組合せ対象(候補)のリプリゼンテーションを辿ることにより、一部のコンビネーションのアトリビュートを省略したMPDを用いる場合に対応することが可能となる。なお、コンビネーションのアトリビュートを省略しない場合であっても、図21の処理でリプリゼンテーションを選択してもよい。
 そして、S25において、コンビネーションのアトリビュートが含まれていないことを確認した場合には、S22の処理に戻る。
 S22で、リプリゼンテーションの選択が終了したことを確認した場合(S22でYES)、コンテンツ選択部13は、選択したリプリゼンテーションをリクエスト実行部14に通知する。そして、この通知を受信したリクエスト実行部14は、通知されたリプリゼンテーションのデータをサーバ2にリクエストする(S28)。
 続いて、クライアント1のコンテンツ再生部15は、リクエスト実行部14がリクエストしたデータ(コンテンツ)を、クライアント通信部12を介して受信し(S29)、これを再生する(S30)。これにより、クライアント1の処理は終了する。
 なお、図21の例は、簡単のため、MPDに1つのピリオドのみが含まれている場合の処理を示している。MPDに複数のピリオドが含まれている場合には、図示の処理を各ピリオドについて実行する。
 〔実施の形態3〕
 上述の実施形態では、リプリゼンテーションの組合せを示すアトリビュート、すなわちコンビネーションのアトリビュートを用いる例を示したが、リプリゼンテーションの組合せは、アトリビュート以外の形式で記述してもよい。ここでは、エレメント(element)によってリプリゼンテーションの組合せを記述する例を図22及び図23に基づいて説明する。なお、本実施形態においても、システム及び装置の構成(図1参照)は、実施形態1と同じである。
 図22は、リプリゼンテーションの組合せをエレメントで記述したMPDの一例を示す図である。図示の例では、”PT0S”から開始するピリオドに、グループ1に属するリプリゼンテーション♯1と、グループ2に属するリプリゼンテーション♯4とが含まれている。
 このうち、♯1のリプリゼンテーションには、該リプリゼンテーションと組み合わせる候補となるリプリゼンテーションを示す、〈combination〉で開始し、〈/combination〉で終了するエレメント(コンビネーションエレメント)が記述されている。また、このエレメントには、〈representation_id〉で開始し、〈/representation_id〉で終了するエレメント(リプリゼンテーションidエレメント)が含まれており、これにより♯1のリプリゼンテーションと組み合わせるリプリゼンテーションのidが特定されている。これは、上記実施形態におけるcombination_optionalに相当するエレメントである。
 一方、♯4のリプリゼンテーションには、該リプリゼンテーションと組み合わせる対象となるリプリゼンテーションを示す、〈combination relation=”required”〉で開始し、〈/combination〉で終了するエレメント(コンビネーションエレメント)が記述されている。これは、上記実施形態におけるcombination_requiredに相当するエレメントである。
 つまり、このエレメントは、♯4のリプリゼンテーションを選択したときには、該エレメントで指定された組合せ対象のリプリゼンテーションから少なくとも1つを選択することが必須であることを示している。このように、relation=”(組み合わせの種類)”の形式で組合せの種類を指定することもできる。
 また、このエレメントには、♯1のリプリゼンテーションと同様に、〈representation_id〉で開始し、〈/representation_id〉で終了するエレメント(リプリゼンテーションidエレメント)が含まれており、これにより♯4のリプリゼンテーションと組み合わせるリプリゼンテーションのidが特定されている。つまり、この例では、♯4のリプリゼンテーションは、♯1のリプリゼンテーションとの組合せが必須ということになる。
 なお、このようなエレメントを用いたMPDを用いる場合であっても、クライアント1及びサーバ2が実行する処理の流れは、図15や図21の例と同様である。
 このようなエレメントのスキーマは、例えば図23のように表される。図23は、リプリゼンテーションの組合せ情報を記述するコンビネーションエレメントのスキーマの一例を示す図である。
 図23のスキーマでは、エレメントのタイプが”combinationType”のエレメント“combination”が定義されている。そして、”combinationType”は、タイプが”integerType”である1つ以上の”representation_id”エレメントと、タイプが”relationType”でかつデフォルト(default)が”optional”で定義される“relation”アトリビュートからなるタイプであると定義されている。”relationType”は、“optional”、“required”、“all_required”の3つの文字列(string)の値をとり得るタイプである。
 なお、同様にして、”one_required”等を定義することもできる。
 つまり、”combination”のエレメントは、”combinationType”で定義された構造を持ち、”combinationType”には、”representation_id”を整数値で複数個、シーケンシャルに指定することができる(<sequence>から</sequence>の記述がそれにあたる)ことが定義されている。そして、”combinationType”では、”relation”のアトリビュートで”relationType”を指定することができ、”relationType”はデフォルトで”optional”とすることが定義されている。
 すなわち、“relation”が記述されていない図22のMPDの♯1のリプリゼンテーションは、“relationType”が”optional”ということになる。一方、♯4のリプリゼンテーションでは、“combination”の後に“relation”のアトリビュートを記述して、”required”を指定している。
 〔実施の形態4〕
 次に、本発明の実施形態4について、図26、図27に基づいて説明する。図26、図27は、実施形態3(図22、23)と同様に、リプリゼンテーションの組合せをエレメントで記述したMPDの例、及びこのエレメントのスキーマの例をそれぞれ示している。実施形態3と同様、コンビネーションエレメントの形式で記述されるが、"relation"アトリビュートのタイプ"relationType"の定義のみが、実施形態3と異なっている。なお、本実施形態においても、システム及び装置の構成(図1参照)は、実施形態1と同じである。
 実施形態3のコンビネーションエレメントでは、このコンビネーションエレメントが付されたリプリゼンテーションと、コンビネーションエレメント中の"representation_id"エレメントが指し示すリプリゼンテーションとの組合せ時の依存関係が、"relationType"タイプのアトリビュート"relation"によって示されていた。なお、簡便のため、ここでは、上記コンビネーションエレメントが付されたリプリゼンテーションを「リプリゼンテーションA」、上記コンビネーションエレメント中の"representation_id"エレメントが指し示すリプリゼンテーションを「リプリゼンテーションB」と表記して説明する。
 即ち、"relation="required""であれば、リプリゼンテーションAを再生する際にリプリゼンテーションBの再生が必須であることを示す。また、"relation="optional""であれば、リプリゼンテーションAを再生する際にリプリゼンテーションBが同時再生する候補となる(必須ではない)ことを示す。
 そして、この、リプリゼンテーションAに付された"relation"アトリビュートが"relation="optional""の時、"representation_id"エレメントが指し示すリプリゼンテーションBの方に"relation="required""が付され、"representation_id"エレメントでリプリゼンテーションAが示されていれば、リプリゼンテーションBに対してAは必須、リプリゼンテーションAに対してBは組合せ候補となる。つまり、リプリゼンテーションBは、リプリゼンテーションAに対して従属の関係(リプリゼンテーションAは単独で再生可であるが、リプリゼンテーションBはA無しで再生不可、の関係)にあることになる。
 本実施形態4では、このようなリプリゼンテーションどうしの依存関係を"relationType"タイプのアトリビュート"relation"で表す別の方法を示す。本実施形態4におけるリプリゼンテーションどうしの依存関係を示すアトリビュート"relation"は、図27の"relationType"タイプの定義で示されるように、コンビネーションエレメントが付されたリプリゼンテーション自身が、"representation_id"で示された組合せ再生するリプリゼンテーションに対して、メインのコンテンツである("main")か、サブコンテンツである("sub")か、あるいは補助的なコンテンツである("auxiliary")か、を示すアトリビュートであるとする。即ち、"relation"の取り得る値は、"main"、"sub"、"auxiliary"の何れかとする。また、"relation"アトリビュートのデフォルト値は"main"とし、"relation"アトリビュートの記述が無ければ"main"と解釈されることとする。
 ここで、メインのコンテンツ("main")とは、常に再生されるコンテンツ、単独で再生可能なコンテンツを指すものとする。つまり、"relation"アトリビュートが"main"であるコンテンツは選択が必須のコンテンツである。
 サブコンテンツ("sub")とは、メインコンテンツが常に再生されるコンテンツであるのに対し、再生が指示された際にのみ再生されるコンテンツを指すものとする。つまり、"relation"アトリビュートが"sub"であるコンテンツは選択候補となるコンテンツである。
 補助コンテンツ("auxiliary")とは、再生が指示された際にのみメイン(あるいはサブ)のコンテンツと組合せて再生されるコンテンツであり、単独で再生不可なコンテンツを指すものとする。つまり、"relation"アトリビュートが"auxiliary"であるコンテンツは単独での選択ができないコンテンツである。
 なお、既に示した他の実施形態においては、サブ("sub")コンテンツと補助("auxiliary")コンテンツとはメインコンテンツと組み合わせて再生されるものとして区別していないが、ここでは、単独での再生が禁止されているものを特に補助コンテンツとして区別する。"main"コンテンツが存在しない場合には、"sub"コンテンツは単独で再生可能であるが、"auxiliary"コンテンツは"main"コンテンツが存在しない場合であっても単独で再生することはできない。
 即ち、上記したように、実施形態3では、指定先のリプリゼンテーションと組み合わせて再生するのが必須か、オプションかといったリプリゼンテーション間の依存関係が"relation"で直接指定された。これに対し、本実施形態4では、各リプリゼンテーションのメイン、サブといった役割が"relation"で示されることで、リプリゼンテーション間の依存関係が間接的に示される。何れもリプリゼンテーション間の依存関係を示しているという点で共通である。
 図26のリプリゼンテーション#1(グループ1)では、コンビネーションエレメントにて、リプリゼンテーション#4(グループ2)が指定されている。このコンビネーションエレメントでは"relation"アトリビュートが明示されていないため、デフォルトの属性である"main"のコンテンツであることがわかる。即ち、リプリゼンテーション#1は常に再生される。
 一方、リプリゼンテーション#4では、コンビネーションエレメントにて、リプリゼンテーション#1が指定されていると共に、"relation="sub"が記述されている。これにより、リプリゼンテーション#4は、サブコンテンツであることがわかる。即ち、リプリゼンテーション#1が再生されている間、再生が指示された場合にのみリプリゼンテーション#4は再生される。
 このように、本実施形態4のコンビネーションエレメントは、リプリゼンテーション間の依存関係を各リプリゼンテーションの役割を示すことで間接的に示すアトリビュート"relation"を含むことにより、適切な組合せでコンテンツを再生可能とする。
 なお、本実施形態4のコンビネーションエレメントは、コンビネーションエレメントが付されたリプリゼンテーション自身の役割を示すため、ピリオドに含まれているリプリゼンテーションが限られ、組み合わせて再生するリプリゼンテーションが自明な場合に、"representation_id"を省略することも可能である。
 つまり、アトリビュート"relation"は、コンテンツの組合せを示す組合せ情報として利用することができ、クライアント1(コンテンツ選択部13)はこの組合せ情報に従ってコンテンツを選択する。例えば、取得したMPDに、"relation=main"のコンテンツが含まれていればこれを選択し、他に、"relation=sub"や"relation=auxiliary"のコンテンツがあればその選択要否をユーザに問い合わせる等して決定する。このような構成によっても、選択対象のコンテンツを絞り込むことができるので、適切なコンテンツを容易に選択することができる。
 〔組合せ対象となるコンテンツ〕
 上述の各実施形態では、ビデオコンテンツとオーディオコンテンツの組合せ、ビデオコンテンツ(メイン)とビデオコンテンツ(サブ)の組合せ、ビデオコンテンツと字幕(timed_text)の組合せ等をアトリビュートまたはエレメントで記述する例を示したが、組合せ対象となるコンテンツは、同時に再生可能または使用可能なものであればよく、これらの例に限られない。例えば、UGC(User Generated Contents)をビデオコンテンツ等と組み合わせても構わないし、上述した以外のコンテンツを組み合わせても構わない。それらの組合せであっても、本願発明の組合せ情報を同様に適用することが可能である。
 また、上述の各実施形態では、リプリゼンテーションを起点として、リプリゼンテーションどうしの組合せ、リプリゼンテーションとグループの組合せを、起点としたリプリゼンテーションに付したアトリビュートまたはエレメントを用いて記述する例を示したが、グループどうしの組合せを示す情報を記述して組合せ対象のコンテンツの選択を容易にしてもよい。
 図28は、グループに対してコンビネーションアトリビュートを付加したMPDの一例を示す図である。図28の例では、"g1"のリプリゼンテーショングループに"combination_optional="g2""を付加して、"g1"のリプリゼンテーショングループに属している#1、#2、#3のリプレゼンテーションをそれぞれ独立に、あるいは"g2"のリプリゼンテーショングループに属している#4、#5、#6のリプレゼンテーションの何れかと組合せて再生可能であることを示している。
 "g2"のリプリゼンテーショングループには"combination_required="g1""を付加して、"g2"のリプリゼンテーショングループに属している#4、#5、#6のリプレゼンテーションが独立では再生できず、"g1"のリプリゼンテーショングループに属している#1、#2、#3のリプレゼンテーションの何れかと組み合わせて再生することが必須であることを示している。このように、コンビネーションアトリビュートをグループに対して付加した場合には、コンビネーションアトリビュートは組合せの対象となるグループを指定するグループ指定情報として機能することになる。
 以上のように、本発明のコンビネーションアトリビュートまたはコンビネーションエレメントは、コンテンツを組み合わせて再生するのが必須か、組合せ再生の候補であるかを示す組合せ情報であることに主たる特徴があり、単一のコンテンツであるリプリゼンテーションにも、コンテンツの集合であるグループ(リプリゼンテーショングループ)にも、同様に適用可能である。
 さらに、上述の各実施形態では、組み合わせるリプリゼンテーションがそれらのidを用いて示されているが、組み合わせるリプリゼンテーションを示す方法はこれに限らない。例えば、組み合わせ相手のリプリゼンテーションidを直接に指定せず、組合せ自体に特定のid(組合せ識別子又は組合せid)を割り振り、その組合せのidをそれぞれのリプリゼンテーション中のコンビネーションアトリビュート(またはエレメント)に記述してもよい。この場合、クライアント1は、同じ組合せidを持ったリプリゼンテーションを、組み合わせ対象のコンテンツとして特定することができる。
 これについて、図29、図30に基づいて説明する。図29は、組合せidによって組合せ対象を特定する例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図の(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。また、図30は、組合せidによって組合せ対象を特定する他の例を説明する図であり、同図の(a)は組合せidを用いずに組合せ対象を特定するMPDの例を示し、同図の(b)は同図の(a)と同じ組合せ対象を組合せidで特定するMPDの例を示している。なお、組合せidは、"Cn"(nは正の整数)としている。
 図29は、#1+#4、#1+#7の2通りの再生のいずれかが必須であることを示した記述例である。同図の(b)では、#1+#4、#1+#7の組合せそれぞれに組合せid、"C1"、"C2"が割り振られて記述されている。
 クライアント1のコンテンツ選択部13は、このMPDを用いてコンテンツを選択する場合、コンビネーションアトリビュート(one_required)に従い、C1、C2のいずれかの組合せを必ず選択する。そして、C1を選択した場合には、同じ組合せid(C1)が対応付けられている♯4を選択し、一方、C2を選択した場合には、同じ組合せid(C2)が対応付けられている♯7を選択する。
 図30は、#1+#4+#7の組合せによる再生が必須であることを示した記述例である。同図の(b)では、#1+#4+#7の組合せに対して組合せidである"C1"が割り振られて記述されている。
 クライアント1のコンテンツ選択部13は、このMPDを用いてコンテンツを選択する場合、コンビネーションアトリビュート(required)に従い、C1の組合せを選択して必須に再生する。つまり、同じ組合せid(C1)が対応付けられている♯1、♯4、♯7を全て選択する。
 図29、図30に示されるように、組合せ自体に特定のidを割り振り、同じidを持つリプリゼンテーションを組み合わせるリプリゼンテーションであるとする指定方法では、組み合わせる個々のリプリゼンテーションのidをそれぞれのリプリゼンテーションに逐一記述する必要が無いため、記述を簡単にすることができる。また、既存の組合せに新たなリプリゼンテーションを追加するといった際に編集が容易であるといった特徴がある。
 〔サーバ2によるMPDの生成〕
 上述のように、MPDは予め作成されたものを読み出して使用してもよいし、サーバ2の記述情報送信部23が生成してもよい。ここでは、記述情報送信部23がMPDを生成する処理について説明する。
 記述情報送信部23は、まず、コンテンツの組合せ条件を示す組合せ条件情報を参照して、同時に再生するコンテンツの組合せを決定する。そして、決定した組合せを示すコンビネーションのアトリビュートを含むMPDを生成する。なお、MPDの生成の際には、従来のMPD(コンビネーションのアトリビュートを含まないMPD)に対してコンビネーションのアトリビュートを追加してもよい。
 組合せ条件情報は、コンテンツの組合せ条件を示すものであれば特に限定されないが、例えば以下のような例が挙げられる。
 すなわち、組合せの対象となるコンテンツが、ビデオコンテンツとオーディオコンテンツである場合、組合せ条件情報は、予め設定された許容可能な再生品質の組合せを示す情報であってもよい。
 この組合せ条件情報を用いる場合、記述情報送信部23は、ある再生品質のビデオコンテンツと、組合せ条件情報から特定される、その再生品質と組み合わせるべき再生品質のオーディオコンテンツとを組み合わせるコンビネーションのアトリビュートを生成する。
 なお、組合せを必須とするか否か(combination_required等を用いるかcombination_optionalを用いるか)は、コンテンツの属性等(アトリビュート等を参照して特定が可能)に応じて決めればよい。例えば、アトリビュートから、音声のないビデオコンテンツとオーディオコンテンツとの組合せのように、単体での再生が望ましくないコンテンツの組合せであることを特定した場合には、組合せを必須とすればよい。一方、単体での再生が可能なコンテンツであれば、組合せを必須とする必要はないので、combination_optionalを用いればよい。
 そして、このアトリビュートを、MPDにおける上記ビデオコンテンツ及び上記オーディオコンテンツに対応するリプリゼンテーションの少なくとも一方のアトリビュートとして記述することによって、このコンテンツの組合せを指定するMPDが生成される。
 なお、許容可能な再生品質の組合せを示す情報とは、ビデオコンテンツの再生品質または再生品質の範囲を示す情報と、オーディオコンテンツの再生品質または再生品質の範囲を示す情報とが対応付けられた情報である。
 例えば、ビデオコンテンツのビットレートの範囲を示す情報と、該ビデオコンテンツと同時に再生されるオーディオコンテンツのビットレートの範囲を示す情報とが対応付けられた情報であってもよい。
 記述情報送信部23は、このような情報を参照することによって、組合せの対象となるビデオコンテンツまたはオーディオコンテンツのビットレートから、そのコンテンツと組み合わせるべきビデオコンテンツまたはオーディオコンテンツのビットレートの範囲を特定する。
 そして、記述情報送信部23は、組合せの対象となるビデオコンテンツまたはオーディオコンテンツに対応するコンビネーションのリプリゼンテーションに、特定した範囲内のビットレートを有するビデオコンテンツまたはオーディオコンテンツのリプリゼンテーションを記述することによって、MPDを生成する。
 また、組合せの対象となるコンテンツが、ビデオコンテンツと字幕(timed-text)である場合、組合せ条件情報は、予め設定されたビデオコンテンツの表示サイズを示す情報と、字幕の表示態様を示す情報が対応付けられた情報であってもよい。
 この組合せ条件情報を用いる場合、記述情報送信部23は、ビデオコンテンツのアトリビュートを参照して、その表示サイズを特定し、組合せ条件情報からその表示サイズに対応する字幕の表示態様を特定する。そして、この表示態様の字幕と上記ビデオコンテンツとを組み合わせるコンビネーションのアトリビュートを生成し、このアトリビュートを含むMPDを生成する。
 この組合せ条件情報は、例えばビデオコンテンツの表示サイズまたは表示サイズの範囲を示す情報と、該表示サイズまたは表示サイズの範囲であれば、各文字を問題なく読むことのできる字幕のフォント及び一画面に表示する文字数を示す情報とが対応付けられた情報であってもよい。
 記述情報送信部23は、このような情報を参照することによって、ビデオコンテンツの画面サイズから、そのコンテンツと組み合わせるべき字幕のフォント及び表示文字数を特定する。
 そして、記述情報送信部23は、ビデオコンテンツに対応するコンビネーションのリプリゼンテーションに、特定したフォント及び表示文字数の字幕のリプリゼンテーションをコンビネーションアトリビュートで記述することによって、ビデオコンテンツとそのビデオコンテンツに好適な字幕とが対応付けられたMPDを生成する。
 また、組合せの対象となるコンテンツがメインのビデオコンテンツとサブのビデオコンテンツ(例えばPinPのコンテンツ)である場合、組合せ条件情報は、予め設定されたメインのビデオコンテンツの表示サイズまたは表示サイズの範囲を示す情報と、そのサイズのビデオコンテンツに重畳表示可能なサブのビデオコンテンツの表示サイズまたは表示サイズの範囲を示す情報とが対応付けられた情報であってもよい。
 この組合せ条件情報を用いる場合、記述情報送信部23は、メインのビデオコンテンツのアトリビュートを参照して、その表示サイズを特定し、組合せ条件情報からその表示サイズに対応する表示サイズまたはその範囲を特定する。そして、特定した表示サイズまたはその範囲のサブのビデオコンテンツと上記メインのビデオコンテンツとを組み合わせるコンビネーションのアトリビュートを生成し、このアトリビュートを含むMPDを生成する。
 また、コンテンツの配信を受ける(サーバ2からコンテンツをダウンロードする)際の伝送帯域に上限がある場合には、組合せ条件情報は、伝送帯域の上限を示す情報であってもよい。
 この場合、記述情報送信部23は、組合せ条件情報が示す上限を超えない範囲でコンテンツを組み合わせるコンビネーションのアトリビュートを生成し、そのアトリビュートを含むMPDを生成する。
 例えば、予め想定される伝送帯域幅を設定し、設定された帯域幅毎に、通過可能なビデオコンテンツ同士の組合せ、ビデオコンテンツとオーディオコンテンツの組合せ、その他のコンテンツの組合せを、各コンテンツのビットレート情報を利用して抽出し、抽出した組合せを基にMPDを生成してもよい。これにより、ダウンロードするコンテンツのビットレートが予め設定された帯域幅を超えることを防ぎ、コンテンツのダウンロードを安定的に行うことができる。
 なお、上記では、コンテンツの組合せを示す情報として、コンビネーションのアトリビュートを生成(記述)する例を示したが、記述情報送信部23は、コンテンツの組合せを示す情報として、図22に示すようなエレメントで記述された情報を生成してもよい。組合せ情報または組合せ情報を含む記述情報(例えばMPD)を生成する方法も、本発明の範疇に含まれる。
 また、このような情報を生成する主体はサーバ2に限られず、サーバ2とは別の装置が生成してもよい。この場合、その装置が生成した情報を、サーバ2を介してクライアント1に送信してもよいし、その装置から直接クライアント1に送信してもよい。さらに、その装置が生成した情報を記録した記録媒体をクライアント1に提供し、クライアント1がその記録媒体から情報を読み出すようにしてもよい。
 〔組合せ情報のデータ構造、及び組合せ情報を記録した記録媒体について〕
 上述の実施形態で説明した、コンビネーションのアトリビュートやエレメント等のような、同時に再生するコンテンツの組合せを示す組合せ情報を含む記述情報のデータ構造は、本発明の範疇に含まれる。
 また、コンビネーションのアトリビュートやエレメント等のような、同時に再生するコンテンツの組合せを示す組合せ情報を記録した記録媒体も、本発明の範疇に含まれる。この記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/BD/CD-R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。なお、上記記録媒体には、組合せ情報が含まれていればよく、必ずしもMPDとして記述されている必要はない。
 〔実施形態の組合せについて〕
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
 〔ソフトウェアによる構成例〕
 最後に、クライアント1及びサーバ2の各ブロック、特にクライアント制御部10及びサーバ制御部20は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
 後者の場合、クライアント1及びサーバ2は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるクライアント1及びサーバ2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記クライアント1及びサーバ2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
 上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/BD/CD-R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
 また、クライアント1及びサーバ2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
 〔本発明の好ましい形態〕
 以上のように、本発明の再生装置は、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツの送信を上記サーバに要求する要求手段と、上記要求手段の要求に応じて上記サーバから送信されたコンテンツを、上記選択手段が選択した組合せで再生する再生手段とを備えていることを特徴としている。
 また、本発明の再生装置の制御方法は、以上のように、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置の制御方法であって、上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択ステップと、上記選択ステップで選択したコンテンツの送信を上記サーバに要求する要求ステップと、上記要求ステップにおける要求に応じて上記サーバから送信されたコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップとを含むことを特徴としている。
 上記の構成によれば、サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報には、同時に再生するコンテンツの組合せを示す組合せ情報が含まれている。そして、この組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を要求し、要求に応じて送信されたコンテンツを、選択した上記組合せで再生する。
 したがって、上記の構成によれば、組合せ情報が示す組合せで、コンテンツを同時に再生することができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
 また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが必須であるコンテンツを示す選択必須情報であり、上記選択手段は、選択したコンテンツに上記選択必須情報が対応付けられていた場合、該選択必須情報が示すコンテンツも選択することが好ましい。
 上記の構成によれば、選択したコンテンツに選択必須情報が対応付けられていた場合、その選択必須情報が示すコンテンツも選択する。つまり、選択必須情報が対応付けられているコンテンツは、単体で選択することはなく、選択必須情報が示すコンテンツと組み合わせて選択する。
 したがって、単体で選択されることが好ましくないコンテンツに選択必須情報を対応付けておくことにより、そのコンテンツが単体で再生されることを防ぎ、適切なコンテンツと組み合わせた再生を行うことができる。
 なお、選択必須情報が示すコンテンツは、1つであってもよいし、複数であってもよい。また、選択必須情報が示すコンテンツが複数である場合には、その複数のコンテンツのうち、予め定めた数のコンテンツの選択を必須としてもよいし、選択可能な全てのコンテンツの選択を必須としてもよい。
 また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが可能であるコンテンツを示す選択可能情報であり、上記選択手段は、選択したコンテンツに上記選択可能情報が対応付けられていた場合、該選択可能情報が示すコンテンツを選択の候補とすることが好ましい。
 上記の構成によれば、選択したコンテンツに選択可能情報が対応付けられていた場合、その選択可能情報が示すコンテンツを選択の候補とする。つまり、選択可能情報が対応付けられているコンテンツは、単体で選択することもできるし、選択可能情報が示すコンテンツと組み合わせて選択することもできる。
 したがって、単体で選択されてもよいし、他のコンテンツと組み合わせて選択されてもよいコンテンツに選択可能情報を対応付けておくことにより、そのコンテンツが単体で再生されることを許容しつつ、組み合わせて再生する場合には、適切なコンテンツと組み合わせた再生を行うことができる。
 また、上記再生装置は、外部の装置から上記選択対象コンテンツ情報を受信するための通信部を備え、上記選択手段は、上記通信部を介して受信した上記選択対象コンテンツ情報を用いてコンテンツを選択することが好ましい。
 上記の構成によれば、再生装置が通信部を介して受信した選択対象コンテンツ情報を用いてコンテンツを選択するので、再生装置に選択対象コンテンツ情報を送信することによって、送信した選択対象コンテンツ情報に基づいたコンテンツ再生を再生装置に行わせることができる。
 なお、上記外部の装置は、上記サーバであってもよいし、他の装置であってもよい。また、選択対象コンテンツ情報は、上記サーバによって生成されたものであってもよいし、それ以外の装置で生成されたものであってもよい。
 また、上記選択対象コンテンツ情報では、上記サーバに要求可能な複数のコンテンツの一部について、上記組合せ情報が対応付けられており、上記選択手段は、上記組合せ情報が対応付けられているコンテンツを選択すると共に、該コンテンツに対応付けられている上記組合せ情報に従って、該コンテンツと同時に再生するコンテンツを選択することが好ましい。
 上記の構成によれば、組合せ情報が対応付けられているコンテンツを選択し、そのコンテンツに対応付けられている組合せ情報に従って、そのコンテンツと同時に再生するコンテンツを選択する。
 したがって、上記の構成によれば、選択対象コンテンツ情報に、組合せ情報が対応付けられていないコンテンツが含まれている場合であっても、組合せ情報に従った適切な選択が可能になる。
 また、上記コンテンツは複数のグループに分類されており、異なるグループに属するコンテンツは同時に再生することが可能であり、上記選択対象コンテンツ情報は、各コンテンツが属するグループを示すグループ属性情報を含み、上記選択手段は、上記グループ属性情報を参照して、上記組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択することが好ましい。
 上記構成のように、コンテンツをグループ分けすることにより、コンテンツの管理が容易になる。そして、上記の構成によれば、グループ属性情報を参照して、組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択するので、同時に再生可能なコンテンツの組合せが選択される。
 また、上記再生装置は、上記選択対象コンテンツ情報では、上記グループ毎に上記組合せ情報が対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、上記グループの少なくとも1つを指定するグループ指定情報であり、上記選択手段は、選択したコンテンツの属するグループに上記グループ指定情報が対応付けられていた場合、当該グループ指定情報で指定されるグループに属するコンテンツを選択するか、または選択の候補とすることが好ましい。
 上記の構成によれば、選択対象コンテンツ情報ではグループ毎に組合せ情報が対応付けられており、組合せ情報の少なくとも1つは少なくとも1つのグループを指定するグループ指定情報である。そして、選択したコンテンツの属するグループにグループ指定情報が対応付けられていた場合、当該グループ指定情報で指定されるグループに属するコンテンツを選択するか、または選択の候補とする。
 すなわち、上記の構成によれば、グループ指定情報によって選択する(または選択の候補とする)グループを絞り込むので、適切な組合せでコンテンツを容易に選択することができる。
 また、上記再生装置は、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、対応付けられているコンテンツが、選択必須であること、選択可能であること、または単独で選択することができないことを示す情報を含み、上記選択手段は、該情報に従ってコンテンツを選択することが好ましい。
 上記の構成によれば、選択対象コンテンツ情報では、コンテンツと組合せ情報とが対応付けられており、組合せ情報の少なくとも1つは、対応付けられているコンテンツが、選択必須であること、選択可能であること、または単独で選択することができないことを示す情報を含み、該情報に従ってコンテンツを選択する。
 すなわち、上記の構成によれば、選択必須であることを示す情報が対応付けられているコンテンツがあればこれを選択し、選択可能であることを示す情報が対応付けられているコンテンツがあればこれを選択の候補とする。また、単独で選択することができないことを示す情報が対応付けられているコンテンツがあれば、他のコンテンツを選択している場合にのみこれを選択するかまたは選択の候補とする。したがって、適切な組合せでコンテンツを容易に選択することができる。
 また、上記再生装置は、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記組合せ情報は、コンテンツの組み合わせ毎に設定された組合せ識別子であり、上記選択手段は、同一の組合せ識別子が対応付けられているコンテンツを選択するか、または選択の候補とする構成であってもよい。
 上記の構成によれば、選択対象コンテンツ情報では、コンテンツと組合せ情報とが対応付けられており、組合せ情報は、コンテンツの組み合わせ毎に設定された組合せ識別子であり、同一の組合せ識別子が対応付けられているコンテンツを選択するか、または選択の候補とする。
 すなわち、上記の構成によれば、同一の組合せ識別子が対応付けられたコンテンツを選択する(または選択の候補とする)ので、適切な組み合わせのコンテンツに同一の組合せ識別子を予め設定しておくことにより、適切な組合せでコンテンツを容易に選択することができる。
 さらに、上記の構成によれば、組み合わせ対象となるコンテンツを直接的に指定していないため、新たなコンテンツを選択対象コンテンツ情報に追加する場合に、追加するコンテンツに適当な組合せ識別子を対応付けるという簡易な処理で、このコンテンツを組み合わせに含めることができる。
 また、本発明の生成装置は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段とを備えていることを特徴としている。
 そして、本発明の生成装置の制御方法は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置の制御方法であって、上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップとを含むことを特徴としている。
 上記の構成によれば、コンテンツの組合せ条件を示す組合せ条件情報を参照して、同時に再生するコンテンツの組合せを決定し、決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する。
 したがって、再生装置は、このようにして生成された選択対象コンテンツ情報を取得することによって、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
 これにより、再生装置に、組合せ条件を満たす組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、組合せ条件を満たす組合せでコンテンツを容易に選択することができる。
 また、本発明の記録媒体は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を記録したコンピュータ読み取り可能な記録媒体であって、上記選択対象コンテンツ情報は、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含むことを特徴としている。
 この記録媒体から選択対称コンテンツ情報を読み出した再生装置は、サーバに要求可能なコンテンツを特定することができると共に、組合せ条件情報が示す組合せ条件を満たすコンテンツの組合せを特定することができる。
 これにより、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
 また、本発明のデータ構造は、コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報のデータ構造であって、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、上記再生装置が、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することを特徴としている。
 上記のデータ構造は、サーバに要求可能なコンテンツを示す情報と、同時に再生するコンテンツの組合せを示す組合せ情報とを含んでいるため、再生装置は、このデータ構造を利用することにより、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することができる。
 したがって、再生装置に、組合せ情報が示す組合せで、コンテンツを同時に再生させることができる。そして、再生装置は、組合せ情報を参照してコンテンツを決定することにより、各コンテンツの組合せの適否を判断することなく、適切な組合せでコンテンツを容易に選択することができる。
 また、上記データ構造では、上記組合せ情報が示すコンテンツの組合せは、異なる種類のコンテンツの組合せであってもよい。
 この場合、異なるコンテンツの組合せによるバラエティに富んだコンテンツを提供することができる。なお、異なる種類のコンテンツとは、例えばビデオコンテンツ、オーディオコンテンツ、及び文字コンテンツのような、データの出力形式が異なるコンテンツを指す。また、組み合わせるコンテンツは、2種類であってもよいし、3種類以上であってもよい。
 また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが必須であるコンテンツを示す選択必須情報であり、上記再生装置が、選択したコンテンツに上記選択必須情報が対応付けられていた場合、該選択必須情報が示すコンテンツも選択することが好ましい。
 上記の構成によれば、再生装置は、選択したコンテンツに選択必須情報が対応付けられていた場合、その選択必須情報が示すコンテンツも選択する。つまり、選択必須情報が対応付けられているコンテンツは、単体で選択されることはなく、選択必須情報が示すコンテンツと組み合わせて選択される。
 したがって、上記データ構造によれば、単体で選択されることが好ましくないコンテンツに選択必須情報を対応付けておくことにより、そのコンテンツが単体で再生されることを防ぎ、適切なコンテンツと組み合わせた再生を再生装置に行わせることができる。
 また、上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが可能であるコンテンツを示す選択可能情報であり、上記再生装置が、選択したコンテンツに上記選択可能情報が対応付けられていた場合、該選択可能情報が示すコンテンツを選択の候補とすることが好ましい。
 上記の構成によれば、再生装置は、選択したコンテンツに選択可能情報が対応付けられていた場合、その選択可能情報が示すコンテンツを選択の候補とする。つまり、選択可能情報が対応付けられているコンテンツは、単体で選択することもできるし、選択可能情報が示すコンテンツと組み合わせて選択することもできる。
 したがって、上記データ構造によれば、単体で選択されてもよいし、他のコンテンツと組み合わせて選択されてもよいコンテンツに選択可能情報を対応付けておくことにより、そのコンテンツを再生装置が単体で再生することを許容しつつ、組み合わせて再生する場合には、適切なコンテンツと組み合わせた再生を行わせることができる。
 また、上記コンテンツは複数のグループに分類されており、異なるグループに属するコンテンツは同時に再生することが可能であり、上記選択対象コンテンツ情報は、各コンテンツが属するグループを示すグループ属性情報を含み、上記再生装置が、上記グループ属性情報を参照して、上記組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択することが好ましい。
 上記構成のように、コンテンツをグループ分けすることにより、コンテンツの管理が容易になる。そして、再生装置は、グループ属性情報を参照して、組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択する。
 したがって、上記のデータ構造によれば、同時に再生可能なコンテンツの組合せを再生装置に選択させることができる。
 なお、上記再生装置及び上記生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記再生装置及び上記生成装置の各手段として動作させることにより、上記再生装置及び上記生成装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
 本発明は、ネットワークを介して取得したコンテンツを再生する再生装置等に利用することができる。
 1 クライアント(再生装置)
 2 サーバ(生成装置)
12 クライアント通信部(通信部)
13 コンテンツ選択部(選択手段)
14 リクエスト実行部(要求手段)
15 コンテンツ再生部(再生手段)
23 記述情報送信部(組合せ決定手段、生成手段)
25 コンテンツ
26 記述情報(選択対象コンテンツ情報)

Claims (21)

  1.  サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置であって、
     上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択手段と、
     上記選択手段が選択したコンテンツの送信を上記サーバに要求する要求手段と、
     上記要求手段の要求に応じて上記サーバから送信されたコンテンツを、上記選択手段が選択した組合せで再生する再生手段とを備えていることを特徴とする再生装置。
  2.  上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、
     上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが必須であるコンテンツを示す選択必須情報であり、
     上記選択手段は、選択したコンテンツに上記選択必須情報が対応付けられていた場合、該選択必須情報が示すコンテンツも選択することを特徴とする請求項1に記載の再生装置。
  3.  上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、
     上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが可能であるコンテンツを示す選択可能情報であり、
     上記選択手段は、選択したコンテンツに上記選択可能情報が対応付けられていた場合、該選択可能情報が示すコンテンツを選択の候補とすることを特徴とする請求項1または2に記載の再生装置。
  4.  外部の装置から上記選択対象コンテンツ情報を受信するための通信部を備え、
     上記選択手段は、上記通信部を介して受信した上記選択対象コンテンツ情報を用いてコンテンツを選択することを特徴とする請求項1から3の何れか1項に記載の再生装置。
  5.  上記選択対象コンテンツ情報では、上記サーバに要求可能な複数のコンテンツの一部について、上記組合せ情報が対応付けられており、
     上記選択手段は、上記組合せ情報が対応付けられているコンテンツを選択すると共に、該コンテンツに対応付けられている上記組合せ情報に従って、該コンテンツと同時に再生するコンテンツを選択することを特徴とする請求項1から4の何れか1項に記載の再生装置。
  6.  上記コンテンツは複数のグループに分類されており、異なるグループに属するコンテンツは同時に再生することが可能であり、
     上記選択対象コンテンツ情報は、各コンテンツが属するグループを示すグループ属性情報を含み、
     上記選択手段は、上記グループ属性情報を参照して、上記組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択することを特徴とする請求項1から5の何れか1項に記載の再生装置。
  7.  上記選択対象コンテンツ情報では、上記グループ毎に上記組合せ情報が対応付けられており、
     上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、上記グループの少なくとも1つを指定するグループ指定情報であり、
     上記選択手段は、選択したコンテンツの属するグループに上記グループ指定情報が対応付けられていた場合、当該グループ指定情報で指定されるグループに属するコンテンツを選択するか、または選択の候補とすることを特徴とする請求項6に記載の再生装置。
  8.  上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、
     上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、対応付けられているコンテンツが、選択必須であること、選択可能であること、または単独で選択することができないことを示す情報を含み、
     上記選択手段は、該情報に従ってコンテンツを選択することを特徴とする請求項1から7の何れか1項に記載の再生装置。
  9.  上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、
     上記組合せ情報は、コンテンツの組み合わせ毎に設定された組合せ識別子であり、
     上記選択手段は、同一の組合せ識別子が対応付けられているコンテンツを選択するか、または選択の候補とすることを特徴とする請求項1に記載の再生装置。
  10.  サーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を参照して選択したコンテンツを上記サーバに要求し、該要求に応じて送信されたコンテンツを再生する再生装置の制御方法であって、
     上記選択対象コンテンツ情報に含まれる、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報に従ってコンテンツを選択する選択ステップと、
     上記選択ステップで選択したコンテンツの送信を上記サーバに要求する要求ステップと、
     上記要求ステップにおける要求に応じて上記サーバから送信されたコンテンツを、上記選択ステップで選択した組合せで再生する再生ステップとを含むことを特徴とする再生装置の制御方法。
  11.  コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置であって、
     上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定手段と、
     上記組合せ決定手段が決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成手段とを備えていることを特徴とする生成装置。
  12.  コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を生成する生成装置の制御方法であって、
     上記コンテンツの組合せ条件を示す組合せ条件情報を参照して、上記サーバに要求可能なコンテンツのうち、同時に再生する上記コンテンツの組合せを決定する組合せ決定ステップと、
     上記組合せ決定ステップで決定した組合せを示す組合せ情報を含む選択対象コンテンツ情報を生成する生成ステップとを含むことを特徴とする生成装置の制御方法。
  13.  コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報を記録したコンピュータ読み取り可能な記録媒体であって、
     上記選択対象コンテンツ情報は、上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含むことを特徴とする記録媒体。
  14.  コンテンツを再生する再生装置がサーバに要求可能なコンテンツを示す情報を少なくとも含む選択対象コンテンツ情報のデータ構造であって、
     上記サーバに要求可能なコンテンツのうち、同時に再生するコンテンツの組合せを示す組合せ情報を含み、
     上記再生装置が、上記選択対象コンテンツ情報が示すコンテンツから、上記組合せ情報に従ってコンテンツを選択し、選択したコンテンツの送信を上記サーバに要求し、該要求に応じて上記サーバから送信されたコンテンツを、選択した組合せで再生することを特徴とするデータ構造。
  15.  上記組合せ情報が示すコンテンツの組合せは、異なる種類のコンテンツの組合せであることを特徴とする請求項14に記載のデータ構造。
  16.  上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、
     上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが必須であるコンテンツを示す選択必須情報であり、
     上記再生装置が、選択したコンテンツに上記選択必須情報が対応付けられていた場合、該選択必須情報が示すコンテンツも選択することを特徴とする請求項14または15に記載のデータ構造。
  17.  上記選択対象コンテンツ情報では、コンテンツと上記組合せ情報とが対応付けられており、
     上記選択対象コンテンツ情報に含まれる上記組合せ情報の少なくとも1つは、同時に再生することが可能であるコンテンツを示す選択可能情報であり、
     上記再生装置が、選択したコンテンツに上記選択可能情報が対応付けられていた場合、該選択可能情報が示すコンテンツを選択の候補とすることを特徴とする請求項14から16の何れか1項に記載のデータ構造。
  18.  上記コンテンツは複数のグループに分類されており、異なるグループに属するコンテンツは同時に再生することが可能であり、
     上記選択対象コンテンツ情報は、各コンテンツが属するグループを示すグループ属性情報を含み、
     上記再生装置が、上記グループ属性情報を参照して、上記組合せ情報が示す組合せのうち、異なるグループに属するコンテンツの組合せを選択することを特徴とする請求項14から17の何れか1項に記載のデータ構造。
  19.  請求項1から9の何れか1項に記載の再生装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  20.  請求項11に記載の生成装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  21.  請求項19または20に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2012/050147 2011-01-07 2012-01-06 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体 WO2012093714A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP12732314.5A EP2663073A4 (en) 2011-01-07 2012-01-06 PLAYING DEVICE, METHOD FOR CONTROLLING THE PLAYING DEVICE, PRODUCING DEVICE, METHOD FOR CONTROLLING THE PRODUCTION DEVICE, RECORDING MEDIUM, DATA STRUCTURE, CONTROL PROGRAM AND RECORDING MEDIA WITH THIS PROGRAM
JP2012551883A JP5829626B2 (ja) 2011-01-07 2012-01-06 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
DE112012000421.3T DE112012000421B4 (de) 2011-01-07 2012-01-06 Wiedergabevorrichtung, Verfahren zum Steuern der Wiedergabevorrichtung, Erzeugungsvorrichtung, Verfahren zum Steuern der Erzeugungsvorrichtung, Aufzeichnungsmedium, Datenstruktur, Steuerprogramm und Aufzeichnungsmedium, auf welchem das Programm gespeichert ist
CN2012800048527A CN103299616A (zh) 2011-01-07 2012-01-06 再生装置及其控制方法、生成装置及其控制方法、记录介质、数据结构、控制程序以及记录了该程序的记录介质
US13/978,274 US20130282876A1 (en) 2011-01-07 2012-01-06 Reproduction device, method for controlling reproduction device, generation device, method for controlling generation device, recording medium, data structure, control program, and recording medium containing said program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-002046 2011-01-07
JP2011002046 2011-01-07
JP2011-133654 2011-06-15
JP2011133654 2011-06-15

Publications (1)

Publication Number Publication Date
WO2012093714A1 true WO2012093714A1 (ja) 2012-07-12

Family

ID=46457564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050147 WO2012093714A1 (ja) 2011-01-07 2012-01-06 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、記録媒体、データ構造、制御プログラム、及び該プログラムを記録した記録媒体

Country Status (6)

Country Link
US (1) US20130282876A1 (ja)
EP (1) EP2663073A4 (ja)
JP (2) JP5829626B2 (ja)
CN (2) CN107087223A (ja)
DE (1) DE112012000421B4 (ja)
WO (1) WO2012093714A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015001947A1 (ja) * 2013-07-05 2015-01-08 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015152281A1 (ja) * 2014-04-02 2015-10-08 シャープ株式会社 再生装置、配信装置
US20160037206A1 (en) * 2013-04-18 2016-02-04 Sony Corporation Transmission apparatus, metafile transmission method, reception apparatus, and reception processing method
JP2016521497A (ja) * 2013-04-16 2016-07-21 キヤノン株式会社 パーティションで分割された時分割メディアデータをストリーミングするための方法、装置、およびコンピュータプログラム
JP2019054416A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105351B (zh) * 2011-01-12 2019-10-11 夏普株式会社 再生装置
US9906594B2 (en) * 2012-02-21 2018-02-27 Prysm, Inc. Techniques for shaping real-time content between multiple endpoints
JP6174326B2 (ja) * 2013-01-23 2017-08-02 日本放送協会 音響信号作成装置及び音響信号再生装置
CN105408916B (zh) * 2013-07-26 2019-07-23 华为技术有限公司 用于自适应流媒体中的空间自适应的系统和方法
US20150271541A1 (en) * 2014-03-19 2015-09-24 Time Warner Cable Enterprises Llc Apparatus and methods for recording a media stream
US10375452B2 (en) 2015-04-14 2019-08-06 Time Warner Cable Enterprises Llc Apparatus and methods for thumbnail generation
US10652594B2 (en) 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
CN109845273A (zh) * 2016-10-13 2019-06-04 夏普株式会社 用于实现与数字媒体分发相关联的通信的系统和方法
WO2018142945A1 (ja) * 2017-01-31 2018-08-09 ソニー株式会社 情報処理装置および方法
JPWO2018173876A1 (ja) * 2017-03-24 2020-01-30 ソニー株式会社 コンテンツ処理装置およびコンテンツ処理方法、並びにプログラム
JP7351340B2 (ja) * 2019-08-19 2023-09-27 日本電信電話株式会社 制御装置、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070646A (ja) * 2002-08-06 2004-03-04 Yamaha Corp 情報端末装置、サーバ装置、コンテンツ配信システム、コンテンツの同時再生制限方法、及びプログラム
JP2005110244A (ja) 2003-09-27 2005-04-21 Lg Electronics Inc マルチメディアストリーミングサービスシステム及びその方法
JP2008022568A (ja) * 2005-08-25 2008-01-31 Sony Corp データ生成方法、データ構造、記録装置および方法、並びに、プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282774A (ja) * 1998-03-31 1999-10-15 Nippon Telegr & Teleph Corp <Ntt> マルチメディア統合化方法及びシステム並びにマルチメディア統合化プログラムを記録した記録媒体
JP2001346139A (ja) * 2000-06-05 2001-12-14 Canon Inc 情報処理方法及び装置
JP3752968B2 (ja) * 2000-06-08 2006-03-08 日本電気株式会社 データ記録方法、装置、およびプログラムを記録した記録媒体
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
US7908628B2 (en) * 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
KR100892977B1 (ko) * 2002-11-16 2009-04-10 엘지전자 주식회사 대화형 광디스크 장치에서의 콘텐츠 정보 재생방법과,콘텐츠 제공서버에서의 콘텐츠 정보 제공방법
JP4954247B2 (ja) * 2002-12-12 2012-06-13 シャープ株式会社 マルチメディアデータ処理装置およびマルチメディアコンテンツデータのデータ構造
US7650625B2 (en) * 2002-12-16 2010-01-19 Lsi Corporation System and method for controlling audio and video content via an advanced settop box
JP4308555B2 (ja) * 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
JP4232745B2 (ja) * 2005-02-09 2009-03-04 ソニー株式会社 コンテンツ再生システム、コンテンツ再生装置、コンテンツ再生方法
US7974253B2 (en) * 2005-03-08 2011-07-05 Qualcomm Incorporated Methods and apparatus for implementing and using a rate indicator
JP2008536433A (ja) * 2005-04-15 2008-09-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 放送されるオーディオ‐ビデオ・コンテンツを,局所的に入手できる情報と組合せるための方法,エンドユーザシステム,信号及び伝送システム
JP4893076B2 (ja) * 2006-04-12 2012-03-07 株式会社Jvcケンウッド データ再生装置、データ再生方法、ならびに、プログラム
US8004535B2 (en) * 2006-06-01 2011-08-23 Qualcomm Incorporated Apparatus and method for selectively double buffering portions of displayable content
KR101367606B1 (ko) * 2006-06-15 2014-03-12 소니 주식회사 정보처리장치 및 정보처리방법과 컴퓨터·프로그램
JP4720676B2 (ja) * 2006-08-25 2011-07-13 ソニー株式会社 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
US20090319931A1 (en) * 2006-11-07 2009-12-24 Hutchings Christopher J Visual Intelligence Systems
JP4379471B2 (ja) * 2006-12-29 2009-12-09 ソニー株式会社 再生装置および再生制御方法
US8272008B2 (en) * 2007-02-28 2012-09-18 At&T Intellectual Property I, L.P. Methods, systems, and products for retrieving audio signals
FR2923305B1 (fr) * 2007-11-02 2011-04-29 Inside Contactless Procede et dispositifs de protection d'un microcircuit contre des attaques visant a decouvrir une donnee secrete
JP4958748B2 (ja) * 2007-11-27 2012-06-20 キヤノン株式会社 音声処理装置、映像処理装置及びそれらの制御方法
US8265137B2 (en) * 2008-07-31 2012-09-11 At&T Intellectual Property I, L.P. Adaptive language descriptors
US8655146B2 (en) * 2009-03-31 2014-02-18 Broadcom Corporation Collection and concurrent integration of supplemental information related to currently playing media
EP2422514A1 (en) * 2009-04-20 2012-02-29 Koninklijke Philips Electronics N.V. Verification and synchronization of files obtained separately from a video content
US9917874B2 (en) * 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
KR101786050B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
KR101786051B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
US9323921B2 (en) * 2010-07-13 2016-04-26 Microsoft Technology Licensing, Llc Ultra-low cost sandboxing for application appliances
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070646A (ja) * 2002-08-06 2004-03-04 Yamaha Corp 情報端末装置、サーバ装置、コンテンツ配信システム、コンテンツの同時再生制限方法、及びプログラム
JP2005110244A (ja) 2003-09-27 2005-04-21 Lg Electronics Inc マルチメディアストリーミングサービスシステム及びその方法
JP2008022568A (ja) * 2005-08-25 2008-01-31 Sony Corp データ生成方法、データ構造、記録装置および方法、並びに、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2663073A4

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018182760A (ja) * 2013-04-16 2018-11-15 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
US11019408B2 (en) 2013-04-16 2021-05-25 Canon Kabushiki Kaisha Methods, devices, and computer programs for streaming partitioned timed media data
JP2016521497A (ja) * 2013-04-16 2016-07-21 キヤノン株式会社 パーティションで分割された時分割メディアデータをストリーミングするための方法、装置、およびコンピュータプログラム
US20160037206A1 (en) * 2013-04-18 2016-02-04 Sony Corporation Transmission apparatus, metafile transmission method, reception apparatus, and reception processing method
US10219024B2 (en) * 2013-04-18 2019-02-26 Saturn Licensing Llc Transmission apparatus, metafile transmission method, reception apparatus, and reception processing method
JPWO2015001947A1 (ja) * 2013-07-05 2017-02-23 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015001947A1 (ja) * 2013-07-05 2015-01-08 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN105340281A (zh) * 2013-07-05 2016-02-17 索尼公司 发送装置、发送方法、接收装置和接收方法
CN105340281B (zh) * 2013-07-05 2019-06-28 索尼公司 发送装置、发送方法、接收装置和接收方法
US11330311B2 (en) 2013-07-05 2022-05-10 Saturn Licensing Llc Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
CN106031184A (zh) * 2014-04-02 2016-10-12 夏普株式会社 再生装置、分发装置
WO2015152281A1 (ja) * 2014-04-02 2015-10-08 シャープ株式会社 再生装置、配信装置
JP2019054416A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
JP7035401B2 (ja) 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置

Also Published As

Publication number Publication date
JP2016007015A (ja) 2016-01-14
CN107087223A (zh) 2017-08-22
EP2663073A1 (en) 2013-11-13
EP2663073A4 (en) 2015-04-15
JP5829626B2 (ja) 2015-12-09
DE112012000421T5 (de) 2013-10-10
CN103299616A (zh) 2013-09-11
DE112012000421B4 (de) 2018-02-15
US20130282876A1 (en) 2013-10-24
JPWO2012093714A1 (ja) 2014-06-09

Similar Documents

Publication Publication Date Title
JP5829626B2 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
US9591361B2 (en) Streaming of multimedia data from multiple sources
KR102551081B1 (ko) 고품질의 경험을 위한 오디오 메시지들의 효율적인 전달 및 사용을 위한 방법 및 장치
US9699486B2 (en) Method and apparatus for transmitting and receiving data
CN104904225A (zh) 用于对视频数据进行流传输的方法和相应装置
US11252397B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
JP7238948B2 (ja) 情報処理装置および情報処理方法
JP6944131B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP2019110542A (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム
WO2018142946A1 (ja) 情報処理装置および方法
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
WO2018142947A1 (ja) 情報処理装置および方法
JP2018074349A (ja) 映像処理装置、映像処理方法および映像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12732314

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012551883

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13978274

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112012000421

Country of ref document: DE

Ref document number: 1120120004213

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2012732314

Country of ref document: EP