CN107683604A - 生成装置 - Google Patents

生成装置 Download PDF

Info

Publication number
CN107683604A
CN107683604A CN201680034943.3A CN201680034943A CN107683604A CN 107683604 A CN107683604 A CN 107683604A CN 201680034943 A CN201680034943 A CN 201680034943A CN 107683604 A CN107683604 A CN 107683604A
Authority
CN
China
Prior art keywords
information
image
target
media data
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680034943.3A
Other languages
English (en)
Inventor
渡部秀
渡部秀一
岩波琢也
倪婵斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN107683604A publication Critical patent/CN107683604A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

生成能够利用于影像数据的再现、管理的新的描述信息。拍摄装置(1)具备：对象信息获取部(17)，其获取表示影像中的规定的目标的位置的位置信息；以及资源信息生成部(18)，其生成包含上述位置信息的资源信息，来作为与上述影像的数据相关的描述信息。

Description

生成装置
技术领域
本发明涉及一种能够利用于影像的再现的描述信息的生成装置、发送该描述信息的发送装置、以及使用该描述信息而再现影像的再现装置等。
背景技术
近年来，例如数码相机、带拍摄功能的智能手机、平板电脑等拍摄装置广泛普及，特别是以智能手机为首的、能够携带且具备拍摄功能的装置爆发性地普及。而且，由此，许多用户拥有大量的媒体数据，而且这样的媒体数据在网络(云)上积累的量也变得庞大。
而且，在这样的媒体数据的管理中使用由GPS(Global Positioning System)获取的定位信息、表示拍摄时获取的拍摄时刻等的描述信息(元数据)。例如，下述的非专利文献1所记载的EXIF(Exchangeable image file format)限定图像用的描述信息。通过将这样的描述信息预先附加于媒体数据，从而能够以拍摄位置、拍摄时刻为基准整理并管理媒体数据。
现有技术文献
非专利文件
非专利文献1：“Exif Exchangeable Image File Format,
Version 2.2”，[online]，[平成27年6月12日检索]，因特网〈URL：http://www.digitalpreservation.gov/formats/fdd/fdd000146.shtml〉
发明内容
本发明所要解决的技术问题
然而，如上述那样，近来各种用户所拍摄的各种影像积累，就连仅在表示拍摄位置、拍摄时刻的描述信息中，从庞大的影像中抽出所要的影像也是较困难的。
本发明是鉴于上述的点而完成的，其目的在于，提供一种能够生成可利用于影像数据的再现、管理等的新的描述信息的生成装置等。
解决问题的手段
为了解决上述的课题，本发明的一方式所涉及的生成装置，其生成与影像的数据相关的描述信息，且具备：对象信息获取部，其获取表示上述影像中的规定的目标的位置的位置信息；以及描述信息生成部，其生成包含上述位置信息的描述信息，来作为与上述影像的数据相关的描述信息。
此外，为了解决上述的课题，本发明的一方式所涉及的其他的生成装置，其生成与影像的数据相关的描述信息，且具备：对象信息获取部，其获取表示上述影像中的规定的目标的位置的位置信息；拍摄信息获取部，其获取表示拍摄了上述影像的拍摄装置的位置的位置信息；以及描述信息生成部，其生成包括表示包含上述对象信息获取部获取的位置信息、与上述拍摄信息获取部获取的位置信息中的任一个位置信息的信息、并且包括该信息表示的位置信息的描述信息，来作为与上述影像的数据相关的描述信息。
而且，为了解决上述的课题，本发明的一方式所涉及的再一其他的生成装置，其生成与运动图像的数据相关的描述信息，且具备：信息获取部，其分别获取从上述运动图像的开始拍摄至结束的多个不同时刻的、表示该运动图像的拍摄位置或者上述运动图像中的规定的目标的位置的位置信息；以及描述信息生成部，其生成包含多个不同时刻的上述位置信息的描述信息，来作为与上述运动图像的数据相关的描述信息。
发明效果
根据本发明的上述各方式，起到能够生成可利用于影像数据的再现、管理的新的描述信息这样的效果。
附图说明
图1是表示本发明的实施方式一所涉及的媒体相关信息生成系统所包括的各装置的主要部分结构的例子的框图。
图2是对上述媒体相关信息生成系统的概要进行说明的图。
图3是表示使用资源信息而再现媒体数据的例子的图。
图4是表示拍摄装置生成资源信息的例子、和拍摄装置与服务器生成资源信息的例子的图。
图5是表示再现信息的描述和控制单位的例子的图。
图6是表示以静止图像作为对象的资源信息的句法的一个例子的图。
图7是表示以运动图像作为对象的资源信息的句法的一个例子的图。
图8是表示媒体数据为静止图像的情形下生成资源信息的处理的一个例子的流程图。
图9是表示媒体数据为运动图像的情形下生成资源信息的处理的一个例子的流程图。
图10是表示环境信息的句法的例子的图。
图11是表示规定了两个媒体数据的再现方式的再现信息的例子的图。
图12是表示规定了两个媒体数据的再现方式的再现信息的其他的例子的图。
图13是表示包含时刻转换的信息的再现信息的例子的图。
图14是表示通过位置指定信息来指定再现对象的媒体数据的再现信息的例子的图。
图15是对再现严格来说与指定位置不一致的附近位置的影像的优点进行说明的图。
图16是表示通过位置指定信息来指定再现对象的媒体数据的再现信息的其他的例子的图。
图17是表示通过位置指定信息和时期指定信息的对(pair)来指定再现对象的媒体数据的再现信息的例子的图。
图18是表示通过位置指定信息和时期指定信息的对来指定再现对象的媒体数据的再现信息的其他的例子的图。
图19是对本发明的实施方式二所涉及的媒体相关信息生成系统的概要的一部分进行说明的图。
图20是表示以静止图像作为对象的资源信息的句法的一个例子的图。
图21是表示以运动图像作为对象的资源信息的句法的一个例子的图。
图22是表示规定了媒体数据的再现方式的再现信息的例子的图。
图23是表示拍摄装置的视场以及视心的图。
图24是表示图19的拍摄装置的视场以及视心的图。
图25是表示规定了媒体数据的再现方式的再现信息的其他的例子的图。
具体实施方式
〔实施方式一〕
以下，根据图1至图18对本发明的实施方式一详细地进行说明。
〔系统的概要〕
首先，根据图2对本实施方式所涉及的媒体相关信息生成系统100的概要进行说明。图2是对媒体相关信息生成系统100的概要进行说明的图。媒体相关信息生成系统100例如是生成运动图像、静止图像等与媒体数据的再现相关的描述信息(元数据)的系统，如图示那样，包括拍摄装置(生成装置)1、服务器(生成装置)2以及再现装置3。
拍摄装置1具备拍摄影像(运动图像或者静止图像)的功能，并且具备生成包括表示拍摄时刻的时刻信息、以及表示拍摄位置或者拍摄对象的目标(object)的位置的位置信息的资源信息(RI：Resource Information)的功能。图示的例子中，#1～#M的M台的拍摄装置1以包围拍摄对象的目标的方式配置为圆形，但拍摄装置1至少为1台即可，而且拍摄装置1的配置(相对于目标的相对位置)也是任意的。详细情形将在下文中叙述，但在资源信息包括目标的位置信息的情形下，容易与一个目标相关的媒体数据同步再现。
服务器2从拍摄装置1获取由拍摄获得的媒体数据(静止图像或者运动图像)和上述的资源信息而发送至再现装置3。另外，服务器2也具备通过对从拍摄装置1接收的媒体数据进行解析而新生成资源信息的功能，在生成了资源信息时，将生成的资源信息发送至再现装置3。
此外，服务器2也具备使用从拍摄装置1获取的资源信息而生成再现信息(PI：Presentation Information)的功能，在生成了再现信息时，也将生成的再现信息发送至再现装置3。详细情形将在下文中叙述，但再现信息是规定了媒体数据的再现方式的信息，再现装置3通过参照该再现信息，从而能够以与资源信息对应的方式再现媒体数据。另外，本图中示出服务器2为1台装置的例子，但也可以利用云技术而假想地通过多台装置构成服务器2。
再现装置3是再现从服务器2获取的媒体数据的装置。如上述那样，服务器2将资源信息与媒体数据一起发送至再现装置3，因此再现装置3使用接收的资源信息而再现媒体数据。此外，在与媒体数据一起接收了再现信息的情形下，也能够使用再现信息而再现媒体数据。此外，再现装置3也具备生成表示再现装置3的位置、朝向等的环境信息(EI：Environment Information)的功能，参照环境信息而再现媒体数据。另外，环境信息的详细情形将在下文中叙述。
在图示的例子中，#1～#N的N台再现装置3以包围视听媒体数据的用户的方式配置为圆形，但再现装置3只要至少为1台即可，而且再现装置3的配置(相对于用户的相对位置)也是任意的。
〔基于资源信息的再现的例子〕
接下来，根据图3对基于资源信息的再现的例子进行说明。图3是表示使用资源信息而再现媒体数据的例子的图。资源信息包括时刻信息和位置信息，因此通过参照资源信息，能够从多个媒体数据中抽出在时间上以及位置上接近的拍摄的媒体数据。此外，通过参照资源信息，也能够使时刻以及位置同步而再现抽出的媒体数据。
例如，在节日、音乐会等很多用户同时参加的集会中，各参加者通过智能手机等以自己的方式进行拍摄。对于这样的拍摄所获得的媒体数据而言，拍摄的目标、拍摄时刻均为多样的。但是，以往技术中，未进行将上述那样的资源信息赋予媒体数据。因此，抽出拍摄了相同的目标的媒体数据需要影像解析等，拍摄了相同的目标的媒体数据的同步再现门槛较高。
与此相对，对于媒体相关信息生成系统100而言，对各媒体数据赋予资源信息，因此通过参照该资源信息，能够容易地将拍摄的目标相同的媒体数据抽出。例如，也能够抽出拍摄了特定的人物的影像。
此外，资源信息包括位置信息，因此也能够以与该位置信息所表示的位置对应的方式再现媒体数据。例如，考虑到了再现在相同的时刻分别通过不同的拍摄装置1拍摄相同的目标而获得的A～C三个媒体数据的情形。该情形下，如该图的(a)那样如果再现装置3为一个，则能够使各媒体数据的显示位置成为该媒体数据的拍摄位置、或者同拍摄装置1与目标位置的距离对应的位置。
此外，资源信息能够包括表示目标的朝向的方向信息。通过参照该方向信息，例如也能够使从目标的正面的拍摄获得的媒体数据显示于显示画面的中央，使从目标的侧方的拍摄获得的媒体数据显示于显示画面的侧方。
此外，也可以如该图的(b)那样，在多个再现装置3存在的情形下，使包括与该再现装置3的位置对应的位置信息的资源信息所关联的媒体数据显示。例如，使拍摄了拍摄位置的左斜前方的目标的媒体数据在用户的左斜前方的再现装置3再现，也能够使拍摄了拍摄位置的正面的目标的媒体数据在用户的正面的再现装置3再现。这样，资源信息也能够利用于多个再现装置3的媒体数据的同步再现。
〔各装置的主要部分结构〕
接下来，根据图1对媒体相关信息生成系统100所包括的各装置的主要部分结构进行说明。图1是表示媒体相关信息生成系统100所包括的各装置的主要部分结构的例子的框图。
〔拍摄装置的主要部分结构〕
拍摄装置1具备：综合控制拍摄装置1的各部的控制部10、拍摄影像(静止图像或者运动图像)的拍摄部11、储存拍摄装置1所使用的各种数据的存储部12、以及用于拍摄装置1与其他的装置通信的通信部13。此外，控制部10包括拍摄信息获取部(信息获取部)16、对象信息获取部(信息获取部)17、资源信息生成部(描述信息生成部)18、以及数据发送部19。另外，拍摄装置1也可以具备拍摄以外的功能，例如也可以是智能手机等多功能装置。
拍摄信息获取部16获取与拍摄部11执行的拍摄相关的信息。具体而言，拍摄信息获取部16获取表示拍摄时刻的时刻信息、以及表示拍摄位置的位置信息。此外，拍摄位置是进行了拍摄时的拍摄装置1的位置。表示拍摄装置1的位置的位置信息的获取方法并不特别限定，但例如也可以在拍摄装置1具备利用了GPS的位置信息的获取功能的情形下，使用该功能而获取位置信息。此外，拍摄信息获取部16也获取表示拍摄时的拍摄装置1的方向(拍摄方向)的方向信息。
对象信息获取部17获取与拍摄部11拍摄的影像中的规定的目标相关的信息。具体而言，对象信息获取部17通过对拍摄部11拍摄的影像进行解析(深度解析)，从而确定出到该影像中的规定的目标(影像的焦点对焦的被拍摄体)为止的距离。而且，根据确定出的距离和拍摄信息获取部16获取的拍摄位置来计算表示目标的位置的位置信息。此外，对象信息获取部17也获取表示目标的朝向的方向信息。另外，到目标为止的距离的确定例如也可以利用红外线距离计、激光距离计等那样的测量距离的装置。
资源信息生成部18使用拍摄信息获取部16获取的信息、和对象信息获取部17获取的信息而生成资源信息，并将生成的资源信息赋予通过拍摄部11的拍摄而得到的媒体数据。
数据发送部19将通过拍摄部11的拍摄而生成的媒体数据(被赋予了资源信息生成部18生成的资源信息的数据)发送至服务器2。另外，媒体数据的发送目的地不局限于服务器2，可以发送至再现装置3，也可以发送至这些以外的其他的装置。此外，在拍摄装置1具备再现功能的情形下，可以使用生成的资源信息而再现媒体数据，该情形下，也可以不发送媒体数据。
〔服务器的主要部分结构〕
服务器2具备：综合控制服务器2的各部的服务器控制部20、用于服务器2与其他的装置通信的服务器通信部21、以及存储服务器2使用的各种数据的服务器存储部22。此外，服务器控制部20包括数据获取部(对象信息获取部、拍摄信息获取部、对象信息获取部)25、资源信息生成部(描述信息生成部)26、再现信息生成部27以及数据发送部28。
数据获取部25获取媒体数据。此外，数据获取部25在获取的媒体数据未被赋予资源信息的情形下或者被赋予的资源信息不包括目标的位置信息的情形下，生成目标的位置信息。具体而言，数据获取部25通过多个媒体数据的影像解析而确定出各影像中的目标的位置，生成表示确定出的位置的位置信息。
资源信息生成部26生成包括数据获取部25所生成的位置信息的资源信息。另外，由资源信息生成部26实施的资源信息的生成，在数据获取部25生成了位置信息的情形下进行。资源信息生成部26与拍摄装置1的资源信息生成部18同样生成资源信息。
再现信息生成部27根据数据获取部25获取的媒体数据被赋予的资源信息、以及资源信息生成部26生成的资源信息中的至少任意一个信息而生成再现信息。此处，对向媒体数据赋予生成的再现信息的例子进行说明，但生成的再现信息也可以与媒体数据分开分发、并流通。通过分发再现信息，能够在多个再现装置3利用资源信息以及媒体数据。
数据发送部28对再现装置3发送媒体数据。对该媒体数据赋予上述的资源信息。另外，资源信息也可以与媒体数据分开发送。该情形下，也可以集中多个媒体数据的资源信息作为整体资源信息发送。上述整体资源信息可以是二进制数据，也可以是XML(ExtensibleMarkup Language)等结构化数据。此外，数据发送部28在再现信息生成部27生成了再现信息的情形下也发送再现信息。另外，再现信息也可以与资源信息同样赋予于媒体数据而发送。数据发送部28可以根据来自再现装置3的请求而发送媒体数据，也可以不根据请求发送。
〔再现装置的主要部分结构〕
再现装置3具备：综合控制再现装置3的各部的再现装置控制部30、用于再现装置3与其他的装置通信的再现装置通信部31、储存再现装置3使用的各种数据的再现装置存储部32、以及显示影像的显示部33。此外，再现装置控制部30包括数据获取部36、环境信息生成部37以及再现控制部38。另外，再现装置3也可以具备媒体数据的再现以外的功能，例如也可以是智能手机等多功能装置。
数据获取部36获取再现装置3再现的媒体数据。在本实施方式中，数据获取部36从服务器2获取媒体数据，但也可以如上述那样从拍摄装置1获取。
环境信息生成部37生成环境信息。具体而言，环境信息生成部37获取再现装置3的识别信息(ID)、表示再现装置3的位置的位置信息、以及表示再现装置3的显示面的朝向的方向信息，并生成包括这些信息的环境信息。
再现控制部38参照资源信息、再现信息以及环境信息中的至少任意一个信息来进行媒体数据的再现控制。使用了这些信息的再现控制的详细情形将在下文中叙述。
〔资源信息的生成主体和与生成主体对应的资源信息〕
接下来，根据图4对资源信息的生成主体、和与生成主体对应的资源信息进行说明。图4是表示拍摄装置1生成资源信息的例子、和拍摄装置1与服务器2生成资源信息的例子的图。
该图的(a)表示拍摄装置1生成资源信息的例子。在该例子中，拍摄装置1通过拍摄生成媒体数据，并且生成表示拍摄位置的位置信息，而且计算拍摄的目标的位置，也生成表示该位置的位置信息。由此，拍摄装置1发送至服务器2的资源信息(RI)成为表示拍摄位置和目标的位置这双方的信息。该情形下，在服务器2中，不需要生成资源信息，而将从拍摄装置1获取的资源信息保持原样地发送至再现装置3即可。
另一方面，该图的(b)表示拍摄装置1与服务器2生成资源信息的例子。在该例子中，拍摄装置1不计算目标的位置，而将包括表示拍摄位置的位置信息的资源信息发送至服务器2。接下来，服务器2的数据获取部25对从各拍摄装置1接收的媒体数据进行图像解析来检测各媒体数据的目标的位置。通过求出目标的位置，从而能够求出拍摄装置1相对于目标的相对位置。因此，数据获取部25使用从拍摄装置1接收的资源信息表示的拍摄位置、即拍摄时的拍摄装置1的位置、和检测出的上述目标的位置来求出各媒体数据的目标的位置。而且，服务器2的资源信息生成部26生成表示从拍摄装置1接收的资源信息表示的拍摄位置和如上述那样求出的目标的位置的资源信息，并发送至再现装置3。
另外，也可以取代该图的(a)(b)的方法而采用通过标识物来确定出目标的位置的方法。换句话说，位置信息将已知的目标预先设定为标识物，针对该标识物成为被拍摄体的影像，也可以将已知的上述位置信息应用为目标的位置信息。
〔再现信息的描述和控制单位〕
如图2所示那样，再现信息从服务器2发送至再现装置3而用于媒体数据的再现，但再现信息可以发送至各个再现媒体数据的再现装置3，也可以发送至再现媒体数据的再现装置3的一部分。根据图5对此进行说明。图5是表示再现信息的描述和控制单位的例子的图。
该图的(a)示出对各个再现媒体数据的再现装置3发送再现信息的例子。该情形下，服务器2分别生成与各再现装置3对应的再现信息，并发送至与该再现信息对应的再现装置3。例如，在图示的例子中，相对于#1～#N的N台再现装置3而生成PI1～PIN的N个种类再现信息。而且，对#1的再现装置3发送适应该再现装置3而生成的PI1的再现信息。另外，对#2以下的再现装置3也同样，发送适应该再现装置3而生成的再现信息。此外，适应各再现装置3的再现信息例如也可以通过从该再现装置3获取环境信息并根据该环境信息而生成。
另一方面，该图的(b)示出对一个再现媒体数据的再现装置3发送再现信息的例子。更详细而言，对#1～#N的N台再现装置3中的被设定为主装置的再现装置3(以下，称为主装置)发送再现信息。而且，主装置相对于被设定为从装置的再现装置3(以下称为从装置)发送指令或者部分PI(主装置获取的再现信息的一部分)。由此，与该图的(a)的例子同样，能够在各再现装置3中同步再现媒体数据。
如该图的(b)那样，在仅对一部分的再现装置3(主装置)发送再现信息的情形下，该再现信息描述规定主装置的动作的信息、和规定从装置的动作的信息这双方。例如，对于图示的例子中发送至主装置的再现信息(presentation_information)而言，列举从开始时刻t1起横跨期间d1同时地再现的影像的ID，并且将各ID与表示使该影像显示的装置的信息相关联。具体而言，第二个ID(video ID)与指定#2的再现装置3的信息(dis2)相关联，第三个ID与指定#N的再现装置3的信息(disN)相关联。此外，没有装置的指定的第一个ID指定主装置。
由此，接收了该图的再现信息的主装置决定从时刻t1起再现第一个ID的影像。此外，主装置决定使第二个ID的影像从时刻t1起在作为从装置的#2的再现装置3再现，并且决定使第三个ID的影像从时刻t1起在作为从装置的#N的再现装置3再现。而且，主装置对从装置发送指令(包括时刻t1和表示再现对象的影像的信息的命令)或者再现信息的一部分(包括与发送目的地的从装置相关的信息的部分)。通过这样的结构，也能够利用#1～#N的再现装置3使媒体数据从时刻t1起同步再现。
〔资源信息的例子(静止图像)〕
接下来，根据图6对资源信息的例子进行说明。图6是表示以静止图像作为对象的资源信息的句法的一个例子的图。对于图示的句法所涉及的资源信息而言，作为图像的属性(image property)，能够描述媒体ID(media_ID)、URI(Uniform Resource Identifier)、位置标志(position_flag)、拍摄时刻(shooting_time)以及位置信息。媒体ID是唯一地确定出拍摄的图像的标识符，拍摄时刻是表示拍摄了该图像的时刻的信息，URI是表示拍摄的图像的实际数据的所在地的信息。作为URI，例如也可以使用URL(Uniform ResourceLocator)。
位置标志是表示位置信息的记录形式(表示包含有对象信息获取部17获取的位置信息、与上述拍摄信息获取部16获取的位置信息中的任一个位置信息的信息)的信息。在图示的例子中，包括在位置标志的值为“01”的情形下、拍摄信息获取部16获取的、以拍摄装置1为基准的(camera-centric)位置信息。另一方面，包括位置标志的值为“10”的情形下、对象信息获取部17获取的、以拍摄对象亦即目标为基准(object-centric)的位置信息。而且，在位置标志的值为“11”的情形下，包括上述双方的形式的位置信息。
具体而言，以拍摄装置为基准的位置信息能够描述表示拍摄装置的绝对位置的位置信息(global_position)、和表示拍摄装置的朝向(拍摄方向)的方向信息(facing_direction)。另外，global_position表示全局坐标系的位置。在图示的例子中，“if(position_flag＝＝01||position_flag＝＝11){“的后两行是以拍摄装置为基准的位置信息。
另一方面，以目标为基准的位置信息能够描述作为基准的目标的标识符亦即目标ID(object_ID)、和表示是否包含目标的位置的目标位置标志(object_pos_flag)。在图示的例子中，“if(position_flag＝＝10||position_flag＝＝11){“的后9行是以目标为基准的位置信息。
另外，目标位置标志为值(1)的情形下，如图示那样，描述表示目标的绝对位置的位置信息(global_position)、和表示目标的朝向的方向信息(facing_direction)。并且，也能够描述拍摄装置相对于目标的相对位置信息(relative_position)、表示拍摄方向的方向信息(facing_direction)、以及从目标到拍摄装置的距离(distance)。
目标位置标志例如在通过服务器2生成资源信息的情形下，在利用多个拍摄装置1拍摄的影像中，包含有共用的目标时等成为"0"。在使目标位置标志为"0"的情形下，该共用的目标的位置信息仅描述一次，之后参照该位置信息时借助该目标的ID进行参照。由此，与全部描述目标的位置信息的情形相比，能够减少资源信息的描述量。但是，即使为相同的目标如果拍摄时刻不同则其位置也可能改变。即，确切地说，如果存在相同的拍摄时刻的目标，而且该目标的位置信息的描述已经存在则可以省略，不存在的情形下需描述位置信息。此外，在欲为了以各种用途而独立地活用各个记录的静止图像的情形下，也可以总是使目标位置标志为"0"，并分别写出绝对位置信息。
另外，即使目标共用，由于拍摄位置根据每个拍摄装置1不同，因此在使目标位置标志为"0"的情形下，也要描述全部拍摄装置1的相对位置信息。
此处，对表示目标的朝向的方向信息为表示目标的正面方向的信息的例子进行说明，但方向信息表示目标的朝向即可，并不局限于表示正面方向。例如，方向信息也可以表示目标的背面方向。
上述的位置信息以及方向信息例如也可以以该图的(b)所示那样的形式进行描述。该图的(b)的位置信息(global_position)是表示通过彼此正交的三轴(x、y、z)来规定的空间上的位置的信息。另外，位置信息为三轴的位置信息即可，例如也可以使纬度、经度以及高度作为位置信息。此外，例如在生成集会会场中拍摄的图像的资源信息的情形下，也可以以设置于该集会会场的规定的位置的原点为基准而设定三轴(x、y、z)，将由该三轴规定的空间内的位置作为位置信息。
此外，该图的(b)的方向信息(facing_direction)是通过水平方向的角度(pan)和仰角或者伏角(tilt)的组合来表示拍摄方向或者目标的朝向的信息。如该图的(a)所示那样，方向信息(facing_direction)、和从目标到拍摄装置的距离(distance)包含于相对位置信息(relative_position)。
在方向信息中，作为表示水平方向的角度的信息，也可以使用方位(方向)，作为表示仰角或者伏角的信息，也可以使用相对于水平方向的倾斜角度。该情形下，在全局坐标中，能够通过以北作为0、绕顺时针0以上且小于360的值来表示水平方向的角度。此外，在局部坐标中，能够通过以原点方向作为0、绕顺时针0以上且小于360的值来表示。另外，原点方向适当地设定即可，例如在表示拍摄方向时，也可以将从拍摄装置1朝向目标的方向作为0。
此外，在目标的正面不确定的情形下，优选目标的方向信息作为例如－1、360那样的表示通常的方向的情形下不使用的值，并明确正面不确定。另外，水平方向的角度(pan)的默认值为0即可。
此外，在拍摄装置1为360度照相机(也称为一次能够拍摄的范围遍及拍摄装置1的周围360度的照相机、全方位照相机)的情形下，拍摄装置1的拍摄方向为所有方向，能够切出拍摄装置1的周围的所有的方向的影像。该情形下，优选描述能够确定出拍摄装置1为360度照相机、或者能够切出所有方向的影像的信息。例如，也可以使水平方向的角度(pan)的值为361来明确为360度照相机。此外，也可以例如使水平方向的角度(pan)以及仰角或者伏角(tilt)的值为默认值(0)，除此之外准备表示由全方位照相机拍摄的描述符，而将其描述于资源信息。
〔资源信息的例子(运动图像)〕
接着，根据图7对运动图像的资源信息的例子进行说明。图7是表示以运动图像作为对象的资源信息的句法的一个例子的图。图示的资源信息与图6的(a)的资源信息大体相同，但在包括有开始拍摄时刻(shooting_start_time)以及拍摄持续时间(shooting_duration)这点上不同。
在运动图像的情形下，拍摄中拍摄装置以及目标的位置可变化，因此资源信息按照每个规定的持续时间而包括位置信息。换句话说，在拍摄持续期间，将拍摄时刻和与该时刻对应的位置信息的组合描述于资源信息的处理，按照每个规定的持续时间循环(反复)地执行。因此，对于运动图像的资源信息，按照每个规定的持续时间反复地描述拍摄时刻和与该时刻对应的位置信息的组合。此处所说的规定的持续时间可以是定期的固定间隔的时间，也可以是不定期的非固定间隔的时间。在不定期的情形下，通过检测出拍摄位置改变、目标位置改变、或者拍摄对象转移为其他的目标并登记该检测时刻，从而决定非固定间隔的时间。
〔生成资源信息的处理的流程(静止图像)〕
接下来，根据图8对媒体数据为静止图像的情形下生成资源信息的处理的流程进行说明。图8是表示媒体数据为静止图像的情形下生成资源信息的处理的一个例子的流程图。
在拍摄装置1中，当拍摄部11拍摄静止图像(S1)时，拍摄信息获取部16获取拍摄信息(S2)，对象信息获取部17获取对象信息(S3)。更详细而言，拍摄信息获取部16获取表示拍摄时刻的时刻信息、以及表示拍摄位置的位置信息，对象信息获取部17获取目标的位置信息以及目标的方向信息。
而且，资源信息生成部18使用拍摄信息获取部16获取的拍摄信息、和对象信息获取部17获取的对象信息而生成资源信息(S4)，并输出至数据发送部19。本例子中，S3中获取对象信息，因此资源信息生成部18使位置标志的值为"10"。另外，在也描述以拍摄装置1为基准的位置信息的情形下，使位置标志的值为"11"。此外，在不进行S3的处理而仅描述以拍摄装置1为基准的位置信息的情形下，使位置标志的值为"01"。
最后，数据发送部19将与S4中生成的资源信息相关联的媒体数据(通过S1的拍摄而生成的静止图像的媒体数据)经由通信部13而发送至服务器2(S5)，由此图示的处理结束。另外，资源信息的发送目的地并不局限于服务器2，也可以发送至例如再现装置3。此外，在拍摄装置1具备静止图像的再现(显示)功能的情形下，生成的资源信息也可以用于拍摄装置1的静止图像的再现(显示)，该情形下，发送资源信息的S5也可以省略。
〔生成资源信息的处理的流程(运动图像)〕
接着，根据图9对媒体数据为运动图像的情形下生成资源信息的处理的流程进行说明。图9是表示媒体数据为运动图像的情形下生成资源信息的处理的一个例子的流程图。
当拍摄部11开始运动图像的拍摄(S10)时，拍摄信息获取部16获取拍摄信息(S11)，对象信息获取部17获取对象信息(S12)。而且，拍摄信息获取部16将获取的拍摄信息输出至资源信息生成部18，对象信息获取部17将获取的对象信息输出至资源信息生成部18。这些S11以及S12的处理以每个规定的持续时间经过为单位来进行，直至后续的S15中判断为拍摄结束(S15是)。
接下来，资源信息生成部18判断S11以及S12的处理中生成的拍摄信息以及对象信息中的至少任一个发生了变化。该判断在S11以及S12的处理进行两次以上的情形下执行，通过将上一次生成的拍摄信息以及对象信息的值、与下一次生成的拍摄信息以及对象信息的值进行比较来进行。在S13中，在拍摄装置1的位置(拍摄位置)、以及朝向(拍摄方向)中的至少任意一个发生变化的情形下，判断为拍摄信息发生变化。此外，在目标的位置以及朝向中的至少任意一个发生变化的情形下、或者拍摄对象转移至其他的目标的情形下判断为对象信息发生变化。
此处，在判断为未发生变化的情形下(S13否)，进入S15的处理。另一方面，在判断为发生变化的情形下(S13是)，资源信息生成部18存储变化点(S14)。换句话说，资源信息生成部18存储判断为变化的时刻，并且存储拍摄信息以及对象信息中的发生变化的一方的信息(双方均变化的情形下为双方的信息)。
资源信息生成部18当判断为拍摄结束(S15是)时，使用拍摄信息获取部16输出的拍摄信息、对象信息获取部17输出的对象信息、以及变化点中存储的上述信息而生成资源信息(S16)。更详细而言，资源信息生成部18生成描述了开头以及变化点的拍摄信息以及对象信息的资源信息。即，S16中生成的资源信息成为，拍摄信息和对象信息的组仅以在开头以及S11～S15的处理中检测出的变化点的个数进行循环的信息。而且，资源信息生成部18将生成的资源信息输送至数据发送部19。
最后，数据发送部19将与S14中生成的资源信息相关联的媒体数据(通过S10中开始的拍摄而生成的媒体数据)经由通信部13而发送至服务器2(S15)，由此图示的处理结束。
另外，在上述的例子中，通过按照每个规定的持续时间判断拍摄信息以及对象信息中的至少任一个发生变化(S13)，从而检测出变化点，但变化点的检测方法并不局限于该例子。例如在拍摄装置1或者其他的装置具备检测拍摄位置、拍摄方向、目标的位置、目标的朝向、以及拍摄对象的目标的变化的功能的情形下，也可以利用该功能来检测变化点。拍摄位置的变化以及拍摄方向的变化例如通过加速度传感器等也能够检测。此外，目标的位置、朝向的变化(变动)例如通过颜色传感器、红外线传感器等也能够检测。在利用其他装置的检测功能的情形下，从该其他的装置对拍摄装置1发送通知，由此通过拍摄装置1能够检测变化点。此外，也可以省略S13以及S14的处理，而记录固定间隔时间的拍摄信息以及对象信息。在该情形下，生成仅以S11～15的处理中循环的次数进行循环的资源信息。
〔环境信息的例子〕
接下来，根据图10对环境信息EI的例子进行说明。图10是表示环境信息的句法的例子的图。该图的(a)表示针对显示影像的装置(在本实施方式中为再现装置3)而描述的环境信息(environment_information)的一个例子。该环境信息作为再现装置3的属性(display_device_property)，包括再现装置3的ID、再现装置3的位置信息(global_position)、以及表示再现装置3的显示面的朝向的方向信息(facing_direction)。因此，通过参照图示的环境信息，能够确定出再现装置3在怎样的位置以怎样的朝向配置。
此外，如该图的(b)所示，也能够描述每个用户的环境信息。该图的(b)的环境信息作为用户的属性(user_property)，包括用户的ID、用户的位置信息(global_position)、表示用户的正面方向的方向信息(facing_direction)、以及处于用户的环境中的显示影像的装置(在本实施方式中再现装置3)的个数(num_of_display_device)。此外，针对各再现装置3，描述ID(device_ID)、再现装置3相对于用户的相对位置(relative_position)、表示显示面的朝向的方向信息(facing_direction)、以及表示到用户为止的距离的距离信息(distance)。从device_ID至distance的信息仅以num_of_display_device所示的个数进行循环(重复)。另外，通过上述device_ID，能够参照该图的(a)所示那样的每个再现装置3的环境信息。因此，在使用该图的(b)的环境信息而确定出各再现装置3的全局位置(globalposition)的情形下，参照每个再现装置3的环境信息来确定。当然，该图的(b)的环境信息也可以直接描述各再现装置3的全局位置(global position)。
在再现装置3为用户所持的便携式的装置的情形下，环境信息生成部37也可以获取表示该再现装置3的位置的位置信息，并将此作为用户的位置信息而描述于环境信息。此外，环境信息生成部37也可以从用户所携带的其他的装置(具备获取位置信息的功能即可，也可以是其他的再现装置3)获取该装置的位置信息，并将其作为用户的位置信息而描述于环境信息。
此外，环境信息生成部37可以将用户输入至再现装置3的再现装置3作为处于用户的环境的再现装置3而描述于环境信息，也可以自动检测处于用户能够视听的范围的再现装置3而描述于环境信息。而且，描述于环境信息的其他的再现装置3的ID等能够通过环境信息生成部37从该其他的再现装置3获取该其他的再现装置3生成的环境信息来描述。
另外，在该图的(b)的环境信息中，假定通过将再现装置3的ID作为关键字而参照该图(a)所示那样的每个再现装置3的环境信息，从而确定出再现装置3的位置信息(globalposition)。然而，当然也可以将再现装置3的位置信息(global position)描述于用户的环境信息。
〔媒体数据的映射〕
能够参照资源信息和环境信息而进行媒体数据的映射。例如，在每个用户的环境信息包括多个再现装置3的位置信息的情形下，通过参照资源信息所包括的位置信息(既可以是表示拍摄位置的信息也可以是表示目标位置的信息)，从而能够抽出与它们的位置关系对应的媒体数据，并在各再现装置3中再现。此外，在映射时，为了使包含于资源信息的位置信息所表示的位置的间隔与包含于环境信息的位置信息所表示的位置的间隔匹配也可以进行缩放。例如，也可以将2×2×2的拍摄系映射于1×1×1的显示系，由此，也能够使在直线上排列的2m间隔的拍摄位置拍摄到的三个影像分别显示于在直线上以1m间隔配置的再现装置3。
此外，也可以使映射的范围具有幅度。例如，在配置于位置{xa,ya,za}的再现装置3映射媒体数据的情形下，也可以取代将拍摄位置严格地指定为{x1,y1,z1}，而如{x1-Δ1,y1-Δ2,z1-Δ3}～{x1+Δ1,y1+Δ2,z1+Δ3}那样指定具有幅度的拍摄位置。
除此之外，通过参照资源信息和环境信息，也能够生成与再现装置3的位置对应的影像。例如，在与某个再现装置3的位置对应的媒体数据不存在、但与其附近的位置对应的媒体数据存在的情形下，通过对附近的媒体数据实施插补等图像处理，从而也可以生成与上述某个再现装置3的位置对应的媒体数据。
对于这样的映射以及缩放而言，既可以由服务器2来进行，也可以通过图5的(b)所示的主装置的再现装置3来进行。在由服务器2来进行的情形下，在服务器控制部20设置获取环境信息的环境信息获取部、和使再现装置3再现媒体数据的再现控制部即可。该情形下，再现控制部使用环境信息获取部获取的环境信息、和数据获取部25获取的或者资源信息生成部26生成的资源信息而如上述那样进行映射(以及根据需要缩放)。而且，再现控制部根据映射的结果对各再现装置3发送媒体数据而进行再现。此外，也可以再现信息生成部27进行映射，生成规定了根据其结果的再现方式的再现信息。此时，通过将该再现信息发送至再现装置3，从而可实现该再现方式的再现。
另一方面，在通过主装置的再现装置3进行映射的情形下，再现控制部38使用环境信息生成部37生成的环境信息、和数据获取部36获取的资源信息而如上述那样进行映射。而且，根据其映射的结果而对各再现装置3发送媒体数据并使该媒体数据再现。
如以上那样，本发明的控制装置(服务器2/再现装置3)的特征在于具备：环境信息获取部(环境信息生成部37)，其获取表示显示装置(再现装置3)的配置的环境信息；和再现控制部(38)，其使被赋予了包含与上述环境信息所示的配置对应的位置信息在内的资源信息的媒体数据在该配置的显示装置再现。由此，能够根据显示装置的配置而自动地显示与该配置对应的拍摄位置拍摄的影像、或者拍摄了与该配置对应的位置的目标的影像。
〔环境信息的更新〕
由于用户的位置能够变动，还有再现装置3的位置也能够变动，因此优选环境信息也与这些位置的变动匹配地更新。该情形下，再现装置3的环境信息生成部37监视再现装置3的位置，并在位置变化时更新环境信息。另外，位置的监视通过定期地获取位置信息来进行即可。除此之外，例如在再现装置3具备检测本机的移动、位置的变化的检测部(例如加速度传感器)的情形下，也可以在利用该检测部而检测出本机的移动、位置的变化时获取位置信息。对于用户的位置的监视，通过从用户携带的例如智能手机那样的装置定期地或者在检测出该装置的位置的变化时从该装置获取位置信息来进行即可。
每个再现装置3的环境信息的更新在各再现装置3分别独立地进行即可。另一方面，每个用户的环境信息的更新也可以通过生成该环境信息的再现装置3从其他的再现装置3获取该其他的再现装置3更新了的环境信息来进行。此外，也可以通过其他的再现装置3相对于生成每个用户的环境信息的再现装置3主动地通知位置的变化(变化后的位置或者更新后的环境信息)来进行。
此外，环境信息生成部37在环境信息的更新中，可以通过变化后的位置信息来覆盖变化前的位置信息，也可以保留变化前的位置信息而追加变化后的位置信息。在后者的情形下，也可以与根据图7进行说明的运动图像的资源信息的位置信息的描述相同，通过由位置信息和表示位置信息的获取时刻的时刻信息的组合构成的循环来描述环境信息(每个用户的环境信息或者每个再现装置3的环境信息)。
包含时刻信息的环境信息表示用户以及再现装置3的位置的移动履历。因此，通过使用包含时刻信息的环境信息，从而例如能够再现与过去的用户以及再现装置3的位置对应的视听环境。此外，也可以在用户以及再现装置3中的至少任意一个进行预先决定的移动的情形下，在环境信息中，将该移动的结束预定时刻描述于时刻信息，并且将该移动后的位置作为位置信息而描述。由此，能够先得到将来的用户以及再现装置3的配置，通过参照资源信息，也能够自动地确定出与环境信息所示的上述配置对应的影像。
如以上那样，本发明的生成装置(再现装置3)是生成表示显示装置(再现装置3)的配置的环境信息的生成装置，其特征在于具备：环境信息生成部，其分别获取表示多个不同时刻的上述显示装置的位置的位置信息，并生成包含多个不同时刻的各个上述位置信息的环境信息。由此，能够使与显示装置的过去的位置、或者显示装置的将来的预料位置对应的影像显示于该显示装置。
〔再现信息的详细情形〕
接着，根据图11至图18对再现信息PI(presentation_information)的详细情形进行说明。
〔再现信息的例1〕
图11是表示规定了两个媒体数据的再现方式的再现信息的例子的图。具体而言，使用seq标签而描述的再现信息(图11的(a)的再现信息，图12以下也相同)表示应该连续地再现两个媒体数据(具体而言，与seq标签所围起的两个要素对应的两个媒体数据)。
同样地，使用par标签而描述的再现信息(图11的(b)、(c)的再现信息，图12以下也相同)表示应该使两个媒体数据并列地再现。
此外，使用属性synthe的属性值为"true"的par标签而描述的再现信息(图11的(c)的再现信息，图12以下也相同)表示应该使两个媒体数据并列地再现，以使与两个媒体数据对应的两个影像(静止图像或者运动图像)重叠显示。另外，使用属性synthe的属性值不是"true"(为"false")的par标签而描述的再现信息与图11的(b)的再现信息相同，表示应该使两个媒体数据并列地再现。另外，图11的各再现信息中的属性start_time表示媒体数据的拍摄时刻。属性start_time在媒体数据为静止图像的情形下表示拍摄时刻，为运动图像的情形下表示从开始拍摄时刻到结束时刻之间的特定的时刻。换句话说，针对运动图像，通过由属性start_time指定时刻，从而能够从在该时刻拍摄的部分起开始再现。
另外，图11(图12以下也相同)的再现信息仅描述再现的媒体数据的时刻(图11的例子中属性start_time)，未描述再现的时刻(在几点几分再现该媒体数据之类的信息)。但是，也能够指定再现时刻，例如通过将再现开始时刻(presentation_start_time)描述于另外的再现信息，从而能够指定在特定的时刻进行再现。
以下，对参照了由再现装置3实施的图11的(a)的再现信息的两个媒体数据的再现方式具体地进行说明。从数据获取部36获取了图11的(a)的再现信息的再现控制部38首先将第一个媒体数据(与从上数第一个video标签对应的媒体数据)决定为再现对象。而且，再现该媒体数据中的、在通过该再现信息而指定的第一期间所拍摄的部分(部分视频)。
具体而言，再现控制部38使以seq标签的属性start_time的属性值表示的时刻t1为开端的、与第一个媒体数据对应的video标签的属性duration的属性值表示的长度d1的期间所拍摄的部分视频进行再现。记载于该图的PI的下方的videoA的图清楚地图示出该处理。即，空心的矩形的左端表示videoA(与第一个video标签对应的媒体数据)的开始拍摄时刻，右端表示videoA的拍摄结束时刻。而且，表示从上述开始拍摄时刻与拍摄结束时刻之间的时刻t1起再现与长度d1对应的部分视频，通过该再现而在d1的期间显示有AA这样的图像。
再现控制部38当结束与第一个媒体数据相关的部分视频的再现时，使在第二个媒体数据(与从上数第二个video标签对应的媒体数据)的第二期间(第一期间的紧后的期间)所拍摄的部分(部分视频)进行再现。具体而言，再现控制部38针对第二个媒体数据，使在以时刻(t1+d1)为开端的期间且video标签的属性duration的属性值表示的长度d2的期间所拍摄的部分视频进行再现。
该图的PI的下方所记载的videoB的图清楚地图示出该处理。与videoA相同，空心的矩形的左端表示videoB(与第二个video标签对应的媒体数据)的开始拍摄时刻，右端表示拍摄结束时刻。而且，表示从上述开始拍摄时刻与拍摄结束时刻之间的时刻t1+d1起再现与长度d2对应的部分视频，通过该再现而在d2的期间显示BB这样的图像。此外，图中，对于videoA与videoB而言，空心的矩形的大小(左端的位置以及右端的位置)不同，但这表示PI所包含的各媒体数据的开始拍摄时刻以及拍摄结束时刻错开也无妨。
接下来，对参照了由再现装置3实施的图11的(b)的再现信息的两个媒体数据的再现方式具体地进行说明。获取了图11的(b)的再现信息的再现控制部38使两个媒体数据的各自的在通过再现信息而指定的特定的期间所拍摄的部分(部分视频)进行再现。此处，特定的期间是以par标签的属性start_time的属性值表示的时刻t1为开端，长度为d1(通过par标签的属性duration的属性值来表示)的期间。
具体而言，再现控制部38在将显示部33(显示器)的显示区域分割为两个的一方的区域(例如，左侧的区域)显示第一个媒体数据的部分视频，并且使第二个媒体数据的部分视频显示于另一方的区域(例如，右侧的区域)。
进一步地，对参照了由再现装置3实施的图11的(c)的再现信息的两个媒体数据的再现方式具体地进行说明。获取了图11的(c)的再现信息的再现控制部38再现两个媒体数据各自的通过再现信息而指定的特定的期间(通过par标签的属性start_time以及属性duration而示出的上述的期间)所拍摄的部分(部分视频)。对于该再现信息而言，synthe的属性值为"true"，因此上述的部分视频重叠地显示。
具体而言，再现控制部38使两个部分视频并行地再现，以使第一个媒体数据的部分视频与第二个媒体数据的部分视频重叠可见。例如，再现控制部38显示通过α混合处理而对各部分视频进行了半透明合成的影像。或者，再现控制部38也可以全屏显示一方的部分视频，消除显示另一方的部分视频。
如以上那样，本发明的再现装置(3)的特征在于具备再现控制部(38)，该再现控制部(38)将被赋予了资源信息的多个媒体数据中的被赋予了包含表示在规定的时刻开始拍摄的或者在规定的时刻进行了拍摄的时刻信息在内的资源信息的媒体数据作为再现对象。由此，能够自动地再现从多个媒体数据中以时刻信息为基准而抽出的媒体数据。此外，上述规定的时刻也可以描述于规定了再现方式的再现信息(播放列表)。此外，上述再现控制部(38)在作为再现对象的媒体数据为多个的情形下，可以使该多个媒体数据依次再现，也可以同时再现。另外，在同时再现的情形下，可以并列显示，也可以重叠显示。
〔再现信息的例2〕
此外，也可以使用图12所示那样的再现信息。图12是表示规定了两个媒体数据的再现方式的再现信息的其他的例子的图。以下，对参照了由再现装置3实施的图12的(a)的再现信息的两个媒体数据的再现方式具体地进行说明。
从数据获取部36获取了图12的(a)的再现信息的再现控制部38首先再现第一个媒体数据的、在通过再现信息而指定的第一期间所拍摄的部分(部分视频)。
具体而言，再现控制部38再现以与第一个媒体数据对应的第一个video标签的属性start_time的属性值表示的时刻t1为开端而在该video标签的属性duration的属性值表示的长度d1的期间所拍摄的部分视频。
再现控制部38当结束第一个媒体数据所相关的部分视频的再现时，再现第二个媒体数据表示的运动图像中的在通过再现信息而指定的第二期间所拍摄的部分(部分视频)。
具体而言，再现控制部38再现以与第二个媒体数据对应的第二个video标签的属性start_time的属性值t2表示的时刻为开端而在该video标签的属性duration的属性值表示的长度d2的期间所拍摄的部分视频。
接下来，对参照了由再现装置3实施的图12的(b)的再现信息的两个媒体数据的再现方式具体地进行说明。从数据获取部36获取了图12的(b)的再现信息的再现控制部38再现第一个媒体数据的在通过再现信息而指定的第一期间所拍摄的部分(部分视频)。再现控制部38和与第一个媒体数据相关的部分视频的再现并行地再现第二个媒体数据的在通过再现信息而指定的第二期间所拍摄的部分(部分视频)。
此处，第一期间是以与第一个媒体数据对应的第一个video标签的属性start_time的属性值表示的时刻t1为开端的、par标签的属性duration的属性值表示的长度d1的期间。另外，第二期间是以与第二个媒体数据对应的第二个video标签的属性start_time的属性值表示的时刻t2为开端的、par标签的属性duration的属性值表示的长度d2的期间。
具体而言，再现控制部38在将显示区域分割为两个的一方的区域显示第一个媒体数据的部分视频，并且使第二个媒体数据的部分视频显示于另一方的区域。
接着，对参照了由再现装置3实施的图12的(c)的再现信息的两个媒体数据的再现方式具体地进行说明。获取了图12的(c)的再现信息的再现控制部38再现两个媒体数据各自的、在通过再现信息而指定的特定的期间(通过video标签的属性start_time以及par标签的属性duration而表示的上述的期间)所拍摄的部分(部分视频)。与图11的例子相同，对于该再现信息而言，synthe的属性值为"true"，因此上述的部分视频重叠地显示。
〔再现信息的例3〕
此外，也可以使用图13所示那样的再现信息。图13是表示包含时刻转换的信息的再现信息的例子的图。图13的再现信息成为使图11的再现信息包含了时刻转换信息(属性time_shift)的信息。此处，时刻转换信息是表示与包含该时刻转换信息的video标签对应的媒体数据(运动图像)的再现开始位置的、与在此以前已经指定的再现开始位置的错开的大小的信息。
获取了图13的(a)的再现信息的再现控制部38首先与获取了图11的(a)的再现信息的情形相同，再现第一个媒体数据的在通过再现信息而指定的第一期间所拍摄的部分(部分视频)。
接下来，再现控制部38当结束上述部分视频的再现时，再现第二个媒体数据(video id的属性值为"(RI的mediaID)"的媒体数据)的、在通过再现信息而指定的第二期间所拍摄的部分(部分视频)。更详细而言，该部分视频是以在属性start_time的属性值"(RI的时刻值)"加上第一个媒体数据的再现时间"d1"进一步再加上属性time_shift的属性值"+01S"(正1秒)的时刻为开端的、该video标签的属性duration的属性值表示的长度d2的期间所拍摄的部分视频。
在图13的(b)中，该图的(a)的seq标签变化为par标签，由此两个部分视频同时并列显示。此外，该图的(c)的再现信息是在该图的(b)的再现信息追加了synthe的属性值为"true"的信息，由此两个部分视频同时重叠显示。
该图的(b)的再现信息例如能够利用于相同的媒体数据的不同时刻的影像的比较。例如，也可以将拍摄赛马比赛而得到的一个媒体数据的媒体ID描述于该图的(b)的再现信息的两个video标签这双方。该情形下，相同的比赛的影像并列显示，但一方的影像成为相对于另一方的影像仅错开了time_shift的属性值的量的时间的影像。由此，例如，在一方的影像中由于势均力敌而无法确认哪匹马获胜的情形下，不进行再现控制等操作而仅通过眼睛看向另一方的影像，便能够重新确认终点的画面。
该图的(c)的再现信息也相同，能够利用于相同的媒体数据的不同时刻的影像的比较。对于该图的(c)的再现信息而言，两个影像重叠显示，因此能够使视听用户容易地识别由于时刻的不同而目标的位置以怎样的程度不同。例如，也能够使视听用户容易地识别赛车的影像的各车辆的采取的路线不同等。
如以上那样，本发明的再现装置(3)的特征在于，具备再现控制部(38)，其将被赋予了包含表示在规定的时刻开始拍摄的或者在规定的时刻拍摄到的时刻信息的资源信息在内的多个媒体数据中的、被赋予了包含从规定的时刻仅错开了规定的错开时间的时刻的时刻信息在内的资源信息的媒体数据作为再现对象。由此，能够从多个媒体数据中自动地再现在从规定的时刻错开的时刻拍摄到的或者开始拍摄的媒体数据。此外，上述规定的时刻也可以描述于规定了再现方式的再现信息(播放列表)。
此外，上述再现控制部(38)可以使一个媒体数据从彼此错开的时刻依次再现，也可以同时再现。另外，在同时再现的情形下，可以并列显示，也可以重叠显示。
〔再现信息的例4〕
另外，也可以使用图14所示那样的再现信息。图14表示通过位置指定信息(属性position_val以及属性position_att)指定了再现对象的媒体数据的再现信息。此处，位置指定信息是指定应该在哪里再现拍摄到的影像的信息。
属性position_val的属性值表示拍摄位置以及拍摄方向。在图示的例子中，属性position_val的值是"x1y1z1p1t1"。属性position_val的值用于与资源信息所包含的位置信息的比较，因此优选成为与资源信息所包含的位置信息以及方向信息相同的形式。在本例子中，与图6的(b)的位置信息以及方向信息的形式匹配地，将由三轴规定的空间内的位置(x1,y1,z1)、水平方向的角度(p1)、以及仰角或者伏角(t1)作为依次排列的值。
属性position_att的值指定怎样使用属性position_val的值表示的位置而确定出媒体数据。在图示的例子中，属性position_att的属性值为"nearest"。该属性值指定将与属性position_val的位置以及拍摄方向最接近的位置以及拍摄方向的影像作为再现对象。另外，在以下的各例子中，对通过属性position_val来指定以拍摄装置1为基准的位置信息以及方向信息、即拍摄位置和拍摄方向的例子进行说明，但也可以指定以目标为基准的位置信息以及方向信息、即目标的位置和朝向。
另外，根据"nearest"而选择的媒体数据的拍摄位置存在有从属性position_val表示的位置错位的可能性。因此，在显示根据"nearest"而选择的媒体数据时，也可以进行变焦、平移等图像处理，而使用户难以识别上述的错位。
再现控制部38在参照该再现信息而再现媒体数据的情形下，首先参照获取的各媒体数据的资源信息而确定出通过上述的位置指定信息而指定的资源信息。而且，将与确定出的资源信息相关联的媒体数据确定为第一个再现对象。具体而言，再现控制部38将获取的媒体数据中的、与包含同"x1y1z1p1t1"的值最接近的位置信息的资源信息相关联的媒体数据确定为再现对象。此外，位置信息可以是拍摄位置的位置信息，也可以是目标的位置信息。
接下来，再现控制部38确定出接续于上述媒体数据而再现的媒体数据。具体而言，再现控制部38将获取的媒体数据中的、与包含同"x2y2z2p2t2"的值最接近的位置信息的资源信息相关联的媒体数据确定为再现对象。另外，在图示的例子中，第二个video标签不包括属性position_att，但上位的seq标签包括属性position_att。因此，通过继承上位的属性值从而第二个video标签也适用与第一个(上位)的video标签的属性position_att相同的属性值"nearest"。此外，在下位的标签包括与上位的标签不同的属性值的属性position_att的情形下，应用该属性值(此时不继承上位的属性值)。确定出再现对象的两个媒体数据后的处理与图11等的例子相同，依次再现各媒体数据的部分视频。
图14的(b)的再现信息与该图的(a)的再现信息相比，通过par标签来描述这点、描述有属性synthe(属性值为"true")这点、以及在第二个video标签描述有时刻转换信息(属性值为"+10S")这点不同。在使用该再现信息的情形下，与该图的(a)相同而确定出第一个媒体数据。另一方面，第二个媒体数据也与第一个媒体数据相同，确定出与位置"x1y1z1p1t1"最接近的数据。其中，根据时刻转换信息，从指定的拍摄时刻(start_time)在10秒后(+10S)，确定出与位置"x1y1z1p1t1"最接近的数据。而且，确定出的这些媒体数据根据属性synthe并同时重叠显示。
此外，该图的(c)示出在该图的(b)再现信息的第二个video标签追加了位置转换信息(属性position_shift)的例子。通过根据该再现信息而进行再现，从而使时刻和位置错位的两个影像重叠显示。这样，通过使时刻和位置错位，从而例如能够视听使用拍摄装置1进行了拍摄的影像、和该拍摄者被其他的拍摄者拍摄的影像(上述拍摄者未进行拍摄期间，在该拍摄者的附近拍摄的影像)。例如，能够同时确认自身使用拍摄装置1拍摄的旅行目的地的景色、和拍摄该景色的紧前或者紧后的自身以及其周围的状况，因此能够清楚地唤回旅程的记忆。
在使用该再现信息的情形下，与该图的(a)相同而确定出第一个媒体数据。另一方面，第二个媒体数据确定出与使位置"x1y1z1p1t1"根据属性position_shift错开的位置最接近的数据。此外，也包括时刻转换信息，因此从指定的拍摄时刻(start_time)在1秒后(+01S)，确定出与上述错开的位置最接近的数据。而且，确定出的这些媒体数据根据属性synthe而同时重叠显示。
此处，属性position_shift的属性值能够通过局部指定形式(属性值由"lsx1sy1sz1sp1st1"表示的形式)以及全局指定形式(属性值由"g sx1sy1sz1sp1st1"表示的形式)中的任意一个形式来描述。另外，第一个参数“l”表示局部指定形式，第一个参数“g”表示全局指定形式。
由局部指定形式描述的属性position_shift以资源信息所包括的方向信息(facing_direction)作为基准规定转换方向。更详细而言，属性position_shift通过将被赋予给第一个媒体数据的资源信息所包括的方向信息表示的方向、即拍摄方向作为x轴正方向、将铅垂上方作为z轴正方向、将与上述轴垂直的轴作为y轴(y轴的正方向朝向拍摄方向右侧或者左侧)的局部坐标系的坐标空间的矢量(sx1,sy1,sz1)来表示转换量以及转换方向。
图14的(c)的属性position_shift的属性值通过局部指定形式来描述，另一方面，属性position_val由全局坐标系的坐标值表示。因此，例如将属性position_val的(x1,y1,z1)变换为局部指定形式等，并在使坐标系统一的基础上转换位置。对于局部指定形式而言，成为相对于对象(目标)而前后错开的、从左错开90度、从右错开－90度之类的指定。
另一方面，通过全局指定形式而描述的属性position_shift通过与资源信息所包含的位置信息相同的全局坐标系的坐标空间的矢量(sx1,sy1,sz1)来表示转换量以及转换方向。因此，在使用通过全局指定形式而描述的属性position_shift的情形下，不需要上述那样的变换，将其各轴的值保持原样地相加于属性position_val的对应的各轴的值即可。
另外，图14的(c)的再现信息包括属性time_shift和属性position_shift这双方，但再现信息也可以包括上述的一方。其中，包括属性position_shift的再现信息例如通过应用于汽车导航设备的影像的显示，也能够使前进道路的前方发生的事故的影像显示。针对于此以下进行说明。
参照了由应用于汽车导航设备的再现装置3实施的这样的再现信息的两个媒体数据的再现方式的一个例子如以下所示。服务器2构成为在识别出交通事故发生的地点的情形下，将上述再现信息(具体而言，通过属性start_time的属性值来表示识别出上述交通事故发生的地点的时刻、通过属性position_val的属性值来表示上述地点的再现信息)分发于再现装置3。
接收了再现信息的再现装置3的再现控制部38对上述地点是否位于行驶路径上进行判断，在判断为上述地点位于行驶路径上的情形下，也可以计算全局坐标系的以下那样的矢量。即，再现控制部38也可以计算以上述地点作为起点坐标，以行驶路径上的其他的地点(从交通事故发生的地点沿着行驶路径以恒定距离靠近本机的地点)作为终点坐标的矢量。
而且，再现控制部38也可以将再现信息的第二个video标签的属性position_shift的属性值更新为表示其矢量的那样的值(通过全局指定形式而描述的值)，并根据更新后的再现信息而显示两个影像。另外，再现控制部38也可以显示表示事故现场的状况的影像、和表示行驶路径上的其他的地点的事故拥堵的程度的影像。由此，能够提醒再现装置3的用户避免卷入事故、拥堵。此外，也可以仅显示事故现场的状况。
〔与位置指定信息相关的备注事项〕
作为属性position_att的属性值，除了"nearest"之外，可举出"nearest_cond"以及"strict"。
属性值"strict"指定将属性position_val表示的位置以及在拍摄方向拍摄的影像作为再现对象。在描述有属性值"strict"的情形下，如果不存在被赋予了属性position_val表示的位置以及与拍摄方向一致的位置以及拍摄方向的资源信息的媒体数据则不进行显示。默认的属性值也可以为"strict"。
属性值"nearest_cond bx by bz bp bt"(“bx”“by”“bz”“bp”“bt”与位置信息以及方向信息对应，含有0或者1的数值)与"nearest"相同，指定将与属性position_val的位置最接近的位置的影像作为再现对象。其中，针对赋予了值"0"的位置信息或者方向信息而将一致的影像作为再现对象。例如，属性值"nearest_cond 1 1 1 0 0"方向一致，将位置与指定的值最接近的影像指定为再现对象，属性值"nearest_cond 0 0 0 1 1"位置一致，指定将方向与指定的值最接近的影像作为再现对象。另外，bx by bz bp bt的值并不局限于0或者1，例如也可以为表示接近的程度的值。例如，也可以使bx by bz bp bt能够用0～100的值描述，对接近的程度进行加权来判断。该情形下，0表示一致，100表示允许偏离的最大程度。
此外，作为position_att的属性值的其他的例子，例如考虑到以下那样的例子。
"strict_proc"：指定对与属性position_val的位置最接近的位置的影像进行加工(例如，平移处理以及/或者变焦处理等图像处理)而生成属性position_val的位置的影像并进行显示。
"strict_synth"：指定从与属性position_val的位置最接近的位置的一个或者多个影像合成属性position_val的位置的影像并进行显示。
"strict_synth_num num"(末尾的“num”包含表示个数的数值)：是在"strict_synth"追加了指定合成对象的影像的个数的“num”的属性值。该属性值指定从按照接近属性position_val的位置的顺序选择的“num”个的影像合成属性position_val的位置的影像并进行显示。
"strict_synth_dis dis"(末尾的“dis”包含表示距离的数值)：是在"strict_synth"追加了表示从属性position_val的位置到合成对象的影像的位置的距离的“dis”的属性值。该属性值指定从距属性position_val的位置距离“dis”的范围内的位置的影像合成属性position_val的位置的影像并进行显示。
另外，在再现装置3不具备影像的合成功能的情形下，针对"strict_synth"等指定影像的合成的属性值，也可以解释为"strict_proc"而进行影像的加工。
"nearest_dis dis"(末尾的“dis”包含表示距离的数值)：是在"nearest"追加了表示距属性position_val的位置的距离的“dis”的属性值。该属性值指定显示距属性position_val的位置在距离“dis”的范围内的位置的影像中的、最接近属性position_val的位置的位置的影像。针对根据该属性值而显示的影像，也可以实施变焦、平移等图像处理。
"best"：指定显示与属性position_val的位置接近的多个影像中的、以另外指定的基准而选择出的最佳的影像。该基准成为选择影像的基准即可，并不特别限定。例如，也可以将影像的SN比、声音的SN比、影像的画面视角内的目标的位置、大小等作为上述基准。这些基准中的影像的SN比例如在较暗的会场等选择目标清晰地映出的影像中适用。声音的SN比能够在媒体数据包括声音的情形下应用，它在选择声音容易听到的媒体数据中适用。另外，画面视角内的目标的位置、大小在选择目标适当地收纳于全部画面视角(判断为背景区域最小且目标边界不与图像端接触)的情形下适用。
"best_num num"(末尾的“num”包含表示个数的数值)：是在"best"追加了指定选择候选的影像的个数的“num”的属性值。该属性值指定显示从按照接近属性position_val的位置的顺序选择出的“num”个影像以上述基准选择出的最佳的影像。
"best_dis dis"(末尾的“dis”包含表示距离的数值)：是在"best"追加了表示距属性position_val的位置的距离的“dis”的属性值。该属性值指定显示距距属性position_val的位置在距离“dis”的范围内的位置的影像中以上述基准选择出的最佳影像。
另外，在"best"等属性值中，在未示出上述基准的情形下，或者示出的基准不适当，则再现装置3也可以将该属性值解释为"nearest"而选择影像。
〔再现严格来说与指定位置不一致的附近位置的影像的优点〕
根据图15对再现严格来说与指定位置不一致的附近位置的影像的优点进行说明。图15是对再现严格来说与指定位置不一致的附近位置的影像的优点进行说明的图。
图15中，示出使指定位置移动，并且显示在该指定位置拍摄的影像的例子。换句话说，在本例中，再现装置3的再现控制部38接受基于用户操作等的位置的指定，将与包含指定的位置的位置信息的资源信息相关联的媒体数据确定为再现对象，并将其再现。由此，将不同的拍摄位置的媒体数据依次再现。换句话说，能够成为基于运动图像的街景。此外，位置的指定例如也可以通过显示地图的图像而选择该地图上的地点来进行。
这样的街景例如在传递节日等集会的状况上较有效。在这样的集会中，生成很多媒体数据，成为街景的材料。例如，将参加集会的用户的拍摄装置1(例如智能手机)所拍摄的影像、集会主办人准备的拍摄装置1(固定照相机、舞台照相机、花车所附带的照相机、演者附带的可穿戴照相机、无人机的照相机等)所拍摄的影像的媒体数据集合于服务器2(云)。
在该图的(a)的例子中，指定位置首先通过影像A的拍摄位置，接着通过影像B的拍摄位置。在这种情形下，如果将指定的位置与拍摄位置严格来说一致的(strict)媒体数据作为再现对象，则指定的位置与影像A的拍摄位置一致时显示有影像A，但当从该拍摄位置离开时成为未显示影像的状态(gap)。而且，在指定的位置与影像B的拍摄位置一致时显示影像B，但当从该拍摄位置离开时，再次成为未显示影像的状态(gap)。
另一方面，如果将最接近指定的位置的拍摄位置的(nearest)媒体数据作为再现对象，则在距指定的位置最近的拍摄位置为影像A的拍摄位置的期间显示影像A。而且，在距指定的位置最接近的拍摄位置成为影像B的拍摄位置的期间显示影像B。这样，如果将与指定的位置最接近的拍摄位置的(nearest)媒体数据作为再现对象，则能够使不显示影像的期间(gap)消失。
此外，在该图的(b)的例子中，指定位置通过影像A的拍摄位置，接着通过影像B的拍摄位置的附近，再通过影像C的拍摄位置，最后通过影像D的拍摄位置的附近。在这种情形下，如果将指定的位置与拍摄位置严格来说一致的(strict)媒体数据作为再现对象，则影像A和影像C在拍摄位置与指定位置一致的时机显示，但影像B和影像D由于拍摄位置与指定位置不一致因此不显示。此外，在显示了影像A后直至显示影像C为止、以及显示了影像C后的期间不显示影像。
另一方面，如果将与指定的位置最接近的拍摄位置的(nearest)媒体数据作为再现对象，则拍摄位置与指定位置不一致的影像B和影像D也成为显示对象，从而不中断影像A～D而依次显示。在显示视频街景时，优选进行这样的没有中断的显示，因此优选将与此时指定的位置最接近的拍摄位置的(nearest)媒体数据作为再现对象。
如以上那样，本发明的再现装置(3)的特征在于，具备再现控制部(38)，其将被赋予了包含表示拍摄位置或者拍摄的目标的位置的位置信息的资源信息的多个媒体数据中的、被赋予了包含规定的位置信息的资源信息的媒体数据作为再现对象。由此，能够自动地再现从多个媒体数据中以位置信息为基准而抽出的媒体数据。此外，上述规定的位置信息也可以描述于规定了再现方式的再现信息(播放列表)。
此外，上述再现控制部(38)在作为再现对象的媒体数据为多个的情形下，可以使该多个媒体数据依次再现，也可以同时再现。此外，在同时再现的情形下，可以并列显示，也可以重叠显示。
此外，上述再现控制部(38)在上述多个媒体数据中不存在被赋予了位置信息表示的位置与规定的位置一致的资源信息的媒体数据的情形下，也可以将赋予了包含表示与规定的位置最接近的位置的位置信息的资源信息的媒体数据作为再现对象。
〔再现信息的例5〕
以下，参照图16对进一步参照了其他的再现信息的两个媒体数据的再现方式进行说明。图16的(a)～(c)也示出不是通过媒体ID而是通过位置指定信息(属性position_ref以及属性position_shift)来指定再现对象的媒体数据的再现信息。在该再现信息中，将在从某个拍摄位置(通过媒体ID而确定出的媒体数据的拍摄位置)向规定方向离开(转换)的位置所拍摄的影像作为再现对象。
在图16中，属性position_ref的属性值是媒体ID。对通过该媒体ID而识别的媒体数据赋予资源信息，资源信息包括位置信息。因此，从被描述于position_ref的属性值的媒体ID确定出媒体数据，并参照确定出的媒体数据的资源信息，由此能够确定出位置信息。此外，图示的再现信息包括属性position_shift。换句话说，图示的再现信息表示将根据属性position_shift而将使用媒体ID而确定出的位置信息表示的位置进行了转换的位置的媒体数据作为再现对象。
对于使用该再现信息(图16的(a))而进行再现的再现装置3而言，再现控制部38通过参照媒体ID为mid1的媒体数据的资源信息，从而确定出该媒体数据的拍摄位置以及拍摄方向。另外，该拍摄位置以及拍摄方向是属性start_time的属性值表示的时刻的拍摄位置以及拍摄方向。
接下来，再现控制部38根据属性position_shift来转换上述确定出的拍摄位置以及拍摄方向。而且，再现控制部38参照能够再现的媒体数据的各资源信息而将转换后的拍摄位置以及拍摄方向的影像确定为再现对象。接着，再现控制部38在第二个video标签中也同样，确定出媒体ID为mid2的媒体数据的拍摄位置以及拍摄方向，使其转换，并将转换后的拍摄位置以及拍摄方向的影像确定为再现对象。此外，确定出再现对象后的处理如上述那样，因此此处省略说明。
此外，该图的(b)的再现信息与该图的(a)的再现信息相比，在第二个video标签包含有属性time_shift这点上不同。在使用该图的(b)的再现信息进行再现的情形下，第一个媒体数据的确定与上述相同。另一方面，针对第二个媒体数据，确定出媒体ID为mid2的媒体数据的拍摄位置以及拍摄方向，并使其根据属性position_shift而转换为止与上述相同。在使用该图的(b)的再现信息的情形下，此后，根据属性time_shift而转换时刻，将转换后的时刻、拍摄位置以及拍摄方向的影像确定为再现对象。
又，该图的(c)的再现信息与该图的(a)的再现信息相比，在第二个video标签中在属性position_shift描述有与第二个video标签相同的媒体ID"mid1"这点上不同。此外，第二个video标签的属性position_shift的值与该图的(a)的再现信息不同。而且，seq标签改变为par标签这点上也不同。
在使用该图的(c)的再现信息而进行再现的情形下，第一个媒体数据的确定与上述相同。另一方面，针对第二个媒体数据，确定出媒体ID为mid1的媒体数据的拍摄位置以及拍摄方向，并使其根据属性position_shift而转换。具体而言，使拍摄位置在y轴方向上转换－1，并且使拍摄方向(水平方向的角度)旋转90度。而且，将转换后的拍摄位置以及拍摄方向的影像确定为再现对象。这样而确定出的影像成为从横侧拍摄了目标的影像。因此，通过将其与第一个video标签所示的媒体数据并行同时进行再现，从而能够同时对视听用户展示从两个不同的角度捕捉了一个目标的影像。
如以上那样，本发明的再现装置(3)的特征在于，具备再现控制部(38)，其将被赋予了包含表示拍摄位置或者拍摄的目标的位置的位置信息的资源信息的多个媒体数据中的、被赋予了包含从规定的位置以规定的错开量错开的位置的位置信息的资源信息的媒体数据作为再现对象。由此，能够从多个媒体数据中自动地再现在规定的位置的周围拍摄的或者拍摄了规定的目标的周围的目标的媒体数据。此外，上述规定的位置信息也可以描述于规定了再现方式的再现信息(播放列表)。
〔再现信息的例6〕
以下，参照图17对进一步参照了其他的再现信息的两个媒体数据的再现方式进行说明。本再现信息除了属性start_time之外还包括属性time_att。属性time_att指定怎样使用属性start_time而确定出媒体数据。作为属性time_att的属性值，能够应用与属性position_att相同的值。例如，图示的例子中描述"nearest"。
对于使用该图的(a)的再现信息而进行再现的再现装置3而言，再现控制部38确定出通过属性position_val以及属性position_att的属性值而指定的媒体数据。换句话说，确定出严格来说{x1,y1,z1,p1,t1}的位置以及拍摄方向所拍摄的媒体数据。而且，再现控制部38将确定出的媒体数据中的、拍摄时刻与属性start_time的值最接近的媒体数据确定为再现对象，仅在属性duration表示的期间"d1"进行再现。
接下来，再现控制部38参照第二个video标签，确定出在{x2,y2,z2,p2,t2}的位置以及拍摄方向所拍摄的媒体数据。另外，第二个video标签继承上位的seq标签的属性position_att的属性值"strict"，因此确定出位置以及拍摄方向完全一致的媒体数据。
此外，第二个video标签也继承上位的seq标签的属性time_att的属性值"nearest"。因此，再现控制部38将上述确定出的媒体数据中的、拍摄时刻与(RI的时刻值)+d1最接近的媒体数据确定为再现对象，仅在属性duration表示的期间"d2"进行再现。
另一方面，该图的(b)的再现信息规定通过par标签而使两个媒体数据并列再现。并列再现的数据的一方为运动图像，通过video标签来描述。此外，并列再现的数据的另一方为静止图像，通过image标签来描述。
在该再现信息中，也与该图的(a)的再现信息同样，描述有属性值为"nearest"的属性time_att。因此，对于使用该图的(b)的再现信息而进行再现的再现装置3而言，再现控制部38确定出通过属性position_val以及属性position_att的属性值而指定的媒体数据。换句话说，确定出严格来说{x1,y1,z1,p1,t1}的位置以及拍摄方向所拍摄的媒体数据(静止图像以及运动图像)。而且，将确定出的媒体数据中的、拍摄时刻最接近属性start_time的值的静止图像(如果指定的拍摄时刻的静止图像存在则为该静止图像)的媒体数据、以及拍摄时刻最接近属性start_time的值的运动图像(如果包含指定的拍摄时刻的运动图像存在则为该运动图像，如果包含指定的拍摄时刻的运动图像不存在则为与指定的拍摄时刻最接近的拍摄时刻的运动图像)的媒体数据确定为再现对象，并将它们仅在属性duration表示的期间"d1"进行再现，并排列显示。
如以上那样，本发明的再现装置(3)具备：再现控制部(38)，其将被赋予了资源信息的多个媒体数据中的、被赋予了包含表示在规定的时刻开始拍摄的或者在规定的时刻拍摄的时刻信息的资源信息的媒体数据作为再现对象，上述再现控制部(38)将上述多个媒体数据中在不存在被赋予了时刻信息表示的时刻与上述规定的时刻一致的资源信息的媒体数据的情形下，被赋予了包含表示与该规定的时刻最接近的时刻的时刻信息的资源信息的媒体数据作为再现对象。
〔再现信息的例7〕
以下，参照图18对进一步参照了其他的再现信息的媒体数据的再现方式进行说明。对于图18的位置指定信息而言，通过媒体ID而指定作为再现对象的媒体数据的开始拍摄时刻(媒体数据为静止图像的情形下拍摄时刻)。具体而言，在该图的再现信息描述有时期指定信息(属性start_time_ref)，作为该属性值而描述有媒体ID。
对于使用该图的(a)的再现信息而进行再现的再现装置3而言，再现控制部38通过参照媒体ID为mid1的媒体数据的资源信息，从而确定出该媒体数据的开始拍摄时刻(媒体数据为静止图像的情形下拍摄时刻)。而且，将确定出的时刻作为开始拍摄时刻，并且将该时刻的位置以及拍摄方向与属性position_val所示的位置以及拍摄方向一致的媒体数据作为再现对象。而且，使该媒体数据仅在属性duration表示的期间"d2"进行再现。此外，在该图的例子中，未描述有属性position_att，因此在上述的再现对象的确定时，应用作为默认的属性值的"strict"而进行确定。
此外，对于该图的(b)的再现信息而言，与该图的(a)的再现信息相比，在追加有属性值为"nearest"的属性time_att这点上不同。因此，在使用该图的(b)的再现信息进行再现的情形下，使与属性position_val所示的位置以及拍摄方向一致的媒体数据中的与媒体ID为mid1的媒体数据的开始拍摄时刻或者拍摄时刻最接近的拍摄时刻的媒体数据仅在期间"d2"进行再现。
另外，该图的(c)的再现信息使用par标签来描述。在使用该再现信息进行再现的情形下，将与属性position_val所示的位置以及拍摄方向一致并且与媒体ID为mid1的媒体数据的开始拍摄时刻或者拍摄时刻最接近的拍摄时刻的媒体数据确定为再现对象。此外，par标签内分别包括video标签和image标签，因此将运动图像的媒体数据、和静止图像的媒体数据各一个作为再现对象。而且，使作为再现对象的两个媒体数据仅在期间"d1"同时再现，并列显示。其中，再现控制部38针对作为属性start_time_ref的属性值的媒体ID(该例子中mid1)的媒体数据，也可以作为选择对象外。
另外，如上述那样，也能够取代通过属性position_val指定位置，而通过属性position_ref来指定位置，该位置的指定能够与基于属性start_time_ref的时刻的指定并用。此外，在并用它们的情形下，例如也可以该图的(d)的再现信息那样，通过属性position_ref和属性start_time_ref来分别指定其他的媒体ID。
对于使用该图的(d)的再现信息而进行再现的再现装置3而言，再现控制部38参照属性start_time_ref所描述的媒体ID(mid1)的媒体数据的资源信息而确定出开始拍摄时刻(或者拍摄时刻)。此外，再现控制部38参照属性position_ref所描述的媒体ID(mid2)的媒体数据的资源信息而确定出拍摄位置以及拍摄方向。而且，根据属性position_shift来转换确定出的拍摄位置以及拍摄方向。具体而言，针对第一个video标签，仅转换“l-1 0 00 0”，针对第二个video标签，仅转换“l 0-1 0 90 0”。而且，将具有上述确定出的开始拍摄时刻(或者拍摄时刻)并为上述转换后的拍摄位置以及拍摄方向的媒体数据分别确定为再现对象，将它们仅在期间"d1"进行再现，且并列显示。
〔实施方式二〕
以下，根据图19至图25对本发明的实施方式二详细地进行说明。本实施方式的媒体相关信息生成系统101示出以目标作为视点的影像(从正后方捕捉了目标的影像)。
[与资源信息相关的备注事项]
使资源信息所包含的方向信息(facing_direction)表示的“目标的正面”在目标如人物、动物那样具有脸部的情形下成为脸部朝向的方向，在目标如球等那样不具有脸部的情形下成为行进方向。另外，在如螃蟹那样脸部朝向的方向与行进方向不同的情形下，将任一个作为正面都可以。
又，构成为：资源信息除了目标的位置信息以及方向信息之外，还包括表示目标的大小的大小信息(object_occupancy)。作为大小信息，例如，可举出：目标为球体的情形下的目标的半径、目标为圆柱、立方体、火柴人模型等的情形下的多边形信息(表现目标的各多边形的顶点坐标信息)。
大小信息可以由拍摄装置1的对象信息获取部17来计算，也可以由服务器2的数据获取部25来计算。大小信息能够根据从拍摄装置1到目标的距离、拍摄倍率、以及目标的拍摄图像上的大小来计算。
此外，拍摄装置1或者服务器2也可以按照目标的种类而保持表示该种类的目标的平均大小的信息。拍摄装置1或者服务器2在能够识别目标的种类的情形下，也可以参照该信息而确定出该目标的平均大小，使表示确定出的大小的大小信息包含于资源信息。
图19是对媒体相关信息生成系统101的概要的一部分进行说明的图。对于图19所示的媒体相关信息生成系统101而言，目标是正在移动的球。该情形下，目标的方向信息是表示球的行进方向的信息，目标的大小信息是表示球半径的信息。
〔资源信息的例子(静止图像)〕
接下来，根据图20对资源信息的例子进行说明。图20是表示以静止图像作为对象的资源信息的句法的一个例子的图。对于图20的(a)所示的句法所涉及的资源信息而言，成为相对于图6所示的资源信息而追加了目标的大小信息(object_occupancy)的结构。另外，目标的大小信息也可以通过图20的(b)所示那样的形式来描述。图20的(b)的大小信息(object_occupancy)是表示目标的半径(r)的信息。
〔资源信息的例子(运动图像)〕
接着，根据图21对运动图像的资源信息的例子进行说明。图21是表示以运动图像作为对象的资源信息的句法的一个例子的图。图示的资源信息与上述的静止图像相同，成为相对于图7所示的资源信息而追加了目标的大小信息(object_occupancy)的结构。
又，在运动图像中，包含目标的大小信息(object_occupancy)的资源信息可以在拍摄装置1中生成，也可以在服务器2中生成。目标的大小不随着时间的经过而变化的情形较多，但动植物等根据姿势而大小变化，弹性物体进行变形。因此，拍摄装置1或者服务器2在拍摄运动图像的情形下，资源信息按照每个规定的持续时间而包含目标的大小信息。换句话说，拍摄装置1或者服务器2在拍摄持续的期间，反复(按照每个规定的持续时间)执行将拍摄时刻和与该时刻对应的大小信息的组合描述于资源信息的处理。
因此，运动图像的资源信息按照每个规定的持续时间反复描述拍摄时刻和与该时刻对应的大小信息的组合。此外，拍摄装置1或者服务器2可以周期性地在执行运动图像的资源信息描述上述组合的处理，但也可以非周期性地执行。例如，拍摄装置1或者服务器2也可以每当检测出拍摄位置改变时、每当检测出目标的大小改变时以及/或者每当检测出拍摄对象转移至其他的目标时，记录大小信息与检测时刻的组合。
此外，也可以构成为：在服务器2中生成资源信息的情形下，对包含共用的目标的多个媒体数据的RI信息一并赋予计算出的目标的大小信息。
〔再现信息的例1〕
图22是表示规定了媒体数据的再现方式的再现信息的例子的图。具体而言，再现控制部38通过属性position_ref的属性值所描述的目标ID(obj1)而确定出媒体数据。而且，再现控制部38参照确定出的媒体数据的资源信息，确定出目标的位置信息。并且，再现控制部38将通过朝向由属性position_shift指定的方向的拍摄装置1而拍摄的媒体数据确定为再现对象，其中该拍摄装置1设置于从确定出的位置根据属性position_shift而进行了转换的位置(图22的(a)所示的例子中，在X轴方向仅转换了-1(即，与目标的朝向相反方向为1)的位置)。对于图22的(a)所示的例子而言，能够将从正后方捕捉了目标的影像展示给视听用户。
又，拍摄装置1或者服务器2也可以确定出多个从后方捕捉了目标(obj1)的媒体数据，并生成使与该多个媒体数据对应的多个video标签按照该目标的开始拍摄时刻顺序(该目标开始拍摄的时刻顺序)排列的再现信息。该再现信息的各video标签包含对应的媒体数据的开始拍摄时刻来作为属性start_time的值，包含根据对应的媒体数据的开始拍摄时刻而计算出的属性time_shift的值。
另外，本实施方式的属性time_shift与实施方式一不同，示出媒体数据的开始拍摄时刻、与利用拍摄该媒体数据的拍摄装置1而开始拍摄对象的目标的时刻之间的偏差。而且，该再现信息的各video标签示出应该从与在属性start_time的值加上了属性time_shift的值的值对应的再现位置再现与该video标签对应的媒体数据。
再现控制部38也可以构成为：通过根据该再现信息使该多个媒体数据依次再现，从而将从正后方捕捉了目标的影像(目标视点的影像)展示给视听用户。
〔再现信息的例2〕
此外，考虑到不存在从正后方捕捉了目标的影像的情形，也可以取代图22的(a)所示的再现信息而使用图22的(b)所示的再现信息。具体而言，与上述的再现信息的例1相同，再现控制部38参照确定出的媒体数据的资源信息，确定出从确定出的目标的位置根据属性position_shift而进行了转换的位置。并且，再现控制部38将通过朝向与由属性position_shift指定的朝向最接近的朝向的拍摄装置1而拍摄的影像作为再现对象，其中该拍摄装置1为与根据属性position_att的属性值"nearest"并与根据属性position_shift而进行了转换的位置最接近的位置的拍摄装置1。对于图22的(b)所示的例子而言，能够将通过与目标的正后方最接近的拍摄装置1而捕捉的目标的影像展示给视听用户。
另外，拍摄了根据"nearest"而选择的媒体数据的拍摄装置1的位置有可能从用户通过属性position_ref以及属性position_shift而指定的位置有相当大的错位。因此，在显示根据"nearest"而选择的媒体数据时，也可以进行变焦、平移等图像处理而使用户难以识别上述的错位。
〔再现信息的例3〕
参照图23～图25对参照了其他的再现信息的媒体数据的再现方式进行说明。
该再现信息也用于使用户鉴赏表示从目标(例如，猫)观察的视野的状况的影像。图23是表示为了使用户鉴赏这样的影像而使用的拍摄装置1的视场以及视心的图。
如图23所示，能够将拍摄装置1的视场定义为“以拍摄装置1为顶点的、底面处于无限远的圆锥”。该情形下，拍摄装置1的视心的方向与拍摄装置1的拍摄方向一致。此外，拍摄装置1实际拍摄的影像为长方形，因此也可以将拍摄装置1的视场定义为“以拍摄装置1为顶点的、底面处于无限远的四棱锥”。
图24是表示图19的拍摄装置1的视场以及视心的图。如图24所示，目标进入#1的拍摄装置1的视场圆锥，未进入#2的拍摄装置1的视场圆锥。即，#1的拍摄装置1拍摄的影像映入有目标，因此无法将该影像保持原样地作为表示从上述目标观察的视野的状况的影像来使用。
因此，再现控制部38也可以针对配置于目标的后方并朝向与目标的正面方向相同的方向的1台以上的拍摄装置1各自，对目标是否进入该拍摄装置1的视场圆锥进行判断，将该目标未进入视场圆锥的拍摄装置1所拍摄的影像指定为再现对象。此外，再现控制部38通过参照目标的位置以及大小，能够进行该判断。
例如，再现控制部38也可以使用图25所示那样的再现信息。图25是表示规定了媒体数据的再现方式的再现信息的其他的例子的图。图25所示的再现信息的属性position_att的属性值是"strict_synth_avoid"。该属性值是用于将未映入有通过"position_ref"的属性值而确定出的目标ID(obj1)的目标的影像指定为再现对象的属性值。通过该属性值而指定的影像的个数可以是一个，也可以是多个。
在前者的情形下，通过拍摄了未映入有上述目标的影像的1台以上的拍摄装置1中的、与通过"position_ref"的属性值以及"position_shift"的属性值而指定的位置最接近的拍摄装置1而拍摄的一个影像成为再现对象。另外，在后者的情形下，通过距该位置的距离处于规定的范围内的多台拍摄装置1而拍摄的多个影像成为再现对象。
此处，对指定了多个影像的情形下的合成处理进行说明。再现控制部38指定多个未映入有目标的媒体数据且捕捉了该目标的视野的状况的媒体数据，通过将指定的多个媒体数据合成而生成指定的再现对象的影像，并将生成的影像再现。
由此，能够将从目标的后侧观察的影像且未映入有目标的影像(即，一定程度上忠实地示出从目标观察的视野的状况的影像)展示给视听用户。
此外，再现控制部38也可以取代上述的处理而进行以下的处理。
即，再现控制部38也可以从通过配置于目标的后方的拍摄装置1而拍摄的映入有该目标的多个媒体数据抽出未映入有目标的部分影像，并将抽出的部分影像合成，由此生成指定的再现对象的影像。此外，再现控制部38也可以在再现对象的媒体数据为运动图像的情形下，在再现对象时刻的帧映入有目标(猫)时，对该帧与未映入有该目标的过去的帧之差进行计算，由此生成未形成有该目标的帧，并将生成的帧再现。
另外，对于本实施方式的媒体相关信息生成系统101而言，在媒体数据的映射时，也可以参照目标的大小信息(object_occupancy)来进行缩放。例如，也可以以人的平均的大小为基准值，将该基准值与目标的大小信息表示的目标的大小进行比较，根据该比较结果来进行映射。例如，在目标为猫，目标的大小信息所表示的目标的大小为上述基准值的1/10的情形下，也可以将1×1×1的拍摄系映射于10×10×10的显示系。另外，也可以实施变焦等图像处理，显示10倍变焦的影像。这样，对于媒体相关信息生成系统101而言，在目标较大的情形下显示较小的缩放的影像，在目标较小的情形下显示较大的缩放的影像，由此能够将更具有现实感的目标视点的影像展示给视听用户。
又，对于本实施方式的媒体相关信息生成系统101而言，也可以成为将表示目标行进的速度的行进速度信息包含于资源信息的结构。例如在球赛的球、F1赛车之类的行进速度较快的目标的情形下，目标视点的影像过快，因此无法对视听用户展示具有现实感的目标视点的影像。因此，通过使用上述结构，再现控制部38通过参照该行进速度信息，能够进行用于适当的再现速度的缩放(慢速再现)。
(使用了媒体相关信息生成系统101的例1)
通过使用这样的再现信息，例如能够将猫的视点的街景展示于视听用户。更具体而言，服务器2获取通过用户的照相机(智能手机等)、服务供应商的照相机(360度照相机、搭载了照相机的无人机等)而拍摄了猫及其周边的影像的媒体数据。服务器2对获取了的影像的猫的位置、大小、正面方向(脸部的朝向或者行进方向)进行计算，生成资源信息。
接下来，服务器2使用上述的属性值(例如，属性position_att的属性值"strict_synth_avoid")而生成用于确定出未映入有猫的影像且通过猫的后方的照相机而拍摄的影像的再现信息，并将该再现信息分发于再现装置3。此处，也可以构成为服务器2根据猫的大小而对影像进行放大或者缩小、或者根据猫的运动速度而改变再现速度。再现装置3通过使用获取的再现信息而进行再现，从而能够将猫的视点(比人类低的视点，有意外性的角度)的街景展示给视听用户。另外，通过相同的方法，也能够将小孩视点的街景展示给视听用户。
进一步地，服务器2也可以确定出多个从后方拍摄了猫的媒体数据，生成将与该多个媒体数据对应的多个video标签按照从后方开始拍摄猫的时刻的顺序排列的再现信息。该再现信息的各video标签包含对应的媒体数据的开始拍摄时刻作为属性start_time的值，包含从对应的媒体数据的开始拍摄时刻计算出的属性time_shift的值。另外，与上述的结构相同，本实施方式的属性time_shift表示媒体数据的开始拍摄时刻与通过拍摄该媒体数据的拍摄装置而开始拍摄猫的时刻之间的偏差。而且，该再现信息的各video标签表示应该从与在属性start_time的值加上了属性time_shift的值的值对应的再现位置再现与该video标签对应的媒体数据。根据该结构，再现装置3根据该再现信息使多个媒体数据依次再现，从而能够将跟踪了猫的街景展示给用户。
(使用了媒体相关信息生成系统101的例2)
此外，通过使用这样的再现信息，例如能够将球赛的球视点的影像展示给视听用户。更具体而言，服务器2获取通过用户的照相机、服务供应商设置于竞技场的多个照相机而拍摄了比赛中的球及其周边的影像的媒体数据。服务器2对获取的影像中的球的位置、大小、正面(行进方向)、行进速度进行计算，生成资源信息。
接下来，服务器2使用上述的属性值(例如，属性position_att的属性值"strict_synth_avoid")而生成用于确定出未映入有球的影像且通过移动中的球的后方的照相机而拍摄的影像的再现信息，并将该再现信息分发于再现装置3。此处，也可以构成为服务器2根据球的大小而对影像进行放大或者缩小、或根据球的运动速度而改变再现速度。另外，例如网球那样时速超过200公里左右的较快的目标的情形下，也可以进一步使再现速度变慢。再现装置3通过使用获取的再现信息进行再现，从而能够将球视点的影像展示于视听用户。另外，根据相同的方法，也能够将赛马比赛中的赛马的视点以及骑手的视点、通过使用搭载了照相机的无人机拍摄的影像而成为鸟的视点的影像展示给用户。
另外，服务器2也可以确定出多个从后方拍摄了移动中的球的媒体数据，并生成将与该多个媒体数据对应的多个video标签按照从后方开始拍摄移动中的球的时刻的顺序排列的再现信息。该再现信息的各video标签包含对应的媒体数据的开始拍摄时刻作为start_time的值，包含从对应的媒体数据的开始拍摄时刻计算出的属性time_shift的值。另外，与上述的结构相同，本实施方式的属性time_shift表示媒体数据的开始拍摄时刻、与通过拍摄该媒体数据的拍摄装置而开始拍摄移动的球的时刻之间的偏差。而且，该再现信息的各video标签表示应该从与在属性start_time的值加上了属性time_shift的值的值对应的再现位置再现与该video标签对应的媒体数据。根据该结构，再现装置3根据该再现信息而使多个媒体数据依次再现，由此能够将跟踪了球的影像展示给用户。
这样，对于本实施方式所涉及的媒体相关信息生成系统101而言，使资源信息所包含的方向信息表示的目标的正面方向在目标具有脸部的情形下成为脸部朝向的方向，在目标不具有脸部的情形下成为目标的行进方向，并通过参照该方向信息和目标的位置信息，从而能够将目标视点的影像展示给用户。此外，对于媒体相关信息生成系统101而言，通过使资源信息进一步包含表示目标的大小的目标大小信息，从而能够将目标视点的影像作为更具有现实感的影像而展示给用户。即，对于媒体相关信息生成系统101而言，用户不是通常的眼睛，从而能够展示具有意外性的视点的影像。
〔变形例〕
在上述实施方式中，示出通过拍摄装置1单体、或者通过拍摄装置1和服务器2生成资源信息的例子，但也可以服务器2以单体生成资源信息。该情形下，拍摄装置1将通过拍摄得到的媒体数据发送至服务器2，服务器2通过对接收的媒体数据进行解析从而生成资源信息。
此外，也可以通过多个服务器来进行生成资源信息的处理。例如，包括获取资源信息所包括的各种信息(目标的位置信息等)的服务器、和使用该服务器获取的各种信息而生成资源信息的服务器的系统，也能够生成与上述实施方式相同的资源信息。
〔基于软件的实现例〕
拍摄装置1、服务器2以及再现装置3的控制块(特别是控制部10、服务器控制部20以及再现装置控制部30)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(Central Processing Unit)而通过软件来实现。
在后者的情形下，拍摄装置1、服务器2以及再现装置3具备：执行作为实现各功能的软件的程序的命令的CPU、供上述程序以及各种数据以计算机(或者CPU)能够读取的方式记录的ROM(Read Only Memory)或者存储装置(将这些称为“记录介质”)、以及展开上述程序的RAM(Random Access Memory)等。而且，计算机(或者CPU)从上述记录介质读取并执行上述程序，由此实现本发明的目的。作为上述记录介质为“非易失性的有形的介质”，例如能够使用磁带、磁盘、卡、半导体存储器、可编程的逻辑电路。此外，上述程序也可以经由能够传送该程序的任意的传送介质(通信网络、广播波等)而供给于上述计算机。此外，本发明也可通过上述程序利用电子的传送而具体化的埋入载波的数据信号的形态来实现。
〔总结〕
本发明的方式1所涉及的生成装置(拍摄装置1/服务器2)，其生成与影像的数据相关的描述信息，具备：对象信息获取部(对象信息获取部17/数据获取部25)，其获取表示上述影像中的规定的目标的位置的位置信息；和描述信息生成部(资源信息生成部18/26)，其生成包含上述位置信息的描述信息(资源信息)，来作为与上述影像的数据相关的描述信息。
根据上述结构，获取表示影像中的规定的目标的位置的位置信息，并生成包含该位置信息的描述信息。通过参照这样的描述信息，从而能够确定出该影像的被拍摄体包含有规定的目标，并且也能够确定出其位置。因此，例如也能够将拍摄了位于某个目标的位置的附近的目标的影像抽出、确定出目标存在于某个位置的期间等。而且，由此，能够通过以往无法容易地进行的再现方式使影像再现、或者能够利用以往没有的新的基准来管理影像。即，根据上述的结构，能够生成能够利用于影像数据的再现、管理等的新的描述信息。
在上述方式1的基础上，本发明的方式2所涉及的生成装置也可以：上述对象信息获取部获取表示上述目标的朝向的方向信息，上述描述信息生成部生成包含上述位置信息以及上述方向信息的描述信息来作为与上述影像对应的描述信息。
根据上述结构，获取表示目标的朝向的方向信息，生成包含位置信息以及方向信息的描述信息。由此，容易根据目标的方向来管理影像、或再现影像。例如，容易从多个影像中抽出以所要的朝向拍摄了目标的影像。又，例如也能够容易地进行使影像显示于与目标的朝向对应的显示装置、或者使影像显示在显示画面上的与目标的朝向对应的位置等。
在上述方式1或2的基础上，本发明的方式3所涉及的生成装置也可以：上述对象信息获取部获取表示拍摄了上述影像的拍摄装置相对于上述目标的相对位置的相对位置信息，上述描述信息生成部生成包含上述位置信息以及上述相对位置信息的描述信息，来作为与上述影像对应的描述信息。
根据上述结构，获取表示拍摄装置相对于目标的相对位置的相对位置信息，而生成包含位置信息以及相对位置信息的描述信息。由此，容易根据拍摄装置的位置(拍摄位置)来管理影像、或再现影像。例如，也能够容易地进行抽出在目标的附近拍摄的影像、或使影像显示于同目标与拍摄位置的距离对应的位置的显示装置。
在上述方式1～3中任一个的基础上，本发明的方式4所涉及的生成装置也可以：上述对象信息获取部获取表示上述目标的大小的大小信息，上述描述信息生成部生成包含上述位置信息以及上述大小信息的描述信息来作为与上述影像对应的描述信息。
根据上述结构，获取表示目标的大小的大小信息，生成包含位置信息以及大小信息的描述信息。由此，能够将从目标的后侧观察的影像且未映入有目标的影像(即，一定程度上忠实地示出从目标观察的视野的状况的影像)展示给视听用户。另外，通过在目标较大的情形下显示较小的缩放的影像，在目标较小的情形下显示较大的缩放的影像，从而能够将更具有现实感的目标视点的影像展示给视听用户。
本发明的方式5所涉及的生成装置(拍摄装置1/服务器2)，其生成与影像的数据相关的描述信息，具备：对象信息获取部(对象信息获取部17/数据获取部25)，其获取表示上述影像中的规定的目标的位置的位置信息；拍摄信息获取部(拍摄信息获取部16/数据获取部25)，其获取表示拍摄了上述影像的拍摄装置的位置的位置信息；以及描述信息生成部(资源信息生成部18/26)，其生成包括表示包含上述对象信息获取部获取的位置信息、与上述拍摄信息获取部获取的位置信息中的任一个位置信息的信息(position_flag)、并且包括该信息表示的位置信息的描述信息，来作为与上述影像的数据相关的描述信息。
根据上述结构，生成包括表示包含对象信息获取部获取的目标的位置信息、与拍摄信息获取部获取的拍摄装置的位置信息(表示拍摄位置的位置信息)中的任一个位置信息的信息、并且包括该信息表示的位置信息的描述信息。换句话说，根据上述的结构，能够生成包含拍摄位置的位置信息的描述信息，并且也能够生成包含目标位置的位置信息的描述信息。而且，通过利用这些位置信息，从而也能够通过以往无法容易地进行的再现方式来再现影像、或者能够通过以往没有的新的基准来管理影像。即，根据上述的结构，能够生成可在影像数据的再现、管理等中利用的新的描述信息。
本发明的方式6所涉及的生成装置(拍摄装置1)，其生成运动图像的数据所相关的描述信息，具备：信息获取部(拍摄信息获取部16、对象信息获取部17)，其分别获取从上述运动图像的开始拍摄至结束的多个不同时刻的、表示该运动图像的拍摄位置或者上述运动图像中的规定的目标的位置的位置信息；和描述信息生成部(资源信息生成部18)，其生成包含多个不同时刻的上述位置信息的描述信息，来作为与上述运动图像的数据相关的描述信息。
根据上述结构，分别获取从运动图像的开始拍摄至结束的多个不同时刻的、表示该运动图像的拍摄位置或者上述运动图像中的规定的目标的位置的位置信息，并生成包含这些位置信息的描述信息。通过参照该描述信息，从而能够追踪运动图像的拍摄期间的拍摄位置或者目标位置的迁移。而且，由此，也能够通过以往无法容易地进行的再现方式来再现影像、或者能够通过以往没有的新的基准来管理影像。即，根据上述的结构，能够生成可在影像数据的再现、管理等中利用的新的描述信息。
本发明的各方式所涉及的生成装置也可以通过计算机来实现，此时，通过使计算机作为上述生成装置所具备的各部(软件要素)而工作，从而利用计算机来实现上述生成装置的生成装置的控制程序、以及记录了该程序的计算机能够读取的记录介质也包含于本发明的范围。
本发明并不限定于上述的各实施方式，在权利要求所示的范围内能够进行各种变更，将不同的实施方式分别公开的技术的手段适当地组合而得到的实施方式也包含于本发明的技术的范围。并且，通过将各实施方式分别公开的技术的手段组合，从而能够形成新的技术的特征。
工业上的利用可能性
本发明能够在生成描述了与影像相关的信息的描述信息的装置、以及使用该描述信息而再现影像的装置等中利用。
符号说明
1...拍摄装置(生成装置)
16...拍摄信息获取部(信息获取部)
17...对象信息获取部(信息获取部)
18...资源信息生成部(描述信息生成部)
2...服务器(生成装置)
25...数据获取部(信息获取部、拍摄信息获取部、对象信息获取部)
26...资源信息生成部(描述信息生成部)

Claims (6)

1.一种生成装置，其生成与影像的数据相关的描述信息，其特征在于，具备：
对象信息获取部，其获取表示所述影像中的规定的目标的位置的位置信息；以及
描述信息生成部，其生成包含所述位置信息的描述信息，来作为与所述影像的数据相关的描述信息。
2.根据权利要求1所述的生成装置，其特征在于，
所述对象信息获取部获取表示所述目标的朝向的方向信息，
所述描述信息生成部生成包含所述位置信息以及所述方向信息的描述信息，来作为与所述影像对应的描述信息。
3.根据权利要求1或2所述的生成装置，其特征在于，
所述对象信息获取部获取表示拍摄了所述影像的拍摄装置相对于所述目标的相对位置的相对位置信息，
所述描述信息生成部生成包含所述位置信息以及所述相对位置信息的描述信息，来作为与所述影像对应的描述信息。
4.根据权利要求1至3中任一项所述的生成装置，其特征在于，
所述对象信息获取部获取表示所述目标的大小的大小信息，
所述描述信息生成部生成包含所述位置信息以及所述大小信息的描述信息来作为与所述影像对应的描述信息。
5.一种生成装置，其生成与影像的数据相关的描述信息，其特征在于，具备：
对象信息获取部，其获取表示所述影像中的规定的目标的位置的位置信息；
拍摄信息获取部，其获取表示拍摄了所述影像的拍摄装置的位置的位置信息；以及
描述信息生成部，其生成包括表示包含所述对象信息获取部获取的位置信息与所述拍摄信息获取部获取的位置信息中的任一个位置信息的信息、并且包括该信息表示的位置信息的描述信息，来作为与所述影像的数据相关的描述信息。
6.一种生成装置，其生成与运动图像的数据相关的描述信息，其特征在于，具备：
信息获取部，其分别获取从所述运动图像的开始拍摄至结束的多个不同时刻的、表示该运动图像的拍摄位置或者所述运动图像中的规定的目标的位置的位置信息；以及
描述信息生成部，其生成包含多个不同时刻的所述位置信息的描述信息，来作为与所述运动图像的数据相关的描述信息。
CN201680034943.3A 2015-06-16 2016-05-18 生成装置 Pending CN107683604A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015121552 2015-06-16
JP2015-121552 2015-06-16
JP2015-202303 2015-10-13
JP2015202303 2015-10-13
PCT/JP2016/064789 WO2016203896A1 (ja) 2015-06-16 2016-05-18 生成装置

Publications (1)

Publication Number Publication Date
CN107683604A true CN107683604A (zh) 2018-02-09

Family

ID=57545081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034943.3A Pending CN107683604A (zh) 2015-06-16 2016-05-18 生成装置

Country Status (4)

Country Link
US (1) US20180160198A1 (zh)
JP (1) JPWO2016203896A1 (zh)
CN (1) CN107683604A (zh)
WO (1) WO2016203896A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106993227B (zh) * 2016-01-20 2020-01-21 腾讯科技（北京）有限公司 一种进行信息展示的方法和装置
JP6677684B2 (ja) * 2017-08-01 2020-04-08 株式会社リアルグローブ 映像配信システム
JP6977931B2 (ja) * 2017-12-28 2021-12-08 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178804A (ja) * 2004-12-24 2006-07-06 Hitachi Eng Co Ltd 被写体オブジェクト情報提供方法および被写体オブジェクト情報提供サーバ
JP2008310446A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像検索システム
CN101527794A (zh) * 2008-03-05 2009-09-09 索尼株式会社 图像捕获方法、其控制方法及程序
CN101872469A (zh) * 2009-04-21 2010-10-27 索尼公司 电子设备、显示控制方法和程序
WO2013111415A1 (ja) * 2012-01-26 2013-08-01 ソニー株式会社 画像処理装置および画像処理方法
JP2015508604A (ja) * 2012-01-02 2015-03-19 サムスン エレクトロニクス カンパニー リミテッド Ｕｉ提供方法及びそれを適用した映像撮影装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
GB2469074A (en) * 2009-03-31 2010-10-06 Sony Corp Object tracking with polynomial position adjustment
JP5573353B2 (ja) * 2010-05-18 2014-08-20 株式会社ニコン 撮影装置、画像表示装置、および画像表示プログラム
JP2014022921A (ja) * 2012-07-18 2014-02-03 Nikon Corp 電子機器およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178804A (ja) * 2004-12-24 2006-07-06 Hitachi Eng Co Ltd 被写体オブジェクト情報提供方法および被写体オブジェクト情報提供サーバ
JP2008310446A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像検索システム
CN101527794A (zh) * 2008-03-05 2009-09-09 索尼株式会社 图像捕获方法、其控制方法及程序
CN101872469A (zh) * 2009-04-21 2010-10-27 索尼公司 电子设备、显示控制方法和程序
JP2015508604A (ja) * 2012-01-02 2015-03-19 サムスン エレクトロニクス カンパニー リミテッド Ｕｉ提供方法及びそれを適用した映像撮影装置
WO2013111415A1 (ja) * 2012-01-26 2013-08-01 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2016203896A1 (ja) 2016-12-22
JPWO2016203896A1 (ja) 2018-04-19
US20180160198A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
CN112256127B (zh) 球形视频编辑
US10582191B1 (en) Dynamic angle viewing system
CN104641399B (zh) 用于创建环境并用于共享环境中基于位置的体验的系统和方法
CN109963163A (zh) 网络视频直播方法、装置及电子设备
CN110286773A (zh) 基于增强现实的信息提供方法、装置、设备及存储介质
CN109565571B (zh) 标示关注区域的方法与装置
CN106170101A (zh) 内容供应系统、信息处理设备和内容再现方法
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
CN106162204A (zh) 全景视频生成、播放方法、装置及系统
CN105894571B (zh) 一种处理多媒体信息的方法及装置
CN110168615A (zh) 信息处理设备、信息处理方法和程序
WO2018028512A1 (en) File format for indication of video content
CN109328462A (zh) 一种用于流视频内容的方法及装置
CN115442658B (zh) 直播方法、装置、存储介质、电子设备及产品
CN107683604A (zh) 生成装置
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
CN113010009A (zh) 对象共享方法及装置
JP6566209B2 (ja) プログラム及びアイウエア
CN105893452B (zh) 一种呈现多媒体信息的方法及装置
GB2565301A (en) Three-dimensional video processing
EP3430591A1 (en) System for georeferenced, geo-oriented real time video streams
JP2015531130A (ja) イベントに関連付けられる情報を人に供給するための方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180209

WD01 Invention patent application deemed withdrawn after publication