CN115209186A - 再现装置和再现方法 - Google Patents

再现装置和再现方法 Download PDF

Info

Publication number
CN115209186A
CN115209186A CN202210683302.8A CN202210683302A CN115209186A CN 115209186 A CN115209186 A CN 115209186A CN 202210683302 A CN202210683302 A CN 202210683302A CN 115209186 A CN115209186 A CN 115209186A
Authority
CN
China
Prior art keywords
information
zoom
zoom region
content
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210683302.8A
Other languages
English (en)
Inventor
辻实
知念彻
史润宇
西口正之
山本优树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN115209186A publication Critical patent/CN115209186A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream

Abstract

本发明的技术涉及一种再现装置和再现方法。该再现装置包括：解码单元，所述解码单元对经编码的视频数据或者经编码的音频数据进行解码；缩放区域选择单元，所述缩放区域选择单元从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及数据处理单元，所述数据处理单元基于所选择的缩放区域信息对通过解码而获得的视频数据执行裁剪处理，或者对通过解码而获得的音频数据执行音频转换处理，其中，所述缩放区域信息包括指示缩放区域信息的数目或条数的缩放区域数目信息。

Description

再现装置和再现方法
本申请是国家申请号为201580053817.8，国际申请日为2015年9月28日，进入国家日期为2017年4月1日，发明名称为“编码装置和方法、再现装置和方法以及程序”的申请的分案申请。
技术领域
本技术涉及编码装置、编码方法、再现装置、再现方法、以及程序，并且更具体地，涉及使得每个再现装置能够以简化的方式来再现适当的内容的编码装置、编码方法、再现装置、再现方法、以及程序。
背景技术
近年来，已知被称为4K或8K的高分辨率的视频内容。经常在考虑大视角即在大屏幕上再现的情况下生成这种4K或8K的视频内容。
另外，由于4K或8K的视频内容具有高分辨率，所以在这样的视频内容的画面的一部分被裁剪的情况下分辨率也是足够的，因此，这样的视频内容可以被裁剪和再现(例如，参见非专利文献1)。
引用列表
非专利文献
非专利文献1：FDR-AX100，[在线]，[2014年9月24日检索]，因特网＜URL：http：//www.sony.net/Products/di/en-us/products/j4it/index.html＞
发明内容
本发明要解决的问题
同时，视频再现设备被多样化，并且考虑以从大屏幕到智能电话(多功能移动电话)的各种屏幕尺寸的再现。然而，在当前情况下，相同的内容被放大或缩小地再现，以匹配每个屏幕尺寸。
同时，上述4K或8K的视频内容经常在考虑在大屏幕上再现的情况下生成。因此，使用具有相对小屏幕的再现设备如平板个人计算机(PC)或智能电话来再现这样的视频内容是不合适的。
因此，例如，对于具有彼此不同的屏幕尺寸等的再现设备，为了提供适合于每种屏幕尺寸、屏幕形状等的内容，需要单独准备适合于每种屏幕尺寸、屏幕形状等的内容。
本技术考虑了这些情况，并且使得每个再现设备能够以简化的方式来再现适当的内容。
问题的解决方案
根据本技术的第一方面的再现装置包括：解码单元，其对经编码的视频数据或者经编码的音频数据进行解码；缩放区域选择单元，其从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及数据处理单元，其基于所选择的缩放区域信息对通过解码而获得的视频数据执行裁剪处理或者对通过解码而获得的音频数据执行音频转换处理。
在多条缩放区域信息中，可以包括指定针对每种类型的再现目标设备的区域的缩放区域信息。
在多条缩放区域信息中，可以包括指定针对每个再现目标设备旋转方向的区域的缩放区域信息。
在多条缩放区域信息中，可以包括指定针对每个特定视频对象的区域的缩放区域信息。
可以使缩放区域选择单元根据用户的操作输入来选择缩放区域信息。
可以使缩放区域选择单元基于与再现装置有关的信息来选择缩放区域信息。
可以使缩放区域选择单元通过使用表示再现装置的类型的信息和表示再现装置的旋转方向的信息中的至少任一种信息作为与再现装置有关的信息来选择缩放区域信息。
根据本技术的第一方面的再现方法或程序包括下述步骤：对经编码的视频数据或者经编码的音频数据进行解码；从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及基于所选择的缩放区域信息，对通过解码而获得的视频数据执行裁剪处理或者对通过解码而获得的音频数据执行音频转换处理。
根据本技术的第一方面，对经编码的视频数据或者经编码的音频数据进行解码；从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及基于所选择的缩放区域信息，对通过解码而获得的视频数据执行裁剪处理或者对通过解码而获得的音频数据执行音频转换处理。
根据本技术的第二方面的编码装置包括：编码单元，其对视频数据进行编码或者对音频数据进行编码；以及多路复用器，其通过将经编码的视频数据或者经编码的音频数据与指定待缩放的区域的多条缩放区域信息进行多路复用来生成比特流。
根据本技术的第二方面的编码方法或程序包括下述步骤：对视频数据进行编码或者对音频数据进行编码；以及通过将经编码的视频数据或者经编码的音频数据与指定待缩放的区域的多条缩放区域信息进行多路复用来生成比特流。
根据本技术的第二方面，对视频数据进行编码或者对音频数据进行编码；以及通过将经编码的视频数据或者经编码的音频数据与指定待缩放的区域的多条缩放区域信息进行多路复用来生成比特流。
本发明的效果
根据本技术的第一方面和第二方面，每个再现设备能够以简化的方式来再现适当的内容。
注意，本技术的效果不限于此处描述的效果，而是可以为本公开内容中描述的任何效果。
附图说明
图1是示出编码装置的配置的示例的图。
图2是示出经编码的内容数据的配置的图。
图3是示出缩放区域信息的图。
图4是示出缩放区域信息存在标志的语法的图。
图5是示出缩放区域信息的语法的图。
图6是示出缩放区域信息的语法的图。
图7是示出缩放区域信息的语法的图。
图8是示出缩放区域信息的语法的图。
图9是示出缩放区域信息的语法的图。
图10是示出缩放区域信息的语法的图。
图11是示出缩放区域信息的图。
图12是示出缩放区域信息的图。
图13是示出缩放区域信息的语法的图。
图14是示出缩放区域信息存在标志等的语法的图。
图15是示出缩放区域信息的语法的图。
图16是示出缩放区域辅助信息等的语法的图。
图17是示出缩放规格的图。
图18是示出再现的内容的示例的图。
图19是示出编码处理的流程图。
图20是示出再现装置的配置的示例的图。
图21是示出再现处理的流程图。
图22是示出再现装置的配置的示例的图。
图23是示出再现处理的流程图。
图24是示出再现装置的配置的示例的图。
图25是示出再现处理的流程图。
图26是示出再现装置的配置的示例的图。
图27是示出再现处理的流程图。
图28是示出计算机的配置的示例的图。
具体实施方式
在下文中，将参照附图来描述应用本技术的实施方式。
＜第一实施方式＞
＜编码装置的配置的示例＞
本技术使得具有彼此不同的显示屏尺寸的再现设备如TV接收机和智能电话能够以简化的方式来再现适当的内容如适合于这种再现设备的内容。这里描述的内容例如可以是由视频和音频形成的内容或者由视频和音频中任一者形成的内容。在下文中，将使用由视频和伴随该视频的音频形成的内容的情况的示例来继续描述。
图1是示出根据本技术的编码装置的配置的示例的图。
该编码装置11对由内容生成者生成的内容进行编码，并且输出其中存储作为其结果而获得的经编码的数据的比特流(代码串)。
编码装置11包括：视频数据编码单元21；音频数据编码单元22；元数据编码单元23；多路复用器24；以及输出单元25。
在本示例中，构成内容的视频的视频数据和音频的音频数据分别被提供给视频数据编码单元21和音频数据编码单元22，并且内容的元数据被提供给元数据编码单元23。
视频数据编码单元21对所提供的内容的视频数据进行编码，并且将作为其结果而获得的经编码的视频数据提供给多路复用器24。音频数据编码单元22对所提供的内容的音频数据进行编码，并且将作为其结果而获得的经编码的音频数据提供给多路复用器24。
元数据编码单元23对所提供的内容的元数据进行编码，并且将作为其结果而获得的经编码的元数据提供给多路复用器24。
多路复用器24通过将从视频数据编码单元21提供的经编码的视频数据、从音频数据编码单元22提供的经编码的音频数据以及从元数据编码单元23提供的经编码的元数据进行多路复用来生成比特流，并且将所生成的比特流提供给输出单元25。输出单元25将从多路复用器24提供的比特流输出给再现设备等。
注意，在下文中，从输出单元25输出的比特流也被将称为经编码的内容数据。
＜经编码的内容数据＞
根据需要在考虑进行裁剪和再现的情况下生成由编码装置11编码的内容。换言之，内容制作者在考虑直接再现内容或者对构成内容的视频的整个区域的一部分进行裁剪和再现的情况下生成内容。
例如，内容制作者从构成内容的视频(图像)的整个区域中选择待裁剪和再现的部分区域即通过裁剪而被缩放和再现的区域作为缩放区域。
注意，例如，用于实现适合于所考虑的再现设备的视角等目的的缩放区域可以由内容制作者自由地确定。此外，可以基于缩放目的来确定缩放区域，缩放目的例如对特定对象如内容的视频内的歌手或演奏者等进行放大和跟踪。
以这种方式，在由制作者侧对内容指定若干缩放区域的情况下，在从编码装置11输出的比特流中，即在经编码的内容数据中，指定缩放区域的缩放区域信息被存储为元数据。此时，当希望针对每个预定时间单位来指定缩放区域时，可以针对上述每个时间单位将缩放区域信息存储在经编码的内容数据中。
更具体地，例如，如图2所示，在针对每个帧将内容存储在比特流中的情况下，可以针对每个帧将缩放区域信息存储在比特流中。
在图2所示的示例中，在比特流即经编码的内容数据的开始处布置了其中存储头信息等的头区段HD，并且在头区段HD之后布置了其中存储经编码的视频数据和经编码的音频数据的数据区段DA。
在头区段HD中，设置了其中存储与构成内容的视频有关的头信息的视频信息头区段PHD、其中存储与构成内容的音频有关的头信息的音频信息头区段AHD以及其中存储与内容的元数据有关的头信息的元信息头区段MHD。
此外，在元信息头区段MHD中，设置了其中存储与缩放区域信息有关的信息的缩放区域信息头区段ZHD。例如，在缩放区域信息头区段ZHD中，存储表示是否在数据区段DA中存储了缩放区域信息的缩放区域信息存在标志等。
此外，在数据区段DA中，设置了其中针对内容的每个帧存储经编码的内容的数据的数据区段。在本示例中，在数据区段DA的开始处设置了其中存储第一帧的数据的数据区段DAF-1，并且在数据区段DAF-1之后设置了其中存储内容的第二帧的数据的数据区段DAF-2。另外，此处，在附图中未示出第三帧和后续帧的数据区段。在下文中，在每个帧的数据区段DAF-1或数据区段DAF-2不需要彼此特别区分的情况下，数据区段DAF-1和数据区段DAF-2中的每个将被简称为数据区段DAF。
在第一帧的数据区段DAF-1中设置了其中存储经编码的视频数据的视频信息数据区段PD-1、其中存储经编码的音频数据的音频信息数据区段AD-1以及其中存储经编码的元数据的元信息数据区段MD-1。
例如，在元信息数据区段MD-1中，包括内容的第一帧中所包括的视频对象和声源对象的位置信息等。另外，在元信息数据区段MD-1内设置了其中存储经编码的元数据中的经编码的缩放区域信息的缩放区域信息数据区段ZD-1。视频对象和声源对象的位置信息、缩放区域信息等被设定为内容的元数据。
同样，与数据区段DAF-1类似，在数据区段DAF-2中设置了其中存储经编码的视频数据的视频信息数据区段PD-2、其中存储经编码的音频数据的音频信息数据区段AD-2以及其中存储经编码的元数据的元信息数据区段MD-2。另外，在元信息数据区段MD-2中，设置了其中存储经编码的缩放区域信息的缩放区域信息数据区段ZD-2。
此外，在下文中，在视频信息数据区段PD-1和视频信息数据区段PD-2不需要彼此特别区分的情况下，视频信息数据区段PD-1和视频信息数据区段PD-2中的每个也将被简称为视频信息数据区段PD，并且在音频信息数据区段AD-1和音频信息数据区段AD-2不需要彼此特别区分的情况下，音频信息数据区段AD-1和音频信息数据区段AD-2中的每个也将被简称为音频信息数据区段AD。另外，在元信息数据区段MD-1和元信息数据区段MD-2不需要彼此特别区分的情况下，元信息数据区段MD-1和元信息数据区段MD-2中的每个将被简称为元信息数据区段MD，并且在缩放区域信息数据区段ZD-1和缩放区域信息数据区段ZD-2不需要彼此特别区分的情况下，缩放区域信息数据区段ZD-1和缩放区域信息数据区段ZD-2中的每个也将被简称为缩放区域信息数据段ZD。
此外，在图2的情况下，在每个数据区段DAF中，描述了设置视频信息数据区段PD、音频信息数据区段AD和元信息数据区段MD的示例。然而，元信息数据区段MD可以被设置在视频信息数据区段PD和音频信息数据区段AD中的每个中或者其中之一中。在这种情况下，缩放区域信息被存储在设置在视频信息数据区段PD或音频信息数据区段AD内的元信息数据区段MD的缩放区域信息数据区段ZD中。
类似地，虽然描述了视频信息头区段PHD、音频信息头区段AHD和元信息头区段MHD被设置在头区段HD中的示例，但是元信息头区段MHD可以被设置在视频信息头区段PHD和音频信息头区段AHD中的二者中或者任何一者中。
另外，在内容的每个帧中的缩放区域信息相同的情况下，缩放区域信息可以被配置成存储在头区段HD中。在这种情况下，不需要将缩放区域信息数据区段ZD设置在每个数据区段DAF中。
＜缩放区域信息的具体示例1＞
随后，将描述缩放区域信息的更具体的示例。
上述缩放区域信息是指定待缩放的区域的缩放区域的信息，更具体地，缩放区域信息是表示缩放区域的位置的信息。例如，如图3所示的缩放区域可以使用缩放区域的中心位置的坐标、起点的坐标、终点的坐标、竖直宽度、水平宽度等来指定。
在图3所示的情况下，内容的整个视频(图像)的区域是原始区域OR，并且在原始区域OR内指定一个矩形缩放区域ZE。在本示例中，缩放区域ZE在图的横向(水平方向)上的宽度是水平宽度XW，并且缩放区域ZE在图的纵向(竖直方向)上的宽度是竖直宽度YW。
此处，在图中，XY坐标系中的将横向(水平方向)作为X方向并且将纵向(竖直方向)作为Y方向的点将被表示为坐标(X，Y)。
现在，当缩放区域ZE的中心位置(中心位置)的点P11的坐标为(XC，YC)时，可以使用该中心坐标(XC，YC)以及缩放区域ZE的水平宽度XW和竖直宽度YW来指定缩放区域ZE。因此，可以将中心坐标(XC，YC)、水平宽度XW和竖直宽度YW设定为缩放区域信息。
另外，例如，在缩放区域ZE是矩形区域的情况下，缩放区域ZE在图中的左上顶点P12被设定为起点，并且缩放区域ZE在图中的右下顶点P13被设定为终点，并且也可以使用起点(顶点P12)的坐标(X0，Y0)和终点(顶点P13)的坐标(X1，Y1)来指定缩放区域ZE。因此，可以将起点的坐标(X0，Y0)和终点的坐标(X1，Y1)设定为缩放区域信息。
更具体地，将起点的坐标(X0，Y0)和终点的坐标(X1，Y1)设定为缩放区域信息。在这种情况下，例如，可以配置成使得根据缩放区域信息存在标志的值，将图4所示的缩放区域信息存储在上述缩放区域信息头区段ZHD中，以及将图5所示的缩放区域信息存储在每个缩放区域信息数据区段ZD中。
图4是示出缩放区域信息存在标志的语法的图。在本示例中，“hasZoomAreaInfo”表示缩放区域信息存在标志，并且缩放区域信息存在标志hasZoomAreaInfo的值为“0”和“1”中之一。
此处，在缩放区域信息存在标志hasZoomAreaInfo的值为“0”的情况下，表示经编码的内容数据中不包括缩放区域信息。与此相反，在缩放区域信息存在标志hasZoomAreaInfo的值为“1”的情况下，表示经编码的内容数据中包括缩放区域信息。
另外，在缩放区域信息存在标志hasZoomAreaInfo的值为“1”的情况下，缩放区域信息被存储在每个帧的缩放区域信息数据区段ZD中。例如，以图5所示的语法将缩放区域信息存储在缩放区域信息数据区段ZD中。
在图5中，“ZoomAreaX0”和“ZoomAreaY0”分别表示缩放区域ZE的起点的X坐标X0和Y坐标Y0。另外，“ZoomAreaX1”和“ZoomAreaY1”分别表示缩放区域ZE的终点的X坐标X1和Y坐标Y1。
例如，在待编码的内容的视频是8K视频的情况下，“ZoomAreaX0”和“ZoomAreaX1”的值中的每个值被设定为值0至7679中之一，并且“ZoomAreaY0”和“ZoomAreaY1”中的每个值被设定为值0至4319中之一。
＜缩放区域信息的具体示例2＞
另外，例如，同样在中心坐标(XC，YC)、水平宽度XW和竖直宽度YW被设定为缩放区域信息的情况下，图4所示的缩放区域信息存在标志hasZoomAreaInfo被存储在缩放区域信息头区段ZHD中。当缩放区域信息存在标志hasZoomAreaInfo的值为“1”时，缩放区域信息被存储在每个帧的缩放区域信息数据区段ZD中。在这种情况下，例如，以图6所示的语法将缩放区域信息存储在缩放区域信息数据区段ZD中。
在图6的情况下，“ZoomAreaXC”和“ZoomAreaYC”分别表示缩放区域ZE的中心坐标(XC，YC)的X坐标XC和Y坐标YC。
另外，“ZoomAreaXW”和“ZoomAreaYW”分别表示缩放区域ZE的水平宽度XW和竖直宽度YW。
同样在本示例中，例如，在待编码的内容的视频是8K视频的情况下，“ZoomAreaXC”和“ZoomAreaXW”的值中的每个值被设定为值0至7679中之一，并且“ZoomAreaYC”和“ZoomAreaYW”的值中的每个值被设定为值0至4319中之一。
＜缩放区域信息的具体示例3＞
另外，例如，在使用中心坐标(XC，YC)、水平宽度XW和竖直宽度YW来指定缩放区域并且水平宽度XW和竖直宽度YW被设定为固定值的情况下，可以只将中心坐标(XC，YC)的差作为缩放区域信息存储在缩放区域信息数据区段ZD中。
在这种情况下，例如，在设置在第一帧的数据区段DAF-1中的缩放区域信息数据区段ZD-1中，存储图6所示的缩放区域信息。另外，在设置在第二帧和随后帧中的每个帧的数据区段DAF中的缩放区域信息数据区段ZD中，以图7所示的语法来存储缩放区域信息。
在图7的情况下，“nbits”、“ZoomAreaXCshift”和“ZoomAreaYCshift”被存储为缩放区域信息。“nbits”是表示“ZoomAreaXCshift”和“ZoomAreaYCshift”中的每个的信息的位数的位数信息。
另外，“ZoomAreaXCshift”表示作为中心坐标(XC，YC)的X坐标的XC与预定基准值的差。例如，坐标XC的基准值可以是第一帧中的中心坐标(XC，YC)的X坐标或者当前帧的前一帧中的中心坐标(XC，YC)的X坐标。
“ZoomAreaYCshift”表示作为中心坐标(XC，YC)的Y坐标的YC与预定基准值的差。例如，与坐标XC的基准值类似，坐标YC的基准值可以是第一帧中的中心坐标(XC，YC)的Y坐标或者当前帧的前一帧中的中心坐标(XC，YC)的Y坐标。
这样的“ZoomAreaXCshift”和“ZoomAreaYCshift”表示从中心坐标(XC，YC)的基准值的移动量。
注意，例如，在中心坐标(XC，YC)的基准值在内容的再现侧是已知的情况下，在中心坐标(XC，YC)的基准值被存储在缩放区域信息头区段ZHD等的情况下，图7所示的缩放区域信息可以被存储在每个帧的缩放区域信息数据区段ZD中。
＜缩放区域信息的具体示例4＞
另外，例如，在使用中心坐标(XC，YC)、水平宽度XW和竖直宽度YW来指定缩放区域并且中心坐标(XC，YC)被设定为固定值的情况下，可以只将差即水平宽度XW和竖直宽度YW的变化量作为缩放区域信息存储在缩放区域信息数据区段ZD中。
在这种情况下，例如，在设置在第一帧的数据区段DAF-1中的缩放区域信息数据区段ZD-1中，存储图6所示的缩放区域信息。另外，在设置在第二帧和随后帧的每个中的数据区段DAF中设置的缩放区域信息数据区段ZD中，以图8所示的语法来存储缩放区域信息。
在图8中，“nbits”、“ZoomAreaXWshift”和“ZoomAreaYWshift”被存储为缩放区域信息。“nbits”是表示“ZoomAreaXWshift”和“ZoomAreaYWshift”中的每个的信息的位数的位数信息。
另外，“ZoomAreaXWshift”表示相对于水平宽度XW的预定基准值的变化量。例如，水平宽度XW的基准值可以是第一帧中的水平宽度XW或者当前帧的前一帧的水平宽度XW。
“ZoomAreaYWshift”表示相对于竖直宽度YW的基准值的变化量。例如，与水平宽度XW的基准值类似，竖直宽度YW的基准值可以是第一帧中的竖直宽度YW或者当前帧的前一帧的竖直宽度YW。
注意，例如，在水平宽度XW和竖直宽度YW的基准值在内容的再现侧是已知的情况下，在水平宽度XW和竖直宽度YW的基准值被存储在缩放区域信息头区段ZHD等中的情况下，图8所示的缩放区域信息可以被存储在每个帧的缩放区域信息数据区段ZD中。
＜缩放区域信息的具体示例5＞
另外，例如，在使用中心坐标(XC，YC)、水平宽度XW和竖直宽度YW来指定缩放区域的情况下，如图7和图8中的情况那样，中心坐标(XC，YC)、水平宽度XW和竖直宽度YW的差可以作为缩放区域信息存储在缩放区域信息数据区段ZD中。
在这种情况下，例如，在设置在第一帧的数据区段DAF-1中设置的缩放区域信息数据区段ZD-1中，存储图6所示的缩放区域信息。另外，在设置在第二帧和随后帧中的每个的数据区段DAF中的缩放区域信息数据区段ZD中，以图9所示的语法来存储缩放区域信息。
在图9的情况下，“nbits”、“ZoomAreaXCshift”、“ZoomAreaYCshift”、“ZoomAreaXWshift”和“ZoomAreaYWshift”被存储为缩放区域信息。
“nbits”是表示“ZoomAreaXCshift”、“ZoomAreaYCshift”、“ZoomAreaXWshift”和“ZoomAreaYWshift”中的每个的信息的位数的位数信息。
如图7中的情况，“ZoomAreaXCshift”和“ZoomAreaYCshift”分别表示与中心坐标(XC，YC)的X坐标和Y坐标的基准值的差。
另外，如图8中的情况，“ZoomAreaXWshift”和“ZoomAreaYWshifi”分别表示相对于水平宽度XW和竖直宽度YW的基准值的变化量。
此处，中心坐标(XC，YC)、水平宽度XW和竖直宽度YW的基准值可以被设定为第一帧或者当前帧的前一帧中的中心坐标(XC，YC)、水平宽度XW和竖直宽度YW。此外，在中心坐标(XC，YC)、水平宽度XW和竖直宽度YW的基准值在内容的再现侧是已知的情况下，或者在基准值被存储在缩放区域信息头区段ZHD中的情况下，图9所示的缩放区域信息可以被存储在每个帧的缩放区域信息数据区段ZD中。
＜缩放区域信息的具体示例6＞
另外，通过将上述图6至图9所示的示例进行组合，例如，可以以图10所示的语法将缩放区域信息存储每个缩放区域信息数据区段ZD中。
在这种情况下，图4所示的缩放区域信息存在标志hasZoomAreaInfo被存储在缩放区域信息头区段ZHD中。此外，当缩放区域信息存在标志hasZoomAreaInfo的值为“1”时，缩放区域信息被存储在每个帧的缩放区域信息数据区段ZD中。例如，以图10所示的语法将缩放区域信息存储在缩放区域信息数据区段ZD中。
在图10所示的情况下，在缩放区域信息的开始处布置了编码模式信息，编码模式信息表示图6至图9所示的格式中的描述缩放区域信息(更具体地，指定缩放区域的位置的信息)的格式。在图10中，“mode”表示编码模式信息。
此处，编码模式信息mode的值被设定为值0至3中之一。
例如，在编码模式信息mode的值为“0”的情况下，如图中的“case0”及以下所示，与图6所示的示例类似，表示坐标XC的“ZoomAreaXC”、表示坐标YC的“ZoomAreaYC”、表示水平宽度XW的“ZoomAreaXW”和表示竖直宽度YW的“ZoomAreaYW”被存储为缩放区域信息。
另一方面，在编码模式信息mode的值为“1”的情况下，如图中的“case 1”及以下所示，类似于图7所示的示例，表示位数信息的“nbits”、表示坐标XC的差的“ZoomAreaXCshift”和表示坐标YC的差的“ZoomAreaYCshift”被存储为缩放区域信息。
在编码模式信息mode的值为“2”的情况下，如图中的“case 2”及以下所示，与图8所示的示例类似，表示位数信息的“nbits”、表示水平宽度XW的变化量的“ZoomAreaXWshift”、表示竖直宽度YW的变化量的“ZoomAreaYWshift”被存储为缩放区域信息。
此外，在编码模式信息mode的值为“3”的情况下，如图中的“case3”及以下所示，与图9所示的示例类似，表示位数信息的“nbits”、表示坐标XC的差的“ZoomAreaXCshift”、表示坐标YC的差的“ZoomAreaYCshift”、表示水平宽度XW的变化量的“ZoomAreaXWshift”以及表示竖直宽度YW的变化量“ZoomAreaYWshift”被存储为缩放区域信息。
＜缩放区域信息的具体示例7＞
另外，尽管以上描述了将坐标信息存储为缩放区域信息的示例，但是可以将指定缩放区域的角度信息作为缩放区域信息存储在每个缩放区域信息数据区段ZD中。
例如，如图11所示，将位于具有与原始区域OR的中心位置CP相同高度的位置并且与中心位置CP向图11中的前侧分隔开预定距离的点设定为观看内容时的基准的观看点WP。另外，假设中心位置CP与观看点WP之间的位置关系恒定地为相同的位置关系而与内容的帧无关。注意，在图11中，相同的附图标记被分配给与图3所示的情况相对应的部分，并且将适当地不呈现其描述。
在图11中，将连接中心位置CP与观看点WP的直线设定为直线L11。另外，将图中的缩放区域ZE的左边的中点设定为点P21，并且将连接点P21与观看点WP的直线设定为直线L12。此外，由直线L11与直线L12形成的夹角被设定为水平角φ左。
类似地，将图中的缩放区域ZE的右边的中点设定为点P22，并且将连接点P22与观看点WP的直线设定为直线L13。另外，由直线L11与直线L13形成的夹角被设定为水平角φ右。
另外，将具有与图中的缩放区域ZE的右边的中心位置CP相同的Y坐标的位置的点设定为点P23，并且将连接点P23与观看点WP的直线设定为为直线L14。另外，将图中的缩放区域ZE的右上顶点设定为点P24，将连接点P24与观看点WP的直线设定为直线L15，并且将由直线L14与直线L15形成的夹角设定为俯仰角θ顶。
类似地，将图中的缩放区域ZE的右下顶点设定为点P25，将连接点P25与观看点WP的直线设定为直线L16，并且将由直线L14与直线L16形成的夹角设定为俯仰角θ底。
此时，可以使用水平角φ左、水平角φ右、俯仰角θ顶和俯仰角θ底来指定缩放区域ZE。相应地，可以将水平角φ左、水平角φ右、俯仰角θ顶和俯仰角θ底作为缩放区域信息存储在图2所示的每个缩放区域信息数据区段ZD中。此外，可以将水平角φ左、水平角φ右、俯仰角θ顶和俯仰角θ底中的一些或全部的变化量设定为缩放区域信息。
＜缩放区域信息的具体示例8＞
另外，例如，如图12所示，可以将基于中心位置CP、位于缩放区域ZE的中心位置处的点P11和观看点WP之间的位置关系而确定的角度信息设定为缩放区域信息。注意，在图12中，相同的附图标记被分配给与图3或图11所示的情况对应的部分，并且将适当地不呈现其描述。
在图12中，将连接位于缩放区域ZE的中心位置处的点P11与观看点WP的直线设定为直线L21。此外，将具有与位于缩放区域ZE的中心位置处的点P11相同的X坐标并且具有与原始区域OR的中心位置CP相同的Y坐标的点设定为点P31，并且将连接点P31与观看点WP的直线设定为直线L22。
另外，将图中的缩放区域ZE的上边的中点设定为点P32，将连接点P32与观看点WP的直线设定为直线L23，将图中的缩放区域ZE的下边的中点设定为点P33，并且将连接点P33与观看点WP的直线设定为直线L24。
此外，将由直线L12与直线L13形成的夹角设定为水平视角φW，并且将由直线L11与直线L22形成的夹角设定为水平角φC。另外，由直线L23与直线L24形成的夹角设定为竖直视角θW，并且将由直线L21与直线L22形成的夹角设定为俯仰角θC。
此处，水平角φC和俯仰角θC分别表示从观看点WP相对于位于缩放区域ZE的中心的点P11的水平角和俯仰角。
此时，可以使用水平视角φW、水平角φC、竖直视角θW和俯仰角θC来指定缩放区域ZE。因此，可以将水平视角φW、水平角φC、竖直视角θW和俯仰角θC或者这些角度的变化量作为缩放区域信息存储在图2所示的每个缩放区域信息数据区段ZD中。
在这种情况下，例如，图4所示的缩放区域信息存在标志hasZoomAreaInfo被存储在缩放区域信息头区段ZHD中。此外，当缩放区域信息存在标志hasZoomAreaInfo的值为“1”时，缩放区域信息被存储在每个帧的缩放区域信息数据区段ZD中。例如，以图13所示的语法将缩放区域信息存储在缩放区域信息数据区段ZD中。
在图13所示的情况下，在缩放区域信息的开始处布置了编码模式信息，编码模式信息表示其中描述缩放区域信息(更具体地，缩放区域的位置的信息)的多种格式之中的一种格式。
在图13中，“mode”表示编码模式信息，并且编码模式信息mode的值被设定为值0至3中之一。
例如，在编码模式信息mode的值为“0”的情况下，如图中的“case0”及以下所示，表示水平角φC的“ZoomAreaAZC”、表示俯仰角θC的“ZoomAreaELC”、表示水平视角φW的“ZoomAreaAZW”和表示竖直视角θW的“ZoomAreaELW”被存储为缩放区域信息。
在编码模式信息的值为“1”的情况下，如图中的“case 1”及其以下所示，表示位数信息的“nbits”、表示水平角φC的偏移角度的“ZoomAreaAZCshift”和表示俯仰角θC的偏移角度的“ZoomAreaELCshift”被存储为缩放区域信息。
此处，位数信息nbits是表示“ZoomAreaAZCshift”和“ZoomAreaELCshift”中的每个的信息的位数的信息。
另外，“ZoomAreaAZCshift”被设定为当前帧的前一帧的水平角φC或者作为预定基准的水平角φC与当前帧的水平角φC之间的差，“ZoomAreaELCshift”被设定为当前帧的前一帧的俯仰角θC或者作为预定基准的俯仰角θC与当前帧的俯仰角θC之间的差，等等。
在编码模式信息mode的值为“2”的情况下，如图中的“case 2”及以下所示，表示位数信息的“nbits”、表示水平视角φW的变化量的“ZoomAreaAZWshift”和表示竖直视角θW的变化量的“ZoomAreaELWshift”被存储为缩放区域信息。
此处，位数信息nbits是表示“ZoomAreaAZWshift”和“ZoomAreaELWshift”中的每个的信息的位数的信息。
另外，“ZoomAreaAZWshift”被设定为当前帧的前一帧的水平视角φW或者作为预定基准的水平视角φW与当前帧的水平视角φW之间的差，“ZoomAreaELWshift”被设定为当前帧的前一帧的竖直视角θW或者作为预定基准的竖直视角θW与当前帧的竖直视角θW之间的差，等等。
另外，在编码模式信息mode的值为“3”的情况下，如图中的“case3”及以下所示，表示位数信息的“nbits”、表示水平角φC的偏移角度的“ZoomAreaAZCshift”、表示俯仰角θC的偏移角度的“ZoomAreaELCshift”、表示水平视角φW的变化量的“ZoomAreaAZWshift”以及表示竖直视角θW的变化量的“ZoomAreaELWshift”被存储为缩放区域信息。
在这种情况下，位数信息nbits是表示“ZoomAreaAZCshift”、“ZoomAreaELCshift”、“ZoomAreaAZWshift”和“ZoomAreaELWshift”中的每个的信息的位数的信息。
注意，缩放区域信息的配置不限于图13所示的示例，并且可以仅将“ZoomAreaAZC”、“ZoomAreaELC”、“ZoomAreaAZW”和“ZoomAreaELW”设定为缩放区域信息。此外，可以将“ZoomAreaAZCshift”和“ZoomAreaELCshift”和“ZoomAreaAZWshift”和“ZoomAreaELWshift”两侧或仅一侧设定为缩放区域信息。
＜缩放区域信息的具体示例9＞
另外，尽管以上描述了仅存在一条缩放区域信息的情况，但是可以将多条缩放区域信息存储在缩放区域信息数据区段ZD中。换言之，通过针对一个内容指定多个缩放区域，可以将缩放区域信息存储在每个缩放区域的缩放区域信息数据区段ZD中。
在这种情况下，例如，以图14所示的语法将每个信息存储在缩放区域信息头区段ZHD中，并且进一步以图15所示的语法将缩放区域信息存储在每个帧的缩放区域信息数据区段ZD中。
在图14所示的示例中，“hasZoomAreaInfo”表示缩放区域信息存在标志。在缩放区域信息存在标志的值为“1”的情况下，“numZoomAreas”被存储在缩放区域信息存在标志hasZoomAreaInfo之后。
此处，“numZoomAreas”表示缩放区域数目信息，缩放区域数目信息表示在缩放区域信息数据区段ZD中描述的缩放区域信息的条数，即针对内容设定的缩放区域的数目。在本示例中，缩放区域数目信息numZoomAreas的值是值0至15中之一。
在经编码的内容数据中，缩放区域信息，更具体地，指定与通过将缩放区域数目信息numZoomAreas的值加1而获得的值对应的每个缩放区域的位置的信息被存储在缩放区域信息数据区段ZD中。
相应地，例如，在缩放区域数目信息numZoomAreas的值为“0”的情况下，在缩放区域信息数据区段ZD中，对于一个缩放区域，存储指定该缩放区域的位置的信息。
另外，在缩放区域信息存在标志hasZoomAreaInfo的值为“1”的情况下，缩放区域信息被存储在缩放区域信息数据区段ZD中。例如，以图15所示的语法在缩放区域信息数据区段ZD中描述缩放区域信息。
在图15所示的示例中，存储与缩放区域数目信息numZoomAreas表示的数目对应的缩放区域信息。
在图15中，“mode[idx]”表示由索引idx指定的缩放区域的编码模式信息，并且编码模式信息mode[idx]的值被设定为值0至3之一。注意，索引idx是0至numZoomAreas中的每个值。
例如，在编码模式信息mode[idx]的值为“0”的情况下，如图中的“case0”及以下所示，表示坐标XC的“ZoomAreaXC[idx]”、表示坐标YC的“ZoomAreaYC[idx]”、表示水平宽度XW的“ZoomAreaXW[idx]”、和表示竖直宽度YW的“ZoomAreaYW[idx]”被存储为由索引idx指定的缩放区域的缩放区域信息。
另外，在编码模式信息mode[idx]的值为“1”的情况下，如图中的“case1”及以下所示，作为位数信息的“nbits”、表示坐标XC的差的“ZoomAreaXCshift[idx]”和表示坐标YC的差的“ZoomAreaYCshift[idx]”被存储为由索引idx指定的缩放区域的缩放区域信息。此处，位数信息nbits表示“ZoomAreaXCshift[idx]”和“ZoomAreaYCshift[idx]”中的每个的信息的位数。
在编码模式信息mode[idx]的值为“2”的情况下，如图中的“case 2”及以下所示，表示位数信息的“nbits”、表示水平宽度XW的变化量的“ZoomAreaXWshift[idx]和表示竖直宽度YW的变化量的“ZoomAreaYWshift[idx]”被存储为由索引idx指定的缩放区域的缩放区域信息。此处，位数信息nbits表示“ZoomAreaXWshift[idx]”和“ZoomAreaYWshift[idx]”中的每个的信息的位数。
此外，在编码模式信息mode[idx]的值为“3”的情况下，如图中的“case3”及以下所示，作为位数信息的“nbits”、表示坐标XC的差的“ZoomAreaXCshift[idx]”、表示坐标YC的差的“ZoomAreaYCshift[idx]”、表示水平宽度XW的变化量的“ZoomAreaXWshift[idx]”和表示竖直宽度YW的变化量的“ZoomAreaYWshift[idx]”被存储为由索引idx指定的缩放区域的缩放区域信息。此处，位数信息nbits表示“ZoomAreaXCshift[idx]”、“ZoomAreaYCshift[idx]”、“ZoomAreaXWshift[idx]”和“ZoomAreaYWshift[idx]”中的每个的信息的位数。
在图15所示的示例中，编码模式信息mode[idx]和与缩放区域的数目对应的缩放区域信息被存储在缩放区域信息数据区段ZD中。
注意，可替代地，缩放区域信息可以仅由坐标XC和坐标YC、水平角φC和俯仰角θC、坐标XC的差和坐标YC的差或者水平角φC的差和俯仰角θC的差构成。
在这种情况下，水平宽度XW和竖直宽度YW以及水平视角φW和竖直视角θW可以在再现侧设定。此时，水平宽度XW和竖直宽度YW以及水平视角φE和竖直视角θW可以在再现侧设备中自动设定或者可以由用户指定。
在这样的示例中，例如，在内容是球类运动的视频和音频的情况下，表示球的位置的坐标XC和坐标YC被设定为缩放区域信息，并且固定的或由用户指定的水平宽度XW和竖直宽度YW在再现侧设备上使用。
＜缩放区域辅助信息＞
另外，在缩放区域信息头区段ZHD中，作为缩放区域辅助信息，可以包括补充信息，如表示再现目标设备的ID或者缩放目的和其他文本信息。
在这种情况下，在缩放区域信息头区段ZHD中，例如，以图16所示的语法来存储缩放区域信息存在标志hasZoomAreaInfo和缩放区域辅助信息。
在图16所示的示例中，缩放区域信息存在标志hasZoomAreaInfo被布置在开始处，并且在缩放区域信息存在标志hasZoomAreaInfo的值为“1”的情况下，每个信息如缩放区域辅助信息被存储在其后。
换言之，在本示例中，在缩放区域信息存在标志hasZoomAreaInfo之后，存储了表示缩放区域信息数据区段ZD中描述的缩放区域信息的数目的缩放区域数目信息“numZoomAreas”。此处，缩放区域数目信息numZoomAreas的值被设定为值0至15中之一。
另外，在缩放区域数目信息numZoomAreas之后，布置了与由缩放区域数目信息numZoomAreas表示的数目对应的索引idx指定的每个缩放区域的信息。此处，索引idx被设定为0至numZoomAreas中的每个值。
换言之，缩放区域数目信息numZoomAreas之后的“hasExtZoomAreaInfo[idx]”表示辅助信息标志，辅助信息标志表示是否存储了由索引idx指定的缩放区域的缩放区域辅助信息。此处，辅助信息标志hasExtZoomAreaInfo[idx]的值被设定为“0”和“1”中之一。
在辅助信息标志hasExtZoomAreaInfo[idx]的值为“0”的情况下，表示由索引idx指定的缩放区域的缩放区域辅助信息未被存储在缩放区域信息头区段ZHD中。与此相反，在辅助信息标志hasExtZoomAreaInfo[idx]的值为“1”的情况下，表示由索引idx指定的缩放区域的缩放区域辅助信息被存储在缩放区域信息头区段ZHD中。
在辅助信息标志hasExtZoomAreaInfo[idx]的值为“1”的情况下，在辅助信息标志hasExtZoomAreaInfo[idx]之后，布置了表示由索引idx指定的缩放区域的规格的规格ID。
另外，“hasZoomAreaCommentary”表示补充信息标志，补充信息标志表示对于由索引idx指定的缩放区域是否存在除了规格ID以外的新的补充信息，例如包括缩放区域的描述等的文本信息。
例如，在该补充信息标志hasZoomAreaCommentary的值为“0”的情况下，表示不存在补充信息。与此相反，在该补充信息标志hasZoomAreaCommentary的值为“1”的情况下，表示存在补充信息，并且在补充信息标志hasZoomAreaCommentary之后，布置了作为字节数信息的“nbytes”以及作为补充信息的“ZoomAreaCommentary[idx]”。
此处，字节数信息nbytes表示补充信息ZoomAreaCommentary[idx]的信息的字节数。另外，补充信息ZoomAreaCommentary[idx]被设定为描述由索引idx指定的缩放区域的文本信息。
更具体地，例如，假设内容由直播视频及其音频构成，并且由索引idx指定的缩放区域是用于对作为视频对象的歌手进行连续缩放的缩放区域。在这种情况下，例如，文本信息如“歌手缩放”被设定为补充信息ZoomAreaCommentary[idx]。
在缩放区域信息头区段ZHD中，根据需要，存储了与使用缩放区域数目信息numZoomAreas表示的数目对应的下述项的设定：辅助信息标志hasExtZoomAreaInfo[idx]、作为规格ID的ZoomAreaSpecifiedID[idx]、补充信息标志hasZoomAreaCommentary、字节数信息nbytes以及补充信息ZoomAreaCommentary[idx]。然而，对于其辅助信息标志hasExtZoomAreaInfo[idx]的值为“0”的缩放区域，不存储ZoomAreaSpecifiedID[idx]、补充信息标志hasZoomAreaCommentary、字节数信息nbytes和补充信息ZoomAreaCommentary[idx]。类似地，对于其补充信息标志hasZoomAreaCommentary的值为“0”的缩放区域，不存储字节数信息nbytes和补充信息ZoomAreaCommentary[idx]。
另外，作为规格ID的ZoomAreaSpecifiedID[idx]是表示缩放规格如用于缩放区域的再现目标设备和缩放目的的信息，并且例如，如图17所示，针对ZoomAreaSpecifiedID[idx]的每个值设定缩放规格。
在本示例中，例如，在ZoomAreaSpecifiedID[idx]的值为“1”的情况下，表示由规格ID表示的缩放规格的缩放区域是假设再现目标设备为投影仪的缩放区域。
另外，在ZoomAreaSpecifiedID[idx]的值为2至4的情况下，这些值分别表示由规格ID表示的缩放规格的缩放区域是假设再现目标设备是具有超过50型、30至50型以及不到30型的屏幕的电视接收机的缩放区域。
以这种方式，在图17所示的示例中，其ZoomAreaSpecifiedID[idx]的值为“1”至“4”中之一的缩放区域信息是表示针对每种类型的再现目标设备设定的缩放区域的信息。
另外，例如，在ZoomAreaSpecifiedID[idx]的值为“7”的情况下，表示由规格ID表示的缩放规格的缩放区域是假设再现目标设备为智能电话并且该智能电话的旋转方向为竖直方向的缩放区域。
此处，智能电话的旋转方向为竖直方向表示在用户使用智能电话观看内容时智能电话的方向是竖直方向，即从用户的角度来看，智能电话的显示屏的纵向方向是竖直方向(向上/向下的方向)。因此，例如，在ZoomAreaSpecifiedID[idx]的值为“7”的情况下，缩放区域被认为是在竖直方向上较长的区域。
另外，例如，在ZoomAreaSpecifiedID[idx]的值为“8”的情况下，表示由规格ID表示的缩放规格的缩放区域是假设再现目标设备为智能电话并且该智能电话的旋转方向为水平方向的缩放区域。在这种情况下，例如，缩放区域被认为是在水平方向上较长的区域。
以这种方式，在图17所示的示例中，其ZoomAreaSpecifiedID[idx]的值为“5”至“8”中之一的缩放区域信息是表示针对该类型的再现目标设备以及该再现目标设备的旋转方向设定的缩放区域的信息。
另外，例如，在ZoomAreaSpecifiedID[idx]的值为“9”的情况下，表示由规格ID表示的缩放规格的缩放区域是具有由内容制作者设定的预定缩放目的的缩放区域。此处，预定缩放目的例如是显示特定缩放视图，例如显示预定视频对象的缩放。
因此，例如，在ZoomAreaSpecifiedID[idx]的值“9”表示为了对歌手进行连续缩放的缩放规格的情况下，索引idx的补充信息ZoomAreaCommentary[idx]被设定为文本信息如“歌手缩放”。用户可以基于规格ID或者与规格ID有关联的信息、规格ID的补充信息等，获得由每个规格ID表示的缩放规格的内容。
以这种方式，在图17所示的示例中，其ZoomAreaSpecifiedID[idx]的值为“9”至“15”中之一的每个缩放区域信息是表示由内容生成者侧自由设定的任意缩放区域的信息，例如针对每个特定视频对象设定的缩放区域。
如上所述，通过针对一个内容设定一个或多个缩放区域，例如，如图18所示，可以简化的方式提供与用户的喜好相匹配的内容或者适合于每个再现设备的内容。
在图18中，图像Q11示出了预定内容的视频(图像)。该内容是直播视频的内容，并且图像Q11是广角图像，在图像Q11中投影了直播的表演者即歌手M11、吉他手M12和贝斯手M13，并且投影了整个状态、观众等。
针对构成这样的内容的图像Q11，内容制作者根据再现目标设备的缩放规格或缩放目的来设定一个或多个缩放区域。
例如，为了显示将作为视频对象的歌手M11放大的缩放视图，在将图像Q11上的以歌手M11为中心的区域设定为缩放区域的情况下，可以在再现侧将图像Q12。
类似地，例如，为了显示将作为视频对象的吉他手M12放大的缩放视图，在将图像Q11上的以吉他手M12为中心的区域设定为缩放区域的情况下，可以在再现侧将再现图像Q13再现为内容。
另外，例如，通过在再现侧选择多个缩放区域并且通过将这些缩放区域对齐来构成一个屏幕，可以在再现侧将再现图像Q14再现为内容。
在本示例中，图像Q14由具有略小于图像Q11的视角的缩放区域的图像Q21、具有将歌手M11放大的缩放区域的图像Q22、具有将吉他手M12放大的缩放区域的图像Q23以及具有将贝斯手M13放大的缩放区域的图像Q24构成。即图像Q14具有多画面配置。在内容提供者侧预先设定多个缩放区域的情况下，在内容再现侧，通过选择若干个缩放区域，可以通过采用多画面配置如图像Q14来再现内容。
另外，例如，在考虑到再现设备如具有不那么大的显示屏的平板PC而设定Q11的视角的一半的视角时，即将包括图像Q11的中心的具有整个图像Q11的大约一半面积的区域设定为缩放区域的情况下，在再现侧可以再现图像Q15作为内容。在本示例中，在具有不那么大的显示屏的再现设备中，也可以以足够大的尺寸来显示每个表演者。
另外，例如，在考虑到其旋转方向是水平方向即显示屏处于在水平方向上较长的状态的智能电话而将图像Q11内的包括图像Q11的中心的相对窄的在水平方向上较长的区域设定为缩放区域的情况下，可以在再现侧再现图像Q16作为内容。
例如，在考虑到其旋转方向是竖直方向即其显示屏处于在竖直方向上较长的状态的智能电话而将图像Q11的中心附近的在竖直方向上较长的区域设定为缩放区域的情况下，可以在再现侧再现图像Q17作为内容。
在图像Q17中，作为表演者之一的歌手M11被放大显示。在本示例中，由于考虑到小的在竖直方向上较长的显示屏，而不是显示沿水平方向布置的所有表演者，因此对于再现目标设备而言，放大显示一个表演者是适当的显示，因此，设定这样的缩放区域。
另外，例如，考虑到再现设备具有相对大的显示屏如大尺寸电视接收机，在将视角设定为略小于图像Q11的视角的情况下，即在将图像Q11内的包括图像Q11的中心的相对大的区域设定为缩放区域的情况下，可以在再现侧再现图像Q18作为内容。
如上所述，通过在内容提供者侧设定缩放区域并且在再现侧生成包括表示缩放区域的缩放区域信息的经编码的内容数据，作为观看内容的人的用户可以选择直接再现内容或者基于缩放区域信息进行缩放再现即裁剪再现。
具体地，在存在多条缩放区域信息的情况下，用户可以根据这些多条缩放区域信息中的特定缩放区域信息来选择缩放再现。
另外，在经编码的内容数据中存储了缩放区域辅助信息的情况下，在再现侧，通过参考再现目标设备、缩放目的、缩放规格如缩放内容和辅助信息，可以选择适合于再现设备或者用户的喜好的缩放区域。对缩放区域的选择可以由用户指定或者可以由再现设备自动执行
＜对编码处理的描述＞
接着，将描述编码装置11的具体操作。
当构成内容的视频数据和音频数据以及内容的元数据从外部提供时，编码装置11执行编码处理并且输出经编码的内容数据。在下文中，将参照图19所示的流程图来描述由编码装置11执行的编码处理。
在步骤S11中，视频数据编码单元21对所提供的内容的视频数据进行编码，并且将作为其结果获得的经编码的视频数据提供给多路复用器24。
在步骤S12中，音频数据编码单元22对所提供的内容的音频数据进行编码，并且将作为其结果获得的经编码的音频数据提供给多路复用器24。
在步骤S13中，元数据编码单元23对所提供的内容的元数据进行编码，并且将作为其结果获得的经编码的元数据提供给多路复用器24。
在本文中，例如，在待编码的元数据中包括上述缩放区域信息。缩放区域信息例如可以是参照图5至图10、图13和图15等描述的信息以外的任何信息。
另外，元数据编码单元23还根据需要对缩放区域信息的头信息如缩放区域信息存在标志hasZoomAreaInfo、缩放区域数目信息numZoomAreas和缩放区域辅助信息进行编码，并且将经编码的头信息提供给多路复用器24。
在步骤S14中，多路复用器24通过对从视频数据编码单元21提供的经编码的视频数据、从音频数据编码单元22提供的经编码的音频数据以及从元数据编码单元23提供的经编码的元数据进行多路复用来生成比特流，并且将生成的比特流提供给输出单元25。此时，多路复用器24还将从元数据编码单元23提供的缩放区域信息的经编码的头信息存储在比特流中。
因此，例如，可以获得图2所示的经编码的内容数据作为比特流。注意，经编码的内容数据的缩放区域信息头区段ZHD的配置例如可以是任何配置，如图4、图14或图16所示的配置。
在步骤S15中，输出单元25输出从多路复用器24提供的比特流，并且编码处理结束。
如上所述，编码设备11将包括缩放区域信息的元数据连同内容一起进行编码，从而生成比特流。
以这种方式，通过生成包括用于指定缩放区域的缩放区域信息的比特流，而不准备用于每个再现设备的内容，可以以简化的方式提供与用户的喜好相匹配的内容或者适合于每个再现设备的内容。
换言之，内容制作者可以仅通过指定缩放区域，而不准备用于每种喜好或者每个再现设备的内容，以简化的方式来提供被认为对于用户的喜好、再现设备的屏幕尺寸、再现设备的旋转方向等最佳的内容。
另外，在再现侧，通过选择缩放区域并根据需要裁剪内容，可以观看对于用户的喜好、再现设备的屏幕尺寸、再现设备的旋转方向等最佳的内容。
＜再现装置的配置的示例＞
接着，将描述接收从编码装置11输出的比特流即经编码的内容数据并且再现该内容的再现装置。
图20是示出根据本技术的实施方式的再现装置的配置的示例的图。
在本示例中，根据需要，在选择缩放区域时显示信息的显示装置52、输出内容的视频的视频输出装置53和输出内容的音频的音频输出装置54连接至再现装置51。
注意，显示装置52、视频输出装置53和音频输出装置54可以被设置在再现装置51中。另外，显示装置52和视频输出装置53可以是同一装置。
再现装置51包括：内容数据解码单元61；缩放区域选择单元62；视频数据解码单元63；视频分割单元64；音频数据解码单元65；以及音频转换单元66。
内容数据解码单元61接收从编码装置11发送的比特流即经编码的内容数据，并且从经编码的内容数据中分离经编码的视频数据、经编码的音频数据和经编码的元数据。
内容数据解码单元61将经编码的视频数据提供给视频数据解码单元63，并且将经编码的音频数据提供给音频数据解码单元65。
内容数据解码单元61通过对经编码的元数据进行解码来获得元数据，并且根据需要将所获得的元数据提供给再现装置51的每个单元。另外，在元数据中包括缩放区域信息的情况下，内容数据解码单元61将缩放区域信息提供给缩放区域选择单元62。此外，在比特流中存储了缩放区域辅助信息的情况下，内容数据解码单元61读取缩放区域辅助信息，根据需要对缩放区域辅助信息进行解码，并且将得到的缩放区域辅助信息提供给缩放区域选择单元62。
缩放区域选择单元62从由内容数据解码单元61提供的一条或多条缩放区域信息中选择一条缩放区域信息，并且将所选择的缩放区域信息作为选择缩放区域信息提供给视频分割单元64和音频转换单元66。换言之，在缩放区域选择单元62中，基于从内容数据解码单元61提供的缩放区域信息来选择缩放区域。
例如，在从内容数据解码单元61提供缩放区域辅助信息的情况下，缩放区域选择单元62将缩放区域辅助信息提供给显示装置52以在显示装置52上进行显示。以这种方式，例如，在显示装置52上显示下述补充信息作为缩放区域辅助信息，如缩放区域的目的和内容、表示缩放规格的规格ID如再现目标设备等、基于规格ID的信息和文本信息。
然后，用户检查显示在显示装置52上的缩放区域辅助信息，并且通过操作图中未示出的输入单元来选择期望的缩放区域。缩放区域选择单元62基于根据从输入单元提供的用户的操作的信号来选择缩放区域，并且输出表示所选择的缩放区域的选择缩放区域信息。换言之，选择由用户指定的缩放区域的缩放区域信息，并且输出所选择的缩放区域信息作为选择缩放区域信息。
注意，可以使用任何方法来执行对缩放区域的选择，例如由缩放区域选择单元62根据缩放区域信息生成表示每个缩放区域的位置和大小的信息，并且将该信息显示在显示装置52上，并且用户基于该显示来选择缩放区域。
注意，在不执行对缩放区域的选择的情况下，即在选择再现原始内容的情况下，选择缩放区域信息被设定为指示不进行裁剪等的信息。
此外，例如，在再现装置51预先记录了表示自身设备的类型如智能电话或电视接收机的再现设备信息的情况下，可以通过使用再现设备信息来选择缩放区域信息(缩放区域)。
在这种情况下，例如，缩放区域选择单元62获得再现设备信息并通过使用所获得的再现设备信息和缩放区域辅助信息来选择缩放区域信息。
更具体地，缩放区域选择单元62从规格ID中选择表示再现目标设备是由再现设备信息表示的类型的设备的规格ID作为缩放区域辅助信息。然后，缩放区域选择单元62将与所选择的规格ID对应的缩放区域信息，即其索引idx与所选择的规格ID相同的缩放区域信息设定为所选择的缩放区域信息。
另外，例如，在再现装置51是移动装置如智能电话或平板PC的情况下，缩放区域选择单元62可以从图中未示出的陀螺仪传感器获得表示再现装置51的旋转方向的方向信息等，并且通过使用该方向信息来选择缩放区域信息。
在这种情况下，例如，缩放区域选择单元62选择表示再现目标设备是由再现设备信息表示的类型的设备的规格ID，并且假设的旋转方向是由作为缩放区域辅助信息的规格ID中获得的方向信息表示的方向。然后，缩放区域选择单元62将与所选择的规格ID对应的缩放区域信息设定为所选择的缩放区域信息。以这种方式，在用户以竖直方向(在竖直方向上较长的屏幕)使用再现装置51的状态以及用户以水平方向(在水平方向上较长的屏幕)使用再现装置51的状态这两种状态下，选择对于当前状态最佳的缩放区域的缩放区域信息。
注意，除此以外，可以仅使用再现设备信息和方向信息之一来选择缩放区域信息，或者可以使用与再现装置51有关的任何其他信息来选择缩放区域信息。
视频数据解码单元63对从内容数据解码单元61提供的经编码的视频数据进行解码，并且将作为其结果而获得的视频数据提供给视频分割单元64。
视频分割单元64从基于从视频数据解码单元63提供的视频数据的视频(图像)中裁剪(分割)由从缩放区域选择单元62提供的选择缩放区域信息表示的缩放区域，并且将作为其结果而获得的视频数据输出给视频输出装置53。
注意，在选择缩放区域信息是指示不进行裁剪的信息的情况下，视频分割单元64不对视频数据执行裁剪处理，并且将视频数据直接输出给视频输出装置53作为缩放视频数据。
音频数据解码单元65对从内容数据解码单元61提供的经编码的音频数据进行解码，并且将作为其结果而获得的音频数据提供给音频转换单元66。
音频转换单元66基于从缩放区域选择单元62提供的选择缩放区域信息，对从音频数据解码单元65提供的音频数据执行音频转换处理，并且将作为结果而获得的缩放音频数据提供给音频输出装置54。
此处，音频转换处理是用于适合于对内容的视频进行缩放的音频再现的转换。
例如，根据对缩放区域的裁剪处理，即对缩放区域的分割处理，从视频内部的对象到成为基准的观看点的距离发生改变。因此，例如，在音频数据是基于对象的音频的情况下，音频转换单元66基于选择缩放区域信息将从内容数据解码单元61通过音频数据解码单元65提供的对象的位置信息转换为元数据。换言之，音频转换单元66基于选择缩放区域信息来移动作为声源的对象的位置，即改变距对象的距离。
然后，音频转换单元66基于其中对象的位置已经被移动的音频数据来执行渲染处理，并且将作为其结果而获得的缩放音频数据提供给音频输出装置54，从而再现音频。
注意，例如，在PCT/JP2014/067508等中详细描述了这样的音频转换处理。
另外，在选择缩放区域信息是指示不进行裁剪的信息的情况下，音频转换单元66不对音频数据执行音频转换处理，并且将音频数据作为缩放音频数据直接输出给音频输出装置54。
＜对再现处理的描述＞
随后，将描述再现装置51的操作。
当接收到从编码装置11输出的经编码的内容数据时，再现装置51执行其中对接收到的经编码的内容数据进行解码的再现处理，并且再现内容。在下文中，将参照图21所示的流程图来描述由再现装置51执行的再现处理。
在步骤S41中，内容数据解码单元61从接收到的经编码的内容数据中分离经编码的视频数据、经编码的音频数据和经编码的元数据，并且对经编码的元数据进行解码。
然后，内容数据解码单元61将经编码的视频数据提供给视频数据解码单元63，并且将经编码的音频数据提供给音频数据解码单元65。另外，内容数据解码单元61根据需要将通过解码而获得的元数据提供给再现装置51的每个单元。
此时，内容数据解码单元61将作为元数据获得的缩放区域信息提供给缩放区域选择单元62。另外，在经编码的内容数据中存储了作为元数据的头信息的缩放区域辅助信息的情况下，内容数据解码单元61读取缩放区域辅助信息，并且将读取的缩放区域辅助信息提供给缩放区域选择单元62。例如，作为缩放区域辅助信息，读取上述补充信息ZoomAreaCommentary[idx]、作为规格ID的ZoomAreaSpecifiedID[idx]等。
在步骤S42中，缩放区域选择单元62从由内容数据解码单元61提供的缩放区域信息中选择一条缩放区域信息，并且根据选择结果将选择缩放区域信息提供给视频分割单元64和音频转换单元66。
例如，当选择了缩放区域信息时，缩放区域选择单元62将缩放区域辅助信息提供给显示装置52以在显示装置52上进行显示，并且基于由看到了该显示的用户的操作输入提供的信号来选择缩放区域信息。
另外，如上所述，通过不仅使用缩放区域辅助信息和来自用户的操作输入，而且还使用再现设备信息或方向信息，可以选择缩放区域信息。
在步骤S43中，视频数据解码单元63对从内容数据解码单元61提供的经编码的视频数据进行解码，并且将作为其结果而获得的视频数据提供给视频分割单元64。
在步骤S44中，视频分割单元64对于基于从视频数据解码单元63提供的视频数据的视频分割(裁剪)由从缩放区域选择单元62提供的选择缩放区域信息表示的缩放区域。以这种方式，获得用于再现由选择缩放区域信息表示的缩放区域的视频的缩放视频数据。
视频分割单元64将通过分割而获得的缩放视频数据提供给视频输出装置53，从而再现经裁剪的内容的视频。视频输出装置53基于从视频分割单元64提供的缩放视频数据来再现(显示)视频。
在步骤S45中，音频数据解码单元65对从内容数据解码单元61提供的经编码的音频数据进行解码，并且将作为其结果而获得的音频数据提供给音频转换单元66。
在步骤S46中，音频转换单元66基于从缩放区域选择单元62提供的选择缩放区域信息，对从音频数据解码单元65提供的音频数据执行音频转换处理。另外，音频转换单元66将通过音频转换处理而获得的缩放音频数据提供给音频输出装置54，从而输出音频。音频输出装置54基于从音频转换单元66提供的缩放音频数据来再现执行过音频转换处理的内容的音频，并且再现处理结束。
注意，更具体地，步骤S43和S44的处理以及步骤S45和S46的处理被相互并行地执行。
如上所述，再现装置51选择适当的缩放区域信息，根据选择的结果基于选择缩放区域信息来执行视频数据的裁剪和对音频数据的音频转换处理，并且再现内容。
以这种方式，通过选择缩放区域信息，可以以简化的方式来再现被适当地裁剪并且具有经转换的音频的内容，例如与用户的喜好相匹配的内容或者适合于再现装置51的显示屏的大小、再现装置51的旋转方向等的内容。另外，在用户基于由显示装置52呈现的缩放区域辅助信息来选择缩放区域的情况下，用户可以以简化的方式选择期望的缩放区域。
注意，在参照图21描述的再现处理中，虽然描述了其中基于选择缩放区域信息来执行对构成内容的视频的裁剪和对构成内容的音频的音频转换处理二者的情况，但是可以仅执行其中之一。
另外，同样在内容仅由视频或音频构成的情况下，仍对这样的视频或音频执行裁剪或音频转换处理，并且可以再现视频或音频。
例如，同样在内容仅由音频构成的情况下，通过选择表示待缩放的区域的缩放区域信息并且根据所选择的缩放区域信息通过音频转换处理来改变距声源对象的距离等，可以实现对适合于用户的喜好、再现设备等的的内容的再现。
＜第二实施方式＞
＜再现装置的配置的示例＞
注意，虽然以上描述了由视频分割单元64根据一条选择缩放区域信息从内容的视频中裁剪缩放区域的示例，但是可以被配置成选择多个缩放区域，并且以多屏幕布置来输出这样的多个缩放区域。
在这种情况下，例如，再现装置51被配置成如图22所示。注意，在图22中，相同的附图标记被分配给与图20所示的情况对应的部分，并且将适当地不呈现其描述。
图22所示的再现装置51包括：内容数据解码单元61；缩放区域选择单元62；视频数据解码单元63；视频分割单元64；视频布置单元91；音频数据解码单元65；以及音频转换单元66。
图22所示的再现装置51的配置与图20所示的再现装置51的不同之处在于：在视频分割单元64的后一级处新设置了视频布置单元91，并且在其他方面与图20所示的再现装置51的配置相同。
在本示例中，缩放区域选择单元62选择一条或更多条缩放区域信息，并且将这样的缩放区域信息提供给视频分割单元64作为选择缩放区域信息。另外，缩放区域选择单元62选择一条缩放区域信息，并且将该缩放区域信息提供给音频转换单元66作为选择缩放区域信息。
注意，与图20所示的再现装置51中的情况一样，由缩放区域选择单元62执行的对缩放区域信息的选择可以根据用户的输入操作来执行，或者可以基于缩放区域辅助信息、再现设备信息、方向信息等来执行。
此外，作为提供给音频转换单元66的选择缩放区域信息的缩放区域信息可以根据用户的输入操作来选择，或者可以是布置在预定位置处的缩放区域信息，如经编码的内容数据的开始位置。除此之外，缩放区域信息可以是具有代表性缩放区域如具有最大尺寸的缩放区域的缩放区域信息。
视频分割单元64从基于从视频数据解码单元63提供的视频数据的视频(图像)中裁剪由从缩放区域选择单元62提供的一条或更多条选择缩放区域信息中的每一条表示的缩放区域，从而生成每个缩放区域的缩放视频数据。另外，视频分割单元64将通过裁剪而获得的每个缩放区域的缩放视频数据提供给视频布置单元91。
注意，视频分割单元64可以将未被裁剪的视频数据作为一条缩放视频数据直接提供给视频布置单元91。
视频布置单元91基于从视频分割单元64提供的一条或更多条缩放视频数据生成以基于在多个屏幕上布置的这样的多屏幕视频数据的视频来再现的多屏幕视频数据，并且将所生成的多屏幕视频数据提供给视频输出装置53。此处，基于多屏幕视频数据来再现的视频例如类似于图18所示的图像Q14是这样的视频：其中所选择的缩放区域的视频(图像)被布置为对齐。
另外，音频转换单元66基于从缩放区域选择单元62提供的选择缩放区域信息，对从音频数据解码单元65提供的音频数据执行音频转换处理，并且将作为其结果而获得的缩放音频数据作为多屏幕布置的代表性音频的音频数据提供给音频输出装置54。另外，音频转换单元66可以将从音频数据解码单元65提供的音频数据作为代表性音频的音频数据(缩放音频数据)直接提供给音频输出装置54。
＜对再现处理的描述＞
接着，将参照图23所示的流程图来描述由图22所示的再现装置51执行的再现处理。注意，步骤S71的处理与图21所示的步骤S41的处理类似，因此省略其说明。
在步骤S72中，缩放区域选择单元62从由内容数据解码单元61提供的缩放区域信息中选择一条或多条缩放区域信息，并且根据选择结果将选择缩放区域信息提供给视频分割单元64。
注意，除了所选择的缩放区域信息的数目不同之外，这里描述的选择缩放区域信息的处理基本上类似于图21所示的步骤S42的处理。
另外，缩放区域选择单元62从内容数据解码单元61提供的缩放区域信息中选择一个代表性缩放区域的缩放区域信息，并且根据选择结果将选择缩放区域信息提供给音频转换单元66。此处，提供给音频转换单元66的选择缩放区域信息与提供给视频分割单元64的一条或更多条选择缩放区域信息中的一条相同。
当选择了缩放区域信息时，此后，执行步骤S73和S74的处理，并且执行对经编码的视频数据的解码和从视频裁剪缩放区域。然而，这样的处理类似于图21所示的步骤S43和S44的处理，因此省略其说明。然而，在步骤S74中，对于一条或更多条选择缩放区域信息中的每一条，执行从基于视频数据的视频中的由选择缩放区域信息表示的缩放区域的裁剪(分割)，并且将每个缩放区域的缩放视频数据提供给视频布置单元91。
在步骤S75中，视频布置单元91基于从视频分割单元64提供的一条或更多条缩放视频数据来执行视频布置处理。换言之，视频布置单元91基于一条或多条缩放视频数据来生成多屏幕视频数据，并且将所生成的多屏幕视频数据提供给视频输出装置53，从而再现内容的每个缩放区域的视频。视频输出装置53基于从视频布置单元91提供的多屏幕视频数据来再现(显示)布置在多个屏幕中的视频。例如，在选择了多个缩放区域的情况下，以类似于图18所示的图像Q14的多屏幕配置来再现内容。
当执行了视频布置处理时，此后，执行步骤S76和S77的处理，并且再现处理结束。然而，这种处理类似于图21所示的步骤S45和S46的处理，因此省略其说明。
如上所述，再现装置51选择一条或多条缩放区域信息，根据选择的结果，基于选择缩放区域信息来执行对视频数据的裁剪和对音频数据的音频转换处理，并且再现内容。
以这种方式，通过选择一条或多条缩放区域信息，可以以简化的方式来再现适当的内容，例如与用户的喜好相匹配的内容或者适合于再现装置51的显示屏的大小的内容等。特别地，在选择了多条缩放区域信息的情况下，可以在与用户的喜好等相匹配的多屏幕显示中再现内容视频。
另外，在用户基于由显示装置52呈现的缩放区域辅助信息来选择缩放区域的情况下，用户可以以简化的方式选择期望的缩放区域。
＜第三实施方式＞
＜再现装置的配置的示例＞
另外，在通过网络发送上述内容的情况下，再现侧设备可以被配置成有效地接收仅对于所选择的缩放区域的再现所必需的数据。在这种情况下，例如，再现装置被配置成如图24所示。注意，在图24中，相同的附图标记被分配给与图20所示的情况对应的部分，并且将适当地不呈现其描述。
在图24所示的情况下，再现内容的再现装置121从其中记录内容和元数据的内容数据分发服务器122接收对期望的经编码的视频数据和经编码的音频数据的提供。换言之，内容数据分发服务器122以编码状态或未编码状态记录内容和内容的元数据，并且响应于来自再现装置121的请求来分发内容。
在本示例中，再现装置121包括；通信单元131；元数据解码单元132；视频/音频数据解码单元133；缩放区域选择单元62；视频数据解码单元63；视频分割单元64；音频数据解码单元65；以及音频转换单元66。
通信单元131通过网络向内容数据分发服务器122发送各种类型的数据以及从内容数据分发服务器122接收各种类型的数据。
例如，通信单元131从内容数据分发服务器122接收经编码的元数据，并且将接收到的经编码的元数据提供给元数据解码单元132，或者从内容数据分发服务器122接收经编码的视频数据和经编码的音频数据，并且将接收到的数据提供给视频/音频数据解码单元133。此外，通信单元131将从缩放区域选择单元62提供的选择缩放区域信息发送给内容数据分发服务器122。
元数据解码单元132通过对从通信单元131提供的经编码的元数据进行解码来获得元数据，并且根据需要将所获得的元数据提供给再现装置121的每个单元。
另外，在元数据中包括缩放区域信息的情况下，元数据解码单元132将缩放区域信息提供给缩放区域选择单元62。此外，在从内容数据分发服务器122接收到缩放区域辅助信息的情况下，元数据解码单元132将缩放区域辅助信息提供给缩放区域选择单元62。
当从通信单元131提供了经编码的视频数据和经编码的音频数据时，视频/音频数据解码单元133将经编码的视频数据提供给视频数据解码单元63，并且将经编码的音频数据提供给音频数据解码单元65，
＜对再现处理的描述＞
随后，将描述再现装置121的操作。
再现装置121请求内容数据分发服务器122发送经编码的元数据。然后，当从内容数据分发服务器122发送经编码的元数据时，再现装置121通过执行再现处理来再现内容。在下文中，将参照图25所示的流程图来描述由再现装置121执行的再现处理。
在步骤S101中，通信单元131接收从内容数据分发服务器122发送的经编码的元数据，并且将接收到的元数据提供给元数据解码单元132。注意，更具体地，通信单元131还根据需要从内容数据分发服务器122接收元数据的头信息如缩放区域数目信息和缩放区域辅助信息，并且将接收到的头信息提供给元数据解码单元132。
在步骤S102中，元数据解码单元132对从通信单元131提供的经编码的元数据进行解码，并且根据需要将通过解码而获得的元数据提供给再现装置121的每个单元。另外，元数据解码单元132将作为元数据而获得的缩放区域信息提供给缩放区域选择单元62，并且在作为元数据的头信息的缩放区域辅助信息存在的情况下，还将缩放区域辅助信息提供给缩放区域选择单元62。
以这种方式，在获得了元数据的情况下，随后，通过执行步骤S103的处理来选择缩放区域信息。然而，步骤S103的处理类似于图21所示的步骤S42的处理，因此省略对其的说明。然而，在步骤S103中，通过选择缩放区域信息而获得的选择缩放区域信息被提供给视频分割单元64、音频转换单元66和通信单元131。
在步骤S104中，通信单元131通过网络将从缩放区域选择单元62提供的选择缩放区域信息发送给内容数据分发服务器122。
已经接收到选择缩放区域信息的内容数据分发服务器122针对记录的内容的视频数据进行由选择缩放区域信息表示的缩放区域的裁剪(分割)，从而生成缩放视频数据。以这种方式获得的缩放视频数据是对原始内容的整个视频中仅由选择缩放区域信息表示的缩放区域进行再现的视频数据。
内容数据分发服务器122将构成内容的通过对缩放视频数据进行编码而获得的经编码的视频数据和对音频数据进行编码而获得的经编码的音频数据发送给再现装置121。
注意，在内容数据分发服务器122中，可以预先准备每个缩放区域的缩放视频数据。另外，在内容数据分发服务器122中，关于构成内容的音频数据，虽然通常将所有音频数据编码，并且与所选择的缩放区域无关地输出经编码的音频数据，但是可以被配置成仅输出音频数据中的一部分的经编码的音频数据。例如，在构成内容的音频数据是每个对象的音频数据的情况下，可以仅对由选择缩放区域信息表示的缩放区域内的对象的音频数据进行编码，并且将其发送给再现装置121。
在步骤S105中，通信单元131接收从内容数据分发服务器122发送的经编码的视频数据和经编码的音频数据，并且将经编码的视频数据和经编码的音频数据提供给视频/音频数据解码单元133。另外，视频/音频数据解码单元133将从通信单元131提供的经编码的视频数据提供给视频数据解码单元63，并且将从通信单元131提供的经编码的音频数据提供给音频数据解码单元65。
当获得了经编码的视频数据和经编码的音频数据时，此后，执行步骤S106至S109的处理，并且再现处理结束。然而，这样的处理类似于图21所示的步骤S43至S46的处理，因此省略其说明。
然而，由于由视频数据解码单元63对经编码的视频数据进行解码所获得的信号是已经被裁剪的缩放视频数据，因此基本上不由视频分割单元64进行裁剪处理。仅在需要另外裁剪的情况下，视频分割单元64基于从缩放区域选择单元62提供的选择缩放区域信息，对从视频数据解码单元63提供的缩放视频数据进行裁剪。
以这种方式，当由视频输出装置53和音频输出装置54基于缩放视频数据和缩放音频数据来再现内容时，再现根据所选择的缩放区域的内容，例如如图18所示的内容。
如上所述，再现装置121选择适当的缩放区域信息，根据选择结果将选择缩放区域信息发送给内容数据分发服务器122，并且接收经编码的视频数据和经编码的音频数据。
以这种方式，通过接收根据选择缩放区域信息的经编码的视频数据和经编码的音频数据，可以以简化的方式来再现适当的内容，如与用户的喜好相匹配的内容或者适合于再现装置121的显示屏的大小、再现装置121的旋转方向等的内容。此外，可以有效地仅获得内容中的需要被再现的数据。
＜第四实施方式＞
＜再现装置的配置的示例＞
另外，以上描述了在经编码的内容数据中包括缩放区域信息的示例。然而，例如，可以根据在网络如因特网上公开的缩放区域信息或者在预定记录介质上记录的缩放区域信息，即以缩放区域信息与内容分开的方式来裁剪和再现内容。在这种情况下，例如，可以通过获得不仅由内容制作者而且由内容制作者以外的第三方即其他用户生成的缩放区域信息来执行剪裁再现。
以这种方式，在单独获得内容以及包括缩放区域信息的元数据的情况下，例如，再现装置被配置成如图26所示。注意，在图26中，相同的附图标记被分配给与图20所示的情况对应的部分，并且将适当地不呈现其描述。
图26所示的再现装置161包括：元数据解码单元171；内容数据解码单元172；缩放区域选择单元62；视频数据解码单元63；视频分割单元64；音频数据解码单元65；以及音频转换单元66。
元数据解码单元171例如从网络上的装置、连接至再现装置161的记录介质等获得包括缩放区域信息的元数据的经编码的元数据，并且对获得的经编码的元数据进行解码。
另外，元数据解码单元171根据需要将通过对经编码的元数据进行解码而获得的元数据提供给再现装置161的每个单元，并且将包括在元数据中的缩放区域信息提供给缩放区域选择单元62。此外，单元171根据需要连同经编码的元数据一起获得元数据的头信息如缩放区域辅助信息，并且将获得的头信息提供给缩放区域选择单元62。
内容数据解码单元172例如从网络上的装置、连接至再现装置161的记录介质等获得内容的经编码的视频数据和经编码的音频数据。另外，内容数据解码单元172将获得的经编码的视频数据提供给视频数据解码单元63，并且将获得的经编码的音频数据提供给音频数据解码单元65.注意，在本示例中，经编码的视频数据和经编码的音频数据以及经编码的元数据是从相互不同的装置、记录介质等获得的。
＜对再现处理的描述＞
随后，将描述再现装置161的操作。
当指示再现内容时，再现装置161执行获得经编码的元数据和经编码的内容的再现处理，并且再现内容。在下文中，将参照图27所示的流程图来描述由再现装置161执行的再现处理。
在步骤S131中，元数据解码单元171例如从网络上的装置、连接至再现装置161的记录介质等获得包括缩放区域信息的经编码的元数据。注意，可以在再现处理开始之前预先获得经编码的元数据。
在步骤S132中，元数据解码单元171对获得的经编码的元数据进行解码，并且根据需要将作为其结果而获得的元数据提供给再现装置161的每个单元。另外，元数据解码单元171将包括在元数据中的缩放区域信息提供给缩放区域选择单元62，并且还根据需要将元数据的头信息如缩放区域辅助信息提供给缩放区域选择单元62。
当通过解码获得元数据时，执行步骤S133的处理，并且选择缩放区域信息。然而，步骤S133的处理类似于图21所示的步骤S42的处理，因此省略其说明。
在步骤S134中，内容数据解码单元172例如从网络上的装置、连接至再现装置161的记录介质等获得内容的经编码的视频数据和经编码的音频数据。另外，内容数据解码单元172将获得的经编码的视频数据提供给视频数据解码单元63，并且将获得的经编码的音频数据提供给音频数据解码单元65。
以这种方式，当获得了内容的经编码的视频数据和经编码的音频数据时，此后，执行步骤S135至S138的处理，并且再现处理结束。然而，这样的处理类似于图21所示的步骤S43至S46的处理，因此省略其描述。
如上，再现装置161单独地获得内容的经编码的视频数据和经编码的音频数据以及包括缩放区域信息的经编码的元数据。然后，再现装置161选择适当的缩放区域信息，并且根据选择的结果基于选择缩放区域信息执行对视频数据的裁剪和对音频数据的音频转换处理，并且再现内容。
以这种方式，通过从经编码的视频数据和经编码的音频数据单独获得包括缩放区域信息的经编码的元数据，可以裁剪和再现不仅由内容制作者设定的而且由其他用户等设定的缩放区域。
同时，上述一系列处理可以通过硬件或软件来执行。在通过软件执行一系列处理的情况下，将配置软件的程序安装到计算机。此处，计算机包括内置在专用硬件中的计算机，例如能够通过向其安装各种程序来执行各种功能的通用个人计算机等。
图28是示出通过使用程序来执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504互连。
另外，输入/输出接口505连接至总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接至输入/输出接口505。
输入单元506由键盘、鼠标、麦克风、成像装置等配置而成。输出单元507由显示器、扬声器等配置而成。记录单元508由硬盘、非易失性存储器等配置而成。通信单元509由网络接口等配置而成。驱动器510驱动可移除介质511如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机中，CPU 501例如通过输入/输出接口505和总线504将记录在记录单元508中的程序加载到RAM 503中，并且执行所加载的程序，从而执行一系列过程。
例如，由计算机(CPU 501)执行的程序可以以被记录在可移除介质511上的形式作为封装介质等来提供。另外，可以通过有线或无线传输介质如局域网、因特网或数字卫星广播来提供程序。
在计算机中，通过将可移除介质511加载到驱动器510中，可以通过输入/输出接口505将程序安装到记录单元508。此外，程序可以由通信单元509通过有线或无线传输介质接收并且被安装到记录单元508。此外，程序还可以被预先安装到ROM 502或记录单元508。
注意，由计算机执行的程序可以是根据本说明书中描述的顺序以时间序列执行处理的程序，或者以并行方式或在必要的定时处例如在被调用时执行处理的程序。
另外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的概念的范围内可以进行各种改变。
例如，本技术可以采用云计算的配置，在云计算中一个功能由多个装置通过网络共享并且由所有装置一起处理。
另外，在上述流程图中描述的每个步骤不仅可以由一个装置执行，而且可以由多个装置以共享的方式执行。
此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理不仅可以由一个装置执行，而且可以由多个装置以共享的方式执行。
另外，本技术可以采用下述配置。
[1]
一种再现装置，包括：
解码单元，所述解码单元对经编码的视频数据或者经编码的音频数据进行解码；
缩放区域选择单元，所述缩放区域选择单元从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及
数据处理单元，所述数据处理单元基于所选择的缩放区域信息，对通过解码而获得的视频数据执行裁剪处理或者对通过解码而获得的音频数据执行音频转换处理。
[2]
根据[1]所述的再现装置，其中，在所述多条缩放区域信息中，包括指定针对每种类型的再现目标设备的所述区域的缩放区域信息。
[3]
根据[1]或[2]所述的再现装置，其中，在所述多条缩放区域信息中，包括指定针对每个再现目标设备旋转方向的所述区域的缩放区域信息。
[4]
根据[1]至[3]中任一项所述的再现装置，其中，在所述多条缩放区域信息中，包括指定用于每个特定视频对象的区域的缩放区域信息。
[5]
根据[1]至[4]中任一项所述的再现装置，其中，所述缩放区域选择单元根据用户的操作输入来选择所述缩放区域信息。
[6]
根据[1]至[4]中任一项所述的再现装置，其中，所述缩放区域选择单元基于与所述再现装置有关的信息来选择所述缩放区域信息。
[7]
根据[6]所述的再现装置，其中，所述缩放区域选择单元通过使用表示所述再现装置的类型的信息和表示所述再现装置的旋转方向的信息中的至少任一种信息作为与所述再现装置有关的信息来选择所述缩放区域信息。
[8]
一种再现方法，包括下述步骤：
对经编码的视频数据或者经编码的音频数据进行解码；
从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及
基于所选择的缩放区域信息，对通过解码而获得的视频数据执行裁剪处理或者对通过解码而获得的音频数据执行音频转换处理。
[9]
一种使计算机执行包括下述步骤的处理的程序：
对经编码的视频数据或者经编码的音频数据进行解码；
从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及
基于所选择的缩放区域信息，对通过解码而获得的视频数据执行裁剪处理或者对通过解码而获得的音频数据执行音频转换处理。
[10]
一种编码装置，包括：
编码单元，所述编码单元对视频数据进行编码或者对音频数据进行编码；以及
多路复用器，所述多路复用器通过将经编码的视频数据或者经编码的音频数据与指定待缩放的区域的多条缩放区域信息进行多路复用来生成比特流。
[11]
一种编码方法，包括下述步骤：
对视频数据进行编码或者对音频数据进行编码；以及
通过将经编码的视频数据或者经编码的音频数据与指定待缩放的区域的多条缩放区域信息进行多路复用来生成比特流。
[12]
一种使计算机执行包括下述步骤的处理的程序：
对视频数据进行编码或者对音频数据进行编码；以及
通过将经编码的视频数据或者经编码的音频数据与指定待缩放的区域的多条缩放区域信息进行多路复用来生成比特流。
附图标记列表
11 编码装置
21 视频数据编码单元
22 音频数据编码单元
23 元数据编码单元
24 多路复用器
25 输出单元
51 再现装置
61 内容数据解码单元
62 缩放区域选择单元
63 视频数据解码单元
64 视频分割单元
65 音频数据解码单元
66 音频转换单元。

Claims (2)

1.一种再现装置，包括：
解码单元，所述解码单元对经编码的视频数据或者经编码的音频数据进行解码；
缩放区域选择单元，所述缩放区域选择单元从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及
数据处理单元，所述数据处理单元基于所选择的缩放区域信息对通过解码而获得的视频数据执行裁剪处理，或者对通过解码而获得的音频数据执行音频转换处理，
其中，所述缩放区域信息包括指示缩放区域信息的数目或条数的缩放区域数目信息。
2.一种再现方法，包括：
对经编码的视频数据或者经编码的音频数据进行解码；
从指定待缩放的区域的多条缩放区域信息中选择一条或多条缩放区域信息；以及
基于所选择的缩放区域信息对通过解码而获得的视频数据执行裁剪处理，或者对通过解码而获得的音频数据执行音频转换处理，
其中，所述缩放区域信息包括指示缩放区域信息的数目或条数的缩放区域数目信息。
CN202210683302.8A 2014-10-10 2015-09-28 再现装置和再现方法 Pending CN115209186A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-208594 2014-10-10
JP2014208594 2014-10-10
PCT/JP2015/077243 WO2016056411A1 (ja) 2014-10-10 2015-09-28 符号化装置および方法、再生装置および方法、並びにプログラム
CN201580053817.8A CN106797499A (zh) 2014-10-10 2015-09-28 编码装置和方法、再现装置和方法以及程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580053817.8A Division CN106797499A (zh) 2014-10-10 2015-09-28 编码装置和方法、再现装置和方法以及程序

Publications (1)

Publication Number Publication Date
CN115209186A true CN115209186A (zh) 2022-10-18

Family

ID=55653028

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202210679653.1A Pending CN115243075A (zh) 2014-10-10 2015-09-28 再现装置和再现方法
CN202011216551.3A Pending CN112511833A (zh) 2014-10-10 2015-09-28 再现装置
CN202210683302.8A Pending CN115209186A (zh) 2014-10-10 2015-09-28 再现装置和再现方法
CN201580053817.8A Pending CN106797499A (zh) 2014-10-10 2015-09-28 编码装置和方法、再现装置和方法以及程序

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202210679653.1A Pending CN115243075A (zh) 2014-10-10 2015-09-28 再现装置和再现方法
CN202011216551.3A Pending CN112511833A (zh) 2014-10-10 2015-09-28 再现装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580053817.8A Pending CN106797499A (zh) 2014-10-10 2015-09-28 编码装置和方法、再现装置和方法以及程序

Country Status (5)

Country Link
US (3) US10631025B2 (zh)
EP (2) EP3206408B1 (zh)
JP (3) JP6565922B2 (zh)
CN (4) CN115243075A (zh)
WO (1) WO2016056411A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3206408B1 (en) 2014-10-10 2020-12-30 Sony Corporation Encoding device and method, playback device and method, and program
EP3035326B1 (en) * 2014-12-19 2019-07-17 Alcatel Lucent Encoding, transmission , decoding and displaying of oriented images
KR102561371B1 (ko) 2016-07-11 2023-08-01 삼성전자주식회사 디스플레이장치와, 기록매체
CN109845274B (zh) * 2016-10-25 2021-10-12 索尼公司 发送设备、发送方法、接收设备和接收方法
EP3534612B1 (en) * 2016-10-26 2021-08-25 Sony Group Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
BR112019021897A2 (pt) * 2017-04-25 2020-05-26 Sony Corporation Dispositivo e método de processamento de sinal, e, programa
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11533348B2 (en) * 2018-03-29 2022-12-20 Sony Group Corporation Information processing apparatus, information processing method, and program
CN112423021B (zh) 2020-11-18 2022-12-06 北京有竹居网络技术有限公司 视频的处理方法、装置、可读介质和电子设备
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications
WO2023234429A1 (ko) * 2022-05-30 2023-12-07 엘지전자 주식회사 인공 지능 기기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199370A (ja) * 2007-02-14 2008-08-28 Nippon Hoso Kyokai <Nhk> デジタル放送番組表示装置およびデジタル放送番組表示プログラム
US20090251594A1 (en) * 2008-04-02 2009-10-08 Microsoft Corporation Video retargeting
JP2010232814A (ja) * 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
CN102244807A (zh) * 2010-06-02 2011-11-16 微软公司 自适应视频变焦
JP2012060575A (ja) * 2010-09-13 2012-03-22 Canon Inc 映像処理装置およびその制御方法

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7168084B1 (en) * 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
JP4515559B2 (ja) * 1999-08-24 2010-08-04 富士フイルム株式会社 画像データ記録装置および方法ならびにズーム画像再生装置および方法
KR100327377B1 (ko) * 2000-03-06 2002-03-06 구자홍 디지털 영상 수신기와 디지털 디스플레이 장치 사이에서디지털 영상 신호를 디스플레이 하는 방법
DE60143927D1 (de) * 2000-03-13 2011-03-10 Sony Corp Verfahren und vorrichtung zur erzeugung von kompakten metadateien für transcodierungshinweise
JP2002171529A (ja) * 2000-11-30 2002-06-14 Matsushita Electric Ind Co Ltd 映像符号化装置及び方法、記録媒体、並びに復号化装置
US7577333B2 (en) * 2001-08-04 2009-08-18 Samsung Electronics Co., Ltd. Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
US20040117735A1 (en) * 2002-07-15 2004-06-17 Elnar Breen Method and system for preparing and adapting text, images and video for delivery over a network
US7802288B2 (en) * 2003-03-14 2010-09-21 Starz Entertainment, Llc Video aspect ratio manipulation
US7646437B1 (en) * 2003-09-03 2010-01-12 Apple Inc. Look-ahead system and method for pan and zoom detection in video sequences
JP4444623B2 (ja) * 2003-10-29 2010-03-31 富士フイルム株式会社 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム
US20050195205A1 (en) * 2004-03-03 2005-09-08 Microsoft Corporation Method and apparatus to decode a streaming file directly to display drivers
FR2875662A1 (fr) * 2004-09-17 2006-03-24 Thomson Licensing Sa Procede de visualisation de document audiovisuels au niveau d'un recepteur, et recepteur apte a les visualiser
US9329827B2 (en) * 2004-12-29 2016-05-03 Funmobility, Inc. Cropping of images for display on variably sized display devices
US8924256B2 (en) * 2005-03-31 2014-12-30 Google Inc. System and method for obtaining content based on data from an electronic device
WO2007003682A1 (en) * 2005-06-30 2007-01-11 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
EP1905233B1 (en) * 2005-07-18 2017-09-06 Thomson Licensing Method and device for handling multiple video streams using metadata
JP4940671B2 (ja) * 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
JP4715633B2 (ja) * 2006-05-19 2011-07-06 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、編集装置、編集方法および編集プログラム
US9654751B2 (en) * 2006-12-21 2017-05-16 Thomson Licensing Method, apparatus and system for providing color grading for displays
KR101697570B1 (ko) * 2007-04-03 2017-01-20 톰슨 라이센싱 상이한 색채 범위를 갖는 색채 보정을 갖는 디스플레이를 위한 방법 및 시스템
US20090089448A1 (en) * 2007-09-28 2009-04-02 David Sze Mobile browser with zoom operations using progressive image download
US8826145B1 (en) * 2007-11-12 2014-09-02 Google Inc. Unified web and application framework
JP2009192949A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置と画像処理方法および画像処理システム
EP2890149A1 (en) * 2008-09-16 2015-07-01 Intel Corporation Systems and methods for video/multimedia rendering, composition, and user-interactivity
US8416264B2 (en) * 2008-11-03 2013-04-09 Sony Mobile Communications Ab Method and device for optimizing an image displayed on a screen
US8693846B2 (en) * 2009-03-16 2014-04-08 Disney Enterprises, Inc. System and method for dynamic video placement on a display
JP5369952B2 (ja) * 2009-07-10 2013-12-18 ソニー株式会社 情報処理装置および情報処理方法
US20110099494A1 (en) * 2009-10-22 2011-04-28 Microsoft Corporation Dynamic graphical user interface layout
CN102630385B (zh) * 2009-11-30 2015-05-27 诺基亚公司 音频场景内的音频缩放处理的方法、装置及系统
US9564148B2 (en) * 2010-05-18 2017-02-07 Sprint Communications Company L.P. Isolation and modification of audio streams of a mixed signal in a wireless communication device
JP5555068B2 (ja) 2010-06-16 2014-07-23 キヤノン株式会社 再生装置及びその制御方法及びプログラム
US9323438B2 (en) * 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
US20120038675A1 (en) * 2010-08-10 2012-02-16 Jay Wesley Johnson Assisted zoom
US8910212B2 (en) * 2010-09-29 2014-12-09 Verizon Patent And Licensing Inc. Multiple device storefront for video provisioning system
US20120191876A1 (en) * 2011-01-20 2012-07-26 Openwave Systems Inc. Method and system for policy based transcoding brokering
US9792363B2 (en) * 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US9009760B2 (en) * 2011-06-30 2015-04-14 Verizon Patent And Licensing Inc. Provisioning interactive video content from a video on-demand (VOD) server
US20130097634A1 (en) * 2011-10-13 2013-04-18 Rogers Communications Inc. Systems and methods for real-time advertisement selection and insertion
JP2013130964A (ja) * 2011-12-20 2013-07-04 Ricoh Co Ltd 表示制御装置、表示制御システムおよびプログラム
WO2013100986A1 (en) * 2011-12-28 2013-07-04 Intel Corporation Systems and methods for integrated metadata insertion in a video encoding system
CN102685597B (zh) 2012-04-28 2015-04-01 广州爱九游信息技术有限公司 内容再现方法及装置、移动终端
US8823667B1 (en) * 2012-05-23 2014-09-02 Amazon Technologies, Inc. Touch target optimization system
US9773072B2 (en) * 2012-06-04 2017-09-26 Adobe Systems Incorporated Systems and methods for developing adaptive layouts for electronic content
EP2680581A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Method and apparatus for dynamic adaptation of video encoder parameters
US9584573B2 (en) * 2012-08-29 2017-02-28 Ericsson Ab Streaming policy management system and method
US9794718B2 (en) * 2012-08-31 2017-10-17 Dolby Laboratories Licensing Corporation Reflected sound rendering for object-based audio
KR102028696B1 (ko) * 2012-10-04 2019-10-07 삼성전자주식회사 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법
JP6239629B2 (ja) * 2012-10-26 2017-11-29 インテル コーポレイション ビデオ方位に基づくマルチメディア適応
US9554162B2 (en) * 2012-11-12 2017-01-24 Lg Electronics Inc. Apparatus for transreceiving signals and method for transreceiving signals
KR20150090025A (ko) * 2012-11-27 2015-08-05 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
US20150309703A1 (en) * 2012-11-29 2015-10-29 Thomas P. Robertson Music creation systems and methods
TWI517682B (zh) * 2012-12-28 2016-01-11 晨星半導體股份有限公司 多媒體資料流格式、元數據產生器、編碼及解碼方法與系統
KR101967295B1 (ko) * 2013-01-09 2019-04-09 엘지전자 주식회사 복수개의 채널 정보를 처리하는 클라이언트 및 서버의 제어 방법
US9124857B2 (en) * 2013-02-06 2015-09-01 Adobe Systems Incorporated Method and apparatus for context-aware automatic zooming of a video sequence
US20140280698A1 (en) * 2013-03-13 2014-09-18 Qnx Software Systems Limited Processing a Link on a Device
US9165203B2 (en) * 2013-03-15 2015-10-20 Arris Technology, Inc. Legibility enhancement for a logo, text or other region of interest in video
CA2908163A1 (en) * 2013-04-19 2014-10-23 Sony Corporation Information processing device, content requesting method, and computer program
US10721530B2 (en) * 2013-07-29 2020-07-21 Koninklijke Kpn N.V. Providing tile video streams to a client
JP6227778B2 (ja) * 2013-07-30 2017-11-08 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン不変化されたメタデータを生成するためのシステムおよび方法
KR20160056888A (ko) * 2013-09-16 2016-05-20 톰슨 라이센싱 여러 사용자 주석들을 검색하고 그것들을 콘텐트 내에 오버레이하여 비디오들을 브라우징하기
US9977591B2 (en) * 2013-10-01 2018-05-22 Ambient Consulting, LLC Image with audio conversation system and method
US9596280B2 (en) * 2013-11-11 2017-03-14 Amazon Technologies, Inc. Multiple stream content presentation
US9508172B1 (en) * 2013-12-05 2016-11-29 Google Inc. Methods and devices for outputting a zoom sequence
US9426500B2 (en) * 2014-01-15 2016-08-23 Verizon and Redbox Digital Entertainment Services, LLC Optimal quality adaptive video delivery
US10567765B2 (en) * 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
KR102056193B1 (ko) * 2014-01-22 2019-12-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
US9626084B2 (en) * 2014-03-21 2017-04-18 Amazon Technologies, Inc. Object tracking in zoomed video
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
US9766781B2 (en) * 2014-04-28 2017-09-19 Google Inc. Methods, systems, and media for presenting related content in a user interface navigated using directional controls
US9922007B1 (en) * 2014-05-22 2018-03-20 Amazon Technologies, Inc. Split browser architecture capable of determining whether to combine or split content layers based on the encoding of content within each layer
US20150373341A1 (en) * 2014-06-23 2015-12-24 Cisco Technology, Inc. Techniques for Interactive Region-Based Scalability
JP6440747B2 (ja) * 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
US9681157B2 (en) * 2014-07-23 2017-06-13 Able Technologies System and method for D-cinema to a selected location
EP3206408B1 (en) * 2014-10-10 2020-12-30 Sony Corporation Encoding device and method, playback device and method, and program
US20160227228A1 (en) * 2015-01-29 2016-08-04 Vixs Systems, Inc. Video camera with layered encoding, video system and methods for use therewith
GB201502205D0 (en) * 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation
EP3086562B1 (en) * 2015-04-23 2017-05-24 Axis AB Method and device for processing a video stream in a video camera
EP3352467A4 (en) * 2015-09-18 2019-05-15 Sharp Kabushiki Kaisha RECEIVING DEVICE, RECEIVING METHOD AND PROGRAM
US9883235B2 (en) * 2015-10-28 2018-01-30 At&T Intellectual Property I, L.P. Video motion augmentation
EP3203437A1 (en) * 2016-02-05 2017-08-09 Thomson Licensing Method and apparatus for locally sharpening a video image using a spatial indication of blurring
US20170257679A1 (en) * 2016-03-01 2017-09-07 Tivo Solutions Inc. Multi-audio annotation
GB2550604A (en) * 2016-05-24 2017-11-29 Canon Kk Method, device, and computer program for encapsulating and parsing timed media data
US10841566B2 (en) * 2016-05-26 2020-11-17 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
EP3482566B1 (en) * 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
ES2883151T3 (es) * 2016-10-12 2021-12-07 Koninklijke Kpn Nv Procesamiento de datos de vídeo esféricos sobre la base de una zona de interés
EP3470976A1 (en) * 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US10742999B2 (en) * 2017-01-06 2020-08-11 Mediatek Inc. Methods and apparatus for signaling viewports and regions of interest
BR112019021897A2 (pt) * 2017-04-25 2020-05-26 Sony Corporation Dispositivo e método de processamento de sinal, e, programa
WO2019013400A1 (ko) * 2017-07-09 2019-01-17 엘지전자 주식회사 비디오 화면 줌에 연동되는 오디오 출력 방법 및 출력 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199370A (ja) * 2007-02-14 2008-08-28 Nippon Hoso Kyokai <Nhk> デジタル放送番組表示装置およびデジタル放送番組表示プログラム
US20090251594A1 (en) * 2008-04-02 2009-10-08 Microsoft Corporation Video retargeting
JP2010232814A (ja) * 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
CN102244807A (zh) * 2010-06-02 2011-11-16 微软公司 自适应视频变焦
US20110299832A1 (en) * 2010-06-02 2011-12-08 Microsoft Corporation Adaptive video zoom
JP2012060575A (ja) * 2010-09-13 2012-03-22 Canon Inc 映像処理装置およびその制御方法

Also Published As

Publication number Publication date
CN106797499A (zh) 2017-05-31
CN112511833A (zh) 2021-03-16
CN115243075A (zh) 2022-10-25
US20200221146A1 (en) 2020-07-09
EP3206408A1 (en) 2017-08-16
JPWO2016056411A1 (ja) 2017-07-20
US20220256216A1 (en) 2022-08-11
US20180242030A1 (en) 2018-08-23
US11330310B2 (en) 2022-05-10
US10631025B2 (en) 2020-04-21
JP7409362B2 (ja) 2024-01-09
EP3829185B1 (en) 2024-04-10
EP3829185A1 (en) 2021-06-02
EP3206408B1 (en) 2020-12-30
WO2016056411A1 (ja) 2016-04-14
JP2021185720A (ja) 2021-12-09
US11917221B2 (en) 2024-02-27
EP3206408A4 (en) 2018-04-25
JP2019186969A (ja) 2019-10-24
JP6565922B2 (ja) 2019-08-28
JP6992789B2 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
JP7409362B2 (ja) 再生装置および方法、並びにプログラム
JP6501933B2 (ja) Ｘｍｌドキュメントの生成装置、生成方法、情報処理装置、情報処理方法、及びプログラム
US10257638B2 (en) Audio object processing based on spatial listener information
CN109155874B (zh) 虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序
JP2018513583A (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
KR20130138750A (ko) 콘텐츠 송신 장치, 콘텐츠 송신 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 배신 시스템
CN103125123A (zh) 再现装置、再现方法、集成电路、广播系统及广播方法
CN106303663B (zh) 直播处理方法和装置、直播服务器
JP2012015990A (ja) 映像処理装置及びその制御方法
JP5555068B2 (ja) 再生装置及びその制御方法及びプログラム
CN102111634A (zh) 图像处理设备和图像处理方法
CN111903135A (zh) 信息处理装置、信息处理方法以及程序
JP6735643B2 (ja) 受信装置およびプログラム
JP7314929B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019155930A1 (ja) 送信装置、送信方法、処理装置および処理方法
US20240146981A1 (en) Encoding device and method, reproduction device and method, and program
JP4017436B2 (ja) ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体
US20230156257A1 (en) Information processing apparatus, information processing method, and storage medium
WO2004030375A1 (ja) 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法、画像データ又は画像処理プログラムを記録した記録媒体および画像データ記録装置
JP2008136057A (ja) 動画ファイル生成装置およびその制御方法
JP2018142934A (ja) 映像配信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination