CN111373760A - 发送设备、发送方法、接收设备和接收方法 - Google Patents

发送设备、发送方法、接收设备和接收方法 Download PDF

Info

Publication number
CN111373760A
CN111373760A CN201880075111.5A CN201880075111A CN111373760A CN 111373760 A CN111373760 A CN 111373760A CN 201880075111 A CN201880075111 A CN 201880075111A CN 111373760 A CN111373760 A CN 111373760A
Authority
CN
China
Prior art keywords
decoding
stream
partition
wide
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880075111.5A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111373760A publication Critical patent/CN111373760A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提高了虚拟现实(VR)再现时的显示性能。与宽视角图像的每个分割区域(每个分区)相对应的编码流与关于每个分割区域的像素数和帧速率的信息一起发送。在接收侧，基于解码能力和关于宽视角图像的每个分割区域的像素数和帧速率的信息，可以容易地将对应于显示区域的要解码的分割区域的数量设置为最大可解码限制，并且可以尽可能地减少由于显示区域的移位而引起的切换编码流的频率，使得可以提高VR再现时的显示性能。

Description

发送设备、发送方法、接收设备和接收方法
技术领域
本技术涉及一种发送设备、发送方法、接收设备和接收方法，尤其涉及一种用于发送宽视角图像的发送设备等。
背景技术
近来，考虑传送虚拟现实(VR)内容。例如，专利文献1描述了在发送侧，球形捕获图像被平面包装，以获得作为宽视角图像的投影图片，并且投影图片的编码图像数据发送到接收侧，使得在接收侧执行VR再现。
现有技术文献
专利文献
专利文献1：日本专利公开号2016-194784
发明内容
技术问题
VR再现的特点在于观众交互式显示的实现。如果投影图片的图像数据由一个编码流传送，则接收侧的解码负载高。可以想象分割投影图片并发送对应于各个分割区域的编码流。在接收侧，只需要解码对应于显示区域的部分分割区域的编码流，并且可以防止解码负载的增加。
在这种情况下，随着显示区域的移动，要解码的编码流需要切换。然而，在切换编码流时，存在可能由用户的运动和显示器之间的不一致引起显示性能的劣化的可能性。因此，需要最小化随着显示区域的移动而切换编码流的频率。
本技术的目的在于实现VR再现时的显示性能的改善。
问题解决方案
本技术的概念在于一种发送设备，该发送设备包括发送部，其被配置为发送与宽视角图像的每个分割区域相对应的编码流，并且发送每个分割区域的像素数和帧速率的信息。
在本技术中，发送部发送对应于宽视角图像的每个分割区域(每个分区)的编码流，并且发送每个分割区域的像素数和帧速率的信息。例如，宽视角图像可以包括通过切除和平面包装球形捕获图像的部分或全部而获得的投影图片。
例如，与宽视角图像的每个分割区域相对应的编码流可以被分层编码。在这种情况下，在接收侧，可以容易地执行时间部分解码。此外，例如，发送部可以连同包括编码流的容器一起发送分割区域的像素数和帧速率的信息。在这种情况下，可以在不解码编码流的情况下获取分割区域的像素数和帧速率的信息。
例如，可以通过单独编码宽视角图像的分割区域，获得与宽视角图像的每个分割区域相对应的编码流。此外，例如，可以通过执行使用图块(tile)函数的编码来获得与图像的每个分割区域相对应的编码流，该图块函数用于将宽视角图像的每个分割区域转换成图块。在这种情况下，分割区域的每个编码流可以被独立解码。
例如，发送部可以发送与宽视角图像的各个分割区域中的全部相对应的编码流。或者，发送部可以发送与宽视角图像的各个分割区域当中的所请求的分割区域相对应的编码流。
以这种方式，在本技术中，发送宽视角图像的每个分割区域的像素数和帧率的信息。因此，在接收侧，基于解码能力以及宽视角图像的分割区域的像素数和帧率的信息，可以容易地将与显示区域相对应的要解码的分割区域的数量设置为可解码的最大值。因此，随着显示区域的移动，编码流的切换频率可以尽可能地降低，并且可以实现VR再现中显示性能的改善。
此外，本技术的另一个概念在于一种接收设备，该接收设备包括控制部，其被配置为控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得显示区域的图像数据的处理、以及用于基于解码能力和与对应于宽视角图像的各个分割区域的每个编码流相关联的像素数和帧速率的信息来计算预定数量的值的处理。
在本技术中，由控制部控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得显示区域的图像数据的处理。此外，由控制部控制用于基于解码能力和与对应于宽视角图像的各个分割区域的每个编码流相关联的像素数和帧速率的信息来计算预定数量的值的处理。例如，控制部可以还控制用于请求分发服务器发送预定数量的分割区域的编码流并且从分发服务器接收预定数量的分割区域的编码流的处理。
以这种方式，在本技术中，基于解码能力以及分割区域的像素数和帧速率的信息，计算对应于显示区域的要解码的分割区域的数量。因此，可以容易地将对应于显示区域的要解码的分割区域的数量设置为最大，并且可以尽可能地减少随着显示区域的移动而切换编码流的频率，从而可以提高VR再现中的显示性能。
应当注意，在本技术中，例如，控制部可以进一步控制用于预测显示区域超出解码范围并切换解码范围的处理。这使得即使在显示区域移动的情况下，也可以执行适合于移动目的地的显示。此外，在这种情况下，例如，控制部可以预测显示区域超出解码范围，并且将解码方法切换到时间部分解码以扩大解码范围，并且可以进一步控制用于预测显示区域收敛到扩大之前的解码范围并且将解码方法切换为时间全解码以缩小解码范围的处理。在这种情况下，通过将解码方法切换到时间部分解码，即使解码范围扩展，解码也变得可能。此外，通过扩展解码范围，可以降低相对于不同于预测的显示区域(即，解码范围)的移动的切换编码流的频率，并且可以进一步提高VR再现时的显示性能。
发明的有益效果
利用本技术，可以实现VR再现时的显示性能的改善。应当注意，此处描述的效果不一定是限制性的，并且可以是本公开中描述的任何有利效果。
附图说明
图1是描述基于MPEG-DASH的流传送系统的配置示例的框图；
图2是描绘在MPD文件中分层设置的相应结构的关系的示例的视图；
图3是描述作为实施方式的发送和接收系统的配置示例的框图；
图4是示意性地描绘整个发送和接收系统的配置示例的视图；
图5是示出用于从球形捕获图像获得投影图片的平面包装的视图；
图6是描绘投影图片的分割示例的视图；
图7是示出分层编码的视图；
图8是示出使用图块函数将每个分区转换成图块的编码的视图；
图9是描绘分区描述符的结构的示例的视图；
图10是描述分区描述符的结构示例中的主要信息的内容的视图；
图11是描绘对应于基于图块的MP4流(基于图块的容器)的MPD文件的描述的示例的视图；
图12是描绘与每个分区的MP4流相对应的MPD文件的描述的示例的视图；
图13是示意性地描绘在执行使用用于将每个分区转换成图块的图块函数的编码的情况下的MP4流(轨道)的示例的视图；
图14是示意性地描绘在每个分区被单独编码的情况下的MP4流(轨道)的示例的视图；
图15是描绘8K/60Hz级的投影图片除以1920×1080(全高清)的分区大小的示例的视图；
图16是描绘8K/60Hz级的投影图片除以1280×960(4VGA)的分区大小的示例的视图；
图17是描绘超过8K/60Hz的投影图片除以1280×960(4VGA)的分区大小的示例的视图；
图18是描绘8K/60Hz级id的投影图片除以1280×720(720p HD)的分区大小的示例的视图；
图19是根据“等级5.1”解码器中的分区大小共同描述可解码分区的最大数量的视图；
图20是根据“等级5.2”解码器中的分区大小共同描述可解码分区的最大数量的视图；
图21是描绘每个分区的像素数量不一致的情况的视图；
图22是描绘在HMD用作显示设备的情况下显示区域的移动控制的示例的视图；
图23是描绘在显示面板用作显示设备的情况下显示区域的移动控制的示例的视图；
图24是描绘随着显示区域的移动而切换传送流集合的示例的视图；
图25是描绘随着显示区域的移动而切换传送流集合的示例的视图；
图26是示出预测显示区域超出解码范围的情况的视图；
图27是描述在显示区域连续移动的情况下解码范围的切换状态的视图；
图28是描述在显示区域连续移动的情况下解码范围的切换状态的视图(宽解码模式介绍)；
图29是描述在视频编码准备好用于图块的情况下每个分区的帧速率的视图；
图30是描述在视频编码将每个分区编码成独立流的情况下的分区的帧速率的视图；
图31是示出显示区域的收敛预测的视图；
图32是描绘模式变化控制的示例的视图；
图33是描述由服务接收机的控制部进行的解码范围变化和模式变化的控制处理的示例的流程图；
图34是描绘服务发送系统的配置示例的框图；
图35是描绘服务接收机的配置示例的框图；
图36是描绘在视频编码准备好用于图块的情况下传输流的配置的示例的视图；
图37是描绘在视频编码准备好用于图块的情况下MMT流的配置的示例的视图；
图38是描绘在图块流具有单个流配置的情况下MPD文件的描述的示例的视图；
图39是示意性地描绘在图块流具有单个流配置的情况下MP4流(轨道)的示例的视图；
图40是描绘在图块流具有单个流配置的情况下传输流的配置的示例的视图；
图41是描绘在图块流具有单个流配置的情况下MMT流的配置的示例的视图；
图42是示意性地描绘在使用用于将每个分区转换成图块的图块函数来执行编码的情况下MP4流(轨道)的另一示例的视图；
图43是示意性地描绘在每个分区单独编码的情况下MP4流(轨道)的另一示例的视图；
图44是示意性地描绘在图块流具有单个流配置的情况下MP4流(轨道)的示例的视图。
具体实施方式
在下文中，描述了用于实现本发明的模式(以下称为“实施方式”)。应当注意，按照以下顺序给出描述。
1.实施方式
2.变形例
<1.实施方式>
[基于MPEG-DASH的流传送系统的概述]
首先，描述可应用本技术的基于MPEG-DASH的流传送系统的概述。
图1描绘了基于MPEG-DASH的流传送系统30的配置的示例。在该配置示例中，通过通信网络发送线(通信发送线)发送媒体流和MPD(媒体呈现描述)文件。流传送系统30被配置为使得N个服务接收机33-1、33-2、...、33-N通过CDN(内容传送网络)34连接到DASH流文件服务器31和DASH MPD服务器32。
DASH流文件服务器31基于预定内容的媒体数据(视频数据、音频数据、字幕数据等)生成DASH规范的流片段(以下适当地称为“DASH片段”)，并响应于来自服务接收机的HTTP请求发送该片段。DASH流文件服务器31可以是指定用于流传输的服务器，或者网络(Web)服务器有时也可以用作DASH流文件服务器31。
此外，响应于从服务接收机33(33-1、33-2、...33-N)通过CDN 34向其发送的预定流的片段的请求，DASH流文件服务器31通过CDN 34将流的片段发送到请求源的接收机。在这种情况下，服务接收机33参考MPD(媒体呈现描述)文件中描述的速率值，以响应于客户端所处的网络环境的状态来选择最佳速率的流，并执行请求。
DASH MPD服务器32是生成用于获取由DASH流文件服务器31生成的DASH片段的MPD文件的服务器。DASH MPD服务器32基于来自内容管理服务器(未示出)的内容元数据和由DASH流文件服务器31生成的片段的地址(url)来生成MPD文件。应当注意，DASH流文件服务器31和DASH MPD服务器32可以是物理上相同的服务器。
在MPD的格式中，对于视频、音频等流中的每一个，使用被称为表示(Representation)的元素来描述属性。例如，在MPD文件中，以不同速率的多个视频数据流中的每一个的单独表示来描述速率。服务接收机33可以响应于如上所述的服务接收机33所在的网络环境的状态，参考速率值来选择最佳流，。
图2描绘了在MPD文件中分层设置的相应结构的关系的示例。如图2的(a)所示，在作为整个MPD文件的媒体呈现(Media Presentation)中，存在由时间间隔分割的多个周期(Period)。例如，第一个周期从0秒开始，下一个周期从100秒开始，依此类推。
如图2的(b)所示，在一个周期中，存在多个适配集(AdaptationSet)。每个适配集依赖于诸如视频、音频等媒体类型的差异、甚至在相同媒体类型中的语言差异、视觉点的差异等。如图2的(c)所示，在适配集中，存在多个表示(Representation)。每个表示都依赖于流属性(例如，速率)的差异。
如图2的(d)所示，在一个表示中，包括片段信息(segmentinfo)。在该片段信息中，如图2的(e)所示，存在初始化片段(Initialization Segment)和描述每个片段(Segment)的信息的多个媒体片段(Media Segment)，一个周期进一步细分成多个媒体片段。在媒体片段中，存在用于实际获取视频、音频等的片段数据的地址(url)的信息和其他信息。
应当注意，在适配集中包括的多个表示之间，可以自由地执行流的切换。因此，可以响应于接收侧的网络环境的状态来选择最佳速率的流，并且可以实现无中断的视频传送。
[发送和接收系统配置示例]
图3描绘了作为实施方式的发送和接收系统10的配置的示例。发送和接收系统10由服务发送系统100和服务接收机200构成。在发送和接收系统10中，服务发送系统100对应于上文描述的图1中描绘的流传送系统30的DASH流文件服务器31和DASH MPD服务器32。在发送和接收系统10中，服务接收机200对应于上文描述的图1中描绘的流传送系统30的服务接收机33(33-1、33-2、...33-N)。
服务发送系统100通过通信网络发送线(参考图1)发送DASH/MP4文件，即MP4(ISOBMFF)流，该MP4流包括作为元文件的MPD文件的媒体流(媒体片段)和视频、音频等的媒体流(媒体片段)。
在该实施方式中，MP4流包括与通过分割宽视角图像而获得的分割区域(分区)相对应的编码流(编码图像数据)。在此处，尽管宽视角图像是通过切除并平面包装球形捕获图像的部分或全部而获得的投影图片，但这不是限制性的。
例如，通过对宽视角图像的每个分割区域进行单独编码、或者通过使用用于将宽视角图像的每个分割区域转换成图块的图块函数来执行编码，获得与宽视角图像的每个分割区域相对应的编码流。在本实施方式中，编码流具有分层编码的形式，以便使接收侧能够容易地执行时间部分解码。
与宽视角图像的每个分割区域相对应的编码流和该分割区域的像素数和帧速率的信息一起发送。在该实施方式中，在MP4(即包括每个分割区域的编码流的容器)中，包括具有分割区域的像素数和帧速率的描述符。
应当注意，虽然也可以设想发送与宽视角图像的分割区域相对应的所有编码流，但是在本实施方式中，发送与所请求的一个或多个分割区域相对应的编码流。这使得可以防止发送区域被无用地广泛占用，并实现发送频带的有效使用。
服务接收机200通过通信网络发送线(参考图1)接收从服务发送系统100向其发送的上述MP4(ISOBMFF)流。服务接收机200从MPD文件中获取关于与宽视角图像的每个分割区域相对应的编码流的元信息。
服务接收机200请求服务发送系统(分发服务器)100发送与显示区域相对应的预定数量的编码流、接收并解码预定的编码流，以获得显示区域的图像数据，并显示图像。在此处，在服务接收机200中，基于解码能力以及与与宽视角图像的每个分割区域相对应的编码流相关联的像素数和帧速率的信息，将预定数量的值确定为可解码的最大数量。因此，可以尽可能地减少随着用户的运动或操作引起的显示区域的移动而切换传送编码流的频率，并且提高了VR再现时的显示性能。
此外，在本实施方式中，在服务接收机200中，在预测显示区域超出解码范围的情况下，解码方法从时间全解码切换到时间部分解码，并然后在预测显示区域收敛到解码范围的情况下，解码方法从时间部分解码切换到时间全解码。通过将解码方法切换到时间部分解码，可以增加可以被解码的分割区域的数量，并且可以减少相对于与预测不同的显示区域的移动切换传送编码流的频率。因此，VR再现时的显示性能进一步提高。
图4示意性地描绘了整个发送和接收系统10的配置的示例。服务发送系统100包括360°图片捕获部102、平面包装部103、视频编码器104、容器编码器105和存储器106。
360°图片捕获部102通过预定数量的相机对成像目标成像，以获得宽视角图像的图像数据，即，在本实施方式中，球形捕获图像(360°VR图像)。例如，360°图片捕获部102使用鱼眼透镜通过背靠背(Back to Back)方法执行成像，以获得单独捕获的视角为180°或更大的非常宽视角的正面图像和背面图像，作为球形捕获图像。
平面包装部103切除并平面包装由360°图片捕获部102获得的球形捕获图像的部分或全部，以获得投影图片。在这种情况下，作为投影图片的格式类型，例如，选择等矩形(Equirectangular)格式、十字立方体(Cross-cubic)格式等。应当注意，平面包装部103根据需要对投影图片进行调度，以获得预定分辨率的投影图片。
图5的(a)描绘了作为由360°图片捕获部102获得的球形捕获图像的非常宽视角的正面图像和背面图像的示例。图5的(b)描绘了由平面包装部103获得的投影图片的示例。该示例是投影图片的格式类型是等矩形格式的情况下的示例。该示例是图5的(a)中描绘的相应图像沿着由虚线指示的纬度切除的情况的示例。此外，图5的(c)描绘了由平面包装部103获得的投影图片的另一示例。该示例是投影图片的格式类型是十字立方体格式的情况的示例。
返回参考图4，视频编码器104对来自平面包装部103的投影图片的图像数据执行编码，例如，MPEG4-AVC或HEVC编码，以获得编码图像数据，并生成包括该编码图像数据的编码流。在这种情况下，视频编码器104将投影图片分割成多个分区(分割区域)，并获得对应于每个分区的编码流。
图6的(a)描绘了在投影图片的格式类型是等矩形格式的情况下的分割的示例。同时，图6的(b)描绘了在投影图片的格式类型是十字立方体格式的情况下的分割的示例。应当注意，投影图片的分割方式不限于这些示例，并且例如，也可以想到所有分区具有彼此不同的大小的情况。
为了获得对应于投影图片的每个分区的编码流，视频编码器104执行例如分区的单独编码、整个投影图片的集体编码、或者使用将每个分区转换成图块的图块函数的编码。这使得可以在接收侧彼此独立地解码对应于分区的编码流。
在此处，视频编码器104通过将分区分层编码来获得对应于分区的编码流。图7的(a)描绘了分层编码的示例。纵轴表示层次。横轴表示显示顺序(POC：构图的图片顺序)，并且左侧显示时间较早，而右侧显示时间较晚。每个矩形框表示一张图片，并且数字表示显示顺序号。实线箭头表示编码中的图片之间的参考关系。
该示例是这样的示例，其中，图片被分类为子层2(Sub layer 2)、子层1(Sublayer 1)和全层(Full layer)的三个层次，并且对相应层次中的图片的图像数据执行编码。这个示例是这样的示例，其中，M＝4，即，在I图片和P图片之间存在三个b(B)图片。应当注意，虽然b图片没有变成参考图片，但是B图片变成参考图片。在此处，“0”的图片对应于I图片；“1”的图片对应于b图片；“2”的图片对应于B图片；“3”的图片对应于b图片；并且“4”的图片对应于P图片。
在这种分层编码中，只有子层2可以选择性地解码，并且在这种情况下，获得1/4帧速率的图像数据。此外，在这种分层编码中，子层1和子层2可以选择性地解码，并且在这种情况下，获得1/2帧速率的图像数据。此外，在本分层编码中，所有子层1、子层2和全层都可以解码，并且在这种情况下，获得全帧速率的图像数据。
同时，图7的(b)描述了分层编码的另一示例。纵轴表示层次。横轴表示显示顺序(POC：构图的图片顺序)，左侧表示较早的显示时间，而右侧表示较晚的显示时间。每个矩形框表示一张图片，数字表示显示顺序号。实线箭头表示编码中的图片之间的参考关系。
该示例是这样的示例，其中，图片被分类为子层1(Sub layer 1)和全层(Fulllayer)的两个层次，并且对各层次中的图片的图像数据执行编码。这个示例是这样的示例，其中，M＝4，即，在I图片和P图片之间存在三个b图片。在此处，“0”的图片对应于I图片；“1”到“3”的图片对应于b图片；并且“4”的图片对应于P图片。
在这种分层编码中，只有子层1可以选择性地解码，并且在这种情况下，获得1/4帧速率的图像数据。此外，在这种分层编码中，所有子层1和全层都可以解码，并且在这种情况下，获得全帧速率的图像数据。
容器编码器105生成包括由视频编码器104生成的编码流的容器(在此处是MP4流)，作为传送流。在这种情况下，生成分别包括对应于分区的编码流的多个MP4流。在执行使用将每个分区转换成图块的图块函数的编码的情况下，还可以形成一个MP4帧，该MP4帧包括作为子流的对应于所有分区的编码流。然而，在本实施方式中，假设生成多个MP4流，每个MP4流包括对应于每个分区的编码流。
应当注意，在使用用于将每个分区转换成图块的图块函数来执行编码的情况下，除了多个MP4流(每个MP4流包括对应于该分区的编码流)之外，容器编码器105还生成基础MP4流(基础容器)，基础MP4流包括包含子层信息等的SPS的参数集。
在此处，参考图8描述使用图块函数将每个分区转换成图块的编码。图块通过在水平和垂直方向上分割图片而获得，并且可以彼此独立地被编码和解码。由于图块允许刷新图片中的屏幕内预测、环路滤波和熵编码的刷新，所以通过分割而获得的作为图块的区域可以彼此独立地编码和解码。
图8的(a)描绘了一种情况的示例，其中，图片在垂直和水平方向的每一个方向上分成两个分区，并且因此分成总共四个分区，并且对每个分区作为图块执行编码。在这种情况下，关于通过图块分割而获得的分区(图块)a、b、c和d，在如图8的(b)所示的切片报头中描述每个图块的顶部数据的字节位置的列表，以使得可以独立解码。
由于可以从图片的左上(左上)的相对位置识别图片中的图块的开始块的位置关系，所以同样在每个分区(图块)的编码流由不同的分组以容器发送的情况下，原始图片可以由接收侧重建。例如，如果分区b和d的编码流被解码，其中每个分区被图8的(c)中描绘的链线的矩形框包围，则可以显示分区(图块)b和d。
应当注意，同样在每个分区(图块)的编码流由不同的分组以容器发送的情况下，子层信息设置在图片中的一个SPS中。因此，诸如参数集之类的元信息放置到基于图块的MP4流(基于图块的容器)中。然后，在每个分区的MP4流(图块容器)中，对应于该分区的编码流被放置为切片信息。
此外，容器编码器105将像素数量和分区的帧速率的信息插入到容器的层中。在本实施方式中，分区描述符(partition_descriptor)插入MP4流的初始化片段(IS：初始化片段)中。在这种情况下，可以插入多个分区描述符，作为图片单元中的最大频率。
图9描绘了分区描述符的结构(语法)的示例。同时，图10描绘了结构示例中的主要信息(语义)的内容。8位字段“partition_descriptor_tag”表示描述符类型，并且在此处表示描述符是分区描述符。8位字段“partition_descriptor_length”表示描述符的长度(大小)，并表示作为描述符长度的后续字节数。
8位字段“frame_rate”表示分区(分割图片)的帧速率(全帧速率)。1位字段“tile_partition_flag”表示图片分割是否由图块方法执行。例如，“1”表示分区是通过图块方法进行图片分割的，并且“0”表示分区不是通过图块方法进行图片分割的。1位字段“tile_base_flag”表示，在图块方法的情况下，分区描述符是否是基础容器。例如，“1”表示分区描述符是基础容器，并且“0”表示分区描述符是不同于基础容器的容器。
8位字段“partition_ID”表示分区的ID。16位字段“whole_picture_size_horizontal”表示整个图片的水平像素数。16位字段“whole_picture_size_vertical”表示整个图片的垂直像素数。
16位字段“partition_horizontal_start_position”表示分区的水平起始像素位置。16位字段“partition_horizontal_end_position”表示分区的水平结束像素位置。16位字段“partition_vertical_start_position”表示分区的垂直起始像素位置。16位字段“partition_vertical_end_position”表示分区的垂直结束像素位置。这些字段配置分区相对于整个图片的位置信息，并配置分区的像素数的信息。
8位字段“number_of_sublayers”指示分区的分层编码中的子层数量。8位字段“sublayer_id”和8位字段“sublayer_frame_rate”在for循环中重复的次数等于子层的数量。字段“sublayer_id”表示分区的子层ID，并且字段“sublayer_frame_rate”表示分区的子层的帧速率。
返回参考图4，存储器106临时累积由容器编码器105生成的分区的MP4流。应当注意，在MP4流被图块方法分割的情况下，存储器106还累积基于图块的MP4流。在以这种方式累积的MP4流中，接收到发送请求的分区的MP4流被发送到服务接收机200。应当注意，在MP4流是通过图块方法分割的形式的情况下，也同时发送基础MP4流。
图11描绘了与基于图块的MP4流(基于图块的容器)兼容的MPD文件的描述的示例。在该MPD文件中，存在对应于作为基于图块的容器的一个MP4流(轨道)的适配集(AdaptationSet)。
在适配集中，通过描述‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>”’，存在关于视频流的适配集(AdaptationSet)，该视频流提供有MP4文件结构，并且指示HEVC编码的视频流(编码图像数据)的存在。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:format_type”value/>’，指示投影图片的格式类型。通过描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:formatrate”value/>’，指示图片的帧速率。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:tilepartitionflag”value＝“1”/>’，指示分区是由图块方法进行图片分割的。通过‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:tilebaseflag”value/>’，指示该分区是基于图块的容器。
此外，在适配集中，存在对应于视频流的表示(Representation)。在这种表示中，通过描述‘width＝“”height＝“”frameRate＝“”,’‘codec＝”hev1.xx.xx.Lxxx,xx”’以及‘level＝“0”’的描述，指示了分辨率、帧速率和编解码器类型，并且进一步指示了应用等级“0”作为标签信息。此外，通过描述‘<BaseURL>videostreamVR.mp4</BaseURL>’，指示了MP4流的位置目的地被指示为‘videostreamVR.mp4’。
图12描绘了对应于每个分区的MP4流的MPD文件的描述的示例。在该MPD文件中，存在单独地对应于多个MP4流(轨道)的适配集(AdaptationSet)。应当注意，在所描绘的示例中，为了简化附图，仅描绘了两个适配集(AdaptationSet)。
给出了第一适配集的描述，并且由于其他适配集是相似的，因此省略了对其的描述。在适配集中，通过描述‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>’，存在关于视频流的适配集(AdaptationSet)，该视频流提供有MP4文件结构，并且指示存在HEVC编码的视频流(编码图像数据)。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:format_type”value/>’，指示投影图片的格式类型。通过描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:framerate”value/>’，指示分区的帧速率(全帧速率)。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:tilepartitionflag”value＝“1”/>’，指示分区是否由图块方法进行图片分割。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:tilebaseflag”value＝“0”/>’，指示该分区是基于图块的容器之外的容器。通过描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:partitionid”value＝“1”/>’，指示分区ID为“1”。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:wholepicturesizehorizontal”value/>’，指示整个图片的水平像素数。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:wholepicturesizevertical”value/>’，指示整个图片的垂直像素数。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionstartpositionhorizontal”value/>’，指示分区的水平起始像素位置。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitiontartpositionvertical”value/>’，指示分区的水平结束像素位置。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionendpositionhorizontal”value/>’，指示分区的垂直开始像素位置。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionendpositionvertical”value/>’，指示分区的垂直结束像素位置。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionsublayerid”value/>’，指示分区的子层ID。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionsublayerframerate”value/>’，指示分区的子层的帧速率。这两个描述重复的次数等于子层的数量。
此外，在适配集中，存在对应于视频流的表示(Representation)。在该表示中，通过描述‘width＝“”height＝“”frameRate＝“”,’‘codecs＝”hev1.xx.xx.Lxxx,xx”,’以及‘level＝“0”’，指示了分辨率、帧速率和编解码器类型，并且进一步指示了提供等级“0”，作为标签信息。此外，通过描述“<BaseURL>videostreamVR0.mp4</BaseURL>”，指示了MP4流的位置目的地被指示为‘videostreamVR0.mp4’。
图13示意性地描绘了在执行使用图块函数将每个分区转换成图块的编码的情况下的MP4流(轨道)。在这种情况下，存在四个分区的一个基于图块的MP4流(基于图块的容器)和MP4流(图块容器)。每个MP4流被配置为使得每个随机访问周期以初始化片段(IS：初始化片段)开始，其后是“styp”、“sidx(片段索引框)”、“ssix(子片段索引框)”、“moof(电影片段框)”以及“mdat(媒体数据框)”的框。
初始化片段(IS)具有基于ISOBMFF(ISO基本媒体文件格式)的框(Box)结构。分区描述符(参考图9)插入到初始化片段(IS)中。在基于图块的MP4流(基于图块的容器)中，分区描述符是“图块基础标志＝1”。同时，在第一至第四分区的MP4流(图块容器)中，“分区ID”是1至4。
在“styp”框中，放置片段类型信息。在“sidx”框中，放置每个轨道(轨道)的范围信息，并指示“moof”/“mdat”的位置，同时还指示“mdat”中每个样本(图片)的位置。在“ssix”框中，放置轨道(track)的分类信息，并且使分类为I/P/B类型。
在“moof”框中，放置控制信息。在基于图块的MP4流(基于图块的容器)的“mdat”框中，放置NAL单元“VPS”、“SPS”、“PPS”、“PSEI”和“SSEI”。同时，在每个分区的MP4流(图块容器)的“mdat”框中，放置具有各个分区的编码图像数据的NAL单元“SLICE”。
图14示意性地描绘了在每个分区被单独编码的情况下的MP4流(轨道)。在这种情况下，存在四个分区的MP4流。每个MP4流被配置为使得每个随机访问周期以初始化片段(IS：初始化片段)开始，其后是“styp”、“sidx(片段索引框)”、“ssix(子片段索引框)”、“moof(电影片段框)”和“mdat(媒体数据框)”的框。
初始化片段(IS)具有基于ISOBMFF(ISO基本媒体文件格式)的框(框)结构。分区描述符(参考图9)插入到初始化片段(IS)中。在第一至第四分区的MP4流中，“分区ID”是1至4。
在“styp”框中，放置片段类型信息。在“sidx”框中，放置每个轨道(track)的范围信息，并指示“moof”/“mdat”的位置，同时还指示“mdat”中每个样本(图片)的位置。在“ssix”框中，放置轨道(track)的分类信息，并使分类为I/P/B类型。
在“moof”框中，放置控制信息。在每个分区的MP4流的“mdat”框中，放置NAL单元“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”和“SSEI”。
返回参考图4，服务接收机200包括容器解码器203、视频解码器204、渲染器205和发送请求部206。发送请求部206请求服务发送系统100从投影图片的分区当中发送与显示区域相对应的预定数量的分区的MP4流。
在这种情况下，发送请求部206基于解码能力以及投影图片的每个分区的编码流的像素数和帧速率的信息，将预定数量的值确定为最大可解码值或接近最大可解码值的值。在此处，可以从预先从服务发送系统100接收的MPD文件(参考图12)获取每个分区的编码流的像素数和帧速率的信息。
[最大值的计算示例]
图15描绘了一个示例，其中，8K/60Hz级的投影图片除以1920×1080(全高清)的分区大小。在这种情况下，分区的平面内像素数是1920*1080＝2073600，并且像素速率是1920*1080*60＝124416000。在这种情况下，解码分区所需的复杂度的等级值是“等级4.1”。
例如，在服务接收机200包括用于4K/60Hz解码的“等级5.1”解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是534773760。因此，在这种情况下，534773760/124416000＝4.29...，并且最大值计算为4。在这种情况下，服务接收机200最多可以解码四个分区。由箭头标记P指示的四个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
另一方面，在服务接收机200包括用于4K/120Hz解码的“等级5.2”的解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是1069547520。因此，在这种情况下，1069547520/124416000＝8.59...，并且最大值计算为8。在这种情况下，服务接收机200最多可以解码八个分区。由箭头标记Q指示的八个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
图16描绘了一个示例，其中，8K/60Hz级的投影图片除以1280×960(4VGA)的分区大小。在这种情况下，分区的平面内像素数量是1280*960＝1228800，并且像素速率是1280*960*60＝73728000。在这种情况下，解码分区所需的复杂度的等级值是“等级4.1”。
例如，在服务接收机200包括用于4K/60Hz解码的“等级5.1”的解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是534773760。因此，在这种情况下，534773760/73728000＝7.25...，并且最大值计算为7。在这种情况下，服务接收机200最多可以解码7个分区。由箭头标记P指示的六个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
另一方面，在服务接收机200包括用于4K/120Hz解码的“等级5.2”的解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是1069547520。因此，在这种情况下，1069547520/73728000＝14.5...，并且最大值计算为14。在这种情况下，服务接收机200最多可以解码14个分区。由箭头标记Q指示的十二个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
图17描述了一个示例，其中，超过8K/60Hz级的投影图片除以1280×960(4VGA)的分区大小。在这种情况下，分区的平面内像素数量是1280*960＝1228800，并且像素速率是1280*960*60＝73728000。在这种情况下，用于解码分区所需的复杂度的等级值是“等级4.1”。
例如，在服务接收机200包括用于4K/60Hz解码的“等级5.1”的解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是534773760。因此，在这种情况下，534773760/73728000＝7.25...，并且最大值计算为7。在这种情况下，服务接收机200最多可以解码7个分区。由箭头标记P指示的七个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
另一方面，在服务接收机200包括用于4K/120Hz解码的“等级5.2”的解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是1069547520。因此，在这种情况下，1069547520/73728000＝14.5...，并且最大值计算为14。在这种情况下，服务接收机200最多可以解码14个分区。由箭头标记Q指示的14个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
图18描述了一个示例，其中，超过8K/60Hz级的投影图片除以1280×720(720p HD)的分区大小。在这种情况下，分区的平面内的像素数是1280*720＝921600，并且像素速率是1280*720*60＝55296000。在这种情况下，解码分区所需的复杂度的等级值是“等级4”。
例如，在服务接收机200包括用于4K/60Hz解码的“等级5.1”的解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是534773760。因此，在这种情况下，534773760/55296000＝9.67...，并且最大值计算为9。在这种情况下，服务接收机200最多可以解码9个分区。由箭头标记P指示的八个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
另一方面，在服务接收机200包括用于4K/120Hz解码的“等级5.2”的解码器的情况下，平面内亮度像素的最大数量是8912896，并且像素速率(每秒可处理的像素的最大数量)是1069547520。因此，在这种情况下，1069547520/55296000＝19.34...，并且最大值计算为19。在这种情况下，服务接收机200最多可以解码19个分区。由箭头标记Q指示的18个分区描绘了与在这种情况下选择的显示区域相对应的分区的示例。
图19共同描绘了根据“等级5.1”解码器中的分区大小的可解码分区的最大数量。在分区大小为1920×1080(全HD)的情况下，解码器每秒可处理的最大像素数量为534773760，分区的像素速率为124416000(相当于等级4.1)，并且可解码分区的最大数量为4。另一方面，在分区大小为1280×960(4VGA)的情况下，虽然解码器每秒可处理的像素的最大数量是534773760，但是分区的像素速率是73728000(相当于等级4.1)，并且可解码的分区的最大数量是7。
此外，在分区大小为1280×720(720p HD)的情况下，虽然解码器每秒可处理的像素的最大数量是534773760，但是分区的像素速率是55296000(相当于等级4.1)，并且可解码分区的最大数量是9。此外，在分区大小为960×540(Q HD)的情况下，虽然解码器每秒可处理的像素的最大数量是534773760，但是分区的像素速率是33177600(相当于等级3.1)，并且可解码分区的最大数量是16。
图20共同描绘了根据“等级5.2”的解码器中的分区大小的可解码分区的最大数量。在分区大小为1920×1080(全高清)的情况下，解码器每秒可处理的最大像素数量为1069547520，分区的像素速率为124416000(相当于等级4.1)，并且可解码分区的最大数量为8。另一方面，在分区大小为1280×960(4VGA)的情况下，虽然解码器每秒可处理的像素的最大数量是1069547520，但是分区的像素速率是73728000(相当于等级4.1)，并且可解码分区的最大数量是14。
此外，在分区大小为1280×720(720p HD)的情况下，虽然解码器每秒可处理的像素的最大数量是1069547520，但是分区的像素速率是55296000(相当于等级4.1)，并且可解码分区的最大数量是19。同时，在分区大小为960×540(Q HD)的情况下，虽然解码器每秒可处理的像素的最大数量是1069547520，但是分区的像素速率是33177600(相当于等级3.1)，并且可解码分区的最大数量是32。
应当注意，发送请求部206可以包括如图19或图20所示的表，使得参考该表来确定最大值(可解码分区的最大数量)。
应当注意，尽管前面的描述是针对各个分区的像素数量(大小)和帧速率一致的情况，但是各个分区的像素数和帧速率可能不是一致的。同样在这种情况下，发送请求部206基于各个分区的像素速率，选择可解码分区的最大数量或其接近数量，作为与要向服务发送系统100请求发送的显示区域相对应的分区。
图21描绘了各个分区的像素数量不一致的情况。ID1、ID2、ID3、ID4、ID5和ID6分别表示在位置(H0、V0)、(H0、V1)、(H1、V1)、(H0、V2)、(H1、V2)和(H0、V3)处的分区的分区ID。
假设分区ID为ID1、ID2、ID3、ID4、ID5和ID6的分区的像素速率分别是R1、R2、R3、R4、R5和R6。在服务接收机200的解码器是“等级X”的解码器并且对应于此的像素速率是D1的情况下，例如，如果R1+R2+R3<D1，则认为分区ID是ID1、ID2和ID3的分区的解码是可行的。
返回参考图4，容器解码器203从由服务发送系统100向其发送的并且对应于显示区域的预定数量的MP4流中提取每个分区的编码流，并且将编码流发送到视频解码器204。在已经通过图块方法执行分割的情况下，不仅从服务发送系统100发送与显示区域对应的预定数量的分区的MP4流，而且发送基于图块的MP4流。因此，容器解码器203还向视频解码器204发送编码流，该编码流包含包括在基于图块的MP4流中的参数集信息等。
视频解码器204对与显示区域相对应的预定数量的分区的编码流执行解码处理，以获得对应于显示区域的预定数量的分区的图像数据。渲染器205对以这种方式获得的预定数量的分区的图像数据执行渲染处理，以获得对应于显示区域的渲染图像(图像数据)。
[显示区域移动的情况]
描述了显示区域移动的情况。响应于传感器信息、指示信息、语音UI信息等，控制显示区域的移动。例如，在使用HMD(头戴式显示器)作为显示设备的情况下，基于由包含在HMD中的陀螺仪传感器等响应于用户颈部的移动而获得的移动方向和移动量的信息，来控制显示区域的移动。另一方面，在显示面板用作显示设备的情况下，基于用户操作的指示信息或用户的语音UI信息来控制显示区域的移动。
图22描绘了HMD用作显示设备的情况。在这种情况下，如果佩戴HMD的用户像如图22的(b)中所示的P1→P2→P3那样从左向右转动其脖子，则在HMD上观察到的显示区域像如图22的(a)中所示的P1'→P2'→P3'那样移动。
同时，图23描绘了显示面板(例如，电视)用作显示设备的情况。在这种情况下，如果语音指令像P1→P2→P3那样改变，如图23的(b)所示，则显示面板上显示的显示区域像P1'→P2'→P3'那样移动，如图23的(a)所示。
在预测显示区域超出解码范围的情况下，发送请求部206确定切换对应于显示区域的预定数量的分区的MP4流的集合，以便建立包括显示区域的解码范围，并且请求服务发送系统100发送新的集合(传送流集合)。
图24描绘了随着显示区域的移动而切换传送流集合的示例。该示例是发送(传送)对应于显示区域的四个分区的MP4流的示例。当显示区域如图24的(a)所示定位时，对应于显示区域的分区变成了位置在(H0、V1)、(H1、V1)、(H0、V2)和(H1、V2)的四个分区，并且例如以(1)→(2)→(5)→(6)的顺序发送分区的MP4流。
在这种情况下，在服务接收机200中，从分区的MP4流中提取编码流，并且编码流由视频解码器204解码。特别地，这种情况下的解码范围是在位置(H0、V1)、(H1、V1)、(H0、V2)和(H1、V2)处的分区。
然后，当显示区域移动到图24的(b)所示的位置时，对应于显示区域的分区变成了位置在(H1、V1)、(H2、V1)、(H1、V2)和(H2、V2)的四个分区。因此，执行传送流集合的切换，并且例如以(2)→(3)→(6)→(7)的顺序发送分区的MP4流。
在这种情况下，在服务接收机200中，从分区的MP4流中提取编码流，并且编码流由视频解码器204解码。特别地，这种情况下的解码范围是(H1、V1)、(H2、V1)、(H1、V2)和(H2、V2)位置处的分区。
然后，当显示区域移动到图24的(c)所示的位置时，对应于显示区域的分区变成了位置在(H2、V1)、(H3、V1)、(H2、V2)和(H3、V2)的四个分区。因此，执行传送流集合的切换，并且例如以(3)→(4)→(7)→(8)的顺序发送分区的MP4流。
在这种情况下，在服务接收机200中，从分区的MP4流中提取编码流，并且编码流由视频解码器204解码。特别地，这种情况下的解码范围是在位置(H2、V1)、(H3、V1)、(H2、V2)和(H3、V2)处的分区。
图25描绘了随着显示区域的移动而切换传送流集合的另一示例。该示例是发送(传送)对应于显示区域的六个分区的MP4流的示例。当显示区域位于图25的(a)中的左侧时，对应于显示区域的分区变成了位置在(H0、V1)、(H1、V1)、(H2、V1)、(H0、V2)、(H1、V2)和(H2、V2)的六个分区，并且例如以(1)→(2)→(3)→(5)→(6)→(7)的顺序发送分区的MP4流。
在这种情况下，在服务接收机200中，从分区的MP4流中提取编码流，并且编码流由视频解码器204解码。特别地，这种情况下的解码范围是在位置(H0、V1)、(H1、V1)、(H2、V1)、(H0、V2)、(H1、V2)以及(H2、V2)处的分区。
然后，当显示区域移动到图25的(a)中右侧所示的位置时，对应于显示区域的分区保持为六个分区，作为在位置(H0、V1)、(H1、V1)、(H2、V1)、(H0、V2)、(H1、V2)和(H2、V2)处的分区。因此，不执行传送流集合的切换，并且例如以(1)→(2)→(3)→(5)→(6)→(7)的顺序发送分区的MP4流。
在这种情况下，在服务接收机200中，从分区的MP4流中提取编码流，并且编码流由视频解码器204解码。特别地，这种情况下的解码范围是在位置(H1、V1)、(H2、V1)、(H1、V2)和(H2、V2)处的分区。
然后，当显示区域移动到图25的(b)所示的位置时，对应于显示区域的分区变成了在位置(H1、V1)、(H2、V1)、(H3、V1)、(H1、V2)、(H2、V2)和(H3、V2)处的六个分区。因此，执行传送流集合的切换，并且例如以(2)→(3)→(4)→(6)→(7)→(8)的顺序发送分区的MP4流。
在这种情况下，在服务接收机200中，从分区的MP4流中提取编码流，并且编码流由视频解码器204解码。特别地，这种情况下的解码范围是在位置(H1、V1)、(H2、V1)、(H3、V1)、(H1、V2)、(H2、V2)和(H3、V2)处的分区。
从上述图24和图25的示例中可以看出，可以认识到，随着对应于显示区域的分区的数量增加，随着显示区域的改变而切换传送流集合的频率降低。如果发生传送流集合的切换，则需要发出发送请求并接收新集合的MP4流的发送，并且在解码处理完成之后直到显示开始为止出现时间延迟，使得VR再现时的显示性能劣化。
在本实施方式中，由于与显示区域相对应的分区的数量被服务接收机200设置为最大可解码数量或接近最大值的值，所以可以抑制随着显示区域的移动而切换传送流集合的频率，并且可以提高VR再现时的显示性能。
如上所述，在预测显示区域超出解码范围的情况下，发送请求部206确定传送流集合的切换，并向服务发送系统100发出发送新的传送流集合的请求。在此处，当显示区域满足位置条件和移动条件时，预测显示区域超出解码范围。该预测由控制服务接收机200的每个组件的操作的控制部执行，这在图4中未示出。
图26的(a)描绘了显示区域符合当前解码范围的状态。图26的(b)描绘了显示区域从图26的(a)中的状态沿虚线箭头标记m指示的方向移动的状态。应当注意，在图26中，实线箭头标记n表示在前几帧中检测到的显示区域的移动速度和移动方向。
在显示区域的末端达到由当前解码范围的末端阈值范围(TH_v、TH_h；设置在接收机中)定义的范围并且在前几帧中检测到的移动速度等于或高于固定值、或者指示了加速度增加的情况下，发送请求部206预测显示区域超出解码范围。然后，发送请求部206基于显示区域的移动预测来确定新的预定数量的分区，使得获得包括显示区域的新的解码范围，并且向服务发送系统100发出发送包括在MP4流中的新的传送流集合的请求。
在此处，在基于显示区域的移动预测来确定新的预定数量的分区的情况下，并且在移动之后预定数量的分区不适合显示区域的解码范围的情况下，需要确定新的传送流集合并且向服务发送系统100发出发送新的传送流集合的请求，并且在解码处理完成之后直到显示开始为止出现时间延迟，从而存在VR再现时的显示性能可能劣化的可能性。
图27描绘了在显示区域连续移动的情况下解码范围的切换状态。在图27中，实线箭头标记指示显示区域的移动预测方向，并且虚线箭头标记指示显示区域的实际移动方向。图27的(b)描绘了基于显示区域的移动预测方向从图27的(a)的状态执行传送流集合的切换并且显示区域的实际移动方向与移动预测方向一致的情况的状态。在这种情况下，因为显示区域包括在解码范围内，所以没有问题。
同时，图27的(c)描绘了基于显示区域的移动预测方向从图27的(b)的状态执行传送流集合的切换并且显示区域的实际移动方向与移动预测方向一致的情况。在这种情况下，因为显示区域适合解码范围，所以没有问题。
图27的(d)描绘了基于显示区域的移动预测方向从图27的(b)的状态执行传送流集合的切换并且显示区域的实际移动方向与移动预测方向不一致的状态。在这种情况下，因为显示区域不适合解码范围，所以需要再次执行流集合的切换，以改变至由阴影线指示的解码范围，使得显示区域适合解码范围。在刚刚描述的这种情况下，有可能出现时间延迟，并且显示器可能暂时冻结，直到执行被切换为止。
因此，在本实施方式中，在基于显示区域的移动预测来确定对应于显示区域的分区的情况下，增加分区的数量以扩展解码范围，使得移动之后的显示区域位于解码范围的中间。简而言之，解码模式从正常解码模式变为宽解码模式。在这种情况下，服务接收机200对预定数量的分区的编码流的部分或全部执行时间部分解码，即子层解码，使得在宽解码模式下对预定数量的分区的解码成为可能。
图28描绘了在显示区域连续移动的情况下解码范围的切换状态。在图28中，实线箭头标记指示显示区域的移动预测方向，并且虚线箭头标记指示显示区域的实际移动方向。图28的(b)描绘了基于显示区域的移动预测方向从图28的(a)的状态执行传送流集合的切换并且显示区域的实际移动方向与移动预测方向一致的情况的状态。在这种情况下，假设执行时间部分解码，分区的数量增加以扩展解码范围。在这种情况下，显示区域适合解码范围。
图28的(c)描绘了显示区域从图28的(b)的状态移动的状态。在这种情况下，描绘了显示区域的实际移动方向与移动预测方向一致的状态。在这种情况下，由于解码范围扩展，所以显示区域在解码范围内移动，因此不执行传送流集合的切换。同时，图28的(d)描绘了显示区域从图28的(b)的状态移动的情况下的状态。在这种情况下，描绘了显示区域的实际移动方向与移动预测方向不一致的情况的状态。在这种情况下，由于解码范围扩展，所以显示区域在解码范围内移动，因此不执行传送流集合的切换。
图29描绘了在视频编码准备好用于图块的情况下的每个分区的帧速率。在这种情况下，分层编码中的帧速率和分层在所有分区中是相同的。图29的(a)描述了在正常解码模式下，以全帧速率执行解码处理。图29的(b)描述了在宽解码模式下，执行时间部分解码，例如，半速率的解码处理。
图30描绘了在视频编码将每个分区编码成独立流的情况下的分区的帧速率。在这种情况下，由于每个分区的编码可以单独执行，所以分层编码的帧速率和分层在所有分区中可能不是相同的。在图30所示的示例中，当中央六个分区以120Hz的高帧速率编码时，外围十个分区以60Hz的低帧速率编码。
图30的(a)描述了在正常解码模式下，以全帧速率执行解码处理。图30的(b)描述了在宽解码模式下，执行时间部分解码，例如，半速率的解码处理。此外，图30的(c)描绘了在宽解码模式中，对中央六个分区执行全帧速率的解码处理，而对外围10个分区执行四分之一速率的解码处理。
在本实施方式中，在预测到显示区域在从正常解码模式变为宽解码模式之后适合正常解码模式的解码范围的情况下，解码模式变回正常解码模式。在这种情况下，发送请求部206向服务发送系统100发出请求，以在正常解码模式下停止除预定数量的分区之外的任何分区的发送。
通过观察显示区域的移动变化来执行该收敛预测。该预测由控制服务接收机200的每个组件的操作的控制部执行，这在图4中未示出。例如，在HMD用作显示设备的情况下，可以基于从包含在HMD中的姿态检测传感器获得的姿态角度和方位角信息来执行收敛的判断。
图31的(a)示意性地描绘了姿态检测传感器的配置。该姿态检测传感器包括振动陀螺仪和三轴加速度传感器。振动陀螺仪的包括俯仰、滚转和偏航在内的相应三个轴的位置的变化条件和三轴加速度传感器施加在XYZ轴上的加速度集成，以最终输出姿态角(滚转角和俯仰角)和方位角信息。
因为从姿态检测传感器输出三个轴的信息，所以提供了关于运动的实时传感器信息。如图31的(b)所示，通过以帧为单位测量三轴信息，可以知道用户的颈部的运动并且相应地知道显示区域的移动的变化，并且通过确认在过去的几个帧中几乎没有发现移动，而判断收敛(显示区域的移动结束)。
图32描绘了模式变化控制的示例。在T1，没有检测到显示区域的移动，因此，保持正常解码模式。在T2，检测到显示区域的移动，由此，解码模式从正常解码模式切换到宽解码模式。在T3，检测到显示区域的移动。然而，由于显示区域的位置保持在T2的宽解码范围内，所以不执行解码范围的更新。
在T4，检测到显示区域的移动，并且检测到显示区域的位置接近T3的宽解码范围的边界。因此，向服务器(服务发送系统100)发出对新的流的请求，并且更新解码范围。在T5，判断显示区域移动的结束，换言之，判断收敛，并且解码模式从宽解码模式切换到正常解码模式。
图33的流程图描绘了由服务接收机200的控制部进行的解码范围变化和模式变化的控制处理的示例。控制部例如在视频帧周期中执行该控制处理。
控制部在步骤ST1开始处理。然后在步骤ST2，控制部检测显示区域的移动。例如，如上所述，基于传感器信息、指向信息、声音UI信息等，检测显示区域的移动。
然后在步骤ST3，控制部判断是否预测到显示区域超出当前解码范围。如上所述，根据显示区域是否满足位置条件和移动条件，做出这个判断。在判断没有预测到显示区域超出当前解码范围的情况下，控制部在步骤ST4判断当前解码模式是否是宽解码模式。在当前解码模式是宽解码模式时，控制部将其处理推进到步骤ST5。
在步骤ST5，控制部判断是否预测到显示区域收敛到与正常解码模式相对应的解码范围内。如上所述，通过观察包括过去的几个帧的显示区域的移动变化来做出该判断。当预测到显示区域收敛时，在步骤ST6，控制部将解码模式从宽解码模式变为正常解码模式。
在步骤ST6的处理之后，控制部在步骤ST7结束处理。应当注意，当在步骤ST4当前解码模式不是宽解码模式时，或者当在步骤ST5没有预测到显示区域收敛时，控制部将处理推进到步骤ST7，在步骤ST7结束处理。
另一方面，在步骤ST3预测到显示区域超出当前解码范围的情况下，控制部在步骤ST8判断当前解码模式是否是正常解码模式。在当前解码模式是正常解码模式时，控制部在步骤ST9将当前解码模式变为宽解码模式，并在步骤ST10改变解码范围。当要改变解码范围时，向服务器(服务发送系统100)发出对与显示区域相对应的并且根据解码模式的预定数量的分区的MP4流的集合(传送流集合)的请求，以接收流集合。
在步骤ST10的处理之后，控制部将处理推进到步骤ST7，在步骤ST7结束处理。另一方面，当在步骤ST8当前解码模式是宽解码模式时，控制部将处理推进到步骤ST9，在步骤ST9改变解码范围。此后，控制部将处理推进到步骤ST7，在步骤ST7结束处理。
“服务发送系统的配置示例”
图34描绘了服务发送系统100的配置的示例。服务发送系统100包括控制部101、用户操作部101a、360°图片捕获部102、平面包装部103、视频编码器104、容器编码器105、以及包括存储器106的通信部107。
控制部101包括CPU(中央处理单元)，并基于控制程序控制服务发送系统100的每个组件的操作。用户操作部101a包括键盘、鼠标、触摸面板或遥控器，用于允许用户执行各种操作。
360°图片捕获部102通过预定数量的相机对成像目标进行成像，以获得球形捕获图像(360°VR图像)的图像数据。例如，360°图片捕获部102通过背靠背(Back to Back)方法执行成像，以获得非常宽视角图像的正面图像和背面图像，每个图像通过使用鱼眼透镜捕获并且每个图像的视角都等于或大于180°，作为球形捕获图像(参考图5的(a))。
平面包装部103切除并平面包装由360°图片捕获部102获得的球形捕获图像的部分或全部，以获得矩形投影图片(参考图5的(b)和图5的(c))。在这种情况下，作为投影图片的格式类型，例如，选择等矩形(Equirectangular)格式、十字立方体(Cross-cubic)格式等。
视频编码器104对来自平面包装部103的投影图片的图像数据执行例如MPEG4-AVC、HEVC等的编码，以获得编码图像数据，并生成包括编码图像数据的编码流。在这种情况下，视频编码器104将投影图片分割成多个分区(分割区域)，并获得对应于这些分区的编码流。
在此处，为了获得对应于投影图片的每个分区的编码流，视频编码器104例如执行分区的单独编码、整个投影图片的集体编码、或者使用将每个分区转换成图块的图块功能的编码。因此，在接收侧，可以彼此独立地解码对应于分区的编码流。此外，视频编码器104对每个分区执行分层编码(参考图7的(a)和图7的(b))。这种分层编码使得接收侧能够容易地执行时间部分解码。
容器编码器105生成包括由视频编码器104生成的编码流的容器(此处是MP4流)，作为传送流。在这种情况下，生成多个MP4流，每个MP4流包括对应于每个分区的编码流(参考图13和图14)。
在此处，在执行使用用于将每个分区转换成图块的图块函数的编码的情况下，除了多个MP4流(每个MP4流包括对应于每个分区的编码流)之外，容器编码器105还生成包括参数集(诸如包括子层信息等的SPS)的基础(base)MP4(基础容器)(参考图13)。
此外，容器编码器105将分区描述符(参考图9)插入到容器的层中，特别是插入到MP4的初始化片段(IS)中。该分区描述符包括分区的像素数、帧速率信息等。
设置在通信部107中的存储器106累积由容器编码器105生成的各个分区的MP4流。应当注意，在已经通过图块方法执行分割的情况下，存储器106还累积基于图块的MP4流。此外，存储器106还累积例如由容器编码器105生成的MPD文件(参考图11和图12)。
通信部107从服务接收机200接收传送请求，并响应于该传送请求向服务接收机200发送MPD文件。服务接收机200从MPD文件中识别传送流的配置。
此外，通信部107从服务接收机200接收对于与预定数量的分区相对应的MP4流的传送请求(发送请求)，该预定数量的分区对应于显示区域，并将MP4流发送到服务接收机200。例如，在来自服务接收机200的传送请求中，所需的分区由分区ID指定。
“服务接收机的配置示例”
图35描绘了服务接收机200的配置的示例。服务接收机200包括控制部201、UI部201a、传感器部201b、通信部202、容器解码器202、视频解码器204、渲染器205和显示部207。
控制部201包括CPU(中央处理单元)，并基于控制程序控制服务接收机200的每个组件的操作。UI部201a用于执行用户界面，并且包括例如用于允许用户操作显示区域的移动的指示装置、用于输入声音以允许用户通过使用声音给出关于显示区域的移动的指令的麦克风等。传感器部201b包括用于获取用户状态或环境的信息的各种传感器，并且包括例如包含在HMD(头戴式显示器)中的姿态检测传感器等。
通信部202在控制部201的控制下，响应于传送请求，向服务发送系统100发送传送请求，并从服务发送系统100接收MPD文件(参考图11和图12)。通信部202将MPD文件发送到控制部201。因此，控制部201识别传送流的配置。
此外，通信部202在控制部201的控制下，响应于传送请求，向服务发送系统100传送对于与对应于显示区域的预定数量的分区相对应的MP4流的传送请求(发送请求)，并且从服务发送系统100接收对应于预定数量的分区的MP4流。
在此处，控制部101基于由包含在HMD中的陀螺仪传感器等获得的方向和运动量的信息，或者基于用户操作的指示信息或者用户的声音UI信息，获取显示区域的移动方向或速度的信息，从而选择对应于显示区域的预定数量的分区。在这种情况下，控制部101基于解码能力以及从MPD文件识别的每个分区的编码流的像素数和帧速率的信息，将预定数量的值设置为可解码的最大值或接近最大值的值。图4中描绘的发送请求部206由控制部101配置。
此外，控制部101检测显示区域的移动，判断是否预测到显示区域超出当前解码范围，在解码模式是宽解码模式的情况下，判断显示区域是否收敛到对应于正常解码模式的解码范围，并执行解码范围改变和模式改变的控制处理(参考图33)。
容器解码器203从对应于由通信部202接收的显示区域的预定数量的分区的MP4流中提取各个分区的编码流，并将编码流发送到视频解码器204。应当注意，在已经通过图块方法执行分割的情况下，由于通信部202不仅接收对应于显示区域的预定数量的分区的MP4流，而且接收基于图块的MP4流，所以包含包括在基于图块的MP4流中的参数集信息等的编码流也发送到视频解码器204。
此外，容器解码器203提取插入每个MP4流的初始化片段(IS)中的分区描述符(参考图9)，并将分区描述符发送到控制部201。控制部201从描述符获取每个分区的像素数和帧速率的信息以及分层编码信息。
视频解码器204对对应于从容器解码器203提供的显示区域的预定数量的分区的编码流执行解码处理，以获得图像数据。在此处，在控制部201的控制下，当解码模式是正常解码模式时，视频解码器204对预定数量的分区的编码流执行时间全解码处理。然而，当解码模式是宽解码模式时，视频解码器204对预定数量的分区的编码流的部分或全部执行时间部分解码处理，以使得可以在宽解码模式下解码预定数量的分区(参考图29和图30)。
渲染器205对由视频解码器204获得的预定数量的分区的图像数据执行渲染处理，以获得对应于显示区域的渲染图像(图像数据)。显示部207显示由渲染器205获得的渲染图像(图像数据)。显示部207例如由HMD(头戴式显示器)、显示面板等构成。
如上所述，在图3所示的发送和接收系统10中，服务发送系统100发送与宽视角图像(投影图片)的各个分区(分割区域)相对应的编码流以及各个分区的像素数和帧速率的信息。因此，在接收侧，基于解码能力以及宽视角图像的每个分区的像素数和帧速率的信息，可以容易地将对应于显示区域的要解码的分区的数量设置为可解码的最大值。因此，可以尽可能减少伴随显示区域的移动的编码流的切换的频率，并且可以提高VR再现时的显示性能。
此外，在图3所示的发送和接收系统10中，服务接收机200基于解码能力以及每个分区的像素数和帧速率的信息，计算对应于显示区域的要解码的分区的数量。因此，可以容易地将对应于显示区域的要解码的分区的数量设置为最大，并且可以尽可能地减少随着显示区域的移动而引起的切换编码流的频率，并且可以提高VR再现时的显示性能。
此外，在图3所示的发送和接收系统10中，服务接收机200预测到显示区域超出解码范围，并且将解码方法切换到时间部分解码，并且预测到显示区域收敛于解码范围中，并将解码方法切换到时间全解码。在这种情况下，通过将解码方法切换到时间部分解码，可以增加可解码的分割区域的数量。因此，可以降低相对于不同于预测的显示区域的移动的切换编码流的频率，并且可以进一步提高VR再现时的显示性能。
<2.变形例>
[适应MPEG-2TS和MMT]
应当注意，上述实施方式指示了容器是MP4(ISOBMFF)的示例。然而，本技术并不将容器限制为MP4，并且也可以类似地应用于其他格式的容器，例如，MPEG-2TS或MMT。
例如，在MPEG-2TS的情况下，图4中描绘的服务发送系统100的容器编码器105生成包括投影图片的每个分区的编码流的传输流(Transport Steam)。
此时，容器编码器105将分区描述符(Partition_descriptor)(参考图9)插入到与节目映射表(PMT：节目映射表)的每个编码流相对应的视频基本流循环中。
图36描绘了在视频编码准备好用于图片的情况下传输流的配置的示例。在该配置示例中，存在由PID0识别的基于图块的编码流的PES分组“视频PES0”。在该PES分组“视频PES0”的有效载荷中，设置了NAL单元“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、以及“SSEI”。
此外，存在由PID1至PID4识别的第一至第四分区(图块)的编码流的PES分组“视频PES1”至“视频PES4”。在PES分组的有效载荷中，设置了NAL单元“AUD”和“SLICE”。
此外，在PMT中，存在对应于PES分组“视频PES0”到“视频PES4”的视频基本流循环(视频ES循环)。在每个循环中，根据编码流放置流类型、分组标识符(PID)等信息，并且还放置描述与编码流相关的信息的描述符。该流类型是表示视频流的“0×24”。此外，作为一个描述符，插入分区描述符。
应当注意，在视频编码将每个分区编码成独立流的情况下，传输流的配置的示例在配置上是相似的，尽管未示出。在这种情况下，不存在与基于图块的编码流的PES分组“视频PES0”相对应的部分，并且在第一至第四分区的编码流的PES分组“视频PES1”至“视频PES4”的有效载荷中，设置了NAL单元“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”和“SSEI”。
此外，例如，在MMT的情况下，图4中描绘的服务发送系统100的容器编码器104生成包括视频流的MMT流(MMT Stream)。
此时，容器编码器104将分区描述符(参考图9)插入到与MMT封装表(MPT：MMT封装表)的扩展视频流相对应的视频资产循环中。
图37描绘了在视频编码准备好用于图块的情况下的MMT流的配置的示例。在该配置示例中，存在由ID0识别的基于图块的编码流的MPU分组“视频MPU0”。在该MPU分组“视频MPU0”的有效载荷中，设置了NAL单元“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”以及“SSEI”。
此外，存在由ID1至ID4识别的第一至第四分区(图块)的编码流的MPU分组“视频MPU1”至“视频MPU4”。在MPU的有效载荷中，设置了NAL单元“AUD”和“SLICE”。
此外，在MPT，存在对应于MPU分组“视频MPU0”到“视频MPU4”的视频资产循环(视频资产循环)。在每个循环中，根据编码流设置资产类型、资产标识符(ID)等的信息，并且还设置描述与编码流相关的信息的描述符。该资产类型为“0×24”，表示视频流。此外，作为一个描述符，插入分区描述符。
应当注意，在视频编码将每个分区编码成独立流的情况下，MMT流的配置的示例在配置上是相似的，尽管省略了对其的说明。在这种情况下，不存在与基于图块的编码流的MPU分组“视频MPU0”相对应的部分，并且在第一至第四分区的编码流的MPU分组“视频MPU1”至“视频MPU4”的有效载荷中，设置了NAL单元“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”以及“SSEI”。
此外，尽管上述实施方式指示了一个示例，其中，在视频编码准备好用于图块的情况下，图块流具有多流配置，但是也可以想到以单流配置形成图块流。
图38描绘了在图块流具有单个流配置的情况下MPD文件的描述的示例。在该MPD文件中，存在与对应于图块流的MP4流(轨道)相对应的适配集(AdaptationSet)。
在适配集中，通过描述‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.Lxxx,xx,hev1.yy.yy.Lxxx,yy”>”’，存在关于视频流的适配集(AdaptationSet)，该视频流被提供有MP4文件结构，并且指示存在HEVC编码的视频流(编码图像数据)。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:format_type”value/>’，指示投影图片的格式类型。通过描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:formatrate”value/>’，指示图片的帧速率(全帧速率)。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:tilepartitionflag”值＝“1”/>’，指示分区是否由图块方法进行图片分割。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:tilebaseflag”值＝"0"/>’，指示分区是除基于图块的容器以外的容器。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:wholepicturesizehorizontal”value/>’，指示整个图片的水平像素数。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:wholepicturesizevertical”value/>’，指示整个图片的垂直像素数。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionid”value/>’，指示分区ID。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionstartpositionhorizontal”value/>’，指示分区的水平起始像素位置。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitiontartpositionvertical”value/>’，指示分区的水平结束像素位置。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionendpositionhorizontal”value/>’，指示分区的垂直开始像素位置。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionendpositionvertical”value/>’，指示分区的垂直结束像素位置。
通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionsublayerid”value/>’，指示分区的子层ID。通过描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:partitionsublayerframerate”value/>’，指示分区的子层的帧速率。子层ID的描述和分区的帧速率重复的次数等于子层的数量。此外，上面描述的从分区ID到子层的帧速率的描述重复的次数等于图块编码中的分区数量。
此外，在适配集中，存在对应于视频流的表示(Representation)。在该表示中，通过描述‘width＝“”height＝“”frameRate＝“”,’‘codec＝”hev1.xx.xx.Lxxx,xx”,’以及‘Level＝“0”’，指示了分辨率、帧速率和编解码器类型，并且进一步指示提供等级“0”作为标签信息。此外，通过描述‘<BaseURL>videostreamVR.mp4</BaseURL>’，指示MP4流的位置目的地被指示为‘videostreamVR0.mp4’。
图39示意性地描绘了在图块流具有单个流配置的情况下的MP4流(轨道)。在这种情况下，存在对应于图块流的一个MP4流。MP4流被配置为使得每个随机访问周期以初始化片段(IS：初始化片段)开始，其后是“styp”、“sidx(片段索引框)”、“ssix(子片段索引框)”、“moof(电影片段框)”和“mdat(媒体数据框)”的框。
初始化片段(IS)具有基于ISOBMFF(ISO基本媒体文件格式)的框(框)结构。分区描述符(参考图9)插入到初始化片段(IS)中。应当注意，在这种情况下，分区描述符包括图块编码中的所有分区(图块)的信息。在mdat框中，放置了NAL单元“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”以及“SSEI”。
图40描绘了在图块流具有单个流配置的情况下传输流的配置的示例。在该配置示例中，存在由PID1识别的图块流的PES分组“视频PES1”。在该PES分组“视频PES1”的有效载荷中，设置了NAL单元“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”以及“SSEI”。
此外，在PMT中，存在对应于PES分组“视频PES1”的视频基本流循环(视频ES1循环)。在该循环中，根据时间流放置流类型、分组标识符(PID)等信息，并且还放置描述与图块流相关的信息的描述符。该流类型是“0×24”，表示视频流。此外，作为一个描述符，插入分区描述符(参考图9)。应当注意，在这种情况下，分区描述符包括图块编码中的所有分区(图块)的信息。
图41描绘了在图块流具有单个流配置的情况下MMT流的配置的示例。在该配置示例中，存在由ID1识别的图块流的MPU分组“视频MPU1”。在该MPU分组“视频MPU1”的有效载荷中，设置了NAL单元“AUD”、“VPS”、“SPS”、“PPS”、“PSEI”、“SLICE”和“SSEI”。
此外，在MPT，存在对应于MPU分组“视频MPU1”的视频资产循环(视频资产1循环)。在该循环中，根据图块流设置资产类型、资产标识符(ID)等的信息，并且还设置描述与图块流相关的信息的描述符。该资产类型为“0×24”，表示视频流。此外，作为一个描述符，插入分区描述符(参考图9)。应当注意，在这种情况下，分区描述符包括图块编码中的所有分区(图块)的信息。
此外，上述实施方式指示了一个示例，其中，在容器是MP4的情况下，分区描述符也包含在包含编码视频的“SLICE”的轨道中(参考图13、图14和图39)。然而，如图42、图43和图44所示，还可以想到一种配置，其中，当编码视频的“SLICE”包含在轨道“轨道1A、2A、3A、4A”中时，分区描述符包含在另一轨道“轨道1B、2B、3B、4B”的“mdat”中。
通过采用如图42、图43或图44所示的这种配置，保证了每个样本与相关图像的时间同步。在这种情况下，包括每个分区描述符的轨道通过轨道本身的初始化片段(IS)中的“tref”清楚地指示包括编码视频的轨道的参考目标。
此外，虽然上述实施方式指示了由服务发送系统100和服务接收机200配置的发送和接收系统10的示例，但是可以应用本技术的发送和接收系统的配置不限于此。例如，也可以设想这样一种情况，其中，服务接收机200的部分是通过诸如HDMI(高清晰度多媒体接口)等数字接口彼此连接的机顶盒和显示器。应当注意，“HDMI”是注册商标。
此外，本技术可以采用如下所述的配置。
(1)一种发送设备，包括：
发送部，被配置为发送与宽视角图像的每个分割区域相对应的编码流，并且发送每个分割区域的像素数和帧速率的信息。
(2)根据上述(1)所述的发送设备，其中，
宽视角图像包括通过切除和平面包装球形捕获图像的部分或全部而获得的投影图片。
(3)根据上述(1)或(2)所述的发送设备，其中，
通过单独编码宽视角图像的每个分割区域，获得与宽视角图像的每个分割区域相对应的编码流。
(4)根据上述(1)或(2)所述的发送设备，其中，
通过执行使用用于将宽视角图像的每个分割区域转换成图块的图块函数的编码，来获得与宽视角图像的每个分割区域相对应的编码流。
(5)根据上述(1)至(4)中任一项所述的发送设备，其中，
发送部将分割区域的像素数和帧速率的信息与包括编码流的容器一起发送。
(6)根据上述(1)至(5)中任一项所述的发送设备，其中，
发送部发送与宽视角图像的各个分割区域的全部相对应的编码流。
(7)根据上述(1)至(5)中任一项所述的发送设备，其中，
发送部发送与宽视角图像的各个分割区域当中的所请求的分割区域相对应的编码流。
(8)根据上述(1)至(7)中任一项所述的发送设备，其中，
与宽视角图像的每个分割区域相对应的编码流被分层编码。
(9)一种发送方法，包括：
发送步骤，由发送部发送与宽视角图像的每个分割区域相对应的编码流，并发送每个分割区域的像素数和帧速率的信息。
(10)一种接收设备，包括：
控制部，被配置为控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得显示区域的图像数据的处理、以及用于基于解码能力和与对应于宽视角图像的各个分割区域的每一个编码流相关联的像素数和帧速率的信息来计算预定数量的值的处理。
(11)根据上述(10)所述的接收设备，其中，
控制部还控制用于请求分发服务器发送预定数量的分割区域的编码流并且从分发服务器接收预定数量的分割区域的编码流的处理。
(12)根据上述(10)或(11)所述的接收设备，其中，
控制部还控制用于预测显示区域超出解码范围并切换解码范围的处理。
(13)根据上述(12)所述的接收设备，其中，
控制部还控制用于预测显示区域超出解码范围并且将解码方法切换到时间部分解码以扩大解码范围的处理，并且
控制部还控制用于预测显示区域收敛到扩大之前的解码范围内并且将解码方法切换到时间全解码以减小解码范围的处理。
(14)一种接收方法，包括：
控制步骤，由控制部控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得显示区域的图像数据的处理、以及用于基于解码能力和与对应于宽视角图像的各个分割区域的每一个编码流相关联的像素数和帧速率的信息来计算预定数量的值的处理。
本技术的主要特征在于，通过发送宽视角图像(投影图片)的每个分区(分割区域)的像素数和帧速率的信息，在接收侧，基于解码能力以及像素数和帧速率的信息，将与显示区域相对应的要解码的分区的数量容易地设置为可解码的最大值，以实现VR再现时的显示性能的提高(参考图12和图9)。
附图标记列表
10 发送和接收系统
100 服务发送系统
101 控制部
101a 用户操作部
102 360°图片捕获部
103 平面包装部
104 视频编码器
105 容器编码器
106 存储器
107 通信部
200 服务接收机
201 控制部
201a UI部
201b 传感器部
202 通信部
203 容器解码器
204 视频解码器
205 渲染器
206 发送请求部
207 显示部。

Claims (14)

1.一种发送设备，包括：
发送部，被配置为发送与宽视角图像的每个分割区域相对应的编码流，并且发送每个所述分割区域的像素数和帧速率的信息。
2.根据权利要求1所述的发送设备，其中，
所述宽视角图像包括通过切除和平面包装球形捕获图像的部分或全部而获得的投影图片。
3.根据权利要求1所述的发送设备，其中，
通过单独编码所述宽视角图像的每个所述分割区域，获得与所述宽视角图像的每个所述分割区域相对应的所述编码流。
4.根据权利要求1所述的发送设备，其中，
通过执行使用用于将所述宽视角图像的每个所述分割区域转换成图块的图块函数的编码，来获得与所述宽视角图像的每个所述分割区域相对应的所述编码流。
5.根据权利要求1所述的发送设备，其中，
所述发送部还通过在包括所述编码流的容器中包含所述分割区域的所述像素数和所述帧速率的信息来进行发送。
6.根据权利要求1所述的发送设备，其中，
所述发送部发送与所述宽视角图像的各个所述分割区域的全部相对应的编码流。
7.根据权利要求1所述的发送设备，其中，
所述发送部发送与所述宽视角图像的各个所述分割区域当中的所请求的分割区域相对应的编码流。
8.根据权利要求1所述的发送设备，其中，
与所述宽视角图像的每个所述分割区域相对应的所述编码流被分层编码。
9.一种发送方法，包括：
发送步骤，由发送部发送与宽视角图像的每个分割区域相对应的编码流，并发送每个所述分割区域的像素数和帧速率的信息。
10.一种接收设备，包括：
控制部，被配置为控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得所述显示区域的图像数据的处理、以及用于基于解码能力和与对应于所述宽视角图像的各个所述分割区域的所述编码流中的每一个相关联的像素数和帧速率的信息来计算所述预定数量的值的处理。
11.根据权利要求10所述的接收设备，其中，
所述控制部还控制用于请求分发服务器发送所述预定数量的分割区域的所述编码流并且从所述分发服务器接收所述预定数量的分割区域的所述编码流的处理。
12.根据权利要求10所述的接收设备，其中，
所述控制部还控制用于预测所述显示区域超出解码范围并切换所述解码范围的处理。
13.根据权利要求12所述的接收设备，其中，
所述控制部还控制用于预测所述显示区域超出所述解码范围并且将解码方法切换到时间部分解码以扩大所述解码范围的处理，并且
所述控制部还控制用于预测所述显示区域收敛到扩大之前的所述解码范围内并且将所述解码方法切换到时间全解码以减小所述解码范围的处理。
14.一种接收方法，包括：
控制步骤，由控制部控制用于从宽视角图像的各个分割区域当中解码与显示区域相对应的预定数量的分割区域的编码流以获得所述显示区域的图像数据的处理、以及用于基于解码能力和与对应于所述宽视角图像的各个所述分割区域的所述编码流中的每一个相关联的像素数和帧速率的信息来计算所述预定数量的值的处理。
CN201880075111.5A 2017-11-30 2018-11-16 发送设备、发送方法、接收设备和接收方法 Pending CN111373760A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-231266 2017-11-30
JP2017231266 2017-11-30
PCT/JP2018/042386 WO2019107175A1 (ja) 2017-11-30 2018-11-16 送信装置、送信方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
CN111373760A true CN111373760A (zh) 2020-07-03

Family

ID=66664862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075111.5A Pending CN111373760A (zh) 2017-11-30 2018-11-16 发送设备、发送方法、接收设备和接收方法

Country Status (4)

Country Link
US (1) US20200294188A1 (zh)
EP (1) EP3720136A4 (zh)
CN (1) CN111373760A (zh)
WO (1) WO2019107175A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11603210B2 (en) 2017-04-27 2023-03-14 Flyon Aerosystems Ltd. High traffic-rate aerial transportation system with low-footprint Vertiport
EP3739889A4 (en) * 2018-01-12 2020-11-25 Sony Corporation TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEIVING DEVICE AND RECEPTION PROCESS
US11363307B2 (en) * 2019-08-08 2022-06-14 Hfi Innovation Inc. Video coding with subpictures
CN114500846B (zh) * 2022-02-12 2024-04-02 北京蜂巢世纪科技有限公司 现场活动观看视角切换方法、装置、设备及可读存储介质
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1213934A (zh) * 1997-09-26 1999-04-14 松下电器产业株式会社 图像译码方法、图像译码装置和数据存储媒体
CA2400848A1 (en) * 2001-09-07 2003-03-07 At&T Corp. Personalized multimedia services using a mobile service platform
CN1436003A (zh) * 2002-01-29 2003-08-13 松下电器产业株式会社 图像处理装置及系统、解码装置、编码装置及编码方法
JP2004343512A (ja) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 映像再生方法および装置
CN101578872A (zh) * 2007-01-04 2009-11-11 汤姆森特许公司 用于以高级别语法表达的多视点信息的方法和装置
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
US20170013206A1 (en) * 2015-07-09 2017-01-12 Canon Kabushiki Kaisha Communication system, communication apparatus, communication method and program
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US20180027249A1 (en) * 2015-01-07 2018-01-25 Canon Kabushiki Kaisha Image decoding apparatus, image decoding method, and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
US9736507B2 (en) * 2013-11-13 2017-08-15 Lg Electronics Inc. Broadcast signal transmission method and apparatus for providing HDR broadcast service
JP2017500787A (ja) * 2013-11-21 2017-01-05 エルジー エレクトロニクス インコーポレイティド 信号送受信装置及び信号送受信方法
JP6440747B2 (ja) * 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
JP2016194784A (ja) 2015-03-31 2016-11-17 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
GB2550587B (en) * 2016-05-23 2020-05-20 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1213934A (zh) * 1997-09-26 1999-04-14 松下电器产业株式会社 图像译码方法、图像译码装置和数据存储媒体
CA2400848A1 (en) * 2001-09-07 2003-03-07 At&T Corp. Personalized multimedia services using a mobile service platform
US20030050062A1 (en) * 2001-09-07 2003-03-13 Chen Yih-Farn Robin Personalized multimedia services using a mobile service platform
CN1436003A (zh) * 2002-01-29 2003-08-13 松下电器产业株式会社 图像处理装置及系统、解码装置、编码装置及编码方法
JP2004343512A (ja) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 映像再生方法および装置
CN101578872A (zh) * 2007-01-04 2009-11-11 汤姆森特许公司 用于以高级别语法表达的多视点信息的方法和装置
US20100020884A1 (en) * 2007-01-04 2010-01-28 Thomson Licensing Methods and Apparatus for Multi-View Information Conveyed in High Level Syntax
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
US20160337706A1 (en) * 2014-02-18 2016-11-17 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
US20180027249A1 (en) * 2015-01-07 2018-01-25 Canon Kabushiki Kaisha Image decoding apparatus, image decoding method, and storage medium
US20170013206A1 (en) * 2015-07-09 2017-01-12 Canon Kabushiki Kaisha Communication system, communication apparatus, communication method and program
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video

Also Published As

Publication number Publication date
US20200294188A1 (en) 2020-09-17
EP3720136A1 (en) 2020-10-07
EP3720136A4 (en) 2020-10-07
WO2019107175A1 (ja) 2019-06-06

Similar Documents

Publication Publication Date Title
CN111373760A (zh) 发送设备、发送方法、接收设备和接收方法
CN109891906B (zh) 递送360°视频流的系统和方法
US10397666B2 (en) Determining a region of interest on the basis of a HEVC-tiled video stream
CN110024400A (zh) 感兴趣区的信号发送的系统和方法
US10999583B2 (en) Scalability of multi-directional video streaming
de la Fuente et al. Delay impact on MPEG OMAF’s tile-based viewport-dependent 360 video streaming
CN110999308B (zh) 发送装置、发送方法、接收装置和接收方法
EP3739889A1 (en) Transmission device, transmission method, reception device and reception method
US10992961B2 (en) High-level signaling for fisheye video data
CN113574903B (zh) 针对媒体内容中的后期绑定的方法和装置
KR101898822B1 (ko) 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍
EP4125275A1 (en) A method, an apparatus and a computer program product for video conferencing
CN111434120A (zh) 高效的沉浸式流传输
KR101941789B1 (ko) 뷰포트와 타일 크기에 기초한 가상 현실 비디오 전송
CN108271068B (zh) 一种基于流媒体技术的视频数据的处理方法及装置
CN111971955A (zh) 接收装置、接收方法、发送装置和发送方法
EP4391550A1 (en) Processing content for extended reality applications
WO2023153472A1 (ja) メディア処理装置、送信装置及び受信装置
WO2023153473A1 (ja) メディア処理装置、送信装置及び受信装置
JP2023117400A (ja) メディア処理装置、送信装置及び受信装置
JP2023117151A (ja) メディア処理装置及びユーザ端末
JP2023117157A (ja) メディア処理装置、送信装置及び受信装置
CN115023955A (zh) 用于视频流传输的方法、装置和计算机程序产品
KR20200078818A (ko) 하이브리드망 기반의 영상 전송 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200703

WD01 Invention patent application deemed withdrawn after publication