CN110651480A - 高级视频数据流提取和多分辨率视频传输 - Google Patents

高级视频数据流提取和多分辨率视频传输 Download PDF

Info

Publication number
CN110651480A
CN110651480A CN201880033197.5A CN201880033197A CN110651480A CN 110651480 A CN110651480 A CN 110651480A CN 201880033197 A CN201880033197 A CN 201880033197A CN 110651480 A CN110651480 A CN 110651480A
Authority
CN
China
Prior art keywords
slice
data stream
video data
video
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880033197.5A
Other languages
English (en)
Other versions
CN110651480B (zh
Inventor
罗伯特·斯库宾
科内留斯·赫尔奇
本杰明·布鲁斯
托马斯·斯切尔
雅各·桑切斯德拉弗恩特
卡尔斯滕·祖灵
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Intellectual Property Licensing Co.,Ltd.
GE Video Compression LLC
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to CN202211352844.3A priority Critical patent/CN116074501A/zh
Priority to CN202211365637.1A priority patent/CN115955560A/zh
Priority to CN202211352845.8A priority patent/CN115955559A/zh
Priority to CN202211352896.0A priority patent/CN115883824A/zh
Priority to CN202211353005.3A priority patent/CN116074502A/zh
Publication of CN110651480A publication Critical patent/CN110651480A/zh
Application granted granted Critical
Publication of CN110651480B publication Critical patent/CN110651480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

提出了一种更有效的视频数据流提取技术，例如，该技术能够更有效地处理接收者未知类型的视频内容，该视频内容具有例如在视区到图片平面的投影等方面有所不同的不同类型的视频，或者，该技术减少了提取过程的复杂度。此外，描述了一种技术，利用该技术可以将视频场景的不同场景分辨率的版本的并置更有效地提供给接收者。

Description

高级视频数据流提取和多分辨率视频传输
技术领域
本申请涉及视频数据流提取，即，从已经适当准备的视频数据流中提取缩小视频数据流的方式，以使得缩小视频数据流中编码有空间较小的视频，空间较小的视频与编码在原始视频数据流中的视频的空间部分相对应。本申请还涉及一个场景的不同视频版本的传输，这些版本在场景分辨率或保真度上是不同的。
背景技术
HEVC标准[1]定义了一种混合视频编解码器，该混合视频编解码器允许定义图片的矩形图块子阵列，视频编解码器针对这些矩形图块子阵列遵循一些编码限制，从而允许容易地从整个视频数据流中提取较小的或缩小的视频数据流，即，无需重新量化，也无需重新进行任何运动补偿。如[2]中概述的那样，设想将其添加到HEVC标准语法中，以允许指导视频数据流接收者的提取过程。
但是，仍然存在使该提取过程更有效的需求。
可能应用视频数据提取的应用领域涉及一个视频场景的、场景分辨率互不相同的多个版本的传输或提供。对于实现这种对分辨率互不相同的版本的传输或提供，一种有效方式将是有利的。
发明内容
因此，本发明的第一目的是提供一种用于视频数据流提取的更有效的技术，例如，该技术能够更有效地处理接收者未知类型的视频内容，该视频内容具有例如在视区到图片平面的投影等方面有所不同的不同类型的视频，或者，该技术减少了提取过程的复杂度。该目的通过根据第一方面的本申请的独立权利要求的主题来实现。
特别地，根据本申请的第一方面，通过向视频数据流内的提取信息提供信息，使得视频数据流提取更加有效，所提供的该信息用信号通知以下内容的多个选项之一，或者显式地用信号通知以下内容：如何修改可提取的空间区段内每个切片的切片部分的切片地址，以便在缩小视频数据流内指示相应切片在缩小图片区域中所处的位置。换句话说，第二信息向视频数据流提取站点提供对提取过程进行指导的信息，该指导针对基于原始视频的空间区段来合成缩小(提取)视频数据流的空间较小视频的图片，因此，减轻了提取过程的处理负担，或使其适应于视频数据流中传送的场景类型的较大可变性。关于后一个问题，例如，第二信息可以处理各种情况，在这些情况下，空间较小视频的图片有利地不应仅仅是以下操作的结果：仅将空间区段的可能分离部分推放到一起，并维持空间区段的这些部分在原始视频中的相对布置(或编码顺序方面的相对顺序)不变。例如，在由沿原始图片的周边与不同部分相邻的区带组成的空间区段中(该原始图片在全景场景到图片平面投影的接缝界面中显示场景)，该空间区段的区带在所提取的流的较小图片中的布置应该与图片类型为非全景类型的情况不同，但是接收者甚至可能不知道该类型。另外地或单独地，修改所提取的切片部分的切片地址是一项繁琐的任务，可以通过以例如替代的切片地址的形式显式发送有关如何进行修改的信息，来减轻此任务。
本发明的另一个目的是提供一种技术，利用该技术可以将视频场景的不同场景分辨率的版本的并置更有效地提供给接收者。
该目的通过本申请的第二方面的独立权利要求的主题来实现。
特别地，根据本申请的第二方面，通过以下方式更有效地提供视频场景的不同场景分辨率的版本的并置：汇总编码在一个视频数据流中的一个视频中的这些版本，并向该视频数据流提供信号，该信号指示视频的图片在图片的不同空间部分处以不同分辨率显示同一场景内容。因此，视频数据流的接收者能够基于该信号来识别由视频数据流传送的视频内容是否属于不同场景分辨率的场景内容的多个版本的空间并排集合。根据接收站点的能力不同，可以抑制对视频数据流进行解码的任何尝试，或者对视频数据流的处理可以适应于对该信号的分析。
附图说明
上述方面的实施例的有利实现是从属权利要求的主题。下面结合附图描述本申请的优选实施例，其中：
图1示出了具有调整后的片地址的MCTS提取的示意图；
图2示出了说明根据本申请第一方面实施例的视频数据流提取处理方式以及参与的过程和设备的混合示意图和框图；
图3示出了根据示例的语法示例，该语法示例继承了提取信息的第二信息的示例，其中第二信息显式地指示如何修改切片地址第二信息显式地指示如何修改切片地址；
图4示出了说明形成期望的图片子区段的不相邻的MCTS的示例的示意图；
图5示出了根据实施例的包括第二信息的特定语法示例的示例，其中第二信息指示了用于在提取过程中修改切片地址的若干可能选项中的某个选项；
图6示出了说明多分辨率360°帧包装示例的示意图；
图7示出了说明包含混合分辨率表示的示例性MCTS的提取的示意图；以及
图8示出了说明根据本申请第二方面的实施例向用户以及参与设备提供多分辨率场景的有效方式以及视频流和过程的混合示意图和框图。
具体实施方式
下面从对本申请的第一方面的描述开始进行描述，然后继续进行对本申请的第二方面的描述。更准确而言，关于本申请的第一方面，本申请的描述从对基本技术问题的简要概述开始，以引出下文描述的第一方面的实施例的优点和基本技术。关于第二方面，以相同的方式选择描述顺序。
在全景或360视频应用中，通常只需要向用户展示图片平面的一部分。诸如运动约束图块集(Motion Constrained Tile Sets，MCTS)之类的某些编解码器工具允许提取与压缩域中所需图片子部分相对应的编码数据，并形成可以由传统解码器设备解码的符合标准的比特流，该传统解码器设备不支持从完整图片比特流中解码MCTS，并且与完整图片解码所需的解码器相比可以表征为较低的层级。
作为示例和参考，HEVC编解码器中涉及的信令可以在以下参考文献中找到：
·参考文献[1]，其在第D.2.29和E.2.29节中指定了时间MCTS SEI消息，该消息允许编码器用信号通知给定的矩形列表(该列表中的每个矩形均由其左上角和右下角的图块索引定义)属于MCTS。
·参考文献[2]，其提供了诸如参数集和嵌套SEI消息之类的其他信息，这些信息可以简化将MCTS提取为符合标准的HEVC比特流的工作，并将被添加到[1]的下一个版本中。
从[1]和[2]中可以看出，提取过程包括调整在相关切片的切片报头中用信号通知的切片地址，该调整在提取器设备中执行。
图1示出了MCTS提取的示例。图1示出了已经编码在视频数据流(即HEVC视频数据流)中的图片。图片100被细分为CTB，即编码树块，图片100以该编码树块为单位被编码。在图1的示例中，图片100被细分为16×6个CTB，但是，CTB的行数和CTB的列数当然不是关键的。附图标记102代表性地指示这种CTB。以这些CTB 102为单位，图片100还被细分为图块，即m×n个图块的阵列，图1示出了m＝8和n＝4的示例性情况。在每个图块中，参考符号104已被用于代表性地指示一个这样的图块。因此，每个图块是CTB 102的矩形簇或子阵列。仅出于说明的目的，图1示出了图块104可以具有不同的尺寸，或者换句话说，图块的行可以分别具有彼此不同的高度并且图块的列可以具有彼此不同的宽度。
如本领域中已知的，图块的细分(即，将图片100细分为图块104)影响编码顺序106，图片100的图片内容沿着该编码顺序106被编码在视频数据流中。具体地，沿着图块的顺序，即以逐图块行的光栅扫描顺序，一个接一个地遍历图块104。换句话说，首先按照编码顺序106对一个图块104内的所有CTB 102进行编码或遍历，然后编码顺序前进到下一个图块104。在每个图块102内，同样使用光栅扫描顺序(即，使用逐行光栅扫描顺序)对CTB进行编码。沿着编码顺序106，图片100在视频数据流中的编码被细分以产生所谓的切片部分。换句话说，由编码顺序106的连续部分所遍历的、图片100的切片作为单元被编码到视频数据流中以形成切片部分。在图1中假设每个图块位于单个切片(或者，用HEVC的术语来表达是切片片段)内，但这仅是示例，可以采用不同的方式。典型地，一个切片108(或者，用HEVC的术语来表达是一个切片片段)在图1中代表性地由附图标记108指示，并且其与对应的图块104重合或相符。
就将图片100编码在视频数据流中而言，应该注意的是，这种编码利用空间预测、时间预测、用于熵编码的上下文推导、用于时间预测的运动补偿、以及预测残差的变换和/或预测残差的量化。编码顺序106不仅影响切片，而且还为空间预测和/或上下文推导定义了参考基础的可用性：仅在编码顺序106中处于前面的那些相邻部分是可用的。图块不仅影响编码顺序106，而且限制了图片100内的编码相互依赖性：例如，空间预测和/或上下文推导被限制为仅参考当前图块104内的部分。在空间预测和/或上下文推导中不参考当前图块之外的部分。
图1目前示出了图片100的另一特定区域，即所谓的MCTS，也就是图片100的图片区域内的空间区段110，能够针对该特定区域来提取图片100所属的视频。在图10的右侧示出了区段110的放大示意。图1的MCTS 110由一组图块104组成。位于区段110中的图块均被提供了名称，即a、b、c和d。空间区段110可提取这一事实涉及对视频到视频数据流的编码的进一步限制。具体地，图1所示的对图片100的视频图片划分被视频的其他图片采用，并且对于该图片序列，以一种方式对图块a、b、c和d内的图片内容进行编码，以使得即使在从一个图片到另一个图片进行参考时，编码相互依赖性仍保留在空间区段110内。换句话说，例如，以保持在空间区段110的区域内的方式，来对时间预测和时间上下文推导进行限制。
在将图片100所属的视频编码在视频数据流中时，一个令人关注的地方是以下事实：切片108被提供了切片地址，该切片地址指示切片在编码图片区域中的编码开始处，即其位置。切片地址沿编码顺序106分配。例如，切片地址指示各个切片的编码开始处的、沿着编码顺序106的CTB次序。例如，在分别对视频和图片100进行编码的数据流中，携带与图块a一致的切片的切片部分将具有切片地址7，因为按照编码顺序106的第七个CTB代表图块a中的按照编码顺序106的第一个CTB。以类似的方式，携带与图块b、c和d有关的切片的切片部分内的切片地址将分别为9、29和33。
图1的右侧指示缩小或提取的视频数据流的接收者对与图块a、b、c和d相对应的两个切片分配的切片地址。换句话说，图1在右侧使用数字0、2、4和8示出了由缩小或提取的视频数据流的接收者分配的切片地址，该缩小或提取的视频数据流是通过针对空间区段110的提取(即，通过MCTS提取)从表示包含整个图片100的视频的原始视频数据流中获得的。在缩小或提取的视频数据流中，编码有图块a、b、c和d的切片100的切片部分就像在原始视频数据流(这些切片部分在提取过程从该原始视频数据流中取出)中那样按照编码顺序106排列。具体地，该接收者以从缩小或提取的视频数据流中的切片部分的序列重构的CTB的形式，沿着编码顺序112放置图片内容(即涉及图块a、b、c和d的切片)，编码顺序112遍历空间区段110的方式与编码顺序106遍历整个图片100的方式相同，即以光栅扫描顺序逐个图块地遍历空间区段110，并且在继续遍历下一个图块之前同样沿着光栅扫描顺序遍历每个图块内的CTB。图块a、b、c和d的相对位置维持不变。也就是说，如图1所示，右侧的空间区段110保持图块a、b、c和d在图片100中出现时的相对位置。作为通过使用编码顺序112确定地址的结果，与图块a、b、c和d相对应的切片的切片地址分别是0、2、4和8。因此，接收者能够基于缩小或提取的视频数据流来重构较小的视频，该缩小或提取的视频数据流作为独立图片显示如右侧所示的空间区段110。
总结到目前为止对图1的描述，图1通过使用每个切片108左上角的数字，示出或说明了在提取之后对切片地址和CTB单元进行的调整。为了进行提取，提取站点或提取器设备需要针对指示CTB尺寸(即最大CTB尺寸)114、以及图片100中的图块列和图块行的数量和尺寸的参数，来分析原始视频数据流。此外，检查嵌套的MCTS特定序列和图片参数集，以便从中推导图块的输出布置。在图1中，空间区段110内的图块a、b、c和d保持其相对布置。总之，要由提取器设备按照HEVC数据流的MCTS指令执行的上述分析和检查需要专用且复杂的逻辑，以从上面列出的参数中得出重构的切片108的切片地址。这种专用且复杂的逻辑又会带来额外的实现成本以及运行时间的劣势。
因此，以下描述的实施例使用视频数据流中的附加信令以及提取信息生成侧和提取侧的相应处理步骤，使得能够通过提供专门用于提取目的的易于获得的信息，来减轻提取器设备的刚刚说明的派生的总体处理负担。附加地或替代地，以下描述的一些实施例使用附加信令以便以某种方式引导提取过程，从而实现对不同类型的视频内容的更有效处理。
首先，基于图2说明一般概念。然后，参与图2所示的整个过程的各个实体的操作模式的这种一般描述根据下面进一步的不同实施例以不同的方式进一步进行。应当注意，尽管为了便于理解而在一个附图中一起描述，但是其中示出的实体和框属于独立设备，每个独立设备单独地继承提供图2中整体上概述的优点的特征。更准确地说，图2示出了：生成视频数据流的生成过程，为这种视频数据流提供提取信息的过程，提取过程本身，然后是对提取的或缩小的视频数据流进行解码的过程，以及参与设备，其中这些设备的操作模式或各个任务和步骤的执行是根据当前描述的实施例的。根据首先参考图2描述的具体实现示例，并且如下面进一步概述的，减少了与提取器设备的提取任务相关联的处理开销。根据另外的实施例，附加地或替代地减轻了原始视频内的各种不同类型的视频内容的处理。
在图2的顶部，示出了由附图标记120指示的原始视频。该视频120由图片的序列组成，其中的一个图片用附图标记100指示，因为它起着与图1中的图片100相同的作用，即，它示出了稍后将通过视频数据流提取来从中切块空间区段110的图片区域。然而，应理解，以上关于图1解释的图块细分不需要由图2所示的过程所基于的视频编码使用，应理解的是，图块和CTB代表了视频编码中的语义实体，就图2的实施例而言，这些仅是可选的。
图2示出了在视频编码核122中对视频102进行视频编码。由视频编码核122执行的视频编码使用例如混合视频编码将视频120转换为视频数据流124。即，视频编码核122使用例如基于块的预测编码，其使用几种受支持的预测模式中的一种来对视频120的图片的各个图片块进行编码，并对预测残差进行编码。预测模式可以包括例如空间预测和时间预测。时间预测可以涉及运动补偿(即确定运动场)并与数据流124一起传输该运动场，该运动场表现为针对时间预测的块的运动矢量。预测残差可以被变换编码。即，可以将一些频谱分解应用于预测残差，并且可以使用例如熵编码对所得频谱系数进行量化并且将其无损编码到数据流124中。熵编码又可以使用上下文适应性，即可以确定上下文，其中该上下文推导可以取决于空间邻域和/或时间邻域。如上所述，编码可以基于编码顺序106，该编码顺序106对编码依赖性具有以下限制，即，仅已经按照编码顺序106遍历的视频部分可以被用作对视频120的当前部分进行编码的基础或参考。编码顺序106逐个图片地遍历视频120，但是不必按图片的呈现时间顺序遍历。在诸如图片100之类的图片中，视频编码核120对通过视频编码获得的编码数据进行细分，从而将图片100细分为切片108，每个切片与视频数据流124的相应切片部分126相对应。在数据流124内，多个切片部分126以按照编码顺序106在图片100中遍历对应的切片108的顺序形成彼此跟随的切片部分的序列。
同样如图2所示，视频编码核122向每个切片部分126提供切片地址，或将切片地址编码到每个切片部分126中。出于说明目的，在图2中以大写字母表示切片地址。如关于图1所描述的，切片地址可以以一些适当的单位(例如以一维地沿着编码顺序106的CTB为单位)来确定，但是备选地，切片地址可以相对于由视频120的图片所占据的图片区域内的某个预定点(例如图片100的左上角)被不同地确定。
这样，视频编码核122接收视频120并输出视频数据流124。
如上面已经概述的，就空间区段110而言，根据图2生成的视频数据流将是能够提取的，相应地，视频编码核120适当地对视频编码过程进行了自适应。为此，视频编码核122对帧间编码依赖关系进行限制，以便以如下方式将空间区段110内的部分编码为视频数据流124，即，空间区段110内的部分不会通过例如空间预测、时间预测或上下文推导而依赖于区段110外部的部分。切片108不跨过区段110的边界。因此，每个切片108完全在区段110内或完全在区段110外。应当注意，视频编码核122不仅可以遵守一个空间区段110，而且可以遵守几个空间区段。这些空间区段可以彼此相交(即，它们可以部分重叠)，或者，一个空间区段可以完全位于另一空间区段内。由于这些措施，如稍后将更详细解释的，可以从视频数据流124中提取比视频120的图片小的图片(即，仅显示空间区段110内的内容的图片)的缩小或提取的视频数据流，而不需要重新编码，即，不需要再次执行诸如运动补偿、量化和/或熵编码之类的复杂任务。
视频数据流124由视频数据流生成器128接收。具体地，根据图2所示的实施例，视频数据流生成器128包括接收接口130，该接收接口130从视频编码核122接收准备好的视频数据流124。应当注意，根据替代方案，视频编码核122可以被包括在视频数据流生成器128中，从而代替接口130。
视频数据流生成器128为视频数据流124提供提取信息132。在图2中，由视频数据流生成器128输出的结果视频数据流使用附图标记124’指示。对于由附图标记134指示的、图2所示的提取器设备，提取信息132指示如何从视频数据流124’提取缩小或提取的视频数据流136，该缩小或提取的视频数据流136中编码有与空间区段110相对应的空间较小的视频138。提取信息132包括第一信息140和第二信息142，第一信息140定义由图片100发送的图片区域内的空间区段110，第二信息142用信号通知关于如何修改落入空间区段110中的每个切片108的切片部分126的切片地址的多个选项中的一个，以在缩小的视频数据流136内指示各个切片在视频138的图片144的减小了的图片区域中所在的位置。
换句话说，视频数据流生成器128仅向视频数据流124附加(即添加)一些信息(即提取信息132)以得出视频数据流124’。此提取信息132旨在指导要接收视频数据流124’的提取器设备134，以便其从该视频数据流124’中具体针对区段110来提取缩小或提取的视频数据流136。第一信息140定义空间区段110，即其分别在视频120和图片100的图片区域内的位置，并且可能定义图片144的图片区域的尺寸和形状。如图2所示，该区段110不必一定是矩形的、凸起的或不必是连接区域。例如，在图2的示例中，区段110由两个不相交的部分区域110a和110b组成。另外，第一信息140可以包含关于提取器设备134应如何分别修改或替换数据流124或124’的一些编码参数或一部分的提示，例如，调整图片尺寸参数以反映通过提取操作从图片100变为图片144时在图片区域上发生的变化。特别地，第一信息140可以包括针对由提取器设备134在提取过程中应用的视频数据流124’的参数集的替换或修改指令，以便相应地修改或替换包含在视频数据流124’中并被接收到缩小或提取的视频数据流136中的对应参数集。
换句话说，提取器设备134接收视频数据流124’，从视频数据流124’中读取提取信息132，并基于第一信息140从该提取信息中获得空间区段110(即其在视频120的图片区域内的位置和地点)。因此，基于第一信息140，提取器设备130识别一些切片部分126，这些切片部分126中编码有落入区段110内的切片，并且因此将被接收到缩小或提取的视频数据流136中，而与区段110外部的切片有关的切片部分126将被提取器设备134丢弃。另外，提取器设备134可以使用信息140，以便如刚刚概述的那样，在缩小或提取的视频数据流136中采用数据流124’内的一个或多个参数集之前或在采用过程中，正确地设置(即通过修改或替代)该一个或多个参数集。因此，一个或多个参数集可以与图片尺寸参数有关，如果区段110如图2中示例性描绘的那样不是连接区域，该图片尺寸参数可以根据信息140被设置为与区段110的面积的大小之和(即区段110的所有部分110a和110b的面积之和)相对应的大小。切片部分的这种对区段110敏感的丢弃以及参数集调整将视频数据流124’限定到区段110。此外，提取器设备134修改缩小或提取的视频数据流136内的切片部分126的切片地址。在图2中使用篱笆(hedging)示出了这些切片。即，有阴影线的切片部分126是切片落入区段110中并因此被分别提取或接收的这些部分。
应当注意，不仅在以下情况下可以设想信息142：将信息142添加到完整的视频数据流124’，其中包括的切片部分的序列包括了编码有位于空间区段内的切片的切片部分、以及编码有位于空间区段外的切片的切片部分。而是，包含信息142的数据流可能已经被剥离，使得该视频数据流所包括的切片部分的序列包括了编码有位于空间区段内的切片的切片部分，但是不包括编码有位于空间区段外的切片的切片部分。
在下文中，给出了用于将第二信息142嵌入数据流124’中的不同示例及其处理。通常，第二信息142在数据流124’内作为信号传达，其显式地用信号通知提示，或以多个选项之一的形式用信号通知提示，该提示是关于如何执行切片地址修改的提示。换句话说，第二信息142以一个或多个语法元素的形式传达，其可能的值例如可以显式地用信号通知切片地址替换值，或者可以一起允许区分多种可能性的信号，以将视频数据流136中每个切片部分126的切片地址与该数据流中一个或多个语法元素的选择的一个的设置相关联。但是，应注意，刚才提到的包含在第二信息142中的一个或多个语法元素的有意义的或允许的设置的数量分别取决于视频120已被编码为视频数据流124的方式以及对区段110的选择。例如，想象一下，区段110是图片100中的矩形连接区域，并且视频编码核120将对该区段执行编码，在编码时，就区段110的内部而言不进一步限制编码。由两个或更多个区域110a和110b组成的区段110将不适用。即，将仅抑制对区段110外部的依赖性。在这种情况下，区段110必须未经修改地被映射到视频138的图片144的图片区域上，即，不扰乱区段110的任何子区域的位置，并且通过将区段110的内部内容照原样放置在图片144的图片区域中，可以唯一地确定地址α和β向携带构成区段110的切片的切片部分的分配。在这种情况下，由视频数据流生成器128生成的信息142的设置将是唯一的，即，视频数据流生成器128除了以这种方式设置信息142之外别无选择，尽管从可用的编码角度来看，信息142将具有其他信号选项。然而，即使在这种无变化的情况下，显式指示例如唯一切片地址修改的信号142也具有优势，因为提取器设备134自身不必执行上述确定从流124’采用的切片部分126的切片地址α和β的繁琐任务。相反，它简单地从信息142获知如何修改切片部分126的切片地址。
取决于下面进一步概述的针对信息142的性质的不同实施例，提取器设备134或者保留或维持切片部分126从流124’被接收到缩小或提取的流136中的顺序，或者以由信息142定义的方式修改该顺序。在任何情况下，提取器设备134输出的缩小或提取的数据流136都可以由普通解码器146解码。解码器146接收提取的视频数据流136并从其中解码视频138，视频138的图片134小于视频120的图片(例如图片100)，并且其图片区域通过放置从视频数据流136内的切片部分126解码的切片108来填充，这种放置以由视频数据流136内的切片部分126内包含的切片地址α和β定义的方式进行。
也就是说，到目前为止，已经以某种方式描述了图2，使得其描述适合于下面将更详细描述的针对第二信息142的确切性质的各种实施例。
现在描述的实施例使用了切片地址的显式信号，该切片地址是提取器设备134在修改从流142接收到流136中的切片部分126的切片地址时应使用的地址。在下文中描述的实施例使用信号142，该信号142允许向提取器设备134发信号通知关于如何修改切片地址的若干允许选项之一。作为已经编码的部分110的结果，对选项的允许例如以限制区段110内部的编码相互依赖性以便不跨越区段110的空间边界的方式，如图1所示，区段110的空间边界又将区段110分成两个或多个区域，例如110a和110c或图块a、b、c、d。后面的实施例可能仍涉及提取器设备134自身执行计算地址的繁琐任务，但是允许有效地处理原始视频120内的不同类型的图片内容，从而在接收端根据相应的提取或缩小的视频数据流136产生有意义的视频138。
即，如以上关于图1所概述的，根据本申请的实施例，通过第二信息142显式地传输关于如何在提取处理中修改地址的信息，从而减轻了在提取器设备134中确定切片地址的繁琐任务。下面列出了可用于此目的的语法的特定示例。
特别地，信息142可以通过以在比特流124’中携带切片部分126的相同顺序包括流124’中包含的切片地址替代值的列表，来用于显式地用信号通知要在所提取的MCTS的切片标头中使用的新切片地址。例如，参见图1中的示例。这里，信息142将是遵循在比特流中的切片地址124’的顺序的、切片地址的显式信令。再一次，可以在提取过程中接收切片108和对应的切片部分126，以使得所提取的视频数据流136中的顺序与这些切片部分126包含在视频数据流124’中的顺序相对应。根据随后的语法示例，信息142以从第二切片或切片部分126开始的方式显式地用信号通知切片地址。在图1的情况下，该显式信令将对应于指示或用新号通知列表{2、4、8}的第二信息142。在图3的语法示例中呈现了用于该实施例的示例性语法，该语法示例通过突出显示方式示出了除了从[2]获知的MCTS提取信息SEI之外相应增加的显式信令142。
下面列出了语义。
num_associated_slices_minus2[i]加2表示包含mcts标识符等于列表mcts_identifier[i][j]中的任何值的MCTS的切片数。num_extraction_info_sets_minus1[i]的值应在0到232-2(含)的范围内。
output_slice_address[i][j]以比特流顺序来标识第j个切片的切片地址，该第j个切片属于mcts标识符等于列表mcts_identifier[i][j]中的任何值的MCTS。output_slice_address[i][j]的值应在0到232-2(含)的范围内。
应当注意，可以通过数据流中的一个标志来控制MCTS提取信息SEI中的信息142的存在或除了MTCS相关信息140之外的信息142的存在。该标志可以被命名为slice_reordering_enabled_flag等。如果设置了该标志，则除了信息140之外还存在诸如num_associated_slices_minus2和output_slice_address之类的信息142，如果未设置该标志，则不存在信息142，并且切片的相互位置布置在提取过程中被遵守或以其他方式处理。
此外，应注意，使用H.265/HEVC的术语，图3中使用的语法元素名称中的“_segment_”部分可以另外替换为“_segment_address_”，但是技术内容保持不变。
甚至还要注意，尽管num_associated_slices_minus2建议信息142以整数形式指示区段110中的切片数，该整数以指示该切片数与2之差的形式表示该切片数，但是也可以在数据流中直接用信号通知区段110内的切片数，或者采用与1之差的形式进行通知。对于后一种选择，例如，可以将num_associated_slices_minus1用作语法元素名称。注意，例如，任何区段110内的切片数也可以被允许为一个。
除了在[2]中到目前为止预期的MCTS提取过程外，其他处理步骤也与借助于如图3所示的信息142的显式信号通知相关联。这些其他处理步骤有助于在提取过程中由提取器设备134执行切片地址的导出，并且该提取过程的以下概要通过下划线指出了这种帮助发生的位置：
令比特流inBitstream、目标MCTS标识符mctsIdTarget、目标MCTS提取信息集标识符mctsEISIdTarget、以及目标最高TemporalId值mctsTIdTarget是子比特流MCTS提取过程的输入。
子比特流MCTS提取过程的输出是子比特流outBitstream。
对输出比特流的比特流一致性的要求是，作为本节中关于比特流指定的过程的输出的、任何输出子比特流应是一致的比特流。
输出子比特流以如下方式得出：
-比特流outBitstream被设置为与比特流inBitstream相同。
-从outBitstream中移除TemporalId大于mctsTIdTarget的所有NAL单元。
-对于outBitstream中的每个访问单元的每个剩余VCL NAL，以如下方式调整切片片段头：
-对于第一个VCL NAL单元，将first_slice_segment_in_pic_flag的值设置为1，否则设置为0。
-根据列表output_slice_address[i][j]，设置从比特流顺序中的第二个开始的非第一NAL单元(即，切片)的slice_segment_address的值。
刚刚关于图1至图3描述的实施例变型通过使用信息142作为切片地址的显式信号，减轻了要由提取器设备134执行的切片地址确定以及提取处理的繁琐任务。根据图3的特定示例，信息包含替代的切片地址143，其仅针对切片部分顺序中的每个第二个和随后的切片部分126，并在将与区段110内的切片108有关的切片部分126从数据流124’接收到数据流136时保持切片顺序不变。切片地址替代值使用顺序112分别与视频138中图片144的图片区域中的一维切片地址分配相关，并且与沿着顺序112仅铺设图片144的图片区域不冲突，上述铺设使用从被接收的切片部分序列中获得的切片108的序列。应当注意，并且还将在下面进一步提及，显式信号还可以应用于第一个切片地址，即，应用于第一个切片部分126的切片地址。即使对于后者，替代值143也可能包含在信息142中。信息142的这种信号还可以使得能够将与第一个切片部分126相对应的切片108放置在除编码顺序112的起始位置(其可以是如图1所示的图片左上角)之外的位置处，该第一个切片部分126是按照流124’内的顺序在携带有区段110内的切片108的切片部分126中的第一个切片部分。如果存在或允许这种可能性，则切片地址的显式信号还可以用于在重新布置区段区域110a和110b时提供更大的自由度。例如，在图3中描绘的修改示例中，信息142还显式地用信号通知数据流136内的第一个切片部分126的切片地址替代值143(即在图2的情况下为α和β)，然后信号142将使得能够区分区段区域110a和110b在视频138的输出图片内的两种允许的或可用的放置方式。即，一种是区段区域110a被放置在图片的左侧，从而使与数据流136内最先传输的切片部分126相对应的切片108保留在编码顺序112的起始位置处，并且与(就视频数据流124而言)视频120的图片100中的切片顺序相比维持切片108之间的顺序不变。另一种是区段区域120a被放置在图片144的右侧，从而改变按照编码顺序112遍历的、图片144内的切片108的顺序，这种改变是相对于按照编码顺序106在视频数据流124内的原始视频中遍历这些切片的顺序而言的。信号142将显式地用信号通知提取器设备134在修改中使用的切片地址以作为切片地址143的列表，该切片地址143的列表被排序或分配给视频数据流124’内的切片部分126。也就是说，信息142将针对区段110内的每个切片以这些切片108将以编码顺序106遍历的顺序，依序指示切片地址，因此，该显式信号可以产生以下置换，即，区段110的区段区域110a和110b被顺序112遍历的顺序与它们被原始编码顺序106遍历的顺序相比发生了改变。从流124’接收到流136中的切片部分126将由提取器设备134相应地重新排序，即，以便符合所提取的切片部分126的切片108被顺序112依序遍历的顺序。根据缩小或提取的视频数据流136的标准一致性，从视频数据流124’接收的切片部分126应该沿着编码顺序112严格地彼此跟随，即，应该具有在提取过程中由提取器设备134修改的单调增加的切片地址α和β，由此，标准一致性将得到维持。因此，提取器设备134将修改所接收的切片部分126之间的顺序，以便根据沿着编码顺序112被编码到其中的切片108的顺序，来对所接收的切片部分126进行排序。
根据图2的描述的另一变型，利用了后一方面，即重新布置所接收的切片部分126的切片108的可能性。在此，第二信息142用信号通知对切片部分126之间的顺序的重新布置，这些切片部分126中编码有位于区段110内的任何切片108。该当前描述的实施例的一种可能性是，以导致切片部分的重新布置的方式显式地用信号通知切片地址替代值143。但是，信息142可以以不同的方式用信号通知提取或缩少的视频数据流136内的切片部分126的重新布置。本实施例最终在解码器146中严格沿着编码顺序112(这意味着例如使用图块光栅扫描顺序)放置从切片部分126重建的重建切片，从而填充图片144的图片区域。已经以某种方式选择了由信号142通知的重新布置方式，以便重新布置或改变所提取或接收的切片部分126之间的顺序，使得解码器146的放置处理可能导致诸如区域110a和110b之类的区段区域与不重新排列切片部分相比更改其顺序。如果由信息142通知的重新布置方式保留了原来在数据流124’中的顺序，则区段区域110a和110b可以保持它们在图片110的原始图片区域中的相对位置。
为了解释当前的变型，请参考图4。图4示出了原始视频的图片110和所提取的视频的图片144的图片区域。此外，图4示出了示例性的图块划分(即划分为图块104)，并且示出了示例性的提取区段110，该提取区段110包括两个不相交的区段区域或区带110a和110b，即与图片110的相对的两个边150r和1501相邻的区段区域110a和110b，在这里，这些区段区域在它们的位置上与边150r和1501的提取方向一致(即沿着垂直方向)。特别地，图4示出，图片110的图片内容以及因此图片110所属的视频为特定类型(即全景视频)，使得在将3D场景投影到图片110的图片区域时边150r和1501构成了一个场景。在图片110下方，图4显示了如何将区段110a和110b放置在所提取视频的图片144的输出图片区域内的两个选项。图4中还使用了图块名称，以说明这两个选项。这两个选项源于以下事实：视频210已经以某种方式被编码到流124中，使得对于两个区域110a和110b中的每一个，编码独立于外部而发生。应当注意，除了图4所示的两个允许的选项之外，在以下情况下可能还有两个另外的选择：区带110a和110b中的每个区带在每个区带中细分为两个图块，并且视频被独立于外部地编码到流124中，即，图4中的每个图块本身都是可提取的部分或者是(相对于空间和时间相互依赖性)独立编码的部分。然后，这两个选项对应于在区段110中以不同的方式打乱图块a、b、c和d。
再一次地，现在参考图4描述的实施例旨在使第二信息142改变以下顺序：在提取设备134的提取过程中，将切片108或携带切片108的数据流124’的NAL单元从数据流124’传送到、采用到或写入到提取或缩小的视频数据流136中的顺序。图4示出了期望的图片子区段110由图片110所跨的图片平面内的不相邻的图块或区段区域110a和110b组成的情况。图片110的该完整的编码图片平面在图4的顶部示出，其具有图块边界，并具有期望的MCTS110，该MCTS 110由包括图块a、b、c和d的两个矩形110a和110b组成。就场景内容而言，或者由于图4中所示的视频内容是全景视频内容的事实，当图片110借助在此示例性显示的等矩形投影覆盖了相机周围360°的环境时，期望的MCTS 110环绕左右边界150r和1501。换句话说，由于图4的图示情况(即图片内容是全景内容)，因此，在与在输出图片144的图片区域内放置区段区域110a和110b有关的选项1和2中，第二个选项实际上将更具有意义。但是，如果图片内容是其他类型的图片(例如非全景图片)，情况可能会有所不同。
换句话说，图块A、B、C和D在完整图片比特流124’中的顺序是{a，b，c，d}。如果该顺序被简单地转移到提取或缩小的视频数据流136中或输出图片144中相应图块的放置中的编码顺序上，则在上述示例性情况下，如图4的左下方所示，提取过程自身将不会产生输出比特流136内的期望的数据布置。如图4的右下方所示，示出了优选的布置{b，a，d，c}，其得出视频比特流136，该视频比特流136产生用于诸如解码器146之类的传统没备的、图片144的图片平面上的连续图片内容。这样的传统设备146可能不具有在解码之后作为后处理步骤来在像素域中重新布置输出图片144的子图片区域的能力(即渲染)，并且即使复杂的设备也偏好于避免后处理的工作。
因此，根据以上关于图4得出的示例，第二信息142为视频数据流产生器128的编码侧分别提供用于在若干选择或选项中用信号通知优选顺序的手段，视频数据流124’内的、分别由例如一个或多个图块的集合组成的区段区域110a和110b应按照该优选顺序，来布置在提取或缩小的视频数据流136中或由其图片144覆盖的图片区域中。根据图5中呈现的特定语法示例，第二信息142包括列表，该列表被编码到数据流124’中，并指示落入区段110内的每个切片108在所提取的比特流内的位置，在指示时按照原始或输入比特流的顺序，即按照它们在比特流124’中出现的顺序。例如，在图4的示例中，优选的选项2最终将成为读取为{1，0，3，2}的列表。图5示出了语法的具体示例，该语法在MCTS提取信息集SEI消息内包含第二信息142。
语义如下。
num_associated_slices_minus1[i]加1表示包含mcts标识符等于列表mcts_identifier[i][j]中的任何值的MCTS的切片数。num_extraction_info_sets_minus1[i]的值应在0到232-2(含)的范围内。
output_slice_order[i][j]以比特流顺序来标识第j个切片的绝对位置，该第j个切片属于mcts标识符等于输出比特流中的列表mcts_identifier[i][j]
中的任何值的MCTS。output_slice_order[i][j]的值应在0到223-2(含)的范围内。
接下来描述[2]中定义的提取过程中的其他处理步骤，这些步骤有助于理解图5的信号实施例，其中相对于[2]的附加内容通过下划线突出显示：
令比特流inBitstream、目标MCTS标识符mctsIdTarget、目标MCTS提取信息集标识符mctsEISIdTarget、以及目标最高TemporalId值mctsTIdTarget是子比特流MCTS提取过程的输入。
子比特流MCTS提取过程的输出是子比特流outBitstream。
对输入比特流的比特流一致性的要求是，作为本节中关于比特流指定的过程的输出的、任何输出子比特流应是一致的比特流。
对于第i个提取信息集，从列表output_slice_order[i][j]导出OutputSliceOrder[j]。
输出子比特流以如下方式得出：
-将比特流outBitstream设置为与比特流inBitstream相同。
[...]
-从outBitstream中移除TemporalTd大于mctsTIdTarget的所有NAL单元。
-根据列表OutputSliceOrder[j]对每个访问单元的NAL单元进行排序。
-对于outBitstream中剩余的每个VCL NAL单元，按如下方式调整切片片段头：
-对于每个访问单元内的第一个VCL NAL单元，将first_slice_segment_in_pic_flag的值设置为1，否则设置为0。
-根据pps_pic_parameter_set_id等于slice_pic_parameter_set_id的PPS中定义的图块设置来设置slice_segment_address的值。
因此，总结图2的实施例的根据图5的以上变型，该变型与以上关于图3讨论的变型的不同之处在于，第二信息142没有显式地用信号通知如何修改切片地址。即，根据刚刚概述的变型，第二信息142没有显式地用信号通知从数据流124提取到数据流136中的切片部分的切片地址的替代值。而是，图5的实施例涉及以下情况：第一信息140将图片100的图片区域内的空间区段110定义为至少包括第一区段区域110a和第二区段区域110b，在第一区段区域内视频被独立于第一区段区域110a的外部编码到视频数据流124’中，在第二区段区域内视频120被独立于第二区段区域110b的外部编码到视频数据流124’中，其中多个切片108均不跨越第一区段区域和第二区段区域110a和110b中任何一个的边界；至少以这些区域110a和110b为单位，所提取的视频数据流136的输出视频138的图片144可以不同地构成，从而产生两个选项，并且根据上面针对图5讨论的变型，第二信息142用信号通知重新排序信息，该信息指示：在从视频数据流124’中提取缩小的视频数据流136时，相对于视频数据流124’中的切片部分的顺序，如何重新排序位于区段110中的切片108的切片部分126。重新排序信息142可以包括例如一个或多个语法元素的集合。在可能由形成信息142的一个或多个语法元素通知的状态中，可能存在一种状态，根据该状态，重新排序保持原始排序。例如，信息142用信号通知对落入区段110中的图片100的切片108之一进行编码的每个切片部分126的次序(图5中的附图标记141)，并且提取器设备134根据这些次序，对提取或缩小的视频数据流136内的切片部分126重新排序。然后，提取器设备134按以下方式修改缩小或提取的视频数据流136内如此重新布置的切片部分126的切片地址：提取器设备134知道从数据流124’提取到数据流136中的、视频数据流124’中的那些切片部分126。因此，提取器设备134知道图片100的图片区域内与这些被接收的切片部分126相对应的切片108。基于由信息142提供的重新布置信息，提取器设备134能够确定区段区域110a和110b如何以平移的方式相互移位，从而形成与视频138的图片144相对应的矩形图片区域。例如，在图4的选项2的示例性情况下，提取器设备134将切片地址0分配给与图块b相对应的切片，因为切片地址0出现在由第二信息142提供的次序列表中的第二个位置。因此，提取器设备134能够放置与图块b有关的一个或多个切片，然后继续下一个切片，根据重新排序信息，该下一个切片与指向根据编码顺序112在图片区域中紧跟图块b之后的位置的切片地址相关联。在图4的示例中，这是与图块a有关的切片，因为下一个次序的位置指示图片100的区段110中的第一个切片a。换句话说，对重新排序进行限制，以产生区段区域110a和110b的任何可能的重新布置。单独对于每个区段区域，仍以编码顺序106和112以相同路径遍历相应区段区域。然而，由于图块划分，有可能的是，在选项2的情况下，与图片144的图片区域中的区段区域110a和110b相对应的区域(即，图块b和d的组合和图块A和C的组合的区域)按照编码顺序112以交错方式被遍历，并且相应地，对位于相应图块中的切片进行编码的相关切片部分126在提取或缩小的视频流136中被交错。
另一实施例是用信号通知如下保证：使用现有语法用信号通知的另一顺序反映了优选的输出切片顺序。更具体地，可以通过将MCTS提取SEI消息[2]的出现解释为如下保证来实现该实施例：在来自[1]中的D.2.29和E.2.29节的MCTS SEI消息中构成MCTS的矩形的顺序代表了图块/NAL单元的优选输出顺序。在图5的具体示例中，这将导致按照{b，a，d，c}的顺序为每个所包含的图块使用矩形。除了OutputSliceOrder[j]的得出之外，该实施例的示例与上述示例相同，例如，
OutputSliceOrder[j]是从在MCTS SEI消息中用信号通知的矩形的顺序中得出的。
总结以上示例，第二信息142可以向提取器134发信号通知以下事项：在从视频数据流中提取缩小的视频数据流136时，相对于切片部分126在视频数据流124’的切片部分序列中的排序，如何重新排序落入空间区段110中的切片的切片部分126，视频数据流124’的切片部分序列中的每个切片部分126的切片地址沿着对图片区域进行遍历的第一编码扫描顺序106，一维地索引被编码到相应的切片部分126中的切片108的编码开始位置，并且其中图片100已经沿着该第一编码扫描顺序被编码为视频数据流的切片部分序列。从而，视频数据流124’内的切片部分序列中的切片部分的切片地址单调增加，从视频数据流124’中提取缩小的视频数据流136时对切片地址的修改是通过以下方式定义的：沿着对缩小的图片区域进行遍历的第二编码扫描顺序112来顺序地放置被编码到切片部分中的切片，这些切片部分是缩小的视频数据流136所限定于的切片部分，并且是如第二信息142所通知的那样被重新排序的切片部分；并且将切片部分126的切片地址设置为索引沿着第二编码扫描顺序112判定的切片的编码开始位置。第一编码扫描顺序106遍历至少两个区段区域的集合中的每一个区段区域内的图片区域的方式与第二编码扫描顺序112遍历相应空间区域的方式相同。至少两个区段区域的集合中的每一个区段区域都由第一信息140指示为矩形图块(图片100被细分为该矩形图块的行和列)的子阵列，其中第一和第二编码扫描顺序使用逐行图块光栅扫描来完全遍历当前图块，然后再继续扫描下一个图块。
如上所述，可以从另一个语法元素(例如，如上所述的output_slice_address[i][j])得出输出切片顺序。在这种情况下，对于上面关于output_slice_address[i][j]的示例语法的重要补充是，针对所有相关切片(包括第一个相关切片在内)用信号通知了切片地址以便能够进行排序，即，num_associated_slices_minus2[i]变为num_associated_slices_minus1[i]。除了OutputSliccOrder[j]的得出之外，该实施例的示例与上述示例相同，例如，
对于第i个提取信息集，从列表output_slice_address[i][j]导出OutputSliceOrder[j]。
甚至进一步的实施例由信息142上的单个标志组成，该标志指示：视频内容环绕在图片边界集合(例如，竖直图片边界)处。因此，在提取器134中得出输出顺序，该输出顺序适用于如先前概述的包括两个图片边界上的图块在内的图片子部分。换句话说，信息142可以用信号通知两个选项之一：多个选项中的第一个选项指示该视频是全景视频，其以图片的不同边缘部分在场景上彼此邻接的方式示出了场景，并且多个选项中的第二个选项指示不同的边缘部分在场景上并不彼此邻接。区段110所包括的至少两个区段区域a、b、c、d形成第一和第二区带110a、110b，它们与不同的边缘部分(即左边缘150r和右边缘150l)中的不同边缘部分相邻接，因此，在第二信息142用信号通知第一选项的情况下，减小的图片区域是通过将至少两个区段区域的集合放在一起使得第一区带和第二区带沿着不同的边缘部分邻接的方式而构成的，在第二信息142用信号通知第二选项的情况下，减小的图片区域是通过以第一区带和第二区带的不同的边缘部分彼此背离的方式将至少两个区段区域的集合放在一起而构成的。
仅出于完整性的目的，应当注意，图片144的图片区域的形状不限于与以下形状一致：将各个区域(例如，区段110的图块a、b、c和d)拼合在一起，在拼合时保持任何连接簇的相对布置不变，例如图1中的(a，c，b，d)；或沿最短的可能互连方向将任何此类簇拼合在一起，例如图2中的水平拼合区带(a，c)和(b，d)。相反，例如，在图1中，所提取的数据流的图片的图片区域可以是由所有四个区域组成的一列，在图2中，它可以是由所有四个区域组成的一行的一列。通常，视频138的图片144的图片区域的尺寸和形状可以在数据流124’中的不同部分存在：例如，该信息可以以信息140内的一个或多个参数的形式给出，以便在从流124’中提取部分特定子流136时，针对参数集的适应性调整来指导提取器134中的提取过程。例如，用于代替流124’中的参数集的嵌套参数集可以包含在信息140中，其中该参数集例如包含与图片尺寸有关的参数，该参数例如以像素为单位指示图片144的尺寸和形状，这样，在提取器134中的提取期间，对流124’的参数集的替换覆盖了指示图片100的尺寸的参数集中的旧参数。但是，可以另外或替代地将图片144的图片尺寸指示为信息142的一部分。如果未在信息142中显式地提供切片地址，则在诸如信息142之类的易于读取的高级语法元素中显式地用信号通知图片144的形状可能特别有利。然后将需要解析嵌套的参数集以得出地址。
还应注意，在更复杂的系统设置中，可以使用立方投影。该投影避免了等矩形投影的已知缺点，例如采样密度变化很大。但是，当使用立方投影时，需要具有渲染阶段以从内容(或其子部分)重新创建连续的视区。这样的渲染阶段可能在复杂度/能力的折衷之间进行权衡，即，一些可行且现成的渲染模块可能期望内容(或其子部分)的给定排列。在这样的情况下，通过以下公开来实现布置的可能性是至关重要的。
在下文中，描述了与本申请的第二方面有关的实施例。本申请第二方面的实施例的描述再次以对通过这些实施例设想和解决的一般问题的简要介绍开始。
在360°视频的情况(但不限于该情况)下，MCTS提取的一个相关用例是复合视频，该复合视频包含了在图片平面上彼此相邻的、内容的多个分辨率的变型，如图6所示。图6的底部描绘了具有多种分辨率的合成视频300，并且线302示出了图块304的图块边界，高分辨率视频306和低分辨率视频308的合成被细分成这种图块以编码成相应的数据流。
更确切地说，图6在306处示出了高分辨率视频中的图片，并且在308处示出了低分辨率视频的图片(诸如同时间图片)。例如，视频306和308都显示完全相同的场景，即具有相同的图形或视野，但分辨率不同。然而，视野可以可替代地仅彼此部分重叠，并且在重叠区带中，空间分辨率表现在：视频306的图片的样本数与视频308相比不同。实际上，视频306和308的保真度不同，即相等场景部分的样本数或像素数不同。视频306和308的并置图片并排组成更大的图片，从而生成合成视频300的图片。例如，图6示出了视频308的图片在水平方向上分为两半，并且两个一半中的一个在另一个的上面，它们被附加在视频306的同时间图片的右侧，从而产生对应的视频300。图块划分以这样的方式执行，即，使得没有图块304跨越视频306的高分辨率图片与源自低分辨率视频308的图片内容之间的交界处。在图6的示例中，图片300的图块划分如下：将视频300的图片的高分辨率图片内容分割而成的8x4图块，以及将来自低分辨率视频308的两个一半中的每一个分割而成的2x2图块。视频300的图片总共为10x4个图块。
当这样的多分辨率合成视频300以适当的方式用MCTS编码时，MCTS提取可以产生内容的变型312。如图7所示，这样的变型312可以例如被设计为以高分辨率描绘预定义的子图片310a，并以低分辨率描绘场景的其余部分或另一子部分，其中，复合图片比特流中的MCTS310与三个方面或三个分离区域310a、310b、310c比较。
即，所提取的视频的图片(即图片312)具有三个图域314a、314b和314c，每个图域对应于MCTS区域310a、310b、310c之一，其中区域310a是图片300的高分辨率图片区域的子区域，其他两个区域310b和310c是图片308的低分辨率视频内容的子区域。
已经说过，图8描述了关于本申请第二方面的本申请的实施例。换句话说，图8示出了将多分辨率内容呈现给接收者站点的方案，接收者站点特别是参与生成至接收站点的不同分辨率的多个版本的各个站点。应当注意，沿着图8中描绘的处理路径布置在各个站点处的各个设备和过程代表了单独的设备和方法，因此，图8不应被解释为仅示出系统或整体方法。关于图2，类似的陈述也是正确的，图2同样示出了单独的设备和方法。在一个图中一起显示所有这些站点的原因仅仅是为了便于理解相互关系以及关于这些附图所描述的实施例所带来的优点。
图8示出了视频数据流330，其中编码有图片334的视频332。图片334是将高分辨率视频338的同时间图片336和低分辨率视频342的图片340拼合在一起的结果。更确切地说，视频338和342的图片336和340或者对应于完全相同的视区344，或者至少部分地重叠以便在重叠区域中示出相同的场景，然而，对于相同的场景内容，高分辨率视频图片336的采样样本数量比对应的低分辨率图片340的样本数量高，因此，图片336的场景分辨率保真度比图片340的场景分辨率高。由合成器346基于视频338和342来执行对合成视频332的图片334的合成。合成器346将图片336和340拼合在一起。在这样做时，合成器346可以对高分辨率视频338的图片和低分辨率视频的图片340或者两者进行细分，以便得到合成视频332的图片334的图片区域的有利填充和修补。然后，视频编码器348将合成视频332编码为视频数据流330。视频数据流生成设备350可以被包括在视频编码器348中，或者可以被连接到视频编码器348的输出，以便向视频数据流330提供信号352，该信号352指示：图片334或每个图片或视频332或编码到视频数据流330中的、视频332中某个图片序列中的每个图片或视频332多次(即以互不相同的分辨率在不同的空间部分)显示同一场景内容。这些部分在图8中使用H和L示出以便通过由合成器346完成的构图来表示它们的起源，并使用附图标记354和356来表示。应当注意，可以组合两个以上的不同分辨率版本，以形成图片332的内容，并且分别如图8、图6和图7所示的对两个版本的使用仅用于说明目的。
为了说明的目的，图8示出了对视频数据流330进行接收的视频数据流处理器358。视频数据流处理器358可以例如是视频解码器。在任何情况下，视频数据流处理器358都能够检查信号352，以便基于该信号确定视频数据流处理器358是否应开始诸如对视频数据流330进行解码之类的处理，这进一步取决于例如视频数据流处理器358或连接在其下游的设备的某些功能。例如，视频数据流处理器358仅能够呈现完全编码在视频数据流330中的图片332，于是视频数据流处理器358可以拒绝处理以下视频数据流330，即，其信号352指示其各个图片在该各个图片的不同空间部分处以不同空间分辨率显示同一场景内容，即，信号352指示视频数据流330是多分辨率视频数据流。
信号352可以例如包括在数据流330内包含的标志，该标志可在第一状态和第二状态之间切换。第一状态可以例如指示刚刚概述的事实，即，视频332的各个图片以不同的分辨率显示同一场景内容的多个版本。第二状态指示不存在这种情况，即，图片仅以一种分辨率示出了一个场景内容。视频数据流处理器358因此将响应于标志352处于第一状态，从而拒绝执行某些处理任务。
诸如上述标志之类的信号352可以在数据流330内其序列参数集或视频参数集内传送。在下面的描述中，作为可能的候选，示例性地标识了在HEVC中为将来使用而保留的可能语法元素。
如以上关于图6和图7所示，虽然不是必须的但有可能的是：已经以某种方式将合成视频332编码到视频数据流330中，使得对于一组相互不重叠的空间区域360(例如图块或图块子阵列)中的每一个，编码独立于相应空间区域360的外部。如上面关于图2所述，该编码非依赖性限制了空间和时间预测和/或上下文推导，以便不跨越空间区域360之间的边界。因此，例如，编码依赖性可以将视频332的某个图片334的某个空间区域360的编码限制为仅引用视频332的另一图片334内的同一位置的空间区域，该另一图片以与图片334相同的方式被细分为空间区域360。视频编码器348可以向视频数据流330提供诸如信息140、或信息140和142的组合之类的提取信息，或者诸如设备128之类的相应没备可以连接至其输出。提取信息可以涉及空间区域360的某些或所有可能的组合以作为提取部分，例如图7中的提取区段310。信号352又可以包括以下信息：视频332的图片334空间细分成具有不同场景分辨率的区段354和356的信息，即，图片332的图片区域内的每个空间区段354和356的尺寸和位置的信息。基于信号352内的此类信息，视频数据流处理器358可以例如从视频流330的可能可提取区段的列表中排除某些提取区段，被排除的提取区段例如混合了落入区段354和356中的不同区段的空间区域360，因此避免了针对混合不同分辨率的提取区段来执行视频提取。在这种情况下，视频流处理器358可以例如包括提取器设备，诸如图2的提取器设备。
附加地或替代地，信号330可以包括关于不同分辨率的信息，其中视频332的图片334以这些不同分辨率示出了同一场景内容。此外，信号352也可能仅指示不同分辨率的计数，其中视频332的图片334以这些不同分辨率在不同图片位置处多次示出同一场景内容。
如已经提到的，视频数据流330可以包括关于视频数据流330可相对于其提取的可能提取区域的列表上的提取信息。然后，信号352可以包括另外的信号，所述另外的信号针对至少一个或多个这些提取区域中的每一个提取区域指示：在相应提取区域内以最高分辨率显示同一场景内容的、相应提取区域的区段区域的视区方向，和/或在相应提取区域内以最高分辨率显示同一场景内容的、相应提取区域的区段区域在相应提取区域的总区域中所占的面积份额，和/或从相应提取区域的整个区域中对相应提取区域进行的空间细分，所述空间细分将相应提取区域细分为以相互不同的分辨率分别显示同一场景内容的区段区域。
因此，这样的信号352可以在比特流中以高级别暴露，从而可以容易地将其推入流传输系统中。
一种选择是在配置文件层级语法中使用一般保留的零X比特标志之一。该标志可以命名为一般非多分辨率标志：
等于1的一般非多分辨率标志指定：解码后的输出图片不包含同一内容的具有不同分辨率的多个版本(即，诸如区域打包之类的相应语法受到约束)。等于0的一般非多分辨率标志指定：该比特流可能包含此类内容(即无约束)。
另外，本发明因此包括通知以下内容的信号：完整比特流内容特性的性质，即组成中变型的数量和分辨率。此外，其他信号以易于访问的形式在编码比特流中提供有关每个MCTS的以下特征的信息：
·主要视点方向：
MCTS高分辨率视区中心的方向，例如相对于预定义初始视区中心的δ偏航、δ俯仰和/或δ横滚。
·整体覆盖范围
MCTS中表示的全部内容的百分比。
·高低分辨率的比率
MCTS中高分辨率区域和低分辨率区域之间的比率，即，整体覆盖的全部内容中有多少以高分辨率/保真度表示。
针对完整全向视频的视区方向或整体覆盖范围而提议的信号信息已经存在。需要为可能被提取的子区域添加类似的信号。该信息采用SEI[2]的形式，因此可以包括在运动受限图块集提取信息嵌套SEI中。但是，需要此类信息来选择要提取的MCTS。将信息包含在运动受限图块集提取信息嵌套SEI中会增加附加的间接性，并且需要进行更深的解析(运动受限图块集提取信息嵌套SEI包含选择提取集所不需要的其他信息)，以便选择一个给定的MCTS。从设计的角度来看，一种更明快的方法是，在仅包含用于选择提取集的重要信息的中心点中，用信号通知该信息或其一部分。另外，所提及的信号包括关于整个比特流的信息，在所提出的情况下，希望用信号通知高分辨率的覆盖范围和低分辨率的覆盖范围，或者，如果混合了更多的分辨率，则希望用信号通知每种分辨率的覆盖范围，以及混合分辨率提取视频的视区方向。
一个实施例是添加每个分辨率的覆盖范围，并将其添加到来自[2]的360ERP SEI中。因此，该SEI可能包括在运动受限图块集提取信息嵌套SEI中，并且需要执行上述繁琐的任务。
在另一个实施例中，将标志添加到MCTS提取信息集SEI中，例如指示所讨论的信号的存在的全向信息，使得仅需要MCTS提取信息集SEI来用于选择要提取的集合。
尽管已经在装置的上下文中描述了一些方面，但是很明显，这些方面也代表了对相应方法的描述，其中框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应装置的相应框或项目或特征的描述。方法步骤中的一些或全部可以由(或使用)硬件设备(例如，微处理器、可编程计算机或电子电路)执行。在一些实施例中，最重要的方法步骤中的一个或多个可以由这样的设备执行。
本发明的数据流可以被存储在数字存储介质上，或者可以在无线传输介质或有线传输介质(诸如互联网)等传输介质上传输。
取决于某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
上面描述的实施例仅用于说明本发明的原理。应当理解，本文描述的布置和细节的修改和变形对于本领域的其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

Claims (40)

1.一种视频数据流，包括：
切片部分(126)序列，每个切片部分(126)中编码有视频(120)的图片(100)的多个切片中的相应切片(108)，其中每个切片部分包括切片地址，所述切片地址指示编码在相应切片部分中的切片在所述视频的图片区域中所处的位置；
提取信息(132)，所述提取信息指示如何通过以下操作从所述视频数据流中提取缩小视频数据流(136)，其中所述缩小视频数据流(136)中编码有与所述视频的空间区段(110)相对应的空间较小的视频(138)：将所述视频数据流限制为其中编码有所述空间区段(110)内的任何切片的切片部分，并且修改所述切片地址以与所述空间较小的视频(138)的缩小图片区域相关，其中所述提取信息(132)包括：
第一信息(140)，所述第一信息定义所述图片区域内的所述空间区段(110)，其中，多个切片均不跨越所述空间区段(110)的边界；以及
第二信息(142)，所述第二信息用信号通知以下内容的多个选项之一，或者显式地用信号通知以下内容：关于如何修改所述空间区段(110)内每个切片的切片部分的切片地址，以便在所述缩小视频数据流(136)内指示相应切片在所述缩小图片区域中所处的位置。
2.根据权利要求1所述的视频数据流，其中，所述第一信息(140)将所述图片区域内的空间区段(110)定义为由至少两个区段区域(110a，110b；a，b，c，d)的集合组成，在每个区段区域中所述视频独立于相应区段区域外部而被编码在视频数据流中，其中，多个切片(108)均不跨越至少所述两个区段区域中的任何一个的边界。
3.根据权利要求2所述的视频数据流，其中，
所述多个选项中的第一选项指示所述视频是全景视频，所述全景视频以图片的不同边缘部分在场景上彼此邻接的方式示出了场景，
所述多个选项中的第二选项指示所述不同边缘部分在场景上并不彼此邻接，
其中，所述至少两个区段区域形成与所述不同边缘部分中的不同部分相邻的第一区带和第二区带(110a，110b)，
以便，
在所述第二信息(142)用信号通知所述第一选项的情况下，所述缩小图片区域是通过将所述至少两个区段区域的集合放在一起从而所述第一区带和所述第二区带沿着所述不同边缘部分邻接而构成的，以及
在所述第二信息(142)用信号通知所述第二选项的情况下，所述缩小图片区域是通过以所述第一区带和所述第二区带的所述不同边缘部分彼此背离的方式将所述至少两个区段区域的集合放在一起而构成的。
4.根据权利要求2所述的视频数据流，其中，
所述第二信息(142)用信号通知：在从所述视频数据流中提取所述缩小视频数据流(136)时，相对于所述切片部分(126)在所述视频数据流的切片部分序列中的排序，如何重新排序所述空间区段(110)内的切片的切片部分(126)，以及
所述视频数据流的切片部分序列中的每个切片部分的切片地址沿着对所述图片区域进行遍历的第一编码扫描顺序(106)，一维地索引被编码到相应切片部分中的切片的编码开始位置，并且其中所述图片(100)已经沿着所述第一编码扫描顺序被编码在所述视频数据流的切片部分序列中，从而
所述视频数据流内的切片部分序列中的切片部分的切片地址单调增加，以及
从所述视频数据流中提取所述缩小视频数据流(136)时对所述切片地址的修改是通过以下方式定义的：沿着对所述缩小图片区域进行遍历的第二编码扫描顺序(112)来顺序地放置被编码到切片部分中的切片，所述切片部分是所述缩小视频数据流(136)所局限于的切片部分，并且是如所述第二信息(142)用信号通知的那样被重新排序的切片部分；并且将所述切片部分(126)的切片地址设置为索引沿着所述第二编码扫描顺序(112)判定的切片的编码开始位置。
5.根据权利要求4所述的视频数据流，其中，所述第一编码扫描顺序(106)遍历所述至少两个区段区域的集合中的每一个区段区域内的图片区域的方式与所述第二编码扫描顺序(112)遍历相应空间区域的方式相同。
6.根据权利要求4或5所述的视频数据流，其中，所述至少两个区段区域的集合中的每一个区段区域都由所述第一信息(140)指示为矩形图块子阵列，所述图片(100)被细分为所述矩形图块子阵列的行和列，其中所述第一编码扫描顺序和所述第二编码扫描顺序使用逐行图块光栅扫描来完全遍历当前图块，然后再继续进行到下一个图块。
7.根据权利要求1所述的视频数据流，其中，针对切片部分的至少一个子集中的每个子集，所述第二信息(142)用信号通知切片地址的替代值，其中所述切片部分中编码有所述空间区段内的任何切片。
8.根据权利要求7所述的视频数据流，其中，所述视频数据流的所述切片部分序列中的每个切片部分的切片地址与所述视频的图片区域有关，而所述切片地址的替代值与所述缩小图片区域有关。
9.根据权利要求6或7所述的视频数据流，其中，所述视频数据流的所述切片部分序列的每个切片部分的切片地址沿着对所述图片区域进行遍历的第一编码扫描顺序，一维地索引被编码到相应的切片部分中的切片的编码开始位置，并且其中所述图片已经沿着所述第一编码扫描顺序被编码在所述视频数据流的切片部分序列中，并且所述切片地址的替代值沿着对所述缩小图片区域进行遍历的第二编码扫描顺序一维地索引所述编码开始位置。
10.根据权利要求7至9中任一项所述的视频数据流，其中，所述切片部分的子集不包括所述切片部分序列的其中编码有所述空间区段(110)内的任何切片的切片部分中的第一切片部分，以及其中，所述第二信息(142)按照切片部分在所述视频数据流中出现的顺序，依次为切片部分的子集的每个子集提供替代值。
11.根据权利要求7至9中任一项所述的视频数据流，其中，所述第一信息(140)将所述图片区域内的空间区段(110)定义为由至少两个区段区域(110a，110b)的集合组成，在每个区段区域中所述视频独立于相应区段区域外部被编码在视频数据流中，其中，多个切片均不跨越第一区段区域和第二区段区域中的任何一个的边界。
12.根据权利要求11所述的视频数据流，其中，所述切片部分的子集包括所述切片部分序列的其中编码有所述空间区段内的任何切片的所有切片部分，以及其中，所述第二信息按照切片部分在所述视频数据流中出现的顺序，依次为每个切片部分提供替代值。
13.根据权利要求12所述的视频数据流，其中，
所述第二信息(142)还用信号通知：在从所述视频数据流中提取所述缩小视频数据流时，相对于所述切片部分在所述视频数据流的切片部分序列中的排序，如何重新排序所述空间区段内的切片的切片部分，以及
所述第二信息(142)按照重新排序后切片部分在所述缩小视频数据流中出现的顺序，依次为切片部分的子集的每个子集提供替代值。
14.根据权利要求1至13中任一项所述的视频数据流，其中，
所述视频数据流所包括的切片部分序列包括其中编码有位于所述空间区段内的切片的切片部分、以及其中编码有位于所述空间区段外的切片的切片部分，或者
所述视频数据流所包括的切片部分序列包括其中编码有位于所述空间区段内的切片的切片部分、但不包括其中编码有位于所述空间区段外的切片的切片部分。
15.根据权利要求1至14中任一项所述的视频数据流，其中，所述第二信息(142)定义了所述缩小图片区域的形状和尺寸。
16.根据权利要求1至15中任一项所述的视频数据流，其中，所述第一信息(140)通过参数集替代中的尺寸参数来定义所述缩小图片区域的形状和尺寸，其中在从所述视频数据流中提取所述缩小视频数据流(136)时所述参数集替代应当被用来替代所述视频数据流中的相应参数集。
17.一种用于生成视频数据流的装置，被配置为：
向所述视频数据流提供切片部分序列，每个切片部分中编码有视频的图片的多个切片中的相应切片，其中每个切片部分包括切片地址，所述切片地址指示编码在相应切片部分中的切片在所述视频的图片区域中所处的位置；
向所述视频数据流提供提取信息，所述提取信息指示如何通过以下操作从所述视频数据流中提取缩小视频数据流(136)，其中所述缩小视频数据流(136)中编码有与所述视频的空间区段相对应的空间较小的视频：将所述视频数据流限制为其中编码有所述空间区段内的任何切片的切片部分，并且修改所述切片地址以与所述空间较小的视频的缩小图片区域相关，其中所述提取信息包括：
第一信息，所述第一信息定义图片区域内的所述空间区段，在所述空间区段内所述视频独立于所述空间区段外部被编码在所述视频数据流中，其中，多个切片均不跨越所述空间区段的边界；以及
第二信息，所述第二信息用信号通知以下内容的多个选项之一，或者显式地用信号通知以下内容：关于如何修改所述空间区段内每个切片的切片部分的切片地址，以便在所述缩小视频数据流内指示相应切片在所述缩小图片区域中所处的位置。
18.一种用于从其中编码有视频的视频数据流中提取缩小视频数据流的装置，所述缩小视频数据流中编码有空间较小的视频，所述视频数据流包括切片部分序列，每个切片部分中编码有视频的图片的多个切片中的相应切片，其中每个切片部分包括切片地址，所述切片地址指示编码在相应切片部分中的切片在所述视频的图片区域中所处的位置，其中所述装置被配置为：
从所述视频数据流中读取提取信息，
从所述提取信息中得出所述图片区域内的空间区段，其中所述多个切片均不跨越所述空间区段的边界，并且其中所述缩小视频数据流被限制为其中编码有所述空间区段内的任何切片的切片部分，
使用利用由提取信息的显式信号通知从多个选项中确定的多个选项之一来修改所述空间区段内每个切片的切片部分的切片地址，
以便在所述缩小视频数据流内指示相应切片在所述空间较小的视频的缩小图片区域中所处的位置。
19.根据权利要求17或18所述的装置，其中，所述视频数据流是根据权利要求2至16中的任一项所述的视频数据流。
20.一种其中编码有视频(332)的视频数据流，其中所述视频数据流包括信号(352)，所述信号指示所述视频的图片(334)在所述图片的不同空间部分(354、356)处以不同分辨率显示了同一场景内容(304)。
21.根据权利要求20所述的视频数据流，其中，所述信号(352)包括标志，所述标志能够在第一状态和第二状态之间切换，其中，所述第一状态指示所述视频的图片(334)包括不同空间部分，所述图片在所述不同空间部分处以不同分辨率显示同一场景内容，其中所述第二状态指示所述视频的图片仅以一个分辨率显示场景的每个部分，其中所述标志被设置为所述第一状态。
22.根据权利要求21所述的视频数据流，其中，所述标志包含在所述视频数据流的序列参数集或视频参数集中。
23.根据权利要求20至22中任一项所述的视频数据流，其中，针对互不重叠的空间区域(360)的集合中的每一个空间区域，以独立于相应空间区域(360)外部的方式对所述视频数据流进行编码。
24.根据权利要求20至23中任一项所述的视频数据流，其中，所述信号(352)包括关于不同分辨率的计数的信息，其中所述视频的图片以所述不同分辨率在所述不同空间部分处显示同一场景内容。
25.根据权利要求20至24中任一项所述的视频数据流，其中，所述信号(352)包括关于将所述视频的图片在空间上细分为区段(354、356)的信息，每个所述区段显示同一场景内容，并且至少两个所述区段以不同分辨率显示同一场景内容。
26.根据权利要求20至25中任一项所述的视频数据流，其中，所述信号(352)包括关于分辨率的不同的信息，其中所述视频的图片以所述分辨率在所述不同空间部分(354、356)处显示同一场景内容。
27.根据权利要求20至26中任一项所述的视频数据流，其中，所述视频数据流包括提取信息，所述提取信息指示提取区域的集合，针对所述提取区域，所述视频数据流允许从所述视频数据中提取独立视频数据流而无需重新编码，所述独立视频数据流表示通过相应提取区域限制在所述视频的图片内容内的视频。
28.根据权利要求27所述的视频数据流，其中，针对互不重叠的空间区域(360)的集合中的每一个空间区域，以独立于相应空间区域(360)外部的方式对所述视频数据流进行编码，并且所述提取信息将所述提取区域的集合中的每一个提取区域指示为一个或多个所述空间区域(360)的集合。
29.根据权利要求27或28所述的视频数据流，其中，所述视频的图片在空间上被细分为图块阵列，并且被顺序地编码在所述数据流中，其中，所述空间区域(360)是一个或多个图块的簇。
30.根据权利要求27至29中任一项所述的视频数据流，其中，所述视频数据流包括另外的信号，所述另外的信号针对至少一个或多个提取区域中的每一个提取区域指示：
所述视频的图片是否在相应提取区域内以不同分辨率显示同一场景内容。
31.根据权利要求30所述的视频数据流，其中，所述另外的信号针对至少一个或多个提取区域中的每一个提取区域还指示：
在相应提取区域内以最高分辨率显示同一场景内容的相应提取区域的区段区域的视区方向，和/或
在相应提取区域内以最高分辨率显示同一场景内容的相应提取区域的区段区域在相应提取区域的总区域中所占的面积份额，和/或
从相应提取区域的整个区域将相应提取区域空间细分为以相互不同的分辨率分别显示同一场景内容的区段区域。
32.根据权利要求30所述的视频数据流，其中，所述另外的信号包含在与包含所述提取信息的一个或多个SEI消息分离的SEI消息中。
33.一种装置，用于处理根据权利要求20至32中任一项所述的视频数据流，其中，所述装置支持预定处理任务，并且被配置为检查所述信号，以决定对所述视频数据流执行或不执行所述预定处理任务。
34.根据权利要求33所述的装置，其中，所述处理任务包括：
对所述视频数据流进行解码和/或
从所述视频数据流中提取缩小视频数据流而无需重新编码。
35.一种装置，用于生成根据权利要求20至32中任一项所述的视频数据流。
36.一种用于生成视频数据流的方法，所述方法包括：
向所述视频数据流提供切片部分序列，每个切片部分中编码有视频的图片的多个切片中的相应切片，其中每个切片部分包括切片地址，所述切片地址指示编码在相应切片部分中的切片在所述视频的图片区域中所处的位置；
向所述视频数据流提供提取信息，所述提取信息指示如何通过以下操作从所述视频数据流中提取缩小视频数据流，其中所述缩小视频数据流中编码有与所述视频的空间区段相对应的空间较小的视频：将所述视频数据流限制为其中编码有所述空间区段内的任何切片的切片部分，并且修改所述切片地址以与所述空间较小的视频的缩小图片区域相关，其中所述提取信息包括：
第一信息，所述第一信息定义图片区域内的空间区段，在所述空间区段内所述视频独立于所述空间区段外部被编码在所述视频数据流中，其中，多个切片均不跨越所述空间区段的边界；以及
第二信息，所述第二信息用信号通知以下内容的多个选项之一，或者显式地用信号通知以下内容：关于如何修改所述空间区段内每个切片的切片部分的切片地址，以便在所述缩小视频数据流内指示相应切片在所述缩小图片区域中所处的位置。
37.一种用于从其中编码有视频的视频数据流中提取缩小视频数据流的方法，所述缩小视频数据流中编码有空间较小的视频，所述视频数据流包括切片部分序列，每个切片部分中编码有视频的图片的多个切片中的相应切片，其中每个切片部分包括切片地址，所述切片地址指示编码在相应切片部分中的切片在所述视频的图片区域中所处的位置，其中所述方法包括：
从所述视频数据流中读取提取信息，
从所述提取信息中得出所述图片区域内的空间区段，其中所述多个切片均不跨越所述空间区段的边界，并且其中所述缩小视频数据流被限制为其中编码有所述空间区段内的任何切片的切片部分，
使用利用由提取信息的显式信号通知从多个选项中确定的多个选项之一来修改所述空间区段内每个切片的切片部分的切片地址，
以便在所述缩小视频数据流内指示相应切片在所述空间较小的视频的缩小图片区域中所处的位置。
38.一种用于处理根据权利要求20至32中任一项所述的视频数据流的方法，其中，所述处理包括预定处理任务，并且所述方法包括检查所述信号，以决定对所述视频数据流执行或不执行所述预定处理任务。
39.一种方法，用于生成根据权利要求20至32中任一项所述的视频数据流。
40.一种具有程序代码的计算机程序，当所述计算机程序在计算机上运行时，所述程序代码用于执行根据权利要求36至39中任一项所述的方法。
CN201880033197.5A 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法 Active CN110651480B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202211352844.3A CN116074501A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211365637.1A CN115955560A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352845.8A CN115955559A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352896.0A CN115883824A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211353005.3A CN116074502A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17161917.4 2017-03-20
EP17161917 2017-03-20
PCT/EP2018/056788 WO2018172234A2 (en) 2017-03-20 2018-03-19 Advanced video data stream extraction and multi-resolution video transmission

Related Child Applications (5)

Application Number Title Priority Date Filing Date
CN202211365637.1A Division CN115955560A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352845.8A Division CN115955559A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352896.0A Division CN115883824A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211353005.3A Division CN116074502A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352844.3A Division CN116074501A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法

Publications (2)

Publication Number Publication Date
CN110651480A true CN110651480A (zh) 2020-01-03
CN110651480B CN110651480B (zh) 2022-11-11

Family

ID=58387769

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202211352896.0A Pending CN115883824A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN201880033197.5A Active CN110651480B (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211353005.3A Pending CN116074502A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211365637.1A Pending CN115955560A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352845.8A Pending CN115955559A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352844.3A Pending CN116074501A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211352896.0A Pending CN115883824A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202211353005.3A Pending CN116074502A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211365637.1A Pending CN115955560A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352845.8A Pending CN115955559A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法
CN202211352844.3A Pending CN116074501A (zh) 2017-03-20 2018-03-19 生成视频数据流的装置以及生成视频数据流的方法

Country Status (7)

Country Link
US (3) US11386660B2 (zh)
EP (1) EP3603074A2 (zh)
JP (3) JP6957638B2 (zh)
KR (4) KR102553762B1 (zh)
CN (6) CN115883824A (zh)
TW (1) TWI684352B (zh)
WO (1) WO2018172234A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009473A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 360도 비디오의 영역 기반 처리 방법 및 장치
MX2021008347A (es) * 2019-01-09 2021-10-13 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299627A (zh) * 2011-01-05 2013-09-11 高通股份有限公司 视频译码中的帧分裂
WO2016026526A2 (en) * 2014-08-20 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video composition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
CA2650151C (en) 2008-01-17 2013-04-02 Lg Electronics Inc. An iptv receiving system and data processing method
KR101718488B1 (ko) * 2012-01-20 2017-03-21 지이 비디오 컴프레션, 엘엘씨 병렬 처리, 전송 디멀티플렉서 및 비디오 비트스트림을 허용하는 코딩 개념
KR102096566B1 (ko) * 2012-04-13 2020-04-02 지이 비디오 컴프레션, 엘엘씨 저지연 화상 코딩
RU2635251C2 (ru) * 2012-06-29 2017-11-09 ДжиИ Видео Компрешн, ЭлЭлСи Концепция потока видеоданных
PH12017501838A1 (en) * 2012-09-26 2018-07-02 Velos Media Int Ltd Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
KR20200045013A (ko) 2013-07-15 2020-04-29 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
US20170201766A1 (en) 2014-06-20 2017-07-13 Samsung Electronics Co., Ltd. Method and apparatus for coding and decoding scalable video data
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299627A (zh) * 2011-01-05 2013-09-11 高通股份有限公司 视频译码中的帧分裂
WO2016026526A2 (en) * 2014-08-20 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video composition

Also Published As

Publication number Publication date
CN115955559A (zh) 2023-04-11
KR20210131451A (ko) 2021-11-02
JP2022008899A (ja) 2022-01-14
CN115883824A (zh) 2023-03-31
CN115955560A (zh) 2023-04-11
KR20220095246A (ko) 2022-07-06
JP2020511865A (ja) 2020-04-16
TW201840188A (zh) 2018-11-01
US20230316752A1 (en) 2023-10-05
WO2018172234A2 (en) 2018-09-27
KR102412972B1 (ko) 2022-06-23
US20220309790A1 (en) 2022-09-29
CN116074501A (zh) 2023-05-05
JP6957638B2 (ja) 2021-11-02
EP3603074A2 (en) 2020-02-05
JP7437577B2 (ja) 2024-02-26
KR102553762B1 (ko) 2023-07-11
US20200012863A1 (en) 2020-01-09
TWI684352B (zh) 2020-02-01
CN116074502A (zh) 2023-05-05
WO2018172234A3 (en) 2018-11-01
KR102318816B1 (ko) 2021-10-28
US11386660B2 (en) 2022-07-12
US11721103B2 (en) 2023-08-08
KR20190127850A (ko) 2019-11-13
JP2024024598A (ja) 2024-02-22
CN110651480B (zh) 2022-11-11
KR20230106741A (ko) 2023-07-13

Similar Documents

Publication Publication Date Title
US11533350B2 (en) Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
CN113347440B (zh) 用于将图片编码为数据流的方法
KR102038783B1 (ko) 이미지 데이터 캡슐화
CN113316023B (zh) 视频流传输中的场景部分和感兴趣区域处理
KR102149959B1 (ko) 효율적인 확장가능한 코딩 개념
US20230316752A1 (en) Advanced video data stream extraction and multi-resolution video transmission
KR20210065161A (ko) 비디오 인코딩 및 디코딩 방법 및 장치
KR20150074040A (ko) 디지털 비디오를 코딩 및 디코딩하기 위한 방법, 및 관련된 코딩 및 디코딩 디바이스들
CN115914628A (zh) 对具有帧部分的视频数据进行编码或解码的方法和装置
CN115550720A (zh) 指示哪些视频数据单元表示目标画中画区域
US20230419557A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN116210225A (zh) 生成媒体文件的方法及设备
KR20230015447A (ko) 서브픽처-관련 비디오 코딩 개념들

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230421

Address after: USA New York

Patentee after: GE VIDEO COMPRESSION, LLC

Address before: USA New York

Patentee before: GE Intellectual Property Licensing Co.,Ltd.

Effective date of registration: 20230421

Address after: USA New York

Patentee after: GE Intellectual Property Licensing Co.,Ltd.

Address before: Munich, Germany

Patentee before: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG E.V.

TR01 Transfer of patent right