CN113039804A - 比特流合并 - Google Patents

比特流合并 Download PDF

Info

Publication number
CN113039804A
CN113039804A CN201980074638.0A CN201980074638A CN113039804A CN 113039804 A CN113039804 A CN 113039804A CN 201980074638 A CN201980074638 A CN 201980074638A CN 113039804 A CN113039804 A CN 113039804A
Authority
CN
China
Prior art keywords
video
merging
parameters
merger
merged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980074638.0A
Other languages
English (en)
Inventor
罗伯特·斯库宾
亚戈·桑切斯德拉富恩特
科内柳斯·海尔奇
托马斯·斯切尔
卡尔斯滕·祖灵
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN113039804A publication Critical patent/CN113039804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于提供编码视频表示(12)的视频编码器(2)，其中，所述视频编码器(2)被配置为提供包括编码参数信息、编码视频内容信息和一个或多个合并标识符的视频流(12)，所述编码参数信息描述多个编码参数(20、22、26、30)，所述一个或多个合并标识符指示所述编码视频表示(12)是否可以与另一编码视频表示合并和/或所述编码视频表示(12)可以如何与另一编码视频表示合并。

Description

比特流合并
本申请涉及视频编码/解码。
视频合成用于向用户呈现多个视频源的合成的许多应用中。常见的示例是画中画(PiP)合成以及将覆盖物(overlay)与视频内容混合，例如用于广告或用户界面。在像素域中产生这种合成需要对输入视频比特流进行并行解码，这在计算上很复杂，在具有单个硬件解码器或其他有限资源的设备上甚至是不可行的。例如，在当前的IPTV系统设计中，有能力的机顶盒执行合成，并且由于其复杂性、分布和有限的使用寿命而成为主要的服务成本因素。减少这些成本因素促使人们不断努力将机顶盒功能虚拟化，例如将用户界面生成转移到云资源。采用这种方法时，仅视频解码器(所谓的零客户端)是保留在客户处所中的唯一硬件。这种系统设计的最新状态是基于转码进行合成，即以其最简单的形式进行合成：在传输之前或传输期间进行解码、像素域合成和重新编码。为了减少整个解码和编码周期的工作量，首先提出了在变换系数域而不是像素域中进行PiP合成的操作。从那时起，提出了许多融合或缩短各个合成步骤并将其应用于当前视频编解码器的技术。然而，用于一般合成的基于转码的方法在计算上仍然很复杂，这损害了系统的可伸缩性。取决于转码方法，这种合成还可能影响率失真(RD)性能。
另外，存在建立在图块上构建的广泛应用，其中图块是视频平面的空间子集，独立于相邻图块而被编码。用于360°视频的基于图块的流传输系统通过将360°视频分割为图块进行工作，所述图块以各种分辨率被编码到子比特流中，并取决于当前用户观看朝向在客户端侧合并为单个比特流。涉及子比特流的合并的另一应用例如是传统视频内容与横幅广告的组合。此外，子比特流的重新组合也可以是视频会议系统中的关键部分，其中多个用户将其各自的视频流发送到最终对这些流进行合并的接收器。甚至进一步，在将得到的图块比特流合并回单个比特流之前，基于图块的云编码系统依赖于故障安全检查，在该基于图块的云编码系统中，将视频分为图块，并将图块编码分发到单独且独立的实例。在所有这些应用中，流被合并以允许在具有已知一致性点的单个视频解码器上进行解码。本文中的合并是指轻量级的比特流重写，其不需要对比特流或像素值重构的熵编码数据进行完全的解码和编码操作。然而，用于确保成功形成比特流合并(即，得到的合并比特流的一致性)的技术源自许多不同的应用场景。
例如，传统编解码器支持被称为运动受限图块集合(MCTS)的技术，其中编码器将图片之间的帧间预测约束为仅限于图块或图片的边界内，即，不使用不属于同一图块或位于图片边界之外的样本值或语法元素值。该技术源自感兴趣区域(ROI)解码，其中解码器可以仅对比特流和编码图片的特定子部分进行解码，而不会遇到无法解决的依赖性且避免了漂移。该背景下的另一种最新技术是图片结构(SOP)SEI消息，其给出了所应用的比特流结构(即，图片顺序和帧间预测参考结构)的指示。通过针对两个随机接入点(RAP)之间的每个图片将图片顺序计数(POC)值、有效序列参数集合(SPS)标识符、参考图片集合(RPS)索引概括到有效SPS中来提供该信息。基于该信息，可以识别比特流结构，该比特流结构可以帮助转码器、中间盒或媒体感知网络实体(MANE)或媒体播放器对比特流进行操作或改变比特流，例如调整比特率、丢帧或快进。
尽管上述两种示例性信号传送技术在理解在没有显著的语法改变或甚至完全转码的情况下是否可以进行子比特流的轻量级合并中都是必要的，但是它们还远远不够。更详细地，该背景下的轻量级合并的特征在于，仅用较小的重写操作对源比特流的NAL单元进行交织，即，以新的图像大小和图块结构来写联合使用的参数集合，使得要合并的每个比特流将位于单独的图块区域中。下一级别的合并复杂度由条带头部元素的较小重写构成，理想情况下不改变条带头部中的可变长度码。存在其它级别的合并复杂度，例如，在条带数据上重新运行熵编码，以改变经熵编码但是可以在无需像素值重构的情况下改变的特定语法元素，与利用视频的解码和编码的完全转码(这被认为不是轻量级的)相比，这可以被认为是有益的且相当轻量级的。
在合并比特流中，所有条带必须参考相同的参数集合。当原始比特流的参数集合使用甚至显著不同的设置时，轻量级合并可能是不可能的，因为许多参数集合语法元素对条带头部和条带有效载荷语法有进一步的影响，并且它们的影响程度不同。语法元素参与解码过程的程度越深，合并/重写就变得越复杂。(参数集合和其他结构的)语法依赖性的一些值得注意的一般类别可以如下区别。
A.语法存在指示
B.值计算依赖性
C.条带有效载荷编码工具控制
a.解码过程初期使用的语法(例如，系数符号隐藏、块划分限制)
b.解码过程后期使用的语法(例如，运动补偿、环路滤波器)或一般的解码过程控制(参考图片、比特流顺序)
D.源格式参数
针对类别A，参数集合携带用于各种工具的许多存在标志(例如，dependent_slice_segments_enabled_flag或output_flag_present_flag)。在这些标志存在差异的情况下，可以将标志设置为在联合参数集合中启用，并且可以将默认值显式地写入比特流中的条带的合并条带头部中，该合并条带头部不包括合并之前的语法元素，即，在这种情况下，合并需要改变参数集合和条带头部语法。
针对类别B，可以在计算中使用参数集合语法的以信号传送的值以及其他参数集合的参数或条带头部，例如，在HEVC中，使用条带的条带量化参数(OP)来控制条带的残差信号的变换系数量化的粗糙度。比特流中条带QP(SliceQpY)的信号传送取决于图片参数集合(PPS)级别上的OP信号传送，如下所示：
SliceQpY＝26+init_qp_minus26(来自PPS)+slice_qp_delta(来自条带头部)
由于(合并的)编码视频图片中的每个条带需要参考相同的激活PPS，因此要合并的各个流的PPS中的init_qp_minus26的差异要求调整条带头部以反映init_qp_minus26的新的公共值。即，在这种情况下，合并需要改变参数集合和条带头部语法，如针对类别1做出的。
针对类别C，其他参数集合语法元素控制影响条带有效载荷的比特流结构的编码工具。可以根据语法元素参与解码过程的程度和与对这些语法元素进行改变相关联的复杂度(与语法元素参与解码过程的程度相关)来区别子类别C.a和C.b，即，语法元素参与熵编码和像素水平重构之间的哪些过程。
例如，类别C.a中的一个元素是sign data_hiding_enabled_flag，其控制编码变换系数的符号数据的导出。符号数据隐藏可以容易地停用，并且将相应的推断的符号数据显式地写入条带有效载荷中。然而，在再次对逐像素合并的视频进行编码之前，对该类别中的条带有效载荷的这些改变不需要通过完整解码进入像素域。另一示例是推断的块划分决策、或者可以容易地将推断值写入比特流的任何其他语法。即，在这种情况下，合并需要改变参数集合、条带头部语法以及需要熵解码/编码的条带有效载荷。
然而，子类别C.b需要与深入(far down)解码链的过程相关的语法元素，因此，无论如何，许多复杂的解码过程都必须以如下方式执行：避免剩余解码步骤在实现和计算方面是不希望的。例如，与运动补偿约束“时间运动约束图块集合SEI(图片信息的结构)消息”相关联的语法元素或各种与解码过程相关的语法(例如，“SEI消息”)中的差异使得像素级别转码不可避免。与子类别C.a相比，有许多编码器决策以在未进行全像素级别转码的情况下无法改变的方式影响条带有效载荷。
针对类别D，存在参数集合语法元素(例如，通过chroma_format_idc指示的色度子采样)，其中不同的值使得像素级别转码针对合并子比特流是不可避免的。即，在这种情况下，合并需要完整的解码、像素级别合并和完整的编码过程。
上面的列举绝不是穷举的，但是很清楚，各种各样的参数以不同的方式影响将子比特流合并到公共比特流中带来的优点，并且跟踪和分析这些参数很麻烦。
本发明的目的是提供一种视频编解码器，以有效地合并视频比特流。
该目的是通过本申请的权利要求的主题来实现的。
本发明的基本思想是通过包括一个或多个合并标识符来实现对合并多个视频流的改进。这种方法可以减少计算资源的负载，还可以加速合并过程。
根据本申请的实施例，视频编码器被配置为提供包括编码参数信息、编码视频内容信息(即，使用由参数信息定义的编码参数进行了编码)和一个或多个合并标识符的视频流，所述编码参数信息描述多个编码参数，所述一个或多个合并标识符指示编码视频表示是否可以与另一编码视频表示合并和/或编码视频表示可以如何(例如，使用哪个复杂度)与另一编码视频表示合并。可以基于由参数信息定义的参数值来确定使用哪个复杂度。合并标识符可以是多个编码参数的串接，这些参数在两个不同的编码视频表示中必须相等，以便能够使用预定复杂度来合并两个不同的编码视频表示。另外，合并标识符可以是多个编码参数的串接的散列值，这些参数在两个不同的编码视频表示中必须相等，以便能够使用预定复杂度来合并两个不同的编码视频表示。
根据本申请的实施例，合并标识符可以指示合并标识符类型，所述合并标识符类型表示与合并过程的复杂度相关联，或者一般地，可以指示通过参数集合重写进行合并、或者通过参数集合和条带头部重写进行合并、或者通过参数集合、条带头部、条带有效载荷重写进行合并的“合适的”合并方法，其中，合并标识符与合并标识符类型相关联，其中，与合并标识符类型相关联的合并标识符包括在两个不同的编码视频表示中必须相等的那些编码参数，使得能够使用由合并标识符类型表示的合并过程的复杂度来合并两个不同的编码视频表示。合并标识符类型的值可以指示合并过程，其中，视频编码器被配置为在合并标识符类型的以下值中的至少两个值之间切换；合并标识符类型的第一值，其表示通过参数集合重写的合并过程；合并标识符类型的第二值，其表示通过参数集合和条带头部重写的合并过程；以及合并标识符类型的第三值，其表示通过参数集合、条带头部和条带有效载荷重写的合并过程。
根据本申请的实施例，多个合并标识符与合并过程的不同复杂度相关联，例如，每个标识符指示参数集合/散列和合并过程的类型。编码器可以被配置为检查为了提供合并标识符而评估的编码参数是否在视频序列的所有单元中都相同，以及根据所述检查来提供合并标识符。
根据本申请的实施例，多个编码参数可以包括合并相关参数，所述合并相关参数在不同的视频流(即，编码视频表示)中必须相同，以允许与通过全像素解码的合并相比，该合并的复杂度较低，并且其中，视频编码器被配置为基于合并相关参数来提供一个或多个合并标识符，即，在两个编码视频表示之间没有公共参数的情况下，执行全像素解码，即，不可能降低合并过程的复杂度。合并相关参数包括以下参数中的一个或多个或全部：描述图块边界处的运动约束的参数(例如，运动约束图块集合补充增强信息(MCTS SEI))；关于图片组(GOP)结构的信息(即，编码顺序到显示顺序的映射)；随机接入点指示；例如，具有图片结构SOP的时间分层；SEI，描述色度编码格式的参数和描述亮度编码格式的参数，例如，至少包括色度格式和比特深度亮度/色度的集合；描述高级运动矢量预测的参数；描述样本自适应偏移的参数；描述时间运动矢量预测的参数；以及描述环路滤波器和其他编码参数的参数，即，重写参数集合(包括参考图片集合、基本量化参数等)、条带头部、条带有效载荷以合并两个编码视频表示。
根据本申请的实施例，当基于第二编码参数集合确定了与合并过程的第二复杂度相关联的合并参数时，可以基于第一编码参数集合来确定与合并过程的第一复杂度相关联的合并标识符，所述第二复杂度比所述第一复杂度高，所述第二编码参数集合是所述第一编码参数集合的真子集。可以基于第三编码参数集合来确定与合并过程的第三复杂度相关联的合并标识符，所述第三复杂度比所述第二复杂度高，所述第三编码参数集合是所述第二编码参数集合的真子集。视频编码器被配置为：基于编码参数集合来确定与合并过程的第一复杂度相关联的合并标识符，所述编码参数集合例如是在两个不同的视频流(例如，编码视频表示)中必须相等以允许如下方式的视频流的合并的第一集合：仅修改可应用于多个条带的参数集合，同时保持条带头部和条带有效载荷不变，即，(仅)通过参数集合重写的合并过程。视频编码器可以被配置为：基于编码参数集合来确定与合并过程的第二复杂度相关联的合并标识符，所述编码参数集合例如是在两个不同的视频流(例如，编码视频表示)中必须相等以允许如下方式的视频流的合并的第二集合：修改可应用于多个条带的参数集合并且还修改条带头部，同时保持条带有效载荷不变，即，通过参数集合和条带头部重写的合并过程。视频编码器可以被配置为基于编码参数集合来确定与合并过程的第三复杂度相关联的合并标识符，所述编码参数集合例如是在两个不同的视频流(例如，编码视频表示)中必须相等以允许如下方式的视频流的合并的第三集合：修改可应用于多个条带的参数集合并且还修改条带头部和条带有效载荷，但不执行全像素解码和像素重新编码，即，通过参数集合、条带头部和条带有效载荷重写的合并过程。
根据本申请的实施例，一种用于基于多个编码视频表示(例如，视频流)来提供合并视频表示的视频合并器，其中，所述视频合并器被配置为接收包括编码参数信息、编码视频内容信息(即，使用由参数信息定义的编码参数进行了编码)和一个或多个合并标识符的多个视频流，所述编码参数信息描述多个编码参数，所述一个或多个合并标识符指示编码视频表示是否可以与另一编码视频表示合并和/或编码视频表示可以如何与另一编码视频表示合并。其中，视频合并器被配置为根据合并标识符(即，根据对不同视频流的合并标识符的比较)来决定合并方法的用法(例如，合并类型；合并过程)。视频合并器被配置为根据合并标识符，从多个合并方法中选择合并方法。视频合并器可以被配置为在以下合并方法中的至少两个合并方法之间进行选择；第一合并方法，所述第一合并方法是如下方式的视频流的合并：仅修改能够应用于多个条带的参数集合，同时保持条带头部和条带有效载荷不变；第二合并方法，所述第二合并方法是如下方式的视频流的合并：修改能够应用于多个条带的参数集合并且还修改条带头部，同时保持条带有效载荷不变；以及第三合并方法，所述第三合并方法是如下方式的视频流的合并：修改能够应用于多个条带的参数集合并且还修改条带头部和条带有效载荷，但是不执行全像素解码和像素重新编码，其是根据一个或多个合并标识符具有不同复杂度的合并方法。
根据本申请的实施例，视频合并器被配置为对与相同的给定合并方法相关联或与相同的合并标识符类型相关联的两个或更多个视频流的合并标识符进行比较，并且根据比较的结果决定是否使用给定合并方法来执行合并。视频合并器可以被配置为：如果所述比较指示与给定合并方法相关联的两个或更多个视频流的合并标识符相等，则使用给定合并方法来选择性地执行合并。视频合并器可以被配置为：如果合并标识符的比较指示与给定合并方法相关联的两个或更多个视频流的合并标识符不同，则使用复杂度比与所比较的合并标识符相关联的给定合并方法的复杂度高的合并方法，即，无需进一步比较编码参数本身。视频合并器可以被配置为：如果合并标识符的比较指示与给定合并方法相关联的两个或更多个视频流的合并标识符相等，则选择性地比较在两个或更多个视频流中必须相等以允许使用给定合并方法来合并视频流的编码参数，并且其中，视频合并器被配置为：如果对所述编码参数(即，在两个或更多个视频流中必须相等以允许使用给定合并方法来合并视频流的编码参数)的比较指示所述编码参数相等，则选择性地使用给定合并方法来执行合并，并且其中，视频合并器被配置为：如果对所述编码参数的比较指示所述编码参数包括差异，则使用复杂度比给定合并方法的复杂度高的合并方法来执行合并。
根据本申请的实施例，视频合并器可以被配置为：对与具有不同复杂度的合并方法相关联的合并标识符进行比较，即，散列的比较，并且其中，视频合并器被配置为：识别最低复杂度的合并方法，用于该最低复杂度的合并方法的相关联的合并标识符在要合并的两个或更多个视频流中相等；以及其中，视频合并器被配置为：对编码参数(即，各个编码参数，而不是其散列版本)集合进行比较，这些编码参数在要合并的两个或更多个视频流中必须相等，以允许使用所识别的合并方法进行合并，其中，其中不同的、通常重叠的编码参数集合与不同复杂度的合并方法相关联，并且其中，视频合并器被配置为：如果比较指示与所识别的合并方法相关联的编码参数集合的编码参数在要合并的视频流中相等，则使用所识别的合并方法来合并两个或更多个视频流，并且其中，视频合并器被配置为：如果比较指示与所识别的合并方法相关联的编码参数集合的编码参数在要合并的视频流中包括差异，则使用复杂度比所识别的合并方法的复杂度高的合并方法来合并两个或更多个视频流。视频合并器被配置为：根据例如与要合并的不同视频流的相同合并方法或“合并标识符类型”相关联的合并标识符之间的一个或多个差异来确定应在合并过程(即，合并视频流)中修改哪些编码参数。
根据本申请的实施例，视频合并器被配置为：基于要合并的视频流的编码参数来获得与要合并的所有视频流的条带相关联的联合编码参数或联合编码参数集合，例如，序列参数集合SPS和图片参数集合PPS，并且例如，在一个编码视频表示和另一编码视频表示的所有编码参数的值都相同的情况下，将联合编码参数包括在合并视频流中，在编码视频表示的编码参数之间存在任何差异的情况下，通过复制公共参数来更新编码参数，基于主编码视频表示(即，一个编码视频表示是主编码视频表示，且另一编码视频表示是子(sub)编码视频表示)来更新编码参数，例如，一些编码参数(例如，总图片大小)可以根据视频流的组合来适配。视频合并器被配置为：适配分别与各个视频条带相关联的编码参数(例如在条带头部中定义)，或者例如，在使用具有比最低复杂度高的复杂度的合并方法时，以便获得要包括在合并视频流中的修改后的条带。经适配的编码参数包括表示合并编码视频表示的图片大小的参数，其中，所述图片大小基于要合并的编码视频表示的图片大小(即，在各个维度上及在它们的空间布置的上下文中)计算。
根据本申请的实施例，一种用于提供编码视频表示(即，视频流)的视频编码器，其中，视频编码器可以被配置为提供粗糙粒度能力需求信息，例如，级别信息；级别3或级别4或级别5，其描述了视频流与视频解码器的兼容性，例如，视频解码器对视频流的可解码性，该视频解码器具有多个预定能力级别中的能力级别；并且其中，视频编码器被配置为提供精细粒度能力需求信息，例如，合并级别限制信息，其描述了需要与预定能力级别之一相关联的容许能力需求(即，解码器能力)的多大的分数，以对编码视频表示进行解码，和/或描述了编码视频表示(即，子比特流)向视频流合并到的合并视频流贡献了容许能力需求的多大的分数(即，“合并比特流的级别限制”)，该合并比特流的能力需求与预定能力级别之一一致，即，该合并比特流的能力需求比容许能力需求小或等于容许能力需求，“合并比特流的与预定能力级别之一一致的容许能力需求”与“合并比特流的级别限制”相对应”。视频编码器被配置为提供精细粒度能力需求信息，使得精细粒度能力需求信息包括参考预定预定能力级别之一的比率值或百分比值。视频编码器被配置为提供精细粒度能力需求信息，使得精细粒度能力需求信息包括参考信息和分数信息，并且其中，参考信息描述分数信息参考预定能力级别中的哪一个，使得精细粒度能力需求信息整体上描述预定能力级别之一的分数。
根据本申请的实施例，一种视频合并器，用于基于多个编码视频表示(即，视频流)来提供合并视频表示，其中，视频合并器可以被配置为接收多个视频流，所述多个视频流包括编码参数信息、编码视频内容信息(例如使用由参数信息定义的编码参数进行了编码)、粗糙粒度能力需求信息和精细粒度能力需求信息(例如，合并级别限制信息)，所述编码参数信息描述多个编码参数，所述粗糙粒度能力需求信息例如是级别信息——级别3或级别4或级别5，其描述了视频流与视频解码器的兼容性，即，视频解码器对视频流的可解码性，所述视频解码器具有多个预定能力级别之一，其中，所述视频合并器被配置为根据粗糙粒度能力需求信息和精细粒度能力需求信息来合并两个或更多个视频流。视频合并器可以被配置为：即，在不违反容许能力需求(即，合并视频流的这种能力需求与预定能力级别之一一致)的情况下，根据精细分辨率能力需求信息，来决定哪些视频流可以是合并视频流或可以被包括在合并视频流中。视频合并器可以被配置为：决定有效的合并视频流(例如在不违反容许能力需求的情况下，即，使得合并视频流的能力需求与预定能力级别之一达成一致)是否可以通过根据精细分辨率能力需求信息合并两个或更多个视频流来获得。视频合并器被配置为对要合并的多个视频流的精细粒度能力需求信息进行综合，例如，以确定可以包括哪些视频流，或者以决定是否可以获得有效的合并视频流。
以下参照附图描述本申请的优选实施例，其中：
图1示出了作为视频编码器的示例的用于提供编码视频表示的装置的框图，其中可以实现根据本申请的实施例的比特流合并概念；
图2示出了说明根据本申请的实施例的比特流结构的示例的示意图；
图3示出了作为视频编码器的另一示例的用于提供编码视频表示的装置的框图，其中可以实现根据本申请的实施例的比特流合并概念；
图4示出了根据本申请的实施例的编码参数的示例的示意图；
图5a、图5b示出了图4中指示的详细的序列参数集合(SPS)示例；
图6a、图6b示出了图4中指示的详细的图片参数集合(PPS)示例；
图7a至图7d示出了图4中指示的详细的条带头部示例；
图8示出了图4中指示的补充增强信息(SEI)消息中的图片的详细结构；
图9示出了图4中指示的SEI消息中的详细的运动约束图块集合；
图10示出了作为视频合并器的示例的用于提供合并视频表示的装置的框图，其中可以实现根据本申请的实施例的比特流合并概念；
图11示出了说明根据本申请的实施例的合并复杂度的确定过程的示意图；
图12示出了根据本申请的比特流合并概念的要合并的多个视频表示的比特流结构和合并视频表示的比特流结构的示意图；
图13示出了作为视频合并器的另一示例的用于提供合并视频表示的装置的框图，其中可以实现根据本申请的实施例的比特流合并概念；
图14示出了作为视频编码器的示例的用于提供编码视频表示的装置的框图，其提供根据本申请的实施例可以实现的合并视频表示能力需求信息；
图15示出了作为视频合并器的示例的用于提供合并视频表示的装置的框图，其提供根据本申请的实施例可以实现的合并视频表示能力需求信息。
以下描述阐述了具体的细节，如为了解释而不是限制的目的的特定的实施例、过程、技术等。本领域技术人员将理解，除了这些特定细节，可以使用其他实施例。例如，尽管使用非限制性示例应用促进了以下描述，但是该技术可以应用于任何类型的视频编解码器。在一些实例中，省略了对公知方法、节点、接口、电路和设备的详细描述，从而不以不必要的细节模糊描述。
在以下描述中，通过相同或等同附图标记来表示相同或等同元件或者具有相同或等同功能的元件。
本文的发明旨在给诸如VVC(多功能视频编码)之类的未来视频编解码器提供在每个子比特流中放入指示的手段，该指示允许识别可以一起合并到合法比特流中的子比特流，或者识别不能以给定级别的复杂度一起合并到合法比特流中的子比特流。在下文中被称为“合并标识符”的指示还通过被称为“合并标识符类型”的指示来提供关于合适的合并方法的信息。假定两个比特流携带“合并标识符”及其相同的值，则可以在给定级别的合并复杂度(与合并方法相关)下将子比特流合并为新的联合比特流。
图1示出了用于基于所提供的(输入)视频流10提供编码视频表示(即，编码视频流12)的视频编码器2，其包括编码器核4，编码器核4包括编码参数确定部件14和合并标识符提供6。所提供的视频流10以及编码视频流12分别具有比特流结构，例如，如图2所示作为简化配置。比特流结构由多个网络抽象层(NAL)单元组成，每个NAL单元包括各种参数和/或数据，例如序列参数集合(SPS)20、图片参数集合(PPS)22、即时解码器刷新(IDR)24、补充增强信息(SEI)26和多个条带28。SEI 26包括各种消息，即，图片的结构、运动约束图块集合等。条带28包括头部30和有效载荷32。编码参数确定部件14基于SPS 20、PPS 22、SEI 26和条带头部30来确定编码参数。根据本申请，IDR 24不是确定编码参数的必要因素，但是可以可选地包括IDR 24以用于确定编码参数。合并标识符提供6提供合并标识符，该合并标识符指示编码视频流是否可以与另一编码视频流合并和/或编码视频流可以如何(以哪个复杂度)与另一编码视频流合并。合并标识符确定合并标识符，所述合并标识符指示合并标识符类型，所述合并标识符类型表示与合并过程的复杂度相关联，或者一般地，指示“合适的”合并方法，例如，通过参数集合重写进行合并、或者通过参数集合和条带头部重写进行合并、或者通过参数集合、条带头部、条带有效载荷重写进行合并，其中，合并标识符与合并标识符类型相关联，其中，与合并标识符类型相关联的合并标识符包括在两个不同的编码视频表示中必须相等的那些编码参数，使得能够使用由合并标识符类型表示的合并过程的复杂度来合并两个不同的编码视频表示。
结果，编码视频流12包括描述多个编码参数的编码参数信息、编码视频内容信息和一个或多个合并标识符。在该实施例中，基于编码参数来确定合并标识符。然而，还可以根据编码器操作者的意愿在很少保证冲突避免(这对于封闭系统来说可能是足够的)的情况下设置合并标识符值。诸如DVB(数字视频广播)、ATSC(高级电视系统委员会)之类的第三方实体可以定义要在其系统内使用的合并标识符的值。
考虑使用图3至图9的根据本发明的另一实施例，在下面描述合并标识符类型。
图3a示出了编码器2(2a)，其包括编码器核4和合并标识符6a，并指示编码器2a中的数据流。合并标识符6a包括第一散列部件16a和第二散列部件16b，它们提供散列值作为合并标识符以指示合并类型。也就是说，合并值可以根据比特流的定义的语法元素(编码参数)集合的编码值的串接而形成，在下文中称为散列集合。合并标识符值还可以通过将上述编码值的串接送入公知的散列函数(例如，MD5、SHA-3)或任何其他合适的函数来形成。如图3所示，输入视频流10包括输入视频信息，并且在编码器核4处处理输入视频流10。编码器核4对输入视频内容进行编码，并且将编码视频内容信息存储在有效载荷32中。编码参数确定部件14接收包括SPS、PPS、条带头部和SEI消息在内的参数信息。该参数信息被存储在每个对应单元内，并在合并标识符提供6a处接收该参数信息，即，分别在第一散列部件16a和第二散列部件16b处接收。第一散列部件16a基于编码参数来产生例如指示合并标识符类型2的散列值，并且第二散列部件16b基于编码参数来产生例如指示合并标识符类型1的散列值。
散列集合的内容(即串接哪些语法元素(即，合并参数)值以形成合并标识符值)确定关于上述语法类别的可合并性指示的质量。
例如，合并标识符类型指示关于合并标识符的适合的合并方法，即，与并入散列集合中的语法元素相对应的不同级别的可合并性：
类型0-用于通过参数集合重写进行合并的合并标识符
类型1-用于通过参数集合和条带头部重写进行合并的合并标识符
类型2-用于通过参数集合、条带头部和条带有效载荷重写进行合并的合并标识符
例如，给定要在本申请的上下文中合并的两个输入子比特流，设备可以对合并标识符和合并标识符类型的值进行比较，并且得出在两个子比特流上使用与合并标识符类型相关联的方法的前景的结论。
下表给出了语法元素类别和相关联的合并方法之间的映射。
Figure BDA0003062891320000141
Figure BDA0003062891320000151
如上所述，语法类别绝不是穷举的，但是很清楚，各种各样的参数以不同的方式影响将子比特流合并到公共比特流中带来的优点，并且跟踪和分析这些参数很麻烦。另外，语法类别和合并方法(类型)不完全对应，因此，例如针对类别B，需要一些参数，但是合并方法1不需要相同的参数。
产生根据以上标识符类型值中的两个或更多个的合并标识符值，并将这些合并标识符值写入比特流以允许设备容易识别可应用的合并方法。合并方法(类型)0指示合并标识符类型的第一值，合并方法(类型)1指示合并标识符类型的第二值，并且合并方法(类型)3指示合并标识符类型的第三值。
应将以下示例性语法并入散列集合中。
·时间运动约束图块集合SEI消息，其指示图块和图片边界处的运动约束(合并方法0、1、2，语法类别C.b)
·图片信息SEI消息的结构，其定义GOP结构(即，编码顺序到显示顺序的映射、随机接入点指示、时间分层、参考结构)(合并方法0、1、2，语法类别C.b)
·参数集合语法元素值
o参考图片集合(合并方法0，语法类别B)
o色度格式(合并方法0、1、2，语法类别D)
o基本QP、色度QP偏移(合并方法0，语法类别B)
o比特深度亮度/色度(合并方法0、1、2，语法类别D)
ohrd参数
■初始到达延迟(合并方法0，语法类别B)
■初始移除延迟(合并方法0，语法类别B)
o编码工具
■编码块结构(最大/最小块大小、推断的分割)(合并方法0、1，语法类别C.a)
■变换大小(最小/最大)(合并方法0、1，语法类别C.a)
■PCM块使用(合并方法0、1，语法类别C.a)
■高级运动矢量预测(合并方法0、1、2，语法类别C.b)
■样本自适应偏移(合并方法0，语法类别C.b)
■时间运动矢量预测(合并方法0、1、2，语法类别C.b)
■帧内平滑(合并方法0、1，语法类别C.a)
■相关条带(合并方法0，语法类别A)
■符号隐藏(合并方法0、1，语法类别C.a)
■加权预测(合并方法0，语法类别A)
■变换量化(transquant)旁路(合并方法0、1，语法类别C.a)
■熵编码同步(合并方法0、1，语法类别C.a)(Skup4)
■环路滤波器(合并方法0、1、2，语法类别C.b)
·条带头部值
o参数集合ID(合并方法0，语法类别C.a)
o参考图片集合(合并方法0、1，语法类别B)
·使用隐式CTU地址信号传送cp.(被欧洲专利申请号：EP 18153516参考)(合并方法0，语法元素A)
也就是说，针对合并标识符类型的第一值，即类型0，语法元素(参数)图块和图片边界处的运动约束、GOP结构、参考图片集合、色度格式、基本量化参数和色度量化参数、比特深度亮度/色度、包括关于初始到达延迟的参数和关于初始移除延迟的参数在内的假设参考解码器参数、编码块结构、变换最小和/或最大大小、脉冲编码调制块使用、高级运动矢量预测、样本自适应偏移、时间运动矢量预测，描述了帧内平滑、相关条带、符号隐藏、加权预测、变换量化旁路、熵编码同步、环路滤波器、包括参数集合ID的条带头部值、包括参考图片集合的条带头部值以及隐式编码变换单元地址信号传送的使用应被并入散列集合中。
针对合并标识符类型的第二值，即类型1，语法元素(参数)：图块和图片边界处的运动约束、GOP结构、色度格式、比特深度亮度/色度、编码块结构、变换最小和/或最大大小、脉冲编码调制块使用、高级运动矢量预测、样本自适应偏移、时间运动矢量预测、帧内平滑、符号隐藏、变换量化旁路、熵编码同步、环路滤波器和包括参考图片集合的条带头部值。
针对合并标识符类型的第三值，即类型2，语法元素(参数)：图块和图片边界处的运动约束、GOP结构、色度格式、比特深度亮度/色度、高级运动矢量预测、样本自适应偏移、时间运动矢量预测、环路滤波器。
图4示出了说明根据本申请的实施例的编码参数的示例的示意图。在图4中，附图标记40表示类型0，并且由点线指示属于类型0的语法元素。附图标记42表示类型1，并且由常规线(normal line)指示属于类型1的语法元素。附图标记44表示类型2，并且由短划线指示属于类型1的语法元素。
图5a和图5b是序列参数集合(SPS)20的示例，类型0所需的语法元素由附图标记40指示。以相同的方式，类型1所需的语法元素由附图标记42指示，类型2所需的语法元素由附图标记44指示。
图6a和图6b是图片参数集合(PPS)22的示例，类型0所需的语法元素由附图标记40指示，类型1所需的语法元素由附图标记42指示。
图7a至图7d是条带头部30的示例，并且条带头部的仅一个语法元素是类型0必需的，如图7c中的附图标记40所指示。
图8是图片结构(SOP)26a的示例，并且属于SOP的所有语法元素都是类型2需要的。
图9是运动约束图块集合(MCTS)26b的示例，并且属于MCTS的所有语法元素都是类型2需要的。
如上所述，图3的合并标识符6a使用散列部件16a以及散列部件16b处的散列函数来生成合并标识符值。在使用散列函数生成两个或更多个合并标识符值的情况下，以以下方式连接散列：输入到包含散列集合中相对于第一合并标识符的附加元素的第二合并标识符的散列函数使用第一标识符值(散列结果)而不是各个语法元素值，以将散列函数的输入串接。
另外，合并标识符的存在还提供以下保证：并入散列集合中的语法元素在编码视频序列(CVS)和/或比特流的所有接入单元(AU)中具有相同的值。此外，该保证在参数集合的配置文件/级别语法中具有约束标志的形式。
考虑使用图10至图13的根据本发明的另一实施例，在下面描述合并过程。
图10示出了用于基于多个编码视频表示来提供合并视频流的视频合并器。视频合并器50包括接收器52、合并方法标识符54和合并处理器56，接收器52接收输入视频流12(图12中所示的12a和12b)。合并视频流60被发送到解码器。在视频合并器50被包括在解码器中的情况下，合并视频流被发送到用户设备或任何其他装置以显示合并视频流。
合并过程由上述合并标识符和合并标识符类型驱动。合并过程可以只需要生成参数集合加上NAL单元的交织，这是与合并标识符类型值0相关联的合并的最轻量级的形式，即第一复杂度。图12示出了第一复杂度合并方法的示例。如图12所示，参数集合，即视频流12a的SPS1和视频流12b的SPS2被合并(基于SPS1和SPS2来生成合并的SPS)，且视频流12a的PPS1和视频流12b的PPS被合并(基于PPS1和PPS2来生成合并的PPS)。IDR是可选数据，因此省略说明。另外，将视频流12a的条带1，1和1，2以及视频流12b的条带2，1和2，2交织，如合并视频流60所示。在图10和图12中，作为示例，输入两个视频流12a和12b。然而，也可以以相同方式输入和合并更多的视频流。
当需要时，合并过程还可以包括在与合并标识符类型值1(即，第二复杂度)相关联的NAL单元交织期间在比特流中重写条带头部。此外及最后，存在条带有效载荷中的语法元素需要调整的情况，这与合并标识符类型值2(即，第三复杂度)相关联，并且需要在NAL单元交织期间进行熵解码和编码。合并标识符和合并标识符类型驱动对选择要执行的合并过程之一及其细节的决定。
合并过程的输入是输入子比特流的列表，该列表还表示空间布置。该过程的输出是合并比特流。一般地，在所有比特流合并过程中，需要生成用于新的输出比特流的参数集合，其可以基于输入子比特流(例如，第一输入子比特流)的参数集合。对参数集合的必要更新包括图片大小。例如，将输出比特流的图片大小计算为输入比特流在各个维度上及在它们的空间布置的上下文中的图片大小的总和。
比特流合并过程要求所有输入子比特流携带合并标识符和合并标识符类型中至少一个实例的相同值。在一个实施例中，执行与合并标识符类型的最小值相关联的合并过程，针对该合并标识符类型的最小值，所有子比特流携带合并标识符的相同值。
例如，在合并过程中使用具有某个合并标识符类型值的合并标识符值中的差异，以根据与合并标识符值匹配的合并标识符类型的差异值确定合并过程的细节。例如，如图11所示，当具有等于0的合并标识符类型值的第一合并标识符70在两个输入子比特流70a和70b之间不匹配，但是具有等于1的合并标识符类型值的第二合并标识符80在两个子比特流80a和80b之间匹配时，第一合并标识符70的比特位置差异指示所有条带中需要调整的(条带头部相关)语法元素。
图13示出了视频合并器50(50a)，其包括接收器(未示出)以及合并处理器56，合并方法标识符包括合并标识符比较器54a和编码参数比较器54b。在输入视频流12包括散列值作为合并标识符值的情况下，在合并标识符比较器54a处比较每个输入视频流的值。例如，当两个输入视频流都具有相同的合并标识符值时，在编码参数比较器54b处比较每个输入视频流的各自的编码参数。基于编码参数比较结果来决定合并方法，并且合并处理器56通过使用所决定的合并方法来合并输入视频流12。在合并标识符值(散列值)也指示合并方法的情况下，不需要各个编码参数比较。
以上解释了三种合并方法——第一复杂度合并方法、第二复杂度合并方法和第三复杂度合并方法。第四合并方法是使用全像素解码和像素重新编码来合并视频流。如果所有三种合并方法都不可应用，则应用第四合并方法。
下面考虑使用图14和图15的根据本发明的另一实施例来描述用于识别合并结果级别的过程。合并结果级别的识别意味着将信息放入子比特流中，并且关于子比特流对包括子比特流的合并比特流的级别限制的贡献有多大。
图14示出了编码器2(2b)，编码器2(2b)包括编码器核，编码器核包括编码参数确定14、合并标识符提供(未示出)以及粒度能力提供器8。
一般地，当要将子比特流合并为联合比特流时，关于各个子比特流对潜在的合并比特流必须遵守的编解码器系统的级别特定的限制的贡献程度如何的指示对于确保创建合法的联合比特流是至关重要的。尽管传统上，编解码器级别粒度相当粗糙(例如，区分如720p、1080p或4K的主分辨率)，但是合并级别限制指示需要更精细的粒度。这种传统级别指示的粒度不足以表示各个子比特流对合并比特流的贡献。鉴于要合并的图块数量事先未知，因此需要在灵活性和比特率开销之间找到合理的折衷，但是通常，它远超过传统的级别限制粒度。一个示例性用例是360度视频流，其中服务供应商需要在不同的图块化结构(例如，每360度视频12、24或96个图块)之间进行选择的自由，其中每个图块流将贡献整个级别限制(例如，假设速率分布相等，则为8K)的1/12、1/24或1/96。甚至进一步，假设图块之间的速率分布不均匀(例如，为了实现视频平面上的恒定质量)，可能需要任意精细粒度。
例如，这种信号传送将是另外以信号传送的级别的以信号传送的比率和/或百分比。例如，在具有四个参与者的会议场景中，每个参与者将发送合法的级别3比特流，该比特流还包括指示，即包括在粗糙粒度能力信息中的级别信息，该指示表明发送的比特流遵循级别5限制的1/3和/或33％，即该信息可以包括在精细粒度能力信息中，多个这样的流的接收器(即，图15中所示的视频合并器50(50b))因此例如可以知道这三个比特流可以被合并到遵循级别5的单个联合比特流中。
粒度能力信息可以具有比率和/或百分比的指示作为值的向量，每个维度都涉及编解码器级别限制的另一方面，例如，每秒最大允许亮度样本数、最大图像大小、比特率、缓冲器满度、图块数量等。另外，比率和/或百分比是指视频比特流的一般编解码器级别。
虽然已经在装置或系统的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置和/或系统的特征的描述。可以由(或使用)硬件设备(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
本发明的数据流可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以通过使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、Blu-Ray、CD、ROM、PROM和EPROM、EEPROM或闪存)来执行所述实现方案，所述控制信号与可编程计算机系统协作(或能够与之协作)，从而执行相应方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收器(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

Claims (60)

1.一种用于提供编码视频表示(12)的视频编码器(2)，
其中，所述视频编码器(2)被配置为提供包括编码参数信息、编码视频内容信息和一个或多个合并标识符的视频流(12)，所述编码参数信息描述多个编码参数(20、22、26、30)，所述一个或多个合并标识符指示所述编码视频表示(12)是否能够与另一编码视频表示合并和/或所述编码视频表示(12)能够如何与另一编码视频表示合并。
2.根据权利要求1所述的视频编码器(2)，其中，基于由参数信息定义的参数值来确定使用哪个复杂度。
3.根据权利要求1或2所述的视频编码器(2)，其中，所述合并标识符是多个编码参数(20、22、26、30)的串接。
4.根据权利要求1至3中任一项所述的视频编码器(2)，其中，所述合并标识符是多个编码参数(20、22、26、30)的串接的散列值。
5.根据权利要求1至4中任一项所述的视频编码器(2)，其中，所述合并标识符指示表示合并过程的复杂度的合并标识符类型(40、42、44)。
6.根据权利要求5所述的视频编码器(2)，其中，所述合并标识符类型(40、42、44)的值指示合并过程，其中，所述视频编码器被配置为在所述合并标识符类型的以下值中的至少两个值之间切换：
合并标识符类型(40)的第一值，表示通过参数集合(20、22、26)重写的合并过程，
合并标识符类型(42)的第二值，表示通过参数集合(20、22、26)和条带头部(30)重写的合并过程，以及
合并标识符类型(44)的第三值，表示通过参数集合(20、22、26)、条带头部(30)和条带有效载荷(32)重写的合并过程。
7.根据权利要求1至6中任一项所述的视频编码器(2)，其中，多个合并标识符与合并过程的不同复杂度相关联。
8.根据权利要求1至7中任一项所述的视频编码器(2)，其中，所述编码器(2)被配置为检查为了提供所述合并标识符而评估的编码参数(20、22、26、30)是否在视频序列的所有单元中都相同，以及
根据所述检查来提供所述合并标识符。
9.根据权利要求1至8中任一项所述的视频编码器(2)，其中，所述多个编码参数(20、22、26、30)包括合并相关参数，所述合并相关参数在不同的视频流中必须相同，以允许合并具有比通过全像素解码的合并低的复杂度，以及
其中，所述视频编码器(2)被配置为基于所述合并相关参数来提供所述一个或多个合并标识符。
10.根据权利要求9所述的视频编码器(2)，其中，所述合并相关参数包括以下参数中的一个或多个或全部：描述图块边界处的运动约束的参数、关于图片组GOP结构的信息、描述色度编码格式的参数和描述亮度编码格式的参数、描述高级运动矢量预测的参数、描述样本自适应偏移的参数、描述时间运动矢量预测的参数、以及描述环路滤波器的参数。
11.根据权利要求1至7中任一项所述的视频编码器(2)，其中，当基于第二编码参数集合确定了与合并过程的第二复杂度相关联的合并参数时，基于第一编码参数集合来确定与合并过程的第一复杂度相关联的合并标识符，所述第二复杂度比所述第一复杂度高，所述第二编码参数集合是所述第一编码参数集合的真子集。
12.根据权利要求11所述的视频编码器(2)，基于第三编码参数集合来确定与合并过程的第三复杂度相关联的合并标识符，所述第三复杂度比所述第二复杂度高，所述第三编码参数集合是所述第二参数集合的真子集。
13.根据权利要求11或12所述的视频编码器(2)，其中，所述视频编码器(2)被配置为基于在两个不同的视频流中必须相等以允许如下方式的视频流的合并的编码参数集合来确定与合并过程的第一复杂度相关联的合并标识符：仅修改能够应用于多个条带的参数集合，同时保持条带头部和条带有效载荷不变。
14.根据权利要求11至12中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为基于以下参数中的一个或多个或全部参数来确定与所述第一复杂度相关联的合并标识符：
指示图块和图片边界处的运动约束的参数，
定义GOP结构的参数，
描述参考图片集合的参数，
描述色度格式的参数，
描述基本量化参数和色度量化参数的参数，
描述比特深度亮度/色度的参数，
描述假设参考解码器参数的参数，所述假设参考解码器参数包括关于初始到达延迟的参数和关于初始移除延迟的参数，
描述编码块结构的参数，
描述变换最小大小和/或最大大小的参数，
描述脉冲编码调制块使用的参数，
描述高级运动矢量预测的参数，
描述样本自适应偏移的参数，
描述时间运动矢量预测的参数，
描述帧内平滑的参数，
描述相关条带的参数，
描述符号隐藏的参数，
描述加权预测的参数，
描述变换量化旁路的参数，
描述熵编码同步的参数，
描述环路滤波器的参数，
描述包括参数集合ID在内的条带头部值的参数，
描述包括参考图片集合在内的条带头部值的参数，以及
描述使用隐式编码变换单元地址信号传送的参数。
15.根据权利要求11至14中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为基于在两个不同的视频流中必须相等以允许如下方式的视频流的合并的编码参数集合来确定与合并过程的第二复杂度相关联的合并标识符：修改能够应用于多个条带的参数集合并且还修改条带头部，同时保持条带有效载荷不变。
16.根据权利要求11至15中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为基于以下参数中的一个或多个或全部参数来确定与所述第二复杂度相关联的合并标识符：
指示图块和图片边界处的运动约束的参数，
定义GOP结构的参数，
描述色度格式的参数，
描述比特深度亮度/色度的参数，
描述编码块结构的参数，
描述变换最小大小和/或最大大小的参数，
描述脉冲编码调制块使用的参数，
描述高级运动矢量预测的参数，
描述样本自适应偏移的参数，
描述时间运动矢量预测的参数，
描述帧内平滑的参数，
描述符号隐藏的参数，
描述变换量化旁路的参数，
描述熵编码同步的参数，
描述环路滤波器的参数，以及
描述包括参考图片集合在内的条带头部值的参数。
17.根据权利要求112至16中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为基于在两个不同的视频流中必须相等以允许如下方式的视频流的合并的编码参数集合来确定与合并过程的第三复杂度相关联的合并标识符：修改能够应用于多个条带的参数集合并且还修改条带头部和条带有效载荷，但是不执行全像素解码和像素重新编码。
18.根据权利要求11至17中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为基于以下参数中的一个或多个或全部参数来确定与所述第三复杂度相关联的合并标识符：
指示图块和图片边界处的运动约束的参数，
定义GOP结构的参数，
描述色度格式的参数，
描述比特深度亮度/色度的参数，
描述高级运动矢量预测的参数，
描述样本自适应偏移的参数，
描述时间运动矢量预测的参数，以及
描述环路滤波器的参数。
19.根据权利要求1至18中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为将散列函数应用于第二合并标识符与在确定所述第二合并标识符时没有被考虑的一个或多个编码参数的串接，以便获得与合并过程的第一复杂度相关联的第一合并标识符，其中所述第二合并标识符与合并过程的第二复杂度相关联，所述第一复杂度比所述第二复杂度低。
20.根据权利要求1至19中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为将散列函数应用于第三合并标识符与在确定所述第三合并标识符时没有被考虑的一个或多个编码参数的串接，以便获得与合并过程的第二复杂度相关联的第二合并标识符，其中所述第三合并标识符与合并过程的第三复杂度相关联，所述第二复杂度比所述第三复杂度低。
21.一种视频合并器(50)，用于基于多个编码视频表示(12a、12b)来提供合并视频表示(60)，
其中，所述视频合并器(50)被配置为接收包括编码参数信息、编码视频内容信息和一个或多个合并标识符的多个视频流(12a、12b)，所述编码参数信息描述多个编码参数(20、22、26、30)，所述一个或多个合并标识符指示编码视频表示(12a)是否能够与另一编码视频表示(12b)合并和/或编码视频表示(12a)能够如何与另一编码视频表示(12b)合并；
其中，所述视频合并器(50)被配置为根据所述合并标识符来决定合并方法的用法。
22.根据权利要求21所述的视频合并器(50)，其中，所述视频合并器(50)被配置为：根据所述合并标识符，从多个合并方法中选择合并方法。
23.根据权利要求22所述的视频合并器(50)，
其中，所述视频合并器(50)被配置为根据一个或多个合并标识符，在以下合并方法中的至少两个合并方法之间进行选择：
第一合并方法，所述第一合并方法是如下方式的视频流(12a、12b)的合并：仅修改能够应用于多个条带(28)的参数集合(20、22、26)，同时保持条带头部(30)和条带有效载荷(32)不变；
第二合并方法，所述第二合并方法是如下方式的视频流(12a、12b)的合并：修改能够应用于多个条带(28)的参数集合(20、22、26)并且还修改条带头部(30)，同时保持条带有效载荷(32)不变；以及
第三合并方法，所述第三合并方法是如下方式的视频流(12a、12b)的合并：修改能够应用于多个条带(28)的参数集合(20、22、26)并且还修改条带头部(30)和条带有效载荷(32)，但是不执行全像素解码和像素重新编码。
24.根据权利要求23所述的视频合并器(50)，
其中，所述视频合并器(50)被配置为：根据所述一个或多个合并标识符，选择性地使用第四合并方法，所述第四合并方法是使用全像素解码和像素重新编码的视频流的合并。
25.根据权利要求22至24中任一项所述的视频合并器(50)，其中，所述视频合并器(50)被配置为：对与相同的给定合并方法相关联的两个或更多个视频流的合并标识符进行比较，以根据比较的结果来决定是否使用所述给定合并方法来执行合并。
26.根据权利要求25所述的视频合并器(50)，其中，所述视频合并器(50)被配置为：如果所述比较指示与所述给定合并方法相关联的所述两个或更多个视频流的合并标识符相等，则使用所述给定合并方法来选择性地执行合并。
27.根据权利要求25所述的视频合并器(50)，其中，所述视频合并器(50)被配置为：如果所述比较指示与所述给定合并方法相关联的所述两个或更多个视频流的合并标识符不同，则使用复杂度比所述给定合并方法的复杂度高的合并方法。
28.根据权利要求27所述的视频合并器(50)，其中，所述视频合并器(50)被配置为：在所述比较指示与所述给定合并方法相关联的两个或更多个视频流的合并标识符相等的情况下，选择性地对在所述两个或更多个视频流中必须相等以允许使用所述给定合并方法的视频流的合并的编码参数(20、22、26、30)进行比较，以及
其中，所述视频合并器(50)被配置为：如果对所述编码参数(20、22、26、30)的比较指示所述编码参数相等，则使用所述给定合并方法来选择性地执行合并，以及
其中，所述视频合并器(50)被配置为：如果对所述编码参数的比较指示所述编码参数包括差异，则使用复杂度比所述给定合并方法的复杂度高的合并方法来执行合并。
29.根据权利要求21至28中任一项所述的视频合并器(50)，
其中，所述视频合并器(50)被配置为对与具有不同复杂度的合并方法相关联的合并标识符进行比较，以及
其中，所述视频合并器(50)被配置为使用最低复杂度的合并方法来合并两个或更多个视频流，针对所述最低复杂度的合并方法的相关联的合并标识符在要合并的两个或更多个视频流中相等。
30.根据权利要求22至29中任一项所述的视频合并器(50)，
其中，所述视频合并器(50)被配置为对与具有不同复杂度的合并方法相关联的合并标识符进行比较，以及
其中，所述视频合并器(50)被配置为识别最低复杂度的合并方法，针对所述最低复杂度的合并方法的相关联的合并标识符在要合并的两个或更多个视频流中相等；以及
其中，所述视频合并器被配置为对在要合并的两个或更多个视频流中必须相等以允许使用所识别的合并方法进行合并的编码参数(20、22、26、30)集合进行比较，以及
其中，所述视频合并器(50)被配置为：如果所述比较指示与所识别的合并方法相关联的编码参数集合的编码参数(20、22、26、30)在要合并的视频流中相等，则使用所识别的合并方法来合并所述两个或更多个视频流。
31.根据权利要求22至30中任一项所述的视频合并器(50)，其中，所述视频合并器(50)被配置为根据要合并的不同视频流的合并标识符之间的一个或多个差异，来确定在合并过程中应修改哪些编码参数。
32.根据权利要求31所述的视频合并器(50)，其中，所述视频合并器(50)被配置为根据与要合并的不同视频流的合并标识符之间的一个或多个差异，来确定在具有给定复杂度的合并方法中应修改哪些编码参数，其中所述合并标识符与具有比所述给定复杂度低的复杂度的合并方法相关联。
33.根据权利要求21至32中任一项所述的视频合并器(50)，其中，所述视频合并器(50)被配置为基于要合并的视频流的编码参数(20、22、26、30)来获得与要合并的所有视频流的条带(28)相关联的联合编码参数，以及
将所述联合编码参数包括在合并视频流(60)中。
34.根据权利要求33所述的视频合并器(50)，其中，所述视频合并器(50)被配置为适配分别与各个视频条带(28)相关联的编码参数，以获得要包括在所述合并视频流(60)中的修改后的条带。
35.根据权利要求34所述的视频合并器(50)，其中，所述经适配的编码参数包括表示合并编码视频表示的图片大小的参数，其中，基于要合并的编码视频表示的图片大小来计算所述图片大小。
36.一种用于提供编码视频表示的方法，包括：
提供包括编码参数信息、编码视频内容信息和一个或多个合并标识符的视频流(12)，所述编码参数信息描述多个编码参数(20、22、26、30)，所述一个或多个合并标识符指示所述编码视频表示(12)是否能够与另一编码视频表示合并和/或所述编码视频表示(12)能够如何与另一编码视频表示合并。
37.一种用于基于多个编码视频表示来提供合并视频表示的方法，包括：
接收包括编码参数信息、编码视频内容信息和一个或多个合并标识符的多个视频流(12a、12b)，所述编码参数信息描述多个编码参数(20、22、26、30)，所述一个或多个合并标识符指示编码视频表示(12a)是否能够与另一编码视频表示(12b)合并和/或编码视频表示(12a)能够如何与另一编码视频表示(12b)合并；以及
根据所述合并标识符，从多个合并方法中选择合并方法。
38.一种用于合并两个或更多个视频流的合并方法，包括：
基于不同视频流的编码参数信息来提供公共编码参数信息，同时保持编码视频内容信息不变；
基于不变的编码视频内容信息来选择合并过程；以及
使用所选择的合并过程来合并两个或更多个视频流。
39.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据权利要求36至38中的一项所述的方法。
40.一种数据流，由根据权利要求36至38中的一项所述的方法生成。
41.一种用于提供编码视频表示(12)的视频编码器(2)，
其中，所述视频编码器(2)被配置为提供粗糙粒度能力需求信息，所述粗糙粒度能力需求信息描述了视频流与具有多个预定能力级别中的能力级别的视频解码器的兼容性，并且其中，所述视频编码器(2)被配置为提供精细粒度能力需求信息，所述精细粒度能力需求信息描述了：需要与所述预定能力级别之一相关联的容许能力需求中的哪个分数以对编码视频表示进行解码，和/或所述精细粒度能力需求信息描述了：编码视频表示(12)向合并视频流(60)贡献了容许能力需求的哪个分数，所述合并视频流的能力需求与所述预定能力级别之一一致。
42.根据权利要求41所述的视频编码器(2)，其中，所述视频编码器(2)被配置为提供所述精细粒度能力需求信息，使得所述精细粒度能力需求信息包括比率值或百分比值。
43.根据权利要求41或42所述的视频编码器(2)，其中，所述视频编码器(2)被配置为提供所述精细粒度能力需求信息，使得所述精细粒度能力需求信息包括参考由所述粗糙粒度能力需求信息描述的预定能力级别的比率值或百分比值。
44.根据权利要求41至43中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为提供所述精细粒度能力需求信息，使得所述精细粒度能力需求信息包括参考信息和分数信息，以及
其中，所述参考信息描述所述分数信息参考所述预定能力级别中的哪一个。
45.根据权利要求41至44中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为提供所述精细粒度能力需求信息，使得所述精细粒度能力需求信息在关于多个标准的能力需求方面描述编码视频表示(60)的能力需求。
46.根据权利要求41至45中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为提供所述精细粒度能力需求信息，使得所述精细粒度能力需求信息包括与不同标准相关的多个分数值。
47.根据权利要求41至46中任一项所述的视频编码器(2)，其中，所述视频编码器(2)被配置为提供所述精细粒度能力需求信息，使得所述精细粒度能力需求信息包括描述以下标准中的至少两个标准的多个分数值：
-每秒最大允许亮度样本数的分数；
-最大图像大小的分数；
-最大比特率的分数；
-缓冲区满度的分数；以及
-最大图块数量的分数。
48.根据权利要求41至47中任一项所述的视频编码器(2)，其中，所述视频编码器被配置为给所述精细能力需求信息提供这样的分辨率。
49.一种视频合并器(50)，用于基于多个编码视频表示来提供合并视频表示(60)，
其中，所述视频合并器(50)被配置为接收包括编码参数信息、编码视频内容信息、粗糙粒度能力需求信息和精细粒度能力需求信息的多个视频流(12a、12b)，所述编码参数信息描述多个编码参数(20、22、26、30)，所述粗糙粒度能力需求信息描述视频流与具有多个预定能力级别中的能力级别的视频解码器的兼容性，
其中，所述视频合并器(50)被配置为根据所述粗糙粒度能力需求信息和所述精细粒度能力需求信息来合并两个或更多个视频流。
50.根据权利要求49所述的视频合并器(50)，其中，所述视频合并器(50)被配置为根据精细分辨率能力需求信息来决定哪些视频流能够被包括在合并视频流(60)中。
51.根据权利要求49或50所述的视频合并器(50)，其中，所述视频合并器(50)被配置为根据精细分辨率能力需求信息来决定是否能够通过合并两个或更多个视频流来获得有效的合并视频流(60)。
52.根据权利要求49至51中任一项所述的视频合并器(50)，其中，所述视频合并器(50)被配置为对要合并的多个视频流的精细粒度能力需求信息进行综合。
53.根据权利要求49至52中任一项所述的视频合并器(50)，其中，所述精细粒度能力需求信息在关于多个标准的能力需求方面描述编码视频表示的能力需求；以及
其中，所述视频合并器(50)被配置为确定要合并的多个视频流的如由所述精细粒度能力需求信息描述的组合能力需求是否在关于所有标准的预定限制内。
54.根据权利要求49至53中任一项所述的视频合并器(50)，其中，所述精细粒度能力需求信息包括与不同准则有关的多个分数值。
55.根据权利要求49至54中任一项所述的视频合并器(50)，其中，所述精细粒度能力需求信息描述以下标准中的至少两个标准的多个分数值：
-每秒最大允许亮度样本数的分数；
-最大图像大小的分数；
-最大比特率的分数；
-缓冲区满度的分数；以及
-最大图块数量的分数。
56.一种视频解码器，其中，所述视频解码器包括根据权利要求21至36和49至55中任一项所述的视频合并器。
57.一种提供编码视频表示的方法(12)，包括：
提供粗糙粒度能力需求信息，所述粗糙粒度能力需求信息描述了视频流与具有多个预定能力级别中的能力级别的视频解码器的兼容性，以及
其中，所述视频编码器被配置为提供精细粒度能力需求信息，所述精细粒度能力需求信息描述了：需要与所述预定能力级别之一相关联的容许能力需求的哪个分数以对编码视频表示进行解码，和/或所述精细粒度能力需求信息描述了：编码视频表示向合并视频流贡献了容许能力需求的哪个分数，所述合并视频流的能力需求与所述预定能力级别之一一致。
58.一种用于基于多个编码视频表示来提供合并视频表示的方法，包括：
接收包括编码参数信息、编码视频内容信息、粗糙粒度能力需求信息和精细粒度能力需求信息的多个视频流，所述编码参数信息描述多个编码参数，所述粗糙粒度能力需求信息描述了视频流与具有多个预定能力级别中的能力级别的视频解码器的兼容性，其中，视频合并器被配置为根据所述粗糙粒度能力需求信息和所述精细粒度能力需求信息来合并两个或更多个视频流。
59.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据权利要求57或58所述的方法。
60.一种数据流，由根据权利要求57或58所述的方法生成。
CN201980074638.0A 2018-09-13 2019-09-12 比特流合并 Pending CN113039804A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18194348 2018-09-13
EP18194348.1 2018-09-13
PCT/EP2019/074436 WO2020053369A1 (en) 2018-09-13 2019-09-12 Bitstream merging

Publications (1)

Publication Number Publication Date
CN113039804A true CN113039804A (zh) 2021-06-25

Family

ID=63579240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980074638.0A Pending CN113039804A (zh) 2018-09-13 2019-09-12 比特流合并

Country Status (8)

Country Link
US (2) US11800128B2 (zh)
EP (1) EP3850851A1 (zh)
JP (3) JP7179163B2 (zh)
KR (2) KR102572947B1 (zh)
CN (1) CN113039804A (zh)
BR (1) BR112021004636A2 (zh)
MX (1) MX2021002934A (zh)
WO (1) WO2020053369A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248221A (zh) * 2019-06-18 2019-09-17 北京物资学院 一种视频广告动态插入方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020070120A1 (en) * 2018-10-02 2020-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Picture tile attributes signaled using loop(s) over tiles
US11381867B2 (en) 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
GB2584295A (en) * 2019-05-28 2020-12-02 Canon Kk Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
US11792433B2 (en) * 2020-09-28 2023-10-17 Sharp Kabushiki Kaisha Systems and methods for signaling profile and level information in video coding
US20220337855A1 (en) * 2021-04-20 2022-10-20 Samsung Electronics Co., Ltd. Operation of video decoding engine for evc
WO2023203423A1 (en) * 2022-04-20 2023-10-26 Nokia Technologies Oy Method and apparatus for encoding, decoding, or displaying picture-in-picture

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231295A (ja) * 2011-04-26 2012-11-22 Canon Inc 符号化装置、符号化方法及びプログラム
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
CN103338367A (zh) * 2007-04-18 2013-10-02 汤姆森许可贸易公司 编码和解码方法
US20130336384A1 (en) * 2012-06-15 2013-12-19 General Instrument Corporation Method and apparatus for efficient slice header processing
CN103765902A (zh) * 2011-08-30 2014-04-30 英特尔公司 多视角视频编码方案
WO2015011339A1 (en) * 2013-07-23 2015-01-29 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN104685886A (zh) * 2012-06-29 2015-06-03 瑞典爱立信有限公司 用于视频处理的装置及其方法
US20150256856A1 (en) * 2012-09-28 2015-09-10 Sharp Kabushiki Kaisha Image decoding device
CN108141613A (zh) * 2015-10-20 2018-06-08 英特尔公司 利用后处理指示的视频译码的方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012809A (ko) * 2002-06-18 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩 방법과 대응 인코딩 및 디코딩 장치들
US10284908B2 (en) * 2013-02-26 2019-05-07 Comcast Cable Communications, Llc Providing multiple data transmissions
US10205949B2 (en) * 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
EP3744103B1 (en) 2018-01-25 2024-03-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient sub-picture extraction
WO2019195037A1 (en) * 2018-04-03 2019-10-10 Futurewei Technologies, Inc. Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338367A (zh) * 2007-04-18 2013-10-02 汤姆森许可贸易公司 编码和解码方法
JP2012231295A (ja) * 2011-04-26 2012-11-22 Canon Inc 符号化装置、符号化方法及びプログラム
CN103765902A (zh) * 2011-08-30 2014-04-30 英特尔公司 多视角视频编码方案
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
US20130336384A1 (en) * 2012-06-15 2013-12-19 General Instrument Corporation Method and apparatus for efficient slice header processing
CN104685886A (zh) * 2012-06-29 2015-06-03 瑞典爱立信有限公司 用于视频处理的装置及其方法
US20150256856A1 (en) * 2012-09-28 2015-09-10 Sharp Kabushiki Kaisha Image decoding device
WO2015011339A1 (en) * 2013-07-23 2015-01-29 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN108141613A (zh) * 2015-10-20 2018-06-08 英特尔公司 利用后处理指示的视频译码的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
骆超;史萍;邵丽娜;侯铭睿;: "基于标量量化的多描述视频编码算法", 电视技术, no. 02, 17 January 2011 (2011-01-17) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248221A (zh) * 2019-06-18 2019-09-17 北京物资学院 一种视频广告动态插入方法及装置

Also Published As

Publication number Publication date
JP2023022096A (ja) 2023-02-14
US11800128B2 (en) 2023-10-24
MX2021002934A (es) 2021-07-16
KR102572947B1 (ko) 2023-08-31
US20210203973A1 (en) 2021-07-01
WO2020053369A1 (en) 2020-03-19
JP7179163B2 (ja) 2022-11-28
JP2022501889A (ja) 2022-01-06
EP3850851A1 (en) 2021-07-21
KR20210047935A (ko) 2021-04-30
BR112021004636A2 (pt) 2021-05-25
JP2023171865A (ja) 2023-12-05
KR20230128584A (ko) 2023-09-05
JP7359926B2 (ja) 2023-10-11
US20230421793A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
US11800128B2 (en) Bitstream merging
RU2653299C2 (ru) Способ и устройство для кодирования и декодирования видеоданных
US10425652B2 (en) Video composition
KR102474461B1 (ko) 코딩된 영역들의 완료를 나타내는 신택스 구조들
US11395000B2 (en) Dependent random access point pictures
KR101944565B1 (ko) 비디오 인코딩 및 디코딩시의 레이턴시 저감 기법
AU2014388185B2 (en) Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
CN113170237B (zh) 视频编码与解码方法和设备
US11336965B2 (en) Method and apparatus for processing video bitstream, network device, and readable storage medium
KR20220110300A (ko) 서브픽처들, 슬라이스들 및 타일들을 지원하는 비디오 코딩
CN115398481A (zh) 对图像执行人工智能编码和人工智能解码的设备和方法
TW202114419A (zh) 編碼裝置、解碼裝置、編碼方法、及解碼方法
US20230108509A1 (en) High level syntax for video coding and decoding
WO2022069790A1 (en) A method, an apparatus and a computer program product for video encoding/decoding
CN114788290A (zh) 用于在视频编码中发送信号通知画面定时和解码单元信息的系统和方法
KR20140059767A (ko) 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치
US11973955B2 (en) Video coding in relation to subpictures
US20180352240A1 (en) Generalized Temporal Sub-Layering Frame Work
US20240007619A1 (en) Method, an apparatus and a computer program product for implementing gradual decoding refresh
WO2024004708A1 (en) Decoding apparatus, encoding apparatus, decoding method, and encoding method
EP4300960A1 (en) Encoder, decoder, encoding method, and decoding method
US20230179802A1 (en) High level syntax for video coding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination