CN104604235B - 用于视频处理的发送装置及其方法 - Google Patents

用于视频处理的发送装置及其方法 Download PDF

Info

Publication number
CN104604235B
CN104604235B CN201380044692.3A CN201380044692A CN104604235B CN 104604235 B CN104604235 B CN 104604235B CN 201380044692 A CN201380044692 A CN 201380044692A CN 104604235 B CN104604235 B CN 104604235B
Authority
CN
China
Prior art keywords
value
sending device
limitation
bit stream
parallelism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380044692.3A
Other languages
English (en)
Other versions
CN104604235A (zh
Inventor
乔纳坦·萨缪尔森
理卡尔德·肖伯格
布·比尔曼
马格纳斯·威斯特兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN104604235A publication Critical patent/CN104604235A/zh
Application granted granted Critical
Publication of CN104604235B publication Critical patent/CN104604235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及用于对比特流进行编码的方法和发送装置，所述比特流表示视频流的画面的序列，发送装置包括处理器和存储器，所述存储器包含可被所述处理器执行的指令，从而所述发送装置用于：发送语法元素，其中所述语法元素的值指示以确保对所述比特流进行解码的特定并行度等级的方式对所述比特流施加的限制。

Description

用于视频处理的发送装置及其方法
技术领域
实施例涉及在并行编码/解码可用时提高编码性能的方法和发送装置。
背景技术
高效视频编码(HEVC)是由联合协作组-视频编码(JCT-VC)开发的视频编码标准。JCT-VC是运动画面专家组(MPEG)和国际电信联盟-通信标准化部(ITU-T)之间的合作项目。目前，定义了HEVC模型(HM)，包括多种工具并且明显比H.264/高级视频编码(AVC)更高效。
HEVC是基于块的混合视频编码，其使用帧间预测(从先前已编码的画面进行预测)和帧内预测(从相同画面内先前已编码的像素进行预测)。每一个画面分为大小可以为16x16、32x32、64x64像素的二次树块(quadratic treeblock)(对应于H.264/AVC中的宏块)。变量CtbSize用于表示树块的大小，表示为树块在一个维度上的像素数量，即16，32或64。
常规片(regular slice)与H.264/AVC中类似。每一个常规片封装在其自身的网络抽象层(NAL)单元中，并且禁用画面内预测(采样内预测、运动信息预测、编码模式预测)和跨片边界的熵编码依赖性。因而，可以独立于相同画面内的其他常规片来重构常规片。由于树块(作为HEVC的基本单元)可以具有相对大的大小(例如64x64)，所以HEVC中包括了“细颗粒度片”的概念，从而实现了树块(作为常规片的一种特殊形式)内穿过片边界的最大传输单元MTU大小匹配。在画面参数集中信号发送片颗粒度，而仍在片首部中信号发送细颗粒度片的地址。
常规片是可用于H.264/AVC中并行化的唯一工具。并行化意味着单个画面的各部分可以如图1所示并行地编码和解码，图1中可以使用片进行线程化解码。基于常规片的并行化不要求处理器之间或核之间的太多通信。然而，出于同样的原因，由于片首部的比特成本以及缺少跨片边界的预测，常规片可要求一些编码开销。此外，由于常规片的画面内独立性且每一个常规片都封装在其自身的NAL单元中，常规片(相比于下文提到的一些其他工具)还用作比特流划分以匹配MTU大小要求的关键机制。在众多情形中，并行化目的和MTU大小匹配目的向画面中的片布局提出了矛盾的要求。这种情况的实现导致下文提到的并行化工具的开发。
在波阵面并行处理(WPP)中，画面被划分为一行一行的树块。熵编码和预测能够使用来自其他划分中的树块的数据。并行处理可以是通过并行解码树块行，其中一行解码的起始延迟两个树块，从而确保在该树块解码前，与在该树块右上方的树块有关的数据可用。通过使用这种交错的起始(图形表示类似于波阵面，如图2所示)，利用与画面所包含的树块行一样多的处理器/核，可以实现并行化。由于允许画面内相邻树块行之间的画面内预测，实现画面内预测所需的处理器间/核间通信可以是大量的。相比于不应用WPP划分，WPP划分不会导致附加NAL单元的产生，因而WPP不可用于MTU大小匹配。波阵面分段正好包含一行树块。
图块(tile)定义将画面划分为图块列和图块行的水平和垂直边界。这意味着HEVC中的图块将画面划分为具有定义宽度和高度的区域，如图3所示。每一个图块区域由按照光栅扫描顺序处理的整数个树块组成。在整个画面中，按照光栅扫描顺序处理图块自身。可以在序列参数集(SPS)和画面参数集(PPS)中信号发送具体的图块配置或图块信息(图块数量、每一个图块的宽度和高度等)。图块信息包含画面中每一个图块的宽度、高度和位置。这意味如果知道块的坐标就可以知道该块属于哪一个图块。
为简洁起见，在HEVC中规定了对不同画面划分方案的应用的限制。不可以同时应用图块和WPP。此外，针对每一个片和图块，必须满足以下条件任一项或两项：1)片中所有编码的树块属于相同的图块；2)图块中所有编码的树块属于相同的片。
序列参数集(SPS)保存对整个编码的视频序列有效的信息。具体地，其保持用于指示比特流所遵守的简档(profile)和等级(level)的语法元素profile_idc和level_idc。简档和等级指定对比特流的限制，因而限定了解码比特流所需的能力。简档和等级还可用于指示各解码器实现之间的互操作点。等级对比特流加以限制，例如关于画面大小(用MaxLumaFS表示，以亮度采样(luma sample)为单位)、采样率(用MaxLumaPR表示，以亮度采样每秒为单位)以及最大比特率(用MaxBR表示，以比特每秒为单位)和最大编码画面缓冲器大小(用Max CPB size表示，以比特为单位)。
画面参数集(PPS)保存对编码视频序列中的一些(或所有)画面有效的信息。PPS包括控制波阵面和图块的使用的语法元素，并且要求在相同编码视频序列中的所有激活的PPS中具有相同值。
此外，HEVC和H.264都定义了视频可用性信息(VUI)语法结构，VUI语法结构可以存在于序列参数集中并包含不影响解码处理(即不影响像素值)的参数。补充增强信息(SEI)是可以存在于任何访问单元中的另一结构，包含不影响解码处理的信息。
因此，如上所述，相比于H.264/AVC，HEVC提供了并行化的更好可能。并行化意味着可以并行地编码和解码单个画面的各部分。具体地，图块和WPP是被开发用于并行化目的的工具。二者最初被设计用于编码器并行化，但是它们也可以用于解码器并行化。
当图块用于编码器并行化时，编码器首先选择图块划分。由于图块边界打断了图块之间的所有预测，所以编码器可以将多个图块的编码分配给多个线程。只要存在至少两个图块，就可以进行多线程编码。
因此，在该上下文中，可以使用多个线程的事实意味着可以将编码/解码处理的实际工作负载分为相互独立执行的各个“处理”，即它们可以在各个线程中并行执行。
HEVC定义了用于并行解码的两种类型的入口点。解码器可以使用入口点在比特流中找到图块或子流的比特的起始位置。第一种类型是入口点偏移。入口点偏移在片首部中列出，并指示片中包含的一个或多个图块的起始点。第二种类型是将比特流中的图块分离的入口点标记。入口点标记是特定的码字(起始码字)，其在比特流中任何其他位置都不会出现。
因而，为了使解码器并行化工作，比特流中需要有入口点。对于并行编码，可不需要入口点，在图块/子流的编码完成后，编码器可以将比特流接合在一起。然而，解码器需要知道每一个图块在比特流中的何处起始以并行解码。如果编码器只想并行编码但不想实现并行解码，则其可以省略入口点，但是如果其还想实现并行解码，则必须插入入口点。
发明内容
本发明的实施例的目的在于，在并行编码/解码可用时提高性能。这是通过发送语法元素来实现的，其中所述语法元素的值指示以确保对所述比特流进行解码的特定并行度等级的方式对所述比特流施加的限制。接收根据所述语法元素中的指示编码的编码比特流的解码器在决定其如何对编码比特流进行解码以及所述比特流能否被编码时可以使用所述指示。
根据实施例的第一方面，提供了一种用于对比特流进行编码的方法，所述比特流表示视频流的画面的序列。在所述方法中，发送语法元素，其中所述语法元素的值指示以确保对所述比特流进行解码的特定并行度等级的方式对所述比特流施加的限制。
根据实施例的第二方面，提供了一种用于对比特流进行编码的发送装置，所述比特流表示视频流的画面的序列。所述发送装置包括处理器和存储器，所述存储器包含所述处理器可执行的指令，从而所述发送装置用于发送语法元素，其中所述语法元素的值指示以确保对所述比特流进行解码的特定并行度等级的方式对所述比特流施加的限制。
至少一些实施例的优点在于，其提供了指示比特流可并行解码的手段。这使得能够并行解码的解码器能够在开始解码前确定所述解码器是否能够解码所述流。例如，可以有解码器能够以单线程解码720p，并在每一画面被分割为至少4个可独立解码区域时(即其可以以4个并行线程解码时)能够解码1080p。通过使用所述实施例，解码器可以知道每一画面是否被分割，即其能否并行解码。
附图说明
图1示出了根据现有技术使用片进行线程化解码的示例。
图2示出了根据现有技术使用波阵面进行线程化解码的示例。
图3示出了根据现有技术使用图块进行线程化解码的示例。
图4示意性示出了根据本发明实施例被配置为向接收装置发送语法元素的发送装置。
图5例示了根据现有技术的并行度等级。
图6、7a和7b示出了根据本发明的方法的流程图。
图8示意性示出了根据本发明实施例的发送装置的实现。
具体实施方式
本说明书中，术语“处理单元”用于指对编码的视频序列进行编码或解码的单元。实际上，处理单元可能对应于例如CPU、GPU、DSP、FPGA、或其他任何类型的专用芯片。处理单元还可对应于包含多个CPU、GPU或其组合的单元。术语“核”用于指处理单元的一部分，其能够与相同处理器的其他核并行执行编码/解码处理(或其部分)。实际上，核可能对应于例如CPU中的逻辑核、多核CPU中的物理核、多CPU架构中的一个CPU、或者多芯片处理板的单个芯片。
术语“线程”用于指能够与一些其他处理步骤并行执行的一些处理步骤。因而多个线程可以并行地执行。当处理器中的核的数量大于或等于可能执行的线程数量时，所有线程都可以并行执行。否则，一些线程在其他线程结束后开始，或者备选地，可以应用时分复用。一个特定线程不可同时在多个核中执行。当在任一点将解码处理分为相互独立的不同部分(步骤或动作)并因此可以并行执行时，认为每一个这样的部分构成线程。
如果以能够将比特流的某些部分并行解码的方式创建比特流，则认为比特流支持某个并行度等级。在本文中，焦点在于画面内并行化，但实施例不限于此。其可应用于视频序列内的任何类型的并行化。
针对由三个片A、B和C构成的画面的解码处理定义了如何以顺序方式解码该画面：
1.解码A，
2.解码B，
3.解码C，
4.执行树块内和树块间的解块(deblocking)
然而，如果处理器P具有4个核(称为i、ii、iii和iv)，则可以执行解码如下：
1.以并行方式，核i解码片A，核ii解码片B，核iii解码片C，
2.当所有片都已解码时，由任一核(因为所有4个核都空闲)执行树块内和树块间的解块。
因为片是可独立解码的，所以这么做是可行的。
可能是这种情形：上述示例中处理器P的每一个核能够处理一定数量的亮度采样。当使用P进行解码的解码器报告其能力(例如以等级的形式)时，其被迫报告有关单核解码性能的能力，因为其必须对没有针对并行解码而构建的比特流(例如仅包含单个片)有所准备。
在比特流支持并行解码的情况下，能够解码较高等级的运行解码器可能被迫将其一致性要求限制为较低等级。根据本发明实施例，通过使用语法元素来传递流的并行解码属性，可以避免这一点。
因此，提供了一种用于对比特流进行编码的方法，所述比特流表示视频流的画面的序列。在该方法中，发送语法元素(例如在SPS中)，其中语法元素的值指示以确保对比特流进行解码的特定并行度等级的方式对比特流施加的限制。这意味着，语法元素的值可用于确定编码比特流所用的并行度等级。如图4所示，经由相应输入/输出单元405、455，在SPS430中从发送装置400向接收装置500发送语法元素440。发送装置400包括编码器410，编码器410用于使用语法元素440指示的并行度等级来编码比特流。语法元素管理单元420确定应使用的并行度等级。基于接收装置450的与并行解码相关的解码器460能力的信息470，可以确定并行度等级。
该语法元素也称为parallelism_idc，也可以用minSpatialSegmentation_idc表示。语法元素对视频流的画面的序列有效，所述画面的序列可以是画面集合或整个视频序列。
根据一个实施例，语法元素的值被设置为等于并行度等级，其中并行度等级指示可以使用的线程数量。参考图5，其中一幅画面被分为具有相等空间大小的四个独立部分，四个独立部分可并行解码，并行度等级为4；另一画面被分为两个相等大小的独立部分，两个独立部分可并行解码，并行度等级为2。
根据该实施例，确定语法元素的值，如图6的流程图中所示。一种确定语法元素的值的方式是使用来自解码器的关于与并行解码相关的解码器能力的信息。
另一种方式是编码器选择单纯用于编码器目的的并行度等级，并将该并行信息提供给解码器，因为该信息可能对一些解码器有用。
另一种方式是假设能够解码流的解码器的某种解码器设计。如果知道全部智能手机中80％具有4核，则编码器可以总是使用4个独立部分。
当确定601语法元素的值时，通过执行下文指定的步骤来施加603一个限制(称为例如a、b、c)，以满足602下文指定的限制之一的要求。然后向接收器的编码器发送604语法元素并根据语法元素的值来编码画面。
根据一个实施例，语法元素的值用于对比特流施加至少a和b中的一个限制：
a：根据画面大小和语法元素的值，限制每个片的亮度采样的最大数量；
b：根据画面大小和语法元素的值，限制每个图块的亮度采样的最大数量；
根据另一个实施例，语法元素的值用于对比特流施加a、b和c中的一个限制：
a：根据画面大小和语法元素的值，限制每个片的亮度采样的最大数量；
b：根据画面大小和语法元素的值，限制每个图块的亮度采样的最大数量；
c：使用波阵面，并且根据语法元素的值和画面大小，联合限制树块大小、画面高度和画面宽度。
根据实施例，通过以下在图7a中示出的步骤，满足602限制a、b或a、b、c的要求。
因此，编码器可被配置为执行以下步骤以满足要求a。
对构成视频序列的多个画面进行编码并执行以下：
将画面的树块划分602a为片(使得每个划分由按照光栅扫描顺序的连续树块组成)，使得每个划分不包含比限制a所允许的更多的亮度采样。
对树块在其相应片中进行编码(其中顺序地或并行地执行不同片的编码)。
编码器可被配置为执行以下步骤以满足限制b。
对构成视频序列的多个画面进行编码并执行以下：
将画面划分602b为图块(利用在CtbSize(CtbSize等于树块大小)的整数倍的采样位置处的水平和垂直线)，使得每一图块不包含比限制b所允许的更多的亮度采样。
对树块在其相应图块中进行编码(其中顺序地或并行地执行不同图块的编码)。
编码器可被配置为执行以下步骤以满足限制c。
利用波阵面对构成视频序列的多个画面进行编码602c(每一个PPS中设置tiles_or_entropy_coding_sync_idc为2)，并且针对整个序列一次执行以下：
在给定视频序列(中的画面)的分辨率(亮度采样中的高度和宽度)的情况下，选择CtbSize，使得满足限制c。
针对语法元素的特定值，编码器需要满足一个(或多个)要求，这有多个不同的理由。语法元素的值也称为值X。一个理由可能是编码器正在编码视频序列以用于解码器，该解码器已经指示其需要特定值X，或者该解码器需要值X在特定值集合(例如高于或等于某值)中。
如果针对值X没有特定要求，则编码器可能要将值X设置为尽可能高的数，以帮助解码器并产生有尽可能多的解码器能够解码的比特流。作为示例，考虑编码器将每个画面分为4个相等部分，即X＝4.0的情形。编码器发送X＝2，0并指示画面被分为至少两部分是可以的，但是以最高可能值(即该示例中4.0)发送值X对于解码器是有利的。
编码器可被配置为执行以下步骤以指示根据限制a的值X。
1.使用每个画面一个或多个片对构成视频序列的多个画面进行编码。
2.信号发送值X，作为使得序列中的每个片满足限制a的最高可能值。
编码器可被配置为执行以下步骤以指示根据限制b的值X。
1.使用适合于编码器的图块配置对构成视频序列的多个画面进行编码。
2.信号发送值X，作为使得序列中的每个图块满足限制b的最高可能值。
编码器可被配置为执行以下步骤以指示根据限制c的值X。
1.使用WPP对构成视频序列的多个画面进行编码，所述画面具有高度等于pic_height_in_luma_samples、宽度等于pic_width_in_luma_samples、树块大小等于CtbSize。
2.信号发送值X，作为使得满足限制c的最高可能值。
根据另一个实施例，由于值X(也称为并行度)等于(parallelism_idc/4)+1，所以语法元素(表示为parallelism_idc)指示对比特流施加的限制。与上述实施例类似，并行度等级指示可以使用的线程数量。参考图5，这由以下示例示出：画面被分为可并行解码的四个独立部分，其中并行度等级为4；以及画面被分为可并行解码的两个独立部分，其中并行度等级为2。
因此，值X(即语法元素的值)可用于通过计算以下值来确定编码比特流所使用的并行度等级：
X＝parallelism＝(parallelism_idc/4)+1＝(语法元素/4)+1
本实施例表示前一个实施例的更具体版本，并且在本实施例中不再重复与前一个实施例所有不同方面，然而，可以以任何合适的方式将它们组合和/或限制。
根据本实施例，计算并行度等级如下：
Parallelism＝(parallelism_idc/m)+1
当Parallelism大于1时，以下指定约束适用。m的优选值为4，但可以使用其他值作为备选。
当Parallelism大于1时(701)，必须满足702以下条件中的一个，如图7b的流程图所示：
A.编码的视频序列内激活的每一个画面参数集中的tiles_or_entropy_coding_sync_idc等于0，并且片中亮度采样的最大数量小于或等于
floor(pic_width_in_luma_samples*pic_height_in_luma_samples/parallelism)。
B.编码的视频序列内激活的每一个画面参数集中的tiles_or_entropy_coding_sync_idc等于1，并且图块中亮度采样的最大数量小于或等于
floor(pic_width_in_luma_samples*pic_height_in_luma_samples/parallelism)。
C.编码的视频序列内激活的每一个画面参数集中的tiles_or_entropy_coding_sync_idc等于2，并且语法元素pic_width_in_luma_samples、pic_height_in_luma_samples和变量CtbSize被限制为使得：
(2*(pic_height_in_luma_samples/CtbSize)+(pic_width_in_luma_samples/CtbSize))*CtbSize*CtbSize≤floor(MaxLumaFS/parallelism)。
应当注意的是，floor(x)意味着小于或等于x的最大整数。pic_width_in_luma_samples是画面宽度并且pic_height_in_luma_samples是画面高度。
假设解码器最大程度利用了并行解码信息，则解码器可使用表示为并行度的值X来计算一个线程要处理的亮度采样的最大数量。应当注意的是，在不同线程之间可能存在相互依赖性，例如跨图块和片边界的解块或熵同步。为了帮助解码器规划解码工作负载分配，建议编码器将parallelism_idc的值设置为满足上述三个条件中的一个的最高可能值。针对tiles_or_entropy_coding_sync_idc＝2时的情形，这意味着设置
parallelism_idc＝floor(4*MaxLumaFS/(2*((pic_height_in_luma_samples/CtbSize)+(pic_width_in_luma_samples/CtbSize))*CtbSize*CtbSize))-4
该实施例中条件A是限制a的特殊情形，并且针对限制a提出的编码器步骤适用于条件A。
该实施例中条件B是限制b的特殊情形，并且针对限制b提出的编码器步骤适用于条件B。
该实施例中条件C是限制c的特殊情形，并且针对限制c提出的编码器步骤适用于条件C。
具体地，编码器可被配置为执行以下步骤以指示根据条件C的值X。
1.使用WPP对构成视频序列的多个画面进行编码，所述画面具有高度等于pic_height_in_luma_samples、宽度等于pic_width_in_luma_samples、树块大小等于CtbSize。
2.通过语法元素信号发送值X，作为使得满足限制c的最高可能值，即：
value X＝floor(MaxLumaFS/(2*((pic_height_in_luma_samples/CtbSize)+(pic_width_in_luma_samples/CtbSize))*CtbSize*CtbSize))
根据另一个实施例，语法元素的值用于施加对每片、每图块或每波阵面的字节数量的限制。
因此，根据值X以及可选地根据MaxBR和/或最大CPB大小，可能存在对一个片、图块和/或波阵面-子流的最大字节(或比特)数量的限制。MaxBR是针对等级的最大比特率，并且CPB大小是编码画面缓冲器大小。
可以将该限制与上述一个或多个限制组合。
具体地，编码器可被配置为执行以下步骤以满足限制a和对片中最大字节数的要求。
1.对构成视频序列的多个画面进行编码并执行以下：
2.对片的树块进行编码，直到满足一个或多个以下条件的第一个树块T的起始之前：
i.如果其在相同片中被编码，则其将导致片将包含比限制a所允许的更多的亮度采样。
ii如果其在相同片中被编码，则其将导致片中的字节数将比对片中最大字节数的要求所允许的更多。
3.取代将该特定树块T包括在当前编码的片中，编码器结束T之前的片并开始以T为第一个树块的新片。该处理从步骤2继续直到整个画面完成编码。
根据另一个方面，提供一种发送装置。发送装置包括用于编码比特流的编码器。编码器包括被配置执行上述方法步骤的处理器和输入/输出部分。因而，编码器被配置为，例如利用根据语法元素的并行度等级来编码比特流，即根据实施例使用语法元素的值来施加限制。输入/输出部分被配置为发送语法元素。此外，编码器可以由计算机实现，其中编码器的处理器被配置为执行存储于存储器中的软件代码部分，其中软件代码部分在被处理器执行时生成上述相应编码器方法。
因此，提供了一种用于对比特流进行编码的发送装置400，所述比特流表示视频流的画面的序列，如图8所示。如上所述，发送装置400包括编码器410和语法元素管理单元440。根据一个实现，编码器和语法元素管理单元由包括处理器810(也称为处理单元)和存储器820的计算机800实现。因而，根据该方面的发送装置400包括处理器810和存储器820。上述存储器820包含所述处理器810可执行的指令，从而所述发送装置400用于发送语法元素，其中语法元素的值指示以确保对比特流进行解码的特定并行度等级的方式对比特流施加的限制。
发送装置400用于将语法元素的值设置为等于并行度等级。可通过语法元素管理单元400(例如由处理器实现)来实现这一点。
此外，发送装置400可以用于使用语法元素的值，例如通过使用语法管理单元，来对比特流施加a、b和c中的一个限制：
a：根据画面大小和语法元素的值，限制每个片的亮度采样的最大数量。
b：根据画面大小和语法元素的值，限制每个图块的亮度采样的最大数量；
c：使用波阵面，并且根据语法元素的值和画面大小，联合限制树块大小、画面高度和画面宽度。
此外，根据不同实施例，发送装置400用于：执行与划分为树块大小和树块大小的选择有关的动作，以满足上述称为a、b和c的限制的要求。
根据另一个实施例，通过使用输入/输出单元，发送装置用于信号发送语法元素的值，作为使得序列中的每个片满足限制a的要求的最高可能值。
根据另一个实施例，通过使用输入/输出单元，发送装置用于信号发送语法元素的值，作为使得序列中的每个图块满足限制b的要求的最高可能值。
根据另一个实施例，通过使用输入/输出单元，发送装置用于信号发送语法元素的值，作为使得满足限制c的要求的最高可能值。
根据另一个实施例，通过使用语法元素管理单元，发送装置用于根据语法元素的值确定并行度等级，这可例示为：
并行度＝((语法元素的值)/4)+1.
因此，发送装置可被配置为，当语法元素的值指示对比特流施加的限制，使得可使用至少两个并行处理进行解码时，即并行度＞1，确保必须满足以下条件中的一个：
条件a：如果要编码的序列内没有使用图块或波阵面，则片中亮度采样的最大数量应当小于或等于floor(画面宽度*画面高度/并行度)
条件b：如果要编码的序列内使用图块但没有使用波阵面，则图块中亮度采样的最大数量应当小于或等于floor(画面宽度*画面高度/并行度)
条件c：如果要编码的序列内使用波阵面但没有使用图块，则对指示画面宽度、画面高度的语法元素和指示树块大小的变量进行限制，使得：
(2*(画面高度/树块大小)+(画面宽度/树块大小))*树块大小*树块大小≤floor(最大帧大小/并行度)，其中floor(x)意味着小于或等于x的最大整数。
发送装置的输入/输出单元可被配置为在序列参数集中发送语法元素。
作为另一个备选，发送装置用于使用语法元素的值以施加每片、每图块或每波阵面的字节数或比特数的限制，例如通过使用语法元素管理单元。
发送装置的编码器和接收装置的解码器可分别实现在诸如视频摄像机、显示器、平板、数字电视接收器、网络节点等设备中。因此，实施例适用于发送装置和操作比特流的任何单元(例如网络节点或媒体感知网络单元)。发送装置可位于例如用户设备中(例如移动设备中的视频摄像机)。
实施例不限于HEVC，还可适用于HEVC的任何扩展，如可缩放扩展或多视图扩展，或应用于不同的视频编解码器。

Claims (17)

1.一种用于对比特流进行编码的方法，所述比特流表示视频流的画面的序列，所述方法包括：
发送(604)语法元素，其中，所述语法元素的值指示以确保对所述比特流进行解码的特定并行度等级的方式对所述比特流施加的限制，其中，所述语法元素的值用于对所述比特流施加以下称为限制a的一个限制：
a：根据画面大小和所述语法元素的值，限制每个片的亮度采样的最大数量。
2.根据权利要求1所述的方法，其中，执行以下操作以满足限制a的要求：
将画面的树块划分(602a)为片，使得每个划分由按照光栅扫描顺序的连续树块组成，并且使得每个划分不包含比限制a所允许的更多的亮度采样。
3.根据权利要求1至2中任一项所述的方法，其中，信号发送所述语法元素的值，作为使得序列中的每个片满足限制a的要求的最高可能值。
4.根据权利要求1所述的方法，其中，所述并行度等级称为并行度，是根据所述语法元素的值来确定的。
5.根据权利要求4所述的方法，其中，所述并行度等级称为并行度，等于((语法元素的值)/4)+1。
6.根据权利要求4至5中任一项所述的方法，其中，当所述语法元素的值指示对比特流施加的限制，使得能够使用至少两个并行处理进行解码时，必须满足以下条件：
条件a：如果要编码的序列内没有使用图块或波阵面，则片中亮度采样的最大数量应当小于或等于floor(画面宽度*画面高度/并行度)。
7.根据权利要求1所述的方法，其中，在序列参数集中发送所述语法元素。
8.根据权利要求1或7中任一项所述的方法，其中，所述语法元素的值用于施加每片、每图块或每波阵面的字节数或比特数的限制。
9.一种用于对比特流进行编码的发送装置(400)，所述比特流表示视频流的画面的序列，所述发送装置(400)包括处理器和存储器(820)，所述存储器(820)包含所述处理器(810)可执行的指令，从而所述发送装置(400)：
发送(440)语法元素，其中，所述语法元素的值指示以确保对比特流进行解码的特定并行度等级的方式对比特流施加的限制，其中，所述发送装置使用所述语法元素的值对所述比特流施加以下称为限制a的一个限制：
a：根据画面大小和所述语法元素的值，限制每个片的亮度采样的最大数量。
10.根据权利要求9所述的发送装置(400)，其中，所述发送装置执行以下操作以满足限制a的要求：
将画面的树块划分为片，使得每个划分由按照光栅扫描顺序的连续树块组成，并且使得每个划分不包含比限制a所允许的更多的亮度采样。
11.根据权利要求9至10中任一项所述的发送装置(400)，其中，所述发送装置信号发送所述语法元素的值，作为使得序列中的每个片满足限制a的要求的最高可能值。
12.根据权利要求11所述的发送装置(400)，其中，所述发送装置根据所述语法元素的值来确定所述并行度等级，所述并行度等级称为并行度。
13.根据权利要求12所述的发送装置(400)，其中，所述并行度等级称为并行度，等于((语法元素的值)/4)+1。
14.根据权利要求12至13中任一项所述的发送装置(400)，其中，所述发送装置被配置为，当所述语法元素的值指示对比特流施加的限制，使得能够使用至少两个并行处理进行解码时，确保必须满足以下条件：
条件a：如果要编码的序列内没有使用图块或波阵面，则片中亮度采样的最大数量应当小于或等于floor(画面宽度*画面高度/并行度)。
15.根据权利要求9所述的发送装置(400)，其中，所述发送装置被配置为在序列参数集中发送所述语法元素。
16.根据权利要求9或15中任一项所述的发送装置(400)，其中，所述发送装置使用所述语法元素的值施加每片的字节数或比特数的限制。
17.根据权利要求9-10中任一项所述的发送装置(400)，其中，所述发送装置是用户设备。
CN201380044692.3A 2012-06-29 2013-06-27 用于视频处理的发送装置及其方法 Active CN104604235B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261666056P 2012-06-29 2012-06-29
US61/666,056 2012-06-29
PCT/SE2013/050803 WO2014003675A1 (en) 2012-06-29 2013-06-27 Transmitting apparatus and method thereof for video processing

Publications (2)

Publication Number Publication Date
CN104604235A CN104604235A (zh) 2015-05-06
CN104604235B true CN104604235B (zh) 2018-11-09

Family

ID=48793513

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380044692.3A Active CN104604235B (zh) 2012-06-29 2013-06-27 用于视频处理的发送装置及其方法
CN201380034277.XA Active CN104685886B (zh) 2012-06-29 2013-06-27 用于视频处理的装置及其方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380034277.XA Active CN104685886B (zh) 2012-06-29 2013-06-27 用于视频处理的装置及其方法

Country Status (5)

Country Link
US (5) US10142622B2 (zh)
EP (1) EP2868094A1 (zh)
KR (1) KR102144881B1 (zh)
CN (2) CN104604235B (zh)
WO (2) WO2014003676A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647848B1 (ko) 2012-02-04 2024-03-15 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
EP2871838B1 (en) * 2012-07-09 2019-03-06 Sun Patent Trust Image encoding method, image encoding device
US9432427B2 (en) * 2013-07-25 2016-08-30 Futurewei Technologies, Inc. System and method for effectively controlling client behavior in adaptive streaming
US9596470B1 (en) 2013-09-27 2017-03-14 Ambarella, Inc. Tree-coded video compression with coupled pipelines
GB2523993A (en) * 2014-03-06 2015-09-16 Sony Corp Data encoding and decoding
US10257529B2 (en) 2014-06-30 2019-04-09 Intel Corporation Techniques for generating wave front groups for parallel processing a video frame by a video encoder
CN116156163A (zh) * 2016-03-30 2023-05-23 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
WO2017171438A1 (ko) * 2016-03-30 2017-10-05 한국전자통신연구원 픽쳐 분할 정보를 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
US11381621B2 (en) * 2018-04-11 2022-07-05 Samsung Electronics Co., Ltd. Device and method for processing data in multimedia system
MX2021002934A (es) * 2018-09-13 2021-07-16 Fraunhofer Ges Forschung Fusion de flujos de bits.
EP3769522A4 (en) * 2019-01-16 2021-01-27 Telefonaktiebolaget LM Ericsson (publ) VIDEO ENCODING WITH EQUAL TILE DISTRIBUTION WITH REMAINING
CN110062278A (zh) * 2019-04-12 2019-07-26 北京字节跳动网络技术有限公司 视频数据发布方法、装置、电子设备和存储介质
KR102615093B1 (ko) * 2019-05-28 2023-12-19 삼성전자주식회사 작은 크기의 인트라 블록을 방지하기 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN110248192B (zh) * 2019-06-12 2021-10-15 腾讯科技（深圳）有限公司 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统
WO2021107622A1 (ko) * 2019-11-28 2021-06-03 엘지전자 주식회사 영상/비디오 코딩 방법 및 장치
US11445176B2 (en) * 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
CN114979772B (zh) * 2021-02-24 2023-05-12 腾讯科技（深圳）有限公司 解码器的配置方法、装置、介质以及电子设备
CN112995237B (zh) * 2021-05-21 2021-10-08 杭州博雅鸿图视频技术有限公司 一种用于处理视频数据流的方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001373A (zh) * 2006-01-12 2007-07-18 Lsi罗吉克公司 高清晰度视频的上下文自适应二进制算术解码
US7443318B2 (en) * 2007-03-30 2008-10-28 Hong Kong Applied Science And Technology Research Institute Co. Ltd. High speed context memory implementation for H.264

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030149928A1 (en) * 2002-02-07 2003-08-07 Yeun-Renn Ting Turbo-code decoder
GB0428160D0 (en) * 2004-12-22 2005-01-26 British Telecomm Variable bit rate processing
EP1972149B1 (en) * 2006-01-10 2017-12-13 Thomson Licensing DTV Methods and apparatus for parallel implementations of 4:4:4 coding
WO2007136093A1 (ja) * 2006-05-24 2007-11-29 Panasonic Corporation 画像復号装置
CA2676195C (en) * 2007-02-23 2013-07-23 Nokia Corporation Backward-compatible characterization of aggregated media data units
WO2008127536A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Methods and apparatus for video usability information (vui) for scalable video coding (svc)
CN101137062A (zh) * 2007-09-20 2008-03-05 四川长虹电器股份有限公司 具有双核处理器的视频编码系统双核协同编码方法
US8542748B2 (en) * 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
CN101516030B (zh) * 2009-04-10 2013-05-01 华硕电脑股份有限公司 具有多格式影像编解码功能的数据处理电路及处理方法
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
CN101908035B (zh) * 2010-07-30 2012-09-05 北京华傲精创科技开发有限公司 视频编解码方法、gpu及其与cpu的交互方法及系统
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US20130177070A1 (en) * 2012-01-11 2013-07-11 Qualcomm Incorporated Significance map support for parallel transform coefficient processing in video coding
US20130188698A1 (en) * 2012-01-19 2013-07-25 Qualcomm Incorporated Coefficient level coding
KR101652928B1 (ko) * 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
EP2941891B1 (en) * 2013-01-04 2020-09-16 GE Video Compression, LLC Efficient scalable coding concept

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001373A (zh) * 2006-01-12 2007-07-18 Lsi罗吉克公司 高清晰度视频的上下文自适应二进制算术解码
US7443318B2 (en) * 2007-03-30 2008-10-28 Hong Kong Applied Science And Technology Research Institute Co. Ltd. High speed context memory implementation for H.264

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
High efficiency video coding (HEVC) text specification draft 7;Benjamin Bross;《Joint Collaborative Team on Video Coding (JCT-VC)》;20120510;JCTVC-I1003_d *
Rickard Sjöberg.AHG4: Enabling decoder parallelism with tiles.《Joint Collaborative Team on Video Coding (JCT-VC)》.2012,JCTVC-I0233. *
Syntax on wavefront information;Seungsoo Jeong;《Joint Collaborative Team on Video Coding (JCT-VC)》;20120416;JCTVC-I0139 第1-2节 *
Wavefront Parallel Processing;Félix Henry;《Joint Collaborative Team on Video Coding (JCT-VC)》;20110310;JCTVC-E196 *

Also Published As

Publication number Publication date
WO2014003675A1 (en) 2014-01-03
KR102144881B1 (ko) 2020-08-14
CN104685886A (zh) 2015-06-03
US10142622B2 (en) 2018-11-27
KR20150037944A (ko) 2015-04-08
US20180152716A1 (en) 2018-05-31
CN104604235A (zh) 2015-05-06
EP2868094A1 (en) 2015-05-06
US20140241439A1 (en) 2014-08-28
WO2014003676A1 (en) 2014-01-03
US10819998B2 (en) 2020-10-27
US20210006808A1 (en) 2021-01-07
US20150326870A1 (en) 2015-11-12
US20190149831A1 (en) 2019-05-16
US11570456B2 (en) 2023-01-31
CN104685886B (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN104604235B (zh) 用于视频处理的发送装置及其方法
CN105594211B (zh) 用于图片的包括帧内区块复制模式的编码模式的发送方法
Misra et al. An overview of tiles in HEVC
CN105247871B (zh) 帧内块复制预测中的块翻动和跳跃模式
TWI504209B (zh) 畫像解碼方法
JP5863571B2 (ja) ピクチャをコーディングする方法
JP6336058B2 (ja) ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
TW201729592A (zh) 視訊寫碼中具有非正方形預測單元之線性模型預測
TWI739042B (zh) 視訊編碼方法
JP2014011638A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN105704491A (zh) 图像编码方法、解码方法、编码装置和解码装置
CN103959790A (zh) 高效视频编码中的预测残余的扫描
CN104285444A (zh) 视频编码方法、视频解码方法和使用其的设备
CN104471941A (zh) 3d视频编码中的视图间子分割预测的方法和装置
CN103765788A (zh) 在视频编码中依据量化矩阵处理变换区块的方法与系统
KR101465977B1 (ko) 병렬 처리를 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR102480688B1 (ko) 픽쳐 경계 처리를 사용하여 픽쳐를 인코딩하고 디코딩하는 장치 및 방법
CN111107378A (zh) 分割信息的信令通知
WO2019243541A2 (en) Flexible tile partitions
JP7201821B2 (ja) ビデオコーディング方法及び機器
JP7313385B2 (ja) ビデオコーディングにおけるサブタイルを含むタイルパーティション
CN113615201B (zh) 点云压缩和解压缩的方法和装置
JP2014011726A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2022511689A (ja) ゾーンへのブロック分割により画像を符号化及び復号する方法及びデバイス
CN118020290A (zh) 用存储器高效预测模式选择来编码和解码视频的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant